엔비디아HBM

엔비디아 GPU

엔비디아 GPU (그래픽 프로세스 유닛)은 무엇인가?

우리에게 익숙한 컴퓨터를 빗대어 생각해보자. 우리는 컴퓨터를 살때 보통 어떤 CPU와 몇GB 용량의 메모리가 채용되었는지에 따라서 컴퓨터 가격이 달라지를 것을 볼 수 가 있다. 일명 CPU는 두뇌 연산 역할을 해주고, 메모리 DRAM은 CPU에 전달되는 데이터들의 중간역할, 메모리 Nand는 저장공간 용량을 의미한다. 추가적으로 게임 그래픽 성능 구현을 위해서 그래픽카드 성능도 같이 고려되기도 한다. 하지만 우리가 일반적으로 컴퓨터를 생각할때, CPU/메모리 2가지를 떠올린다.

그동안 소비자들은 엔비디아의 그래픽카드 정도 접해보았기 때문에, 요즘 뜨거운 엔비디아를 보면서 왜? 무엇 때문에? 라는 의문을 가질 수 있다.

엔비디아의 GPU는 CPU와 달린 단순연산을 무한 반복하는 역할을 한다. 오히려 CPU는 우리가 생각하는 복잡한 연산을 하는 것이다. AI시대라고 하면 복잡한 연산을 하는 CPU가 필요할 것 만 같은 무식한 생각이 먼저 떠오르지만, 사실 AI 즉 ChatGPT와 같은 성능 구현을 위해서는 엄청나게 큰 방대한 데이터를 단순처리를 엄청 빠른 시간안에 효율적으로 작업하는 것이 키 핵심이다. 한마디로 미분 적분과 같은 고급 수학(CPU)이 아닌, GPU는 덧셈, 뺄샘, 나누기, 더하기와 같은 아주 단순한 사칙연산을 아주 짧은 시간안에 수백만~수백억개 이상의 데이터를 한번에 처리하고, 결과값을 도출해 주는 역할을 하는것이다.

즉 대규모 언어 모델(LLM)로 핫한 ChatGPT 및 생성형 AI와 같은 서비스 개발 및 구현을 위해서는 고성능 GPU(AI칩)이 필요하고, 이걸 가장 잘 만드는 업체가 엔비디아인 것이다. 챗GPT에서 대량 데이터 학습을 하기 위해서 필요한 GPU갯수가 1만개 이상이라는 말이 있다. 예를 들어 GPU 1개 가격이 5천만원이라면, 5천억원이라는 상상이상의 금액이 도출된다. 그래서 엔비디아 주가가 미칫듯이 치솟고, 온세상이 젠슨황, 엔비디아를 외치고, 젠슨황 말한마디에 델의 주가가 치솟는 현재를 마주하고 있는것이다.

GPUHBM관계

GPU옆에 왜 HBM이라는 메모리가 따라다닐까?

고성능 GPU의 핵심은 앞에서 설명했듯이 "대량연산"을 엄청 "빠르게" 처리하냐에 달려있다.

여기서 '나소합'이라는 개념이 등장한다. 나소합은 3가지 중요 작업을 통칭하는 말이다.

1단계: 작업 역량에 맞춰 작업을 나누기 (예를 들어 천개의 일을 천명의 작업자에게 역량에 맞춰 작업 분배)

2단계: 작업이 나누어진 영역별로 작업 진행사항 파악하기

(예를 들어, 천명의 작업자 별로 작업 속도 및 작업 완료 여부를 확인하는 것)

3단계: 작업 내용 합치기 ( 예를 들어, 천명의 작업 결과물을 합쳐서 하나의 결과값 도출)

즉, 이 3단계를 거친 나소합의 스피드가 매우 중요하게 된 것이다.

이때 2단계/3단계를 메모리에 기록하고 합치는 연산작업을 도와주는 것이 HBM이라는 메모리 입니다. HBM은 high bandwith memory의 약자이며, 많은 양의 데이터를 빠르게 읽고, 쓰는 역할을 합니다. 그러니 대용량 데이터를 처리하는 AI GPU의 영원한 단짝이 되는 것이다. 이러한 영향으로 메모리 반도체계의 선두업체 삼성전자와 하이닉스에게도 AI는 큰 호재로 실현되었다. 특히 하이닉스 HBM관련 기사가 네이버 메인을 도배하기도 했다.

엔비디아독점

엔비디아는 어떻게 GPU 시장을 독점하고 있는가?

현재 GPU시장에서 엔비디아의 점유율은 80~90% 수준이며, 최근 공급제약에 맞물려 엔비디아 GPU가격은 천정부지를 치솟고 있다. 엔비디아 GPU를 채용해야하는 생성형 AI 서비스 업체 및 서버 업체들의 가격부담은 커지고 있다.

앞에서 설명하였듯이 GPU의 키성능은 대량연산을 빠른 속도로 처리하는 것이다. 엔비디아는 " CUDA"라고 불리는 GPU위에서 작동하는 소프트웨어 개발 키트 덕에 가능하게 되었다. CUDA는 GPU에서 딥러닝을 구현하는 최적의 툴이다. 이는 딥러닝 및 생성형 AI가 뜨거워지기 훨씬 전은 2006년도 쯤부터 개발이 되었다. 그러면서 자연스럽게 엔비디아에서 개발한 CUDA기반으로 딥러닝 생태계가 조성되었다. CUDA를 대체하는 소프트웨어 개발 키트는 거의 없으며, 딥러닝의 생태계는 대체자 소프트웨어 키트 개발 방향이 아닌, 기존의 CUDA를 업그레이드 하는 방식으로 발전되어 왔다. 엔디비아 GPU에만 최적화되어 작동하는 CUDA의 성장배경상, 자연스럽게 모두가 엔비디아의 GPU를 채용하게 된 것이다.

엔비디아경쟁사

엔비디아 GPU의 경쟁사는 누구인가?

앞으로 타업체에서 엔비디아 보다 뛰어난 성능의 GPU를 제조할 수 있고, CUDA보다 빠른 tool을 제공할 수 있을까?

AI칩을 설계하기 위해선 아키텍처를 사용해야 하는데, 대표적으로 인텔 x86 아키텍처(특허 유, 로열티 지급 필요), ARM 아키텍처 (특허 유, 로열티 지급 필요), RISC-V(리스크파이브) 아키텍처(오픈소스) 등이 있다. 이런 아키텍처들을 이용해서 자사 AI Chip을 만들려는 움직임이 있다. 특히 구글, 메타, 아마존 등과 같은 클라우드 업체들 중심으로 연구가 진해되고 있는데, 이는 비싼 엔비디아 GPU채용으로 클라우드 셋업 비용 및 운영을 절감하고자 하는 배경이 클것으로 사료된다. 하지만 앞서 설명했듯이 모든 생태계가 엔비디아 GPU에 최적화된 CUDA라는 키트중심으로 딥러닝이 개발되었기에, 클라우드 업체들의 차체 AI칩 채용율은 여전히 낮다. 그나마 엔비디아 GPU 채용율이 70%수준으로 가장 낮은 클라우드 업체는 AWS 아마존이다. 물론 CUDA기반 딥러닝 프로그램을 다시 아마존 AIChip에 최적화 시키는 엄청난 노력이 들어가지만, 비용이 1/4로 줄어드는 엄청난 매리트도 가지고 있다. 물론 이런 클라우드 업체들의 행보에 반격하기 위해서 엔비디아 또한 가만히 있지만은 않는다. 엔비디아 자체 클라우드 서비스를 론칭했기 때문이다.