고대역폭 메모리(HBM), 미래 고성능 메모리 표준 될까? [고든 정의 TECH+]

인공지능(AI)이 다시 주목받으면서 그래픽처리장치(GPU)와 함께 몸값이 높아지는 제품이 있습니다. 바로 고대역폭 메모리(HBM·High Bandwidth Memory)입니다. 사실 GPU 가운데서 HBM을 탑재한 제품은 소수에 불과합니다. 하지만 최근에는 그 소수의 제품에 대한 수요가 폭발하고 있습니다. 고성능 AI 연산을 위해서 H100 같은 강력한 성능을 지닌 GPU가 필요한데, 여기에 HBM이 탑재되기 때문입니다. 

최근 미국 로스앤젤렌스(LA)에서 열린 최대 규모 컴퓨터 그래픽스 콘퍼런스 ‘시그래프’(SIGGRAPH) 행사에서 엔비디아의 젠슨 황 최고경영자(CEO)는 HBM3E를 장착한 GH200 그레이스 호퍼 슈퍼칩을 공개했습니다. 지난해 공개한 HBM3 버전과 비교해서 메모리 용량은 1.5배 정도 늘어나고 대역폭도 4TB/s에서 5TB/s로 증가해 더 많은 데이터를 학습하고 사용자가 원하는 결과를 내놓는 데 유리해졌습니다. 

HBM은 사실상 SK 하이닉스와 삼성전자가 시장을 양분하고 있습니다. 시장 조사기관의 분석에 따르면 지난해 시장 점유율은 SK 하이닉스가 50%, 삼성전자가 40%, 마이크론이 10% 정도로 D램보다 더 국내 기업이 독보적인 점유율을 자랑하는 분야입니다. HBM은 상당히 고부가가치 상품일 뿐 아니라 수요가 급격히 증가하고 있어 앞으로 우리나라의 새로운 주력 상품이 될 것으로 기대되고 있습니다. 

그런데 이렇게 좋은 제품이라면 더 적용 범위를 늘려 나가도 되지 않을까 하는 생각이 드는 게 사실입니다. 그래픽 카드에 쓰이는 HBM이 처음 등장했을 때만 해도 그런 생각을 지닌 사람들이 많았습니다. 많은 이들이 이제는 용량이나 속도 한계에 점점 도달한 그래픽스 더블 데이터 레이트(GDDR) 메모리를 대신해 HBM이 새로운 대세가 될 것으로 믿었습니다. 

여기서 잠깐 GDDR 메모리에 대한 이야기를 먼저 해야 합니다. 초창기 GPU들은 CPU와 동일한 DDR 계열 메모리를 사용했는데, GPU가 처리하는 데이터의 양이 급격히 증가하면서 곧 병목 현상에 부딪히게 됩니다. 그래서 나온 것이 GDDR 메모리였습니다. GDDR3부터 본격적으로 시장에 공급되었고 이후 GDDR5에서는 사실상 그래픽 메모리의 표준이 되었습니다. GDDR5는 사실 DDR3 메모리의 변형으로 같은 건물에 엘리베이터와 통로를 여러 개 만들어 속도를 높인 것으로 이해할 수 있습니다. 

하지만 GPU 발전 속도가 GDDR 메모리 발전 속도보다도 더 빠른 것이 다시 문제가 됐습니다. 고성능 GPU에서 필요한 메모리 대역폭을 얻기 위해서는 256bit 메모리 인터페이스와 GDDR 계열 메모리로도 부족한 상황이 된 것입니다. 여기에 GDDR 메모리는 여러 층으로 쌓기도 힘들어 용량까지 한계가 분명했습니다. 

2013년 JEDEC에서 표준을 확정한 HBM은 이 문제에 대한 완벽한 해결책으로 보였습니다. HBM은 기본적으로 메모리를 4층, 8층, 12층씩 위로 쌓아 올린 적층형 메모리 구조라 면적 대비 용량이 GDDR과 비교되지 않을 정도로 높습니다. 그러면서도 데이터 전송 속도를 높이기 위해 위아래로 작은 통로인 TSV를 무수히 뚫어 데이터 전송 속도를 획기적으로 끌어 올렸습니다. 

그만큼 제조가 까다롭고 프로세서와 연결을 위해 인터포저라는 중간층을 또 넣어야 한다는 것이 문제였지만, 장기적으로 보면 GDDR 메모리는 속도와 용량면에서 HBM의 상대가 되지 않을 것으로 예상되었습니다.  하지만 이런 기대에도 불구하고 2015년 1세대 HBM을 장착한 라데온 R9 Fury X는 GDDR5를 장착한 엔비디아의 GTX 980 Ti를 넘지 못하는 실망스러운 성능을 보여줬습니다. 메모리 대역폭 자체는 라데온 R9 Fury X가 높았지만, GPU 자체의 성능에서 밀렸기 때문입니다. 지포스 쪽이 데이터 압축 능력이 더 뛰어나 대역폭의 단점을 쉽게 극복한 것도 이유였습니다.

더 저렴한 GDDR 메모리를 장착해도 경쟁자를 충분히 제압할 수 있는 상황에서 엔비디아는 게이밍 GPU에 굳이 HBM을 탑재할 필요를 느끼지 못했습니다. HBM 탑재 라데온 그래픽 카드가 지포스의 성능을 뛰어넘었다면 이후에는 다른 시장 상황이 펼쳐질 수 있었다는 점은 아쉬운 부분입니다. 

아무튼 이후 GDDR 메모리도 계속 발전하면서 어느 정도 고성능 게이밍 GPU에 필요한 대역폭을 제공했습니다. 그리고 그래픽 카드 시장 자체가 엔비디아 독점 시장이 되면서 급할 게 없는 엔비디아는 가격이 저렴한 GDDR6X 메모리를 RTX 4000 시리즈에도 사용하고 있습니다. 처음에는 고성능 GPU에 HBM 계열 메모리를 사용했던 AMD마저도 제품군 자체가 중급형으로 내려가면서 비싼 HBM을 탑재해야 할 이유가 사라져 GDDR로 다시 회귀했습니다. 

하지만 미래에는 다른 상황이 펼쳐질 수도 있습니다. 엔비디아와 AMD 모두 AI 및 HPC 연산용 GPU에 고성능 HBM을 아낌없이 사용하고 있기 때문입니다. 이런 종류의 제품은 기본적으로 가격이 매우 비싸기 때문에 HBM이 GDDR 메모리보다 좀 더 비싸다는 것은 큰 문제가 되지 않습니다. 그보단 현재 기술적 우위를 바탕으로 시장을 장악하려는 엔비디아와 AMD나 인텔 같은 도전자들이 가진 기술을 모두 쏟아붓는 시장이기 때문에 HBM3나 HBM3E 같은 최신 메모리에 대한 수요가 폭발하고 있습니다. 여기에 인텔은 서버 CPU에도 HBM을 탑재하면서 적용 범위가 넓어지고 있습니다. 

이렇게 생산이 늘어나면 결국 규모의 경제가 이뤄져 가격은 내려갈 수 있습니다. 그리고 메모리 용량 및 속도에서 HBM의 발전 속도가 GDDR보다 여전히 빨라 몇 년 후에는 고성능 그래픽 카드나 서버 부분에서 적용 범위가 점점 더 넓어질 것으로 기대할 수 있습니다. 10년 만에 본격적으로 빛을 보고 있는 HBM의 미래를 기대해 봅니다.