HBM(High Bandwidth Memory, 고대역폭 메모리)은 D램 칩(코어다이)을 여러 층 수직으로 쌓고, 맨 아래에 이 적층을 제어하고 GPU와 연결하는 칩(베이스다이)을 둔 메모리입니다. 층과 층은 칩을 관통하는 미세 전극인 TSV로 연결됩니다. 새로운 종류의 메모리라기보다 D램을 쌓는 방식과 연결 방식을 바꿔 데이터 통로를 크게 넓힌 구조라고 이해하면 됩니다.
구조를 이해할 때 가장 중요한 기준은 역할 구분입니다. 코어다이는 주로 저장 용량을 담당하고, 베이스다이는 주로 연결·제어·기능을 담당합니다. 이 차이를 알면 HBM 관련 뉴스에서 “적층 수 경쟁”과 “베이스다이 경쟁”이 각각 무엇을 뜻하는지 구분할 수 있습니다.
HBM 구조를 한눈에 보기
HBM 패키지는 아래에서 위로 다음과 같이 구성됩니다.
| 구성 요소 | 위치 | 주요 역할 |
|---|---|---|
| 베이스다이(Base Die) | 적층의 맨 아래 | GPU와 연결되고, 위에 쌓인 D램을 제어 |
| 코어다이(Core Die) | 베이스다이 위에 여러 층 | 실제 데이터를 저장하는 D램 칩 |
| TSV(실리콘 관통 전극) | 각 칩을 수직으로 관통 | 층과 층 사이에 신호와 전력을 전달 |
SK하이닉스는 TSMC와의 협력을 발표하면서 HBM이 베이스다이 위에 코어다이를 쌓고 TSV로 수직 연결해 만들어지며, 베이스다이가 GPU와 연결돼 HBM을 컨트롤한다는 구조 설명을 공개했습니다. 같은 자료에서 TSV는 D램 칩에 수천 개의 미세한 구멍을 뚫고, 위아래 칩의 구멍을 수직으로 관통하는 전극으로 연결하는 기술이라고 설명합니다.
아파트에 비유하면
예를 들어 HBM을 한 동의 아파트로 생각해 보겠습니다. 이 비유는 이해를 돕기 위한 단순화입니다.
- 코어다이는 짐을 보관하는 각 층의 세대입니다. 층이 늘어나면 보관할 수 있는 양, 곧 용량이 커집니다.
- 베이스다이는 1층의 관리사무소이자 출입구입니다. 바깥(GPU)과 소통하고, 어느 층에서 무엇을 꺼낼지 관리합니다.
- TSV는 건물을 관통하는 수천 개의 엘리베이터 통로입니다. 통로가 많을수록 한 번에 많은 데이터가 오르내릴 수 있습니다.
이 비유에서 중요한 점은 층수를 늘려도 출입구와 통로가 뒷받침하지 못하면 전체 성능이 따라오지 않는다는 것입니다. HBM 세대가 올라갈수록 베이스다이가 주목받는 이유가 여기에 있습니다.
코어다이: 용량을 결정하는 D램 층
코어다이는 일반 D램과 같은 원리로 데이터를 저장하는 칩입니다. 다만 HBM용 코어다이는 TSV가 뚫려 있고 얇게 가공되어, 여러 장을 쌓을 수 있도록 만들어집니다.
HBM의 용량은 대체로 코어다이 한 장의 용량 × 적층 수로 결정됩니다. 국제 반도체 표준화 기구인 JEDEC은 HBM4 표준(JESD270-4)에서 4단·8단·12단·16단 적층과 24Gb 또는 32Gb 다이 용량을 지원한다는 사양을 발표했습니다.
단순 계산 예시로, 32Gb(기가비트) 코어다이를 16단으로 쌓으면 32Gb × 16 = 512Gb이고, 8비트가 1바이트이므로 512 ÷ 8 = 64GB가 됩니다. JEDEC이 HBM4의 최대 스택 용량으로 제시한 64GB와 일치하는 값입니다.
적층 수가 늘면 무엇이 어려워지는가
층을 많이 쌓을수록 용량은 커지지만 제조 난도도 함께 올라갑니다. 정해진 패키지 높이 안에 더 많은 칩을 넣으려면 칩을 더 얇게 만들어야 하고, 층이 많아질수록 열이 빠져나가기 어려워집니다. 한 층이라도 불량이 생기면 전체 스택에 영향을 줄 수 있어 수율 관리도 중요해집니다. 따라서 “몇 단을 쌓았는가”는 용량 경쟁력과 함께 적층·발열 기술력을 보여주는 지표로 읽는 것이 정확합니다.
베이스다이: HBM의 출입구이자 관리자
베이스다이는 적층의 맨 아래에서 GPU 같은 연산 칩과 데이터를 주고받는 인터페이스 역할을 하고, 위에 쌓인 코어다이에 신호와 전력을 나눠 전달합니다. 업계에서는 로직다이(Logic Die), 버퍼다이(Buffer Die)라고도 부릅니다.
HBM4부터 베이스다이의 의미가 크게 달라졌습니다. SK하이닉스는 위 발표 자료에서 HBM3E까지는 자체 공정으로 베이스다이를 만들었지만, HBM4부터는 로직 선단 공정을 활용해 다양한 기능을 추가하고 고객 맞춤형 HBM을 만들겠다는 계획을 밝혔습니다. 삼성전자도 HBM4 제품 페이지에서 1c D램과 4나노 파운드리 공정을 기반으로 하며, HBM이 발전할수록 베이스다이의 중요성이 커진다고 설명하고 있습니다.
왜 베이스다이가 경쟁의 중심이 되는가
베이스다이를 메모리 공정이 아닌 첨단 로직(파운드리) 공정으로 만들면, 단순 연결 기능을 넘어 고객사가 원하는 기능을 넣을 수 있는 여지가 생깁니다. 이 때문에 HBM은 정해진 규격대로 대량 생산하는 범용 제품에서, 고객별로 설계를 맞추는 맞춤형 제품 쪽으로 성격이 일부 바뀌고 있습니다. 메모리 기업이 파운드리와 협력하거나 자체 파운드리 역량을 강조하는 배경도 여기에 있습니다.
HBM이 일반 D램보다 빠른 이유: 통로의 폭
HBM의 강점은 데이터 한 가닥의 속도보다 동시에 주고받는 통로의 수에 있습니다. JEDEC 발표에 따르면 HBM4는 2,048비트 인터페이스에서 핀당 최대 8Gb/s로 전송해 총 대역폭이 최대 2TB/s에 이릅니다. 삼성전자 역시 HBM4의 I/O 핀 수가 1,024개에서 2,048개로 두 배가 됐다고 설명합니다.
계산 과정은 다음과 같습니다.
- 2,048비트 × 8Gb/s = 16,384Gb/s
- 16,384Gb/s ÷ 8 = 2,048GB/s, 약 2TB/s
이 값은 JEDEC 표준이 제시한 기준 속도로 계산한 것입니다. 제조사 제품은 표준보다 높은 속도를 내세우기도 합니다. 삼성전자는 자사 HBM4가 핀당 최대 13Gbps, 최대 3,300GB/s의 대역폭을 낸다고 밝히고 있으며, 2,048비트 × 13Gb/s ÷ 8 ≈ 3,328GB/s로 계산해도 비슷한 수준이 나옵니다. 다만 이는 제조사 내부 테스트 기준이므로 실제 시스템 성능은 GPU, 패키징, 작업 종류에 따라 달라질 수 있습니다.
이렇게 넓은 통로를 만들려면 HBM과 GPU가 아주 가까이 붙어 있어야 합니다. 그래서 HBM은 일반 PC의 메모리처럼 메인보드 슬롯에 꽂지 않고, 인터포저라는 특수 기판 위에 GPU와 나란히 올려 하나의 패키지로 만듭니다. TSMC의 CoWoS가 이런 2.5D 패키징 방식의 대표적인 예입니다.
자주 헷갈리는 내용 정리
- “HBM은 D램과 다른 메모리다”: 저장 원리는 D램과 같습니다. 차이는 칩을 쌓는 방식, TSV 연결, 매우 넓은 인터페이스, GPU 옆에 붙이는 패키징에 있습니다.
- “층을 많이 쌓으면 그만큼 빨라진다”: 적층 수는 주로 용량과 관련됩니다. 대역폭은 인터페이스 폭과 핀당 속도의 영향을 더 크게 받습니다.
- “베이스다이는 GPU의 일부다”: 베이스다이는 HBM 스택에 속한 칩입니다. 다만 HBM4부터 로직 공정으로 만들 수 있게 되면서, 연산 칩과 기능 경계가 점차 가까워지고 있습니다.
- “HBM이 일반 D램을 대체한다”: HBM은 AI 가속기와 고성능 컴퓨팅처럼 대역폭이 핵심인 분야에 쓰입니다. 비용과 패키징 구조 때문에 일반 PC나 스마트폰 메모리를 대신하는 용도는 아닙니다.
HBM 뉴스를 읽을 때 확인할 기준
구조를 이해했다면 HBM 관련 발표를 다음 기준으로 나눠 읽을 수 있습니다.
- 적층 수(8단·12단·16단): 용량과 적층·발열 기술에 대한 이야기입니다.
- 대역폭·핀당 속도: 인터페이스와 베이스다이 성능에 대한 이야기입니다. 표준 기준치인지 제조사 자체 측정치인지 함께 확인하는 것이 좋습니다.
- 베이스다이 공정(파운드리 협력, 나노 공정): 맞춤형 HBM과 기능 확장에 대한 이야기입니다.
- 패키징(CoWoS 등): HBM을 GPU와 결합하는 단계의 공급 능력에 대한 이야기입니다.
정리: 코어다이는 저장, 베이스다이는 연결과 제어
HBM은 D램 코어다이를 여러 층 쌓아 용량을 확보하고, 맨 아래 베이스다이가 GPU와의 연결과 제어를 맡으며, TSV가 층 사이를 수직으로 잇는 구조입니다. 적층 수 경쟁은 주로 용량과 제조 기술의 문제이고, 베이스다이 경쟁은 성능, 기능, 맞춤화의 문제입니다. 앞으로 HBM 관련 소식을 볼 때는 그 발표가 이 중 어느 층위의 이야기인지 먼저 구분하면 내용을 훨씬 정확하게 이해할 수 있습니다.
함께 보면 좋은 글
HBF란 무엇인가? HBM 차이점부터 관련주까지 차세대 AI 메모리 혁신 총정리
삼성전자 HBM4E 최초 공개: 엔비디아 베라 루빈 최적화 및 기술 혁신 전략
HBM 이제 위로 쌓는다” zHBM 관련주 미리 선점하는 법