4탄에서 메모리의 다음 판을 훑을 때 HBM4와 CXL, MRAM을 놓고 이야기했습니다. 그때 목록에 없던 계층이 하나 새로 생겼어요.

이름은 HBF(High Bandwidth Flash, 고대역폭 플래시) 입니다. SK하이닉스와 샌디스크가 8월 4일 첫 표준 규격을 공개했어요.

SK hynix 로고 SK hynix 로고 — 출처: SK hynix

RAM에 대하여 (5) — 중국 CXMT 상장 쇼크와 흔들린 메모리 판도

HBM이 못 푸는 건 용량입니다

속도는 충분한데 용량이 벽이 되는 구조 개념 컷 속도는 충분한데 용량이 벽이 되는 구조 개념 컷 — 출처: 개념 컷 · agy 자가 생성

HBM은 빠릅니다. 문제는 얼마나 담을 수 있느냐예요.

AI 모델의 파라미터가 수천억을 넘어 수조 개로 가면서, D램 기반인 HBM은 용량과 비용에서 발목이 잡힙니다. D램은 비싸고, 한 패키지에 쌓을 수 있는 양에 한계가 있으니까요.

그렇다고 SSD로 내려보내면 너무 느립니다. 빠른 쪽은 작고 큰 쪽은 느린, 익숙한 구도예요.

HBF는 그 사이에 새 칸을 만들자는 제안입니다. 낸드플래시를 쓰되 HBM처럼 넓은 통로로 붙여서, 속도는 HBM에 근접하게 용량은 낸드만큼 가져가자는 거죠.

표준이 정한 숫자

HBF 표준이 정한 대역폭 등급 구간 HBF 표준이 정한 대역폭 등급 구간 — 출처: SK하이닉스 뉴스룸 기반 자가 렌더

이번에 나온 게 그 첫 규격입니다.

항목 정한 내용
용량 낸드 다이 8단·16단 스택 기준 최대 512GB
대역폭 3개 등급으로 약 0.4 ~ 3.0TB/s
연결 업계 표준 UCIe 채택

UCIe를 고른 게 눈여겨볼 대목입니다. 칩과 칩을 잇는 표준 규격이라, GPU든 CPU든 종류가 다른 프로세서에도 붙일 수 있게 됩니다. 특정 회사 칩에 묶이지 않는 구조로 시작한 거예요.

일정도 나왔습니다. SK하이닉스는 내년 초 이를 기반으로 한 고성능·고용량 eSSD 양산에 착수한다고 밝혔습니다. 컨소시엄이 2월에 출범했으니 반년 만에 첫 표준이 나온 셈이고요.

MoE와 맞물립니다

지금 안 켜지는 파라미터를 가까운 자리에 두는 구조 개념 컷 지금 안 켜지는 파라미터를 가까운 자리에 두는 구조 개념 컷 — 출처: 개념 컷 · agy 자가 생성

HBF가 노리는 자리를 이해하려면 요즘 큰 모델이 어떻게 생겼는지를 봐야 합니다.

전문가 혼합(MoE) 구조에서는 토큰 하나를 처리할 때 전체 파라미터 중 일부만 켜집니다. 엔비디아가 최근 공개한 Nemotron 3 Ultra가 그 예인데, 전체 550B 중 토큰당 활성은 55B입니다. 나머지 495B는 그 순간 놀고 있어요.

그런데 놀고 있다고 멀리 둘 수는 없습니다. 다음 토큰에서 다른 전문가가 호출되면 바로 가져와야 하니까요.

지금 안 쓰는데 곧 쓸 것 — 그 애매한 자리에 놓을 칸이 없었습니다

HBM에 다 올리자니 비싸고, SSD로 내리자니 불러오는 데 오래 걸립니다. HBF는 정확히 그 틈을 겨냥합니다. 자주 안 켜지는 대량의 파라미터를 근접 메모리에 담아 두는 용도예요.

그러니까 이건 HBM을 대체하는 물건이 아닙니다. HBM 옆에 붙어서 HBM이 감당 못 하는 덩치를 나눠 지는 쪽이에요.

그런데 아직 둘뿐입니다

Google 로고 Google 로고 — 출처: Google

여기서 냉정해질 필요가 있습니다. 표준이 나왔다고 판이 정해진 게 아니에요.

현재 HBF 컨소시엄에 붙은 건 구글과 텐스토렌트뿐입니다. 주요 반도체·메모리 업체들은 아직 관심을 보이지 않았습니다. 삼성전자와 마이크론이 빠져 있다는 게 특히 큽니다 — 메모리 표준은 만드는 곳이 여럿이어야 값이 싸지고 공급이 안정되거든요.

기술적 한계도 분명히 짚어야 합니다.

  • 지연 시간에서는 HBF가 HBM4를 넘어서기 어렵습니다. 낸드는 D램보다 느린 매체라 이건 구조적입니다
  • 당분간 데스크톱이나 소비자용 하드웨어로 내려오기는 어렵습니다. 데이터센터 이야기예요
  • 표준만 나왔지 실제 제품 성능은 아직 검증 전입니다. 양산은 내년 초 eSSD부터고요

그래도 볼 만한 이유

그럼에도 이 발표가 의미 있는 건, 국내 기업이 표준을 따라간 게 아니라 만들었다는 점입니다. HBM에서 SK하이닉스가 앞서 나간 뒤로 메모리 쪽 판을 짜는 자리에 국내 기업이 서는 일이 늘고 있어요.

SK하이닉스 김천성 부문장은 HBF를 통해 메모리와 스토리지 사이의 경계를 확장하겠다고 했습니다. 두 칸으로 나뉘어 있던 구분에 칸을 하나 더 넣겠다는 뜻이고, 그게 성공하면 다음 세대 AI 서버의 구조가 바뀝니다.

앞으로 볼 것

  • 삼성전자·마이크론이 컨소시엄에 합류하는지 — 이게 이 표준의 운명을 가릅니다
  • 내년 초 eSSD 양산이 일정을 지키는지, 실측 대역폭이 등급대로 나오는지
  • GPU 쪽에서 UCIe로 HBF를 붙인 실제 제품이 나오는지

참고 출처