엔비디아를 벗어나기 어렵다는 말은 보통 CUDA 때문이라고 정리됩니다. 그런데 그 문장은 너무 뭉뚱그려져 있어요.

해자는 한 겹이 아니라 여러 겹이고, 그중 하나는 이미 무너졌습니다. 어디가 뚫렸고 어디가 멀쩡한지 층으로 나눠 보면 다음 판이 어디서 벌어질지가 보입니다.

여러 겹으로 둘러싼 해자와 한 겹이 무너진 개념 컷 여러 겹으로 둘러싼 해자와 한 겹이 무너진 개념 컷 — 출처: 공개 자료 기반 자가 생성

해자를 네 겹으로 나누면

NVIDIA 로고 NVIDIA 로고 — 출처: NVIDIA

층 무엇인가 상태
프레임워크 PyTorch·JAX 사실상 뚫림
커널 직접 짠 연산 코드 부분 이식
라이브러리 cuDNN·cuBLAS 등 견고
시스템 NVLink·네트워킹 견고

이렇게 놓고 보면 흔히 말하는 CUDA 잠금은 위 두 층이 아니라 아래 두 층에 있습니다.

이미 뚫린 층 — 프레임워크

프레임워크가 여러 가속기로 갈라지는 개념 컷 프레임워크가 여러 가속기로 갈라지는 개념 컷 — 출처: 공개 자료 기반 자가 생성

PyTorch와 JAX로 짠 표준적인 코드는 AMD의 ROCm 위에서 코드 수정 없이 돌아갑니다. 모델을 정의하고 학습 루프를 도는 수준이라면 이 층에서는 잠금이 없어요.

그런데 왜 여전히 안 옮기나

옮기는 순간 드러나는 게 그 아래입니다. 성능을 끌어내려고 직접 짠 커널, 그리고 cuDNN·cuBLAS·TensorRT·NCCL 같은 라이브러리에 붙은 부분이 남습니다.

Triton 같은 도구는 커널을 여러 백엔드로 컴파일해 주지만 라이브러리 의존까지 걷어내지는 못합니다. 그래서 실제 격차는 프로그래밍 모델이 아니라 수년간 쌓인 라이브러리 최적화에서 나옵니다. 같은 연산을 돌려도 아직 두 자릿수 퍼센트의 성능 차가 보고되는 이유예요.

잠금은 문법이 아니라 최적화에 걸려 있습니다

남은 두 층 — 라이브러리와 시스템

AMD 로고 AMD 로고 — 출처: AMD

라이브러리 — 20년치 최적화

같은 행렬 곱을 돌려도 실행 시간이 다릅니다. 어느 크기에서 어떤 타일로 쪼개고 어떤 메모리 계층을 쓸지가 함수마다 손으로 다듬어져 있고, 그 축적이 cuDNN·cuBLAS 같은 라이브러리에 들어 있어요.

ROCm 쪽에 같은 이름의 대응 함수가 있어도 그 안의 최적화까지 같지는 않습니다. 연산 종류에 따라 두 자릿수 퍼센트의 차이가 보고되는 이유이고, 이건 문서를 읽어서 따라잡는 종류의 격차가 아닙니다.

시스템 — 랙을 한 덩어리로 묶는 부분

두 번째는 칩 바깥입니다. 엔비디아의 GB200 NVL72는 한 랙에 Grace CPU 36개와 Blackwell GPU 72개를 넣고 NVLink로 묶습니다. 72장이 하나의 큰 GPU처럼 동작하도록 만든 구조예요.

여기서 용어가 갈립니다. 랙 안에서 GPU들을 촘촘히 묶는 걸 스케일업이라 하고, 랙과 랙을 InfiniBand나 RoCE로 잇는 걸 스케일아웃이라고 합니다. 스케일아웃 쪽은 표준 네트워크 장비가 있어 선택지가 있지만, 스케일업은 엔비디아 자체 규격에 묶여 있습니다.

층 갈아타기 비용
프레임워크 거의 없음
커널 재작성 필요
라이브러리 성능 손실 감수
시스템 랙 단위 재설계

모델 하나를 여러 장에 쪼개 올릴수록 이 스케일업 연결이 성능을 좌우합니다. 학습이 특히 그렇고요.

그래서 전선은 추론이다

가속기 1장당 메모리 용량 가속기 1장당 메모리 용량 — 출처: 직접 작성 (자료: NVIDIA·AMD 공개 사양)

학습은 대규모 클러스터를 오래 돌리는 일이라 시스템 층까지 통째로 갈아타야 합니다. 추론은 다릅니다.

추론에서 중요한 건 모델을 메모리에 얼마나 올릴 수 있느냐입니다. 큰 모델을 한 장에 담으면 카드를 쪼개 나누는 통신이 줄어드는데, 이 지점에서 메모리를 많이 실은 쪽이 유리해집니다. H100이 80GB인 자리에 MI300X가 192GB, MI325X가 256GB를 싣는 게 그래서 의미가 있어요.

하이퍼스케일러가 자체 칩을 만드는 자리도 여기

Google의 TPU, AWS의 Trainium, Microsoft의 Maia는 모두 자사 물량을 겨냥합니다. 자기 워크로드만 잘 돌리면 되니 범용성을 포기할 수 있고, 그만큼 단가를 낮출 수 있어요.

말뿐인 대안이 아니라는 근거도 나왔습니다. Anthropic은 2024년 11월 AWS를 주 클라우드·학습 파트너로 삼아 가장 큰 모델을 Trainium에서 돌리기로 했고, 이어 Google과 최대 100만 개 규모의 TPU 용량을 계약했습니다. 멀티 기가와트급이고 2027년부터 순차 가동됩니다. TPU를 쓰는 외부 고객으로는 Midjourney와 Salesforce도 거론됩니다.

프런티어 모델을 만드는 회사가 엔비디아 밖에서 대규모로 돌리고 있다는 뜻이에요. 다만 이들은 자체 소프트웨어 팀으로 라이브러리 격차를 메울 수 있는 소수라는 점도 같이 봐야 합니다.

업계 추정으로는 데이터센터 AI 가속기 전체에서 엔비디아 점유율이 80%대지만, 추론만 떼어 보면 그보다 낮게 잡힙니다. 추정치라 기관마다 편차가 크니 숫자보다 방향을 보는 편이 낫습니다.

한국이 추론에 베팅한 이유

IITP의 AI 반도체 분야 지원 구성 IITP의 AI 반도체 분야 지원 구성 — 출처: 직접 작성 (자료: 뉴시스·IITP)

국산 AI 반도체 기업들이 학습용 GPU가 아니라 추론 전용 NPU를 만드는 건 우연이 아닙니다. 위에서 본 구도에서 유일하게 비어 있는 자리니까요.

퓨리오사AI·리벨리온·딥엑스·모빌린트 네 곳이 국산 NPU 양산에 성공했고, 리벨리온은 6,400억 원, 퓨리오사AI는 8,000억 원 규모의 투자를 유치했습니다. 딥엑스는 8개국에 수출길을 텄고, 모빌린트는 포스코DX 공장에 자사 칩을 넣을 예정입니다.

무엇을 내세우나 — 성능이 아니라 전력

두 회사가 앞세우는 지표가 비슷합니다. 절대 성능이 아니라 같은 일을 얼마나 적은 전기로 하느냐예요.

리벨리온은 ISSCC 2024에서 ATOM을 발표하며 A100 대비 전력 소모 5분의 1, 에너지 효율 3~4.5배를 제시했습니다. 퓨리오사AI의 RNGD는 TSMC 5nm에 HBM3와 CoWoS 패키징을 쓴 칩인데, 업스테이지의 솔라를 올린 온프레미스 서버에서 H100 대비 4분의 1 전력으로 두 배 가까운 효율을 냈다는 자체 테스트 결과를 내놨어요. 회사 발표 기준이라 조건은 따로 확인해야 합니다.

전력을 앞세우는 건 앞에서 본 구도와 맞물립니다. 데이터센터가 전기와 열에서 먼저 막히는 상황이라, 같은 추론을 적은 전력으로 처리하면 그 자체가 도입 이유가 됩니다.

소프트웨어 층을 어떻게 넘나

주목할 부분은 리벨리온이 vLLM과 Triton 호환을 확보했다고 밝힌 점입니다. 앞에서 프레임워크 층이 이미 열려 있다고 했는데, 국산 NPU가 파고드는 통로가 정확히 그 열린 층이에요. 개발자가 쓰던 추론 서버와 API를 그대로 두고 아래 칩만 바꾸는 그림입니다.

퓨리오사AI는 LG의 엑사원을 자사 칩에서 돌리는 계약을 맺었습니다. 국내에 자체 모델을 가진 대기업이 있다는 게 국산 NPU에는 검증 무대가 됩니다.

정부 쪽에서는 정보통신기획평가원이 기술개발·인재양성·인프라에 나눠 지원했습니다. 리벨리온의 NPU는 KT클라우드에서 상용 서비스에 올라가 있고요.

다만 조건이 붙습니다

추론 시장이 열려 있는 건 맞지만, 그 자리를 노리는 건 국산 NPU만이 아닙니다. AMD와 하이퍼스케일러 자체 칩이 같은 구간을 이미 파고들고 있어요. 라이브러리 최적화라는 과제도 규모가 작을수록 더 무겁습니다.

뚫린 층이 하나뿐이라는 건, 거기로 다 몰린다는 뜻이기도 합니다

정리하면

엔비디아 잠금을 CUDA 한 단어로 부르면 판이 안 보입니다. 프레임워크 층은 이미 열렸고, 남은 건 라이브러리 최적화와 시스템 연결이에요.

그래서 도전은 학습이 아니라 추론에서, 범용이 아니라 특정 물량에서 시작됩니다. 국산 NPU가 서 있는 자리도 정확히 거기입니다.

참고 출처