1024 0.339 0.376 2048 0.502 0.375 4096 0.834 0.374 8192 1.515 0.347 16384 1.623 0.364 32768 2.420 0.347 65536 4.448 0.375
length attn (MiB) recur (MiB)
1024 4.00 0.25
2048 8.00 0.25
4096 16.00 0.25
8192 32.00 0.25
16384 64.00 0.25
32768 128.00 0.25
65536 256.00 0.25
n: 4 hashtags: ["Mamba3", "맘바3", "상태공간모델", "StateSpaceModel", "SSM", "Mamba2", "GatedDeltaNet", "선형어텐션", "LinearAttention", "KV캐시", "KVCache", "AlbertGu", "앨버트구", "TriDao", "트라이다오", "ICLR2026", "CMU", "Princeton", "트랜스포머", "Transformer", "긴컨텍스트", "LongContext", "추론비용", "추론효율", "MIMO", "논문리뷰", "AI논문", "arXiv", "vLLM", "Colab"] ---
어텐션은 문맥이 길어질수록 비싸집니다. 계산은 길이의 제곱으로, 메모리는 길이에 비례해 늘어나요.
이 구조를 바꾸려는 시도는 오래됐는데, 대개 품질을 내주고 속도를 얻었습니다. 2026년 3월에 나온 논문 한 편이 그 교환을 다시 계산합니다.
Mamba-3 논문 제목·저자·초록 — 출처: arXiv / Carnegie Mellon University · Princeton University
어떤 논문인가
| 항목 | 내용 |
|---|---|
| 제목 | Mamba-3: Improved Sequence Modeling using State Space Principles |
| 저자·소속 | Aakash Lahoti 외 7인 · CMU · Princeton |
| 공개 | arXiv 2026-03-16 · ICLR 2026 |
교신 표기는 Tri Dao 와 Albert Gu 입니다. Mamba 계열을 만들어 온 쪽이 그대로 3세대를 냈어요.
실험 논문입니다. 구조를 제안하고 같은 조건에서 학습해 측정한 값을 싣습니다. 다만 뒤에서 볼 성능 표는 전부 100B 토큰으로 학습한 자체 실험이라, 상용 모델의 성능표와 같은 것이 아닙니다.
Mamba-2 블록과 Mamba-3 블록 대비 (Figure 2) — 출처: arXiv / Carnegie Mellon University · Princeton University
용어를 하나만 풀고 갑니다. 상태공간모델(state space model, SSM) 은 문맥 전체를 다시 훑는 대신, 지금까지 읽은 내용을 고정 크기의 요약본 하나에 눌러 담고 토큰이 올 때마다 그 요약본만 갱신하는 방식입니다. 그 요약본을 상태(state)라고 부르고, 크기가 문맥 길이와 무관하게 고정이라는 게 요점이에요.
논문이 짚은 문제
문맥이 길어질수록 함께 커지는 캐시를 표현한 3D 에디터리얼 콘셉트 씬 — 출처: 개념 컷 · agy 자가 생성
논문이 서론에서 든 어텐션의 병목은 둘입니다. 하나는 자기어텐션의 계산량이 길이의 제곱으로 늘어난다는 것, 다른 하나는 KV 캐시가 길이에 비례해 선형으로 늘어난다는 것입니다.
KV 캐시는 지금까지 읽은 모든 토큰의 어텐션 상태를 들고 있는 메모리입니다. 토큰마다 정해진 양을 차지하니 문맥이 8배 길어지면 이 메모리도 8배가 돼요.
그런데 논문은 기존 선형 모델들도 그대로 칭찬하지 않습니다. 초록에 두 가지 유보를 적었어요.
많은 최신 선형 모델이 알고리즘 효율을 얻는 대신 품질과 능력을 내줬고, 상태 추적 같은 과제에서 실패한다
이론상 선형인 추론이 실제 하드웨어에서는 비효율적으로 남아 있다
이 둘을 같이 풀겠다는 게 논문이 말하는 추론 우선 관점(inference-first perspective) 입니다.
길어질수록 갈립니다
시퀀스 길이별 Prefill+Decode 지연 — 출처: 논문 Table 7 기반 자가 렌더
논문 Table 7이 이 주장의 핵심 근거입니다. 같은 하드웨어에서 시퀀스 길이를 바꿔 가며 전체 지연을 쟀어요.
512 토큰에서는 어텐션 쪽이 4.45ms, Mamba-3 SISO가 4.39ms입니다. 사실상 같습니다. 2,048 토큰에서 20.37ms 대 17.57ms로 조금 벌어지고요.
16,384 토큰에서 976.50ms 대 140.61ms가 됩니다. 약 7배예요. 길이를 32배 늘리는 동안 어텐션 쪽은 219배가 됐고, Mamba-3는 32배가 됐습니다.
짧은 문맥에서는 차이가 없습니다. 차이는 길이가 만들어 냅니다
여기서 조건을 정확히 봐야 합니다. 어텐션 쪽 대조군은 vLLM으로 돌린 Llama-3.2-1B이고, 최적화된 추론 엔진을 쓴 값입니다. 저자들도 모든 선형 방식이 길이가 늘어남에 따라 최적화된 어텐션보다 빨라진다고만 적었어요. 짧은 문맥까지 포함해 이긴다고 쓰지 않았습니다.
논문이 내놓은 답 셋
디코딩 한 스텝에 걸리는 시간 — 출처: 논문 Table 6 기반 자가 렌더
Mamba-2에서 바뀐 지점을 논문은 셋으로 정리합니다.
| 바꾼 것 | 노리는 효과 |
|---|---|
| 지수-사다리꼴 이산화 | 더 표현력 있는 순환 |
| 복소수 상태 갱신 | 상태 추적 능력 |
| MIMO 형식 | 디코딩 지연 유지한 채 성능 |
첫째는 연속 시간 미분방정식을 이산 단계로 바꾸는 방식을 개선한 것입니다. 둘째는 상태 전이 행렬의 고윳값을 실수로만 두면 회전하는 형태의 상태 변화를 표현할 수 없다는 기존 지적을 복소수로 푼 것이고요. 논문은 그 예로 이진 입력의 홀짝을 세는 과제를 듭니다.
셋째가 이 논문에서 가장 실용적인 부분입니다. MIMO(multi-input multi-output) 는 한 번의 상태 갱신에 여러 입력·출력을 태우는 형식인데, 디코딩 연산량을 늘리면서도 실제 걸리는 시간은 거의 그대로 둡니다. 메모리를 기다리느라 놀고 있던 연산 장치를 채우는 쪽이라서요.
디코딩 한 스텝을 재 보면 Mamba-3 SISO가 0.156ms로 가장 빠르고, MIMO는 0.179ms입니다. 같은 조건에서 Mamba-2가 0.203ms, Gated DeltaNet이 0.257ms였어요. 배치 128, H100 한 장, 1.5B 모델, BF16, 상태 차원 128 기준입니다.
품질은 어떻게 나왔나
100B 토큰으로 학습한 모델들의 다운스트림 성능 (Table 3) — 출처: arXiv / Carnegie Mellon University · Princeton University
속도만 빠르고 품질이 떨어지면 앞의 이야기가 무의미해집니다. 논문은 네 가지 규모에서 같은 절차로 학습해 비교했어요. 전부 FineWeb-Edu 100B 토큰, Llama-3.1 토크나이저, 문맥 길이 2K입니다.
1.5B 규모의 평균 정확도를 보면 Transformer 55.4, Gated DeltaNet 55.8, Mamba-2 55.7, Mamba-3 SISO 56.4, Mamba-3 MIMO 57.6입니다. 초록이 말한 0.6포인트는 SISO와 차순위 모델의 차이이고, MIMO가 1.2포인트를 더해 합계 1.8포인트가 됩니다.
포인트 단위가 작아 보일 수 있는데, 같은 데이터·같은 절차로 맞춘 비교라는 점이 이 표의 값입니다. 다만 문맥 길이 2K로 학습한 모델들이라, 앞 절의 16K 지연 실험과는 다른 조건에서 나온 숫자예요.
저자가 남긴 숙제
Mamba-2 대비 Mamba-3의 상태 크기 — 출처: 논문 초록 기반 자가 렌더
논문이 스스로 적은 한계가 둘 있습니다.
하나는 MIMO의 대가입니다. 디코딩은 거의 공짜로 얻었지만 prefill(프롬프트를 한꺼번에 훑는 첫 단계)에는 적지 않은 오버헤드가 붙는다고 저자들이 적었어요. Table 7에서 16,384 토큰 prefill 이 SISO 16.22ms, MIMO 19.44ms입니다.
다른 하나는 해석의 문제입니다. Mamba-3의 개선은 SSM 관점, 즉 연속 시간 시스템을 이산화한다는 시각에서 나왔는데, 요즘 선형 모델을 설명하는 다른 틀인 연상 기억(associative memory) 관점에서는 이 3항 순환을 어떻게 읽어야 할지 자명하지 않다고 저자들이 밝혔습니다. 같은 구조를 두 언어로 설명하는 일이 아직 안 끝났다는 뜻이에요.
여기에 제 관점을 하나 덧붙이면, 이 논문의 실험은 전부 1.5B 이하입니다. 지금 서비스에 올라가는 모델 규모에서 같은 격차가 유지되는지는 이 논문이 답하지 않습니다.
상태 크기 쪽은 좋은 소식입니다. 논문은 Mamba-2 상태 크기의 절반으로 비슷한 perplexity에 도달했다고 적었어요. 상태가 작다는 건 문맥이 아무리 길어져도 들고 다닐 메모리가 그만큼이라는 뜻입니다.
국내에는 무슨 의미인가
국내 서비스가 지금 쓰는 대응은 대부분 우회입니다. KV 캐시를 FP8로 줄이고, 반복되는 프롬프트 앞부분을 재활용하는 프리픽스 캐싱을 걸고, 캐시를 여러 층으로 나눠 저장하는 식이에요. 긴 문맥 비용을 줄이려는 이 작업이 전부 어텐션의 KV 캐시라는 전제 위에 서 있습니다.
국내에서 공개되는 모델들도 아직 트랜스포머 계열이고, 로컬에서 돌리는 모델들이 128K 문맥을 기본으로 내걸면서 캐시 메모리 문제는 오히려 더 커졌습니다.
Mamba-3가 말하는 건 그 전제를 바꾸는 쪽입니다. 캐시를 잘 줄이는 게 아니라 캐시가 자라지 않게 만드는 것이고요. 당장 국내 모델이 이쪽으로 옮겨 간다는 신호는 없지만, 문맥 길이를 늘리는 경쟁이 계속되면 계산은 달라집니다.
직접 재 봤습니다
논문의 성능 수치를 재현하려면 학습부터 해야 해서 노트북에서 다룰 범위가 아닙니다. 대신 비용 구조는 최소 구현으로 확인할 수 있어요. 같은 은닉 차원에서 두 방식으로 토큰 하나를 디코딩하며 길이를 1,024에서 65,536까지 64배 늘려 봤습니다.
길이별 디코딩 시간과 들고 있어야 하는 크기가 찍힌 노트북 셀 — 출처: 직접 실행한 노트북 화면
크기 쪽이 이 표의 핵심입니다. 어텐션은 4MiB에서 256MiB로 정확히 64배가 됐고, 선형 순환은 일곱 지점 모두 0.25MiB였어요. 길이에 정확히 비례하는 값과 아예 무관한 값의 차이입니다.
이건 층 하나 기준입니다. 24층 모델이면 65,536 토큰에서 KV 캐시가 6GiB, 선형 순환 상태가 6MiB가 됩니다.
시간 쪽은 더 조심해서 읽어야 합니다. 세 가지를 짚어 둘게요.
짧은 길이에서는 선형 순환이 오히려 느립니다 — 1,024에서 어텐션 0.339ms, 선형 순환 0.376ms입니다. 교차는 2,048 부근이에요
시간은 13.1배만 늘었습니다. 캐시가 64배 늘어난 것과 다릅니다 — 커널이 흡수하는 몫이 있어 길이에 정비례하지 않습니다
같은 코드를 이틀 간격으로 돌렸을 때 8,192에서 1.105ms와 1.515ms가 나왔습니다. 중간 길이의 개별 값보다 양 끝의 추세를 봐야 합니다
이 노트북은 무작위로 초기화한 최소 구현이라 정확도는 재지 않았습니다. 논문 Table 7의 숫자와 같은 값이 나오지 않고, 나와서도 안 됩니다. 확인하는 건 비용이 어떤 모양으로 자라느냐 하나예요.
🔗 링크 첨부 - https://colab.research.google.com/github/No1Joon/oh-my-notebooks/blob/main/notebooks/mamba3_inference_cost.ipynb
정리하면
- 어텐션의 비용은 계산이 길이의 제곱, 메모리가 길이에 비례해 늘어납니다.
- 512 토큰에서는 차이가 없습니다. 16,384 토큰에서 976.50ms 대 140.61ms로 갈립니다.
- 개선은 셋입니다 — 이산화 방식, 복소수 상태, 그리고 디코딩 지연을 안 늘리는 MIMO.
- 1.5B 규모 평균 정확도에서 SISO가 0.6포인트, MIMO가 1.2포인트를 더합니다.
- MIMO 는 prefill 에서 오버헤드를 냅니다. 실험 규모는 1.5B 이하입니다.
- 최소 구현으로 재 보니 길이 64배에 캐시는 64배, 상태는 그대로였습니다.
이 논문의 질문은 어느 구조가 더 똑똑한가가 아니라, 문맥이 길어질 때 청구서가 어떻게 자라는가입니다.
참고 출처
- [arXiv] Mamba-3: Improved Sequence Modeling using State Space Principles — Lahoti, Li, Chen, Wang, Bick, Kolter, Dao, Gu (본문 수치·본문 이미지 3점 출처)
- [OpenReview] ICLR 2026 게재본
- 지연·정확도 수치는 논문 Table 3·6·7에서 직접 옮긴 값입니다
- 성능 표는 100B 토큰·문맥 2K 로 저자들이 직접 학습한 모델 기준이며, 상용 모델의 공개 성능과 비교할 수 있는 값이 아닙니다
- 재현 수치 측정 조건: Tesla T4 · torch 2.11.0 · float16 · d_model 1024 · 헤드 16 · 상태 차원 128 · 길이·방식마다 워밍업 10회 후 50회 중앙값 · 층 하나 기준