AI 언어 모델과 반도체 - 2

1. AI 메모리는 두 갈래로 나뉜다

인공지능이 활용하는 메모리는 크게 두 가지로 나뉩니다. 첫 번째는 AI의 '뇌'에 해당하는 부분으로, GPT-3나 LLaMA, DeepSeek 같은 대규모 언어모델이 학습 과정에서 구축한 수십억 개의 매개변수(parameter)들이 여기에 해당합니다. 이 수치는 곧 인공지능의 용량, 즉 뇌세포의 수라고 보시면 됩니다. 두 번째는 실제 AI가 동작할 때, 그러니까 우리가 질문을 입력했을 때 단어 하나하나를 분석하고 문장을 구성하는 과정에서 발생하는 일시적인 메모리입니다. 예컨대 단어 하나에 12,000개의 숫자가 붙는다고 하면, 이 숫자들의 계산 과정과 동시에 여러 사용자가 사용할 경우 각각의 상태값까지도 여기에 포함됩니다.

2. 정밀도 낮추기로 메모리 절약하기

AI가 사용하는 숫자의 정확도를 낮추면 메모리 사용량을 줄일 수 있습니다. 원래는 하나의 숫자를 표현하는 데 32비트(4바이트)가 쓰이지만, 최근엔 16비트 혹은 8비트로도 충분히 정확한 결과를 얻을 수 있다는 사실이 밝혀졌습니다. 심지어 일부 모델은 학습 시에도 이러한 낮은 정밀도를 적극적으로 활용하고 있습니다. 예컨대 DeepSeek의 경우, 기존엔 학습 단계에서는 높은 정밀도가 필요하다고 여겨졌지만, 이제는 학습과 추론 모두에서 저정밀 숫자를 사용하는 방식이 시도되고 있습니다. 이는 메모리 공간을 줄이고 계산 속도를 높이는 데 효과적인 방법입니다.

3. GPU 사용량을 줄이는 MOE 구조

'Mixure of Experts(MOE)'라는 구조는 AI가 질문을 받을 때 전체 인공신경망을 모두 사용하는 것이 아니라, 해당 질문에 가장 적합한 전문가 노드만을 선택적으로 사용하는 방식입니다. 마치 뇌에서 모든 부분이 동시에 작동하지 않고, 특정 영역만 활성화되듯 말이죠. 이 구조를 도입하면 인공지능의 전체 용량은 유지되지만, 단어 하나를 생성할 때 필요한 메모리 접근량과 GPU 계산량은 획기적으로 줄어듭니다. 예를 들어 기존에는 전체 100의 용량을 다 사용했다면, MOE 구조에선 특정 전문가만 사용해 25만 사용해도 동일한 결과를 낼 수 있습니다. 이는 서비스 속도를 높이고 GPU 비용을 낮추는 데 결정적 역할을 합니다.

4. 의미 단위로 묶어 메모리 사용량 줄이기

또 다른 접근법은 단어 단위가 아니라, 의미 단위로 정보를 묶어 메모리를 절약하는 것입니다. 예컨대 과거에는 쉐익스피어의 20페이지 문서를 처리할 때, 각 단어마다 1만 개 이상의 숫자를 저장했다면, 이제는 단어들을 몇십 개 단위로 묶어 의미 블록으로 처리하고, 그 블록 단위로 중간 상태값을 저장하는 방식이 대세가 되었습니다. 이를 통해 메모리 사용량이 수배 줄어들고, 처리 속도도 크게 개선됩니다. 대표적으로 GQA(Grouped Query Attention) 구조나 MLA(Latent Memory Abstraction) 구조가 이 원리를 적용하고 있습니다.

5. 중간 상태값 압축으로 메모리와 대역폭 동시 절약

DeepSeek의 또 다른 전략은 '중간 상태값'을 압축해서 저장하고, 필요할 때만 풀어 사용하는 방식입니다. 예전에는 단어 하나당 만여 개의 숫자를 모두 그대로 저장했지만, 이제는 이를 묶어서 압축한 뒤 계산할 때만 풀어 쓰는 겁니다. 이 방식이 잘 작동한다면, 메모리 용량과 접근 빈도 모두를 절약할 수 있게 됩니다. 하지만 이론적으론 가능하더라도, 의미 손실이 없는지 실제 서비스에서 검증이 필요합니다. 압축 과정에서 중요한 문맥이나 의미가 빠지면, AI의 품질은 평범해질 수 있기 때문입니다.

6. 메모리 접근 절약은 HBM 의존도도 낮춘다

MOE나 GQA 같은 구조가 활성화되면, 고성능 메모리인 HBM(High Bandwidth Memory)에 대한 의존도가 낮아질 수 있습니다. 지금까지는 AI가 대규모 연산을 빠르게 하기 위해 높은 대역폭과 큰 용량을 동시에 가진 HBM이 필수였지만, 이제는 메모리 접근 빈도 자체를 줄여서 일반적인 LPDDR 메모리로도 AI를 구동해보려는 시도들이 등장하고 있습니다. 짐 켈러의 접근처럼 하드웨어 구조를 최적화해 대역폭 효율을 높이거나, 소프트웨어 구조 자체를 MOE처럼 가볍게 만들어 HBM 없이도 빠른 AI를 구현하려는 시도들이 진행되고 있습니다.

7. 메모리 효율화는 AI 시장의 확산과 범용화로 이어질 수도

지금까지 대형 AI 모델을 학습하고 운영할 수 있었던 기업은 전 세계 소수의 초대형 IT 기업에 불과했습니다. 그러나 MOE 구조나 MLA, GQA 등 다양한 메모리 효율화 기술이 상용화되면, 이제 중소 규모 기업이나 스타트업도 자신만의 맞춤형 AI 모델을 학습하고 운영할 수 있는 가능성이 열립니다. 예전에는 수천 개의 고가 HBM GPU가 필요했다면, 앞으로는 10~20장 수준으로도 운영 가능한 언어 모델들이 등장할 수 있는 것입니다. 이는 곧 AI 반도체 시장의 범용화, 즉 HBM이 디램처럼 대중화될 가능성도 열어주는 시나리오입니다.

8. 메모리 효율화는 AI의 민주화를 이끄는 핵심

결국, 지금 AI 기술에서 이뤄지고 있는 혁신의 방향은 명확합니다. '더 적은 계산, 더 빠른 속도, 더 많은 사용자를 위한 확장'입니다. 지금까지는 계산 자원을 무식하게 쏟아부어 성능을 끌어올리는 방식이었다면, 앞으로는 적당한 손실을 감수하면서도 효율적인 구조로 운영할 수 있는 AI가 대세가 될 것입니다. 이는 단순히 성능의 문제가 아니라, AI의 보급과 상업화를 결정짓는 매우 중요한 기술적 전환점이 될 것입니다.