AI 언어 모델과 반도체 - 1
1. 질문의 시작: AI가 쓰는 반도체는 하나일까
ChatGPT가 대중의 주목을 받은 시점은 2022년 말부터 2023년 초였습니다. 하지만 인공지능 자체는 2012년 사물 인식으로 시작해 이미 10년 넘게 축적된 기술입니다. 그럼에도 최근 들어 고성능 AI와 저성능 AI를 둘러싼 논의에서 본질적인 질문이 제기됩니다. 과연 ChatGPT 같은 대규모 언어모델이 사용하는 반도체와, 딥시크(DeepSeek)처럼 효율성을 앞세운 모델이 사용하는 반도체는 얼마나 다를까요? 이 질문은 단순히 반도체의 성능 차이를 넘어서, AI가 언어를 처리하는 방식의 차이를 들여다보는 데서 출발해야 합니다.2. 언어의 수치화: 단어를 숫자로 이해하는 방식
사람은 처음 보는 사람과도 자유롭게 대화할 수 있습니다. 그러나 컴퓨터는 그렇게 작동하지 않습니다. 언어를 기계가 이해하도록 만들기 위해 등장한 핵심 아이디어는 '단어를 숫자로 표현하자'는 것이었습니다. 게임 캐릭터에 공격력, 방어력, 민첩성 같은 수치가 붙는 것처럼, 단어에도 수천 개의 숫자값을 부여해 의미를 수치화한 것입니다.예를 들어 ‘아빠’라는 단어를 0.77, 0.72 같은 숫자 두 개로 표현하고, ‘아버지’는 0.77, 1.12로 표현한다면, 그 차이는 두 번째 수치에서 나타납니다. 이 차이를 보고 첫 번째 숫자가 성별을, 두 번째 숫자가 존댓말 여부를 뜻한다고 추론할 수 있습니다. 이러한 방식을 통해 단어 간의 미묘한 뉘앙스를 수치로 포착할 수 있게 된 것입니다.
3. 문맥의 등장: 동음이의어 문제를 넘어서다
하지만 이런 수치화 방식에는 한계가 있습니다. 예컨대 ‘선물’이라는 단어는 문맥에 따라 '기프트'일 수도, '선물거래'일 수도 있습니다. 이를 제대로 구분하려면 단어 하나만 분석해서는 부족하며, 전체 문맥을 고려해야만 의미를 제대로 파악할 수 있습니다. 이 고민이 바로 GPT 같은 언어모델이 출발한 배경입니다.GPT는 단어 하나하나를 정적인 의미로 보는 것이 아니라, 문장 안에서 어떻게 쓰였는지를 반영하여 단어의 의미를 실시간으로 조정합니다. 단어가 등장하는 순서, 주변 단어와의 관계, 문맥적 흐름에 따라 단어 벡터는 계속 변화합니다. 이것이 ‘문맥 기반 벡터 표현’이며, 트랜스포머 구조 위에서 구현됩니다.
4. GPT의 내부 구조: 96층을 통과하는 단어의 여정
GPT의 처리 방식은 매우 정교합니다. 입력된 문장을 약 4,096개의 토큰(단어 혹은 그 일부 단위)으로 분해하고, 각 토큰을 12,000개 이상의 숫자로 구성된 벡터로 변환합니다. 이 벡터는 GPT의 인공신경망 안에서 96개 층을 차례로 통과하며, 문맥에 맞게 점진적으로 수정됩니다.각 층은 앞서 처리된 단어들의 의미를 반영하여 현재 단어의 의미를 보정하는 역할을 합니다. 예를 들어 여덟 번째 단어를 분석할 때는 앞의 일곱 단어가 어떤 의미로 해석됐는지에 따라 결과가 달라집니다. 이런 구조 덕분에 GPT는 단어 하나의 의미를 문맥 속에서 재구성할 수 있으며, 그 결과 인간처럼 자연스러운 문장을 생성할 수 있습니다.
5. 메모리 사용의 폭증: 왜 GPT는 반도체를 가려 쓸까
이처럼 GPT는 이전 모든 단어의 의미를 고려해 다음 단어를 예측합니다. 문제는 이 구조가 메모리를 극도로 많이 사용한다는 점입니다. 각 단어가 만여 개의 숫자로 표현되고, 이 숫자들을 이용해 다음 단어를 계산하는 과정에서 중간 계산값(키-밸류 캐시 등)을 모두 저장해야 하므로, GPU 및 고대역폭 메모리 없이 감당하기 어렵습니다.실제로 GPT는 한 단어를 생성할 때마다 앞서 생성한 모든 단어를 다시 참조합니다. 이 때문에 처리량은 단어 수에 따라 제곱으로 증가하며, 이 연산을 실시간으로 감당하려면 병렬 연산에 특화된 GPU가 필수입니다. 즉, 복잡한 논리가 아니라 '단순하고 반복적인 계산이 매우 많다'는 것이 문제의 본질입니다.
6. 고성능 반도체가 필요한 이유
GPT는 사람이 대화를 하듯 단어 하나씩 순차적으로 답변을 생성합니다. 예를 들어 질문을 받고 첫 단어를 '지금'이라고 결정하면, 이후 문장 생성은 ‘지금’을 포함한 전체 흐름을 기반으로 다시 계산합니다. 이 과정을 끝까지 반복하며 전체 답변을 만들어냅니다. 그만큼 처리해야 할 정보량이 많고, 중간 결과도 모두 보존해야 하므로 메모리, 연산 속도, 병렬 처리 성능을 모두 갖춘 반도체가 필요합니다.결과적으로 GPT는 고대역폭 HBM 메모리, 고성능 GPU, 대규모 연산 능력을 갖춘 반도체 구조를 필요로 하며, 이를 통해서야만 실시간 대화형 AI로서 작동이 가능해집니다.
7. 딥시크는 왜 저전력 반도체로도 가능한가
반면 딥시크(DeepSeek) 같은 효율형 AI 모델은 접근 방식이 다릅니다. 이들은 모든 단어를 하나하나 다루지 않고, 여러 단어를 묶어서 블록 단위로 처리하거나, 맥락을 일정 부분 요약하여 참조하는 방식을 사용합니다. 또한 레이어 수를 줄이거나 모델 파라미터를 줄이는 방식으로 경량화를 추구합니다.이러한 최적화 덕분에 딥시크는 CPU나 저전력 GPU로도 작동이 가능하며, 그만큼 반도체에 요구되는 조건도 가벼워집니다. 물론 정확도나 문맥 반영의 깊이는 GPT보다 낮을 수 있지만, 실용성에서는 충분한 효율을 보입니다.
8. 반도체의 선택은 AI가 추구하는 목표에 따라 달라진다
궁극적으로 GPT와 딥시크가 요구하는 반도체의 차이는, 이들이 언어를 처리하는 깊이와 정밀도에 따라 결정됩니다. GPT는 인간 수준의 정밀한 문맥 해석과 자연스러운 언어 생성을 목표로 하기 때문에, 높은 성능과 큰 메모리 용량, 빠른 병렬 처리가 가능한 반도체가 필수입니다.반대로 딥시크는 적절한 수준의 정답률과 속도, 전력 효율을 우선시하며, AI의 경량화와 접근성을 강조합니다. 이는 곧 AI 기술이 진화하는 갈림길에서, 각자의 방향에 따라 요구하는 하드웨어의 구조와 성격이 갈라지고 있음을 보여줍니다.