최신 인공지능 모델, 특히 거대 언어 모델(LLM)의 발전 속도를 발목 잡는 가장 심각한 제약은 바로 '기억'입니다.
LLM이 텍스트를 생성하는 속도는 결국 얼마나 빠르게 데이터를 메모리에서 읽어올 수 있느냐에 달려있다는 연구 결과가 나왔죠.
모델의 규모가 커질수록 이 병목 현상은 더욱 심각해지고, 마치 '기억의 벽'처럼 AI의 추론 성능을 가로막고 있는 실정입니다.
이런 상황에서 AI 하드웨어 스타트업인 매직스틱 랩스(Majestic Labs)가 이 문제를 정면으로 돌파할 새로운 AI 서버, '프로메테우스(Prometheus)'를 개발 중이라는 소식이 전해져 AI 업계의 이목을 집중시키고 있습니다.
무려 128테라바이트(TB)에 달하는 메모리를 탑재한 이 서버는 기존 엔비디아의 최첨단 AI 서버보다 60배 이상 많은 용량입니다.
매직스틱 랩스의 공동 창립자이자 사장인 샤 라비(Sha Rabii)는 이러한 메모리 용량의 폭발적인 증가는 경쟁사들에게 확실한 우위를 제공할 것이라고 확신합니다.
물론 엔비디아가 확장성 좋은 시스템을 구축하는 데 탁월한 성과를 냈다는 점은 인정하지만, 모델이 커질수록 경제성이 떨어지고 컴퓨팅 성능은 과잉 공급되면서 메모리는 부족해지는 구조적 문제가 있다는 것입니다.
DRAM 중심 아키텍처: LLM 메모리의 혁신
매직스틱 랩스는 경쟁사와 근본적으로 다른 아키텍처를 통해 '기억의 벽'을 넘어서겠다는 포부입니다.
기존 엔비디아 서버는 LLM 모델 가중치를 읽어오는 데 사용되는 고대역폭 메모리(HBM)와, LLM 및 서버 오버헤드를 처리하는 더 크지만 느린 동적 랜덤 액세스 메모리(DRAM) 풀을 함께 사용합니다.
하지만 프로메테우스는 LPDDR6 DRAM에 모든 것을 집중하는 통합 아키텍처를 채택했습니다.
라비는 기존 메모리 인터페이스는 물리적 거리가 짧은 몇 밀리미터(mm) 내에서만 작동하도록 설계되어 메모리 용량 확장에 한계가 있다고 설명합니다.
이를 해결하기 위해 매직스틱 랩스는 최대 1미터까지 효과적인 맞춤형 메모리 인터페이스와, 메모리 모듈 옆에 위치하여 서버 전반의 메모리를 관리하는 커스텀 메모리 집적 칩을 개발했습니다.
이 디자인은 대규모 메모리 풀을 지원할 뿐만 아니라, 초당 25.6테라바이트(TB)에 달하는 놀라운 메모리 대역폭을 제공한다고 합니다.
'이그나이트' 프로세서: LLM 가속의 새로운 엔진
더 많은 메모리는 물론 중요하지만, 엔비디아의 GPU와 같은 AI 가속 성능도 필수적입니다.
매직스틱 랩스는 서버의 컴퓨팅 엔진 역할을 할 커스텀 AI 프로세서 '이그나이트(Ignite)'를 통해 이 문제를 해결했습니다.
프로메테우스 서버에는 총 12개의 이그나이트 칩이 장착됩니다.
이그나이트는 데이터센터급 ARM 애플리케이션 코어와 RISC-V 벡터 및 텐서 코어를 단일 칩에 통합하여 동일한 메모리 공간을 공유합니다.
ARM 코어는 AI 모델을 조율하는 호스트 프로세서 역할을 하고, RISC-V 코어는 실제 LLM 처리를 담당합니다.
이를 통해 단일 칩에서 여러 LLM 추론 요구사항을 프로세서 간 핸드오프 없이 처리할 수 있습니다.
아직 프로메테우스의 구체적인 컴퓨팅 성능 지표는 공개되지 않았지만, 이 혁신적인 접근 방식은 상당한 성능 향상을 기대하게 합니다.
또한, 매직스틱 랩스는 기존 AI 프레임워크와의 호환성을 높이기 위해 PyTorch, vLLM, OpenAI의 Triton 추론 프레임워크를 코드 수정 없이 지원한다고 밝혀, 기존 모델을 그대로 활용할 수 있다는 장점을 제시합니다.
프로메테우스 서버 설계 및 가격 정책
이 모든 기술이 집약된 프로메테우스 서버는 오픈 컴퓨트 프로젝트(OCP) 규격을 준수합니다.
서버 랙당 최대 4개의 서버가 장착되며, 랙당 소비 전력은 최대 120킬로와트(kW)로 예상됩니다.
냉각은 콜드 플레이트 액체 냉각 방식을 사용하며, 128TB 메모리는 모듈식 설계로 추후 업그레이드가 가능합니다.
매직스틱 랩스는 놀랍게도 프로메테우스를 가격 경쟁력까지 갖춘 제품으로 포지셔닝하려 합니다.
HBM 대신 DRAM을 사용함으로써 이러한 가격 경쟁력이 가능해질 것이라고 주장합니다.
2027년 출시 예정인 프로메테우스의 정확한 가격은 아직 공개되지 않았지만, 라비는 고객의 자본 지출이 10배에서 50배까지 감소하고 전력 소비량도 유사한 수준으로 줄어들 것이라고 전망합니다.
이는 AI 서버 시장에 엄청난 변화를 예고하는 발언입니다.
자주 묻는 질문 (Q&A)
Q1: 프로메테우스 서버는 어떤 문제를 해결하나요?
A1: 프로메테우스는 현재 거대 언어 모델(LLM)의 성능을 제한하는 '기억의 벽' 문제를 해결하기 위해 개발되었습니다. 특히 메모리 용량과 대역폭 부족 문제를 획기적으로 개선합니다.
Q2: 프로메테우스 서버의 가장 큰 특징은 무엇인가요?
A2: 최대 128TB에 달하는 엄청난 메모리 용량과 DRAM 중심의 독자적인 아키텍처, 그리고 고성능 AI 가속을 위한 '이그나이트' 프로세서 탑재가 가장 큰 특징입니다.
Q3: 프로메테우스 서버는 언제 출시되나요?
A3: 프로메테우스 서버는 2027년에 출시될 예정입니다.
Q4: 프로메테우스 서버는 기존 AI 모델과 호환되나요?
A4: 네, 프로메테우스는 PyTorch, vLLM, OpenAI의 Triton 추론 프레임워크를 지원하여 기존 모델을 코드 수정 없이 그대로 실행할 수 있습니다.
마치며
매직스틱 랩스의 프로메테우스 서버는 단순한 하드웨어 혁신을 넘어, AI가 '기억의 벽'을 넘어설 새로운 시대를 열 가능성을 보여줍니다.
128TB의 방대한 메모리, 혁신적인 DRAM 중심 아키텍처, 그리고 강력한 '이그나이트' 프로세서의 조합은 미래 LLM의 가능성을 무한히 확장시킬 것으로 기대됩니다.
AI 기술의 발전 속도와 함께 앞으로 프로메테우스가 가져올 변화를 예의주시할 필요가 있습니다.
이는 단순히 기술적인 진보를 넘어, AI가 우리 삶에 미칠 영향에 대한 새로운 가능성을 열어줄 것입니다. AI 서버 시장의 판도를 바꿀 잠재력이 충분해 보입니다.