AI 시대가 본격화되면서 데이터센터의 전력 소모량은 상상을 초월하고 있습니다. 미국에서만 2030년까지 전체 전력 생산량의 9~17%를 데이터센터가 소비할 것으로 예상될 정도죠.
이런 상황에서 엔비디아가 전력난 해결을 위한 기발한 아이디어를 내놓았습니다. 바로 '전력 있는 곳으로 AI 쿼리를 이동시킨다'는 개념인데요.
유틸리티 변전소 옆에 소규모 데이터센터를 짓고, 전력 가용성에 따라 컴퓨팅 작업을 유연하게 전환하는 방식입니다. 정말 놀랍지 않나요?
미래형 데이터센터, 마이크로 그리드 전략
엔비디아는 인프라 파트너스, 프롤로지스, EPRI와 손잡고 올해 말까지 25개의 소규모 데이터센터를 건설하는 파일럿 프로젝트를 진행합니다.
이 데이터센터들은 각각 5~20MW 규모로, 미국 내 5개 전력 회사의 변전소 인근에 분산 배치될 예정입니다.
변전소 중 한 곳이 전력 수요로 과부하 상태가 되면, 컴퓨팅 작업이 여유 전력이 있는 다른 데이터센터로 자동 전환되는 시스템이죠.
이는 전력 유연성을 극대화하여 데이터센터가 전력망에 더 잘 적응하도록 돕는 새로운 방식입니다.
EPRI의 벤 수터 이사에 따르면, 개별 변전소에는 평균 5MW, 최대 20MW의 여유 전력이 있다고 합니다.
이 정도 규모는 기존 대형 데이터센터에는 매력적이지 않지만, 여러 개의 소규모 데이터센터를 하나의 거대한 시스템처럼 운영하면 이야기가 달라집니다.
엔비디아의 마크 슈필러 이사는 미국 내 55,000개 변전소에 5~20MW의 여유 용량이 있다면, 그 합은 엄청날 것이라고 강조했습니다.
AI 워크로드의 비밀: 분산 추론
이러한 전력 유연성 전략은 AI 작업의 특성을 활용합니다. AI 작업은 크게 '학습(training)'과 '추론(inference)'으로 나뉘는데요.
모델 학습은 방대한 데이터와 고속 상호 연결된 GPU가 필요해 대규모 데이터센터가 필수적입니다. 하지만 추론은 다릅니다.
추론은 사용자 질의에 모델이 즉각적으로 응답하는 방식으로, 대규모 상호 연결이 필요 없고 소규모 데이터센터에 적합합니다.
즉각적인 응답이 중요하기 때문에 잠시 작업을 멈추는 대신, 전력이 여유로운 다른 마이크로 데이터센터로 작업을 옮기는 분산 추론 방식이 효과적인 것이죠.
모드42의 발레리 크래프톤 수석 부사장은 "추론은 동적으로 라우팅될 수 있는 몇 안 되는 워크로드 중 하나"라며, 전력이 실제로 가용한 곳에 컴퓨팅을 맞출 수 있다고 설명했습니다.
엔비디아와 EPRI는 이 '분산 추론' 프로젝트를 통해 컴퓨팅 워크로드를 다른 변전소로 옮겨야 하는 경우가 전체의 0.1%에 불과할 것으로 예측합니다.
이것이 바로 앞으로 다가올 '두 번째 컴퓨팅 웨이브', 즉 훨씬 작은 규모의 데이터센터들이 추론 작업을 처리하게 될 미래의 모습입니다.
궁금증 해결! AI 데이터센터 전력 혁신 Q&A
이쯤 되면 궁금한 점들이 많으실 텐데요. 몇 가지 질문에 답해볼게요.
왜 지금 이런 방식이 필요한가요?
기존 대형 데이터센터는 전력 확보에 10년까지 기다려야 하는 경우가 생길 정도로 어려움을 겪고 있습니다. 전력망 과부하 문제도 심각하죠. 이 프로젝트는 이런 병목 현상을 해결하기 위한 혁신적인 대안입니다.
어떤 장점이 있나요?
가장 큰 장점은 빠른 그리드 연결과 신규 전력 인프라 건설 최소화입니다. 또한, 기존 전력 자원을 효율적으로 활용하여 지속 가능한 AI 성장을 가능하게 합니다. AI 서비스 사용자 입장에서는 더 안정적인 서비스를 기대할 수 있겠죠.
우리나라에도 적용될 수 있을까요?
전력 효율성 문제는 전 세계적인 과제이므로, 이와 같은 분산형 데이터센터 모델은 한국에도 충분히 적용 가능성이 있습니다. 국내 전력망 상황과 AI 산업 수요를 고려하여 맞춤형 도입 전략을 모색할 필요가 있습니다.
미래 AI의 지속 가능한 성장, 전력 혁신에 달렸다!
AI의 엄청난 잠재력을 실현하기 위해서는 안정적이고 지속 가능한 전력 공급이 필수적입니다.
엔비디아와 파트너들의 이번 프로젝트는 단순한 기술 혁신을 넘어, 미래 AI 인프라가 나아가야 할 방향을 제시하고 있습니다.
전력을 찾아 이동하는 AI 쿼리, 상상만 해도 흥미롭지 않나요? 앞으로 이 실험이 어떤 결과를 가져올지 기대됩니다.
