최근 AI의 폭발적인 성장과 함께 데이터센터가 전기를 엄청나게 먹어치우고 있다는 소식, 다들 들어보셨을 겁니다.
미국에서는 2030년까지 전체 전력 생산량의 9~17%를 데이터센터가 소비할 것으로 예상될 정도로 심각한데요, 이로 인해 새로운 데이터센터 건설 시 전력망 연결을 위해 10년 가까이 기다려야 하는 경우도 생기고 있습니다.
심지어 어떤 기업들은 자체 가스 발전소를 짓거나 차세대 원자력 발전 스타트업에 투자하는 등 전력 확보를 위해 상상하기 힘든 결정을 내리고 있습니다.
이런 상황에서 엔비디아(Nvidia)와 EPRI(전력연구소)를 비롯한 여러 기업들이 아주 기발한 해결책을 내놓아 눈길을 끕니다.
AI 전력난 시대, 새로운 해법이 뜬다
엔비디아가 제안한 아이디어는 바로 '분산형 추론(Distributed Inference)' 프로젝트입니다.
이들은 미국의 55,000개 변전소 중 사용되지 않는 유휴 전력 용량을 활용하기 위해, 각 변전소 근처에 5~20 메가와트(MW) 규모의 작은 마이크로 데이터센터 25개를 건설할 계획입니다.
기존 대규모 데이터센터는 전력 확보에 큰 어려움을 겪지만, 변전소마다 산재한 소규모 유휴 전력을 모아 쓰는 방식은 전력 확보를 훨씬 용이하게 만들죠.
만약 한 변전소에 전력 수요가 집중되거나 정전이 발생하면, AI 컴퓨팅 작업을 다른 변전소 인근의 여유 있는 데이터센터로 실시간으로 옮겨 처리하게 됩니다.
엔비디아는 데이터센터 건설 전문가인 인프라파트너스(InfraPartners), 부동산 서비스 제공업체 프롤로지스(Prologis), 그리고 비영리 연구기관 EPRI와 협력하여 올해 말까지 이 파일럿 프로젝트를 시작할 예정입니다.
전력 유연성이 핵심! 분산형 추론의 등장
이 프로젝트의 핵심은 '전력 유연성'을 확보하는 것입니다.
데이터센터의 에너지 사용 방식은 크게 두 가지로 나뉩니다. 하나는 AI 모델을 개발하는 '훈련(Training)'이고, 다른 하나는 개발된 모델을 실제 사용자의 질문에 답하거나 이미지를 생성하는 '추론(Inference)'입니다.
훈련은 엄청난 규모의 GPU와 고속 네트워크 연결이 필요해 대규모 데이터센터에 적합하며, 몇 달씩 걸리므로 전력 피크 시간대에 잠시 중단하는 것이 가능합니다.
하지만 AI 추론은 사용자의 즉각적인 반응을 필요로 하기에 멈출 수 없고, 소규모 GPU와 네트워크로도 충분합니다.
바로 이 '추론' 작업이 여러 마이크로 데이터센터로 분산되어 전력 상황에 따라 유동적으로 이동할 수 있는 유일한 워크로드라고 전문가들은 강조합니다.
예를 들어, 이미지를 생성해 달라는 요청이 들어오면, 가장 전력 여유가 있는 인근 데이터센터에서 빠르게 처리하여 사용자에게 결과를 전달하는 식이죠.
이러한 방식은 미국 전역의 변전소에 흩어져 있는 잠재적인 76기가와트(GW)의 유휴 전력을 효율적으로 활용할 수 있게 해줍니다.
전문가들은 2027년경부터 AI 추론에 대한 수요가 폭발적으로 증가하는 '두 번째 컴퓨팅 웨이브'가 올 것이라고 예측하며, 이러한 분산형 데이터센터의 중요성이 더욱 커질 것이라고 말합니다.
궁금증 해소! AI 분산형 데이터센터 Q&A
Q1: 그럼 AI 훈련도 이런 식으로 분산해서 할 수 있나요?
A1: 아쉽지만 AI 훈련은 수많은 GPU가 고속으로 긴밀하게 연결되어야 하는 작업이므로, 여러 마이크로 데이터센터에 분산하기는 현실적으로 어렵습니다. 하지만 몇 달씩 걸리는 훈련 과정의 특성상, 전력 피크 시간대에 잠시 작업을 멈추는 방식의 유연성은 가능합니다.
Q2: 컴퓨팅이 이리저리 이동하면 사용자 경험에 문제가 생기지 않을까요?
A2: 아니요, 이 시스템은 사용자가 거의 인지하지 못할 정도로 빠르고 효율적으로 작동하도록 설계될 예정입니다. 엔비디아와 EPRI는 컴퓨팅 워크로드를 다른 변전소로 이동해야 하는 경우가 전체의 0.1% 정도에 불과할 것으로 추정하고 있습니다. AI 추론의 핵심은 낮은 지연 시간이므로, 최대한의 효율성을 보장할 것입니다.
AI의 미래, 지속가능한 전력 솔루션에 달려있다
이번 엔비디아와 EPRI의 파일럿 프로젝트는 AI 시대의 지속가능한 발전을 위한 중요한 이정표가 될 것입니다.
전력난이라는 거대한 도전을 단순히 대규모 발전소 건설로 해결하려던 기존 방식에서 벗어나, 기존 그리드의 전력 유연성을 극대화하고 그리드 연결에 드는 시간과 비용을 획기적으로 줄이는 창의적인 접근이죠.
이는 AI 서비스의 안정성과 효율성을 높이는 동시에, 전력 인프라의 부담을 줄여 지속 가능한 기술 발전을 가능하게 할 것입니다.
AI가 우리 삶의 모든 영역에 스며드는 미래를 상상한다면, 전력 문제 해결은 선택이 아닌 필수입니다. 이 혁신적인 시도가 과연 AI의 미래를 어떻게 바꿀지 앞으로의 귀추가 주목됩니다.
