현대 인공지능, 특히 대규모 언어 모델( LLM )의 발목을 잡는 가장 심각한 제약 중 하나는 바로 메모리라는 주장이 힘을 얻고 있다. 토큰 생성 과정이 본질적으로 메모리 바운드(memory-bound) 작업이라니, 모델이 텍스트를 출력하는 속도가 메모리에서 데이터를 읽어오는 속도에 의해 결정된다는 의미가 아닐까 싶다. 모델 규모가 커질수록 이 메모리 병목현상 은 더욱 심화되어 AI 메모리 추론 성능의 발전을 가로막는 '기억의 벽…
지난달, 마이애미 기반의 AI 스타트업 Subquadratic이 세상에 모습을 드러냈다. 그들의 주장은 실로 엄청나다. 무려 10년간 대규모 언어 모델(LLM)의 발목을 잡아왔던 수학적 병목 현상을 해결했다고 말이다. 👉 오늘 소개된 AI 서비스 바로 써보기 ➔ 처음에는 자세한 내용이 부족해 많은 이들이 의구심을 품었지만, Subquadratic은 차츰 그들의 주장을 뒷받침할 증거들을 내놓기 시작했다. 과연 이 스…
샌프란시스코에서 12시간의 고된 비행을 마치고 서울에 도착한 한 해외 기자는 무인 입국 심사대에서 안면 및 여권 스캔만으로 통과하며 놀라움을 금치 못했더라 합니다. 집으로 향하는 지하철에서도, 아마 그는 한국 사회 전반에 녹아든 인공지능 기술의 흔적을 느꼈을 테죠. 왜 한국인들은 이토록 AI에 열광하고, 또 그 기술을 일상 속으로 자연스럽게 받아들이는 걸까요? 💡 화제의 IT 신제품 스펙 확인하러 가기 ➔ 단순한 …
GPT-4와 같은 대규모 언어 모델(LLM)의 등장으로 인공지능은 우리 삶의 필수 요소가 되었지만, 그 이면에는 엄청난 전력 소비라는 그림자가 드리워져 있습니다. OpenAI의 GPT-4 학습에만 50기가와트시가 소요되었는데, 이는 미국 가구 5,000곳의 1년치 전력 소비량과 맞먹는 수준이었죠. 이러한 막대한 에너지 발자국은 AI 발전에 큰 숙제로 남아있었습니다. 그런데 네덜란드 트벤테 대학 연구팀이 LLM 학습에 필요한 에너지를 최대 …