벨 훅스(bell hooks)의 개인 일기장을 마주했을 때, 전 편집되기 전 그녀의 날것 그대로의 목소리를 기대했죠.
그런데 웬걸, 제게 돌아온 건 엄청난 좌절감이었습니다.
빽빽한 필기체는 모두 똑같은 고리처럼 보여 눈을 아무리 비벼도 알아볼 수 없었거든요.
수년 치 일기장을 다 훑으려면 아마 평생이 걸릴지도 모를 일.
결국, 전 페이지를 사진으로 찍어 ChatGPT에 넣어 읽기 시작했습니다.
아니, 이게 웬걸? 제 선택이 아주 제대로 통했지 뭡니까.
알고 보니 저만 이런 묘수를 부린 게 아니더군요.
수십 년간 인공지능 연구자들의 골머리를 썩이던 손글씨 해독 문제가 드디어 해결의 실마리를 찾았습니다.
바로 LLM(거대 언어 모델) 덕분인데요.
한때 꿈만 같았던 일이 현실이 되는 순간입니다.
LLM, 전문가도 놀란 손글씨 해독 능력
사람 손글씨는 너무나 다양해 컴퓨터가 정확히 읽기란 여간 어려운 일이 아니었습니다.
1960년대 연구자들은 곧 기계가 손글씨를 '꿀꺽' 삼킬 것이라고 예측했지만, 실상은 수십 년간의 전문 연구 분야였죠.
하지만 이제 그 경계가 무너지고 있습니다.
Wilfrid Laurier 대학의 역사학 교수 마크 험프리스는 GPT-4가 나오자마자 1차 세계대전 참전 용사들의 연금 기록 1천만 페이지에 손글씨를 넣어보기 시작했습니다.
결과는? 놀라웠죠!
2025년 5월, 그와 동료들의 연구 결과는 전문 손글씨 인식 소프트웨어인 Transkribus를 능가했습니다.
정확도는 물론, 속도는 50배 빠르고 비용은 50분의 1 수준이라니.
미쳤지 않나요?
이 결과는 특정 문서에 훈련되지 않은 Transkribus의 8% 오류율을 2% 미만으로 끌어내린 성과였습니다.
험프리스 교수는 방대한 데이터로 훈련된 일반 모델이 손글씨 문서와 그 기록 간의 관계를 스스로 흡수했기 때문이라고 말합니다.
AI가 숨겨진 역사를 찾아내는 마법!
이 기술은 실생활에서 엄청난 파급 효과를 낳고 있습니다.
험프리스 교수의 공동 저자인 리앤 레디 교수는 캐나다 전역에 흩어진 수천 장의 역사 기록물에서 원주민 여성들의 이야기를 추적하고 있었어요.
그녀는 이렇게 말합니다. "전통적인 방식으로는 여러 명의 평생을 바쳐도 불가능했을 일이에요."
노스캐롤라이나 채플힐 대학 도서관 사서들도 노예 조상을 추적하는 데 AI 전사를 활용하고 있습니다.
특히 테이블 구조가 페이지마다 바뀌어 처리하기 어려웠던 장부 기록에서 Gemini가 큰 발전을 보였다고 하네요.
미국 연방준비제도 필라델피아 은행도 LLM을 이용해 역사적인 차량 등록 기록이나 부동산 등기 문서에서 데이터를 추출하고 있습니다.
이전에는 비용과 시간이 너무 많이 들어 엄두도 못 냈던 일들이었죠.
전문 역사가들은 이미 손글씨를 읽을 수 있어 AI가 작업을 보조하는 역할이라면, 일반 학생이나 가족사를 연구하는 비전문가들에게는 그야말로 혁신입니다.
더 이상 접근하기 힘들었던 기술 라틴어 같은 고대 문서들도 AI가 번역해 줄 수 있게 되었으니, 지식의 민주화가 가속화되는 순간입니다.
자주 묻는 질문 (Q&A)
Q1: LLM이 기존 OCR보다 뭐가 다른가요?
A: 기존 OCR은 특정 글자나 서체에 맞춰 훈련되는 경향이 강했습니다. 하지만 LLM은 방대한 일반 데이터 학습을 통해 손글씨의 맥락과 문법까지 이해하며 훨씬 더 높은 정확도로 해독하는 것이 가능하죠.
Q2: 정확도는 어느 정도인가요?
A: 마크 험프리스 교수의 연구에 따르면, LLM 기반 접근 방식은 기존 전문 소프트웨어의 8% 오류율을 2% 미만으로 낮추는 성과를 보였습니다. 이는 실질적인 연구에 활용될 수 있을 만큼 신뢰할 만한 수준입니다.
Q3: 어떤 분야에서 주로 활용될 수 있나요?
A: 역사학, 족보학, 경제 연구 등 방대한 양의 손글씨 기록을 분석해야 하는 모든 분야에서 혁신적인 변화를 가져올 수 있습니다. 특히 접근성이 낮았던 고대 문서나 비정형화된 기록물 해독에 탁월하죠.
마치며
오랜 세월 잠들어 있던 역사의 목소리들이 AI 덕분에 깨어나고 있습니다.
수십 년간 AI 연구자들의 난제였던 손글씨 해독.
이제 인공지능, 특히 LLM이 그 한계를 뛰어넘어 모두에게 역사 기록물을 손쉽게 접할 기회를 제공하고 있습니다.
험프리스 교수가 개발 중인 비영리 도구 'Archive Pearl'처럼, 연구자들이 수백 페이지를 몇 분 만에 깨끗한 기록으로 되돌려 받을 수 있는 시대!
기술의 발전이 얼마나 놀라운 미래를 열어줄지, 벌써부터 기대되지 않나요?
