유럽연합이 인공지능이 생성한 텍스트에 반드시 워터마크를 넣도록 의무화하면서 관련 업계가 비상에 걸렸다.
최근 오픈AI가 유럽연합의 새로운 법안을 준수하기 위해 야심 차게 내놓은 새로운 텍스트 워터마크 기술이 실제 테스트에서 뚜렷한 한계를 드러냈다.
단순히 문장을 조금만 수정하거나 분량이 짧아지면 흔적이 쉽게 사라진다는 점이 밝혀지면서 규제 충족 여부에 빨간불이 켜진 상황이다.
텍스트 워터마크 기술의 치명적인 한계
이번에 개발된 방식은 모델이 다음 단어를 예측할 때 생기는 불확실성인 엔트로피를 자원으로 활용해 비밀 키 기반의 통계적 패턴을 심는 원리다.
하지만 독자에게는 전혀 보이지 않는 이 신호가 편집 과정에서 매우 쉽게 훼손된다는 치명적인 약점을 가지고 있다.
실제로 400토큰 분량의 텍스트에서 단 10퍼센트만 동의어로 바꿨더니 감지율이 92퍼센트에서 66퍼센트로 급격히 떨어졌다.
여기에 150단어 미만의 짧은 글에서는 애초에 워터마크 증거가 충분히 담기지 않아 안정적인 탐지가 불가능한 것으로 나타났다.
유럽연합 인공지능법과 거액의 벌금 리스크
유럽연합 인공지능법의 투명성 의무 조항에 따르면 인공지능이 만든 모든 콘텐츠는 기계 판독이 가능한 형식으로 표시되어야 한다.
다만 법안의 세부 가이드라인은 200토큰 미만의 짧은 텍스트에는 워터마크를 요구하지 않는 등 아직 모호한 부분이 많다.
전문가들은 오픈AI의 새로운 기술이 경쟁사 제품보다 앞서 있다는 평가를 받기도 하지만 아직 독립적인 검증이 부족하다고 지적한다.
만약 최종적으로 유럽연합의 까다로운 법적 기준을 충족하지 못하는 것으로 판명된다면 기업은 연간 총수입의 최대 7퍼센트에 달하는 막대한 벌금을 물게 될 수도 있다.
자주 묻는 질문 (Q&A)
질문: 텍스트 워터마크는 독자 눈에 실제로 보이는가?
답변: 아니오, 전혀 보이지 않도록 숨겨져 있어서 일반 독자는 인공지능 생성 여부를 육안으로 구별할 수 없다.
질문: 글을 조금만 수정해도 워터마크가 사라지는 이유는 무엇인가?
답변: 워터마크 신호는 앞서 작성된 토큰들의 연쇄적인 흐름에 의존하기 때문에 단 몇 단어만 바뀌어도 전체적인 신호 체계가 쉽게 깨지기 때문이다.
질문: 짧은 문장에서도 이 기술이 정상적으로 작동하는가?
답변: 150단어 미만의 짧은 텍스트에는 탐지에 필요한 충분한 데이터가 담기지 않아 신뢰할 수 있는 결과를 얻기 어렵다.
질문: 유럽연합 규제를 위반하면 어떤 처벌을 받게 되는가?
답변: 기준을 충족하지 못할 경우 연간 글로벌 총수입의 최대 7퍼센트에 달하는 엄청난 금액의 벌금 처분을 받을 위험이 있다.
마치며
인공지능의 발전 속도만큼이나 이를 규제하고 검증하려는 제도적 장치도 점점 더 복잡해지고 있는 모양새다.
오픈AI가 내놓은 새로운 텍스트 워터마크가 과연 완벽한 대안이 될 수 있을지 앞으로의 독립적인 검증 결과와 법적 기준 구체화 과정을 더 지켜봐야 할 것으로 보인다.
결국 기술의 고도화와 투명성 확보 사이의 균형을 찾는 것이 향후 인공지능 생태계 성장의 핵심 과제가 될 전망이다.
