법률 인공지능(AI) 플랫폼 로올(LawAll, 대표 배지호)은 AI가 답을 내는 동안 그 내부에서 무엇이 달라지는지를 직접 잰 연구 논문이 네이처(Nature) 자매지 ‘사이언티픽 리포트‘에 게재됐다고 9일 밝혔다.
연구 대상은 글뿐 아니라 사진과 그림까지 읽고 답하는 AI, 이른바 비전 LLM(vision language model)이다. 이번 연구는 이 AI가 동양 미술을 서양 미술보다 낮게 평가할 때 AI 내부에서 무엇이 달라지는지를 밝힌 것이다.
배지호 로올 대표가 제1저자 겸 교신저자로 연구를 주도했고, 정환욱 경희대 미술대학 교수가 제2저자로 참여했다. 위 논문은 7월 13일 사이언티픽 리포트 온라인판에 게재되었다.
위 연구에서는 공개된 비전 LLM 두 개(Qwen, Llama)에 동양 그림과 서양 그림을 보여 주고 점수를 매기게 했다. 그리고 AI가 점수를 정하는 동안 그 안에서 무슨 일이 벌어지는지를 들여다봤다. 지금까지는 AI가 내놓은 점수만 보고 편향을 따졌다면, 이번에는 AI가 그림을 처리하며 얼마나 힘들어하고 얼마나 자신 없어 하는지를 보여 주는 내부 신호들을 직접 잰 것이다.
그 결과 두 AI 모두 동양 그림에 일관되게 낮은 점수를 줬고, 이때 내부 신호 대부분이 같은 방향으로 움직였다. 동양 그림을 볼 때 AI가 더 애를 먹고, 더 헷갈려 하며, 자기 답에 확신을 덜 갖는다는 뜻이다. AI의 답변 설정을 바꿔도, 같은 평가를 여러 번 되풀이해도, 평가 기준을 바꿔도 이 차이는 사라지지 않았다. 심지어 한국 그림을 중국 그림이라고 설명하는 일도 두 AI 모두에서 절반을 훌쩍 넘었다. 결국 AI가 내놓은 답이 그럴듯해 보여도, 그 답이 어떻게 나왔는지는 안을 열어 봐야 알 수 있다는 것이다.
로올(LawAll)은 사건기록 전체를 읽고 서면과 검토보고서를 만들어 주는 소송 AI 플랫폼으로, 결과물의 문장마다 근거가 된 기록을 연결하고 인용한 판례가 실제로 있는지 따로 검증하는 구조로 운영된다. 소송 기록에는 스캔한 문서와 사진, 도면이 많아 로올 역시 비전 LLM 위에서 돌아간다.
배 대표는 서울중앙지방법원 등에서 10년 이상 재판을 담당한 판사 출신으로 로올을 직접 설계했다. 이번 연구 역시 AI가 내놓은 답을 그대로 믿지 않고 안에서 어떻게 그 답이 나왔는지를 확인한다는 로올의 원칙과 같은 문제의식에서 출발했다는 설명이다.
배지호 로올 대표는 “AI가 내놓은 결과만 보고 편향 여부를 판단하는 것은 판결문 주문만 읽고 판결을 평가하는 것과 같다“며 “AI 안에서 무엇이 달라지는지를 확인하는 방법을 로올의 결과물 검증에도 계속 적용해 믿을 수 있는 법률 AI 로올을 만들어 갈 것“이라고 말했다.
