AI 모델, 송아지 수부 관절염 방사선 판독에서 전문가 대비 정확도 평가

이 연구는 송아지의 화농성 수부 관절염 방사선 사진에서 다중 양식 대규모 언어 모델(MLLM)과 초보 판독자, 전문가 간의 판독 일치도를 평가했다. 53마리 송아지의 방사선 사진을 GPT-4V, GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro 등 4개의 MLLM과 2명의 초보 판독자, 전문가가 평가했다. 그 결과 GPT-4o가 전문가와 가장 높은 일치도(K=0.62)를 보였고, Gemini 1.5 Pro(K=0.58), GPT-4V(K=0.54), Claude 3.5 Sonnet(K=0.53) 순이었다. 초보 판독자는 각각 K=0.53과 0.49의 중간 수준 일치도를 보였다. 일부 AI 모델이 초보 판독자만큼이나 우수하지만 여전히 전문가에는 미치지 못하며, 수의학 방사선 판독에서 AI 도구의 가능성과 한계를 보여주는 결과다.