미스트랄 OCR 4 출시! 압도적인 벤치마크 점수의 진짜 진실은?

미스트랄 OCR 4 전격 출시! 압도적인 벤치마크 성능의 솔직한 진실

NEW RELEASE

단순한 텍스트 추출을 넘어선 똑똑한 OCR의 등장

최근 인공지능 업계에서 가장 뜨거운 관심을 받고 있는 미스트랄(Mistral)이 드디어 새로운 문서 분석 모델인 Mistral OCR 4를 공식 발표했습니다. 기존의 OCR 기술들이 이미지 속의 글자를 단순히 텍스트 파일로 긁어오는 수준에 머물렀다면, 이번 OCR 4는 완전히 패러다임을 바꿨습니다.

글자뿐만 아니라 바운딩 박스(Bounding boxes), 블록 분류(Block classification), 그리고 단어별 신뢰도 점수(Confidence scores)를 함께 반환하여 문서의 시각적 레이아웃 자체를 그대로 이해합니다. 170개 언어를 지원하며, 기업형 RAG(검색 증강 생성) 파이프라인의 핵심 도구로 자리 잡을 준비를 마쳤습니다.

벤치마크 압도적 1위, 찬트라나 패들보다 진짜 뛰어날까?

미스트랄 측이 공개한 수치에 따르면 OCR 4는 공공 및 내부 벤치마크 테스트에서 시장을 리드하는 찬트라(Chantra)나 패들(Paddle) 같은 기존 강자들을 훌륭하게 따돌렸습니다. 공개 평가 지표인 OlmOCRBench에서 85.20점으로 1위를 기록했으며, 자체 글로벌 멀티링구얼 평가에서도 0.98점이라는 거의 완벽에 가까운 성적을 거뒀습니다. 또한 블라인드 인간 평가단이 직접 가독성과 레이아웃 일치도를 비교한 결과, 다른 주요 시스템을 상대로 무려 평균 72%의 높은 승률을 보였습니다.

"복잡한 표와 그림이 가득한 금융 QA 데이터셋을 대상으로 검증했을 때, 기존 시스템 대비 정확도는 동등하게 유지하면서 비용은 약 8배 절감했고 속도는 무려 17배나 빨랐습니다."

- Aidan Donohue, AI Engineer, Rogo

하지만 여기서 매우 중요한 사실을 짚고 넘어가야 합니다. 미스트랄 역시 벤치마크 숫자 자체를 곧이듣기보다는 단순 지표(Directional)로 이해할 것을 권장하고 있습니다. 실제로 OmniDocBench 등에서 93.07점이라는 최상위 점수를 냈지만, 점수 산정 메커니즘의 오류와 왜곡이 빈번하게 존재하기 때문입니다.

숫자 뒤에 숨겨진 벤치마크 평가 시스템의 한계

미스트랄 팀이 분석한 결과, 실제 모델이 올바르게 텍스트를 인식하고 분석했음에도 기존 자동 평가 방식의 구식 비교 알고리즘 때문에 점수가 감점되는 황당한 사례가 많았다고 고백했습니다. 주요 요인은 다음과 같습니다.

• 기준 데이터(Ground-truth) 자체의 오류: 원본 데이터에 오타가 있거나 지워진 영역이 억지로 텍스트화되어 있어, 모델이 눈앞의 정확한 텍스트를 그대로 읽어도 도리어 오답 처리되는 현상
• 수식 표기법 차이: 동일한 수식을 나타내는 다른 LaTeX 코드를 단순히 텍스트 매칭이 안 된다는 이유로 불일치 판정
• 단락의 분할 기준 차이: 다단(Multi-column) 형태의 복잡한 보고서나 잡지를 읽을 때, 올바르게 줄바꿈과 흐름을 추적했음에도 구식 평가 룰과 달라 실패 처리
• 헤더 및 푸터 노이즈: 매 페이지 반복되는 머리말/꼬리말이 본문 핵심 제목과 겹치거나 생략되면서 생기는 기계적 감점

결과적으로 실제 현업 비즈니스 문서에서 인간이 직접 눈으로 볼 때는 미스트랄 OCR 4의 판독 능력이 압도적으로 선호되지만, 기계식 벤치마크 점수는 완벽한 정확도를 온전히 반영하지 못한다는 뜻입니다. 따라서 찬트라나 패들 등 기존 경쟁작보다 '체감상 성능 향상'이 더 도드라진다는 분석이 가능합니다.

미스트랄 OCR 4 핵심 하이라이트

• 단일 컨테이너 자체 배포(Self-Hosted) 지원: 데이터를 외부 서버로 보낼 수 없는 금융, 의료 등 강력한 보안이 필요한 기업을 위해 자체 인프라 내에 단일 도커 컨테이너로 설치해 작동할 수 있습니다.
• 정확한 블록 구별과 라벨링: 텍스트 영역, 표(Tables), 수식(Equations), 서명(Signatures) 등을 알아서 구별하고 각 좌표값까지 제공합니다.
• Search Toolkit 통합 지원: 미스트랄이 공개한 오픈소스 검색 아키텍처와 결합하여 고도화된 RAG 및 엔터프라이즈 통합 검색 엔진 구축이 쉽습니다.
• 폭넓은 포맷 수용: PDF는 물론 DOC, PPT, OpenDocument 등 보편적인 오피스 문서를 막힘없이 분석합니다.

도입 비용 및 활용 팁

미스트랄 OCR 4는 합리적인 가격 정책을 제시하여 대규모 배치 처리의 장벽을 낮췄습니다.

• 기본 OCR 4 API: 1,000페이지당 $4 (Batch API 적용 시 50% 할인된 $2에 제공)
• Document AI (No-Code 스튜디오 기능): 1,000페이지당 $5 (텍스트 추출 위에 사용자가 지정한 JSON 스키마를 강제하여 요약, 특정 필드 추출 가능)

현재 Mistral Studio, AWS SageMaker, MS Foundry 등 클라우드 플랫폼에서 바로 사용할 수 있으며 조만간 Snowflake의 Parse Document 기능으로도 탑재될 예정입니다. 보안 규정이 까다로운 기업이라면 세일즈 문의를 통해 자체 인프라 배포 옵션을 적극 고려해 보시는 것을 추천드립니다.