📄사내 문서 Q&A 챗봇, 파이썬으로 구축 (feat. Gemini) - 3단계 (문제점 해결)

Flash vs Pro: AI가 '표'를 읽는 수준이 다르다?

IT 시스템을 구축하다 보면 항상 마주치는 난제가 있습니다. 바로 "가성비냐, 성능이냐"의 문제입니다.

최근 RAG(검색 증강 생성) 시스템 테스트 중, Gemini Flash 모델이 엉뚱한 대답을 하고, Pro 모델로 바꾸자마자 정답을 맞히는 현상을 직접 겪으셨죠? 이건 단순한 우연이 아닙니다.

왜 Flash는 틀리고 Pro는 맞췄을까요? 그 기술적 이유와, 우리 회사 시스템에는 어떤 모델을 써야 하는지 명확하게 정리해 드립니다.

📄사내 문서 Q&A 챗봇, 파이썬으로 구축 (feat. Gemini) - 2단계 (문제점 피드백)

📄사내 문서 Q&A 챗봇, 파이썬으로 구축 (feat. Gemini) - 2단계 (문제점 피드백)

2단계에서 튜닝의 중요성을 언급했지만 결국 LLM 성능이 상당히 중요하다는걸 깨닫게 됩니다.

🔍 사건의 재구성: "9층 임차인은 누구야?"

상황은 이랬습니다. 투자제안서(IM) 문서를 주고 "9층 임차인이 누구야?"라고 물었죠.

• Flash 모델의 답변 (오답): "쿠팡입니다." (18페이지 그림을 보고 착각)
• Pro 모델의 답변 (정답): "GS네트웍스입니다." (12페이지 표를 보고 확인)

같은 문서를 봤는데 왜 결과가 다를까요? 이는 두 모델의 '사고방식(Reasoning)' 자체가 다르기 때문입니다.

🧠 기술적 분석: 사고방식의 차이

1. Flash 모델: "빠른 눈치 게임"

Flash는 가볍고 빠른 모델입니다. 질문에 '9층'과 '임차'라는 단어가 있으면 문서를 훑다가, 가장 눈에 띄는 이미지나 큰 글자에 꽂힙니다.

18페이지에 대문짝만 한 '쿠팡' 로고와 건물 단면도 속 '9F'가 보이니, "아, 9층은 쿠팡이구나!"라고 단순하게 연결해 버린 겁니다. 그림이 '예시'일 뿐이라는 문맥을 깊게 고민하지 않은 것이죠.

2. Pro 모델: "깐깐한 팩트 체크"

반면 Pro 모델은 문맥 추론(Complex Reasoning) 능력이 뛰어납니다.

그림도 보지만, 12페이지에 있는 '임대차 현황(Rent Roll)'이라는 표(Table)를 발견하고는 생각합니다. "그림보다는 법적 정보가 담긴 표가 더 정확해. 표에 9층은 GS네트웍스라고 명시되어 있군."

우리가 프롬프트에 넣었던 "그림보다 표를 신뢰하라"는 지시사항을 정확히 이행한 것입니다.

📊 모델 선택 가이드: 무엇을 써야 할까?

비용이 조금 더 들더라도 용도에 맞는 모델을 선택하는 것이 결국 비용을 아끼는 길입니다.

구분	Gemini Flash (Lite)	Gemini Pro (2.5 / 3.0)
비유	빠릿빠릿한 신입 사원	노련한 수석 연구원
장점	압도적인 속도, 저렴함	복잡한 표/차트 해석, 논리력
단점	함정에 잘 빠짐 (환각)	상대적으로 느리고 비쌈
추천 용도	단순 요약, 일상 대화	투자 분석, 계약서 검토

🚀 결론 및 적용 방법

사장님이나 임원분들이 의사결정에 사용하는 '투자 분석 봇'이라면, 정답은 정해져 있습니다. 속도가 1~2초 느리더라도 무조건 정확한 Pro 모델을 써야 합니다. 임원들은 기다릴 순 있어도, 틀린 정보는 용납하지 않으니까요.

지금 바로 코드를 아래와 같이 수정해서 시스템의 등급을 올려주세요.

# app.py 수정 (모델 업그레이드)

# 1. 이미지/문서 분석용
vision_model = ChatGoogleGenerativeAI(
    model="gemini-2.5-pro",  # Flash 대신 Pro 사용
    google_api_key=api_key
)

# 2. 최종 답변 생성용
llm = ChatGoogleGenerativeAI(
    model="gemini-2.5-pro",  # 추론 능력 강화
    temperature=0,           # 창의성 끄기 (사실 기반)
    google_api_key=st.session_state.api_key
)

오늘의 경험은 "비정형 데이터(표, 그림) 처리는 Pro가 필수"라는 아주 귀중한 인사이트였습니다.