OpenKB: 벡터 DB 없이 구축하는 나만의 AI 지식 위키

이제 청킹 없이 500페이지 PDF를 검색하세요: OpenKB

혁신적인 아이디어의 시작

최근 AI 전문가 안드레 카파시(Andrej Karpathy)가 새로운 화두를 던졌습니다. 우리의 지식 베이스가 단순한 벡터 데이터베이스가 아니라, 위키(Wiki)처럼 작동한다면 어떨까요?

OpenKB는 바로 이 개념을 현실로 구현한 오픈소스 CLI 도구입니다. 기존의 RAG 방식이 매번 처음부터 맥락을 재발견했다면, OpenKB는 지식을 '컴파일'하여 누적합니다.

RAG의 한계를 넘어서는 기술

전통적인 RAG는 질문이 올 때마다 흩어진 조각을 찾지만, OpenKB는 이를 뒤집어 지식 간의 연결 고리를 먼저 만듭니다.

• PageIndex: 벡터 없는 트리 인덱스를 통해 긴 PDF 문서의 구조를 모델이 직접 추론할 수 있게 합니다.
• 자동 생성 요약: LLM이 원시 문서를 읽고 개념 페이지와 요약을 자동으로 생성합니다.
• 교차 참조: 여러 문서에 흩어진 정보를 서로 연결하여 지식의 격차를 탐지합니다.

주요 특징 및 지원 사항

"당신의 지식 베이스가 마침내 이미 배운 것을 기억하기 시작합니다."

• 광범위한 형식: PDF, Word, PPT, Excel, HTML, 이미지를 모두 지원합니다.
• 네이티브 멀티모달: 텍스트뿐만 아니라 그림과 표도 직접 검색하고 이해합니다.
• Obsidian 호환: 결과물이 .md 파일로 생성되어 옵시디언의 지식 그래프 뷰로 확인할 수 있습니다.
• 감시 모드: 폴더에 파일을 넣기만 하면 위키가 자동으로 업데이트됩니다.

어떻게 시작하나요?

설치는 매우 간단합니다. 터미널에서 아래 명령어를 입력하세요.

pip install openkb

설치 후 openkb init으로 시작하고, openkb add [파일명]으로 문서를 추가하면 나만의 지식 위키가 구축됩니다. 단일 새 파일이 추가될 때 최대 15개의 위키 페이지가 유기적으로 업데이트되는 놀라운 경험을 해보세요.