v2.5.3 — 인덱싱이 5.6배 빨라졌습니다. 원인을 찾았습니다.
171분 → 30.8분. 5.6배 빨라짐. 같은 6,512개 파일.
v2.5.3의 헤드라인 숫자입니다. 하지만 이 숫자 뒤의 이야기가 숫자 자체보다 더 흥미롭습니다 — 수정 방법이 "전부 빠르게 만들기"가 아니라 "전부를 느리게 만들고 있던 한 가지를 찾기"였기 때문입니다.
진단: Excel 파일 하나가 인덱싱 시간의 85%를 차지
6,512개의 실제 업무 문서 — IPO 제출 서류, 계약서, 재무 보고서, 스프레드시트 — 로 실측 프로파일링을 했습니다. 기존 인덱싱 속도는 분당 37.9개, 전체 인덱싱에 거의 3시간이 걸렸습니다.
파일별 소요 시간을 분석하자 답은 바로 나왔습니다: Excel 파일(.xlsx)이 전체 인덱싱 시간의 85.7%를 소비하고 있었습니다. 45MB짜리 스프레드시트 하나가 혼자서 2시간 넘게 걸렸습니다. 그 파일 하나가 전체 라이브러리의 병목이었습니다.
원인은 파서가 거대한 스프레드시트의 모든 셀을 추출하려 했던 것 — 사람이 절대 검색하지 않을 기계 생성 데이터 덤프까지 포함해서. 수정은 정밀하게 했습니다:
- 10MB 크기 상한 — 이 기준을 넘는 파일은 전문 파싱 대신 메타데이터만 인덱싱
- 텍스트 전용 추출 — 수식, 스타일링 데이터, 내부 셀 참조를 인덱싱 전에 제거
결과: 같은 6,512개 파일 라이브러리가 171.6분이 아닌 30.8분에 인덱싱 완료.
검색 응답: 더 빠르고 일관되게
검색이 실제보다 느리게 느껴지게 만들던 문제들도 수정했습니다:
- 중복 쿼리 실행 — 디바운스 버그로 Enter 키에 검색이 2번 실행되고 있었음. 수정 완료.
- 한국어 IME 오작동 — 조합 중인 키스트로크가 입력 완료 전에 검색을 트리거. 이제 2음절 이상 완성해야 실행.
- 재진입 방지 — 같은 쿼리가 동시에 병렬로 실행될 수 없음. 이미 실행 중이면 중복은 드롭.
목표: P95 검색 응답 ≤ 150ms, 기존 336ms 베이스라인 대비.
검색 랭킹: 본문 내용이 파일명과 공정하게 경쟁
기존에는 파일명의 키워드 매칭 한 번이 문서 본문에 같은 키워드가 수십 번 나오는 것보다 5배 높게 점수를 받았습니다. report.docx라는 이름의 파일이 "report"라는 단어가 가득한 50페이지 문서보다 항상 위에 나왔다는 뜻입니다.
v2.5.3은 파일명 부스트를 5.0x에서 2.5x로 줄이고 폴더 경로 시그널을 높였습니다. 관련 폴더에 있는 문서가 더 자연스럽게 올라오고, 본문 내용이 결과 상단에 공정한 기회를 얻습니다.
파서 품질: 80개 실제 문서로 8개 포맷 검증
합성 테스트 파일이 아닌 실제 업무 문서 — IPO 제출 서류, 계약서, 재무 보고서 — 로 모든 지원 파서를 테스트했습니다. 종합 품질 점수: 5점 만점에 4.3점.
구체적 수정 사항:
- DOCX — 내부 넘버링 ID가 검색 스니펫에 노출되던 문제 수정
- HWP — 테이블 셀 추출 시
<>태그 노이즈 제거 - PDF — CMap 인코딩 실패 시 깨진 텍스트 감지 추가. 읽을 수 없는 문자를 조용히 인덱싱하는 대신, 인코딩 문제가 있는 파일을 인덱싱 불가로 정확히 표시
내부 개선
- SHA256 모델 검증 — BGE-M3 임베딩 모델(2.3GB) 다운로드 시 SHA256 해시 검증. 기존에는 해시 필드가 비어 있어 검증이 자동으로 생략되고 있었음.
- 임베딩 단계 스킵 — dense(벡터) 검색은 v2.6 준비 중으로 일시 비활성화. 인덱싱 중 임베딩 생성을 정확히 건너뛰어, 사용하지 않는 벡터를 만드느라 CPU 시간을 낭비하지 않음.
v2.5.3 받기
localsynapse.com에서 다운로드하세요. 이전 버전에서 업그레이드하는 경우, 파서 및 속도 개선의 전체 효과를 얻으려면 재인덱싱을 권장합니다.
무료. 오픈 소스 (Apache 2.0). Windows와 macOS.