Skip to content

feat(bench): Spider2 SQLite 다중 모델 baseline 및 135문항 평가 결과 - #260

Open
seyoung4503 wants to merge 2 commits into
masterfrom
experiment/spider2-sqlite
Open

seyoung4503 wants to merge 2 commits into
masterfrom
experiment/spider2-sqlite

Conversation

@seyoung4503

Copy link
Copy Markdown
Collaborator

#️⃣ Issue Number

  • 별도 이슈 없음. 사용자 요청에 따라 baseline 실험 PR 생성.

📝 요약(Summary)

  • Spider 2.0-Lite SQLite 135문항을 현행 Lang2SQL e0a7fb1의 고정 baseline으로 평가하고, API 모델별 동일 조건 비교 실행기를 추가합니다.
  • 기존 ContextConcierge → agent_loop → SqlAlchemyExplorer 및 OpenAI message/tool 변환을 재사용합니다. 제품 src/ 변경은 없습니다. benchmark Python +566줄, 테스트 +261줄입니다.
  • 공식 evaluator, 질문/DB/문서/gold 해시, 최종 SQL/호출 사용량/실패를 포함한 분모를 보존합니다. 상세 결과: bench/spider2/RESULTS.md.
실제 실행 모델 정답 / 전체 정확도
GPT-4.1 mini (2025-04-14) 21/135 15.56%
GPT-4.1 (2025-04-14) 17/135 12.59%

모두 단일 pass@1 실행이며, 일반적인 모델 우열을 뜻하지 않습니다.

💬 To Reviewers

  • OpenAI 두 snapshot 모델은 실제 평가했습니다. Anthropic/Gemini 프로필은 키 미설정으로 미실행이며, 정확도를 만들거나 대체 모델로 fallback하지 않습니다.
  • 현행 Lang2SQL+모델의 기준점입니다. 모델 단독 대비 개선 효과, Oracle 방언, Spider2 전체 성능을 주장하지 않습니다.
  • 실행 당시 HEAD는 제품 baseline이었고 평가 코드는 커밋 전이었습니다. 저장한 runner/provider SHA256과 이 PR 코드의 일치를 확인했습니다.
  • benchmark optional extra가 LiteLLM/공식 scorer 의존성을 설치합니다. LiteLLM 요구사항 때문에 aiohttp 등 공유 lock 항목 일부도 갱신되었습니다.
  • 전체 기존 mypy는 4개 파일의 기존 19개 오류로 실패합니다. src diff는 0이며 이 PR은 해당 타입 오류를 수정하지 않습니다.

PR Checklist

  • Python 3.10/3.13: 각각 170 tests passed
  • 신규 Python 코드 Black 및 Ruff 통과, diff whitespace 검사 통과
  • 실제 upstream 공식 채점기 smoke 검증 (정답 1개 + 실패 1개 = 1/2)
  • SQLite 쓰기/ATTACH 차단, 행 제한·timeout, 실패 분모, provider metadata, 호출 예산 및 동시성 테스트
  • 고정된 135문항 × OpenAI 2모델 실험 및 결과/생성 SQL 기록
  • 키/DB 원본 제외, 문서/재현 명령 추가
  • Anthropic/Gemini 실제 API 평가 — 키 필요

구현 원칙 verify

# 원칙 판정 근거
1 재사용 O 기존 concierge/agent loop/DB adapter/LLM 변환 + 공식 scorer 사용; Python 순증 827줄(테스트 261 포함)
2 원인만 O 평가 실행/채점/증거/검증만 추가, src 변경 0
3 로깅 O 모델/문항 상태와 API 사용량·실패 유형 기록
4 에러 레벨 O 최종 실패 error; 누락 키는 blocked, 비밀 노출 방지를 위해 API 원문 제외
5 env 주입 O main에서 읽은 env를 run/LLMPort에 주입
6 이슈번호 O 신규 코드 주석에 이슈번호 없음
7 검증 O pytest/Black/Ruff/diff 검사 후 && commit/push; CODE MAP 스크립트 없음
8 승인 O 요청된 별도 브랜치/PR만, 머지·이슈·릴리즈 없음
9 연결 설명 O README에 모델→도구→최종 SQL→공식 채점 경로 설명
10 sync/async O async API 실행 한 벌, SQLite export/dispose는 to_thread
11 설정/배포 O 실행 예산은 CLI 입력·settings 기록; 모델/키 변수명은 프로필, 앱 배포 변경 없음

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant