Skip to content

feat: Oracle 부서별 질의 데모 구현 및 실제 DB·LLM 검증 - #257

Open
seyoung4503 wants to merge 1 commit into
masterfrom
feature/oracle-demo
Open

seyoung4503 wants to merge 1 commit into
masterfrom
feature/oracle-demo

Conversation

@seyoung4503

Copy link
Copy Markdown
Collaborator

#️⃣ Issue Number

  • 연결 이슈 없음. Oracle 행사 데모 구현·검증 및 브랜치/PR 생성 직접 요청에 따른 작업입니다.

📝 요약(Summary)

  • Oracle에서 기존 안전장치가 LIMIT을 붙여 실패하던 경로에 Oracle 연결 설정·드라이버·FETCH FIRST 처리를 추가합니다. 부서별 매출, 정의 없는 용어, 계정별 급여 접근을 기존 하네스로 실행하는 재현 가능한 CLI 데모를 포함합니다.
  • 모호한 용어를 먼저 실행하도록 하던 충돌 지침을 제거하고, ask_user 시 같은 배치의 SQL까지 취소합니다. Oracle 접근 오류(ORA-00942/01031)는 추가 조회 없이 중립적인 안내로 턴을 종료합니다.
  • 실제 Oracle Free 23.9 + gpt-4.1-mini에서 5개 사례를 3회 반복해 15/15 통과했습니다. 재현 절차는 docs/oracle_demo.md, SQL·DB 사용자·실제 답변은 bench/oracle/results/에 있습니다.

검증

검사 결과
pytest 176 passed (기존 159 + 회귀 17)
전체 Black 통과
변경 코드 Ruff E4/E7/E9/F 통과
기존 ecommerce 데모 exit 0
실제 Oracle + ScriptedLLM 5/5; 모델 정확도 검증과 구분
실제 Oracle + gpt-4.1-mini 15/15; 영업 200만 원, 재무 170만 원, 되묻기 SQL 0회, 인사 급여 조회, 영업 급여 차단
mypy master와 동일한 기존 오류 19개. 신규 타입 오류 없음

접근 오류 보완 전에는 13/15였습니다. DB는 모두 차단했으나 모델이 테이블 부재로 단정한 2건을 발견했고, 그 실패 기록도 보존했습니다. 수정 후 15회 모두 통과했고 실제 최종 답변도 확인했습니다. 고정 사례의 반복이며 독립 질문 15개나 일반 정확도 100%를 뜻하지 않습니다.

💬 To Reviewers

  • 기존 SqlAlchemyExplorer, ContextConcierge, SemanticFederationTool, RunSQL, SafetyPipeline, agent_loop를 재사용합니다. 제품 코드 순증 +199줄, 데모 +350줄, 테스트 +250줄입니다.
  • ORA-00942는 테이블 부재와 권한 부족을 구별하지 않으므로 둘 중 하나로 단정하지 않습니다. 이 오류는 SQL 수정 재시도를 중단하지만 ORA-00904 등 다른 SQL 오류의 기존 복구 경로는 유지합니다.
  • ToolResult.stop_turn은 도구 호출 ID마다 응답을 남기고 미실행 호출을 취소해 다음 사용자 턴의 transcript를 유효하게 유지합니다. SQL 호출이 ask_user보다 먼저 나오는 동일 배치, 접근 거절 후 남은 배치, 다음 사용자 턴 재개를 회귀 테스트했습니다.
  • 이번 CLI는 고정 persona를 read-only DB 계정에 조립점에서 연결합니다. 운영 Discord 사용자 인증/계정 라우팅, 서비스 전체 세션·캐시 격리, VPD/Graph/Vector/장기 기억은 범위 밖입니다.
  • 모호성 발견은 여전히 LLM에 의존합니다. ask_user가 호출된 후 실행 중단은 코드로 강제합니다.
  • 모든 데이터는 합성이며 자격 증명은 포함하지 않았습니다. Oracle seed는 기존 사용자가 있으면 중단하며 삭제/덮어쓰기를 수행하지 않습니다.

구현 원칙 verify

# 원칙 판정 근거
1 재사용 O 기존 explorer/concierge/semantic/tool/safety/loop 재사용, 제품 코드 +199
2 원인만 수정 O Oracle LIMIT, schema 이름, 충돌 지침, 미중단 도구 호출, 접근 오류 오해에 대응
3 로깅 O LLM 턴·SQL 시작/종료·중단, scope/actor/call ID 및 실패 audit
4 에러 레벨 O 복구 가능한 DB 실패 warning, 접근 오류는 안내 후 중단, 다른 오류 전파
5 env 주입 O 데모 main에서 기존 DB URL/API key/model 입력 후 생성자에 주입
6 주석 이슈번호 O 신규 주석에 이슈번호 없음
7 검증 O pytest/Black/Ruff/diff 검사 뒤 &&로 commit/push 연결. CODE MAP 도구 없음. mypy 기존 오류 별도 표기
8 승인 범위 O 요청한 브랜치·PR까지만, 이슈 등록·머지·릴리즈 없음
9 호출 연결 O CLI→concierge→loop→RunSQL→SQLAlchemy/Oracle 실행 기록 포함
10 sync/async O DB 로직 한 벌, async 어댑터는 기존 to_thread 사용; seed는 동기 CLI
11 상수/env/배포 O Oracle 오류 코드는 명명 상수, 금액은 합성 fixture. 새 앱 env 없음. 데모 비밀번호/포트만 compose에 입력; .env.example 연결 예시 반영

PR Checklist

  • 변경 사항에 대한 테스트 또는 검증 완료
  • 로컬 Oracle와 실제 LLM에서 정상 동작 확인
  • 재현 문서 및 성공/실패 실행 기록 추가
  • 운영 환경 검증 및 사용자 인증/DB 계정 라우팅 (후속 범위)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant