Skip to content

feat: 기존 CLI·Discord·문서 추론 전체를 Codex 기반으로 전환 - #258

Closed
seyoung4503 wants to merge 3 commits into
masterfrom
feature/codex-oracle-demo
Closed

seyoung4503 wants to merge 3 commits into
masterfrom
feature/codex-oracle-demo

Conversation

@seyoung4503

@seyoung4503 seyoung4503 commented Nov 14, 2026 •

Copy link
Copy Markdown
Collaborator

#️⃣ Issue Number

  • 별도 이슈 없음. Oracle 기반 변경 #257을 포함하며 master 대상으로 리뷰합니다.

📝 요약(Summary)

  • 기존 lang2sql CLI, Discord query, 문서 정의 추출, 스키마 설명 생성, 조직/팀 용어 추출의 기본 추론을 모두 CodexLLM으로 전환합니다. OPENAI_API_KEY/로컬 URL에 따른 모델 선택 및 자동 FakeLLM fallback을 제거합니다.
  • Codex의 구조화된 응답을 기존 Completion/ToolCall로 변환하고, 기존 하네스가 도구·안전 검사·신원·세션·audit를 실행합니다. 기존 기능을 MCP 데모로 대체하거나 삭제하지 않습니다. MCP는 선택적 진입점이며, subprocess/timeout/실패 검사는 기본 경로와 같은 실행기를 재사용합니다.
  • Oracle 구현·합성 데이터 평가 기록·16장 MCP 데모 PPT 및 재현 문서를 포함합니다. 기본 애플리케이션 전환 검증과 기존 MCP 시연 결과는 분리해 기록합니다.

💬 To Reviewers

실제 소비 경로

호출처 기본 경로
lang2sql ContextConcierge → CodexLLM → 기존 agent_loop 도구 실행
Discord query 같은 경로 + 기존 세션 저장/응답 렌더링
문서 추출 concierge의 LLMExtractor → CodexLLM
enrich_schema / org_setup ctx.llm → CodexLLM
선택적 lang2sql-codex MCP 도구 호출, 공통 codex_process 재사용

codex login을 서비스 실행 사용자로 수행하고 Codex 실행 파일을 PATH에 둡니다. LANG2SQL_LLM_MODEL은 Codex 모델 ID, LANG2SQL_LLM_TIMEOUT은 호출당 제한(기본 180초)입니다. 미설정 모델은 Codex CLI 기본값을 사용하며 실제 모델 ID를 추정하지 않습니다. 설정/배포 예제도 변경했습니다.

Codex 실패는 전파합니다. 미등록 도구, JSON이 아닌 인수, 빈 응답은 거부합니다. 기존 OpenAILLM 클래스는 명시적 호환용으로 남아 있으나 제품 조립점에서는 사용하지 않습니다. FakeLLM은 오프라인 테스트에서 명시적으로 주입합니다.

검증 근거

  • Python 3.10/3.13 각각 199 tests passed. 실제 stdio handshake, 기본 CLI/Discord의 Codex adapter→실제 도구 경로, 문서/스키마/조직 추론, 잘못된 응답/실패/timeout 검증 포함.
  • bench/codex/results/harness.json: Codex + 기존 하네스 + 실제 Oracle 5/5. 영업 매출 2,000,000 / 재무 1,700,000 / 모호한 질문 SQL 0회 / HR 급여 / 영업 권한 차단.
  • bench/codex/results/extraction.json: 기본 concierge의 실제 Codex 문서 정의 추출 성공.
  • bench/codex/results/verified.json: 선택적 MCP 경로의 별도 5/5 기록. 고정 5개 합성 사례로 일반 정확도를 주장하지 않습니다.
  • Black / 변경 Python Ruff(E4/E7/E9/F) 통과. mypy는 기반 Oracle 브랜치와 동일한 기존 오류 19개, 신규 없음.
  • 이전 MCP 반복 실행 중 로컬 Python 환경 교체로 시작 실패가 있었으며 미완료 실행은 집계에서 제외했습니다. 기본 경로 검증도 Oracle 재시작 직후 서비스 등록 전 연결 실패 후 healthy 상태에서 다시 완료했습니다.

Discord 실제 서버에 메시지를 전송하는 검증은 하지 않았습니다. command handler 호출은 자동 테스트했습니다. 운영 인증·DB 신원 매핑, VPD/행·컬럼 권한, 서버 측 비용·시간 제한은 후속 범위입니다. 기존 MCP PPT는 MCP 시연 자료이며 기본 제품 경로는 위 표와 문서를 기준으로 봐주세요.

PR Checklist

  • 기본 애플리케이션 모든 추론 호출 Codex 연결
  • 자동 OpenAI/local/FakeLLM 선택 제거
  • 테스트·포맷·정적 검사 및 실제 Oracle/추출 실행
  • 설정·배포·데모 문서 수정
  • 합성 데이터 결과와 비밀번호 미포함 확인
  • 머지·릴리즈하지 않음

구현 원칙 verify

기존 LLMPort, Completion/ToolCall, 하네스, 도구, 안전 검사, DB adapter, 세션/저장소를 재사용합니다. 이번 전체 전환 후속 변경의 제품 코드 순증은 137줄(기존 MCP PR 커밋 대비)이며 subprocess 구현을 공통화했습니다.

원칙 판정 근거
재사용 O 기존 하네스/도구 유지, Codex 실행기 한 벌
변경 범위 O 전체 추론 전환 및 직접 관련 테스트/문서
로깅 O scope/turn/tool 수 + Codex PID/실패
오류 O 실행·인증·응답 오류 전파, 자동 fallback 없음
설정 주입 O concierge 입력부 → CodexLLM 생성자
주석 O 이슈번호 주석 없음
검증 O 199 tests / Black / Ruff; CODE MAP 스크립트 없음
승인 O 요청한 PR 수정까지, 미머지
호출 연결 O CLI/Discord/추출/스키마/조직 호출을 테스트로 확인
async O 공통 async subprocess, sync 진입점은 얇은 래퍼
설정/배포 O 기존 모델/timeout 변수 재사용, .env.example·DEPLOY 반영

@seyoung4503 seyoung4503 changed the title feat: Codex MCP 기반 Oracle 실행과 발표 장표 v2 feat: 기존 CLI·Discord·문서 추론 전체를 Codex 기반으로 전환 Nov 14, 2026
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant