넓힘 뒤 문맥 재생성 + 채점 91회 — #409 가 닫혀서 이 배치를 들 자리가 없다 (#456 후속)

[gitIt-sehyeon]

#613 리뷰에서 나온 것입니다. 재생성을 미룰 자리가 없어서 뗍니다.

왜 지금 없나

#613 본문이 "#409 가 그 배치를 들고 있으므로 재생성은 거기서 한 번에 한다" 로 적었는데, #409 는 9/6 에 닫혔습니다(제가 #480 머지로 닫았습니다). 그때 재생성은 이미 한 번 돌았습니다 — v2 → v3, 70/70, QWK +0.795 → +0.828.

#409 가 한 것       프롬프트 판이 어긋난 것을 맞췄다 (v2 출력 → v3 재생성)
지금 필요한 것       문맥(입력)이 바뀌어서 다시 도는 것

같은 「재생성」이라는 낱말인데 원인이 다릅니다. 그래서 그 이슈를 다시 열지 않고 새로 뗍니다.

무엇을 하나

#456(= PR #613)이 머지되면 ELS-MATURITY-LOSS-CONDITION 의 인용 스팬이 ⑧ 전문으로 넓어집니다. 그러면 고정 문맥이 낡습니다.

1. build_context.py 로 eval/data/context/els.json 재생성
       ↓ built_at · parser_version 이 바뀐다
2. 채점 91회 재실행 → eval/data/model.jsonl
       ↓ 헤더의 문맥 판이 새 값으로 찍힌다
3. 수치 갱신    docs/eval-report.md · functional-spec-v1.2.md(4곳) · proposal.md
4. 걷어낼 것    #613 의 「아직 안 덮는다」 단정 (초록이 되는 순간 빨개진다)
                #480 KNOWN_CAVEATS 의 단서 ①

❗한 번에 돈다

#409 에서 세운 판단 그대로입니다 — 91회는 두 번 돌릴 값이 아닙니다. 그래서 #613 을 규약만으로 두고 재생성을 여기서 받는 것이 맞습니다. 한 PR 에 섞으면 "넓힘이 옳은가" 와 "수치가 왜 움직였나" 가 한 diff 에 들어갑니다.

❗#377 이 앞에 걸릴 수 있습니다

#409 에 제가 적은 것이 그대로 걸립니다.

#377(종결어미 누설)이 아직 열려 있고 담당이 없습니다. 라벨을 다시 만드는 일이 생기면 재생성을 그 뒤로 미루는 게 맞습니다 — 모델 출력만 바뀌는지, 정답도 바뀌는지가 달라집니다.

지금 라벨 변경 계획이 없다      → 이 순서로 간다
#377 이 라벨을 건드리기로 하면   → 그 뒤로 미룬다 (안 그러면 91회를 또 돈다)

@yoonjiseok #377 쪽에 움직임이 생기면 여기에 한 줄 남겨 주세요.

독립성

#409 때와 같습니다 — 프롬프트 당사자가 재생성을 돌리면 F-CMN-003 라벨링 독립성이 흐려지므로 제가 돕니다. eval/ 이 제 소유이기도 합니다.

순서

#613 머지        넓힘 규약 (문맥 안 건드림 · 「아직 안 덮는다」 단정이 초록)
   ↓
이 이슈           재생성 → 그 단정이 빨개진다 → 같이 걷는다

Refs #456 · #613 · #409 · #480 · #377

[gitIt-sehyeon]

순서 제약이 하나 더 있습니다 — #363. 본문에 #377 만 적었는데 같은 성질이 둘입니다.

#377   종결어미 누설 — 라벨을 다시 만들면    → 정답이 바뀐다
#363   §2/§3 충돌 — 규칙을 다시 정하면       → 정답이 바뀐다 (els-0053 이 U4 → U2)

둘 다 «정답이 움직이면 재생성을 그 뒤로» 입니다. 91회를 두 번 돌지 않으려면 같이 봐야 합니다.

#363 이 걸리는 방식은 조금 다릅니다

#377 은 라벨 파일이 바뀌는 것이고, #363 은 규칙 문면이 바뀌어 한 행의 정답이 뒤집히는 것입니다. 재라벨링 없이 한 행만 고쳐도 됩니다.

§2 우선으로 정한다    els-0053 정답 U4 그대로    미탐 4/19 = 21.1%
§3 우선으로 정한다    els-0053 정답 U2          미탐 3/19 = 15.8%   ❗

즉 재생성을 먼저 해도 #363 결정 뒤에 4절만 다시 계산하면 됩니다 — run_eval.py 는 LLM 을 안 부르므로 그 부분은 비싸지 않습니다. #377 과 달리 91회를 다시 돌 필요는 없습니다.

#377 이 라벨을 건드린다     → 재생성을 그 뒤로 (채점 91회가 걸린다)
#363 만 정해진다           → 재생성은 먼저 해도 된다. 라벨 한 줄 + run_eval.py 재실행

지금 상태

#616 으로 미탐율에 그 조건을 붙여 뒀습니다 — 재생성 뒤 새 수치가 나와도 조건 없이 인용되지 않습니다. 그 PR 이 model.jsonl 을 안 건드리므로 이 이슈와 충돌하지 않습니다.

본문 「❗#377 이 앞에 걸릴 수 있습니다」 절에 #363 을 같이 넣는 것으로 읽어 주시면 됩니다.

[yoonjiseok]

떼 주셔서 감사합니다. #613 독스트링의 「별건」을 #615 로 바꿔 밀었습니다(aeb1abd).

「별건으로 돈다」로만 적어 두면 #409 를 잘못 가리켰던 것과 같은 상태입니다. 제 단정이 빨개지기를 기다리는 사람이 어디를 봐야 하는지가 없으니까요. 주소가 있어야 합니다.

#377 — 지금 라벨 변경 계획 없습니다

제 이슈이고 지금 상태는 이렇습니다.

잰 것    eval 70건에서 종결어미 6자만으로 95% 적중 (기준선 63%)
남은 것  화법 폭을 넓히는 쪽 (#377 ②, 정세현) — 표본을 다시 쓰는 일
라벨     건드릴 계획 없음. 누설은 「입력 형태」 축이라 정답 라벨과 독립입니다

❗다만 ②가 표본 화법을 넓히면 그건 입력이 바뀌는 것이라, 라벨을 안 건드려도 채점을 다시 돌 이유가 생깁니다. 그 판단이 정세현 님 쪽에 있으니, #377 ②를 실제로 착수하시게 되면 #615 보다 먼저인지 뒤인지를 그 시점에 여기 남기겠습니다. 제 쪽에서 라벨·표본을 움직이는 일이 생겨도 같습니다.

순서 확인

1. #613 머지 (규약만 · 문맥 안 건드림)
2. #615  재생성 → 채점 91회 → 수치 4곳
         그때 제 단정이 빨개집니다:
         tests/test_evidence_covers_required.py
           test_the_committed_context_is_still_the_round_before_widening
         실패 문면에 「빠진 것이 없어졌으면 이렇게 뒤집는다」를 적어 뒀습니다
3. #480 KNOWN_CAVEATS ① 걷기

#409 와 이번 것이 같은 낱말인데 원인이 다르다(프롬프트 판 어긋남 ↔ 문맥 입력 변경)고 갈라 적어 주신 것이 정확합니다. 제가 그 둘을 한 이름으로 묶어 읽어서 닫힌 이슈를 가리켰습니다.