[Test] 관측성 파이프라인 실제 장애 주입 및 부하 검증

[Gimini-3]

배경

비동기 파이프라인 메트릭, Prometheus 규칙과 Alertmanager 라우팅은 단위·규칙·합성 전달 테스트를 통과했지만, 실제 Backend·PostgreSQL·Embedding Provider 상태가 전체 관측성 경로를 통과하는지와 반복 scrape의 DB 비용은 하나의 재현 가능한 실험으로 측정되지 않았습니다.

목표

격리된 로컬 Docker 환경에서 다음 세 실험을 독립적으로 실행하고, 원본 결과와 측정 조건을 문서로 남깁니다.

• Embedding Provider 중단·재시작 시 실제 경보 발생, 파생 warning 억제와 resolved 전달
• Queue 정체와 Worker 복구 시 Gauge 변화, 경보 발생과 해제
• /actuator/prometheus 반복·동시 scrape 시 응답시간과 DB 집계 쿼리 횟수

완료 조건

• 각 실험을 개별 명령으로 실행할 수 있고 전체 실행 명령도 제공한다.
• 실험마다 독립 Stack과 데이터를 사용하고 종료 시 정리한다.
• 외부 알림 시크릿 없이 로컬 webhook receiver에서 실제 HTTP payload를 검증한다.
• 합성 fixture 시간과 운영 규칙 시간을 구분해 기록한다.
• 측정값을 JSON과 docs/test-results/ 보고서에 남긴다.
• 정상·장애·복구 조건과 재현 절차, 측정 한계를 문서화한다.