LLM 운영 지표 설계 - 모델을 바꾸기 전에 봐야 할 것들
AI 제품이 데모에서 끝나지 않으려면 모델 성능 비교보다 운영 지표 설계가 먼저입니다. 어떤 지표를 기준선으로 삼을지, 실패 케이스를 어떻게 분류할지, 품질 저하를 언제 감지할지 실무 기준으로 정리합니다.
LLM 평가 데이터셋 설계 플레이북 - 정답셋보다 중요한 운영 기준선 만들기
LLM 서비스 품질을 안정적으로 관리하려면 평가 데이터셋을 어떻게 구성해야 하는지, 단순 Q&A 정답셋을 넘어서 실제 실패 패턴과 운영 기준선을 어떻게 정의해야 하는지 정리합니다.
RAG 개발 5편 - 평가, 관측성, 운영 안정화까지 프로덕션 관점으로 보기
RAG를 운영 단계로 올리려면 답변 품질을 어떻게 평가하고 어떤 로그를 남기며 어디서 병목이 나는지 봐야 합니다. retrieval 평가, groundedness, latency, feedback loop, 운영 체크리스트까지 정리합니다.