RAG 기반 AI 주식 투자 Agent 6편 - Paper Trading, 모니터링, 운영 안전장치 설계

이 단계가 없으면 실험 시스템에서 끝난다

많은 AI 투자 프로젝트가 분석 데모까지는 잘 가지만, 운영 흐름이 약해서 실제 도구로 이어지지 못합니다.

특히 아래가 빠지기 쉽습니다.

사람이 어디서 승인하는지
실패했을 때 누가 알림을 받는지
잘못된 추천이 나왔을 때 어떤 로그를 보는지
데이터 지연이 발생하면 시스템이 어떻게 멈추는지

즉, paper trading과 운영 안전장치가 있어야 비로소 제품이 됩니다.

왜 paper trading이 먼저인가

실주문 자동화 전에 paper trading이 필요한 이유:

데이터 지연과 스케줄 문제 발견
포트폴리오 룰 버그 발견
추천 품질 검증
승인 workflow 테스트
알림 체계 검증

실주문보다 paper trading을 오래 돌리는 팀이 결국 더 안전합니다.

권장 workflow

Daily Research Job
 -> Candidate Proposals
 -> Risk Rule Check
 -> Human Review Queue
 -> Approved Paper Orders
 -> Fill Simulation
 -> Performance Tracking

이 구조면 분석과 실행, 평가가 자연스럽게 이어집니다.

proposal 중심으로 운영하자

Agent가 바로 주문을 생성하기보다, 먼저 proposal을 생성하는 편이 좋습니다.

proposal 필드 예:

symbol
direction
target_weight
reason_summary
supporting_sources
risk_flags
status

상태 예:

draft
pending_review
approved
rejected
executed_paper
expired

이 모델이 있으면 감사와 재현성이 좋아집니다.

사람 승인 단계는 어떻게 둘까

초기에는 최소한 아래 항목을 사람이 확인하는 흐름이 좋습니다.

추천 이유가 출처와 일치하는지
리스크 플래그가 있는지
현재 포트폴리오와 충돌하는지
이벤트 직전인지

승인 UI에서 보여주면 좋은 정보:

요약 결론
정량 지표
최근 뉴스/공시 3개
리스크 룰 결과
예상 포트폴리오 영향

모니터링은 무엇을 봐야 하나

이 시스템은 단순 API보다 더 많은 지표가 필요합니다.

데이터 파이프라인 지표

뉴스 적재 성공률
공시 적재 지연
임베딩 작업 실패율
종목 매핑 오류율

분석 지표

하루 분석 요청 수
종목별 분석 빈도
retrieval 성공률
fallback 비율
출처 누락 비율

운용 지표

proposal 생성 수
승인율
거절 사유 분포
paper order 체결 결과
전략별 누적 성과

알림 체계도 설계해야 한다

알림이 필요한 상황:

데이터 적재 실패
실적 발표 당일 데이터 지연
하루 추천 수 급감
리스크 룰이 전부 reject
특정 worker 중단

운영 채널 예:

Slack
Teams
PagerDuty
이메일 요약 리포트

알림은 많다고 좋은 게 아니라, 실제 대응이 필요한 신호만 보내야 합니다.

감사 로그는 꼭 남겨야 한다

투자 Agent는 나중에 “왜 이런 제안을 했는가”를 설명할 수 있어야 합니다.

남겨야 하는 로그:

원문 질문 또는 전략 입력
사용된 데이터 시점
retrieval 결과
리스크 룰 평가 결과
최종 proposal payload
승인/거절 이력

이 로그가 없으면 운영 중 사고 분석이 거의 불가능합니다.

실패 대응 전략

이 시스템은 일부 데이터가 실패해도 무조건 전체를 멈출 필요는 없습니다. 다만, 무엇을 허용하고 무엇을 금지할지는 명확해야 합니다.

예:

뉴스 수집 실패, 가격 데이터 정상
- 분석은 가능하지만 context incomplete 플래그 부여
공시 적재 지연, 실적 시즌
- 해당 종목 proposal 생성 금지
리스크 엔진 장애
- 신규 proposal 자체 금지

핵심은 모호할 때는 보수적으로 멈추는 것입니다.

운영 안전장치 체크리스트

출처 없는 추천 금지
실적 발표 직전 자동 신규 진입 금지
단일 종목/섹터 한도 초과 시 reject
데이터 freshness 기준 미달 시 proposal 중단
사람 승인 없이는 실주문 전환 금지

이 정도만 있어도 위험이 크게 줄어듭니다.

장기적으로 확장할 수 있는 방향

초기 버전이 안정화되면 이런 확장이 가능합니다.

전략별 Agent 분리
섹터 회전 분석 Agent
포트폴리오 리밸런싱 Agent
멀티마켓 지원
리서치 리포트 자동 생성

하지만 그 전에 운영 체계부터 단단해야 합니다.

마무리

RAG 기반 AI 주식 투자 Agent는 분석 품질만으로는 완성되지 않습니다.

실제로 중요한 것은 아래입니다.

어떤 흐름으로 제안을 만들고
누가 승인하며
데이터가 실패했을 때 어떻게 멈추고
나중에 왜 그런 결정을 했는지 설명할 수 있는가

이 운영 안전장치가 있어야만, 이 시스템은 단순한 AI 데모를 넘어 실제 연구용 투자 플랫폼으로 발전할 수 있습니다.