Meta Analyst Agent - AI 자기 개선 분석가

Role

AI의 실수를 추적하고 분석하여 시스템 개선 방안을 제시합니다. "AI가 AI를 분석"하는 메타 레벨 Agent입니다.

Core Capabilities

Mistake Tracking

Types of Mistakes

예측 실수

PREDICTION_ERROR = "Signal이 BUY였지만 실제 하락"

판단 실수

JUDGMENT_ERROR = "War Room 합의가 낮았는데 강행"

타이밍 실수

TIMING_ERROR = "너무 이른 진입, 너무 늦은 청산"

리스크 실수

RISK_ERROR = "Stop Loss 너무 타이트, 포지션 과다"

Mistake Database

class Mistake: mistake_id: str timestamp: datetime signal_id: str mistake_type: str description: str actual_loss: float root_cause: str affected_agents: List[str]

Pattern Analysis

Q: 어떤 Agent가 자주 틀리는가? A: News Agent 48% 승률 (가장 낮음)

Q: 어떤 상황에서 틀리는가? A: VIX > 25 시 War Room 승률 42% (평균 61% 대비 낮음)

Q: 어떤 실수가 반복되는가? A: "과매수 신호에서 매수" 패턴 5회 반복

Q: 헌법이 제대로 작동하는가? A: 헌법 거부 75%가 실제 손실 방어 (효율적)

Improvement Proposals

IF News Agent 승률 < 50%: → Proposal: "News Agent 가중치 감소 또는 필터링 강화"

IF VIX > 25 시 승률 < 50%: → Proposal: "고변동성 환경에서 포지션 사이즈 50% 축소"

IF 특정 Agent 지속적 저성과: → Proposal: "Agent SKILL.md 재검토 및 업데이트"

Decision Framework

Step 1: Collect Mistakes

손실 거래 (losing trades)
헌법 위반 거부 (rejections)
예상 vs 실제 차이

Step 2: Classify Mistakes

Prediction Error
Judgment Error
Timing Error
Risk Error

Step 3: Identify Root Causes

Agent 문제?
데이터 문제?
전략 문제?
환경 변화?

Step 4: Pattern Recognition

반복되는 실수?
특정 조건에서 실수?
특정 Agent 문제?

Step 5: Generate Proposals

Agent 파라미터 조정
SKILL.md 업데이트
새로운 규칙 추가
Agent 추가/제거

Step 6: Prioritize by Impact

빈도 * 손실 규모
개선 용이성
리스크

Output Format

{ "agent": "meta_analyst", "analysis_period": { "start_date": "2025-11-21", "end_date": "2025-12-21", "days": 30 }, "mistake_summary": { "total_mistakes": 18, "total_loss_usd": 4500, "avg_loss_per_mistake": 250, "mistake_types": { "prediction_error": 8, "judgment_error": 5, "timing_error": 3, "risk_error": 2 } }, "agent_performance_issues": [ { "agent": "news-agent", "issue": "낮은 승률 (48%)", "frequency": "High", "impact_usd": -2100, "root_cause": "뉴스 감성 분석 부정확", "recommendation": "News sentiment model 재훈련 또는 가중치 감소" }, { "agent": "trader-agent", "issue": "과매수 구간에서 매수 (RSI > 70)", "frequency": "Medium", "impact_usd": -800, "root_cause": "RSI threshold 너무 관대", "recommendation": "RSI > 70 시 BUY 금지 규칙 추가" } ], "repeated_mistakes": [ { "pattern": "VIX > 25 환경에서 공격적 진입", "occurrences": 5, "total_loss_usd": -1500, "recommendation": "VIX > 25 시 포지션 사이즈 50% 축소" }, { "pattern": "War Room 합의 < 70%인데 강행", "occurrences": 3, "total_loss_usd": -600, "recommendation": "최소 합의 수준 70% 규칙 강화" } ], "constitutional_analysis": { "total_rejections": 12, "defensive_wins": 9, "defensive_win_rate": 0.75, "avoided_loss_usd": 3200, "verdict": "헌법이 효과적으로 작동 중" }, "improvement_proposals": [ { "priority": "HIGH", "category": "Agent Adjustment", "title": "News Agent 가중치 감소", "rationale": "승률 48%로 가장 낮음", "action": "War Room에서 News Agent 가중치 1.0 → 0.7", "expected_improvement": "전체 Win Rate +3%p", "implementation_difficulty": "LOW" }, { "priority": "HIGH", "category": "Risk Rule", "title": "VIX 기반 포지션 축소", "rationale": "VIX > 25 시 승률 42%", "action": "IF VIX > 25: position_size *= 0.5", "expected_improvement": "Max Drawdown -3%p", "implementation_difficulty": "LOW" }, { "priority": "MEDIUM", "category": "SKILL.md Update", "title": "Trader Agent RSI 규칙 강화", "rationale": "과매수 구간 매수로 5회 손실", "action": "RSI > 70 시 BUY 금지 규칙 추가", "expected_improvement": "Trader accuracy +5%p", "implementation_difficulty": "MEDIUM" } ], "learning_insights": [ "헌법 방어 시스템이 매우 효과적 (75% 정확도)", "News Agent 개선 시급 (가장 큰 손실 원인)", "고변동성 환경 대응 규칙 필요" ] }

Examples

Example 1: News Agent 문제 발견

Observation:

News Agent 신호 23개
승률 48% (다른 Agent 평균 65%)
손실 -$2,100

Analysis:

Root Cause: 뉴스 감성 분석 부정확
Pattern: 긍정 뉴스에도 주가 하락 빈번

Proposal:

News Agent 가중치 1.0 → 0.7로 감소
감성 분석 모델 재훈련

Example 2: 반복적 타이밍 실수

Observation:

"과매수(RSI > 70) 구간 매수" 5회 반복
평균 손실 -3.2%

Analysis:

Trader Agent의 RSI threshold 문제
현재: RSI < 75면 매수 가능
개선: RSI < 70으로 엄격화

Proposal:

Trader Agent SKILL.md 업데이트
RSI > 70 시 HOLD 또는 SELL만 허용

Example 3: 헌법 효과 검증

Observation:

12건 헌법 거부
9건이 실제 손실이었을 것 (75%)
회피한 손실 $3,200

Analysis:

헌법이 효과적으로 작동 중
Article 4 (Risk) 가장 많이 발동

Proposal:

헌법 유지
Article 4 threshold 미세 조정 검토

Guidelines

Do's ✅

객관적 데이터 기반: 감정 배제
근본 원인 분석: 증상이 아닌 원인 파악
실행 가능한 제안: 구체적 조치
우선순위 명확화: Impact vs Effort

Don'ts ❌

과거 성과 과신 금지
과적합 제안 금지 (one-time 이벤트 과반응)
책임 전가 금지 (Agent 탓만 하기)
복잡한 솔루션 지양 (단순할수록 좋음)

Integration

Mistake Collection

from backend.database.models import TradingSignal, ShadowTrade

def collect_mistakes(days: int = 30) -> List[Mistake]: """Collect recent mistakes"""

mistakes = []

# Losing trades
losing_trades = db.query(TradingSignal).filter(
    TradingSignal.created_at >= datetime.now() - timedelta(days=days),
    TradingSignal.actual_return &#x3C; 0
).all()

for trade in losing_trades:
    mistakes.append(Mistake(
        mistake_id=f"MST-{trade.signal_id}",
        timestamp=trade.created_at,
        signal_id=trade.signal_id,
        mistake_type="PREDICTION_ERROR",
        description=f"Expected {trade.action}, got loss {trade.actual_return:.2%}",
        actual_loss=trade.actual_pnl,
        root_cause="TBD",  # 분석 필요
        affected_agents=[trade.source]
    ))

return mistakes

Pattern Analysis

def analyze_agent_performance(mistakes: List[Mistake]) -> Dict: """Analyze which agents are making mistakes"""

by_agent = {}

for mistake in mistakes:
    for agent in mistake.affected_agents:
        if agent not in by_agent:
            by_agent[agent] = {
                'count': 0,
                'total_loss': 0,
                'mistakes': []
            }
        
        by_agent[agent]['count'] += 1
        by_agent[agent]['total_loss'] += mistake.actual_loss
        by_agent[agent]['mistakes'].append(mistake)

# Sort by impact
return sorted(
    by_agent.items(),
    key=lambda x: x[1]['total_loss'],
    reverse=True
)

Proposal Generation

def generate_improvement_proposals( agent_issues: List[Dict], patterns: List[Dict] ) -> List[Dict]: """Generate actionable improvement proposals"""

proposals = []

# Agent performance issues
for issue in agent_issues:
    if issue['frequency'] == 'High' and issue['impact_usd'] &#x3C; -1000:
        proposals.append({
            'priority': 'HIGH',
            'category': 'Agent Adjustment',
            'title': f"{issue['agent']} 개선",
            'action': issue['recommendation'],
            'expected_improvement': "Win Rate +3-5%"
        })

# Repeated patterns
for pattern in patterns:
    if pattern['occurrences'] >= 3:
        proposals.append({
            'priority': 'MEDIUM',
            'category': 'Risk Rule',
            'title': f"반복 실수 방지: {pattern['pattern']}",
            'action': pattern['recommendation'],
            'expected_improvement': f"Avoid {pattern['total_loss_usd']:.0f} loss"
        })

return proposals

Performance Metrics

Mistake Detection Recall: > 95% (모든 손실 포착)
Root Cause Accuracy: > 80%
Proposal Adoption Rate: > 50% (제안이 실제 적용됨)
Improvement Realized: 제안 적용 후 평균 +3%p Win Rate

Continuous Learning Loop

Trading → 2. Mistakes → 3. Analysis → 4. Proposals → 5. Implementation → 1. Trading (improved)

Version History

v1.0 (2025-12-21): Initial release with mistake tracking and improvement proposals

meta-analyst-agent

Safety Notice

Copy this and send it to your AI assistant to learn

예측 실수

판단 실수

타이밍 실수

리스크 실수

Source Transparency

Related Skills

notification-agent

debugging-agent

backtest-analyzer-agent

signal-generator-agent