Skylv Agent Performance Profiler

Agent Performance Profiler — 性能分析与优化

功能说明

深度分析 AI Agent 性能，包括响应时间、Token 消耗、工具调用效率，提供可执行的优化建议。让 Agent 更快、更省、更稳定。

核心指标

1. 响应时间 (Response Time)

metrics:
  - first_token_latency: 首 Token 延迟（目标：<500ms）
  - total_response_time: 总响应时间（目标：<3s）
  - time_to_first_byte: 首字节时间
  - streaming_latency: 流式延迟
benchmarks:
  - simple_query: <1s
  - complex_task: <5s
  - multi_tool: <10s

2. Token 消耗 (Token Usage)

metrics:
  - input_tokens: 输入 Token 数
  - output_tokens: 输出 Token 数
  - total_tokens: 总 Token 数
  - cost_per_request: 单次请求成本
optimization:
  - prompt_compression: 提示词压缩
  - context_pruning: 上下文裁剪
  - response_summarization: 响应摘要

3. 工具调用效率 (Tool Efficiency)

metrics:
  - tool_call_count: 工具调用次数
  - tool_success_rate: 工具成功率（目标：>95%）
  - redundant_calls: 冗余调用数
  - parallel_opportunities: 可并行机会
optimization:
  - batch_calls: 批量调用
  - cache_results: 缓存结果
  - parallel_execution: 并行执行

4. 错误率 (Error Rate)

metrics:
  - api_error_rate: API 错误率（目标：<1%）
  - timeout_rate: 超时率（目标：<2%）
  - retry_rate: 重试率（目标：<5%）
alerts:
  - error_spike: 错误率突增
  - latency_spike: 延迟突增
  - cost_spike: 成本突增

性能分析流程

1. 基线测试

test_cases:
  - simple_qa: 简单问答
  - multi_step: 多步任务
  - tool_intensive: 工具密集型
  - context_heavy: 重上下文
metrics_collected:
  - response_time
  - token_usage
  - tool_calls
  - error_rate

2. 瓶颈识别

common_bottlenecks:
  - verbose_prompts: 提示词过长
  - redundant_tool_calls: 冗余工具调用
  - sequential_execution: 顺序执行（可并行）
  - context_bloat: 上下文膨胀
  - inefficient_retries: 低效重试

3. 优化建议

optimization_strategies:
  - prompt_optimization:
      - 移除冗余描述
      - 使用结构化输出
      - 添加示例（few-shot）
  
  - tool_optimization:
      - 批量调用
      - 结果缓存
      - 并行执行
  
  - context_optimization:
      - 相关性过滤
      - 摘要压缩
      - 向量检索

优化技巧

提示词优化

❌ 低效：

你是一个很有帮助的 AI 助手，你需要帮助用户完成各种任务。
请仔细阅读用户的问题，然后思考如何解决。
你需要考虑各种因素，包括...（冗长描述）

✅ 高效：

角色：{专业角色}
任务：{具体任务}
输出格式：{JSON/Markdown/列表}
约束：{限制条件}

效果： Token 减少 60%，响应时间减少 40%

工具调用优化

❌ 低效（顺序调用）：

1. 搜索 A
2. 搜索 B
3. 搜索 C
4. 合并结果

✅ 高效（并行调用）：

并行：
  - 搜索 A
  - 搜索 B
  - 搜索 C
合并结果

效果： 响应时间减少 70%

上下文优化

❌ 低效（完整历史）：

[完整对话历史，5000+ Token]

✅ 高效（相关性过滤）：

[最近 5 轮对话]
[相关记忆摘要，500 Token]

效果： Token 减少 80%，成本减少 80%

工具函数

profile_agent

def profile_agent(task: str, iterations: int = 10) -> dict:
    """
    Agent 性能分析
    
    Args:
        task: 测试任务
        iterations: 测试迭代次数
    
    Returns:
        {
            "avg_response_time": 1.23,  # 秒
            "p95_response_time": 2.45,
            "avg_tokens": 450,
            "avg_cost": 0.002,  # 美元
            "tool_calls": 3.2,  # 平均每次
            "error_rate": 0.02  # 2%
        }
    """

optimize_prompt

def optimize_prompt(prompt: str) -> dict:
    """
    提示词优化
    
    Args:
        prompt: 原始提示词
    
    Returns:
        {
            "original_tokens": 500,
            "optimized_tokens": 200,
            "reduction": 0.6,
            "optimized_prompt": "优化后的提示词",
            "changes": ["移除冗余", "结构化", "添加示例"]
        }
    """

analyze_tool_calls

def analyze_tool_calls(trace: list) -> dict:
    """
    工具调用分析
    
    Args:
        trace: 工具调用追踪
    
    Returns:
        {
            "total_calls": 15,
            "redundant_calls": 3,
            "parallel_opportunities": 2,
            "cache_hits": 5,
            "optimization_suggestions": [
                "合并 A 和 B 调用",
                "并行执行 C 和 D",
                "缓存 E 的结果"
            ]
        }
    """

性能基准

优秀 Agent 标准

| 指标 | 优秀 | 良好 | 需优化 | |------|------|------|--------| | 响应时间 | <1s | 1-3s | >3s | | Token 效率 | <300 | 300-800 | >800 | | 工具成功率 | >98% | 95-98% | <95% | | 成本/请求 | <$0.001 | $0.001-0.005 | >$0.005 |

成本计算

模型定价（参考）:
  - GPT-4: $0.03/1K input, $0.06/1K output
  - Claude-Sonnet: $0.003/1K input, $0.015/1K output
  - Qwen-Plus: ¥0.004/1K input, ¥0.012/1K output
示例:
  输入 500 Token + 输出 300 Token
  GPT-4 成本：$0.033
  Claude-Sonnet 成本：$0.006
  Qwen-Plus 成本：¥0.0056

相关文件

触发词

Usage

1. Install the skill 2. Configure as needed 3. Run with OpenClaw

1. Install the skill 2. Configure as needed 3. Run with OpenClaw