Ai Resource Master
by @hellohushuai
大模型服务器资源评估。用于医疗行业大模型应用场景的算力资源需求评估和测算,根据门诊/住院诊疗量和大模型应用场景数推导GPU算力需求。使用场景:用户询问大模型算力评估、AI服务器资源配置、GPU算力需求测算等。
clawhub install ai-resource-master📖 About This Skill
name: ai-resource-master description: 大模型服务器资源评估。用于医疗行业大模型应用场景的算力资源需求评估和测算,根据门诊/住院诊疗量和大模型应用场景数推导GPU算力需求。使用场景:用户询问大模型算力评估、AI服务器资源配置、GPU算力需求测算等。
AI大模型服务器资源评估
本技能用于评估医疗行业大模型应用场景的算力资源需求,根据门诊/住院诊疗量和大模型应用场景推导GPU算力需求。
评估流程
第一步:收集必要信息
如果用户未提供以下信息,必须询问:
必备信息: 1. 地区门诊年诊疗次数(单位:万人次/年) 2. 地区住院年诊疗次数(单位:万人次/年) 3. 大模型应用场景列表(从以下选项中选择)
可选信息:
第二步:场景定义与参数
#### 大模型应用场景列表
| 场景名称 | 类型 | 单次占用时间 | 默认覆盖范围 | |---------|------|-------------|-------------| | 知识问答 | 对话 | 24秒/次 | 按需配置 | | 问诊 | 对话 | 24秒/次 | 按需配置 | | 报告解读 | 对话 | 24秒/次 | 门诊5% | | 导医导诊 | 对话 | 24秒/次 | 门诊30% | | 病史采集 | 对话 | 24秒/次 | 按需配置 | | AI陪诊 | 对话 | 24秒/次 | 按需配置 | | 智能随访 | 对话 | 24秒/次 | 按需配置 | | 病历生成-门诊 | 生成 | 30秒/次 | 门诊100% | | 病历生成-住院 | 生成 | 50秒/次 | 住院100% | | 辅助诊断 | 分析 | 50秒/次 | 门诊100% | | 病历质控-门诊 | 质控 | 40秒/次 | 门诊100% | | 病历质控-住院 | 质控 | 60秒/次 | 住院100% | | 诊疗推荐-门诊 | 推荐 | 30秒/次 | 门诊100% | | 诊疗推荐-住院 | 推荐 | 40秒/次 | 住院100% | | 报告解读-专用 | 分析 | 20秒/次 | 门诊5% | | 患者画像提取 | 分析 | 120秒/次 | 门诊+住院100% |
#### 场景分类说明
对话类场景(单次24秒):
生成类场景:
分析类场景:
第三步:算力推导公式
#### 日均调用量计算
日门诊量 = 年门诊量(万人次)× 10000 ÷ 365 日住院量 = 年住院量(万人次)× 10000 ÷ 365
#### 单场景占用时间计算
某场景日占用时间(秒)= 日调用量 × 单次占用时间(秒) 某场景日占用时间(小时)= 日占用时间(秒)÷ 3600
#### 总占用时间汇总
总占用时间(小时)= 所有场景占用时间之和
第四步:算力资源配置
#### 默认配置参数(910B3显卡)
#### 显卡需求计算
总显卡需求(卡)= 总占用时间(小时)÷ 80小时/卡
#### 一体机配置(华为一体机)
#### 总算力计算(可选)
如用户需要总算力(P):
输出格式规范
格式要求
1. 使用普通文档格式,不要使用数学公式 2. 不要使用表格,正常分行描述 3. 输出结构清晰,层次分明
标准输出模板
X. 算力资源
X.X 区域大模型算力资源需求评估
X.X.X 模型引擎处理能力测算服务场景需求背景:
XX地区年均门诊量约XXXX万人次,住院人数约XX万人次。主要服务场景包括:XXX、XXX、XXX等。
日均调用量测算:
(1)场景一名称
覆盖率:XX%
日调用量:X.XX万次
占用时间:X.XX万×XX秒=XXX万秒≈XXX.X小时 (2)场景二名称
覆盖率:XX%
日调用量:X.XX万次
占用时间:X.XX万×XX秒=XXX万秒≈XXX.X小时 [继续列出所有场景...]
X.X.X 总占用时间汇总
各场景占用时间累加:
XXX.X + XXX.X + ... = XXXX.X小时
X.X.X 算力资源配置
单卡处理能力(XX显卡):
- 每卡支持X路并发
- 单卡日处理时间:X×X = XX小时总显卡需求:
- XXXX.X小时/XX小时≈XX.X卡
- 实例配置:XX.X/X≈X.X 台一体机
- 向上取整 X台一体机总算力(如需要):
- 单台一体机(X卡)提供X.XP算力
- X台×X.XP=XX.XP
执行步骤
1. 信息收集:确认用户提供门诊/住院年诊疗量、选择的大模型场景 2. 数据计算:按公式计算日调用量、各场景占用时间 3. 资源推导:计算显卡需求、一体机台数 4. 格式化输出:按标准模板生成算力评估报告
参考文档
详细的推导参数和示例请参考: