🎁 Get the FREE AI Skills Starter GuideSubscribe →
BytesAgainBytesAgain
🦀 ClawHub

nim-interactive-chat

by @romancestarrysky

Generate interactive chat scripts for NVIDIA NIM models, enabling one-click start, auto health check, OpenAI-compatible API, and seamless local conversation.

Versionv1.0.0
Downloads280
TERMINAL
clawhub install nim-interactive-chat

📖 About This Skill

NIM Interactive Chat

为 NVIDIA NIM 格式大模型一键创建交互式对话启动脚本,自动等待服务就绪,一键启动直接进入对话,使用体验和本地聊天程序一样流畅。

功能特点

  • ✅ 一键创建全套脚本:启动 + 停止 + 交互式对话客户端
  • ✅ 自动删除旧容器避免冲突
  • ✅ 自动等待健康检查通过,就绪后自动打开对话
  • ✅ OpenAI 兼容 API,支持流式输出
  • ✅ 保持对话上下文
  • ✅ 输入 exit 退出,容器继续后台运行
  • ✅ 支持自定义 GPU 显存利用率
  • 使用方法

    create-nim-interactive     [gpu-memory-utilization]
    

    参数说明

    | 参数 | 必填 | 说明 | |------|------|------| | image-name | ✅ | Docker 镜像名称 | | container-name | ✅ | 容器名称 | | port | ✅ | 本地端口映射 | | model-name | ✅ | 模型名称(API 用)| | gpu-memory-utilization | ⭕ | GPU 显存利用率,默认 0.9 |

    示例

    为 Qwen3.5-4B 创建:

    create-nim-interactive \
      tgcr.turing-agi.com/public/qwen/qwen3.5-4b-spark-nim:latest \
      qwen3.5-4b-nim \
      18000 \
      Qwen/Qwen3.5-4B \
      0.88
    

    创建完成后:

    # 一键启动(自动等待服务就绪 + 进入交互式对话)
    ./start-qwen3.5-4b-nim.sh

    一键停止容器

    ./stop-qwen3.5-4b-nim.sh

    生成文件

  • ~/start-.sh - 一键启动脚本
  • ~/stop-.sh - 一键停止脚本
  • ~/-chat.py - Python 交互式对话客户端(OpenAI 兼容)
  • requirements

  • Docker
  • Python 3
  • openai Python package
  • 适用场景

  • 本地部署 NVIDIA NIM 格式模型(NGC / TGC 等)
  • 想要一键启动直接对话的便捷体验
  • 和 Gemma 一样友好的使用方式