跳转至

chat:对话式生成

fastdeploy chat 与正在运行的 API 服务器交互,生成对话。

参数

参数 说明 默认值
--url 正在运行的 OpenAI-兼容 RESTful API 服务器的 URL http://localhost:8000/v1
--model-name 提示完成中使用的模型名称,默认为列表模型 API 中的第一个模型 None
--api-key 用于 OpenAI 服务的 API 密钥,提供时会覆盖环境变量 None
--system-prompt 用于在 chat template 中指定 system prompt None
-q, --quick 以 MESSAGE 形式发送单个提示并打印响应,然后退出 None

示例

# 直接连接本地主机 API
fastdeploy chat

# 指定 API URL
fastdeploy chat --url http://{fastdeploy-serve-host}:{fastdeploy-serve-port}/v1

# 只需一个提示即可快速聊天
fastdeploy chat --quick "hi"