日志说明

FastDeploy 在部署过程中，会产生如下日志文件，各日志含义说明 默认日志目录为执行目录下的 log 文件夹，若需要指定可设置环境变量 FD_LOG_DIR。

推理服务日志

• backup_env.*.json : 记录当前实例启动时设置的环境变量，文件个数与卡数相同
• envlog.* : 记录当前实例启动时设置的环境变量，文件个数与卡数相同
• console.log : 记录模型启动耗时等信息，该日志信息会被打印到控制台
• data_processor.log : 记录输入数据及输出输出编码解码的内容
• fastdeploy.log : 记录当前实例启动的各个 config 的信息，运行中记录用户请求的 request 及 response 信息
• workerlog.* : 记录模型启动加载进度及推理算子报错信息，每个卡对应一个文件
• worker_process.log : 记录引擎每一轮推理的数据
• prefix_cache_manager.log : 记录每一个请求分配 KV Cache 的逻辑索引，以及当前请求的命中情况
• launch_worker.log : 记录模型启动信息及报错信息
• gpu_worker.log : 记录 profile 时计算 KV Cache block 数目的信息
• gpu_model_runner.log : 当前的模型信息及加载时间

在线推理客户端日志

• api_server.log : 记录启动参数，及接收到的请求信息

调度器日志

• scheduler.log : 记录调度器的信息包含当前结点的信息，每条请求分配的信息

投机解码日志

• speculate.log : 投机解码相关信息

Prefix Caching 相关日志

• cache_queue_manager.log : 记录启动参数，及接收到的请求信息
• cache_transfer_manager.log : 记录启动参数，及接收到的请求信息
• cache_queue_manager.log : 记录启动参数，及接收到的请求信息
• launch_cache_manager.log : 启动 cache transfer 记录启动参数，报错信息

PD 分离相关日志

• cache_messager.log : 记录P 实例使用的传输协议及传输信息
• splitwise_connector.log : 记录收到 P/D 发送的数据，及建联信息

CudaGraph 相关日志

• cudagraph_piecewise_backend.log : 记录 cuda graph 启动及报错信息