调度器
FastDeploy 目前支持两种调度器: 本地调度器 和 全局调度器 。 全局调度器专为大规模集群设计，能够基于实时工作负载指标在节点间实现二级负载均衡。
调度策略
本地调度器
本地调度器可以等效于内存管理器，根据 任务队列长度 和 TTL 的配置进行内存淘汰。
全局调度器
全局调度器基于 Redis 实现，各个节点根据自身 GPU 负载情况，空闲时主动从其他节点窃取任务，然后将任务的执行结果推送回原节点。
PD分离调度器
基于全局调度器，FastDeploy 引入了专为大语言模型推理场景优化的 PD 分离调度策略。该策略将推理流程解耦为两个独立阶段： - Prefill 阶段 ：构建 KV 缓存，该过程计算密集度高、显存占用大，但延迟低；
- Decode 阶段：进行自回归解码，该过程串行执行、时延高，但显存占用低。
通过角色分离（prefill 节点负责接收并处理请求，decode节点完成后续生成），可以更细粒度地控制资源分配、提高吞吐量与 GPU 利用率。
配置参数
| 字段名 | 字段类型 | 是否必填 | 默认值 | 生效范围 | 说明 |
|---|---|---|---|---|---|
| scheduler_name | str | 否 | local | local,global,splitwise | 调度器名：local，global，splitwise |
| scheduler_max_size | int | 否 | -1 | local | 任务最大队列长度 |
| scheduler_ttl | int | 否 | 900 | local,global,splitwise | 任务最大存活时间(秒) |
| scheduler_host | str | 否 | 127.0.0.1 | global,splitwise | redis服务地址 |
| scheduler_port | int | 否 | 6379 | global,splitwise | redis服务端口 |
| scheduler_db | int | 否 | 0 | global,splitwise | redis数据库序号 |
| scheduler_password | str | 否 | "" | global,splitwise | redis访问密码 |
| scheduler_topic | str | 否 | default | global,splitwise | 在同一个主题下的节点之间才会发生任务调度 |
| scheduler_min_load_score | float | 否 | 3 | global | 当节点的负载大于最小阈值时，若其他节点空闲则可以窃取该节点的任务 |
| scheduler_load_shards_num | int | 否 | 1 | global | 集群负载信息表的分片数 |
| scheduler_sync_period | int | 否 | 5 | splitwise | 节点负载同步周期(秒) |
| scheduler_expire_period | int | 否 | 3000 | splitwise | 节点信息失效时间(秒)，用于心跳机制 |
| scheduler_release_load_expire_period | int | 否 | 600 | splitwise | 请求失效释放负载时间(秒) |
| scheduler_reader_parallel | int | 否 | 4 | splitwise | 输出读取线程数 |
| scheduler_writer_parallel | int | 否 | 4 | splitwise | 写入线程数 |
| scheduler_reader_batch_size | int | 否 | 200 | splitwise | 每次从 Redis 获取结果的 batch 大小 |
| scheduler_writer_batch_size | int | 否 | 200 | splitwise | 每次向 Redis 写入结果的 batch 大小 |