tokenizer

说明

Tokenizer 子命令提供文本与 token 序列之间的编码与解码功能，并可查看或导出模型的词表信息。支持文本模型与多模态模型。

用法

fastdeploy tokenizer --model MODEL (--encode TEXT | --decode TOKENS | --vocab-size | --info)

参数

参数	说明	默认值
--model, -m	模型路径或名称	None
--encode, -e	将文本编码为 token 列表	None
--decode, -d	将 token 列表解码为文本	None
--vocab-size, -vs	查看词表大小	None
--info, -i	查看 tokenizer 详细信息（特殊符号、ID、最大长度等）	None
--vocab-export FILE, -ve FILE	导出词表到文件	None

示例

# 1. 编码文本为 tokens
# 将输入文本转换为模型可识别的 token 序列
fastdeploy tokenizer --model baidu/ERNIE-4.5-0.3B-Paddle --encode "Hello, world!"

# 2. 解码 tokens 为文本
# 将 token 序列转换回可读文本
fastdeploy tokenizer --model baidu/ERNIE-4.5-0.3B-Paddle --decode "[1, 2, 3]"

# 3. 查看词表大小
# 输出模型 tokenizer 的总词表数量
fastdeploy tokenizer --model baidu/ERNIE-4.5-0.3B-Paddle --vocab-size

# 4. 查看 tokenizer 详细信息
# 包括特殊符号、ID 映射、最大长度等信息
fastdeploy tokenizer --model baidu/ERNIE-4.5-0.3B-Paddle --info

# 5. 导出词表到文件
# 将 tokenizer 的词表保存到本地文件
fastdeploy tokenizer --model baidu/ERNIE-4.5-0.3B-Paddle --vocab-export ./vocab.txt

# 6. 支持多模模型
# 对多模态模型进行解码
fastdeploy tokenizer --model baidu/EB-VL-Lite-d --decode "[5300, 96382]"

# 7. 多功能组合使用
# 可以同时进行编码、解码、查看词表、导出词表等操作
fastdeploy tokenizer \
    -m baidu/ERNIE-4.5-0.3B-PT \
    -e "你好哇" \
    -d "[5300, 96382]" \
    -i \
    -vs \
    -ve vocab.json