车辆属性识别产线使用教程¶
1. 车辆属性识别产线介绍¶
车辆属性识别是计算机视觉系统中的重要组成部分，其主要任务是在图像或视频中定位并标记出车辆的特定属性，如车辆类型、颜色、车牌号等。该任务不仅要求准确检测出车辆，还需识别每辆车的详细属性信息。车辆属性识别产线是定位并识别车辆属性的端到端串联系统，广泛应用于交通管理、智能停车、安防监控、自动驾驶等领域，显著提升了系统效率和智能化水平，并推动了相关行业的发展与创新。本产线同时提供了灵活的服务化部署方式，支持在多种硬件上使用多种编程语言调用。不仅如此，本产线也提供了二次开发的能力，您可以基于本产线在您自己的数据集上训练调优，训练后的模型也可以无缝集成。
车辆属性识别产线中包含了车辆检测模块和车辆属性识别模块，每个模块中包含了若干模型，具体使用哪些模型，您可以根据下边的 benchmark 数据来选择。如您更考虑模型精度，请选择精度较高的模型，如您更考虑模型推理速度，请选择推理速度较快的模型，如您更考虑模型存储大小，请选择存储大小较小的模型。
车辆检测模块：
| 模型 | 模型下载链接 | mAP 0.5:0.95 | GPU推理耗时（ms） [常规模式 / 高性能模式] |
CPU推理耗时（ms） [常规模式 / 高性能模式] |
模型存储大小（M） | 介绍 |
|---|---|---|---|---|---|---|
| PP-YOLOE-S_vehicle | 推理模型/训练模型 | 61.3 | 9.79 / 3.48 | 54.14 / 46.69 | 28.79 | 基于PP-YOLOE的车辆检测模型 |
| PP-YOLOE-L_vehicle | 推理模型/训练模型 | 63.9 | 32.84 / 9.03 | 176.60 / 176.60 | 196.02 |
车辆属性识别模块：
| 模型 | 模型下载链接 | mAP（%） | GPU推理耗时（ms） [常规模式 / 高性能模式] |
CPU推理耗时（ms） [常规模式 / 高性能模式] |
模型存储大小（M) | 介绍 |
|---|---|---|---|---|---|---|
| PP-LCNet_x1_0_vehicle_attribute | 推理模型/训练模型 | 91.7 | 2.32 / 0.52 | 3.22 / 1.26 | 6.7 M | PP-LCNet_x1_0_vehicle_attribute 是一种基于PP-LCNet的轻量级车辆属性识别模型。 |
测试环境说明：
- 性能测试环境
- 测试数据集：
- 车辆检测模型：PPVehicle 验证集。
- 车辆属性识别模型：VeRi 验证集。
-
硬件配置：
- GPU：NVIDIA Tesla T4
- CPU：Intel Xeon Gold 6271C @ 2.60GHz
- 其他环境：Ubuntu 20.04 / cuDNN 8.6 / TensorRT 8.5.2.2
-
推理模式说明
| 模式 | GPU配置 | CPU配置 | 加速技术组合 |
|---|---|---|---|
| 常规模式 | FP32精度 / 无TRT加速 | FP32精度 / 8线程 | PaddleInference |
| 高性能模式 | 选择先验精度类型和加速策略的最优组合 | FP32精度 / 8线程 | 选择先验最优后端（Paddle/OpenVINO/TRT等） |
2. 快速开始¶
PaddleX 所提供的模型产线均可以快速体验效果，你可以在星河社区线体验车辆属性识别产线的效果，也可以在本地使用命令行或 Python 体验车辆属性识别产线的效果。
2.1 在线体验¶
您可以在线体验车辆属性识别产线的效果，用官方提供的 Demo 图片进行识别，例如：
如果您对产线运行的效果满意，可以直接进行集成部署。您可以选择从云端下载部署包，也可以参考2.2节本地体验中的方法进行本地部署。如果对效果不满意，您可以利用私有数据对产线中的模型进行微调训练。如果您具备本地训练的硬件资源，可以直接在本地开展训练；如果没有，星河零代码平台提供了一键式训练服务，无需编写代码，只需上传数据后，即可一键启动训练任务。
2.2 本地体验¶
在本地使用车辆属性识别产线前，请确保您已经按照PaddleX本地安装教程完成了PaddleX的wheel包安装。
2.2.1 命令行方式体验¶
一行命令即可快速体验车辆属性识别产线效果，使用 测试文件，并将 --input 替换为本地路径，进行预测
paddlex --pipeline vehicle_attribute_recognition --input vehicle_attribute_002.jpg --device gpu:0 --save_path ./output/
运行后，会将结果打印到终端上，结果如下：
{'res': {'input_path': 'vehicle_attribute_002.jpg', 'boxes': [{'labels': ['red(红色)', 'sedan(轿车)'], 'cls_scores': array([0.96375, 0.94025]), 'det_score': 0.9774094820022583, 'coordinate': [196.32553, 302.3847, 639.3131, 655.57904]}, {'labels': ['suv(SUV)', 'brown(棕色)'], 'cls_scores': array([0.99968, 0.99317]), 'det_score': 0.9705657958984375, 'coordinate': [769.4419, 278.8417, 1401.0217, 641.3569]}]}}
运行结果参数说明可以参考2.2.2 Python脚本方式集成中的结果解释。
可视化结果保存在save_path下，可视化结果如下：
2.2.2 Python脚本方式集成¶
- 上述命令行是为了快速体验查看效果，一般来说，在项目中，往往需要通过代码集成，您可以通过几行代码即可完成产线的快速推理，推理代码如下：
from paddlex import create_pipeline
pipeline = create_pipeline(pipeline="vehicle_attribute_recognition")
output = pipeline.predict("vehicle_attribute_002.jpg")
for res in output:
res.print() ## 打印预测的结构化输出
res.save_to_img("./output/") ## 保存结果可视化图像
res.save_to_json("./output/") ## 保存预测的结构化输出
在上述 Python 脚本中，执行了如下几个步骤：
（1）通过 create_pipeline() 实例化车辆属性识别产线对象，具体参数说明如下：
| 参数 | 参数说明 | 参数类型 | 默认值 |
|---|---|---|---|
pipeline |
产线名称或是产线配置文件路径。如为产线名称，则必须为 PaddleX 所支持的产线。 | str |
None |
config |
产线具体的配置信息（如果和pipeline同时设置，优先级高于pipeline，且要求产线名和pipeline一致）。 |
dict[str, Any] |
None |
device |
产线推理设备。支持指定GPU具体卡号，如“gpu:0”，其他硬件具体卡号，如“npu:0”，CPU如“cpu”。 | str |
gpu:0 |
use_hpip |
是否启用高性能推理，仅当该产线支持高性能推理时可用。 | bool |
False |
（2）调用车辆属性识别产线对象的 predict() 方法进行推理预测。该方法将返回一个 generator。以下是 predict() 方法的参数及其说明：
| 参数 | 参数说明 | 参数类型 | 可选项 | 默认值 |
|---|---|---|---|---|
input |
待预测数据，支持多种输入类型，必填 | Python Var|str|list |
|
None |
device |
产线推理设备 | str|None |
|
None |
det_threshold |
车辆检测可视化阈值 | float | None |
|
0.5 |
cls_threshold |
车辆属性预测阈值 | float | dict | list｜ None |
|
0.7 |
3）对预测结果进行处理，每个样本的预测结果均为对应的Result对象，且支持打印、保存为图片、保存为json文件的操作:
| 方法 | 方法说明 | 参数 | 参数类型 | 参数说明 | 默认值 |
|---|---|---|---|---|---|
print() |
打印结果到终端 | format_json |
bool |
是否对输出内容进行使用 JSON 缩进格式化 |
True |
indent |
int |
指定缩进级别，以美化输出的 JSON 数据，使其更具可读性，仅当 format_json 为 True 时有效 |
4 | ||
ensure_ascii |
bool |
控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时，所有非 ASCII 字符将被转义；False 则保留原始字符，仅当format_json为True时有效 |
False |
||
save_to_json() |
将结果保存为json格式的文件 | save_path |
str |
保存的文件路径，当为目录时，保存文件命名与输入文件类型命名一致 | 无 |
indent |
int |
指定缩进级别，以美化输出的 JSON 数据，使其更具可读性，仅当 format_json 为 True 时有效 |
4 | ||
ensure_ascii |
bool |
控制是否将非 ASCII 字符转义为 Unicode。设置为 True 时，所有非 ASCII 字符将被转义；False 则保留原始字符，仅当format_json为True时有效 |
False |
||
save_to_img() |
将结果保存为图像格式的文件 | save_path |
str |
保存的文件路径，支持目录或文件路径 | 无 |
-
调用
print()方法会将结果打印到终端，打印到终端的内容解释如下：input_path:(str)待预测图像的输入路径。boxes:(List[Dict])表示预测结果的类别id。labels:(List[str])表示预测结果的类别名称。cls_scores:(List[numpy.ndarray])表示属性预测结果的置信度。det_scores:(float)表示车辆检测框的置信度。
-
调用
save_to_json()方法会将上述内容保存到指定的save_path中，如果指定为目录，则保存的路径为save_path/{your_img_basename}_res.json，如果指定为文件，则直接保存到该文件中。由于json文件不支持保存numpy数组，因此会将其中的numpy.array类型转换为列表形式。 -
调用
save_to_img()方法会将可视化结果保存到指定的save_path中，如果指定为目录，则保存的路径为save_path/{your_img_basename}_res.{your_img_extension}，如果指定为文件，则直接保存到该文件中。(产线通常包含较多结果图片，不建议直接指定为具体的文件路径，否则多张图会被覆盖，仅保留最后一张图) -
此外，也支持通过属性获取带结果的可视化图像和预测结果，具体如下：
| 属性 | 属性说明 |
|---|---|
json |
获取预测的 json 格式的结果 |
img |
获取格式为 dict 的可视化图像 |
json属性获取的预测结果为dict类型的数据，相关内容与调用save_to_json()方法保存的内容一致。img属性返回的预测结果是一个字典类型的数据。其中，键为res对应的值是Image.Image对象：一个用于显示属性识别结果的可视化图像。
此外，您可以获取车辆属性识别产线配置文件，并加载配置文件进行预测。可执行如下命令将结果保存在 my_path 中：
若您获取了配置文件，即可对车辆属性识别产线各项配置进行自定义，只需要修改 create_pipeline 方法中的 pipeline 参数值为产线配置文件路径即可。示例如下：
from paddlex import create_pipeline
pipeline = create_pipeline(pipeline="./my_path/vehicle_attribute_recognition.yaml")
output = pipeline.predict(
input="./vehicle_attribute_002.jpg",
)
for res in output:
res.print()
res.save_to_img("./output/")
res.save_to_json("./output/")
注： 配置文件中的参数为产线初始化参数，如果希望更改车辆属性识别产线初始化参数，可以直接修改配置文件中的参数，并加载配置文件进行预测。同时，CLI 预测也支持传入配置文件，--pipeline 指定配置文件的路径即可。
3. 开发集成/部署¶
如果产线可以达到您对产线推理速度和精度的要求，您可以直接进行开发集成/部署。
若您需要将产线直接应用在您的Python项目中，可以参考 2.2.2 Python脚本方式中的示例代码。
此外，PaddleX 也提供了其他三种部署方式，详细说明如下：
🚀 高性能推理：在实际生产环境中，许多应用对部署策略的性能指标（尤其是响应速度）有着较严苛的标准，以确保系统的高效运行与用户体验的流畅性。为此，PaddleX 提供高性能推理插件，旨在对模型推理及前后处理进行深度性能优化，实现端到端流程的显著提速，详细的高性能推理流程请参考PaddleX高性能推理指南。
☁️ 服务化部署：服务化部署是实际生产环境中常见的一种部署形式。通过将推理功能封装为服务，客户端可以通过网络请求来访问这些服务，以获取推理结果。PaddleX 支持多种产线服务化部署方案，详细的产线服务化部署流程请参考PaddleX服务化部署指南。
以下是基础服务化部署的API参考与多语言服务调用示例：
API参考
对于服务提供的主要操作：
- HTTP请求方法为POST。
- 请求体和响应体均为JSON数据（JSON对象）。
- 当请求处理成功时，响应状态码为
200，响应体的属性如下：
| 名称 | 类型 | 含义 |
|---|---|---|
logId |
string |
请求的UUID。 |
errorCode |
integer |
错误码。固定为0。 |
errorMsg |
string |
错误说明。固定为"Success"。 |
result |
object |
操作结果。 |
- 当请求处理未成功时，响应体的属性如下：
| 名称 | 类型 | 含义 |
|---|---|---|
logId |
string |
请求的UUID。 |
errorCode |
integer |
错误码。与响应状态码相同。 |
errorMsg |
string |
错误说明。 |
服务提供的主要操作如下：
infer
获取车辆属性识别结果。
POST /vehicle-attribute-recognition
- 请求体的属性如下：
| 名称 | 类型 | 含义 | 是否必填 |
|---|---|---|---|
image |
string |
服务器可访问的图像文件的URL或图像文件内容的Base64编码结果。 | 是 |
detThreshold |
number | null |
参见产线 predict 方法中的 det_threshold 参数说明。 |
否 |
clsThreshold |
number | array | object | null |
参见产线 predict 方法中的 cls_threshold 参数说明。 |
否 |
- 请求处理成功时，响应体的
result具有如下属性：
| 名称 | 类型 | 含义 |
|---|---|---|
vehicles |
array |
车辆的位置及属性等信息。 |
image |
string | null |
车辆属性识别结果图。图像为JPEG格式，使用Base64编码。 |
vehicles中的每个元素为一个object，具有如下属性：
| 名称 | 类型 | 含义 |
|---|---|---|
bbox |
array |
车辆位置。数组中元素依次为边界框左上角x坐标、左上角y坐标、右下角x坐标以及右下角y坐标。 |
attributes |
array |
车辆属性。 |
score |
number |
检测得分。 |
attributes中的每个元素为一个object，具有如下属性：
| 名称 | 类型 | 含义 |
|---|---|---|
label |
string |
属性标签。 |
score |
number |
分类得分。 |
多语言调用服务示例
Python
import base64
import requests
API_URL = "http://localhost:8080/vehicle-attribute-recognition" # 服务URL
image_path = "./demo.jpg"
output_image_path = "./out.jpg"
# 对本地图像进行Base64编码
with open(image_path, "rb") as file:
image_bytes = file.read()
image_data = base64.b64encode(image_bytes).decode("ascii")
payload = {"image": image_data} # Base64编码的文件内容或者图像URL
# 调用API
response = requests.post(API_URL, json=payload)
# 处理接口返回数据
assert response.status_code == 200
result = response.json()["result"]
with open(output_image_path, "wb") as file:
file.write(base64.b64decode(result["image"]))
print(f"Output image saved at {output_image_path}")
print("\nDetected vehicles:")
print(result["vehicles"])
📱 端侧部署：端侧部署是一种将计算和数据处理功能放在用户设备本身上的方式，设备可以直接处理数据，而不需要依赖远程的服务器。PaddleX 支持将模型部署在 Android 等端侧设备上，详细的端侧部署流程请参考PaddleX端侧部署指南。 您可以根据需要选择合适的方式部署模型产线，进而进行后续的 AI 应用集成。
4. 二次开发¶
如果车辆属性识别产线提供的默认模型权重在您的场景中，精度或速度不满意，您可以尝试利用您自己拥有的特定领域或应用场景的数据对现有模型进行进一步的微调，以提升车辆属性识别产线的在您的场景中的识别效果。
4.1 模型微调¶
由于车辆属性识别产线包含车辆属性识别模块和车辆检测模块，如果模型产线的效果不及预期，可能来自于其中任何一个模块。您可以对识别效果差的图片进行分析，进而确定是哪个模块存在问题，并参考以下表格中对应的微调教程链接进行模型微调。
| 情形 | 微调模块 | 微调参考链接 |
|---|---|---|
| 车辆检测不准 | 车辆检测模块 | 链接 |
| 属性识别不准 | 车辆属性识别模块 | 链接 |
4.2 模型应用¶
当您使用私有数据集完成微调训练后，可获得本地模型权重文件。
若您需要使用微调后的模型权重，只需对产线配置文件做修改，将微调后模型权重的本地路径替换至产线配置文件中的对应位置即可：
pipeline_name: vehicle_attribute_recognition
SubModules:
Detection:
module_name: object_detection
model_name: PP-YOLOE-L_vehicle
model_dir: null # 替换为微调后的车辆检测模型权重路径
batch_size: 1
threshold: 0.5
Classification:
module_name: multilabel_classification
model_name: PP-LCNet_x1_0_vehicle_attribute
model_dir: null # 替换为微调后的车辆属性识别模型权重路径
batch_size: 1
threshold: 0.7
5. 多硬件支持¶
PaddleX 支持英伟达 GPU、昆仑芯 XPU、昇腾 NPU和寒武纪 MLU 等多种主流硬件设备，仅需修改 --device参数即可完成不同硬件之间的无缝切换。
例如，您使用昇腾 NPU 进行车辆属性识别产线的推理，使用的 CLI 命令为：
paddlex --pipeline vehicle_attribute_recognition \
--input vehicle_attribute_002.jpg \
--device npu:0
当然，您也可以在 Python 脚本中 create_pipeline() 时或者 predict() 时指定硬件设备。
若您想在更多种类的硬件上使用车辆属性识别产线，请参考PaddleX多硬件使用指南。