车辆属性识别产线使用教程¶
1. 车辆属性识别产线介绍¶
车辆属性识别是计算机视觉系统中的重要组成部分,其主要任务是在图像或视频中定位并标记出车辆的特定属性,如车辆类型、颜色、车牌号等。该任务不仅要求准确检测出车辆,还需识别每辆车的详细属性信息。车辆属性识别产线是定位并识别车辆属性的端到端串联系统,广泛应用于交通管理、智能停车、安防监控、自动驾驶等领域,显著提升了系统效率和智能化水平,并推动了相关行业的发展与创新。
车辆属性识别产线中包含了车辆检测模块和车辆属性识别模块,每个模块中包含了若干模型,具体使用哪些模型,您可以根据下边的 benchmark 数据来选择。如您更考虑模型精度,请选择精度较高的模型,如您更考虑模型推理速度,请选择推理速度较快的模型,如您更考虑模型存储大小,请选择存储大小较小的模型。
车辆检测模块:
模型 | 模型下载链接 | mAP 0.5:0.95 | GPU推理耗时(ms) | CPU推理耗时 (ms) | 模型存储大小(M) | 介绍 |
---|---|---|---|---|---|---|
PP-YOLOE-S_vehicle | 推理模型/训练模型 | 61.3 | 15.4 | 178.4 | 28.79 | 基于PP-YOLOE的车辆检测模型 |
PP-YOLOE-L_vehicle | 推理模型/训练模型 | 63.9 | 32.6 | 775.6 | 196.02 |
注:以上精度指标为PPVehicle 验证集 mAP(0.5:0.95)。所有模型 GPU 推理耗时基于 NVIDIA Tesla T4 机器,精度类型为 FP32, CPU 推理速度基于 Intel(R) Xeon(R) Gold 5117 CPU @ 2.00GHz,线程数为8,精度类型为 FP32。
车辆属性识别模块:
模型 | 模型下载链接 | mA(%) | GPU推理耗时(ms) | CPU推理耗时 (ms) | 模型存储大小(M) | 介绍 |
---|---|---|---|---|---|---|
PP-LCNet_x1_0_vehicle_attribute | 推理模型/训练模型 | 91.7 | 3.84845 | 9.23735 | 6.7 M | PP-LCNet_x1_0_vehicle_attribute 是一种基于PP-LCNet的轻量级车辆属性识别模型。 |
注:以上精度指标为 VeRi 数据集mA。GPU 推理耗时基于 NVIDIA Tesla T4 机器,精度类型为 FP32, CPU 推理速度基于 Intel(R) Xeon(R) Gold 5117 CPU @ 2.00GHz,线程数为 8,精度类型为 FP32。
2. 快速开始¶
PaddleX 所提供的预训练的模型产线均可以快速体验效果,你可以在线体验车辆属性识别产线的效果,也可以在本地使用命令行或 Python 体验车辆属性识别产线的效果。
2.1 在线体验¶
暂不支持在线体验
2.2 本地体验¶
在本地使用车辆属性识别产线前,请确保您已经按照PaddleX本地安装教程完成了PaddleX的wheel包安装。
2.2.1 命令行方式体验¶
一行命令即可快速体验车辆属性识别产线效果,使用 测试文件,并将 --input
替换为本地路径,进行预测
--pipeline:产线名称,此处为车辆属性识别产线
--input:待处理的输入图片的本地路径或URL
--device 使用的GPU序号(例如gpu:0表示使用第0块GPU,gpu:1,2表示使用第1、2块GPU),也可选择使用CPU(--device cpu)
在执行上述 Python 脚本时,加载的是默认的车辆属性识别产线配置文件,若您需要自定义配置文件,可执行如下命令获取:
👉点击展开
paddlex --get_pipeline_config vehicle_attribute_recognition
执行后,车辆属性识别产线配置文件将被保存在当前路径。若您希望自定义保存位置,可执行如下命令(假设自定义保存位置为 ./my_path
):
paddlex --get_pipeline_config vehicle_attribute_recognition --save_path ./my_path
获取产线配置文件后,可将 --pipeline
替换为配置文件保存路径,即可使配置文件生效。例如,若配置文件保存路径为 ./vehicle_attribute_recognition.yaml
,只需执行:
paddlex --pipeline ./vehicle_attribute_recognition.yaml --input vehicle_attribute_002.jpg --device gpu:0
其中,--model
、--device
等参数无需指定,将使用配置文件中的参数。若依然指定了参数,将以指定的参数为准。
2.2.2 Python脚本方式集成¶
几行代码即可完成产线的快速推理,以车辆属性识别产线为例:
from paddlex import create_pipeline
pipeline = create_pipeline(pipeline="vehicle_attribute_recognition")
output = pipeline.predict("vehicle_attribute_002.jpg")
for res in output:
res.print() ## 打印预测的结构化输出
res.save_to_img("./output/") ## 保存结果可视化图像
res.save_to_json("./output/") ## 保存预测的结构化输出
在上述 Python 脚本中,执行了如下几个步骤:
(1)实例化 create_pipeline
实例化产线对象:具体参数说明如下:
参数 | 参数说明 | 参数类型 | 默认值 |
---|---|---|---|
pipeline |
产线名称或是产线配置文件路径。如为产线名称,则必须为 PaddleX 所支持的产线。 | str |
无 |
device |
产线模型推理设备。支持:“gpu”,“cpu”。 | str |
gpu |
use_hpip |
是否启用高性能推理,仅当该产线支持高性能推理时可用。 | bool |
False |
(2)调用车辆属性识别产线对象的 predict
方法进行推理预测:predict
方法参数为x
,用于输入待预测数据,支持多种输入方式,具体示例如下:
参数类型 | 参数说明 |
---|---|
Python Var | 支持直接传入Python变量,如numpy.ndarray表示的图像数据。 |
str | 支持传入待预测数据文件路径,如图像文件的本地路径:/root/data/img.jpg 。 |
str | 支持传入待预测数据文件URL,如图像文件的网络URL:示例。 |
str | 支持传入本地目录,该目录下需包含待预测数据文件,如本地路径:/root/data/ 。 |
dict | 支持传入字典类型,字典的key需与具体任务对应,如车辆属性识别任务对应\"img\",字典的val支持上述类型数据,例如:{\"img\": \"/root/data1\"} 。 |
list | 支持传入列表,列表元素需为上述类型数据,如[numpy.ndarray, numpy.ndarray],[\"/root/data/img1.jpg\", \"/root/data/img2.jpg\"] ,[\"/root/data1\", \"/root/data2\"] ,[{\"img\": \"/root/data1\"}, {\"img\": \"/root/data2/img.jpg\"}] 。 |
(3)调用predict
方法获取预测结果:predict
方法为generator
,因此需要通过调用获得预测结果,predict
方法以batch为单位对数据进行预测,因此预测结果为list形式表示的一组预测结果。
(4)对预测结果进行处理:每个样本的预测结果均为dict
类型,且支持打印,或保存为文件,支持保存的类型与具体产线相关,如:
方法 | 说明 | 方法参数 |
---|---|---|
打印结果到终端 | - format_json :bool类型,是否对输出内容进行使用json缩进格式化,默认为True;- indent :int类型,json格式化设置,仅当format_json为True时有效,默认为4;- ensure_ascii :bool类型,json格式化设置,仅当format_json为True时有效,默认为False; |
|
save_to_json | 将结果保存为json格式的文件 | - save_path :str类型,保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致;- indent :int类型,json格式化设置,默认为4;- ensure_ascii :bool类型,json格式化设置,默认为False; |
save_to_img | 将结果保存为图像格式的文件 | - save_path :str类型,保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致; |
若您获取了配置文件,即可对车辆属性识别产线各项配置进行自定义,只需要修改 create_pipeline
方法中的 pipeline
参数值为产线配置文件路径即可。
例如,若您的配置文件保存在 ./my_path/vehicle_attribute_recognition.yaml
,则只需执行:
from paddlex import create_pipeline
pipeline = create_pipeline(pipeline="./my_path/vehicle_attribute_recognition.yaml")
output = pipeline.predict("vehicle_attribute_002.jpg")
for res in output:
res.print() ## 打印预测的结构化输出
res.save_to_img("./output/") ## 保存结果可视化图像
res.save_to_json("./output/") ## 保存预测的结构化输出
3. 开发集成/部署¶
如果产线可以达到您对产线推理速度和精度的要求,您可以直接进行开发集成/部署。
若您需要将产线直接应用在您的Python项目中,可以参考 2.2.2 Python脚本方式中的示例代码。
此外,PaddleX 也提供了其他三种部署方式,详细说明如下:
🚀 高性能推理:在实际生产环境中,许多应用对部署策略的性能指标(尤其是响应速度)有着较严苛的标准,以确保系统的高效运行与用户体验的流畅性。为此,PaddleX 提供高性能推理插件,旨在对模型推理及前后处理进行深度性能优化,实现端到端流程的显著提速,详细的高性能推理流程请参考PaddleX高性能推理指南。
☁️ 服务化部署:服务化部署是实际生产环境中常见的一种部署形式。通过将推理功能封装为服务,客户端可以通过网络请求来访问这些服务,以获取推理结果。PaddleX 支持用户以低成本实现产线的服务化部署,详细的服务化部署流程请参考PaddleX服务化部署指南。
下面是API参考和多语言服务调用示例:
API参考
对于服务提供的主要操作:
- HTTP请求方法为POST。
- 请求体和响应体均为JSON数据(JSON对象)。
- 当请求处理成功时,响应状态码为
200
,响应体的属性如下:
名称 | 类型 | 含义 |
---|---|---|
errorCode |
integer |
错误码。固定为0 。 |
errorMsg |
string |
错误说明。固定为"Success" 。 |
响应体还可能有result
属性,类型为object
,其中存储操作结果信息。
- 当请求处理未成功时,响应体的属性如下:
名称 | 类型 | 含义 |
---|---|---|
errorCode |
integer |
错误码。与响应状态码相同。 |
errorMsg |
string |
错误说明。 |
服务提供的主要操作如下:
infer
获取车辆属性识别结果。
POST /vehicle-attribute-recognition
- 请求体的属性如下:
名称 | 类型 | 含义 | 是否必填 |
---|---|---|---|
image |
string |
服务可访问的图像文件的URL或图像文件内容的Base64编码结果。 | 是 |
- 请求处理成功时,响应体的
result
具有如下属性:
名称 | 类型 | 含义 |
---|---|---|
vehicles |
array |
车辆的位置及属性等信息。 |
image |
string |
车辆属性识别结果图。图像为JPEG格式,使用Base64编码。 |
vehicles
中的每个元素为一个object
,具有如下属性:
名称 | 类型 | 含义 |
---|---|---|
bbox |
array |
车辆位置。数组中元素依次为边界框左上角x坐标、左上角y坐标、右下角x坐标以及右下角y坐标。 |
attributes |
array |
车辆属性。 |
score |
number |
检测得分。 |
attributes
中的每个元素为一个object
,具有如下属性:
名称 | 类型 | 含义 |
---|---|---|
label |
string |
属性标签。 |
score |
number |
分类得分。 |
多语言调用服务示例
Python
import base64
import requests
API_URL = "http://localhost:8080/vehicle-attribute-recognition" # 服务URL
image_path = "./demo.jpg"
output_image_path = "./out.jpg"
# 对本地图像进行Base64编码
with open(image_path, "rb") as file:
image_bytes = file.read()
image_data = base64.b64encode(image_bytes).decode("ascii")
payload = {"image": image_data} # Base64编码的文件内容或者图像URL
# 调用API
response = requests.post(API_URL, json=payload)
# 处理接口返回数据
assert response.status_code == 200
result = response.json()["result"]
with open(output_image_path, "wb") as file:
file.write(base64.b64decode(result["image"]))
print(f"Output image saved at {output_image_path}")
print("\nDetected vehicles:")
print(result["vehicles"])
📱 端侧部署:端侧部署是一种将计算和数据处理功能放在用户设备本身上的方式,设备可以直接处理数据,而不需要依赖远程的服务器。PaddleX 支持将模型部署在 Android 等端侧设备上,详细的端侧部署流程请参考PaddleX端侧部署指南。 您可以根据需要选择合适的方式部署模型产线,进而进行后续的 AI 应用集成。
4. 二次开发¶
如果车辆属性识别产线提供的默认模型权重在您的场景中,精度或速度不满意,您可以尝试利用您自己拥有的特定领域或应用场景的数据对现有模型进行进一步的微调,以提升车辆属性识别产线的在您的场景中的识别效果。
4.1 模型微调¶
由于车辆属性识别产线包含车辆属性识别模块和车辆检测模块,如果模型产线的效果不及预期可能来自于其中任何一个模块。 您可以对识别效果差的图片进行分析,如果在分析过程中发现有较多的主体目标未被检测出来,那么可能是车辆检测模型存在不足那么您需要参考车辆检测模块开发教程中的二次开发章节,使用您的私有数据集对车辆检测模型进行微调;如果检测出来的主体属性识别错误,那么您需要参考车辆属性识别模块开发教程中的二次开发章节,使用您的私有数据集对车辆属性识别模型进行微调。
4.2 模型应用¶
当您使用私有数据集完成微调训练后,可获得本地模型权重文件。
若您需要使用微调后的模型权重,只需对产线配置文件做修改,将微调后模型权重的本地路径替换至产线配置文件中的对应位置即可:
......
Pipeline:
det_model: PP-YOLOE-L_vehicle
cls_model: PP-LCNet_x1_0_vehicle_attribute #可修改为微调后模型的本地路径
device: "gpu"
batch_size: 1
......
5. 多硬件支持¶
PaddleX 支持英伟达 GPU、昆仑芯 XPU、昇腾 NPU和寒武纪 MLU 等多种主流硬件设备,仅需修改 --device
参数即可完成不同硬件之间的无缝切换。
例如,您使用英伟达 GPU 进行车辆属性识别产线的推理,使用的命令为:
此时,若您想将硬件切换为昇腾 NPU,仅需将--device
修改为 npu:0 即可:
若您想在更多种类的硬件上使用车辆属性识别产线,请参考PaddleX多硬件使用指南。