行人属性识别产线使用教程¶
1. 行人属性识别产线介绍¶
行人属性识别是计算机视觉系统中的关键功能,用于在图像或视频中定位并标记行人的特定特征,如性别、年龄、衣物颜色和款式等。该任务不仅要求准确检测出行人,还需识别每个行人的详细属性信息。行人属性识别产线是定位并识别行人属性的端到端串联系统,广泛应用于智慧城市和安防监控等领域,可显著提升系统的智能化水平和管理效率。
行人属性识别产线中包含了行人检测模块和行人属性识别模块,每个模块中包含了若干模型,具体使用哪些模型,您可以根据下边的 benchmark 数据来选择。如您更考虑模型精度,请选择精度较高的模型,如您更考虑模型推理速度,请选择推理速度较快的模型,如您更考虑模型存储大小,请选择存储大小较小的模型。
行人检测模块:
模型 | 模型下载链接 | mAP(0.5:0.95) | mAP(0.5) | GPU推理耗时(ms) | CPU推理耗时 (ms) | 模型存储大小(M) | 介绍 |
---|---|---|---|---|---|---|---|
PP-YOLOE-L_human | 推理模型/训练模型 | 48.0 | 81.9 | 32.8 | 777.7 | 196.02 | 基于PP-YOLOE的行人检测模型 |
PP-YOLOE-S_human | 推理模型/训练模型 | 42.5 | 77.9 | 15.0 | 179.3 | 28.79 |
注:以上精度指标为CrowdHuman数据集 mAP(0.5:0.95)。所有模型 GPU 推理耗时基于 NVIDIA Tesla T4 机器,精度类型为 FP32, CPU 推理速度基于 Intel(R) Xeon(R) Gold 5117 CPU @ 2.00GHz,线程数为8,精度类型为 FP32。
行人属性识别模块:
模型 | 模型下载链接 | mA(%) | GPU推理耗时(ms) | CPU推理耗时 (ms) | 模型存储大小(M) | 介绍 |
---|---|---|---|---|---|---|
PP-LCNet_x1_0_pedestrian_attribute | 推理模型/训练模型 | 92.2 | 3.84845 | 9.23735 | 6.7 M | PP-LCNet_x1_0_pedestrian_attribute 是一种基于PP-LCNet的轻量级行人属性识别模型,包含26个类别 |
注:以上精度指标为 PaddleX 内部自建数据集 mA。GPU 推理耗时基于 NVIDIA Tesla T4 机器,精度类型为 FP32, CPU 推理速度基于 Intel(R) Xeon(R) Gold 5117 CPU @ 2.00GHz,线程数为 8,精度类型为 FP32。
2. 快速开始¶
PaddleX 所提供的预训练的模型产线均可以快速体验效果,你可以在线体验行人属性识别产线的效果,也可以在本地使用命令行或 Python 体验行人属性识别产线的效果。
2.1 在线体验¶
暂不支持在线体验
2.2 本地体验¶
在本地使用行人属性识别产线前,请确保您已经按照PaddleX本地安装教程完成了PaddleX的wheel包安装。
2.2.1 命令行方式体验¶
一行命令即可快速体验行人属性识别产线效果,使用 测试文件,并将 --input
替换为本地路径,进行预测
paddlex --pipeline pedestrian_attribute_recognition --input pedestrian_attribute_002.jpg --device gpu:0
--pipeline:产线名称,此处为行人属性识别产线
--input:待处理的输入图片的本地路径或URL
--device 使用的GPU序号(例如gpu:0表示使用第0块GPU,gpu:1,2表示使用第1、2块GPU),也可选择使用CPU(--device cpu)
在执行上述 Python 脚本时,加载的是默认的行人属性识别产线配置文件,若您需要自定义配置文件,可执行如下命令获取:
👉点击展开
paddlex --get_pipeline_config pedestrian_attribute_recognition
执行后,行人属性识别产线配置文件将被保存在当前路径。若您希望自定义保存位置,可执行如下命令(假设自定义保存位置为 ./my_path
):
paddlex --get_pipeline_config pedestrian_attribute_recognition --save_path ./my_path
获取产线配置文件后,可将 --pipeline
替换为配置文件保存路径,即可使配置文件生效。例如,若配置文件保存路径为 ./pedestrian_attribute_recognition.yaml
,只需执行:
paddlex --pipeline ./pedestrian_attribute_recognition.yaml --input pedestrian_attribute_002.jpg --device gpu:0
其中,--model
、--device
等参数无需指定,将使用配置文件中的参数。若依然指定了参数,将以指定的参数为准。
2.2.2 Python脚本方式集成¶
几行代码即可完成产线的快速推理,以行人属性识别产线为例:
from paddlex import create_pipeline
pipeline = create_pipeline(pipeline="pedestrian_attribute_recognition")
output = pipeline.predict("pedestrian_attribute_002.jpg")
for res in output:
res.print() ## 打印预测的结构化输出
res.save_to_img("./output/") ## 保存结果可视化图像
res.save_to_json("./output/") ## 保存预测的结构化输出
在上述 Python 脚本中,执行了如下几个步骤:
(1)实例化 create_pipeline
实例化产线对象:具体参数说明如下:
参数 | 参数说明 | 参数类型 | 默认值 |
---|---|---|---|
pipeline |
产线名称或是产线配置文件路径。如为产线名称,则必须为 PaddleX 所支持的产线。 | str |
无 |
device |
产线模型推理设备。支持:“gpu”,“cpu”。 | str |
gpu |
use_hpip |
是否启用高性能推理,仅当该产线支持高性能推理时可用。 | bool |
False |
(2)调用行人属性识别产线对象的 predict
方法进行推理预测:predict
方法参数为x
,用于输入待预测数据,支持多种输入方式,具体示例如下:
参数类型 | 参数说明 |
---|---|
Python Var | 支持直接传入Python变量,如numpy.ndarray表示的图像数据。 |
str | 支持传入待预测数据文件路径,如图像文件的本地路径:/root/data/img.jpg 。 |
str | 支持传入待预测数据文件URL,如图像文件的网络URL:示例。 |
str | 支持传入本地目录,该目录下需包含待预测数据文件,如本地路径:/root/data/ 。 |
dict | 支持传入字典类型,字典的key需与具体任务对应,如行人属性识别任务对应\"img\",字典的val支持上述类型数据,例如:{\"img\": \"/root/data1\"} 。 |
list | 支持传入列表,列表元素需为上述类型数据,如[numpy.ndarray, numpy.ndarray],[\"/root/data/img1.jpg\", \"/root/data/img2.jpg\"] ,[\"/root/data1\", \"/root/data2\"] ,[{\"img\": \"/root/data1\"}, {\"img\": \"/root/data2/img.jpg\"}] 。 |
(3)调用predict
方法获取预测结果:predict
方法为generator
,因此需要通过调用获得预测结果,predict
方法以batch为单位对数据进行预测,因此预测结果为list形式表示的一组预测结果。
(4)对预测结果进行处理:每个样本的预测结果均为dict
类型,且支持打印,或保存为文件,支持保存的类型与具体产线相关,如:
方法 | 说明 | 方法参数 |
---|---|---|
打印结果到终端 | - format_json :bool类型,是否对输出内容进行使用json缩进格式化,默认为True;- indent :int类型,json格式化设置,仅当format_json为True时有效,默认为4;- ensure_ascii :bool类型,json格式化设置,仅当format_json为True时有效,默认为False; |
|
save_to_json | 将结果保存为json格式的文件 | - save_path :str类型,保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致;- indent :int类型,json格式化设置,默认为4;- ensure_ascii :bool类型,json格式化设置,默认为False; |
save_to_img | 将结果保存为图像格式的文件 | - save_path :str类型,保存的文件路径,当为目录时,保存文件命名与输入文件类型命名一致; |
若您获取了配置文件,即可对行人属性识别产线各项配置进行自定义,只需要修改 create_pipeline
方法中的 pipeline
参数值为产线配置文件路径即可。
例如,若您的配置文件保存在 ./my_path/pedestrian_attribute_recognition*.yaml
,则只需执行:
from paddlex import create_pipeline
pipeline = create_pipeline(pipeline="./my_path/pedestrian_attribute_recognition.yaml")
output = pipeline.predict("pedestrian_attribute_002.jpg")
for res in output:
res.print() ## 打印预测的结构化输出
res.save_to_img("./output/") ## 保存结果可视化图像
res.save_to_json("./output/") ## 保存预测的结构化输出
3. 开发集成/部署¶
如果产线可以达到您对产线推理速度和精度的要求,您可以直接进行开发集成/部署。
若您需要将产线直接应用在您的Python项目中,可以参考 2.2.2 Python脚本方式中的示例代码。
此外,PaddleX 也提供了其他三种部署方式,详细说明如下:
🚀 高性能推理:在实际生产环境中,许多应用对部署策略的性能指标(尤其是响应速度)有着较严苛的标准,以确保系统的高效运行与用户体验的流畅性。为此,PaddleX 提供高性能推理插件,旨在对模型推理及前后处理进行深度性能优化,实现端到端流程的显著提速,详细的高性能推理流程请参考PaddleX高性能推理指南。
☁️ 服务化部署:服务化部署是实际生产环境中常见的一种部署形式。通过将推理功能封装为服务,客户端可以通过网络请求来访问这些服务,以获取推理结果。PaddleX 支持用户以低成本实现产线的服务化部署,详细的服务化部署流程请参考PaddleX服务化部署指南。
下面是API参考和多语言服务调用示例:
API参考
对于服务提供的主要操作:
- HTTP请求方法为POST。
- 请求体和响应体均为JSON数据(JSON对象)。
- 当请求处理成功时,响应状态码为
200
,响应体的属性如下:
名称 | 类型 | 含义 |
---|---|---|
errorCode |
integer |
错误码。固定为0 。 |
errorMsg |
string |
错误说明。固定为"Success" 。 |
响应体还可能有result
属性,类型为object
,其中存储操作结果信息。
- 当请求处理未成功时,响应体的属性如下:
名称 | 类型 | 含义 |
---|---|---|
errorCode |
integer |
错误码。与响应状态码相同。 |
errorMsg |
string |
错误说明。 |
服务提供的主要操作如下:
infer
获取行人属性识别结果。
POST /pedestrian-attribute-recognition
- 请求体的属性如下:
名称 | 类型 | 含义 | 是否必填 |
---|---|---|---|
image |
string |
服务可访问的图像文件的URL或图像文件内容的Base64编码结果。 | 是 |
- 请求处理成功时,响应体的
result
具有如下属性:
名称 | 类型 | 含义 |
---|---|---|
pedestrians |
array |
行人的位置及属性等信息。 |
image |
string |
行人属性识别结果图。图像为JPEG格式,使用Base64编码。 |
pedestrians
中的每个元素为一个object
,具有如下属性:
名称 | 类型 | 含义 |
---|---|---|
bbox |
array |
行人位置。数组中元素依次为边界框左上角x坐标、左上角y坐标、右下角x坐标以及右下角y坐标。 |
attributes |
array |
行人属性。 |
score |
number |
检测得分。 |
attributes
中的每个元素为一个object
,具有如下属性:
名称 | 类型 | 含义 |
---|---|---|
label |
string |
属性标签。 |
score |
number |
分类得分。 |
多语言调用服务示例
Python
import base64
import requests
API_URL = "http://localhost:8080/pedestrian-attribute-recognition" # 服务URL
image_path = "./demo.jpg"
output_image_path = "./out.jpg"
# 对本地图像进行Base64编码
with open(image_path, "rb") as file:
image_bytes = file.read()
image_data = base64.b64encode(image_bytes).decode("ascii")
payload = {"image": image_data} # Base64编码的文件内容或者图像URL
# 调用API
response = requests.post(API_URL, json=payload)
# 处理接口返回数据
assert response.status_code == 200
result = response.json()["result"]
with open(output_image_path, "wb") as file:
file.write(base64.b64decode(result["image"]))
print(f"Output image saved at {output_image_path}")
print("\nDetected pedestrians:")
print(result["pedestrians"])
📱 端侧部署:端侧部署是一种将计算和数据处理功能放在用户设备本身上的方式,设备可以直接处理数据,而不需要依赖远程的服务器。PaddleX 支持将模型部署在 Android 等端侧设备上,详细的端侧部署流程请参考PaddleX端侧部署指南。 您可以根据需要选择合适的方式部署模型产线,进而进行后续的 AI 应用集成。
4. 二次开发¶
如果行人属性识别产线提供的默认模型权重在您的场景中,精度或速度不满意,您可以尝试利用您自己拥有的特定领域或应用场景的数据对现有模型进行进一步的微调,以提升行人属性识别产线的在您的场景中的识别效果。
4.1 模型微调¶
由于行人属性识别产线包含行人属性识别模块和行人检测模块,如果模型产线的效果不及预期可能来自于其中任何一个模块。 您可以对识别效果差的图片进行分析,如果在分析过程中发现有较多的主体目标未被检测出来,那么可能是行人检测模型存在不足那么您需要参考行人检测模块开发教程中的二次开发章节,使用您的私有数据集对行人检测模型进行微调;如果检测出来的主体属性识别错误,那么您需要参考行人属性识别模块开发教程中的二次开发章节,使用您的私有数据集对行人属性识别模型进行微调。
4.2 模型应用¶
当您使用私有数据集完成微调训练后,可获得本地模型权重文件。
若您需要使用微调后的模型权重,只需对产线配置文件做修改,将微调后模型权重的本地路径替换至产线配置文件中的对应位置即可:
......
Pipeline:
det_model: PP-YOLOE-L_human
cls_model: PP-LCNet_x1_0_pedestrian_attribute #可修改为微调后模型的本地路径
device: "gpu"
batch_size: 1
......
5. 多硬件支持¶
PaddleX 支持英伟达 GPU、昆仑芯 XPU、昇腾 NPU和寒武纪 MLU 等多种主流硬件设备,仅需修改 --device
参数即可完成不同硬件之间的无缝切换。
例如,您使用英伟达 GPU 进行行人属性识别产线的推理,使用的命令为:
paddlex --pipeline pedestrian_attribute_recognition --input pedestrian_attribute_002.jpg --device gpu:0
--device
修改为 npu:0 即可:
paddlex --pipeline pedestrian_attribute_recognition --input pedestrian_attribute_002.jpg --device npu:0