图表解析模型模块使用教程¶

一、概述¶

多模态图表解析是一项OCR领域的前沿技术，专注于将各类可视化图表（如柱状图、折线图、饼图等）自动转化为底层数据表，并进行格式化输出。传统方法依赖于图表关键点检测等模型进行复杂串联编排，先验假设较多，鲁棒性较差，该模块中的模型使用最新的VLM技术，数据驱动，从海量的现实数据中学习鲁棒的特征。其应用场景覆盖金融分析、学术研究、商业报告等场景——例如快速提取财报中的增长趋势数据、科研论文中的实验对比数值，或市场调研中的用户分布统计，助力用户从“看图”转向“用数”。

二、支持模型列表¶

模型	模型下载链接	模型参数规模（B）	模型存储大小（GB）	模型分数	介绍
PP-Chart2Table	推理模型	0.58	1.4	75.98	PP-Chart2Table是飞桨团队自研的一款专注于图表解析的多模态模型，在中英文图表解析任务中展现出卓越性能。团队采用精心设计的数据生成策略，构建了近70万条高质量的图表解析多模态数据集，全面覆盖饼图、柱状图、堆叠面积图等常见图表类型及各类应用场景。同时设计了二阶段训练方法，结合大模型蒸馏实现对海量无标注OOD数据的充分利用。在内部业务的中英文场景测试中，PP-Chart2Table不仅达到同参数量级模型中的SOTA水平，更在关键场景中实现了与7B参数量级VLM模型相当的精度。

注：以上模型分数为内部评估集模型测试结果，共1801条数据，包括了各个场景（财报、法律法规、合同等）下的各种图表类型（柱状图、折线图、饼图等）的测试样本，暂时未有计划公开。

三、快速集成¶

❗ 在快速集成前，请先安装 PaddleX 的 wheel 包，详细请参考 PaddleX本地安装教程

完成whl包的安装后，几行代码即可完成文档类视觉语言模型模块的推理，可以任意切换该模块下的模型，您也可以将开放文档类视觉语言模型模块中的模型推理集成到您的项目中。运行以下代码前，请您下载示例图片到本地。

from paddlex import create_model
model = create_model('PP-Chart2Table')
results = model.predict(
    input={"image": "chart_parsing_02.png"},
    batch_size=1
)
for res in results:
    res.print()
    res.save_to_json(f"./output/res.json")

运行后，得到的结果为：

{'res': {'image': 'chart_parsing_02.png', 'result': '年份 | 单家五星级旅游饭店年平均营收 (百万元) | 单家五星级旅游饭店年平均利润 (百万元)\n2018 | 104.22 | 9.87\n2019 | 99.11 | 7.47\n2020 | 57.87 | -3.87\n2021 | 68.99 | -2.9\n2022 | 56.29 | -9.48\n2023 | 87.99 | 5.96'}}

运行结果参数含义如下： - image: 表示输入待预测图像的路径 - result: 模型预测的结果信息

预测结果打印可视化如下：

年份 | 单家五星级旅游饭店年平均营收 (百万元) | 单家五星级旅游饭店年平均利润 (百万元)
2018 | 104.22 | 9.87
2019 | 99.11 | 7.47
2020 | 57.87 | -3.87
2021 | 68.99 | -2.9
2022 | 56.29 | -9.48
2023 | 87.99 | 5.96

相关方法、参数等说明如下：

create_model实例化文档类视觉语言模型（此处以PP-Chart2Table为例），具体说明如下：

参数	参数说明	参数类型	可选项	默认值
`model_name`	模型名称	`str`	无	`无`
`model_dir`	模型存储路径	`str`	无	`无`
`device`	模型推理设备	`str`	支持指定GPU具体卡号，如“gpu:0”，其他硬件具体卡号，如“npu:0”，CPU如“cpu”。	`gpu:0`
`use_hpip`	是否启用高性能推理插件。目前暂不支持。	`bool`	无	`False`
`hpi_config`	高性能推理配置。目前暂不支持。	`dict` \| `None`	无	`None`

其中，model_name 必须指定，指定 model_name 后，默认使用 PaddleX 内置的模型参数，在此基础上，指定 model_dir 时，使用用户自定义的模型。
调用文档类视觉语言模型的 predict() 方法进行推理预测，predict() 方法参数有 input 、 batch_size，具体说明如下：

参数	参数说明	参数类型	可选项	默认值
`input`	待预测数据	`dict`	`Dict`, 由于多模态模型对输入有不同的要求，需要根据具体的模型确定，具体而言: PP-Chart2Table的输入形式为`{'image': image_path}`	无
`batch_size`	批大小	`int`	整数	1

对预测结果进行处理，每个样本的预测结果均为对应的Result对象，且支持打印、保存为json文件的操作:

方法	方法说明	参数	参数类型	参数说明	默认值
`print()`	打印结果到终端	`format_json`	`bool`	是否对输出内容进行使用 `JSON` 缩进格式化	`True`
		`indent`	`int`	指定缩进级别，以美化输出的 `JSON` 数据，使其更具可读性，仅当 `format_json` 为 `True` 时有效	4
		`ensure_ascii`	`bool`	控制是否将非 `ASCII` 字符转义为 `Unicode`。设置为 `True` 时，所有非 `ASCII` 字符将被转义；`False` 则保留原始字符，仅当`format_json`为`True`时有效	`False`
`save_to_json()`	将结果保存为json格式的文件	`save_path`	`str`	保存的文件路径，当为目录时，保存文件命名与输入文件类型命名一致	无
		`indent`	`int`	指定缩进级别，以美化输出的 `JSON` 数据，使其更具可读性，仅当 `format_json` 为 `True` 时有效	4
		`ensure_ascii`	`bool`	控制是否将非 `ASCII` 字符转义为 `Unicode`。设置为 `True` 时，所有非 `ASCII` 字符将被转义；`False` 则保留原始字符，仅当`format_json`为`True`时有效	`False`

此外，也支持通过属性获取预测结果，具体如下：

属性	属性说明
`json`	获取预测的`json`格式的结果

关于更多 PaddleX 的单模型推理的 API 的使用方法，可以参考PaddleX单模型Python脚本使用说明。

四、二次开发¶

当前模块暂时不支持微调训练，仅支持推理集成。关于该模块的微调训练，计划在未来支持。

图表解析模型模块使用教程¶

一、概述¶

二、支持模型列表¶

三、快速集成¶

四、二次开发¶

评论