WO2021237909A1 - 一种表格还原方法、装置、设备及存储介质 - Google Patents

一种表格还原方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2021237909A1
WO2021237909A1 PCT/CN2020/103940 CN2020103940W WO2021237909A1 WO 2021237909 A1 WO2021237909 A1 WO 2021237909A1 CN 2020103940 W CN2020103940 W CN 2020103940W WO 2021237909 A1 WO2021237909 A1 WO 2021237909A1
Authority
WO
WIPO (PCT)
Prior art keywords
restored
image
target
points
structural frame
Prior art date
Application number
PCT/CN2020/103940
Other languages
English (en)
French (fr)
Inventor
胡艺飞
徐国强
Original Assignee
深圳壹账通智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳壹账通智能科技有限公司 filed Critical 深圳壹账通智能科技有限公司
Publication of WO2021237909A1 publication Critical patent/WO2021237909A1/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models

Abstract

本申请涉及人工智能中的图像处理领域，实施例公开了一种表格还原方法及装置，应用于电子设备，所述方法包括：获取待还原图像，对待还原图像进行预处理，得到目标图像，将目标图像中包含的多个像素点进行形态学操作，得到待还原表格对应的结构框架；然后，对结构框架进行轮廓识别，得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域；并基于多个相交区域，确定待还原表格对应的单元格排版信息，最后识别目标图像中包含的目标文字信息，基于单元格排版信息和目标文字信息，生成目标表格；如此，有利于提高表格识别的稳定性。另外，本申请还涉及区块链技术，可应用于智慧教育领域中，从而推动智慧城市的建设。

Description

一种表格还原方法、装置、设备及存储介质
本申请要求于2020年05月29日提交中国专利局、申请号为202010472930.2，发明名称为“表格还原方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及人工智能中的图像处理技术领域，尤其涉及一种表格还原方法、装置、设备及存储介质。
 背景技术
在进行表格OCR（Optical Characcter Recognition, 光学字符识别）任务时，需要把识别到的内容按照表格的形式还原，才能知道识别的内容之间的关系，业内的表格还原可利用模型来判别文字之间的位置关系，从而还原表格。
然而，发明人意识到上述模型总会有误差，泛化性低，输入的表格样式的不同，识别结果会有不小的区别，稳定性不高。
 技术问题
目前在使用模型实现还原表格时，发明人发现模型总会有误差，泛化性低，输入的表格样式的不同，识别结果会有不小的区别，稳定性不高。
 技术解决方案
本申请实施例提供了一种表格还原方法、装置、设备及存储介质，实施本申请实施例，有利于提高表格识别的稳定性。
本申请实施例第一方面提供了一种表格还原方法，应用于电子设备，包括：获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
本申请实施例第二方面提供了一种表格还原装置，应用于电子设备，所述装置包括：获取单元、形态学操作单元、轮廓识别单元、确定单元和生成单元，其中，所述获取单元，用于获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；所述形态学操作单元，用于将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；所述轮廓识别单元，用于对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；所述确定单元，用于基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；所述生成单元，用于识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
本申请实施例的第三方面提供一种电子设备，所述电子设备包括处理器、存储器、通信接口以及一个或多个程序，所述处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，所述一个或多个程序包括用于执行以下步骤的指令：获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述存储计算机程序被处理器执行，以实现以下步骤：获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
 有益效果
可以看出，在本申请实施例中，可获取待还原图像，对待还原图像进行预处理，得到目标图像，其中，待还原图像中包括待还原表格，将目标图像中包含的多个像素点进行形态学操作，得到待还原表格对应的结构框架，结构框架中包括多条横线和多条竖线；然后，对结构框架进行轮廓识别，得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；并基于多个相交区域，确定待还原表格对应的单元格排版信息，最后识别目标图像中包含的目标文字信息，基于单元格排版信息和目标文字信息，生成目标表格。如此，采用形态学方式对目标图像中的表格进行处理，耗时短，有利于提高整个表格还原的效率；另外，仅通过对待还原图像的预处理，不需要事先去做其他操作（例如，模型训练等等），有利于提高表格识别的稳定性。
 附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供了一种表格还原方法的流程示意图。
图1B为本申请实施例提供了一种形态学处理的场景示意图。
图2为本申请实施例提供了一种表格还原方法的流程示意图。
图3为本申请实施例提供了一种表格还原方法的流程示意图。
图4为本申请实施例提供了一种电子设备的结构示意图。
图5为本申请实施例提供了一种表格还原装置的结构示意图。
本申请的实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下分别进行详细说明。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例所描述电子设备可以包括智能手机（如Android手机、iOS手机、Windows Phone手机等）、平板电脑、掌上电脑、笔记本电脑、移动互联网设备（MID，Mobile Internet Devices）或穿戴式设备等，上述仅是举例，而非穷举，包含但不限于上述装置，当然，上述智能传感器设备还可以为服务器。
请参见图1A，图1A是本申请实施例提供的一种表格还原方法的流程示意图，应用于电子设备，上述方法包括以下步骤。
101、获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格。
其中，本申请实施例可应用于智慧教育领域中，上述待还原图像中的待还原表格可包括以下至少一种：调研表、财务表、教学工具采购表、学生信息统计表、教学产品信息表等等，在此不作限定；例如，教师、学生、家长等用户可通过表格填写的方式将关于教育领域的建议或者需求信息提供给教育机构，但是，后台人员或者教育机构人员在处理上述带有建议或者需求数据的图像时，一般是直接扫描到处理系统中，可能存在表格曲折或者弯曲的情况，若直接上传上述图像，可能会出现文字串行的情况，不利于数据采集以及教育机构用户调研的目的，因而，可对上述带有表格的图像进行表格还原，以得到表格还原以后的平整图像；从而，能够得到完整的用户数据，以达到用户调研的目的，有利于推动智慧城市的建设。
其中，上述待还原图像可包括以下任意一种形式：扫描件、图像、PDF、照片等等，在此不做限定；上述待还原图像中可包括待还原表格，上述预处理可为用户自行设置或者系统默认，例如，为了使得待还原图像中的待还原表格所对应的表格信息更完善、更清晰，可针对该待还原图像进行二值化处理，以得到目标图像，从而，可减少图像中的冗余，为后续的图像中的表格还原做准备。
具体实现中，电子设备中可预先设置不同的阈值，该阈值可根据图像区域的特征自动调整，从而可以自适应的调整阈值，可基于预先设置的阈值，针对该待还原图像中的图像特征逐步进行二值化处理，以得到目标图像。
102、将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线。
其中，在本申请实施例中，上述形态学操作可包括以下至少一种：膨胀、腐蚀等等，在此不做限定。膨胀可指通过将像素添加到该目标图像中的对象的感知边界，扩张放大目标图像中的明亮白色区域；而腐蚀恰恰相反，具体地，可沿着对象边界移除像素并缩小目标图像中对象的大小，通常可通过这两个操作，以增强图像中重要的对象特征；从而，可通过膨胀或者腐蚀等操作，得到上述待还原表格对应的结构框架，该结构框架中包括多条横线和多条竖线，可理解为，上述待还原表格即由多条横线和多条竖线构成。
在一种可能的示例中，上述步骤102，将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，可包括如下步骤：21、确定所述目标图像中的明亮白色区域，根据所述明亮白色区域将所述目标图像进行第一膨胀操作，得到第一处理图像；22、确定所述第一处理图像中的边界部分，并沿着所述边界部分对所述第一处理图进行腐蚀操作，得到第二处理图像；23、对所述第二处理图像进行第二膨胀操作，得到所述待还原表格对应的结构框架。
其中，为了确定上述待还原表格对应的清晰的结构框架，电子设备可针对上述目标图像包括的多个像素点中每一像素点进行连续的膨胀、腐蚀、膨胀，按照该操作顺序，可同时得到上述待还原表格对应的结构框架，也就是表格中实线和虚线的结构框架，该结构框架可包括组成表格的多条横线和多条竖线。
具体实现中，由于目标图像中包含文字信息和待还原表格，为了区分目标图像中不同的部分对应的横线或者竖线、虚线或者实线，可确定目标图像中的明亮白色区域，该明亮白色区域中不包括待还原表格信以及文字信息；并根据该明亮白色区域进行第一膨胀操作，得到第一处理图像；如此，能扩大图像中的白色区域，并让目标图像中的虚线之间的连接空白变得更小，这样就不会被后续的腐蚀步骤消除掉，同时也能识别出中的虚线框以及实线框。
进一步地，可确定第一处理图像中的边界部分，该边界部分可理解为待还原图像中沿着表格的边界部分；并针对该边界部分进行腐蚀操作，得到第二处理图像，如此，可消除第一处理图像中不想要的小细节，比如上述第一处理图像中的噪点或者小细节等等，又由于上述第一处理图像中存在文字信息，若不做腐蚀操作，在后续的轮廓识别步骤中，会将文字中的竖着和横着的笔画当作线，因此，进行腐蚀操作，也避免上述情况的发生。
最后，为了得到第二处理图像中横线与竖线之间的结构框架，可针对第二处理图像继续进行第二膨胀操作，该第二膨胀操作的具体实施方式可与第一膨胀操作一致；另外，在进行第一膨胀处理或者第二膨胀处理时，由于一个表格中几乎不会出现一个竖列或横列中对应的所有文字的竖着或横着的笔画离的很近且连接起来有相当长度的情况，因此，文字笔画不会被当作虚线，如此，采用上述一系列的形态学操作，可保留目标图像中的文字信息和待还原表格对应的结构框架，同时可区分目标图像中不同的部分对应的横线或者竖线、虚线或者实线，有利于提高信息提取的稳定性以及效率。
具体的，如图1B所示，为一种形态学处理的场景示意图，分别为目标图像、第一处理图像和第二处理图像。电子设备通过对目标图像进行第一膨胀操作，可得到第一处理图像，如图所示，目标图像中的表格特征在经过膨胀以后，可增强待还原表格的表格特征，该目标图像中的待还原表格中的不理想的部分或者不想要的细节部分对应的特征更为明显，如图中所示的超出待还原表格的不理想部分；进而，再继续通过腐蚀操作，得到第二处理图像，该腐蚀操作可精确的去除第一处理图像中的不想要的细节或者不理想部分；最后，可对第二处理图像再次进行第二膨胀处理，以加强待还原表格中的表格的结构特征，得到待还原表格的结构框架；如此，可针对目标图像循环或者反复的采用膨胀、腐蚀、膨胀等操作，以逐步加强目标图像中的表格特征，最后得到想要的待还原表格对应的结构清晰的结构框架。
103、对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点。
其中，上述轮廓识别的方式可为用户自行设置或者系统默认，在此不做限定。由于结构框架中包括多条横线和竖线，为了确定其目标图像中的具体位置，可采用按位操作以查找到待还原表格对应的轮廓，并进行轮廓识别，以得到目标图像对应的多个横线和多个竖线之间的多个相交区域，每一相交区域中可包括多个目标点，该目标点即为每一区域中的像素点。
另外，由于本方案不需要得到每一线段的位置，则可采用按位操作的方式，若不是用该方法，则需要得到每一线段的位置，再进行线段融合，如此，采用上述按位操作的方式，可提高表格还原的效率。
在一种可能的示例中，上述步骤103，对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，可包括如下步骤：31、确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标，得到多个第一像素点坐标；32、按照所述多个第一像素点坐标，对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
其中，在进行了形态学操作以后，由于待还原表格中的横线和竖线不一定完全存在于一条直线上，可能会存在偏移，因此，可针对上述结构框架对应的多个第一像素点进行轮廓识别，以轮廓识别的提高准确率。
具体实现中，可确定每一第一像素点对应的坐标，得到多个第一像素点坐标，并基于多个第一像素点坐标实现按位操作以查找到待还原表格对应的轮廓，并对该轮廓进行轮廓识别，以得到待还原表格所对应的多条横线和多条竖线之间的多个相交区域，每一相交区域中可包括多个目标点，该目标点即为每一区域中的像素点；如此，用按位操作与轮廓识别操作得到多个目标点，不需要把每条连线的位置信息都得到再进行表格结构的构建，换言之，不需要做连线的检测与提取就能直接完成，有利于提高表格还原效率。
104、基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息。
其中，上述多个相交区域是由待还原表格中对应的多条横线与多条竖线构成，因此，可基于上述多个相交区域，确定该待还原表格中的单元格排版信息，该单元格排版信息可理解为，表格中多条横线与多条竖线对应的单元格的位置信息。
在一种可能的示例中，上述步骤104，基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息，可包括如下步骤：41、获取所述多个目标点中每一目标点在对应的相交区域内的位置，得到多个位置；42、对所述多个位置进行聚类，得到多个中心点，其中，每一相交区域对应一个中心点；43、基于所述多个中心点，确定多个中心点中任意两个中心点之间的连接信息，得到多个连接信息；44、基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息。
其中，可基于上述目标图像建立坐标系，上述多个位置具体可指相交区域中每一目标点（像素点）对应的横坐标以及纵坐标；由于上述每一相交区域对应的多个目标点可能分布较为分散，因此，可针对每一相交区域对应的多个目标点对应的多个位置进行聚类，以得到每一相交区域对应的聚类中心，也就是中心点，该中心点的位置可为多个目标点对应的平均位置。
进一步地，可基于上述多个中心点，确定任意两个中心点之间的连接信息，得到多个连接信息；该连接信息可指两个中心点之间是否存在横线或者竖线、存在的横线或者竖线的数量、每两个中心点之间是否连接等等；最后，可基于多个连接信息以及多个中心点，确定待还原表格对应的单元格排版信息，如此，可基于聚类的方式，以确定表格中多条横线与多条竖线对应的单元格的位置信息，可提高表格还原的效率。
可选地，在上述步骤43之前，在所述基于所述多个中心点，确定多个中心点中任意两个中心点之间的连接信息，得到多个连接信息之前，还可包括如下步骤：A1、基于所述多个中心点，对每一中心点按照其对应的位置进行聚类，得到所述目标图像中多个横线的第一数量和多个竖线的第二数量；A2、基于所述第一数量、所述第二数量以及多个中心点，对所述多个中心点中每一中心点进行定位，得到多个位置值。
其中，由于在上述步骤的首次聚类操作以后，可能得到虚假信息，可理解为，上述步骤得到的多个中心点中可能存在一些中心点散落在一个小的范围中，以形成干扰信息；因此，对上述多个中心点中的每一中心点进行聚类，可去掉待还原表格中的不必要的中心点，也就是上述虚假信息，并将上述多个中心点连接起来，以得到真实的实线信息，即多个横线以及多个竖线。
进一步地，可得到多个横线的第一数量和多个竖线的第二数量，由于表格中存在的横线和竖线之间存在排列规律；因此，可基于第一数量和第二数量，对上述多个中心点中每一中心点进行定位；例如，可根据第一数量和第二数量，得到某中心点对应的位置值为第三竖列，第四横行。
在一种可能的示例中，上述步骤43，基于所述多个中心点，确定多个中心点中任意两个中心点之间的连接信息，得到多个连接信息，可包括如下步骤：431、基于所述多个位置值，确定每一中心点周围的多个临近点对应的多个临近位置值；432、基于所述多个临近位置值，确定所述多个中心点之间对应的多个连线；433、基于所述多个连线，确定任意两个中心点之间的连接信息，得到多个连接信息。
其中，上述临近点可指每一中心点周围的像素点，电子设备可先判断中心点的位置，然后通过周围像素点的值判断邻近的两个交点直接是否有连线，也就是说，可确定任意两个中心点之间的临近点是否相互连接，并存在于同一条连线上，该连线可为后续需要得到的单元格的边，如此，可确定多个中心点之间的多个连线，从而确定待还原表格中的多个横线和多个竖线。
具体实现中，可通过中心点周围的多个临近点对应的多个临近位置，判断上述多个中心点之间是否存在连线，具体可通过判断像素点对应的数量是否满足预设阈值来判断，该预设可由用户自行设置或者系统默认；若满足预设阈值，则认为存在连线，若不满足预设阈值，则认为不存在连线。举例来说，若第一中心点和第二中心点分别对应的横坐标相差30个像素点，但是纵坐标只相差3个像素点，则第一中心点和第二中心点被认为在一条横线上；又如果两个点横坐标相差30，纵坐标相差20，则认为这两个点既不在一条横线上也不在一条竖线上。
可选地，可直接通过临近点的数量来判断中心点之间是否存在连线，例如，在同一行上邻近的两个中心点之间，可通过判断第一中心点的右边十个临近点对应的像素值是否都是黑色，再看第二中心点的左边十个临近点对应的像素值是否都是黑色，如果两边都是黑色，则认为这两个中心点之前存在表格的一条线。
在一种可能的示例中，上述步骤44，基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息，可包括如下步骤：441、基于所述多个连接信息，确定每一连接信息对应的连接矩阵，得到多个连接矩阵；442、基于所述多个连接矩阵与所述多个中心点的位置，确定所述待还原表格对应的单元格排版信息。
其中，上述多个连接矩阵可表示单元格在竖直方向或者横方向的连接关系，上述多个横线和多个竖线之间可组成多个连接矩阵，因此，可根据多个连接信息确定每一连接信息中对应的多个中心点对应的连接矩阵；如此，可基于连接矩阵确定每一中心点之间的连接关系，并基于中心点的位置，对上述多个中心点进行定位，最终，可确定上述待还原表格中的单元格排版信息。
此外，在本申请实施例中，采用上述聚类的方式，得到待还原表格中每一相交区域中的中心点，并确定任意两个中心点之间的连接信息，该连接信息可指任意至少两个中心点之间的连接关系；进而可确定中心点之间是否连接，如此，通过任意连个点之间的连接关系，无需通过检测或提取待还原表格中的连线，无论待还原表格是全框线或者半框线，均能识别出来，有利于提高表格还原的实用性。
例如，假如一共有五个中心点，则可生成两个5*5的连接矩阵，一个表示竖直方向的连接关系，另一个表示横方向的连接关系，当存在连接关系时，可在矩阵中对应记录为1，不存在连接关系时，可在矩阵中对应记录为0，比如上述五个点中的第二个点和第四个点在竖直方向有连接，其他点在竖直方向都没连接，则记录竖直方向的矩阵，在第二行第四列及第四行第二列值是1，其他位置值是0。
105、识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
其中，可基于文字检测模型（例如，渐进式扩展网络模型）检测文字信息，并基于文字识别模型（例如，端到端文字识别网络（Convolutional Recurrent Neural Network，CRNN）模型）识别文字信息，从而得到目标图像中对应的目标文字信息，例如，可通过识别到的文字位置与表格单元格位置计算重合面积，文字位置归为最高重合面积的单元格，从而还原所有具有四周框线的单元格中的文字，最后，可基于上述目标文字信息和单元格排版信息，得到目标表格，由于本方案是基于二值化以后的图像进行后续的一系列操作，且采用形态学方式对表格进行处理，耗时短，有利于提高整个表格还原的效率，稳定性更高。
可选地，为了保证上述目标图像中包含的目标文字信息的私密性和安全性，可将该目标文字信息存储于区块链的节点中，需要说明的是，本申请实施例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
可以看出，本申请实施例中所描述的表格还原方法，应用于电子设备，可获取待还原图像，对待还原图像进行预处理，得到目标图像，其中，待还原图像中包括待还原表格，将目标图像中包含的多个像素点进行形态学操作，得到待还原表格对应的结构框架，结构框架中包括多条横线和多条竖线；然后，对结构框架进行轮廓识别，得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；并基于多个相交区域，确定待还原表格对应的单元格排版信息，最后识别目标图像中包含的目标文字信息，基于单元格排版信息和目标文字信息，生成目标表格。如此，采用形态学方式对目标图像中的表格进行处理，耗时短，有利于提高整个表格还原的效率；另外，仅通过对待还原图像的预处理，不需要事先去做其他操作（例如，模型训练等等），有利于提高表格识别的稳定性。
与上述一致地，请参阅图2，图2是本申请实施例公开的一种表格还原方法的流程示例图，应用于电子设备，该表格还原方法可包括如下步骤。
201、获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格。
202、确定所述目标图像中的明亮白色区域，根据所述明亮白色区域将所述目标图像进行第一膨胀操作，得到第一处理图像。
203、确定所述第一处理图像中的边界部分，并沿着所述边界部分对所述第一处理图进行腐蚀操作，得到第二处理图像。
204、对所述第二处理图像进行第二膨胀操作，得到所述待还原表格对应的结构框架。
205、对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点。
206、基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息。
207、识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
其中，上述步骤201-步骤207所描述的表格还原方法可参考图1A所描述的表格还原方法的对应步骤。
可以看出，本申请实施例所描述的表格还原方法，电子设备可获取待还原图像，对待还原图像进行预处理，得到目标图像，其中，待还原图像中包括待还原表格，确定目标图像中的明亮白色区域，根据明亮白色区域将目标图像进行第一膨胀操作，得到第一处理图像，确定第一处理图像中的边界部分，并沿着边界部分对第一处理图进行腐蚀操作，得到第二处理图像，对第二处理图像进行第二膨胀操作，得到待还原表格对应的结构框架；然后，可对结构框架进行轮廓识别，得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点，基于多个相交区域，确定待还原表格对应的单元格排版信息；最后，识别目标图像中包含的目标文字信息，基于单元格排版信息和目标文字信息，生成目标表格。如此，电子设备仅通过一系列的形态学操作，即膨胀、腐蚀、再膨胀的方法，不仅实现对待还原表格中的实线框和虚线框的识别；同时，耗时短，有利于提高整个表格还原的效率。
与上述一致地，请参阅图3，图3是本申请实施例公开的一种表格还原方法的流程示例图，应用于电子设备，该表格还原方法可包括如下步骤。
301、获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格。
302、将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线。
303、确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标，得到多个第一像素点坐标。
304、按照所述多个第一像素点坐标，对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
305、获取所述多个目标点中每一目标点在对应的相交区域内的位置，得到多个位置。
306、对所述多个位置进行聚类，得到多个中心点，其中，每一相交区域对应一个中心点。
307、基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息。
308、基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息。
309、识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
其中，上述步骤301-步骤309所描述的表格还原方法可参考图1A所描述的表格还原方法的对应步骤。
可以看出，本申请实施例所描述的表格还原方法，电子设备可获取待还原图像，对待还原图像进行预处理，得到目标图像，其中，待还原图像中包括待还原表格，将目标图像中包含的多个像素点进行形态学操作，得到待还原表格对应的结构框架，结构框架中包括多条横线和多条竖线；然后，可确定结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标，得到多个第一像素点坐标，按照多个第一像素点坐标，对结构框架进行轮廓识别，得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域；进一步的，可获取多个目标点中每一目标点在对应的相交区域内的位置，得到多个位置，对多个位置进行聚类，得到多个中心点，其中，每一相交区域对应一个中心点，基于多个中心点，确定多个中心点中任意两个中心点之间的连接信息，得到多个连接信息，基于多个连接信息以及多个中心点，确定待还原表格对应的单元格排版信息；最后，可识别目标图像中包含的目标文字信息，基于单元格排版信息和目标文字信息，生成目标表格。如此，可通过按位操作与轮廓识别操作得到多个目标点，不需要把每条连线的位置信息都得到再进行表格结构的构建，有利于提高表格还原效率；同时，采用聚类的方式，得到待还原表格中每一相交区域中的中心点，并确定任意两个中心点之间的连接信息，该连接信息可指任意至少两个中心点之间的连接关系，可确定中心点之间是否连接，如此，无论待还原表格是全框线或者半框线，均能识别出来，有利于提高表格还原的实用性。
与上述一致地，请参阅图4，图4为本申请实施例提供的一种电子设备的结构示意图，如图4所示，包括处理器、通信接口、存储器以及一个或多个程序，所述处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述一个或多个程序包括用于执行以下步骤的指令：获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
可以看出，本申请实施例中所描述的电子设备，电子设备可获取待还原图像，对待还原图像进行预处理，得到目标图像，其中，待还原图像中包括待还原表格，将目标图像中包含的多个像素点进行形态学操作，得到待还原表格对应的结构框架，结构框架中包括多条横线和多条竖线；然后，对结构框架进行轮廓识别，得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；并基于多个相交区域，确定待还原表格对应的单元格排版信息，最后识别目标图像中包含的目标文字信息，基于单元格排版信息和目标文字信息，生成目标表格。如此，采用形态学方式对目标图像中的表格进行处理，耗时短，有利于提高整个表格还原的效率；另外，仅通过对待还原图像的预处理，不需要事先去做其他操作（例如，模型训练等等），有利于提高表格识别的稳定性。
在一个可能的示例中，在所述将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架方面，所述程序用于执行以下步骤的指令：确定所述目标图像中的明亮白色区域，根据所述明亮白色区域将所述目标图像进行第一膨胀操作，得到第一处理图像；确定所述第一处理图像中的边界部分，并沿着所述边界部分对所述第一处理图进行腐蚀操作，得到第二处理图像；对所述第二处理图像进行第二膨胀操作，得到所述待还原表格对应的结构框架。
在一个可能的示例中，在所述将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架方面，所述程序用于执行以下步骤的指令：在一个可能的示例中，在所述对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域方面，所述程序用于执行以下步骤的指令：确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标，得到多个第一像素点坐标；按照所述多个第一像素点坐标，对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
在一个可能的示例中，在所述基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息方面，所述程序用于执行以下步骤的指令：获取所述多个目标点中每一目标点在对应的相交区域内的位置，得到多个位置；对所述多个位置进行聚类，得到多个中心点，其中，每一相交区域对应一个中心点；基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息；基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息。
在一个可能的示例中，在所述基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息之前，所述程序还用于执行以下步骤的指令：基于所述多个中心点，对每一中心点按照其对应的位置进行聚类，得到所述目标图像中多个横线的第一数量和多个竖线的第二数量；基于所述第一数量、所述第二数量以及多个中心点，对所述多个中心点中每一中心点进行定位，得到多个位置值。
在一个可能的示例中，在所述基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息方面，所述程序用于执行以下步骤的指令：基于所述多个位置值，确定每一中心点周围的多个临近点对应的多个临近位置值；基于所述多个临近位置值，确定所述多个中心点之间对应的多个连线；基于所述多个连线，确定任意两个中心点之间的连接信息，得到多个连接信息。在一个可能的示例中，在所述基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息方面，所述程序用于执行以下步骤的指令：基于所述多个连接信息，确定每一连接信息对应的连接矩阵，得到多个连接矩阵；基于所述多个连接矩阵与所述多个中心点的位置，确定所述待还原表格对应的单元格排版信息。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致地，请参阅图5，图5是本申请实施例公开的一种表格还原装置的结构示意图，应用于电子设备，该装置包括：获取单元501、形态学操作单元502、轮廓识别单元503、确定单元504和生成单元505，其中，所述获取单元501，用于获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；所述形态学操作单元502，用于将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；所述轮廓识别单元503，用于对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；所述确定单元504，用于基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；所述生成单元505，用于识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
可以看出，本申请实施例中所描述的表格还原装置，应用于电子设备，该装置可获取待还原图像，对待还原图像进行预处理，得到目标图像，其中，待还原图像中包括待还原表格，将目标图像中包含的多个像素点进行形态学操作，得到待还原表格对应的结构框架，结构框架中包括多条横线和多条竖线；然后，对结构框架进行轮廓识别，得到多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；并基于多个相交区域，确定待还原表格对应的单元格排版信息，最后识别目标图像中包含的目标文字信息，基于单元格排版信息和目标文字信息，生成目标表格。如此，采用形态学方式对目标图像中的表格进行处理，耗时短，有利于提高整个表格还原的效率；另外，仅通过对待还原图像的预处理，不需要事先去做其他操作（例如，模型训练等等），有利于提高表格识别的稳定性。
在一个可能的示例中，在所述将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架方面，所述形态学操作单元502具体用于：确定所述目标图像中的明亮白色区域，根据所述明亮白色区域将所述目标图像进行第一膨胀操作，得到第一处理图像；确定所述第一处理图像中的边界部分，并沿着所述边界部分对所述第一处理图进行腐蚀操作，得到第二处理图像；对所述第二处理图像进行第二膨胀操作，得到所述待还原表格对应的结构框架。
在一个可能的示例中，在所述对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域方面，所述轮廓识别单元503具体用于：确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标，得到多个第一像素点坐标；按照所述多个第一像素点坐标，对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
在一个可能的示例中，在所述基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息方面，所述确定单元504具体用于：获取所述多个目标点中每一目标点在对应的相交区域内的位置，得到多个位置；对所述多个位置进行聚类，得到多个中心点，其中，每一相交区域对应一个中心点；基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息；基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息。
在一个可能的示例中，在所述基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息方面，所述确定单元504具体还用于：基于所述多个位置值，确定每一中心点周围的多个临近点对应的多个临近位置值；基于所述多个临近位置值，确定所述多个中心点之间对应的多个连线；基于所述多个连线，确定任意两个中心点之间的连接信息，得到多个连接信息。
在一个可能的示例中，在所述基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息方面，确定单元504具体还用于：基于所述多个连接信息，确定每一连接信息对应的连接矩阵，得到多个连接矩阵；基于所述多个连接矩阵与所述多个中心点的位置，确定所述待还原表格对应的单元格排版信息。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述存储计算机程序被所述处理器执行，以实现以下步骤：获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
在一个可能的示例中，在所述将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架方面，所述处理器，用于：确定所述目标图像中的明亮白色区域，根据所述明亮白色区域将所述目标图像进行第一膨胀操作，得到第一处理图像；确定所述第一处理图像中的边界部分，并沿着所述边界部分对所述第一处理图进行腐蚀操作，得到第二处理图像；对所述第二处理图像进行第二膨胀操作，得到所述待还原表格对应的结构框架。
在一个可能的示例中，所述处理器，在所述对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域方面，还用于：确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标，得到多个第一像素点坐标；按照所述多个第一像素点坐标，对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
在一个可能的示例中，所述处理器，在所述基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息方面，还用于：获取所述多个目标点中每一目标点在对应的相交区域内的位置，得到多个位置；对所述多个位置进行聚类，得到多个中心点，其中，每一相交区域对应一个中心点；基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息；基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息。
在一个可能的示例中，所述处理器，在所述基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息之前，还用于：基于所述多个中心点，对每一中心点按照其对应的位置进行聚类，得到所述目标图像中多个横线的第一数量和多个竖线的第二数量；基于所述第一数量、所述第二数量以及多个中心点，对所述多个中心点中每一中心点进行定位，得到多个位置值。
在一个可能的示例中，所述处理器，在所述基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息方面，还用于：基于所述多个位置值，确定每一中心点周围的多个临近点对应的多个临近位置值；基于所述多个临近位置值，确定所述多个中心点之间对应的多个连线；基于所述多个连线，确定任意两个中心点之间的连接信息，得到多个连接信息。
在一个可能的示例中，所述处理器，在所述基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息方面，还用于：基于所述多个连接信息，确定每一连接信息对应的连接矩阵，得到多个连接矩阵；基于所述多个连接矩阵与所述多个中心点的位置，确定所述待还原表格对应的单元格排版信息。
另外，所述计算机可读存储介质可以是非易失性，也可以是易失性。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (20)

  1. 一种表格还原方法，其中，应用于电子设备，包括：获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
  2. 根据权利要求1所述的方法，其中，所述将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，包括：确定所述目标图像中的明亮白色区域，根据所述明亮白色区域将所述目标图像进行第一膨胀操作，得到第一处理图像；确定所述第一处理图像中的边界部分，并沿着所述边界部分对所述第一处理图进行腐蚀操作，得到第二处理图像；对所述第二处理图像进行第二膨胀操作，得到所述待还原表格对应的结构框架。
  3. 根据权利要求1所述的方法，其中，所述对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，包括：确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标，得到多个第一像素点坐标；按照所述多个第一像素点坐标，对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
  4. 根据权利要求1-3任一项所述的方法，其中，所述基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息，包括：获取所述多个目标点中每一目标点在对应的相交区域内的位置，得到多个位置；对所述多个位置进行聚类，得到多个中心点，其中，每一相交区域对应一个中心点；基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息；基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息。
  5. 根据权利要求4所述的方法，其中，在所述基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息之前，所述方法还包括：基于所述多个中心点，对每一中心点按照其对应的位置进行聚类，得到所述目标图像中多个横线的第一数量和多个竖线的第二数量；基于所述第一数量、所述第二数量以及多个中心点，对所述多个中心点中每一中心点进行定位，得到多个位置值。
  6. 根据权利要求5所述的方法，其中，所述基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息，包括：基于所述多个位置值，确定每一中心点周围的多个临近点对应的多个临近位置值；基于所述多个临近位置值，确定所述多个中心点之间对应的多个连线；基于所述多个连线，确定任意两个中心点之间的连接信息，得到多个连接信息。
  7. 根据权利要求4所述的方法，其中，所述基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息，包括：基于所述多个连接信息，确定每一连接信息对应的连接矩阵，得到多个连接矩阵；基于所述多个连接矩阵与所述多个中心点的位置，确定所述待还原表格对应的单元格排版信息。
  8. 一种表格还原装置，其中，应用于电子设备，所述装置包括：获取单元、形态学操作单元、轮廓识别单元、确定单元和生成单元，其中，所述获取单元，用于获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；所述形态学操作单元，用于将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；所述轮廓识别单元，用于对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；所述确定单元，用于基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；所述生成单元，用于识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
  9. 一种电子设备，其中，包括处理器、存储器、通信接口以及一个或多个程序，所述处理器、通信接口和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，所述一个或多个程序包括用于执行以下步骤的指令：获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
  10. 根据权利要求9所述的设备，其中，所述程序用于执行以下步骤的指令：确定所述目标图像中的明亮白色区域，根据所述明亮白色区域将所述目标图像进行第一膨胀操作，得到第一处理图像；确定所述第一处理图像中的边界部分，并沿着所述边界部分对所述第一处理图进行腐蚀操作，得到第二处理图像；对所述第二处理图像进行第二膨胀操作，得到所述待还原表格对应的结构框架。
  11. 根据权利要求9所述的设备，其中，所述程序用于执行以下步骤的指令：确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标，得到多个第一像素点坐标；按照所述多个第一像素点坐标，对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
  12. 根据权利要求9-11任一项所述的设备，其中，所述程序用于执行以下步骤的指令：获取所述多个目标点中每一目标点在对应的相交区域内的位置，得到多个位置；对所述多个位置进行聚类，得到多个中心点，其中，每一相交区域对应一个中心点；基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息；基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息。
  13. 根据权利要求12所述的设备，其中，所述程序用于执行以下步骤的指令：基于所述多个中心点，对每一中心点按照其对应的位置进行聚类，得到所述目标图像中多个横线的第一数量和多个竖线的第二数量；基于所述第一数量、所述第二数量以及多个中心点，对所述多个中心点中每一中心点进行定位，得到多个位置值。
  14. 根据权利要求13所述的设备，其中，所述程序用于执行以下步骤的指令：基于所述多个位置值，确定每一中心点周围的多个临近点对应的多个临近位置值；基于所述多个临近位置值，确定所述多个中心点之间对应的多个连线；基于所述多个连线，确定任意两个中心点之间的连接信息，得到多个连接信息。
  15. 根据权利要求12所述的设备，其中，所述程序用于执行以下步骤的指令：基于所述多个连接信息，确定每一连接信息对应的连接矩阵，得到多个连接矩阵；基于所述多个连接矩阵与所述多个中心点的位置，确定所述待还原表格对应的单元格排版信息。
  16. 一种计算机可读存储介质，其中，所述计算机可读存储介质用于存储计算机程序，所述存储计算机程序被处理器执行，以实现以下步骤：获取待还原图像，对所述待还原图像进行预处理，得到目标图像，其中，所述待还原图像中包括待还原表格；将所述目标图像中包含的多个像素点进行形态学操作，得到所述待还原表格对应的结构框架，所述结构框架中包括多条横线和多条竖线；对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与多条竖线中每一竖线对应的多个相交区域，每一相交区域中包括多个目标点；基于所述多个相交区域，确定所述待还原表格对应的单元格排版信息；识别所述目标图像中包含的目标文字信息，基于所述单元格排版信息和目标文字信息，生成目标表格。
  17. 根据权利要求16所述的介质，其中，所述处理器，还用于：确定所述目标图像中的明亮白色区域，根据所述明亮白色区域将所述目标图像进行第一膨胀操作，得到第一处理图像；确定所述第一处理图像中的边界部分，并沿着所述边界部分对所述第一处理图进行腐蚀操作，得到第二处理图像；对所述第二处理图像进行第二膨胀操作，得到所述待还原表格对应的结构框架。
  18. 根据权利要求16所述的介质，其中，所述处理器，还用于：确定所述结构框架对应的多个第一像素点以及多个第一像素点中每一第一像素点对应的坐标，得到多个第一像素点坐标；按照所述多个第一像素点坐标，对所述结构框架进行轮廓识别，得到所述多条横线中每一横线与所述多条竖线中每一竖线对应的多个相交区域。
  19. 根据权利要求16-18任一项所述的介质，其中，所述处理器，还用于：获取所述多个目标点中每一目标点在对应的相交区域内的位置，得到多个位置；对所述多个位置进行聚类，得到多个中心点，其中，每一相交区域对应一个中心点；基于所述多个中心点，确定所述多个中心点中任意两个中心点之间的连接信息，得到多个连接信息；基于所述多个连接信息以及所述多个中心点，确定所述待还原表格对应的单元格排版信息。
  20. 根据权利要求16所述的介质，其中，所述处理器，还用于：基于所述多个中心点，对每一中心点按照其对应的位置进行聚类，得到所述目标图像中多个横线的第一数量和多个竖线的第二数量；基于所述第一数量、所述第二数量以及多个中心点，对所述多个中心点中每一中心点进行定位，得到多个位置值。
PCT/CN2020/103940 2020-05-29 2020-07-24 一种表格还原方法、装置、设备及存储介质 WO2021237909A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010472930.2 2020-05-29
CN202010472930.2A CN111640130A (zh) 2020-05-29 2020-05-29 表格还原方法及装置

Publications (1)

Publication Number Publication Date
WO2021237909A1 true WO2021237909A1 (zh) 2021-12-02

Family

ID=72331683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/103940 WO2021237909A1 (zh) 2020-05-29 2020-07-24 一种表格还原方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111640130A (zh)
WO (1) WO2021237909A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115618836A (zh) * 2022-12-15 2023-01-17 杭州恒生聚源信息技术有限公司 无线表格的结构还原方法、装置、计算机设备及存储介质
CN116612487A (zh) * 2023-07-21 2023-08-18 亚信科技（南京）有限公司 表格识别方法、装置、电子设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036365B (zh) * 2020-09-15 2024-05-07 中国工商银行股份有限公司 信息导入方法和装置，以及图像处理方法和装置
CN112381010A (zh) * 2020-11-17 2021-02-19 深圳壹账通智能科技有限公司 表格结构的还原方法、系统、计算机设备及存储介质
CN112733855B (zh) * 2020-12-30 2024-04-09 科大讯飞股份有限公司 表格结构化方法、表格恢复设备及具有存储功能的装置
CN113139457A (zh) * 2021-04-21 2021-07-20 浙江康旭科技有限公司 一种基于crnn的图片表格提取方法
CN113221778B (zh) * 2021-05-19 2022-05-10 北京航空航天大学杭州创新研究院 手写表格的检测与识别方法及装置
CN113343866A (zh) * 2021-06-15 2021-09-03 杭州数梦工场科技有限公司 表格信息的识别方法及装置、电子设备
CN113836878A (zh) * 2021-09-02 2021-12-24 北京来也网络科技有限公司 结合rpa和ai的表格生成方法、装置、电子设备及存储介质
CN114218233A (zh) * 2022-02-22 2022-03-22 子长科技(北京)有限公司 一种年报的处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180341907A1 (en) * 2017-05-26 2018-11-29 Walmart Apollo, Llc Crowdsourcing techniques for processing product content
CN109726643A (zh) * 2018-12-13 2019-05-07 北京金山数字娱乐科技有限公司 图像中表格信息的识别方法、装置、电子设备及存储介质
CN110008809A (zh) * 2019-01-04 2019-07-12 阿里巴巴集团控股有限公司 表格数据的获取方法、装置和服务器
CN110163030A (zh) * 2018-02-11 2019-08-23 鼎复数据科技(北京)有限公司 一种基于图像信息的pdf有边框表格抽取方法
CN111079756A (zh) * 2018-10-19 2020-04-28 杭州萤石软件有限公司 一种单据图像中的表格提取与重建方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180341907A1 (en) * 2017-05-26 2018-11-29 Walmart Apollo, Llc Crowdsourcing techniques for processing product content
CN110163030A (zh) * 2018-02-11 2019-08-23 鼎复数据科技(北京)有限公司 一种基于图像信息的pdf有边框表格抽取方法
CN111079756A (zh) * 2018-10-19 2020-04-28 杭州萤石软件有限公司 一种单据图像中的表格提取与重建方法和设备
CN109726643A (zh) * 2018-12-13 2019-05-07 北京金山数字娱乐科技有限公司 图像中表格信息的识别方法、装置、电子设备及存储介质
CN110008809A (zh) * 2019-01-04 2019-07-12 阿里巴巴集团控股有限公司 表格数据的获取方法、装置和服务器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115618836A (zh) * 2022-12-15 2023-01-17 杭州恒生聚源信息技术有限公司 无线表格的结构还原方法、装置、计算机设备及存储介质
CN116612487A (zh) * 2023-07-21 2023-08-18 亚信科技（南京）有限公司 表格识别方法、装置、电子设备及存储介质
CN116612487B (zh) * 2023-07-21 2023-10-13 亚信科技（南京）有限公司 表格识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111640130A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
WO2021237909A1 (zh) 一种表格还原方法、装置、设备及存储介质
CN109902622B (zh) 一种用于登机牌信息验证的文字检测识别方法
CN111401371B (zh) 一种文本检测识别方法、系统及计算机设备
JP7198350B2 (ja) 文字検出装置、文字検出方法及び文字検出システム
CN111259878A (zh) 一种检测文本的方法和设备
WO2023284502A1 (zh) 图像处理方法、装置、设备和存储介质
CN109635805B (zh) 图像文本定位方法及装置、图像文本识别方法及装置
CN113033543B (zh) 曲形文本识别方法、装置、设备及介质
CN111368638A (zh) 电子表格的创建方法、装置、计算机设备和存储介质
CN110738030A (zh) 表格重建方法、装置、电子设备及存储介质
CN111680690A (zh) 一种文字识别方法及装置
CN114596290A (zh) 缺陷检测方法及其装置、存储介质、程序产品
CN111310746A (zh) 文本行检测方法、模型训练方法、装置、服务器及介质
CN112651953A (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN112926564A (zh) 图片分析方法、系统、计算机设备和计算机可读存储介质
CN116597466A (zh) 一种基于改进YOLOv5s的工程图纸文字检测识别方法及系统
CN112232336A (zh) 一种证件识别方法、装置、设备及存储介质
CN111986117A (zh) 一种算术作业批改系统及方法
CN113901883A (zh) 基于深度学习的印章识别方法、系统及存储介质
CN111274863A (zh) 一种基于文本山峰概率密度的文本预测方法
CN113228105A (zh) 一种图像处理方法、装置和电子设备
CN114332888B (zh) 一种东巴文的文字切分方法、装置、存储介质及电子设备
CN114764788B (zh) 一种颅内动脉狭窄检测方法及系统
CN113850238B (zh) 文档检测方法、装置、电子设备及存储介质
CN104091319B (zh) 基于蒙特卡洛算法构建能量函数的碎纸图片拼接方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20937932

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 13/03/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 20937932

Country of ref document: EP

Kind code of ref document: A1