WO2020140608A1 - 一种图像数据处理方法、设备及计算机可读存储介质 - Google Patents

一种图像数据处理方法、设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2020140608A1
WO2020140608A1 PCT/CN2019/116971 CN2019116971W WO2020140608A1 WO 2020140608 A1 WO2020140608 A1 WO 2020140608A1 CN 2019116971 W CN2019116971 W CN 2019116971W WO 2020140608 A1 WO2020140608 A1 WO 2020140608A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image data
field
labeling
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/116971
Other languages
English (en)
French (fr)
Inventor
许洋
刘鹏
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2020140608A1 publication Critical patent/WO2020140608A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns

Definitions

  • the present application relates to the technical field of image data processing, and in particular, to an image data processing method, device, and computer-readable storage medium.
  • Embodiments of the present application provide an image data processing method, device, and computer-readable storage medium, which can quickly recognize text information according to annotation information, thereby improving recognition efficiency.
  • an embodiment of the present application provides an image data processing method.
  • the method includes:
  • the text position annotation information and the field image data are processed based on the recognition model to identify the text information in the field image data.
  • an embodiment of the present application provides an image data processing device including a unit for performing the above-described image data processing method of the first aspect.
  • an embodiment of the present application provides another image data processing device, including a processor, an input device, an output device, and a memory, where the processor, input device, output device, and memory are connected to each other, wherein the memory
  • an embodiment of the present application provides a computer-readable storage medium that stores a computer program, where the computer program includes program instructions, which when executed by a processor causes the processing Implements the method of the first aspect described above.
  • the embodiment of the present application obtains text location labeling information by labeling the text location information in the field image data, and recognizes the field image data including the text location labeling information, which can quickly identify the text information, thereby improving the recognition efficiency.
  • FIG. 1 is a schematic flowchart of an image data processing method provided by an embodiment of the present application.
  • FIG. 2 is a schematic flowchart of another image data processing method provided by an embodiment of the present application.
  • FIG. 3 is a schematic block diagram of an image data processing device provided by an embodiment of the present application.
  • FIG. 4 is a schematic block diagram of another image data processing device provided by an embodiment of the present application.
  • the image data processing method provided in the embodiments of the present application may be executed by an image data processing system, where the image data processing system includes an image data processing device and a service terminal.
  • the image data processing device It can be set on smart terminals such as mobile phones, computers, tablets, and smart watches.
  • a communication connection may be established between the image data processing device and the service terminal for two-way communication.
  • the image data processing device may be installed on the service terminal, in some embodiments, the image data processing device may be spatially independent of the service terminal, in some implementations
  • the image data processing device may be a component of the service terminal, that is, the service terminal includes an image data processing device.
  • the service terminal may include: smart terminals such as mobile phones, computers, tablets, and smart watches.
  • the service terminal in the image data processing system may send image data to be detected to the image data processing device, so that the image data processing device may receive the field information to be detected sent by the service terminal Image data of the image, and annotate the field information in the image data to be detected to obtain field labeling information.
  • the image data processing device may determine the position information of the field information in the image data to be detected according to the field labeling information, so as to crop the image data to be detected according to the position information to obtain the position Field image data corresponding to the information.
  • the image data processing device may acquire the text information in the field image data, and annotate the position information of the text in the field image data according to the text information to obtain text position annotation information, and based on the recognition model
  • the text position labeling information and the field image data are processed to identify the text information in the field image data.
  • FIG. 1 is a schematic flowchart of an image data processing method provided by an embodiment of the present application. As shown in FIG. 1, the method may be executed by an image data processing device, and a specific explanation of the image data processing device As mentioned before, no more details will be given here. Specifically, the method in the embodiment of the present application includes the following steps.
  • S101 Receive image data to be detected sent by a service terminal, where the image data to be detected includes field information.
  • the image data processing device may receive the image data to be detected sent by the service terminal, and the image data to be detected includes field information.
  • the field information may include carrier data and field data in the carrier data.
  • the carrier data may include any one or more of invoice data, document data, and the like.
  • S102 Label the field information in the image data to be detected to obtain field labeling information.
  • the image data processing device may label the field information in the image data to be detected to obtain field labeling information.
  • a preset annotation tool may be set in the image data processing device, and when receiving image data to be detected sent by a service terminal, the image processing device may trigger the call of the preset annotation tool Labeling the field information in the image data to be detected to obtain field labeling information.
  • the preset labeling tool may return the field labeling information to the image data processing device, so that the image processing device obtains the field labeling information.
  • the image data processing device may output a prompt interface before calling the preset labeling tool to label the field information in the image data to be detected, the prompt interface is used to prompt The user selects a labeling method, so that the image data processing device sends the labeling method selected by the user to the preset labeling tool, so that the preset labeling tool applies the labeling method selected by the user to the image data Label the field information.
  • the labeling method may be any method such as circle drawing, rectangle drawing, and text labeling, which is not specifically limited in the embodiments of the present application.
  • the image data processing device may send the labeling method of the wreath selected by the user to a preset labeling tool, so that the The preset labeling tool circles the field data in the image data to be detected, circles the field data out of the image data, so as to label the field data, and returns the labeling result to all
  • the image data processing device is described.
  • the field information includes carrier data and field data in the carrier data.
  • the image data processing device may call a preset annotation tool to annotate the carrier data in the image data to be detected to obtain The labeling data of the carrier and labeling the field data in the carrier data to obtain the labeling data of the field, thereby determining the labeling data of the carrier and the labeling data of the field as the field labeling information.
  • the labeling method is as described above, and is not repeated here.
  • the image data processing device may call a preset annotation tool to mark the invoice data in the image data to be detected in a circle to Obtain the label data of the invoice data, and circle the field data in the carrier data to obtain the label data of the field, so as to determine the label data of the invoice and the label data of the field as the Field label information.
  • the image data processing device needs to detect two parts: on the one hand, the carrier (invoice , Certificates, etc.) location information; on the other hand is the detection of the location information of the field.
  • S103 Determine the position information of the field information in the image data to be detected according to the field labeling information, and crop the image data to be detected according to the position information to obtain a field image corresponding to the position information data.
  • the image data processing device may determine the position information of the field information in the image data to be detected according to the field labeling information, and crop the image data to be detected according to the position information to obtain Field image data corresponding to the location information.
  • the image data processing device may input the field label information in the image data to be detected into a preset detection model for detection to obtain the position of the field information in the image data to be detected information.
  • S104 Obtain text information in the field image data, and annotate the position information of the text in the field image data according to the text information to obtain text position labeling information.
  • the image data processing device may acquire the text information in the field image data, and mark the position information of the text in the field image data according to the text information to obtain the text position labeling information.
  • the image data processing device may split the text information in the field image data when tagging the position information of the text in the field image data to obtain text position labeling information, Obtain each text corresponding to the text information, and call a preset annotation tool to mark the position information of each text to obtain the text position of each text corresponding to the text information in the field image data Annotate information.
  • the labeling method is as described above.
  • the image data processing device may split the text information of "I love China” in the field image data to obtain Each text corresponding to the text information "me”, “love”, “middle”, “country”, and call the preset annotation tool to "me”, “love”, “middle” in the field image data ,
  • the position information of the four words “country” is marked to obtain the text position marking information of the four words “me”, “love”, “middle” and “country” in the field image data.
  • S105 Process the text position label information and the field image data based on a recognition model to identify the text information in the field image data.
  • the image data processing device may process the text position labeling information and the field image data based on a recognition model to recognize the text information in the field image data.
  • the image data processing device when the image data processing device processes the text position annotation information and the field image data based on a recognition model to identify the text information in the field image data, it may be based on the The recognition model recognizes the text position labeling information of each character corresponding to the text information in the field image data, determines the position information corresponding to the text position labeling information of each character, and according to the The text position of each text is marked with position information corresponding to the information, and the text in the text information is arranged and combined to obtain the text information in the field image data.
  • the image data processing device may obtain sample field image data before processing the text position annotation information and the field image data based on a recognition model, the sample field image data includes the text position Annotate information, and generate an initial recognition model according to a preset recognition algorithm, and train the initial recognition model based on the sample field image data including text position annotation information to obtain the recognition model.
  • the image data processing device may also acquire sample image data, the sample image data includes sample field information, and annotate the sample field information of the sample image data to Obtain sample field label information, and determine the location information of the sample field information in the sample image data according to the sample field label information, so as to crop the sample image data according to the location information of the sample field information, and obtain Sample field image data corresponding to the position information of the sample field information.
  • the embodiment of the present application obtains text location labeling information by labeling the location information of the field information in the image data to be detected, and processes the text location labeling information and field image data based on the recognition model to quickly identify the text information in the field image data .
  • FIG. 2 is a schematic flowchart of another image data processing method provided by an embodiment of the present application. As shown in FIG. 2, the method may be executed by an image data processing device, and a specific explanation of the image data processing device As mentioned before, no more details will be given here.
  • the difference between the embodiment of the present application and the embodiment described in FIG. 1 above is that the embodiment of the present application is a schematic illustration of the specific implementation process of the image data processing method. Specifically, the method in the embodiment of the present application includes the following steps.
  • S201 Receive image data to be detected sent by a service terminal, where the image data to be detected includes field information.
  • the image data processing device may receive the image data to be detected sent by the service terminal, and the image data to be detected includes field information.
  • the field information may include carrier data and field data in the carrier data.
  • the carrier data may include invoice data, certificate data, and the like.
  • S202 Annotate carrier data in the image data to be detected to obtain carrier label data, and label field data in the carrier data to obtain field label data.
  • the image data processing device may label the carrier data in the image data to be detected to obtain carrier labeling data, so that the image data processing device may subsequently determine that the carrier is in the Location information in the detected image data.
  • the image data processing device may also label the field data in the carrier data to obtain the label data of the field, so that the image data processing device may subsequently determine that the field is in the carrier based on the label data of the field Location information in.
  • the carrier includes invoices, certificates, and the like.
  • the image data processing device may mark the position of the certificate in the image data to be circled to obtain the label data of the certificate. And the image data processing device can circle the field data in the carrier data to obtain the field label data.
  • S203 Determine the labeling data of the carrier and the labeling data of the field as the field labeling information.
  • the image data processing device may determine the labeling data of the carrier and the labeling data of the field as the field labeling information.
  • S204 Determine the location information of the field information in the image data to be detected according to the field labeling information.
  • the image data processing device may determine the position information of the field information in the image data to be detected according to the field labeling information.
  • the image data processing device may determine according to the labeling data of the carrier in the field labeling information The position information of the carrier in the image data to be detected, and according to the position information of the carrier and the label data of the field in the field label information, determine the relative position information of the field in the carrier.
  • the image data processing device may The label data of the field in the field label information determines the position information of the field in the image data to be detected.
  • the image data processing device may determine that the field is in the carrier according to the position information of the carrier in the image data to be detected and the position information of the field in the image data to be detected Relative location information.
  • the image data processing device may determine the relative position information of the field in the carrier according to the first position and the second position.
  • S205 Crop the image data to be detected according to the location information to obtain field image data corresponding to the location information.
  • the image data processing device may crop the image data to be detected according to the position information to obtain field image data corresponding to the position information.
  • the image data processing device crops the image data to be detected according to the position information to obtain field image data corresponding to the position information
  • the image data processing device may split the text information in the field image data to obtain each character corresponding to the text information.
  • the image data processing device may obtain the text information in the field image data, and split the text information in the field image data to obtain each character corresponding to the text information .
  • S207 Annotate the position information of each text to obtain text position labeling information of each text corresponding to the text information in the field image data.
  • the image data processing device may mark the position information of each character to obtain the text position marking information of each character corresponding to the text information in the field image data.
  • the image data processing may call a preset annotation tool to mark each text in the text information in a circle to obtain each of the field image data corresponding to the text information
  • the text position of the text is marked with information, and specific implementation examples are as described above.
  • the image data processing may call a preset annotation tool to draw a rectangular frame to annotate each text in the text information, so as to obtain each field corresponding to the text information in the field image data
  • a preset annotation tool to draw a rectangular frame to annotate each text in the text information, so as to obtain each field corresponding to the text information in the field image data
  • the text position of a text is marked with information, and specific implementation examples are as described above.
  • S208 Process the text position labeling information and the field image data based on the recognition model to identify the text information in the field image data.
  • the image data processing device may process the text position labeling information and the field image data based on a recognition model to recognize the text information in the field image data.
  • the training generation process of the recognition model is as described above, and will not be repeated here.
  • the embodiment of the present application obtains the text position labeling information of each text by labeling the position information of each text in the field image data, and quickly identifies the text information in the field image data according to the text position labeling information of each text .
  • FIG. 3 is a schematic block diagram of an image data processing device according to an embodiment of the present application.
  • the image data processing device of this embodiment includes a receiving unit 301, a first labeling unit 302, a determining unit 303, a second labeling unit 304, and a recognition unit 305.
  • the receiving unit 301 is configured to receive image data to be detected sent by a service terminal, where the image data to be detected includes field information;
  • the first labeling unit 302 is configured to label field information in the image data to be detected to obtain field labeling information
  • the determining unit 303 is configured to determine the position information of the field information in the image data to be detected according to the field labeling information, and crop the image data to be detected according to the position information to obtain the position information Corresponding field image data;
  • the second labeling unit 304 is configured to obtain text information in the field image data, and label the position information of the text in the field image data according to the text information to obtain text position labeling information;
  • the recognition unit 305 is configured to process the text position labeling information and the field image data based on a recognition model to recognize the text information in the field image data.
  • the field information includes carrier data and field data in the carrier data; the first labeling unit 302 labels the field information in the image data to be detected to obtain field labeling information, which is specifically used for :
  • the labeling data of the carrier and the labeling data of the field are determined as the field labeling information.
  • the determining unit 303 determines the position information of the field information in the image data to be detected according to the field labeling information, it is specifically used to:
  • the determining unit 303 crops the image data to be detected according to the position information to obtain field image data corresponding to the position information, it is specifically used to:
  • the field in the carrier is cropped according to the relative position information of the field in the carrier to obtain field image data corresponding to the relative position information.
  • the second labeling unit 304 labels the location information of the text in the field image data according to the text information to obtain text location labeling information, which is specifically used for:
  • the recognition unit 305 processes the text position labeling information and the field image data based on a recognition model to recognize the text information in the field image data, it is specifically used to:
  • the characters in the text information are arranged and combined to obtain the text information in the field image data.
  • the recognition unit 305 processes the text position labeling information and the field image data based on the recognition model, it is also used to:
  • sample field image data where the sample field image data includes text position labeling information
  • the initial recognition model is trained based on the sample field image data including text position labeling information to obtain the recognition model.
  • the identification unit 305 acquires the sample data set, it is also used to:
  • sample image data including sample field information
  • the sample image data is cropped according to the position information of the sample field information to obtain sample field image data corresponding to the position information of the sample field information.
  • the first labeling unit 302 labels the field information in the image data to be detected to obtain field labeling information, it is specifically used to:
  • the first labeling unit 302 calls a preset labeling tool to label the field information in the image data to be detected, it is also used to:
  • the labeling method includes any one or more of circle drawing, rectangle drawing, and text labeling.
  • the embodiment of the present application obtains text location labeling information by labeling the location information of the field information in the image data to be detected, and processes the text location labeling information and field image data based on the recognition model to quickly identify the text information in the field image data .
  • FIG. 4 is a schematic block diagram of another image data processing device provided by an embodiment of the present application.
  • the image data processing device in this embodiment may include: one or more processors 401; one or more input devices 402, one or more output devices 403, and a memory 404.
  • the processor 401, the input device 402, the output device 403, and the memory 404 are connected via a bus 405.
  • the memory 404 is used to store a computer program, and the computer program includes program instructions, and the processor 401 is used to execute the program instructions stored in the memory 404.
  • the processor 401 is configured to call the program instructions to execute:
  • the text position annotation information and the field image data are processed based on a recognition model to identify the text information in the field image data.
  • the field information includes carrier data and field data in the carrier data; the processor 401 labels the field information in the image data to be detected to obtain field labeling information, which is specifically used for:
  • the labeling data of the carrier and the labeling data of the field are determined as the field labeling information.
  • the processor 401 determines the position information of the field information in the image data to be detected according to the field labeling information, it is specifically used to:
  • the processor 401 crops the image data to be detected according to the location information to obtain field image data corresponding to the location information, it is specifically used to:
  • the field in the carrier is cropped according to the relative position information of the field in the carrier to obtain field image data corresponding to the relative position information.
  • the processor 401 marks the position information of the text in the field image data according to the text information to obtain the text position labeling information, it is specifically used to:
  • the processor 401 processes the text position labeling information and the field image data based on a recognition model to identify the text information in the field image data, it is specifically used to:
  • the characters in the text information are arranged and combined to obtain the text information in the field image data.
  • the processor 401 processes the text position labeling information and the field image data based on the recognition model, it is also used to:
  • sample field image data where the sample field image data includes text position labeling information
  • the initial recognition model is trained based on the sample field image data including text position labeling information to obtain the recognition model.
  • the processor 401 obtains the sample data set, it is also used to:
  • sample image data including sample field information
  • the sample image data is cropped according to the position information of the sample field information to obtain sample field image data corresponding to the position information of the sample field information.
  • the processor 401 marks the field information in the image data to be detected to obtain field labeling information, which is specifically used for:
  • the processor 401 calls a preset labeling tool to label the field information in the image data to be detected, it is also used to:
  • the labeling method includes any one or more of circle drawing, rectangle drawing, and text labeling.
  • the embodiment of the present application obtains text location labeling information by labeling the location information of the field information in the image data to be detected, and processes the text location labeling information and field image data based on the recognition model to quickly identify the text information in the field image data .
  • the so-called processor 401 may be a central processing unit (CenSral Processing UniS, CPU), and the processor may also be other general-purpose processors, digital signal processors (DigiSal Signal Processor, DSP) , Application-specific integrated circuits (ApplicaSion Specific InSegraSed Circuits, ASIC), ready-made programmable gate array (Field-Programmable GaSe Array, FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
  • the input device 402 may include a touch panel, a microphone, and the like
  • the output device 403 may include a display (LCD, etc.), a speaker, and the like.
  • the memory 404 may include a read-only memory and a random access memory, and provide instructions and data to the processor 401. A portion of the memory 404 may also include non-volatile random access memory. For example, the memory 404 may also store device type information.
  • the processor 401, the input device 402, and the output device 403 described in the embodiments of the present application may perform the image data processing method provided in the embodiments of the present application as described in the method embodiment described in FIG. 1 or FIG. 2
  • the implementation mode of the image data processing device described in FIG. 3 or FIG. 4 of the embodiment of the present application may also be implemented, and details are not described herein again.
  • An embodiment of the present application also provides a computer-readable storage medium that stores a computer program, and when the computer program is executed by a processor, the computer program is implemented as described in the embodiment corresponding to FIG. 1 or FIG. 2
  • the image data processing method may also implement the image data processing device of the embodiment corresponding to FIG. 3 or FIG. 4 of the present application, and details are not described herein again.
  • the computer-readable storage medium may also be a non-volatile computer-readable storage medium, which is not specifically limited herein in this embodiment of the present invention.
  • the computer-readable storage medium may be an internal storage unit of the image data processing device according to any of the foregoing embodiments, such as a hard disk or a memory of the image data processing device.
  • the computer-readable storage medium may also be an external storage device of the image data processing device, such as a plug-in hard disk equipped on the image data processing device, an intelligent memory card (SmarS Media, Card, SMC), secure digital ( Secure, DigiSal, SD) card, Flash card, etc.
  • the computer-readable storage medium may also include both an internal storage unit of the image data processing device and an external storage device.
  • the computer-readable storage medium is used to store the computer program and other programs and data required by the image data processing device.
  • the computer-readable storage medium can also be used to temporarily store data that has been or will be output.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种图像数据处理方法、设备及计算机可读存储介质,该方法包括:接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息(S101);对待检测的图像数据中的字段信息进行标注,以得到字段标注信息(S102);根据字段标注信息确定待检测的图像数据中字段信息的位置信息,并根据位置信息对待检测的图像数据进行裁剪,得到与位置信息对应的字段图像数据(S103);获取字段图像数据中的文本信息,并根据文本信息对字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息(S104);基于识别模型对文本位置标注信息和字段图像数据进行处理,以识别出字段图像数据中的文本信息(S105)。通过这种方式,可实现根据标注信息快速识别文本信息,从而提高识别效率。

Description

一种图像数据处理方法、设备及计算机可读存储介质
本申请要求于2019年01月04日提交中国专利局、申请号为201910015284.4、申请名称为“一种图像数据处理方法、设备及计算机可读存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及图像数据处理技术领域,尤其涉及一种图像数据处理方法、设备及计算机可读存储介质。
背景技术
目前绝大部分工业上应用的深度学习的算法都属于有监督学习,基于这一特性,只有在图像数据都标注好的情况下,才能够继续后面的深度学习的模型训练,而这些标注的数据一般都不是现成的,这意味着需要去人工手动制作,大量标注数据和有限的标注人力的落差也导致项目的工期普遍较长,而工期越长,成本也越高。因此如何更有效地缩短工期以及提升效率成为研究的重点。
发明内容
本申请实施例提供一种图像数据处理方法、设备及计算机可读存储介质,可根据标注信息快速识别文本信息,提高了识别效率。
第一方面,本申请实施例提供了一种图像数据处理方法,该方法包括:
接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息;
对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息;
根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,并根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据;
获取所述字段图像数据中的文本信息,并根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息;
基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。
第二方面,本申请实施例提供了一种图像数据处理设备,该图像数据处理设备包括用于执行上述第一方面的图像数据处理方法的单元。
第三方面,本申请实施例提供了另一种图像数据处理设备,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储支持图像数据处理设备执行上述方法的计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序, 所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本申请实施例通过对字段图像数据中文本的位置信息进行标注得到文本位置标注信息,并对包括文本位置标注信息的字段图像数据进行识别,可快速识别文本信息,从而提高识别效率。
附图说明
图1是本申请实施例提供的一种图像数据处理方法的示意流程图;
图2是本申请实施例提供的另一种图像数据处理方法的示意流程图;
图3是本申请实施例提供的一种图像数据处理设备的示意框图;
图4是本申请实施例提供的另一种图像数据处理设备示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供的图像数据处理方法可以由一种图像数据处理系统执行,其中,所述图像数据处理系统包括图像数据处理设备和业务终端,在某些实施例中,所述图像数据处理设备可以设置在手机、电脑、平板、智能手表等智能终端上。在某些实施例中,所述图像数据处理设备和所述业务终端之间可以建立通信连接,以进行双向通信。在某些实施例中,所述图像数据处理设备可以安装在所述业务终端上,在某些实施例中,所述图像数据处理设备可以在空间上独立于所述业务终端,在某些实施例中,所述图像数据处理设备可以是所述业务终端的部件,即所述业务终端包括图像数据处理设备。在某些实施例中,所述业务终端可以包括:手机、电脑、平板、智能手表等智能终端。
本申请实施例中,所述图像数据处理系统中的所述业务终端可以向图像数据处理设备发送待检测的图像数据,以使所述图像数据处理设备可以接收业务终端发送的包括字段信息待检测的图像数据,并对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息。所述图像数据处理设备可以根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,从而根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据。所述图像数据处理设备可以获取所述字段图像数据中的文本信息,并根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息,以及基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。下面结合附图对本申请实施例的图像数据处理方法进行示意性说明。
请参见图1,图1是本申请实施例提供的一种图像数据处理方法的示意流程图,如图1所示,该方法可以由图像数据处理设备执行,所述图像数据处理设备的具体解释如前所述,此处不再赘述。具体地, 本申请实施例的所述方法包括如下步骤。
S101:接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息。
本申请实施例中,图像数据处理设备可以接收业务终端发送的待检测的图像数据,所述待检测的图像数据中包括字段信息。在某些实施例中,所述字段信息可以包括载体数据和载体数据中的字段数据。在某些实施例中,所述载体数据可以包括发票数据、证件数据等任意一种或多种。
S102:对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息。
本申请实施例中,图像数据处理设备可以对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息。
在一些实施例中,所述图像数据处理设备内可以设置预设的标注工具,所述图像处理设备在接收到业务终端发送的待检测的图像数据时,可以触发调用所述预设的标注工具对所述待检测的图像数据中的字段信息进行标注,得到字段标注信息。所述预设的标注工具可以将所述字段标注信息返回给所述图像数据处理设备,以使所述图像处理设备获取到所述字段标注信息。
在某些实施例中,所述图像数据处理设备在调用所述预设的标注工具对所述待检测的图像数据中的字段信息进行标注之前,可以输出提示界面,所述提示界面用于提示用户选择标注方式,以便所述图像数据处理设备将用户所选择的标注方式发送给所述预设的标注工具,以便所述预设的标注工具按照用户所选择的标注方式对所述图像数据的字段信息进行标注。在某些实施例中,所述标注方式可以为画圈、画矩形、文字标注等任意一种方式,本申请实施例不做具体限定。
例如,假设图像数据处理设备获取到用户所选择的标注方式为画圈的方式,则所述图像数据处理设备可以将用户所选择的花圈的标注方式发送给预设的标注工具,以使所述预设的标注工具对所述待检测的图像数据中的字段数据进行画圈,将字段数据从所述图像数据中圈出来,以实现对所述字段数据进行标注,并将标注结果返回给所述图像数据处理设备。
在一个实施例中,所述字段信息包括载体数据和载体数据中的字段数据,所述图像数据处理设备可以调用预设的标注工具对所述待检测的图像数据中的载体数据进行标注,得到载体的标注数据,以及对所述载体数据中的字段数据进行标注,得到字段的标注数据,从而将所述载体的标注数据和所述字段的标注数据确定为所述字段标注信息。在某些实施例中,所述标注方式如前所述,此处不再赘述。
例如,假设所述待检测的图像数据中的载体数据为发票数据,则所述图像数据处理设备可以调用预设的标注工具对所述待检测的图像数据中的发票数据进行画圈标注,以得到所述发票数据的标注数据,以及对所述载体数据中的字段数据进行画圈标注,以得到字段的标注数据,从而将所述发票的标注数据和所述字段的标注数据确定为所述字段标注信息。
在一些实施例中,因为实际业务上需求的字段的识别一般都是出现在特定的载体上(如发票、证件 等),所以图像数据处理设备需要检测两个部分:一方面是对载体(发票、证件等)的位置信息的检测;另一方面是对字段的位置信息的检测。
S103:根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,并根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据。
本申请实施例中,图像数据处理设备可以根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,并根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据。
在一个实施例中,所述图像数据处理设备可以将所述待检测的图像数据中的字段标注信息输入预设的检测模型中进行检测,以得到所述待检测的图像数据中字段信息的位置信息。
S104:获取所述字段图像数据中的文本信息,并根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息。
本申请实施例中,图像数据处理设备可以获取所述字段图像数据中的文本信息,并根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息。
在一个实施例中,所述图像数据处理设备在对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息时,可以对所述字段图像数据中的文本信息进行拆分,得到与所述文本信息对应的每个文字,并调用预设的标注工具对每一个文字的位置信息进行标注,以得到所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息。在某些实施例中,所述标注方式如前所述。
例如,假设所述字段图像数据中包括的文本信息为“我爱中国”,则所述图像数据处理设备可以对所述字段图像数据中“我爱中国”的文本信息进行拆分,得到与所述文本信息对应的每个文字“我”、“爱”、“中”、“国”,并调用预设的标注工具对所述字段图像数据中的“我”、“爱”、“中”、“国”四个字的位置信息进行标注,以得到所述字段图像数据中“我”、“爱”、“中”、“国”四个字的文本位置标注信息。
S105:基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。
本申请实施例中,图像数据处理设备可以基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。
在一个实施例中,所述图像数据处理设备在基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息时,可以基于所述识别模型对所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息进行识别,确定出与所述每一个文字的文本位置标注信息对应的位置信息,并按照与所述每一个文字的文本位置标注信息对应的位置信息,对所述文本信息中的文字进行排列组合,以得到所述字段图像数据中的文本信息。
在一个实施例中,所述图像数据处理设备在基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理之前,可以获取样本字段图像数据,所述样本字段图像数据中包括文本位置标注信息,并根据预设的识别算法生成初始识别模型,以及基于所述包括文本位置标注信息的样本字段图像数据对所述初始识别模型进行训练,得到所述识别模型。
在一个实施例中,所述图像数据处理设备获取样本数据集之前,还可以获取样本图像数据,所述样本图像数据包括样本字段信息,并对所述样本图像数据的样本字段信息进行标注,以得到样本字段标注信息,以及根据所述样本字段标注信息,确定所述样本图像数据中样本字段信息的位置信息,从而根据所述样本字段信息的位置信息对所述样本图像数据进行裁剪,得到与所述样本字段信息的位置信息对应的样本字段图像数据。
本申请实施例通过对待检测的图像数据中字段信息的位置信息进行标注得到文本位置标注信息,并基于识别模型对文本位置标注信息和字段图像数据进行处理,以快速识别字段图像数据中的文本信息。
请参见图2,图2是本申请实施例提供的另一种图像数据处理方法的示意流程图,如图2所示,该方法可以由图像数据处理设备执行,该图像数据处理设备的具体解释如前所述,此处不再赘述。本申请实施例与上述图1所述实施例的区别在于,本申请实施例是对所述图像数据处理方法的具体实施过程进行示意性说明。具体地,本申请实施例的所述方法包括如下步骤。
S201:接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息。
本申请实施例中,图像数据处理设备可以接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息。在某些实施例中,所述字段信息可以包括载体数据和载体数据中的字段数据。在某些实施例中,所述载体数据可以包括发票数据、证件数据等。
S202:对所述待检测的图像数据中的载体数据进行标注,得到载体的标注数据,以及对所述载体数据中的字段数据进行标注,得到字段的标注数据。
本申请实施例中,图像数据处理设备可以对所述待检测的图像数据中的载体数据进行标注,得到载体的标注数据,以便图像数据处理设备后续可以根据载体的标注数据确定载体在所述待检测的图像数据中的位置信息。所述图像数据处理设备还可以对所述载体数据中的字段数据进行标注,得到字段的标注数据,以便所述图像数据处理设备后续可以根据所述字段的标注数据,确定出所述字段在载体中的位置信息。在某些实施例中,所述载体包括发票、证件等。
例如,假设所述载体为证件,则所述图像数据处理设备可以对所述待检测的图像数据中的证件所对应的位置进行画圈标注,得到证件的标注数据。以及所述图像数据处理设备可以对所述载体数据中的字段数据进行画圈标注,得到字段的标注数据。
S203:将所述载体的标注数据和所述字段的标注数据确定为所述字段标注信息。
本申请实施例中,图像数据处理设备可以将所述载体的标注数据和所述字段的标注数据确定为所述字段标注信息。
S204:根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息。
本申请实施例中,图像数据处理设备可以根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息。
在一个实施例中,所述图像数据处理设备在根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息时,可以根据所述字段标注信息中载体的标注数据,确定出所述待检测的图像数据中载体的位置信息,并根据所述载体的位置信息和所述字段标注信息中字段的标注数据,确定出所述字段在所述载体中的相对位置信息。
在一个实施例中,所述图像数据处理设备在根据所述载体的位置信息和所述字段标注信息中字段的标注数据,确定出所述字段在所述载体中的相对位置信息时,可以根据所述字段标注信息中字段的标注数据,确定出所述字段在所述待检测的图像数据中的位置信息。所述图像数据处理设备可以根据所述载体在所述待检测的图像数据中的位置信息和所述字段在所述待检测的图像数据中的位置信息,确定出所述字段在所述载体中的相对位置信息。
例如,假设所述载体在所述待检测的图像数据中的位置信息为第一位置,如果所述图像数据处理设备根据所述字段标注信息中字段的标注数据,确定出所述字段在所述待检测的图像数据中的位置信息为第二位置,则所述图像数据处理设备可以根据所述第一位置和第二位置,确定出所述字段在所述载体中的相对位置信息。
S205:根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据。
本申请实施例中,图像数据处理设备可以根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据。
在一个实施例中,所述图像数据处理设备在根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据时,可以根据所述字段在所述载体中的相对位置信息对所述载体中的字段进行裁剪,得到与所述相对位置信息对应的字段图像数据。
S206:对所述字段图像数据中的文本信息进行拆分,得到与所述文本信息对应的每个文字。
本申请实施例中,图像数据处理设备可以对所述字段图像数据中的文本信息进行拆分,得到与所述文本信息对应的每个文字。
在一个实施例中,所述图像数据处理设备可以获取所述字段图像数据中的文本信息,并对所述字段图像数据中的文本信息进行拆分,得到与所述文本信息对应的每个文字。
S207:对每一个文字的位置信息进行标注,以得到所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息。
本申请实施例中,图像数据处理设备可以对每一个文字的位置信息进行标注,以得到所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息。
在一个实施例中,所述图像数据处理可以调用预设的标注工具对所述文本信息中的每一个文字进行画圈标注,以得到所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息,具体实施例如前所述。
在一个实施例中,所述图像数据处理可以调用预设的标注工具对所述文本信息中的每一个文字进行画矩形框标注,以得到所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息,具体实施例如前所述。
S208:基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。
本申请实施例中,图像数据处理设备可以基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。在某些实施例中,所述识别模型的训练生成过程如前所述,此处不再赘述。
本申请实施例通过对字段图像数据中的每一个文字的位置信息进行标注得到每一个文字的文本位置标注信息,并根据每一个文字的文本位置标注信息,快速识别出字段图像数据中的文本信息。
本申请实施例还提供了一种图像数据处理设备,该图像数据处理设备用于执行前述任一项所述的方法的单元。具体地,参见图3,图3是本申请实施例提供的一种图像数据处理设备的示意框图。本实施例的图像数据处理设备包括:接收单元301、第一标注单元302、确定单元303、第二标注单元304以及识别单元305。
接收单元301,用于接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息;
第一标注单元302,用于对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息;
确定单元303,用于根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,并根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据;
第二标注单元304,用于获取所述字段图像数据中的文本信息,并根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息;
识别单元305,用于基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。
进一步地,所述字段信息包括载体数据和载体数据中的字段数据;所述第一标注单元302对所述待 检测的图像数据中的字段信息进行标注,以得到字段标注信息时,具体用于:
对所述待检测的图像数据中的载体数据进行标注,得到载体的标注数据;以及,
对所述载体数据中的字段数据进行标注,得到字段的标注数据;
将所述载体的标注数据和所述字段的标注数据确定为所述字段标注信息。
进一步地,所述确定单元303根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息时,具体用于:
根据所述字段标注信息中载体的标注数据,确定出所述待检测的图像数据中载体的位置信息;
根据所述载体的位置信息和所述字段标注信息中字段的标注数据,确定出所述字段在所述载体中的相对位置信息;
所述确定单元303根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据时,具体用于:
根据所述字段在所述载体中的相对位置信息对所述载体中的字段进行裁剪,得到与所述相对位置信息对应的字段图像数据。
进一步地,所述第二标注单元304根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息时,具体用于:
根据所述文本信息对所述字段图像数据中的文本信息进行拆分,得到与所述文本信息对应的每个文字;
对每一个文字的位置信息进行标注,以得到所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息。
进一步地,所述识别单元305基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息时,具体用于:
基于所述识别模型对所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息进行识别,确定出与所述每一个文字的文本位置标注信息对应的位置信息;
按照与所述每一个文字的文本位置标注信息对应的位置信息,对所述文本信息中的文字进行排列组合,以得到所述字段图像数据中的文本信息。
进一步地,所述识别单元305基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理之前,还用于:
获取样本字段图像数据,所述样本字段图像数据中包括文本位置标注信息;
根据预设的识别算法生成初始识别模型;
基于所述包括文本位置标注信息的样本字段图像数据对所述初始识别模型进行训练,得到所述识别 模型。
进一步地,所述识别单元305获取样本数据集之前,还用于:
获取样本图像数据,所述样本图像数据包括样本字段信息;
对所述样本图像数据的样本字段信息进行标注,以得到样本字段标注信息;
根据所述样本字段标注信息,确定所述样本图像数据中样本字段信息的位置信息;
根据所述样本字段信息的位置信息对所述样本图像数据进行裁剪,得到与所述样本字段信息的位置信息对应的样本字段图像数据。
进一步地,所述第一标注单元302对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息时,具体用于:
获取所述待检测的图像数据中的字段信息;
调用预设的标注工具对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息。
进一步地,所述第一标注单元302调用预设的标注工具对所述待检测的图像数据中的字段信息进行标注之前,还用于:
输出提示界面,其中,所述提示界面用于提示用户选择标注方式;
将获取到的用户所选择的标注方式发送给所述预设的标注工具。
进一步地,所述标注方式包括画圈、画矩形、文字标注中的任意一种或多种方式。
本申请实施例通过对待检测的图像数据中字段信息的位置信息进行标注得到文本位置标注信息,并基于识别模型对文本位置标注信息和字段图像数据进行处理,以快速识别字段图像数据中的文本信息。
参见图4,图4是本申请实施例提供的另一种图像数据处理设备示意框图。如图所示的本实施例中的图像数据处理设备可以包括:一个或多个处理器401;一个或多个输入设备402,一个或多个输出设备403和存储器404。上述处理器401、输入设备402、输出设备403和存储器404通过总线405连接。存储器404用于存储计算机程序,所述计算机程序包括程序指令,处理器401用于执行存储器404存储的程序指令。其中,处理器401被配置用于调用所述程序指令执行:
接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息;
对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息;
根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,并根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据;
获取所述字段图像数据中的文本信息,并根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息;
基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据 中的文本信息。
进一步地,所述字段信息包括载体数据和载体数据中的字段数据;所述处理器401对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息时,具体用于:
对所述待检测的图像数据中的载体数据进行标注,得到载体的标注数据;以及,
对所述载体数据中的字段数据进行标注,得到字段的标注数据;
将所述载体的标注数据和所述字段的标注数据确定为所述字段标注信息。
进一步地,所述处理器401根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息时,具体用于:
根据所述字段标注信息中载体的标注数据,确定出所述待检测的图像数据中载体的位置信息;
根据所述载体的位置信息和所述字段标注信息中字段的标注数据,确定出所述字段在所述载体中的相对位置信息;
所述处理器401根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据时,具体用于:
根据所述字段在所述载体中的相对位置信息对所述载体中的字段进行裁剪,得到与所述相对位置信息对应的字段图像数据。
进一步地,所述处理器401根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息时,具体用于:
根据所述文本信息对所述字段图像数据中的文本信息进行拆分,得到与所述文本信息对应的每个文字;
对每一个文字的位置信息进行标注,以得到所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息。
进一步地,所述处理器401基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息时,具体用于:
基于所述识别模型对所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息进行识别,确定出与所述每一个文字的文本位置标注信息对应的位置信息;
按照与所述每一个文字的文本位置标注信息对应的位置信息,对所述文本信息中的文字进行排列组合,以得到所述字段图像数据中的文本信息。
进一步地,所述处理器401基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理之前,还用于:
获取样本字段图像数据,所述样本字段图像数据中包括文本位置标注信息;
根据预设的识别算法生成初始识别模型;
基于所述包括文本位置标注信息的样本字段图像数据对所述初始识别模型进行训练,得到所述识别模型。
进一步地,所述处理器401获取样本数据集之前,还用于:
获取样本图像数据,所述样本图像数据包括样本字段信息;
对所述样本图像数据的样本字段信息进行标注,以得到样本字段标注信息;
根据所述样本字段标注信息,确定所述样本图像数据中样本字段信息的位置信息;
根据所述样本字段信息的位置信息对所述样本图像数据进行裁剪,得到与所述样本字段信息的位置信息对应的样本字段图像数据。
进一步地,所述处理器401对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息时,具体用于:
获取所述待检测的图像数据中的字段信息;
调用预设的标注工具对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息。
进一步地,所述处理器401调用预设的标注工具对所述待检测的图像数据中的字段信息进行标注之前,还用于:
输出提示界面,其中,所述提示界面用于提示用户选择标注方式;
将获取到的用户所选择的标注方式发送给所述预设的标注工具。
进一步地,所述标注方式包括画圈、画矩形、文字标注中的任意一种或多种方式。
本申请实施例通过对待检测的图像数据中字段信息的位置信息进行标注得到文本位置标注信息,并基于识别模型对文本位置标注信息和字段图像数据进行处理,以快速识别字段图像数据中的文本信息。
应当理解,在本申请实施例中,所称处理器401可以是中央处理单元(CenSral Processing UniS,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigiSal Signal Processor,DSP)、专用集成电路(ApplicaSion Specific InSegraSed CircuiS,ASIC)、现成可编程门阵列(Field-Programmable GaSe Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备402可以包括触控板、麦克风等,输出设备403可以包括显示器(LCD等)、扬声器等。
该存储器404可以包括只读存储器和随机存取存储器,并向处理器401提供指令和数据。存储器404的一部分还可以包括非易失性随机存取存储器。例如,存储器404还可以存储设备类型的信息。
具体实现中,本申请实施例中所描述的处理器401、输入设备402、输出设备403可执行本申请实施例提供的图像数据处理方法的图1或图2所述的方法实施例中所描述的实现方式,也可执行本申请 实施例图3或图4所描述的图像数据处理设备的实现方式,在此不再赘述。
本申请实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现图1或图2所对应实施例中描述的图像数据处理方法,也可实现本申请图3或图4所对应实施例的图像数据处理设备,在此不再赘述。在某些实施例中,所述计算机可读存储介质还可以为计算机非易失性可读存储介质,本发明实施例在此处不做具体限定。
所述计算机可读存储介质可以是前述任一实施例所述的图像数据处理设备的内部存储单元,例如图像数据处理设备的硬盘或内存。所述计算机可读存储介质也可以是所述图像数据处理设备的外部存储设备,例如所述图像数据处理设备上配备的插接式硬盘,智能存储卡(SmarS Media Card,SMC),安全数字(Secure DigiSal,SD)卡,闪存卡(Flash Card)等。进一步地,所述计算机可读存储介质还可以既包括所述图像数据处理设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述图像数据处理设备所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述,仅为本申请的部分实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。

Claims (20)

  1. 一种图像数据处理方法,其特征在于,包括:
    接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息;
    对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息;
    根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,并根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据;
    获取所述字段图像数据中的文本信息,并根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息;
    基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。
  2. 根据权利要求1所述的方法,其特征在于,所述字段信息包括载体数据和载体数据中的字段数据;所述对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息,包括:
    对所述待检测的图像数据中的载体数据进行标注,得到载体的标注数据;以及,
    对所述载体数据中的字段数据进行标注,得到字段的标注数据;
    将所述载体的标注数据和所述字段的标注数据确定为所述字段标注信息。
  3. 根据权利要求2所述的方法,其特征在于,所述根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,包括:
    根据所述字段标注信息中载体的标注数据,确定出所述待检测的图像数据中载体的位置信息;
    根据所述载体的位置信息和所述字段标注信息中字段的标注数据,确定出所述字段在所述载体中的相对位置信息;
    所述根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据,包括:
    根据所述字段在所述载体中的相对位置信息对所述载体中的字段进行裁剪,得到与所述相对位置信息对应的字段图像数据。
  4. 根据权利要求1所述的方法,其特征在于,所述根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息,包括:
    根据所述文本信息对所述字段图像数据中的文本信息进行拆分,得到与所述文本信息对应的每个文字;
    对每一个文字的位置信息进行标注,以得到所述字段图像数据中与所述文本信息对应的每一个文字 的文本位置标注信息。
  5. 根据权利要求4所述的方法,其特征在于,所述基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息,包括:
    基于所述识别模型对所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息进行识别,确定出与所述每一个文字的文本位置标注信息对应的位置信息;
    按照与所述每一个文字的文本位置标注信息对应的位置信息,对所述文本信息中的文字进行排列组合,以得到所述字段图像数据中的文本信息。
  6. 根据权利要求1所述的方法,其特征在于,所述基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理之前,还包括:
    获取样本字段图像数据,所述样本字段图像数据中包括文本位置标注信息;
    根据预设的识别算法生成初始识别模型;
    基于所述包括文本位置标注信息的样本字段图像数据对所述初始识别模型进行训练,得到所述识别模型。
  7. 根据权利要求6所述的方法,其特征在于,所述获取样本数据集之前,还包括:
    获取样本图像数据,所述样本图像数据包括样本字段信息;
    对所述样本图像数据的样本字段信息进行标注,以得到样本字段标注信息;
    根据所述样本字段标注信息,确定所述样本图像数据中样本字段信息的位置信息;
    根据所述样本字段信息的位置信息对所述样本图像数据进行裁剪,得到与所述样本字段信息的位置信息对应的样本字段图像数据。
  8. 根据权利要求1所述的方法,其特征在于,所述对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息,包括:
    获取所述待检测的图像数据中的字段信息;
    调用预设的标注工具对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息。
  9. 根据权利要求8所述的方法,其特征在于,所述调用预设的标注工具对所述待检测的图像数据中的字段信息进行标注之前,还包括:
    输出提示界面,其中,所述提示界面用于提示用户选择标注方式;
    将获取到的用户所选择的标注方式发送给所述预设的标注工具。
  10. 根据权利要求9所述的方法,其特征在于,所述标注方式包括画圈、画矩形、文字标注中的任意一种或多种方式。
  11. 一种图像数据处理设备,其特征在于,包括:
    接收单元,用于接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息;
    第一标注单元,用于对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息;
    确定单元,用于根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,并根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据;
    第二标注单元,用于获取所述字段图像数据中的文本信息,并根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息;
    识别单元,用于基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。
  12. 根据权利要求11所述的设备,其特征在于,所述字段信息包括载体数据和载体数据中的字段数据;所述第一标注单元对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息时,具体用于:
    对所述待检测的图像数据中的载体数据进行标注,得到载体的标注数据;以及,
    对所述载体数据中的字段数据进行标注,得到字段的标注数据;
    将所述载体的标注数据和所述字段的标注数据确定为所述字段标注信息。
  13. 根据权利要求12所述的设备,其特征在于,所述确定单元根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息时,具体用于:
    根据所述字段标注信息中载体的标注数据,确定出所述待检测的图像数据中载体的位置信息;
    根据所述载体的位置信息和所述字段标注信息中字段的标注数据,确定出所述字段在所述载体中的相对位置信息;
    所述确定单元根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据时,具体用于:
    根据所述字段在所述载体中的相对位置信息对所述载体中的字段进行裁剪,得到与所述相对位置信息对应的字段图像数据。
  14. 根据权利要求11所述的设备,其特征在于,所述第二标注单元根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息时,具体用于:
    根据所述文本信息对所述字段图像数据中的文本信息进行拆分,得到与所述文本信息对应的每个文字;
    对每一个文字的位置信息进行标注,以得到所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息。
  15. 根据权利要求14所述的设备,其特征在于,所述识别单元基于识别模型对所述文本位置标注信 息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息时,具体用于:
    基于所述识别模型对所述字段图像数据中与所述文本信息对应的每一个文字的文本位置标注信息进行识别,确定出与所述每一个文字的文本位置标注信息对应的位置信息;
    按照与所述每一个文字的文本位置标注信息对应的位置信息,对所述文本信息中的文字进行排列组合,以得到所述字段图像数据中的文本信息。
  16. 根据权利要求11所述的设备,其特征在于,所述识别单元基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理之前,还用于:
    获取样本字段图像数据,所述样本字段图像数据中包括文本位置标注信息;
    根据预设的识别算法生成初始识别模型;
    基于所述包括文本位置标注信息的样本字段图像数据对所述初始识别模型进行训练,得到所述识别模型。
  17. 根据权利要求16所述的设备,其特征在于,所述识别单元获取样本数据集之前,还用于:
    获取样本图像数据,所述样本图像数据包括样本字段信息;
    对所述样本图像数据的样本字段信息进行标注,以得到样本字段标注信息;
    根据所述样本字段标注信息,确定所述样本图像数据中样本字段信息的位置信息;
    根据所述样本字段信息的位置信息对所述样本图像数据进行裁剪,得到与所述样本字段信息的位置信息对应的样本字段图像数据。
  18. 根据权利要求11所述的设备,其特征在于,所述第一标注单元对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息时,具体用于:
    获取所述待检测的图像数据中的字段信息;
    调用预设的标注工具对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息。
  19. 一种图像数据处理设备,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行:
    接收业务终端发送的待检测的图像数据,所述待检测的图像数据包括字段信息;
    对所述待检测的图像数据中的字段信息进行标注,以得到字段标注信息;
    根据所述字段标注信息确定所述待检测的图像数据中字段信息的位置信息,并根据所述位置信息对所述待检测的图像数据进行裁剪,得到与所述位置信息对应的字段图像数据;
    获取所述字段图像数据中的文本信息,并根据所述文本信息对所述字段图像数据中文本的位置信息进行标注,以得到文本位置标注信息;
    基于识别模型对所述文本位置标注信息和所述字段图像数据进行处理,以识别出所述字段图像数据中的文本信息。
  20. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-10任一项所述的方法。
PCT/CN2019/116971 2019-01-04 2019-11-11 一种图像数据处理方法、设备及计算机可读存储介质 Ceased WO2020140608A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910015284.4 2019-01-04
CN201910015284.4A CN109829457B (zh) 2019-01-04 2019-01-04 一种图像数据处理方法、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2020140608A1 true WO2020140608A1 (zh) 2020-07-09

Family

ID=66860007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/116971 Ceased WO2020140608A1 (zh) 2019-01-04 2019-11-11 一种图像数据处理方法、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109829457B (zh)
WO (1) WO2020140608A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084932A (zh) * 2020-09-07 2020-12-15 中国平安财产保险股份有限公司 基于图像识别的数据处理方法、装置、设备及存储介质
CN112766418A (zh) * 2021-03-02 2021-05-07 阳光财产保险股份有限公司 图像文本方向分类方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658921B (zh) * 2019-01-04 2024-05-28 平安科技(深圳)有限公司 一种语音信号处理方法、设备及计算机可读存储介质
CN109829457B (zh) * 2019-01-04 2024-07-19 平安科技(深圳)有限公司 一种图像数据处理方法、设备及计算机可读存储介质
CN110689010B (zh) * 2019-09-27 2021-05-11 支付宝(杭州)信息技术有限公司 一种证件识别方法及装置
CN111768405B (zh) * 2020-08-05 2024-02-13 赛维森(广州)医疗科技服务有限公司 处理标注图像的方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160295A1 (en) * 2005-12-29 2007-07-12 Canon Kabushiki Kaisha Method and apparatus of extracting text from document image with complex background, computer program and storage medium thereof
CN104850819A (zh) * 2014-02-18 2015-08-19 联想(北京)有限公司 信息处理方法及电子设备
CN104866849A (zh) * 2015-04-30 2015-08-26 天津大学 一种基于移动终端的食品营养成分标签识别方法
CN108549843A (zh) * 2018-03-22 2018-09-18 南京邮电大学 一种基于图像处理的增值税发票识别方法
CN109829457A (zh) * 2019-01-04 2019-05-31 平安科技(深圳)有限公司 一种图像数据处理方法、设备及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156767A (zh) * 2016-03-02 2016-11-23 平安科技(深圳)有限公司 行驶证有效期自动提取方法、服务器及终端
CN107067044B (zh) * 2017-05-31 2024-03-29 北京空间飞行器总体设计部 一种财务报销全票据智能审核系统
CN108805116B (zh) * 2018-05-18 2022-06-24 浙江蓝鸽科技有限公司 图像文本检测方法及其系统
CN109086756B (zh) * 2018-06-15 2021-08-03 众安信息技术服务有限公司 一种基于深度神经网络的文本检测分析方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070160295A1 (en) * 2005-12-29 2007-07-12 Canon Kabushiki Kaisha Method and apparatus of extracting text from document image with complex background, computer program and storage medium thereof
CN104850819A (zh) * 2014-02-18 2015-08-19 联想(北京)有限公司 信息处理方法及电子设备
CN104866849A (zh) * 2015-04-30 2015-08-26 天津大学 一种基于移动终端的食品营养成分标签识别方法
CN108549843A (zh) * 2018-03-22 2018-09-18 南京邮电大学 一种基于图像处理的增值税发票识别方法
CN109829457A (zh) * 2019-01-04 2019-05-31 平安科技(深圳)有限公司 一种图像数据处理方法、设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084932A (zh) * 2020-09-07 2020-12-15 中国平安财产保险股份有限公司 基于图像识别的数据处理方法、装置、设备及存储介质
CN112084932B (zh) * 2020-09-07 2023-08-08 中国平安财产保险股份有限公司 基于图像识别的数据处理方法、装置、设备及存储介质
CN112766418A (zh) * 2021-03-02 2021-05-07 阳光财产保险股份有限公司 图像文本方向分类方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109829457A (zh) 2019-05-31
CN109829457B (zh) 2024-07-19

Similar Documents

Publication Publication Date Title
WO2020140608A1 (zh) 一种图像数据处理方法、设备及计算机可读存储介质
CN108830138B (zh) 牲畜识别方法、装置及存储介质
CN110335367B (zh) 设备巡检方法、设备巡检装置及终端设备
WO2021012382A1 (zh) 配置聊天机器人的方法、装置、计算机设备和存储介质
CN106297788B (zh) 控制方法及控制装置
CN111444750B (zh) 一种pdf文档识别方法、装置及电子设备
CN110290280A (zh) 一种终端状态的识别方法、装置及存储介质
CN108830562B (zh) 一种考勤打卡方法及相关设备
CN113127058A (zh) 数据标注方法、相关装置及计算机程序产品
CN108334335A (zh) 一种软件源代码版本确定方法及装置
CN104537049A (zh) 一种图片浏览方法及装置
WO2017084591A1 (zh) 恶意电话的识别方法和装置
CN107679222B (zh) 图片处理方法、移动终端及计算机可读存储介质
WO2017084592A1 (zh) 恶意电话的语音特征库的配置方法和装置
TWI824550B (zh) 畸變圖像生成方法、電子設備及計算機可讀存儲媒體
CN110717891A (zh) 基于分组批量的图片检测方法、装置及存储介质
CN106302935B (zh) 一种通信信息的识别方法及系统
CN114445652A (zh) 一种应用中元素的识别方法、应用测试方法及相关硬件
CN111178353A (zh) 一种图像文字的定位方法和装置
CN110796137A (zh) 一种识别图像的方法和装置
CN110532186A (zh) 利用验证码进行测试的方法、装置、电子设备和存储介质
WO2019233165A1 (zh) 一种设备维护方法、服务器、终端及系统
CN110992067B (zh) 消息推送方法、装置、计算机设备及存储介质
CN115578740A (zh) 数据处理方法、计算机设备及计算机存储介质
CN109379361B (zh) 一种地址的标签确定方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19908044

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 19.11.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19908044

Country of ref document: EP

Kind code of ref document: A1