WO2018040342A1 - 用于识别图像中文字区域的方法和装置 - Google Patents

用于识别图像中文字区域的方法和装置 Download PDF

Info

Publication number
WO2018040342A1
WO2018040342A1 PCT/CN2016/108419 CN2016108419W WO2018040342A1 WO 2018040342 A1 WO2018040342 A1 WO 2018040342A1 CN 2016108419 W CN2016108419 W CN 2016108419W WO 2018040342 A1 WO2018040342 A1 WO 2018040342A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
image
contour
contours
color values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/108419
Other languages
English (en)
French (fr)
Inventor
陈鑫
高建忠
雷成军
吴冬雪
杨琳琳
程涛远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to JP2018554441A priority Critical patent/JP6705912B2/ja
Publication of WO2018040342A1 publication Critical patent/WO2018040342A1/zh
Priority to US16/160,740 priority patent/US10803338B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Definitions

  • the present application relates to the field of computer technology, and in particular to the field of pattern recognition technology, and in particular, to a method and apparatus for identifying a text area in an image.
  • OCR Optical Character Recognition
  • the existing character recognition technology has a problem that the order of the lines of characters in the recognition result is incorrect.
  • the purpose of the present application is to propose an improved method and apparatus for identifying text areas in an image to solve the technical problems mentioned in the background section above.
  • the present application provides a method for identifying a text area in an image,
  • the method includes: acquiring color values and position information of respective pixel points in an image to be identified; clustering the pixel points based on color values of the respective pixel points, wherein pixels in each pixel point category The color values of the points are the same or similar; for each type of pixel after the clustering process, the contours of the respective connected regions formed by the pixels in the pixel are determined to obtain a contour set; based on each contour in the contour set The color values and position information are combined to form the respective text regions in the image.
  • the position information includes lateral coordinates and longitudinal coordinates; and the respective contours are combined based on color values and positional information of respective contours in the set of contours to obtain the image
  • Each text area includes: combining contours having the same or similar color values and the first horizontal spacing not greater than the first predetermined threshold for each contour located in the same row to obtain respective sets of text lines; for each set of text lines, Each set of text lines is merged based on the color value, the vertical coordinate, and the horizontal coordinate of each set of text lines to obtain each text area in the image.
  • each set of text lines is merged based on color values, longitudinal coordinates, and lateral coordinates of each set of text lines to obtain respective text regions in the image including: calculating a longitudinal phase a second horizontal spacing between the longitudinal spacing of the adjacent lines of text and the respective starting lateral coordinates; combining the lines of text having the same color value, the longitudinal spacing not greater than the second predetermined threshold, and the second lateral spacing not greater than the third predetermined threshold, To obtain each text area in the image.
  • the method further includes: determining a circumscribed rectangle of each of the contours, a color value of the circumscribed rectangle is a color value of the corresponding contour, and position information of the circumscribed rectangle is a coordinate of four sides of the corresponding contour; And merging the respective contours based on color values and position information of respective contours in the contour set to obtain respective text regions in the image, including: colors based on circumscribed rectangles of the respective contours Value and location information, combining the circumscribed rectangles to obtain respective text regions in the image.
  • the present application provides a method for recognizing a character in an image, the method comprising: performing character recognition on each of the recognized text regions in the identified image to obtain respective character recognition results, wherein Each of the text regions in the image to be recognized is obtained by the method according to any one of claims 1 to 5; the respective character recognition results obtained by the aggregation are obtained.
  • the present application provides an apparatus for identifying a text area in an image, the apparatus comprising: an acquiring unit configured to acquire color values and position information of respective pixel points in an image to be recognized; clustering a unit configured to cluster the pixel points based on color values of the respective pixel points, wherein color values of pixel points in each pixel point category are the same or similar; a contour determining unit configured to focus on Each type of pixel after class processing, determining a contour of each connected region formed by pixels in the pixel to obtain a contour set; and a text region generating unit configured to determine a color based on each contour in the contour set Value and position information, the respective contours are combined to obtain respective text regions in the image.
  • the text area generating module includes: a calculating sub-module configured to calculate a longitudinal spacing between vertically adjacent lines of text and a second lateral spacing between respective starting lateral coordinates; a merge sub-module, configured And combining the lines of text having the same color value, the longitudinal spacing not greater than the second predetermined threshold, and the second lateral spacing not greater than the third predetermined threshold to obtain respective text regions in the image.
  • the present application provides an apparatus for recognizing characters in an image, the apparatus comprising: a text area recognizing unit, the text area recognizing unit comprising the same according to any one of claims 7-11 a device for recognizing a text area in an image; a character recognition unit configured to perform character recognition on each of the recognized text regions in the identified image to obtain respective character recognition results; and an aggregation unit configured to be aggregated Individual text recognition results.
  • the present application provides a computer system comprising: a memory configured to store executable instructions; and one or more processors configured to communicate with the memory to execute executable instructions thereby A method for identifying a text area in an image as described above is completed.
  • 3a-3c are schematic diagrams of an application scenario of a method for identifying a text area in an image according to the present application
  • FIG. 4 is a flow diagram of one embodiment of a method for identifying text in an image in accordance with the present application
  • Figure 5 is a block diagram showing an embodiment of an apparatus for identifying a text area in an image according to the present application
  • Step 202 Cluster the pixel points based on the color values of the respective pixel points.
  • the method for clustering pixels in an image may be various clustering algorithms, such as a Kmeans (also called K-means) algorithm, a K-MEDOIDS algorithm, a CLARANS algorithm, and the like.
  • Kmeans also called K-means
  • K-MEDOIDS K-MEDOIDS
  • CLARANS CLARANS
  • Step 203 Determine, for each type of pixel point after the clustering process, a contour of each connected region formed by the pixel points in the pixel point to obtain a contour set.
  • whether the two contours belong to the same row can be determined as follows: if the difference between the maximum values of the longitudinal coordinates in the position information of the two contours is smaller than a seventh predetermined threshold (for example, 2 pixels) and the position information of the two contours The difference between the minimum values of the longitudinal coordinates in the medium is less than the eighth predetermined threshold (for example, 2 pixels), and it is determined that the two contours belong to the same row.
  • a seventh predetermined threshold for example, 2 pixels
  • the eighth predetermined threshold for example, 2 pixels
  • each set of text lines is merged based on the color value, the vertical coordinate, and the horizontal coordinate of each set of text lines to obtain each text area in the image.
  • the method may further include the steps of: first, calculating a longitudinal spacing between vertically adjacent lines of text and a third lateral spacing between respective ending lateral coordinates; and then, the color values are the same and the longitudinal spacing is not greater than a second predetermined threshold (eg, The text lines of the sum of the line heights of the two text lines and the third horizontal spacing not greater than a ninth predetermined threshold (for example, twice the sum of the line heights of the two text lines) are combined to obtain an image Each text area in .
  • a second predetermined threshold eg, The text lines of the sum of the line heights of the two text lines and the third horizontal spacing not greater than a ninth predetermined threshold (for example, twice the sum of the line heights of the two text lines) are combined to obtain an image
  • a ninth predetermined threshold for example, twice the sum of the line heights of the two
  • the text recognition result obtained in step 401 can be aggregated according to the text area to which the character recognition result belongs, and finally the text recognition result of the aggregated image to be recognized is obtained.
  • the apparatus 600 for recognizing characters in an image includes a text area recognizing unit 601, a character recognizing unit 602, and an aggregating unit 603.
  • the text area identifying unit 601 includes: a device for identifying a text area in an image according to any one of claims 7-11; and a character recognition unit 602 configured to pair the identified image to be recognized Each character area is separately recognized by a character to obtain each character recognition result, and the aggregation unit 603 is configured to aggregate the obtained character recognition results.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Abstract

用于识别图像中文字区域的方法和装置。所述方法的一具体实施方式包括：获取待识别的图像中的各个像素点的颜色值和位置信息（201）；基于所述各个像素点的颜色值，对所述像素点进行聚类（202），其中每个像素点类别中的像素点的颜色值相同或相似；针对聚类处理后的每类像素点，确定由该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合（203）；基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域（204）。该实施方式提高了图像文字识别中文字行顺序识别的准确率。

Description

用于识别图像中文字区域的方法和装置
相关申请的交叉引用
本申请要求于2016年8月31日提交的中国专利申请号为“201610794963.2”、发明名称为“用于识别图像中文字区域的方法和装置”的中国专利申请的优先权，其全部内容作为整体并入本申请中。
技术领域
本申请涉及计算机技术领域，具体涉及模式识别技术领域，尤其涉及用于识别图像中文字区域的方法和装置。
背景技术
光学字符识别(Optical Character Recognition，OCR)，又称为文字识别是指识别图像中字符的技术。
然而，对于图文混合、排版复杂且风格多样的图像，现有的文字识别技术在识别时往往只能识别出文字行以及文字，但无法判断出文字行与文字行之间的顺序。假设待识别的图片如图1所示，一般的OCR系统会按从上到下、从左到右的顺序来对识别出的文字排序，所以图1中识别出的文字顺序是“标题第一章第三章第二章第四章”，而实际上原图的排版中，“第一章”和“第二章”是连续的，“第三章”和“第四章”是连续的。
因此，现有的文字识别技术存在识别结果中文字行顺序不正确的问题。
发明内容
本申请的目的在于提出一种改进的用于识别图像中文字区域的方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种用于识别图像中文字区域的方法， 所述方法包括：获取待识别的图像中的各个像素点的颜色值和位置信息；基于所述各个像素点的颜色值，对所述像素点进行聚类，其中每个像素点类别中的像素点的颜色值相同或相似；针对聚类处理后的每类像素点，确定由该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合；基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域。
在一些实施例中，所述位置信息包括横向坐标和纵向坐标；以及所述基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域，包括：针对位于同一行的各个轮廓，将颜色值相同或相似且第一横向间距不大于第一预定阈值的轮廓进行合并，以得到各个文字行集合；针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到所述图像中的各个文字区域。
在一些实施例中，针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到所述图像中的各个文字区域包括：计算纵向相邻的文字行的纵向间距和各自起始横向坐标之间的第二横向间距；将颜色值相同、纵向间距不大于第二预定阈值以及第二横向间距不大于第三预定阈值的文字行合并，以得到所述图像中的各个文字区域。
在一些实施例中，所述方法还包括：确定所述各个轮廓的外接矩形，所述外接矩形的颜色值为对应轮廓的颜色值，所述外接矩形的位置信息为对应轮廓的四边顶点坐标；以及所述基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域，包括：基于所述各个轮廓的外接矩形的颜色值和位置信息，对所述各个外接矩形进行合并，以得到所述图像中的各个文字区域。
在一些实施例中，在基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域之前，所述方法还包括：基于各个轮廓的纵向坐标信息，从所述各个轮廓中删除纵向高度大于第四预定阈值的轮廓。
第二方面，本申请提供了一种用于识别图像中文字的方法，所述方法包括：对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果，其中，待识别图像中的各个文字区域是通过如权利要求1-5中任一所述的方法得到的；聚合所得到的各个文字识别结果。
第三方面，本申请提供了一种用于识别图像中文字区域的装置，所述装置包括：获取单元，配置用于获取待识别的图像中的各个像素点的颜色值和位置信息；聚类单元，配置用于基于所述各个像素点的颜色值，对所述像素点进行聚类，其中每个像素点类别中的像素点的颜色值相同或相似；轮廓确定单元，配置用于针对聚类处理后的每类像素点，确定由该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合；文字区域生成单元，配置用于基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域。
在一些实施例中，所述位置信息包括横向坐标和纵向坐标；以及所述文字区域生成单元，包括：文字行生成模块，配置用于针对位于同一行的各个轮廓，将颜色值相同或相似且第一横向间距不大于第一预定阈值的轮廓进行合并，以得到各个文字行集合；文字区域生成模块，配置用于针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到所述图像中的各个文字区域。
在一些实施例中，所述文字区域生成模块包括：计算子模块，配置用于计算纵向相邻的文字行的纵向间距和各自起始横向坐标之间的第二横向间距；合并子模块，配置用于将颜色值相同、纵向间距不大于第二预定阈值以及第二横向间距不大于第三预定阈值的文字行合并，以得到所述图像中的各个文字区域。
在一些实施例中，所述装置还包括：外接矩形确定单元，配置用于确定所述各个轮廓的外接矩形，所述外接矩形的颜色值为对应轮廓的颜色值，所述外接矩形的位置信息为对应轮廓的四边顶点坐标；以及所述文字区域生成单元进一步配置用于：基于所述各个轮廓的外接 矩形的颜色值和位置信息，对所述各个外接矩形进行合并，以得到所述图像中的各个文字区域。
在一些实施例中，所述装置还包括：删除单元，配置用于基于各个轮廓的纵向坐标信息，从所述各个轮廓中删除纵向高度大于第四预定阈值的轮廓。
第四方面，本申请提供了一种用于识别图像中文字的装置，所述装置包括：文字区域识别单元，所述文字区域识别单元包括如权利要求7-11中任一所述的用于识别图像中文字区域的装置；文字识别单元，配置用于对对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果；聚合单元，配置用于聚合所得到的各个文字识别结果。
第五方面，本申请提供了一种计算机系统，所述计算机系统包括：存储器，配置用于存储可执行指令；一个或多个处理器，配置用于与所述存储器通信以执行可执行指令从而完成如上所述的用于识别图像中文字区域的方法。
第六方面，本申请提供了一种计算机系统，所述计算机系统包括：存储器，配置用于存储可执行指令；一个或多个处理器，配置用于与所述存储器通信以执行可执行指令从而完成以下操作：对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果，其中，待识别图像中的各个文字区域是通过如上所述的用于识别图像中文字区域的方法得到的；聚合所得到的各个文字识别结果。
第七方面，本申请提供了一种非易失性计算机存储介质，所述计算机存储介质存储有能够被处理器执行的计算机可读指令，当所述计算机可读指令被处理器执行时，所述处理器完成如上所述的用于识别图像中文字区域的方法。
第八方面，本申请提供了一种非易失性计算机存储介质，所述计算机存储介质存储有能够被处理器执行的计算机可读指令，当所述计算机可读指令被处理器执行时，所述处理器完成以下操作：对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果，其中，待识别图像中的各个文字区域是通过如上所述的用 于识别图像中文字区域的方法得到的；聚合所得到的各个文字识别结果。
本申请提供的用于识别图像中文字区域的方法和装置，通过获取待识别的图像中的各个像素点的颜色值和位置信息，再基于各个像素点的颜色值对像素点进行聚类，接着针对聚类处理后的每类像素点，确定由该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合，最后基于轮廓集合中的各个轮廓的颜色值和位置信息，对各个轮廓进行合并，以得到图像中的各个文字区域，从而有效利用了像素点的颜色值和位置信息来识别文字区域。同时，本发明提供的用于识别图像中文字的方法和装置，通过上述用于识别图像中文字区域的方法和装置可以提前识别出图像中文字区域，之后再对识别出的各个文字区域进行文字识别，并聚合各个文字区域的识别结果，从而可以保证图像文字识别中文字行顺序的正确。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是一幅待识别图像的示意图；
图2是根据本申请的用于识别图像中文字区域的方法的一个实施例的流程图；
图3a-图3c是根据本申请的用于识别图像中文字区域的方法的一个应用场景的示意图；
图4是根据本申请的用于识别图像中文字的方法的一个实施例的流程图；
图5是根据本申请的用于识别图像中文字区域的装置的一个实施例的结构示意图；
图6是根据本申请的用于识别图像中文字的装置的一个实施例的结构示意图；
图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图2，其示出了根据本申请的用于识别图像中文字区域的方法的一个实施例的流程200。所述的用于识别图像中文字区域的方法，包括以下步骤：
步骤201，获取待识别的图像中的各个像素点的颜色值和位置信息。
在本实施例中，用于识别图像中文字区域的方法运行于其上的电子设备可以首先获取待识别的图像，其中，待识别的图像可以包括但不限于jpg、bmp、tif、gif、png等格式的图像文件，待识别的图像也可以是截图；然后，可以获取上述待识别图像中的各个像素点的颜色值和位置信息。
在本实施例中，待识别图像中各个像素点的颜色值可以是采用各种颜色表示方法的颜色值，例如，可以是RGB(Red Green Blue，红绿蓝)色彩模式的颜色值，也可以是HSV(Hue-Saturation-Value，色调-饱和度-明度)颜色模型的颜色值，还可以是灰度值。
在本实施例的一些可选的实现方式中，待识别图像中各个像素点的位置信息可以包括像素点的横向坐标和纵向坐标。作为示例，待识别图像中各个像素点的位置信息可以是以待识别图像的左上角坐标为原点的横向坐标和纵向坐标。
步骤202，基于各个像素点的颜色值，对像素点进行聚类。
在本实施例中，上述电子设备可以基于步骤201获取的各个像素点的颜色值，对像素点进行聚类，得到至少两个像素点类别，其中， 每个像素点类别中的像素点的颜色值相同或相似。每个像素点类别对应有一聚类后的颜色值。
在本实施例中，对图像内像素点进行聚类的方法可以是各种聚类算法，例如：Kmeans(也叫K均值)算法、K-MEDOIDS算法、CLARANS算法等聚类算法。
需要说明的是，上述各种聚类方法是目前广泛研究和应用的公知技术，在此不再赘述。
步骤203，针对聚类处理后的每类像素点，确定由该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合。
在本实施例中，上述电子设备可以针对聚类处理后的每类像素点，确定由该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合。这里，轮廓包括颜色值和位置信息，轮廓的颜色值为构成该轮廓的像素点类别的颜色值，轮廓的位置信息包括构成轮廓的像素点的位置信息。
在本实施例中，确定连通区域的轮廓的算法可以是各种轮廓识别算法，例如：Snake模型，Sobel算子，Robert算子，Laplacian算子，Prewitt算子，Canny算子等。
需要说明的是，上述各种轮廓识别的方法是目前广泛研究和应用的公知技术，在此不再赘述。
步骤204，基于轮廓集合中的各个轮廓的颜色值和位置信息，对各个轮廓进行合并，以得到图像中的各个文字区域。
在本实施例的一些可选的实现方式中，可以将轮廓集合中颜色值相同或相似、第一横向间距不大于第五预定阈值(例如，两个轮廓的高度之和的四分之一)且纵向间距不大于第六预定阈值(例如，两个轮廓的高度之和的二分之一)的轮廓进行合并，得到各个文字区域集合。
需要说明的是，本申请中所述的两个轮廓间的第一横向间距指的是两个轮廓的位置信息中横向坐标最大值较大的轮廓的位置信息中横向坐标最小值减去横向坐标最大值较小的轮廓的位置信息中横向坐标最大值所得的差；两个轮廓间的纵向间距指的是两个轮廓的位置信息 中纵向坐标最大值较大的轮廓的位置信息中纵向坐标最小值减去纵向坐标最大值较小的轮廓的位置信息中纵向坐标最大值所得的差。
在本实施例的一些可选的实现方式中，也可以首先针对位于同一行的各个轮廓，将颜色值相同或相似且第一横向间距不大于第一预定阈值(例如，两个轮廓的高度之和的四分之一)的轮廓进行合并，以得到各个文字行集合；然后，针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到图像中的各个文字区域。这里，可以按照如下方式确定两个轮廓是否属于同一行：如果两个轮廓的位置信息中的纵向坐标最大值的差值小于第七预定阈值(例如，2个像素)且两个轮廓的位置信息中的纵向坐标最小值的差值小于第八预定阈值(例如，2个像素)，则确定两个轮廓属于同一行。
在本实施例的一些可选的实现方式中，针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到图像中的各个文字区域，可以包括如下步骤：首先，计算纵向相邻的文字行的纵向间距和各自起始横向坐标之间的第二横向间距；然后，将颜色值相同、纵向间距不大于第二预定阈值(例如，两个文字行的行高之和的二分之一)以及第二横向间距不大于第三预定阈值(例如，两个文字行的行高之和)的文字行合并，以得到图像中的各个文字区域。基于上述步骤可以将纵向坐标相邻行合并到一起，并同时对首行缩进的情况进行了考虑。
在本实施例的一些可选的实现方式中，针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到图像中的各个文字区域，也可以包括如下步骤：首先，计算纵向相邻的文字行的纵向间距和各自结束横向坐标之间的第三横向间距；然后，将颜色值相同、纵向间距不大于第二预定阈值(例如，两个文字行的行高之和的二分之一)以及第三横向间距不大于第九预定阈值(例如，两个文字行的行高之和的两倍)的文字行合并，以得到图像中的各个文字区域。基于上述步骤可以将纵向坐标相邻行合并到一起，并同时对末行结束的位置未到达行尾的情况进行了 考虑。
在本实施例的一些可选的实现方式中，在步骤204之前，还可以包括：基于各个轮廓的纵向坐标信息，从各个轮廓中删除纵向高度大于第四预定阈值(例如，100个像素)的轮廓。由于待识别图像中可能存在背景区域、配图区域以及文字区域，经过此步骤，可以将背景区域和配图区域的轮廓从轮廓集合中去除。
在本实施例的一些可选的实现方式中，在步骤204之前，还可以包括：确定各个轮廓的外接矩形，其中，外接矩形的颜色值为对应轮廓的颜色值，外接矩形的位置信息为对应轮廓的四边顶点坐标。这样，基于轮廓集合中的各个轮廓的颜色值和位置信息，对各个轮廓进行合并，以得到图像中的各个文字区域，就可以包括：基于各个轮廓的外接矩形的颜色值和位置信息，对各个外接矩形进行合并，以得到图像中的各个文字区域。这里，可以采用如下步骤基于各个轮廓的外接矩形的颜色值和位置信息，对各个外接矩形进行合并，以得到图像中的各个文字区域：首先，合并各个轮廓的外接矩形，以形成文字行矩形集合，其中，轮廓的外接矩形的颜色值与轮廓的颜色值相同，文字行矩形的颜色值与合并到该文字行矩形中的各个外接矩形的颜色值相同；然后，合并各个文字行矩形，以形成各个文字区域，其中，文字区域的颜色值与合并到该文字区域中的各个文字行矩形的颜色值相同。
在本实施例的一些可选的实现方式中，可以将各个轮廓的外接矩形中符合以下条件的外接矩形合并成文字行矩形：两个外接矩形的颜色值相同、两个外接矩形间的第一横向间距不大于第十预定阈值(例如，两个外接矩形的高度之和的四分之一)、两个外接矩形的纵向坐标最大值的差值不大于第十一预定阈值(例如，2个像素)且两个外接矩形的纵向坐标最小值的差值不大于第十二预定阈值(例如，2个像素)。
在本实施例的一些可选的实现方式中，可以将各个轮廓外接矩形中符合以下条件的外接矩形合并成文字行矩形：两个外接矩形的颜色值相同、两个外接矩形间的第一横向间距不大于第十三预定阈值(例 如，两个外接矩形的高度之和的四分之一)且两个外接矩形的纵向坐标重叠距离大于第十四预定阈值(例如，两个外接矩形的高度之和的四分之一)。
在本实施例的一些可选的实现方式中，可以将各个轮廓外接矩形中符合以下条件的外接矩形合并成文字行矩形：两个外接矩形的颜色值相同、两个外接矩形间的第一横向间距小于第十五预定阈值(例如，两个外接矩形的高度之和的四分之一)、其中一个外接矩形的纵向坐标最小值大于另一个外接矩形的纵向坐标最小值且该外接矩形的纵向坐标最大值小于另一个外接矩形的纵向坐标最大值。
在本实施例的一些可选的实现方式中，可以将外接矩形集合中有交集的两个外接矩形合并成文字行矩形。
在本实施例的一些可选的实现方式中，上述合并各个文字行矩形，以形成各个文字区域，可以包括如下步骤：
首先，为各个文字行矩形生成文字行标识。
然后，对各个文字行矩形，生成与该文字行矩形对应的文字区域，其中，文字区域包括：四个文字区域矩形顶点坐标，颜色值，行高，行间距和文字行标识链表。
接着，对各个文字区域，分别将该文字区域的四个文字区域顶点坐标、颜色值和行高设置为与该文字区域对应的文字行矩形的四个文字行矩形顶点坐标、颜色值和四个文字行矩形顶点坐标中的纵向坐标最大值与纵向坐标最小值的差值，为该文字区域的文字行标识链表添加一个元素，并设置该元素的值为与该文字区域对应的文字行矩形的文字行标识。
而后，执行如下合并步骤：查找上述各个文字区域中符合以下条件组中所有条件的两个文字区域：两个文字区域的颜色值相同，两个文字区域的行高之间的差值不大于第十六预定阈值(例如，2个像素)，两个文字区域之间的竖直距离不大于第十七预定阈值(例如，2个像素)，两个文字区域之间的竖直距离与两个文字区域的行间距之间的差值均不大于第十八预定阈值(例如，2个像素)，两个文字区域之间的第二横向间距不大于第十九预定阈值(例如，两个文字区域的行高之 和的两倍)和/或两个文字区域的第三横向间距不大于第二十预定阈值(例如，两个文字行的行高之和的两倍)；将两个文字区域合并成新文字区域，用两个文字区域的最小外接矩形四个顶点坐标设置新文字区域的四个顶点坐标，并根据两个文字区域的行高设置新文字区域的行高(例如，用两个文字区域的行高均值设置新文字区域的行高)，根据两个文字区域的行间距设置新文字区域的行间距(例如，用两个文字区域的行间距均值设置新文字区域的行间距)；用两个文字区域的颜色值设置新文字区域的颜色值，将两个文字区域的文字行标识链表合并，并用合并后的文字行标识链表设置新文字区域的文字行标识链表；将合并后形成的新文字区域和各个文字区域中未进行合并的文字区域形成新的各个文字区域；判断新的各个文字区域中是否存在符合上述条件组中所有条件的两个文字区域；如果不存在，则将新的各个文字区域作为最终的识别结果；如果存在，则将新的各个文字区域作为文字区域继续执行上述合并步骤。
继续参见图3a-3c，图3a-3c是根据本实施例的用于识别图像中文字区域的方法的应用场景的一个示意图。在图3的应用场景中，待识别的图片如图3a所示，整个图片包括四个部分，位于第一行的第一部分是一行文字(如图3a中图标301所示)，位于第二行最左边的是由“文字2”和“文字3”组成的第二部分(如图3a中图标302所示)，位于第二行中间的图片是第三部分(如图3a中图标303所示)，位于第二行最右边的是由“文字4”和“文字5”组成的第四部分(如图3a中图标304所示)。一般的文字识别系统会按从上到下、从左到右的顺序来对识别出的文字排序，所以识别出的文字行顺序会是“文字1文字2文字4文字3文字5”，而实际上原图的排版中，“文字2”和“文字3”是连续的，“文字4”和“文字5”是连续的，因此一般的文字识别系统会将文字行顺序识别错误。针对此类图片的特点，使用本申请所述的用于识别图像中文字区域的方法，先识别出图像中的文字行，如图3b中图标305、306、307、308和309所示的五个文字行，再合并文字行后得到如图3c所示中图标310、311和312所示的 三个文字区域。在图3c的基础上可以对图标310、311和312所示的三个文字区域分别进行文字识别，再聚合各个文字区域的识别结果，就可以得到正确顺序的文字识别。
本申请的上述实施例提供的方法通过对待识别图像进行聚类、轮廓识别和生成文字区域，从而提前识别出待识别图像中的文字区域，之后可以单独对不同的文字区域进行文字识别，从而可以保证图像文字识别中文字行顺序的正确。
进一步参考图4，其示出了用于识别图像中文字的方法的一个实施例的流程400。该用于识别图像中文字的方法的流程400，包括以下步骤：
步骤401，对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果。
在本实施例中，待识别图像中的各个文字区域可以是通过如图2所示的用于识别图像中文字区域的方法得到的。
在本实施例的一些可选的实现方式中，可以先对待识别图像中的各个文字区域中的各个文字行切分成文字子块，然后再对每个文字子块进行文字识别。对每个文字子块进行识别可以先提取该文字子块中的特征，然后将提取的特征与预先训练好的文字库中的文字特征进行匹配并给出匹配结果。这里的特征，简易的区分可分为两类：一为统计的特征，如文字区域内的黑/白点数比值；而另一类特征为结构的特征，如字的笔划端点、交叉点之数量及位置，或以笔划段为特征等。
需要说明的是，上述对文字区域中的文字进行识别的各种方法是目前广泛研究和应用的公知技术，在此不再赘述。
步骤402，聚合所得到的各个文字识别结果。
在本实施例中，可以对步骤401中得到的各个文字识别结果，按照该文字识别结果所属的文字区域进行聚合，最后得到聚合后的待识别图像的文字识别结果。
继续参考图5，作为对上述各图所示方法的实现，本申请提供了 一种用于识别图像中文字区域的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例所述的用于识别图像中文字区域的装置500包括：获取单元501、聚类单元502、轮廓确定单元503和文字区域生成单元504。其中，获取单元501，配置用于获取待识别的图像中的各个像素点的颜色值和位置信息；聚类单元502，配置用于基于上述各个像素点的颜色值，对上述像素点进行聚类，其中每个像素点类别中的像素点的颜色值相同或相似；轮廓确定单元503，配置用于针对聚类处理后的每类像素点，确定由该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合；文字区域生成单元504，配置用于基于上述轮廓集合中的各个轮廓的颜色值和位置信息，对上述各个轮廓进行合并，以得到上述图像中的各个文字区域。
在本实施例中，用于识别图像中文字区域的装置500的获取单元501、聚类单元502、轮廓确定单元503和文字区域生成单元504的具体处理可分别参考图2对应实施例中步骤201、步骤202、步骤203和步骤204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，上述位置信息可以包括横向坐标和纵向坐标；以及上述文字区域生成单元504可以包括：文字行生成模块5041，配置用于针对位于同一行的各个轮廓，将颜色值相同或相似且第一横向间距不大于第一预定阈值的轮廓进行合并，以得到各个文字行集合；文字区域生成模块5042，配置用于针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到上述图像中的各个文字区域。
在本实施例的一些可选的实现方式中，上述文字区域生成模块5042可以包括：计算子模块50421，配置用于计算纵向相邻的文字行的纵向间距和各自起始横向坐标之间的第二横向间距；合并子模块50422，配置用于将颜色值相同、纵向间距不大于第二预定阈值以及第二横向间距不大于第三预定阈值的文字行合并，以得到上述图像中的各个文字区域。
在本实施例的一些可选的实现方式中，用于识别图像中文字区域的装置500还可以包括：外接矩形确定单元505，配置用于确定上述各个轮廓的外接矩形，上述外接矩形的颜色值为对应轮廓的颜色值，上述外接矩形的位置信息为对应轮廓的四边顶点坐标；以及上述文字区域生成单元504进一步配置用于：基于上述各个轮廓的外接矩形的颜色值和位置信息，对上述各个外接矩形进行合并，以得到上述图像中的各个文字区域。
在本实施例的一些可选的实现方式中，用于识别图像中文字区域的装置500还可以包括：删除单元506，配置用于基于各个轮廓的纵向坐标信息，从上述各个轮廓中删除纵向高度大于第四预定阈值的轮廓。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种用于识别图像中文字的装置的一个实施例，该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例所述的用于识别图像中文字的装置600包括：文字区域识别单元601、文字识别单元602和聚合单元603。其中，文字区域识别单元601，包括如权利要求7-11中任一所述的用于识别图像中文字区域的装置；文字识别单元602，配置用于对对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果；聚合单元603，配置用于聚合所得到的各个文字识别结果。
在本实施例中，用于识别图像中文字的装置600的文字区域识别单元601、文字识别单元602和聚合单元603的具体处理可分别参考图4对应实施例中步骤401和步骤402的相关说明，在此不再赘述。
下面参考图7，其示出了适于用来实现本申请实施例的电子设备的计算机系统700的结构示意图。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作 和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口706。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实 现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、聚类单元、轮廓确定单元和文字区域生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待识别图像的单元”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：获取待识别的图像中的各个像素点的颜色值和位置信息；基于上述各个像素点的颜色值，对上述像素点进行聚类，其中每个像素点类别中的像素点的颜色值相同或相似；针对聚类处理后的每类像素点，确定由该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合；基于上述轮廓集合中的各个轮廓的颜色值和位置信息，对上述各个轮廓进行合并，以得到上述图像中的各个文字区域。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

  1. 一种用于识别图像中文字区域的方法，其特征在于，所述方法包括：
    获取待识别的图像中的各个像素点的颜色值和位置信息；
    基于所述各个像素点的颜色值，对所述像素点进行聚类，其中每个像素点类别中的像素点的颜色值相同或相似；
    针对聚类处理后的每类像素点，确定由该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合；
    基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域。
  2. 根据权利要求1所述的方法，其特征在于，所述位置信息包括横向坐标和纵向坐标；以及
    所述基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域，包括：
    针对位于同一行的各个轮廓，将颜色值相同或相似且第一横向间距不大于第一预定阈值的轮廓进行合并，以得到各个文字行集合；
    针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到所述图像中的各个文字区域。
  3. 根据权利要求2所述的方法，其特征在于，针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到所述图像中的各个文字区域包括：
    计算纵向相邻的文字行的纵向间距和各自起始横向坐标之间的第二横向间距；
    将颜色值相同、纵向间距不大于第二预定阈值以及第二横向间距不大于第三预定阈值的文字行合并，以得到所述图像中的各个文字区域。
  4. 根据权利要求1-3中任一所述的方法，其特征在于，所述方法还包括：
    确定所述各个轮廓的外接矩形，所述外接矩形的颜色值为对应轮廓的颜色值，所述外接矩形的位置信息为对应轮廓的四边顶点坐标；以及
    所述基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域，包括：
    基于所述各个轮廓的外接矩形的颜色值和位置信息，对所述各个外接矩形进行合并，以得到所述图像中的各个文字区域。
  5. 根据权利要求2-4中任一所述的方法，其特征在于，在基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域之前，所述方法还包括：
    基于各个轮廓的纵向坐标信息，从所述各个轮廓中删除纵向高度大于第四预定阈值的轮廓。
  6. 一种用于识别图像中文字的方法，其特征在于，所述方法包括：
    对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果，其中，待识别图像中的各个文字区域是通过如权利要求1-5中任一所述的方法得到的；
    聚合所得到的各个文字识别结果。
  7. 一种用于识别图像中文字区域的装置，其特征在于，所述装置包括：
    获取单元，配置用于获取待识别的图像中的各个像素点的颜色值和位置信息；
    聚类单元，配置用于基于所述各个像素点的颜色值，对所述像素点进行聚类，其中每个像素点类别中的像素点的颜色值相同或相似；
    轮廓确定单元，配置用于针对聚类处理后的每类像素点，确定由 该类像素点中的像素点构成的各个连通区域的轮廓，得到轮廓集合；
    文字区域生成单元，配置用于基于所述轮廓集合中的各个轮廓的颜色值和位置信息，对所述各个轮廓进行合并，以得到所述图像中的各个文字区域。
  8. 根据权利要求7所述的装置，其特征在于，所述位置信息包括横向坐标和纵向坐标；以及
    所述文字区域生成单元，包括：
    文字行生成模块，配置用于针对位于同一行的各个轮廓，将颜色值相同或相似且第一横向间距不大于第一预定阈值的轮廓进行合并，以得到各个文字行集合；
    文字区域生成模块，配置用于针对各个文字行集合，基于各个文字行集合的颜色值、纵向坐标和横向坐标，对各个文字行集合进行合并，以得到所述图像中的各个文字区域。
  9. 根据权利要求8所述的装置，其特征在于，所述文字区域生成模块包括：
    计算子模块，配置用于计算纵向相邻的文字行的纵向间距和各自起始横向坐标之间的第二横向间距；
    合并子模块，配置用于将颜色值相同、纵向间距不大于第二预定阈值以及第二横向间距不大于第三预定阈值的文字行合并，以得到所述图像中的各个文字区域。
  10. 根据权利要求7-9中任一所述的装置，其特征在于，所述装置还包括：
    外接矩形确定单元，配置用于确定所述各个轮廓的外接矩形，所述外接矩形的颜色值为对应轮廓的颜色值，所述外接矩形的位置信息为对应轮廓的四边顶点坐标；以及
    所述文字区域生成单元进一步配置用于：
    基于所述各个轮廓的外接矩形的颜色值和位置信息，对所述各个 外接矩形进行合并，以得到所述图像中的各个文字区域。
  11. 根据权利要求8-10中任一所述的装置，其特征在于，所述装置还包括：
    删除单元，配置用于基于各个轮廓的纵向坐标信息，从所述各个轮廓中删除纵向高度大于第四预定阈值的轮廓。
  12. 一种用于识别图像中文字的装置，其特征在于，所述装置包括：
    文字区域识别单元，所述文字区域识别单元包括如权利要求7-11中任一所述的用于识别图像中文字区域的装置；
    文字识别单元，配置用于对对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果；
    聚合单元，配置用于聚合所得到的各个文字识别结果。
  13. 一种计算机系统，其特征在于，所述计算机系统包括：
    存储器，配置用于存储可执行指令；
    一个或多个处理器，配置用于与所述存储器通信以执行可执行指令从而完成如权利要求1到5中任一所述的方法。
  14. 一种计算机系统，其特征在于，所述计算机系统包括：
    存储器，配置用于存储可执行指令；
    一个或多个处理器，配置用于与所述存储器通信以执行可执行指令从而完成以下操作：
    对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果，其中，待识别图像中的各个文字区域是通过如权利要求1-5中任一所述的方法得到的；
    聚合所得到的各个文字识别结果。
  15. 一种非易失性计算机存储介质，所述计算机存储介质存储有 能够被处理器执行的计算机可读指令，当所述计算机可读指令被处理器执行时，所述处理器完成如权利要求1到5中任一所述的方法。
  16. 一种非易失性计算机存储介质，所述计算机存储介质存储有能够被处理器执行的计算机可读指令，当所述计算机可读指令被处理器执行时，所述处理器完成以下操作：
    对所识别出的待识别图像中的各个文字区域分别进行文字识别，得到各个文字识别结果，其中，待识别图像中的各个文字区域是通过如权利要求1-5中任一所述的方法得到的；
    聚合所得到的各个文字识别结果。
PCT/CN2016/108419 2016-08-31 2016-12-02 用于识别图像中文字区域的方法和装置 Ceased WO2018040342A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018554441A JP6705912B2 (ja) 2016-08-31 2016-12-02 画像内の文字領域を認識するための方法及び装置
US16/160,740 US10803338B2 (en) 2016-08-31 2018-10-15 Method and device for recognizing the character area in a image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610794963.2 2016-08-31
CN201610794963.2A CN107784301B (zh) 2016-08-31 2016-08-31 用于识别图像中文字区域的方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/160,740 Continuation US10803338B2 (en) 2016-08-31 2018-10-15 Method and device for recognizing the character area in a image

Publications (1)

Publication Number Publication Date
WO2018040342A1 true WO2018040342A1 (zh) 2018-03-08

Family

ID=61299905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/108419 Ceased WO2018040342A1 (zh) 2016-08-31 2016-12-02 用于识别图像中文字区域的方法和装置

Country Status (4)

Country Link
US (1) US10803338B2 (zh)
JP (1) JP6705912B2 (zh)
CN (1) CN107784301B (zh)
WO (1) WO2018040342A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783746A (zh) * 2018-12-14 2019-05-21 平安科技（深圳）有限公司 网页图片加载方法及终端设备
CN111582259A (zh) * 2020-04-10 2020-08-25 支付宝实验室(新加坡)有限公司 机读码识别方法、装置、电子设备和存储介质
CN112132785A (zh) * 2020-08-25 2020-12-25 华东师范大学 一种二维材料的透射电镜图像识别、分析方法及系统
CN117095423A (zh) * 2023-10-20 2023-11-21 上海银行股份有限公司 一种银行单据字符的识别方法及装置
CN118569292A (zh) * 2024-08-02 2024-08-30 浙江微特码信息技术有限公司 微嵌码随机形成方法、微嵌码的识别方法及其计算机装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019227300A1 (zh) * 2018-05-29 2019-12-05 优视科技新加坡有限公司 版面元素的处理方法、装置、存储介质及电子设备/终端/服务器
CN109409377B (zh) * 2018-12-03 2020-06-02 龙马智芯（珠海横琴）科技有限公司 图像中文字的检测方法及装置
CN111273971B (zh) * 2018-12-04 2022-07-29 腾讯科技（深圳）有限公司 视图中的信息处理方法、装置及存储介质
CN109858475B (zh) * 2019-01-08 2025-01-17 平安科技（深圳）有限公司 图片文字定位方法、装置、介质和计算机设备
CN111563505A (zh) * 2019-02-14 2020-08-21 北京奇虎科技有限公司 一种基于像素分割合并的文字检测方法及装置
CN110059702B (zh) * 2019-03-29 2021-10-22 北京奇艺世纪科技有限公司 一种物体轮廓识别方法及装置
CN110188764A (zh) * 2019-05-31 2019-08-30 浙江口碑网络技术有限公司 字符颜色识别处理方法及装置
CN110363092B (zh) * 2019-06-17 2024-03-08 平安科技（深圳）有限公司 柱状图识别方法、装置、设备及计算机可读存储介质
CN112312189B (zh) * 2019-08-02 2023-07-14 百度在线网络技术（北京）有限公司 一种视频生成方法及视频生成系统
CN111080664B (zh) * 2019-12-30 2022-03-08 合肥联宝信息技术有限公司 一种数据处理方法、装置及计算机存储介质和计算机
CN113068043B (zh) * 2020-01-02 2024-04-30 武汉金山办公软件有限公司 一种png图像压缩方法、装置、电子设备及存储介质
CN117912017A (zh) * 2020-02-17 2024-04-19 支付宝(杭州)信息技术有限公司 文本识别方法、装置及电子设备
CN111401365B (zh) * 2020-03-17 2024-03-22 海尔优家智能科技（北京）有限公司 Ocr图像自动生成方法及装置
CN111582290B (zh) * 2020-05-13 2023-04-07 郑州轻工业大学 一种计算机图像识别方法
CN111784710B (zh) * 2020-07-07 2023-10-20 抖音视界有限公司 图像处理方法、装置、电子设备和介质
CN112036232B (zh) * 2020-07-10 2023-07-18 中科院成都信息技术股份有限公司 一种图像表格结构识别方法、系统、终端以及存储介质
CN112016546A (zh) * 2020-08-14 2020-12-01 中国银联股份有限公司 一种文本区域的定位方法及装置
CN112201117B (zh) * 2020-09-29 2022-08-02 深圳市优必选科技股份有限公司 一种逻辑板识别方法、装置及终端设备
CN112101323B (zh) * 2020-11-18 2021-02-02 北京智慧星光信息技术有限公司 标题列表的识别方法、系统、电子设备及存储介质
CN112200167B (zh) * 2020-12-07 2021-03-09 北京易真学思教育科技有限公司 图像识别方法、装置、设备及存储介质
CN113592523B (zh) * 2021-06-03 2024-03-26 山东大学 一种金融数据处理系统及方法
CN113963181B (zh) * 2021-11-04 2025-08-01 百度在线网络技术（北京）有限公司 颜色识别方法、装置、设备和存储介质
CN114067150A (zh) * 2021-11-19 2022-02-18 王海丰 一种任意方向文本行生成方法及系统
CN114596327B (zh) * 2021-12-30 2026-04-07 孚链艺统科技有限公司 图像自动识别方法、装置、计算机设备及可读存储介质
CN115661945B (zh) * 2022-09-27 2026-02-03 中国电信股份有限公司 手写签名识别方法、装置、电子设备及存储介质
CN115588202B (zh) * 2022-10-28 2023-08-15 南京云阶电力科技有限公司 一种基于轮廓检测的电气设计图纸中文字提取方法及系统
CN116383674B (zh) * 2023-04-17 2025-11-21 北京看云软件有限公司 组件相似度确定方法及装置
CN117785806A (zh) * 2023-11-29 2024-03-29 盛视科技股份有限公司 多模态文件检索方法及系统
CN119919953B (zh) * 2025-04-03 2025-12-16 浙江华东工程数字技术有限公司 一种纸质水文年鉴表格结构化识别方法、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314608A (zh) * 2010-06-30 2012-01-11 汉王科技股份有限公司 文字图像中行提取的方法和装置
CN102831416A (zh) * 2012-08-15 2012-12-19 广州广电运通金融电子股份有限公司 一种字符识别方法及相关装置
CN102930262A (zh) * 2012-09-19 2013-02-13 北京百度网讯科技有限公司 一种从图像中提取文字行的方法及装置
CN103824073A (zh) * 2012-11-16 2014-05-28 方正国际软件(北京)有限公司 一种图像信息的抽取方法
CN105740860A (zh) * 2016-01-28 2016-07-06 河南大学 自然场景中商铺标牌汉字区域自动检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187489A (ja) * 1992-12-17 1994-07-08 Matsushita Electric Ind Co Ltd 文字認識装置
US6148102A (en) * 1997-05-29 2000-11-14 Adobe Systems Incorporated Recognizing text in a multicolor image
JP3748164B2 (ja) * 1998-02-06 2006-02-22 富士通株式会社 パターン抽出装置
JP4275866B2 (ja) * 2000-01-27 2009-06-10 富士通株式会社 カラー画像から文字列パターンを抽出する装置および方法
US7672022B1 (en) * 2000-04-07 2010-03-02 Hewlett-Packard Development Company, L.P. Methods and apparatus for analyzing an image
JP3661774B2 (ja) * 2001-02-09 2005-06-22 日本電気株式会社 文字列認識方法、文字認識装置およびプログラム
US8175394B2 (en) * 2006-09-08 2012-05-08 Google Inc. Shape clustering in post optical character recognition processing
CN101515325B (zh) * 2009-04-08 2012-05-23 北京邮电大学 基于字符切分和颜色聚类的数字视频中的字符提取方法
CN101777124A (zh) * 2010-01-29 2010-07-14 北京新岸线网络技术有限公司 一种提取视频文本信息的方法及装置
JP2011248702A (ja) * 2010-05-28 2011-12-08 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記憶媒体
CN102915438B (zh) * 2012-08-21 2016-11-23 北京捷成世纪科技股份有限公司 一种视频字幕的提取方法及装置
CN103854019B (zh) * 2012-11-29 2018-11-30 捷讯平和（北京）科技发展有限公司 图像中的字段提取方法及装置
US9230382B2 (en) * 2013-08-26 2016-01-05 Vertifi Software, LLC Document image capturing and processing
CN105528607B (zh) * 2015-10-30 2019-02-15 小米科技有限责任公司 区域提取方法、模型训练方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102314608A (zh) * 2010-06-30 2012-01-11 汉王科技股份有限公司 文字图像中行提取的方法和装置
CN102831416A (zh) * 2012-08-15 2012-12-19 广州广电运通金融电子股份有限公司 一种字符识别方法及相关装置
CN102930262A (zh) * 2012-09-19 2013-02-13 北京百度网讯科技有限公司 一种从图像中提取文字行的方法及装置
CN103824073A (zh) * 2012-11-16 2014-05-28 方正国际软件(北京)有限公司 一种图像信息的抽取方法
CN105740860A (zh) * 2016-01-28 2016-07-06 河南大学 自然场景中商铺标牌汉字区域自动检测方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783746A (zh) * 2018-12-14 2019-05-21 平安科技（深圳）有限公司 网页图片加载方法及终端设备
CN109783746B (zh) * 2018-12-14 2024-10-18 平安科技（深圳）有限公司 网页图片加载方法及终端设备
CN111582259A (zh) * 2020-04-10 2020-08-25 支付宝实验室(新加坡)有限公司 机读码识别方法、装置、电子设备和存储介质
CN111582259B (zh) * 2020-04-10 2024-04-16 支付宝实验室(新加坡)有限公司 机读码识别方法、装置、电子设备和存储介质
CN112132785A (zh) * 2020-08-25 2020-12-25 华东师范大学 一种二维材料的透射电镜图像识别、分析方法及系统
CN112132785B (zh) * 2020-08-25 2023-12-15 华东师范大学 一种二维材料的透射电镜图像识别、分析方法及系统
CN117095423A (zh) * 2023-10-20 2023-11-21 上海银行股份有限公司 一种银行单据字符的识别方法及装置
CN117095423B (zh) * 2023-10-20 2024-01-05 上海银行股份有限公司 一种银行单据字符的识别方法及装置
CN118569292A (zh) * 2024-08-02 2024-08-30 浙江微特码信息技术有限公司 微嵌码随机形成方法、微嵌码的识别方法及其计算机装置

Also Published As

Publication number Publication date
CN107784301B (zh) 2021-06-11
CN107784301A (zh) 2018-03-09
JP6705912B2 (ja) 2020-06-03
JP2019515374A (ja) 2019-06-06
US10803338B2 (en) 2020-10-13
US20190050662A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN107784301B (zh) 用于识别图像中文字区域的方法和装置
CN101453575B (zh) 一种视频字幕信息提取方法
WO2022148192A1 (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
JP3308032B2 (ja) スキュー補正方法およびスキュー角検出方法およびスキュー補正装置およびスキュー角検出装置
US8000529B2 (en) System and method for creating an editable template from a document image
US8385651B2 (en) Character recognition device, image-reading device, computer readable medium, and character recognition method
US10726599B2 (en) Realistic augmentation of images and videos with graphics
Chiang et al. A general approach for extracting road vector data from raster maps
US11017260B2 (en) Text region positioning method and device, and computer readable storage medium
CN105528614B (zh) 一种漫画图像版面的识别方法和自动识别系统
WO2018103608A1 (zh) 一种文字检测方法、装置及存储介质
JP2018519574A (ja) テキスト画像処理方法および装置
CN109753953A (zh) 图像中定位文本的方法、装置、电子设备和存储介质
JP2010108135A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
WO2021190155A1 (zh) 文本行中的空格识别方法、装置、电子设备及存储介质
CN106295627A (zh) 用于识别文字牛皮癣图片的方法及装置
CN108038458A (zh) 基于特征摘要图的视频中的户外场景文本自动获取方法
CN112258539B (zh) 水系数据处理方法、装置、电子设备及可读存储介质
CN110751013B (zh) 场景识别方法、装置和计算机可读存储介质
CN119579865B (zh) 一种电镜图的标尺及标尺信息组合特征的识别方法和装置
CN114511862A (zh) 表格识别方法、装置及电子设备
CN112053407A (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
CN116386064A (zh) 图像文本的检测方法、装置、设备和可读存储介质
JP4873554B2 (ja) 画像配信装置および画像配信方法
CN116030472A (zh) 文字坐标确定方法及装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018554441

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16914904

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16914904

Country of ref document: EP

Kind code of ref document: A1