WO2014125658A1 - 文字認識システム、文字認識プログラム及び文字認識方法 - Google Patents

文字認識システム、文字認識プログラム及び文字認識方法 Download PDF

Info

Publication number
WO2014125658A1
WO2014125658A1 PCT/JP2013/059508 JP2013059508W WO2014125658A1 WO 2014125658 A1 WO2014125658 A1 WO 2014125658A1 JP 2013059508 W JP2013059508 W JP 2013059508W WO 2014125658 A1 WO2014125658 A1 WO 2014125658A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
recognition
display
dictionary
font
Prior art date
Application number
PCT/JP2013/059508
Other languages
English (en)
French (fr)
Inventor
相原輝夫
Original Assignee
株式会社ピーエスシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ピーエスシー filed Critical 株式会社ピーエスシー
Priority to KR1020157018711A priority Critical patent/KR102024127B1/ko
Priority to EP13875167.2A priority patent/EP2958055A4/en
Priority to SG11201506275XA priority patent/SG11201506275XA/en
Priority to CN201380072613.XA priority patent/CN104981819A/zh
Publication of WO2014125658A1 publication Critical patent/WO2014125658A1/ja
Priority to US14/826,163 priority patent/US9639970B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/245—Font recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory

Definitions

  • the present invention relates to a character recognition system.
  • Patent Document 3 in order to exchange data between systems and applications, characters displayed on a computer display are recognized via image data obtained by screen capture. There is demand.
  • the display characters on the display have a lower dot resolution, so even if the conventional optical character recognition method is used, the recognition rate may be greatly reduced. It was. In particular, the recognition rate is extremely low for characters with a small character size used to increase the amount of display data.
  • the present invention has been made in view of such problems, and an object thereof is to provide a character recognition system capable of recognizing characters displayed on a computer display with high probability.
  • a character recognition system is a character recognition system for recognizing characters displayed on a display of a computer. And a storage device for recording a recognition dictionary having information on the arrangement of the constituent dots of each character having a character size, and the arrangement of constituent dots of the recognition target character displayed on the display with reference to the recognition dictionary A character recognizing unit that identifies the character to be recognized by extracting a character that completely matches the information on the character.
  • the character recognition program according to the present invention is a character recognition program for causing a computer to recognize a character displayed on a display, and for each combination of a predetermined display font and character size, the display font and the character size.
  • a recognition dictionary creating step for creating a recognition dictionary having information on the arrangement of the constituent dots of the character, and the information on the arrangement of the constituent dots of the recognition target character displayed on the display is completely matched with reference to the recognition dictionary Extracting the characters to be performed, and causing the computer to execute a character recognition step of specifying the recognition target characters.
  • the character recognition method is a character recognition method for recognizing a character displayed on a computer display. For a combination of a predetermined display font and character size, each character having the display font and character size.
  • a recognition dictionary creation step for creating a recognition dictionary having information about the arrangement of the constituent dots of the characters, and the information about the arrangement of the constituent dots of the recognition target characters displayed on the display with reference to the recognition dictionary
  • FIG. 1 is a schematic diagram schematically showing a configuration of a character recognition system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the contents of the recognition dictionary according to the embodiment of the present invention.
  • FIG. 3 is a block diagram schematically showing functions of the character recognition system according to the embodiment of the present invention.
  • FIG. 4 is a flowchart showing the flow of a recognition dictionary creation process according to the embodiment of the present invention.
  • FIG. 5 is a flowchart showing the flow of character recognition processing according to the embodiment of the present invention.
  • FIG. 6 is a diagram for explaining the character recognition processing according to the embodiment of the present invention.
  • FIG. 1 is a schematic diagram schematically showing the configuration of the character recognition system according to the present embodiment.
  • FIG. 2 is a diagram showing the contents of the recognition dictionary according to the present embodiment.
  • FIG. 3 is a block diagram schematically showing functions of the character recognition system according to the present embodiment.
  • the character recognition system 1 includes a computer main body 10, a display 30 that is a display device that displays output information from the computer main body 10, a keyboard and a mouse for inputting information to the computer main body 10, and the like.
  • Input device 32 is a display device that displays output information from the computer main body 10, a keyboard and a mouse for inputting information to the computer main body 10, and the like.
  • the character recognition system 1 is a system for recognizing a character displayed on the display 30.
  • character recognition not the optical character recognition but the arrangement of constituent dots constituting the character. Characters are identified based on whether or not the information regarding the characters completely match.
  • a case where a display character displayed in a predetermined recognition target area in a display window on the display 30 by the application A is recognized will be described as an example.
  • the computer main body 10 has a CPU (Central An arithmetic unit 11 such as a processing unit and an HDD (Hard Disc) for storing various information And a storage device 12 such as a RAM (Random Access Memory) used as a work area for arithmetic processing.
  • a CPU Central An arithmetic unit 11 such as a processing unit and an HDD (Hard Disc) for storing various information
  • a storage device 12 such as a RAM (Random Access Memory) used as a work area for arithmetic processing.
  • the storage device 12 includes a program storage unit 121 that stores various programs such as an OS (operating system), a character recognition program, a recognition dictionary creation program, a font check program, and an application A installed in the computer main body 10; A recognition dictionary DB 122 for storing a recognition dictionary used for recognition, a font check dictionary DB 123 for font check, and a video memory 125 for temporarily holding screen contents to be displayed on the display 30 It has.
  • OS operating system
  • a recognition dictionary DB 122 for storing a recognition dictionary used for recognition
  • a font check dictionary DB 123 for font check
  • a video memory 125 for temporarily holding screen contents to be displayed on the display 30 It has.
  • the character recognition program is a program for executing a character recognition process described later
  • the recognition dictionary creating program is a program for executing a recognition dictionary creating process described later.
  • the font check program is a program for acquiring information about the display font and character size of a recognition target character when creating a recognition dictionary or performing character recognition.
  • each record in the recognition dictionary DB 122 includes items of “dictionary ID”, “display font”, “character size”, “character code”, “dot placement within outer frame”, “outer frame size”, and “outer frame position”. It has.
  • “Dictionary ID” is an identifier of each recognition dictionary. If the combination of the same display font and character size is used, the identifier is the same. If at least one of the display font and the character size is different, the identifier is different. “Display font”, “character size”, and “character code” are the font, size, and character code of the character from which the record was created.
  • the dot arrangement in the outer frame is information on the dot arrangement position in the minimum rectangular outer frame including all the constituent dots constituting the dictionary creation source character. For example, a place where black dots are arranged is “1”, and a blank place where black dots are not arranged is “0”, and is recorded in a format such as “00110101110000” for each line from the upper left to the lower right in the rectangular outer frame. .
  • Outer frame size is vertical and horizontal size information (number of dots) of the minimum rectangular outer frame.
  • the “outer frame position” is a distance from the base line (standard bottom line) to the lower side of the minimum rectangular outer frame.
  • the items “outer frame dot arrangement”, “outer frame size”, and “outer frame position” correspond to information relating to the arrangement of the constituent dots of the character.
  • the font check dictionary recorded in the font check dictionary DB 123 is a dictionary for acquiring display font and character size information of recognition target characters when creating a recognition dictionary or performing character recognition.
  • the font check dictionary has the same information as the above-described recognition dictionary for all sizes of all fonts installed in the computer main body 10 only for several types of predetermined check characters such as “Aiueo”, for example. Yes.
  • the character recognition system 1 includes a font check unit 20 having a function of recognizing a display font and a character size of a display character displayed on the display 30, and a function of creating the above-described recognition dictionary in advance. And a dictionary recognition unit 25 having a function of performing character recognition.
  • the functions of these units are realized by the arithmetic unit 11 executing a font check program, a recognition dictionary creation program, and a character recognition program stored in the program storage unit 121.
  • FIG. 4 is a flowchart showing a flow of recognition dictionary creation processing according to the present embodiment.
  • the creation of the recognition dictionary is performed prior to the character recognition process described later, and the dictionary creation unit 21 creates a recognition dictionary for the combination of the display font and the character size of the recognition target character to be recognized.
  • the dictionary creation unit 21 creates a recognition dictionary for the combination of the display font and the character size of the recognition target character to be recognized.
  • a recognition dictionary has already been created for a combination of the same display font and character size, there is no need to create a dictionary again, and a registered recognition dictionary may be used.
  • a recognition dictionary creation program is executed in the computer body 10. First, in S11, a display font and a character size for creating a recognition dictionary are acquired. The acquisition of the character size and the like is performed by starting a font check program.
  • the recognition dictionary created here is a recognition dictionary of a combination of a display font and a character size of a recognition target character displayed in a predetermined recognition target area in the display window of application A
  • the font check program While referring to the font check dictionary recorded in the check dictionary DB 123, the display font and character size of this recognition target character are automatically specified.
  • the font check unit 20 acquires the image data of the recognition target character from the video memory 125 by screen capture, and refers to the font check dictionary DB 123 and completes the arrangement information of the dots constituting the recognition target character. Extract characters that match. Thereby, the same font and the same size character as a recognition object character are specified, and the information of the display font and character size of the character displayed on a recognition object area
  • the process of extracting characters with reference to the font check dictionary DB 123 is the same as the character recognition process described later, and a detailed description thereof will be omitted.
  • the font check dictionary is a dictionary for only a few types of characters for checking, the check characters are displayed in the recognition target area as the recognition target characters when performing a font check. The operator needs to input characters in advance.
  • characters are recognized depending on whether the arrangement positions of the constituent dots of the characters are the same. If the display font or character size is different, the characters are recognized as different characters. End up. For this reason, it is necessary to create a separate recognition dictionary for each combination of display font and character size. Note that the font check in S11 may be manually set by the operator if possible.
  • the process proceeds to S12, and the display font and character size characters acquired in S11 are sequentially displayed on the display 30 (video memory 125).
  • the characters displayed here are all the characters installed in the computer main body 10 with the display font and the character size. Specifically, for example, all characters included in JIS non-kanji, JIS first kanji, and JIS second kanji are different depending on the display font.
  • the outer frame is set in S13.
  • This outer frame is the smallest rectangular outer frame that includes all the constituent dots that make up the displayed character.
  • a recognition dictionary record is registered in the recognition dictionary DB 122 together with information regarding the arrangement of dots within the outer frame.
  • the specific contents of the recognition dictionary record include “dictionary ID”, “display font”, “character size”, “character code”, “dot arrangement in outer frame”, “outer frame size”, “outer frame size” described above. Information of “position”.
  • S15 it is determined whether or not dictionary registration has been completed for all characters related to the combination of the display font and the character size. If there is a character that has not been registered yet, the process returns to S12, and S12 to S14. The above process is repeated, and dictionary registration is performed for the next character. If it is determined in S15 that the dictionary has been registered for all characters, registration of the recognition dictionary for the combination of the display font and the character size ends.
  • the creation of the recognition dictionary does not have to be performed in advance for all the character sizes of all the display fonts possessed by the OS of the computer main body 10, and the display of characters displayed in the recognition target area when character recognition is performed.
  • a recognition dictionary may be created for all characters having a combination of font and character size.
  • FIG. 5 is a flowchart showing the flow of character recognition processing according to this embodiment.
  • FIG. 6 is a diagram for explaining a character recognition process according to the present embodiment.
  • the display font and character size of the recognition target character are acquired.
  • the acquisition of the character size and the like is performed by starting the font check program, and is the same processing as S11 described above. Further, when the character recognition process is performed subsequent to the creation of the recognition dictionary, since the display font and the character size have already been acquired in S11, S21 may be omitted.
  • the acquisition of this display font and character size determines the recognition dictionary used in the current character recognition among the recognition dictionaries recorded in the recognition dictionary DB 122.
  • the outer frame of the recognition target character is set.
  • the image data of the recognition target area of the application A is acquired from the video memory 125, divided for each character displayed in the area, and all the constituent dots of each character are included for each character.
  • FIG. 6 shows a state in which a minimum rectangular outer frame is set for each character.
  • S26 it is determined whether or not one character is specified by the screening in S25. If it is specified, the character recognition is finished, and if not, the process proceeds to S27 and the tertiary screening is performed. Is done. For example, when the character to be recognized is the character “′” or “,”, the “outer frame size” and the “outer frame dot arrangement” are the same, and the process proceeds to S27. In S27, characters are narrowed down based on the “outer frame position” information, and the characters are specified.
  • S23 to S27 may be repeated for each character. Further, when there are a plurality of combinations of display fonts and character sizes in the recognition target area as a result of the font check in S21, character recognition may be performed with reference to a plurality of recognition dictionaries.
  • the above-described screening order may be changed as appropriate.
  • character recognition is performed using the “outer frame size”, “outer frame position”, and “dot placement within outer frame” after setting the minimum rectangular outer frame.
  • information relating to the arrangement of dots constituting the character various other information can be used. For example, the number of black dots on the first line in the outer frame can be used.
  • the character recognition system As described above, the character recognition system according to the present embodiment has been described. According to the present embodiment, the display character displayed on the display 30 is recognized based on the arrangement information of the dots constituting the character. Character recognition can be performed with a recognition rate of 100%.
  • the recognized character object according to the present embodiment is a character displayed on the display 30 (video memory 125) of the computer and does not get dirty or missing like characters printed on paper. Based on the information, it is possible to specify the character reliably.
  • the same display font is obtained after grasping the display font and character size of the character to be recognized in advance. It is necessary to create a recognition dictionary based on the combination of the character size and execute the character recognition process.
  • the processing load of character recognition can be reduced, and high-speed and efficient character recognition can be performed. it can.
  • the recognition of the character with the same character modification is performed when the recognition dictionary and the font check dictionary are created.
  • character recognition can be performed reliably even for modified characters.
  • the embodiments of the present invention have been described above. However, the embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention. .
  • the character recognition system is realized by a single computer, but may be realized by distributed processing by a plurality of computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Character Discrimination (AREA)

Abstract

　【課題】コンピュータのディスプレイ上に表示される文字を高い確率で認識することの可能な文字認識システムを提供する。　【解決手段】文字認識システム１は、コンピュータのディスプレイ３０上に表示される文字を認識するための文字認識システム１において、所定の表示フォント及び文字サイズの組み合わせについて、当該表示フォント及び文字サイズを有する各文字の構成ドットの配置に関する情報を有する認識辞書を記録しておく記憶装置１２２と、認識辞書を参照して、ディスプレイ３０上に表示される認識対象文字の構成ドットの配置に関する情報と完全に一致する文字を抽出することで、認識対象文字を特定する文字認識部２５と、を備える。

Description

文字認識システム、文字認識プログラム及び文字認識方法
　本発明は、文字認識システムに関する。
　従来から、紙に印刷された文字を光学的に読み取って認識するための光学文字認識システムが提供されており、例えば、下記特許文献１，２に開示されている。
　一方、下記特許文献３に開示されているように、システム間やアプリケーション間でデータの受け渡しを行うために、コンピュータのディスプレイ上に表示された文字を、画面キャプチャによる画像データを介して認識するといった需要がある。
特開２００８－３０５１２６号公報 特開２０１０－２６８０５号公報 特開２０１１－８１５３７号公報
　しかし、紙に印刷された文字と比較して、ディスプレイ上の表示文字は、ドット解像度が粗いため、従来の光学文字認識の手法を採用しても、認識率が大きく低下してしまう場合があった。特に、表示データ量を増やすために用いられる小さな文字サイズの文字については、認識率が極端に低くなってしまう。
　本発明は、このような課題に鑑みてなされたものであり、コンピュータのディスプレイ上に表示される文字を高い確率で認識することの可能な文字認識システムを提供することを目的とする。
　上記課題を解決するために、本発明に係る文字認識システムは、コンピュータのディスプレイ上に表示される文字を認識するための文字認識システムにおいて、所定の表示フォント及び文字サイズの組み合わせについて、当該表示フォント及び文字サイズを有する各文字の構成ドットの配置に関する情報を有する認識辞書を記録しておく記憶装置と、前記認識辞書を参照して、前記ディスプレイ上に表示される認識対象文字の構成ドットの配置に関する情報と完全に一致する文字を抽出することで、前記認識対象文字を特定する文字認識部と、を備えることを特徴とする。
　また、本発明に係る文字認識プログラムは、ディスプレイ上に表示される文字をコンピュータに認識させるための文字認識プログラムにおいて、所定の表示フォント及び文字サイズの組み合わせについて、当該表示フォント及び文字サイズを有する各文字の構成ドットの配置に関する情報を有する認識辞書を作成する認識辞書作成ステップと、前記認識辞書を参照して、前記ディスプレイ上に表示される認識対象文字の構成ドットの配置に関する情報と完全に一致する文字を抽出することで、前記認識対象文字を特定する文字認識ステップと、を前記コンピュータに実行させることを特徴とする。
　また、本発明に係る文字認識方法は、コンピュータのディスプレイ上に表示される文字を認識するための文字認識方法において、所定の表示フォント及び文字サイズの組み合わせについて、当該表示フォント及び文字サイズを有する各文字の構成ドットの配置に関する情報を有する認識辞書を作成する認識辞書作成工程と、前記認識辞書を参照して、前記ディスプレイ上に表示される認識対象文字の構成ドットの配置に関する情報と完全に一致する文字を抽出することで、前記認識対象文字を特定する文字認識工程と、を備えることを特徴とする。
　本発明によれば、コンピュータのディスプレイ上に表示された解像度の低い文字であっても高精度に文字認識を行うことができる。
図１は、本発明の実施形態に係る文字認識システムの構成を概略的に示す模式図である。 図２は、本発明の実施形態に係る認識辞書の内容を示す図である。 図３は、本発明の実施形態に係る文字認識システムの機能を概略的に示すブロック図である。 図４は、本発明の実施形態に係る認識辞書の作成処理の流れを示すフローチャートである。 図５は、本発明の実施形態に係る文字認識の処理の流れを示すフローチャートである。 図６は、本発明の実施形態に係る文字認識の処理を説明するための図である。
　以下、図面を参照しながら、本発明の実施形態である文字認識システムについて詳細に説明する。図１は、本実施形態に係る文字認識システムの構成を概略的に示す模式図である。図２は、本実施形態に係る認識辞書の内容を示す図である。図３は、本実施形態に係る文字認識システムの機能を概略的に示すブロック図である。
　図１に示すように、文字認識システム１は、コンピュータ本体１０と、コンピュータ本体１０からの出力情報を表示する表示装置であるディスプレイ３０と、コンピュータ本体１０に情報を入力するためのキーボードやマウス等の入力装置３２とを備える。
　本実施形態に係る文字認識システム１は、ディスプレイ３０上に表示された文字を認識するためのシステムであり、文字認識の際に、光学的な文字認識ではなく、文字を構成する構成ドットの配置に関する情報が完全に一致するか否かにより文字の特定を行うことを特徴としている。本実施形態では、アプリケーションＡによるディスプレイ３０上の表示ウィンドウ内の所定の認識対象領域に表示された表示文字を認識する場合を例に挙げて説明する。
　コンピュータ本体１０は、各種演算を行うためのＣＰＵ（Central
Processing Unit）等の演算装置１１と、各種情報を記憶するためのＨＤＤ（Hard Disc
Drive）や演算処理のワークエリアとして使用されるＲＡＭ（Random Access Memory）等の記憶装置１２とを備えている。
　記憶装置１２は、コンピュータ本体１０にインストールされているＯＳ（オペレーティングシステム）、文字認識プログラム、認識辞書作成プログラム、フォントチェックプログラム、アプリケーションＡ等の各種プログラムを格納しておくプログラム格納部１２１と、文字認識をする際に使用される認識辞書を格納しておく認識辞書ＤＢ１２２と、フォントチェックのためのフォントチェック用辞書ＤＢ１２３と、ディスプレイ３０上に表示する画面内容を一時的に保持するビデオメモリ１２５とを備えている。
　プログラム格納部１２１に関して、文字認識プログラムは、後述する文字認識処理を実行するためのプログラム、認識辞書作成プログラムは、後述する認識辞書の作成処理を実行するためのプログラムである。また、フォントチェックプログラムは、認識辞書の作成や文字認識の際に、認識対象文字の表示フォント及び文字サイズの情報を取得するためのプログラムである。
　認識辞書ＤＢ１２２には、表示フォント及び文字サイズの組み合わせ毎に認識辞書が作成されて記録されている。認識辞書の認識辞書レコードの内容について、図２を参照しながら説明する。認識辞書ＤＢ１２２内の各レコードは、「辞書ＩＤ」、「表示フォント」、「文字サイズ」、「文字コード」、「外枠内ドット配置」、「外枠サイズ」、「外枠位置」の項目を備えている。
　「辞書ＩＤ」は、各認識辞書の識別子であり、同一の表示フォント及び文字サイズの組み合わせであれば同じ識別子となり、表示フォントと文字サイズの少なくとも一方が異なれば異なる識別子となる。「表示フォント」、「文字サイズ」及び「文字コード」は、当該レコードの作成元となった文字のフォント、サイズ、文字コードである。
　「外枠内ドット配置」は、辞書作成元の文字を構成する全ての構成ドットを含む最小矩形外枠内のドット配置位置の情報である。例えば、黒色ドットが配置された場所を「1」、配置されていない空白場所を「0」として、矩形外枠内の左上から右下に向けて各行毎に「00110101110000」といった形式で記録される。
　「外枠サイズ」は、上記最小矩形外枠の縦横のサイズ情報（ドット数）である。「外枠位置」は、ベースライン（標準最下線）から上記最小矩形外枠の下辺までの距離である。本実施形態では、「外枠内ドット配置」、「外枠サイズ」、「外枠位置」の項目が、文字の構成ドットの配置に関する情報に相当する。
　フォントチェック用辞書ＤＢ１２３内に記録されているフォントチェック用辞書は、認識辞書の作成や文字認識の際に認識対象文字の表示フォント及び文字サイズの情報を取得するための辞書である。フォントチェック用辞書は、例えば、「あいうえお」等の所定のチェック用の数種類の文字についてのみ、コンピュータ本体１０にインストールされている全てのフォントの全てのサイズに関する上記認識辞書と同じ情報を有している。
　続いて、図３を参照しながら、文字認識システム１の機能について説明する。同図に示すように、文字認識システム１は、ディスプレイ３０上に表示される表示文字の表示フォント及び文字サイズを認識する機能を有するフォントチェック部２０と、上述した認識辞書を予め作成する機能を有する辞書作成部２１と、文字認識を行う機能を有する文字認識部２５とを備えている。
　これら各部の機能は、演算装置１１が、プログラム格納部１２１に格納されているフォントチェックプログラム、認識辞書作成プログラム、文字認識プログラムを実行することで実現される。
　続いて、認識辞書ＤＢ１２２に記録される認識辞書の作成処理の流れについて、さらに、図４を参照しながら説明する。図４は、本実施形態に係る認識辞書の作成処理の流れを示すフローチャートである。
　認識辞書の作成は、後述する文字認識処理に先立って行われ、辞書作成部２１は、これから認識する認識対象文字の表示フォント及び文字サイズの組み合わせについての認識辞書を作成する。もちろん、同一の表示フォント及び文字サイズの組み合わせに関して既に認識辞書が作成されている場合には、再度辞書の作成を行う必要は無く、既に登録されている認識辞書を用いれば良い。
　認識辞書の作成時には、コンピュータ本体１０において、認識辞書作成プログラムが実行される。まず、Ｓ１１において、認識辞書を作成する表示フォント及び文字サイズの取得が行われる。この文字サイズ等の取得は、フォントチェックプログラムを起動して行われる。
　ここで作成される認識辞書は、アプリケーションＡの表示ウィンドウ内の所定の認識対象領域内に表示される認識対象文字の表示フォント及び文字サイズの組み合わせの認識辞書であるため、フォントチェックプログラムは、フォントチェック用辞書ＤＢ１２３内に記録されているフォントチェック用辞書を参照しながら、この認識対象文字の表示フォント及び文字サイズを自動的に特定する。
　具体的には、フォントチェック部２０が、画面キャプチャによりビデオメモリ１２５から認識対象文字の画像データを取得し、フォントチェック用辞書ＤＢ１２３を参照しながら、認識対象文字を構成するドットの配置情報と完全に一致する文字を抽出する。これにより、認識対象文字と同一フォント及び同一サイズの文字が特定され、認識対象領域に表示される文字の表示フォント及び文字サイズの情報を取得することができる。
　なお、このフォントチェック用辞書ＤＢ１２３を参照して文字を抽出する処理は、後述する文字認識の処理と同じであるため、詳細な説明は省略する。また、フォントチェック用辞書は、チェック用の数種類の文字についてのみの辞書であるため、フォントチェックの際には、認識対象文字として、このチェック用の文字が認識対象領域内に表示されるように、予めオペレータが文字を入力しておく等の作業が必要である。
　従来の光学文字認識と異なり、本実施形態では、文字の構成ドットの配置位置が同一であるか否かにより文字の認識を行っており、表示フォントや文字サイズが異なれば別の文字と認識されてしまう。このため、認識辞書も表示フォント及び文字サイズの組み合わせ毎に、別々の認識辞書を作成する必要がある。なお、Ｓ１１のフォントチェックは、可能であるならばオペレータが手動で設定するようにしても良い。
　続いて、Ｓ１２に進み、Ｓ１１で取得した表示フォント及び文字サイズの文字を順次ディスプレイ３０（ビデオメモリ１２５）上に表示させる。ここで表示させる文字は、当該表示フォント及び文字サイズを有してコンピュータ本体１０にインストールされている全ての文字である。具体的には、表示フォントによって異なるが、例えば、ＪＩＳ非漢字、ＪＩＳ第一漢字、ＪＩＳ第二漢字に含まれる全ての文字である。
　最初の文字が表示されると、Ｓ１３において、外枠の設定が行われる。この外枠は、表示された文字を構成する全ての構成ドットを含む最小の矩形外枠である。続いて、Ｓ１４において、外枠内のドットの配置に関する情報と共に、認識辞書レコードが認識辞書ＤＢ１２２内に登録される。具体的な認識辞書レコードの内容は、上述した、「辞書ＩＤ」、「表示フォント」、「文字サイズ」、「文字コード」、「外枠内ドット配置」、「外枠サイズ」、「外枠位置」の情報となる。
　続いて、Ｓ１５では、当該表示フォント及び文字サイズの組み合わせに関する全ての文字について辞書登録が終了したか否かが判定され、まだ登録されていない文字がある場合には、Ｓ１２に戻り、Ｓ１２～Ｓ１４の処理を繰り返し、次の文字について辞書登録を行う。Ｓ１５において、全ての文字について辞書登録されたと判断された場合には、当該表示フォント及び文字サイズの組み合わせについての認識辞書の登録が終了する。
　この認識辞書の作成は、コンピュータ本体１０のＯＳが有する全ての表示フォントの全ての文字サイズに関して予め行っておく必要はなく、文字認識を行う際に、認識対象領域内に表示される文字の表示フォント及び文字サイズの組み合わせを有する文字の全てについて認識辞書を作成すれば良い。
　続いて、本実施形態における文字認識の処理の流れについて、図５及び図６を参照しながら説明する。図５は、本実施形態に係る文字認識の処理の流れを示すフローチャートである。図６は、本実施形他に係る文字認識の処理を説明するための図である。
　まず、Ｓ２１において、認識対象文字の表示フォント及び文字サイズの取得が行われる。この文字サイズ等の取得は、フォントチェックプログラムを起動して行われ、上述したＳ１１と同じ処理である。また、認識辞書の作成に引き続いて文字認識処理を行う場合には、Ｓ１１により既に表示フォント及び文字サイズの取得が行われているので、Ｓ２１を省略しても良い。
　この表示フォント及び文字サイズの取得により、認識辞書ＤＢ１２２内に記録されている認識辞書のうち、今回の文字認識で使用される認識辞書が決定される。
　続いて、Ｓ２２において、認識対象文字の外枠設定が行われる。具体的には、ビデオメモリ１２５からアプリケーションＡの認識対象領域の画像データを取得し、当該領域内に表示されている文字毎に分割したうえで、文字毎に各文字の全ての構成ドットが含まれる最小の矩形外枠を設定する。図６は、文字毎に最小矩形外枠を設定した様子を示している。
　Ｓ２３では、「外枠サイズ」の情報による文字の絞り込み（一次スクリーニング）が行われる。すなわち、認識辞書に含まれる文字のうち、認識対象文字に設定された外枠のサイズと同じサイズを有する文字が抽出される。
　続いて、Ｓ２４では、Ｓ２３でのスクリーニングにより文字が一つに特定されたか否かが判定される。一次スクリーニングにより一つの文字に絞られた場合には、認識対象文字がその文字であると特定することができるため、文字認識処理は終了する。
　Ｓ２４において、特定されていないと判断された場合には、Ｓ２５に進み、「外枠内ドット配置」の情報による文字の絞り込み（二次スクリーニング）が行われる。すなわち、一次スクリーニングにより抽出された文字のうち、認識対象文字に設定された外枠内のドット配置位置と同じ配置位置を持つ文字が抽出される。
　続いて、Ｓ２６では、Ｓ２５でのスクリーニングにより文字が一つに特定されたか否かが判定され、特定された場合には、文字認識は終了し、そうでない場合には、Ｓ２７に進み、三次スクリーニングが行われる。例えば、認識対象文字が、「’」又は「，」の文字の場合には、「外枠サイズ」及び「外枠内ドット配置」が同じになるため、Ｓ２７へと進むことになる。Ｓ２７では、「外枠位置」の情報により文字の絞り込みが行われ、文字が特定される。
　認識対象領域内に複数の文字が含まれている場合には、文字毎にＳ２３～Ｓ２７を繰り返して行えば良い。また、Ｓ２１のフォントチェックにより、認識対象領域内に複数の表示フォント及び文字サイズの組み合わせがあった場合には、複数の認識辞書を参照しながら文字認識を行えば良い。
　また、上述したスクリーニングの順序は適宜変更しても良い。また、上記実施形態では、最小矩形外枠を設定したうえで、「外枠サイズ」、「外枠位置」、「外枠内ドット配置」を用いて文字認識を行ったが、文字認識のための「文字を構成するドットの配置に関する情報」としては、種々の他の情報を用いることができ、例えば、外枠内の１ライン目の黒ドットの数等を用いることができる。
　以上、本実施形態に係る文字認識システムについて説明したが、本実施形態によれば、ディスプレイ３０上に表示された表示文字の認識を、文字を構成するドットの配置情報に基づいて行うことでほぼ100％の認識率により文字認識を行うことができる。
　本実施形態に係る認識文字対象は、コンピュータのディスプレイ３０（ビデオメモリ１２５）上に表示される文字であり、紙に印刷された文字のように汚れたり欠けたりすることがないため、ドットの配置情報に基づけば、確実に文字を特定することが可能である。
　但し、文字の表示フォントや文字サイズが異なれば、ドット配置も異なるため、本実施形態による文字認識の場合には、予め認識対象文字の表示フォント及び文字サイズを把握したうえで、同一の表示フォント及び文字サイズの組み合わせによる認識辞書を作成し、文字認識処理を実行する必要がある。
　また、本実施形態のように、文字を構成するドットの配置情報を複数用い、段階的にスクリーニングを行うことで、文字認識の処理負荷を低減させ、高速で効率的な文字認識を行うことができる。
　続いて、本実施形態に変形例について説明する。まず、ディスプレイ３０上の表示文字がアンチエイリアス処理されている文字の場合には、上述したフォントチェック、認識辞書の作成、文字認識等の処理を行う前に、文字の画像データから指定彩度以外、指定明度以外のドットを同じ基準で減算するようすれば、アンチエイリアス処理の影響を除外した文字認識を行うことが可能である。
　また、ディスプレイ３０上の表示文字が、下線、太文字等の文字修飾が施された文字の場合には、認識辞書及びフォントチェック用辞書を作成する際に、同じ文字修飾を施した文字の認識辞書レコードも追加で作成しておくことで、修飾された文字についても確実に文字認識を行うことができる。
　また、半角文字が含まれている場合であっても半角文字の認識辞書を作成しておくことで、確実に文字認識を行うことが可能である。
　以上、本発明の実施の形態について説明したが、本発明の実施の形態は、上記実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲内でさらに種々の変形が可能である。例えば、上記実施形態では、単一のコンピュータで文字認識システムを実現しているが、複数のコンピュータによる分散処理で実現しても良い。
　１　　　文字認識システム
　１０　　コンピュータ本体
　１１　　演算装置
　１２　　記憶装置
　１２１　プログラム格納部
　１２２　認識辞書ＤＢ
　１２３　フォントチェック用辞書ＤＢ
　１２５　ビデオメモリ
　２０　　フォントチェック部
　２１　　辞書作成部
　２５　　文字認識部
　３０　　ディスプレイ
　３２　　入力装置

Claims (6)

  1. 　コンピュータのディスプレイ上に表示される文字を認識するための文字認識システムにおいて、
    　所定の表示フォント及び文字サイズの組み合わせについて、当該表示フォント及び文字サイズを有する各文字の構成ドットの配置に関する情報を有する認識辞書を記録しておく記憶装置と、
    　前記認識辞書を参照して、前記ディスプレイ上に表示される認識対象文字の構成ドットの配置に関する情報と完全に一致する文字を抽出することで、前記認識対象文字を特定する文字認識部と、
    を備えることを特徴とする文字認識システム。
  2. 　前記表示フォント及び前記文字サイズを有する文字をビデオメモリ上に順次表示させながら、各文字の構成ドットの配置に関する情報を取得して前記認識辞書を作成する辞書作成部を備えることを特徴とする請求項１記載の文字認識システム。
  3. 　前記文字認識部は、予め取得した前記認識対象文字の表示フォント及び文字サイズの組み合わせと同一の組み合わせについての認識辞書を参照して文字認識を行うことを特徴とする請求項１又は２記載の文字認識システム。
  4. 　前記構成ドットの配置に関する情報は、各文字の構成ドットの全てを含む矩形外枠内のドット配置位置の情報であることを特徴とする請求項１乃至３何れか１項記載の文字認識システム。
  5. 　ディスプレイ上に表示される文字をコンピュータに認識させるための文字認識プログラムにおいて、
    　所定の表示フォント及び文字サイズの組み合わせについて、当該表示フォント及び文字サイズを有する各文字の構成ドットの配置に関する情報を有する認識辞書を作成する認識辞書作成ステップと、
    　前記認識辞書を参照して、前記ディスプレイ上に表示される認識対象文字の構成ドットの配置に関する情報と完全に一致する文字を抽出することで、前記認識対象文字を特定する文字認識ステップと、
    を前記コンピュータに実行させることを特徴とする文字認識プログラム。
  6. 　コンピュータのディスプレイ上に表示される文字を認識するための文字認識方法において、
    　所定の表示フォント及び文字サイズの組み合わせについて、当該表示フォント及び文字サイズを有する各文字の構成ドットの配置に関する情報を有する認識辞書を作成する認識辞書作成工程と、
    　前記認識辞書を参照して、前記ディスプレイ上に表示される認識対象文字の構成ドットの配置に関する情報と完全に一致する文字を抽出することで、前記認識対象文字を特定する文字認識工程と、
    を備えることを特徴とする文字認識方法。
PCT/JP2013/059508 2013-02-13 2013-03-29 文字認識システム、文字認識プログラム及び文字認識方法 WO2014125658A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020157018711A KR102024127B1 (ko) 2013-02-13 2013-03-29 문자인식 시스템, 문자인식 프로그램 및 문자인식방법
EP13875167.2A EP2958055A4 (en) 2013-02-13 2013-03-29 CHARACTER DETECTING SYSTEM, CHARACTER RECOGNITION PROGRAM AND CHARACTER RECOGNITION METHOD
SG11201506275XA SG11201506275XA (en) 2013-02-13 2013-03-29 Character recognition system, character recognition program and character recognition method
CN201380072613.XA CN104981819A (zh) 2013-02-13 2013-03-29 字符识别系统、字符识别程序以及字符识别方法
US14/826,163 US9639970B2 (en) 2013-02-13 2015-08-13 Character recognition system, character recognition program and character recognition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013025232A JP6080586B2 (ja) 2013-02-13 2013-02-13 文字認識システム、文字認識プログラム及び文字認識方法
JP2013-025232 2013-02-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/826,163 Continuation-In-Part US9639970B2 (en) 2013-02-13 2015-08-13 Character recognition system, character recognition program and character recognition method

Publications (1)

Publication Number Publication Date
WO2014125658A1 true WO2014125658A1 (ja) 2014-08-21

Family

ID=51353681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059508 WO2014125658A1 (ja) 2013-02-13 2013-03-29 文字認識システム、文字認識プログラム及び文字認識方法

Country Status (8)

Country Link
US (1) US9639970B2 (ja)
EP (1) EP2958055A4 (ja)
JP (1) JP6080586B2 (ja)
KR (1) KR102024127B1 (ja)
CN (1) CN104981819A (ja)
MY (1) MY173006A (ja)
SG (1) SG11201506275XA (ja)
WO (1) WO2014125658A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6269256B2 (ja) * 2014-03-31 2018-01-31 京セラドキュメントソリューションズ株式会社 情報処理装置、画像形成装置、情報処理方法、及び情報処理プログラム
JP7087829B2 (ja) * 2018-08-27 2022-06-21 富士通株式会社 情報処理装置、書込制御プログラム、及び書込制御方法
KR102643324B1 (ko) * 2020-10-29 2024-03-07 닛폰세이테츠 가부시키가이샤 식별 장치, 식별 방법 및 프로그램

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03214377A (ja) * 1990-01-19 1991-09-19 Sony Corp 文字認識装置
JPH0922442A (ja) * 1995-07-04 1997-01-21 Advantest Corp イメージ・ドキュメント資料の電子管理システム
JPH0981671A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 文字コード取得装置
JPH1196289A (ja) * 1997-09-19 1999-04-09 Nec Corp 画面データ変換装置及び方法
JP2008305126A (ja) 2007-06-07 2008-12-18 Seiko Epson Corp 文字認識方法および文字認識システム
JP2010026805A (ja) 2008-07-18 2010-02-04 Denso Corp 文字認識装置及び文字認識方法
JP2011081537A (ja) 2009-10-06 2011-04-21 Psc:Kk データ受渡方法及び汎用データ取得方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63106882A (ja) * 1986-10-24 1988-05-11 Tokyo Keiki Co Ltd 活字文字認識装置の文字フオント決定方式
US5781914A (en) * 1995-06-30 1998-07-14 Ricoh Company, Ltd. Converting documents, with links to other electronic information, between hardcopy and electronic formats
US6151423A (en) * 1998-03-04 2000-11-21 Canon Kabushiki Kaisha Character recognition with document orientation determination
US6473517B1 (en) * 1999-09-15 2002-10-29 Siemens Corporate Research, Inc. Character segmentation method for vehicle license plate recognition
WO2004015619A1 (ja) * 2002-08-07 2004-02-19 Matsushita Electric Industrial Co., Ltd. 文字認識処理装置及び文字認識処理方法、並びに携帯端末装置
JP3990253B2 (ja) * 2002-10-17 2007-10-10 埼玉日本電気株式会社 携帯電話装置
JP3945778B2 (ja) * 2004-03-12 2007-07-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 設定装置、プログラム、記録媒体、及び設定方法
CN100356390C (zh) * 2004-09-24 2007-12-19 北京中星微电子有限公司 一种显示操作终端进行光符识别的方法
JP2008071214A (ja) * 2006-09-15 2008-03-27 Kochi Univ Of Technology 文字認識辞書作成方法及びその装置及び文字認識方法及びその装置及びプログラムを格納した記憶媒体
US20080310721A1 (en) * 2007-06-14 2008-12-18 John Jinhwan Yang Method And Apparatus For Recognizing Characters In A Document Image
US7929764B2 (en) * 2007-06-15 2011-04-19 Microsoft Corporation Identifying character information in media content
CN101419661B (zh) 2007-10-26 2011-08-24 国际商业机器公司 基于图像中的文本进行图像显示的方法和系统
US20100128994A1 (en) 2008-11-24 2010-05-27 Jan Scott Zwolinski Personal dictionary and translator device
JP5493807B2 (ja) * 2009-02-04 2014-05-14 株式会社リコー 画像通信装置、画像通信システム及び制御プログラム
JP5343617B2 (ja) * 2009-02-25 2013-11-13 富士通株式会社 文字認識プログラム、文字認識方法および文字認識装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03214377A (ja) * 1990-01-19 1991-09-19 Sony Corp 文字認識装置
JPH0922442A (ja) * 1995-07-04 1997-01-21 Advantest Corp イメージ・ドキュメント資料の電子管理システム
JPH0981671A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 文字コード取得装置
JPH1196289A (ja) * 1997-09-19 1999-04-09 Nec Corp 画面データ変換装置及び方法
JP2008305126A (ja) 2007-06-07 2008-12-18 Seiko Epson Corp 文字認識方法および文字認識システム
JP2010026805A (ja) 2008-07-18 2010-02-04 Denso Corp 文字認識装置及び文字認識方法
JP2011081537A (ja) 2009-10-06 2011-04-21 Psc:Kk データ受渡方法及び汎用データ取得方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2958055A4

Also Published As

Publication number Publication date
JP2014154066A (ja) 2014-08-25
KR102024127B1 (ko) 2019-09-23
US20150356764A1 (en) 2015-12-10
MY173006A (en) 2019-12-18
EP2958055A4 (en) 2016-09-21
SG11201506275XA (en) 2015-09-29
US9639970B2 (en) 2017-05-02
JP6080586B2 (ja) 2017-02-15
EP2958055A1 (en) 2015-12-23
CN104981819A (zh) 2015-10-14
KR20150116821A (ko) 2015-10-16

Similar Documents

Publication Publication Date Title
JP2005173730A (ja) 帳票ｏｃｒプログラム、方法及び装置
US20130181995A1 (en) Handwritten character font library
CN106202058B (zh) 反映排印文字中的手写体属性的设备和方法
CN109726369B (zh) 一种基于标准文献的智能模板化题录技术实现方法
JP6080586B2 (ja) 文字認識システム、文字認識プログラム及び文字認識方法
EP3413551A1 (en) Image forming apparatus and image forming method
US10733355B2 (en) Information processing system that stores metrics information with edited form information, and related control method information processing apparatus, and storage medium
US20170061665A1 (en) Information processing device, program, and recording medium
US9754197B2 (en) Information processing apparatus, print data generation method, and storage medium
JP6390858B2 (ja) グラフィックエレメントおよびテキストエレメントを含む２つのデータの比較装置および比較方法
JP4518212B2 (ja) 画像処理装置及びプログラム
JP2016517037A (ja) ディスプレイ装置及びその文字出力方法
JP2008310531A (ja) 帳票識別方法及び帳票識別プログラム並びに該帳票識別方法を用いた光学文字読取システム
JP4347675B2 (ja) 帳票ｏｃｒプログラム、方法及び装置
JP2014154066A5 (ja)
JP6325218B2 (ja) 文字認識結果検証装置及び文字読取システム
US9075776B2 (en) Document processing apparatus, document processing method, and program
JP2021111157A (ja) 情報処理装置、及び情報処理プログラム
GB2473228A (en) Segmenting Document Images
JP2013182459A (ja) 情報処理装置、情報処理方法及びプログラム
US11462014B2 (en) Information processing apparatus and non-transitory computer readable medium
JP2010061449A (ja) 原画像探索装置及び原画像探索プログラム
WO2014203905A2 (ja) 符号抽出方法、符号抽出装置及びプログラム
US10659654B2 (en) Information processing apparatus for generating an image surrounded by a marking on a document, and non-transitory computer readable recording medium that records an information processing program for generating an image surrounded by a marking on a document
CN118155220A (zh) 一种字符识别方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13875167

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 20157018711

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013875167

Country of ref document: EP