JP6481204B2 - Information processing apparatus, processing method thereof, and program - Google Patents

Information processing apparatus, processing method thereof, and program Download PDF

Info

Publication number
JP6481204B2
JP6481204B2 JP2015223365A JP2015223365A JP6481204B2 JP 6481204 B2 JP6481204 B2 JP 6481204B2 JP 2015223365 A JP2015223365 A JP 2015223365A JP 2015223365 A JP2015223365 A JP 2015223365A JP 6481204 B2 JP6481204 B2 JP 6481204B2
Authority
JP
Japan
Prior art keywords
character string
area
value
character
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015223365A
Other languages
Japanese (ja)
Other versions
JP2017091379A (en
JP2017091379A5 (en
Inventor
新一 三浦
新一 三浦
孝文 白波瀬
孝文 白波瀬
真一 鷲田
真一 鷲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Original Assignee
Canon Marketing Japan Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc filed Critical Canon Marketing Japan Inc
Priority to JP2015223365A priority Critical patent/JP6481204B2/en
Publication of JP2017091379A publication Critical patent/JP2017091379A/en
Publication of JP2017091379A5 publication Critical patent/JP2017091379A5/ja
Application granted granted Critical
Publication of JP6481204B2 publication Critical patent/JP6481204B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、文書画像の所望の箇所の値を容易に取得可能とする画像処理技術に関する。   The present invention relates to an image processing technique that makes it possible to easily acquire a value of a desired portion of a document image.

従来、様々な画像処理技術が開示されている。その中で、ブロックセレクション技術というものが存在する。   Conventionally, various image processing techniques have been disclosed. Among them, there is a block selection technique.

ブロックセレクション技術とは、1ページ内の画像データの認識を行い、文字領域、図領域、写真領域、表領域等のブロックに分類を行うものである。このブロックセレクション技術により得られた文字領域を文字認識することが行われている。ブロックセレクション技術については、特許文献1に開示されている。   The block selection technique is to recognize image data in one page and classify it into blocks such as a character area, a picture area, a photograph area, and a table area. Character recognition is performed on a character region obtained by this block selection technique. The block selection technique is disclosed in Patent Document 1.

また、ブロックセレクションを用いないで文字認識する場合には、事前に文字認識領域をテンプレートとして定義することが必要となる。文字認識領域を定義する技術については、特許文献2に開示されている。   In addition, when character recognition is performed without using block selection, it is necessary to define a character recognition area as a template in advance. A technique for defining a character recognition area is disclosed in Patent Document 2.

特開2006−195887号公報JP 2006-195887 A 特開2005−267394号公報JP 2005-267394 A

ブロックセレクション技術を用いると、様々なフォームから文字情報を取得できるため、利便性が高い一方、所定の範囲(例えば、文字列が複数行にわたる範囲)でブロック分けするため、ブロック内の文字列をすべて抽出することになり、必要な文字列の取得することは技術的に困難であった。   When using block selection technology, character information can be acquired from various forms, which is very convenient, but in order to divide the block into a predetermined range (for example, a range of character strings extending over multiple lines) All of them were extracted, and it was technically difficult to obtain a necessary character string.

また、文字認識領域を定義して文字列を取得する技術においては、設定が煩雑であった。さらに、フォームごとに設定を作る必要があり、容易に文字列を取得することができなかった。   Further, in the technology for defining a character recognition area and acquiring a character string, setting is complicated. Furthermore, it was necessary to make a setting for each form, and it was not possible to easily obtain a character string.

そこで、本発明の目的は、文書画像から所望の箇所の値を容易に取得できる仕組みを提供することである。   Therefore, an object of the present invention is to provide a mechanism that can easily acquire a value of a desired location from a document image.

本発明の目的を達成するための、複数の異なる属性の領域を含む画像データから値を取得して出力する情報処理装置であって、前記画像データの中で、複数の文字列で書かれた文字領域を特定する文字領域特定手段と、前記文字領域の複数の文字列のそれぞれの文字列の領域を抽出し、前記抽出した領域でキー文字列を複数箇所で特定するキー文字列特定手段と、前記複数箇所で特定したキー文字列毎に予め対応づけられた位置条件に合致する前記抽出した領域にある値を、前記出力するべく取得する取得手段と、前記出力するべく取得するための設定情報として記憶し、前記キー文字列毎に予め対応づけられた位置条件を、前記キー文字列と前記値との相対的な方向及び前記キー文字列から前記相対的な方向を見た場合の前記値の取得位置を特定可能な数で設定する設定手段とを備えることを特徴とする情報処理装置。 In order to achieve the object of the present invention, an information processing apparatus for obtaining and outputting values from image data including a plurality of areas having different attributes, written in a plurality of character strings in the image data A character area specifying means for specifying a character area; and a key character string specifying means for extracting a character string area of each of a plurality of character strings in the character area and specifying a key character string at a plurality of locations in the extracted area ; , An acquisition means for acquiring to output the value in the extracted area that matches a position condition associated in advance for each key character string specified at the plurality of locations, and a setting for acquiring to output The information is stored as information, and the position condition associated in advance for each key character string is the relative direction between the key character string and the value and the relative direction from the key character string. Value acquisition position The information processing apparatus comprising: a setting means for setting a specific possible number.

本発明によれば、文書画像から所望の箇所の値を容易に取得できる。   According to the present invention, the value of a desired location can be easily acquired from a document image.

画像処理システムの構成例を示す図であるIt is a figure which shows the structural example of an image processing system. PC201の概略構成を示すブロック図であるIt is a block diagram which shows schematic structure of PC201 画像処理システムにて実行される画像処理の概略を示すフローチャートであるIt is a flowchart which shows the outline of the image processing performed with an image processing system. 設定条件(設定ファイル)作成処理のフローチャートであるIt is a flowchart of a setting condition (setting file) creation process. 設定条件による値取得処理のフローチャートであるIt is a flowchart of the value acquisition process by setting conditions. ブロック情報の一例を示すデータ図であるIt is a data diagram which shows an example of block information 文字認識領域情報の一例を示すデータ図であるIt is a data diagram which shows an example of character recognition area information 設定ファイルの一例を示すデータ図であるIt is a data figure which shows an example of a setting file. 読み込む文書画像の一例を示すイメージ図であるIt is an image figure which shows an example of the document image to read ブロック情報を文書画像上で表示した場合のイメージ図であるIt is an image figure at the time of displaying block information on a document image 文字認識領域情報を選択領域として文書画像上で表示した場合のイメージ図であるIt is an image figure when character recognition area information is displayed on a document image as a selection area. 設定情報を生成するための設定画面の一例を示す図であるIt is a figure which shows an example of the setting screen for producing | generating setting information. 値取得領域の選択を受け付けた場合に設定画面の一例を示す図であるIt is a figure which shows an example of a setting screen, when selection of a value acquisition area is received 値取得処理により取得された値を表示した画面の一例を示す図であるIt is a figure which shows an example of the screen which displayed the value acquired by the value acquisition process

以下、本発明の実施形態を、図面を参照して詳細に説明する。
図1は、本発明の実施形態に係る画像処理方法が適用された画像処理システムの構成例を示す図である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration example of an image processing system to which an image processing method according to an embodiment of the present invention is applied.

図1において、画像処理システムは、例えば、情報処理装置としてのパーソナルコンピュータ(PC)201と、画像読取装置としてのスキャナ202と、印刷装置としてのプリンタ203とを備え、これらがネットワーク204を介して互いに接続されている。   In FIG. 1, the image processing system includes, for example, a personal computer (PC) 201 as an information processing apparatus, a scanner 202 as an image reading apparatus, and a printer 203 as a printing apparatus, which are connected via a network 204. Are connected to each other.

スキャナ202は、紙文書を光学的に読み取って電子化し、その画像データをPC201に送ることができる。PC201は、受信した画像データに対して所定の画像処理を実行する。その際、オペレータがキーボードやマウス等を操作して処理結果の確認および修正を行うことができる。プリンタ203は、所定の画像処理が行われた画像データをPC201から受信して印刷を行う。   The scanner 202 can optically read a paper document, digitize it, and send the image data to the PC 201. The PC 201 executes predetermined image processing on the received image data. At that time, the operator can confirm and correct the processing result by operating a keyboard, a mouse, or the like. The printer 203 receives image data on which predetermined image processing has been performed from the PC 201 and performs printing.

ネットワーク204は、インターネット、LANやWAN、電話回線、専用デジタル回線、ATMやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現される、いわゆる通信ネットワークであり、データの送受信が可能であればよい。   The network 204 is realized by any one of the Internet, a LAN or WAN, a telephone line, a dedicated digital line, an ATM or a frame relay line, a communication satellite line, a cable TV line, a data broadcasting wireless line, or a combination thereof. It is a so-called communication network as long as it can transmit and receive data.

なお、本発明の実施形態に係る画像処理方法を図示の画像処理システムに適用した形態について説明するが、これに限定されず、スキャナやプリンタが一体的に構成された複合機に適用した形態であってもよい。また、PC201は、スキャナ202から入力された画像データに限らず、デジタルカメラ等で撮影された文書画像データに対して本発明の画像処理方法を実行してもよく、画像データの入力先や入力方法を限定するものではない。   Although an embodiment in which the image processing method according to the embodiment of the present invention is applied to the illustrated image processing system will be described, the present invention is not limited to this, and the embodiment is applied to a multifunction machine in which a scanner and a printer are integrated. There may be. Further, the PC 201 is not limited to the image data input from the scanner 202, and may execute the image processing method of the present invention on document image data captured by a digital camera or the like. The method is not limited.

図2は、図1のPC201の概略構成を示すブロック図である。   FIG. 2 is a block diagram showing a schematic configuration of the PC 201 of FIG.

PC201において、CPU101は、ROM102に格納されている制御プログラムに従って装置全体の制御を行う。ROM102は、CPU101が実行する後述する処理等の制御プログラムを含む各種プログラムや各種パラメータデータを格納する。RAM103は、記憶装置104からロードされたプログラムを一時的に記憶したり、エリア画像や各種データを記憶する。また、RAM103は、データの作業領域や一時待避領域として機能する。   In the PC 201, the CPU 101 controls the entire apparatus according to a control program stored in the ROM 102. The ROM 102 stores various programs and various parameter data including a control program for processing to be described later executed by the CPU 101. The RAM 103 temporarily stores programs loaded from the storage device 104, and stores area images and various data. The RAM 103 functions as a data work area and a temporary save area.

記憶装置104は、例えば、ハードディスクやCD−ROM等で構成され、画像データを管理するデータベースを含む各種データを記憶する。ディスプレイ105は、例えば、LCDやCRTで構成される。入力装置106は、例えば、マウスやキーボード、ペンタブレット等で構成される。   The storage device 104 is composed of, for example, a hard disk or a CD-ROM, and stores various data including a database for managing image data. The display 105 is composed of, for example, an LCD or a CRT. The input device 106 is composed of, for example, a mouse, a keyboard, a pen tablet, and the like.

ネットワークインターフェース(I/F)109は、ネットワーク204上に接続されている外部装置(スキャナ202やプリンタ203に限らず、不図示のサーバや外部記憶装置等)と通信し、プログラムやデータを読み込んだり、書き込んだりする。   A network interface (I / F) 109 communicates with an external device (not limited to the scanner 202 and the printer 203, but a server or an external storage device, not shown) connected on the network 204, and reads a program or data. Or write.

図3は、図1の画像処理システムにて実行される画像処理の概略を示すフローチャートである。本処理は、PC201内の画像処理プログラムに基づいてCPU101により実行される処理である。なお、図3の詳細な処理を示すフローチャートは、図4と図5を用いて説明する。   FIG. 3 is a flowchart showing an outline of image processing executed in the image processing system of FIG. This process is a process executed by the CPU 101 based on the image processing program in the PC 201. The flowchart showing the detailed processing of FIG. 3 will be described with reference to FIGS.

まず、ステップS301では、PC201は、スキャナ202を制御して紙文書の画像を読み取らせて、その画像データを取得する。次に、PC201は、画像に対してブロックセレクション処理を行って、画像から表、文字、絵や図、枠、線の各領域を抽出する。   First, in step S301, the PC 201 controls the scanner 202 to read an image of a paper document and acquires the image data. Next, the PC 201 performs a block selection process on the image, and extracts a table, a character, a picture, a figure, a frame, and a line area from the image.

ブロックセレクション処理とは、図9のように読み取った一頁のイメージデータをオブジェクト毎の塊として認識し、該ブロック各々を文字/ 図画/ 写真/線/表等の属性に判定し、異なる属性を持つ領域に分割する処理である。   The block selection process recognizes the image data of one page read as shown in FIG. 9 as a block for each object, determines each block as an attribute such as character / drawing / photo / line / table, and sets different attributes. This is a process of dividing the area.

具体的には、先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。   Specifically, first, the input image is binarized into black and white, and contour tracking is performed to extract a block of pixels surrounded by a black pixel contour. For a black pixel block with a large area, contour tracing is also performed for white pixels inside, and a white pixel block is extracted, and the black pixel block is recursively extracted from the white pixel block with a certain area or more. Extract lumps.

このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が1に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。   The black pixel blocks obtained in this way are classified by size and shape, and are classified into regions having different attributes. For example, if the aspect ratio is close to 1 and the size is within a certain range, the pixel block corresponding to the character is used, the portion where the adjacent characters can be grouped in a well-aligned manner is the character region, and the flat pixel block is the line region. The area occupied by the black pixel block that is larger than the size and contains the square white pixel block in a well-aligned manner is the table region, the region where the irregular pixel block is scattered is the photo region, and the pixel block of any other shape is used. A drawing area, etc.

ブロックセレクション処理で得られた各ブロックに対するブロック情報を図6に示す。図6に示すブロック情報に対応する画像の例が図10である。なお、各ブロック情報は画面上で表示されないが、説明のために図10で各ブロックを示すものとする。   FIG. 6 shows block information for each block obtained by the block selection process. FIG. 10 shows an example of an image corresponding to the block information shown in FIG. In addition, although each block information is not displayed on a screen, each block shall be shown in FIG. 10 for description.

このブロックセレクション処理で得られたブロックのうち、テキスト属性(種別)を持つブロックを取得し、このブロックについて文字認識処理を行う。文字認識技術については既知の技術であるため説明を省略する。   Among the blocks obtained by this block selection process, a block having a text attribute (type) is acquired, and character recognition processing is performed on this block. Since the character recognition technique is a known technique, the description thereof is omitted.

文字認識をした結果得られた文字列から、複数行にわたる領域かを判定し、複数行にわたる場合には、各行に分割して、領域として登録する。1行はそのままの領域として登録する。文字認識した場合に得られた領域(座標)も取得できるため、その座標を登録する。領域として登録されたデータの例が図7である。図6のブロック4が5つの領域として分割され、登録されている(701)。
なお、文字認識の結果によっては、行が分かれる「個人番号」「123456789012」場合は、702のように、わかれて登録される。
From a character string obtained as a result of character recognition, it is determined whether the region extends over a plurality of lines. When the region extends over a plurality of lines, it is divided into lines and registered as a region. One line is registered as an area as it is. Since the area (coordinates) obtained when the character is recognized can also be acquired, the coordinates are registered. An example of data registered as an area is shown in FIG. The block 4 in FIG. 6 is divided and registered as five areas (701).
Depending on the result of character recognition, in the case of “personal number” “12345678902” in which the line is divided, it is recognized and registered as 702.

この登録された領域を用いて、設定画面上(図13)で、ユーザにより選択し、値取得領域を特定するための条件(設定条件)を作成する。作成された設定条件を、設定ファイル(図8)に保存して、記憶装置104に記憶する。   Using the registered area, a condition (setting condition) for selecting a value acquisition area is selected by the user on the setting screen (FIG. 13). The created setting conditions are saved in a setting file (FIG. 8) and stored in the storage device 104.

ステップS302では、PC201は、実際に値を取得したい画像を読み込み、ステップS301で作成した設定条件に従って、値を取得する領域を特定する。この特定は、ステップS301で説明した処理と同様に、ブロックセレクションにより得られたブロックに対して文字認識処理を行い、行分割して、領域を登録する。この領域から、設定条件のキー領域の検索文字列(例えば、通知カード)を基に、キー領域を検索して、このキー領域から、条件(例えば、下、1)を用いて、キー領域の下の1つ目の領域を値取得領域として特定する。   In step S302, the PC 201 reads an image for which a value is to be actually acquired, and specifies an area from which the value is acquired according to the setting condition created in step S301. For this specification, similar to the processing described in step S301, character recognition processing is performed on the block obtained by block selection, the line is divided, and the region is registered. From this area, the key area is searched based on the search character string (for example, notification card) of the key area of the setting condition, and from this key area, the condition of the key area is The lower first area is specified as the value acquisition area.

ステップS303では、PC201は、値取得領域として特定された領域に登録されている文字列(数字)を取得して、ディスプレイ105に表示する。ディスプレイへの表示例は、図14である。また、ユーザからの出力指示によりCSVファイル等に取得した値のデータ群をエクスポートして出力する。   In step S <b> 303, the PC 201 acquires the character string (number) registered in the area specified as the value acquisition area and displays it on the display 105. An example of display on the display is shown in FIG. In addition, a data group of values acquired in a CSV file or the like according to an output instruction from the user is exported and output.

次に図4〜図5を用いて、本実施形態における詳細処理について説明する。なお、図4〜図5は、図1の画像処理システムにて実行される画像処理の詳細を示すフローチャートである。本処理は、PC201内の画像処理プログラムに基づいてCPU101により実行される処理である。図4は、設定条件(設定ファイル)作成処理のフローチャートであり、図5は、設定条件による値取得処理のフローチャートである。
まず、図4のフローチャートを用いて説明する。
Next, detailed processing in this embodiment will be described with reference to FIGS. 4 to 5 are flowcharts showing details of image processing executed in the image processing system of FIG. This process is a process executed by the CPU 101 based on the image processing program in the PC 201. FIG. 4 is a flowchart of setting condition (setting file) creation processing, and FIG. 5 is a flowchart of value acquisition processing based on the setting conditions.
First, it demonstrates using the flowchart of FIG.

ステップS401では、PC201は、ユーザの操作により、画像処理プログラムを実行させ、不図示のメニューから設定条件作成機能が選択されたか。値取得機能が選択されたかを判定する。設定条件作成機能が選択された場合にはステップS402へ処理を移す。値取得機能が選択された場合には、図5へ処理を移す。   In step S401, the PC 201 causes the image processing program to be executed by a user operation, and has the setting condition creation function been selected from a menu (not shown)? It is determined whether the value acquisition function is selected. If the setting condition creation function is selected, the process proceeds to step S402. If the value acquisition function is selected, the process proceeds to FIG.

ステップS402では、PC201はスキャナから取り込まれた画像、或いは所定のフォルダに格納されている画像を読み込む。読み込まれた画像の例が、図8である。   In step S402, the PC 201 reads an image captured from the scanner or an image stored in a predetermined folder. An example of the read image is shown in FIG.

ステップS403では、PC201は、読み込まれた画像を用いて、ブロックセレクション処理を実行する。なお、ブロックセレクション処理については、ステップS301の通りである。このブロックセレクションは、ブロックセレクションライブラリを用いて実行する。ブロックセレクションで得られるブロック情報は図6である。   In step S403, the PC 201 executes block selection processing using the read image. The block selection process is as in step S301. This block selection is executed using a block selection library. Block information obtained by block selection is shown in FIG.

ここで、図6を説明する。ブロックID、種別(テキスト、図、表・・・)領域情報(座標X、座標Y、幅、高さ)を有している。これらのブロック情報は、ブロックセレクションライブラリが生成するものである。   Here, FIG. 6 will be described. It has a block ID, type (text, figure, table...) Area information (coordinate X, coordinate Y, width, height). Such block information is generated by a block selection library.

ステップS404では、PC201は、ブロックセレクションライブラリからテキスト種別、表種別を有するブロック情報を取得する。   In step S404, the PC 201 acquires block information having a text type and a table type from the block selection library.

ステップS405では、PC201は、取得したブロックに対して、文字認識処理を行う。文字認識処理は既知の技術であり説明を省略するが、例えば、パターンマッチングを用いて、記入文字と文字のテンプレートを照合して、文字候補を抽出する技術がある。   In step S405, the PC 201 performs character recognition processing on the acquired block. The character recognition process is a known technique and will not be described. For example, there is a technique for extracting character candidates by collating a character with a character template using pattern matching.

文字認識処理により、文字列(数字含む)と、その文字列の領域情報(座標)が取得できる。領域情報は、文字列を囲む枠を示す領域である。文字認識した結果は、ブロックごとにメモリで管理されるものとする。   By character recognition processing, a character string (including numbers) and area information (coordinates) of the character string can be acquired. The area information is an area indicating a frame surrounding the character string. The result of character recognition is managed in memory for each block.

ステップS405では、すべてのブロックに対して、まず文字認識を実行し、ステップS408の処理へ移行するようにしているが、1ブロックごとに、文字認識を行い、S408の判定を行ってもよい。すなわち、すべてのブロックに対して文字認識を実行したあとに、ステップS408の判定を実行する手順に限定されるものではない。   In step S405, character recognition is first executed for all blocks, and the process proceeds to step S408. However, character recognition may be performed for each block, and the determination in step S408 may be performed. That is, the present invention is not limited to the procedure for executing the determination in step S408 after performing character recognition on all blocks.

ステップS406では、PC201は、すべてのブロックに対して、処理を実行したか否かを判定する。すべてのブロックに対して処理が行われていない場合、次に処理するブロックの文字列を取得するべくステップS407へ処理を移す。すべてのブロックに対して処理を実行した場合には、ステップS411へ処理を移す。   In step S406, the PC 201 determines whether processing has been executed for all blocks. If the process has not been performed for all the blocks, the process proceeds to step S407 in order to obtain the character string of the block to be processed next. If the process has been executed for all blocks, the process proceeds to step S411.

ステップS407では、PC201は、処理対象のブロックの文字認識結果(文字列)をメモリから取得する。   In step S407, the PC 201 obtains the character recognition result (character string) of the block to be processed from the memory.

ステップS408では、PC201は、取得した文字列が複数行の文字列かを判定する。図10を参照し、ブロック4を例にとると、5行にわたる文字列が取得できるため、ステップS410へ処理を移す。また、ブロック1を例にとると、1行の文字列が取得できるため、ステップS409へ処理を移す。   In step S408, the PC 201 determines whether the acquired character string is a character string of a plurality of lines. Referring to FIG. 10, taking block 4 as an example, a character string extending over five lines can be acquired, and thus the process proceeds to step S410. Further, taking block 1 as an example, since a character string of one line can be acquired, the process proceeds to step S409.

ステップS409では、PC201は、文字認識結果を、図7の文字認識領域情報に登録する。図7では、領域IDと、文字認識結果から得られる文字列と、文字列がある位置を示す領域情報(座標)を登録する。   In step S409, the PC 201 registers the character recognition result in the character recognition area information of FIG. In FIG. 7, the area ID, the character string obtained from the character recognition result, and area information (coordinates) indicating the position where the character string is located are registered.

ステップS410では、PC201は、行ごとに分割して、文字認識領域情報に登録する。図7の701に示す通り、ブロック4の文字列が、5つの領域に分けて登録される。なお、領域情報(座標)は、それぞれの行の文字列のある位置の座標が登録される。
なお、この図7に登録された領域が、後述する設定画面で選択可能な選択領域となる。
In step S410, the PC 201 divides each line and registers it in the character recognition area information. As indicated by reference numeral 701 in FIG. 7, the character string of block 4 is registered in five areas. In the area information (coordinates), the coordinates of a certain position of the character string in each line are registered.
Note that the area registered in FIG. 7 is a selection area that can be selected on a setting screen described later.

ステップS411では、PC201は、図7の文字認識領域情報の座標を用いて、選択領域を表示する。選択領域を表示した例が、図11であり、選択領域は、破線で示されている。すなわち、設定情報を生成すべく、文字認識処理により得られた文字認識領域を表示する表示処理の一例を示すステップである。   In step S411, the PC 201 displays the selected area using the coordinates of the character recognition area information in FIG. An example in which the selection area is displayed is shown in FIG. 11, and the selection area is indicated by a broken line. That is, it is a step showing an example of display processing for displaying the character recognition area obtained by the character recognition processing in order to generate setting information.

ステップS412では、PC201は、選択領域を表示する際に、設定画面を合わせて表示する。設定画面の例が、図12である。なお、設定画面の表示は、S402の画面を読み込む際に事前に表示されている構成であってもよく、手順を限定するものではない。   In step S412, the PC 201 displays a setting screen together when displaying the selection area. An example of the setting screen is shown in FIG. The setting screen may be displayed in advance when the screen of S402 is read, and the procedure is not limited.

ステップS413では、PC201は、ユーザの操作により、キー領域とする領域の選択を受ける。図12の例を基に詳述すると、1200にフォーカスがある状態で、1201の領域を選択すると、1200に選択された領域名がインプットされる。領域名は、図7の文字列から取得して表示する。何文字目までを領域名とするか、スペースなどの区切りまでを領域名とするかは予め設定されているものとする。
すなわち、キーとなる領域を、表示された文字認識領域から選択する第1の選択処理の一例を示すステップである。
In step S413, the PC 201 receives selection of an area to be a key area by a user operation. Describing in detail based on the example of FIG. 12, if the area 1201 is selected while the focus is on 1200, the area name selected in 1200 is input. The area name is acquired from the character string in FIG. 7 and displayed. It is assumed that the number of characters up to the region name or the region name up to a break such as a space is set in advance.
That is, this is a step showing an example of a first selection process for selecting a key area from the displayed character recognition area.

1201と1202は、実線で示されている通り、キー領域として選択されたことを示している。また、未選択の領域と識別できるように表示する。これにより、キー領域としてどの領域を選択しているのかを把握しやすくなる。   Reference numerals 1201 and 1202 indicate that the key areas are selected as indicated by the solid lines. In addition, it is displayed so that it can be identified as an unselected region. Thereby, it becomes easy to grasp which area is selected as the key area.

条件(and、or)については、ユーザが任意に選択するものとする。位置については、後述するが、値取得領域として領域が選択された場合に、表示される。   The condition (and, or) is arbitrarily selected by the user. As will be described later, the position is displayed when an area is selected as the value acquisition area.

ステップS414では、PC201は、上述したように選択した領域の領域名を設定画面に表示する。複数のキー領域を選択する場合には、次の領域を繰り返し選択する。   In step S414, the PC 201 displays the area name of the area selected as described above on the setting screen. When selecting a plurality of key areas, the next area is repeatedly selected.

ステップS415では、PC201は、値取得領域とする領域の選択を受け付ける。図13の例を基に詳述すると、1300にフォーカスがある状態で、1301の領域を選択すると、1300に選択された領域名がインプットされる。領域名は、図7の文字列から取得して表示する。何文字目までを領域名とするか、スペースなどの区切りまでを領域名とするかは予め設定されているものとする。
すなわち、値取得領域となる領域を、表示された文字認識領域から選択する第2の選択処理の一例を示すステップである。
In step S415, the PC 201 accepts selection of an area to be a value acquisition area. Describing in detail based on the example of FIG. 13, when the region 1301 is selected in a state where the focus is on 1300, the region name selected in 1300 is input. The area name is acquired from the character string in FIG. 7 and displayed. It is assumed that the number of characters up to the region name or the region name up to a break such as a space is set in advance.
That is, this is a step showing an example of a second selection process for selecting an area to be a value acquisition area from the displayed character recognition area.

1301は、斜め線で網掛け表示されている通り、値取得領域として選択されたことを示している。また、未選択の領域、キー領域と識別できるように表示する。これにより、キー領域として、また値取得領域としてどの領域を選択しているのかを把握しやすくなり、設定作業が容易になる。   Reference numeral 1301 indicates that the value acquisition area is selected as indicated by hatching. In addition, it is displayed so that it can be identified from an unselected area and a key area. As a result, it becomes easy to grasp which region is selected as the key region and the value acquisition region, and the setting operation is facilitated.

すなわち、第1の選択処理で選択されたキーとなる領域と、第2の選択処理で選択された値取得領域となる領域とを識別可能に表示する識別表示処理の一例を示すステップものである。   That is, it is a step showing an example of the identification display process for displaying the area that becomes the key selected in the first selection process and the area that becomes the value acquisition area selected in the second selection process in an identifiable manner. .

ステップS416では、PC201は、上述したように選択した領域(値取得領域)の領域名を設定画面に表示する。   In step S416, the PC 201 displays the area name of the area (value acquisition area) selected as described above on the setting screen.

ステップS417では、PC201は、キー領域と値取得領域の関係(位置)取得する。具体的には、キー領域として選択した領域の領域情報(座標)と、値取得領域として選択した領域の領域情報(座標)から位置関係を算出する。例えば、値取得領域がキー領域の下に位置すると判定された場合には、キー領域から下方向で、何個目の領域かを決定する。図13の例では、1301は、通知カードの領域の下にある領域と判定され、1個目の領域と決定される。この位置の決定を、選択されたキー領域ごとに行い、関係の位置情報を取得する。   In step S417, the PC 201 acquires the relationship (position) between the key area and the value acquisition area. Specifically, the positional relationship is calculated from the area information (coordinates) of the area selected as the key area and the area information (coordinates) of the area selected as the value acquisition area. For example, when it is determined that the value acquisition area is located below the key area, the number of areas is determined downward from the key area. In the example of FIG. 13, 1301 is determined to be an area below the area of the notification card, and is determined as the first area. This position is determined for each selected key area, and related position information is acquired.

すなわち、第1の選択処理により選択されたキーとなる領域の領域情報と第2の選択処理により選択された値取得領域の領域情報に従って、キーとなる領域に対応する値取得領域の位置を特定する特定処理の一例を示すステップである。   That is, the position of the value acquisition area corresponding to the key area is specified according to the area information of the key area selected by the first selection process and the area information of the value acquisition area selected by the second selection process. It is a step which shows an example of the specific process to perform.

ステップS418では、PC201は、ステップS417で取得した位置情報を1302に条件として設定して、表示する。
ステップS419では、PC201は、その他の条件設定の入力を受け付ける。例えば、取得値属性、桁数などである。
In step S418, the PC 201 sets the position information acquired in step S417 as a condition in 1302, and displays it.
In step S419, the PC 201 receives an input of other condition settings. For example, the acquired value attribute and the number of digits.

なお、ステップS413〜ステップS419の処理に対応する操作は、ユーザが任意の順番で入力操作ができるため、フローチャートに記載の手順に限定されるものではない。   Note that the operation corresponding to the processing in steps S413 to S419 is not limited to the procedure described in the flowchart because the user can perform an input operation in an arbitrary order.

ステップS420では、PC201は、ユーザの操作により登録ボタンが押下されると、設定画面で入力された条件(設定情報)を設定ファイルに保存する。すなわち、特定処理により特定された位置を位置条件として設定し、第1の選択処理で選択されたキーとなる領域の文字列をキー文字列として設定する処理の一例を示すステップである。なお、図13の設定画面での各項目へインプットも設定処理の一例である。   In step S420, when the registration button is pressed by a user operation, the PC 201 saves the conditions (setting information) input on the setting screen in a setting file. That is, this is a step showing an example of a process for setting the position specified by the specifying process as a position condition and setting the character string of the area to be the key selected in the first selection process as the key character string. Note that input to each item on the setting screen of FIG. 13 is an example of setting processing.

設定ファイルの保存例は、図8である。801は、701のように領域が登録された場合の例であり、802は、702のように個人番号と、数字の領域が別の行として認識され、領域が登録された場合の例である。そして、キー領域として、通知カード、個人番号が選択された場合の例である。   An example of saving the setting file is shown in FIG. Reference numeral 801 denotes an example in which an area is registered as in 701, and reference numeral 802 denotes an example in which a personal number and a numeric area are recognized as separate lines and an area is registered as in 702. . In this example, a notification card and a personal number are selected as the key area.

なお、図8の設定ファイルの設定情報は、キーとなる領域を特定するためのキー文字列(例えば、キー領域の検索文字列:通知カード)と、キーとなる領域に基づき文字列を取得する領域を特定するための位置条件(条件:下、1)を含む設定情報と言い換えることが可能である。   Note that the setting information in the setting file in FIG. 8 acquires a character string based on a key character string (for example, key area search character string: notification card) for specifying a key area and a key area. In other words, it can be paraphrased as setting information including a position condition (condition: lower, 1) for specifying an area.

続いて、図5を用いて、設定条件による値取得処理のフローチャートについて説明する。   Next, a flowchart of value acquisition processing based on setting conditions will be described with reference to FIG.

ステップS501では、PC201は、設定ファイルから設定情報を読み込む。利用する設定ファイルは、ユーザが任意に選択して読み込んでもよい。
ステップS502では、PC201は、PC201はスキャナから取り込まれた画像、或いは所定のフォルダに格納されている画像を読み込む。
In step S501, the PC 201 reads setting information from the setting file. The setting file to be used may be arbitrarily selected and read by the user.
In step S502, the PC 201 reads an image captured from the scanner or an image stored in a predetermined folder.

ステップS503では、PC201は、PC201は、読み込まれた画像を用いて、ブロックセレクション処理を実行する。このブロックセレクションは、ブロックセレクションライブラリを用いて実行する。なお、ブロックセレクション処理については、ステップS301の通りである。また、ブロック情報は図6と同様である。さらに、ブロックセレクションライブラリで文字認識処理を実行してもよい。   In step S503, the PC 201 executes a block selection process using the read image. This block selection is executed using a block selection library. The block selection process is as in step S301. The block information is the same as in FIG. Further, the character recognition process may be executed by a block selection library.

ステップS504では、PC201は、ブロックセレクションライブラリからテキスト種別、表種別を有するブロック情報を取得する。   In step S504, the PC 201 acquires block information having a text type and a table type from the block selection library.

ステップS505では、PC201は、取得したブロックに対して、文字認識処理を行う。文字認識処理は既知の技術であり説明を省略するが、例えば、パターンマッチングを用いて、記入文字と文字のテンプレートを照合して、文字候補を抽出する技術がある。   In step S505, the PC 201 performs character recognition processing on the acquired block. The character recognition process is a known technique and will not be described. For example, there is a technique for extracting character candidates by collating a character with a character template using pattern matching.

文字認識処理により、文字列(数字含む)と、その文字列の領域情報(座標)が取得できる。領域情報は、文字列を囲む枠を示す領域である。文字認識した結果は、ブロックごとにメモリで管理されるものとする。   By character recognition processing, a character string (including numbers) and area information (coordinates) of the character string can be acquired. The area information is an area indicating a frame surrounding the character string. The result of character recognition is managed in memory for each block.

ステップS505では、すべてのブロックに対して、まず文字認識を実行し、ステップS508の処理へ移行するようにしているが、1ブロックごとに、文字認識を行い、S508の判定を行ってもよい。すなわち、すべてのブロックに対して文字認識を実行したあとに、ステップS508の判定を実行する手順に限定されるものではない。   In step S505, character recognition is first executed for all blocks, and the process proceeds to step S508. However, character recognition may be performed for each block, and the determination in step S508 may be performed. That is, the present invention is not limited to the procedure for executing the determination in step S508 after performing character recognition on all blocks.

ステップS506では、PC201は、すべてのブロックに対して、処理を実行したか否かを判定する。すべてのブロックに対して処理が行われていない場合、次に処理するブロックの文字列を取得するべくステップS507へ処理を移す。すべてのブロックに対して処理を実行した場合には、ステップS509へ処理を移す。   In step S506, the PC 201 determines whether processing has been executed for all blocks. If processing has not been performed for all blocks, the process proceeds to step S507 in order to obtain a character string of a block to be processed next. If the process has been executed for all blocks, the process proceeds to step S509.

ステップS507では、PC201は、処理対象のブロックの文字認識結果(文字列)をメモリから取得する。すなわち、所定の領域の画像に対する文字認識結果(ブロックの文字認識の結果)により得られる文字列を取得する取得処理の一例を示すステップである。所定の領域とは、例えば、ブロックセレクションにより得られた領域である。   In step S507, the PC 201 acquires the character recognition result (character string) of the processing target block from the memory. That is, it is a step showing an example of an acquisition process for acquiring a character string obtained from a character recognition result (a result of block character recognition) for an image in a predetermined area. The predetermined area is, for example, an area obtained by block selection.

ステップS508では、PC201は、取得した文字列が複数行の文字列かを判定する。ステップS408の処理と同様のため、図10を参照し説明する。ブロック4を例にとると、5行にわたる文字列が取得できるため、ステップS510へ処理を移す。また、ブロック1を例にとると、1行の文字列が取得できるため、ステップS509へ処理を移す。すなわち、ステップS508は、取得処理により取得された文字列が複数行の文字列か否かを判定する複数行判定処理の一例を示すステップである。   In step S508, the PC 201 determines whether the acquired character string is a character string of a plurality of lines. Since it is the same as the process of step S408, it demonstrates with reference to FIG. Taking block 4 as an example, since a character string extending over five lines can be acquired, the process proceeds to step S510. Further, taking block 1 as an example, one line of character string can be acquired, so the process proceeds to step S509. That is, step S508 is a step showing an example of a multi-line determination process for determining whether or not the character string acquired by the acquisition process is a multi-line character string.

ステップS509では、PC201は、文字認識結果をメモリに記憶する。なお、ステップS409の処理と同様のため、図7を用いて説明する。文字認識結果は図7の文字認識領域情報に登録される。図7では、領域IDと、文字認識結果から得られる文字列と、文字列がある位置を示す領域情報(座標)を登録する。   In step S509, the PC 201 stores the character recognition result in the memory. Since it is the same as the process of step S409, it will be described with reference to FIG. The character recognition result is registered in the character recognition area information of FIG. In FIG. 7, the area ID, the character string obtained from the character recognition result, and area information (coordinates) indicating the position where the character string is located are registered.

ステップS510では、PC201は、行ごとに領域を分割して、文字認識領域情報を生成し、登録する。図7の701に示す通り、ブロック4の文字列が、5つの領域に分けて登録される。なお、領域情報(座標)は、それぞれの行の文字列のある位置の座標が登録される。   In step S510, the PC 201 divides the area for each line to generate and register character recognition area information. As indicated by reference numeral 701 in FIG. 7, the character string of block 4 is registered in five areas. In the area information (coordinates), the coordinates of a certain position of the character string in each line are registered.

なお、図7の文字認識領域情報は、文字認識処理により得られた文字認識領域と言い換えることが可能である。また、ステップS510は、複数行判定処理により複数行と判定された場合に、行ごとの文字認識領域を生成する生成処理の一例を示すステップである。   Note that the character recognition area information in FIG. 7 can be restated as the character recognition area obtained by the character recognition process. Step S510 is a step showing an example of a generation process for generating a character recognition area for each line when it is determined as a plurality of lines by the multi-line determination process.

ステップS511では、PC201は、読み込まれた設定情報のキー領域の検索文字列(図8参照)を取得して、文字認識領域情報を検索する。キー領域の検索文字列に従って、文字認識領域情報の文字列で一致する領域を特定する。これにより、一致した領域がキー検索領域となる。すなわち、キー文字列に従って、文字認識処理により得られた文字認識領域から、キーとなる領域を特定するキー領域特定処理の一例を示すステップである。また、詳細には、生成処理により生成された文字認識領域から、キーとなる領域を特定する処理の一例を示すステップである。   In step S511, the PC 201 acquires a search character string (see FIG. 8) in the key area of the read setting information, and searches the character recognition area information. In accordance with the search character string of the key area, a matching area is specified in the character string of the character recognition area information. Thereby, the matched area becomes the key search area. That is, it is a step showing an example of a key area specifying process for specifying a key area from the character recognition area obtained by the character recognition process according to the key character string. Further, in detail, this is a step showing an example of a process of specifying a key area from the character recognition area generated by the generation process.

ステップS512では、PC201は、キー領域と、設定情報の条件(例えば、「下、1」)を取得して、キー領域から1つ下の領域を特定する。キー領域の座標を基に、文字認識領域情報(例えば、図7)を参照して下方向の座標を有する領域を検索し、特定する。この特定した領域が値取得領域となる。なお、下方向の座標を有する領域のうち、一番近い座標を持つ領域から順に1つ目の領域、2つ目の領域とする。
キー領域が複数ある場合には、キー領域の条件「and、or」に従って、値取得領域を特定する。
In step S512, the PC 201 acquires the key area and the setting information condition (for example, “below 1”), and specifies the area immediately below the key area. Based on the coordinates of the key area, an area having downward coordinates is searched and specified with reference to character recognition area information (for example, FIG. 7). This specified area becomes a value acquisition area. It should be noted that the first region and the second region are sequentially arranged from the region having the closest coordinates among the regions having the downward coordinates.
When there are a plurality of key areas, the value acquisition area is specified according to the condition “and, or” of the key area.

すなわち、特定されたキーとなる領域と設定情報の位置条件に従って、文字認識領域から値取得領域を特定する値取得領域特定処理の一例を示すステップである。   That is, this is a step showing an example of a value acquisition area specifying process for specifying a value acquisition area from the character recognition area in accordance with the specified key area and the position condition of the setting information.

ステップS512で値取得領域が特定できた場合には、画像上に値取得箇所を示すように、値取得領域の座標に従って、枠等の識別表示を行う。なお、識別表示した例が、図14の1401である。図14は、図9の帳票とは異なる個人を例にした帳票の画像(文書画像)で、値取得表示と、識別表示をしている。   When the value acquisition area can be specified in step S512, identification display such as a frame is performed according to the coordinates of the value acquisition area so as to indicate the value acquisition location on the image. An example of the identification display is 1401 in FIG. FIG. 14 is an image (document image) of a form taking an individual different from the form of FIG. 9 as a value acquisition display and an identification display.

ステップS511とステップS512により、キー領域を特定したうえで、キー領域から位置条件(例えば、下、1)にある領域を特定して値を取得するため、誤った位置の値を取得することがなくなる。文字認識定義のあるテンプレートを用いた場合には、ユーザによる貼り付け誤差によって、適切な値が取得できないが、本処理を用いることにより貼り付け誤差があっても取得したい箇所の値を取得することが可能となる。   In step S511 and step S512, after specifying the key area, the area in the position condition (for example, lower 1) is specified and the value is acquired from the key area. Disappear. When a template with character recognition definition is used, an appropriate value cannot be acquired due to a pasting error by the user, but by using this process, the value of the part to be acquired should be acquired even if there is a pasting error. Is possible.

ステップS513では、PC201は、ステップS512で特定した値取得領域の文字列を取得する。文字列の取得は、文字認識領域情報(例えば、図7)の文字列から取得する。この時、出力条件(例えば「数字、12ケタ」)に従って、必要な文字列を取得する。   In step S513, the PC 201 acquires the character string in the value acquisition area specified in step S512. The character string is acquired from the character string of the character recognition area information (for example, FIG. 7). At this time, a necessary character string is acquired according to the output condition (for example, “number, 12 digits”).

ステップS514では、PC201は、取得した文字列(値)を認識結果画面1402に表示する。すなわち、特定された値取得領域の文字列を出力する表示出力処理の一例を示すステップである。   In step S514, the PC 201 displays the acquired character string (value) on the recognition result screen 1402. That is, it is a step showing an example of a display output process for outputting a character string in the specified value acquisition area.

なお、ステップS513で出力条件に合致する値が取得できない場合にはエラーを通知する。認識結果に誤りがあった場合には、ユーザにより、修正入力エリアに修正値を入力させることが可能である。修正入力エリアに入力された場合には、入力値が登録される値となる。   Note that an error is notified if a value that matches the output condition cannot be acquired in step S513. If there is an error in the recognition result, the user can input a correction value in the correction input area. When input to the correction input area, the input value is a registered value.

ステップS515では、PC201は、認識結果をCSVファイルに出力する。なお、複数の画像が読み込まれた場合には、すべての画像に対して、値取得を実行し、図14の登録ボタンで値を登録して、最後の画像に対する値を登録すると、CSVファイルにて値を出力する。出力するファイルの形式は一例であり、限定されるものではない。   In step S515, the PC 201 outputs the recognition result to a CSV file. When a plurality of images are read, value acquisition is executed for all images, values are registered with the registration button in FIG. 14, and values for the last image are registered. Output the value. The format of the output file is an example and is not limited.

また、ファイルの出力先を任意に指定する、出力する際には、不図示の出力ボタンを押下することで、所定の出力先に認識結果(値)を出力することが可能であることは言うまでもない。
出力する値としては、「987654321098」だけでもよいし、987654321098の領域名(個人番号)と合わせて出力してもよい。
In addition, when the output destination of a file is arbitrarily designated and output, it goes without saying that the recognition result (value) can be output to a predetermined output destination by pressing an output button (not shown). Yes.
The value to be output may be only “9876542321098” or may be output together with the area name (personal number) of 9876554321098.

以上、本実施形態によれば、文書画像から所望の箇所の値を容易に取得できる。   As described above, according to the present embodiment, the value of a desired portion can be easily acquired from the document image.

特に、煩雑な設定が必要な文字認識領域を設定したテンプレートを用いることなく、容易に値取得する条件を設定することができる。また、ブロックセレクションにより複数行にわたる文字列が取得できる場合においても、所定の位置にある値を容易かつ精度よく取得させることが可能となる。   In particular, it is possible to easily set a condition for acquiring a value without using a template in which a character recognition area requiring complicated settings is set. Even when a character string extending over a plurality of lines can be acquired by block selection, a value at a predetermined position can be acquired easily and accurately.

例えば、テンプレートと用いる文字認識技術を用いた場合に、申請書に貼り付け書類があると、貼付け位置がずれてしまうと認識領域がずれてしまい、誤った値が取得されるという技術的な課題がある。本実施形態では、貼付け位置が上下左右にずれたとしても、ブロックセレクションを用いて、キー領域を特定したうえで、キー領域から位置条件にある領域を特定して値を取得するため、誤った位置の値を取得することがなくなるという効果を得ることできる。   For example, when using the character recognition technology used with the template, if there are pasted documents in the application form, the recognition area will be shifted if the pasting position is shifted, and an incorrect value will be acquired. There is. In this embodiment, even if the pasting position is shifted up, down, left and right, the block area is used to specify the key area, and then the area in the position condition is specified from the key area to acquire the value. It is possible to obtain an effect that the position value is not acquired.

なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。例えば、本実施形態では、値取得領域を特定する条件として、「1つ」下の領域という形で領域単位で条件を持たせるようにしたが、キー領域からの相対的な位置を持たせるようにしてもよい。すなわち、値取得領域を特定するためのキー領域からの位置条件を持たせる構成であればよい。   It should be noted that the configuration and contents of the various data described above are not limited to this, and it goes without saying that the various data and configurations are configured according to the application and purpose. For example, in this embodiment, as a condition for specifying the value acquisition area, the condition is given in units of areas in the form of “one” lower area. However, the relative position from the key area is given. It may be. That is, any configuration may be used as long as it has a position condition from the key area for specifying the value acquisition area.

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。例えば、クラウド環境で実現する構成であってもよい。その場合、クラウド環境上のサーバで、設定ファイル作成ツールが実行される。   Although one embodiment has been described above, the present invention can take an embodiment as, for example, a system, apparatus, method, program, or recording medium, and specifically includes a plurality of devices. The present invention may be applied to a system including a single device. For example, the structure implement | achieved in a cloud environment may be sufficient. In this case, the configuration file creation tool is executed on the server on the cloud environment.

また、本発明におけるプログラムは、図3〜図5に示すフローチャートの処理方法をコンピュータが実行可能なプログラムである。なお、記憶媒体に図3〜図5の処理方法をコンピュータが実行可能なプログラムが記憶される構成であってもよい。なお、本発明におけるプログラムは図3〜図5の各装置の処理方法ごとのプログラムであってもよい。   Moreover, the program in this invention is a program which a computer can perform the processing method of the flowchart shown in FIGS. Note that the storage medium may be configured to store a program capable of executing the processing methods of FIGS. 3 to 5 by the computer. The program in the present invention may be a program for each processing method of each apparatus in FIGS.

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。   As described above, a recording medium that records a program that implements the functions of the above-described embodiments is supplied to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the program stored in the recording medium. It goes without saying that the object of the present invention can also be achieved by executing the reading.

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。   In this case, the program itself read from the recording medium realizes the novel function of the present invention, and the recording medium storing the program constitutes the present invention.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク、ソリッドステートドライブ等を用いることができる。   As a recording medium for supplying the program, for example, a flexible disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, DVD-ROM, magnetic tape, nonvolatile memory card, ROM, EEPROM, silicon A disk, solid state drive, or the like can be used.

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) operating on the computer based on an instruction of the program is actually It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the processing and the processing is included.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Furthermore, after the program read from the recording medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function expansion board is based on the instructions of the program code. It goes without saying that the case where the CPU or the like provided in the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.

また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。   Further, the present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. Needless to say, the present invention can be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, by reading a recording medium storing a program for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
Furthermore, by downloading and reading a program for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention.
In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.

101 CPU
102 RAM
104 記憶装置
201 PC
202 スキャナ
203 プリンタ
101 CPU
102 RAM
104 Storage device 201 PC
202 Scanner 203 Printer

Claims (11)

複数の異なる属性の領域を含む画像データから値を取得して出力する情報処理装置であって、
前記画像データの中で、複数の文字列で書かれた文字領域を特定する文字領域特定手段と、
前記文字領域の複数の文字列のそれぞれの文字列の領域を抽出し、前記抽出した領域でキー文字列を複数箇所で特定するキー文字列特定手段と、
前記複数箇所で特定したキー文字列毎に予め対応づけられた位置条件に合致する前記抽出した領域にある値を、前記出力するべく取得する取得手段と、
前記出力するべく取得するための設定情報として記憶し、前記キー文字列毎に予め対応づけられた位置条件を、前記キー文字列と前記値との相対的な方向及び前記キー文字列から前記相対的な方向を見た場合の前記値の取得位置を特定可能な数で設定する設定手段と
を備えることを特徴とする情報処理装置。
An information processing apparatus that obtains and outputs a value from image data including a plurality of areas having different attributes,
Character area specifying means for specifying a character area written with a plurality of character strings in the image data;
Extracting a character string area of each of a plurality of character strings in the character area, and specifying a key character string in a plurality of locations in the extracted area ; and
Acquisition means for acquiring a value in the extracted area that matches a position condition associated in advance for each key character string specified at the plurality of locations to be output;
Stored as setting information for acquisition to be output, and the position condition associated in advance for each key character string, the relative direction between the key character string and the value and the relative from the key character string Setting means for setting the acquisition position of the value when looking at a specific direction with a identifiable number;
The information processing apparatus comprising: a.
前記特定された文字領域にある文字列が複数行の文字列か否かを判定する複数行判定手段と、
前記複数行判定手段により複数行と判定された場合に、行ごとの文字領域を生成する生成手段と
を更に備え、
前記キー文字列特定手段は、前記生成手段により生成された行ごとの文字領域の複数の文字列のそれぞれの文字列の領域を抽出し、前記抽出した領域でキー文字列を複数箇所で特定することを特徴とする請求項に記載の情報処理装置。
A plurality of line determination means for determining whether or not a character string in the specified character region is a character string of a plurality of lines;
A generation unit that generates a character area for each line when the plurality of lines are determined by the plurality of lines determination unit;
The key character string specifying means extracts a character string area of each of a plurality of character strings in a character area for each line generated by the generating means , and specifies a key character string at a plurality of locations in the extracted area. The information processing apparatus according to claim 1 .
前記文字領域は、ブロックセレクションにより得られた領域であることを特徴とする請求項1または2に記載の情報処理装置。 The character region, the information processing apparatus according to claim 1 or 2, characterized in that a region obtained by the block selection. 前記設定手段は、前記抽出した領域で前記キー文字列のある領域と前記値のある領域との指定を受け付けることにより、前記キー文字列に対応づけられる位置条件を、前記キー文字列と前記値との相対的な方向及び前記キー文字列から前記相対的な方向を見た場合の前記値の取得位置を特定する数で設定することを特徴とする請求項1〜3のいずれか1項に記載の情報処理装置。The setting means receives the designation of the area having the key character string and the area having the value in the extracted area, and determines the position condition associated with the key character string as the key character string and the value. The number is specified by a number that specifies the acquisition position of the value when the relative direction is viewed from the key character string and the relative direction. The information processing apparatus described. 前記設定情報を生成すべく、前記特定された文字領域を表示する表示手段と、
前記キー文字列のある領域を、前記表示手段で表示された文字領域から指定を受け付ける第1の受付手段と、
前記値のある領域を、前記表示手段で表示された文字領域から指定を受け付ける第2の受付手段と
更に備えることを特徴とする請求項に記載の情報処理装置。
Display means for displaying the specified character region to generate the setting information;
A first receiving unit that receives designation of an area having the key character string from a character area displayed by the display unit;
A second accepting unit for accepting designation of the region having the value from the character region displayed by the display unit ;
The information processing apparatus according to claim 4, further comprising a.
前記第1の受付手段で指定されたキー文字列のある領域と、前記第2の受付手段で指定された値のある領域とを識別可能に表示する識別表示手段を更に備えることを特徴とする請求項に記載の情報処理装置。 A region with a key character string specified by the first receiving means, and further comprising an identification display means for identifiably displaying the a specified value range by the second reception means The information processing apparatus according to claim 5 . 複数の異なる属性の領域を含む画像データから値を取得して出力する情報処理装置であって、
前記画像データの中で、複数の文字列で書かれた文字領域を特定する文字領域特定手段と、
前記文字領域の複数の文字列のそれぞれの文字列の領域を抽出し、前記抽出した領域でキー文字列を特定するキー文字列特定手段と、
記特定したキー文字列に予め対応づけられた位置条件に合致する領域にある文字列全体を取得する取得手段と、
前記取得した文字列全体に前記特定したキー文字列が含まれる場合に、前記出力するべく取得する値に対して予め設定された出力条件に従って前記取得した文字列全体から当該キー文字列を除いた値を、前記出力するべく取得する値取得手段と
を備えることを特徴とする情報処理装置。
An information processing apparatus that obtains and outputs a value from image data including a plurality of areas having different attributes,
Character area specifying means for specifying a character area written with a plurality of character strings in the image data;
Extracting a character string region of each of the plurality of character strings in the character region, and specifying a key character string in the extracted region ; and
An acquisition unit configured to acquire the entire string in the region that matches the pre-correlated obtained positional condition before Kitoku boss was a key character string,
When the specified key character string is included in the entire acquired character string, the key character string is excluded from the entire acquired character string in accordance with an output condition set in advance for the value to be output. An information processing apparatus comprising: a value acquisition unit that acquires a value to output the value .
複数の異なる属性の領域を含む画像データから値を取得して出力する情報処理装置の処理方法であって、
文字領域特定手段が、前記画像データの中で、複数の文字列で書かれた文字領域を特定する文字領域特定ステップと、
キー文字列特定手段が、前記文字領域の複数の文字列のそれぞれの文字列の領域を抽出し、前記抽出した領域でキー文字列を複数箇所で特定するキー文字列特定ステップと、
取得手段が、前記複数箇所で特定したキー文字列毎に予め対応づけられた位置条件に合致する前記抽出した領域にある値を、前記出力するべく取得する取得ステップと
設定手段が、前記出力するべく取得するための設定情報として記憶し、前記キー文字列予め対応づけられた位置条件を、前記キー文字列と前記値との相対的な方向及び前記キー文字列から前記相対的な方向を見た場合の前記値の取得位置を特定する数で設定する設定ステップと
を備えることを特徴とする処理方法。
A processing method of an information processing apparatus that acquires and outputs a value from image data including a plurality of areas having different attributes,
A character region specifying step for specifying a character region written in a plurality of character strings in the image data;
A key character string specifying means for extracting a character string area of each of the plurality of character strings in the character area, and specifying a key character string in a plurality of locations in the extracted area ; and
An obtaining step for obtaining, to output, a value in the extracted area that matches a position condition associated in advance for each key character string identified at the plurality of locations ;
The setting means stores the setting information for acquisition to be output, and the position condition associated in advance for each key character string includes the relative direction of the key character string and the value and the key character. A setting step for setting the acquisition position of the value when the relative direction is viewed from a column with a number that specifies the acquisition position;
Processing method comprising: a.
複数の異なる属性の領域を含む画像データから値を取得して出力する情報処理装置において実行可能なプログラムであって、
前記情報処理装置を、
前記画像データの中で、複数の文字列で書かれた文字領域を特定する文字領域特定手段と、
前記文字領域の複数の文字列のそれぞれの文字列の領域を抽出し、前記抽出した領域でキー文字列を複数箇所で特定するキー文字列特定手段と、
前記複数箇所で特定したキー文字列毎に予め対応づけられた位置条件に合致する前記抽出した領域にある値を、前記出力するべく取得する取得手段と、
前記出力するべく取得するための設定情報として記憶し、前記キー文字列毎に予め対応づけられた位置条件を、前記キー文字列と前記値との相対的な方向及び前記キー文字列から前記相対的な方向を見た場合の前記値の取得位置を特定可能な数で設定する設定手段
として機能させるためのプログラム。
A program that can be executed in an information processing apparatus that acquires and outputs a value from image data including a plurality of areas having different attributes,
The information processing apparatus;
Character area specifying means for specifying a character area written with a plurality of character strings in the image data;
Extracting a character string area of each of a plurality of character strings in the character area, and specifying a key character string in a plurality of locations in the extracted area ; and
Acquisition means for acquiring a value in the extracted area that matches a position condition associated in advance for each key character string specified at the plurality of locations to be output ;
Stored as setting information for acquisition to be output, and the position condition associated in advance for each key character string, the relative direction between the key character string and the value and the relative from the key character string A program for functioning as a setting means for setting an acquisition position of the value when a specific direction is viewed in a identifiable number .
複数の異なる属性の領域を含む画像データから値を取得して出力する情報処理装置の処理方法であって、A processing method of an information processing apparatus that acquires and outputs a value from image data including a plurality of areas having different attributes,
文字領域特定手段が、前記画像データの中で、複数の文字列で書かれた文字領域を特定する文字領域特定ステップと、A character region specifying step for specifying a character region written in a plurality of character strings in the image data;
キー文字列特定手段が、前記文字領域の複数の文字列のそれぞれの文字列の領域を抽出し、前記抽出した領域でキー文字列を特定するキー文字列特定ステップと、A key character string specifying means for extracting a character string area of each of the plurality of character strings in the character area, and specifying a key character string in the extracted area; and
取得手段が、前記特定したキー文字列に予め対応づけられた位置条件に合致する領域にある文字列全体を取得する取得ステップと、An acquisition step of acquiring an entire character string in an area that matches a position condition previously associated with the identified key character string;
値取得手段が、前記領域から前記取得した文字列全体に前記特定したキー文字列が含まれる場合に、それぞれの前記出力するべく取得する値に対して予め設定された出力条件に従って、前記取得した文字列全体から当該キー文字列を除いた値を、前記出力するべく取得する値取得ステップとWhen the value acquisition means includes the specified key character string in the entire acquired character string from the area, the acquisition is performed according to an output condition set in advance for each of the values to be output. A value acquisition step of acquiring a value obtained by removing the key character string from the entire character string to output the value;
を備えることを特徴とする処理方法。A processing method comprising:
複数の異なる属性の領域を含む画像データから値を取得して出力する情報処理装置において実行可能なプログラムであって、A program that can be executed in an information processing apparatus that acquires and outputs a value from image data including a plurality of areas having different attributes,
前記情報処理装置を、The information processing apparatus;
前記画像データの中で、複数の文字列で書かれた文字領域を特定する文字領域特定手段と、Character area specifying means for specifying a character area written with a plurality of character strings in the image data;
前記文字領域の複数の文字列のそれぞれの文字列の領域を抽出し、前記抽出した領域でキー文字列を特定するキー文字列特定手段と、Extracting a character string region of each of the plurality of character strings in the character region, and specifying a key character string in the extracted region; and
前記特定したキー文字列に予め対応づけられた位置条件に合致する領域にある文字列全体を取得する取得手段と、Obtaining means for obtaining an entire character string in an area that matches a position condition previously associated with the identified key character string;
前記取得した文字列全体に前記特定したキー文字列が含まれる場合に、前記出力するべく取得する値に対して予め設定された出力条件に従って前記取得した文字列全体から当該キー文字列を除いた値を、前記出力するべく取得する値取得手段When the specified key character string is included in the entire acquired character string, the key character string is excluded from the entire acquired character string in accordance with an output condition set in advance for the value to be output. Value acquisition means for acquiring a value to output the value
として機能させるためのプログラム。Program to function as.
JP2015223365A 2015-11-13 2015-11-13 Information processing apparatus, processing method thereof, and program Active JP6481204B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015223365A JP6481204B2 (en) 2015-11-13 2015-11-13 Information processing apparatus, processing method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015223365A JP6481204B2 (en) 2015-11-13 2015-11-13 Information processing apparatus, processing method thereof, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019019392A Division JP6795770B2 (en) 2019-02-06 2019-02-06 Information processing device and its processing method and program

Publications (3)

Publication Number Publication Date
JP2017091379A JP2017091379A (en) 2017-05-25
JP2017091379A5 JP2017091379A5 (en) 2017-12-07
JP6481204B2 true JP6481204B2 (en) 2019-03-13

Family

ID=58768381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015223365A Active JP6481204B2 (en) 2015-11-13 2015-11-13 Information processing apparatus, processing method thereof, and program

Country Status (1)

Country Link
JP (1) JP6481204B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6364051B2 (en) * 2016-09-15 2018-07-25 株式会社アイエスピー Document information acquisition method with guidance, program, and portable terminal device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3814320B2 (en) * 1995-12-14 2006-08-30 キヤノン株式会社 Image processing method and apparatus
JP3394694B2 (en) * 1997-08-29 2003-04-07 沖電気工業株式会社 Format information registration method and OCR system
JP2003223610A (en) * 2002-01-28 2003-08-08 Toshiba Corp Character recognizing device and character recognizing method
JP6404579B2 (en) * 2014-03-05 2018-10-10 グローリー株式会社 Sales management system and sales management method

Also Published As

Publication number Publication date
JP2017091379A (en) 2017-05-25

Similar Documents

Publication Publication Date Title
JP2019041150A5 (en)
JP2007279828A (en) Business form processor, business form format preparation device, business form, program for processing business form and program for preparing business form format
JP6826293B2 (en) Information information system and its processing method and program
US9614984B2 (en) Electronic document generation system and recording medium
US11153446B2 (en) Information processing apparatus for presenting an object for a batch operation without selection in advance and non-transitory computer readable medium
US9883071B2 (en) Image processing apparatus, terminal device, and non-transitory data recording medium recording control program
JP6481204B2 (en) Information processing apparatus, processing method thereof, and program
JP2008131381A (en) Form generating device, form generating method, program and record medium
US20180035007A1 (en) Image forming apparatus, storage medium, and method for digitizing document
JP6558339B2 (en) Image processing apparatus and image processing program
JP6931168B2 (en) Information processing device, control method, program
JP6795770B2 (en) Information processing device and its processing method and program
JP6700705B2 (en) Distribution system, information processing method, and program
JP2009251915A (en) Document processing apparatus and document processing method
JP2006252455A (en) File management device, file management method and file management program
JP2010068347A (en) Image forming apparatus, image forming method and image forming program
JP6947971B2 (en) Information processing device, control method, program
JP6536542B2 (en) Information processing apparatus, control method, program
JP2018055256A (en) Information processing apparatus, information processing method, and program
JP5528410B2 (en) Viewer device, server device, display control method, electronic comic editing method and program
US8363940B2 (en) Image processing apparatus, image processing method, and storage medium
JP6194781B2 (en) Image processing apparatus and program
JP7302175B2 (en) Information processing device and information processing program
US11462014B2 (en) Information processing apparatus and non-transitory computer readable medium
JP7383882B2 (en) Information processing device and information processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171026

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R151 Written notification of patent or utility model registration

Ref document number: 6481204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250