JP7452120B2 - Image processing method, image processing program, and image processing device - Google Patents

Image processing method, image processing program, and image processing device Download PDF

Info

Publication number
JP7452120B2
JP7452120B2 JP2020043072A JP2020043072A JP7452120B2 JP 7452120 B2 JP7452120 B2 JP 7452120B2 JP 2020043072 A JP2020043072 A JP 2020043072A JP 2020043072 A JP2020043072 A JP 2020043072A JP 7452120 B2 JP7452120 B2 JP 7452120B2
Authority
JP
Japan
Prior art keywords
area
image data
contract
image processing
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020043072A
Other languages
Japanese (ja)
Other versions
JP2021144501A (en
Inventor
大助 村山
雅基 石川
陽子 朝倉
響 時尾
康成 石塚
恭平 大塚
央樹 一宮
尭央 田村
海 浅葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020043072A priority Critical patent/JP7452120B2/en
Publication of JP2021144501A publication Critical patent/JP2021144501A/en
Application granted granted Critical
Publication of JP7452120B2 publication Critical patent/JP7452120B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Character Input (AREA)

Description

本発明は、画像処理方法等に関する。 The present invention relates to an image processing method and the like.

契約書には、契約を締結した人物に関する情報として、住所や氏名等が記載され、各種の処理に利用されている。以下の説明では、適宜、契約を締結した人物に関する情報を「締結者情報」と表記する。 A contract contains information about the person who has concluded the contract, such as the address and name, and is used for various processing. In the following explanation, information regarding the person who concluded the contract will be referred to as "contractor information" as appropriate.

ここで、紙媒体の契約書に記載された締結者情報を検出する場合には、スキャナを用いて、契約書を画像データとして取り込み、画像データに対して文字検出の画像処理を実行する。なお、契約書の画像データ全体に対して、文字検出の画像処理を実行すると、締結者情報を含まない領域に対しても、画像処理が行われ、検出効率が低下する。 Here, when detecting the conclusion party information written in a paper contract, a scanner is used to capture the contract as image data, and image processing for character detection is performed on the image data. Note that if image processing for character detection is performed on the entire image data of the contract, the image processing will also be performed on areas that do not include signatory information, reducing detection efficiency.

なお、契約書の書式が予め決まっている場合には、契約書の画像データの所定の領域に対して、文字検出の画像処理を実行することができ、締結者情報の検出効率を向上させることができる。 In addition, if the format of the contract is determined in advance, image processing for character detection can be performed on a predetermined area of the image data of the contract, improving the efficiency of detecting information on the signatory. Can be done.

特開2001-184481号公報Japanese Patent Application Publication No. 2001-184481

しかしながら、上述した従来技術では、締結者情報が記載された領域を効率よく抽出することができないという問題がある。 However, the above-described conventional technology has a problem in that it is not possible to efficiently extract the region in which the conclusion party information is written.

たとえば、契約書の書式が未知である場合には、締結者情報が記載された領域を事前に特定することができず、契約書の画像データ全体に対して、文字検出の画像処理を実行することになり、検出効率が低下してしまう。 For example, if the format of the contract is unknown, it is not possible to identify in advance the area where the signatory information is written, and image processing for character detection is performed on the entire image data of the contract. As a result, detection efficiency decreases.

1つの側面では、本発明は、締結者情報が記載された領域を効率よく抽出することができる画像処理方法、画像処理プログラムおよび画像処理装置を提供することを目的とする。 In one aspect, an object of the present invention is to provide an image processing method, an image processing program, and an image processing device that can efficiently extract a region in which conclusion person information is written.

第1の案では、コンピュータに次の処理を実行させる。コンピュータは、押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、画像データから、印面に相当する領域を特定する。コンピュータは、予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域との位置関係を参照し、処理対象である画像データから特定した印面の領域と位置関係とに基づいて特定される領域を、処理対象である画像データから抽出する。コンピュータは、抽出した領域を出力する。 In the first plan, the computer executes the following process. The computer processes image data generated by electronically reading a sealed contract document, and identifies an area corresponding to the stamp surface from the image data. The computer stores a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information about the person who concluded the contract is written, which are stored in advance in the storage device. With reference to the positional relationship, a region specified based on the positional relationship with the region of the stamp surface specified from the image data to be processed is extracted from the image data to be processed. The computer outputs the extracted area.

締結者情報が記載された領域を効率よく抽出することができる。 It is possible to efficiently extract the area in which the conclusion party information is written.

図1は、本実施例に係る画像処理装置の処理を説明するための図である。FIG. 1 is a diagram for explaining the processing of the image processing apparatus according to the present embodiment. 図2は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。FIG. 2 is a functional block diagram showing the configuration of the image processing apparatus according to this embodiment. 図3は、学習データのデータ構造の一例を示す図である。FIG. 3 is a diagram showing an example of the data structure of learning data. 図4は、パターンデータのデータ構造の一例を示す図である。FIG. 4 is a diagram showing an example of the data structure of pattern data. 図5は、第1y座標差分のヒストグラムを示す図である。FIG. 5 is a diagram showing a histogram of the first y-coordinate difference. 図6は、第1パターンの検出例を示す図である。FIG. 6 is a diagram showing an example of detection of the first pattern. 図7は、第2パターンの検出例を示す図である。FIG. 7 is a diagram showing an example of detection of the second pattern. 図8は、本実施例に係る画像処理装置の学習処理の処理手順を示すフローチャートである。FIG. 8 is a flowchart showing the processing procedure of the learning process of the image processing apparatus according to the present embodiment. 図9は、本実施例に係る画像処理装置の画像処理の処理手順を示すフローチャートである。FIG. 9 is a flowchart showing the procedure of image processing by the image processing apparatus according to this embodiment. 図10は、第1パターンと第2パターンとの比較結果を示す図である。FIG. 10 is a diagram showing a comparison result between the first pattern and the second pattern. 図11は、実施例の画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。FIG. 11 is a diagram illustrating an example of the hardware configuration of a computer that implements the same functions as the image processing apparatus of the embodiment.

以下に、本願の開示する画像処理方法、画像処理プログラムおよび画像処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Embodiments of an image processing method, an image processing program, and an image processing apparatus disclosed in the present application will be described in detail below based on the drawings. Note that the present invention is not limited to this example.

図1は、本実施例に係る画像処理装置の処理を説明するための図である。画像処理装置は、学習データ141を基にして、パターンデータ142を学習しておく。パターンデータ142は、印面10の中心座標を基準とする検出領域を示す情報である。たとえば、検出領域は、契約書の領域のうち、契約を締結した人物に関する情報(締結者情報)が記述されるであろう領域に対応する。印面10の中心座標(中心座標を含む印面の領域)が「第1の領域」に対応する。 FIG. 1 is a diagram for explaining the processing of the image processing apparatus according to the present embodiment. The image processing device learns pattern data 142 based on learning data 141. The pattern data 142 is information indicating a detection area based on the center coordinates of the stamp face 10. For example, the detection area corresponds to an area of the contract where information about the person who concluded the contract (contractor information) is written. The center coordinates of the stamp face 10 (the region of the stamp face including the center coordinates) correspond to the “first region”.

パターンデータ142は、印面10の中心座標を基準とする第1y座標差分(y)と、第2y座標差分(y)とを定義する。第1y座標差分は、検出領域の上端11aと、印面10の中心座標との差分である。第2y座標差分は、検出領域の下端11bと、印面10の中心座標との差分である。上端11a、下端11bのy座標に対応する領域が「第2の領域」に対応する。 The pattern data 142 defines a first y-coordinate difference (y 1 ) and a second y-coordinate difference (y 2 ) based on the center coordinates of the stamp face 10. The first y-coordinate difference is the difference between the upper end 11a of the detection area and the center coordinate of the stamp surface 10. The second y-coordinate difference is the difference between the lower end 11b of the detection area and the center coordinate of the stamp face 10. The area corresponding to the y coordinates of the upper end 11a and the lower end 11b corresponds to the "second area".

画像処理装置が、パターンデータ142を用いて、契約書の画像データ20に含まれる検出領域25を抽出する場合には、画像データ20の印面20aを特定する。画像処理装置は、印面20aの中心座標と、第1y座標差分(y)とを基にして、検出領域25の上端25aを特定する。画像処理装置は、印面20aの中心座標と、第2y座標差分(y)とを基にして、検出領域25の下端25bを特定する。なお、画像処理装置は、検出領域25のx座標方向の幅x25を、画像データ20の幅x20と同一とする。画像処理装置は、検出領域25に対して、文字認識を実行することで、締結者情報の文字列を認識する。 When the image processing device uses the pattern data 142 to extract the detection area 25 included in the image data 20 of the contract, the stamp face 20a of the image data 20 is specified. The image processing device specifies the upper end 25a of the detection area 25 based on the center coordinates of the stamp surface 20a and the first y-coordinate difference (y 1 ). The image processing device specifies the lower end 25b of the detection area 25 based on the center coordinates of the stamp surface 20a and the second y-coordinate difference (y 2 ). Note that the image processing device makes the width x25 of the detection area 25 in the x-coordinate direction the same as the width x20 of the image data 20. The image processing device recognizes the character string of the conclusion party information by performing character recognition on the detection area 25.

上記のように、本実施例に係る画像処理装置は、契約書の画像データ20から印面20aを特定し、パターンデータ142に定義された印面の中心座標を基準とした検出領域の位置関係を基にして、画像データ20の検出領域25を抽出する。すなわち、画像処理装置は、契約書の書式が未知でも、押印位置と締結者情報の記載位置との位置関係が変わらないことに着目することで、締結者情報が記載された検出領域を効率的に抽出することができる。また、検出領域を効率的に抽出することで、検出領域に記載されているであろう締結者情報を適切に認識することもできる。 As described above, the image processing device according to the present embodiment identifies the stamp face 20a from the image data 20 of the contract, and based on the positional relationship of the detection area with respect to the central coordinates of the stamp face defined in the pattern data 142. Then, the detection area 25 of the image data 20 is extracted. In other words, even if the format of the contract is unknown, the image processing device can efficiently detect the detection area where the signatory information is written by focusing on the fact that the positional relationship between the seal position and the position where the signatory information is written does not change. can be extracted to Further, by efficiently extracting the detection area, it is also possible to appropriately recognize the conclusion party information that may be written in the detection area.

次に、本実施例に係る画像処理装置の構成について説明する。図2は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。図2に示すように、この画像処理装置100は、スキャナ50に接続される。画像処理装置100は、通信部110と、入力部120と、表示部130と、記憶部140と、制御部150とを有する。 Next, the configuration of the image processing apparatus according to this embodiment will be explained. FIG. 2 is a functional block diagram showing the configuration of the image processing apparatus according to this embodiment. As shown in FIG. 2, this image processing device 100 is connected to a scanner 50. The image processing device 100 includes a communication section 110, an input section 120, a display section 130, a storage section 140, and a control section 150.

スキャナ50は、契約書の表面を電子的に読み込むことで、契約書の画像データを生成する装置である。本実施例では、スキャナ50は、押印済みの契約書の画像データを生成するものとする。スキャナ50は、画像データを、画像処理装置100の通信部110に出力する。 The scanner 50 is a device that generates image data of a contract by electronically reading the front surface of the contract. In this embodiment, it is assumed that the scanner 50 generates image data of a sealed contract. The scanner 50 outputs image data to the communication unit 110 of the image processing device 100.

通信部110は、スキャナ50と接続し、画像データを取得する装置である。通信部110は、通信装置の一例である。図示を省略するが、通信部110は、ネットワークを介して、他の外部装置と接続し、データ通信を実行してもよい。後述する制御部150は、通信部110を解して、スキャナ50、外部装置等とデータをやり取りする。 The communication unit 110 is a device that connects to the scanner 50 and acquires image data. Communication unit 110 is an example of a communication device. Although not shown, the communication unit 110 may connect to another external device via a network and perform data communication. A control unit 150, which will be described later, exchanges data with the scanner 50, external devices, etc. via the communication unit 110.

入力部120は、各種のデータを画像処理装置100の制御部150に入力するための入力装置である。入力部120は、キーボードやマウス、タッチパネル等に対応する。 The input unit 120 is an input device for inputting various data to the control unit 150 of the image processing apparatus 100. The input unit 120 corresponds to a keyboard, a mouse, a touch panel, etc.

表示部130は、表示部130は、制御部150から出力される情報を表示する表示装置である。表示部130は、有機EL(Electro Luminescence)ディスプレイ、液晶ディスプレイ、タッチパネル等に対応する。 The display unit 130 is a display device that displays information output from the control unit 150. The display unit 130 corresponds to an organic EL (Electro Luminescence) display, a liquid crystal display, a touch panel, or the like.

記憶部140は、学習データ141、パターンデータ142を有する。記憶部140は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。 The storage unit 140 has learning data 141 and pattern data 142. The storage unit 140 corresponds to a semiconductor memory element such as a RAM (Random Access Memory) or a flash memory, or a storage device such as an HDD (Hard Disk Drive).

学習データ141は、パターンデータ142を生成するために用いられるデータである。図3は、学習データのデータ構造の一例を示す図である。図3に示すように、この学習データ141は、サンプル番号と、画像データと、上端y座標と、下端y座標と、印面中心x座標と、印面中心y座標と、第1y座標差分と、第2y座標差分とを有する。 Learning data 141 is data used to generate pattern data 142. FIG. 3 is a diagram showing an example of the data structure of learning data. As shown in FIG. 3, this learning data 141 includes a sample number, image data, upper end y-coordinate, lower end y-coordinate, stamp face center x-coordinate, stamp face center y-coordinate, first y-coordinate difference, and first y-coordinate. 2y coordinate difference.

サンプル番号は、サンプルとなる画像データを識別する情報である。画像データは、スキャナなどによって電子化されたサンプルとなる契約書の画像データである。サンプルとなる契約書には、締結者情報が記載されており、押印済みとする。サンプルとなる契約書の画像データは、「第二の画像データ」に対応する。以下の説明では、特に区別する場合、学習データの画像データを、第二の画像データと表記する。 The sample number is information that identifies image data serving as a sample. The image data is image data of a sample contract that has been digitized using a scanner or the like. The sample contract contains the information of the signatory and is stamped. The image data of the sample contract corresponds to "second image data." In the following description, the image data of the learning data will be referred to as second image data, especially when distinguished.

上端y座標は、第二の画像データにおける検出領域の上端のy座標を示す。下端y座標は、第二の画像データにおける検出領域の下端のy座標を示す。印面中心x座標は、第二の画像データにおける印面の中心x座標である。印面中心y座標は、第二の画像データにおける印面の中心y座標である。たとえば、第二の画像データの左上隅の座標を原点とする。 The upper end y-coordinate indicates the y-coordinate of the upper end of the detection area in the second image data. The lower end y-coordinate indicates the y-coordinate of the lower end of the detection area in the second image data. The seal surface center x-coordinate is the center x-coordinate of the stamp surface in the second image data. The stamp surface center y-coordinate is the center y-coordinate of the stamp surface in the second image data. For example, the coordinates of the upper left corner of the second image data are set as the origin.

第1y座標差分は、印面中心y座標から、上端y座標を減算した差分値である。第2y座標は、下端y座標から、印面中心座標を減算した差分値である。 The first y-coordinate difference is a difference value obtained by subtracting the top y-coordinate from the stamp face center y-coordinate. The second y-coordinate is a difference value obtained by subtracting the stamp face center coordinate from the lower end y-coordinate.

図2の説明に戻る。パターンデータ142は、学習データ141を基にして生成される情報であって、印面の中心座標を基準とする検出領域を示す情報である。パターンデータ142の検出座標は、新規の契約書の画像データにおいて、締結者情報が記載されている可能性の高い領域を示す。図4は、パターンデータのデータ構造の一例を示す図である。図4に示すように、パターンデータ142には、第1パターンと、第2パターンとが含まれる。 Returning to the explanation of FIG. 2. The pattern data 142 is information generated based on the learning data 141, and is information indicating a detection area based on the central coordinates of the stamp face. The detected coordinates of the pattern data 142 indicate an area in the image data of the new contract where the signatory information is likely to be written. FIG. 4 is a diagram showing an example of the data structure of pattern data. As shown in FIG. 4, the pattern data 142 includes a first pattern and a second pattern.

第1パターンには、第1-1y座標差分と、第2-1y座標差分とが設定される。第1-1y座標差分は、学習データ141に格納された各第1y座標差分のうち、最大の第1y座標差分となる。第2-1y座標差分は、学習データ141に格納された各第2y座標差分のうち、最大の第2y座標差分となる。 In the first pattern, a 1st-1y coordinate difference and a 2nd-1y coordinate difference are set. The 1-1st y-coordinate difference is the largest first y-coordinate difference among the first y-coordinate differences stored in the learning data 141. The 2-1st y-coordinate difference is the largest second y-coordinate difference among the second y-coordinate differences stored in the learning data 141.

第2パターンには、第1-2y座標差分と、第2-2y座標差分とが設定される。第1-2y座標差分は、学習データ141に格納された各1y座標差分から外れ値を除き、外れ値以外の第1y座標差分のうち、最大の第1y座標差分となる。第2-2y座標差分は、学習データ141に格納された各第2y座標差分から外れ値を除き、外れ値以外の第2y座標差分のうち、最大の第2y座標差分となる。 In the second pattern, a 1st-2nd y coordinate difference and a 2nd-2nd y coordinate difference are set. The 1st-2nd y-coordinate difference is the largest first y-coordinate difference among the first y-coordinate differences other than the outliers, excluding outliers from each 1y-coordinate difference stored in the learning data 141. The 2-2nd y-coordinate difference is the largest second y-coordinate difference among the second y-coordinate differences other than the outliers, excluding outliers from each second y-coordinate difference stored in the learning data 141.

第2パターンは、外れ値を除外する。このため、第1パターンによって特定される検出領域は、第2パターンによって特定される検出領域よりも広くなる。 The second pattern excludes outliers. Therefore, the detection area specified by the first pattern is wider than the detection area specified by the second pattern.

図2の説明に戻る。制御部150は、取得部151と、学習部152と、特定部153と、抽出部154と、文字認識部155とを有する。制御部150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部150は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。 Returning to the explanation of FIG. 2. The control unit 150 includes an acquisition unit 151 , a learning unit 152 , a specification unit 153 , an extraction unit 154 , and a character recognition unit 155 . The control unit 150 can be realized by a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or the like. Further, the control unit 150 can also be realized by hardwired logic such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).

取得部151は、外部装置等から学習データ141を取得する処理部である。取得部151は、取得した学習データ141を記憶部140に格納する。また、取得部151は、スキャナ50から、押印済みの新規の契約書の画像データを取得した場合に、取得した画像データを、特定部153に出力する。押印済みの新規の契約書の画像データは、「第一の画像データ」に対応する。以下の説明では、特に区別する場合、押印済みの新規の契約書の画像データを、第一の画像データと表記する。 The acquisition unit 151 is a processing unit that acquires the learning data 141 from an external device or the like. The acquisition unit 151 stores the acquired learning data 141 in the storage unit 140. Further, when the acquisition unit 151 acquires image data of a new contract with a stamp from the scanner 50, the acquisition unit 151 outputs the acquired image data to the identification unit 153. The image data of the new signed contract corresponds to the "first image data." In the following description, the image data of a new contract that has been stamped will be referred to as first image data, especially if it is to be distinguished.

学習部152は、学習データ141を基にして、パターンデータ142を生成する処理部である。なお、学習データ141に含まれる印面中心y座標(印面中心x座標)は、予め設定されていてもよいし、第二の画像データから印面を特定して、自動で設定してもよい。学習部152は、印面中心y座標を自動で特定した場合には、上端y座標および下端y座標を基にして、第1y座標差分、第2y座標差分を自動で算出してもよい。 The learning unit 152 is a processing unit that generates pattern data 142 based on the learning data 141. Note that the seal surface center y-coordinate (seal surface center x-coordinate) included in the learning data 141 may be set in advance, or may be automatically set by specifying the stamp surface from the second image data. When the learning unit 152 automatically specifies the stamp face center y-coordinate, it may automatically calculate the first y-coordinate difference and the second y-coordinate difference based on the upper end y-coordinate and the lower end y-coordinate.

学習部152が、パターンデータ142の「第1パターン」を学習する処理について説明する。学習部152は、学習データ141の各第1y座標差分を比較し、最大の第1y座標差分を特定する。学習部152は、特定した最大の第1y座標差分を、第1パターンの第1-1y座標差分として学習する。 A process in which the learning unit 152 learns the "first pattern" of the pattern data 142 will be described. The learning unit 152 compares each first y-coordinate difference of the learning data 141 and identifies the largest first y-coordinate difference. The learning unit 152 learns the identified maximum first y coordinate difference as the 1-1 y coordinate difference of the first pattern.

学習部152は、学習データ141の各第2y座標差分を比較し、最大の第2y座標差分を特定する。学習部152は、特定した最大の第2y座標差分を、第1パターンの第2-1y座標差分として学習する。 The learning unit 152 compares each second y-coordinate difference of the learning data 141 and identifies the maximum second y-coordinate difference. The learning unit 152 learns the identified maximum second y-coordinate difference as the 2-1 y-coordinate difference of the first pattern.

学習部152は、第1-1y座標差分および第2-1y座標差分を、第1パターンとして、パターンデータ142に登録する。 The learning unit 152 registers the 1st-1y coordinate difference and the 2nd-1y coordinate difference in the pattern data 142 as a first pattern.

続いて、学習部152が、パターンデータ142の「第2パターン」を学習する処理について説明する。学習部152は、学習データ141の全ての第1y座標差分を基にして、第1y座標差分の平均値μを算出する。また、学習部152は、学習データ141の全ての第1y座標差分を基にして、第1y座標差分の標準偏差σを算出する。 Next, a process in which the learning unit 152 learns the "second pattern" of the pattern data 142 will be described. The learning unit 152 calculates the average value μ 1 of the first y-coordinate differences based on all the first y-coordinate differences of the learning data 141. Furthermore, the learning unit 152 calculates the standard deviation σ 1 of the first y-coordinate differences based on all the first y-coordinate differences of the learning data 141.

学習部152は、学習データ141の全ての第1y座標差分のうち、「μ-3×σ」未満となる第1y座標差分と、「μ+3×σ」以上となる第1y座標差分とを外れ値として特定する。学習部152は、学習データ141の全ての第1y座標差分から外れ値を除外した第1y座標差分のうち、最大の第1y座標差分を、第2パターンの第2-1y座標差分として学習する。 Of all the first y-coordinate differences of the learning data 141, the learning unit 152 selects a first y-coordinate difference that is less than “μ 1 −3×σ 1 ” and a first y-coordinate difference that is greater than or equal to “μ 1 +3×σ 1 ”. The difference is identified as an outlier. The learning unit 152 learns the largest first y-coordinate difference among all the first y-coordinate differences of the learning data 141 excluding outliers as the 2-1 y-coordinate difference of the second pattern.

図5は、第1y座標差分のヒストグラムを示す図である。図5に示すヒストグラムの横軸は、第1y座標差分の値に対応する。ヒストグラムの縦軸は、頻度に対応する。たとえば、範囲30に値が含まれる第1y座標差分の値が、外れ値となる。たとえば、31aに示す値が、第1パターンの第1-1y座標差分の値となる。31bに示す値が、第2パターンの第1-2y座標差分の値となる。 FIG. 5 is a diagram showing a histogram of the first y-coordinate difference. The horizontal axis of the histogram shown in FIG. 5 corresponds to the value of the first y-coordinate difference. The vertical axis of the histogram corresponds to frequency. For example, the value of the first y-coordinate difference whose value is included in the range 30 becomes an outlier. For example, the value shown at 31a is the value of the 1-1y coordinate difference of the first pattern. The value shown in 31b is the value of the 1st-2nd y coordinate difference of the second pattern.

学習部152は、学習データ141の全ての第2y座標差分を基にして、第2y座標差分の平均値μを算出する。また、学習部152は、学習データ141の全ての第2y座標差分を基にして、第1y座標差分の標準偏差σを算出する。 The learning unit 152 calculates the average value μ 2 of the second y-coordinate differences based on all the second y-coordinate differences of the learning data 141. Further, the learning unit 152 calculates the standard deviation σ 2 of the first y-coordinate difference based on all the second y-coordinate differences of the learning data 141.

学習部152は、学習データ141の全ての第2y座標差分のうち、「μ-3×σ」未満となる第2y座標差分と、「μ+3×σ」以上となる第2y座標差分とを外れ値として特定する。学習部152は、学習データ141の全ての第2y座標差分から外れ値を除外した第2y座標差分のうち、最大の第2y座標差分を、第2パターンの第2-2y座標差分として学習する。第1y座標差分について、ヒストグラムの説明を省略する。 The learning unit 152 selects a second y-coordinate difference that is less than “μ 2 −3×σ 2 ” and a second y-coordinate difference that is equal to or more than “μ 2 +3×σ 2 ” out of all the second y-coordinate differences of the learning data 141. The difference is identified as an outlier. The learning unit 152 learns the largest second y-coordinate difference among all the second y-coordinate differences of the learning data 141 excluding outliers as the 2-2nd y-coordinate difference of the second pattern. Regarding the first y-coordinate difference, explanation of the histogram will be omitted.

学習部152は、第1-2y座標差分および第2-2y座標差分を、第2パターンとして、パターンデータ142に登録する。 The learning unit 152 registers the 1st-2nd y coordinate difference and the 2nd-2nd y coordinate difference in the pattern data 142 as a second pattern.

学習部152は、上記処理を実行することで、パターンデータ142を学習し、学習したパターンデータ142を、記憶部140に格納する。 The learning unit 152 learns the pattern data 142 by performing the above processing, and stores the learned pattern data 142 in the storage unit 140.

図2の説明に戻る。特定部153は、第一の画像データから、印面に相当する領域座標を特定する処理部である。たとえば、特定部153は、印鑑の色や形状を定義したテンプレートと、第一の画像データと比較して、印面の領域を特定する。特定部153は、特定した印面の領域の中心座標(x、y)を特定し、中心座標(x、y)の情報を、抽出部154に出力する。ただし、領域座標は必ずしも中心座標に限定されるわけではなく、例えば、印面の頂点に対応する座標でも良く、複数の座標を領域座標としても良い。 Returning to the explanation of FIG. 2. The specifying unit 153 is a processing unit that specifies the area coordinates corresponding to the stamp surface from the first image data. For example, the specifying unit 153 specifies the area of the stamp face by comparing the first image data with a template that defines the color and shape of the stamp. The specifying unit 153 specifies the center coordinates (x 0 , y 0 ) of the specified region of the seal face, and outputs information on the center coordinates (x 0 , y 0 ) to the extracting unit 154 . However, the area coordinates are not necessarily limited to the center coordinates; for example, they may be coordinates corresponding to the vertices of the stamp face, or a plurality of coordinates may be used as the area coordinates.

抽出部154は、パターンデータ142を用いて、第一の画像データに含まれる検出領域を抽出する処理部である。抽出部154は、パターンデータ142に含まれる第1パターンまたは第2パターンのいずれか一方を用いて、検出領域を抽出する。第1パターンを用いるのか、第2パターンを用いるのかは、予め設定されているものとする。 The extraction unit 154 is a processing unit that uses the pattern data 142 to extract a detection area included in the first image data. The extraction unit 154 extracts a detection area using either the first pattern or the second pattern included in the pattern data 142. It is assumed that whether to use the first pattern or the second pattern is set in advance.

抽出部154が、第1パターンを用いて、検出領域を抽出する処理の一例について説明する。抽出部154は、印面の中心座標(x、y)と、第1-1y座標差分とを基にして、検出領域25の上端を特定する。抽出部154は、印面の中心座標(x、y)と、第2-1y座標差分とを基にして、検出領域の下端を特定する。なお、抽出部154は、検出領域のx座標方向の幅を、第一の画像データの幅と同一とする。 An example of a process in which the extraction unit 154 extracts a detection area using the first pattern will be described. The extraction unit 154 specifies the upper end of the detection area 25 based on the central coordinates (x 0 , y 0 ) of the stamp face and the 1-1y coordinate difference. The extraction unit 154 specifies the lower end of the detection area based on the central coordinates (x 0 , y 0 ) of the stamp face and the 2-1y coordinate difference. Note that the extraction unit 154 sets the width of the detection area in the x-coordinate direction to be the same as the width of the first image data.

抽出部154は、第1パターンを用いて、第一の画像データに対して特定した検出領域の情報を、文字認識部155に出力する。 The extraction unit 154 outputs information on the detection area specified for the first image data to the character recognition unit 155 using the first pattern.

図6は、第1パターンの検出例を示す図である。図6に示すように、印面40の中心座標と、第1パターンとを基にして、検出領域40aが設定される。 FIG. 6 is a diagram showing an example of detection of the first pattern. As shown in FIG. 6, a detection area 40a is set based on the center coordinates of the stamp surface 40 and the first pattern.

抽出部154が、第2パターンを用いて、検出領域を抽出する処理の一例について説明する。抽出部154は、印面の中心座標(x、y)と、第1-2y座標差分とを基にして、検出領域25の上端を特定する。抽出部154は、印面の中心座標(x、y)と、第2-2y座標差分とを基にして、検出領域の下端を特定する。なお、抽出部154は、検出領域のx座標方向の幅を、第一の画像データの幅と同一とする。 An example of a process in which the extraction unit 154 extracts a detection area using the second pattern will be described. The extraction unit 154 specifies the upper end of the detection area 25 based on the center coordinates (x 0 , y 0 ) of the stamp face and the 1st-2nd y coordinate difference. The extraction unit 154 specifies the lower end of the detection area based on the central coordinates (x 0 , y 0 ) of the stamp face and the 2-2nd y coordinate difference. Note that the extraction unit 154 sets the width of the detection area in the x-coordinate direction to be the same as the width of the first image data.

抽出部154は、第2パターンを用いて、第一の画像データに対して特定した検出領域の情報を、文字認識部155に出力する。 The extraction unit 154 outputs information on the detection area specified for the first image data to the character recognition unit 155 using the second pattern.

図7は、第2パターンの検出例を示す図である。図7に示すように、印面40の中心座標と、第2パターンとを基にして、検出領域40bが設定される。 FIG. 7 is a diagram showing an example of detection of the second pattern. As shown in FIG. 7, a detection area 40b is set based on the center coordinates of the stamp surface 40 and the second pattern.

文字認識部155は、抽出部154によって抽出された検出領域の画像に対して、文字認識を実行することで、締結者情報の文字列を認識する処理部である。文字認識部155は、認識した文字列を、表示部130に出力する。文字認識部155は、ネットワークを介して、文字列の認識結果を、外部装置等に通知してもよい。 The character recognition unit 155 is a processing unit that recognizes the character string of the conclusion party information by performing character recognition on the image of the detection area extracted by the extraction unit 154. The character recognition unit 155 outputs the recognized character string to the display unit 130. The character recognition unit 155 may notify an external device or the like of the recognition result of the character string via the network.

次に、本実施例に係る画像処理装置100の処理手順の一例について説明する。図8は、本実施例に係る画像処理装置の学習処理の処理手順を示すフローチャートである。図8に示すように、画像処理装置100の取得部151は、学習データ141を取得する(ステップS101)。 Next, an example of the processing procedure of the image processing apparatus 100 according to the present embodiment will be described. FIG. 8 is a flowchart showing the processing procedure of the learning process of the image processing apparatus according to the present embodiment. As shown in FIG. 8, the acquisition unit 151 of the image processing device 100 acquires learning data 141 (step S101).

画像処理装置100の学習部152は、学習データ141の各第1y座標差分を比較し、最大となる第1y座標差分を、第1-1座標差分に設定する(ステップS102)。学習部152は、学習データ141の各第2y座標差分を比較し、最大となる第2y座標差分を、第2-1座標差分に設定する(ステップS103)。 The learning unit 152 of the image processing device 100 compares each first y-coordinate difference of the learning data 141, and sets the largest first y-coordinate difference as the 1-1st coordinate difference (step S102). The learning unit 152 compares each second y-coordinate difference of the learning data 141, and sets the largest second y-coordinate difference as the 2-1st coordinate difference (step S103).

学習部152は、第1-1y座標差分および第2-1y座標差分を、第1パターンとして、パターンデータ142に登録する(ステップS104)。 The learning unit 152 registers the first-1y coordinate difference and the second-1y coordinate difference as the first pattern in the pattern data 142 (step S104).

学習部152は、学習データ141の各第1座標差分を基にして、平均値μおよび標準偏差σを算出する(ステップS105)。学習部152は、平均値μおよび標準偏差σを基にして、学習データ141の各第1y座標差分から外れ値を除外する(ステップS106)。 The learning unit 152 calculates the average value μ 1 and the standard deviation σ 1 based on each first coordinate difference of the learning data 141 (step S105). The learning unit 152 excludes outliers from each first y-coordinate difference of the learning data 141 based on the average value μ 1 and the standard deviation σ 1 (step S106).

学習部152は、外れ値を除外した第1y座標差分のうち、最大となる第1y座標差分を、第1-2y座標差分に設定する(ステップS107)。 The learning unit 152 sets the largest first y-coordinate difference among the first y-coordinate differences excluding outliers as the 1-2nd y-coordinate difference (step S107).

学習部152は、学習データ141の各第2座標差分を基にして、平均値μおよび標準偏差σを算出する(ステップS108)。学習部152は、平均値μおよび標準偏差σを基にして、学習データ141の各第2y座標差分から外れ値を除外する(ステップS109)。 The learning unit 152 calculates the average value μ 2 and the standard deviation σ 2 based on each second coordinate difference of the learning data 141 (step S108). The learning unit 152 excludes outliers from each second y-coordinate difference of the learning data 141 based on the average value μ 2 and standard deviation σ 2 (step S109).

学習部152は、外れ値を除外した第2y座標差分のうち、最大となる第2y座標差分を、第2-2y座標差分に設定する(ステップS110)。 The learning unit 152 sets the largest second y-coordinate difference among the second y-coordinate differences excluding outliers as the 2-2nd y-coordinate difference (step S110).

学習部152は、第1-2y座標差分および第2-2y座標差分を、第2パターンとして、パターンデータ142に登録する(ステップS111)。 The learning unit 152 registers the 1st-2nd y coordinate difference and the 2nd-2nd y coordinate difference in the pattern data 142 as a second pattern (step S111).

図9は、本実施例に係る画像処理装置の画像処理の処理手順を示すフローチャートである。図9に示すように、画像処理装置100の取得部151は、スキャナ50から第一の画像データを取得する(ステップS201)。 FIG. 9 is a flowchart showing the procedure of image processing by the image processing apparatus according to this embodiment. As shown in FIG. 9, the acquisition unit 151 of the image processing device 100 acquires first image data from the scanner 50 (step S201).

画像処理装置100の特定部153は、第一の画像データから、印面の領域を特定する(ステップS202)。特定部153は、印面の中心座標を特定する(ステップS203)。 The specifying unit 153 of the image processing device 100 specifies the region of the seal face from the first image data (step S202). The specifying unit 153 specifies the center coordinates of the seal face (step S203).

画像処理装置100の抽出部154は、第1パターンを選択する場合には(ステップS204,Yes)、ステップS205に移行する。一方、抽出部154は、第1パターンを選択しない場合には(ステップS204,No)、ステップS207に移行する。 If the extraction unit 154 of the image processing device 100 selects the first pattern (step S204, Yes), the process proceeds to step S205. On the other hand, when the extraction unit 154 does not select the first pattern (step S204, No), the extraction unit 154 moves to step S207.

ステップS205について説明する。抽出部154は、第1パターンの第1-1y座標差分、第2-1y座標差分をパターンデータ142から取得する(ステップS205)。抽出部154は、第1パターンと印面の中心座標とを基にして、検出領域を抽出する(ステップS206)。 Step S205 will be explained. The extraction unit 154 acquires the 1st-1y coordinate difference and the 2nd-1y coordinate difference of the first pattern from the pattern data 142 (step S205). The extraction unit 154 extracts a detection area based on the first pattern and the center coordinates of the seal face (step S206).

画像処理装置100の文字認識部155は、検出領域の画像から、文字列を認識する(ステップS209)。文字認識部155は、認識結果を表示部130に出力する(ステップS210)。 The character recognition unit 155 of the image processing device 100 recognizes a character string from the image of the detection area (step S209). The character recognition unit 155 outputs the recognition result to the display unit 130 (step S210).

ステップS207について説明する。抽出部154は、第2パターンの第1-2y座標差分、第2-2y座標差分をパターンデータ142から取得する(ステップS207)。抽出部154は、第2パターンと印面の中心座標とを基にして、検出領域を抽出し(ステップS208)、ステップS209に移行する。 Step S207 will be explained. The extraction unit 154 acquires the 1st-2nd y coordinate difference and the 2nd-2nd y coordinate difference of the second pattern from the pattern data 142 (step S207). The extraction unit 154 extracts a detection area based on the second pattern and the center coordinates of the seal face (step S208), and proceeds to step S209.

次に、本実施例1に係る画像処理装置100の効果について説明する。画像処理装置100は、契約書の画像データから印面を特定し、パターンデータに定義された印面の中心座標を基準とした検出領域の位置関係を基にして、画像データの検出領域を抽出する。すなわち、画像処理装置は、契約書の書式が未知でも、押印位置と締結者情報の記載位置との位置関係が変わらないことに着目することで、締結者情報が記載された検出領域を効率的に抽出することができる。また、検出領域を効率的に抽出することで、検出領域に記載されているであろう締結者情報を適切に認識することもできる。 Next, the effects of the image processing apparatus 100 according to the first embodiment will be explained. The image processing device 100 identifies the seal face from the image data of the contract, and extracts the detection area of the image data based on the positional relationship of the detection area with respect to the central coordinates of the seal face defined in the pattern data. In other words, even if the format of the contract is unknown, the image processing device can efficiently detect the detection area where the signatory information is written by focusing on the fact that the positional relationship between the seal position and the position where the signatory information is written does not change. can be extracted to Further, by efficiently extracting the detection area, it is also possible to appropriately recognize the conclusion party information that may be written in the detection area.

画像処理装置100は、学習データ141に含まれる各第1y座標差分の最大値と、第2y座標差分の最大値とを基にして、第1パターンを学習する。これによって、画像データから印面を抽出することで、締結者情報の検出領域を特定することが可能となる。 The image processing device 100 learns the first pattern based on the maximum value of each first y-coordinate difference and the maximum value of the second y-coordinate difference included in the learning data 141. With this, by extracting the seal face from the image data, it becomes possible to specify the detection area of the signatory information.

画像処理装置100は、学習データ141に含まれる各第1y座標差分から外れ値を除外した残りの第1y座標差分と、各第2y座標差分から外れ値を除外した残りの第2y座標差分とを基にして、第2パターンを学習する。これによって、画像データから印面を抽出することで、締結者情報の検出領域を特定することが可能となる。また、第1パターンの検出領域よりも、検出領域を絞り込むことができる。 The image processing device 100 calculates the remaining first y-coordinate differences after excluding outliers from each first y-coordinate difference included in the learning data 141 and the remaining second y-coordinate differences after excluding outliers from each second y-coordinate difference. Based on this, a second pattern is learned. With this, by extracting the seal face from the image data, it becomes possible to specify the detection area of the signatory information. Furthermore, the detection area can be narrowed down more than the detection area of the first pattern.

ここで、第1パターンによって特定した検出領域と、第2パターンによって特定した検出領域とに対して文字認識を実行した場合の認識結果の一例について説明する。図10は、第1パターンと第2パターンとの比較結果を示す図である。 Here, an example of recognition results when character recognition is performed on the detection area specified by the first pattern and the detection area specified by the second pattern will be described. FIG. 10 is a diagram showing a comparison result between the first pattern and the second pattern.

図10に示す例では、印面45の中心座標と、第1パターンとを基にして検出領域45aが設定される。印面46の中心座標と、第1パターンとを基にして検出領域46aが設定される。図10に示す例では、第1パターンでは、締結者情報を検出しているが、第2パターンでは、締結者情報の一部を検出(検出漏れが発生している)できていない。第1パターンの検出領域は、第2パターンの検出領域よりも大きいため、検出漏れを防ぐことができる。 In the example shown in FIG. 10, the detection area 45a is set based on the center coordinates of the stamp surface 45 and the first pattern. A detection area 46a is set based on the center coordinates of the stamp surface 46 and the first pattern. In the example shown in FIG. 10, in the first pattern, the conclusion party information is detected, but in the second pattern, part of the conclusion party information cannot be detected (some detection is omitted). Since the detection area of the first pattern is larger than the detection area of the second pattern, detection omissions can be prevented.

たとえば、発明者が実験を行ったところ、第1パターンの検出領域は、帳票の約4割であり、締結者情報の検出率は100%であった。一方、第2パターンの検出領域は、帳票の約1.5割であり、締結者情報の検出率は97.8%であった。 For example, when the inventor conducted an experiment, the detection area of the first pattern was approximately 40% of the form, and the detection rate of the conclusion party information was 100%. On the other hand, the detection area of the second pattern was approximately 1.50% of the form, and the detection rate of the conclusion party information was 97.8%.

次に、上記実施例に示した画像処理装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図11は、実施例の画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。 Next, an example of the hardware configuration of a computer that implements the same functions as the image processing apparatus 100 shown in the above embodiment will be described. FIG. 11 is a diagram illustrating an example of the hardware configuration of a computer that implements the same functions as the image processing apparatus of the embodiment.

図11に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、有線または無線ネットワークを介して、スキャナ50、外部装置等との間でデータの授受を行う通信装置205とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201~207は、バス208に接続される。 As shown in FIG. 11, the computer 200 includes a CPU 201 that executes various calculation processes, an input device 202 that receives data input from a user, and a display 203. The computer 200 also includes a reading device 204 that reads programs and the like from a storage medium, and a communication device 205 that exchanges data with the scanner 50, external devices, etc. via a wired or wireless network. The computer 200 also includes a RAM 206 that temporarily stores various information and a hard disk device 207. Each device 201-207 is then connected to a bus 208.

ハードディスク装置207は、取得プログラム207a、学習プログラム207b、特定プログラム207c、抽出プログラム207d、文字認識プログラム207eを有する。また、CPU201は、各プログラム207a~207eを読み出してRAM206に展開する。 The hard disk device 207 includes an acquisition program 207a, a learning program 207b, a specific program 207c, an extraction program 207d, and a character recognition program 207e. Further, the CPU 201 reads each program 207a to 207e and expands it into the RAM 206.

取得プログラム207aは、取得プロセス206aとして機能する。学習プログラム207bは、学習プロセス206bとして機能する。特定プログラム207cは、特定プロセス206cとして機能する。抽出プログラム207dは、抽出プロセス206dとして機能する。文字認識プログラム207eは、文字認識プロセス206eとして機能する。 The acquisition program 207a functions as an acquisition process 206a. The learning program 207b functions as a learning process 206b. The specific program 207c functions as a specific process 206c. The extraction program 207d functions as an extraction process 206d. Character recognition program 207e functions as character recognition process 206e.

取得プロセス206aの処理は、取得部151の処理に対応する。学習プロセス206bの処理は、学習部152の処理に対応する。特定プロセス206cの処理は、特定部153の処理に対応する。抽出プロセス206dの処理は、抽出部154の処理に対応する。文字認識プロセス206eの処理は、文字認識部155の処理に対応する。 The processing of the acquisition process 206a corresponds to the processing of the acquisition unit 151. The processing of the learning process 206b corresponds to the processing of the learning unit 152. The processing of the identification process 206c corresponds to the processing of the identification unit 153. The processing of the extraction process 206d corresponds to the processing of the extraction unit 154. The processing of the character recognition process 206e corresponds to the processing of the character recognition unit 155.

なお、各プログラム207a~207eについては、必ずしも最初からハードディスク装置207に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD-ROM、DVD、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム207a~207eを読み出して実行するようにしてもよい。 Note that each of the programs 207a to 207e does not necessarily have to be stored in the hard disk device 207 from the beginning. For example, each program is stored in a "portable physical medium" such as a flexible disk (FD), CD-ROM, DVD, magneto-optical disk, or IC card that is inserted into the computer 200. Then, the computer 200 may read and execute each program 207a to 207e.

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。 Regarding the embodiments including each of the above examples, the following additional notes are further disclosed.

(付記1)コンピュータに、
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行させることを特徴とする画像処理方法。
(Additional note 1) On the computer,
Targeting image data generated by electronically reading a sealed contract document, identifying an area corresponding to the stamp surface from the image data,
The positional relationship between a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which is stored in advance in the storage device. extracting a region specified based on the region of the seal face and the positional relationship identified from the image data to be processed by referring to the image data to be processed;
An image processing method characterized by executing a process of outputting the extracted region.

(付記2)押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第1の領域と、前記第2の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる処理を更に実行させることを特徴とする付記1に記載の画像処理方法。 (Additional Note 2) The positions of the first area and the second area are determined based on learning data having multiple image data generated by electronically reading a sealed contract document. The image processing method according to appendix 1, further comprising the step of learning the relationship and storing the learning result in the storage device.

(付記3)前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする付記2に記載の画像処理方法。 (Additional note 3) The learning process calculates a difference value between the coordinates specified as the first area and the coordinates specified as the second area for each image data, and among the calculated difference values. , the maximum difference value is learned as the positional relationship, the image processing method according to appendix 2.

(付記4)前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする付記2に記載の画像処理方法。 (Additional note 4) The learning process calculates a difference value between the coordinates specified as the first area and the coordinates specified as the second area for each image data, and calculates a plurality of calculated difference values. The image according to appendix 2, wherein an outlier of the difference values is calculated based on the difference value, and the positional relationship is learned based on the difference value obtained by excluding the outlier from the plurality of difference values. Processing method.

(付記5)コンピュータに、
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行させることを特徴とする画像処理プログラム。
(Additional note 5) On the computer,
Targeting image data generated by electronically reading a sealed contract document, identifying an area corresponding to the stamp surface from the image data,
The positional relationship between a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which is stored in advance in the storage device. extracting a region specified based on the region of the seal face and the positional relationship identified from the image data to be processed by referring to the image data to be processed;
An image processing program that causes a process to output the extracted area.

(付記6)押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第1の領域と、前記第2の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる処理を更に実行させることを特徴とする付記5に記載の画像処理プログラム。 (Additional Note 6) The positions of the first area and the second area are determined based on learning data having multiple image data generated by electronically reading a sealed contract document. The image processing program according to appendix 5, further comprising the step of learning a relationship and storing the learning result in the storage device.

(付記7)前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする付記6に記載の画像処理プログラム。 (Additional Note 7) The learning process calculates a difference value between the coordinates specified as the first area and the coordinates specified as the second area for each image data, and among the calculated difference values. , the maximum difference value is learned as the positional relationship, the image processing program according to appendix 6.

(付記8)前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする付記6に記載の画像処理プログラム。 (Additional note 8) The learning process calculates a difference value between the coordinates specified as the first area and the coordinates specified as the second area for each image data, and calculates a plurality of calculated difference values. The image according to appendix 6, wherein an outlier of the difference values is calculated based on the difference value, and the positional relationship is learned based on the difference value obtained by excluding the outlier from the plurality of difference values. Processing program.

(付記9)押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定する特定部と、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を処理対象である前記画像データから抽出し、抽出した前記領域を出力する抽出部と
を有することを特徴とする画像処理装置。
(Additional note 9) A specifying unit that specifies an area corresponding to the stamp surface from the image data, with image data generated by electronically reading a sealed contract document as a processing target;
The positional relationship between a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which is stored in advance in the storage device. an extraction unit that refers to and extracts a region specified from the image data that is a processing target based on the area of the stamp face specified from the image data that is a processing target and the positional relationship, and outputs the extracted region; An image processing device comprising: and

(付記10)押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第1の領域と、前記第2の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる学習部を更に有することを特徴とする付記9に記載の画像処理装置。 (Additional Note 10) The positions of the first area and the second area are determined based on learning data having a plurality of image data generated by electronically reading a sealed contract document. The image processing device according to appendix 9, further comprising a learning section that learns the relationship and stores the learning result in the storage device.

(付記11)前記学習部は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする付記10に記載の画像処理装置。 (Additional Note 11) The learning unit calculates a difference value between the coordinates specified as the first region and the coordinates specified as the second region for each image data, and among the calculated difference values, The image processing device according to appendix 10, wherein the maximum difference value is learned as the positional relationship.

(付記12)前記学習部は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする請求項10に記載の画像処理装置。 (Additional Note 12) The learning unit calculates a difference value between the coordinates specified as the first region and the coordinates specified as the second region for each image data, and calculates a plurality of calculated difference values. 11. The image according to claim 10, wherein an outlier of difference values is calculated based on the difference value, and the positional relationship is learned based on the difference value obtained by excluding the outlier from the plurality of difference values. Processing equipment.

50 スキャナ
100 画像処理装置
110 通信部
120 入力部
130 表示部
140 記憶部
141 学習データ
142 パターンデータ
150 制御部
151 取得部
152 学習部
153 特定部
154 抽出部
155 文字認識部
50 Scanner 100 Image processing device 110 Communication unit 120 Input unit 130 Display unit 140 Storage unit 141 Learning data 142 Pattern data 150 Control unit 151 Acquisition unit 152 Learning unit 153 Specification unit 154 Extraction unit 155 Character recognition unit

Claims (6)

コンピュータが実行する画像処理方法であって、
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域であって、前記第1の領域を基準とする縦方向の2つの座標差分で定義された前記第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行することを特徴とする画像処理方法。
An image processing method performed by a computer, the method comprising:
Targeting image data generated by electronically reading a sealed contract document, identifying an area corresponding to the stamp surface from the image data,
A first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which are stored in advance in the storage device, The positional relationship between the area of the stamp surface and the area identified from the image data to be processed by referring to the positional relationship with the second area defined by two coordinate differences in the vertical direction with respect to the first area. extracting a region identified based on the above from the image data to be processed;
An image processing method characterized by executing a process of outputting the extracted region.
押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第1の領域と、前記第2の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる処理を更に実行することを特徴とする請求項1に記載の画像処理方法。 The positional relationship between the first area and the second area is learned based on learning data having a plurality of image data generated by electronically reading a sealed contract document. 2. The image processing method according to claim 1, further comprising: storing the learning results in the storage device. 前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする請求項2に記載の画像処理方法。 The learning process calculates the difference value between the coordinates specified as the first area and the coordinates specified as the second area for each image data, and calculates the maximum difference among the calculated difference values. 3. The image processing method according to claim 2, wherein a value is learned as the positional relationship. 前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする請求項2に記載の画像処理方法。 The learning process calculates a difference value between the coordinates specified as the first region and the coordinates specified as the second region for each image data, and based on the plurality of calculated difference values. 3. The image processing method according to claim 2, further comprising calculating an outlier among the difference values, and learning the positional relationship based on the difference value obtained by excluding the outlier from the plurality of difference values. コンピュータに
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域であって、前記第1の領域を基準とする縦方向の2つの座標差分で定義された前記第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行させることを特徴とする画像処理プログラム。
Processing target is image data generated by electronically reading a sealed contract document into a computer, and identifying an area corresponding to the stamp surface from the image data,
a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which are stored in advance in the storage device; The positional relationship between the area of the stamp surface and the area identified from the image data to be processed by referring to the positional relationship with the second area defined by two coordinate differences in the vertical direction with respect to the first area. extracting a region identified based on from the image data to be processed;
An image processing program that causes a process to output the extracted area.
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定する特定部と、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域であって、前記第1の領域を基準とする縦方向の2つの座標差分で定義された前記第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を処理対象である前記画像データから抽出し、抽出した前記領域を出力する抽出部と
を有することを特徴とする画像処理装置。
a specifying unit for processing image data generated by electronically reading a sealed contract document, and identifying an area corresponding to the stamp surface from the image data;
a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which are stored in advance in the storage device; The positional relationship between the area of the stamp surface and the area identified from the image data to be processed by referring to the positional relationship with the second area defined by two coordinate differences in the vertical direction with respect to the first area. an extraction unit that extracts a region specified based on the image data to be processed from the image data to be processed, and outputs the extracted region.
JP2020043072A 2020-03-12 2020-03-12 Image processing method, image processing program, and image processing device Active JP7452120B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020043072A JP7452120B2 (en) 2020-03-12 2020-03-12 Image processing method, image processing program, and image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020043072A JP7452120B2 (en) 2020-03-12 2020-03-12 Image processing method, image processing program, and image processing device

Publications (2)

Publication Number Publication Date
JP2021144501A JP2021144501A (en) 2021-09-24
JP7452120B2 true JP7452120B2 (en) 2024-03-19

Family

ID=77766761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020043072A Active JP7452120B2 (en) 2020-03-12 2020-03-12 Image processing method, image processing program, and image processing device

Country Status (1)

Country Link
JP (1) JP7452120B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245461A (en) 2001-02-15 2002-08-30 Hitachi Ltd Security seal impression matching method
JP2018005462A (en) 2016-06-30 2018-01-11 株式会社日立ソリューションズ Recognition device and recognition method
JP2019021981A (en) 2017-07-12 2019-02-07 大日本印刷株式会社 Document generating apparatus, document generating method, and program for document generating apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245461A (en) 2001-02-15 2002-08-30 Hitachi Ltd Security seal impression matching method
JP2018005462A (en) 2016-06-30 2018-01-11 株式会社日立ソリューションズ Recognition device and recognition method
JP2019021981A (en) 2017-07-12 2019-02-07 大日本印刷株式会社 Document generating apparatus, document generating method, and program for document generating apparatus

Also Published As

Publication number Publication date
JP2021144501A (en) 2021-09-24

Similar Documents

Publication Publication Date Title
JP5381569B2 (en) Gesture recognition device, gesture recognition method, and gesture recognition program
JP5671928B2 (en) Learning device, learning method, identification device, identification method, and program
EP2639743A2 (en) Image processing device, image processing program, and image processing method
JP2007233871A (en) Image processor, control method for computer, and program
JP5489340B2 (en) Face masking apparatus and method
JP6455186B2 (en) Fingertip position estimation device, fingertip position estimation method, and program
JP4903192B2 (en) Face detection device
JP6530432B2 (en) Image processing apparatus, image processing method and program
US9727145B2 (en) Detecting device and detecting method
EP3291179B1 (en) Image processing device, image processing method, and image processing program
JP7452120B2 (en) Image processing method, image processing program, and image processing device
JP5742583B2 (en) Image processing apparatus, image processing method, and image processing program
JP6517652B2 (en) Object saliency map calculation device, method and program
JP2011186595A (en) Information generation device, object detection device, information generation method, object detection method, and program
JP2016081472A (en) Image processing device, and image processing method and program
JP2008130015A (en) Photographic object identification program and photographic object identification device
JP6171786B2 (en) Image processing apparatus, image processing method, and image processing program
JP6609181B2 (en) Character attribute estimation apparatus and character attribute estimation program
JP2017076291A (en) Recognition program, recognition method and recognition device
JP2021144560A (en) Image processing program, image processing method, and image processing apparatus
JP5593884B2 (en) Feature point determination device, feature point determination method, and feature point determination program
JP7459151B2 (en) Information processing device, information processing system, information processing method, and program
JP6361332B2 (en) Gesture recognition apparatus and gesture recognition program
JP2016194835A (en) Information extraction method, information extraction program and information extraction apparatus
KR20240082727A (en) Method of operating image processor generating top-down heat map and electronic device having the image processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R150 Certificate of patent or registration of utility model

Ref document number: 7452120

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150