JP7452120B2 - Image processing method, image processing program, and image processing device - Google Patents
Image processing method, image processing program, and image processing device Download PDFInfo
- Publication number
- JP7452120B2 JP7452120B2 JP2020043072A JP2020043072A JP7452120B2 JP 7452120 B2 JP7452120 B2 JP 7452120B2 JP 2020043072 A JP2020043072 A JP 2020043072A JP 2020043072 A JP2020043072 A JP 2020043072A JP 7452120 B2 JP7452120 B2 JP 7452120B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image data
- contract
- image processing
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 claims description 34
- 238000000605 extraction Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 11
- 230000008685 targeting Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 68
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Character Input (AREA)
Description
本発明は、画像処理方法等に関する。 The present invention relates to an image processing method and the like.
契約書には、契約を締結した人物に関する情報として、住所や氏名等が記載され、各種の処理に利用されている。以下の説明では、適宜、契約を締結した人物に関する情報を「締結者情報」と表記する。 A contract contains information about the person who has concluded the contract, such as the address and name, and is used for various processing. In the following explanation, information regarding the person who concluded the contract will be referred to as "contractor information" as appropriate.
ここで、紙媒体の契約書に記載された締結者情報を検出する場合には、スキャナを用いて、契約書を画像データとして取り込み、画像データに対して文字検出の画像処理を実行する。なお、契約書の画像データ全体に対して、文字検出の画像処理を実行すると、締結者情報を含まない領域に対しても、画像処理が行われ、検出効率が低下する。 Here, when detecting the conclusion party information written in a paper contract, a scanner is used to capture the contract as image data, and image processing for character detection is performed on the image data. Note that if image processing for character detection is performed on the entire image data of the contract, the image processing will also be performed on areas that do not include signatory information, reducing detection efficiency.
なお、契約書の書式が予め決まっている場合には、契約書の画像データの所定の領域に対して、文字検出の画像処理を実行することができ、締結者情報の検出効率を向上させることができる。 In addition, if the format of the contract is determined in advance, image processing for character detection can be performed on a predetermined area of the image data of the contract, improving the efficiency of detecting information on the signatory. Can be done.
しかしながら、上述した従来技術では、締結者情報が記載された領域を効率よく抽出することができないという問題がある。 However, the above-described conventional technology has a problem in that it is not possible to efficiently extract the region in which the conclusion party information is written.
たとえば、契約書の書式が未知である場合には、締結者情報が記載された領域を事前に特定することができず、契約書の画像データ全体に対して、文字検出の画像処理を実行することになり、検出効率が低下してしまう。 For example, if the format of the contract is unknown, it is not possible to identify in advance the area where the signatory information is written, and image processing for character detection is performed on the entire image data of the contract. As a result, detection efficiency decreases.
1つの側面では、本発明は、締結者情報が記載された領域を効率よく抽出することができる画像処理方法、画像処理プログラムおよび画像処理装置を提供することを目的とする。 In one aspect, an object of the present invention is to provide an image processing method, an image processing program, and an image processing device that can efficiently extract a region in which conclusion person information is written.
第1の案では、コンピュータに次の処理を実行させる。コンピュータは、押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、画像データから、印面に相当する領域を特定する。コンピュータは、予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域との位置関係を参照し、処理対象である画像データから特定した印面の領域と位置関係とに基づいて特定される領域を、処理対象である画像データから抽出する。コンピュータは、抽出した領域を出力する。 In the first plan, the computer executes the following process. The computer processes image data generated by electronically reading a sealed contract document, and identifies an area corresponding to the stamp surface from the image data. The computer stores a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information about the person who concluded the contract is written, which are stored in advance in the storage device. With reference to the positional relationship, a region specified based on the positional relationship with the region of the stamp surface specified from the image data to be processed is extracted from the image data to be processed. The computer outputs the extracted area.
締結者情報が記載された領域を効率よく抽出することができる。 It is possible to efficiently extract the area in which the conclusion party information is written.
以下に、本願の開示する画像処理方法、画像処理プログラムおよび画像処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。 Embodiments of an image processing method, an image processing program, and an image processing apparatus disclosed in the present application will be described in detail below based on the drawings. Note that the present invention is not limited to this example.
図1は、本実施例に係る画像処理装置の処理を説明するための図である。画像処理装置は、学習データ141を基にして、パターンデータ142を学習しておく。パターンデータ142は、印面10の中心座標を基準とする検出領域を示す情報である。たとえば、検出領域は、契約書の領域のうち、契約を締結した人物に関する情報(締結者情報)が記述されるであろう領域に対応する。印面10の中心座標(中心座標を含む印面の領域)が「第1の領域」に対応する。
FIG. 1 is a diagram for explaining the processing of the image processing apparatus according to the present embodiment. The image processing device learns
パターンデータ142は、印面10の中心座標を基準とする第1y座標差分(y1)と、第2y座標差分(y2)とを定義する。第1y座標差分は、検出領域の上端11aと、印面10の中心座標との差分である。第2y座標差分は、検出領域の下端11bと、印面10の中心座標との差分である。上端11a、下端11bのy座標に対応する領域が「第2の領域」に対応する。
The
画像処理装置が、パターンデータ142を用いて、契約書の画像データ20に含まれる検出領域25を抽出する場合には、画像データ20の印面20aを特定する。画像処理装置は、印面20aの中心座標と、第1y座標差分(y1)とを基にして、検出領域25の上端25aを特定する。画像処理装置は、印面20aの中心座標と、第2y座標差分(y2)とを基にして、検出領域25の下端25bを特定する。なお、画像処理装置は、検出領域25のx座標方向の幅x25を、画像データ20の幅x20と同一とする。画像処理装置は、検出領域25に対して、文字認識を実行することで、締結者情報の文字列を認識する。
When the image processing device uses the
上記のように、本実施例に係る画像処理装置は、契約書の画像データ20から印面20aを特定し、パターンデータ142に定義された印面の中心座標を基準とした検出領域の位置関係を基にして、画像データ20の検出領域25を抽出する。すなわち、画像処理装置は、契約書の書式が未知でも、押印位置と締結者情報の記載位置との位置関係が変わらないことに着目することで、締結者情報が記載された検出領域を効率的に抽出することができる。また、検出領域を効率的に抽出することで、検出領域に記載されているであろう締結者情報を適切に認識することもできる。
As described above, the image processing device according to the present embodiment identifies the
次に、本実施例に係る画像処理装置の構成について説明する。図2は、本実施例に係る画像処理装置の構成を示す機能ブロック図である。図2に示すように、この画像処理装置100は、スキャナ50に接続される。画像処理装置100は、通信部110と、入力部120と、表示部130と、記憶部140と、制御部150とを有する。
Next, the configuration of the image processing apparatus according to this embodiment will be explained. FIG. 2 is a functional block diagram showing the configuration of the image processing apparatus according to this embodiment. As shown in FIG. 2, this
スキャナ50は、契約書の表面を電子的に読み込むことで、契約書の画像データを生成する装置である。本実施例では、スキャナ50は、押印済みの契約書の画像データを生成するものとする。スキャナ50は、画像データを、画像処理装置100の通信部110に出力する。
The scanner 50 is a device that generates image data of a contract by electronically reading the front surface of the contract. In this embodiment, it is assumed that the scanner 50 generates image data of a sealed contract. The scanner 50 outputs image data to the communication unit 110 of the
通信部110は、スキャナ50と接続し、画像データを取得する装置である。通信部110は、通信装置の一例である。図示を省略するが、通信部110は、ネットワークを介して、他の外部装置と接続し、データ通信を実行してもよい。後述する制御部150は、通信部110を解して、スキャナ50、外部装置等とデータをやり取りする。
The communication unit 110 is a device that connects to the scanner 50 and acquires image data. Communication unit 110 is an example of a communication device. Although not shown, the communication unit 110 may connect to another external device via a network and perform data communication. A
入力部120は、各種のデータを画像処理装置100の制御部150に入力するための入力装置である。入力部120は、キーボードやマウス、タッチパネル等に対応する。
The
表示部130は、表示部130は、制御部150から出力される情報を表示する表示装置である。表示部130は、有機EL(Electro Luminescence)ディスプレイ、液晶ディスプレイ、タッチパネル等に対応する。
The display unit 130 is a display device that displays information output from the
記憶部140は、学習データ141、パターンデータ142を有する。記憶部140は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
The storage unit 140 has
学習データ141は、パターンデータ142を生成するために用いられるデータである。図3は、学習データのデータ構造の一例を示す図である。図3に示すように、この学習データ141は、サンプル番号と、画像データと、上端y座標と、下端y座標と、印面中心x座標と、印面中心y座標と、第1y座標差分と、第2y座標差分とを有する。
サンプル番号は、サンプルとなる画像データを識別する情報である。画像データは、スキャナなどによって電子化されたサンプルとなる契約書の画像データである。サンプルとなる契約書には、締結者情報が記載されており、押印済みとする。サンプルとなる契約書の画像データは、「第二の画像データ」に対応する。以下の説明では、特に区別する場合、学習データの画像データを、第二の画像データと表記する。 The sample number is information that identifies image data serving as a sample. The image data is image data of a sample contract that has been digitized using a scanner or the like. The sample contract contains the information of the signatory and is stamped. The image data of the sample contract corresponds to "second image data." In the following description, the image data of the learning data will be referred to as second image data, especially when distinguished.
上端y座標は、第二の画像データにおける検出領域の上端のy座標を示す。下端y座標は、第二の画像データにおける検出領域の下端のy座標を示す。印面中心x座標は、第二の画像データにおける印面の中心x座標である。印面中心y座標は、第二の画像データにおける印面の中心y座標である。たとえば、第二の画像データの左上隅の座標を原点とする。 The upper end y-coordinate indicates the y-coordinate of the upper end of the detection area in the second image data. The lower end y-coordinate indicates the y-coordinate of the lower end of the detection area in the second image data. The seal surface center x-coordinate is the center x-coordinate of the stamp surface in the second image data. The stamp surface center y-coordinate is the center y-coordinate of the stamp surface in the second image data. For example, the coordinates of the upper left corner of the second image data are set as the origin.
第1y座標差分は、印面中心y座標から、上端y座標を減算した差分値である。第2y座標は、下端y座標から、印面中心座標を減算した差分値である。 The first y-coordinate difference is a difference value obtained by subtracting the top y-coordinate from the stamp face center y-coordinate. The second y-coordinate is a difference value obtained by subtracting the stamp face center coordinate from the lower end y-coordinate.
図2の説明に戻る。パターンデータ142は、学習データ141を基にして生成される情報であって、印面の中心座標を基準とする検出領域を示す情報である。パターンデータ142の検出座標は、新規の契約書の画像データにおいて、締結者情報が記載されている可能性の高い領域を示す。図4は、パターンデータのデータ構造の一例を示す図である。図4に示すように、パターンデータ142には、第1パターンと、第2パターンとが含まれる。
Returning to the explanation of FIG. 2. The
第1パターンには、第1-1y座標差分と、第2-1y座標差分とが設定される。第1-1y座標差分は、学習データ141に格納された各第1y座標差分のうち、最大の第1y座標差分となる。第2-1y座標差分は、学習データ141に格納された各第2y座標差分のうち、最大の第2y座標差分となる。
In the first pattern, a 1st-1y coordinate difference and a 2nd-1y coordinate difference are set. The 1-1st y-coordinate difference is the largest first y-coordinate difference among the first y-coordinate differences stored in the learning
第2パターンには、第1-2y座標差分と、第2-2y座標差分とが設定される。第1-2y座標差分は、学習データ141に格納された各1y座標差分から外れ値を除き、外れ値以外の第1y座標差分のうち、最大の第1y座標差分となる。第2-2y座標差分は、学習データ141に格納された各第2y座標差分から外れ値を除き、外れ値以外の第2y座標差分のうち、最大の第2y座標差分となる。
In the second pattern, a 1st-2nd y coordinate difference and a 2nd-2nd y coordinate difference are set. The 1st-2nd y-coordinate difference is the largest first y-coordinate difference among the first y-coordinate differences other than the outliers, excluding outliers from each 1y-coordinate difference stored in the learning
第2パターンは、外れ値を除外する。このため、第1パターンによって特定される検出領域は、第2パターンによって特定される検出領域よりも広くなる。 The second pattern excludes outliers. Therefore, the detection area specified by the first pattern is wider than the detection area specified by the second pattern.
図2の説明に戻る。制御部150は、取得部151と、学習部152と、特定部153と、抽出部154と、文字認識部155とを有する。制御部150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部150は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
Returning to the explanation of FIG. 2. The
取得部151は、外部装置等から学習データ141を取得する処理部である。取得部151は、取得した学習データ141を記憶部140に格納する。また、取得部151は、スキャナ50から、押印済みの新規の契約書の画像データを取得した場合に、取得した画像データを、特定部153に出力する。押印済みの新規の契約書の画像データは、「第一の画像データ」に対応する。以下の説明では、特に区別する場合、押印済みの新規の契約書の画像データを、第一の画像データと表記する。
The acquisition unit 151 is a processing unit that acquires the learning
学習部152は、学習データ141を基にして、パターンデータ142を生成する処理部である。なお、学習データ141に含まれる印面中心y座標(印面中心x座標)は、予め設定されていてもよいし、第二の画像データから印面を特定して、自動で設定してもよい。学習部152は、印面中心y座標を自動で特定した場合には、上端y座標および下端y座標を基にして、第1y座標差分、第2y座標差分を自動で算出してもよい。
The learning unit 152 is a processing unit that generates
学習部152が、パターンデータ142の「第1パターン」を学習する処理について説明する。学習部152は、学習データ141の各第1y座標差分を比較し、最大の第1y座標差分を特定する。学習部152は、特定した最大の第1y座標差分を、第1パターンの第1-1y座標差分として学習する。
A process in which the learning unit 152 learns the "first pattern" of the
学習部152は、学習データ141の各第2y座標差分を比較し、最大の第2y座標差分を特定する。学習部152は、特定した最大の第2y座標差分を、第1パターンの第2-1y座標差分として学習する。
The learning unit 152 compares each second y-coordinate difference of the learning
学習部152は、第1-1y座標差分および第2-1y座標差分を、第1パターンとして、パターンデータ142に登録する。
The learning unit 152 registers the 1st-1y coordinate difference and the 2nd-1y coordinate difference in the
続いて、学習部152が、パターンデータ142の「第2パターン」を学習する処理について説明する。学習部152は、学習データ141の全ての第1y座標差分を基にして、第1y座標差分の平均値μ1を算出する。また、学習部152は、学習データ141の全ての第1y座標差分を基にして、第1y座標差分の標準偏差σ1を算出する。
Next, a process in which the learning unit 152 learns the "second pattern" of the
学習部152は、学習データ141の全ての第1y座標差分のうち、「μ1-3×σ1」未満となる第1y座標差分と、「μ1+3×σ1」以上となる第1y座標差分とを外れ値として特定する。学習部152は、学習データ141の全ての第1y座標差分から外れ値を除外した第1y座標差分のうち、最大の第1y座標差分を、第2パターンの第2-1y座標差分として学習する。
Of all the first y-coordinate differences of the learning
図5は、第1y座標差分のヒストグラムを示す図である。図5に示すヒストグラムの横軸は、第1y座標差分の値に対応する。ヒストグラムの縦軸は、頻度に対応する。たとえば、範囲30に値が含まれる第1y座標差分の値が、外れ値となる。たとえば、31aに示す値が、第1パターンの第1-1y座標差分の値となる。31bに示す値が、第2パターンの第1-2y座標差分の値となる。
FIG. 5 is a diagram showing a histogram of the first y-coordinate difference. The horizontal axis of the histogram shown in FIG. 5 corresponds to the value of the first y-coordinate difference. The vertical axis of the histogram corresponds to frequency. For example, the value of the first y-coordinate difference whose value is included in the
学習部152は、学習データ141の全ての第2y座標差分を基にして、第2y座標差分の平均値μ2を算出する。また、学習部152は、学習データ141の全ての第2y座標差分を基にして、第1y座標差分の標準偏差σ2を算出する。
The learning unit 152 calculates the average value μ 2 of the second y-coordinate differences based on all the second y-coordinate differences of the learning
学習部152は、学習データ141の全ての第2y座標差分のうち、「μ2-3×σ2」未満となる第2y座標差分と、「μ2+3×σ2」以上となる第2y座標差分とを外れ値として特定する。学習部152は、学習データ141の全ての第2y座標差分から外れ値を除外した第2y座標差分のうち、最大の第2y座標差分を、第2パターンの第2-2y座標差分として学習する。第1y座標差分について、ヒストグラムの説明を省略する。
The learning unit 152 selects a second y-coordinate difference that is less than “μ 2 −3×σ 2 ” and a second y-coordinate difference that is equal to or more than “μ 2 +3×σ 2 ” out of all the second y-coordinate differences of the learning
学習部152は、第1-2y座標差分および第2-2y座標差分を、第2パターンとして、パターンデータ142に登録する。
The learning unit 152 registers the 1st-2nd y coordinate difference and the 2nd-2nd y coordinate difference in the
学習部152は、上記処理を実行することで、パターンデータ142を学習し、学習したパターンデータ142を、記憶部140に格納する。
The learning unit 152 learns the
図2の説明に戻る。特定部153は、第一の画像データから、印面に相当する領域座標を特定する処理部である。たとえば、特定部153は、印鑑の色や形状を定義したテンプレートと、第一の画像データと比較して、印面の領域を特定する。特定部153は、特定した印面の領域の中心座標(x0、y0)を特定し、中心座標(x0、y0)の情報を、抽出部154に出力する。ただし、領域座標は必ずしも中心座標に限定されるわけではなく、例えば、印面の頂点に対応する座標でも良く、複数の座標を領域座標としても良い。
Returning to the explanation of FIG. 2. The specifying unit 153 is a processing unit that specifies the area coordinates corresponding to the stamp surface from the first image data. For example, the specifying unit 153 specifies the area of the stamp face by comparing the first image data with a template that defines the color and shape of the stamp. The specifying unit 153 specifies the center coordinates (x 0 , y 0 ) of the specified region of the seal face, and outputs information on the center coordinates (x 0 , y 0 ) to the extracting
抽出部154は、パターンデータ142を用いて、第一の画像データに含まれる検出領域を抽出する処理部である。抽出部154は、パターンデータ142に含まれる第1パターンまたは第2パターンのいずれか一方を用いて、検出領域を抽出する。第1パターンを用いるのか、第2パターンを用いるのかは、予め設定されているものとする。
The
抽出部154が、第1パターンを用いて、検出領域を抽出する処理の一例について説明する。抽出部154は、印面の中心座標(x0、y0)と、第1-1y座標差分とを基にして、検出領域25の上端を特定する。抽出部154は、印面の中心座標(x0、y0)と、第2-1y座標差分とを基にして、検出領域の下端を特定する。なお、抽出部154は、検出領域のx座標方向の幅を、第一の画像データの幅と同一とする。
An example of a process in which the
抽出部154は、第1パターンを用いて、第一の画像データに対して特定した検出領域の情報を、文字認識部155に出力する。
The
図6は、第1パターンの検出例を示す図である。図6に示すように、印面40の中心座標と、第1パターンとを基にして、検出領域40aが設定される。
FIG. 6 is a diagram showing an example of detection of the first pattern. As shown in FIG. 6, a
抽出部154が、第2パターンを用いて、検出領域を抽出する処理の一例について説明する。抽出部154は、印面の中心座標(x0、y0)と、第1-2y座標差分とを基にして、検出領域25の上端を特定する。抽出部154は、印面の中心座標(x0、y0)と、第2-2y座標差分とを基にして、検出領域の下端を特定する。なお、抽出部154は、検出領域のx座標方向の幅を、第一の画像データの幅と同一とする。
An example of a process in which the
抽出部154は、第2パターンを用いて、第一の画像データに対して特定した検出領域の情報を、文字認識部155に出力する。
The
図7は、第2パターンの検出例を示す図である。図7に示すように、印面40の中心座標と、第2パターンとを基にして、検出領域40bが設定される。
FIG. 7 is a diagram showing an example of detection of the second pattern. As shown in FIG. 7, a
文字認識部155は、抽出部154によって抽出された検出領域の画像に対して、文字認識を実行することで、締結者情報の文字列を認識する処理部である。文字認識部155は、認識した文字列を、表示部130に出力する。文字認識部155は、ネットワークを介して、文字列の認識結果を、外部装置等に通知してもよい。
The character recognition unit 155 is a processing unit that recognizes the character string of the conclusion party information by performing character recognition on the image of the detection area extracted by the
次に、本実施例に係る画像処理装置100の処理手順の一例について説明する。図8は、本実施例に係る画像処理装置の学習処理の処理手順を示すフローチャートである。図8に示すように、画像処理装置100の取得部151は、学習データ141を取得する(ステップS101)。
Next, an example of the processing procedure of the
画像処理装置100の学習部152は、学習データ141の各第1y座標差分を比較し、最大となる第1y座標差分を、第1-1座標差分に設定する(ステップS102)。学習部152は、学習データ141の各第2y座標差分を比較し、最大となる第2y座標差分を、第2-1座標差分に設定する(ステップS103)。
The learning unit 152 of the
学習部152は、第1-1y座標差分および第2-1y座標差分を、第1パターンとして、パターンデータ142に登録する(ステップS104)。 The learning unit 152 registers the first-1y coordinate difference and the second-1y coordinate difference as the first pattern in the pattern data 142 (step S104).
学習部152は、学習データ141の各第1座標差分を基にして、平均値μ1および標準偏差σ1を算出する(ステップS105)。学習部152は、平均値μ1および標準偏差σ1を基にして、学習データ141の各第1y座標差分から外れ値を除外する(ステップS106)。
The learning unit 152 calculates the average value μ 1 and the standard deviation σ 1 based on each first coordinate difference of the learning data 141 (step S105). The learning unit 152 excludes outliers from each first y-coordinate difference of the learning
学習部152は、外れ値を除外した第1y座標差分のうち、最大となる第1y座標差分を、第1-2y座標差分に設定する(ステップS107)。 The learning unit 152 sets the largest first y-coordinate difference among the first y-coordinate differences excluding outliers as the 1-2nd y-coordinate difference (step S107).
学習部152は、学習データ141の各第2座標差分を基にして、平均値μ2および標準偏差σ2を算出する(ステップS108)。学習部152は、平均値μ2および標準偏差σ2を基にして、学習データ141の各第2y座標差分から外れ値を除外する(ステップS109)。
The learning unit 152 calculates the average value μ 2 and the standard deviation σ 2 based on each second coordinate difference of the learning data 141 (step S108). The learning unit 152 excludes outliers from each second y-coordinate difference of the learning
学習部152は、外れ値を除外した第2y座標差分のうち、最大となる第2y座標差分を、第2-2y座標差分に設定する(ステップS110)。 The learning unit 152 sets the largest second y-coordinate difference among the second y-coordinate differences excluding outliers as the 2-2nd y-coordinate difference (step S110).
学習部152は、第1-2y座標差分および第2-2y座標差分を、第2パターンとして、パターンデータ142に登録する(ステップS111)。
The learning unit 152 registers the 1st-2nd y coordinate difference and the 2nd-2nd y coordinate difference in the
図9は、本実施例に係る画像処理装置の画像処理の処理手順を示すフローチャートである。図9に示すように、画像処理装置100の取得部151は、スキャナ50から第一の画像データを取得する(ステップS201)。
FIG. 9 is a flowchart showing the procedure of image processing by the image processing apparatus according to this embodiment. As shown in FIG. 9, the acquisition unit 151 of the
画像処理装置100の特定部153は、第一の画像データから、印面の領域を特定する(ステップS202)。特定部153は、印面の中心座標を特定する(ステップS203)。
The specifying unit 153 of the
画像処理装置100の抽出部154は、第1パターンを選択する場合には(ステップS204,Yes)、ステップS205に移行する。一方、抽出部154は、第1パターンを選択しない場合には(ステップS204,No)、ステップS207に移行する。
If the
ステップS205について説明する。抽出部154は、第1パターンの第1-1y座標差分、第2-1y座標差分をパターンデータ142から取得する(ステップS205)。抽出部154は、第1パターンと印面の中心座標とを基にして、検出領域を抽出する(ステップS206)。
Step S205 will be explained. The
画像処理装置100の文字認識部155は、検出領域の画像から、文字列を認識する(ステップS209)。文字認識部155は、認識結果を表示部130に出力する(ステップS210)。
The character recognition unit 155 of the
ステップS207について説明する。抽出部154は、第2パターンの第1-2y座標差分、第2-2y座標差分をパターンデータ142から取得する(ステップS207)。抽出部154は、第2パターンと印面の中心座標とを基にして、検出領域を抽出し(ステップS208)、ステップS209に移行する。
Step S207 will be explained. The
次に、本実施例1に係る画像処理装置100の効果について説明する。画像処理装置100は、契約書の画像データから印面を特定し、パターンデータに定義された印面の中心座標を基準とした検出領域の位置関係を基にして、画像データの検出領域を抽出する。すなわち、画像処理装置は、契約書の書式が未知でも、押印位置と締結者情報の記載位置との位置関係が変わらないことに着目することで、締結者情報が記載された検出領域を効率的に抽出することができる。また、検出領域を効率的に抽出することで、検出領域に記載されているであろう締結者情報を適切に認識することもできる。
Next, the effects of the
画像処理装置100は、学習データ141に含まれる各第1y座標差分の最大値と、第2y座標差分の最大値とを基にして、第1パターンを学習する。これによって、画像データから印面を抽出することで、締結者情報の検出領域を特定することが可能となる。
The
画像処理装置100は、学習データ141に含まれる各第1y座標差分から外れ値を除外した残りの第1y座標差分と、各第2y座標差分から外れ値を除外した残りの第2y座標差分とを基にして、第2パターンを学習する。これによって、画像データから印面を抽出することで、締結者情報の検出領域を特定することが可能となる。また、第1パターンの検出領域よりも、検出領域を絞り込むことができる。
The
ここで、第1パターンによって特定した検出領域と、第2パターンによって特定した検出領域とに対して文字認識を実行した場合の認識結果の一例について説明する。図10は、第1パターンと第2パターンとの比較結果を示す図である。 Here, an example of recognition results when character recognition is performed on the detection area specified by the first pattern and the detection area specified by the second pattern will be described. FIG. 10 is a diagram showing a comparison result between the first pattern and the second pattern.
図10に示す例では、印面45の中心座標と、第1パターンとを基にして検出領域45aが設定される。印面46の中心座標と、第1パターンとを基にして検出領域46aが設定される。図10に示す例では、第1パターンでは、締結者情報を検出しているが、第2パターンでは、締結者情報の一部を検出(検出漏れが発生している)できていない。第1パターンの検出領域は、第2パターンの検出領域よりも大きいため、検出漏れを防ぐことができる。
In the example shown in FIG. 10, the
たとえば、発明者が実験を行ったところ、第1パターンの検出領域は、帳票の約4割であり、締結者情報の検出率は100%であった。一方、第2パターンの検出領域は、帳票の約1.5割であり、締結者情報の検出率は97.8%であった。 For example, when the inventor conducted an experiment, the detection area of the first pattern was approximately 40% of the form, and the detection rate of the conclusion party information was 100%. On the other hand, the detection area of the second pattern was approximately 1.50% of the form, and the detection rate of the conclusion party information was 97.8%.
次に、上記実施例に示した画像処理装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図11は、実施例の画像処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
Next, an example of the hardware configuration of a computer that implements the same functions as the
図11に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、有線または無線ネットワークを介して、スキャナ50、外部装置等との間でデータの授受を行う通信装置205とを有する。また、コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201~207は、バス208に接続される。
As shown in FIG. 11, the
ハードディスク装置207は、取得プログラム207a、学習プログラム207b、特定プログラム207c、抽出プログラム207d、文字認識プログラム207eを有する。また、CPU201は、各プログラム207a~207eを読み出してRAM206に展開する。
The
取得プログラム207aは、取得プロセス206aとして機能する。学習プログラム207bは、学習プロセス206bとして機能する。特定プログラム207cは、特定プロセス206cとして機能する。抽出プログラム207dは、抽出プロセス206dとして機能する。文字認識プログラム207eは、文字認識プロセス206eとして機能する。
The
取得プロセス206aの処理は、取得部151の処理に対応する。学習プロセス206bの処理は、学習部152の処理に対応する。特定プロセス206cの処理は、特定部153の処理に対応する。抽出プロセス206dの処理は、抽出部154の処理に対応する。文字認識プロセス206eの処理は、文字認識部155の処理に対応する。
The processing of the
なお、各プログラム207a~207eについては、必ずしも最初からハードディスク装置207に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD-ROM、DVD、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム207a~207eを読み出して実行するようにしてもよい。
Note that each of the
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。 Regarding the embodiments including each of the above examples, the following additional notes are further disclosed.
(付記1)コンピュータに、
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行させることを特徴とする画像処理方法。
(Additional note 1) On the computer,
Targeting image data generated by electronically reading a sealed contract document, identifying an area corresponding to the stamp surface from the image data,
The positional relationship between a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which is stored in advance in the storage device. extracting a region specified based on the region of the seal face and the positional relationship identified from the image data to be processed by referring to the image data to be processed;
An image processing method characterized by executing a process of outputting the extracted region.
(付記2)押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第1の領域と、前記第2の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる処理を更に実行させることを特徴とする付記1に記載の画像処理方法。
(Additional Note 2) The positions of the first area and the second area are determined based on learning data having multiple image data generated by electronically reading a sealed contract document. The image processing method according to
(付記3)前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする付記2に記載の画像処理方法。 (Additional note 3) The learning process calculates a difference value between the coordinates specified as the first area and the coordinates specified as the second area for each image data, and among the calculated difference values. , the maximum difference value is learned as the positional relationship, the image processing method according to appendix 2.
(付記4)前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする付記2に記載の画像処理方法。 (Additional note 4) The learning process calculates a difference value between the coordinates specified as the first area and the coordinates specified as the second area for each image data, and calculates a plurality of calculated difference values. The image according to appendix 2, wherein an outlier of the difference values is calculated based on the difference value, and the positional relationship is learned based on the difference value obtained by excluding the outlier from the plurality of difference values. Processing method.
(付記5)コンピュータに、
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行させることを特徴とする画像処理プログラム。
(Additional note 5) On the computer,
Targeting image data generated by electronically reading a sealed contract document, identifying an area corresponding to the stamp surface from the image data,
The positional relationship between a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which is stored in advance in the storage device. extracting a region specified based on the region of the seal face and the positional relationship identified from the image data to be processed by referring to the image data to be processed;
An image processing program that causes a process to output the extracted area.
(付記6)押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第1の領域と、前記第2の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる処理を更に実行させることを特徴とする付記5に記載の画像処理プログラム。
(Additional Note 6) The positions of the first area and the second area are determined based on learning data having multiple image data generated by electronically reading a sealed contract document. The image processing program according to
(付記7)前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする付記6に記載の画像処理プログラム。 (Additional Note 7) The learning process calculates a difference value between the coordinates specified as the first area and the coordinates specified as the second area for each image data, and among the calculated difference values. , the maximum difference value is learned as the positional relationship, the image processing program according to appendix 6.
(付記8)前記学習する処理は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする付記6に記載の画像処理プログラム。 (Additional note 8) The learning process calculates a difference value between the coordinates specified as the first area and the coordinates specified as the second area for each image data, and calculates a plurality of calculated difference values. The image according to appendix 6, wherein an outlier of the difference values is calculated based on the difference value, and the positional relationship is learned based on the difference value obtained by excluding the outlier from the plurality of difference values. Processing program.
(付記9)押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定する特定部と、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を処理対象である前記画像データから抽出し、抽出した前記領域を出力する抽出部と
を有することを特徴とする画像処理装置。
(Additional note 9) A specifying unit that specifies an area corresponding to the stamp surface from the image data, with image data generated by electronically reading a sealed contract document as a processing target;
The positional relationship between a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which is stored in advance in the storage device. an extraction unit that refers to and extracts a region specified from the image data that is a processing target based on the area of the stamp face specified from the image data that is a processing target and the positional relationship, and outputs the extracted region; An image processing device comprising: and
(付記10)押印済の契約書の書面が電子的に読み込まれることにより生成された複数の画像データを有する学習データを基にして、前記第1の領域と、前記第2の領域との位置関係を学習し、学習結果を前記記憶装置に記憶させる学習部を更に有することを特徴とする付記9に記載の画像処理装置。 (Additional Note 10) The positions of the first area and the second area are determined based on learning data having a plurality of image data generated by electronically reading a sealed contract document. The image processing device according to appendix 9, further comprising a learning section that learns the relationship and stores the learning result in the storage device.
(付記11)前記学習部は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した差分値のうち、最大の差分値を、前記位置関係として学習することを特徴とする付記10に記載の画像処理装置。
(Additional Note 11) The learning unit calculates a difference value between the coordinates specified as the first region and the coordinates specified as the second region for each image data, and among the calculated difference values, The image processing device according to
(付記12)前記学習部は、前記第1の領域として特定される座標と前記第2の領域として特定される座標との差分値を、画像データ毎に算出し、算出した複数の差分値を基にして、差分値の外れ値を算出し、前記複数の差分値から前記外れ値を除外した差分値を基にして、前記位置関係を学習することを特徴とする請求項10に記載の画像処理装置。
(Additional Note 12) The learning unit calculates a difference value between the coordinates specified as the first region and the coordinates specified as the second region for each image data, and calculates a plurality of calculated difference values. 11. The image according to
50 スキャナ
100 画像処理装置
110 通信部
120 入力部
130 表示部
140 記憶部
141 学習データ
142 パターンデータ
150 制御部
151 取得部
152 学習部
153 特定部
154 抽出部
155 文字認識部
50
Claims (6)
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域であって、前記第1の領域を基準とする縦方向の2つの座標差分で定義された前記第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行することを特徴とする画像処理方法。 An image processing method performed by a computer, the method comprising:
Targeting image data generated by electronically reading a sealed contract document, identifying an area corresponding to the stamp surface from the image data,
A first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which are stored in advance in the storage device, The positional relationship between the area of the stamp surface and the area identified from the image data to be processed by referring to the positional relationship with the second area defined by two coordinate differences in the vertical direction with respect to the first area. extracting a region identified based on the above from the image data to be processed;
An image processing method characterized by executing a process of outputting the extracted region.
押印済の契約書の書面が電子的に読み込まれることにより生成された画像データを処理対象として、前記画像データから、印面に相当する領域を特定し、
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域であって、前記第1の領域を基準とする縦方向の2つの座標差分で定義された前記第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を、処理対象である前記画像データから抽出し、
抽出した前記領域を出力する
処理を実行させることを特徴とする画像処理プログラム。 Processing target is image data generated by electronically reading a sealed contract document into a computer, and identifying an area corresponding to the stamp surface from the image data,
a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which are stored in advance in the storage device; The positional relationship between the area of the stamp surface and the area identified from the image data to be processed by referring to the positional relationship with the second area defined by two coordinate differences in the vertical direction with respect to the first area. extracting a region identified based on from the image data to be processed;
An image processing program that causes a process to output the extracted area.
予め記憶装置に記憶された、契約書の印面位置に対応する契約書内の第1の領域と、契約を締結した人物に関する情報が記載される契約書内の第2の領域であって、前記第1の領域を基準とする縦方向の2つの座標差分で定義された前記第2の領域との位置関係を参照し、処理対象である前記画像データから特定した前記印面の領域と前記位置関係とに基づいて特定される領域を処理対象である前記画像データから抽出し、抽出した前記領域を出力する抽出部と
を有することを特徴とする画像処理装置。 a specifying unit for processing image data generated by electronically reading a sealed contract document, and identifying an area corresponding to the stamp surface from the image data;
a first area in the contract corresponding to the stamp position of the contract and a second area in the contract in which information regarding the person who concluded the contract is written, which are stored in advance in the storage device; The positional relationship between the area of the stamp surface and the area identified from the image data to be processed by referring to the positional relationship with the second area defined by two coordinate differences in the vertical direction with respect to the first area. an extraction unit that extracts a region specified based on the image data to be processed from the image data to be processed, and outputs the extracted region.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043072A JP7452120B2 (en) | 2020-03-12 | 2020-03-12 | Image processing method, image processing program, and image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020043072A JP7452120B2 (en) | 2020-03-12 | 2020-03-12 | Image processing method, image processing program, and image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021144501A JP2021144501A (en) | 2021-09-24 |
JP7452120B2 true JP7452120B2 (en) | 2024-03-19 |
Family
ID=77766761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020043072A Active JP7452120B2 (en) | 2020-03-12 | 2020-03-12 | Image processing method, image processing program, and image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7452120B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002245461A (en) | 2001-02-15 | 2002-08-30 | Hitachi Ltd | Security seal impression matching method |
JP2018005462A (en) | 2016-06-30 | 2018-01-11 | 株式会社日立ソリューションズ | Recognition device and recognition method |
JP2019021981A (en) | 2017-07-12 | 2019-02-07 | 大日本印刷株式会社 | Document generating apparatus, document generating method, and program for document generating apparatus |
-
2020
- 2020-03-12 JP JP2020043072A patent/JP7452120B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002245461A (en) | 2001-02-15 | 2002-08-30 | Hitachi Ltd | Security seal impression matching method |
JP2018005462A (en) | 2016-06-30 | 2018-01-11 | 株式会社日立ソリューションズ | Recognition device and recognition method |
JP2019021981A (en) | 2017-07-12 | 2019-02-07 | 大日本印刷株式会社 | Document generating apparatus, document generating method, and program for document generating apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2021144501A (en) | 2021-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5381569B2 (en) | Gesture recognition device, gesture recognition method, and gesture recognition program | |
JP5671928B2 (en) | Learning device, learning method, identification device, identification method, and program | |
EP2639743A2 (en) | Image processing device, image processing program, and image processing method | |
JP2007233871A (en) | Image processor, control method for computer, and program | |
JP5489340B2 (en) | Face masking apparatus and method | |
JP6455186B2 (en) | Fingertip position estimation device, fingertip position estimation method, and program | |
JP4903192B2 (en) | Face detection device | |
JP6530432B2 (en) | Image processing apparatus, image processing method and program | |
US9727145B2 (en) | Detecting device and detecting method | |
EP3291179B1 (en) | Image processing device, image processing method, and image processing program | |
JP7452120B2 (en) | Image processing method, image processing program, and image processing device | |
JP5742583B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6517652B2 (en) | Object saliency map calculation device, method and program | |
JP2011186595A (en) | Information generation device, object detection device, information generation method, object detection method, and program | |
JP2016081472A (en) | Image processing device, and image processing method and program | |
JP2008130015A (en) | Photographic object identification program and photographic object identification device | |
JP6171786B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP6609181B2 (en) | Character attribute estimation apparatus and character attribute estimation program | |
JP2017076291A (en) | Recognition program, recognition method and recognition device | |
JP2021144560A (en) | Image processing program, image processing method, and image processing apparatus | |
JP5593884B2 (en) | Feature point determination device, feature point determination method, and feature point determination program | |
JP7459151B2 (en) | Information processing device, information processing system, information processing method, and program | |
JP6361332B2 (en) | Gesture recognition apparatus and gesture recognition program | |
JP2016194835A (en) | Information extraction method, information extraction program and information extraction apparatus | |
KR20240082727A (en) | Method of operating image processor generating top-down heat map and electronic device having the image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7452120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |