JP7292052B2 - Image processing device, guide image generation method and program - Google Patents
Image processing device, guide image generation method and program Download PDFInfo
- Publication number
- JP7292052B2 JP7292052B2 JP2019031933A JP2019031933A JP7292052B2 JP 7292052 B2 JP7292052 B2 JP 7292052B2 JP 2019031933 A JP2019031933 A JP 2019031933A JP 2019031933 A JP2019031933 A JP 2019031933A JP 7292052 B2 JP7292052 B2 JP 7292052B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- frame
- guide
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 48
- 230000008569 process Effects 0.000 claims description 40
- 238000003860 storage Methods 0.000 description 79
- 238000013523 data management Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 15
- 230000009466 transformation Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012015 optical character recognition Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 235000006481 Colocasia esculenta Nutrition 0.000 description 1
- 240000004270 Colocasia esculenta var. antiquorum Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Character Input (AREA)
Description
本発明は、画像処理装置、ガイド画像生成方法及びプログラムに関する。 The present invention relates to an image processing device, a guide image generation method, and a program.
携帯電話やスマートフォンなどの端末装置によって運転免許証などの各種証明書を撮影して得られた画像データと、当該画像データを文字認識することで得られる文字情報とを用いることにより、各種申し込み手続が電子的に行われるようになってきている。端末装置のカメラで撮影して文字認識するものとしては、例えば、特許文献1に記載された携帯端末装置がある。 Various application procedures by using image data obtained by photographing various certificates such as driver's licenses with terminal devices such as mobile phones and smartphones, and character information obtained by character recognition of the image data are increasingly being done electronically. For example, there is a mobile terminal device described in Japanese Patent Application Laid-Open No. 2002-200313 as a device that performs character recognition by photographing with a camera of a terminal device.
特許文献1に開示される技術では、例えば、読み取り対象の文書を連続して撮影する間に得られる複数の文書画像について文字認識を行い、文書画像に含まれる文字や値などの文字情報を検出する。さらに、特許文献1に開示される技術では、検出した文字情報の中から予め定められている項目名を示す文字情報を検出し、また、当該項目名に対応して記録されている、例えば、個人ごとに異なる氏名や住所などの文字情報を読み出して取得している。
In the technique disclosed in
ところで、運転免許証などよりも大きな帳票の場合、文字を認識するために必要となる解像度の画像を得るためには、スマートフォンなどのカメラでは帳票の全体を一度に撮影することができない場合がある。このような帳票についても、特許文献1に開示される技術を利用すれば、帳票を複数の領域に区切って連続して撮影していくことで、帳票に記録されている全ての文字情報を取得することが可能となる。 By the way, in the case of a form larger than a driver's license, it may not be possible to capture the entire form at once with a camera such as a smartphone in order to obtain an image with the resolution required for character recognition. . For such a form, if the technology disclosed in Japanese Patent Laid-Open No. 2002-200010 is used, all the character information recorded in the form can be acquired by dividing the form into a plurality of areas and continuously photographing the form. It becomes possible to
しかしながら、このように帳票を複数の領域に区切って連続して撮影していくと、文字情報の取得ができている領域と、文字情報の取得ができてない領域とを区別するのが難しくなるという問題がある。 However, if the form is divided into a plurality of areas and continuously photographed, it becomes difficult to distinguish between areas where character information has been acquired and areas where character information has not been acquired. There is a problem.
本発明は、このような事情に鑑みてなされたものであり、その目的は、一つの帳票を部分的に連続して撮影する場合、文字情報が取得できている領域と、文字情報が取得できてない領域とを撮影しながら容易に区別する画像処理装置、ガイド画像生成方法及びプログラムを提供することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of such circumstances, and its object is to provide an area in which character information can be obtained and a An object of the present invention is to provide an image processing device, a guide image generating method, and a program that can easily distinguish between unmarked areas while photographing.
上記問題を解決するために、本発明の画像処理装置は、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得部と、前記フレーム画像における文字画像の文字認識を行う文字認識部と、前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成部と、前記フレーム画像を画面の第1の領域に表示し、前記ガイド画像を、前記画面において前記第1の領域と異なる第2の領域に表示する表示処理部と、を備えることを特徴とする。 In order to solve the above problem, the image processing apparatus of the present invention includes a frame image acquisition unit that acquires frame images obtained by partially continuously photographing one form, and character recognition of character images in the frame images. The character recognition unit, the characteristic information of the entire image of the form including the entire image of the form, and the characteristic information of the frame image from which the character information is obtained by the character recognition. a guide image generating unit for generating a guide image for shooting guide by combining area information indicating an area from which character information is obtained; and a display processing unit that displays in a second area different from the first area .
本発明の画像処理装置において、前記帳票全体画像は、前記帳票のテンプレート画像であることを特徴とする。 In the image processing apparatus of the present invention, the entire image of the form is a template image of the form.
本発明の画像処理装置において、前記帳票全体画像は、前記フレーム画像を撮影する際の撮影対象の前記帳票の全体像を撮影して得られる画像であることを特徴とする。
本発明の画像処理装置において、前記ガイド画像生成部は、前記ガイド画像において予め定められた領域の全てにおいて、前記領域情報が結合されているか否かを判定することを特徴とする。
In the image processing apparatus according to the present invention, the overall document image is an image obtained by capturing the overall image of the document to be captured when capturing the frame image.
In the image processing apparatus of the present invention, the guide image generation unit determines whether or not the area information is combined in all of the predetermined areas in the guide image.
本発明のガイド画像生成方法は、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得過程と、前記フレーム画像における文字画像の文字認識を行う文字認識過程と、前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成過程と、前記フレーム画像を画面の第1の領域に表示し、前記ガイド画像を、前記画面において前記第1の領域と異なる第2の領域に表示する表示処理過程と、を含むことを特徴とする。 A guide image generation method of the present invention includes a frame image acquisition process of acquiring frame images obtained by partially continuously photographing one form, a character recognition process of performing character recognition of character images in the frame images, and and the feature information of the frame image from which the character information is obtained by the character recognition. a guide image generating process for generating a guide image for shooting guide combining area information indicating and a display processing step of displaying in a different second area .
本発明のプログラムは、コンピュータを、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得手段、前記フレーム画像における文字画像の文字認識を行う文字認識手段、前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成手段、前記フレーム画像を画面の第1の領域に表示し、前記ガイド画像を、前記画面において前記第1の領域と異なる第2の領域に表示する表示処理手段、として機能させるためのプログラムである。 The program of the present invention comprises: frame image obtaining means for obtaining frame images obtained by partially continuously photographing one form; character recognition means for performing character recognition of character images in the frame images; and the feature information of the frame image from which the character information is obtained by the character recognition . guide image generating means for generating a guide image for shooting guide combining area information ; displaying the frame image in a first area of a screen; and displaying the guide image in a second area different from the first area on the screen This is a program for functioning as display processing means for displaying in the area of .
この発明によれば、一つの帳票を部分的に連続して撮影する場合、文字情報が取得できている領域と、文字情報が取得できてない領域とを撮影しながら容易に区別することができる。 According to this invention, when one form is partially continuously photographed, it is possible to easily distinguish an area in which character information has been obtained from an area in which character information has not been obtained while photographing. .
以下、本発明の実施形態による端末装置1を備える帳票データ管理システムSについて図面を参照して説明する。図1は、帳票データ管理システムSの構成を示すブロック図である。帳票データ管理システムSは、端末装置1、帳票データ管理装置3、帳票情報サーバ装置4、及び通信ネットワーク5を備える。通信ネットワーク5は、端末装置1と、帳票データ管理装置3と、帳票情報サーバ装置4とを相互に接続する。
A form data management system S including the
端末装置1は、例えば、カメラを内蔵したスマートフォンなどの装置であり、内部の記憶領域に記憶させている各種のアプリケーションプログラム(以下、APという)を実行することが可能になっている。以下、端末装置1が、ユーザの操作を受けて、内部の記憶領域に記憶させている帳票撮影用APを実行している状態の構成について説明する。
The
端末装置1は、記憶部10、操作部11、撮影部12、表示処理部13、フレーム画像取得部14、文字認識部15、認識データ管理部16、通信処理部17、ガイド画像生成部20、及び結合画像生成部21を備える。
The
端末装置1の撮影の対象となる帳票には、例えば、図2に示すようなタイトル(○○○○入会申込書)、項目名(例えば、申込日、フリガナ、氏名など)、及び罫線からなるテンプレートが予め印刷されている。この図2に示す帳票のテンプレートに文字や数字の情報が記録されると、例えば、図3に示すような帳票となる。以下、帳票の全ての項目名に対応する記入欄には、何らかの情報が必ず書き込まれており、空欄が許容される項目名はないことを前提として説明する。
The form to be photographed by the
図4は、端末装置1の外観図であり、端末装置1の筐体に画面50と操作ボタン55が備えられている。操作部11は、例えば、操作ボタン55と、画面50に配置されているタッチパッドに接続されている。操作部11は、操作ボタン55の操作、及びタッチパッドの操作を検出し、検出した操作に応じた指示情報を出力する。操作部11は、例えば、ユーザの操作ボタン55の操作を検出し、検出した際の撮影部12の状態に応じて、例えば、撮影開始を指示する指示情報や、撮影終了を指示する指示情報を撮影部12に出力する。
FIG. 4 is an external view of the
撮影部12は、例えば、CCD(Charge Coupled Device)カメラであり、操作部11から撮影開始の指示情報が与えられた場合、1秒間に10~30フレームのフレームレートでの撮影を連続して行い、フレームレートの周期ごとにフレーム画像のデータを取得する。例えば、図5は、図3に示す帳票の一部を撮影することにより得られたフレーム画像61の例である。また、撮影部12は、操作部11から撮影終了の指示情報が与えられた場合、撮影を終了する。
The
表示処理部13は、画面50を備えており、画面50の表示領域を2つに分割して撮影画像表示領域51とガイド画像表示領域52を生成する。表示処理部13は、撮影画像表示領域51に対して、撮影部12のCCDカメラの撮像素子に結像されている撮影対象の画像を逐次画面に表示する、いわゆるプレビュー表示を行う。
The
表示処理部13は、ガイド画像表示領域52に対して、ガイド画像53を表示する。ガイド画像53は、図2に示したテンプレートの画像に文字情報が取得された領域を示すマーキングが施された撮影ガイド用の画像であってガイド画像表示領域52の大きさにあわせて縮小された画像である。また、表示処理部13は、ガイド画像表示領域52に対して、ガイド拡大ボタン54を表示する。
The
記憶部10は、テンプレート画像記憶部101、帳票定義情報記憶部102、フレーム画像記憶部103、テンプレート特徴情報記憶部104、帳票情報記憶部105、ガイド画像記憶部106、及び結合画像記憶部107を備える。記憶部10は、帳票撮影用APの起動時に記憶領域が確保され、終了時には記憶領域が解放される必要がある。そのため、記憶部10は、例えば、RAM(Random Access Memory)などの揮発性の記憶領域であることが望ましいが、帳票撮影用APの処理として起動時や終了時に初期化の処理を行うのであれば、フラッシュメモリやハードディスクなどの不揮発性の記憶領域であってもよい。
The
テンプレート画像記憶部101は、図2に示す帳票のテンプレートの画像の情報を記憶する。帳票定義情報記憶部102は、例えば、図6に示す帳票定義テーブル1021を記憶する。帳票定義テーブル1021は、「帳票識別情報」、「項目名」、「項目番号」、「定義情報」の項目を有する。「帳票識別情報」の項目には、帳票の種類、例えば、欄の形式や項目名の異なる帳票のテンプレートを一意に識別可能な情報であって、帳票のテンプレートの種類毎に予め付与された帳票識別情報が書き込まれている。
The template
「項目名」の項目には、帳票識別情報に対応する帳票に含まれる項目名の情報が書き込まれている。「項目番号」の項目には、項目名ごとに予め付与された項目番号が書き込まれている。「定義情報」の項目には、項目名に対応して記録される情報(以下、項目記録情報という)のフォーマット、例えば、横書きなのか、縦書きなのか、または、1行であるのか、2行であるのかを示す情報が書き込まれている。なお、定義情報には、項目名、及び項目記録情報の位置関係を示す情報なども含まれている。 Information on the item name included in the form corresponding to the form identification information is written in the item of "item name". An item number assigned in advance to each item name is written in the "item number" item. In the item of "definition information", the format of the information recorded corresponding to the item name (hereinafter referred to as item record information), for example, whether it is written horizontally, vertically, or in one line, is displayed. Information indicating whether it is a row is written. The definition information also includes information indicating the item name and the positional relationship of the item record information.
フレーム画像記憶部103は、フレーム画像取得部14が撮影部12から取得するフレーム画像のデータを、各々のフレーム画像に対応付けられているフレーム識別情報と共に記憶する。
The frame
テンプレート特徴情報記憶部104は、テンプレート画像記憶部101が記憶するテンプレート画像に基づいて、ガイド画像生成部20が算出する特徴点や特徴量を含む特徴情報を記憶する。
The template feature
帳票情報記憶部105は、フレーム画像毎に生成される同一のデータ形式を有する帳票情報テーブルを記憶する。例えば、図7に示す帳票情報テーブル1051-1は、図5に示したフレーム画像61に対応して生成されるテーブルである。なお、以下の説明において、帳票情報記憶部105が記憶するいずれか1つのテーブルを示す場合、符号の枝番号を付けずに帳票情報テーブル1051として示す。 The form information storage unit 105 stores a form information table having the same data format generated for each frame image. For example, the form information table 1051-1 shown in FIG. 7 is a table generated corresponding to the frame image 61 shown in FIG. In the following description, any one table stored in the form information storage unit 105 is indicated as the form information table 1051 without a branch number.
帳票情報テーブル1051は、「フレーム識別情報」、「項目番号」、「取得情報」の項目を有している。「フレーム識別情報」には、当該テーブルに対応するフレーム画像に対応付けられているフレーム識別情報が書き込まれる。「項目番号」の項目には、文字認識部15が取得する項目名の情報に対応する項目番号が書き込まれる。「取得情報」の項目には、文字認識部15が取得する項目記録情報が書き込まれる。なお、文字認識部15が、項目名は取得しているが、当該項目名に対応する項目記録情報を取得していない場合、当該項目名の項目番号に対応する「取得情報」の項目は空欄となる。
The form information table 1051 has items of "frame identification information", "item number", and "acquired information". Frame identification information associated with the frame image corresponding to the table is written in “frame identification information”. An item number corresponding to the item name information acquired by the
ガイド画像記憶部106は、ガイド画像を記憶する。結合画像記憶部107は、結合画像を記憶する。ここで、結合画像とは、例えば、テンプレート画像の大きさや、項目及び罫線の位置に合うように結合画像生成部21によって画像変換が行われたフレーム画像がテンプレート画像に対して重ねられた画像である。
The guide
フレーム画像取得部14は、撮影部12が生成して出力するフレーム画像を取得する。フレーム画像取得部14は、フレーム画像を取得すると新たなフレーム識別情報を生成し、取得したフレーム画像と生成したフレーム識別情報とを対応付けてフレーム画像記憶部103に書き込む。フレーム識別情報は、例えば、フレーム画像の時系列順がわかるように、フレーム画像取得部14が若い番号、例えば、「1」から順に値を増加させて生成する。
The frame
文字認識部15は、OCR(Optical Character Recognition)処理により、フレーム画像から文字や数字の画像(文字画像)を切り出して文字認識を行ない、文字や数字を示す文字情報を取得する。また、文字認識部15は、文字認識の際に、文字や数字の各々の外接矩形の座標を取得する。
The
文字認識部15は、文字認識処理を行った場合、フレーム画像に含まれる全ての文字情報と座標情報の組み合わせを一度に検出し、文字認識処理が成功したか否かの判定を行う。文字認識部15は、文字認識処理が成功したと判定した場合、帳票定義テーブル1021を参照し、取得した文字情報及び座標情報から、特定の座標の範囲に含まれる文字情報を検出する。
When character recognition processing is performed, the
ここで、特定の座標の範囲とは、例えば、横書きであれば、一行に並んでいて、各文字の間隔が一定になっている文字列に含まれる各文字の座標情報によって特定される範囲である。文字認識部15は、検出した特定の座標の範囲に含まれている文字情報の中から項目名の文字、または文字列を特定する。文字認識部15は、特定した項目名の文字、または文字列を含む特定の座標の範囲に含まれる文字情報を、項目名の情報と、対応する項目記録情報とに分離して取得する。例えば、図3に示す帳票の場合、文字認識部15は、「氏名」の項目名について、「氏名」の項目名の情報と、「特許太郎」の項目記録情報を分離して取得する。
Here, the specific coordinate range is, for example, in the case of horizontal writing, the range specified by the coordinate information of each character included in a character string in which the characters are arranged in one line and the spacing between each character is constant. be. The
文字認識部15は、取得した全ての項目名に対応する項目番号を帳票定義テーブル1021から読み出し、読み出した項目番号と取得した項目記録情報とを対応付ける。文字認識部15は、1つのフレーム画像における項目名の情報と項目記録情報の取得を終了した場合、帳票情報記憶部105に新たな帳票情報テーブル1051を生成し、生成した帳票情報テーブル1051に項目番号と、項目番号に対応する項目記録情報と、フレーム識別情報とを書き込む。
The
また、文字認識部15は、生成した帳票情報テーブル1051において項目名に対応する項目記録情報が全て取得できていない場合、生成した帳票情報テーブル1051を削除する。また、文字認識部15は、削除した帳票情報テーブル1051に対応するフレーム画像をフレーム画像記憶部103から削除する。
Further, the
ガイド画像生成部20は、テンプレート画像記憶部101が記憶するテンプレート画像の特徴を示す特徴情報と、フレーム画像の特徴を示す特徴情報とに基づいて、帳票の全体像において文字情報が取得できている領域を示すガイド画像を生成する。ここで、特徴情報とは、対象とする画像から得られる特徴点と特徴量である。また、特徴点とは、対象とする画像におけるコーナー(角)などの特徴的な個所を示す情報であり、特徴量とは、対象とする画像の特徴点にどのような特徴があるかを示す情報である。特徴情報を算出するアルゴリズムとしては、例えば、KAZE(画像特徴量の抽出アルゴリズムの一例)などが適用される。
The guide
ガイド画像生成部20は、ガイド画像の生成を以下のようにして行う。すなわち、ガイド画像生成部20は、テンプレート画像の特徴情報と、フレーム画像の特徴情報とに基づいて形状などが類似する箇所をペアとして検出するマッチング処理を行う。
The
ガイド画像生成部20は、マッチング結果により、テンプレート画像の大きさや、項目及び罫線の位置に合うようにフレーム画像を変換する処理を行う。ここで、変換する処理は、例えば、以下のようにマッチング結果から射影変換(ホモグラフィー)行列を算出し、算出した射影変換行列に基づいてフレーム画像を変換する透視変換を行う。
Based on the matching result, the guide
ここで、射影変換行列とは、マッチング処理によりペアにされた箇所の座標情報に基づいて算出される行列であり、透視変換を行うためのパラメータに相当する行列である。透視変換は、テンプレート画像の大きさや、項目及び罫線の位置に合うようにフレーム画像を回転させたりする変換以外に、テンプレート画像が「正面からみた状態」の画像であるとして、撮影の際に歪んだり拡大または縮小されていたりするフレーム画像を正面からみたときに見える画像にする変換である。したがって、透視変換後のフレーム画像の座標系と、テンプレート画像の座標系とは、一致することになる。 Here, the projective transformation matrix is a matrix calculated based on the coordinate information of the points paired by the matching process, and is a matrix corresponding to the parameters for perspective transformation. Perspective transformation is a transformation that rotates the frame image so that it matches the size of the template image and the positions of the items and ruled lines. It is a conversion that converts a frame image that has been enlarged or reduced into an image that can be seen when viewed from the front. Therefore, the coordinate system of the frame image after perspective transformation and the coordinate system of the template image match.
また、ガイド画像生成部20は、例えば、テンプレートの画像の左下を基準として、透視変換後のフレーム画像の左上と右下の2つの座標を算出する。透視変換後のフレーム画像とガイド画像の座標系は一致している。そのため、ガイド画像生成部20は、算出した透視変換後のフレーム画像の左上と右下の2つの座標の位置をガイド画像において設定し、設定した2つ座標の位置に合うように四角形の網掛けオブジェクトを配置してガイド画像に結合する。この四辺形の網掛けオブジェクトが、上述した文字情報が取得された領域を示すマーキングに相当する。ガイド画像生成部20は、四角形の網掛けオブジェクトを結合した新たなガイド画像を生成する。
Further, the guide
結合画像生成部21は、テンプレート特徴情報記憶部104が記憶するテンプレート画像の特徴情報と、フレーム画像の特徴情報とに基づいて、ガイド画像生成部20と同様にフレーム画像の座標系をテンプレート画像の座標系に一致させ、テンプレート画像にフレーム画像を重ねて結合した結合画像を生成する。
Based on the feature information of the template image stored in the template feature
通信処理部17は、端末装置1の外部の機器、例えば、帳票データ管理装置3及び帳票情報サーバ装置4と通信ネットワーク5を介して情報の送受信を行う。
The
認識データ管理部16は、記憶部10のフレーム画像記憶部103、帳票情報記憶部105、結合画像記憶部107が記憶する情報から帳票データ管理装置3に保存する保存対象の情報を選択する。認識データ管理部16は、選択した情報に対して端末装置1に予め付与されているユーザ識別情報を対応付けて通信処理部17を通じて帳票データ管理装置3に送信する。ここで、ユーザ識別情報とは、ユーザを個別に識別する情報であり、例えば、端末装置1の電話番号、端末装置1の個体識別番号などでもよいし、端末装置1を用いて帳票データ管理装置3にログインしている場合には、ログインする際のユーザID(IDentification)でもよい。
The recognition
帳票データ管理装置3は、記録処理部31と記憶部32を備える。記録処理部31は、通信ネットワーク5を通じて端末装置1の認識データ管理部16が送信する情報を受信し、受信した情報を記憶部32に書き込む。
The form
記憶部32は、図8に示す帳票情報集計テーブル321を記憶する。帳票情報集計テーブル321は、「ユーザ識別情報」、「帳票識別情報」、「結合画像情報」、「結合画像構成情報(フレーム識別情報)」、「変換前フレーム画像情報」、「項目番号」、「取得情報」の項目を有する。
The
「ユーザ識別情報」、「帳票識別情報」「結合画像情報」の項目には、それぞれ認識データ管理部16から受信するユーザ識別情報、帳票識別情報、結合画像のデータが記録処理部31によって書き込まれる。「結合画像構成情報(フレーム識別情報)」の項目には、認識データ管理部16から受信するフレーム画像に対応付けられているフレーム識別情報が、若い番号順から記録処理部31によって書き込まれる。「変換前フレーム画像情報」の項目には、「結合画像構成情報(フレーム識別情報)」に記録されているフレーム識別情報に対応する透視変化前のフレーム画像のデータが記録処理部31によって書き込まれる。
The user identification information, the form identification information, and the data of the combined image received from the recognition
「項目番号」及び「取得情報」の項目には、「結合画像構成情報(フレーム識別情報)」に記録されているフレーム識別情報に対応する帳票情報テーブル1051の「項目番号」の項目と「取得情報」の項目の情報が記録処理部31によって書き込まれる。
In the items of "item number" and "acquisition information", the item of "item number" and "acquisition information" of the form information table 1051 corresponding to the frame identification information recorded in the "combined image configuration information (frame identification information)". Information” item is written by the
帳票情報サーバ装置4は、内部の記憶領域に、帳票の種類を示す帳票識別情報ごとに、帳票の種類ごとに異なる帳票のテンプレート画像と、帳票の種類ごとに定義されている定義情報を含んだ帳票定義テーブル1021とを予め記憶させている。
The form
(端末装置によるガイド画像の表示処理)
次に、図9から図16を参照しつつ、帳票の一部を連続して撮影していく過程において、帳票全体の領域において、文字情報を取得できた領域をガイド画像によって表示する表示処理について説明する。
(Display processing of guide image by terminal device)
Next, referring to FIGS. 9 to 16, display processing for displaying a guide image of an area in which character information has been acquired in the entire area of the form in the process of continuously photographing a part of the form. explain.
ユーザの操作を受けて端末装置1が帳票撮影用APを実行する。操作部11は、例えば、タッチパッドに対するユーザの操作を検出し、ユーザが選択する帳票の種類を示す帳票識別情報を取り込む。操作部11は、取り込んだ帳票識別情報に対応するテンプレート画像と帳票定義テーブル1021を取得する指示情報を通信処理部17に出力する。通信処理部17は、操作部11から当該指示情報を受けると、指示情報に含まれている帳票識別情報を含む要求信号を生成し、生成した要求信号を帳票情報サーバ装置4に送信する。
In response to the user's operation, the
帳票情報サーバ装置4は、通信処理部17から通信ネットワーク5を介して帳票識別情報を含む要求信号を受けると、要求信号に含まれている帳票識別番号に対応する帳票のテンプレート画像と帳票定義テーブル1021とを含む応答信号を生成する。帳票情報サーバ装置4は、通信ネットワーク5を介して通信処理部17に生成した応答信号を送信する。
When the form
通信処理部17は、テンプレート画像と帳票定義テーブル1021とを含む応答信号を受信すると、受信した応答信号からテンプレート画像を読み出し、読み出したテンプレート画像をテンプレート画像記憶部101に書き込む。ここでは、図2に示す帳票のテンプレートの画像データがテンプレート画像70として書き込まれるとする。また、通信処理部17は、受信した応答信号から帳票定義テーブル1021を読み出し、読み出した定義情報テーブルを帳票定義情報記憶部102に書き込む(ステップSa1)。
Upon receiving the response signal including the template image and the form definition table 1021 , the
通信処理部17によって、テンプレート画像記憶部101にテンプレート画像70が書き込まれると、ガイド画像生成部20は、テンプレート画像記憶部101が記憶するテンプレート画像70の特徴情報を算出し、算出した特徴情報をテンプレート特徴情報記憶部104に書き込む。ガイド画像生成部20は、テンプレート画像記憶部101からテンプレート画像70を読み出し、読み出したテンプレート画像70をガイド画像の初期画像データとしてガイド画像記憶部106に書き込む(ステップSa2)。
When the template image 70 is written in the template
帳票撮影用APが実行されると表示処理部13は、画面50に撮影画像表示領域51と、ガイド画像表示領域52を生成する。ユーザは、端末装置1において、撮影画像表示領域51のプレビュー表示を参照しながら、例えば、操作ボタン55を押下する。操作部11は、操作ボタン55の押下を検出すると、撮影開始の指示情報を撮影部12に出力する(ステップSa3)。
When the document photographing AP is executed, the
撮影部12は、撮影開始の指示情報を受けてフレーム画像の撮影を開始する。撮影が開始されると、ユーザは、端末装置1において、撮影画像表示領域51のプレビュー表示を参照しながら、帳票の一部を撮影対象として、端末装置1を移動させていく。移動させていく間、ユーザは、シャッターボタンを押すなどの操作を行わず、動画を撮影するようにフレーム画像の撮影を行う。撮影部12は、上述したように、毎秒10~30フレームで、帳票の一部を撮影してフレーム画像をフレーム画像取得部14に出力する。フレーム画像取得部14は、撮影部12が出力するフレーム画像を取得すると、新たなフレーム識別情報を生成し、取得したフレーム画像に生成したフレーム識別情報を対応付けてフレーム画像記憶部103に書き込んで記憶させる。
The photographing
文字認識部15は、図9に示すフローチャートの処理を行っていない未処理のフレーム画像の中から、最新のフレーム画像と当該フレーム画像に対応するフレーム識別情報をフレーム画像記憶部103から読み出す(ステップSa4)。文字認識部15は、読み出したフレーム画像の文字認識処理を行い、フレーム画像から文字情報と、当該文字情報に対応する座標情報を検出する(ステップSa5)。
The
文字認識部15は、例えば、1つのフレーム画像から1つ以上の文字情報と座標情報の組み合わせを検出したか否かに基づいて、文字認識処理が成功したか否かを判定する(ステップSa6)。文字認識部15は、1つのフレーム画像から1つ以上の文字情報と座標情報の組み合わせを検出していない場合、文字認識処理が成功しなかったと判定し(ステップSa6、No)、処理対象のフレーム画像をフレーム画像記憶部103から削除する。処理はステップSa4に戻り、文字認識部15が、次の処理対象のフレーム画像を読み出す。
The
一方、文字認識部15は、1つのフレーム画像から1つ以上の文字情報と座標情報の組み合わせを検出する場合、文字認識処理が成功したと判定する(ステップSa6、Yes)。文字認識部15は、文字認識処理が成功したと判定した場合、検出した文字情報と座標情報と、帳票定義テーブル1021とに基づいて、文字情報の中から項目名と、項目名に対応する項目記録情報とを検出する(ステップSa7)。
On the other hand, when detecting one or more combinations of character information and coordinate information from one frame image, the
文字認識部15は、帳票情報記憶部105に新たな帳票情報テーブル1051を生成し、生成した帳票情報テーブル1051の「フレーム識別情報」の項目にフレーム識別情報を書き込む。文字認識部15は、「項目番号」の項目に取得した項目番号を書き込み、項目番号に対応する項目記録情報を「取得情報」の項目に書き込んで記憶させる(ステップSa8)。例えば、図5に示すフレーム画像61の場合、文字認識部15は、図7に示す帳票情報テーブル1051-1を生成する。
The
文字認識部15は、生成した帳票情報テーブル1051において項目名及び項目記録情報が揃っているか否かを判定する(ステップSa9)。文字認識部15は、例えば、生成した帳票情報テーブル1051において項目名に対応する項目記録情報が全て取得できてない場合、項目名及び項目記録情報が揃っていないと判定する。
The
文字認識部15は、生成した帳票情報テーブル1051において項目名及び項目記録情報が揃っていないと判定した場合(ステップSa9、No)、生成した帳票情報テーブル1051を帳票情報記憶部105から削除し、処理対象のフレーム画像をフレーム画像記憶部103から削除する(ステップSa10)。
When the
一方、文字認識部15は、生成した帳票情報テーブル1051において項目名及び項目記録情報が揃っていると判定した場合(ステップSa9、Yes)、文字認識部15は、処理対象のフレーム画像のフレーム識別情報をガイド画像生成部20に出力する。ガイド画像生成部20は、文字認識部15からフレーム識別情報を受けると、ガイド画像生成処理を開始する(ステップSa11)。
On the other hand, when the
(ガイド画像生成処理)
図10は、ガイド画像生成部20によるガイド画像生成処理の流れを示すフローチャートである。ガイド画像生成部20は、文字認識部15から受けたフレーム識別情報に対応するフレーム画像をフレーム画像記憶部103から読み出す(ステップSb1)。ガイド画像生成部20は、読み出したフレーム画像の特徴情報を算出する(ステップSb2)。
(Guide image generation processing)
FIG. 10 is a flowchart showing the flow of guide image generation processing by the guide
ガイド画像生成部20は、算出したフレーム画像の特徴情報と、テンプレート特徴情報記憶部104が記憶するテンプレート画像の特徴情報とを比較してマッチング処理を行う(ステップSb3)。ガイド画像生成部20は、マッチング処理において、例えば、図11に示すようにフレーム画像61の符号600の「氏」の文字の座標と、テンプレート画像70の符号700の「氏」の文字の座標をペアとして検出する。また、ガイド画像生成部20は、フレーム画像61の符号601の罫線の交点の座標と、テンプレート画像70の符号701の罫線の交点の座標をペアとして検出する。
The guide
ガイド画像生成部20は、上記のようにして検出したペアを多数含むマッチング結果に基づいて、射影変換行列を算出し、算出した射影変換行列によりフレーム画像61を透視変換してフレーム画像61aとし、図12に示すようにテンプレート画像70と座標系を一致させる(ステップSb4)。ガイド画像生成部20は、例えば、テンプレート画像70の左下を基準として、フレーム画像61aの左上の座標610と、右下の座標611を算出する(ステップSb5)。
The guide
ガイド画像生成部20は、ガイド画像記憶部106からガイド画像80を読み出し、読み出したガイド画像80において、算出した左上の座標610と右下の座標611を設定する。ガイド画像生成部20は、設定した左上の座標610と右下の座標611に合うように四角形の網掛けのオブジェクト91を配置し、配置したオブジェクト91をガイド画像80に結合して新たなガイド画像80を生成する。ガイド画像生成部20は、生成した新たなガイド画像80をガイド画像記憶部106に上書きする(ステップSb6)。
The guide
ガイド画像生成部20は、ガイド画像を表示する指示情報を表示処理部13に出力する。表示処理部13は、ガイド画像生成部20からガイド画像を表示する指示情報を受けるとガイド画像記憶部106からガイド画像80を読み出す。表示処理部13は、読み出したガイド画像80を画面50のガイド画像表示領域52の大きさに合うように縮小し、図4に示すように縮小したガイド画像53を表示する(ステップSb7)。
The guide
ガイド画像生成部20は、新たなガイド画像80の全ての領域において網掛けのオブジェクトが結合されているか否かを判定する(ステップSb8)。実際には、図13に示すように、帳票の欄外の部分はフレーム画像に含まれないこともある。そのため、ガイド画像生成部20は、ガイド画像80において予め定められる欄外の部分が除かれた領域の全てに網掛けのオブジェクトが結合されているか否かを判定する。
The
ガイド画像生成部20は、新たなガイド画像80の全ての領域において網掛けのオブジェクトが結合されていないと判定した場合(ステップSb8、No)、ガイド画像生成処理のサブルーチンを終了して、処理は、図9のステップSa12に進められる。
When the guide
ガイド画像生成部20は、新たなガイド画像80の全ての領域において網掛けのオブジェクトが結合されていると判定した場合(ステップSb8、No)、表示処理部13に対して、完了メッセージ表示の指示情報を出力する。表示処理部13は、ガイド画像生成部20から完了メッセージ表示の指示情報を受けると予め定められている文字情報の取得が完了したことをユーザに示すメッセージを画面50に表示する(ステップSb9)。その後、ガイド画像生成処理のサブルーチンは終了し、処理は、図9のステップSa12に進められる。
When the guide
図9に戻り、操作部11は、ユーザが撮影終了を指示したか否かを判定する(ステップSa12)。例えば、ユーザが、上記のステップSb9の処理において画面50に表示された文字情報の取得が完了したことを示すメッセージを参照して、または、その他の事情により撮影中に操作ボタン55を押下したとする。操作部11は、当該操作ボタン55の押下を検出してユーザが撮影終了を指示したと判定する。 Returning to FIG. 9, the operation unit 11 determines whether or not the user has instructed to end the shooting (step Sa12). For example, when the user presses the operation button 55 during shooting by referring to the message indicating that the acquisition of character information displayed on the screen 50 in the process of step Sb9 is completed, or for some other reason, do. The operation unit 11 detects that the operation button 55 has been pressed and determines that the user has instructed to end the shooting.
操作部11は、ユーザが撮影終了を指示していないと判定した場合(ステップSa12、No)、撮影部12による撮影が継続して行われ、ステップSa4以降の処理が行われる。
When the operation unit 11 determines that the user has not instructed the end of shooting (step Sa12, No), the
例えば、撮影部12が、図14に示すフレーム画像62を撮影した場合、次のガイド画像生成処理において、ガイド画像生成部20は、図15に示す四角形の網掛けのオブジェクト92が結合されたガイド画像80を生成する。
For example, when the
また、ステップSa4からステップSa12の処理の間に、ガイド拡大ボタン54の領域にユーザが指で触れると、当該領域のタッチパッドに対する操作を操作部11が検出する。操作部11は、当該操作を検出すると表示処理部13に対してガイド画像53を拡大して表示する指示情報を出力する。表示処理部13は、拡大して表示する指示情報が与えられるとガイド画像記憶部106からガイド画像80を読み出し、読み出したガイド画像80を、例えば、画面50の全体に表示する。表示されたガイド画像80は、例えば、一般的なスマートフォンにおける二本の指をタッチパッド上で開いたり閉じたりする拡大縮小の操作によって拡大または縮小表示される。
Further, when the user touches the region of the
ステップSa12において、操作部11は、ユーザが撮影終了を指示したと判定した場合(ステップSa12、Yes)、撮影部12に対して撮影終了の指示情報を出力し、結合画像生成部21に結合画像生成処理を開始させる指示情報を出力する。撮影部12は、操作部11から撮影終了の指示情報を受けて撮影を終了する。結合画像生成部21は、操作部11から結合画像生成処理を開始させる指示情報を受けて結合画像生成処理を開始する(ステップSa13)。
In step Sa12, when the operation unit 11 determines that the user has instructed to end shooting (Yes in step Sa12), the operation unit 11 outputs instruction information to end shooting to the
(結合画像生成処理)
図16は、結合画像生成部21による結合画像生成処理の流れを示すフローチャートである。結合画像生成部21は、操作部11から結合画像生成処理の指示情報を受けると、テンプレート画像記憶部101からテンプレート画像を読み出し、読み出したテンプレート画像を結合画像のデータの初期画像データとして結合画像記憶部107に書き込む(ステップSc1)。
(Combined image generation processing)
FIG. 16 is a flow chart showing the flow of combined image generation processing by the combined
結合画像生成部21は、帳票情報記憶部105の中から、図16に示すフローチャートによる処理を行っていない未処理の帳票情報テーブル1051を検出する。結合画像生成部21は、検出した未処理の帳票情報テーブル1051の中で最初に帳票情報記憶部105に書き込まれた帳票情報テーブル1051を読み出す(ステップSc2)。
The combined
結合画像生成部21は、読み出した帳票情報テーブル1051の「フレーム識別情報」の項目のフレーム識別情報に対応するフレーム画像をフレーム画像記憶部103から読み出す(ステップSc3)。結合画像生成部21は、読み出したフレーム画像の特徴情報を算出する(ステップSc4)。
Combined
結合画像生成部21は、算出したフレーム画像の特徴情報と、テンプレート特徴情報記憶部104が記憶するテンプレート画像の特徴情報とを比較して、図11に示したようなマッチング処理を行う(ステップSc5)。
The combined
結合画像生成部21は、マッチング結果に対応して射影変換行列を算出し、算出した射影変換行列によりフレーム画像を透視変換する。例えば、処理対象のフレーム画像が、図5に示すフレーム画像61である場合、結合画像生成部21は、フレーム画像61を透視変換してフレーム画像61aとし、図12に示したようにテンプレート画像70と座標系を一致させる(ステップSc6)。
The combined
結合画像生成部21は、結合画像記憶部107から結合画像を読み出す。テンプレート画像70と結合画像の座標系は一致しているので、結合画像生成部21は、透視変換後のフレーム画像を結合画像の前面に重ねて結合し、新たな結合画像を生成する。結合画像生成部21は、生成した新たな結合画像を結合画像記憶部107に上書きする(ステップSc7)。
結合画像生成部21は、ステップSc7の処理を終了した後、帳票情報記憶部105に未処理の帳票情報テーブル1051が存在するか否かを判定する(ステップSc8)。結合画像生成部21は、帳票情報記憶部105に未処理の帳票情報テーブル1051が存在すると判定した場合(ステップSc8、Yes)、ステップSc2からの処理を行う。
After completing the process of step Sc7, the combined
例えば、結合画像生成部21が、図14に示すフレーム画像62を次の処理対象として選択した場合、ステップSc7において、結合画像生成部21は、フレーム画像62を透視変換したフレーム画像62aを結合画像に重ねて結合し、図17に示すような結合画像85を生成する。
For example, when the combined
一方、結合画像生成部21は、帳票情報記憶部105に未処理の帳票情報テーブル1051が存在しないと判定した場合(ステップSc8、No)、結合画像生成部21は、結合画像を表示する指示情報を表示処理部13に出力する。また、結合画像生成部21は、認識データ管理部16に対して送信処理を開始する指示情報を出力する。
On the other hand, when the combined
表示処理部13は、結合画像生成部21から結合画像を表示する指示情報を受けると結合画像記憶部107から結合画像を読み出す。表示処理部13は、読み出した結合画像を画面50に表示する(ステップSc9)。その後、結合画像処理は終了して、処理は、図9のステップSa14に進められる。
図9に戻り、認識データ管理部16は、結合画像生成部21から送信処理を開始する指示情報を受けると、帳票定義情報記憶部102が記憶する帳票定義テーブル1021の「帳票識別情報」の項目に示されている帳票識別情報を読み出す。認識データ管理部16は、結合画像記憶部107が記憶する結合画像を読み出す。認識データ管理部16は、帳票情報記憶部105が記憶する全ての帳票情報テーブル1051を読み出す。認識データ管理部16は、読み出した帳票情報テーブル1051の「フレーム識別情報」の項目に示されているフレーム識別情報に対応するフレーム画像をフレーム画像記憶部103から読み出す。認識データ管理部16は、読み出した全ての情報に対して端末装置1に予め付与されているユーザ識別情報を対応付けて通信処理部17を通じて帳票データ管理装置3に送信して(ステップSa14)、処理を終了する。
Returning to FIG. 9, when the recognition
帳票データ管理装置3の記録処理部31は、通信ネットワーク5を通じて端末装置1の認識データ管理部16が送信する情報を受信すると、受信した情報を帳票情報集計テーブル321の各項目に書き込んで記憶させる。
When the
例えば、図8に示す帳票情報集計テーブル321において、フレーム識別情報が「1」の情報と、フレーム識別情報が「2」の情報において、項目番号が重複しているとする。このとき、結合画像85において見えている方の項目記録情報を有効な情報であるとして定めているとする。結合画像85において、フレーム画像は、後から結合されるものが上に重ねられるため、フレーム識別情報の番号が大きい番号の方が、結合画像85において見えることになる。したがって、フレーム識別情報の番号が大きい番号に属する項目番号に対応する項目記録情報が有効な情報となる。 For example, in the form information total table 321 shown in FIG. 8, it is assumed that information with frame identification information "1" and information with frame identification information "2" have the same item number. At this time, it is assumed that the item record information visible in the combined image 85 is determined as valid information. In the combined image 85 , frame images to be combined later are superimposed on top of each other. Therefore, the item record information corresponding to the item number belonging to the larger number of the frame identification information becomes effective information.
これに対して、例えば、結合画像生成部21が、図16に示すステップSc2の処理において、最初ではなく、最後に帳票情報記憶部105に書き込まれた帳票情報テーブル1051を読み出す処理に替えるとする。この場合、結合画像85において、フレーム識別情報の番号の大きいフレーム画像から順に重ねられて結合されることになるため、フレーム識別情報の番号の小さいフレーム画像が上に見えることになる。したがって、フレーム識別情報の番号が小さい番号に属する項目番号に対応する項目記録情報が有効な情報となる。
On the other hand, for example, suppose that the combined
上記の実施形態の構成により、フレーム画像取得部14は、は、一つの帳票を部分的に連続して撮影したフレーム画像を取得する。文字認識部15は、フレーム画像における文字画像の文字認識を行う。ガイド画像生成部20は、帳票の全体像を含む帳票全体画像の特徴情報と、文字認識により文字情報が得られたフレーム画像の特徴情報とに基づいて、帳票の全体像において文字情報が得られた領域を示す撮影ガイド用のガイド画像を生成する。これにより、一つの帳票を部分的に連続して撮影する場合、ガイド画像を参照することで、文字情報が取得できている領域と、文字情報が取得できてない領域とを撮影しながら容易に区別することが可能になる。
With the configuration of the above embodiment, the frame
なお、上記の実施形態では、ガイド画像生成部20は、透視変換後のフレーム画像の左上と右下の2つの座標を算出しているが、右上と左下の座標であってもよい。また、フレーム画像が、テンプレート画像70に対して、大きく斜めに傾いているような場合、左上と右下、または、右上と左下の座標を用いると、四辺形の網掛けのオブジェクトの領域が、大きくなりすぎたり、小さくなりすぎたりしてしまう。この場合、左上と右上の頂点の中点と、左下と右下の頂点の中点と、左の上下の頂点の中点と、右の上限の中点の4点にあう四辺形の領域を網掛けのオブジェクトの領域としてもよい。
In the above embodiment, the guide
また、上記の実施形態において、ガイド画像生成部20が、図9に示したステップSa2の処理において、テンプレート画像記憶部101が記憶するテンプレート画像をガイド画像の初期画像データとしてガイド画像記憶部106に書き込むようにしている。このガイド画像の初期画像データに対して、ガイド画像生成部20は、図18に示すように予め撮影する必要がない領域に対して網掛けのオブジェクトを結合したガイド画像80aを生成するようにしてもよい。このようにしておくことで、図10に示したステップSb8の処理において、欄外の領域を考慮する必要もなく、また、撮影回数を減らすことができる。
In the above embodiment, the guide
また、上記の実施形態では、帳票情報サーバ装置4からテンプレート画像を取得するようにしているが、ガイド画像の初期画像として、端末装置1において事前に帳票の全体像を撮影した画像をテンプレート画像の代わりに用いるようにしてもよい。ただし、帳票の全体像を撮影した画像の解像度として、文字認識ができる解像度は求められないが、少なくともステップSb3やステップSc5のマッチング処理ができる程度の解像度が求められる。
In the above-described embodiment, the template image is acquired from the form
また、上記の実施形態では、例えば、図13や図15に示したように、網掛けのオブジェクト91,92を配置するようにしているが、網掛けのオブジェクトに限られるものではなく、グレー色のオブジェクトや、網掛け以外の模様のオブジェクトであってもよい。また、文字情報が取得できたところをオブジェクトで隠すのではなく、反転表示、すなわち、オブジェクトを配置する箇所以外を網掛けにして、オブジェクトを配置する領域において元のテンプレート画像が見えるように表示するようにしてもよい。
Further, in the above embodiment, for example, as shown in FIGS. 13 and 15, the shaded
また、上記の実施形態において、表示処理部13がステップSc9において画面50に表示した結合画像を参照したユーザが保存対象の項目記録情報に漏れがないことを確認して送信を許可する操作を、例えば、タッチパッドによって行った場合に、ステップSa14の処理を開始するようにしてもよい。また、ユーザが結合画像において保存対象の項目記録情報に漏れがあることに気が付いた場合、ステップSa14には進まず、ユーザが操作ボタン55を押下して、ステップSa3からの処理を再開させるようにしてもよい。
Further, in the above embodiment, the operation of confirming that there is no omission in the item record information to be saved and permitting transmission by the user who refers to the combined image displayed on the screen 50 by the
また、上記の実施形態では、図10に示したガイド画像生成部20によるステップSb2~Sb4の処理は、図16に示した結合画像生成部21によるステップSc4~Sc6の処理と同じ処理になるため、ステップSb2~Sb4の処理においてガイド画像生成部20が生成した透視変換後のフレーム画像を内部の記憶領域に保存しておき、結合画像生成部21がステップSc4~Sc6の処理に代えてガイド画像生成部20が生成した透視変換後のフレーム画像をステップSc7において用いるようにしてもよい。
Further, in the above embodiment, the processing of steps Sb2 to Sb4 by the guide
また、上記の実施形態の構成では、文字認識部15は、図9に示したステップSa4において、フレーム画像記憶部103からフレーム画像とフレーム識別情報を読み出すようにしているが、文字認識部15の処理速度が十分に速い場合、フレーム画像取得部14が出力するフレーム画像とフレーム識別情報を文字認識部15が直接取り込むようにしてもよい。
Further, in the configuration of the above embodiment, the
また、上記の実施形態の構成では、帳票の全ての項目名に対応する記入欄には、何らかの情報が必ず書き込まれており、空欄が許容される項目名はないことを前提としている。これに対して、帳票定義テーブル1021においてある項目名において空欄が許容されている場合、空欄が許容される項目名については、項目記録情報が取得できていなくても、文字認識部15は、ステップSa9の処理において、項目記録情報が存在するものとして判定することになる。
Further, in the configuration of the above-described embodiment, it is assumed that some kind of information is always written in the entry fields corresponding to all the item names of the form, and that no item name is allowed to be left blank. On the other hand, if blanks are allowed in a certain item name in the form definition table 1021, the
また、上記の実施形態の構成では、図10に示したステップSb8の処理において、ガイド画像生成部20が、ガイド画像80の全ての領域において網掛けのオブジェクトが結合されているか否かを判定し、ガイド画像80の全ての領域において網掛けのオブジェクトが結合されている場合、全ての項目名と項目記録情報が取得できているとみなしている。しかしながら、撮影したフレーム画像に不鮮明な部分があるような場合も想定される。例えば、図5に示したフレーム画像61において、「フリガナ」と「生年月日」の項目名と項目記録情報は取得できているが、「氏名」の項目名が取得できないような場合もある。上記の実施形態では、撮影したフレーム画像に含まれる全ての項目名が取得できているかという判定を行っていないので、ステップSb8の判定においてガイド画像生成部21が「Yes」の判定をしたとしても、全ての項目名が取得できていない場合もある。このような場合に対処するため、例えば、以下のような2つの手段を用いるようにしてもよい。
Further, in the configuration of the above embodiment, in the process of step Sb8 shown in FIG. , it is assumed that all item names and item record information have been acquired when shaded objects are combined in all areas of the guide image 80 . However, it is conceivable that the captured frame image may have an unclear portion. For example, in the frame image 61 shown in FIG. 5, the item names and item record information of "Furigana" and "Date of Birth" can be acquired, but the item name of "Name" may not be acquired. In the above embodiment, since it is not determined whether all the item names included in the captured frame image have been acquired, even if the guide
1つめの手段として、例えば、帳票定義テーブル1021の定義情報において、項目名の間の位置の連続性を示す情報が含まれているとする。上記のように、「フリガナ」と「生年月日」の項目名の間の「氏名」の項目名が取得できていないような場合、文字認識部15が、帳票定義テーブル1021を参照して、項目名の抜けがあるため、図9に示したステップSa9の処理において、項目名及び項目記録情報が揃っていないと判定するようにしてもよい。このようにすることで、ガイド画像においてフレーム画像61に対応する領域に網掛けのオブジェクトを配置して結合させないようにすることができる。
As a first means, for example, it is assumed that the definition information of the form definition table 1021 includes information indicating the continuity of positions between item names. As described above, when the item name of "name" between the item names of "furigana" and "date of birth" cannot be obtained, the
2つ目の手段として、図10に示したステップSb8の判定処理の結果が「Yes」である場合、ガイド画像生成部20が、更に、帳票定義テーブル1021を参照して、帳票の全ての項目名が全て取得できているか否かを判定するようにしてもよい。ガイド画像生成部20が、帳票の全ての項目名が全て取得できていないと判定した場合、取得できていない項目名をメッセージとして画面50の表示させるようにしてもよい。また、帳票のテンプレートにおいて各項目名に関連する範囲の座標が分かっているのであれば、当該項目名と、当該項目名に対応する項目記録情報の範囲の網掛けのオブジェクトを外すようにしてもよい。ガイド画像生成部20は、帳票の全ての項目名が全て取得できていると判定した場合、ステップSb9の処理を行って、画面50に文字情報の取得が完了したことを示すメッセージを表示するようにしてもよい。
As a second means, when the result of the determination processing in step Sb8 shown in FIG. It may be determined whether or not all names have been acquired. When the guide
また、上記の実施形態の構成において、結合画像生成部21は、図16に示したステップSc1の処理の前か後に、項目記録情報に重複のある帳票情報テーブル1051を除外して、保存対象とする帳票情報テーブル1051を選択するようにしてもよい。例えば、結合画像生成部21は、帳票情報テーブル1051を任意に選択する。任意に選択した帳票情報テーブル1051に記録されている項目記録情報の各々が、他の帳票情報テーブル1051のいずれかに記録されている場合、結合画像生成部21は、選択した帳票情報テーブル1051を保存対象にしない処理を全ての帳票情報テーブル1051について繰り返す。このようにすることで、保存対象として残った帳票情報テーブル1051の各々は、他の保存対象の帳票情報テーブル1051に含まれていない項目記録情報を少なくとも1つ含んでいることになる。こうすることで、帳票情報テーブル1051の間の項目記録情報の重複を少なくすることができ、保存対象の帳票情報テーブル1051とフレーム画像を少なくすることができる。
Further, in the configuration of the above embodiment, the combined
上記の実施形態では、端末装置1が、文字認識部15、認識データ管理部16、ガイド画像生成部20、結合画像生成部21を備えて、ガイド画像や結合画像を生成する1台の「画像処理装置」として機能している。これに対して、例えば、文字認識部15を通信ネットワーク5に接続される外部のOCRサーバ装置に備えさせ、認識データ管理部16、ガイド画像生成部20、結合画像生成部21を通信ネットワーク5に接続される外部のWebサーバ装置に備えさせるようにしてもよい。そして、これらの装置に上記の文字認識部15、認識データ管理部16、ガイド画像生成部20、結合画像生成部21の各々が行う処理を行わせるようにしてもよい。この場合、端末装置1、OCRサーバ装置、Webサーバ装置が一体となってガイド画像や結合画像を生成する「画像処理装置」になる。
In the above embodiment, the
上述した実施形態における端末装置1をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
You may make it implement|achieve the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiment of the present invention has been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and design and the like are included within the scope of the gist of the present invention.
1…端末装置、3…帳票データ管理装置、4…帳票情報サーバ装置、5…通信ネットワーク、10…記憶部、11…操作部、12…撮影部、13…表示処理部、14…フレーム画像取得部、15…文字認識部、16…認識データ管理部、17…通信処理部、20…ガイド画像生成部、21…結合画像生成部、31…記録処理部、32…記憶部
DESCRIPTION OF
Claims (6)
前記フレーム画像における文字画像の文字認識を行う文字認識部と、
前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成部と、
前記フレーム画像を画面の第1の領域に表示し、前記ガイド画像を、前記画面において前記第1の領域と異なる第2の領域に表示する表示処理部と、
を備えることを特徴とする画像処理装置。 a frame image obtaining unit that obtains frame images obtained by partially continuously photographing one form;
a character recognition unit that performs character recognition of the character image in the frame image;
The character information is obtained for the overall image of the form based on the characteristic information of the entire image of the form including the overall image of the form and the characteristic information of the frame image from which the character information is obtained by the character recognition. a guide image generating unit that generates a guide image for shooting guide by combining the area information indicating the area that has been captured;
a display processing unit that displays the frame image in a first area of a screen and displays the guide image in a second area of the screen that is different from the first area;
An image processing device comprising:
ことを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the entire image of the form is a template image of the form.
ことを特徴とする請求項1に記載の画像処理装置。 2. The image processing apparatus according to claim 1, wherein the entire image of the form is an image obtained by photographing the entire image of the form to be photographed when the frame image is photographed.
ことを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理装置。 4. The image processing apparatus according to any one of claims 1 to 3, characterized by:
前記フレーム画像における文字画像の文字認識を行う文字認識過程と、
前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成過程と、
前記フレーム画像を画面の第1の領域に表示し、前記ガイド画像を、前記画面において前記第1の領域と異なる第2の領域に表示する表示処理過程と、
を含むことを特徴とするガイド画像生成方法。 a frame image acquisition process for acquiring frame images obtained by partially continuously photographing one form;
a character recognition process for character recognition of the character image in the frame image;
The character information is obtained for the overall image of the form based on the characteristic information of the entire image of the form including the overall image of the form and the characteristic information of the frame image from which the character information is obtained by the character recognition. a guide image generation process for generating a guide image for shooting guide by combining the area information indicating the area that has been captured;
a display processing step of displaying the frame image in a first area of a screen and displaying the guide image in a second area of the screen different from the first area;
A guide image generation method, comprising:
一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得手段、
前記フレーム画像における文字画像の文字認識を行う文字認識手段、
前記帳票の全体像を含む帳票全体画像の特徴情報と、前記文字認識により文字情報が得られた前記フレーム画像の特徴情報とに基づいて、前記帳票の全体像に対して前記文字情報が得られた領域を示す領域情報を結合した撮影ガイド用のガイド画像を生成するガイド画像生成手段、
前記フレーム画像を画面の第1の領域に表示し、前記ガイド画像を、前記画面において前記第1の領域と異なる第2の領域に表示する表示処理手段、
として機能させるためのプログラム。 the computer,
frame image acquisition means for acquiring frame images obtained by partially continuously photographing one form;
character recognition means for performing character recognition of character images in the frame image;
The character information is obtained for the overall image of the form based on the characteristic information of the entire image of the form including the overall image of the form and the characteristic information of the frame image from which the character information is obtained by the character recognition. guide image generating means for generating a guide image for shooting guide by combining the area information indicating the area indicated by the
display processing means for displaying the frame image in a first area of a screen and displaying the guide image in a second area different from the first area on the screen;
A program to function as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019031933A JP7292052B2 (en) | 2019-02-25 | 2019-02-25 | Image processing device, guide image generation method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019031933A JP7292052B2 (en) | 2019-02-25 | 2019-02-25 | Image processing device, guide image generation method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135749A JP2020135749A (en) | 2020-08-31 |
JP7292052B2 true JP7292052B2 (en) | 2023-06-16 |
Family
ID=72278812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019031933A Active JP7292052B2 (en) | 2019-02-25 | 2019-02-25 | Image processing device, guide image generation method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7292052B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002007958A (en) | 2000-06-16 | 2002-01-11 | Ricoh Co Ltd | Slip processing method and storage medium |
JP2017120503A (en) | 2015-12-28 | 2017-07-06 | キヤノン株式会社 | Information processing device, control method and program of information processing device |
JP2018125658A5 (en) | 2017-01-31 | 2020-03-12 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6794284B2 (en) | 2017-01-31 | 2020-12-02 | キヤノン株式会社 | Portable information processing device with camera function, its display control method, and program |
-
2019
- 2019-02-25 JP JP2019031933A patent/JP7292052B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002007958A (en) | 2000-06-16 | 2002-01-11 | Ricoh Co Ltd | Slip processing method and storage medium |
JP2017120503A (en) | 2015-12-28 | 2017-07-06 | キヤノン株式会社 | Information processing device, control method and program of information processing device |
JP2018125658A5 (en) | 2017-01-31 | 2020-03-12 |
Also Published As
Publication number | Publication date |
---|---|
JP2020135749A (en) | 2020-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5880182B2 (en) | Image generating apparatus, image generating method, and program | |
US8798337B2 (en) | Sectional image recognition method and zonal recognition device thereof | |
JP4918171B1 (en) | Image processing apparatus and document reading system having the same | |
JP5949030B2 (en) | Image generating apparatus, image generating method, and program | |
EP3193279A1 (en) | Information processing apparatus, control method of information processing apparatus, and storage medium | |
JP4537779B2 (en) | Imaging apparatus and image processing method | |
JP7292052B2 (en) | Image processing device, guide image generation method and program | |
JP6267809B1 (en) | Panorama image synthesis analysis system, panorama image synthesis analysis method and program | |
KR20230017774A (en) | Information processing device, information processing method, and program | |
JP7240163B2 (en) | Image processing device, image management method, program | |
JP2016082469A (en) | Imaging extraction device | |
JP2018125658A (en) | Portable information processing device having camera function, display control method thereof, and program | |
JP6399371B1 (en) | Information processing apparatus, information processing apparatus control method, and program | |
JP2017188787A (en) | Imaging apparatus, image synthesizing method, and image synthesizing program | |
JP7240164B2 (en) | Image processing device, image management method, program | |
JP6558145B2 (en) | Information processing terminal, information processing system, processing method thereof, and program | |
JP2012226085A (en) | Electronic apparatus, control method and control program | |
JP5220799B2 (en) | Imaging apparatus and image processing method | |
JP6735033B2 (en) | Image forming apparatus, image display system, image display method, and image forming program | |
JP6614500B2 (en) | Image reading apparatus, portable terminal, image reading method, and image reading program | |
JP6624861B2 (en) | Image processing apparatus, control method, and program | |
JP6515539B2 (en) | Image forming device | |
JP6875061B2 (en) | A recording medium for recording an image judgment system, an image judgment method, an image judgment program, and an image judgment program. | |
WO2021131103A1 (en) | Distance image processing device and distance image processing method | |
JP2016194835A (en) | Information extraction method, information extraction program and information extraction apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7292052 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |