JP6788197B2 - 情報処理装置、その処理方法及びプログラム - Google Patents

Description

本発明は、文字認識を行うための情報処理装置、その処理方法及びプログラムに関する。

従来より、撮像装置を用いて、撮像した文字をリアルタイムに認識する仕組みがある。

特許文献１には、ビデオカメラにより所定のオブジェクトに表示されている文字を撮像させ、その撮像された画像を文字認識した結果得られた認識結果を、表示部に重ねて表示させる技術が記載されている。

特開２０００−２０７４８７号公報

しかし、特許文献１の構成では、オブジェクトに読取るべき項目が複数存在するとき、読取られていない項目がどこに位置するかわからないという課題がある。

そこで、本発明の目的は、撮像画像を用いた文字認識を好適に行う仕組みを提供することである。

撮像装置を備える情報処理装置であって、前記撮像装置を用いて取込まれた電子データから値を読取る項目の位置情報を管理する項目管理手段と、前記電子データから前記項目管理手段により管理されている項目に対応する値を読取る読取手段と、前記項目管理手段により管理されている項目であって、前記読取手段で値を読取る電子データを取込んでいる項目と、前記読取手段で値を読取る電子データを取込んでいない項目を管理する取得項目管理手段と、前記取得項目管理手段により前記電子データが取込まれていない項目の位置情報に基づき、前記撮像装置で撮像している位置から前記電子データが取込まれていない項目の位置を示す表示を制御する表示制御手段とを備えることを特徴とする情報処理装置。

本発明によれば、撮像画像を用いた文字認識を好適に行う仕組みを提供することができる。

本発明の帳票システム１００の構成の一例を示す図 情報処理装置１０１のハードウエア構成の一例を示す図 情報処理装置１０１の機能構成の一例を示すブロック図 情報処理装置１０１における記入不備チェック処理の一例を示すフローチャート 情報処理装置１０１における全体記入不備チェック処理の一例を示すフローチャート 情報処理装置１０１における部分記入不備チェック処理の一例を示すフローチャート 情報処理装置１０１が撮像した帳票の全体撮像画像の一例を示す図 情報処理装置１０１において表示する全体記入不備チェック結果画面（記入不備あり）の一例を示す図 情報処理装置１０１において表示する全体記入不備チェック結果画面（記入不備なし）の一例を示す図 情報処理装置１０１において表示する部分記入不備チェック画面の一例を示す図 情報処理装置１０１において帳票フォームを管理するテーブルの一例を示す図 情報処理装置１０１においてフォームごとの記入不備チェック認識領域及びチェック方法を管理するテーブルの一例を示す図 情報処理装置１０１における記入不備チェック処理の結果リストの一例を示す図

以下、図面を参照して本発明の実施形態を詳細に説明する。

図１に示すように、本実施形態に帳票システム１００は、情報処理装置１０１及びサーバ１０２が、ネットワーク１０３により通信可能に接続された構成をとる。

情報処理装置１０１は、カメラ等を用いて帳票の画像（以下、撮像画像）を取り込み、記入不備チェックを行う。情報処理装置１０１は、撮像画像の記入不備チェックするために必要な、記入内容の認識領域と記入種別を帳票フォーム識別情報（以下、フォームＩＤと記す）毎に管理している。

なお、この実施形態においては、情報処理装置１０１において記入不備チェックを行うとしたが、これに限定するものではなく、情報処理装置１０１がサーバ１０２へ撮像画像を送信し、サーバ１０２において記入不備チェックを行うとしてもよい。

情報処理装置１０１は、携帯電話、スマートフォン、タブレット端末、ノートＰＣ、及びＰＤＡ端末などの持ち運び可能な端末であって、ブラウザ又は帳票システムのアプリケーションがインストールされており、無線通信によりネットワーク１０３を介して、サーバ１０２と通信可能である。

以下、図２を用いて、図１に示した情報処理装置１０１に適用可能なハードウエア構成の一例について説明する。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０３あるいは外部メモリ２１２には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な各種プログラム等が記憶されている。

２０２はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０３あるいは外部メモリ２１２からＲＡＭ２０２にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、タッチセンサ２１０からの入力を制御する。２０６はビデオコントローラで、ディスプレイ２１１等の表示器への表示を制御する。なお、図２では、ディスプレイ２１１と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて情報処理装置１０１のユーザが使用するものである。

２０７はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１２へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク１０３を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１１上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１１上のタッチセンサ２１０におけるユーザのタッチ操作指示を受付けることを可能とする。

本発明を実現するための後述する各種プログラムや各種テーブルは、外部メモリ２１２に記録されており、必要に応じてＲＡＭ２０２にロードされ、ＣＰＵ２０１によって実行されるものである。

２０９は撮像画像入力コントローラで、撮像画像入力処理部２１４を介してカメラ２１５からの入力を制御する。カメラ２１５から入力された撮像画像を認識し、撮像することが可能となっている。

図３は、情報処理装置１０１の機能構成の一例を示すブロック図である。

取込部３０１は、撮像装置を用いてオブジェクトを撮像することにより電子データとして取込む機能部である。

項目管理部３０２は、取込部３０１により取込まれた電子データから値を読取る項目の識別情報を管理する機能部である。

読取部３０３は、当該電子データから管理手段により管理されている項目に対応する値を読取る機能部である。

位置情報管理部３０４は、項目管理部３０２により管理されている項目のうち読取部３０３により値を読取られていない項目の位置情報を管理する機能部である。

表示部３０５は、位置情報管理部３０４により管理されている位置情報に基づき、読取部３０３により値を読取られていない項目の位置を示す表示をする機能部である。

表示部３０５は、項目管理部３０２により管理されている項目のうち読取部３０３により値を読取られていない項目が存在する方向を示す情報を表示する機能部である。

条件管理部３０６は、読取部３０３により読取られた項目に対応する値が正常又は異常を判定する条件を管理する機能部である。

判定部３０７は、条件管理部３０６により管理されている条件に基づき、読取部３０３により読取られた項目に対応する値が正常又は異常を判定する機能部である。

表示部３０５は、項目管理部３０２により管理されている項目のうち判定部３０７により異常と判定された項目の位置を示す表示をする機能部である。

オブジェクト識別情報特定部３０８は、取込部３０１により取込まれた電子データから、オブジェクトを識別する識別情報を特定する機能部である。

項目決定部３０９は、オブジェクト識別情報特定部３０８により特定されたオブジェクトの識別情報に基づき、項目管理部３０２により電子データから値を読取る項目を決定する機能部である。

図４は、情報処理装置１０１における記入不備チェック処理の一例を示すフローチャートである。

また、図１１は、情報処理装置１０１において帳票フォームを管理するテーブルの一例を示す図である。フォームテーブル１１００は、サーバ１０２の外部メモリ２１２に記憶され、サーバ１０２で管理する帳票フォームについて、「フォームＩＤ」「フォーム名」「フォーム画像のファイル名」を管理する。

フォームテーブル１１００のレコードは、帳票システム１００のシステム管理者が登録し、システム管理者がメンテナンス画面（不図示）を用いてメンテナンスを行い、サーバ１０２に記憶しておき、情報処理装置１０１は、定期的、帳票アプリケーションの起動時、情報処理装置１０１のユーザからの要求等に従って、メンテナンスされたフォームテーブル１１００に含まれるレコードを取得し、情報処理装置１０１の外部メモリ２１２に記憶しておく。

なお、フォームテーブル１１００のメンテナンスとは、例えば、帳票フォームを新規作成する場合にフォームテーブル１１００に新規レコードを登録する、帳票のレイアウト変更や文言変更によって「フォーム名」「フォーム画像のファイル名」等が変更された場合にフォームテーブル１１００のフォーム画像の値を新しいフォーム画像ファイルに更新する等を意味する。

図４の記入不備チェック処理について、説明する。

ステップＳ４０１において、情報処理装置１０１は、帳票システムのユーザによって行われる帳票システムへのログインを受け付ける。なお、この記入不備チェック処理において、ユーザインターフェースとなる帳票アプリケーションは、情報処理装置１０１にインストールされたアプリケーションであってもよいし、ブラウザに表示されるＷｅｂアプリケーションなどのアプリケーションであってもよい。

ステップＳ４０２において、情報処理装置１０１は、記入済帳票を撮像するモードの選択を受け付ける（不図示）。本実施形態における撮像モードとは、「全体撮像（静止画）」「部分撮像（動画）」である。「全体撮像（静止画）」モードの選択を受け付けた場合はステップＳ４０３に進み、「部分撮像（動画）」モードの選択を受け付けた場合はステップＳ４１１に進む。ここでは、本実施形態における撮像モードについて説明しておく。

「全体撮像（静止画）」は、記入済帳票の全体を静止画で撮像するモードである。静止画で撮像するため解像度が高く、文字認識及びチェック処理を正確に行え、一度の撮像で多くの文字認識及びチェック処理をまとめてすることができるというメリットがある。

「部分撮像（動画）」は、記入済帳票の一部を撮像しながら、その撮像画像をリアルタイムに文字認識及びチェック処理を行うモードである。このモードは、「全体撮像（静止画）」のように情報処理装置１０１を撮像時ぶれないよう固定したり、枠内に帳票全体が収まるよう調整したりする必要がなく、文字認識及びチェック処理の正常・異常を即時に把握でき、「全体撮像（静止画）」と比較して、より気軽に且つより効率的に文字認識及びチェックを行うことができる。特に、複数の項目の記入内容の文字認識及びチェック処理をリアルタイムに続けて行いたい場合は、連続して即時に正常・異常を把握できるため、「全体撮像（静止画）」に比べてメリットが大きい。また、帳票の一部分を拡大して撮像するため、静止画よりも解像度が低いというデメリットは大きな問題にはならない。しかし、情報処理装置１０１を動かしながら撮像するため、画像のぶれや動かす速度によっては、文字認識及びチェック処理を正確に行えないため、適切な拡大及び適切な速度で情報処理装置１０１を動かす必要がある。

なお、この実施形態においては、「部分撮像（動画）」は、動画撮像することによって文字認識及びチェック処理を行うとしたが、撮像した動画を記憶することは必須ではなく、例えば、カメラ２１５が捉えた画像を外部メモリ２１２に記憶せず、当該画像に基づいて、認識領域がガイド枠内に収まったと判定したこと、認識項目の項目名や識別情報が認識されたこと等をトリガーにして、リアルタイムに当該画像を解析して、文字認識及びチェック処理を行う方法であってもよい。また、カメラ２１５が捉えた画像を上記トリガーに応じて自動で静止画撮像し、その静止画を解析して、文字認識及びチェック処理を行う等の方法であってもよい。

なお、本実施形態においては、撮像モードとは「全体撮像（静止画）」「部分撮像（動画）」の２つに限定したが、これらに限定するものではなく、「部分撮像（静止画）」や「全体撮像→部分撮像（動画）」等、他のモードがあってもよい。

ステップＳ４０３において、情報処理装置１０１は、カメラ２１５を用いて記入不備チェックを行う記入済帳票の全体を撮像し、撮像された静止画像（以下、撮像画像）（図７）を外部メモリ２１２に記憶する。すなわち、ステップＳ４０３は、撮像装置を用いてオブジェクトを撮像することにより電子データとして取込む処理の一例を示すステップである。なお、この実施形態においては、情報処理装置１０１のカメラ２１５を用いて撮像画像を得るとしたが、デジタルカメラ等を用いて撮像された画像やスキャナーなどを用いてスキャンされた画像を情報処理装置１０１に取り込む等の方法であってもよい。

ステップＳ４０４において、情報処理装置１０１は、撮像画像から撮像した帳票のフォームＩＤを特定する。すなわち、ステップＳ４０４は、取込まれた電子データから、オブジェクトを識別する識別情報を特定する処理の一例を示すステップである。

具体的には、フォームテーブル１１００の全レコードを検索し、「フォーム画像」カラムに記憶されているファイルパスを用いて外部メモリ２１２から取り出したフォーム画像と撮像画像とを比較することで、記入不備チェックを行う帳票フォームのフォームＩＤを特定する。外部メモリ２１２から取り出したフォーム画像と撮像画像を比較し、所定の値以上の割合で画像が一致した場合、撮像画像はフォーム画像に対応する帳票フォームであると判定し、撮像した帳票のフォームＩＤは、一致したフォーム画像に対応するフォームＩＤであると特定する。本実施例においては、撮像画像からフォームＩＤ＝ＦＯＲＭ０１の「ショッピングクレジット申込書」が特定されたとする。

なお、この画像比較に用いる２つの画像は未加工のまま画像を比較してもよいし、画像比較の精度を上げるために、輪郭を抽出するなどの画像加工を施した後に画像比較を行うとしてもよい。

なお、この実施形態においては、撮像画像とサーバ１０２で管理するフォーム画像とを比較することで、記入不備チェックを行う帳票フォームの特定を行ったが、この方法に限定するものではなく、フォームＩＤを示すバーコードや番号を帳票に記しておき、撮像時の読み取り又は撮像画像の解析から帳票のフォームＩＤを特定する方法などであってもよい。

ステップＳ４０５において、情報処理装置１０１は、全体記入不備チェック処理（図５）を行う。すなわち、ステップＳ４０５は、管理されている条件に基づき、読取られた項目に対応する値が正常又は異常を判定する処理の一例を示すステップである。

ここで、図５について説明しておく。

図５は、情報処理装置１０１における全体記入不備チェック処理の一例を示すフローチャートである。

また、図１２は、情報処理装置１０１においてフォームごとの記入不備チェック認識領域及びチェック方法を管理するフォーム定義テーブルの一例を示す図である。フォーム定義テーブル１２００は、サーバ１０２の外部メモリ２１２に記憶され、「フォームＩＤ」「（複数の認識領域をまとめたグループを識別する）グループＩＤ」「（記入不備チェックにおいて認識領域を識別する）チェックＩＤ」「フォーム名」「（記入不備チェックの）記入種別」「（認識領域の）起点座標（X、Y)）」と「終点座標（X、Y）」を管理する。

すなわち、フォーム定義テーブル１２００は、取込まれた電子データから値を読取る項目の識別情報を管理する手段の一例である。また、フォーム定義テーブル１２００は、読取られた項目に対応する値が正常又は異常を判定する条件を管理する手段の一例である。

フォーム定義テーブル１２００のレコードは、帳票システム１００のシステム管理者が登録し、システム管理者がメンテナンス画面（不図示）を用いてメンテナンスを行い、サーバ１０２に記憶しておき、情報処理装置１０１は、定期的、帳票アプリケーションの起動時、情報処理装置１０１のユーザからの要求等に従って、メンテナンスされたフォーム定義テーブル１２００に含まれるレコードを取得し、情報処理装置１０１の外部メモリ２１２に記憶しておく。

なお、フォーム定義テーブル１２００のメンテナンスとは、例えば、帳票フォームを新規作成する場合にフォーム定義テーブル１２００に新規レコードを登録する、帳票のレイアウト変更、フォーム要件変更によって「フォーム名」「記入種別」「認識領域座標」等が変更された場合にフォーム定義テーブル１２００の各レコードの値を更新する等を意味する。

なお、本実施形態においては、フォーム定義テーブル１２００に認識領域の座標の値を持つとしたが、これに限定するものではなく、撮像画像に含まれる帳票の枠、帳票用紙の座標を識別するドットパターン又は印刷文字等の読取項目を識別する識別情報の値を持ち、その値に基づき読取項目の認識領域を決定する等の方法であってもよい。

なお、この実施形態においては、サーバ１０２においてフォームテーブル１１００及びフォーム定義テーブル１２００を管理し、サーバ１０２からそのデータを取得し、情報処理装置１０１においてフォームテーブル１１００及びフォーム定義テーブル１２００を管理し、そのテーブルを用いて情報処理装置１０１において記入不備チェックを行うとしたが、この方法に限定するものではなく、情報処理装置１０１がサーバ１０２に撮像画像を送信し、サーバ１０２が管理するフォームテーブル１１００及びフォーム定義テーブル１２００を用いて、サーバ１０２において記入不備チェックを行い、そのチェック結果を情報処理装置１０１に送信し、情報処理装置１０１がチェック結果を表示するとしてもよい。

図５の全体記入不備チェック処理について説明する。

ステップＳ５０１において、情報処理装置１０１は、ステップＳ４０４にて特定された「フォームＩＤ」を検索キーとして、フォーム定義テーブル１２００を検索し、フォーム定義情報リストを取得する。

ステップＳ５０２において、情報処理装置１０１は、変数ｉに1を代入し、ＲＡＭ２０２に記憶する。

ステップＳ５０３において、情報処理装置１０１は、ステップＳ５０１にて取得したフォーム定義情報リストのレコード数だけ、ステップＳ５０４〜ステップＳ５０９を繰り返す。

ステップＳ５０４において、情報処理装置１０１は、フォーム定義情報リストのi番目のレコードから、認識領域の起点（X座標、Y座標)と終点（X座標、Y座標）と必須要件・記入種別を取得する。

ステップＳ５０５において、情報処理装置１０１は、ステップＳ５０４にて取得した必須要件＝“○（必須）”の場合はステップＳ５０６に進み、必須要件＝“ＮＵＬＬ（必須でない）”の場合はステップＳ５０７に進む。

ステップＳ５０６において、情報処理装置１０１は、撮像画像の認識領域が記入必須項目に該当するため、当該認識領域に文字や記号が記入されているか否かを判定する。文字や記号が記入されている場合は“有（ＯＫ）”と判定しステップＳ５０７に進み、文字や記号が記入されていない場合は“無（ＮＧ）”と判定しステップＳ５０８に進む。なお、この判定処理には、ＯＣＲ等による解析技術を用いるが、既知の技術であるため、その説明は省略する。

ステップＳ５０７において、情報処理装置１０１は、撮像画像の認識領域の記入内容がステップＳ５０４にて取得した記入種別と一致している（＝“ＯＫ”）か不一致（＝“ＮＧ”）かを判定する。“ＯＫ”の場合はステップＳ５０９に進み、“ＮＧ”の場合はステップＳ５０８に進む。すなわち、ステップＳ５０６及びステップＳ５０７は、電子データから読取項目に対応する値を読取る処理の一例を示すステップである。また、ステップＳ５０６及びステップＳ５０７は、管理されている条件に基づき、読取られた項目に対応する値が正常又は異常を判定する処理の一例を示すステップである。

例えば、記入種別＝“丸囲み”の場合は、記入内容が丸印のみ（＝ＯＫ）か否（＝ＮＧ）かを判定する。丸印が記入されている場合は“ＯＫ”と判定しステップＳ５０９に進み、丸印以外の文字・記号が記入されている場合は“ＮＧ”と判定しステップＳ５０８に進む。なお、この判定処理は、ＯＭＲ等による解析技術を用いるが、既知の技術であるため、その説明は省略する。なお、本実施例では丸印を例として挙げたが、丸印に限定するものではなく、レ点やその他の図形・記号などの判定であってもよい。また、上記において、丸印の数については特に限定しなかったが、フォーム定義テーブル１２００に、「チェック上限数」や「チェック数」などのカラムを設け、丸印の数が「チェック上限数」を超えた場合は“ＮＧ”、丸印の数が「チェック数」以外の場合は“ＮＧ”と判定するとしてもよい。

また、記入種別＝“数字”の場合は、記入内容が数字のみ（＝ＯＫ）か否（＝ＮＧ）かを判定する。同様に、記入種別＝“カタカナ”の場合は、カタカナのみ（＝ＯＫ）か否（＝ＮＧ）かを判定する。

また、記入種別＝“日付”の場合は、日付形式の数字が正しく記入されている（＝ＯＫ）か否（＝ＮＧ）かを判定する。よって、「２０１７年２月３１日」のように日付形式の数字が記入されていた場合も、その様な日付は存在しないため、“ＮＧ”と判定する。

同様に、記入種別＝“郵便番号”の場合は、郵便番号形式の数字が正しく記入されている（＝ＯＫ）か否（＝ＮＧ）かを判定する。よって、図７の７０４の「１４０−９９９９」のように不正な郵便番号が記入されていた場合も、その様な郵便番号は存在しないため、“ＮＧ”と判定する。その場合、情報処理装置１０１に郵便番号データベースを記憶しておく又はネットワーク１０３を通じて外部のサービス等を利用することで、郵便番号の正常・異常を判定する。また、他の記入領域（例：住所）と組み合わせて判定し、郵便番号との組み合わせが正常・異常を判定するとしてもよい。

また、この実施例には挙げなかったが、「健康診断結果票」の様な帳票を読み取る場合であって、記入種別＝“総コレステロール”の記入領域の数字が「１５０〜２１９（ｍｇ／ｄｌ）」に該当する場合は“ＯＫ”、該当しない場合は“ＮＧ”と判定する。その場合、帳票に記載されている“総コレステロール”の適正値範囲を読み取る、情報処理装置１０１に健康診断適正数値のデータベースを記憶しておく又はネットワーク１０３を通じて外部のサービスを利用する等の方法により、健康診断の測定値の正常・異常を判定する。また、身長と体重のように、２つの項目の数値を用いて計算し、その計算結果について正常・異常を判定するとしてもよい。

なお、フォーム定義テーブル１２００には、記入種別として、”丸囲み”、“数字”、“カタカナ”、“日付”、“郵便番号”の他にも、“漢字”、“電話番号”、“都道府県”等があるが、これらに限定するものではなく、“桁数”、“ユーザ定義”等、その他の種別があってもよい。例えば、“桁数”の場合は、フォーム定義テーブル１２００に「桁数」カラムを設け、記入された文字が定義された桁数であれば“ＯＫ”、定義された桁数以外であれば“ＮＧ”と判定する。“ユーザ定義”の場合は、フォーム定義テーブル１２００に「ユーザ定義」カラムを設け、記入された文字がユーザによって定義された形式であれば“ＯＫ”、定義された形式以外であれば“ＮＧ”と判定する。

また、ＯＣＲ等による解析結果で、記入された文字を認識できなかった場合、“ＮＧ”と判定するとしてもよい。

また、認識領域が記入種別に適合しているかの判定結果は、“ＯＫ”及び“ＮＧ”の２つに限定するものではなく、 “認識不可”、“不鮮明”、“矛盾”等の値を持つとしてもよい。

ステップＳ５０８において、情報処理装置１０１は、記入不備チェック結果リスト１３００（図１３）にフォーム定義情報リストのi番目のレコードを挿入する。図１３の記入不備チェック結果リスト１３００は、記入不備チェックの結果＝“ＮＧ”となったフォーム定義情報レコードのリストである。

なお、記入不備チェック結果リスト１３００には、図１３のように「エラー内容」カラムを持ち、記入不備チェックの結果＝“ＮＧ”と判定された理由（“必須”、“丸囲み”、”郵便番号（＝不正な郵便番号）“、“認識不可”、“不鮮明”、“矛盾”等）を記録する。

ステップＳ５０９において、情報処理装置１０１は、変数ｉの値をインクリメントする。

ステップＳ５１０において、ステップＳ５０１にて取得したフォーム定義情報リストのレコードが残っている場合、ステップＳ５０４〜ステップＳ５０９を繰り返す。

以上で、図５の全体記入不備チェック処理の説明を終了する。図５の全体記入不備チェック処理によって、記入不備チェック結果リスト１３００には、記入不備チェックの結果＝“ＮＧ”となったフォーム定義情報レコードが登録されていることになる。

図４の記入不備チェック処理の説明に戻る。

ステップＳ４０６において、情報処理装置１０１は、ステップＳ４０５又はステップＳ４１３の記入不備チェックにて検出された不備数を判定する。具体的には、記入不備チェック結果リスト１３００に存在するレコード数によって判定する。不備が無いと判定された場合はステップＳ４０７に進み、不備数が１以上所定数未満と判定された場合はステップＳ４０８に進み、不備数が所定数以上と判定された場合はステップＳ４１０に進む。なお、この所定数とは、１以上の数である。すなわち、ステップＳ４０６は、エラーと判定された箇所が所定数以上ある場合、第２モードに切り替えるよう制御する処理の一例を示すステップである。

ステップＳ４０７において、情報処理装置１０１は、記入不備チェック結果画面（記入不備なし）９００（図９）を表示する。

具体的には、「全体撮像（静止画）」モードでの撮像の場合は、ステップＳ４０３にて撮像した撮像画像９０１をディスプレイ２１１に表示し、「記入不備はありませんでした。」の様なメッセージを重畳させ、図４の記入不備チェック処理を終了する。

一方、「部分拡大撮像（静止画）」モードでの撮像の場合は、撮像画像９０１の様な画像は撮像していないため、「記入不備はありませんでした。」の様なメッセージをディスプレイ２１１に表示し（不図示）、図４の記入不備チェック処理を終了する。なお、「全体撮像（静止画）」モードでの撮像後、記入不備部分の記入内容を修正し、「部分拡大撮像（静止画）」モードでの撮像することで不備が無くなった場合は、少なくとも一度は「全体撮像（静止画）」モードで撮像画像９０１を取得しているため、撮像画像９０１に「部分拡大撮像（静止画）」モードで不備が解消されたと判定を行った際の動画のキャプチャ画像を合成し、記入不備チェック結果画面（記入不備なし）９００（図９）を表示するとしてもよい。

ステップＳ４０８において、情報処理装置１０１は、記入不備チェック結果画面（記入不備あり）８００（図８）を表示する。

具体的には、「全体撮像（静止画）」モードでの撮像の場合は、ステップＳ４０３にて撮像した撮像画像８０１をディスプレイ２１１に表示し、「○箇所の記入不備があります。」の様なメッセージを表示し、記入不備領域を識別して表示する（８０２〜８０６）。なお、記入不備領域の識別表示は、ステップＳ４０５で生成された記入不備チェック結果リスト１３００のレコード（１３０１〜１３０５）から、「認識領域」の起点座標（X、Y)と終点座標（X、Y）を取得し、その２点を対角とする矩形を撮像画像上に描き、赤い枠で囲むことにより行う。これにより、記入不備のあった領域を識別可能に表示することができる。

なお、記入不備部分８０２〜８０５の表示は、赤い枠に限定するものではなく、赤以外の色による枠による囲み、塗りつぶし、印、点滅、拡大、反転表示など、ユーザによる識別が可能となる表示であればよい。また、表示による識別方法に限定するものではなく、音声による記入不備部分の読み上げなど、その他の方法による識別方法であってもよい。

一方、「部分拡大撮像（静止画）」モードでの撮像の場合は、撮像画像９０１の様な画像は撮像していないため、「○箇所の記入不備があります。」のメッセージ及び記入不備の判定を行った際の動画のキャプチャ画像を記入不備の分だけディスプレイ２１１に表示する（不図示）。これにより、「部分拡大撮像（静止画）」モードであっても、記入不備のあった領域を識別可能に表示することができる。

また、記入不備チェック結果画面（記入不備あり）８００には、「全体を再撮像する（静止画）ボタン８０４」と「不備部分を拡大して再撮像する（動画）ボタン８０５」を表示し、記入不備チェックの内容によって、ユーザが再撮像の方法を選択できるようにする。

ステップＳ４０９において、情報処理装置１０１は、ユーザによる再撮像モードの選択を受け付ける。「全体を再撮像する（静止画）ボタン８０４」の押下を受け付けた場合はステップＳ４０３に進み、「不備部分を拡大して再撮像する（動画）ボタン８０５」の押下を受け付けた場合はステップＳ４１１に進む。すなわち、ステップＳ４０９は、帳票の全体を撮像する第１モードと、帳票の部分を撮像する第２モードとを切り替える処理の一例を示すステップである。

具体的には、誤記や記入漏れ等、帳票への記入内容が原因でエラーが発生したとユーザが判断した場合、記入内容を修正した後、ユーザは「全体を再撮像するボタン（静止画）８０４」を押下する。これにより、複数の記入不備があった場合でも、一度の再撮像で再チェックを行うことができる。一方、撮像画像の不鮮明さ、文字や記号の潰れ、かすれ、重なり、用紙汚れ、ゴミ等が原因でエラーが発生した、つまり拡大して再撮像すればエラーは解消されるとユーザが判断した場合、ユーザは「不備部分を拡大して再撮像する（動画）ボタン８０５」を押下する。これにより、帳票を再撮像する場合、上記のようにエラー部分を拡大して再撮像するか、エラー部分を記入し直したため帳票全体を再撮像するか、をユーザが自由に選択できないという課題を解決することができる。

なお、この実施形態のステップＳ４０９においては、「全体を再撮像する」か「不備部分を拡大して再撮像する」をユーザが選択するとしたが、これに限定するものではなく、記入不備チェック結果リスト１３００の「エラー内容」の値が“必須”、“丸囲み”、“矛盾”等の場合は、誤記など記入内容によるエラーと捉え、帳票を修正するようメッセージを表示して全体を再撮像させ、「エラー内容」の値が“不鮮明”、“認識不可”等の場合は、撮像画像によるエラーと捉え、不備部分のみを拡大して再撮像させるなど、記入不備チェック結果リスト１３００に含まれる値に従って、情報処理装置１０１が「全体を再撮像する」か「不備部分を拡大して再撮像する」のどちらを実行するかを決定するとしてもよい。

ステップＳ４１０において、情報処理装置１０１は、記入不備チェック結果画面（記入不備あり）８００（図８）を表示する。詳細は、ステップＳ４０８と同様であるが、ステップＳ４１０で表示する記入不備チェック結果画面（記入不備あり）８００には、「全体を再撮像する（静止画）ボタン８０４」を表示しない（又は表示しても押下できないよう非活性化しておく）。その後、「不備部分を拡大して再撮像する（動画）ボタン８０５」の押下を受け付ける（又は所定時間が経過する）と、ステップＳ４１１に進む。これにより、不備数が所定数以上と判定されて帳票を再撮像する場合、エラー部分を拡大して再撮像させるよう制御することにより、複数のエラー部分の文字認識及びチェック処理をリアルタイムに続けて行い、連続して即時に正常・異常を把握できるため、より気軽に且つより効率的に文字認識及びチェックを行うことができる。

ステップＳ４１１において、情報処理装置１０１は、記入済帳票の部分撮像を開始する。すなわち、ステップＳ４１１〜ステップＳ４１３は、撮像装置を用いてオブジェクトを撮像することにより電子データとして取込む処理の一例を示すステップである。カメラ２１５が捉えた画像は、リアルタイムにディスプレイ２１１に表示する（図１０の１００１）。その画面には、「文字が読み取れるよう、ゆっくりと動かしてください。」（図１０の１００２）や「動画撮像中」（図１０の１００３）の様なメッセージを表示し、ユーザに対し、ゆっくりカメラを動かすよう注意を促す。

ステップＳ４１２において、情報処理装置１０１は、撮像画像の帳票のフォームＩＤを特定する。詳細は、ステップＳ４０４と同様である。すなわち、ステップＳ４１２は、取込まれた電子データから、オブジェクトを識別する識別情報を特定する処理の一例を示すステップである。

ステップＳ４１３において、情報処理装置１０１は、部分記入不備チェック処理（図６）を行う。すなわち、ステップＳ４１３は、管理されている条件に基づき、読取られた項目に対応する値が正常又は異常を判定する処理の一例を示すステップである。また、ステップＳ４１３は、撮像したオブジェクトの部分画像を電子データとして取得する処理の一例を示すステップである。ここで、図６について説明しておく。

図６は、情報処理装置１０１における部分記入不備チェック処理の一例を示すフローチャートである。図５の全体記入不備チェック処理のフローチャートを部分記入不備チェック処理用に置き換え、図５のステップと同じ処理については、同じステップ番号を付与し説明を省略する。図６の処理により、撮像された部分帳票の記入不備チェックを行う。

ステップＳ６０１において、情報処理装置１０１は、ステップＳ４１２にて特定した「フォームＩＤ」を検索キーとして、フォーム定義テーブル１２００を検索し、取得したフォーム定義情報リストを記入不備チェック結果リスト１３００に「エラー内容」＝ＮＵＬＬとして挿入する。つまり、図６の部分記入不備チェック処理において、図１３の記入不備チェック結果リスト１３００は、「エラー内容」＝ＮＵＬＬのレコードは記入不備チェックが済んでいない項目であり、「エラー内容」≠ＮＵＬＬのレコードは記入不備チェックの結果＝“ＮＧ”となったレコードである。すなわち、記入不備チェック結果リスト１３００は、管理されている読取項目のうち値を読取られていない項目の位置情報を管理する手段の一例である。また、ステップＳ６０１は、オブジェクトの識別情報に基づき、電子データから値を読取る項目を決定する処理の一例を示すステップである。

ステップＳ６０２において、情報処理装置１０１は、撮像画像から座標識別項目を特定する。例えば、撮像画像が図１０の１００１の様な画像だった場合、撮像画像から「（１）お申込年月日」「（２）お申込者」「（３）お勤め先」の様な黒塗の見出し部分を座標識別項目として特定する。なお、本実施形態においては、黒塗の見出し部分を座標識別項目としたが、これに限定するものではなく、例えば、帳票の各項目、帳票のフォームＩＤを示すバーコードや番号、帳票の枠、帳票用紙の端又は帳票用紙の座標を識別するドットパターン等を座標識別項目としてもよい。つまり、部分撮像画像から、帳票全体のどの位置が撮像されているのかを特定できる情報であればよい。

ステップＳ６０３において、情報処理装置１０１は、ステップＳ６０２にて特定した座標識別項目から撮像座標を算出する。例えば、撮像画像において、座標識別項目「（１）お申込年月日」が、撮像画像の左上を原点として起点座標（１０、３０）―終点座標（１５０、１１０）の２点を対角とする矩形（ヨコ：１４０ピクセル、タテ：８０ピクセル）に位置した場合、フォーム定義テーブル１２００のフォーム定義レコード１２０１から拡大しない場合の「（１）お申込年月日」は起点座標（５０、５０)―終点座標（１２０、９０）の２点を対角とする矩形（ヨコ：７０ピクセル、タテ：４０ピクセル）であるため、帳票を全体に収めて撮像するときに比べて２倍に拡大して撮像していることがわかる。これらから、現在撮像している画像が帳票全体のどの位置（この場合、起点座標（４５、３５)―終点座標（４５５、５２０））を撮像しているかを算出できる。

ステップＳ６０４において、情報処理装置１０１は、記入不備チェック結果リスト１３００のレコード数だけ、ステップＳ６０５〜ステップＳ６１０を繰り返す。

ステップＳ６０５において、情報処理装置１０１は、記入不備チェック結果リスト１３００のレコード１件から、必須要件、記入種別、エラー内容及び認識領域の起点（X座標、Y座標)と終点（X座標、Y座標）を取得する。

ステップＳ６０６において、情報処理装置１０１は、ステップＳ６０３にて算出した撮像座標の内にステップＳ６０５にて取得した認識領域の座標が収まっているかを判定し、収まっている場合はステップＳ５０５（図６）に進み、収まっていない場合はステップＳ５１０（図６）に進む。具体的には、ステップＳ６０１にて取得したフォーム定義情報リストには、『ショッピングクレジット申込書』の全項目が含まれているが、ステップＳ６０３にて算出された撮像座標を用いて、記入不備チェックを行う対象を絞ることができる。これにより、文字認識及びチェック処理を高速化することができるようになる。

以降のステップＳ５０５（図６）〜ステップＳ５０７（図６）は、図５の説明と同様である。

ただし、ステップＳ５０６及びステップＳ５０７の認識領域は、ステップＳ６０２にて特定した座標識別項目からの距離（ピクセル数）に基づき決定する。例えば、撮像画像において、座標識別項目「（１）お申込年月日」が、撮像画像の左上を原点として起点座標（１０、３０）―終点座標（１５０、１１０）の２点を対角とする矩形（ヨコ：１４０ピクセル、タテ：８０ピクセル）に位置した場合、ステップＳ６０３の説明から、２倍に拡大して撮像していることがわかっているため、フォーム定義テーブル１２００のフォーム定義レコード１２０２の「申込年月日」は、座標識別項目「（１）お申込年月日」の撮像画像における座標及びフォーム定義レコード１２０２の座標に基づき、撮像画像において起点座標（１５０、３０）―終点座標（４１０、１１０）の矩形に存在することがわかる。これにより、拡大して撮像された画像を用いて、記入不備チェックを行うことができるようになる。

なお、この実施形態においては、拡大して再撮像された撮像画像に含まれる座標識別項目からの距離に従って認識領域を決定するとしたが、これに限定するものではなく、例えば、座標や座標識別項目からの距離等を用いず、撮像画像に含まれる帳票の枠、帳票用紙の座標を識別するドットパターン又は印刷文字等を認識することによって、フォーム定義テーブル１２００の各レコードの項目の認識領域を決定する等の方法であってもよい。

ステップＳ６０７において、情報処理装置１０１は、ステップＳ５０６（図６）又はステップＳ５０７（図６）にて“ＮＧ”と判定した項目の認識領域又はその近傍に「認識ＮＧ」とわかるよう撮像画像に重畳して表示する（図１０の１００４及び１００６）。また、「認識ＮＧ」の近傍には、認識ＮＧの詳細説明を吹き出し等で表示する（図１０の１００５及び１００７）。すなわち、ステップＳ６０７は、異常と判定された項目の位置を示す表示をする処理の一例を示すステップである。以上により、撮像画像をリアルタイムに文字認識及びチェック処理をすることができるため、記入不備チェックを好適に行う仕組みを提供することができる。

ステップＳ６０８において、情報処理装置１０１は、ステップＳ５０６（図６）又はステップＳ５０７（図６）にて“ＮＧ”と判定した記入不備チェック結果リスト１３００のレコードの「エラー内容」の値を、記入不備チェックの結果＝“ＮＧ”と判定された理由（“必須”、“丸囲み”、”郵便番号（＝不正な郵便番号）“、“認識不可”、“不鮮明”、“矛盾”等）に更新する。以上により、撮像画像をリアルタイムに文字認識及びチェック処理をすることができるため、記入不備チェックを好適に行う仕組みを提供することができる。

ステップＳ６０９において、情報処理装置１０１は、ステップＳ５０７（図６）にて“ＯＫ”と判定した項目の認識領域又はその近傍に「認識ＯＫ」とわかるよう撮像画像に重畳して表示する（図１０の１００８）。以上により、撮像画像をリアルタイムに文字認識及びチェック処理をすることができるため、記入不備チェックを好適に行う仕組みを提供することができる。

ステップＳ６１０において、情報処理装置１０１は、記入不備チェック結果リスト１３００に、ステップＳ６０９にて記入不備チェックの結果＝“ＯＫ”となったレコードが存在する場合、記入不備チェック結果リスト１３００からそのレコードを削除する。これにより、記入不備チェックの結果＝“ＮＧ”→“ＯＫ”となったレコードがリアルタイムに記入不備チェック結果リスト１３００から削除されるため、記入不備チェック結果リスト１３００には記入不備チェックをする必要のあるレコードのみが残っているということになる。

ステップＳ６１１において、情報処理装置１０１は、記入不備チェック結果リストに「エラー内容」＝ＮＵＬＬのレコード有無を判定し、レコードが有る場合はステップＳ６１２に進み、無い場合はすべての読取項目について記入不備チェック処理が終了したと捉えて図６の処理を終了する。

ステップＳ６１２において、情報処理装置１０１は、記入不備チェック結果リストの「エラー内容」＝ＮＵＬＬのレコードの位置を枠や矢印等を用いて表示をする。例えば、当該レコードが撮像画像（＝当該レコードの座標がステップＳ６０３にて算出した撮像座標）内に位置する場合はそのレコードの座標の領域を枠で囲み（図１０の１００９）、当該レコードが撮像画像（＝当該レコードの座標がステップＳ６０３にて算出した撮像座標）外に位置する場合はそのレコードの座標の領域が存在する方向を矢印で示す（図１０の１０１０）。

すなわち、ステップＳ６１２は、位置情報に基づき、値を読取られていない項目の位置を示す表示をする処理の一例を示すステップである。また、ステップＳ６１２は、位置情報に基づき、値を読取られていない項目が存在する方向を示す情報を表示する処理の一例を示すステップである。

具体的には、記入不備チェック結果リストに「エラー内容」＝ＮＵＬＬのレコード（図１３の１３０４及び１３０５）が存在する場合、レコード１３０４（フォーム名：市町番地）の座標と、ステップＳ６０３にて算出した現在表示中の撮像画像の撮像座標とを比較すると、撮像画像内にレコード１３０４の座標が収まっていることがわかるため、レコード１３０４の座標を用いて枠を表示し（図１０の１００９）、レコード１３０５（フォーム名：税込年収）の座標と、ステップＳ６０３にて算出した現在表示中の撮像画像の撮像座標とを比較し、撮像画像よりもレコード１３０５の座標が下方向に位置することがわかるため、下向きの矢印と共に「この方向に読取項目があります。カメラをゆっくり移動させてください。」の様なメッセージを表示する（図１０の１０１０）。これにより、読取られていない項目がどこにあるかがわかるため、カメラの移動、文字認識及びチェックをより効率的に行うことができる。つまり、拡大して撮像したとき、ユーザが帳票のどの部分を撮像すればよいかわからないという課題を解決することができる。

なお、本実施形態においては、枠や矢印等を用いて読取る項目表示するとしたが、これらに限定するものではなく、色を変える、点滅させる、音声による通知等、ユーザが識別可能となるものであればよい。ステップＳ６１２の後は、ステップＳ６０２に戻り、すべての読取項目について記入不備チェック処理が終了するまで、部分記入不備チェックを繰り返す。

以上で、図６の部分記入不備チェック処理の説明を終了する。図６の処理によって、撮像された部分帳票の記入不備チェックを行い、記入不備チェック結果リスト１３００には、撮像された部分帳票の記入不備チェックの結果＝“ＮＧ”が解消されていないフォーム定義情報レコードが残っていることになる。図４の記入不備チェック処理の説明に戻る。

ステップＳ４１４において、情報処理装置１０１は、帳票の部分撮像を終了する。

以上で、図４の記入不備チェック処理の説明を終了する。

以上によりオブジェクトに読取るべき項目が複数存在するとき、読取られていない項目がどこに位置するかわからないという課題を解決することができ、撮像画像を用いた文字認識を好適に行う仕組みを提供することができる。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、ＯＳ（オペレーティングシステム）に供給されるスクリプトデータ等の形態から成ってもよい。

１００ 情報処理システム
１０１ 情報処理装置
１０２ サーバ
１０３ ネットワーク

Claims (6)

1. 撮像装置を備える情報処理装置であって、
   前記撮像装置を用いて取込まれた電子データから値を読取る項目の位置情報を管理する項目管理手段と、
   前記電子データから前記項目管理手段により管理されている項目に対応する値を読取る読取手段と、
   前記項目管理手段により管理されている項目であって、前記読取手段で値を読取る電子データを取込んでいる項目と、前記読取手段で値を読取る電子データを取込んでいない項目を管理する取得項目管理手段と、
   前記取得項目管理手段により前記電子データが取込まれていない項目の位置情報に基づき、前記撮像装置で撮像している位置から前記電子データが取込まれていない項目の位置を示す表示を制御する表示制御手段と
   を備えることを特徴とする情報処理装置。
2. 前記表示制御手段は、
   前記項目管理手段により管理されている項目のうち前記読取手段により値を読取られていない項目が存在する方向を示す情報を表示すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記読取手段により読取られた項目に対応する値が正常又は異常を判定する条件を管理する条件管理手段と、
   前記条件管理手段により管理されている条件に基づき、前記読取手段により読取られた項目に対応する値が正常又は異常を判定する判定手段と
   を更に備え、
   前記表示制御手段は、
   前記項目管理手段により管理されている項目のうち前記判定手段により異常と判定された項目の位置を示す表示をすること
   を特徴とする請求項１または２に記載の情報処理装置。
4. 前記電子データから、オブジェクトを識別する識別情報を特定するオブジェクト識別情報特定手段と、
   前記オブジェクト識別情報特定手段により特定されたオブジェクトの識別情報に基づき、前記項目管理手段により前記電子データから値を読取る項目を決定する項目決定手段と
   を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 撮像装置を備える情報処理装置における処理方法であって、
   前記情報処理装置が、
   前記撮像装置を用いて取込まれた電子データから値を読取る項目の位置情報を管理する項目管理ステップと、
   前記電子データから前記項目管理ステップにより管理されている項目に対応する値を読取る読取ステップと、
   前記項目管理ステップにより管理されている項目であって、前記読取ステップで値を読取る電子データを取込んでいる項目と、前記読取ステップで値を読取る電子データを取込んでいない項目を管理する取得項目管理ステップと、
   前記取得項目管理ステップにより前記電子データが取込まれていない項目の位置情報に基づき、前記撮像装置で撮像している位置から前記電子データが取込まれていない項目の位置を示す表示を制御する表示制御ステップと
   を実行することを特徴とする処理方法。
6. 撮像装置を備える情報処理装置で実行可能なプログラムであって、
   前記情報処理装置を、
   前記撮像装置を用いて取込まれた電子データから値を読取る項目の位置情報を管理する項目管理手段と、
   前記電子データから前記項目管理手段により管理されている項目に対応する値を読取る読取手段と、
   前記項目管理手段により管理されている項目であって、前記読取手段で値を読取る電子データを取込んでいる項目と、前記読取手段で値を読取る電子データを取込んでいない項目を管理する取得項目管理手段と、
   前記取得項目管理手段により前記電子データが取込まれていない項目の位置情報に基づき、前記撮像装置で撮像している位置から前記電子データが取込まれていない項目の位置を示す表示を制御する表示制御手段
   として機能させるためのプログラム。
   

Images