JP4398474B2 - 画像内の処理対象の位置を特定する画像処理装置 - Google Patents

Description

本発明は、スキャナやデジタルカメラ等の画像入力装置で入力された画像データから、画像データに含まれる処理対象の位置を特定する画像処理装置に関する。

図２１は、従来の文字認識処理の入力と認識の例を示している。従来、手書き文字や活字文字を含む帳票等の原稿の文字認識処理を行う場合、以下の手順で画像処理を行っていた。
１．原稿サイズ以上の読み取り領域を有するフラットベットスキャナ等の画像入力装置で原稿全体を読み込んで、読み取り画像１１を生成する。
２．認識処理時に、あらかじめ準備した原稿のレイアウト情報１２を文字認識のテンプレートとして指定して、文字認識処理１３を行う。

ここで、原稿全体を一度に読み取ることのできないハンドヘルドイメージスキャナやデジタルカメラ等の画像入力装置を用いた場合には、以下のいずれかの方法で文字認識処理を行う必要が生じる。
（１）原稿内の複数の領域のそれぞれについて、画像入力装置の大きさに合わせたレイアウト情報と処理方法を指定するテンプレートを作成しておき、ユーザが領域毎に使用するテンプレートを選択する。例えば、図２２に示す例では、２つの読み取り画像１４および１５について、レイアウト情報１６および１７がそれぞれ選択され、文字認識処理１８が行われる。
（２）読み取った画像データから元の原稿を再構成し、原稿全体をカバーする画像入力装置と同等な入力画像を準備する。

このうち、（２）については、原稿サイズよりも小さな画像入力装置で入力した画像を結合し、原画像を生成する方法が知られている（例えば、特許文献１参照）。この方法では、分割して読み取られた２つの文書画像の文字領域が検出され、文字認識部は、文字領域内の活字文字を認識して文字コードを取得する。重なり位置検出部は、２つの文書画像の文字領域間で、文字領域の位置および大きさと文字コードを比較し、一致度が高い行画像の位置を重なり位置として画像結合部に出力する。画像結合部は、その重なり位置で２つの文書画像を結合する。

しかしながら、この方法では、結合面に手書き文字がある場合には正しく文字認識することができず、正確な結合画像が生成されない。
また、文字認識処理では、あらかじめ準備したテンプレートを原稿に応じてユーザが選択するか、読み取り画像とすべてのテンプレートのマッチング処理を行う必要がある。

このとき、認識対象の領域を自動的に特定する方法として、図２３に示すように、原稿２１にバーコード（１次元コード）２２と位置補正用の印２３〜２６を記録する方法が知られている（例えば、特許文献２参照）。バーコード２２には、認識対象画像データとして抽出すべき領域２７〜２９および領域２７〜２９に対する画像処理内容が記録され、原稿２１には、バーコード２２に加えて、領域２７〜２９の位置補正用の印２３〜２６が記録される。

しかしながら、この方法では、バーコード２２と位置補正用の印２３〜２６を記録する必要があり、かつ、印２３〜２６がすべて読めないような分割読み取りに対応することは不可能である。

特許文献３は、画像データとコードを組み合わせて印刷画像を生成する印刷情報処理システムに関し、特許文献４は、動画像のシーン変化を検出する方法に関する。
日本特許出願公開 特開２０００−２７８５１４号公報 日本特許出願公開 特開２００３−２７１９４２号公報 日本特許出願公開 特開２０００−３４８１２７号公報 日本特許出願公開 特開平０６−１３３３０５号公報

本発明の課題は、原稿全体を一度に読み取ることのできない画像入力装置で入力された画像データに含まれる処理対象の位置を自動的に特定することである。
本発明の画像処理装置は、格納部、認識部、および抽出部を備える。格納部は、複数の処理対象と複数のコードを含む原稿の部分画像の画像データを格納する。認識部は、それらのコードのうち部分画像に含まれるコードを認識して、そのコードに対する処理対象領域の相対的な位置を表す相対位置情報を取得する。抽出部は、相対位置情報を用いて部分画像内における処理対象領域の位置を特定し、特定された処理対象領域から処理対象の画像データを抽出する。

原稿内には、相対位置情報を取得するために必要なコードがあらかじめ複数個配置されている。例えば、画像入力装置により原稿が分割して読み取られた場合、原稿の一部分の画像が部分画像として格納部に格納される。認識部は、その部分画像に含まれるコードの認識処理を行い、認識結果に基づいて相対位置情報を取得する。抽出部は、得られた相対位置情報を用いて、コードに対応する処理対象領域の位置を特定し、処理対象の画像データを抽出する。

このような画像処理装置によれば、ハンドヘルドイメージスキャナやデジタルカメラ等の画像入力装置により入力された部分画像の画像データから、処理対象の画像データを自動的に抽出することができる。

格納部は、例えば、後述する図１９のＲＡＭ（random access memory）１９０２に対応し、認識部および抽出部は、例えば、図１９のＣＰＵ（Central Processing Unit ）１９０４に対応する。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
本実施形態では、原稿サイズに依存しない画像入力装置を使用して原稿を読み取るために、１項目以上のレイアウト情報を記録したコードと項目を原稿内に配置する。そして、画像処理装置は、画像入力装置により入力された画像データから、まず、コードに記録されたレイアウト情報を認識し、次に、その情報から処理対象の項目の画像データを抽出する。

図１は、このようなコード画像処理において、原稿から読み取られた画像の例を示している。この場合、原稿内の各項目に対応するように２次元コード１１１−１〜１１１−４、１１２−１、１１２−２、１１３−１、および１１３−４が配置され、原稿は３つの画像１０１〜１０３に分割されて読み取られる。

各２次元コードには、２次元コードに対する項目領域の相対位置の情報と、原稿内における項目領域の絶対位置の情報を記録しておく。例えば、２次元コード１１１−１には、図２に示すように、項目領域２０１の相対位置および絶対位置の情報が記録される。相対位置は、２次元コード１１１−１の位置２０２を原点とする相対座標系における項目領域２０１の座標値で表される。また、絶対位置は、あらかじめ決められた原稿内の基準点２０３を原点とする絶対座標系における項目領域２０１の座標値で表される。

図３は、２次元コード１１１−１に記録された領域情報の例を示している。（２０，−１０）および（１０００，４０）は項目領域２０１の相対位置情報であり、（４０，１００）は項目領域２０１の絶対位置情報である。この例では、各項目に対して１つの２次元コードが設けられているが、複数の項目に対して１つの２次元コードが設けられる場合は、項目毎に領域情報が記録される。

原稿の読み取り後、画像処理装置は、２次元コードを認識してこの領域情報を取り出し、相対位置情報を用いて項目領域を特定し、その領域の画像データを切り出す。さらに、絶対位置情報を用いて、原稿全体の文字認識用のレイアウト情報から対象項目のレイアウト情報を切り出し、項目領域の画像データに対象項目のレイアウト情報を適用して、対象項目のみの文字認識処理を行う。

このような２次元コードを用いれば、原稿内の項目の画像データを切り出すとともに、原稿全体のレイアウト情報のうち項目に対応するレイアウト情報を切り出すことが可能になる。したがって、読み取り画像内に項目領域の位置補正用の印が含まれていなくても、文字認識処理を実行することができる。

図４は、このような画像データ抽出処理のフローチャートである。画像処理装置は、まず、原稿から画像を読み取り（ステップ４０１）、読み取った画像に含まれる２次元コードを認識する（ステップ４０２）。そして、認識結果に含まれる領域情報に基づいて、対応する項目領域の画像データを抽出する（ステップ４０３）。

次に、分割して読み取られた画像から原稿全体の画像を再構成する方法について説明する。この場合、２次元コードに原稿属性情報を記録しておき、画像処理装置は、原稿属性情報を用いて、各読み取り画像から抽出された画像データを再配置することにより、原稿画像を再構成する。

図５は、このような画像再構成処理を示している。この例では、図１に示した３つの読み取り画像１０１〜１０３から原稿画像５０１が生成される。例えば、２次元コード１１１−１〜１１１−４、１１２−１、１１２−２、１１３−１、および１１３−２には、図６に示すように、領域情報に加えて、原稿識別情報等の原稿属性情報が記録される。

画像処理装置は、複数回に分けて部分原稿の読み取りを行った後、各２次元コードを認識し、同じ原稿属性情報を有する２次元コードの領域情報に基づいて切り出された画像データを使用して、原稿画像５０１を再構成する。このとき、２次元コードの画像データを含めて再構成してもよく、２次元コードの画像データを削除して再構成してもよい。

このように、２次元コードに記録した原稿属性情報とレイアウト情報を使用することで、原稿を複数回に分けて読み取った場合でも、容易に元の原稿の画像を復元することができる。

図７は、このような画像再構成処理のフローチャートである。画像処理装置は、まず、原稿から画像を読み取り（ステップ７０１）、読み取った画像に含まれる２次元コードを認識する（ステップ７０２）。このとき、読み取った画像に２次元コードが含まれているか否かをチェックし（ステップ７０３）、２次元コードが含まれていれば、図４のステップ４０３と同様にして、項目領域の画像データを抽出する（ステップ７０５）。そして、ステップ７０１以降の処理を繰り返す。

ステップ７０３において画像に２次元コードが含まれていなければ、それまでに抽出された画像データのうち同じ原稿属性情報に対応するものを使用して、原稿画像を再構成する（ステップ７０４）。

次に、抽出された画像データに対して文字認識等の処理を自動的に適用する方法について説明する。この場合、２次元コードに処理情報を記録しておき、画像処理装置は、各読み取り画像から抽出された画像データに対して、処理情報により指定された処理を自動的に実行する。

２次元コードには、図８に示すように、領域情報および原稿属性情報に加えて、その項目領域に適用される処理を表すアクションが記録される。例えば、アクションとして文字認識およびサーバ保存が記録されていた場合、画像処理装置は、その情報に基づき、対応する項目領域の画像データの文字認識処理を行い、処理結果のデータをサーバに保存する。アクションとして、画像データをそのままファイルに保存する処理を記録しておくことも可能である。

このように、２次元コードに画像データの処理情報を記録しておくことで、文字認識や画像データのままの保存等、画像読み取り後の後処理を自動化することができる。したがって、項目毎に異なる処理を行う場合でも、ユーザは、画像データを手作業で分別して処理を実施する必要がない。

図９は、このような自動画像処理のフローチャートである。図９のステップ９０１〜９０３の処理は、図４のステップ４０１〜４０３の処理と同様である。画像データが抽出されると、画像処理装置は、対応する２次元コードに記録された処理情報に基づいて、指定された処理を自動的に実行する（ステップ９０４）。

次に、原稿幅よりも読み取り幅が小さな画像入力装置を使用した場合に、読み取り幅より大きな項目領域を分割して読み取る方法について説明する。例えば、デジタルカメラの接写撮影機能を使用した場合がこれに相当する。この場合、１つの項目領域に対して、２次元コードを同一原稿内の異なる場所に、例えば、項目領域を挟むようにして２個以上配置しておく。

図１０は、このような２次元コードの配置例を示している。この例では、原稿１００１の各項目を左右から挟むようにして、２次元コード１０１１−ｉと１０１２−ｉ（ｉ＝１，２，３，４）が配置されている。

この原稿１００１が画像１００２と画像１００３に分割されて読み取られた場合、画像処理装置は、２次元コード１０１２−ｉおよび１０１２−ｉに記録された相対位置情報を用いて、１つの項目に対応する画像データを２つの読み取り画像１００２および１００３からそれぞれ切り出す。そして、２次元コード１０１２−ｉおよび１０１２−ｉに記録された絶対位置情報を用いて、原稿全体の画像１００４を再構成する。

これにより、１つの項目領域が２回に分けて読み取られた場合でも、その項目に対応する画像データを再構成して抽出することができる。
図１１は、このような画像再構成処理のフローチャートである。図１１のステップ１１０１〜１１０３および１１０５の処理は、図７のステップ７０１〜７０３および７０５の処理と同様である。

ステップ１１０３において画像に２次元コードが含まれていなければ、画像処理装置は、次に、項目領域の画像データが抽出されたか否かをチェックする（ステップ１１０４）。抽出された画像データがあれば、そのうちの１つの画像データを選択し（ステップ１１０６）、その画像データが１つの項目領域の分割部分に相当するか否かをチェックする（ステップ１１０７）。

画像データが分割部分に相当する場合、同じ項目領域に対応する他の分割部分の画像データを用いて、その項目領域全体の画像データを再構成する（ステップ１１０８）。そして、次の画像データについてステップ１１０４以降の処理を繰り返す。ステップ１１０７において画像データが１つの項目領域の全体に相当する場合は、そのままステップ１１０４以降の処理を繰り返す。

次に、原稿の使用可能領域を狭めることなく、２次元コードを配置する方法について説明する。この場合、２次元コードを項目の印刷色とは異なる色で、項目と重ねて印刷する。例えば、項目の内容が黒で印刷されている場合、２次元コードは黒以外の色で印刷される。これにより、２次元コードの追加のために原稿の使用面積が制限されることがなくなる。

図１２は、このような原稿のレイアウト例を示している。この例では、各項目の印刷文字の上に、２次元コード１２０１−ｉ（ｉ＝１，２，３，４）が異なる色で重ねて印刷されている。画像処理装置は、この原稿の読み取り画像から２次元コードのみを分離して認識し、項目領域の画像データを切り出す。異なる色を用いた２次元コードと文字の重畳印刷と認識には、例えば、前述した特許文献３に記載された方法が用いられる。

次に、領域情報等を２次元コードの代わりにデータ管理サーバに記録しておき、読み取り時に利用する方法について説明する。２次元コードは、記録される情報の量によって、ある程度の印刷面積を必要とする。そこで、２次元コードの面積をできるだけ小さくするために、上述した領域情報、原稿属性情報、および処理情報をサーバに記録し、２次元コードには、図１３に示すように、サーバ内の情報を特定する保管番号等の識別情報のみを記録しておく。

画像処理装置は、２次元コードに記録された識別情報を用いてサーバを参照し、対応する項目の情報を取得する。そして、取得した情報を２次元コードの認識結果として用いて、項目領域の画像データを切り出し、文字認識等の必要な処理を行う。

このように、２次元コードに本来記録するべき内容をサーバに保存することで、２次元コードの印刷面積を小さくすることができる。
図１４は、このような画像データ抽出処理のフローチャートである。図１４のステップ１４０１、１４０２、および１４０４の処理は、図４のステップ４０１〜４０３の処理と同様である。ステップ１４０２において２次元コードが認識されると、画像処理装置は、認識結果の識別情報を用いてデータ管理サーバを参照し、対応する保存情報を取得する（ステップ１４０３）。そして、認識結果を取得情報と置き換えて、項目領域の画像データを抽出する。

ところで、ハンドヘルドイメージスキャナやデジタルカメラの他に、動画像撮影が可能な動画像入力カメラもある。このような入力装置を用いた場合、従来のコード認識では、入力動画像を順次認識しながらコード認識を行っていた。しかし、本実施形態では、原稿に含まれる２次元コードと項目領域の両方の画像が同時に必要であり、２次元コードと項目領域が入力対象として確定したところで、画像認識を行う必要がある。従来のコード認識はコードのみに着目していたので、本実施形態の認識処理には適用できない。

そこで、本実施形態では、原稿を移動させて静止したところを入力対象とする原稿の移動動作に着目し、原稿の動画像を入力しながらシーン検出処理を行って、動画像から原稿の動きを検出し、原稿が静止したときに認識処理を行うように、画像処理装置を制御する。

図１５は、このような画像処理装置の構成図である。図１５の画像処理装置は、動画像入力装置１５０１、動き検出部１５０２、およびコード認識部１５０３を備える。動画像入力装置１５０１は、例えば、図１６に示すような動画像入力カメラ１６０１であり、その下を移動する原稿１６０２の動画像を入力する。

動き検出部１５０２は、シーン検出処理を行って、動画像に含まれる認識対象の動きを検出する。このシーン検出処理では、例えば、前述した特許文献４に記載された方法が用いられ、動画像を符号化してその符号量の変化からシーン変化を検出する。コード認識部１５０３は、認識対象が静止したことが検出されたときに、２次元コードの認識処理を行って、対応する項目領域の画像データ１５０４を切り出す。

例えば、動画像の符号量が図１７に示すように変化した場合、時刻Ｔ１からＴ２までの間は原稿が移動しているとみなされ、時刻Ｔ２以降は静止しているとみなされる。そこで、コード認識部１５０３は、原稿が安定するまで待って、時刻Ｔ３に認識処理を開始する。

シーン検出の結果により認識処理を制御することで、動画像入力カメラにより入力された画像に対しても、本発明を適用することが可能になる。
図１８は、このようなコード認識処理のフローチャートである。画像処理装置は、まず、原稿の動画像を入力し（ステップ１８０１）、シーン検出処理を行って（ステップ１８０２）、認識対象が静止したか否かをチェックする（ステップ１８０３）。認識対象が静止していなければ、ステップ１８０１以降の処理を繰り返し、認識対象が静止すれば、その画像に含まれる２次元コードの認識処理を行う（ステップ１８０４）。

図１９は、上述した画像処理装置を情報処理装置（コンピュータ）を用いて構成した場合の構成図である。図１９の画像処理装置は、通信装置１９０１、ＲＡＭ（random access memory）１９０２、ＲＯＭ（read only memory）１９０３、ＣＰＵ（Central Processing Unit ）１９０４、媒体駆動装置１９０５、外部記憶装置１９０６、画像入力装置１９０７、表示装置１９０８、および入力装置１９０９を備え、それらはバス１９１０により互いに接続されている。

ＲＡＭ１９０２は、入力された画像データを格納し、ＲＯＭ１９０３は、処理に用いられるプログラム等を格納する。ＣＰＵ１９０４は、ＲＡＭ１９０２を利用してプログラムを実行することにより、必要な処理を行う。図１５の動き検出部１５０２およびコード認識部１５０３は、ＲＡＭ１９０２またはＲＯＭ１９０３に格納されたプログラムに対応する。

入力装置１９０９は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、ユーザからの指示や情報の入力に用いられる。画像入力装置１９０７は、例えば、ハンドヘルドイメージスキャナ、デジタルカメラ、動画像入力カメラ等であり、原稿画像の入力に用いられる。また、表示装置１９０８は、ユーザへの問い合わせや処理結果等の出力に用いられる。

外部記憶装置１９０６は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。画像処理装置は、この外部記憶装置１９０６に、プログラムおよびデータを格納しておき、必要に応じて、それらをＲＡＭ１９０２にロードして使用する。

媒体駆動装置１９０５は、可搬記録媒体１９１１を駆動し、その記録内容にアクセスする。可搬記録媒体１９１１は、メモリカード、フレキシブルディスク、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。ユーザは、この可搬記録媒体１９１１にプログラムおよびデータを格納しておき、必要に応じて、それらをＲＡＭ１９０２にロードして使用する。

通信装置１９０１は、ＬＡＮ（Local Area Network）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。画像処理装置は、必要に応じて、プログラムおよびデータを外部の装置から通信装置１９０１を介して受け取り、それらをＲＡＭ１９０２にロードして使用する。通信装置１９０１は、図１４のステップ１４０３においてデータ管理サーバにアクセスする際にも用いられる。

図２０は、図１９の画像処理装置にプログラムおよびデータを提供する方法を示している。可搬記録媒体１９１１やサーバ２００１のデータベース２０１１に格納されたプログラムおよびデータは、画像処理装置２００２のＲＡＭ１９０２にロードされる。サーバ２００１は、そのプログラムおよびデータを搬送する搬送信号を生成し、ネットワーク上の任意の伝送媒体を介して画像処理装置２００２に送信する。ＣＰＵ１９０４は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。

分割して読み取られた画像を示す図である。 ２次元コードと項目領域を示す図である。 領域情報を示す図である。 第１の画像データ抽出処理のフローチャートである。 第１の画像再構成処理を示す図である。 原稿属性情報を示す図である。 第１の画像再構成処理のフローチャートである。 処理情報を示す図である。 自動画像処理のフローチャートである。 第２の画像再構成処理を示す図である。 第２の画像再構成処理のフローチャートである。 ２次元コードと文字の重畳印刷を示す図である。 サーバ内保管番号を示す図である。 第２の画像データ抽出処理のフローチャートである。 動画像を入力してコード認識を行う画像処理装置の構成図である。 動画像の入力方法を示す図である。 動画像における符号量の変化を示す図である。 動画像を入力してコード認識を行う処理のフローチャートである。 画像処理装置の構成図である。 プログラムおよびデータの提供方法を示す図である。 従来の第１の文字認識処理を示す図である。 従来の第２の文字認識処理を示す図である。 従来の認識対象特定方法を示す図である。

Claims (9)

1. 複数の処理対象と複数のコードを含む原稿が複数部分に分割して読み取られたとき、各部分の部分画像の画像データを格納する格納部と、
   前記複数のコードのうち前記部分画像に含まれるコードを認識して、該コードに対する処理対象領域の相対的な位置を表す相対位置情報および原稿属性情報を取得する認識部と、
   前記相対位置情報を用いて前記部分画像内における前記処理対象領域の位置を特定し、特定された処理対象領域から処理対象の画像データを抽出し、抽出された画像データから前記原稿属性情報に従って原稿全体の画像データを構成する抽出部と
   を備えることを特徴とする画像処理装置。
2. 複数の処理対象と複数のコードを含む原稿が複数部分に分割して読み取られたとき、各部分の部分画像の画像データを入力して格納部に格納し、
   前記複数のコードのうち各部分画像に含まれるコードを認識して、該コードに対する処理対象領域の相対位置を表す相対位置情報および原稿属性情報を取得し、
   前記相対位置情報を用いて各部分画像内における前記処理対象領域の位置を特定し、
   特定された処理対象領域から処理対象の画像データを抽出し、
   抽出された画像データから前記原稿属性情報に従って原稿全体の画像データを構成する処理をコンピュータに実行させることを特徴とするプログラム。
3. 前記部分画像に含まれるコードから、前記原稿内における前記処理対象領域の絶対位置を表す絶対位置情報を取得し、該絶対位置情報を用いて原稿全体のレイアウト情報から該処理対象領域のレイアウト情報を抽出し、前記処理対象の画像データに該処理対象領域のレイアウト情報を適用して、該処理対象の画像データの文字認識を行う処理を、前記コンピュータに実行させることを特徴とする請求項２記載のプログラム。
4. 前記複数の処理対象のうち少なくとも１つの処理対象に対応して、前記原稿内の異なる場所に２個以上のコードが配置されており、該処理対象の処理対象領域が複数部分に分割して読み取られたとき、前記相対位置情報を用いて各部分画像から処理対象の一部の画像データを抽出し、抽出された画像データから該処理対象全体の画像データを構成する処理を、前記コンピュータに実行させることを特徴とする請求項２記載のプログラム。
5. 前記部分画像に含まれるコードから、前記処理対象の画像データに対して実行すべき処理を表す処理情報を取得し、該処理情報により指定された処理を、前記コンピュータに実行させることを特徴とする請求項２記載のプログラム。
6. 前記原稿内において前記処理対象とコードが異なる色で重ねて印刷されているとき、前記部分画像から該コードを分離して認識する処理を、前記コンピュータに実行させることを特徴とする請求項２記載のプログラム。
7. 前記相対位置情報がサーバに保存されているとき、前記部分画像に含まれるコードから、該サーバ内の相対位置情報を特定する識別情報を取得し、該識別情報を用いて該サーバから該相対位置情報を取得する処理を、前記コンピュータに実行させることを特徴とする請求項２記載のプログラム。
8. 前記原稿の動画像を入力しながら該原稿が移動しているか否かを検出し、該原稿が静止したときに入力された部分画像を用いて、該部分画像に含まれるコードを認識する処理を、前記コンピュータに実行させることを特徴とする請求項２記載のプログラム。
9. 格納部が、複数の処理対象と複数のコードを含む原稿が複数部分に分割して読み取られたとき、各部分の部分画像の画像データを入力して格納部に格納し、
   認識部が、前記複数のコードのうち前記部分画像に含まれるコードを認識して、該コードに対する処理対象領域の相対位置を表す相対位置情報および原稿属性情報を取得し、
   抽出部が、前記相対位置情報を用いて前記部分画像内における前記処理対象領域の位置を特定し、特定された処理対象領域から処理対象の画像データを抽出し、抽出された画像データから前記原稿属性情報に従って原稿全体の画像データを構成する
   ことを特徴とする画像処理方法。