JP4670657B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、対象画像を撮像して得られる撮像画像に対して画像処理を行う画像処理装置、画像処理方法及びプログラムに関する。

携帯電話やデジタルカメラなどの撮像手段を備えた画像処理装置を用いて、紙などの媒体上に形成された対象画像を撮像して撮像画像を取得し、当該撮像画像から情報を抽出する技術がある。このような画像処理装置は、例えばバーコードや、ＱＲコード（登録商標）などの２次元コード、文字などを表す画像領域（認識対象範囲）を含んだ対象画像を撮像し、当該認識対象範囲に対してコード情報の解析やＯＣＲ処理などの認識処理を実行することにより、これらのコードにより表されるデジタルデータを取得することができる。また、公知の電子透かし技術などにより、人間の目には一見して判別しにくい態様で対象画像に対象データが埋め込まれている場合には、当該対象データが埋め込まれた認識対象範囲を含んだ撮像画像を取得し、解析することにより、埋め込まれた対象データを抽出することもできる。
特開２００４‐２１３２１５号公報

しかしながら、このような画像処理装置を用いて対象画像を撮像する場合、撮像画像内における認識対象範囲の位置や大きさなどが望ましい条件になるように対象画像を撮像することは、必ずしもユーザにとって容易ではない。なぜなら、ユーザは認識対象範囲に対して画像処理装置が認識処理を行う場合に適した画像サイズなどの条件について、正確な知識を持っていないのが通常だからである。また、認識対象範囲が電子透かし技術によりデジタルデータの埋め込まれた画像領域である場合、そもそもユーザにとって認識対象範囲が対象画像のどの部分なのかを判別することは困難である。

このような問題に対して、撮像画像に含まれる認識対象範囲を画定した結果に基づいて、撮像画像中における認識対象範囲の位置又は大きさを変化させるよう、ユーザに対してガイド情報を出力する技術がある（例えば特許文献１参照）。しかし、この技術によれば、認識対象範囲を実際に画定するまで、認識対象範囲が撮像画像に含まれているか否か判定できない。また、撮像画像内における認識対象範囲の大きさが小さすぎる場合にも、認識対象範囲を実際に画定するまで、そのことをユーザに提示することができない。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、ユーザが認識対象範囲を含む対象画像を撮像する場合に、ユーザにとって容易に望ましい条件で認識対象範囲を含む撮像画像を撮像できる画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するための本発明に係る画像処理装置は、複数のマーカー画像と、当該複数のマーカー画像を用いて画定される認識対象範囲と、を含む対象画像の少なくとも一部を撮像する画像処理装置であって、前記対象画像を撮像して撮像画像を取得する撮像手段と、前記撮像画像から前記マーカー画像を検出するマーカー画像検出手段と、前記検出の結果に基づいて、前記認識対象範囲が前記撮像画像内に含まれているか否かを判定する判定手段と、を含み、前記判定結果が、所定の処理に供されることを特徴とする。

これにより、マーカー画像を検出し、その検出結果に基づいて判定を行うことで、認識対象範囲を画定して認識処理を試みることをせずに、認識対象範囲が撮像画像に含まれているか否かを判定することができる。

また、本発明に係る別の画像処理装置は、複数の種類のマーカー画像からなるマーカー画像セットと、当該マーカー画像セットを用いて画定される認識対象範囲と、を含む対象画像の少なくとも一部を撮像する画像処理装置であって、前記対象画像を撮像して撮像画像を取得する撮像手段と、前記撮像画像から前記マーカー画像セットに含まれる少なくとも一部のマーカー画像を検出するマーカー画像検出手段と、前記検出したマーカー画像の種類に基づいて、前記認識対象範囲の前記撮像画像内における位置を推定する位置推定手段と、を含み、前記推定した位置の情報が、所定の処理に供されることを特徴とする。

これにより、マーカー画像を検出し、検出したマーカー画像の種類に基づいて撮像画像内における認識対象範囲の位置を推定することができる。

また、本発明に係る別の画像処理装置は、認識対象範囲を含む対象画像の少なくとも一部を撮像した撮像画像を取得して表示し、前記認識対象範囲の認識処理を実行する画像処理装置であって、前記撮像画像に重ね合わせて、認識処理対象領域を表す対象領域ガイド画像と、当該認識処理対象領域内にあって認識対象範囲の認識可能最小サイズを表すサイズガイド画像と、を表示するガイド画像表示手段、を含むことを特徴とする。

これにより、ユーザは、撮像画像に対する認識対象範囲の望ましいサイズが分からない場合であっても、二つのガイド画像を確認しながら対象画像を撮像することで、容易に望ましいサイズで認識対象範囲を撮像することができ、ユーザにとっての利便性を向上できる。

また、上記画像処理装置は、前記認識対象範囲が、前記対象領域ガイド画像の表す認識処理対象領域に含まれ、かつ前記サイズガイド画像の表す認識可能最小サイズよりも大きく撮像されているか否かを判断する手段と、前記判断の結果に基づく表示を行う手段と、をさらに含むこととしてもよい。

また、本発明に係る画像処理方法は、複数のマーカー画像と、当該複数のマーカー画像を用いて画定される認識対象範囲と、を含む対象画像の少なくとも一部を撮像する画像処理装置を用いた画像処理方法であって、前記画像処理装置に前記対象画像を撮像させて撮像画像を取得するステップと、前記撮像画像から前記マーカー画像を検出するステップと、前記検出の結果に基づいて、前記認識対象範囲が前記撮像画像内に含まれているか否かを判定するステップと、を含み、前記判定結果が、所定の処理に供されることを特徴とする。

また、本発明に係るプログラムは、複数のマーカー画像と、当該複数のマーカー画像を用いて画定される認識対象範囲と、を含む対象画像の少なくとも一部を撮像する画像処理装置を制御するプログラムであって、前記画像処理装置に前記対象画像を撮像させて撮像画像を取得する撮像制御手段、前記撮像画像から前記マーカー画像を検出するマーカー画像検出手段、及び前記検出の結果に基づいて、前記認識対象範囲が前記撮像画像内に含まれているか否かを判定する判定手段、としてコンピュータを機能させ、前記判定結果が、所定の処理に供されることを特徴とする。

以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像処理装置１０は、図１に示すように、制御部１１、記憶部１２、操作部１３、表示部１４及び撮像部１５を含んで構成されている。

制御部１１は、ＣＰＵ等であって、ここでは記憶部１２に格納されているプログラムに従って動作する。本実施の形態においては、撮像部１５を制御することにより、対象画像を撮像して得られる撮像画像に対して、マーカー画像の検出などの画像処理を実行する。また、表示部１４を制御することにより、後述するガイド画像を表示させる。制御部１１が実行する処理の例については、後に詳しく説明する。

記憶部１２は、制御部１１によって実行されるプログラムを保持するコンピュータで読み取り可能な記憶媒体であって、ＲＡＭやＲＯＭ等のメモリ素子とディスクデバイス等との少なくとも一方を含んで構成されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。

操作部１３は、例えば操作ボタンやタッチパネル等を含んで構成されており、ユーザの指示操作の内容を制御部１１に対して出力する。また、表示部１４は、例えばディスプレイ等であって、制御部１１の制御に基づいて、情報の表示を行う。

撮像部１５は、ＣＣＤカメラ等であり、撮像の対象となる媒体上に形成された画像を撮像し、撮像して得られる撮像画像の画像データを制御部１１に対して出力する。

また、画像処理装置１０は、機能的には、図２に示すように、撮像制御部２１、マーカー画像検出部２２、認識対象範囲取得部２３及び認識処理部２４を含んで構成されている。これらの機能は、例えば記憶部１２に格納されているプログラムを制御部１１が実行することによって実現できる。

撮像制御部２１は、撮像部１５を制御することで、対象画像を撮像して得られる撮像画像を取得する。また、取得した撮像画像を表示部１４に表示させることで、ユーザに提示する。さらに、ユーザの操作部１３に対する指示操作に基づいて、撮像画像を表す画像データを記憶部１２に記憶させる。

また、撮像制御部２１は、撮像画像を表示部１４に表示させる場合に、この撮像画像に重ね合わせて、さらに表示部１４に対して対象領域ガイド画像及びサイズガイド画像の二つのガイド画像を表示させることとしてもよい。例えば撮像制御部２１は、ユーザの操作部１３に対する指示操作等に基づいて、２次元コード取得モードなどの所定の撮像モードを開始する場合に、これらのガイド画像を表示させる。これらガイド画像の詳細については、後に説明する。

マーカー画像検出部２２は、撮像制御部２１が取得した撮像画像に対して画像処理を行うことにより、撮像画像に含まれるマーカー画像を検出し、その撮像画像中の位置を取得する。これは、例えば以下のような処理により実現できる。すなわち、まずマーカー画像検出部２２は、撮像画像に対して二値化処理を行い、二値画像を取得する。次に、二値画像に含まれる所定の画素値（１ビット又は０ビット）の画素に対してラベリング処理を行うことにより、これらの画素が結合した連結画像を抽出し、ラベル付けをする。さらに、ラベル付けした連結画像のうち、大きさが所定の範囲内に含まれるものをマーカー画像候補として選択する。そして、選択されたマーカー画像候補のそれぞれについて、画像処理装置１０が保持するマーカー画像パターンとのマッチング処理を行うことにより、それぞれのマーカー画像候補のマーカー画像らしさを表す値（一致度）を得る。ここで、マッチング処理は、選択されたマーカー画像候補のサイズに応じてサイズ補正を行ったマーカー画像パターンを用いて行うこととしてもよい。そして、マーカー画像検出部２２は、一致度が所定の閾値以上のマーカー画像候補をマーカー画像として決定する。

また、マーカー画像検出部２２は、マーカー画像の撮像画像中の位置を検出するとともに、マーカー画像の大きさを特定することとしてもよい。さらに、対象画像に複数の種類のマーカー画像が含まれる場合には、マーカー画像検出部２２は検出したマーカー画像の種類を特定することとしてもよい。マーカー画像の種類は、例えばマーカー画像の形状やマーカー画像の色、大きさによって特定できる。一例として、マーカー画像検出部２２は、撮像画像に含まれる画素の、所定の色空間における特定の成分色（例えばＲＧＢ色空間における青色など）の濃度値に基づいて、前述した二値化処理を行うことで、特定の成分色を持つマーカー画像を検出できる。また、複数のマーカー画像パターンを保持し、マーカー画像候補のそれぞれについて、複数のマーカー画像パターンのそれぞれとのマッチング処理を行うことにより、特定の形状を持つマーカー画像を検出できる。

認識対象範囲取得部２３は、マーカー画像検出部２２によるマーカー画像の検出結果などに基づいて、撮像制御部２１が取得した撮像画像内に含まれる認識対象範囲を取得する。また、認識対象範囲を取得できた場合、当該取得した認識対象範囲が認識処理を行うために必要な所定条件を満たすか否かを判定する。

そして、認識対象範囲を取得できない場合や、取得した認識対象範囲が所定条件を満たしていない場合には、認識対象範囲取得部２３はユーザに対して修正ガイド情報を出力するなどの所定の処理を実行する。これにより、ユーザはどのように撮像範囲や対象画像までの距離等を修正すれば、望ましい条件で認識対象範囲を含んだ撮像画像を撮像することができるか知ることができ、ユーザの利便性を向上できる。

認識対象範囲取得部２３は、例えば表示部１４にメッセージ情報や所定の指示内容を表す修正ガイド画像を表示させることにより修正ガイド情報を出力してもよい。またスピーカ（不図示）から音声によりメッセージ情報等を出力させることにより修正ガイド情報を出力してもよい。また、ランプ（不図示）を点灯させたり、明滅させたりすることにより、修正ガイド情報を出力することとしてもよい。

認識処理部２４は、認識対象範囲取得部２３が取得した認識対象範囲に対して、認識処理を実行する。具体例として、この認識処理は、認識対象範囲が文字画像を含んでいる場合には、当該文字画像を表す文字コードを取得する処理である。また、認識対象範囲がバーコードや２次元コードなどを表すコード画像を含んでいる場合には、当該コード画像により表されるデータを、所定の解析処理によって取得する処理である。また、認識対象範囲が電子透かし技術により対象データが埋め込まれた画像領域である場合には、埋め込みに用いられた電子透かし技術に応じた方法によって、埋め込まれた対象データを抽出する処理である。

次に、画像処理装置１０が対象画像を撮像し、撮像画像から認識対象範囲を取得する処理のいくつかの例について、説明する。

まず第１の例として、複数のマーカー画像と、当該複数のマーカー画像を用いて画定される認識対象範囲と、を含む対象画像の少なくとも一部を画像処理装置１０が撮像する場合の例について、図３のフロー図に基づいて説明する。ここでは具体例として、図４に例示するように、認識対象範囲Ａ１が矩形領域であって、マーカー画像Ｍ１からＭ４までの４つの十字形のマーカー画像が当該矩形領域の各頂点の近傍に配置された対象画像を撮像するものとする。

まず、ユーザの操作部１３に対する指示操作に基づいて、撮像制御部２１が、撮像部１５を制御して対象画像の少なくとも一部を撮像した撮像画像を取得する（Ｓ１）。

続いて、マーカー画像検出部２２が、Ｓ１の処理により取得された撮像画像からマーカー画像を検出する（Ｓ２）。

次に、認識対象範囲取得部２３は、Ｓ２の検出結果に基づいて、認識対象範囲が撮像画像内に望ましい条件で含まれているか否かを判定する。この処理は、具体例として、以下のようにして実行される。

すなわち、まず認識対象範囲取得部２３は、Ｓ２の処理により、マーカー画像を少なくとも一つ検出したか否かを判定する（Ｓ３）。一つも検出できない場合には、そもそも撮像画像に全く認識対象範囲Ａ１が含まれていないか、または対象画像までの距離が近すぎて認識対象範囲Ａ１の全体を撮像画像に含めることができていないなどの理由で、撮像画像にマーカー画像が入っていないことが考えられる。また、撮像画像にマーカー画像は入っているものの、ピントが合っていなかったり、撮像画像中の認識対象範囲Ａ１の大きさが小さすぎたりして、マーカー画像を検出できない場合もあり得る。このような場合、認識対象範囲取得部２３は、この判定結果に応じた修正ガイド情報を出力する（Ｓ４）。出力される修正ガイド情報は、例えば、「ピントが合っていないか、撮影されている大きさが不適です」や「ピント、撮影する大きさ、撮影する場所を確認して下さい」などのメッセージ情報である。

Ｓ３の処理で少なくとも一つのマーカー画像を検出した場合、次に認識対象範囲取得部２３は、マーカー画像を所定の数だけ検出したか否かを判定する（Ｓ５）。ここで、判定に用いる所定の数は、認識対象範囲を画定する際に用いられるマーカー画像の数として予め定められた数であり、図４の例の場合においては４となる。

所定の数だけマーカー画像を検出できない場合には、位置又は撮像画像に対する認識対象範囲Ａ１の大きさが望ましい条件と異なるために、認識対象範囲Ａ１が全て撮像画像に含まれていないことが考えられる。このような場合、認識対象範囲取得部２３は、この判定結果に応じた修正ガイド情報を出力してもよいが、さらに検出したマーカー画像の大きさに応じて以下のような処理を実行してもよい。

すなわち、認識対象範囲取得部２３は、Ｓ３の処理により検出したマーカー画像の大きさが所定の範囲に含まれるか否かを判定する（Ｓ６）。所定の範囲は、例えば対象画像における認識対象範囲の大きさに対するマーカー画像の大きさと、撮像部１５の解像度などによって決定できる。

マーカー画像の大きさが所定の範囲に含まれないと判定した場合、認識対象範囲取得部２３は、Ｓ５及びＳ６の判定結果に応じて、撮像画像に対する認識対象範囲Ａ１の大きさを修正すべき旨の修正ガイド情報を出力する（Ｓ７）。例えば、認識対象範囲取得部２３は、「撮影されている大きさが不適です」や「撮影する大きさを確認して下さい」、「撮影の倍率を下げて下さい」などのメッセージ情報を出力する。

また、マーカー画像の大きさが所定の範囲に含まれると判定した場合、認識対象範囲取得部２３は、Ｓ５及びＳ６の判定結果に応じて、撮像する対象画像の位置を修正すべき旨の修正ガイド情報を出力する（Ｓ８）。例えば、認識対象範囲取得部２３は、「撮影されている場所がずれています」や「撮影する場所を確認して下さい」などのメッセージ情報を出力する。

一方、Ｓ５の処理においてマーカー画像を所定の数だけ検出したと判定した場合、認識対象範囲取得部２３は撮像画像内に認識対象範囲Ａ１が含まれていると判定できる。ここで、認識処理部２４が直ちに認識対象範囲に対する認識処理を実行してもよいが、ここでは以下に述べるように、検出されたマーカー画像に基づいて、撮像画像に含まれる認識対象範囲Ａ１が認識処理を実行するために必要な所定の条件を満たすか否かを判定する（Ｓ９）。そして、所定の条件のうちいずれかを満たさないと判定した場合、当該判定結果に応じた修正ガイド情報を出力する（Ｓ１０）。

例えば認識対象範囲取得部２３は、撮像画像内における認識対象範囲Ａ１の大きさが所定の範囲に含まれるか否かを判定する。具体例として、認識対象範囲取得部２３は、検出したマーカー画像の大きさが所定の範囲に含まれるか、又はマーカー画像間の距離が所定の範囲に含まれるかを判定することで、認識対象範囲Ａ１の大きさが所定の範囲に含まれるか否かを判定できる。マーカー画像間の距離に基づいて判定を行う場合、例えば図４の例におけるマーカー画像Ｍ１及びマーカー画像Ｍ４の位置に基づいてマーカー画像Ｍ１とマーカー画像Ｍ４との間の撮像画像内における距離を算出する。算出された距離が所定の範囲に含まれるか否かを判定することで、認識対象範囲取得部２３は認識対象範囲Ａ１の大きさが所定の範囲に含まれるか否かを判定することができる。

認識対象範囲Ａ１の大きさが所定の範囲に含まれないと判定した場合、撮像画像の解像度の問題から認識処理を実行できないおそれがある。そこで、認識対象範囲取得部２３は、この判定結果に応じて、撮像画像内における認識対象範囲Ａ１の大きさを修正すべき旨の修正ガイド情報を出力する。認識対象範囲取得部２３は、例えば認識対象範囲Ａ１の大きさが所定の範囲より小さいと判定した場合、「もう少し大きく撮影して下さい」などのメッセージ情報を出力する。

また、認識対象範囲取得部２３は、撮像画像の明るさが所定の条件を満たすか否かを判定してもよい。具体例として、認識対象範囲取得部２３は、マーカー画像を構成する画素の濃度値の平均値（マーカー画像濃度値）が所定の閾値以上か、マーカー画像の周囲の所定の範囲である周辺画像領域の画素の濃度値（周辺画像濃度値）が所定の閾値未満か、及びマーカー画像濃度値と周辺画像濃度値との間の差が所定の値以上あるか、を判定することで、撮像画像の明るさを判定する。

撮像画像の明るさが所定の条件を満たさないと判定した場合、十分な階調が得られないために認識処理を実行できないおそれがある。そこで、認識対象範囲取得部２３は、この判定結果に応じて、撮像の際の明るさを調整すべき旨の修正ガイド情報を出力する。例えば認識対象範囲取得部２３は、マーカー画像濃度値と周辺画像濃度値との間の差が所定の値未満であるか、又は周辺画像濃度値が所定の閾値以上の場合、「明るい所で撮影して下さい」などのメッセージ情報を出力する。また、マーカー画像濃度値が所定の閾値未満の場合、例えば「明るすぎます。照明を確認して下さい」などのメッセージ情報を出力する。

また、認識対象範囲取得部２３は、撮像画像のピント（焦点）が合っているか否かを判定してもよい。具体例として、認識対象範囲取得部２３は、マーカー画像の境界線を含んだ特定の画素列について、当該画素列の濃度値分布を生成する。そして、当該濃度値分布における、濃度値が最低点から最高点に到るまでの幅ｗが所定の閾値以上であれば、マーカー画像のエッジ部分がぼけており、ピントが合っていないと判定する。逆に距離ｗが所定の閾値未満であれば、ピントは合っていると判定する。

ピントが合っていないと判定した場合、認識処理に悪影響を及ぼすおそれがあるため、認識対象範囲取得部２３は、この判定結果に応じて、ピントを合わせるべき旨の修正ガイド情報を出力する。例えば認識対象範囲取得部２３は、「ピントが合っていません」などのメッセージ情報を出力する。

また、認識対象範囲取得部２３は、認識対象範囲Ａ１が歪んでいないかを判定してもよい。例えば撮像部１５のレンズが対象画像に対して著しく傾いている場合、認識対象範囲Ａ１の撮像画像内における形状が、補正不可能な程度に歪んでしまうためである。具体例として、認識対象範囲取得部２３は、撮像画像内におけるマーカー画像Ｍ１とＭ２との間の距離ａと、マーカー画像Ｍ３とＭ４との間の距離ｂとを比較し、その差が所定の閾値以上であるか、又はその比が所定の閾値以上であれば、認識対象範囲Ａ１に歪みが生じていると判定する。また、同様に、マーカー画像Ｍ１とＭ３との間の距離ｃと、マーカー画像Ｍ２とＭ４との間の距離ｄとを比較して、その差が所定の閾値以上であるか、又はその比が所定の閾値以上である場合も、認識対象範囲Ａ１に歪みが生じていると判定する。

認識対象範囲Ａ１が歪んでいると判定した場合、認識対象範囲取得部２３は、この判定結果に応じて、対象画像を撮像部１５のレンズに平行になるように撮像すべき旨の修正ガイド情報を出力する。例えば認識対象範囲取得部２３は、「平行に撮影して下さい」などのメッセージ情報を出力する。

以上の処理により、認識対象範囲Ａ１の全体が撮像画像に含まれており、かつ認識処理を実行するために必要な所定の条件を満たすように撮像されていると判定した場合、認識対象範囲取得部２３は、検出されたマーカー画像の位置に基づいて認識対象範囲Ａ１を画定する（Ｓ１１）。そして、画定された認識対象範囲Ａ１に対して、認識処理部２４が所定の認識処理を実行し、結果を出力する（Ｓ１２）。

以上説明した処理によれば、対象画像を撮像して得られる撮像画像からマーカー画像を検出し、その検出結果に基づいて判定を行うことで、認識対象範囲Ａ１を画定して認識処理を試みることをせずに、認識対象範囲Ａ１が撮像画像に望ましい条件で含まれているか否かを判定することができる。また、判定結果に応じた修正ガイド情報を出力することにより、ユーザに撮像画像にどのような問題があったかを知らせることができ、ユーザの利便性を向上できる。

なお、以上の説明における認識対象範囲取得部２３が行う判定処理の順序は、例示であり、異なる順序で判定を行うこととしてもよい。また、上述した判定処理のうち、一部の判定処理のみを行うこととしてもよい。

また、以上の説明においては、修正ガイド情報としてメッセージ情報を出力する場合の例について示したが、メッセージ情報に代えて、あるいはメッセージ情報とともに、これらのメッセージ内容を表す所定のマークなどの修正ガイド画像を表示部１４に表示させる等の処理により、修正ガイド情報を出力することとしてもよい。

次に、第２の例として、複数の種類のマーカー画像からなるマーカー画像セットと、当該マーカー画像セットを用いて画定される認識対象範囲と、を含む対象画像の少なくとも一部を画像処理装置１０が撮像する場合の例について、図５のフロー図に基づいて説明する。ここでは具体例として、図６（ａ）に例示するように、認識対象範囲Ａ２が矩形領域であって、マーカー画像Ｍ５からＭ８までの４つの互いに形状の異なるマーカー画像からなるマーカー画像セットが、認識対象範囲Ａ２の各頂点の近傍に配置された対象画像を撮像するものとする。

まず、ユーザの操作部１３に対する指示操作に基づいて、撮像制御部２１が、撮像部１５を制御して対象画像の少なくとも一部を撮像した撮像画像を取得する（Ｓ２１）。

続いて、マーカー画像検出部２２が、Ｓ２１の処理により取得された撮像画像からマーカー画像を検出する（Ｓ２２）。

次に、認識対象範囲取得部２３は、前述した第１の例の場合と同様に、マーカー画像検出部２２によるマーカー画像検出の結果に基づいて、認識対象範囲Ａ２が撮像画像内に含まれているか否かを判定し、判定結果に基づいて修正ガイド情報を出力する処理を行う。この場合、認識対象範囲取得部２３は、第１の例の場合と同様に検出されたマーカー画像の大きさ等に基づいた判定処理を行ってもよいが、ここでは以下に説明するように検出されたマーカー画像の種類に基づいた判定のみを行うこととする。

まず、認識対象範囲取得部２３は、認識対象範囲Ａ２を画定する際に用いられるマーカー画像セットに含まれる、全てのマーカー画像を検出できたか否かを判定する（Ｓ２３）。ここで、マーカー画像セットには複数の種類のマーカー画像が含まれるため、単に所定の数だけマーカー画像を検出したか否かだけではなく、検出したマーカー画像の種類が所定のマーカー画像セットに含まれるマーカー画像の種類と一致するか判定することとしてもよい。これにより、例えばマーカー画像検出部２２がマーカー画像を誤検出してしまった場合であっても、より正しく認識対象範囲Ａ２が撮像画像に含まれるか否かを判定することができる。

Ｓ２３の処理により、全てのマーカー画像を検出できていないと判定した場合、認識対象範囲取得部２３は、検出したマーカー画像の種類に基づいて、認識対象範囲Ａ２の撮像画像内における位置を推定する（Ｓ２４）。

具体例として、認識対象範囲取得部２３は、検出したマーカー画像の種類が、認識対象範囲Ａ２に対して下部に位置すべきものであれば、当該検出したマーカー画像の位置に対して、その上部に認識対象範囲Ａ２が位置していると推定する。また、検出したマーカー画像の種類が、認識対象範囲Ａ２に対して向かって右側に位置すべきものであれば、当該検出したマーカー画像の位置に対して、その左側に認識対象範囲Ａ２が位置していると推定する。一例として、図６（ａ）に示す対象画像を撮像した場合において、図６（ｂ）に例示するような撮像画像が得られたとする。この場合、検出したマーカー画像の形状は、マーカー画像Ｍ７及びマーカー画像Ｍ８のものと一致する。そのため、認識対象範囲Ａ２は検出したマーカー画像に対して上部にあり、図中において破線で表されるように撮像画像の上よりに位置していると推定できる。

さらに、認識対象範囲取得部２３は、Ｓ２４の処理で推定した位置に基づいて、出力すべき修正ガイド情報を選択し、出力する（Ｓ２５）。一例として、認識対象範囲Ａ２が撮像画像の上部に位置すると推定した場合、認識対象範囲取得部２３は、例えば「もう少し上を撮影して下さい」というメッセージ情報を出力する。また、認識対象範囲Ａ２が撮像画像の左部に位置すると推定した場合、認識対象範囲取得部２３は、例えば「もう少し左を撮影して下さい」というメッセージ情報を出力する。さらに、認識対象範囲取得部２３は、推定した位置の画面中央からのずれの大きさに応じて、出力する修正ガイド情報を変化させてもよい。

一方、Ｓ２３の処理により、全てのマーカー画像を検出できていると判定した場合、認識対象範囲取得部２３は、検出されたマーカー画像の位置に基づいて認識対象範囲Ａ２を画定する（Ｓ２６）。そして、画定された認識対象範囲Ａ２に対して、認識処理部２４が所定の認識処理を実行し、結果を出力する（Ｓ２７）。

以上説明した処理によれば、対象画像を撮像して得られる撮像画像からマーカー画像を検出し、検出したマーカー画像の種類に基づいて認識対象範囲Ａ２の位置を推定することで、認識対象範囲Ａ２の位置に応じた修正ガイド情報を出力することができる。これにより、ユーザに認識対象範囲Ａ２が撮像画像においてどの方向にずれているのかを知らせることができ、ユーザの利便性を向上できる。

なお、以上の説明においては、修正ガイド情報としてメッセージ情報を出力する場合の例について示したが、メッセージ情報に代えて、あるいはメッセージ情報とともに、これらのメッセージ内容を表す所定のマークなどの修正ガイド画像を表示部１４に表示させる等の処理により、修正ガイド情報を出力することとしてもよい。ここで、矢印等を表す修正ガイド画像を用いることにより修正すべき方向を示すことで、直感的にユーザに認識対象範囲Ａ２がどの方向にずれているのかを知らせることができる。また、この場合、Ｓ２４の処理で推定された認識対象範囲Ａ２の位置のずれの大きさに基づいて、矢印の長さ等を変化させることとしてもよい。

また、以上の説明においては、マーカー画像セットに含まれるマーカー画像は全て互いに異なる種類であることとしたが、マーカー画像セットに含まれるマーカー画像の一部は同じ種類のマーカー画像であってもよい。一例として、図７（ａ）の例においては、認識対象範囲Ａ３を画定する際に用いられるマーカー画像セットに含まれる４つのマーカー画像Ｍ９からＭ１２までのうち、矩形領域の対角線上に位置するマーカー画像Ｍ９とマーカー画像Ｍ１２の種類が同じである。この場合、マーカー画像Ｍ９又はマーカー画像Ｍ１２のいずれか一つが単独で検出された場合には認識対象範囲の位置を推定することができないが、隣り合う２つのマーカー画像を検出できた場合には、検出したマーカー画像の種類の組合せに基づいて、認識対象範囲Ａ３の位置を推定することができる。例えば図７（ａ）に示す対象画像の例において、図７（ｂ）に例示する撮像画像が得られた場合、互いに異なる２つのマーカー画像Ｍ９及びＭ１０を検出することで、認識対象範囲の位置は図中で破線により示されるように撮像画像の下部であると推定できる。

また、第１の例及び第２の例のどちらの場合においても、マーカー画像検出部２２によるマーカー画像検出の対象となる撮像画像は、例えばシャッターボタンの押下等によりユーザが明示的に指示したタイミングにおける撮像画像でなくともよい。例えば撮像制御部２１が撮像により動画像を取得した場合における、当該動画像に含まれるフレーム画像を対象としてもよい。

次に、第３の例として、認識対象範囲を含む対象画像の少なくとも一部を画像処理装置１０が撮像する場合に、ガイド画像を表示する例について、図８のフロー図に基づいて説明する。

ユーザの指示操作等に基づいて、２次元コード取得モードなどの所定の撮像モードを開始する場合に、まず撮像制御部２１は、対象領域ガイド画像Ｇ１及びサイズガイド画像Ｇ２の二つのガイド画像を表示部１４に対して表示させる（Ｓ３１）。ここで、表示部１４に表示される画像は、一例として図９（ａ）に示すようなものになる。

ここで、対象領域ガイド画像Ｇ１は、認識処理の対象となる認識処理対象領域を表す画像である。認識対象範囲がこの領域に含まれるように撮像されることにより、認識処理部２４は認識処理の対象となる認識対象範囲のサイズを所定の大きさに限定することができる。これにより、認識処理部２４による処理量を低減することができ、処理効率を向上できる。

また、サイズガイド画像Ｇ２は、対象領域ガイド画像Ｇ１が表す認識処理対象領域内にあって、認識対象範囲の認識可能最小サイズを表す画像である。認識対象範囲の撮像画像内におけるサイズが小さすぎる場合、解像度の問題から認識対象範囲に対して認識処理部２４が認識処理を行うことが困難となる。サイズガイド画像Ｇ２が表す認識可能最小サイズより大きなサイズで認識対象範囲が撮像されることにより、認識処理部２４は認識対象範囲に対して認識処理を行うことが可能となる。

なお、これら対象領域ガイド画像Ｇ１及びサイズガイド画像Ｇ２は、図９（ａ）に例示したように枠線を表す画像であってもよいし、例えば矩形領域の４つの頂点の位置を表す画像などであってもよい。

また、対象領域ガイド画像Ｇ１及びサイズガイド画像Ｇ２は、ユーザの指示操作等によって決定される認識処理の対象となる画像の種類によって、異なるものであってもよい。例えば、文字画像を含む認識対象範囲を撮像して認識処理を行う文字画像取得モードが指定された場合には、図９（ｂ）に例示するような対象領域ガイド画像Ｇ３及びサイズガイド画像Ｇ４を表示部１４に表示させることとしてもよい。

撮像制御部２１は、Ｓ３１の処理によるガイド画像の表示とともに、撮像部１５による撮像を開始し、撮像して得られる撮像画像を二つのガイド画像と重ね合わせて表示部１４に対して表示させる（Ｓ３２）。

ここでユーザは、対象画像に含まれる認識対象範囲が、表示部１４において対象領域ガイド画像Ｇ１が表す認識処理対象領域に含まれ、かつサイズガイド画像Ｇ２が表す認識可能最小サイズよりも大きくなるように、画像処理装置１０の位置や撮像部１５の撮像倍率を調整する。そして、例えばシャッターボタンの押下等の操作部１３に対する指示操作により、認識対象範囲を画定して認識処理を実行するよう画像処理装置１０に対して指示する（Ｓ３３）。

認識対象範囲取得部２３は、Ｓ３３におけるユーザからの指示操作のあった時点の撮像画像に基づいて、認識対象範囲を取得する（Ｓ３４）。ここで、前述した第１、又は第２の例と同様に、まずマーカー画像検出部２２がマーカー画像を検出し、認識対象範囲取得部２３は検出されたマーカー画像に基づいて認識対象範囲を取得してもよい。

また、ここでは、認識対象範囲取得部２３は、認識対象範囲の撮像画像内における大きさが認識処理に必要な所定条件を満たすか否かを、以下のようにして判定する（Ｓ３５）。すなわち、Ｓ３４の処理により取得した認識対象範囲が、対象領域ガイド画像Ｇ１の表す認識処理対象領域に含まれ、かつサイズガイド画像Ｇ２の表す認識可能最小サイズよりも大きく撮像されているか否かを判断する。

判定の結果、認識対象範囲の大きさが所定条件を満たさないと判定した場合、例えば前述した第１の例におけるＳ１０の処理と同様にして、修正ガイド情報を出力する（Ｓ３６）。

一方、認識対象範囲の大きさが所定条件を満たすと判定した場合、認識処理部２４が、Ｓ３４の処理により取得した認識対象範囲に対して認識処理を実行し、結果を出力する（Ｓ３７）。

以上説明した処理によれば、ユーザは、撮像画像に対する認識対象範囲の望ましいサイズが分からない場合であっても、二つのガイド画像を確認しながら対象画像を撮像することで、容易に望ましいサイズで認識対象範囲を撮像することができ、ユーザにとっての利便性を向上できる。

なお、以上説明した第１から第３までの例における認識対象範囲を取得する処理は、適宜組み合わせて用いてもよい。

本発明の実施の形態に係る画像処理装置の概略の構成を表すブロック図である。 本発明の実施の形態に係る画像処理装置の機能を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置によって実行される処理の一例を表すフロー図である。 本発明の実施の形態に係る画像処理装置が撮像する対象画像の一例を表す図である。 本発明の実施の形態に係る画像処理装置によって実行される処理の別の一例を表すフロー図である。 本発明の実施の形態に係る画像処理装置が撮像する対象画像及び撮像によって得られる撮像画像の一例を表す図である。 本発明の実施の形態に係る画像処理装置が撮像する対象画像及び撮像によって得られる撮像画像の別の一例を表す図である。 本発明の実施の形態に係る画像処理装置によって実行される処理の別の一例を表すフロー図である。 本発明の実施の形態に係る画像処理装置が表示するガイド画像の一例を表す図である。

符号の説明

１０ 画像処理装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 撮像部、２１ 撮像制御部、２２ マーカー画像検出部、２３ 認識対象範囲取得部、２４ 認識処理部。

Claims (3)

1. 複数の種類のマーカー画像からなるマーカー画像セットと、当該マーカー画像セットを用いて画定される認識対象範囲と、を含む対象画像の一部が撮像された撮像画像を処理する画像処理装置であって、
   前記対象画像の一部が撮像された撮像画像を取得する取得手段と、
   前記撮像画像から前記マーカー画像セットに含まれる一部のマーカー画像を検出するマーカー画像検出手段と、
   前記検出したマーカー画像の種類に基づいて、前記認識対象範囲の位置が前記撮像画像内においてどの方向にずれているのかを推定する位置推定手段と、
   前記位置推定手段の推定結果に応じて、前記認識対象範囲の位置が前記撮像画像内においてどの方向にずれているのかを利用者に知らせるガイド情報を出力する手段と、
   を含むことを特徴とする画像処理装置。
2. 複数の種類のマーカー画像からなるマーカー画像セットと、当該マーカー画像セットを用いて画定される認識対象範囲と、を含む対象画像の一部が撮像された撮像画像を処理する画像処理装置を用いた画像処理方法であって、
   前記対象画像の一部が撮像された撮像画像を取得する取得ステップと、
   前記撮像画像から前記マーカー画像セットに含まれる一部のマーカー画像を検出するマーカー画像検出ステップと、
   前記検出したマーカー画像の種類に基づいて、前記認識対象範囲の位置が前記撮像画像内においてどの方向にずれているのかを推定する位置推定ステップと、
   前記位置推定ステップでの推定結果に応じて、前記認識対象範囲の位置が前記撮像画像内においてどの方向にずれているのかを利用者に知らせるガイド情報を出力するステップと、
   を含むことを特徴とする画像処理方法。
3. 複数の種類のマーカー画像からなるマーカー画像セットと、当該マーカー画像セットを用いて画定される認識対象範囲と、を含む対象画像の一部が撮像された撮像画像を処理する画像処理装置を、
   前記対象画像の一部が撮像された撮像画像を取得する取得手段、
   前記撮像画像から前記マーカー画像セットに含まれる一部のマーカー画像を検出するマーカー画像検出手段、
   前記検出したマーカー画像の種類に基づいて、前記認識対象範囲の位置が前記撮像画像内においてどの方向にずれているのかを推定する位置推定手段、及び、
   前記位置推定手段の推定結果に応じて、前記認識対象範囲の位置が前記撮像画像内においてどの方向にずれているのかを利用者に知らせるガイド情報を出力する手段、
   として機能させるためのプログラム。

Images