JP4670658B2

JP4670658B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP4670658B2
Application number: JP2006015852A
Authority: JP
Inventors: 弘文小松原; 功幸河野; 賢治蛯谷; 富士夫井原
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-01-25
Filing date: 2006-01-25
Publication date: 2011-04-13
Anticipated expiration: 2026-01-25
Also published as: CN101009756A; US20070172123A1; CN100596163C; JP2007201661A

Description

本発明は、対象画像を撮像して得られる撮像画像に対して画像処理を行う画像処理装置、画像処理方法及びプログラムに関する。

携帯電話やデジタルカメラなどの撮像手段を備えた画像処理装置を用いて、紙などの媒体上に形成された対象画像を撮像して撮像画像を取得し、当該撮像画像から情報を抽出する技術がある。このような画像処理装置は、例えばバーコードや、ＱＲコード（登録商標）などの２次元コード、文字などを表す画像領域（認識対象範囲）を含んだ対象画像を撮像し、当該認識対象範囲に対してコード情報の解析やＯＣＲ処理などの認識処理を実行することにより、これらのコードにより表されるデジタルデータを取得することができる。また、公知の電子透かし技術などにより、人間の目には一見して判別し難い態様で対象画像に対象データが埋め込まれている場合には、当該対象データが埋め込まれた認識対象範囲を含んだ撮像画像を取得し、認識対象範囲に埋め込まれた対象データを抽出する認識処理を実行して、対象データを取得することもできる。

このように対象画像を撮像して得られる撮像画像に含まれる認識対象範囲に対して何らかの処理を行う場合に、画像処理装置が認識対象範囲を容易に識別できるように、認識対象範囲の周囲に複数のマーカー画像が含まれる場合がある。この場合、画像処理装置はまずこれらのマーカー画像からなる一群のマーカー画像セットを検出し、検出したマーカー画像セットに基づいて認識対象範囲を画定する。また、画像処理装置は画定した認識対象範囲の大きさなどが、認識処理に必要な条件を満たすか否かを判定する。
特開２００５‐２６７９７号公報

上記技術においては、認識対象範囲を画定するために複数のマーカー画像を検出する必要があり、検出処理に時間を要する。また、認識対象範囲を画定したうえで当該認識対象範囲が認識処理に必要な条件を満たすか否かを判定する必要があり、望ましい条件で認識対象範囲を撮像できているか否か判定できるまでに、時間がかかってしまう。

特に、人間の目には判別し難い態様で対象データの埋め込まれた認識対象範囲を画定する場合、ユーザは撮像画像を見ても認識対象範囲が正しく撮像できているかを容易に判断できず、対象画像を撮像するために試行錯誤することがある。そこで、画像処理装置が撮像画像に対して認識対象範囲が望ましい条件で含まれているか否かをリアルタイムで判定し、判定結果を直ちにユーザに提示することが望ましい。このような場合においては、特に上述した処理に要する時間を短縮することが課題となる。

なお、特許文献１には、透かし入り画像の基準点や基準線を表す補正マーカーを透かし入り画像から検出することにより、撮像画像の歪みを推定する技術が開示されている。しかし、当該文献においては、マーカー画像の検出などの処理の効率化についてはなんら考慮されていない。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、認識対象範囲を含む対象画像を撮像する場合に、撮像画像に認識対象範囲が望ましい条件で含まれているか否かを判定するために要する時間を短縮できる画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するための本発明に係る画像処理装置は、複数のマーカー画像と、前記マーカー画像の少なくとも一部である一群のマーカー画像セットを用いて画定される認識対象範囲と、を含む対象画像を撮像する画像処理装置であって、前記対象画像を撮像して撮像画像を取得する撮像手段と、前記撮像画像から一つのマーカー画像を基準マーカー画像として検出する基準マーカー画像検出手段と、前記検出した基準マーカー画像の大きさに基づいて、当該基準マーカー画像を含むマーカー画像セットの少なくとも一つについて、当該マーカー画像セットに含まれる基準マーカー画像以外のマーカー画像を対応マーカー画像として、当該対応マーカー画像の前記撮像画像内における位置を推定する位置推定手段と、前記推定した位置に基づいて、前記対応マーカー画像を検出する対応マーカー画像検出手段と、を含むことを特徴とする。

これにより、基準マーカー画像の大きさに基づいて対応マーカー画像の位置を推定して、推定した位置に基づいて対応マーカー画像を検出することで、マーカー画像の検出を容易に行うことができ、処理時間を短縮できる。

また、本発明に係る別の画像処理装置は、少なくとも一つのマーカー画像を含む対象画像を撮像する画像処理装置であって、前記対象画像を撮像して撮像画像を取得する撮像手段と、前記撮像画像から前記マーカー画像を検出するマーカー画像検出手段と、前記検出したマーカー画像の大きさに基づいて、前記対象画像に含まれる認識対象範囲の前記撮像画像内における大きさが、所定範囲に含まれるか否かを判定する判定手段と、を含み、前記判定結果が、所定の処理に供されることを特徴とする。

これにより、基準マーカー画像の大きさに基づいて認識対象範囲の大きさが所定範囲に含まれるか否かを判定することで、認識対象範囲を画定することをせずに、認識対象範囲の大きさに対する判定を行うことができる。

また、上記画像処理装置は、前記判定結果に応じて、前記撮像手段の撮像倍率を、前記認識対象範囲の前記撮像画像内における大きさが前記所定範囲に含まれるように変化させる撮像倍率調整手段をさらに含むこととしてもよい。

また、本発明に係る画像処理方法は、複数のマーカー画像と、前記マーカー画像の少なくとも一部である一群のマーカー画像セットを用いて画定される認識対象範囲と、を含む対象画像を撮像する画像処理装置を用いた画像処理方法であって、前記画像処理装置に前記対象画像を撮像させて撮像画像を取得するステップと、前記撮像画像から一つのマーカー画像を基準マーカー画像として検出するステップと、前記検出した基準マーカー画像の大きさに基づいて、当該基準マーカー画像を含むマーカー画像セットの少なくとも一つについて、当該マーカー画像セットに含まれる基準マーカー画像以外のマーカー画像を対応マーカー画像として、当該対応マーカー画像の前記撮像画像内における位置を推定するステップと、前記推定した位置に基づいて、前記対応マーカー画像を検出するステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、複数のマーカー画像と、前記マーカー画像の少なくとも一部である一群のマーカー画像セットを用いて画定される認識対象範囲と、を含む対象画像を撮像する画像処理装置を制御するプログラムであって、前記画像処理装置に前記対象画像を撮像させて撮像画像を取得する撮像制御手段、前記撮像画像から一つのマーカー画像を基準マーカー画像として検出する基準マーカー画像検出手段、前記検出した基準マーカー画像の大きさに基づいて、当該基準マーカー画像を含むマーカー画像セットの少なくとも一つについて、当該マーカー画像セットに含まれる基準マーカー画像以外のマーカー画像を対応マーカー画像として、当該対応マーカー画像の前記撮像画像内における位置を推定する位置推定手段、及び前記推定した位置に基づいて、前記対応マーカー画像を検出する対応マーカー画像検出手段、としてコンピュータを機能させることを特徴とする。

以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像処理装置１０は、図１に示すように、制御部１１、記憶部１２、操作部１３、表示部１４及び撮像部１５を含んで構成されている。

制御部１１は、ＣＰＵ等であって、ここでは記憶部１２に格納されているプログラムに従って動作する。本実施の形態においては、撮像部１５を制御することにより、対象画像を撮像して得られる撮像画像に対して、マーカー画像の検出などの画像処理を実行する。制御部１１が実行する処理の例については、後に詳しく説明する。

記憶部１２は、制御部１１によって実行されるプログラムを保持するコンピュータで読み取り可能な記憶媒体であって、ＲＡＭやＲＯＭ等のメモリ素子とディスクデバイス等との少なくとも一方を含んで構成されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。

操作部１３は、例えば操作ボタンやタッチパネル等を含んで構成されており、ユーザの指示操作の内容を制御部１１に対して出力する。また、表示部１４は、例えばディスプレイ等であって、制御部１１の制御に基づいて、情報の表示を行う。

撮像部１５は、ＣＣＤカメラ等であり、撮像の対象となる媒体上に形成された画像を撮像し、撮像して得られる撮像画像の画像データを制御部１１に対して出力する。

ここでは、撮像部１５は、複数のマーカー画像と、当該マーカー画像の少なくとも一部である一群のマーカー画像セットを用いて画定される認識対象範囲と、を含む対象画像の少なくとも一部を撮像することとする。なお、マーカー画像セット及びマーカー画像セットを用いて画定される認識対象範囲は、対象画像に複数含まれていてもよい。また、マーカー画像は所定の形状のパターン画像であり、対象画像内において認識対象範囲に対して所定の位置に配置されている。なお、マーカー画像は、例えば電子透かし技術により人間の目には判別し難い態様で対象画像に埋め込まれたものであってもよい。

また、画像処理装置１０は、機能的には、図２に示すように、撮像制御部２１、基準マーカー画像検出部２２、対応マーカー画像検出部２３、認識対象範囲取得部２４及び認識処理部２５を含んで構成されている。これらの機能は、例えば記憶部１２に格納されているプログラムを制御部１１が実行することによって実現できる。

撮像制御部２１は、撮像部１５を制御することで、対象画像を撮像して得られる撮像画像を取得する。また、取得した撮像画像を表示部１４に表示させることで、ユーザに提示する。さらに、ユーザの操作部１３に対する指示操作に基づいて、撮像画像を表す画像データを記憶部１２に記憶させる。

また、撮像制御部２１は、ユーザの操作部１３に対する指示操作や、後述する認識対象範囲取得部２４からの制御命令に基づいて、撮像部１５に対して、撮像部１５の撮像倍率や焦点距離を変更するなどの制御を行うこととしてもよい。

基準マーカー画像検出部２２は、撮像制御部２１が取得した撮像画像に対して画像処理を行うことにより、撮像画像に含まれるマーカー画像の一つを基準マーカー画像として検出し、その撮像画像中の位置及び大きさを取得する。

基準マーカー画像検出部２２は、例えば以下のような処理によりマーカー画像を検出し、検出したマーカー画像を基準マーカー画像として決定する。すなわち、まず基準マーカー画像検出部２２は、撮像画像に対して二値化処理を行い、二値画像を取得する。次に、当該二値画像を例えば左上から所定の順序で走査し、二値画像に含まれる所定の画素値（１ビット又は０ビット）の画素が結合した連結画像を抽出する。そして、連結画像を抽出した場合には、当該連結画像がマーカー画像であるか否かを判定するマーカー画像判定処理を行う。基準マーカー画像検出部２２は、このマーカー画像判定処理により最初にマーカー画像であると判定した連結画像を、基準マーカー画像として決定する。

ここで、マーカー画像判定処理は、例えば以下のようにして行う。すなわち、まず抽出した連結画像の大きさが所定の範囲内に含まれるか否か判定する。所定の範囲内に含まれる場合は、さらに画像処理装置１０が保持するマーカー画像パターンとのマッチング処理を行うことにより、抽出した連結画像のマーカー画像らしさを表す値（一致度）を得る。ここで、マッチング処理は、抽出した連結画像のサイズに応じてサイズ補正を行ったマーカー画像パターンを用いて行うこととしてもよい。そして、基準マーカー画像検出部２２は、抽出した連結画像の一致度が所定の閾値以上の場合に、当該連結画像がマーカー画像であると判定する。

対応マーカー画像検出部２３は、基準マーカー画像検出部２２が検出した基準マーカー画像の位置及び大きさに基づいて、対応マーカー画像の位置を推定する。ここで、対応マーカー画像は、基準マーカー画像を含むマーカー画像セットの少なくとも一つについて、当該マーカー画像セットに含まれる基準マーカー画像以外のマーカー画像である。

具体例として、図３（ａ）に示すように、電子透かし技術により同じ対象データが埋め込まれた複数の認識対象範囲と、当該複数の認識対象範囲のそれぞれを画定する際に用いられる複数のマーカー画像セットを含んだ対象画像の場合について、説明する。なお、この図においてはマーカー画像を除いた対象画像の内容は省略して図示している。図３（ａ）の例においては、マーカー画像Ｍ１，Ｍ２，Ｍ４及びＭ５が認識対象範囲Ａ１を画定する際に用いられるマーカー画像セットＳ１を構成し、マーカー画像Ｍ２，Ｍ３，Ｍ５及びＭ６が認識対象範囲Ａ２を画定する際に用いられるマーカー画像セットＳ２を構成している。ここで、マーカー画像Ｍ２及びＭ５はそれぞれ複数のマーカー画像セットに含まれている。

この場合において、図３（ａ）において破線によって示された範囲を撮像部１５が撮像したものとすると、図３（ｂ）に例示されるような撮像画像Ｉが得られる。基準マーカー画像検出部２２は例えばマーカー画像Ｍ２を基準マーカー画像として検出する。ここで、対応マーカー画像検出部２３は、基準マーカー画像の位置に基づいて、基準マーカー画像Ｍ２に対して向かって右、下、及び右下の方向に位置するマーカー画像Ｍ３，Ｍ５及びＭ６を検出の対象である対応マーカー画像として決定する。

なお、ここでは対応マーカー画像検出部２３は、検出された基準マーカー画像が認識対象範囲の左上に位置するマーカー画像であるものと推定して検出すべき対応マーカー画像を決定しているが、基準マーカー画像は常に認識対象範囲の左上に位置するとは限らない。例えば、基準マーカー画像検出部２２は、撮像画像Ｉに対してマーカー画像Ｍ３を基準マーカー画像として検出する場合も考えられる。この場合、検出された基準マーカー画像の撮像画像内における位置に基づいて、基準マーカー画像の認識対象範囲に対する位置を推定して、検出すべき対応マーカー画像を決定することとしてもよい。例えば撮像画像Ｉ内において向かって右半分の領域内に基準マーカー画像を検出した場合には、基準マーカー画像に対して左、下、及び左下の方向に位置するマーカー画像を検出すべき対応マーカー画像として決定する。

対応マーカー画像検出部２３は、具体的に以下のようにして各対応マーカー画像の位置を推定する。すなわち、予め定められたマーカー画像の対象画像中の大きさＳｏと、検出された基準マーカー画像の撮像画像中の大きさＳｉとの比Ｓｉ／Ｓｏを算出する。そして、予め定められた対象画像中における基準マーカー画像と対応マーカー画像との間の距離に、算出した比Ｓｉ／Ｓｏを乗算することにより、撮像画像中の基準マーカー画像と対応マーカー画像との間の距離を算出する。そして、算出した距離と、基準マーカー画像の位置の情報とに基づいて、対応マーカー画像の撮像画像内における位置を推定する。

上述した図３（ｂ）に例示される撮像画像Ｉの場合において、基準マーカー画像Ｍ２の位置が座標（ｘｓ，ｙｓ）で表され、また対象画像中のマーカー画像Ｍ２とマーカー画像Ｍ３との間の距離がＬｘ、マーカー画像Ｍ２とマーカー画像Ｍ５との間の距離がＬｙであるとする。この場合、撮像画像Ｉ内におけるマーカー画像Ｍ３の位置は座標（ｘｓ＋Ｌｘ・Ｓｉ／Ｓｏ，ｙｓ）、マーカー画像Ｍ５の位置は（ｘｓ，ｙｓ＋Ｌｙ・Ｓｉ／Ｓｏ）、マーカー画像Ｍ６の位置は（ｘｓ＋Ｌｘ・Ｓｉ／Ｓｏ，ｙｓ＋Ｌｙ・Ｓｉ／Ｓｏ）と推定できる。

なお、上述した例においては、撮像画像Ｉ内における認識対象範囲Ａ２の歪みや傾きはないものとして位置の推定を行う場合について説明したが、撮像部１５のレンズが対象画像に対して平行でなく、傾いた状態で対象画像を撮像することによって、撮像画像Ｉに歪みや傾きが生じる場合がある。この場合、基準マーカー画像の形状及び向きを検出することにより、撮像画像Ｉの歪み及び傾きを表すパラメタを算出できる。対応マーカー画像検出部２３は、算出されたパラメタにより撮像画像Ｉを回転及び／又は幾何変換することにより、歪みや傾きのない状態に修正して修正後の撮像画像を取得することにより、上述した方法により修正後の撮像画像内における対応マーカー画像の位置を推定できる。

さらに、対応マーカー画像検出部２３は、推定した位置に基づいて、対応マーカー画像を検出する。具体例として、対応マーカー画像検出部２３は、推定した位置を中心とした所定の範囲に対して、基準マーカー画像検出部２２と同様に当該範囲に含まれる連結画像を抽出し、マーカー画像判定処理を行うことにより、マーカー画像を検出する。これにより、撮像画像全体に対してマーカー画像の検出を行う場合と比較して、早くマーカー画像を検出することができ、処理時間を短縮できる。また、対応マーカー画像があると推定される位置に対してマーカー画像の検出を行うことで、誤判定によってマーカー画像でない連結画像をマーカー画像と判断してしまうミスを減らすことができる。

認識対象範囲取得部２４は、基準マーカー画像検出部２２が検出した基準マーカー画像及び対応マーカー画像検出部２３が検出した対応マーカー画像からなるマーカー画像セットに基づいて、撮像制御部２１が取得した撮像画像内に含まれる認識対象範囲を画定し、取得する。また、撮像画像に含まれる認識対象範囲が認識処理を行うために必要な所定条件を満たすか否かを判定する判定処理を実行する。なお、この判定処理の少なくとも一部は、基準マーカー画像検出部２２が検出した基準マーカー画像に基づいて、認識対象範囲を画定する前に実行することとしてもよい。

また、認識対象範囲を取得できない場合や、認識対象範囲が所定条件を満たしていないと判定した場合には、認識対象範囲取得部２４はユーザに対してガイド情報を出力するなどの所定の処理を実行する。これにより、ユーザはどのように撮像範囲や対象画像までの距離等を修正すれば、望ましい条件で認識対象範囲を含んだ撮像画像を撮像することができるか知ることができ、ユーザの利便性を向上できる。さらに、認識対象範囲取得部２４は、所定条件を満たすように認識対象範囲を取得できる場合には、そのことをユーザに提示するガイド情報を出力することとしてもよい。

認識対象範囲取得部２４は、例えば表示部１４にメッセージ情報や所定の指示内容を表すガイド画像を表示させることによりガイド情報を出力してもよい。一例として、認識対象範囲取得部２４は、認識処理の対象となる認識対象領域を表す枠線の画像をガイド画像として表示させ、当該ガイド画像の色を変化させることにより、認識対象範囲を取得できているか否かをユーザに提示することとしてもよい。

また、認識対象範囲取得部２４は、認識対象範囲を取得できない場合や、認識対象範囲が所定条件を満たさないと判定した場合に、撮像制御部２１に対して、撮像部１５を制御する制御命令を出力することとしてもよい。例えば、撮像画像内における認識対象範囲の大きさが所定範囲に含まれないと判定した場合、認識対象範囲取得部２４は、認識対象範囲の大きさが所定範囲に含まれるように撮像部１５の撮像倍率を変化させる制御命令を撮像制御部２１に対して出力することとしてもよい。

具体例として、認識対象範囲取得部２４は、まず基準マーカー画像検出部２２が検出した基準マーカー画像の大きさと、予め定められた対象画像内における基準マーカー画像の大きさとの比Ｓｉ／Ｓｏを用いて、対象画像に対する撮像画像の大きさの比率を取得する。そして、取得した比率の値が所定の範囲に含まれているか否か判定することにより、撮像画像内における認識対象範囲の大きさが所定範囲に含まれるか否かを判定できる。さらに、取得した比率の値に基づいて、撮像制御部２１に対して撮像倍率を変化させる制御命令を出力する。これにより、撮像制御部２１が撮像部１５の撮像倍率を変化させることで、ユーザの明示の指示によらずに認識対象範囲の大きさが所定範囲に含まれるように撮像画像を調整することができ、ユーザの利便性を向上できる。

また、認識対象範囲取得部２４は、検出された基準マーカー画像に対してピントが合っているか否かの判定を行い、この判定結果に基づいて撮像部１５の焦点距離を変化させる制御命令を撮像制御部２１に対して出力することとしてもよい。

認識処理部２５は、認識対象範囲取得部２４が取得した認識対象範囲に対して、認識処理を実行する。具体例として、この認識処理は、認識対象範囲が文字画像を含んでいる場合には、当該文字画像を表す文字コードを取得する処理である。また、認識対象範囲がバーコードや２次元コードなどを表すコード画像を含んでいる場合には、当該コード画像により表されるデータを、所定の解析処理によって取得する処理である。また、認識対象範囲が電子透かし技術により対象データが埋め込まれた画像領域である場合には、埋め込みに用いられた電子透かし技術に応じた方法によって、埋め込まれた対象データを抽出する処理である。

次に、図３（ａ）に例示された対象画像を画像処理装置１０が撮像する場合の処理の例について、図４のフロー図に基づいて説明する。

まず、撮像制御部２１は、対象画像を撮像して得られる撮像画像を取得し、表示部１４に表示させる（Ｓ１）。続いて、基準マーカー画像検出部２２が、Ｓ１の処理で取得した撮像画像から、基準マーカー画像を検出する（Ｓ２）。ここでは一例として、マーカー画像Ｍ２を基準マーカー画像として検出したこととする。

次に、認識対象範囲取得部２４が、Ｓ２の処理により検出した基準マーカー画像の大きさに基づいて、認識対象範囲の撮像画像内における大きさが所定範囲に含まれるか否かを判定するサイズ判定処理を実行する（Ｓ３）。

Ｓ３の判定処理により認識対象範囲の大きさが所定範囲に含まれないと判定した場合、認識対象範囲取得部２４は、撮像制御部２１に対して制御命令を出力することにより、認識対象範囲の大きさが所定範囲に含まれるように撮像部１５の撮像倍率を変化させる調整処理を実行する（Ｓ４）。これにより、撮像画像内における認識対象範囲の大きさが所定範囲に含まれることとなる。

Ｓ３の処理により認識対象範囲の大きさが所定範囲に含まれると判定した場合、またＳ４の処理により認識対象範囲の大きさが所定範囲に含まれるようにする調整処理が完了した場合、認識対象範囲取得部２４は、その旨を表すガイド情報を出力する（Ｓ５）。ここでは一例として、認識対象範囲取得部２４は、表示部１４に表示させている認識対象領域を表す枠線のガイド画像の色を、赤からオレンジに変化させることにより、認識対象範囲の大きさが所定範囲に含まれることをユーザに提示することとする。

続いて、対応マーカー画像検出部２３が、基準マーカー画像の位置及び大きさに基づいて、対応マーカー画像の位置を推定し、推定した位置に基づいて対応マーカー画像を検出する対応マーカー画像検出処理を実行する（Ｓ６）。ここでは、マーカー画像セットＳ２に含まれるマーカー画像Ｍ３，Ｍ５及びＭ６を対応マーカー画像として決定し、これらのマーカー画像の検出を行うこととする。

さらに、認識対象範囲取得部２４は、基準マーカー画像を含み、検出対象とする認識対象範囲の画定に用いられるマーカー画像セットに含まれる対応マーカー画像を、検出できたか否かを判定する（Ｓ７）。

ここでは、マーカー画像Ｍ３，Ｍ５及びＭ６の３つの対応マーカー画像を検出できない場合、マーカー画像セットＳ２に含まれる全てのマーカー画像を検出できていないこととなり、認識対象範囲Ａ２を画定できない。そのため、認識対象範囲取得部２４は新たなガイド情報を出力せず、前述したガイド画像の色はオレンジのままである。この場合、ユーザは画像処理装置１０の位置を動かすことで、認識対象範囲全体が撮像画像に含まれるように調整を行う。この間、画像処理装置１０は、Ｓ１の処理に戻って対応マーカー画像を検出できるまで上述した処理を繰り返すこととなる。

一方、Ｓ７の処理において、マーカー画像Ｍ３，Ｍ５及びＭ６の３つの対応マーカー画像を検出した場合、認識対象範囲Ａ２の全体が望ましい大きさで撮像画像に含まれる状態になったこととなる。この場合、認識対象範囲取得部２４は、認識対象範囲Ａ２の全体が望ましい大きさで撮像画像に含まれることを表すガイド情報を出力する（Ｓ８）。ここでは一例として、前述した枠線のガイド画像の色を、オレンジから緑に変化させることにより、認識対象範囲Ａ２を画定できる状態になったことをユーザに提示することとする。

ガイド画像の色が変化した場合、ユーザは、例えばシャッターボタンを押下するなどの操作部１３に対する指示操作により、撮像画像から認識対象範囲を取得し、認識処理を行う旨の指示を行う。ユーザからの指示を受け付けた認識対象範囲取得部２４は、認識対象範囲を取得する（Ｓ９）。認識処理部２５は、認識対象範囲取得部２４が取得した認識対象範囲に対して、所定の認識処理を実行し、結果を出力する（Ｓ１０）。

以上説明した例によれば、ユーザは、リアルタイムに撮像画像に対して実行されるサイズ判定処理や対応マーカー画像検出処理などの結果に基づいて画像処理装置１０が出力するガイド情報を見ながら、画像処理装置１０の位置などを調整することで、認識対象範囲を含んだ撮像画像を画像処理装置１０に撮像させることができる。これにより、認識対象範囲が人間の目には判別し難い態様で対象画像に含まれる場合であっても、容易に認識対象範囲を含む撮像画像を撮像させることができ、ユーザにとっての利便性を向上できる。

以上説明した本実施の形態によれば、基準マーカー画像の大きさに基づいて対応マーカー画像の位置を推定して、推定した位置に基づいて対応マーカー画像を検出することで、マーカー画像の検出を容易に行うことができ、処理時間を短縮できる。また、基準マーカー画像の大きさに基づいて認識対象範囲の大きさが所定範囲に含まれるか否かを判定することで、認識対象範囲を画定することをせずに、認識対象範囲の大きさに対する判定を行うことができる。これにより、画像処理装置１０は、撮像画像に認識対象範囲が望ましい条件で含まれているか否かを判定するために要する時間を短縮できる。

本発明の実施の形態に係る画像処理装置の概略の構成を表すブロック図である。本発明の実施の形態に係る画像処理装置の機能を表す機能ブロック図である。本発明の実施の形態に係る画像処理装置によって撮像される対象画像及び撮像によって得られる撮像画像の一例を表す図である。本発明の実施の形態に係る画像処理装置によって実行される処理の一例を表すフロー図である。

符号の説明

１０画像処理装置、１１制御部、１２記憶部、１３操作部、１４表示部、１５撮像部、２１撮像制御部、２２基準マーカー画像検出部、２３対応マーカー画像検出部、２４認識対象範囲取得部、２５認識処理部。

Claims

複数のマーカー画像と、前記複数のマーカー画像の少なくとも一部である一群のマーカー画像セットを用いて画定される認識対象範囲と、を含む撮像画像を処理する画像処理装置であって、
前記撮像画像を取得する取得手段と、
前記撮像画像から一つのマーカー画像を基準マーカー画像として検出する基準マーカー画像検出手段と、
前記検出した基準マーカー画像を含むマーカー画像セットの少なくとも一つについて、当該マーカー画像セットに含まれる基準マーカー画像以外のマーカー画像を対応マーカー画像として、当該対応マーカー画像の前記撮像画像内における位置を推定する手段であって、前記検出した基準マーカー画像の大きさに応じて決まる位置を、当該対応マーカー画像の位置として推定する位置推定手段と、
前記撮像画像内の前記推定した位置に対応する範囲から、前記対応マーカー画像を検出する対応マーカー画像検出手段と、
を含むことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記検出した基準マーカー画像の大きさに基づいて、前記認識対象範囲の前記撮像画像内における大きさが、所定範囲に含まれるか否かを判定する判定手段をさらに含み、
前記判定結果が、所定の処理に供されることを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記判定結果に応じて、前記撮像手段の撮像倍率を、前記認識対象範囲の前記撮像画像内における大きさが前記所定範囲に含まれるように変化させる撮像倍率調整手段をさらに含むことを特徴とする画像処理装置。
請求項１から３のいずれか一項に記載の画像処理装置において、
前記検出した基準マーカー画像及び対応マーカー画像に基づいて、前記撮像画像内における前記認識対象範囲が所定条件を満たすか否か判定し、当該判定の結果、所定条件を満たしていないと判定した場合、ユーザに対するガイド情報を出力するガイド情報出力手段をさらに含むことを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記ガイド情報は、前記撮像画像内における前記認識対象範囲を表す枠線の画像であって、
前記ガイド情報出力手段は、前記撮像画像の取得、前記基準マーカー画像の検出、及び前記対応マーカー画像の検出が繰り返されることに応じて時間とともに変化するガイド情報を出力する
ことを特徴とする画像処理装置。
複数のマーカー画像と、前記複数のマーカー画像の少なくとも一部である一群のマーカー画像セットを用いて画定される認識対象範囲と、を含む撮像画像を処理する画像処理装置を用いた画像処理方法であって、
前記撮像画像を取得するステップと、
前記撮像画像から一つのマーカー画像を基準マーカー画像として検出するステップと、
前記検出した基準マーカー画像を含むマーカー画像セットの少なくとも一つについて、当該マーカー画像セットに含まれる基準マーカー画像以外のマーカー画像を対応マーカー画像として、当該対応マーカー画像の前記撮像画像内における位置を推定するステップであって、前記検出した基準マーカー画像の大きさに応じて決まる位置を、当該対応マーカー画像の位置として推定するステップと、
前記撮像画像内の前記推定した位置に対応する範囲から、前記対応マーカー画像を検出するステップと、
を含むことを特徴とする画像処理方法。
複数のマーカー画像と、前記複数のマーカー画像の少なくとも一部である一群のマーカー画像セットを用いて画定される認識対象範囲と、を含む撮像画像を処理する画像処理装置を制御するプログラムであって、
前記撮像画像を取得する取得手段、
前記撮像画像から一つのマーカー画像を基準マーカー画像として検出する基準マーカー画像検出手段、
前記検出した基準マーカー画像を含むマーカー画像セットの少なくとも一つについて、当該マーカー画像セットに含まれる基準マーカー画像以外のマーカー画像を対応マーカー画像として、当該対応マーカー画像の前記撮像画像内における位置を推定する手段であって、前記検出した基準マーカー画像の大きさに応じて決まる位置を、当該対応マーカー画像の位置として推定する位置推定手段、及び
前記撮像画像内の前記推定した位置に対応する範囲から、前記対応マーカー画像を検出する対応マーカー画像検出手段、
としてコンピュータを機能させることを特徴とするプログラム。