JP4455294B2 - 画像情報処理装置、判定方法、及びコンピュータプログラム - Google Patents

Description

本発明は、複数の画像間で各画像中に存在する標識の異同を判定する画像情報処理装置、判定方法、及びコンピュータプログラムに関する。

実世界中の対象物及び／又は既定の標識（マーカ）に対し、所定の関連情報を呈示する情報呈示装置としては、バーコードリーダが一般的によく知られている。そのうち、対象物及び／又は既定のマーカの空間情報を利用して、情報を呈示する装置がある。

例えば、特許文献１には、名刺上に印刷された２次元コードをカメラで読み込み、コンピュータ内のプログラムでＩＤを解析し、このＩＤに相当する人物の顔写真を、あたかも名刺上の２次元コードの横にあるかのごとく、コンピュータ上のディスプレイに表示する技術が開示されている。
特開２０００−８２１０７号公報

しかしながら、上記特許文献１に開示されているような技術では、同じデザインの標識（マーカ）が複数枚の画像中に存在すると、同一のマーカと認識してしまう。これは、それぞれのマーカの区別ができないという問題によるものである。

本発明は、上記の点に鑑みてなされたもので、複数の画像間で各画像中に存在する標識の異同を判定することが可能な画像情報処理装置、判定方法、及びコンピュータプログラムを提供することを目的とする。

本発明の画像情報処理装置の一態様は、
画像情報を入力する画像情報入力手段と、
上記画像情報入力手段によって入力された画像情報の画像中において、標識を抽出する抽出手段と、
上記抽出手段で抽出された標識の上記画像中における位置を検出する位置検出手段と、
複数の画像において各々抽出された標識間の異同を判定する手段であり、少なくとも選択的に適用される判定条件として、上記位置検出手段によって検出された当該各標識の位置に基づく判定条件を具備する判定手段と、
上記抽出手段で抽出された標識間の類似度を評価する類似度評価手段と、
を具備し、
上記判定手段は、上記類似度評価手段の評価結果だけでは上記標識間の異同の判定が出来ない場合に、上記位置検出手段によって検出された当該各標識の位置情報に基づいてこの判定を行う、
ことを特徴とする。

また、本発明の複数の画像間で各画像中に存在する標識の異同を判定する方法の一態様は、
複数の画像を入力するステップと、
上記入力された各画像中において、標識を抽出するステップと、
上記抽出された標識の画像上の位置を検出するステップと、
少なくとも選択的に上記検出された上記標識の位置に基づく判定条件を適用して、上記入力された複数の画像において各々抽出された画像標識間の異同を判定するステップと、
上記抽出された標識間の類似度を評価するステップと、
上記標識間の類似度の評価結果だけでは上記標識間の異同の判定が出来ない場合には、上記標識の画像上の位置を検出するステップで検出された当該各標識の位置情報に基づいてこの判定を行うステップと、
を具備することを特徴とする。

また、本発明のコンピュータプログラムの一態様は、コンピュータに複数の画像間で各画像中に存在する標識の異同を判定させるコンピュータプログラムであり、コンピュータに、
複数の画像を入力させ、
上記入力された各画像中において、標識を抽出させ、
上記抽出された標識の画像上の位置を検出させ、
少なくとも選択的に上記検出された上記標識の位置に基づく判定条件を適用して、上記入力された複数の画像において各々抽出された画像標識間の異同を判定させ、
上記抽出された標識間の類似度を評価させ、
上記標識間の類似度の評価結果だけでは上記標識間の異同の判定が出来ない場合には、上記検出された当該各標識の位置情報に基づいて上記標識間の異同を判定させる、
ことを特徴とする。

本発明によれば、複数の画像間で各画像中に存在する標識の異同を判定することが可能な画像情報処理装置、判定方法、及びコンピュータプログラムを提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

図１（Ａ）は本発明の一実施形態に係る画像情報処理装置の構成を示す図で、本実施形態に係る画像情報処理装置は、カメラである画像入力部１０と、パーソナルコンピュータ等で構成された制御部２０と、液晶ディスプレイ等の表示部３０とからなる。なお、これら画像入力部１０、制御部２０及び表示部３０を一体化した携帯型の装置として構成しても良いことは勿論である。また、制御部２０の機能の一部を、ネットワークを介してアクセス可能なサーバ上に構成することも可能である。

上記画像入力部１０は、画像情報入力手段として機能するもので、所定のパターンを持った標識であるマーカ１００を撮影し、得られた画像情報を制御部２０に入力する。ここで、上記マーカ１００は、例えば、図１（Ｂ）に示すように、予め定められた形状（本実施形態では四角形）の枠部１０１と、その枠部１０１の内部に記された文字を含む記号や意匠１０２とから構成される。

上記制御部２０は、マーカ検出部２１、位置姿勢検出部２２、マーカ情報格納部２３、関連情報生成部２４、関連情報格納部２５、及び重畳画像生成部２６を含む。ここで、マーカ検出部２１は、抽出手段として機能するもので、上記画像入力部１０によって入力された画像情報の画像内から、上記枠部１０１を検出することで上記標識としてのマーカ１００を検出し、その検出結果をマーカ情報として位置姿勢検出部２２に供給する。位置姿勢検出部２２は、位置検出手段、判定手段及び類似度評価手段として機能するもので、上記マーカ検出部２１からのマーカ情報を用いて、マーカ情報格納部２３に格納されている情報から対応するマーカを同定し、カメラ（画像入力部１０）の位置及び姿勢を検出して、関連情報生成部２４に供給する。マーカ情報格納部２３には、マーカ１００のテンプレート画像やマーカ１００の配置されている位置姿勢情報等のマーカ１００に関する情報が格納されている。関連情報生成部２４は、上記位置姿勢検出部２２で検出した上記画像入力部１０の位置姿勢に応じて関連情報格納部２５から予め設定された情報を抽出して関連情報を生成し、重畳画像生成部２６に供給する。関連情報格納部２５には、モデル空間上に配置されたモデルの位置姿勢情報や形状情報、属性情報等の関連情報が格納されている。重畳画像生成部２６は、上記画像入力部１０からの画像情報と上記関連情報生成部２４で生成した関連情報とを重畳して、上記表示部３０に供給する。

また、上記表示部３０は、上記重畳画像生成部２６で生成された重畳画像を表示するものである。

以上のような構成の画像情報処理装置の動作を、図２のフローチャートを参照して、詳細に説明する。

まず、画像入力部１０により画像を撮影し、得られた画像情報を第１の画像情報としてマーカ検出部２１に入力する（ステップＳ１０）。マーカ検出部２１では、その入力された第１の画像情報の画像内に含まれるマーカ１００の検出を行う（ステップＳ１２）。これは、まず、マーカ１００の枠部１０１を検出することで、マーカ候補を検出する。この枠部１０１の検出は、公知の画像処理手法であるので、その詳細説明は省略する。このとき、検出されるマーカ候補は一つに限られない。次に、その検出各マーカ候補の枠部１０１の四隅の画像内での座標を検出し、各枠部１０１の内部を抽出してそれぞれアフィン変換を行う。そして、アフィン変換後の各画像とマーカ情報格納部２３に予め登録してあるマーカのテンプレート画像（例えば、「５０」等の記号や意匠１０２を持つマーカの画像）とのパターンマッチングをそれぞれ行う。その結果、マーカのテンプレート画像と一致する画像がなければ、マーカ１００が検出されなかったとして（ステップＳ１４）、上記ステップＳ１０の画像入力に戻る。

一方、マーカのテンプレート画像と一致する画像があれば、マーカ１００が検出されたとして（ステップＳ１４）、位置姿勢検出部２２で、上記マーカ検出部２１によって検出した当該マーカの枠部１０１の四隅の座標から、その枠部１０１の中心座標をそれぞれ求め、各マーカ１００の位置情報とする（ステップＳ１６）。そして、検出した各マーカにＩＤを振り（ステップＳ１８）、各マーカのＩＤと位置情報とを図示しない内部メモリに記憶する（ステップＳ２０）。

その後、再び、画像入力部１０により画像を撮影し、得られた画像情報を第２の画像情報としてマーカ検出部２１に入力する（ステップＳ２２）。マーカ検出部２１では、上記ステップＳ１２と同様にして、その入力された第２の画像情報の画像内に含まれるマーカ１００の検出を行う（ステップＳ２４）。ここで、マーカ１００が検出されなかったならば（ステップＳ２６）、上記ステップＳ２２の画像入力に戻る。

一方、マーカ１００が検出された場合には（ステップＳ２６）、位置姿勢検出部２２で、上記ステップＳ１６と同様にして、各マーカ１００の位置情報を検出し（ステップＳ２８）、そして更に、マーカの同定処理を実行する（ステップＳ３０）。

このステップＳ３０の同定処理は、図３に示すように、まず、第１の画像から検出した各マーカ及び第２の画像から検出した各マーカの、画像類似度を比較する（ステップＳ３０１）。これは、第１の画像のマーカ、第２の画像のマーカの区別なく、各マーカの類似度を比較するものである。ここで、同じ（類似の）マーカがなければ（ステップＳ３０２）、第１の画像から検出し記憶しているマーカのＩＤを全てクリアする（ステップＳ３０３）。そして、第２の画像から検出したマーカ全てに対して、新たにＩＤを振って（ステップＳ３０４）、この同定処理を終了する。

これに対して、同じ（類似の）マーカがあるならば（ステップＳ３０２）、同じ（類似の）マーカ同士を関連付ける（ステップＳ３０５）。この関連付けは、（１）第１の画像のマーカのみの関連付け、（２）第２の画像のマーカのみの関連付け、（３）両方の画像のマーカが含まれる関連付け、の３種類が可能である。次に、各関連付けられたマーカ同士の中で、互いの距離が近い順に、第２の画像から検出したマーカを、第１の画像から検出したマーカに対応付けていく（ステップＳ３０６）。これは各関連付け毎に行うものであるが、当然、上記（３）の両方の画像のマーカが含まれる関連付けの場合のみ、対応付けされる。第１画像のマーカと第２画像のマーカとで数が異なれば、多い方から「余り」がでる。また、上記（１）の第１の画像のマーカのみの関連付け及び（２）の第２の画像のマーカのみの関連付けの場合は、全マーカが「余り」となる。

次に、各関連付けられたマーカ同士の中で、上記対応付けされた分について、第１の画像から検出したマーカのＩＤを第２の画像から検出したマーカのＩＤに転記する（ステップＳ３０７）。これは各関連付け毎に行うものであり、上記ステップＳ３０７で対応付けられなかった「余り」は転記対象外となる。

そして、上記転記されたＩＤを除き、第１の画像から検出したマーカのＩＤを全てクリアする（ステップＳ３０８）。即ち、第２の画像には無い、第１の画像だけのマーカはＩＤを全てクリアする。また、上記ＩＤが転記された以外の、第２の画像から検出したマーカ全てに対して、新たにＩＤを振る（ステップＳ３０９）。即ち、第２の画像で新規に発生したマーカは、ＩＤを新規に振る。そして、この同定処理を終了する。

ここで、この同定処理までの動作を、具体例を用いて説明する。

まず、図４により、画像入力部１０で撮影しているマーカが１個から２個に増えた場合を説明する。ここで、マーカＣはマーカＡと同一のマーカであり、マーカＢは新たに見えたマーカと想定する。また、これらマーカＡ，Ｂ，Ｃは同一デザイン（記号や意匠１０２が同一）のマーカである。

即ち、上記ステップＳ１０乃至ステップＳ２０の処理により、第１の画像４１でマーカ（マーカＡ）が１個検出され、そのマーカは「５０」の記号や意匠１０２を持つマーカであり、（例えば、画像左上を（０，０）とする座標において）その中心座標が（８０，８０）、ＩＤは「１」と記憶される。また、上記ステップＳ２２乃至ステップＳ２８の処理により、第２の画像４２で、マーカが２個検出され、一方のマーカＢは「５０」の記号や意匠１０２を持ち、中心座標は（１０，１０）のマーカ、他方のマーカＣは同じく「５０」の記号や意匠１０２を持ち、中心座標は（９０，９０）のマーカであると検出される。

このような場合、同定処理においては、まず、上記ステップＳ３０１，Ｓ３０５，Ｓ３０６の処理により、第１の画像４１で検出したＩＤが「１」のマーカＡについて、現在の第２の画像４２で検出したマーカＢ、マーカＣの中で一番距離が近いマーカを探す。そして、ＩＤ「１」のマーカＡの中心座標が（８０，８０）なので、中心座標が（９０，９０）のマーカＣの方が中心座標が（１０，１０）のマーカＢに比べて距離が近いので、上記ステップＳ３０６，Ｓ３０７の処理により、中心座標（９０，９０）のマーカＣのＩＤを「１」にセットする。また、第１の画像４１で検出したマーカ数は１個なので、残りの中心座標（１０，１０）のマーカＢは、現第２の画像４２で新規に検出したマーカと判断し、上記ステップＳ３０９の処理により、ＩＤとして「２」をセットする。

以上より、第１の画像４１で中心座標（８０，８０）で検出した「５０」の記号や意匠１０２を持つマーカＡは、現第２の画像４２で中心座標（９０，９０）で検出した「５０」の記号や意匠１０２を持つマーカＣであると認識することが可能となる。また、現第２の画像４２から中心座標（１０，１０）で検出した同じく「５０」の記号や意匠１０２を持つマーカＢは、新規検出マーカとして認識することが可能となる。

次に、図５により、画像入力部１０で撮影しているマーカが２個から１個に減った場合を説明する。ここで、マーカＦはマーカＥと同一のマーカ、マーカＤは見えなくなったマーカであると想定する。

即ち、上記ステップＳ１０乃至ステップＳ２０の処理により、第１の画像５１でマーカが２個検出され、一方のマーカＤは「５０」の記号や意匠１０２を持ち、中心座標は（１０，１０）でＩＤは「１」のマーカ、他方のマーカＥは同じく「５０」の記号や意匠１０２を持ち、中心座標は（９０，９０）でＩＤは「２」のマーカであると記憶される。また、上記ステップＳ２２乃至ステップＳ２８の処理により、第２の画像５２で、マーカ（マーカＦ）が１個検出され、そのマーカは「５０」の記号や意匠１０２を持ち、その中心座標が（８０，８０）のマーカであると検出される。

このような場合、同定処理においては、まず、上記ステップＳ３０１，Ｓ３０５，Ｓ３０６の処理により、第１の画像５１で検出したＩＤが「１」のマーカＤについて、現在の第２の画像５２で検出したマーカＦとの距離を求め、次に第１の画像５１で検出したＩＤが「２」のマーカＥについて、現在の第２の画像５２で検出したマーカＦとの距離を求める。そして、マーカＦは中心座標（８０，８０）なので、中心座標（９０，９０）のマーカＥが一番距離が近いので、上記ステップＳ３０６，Ｓ３０７の処理により、マーカＦのＩＤを「２」にセットする。

また、第１の画像５１で検出したマーカ数は２個なので、残りの中心座標（１０，１０）のマーカＤは、次の第２の画像５２で検出できなくなったマーカと判断し、上記ステップＳ３０８の処理により、ＩＤ「１」をクリアする。

以上より、前の第１の画像５１で中心座標（９０，９０）で検出した「５０」の記号や意匠１０２を持つマーカＥは、次の第２の画像５２で中心座標（８０，８０）で検出した「５０」の記号や意匠１０２を持つマーカＦであると認識することが可能となる。また、第１の画像５１で中心座標（１０，１０）で検出した「５０」の記号や意匠１０２を持つマーカＤは、検出できなくなったマーカとして認識することが可能となる。

以上のような同定処理を実施して、第２の画像における各マーカにＩＤを振ったならば、位置姿勢検出部２２では、各マーカのＩＤと、上記ステップＳ２８で検出した各マーカの位置情報とを図示しない内部メモリに記憶する（ステップＳ３２）。

そして、位置姿勢検出部２２は、更に、マーカ情報格納部２３から同定した各マーカの空間定位情報（マーカの配置されている位置姿勢情報）を入手し、画像内での当該マーカの枠部１０１の四隅の位置からカメラ（画像入力部１０）の位置姿勢を検出する（ステップＳ３４）。なお、マーカからカメラの位置姿勢を求める方法は、例えば、「ＶＲインターフェースのための単眼による長方形マーカー位置・姿勢の高精度実時間推定法」（3D Image Conference’96 予稿集 pp.167-172 高橋章、石井郁夫、牧野秀夫、中静真 1996）に開示されているので、その詳細説明は省略する。

そして、関連情報生成部２４では、その検出したカメラ（画像入力部１０）の位置姿勢に応じて関連情報格納部２５から予め設定された情報を抽出して関連情報を生成する（ステップＳ３６）。重畳画像生成部２６は、上記画像入力部１０からの画像とその関連情報生成部２４で生成した関連情報とを重畳して、表示部３０に重畳画像を表示する（ステップＳ３８）。

以上のようにして、同じデザイン（同じ記号や意匠１０２を持つ）のマーカ１００を同時に複数撮影した場合であっても、それぞれのマーカ１００を区別可能となる。また、複数の画像間で各画像中に存在するマーカ１００の異同を判定することが可能となる。

［適用例］
ここで、同一（同じ記号や意匠１０２を持つ）のマーカ１００を複数使用する場合の一例として、本実施形態を神経衰弱ゲームに応用した場合について説明する。

この神経衰弱ゲームは、最初に１枚目のカードをめくり、次に２枚目のカードをめくったとき、１枚目と２枚目が同じカードであったならば、１枚目のカードの関連情報として表示していたキャラクタが２枚目のカードの位置に移動するものである。

即ち、図６（Ａ）は、マーカ１００を印刷したカード２００を裏返して置いてある状態を撮影した時の表示部３０の画面３１を示す図である。この場合、画面３１内には、カード２００が４枚あるが、マーカ１００を認識していない為に何も表示されていない。

図６（Ｂ）は、カード２００を１枚裏返して置いた状態を撮影した時の画面３２を示している。このときの画面３２では、裏返したカード２００に印刷された「５０」の記号や意匠１０２を持つマーカ１００が１個検出されるため、その「５０」の記号や意匠１０２に対応した関連情報であるキャラクタ６０（この場合は「車」）を、その位置姿勢に応じた位置姿勢で表示している。

図６（Ｃ）は、もう一枚のカード２００を裏返して置いた状態を撮影した時の画面３３を示す図である。この画面３３では、同一の「５０」の記号や意匠１０２を持つマーカ１００を２個検出し、「５０」の記号や意匠１０２に対応したキャラクタ６０（この場合は「車」）を、それぞれの位置姿勢に応じて２台表示している。

なお、勿論、神経衰弱ゲームであるから、他の記号や意匠１０２を持つカードが２枚目として裏返して置かれた状態を撮影する場合も多々あり、その場合には、その２枚目のカードに印刷されたマーカの記号や意匠１０２に対応するキャラクタが表示されることになる。

そして、図６（Ｃ）のように、マーカの記号や意匠１０２が合致した場合には、絵合わせが成功であるので、そのことを呈示するために、図６（Ｃ）の画面３３から、図６（Ｄ）乃至（Ｆ）に示すような画面３４乃至３６のように、表示を変遷させる。即ち、図６（Ｄ）の画面３４は、１枚目に検出した「５０」の記号や意匠１０２を持つマーカ１００の位置から、２枚目に検出した「５０」の記号や意匠１０２を持つマーカ１００に向かって、キャラクタ６０（この場合は「車」）が移動している様子を表示している。図６（Ｅ）の画面３５は、そのキャラクタ６０（この場合は「車」）の移動が完了し、一つの大きなキャラクタ６１に表示を変更している。そして、図６（Ｆ）の画面３６では、そのキャラクタ６１に代えて、成功したことを示す文字６２を表示している。

このように、同一デザインのマーカを複数使用しても、それぞれのマーカを区別できる為に、例えば神経衰弱ゲームへの応用をはじめとして、種々の用途に応用することが可能となる。

以上、一実施形態に基づいて本発明を説明したが、本発明は上述した一実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記一実施形態では、制御部２０の各構成をハードウェアとして実現した場合を説明したが、コンピュータプログラムの形態とし、それをコンピュータで実行することで同様の機能を実現するものであっても良い。その場合、コンピュータが備えるプログラムメモリに予めそのコンピュータプログラムを記憶させておいても良いし、ＣＤ−ＲＯＭ等の記録媒体によって提供され、その記録媒体から読み込んでプログラムメモリに記憶させたものでも良い。更には、インターネットやＬＡＮ等のネットワークを介して外部の記録媒体に記録されたものをダウンロードして、プログラムメモリに記憶させたものであっても構わない。

また、上記実施形態では、第１の画像と第２の画像の２画像を使用する場合についてのみ説明したが、３画像以上を用いても良いし、動きの予測を適用することも可能である。

図１（Ａ）は本発明の一実施形態に係る画像情報処理装置の構成を示す図であり、図１（Ｂ）は標識であるマーカの例を説明するための図である。 図２は画像情報処理装置の動作を説明するためのフローチャートを示す図である。 図３は図２中の同定処理の詳細を説明するためのフローチャートを示す図である。 図４は画像入力部で撮影しているマーカが１個から２個に増えた場合を説明するための第１及び第２の画像を示す図である。 図５は画像入力部で撮影しているマーカが２個から１個に減った場合を説明するための第１及び第２の画像を示す図である。 図６は同一のマーカを複数使用する場合の一例として神経衰弱ゲームに応用した場合を説明するための画面の遷移を示す図である。

符号の説明

１０…画像入力部、 ２０…制御部、 ２１…マーカ検出部、 ２２…位置姿勢検出部、 ２３…マーカ情報格納部、 ２４…関連情報生成部、 ２５…関連情報格納部、 ２６…重畳画像生成部、 ３０…表示部、 ３１，３２，３３，３４，３５，３６…画面、 ４１，５１…第１の画像、 ４２，５２…第２の画像、 ６０，６１…キャラクタ、 ６２…文字、 １００…マーカ、 １０１…枠部、 １０２…記号や意匠、 ２００…カード。

Claims (5)

1. 画像情報を入力する画像情報入力手段と、
   上記画像情報入力手段によって入力された画像情報の画像中において、標識を抽出する抽出手段と、
   上記抽出手段で抽出された標識の上記画像中における位置を検出する位置検出手段と、
   複数の画像において各々抽出された標識間の異同を判定する手段であり、少なくとも選択的に適用される判定条件として、上記位置検出手段によって検出された当該各標識の位置に基づく判定条件を具備する判定手段と、
   上記抽出手段で抽出された標識間の類似度を評価する類似度評価手段と、
   を具備し、
   上記判定手段は、上記類似度評価手段の評価結果だけでは上記標識間の異同の判定が出来ない場合に、上記位置検出手段によって検出された当該各標識の位置情報に基づいてこの判定を行う、
   ことを特徴とする画像情報処理装置。
2. 上記判定手段は、上記位置検出手段によって検出された当該各標識の位置情報から導かれた当該各標識間の距離が、最も近い標識同士を同一と判定することを特徴とする請求項１に記載の画像情報処理装置。
3. 複数の画像を入力するステップと、
   上記入力された各画像中において、標識を抽出するステップと、
   上記抽出された標識の画像上の位置を検出するステップと、
   少なくとも選択的に上記検出された上記標識の位置に基づく判定条件を適用して、上記入力された複数の画像において各々抽出された画像標識間の異同を判定するステップと、
   上記抽出された標識間の類似度を評価するステップと、
   上記標識間の類似度の評価結果だけでは上記標識間の異同の判定が出来ない場合には、上記標識の画像上の位置を検出するステップで検出された当該各標識の位置情報に基づいてこの判定を行うステップと、
   を具備することを特徴とする、複数の画像間で各画像中に存在する標識の異同を判定する判定方法。
4. 上記画像標識間の異同を判定するステップは、上記位置を検出するステップによって検出された当該各標識の位置情報から導かれた当該各標識間の距離が、最も近い標識同士を同一と判定することを特徴とする請求項３に記載の判定方法。
5. コンピュータに複数の画像間で各画像中に存在する標識の異同を判定させるコンピュータプログラムであり、コンピュータに、
   複数の画像を入力させ、
   上記入力された各画像中において、標識を抽出させ、
   上記抽出された標識の画像上の位置を検出させ、
   少なくとも選択的に上記検出された上記標識の位置に基づく判定条件を適用して、上記入力された複数の画像において各々抽出された画像標識間の異同を判定させ、
   上記抽出された標識間の類似度を評価させ、
   上記標識間の類似度の評価結果だけでは上記標識間の異同の判定が出来ない場合には、上記検出された当該各標識の位置情報に基づいて上記標識間の異同を判定させる、
   ことを特徴とする、コンピュータプログラム。

Images