JP4461001B2 - 情報端末 - Google Patents

Description

本発明は、マーカを認識する情報端末に関する。

被写体を撮像した画像上の対応位置に、上記被写体の各部の関連情報を重畳表示する関連情報呈示装置が特許文献１に開示されている。この特許文献１に開示の関連情報呈示装置は、画像入力手段によって、上記被写体の４点以上の位置情報を表わすパターンが表示されたマーカを撮像範囲に含めて、上記被写体を撮像した画像を入力し、位置情報管理手段によって、その入力された画像から上記パターンを読み取り、上記位置情報を獲得し、位置情報取得手段によって、その獲得位置情報より上記画像入力手段の位置及び姿勢を求め、関連情報生成手段によって、その求められた画像入力手段の位置及び姿勢より、上記被写体の各部の上記画像上での位置を求め、情報重畳表示手段によって、その求められた上記画像上での位置にもとづく対応位置に上記関連情報を重畳表示するというものである。

また、画像から注目画像を特定する画像処理装置として、特許文献２には、目印画像特定部によって、注目画像における特定方向を認識可能な目印画像を、画像から特定し、注目画像特定部によって、その目印画像と注目画像との位置関係を示す相対位置情報、及び目印画像から認識される特定方向を利用して、注目画像を特定するものが開示されている。
特開２００１−１２６０５１号公報 特開２００３−６７７４２号公報

上記特許文献１に開示されているようなマーカを認識する情報提示装置においては、マーカは、四角枠のような基準パターンとマーカの同定用テクスチャとしての画像（パターン）とが一体になっているものであった。即ち、パターンマッチングを行う同定用のテクスチャは基準パターンの中に内包されている。そのため、マーカの設計、及び配置における自由度が小さい。また、基準パターンの認識確率と同定用テクスチャの認識確率との間に差ができる場合が有るという不具合が存在した。

また、上記特許文献２においては、黒板の４隅に配置された目印を使い、写真の中から注目部分（黒板）を抽出する技術が開示されているが、目印による撮像装置の位置姿勢検出や位置姿勢情報を用いた情報呈示を行うことはできなかった。

本発明は、上記の点に鑑みてなされたもので、基準パターンとマーカの同定用の画像とを別体としてマーカを構成してもマーカを認識でき、マーカの設計及び配置における自由度を大きくすることが可能な情報端末を提供することを目的とする。

本発明の情報端末の一態様は、
マー力を認識する情報端末であって、
上記マーカは、上記マーカを同定するための同定用テクスチャ画像と、上記同定用テクスチャ画像と予め定義された所定の位置関係にあり上記同定用テクスチャ画像を検出するための基準パターンと、を互いに別体として備えるものであり、
上記所定の位置関係を記憶する位置関係記憶部と、
画像を入力する画像入力部と、
上記画像入力部で入力された画像の中の上記基準パターンと、上記基準パターンと上記所定の位置関係にあるテクスチャエリアと、を検出する基準パターン検出部と、
複数の同定用テクスチャデータを登録された同定用テクスチャデータベースと、
上記基準パターン検出部によって検出された上記テクスチャエリア内の画像と、上記同定用テクスチャデータと、のパターンマッチング処理によって上記同定用テクスチャ画像を同定する同定部と、
上記同定部によって同定された上記同定用テクスチャ画像と関連する関連情報の生成及び呈示を行う処理部と、
を具備し、
上記処理部に呈示される関連情報は、上記同定用テクスチャ画像を作成したときの画像入力機器の書誌情報であることを特徴とする。
本発明の情報端末の別の態様は、
マー力を認識する情報端末であって、
上記マーカは、上記マーカを同定するための同定用テクスチャ画像と、上記同定用テクスチャ画像と予め定義された所定の位置関係にあり上記同定用テクスチャ画像を検出するための基準パターンと、を互いに別体として備えるものであり、
上記所定の位置関係を記憶する位置関係記憶部と、
画像を入力する画像入力部と、
上記画像入力部で入力された画像の中の上記基準パターンと、上記基準パターンと上記所定の位置関係にあるテクスチャエリアと、を検出する基準パターン検出部と、
複数の同定用テクスチャデータを登録された同定用テクスチャデータベースと、
上記基準パターン検出部によって検出された上記テクスチャエリア内の画像と、上記同定用テクスチャデータと、のパターンマッチング処理によって上記同定用テクスチャ画像を同定する同定部と、
上記同定部によって同定された上記同定用テクスチャ画像と関連する関連情報の生成及び呈示を行う処理部と、
を具備し、
上記処理部に呈示される関連情報は、上記同定用テクスチャ画像を撮影した風景または位置に関連した情報であることを特徴とする。
本発明の情報端末の更に別の態様は、
マー力を認識する情報端末であって、
上記マーカは、上記マーカを同定するための同定用テクスチャ画像と、上記同定用テクスチャ画像と予め定義された所定の位置関係にあり上記同定用テクスチャ画像を検出するための基準パターンと、を互いに別体として備えるものであり、
上記所定の位置関係を記憶する位置関係記憶部と、
画像を入力する画像入力部と、
上記画像入力部で入力された画像の中の上記基準パターンと、上記基準パターンと上記所定の位置関係にあるテクスチャエリアと、を検出する基準パターン検出部と、
複数の同定用テクスチャデータを登録された同定用テクスチャデータベースと、
上記基準パターン検出部によって検出された上記テクスチャエリア内の画像と、上記同定用テクスチャデータと、のパターンマッチング処理によって上記同定用テクスチャ画像を同定する同定部と、
上記同定部によって同定された上記同定用テクスチャ画像と関連する関連情報の生成及び呈示を行う処理部と、
を具備し、
上記処理部に呈示される関連情報は、上記同定用テクスチャ画像を作成した画像入力機器の撮影視野または撮影後に切り取り処理を行った結果の視野の周りの景観であることを特徴とする。

本発明によれば、基準パターンとマーカの同定用の画像とを別体としてマーカを構成してもマーカを認識でき、マーカの設計及び配置における自由度を大きくすることが可能な情報端末を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
本実施形態においては、マーカを、基準パターンと同定用テクスチャとに分離し、別々に作成、管理するものであり、情報端末は、まずその基準パターンを認識し、次にその基準パターンに対し所定の位置関係におかれている同定用テクスチャによってマーカの同定を行うものである。

図１（Ａ）は、本発明の第１実施形態に係る情報端末の構成を示す図で、本実施形態に係る情報端末は、画像入力部１０、基準パターン検出部１２、所定位置関係記憶部１４、画像同定部１６、同定用テクスチャデータベース（ＤＢ）１８、及び処理部２０を備えている。

上記画像入力部１０は、画像を撮影して入力するカメラである。あるいは、カメラで撮影した画像を記憶装置やメディアから読み出して入力するものであっても良いし、ネットワークを介してそのような画像を入力するものであっても良い。上記基準パターン検出部１２は、上記画像入力部１０で入力された画像の中の基準パターンを検出する。また、上記所定位置関係記憶部１４は、基準パターンについての所定の位置関係を記憶しており、上記基準パターン検出部１２は、更に、この所定位置関係記憶部１４に記憶された上記所定の位置関係に基づいて、上記画像入力部１０で入力された画像中における、上記検出した基準パターンとは所定の位置関係にある領域である同定用テクスチャエリアの画像を、同定用テクスチャ画像として抽出する。

上記同定用テクスチャＤＢ１８は、複数の同定用テクスチャデータが登録されており、上記画像同定部１６は、この同定用テクスチャＤＢ１８に登録された各同定用テクスチャデータと上記抽出された同定用テクスチャエリア内の同定用テクスチャ画像とのパターンマッチング処理を行って、その同定用テクスチャ画像が何であるのかを同定する。そして、上記処理部２０は、この画像同定部１６によって同定された同定用テクスチャ画像と関連づけられた処理を行う。この関連づけられた処理としては、例えば、関連するＷｅｂサイトから情報を取得したり、関連する電子メールを送受信したり、関連するアプリケーションソフトウェアを起動したり、関連する情報、例えばＵＲＬをアプリケーションソフトウェアに渡したり、といった各種処理を含む。

ここで、上記基準パターンは、例えば、コントラストの差、明暗の差、色の差、テクスチャの差、等のパターンとパターンの外側周辺部との間とが識別可能な差を持つものであれば、どのようなものでも良い。

例えば、基準パターンは、図２（Ａ）に示すような構成とすることができる。即ち、台座３０にデジタル時計が組み込まれ、写真や絵等が交換可能な写真立てにおいて、そのデジタル時計の外枠を基準パターン３１として用いる。そして、同定されるべき画像である同定用テクスチャ３２は、交換される写真や絵とすることができる。この場合、同定用テクスチャ３２の位置は基準パターン３１に対して物理的に決まっているため、その位置関係を所定位置関係記憶部１４に記憶しておけば良い。

また、図２（Ｂ）に示すように、基準パターン３１を、同定用テクスチャ３２である写真等をボードに留める虫ピンの一部に構成することもできる。この場合も、同定用テクスチャ３２の位置は基準パターン３１に対して物理的に決まるため、その位置関係を所定位置関係記憶部１４に記憶しておけば良い。

あるいは、図３に示すように、同定されるべき画像である同定用テクスチャ３２を格納及び差し替えが可能な写真フレームを基準パターン３１としても良い。このように、写真等の同定用テクスチャ３２を差し込めるフレームを基準パターン３１とすることで、同定用テクスチャ３２の交換が可能となる。

なお、図２（Ａ）や図３に於いて、同定用テクスチャ３２は、写真や絵に限定されるものではなく、例えば液晶ディスプレイに表示した画像とすることで、交換が可能になるように構成しても良い。

ここで、同定用テクスチャエリアの抽出方法を簡単に説明しておく。

即ち、画像入力部１０により入力された画像に基づき、基準パターン検出部１２は、画像内に基準パターン３１（この例では四角の枠）が存在するかどうかを調べる。情報端末内には予め、該四角枠の４隅の位置情報（世界座標系における座標値）が、対応するテクスチャのテンプレート情報と共に記録してある。よって、四角枠を検出し、テクスチャの同定を行うことで、画像入力部１０の世界座標系における位置及び姿勢を推定することが可能となる。

まず、画像内の四角枠を抽出することで、基準パターン座標系における画像入力部１０の位置姿勢を求める事ができる。この基準パターン３１から画像入力部１０の位置姿勢を求める方法は、「ＶＲインターフェースのための単眼による長方形マーカー位置・姿勢の高精度実時間推定法」（3D Image Conference’96 予稿集 pp.167-172 高橋章、石井郁夫、牧野秀夫、中静真 1996）に開示されている。

更に、四角枠である基準パターン３１と対応する同定用テクスチャ３２とは所定の関係の位置に置かれている。このテクスチャの上記四角枠からの相対位置情報（基準パターン座標値）を、予め所定位置関係記憶部１４に記録しておく。

同定用テクスチャ３２は例えば正方形の形状をしており、上記相対位置情報（ｘ₀，ｙ₀，ｚ₀）は、基準パターン３１の左上隅点を原点としたときのテクスチャの左上隅の点の座標とする。大きさ情報として一辺の長さａが与えられれば、他の３隅の左上隅点に対する相対位置情報（同定用テクスチャ座標値）が求まる。相対位置情報はそれぞれ左上隅点が（０，０，０）、右上隅点が（ａ，０，０）、左下隅点が（０，ａ，０）、右下隅点が（ａ，ａ，０）となる。

ここで、同定用テクスチャ座標値は、下記数１の式により基準パターン座標値へと変換ができる。なお、その式に於いて、（ｘ_wp，ｙ_wp，ｚ_wp）はそれぞれ左上隅点の基準パターン３１からの相対位置（基準パターン座標値）を示している。また、（ｘ_lp，ｙ_lp，ｚ_lp）はテクスチャ左上隅点を基準とした同定用テクスチャ座標系での座標を表す。

ここで、Ｌは下記数２の行列式であり、その式に於いて、Ｒｏｔは同定用テクスチャ３２の基準パターン座標系での姿勢を、（ｔ_x，ｔ_y，ｔ_z）はテクスチャ左上隅点の基準パターン座標系での座標値を表す。

同定用テクスチャ３２の左上隅位置の基準パターン３１からの相対位置情報を（ｘ_k，ｙ_k，ｚ_k）とし、テクスチャ座標系のＸＹＺ軸は基準パターン座標系のＸＹＺ軸を並行移動した場合について述べ、回転要素は無視すると、基準パターン座標系における同定用テクスチャ３２の絶対値座標は、
ｘ_wp＝ｘ_wwp＋ｘ_k
ｙ_wp＝ｙ_wwp＋ｙ_k
ｚ_wp＝ｚ_wwp＋ｚ_k
として求まる。

この座標を用いて、同定用テクスチャエリアの抽出を行うことができる。

こうして同定用テクスチャエリアの抽出が行えれば、画像同定部１６に於いて、通常のテンプレートマッチングにより、同定用テクスチャ３２が何のマーカのものであるのかの同定を行うことが可能となる。

更に、同定を行うことで、基準パターン３１の世界座標系における座標値も同定でき、画像入力部１０の世界座標における座標値も一意に定まる。そして、画像入力部１０が当該情報端末に固定的に設けられたものであれば、必然的に、当該情報端末の世界座標における座標値も一意に定まる。このように、特に図示はしていないが、本実施形態に係る情報端末は、上記画像入力部１０で入力された画像から、基準座標系における当該情報端末の位置及び姿勢を検出する位置姿勢判定部を備えるものである。

［第２実施形態］
図１（Ｂ）は、本発明の第２実施形態に係る情報端末の構成を示す図で、本実施形態に係る情報端末は、上記処理部２０を、関連情報生成部２０１、関連情報記憶ＤＢ２０２及び情報表示部２０３によって構成したものである。

即ち、関連情報記憶ＤＢ２０２は、各種マーカに対応する関連情報が登録されているものであり、関連情報生成部２０１は、上記画像同定部１６によって同定された画像に従ってこの関連情報記憶ＤＢ２０２を検索して、上記同定された画像と関連する関連情報を生成する。そして、液晶ディスプレイ等の情報表示部２０３で、その関連情報生成部２０１で生成した関連情報を呈示する。

この場合、関連情報生成部２０１を、上記基準パターン検出部１２によって検出された基準パターン３１の種類に応じて、上記情報表示部に呈示する関連情報を異ならせるだけでなく、その関連情報を呈示する位置を異ならせるよう構成することも可能である。

また、情報表示部２０３での関連情報の呈示形態は、関連情報を表示するものであっても良いし、上記画像入力部１０から入力された画像の上に関連情報を重畳表示するような形態であっても構わない。なお、この関連情報の表示に於いて、関連情報生成部２０１は、上記第１実施形態で説明したような、上記画像入力部１０で入力された画像から検出した基準座標系における当該情報端末の位置及び姿勢に基づいて、生成した関連情報の位置及び姿勢を修正して情報表示部２０３に与えることで、その関連情報を当該情報端末の位置及び姿勢に応じた形態で表示させることができる。このような位置姿勢に応じた関連情報の表示は、特に後者のように関連情報を重畳表示する場合に好適である。

なお、上記関連情報としては、例えば、上記同定用テクスチャ３２としての画像を作成したとき、つまり写真を撮影したときの画像入力機器の書誌情報であることができる。即ち、デジタルカメラ等の画像入力機器では、使用機種や撮影条件などの書誌情報も画像と共に入力可能であり、そのような書誌情報を関連情報記憶ＤＢ２０２に記憶しておけば、画像入力部１０から入力された画像に対応する書誌情報を関連情報とすることができる。

また、上記関連情報は、上記同定用テクスチャ３２としての画像（写真）を撮影した風景または位置に関連した情報とすることもできる。例えば、図４（Ａ）に示すように、風景の一部を含む撮影画像４０を撮影し、図４（Ｂ）に示すように、その撮影画像４０を図３に示したようなフレームが基準パターン３１として用いられる写真フレームに入れて同定用テクスチャ３２とした場合、その同定用テクスチャ３２における上記風景の一部にマッチするテンプレートが同定用テクスチャＤＢ１８に有れば、図４（Ｃ）に示すように、関連情報記憶ＤＢ２０２に格納されている、ランドマークのデータを関連情報として、情報表示部画面２０３Ａに、入力画像に重畳して呈示することができる。この場合、画像入力部１０の位置姿勢を用いて、見えている方向の２次元画像を関連情報として生成することは勿論である。

また、上記関連情報は、上記同定用テクスチャ３２としての画像を作成した画像入力機器の撮影視野または撮影後に切り取り処理を行った結果の視野の周りの景観とすることも可能である。例えば、図５に示すように、撮影画像４０の一部をトリミングした写真をプリンアウトしたものを同定用テクスチャ３２として図３に示したようなフレームが基準パターン３１として用いられる写真フレームに入れると共に、そのトリミングした写真を同定用テクスチャＤＢ１８に登録し、また、基の撮影画像４０を関連情報記憶ＤＢ２０２に登録しておいた場合、情報端末５０の画像入力装置５１（画像入力部１０に対応）でその写真フレームを撮影すると、情報端末５０の情報表示部画面５２（情報表示部画面２０３Ａに対応）には、トリミングされた部分を関連情報として重畳表示することができる。

また、上記関連情報は、上記画像同定部１６によって同定された同定用テクスチャ３２の画像の情景に関連する写真に限定されるものではなく、音声や動画、デジタルコンテンツ等、どのようなものであっても構わない。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、基準パターン３１と同定用テクスチャ３２との位置関係は、所定位置関係記憶部１４に記憶しておくものとしたが、例えば基準パターン３１を一次元或いは二次元バーコード等のコードとして構成するなどして、検出したの基準パターン３１から上記一関係を読み出す等、基準パターン３１に基づいて知ることができれば、どのような形態で提供されても構わない。

図１（Ａ）は、本発明の第１実施形態に係る情報端末の構成を示す図であり、図１（Ｂ）は、本発明の第２実施形態に係る情報端末の構成を示す図である。 図２（Ａ）は、基準パターンの例を示す図であり、図２（Ｂ）は、基準パターンの別の例を示す図である。 図３は、基準パターンの更に別の例を示す図である。 図４は、関連情報として撮影時に視野外にあったランドマークを重畳表示する例を説明するための図である。 図５は、関連情報として撮影後にトリミングした部分を重畳表示する例を説明するための図である。

符号の説明

１０…画像入力部、 １２…基準パターン検出部、 １４…所定位置関係記憶部、 １６…画像同定部、 １８…同定用テクスチャＤＢ、 ２０…処理部、 ３０…台座、 ３１…基準パターン、 ３２…同定用テクスチャ、 ４０…撮影画像、 ５０…情報端末、 ５１…画像入力装置、 ５２，２０３Ａ…情報表示部画面、 ２０１…関連情報生成部、 ２０２…関連情報記憶ＤＢ、 ２０３…情報表示部。

Claims (8)

1. マー力を認識する情報端末であって、
   上記マーカは、上記マーカを同定するための同定用テクスチャ画像と、上記同定用テクスチャ画像と予め定義された所定の位置関係にあり上記同定用テクスチャ画像を検出するための基準パターンと、を互いに別体として備えるものであり、
   上記所定の位置関係を記憶する位置関係記憶部と、
   画像を入力する画像入力部と、
   上記画像入力部で入力された画像の中の上記基準パターンと、上記基準パターンと上記所定の位置関係にあるテクスチャエリアと、を検出する基準パターン検出部と、
   複数の同定用テクスチャデータを登録された同定用テクスチャデータベースと、
   上記基準パターン検出部によって検出された上記テクスチャエリア内の画像と、上記同定用テクスチャデータと、のパターンマッチング処理によって上記同定用テクスチャ画像を同定する同定部と、
   上記同定部によって同定された上記同定用テクスチャ画像と関連する関連情報の生成及び呈示を行う処理部と、
   を具備し、
   上記処理部に呈示される関連情報は、上記同定用テクスチャ画像を作成したときの画像入力機器の書誌情報であることを特徴とする情報端末。
2. マー力を認識する情報端末であって、
   上記マーカは、上記マーカを同定するための同定用テクスチャ画像と、上記同定用テクスチャ画像と予め定義された所定の位置関係にあり上記同定用テクスチャ画像を検出するための基準パターンと、を互いに別体として備えるものであり、
   上記所定の位置関係を記憶する位置関係記憶部と、
   画像を入力する画像入力部と、
   上記画像入力部で入力された画像の中の上記基準パターンと、上記基準パターンと上記所定の位置関係にあるテクスチャエリアと、を検出する基準パターン検出部と、
   複数の同定用テクスチャデータを登録された同定用テクスチャデータベースと、
   上記基準パターン検出部によって検出された上記テクスチャエリア内の画像と、上記同定用テクスチャデータと、のパターンマッチング処理によって上記同定用テクスチャ画像を同定する同定部と、
   上記同定部によって同定された上記同定用テクスチャ画像と関連する関連情報の生成及び呈示を行う処理部と、
   を具備し、
   上記処理部に呈示される関連情報は、上記同定用テクスチャ画像を撮影した風景または位置に関連した情報であることを特徴とする情報端末。
3. マー力を認識する情報端末であって、
   上記マーカは、上記マーカを同定するための同定用テクスチャ画像と、上記同定用テクスチャ画像と予め定義された所定の位置関係にあり上記同定用テクスチャ画像を検出するための基準パターンと、を互いに別体として備えるものであり、
   上記所定の位置関係を記憶する位置関係記憶部と、
   画像を入力する画像入力部と、
   上記画像入力部で入力された画像の中の上記基準パターンと、上記基準パターンと上記所定の位置関係にあるテクスチャエリアと、を検出する基準パターン検出部と、
   複数の同定用テクスチャデータを登録された同定用テクスチャデータベースと、
   上記基準パターン検出部によって検出された上記テクスチャエリア内の画像と、上記同定用テクスチャデータと、のパターンマッチング処理によって上記同定用テクスチャ画像を同定する同定部と、
   上記同定部によって同定された上記同定用テクスチャ画像と関連する関連情報の生成及び呈示を行う処理部と、
   を具備し、
   上記処理部に呈示される関連情報は、上記同定用テクスチャ画像を作成した画像入力機器の撮影視野または撮影後に切り取り処理を行った結果の視野の周りの景観であることを特徴とする記載の情報端末。
4. 上記基準パターンは、パターンとパターンの外側周辺部との間とが識別可能な差を持つことを特徴とする請求項１乃至３の何れかに記載の情報端末。
5. 上記基準パターンは、上記同定用テクスチャ画像を格納及び差し替えが可能なフレームであることを特徴とする請求項１乃至３の何れかに記載の情報端末。
6. 上記基準パターン検出部によって検出された基準パターンの種類に応じて、上記処理部に呈示する関連情報及び／または上記関連情報を呈示する位置が異なることを特徴とする請求項１乃至３の何れかに記載の情報端末。
7. 上記処理部に呈示される関連情報は、上記同定用テクスチャ画像の情景に関連する音声、写真、及びデジタルコンテンツの少なくとも一つであることを特徴とする請求項１乃至３の何れかに記載の情報端末。
8. 上記画像入力部で入力された画像から、基準座標系における当該情報端末の位置及び姿勢を検出する位置姿勢判定部を更に具備し、
   上記関連情報は、上記位置姿勢判定部の検出結果に基づく位置及び姿勢で、上記処理部に表示される上記画像入力部で入力された画像の中に呈示される、
   ことを特徴とする請求項１乃至７の何れかに記載の情報端末。

Images