WO2007108101A1

WO2007108101A1 - 情報端末

Info

Publication number: WO2007108101A1
Application number: PCT/JP2006/305584
Authority: WO
Inventors: Yuichiro Akatsuka; Yukihito Furuhashi; Takao Shibasaki; Akito Saito
Original assignee: Olympus Corporation
Priority date: 2006-03-20
Filing date: 2006-03-20
Publication date: 2007-09-27
Also published as: EP1998289A1; CN101180657A; US20080199106A1

Abstract

　画像を入力する画像入力部（１０）と、該画像入力部（１０）で入力された画像の中の基準パターンを検出する基準パターン検出部（１２）と、上記画像入力部（１０）で入力された画像中における、上記基準パターン検出部（１２）によって検出された基準パターンとは所定の位置関係にある領域内の画像を同定する画像同定部（１６）と、該画像同定部（１６）によって同定された画像と関連づけられた処理を行う処理部（２０）とにより、情報端末を構成する。

Description

明細書

情報端末

技術分野

[0001] 本発明は、マーカを認識する情報端末に関する。

背景技術

[0002] 被写体を撮像した画像上の対応位置に、上記被写体の各部の関連情報を重畳表示する関連情報呈示装置が USP6, 577, 249号公報に開示されている。この関連情報呈示装置では、画像入力手段が、上記被写体の 4点以上の位置情報を表わすパターンが表示されたマーカを撮像範囲に含めて、上記被写体を撮像した画像を入力する。位置情報管理手段が、上記入力された画像から上記パターンを読み取り、上記位置情報を獲得する。位置情報取得手段が、上記位置情報より上記画像入力手段の位置及び姿勢を求める。関連情報生成手段が、上記画像入力手段の位置及び姿勢より、上記被写体の各部の上記画像上での位置を求める。情報重畳表示手段が、求められた上記画像上での位置にもとづく対応位置に、上記関連情報を重畳表示する。

[0003] また、画像から注目画像を特定する画像処理装置が、特開 2003— 67742号公報に開示されている。その画像処理装置では、目印画像特定部が、注目画像における特定方向を認識可能な目印画像を、画像から特定する。注目画像特定部は、その目印画像と注目画像との位置関係を示す相対位置情報、及び目印画像から認識される特定方向を利用して、注目画像を特定する。

[0004] 上記 USP6, 577, 249号公報に開示されているようなマーカを認識する情報提示装置においては、マーカは、四角枠のような基準パターンとマーカの同定用テクスチャとしての画像（パターン）とが一体になつている。即ち、パターンマッチングを行う同定用のテクスチャは基準パターンの中に内包されている。そのため、マーカの設計、及び配置における自由度が小さい。また、基準パターンの認識確率と同定用テクスチヤの認識確率との間に差ができる場合が有るという不具合が存在した。

[0005] また、上記特開 2003— 67742号公報においては、黒板の 4隅に配置された目印を使い、写真の中から注目部分（黒板）を抽出する技術が開示されている。しかしながら、この公報に開示された技術では、目印による撮像装置の位置姿勢検出や位置姿勢情報を用いた情報呈示を行うことはできない。発明の開示

[0006] 本発明は、上記の点に鑑みてなされたもので、基準パターンとマーカの同定用の画像とを別体としてマーカを構成してもマーカを認識でき、マーカの設計及び配置における自由度を大きくすることが可能な情報端末を提供することを目的とする。

[0007] 本発明の情報端末の一態様は、

画像を入力する画像入力部と、

上記画像入力部で入力された画像の中の基準パターンを検出する基準パターン検出部と、

上記画像入力部で入力された画像中における、上記基準パターン検出部によって検出された基準パターンとは所定の位置関係にある領域内の画像を同定する同定手段と、

上記同定手段によって同定された画像と関連づけられた処理を行う処理部と、を具備することを特徴とする。

図面の簡単な説明

[0008] [図 1]図 1は、本発明の第 1実施例に係る情報端末の構成を示す図である。

[図 2]図 2は、基準パターンの例を示す図である。

[図 3]図 3は、基準パターンの別の例を示す図である。

[図 4]図 4は、基準パターンの更に別の例を示す図である。

[図 5]図 5は、本発明の第 2実施例に係る情報端末の構成を示す図である。

[図 6]図 6は、関連情報として撮影時に視野外にあったランドマークを重畳表示する例を説明するための図である。

[図 7]図 7は、関連情報として撮影時に視野外にあったランドマークを重畳表示する例を説明するための図である。

[図 8]図 8は、関連情報として撮影時に視野外にあったランドマークを重畳表示する例を説明するための図である。 [図 9]図 9は、関連情報として撮影後にトリミングした部分を重畳表示する例を説明するための図である。

発明を実施するための最良の形態

[0009] 以下、本発明を実施するための最良の形態を図面を参照して説明する。

[0010] [第 1実施例]

本実施例においては、マーカを、基準パターンと同定用テクスチャとに分離し、別々に作成、管理する。そして、情報端末は、まず上記基準パターンを認識し、次に上記基準パターンに対し所定の位置関係におかれている上記同定用テクスチャによつて上記マーカの同定を行う。

[0011] 本発明の第 1実施例に係る情報端末は、図 1に示すように、画像入力部 10、基準パターン検出部 12、所定位置関係記憶部 14、画像同定部 16、同定用テクスチャデータベース（DB) 18、及び処理部 20を備えている。

[0012] 上記画像入力部 10は、画像を撮影して入力するカメラである。あるいは、上記画像入力部 10は、カメラで撮影した画像を記憶装置やメディアから読み出して入力するものであっても良い。更には、上記画像入力部 10は、ネットワークを介してそのような画像を入力するものであっても良い。上記基準パターン検出部 12は、上記画像入力部 10で入力された画像の中の基準パターンを検出する。また、上記所定位置関係記憶部 14は、基準パターンについての所定の位置関係を記憶している。そして、上記基準パターン検出部 12は、上記所定位置関係記憶部 14に記憶された上記所定の位置関係に基づいて、上記画像入力部 10で入力された画像中における、上記検出した基準パターンとは所定の位置関係にある領域である同定用テクスチャエリアの画像を、同定用テクスチャ画像として抽出する。

[0013] 上記同定用テクスチャ DB18には、複数の同定用テクスチャデータが登録されている。そして、上記画像同定部 16は、この同定用テクスチャ DB18に登録された各同定用テクスチャデータと上記抽出された同定用テクスチャエリア内の同定用テクスチャ画像とのマッチング処理を行う。上記画像同定部 16は、このマッチング処理によって、その同定用テクスチャ画像が何であるのかを同定する。なお、マッチング処理は、テクスチャ画像の所定の領域をパターンデータとしてマッチング処理する方法や、テタスチヤ画像に含まれる特徴点群を用いて、マッチング処理する方法等がある。本実施例では、いずれの方法であってもよいし、これらを組み合わせた方法であってもよレ、ことは勿論である。そして、上記処理部 20は、この画像同定部 16によって同定された同定用テクスチャ画像と関連づけられた処理を行う。この関連づけられた処理としては、例えば、関連する Webサイトから情報を取得したり、関連する電子メールを送受信したり、関連するアプリケーションソフトウェアを起動したり、関連する情報、例えば URLをアプリケーションソフトウェアに渡したり、といった各種処理を含む。

[0014] ここで、上記基準パターンは、例えば、コントラストの差、明暗の差、色の差、テクスチヤの差、等のパターンとパターンの外側周辺部との間とが識別可能な差を持つものであれば、どのようなものでも良い。

[0015] 例えば、基準パターンは、図 2に示すような構成とすることができる。即ち、台座 30 にデジタル時計が組み込まれ、写真や絵等が交換可能な写真立てにおいて、そのデジタル時計の外枠を基準パターン 31として用いる。内部のデジタル時計の数字は、この場合は同定に使用しなレ、。そして、同定されるべき画像である同定用テクスチャ 32は、その写真立てにおける交換される写真や絵とすることができる。この場合、同定用テクスチャ 32の位置は基準パターン 31に対して物理的に決まっているため、その位置関係を所定位置関係記憶部 14に記憶しておけば良い。

[0016] また、図 3に示すように、基準パターン 31を、同定用テクスチャ 32である写真等をボードに留める虫ピンの一部に構成することもできる。この場合も、同定用テクスチャ 32 の位置は基準パターン 31に対して物理的に決まるため、その位置関係を所定位置関係記憶部 14に記憶しておけば良い。

[0017] あるいは、図 4に示すように、同定されるべき画像である同定用テクスチャ 32を格納及び差し替えが可能な写真フレームを、基準パターン 31としても良レ、。このように、写真等の同定用テクスチャ 32を差し込めるフレームを基準パターン 31とすることで、同定用テクスチャ 32の交換が可能となる。

[0018] なお、図 2や図 4に於いて、同定用テクスチャ 32は、写真や絵に限定されるものではなぐ例えば液晶ディスプレイに表示した画像とすることで、交換が可能になるように構成しても良い。 [0019] ここで、同定用テクスチャエリアの抽出方法を簡単に説明しておく。

[0020] 即ち、画像入力部 10により入力された画像に基づき、基準パターン検出部 12は、画像内に基準パターン 31 (この例では四角の枠）が存在するかどうかを調べる。情報端末内には予め、該四角枠の 4隅の位置情報 (世界座標系における座標値）が、対応するテクスチャのテンプレート情報と共に記録してある。よって、四角枠を検出し、テクスチャの同定を行うことで、画像入力部 10の世界座標系における位置及び姿勢を推定することが可能となる。

[0021] まず、画像内の四角枠を抽出することで、基準パターン座標系における画像入力部 10の位置姿勢を求める事ができる。この基準パターン 31から画像入力部 10の位置姿勢を求める方法は、 "A High Accurasy Realtime 3D Measuring Met hod of Marker for VR Interface by Monocular Vision" (3D Image Con ference' 96 Proceeding pp.167-172 , kira Takahasm, Ikuo Ishii, Hideo Makino, Makoto Nakashizuka, 1996) ίこ開示されてレヽる。

[0022] 更に、四角枠である基準パターン 31と対応する同定用テクスチャ 32とは所定の関係の位置に置かれている。このテクスチャの上記四角枠からの相対位置情報（基準パターン座標値）を、予め所定位置関係記憶部 14に記録しておく。

[0023] 同定用テクスチャ 32は例えば正方形の形状をしており、上記相対位置情報 (X , y

0 0

, z )は、基準パターン 31の左上隅点を原点としたときのテクスチャの左上隅の点の

0

座標とする。大きさ情報として一辺の長さ aが与えられれば、他の 3隅の左上隅点に対する相対位置情報（同定用テクスチャ座標値）が求まる。相対位置情報はそれぞれ左上隅点が（0, 0, 0)、右上隅点が（a, 0, 0)、左下隅点が（0, a, 0)、右下隅点力 a, a, 0)となる。

[0024] ここで、同定用テクスチャ座標値は、下記数 1の式により基準パターン座標値へと変換ができる。なお、その式に於いて、 (x , y , z )はそれぞれ左上隅点の基準パタ wp wp wp

ーン 31からの相対位置（基準パターン座標値）を示している。また、（X， y， z )はテ

1ρ 1ρ 1ρ タスチヤ左上隅点を基準とした同定用テクスチャ座標系での座標を表す。

[数 1] y wp y ip

= L ·

1 1

[0025] ここで、 Lは下記数 2の行列式であり、その式に於いて、 Rotは同定用テクスチャ 32の基準パターン座標系での姿勢を表し、（t , t , t )はテクスチャ左上隅点の基準パタ

X y z

ーン座標系での座標値を表す。

[数 2] rl l ^r12 ^r1 3

R o t ^r2 1 ^r22 ^r2 3

r3 1 ^r3 2 ^r3 3

0 0 0 1 0 0 0 1

[0026] 同定用テクスチャ 32の左上隅位置の基準パターン 31からの相対位置情報を (x , y k k

, z )とし、テクスチャ座標系の XYZ軸は基準パターン座標系の XYZ軸を並行移動し k

た場合について述べ、回転要素を無視すると、基準パターン座標系における同定用テクスチャ 32の絶対値座標は、

X = X + X

wp wwp k

y wp =y wwp +y k

z = z +z

wp wwp k

として求まる。

[0027] この座標を用いて、同定用テクスチャエリアの抽出を行うことができる。

[0028] こうして同定用テクスチャエリアの抽出が行えれば、画像同定部 16に於いて、通常のテンプレートマッチングにより、同定用テクスチャ 32が何のマーカのものであるのかの同定を行うことが可能となる。

[0029] 更に、同定を行うことで、基準パターン 31の世界座標系における座標値も同定でき、画像入力部 10の世界座標における座標値も一意に定まる。そして、画像入力部 1 0が当該情報端末に固定的に設けられたものであれば、必然的に、当該情報端末の世界座標における座標値も一意に定まる。このように、画像同定部 16は、上記画像入力部 10で入力された画像から、基準座標系における当該情報端末の位置及び姿勢を検出する位置及び姿勢判定部 16Aを備えるものである。

[0030] [第 2実施例]

本実施例に係る情報端末は、図 5に示すように、上記処理部 20を、関連情報生成部 201、関連情報記憶 DB202及び情報表示部 203によって構成したものである。

[0031] ここで、関連情報記憶 DB202は、各種マーカに対応する関連情報が登録されているものである。また、関連情報生成部 201は、上記画像同定部 16によって同定された画像に従って上記関連情報記憶 DB202を検索して、上記同定された画像と関連する関連情報を生成する。そして、液晶ディスプレイ等の情報表示部 203で、上記関連情報生成部 201で生成した関連情報を呈示する。

[0032] この場合、関連情報生成部 201は、上記基準パターン検出部 12によって検出された基準パターン 31の種類に応じて、上記情報表示部に呈示する関連情報を異ならせるだけでなぐその関連情報を呈示する位置を異ならせるよう構成されることも可能である。

[0033] また、情報表示部 203での関連情報の呈示形態は、関連情報を表示するものであつても良いし、上記画像入力部 10から入力された画像の上に関連情報を重畳表示するような呈示形態であっても構わない。なお、この関連情報の表示に於いて、関連情報生成部 201は、上記第 1実施例で説明したような、上記画像入力部 10で入力された画像力検出した基準座標系における当該情報端末の位置及び姿勢に基づいて、生成した関連情報の位置及び姿勢を修正して情報表示部 203に与える。このようにして、その関連情報を当該情報端末の位置及び姿勢に応じた形態で表示させること力 Sできる。このような位置及び姿勢に応じた関連情報の表示は、特に後者のように関連情報を重畳表示する場合に好適である。

[0034] なお、上記関連情報としては、例えば、上記同定用テクスチャ 32としての画像を作成したとき、つまり写真を撮影したときの画像入力機器の書誌情報であることができる。即ち、デジタルカメラ等の画像入力機器では、使用機種や撮影条件などの書誌情報も画像と共に入力可能である。したがって、そのような書誌情報を関連情報記憶 D B202に記憶しておけば、画像入力部 10から入力された画像に対応する書誌情報を関連情報とすることができる。

[0035] また、上記関連情報は、上記同定用テクスチャ 32としての画像（写真）を撮影した風景または位置に関連した情報とすることもできる。例えば、図 6に示すように、風景の一部を含む撮影画像 40を撮影する。そして、図 7に示すように、その撮影画像 40 を図 4に示したようなフレームが基準パターン 31として用いられる写真フレームに入れて同定用テクスチャ 32とする。この場合、その同定用テクスチャ 32における上記風景の一部にマッチするテンプレートが同定用テクスチャ DB18に有れば、以下のような情報の呈示をすることができる。即ち、このような場合、関連情報記憶 DB202にランドマークのデータが格納されていれば、図 8に示すように、そのランドマークのデータを関連情報 202Aとして、情報表示部画面 203Aに、入力画像に重畳して呈示すること力 Sできる。この場合、画像入力部 10の位置姿勢を用いて、見えている方向の 2 次元画像を関連情報 202Aとして生成することは勿論である。

[0036] また、上記関連情報は、上記同定用テクスチャ 32としての画像を作成した画像入力機器の撮影視野または撮影後に切り取り処理を行った結果の視野の周りの景観とすることも可能である。例えば、図 9に示すように、撮影画像 40の一部をトリミングした写真をプリンアウトしたものを同定用テクスチャ 32として図 4に示したようなフレームが基準パターン 31として用いられる写真フレームに入れると共に、そのトリミングした写真を同定用テクスチャ DB18に登録する。また、基の撮影画像 40を関連情報記憶 D B202に登録しておく。そのようにした場合、以下のような表示をすることができる。即ち、このような場合に、情報端末 50の画像入力装置 51 (画像入力部 10に対応）でその写真フレームを撮影すると、情報端末 50の情報表示部画面 52 (情報表示部画面 203Aに対応）には、トリミングされた部分を関連情報 202Bとして重畳表示することができる。

[0037] また、上記関連情報は、上記画像同定部 16によって同定された同定用テクスチャ 3 2の画像の情景に関連する写真に限定されるものではなぐ音声や動画、デジタルコンテンッ等、どのようなものであっても構わない。

[0038] 以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなぐ本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

[0039] 例えば、基準パターン 31と同定用テクスチャ 32との位置関係は、所定位置関係記憶部 14に記憶しておくものとしたが、例えば基準パターン 31を一次元或いは二次元バーコード等のコードとして構成するなどして、検出した基準パターン ₃丄から上記位置関係を読み出す等しても構わない。即ち、基準パターン 31と同定用テクスチャ 32 との位置関係は、基準パターン 31に基づいて知ることができれば、どのような形態で提供されても構わない。

[0040] なお、以上の実施例では、基準パターンが矩形のような幾何学的模様である例を示したが、基準パターンの意匠はこれに限定されるものではない。同定用テクスチャの位置を特定するという基準パターンの機能を満す形態であれば、いかなる様態であってもよレ、。例えば、自然風景写真やマスコットキャラクターのイラストのように、幾何学的な意匠でない場合であっても、特徴点群を用いたマッチング処理によって、対応する特徴点を少なくとも 3点同定できれば、基準パターンと撮影画像との位置及び姿勢を同定できる。また、特徴点がテンソルとして面の情報を保持している場合には、 1点でも基準パターンと撮影画像との位置及び姿勢を同定できる。よって、同定用テクスチャの位置を同定することも可能になる。

[0041] ここでいう画像の中の特徴点とは他の画素との差異が一定レベル以上あるものを指し、その特徴量には例えば明暗のコントラスト、色、周囲の画素の分布、微分成分値、特徴点同士の配置などが含まれる。これら特徴点を抽出し、対象物毎に登録しておく。

[0042] 利用時において、入力画像の中をサーチし、特徴点を抽出し、登録済みのデータとの比較を行う。類似している度合いを示す数値 (特徴点同士の各成分の差異)が、予め設定した閾値を越えた場合に類似特徴点と判断し、更に複数の特徴点が一致した対象物を入力画像の対象物と同一と判断する。

Claims

請求の範囲

[1] 画像を入力する画像入力部（10 ; 51)と、

上記画像入力部（10； 51)で入力された画像の中の基準パターン（31)を検出する基準パターン検出部（12)と、

上記画像入力部（10； 51)で入力された画像中における、上記基準パターン検出部（12)によって検出された基準パターン（31)とは所定の位置関係にある領域内の画像を同定する同定手段（16)と、

上記同定手段（ 16 )によって同定された画像と関連づけられた処理を行う処理部（ 2 0)と、

を具備することを特徴とする情報端末。

[2] 上記処理部（20)が行う処理は、情報の表示であり、

上記処理部（20)は、

上記同定手段（16)によって同定された画像と関連する関連情報を生成する関連情報生成部（201)と、

上記関連情報生成部（201)で生成した関連情報を呈示する情報呈示部（203； 5 2)と、

を備えたことを特徴とする請求項 1に記載の情報端末。

[3] 上記基準パターン（31)は、パターンとパターンの外側周辺部との間とが識別可能な差を持つことを特徴とする請求項 1に記載の情報端末。

[4] 上記所定の位置関係は、予め定義されているものであることを特徴とする請求項 1 に記載の情報端末。

[5] 上記所定の位置関係は、上記基準パターン（31)に基づいて知ることができることを特徴とする請求項 1に記載の情報端末。

[6] 上記基準パターン（31)は、同定されるべき画像を格納及び差し替えが可能なフレームであることを特徴とする請求項 1に記載の情報端末。

[7] 上記基準パターン検出部（12)によって検出された基準パターン（31)の種類に応じて、上記情報呈示部（203； 52)に呈示する情報及び/または情報を呈示する位置が異なることを特徴とする請求項 2に記載の情報端末。

[8] 上記情報呈示部（203； 52)に提示される関連情報は、同定されるべき画像を作成したときの画像入力機器の書誌情報であることを特徴とする請求項 2に記載の情報端末。

[9] 上記情報呈示部（203 ; 52)に提示される関連情報は、同定されるべき画像を撮影した風景または位置に関連した情報であることを特徴とする請求項 2に記載の情報端末。

[10] 上記情報呈示部（203 ; 52)に提示される関連情報は、同定されるべき画像を作成した画像入力部（10； 51)の撮影視野または撮影後に切り取り処理を行った結果の視野の周りの景観であることを特徴とする請求項 2に記載の情報端末。

[11] 上記情報呈示部（203 ; 52)に提示される関連情報は、上記同定手段（16)によつて同定された画像の情景に関連する音声、写真、及びデジタルコンテンツの少なくとも一つであることを特徴とする請求項 2に記載の情報端末。

[12] 上記画像入力部（10 ; 51)で入力された画像から、基準座標系における当該情報端末 (50)の位置及び姿勢を検出する位置及び姿勢判定部（16A)を更に具備し、上記関連情報は、上記位置及び姿勢判定部（16A)の検出結果に基づく位置及び姿勢で、上記情報呈示部（203)に表示される上記画像入力部（10； 51)で入力された画像の中に呈示される、

ことを特徴とする請求項 2乃至 11の何れかに記載の情報端末。