JP4599184B2

JP4599184B2 - 指標配置計測方法、指標配置計測装置

Info

Publication number: JP4599184B2
Application number: JP2005026879A
Authority: JP
Inventors: 利果武本; 晋二内山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-02-02
Filing date: 2005-02-02
Publication date: 2010-12-15
Anticipated expiration: 2025-02-02
Also published as: US20070091125A1; JP2006214832A; US7664341B2; WO2006082825A1

Description

本発明は、現実空間中に配された各指標の位置姿勢を求めるための技術に関するものである。

近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感（以下、ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）と称す）に関する研究が盛んに行われている。特に、ＭＲの中でも、現実空間に仮想空間を重ね合わせて表示するＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ(ＡＲ、拡張現実感、増強現実感とも呼ばれる)技術が注目を集めている。

ユーザの頭の動きに合わせてＭＲ空間を体験させるための表示装置として、実現方式によって次の２つに分類できる。一つは、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に、撮像装置の位置および姿勢に応じて生成された仮想空間（たとえばコンピュータ・グラフィックス（以下、ＣＧと称す）により描画された仮想物体や文字情報など）の画像を重畳表示するビデオシースルー方式であり、もう一つは、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成された仮想空間の画像を表示する光学シースルー方式である。

ＡＲ技術は、患者の体表面に体内の様子を重畳表示する手術支援や、空き地に仮想のビルを重畳表示する建築シミュレーション、組立作業時に作業手順や配線の様子を重畳表示する組み立て支援等様々な分野への応用が期待される。

ＡＲ技術において最も重要な課題の一つは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来より多くの取り組みが行われてきた。ＡＲにおける位置合わせの問題は、ビデオシースルー方式の場合はシーン中における（すなわち基準座標系における）撮像装置の位置及び姿勢を求める問題に帰結する。同様に、光学シースルー方式の場合は、シーン中における観察者の視点あるいはディスプレイの位置及び姿勢を求める問題に帰結する。

前者の問題を解決する方法として、３次元空間中の座標（世界座標）値が既知である特徴点（マーカ）を複数配置しておき、これをカメラにより撮像して、マーカの世界座標と撮像画像座標の関係をみたすようなカメラの位置姿勢を算出する方法がある（特許文献１を参照）。また、後者の問題を解決する方法として、計測対象物（すなわち観察者の頭部あるいはディスプレイ）に撮像装置を装着し、前者と同様な方法によってこの撮像装置の位置及び姿勢を求め、それに基づいて計測対象物の位置及び姿勢を求めることが一般的に行われている。

一般に、3次元位置の既知な複数の点（理論的には3点以上、安定的に解くためには6点以上）の撮影画像上における位置が得られれば、その対応関係からカメラ視点の位置と方位姿勢を求めることができる（いわゆるＰｎＰ問題を解く）。

指標の３次元座標と画像座標の組から撮像装置の位置及び姿勢を算出する方法は、写真測量の分野において古くから提案されている（非特許文献１、非特許文献２を参照）。

さらに、複数の３次元空間中の点としての指標（以下、点指標）だけでなく、例えば非特許文献３、４で開示されているように、大きさが既知の正方形形状の指標（以下、正方形指標）を用いた撮像装置の位置及び姿勢の算出技術も提案されている。また、例えば非特許文献７で開示されているように、正方形指標と点指標を組み合わせた撮像装置の位置及び姿勢算出方法も提案されている。点指標には狭いところにも設定できるというメリットがあり、正方形指標には同定が簡単である、一つの指標の情報量が多いため一つの指標だけから撮像装置の位置及び姿勢を求めることができるというメリットがあり、相補的に利用することができる。

以上の方法によって、撮像装置が撮影した画像に基づいて、この撮像装置の位置及び姿勢を取得することが従来からなされてきた。

一方、例えば特許文献２や非特許文献５で開示されているように、計測対象である撮像装置に磁気センサや超音波センサなどの６自由度位置姿勢センサを取り付け、前述のような画像処理による指標の検出との併用によって位置及び姿勢を計測することも行われている。センサの出力値は測定範囲によって精度は変わるが安定的に得ることができるため、センサと画像処理を併用する方法は、画像処理だけによる方法に比べてロバスト性を向上させることができる。

従来の指標を利用した位置合わせ手法では、計測対象である撮像装置の基準座標系における位置及び姿勢を求めるために、点指標の場合は基準座標系における位置、正方形指標の場合は基準座標系における位置及び姿勢が既知である必要がある。正方形指標の場合には、基準座標系を別途設けることなく、正方形指標そのものを座標系の基準とする場合が多いが、複数の正方形指標を用いる場合には、互いの位置・姿勢の関係（以下、配置関係という）が既知である必要がある。そのため、複数の指標間の位置及び姿勢の関係を定義するための基準座標系が必要であることに変わりはない。

基準座標系における指標の位置及び姿勢の計測は、巻尺や分度器を用いた手作業や、測量器によって行うことが可能であるが、精度や手間の問題から、画像を利用した計測が行われている。点指標の位置計測には、バンドル調整法と呼ばれる方法で求めることができる。バンドル調整法は、点指標を撮像装置によって多数撮影し、点指標の現実空間中における位置、点指標の画像上での投影点、撮像装置の視点の３点が同一直線上に存在するという拘束条件をもとに、指標が実際に画像上で観察される投影位置と撮像装置の位置及び姿勢と指標の位置から計算される投影位置との誤差（投影誤差）が最小化されるように、繰返し演算によって画像を撮影した撮像装置の位置及び姿勢と、点指標の位置を求める方法である。

また、非特許文献６では３次元空間中に配置された多数の正方形マーカの位置及び姿勢を計測する方法が開示されている。非特許文献６では、３次元空間中に配置された多数の正方形マーカの画像を多数撮影し、投影誤差が最小になるように繰返し演算によって各画像を撮影した撮像装置の位置及び姿勢と、正方形マーカの位置及び姿勢を求めている。

画像を利用した計測手法（以下、ビジョンベースマーカキャリブレーションという）では、Ｎ個の指標（Ｍ_１〜Ｍ_Ｎ）の配置関係を算出する場合、任意の指標Ｍ_ｉは他の少なくとも１つの指標Ｍ_ｊ（ｉ≠ｊ）と同時に撮影され、かつ互いに同時に撮影されたマーカでグループを構成した場合に、全体が１つのグループで構成される必要がある。図１を参照して具体例を挙げる。

図１は、２つのマーカを１つのグループとする場合に、２つのグループのそれぞれをカメラによって撮像する場合に、マーカ間の配置関係を求める場合の問題について示す図である。

図１（ａ）において１０１，１０２はカメラで、カメラ１０１はマーカ１０１ａ、１０１ｂを撮像しており、カメラ１０２はマーカ１０２ａ、１０２ｂを撮像している。同図において１０３はカメラ１０１により撮像された画像であり、この画像１０３にはマーカ１０１ａ、１０１ｂが含まれている。一方、１０４はカメラ１０２により撮像された画像であり、この画像１０４にはマーカ１０２ａ、１０２ｂが含まれている。

ここで、上記従来技術によれば、画像１０３を用いれば、マーカ１０１ａとマーカ１０１ｂとの配置関係は求めることができ、画像１０４を用いれば、マーカ１０２ａとマーカ１０２ｂとの配置関係は求めることができる。しかし、画像１０３におけるマーカ１０１ａと画像１０４における１０２ａとの配置関係を求める、というように、異なる画像間で、それぞれの画像に含まれているマーカ間の配置関係を求めることはできない。
特開２０００−０４１１７３号公報特開２００２−２２８４４２号公報Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｃ．Ｌｅｅ，Ｋ．Ｏｔｔｅｎｂｅｒｇ，ａｎｄＭ．Ｎoｌｌｅ："Ｒｅｖｉｅｗａｎｄａｎａｌｙｓｉｓｏｆｓｏｌｕｔｉｏｎｓｏｆｔｈｅｔｈｒｅｅｐｏｉｎｔｐｅｒｓｐｅｃｔｉｖｅｐｏｓｅｅｓｔｉｍａｔｉｏｎｐｒｏｂｌｅｍ"，Ｉｎｔ’ｌ．Ｊ．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｖｏｌ．１３，ｎｏ．３，ｐｐ．３３１−３５６，１９９４．Ｍ．Ａ．ＦｉｓｃｈｌｅｒａｎｄＲ．Ｃ．Ｂｏｌｌｅｓ："Ｒａｎｄｏｍｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ：ａｐａｒａｄｉｇｍｆｏｒｍｏｄｅｌｆｉｔｔｉｎｇｗｉｔｈａｐｐｌｉｃａｔｉｏｎｓｔｏｉｍａｇｅａｎａｌｙｓｉｓａｎｄａｕｔｏｍａｔｅｄｃａｒｔｏｇｒａｐｈｙ"，Ｃｏｍｍ．ＡＣＭ，ｖｏｌ．２４，ｎｏ．６，ｐｐ．３８１−３９５，１９８１．暦本純一："２次元マトリックスコードを利用した拡張現実感の構成手法"，インタラクティブシステムとソフトウェアＩＶ，近代科学社，１９９６．加藤，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘："マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，１９９９．Ａ．Ｓｔａｔｅ，Ｇ．Ｈｉｒｏｔａ，Ｄ．Ｔ．Ｃｈｅｎ，Ｗ．Ｆ．ＧａｒｒｅｔｔａｎｄＭ．Ａ．Ｌｉｖｉｎｇｓｔｏｎ："Ｓｕｐｅｒｉｏｒａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙｒｅｇｉｓｔｒａｔｉｏｎｂｙｉｎｔｅｇｒａｔｉｎｇｌａｎｄｍａｒｋｔｒａｃｋｉｎｇａｎｄｍａｇｎｅｔｉｃｔｒａｃｋｉｎｇ"，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ’９６，ｐｐ．４２９−４３８，１９９６．Ｇ．Ｂａｒａｔｏｆｆ，Ａ．ＮｅｕｂｅｃｋａｎｄＨ．Ｒｅｇｅｎｂｒｅｃｈｔ："Ｉｎｔｅｒａｃｔｉｖｅｍｕｌｔｉ−ｍａｒｋｅｒｃａｌｉｂｒａｔｉｏｎｆｏｒａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙａｐｐｌｉｃａｔｉｏｎｓ"，Ｐｒｏｃ．ＩＳＭＡＲ２００２，ｐｐ．１０７−１１６，２００２．Ｈ．Ｋａｔｏ，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｉ．Ｐｏｕｐｙｒｅｖ，Ｋ．ＩｍａｍｏｔｏａｎｄＫ．Ｔａｃｈｉｂａｎａ："Ｖｉｒｔｕａｌｏｂｊｅｃｔｍａｎｉｐｕｌａｔｉｏｎｏｎａｔａｂｌｅ−ｔｏｐＡＲｅｎｖｉｒｏｎｍｅｎｔ"，Ｐｒｏｃ．ＩＳＡＲ２０００，ｐｐ．１１１−１１９，２０００．

このような問題に対し、一般的には広範囲を一度に撮影できるような工夫として、広画角なカメラを利用する方法が考えられるが、画像歪みの影響が大きくなるという問題がある。また、遠方から撮影する方法も考えられるが、高解像度の画像が得られないなど、いずれも正確な配置関係を算出することが困難になる。

また、マーカとマーカとの間に障害物が存在したり、マーカの姿勢が異なっている等、物理的な要因がある場合には、同時撮影自体が困難である。

また、非特許文献６では、すべてのマーカの配置関係が算出できるように多数のマーカを配置している。しかし、マーカをたくさん配置することは、景観を損なう恐れがあり、ＭＲ体験時には、位置合わせに必要な最低限のマーカが配置されていることが望ましい。

本発明は以上の問題に鑑みて成されたものであり、ＭＲ体験時の景観などに影響を及ぼさない程度に指標を配置した場合であっても、ビジョンベースマーカキャリブレーション方法に従って、それぞれの指標の位置を得るための技術を提供することを目的とする。

本発明の目的を達成するために、例えば本発明の指標配置計測方法は以下の構成を備える。

即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像工程と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像工程と、
前記第１の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像および、前記第２の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第１指標／指標群と補助指標と前記第２指標／指標群との相対的な配置関係を算出する配置算出工程と
を備えることを特徴とする。

即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像工程と、
第１の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出工程と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像工程と、
前記第２の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出工程と、
前記第１の配置算出工程と前記第２の配置算出工程の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば本発明の指標配置計測装置は以下の構成を備える。

即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像手段と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像手段と、
前記第１の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像および、前記第２の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第１指標／指標群と補助指標と前記第２指標／指標群との相対的な配置関係を算出する配置算出手段と
を備えることを特徴とする。

即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像手段と、
第１の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出手段と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像手段と、
前記第２の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出手段と、
前記第１の配置算出手段と前記第２の配置算出手段の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出手段と
を備えることを特徴とする。

本発明の構成により、ＭＲ体験時の景観などに影響を及ぼさない程度に指標を配置した場合であっても、ビジョンベースマーカキャリブレーション方法に従って、それぞれの指標の位置を得ることができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態では、上記ビジョンベースマーカキャリブレーションに従って、複数の指標が配された現実空間の画像を用いて、それぞれの指標の配置関係を求める。なお、これらの指標はＭＲやＡＲの技術分野で用いられているように、現実空間と仮想空間の間の位置合わせを行う際に用いるものである。

本実施形態では上記指標の配置位置姿勢を求めるために、「橋渡し指標」なるものを新たに現実空間中に配置する。また、本実施形態では「指標」として「マーカ」を用いるものとする。また、以下では橋渡し指標ではない指標を、橋渡し指標と区別するために「位置合わせ用マーカ」と呼称し、橋渡し指標を「橋渡しマーカ」と呼称する。また、以下の説明で単に「マーカ」と呼称する場合には、位置合わせ用マーカ、橋渡しマーカの両方を含むものとする。

図２は、現実空間中に配される様々なマーカを示す図である。図２（ａ）は点指標を示しており、それぞれは、現実空間を撮像したことにより得られる画像において識別、検出できるように、それぞれ異なる色を有していると共に、全て円形形状を有している。また、画像における点指標の位置としては、画像における点指標の領域の重心位置を用いる。

図２（ｂ）、（ｃ）はそれぞれ多角形の指標を示すものであり、図２（ｂ）は三角形の指標、図２（ｃ）は四角形の指標を示す。多角形指標は画像上で容易に検出可能なように色枠で囲まれているので、枠内部を指標であるとする。さらに多角形内部にはそれぞれに異なるパターンが埋め込まれており、例えば内部をテンプレートマッチングすることなどによりそれぞれの指標内部に配された指標固有のパターンを特定することができるので、これにより、それぞれの指標を識別することができる。

本実施形態では位置合わせ用マーカ、橋渡しマーカの何れにどのようなマーカを用いても良いのであるが、位置合わせ用マーカとして用いるマーカ、橋渡しマーカとして用いるマーカを決めると、それぞれのマーカについての情報を後述するコンピュータ内に登録しておく必要がある。

ここで更に、橋渡しマーカについて説明する。橋渡しマーカは、一方の画像における位置合わせ用マーカと、他方の画像における位置合わせ用マーカとの配置関係を求めるために、現実空間中に配されるものであり、その機能は換言すると、一方の画像における位置合わせ用マーカが属する座標系Ａと、他方の画像における位置合わせ用マーカが属する座標系Ｂとの位置姿勢関係を求めるためのものであるとすることができる。そのためには、橋渡しマーカの座標系Ａにおける位置姿勢、座標系Ｂにおける位置姿勢を算出することが必要となる。ここで、１つの座標系内で同一直線上に並ばない識別可能な３点が与えられる指標（例えばそれぞれの頂点が識別できる三角形指標）であれば、この座標系における位置姿勢は求めることができる。

また、「座標系Ａ、及び座標系Ｂの双方において既知である平面上に、橋渡しマーカが存在する」という条件が与えられている場合には、橋渡しマーカは識別可能な２点のみの指標であっても、座標系Ａにおける位置姿勢および、座標系Ｂにおける位置姿勢が算出可能なことから、橋渡しマーカは識別可能な２点の指標であってもよい。本実施形態では、特別な拘束条件がなくても橋渡しマーカとして利用できるように、向きが識別できる三角形指標を橋渡しマーカとして用いる。

図３は、本実施形態に係るシステムの機能構成を示す図である。

撮影部３１０は、現実空間の画像を撮像するカメラとして機能するものである。なお、撮影部３１０は、現実空間の静止画像を複数回に分けて撮像するタイプのものであっても良いし、現実空間の動画像を撮像するタイプのものであっても良い。

撮影位置姿勢計測部３３０は、撮影部３１０に取り付け、撮影部３１０の位置姿勢を計測する為のものである。例えば撮影位置姿勢計測部３３０が磁気センサである場合には、磁気の発信源の位置を原点とし、この原点で互いに直交する３軸をそれぞれｘ、ｙ、ｚ軸とする座標系（センサ座標系）における自身の位置姿勢に応じた磁気の変化を検知するので、この検知した結果を示す信号を指標検出同定部３４０に入力する。なお、撮影位置姿勢計測部３３０に適用可能なセンサは磁気センサに限定するものではなく、その他にも例えば光センサ、ジャイロなどが適用可能である。

撮影映像取り込み部３２０は、撮影部３１０が撮像した画像を取り込み、後段の指標検出同定部３４０に出力する。

指標検出同定部３４０は、撮影映像取り込み部３２０から受けた画像に含まれているそれぞれのマーカ（位置合わせ用マーカ、橋渡しマーカを含む）の画像座標値を検出する処理を行うと共に、それぞれのマーカを一意に識別する処理を行う。マーカの識別については、各マーカに固有の情報が指標情報管理部３７０に登録されているので、これを用いれば各マーカを識別することができる。そして、識別したマーカｉの識別子、マーカｉの画像上における画像座標値、この画像固有の識別子（例えばフレーム番号）、そして撮影位置姿勢計測部３３０から受けた撮影部３１０の位置姿勢情報をセットにして後段のマーカキャリブレーション部３６０に送出する。そしてこのような処理を撮影映像取り込み部３２０から受けた画像毎に行う。

マーカキャリブレーション部３６０は、現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める処理を行う。そして位置合わせ用マーカｉの配置位置姿勢を求めると、求めた配置位置姿勢情報と、この位置合わせ用マーカｉを識別するための識別子をセットにして指標情報管理部３７０に登録する。

操作入力部３５０は、撮影位置姿勢計測部３３０、撮影映像取り込み部３２０指標検出同定部３４０に対する動作指示を入力するものであり、撮影位置姿勢計測部３３０、撮影映像取り込み部３２０、指標検出同定部３４０は操作入力部３５０からの動作指示を受けると動作する。

指標情報管理部３７０には、上述のように、各マーカを識別するための情報（各マーカについて、マーカに固有の識別子、マーカの形状、マーカ内部の特徴（枠内に記載された文字、記号等）が登録されていると共に、マーカキャリブレーション部３６０から送出された位置合わせ用マーカの配置位置姿勢情報、この位置合わせ用マーカを識別するための識別子のセットを登録する動作を行う。

表示オブジェクト生成・表示部３８０は、マーカキャリブレーション部３６０が指標情報管理部３７０に登録したセットのデータを表示する。表示形態については特に限定するものではない。

図６は、上記操作入力部３５０、映像取り込み部３２０、指標検出同定部３４０、マーカキャリブレーション部３６０、指標情報管理部３７０、表示オブジェクト生成・表示部３８０のそれぞれの機能を有するコンピュータの基本構成を示すブロック図である。

６０１はＣＰＵで、ＲＡＭ６０２やＲＯＭ６０３に格納されているプログラムやデータを用いて本コンピュータ全体の制御を行うと共に、コンピュータが行う後述の各処理を実行する。

６０２はＲＡＭで、外部記憶装置６０６からロードされたプログラムやデータを一時的に記憶する為のエリアを備えると共に、ＣＰＵ６０１が各処理を実行する際に用いるワークエリアを備える。

６０３はＲＯＭで、本コンピュータの設定データや、ブートプログラムなどを格納する。

６０４は操作部で、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで各種の指示をＣＰＵ６０１に対して入力することができる。

６０５は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ６０１による処理結果を画像や文字などでもって表示することができる。

６０６は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置として機能するものであり、ここにＯＳ（オペレーティングシステム）や、ＣＰＵ６０１に本コンピュータが行う後述の各処理を実行させるためのプログラムやデータ等が保存されており、これらの一部若しくは全部はＣＰＵ６０１による制御に従ってＲＡＭ６０２にロードされ、ＣＰＵ６０１による処理対象となる。

６０７はＩ／Ｆで、ここに上記撮影部３１０や撮影位置姿勢計測部３３０を接続することができ、撮影部３１０が撮影した画像、撮影位置姿勢計測部３３０が計測した撮影部３１０の位置姿勢情報はこのＩ／Ｆ６０７を介して本コンピュータに入力される。

６０８は上述の各部を繋ぐバスである。

次に、現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める為の作業について、この作業のフローチャートを示す図７を用いて以下説明する。同図のフローチャートにおいて、ステップＳ７０１における処理は上記構成を有するコンピュータが行うのであるが、それ以外のステップにおける処理（作業）は、人が行うものである。

先ず、位置合わせ用マーカが複数配された現実空間中に、以下説明するマーカキャリブレーション処理を上記コンピュータによって行う（ステップＳ７０１）。

そしてステップＳ７０１のマーカキャリブレーション結果、位置合わせ用マーカにおいて、孤立点となるものが残っているのかをチェックする（ステップＳ７０２）。ここで、橋渡しマーカは孤立マーカであるかどうかの判断の対象にはしない。その理由は、橋渡しマーカはAR体験時には利用しない指標であることから、孤立マーカであっても問題ないためである。位置合わせ用マーカにおいて、孤立点となるものが残っている場合には、現実空間の画像の枚数が少ない、又は橋渡しマーカが不足していることが原因であるので、橋渡しマーカを複数配する（ステップＳ７０３）。そしてステップＳ７０１以降の作業を繰り返す。

一方、孤立点となるものが残っていない場合には、ステップＳ７０３で配した橋渡しマーカを排除する（ステップＳ７０４）。

このように、マーカキャリブレーションを行うときにのみ橋渡しマーカを配し、マーカキャリブレーションが終わると橋渡しマーカは排除する。

次に、上記構成を有するコンピュータが行うステップＳ７０１における処理、即ち、現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める処理について、同処理のフローチャートを示す図４を用いて説明する。なお、同図のフローチャートに従った処理をＣＰＵ６０１に実行させるためのプログラムやデータは外部記憶装置６０６に保存されており、これをＣＰＵ６０１の制御に従ってＲＡＭ６０２にロードし、ＣＰＵ６０１がこれを用いて処理を実行することで、本コンピュータは以下説明する各処理を実行することになる。

先ず、現実空間中に配した各マーカに関する情報を外部記憶装置６０６に登録する（ステップＳ４１０）。登録方法については例えば表示部３８０の表示画面上に、現実空間中に配した各マーカに関する情報を登録するためのＧＵＩを表示し、操作者が操作部６０４を操作してＧＵＩを介して各マーカに関する情報を入力する。そして操作者の操作により操作部６０４から入力完了の指示が入力されると、ステップＳ４１０でＣＰＵ６０１はこれを検知し、ＧＵＩを介して入力された各マーカに関する情報を外部記憶装置６０６に登録する処理を行う。

ここで、各マーカに関する情報としては、マーカに固有の識別子（例えばＩＤ）、マーカの形状、マーカ内部の特徴（枠内に記載された文字、記号等）があり、これらのセットを、現実空間中に配された各マーカについて外部記憶装置６０６に登録する。

図４に戻って次に、操作部６０４からの動作指示入力を受け付け（ステップＳ４２０）、現実空間を撮像する旨の指示を検知した場合には処理をステップＳ４３０に進め、撮影部３１０から入力される画像を一端ＲＡＭ６０２に格納し（ステップＳ４３０）、この画像に含まれている各マーカを識別すると共に、各マーカの画像における座標位置を特定する処理を行う（ステップＳ４４０）。

なお、マーカの識別結果（識別したマーカの識別子）、このマーカの画像座標値、このマーカを検出した画像がどの撮像装置から得られたものであるのかを識別するための識別子、そして撮影位置姿勢計測部３３０から取得される撮影部３１０の（おおよその）位置姿勢情報はセットにして検出情報として外部記憶装置６０６に登録される（ステップＳ４４５）。これにより、ステップＳ４３０で取得した画像に含まれるそれぞれのマーカについて検出情報を外部記憶装置６０６に登録することができる。なお、この１つの画像内には当然位置合わせ用マーカが含まれているが、１以上の橋渡しマーカも含まれているとする。よってステップＳ４４０では、位置合わせ用マーカ、橋渡しマーカのそれぞれについて検出情報が外部記憶装置６０６に登録されることになる。

そして処理をステップＳ４２０に戻し、次の動作指示を待つ。一方、ステップＳ４２０において現実空間の撮影を終了し、以下説明するマーカキャリブレーションを行う旨の動作指示が操作部６０４を介して入力されたことをＣＰＵ６０１が検知した場合には処理をステップＳ４５０に進め、現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める、所謂以下説明するマーカキャリブレーション処理を行う（ステップＳ４５０）。この処理を行うためには、上記処理と並列して行われるステップＳ４４５における処理によって得られている、撮影位置姿勢計測部３３０から取得される撮影部３１０の（おおよその）位置姿勢情報を用いる。この「位置姿勢」は、周知の変換処理により、世界座標系（現実空間中の１点を原点とし、この原点でもって互いに直交する３軸をそれぞれｘ、ｙ、ｚとする座標系）におけるものとしても良いし、その計算内容に応じて適宜どのような座標系に変換しても良い。

マーカキャリブレーション処理では得られたそれぞれのマーカの識別結果（識別したマーカの識別子）、画像座標値、検出した画像がどの撮像装置から得られたものであるのかを識別するための識別子、この画像の撮影時における撮像装置の位置姿勢情報のセットを用いて、例えば上記バンドル調整によって、このそれぞれのマーカの配置位置姿勢を求める処理が行われ、結果が指標情報管理部３７０に送られる。そして、上述した、処理ステップＳ７０２へながる。

図５は、位置合わせ用マーカに加えて橋渡しマーカを配した現実空間を２つのカメラにより撮像する場合に、それぞれの撮像画像内に橋渡しマーカを共有している様子を示す図である。なお、同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。

同図に示す如く、カメラ１０１とカメラ１０２とはそれぞれ橋渡しマーカ５０５を共有して撮像画像５０１，５０２を得る。なお、カメラ１０１とカメラ１０２とは異なるカメラではなく、１つのカメラをそれぞれの位置に配した場合を示すものとしても良い。

そしてこのような処理によって得られたそれぞれのマーカの識別子とマーカの配置位置姿勢とをセットにして外部記憶装置６０６に登録する処理を行う。

このようにして、現実空間中に配された位置合わせ用マーカの配置位置姿勢を求めることができる。

以上の説明により、本実施形態によって、位置合わせ用マーカの配置位置姿勢を求める際に、位置合わせ用マーカの数が少なく、疎である場合には、このような橋渡しマーカを配置することで、位置合わせ用マーカの配置位置を算出することができる。なお、橋渡しマーカは、位置合わせ用マーカの配置を算出するときにだけ配置／投影され、ＭＲ体験時には排除されるため、景観をそこなうという問題も起こらない。

［第２の実施形態］
本実施形態では、第１の実施形態とは異なる方法でもって、マーカキャリブレーション処理を行う。即ち、本実施形態に係るマーカキャリブレーション処理では先ず、任意の１つの画像（以下、この画像を基準画像と呼称する）に含まれているそれぞれのマーカの画像座標値を用いて例えば上記バンドル調整によって、このそれぞれのマーカの配置位置姿勢（および画像撮影時の撮影部３１０の位置姿勢）を求める処理を行う。

ここで配置位置姿勢を求めた位置合わせ用マーカの１つを以下、「第１の位置合わせ用マーカ」と呼称する。また、基準画像内には橋渡しマーカも含まれているので、この橋渡しマーカの配置位置姿勢も当然求まっている。ここで、基準画像に含まれている橋渡しマーカを以下「基準橋渡しマーカ」と呼称する。また、第１の位置合わせ用マーカの配置位置姿勢と基準画像から求めた基準橋渡しマーカの配置位置姿勢との配置位置関係をＴ１とする。

次に、この基準橋渡しマーカを含む他の画像（以下、別画像と呼称）に含まれているそれぞれの位置合わせ用マーカの配置位置姿勢を求める場合には以下の処理を行う。先ず、他画像に含まれているそれぞれのマーカの画像座標値を用いて例えば上記バンドル調整によって、このそれぞれのマーカの配置位置姿勢を求める。しかし、求めた配置位置姿勢は、この他画像内に含まれているマーカが従った座標系によるものである。本実施形態では全ての位置合わせ用マーカの配置位置姿勢を、上記第１の位置合わせ用マーカが属する座標系（以下、基準座標系）に従ったものに統一する。

よってこの場合、別画像から求めた位置合わせ用マーカの配置位置姿勢と、他画像における基準橋渡しマーカとの配置位置姿勢関係に上記Ｔ１を示す行列の逆変換行列でもって補正すればよい。これにより、別画像から求めた位置合わせ用マーカの配置位置姿勢は、上記基準座標系に従ったものとなり、これにより、別画像から求めた位置合わせ用マーカと第１の位置合わせ用マーカとの配置位置姿勢関係を求めることができる。

そして、このような処理を各画像について行うことで、上記第１の位置合わせ用マーカの属する座標系における、それぞれの位置合わせ用マーカの配置位置姿勢を求めることができる。

よって、このような処理を行うためには、それぞれの撮像画像は、ある画像に含まれている１以上の橋渡しマーカのうち１以上は必ず何れかの画像に含まれているように撮像する必要がある。

［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

２つのマーカを１つのグループとする場合に、２つのグループのそれぞれをカメラによって撮像する場合に、マーカ間の配置関係を求める場合の問題について示す図である。現実空間中に配される様々なマーカを示す図である。本発明の実施形態に係るシステムの機能構成を示す図である。現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める処理のフローチャートである。位置合わせ用マーカに加えて橋渡しマーカを配した現実空間を２つのカメラにより撮像する場合に、それぞれの撮像画像内に橋渡しマーカを共有している様子を示す図である。操作入力部３５０、映像取り込み部３２０、指標検出同定部３４０、マーカキャリブレーション部３６０、指標情報管理部３７０、表示オブジェクト生成・表示部３８０のそれぞれの機能を有するコンピュータの基本構成を示すブロック図である。現実空間中に配されたそれぞれの位置合わせ用マーカの配置位置姿勢を求める為の作業のフローチャートである。

Claims

移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像工程と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像工程と、
前記第１の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像および、前記第２の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第１指標／指標群と補助指標と前記第２指標／指標群との相対的な配置関係を算出する配置算出工程と
を備えることを特徴とする指標配置計測方法。
移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像工程と、
第１の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出工程と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像工程と、
前記第２の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出工程と、
前記第１の配置算出工程と前記第２の配置算出工程の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出工程と
を備えることを特徴とする指標配置計測方法。
前記補助指標の視覚的特徴は予め定められたものであることを特徴とする請求項１又は請求項２に記載の指標配置計測方法。
前記補助指標は、前記現実空間に配されたそれぞれの指標の配置関係を求めた後は除去されるものであることを特徴とする請求項１乃至３の何れか１項に記載の指標配置計測方法。
前記補助指標は、物理的に配置、もしくは現実空間内のある表面に対して投影機により投影することによって光学的に配置された補助マーカであることを特徴とする請求項１乃至４の何れか１項に記載の指標配置計測方法。
移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像手段と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像手段と、
前記第１の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像および、前記第２の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第１指標／指標群と補助指標と前記第２指標／指標群との相対的な配置関係を算出する配置算出手段と
を備えることを特徴とする指標配置計測装置。
移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像手段と、
第１の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出手段と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像手段と、
前記第２の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出手段と、
前記第１の配置算出手段と前記第２の配置算出手段の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出手段と
を備えることを特徴とする指標配置計測装置。
コンピュータに請求項１乃至５の何れか１項に記載の指標配置計測方法を実行させることを特徴とするプログラム。
請求項８に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。