JP6109213B2 - 情報処理装置および方法、プログラム - Google Patents

Description

現実空間上に存在する指標の撮影画像を用いて、指標の配置情報または計測対象の配置情報または撮影部のパラメータを算出するものに関する。

近年、現実空間に仮想空間の情報（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報など）をリアルタイムに重ね合わせて利用者に提示する複合現実感技術に関する研究が盛んである。複合現実感システムで利用される画像表示装置は、ビデオカメラなどの撮影装置によって撮影された現実空間の画像に、撮影装置の位置及び姿勢に応じて生成した仮想空間の画像を重畳描画した画像を表示するビデオシースルー方式によって主に実現される。

体験者が複合現実感システムを違和感なく利用するためには、現実空間と仮想空間との間の位置合わせをいかに正確に行うかということが重要であり、従来から多くの取り組みがなされてきた。一般に、複合現実感における位置合わせの問題は、仮想の情報を重畳しようとする空間や物体に対する撮影装置の位置及び姿勢を求める問題に帰結される。

この問題を解決する方法として、環境中や物体上に配置あるいは設定した指標を用いて位置合わせを行う手法が一般的に行われている（非特許文献１参照）。この手法では、予め指標の三次元座標は与えておき、撮影装置が撮影した画像内における指標の画像座標と三次元座標との対応関係を利用して、撮影装置の位置及び姿勢を求めている。

また、非特許文献２では、指標と磁気式や光学式の６自由度位置姿勢センサをハイブリッドで利用する手法が開示されている。６自由度位置姿勢センサからは、安定的に計測値を得ることができるが、精度が十分ではない場合が多い。そのため、この手法では、撮影装置に装着した６自由度位置姿勢センサから取得される撮影装置の位置及び姿勢を、指標の画像情報を用いて補正することで精度を向上させている。さらに非特許文献３では、撮影装置に３自由度姿勢センサを装着し、指標の画像情報と、姿勢センサから得られる姿勢計測値を利用して、撮影装置の位置及び姿勢を計測する方法が開示されている。

前述の指標を利用した位置合わせ手法では、位置合わせの基準となる三次元座標系（以下、基準座標系と呼ぶ）における指標の三次元情報（以下、指標の配置情報と呼ぶ）を予め求めておく必要がある。指標の配置情報は、定規や分度器、測量器等を用いて手作業で計測することが可能である。しかし、手作業による計測には、手間がかかる、精度が悪いといった問題がある。そのため、画像情報を利用して簡便かつ高精度に指標の配置情報を求めることが従来より行われている。

指標の配置情報が三次元空間中の一点の位置で表される指標（以下、点指標と呼ぶ）の配置情報は、バンドル調整法によって求めることができる。バンドル調整法は、様々な方向から撮影した多数の撮影画像をもとに、空間中の点群の位置と各撮影画像を撮影した際の撮影装置の位置及び姿勢を同時に求める手法である。具体的には、撮影画像上で観察される点の画像上での位置と、点の位置及び撮影装置の位置及び姿勢から計算される点の画像上での位置との誤差の和が最小になるように点群の位置及び撮影装置の位置及び姿勢を最適化する手法である。一方、正方形など二次元形状を持つ指標のように、配置情報が基準座標系における位置及び姿勢で表される指標（以下、二次元指標）の場合には、点群の位置を求める手法であるバンドル調整法を直接適用することができない。そこで非特許文献４では、二次元指標と点指標の配置情報をバンドル調整法と同様の手法で求める手法が開示されている。

前述の指標と６自由度位置姿勢センサまたは３自由度姿勢センサを利用する位置合わせ手法では、指標の配置情報だけでなくセンサの配置情報を予め計測しておく必要がある。

例えば、磁気式の６自由度位置姿勢センサを利用する場合には、空間中にトランスミッタを固定し、計測対象（例えば撮影装置）にレシーバを装着して計測対象の位置及び姿勢の計測を行う。該センサはトランスミッタが規定する座標系におけるレシーバの６自由度位置姿勢を計測するものである。そのため、基準座標系における計測対象の位置及び姿勢を得るためには、基準座標系に対するトランスミッタの配置情報（ここでは位置及び姿勢）及び計測対象に対するレシーバの配置情報（ここでは位置及び姿勢）を予め計測しておく必要がある。特許文献１には、基準座標系に配置された指標を様々な方向から撮影した複数の画像を利用して該センサの配置情報を求める手法が開示されている。また、３自由度姿勢センサを利用する場合には、計測対象（例えば撮影装置）に姿勢センサを装着して計測対象の姿勢の計測を行う。そのため計測対象に対する姿勢センサの配置情報（ここでは姿勢）を予め計測しておく必要がある。特許文献４には、指標を撮影した複数の画像を利用して該センサの計測対象に対する姿勢を求める手法が開示されている。

特開２００３−２６９９１３ 特開２００３−２０３２５２ 特開２００５−１０７２４８ 特開２００５−３２６２７５

佐藤，田村："複合現実感における位置合わせ手法"，画像の認識・理解シンポジウム（ＭＩＲＵ ２００２）論文集Ｉ，情報処理学会シンポジウムシリーズ，ｖｏｌ．２００２，ｎｏ．１１，ｐｐ．Ｉ．６１−Ｉ．６８，２００２． 内山，山本，田村："複合現実感のためのハイブリッド位置合わせ手法−６自由度センサとビジョン手法の併用−"，日本バーチャルリアリティ学会論文誌，ｖｏｌ．８，ｎｏ．１，ｐｐ．１１９−１２５，２００３． 佐藤，内山，山本："ＵＧ＋Ｂ法：主観及び客観視点カメラと姿勢センサを用いた位置合わせ手法"，日本バーチャルリアリティ学会論文誌，ｖｏｌ．１０，ｎｏ．３，ｐｐ．３９１−４００，２００５． 小竹，内山，山本："マーカ配置に関する先験的知識を利用したマーカキャリブレーション方法，日本バーチャルリアリティ学会論文誌，Ｖｏｌ．１０，ｎｏ．３，ｐｐ．４０１−４１０，２００５．

従来技術では、位置合わせに利用する指標やセンサの配置情報計測のために様々な方向から撮影した多数の画像が利用されている。これは、画像の撮影は利用者が撮影位置を考え手動で行うことが通例である。しかし、高い精度で配置情報計測を行うためには適当に画像を撮影するのでは不十分で、利用者の経験やノウハウが必要であった。すなわち、誰でも簡単に配置情報を計測することが困難であるという課題があった。

また、従来の指標やセンサの配置情報計測は、事前の準備に時間を要するために利用者が複合現実感システムを体験する前に行うことが前提となっていた。そのため、利用者が複合現実感システムを体験している最中に、指標を新たに追加して移動範囲を拡大することや、また指標やセンサの配置情報が変化するなどの場合に対応できないという解決すべき課題があった。

本発明は、以上の課題を鑑みてなされたものであり、指標やセンサの配置情報などの計測に用いる画像を、利用者の経験やノウハウを要さずに、簡単に撮像することを目的とする。

本発明の一態様によれば、情報処理装置に、撮像装置の視点及び／または撮像方向を変更して現実空間を撮像した複数の画像を取得する取得手段と、前記複数の画像のそれぞれから指標を検出する検出手段と、前記複数の画像を用いて、前記指標の位置を算出する算出手段と、前記指標に基づいて当該指標を含む画像を撮像した前記撮像装置の撮像方向及び撮像距離を計測する計測手段と、撮像方向が計測された前記撮像方向より所定角度以内かつ撮像距離が計測された前記撮像距離より所定範囲以内の領域を対象外領域とし、全空間から当該対象外領域を除いた領域を画像撮影領域と判定する判定手段と、前記画像撮影領域をユーザに報知する報知手段とを備える。

本発明によれば、指標やセンサの配置情報などの撮像に関わるパラメータの算出に用いる画像を、利用者の経験やノウハウを要さずに、簡単に撮像することを目的とする。

第１の実施形態に係る情報処理装置の概略構成を示す図である。 第１の実施形態に係る情報処理装置の概略処理を示すフローチャートである。 第１至乃第６の実施形態に係る指標の概略構成を示す図である。 第１実施形態に係る画像使用判定部の概略処理を示すフローチャートである。 第１の実施形態に係る評価量算出を説明するための図である。 本実施形態における指標の配置情報または撮影部の位置及び姿勢を求める手順を示すフローチャートである。 第２の実施形態に係る情報処理装置の概略構成を示す図である。 第２の実施形態に係る情報処理装置の概略処理を示すフローチャートである。 第２実施形態に係る画像使用判定部の概略処理を示すフローチャートである。 第３の実施形態に係る情報処理装置の概略処理を示すフローチャートである。 第３実施形態に係る基準座標系に配置された指標のカメラ座標系への変換を示す図である。 第４実施形態に係る情報処理装置の概略構成を示す図である。 第４実施形態に係る情報処理装置の概略処理を示すフローチャートである。 第４実施形態に係る画像撮影領域を説明するための図である。 第４実施形態に係る画像撮影領域または撮影位置及び姿勢の提示を説明する図である。 第５実施形態に係る情報処理装置の概略構成を示す図である。 第５実施形態に係る情報処理装置の概略処理を示すフローチャートである。 第７の実施形態に係る情報処理装置の概略構成を示す図である。 第７の実施形態に係る情報処理装置の概略処理を示すフローチャートである。 第７の実施形態に係る画像使用判定部の概略処理を示すフローチャートである。

以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。

〔第１の実施形態〕
本実施形態に係る情報処理装置では、現実空間上に存在する指標の撮影画像を用いて、指標の配置情報を算出する。以下、本実施形態に係る情報処理装置について説明する。

図１は、本実施形態に係る指標の配置情報を算出する情報処理装置１０００の概略構成を示している。情報処理装置１０００はビデオカメラなどの撮影部１００に接続されている。

画像取得部１０１０は、撮影部１００から画像を取得する。撮影部１００は、指標が配置されている空間または物体を撮影し、画像取得部１０１０を介して情報処理装置１０００に動画像系列を逐次入力する。画像取得部１０１０は、例えばＰＣに設置されたビデオキャプチャカードである。なお、撮影部１００からビデオカメラで得られるライブ画像をリアルタイムに入力するのではなく、不図示の記憶装置に記憶してある過去に撮影された画像系列を入力してもよい。

指標抽出部１０２０は、取得された画像中から指標を抽出する。

ここで本実施形態で用いる指標について説明する。

環境中または対象物体上には、図３（Ａ）に示すような四角形形状の指標（以下、四角形指標と呼ぶ）が複数配置されているものとする。ここで、配置された指標をＰ^ｋ（ｋ＝１，，，Ｋ_ｏ）で表す。但し、Ｋ_ｏは配置された指標の数（図３（Ａ）の例ではＫ_ｏ＝３）である。図３（Ｂ）に示すように、四角形指標は、内部に識別子を表すパターンを持ち、一意に同定可能であるとする。また、また、四角形指標Ｐ^ｋは頂点ｐ^ｋｉ（ｉ＝１，，，Ｎ_ｋ）により構成される。但し、Ｎ_ｋは、指標Ｐ^ｋを構成する頂点の総数（本実施形態の場合は四角形指標であるのでＮ_ｋ＝４）を表す。指標抽出部１０２０は、撮影画像に２値化処理を施した後にラベリング処理を行い、一定面積以上の領域の中から４つの直線によって形成されているものを指標候補として抽出する。さらに、候補領域の中に特定のパターンがあるか否かを判定することによって候補領域が指標領域であるかを判定し、内部のパターンを読み出すことによって指標の画像内の方向と識別子を取得することにより、取得された画像中から指標を抽出する。

なお、環境中または対象物体上に配置される指標Ｐ^ｋは、四角形指標に限るものではなく、撮影画像上において検出可能であって、かついずれの指標であるか識別可能である指標であれば、何れの形態であってもよい。例えば、図３（Ｃ）に示すように、それぞれが異なる色を有する円形状の指標のような点指標であってもよい。この場合には、画像上から各々の指標の色に対応する領域を検出し、その重心位置を指標の検出座標とする。また、それぞれが異なるテクスチャ特徴を有する空間に元来存在する特徴点（自然特徴点）を点指標としてもよい。この場合には、既知の情報として予め保持している各々の指標のテンプレート画像によるテンプレートマッチングを画像上に施すことにより、画像から指標の抽出する。これに限らず、空間中に固定された指標であってそれを撮影した画像から検出可能なものであればどのような指標であってもかまわない。

指標管理部１０３０は、指標抽出部１０２０において抽出された指標の、各々の四角形指標Ｐ^ｋｎの識別子ｋ_ｎと各頂点ｐ^ｋｎｉの画像座標ｕ^Ｐｋｎｉ、各指標の配置情報を指標情報として管理する。指標の配置情報は、四角形指標であれば基準座標系に対する指標の位置及び姿勢、点指標であれば基準座標系に対する指標の位置となる。基準座標系は、環境中や物体上の一点を原点として定義し、互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義する。また、本実施形態において、基準座標系での配置情報が既知の指標を基準指標と呼び、いずれかの画像中には、基準指標が含まれるように撮影する。

撮影部位置姿勢情報取得部１０４０は、画像を撮影した時点の撮影部の概略位置及び姿勢を取得する。

画像使用判定部１０５０は、画像取得部１０１０によって情報処理装置１０００に入力された画像を指標の配置情報の算出に使用するか否かの判定を行う。
指標配置情報算出部１０６０は、画像使用判定部１０５０で使用すると判定された画像を用いて指標の配置情報を算出する。

次に、本実施形態における指標配置情報計測の処理の手順を図２に示すフローチャートを用いて説明する。

ステップＳ２０１０では、画像取得部１０１０を介して撮影装置１００が現在撮影している画像を取得する。

ステップＳ２０２０では、指標抽出部１０２０において画像取得部１０１０から取得された画像上における指標が抽出し、抽出された各々の四角形指標Ｐ^ｋｎの識別子ｋ_ｎと各頂点ｐ^ｋｎｉの画像座標ｕ^Ｐｋｎｉ、を指標管理部１０３０に登録する。ここで、ｎ（ｎ＝１，，，Ｎ）は画像上で検出された四角形指標夫々に対するインデックスであり、Ｎは検出された四角形指標の総数を表している。また、画像中で検出されたＮ個の四角形指標の頂点の総数をＮ_{Ｔｏｔａｌ}とする。例えば図３（Ａ）の場合は、識別子が１、２、３である四角形形状の指標が撮影される場合を示しており、Ｎ＝３である。そして、識別子ｋ_１＝１、ｋ_２＝２、ｋ_３＝３とこれらに対応する画像座標ｕ^Ｐｋ１ｉ、ｕ^Ｐｋ２ｉ、ｕ^Ｐｋ３ｉ、（ｉ＝１、２、３、４）が指標管理部１０３０に登録される。この場合、Ｎ_{Ｔｏｔａｌ}は、１２（＝３×４）になる。

ステップＳ２０３０では、撮影部位置姿勢情報取得部１０４０において現在入力されている画像を撮影した際の撮影部の概略位置及び姿勢情報を取得する。本実施形態では、撮影部の概略位置及び姿勢を、基準座標系における配置情報が既知である指標の画像情報から公知の手法により求める。例えば、画像中で検出される指標が空間中で同一平面上にない場合にはＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）法によって、同一平面上にある場合には平面ホモグラフィーによる手法によって撮影部の位置及び姿勢を求める。このような複数の点の画像座標と三次元座標の対応から撮影部の位置と姿勢を求める方法は写真測量やコンピュータビジョンの分野で広く公知であるので、その詳細な説明は省略する。なお、撮影部の位置または姿勢の取得方法はこれに限られるものではなく、例えば、磁気式、超音波式、光学式などの６自由度位置姿勢センサを撮影部に装着してその出力値を撮影部の概略位置及び姿勢として用いてもよいし、非特許文献３に開示されている３自由度姿勢センサと指標を併用する手法から撮影部の概略位置及び姿勢を求めてもよい。あるいは、その他の何れかの公知技術を用いて撮影部の概略位置及び姿勢を求めてもよい。

ステップＳ２０４０では、画像取得部１０１０によって取得された画像を指標の配置情報の算出に使用するか否かを判定する。図４は、ステップＳ２０４０において、指標の配置情報算出に必要な画像かどうかの判定の手順を示すフローチャートである。

ステップＳ３０１０では、取得された画像中に基準指標かあるいは基準座標系における概略の配置情報を持つ指標が検出されているかを判定する。基準指標は、画像中で検出されたサイズが既知の四角形指標などの多角形指標や、同一直線上にない相対位置関係が既知の３点以上の点指標によって定義すればよい。基準指標以外の四角形指標の概略配置情報は、指標を撮影した時点での撮影部の概略位置及び姿勢及び画像上での各頂点の位置をもとに、平面ホモグラフィーを計算することで求めることができる。また、指標が点指標である場合には、撮影した時点での撮影部の概略位置及び姿勢が既知である２枚の撮影画像からステレオ法によって指標の概略位置を求めることができる。

基準指標あるいは概略配置情報を持つ指標が画像上で検出されない場合には、ステップＳ３０５０へ判定結果を出力し、ステップＳ３０５０でその画像を使用しないと判定される。

ステップＳ３０２０では、基準指標以外の計測対象である指標が検出されているかどうかを判定する。計測対象となる指標が検出されていない場合には、ステップＳ３０５０へ判定結果を出力し、ステップＳ３０５０でその画像を使用しないと判定される。

ステップＳ３０３０では、指標管理部１０３０で管理されている指標情報と撮影部位置姿勢取得部１０４０で取得された撮影部の位置及び姿勢を入力する。ステップＳ３０４０では、指標の配置情報計測に画像を使用するかどうかを判定するための評価量を算出する。ここで、評価量の算出方法について述べる。

図５は、取得した画像を計測に使用するかどうか判定するための評価量の求め方を説明する図である。

過去に計測に使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とし、取得された画像を第ｍフレームとして使用するかどうかの判定を行う。現在取得された画像を撮影した時点での撮影部の位置をＣ_ｍ＝［Ｃ_ｍｘ Ｃ_ｍｙ Ｃ_ｍｚ］^ｔとする。また、第ｍフレームで取得された画像中で検出された指標群の各々の配置情報から求めた基準座標系における重心位置をＧ_ｍ＝［Ｇ_ｍｘ Ｇ_ｍｙ Ｇ_ｍｚ］^ｔとする。第ｍ−１フレームを撮影した時点での撮影部の位置Ｃ_ｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇ_ｍ−１とを結ぶベクトルを

とし、現在取得された画像を撮影した時点での撮影部の位置Ｃ_ｍと重心位置Ｇ_ｍ−１とを結ぶベクトルを

とする。

求めたθ_ＡＢを第１の評価量とする。

求めたαを第２の評価量とする。

ステップＳ３０５０では、求めた評価量をもとに取得された画像を使用するか否かの判定を行う。

まず、第１の評価量θ_ＡＢが
θ_ＡＢ＞θ_ＴＡＢ ・・・（１−４）
であるときには、第ｍ−１フレームと現在取得されている画像との間に十分に大きな視差があるとして、取得された画像を第ｍフレームとして使用すると判定する。ここでθ_ＴＡＢは、閾値である。評価量θ_ＡＢが閾値θ_ＴＡＢより大きいということは、検出した指標群を第ｍフレームと第ｍ−１フレームにおいて異なる視点から撮影していることを意味する。閾値θ_ＴＡＢは、指標の三次元空間中での分布や配置する環境に応じて任意に変更してもよい。例えば、室内における場合など、撮影可能な範囲が制限されるため場合には、θ_ＴＡＢを小さくする。しかし、閾値θ_ＴＡＢを小さくすると、視差が小さくなるため計測結果の精度は低下する。計測結果の精度が低下するのを防ぐには、使用する画像の枚数を増やしたり高解像度のカメラを使用したりすればよい。

式（１−４）の条件が満たされない場合には第２の評価量αをもとに判定を行う。

第２の評価量αが、
α＜α_Ｔ１，またはα_Ｔ２＜α（但し、α_Ｔ１，＜α_Ｔ２とする） ・・・（１−５）
であるとき取得された画像を第ｍフレームとして使用すると判定し、そうでない場合使用しないと判定する。ここでα_Ｔ１、α_Ｔ２、は閾値である。第２の評価量が上記の条件を満たすということは、検出した指標群に対する撮影距離が第ｍフレームと第ｍ−１フレームとで異なっていることを意味する。

ステップＳ３０６０では、ステップＳ３０５０で判定された画像を使用するか否かの判定結果を出力する。

ステップＳ２０５０では、現在取得されている画像がステップＳ２０４０で使用すると判定され、かつ指標の配置情報計測に使用すると判定された画像枚数ｍが、

となったときは、ステップＳ２０６０に進む。一方、ステップＳ２０４０で使用されないと判定された場合は、再びステップＳ２０１０へ戻り、新たな画像を取得する。

ステップＳ２０６０では、使用すると判定された画像の情報を用いて指標の配置情報を算出する。

以下、ステップＳ２０４０において使用すると判定された画像を用いた、指標の配置情報の算出方法について述べる。

ここで、各画像を撮影したときの撮影装置の概略位置及び姿勢、計測対象である四角形指標の概略位置及び姿勢は前述した方法によって得られているものとする。指標の配置情報は、指標の画像上での検出位置と、撮影装置の位置及び姿勢と指標の配置情報から計算される画像上での位置との間の誤差が最小になるように、撮影装置及び指標の配置情報を同時に最適化することにより求める。

指標が画像上に投影される位置をｕ＝［ｕ_ｘ ｕ_ｙ］^ｔ、撮影部の位置及び姿勢を表すベクトルをｓ、指標の配置情報を表すベクトルをａとすると、式（１−６）のように表される。
ｕ＝Ｆ（ｓ，ａ）・・・（１−６）

Ｆは基準座標系からカメラ座標系への変換であるビューイング変換、および透視投影変換を含む関数である。基準座標系における撮影部の位置をｔ＝［ｔ_ｘ ｔ_ｙ ｔ_ｚ］^ｔ、撮影部の姿勢をω＝［ω_ｘ ω_ｙ ω_ｚ］とすると撮影部の位置及び姿勢を表すベクトルｓ＝［ ｔ_ｘ ｔ_ｙ ｔ_ｚ ω_ｘ ω_ｙ ω_ｚ］^ｔとなる。ａは指標が位置情報しか持たなければ３次元ベクトルであり、位置及び姿勢の情報を持っていれば６次元ベクトルとなる。三次元空間における姿勢は３×３回転変換行列で表されるが、回転の自由度は３しかないので３次元ベクトルωで表すことができる。

ωは３自由度の姿勢表現方法であり、姿勢を回転軸ベクトル及び回転角で表現している。回転角をｒ_ａとすると、ｒ_ａはωによって次式のように表される。

また、回転軸ベクトルをｒ_ａｘｉｓ＝［ｒ_ｘ ｒ_ｙ ｒ_ｚ］^ｔとすると、ｒ_ａｘｉｓとωの関係は次式のように表される。

ω（回転角ｒ_ａ、回転軸ベクトルｒ_ａｘｉｓ）と３×３回転変換行列Ｒとの関係は次式のように表される。

画像上での指標の検出座標を

とする。

とおくと、△ｕは、ｓを補正するベクトル△ｓ、ａを補正するベクトル△ａを用いて、一次近似により次式のように表すことができる。

ここで

はヤコビ行列（または画像ヤコビアン）と呼ばれる。ヤコビ行列の具体的な計算方法は非特許文献４において従来例があるためここでは省略する。

式（１−１１）は、ある１つの画像における１つの点（四角形指標であれば１つの頂点）に関する関係式である。計測に使用すると判定された画像がｍ枚あり、指標の頂点がｑ個あるとすると、次式が得られる。

上式を簡略化して書くと次式のようになる。

使用すると選択された画像中において検出されたすべての指標の頂点が全部でｎ点あるとすると次式を得ることができる。

求めるべき未知パラメータ△ｔは最小二乗法によって次式のように求めることができる。

なお、＋は擬似逆行列を表す。式（１−１５）から△ｔを計算することは、補正値ベクトル△ｔについての未知数に対して冗長な連立１次方程式を解くことに等しい。そのため、擬似逆行列を計算するのではなく、掃き出し法、あるいはガウス・ジョルダン法、あるいは共役勾配法など、その他の連立一次方程式を解くための方法を用いて解いてもよい。取得した画像が多い場合や、検出した指標が多い場合には、前処理で不完全コレスキー分解を行う前処理付き共役勾配法などで高速に計算することができる。

得られた△ｔを用いて

を補正する。Σ△ｕが予め定めた閾値より小さいかどうか、あるいは、補正値△ｓが予め定めた閾値より小さいかどうかといった判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルｓを初期値として用いて繰り返し計算を行う。計算が収束したと判定されると、指標の配置情報を出力する。

以上、説明したように、本実施形態では、画像中で検出された指標の概略配置情報と、撮影画像の撮影された時点での撮影部の概略位置及び姿勢情報から計算される評価値を用いて、撮影画像を計測に使用するか否かを自動的に判定する。これにより、指標の配置情報計測を高精度に行うために必要となる。様々な方向から撮影した多数の画像を経験やノウハウを必要とせず取得することが可能となる。

（変形例１−１）
第１の実施形態では、第ｍ−１フレームを撮影した時点での撮影部の位置Ｃ_ｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇ_ｍ−１とを結ぶベクトルを

とし、取得された画像を撮影した時点での撮影部の位置Ｃ_ｍと重心位置Ｇ_ｍ−１とを結ぶベクトルを

として第１の評価量を求めていた。しかし、重心位置Ｇ_ｍ−１は単純な重心ではなく指標の検出結果に応じて重み付けされた重み付き重心位置をＧ_ｍ−１としてもよい。

重心位置を求めているのは計測対象指標までの距離を考慮するためである。ステレオ計測などの画像を用いた計測では、計測対象までの距離と撮影位置間の距離によってその計測精度が影響を受ける。しかしながら、例えば検出された指標のうち例外的に一つの指標だけが遠くまたは近くに存在する場合には、計測対象の代表位置が例外的な指標の影響を大きくうけてしまう。従って、例外的な指標を排除または重心計算における重みを下げることにより、その影響を軽減させる。

第ｍ−１フレームで検出した各指標の概略位置と第ｍ−１フレームを撮影した際の撮影部の概略撮影位置との距離ｌ_ｉ（ｉ＝１，２，・・・Ｎ）を求める。ここでのＮは第ｍ−１フレームで検出した指標の総数を表す。ここで、重心計算において、例外的な指標には小さな重みを与えて求めた重み付き重心位置をＧ_ｍ−１とする。重みの計算方法としては、例えば、ロバスト推定手法であるＭ推定でよく用いられるＴｕｋｅｙ ｆｕｎｃｔｉｏｎを用いることができる。Ｔｕｋｅｙ ｆｕｎｃｔｉｏｎでは、距離ｌ_ｉ（ｉ＝１，２，・・・Ｎ）と距離ｌ_ｉの標準偏差に基づいて得られた閾値ｃを用いて重みＷ_ｉは、

として求まる。

第ｍ−１フレームで検出した各指標の位置ｔ_ｉ（ｉ＝１，２，・・・Ｎ）とすると、重み付き重心位置をＧ_ｍ−１は、

として求まる。

（変形例１−２）
第１の実施形態では、指標の配置情報または撮影部の位置及び姿勢を求めたが、撮影部の内部パラメータを計測対象として算出してもよい。

未知パラメータとなる撮像部の内部パラメータは、焦点距離ｆ、画像中心の座標（ｕ_０、ｖ_０）、ｕ及びｖ方向のスケール・ファクターｋ_ｕ、ｋ_ｖおよびせん断係数ｋ_ｓによって次式のように表される。

Ａはカメラ座標系ｘ_ｃの点を画像座標ｕへ変換する行列である。

計測に使用するか否かの判定は、第１の実施形態と同様の手法で判定することができる。前述の撮影部の内部パラメータを未知パラメータとし、指標の画像座標の実測値と、パラメータの推定値から算出した指標の画像座標の理論値との誤差を最小化するようなパラメータを非線形最適化により求めることができる。このとき撮影部の概略の内部パラメータは設計パラメータなどをもとに予め設定しておく。

（変形例１−３）
本実施形態では、第１の評価量θ_ＡＢを第ｍ−１フレームを撮影した時点での撮影部の位置Ｃ_ｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇ_ｍ−１とを結ぶベクトル

と、取得された画像を撮影した時点での撮影部の位置Ｃ_ｍと重心位置Ｇ_ｍ−１とを結ぶベクトル

から求めていた。

しかし、第ｍ−１フレームと取得された画像のみから第１の評価量を求めなくてもよい。ここで、取得された画像中で検出された指標群の重心位置Ｇ_ｍと取得された画像を撮影した時点での撮影部の位置Ｃ_ｍとを結ぶベクトルを

とする。また、取得された画像中で検出される指標の識別子と同じ識別子を持つ指標を含む画像を、第１フレームから第ｍ−１フレームの中から抜き出す。抜き出された画像の総数をＱとする。取得された画像中で検出された指標群の重心位置Ｇ_ｍと第ｑフレーム（ｑ＝１、２、・・・Ｑ）が撮影された時点での撮影部の位置Ｃ_ｑを結ぶベクトルを

として第１の評価量を求める。

第１の評価量θ_ＡＢｑがすべてのｑに対して
θ_ＡＢｑ＞θ_ＴＡＢ ・・・（１−２０）
である場合には取得された画像を使用すると判定し、そうでない場合使用しないと判定する。ここでθ_ＴＡＢは、閾値である。評価量θ_ＡＢｑが閾値θ_ＴＡＢより大きいということは、検出した指標群に対して第ｍフレームと第ｑフレームが異なる視点から撮影していることを意味する。閾値θ_ＴＡＢは、指標の分布や配置する環境に応じて任意に変更してもよい。

このような評価量を用いて判定することで、すでに使用すると判定されている画像の全てと異なる視点から撮影された画像を自動的に選択することができる。

（変形例１−４）
本実施形態では、すでに使用すると判定された画像のうち、同一の位置及び姿勢の撮影装置から撮影された画像を排除または更新することはしていなかった。しかし、同一の位置及び姿勢の撮影装置からのは、指標の配置情報の計測精度を向上させる情報を持たないため必要ない。そのため、同一の位置及び姿勢で撮影された画像は、排除または更新するべきである。そこでほぼ同一の位置及び姿勢からの撮影を排除または更新する処理について以下で説明する。

現在取得された画像の撮影された時点での撮影部の位置Ｃ_ｍと取得された画像中で検出された指標群の各々の配置情報から求めた重心位置をＧ_ｍとで作るベクトルを

とする。また、過去に使用すると判定された各画像の撮影された時点での撮影部の位置Ｃ_１、Ｃ_２、・・・、Ｃ_ｍ−１と重心位置をＧ_ｍとで作る各ベクトルを

とする。

と各ベクトル

のなす角θ_ＣＤ１、θ_ＣＤ２、・・・、θ_{ＣＤｍ−１}を次式によって求める。

また、

と各ベクトル

の比β_ｉを次式によって求める。

まず、ｉ＝１、２、・・・ｍ−１においてθ_ＣＤｉが、
θ_ＴＣＤ＜θ_ＣＤｉ・・・（１−２３）

かつ、β_ｉが、

のとき同一視点位置からの撮影と判定し、そのフレームを第ｊフレーム（ｊ＝１、２、・・・Ｊ）とする。Ｊは、同一視点位置からの撮影と判定された画像の総数を表す。ここでθ_ＴＣＤ、β_Ｔ１Ｌ、β_Ｔ２Ｌは閾値である。

次に同一姿勢かどうかを判定する。まず、取得された画像の撮影部の視軸ベクトルｔ_ｍと同一視点位置と判定された第ｊフレームの視軸ベクトルｔ_ｊとの角度差θ_ｍｊを次式によって求める。

角度差θ_ｍｊ（ｊ＝１、２、・・・Ｊ）を第３の評価量とする。

次に、視軸周りの回転角度差を求める。

視軸ベクトルと直交するベクトルｖ_ｍをカメラ座標系でのｙ軸方向のベクトルｔ_ｙ＝［０ １ ０］^ｔとおき、撮影部の概略姿勢を表す３×３回転変換行列Ｒｍを用いて基準座標系に変換する。
ｖ_ｍ＝Ｒ_ｍ・ｔ_ｙ ・・・（１−２６）

同様に、同一視点位置と判定された第ｊフレームの視軸ベクトルと直交するベクトルｖ_ｊをカメラ座標系でのｙ軸方向のベクトルｔ_ｙ＝［０ １ ０］^ｔとおき、基準座標系に変換する。
ｖ_ｊ＝Ｒ_ｊ・ｔ_ｙ ・・・（１−２７）

ｖ_ｍとｖ_ｊとの角度差、つまり視軸周りの回転角度差γ_ｍｊは次式によって求まる。

視軸周りの回転角度差γ_ｍｊ（ｊ＝１、２、・・・Ｊ）を第４の評価量とする。

前述のように求めた第３及び第４の評価量に応じて同一姿勢で撮影された画像かどうか判定し、該画像を計測に使用するか否かを判定する。

第３の評価量θ_ｍｊが
θ_ｍｊ＜θ_ｍｊ（ｊ＝１、２、・・・Ｊ） ・・・（１−２９）
であるとき、その取得された画像は同一視点位置かつ同一姿勢から第ｊフレームにおいてすでに撮影されていることを意味し、その画像は使用しない。

一方、第３の評価量が式（１−２９）の条件を満たさない場合、第４の評価量に応じて画像を使用するかどうかの判定を行う。

第４の評価量γ_ｍｊが、
γ_ｍｊ＞γ_Ｔｍｊ ・・・（１−３０）
であるとき、その取得された画像は同一視点位置かつ同一姿勢から撮影されているが、視軸周りに回転して撮影されているため、その画像は使用すると判定する。そうでない場合は使用しないと判定する。ここでγ_ｍｊは閾値である。

また、前述の方法でほぼ同視点位置及び姿勢からの撮影のため使用しないと判定した画像であっても、画像中で検出した指標の数が多い場合には、取得した画像をすでに使用すると判定された画像と置き換えることで更新する。

（変形例１−５）
非特許文献４では、指標の先験的知識を利用して、指標に拘束条件をつけて非線形最適化を行っている。本実施形態では、画像を自動で取得しているので、未知の指標に対しては幾何拘束条件をつけて算出することはできない。しかし、あらかじめ指標が平面上にあることがわかっている場合など、幾何拘束条件が予めわかっている場合には、幾何拘束条件をつけて非線形最適化を行ってもよい。

また、未知の指標であっても、一度幾何拘束条件をつけずに非線形最適化を行ったあと、オペレータがマウスやキーボードなどの入力装置を介して、幾何拘束条件をつけて再度非線形最適化を行ってもよい。

（変形例１−６）
なお、指標の配置情報計測のために画像を使用するか否かの判定は、次に示す評価量を用いて行ってもよい。すでに未知パラメータの算出に使用すると判定されている画像のフレーム番号を１、２、・・・、ｍ−１、とし、取得された画像を第ｍフレームとして使用するかどうかの判定を行う。

まず、第ｍ−１フレームと取得された画像を比較する。検出された指標のうち画像上で閾値Ｔ％以上重なりを持つ画像を第ｍフレームの候補画像とする。

次に、第ｍ−１フレームを撮影した時点での撮影部の位置Ｃ_ｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇ_ｍ−１とを結ぶベクトルを

とし、取得された候補画像を撮影した時点での撮影部の位置Ｃ_ｍと重心位置Ｇ_ｍ−１とを結ぶベクトルを

とする。さらに撮影部の位置Ｃ_ｍ−１とＣ_ｍを結ぶベクトルを

とする。次の式を満たすとき、取得された画像を計測に使用すると判定する。

ここでＤ_ＴＨは閾値である。ステレオ計測などの画像を用いた計測では、計測対象までの距離と撮影位置間の距離によってその計測精度が影響を受ける。式（１−３１）は、第ｍ−１フレームと取得した画像の撮影された時点での撮影部の位置と指標の代表位置である重心位置までのそれぞれの距離

と

、撮影位置間の距離

を考慮している。つまり、指標の代表値までの距離が近ければ

は小さくなり、基線長が長ければ

が大きくなる。従って、式（１−３１）を満たすとき、指標の配置情報計測のために必要な画像を判定することができる。

（変形例１−７）
第１の実施形態では、計測対象指標までの距離を考慮するために、各指標の３次元空間中における重心位置に基づいて評価量を求め、指標の配置情報計測に画像を使用するか否かの判定を行っていた。第ｍ−１フレームを撮影した時点での撮影部の位置Ｃ_ｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇ_ｍ−１とを結ぶベクトルと、取得された画像を撮影した時点での撮影部の位置Ｃ_ｍと重心位置Ｇ_ｍ−１とを結ぶベクトルに基づいて評価量を求めていた。しかし、指標の代表位置は各指標位置の重心位置によって求めるのではなく、撮影部が撮影する範囲の中心方向を表す視軸上で代表位置を求めてもよい。検出した各指標の３次元空間中における概略位置よりカメラ座標系における奥行きを求め、各指標の奥行きの平均値をｚ_ｍｅａｎとする。カメラ座標系における指標の代表位置をｔ_ａｍ＝（０，０，ｚ_ｍｅａｎ）とする。撮影部のおおよその位置及び姿勢は撮影部位置姿勢情報取得部１０４０より得ることができるので、カメラ座標系における指標の代表位置ｔ_ａｍを基準座標系の位置に座標変換する。そして座標変換後の代表位置をｔ’_ａｍとする。本実施形態で用いた代表位置である重心位置の変わりにｔ’_ａｍを用いてもよい。

（第２の実施形態）
第１の実施形態では、環境または物体に配置された指標の配置情報の計測のための画像利用判定を行い、該計測を行った。第２の実施形態では、姿勢センサのカメラ座標系における姿勢を算出するために使用する画像を自動で判定し、撮影部に装着した姿勢センサのカメラ座標系における姿勢を算出する。

本実施形態で用いられる姿勢センサは、３軸方向の角速度を検出するジャイロセンサと、３軸方向の加速度を検出する加速度センサによって主に構成されており、それらの計測値の組み合わせによって３自由度の姿勢を計測する。一般に、ジャイロセンサを用いた姿勢センサは、ジャイロセンサが出力する角速度の情報を積分することにより姿勢を得るため、ドリフト誤差が存在する。しかし、加速度センサを併用することにより、地球の重力方向を計測することができるため、傾斜角については高精度な計測値を得ることができる。一方、重力軸回りの回転である方位角に関しては、絶対的なリファレンスを得ることが出来ず、ドリフト誤差を補正することができないため、傾斜角に比べて精度が低い。

図７は、本実施形態に係る情報処理装置７０００の概略構成を示している。情報処理装置７０００には撮影部７００が接続されており、指標が配置された空間の画像を情報処理装置７０００に入力する。また、撮影部７００には姿勢センサ７０５が装着されており、撮影部７００が画像を撮影するのと同時刻での姿勢センサの計測値が情報処理装置７０００に送られる。

画像取得部７０１０は、撮影部７００から画像を取得する。

指標抽出部７０２０は、取得された画像中から指標を抽出する。指標管理部７０３０は、抽出された指標の、各々の正方形形状指標Ｐ^ｋｎの識別子ｋ_ｎと各頂点ｐ^ｋｎｉの画像座標ｕ^Ｐｋｎｉ、各指標の配置情報を指標情報として管理する。

撮影部位置姿勢情報取得部７０４０は、画像を撮影した時点の撮影部の概略位置及び姿勢を取得する。

画像使用判定部７０５０は、画像取得部７０１０を介して入力された画像を撮影部に装着した姿勢センサのカメラ座標系における姿勢の算出に画像を使用するかどうかの判定を行う。

センサ出力取得部７０６０は、画像を撮影するのと同時刻での姿勢センサの出力を取得する。

姿勢センサの位置姿勢算出部７０７０は、画像使用判定部７０５０において使用すると判定された画像を用いて撮影部に装着した姿勢センサのカメラ座標系における姿勢を算出する。

画像取得部７０１０、指標抽出部７０２０、指標管理部７０３０、撮影画像の位置姿勢情報取得部７０４０は第１の実施形態で述べた画像取得部１０１０、指標抽出部１０２０、指標管理部１０３０、撮影部の位置姿勢情報取得部１０４０、と同様であるのでここでは詳細な説明を省略する。

図８は第２の実施形態における姿勢センサの配置情報を算出する手順を示すフローチャートである。

ステップＳ８０１０からステップＳ８０３０までは、第１の実施形態におけるステップＳ２０１０からステップＳ２０３０までと同様であるため説明を省略する。

ステップＳ８０４０では、姿勢センサのカメラ座標系における姿勢の算出に、取得された画像を使用するかどうかの判定を行う。第１の実施形態と同様の判定処理によって、取得された画像を使用するかどうかの判定を行うことも可能であるが、ここでは、撮影部の姿勢をもとに判定する。以下、使用画像の判定方法の詳細を述べる。

図９は、ステップＳ８０４０において、姿勢センサのカメラ座標系における姿勢の算出に、取得された画像を使用するかどうかの判定の手順を示すフローチャートである。

ステップＳ９０１０は、第１の実施形態におけるステップＳ３０１０と同様なので説明を省略する。

ステップＳ９０２０は、指標管理部７０３０で管理されている指標情報と撮影部位置姿勢取得部７０４０で取得された撮影部の位置及び姿勢を入力する。

ステップＳ９０３０では、取得された画像を撮影部に装着した姿勢センサのカメラ座標系における姿勢の算出に画像を使用するかどうかを判定するための評価量を算出する。ここで、評価量の算出方法について述べる。

すでに使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とし、取得された画像を第ｍフレームとして使用するかどうかの判定を行う。

まず、取得された画像を撮影した時点での撮影部の視軸ベクトルｔ_ｍと、すでに使用すると判定された第ｊフレーム（ｊ＝１、２、・・・、ｍ−１）を撮影した時点での視軸ベクトルｔ_ｊとの角度差θ_ｍｊを次式によって求める。

角度差θ_ｍｊ（ｊ＝１、２、・・・Ｊ）を第１の評価量とする。

次に、視軸周りの回転角度差を求める。まず、基準座標系における取得された画像を撮影した撮影部の視軸ベクトルｔ_ｍを求める。カメラ座標系でのｚ軸にマイナス方向のベクトルｔ_ｚ＝［０ ０ −１］^ｔとおき、撮影部の概略姿勢Ｒ_ｍから視軸ベクトルｔ_ｍを次式のように求める。
ｔ_ｍ＝Ｒ_ｍ・ｔ_ｚ・・・ （２−２）

取得された画像を撮影した撮影部の視軸ベクトルｔ_ｍと直交するベクトルｖ_ｍをカメラ座標系でのｙ軸方向のベクトルｔ_ｙ＝［０ １ ０］^ｔとおき、撮影部の概略姿勢Ｒ_ｍから基準座標系におけるｖ_ｍを求める。
ｖ_ｍ＝Ｒ_ｍ・ｔ_ｙ・・・ （２−３）

同様に、第ｊフレームの視軸ベクトルと直交するベクトルｖ_ｊをカメラ座標系でのｙ軸方向のベクトルｔ_ｙ＝［０ １ ０］^ｔとおき、第ｊフレームを撮影した時点での撮影部の姿勢Ｒ_ｊをかけて次式のように求める。
ｖ_ｊ＝Ｒ_ｊ・ｔ_ｙ・・・ （２−４）

ｖ_ｍとｖ_ｊとの角度差、つまり視軸周りの回転角度差γ_ｍｊは次式によって求まる。

視軸周りの回転角度差γ_ｍｊ（ｊ＝１、２、・・・Ｊ）を第２の評価量とする。

ステップＳ９０４０では、求めた評価量をもとに取得された画像を使用するかどうかの判定を行う。第１の評価量θ_ｍｊがすでに使用すると判定された画像（ｊ＝１、２、・・・Ｊ）すべてに対して、
θ_ｍｊ＞θ_Ｔｍｊ（ｊ＝１、２、・・・Ｊ） ・・・（２−６）
であるとき、その取得された画像はまだ撮影されていない視点方向から撮影された画像であるとして、その画像を使用すると判定する。ここでθ_Ｔｍｊは閾値である。式（２−６）が満たされない場合、取得された画像は同一姿勢で撮影されている可能性を表し、第２の評価量をもとに取得された画像を使用するかどうかの判定を行う。

第２の評価量γ_ｍＪが、
γ_ｍｊ＞γ_Ｔｍｊ ・・・（２−７）
であるとき、取得された画像は同一視点方向から撮影されているが、視軸周りに回転して撮影されていることを意味し、その画像を使用すると判定する。ここでγ_ＴｍＪは閾値である。式（２−７）が満たされない場合、取得された画像を姿勢センサの姿勢算出に使用しないと判定する。

ステップＳ９０５０では、ステップＳ９０４０で判定された、画像を使用するかどうかの判定結果を出力する。

ステップＳ８０５０は、ステップＳ８０４０で姿勢センサの姿勢算出に使用すると判定され、かつすでに使用すると判定された画像枚数ｍが、

のときは、ステップＳ８０６０へ進む。一方、ステップＳ８０４０で使用されないと判定された場合は、再びステップＳ８０１０へ戻る。

次に姿勢センサの姿勢算出を行うステップＳ８０６０の詳細について説明する。

ステップＳ８０６０では、画像使用判定部７０５０で使用すると判定された複数の視点位置で撮影した画像を用いて撮影部に装着した姿勢センサのカメラ座標系における姿勢ω_ＣＳを算出する。センサ出力値取得部７０６０でセンサ出力値を取得する。基準座標系上の指標の画像上での検出位置と、撮影部の位置、センサ計測値、方位方向のドリフト補正値、ω_ＣＳから計算される指標の画像上での計算位置との誤差が最小になるような、撮影部の位置、方位方向のドリフト補正値φ_τ、ω_ＣＳを非線形最適化により求める。

世界座標系におけるセンサの姿勢をセンサ出力値をＲ_ｗｓτ、方位方向（重力軸まわり）にφ_τ回転させる回転行列を△Ｒ（φ_τ）（方位ドリフト誤差補正値）、ω_ＣＳによって定まる３×３の回転行列Ｒ（ω_ＳＣ）とすると、基準座標系をカメラ座標系に変換する式は、

となる。

姿勢センサのカメラ座標系における姿勢ω_ＣＳは３値ベクトルω_ＣＳ＝［ξ ψ ζ］^Ｔとして扱う。姿勢センサのカメラ座標系における姿勢ω_ＣＳと、ある視点位置（これを識別子τで表す）での撮影部の位置ｔ_ＷＣτ＝［ｘ_ｔτ ｙ_ｔτ ｚ_ｔτ］^Ｔと，その画像を撮影した際のセンサ計測値の「方位ドリフト誤差の補正値」φ_τが未知となる。以下では、これらの未知パラメータを３＋４Ｌ次元の状態ベクトル

で記述する。ここでＬは、異なる視点から撮影された画像の総数を表している。

状態ベクトルｓに適当な初期値を与える。撮影部の位置ｔ_ＷＣτの初期値に関しては、撮影部位置姿勢取得部７０４０より取得することができる。ω_ＣＳの初期値に関しては、公知の方法としてω_ＣＳを表すパラメータの値を対話的に増減し、各値の調整を試行錯誤的に行うという方法がある。具体的には、撮影部の位置の初期値と、ω_ＣＳと、センサ出力値より仮想物体を画像上に投影することができるので、仮想物体の投影座標と現実物体を正確に位置合わせするようにオペレータが何らかの入力手段を介して調整する。また、地磁気センサで大まかな方位を求めてもよい。また、ω_ＣＳの初期値を求める別の方法が特許文献２に開示されている。まず予め定めた姿勢に基づいた仮想物体を画像表示装置に表示する。次に表示された仮想物体と現実空間とが正しい位置関係になるように、オペレータが目視で確認しながら撮像装置の姿勢を調節する。最後に、その時点における姿勢センサの出力に従って基準座標系におけるセンサ座標系の姿勢とカメラ座標系における姿勢センサの姿勢を算出する。

また、φ_τｉの初期値に関しては、ω_ＣＳの初期値を用いて、特許文献３に示された方法によって、求めた値を利用する。

第１の実施形態で示した指標管理部１０３０と同様の指標情報が指標管理部７０３０で管理されている。四角形指標Ｐ^ｋの各頂点ｐ^ｋｉの画像座標と配置情報と識別子、及び状態ベクトルｓから全ての指標の頂点に対して画像座標の理論値ｕ＝［ｕ_ｘ，ｕ_ｙ］^Ｔを算出する。ここで、画像座標の理論値とは、基準座標系における撮影部の位置および姿勢と、基準座標系における指標の配置情報を基にして計算される指標の撮影画像中に見えるべき座標を指す。

基準座標系における撮影部の姿勢は、センサ座標系における姿勢を基準座標系における姿勢に変換する座標変換、センサ座標系におけるセンサ自身の姿勢（センサの姿勢計測値）、方位ドリフト誤差の補正値、センサの姿勢を撮影部の姿勢に変換する座標変換（ω_ＳＣ）から式（２−８）のように算出できる。ある指標に対する理論値ｕ＝［ｕ_ｘ，ｕ_ｙ］^Ｔの算出は、状態ベクトルｓを用いて、次式のように表される。
ｕ＝Ｆ（ｓ） ・・・（２−９）

Ｆは基準座標系からカメラ座標系への変換であるビューイング変換、および透視投影変換を含む関数である。

全ての指標の頂点に対して、指標の実際の画像座標ｖ＝［ｖ_ｘ，ｖ_ｙ］^Ｔと、それに対応する画像座標の理論値ｕ＝［ｕ_ｘ，ｕ_ｙ］^Ｔとの誤差△ｕを次式によって算出する。
△ｕ＝ｖ−ｕ ・・・（２−１０）

△ｕを最小化するようにｓを最適化する。△ｕは、ｓを補正するベクトル△ｓを用いて、テーラー展開によって一次近似を行うと次式のように表すことができる。

ここで、

とし、Ｊ_ｕｓは、式（２−１０）のｕを状態ベクトルｓで変微分した偏微分係数を各要素に持つ２×（３＋４Ｌ）のヤコビ行列である。

式（２−１１）は、姿勢センサの姿勢算出に使用すると判定されたＬ枚の画像における１つの頂点に関する関係式である。

使用すると判定された画像中において検出されたすべての指標が全部でｎ点あるとすると次式を得ることができる。

求めるべき未知パラメータ△ｓを最小二乗法によって求めることができる。解き方については、第１の実施形態と同様であるので省略する。

ここで、△ｓは（３＋４Ｌ）次元ベクトルであるので、１個以上の正方形指標を２枚の撮影画像上で検出すれば、△ｓを求めることができる。

算出した補正値△ｓを用いて、次式に従って状態ベクトルｓを補正し、得られた値を新たなｓとする。
ｓ＋△ｓ→ｓ ・・・（２−１３）

Σ△ｕが予め定めた閾値より小さいかどうか、あるいは、補正値△ｓが予め定めた閾値より小さいかどうかといった判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルｓを初期値として用いて繰り返し計算を行う。

計算が収束したと判定されると、得られた状態ベクトルｓに含まれるω_ＳＣを出力する。また、最新の方位ドリフト誤差補正値を示すパラメータとして、φ_τを一緒に出力してもよい。

最後にステップＳ８０７０において校正処理を終了するか否かの判定が行われる。オペレータが、校正処理の終了を指示した場合には、処理を終了させ、校正処理の継続（再校正）を指示した場合には、再び画像を取得する。オペレータは、得られたω_ＳＣやφ_τを用いて画像上に描画した仮想物体と現実物体の位置合わせ結果が正しければ、校正処理を終了し、正しくなければ継続するように判定する。

以上の方法によって、撮影部に装着した姿勢センサの撮影部に対する姿勢を算出するのに適した画像を自動で取得し、利用者の知識やノウハウに依存することなく高精度に姿勢センサの配置情報の計測を行うことができる。

（第３の実施形態）
第１の実施形態では、計測対象として指標の配置情報または撮影部の位置及び姿勢を求めた。さらに第２の実施形態では、計測対象として３自由度姿勢センサのカメラ座標系における姿勢を求めた。本実施形態では、６自由度位置姿勢センサが規定するセンサ座標系の基準座標系に対する位置及び姿勢及び撮影部に装着した６自由度位置姿勢センサの撮影部に対する位置及び姿勢を未知パラメータとして求める。本実施形態では、第１及び第２の実施形態で述べた指標と同じ指標を用いる。

図１０は、第３の実施形態における６自由度位置姿勢センサの配置情報を計測する方法を説明するフローチャートである。

ステップＳ２１０からステップＳ２３０までは、第１の実施形態におけるステップＳ２０１０からステップＳ２０３０までと同様であるため説明を省略する。

ステップＳ２４０では、未知パラメータの算出に取得された画像を使用するかどうかの判定を行う。判定方法は、第２の実施形態と同様の判定方法であるのでここでは説明を省略する。一方、第１の実施形態と同様の方法で未知パラメータの算出に画像を使用するか否かの判定をすることもできる。

ステップＳ２６０では、未知パラメータの算出を行う。

本実施形態では、基準座標系に対するセンサ座標系の位置及び姿勢を表すパラメータｓ_ＷＴと、カメラ座標系に対する６自由度センサのレシーバ座標系の位置及び姿勢を表すパラメータｓ_ＬＴが未知パラメータとなる。基準座標系におけるセンサ座標系の位置をｔ_ＷＴ＝［ｔ_ｘＷＴ ｔ_ｙＷＴ ｔ_ｚＷＴ］^Ｔ、基準座標系に対するセンサ座標系の姿勢をω_ＷＴ＝［ω_ｘＷＴ ω_ｙＷＴ ω_ｚＷＴ］^Ｔとするとｓ_ＷＴ＝［ｔ_ｘＷＴ ｔ_ｙＷＴ ｔ_ｚＷＴ ω_ｘＷＴ ω_ｙＷＴ ω_ｚＷＴ］^Ｔとなる。また、カメラ座標系における６自由度センサのレシーバ座標系の位置をｔ_ＬＴ＝［ｔ_ｘＬＴ ｔ_ｙＬＴ ｔ_ｚＬＴ］^Ｔ、カメラ座標系に対する６自由度センサのレシーバ座標系の姿勢をω_ＬＴ＝［ω_ｚＬＴ ω_ｙＬＴ ω_ｚＬＴ］^Ｔとするとｓ_ＬＴ＝［ｔ_ｘＬＴ ｔ_ｙＬＴ ｔ_ｚＬＴ ω_ｚＬＴ ω_ｙＬＴ ω_ｚＬＴ］^Ｔとなる。よって１２個の未知パラメータを状態ベクトルｓとして表すと、

となる。状態ベクトルｓに適当な初期値を与える。例えば、ユーザが手動で計測したおおよその値を予め入力する。

第１の実施形態で示した指標と同様の四角形指標Ｐ^ｋの各頂点ｐ^ｋｉの画像座標と配置情報と識別子、及び状態ベクトルｓから全ての指標の頂点に対して画像座標の理論値ｕ＝［ｕ_ｘ，ｕ_ｙ］^Ｔを算出する。ここで、ある三次元座標系Ｂに対する三次元の座標系Ａの原点位置を表す三次元ベクトルをｔ、姿勢を表す３×３回転行列をＲとすると、Ａ上での位置がｘ_Ａ（三次元ベクトル）で表される点のＢ上での座標ｘ_Ｂ（三次元ベクトル）は、次式のように表される。

ＲとｔをまとめてＭと表すと、

となる。

図１１は、基準座標系に配置された指標のカメラ座標系への変換を表す。基準座標系における６自由度位置姿勢センサのセンサ座標系の位置及び姿勢ｓ_ＷＴをＭ_ＷＴ、６自由度位置姿勢センサの出力値Ｍ_ＴＳ、撮影部に装着したカメラ座標系における６自由度位置姿勢センサの位置及び姿勢ｓ_ＬＴをＭ_ＣＳ、基準座標系における指標の配置情報Ｍ_ＷＭとする。

基準座標系に配置された指標をカメラ座標系に変換する行列Ｍ_ＣＭは、
Ｍ_ＣＭ＝Ｍ_ＣＳ・（Ｍ_ＴＳ）^−１・（Ｍ_ｗＴ）^−１・Ｍ_ｗＭ ・・・（３−３）
と表される。

ある指標に対する理論値ｕ＝［ｕ_ｘ，ｕ_ｙ］^Ｔの算出は、状態ベクトルｓを用いて、次式のように表される。
ｕ＝Ｆ（ｓ）・・・ （３−１）

Ｆは基準座標系からカメラ座標系への変換であるビューイング変換、および透視投影変換を含む関数である。

指標の実際の画像座標ｖ＝［ｖ_ｘ，ｖ_ｙ］^Ｔと、それに対応する画像座標の理論値ｕ＝［ｕ_ｘ，ｕ_ｙ］^Ｔとの誤差△ｕを最小化するパラメータを求めればよい。

△ｕは、ｓを補正するベクトル△ｓを用いて、テーラー展開によって一次近似を行うと次式のように表すことができる。

ここで、

は、ヤコビ行列である。具体的なヤコビ行列の計算方法は省略する。

ある１つの画像における１つの点に関するヤコビ行列をＪ_ｕｓ１とする。さらに、式（３−２）を未知パラメータ算出に使用すると判定された画像中で検出されたすべての指標の点が全部でｎ点あるとすると、

求めるべき未知パラメータ△ｓを最小二乗法によって求めることができる。解き方については、第１及び第２の実施形態と同様であるので省略する。

算出した補正値△ｓを用いて、次式に従って状態ベクトルｓを補正し、得られた値を新たなｓとする。
ｓ＋△ｓ→ｓ ・・・（２−１４）

誤差ベクトル△ｕが予め定めた閾値より小さいかどうか、あるいは、補正値△ｓが予め定めた閾値より小さいかどうかといった判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルｓを初期値として用いて繰り返し計算を行う。計算が収束したと判定されると、撮影部に装着した６自由度センサの基準座標系におけるセンサ座標系の座標変換（位置及び姿勢）及びカメラ座標系における６自由度センサのレシーバ座標系の座標変換（位置及び姿勢）を出力する。

ステップＳ２７０では、校正処理を終了するか否かの判定が行われる。オペレータが、校正処理の終了を指示した場合には、処理を終了させ、校正処理の継続（再校正）を指示した場合には、再び画像を取得する。オペレータは、得られた状態ベクトルｓを用いて画像上に描画した仮想物体と現実物体の位置合わせ結果が正しければ、校正処理を終了し、正しくなければ継続するように判定する。

以上の処理によって、６自由度センサの基準座標系に対する６自由度位置姿勢センサが規定するセンサ座標系の位置及び姿勢及びカメラ座標系における６自由度センサのレシーバ座標系の位置及び姿勢を算出するために必要な画像を自動判定して算出することで、利用者の知識やノウハウに依存しない高精度な計測を行うことが可能である。

（変形例３−１）
なお、第１至乃第３の実施形態においては、最適化演算において非線形関数をテーラー展開し、１次近似で線形化してから補正値を求めることを、繰り返し補正することで最適解を求めるＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法を用いている。しかし、補正値の算出は必ずしもＮｅｗｔｏｎ−Ｒａｐｈｓｏｎ法によって行わなくてもよい。例えば公知の非線形方程式の反復解法であるＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法を用いて求めてもよいし、最急降下法を用いても求めてもよい。他の何れの非線形最適化手法を適用しても本発明の本質が損なわれないことは言うまでもない。

また、統計的に外れ値の影響を軽減させつつ解を求めることで計算を安定化することができるＭ推定などのロバスト推定手法を用いてもよい。

（第４の実施形態）
第１至乃第３の実施形態では、指標を撮影した画像を用いて未知パラメータを算出するのに必要となる画像を自動で判定するための方法を述べた。

本実施形態では、撮影部を移動させる領域や経路をディスプレイを通してユーザに提示することで、より簡便に計測を行えるようにする。第１の実施形態では、指標の配置情報算出に入力画像を使用するか否かの判定を行った。それに対して、本実施形態では、指標の配置情報算出に使用可能と判定される撮影エリアまたは撮影位置及び姿勢を前もって計算し、ユーザに提示することで入力画像そのものをよりよいものにする。

図１２は、本実施形態に係る情報処理装置３００の概略構成を示している。

画像取得部３１０は、撮影部３０５から画像を取得する。

指標抽出部３２０は、取得された画像中から指標を抽出する。

指標管理部３３０は、抽出された指標の、各々の四角形指標Ｐ^ｋｎの識別子ｋ_ｎと各頂点ｐ^ｋｎｉの画像座標ｕ^Ｐｋｎｉ、各指標の配置情報を指標情報として管理する。

撮影部の位置姿勢情報取得部３４０は、画像を撮影した時点の撮影部の概略位置及び姿勢を取得する。

画像撮影領域算出部３５０は、良好な計測を行うために必要となる画像を撮影可能な領域を算出する。

画像撮影領域提示部３６０は、画像撮影領域算出部３５０で算出した領域を表示ディスプレイ３６５に提示する。

画像使用判定部３７０は、指標の配置情報算出に取得された画像を使用するか否かの判定を行う。

未知パラメータ算出部３８０は、指標の配置情報を未知パラメータとして算出する。

情報処理装置３００には、撮影部３０５とディスプレイ３６５が接続されている。

画像取得部３１０、指標抽出部３２０、指標管理部３３０、撮影画像の位置姿勢情報取得部３４０、は第１の実施形態で述べた画像取得部１０１０、指標抽出部１０２０、指標管理部１０３０、撮影部の位置姿勢情報取得部１０４０、と同様であるのでここでは説明を省略する。

図１３は第４の実施形態における処理の手順を示すフローチャートである。

ステップＳ４１０からステップＳ４３０までは、第１の実施形態におけるステップＳ２０１０からステップＳ２０３０までと同様であるため説明を省略する。

ステップＳ４４０では、画像撮影領域を算出する。画像撮影領域の算出方法について述べる。

図１４は、画像撮影領域算出方法を説明する図である。すでに使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とする。また、第ｍ−１フレームを撮影した時点での撮影部の位置Ｃ_ｍ−１と第ｍ−１フレーム中で検出された指標群の重心位置Ｇ_ｍ−１とを結ぶベクトルを

とする。重心位置Ｇ_ｍ−１は計測対象指標の代表位置を表している仮定する。

次に

と閾値θ_ＴＡＢだけ角をなし、重心位置Ｇ_ｍ−１と結んでできるベクトルを

とし、

を回転軸として

を回転させてつくる無限遠に広がる領域Ｖを考える。領域Ｖの以外の領域を

で表す。撮影位置が領域

であれば、第ｍ−１フレームと異なる視点から撮影していることを意味し、未知パラメータ算出に十分な視差を持つ画像を撮影できる領域であることを意味する。よって領域

における撮影を次に撮影すべき画像撮影領域とする。

次に、

と大きさの比α_１とα_２を持つベクトルをそれぞれ

として次式によって求める。

ここでα_１＜α_２とする。

領域Ｖは無限遠に広がる領域であったが、領域を限定することも意味を持つ。なぜなら第ｍ−１フレームで撮影した視点位置から計測対象の代表位置に近づいて撮影すれば、画像上で検出される指標の検出精度が向上するため、未知パラメータの計測精度も向上するからである。一方、第ｍ−１フレームで撮影した視点位置から計測対象の代表位置に対して遠ざかれば、画像上における指標の検出精度は低下するが、撮影される領域が広がるため新たに指標を検出する可能性を持つ。そこで領域Ｖを次に示すように更新する。まず、

を回転軸として

を回転させてつくる領域をＶ_１とし、

を回転軸として

を回転させてつくる領域をＶ_２とする。Ｖ_２‐Ｖ_１を領域Ｖとして更新する。領域Ｖ以外の領域を

とし、領域

であれば次に撮影すべき画像撮影領域とする。以降、

を画像撮影領域とする。

ステップＳ４５０では、ステップＳ４４０にて算出した画像撮影領域をもとに画像撮影領域をユーザに提示する。

画像撮影領域をユーザに提示する提示方法について説明する。図１５（Ａ）は、画像撮影領域をユーザに提示する一例を説明する図である。

取得された画像を撮影した時点での撮影部の位置及び姿勢は、すでに撮影部位置姿勢取得部３４０で取得されているので、図１５（Ａ）のように撮影部を最も近い画像撮影領域

へ移動するように文字や矢印で提示する。

ユーザは、この仮想撮影可能エリアまたは仮想撮影部の撮影位置及び姿勢の提示を視覚的に認識することにより、現実空間のどこから撮影すべきかを確認する。

このように提示することで未知パラメータを算出するために十分な画像を取得できれば、第１の実施形態に示す方法で、未知パラメータを算出することができる。

（変形例４−１）
本実施形態では、良好な計測を行うために、次に撮影すべき画像撮影領域を算出し、移動を促す文字や矢印により、ディスプレイを通してユーザに提示した。しかし、提示するのは、移動を促す文字や矢印ではなくてもよい。図１４に示すような画像撮影領域自身や、図１５の（Ｂ）に示すような次に撮影すべき撮影部の位置及び姿勢や向きを、仮想的なＣＧ（コンピュータグラフィック画像）を重畳描画して提示してもよい。提示方法は、次に撮影すべき位置や方向、またはまだ撮影可能なエリアを提示できれば、パターン画像であってもよいし、線分で表示した３次元ＣＧ画像でもよいし、文字でもよい。

本実施形態では、最も近い画像撮影領域

へ移動するように提示したが、第ｍ−２フレームから第ｍ−１フレームへの動きベクトルを計算し、動きベクトルの指す方向に近い画像撮影領域

へ移動するように提示してもよい。

（第５の実施形態）
第２の実施形態では、指標を撮影した画像を用いて未知パラメータを算出するのに必要となる画像を自動で判定するための方法を述べた。

本実施形態では、撮影部を移動させる領域や経路をディスプレイを通してユーザに提示することで、より簡便に計測を行えるようにする。第２の実施形態では、撮影部に装着した姿勢センサのカメラ座標系における姿勢の算出に画像を使用するかどうかの判定を行った。それに対して、本実施形態では、未知パラメータである撮影部に装着した姿勢センサのカメラ座標系における姿勢の算出に使用可能と判定される撮影エリアまたは撮影位置及び姿勢を前もって計算し、ユーザに提示することで入力画像そのものをよりよいものにする。

図１６は、本実施形態に係る情報処理装置５００の概略構成を示している。

画像取得部５１０は、撮影部５０５から画像を取得する。

指標抽出部５２０は、取得された画像中から指標を抽出する。

指標管理部５３０は、抽出された指標の、各々の四角形指標Ｐ^ｋｎの識別子ｋ_ｎと各頂点ｐ^ｋｎｉの画像座標ｕ^Ｐｋｎｉ、各指標の配置情報を指標情報として管理する。

撮影部の位置姿勢情報取得部５４０は、画像を撮影した時点の撮影部の概略位置及び姿勢を取得する。

画像撮影領域算出部５５０は、良好な計測を行うために必要となる画像を撮影可能な領域を算出する。

画像撮影領域提示部５６０は、画像撮影領域算出部５５０で算出した領域を表示ディスプレイ５６５に提示する。

画像使用判定部５７０は、未知パラメータ算出に取得された画像を使用するか否かの判定を行う。

未知パラメータ算出部５８０は、撮影部に装着した姿勢センサのカメラ座標系における姿勢を未知パラメータとして算出する。

情報処理装置５００には、撮影部５０５とディスプレイ５６５が接続されている。

画像取得部５１０、指標抽出部５２０、指標管理部５３０、撮影画像の位置姿勢情報取得部５４０、は第２の実施形態で述べた画像取得部７０１０、指標抽出部７０２０、指標管理部７０３０、撮影部の位置姿勢情報取得部７０４０、と同様であるのでここでは説明を省略する。

図１７は第４の実施形態における処理の手順を示すフローチャートである。

ステップＳ６１０からステップＳ６３０までは、第２の実施形態におけるステップＳ８０１０からステップＳ８０３０までと同様であるため説明を省略する。

ステップＳ６４０では、画像撮影領域を算出する。画像撮影領域の算出方法について述べる。

すでに使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とする。まず、すでに使用すると判定された第ｊフレーム（ｊ＝１、２、・・・、ｍ−１）を撮影した時点での視軸ベクトルをｔ_ｊとする。次にｔ_ｊの視点位置がある任意の座標系Ａ’の原点Ａ_０を通るように並行移動したベクトルを

とする。次にある座標系Ａ’の原点Ａ_０に関して

と角度差θ_Ｔｍｊだけ角をなすベクトルを

とする。ここで角度差θ_Ｔｍｊは閾値である。

を回転軸として

を回転させて領域Ｖ_ｊをつくり、領域Ｖ_ｊ以外の領域を

で表す。座標系Ａ’に撮影部の視軸ベクトルを並行移動した際に、領域

内であれば、第ｊフレームと異なる姿勢の視点から撮影していることを意味する。よって視軸ベクトルがｊ＝１、２、・・・、ｍ−１においてすべて領域

内に含まれる撮影領域を次に撮影すべき画像撮影領域とする。

しかし、視軸ベクトルが領域Ｖ_ｊ内にあっても、視軸回りで回転すれば異なる姿勢からの撮影となるため画像撮影領域とすることができる。まずｊ＝１、２、・・・、ｍ−１の中で視軸ベクトルが領域Ｖ_ｊ内にある画像をすべて選択する。選択された画像Ｋ枚の中で、第ｋフレーム（ｋ＝１、２、・・・Ｋ）の視軸ベクトルと直交するベクトルｖ_ｋを、カメラ座標系でのｙ軸方向のベクトルｔ_ｙ＝［０ １ ０］^ｔとおき、第ｋフレームを撮影した時点での撮影部の姿勢Ｒ_ｋから次式のように求める。
Ｖ_Ｋ＝Ｒ_ｊ・Ｔ_ｙ ・・・（５−１）

次にｖ_ｋと視軸ベクトル回りの角度差の閾値γ_Ｔｍｋ以上の視軸直交ベクトルｖ_ｍを持つ姿勢であれば、視軸回りで回転しているので異なる姿勢からの撮影となり、次に撮影すべき画像撮影領域とすることができる。したがって、視軸ベクトルと直交するベクトルｖ_ｋとの視軸ベクトル回りの角度差がγ_Ｔｍｋ以内の視軸ベクトルと直交するベクトルを持つ領域をＷ_ｋとし、領域Ｗ_ｋ以外の領域を

とする。視軸ベクトルが領域Ｖ_ｊ内にあって、かつ視軸ベクトルに直交するベクトルｖ_ｍが、領域

にあるときの撮影位置姿勢を次に撮影すべき画像撮影領域とする。

ステップＳ６５０では、ステップＳ６４０にて算出した画像撮影領域をもとに画像撮影領域をユーザに提示する。

画像撮影領域をユーザに提示する提示方法については、第４の実施形態と同様であるので説明は省略する。

ユーザは、この仮想撮影可能エリアまたは仮想撮影部の撮影位置及び姿勢の提示を視覚的に認識することにより、現実空間のどこから撮影すべきかを確認する。

このように提示することで未知パラメータを算出するために十分な画像を取得できれば、第２の実施形態に示す方法で、未知パラメータを算出することができる。

（変形例５−１）
本実施形態では、未知パラメータは撮影部に装着した姿勢センサの姿勢として、未知パラメータ算出のために必要となる画像の撮影領域の提示をおこなった。しかし、計測対象を６自由度センサとした場合にも同様の画像撮影領域の算出方法が利用でき、ユーザに画像撮影領域を提示することができる。そして第３の実施形態で示したように、撮影部に装着した６自由度センサのレシーバの位置姿勢、及び６自由度センサの基準座標系における位置及び姿勢を未知パラメータとして算出することができる。

（変形例５−２）
第１至乃第４の実施形態において、未知パラメータを算出するために必要な画像を自動で取得していた。しかし、オペレータが必要であると判断した場合には、例えばキーボードを押すなど何らかの入力装置を介して、手動により画像を取得してもよい。

（第６の実施形態）
本実施形態に係る情報処理装置は、ユーザが複合現実感を体験しつつ、第１至乃第５の実施形態に記載の未知パラメータを算出するために必要な画像をオンラインで取得し、得られた算出結果を反映するものである。また、本実施形態に係る情報処理装置は、ビデオシースルー（Ｖｉｄｅｏ Ｓｅｅ−Ｔｈｒｏｕｇｈ）型のヘッドマウントディスプレイ（ＨＭＤ）を用いて、未知パラメータを算出するために必要となる画像の撮影領域をユーザへと提示する。

撮影部で取得した画像を撮影した時点での撮影部の概略位置及び姿勢が、第１至乃第５の実施形態に記載の撮影部位置姿勢取得部で取得される。得られた撮影部の概略位置及び姿勢と、撮影部の既知の内部パラメータにより、取得した画像に仮想物体を重畳描画することができる。

未知パラメータに撮影部の内部パラメータが含まれる場合には、撮影部の内部パラメータの概略値と、得られた撮影部の概略位置及び姿勢とを用いて仮想物体を重畳描画する。そして、未知パラメータ算出に使用すると判定された複数の画像を用いて、第１至乃第４の実施形態におけるその他の未知パラメータが算出されると、概略値であった未知パラメータが正しく求まるので、現実世界と仮想物体が正しく重畳される。

（変形例６−１）
本実施形態では、ビデオシースルー（Ｖｉｄｅｏ Ｓｅｅ−Ｔｈｒｏｕｇｈ）型のヘッドマウントディスプレイ（ＨＭＤ）に未知パラメータを算出するために必要となる画像の撮影領域を提示した。しかし、ユーザに情報を提示するディスプレイはこれに限らない。例えば、ＣＲＴや液晶ディスプレイであってもよいし、光学シースルー（Ｏｐｔｉｃａｌ Ｓｅｅ−Ｔｈｒｏｕｇｈ）型のヘッドマウントディスプレイであってもよい。公知のいずれのディスプレイを用いても本発明の本質が損なわれないことはいうまでもない。

（変形例６−２）
なお、第１至乃第５における未知パラメータを算出するための計算と、一般的な複合現実感を体験する際の計算を分けて計算してもよい。前者は、第１至乃第５における未知パラメータを算出するために必要な画像をオンラインで判定し、未知パラメータを算出する計算である。後者は、ユーザが複合現実感を体験時にする際に一般的に計算される撮影部の位置及び姿勢の算出やＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）の描画などの計算である。

上記の計算を複数スレッドに分け、マルチコアと呼ばれる複数個のＣＰＵコアをもつコンピュータを用いて計算することで、計算コストの比較的高い未知パラメータの算出を行いつつ、ユーザはリアルタイムで複合現実感を体験することができる。

（第７の実施形態）
第２の実施形態では、撮影部に装着した姿勢センサのカメラ座標系における姿勢を算出する目的において、指標の観測によって求めた撮影部の位置姿勢に基づいて姿勢の算出に使用する画像を自動で判定した。本実施形態では、姿勢センサのカメラ座標系における姿勢を算出するために使用する画像を、姿勢センサの出力値に基づいて自動で判定する。

図１８は、本実施形態に係る情報処理装置１００００の概略構成を示している。情報処理装置１００００には撮影部１１０００が接続されており、指標が配置された空間の画像を情報処置装置１００００に入力する。また、撮影部１１０００には姿勢センサ１２０００が装着されており、撮影部１１０００が画像を撮影するのと同時刻での姿勢センサの計測値が情報処理装置１００００に送られる。

画像取得部１００１０は、撮影部１１０００から画像を取得する。

指標抽出部１００２０は、取得された画像中から指標を抽出する。指標管理部１００３０は、抽出された指標の、各々正方形状指標Ｐ^ｋｎの識別子ｋ_ｎと各頂点ｐ^ｋｎｉの画像座標ｕ^Ｐｋｎｉ、各指標の配置情報を指標情報として管理する。

センサ出力値取得部１００４０では、画像が撮影するのと同時刻でのセンサ出力値を取得する。

画像使用判定部１００５０は、画像取得部１００１０を介して入力された画像を、姿勢センサ１２０００のカメラ座標系における姿勢の算出に使用するかどうかの判定を行う。

姿勢センサの位置姿勢算出部１００６０は、画像使用判定部１００５０において使用すると判定された画像を用いて、姿勢センサ１２０００のカメラ座標系における姿勢を算出する。

画像取得部１００１０、指標抽出部１００２０、指標管理部１００３０、センサ出力取得部１００４０は、第２の実施形態で述べた画像取得部７０１０、指標抽出部７０２０、指標管理部７０３０、センサ出力値取得部７０６０、と同様であるのでここでは詳細な説明を省略する。

図１９は本実施形態における姿勢センサ１２０００のカメラ座標系に対する配置情報を算出する手順を示すフローチャートである。

ステップＳ１０１１０とステップＳ１０１２０は、第２の実施形態におけるステップＳ８０１０とステップＳ８０２０と同様であるため説明を省略する。

ステップＳ１０１３０では、センサ出力値取得部１００４０が、姿勢センサ１２０００からセンサ出力値を取得する。

ステップＳ１０１４０では、画像使用判定部１００５０が、ステップＳ１０１３０で入力したセンサ出力値をもとに、姿勢センサ１２０００のカメラ座標系における姿勢の算出に、取得された画像を使用するかどうかの判定を行う。以下、ステップＳ１０１４０の処理の詳細を述べる。

図２０は、ステップＳ１０１４０において、姿勢センサ１２０００のカメラ座標系における姿勢の算出に、取得された画像を使用するかどうかの判定の手順を示すフローチャートである。

ステップＳ１０２１０は、入力画像中で指標が検出されているかどうかを判定し、検出されていればＳ１０２２０へ進み、検出されていなければＳ１０２４０へ進む。

ステップＳ１０２２０は、センサ出力値取得部１００４０で取得されたセンサ出力値を入力する。

ステップＳ１０２３０では、姿勢センサ１２０００のカメラ座標系における姿勢の算出に、当該入力画像を使用するかどうかを判定するための評価量を算出する。

一般に、ジャイロセンサのみによって得られる角度情報は、ある時刻の姿勢に対する姿勢の相対的な変化である。ジャイロセンサによって構成される姿勢センサは、加速度センサによって地球の重力方向を計測することで、傾斜角（ピッチ角及びロール角）については重力方向を基準とした絶対角を得ることができる。一方、重力軸回りの回転である方位角に関しては、絶対的なリファレンスを得ることが出来ず、ドリフト誤差を補正することができないため、傾斜角に比べて精度が低いという性質を有している。そこで画像中の指標を用いて、方位角（ヨー角）のドリフト誤差補正値と撮影部に対する姿勢センサの姿勢とを併せて推定する。撮影した画像をその演算に使用するかどうかの判定は、姿勢センサの出力値がある閾値よりも変化したかどうか、つまり、十分に異なる姿勢で撮影されたかどうかによって行う。

十分に異なる姿勢かどうかを判定する評価量の算出方法について以下で述べる。

すでに使用すると判定された画像のフレーム番号を１、２、・・・、ｍ−１、とし、取得された画像を第ｍフレームとする。

画像を撮影した時点でのセンサ計測値Ｒ_ｍと、すでに使用すると判定された第ｊフレーム（ｊ＝１，２，・・・、ｍ−１）を撮影した時点でのセンサ計測値Ｒ_ｊとの角度差を求めることを考える。まず、この二つの姿勢の差異、すなわち、△Ｒ＝Ｒ_ｍ・Ｒ_ｊ ^−１を求め、３×３の回転変換行列である△Ｒからオイラー角θへと変換する。角度差をｘ軸、ｙ軸、ｚ軸の各軸まわりの角度であるオイラー角θ＝［αβγ］によって表すと、次のような関係になる。

さらに、姿勢センサの方位角方向のドリフトを考慮して、ドリフト成分を含んでいるであろう方位角βを除外し、傾斜角成分のみを抽出する。すなわち、θの方位角成分を０とした傾斜角成分のみのオイラー角表現θ‘＝［α０γ］にを得て、得られたθ’を回転軸回転角表現に変換した際の回転角△φを求め、これを評価量とする。

ステップＳ１０２４０では、求めた評価量をもとに取得された画像を使用するかどうかの判定を行う。すでに使用すると判定された画像（ｊ＝１、２、・・・Ｊ）すべてに対して、
△φ_ｍｊ＞φ_{ｔｈｒｅｓｈｏｌｄ} ・・・（７−４）
であるとき、その取得された画像はまだ撮影されていない姿勢で撮影された画像であるとして、その画像を使用すると判定する。ここでφ_{ｔｈｒｅｓｈｏｌｄ}は閾値である。

ステップＳ１０２５０では、ステップＳ１０２４０で判定された判定結果を、姿勢センサの姿勢算出部１００６０へと出力する。

ステップＳ１０１５０は、ステップＳ１０１４０で姿勢センサの姿勢算出に使用すると判定され、かつすでに使用すると判定された画像枚数ｍが、

のときは、ステップＳ１０１６０へ進む。一方、ステップＳ１０１４０で使用されないと判定された場合は、再びステップＳ１０１１０へ戻る。

ステップＳ１０１６０は、画像使用判定部１００５０で使用すると判定された複数の視点位置で撮影した画像を用いて、姿勢センサの姿勢算出部１００６０が姿勢センサ１２０００のカメラ座標系における姿勢ω_ＣＳを算出する。撮影部の位置、センサ計測値、方位方向のドリフト補正値φ_τ、およびω_ＣＳから計算される指標の画像上での計算位置と、指標の画像上での検出位置との誤差が最小になるような、撮影部の位置、方位方向のドリフト補正値φ_τ、およびω_ＣＳを非線形最適化により求める。この導出工程は第２の実施形態で説明したＳ８０６０と同様であるので、ここでは説明を省略する。

最後にステップＳ１０１７０において校正処理を終了するか否かの判定が行われる。オペレータが、校正処理の終了を指示した場合には、処理を終了させ、校正処理の継続（再校正）を指示した場合には、再び画像を取得する。オペレータは、得られたω_ＳＣやφ_τを用いて画像上に描画した仮想物体と現実物体の位置合わせ結果が正しければ、校正処理を終了し、正しくなければ継続するように判定する。

以上の方法によって、撮影部に装着した姿勢センサの撮影部に対する姿勢を算出するのに適した画像を自動で取得し、利用者の知識やノウハウに依存することなく高精度に姿勢センサの配置情報の計測を行うことができる。

（変形例７−１）
本実施形態では、画像を使用するかどうかの判定のための評価量を算出する際に方位角成分を除外し、傾斜角成分のみを用いて判定した。しかし、姿勢センサがドリフト誤差の影響を無視できるような比較的高精度な計測を行うことができるのであれば、方位角成分を除外せずに評価量を算出して、撮影部に装着した姿勢センサの配置情報を算出するための画像を判定してもよい。

また、撮影部に装着した姿勢センサの配置情報を算出する際に、方位角ドリフトを無視する場合の未知パラメータについて以下で説明する。

世界座標系における鉛直上方向（地球の重力の反対方向）を表すベクトルｌ＝（ｌ_１，ｌ_２，ｌ_３）と，センサ座標系と世界座標系との間の方位方向の相違角（重力方向の軸（重力軸）周りの回転角）を表す方位補正角φ_ＷＴとする。ここで、センサ座標系とはセンサ自身が定義する座標系であり、センサ出力値はセンサ座標系における姿勢を表している。このため、センサ座標系における計測対象物体の姿勢を世界座標系における姿勢に変換する座標変換を行う必要がある。この座標変換を方位補正角φ_ＷＴによって行う方法を、本出願人は、特開２００５−１０７２４８で提案している。

姿勢センサのカメラ座標系における姿勢ω_ＣＳは３値ベクトルω_ＣＳ＝［ξ ψ ζ］^Ｔとして扱う。姿勢センサのカメラ座標系における姿勢ω_ＣＳと、方位補正角φ_ＷＴと、ある視点位置（これを識別子τで表す）での撮影部の位置ｔ_ＷＣτ＝［ｘ_ｔτ ｙ_ｔτ ｚ_ｔτ］^Ｔとが未知となる。これらの未知パラメータを４＋３Ｌ次元の状態ベクトル

で記述する。ここでＬは、異なる視点から撮影された画像の総数を表している。

上記で示した未知パラメータｓを、第２の実施形態と同様の手法で求めることができる。

（他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明したフローチャートに対応するプログラムコードが格納されることになる。

Claims (9)

1. 撮像装置の視点及び／または撮像方向を変更して現実空間を撮像した複数の画像を取得する取得手段と、
   前記複数の画像のそれぞれから指標を検出する検出手段と、
   前記複数の画像を用いて、前記指標の位置を算出する算出手段と、
   前記指標に基づいて当該指標を含む画像を撮像した前記撮像装置の撮像方向及び撮像距離を計測する計測手段と、
   撮像方向が計測された前記撮像方向より所定角度以内かつ撮像距離が計測された前記撮像距離より所定範囲以内の領域を対象外領域とし、全空間から当該対象外領域を除いた領域を画像撮影領域と判定する判定手段と、
   前記画像撮影領域をユーザに報知する報知手段と
   を有することを特徴とする情報処理装置。
2. 前記報知手段は、前記画像撮影領域を、前記現実空間を撮像した画像に重畳して表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記報知手段は、前記画像撮影領域への前記撮像装置の移動方向を前記ユーザに指示する文字列を出力することを特徴とする請求項１に記載の情報処理装置。
4. 前記報知手段は、前記画像撮影領域への前記撮像装置の移動方向を示す図形を表示することを特徴とする請求項１に記載の情報処理装置。
5. 前記報知手段は、前記図形を、前記現実空間を撮像した画像に重畳して表示することを特徴とする請求項４に記載の情報処理装置。
6. 前記報知手段は、前記画像撮影領域の中から、前記撮像装置の現在位置に基づいて、次に撮影すべき視点を選択して報知することを特徴とする請求項１に記載の情報処理装置。
7. 前記報知手段は、前記画像撮影領域において、次に撮影すべき視点を、前記現実空間を撮像した画像に重畳して表示することを特徴とする請求項６に記載の情報処理装置。
8. 取得手段が、撮像装置の視点及び／または撮像方向を変更して現実空間を撮像した複数の画像を取得する取得工程と、
   検出手段が、前記複数の画像のそれぞれから指標を検出する検出工程と、
   算出手段が、前記複数の画像を用いて、前記指標の位置を算出する算出工程と、
   計測手段が、前記指標に基づいて当該指標を含む画像を撮像した前記撮像装置の撮像方向及び撮像距離を計測する計測工程と、
   判定手段が、撮像方向が計測された前記撮像方向より所定角度以内かつ撮像距離が計測された前記撮像距離より所定範囲以内の領域を対象外領域とし、全空間から当該対象外領域を除いた領域を画像撮影領域と判定する判定工程と、
   報知手段が、前記画像撮影領域をユーザに報知する報知工程と
   を有することを特徴とする情報処理方法。
9. 請求項８に記載の情報処理方法をコンピュータに実行させることを特徴とするコンピュータ読み取り可能なプログラム。