JP4926817B2 - 指標配置情報計測装置および方法 - Google Patents

Description

本発明は、３次元空間中に配置した指標の配置情報を求めるための処理に関する。

近年、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ；ＭＲ）技術の研究が盛んである。ＭＲ技術は、現実空間とコンピュータによって作られる仮想空間を継ぎ目なく融合する技術である。ＭＲ技術の中でも、現実空間に仮想空間を重ね合わせて表示するＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＡＲ、拡張現実感、増強現実感とも呼ばれる）技術が特に注目を集めている。

ＡＲの画像表示装置には、ビデオシースルー方式と光学シースルー方式とがある。ビデオシースルー方式の画像表示装置は、撮像装置によって撮影された現実空間の画像に、該撮像装置の位置及び姿勢に応じて生成された仮想空間（コンピュータグラフィクスにより描画された仮想物体や文字情報等）の画像を重畳描画した合成画像を表示する。光学シースルー方式の画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成された仮想空間の画像を表示する。

ＡＲ技術は、患者の体表面に体内の様子を重畳表示する手術支援や、空き地に仮想のビルを重畳表示する建築シミュレーション、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援等様々な分野への応用が期待される。

ＡＲ技術において最も重要な課題の一つは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来より多くの取り組みが行われてきた。ＡＲにおける位置合わせの問題は、ビデオシースルー方式の場合はシーン中における（すなわちシーン中に規定された基準座標系における）撮像装置の位置及び姿勢を求める問題に帰結する。同様に、光学シースルー方式の場合は、シーン中における観察者の視点あるいはディスプレイの位置及び姿勢を求める問題に帰結する。

ビデオシースルー方式の問題を解決する方法として、シーン中に配置された複数の指標を用いて計測対象物の位置及び姿勢を求めることが一般的に行われている。具体的には、撮影画像内における指標の投影位置と、既知の情報である指標の基準座標系における位置との対応関係から、基準座標系における撮像装置の位置及び姿勢を求める。

また、光学シースルー方式の問題を解決する方法として、計測対象物（すなわち観察者の頭部あるいはディスプレイ）に撮像装置を装着する。そして、ビデオシースルー方式と同様な方法によって撮像装置の位置及び姿勢を求める。

画像上の指標の投影像とその指標の３次元位置との対応をもとに撮像装置の位置及び姿勢を求める方法は、写真測量の分野において古くから提案されている（例えば、非特許文献１を参照）。また、前述の画像上の指標の投影像をもとに求めた撮像装置の位置及び姿勢を初期値とし、撮像装置の位置及び姿勢を最適化することが行われている。最適化は、画像上での指標の投影像の実際の観察位置と、投影像の計算位置、すなわち指標の３次元位置と撮像装置の位置及び姿勢から計算される投影像の位置との誤差が最小になるように反復演算する（例えば、非特許文献２を参照）。以上の方法によって、撮像装置が撮影した画像に基づいて、該撮像装置の位置及び姿勢を求めることが従来からなされてきた。

一方、例えば特許文献１、２や非特許文献３で開示されているように、計測対象である撮像装置に磁気センサや超音波センサなどの６自由度位置姿勢センサを取り付け、前述のような画像処理による指標の検出との併用によって位置及び姿勢を計測することも行われている。センサの出力値は測定範囲によって精度は変わるが安定的に得ることができるため、センサと画像処理を併用する方法は、画像処理だけによる方法に比べてロバスト性を向上させることができる。特許文献２では、６自由度位置姿勢センサから得られる撮像装置の位置及び姿勢を初期値として、前述の画像上での指標の投影像の観察位置と計算位置との誤差を反復演算によって最小化することによって、撮像装置の位置及び姿勢を得ている。

発明の背景で述べた指標を利用した位置合わせ手法では、計測対象である撮像装置の基準座標系における位置及び姿勢を求めるために、以下の情報が必要であった。空間中に存在する同一色の円領域といった点形状の指標（以下、点指標）の場合には、その重心の基準座標系における位置と基準座標系に対する指標の姿勢が既知である必要がある。三角形や正方形といった多角形形状の指標の場合には、その重心の基準座標系における位置と，基準座標系に対する指標の姿勢が既知である必要がある。正方形指標などの多角形形状の指標の場合には、基準座標系を別途設けることなく、指標そのものを座標系の基準とする場合が多い。ただし、複数の多角形形状の指標を用いる場合には、互いの位置及び姿勢の関係が既知である必要があるため、基準座標系が必要である。

指標の位置及び姿勢の計測は、巻尺や分度器を用いた手作業や、測量器によって行うことが可能であるが、精度や手間の問題から、画像を利用した計測が行われている。点指標の位置計測は、バンドル調整法と呼ばれる方法で行うことができる。バンドル調整法は、以下のような処理を用いて点指標の位置を求める。撮像装置によって撮影された点指標の多数の画像を取得する。画像上での点指標の投影像の観察位置と、該点指標の３次元位置及び撮像装置の位置姿勢をもとに計算される該点指標の投影像の計算位置との誤差（投影誤差）が最小になるように、点指標の位置と撮像装置の位置姿勢を補正を繰り返し行う。

また、非特許文献４では、３次元空間中に配置された多数の正方形指標の位置及び姿勢を計測する方法が開示されている。非特許文献４では、３次元空間中に配置された多数の正方形指標の画像を多数撮影し、投影誤差が最小になるように、繰返し演算によって各画像を撮影した撮像装置の位置及び姿勢と、正方形指標の位置及び姿勢を求めている。
特開平１１−０８４３０７号公報 特開２０００−０４１１７３号公報 Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｃ．Ｌｅｅ，Ｋ．Ｏｔｔｅｎｂｅｒｇ，ａｎｄ Ｍ．Ｎｏｌｌｅ："Ｒｅｖｉｅｗ ａｎｄ Ａｎａｌｙｓｉｓ ｏｆ Ｓｏｌｕｔｉｏｎｓ ｏｆ ｔｈｅ Ｔｈｒｅｅ Ｐｏｉｎｔ Ｐｅｒｓｐｅｃｔｉｖｅ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ Ｐｒｏｂｌｅｍ"，Ｉｎｔ’ｌ．Ｊ．ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｖｏｌ．１３，ｎｏ．３，ｐｐ．３３１−３５６，１９９４． 加藤，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘："マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，１９９９． Ａ．Ｓｔａｔｅ，Ｇ．Ｈｉｒｏｔａ，Ｄ．Ｔ．Ｃｈｅｎ，Ｗ．Ｆ．Ｇａｒｒｅｔｔ ａｎｄ Ｍ．Ａ．Ｌｉｖｉｎｇｓｔｏｎ："Ｓｕｐｅｒｉｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｒｅｇｉｓｔｒａｔｉｏｎ ｂｙ Ｉｎｔｅｇｒａｔｉｎｇ Ｌａｎｄｍａｒｋ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｇｎｅｔｉｃ Ｔｒａｃｋｉｎｇ"，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ’９６，ｐｐ．４２９−４３８，１９９６． Ｇ．Ｂａｒａｔｏｆｆ，Ａ．Ｎｅｕｂｅｃｋ ａｎｄ Ｈ．Ｒｅｇｅｎｂｒｅｃｈｔ："Ｉｎｔｅｒａｃｔｉｖｅ Ｍｕｌｔｉ−Ｍａｒｋｅｒ Ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ"，Ｐｒｏｃ．ＩＳＭＡＲ２００２，ｐｐ．１０７−１１６，２００２． Ｄａｎｉｅｌ Ｆ．Ａｂａｗｉ，Ｊｏａｃｈｉｍ Ｂｉｅｎｗａｌｄ，Ｒａｌｆ Ｄｏｒｎｅｒ："Ａｃｃｕｒａｃｙ ｉｎ Ｏｐｔｉｃａｌ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｆｉｄｕｃｉａｌ Ｍａｒｋｅｒｓ：Ａｎ Ａｃｃｕｒａｃｙ Ｆｕｎｃｔｉｏｎ ｆｏｒ ＡＲＴｏｏｌＫｉｔ"，Ｐｒｏｃ．ＩＳＭＡＲ２００４，ＰＰ．２６０−２６１，２００４． Ｄ．Ｇ．Ｌｏｗｅ，"Ｆｉｔｔｉｎｇ Ｐａｒａｍｅｔｅｒｉｚｅｄ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｍｏｄｅｌｌｓ ｔｏ Ｉｍａｇｅｓ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．１３，ｎｏ．５，ＰＰ．４４１−４５０，１９９１

前述したバンドル調整法を用いた点指標の位置計測手法では、一つの指標について最低二枚以上の画像に撮影されないと、正確な位置姿勢を求めることができない。点指標の場合には、一枚の画像にしか撮影されない場合には、該点指標が３次元空間中に存在する直線が決定されるだけで、撮像装置の奥行き方向の位置が不定になる。また、点指標のみならず正方形指標の位置姿勢を計測する場合においても、該指標が撮影される画像枚数が多ければ多いほど、誤差が多数の画像に分散されることによって、少ない画像枚数の場合に比べてより精度の高い位置姿勢を得ることができる。そのため、位置姿勢を求めたい指標が撮影される回数がなるべく多くなるように指標を撮影することが望ましい。

しかし、従来の指標計測において、操作者が撮像装置によって撮影される画像を観察しながら、各指標がこれまでに何回撮影されたかについての情報を確認する方法がなかった。

また、撮影枚数だけでなく、指標が観察される方向も一方向だけからではなく、多数の方向から観察される方が精度の高い位置姿勢を得ることができる。

しかし、従来の指標計測において、操作者が撮像装置によって撮影される画像を観察しながら、各指標がこれまでにどの方向から撮影されたかについての情報を確認する方法がなかった。

本発明は上記の課題に鑑みてなされたものであり、その目的は指標の位置姿勢計測を行うために撮像装置によって画像を撮影する際に、操作者に画像を観察しながら各指標がこれまでに何回撮影されたかの情報を与え、どの指標の撮影回数が不足しており次にどの指標を撮影するべきかをわかるようにすることにある。

また、本発明の別の目的は、指標の位置姿勢計測を行うために撮像装置によって画像を撮影する際に、操作者に画像を観察しながら各指標がこれまでにどの方向から撮影されたかの情報を与え、各指標の撮影回数が不足している方向を示して次に各指標をどの方向から撮影するべきかをわかるようにすることにある。

上記目的を達成するために本発明は、撮像装置により撮影された撮影画像を取得する画像取得手段と、前記撮影画像から指標を検出する指標検出手段と、前記指標検出手段において検出された指標を同定する指標同定手段と、前記指標同定手段における同定結果から、前記指標の配置情報を算出する配置情報算出手段と、前記指標同定手段における同定のために各指標をどのように撮影してきたかを示す撮影履歴を解析する解析手段と、前記撮影履歴と各指標との対応付けに基づいて、前記解析手段における解析結果に応じた画像を前記撮影画像上に合成して表示する表示手段とを備えることを特徴とする。
また、上記目的を達成するために本発明は、撮像装置により撮影された撮影画像を取得する画像取得手段と、前記撮影画像から指標を検出する指標検出手段と、前記指標検出手段において検出された指標を同定する指標同定手段と、前記指標同定手段における同定結果から、前記指標の配置情報を算出する配置情報算出手段と、該指標同定手段における同定情報をもとに各指標の撮影回数を計数することにより、前記指標同定手段における同定のために各指標をどのように撮影してきたかを示す撮影履歴を解析する解析手段と、前記撮影回数に応じた情報を前記撮影履歴として各指標に対応付けて、前記解析手段における解析結果に応じた画像を前記撮影画像上に合成して表示する表示手段とを備えることを特徴とする。

本発明によれば、指標の位置姿勢計測を行うための画像取得を行う際に、ユーザに計測対象となる指標がこれまでに何回撮影されたかの情報を提示することで、ユーザはどの指標の撮影回数が不足しており次にどの指標を撮影するべきかを知ることが可能になる。

また、本発明によれば、ユーザに計測対象となる指標がこれまでにどの方向や距離から撮影されたかの情報や指標検出精度に基づいた情報を提示することで、ユーザに各指標の撮影回数が不足している方向や距離、指標検出精度情報を示して次に各指標をどの方向から撮影するべきかを知らせることが可能になる。

［第１の実施形態］
図１は本実施形態における指標配置情報較正装置１の機能構成を示すブロック図である。撮像部１１０はカメラであり、指標が配置されたシーンや物体を撮影する。画像入力部１２０は、撮像部１１０によって撮影された画像をコンピュータ内に取り込む。画像入力部１２０によってコンピュータ内に取り込まれた画像から、指標検出同定部１３０によって指標を検出し、検出されたそれぞれの指標の同定を行う。データ管理部１４０は、指標検出同定部１３０から指標の検出結果を受け取る。また操作部１５０の指示により、現在撮像装置によって撮影されている画像を取得する命令が入力された場合、データ管理部１４０は、指標検出同定部１３０から入力された指標の検出結果をデータ保存部１６０に保存する。また表示部１７０は、画像入力部１２０によって取り込まれた画像を表示する。また、操作部１５０によって、指標の配置情報、すなわち各指標の位置及び姿勢を計算する命令が入力された場合、データ管理部１４０は、指標位置姿勢算出部１８０に対してデータ保存部１６０に保存されていた指標の検出結果を出力する。指標位置姿勢算出部１８０は、指標の検出結果をもとに、指標の位置及び姿勢を算出する。

次に、本実施形態で用いられる指標について説明する。図２は本実施形態で用いられる指標を説明する図である。本実施形態では、図２（ａ）に示されるような正方形形状の指標（以下、正方形指標）を配置情報較正の対象とする。正方形指標は、図２（ａ）に示すように、指標領域であることを示すための境界領域（黒枠）と、その黒枠で囲まれた内部領域からなる。内部領域は、縦と横がそれぞれ５等分されており、内側の３×３領域が正方形指標の向き及び固有の識別子を表す。３×３領域の四隅（図２（ａ）において４つの丸でそれぞれ囲まれている領域）が正方形指標の向きを表す領域である。尚、図２（ａ）における４つの丸は、説明のためのものであり、正方形指標には含まれていない。四隅のうちの三つは黒く塗りつぶされており、残る一つは白く塗りつぶされている。これによって正方形指標の向きを表す。各正方形指標の識別子は、３×３領域の四隅を除いた五つの領域によって現される（図２（ａ）において斜線で示されている領域）。各領域が白く塗りつぶされている場合は０、黒く塗りつぶされている場合は１を表すとすると、５ビット、すなわち３２通りの識別子を表すことができる。

図２（ｂ）は正方形指標の配置情報を説明する図である。正方形指標の配置情報は、基準座標系に対する位置及び姿勢で表現される。本実施形態では、正方形指標の位置は正方形の中心（対角線の交点）の位置であり、基準座標系に対する３次元ベクトルｔ_ｗｍによって表す。正方形指標の姿勢は、図２（ｂ）のように正方形指標の座標系（指標座標系）をとったときの基準座標系に対する姿勢であるとする。姿勢の自由度は３であるので、正方形指標の姿勢は３次元ベクトルω_ｗｍによって表す。

次に、以上の構成を備えた本実施形態の指標配置情報較正装置１の動作の概要について説明する。

撮像部１１０はビデオカメラであり、ユーザの操作に関わらず常に画像入力部１２０に動画像を出力する。表示部１７０は、画像入力部１２０に入力された動画像を随時画面上に表示する。これにより、ユーザはカメラで撮影されている画像を常に画面上で確認できる。ユーザはビデオカメラを自由に動かしながら、指標が配置されているシーンや物体の画像を撮影する。

指標検出同定部１３０は、画像入力部１２０に入力される画像に含まれる指標の検出および検出された指標の同定を行う。前述した正方形指標を画像中から検出するために、指標検出同定部１３０は入力された画像に対して二値化及び連結領域のラベリング処理を行い、正方形指標の境界領域である黒枠で囲まれた内部領域を抽出する。さらに、指標の内部領域に対して直線フィッティングを行い、内部領域の正方形の４頂点の画像座標を求める。そして、２次元射影変換によって画像上の正方形指標を正射影画像に変換し、向き決め領域及びビット領域を読み取ることにより、正方形指標の識別子を読み出し同定を行う。

データ管理部１４０は、指標検出同定部１３０から指標検出結果を入力する。前述したように、ユーザが操作部１５０を指示することにより、指標の配置情報、すなわち各指標の位置及び姿勢を計算する命令が入力された場合には、指標検出同定部１３０から入力された指標の検出結果をデータ保存部１６０に保存する。よって、データ保存部１６０には、複数の画像についての指標の検出結果が保存される。指標の検出結果は、画像番号−指標の識別子−指標内部の正方形の４頂点の画像座標の組として保存される。

表示部１７０は、画像入力部１２０に入力された画像を随時画面上に表示する。このときデータ管理部１４０は、最新の画像において検出同定された指標について、データ保存部１６０を参照する。そして、データ管理部１４０は、データ保存部１６０に保存されている該指標の検出データ数、つまりこれまでに何回撮影されたかを計数する。そして、撮影回数が２回以上の場合と、２回未満の場合に分けて異なる方法でユーザに提示する。図３は、指標の撮影回数に応じた提示方法を示す図である。図３（ａ）は、撮像装置により撮影され、画像入力部１２０に入力された撮影画像を示している。この図の中で、画像中左の指標の撮影回数は２回未満（例えば、１回）で、右の指標の撮影回数は２回以上（例えば、４回）であるとする。図３（ｂ）は、表示部１７０に表示されることで実際にユーザに提示される画像を示している。この図では、指標が画像上で検出された位置に、正方形指標の位置と姿勢に対応した形状の正方形を描いているが、撮影回数が２回以上の場合と、２回未満の場合とで色を変えた正方形を描画する（図３（ｂ）では、２回未満の場合には灰色、２回以上の場合には黒色で描画している）。色を変えて描画することによって、ユーザは現在撮影されている画像上で、指標がこれまでに撮影された回数が充分であるか否かを確認することが可能となり、撮影回数が十分な回数に達していない指標を認識することで、次に撮影するべき指標を知ることができる。

すべての指標が２回以上撮影された場合など、ユーザが十分な画像を撮影したと判断した場合には、ユーザは操作部１５０から指標の配置情報、すなわち各指標の基準座標系における位置および姿勢を計算する命令を入力する。そして、指標位置姿勢算出部１８０は、複数の画像上における指標の検出結果をもとに指標の位置および姿勢を算出する。

図４は、本実施形態における指標配置情報較正方法の処理の手順を示すフローチャートである。まずステップＳ１０１０において、画像入力部１２０は撮像部１１０によって撮影された画像を指標検出同定部１３０に出力し、指標検出同定部１３０は該画像に含まれる指標を検出し、各指標に固有の識別子を読み出して同定を行う。さらに、指標の４頂点の画像座標を検出データとしてデータ管理部１４０に出力する。

次にステップＳ１０２０において、データ管理部１４０は、データ保存部１６０に保存されている指標が過去に撮影された回数を計数しているカウンタを参照し、画像中で検出同定される各指標の撮影回数を、表示部１７０を通じてユーザに提示する。

ユーザは、カメラによって現在撮影されている画像上の指標と該指標の過去の撮影回数を画面上で参照しながら、較正対象であるすべての指標がこれまでに十分な回数（例えば、すべての指標が２回以上）撮影されたかどうかの判定を行う。ユーザは充分であるか否かを判定し、操作部１５０を用いて命令を入力する。ステップＳ１０３０において、これまでに十分な回数撮影されていると入力されたと判定された場合には、ステップＳ１０６０に進む。命令は、キーボードの特定のキーによって入力したり、マウスを用いてＧＵＩから入力したりしてもよい。十分な回数撮影されていないと入力されたと判定された場合には、ステップＳ１０４０に進む。

ステップＳ１０４０では、ユーザにより操作部１５０から画像取得命令が入力されたかどうかの判定を行う。命令は、キーボードの特定のキーによって入力したり、マウスを用いてＧＵＩから入力したりしてもよい。画像取得命令が入力されたと判定された場合には、ステップＳ１０５０に進み、そうでない場合にはステップＳ１０１０に戻る。

ステップＳ１０５０では、ステップＳ１０１０において検出同定された指標について、画像番号−指標の識別子−指標内部の正方形の４頂点の画像座標の組をデータ保存部１６０に保存する。そして、各指標が検出同定された回数を示すカウンタの値を１増やし、ステップＳ１０１０に戻る。

ステップＳ１０６０では、指標の位置姿勢の算出を行う。ここで、指標の位置姿勢の算出方法について説明する。ここで、較正対象の、すなわち位置姿勢算出の対象となる指標の数をＮとし、撮影された画像の枚数をＭとする。また、指標ｉ（ｉ＝１，２，…，Ｎ）の位置姿勢を表す６次元ベクトルをａ_ｉ、画像ｊ（ｊ＝１，２，…，Ｍ）を撮影したカメラの位置姿勢を表す６次元ベクトルをｓ_ｊと表す。指標の位置姿勢を表す６次元ベクトルａは、指標の基準座標系における位置

、基準座標系に対する姿勢

の各成分からなるベクトルであり、

のように表すことができる。カメラの基準座標系における位置を

、基準座標系に対する姿勢を

とすると、カメラの位置姿勢を表す６次元ベクトルｓも同様に、

のように表すことができる。

正方形指標の各頂点の指標座標系における座標

（ｋ＝１，２，３，４）は、正方形の一辺の長さをｅとして、例えば（式１）のように表すことができ、正方形の一辺の長さがわかる場合には既知の値となる。

基準座標系に対する位置姿勢がｔ_ｗｍ、ω_ｗｍである指標の指標座標がｘ_ｍである頂点の，基準座標系に対する位置姿勢がｔ_ｗｃ、ω_ｗｃであるカメラのカメラ座標ｘ_ｃは（式２）のように表すことができる。
ｘ_ｃ＝Ｒ（ω_ｗｃ）^−１・（Ｒ（ω_ｗｍ）・ｘ_ｍ＋ｔ_ｗｍ−ｔ_ｗｃ） （式２）
但し、Ｒ（ω_ＷＣ）、Ｒ（ω_Ｗｍ）はそれぞれω_ｗｃ、ω_ｗｍで表される姿勢を表す３×３回転変換行列である。また、カメラ座標が
ｘ_ｃ＝［ｘ_ｃｙ_ｃｚ_ｃ］^ｔ
である点が焦点距離がｆであるピンホールカメラによって画像上に投影される位置
ｕ＝［ｕ_ｘｕ_ｙ］^ｔ
は、（式３）のように表すことができる。

すなわち、ｕは指標の位置姿勢ｔ_ｗｍ、ω_ｗｍ、カメラの位置姿勢ｔ_ｗｃ、ω_ｗｃの関数となる。よって、指標ｉの頂点ｋ（ｋ＝１，２，３，４）の画像ｊ上における投影像の位置を表す２次元ベクトルｕ_{ｉ，ｊ，ｋ}は、（式４）に示すように、ａ_ｉ、ｓ_ｊの関数となる。

ｕ_{ｉ，ｊ，ｋ}＝Ｆ（ａ_ｉ、ｓ_ｊ） （式４）
指標ｉの頂点ｋの画像ｊ上における投影像の実際の画像上での観察位置を

と表すと、

と、観察位置

とａ_ｉ、ｓ_ｊから計算されるｕ_{ｉ，ｊ，ｋ}との誤差

は（式５）のように１次近似することができる。

∂ｕ_{ｉ，ｊ，ｋ}／∂ａ_ｉ、∂ｕ_{ｉ，ｊ，ｋ}／∂ｓ_ｊは（式４）において、ｕ_{ｉ，ｊ，ｋ}をそれぞれａ_ｉ、ｓ_ｊの各成分によって偏微分したときの偏微分係数を並べたヤコビ行列である。（式５）を各画像中で検出同定された各指標の各頂点について立て、すべての△ａ_ｉ（ｉ＝１，２，…，Ｎ）、△ｓ_ｊ（ｊ＝１，２，…，Ｍ）を共通の未知変数として連立方程式として解くことにより、△ａ_ｉ（ｉ＝１，２，…，Ｎ）、△ｓ_ｊ（ｊ＝１，２，…，Ｍ）を得ることができる。予め、ａ_ｉ、ｓ_ｊには初期値を与えておき、△ａ_ｉ（ｉ＝１，２，…，Ｎ）、△ｓ_ｊ（ｊ＝１，２，…，Ｍ）を求めて、ａ_ｉ＝ａ_ｉ＋△ａ_ｉ、ｓ_ｊ＝ｓ_ｊ＋△ｓ_ｊという補正を行う操作を繰り返すことで、指標の位置姿勢ａ_ｉ（ｉ＝１，２，…，Ｎ）を求める。

カメラの位置姿勢の初期値は、カメラに磁気式、光学式、超音波式などの６自由度位置姿勢センサを装着し、センサの計測値から得てもよい。また、基準座標系における位置姿勢が既知の指標を撮影した画像をＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）法などの公知の手法を利用して求めてもよい。

指標の位置姿勢の初期値は、予め概略の位置を手動で計測しておく。また、位置姿勢がわかっているカメラに写った指標の投影像をもとに求めてもよい。

以上説明したように、本実施形態においては、シーンや物体に配置または設定された指標の位置姿勢を画像を用いて求める際に、撮影画像上に該指標がこれまでに撮影された回数に関する情報をユーザに示す。これにより、ユーザは、どの指標の撮影回数が不足しており次にどの指標を撮影するべきかを簡単に把握することができ、効率的に指標の較正を行うことができる。

［変形例１−１］
なお、本実施形態では、撮影画像上での指標の検出位置に撮影回数により色を変えて正方形を描画していたが、これ以外の方法でユーザに指標の撮影回数の情報を示してもよい。例えば、正方形の外枠部分だけを色を変えて描画し、指標の内部領域全体を塗りつぶさなくてもよい。また、色を変えるのではなく、撮影回数が十分な指標は透明度を大きく、撮影回数が足りない指標は透明度を小さくして正方形を描画してもよいし、その逆であってもよい。さらに、撮影回数が十分な指標には何も情報を提示せず、撮影回数が足りない指標にのみ情報を提示してもよいし、その逆であってもよい。

また、図形描画ではなく、文字情報によって撮影回数に関する情報を提示してもよい。例えば、画像上での指標の検出領域の周辺に、指標ごとにこれまでの撮影回数を数字で示してもよい。また、撮影回数ではなく、指標ごとに残り必要な撮影回数を数字で示してもよい。

［変形例１−２］
本実施形態では、指標が２回以上撮影されたかどうかで情報提示方法を変えていたが、２回に限るものではない。ユーザは自由に情報提示方法を変更する撮影回数を、操作部１５０を用いて設定することが可能であり、そのユーザが設定した撮影回数に応じて情報提示方法が変更される。

［変形例１−３］
本実施形態では、画像上での検出位置に情報を提示していたがこれに限るものではない。例えば、カメラの概略の位置姿勢と、指標の概略の位置姿勢が何らかの方法でわかっている場合には、それらの概略の位置姿勢をもとに指標が画像上に投影される位置を計算し、その計算位置に提示してもよい。カメラの概略の位置姿勢は、磁気式、光学式、超音波式などの６自由度位置姿勢センサをカメラに装着することによって得てもよいし、概略また正確な位置姿勢がわかっている指標の画像上での投影像をもとに計算により得てもよい。指標の概略の位置姿勢は、あらかじめ手動で計測してもよいし、概略また正確な位置姿勢がわかっている指標を基準として、画像から計算してもよい。

［変形例１−４］
なお、本実施形態において配置情報較正の対象となる指標を正方形指標としたが、点形状の指標や、その他の形状の指標でも本発明の本質が損なわれることはないことは言うまでもない。

［変形例１−５］
本実施形態では、撮影回数により指標の情報提示方法を変えていたが、基準座標系を規定する基準指標のようにあらかじめ正確な位置姿勢がわかっている指標と、位置姿勢較正の対象である指標とで情報提示方法を変えてもよい。

［変形例１−６］
本実施形態において、図４のフローチャートにおけるステップＳ１０３０において、指標の撮影回数が十分かどうかの判断をユーザが行い、指標の位置姿勢算出の指示を操作部１５０を通じてユーザが明示的に行っていた。

しかしながら、ステップＳ１０３０における判定を、コンピュータが自動的に行い、ユーザによる明示的な入力を必要とすることなく、すべての指標が所定回数以上撮影されていたらコンピュータが自動的に指標の位置姿勢の計算を開始してもよい。

［第２の実施形態］
第１の実施形態では、指標の位置計測を行うために、画像上で観察される指標が過去にカメラによって撮影された回数についての情報をユーザに提示していた。第２の実施形態では、ユーザに撮影画像を観察しながら各指標がこれまでにどの方向から撮影されたかの情報を提示し、各指標の撮影回数が不足している方向を示して次に各指標をどの方向から撮影するべきかをユーザがわかるようにする。
本実施形態における指標配置情報較正装置の機能構成を示すブロック図を図５に示す。本実施形態における指標配置情報較正装置の機能構成は第１の実施形態の指標配置情報較正装置に類似しており、重複部分の詳細な説明は省略する。

第１の実施形態と同様に、撮像部１１０は指標が配置されたシーンや物体を常に撮影しており、撮影した画像を画像入力部１２０を通してコンピュータに入力する。指標同定検出部１３０は、画像入力部１２０から入力された画像中から指標領域を検出し、各指標に固有の識別子を読み出して同定を行い、指標の識別子と指標の各頂点の画像座標をデータ管理部２４０に出力する。

データ管理部２４０は、指標検出同定部１３０において検出同定された各指標について、データ保存部２５０に保存されている該指標が過去にどの方向から撮影されたかの情報を参照し、表示部２７０を通してユーザに提示する。これによって、ユーザは現在画像に写っている指標について、過去にどの方向から撮影されたかの情報を受け取り、次に該指標をどの方向から撮影するべきかを知ることができる。図６に本実施形態における、過去にどの方向から撮影されたかの情報を提示する方法を示す。図６では、正方形指標の４辺のどちらの方向から過去に撮影されたかの情報を、画像上で検出された指標の上に重畳表示している。図６（ａ）は、撮像部１１０で撮影され、画像入力部１２０に入力された撮影画像である。この撮影画像が、表示部２７０において、図６（ｂ）の様に表示される。図６（ｂ）中に示される左側の指標は、黒い三角形で塗られた部分に対応する方向から過去に撮影されており、過去に一方向からのみ撮影された指標を示している。また図６（ｂ）中に示される右側の指標は、２つの黒い三角形で塗られており、過去に二方向から撮影された指標を示している。

データ管理部２４０は、操作部１５０によって画像取得命令が入力されると、データ保存部２６０に指標検出同定部１３０から出力される現在表示されている画像の指標検出同定結果として、画像中で検出同定された指標の識別子と各頂点の画像座標及び撮影方向を保存する。

操作部１５０から指標位置姿勢計算命令が入力されると、データ管理部２４０はデータ保存部２６０から指標検出結果を読み出して指標位置姿勢算出部１８０に出力し、指標位置姿勢算出部１８０は該指標検出結果をもとに指標の位置姿勢を算出しこれを出力する。

図７は、第２の実施形態における指標配置情報較正方法の処理の手順を示すフローチャートである。まずステップＳ１０１０において、画像入力部１２０は撮像部１１０によって撮影された画像を指標検出同定部１３０に出力し、指標検出同定部１３０は該画像に含まれる指標を検出し、各指標に固有の識別子を読み出して同定を行う。さらに、指標の４頂点の画像座標を検出データとしてデータ管理部２４０に出力する。

次にステップＳ２０２０において、データ管理部２４０は、データ保存部２６０に保存されている、指標が過去にどの方向から撮影されたかを参照し、各指標の過去の撮影方向を、表示部２７０を通じてユーザに提示する。

ユーザは、カメラによって現在撮影されている画像上の指標と該指標の過去の撮影方向を画面上で参照しながら、較正対象であるすべての指標がこれまでに十分な撮影方向から撮影されたかどうかの判定を行う。例えば、指標の法線を軸とした回転を四つ（すなわち９０度）に分割し、すべての分割された方向から撮影されているか否かを判定する。ユーザは撮影が十分であるか否かを判定し、操作部１５０を用いて命令を入力する。ステップＳ２０３０において、これまでに十分な方向から撮影されていると入力されたと判定された場合には、ステップＳ１０６０に進む。命令は、キーボードの特定のキーを用いて入力したり、マウスを用いてＧＵＩから入力したりしてもよい。十分な回数撮影されていないと入力されたと判定された場合には、ステップＳ１０４０に進む。

ステップＳ１０４０では、ユーザにより操作部１５０から画像取得命令が入力されたかどうかの判定を行う。命令は、キーボードの特定のキーを用いて入力したり、マウスを用いてＧＵＩから入力したりしてもよい。画像取得命令が入力されたと判定された場合には、ステップＳ２０５０に進み、そうでない場合にはステップＳ１０１０に戻る。

ステップＳ２０５０では、ステップＳ１０１０において検出同定された指標の４頂点の画像座標をデータ保存部１６０に保存し、さらに各指標が撮影された方向のフラグをセットし、ステップＳ１０１０に戻る。ここで、各指標が撮影された方向の決定を次のように行う。本実施形態において、較正の対象となる正方形指標の法線まわり、すなわち図２（ｂ）における指標座標系のｚ_ｍ軸まわりの回転を、正方形の各辺に対応するように四つに分割し、四つの方向に対応するフラグを用意する。このとき、どの方向から撮影されたかの判定は、画像中での撮影される正方形の各辺の長さに基づいて行い、最も長い辺に対応する方向から撮影されたと判定してフラグをセットする。

ステップＳ１０６０では、第１の実施形態と同様の方法で指標の位置姿勢の算出を行う。

以上説明したように、第２の実施形態では、ユーザに撮影画像を観察しながら各指標がこれまでにどの方向から撮影されたかの情報を提示し、各指標の撮影回数が不足している方向を示して次に各指標をどの方向から撮影するべきかをユーザが知ることができる。

［変形例２−１］
第２の実施形態では、過去に撮影された方向に対応する画像上の指標の部分を塗りつぶすことにより過去に撮影された方向をユーザに提示していたが、提示方法はこれに限るものではない。例えば、画像上の指標の正方形の各辺の色を変えて提示してもよいし、透明度を変えて表示してもよいし、ユーザが識別可能であればどのような方法でもよい。

［変形例２−２］
第２の実施形態では、指標が撮影された方向を、画像中における正方形の辺の長さに基づいて決定していたが、これに限るものではない。正方形指標の各頂点の画像座標をもとに、２次元射影変換などの方法を用いて正方形指標に対するカメラの相対位置姿勢を求める。そして、求めた姿勢から指標の法線軸まわりの回転を公知の方法で抽出することによって決定してもよい。また、第２の実施形態では、指標の法線軸まわりの回転を四つに分解していたが、分割数は四つに限られるものではない。また、指標の法線軸まわりの回転に限るものでもなく、指標の観察方向を任意に分割してよい。

［変形例２−３］
第２の実施形態では、指標が過去に撮影された方向についての情報をユーザに提示したが、これに限るものではない。例えば、第１の実施形態で説明した撮影回数についての情報も併せてユーザに提示してもよい。また、撮影方向ごとの撮影回数といった形式で情報を提示してもよい。

［変形例２−４］
第２の実施形態では、指標が過去に撮影された方向についての情報をユーザに提示したが、方向に限るものではなく、撮影時点でのカメラと指標との距離や、指標に対するカメラの相対位置といった他の情報をユーザに提示してもよい。この距離は、指標の大きさが既知であるので、撮像画像中の指標の大きさと、指標の既知の大きさを対比することでおおまかな距離を求め、この距離に基づいた情報を提示すればよい。また、相対位置に関しても、同様である。

［第３の実施形態］
図８は本実施形態における指標配置情報計測装置の機能構成を示すブロック図である。撮像部８００はカメラであり、指標が配置されたシーンや物体を撮影する。画像入力部８１０は、撮像部８００によって撮影された画像をコンピュータ内に取り込む。画像入力部８１０によってコンピュータ内に取り込まれた画像から、指標検出部８２０によって指標を検出する。さらに指標同定部８３０によって、指標検出部８２０によって検出された指標の同定を行う。データ管理部８４０は、指標同定部８３０から入力された指標の同定結果をデータ保存部８５０に保存する。また、解析部８６０はデータ保存部８５０に保存された同定結果の解析を行う。表示部８７０は、画像入力部８１０によって取り込まれた画像に、解析部８６０における解析結果に応じた画像を合成した画像を表示する。また、操作部８８０によって、指標の配置情報を計算する命令が入力された場合、データ管理部８４０は、指標配置情報算出部８９０に対してデータ保存部８５０に保存されていた指標の同定結果を出力する。指標配置情報算出部８９０は、指標の同定結果をもとに、指標の配置情報を算出する。

本実施形態において計測対象となる指標は、例えば、正方形指標や点指標を使用する。

次に、以上の構成を備えた本実施形態の指標配置情報計測装置の動作の概要について説明する。撮像部８００は、ビデオカメラであるとし、ユーザの操作に関わらず常に画像入力部８１０に動画像を出力する。表示部８７０は、画像入力部８１０に入力された動画像を随時画面上に表示する。これにより、ユーザはビデオカメラで撮影されている画像を常に画面上で確認できる。ユーザはビデオカメラを自由に動かしながら、指標が配置されているシーンや物体の画像を撮影する。

指標検出部８２０は、画像入力部８１０に入力された画像に含まれる指標を検出する。前述した正方形指標を画像中から検出するために、指標検出部８２０は入力された画像に対して二値化及び連結領域のラベリング処理を行い、正方形指標の境界領域である黒枠で囲まれた内部領域を抽出する。さらに、指標の内部領域に対して直線フィッティングを行い、内部領域の正方形の４頂点の画像座標を求め、指標同定部８３０に画像及び画像座標の組合せを出力する。

指標同定部８３０は、指標検出部８２０より入力された画像座標に基づいて、２次元射影変換によって画像上の正方形指標を正射影画像に変換し、向き決め領域及びビット領域を読み取ることにより、正方形指標の識別子を読み出し同定を行う。

データ管理部８４０は、指標同定部８３０から指標同定結果を入力する。ユーザの入力に基づく操作部８８０の指示により、現在ビデオカメラによって撮影されている画像を取得する命令が入力された場合には、指標同定部８３０から入力された指標の同定結果をデータ保存部８５０に保存する。よって、データ保存部８５０には、複数の画像についての指標の同定結果が保存さている。指標の同定結果は、画像番号−指標の識別子−指標内部の正方形の４頂点の画像座標の組として保存される。

解析部８６０は、操作部８８０により現在ビデオカメラによって撮影されている画像を取得する命令が入力され、指標同定部８３０から入力された指標の同定結果がデータ保存部８５０に保存されたときに、データ保存部８５０に保存されたすべての指標の同定結果を解析する。そして、計測対象の指標の基準座標系における配置情報が計測可能であるかの判定を行う。判定は、例えば基準座標系における配置情報が既知である指標が所定回数撮影されているかどうかに基づいて行う。基準座標系における配置情報が既知である指標は、図２（ａ）に示すような正方形指標であってもよいし、図９に示すような配置情報が点の位置で表される指標（以下、点指標）であってもよい。図９における点指標は、円形状であって指標内部が同一色である指標である。本実施形態では、点指標の位置を円の重心であるとする。

従来の写真測量技術と同様に、指標の同定結果のみから算出される指標の配置情報は、指標同士の相対的な位置関係しか得ることができない。その相対的な位置関係は、任意の基準座標系（以下、相対基準座標系と呼ぶ）、例えばある正方形指標の指標座標系、を基準とした各指標の位置及び姿勢によって表すことができる。計測対象指標の基準座標系における配置情報が計測可能であるためには、相対基準座標系と基準座標系との対応が既知である必要がある。相対基準座標系と基準座標系のスケールが同じであると仮定すると、二つの座標系の対応は、一方の座標系に対する他方の座標系の位置及び姿勢によって表される。

相対基準座標系と基準座標系との対応を求めるためには、基準座標系における位置及び姿勢が既知である１個以上の正方形指標の、相対基準座標系における位置及び姿勢が計測される必要がある。サイズが既知である正方形指標の相対基準座標系における位置及び姿勢を計測するためには、該正方形指標は相対基準座標系における位置及び姿勢が既知のカメラにより少なくとも１回以上撮影されている必要がある。また、基準座標系における位置が既知で、同一直線上にない３個以上の点指標の相対基準座標系における位置が計測される場合にも、相対基準座標系と基準座標系との対応を求めることができる。点指標の相対基準座標系における位置を計測するためには、該点指標は相対基準座標系における位置及び姿勢が既知のカメラにより少なくとも２回以上撮影されている必要がある。

解析部８６０は、データ保存部８５０に保存されている同定結果を解析する。例えば基準座標系における位置及び姿勢が既知の正方形指標が１回以上撮影されているか、または基準座標系における位置が既知の３個以上の点指標が各々２回以上撮影されているかどうかを解析する。そして解析部８６０は計測対象の指標の基準座標系における配置情報が計測可能であるかの判定を行い、判定結果を解析結果として出力する。

操作部８８０を介して、ユーザは現在ビデオカメラによって撮影されている画像を取得する命令を入力するとともに、指標の配置情報、すなわち各指標の位置及び姿勢を計算する命令を指標配置情報算出部８９０に入力する。指標配置情報算出部８９０は、解析部８６０において基準座標系における指標の配置情報計測が可能であるという解析結果が出力された場合には、各指標の基準座標系における位置及び姿勢を算出する。解析部８６０において基準座標系における指標の配置情報計測が不可能という解析結果が出力された場合、計測対象の指標から正方形指標を１つ選択し、選択された指標の指標座標系を相対基準座標系として、その座標系における各指標の位置及び姿勢を算出する。ユーザは、ビデオカメラによって画像の撮像を行いながら、例えば十分な枚数の画像を撮影したと判断した場合などに、指標配置情報を計算する命令を指標配置情報算出部８９０に入力し、指標配置情報を算出する。また、ユーザが操作部８８０を介して画像を撮影する命令を入力したときに、該画像における指標の同定結果をデータ保存部８５０に保存した後、データ保存部８５０に保存されている同定結果をもとに自動的に指標配置情報算出部８９０が指標配置情報を算出してもよい。指標配置情報算出部８９０において算出された指標配置情報は、データ管理部１４０を介して、データ保存部８５０に保存される。保存される指標配置情報は、基準座標系または相対基準座標系における配置情報であり、ユーザは画像の取得と配置情報算出を繰り返しながら、最終的に基準座標系において十分な精度を有する指標配置情報を計測する。また、指標の基準座標系における配置情報が既知である場合にも、該配置情報はデータ保存部８５０に保存されているものとする。

位置姿勢算出部９００は、データ保存部８５０に保存されている指標配置情報に基づいて、現在のビデオカメラの位置及び姿勢を算出する。位置姿勢算出部９００は、撮像部８００から画像入力部８１０に入力された画像における指標同定結果を指標同定部８３０から入力し、正方形指標の各頂点または点指標の画像座標３次元座標との対応をもとに、該画像を撮影した際のビデオカメラの位置及び姿勢を算出する。

表示部８７０は、画像入力部８１０に入力される画像を随時画面上に表示する。このとき、前述した解析部８６０が出力する解析結果に基づいて、基準座標系における指標の配置情報計測が可能である場合とそれ以外の場合に分けて、異なる方法でユーザに情報提示する。図１０は、基準座標系における指標の配置情報計測が可能かどうかに応じた提示方法を示す図である。表示部８７０は、解析部８６０において基準座標系における指標の配置情報計測が不可能であると判断され、相対基準座標系における配置情報計測が可能であると判断された場合には次のような処理を行う。すなわち、図１０（ａ）に示す撮影画像に対して、図１０（ｂ）に示すように、位置姿勢算出部９００が出力する相対基準座標系におけるビデオカメラの位置及び姿勢に基づいて相対基準座標系における指標の３次元モデルを描画し、画像入力部８１０への入力画像上に合成して不図示のディスプレイに表示する。ディスプレイは、ＣＲＴやＬＣＤなどの通常のコンピュータ用のディスプレイや、ＡＲの画像表示装置であるヘッドマウントディスプレイであってもよい。解析部８６０において基準座標系における指標の配置情報計測が可能であると判断された場合には次のような処理を行う。すなわち図１０（ｃ）に示すように、位置姿勢算出部９００が出力する基準座標系における撮像装置の位置及び姿勢に基づいて基準座標系を表す３次元モデルと基準座標系における指標の３次元モデルを描画した画像を撮影画像と重畳合成する。前述の提示方法により、基準座標系における配置情報計測が可能であるかどうかをユーザが画像上で確認することができるため、ユーザは基準座標系における配置情報が既知の指標をさらに撮影すべきかどうかを知ることができる。

基準座標系または相対基準座標系における指標の３次元モデルは、図１０（ｂ）に示すように、例えば指標の内部領域の外枠と、指標の法線方向を表す線分（図２（ｂ）において指標中心からｚ_ｍ方向に伸びた線分）である。しかし、基準座標系または相対基準座標系における指標の３次元モデルは指標の形状を表すものであればどのようなモデルであってもよい。例えば、指標の内部領域の外枠だけであってもよい。また、基準座標系を表す３次元モデルは、例えば基準座標系の原点を起点として直交する３軸方向に伸びた線分であるとする。各線分は基準座標系のｘ軸、ｙ軸、ｚ軸（図２（ｂ）におけるｘ_ｗ軸、ｙ_ｗ軸、ｚ_ｗ軸）である。基準座標系を表す３次元モデルは、図１０（ｃ）に示すように、各軸名及び原点を表す文字情報を持っていてもよい。

図１１は、本実施形態における指標配置情報計測方法の処理の手順を示すフローチャートである。まずステップＳ１１１０において、画像入力部８１０は、撮像部８００によって撮影された画像を指標検出部８２０に出力する。指標検出部８２０は、入力された画像に対して二値化及び連結領域のラベリング処理を行って正方形指標の内部領域を抽出する。そして、内部領域の外周部分について直線フィッティングを行い、正方形指標の内部領域の４頂点の画像座標を求めることで、正方形指標を検出する。また、計測対象指標に、例えば同一色で塗られた円領域である点指標が含まれている場合には次のように検出を行う。すなわち、指標と同一の色を有する画素を該色に対応するＹＵＶ色空間画像の特定領域にあるかどうかで抽出し、同一色として連結している画素をラベリングすることで指標領域を求め、画像内での指標領域の重心を計算することで検出を行う。

指標同定部８３０は、指標検出部８２０より入力された検出指標の画像座標に基づいて指標の同定を行う。正方形指標については、該画像座標に基づいて画像上の正方形指標を正射影画像に変換し、向き決め領域及びビット領域を読み取ることにより指標の識別子を読み出し同定を行う。また、点指標の同定は、例えばマウスで画像上の検出指標位置をクリックして同定してもよいし、始めに手動で同定した後、画像間で動的に追跡を行って同定してもよい。また、点指標は非特許文献５に示すような固有の識別子を持つ自然特徴点である場合には、画像から検出する際に直接得られる識別子を用いて同定してもよい。同定結果はデータ管理部８４０及び位置姿勢算出部９００に送られる。

次にステップＳ１１２０において、位置姿勢算出部９００は現在のビデオカメラの位置及び姿勢を算出する。位置姿勢算出部９００は、解析部８６０が出力する解析結果において基準座標系における指標の配置情報計測が可能と判定されていれば基準座標系における撮像装置の位置及び姿勢を算出する。一方、相対基準座標系における配置情報計測が可能であれば相対基準座標系における撮像装置の位置及び姿勢を算出する。撮像装置の位置及び姿勢は、画像上で観察される指標が３次元空間中で同一平面上にない場合には、例えばＤｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ（ＤＬＴ）法により、画像座標と３次元座標の対応から線形連立方程式を解くことにより算出することができる。また、画像上で観察される指標が３次元空間中で同一平面上に存在する場合には、画像座標と平面座標との対応から線形連立方程式を解くことにより該平面と画像平面との間の２次元射影変換を求めることによってビデオカメラの位置及び姿勢を算出することができる。さらに非特許文献６に示すように、何らかの方法でビデオカメラの位置及び姿勢の初期値を得て、指標の画像上での検出画像座標と、計算される画像座標との誤差を最小化するように反復演算によりビデオカメラの位置及び姿勢を最適化してもよい。初期値は、前述の線形連立方程式を解く方法によって得たり、前フレームにおける位置及び姿勢を利用することが可能である。また、反復演算の方法としては、ガウス−ニュートン法、レーベンバーグ−マーカート法などを利用することができる。さらに、Ｍ推定、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）などのロバスト推定手法を利用して、指標の誤検出や誤対応に起因するアウトライヤを除去してビデオカメラの位置及び姿勢を算出してもよい。

ステップＳ１１３０では、基準座標系における指標の配置情報計測が可能かどうかをユーザに提示する。解析部８６０が出力する解析結果において基準座標系における指標の配置情報計測が可能と判定されれば次の処理を行う。すなわち、ステップＳ１１２０で算出した基準座標系におけるビデオカメラの位置及び姿勢に基づいて、基準座標系を表す３次元モデルと基準座標系における指標の３次元モデルを描画した画像を撮影画像と重畳合成し、表示する。また、解析部８６０が出力する解析結果において基準座標系における指標の配置情報計測が不可能と判定されていれ次の処理を行う。すなわち、ステップＳ１１２０で算出した相対基準座標系におけるビデオカメラの位置及び姿勢に基づいて、相対基準座標系における指標の３次元モデルを描画した画像を撮影画像と重畳合成し、表示する。

ステップＳ１１４０では、操作部８８０から指標配置情報を算出する命令が入力されたかどうかを判定し、入力されたと判定された場合にはステップＳ１１８０に進み、そうでない場合にはステップＳ１１５０に進む。命令は、キーボードの特定のキーによって入力したり、マウスを用いてＧＵＩから入力したりしてもよい。

ステップＳ１１５０では、操作部８８０から画像を取得する命令が入力されたかどうかを判定し、入力されたと判定された場合にはステップＳ１１６０に進み、そうでない場合にはステップＳ１１１０に戻る。命令は、キーボードの特定のキーによって入力したり、マウスを用いてＧＵＩから入力したりしてもよい。

ステップＳ１１６０では、ステップＳ１１１０において検出され、同定された指標について、画像番号−指標の識別子−指標内部の正方形の４頂点の画像座標の組（点指標の場合には該点指標の画像座標）をデータ保存部８５０に保存し、ステップＳ１１７０に進む。

ステップＳ１１７０では、解析部８６０がデータ保存部８５０に保存されたすべての指標の同定結果を解析し、計測対象の指標の基準座標系における配置情報が計測可能であるかの判定を行う。判定は、例えば基準座標系における配置情報が既知である指標が所定回数撮影されているかどうかに基づいて行う。該基準座標系における配置情報が既知である指標が正方形指標である場合には、１個以上の正方形指標が１回以上撮影されているかどうかに基づいて判定を行う。このとき、該正方形指標のみが撮影されているのではなく、他の計測対象の指標と同時に撮影されている必要がある。なお、ここでは撮影回数は１回以上としているが、それに限られるものではなく、より精度の高い計測を行うために２回以上に設定してもよい。また該基準座標系における配置情報が既知である指標が点指標である場合には、３個以上の同一直線上にない点指標が各々２回以上撮影されているかどうかに基づいて判定を行う。点指標の場合も同様に、該点指標は他の他の計測対象の指標と同時に撮影されている必要がある。正方形指標と同様に、点指標の場合も撮影回数は２回に限られるものではなく、より精度の高い計測を行うために、３回以上に設定してもよい。また該基準座標系における配置情報が既知である指標として正方形指標、点指標が混在していてもよく、前述の条件のいずれかを満たせば基準座標系における配置情報が計測可能であると判定する。ステップＳ１１７０の処理が終ると、ステップＳ１１１０に戻る。ユーザによる配置情報算出の命令が行われなくとも、ステップＳ１１７０の後に自動的にステップＳ１１８０に進んで配置情報算出を行ってもよい。

ステップＳ１１８０では、指標の配置情報の算出を行う。ここで、指標の配置情報の算出方法について説明する。まず、相対基準座標系における指標の配置情報算出方法について説明した後、相対基準座標系から基準座標系への変換方法について説明する。ここで、計測対象の、すなわち配置情報算出の対象となる指標の数をＮとし、撮影された画像の枚数をＭとする。また、正方形指標ｉ（ｉ＝１，２，…，Ｎ）の位置姿勢を表す６次元ベクトルをａ_ｉ、画像ｊ（ｊ＝１，２，…，Ｍ）を撮影したカメラの位置姿勢を表す６次元ベクトルをｓ_ｊと表す。指標の位置姿勢を表す６次元ベクトルａは、指標の相対基準座標系における位置

、相対基準座標系に対する姿勢

の各成分からなるベクトルであり、

のように表すことができる。カメラの相対基準座標系における位置を

、相対基準座標系に対する姿勢を

とすると、カメラの位置姿勢を表す６次元ベクトルをｓも同様に、

のように表すことができる。

正方形指標の各頂点の指標座標系における座標

（ｋ＝１，２，３，４）は、正方形の一辺の長さを２ｅ（ｅ＞０）として、例えば（式６）のように表すことができ、正方形の一辺の長さがわかる場合には既知の値となる。

相対基準座標系に対する位置姿勢がｔ_ｗｍ、ω_ｗｍである指標の指標座標がｘ_ｍである頂点の，相対基準座標系に対する位置姿勢がｔ_ｗｃ、ω_ｗｃであるカメラのカメラ座標ｘ_ｃは（式７）のように表すことができる。
ｘ_ｃ＝Ｒ（ω_ＷＣ）^−１・（Ｒ（ω_Ｗｍ）・ｘ_ｍ＋ｔ_ｗｍ−ｔ_ｗｃ） （式７）
但し、Ｒ（ω_ＷＣ）、Ｒ（ω_Ｗｍ）はそれぞれω_ｗｃ、ω_ｗｍで表される姿勢を表す３×３回転変換行列である。また、カメラ座標が
ｘ_ｃ＝［ｘ_ｃｙ_ｃｚ_ｃ］^ｔ
である点が焦点距離がｆであるピンホールカメラによって画像上に投影される位置
ｕ＝［ｕ_ｘｕ_ｙ］^ｔ
は、（式８）のように表すことができる。

すなわち、ｕは指標の位置姿勢ｔ_ｗｍ、ω_ｗｍ、カメラの位置姿勢ｔ_ｗｃ、ω_ｗｃの関数となる。よって、指標ｉの頂点ｋ（ｋ＝１，２，３，４）の画像ｊ上における投影像の位置を表す２次元ベクトルｕ_{ｉ，ｊ，ｋ}は、（式９）に示すように、ａ_ｉ、ｓ_ｊの関数となる。
ｕ_{ｉ，ｊ，ｋ}＝Ｆ（ａ_ｉ、ｓ_ｊ） （式９）
指標ｉの頂点ｋの画像ｊ上における投影像の実際の画像上での観察位置を

と表すと、観察位置

とａ_ｉ、ｓ_ｊから計算されるｕ_{ｉ，ｊ，ｋ}との誤差

は（式１０）のように１次近似することができる。

∂ｕ_{ｉ，ｊ，ｋ}／∂ａ_ｉ、∂ｕ_{ｉ，ｊ，ｋ}／∂ｓ_ｊは（式９）において、ｕ_{ｉ，ｊ，ｋ}をそれぞれａ_ｉ、ｓ_ｊの各成分によって偏微分したときの偏微分係数を並べたヤコビ行列である。（式１０）を各画像中で検出同定された各指標の各頂点について立て、すべての△ａ_ｉ（ｉ＝１，２，…，Ｎ）、△ｓ_ｊ（ｊ＝１，２，…，Ｍ）を共通の未知変数として連立方程式として解くことにより、△ａ_ｉ（ｉ＝１，２，…，Ｎ）、△ｓ_ｊ（ｊ＝１，２，…，Ｍ）を得ることができる。予め、ａ_ｉ、ｓ_ｊには初期値を与えておき、△ａ_ｉ（ｉ＝１，２，…，Ｎ）、△ｓ_ｊ（ｊ＝１，２，…，Ｍ）を求めて、ａ_ｉ＝ａ_ｉ＋△ａ_ｉ、ｓ_ｊ＝ｓ_ｊ＋△ｓ_ｊという補正を行う操作を繰り返すことで、指標の位置姿勢△ａ_ｉ（ｉ＝１，２，…，Ｎ）を求める。

カメラの位置姿勢の初期値は、位置姿勢算出部９００が算出する位置姿勢を用いる。また、カメラに磁気式、光学式、超音波式などの６自由度位置姿勢センサを装着し、センサの計測値から得てもよい。また、相対基準座標系における位置及び姿勢がわかっている指標の画像座標からＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）法などの公知の手法を利用して求めてもよい。指標の位置姿勢の初期値は、予め概略の位置を手動で計測しておく。また、相対基準座標系における位置及び姿勢がわかっているカメラに写った指標の投影像をもとに求めてもよい。サイズが既知の正方形指標であれば、正方形指標の各頂点の指標座標系における実平面位置と、画像座標との対応をもとに、実平面と画像平面との間の２次元射影変換を求めることにより、正方形指標の位置及び姿勢を算出することができる。点指標の場合には、２台以上の相対基準座標系における位置及び姿勢がわかっているカメラに該点指標が撮影されていれば、三角測量の原理により点指標の位置を算出することができる。

次に、相対基準座標系における指標の配置情報を、基準座標系における指標の配置情報に変換する方法について説明する。まず、基準座標系における位置及び姿勢が既知である正方形指標が撮影されており、該正方形指標の相対基準座標系における位置及び姿勢が前述の配置情報算出方法により算出されている場合について説明する。ここで、基準座標系における位置及び姿勢が既知である正方形指標の基準座標系における位置及び姿勢を３次元ベクトルｔ_ｗｍ及び３×３回転行列Ｒ_ｗｍで表す。また、該正方形指標の相対基準座標系における位置及び姿勢を３次元ベクトルｔ_ｓｍ及び３×３回転行列Ｒ_ｓｍで表す。前述の配置情報算出方法により算出される相対基準座標系における指標の位置を表す３次元ベクトルがｔ、姿勢を表す３×３回転行列がＲである指標の、基準座標系における位置を表す３次元ベクトルｔ’、姿勢を表す３×３回転行列Ｒ’は式１１のように表せる。

次に、基準座標系における位置が既知である同一直線上にない３点以上の点指標が、各々２回以上撮影されている場合について説明する。この場合、該点指標の相対基準座標系における位置が算出されるので、２つの座標系における点指標の位置の対応を用いて、座標系同士の位置及び姿勢を算出する。点指標の数が３点の場合など、点指標が同一平面上に存在する場合には、平面同士の２次元射影変換を求めることによって座標変換行列を求める。点指標が同一平面上に存在しない場合には、式８を満たす座標変換行列Ｍを例えば最小二乗法により求める。ここで

（ｎ＝１，２，．．．）は基準座標系における点指標の位置、

（ｎ＝１，２，．．．）は相対基準座標系における点指標の位置を表す。

座標変換行列Ｍの回転を表す３×３回転行列をＲ_ｗｓ、平行移動を表す３次元ベクトルｔ_ｗｓと表す。前述の配置情報算出方法により算出される相対基準座標系における指標の位置を表す３次元ベクトルがｔ、姿勢を表す３×３回転行列がＲである指標の、基準座標系におけ位置を表す３次元ベクトルｔ’、姿勢を表す３×３回転行列Ｒ’は式１３のように表せる。

ステップＳ１１８０において、指標の配置情報を算出した後、ステップＳ１１９０に進む。ステップＳ１１８０において、基準座標系における指標の配置情報を算出できなかった場合にはステップＳ１１１０に戻り、基準座標系における配置情報が既知の指標の撮影を行う。また、基準座標系における指標の配置情報が算出できた場合でも、ユーザが計測精度に満足できない場合はステップＳ１１１０に戻り、撮影を継続する。

以上説明したように、本実施形態においては、他の指標の基準座標系における配置情報を算出することが可能かどうかユーザに提示することにより、ユーザがさらに撮影を継続するべきかが瞬時にわかり、効率的に指標の配置情報の計測を行うことができる。

［変形例３−１］
なお、本実施形態では、基準座標系における指標の配置情報の計測が可能かどうかを基準座標系を表す３次元モデルを描画することによりユーザに提示していた。しかし提示方法はこれに限るものではなく、撮影画像上に基準座標系における指標の配置情報の計測が可能であるか否かを表示する方法であれば他のいかなる方法であってもよい。

例えば、指標を表す３次元モデルの色を、基準座標系における指標の配置情報の計測が可能な場合とそうでない場合とで変更することによって提示してもよい。また、色を変えるのではなく、基準座標系における指標の配置情報の計測が可能な場合には指標を表す３次元モデルの透明度を小さく、そうでない場合には透明度を大きくして描画してもよいし、その逆でもよい。

また、本実施形態では、ビデオカメラの位置及び姿勢、基準座標系や指標の３次元モデルを用いて基準座標系における指標の配置情報の計測が可能かどうかを３次元的にユーザに提示していたが、２次元的に提示してもよい。例えば、ビデオカメラの位置及び姿勢を計算せずに、データ保存部１５０に保存されている同定情報のみを利用してもよい。すなわち、基準座標系における指標の配置情報の計測が可能な場合には、図１３（ａ）に示すように検出された正方形指標の各頂点の画像座標を利用して内部を塗りつぶしたり、図１３（ｂ）に示すように対角線を引いたりすることでユーザに提示してもよい。また、図形として提示するのではなく、図１３（ｃ）に示すようにテキスト情報として提示してもよい。さらには、ユーザに提示せずに、基準座標系における指標の配置情報の計測が可能になったら自動的に配置情報を算出するようにしてもよい。

［変形例３−２］
本実施形態では、基準座標系における指標の配置情報の計測が可能かどうかを基準座標系を表す３次元モデルを描画することによりユーザに提示していた。この方法では、基準座標系を表す３次元モデルの大きさを固定すると図１２（ａ）に示すように画面からはみ出す可能性がある。そのため、図１２（ｂ）に示すように、カメラの位置及び姿勢、焦点距離を用いて、常に基準座標系を表す３次元モデルが画面内に含まれるように大きさを調節してもよい。さらには、基準座標系を表す３次元モデルの大きさを変えるのではなく、図１２（ｃ）に示すように、各座標軸を表すテキスト情報が常に画面内に含まれるように表示位置を調節してもよい。

［第４の実施形態］
第２の実施形態では、各指標が撮影された方向を指標の内部領域を分割して平面上における方向に変換して表示していた。しかし、本発明は、指標の撮影された方向を平面に変換して表示することに限定するものではない。

第４の実施形態では、各指標が撮影された方向、距離、撮影回数（以降、指標が撮影されたときの夫々の情報を撮影情報と呼ぶ）を、各指標に対応する３次元オブジェクトに表示する。この３次元オブジェクトを表示することにより、ユーザが次にどの指標をどの撮影方向や距離で撮影するべきかをわかるようにする。なお、本実施形態では、３次元オブジェクトとして図１５（ａ）、（ｂ）のように半球形状のオブジェクト１５１０を表示する。本実施形態では、対応する指標の撮影された方向と撮影回数に応じて半球オブジェクト表面の一部の色を変化させている。

このように指標の３次元撮影方向を示すオブジェクト１５１０で指標の撮影情報を表示することで、現在見ている方向の情報のみを強調して表示させることができる。すなわち、３次元オブジェクト１５１０を投影面に射影する描画処理（透視投影、陰面消去）の効果により、現在見えている方向における撮影情報の面積が他の方向に比べて広く描画される。すなわち、３次元オブジェクト１５１０に設定された色などの属性情報が、平面に属性情報を表示したときに比べて広い領域で描画される。この効果により、ユーザは画面上の色の面積という比較的簡単な判断基準によって撮影するべきかどうかを判断できるようになる。例えば、図１５の（ａ）に示す撮影位置からユーザがシーンを観察する場合を考える。この撮影位置においては、図１５の（ａ）のような画像がユーザに提示される。提示される画像には、既に指標が撮影されたことを示す色が３次元オブジェクト１５１０に表示されているため、ユーザは画像を撮影する必要がないと判断できる。また、別の撮影位置に移動して図１５（ｂ）のような画像が得られたとする。提示される画像の見えている３次元オブジェクト１５１０の面上には、まだ撮影されていないことを示す色が表示されている。この画像から、ユーザは画像を撮影する必要があると判断できる。

また、指標付近に指標が撮影されたときの指標検出精度１５２０を提示することで、これまでに撮影した指標の検出精度（検出信頼度）を数値で知ることができ、精度の高い撮影位置をフィードバックすることができる。

本実施形態における指標配置情報校正装置の機能構成を示すブロック図を図１４に示す。本実施形態における指標配置情報校正装置の機能構成は、第３の実施形態の指標配置情報校正装置に類似している。なお、重複部分の詳細な説明は省略する。

第３の実施形態と同様に、撮像部８００は指標が配置されたシーンや物体を常に撮影しており、撮影した画像を画像入力部８１０経由でコンピュータに入力する。画像入力部８１０によってコンピュータ内に取り込まれた画像から、指標検出部８２０によって指標を検出する。さらに指標同定部８３０によって、検出された指標の同定を行い、指標の同定結果をデータ管理部１４４０に保存する。

データ管理部１４４０は、指標同定部８３０から入力された指標の同定結果を入力する。操作部８８０の指示により、現在ビデオカメラによって撮影されている画像を取得する命令が入力された場合には、指標同定部８３０から入力された指標の同定結果をデータ保存部１４５０に保存する。

データ保存部１４５０には、複数の画像についての指標の同定結果が保存されている。指標の同定結果は、
・画像番号
・指標の識別子
・指標内部の正方形の４頂点の画像座標
・ビデオカメラの相対位置及び姿勢（算出可能な場合のみ）
の組として保存される。

解析部１４６０は、ユーザの操作により操作部８８０から、ビデオカメラによって現在撮影されている画像を取得する命令が入力され、指標同定部８３０から入力された指標の同定結果がデータ保存部１４５０に保存されたときに、データ保存部１４５０に保存された全ての指標の同定結果を解析する。本実施形態において、解析部１４６０は、第３の実施形態で挙げられている計測対象の配置情報が基準座標系において算出可能かどうかの判定の他に、以下の情報を算出する。すなわち、指標の同定結果から、画像に写る夫々の指標ごとに
・指標の識別子
・撮影時の３次元方向（以降、３次元撮影方向と呼ぶ）
・相対基準座標系における撮影時の距離（以降、撮影距離と呼ぶ）
・指標の３次元撮影方向に対応付けた３次元オブジェクトの面の撮影回数
・指標検出精度
を対応付けて保存する。夫々の解析結果の算出方法については後述する。

夫々の指標ごとに解析された解析結果は表示部１４７０に出力される。

表示部１４７０は、画像入力部８１０に入力される画像を随時画面上に表示する。このとき、解析部１４６０が出力する解析結果に基づいて、指標付近に指標の撮影情報を示す３次元オブジェクト１５１０と指標検出精度１５２０を提示する。図１５（ａ）は、同定された各指標に対して３次元オブジェクト１５１０をユーザに提示する例を示す図である。本実施例においては、指標の撮影情報を示す３次元オブジェクト１５１０として正２０面体を球面に投影し正三角形で曲面を分割したジオデシックドーム形状を利用する。なお本実施形態では、指標の中心点を通る法線ベクトルと平行な直線がジオデシックドームの天頂頂点を通るように３次元オブジェクト１５１０を配置する。さらに、指標が検出されない水平方向は表示する必要がないため、図１５（ａ）に示すように、３次元オブジェクト１５１０の底面が指標からあらかじめ決めた一定距離だけ離れるように、法線方向に移動させて表示する。

本実施系における指標配置情報計測方法の処理の手順は、図１１で示す第３の実施形態における処理の手順と類似している。以下は差分となる処理であるステップＳ１１３０、Ｓ１１６０、Ｓ１１７０のみを説明する。

ステップＳ１１３０では、表示部１４７０が、まず、ステップＳ１１７０で解析部１４６０が算出した解析結果のうち、指標の３次元撮影方向を示す３次元オブジェクト１５１０の各面の撮影回数を参照して色を決定する。３次元オブジェクトの撮影回数の算出方法は後述する。本実施形態においては、３次元オブジェクト１５１０の面の色を、面の撮影回数が０回で白、撮影回数１回で灰色、撮影回数２回以上で黒に設定する。このように、重複した方向から撮影された場合に面の色を変更することにより、３次元撮影方向をなるべく分散させるように教示することができる。なお、本発明は、本実施形態における配色の回数や表示色に限定されるものではなく、ユーザが指標の撮影方向と撮影回数を判別でき、現在見えている範囲の撮影情報が強調される方法であれば適用可能であることは本実施形態の説明により明らかである。

また、表示部１４７０は、図１５（ａ）に示すように夫々の指標付近に解析部１４６０が算出した指標検出精度１５２０の数値を、指標付近に表示する。数値の表示位置は、例えば、指標が配置されている平面と同じ平面上で指標の中心点からあらかじめ指定した方向と距離を考慮した３次元位置に表示すればよい。

最後に、表示部１４７０は、位置姿勢算出部９００で得られたビデオカメラの位置姿勢に基づいて、３次元オブジェクト１５１０と指標検出精度１５２０を描画した画像を生成し、撮像画像上に合成して表示する。

ステップＳ１１６０では、ステップＳ１１１０において検出され、同定された指標について、画像番号−指標の識別子−指標内部の正方形の４頂点の画像座標の組（点指標の場合には該点指標の画像座標）−ビデオカメラの相対位置及び姿勢をデータ保存部１４５０に保存し、ステップＳ１１７０に進む。なお、ビデオカメラの相対位置姿勢に関しては、ステップＳ１１２０で算出できた場合にのみ格納する。

ステップＳ１１７０では、解析部１４６０がデータ保存部１４５０に保存されたすべての指標の同定結果を解析する。すなわち、第３の実施形態で挙げた基準座標系における配置情報が計測可能かどうかの判定に加え、夫々の指標の３次元撮影方向に対応付けた撮影回数、３次元撮影方向、撮影距離、指標検出精度１５２０を算出する。

指標の３次元撮影方向、撮影距離、指標の３次元撮影方向に対応付けた撮影回数は、例えば以下のように決定する。図１６〜図１８は面の撮影回数を説明する図である。なお、以下の処理は、同定結果として得られたデータセットごとに実施する。

まず、データ保存部１４５０に保存された同定結果を参照し、ビデオカメラにより撮影されたときの位置１６１０を取得する。このとき、指標の中心点から撮影位置１６１０までのベクトルの方向を３次元撮影方向とし、ベクトルの長さを撮影距離として解析部１４６０に保存する。次に、撮影位置１６１０を円錐の底面の円中心とし、指標の中心点を円錐の天頂の頂点とする円錐１６２０を生成する。このとき円錐の底面円の半径は、あらかじめ固定の数値を利用してもよいし、撮影距離やビデオカメラの画角などに応じて変更しても良い。

次に、図１７のように、円錐１６２０と３次元オブジェクト１５１０が重なる領域１７１０を公知の交点計算により求める。さらに、図１８のように、重なる領域１７１０と重なる３次元オブジェクト１５１０の面の撮影回数カウントを１つ上げる。この各面のカウント数を解析部１４６０に保存する。

指標検出精度１５２０は、撮像画像から指標を検出したときのカメラの相対位置姿勢推定精度を表している。このカメラ相対位置姿勢の推定精度は、例えば非特許文献５の方法を３次元方向に拡張した方法で求める。すなわち、まず、あらかじめ指標が撮像されうる３次元方向を想定した複数の既知のカメラ相対位置姿勢から指標を撮像する。次に、指標から得られたカメラ相対位置姿勢と既知の相対位置姿勢との誤差に基づいた精度スコアを３次元方向と距離ごとにテーブルとして保存する。この精度スコアは、例えば、（あらかじめ定めた許容誤差／計測された誤差）で算出する。テーブルはあらかじめ解析部１４６０に保存するものとする。

さらに指標検出精度１５２０は、例えば次のように求める。まず、現在までに撮影された３次元撮影方向と距離に基づいてカメラ相対位置姿勢の推定精度テーブルを参照する。次に、３次元撮影方向と距離のうち精度スコアが高い上位２つの値を平均し指標検出精度１５２０とする。ただし、指標が同定されていない場合は０、指標が１回しか同定されていない場合は得た精度スコアの半分を指標検出精度１５２０とする。

以上説明したように、本実施形態においては、まず、同定された指標ごとに３次元撮影方向、撮影距離、３次元撮影方向に対応付けた撮影回数、指標検出精度１５２０を解析部１４６０によって算出する。次に、表示部１４７０が解析結果に基づいて３次元オブジェクト１５１０と指標検出精度１５２０を表示する。この処理により、ユーザは画面上の色の面積と指標検出精度１５２０の数値という比較的簡単な判断基準によって撮影するべきかどうかを判断できる。

［変形例４−１］
本発明は、第４の実施形態のように３次元オブジェクト１５１０としてジオデシックドームを利用することに限定されるものではなく、指標の３次元撮影方向を表す３次元形状であれば適用可能である。例えば、図１９のように四角錘台を３次元オブジェクト１５１０としてもよいし、図２０のように、１０角形の錘台を３次元オブジェクト１５１０としてもよい。

本変形例における指標配置情報校正装置の機能構成と処理手順は、表示する３次元オブジェクト１５１０の形状が異なるだけで、第４の実施形態とほぼ同じであるため説明を省略する。

［変形例４−２］
第４の実施形態においては、指標の３次元撮影方向、撮影回数に応じて３次元オブジェクトの面の色を決定していた。しかし、本発明は、撮影情報を表す表現方法として３次元オブジェクトの面の色を変更することに限定されるものではない。例えば、３次元オブジェクト１５１０の面の位置を変更することにより、撮影情報を表してもよい。

本変形例では、第４の実施形態と同様に３次元オブジェクト１５１０の面の色を変更することに加えて、図２１に示すように、撮影時の３次元撮影方向と距離に応じて３次元オブジェクト１５１０の面を半球の中心方向に縮小する。このように、３次元オブジェクト１５１０の形状を変化させる表示により、撮影時の距離の情報をユーザに提示することができる。

本変形例における指標配置情報校正装置の機能構成は、第４の実施形態における指標配置情報校正装置の機能構成のうち、表示部１４７０の処理のみが異なる。

本変形例における表示部１４７０は、解析部１４６０で得た解析結果から３次元オブジェクト１５１０の色と奥行きを決定し、指標の配置情報に基づいて表示する。

本変形例における指標配置情報校正装置の処理の手順は、第４の実施形態の処理手順において、ステップＳ１１３０の情報提示の処理のみが異なる。

ステップＳ１１３０では、第４の実施形態の処理に加え、解析結果に応じて３次元オブジェクトの形状を決定する。３次元オブジェクト１５１０の各面に対して次の処理をおこなう。まず、解析結果で得られた撮影距離を参照し、撮影距離があらかじめ決められた距離テーブルのうち、どの範囲に入るかを判定する。距離テーブルには、例えば、１００％、７５％、５０％、２５％の４つが用意されており、該当する距離に設定された縮小率で３次元オブジェクト１５１０の面を縮小する。縮小処理においては、図２１の２１１０に示すように半球の中心点を縮小の基準として縮小し、縮小により生じる隙間を塞ぐように面を生成する。隙間を埋めるために生成した面の色については、縮小した面の色と同じ色に設定する。

［変形例４−３］
第４の実施形態では、指標が検出されていない場合であっても、
・基準座標系における該指標の配置情報が算出可能、
・該指標の過去の解析結果が保存されている、
という条件を満たしていれば、検出された指標と同様に３次元オブジェクト１５１０が表示されていた。

しかし、指標が検出されていない状態をユーザが知る手段がないため、効率よく情報を取得することができなかった。すなわち、ユーザが操作部８８０を介して画像の撮像を命令しても、指標が検出されていないため指標の配置情報の算出に有益な画像が取得できない場合があった。この課題を防ぐためには、検出されている指標と検出されていない指標とを区別して表示する必要がある。

本変形例では、指標の検出状態に応じて３次元オブジェクト１５１０の透明度を変化させることで、ユーザに現在の画像が情報を取得するのに適しているかどうかを判断させる。図２２に本変形例を適用した場合の例を示す。図２２では、右端の指標２２２０が撮像画像からはみ出し、指標として認識されない状態を示している。このとき、認識されている他の指標と認識されていない指標２２２０を区別するために、３次元オブジェクト２２１０の透明度を落としてユーザに提示している。なお、本発明は、指標の認識状態を区別するために透明度を利用することに限定するものではなく、全体の輝度を変化させるなどの色変化や形状を変更するなど、画像上で区別が可能な方法であれば適用可能である。

本変形例における機能構成と処理の手順は第４の実施形態と類似している。異なる点は、表示部１４７０がステップＳ１１３０の処理である。ステップＳ１１３０では、表示部１４７０が、現在の画像の同定結果から現在検出されている指標の識別子のリストを作成する。次に解析結果に応じて３次元オブジェクト１５１０を描画する。すなわち、解析結果から指標の識別子を取得し、検出された指標の識別子のリストにない場合は、該３次元オブジェクト１５１０の透明度を上げて描画する。

このように処理することで、ユーザは、現在検出されている指標と検出されていない指標を区別することができるようになり、効率的に指標の配置情報を求めるための撮影ができるようになる。

［変形例４−４］
第４の実施形態では、撮影情報を反映した３次元オブジェクト１５１０を表示し、画像上に提示することで、現在ユーザが撮影している画像を取得するかどうかの判断を補助していた。

本発明は、３次元オブジェクト１５１０の色情報をユーザに能動的に注視させて、撮影の判断を補助することに限定するものではない。例えば、画像上に移る３次元オブジェクト１５１０の色情報を指標配置情報校正装置が自動的に判断し、判断した情報をユーザに提示してもよい。

本変形例においては、第４の実施形態における機能校正及び処理の手順と類似している。差分は、ステップＳ１１３０の処理で表示部１４７０が３次元オブジェクト１５１０の画像を生成したあとに、画像中の色を統計処理して、画像取得を促す表示を行う部分である。画像中の色を統計処理する手順は、例えば、画像の色のヒストグラムを算出すればよい。

画像取得を促す表示は、例えば、前述の統計処理により得た画像のヒストグラムのうち、白い領域が他の領域に比べて３倍以上の画素を占める場合は画面上に「撮影してください」という文字列を表示すればよい。

なお、本発明は画像取得を促す表示に文字列を利用することに限定されるものではない。例えば、３次元オブジェクト１５１０の色や形状を変更するなど、ユーザが提示画像から容易に判断できる方法であれば本発明は適用可能である。

［変形例４−５］
変形例４−４では、３次元オブジェクト１５１０の生成画像における色の頻度分布に基づいてユーザに撮影を促す表示を実施した。しかし、本発明はユーザに撮影を促す表示に限定されるものではなく、統計処理の結果から指標配置情報校正装置が自動的に判断し画像を取得してもよい。すなわち、表示部１４７０が３次元オブジェクト１５１０の画像を統計処理し、処理結果に基づいて操作部８８０を介して画像取得命令を出せばよい。

［変形例４−６］
第４の実施形態では、解析部１４６０が過去の取得撮像画像を利用して解析した解析結果に基づいて３次元オブジェクト１５１０と指標検出精度１５２０を提示していた。

本発明は、過去の取得撮像画像に対して解析処理を行うことに限定されるものではなく、現在取得された画像中で同定されている指標を解析して、逐次３次元オブジェクト１５１０や指標検出精度１５２０を更新してもよい。

本変形例では、現在撮影された画像で同定された指標に対して解析処理を行う例を示す。

本変形例における指標配置情報計測装置の機能構成は第４の実施形態と類似している。以降では、差分のみを説明する。

データ管理部１４４０は、指標同定部８３０で得られた指標の同定結果を、操作部８８０の指示に関わらずデータ保存部１４５０に保存する。

解析部１４６０は、操作部８８０から画像取得の命令が来ていないことを判断して、データ保存部１４５０に追加された同定結果を受け、仮の解析結果を生成する。仮の解析結果は、解析部１４６０内部に保持している解析結果をコピーして新たに入力された同定結果を反映したデータであり、解析結果とは別に保存される。仮の解析結果は、次に新しい同定結果を受け取った場合には消去される。操作部８８０から画像取得の命令が入った場合には、通常の解析結果を保存する。

図２３は、本変形例における指標配置情報計測装置の処理の手順を示すフローチャートである。本変形例の処理手順は第４の実施形態の処理手順と類似しているため、差分のみを説明する。

ステップＳ２３１０では、第４の実施形態のステップＳ１１５０と同様に操作部８８０から画像を取得する命令が入力されたかどうかを判定する。入力されたと判定された場合にはステップＳ１１３０に進み、そうでない場合にはステップＳ２３２０に進む。

ステップＳ２３２０では、解析部１４６０が、同定結果に基づいて仮の解析結果を生成する。解析処理に関しては、解析結果データの保存先が通常の解析結果とは異なるメモリ領域に書き込むこと以外は第４の実施形態のステップＳ１１７０と同じである。

ステップＳ２３３０では、表示部１４７０が、操作部８８０の画像取得命令が入力されたかどうかを判断し、入力されていた場合は解析部１４６０内部の解析結果に基づいて３次元オブジェクト１５１０を描画する。画像取得命令が入力されていない場合は、解析部１４６０内部の仮の解析結果に基づいて３次元オブジェクト１５１０を描画する。その他の処理は第４の実施形態におけるステップＳ１１３０の処理と同じである。

以上の説明のように、本変形例に係る指標配置情報計測装置では、現在撮影している撮像画像においても画像取得命令があった場合と同様に解析処理を行い、解析結果をユーザに提示することができる。この処理により、現在取得されている画像を取得した結果が、提示画像を介してユーザにすぐにフィードバックされる。すなわち、ユーザは画像取得命令を出して失敗だと判断する前に、結果を提示することができるため効率的に画像を取得できる。

なお、本発明は、画像取得命令がない限り常に仮の解析処理を実施して表示することに限定されるものではない。例えば、ユーザが操作部８８０を介して仮の解析処理結果を表示する命令を入力した場合のみ表示してもよい。

［その他の変形例］
上述した実施形態では、シーンや物体に配置された指標の較正、すなわち指標の位置及び姿勢を計測する際に、過去の指標の撮影回数や、指標の撮影方向の情報、基準座標系をユーザに提示していたが、指標の較正にのみ限るものではなく、指標を使って他の情報を較正するものであってもよい。

例えば、磁気式の６自由度位置姿勢センサの較正（トランスミッタの基準座標系に対する位置及び姿勢、レシーバの計測対象（例えばカメラ）座標系に対する位置及び姿勢）を、空間中に配置した指標を撮影した画像をもとに行う際には、上述した実施形態を適用し、ユーザが指標の撮影回数や撮影方向についての情報の提示を受けながら、次に撮影すべき指標や方向を決定してもよい。

また、上述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。

この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。

かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

更に、供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。

第１の実施形態における指標配置情報較正装置の機能構成を示すブロック図である。 本実施形態で用いられる指標を説明する図である。 指標の撮影回数に応じた提示方法を示す図である。 第１の施形態における指標配置情報較正方法の処理の手順を示すフローチャートである。 第２の実施形態における指標配置情報較正装置の機能構成を示すブロック図である。 第２の実施形態における過去にどの方向から撮影されたかの情報を提示する方法を示す図である。 第２の施形態における指標配置情報較正方法の処理の手順を示すフローチャートである。 第３の実施形態における指標配置情報計測装置の機能構成を示すブロック図である。 第３の実施形態で用いられる点指標を説明する図である。 第１の実施形態における情報提示方法を示す図である。 第１の実施形態における指標配置情報計測方法の処理の手順を示すフローチャートである。 変形例３−２における情報提示方法を示す図である。 変形例３−１における情報提示方法を示す図である。 第４の実施形態における指標配置情報計測装置の機能構成を示すブロック図である。 第４の実施形態における情報提示方法を示す図である。 第４の実施形態における３次元オブジェクト１５１０の面の撮影回数の算出方法を示す模式図である。 第４の実施形態における３次元オブジェクト１５１０の面の撮影回数の算出方法を示す模式図である。 第４の実施形態における３次元オブジェクト１５１０の面の撮影回数の算出方法を示す模式図である。 変形例４−１における情報提示方法を示す図である。 変形例４−１における情報提示方法を示す図である。 変形例４−２における情報提示方法を示す図である。 変形例４−３における情報提示方法を示す図である。 変形例４−５における指標配置情報計測方法の処理の手順を示すフローチャートである。

Claims (17)

1. 撮像装置により撮影された撮影画像を取得する画像取得手段と、
   前記撮影画像から指標を検出する指標検出手段と、
   前記指標検出手段において検出された指標を同定する指標同定手段と、
   前記指標同定手段における同定結果から、前記指標の配置情報を算出する配置情報算出手段と、
   前記指標同定手段における同定のために各指標をどのように撮影してきたかを示す撮影履歴を解析する解析手段と、
   前記撮影履歴と各指標との対応付けに基づいて、前記解析手段における解析結果に応じた画像を前記撮影画像上に合成して表示する表示手段とを備えることを特徴とする指標配置情報計測装置。
2. 前記解析手段は、前記指標同定手段における同定情報をもとに各指標の撮影回数を計数し、
   前記表示手段は前記撮影回数に応じた情報を各指標に対応付けて表示することを特徴とする請求項１に記載の指標配置情報計測装置。
3. 撮像装置により撮影された撮影画像を取得する画像取得手段と、
   前記撮影画像から指標を検出する指標検出手段と、
   前記指標検出手段において検出された指標を同定する指標同定手段と、
   前記指標同定手段における同定結果から、前記指標の配置情報を算出する配置情報算出手段と、
   該指標同定手段における同定情報をもとに各指標の撮影回数を計数することにより、前記指標同定手段における同定のために各指標をどのように撮影してきたかを示す撮影履歴を解析する解析手段と、
   前記撮影回数に応じた情報を前記撮影履歴として各指標に対応付けて、前記解析手段における解析結果に応じた画像を前記撮影画像上に合成して表示する表示手段と
   を備えることを特徴とする指標配置情報計測装置。
4. 前記解析手段は、前記指標同定手段における同定情報及び前記撮像装置の位置及び姿勢をもとに各指標の撮影方向、撮影距離、撮影位置の少なくともいずれかを計算し、
   前記表示手段は、前記撮影方向、前記撮影距離、前記撮影位置に応じた情報を表示することを特徴とする請求項１乃至３の何れか１項に記載の指標配置情報計測装置。
5. 前記画像を撮影したときの前記撮像装置の位置及び姿勢を算出する位置姿勢算出手段を更に備えることを特徴とする請求項１乃至４の何れか１項に記載の指標配置情報計測装置。
6. 前記表示手段は、各指標同士の相対的な位置を表す画像を前記撮影画像上に合成して表示することを特徴とする請求項１乃至５の何れか１項に記載の指標配置情報計測装置。
7. 基準座標系における既知の配置情報を持つ基準指標を設定する設定手段を備え、
   前記解析手段は、前記基準指標の同定情報をもとに基準座標系における指標の配置情報が計算が可能かどうかを判定し、前記表示手段は、計算が可能であれば前記基準座標系を表す画像を前記撮影画像上に合成して表示することを特徴とする請求項１乃至６のいずれか１項に記載の指標配置情報計測装置。
8. 前記表示手段は、前記撮像装置の位置及び姿勢に基づき、前記解析結果に応じた画像を生成する生成手段と、
   前記生成された解析結果に応じた画像を前記撮影画像に合成する合成手段とを有し、
   前記合成手段は前記解析結果に応じた画像を合成することを特徴とする請求項１乃至７のいずれか１項に記載の指標配置情報計測装置。
9. 前記表示手段は、前記解析手段による解析結果を、対応する指標が配置された面と同一平面上に提示することを特徴とする請求項１乃至７のいずれか１項に記載の指標配置情報計測装置。
10. 前記表示手段は、前記解析手段における解析結果に基づいて、前記各指標の３次元形状モデルに対応付けられた情報を提示することを特徴とする請求項１乃至９のいずれか１項に記載の指標配置情報計測装置。
11. 前記表示手段は、前記解析手段における解析結果に基づいて前記３次元形状モデルの表面の複数部位ごとに色を変化させた画像を表示することを特徴とする請求項１０に記載の指標配置情報計測装置。
12. 前記表示手段は、前記解析手段における解析結果に基づいて前記３次元形状モデルの形状を変化させた画像を表示することを特徴とする請求項１０又は１１に記載の指標配置情報計測装置。
13. 前記解析手段は、対応する指標の撮影された方向、距離、位置、撮影回数、指標同定結果の少なくとも１つを算出することを特徴とする請求項１乃至１２のいずれか１項に記載の指標配置情報計測装置。
14. 前記解析手段は、各指標の撮影方向、撮影距離、撮影位置の少なくとも一つの情報に基づいて指標の検出信頼度を算出し、検出信頼度に基づいて前記解析結果を決定し、
    前記表示手段に前記解析結果を表示することを特徴とする請求項１乃至１３のいずれか１項に記載の指標配置情報計測装置。
15. コンピュータを用いて、請求項１乃至１４のいずれか１項に記載の指標配置情報計測装置を実現するためのプログラム。
16. 撮像手段により撮影された撮影画像を取得する画像取得工程と、
    前記撮影画像から指標を検出する指標検出工程と、
    前記指標検出工程において検出された指標を同定する指標同定工程と、
    前記指標同定工程における同定結果から、前記指標の配置情報を算出する配置情報算出工程と、
    前記指標同定工程における同定のために各指標をどのように撮影してきたかを示す撮影履歴を解析する解析工程と、
    前記撮影履歴と各指標との対応付けに基づいて、前記解析工程における解析結果に応じた画像を前記撮影画像上に合成する合成工程と
    を有することを特徴とする指標配置情報計測方法。
17. 撮像手段により撮影された撮影画像を取得する画像取得工程と、
    前記撮影画像から指標を検出する指標検出工程と、
    前記指標検出工程において検出された指標を同定する指標同定工程と、
    前記指標同定工程における同定結果から、前記指標の配置情報を算出する配置情報算出工程と、
    該指標同定工程における同定情報をもとに各指標の撮影回数を計数することにより、前記指標同定工程における同定のために各指標をどのように撮影してきたかを示す撮影履歴を解析する解析工程と、
    前記撮影回数に応じた情報を前記撮影履歴として各指標に対応付けて、前記解析工程における解析結果に応じた画像を前記撮影画像上に合成する合成工程と
    を有することを特徴とする指標配置情報計測方法。

Images