JP4095320B2

JP4095320B2 - Sensor calibration device, sensor calibration method, program, storage medium

Info

Publication number: JP4095320B2
Application number: JP2002076760A
Authority: JP
Inventors: 清秀佐藤; 晋二内山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-03-19
Filing date: 2002-03-19
Publication date: 2008-06-04
Anticipated expiration: 2022-03-19
Also published as: JP2003269913A

Description

【０００１】
【発明の属する技術分野】
本発明は、位置姿勢センサを用いて撮像装置の位置姿勢を計測する目的において、位置姿勢センサの較正を行う方法及び装置に関するものである。
【０００２】
【従来の技術】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に仮想空間（たとえばコンピュータ・グラフィックスにより描画された仮想物体や文字情報など）の画像を重畳表示することで実現される。
【０００３】
このような画像表示装置の応用としては、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲームなど、今までのバーチャルリアリティとは異なった新たな分野が期待されている。
【０００４】
これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来から多くの取り組みが行われてきた。
【０００５】
複合現実感における位置合わせの問題は、現実空間に設定した世界座標系（以後、単に世界座標系と呼ぶ）における、撮像装置の３次元位置姿勢を求める問題に帰結される。これらの問題を解決する方法として、磁気式センサや超音波式センサなどの３次元位置姿勢センサを利用することが一般的に行われている。
【０００６】
一般に３次元位置姿勢センサが出力する出力値は、センサが独自に定義するセンサ座標系における測点の位置姿勢であって、世界座標系における撮像装置の位置姿勢ではない。例えばPolhemus社の磁気式センサFASTRAKを例にとると、センサ出力として得られるのは、トランスミッタが定義する座標系におけるレシーバの位置姿勢である。したがって、センサ出力値をそのまま世界座標系における撮像装置の位置姿勢として用いることはできず、何らかの較正を行う必要がある。具体的には、測点の位置姿勢を撮像装置の位置姿勢に変換する座標変換と、センサ座標系における位置姿勢を世界座標系における位置姿勢に変換する座標変換が必要となる。なお、本明細書において、センサ出力値を世界座標系における撮像装置の位置姿勢に変換するための情報を較正情報と呼ぶこととする。
【０００７】
図１は、複合現実感の提示を行う一般的な画像表示装置の機能構成を示すブロック図である。
【０００８】
頭部装着部１００には、表示画面１１０及びビデオカメラ１２０が固定されている。不図示のユーザが、表示画面１１０が眼前に位置するように頭部装着部１００を装着すると、ユーザの眼前の情景がビデオカメラ１２０によって撮像される。したがって、仮にビデオカメラ１２０が撮像した画像を表示画面１１０に表示したとすると、ユーザは、頭部装着部１００を装着していなければ裸眼で観察するであろう眼前の情景を、ビデオカメラ１２０と表示画面１１０を介して観察することになる。
【０００９】
位置姿勢センサ１３０は、頭部装着部１００に固定された測点のセンサ座標系における位置姿勢を計測する装置であって、例えば、レシーバ１３１、トランスミッタ１３２，センサ制御部１３３よりなる磁気式センサであるPolhemus社のFASTRAKによって構成されている。レシーバ１３１は測点として頭部装着部１００に固定されており、センサ制御部１３２は、トランスミッタ１３３の位置姿勢を基準としたセンサ座標系におけるレシーバ１３１の位置姿勢を計測しこれを出力する。
【００１０】
一方、演算処理部１７０は、位置姿勢情報変換部１４０、メモリ１５０、画像生成部１６０からなり、例えば１台の汎用コンピュータにより構成することが可能である。位置姿勢情報変換部１４０は、メモリ１５０が保持する較正情報に従って、位置姿勢センサ１３０より入力した計測値に変換を加え、世界座標系におけるビデオカメラ１２０の位置姿勢を算出しこれを位置姿勢情報として出力する。画像生成部１６０は、位置姿勢情報変換部１４０より入力した位置姿勢情報に従って仮想画像を生成し、これをビデオカメラ１２０が撮像した実写画像に重畳して出力する。表示画面１１０は、画像生成部１６０から画像を入力しこれを表示する。以上の構成により、不図示のユーザは、眼前の現実空間に仮想物体が存在するかのごとき感覚を得ることになる。
【００１１】
次に、図２を用いて、位置姿勢情報変換部１４０において、世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する。図２は世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する図である。
【００１２】
同図において、世界座標系２００におけるセンサ座標系２１０（トランスミッタ１３３の位置を原点とする座標系）の位置姿勢をM_TW、センサ座標系２１０における位置姿勢センサ１３０の測点（すなわちレシーバ１３１）の位置姿勢をM_ST、位置姿勢センサ１３０の測点からみたビデオカメラ１２０の位置姿勢をM_CS、世界座標系２００におけるビデオカメラ１２０の位置姿勢をM_CWとする。なお、本明細書では、座標系Ａにおける物体Ｂの位置姿勢を、座標系Ａから座標系Ｂ（物体Ｂを基準とするローカル座標系）へのビューイング変換行列M_BA（４×４）で表記するものとする。
【００１３】
このときM_CWは、
M_CW ＝ M_CS・M_ST・M_TW （式Ａ）
によって示すことができる。
【００１４】
このうち、M_STが位置姿勢センサ１３０から位置姿勢情報変換部１４０への入力、M_CWが位置姿勢情報変換部１４０から画像生成部１６０への出力であり、M_CS及びM_TWが、M_STをM_CWに変換するために必要な較正情報に相当する。位置姿勢情報変換部１４０は、位置姿勢センサ１３０から入力されるM_STと、メモリ１５０に保持されているM_CS及びM_TWとを用いて、（式Ａ）に基づいてM_CWを算出し、これを画像生成部１６０へと出力する。
【００１５】
現実空間と仮想空間の正確な位置合わせを行うためには、何らかの手段によってメモリ１５０に正確な較正情報が設定される必要がある。正確な較正情報が与えられてはじめて、現実空間に正確に位置合わせのなされた仮想画像の表示が実現される。
【００１６】
尚、メモリ１５０における較正情報の保持形態は、必ずしもビューイング変換行列である必要はなく、一方の座標系からみたもう一方の座標系の位置及び姿勢が定義できる情報であれば、いずれの形態をとってもよい。例えば、位置を記述する３パラメータと、姿勢をオイラー角によって表現する３パラメータの計６パラメータで位置姿勢を表現してもよい。また、姿勢に関しては、回転軸を定義する３値のベクトルとその軸まわりの回転角という４パラメータで表現してもよいし、回転軸を定義するベクトルの大きさによって回転角を表現するような３パラメータによって表現してもよい。
【００１７】
また、それらの逆変換を表わすパラメータ（例えば、センサ座標系２１０における世界座標系２２０の位置姿勢）によって表現しても良い。ただし、いずれの場合も、３次元空間中における物体の位置及び姿勢は、位置に３自由度、姿勢に３自由度の計６自由度を有しているのみであるので、本画像表示装置の較正に必要な未知パラメータ数は、世界座標系からセンサ座標系への変換に必要な６パラメータと、測点の位置姿勢からビデオカメラの位置姿勢への変換に必要な６パラメータの合計１２パラメータとなる。
【００１８】
較正情報を設定する公知の方法の一つとして、ユーザあるいはオペレータが、不図示の入力手段を介して、メモリ１５０に格納されたM_CS及びM_TWを定義する１２のパラメータ（あるいはそれに等価な１２以上のパラメータ）を対話的に変更し、正確な位置合わせが達成されるまで調整を試行錯誤的に行うという方法がある。
【００１９】
また、特願２００１−０５０９９０号公報により提案された較正方法によれば、M_CS及びM_TWの一方が何らかの方法で得られていれば、ある値に固定した位置姿勢情報に基づいて生成した仮想画像を視覚キューとして用いることで、残された未知パラメータを簡便に導出することができる。
【００２０】
【発明が解決しようとする課題】
しかし、前者の方法では、１２の未知パラメータを同時に調整する必要があるため調整に著しく時間がかかり、必ずしも正確な較正情報が得られるとは限らないという問題点があった。また、後者の方法においても、既知とするパラメータを導出する際に試行錯誤的作業あるいは何らかの較正用器具を用いた作業を行う必要があるという改善の余地があった。
【００２１】
本発明は以上の問題に鑑みてなされたものであり、センサにより計測された撮像装置の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ、特別な較正用器具を用いることなく取得することを目的とする。
【００２２】
【課題を解決するための手段】
本発明の目的を達成する為に、例えば本発明のセンサ較正方法は以下の構成を備える。
【００２３】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出工程は、
前記計測値入力工程によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出工程と、
前記画像座標算出工程によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得工程によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出工程とを有し、
前記誤差算出工程が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とする。
【００２５】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記計測値入力工程によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得工程によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とする。
【００２６】
【課題を解決するための手段】
本発明の目的を達成する為に、例えば本発明のセンサ較正方法は以下の構成を備える。
【００２７】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出手段は、
前記計測値入力手段によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出手段と、
前記画像座標算出手段によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得手段によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出手段とを有し、
前記誤差算出手段が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とする。
【００２８】
本発明の目的を達成する為に、例えば本発明のセンサ較正装置は以下の構成を備える。
【００２９】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記計測値入力手段によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得手段によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とする。
【００３０】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。
【００３１】
以下の実施形態では、本発明の較正装置及びその方法を、図１の画像表示装置の較正に適用した場合について説明する。
【００３２】
本実施形態の較正装置を用いて画像表示装置の較正を行うためには、当該画像表示装置が表示の対象としている現実空間内に、世界座標が既知な最低３点以上のランドマーク（特徴点）が配置されている必要がある。ここで、各ランドマークは、撮影画像上におけるその投影像の画像座標が検出可能であって、かついずれのランドマークであるかが識別可能であるような、例えばそれぞれが異なる色を有するランドマークであるものとする。また、世界座標系は所定の１点を原点とし、更にこの原点から夫々直交する方向にｘ、ｙ、ｚ軸をとる。そしてこの座標系において上記３点のランドマークの座標が既知であるとする。つまり、予め上記３点のランドマークについて原点からｘ、ｙ、ｚ方向への距離を測定しておく。
【００３３】
図３は本実施形態における較正装置を含む較正情報生成システムの機能構成を示すブロック図である。同図に示すように、本実施形態における較正装置３００は、世界座標保持部３１０、画像座標取得部３２０、データ管理部３３０、較正情報算出部３４０、指示部３５０から構成されており、較正対象である画像表示装置の頭部装着部１００及び位置姿勢センサ１３０が接続されている。
【００３４】
世界座標保持部３１０は、各ランドマークの世界座標系における座標データ（上記方法などにより予め測定しておいたデータ）を保持しており、データ管理部３３０からの要求に従ってこれを出力する。また、世界座標保持部３１０は各ランドマークの座標データに夫々のランドマーク固有の情報（ランドマークの色、識別番号）のデータを関連づけて保持している。
【００３５】
画像座標取得部３２０は、ビデオカメラ１２０が撮影した画像を入力し、画像中に撮影されているランドマークの座標及びその識別番号（識別子）を特定し、データ管理部３３０からの要求に従ってこれらの情報をデータ管理部３３０へと出力する。画像におけるランドマークの座標、及び識別番号の特定方法としては例えば、世界座標保持部３１０が保持している各ランドマークの色情報を参照して、画像中で各ランドマークの色を有する領域を抽出し、更に抽出した領域における重心位置を求める。このようにすることで各ランドマークの画像における座標を求めることができる。更に世界座標保持部３１０が保持している各色のランドマークの識別番号情報を参照して、各領域の色に対応する識別番号を特定する。このようにすることで、画像においてどのランドマークがどの位置にあるかを特定することができる。
【００３６】
データ管理部３３０は、指示部３５０から「データ取得」の指示を受けると、画像座標取得部３２０からランドマークの画像座標及び識別番号を入力し、世界座標保持部３１０から対応するランドマークの世界座標を入力し、位置姿勢センサ１３０から撮影画像と同一時刻のセンサ計測値を入力し、［世界座標−センサ計測値−画像座標］の組をデータリストに追加しこれを保持する。また、較正情報算出部３４０からの要求にしたがって、生成したデータリストを較正情報算出部３４０に出力する。
【００３７】
較正情報算出部３４０は、指示部３５０から「較正情報算出」の指示を受けると、データ管理部３３０からデータリストを入力し、これをもとに較正情報を算出し、算出した較正情報を出力する。
【００３８】
指示部３５０は、不図示のオペレータからデータ取得コマンドが入力されたときには「データ取得」の指示をデータ管理部３３０に、較正情報算出コマンドが入力されたときには「較正情報算出」の指示を較正情報算出部３４０に送信する。指示部３５０へのコマンドの入力は、例えばキーボードを用いて、特定のコマンドを割り当てたキーを押すことによって行うことができる。また、コマンドの入力は、ディスプレイ上に表示されたＧＵＩで行うなどの、いずれの方法で行ってもよい。
【００３９】
図４は、本実施形態の較正装置が較正情報を求める際に行う処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。
【００４０】
ステップＳ１０１０において、指示部３５０は、データ取得コマンドがオペレータから入力されたか否かの判定を行う。データ取得コマンドが入力されている場合には、ステップＳ１０２０へと処理を移行させる。以下では、データ取得コマンドが入力された時点においてビデオカメラ１２０が位置していた視点位置をV_jとする。
【００４１】
ステップＳ１０２０において、データ管理部３３０は、位置姿勢センサ１３０（センサ制御部１３２）から、視点位置V_jにビデオカメラ１２０が位置している際の計測値M^Vj _STを入力する。
【００４２】
ステップＳ１０３０において、データ管理部３３０は、視点位置V_jに位置するビデオカメラ１２０によって撮影された撮像画像上におけるランドマークQ_k（k＝１，２，３、、、）の識別番号k及び画像座標u^VjQkを、画像座標取得部３２０から入力する。この入力は、当該撮像画像上に複数のランドマークが撮像されている場合には、それら各々のランドマークに対して行われる。
【００４３】
ステップＳ１０４０において、データ管理部３３０は、画像座標取得部３２０から入力した各ランドマークQ_kの（それぞれの識別番号kに対応する）世界座標X^Qk _Wを、世界座標保持部３１０から入力する。
【００４４】
次に、ステップＳ１０５０において、データ管理部３３０は、検出されたランドマーク毎に、入力したデータをデータリストL_iに追加する。具体的には、ランドマークQ_kに対する画像座標をuⁱ=u^VjQk=[uⁱ _x,uⁱ _y]^T、その世界座標をXⁱ _W=X^Qk _W=[xⁱ _W,yⁱ _W,zⁱ _W,1]^T、その際のセンサ出力をMⁱ _ST=M^Vj _STとして、[uⁱ,xⁱ _W,Mⁱ _ST]の組を、i番目のデータとしてリストに登録する。ここでiは現在リストに登録されているデータ総数に１を足した値を示す。
【００４５】
以上の処理によって、データの取得が行われる。
【００４６】
ステップＳ１０６０では、指示部３５０によって、現在までに取得されたデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。データリストが条件を満たしていない場合には、再びステップＳ１０１０へと戻り、データ取得コマンドの入力を待つ。一方、データリストが較正情報算出の条件を満たしている場合には、ステップＳ１０７０へと処理を移行させる。較正情報算出の条件としては、例えば、異なる３点以上のランドマークに関するデータが得られていること、複数の視点位置においてデータの取得が行われていること、及びデータ総数が６以上であること、を条件とする。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。
【００４７】
次にステップＳ１０７０において、較正情報算出コマンドがオペレータから入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップＳ１０８０へと処理を移行し、入力されていない場合には、再びステップＳ１０１０へと戻り、データ取得コマンドの入力を待つ。
【００４８】
較正情報算出部３４０は、求めるべき較正情報のうちの姿勢に関する情報を、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような３値のベクトルによって内部的に表現する。そして、M_CSを、ビデオカメラ１２０が定義する座標系におけるレシーバ１３１の位置(x_CS,y_CS,z_CS)及び姿勢（ξ_CS,ψ_CS,ζ_CS）によって表現し、また、M_TWを、センサ座標系２１０における世界座標系２００の位置(x_TW,y_TW,z_TW)及び姿勢（ξ_TW,ψ_TW,ζ_TW）によって表現する。１２の未知パラメータは、ベクトルs＝（x_CS y_CS z_CS ξ_CS ψ_CS ζ_CS x_TW y_TW z_TW ξ_TW ψ_TW ζ_TW）によって表現される。
【００４９】
ステップＳ１０８０において、較正情報算出部３４０は、ベクトルsに適当な初期値（例えばs=[0 0 0 ２／π 0 0 0 0 0 ２／π 0 0]^T）を与える。
【００５０】
ステップＳ１０９０において、較正情報算出部３４０は、リスト中の各データL_i(i=1,2,,,,N)に対して、当該ランドマークの画像座標の理論値u'ⁱ=[u'ⁱ _x,u'ⁱ _y]を、センサ出力Mⁱ _ST、世界座標Xⁱ _Wおよび現在のsに基づいて算出する。ここでランドマークの画像座標の理論値とは、上記得られたセンサ出力とランドマークの世界座標から求めた本来ランドマークが画像中に見えるべき位置（座標）のデータを指す。u'ⁱは、sを変数として、センサ出力Mⁱ _STおよび世界座標Xⁱ _Wによって定義される関数
u'ⁱ=Fⁱ(s) （式Ｂ）
によって定めることができる。
【００５１】
具体的には、まず、次式、

に基づいて、sの構成要素である(x_CS,y_CS,z_CS)及び（ξ_CS,ψ_CS,ζ_CS）からビューイング変換行列M_CSを、同様に、(x_TW,y_TW,z_TW)及び（ξ_TW,ψ_TW,ζ_TW）からビューイング変換行列M_TWを算出する。次に、当該ランドマークのカメラ座標Xⁱ _Cを、
Xⁱ _C=[xⁱ _C yⁱ _C zⁱ _C 1]=M_CS・Mⁱ _ST・M_TW・Xⁱ _W （式Ｄ）
によって算出する。最後に、画像座標の理論値を、
u'ⁱ _x=-f×xⁱ _C／zⁱ _C u'ⁱ _y=-f×yⁱ _C／zⁱ _C （式Ｅ）
によって算出する。ただし、fはビデオカメラ１２０の焦点距離である。
【００５２】
ステップＳ１１００において、較正情報算出部３４０は、リスト中の各データL_iに対して、当該ランドマークの画像座標の理論値u'ⁱと実測値uⁱとの誤差Δuⁱを、
Δuⁱ=uⁱ-u'ⁱ （式Ｆ）
によって算出する。
【００５３】
ステップＳ１１１０において、較正情報算出部３４０は、リスト中の各データL_iに対して、（式Ｂ）の右辺をベクトルsの各要素で偏微分した解を各要素に持つ２行×１２列のヤコビ行列Jⁱ _us（=∂u／∂s）を算出する。具体的には、（式Ｅ）の右辺をカメラ座標Xⁱ _Cの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列Jⁱ _ux（=∂u／∂x）と、（式Ｄ）の右辺をベクトルsの各要素で偏微分した解を各要素に持つ３行×１２列のヤコビ行列Jⁱ _xs（=∂x／∂s）をそれぞれ、（式Ｅ）および（式Ｄ）に基づいて算出し、
Jⁱ _us=Jⁱ _uxJⁱ _xs （式Ｇ）
として算出する。
【００５４】
ステップＳ１１２０において、較正情報算出部３４０は、ステップＳ１１００およびステップＳ１１１０において算出した、リスト中の全てのデータL_iに対する誤差Δuⁱ及びヤコビ行列Jⁱ _usに基づいて、sの補正値Δsを算出する。具体的には、全てのデータに対する誤差Δuⁱおよびヤコビ行列Jⁱ _usをそれぞれ垂直に並べたベクトルU=[Δu¹ Δu² ,,, Δu^N]^TおよびΦ=[J¹ _us J² _us ,,, J^N _us]^Tを作成し、Φの一般化逆行列を用いて、
Δs=(Φ^TΦ)^-1Φ^TU （式Ｈ）
として算出する。
【００５５】
ステップＳ１１３０において、較正情報算出部３４０は、ステップＳ１１２０において算出した補正値Δsを用いてsを補正する。
【００５６】
ｓ＋Δｓ→ｓ（式Ｉ）
ステップＳ１１４０において、較正情報算出部３４０は、Uの各要素が十分に小さいかどうか、あるいは、Δsが十分に小さいかどうかといった何らかの判定基準を用いて、計算が収束しているか否かの判定を行う。収束してない場合には、補正後のsを用いて、再度ステップＳ１０９０以降の処理を行う。
【００５７】
ステップＳ１１５０において、較正情報算出部３５０は、得られたsを較正情報として出力する。較正情報は、例えば、sから算出した２つのビューイング変換行列を出力する。出力の形態はsそのものでもよいし、他のいずれの位置姿勢記述方法によるものでもよい。
【００５８】
なお、世界座標保持部３１０、画像座標取得部３２０、データ管理部３３０、較正情報算出部３４０、および指示部３５０は、例えば１台の汎用コンピュータにより構成することが可能である。
【００５９】
＜変形例１＞
本実施形態では、位置姿勢センサ１３０としてPolhemus社の磁気式センサFASTRAKを用いた画像表示装置の較正に上記較正装置及びその方法を適用した場合について説明したが、本実施形態の較正装置及びその方法によって較正可能な画像表示装置の位置姿勢センサはFASTRAKに限定されるものではない。他のいずれの位置姿勢センサ（例えばAscension Technology社のFlock of BirdsやNorthern Digital Inc.社のOPTOTRAKなど）を位置姿勢の計測に用いた画像表示装置であっても、その較正を行うことができることはいうまでもない。
【００６０】
＜変形例２＞
上記実施形態では、ランドマークの画像座標およびその識別番号の取得を、色を識別情報として有するランドマークを用いて、閾値処理により画像から特定色領域を抽出し、その重心位置を、当該色を有するランドマークの画像座標として検出することで行っていた。しかし、画像上におけるランドマークの投影座標及びランドマークの識別番号が特定可能であれば、他のいずれの手法を用いてもよい。例えば、特定のパターンを識別情報として有するランドマークを用いて、パターンマッチングにより画像から特定パターンの領域を抽出し、その検出位置を、当該パターンを有するランドマークの画像座標として出力してもよい。また、画像処理によって行う必要は必ずしもなく、オペレータの手入力によってランドマークの画像座標およびその識別番号を入力してもよい。この場合、画像座標取得部３２０は、例えば作業用ディスプレイ上に表示された撮像画像上のランドマーク位置をマウスクリックによって指定する等の作業によって、オペレータが容易にランドマーク位置を入力できるような、何らかのＧＵＩを有した構成であることが望ましい。
【００６１】
また、画像処理による識別の望めない同一特徴をもつ複数のランドマークを用いる場合には、ランドマークの画像座標の取得を画像処理によって行い、その識別番号の入力を手入力によって行うといった構成をとることもできる。また、ランドマークの識別には他のいずれの方法をとってもよい。例えば、大まかな較正情報が初めから得られている場合には、（式Ｂ）によって算出される各ランドマークの画像座標の理論値と、検出されたランドマークの画像座標の比較によって、ランドマークの識別を行ってもよい。
【００６２】
また、画像処理によって取得する場合あるいは手入力によって取得する場合のいずれの場合においても、ランドマークは必ずしも人工的（人為的）なものでなくてもよく、自然特徴を用いてもよい。
【００６３】
＜変形例３＞
上記実施形態では、ステップＳ１０８０で較正情報の初期値として適当な値を設定していた。しかし、初期値と実際の値がかけ離れている場合には、上記実施形態では解が収束せず較正情報を求めることができない。このような状況に対処するため、異なる位置姿勢の組み合わせを予め設定しておき、これらを順次初期値として用いてステップＳ１０９０からステップＳ１１４０までの処理を行い、解が収束した際のsを選択するようにしてもよい。また、オペレータによる初期値（あるいは初期値を生成するのに必要な位置姿勢の情報）の入力を行う初期値入力部をさらに用意して、入力された初期値を用いて較正情報算出処理を行うことも可能である。
【００６４】
＜変形例４＞
本発明のより好適な変形例では、較正装置は画像生成部をさらに有している。画像生成部は、画像座標取得部３２０によって検出されたランドマークの画像座標を撮影画像に重畳して表示画面へ出力する。本変形例によれば、オペレータは、ランドマークの検出状況を確認しながらデータ取得の指示を入力することができる。
【００６５】
また、画像生成部は、較正情報算出部３４０が算出した較正情報に基づいて各ランドマークの画像座標の理論値を算出し、これを撮像画像に重畳して表示画面に出力する。本変形例によれば、オペレータは、現実のランドマークとそこに表示される計算位置とを比較することによって、較正作業の検証を行うことができる。
【００６６】
＜変形例５＞
上記実施形態では、オペレータからの制御コマンドを入力するための指示部３５０を有していたが、この入力は必ずしも必要ではなく、例えば画像座標取得部３２０がランドマークを検出するごとにデータリストへ追加を行い、データリストが条件を満たした時点で較正情報演算部３４０が較正情報の演算を行うような構成にしてもよい。
【００６７】
＜変形例６＞
上記実施形態では、画像生成装置と較正装置は別装置として構成されていたが、上記較正装置の機能を有するような画像生成装置を構成することも、もちろん可能である。
【００６８】
＜変形例７＞
上記実施形態では、複合現実感を提示する画像表示装置の位置姿勢センサの較正を行うものであったが、適用範囲はこれに限定されるものではなく、位置姿勢センサによって撮像装置の位置姿勢を計測するような他の何れの用途に適用することも可能である。
【００６９】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した（図４に示す）フローチャートに対応するプログラムコードが格納されることになる。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、センサにより計測された撮像装置の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ、特別な較正用器具を用いることなく取得することができる。
【図面の簡単な説明】
【図１】複合現実感の提示を行う一般的な画像表示装置の機能構成を示すブロック図である。
【図２】世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する図である。
【図３】本発明の実施形態における較正装置を含む較正情報生成システムの機能構成を示す図である。
【図４】本発明の実施形態における較正装置が較正情報を求める際に行う処理のフローチャートである。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for calibrating a position and orientation sensor for the purpose of measuring the position and orientation of an imaging apparatus using the position and orientation sensor.
[0002]
[Prior art]
In recent years, research on mixed reality has been actively conducted for the purpose of seamless connection between the real space and the virtual space. An image display device that presents mixed reality superimposes an image of a virtual space (for example, a virtual object or character information drawn by computer graphics) on an image of a real space photographed by an imaging device such as a video camera. Realized by displaying.
[0003]
Applications of such image display devices include virtual reality, such as surgical support that superimposes the state of the body on the patient's body surface, and mixed reality games that fight against virtual enemies floating in real space. Different new fields are expected.
[0004]
A common requirement for these applications is how to accurately align the real space and the virtual space, and many efforts have been made in the past.
[0005]
The problem of alignment in mixed reality results in the problem of obtaining the three-dimensional position and orientation of the imaging device in the world coordinate system (hereinafter simply referred to as the world coordinate system) set in the real space. As a method for solving these problems, a three-dimensional position and orientation sensor such as a magnetic sensor or an ultrasonic sensor is generally used.
[0006]
In general, the output value output by the three-dimensional position and orientation sensor is the position and orientation of the measurement point in the sensor coordinate system uniquely defined by the sensor, and not the position and orientation of the imaging device in the world coordinate system. For example, taking the magnetic sensor FASTRAK of Polhemus as an example, the position and orientation of the receiver in the coordinate system defined by the transmitter is obtained as the sensor output. Therefore, the sensor output value cannot be used as it is as the position and orientation of the imaging apparatus in the world coordinate system, and some calibration is required. Specifically, coordinate conversion for converting the position and orientation of the measurement point into the position and orientation of the imaging apparatus and coordinate conversion for converting the position and orientation in the sensor coordinate system into the position and orientation in the world coordinate system are required. In the present specification, information for converting the sensor output value into the position and orientation of the imaging apparatus in the world coordinate system is referred to as calibration information.
[0007]
FIG. 1 is a block diagram illustrating a functional configuration of a general image display device that presents mixed reality.
[0008]
A display screen 110 and a video camera 120 are fixed to the head mounting unit 100. When a user (not shown) wears the head mounting unit 100 so that the display screen 110 is positioned in front of the eyes, a scene in front of the user is captured by the video camera 120. Therefore, if an image captured by the video camera 120 is displayed on the display screen 110, the user can view a scene in front of the eye that would be observed with the naked eye if the head mounting unit 100 is not worn. Observation is performed via the display screen 110.
[0009]
The position / orientation sensor 130 is a device that measures the position and orientation of a measurement point fixed to the head mounting unit 100 in the sensor coordinate system. For example, the position / orientation sensor 130 is a magnetic sensor including a receiver 131, a transmitter 132, and a sensor control unit 133. It is composed of a Polhemus FASTRAK. The receiver 131 is fixed to the head mounting unit 100 as a measuring point, and the sensor control unit 132 measures the position and orientation of the receiver 131 in the sensor coordinate system with the position and orientation of the transmitter 133 as a reference, and outputs this.
[0010]
On the other hand, the arithmetic processing unit 170 includes a position / orientation information conversion unit 140, a memory 150, and an image generation unit 160, and can be configured by, for example, one general-purpose computer. The position / orientation information conversion unit 140 converts the measurement value input from the position / orientation sensor 130 according to the calibration information stored in the memory 150, calculates the position / orientation of the video camera 120 in the world coordinate system, and uses this as position / orientation information. Output. The image generation unit 160 generates a virtual image according to the position / orientation information input from the position / orientation information conversion unit 140, and superimposes the virtual image on the real image captured by the video camera 120 and outputs the virtual image. The display screen 110 receives an image from the image generation unit 160 and displays it. With the above configuration, a user (not shown) gets a feeling as if a virtual object exists in the real space in front of the eyes.
[0011]
Next, a method for calculating the position and orientation of the video camera in the world coordinate system in the position and orientation information conversion unit 140 will be described with reference to FIG. FIG. 2 is a diagram for explaining a method for calculating the position and orientation of the video camera in the world coordinate system.
[0012]
In the figure, the position and orientation of the sensor coordinate system 210 (the coordinate system with the position of the transmitter 133 as the origin) in the world coordinate system 200 is represented by M._TW, The position and orientation of the measuring point (that is, the receiver 131) of the position and orientation sensor 130 in the sensor coordinate system 210 is M._ST, The position and orientation of the video camera 120 as seen from the measurement points of the position and orientation sensor 130_CS, The position and orientation of the video camera 120 in the world coordinate system 200_CWAnd In the present specification, the position and orientation of the object B in the coordinate system A are viewed transformation matrix M from the coordinate system A to the coordinate system B (local coordinate system with reference to the object B)._BAIt shall be expressed as (4 × 4).
[0013]
At this time M_CWIs
M_CW = M_CS・ M_ST・ M_TW      (Formula A)
Can be indicated by
[0014]
Of these, M_STIs input from the position / orientation sensor 130 to the position / orientation information conversion unit 140, M_CWIs the output from the position / orientation information converter 140 to the image generator 160, and M_CSAnd M_TWBut M_STM_CWThis corresponds to the calibration information necessary for conversion to. The position / orientation information conversion unit 140 receives M input from the position / orientation sensor 130._STAnd M held in the memory 150_CSAnd M_TWAnd M based on (Equation A) using_CWIs output to the image generation unit 160.
[0015]
In order to accurately align the real space and the virtual space, accurate calibration information needs to be set in the memory 150 by some means. Only when accurate calibration information is given, display of a virtual image accurately aligned with the real space is realized.
[0016]
Note that the calibration information holding form in the memory 150 is not necessarily a viewing transformation matrix, and any form is possible as long as the information can define the position and orientation of the other coordinate system viewed from one coordinate system. It may be taken. For example, the position and orientation may be expressed by a total of six parameters including three parameters that describe the position and three parameters that express the posture by Euler angles. The posture may be expressed by four parameters, a ternary vector defining the rotation axis and a rotation angle around the axis, or the rotation angle may be expressed by the magnitude of the vector defining the rotation axis. It may be expressed by three parameters.
[0017]
Moreover, you may express with the parameter (For example, the position and attitude | position of the world coordinate system 220 in the sensor coordinate system 210) showing those inverse transformations. However, in any case, the position and posture of the object in the three-dimensional space only have a total of six degrees of freedom, that is, three degrees of freedom in the position and three degrees of freedom in the posture. The number of unknown parameters required for calibration is a total of 12 parameters including 6 parameters required for conversion from the world coordinate system to the sensor coordinate system and 6 parameters required for conversion from the position and orientation of the station to the position and orientation of the video camera. Become.
[0018]
As one of known methods for setting calibration information, a user or an operator can store M stored in the memory 150 via an input unit (not shown)._CSAnd M_TWThere is a method in which twelve parameters (or more than 12 equivalent parameters) are interactively changed, and adjustment is performed by trial and error until accurate alignment is achieved.
[0019]
Further, according to the calibration method proposed in Japanese Patent Application No. 2001-050990, M_CSAnd M_TWIf one of them is obtained by some method, the remaining unknown parameters can be easily derived by using a virtual image generated based on position and orientation information fixed to a certain value as a visual cue.
[0020]
[Problems to be solved by the invention]
However, in the former method, it is necessary to adjust twelve unknown parameters at the same time, so that the adjustment takes a considerable time, and accurate calibration information is not always obtained. In the latter method, there is still room for improvement in that it is necessary to perform a trial and error work or a work using some kind of calibration instrument when deriving a known parameter.
[0021]
The present invention has been made in view of the above problems, and calibration information for converting the position and orientation of the imaging device measured by the sensor into the position and orientation in the world coordinate system can be more simply and specially calibrated. The purpose is to obtain without using the equipment.
[0022]
[Means for Solving the Problems]
  In order to achieve the object of the present invention, for example, a sensor calibration method of the present invention comprises the following arrangement.
[0023]
  That is, a sensor calibration method for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
  A holding step of holding coordinates in the world coordinate system of a plurality of feature points in a predetermined holding means in advance;
  A measurement value input step of inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
  An image coordinate acquisition step of acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
  Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations, the actual measurement values of the image coordinates of the feature points at the plurality of imaging positions and orientations, and the world coordinates of the feature points held by the holding unit A calibration information calculation step for calculating
  The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. 2nd coordinate conversion information for converting to the position and orientation of
  The calibration information information calculation step includes
  Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations input by the measurement value input step, current calibration information, and world coordinates of the feature points held by the holding unit, An image coordinate calculation step of calculating a theoretical value of the image coordinates of the feature point in the imaging position and orientation;
  The theoretical values of the image coordinates of the feature points at the plurality of imaging positions and orientations calculated by the image coordinate calculation step and the image coordinates of the feature points at the plurality of imaging positions and orientations acquired by the image coordinate acquisition step. An error calculation step of calculating an error from the actual measurement value,
  The calibration information is calculated using the error calculated in the error calculation step as an evaluation value of the accuracy of the calibration information.
[0025]
  That is, a sensor calibration method for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
  A holding step of holding coordinates in the world coordinate system of a plurality of feature points in a predetermined holding means in advance;
  A measurement value input step of inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
  An image coordinate acquisition step of acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
  The measured values of the position and orientation sensors at the plurality of shooting positions and orientations input by the measurement value input step and the actual measurement values of the image coordinates of the feature points at the plurality of shooting positions and orientations acquired by the image coordinate acquisition step A calibration information calculation step of calculating the calibration information based on the world coordinates of the feature points held by the holding means,
  The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. It is characterized by comprising second coordinate conversion information for conversion to a position and orientation.
[0026]
[Means for Solving the Problems]
To achieve the object of the present invention, for example, the sensor calibration of the present inventionMethodHas the following configuration.
[0027]
  That is, a sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of the imaging device,
  Holding means for holding coordinates of a plurality of feature points in the world coordinate system;
  Measurement value input means for inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
  Image coordinate acquisition means for acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
  Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations, the actual measurement values of the image coordinates of the feature points at the plurality of imaging positions and orientations, and the world coordinates of the feature points held by the holding unit Calibration information calculation means for calculating
  The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. 2nd coordinate conversion information for converting to the position and orientation of
  The calibration information information calculating means includes
  Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations input by the measurement value input means, current calibration information, and world coordinates of the feature points held by the holding means Image coordinate calculation means for calculating a theoretical value of the image coordinates of the feature point at the imaging position and orientation;
  The theoretical values of the image coordinates of the feature points at the plurality of image pickup positions and orientations calculated by the image coordinate calculation means and the image coordinates of the feature points at the plurality of image pickup positions and orientations acquired by the image coordinate acquisition means. Error calculation means for calculating an error from the actual measurement value,
  The calibration information is calculated using the error calculated by the error calculation means as an evaluation value of the accuracy of the calibration information.
[0028]
  In order to achieve the object of the present invention, for example, a sensor calibration apparatus of the present invention comprises the following arrangement.
[0029]
  That is, a sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of the imaging device,
  Holding means for holding coordinates of a plurality of feature points in the world coordinate system;
  Measurement value input means for inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
  Image coordinate acquisition means for acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
  The measurement values of the position and orientation sensor at the plurality of photographing positions and orientations input by the measurement value input means and the actual measurement values of the image coordinates of the feature points at the plurality of photographing positions and orientations acquired by the image coordinate acquisition means Calibration information calculating means for calculating the calibration information based on the world coordinates of the feature points held by the holding means,
  The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. It is characterized by comprising second coordinate conversion information for conversion to a position and orientation.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0031]
In the following embodiments, a case where the calibration apparatus and the method of the present invention are applied to the calibration of the image display apparatus of FIG. 1 will be described.
[0032]
In order to calibrate an image display device using the calibration device of the present embodiment, at least three landmarks (feature points) with known world coordinates in the real space that is to be displayed by the image display device. ) Must be placed. Here, for example, each landmark has a different color so that the image coordinates of the projected image on the captured image can be detected and which landmark can be identified. Suppose that In the world coordinate system, a predetermined point is set as an origin, and x, y, and z axes are set in directions orthogonal to the origin. It is assumed that the coordinates of the three landmarks are already known in this coordinate system. That is, the distances from the origin in the x, y, and z directions are measured in advance for the three landmarks.
[0033]
FIG. 3 is a block diagram showing a functional configuration of a calibration information generation system including a calibration device according to this embodiment. As shown in the figure, the calibration apparatus 300 according to the present embodiment includes a world coordinate holding unit 310, an image coordinate acquisition unit 320, a data management unit 330, a calibration information calculation unit 340, and an instruction unit 350, and is a calibration target. The head mounting unit 100 and the position / orientation sensor 130 of the image display apparatus are connected.
[0034]
The world coordinate holding unit 310 holds coordinate data (data measured in advance by the above method) of each landmark in the world coordinate system, and outputs this according to a request from the data management unit 330. In addition, the world coordinate holding unit 310 holds the data of the information unique to each landmark (landmark color and identification number) in association with the coordinate data of each landmark.
[0035]
The image coordinate acquisition unit 320 inputs an image captured by the video camera 120, specifies the coordinates of the landmark captured in the image and its identification number (identifier), and in accordance with a request from the data management unit 330, Information is output to the data management unit 330. As a method of specifying the landmark coordinates and identification number in the image, for example, referring to the color information of each landmark held by the world coordinate holding unit 310, an area having the color of each landmark in the image is obtained. Then, the center of gravity position in the extracted area is obtained. In this way, the coordinates of each landmark image in the image can be obtained. Further, the identification number information corresponding to the color of each region is specified by referring to the landmark identification number information held by the world coordinate holding unit 310. In this way, it is possible to specify which landmark is in which position in the image.
[0036]
Upon receiving the “data acquisition” instruction from the instruction unit 350, the data management unit 330 inputs the image coordinates and identification number of the landmark from the image coordinate acquisition unit 320, and the corresponding landmark world from the world coordinate holding unit 310. Coordinates are input, sensor measurement values at the same time as the captured image are input from the position / orientation sensor 130, and a set of [world coordinates-sensor measurement values-image coordinates] is added to the data list and held. Further, in accordance with a request from the calibration information calculation unit 340, the generated data list is output to the calibration information calculation unit 340.
[0037]
Upon receiving an instruction “calculation information calculation” from the instruction unit 350, the calibration information calculation unit 340 inputs a data list from the data management unit 330, calculates calibration information based on the data list, and outputs the calculated calibration information. To do.
[0038]
The instruction unit 350 sends a “data acquisition” instruction to the data management unit 330 when a data acquisition command is input from an operator (not shown), and a “calibration information calculation” instruction when the calibration information calculation command is input. It transmits to the calculation part 340. A command can be input to the instruction unit 350 by pressing a key to which a specific command is assigned, for example, using a keyboard. In addition, the command may be input by any method such as a GUI displayed on the display.
[0039]
FIG. 4 is a flowchart of processing performed when the calibration apparatus according to the present embodiment obtains calibration information. The program code according to the flowchart is stored in a memory such as a RAM or a ROM (not shown) in the apparatus according to the present embodiment, and is read and executed by a CPU (not shown).
[0040]
In step S1010, the instruction unit 350 determines whether a data acquisition command has been input from the operator. If a data acquisition command has been input, the process proceeds to step S1020. In the following, the viewpoint position at which the video camera 120 was located at the time when the data acquisition command was input is expressed as V_jAnd
[0041]
In step S1020, the data management unit 330 receives the viewpoint position V from the position / orientation sensor 130 (sensor control unit 132)._jMeasured value M when the video camera 120 is positioned at^Vj _STEnter.
[0042]
In step S1030, the data management unit 330 displays the viewpoint position V._jLandmark Q on the captured image taken by the video camera 120 located at_k(K = 1, 2, 3,...) Identification number k and image coordinates u^VjQkIs input from the image coordinate acquisition unit 320. This input is performed for each landmark when a plurality of landmarks are captured on the captured image.
[0043]
In step S1040, the data management unit 330 displays each landmark Q input from the image coordinate acquisition unit 320._kWorld coordinate X (corresponding to each identification number k)^Qk _WIs input from the world coordinate holding unit 310.
[0044]
Next, in step S1050, the data management unit 330 converts the input data into the data list L for each detected landmark._iAdd to. Specifically, Landmark Q_kImage coordinates for uⁱ= u^VjQk= [uⁱ _x, uⁱ _y]^T, Its world coordinates Xⁱ _W= X^Qk _W= [xⁱ _W, yⁱ _W, zⁱ _W, 1]^T, The sensor output at that time is Mⁱ _ST= M^Vj _STAs [uⁱ, xⁱ _W, Mⁱ _ST] Is registered in the list as the i-th data. Here, i represents a value obtained by adding 1 to the total number of data currently registered in the list.
[0045]
Data is acquired by the above processing.
[0046]
In step S1060, the instruction unit 350 determines whether the data list acquired so far has enough information to calculate the calibration information. If the data list does not satisfy the condition, the process returns to step S1010 again and waits for the input of a data acquisition command. On the other hand, if the data list satisfies the conditions for calculating calibration information, the process proceeds to step S1070. As conditions for calculating calibration information, for example, data on three or more different landmarks is obtained, data is acquired at a plurality of viewpoint positions, and the total number of data is 6 or more. As a condition. However, since the accuracy of the calibration information derived as the diversity of input data increases, the condition may be set so as to request more data.
[0047]
In step S1070, it is determined whether a calibration information calculation command has been input from the operator. If the calibration information calculation command has been input, the process proceeds to step S1080. If the calibration information calculation command has not been input, the process returns to step S1010 again to wait for the input of the data acquisition command.
[0048]
The calibration information calculation unit 340 internally expresses information on the posture of the calibration information to be obtained by a ternary vector that defines the rotation angle by the magnitude of the vector and the rotation axis direction by the direction of the vector. . And M_CSIs the position of the receiver 131 in the coordinate system defined by the video camera 120 (x_CS, y_CS, z_CS) And posture (ξ_CS, ψ_CS, ζ_CS) And M_TWIs the position of the world coordinate system 200 in the sensor coordinate system 210 (x_TW, y_TW, z_TW) And posture (ξ_TW, ψ_TW, ζ_TW) The twelve unknown parameters are the vectors s = (x_CS y_CS z_CS ξ_CS ψ_CS ζ_CS x_TW y_TW z_TW ξ_TW ψ_TW ζ_TW).
[0049]
In step S1080, the calibration information calculation unit 340 sets an initial value appropriate for the vector s (for example, s = [0 0 0 2 / π 0 0 0 0 0 2 / π 0 0]).^T)give.
[0050]
In step S1090, the calibration information calculation unit 340 reads each data L in the list._iFor (i = 1,2 ,,,, N), the theoretical value u ′ of the image coordinates of the landmarkⁱ= [u 'ⁱ _x, u 'ⁱ _y], Sensor output Mⁱ _ST, World coordinates Xⁱ _WAnd based on the current s. Here, the theoretical value of the image coordinates of the landmark refers to data of a position (coordinate) where the original landmark should be visible in the image, which is obtained from the obtained sensor output and the world coordinates of the landmark. u 'ⁱSensor output M with s as a variableⁱ _STAnd world coordinates Xⁱ _WFunctions defined by
u 'ⁱ= Fⁱ(s) (Formula B)
Can be determined by.
[0051]
Specifically, first,

Is a component of s based on (x_CS, y_CS, z_CS) And (ξ_CS, ψ_CS, ζ_CS) To viewing transformation matrix M_CSAs well as (x_TW, y_TW, z_TW) And (ξ_TW, ψ_TW, ζ_TW) To viewing transformation matrix M_TWIs calculated. Next, the camera coordinates X of the landmarkⁱ _CThe
Xⁱ _C= [xⁱ _C yⁱ _C zⁱ _C 1] = M_CS・ Mⁱ _ST・ M_TW・ Xⁱ _W        (Formula D)
Calculated by Finally, the theoretical value of the image coordinates
u 'ⁱ _x= -f × xⁱ _C/ Zⁱ _C    u 'ⁱ _y= -f × yⁱ _C/ Zⁱ _C        (Formula E)
Calculated by Here, f is the focal length of the video camera 120.
[0052]
In step S1100, the calibration information calculation unit 340 reads each data L in the list._iIs the theoretical value u ′ of the image coordinates of the landmarkⁱAnd measured value uⁱError ΔuⁱThe
Δuⁱ= uⁱ-u 'ⁱ    (Formula F)
Calculated by
[0053]
In step S1110, the calibration information calculation unit 340 obtains each data L in the list._iOn the other hand, a Jacobian matrix J of 2 rows × 12 columns having a solution obtained by partial differentiation of the right side of (Equation B) with each element of the vector s.ⁱ _us(= ∂u / ∂s) is calculated. Specifically, the right side of (Equation E) is the camera coordinate Xⁱ _C2 row x 3 column Jacobian matrix J with each element having a solution that is partially differentiated by each elementⁱ _ux(= ∂u / ∂x) and a Jacobian matrix J of 3 rows × 12 columns having a solution obtained by partial differentiation of the right side of (Formula D) with each element of the vector s.ⁱ _xs(= ∂x / ∂s) is calculated based on (Equation E) and (Equation D),
Jⁱ _us= Jⁱ _uxJⁱ _xs        (Formula G)
Calculate as
[0054]
In step S1120, the calibration information calculation unit 340 calculates all the data L in the list calculated in steps S1100 and S1110._iError with respect toⁱAnd Jacobian Jⁱ _usBased on the above, a correction value Δs of s is calculated. Specifically, the error Δu for all dataⁱAnd Jacobian Jⁱ _usVector U = [Δu¹ Δu² ,,, Δu^N]^TAnd Φ = [J¹ _us J² _us ,,, J^N _us]^TAnd using the generalized inverse matrix of Φ,
Δs = (Φ^TΦ)^-1Φ^TU (Formula H)
Calculate as
[0055]
In step S1130, the calibration information calculation unit 340 corrects s using the correction value Δs calculated in step S1120.
[0056]
s + Δs → s (Formula I)
In step S1140, the calibration information calculation unit 340 determines whether or not the calculation has converged using some criterion such as whether each element of U is sufficiently small or whether Δs is sufficiently small. Do. If it has not converged, the processing after step S1090 is performed again using the corrected s.
[0057]
In step S1150, the calibration information calculation unit 350 outputs the obtained s as calibration information. As the calibration information, for example, two viewing transformation matrices calculated from s are output. The output form may be s itself, or any other position and orientation description method.
[0058]
The world coordinate holding unit 310, the image coordinate acquisition unit 320, the data management unit 330, the calibration information calculation unit 340, and the instruction unit 350 can be configured by, for example, one general-purpose computer.
[0059]
<Modification 1>
In the present embodiment, the case where the calibration apparatus and the method thereof are applied to the calibration of the image display apparatus using the Polhemus magnetic sensor FASTRAK as the position and orientation sensor 130 has been described. However, the calibration apparatus and the method of the present embodiment are described. The position / orientation sensor of the image display device that can be calibrated by the above is not limited to FASTRAK. It is possible to calibrate an image display device that uses any other position and orientation sensor (for example, Flock of Birds from Ascension Technology or OPTOTRAK from Northern Digital Inc.) to measure the position and orientation. Needless to say.
[0060]
<Modification 2>
In the above embodiment, the acquisition of the image coordinates of the landmark and its identification number is performed by extracting a specific color area from the image by threshold processing using the landmark having the color as identification information, This is done by detecting the image coordinates of the landmarks it has. However, any other method may be used as long as the projected coordinates of the landmarks on the image and the landmark identification number can be specified. For example, using a landmark having a specific pattern as identification information, a region of the specific pattern may be extracted from the image by pattern matching, and the detection position may be output as the image coordinates of the landmark having the pattern. The image processing is not necessarily performed, and the landmark image coordinates and the identification number thereof may be input manually by an operator. In this case, the image coordinate acquisition unit 320 allows the operator to easily input the landmark position by, for example, specifying a landmark position on the captured image displayed on the work display by clicking the mouse. A configuration having some kind of GUI is desirable.
[0061]
Further, when using a plurality of landmarks having the same characteristics that cannot be identified by image processing, the image coordinates of the landmarks are acquired by image processing, and the identification number is input manually. You can also. In addition, any other method may be used for landmark identification. For example, when rough calibration information is obtained from the beginning, the landmark is calculated by comparing the theoretical value of the image coordinate of each landmark calculated by (Equation B) with the image coordinate of the detected landmark. May be identified.
[0062]
Further, in either case of acquisition by image processing or acquisition by manual input, the landmark does not necessarily have to be artificial (artificial), and natural features may be used.
[0063]
<Modification 3>
In the above embodiment, an appropriate value is set as the initial value of the calibration information in step S1080. However, when the initial value and the actual value are far from each other, the solution does not converge in the above embodiment, and calibration information cannot be obtained. In order to cope with such a situation, combinations of different positions and orientations are set in advance, and these are sequentially used as initial values to perform the processing from step S1090 to step S1140, and s when the solution converges is selected. You may do it. Further, an initial value input unit for inputting an initial value (or position and orientation information necessary for generating the initial value) by the operator is further prepared, and calibration information calculation processing is performed using the input initial value. It is also possible.
[0064]
<Modification 4>
In a more preferred modification of the present invention, the calibration device further includes an image generation unit. The image generation unit superimposes the image coordinates of the landmark detected by the image coordinate acquisition unit 320 on the captured image and outputs the superimposed image to the display screen. According to this modification, the operator can input a data acquisition instruction while confirming the detection status of the landmark.
[0065]
In addition, the image generation unit calculates a theoretical value of the image coordinates of each landmark based on the calibration information calculated by the calibration information calculation unit 340, and superimposes this on the captured image and outputs it to the display screen. According to this modification, the operator can verify the calibration work by comparing the actual landmark and the calculation position displayed there.
[0066]
<Modification 5>
In the above embodiment, the instruction unit 350 for inputting a control command from the operator is provided. However, this input is not always necessary. For example, every time the image coordinate acquisition unit 320 detects a landmark, the data list is displayed. A configuration may be adopted in which the calibration information calculation unit 340 calculates the calibration information when the data list satisfies the conditions.
[0067]
<Modification 6>
In the above embodiment, the image generation device and the calibration device are configured as separate devices, but it is of course possible to configure an image generation device having the function of the calibration device.
[0068]
<Modification 7>
In the above embodiment, the position and orientation sensor of the image display device that presents the mixed reality is calibrated. However, the application range is not limited to this, and the position and orientation of the imaging device is determined by the position and orientation sensor. The present invention can be applied to any other purpose such as measurement.
[0069]
[Other Embodiments]
An object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus Needless to say, this can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0070]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0071]
When the present invention is applied to the above-mentioned storage medium, program codes corresponding to the flowchart (shown in FIG. 4) described above are stored in the storage medium.
[0072]
【The invention's effect】
As described above, according to the present invention, the calibration information for converting the position and orientation of the imaging device measured by the sensor into the position and orientation in the world coordinate system can be more simply and specially calibrated. It can be obtained without using it.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a functional configuration of a general image display device that presents mixed reality.
FIG. 2 is a diagram illustrating a method for calculating the position and orientation of a video camera in the world coordinate system.
FIG. 3 is a diagram showing a functional configuration of a calibration information generation system including a calibration device according to an embodiment of the present invention.
FIG. 4 is a flowchart of processing performed when the calibration device according to the embodiment of the present invention obtains calibration information.

Claims

A sensor calibration method for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
A holding step of holding coordinates in the world coordinate system of a plurality of feature points in a predetermined holding means in advance;
A measurement value input step of inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
An image coordinate acquisition step of acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations, the actual measurement values of the image coordinates of the feature points at the plurality of imaging positions and orientations, and the world coordinates of the feature points held by the holding unit A calibration information calculation step for calculating
The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. 2nd coordinate conversion information for converting to the position and orientation of
The calibration information information calculation step includes
Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations input by the measurement value input step, current calibration information, and world coordinates of the feature points held by the holding unit , An image coordinate calculation step of calculating a theoretical value of the image coordinates of the feature point in the imaging position and orientation ;
Wherein the theoretical value of the image coordinates of the feature points in the image coordinate the plurality of imaging position and orientation calculated by the calculating step, the image coordinates of the feature points in the plurality of imaging position and orientation acquired by the image coordinate acquisition step and a error calculation step of calculating an error between the actual measurement value,
A sensor calibration method, wherein the calibration information is calculated using the error calculated in the error calculation step as an evaluation value of the accuracy of the calibration information.

The calibration information calculation step includes
A correction value calculating step of calculating a correction value of calibration information that reduces the error based on the error calculated by the error calculating step;
A calibration information update step of updating the calibration information with the correction value calculated by the correction value calculation step;
The sensor calibration method according to claim 1, wherein the calibration information is calculated by repetitive processing of the image coordinate calculation step, the error calculation step, the correction value calculation step, and the calibration information update step.

The calibration information is information for converting a position and orientation of a measurement point in a sensor coordinate system, which is an output value of the position and orientation sensor, into a position and orientation of the imaging apparatus in the world coordinate system. Item 3. The sensor calibration method according to Item 1 or 2.

A sensor calibration method for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
A holding step of holding coordinates in the world coordinate system of a plurality of feature points in a predetermined holding means in advance;
A measurement value input step of inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
An image coordinate acquisition step of acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
The measured values of the position and orientation sensors at the plurality of shooting positions and orientations input by the measurement value input step and the actual measurement values of the image coordinates of the feature points at the plurality of shooting positions and orientations acquired by the image coordinate acquisition step A calibration information calculation step of calculating the calibration information based on the world coordinates of the feature points held by the holding means,
The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. A sensor calibration method comprising second coordinate conversion information for conversion into a position and orientation.

5. The sensor calibration method according to claim 4, wherein each of the first coordinate conversion information and the second coordinate conversion information includes three unknown parameters related to a position and three unknown parameters related to a posture.

The sensor calibration method according to claim 1, wherein the feature point is a marker arranged in a real space.

The sensor calibration method according to claim 1, wherein the feature point is a natural feature existing in a real space.

The sensor calibration method according to claim 1, wherein the image coordinate acquisition step detects and inputs an actual measurement value of the image coordinates by image processing.

The sensor calibration method according to claim 1, wherein the image coordinate acquisition step detects and inputs an actual measurement value of the image coordinates by manual input.

A program for causing a computer to execute the sensor calibration method according to claim 1.

A computer-readable storage medium storing the program according to claim 10.

A sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
Holding means for holding coordinates of a plurality of feature points in the world coordinate system;
Measurement value input means for inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
Image coordinate acquisition means for acquiring the actual values of the image coordinates of the plurality of feature points on said plurality of captured images the imaging device in the imaging position and orientation has been captured,
Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations, the actual measurement values of the image coordinates of the feature points at the plurality of imaging positions and orientations, and the world coordinates of the feature points held by the holding unit Calibration information calculation means for calculating
The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. 2nd coordinate conversion information for converting to the position and orientation of
The calibration information information calculation means includes
The measurement values of the position and orientation sensor in the plurality of imaging positions and orientations inputted by the measurement value input means, and the current calibration information, based on the world coordinates of the feature point in which the holding means for holding said plurality of Image coordinate calculation means for calculating a theoretical value of the image coordinates of the feature point at the imaging position and orientation ;
And the theoretical value of the image coordinates of the feature points in the plurality of imaging positions and orientations calculated by the image coordinate calculation unit, the image coordinates of the feature points in the plurality of imaging position and orientation acquired by the image coordinate acquisition means and a error calculating means for calculating an error between the actual measurement value,
The sensor calibration apparatus, wherein the calibration information is calculated using the error calculated by the error calculation means as an evaluation value of the accuracy of the calibration information.

A sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
Holding means for holding coordinates of a plurality of feature points in the world coordinate system;
Measurement value input means for inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
Image coordinate acquisition means for acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
The measurement values of the position and orientation sensor at the plurality of photographing positions and orientations input by the measurement value input means and the actual measurement values of the image coordinates of the feature points at the plurality of photographing positions and orientations acquired by the image coordinate acquisition means Calibration information calculating means for calculating the calibration information based on the world coordinates of the feature points held by the holding means,
The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. A sensor calibration device comprising second coordinate conversion information for conversion into a position and orientation.