JP4095320B2 - Sensor calibration device, sensor calibration method, program, storage medium - Google Patents

Sensor calibration device, sensor calibration method, program, storage medium Download PDF

Info

Publication number
JP4095320B2
JP4095320B2 JP2002076760A JP2002076760A JP4095320B2 JP 4095320 B2 JP4095320 B2 JP 4095320B2 JP 2002076760 A JP2002076760 A JP 2002076760A JP 2002076760 A JP2002076760 A JP 2002076760A JP 4095320 B2 JP4095320 B2 JP 4095320B2
Authority
JP
Japan
Prior art keywords
orientation
sensor
image
calibration information
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002076760A
Other languages
Japanese (ja)
Other versions
JP2003269913A (en
Inventor
清秀 佐藤
晋二 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002076760A priority Critical patent/JP4095320B2/en
Priority to EP03251542A priority patent/EP1349114A3/en
Priority to CNB031207375A priority patent/CN1210543C/en
Priority to US10/390,739 priority patent/US6792370B2/en
Publication of JP2003269913A publication Critical patent/JP2003269913A/en
Priority to US10/892,104 priority patent/US7130754B2/en
Application granted granted Critical
Publication of JP4095320B2 publication Critical patent/JP4095320B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、位置姿勢センサを用いて撮像装置の位置姿勢を計測する目的において、位置姿勢センサの較正を行う方法及び装置に関するものである。
【0002】
【従来の技術】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に仮想空間(たとえばコンピュータ・グラフィックスにより描画された仮想物体や文字情報など)の画像を重畳表示することで実現される。
【0003】
このような画像表示装置の応用としては、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲームなど、今までのバーチャルリアリティとは異なった新たな分野が期待されている。
【0004】
これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということであり、従来から多くの取り組みが行われてきた。
【0005】
複合現実感における位置合わせの問題は、現実空間に設定した世界座標系(以後、単に世界座標系と呼ぶ)における、撮像装置の3次元位置姿勢を求める問題に帰結される。これらの問題を解決する方法として、磁気式センサや超音波式センサなどの3次元位置姿勢センサを利用することが一般的に行われている。
【0006】
一般に3次元位置姿勢センサが出力する出力値は、センサが独自に定義するセンサ座標系における測点の位置姿勢であって、世界座標系における撮像装置の位置姿勢ではない。例えばPolhemus社の磁気式センサFASTRAKを例にとると、センサ出力として得られるのは、トランスミッタが定義する座標系におけるレシーバの位置姿勢である。したがって、センサ出力値をそのまま世界座標系における撮像装置の位置姿勢として用いることはできず、何らかの較正を行う必要がある。具体的には、測点の位置姿勢を撮像装置の位置姿勢に変換する座標変換と、センサ座標系における位置姿勢を世界座標系における位置姿勢に変換する座標変換が必要となる。なお、本明細書において、センサ出力値を世界座標系における撮像装置の位置姿勢に変換するための情報を較正情報と呼ぶこととする。
【0007】
図1は、複合現実感の提示を行う一般的な画像表示装置の機能構成を示すブロック図である。
【0008】
頭部装着部100には、表示画面110及びビデオカメラ120が固定されている。不図示のユーザが、表示画面110が眼前に位置するように頭部装着部100を装着すると、ユーザの眼前の情景がビデオカメラ120によって撮像される。したがって、仮にビデオカメラ120が撮像した画像を表示画面110に表示したとすると、ユーザは、頭部装着部100を装着していなければ裸眼で観察するであろう眼前の情景を、ビデオカメラ120と表示画面110を介して観察することになる。
【0009】
位置姿勢センサ130は、頭部装着部100に固定された測点のセンサ座標系における位置姿勢を計測する装置であって、例えば、レシーバ131、トランスミッタ132,センサ制御部133よりなる磁気式センサであるPolhemus社のFASTRAKによって構成されている。レシーバ131は測点として頭部装着部100に固定されており、センサ制御部132は、トランスミッタ133の位置姿勢を基準としたセンサ座標系におけるレシーバ131の位置姿勢を計測しこれを出力する。
【0010】
一方、演算処理部170は、位置姿勢情報変換部140、メモリ150、画像生成部160からなり、例えば1台の汎用コンピュータにより構成することが可能である。位置姿勢情報変換部140は、メモリ150が保持する較正情報に従って、位置姿勢センサ130より入力した計測値に変換を加え、世界座標系におけるビデオカメラ120の位置姿勢を算出しこれを位置姿勢情報として出力する。画像生成部160は、位置姿勢情報変換部140より入力した位置姿勢情報に従って仮想画像を生成し、これをビデオカメラ120が撮像した実写画像に重畳して出力する。表示画面110は、画像生成部160から画像を入力しこれを表示する。以上の構成により、不図示のユーザは、眼前の現実空間に仮想物体が存在するかのごとき感覚を得ることになる。
【0011】
次に、図2を用いて、位置姿勢情報変換部140において、世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する。図2は世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する図である。
【0012】
同図において、世界座標系200におけるセンサ座標系210(トランスミッタ133の位置を原点とする座標系)の位置姿勢をMTW、センサ座標系210における位置姿勢センサ130の測点(すなわちレシーバ131)の位置姿勢をMST、位置姿勢センサ130の測点からみたビデオカメラ120の位置姿勢をMCS、世界座標系200におけるビデオカメラ120の位置姿勢をMCWとする。なお、本明細書では、座標系Aにおける物体Bの位置姿勢を、座標系Aから座標系B(物体Bを基準とするローカル座標系)へのビューイング変換行列MBA(4×4)で表記するものとする。
【0013】
このときMCWは、
MCW = MCS・MST・MTW (式A)
によって示すことができる。
【0014】
このうち、MSTが位置姿勢センサ130から位置姿勢情報変換部140への入力、MCWが位置姿勢情報変換部140から画像生成部160への出力であり、MCS及びMTWが、MSTをMCWに変換するために必要な較正情報に相当する。位置姿勢情報変換部140は、位置姿勢センサ130から入力されるMSTと、メモリ150に保持されているMCS及びMTWとを用いて、(式A)に基づいてMCWを算出し、これを画像生成部160へと出力する。
【0015】
現実空間と仮想空間の正確な位置合わせを行うためには、何らかの手段によってメモリ150に正確な較正情報が設定される必要がある。正確な較正情報が与えられてはじめて、現実空間に正確に位置合わせのなされた仮想画像の表示が実現される。
【0016】
尚、メモリ150における較正情報の保持形態は、必ずしもビューイング変換行列である必要はなく、一方の座標系からみたもう一方の座標系の位置及び姿勢が定義できる情報であれば、いずれの形態をとってもよい。例えば、位置を記述する3パラメータと、姿勢をオイラー角によって表現する3パラメータの計6パラメータで位置姿勢を表現してもよい。また、姿勢に関しては、回転軸を定義する3値のベクトルとその軸まわりの回転角という4パラメータで表現してもよいし、回転軸を定義するベクトルの大きさによって回転角を表現するような3パラメータによって表現してもよい。
【0017】
また、それらの逆変換を表わすパラメータ(例えば、センサ座標系210における世界座標系220の位置姿勢)によって表現しても良い。ただし、いずれの場合も、3次元空間中における物体の位置及び姿勢は、位置に3自由度、姿勢に3自由度の計6自由度を有しているのみであるので、本画像表示装置の較正に必要な未知パラメータ数は、世界座標系からセンサ座標系への変換に必要な6パラメータと、測点の位置姿勢からビデオカメラの位置姿勢への変換に必要な6パラメータの合計12パラメータとなる。
【0018】
較正情報を設定する公知の方法の一つとして、ユーザあるいはオペレータが、不図示の入力手段を介して、メモリ150に格納されたMCS及びMTWを定義する12のパラメータ(あるいはそれに等価な12以上のパラメータ)を対話的に変更し、正確な位置合わせが達成されるまで調整を試行錯誤的に行うという方法がある。
【0019】
また、特願2001−050990号公報により提案された較正方法によれば、MCS及びMTWの一方が何らかの方法で得られていれば、ある値に固定した位置姿勢情報に基づいて生成した仮想画像を視覚キューとして用いることで、残された未知パラメータを簡便に導出することができる。
【0020】
【発明が解決しようとする課題】
しかし、前者の方法では、12の未知パラメータを同時に調整する必要があるため調整に著しく時間がかかり、必ずしも正確な較正情報が得られるとは限らないという問題点があった。また、後者の方法においても、既知とするパラメータを導出する際に試行錯誤的作業あるいは何らかの較正用器具を用いた作業を行う必要があるという改善の余地があった。
【0021】
本発明は以上の問題に鑑みてなされたものであり、センサにより計測された撮像装置の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ、特別な較正用器具を用いることなく取得することを目的とする。
【0022】
【課題を解決するための手段】
本発明の目的を達成する為に、例えば本発明のセンサ較正方法は以下の構成を備える。
【0023】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出工程は、
前記計測値入力工程によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出工程と、
前記画像座標算出工程によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得工程によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出工程とを有し、
前記誤差算出工程が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とする。
【0025】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記計測値入力工程によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得工程によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とする。
【0026】
【課題を解決するための手段】
本発明の目的を達成する為に、例えば本発明のセンサ較正方法は以下の構成を備える。
【0027】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出手段は、
前記計測値入力手段によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出手段と、
前記画像座標算出手段によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得手段によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出手段とを有し、
前記誤差算出手段が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とする。
【0028】
本発明の目的を達成する為に、例えば本発明のセンサ較正装置は以下の構成を備える。
【0029】
すなわち、撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記計測値入力手段によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得手段によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とする。
【0030】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。
【0031】
以下の実施形態では、本発明の較正装置及びその方法を、図1の画像表示装置の較正に適用した場合について説明する。
【0032】
本実施形態の較正装置を用いて画像表示装置の較正を行うためには、当該画像表示装置が表示の対象としている現実空間内に、世界座標が既知な最低3点以上のランドマーク(特徴点)が配置されている必要がある。ここで、各ランドマークは、撮影画像上におけるその投影像の画像座標が検出可能であって、かついずれのランドマークであるかが識別可能であるような、例えばそれぞれが異なる色を有するランドマークであるものとする。また、世界座標系は所定の1点を原点とし、更にこの原点から夫々直交する方向にx、y、z軸をとる。そしてこの座標系において上記3点のランドマークの座標が既知であるとする。つまり、予め上記3点のランドマークについて原点からx、y、z方向への距離を測定しておく。
【0033】
図3は本実施形態における較正装置を含む較正情報生成システムの機能構成を示すブロック図である。同図に示すように、本実施形態における較正装置300は、世界座標保持部310、画像座標取得部320、データ管理部330、較正情報算出部340、指示部350から構成されており、較正対象である画像表示装置の頭部装着部100及び位置姿勢センサ130が接続されている。
【0034】
世界座標保持部310は、各ランドマークの世界座標系における座標データ(上記方法などにより予め測定しておいたデータ)を保持しており、データ管理部330からの要求に従ってこれを出力する。また、世界座標保持部310は各ランドマークの座標データに夫々のランドマーク固有の情報(ランドマークの色、識別番号)のデータを関連づけて保持している。
【0035】
画像座標取得部320は、ビデオカメラ120が撮影した画像を入力し、画像中に撮影されているランドマークの座標及びその識別番号(識別子)を特定し、データ管理部330からの要求に従ってこれらの情報をデータ管理部330へと出力する。画像におけるランドマークの座標、及び識別番号の特定方法としては例えば、世界座標保持部310が保持している各ランドマークの色情報を参照して、画像中で各ランドマークの色を有する領域を抽出し、更に抽出した領域における重心位置を求める。このようにすることで各ランドマークの画像における座標を求めることができる。更に世界座標保持部310が保持している各色のランドマークの識別番号情報を参照して、各領域の色に対応する識別番号を特定する。このようにすることで、画像においてどのランドマークがどの位置にあるかを特定することができる。
【0036】
データ管理部330は、指示部350から「データ取得」の指示を受けると、画像座標取得部320からランドマークの画像座標及び識別番号を入力し、世界座標保持部310から対応するランドマークの世界座標を入力し、位置姿勢センサ130から撮影画像と同一時刻のセンサ計測値を入力し、[世界座標−センサ計測値−画像座標]の組をデータリストに追加しこれを保持する。また、較正情報算出部340からの要求にしたがって、生成したデータリストを較正情報算出部340に出力する。
【0037】
較正情報算出部340は、指示部350から「較正情報算出」の指示を受けると、データ管理部330からデータリストを入力し、これをもとに較正情報を算出し、算出した較正情報を出力する。
【0038】
指示部350は、不図示のオペレータからデータ取得コマンドが入力されたときには「データ取得」の指示をデータ管理部330に、較正情報算出コマンドが入力されたときには「較正情報算出」の指示を較正情報算出部340に送信する。指示部350へのコマンドの入力は、例えばキーボードを用いて、特定のコマンドを割り当てたキーを押すことによって行うことができる。また、コマンドの入力は、ディスプレイ上に表示されたGUIで行うなどの、いずれの方法で行ってもよい。
【0039】
図4は、本実施形態の較正装置が較正情報を求める際に行う処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施形態の装置内の、不図示のRAMやROMなどのメモリ内に格納され、不図示のCPUにより読み出され、実行される。
【0040】
ステップS1010において、指示部350は、データ取得コマンドがオペレータから入力されたか否かの判定を行う。データ取得コマンドが入力されている場合には、ステップS1020へと処理を移行させる。以下では、データ取得コマンドが入力された時点においてビデオカメラ120が位置していた視点位置をVjとする。
【0041】
ステップS1020において、データ管理部330は、位置姿勢センサ130(センサ制御部132)から、視点位置Vjにビデオカメラ120が位置している際の計測値MVj STを入力する。
【0042】
ステップS1030において、データ管理部330は、視点位置Vjに位置するビデオカメラ120によって撮影された撮像画像上におけるランドマークQk(k=1,2,3、、、)の識別番号k及び画像座標uVjQkを、画像座標取得部320から入力する。この入力は、当該撮像画像上に複数のランドマークが撮像されている場合には、それら各々のランドマークに対して行われる。
【0043】
ステップS1040において、データ管理部330は、画像座標取得部320から入力した各ランドマークQkの(それぞれの識別番号kに対応する)世界座標XQk Wを、世界座標保持部310から入力する。
【0044】
次に、ステップS1050において、データ管理部330は、検出されたランドマーク毎に、入力したデータをデータリストLiに追加する。具体的には、ランドマークQkに対する画像座標をui=uVjQk=[ui x,ui y]T、その世界座標をXi W=XQk W=[xi W,yi W,zi W,1]T、その際のセンサ出力をMi ST=MVj STとして、[ui,xi W,Mi ST]の組を、i番目のデータとしてリストに登録する。ここでiは現在リストに登録されているデータ総数に1を足した値を示す。
【0045】
以上の処理によって、データの取得が行われる。
【0046】
ステップS1060では、指示部350によって、現在までに取得されたデータリストが、較正情報を算出するに足るだけの情報を有しているかどうかの判定が行われる。データリストが条件を満たしていない場合には、再びステップS1010へと戻り、データ取得コマンドの入力を待つ。一方、データリストが較正情報算出の条件を満たしている場合には、ステップS1070へと処理を移行させる。較正情報算出の条件としては、例えば、異なる3点以上のランドマークに関するデータが得られていること、複数の視点位置においてデータの取得が行われていること、及びデータ総数が6以上であること、を条件とする。ただし、入力データの多様性が増すほどに導出される較正情報の精度は向上するので、より多くのデータを要求するように条件を設定してもよい。
【0047】
次にステップS1070において、較正情報算出コマンドがオペレータから入力されたか否かの判定を行う。較正情報算出コマンドが入力されている場合には、ステップS1080へと処理を移行し、入力されていない場合には、再びステップS1010へと戻り、データ取得コマンドの入力を待つ。
【0048】
較正情報算出部340は、求めるべき較正情報のうちの姿勢に関する情報を、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような3値のベクトルによって内部的に表現する。そして、MCSを、ビデオカメラ120が定義する座標系におけるレシーバ131の位置(xCS,yCS,zCS)及び姿勢(ξCSCSCS)によって表現し、また、MTWを、センサ座標系210における世界座標系200の位置(xTW,yTW,zTW)及び姿勢(ξTWTWTW)によって表現する。12の未知パラメータは、ベクトルs=(xCS yCS zCS ξCS ψCS ζCS xTW yTW zTW ξTW ψTW ζTW)によって表現される。
【0049】
ステップS1080において、較正情報算出部340は、ベクトルsに適当な初期値(例えばs=[0 0 0 2/π 0 0 0 0 0 2/π 0 0]T)を与える。
【0050】
ステップS1090において、較正情報算出部340は、リスト中の各データLi(i=1,2,,,,N)に対して、当該ランドマークの画像座標の理論値u'i=[u'i x,u'i y]を、センサ出力Mi ST、世界座標Xi Wおよび現在のsに基づいて算出する。ここでランドマークの画像座標の理論値とは、上記得られたセンサ出力とランドマークの世界座標から求めた本来ランドマークが画像中に見えるべき位置(座標)のデータを指す。u'iは、sを変数として、センサ出力Mi STおよび世界座標Xi Wによって定義される関数
u'i=Fi(s) (式B)
によって定めることができる。
【0051】
具体的には、まず、次式、

Figure 0004095320
に基づいて、sの構成要素である(xCS,yCS,zCS)及び(ξCSCSCS)からビューイング変換行列MCSを、同様に、(xTW,yTW,zTW)及び(ξTWTWTW)からビューイング変換行列MTWを算出する。次に、当該ランドマークのカメラ座標Xi Cを、
Xi C=[xi C yi C zi C 1]=MCS・Mi ST・MTW・Xi W (式D)
によって算出する。最後に、画像座標の理論値を、
u'i x=-f×xi C/zi C u'i y=-f×yi C/zi C (式E)
によって算出する。ただし、fはビデオカメラ120の焦点距離である。
【0052】
ステップS1100において、較正情報算出部340は、リスト中の各データLiに対して、当該ランドマークの画像座標の理論値u'iと実測値uiとの誤差Δuiを、
Δui=ui-u'i (式F)
によって算出する。
【0053】
ステップS1110において、較正情報算出部340は、リスト中の各データLiに対して、(式B)の右辺をベクトルsの各要素で偏微分した解を各要素に持つ2行×12列のヤコビ行列Ji us(=∂u/∂s)を算出する。具体的には、(式E)の右辺をカメラ座標Xi Cの各要素で偏微分した解を各要素に持つ2行×3列のヤコビ行列Ji ux(=∂u/∂x)と、(式D)の右辺をベクトルsの各要素で偏微分した解を各要素に持つ3行×12列のヤコビ行列Ji xs(=∂x/∂s)をそれぞれ、(式E)および(式D)に基づいて算出し、
Ji us=Ji uxJi xs (式G)
として算出する。
【0054】
ステップS1120において、較正情報算出部340は、ステップS1100およびステップS1110において算出した、リスト中の全てのデータLiに対する誤差Δui及びヤコビ行列Ji usに基づいて、sの補正値Δsを算出する。具体的には、全てのデータに対する誤差Δuiおよびヤコビ行列Ji usをそれぞれ垂直に並べたベクトルU=[Δu1 Δu2 ,,, ΔuN]TおよびΦ=[J1 us J2 us ,,, JN us]Tを作成し、Φの一般化逆行列を用いて、
Δs=(ΦTΦ)-1ΦTU (式H)
として算出する。
【0055】
ステップS1130において、較正情報算出部340は、ステップS1120において算出した補正値Δsを用いてsを補正する。
【0056】
s+Δs→s (式I)
ステップS1140において、較正情報算出部340は、Uの各要素が十分に小さいかどうか、あるいは、Δsが十分に小さいかどうかといった何らかの判定基準を用いて、計算が収束しているか否かの判定を行う。収束してない場合には、補正後のsを用いて、再度ステップS1090以降の処理を行う。
【0057】
ステップS1150において、較正情報算出部350は、得られたsを較正情報として出力する。較正情報は、例えば、sから算出した2つのビューイング変換行列を出力する。出力の形態はsそのものでもよいし、他のいずれの位置姿勢記述方法によるものでもよい。
【0058】
なお、世界座標保持部310、画像座標取得部320、データ管理部330、較正情報算出部340、および指示部350は、例えば1台の汎用コンピュータにより構成することが可能である。
【0059】
<変形例1>
本実施形態では、位置姿勢センサ130としてPolhemus社の磁気式センサFASTRAKを用いた画像表示装置の較正に上記較正装置及びその方法を適用した場合について説明したが、本実施形態の較正装置及びその方法によって較正可能な画像表示装置の位置姿勢センサはFASTRAKに限定されるものではない。他のいずれの位置姿勢センサ(例えばAscension Technology社のFlock of BirdsやNorthern Digital Inc.社のOPTOTRAKなど)を位置姿勢の計測に用いた画像表示装置であっても、その較正を行うことができることはいうまでもない。
【0060】
<変形例2>
上記実施形態では、ランドマークの画像座標およびその識別番号の取得を、色を識別情報として有するランドマークを用いて、閾値処理により画像から特定色領域を抽出し、その重心位置を、当該色を有するランドマークの画像座標として検出することで行っていた。しかし、画像上におけるランドマークの投影座標及びランドマークの識別番号が特定可能であれば、他のいずれの手法を用いてもよい。例えば、特定のパターンを識別情報として有するランドマークを用いて、パターンマッチングにより画像から特定パターンの領域を抽出し、その検出位置を、当該パターンを有するランドマークの画像座標として出力してもよい。また、画像処理によって行う必要は必ずしもなく、オペレータの手入力によってランドマークの画像座標およびその識別番号を入力してもよい。この場合、画像座標取得部320は、例えば作業用ディスプレイ上に表示された撮像画像上のランドマーク位置をマウスクリックによって指定する等の作業によって、オペレータが容易にランドマーク位置を入力できるような、何らかのGUIを有した構成であることが望ましい。
【0061】
また、画像処理による識別の望めない同一特徴をもつ複数のランドマークを用いる場合には、ランドマークの画像座標の取得を画像処理によって行い、その識別番号の入力を手入力によって行うといった構成をとることもできる。また、ランドマークの識別には他のいずれの方法をとってもよい。例えば、大まかな較正情報が初めから得られている場合には、(式B)によって算出される各ランドマークの画像座標の理論値と、検出されたランドマークの画像座標の比較によって、ランドマークの識別を行ってもよい。
【0062】
また、画像処理によって取得する場合あるいは手入力によって取得する場合のいずれの場合においても、ランドマークは必ずしも人工的(人為的)なものでなくてもよく、自然特徴を用いてもよい。
【0063】
<変形例3>
上記実施形態では、ステップS1080で較正情報の初期値として適当な値を設定していた。しかし、初期値と実際の値がかけ離れている場合には、上記実施形態では解が収束せず較正情報を求めることができない。このような状況に対処するため、異なる位置姿勢の組み合わせを予め設定しておき、これらを順次初期値として用いてステップS1090からステップS1140までの処理を行い、解が収束した際のsを選択するようにしてもよい。また、オペレータによる初期値(あるいは初期値を生成するのに必要な位置姿勢の情報)の入力を行う初期値入力部をさらに用意して、入力された初期値を用いて較正情報算出処理を行うことも可能である。
【0064】
<変形例4>
本発明のより好適な変形例では、較正装置は画像生成部をさらに有している。画像生成部は、画像座標取得部320によって検出されたランドマークの画像座標を撮影画像に重畳して表示画面へ出力する。本変形例によれば、オペレータは、ランドマークの検出状況を確認しながらデータ取得の指示を入力することができる。
【0065】
また、画像生成部は、較正情報算出部340が算出した較正情報に基づいて各ランドマークの画像座標の理論値を算出し、これを撮像画像に重畳して表示画面に出力する。本変形例によれば、オペレータは、現実のランドマークとそこに表示される計算位置とを比較することによって、較正作業の検証を行うことができる。
【0066】
<変形例5>
上記実施形態では、オペレータからの制御コマンドを入力するための指示部350を有していたが、この入力は必ずしも必要ではなく、例えば画像座標取得部320がランドマークを検出するごとにデータリストへ追加を行い、データリストが条件を満たした時点で較正情報演算部340が較正情報の演算を行うような構成にしてもよい。
【0067】
<変形例6>
上記実施形態では、画像生成装置と較正装置は別装置として構成されていたが、上記較正装置の機能を有するような画像生成装置を構成することも、もちろん可能である。
【0068】
<変形例7>
上記実施形態では、複合現実感を提示する画像表示装置の位置姿勢センサの較正を行うものであったが、適用範囲はこれに限定されるものではなく、位置姿勢センサによって撮像装置の位置姿勢を計測するような他の何れの用途に適用することも可能である。
【0069】
[他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0070】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0071】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した(図4に示す)フローチャートに対応するプログラムコードが格納されることになる。
【0072】
【発明の効果】
以上説明したように、本発明によれば、センサにより計測された撮像装置の位置姿勢を世界座標系における位置姿勢に変換するための較正情報を、より簡便に、かつ、特別な較正用器具を用いることなく取得することができる。
【図面の簡単な説明】
【図1】複合現実感の提示を行う一般的な画像表示装置の機能構成を示すブロック図である。
【図2】世界座標系におけるビデオカメラの位置姿勢を算出する方法を説明する図である。
【図3】本発明の実施形態における較正装置を含む較正情報生成システムの機能構成を示す図である。
【図4】本発明の実施形態における較正装置が較正情報を求める際に行う処理のフローチャートである。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for calibrating a position and orientation sensor for the purpose of measuring the position and orientation of an imaging apparatus using the position and orientation sensor.
[0002]
[Prior art]
In recent years, research on mixed reality has been actively conducted for the purpose of seamless connection between the real space and the virtual space. An image display device that presents mixed reality superimposes an image of a virtual space (for example, a virtual object or character information drawn by computer graphics) on an image of a real space photographed by an imaging device such as a video camera. Realized by displaying.
[0003]
Applications of such image display devices include virtual reality, such as surgical support that superimposes the state of the body on the patient's body surface, and mixed reality games that fight against virtual enemies floating in real space. Different new fields are expected.
[0004]
A common requirement for these applications is how to accurately align the real space and the virtual space, and many efforts have been made in the past.
[0005]
The problem of alignment in mixed reality results in the problem of obtaining the three-dimensional position and orientation of the imaging device in the world coordinate system (hereinafter simply referred to as the world coordinate system) set in the real space. As a method for solving these problems, a three-dimensional position and orientation sensor such as a magnetic sensor or an ultrasonic sensor is generally used.
[0006]
In general, the output value output by the three-dimensional position and orientation sensor is the position and orientation of the measurement point in the sensor coordinate system uniquely defined by the sensor, and not the position and orientation of the imaging device in the world coordinate system. For example, taking the magnetic sensor FASTRAK of Polhemus as an example, the position and orientation of the receiver in the coordinate system defined by the transmitter is obtained as the sensor output. Therefore, the sensor output value cannot be used as it is as the position and orientation of the imaging apparatus in the world coordinate system, and some calibration is required. Specifically, coordinate conversion for converting the position and orientation of the measurement point into the position and orientation of the imaging apparatus and coordinate conversion for converting the position and orientation in the sensor coordinate system into the position and orientation in the world coordinate system are required. In the present specification, information for converting the sensor output value into the position and orientation of the imaging apparatus in the world coordinate system is referred to as calibration information.
[0007]
FIG. 1 is a block diagram illustrating a functional configuration of a general image display device that presents mixed reality.
[0008]
A display screen 110 and a video camera 120 are fixed to the head mounting unit 100. When a user (not shown) wears the head mounting unit 100 so that the display screen 110 is positioned in front of the eyes, a scene in front of the user is captured by the video camera 120. Therefore, if an image captured by the video camera 120 is displayed on the display screen 110, the user can view a scene in front of the eye that would be observed with the naked eye if the head mounting unit 100 is not worn. Observation is performed via the display screen 110.
[0009]
The position / orientation sensor 130 is a device that measures the position and orientation of a measurement point fixed to the head mounting unit 100 in the sensor coordinate system. For example, the position / orientation sensor 130 is a magnetic sensor including a receiver 131, a transmitter 132, and a sensor control unit 133. It is composed of a Polhemus FASTRAK. The receiver 131 is fixed to the head mounting unit 100 as a measuring point, and the sensor control unit 132 measures the position and orientation of the receiver 131 in the sensor coordinate system with the position and orientation of the transmitter 133 as a reference, and outputs this.
[0010]
On the other hand, the arithmetic processing unit 170 includes a position / orientation information conversion unit 140, a memory 150, and an image generation unit 160, and can be configured by, for example, one general-purpose computer. The position / orientation information conversion unit 140 converts the measurement value input from the position / orientation sensor 130 according to the calibration information stored in the memory 150, calculates the position / orientation of the video camera 120 in the world coordinate system, and uses this as position / orientation information. Output. The image generation unit 160 generates a virtual image according to the position / orientation information input from the position / orientation information conversion unit 140, and superimposes the virtual image on the real image captured by the video camera 120 and outputs the virtual image. The display screen 110 receives an image from the image generation unit 160 and displays it. With the above configuration, a user (not shown) gets a feeling as if a virtual object exists in the real space in front of the eyes.
[0011]
Next, a method for calculating the position and orientation of the video camera in the world coordinate system in the position and orientation information conversion unit 140 will be described with reference to FIG. FIG. 2 is a diagram for explaining a method for calculating the position and orientation of the video camera in the world coordinate system.
[0012]
In the figure, the position and orientation of the sensor coordinate system 210 (the coordinate system with the position of the transmitter 133 as the origin) in the world coordinate system 200 is represented by M.TW, The position and orientation of the measuring point (that is, the receiver 131) of the position and orientation sensor 130 in the sensor coordinate system 210 is M.ST, The position and orientation of the video camera 120 as seen from the measurement points of the position and orientation sensor 130CS, The position and orientation of the video camera 120 in the world coordinate system 200CWAnd In the present specification, the position and orientation of the object B in the coordinate system A are viewed transformation matrix M from the coordinate system A to the coordinate system B (local coordinate system with reference to the object B).BAIt shall be expressed as (4 × 4).
[0013]
At this time MCWIs
MCW = MCS・ MST・ MTW      (Formula A)
Can be indicated by
[0014]
Of these, MSTIs input from the position / orientation sensor 130 to the position / orientation information conversion unit 140, MCWIs the output from the position / orientation information converter 140 to the image generator 160, and MCSAnd MTWBut MSTMCWThis corresponds to the calibration information necessary for conversion to. The position / orientation information conversion unit 140 receives M input from the position / orientation sensor 130.STAnd M held in the memory 150CSAnd MTWAnd M based on (Equation A) usingCWIs output to the image generation unit 160.
[0015]
In order to accurately align the real space and the virtual space, accurate calibration information needs to be set in the memory 150 by some means. Only when accurate calibration information is given, display of a virtual image accurately aligned with the real space is realized.
[0016]
Note that the calibration information holding form in the memory 150 is not necessarily a viewing transformation matrix, and any form is possible as long as the information can define the position and orientation of the other coordinate system viewed from one coordinate system. It may be taken. For example, the position and orientation may be expressed by a total of six parameters including three parameters that describe the position and three parameters that express the posture by Euler angles. The posture may be expressed by four parameters, a ternary vector defining the rotation axis and a rotation angle around the axis, or the rotation angle may be expressed by the magnitude of the vector defining the rotation axis. It may be expressed by three parameters.
[0017]
Moreover, you may express with the parameter (For example, the position and attitude | position of the world coordinate system 220 in the sensor coordinate system 210) showing those inverse transformations. However, in any case, the position and posture of the object in the three-dimensional space only have a total of six degrees of freedom, that is, three degrees of freedom in the position and three degrees of freedom in the posture. The number of unknown parameters required for calibration is a total of 12 parameters including 6 parameters required for conversion from the world coordinate system to the sensor coordinate system and 6 parameters required for conversion from the position and orientation of the station to the position and orientation of the video camera. Become.
[0018]
As one of known methods for setting calibration information, a user or an operator can store M stored in the memory 150 via an input unit (not shown).CSAnd MTWThere is a method in which twelve parameters (or more than 12 equivalent parameters) are interactively changed, and adjustment is performed by trial and error until accurate alignment is achieved.
[0019]
Further, according to the calibration method proposed in Japanese Patent Application No. 2001-050990, MCSAnd MTWIf one of them is obtained by some method, the remaining unknown parameters can be easily derived by using a virtual image generated based on position and orientation information fixed to a certain value as a visual cue.
[0020]
[Problems to be solved by the invention]
However, in the former method, it is necessary to adjust twelve unknown parameters at the same time, so that the adjustment takes a considerable time, and accurate calibration information is not always obtained. In the latter method, there is still room for improvement in that it is necessary to perform a trial and error work or a work using some kind of calibration instrument when deriving a known parameter.
[0021]
The present invention has been made in view of the above problems, and calibration information for converting the position and orientation of the imaging device measured by the sensor into the position and orientation in the world coordinate system can be more simply and specially calibrated. The purpose is to obtain without using the equipment.
[0022]
[Means for Solving the Problems]
  In order to achieve the object of the present invention, for example, a sensor calibration method of the present invention comprises the following arrangement.
[0023]
  That is, a sensor calibration method for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
  A holding step of holding coordinates in the world coordinate system of a plurality of feature points in a predetermined holding means in advance;
  A measurement value input step of inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
  An image coordinate acquisition step of acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
  Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations, the actual measurement values of the image coordinates of the feature points at the plurality of imaging positions and orientations, and the world coordinates of the feature points held by the holding unit A calibration information calculation step for calculating
  The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. 2nd coordinate conversion information for converting to the position and orientation of
  The calibration information information calculation step includes
  Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations input by the measurement value input step, current calibration information, and world coordinates of the feature points held by the holding unit, An image coordinate calculation step of calculating a theoretical value of the image coordinates of the feature point in the imaging position and orientation;
  The theoretical values of the image coordinates of the feature points at the plurality of imaging positions and orientations calculated by the image coordinate calculation step and the image coordinates of the feature points at the plurality of imaging positions and orientations acquired by the image coordinate acquisition step. An error calculation step of calculating an error from the actual measurement value,
  The calibration information is calculated using the error calculated in the error calculation step as an evaluation value of the accuracy of the calibration information.
[0025]
  That is, a sensor calibration method for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
  A holding step of holding coordinates in the world coordinate system of a plurality of feature points in a predetermined holding means in advance;
  A measurement value input step of inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
  An image coordinate acquisition step of acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
  The measured values of the position and orientation sensors at the plurality of shooting positions and orientations input by the measurement value input step and the actual measurement values of the image coordinates of the feature points at the plurality of shooting positions and orientations acquired by the image coordinate acquisition step A calibration information calculation step of calculating the calibration information based on the world coordinates of the feature points held by the holding means,
  The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. It is characterized by comprising second coordinate conversion information for conversion to a position and orientation.
[0026]
[Means for Solving the Problems]
To achieve the object of the present invention, for example, the sensor calibration of the present inventionMethodHas the following configuration.
[0027]
  That is, a sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of the imaging device,
  Holding means for holding coordinates of a plurality of feature points in the world coordinate system;
  Measurement value input means for inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
  Image coordinate acquisition means for acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
  Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations, the actual measurement values of the image coordinates of the feature points at the plurality of imaging positions and orientations, and the world coordinates of the feature points held by the holding unit Calibration information calculation means for calculating
  The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. 2nd coordinate conversion information for converting to the position and orientation of
  The calibration information information calculating means includes
  Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations input by the measurement value input means, current calibration information, and world coordinates of the feature points held by the holding means Image coordinate calculation means for calculating a theoretical value of the image coordinates of the feature point at the imaging position and orientation;
  The theoretical values of the image coordinates of the feature points at the plurality of image pickup positions and orientations calculated by the image coordinate calculation means and the image coordinates of the feature points at the plurality of image pickup positions and orientations acquired by the image coordinate acquisition means. Error calculation means for calculating an error from the actual measurement value,
  The calibration information is calculated using the error calculated by the error calculation means as an evaluation value of the accuracy of the calibration information.
[0028]
  In order to achieve the object of the present invention, for example, a sensor calibration apparatus of the present invention comprises the following arrangement.
[0029]
  That is, a sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of the imaging device,
  Holding means for holding coordinates of a plurality of feature points in the world coordinate system;
  Measurement value input means for inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
  Image coordinate acquisition means for acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
  The measurement values of the position and orientation sensor at the plurality of photographing positions and orientations input by the measurement value input means and the actual measurement values of the image coordinates of the feature points at the plurality of photographing positions and orientations acquired by the image coordinate acquisition means Calibration information calculating means for calculating the calibration information based on the world coordinates of the feature points held by the holding means,
  The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. It is characterized by comprising second coordinate conversion information for conversion to a position and orientation.
[0030]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0031]
In the following embodiments, a case where the calibration apparatus and the method of the present invention are applied to the calibration of the image display apparatus of FIG. 1 will be described.
[0032]
In order to calibrate an image display device using the calibration device of the present embodiment, at least three landmarks (feature points) with known world coordinates in the real space that is to be displayed by the image display device. ) Must be placed. Here, for example, each landmark has a different color so that the image coordinates of the projected image on the captured image can be detected and which landmark can be identified. Suppose that In the world coordinate system, a predetermined point is set as an origin, and x, y, and z axes are set in directions orthogonal to the origin. It is assumed that the coordinates of the three landmarks are already known in this coordinate system. That is, the distances from the origin in the x, y, and z directions are measured in advance for the three landmarks.
[0033]
FIG. 3 is a block diagram showing a functional configuration of a calibration information generation system including a calibration device according to this embodiment. As shown in the figure, the calibration apparatus 300 according to the present embodiment includes a world coordinate holding unit 310, an image coordinate acquisition unit 320, a data management unit 330, a calibration information calculation unit 340, and an instruction unit 350, and is a calibration target. The head mounting unit 100 and the position / orientation sensor 130 of the image display apparatus are connected.
[0034]
The world coordinate holding unit 310 holds coordinate data (data measured in advance by the above method) of each landmark in the world coordinate system, and outputs this according to a request from the data management unit 330. In addition, the world coordinate holding unit 310 holds the data of the information unique to each landmark (landmark color and identification number) in association with the coordinate data of each landmark.
[0035]
The image coordinate acquisition unit 320 inputs an image captured by the video camera 120, specifies the coordinates of the landmark captured in the image and its identification number (identifier), and in accordance with a request from the data management unit 330, Information is output to the data management unit 330. As a method of specifying the landmark coordinates and identification number in the image, for example, referring to the color information of each landmark held by the world coordinate holding unit 310, an area having the color of each landmark in the image is obtained. Then, the center of gravity position in the extracted area is obtained. In this way, the coordinates of each landmark image in the image can be obtained. Further, the identification number information corresponding to the color of each region is specified by referring to the landmark identification number information held by the world coordinate holding unit 310. In this way, it is possible to specify which landmark is in which position in the image.
[0036]
Upon receiving the “data acquisition” instruction from the instruction unit 350, the data management unit 330 inputs the image coordinates and identification number of the landmark from the image coordinate acquisition unit 320, and the corresponding landmark world from the world coordinate holding unit 310. Coordinates are input, sensor measurement values at the same time as the captured image are input from the position / orientation sensor 130, and a set of [world coordinates-sensor measurement values-image coordinates] is added to the data list and held. Further, in accordance with a request from the calibration information calculation unit 340, the generated data list is output to the calibration information calculation unit 340.
[0037]
Upon receiving an instruction “calculation information calculation” from the instruction unit 350, the calibration information calculation unit 340 inputs a data list from the data management unit 330, calculates calibration information based on the data list, and outputs the calculated calibration information. To do.
[0038]
The instruction unit 350 sends a “data acquisition” instruction to the data management unit 330 when a data acquisition command is input from an operator (not shown), and a “calibration information calculation” instruction when the calibration information calculation command is input. It transmits to the calculation part 340. A command can be input to the instruction unit 350 by pressing a key to which a specific command is assigned, for example, using a keyboard. In addition, the command may be input by any method such as a GUI displayed on the display.
[0039]
FIG. 4 is a flowchart of processing performed when the calibration apparatus according to the present embodiment obtains calibration information. The program code according to the flowchart is stored in a memory such as a RAM or a ROM (not shown) in the apparatus according to the present embodiment, and is read and executed by a CPU (not shown).
[0040]
In step S1010, the instruction unit 350 determines whether a data acquisition command has been input from the operator. If a data acquisition command has been input, the process proceeds to step S1020. In the following, the viewpoint position at which the video camera 120 was located at the time when the data acquisition command was input is expressed as VjAnd
[0041]
In step S1020, the data management unit 330 receives the viewpoint position V from the position / orientation sensor 130 (sensor control unit 132).jMeasured value M when the video camera 120 is positioned atVj STEnter.
[0042]
In step S1030, the data management unit 330 displays the viewpoint position V.jLandmark Q on the captured image taken by the video camera 120 located atk(K = 1, 2, 3,...) Identification number k and image coordinates uVjQkIs input from the image coordinate acquisition unit 320. This input is performed for each landmark when a plurality of landmarks are captured on the captured image.
[0043]
In step S1040, the data management unit 330 displays each landmark Q input from the image coordinate acquisition unit 320.kWorld coordinate X (corresponding to each identification number k)Qk WIs input from the world coordinate holding unit 310.
[0044]
Next, in step S1050, the data management unit 330 converts the input data into the data list L for each detected landmark.iAdd to. Specifically, Landmark QkImage coordinates for ui= uVjQk= [ui x, ui y]T, Its world coordinates Xi W= XQk W= [xi W, yi W, zi W, 1]T, The sensor output at that time is Mi ST= MVj STAs [ui, xi W, Mi ST] Is registered in the list as the i-th data. Here, i represents a value obtained by adding 1 to the total number of data currently registered in the list.
[0045]
Data is acquired by the above processing.
[0046]
In step S1060, the instruction unit 350 determines whether the data list acquired so far has enough information to calculate the calibration information. If the data list does not satisfy the condition, the process returns to step S1010 again and waits for the input of a data acquisition command. On the other hand, if the data list satisfies the conditions for calculating calibration information, the process proceeds to step S1070. As conditions for calculating calibration information, for example, data on three or more different landmarks is obtained, data is acquired at a plurality of viewpoint positions, and the total number of data is 6 or more. As a condition. However, since the accuracy of the calibration information derived as the diversity of input data increases, the condition may be set so as to request more data.
[0047]
In step S1070, it is determined whether a calibration information calculation command has been input from the operator. If the calibration information calculation command has been input, the process proceeds to step S1080. If the calibration information calculation command has not been input, the process returns to step S1010 again to wait for the input of the data acquisition command.
[0048]
The calibration information calculation unit 340 internally expresses information on the posture of the calibration information to be obtained by a ternary vector that defines the rotation angle by the magnitude of the vector and the rotation axis direction by the direction of the vector. . And MCSIs the position of the receiver 131 in the coordinate system defined by the video camera 120 (xCS, yCS, zCS) And posture (ξCS, ψCS, ζCS) And MTWIs the position of the world coordinate system 200 in the sensor coordinate system 210 (xTW, yTW, zTW) And posture (ξTW, ψTW, ζTW) The twelve unknown parameters are the vectors s = (xCS yCS zCS ξCS ψCS ζCS xTW yTW zTW ξTW ψTW ζTW).
[0049]
In step S1080, the calibration information calculation unit 340 sets an initial value appropriate for the vector s (for example, s = [0 0 0 2 / π 0 0 0 0 0 2 / π 0 0]).T)give.
[0050]
In step S1090, the calibration information calculation unit 340 reads each data L in the list.iFor (i = 1,2 ,,,, N), the theoretical value u ′ of the image coordinates of the landmarki= [u 'i x, u 'i y], Sensor output Mi ST, World coordinates Xi WAnd based on the current s. Here, the theoretical value of the image coordinates of the landmark refers to data of a position (coordinate) where the original landmark should be visible in the image, which is obtained from the obtained sensor output and the world coordinates of the landmark. u 'iSensor output M with s as a variablei STAnd world coordinates Xi WFunctions defined by
u 'i= Fi(s) (Formula B)
Can be determined by.
[0051]
Specifically, first,
Figure 0004095320
Is a component of s based on (xCS, yCS, zCS) And (ξCS, ψCS, ζCS) To viewing transformation matrix MCSAs well as (xTW, yTW, zTW) And (ξTW, ψTW, ζTW) To viewing transformation matrix MTWIs calculated. Next, the camera coordinates X of the landmarki CThe
Xi C= [xi C yi C zi C 1] = MCS・ Mi ST・ MTW・ Xi W        (Formula D)
Calculated by Finally, the theoretical value of the image coordinates
u 'i x= -f × xi C/ Zi C    u 'i y= -f × yi C/ Zi C        (Formula E)
Calculated by Here, f is the focal length of the video camera 120.
[0052]
In step S1100, the calibration information calculation unit 340 reads each data L in the list.iIs the theoretical value u ′ of the image coordinates of the landmarkiAnd measured value uiError ΔuiThe
Δui= ui-u 'i    (Formula F)
Calculated by
[0053]
In step S1110, the calibration information calculation unit 340 obtains each data L in the list.iOn the other hand, a Jacobian matrix J of 2 rows × 12 columns having a solution obtained by partial differentiation of the right side of (Equation B) with each element of the vector s.i us(= ∂u / ∂s) is calculated. Specifically, the right side of (Equation E) is the camera coordinate Xi C2 row x 3 column Jacobian matrix J with each element having a solution that is partially differentiated by each elementi ux(= ∂u / ∂x) and a Jacobian matrix J of 3 rows × 12 columns having a solution obtained by partial differentiation of the right side of (Formula D) with each element of the vector s.i xs(= ∂x / ∂s) is calculated based on (Equation E) and (Equation D),
Ji us= Ji uxJi xs        (Formula G)
Calculate as
[0054]
In step S1120, the calibration information calculation unit 340 calculates all the data L in the list calculated in steps S1100 and S1110.iError with respect toiAnd Jacobian Ji usBased on the above, a correction value Δs of s is calculated. Specifically, the error Δu for all dataiAnd Jacobian Ji usVector U = [Δu1 Δu2 ,,, ΔuN]TAnd Φ = [J1 us J2 us ,,, JN us]TAnd using the generalized inverse matrix of Φ,
Δs = (ΦTΦ)-1ΦTU (Formula H)
Calculate as
[0055]
In step S1130, the calibration information calculation unit 340 corrects s using the correction value Δs calculated in step S1120.
[0056]
s + Δs → s (Formula I)
In step S1140, the calibration information calculation unit 340 determines whether or not the calculation has converged using some criterion such as whether each element of U is sufficiently small or whether Δs is sufficiently small. Do. If it has not converged, the processing after step S1090 is performed again using the corrected s.
[0057]
In step S1150, the calibration information calculation unit 350 outputs the obtained s as calibration information. As the calibration information, for example, two viewing transformation matrices calculated from s are output. The output form may be s itself, or any other position and orientation description method.
[0058]
The world coordinate holding unit 310, the image coordinate acquisition unit 320, the data management unit 330, the calibration information calculation unit 340, and the instruction unit 350 can be configured by, for example, one general-purpose computer.
[0059]
<Modification 1>
In the present embodiment, the case where the calibration apparatus and the method thereof are applied to the calibration of the image display apparatus using the Polhemus magnetic sensor FASTRAK as the position and orientation sensor 130 has been described. However, the calibration apparatus and the method of the present embodiment are described. The position / orientation sensor of the image display device that can be calibrated by the above is not limited to FASTRAK. It is possible to calibrate an image display device that uses any other position and orientation sensor (for example, Flock of Birds from Ascension Technology or OPTOTRAK from Northern Digital Inc.) to measure the position and orientation. Needless to say.
[0060]
<Modification 2>
In the above embodiment, the acquisition of the image coordinates of the landmark and its identification number is performed by extracting a specific color area from the image by threshold processing using the landmark having the color as identification information, This is done by detecting the image coordinates of the landmarks it has. However, any other method may be used as long as the projected coordinates of the landmarks on the image and the landmark identification number can be specified. For example, using a landmark having a specific pattern as identification information, a region of the specific pattern may be extracted from the image by pattern matching, and the detection position may be output as the image coordinates of the landmark having the pattern. The image processing is not necessarily performed, and the landmark image coordinates and the identification number thereof may be input manually by an operator. In this case, the image coordinate acquisition unit 320 allows the operator to easily input the landmark position by, for example, specifying a landmark position on the captured image displayed on the work display by clicking the mouse. A configuration having some kind of GUI is desirable.
[0061]
Further, when using a plurality of landmarks having the same characteristics that cannot be identified by image processing, the image coordinates of the landmarks are acquired by image processing, and the identification number is input manually. You can also. In addition, any other method may be used for landmark identification. For example, when rough calibration information is obtained from the beginning, the landmark is calculated by comparing the theoretical value of the image coordinate of each landmark calculated by (Equation B) with the image coordinate of the detected landmark. May be identified.
[0062]
Further, in either case of acquisition by image processing or acquisition by manual input, the landmark does not necessarily have to be artificial (artificial), and natural features may be used.
[0063]
<Modification 3>
In the above embodiment, an appropriate value is set as the initial value of the calibration information in step S1080. However, when the initial value and the actual value are far from each other, the solution does not converge in the above embodiment, and calibration information cannot be obtained. In order to cope with such a situation, combinations of different positions and orientations are set in advance, and these are sequentially used as initial values to perform the processing from step S1090 to step S1140, and s when the solution converges is selected. You may do it. Further, an initial value input unit for inputting an initial value (or position and orientation information necessary for generating the initial value) by the operator is further prepared, and calibration information calculation processing is performed using the input initial value. It is also possible.
[0064]
<Modification 4>
In a more preferred modification of the present invention, the calibration device further includes an image generation unit. The image generation unit superimposes the image coordinates of the landmark detected by the image coordinate acquisition unit 320 on the captured image and outputs the superimposed image to the display screen. According to this modification, the operator can input a data acquisition instruction while confirming the detection status of the landmark.
[0065]
In addition, the image generation unit calculates a theoretical value of the image coordinates of each landmark based on the calibration information calculated by the calibration information calculation unit 340, and superimposes this on the captured image and outputs it to the display screen. According to this modification, the operator can verify the calibration work by comparing the actual landmark and the calculation position displayed there.
[0066]
<Modification 5>
In the above embodiment, the instruction unit 350 for inputting a control command from the operator is provided. However, this input is not always necessary. For example, every time the image coordinate acquisition unit 320 detects a landmark, the data list is displayed. A configuration may be adopted in which the calibration information calculation unit 340 calculates the calibration information when the data list satisfies the conditions.
[0067]
<Modification 6>
In the above embodiment, the image generation device and the calibration device are configured as separate devices, but it is of course possible to configure an image generation device having the function of the calibration device.
[0068]
<Modification 7>
In the above embodiment, the position and orientation sensor of the image display device that presents the mixed reality is calibrated. However, the application range is not limited to this, and the position and orientation of the imaging device is determined by the position and orientation sensor. The present invention can be applied to any other purpose such as measurement.
[0069]
[Other Embodiments]
An object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus Needless to say, this can also be achieved by reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0070]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0071]
When the present invention is applied to the above-mentioned storage medium, program codes corresponding to the flowchart (shown in FIG. 4) described above are stored in the storage medium.
[0072]
【The invention's effect】
As described above, according to the present invention, the calibration information for converting the position and orientation of the imaging device measured by the sensor into the position and orientation in the world coordinate system can be more simply and specially calibrated. It can be obtained without using it.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a functional configuration of a general image display device that presents mixed reality.
FIG. 2 is a diagram illustrating a method for calculating the position and orientation of a video camera in the world coordinate system.
FIG. 3 is a diagram showing a functional configuration of a calibration information generation system including a calibration device according to an embodiment of the present invention.
FIG. 4 is a flowchart of processing performed when the calibration device according to the embodiment of the present invention obtains calibration information.

Claims (13)

撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを有し
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出工程は、
前記計測値入力工程によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出工程と、
前記画像座標算出工程によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得工程によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出工程とを有し
前記誤差算出工程が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とするセンサ較正方法。
A sensor calibration method for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
A holding step of holding coordinates in the world coordinate system of a plurality of feature points in a predetermined holding means in advance;
A measurement value input step of inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
An image coordinate acquisition step of acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations, the actual measurement values of the image coordinates of the feature points at the plurality of imaging positions and orientations, and the world coordinates of the feature points held by the holding unit A calibration information calculation step for calculating
The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. 2nd coordinate conversion information for converting to the position and orientation of
The calibration information information calculation step includes
Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations input by the measurement value input step, current calibration information, and world coordinates of the feature points held by the holding unit , An image coordinate calculation step of calculating a theoretical value of the image coordinates of the feature point in the imaging position and orientation ;
Wherein the theoretical value of the image coordinates of the feature points in the image coordinate the plurality of imaging position and orientation calculated by the calculating step, the image coordinates of the feature points in the plurality of imaging position and orientation acquired by the image coordinate acquisition step and a error calculation step of calculating an error between the actual measurement value,
A sensor calibration method, wherein the calibration information is calculated using the error calculated in the error calculation step as an evaluation value of the accuracy of the calibration information.
前記較正情報算出工程は、
前記誤差算出工程が算出する誤差にもとづいて、前記誤差を軽減するような較正情報の補正値を算出する補正値算出工程と、
前記補正値算出工程によって算出された前記補正値により前記較正情報を更新する較正情報更新工程とをさらに有し、
前記画像座標算出工程、前記誤差算出工程、前記補正値算出工程及び前記較正情報更新工程の繰り返し処理によって前記較正情報を算出することを特徴とする、請求項1に記載のセンサ較正方法。
The calibration information calculation step includes
A correction value calculating step of calculating a correction value of calibration information that reduces the error based on the error calculated by the error calculating step;
A calibration information update step of updating the calibration information with the correction value calculated by the correction value calculation step;
The sensor calibration method according to claim 1, wherein the calibration information is calculated by repetitive processing of the image coordinate calculation step, the error calculation step, the correction value calculation step, and the calibration information update step.
前記較正情報は、前記位置姿勢センサの出力値であるセンサ座標系における測点の位置姿勢を、前記世界座標系における前記撮像装置の位置姿勢に変換するための情報であることを特徴とする請求項1又は2に記載のセンサ較正方法。  The calibration information is information for converting a position and orientation of a measurement point in a sensor coordinate system, which is an output value of the position and orientation sensor, into a position and orientation of the imaging apparatus in the world coordinate system. Item 3. The sensor calibration method according to Item 1 or 2. 撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正方法であって、
複数の特徴点の世界座標系における座標を予め所定の保持手段に保持する保持工程と
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力工程と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得工程と、
前記計測値入力工程によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得工程によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出工程とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とするセンサ較正方法。
A sensor calibration method for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
A holding step of holding coordinates in the world coordinate system of a plurality of feature points in a predetermined holding means in advance;
A measurement value input step of inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
An image coordinate acquisition step of acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
The measured values of the position and orientation sensors at the plurality of shooting positions and orientations input by the measurement value input step and the actual measurement values of the image coordinates of the feature points at the plurality of shooting positions and orientations acquired by the image coordinate acquisition step A calibration information calculation step of calculating the calibration information based on the world coordinates of the feature points held by the holding means,
The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. A sensor calibration method comprising second coordinate conversion information for conversion into a position and orientation.
前記第一の座標変換情報および前記第二の座標変換情報はそれぞれ、位置に関する3つの未知パラメータと、姿勢に関する3つの未知パラメータからなることを特徴とする、請求項4に記載のセンサ較正方法。  5. The sensor calibration method according to claim 4, wherein each of the first coordinate conversion information and the second coordinate conversion information includes three unknown parameters related to a position and three unknown parameters related to a posture. 前記特徴点は、現実空間中に配置したマーカであることを特徴とする、請求項1乃至5の何れか1項に記載のセンサ較正方法。  The sensor calibration method according to claim 1, wherein the feature point is a marker arranged in a real space. 前記特徴点は、現実空間中に存在する自然特徴であることを特徴とする、請求項1乃至5のいずれか1項に記載のセンサ較正方法。  The sensor calibration method according to claim 1, wherein the feature point is a natural feature existing in a real space. 前記画像座標取得工程は、画像処理によって前記画像座標の実測値を検出し入力することを特徴とする、請求項1乃至7のいずれか1項に記載のセンサ較正方法。  The sensor calibration method according to claim 1, wherein the image coordinate acquisition step detects and inputs an actual measurement value of the image coordinates by image processing. 前記画像座標取得工程は、手入力によって前記画像座標の実測値を検出し入力することを特徴とする、請求項1乃至7のいずれか1項に記載のセンサ較正方法。  The sensor calibration method according to claim 1, wherein the image coordinate acquisition step detects and inputs an actual measurement value of the image coordinates by manual input. 請求項1乃至9のいずれかに記載のセンサ較正方法をコンピュータに実行させるためのプログラム。  A program for causing a computer to execute the sensor calibration method according to claim 1. 請求項10に記載のプログラムを格納するコンピュータ読み取り可能な記憶媒体。  A computer-readable storage medium storing the program according to claim 10. 撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記複数の撮像位置姿勢における位置姿勢センサの計測値、前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値および前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを有し、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置の位置姿勢に変換するための第二の座標変換情報を有し、
前記較正情報情報算出手段は、
前記計測値入力手段によって入力された前記複数の撮像位置姿勢における前記位置姿勢センサの計測値と、現在の較正情報と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値を算出する画像座標算出手段と、
前記画像座標算出手段によって算出された前記複数の撮像位置姿勢における前記特徴点の画像座標の理論値と、前記画像座標取得手段によって取得された前記複数の撮像位置姿勢における前記特徴点の画像座標の実測値との誤差を算出する誤差算出手段とを有し
前記誤差算出手段が算出する誤差を前記較正情報の正確さの評価値として前記較正情報を算出することを特徴とするセンサ較正装置。
A sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
Holding means for holding coordinates of a plurality of feature points in the world coordinate system;
Measurement value input means for inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
Image coordinate acquisition means for acquiring the actual values of the image coordinates of the plurality of feature points on said plurality of captured images the imaging device in the imaging position and orientation has been captured,
Based on the measurement values of the position and orientation sensors at the plurality of imaging positions and orientations, the actual measurement values of the image coordinates of the feature points at the plurality of imaging positions and orientations, and the world coordinates of the feature points held by the holding unit Calibration information calculation means for calculating
The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. 2nd coordinate conversion information for converting to the position and orientation of
The calibration information information calculation means includes
The measurement values of the position and orientation sensor in the plurality of imaging positions and orientations inputted by the measurement value input means, and the current calibration information, based on the world coordinates of the feature point in which the holding means for holding said plurality of Image coordinate calculation means for calculating a theoretical value of the image coordinates of the feature point at the imaging position and orientation ;
And the theoretical value of the image coordinates of the feature points in the plurality of imaging positions and orientations calculated by the image coordinate calculation unit, the image coordinates of the feature points in the plurality of imaging position and orientation acquired by the image coordinate acquisition means and a error calculating means for calculating an error between the actual measurement value,
The sensor calibration apparatus, wherein the calibration information is calculated using the error calculated by the error calculation means as an evaluation value of the accuracy of the calibration information.
撮像装置の位置姿勢を計測するための位置姿勢センサの較正情報を求めるセンサ較正装置であって、
複数の特徴点の世界座標系における座標を保持する保持手段と、
複数の撮像位置姿勢に前記撮像装置を位置させた状態における前記位置姿勢センサの計測値を入力する計測値入力手段と、
前記複数の撮像位置姿勢において前記撮像装置が撮像した撮像画像上における前記複数の特徴点の画像座標の実測値を取得する画像座標取得手段と、
前記計測値入力手段によって入力された前記複数の撮影位置姿勢における前記位置姿勢センサの計測値および前記画像座標取得手段によって取得された前記複数の撮影位置姿勢における前記特徴点の画像座標の実測値と、前記保持手段が保持する前記特徴点の世界座標に基づいて、前記較正情報を算出する較正情報算出手段とを備え、
前記較正情報は、前記センサ座標系における位置姿勢を世界座標系における位置姿勢に変換するための第一の座標変換情報と、前記位置姿勢センサの出力値である測点の位置姿勢を前記撮像装置位置姿勢に変換するための第二の座標変換情報からなることを特徴とするセンサ較正装置。
A sensor calibration device for obtaining calibration information of a position and orientation sensor for measuring the position and orientation of an imaging device,
Holding means for holding coordinates of a plurality of feature points in the world coordinate system;
Measurement value input means for inputting measurement values of the position and orientation sensor in a state where the imaging device is positioned at a plurality of imaging positions and orientations;
Image coordinate acquisition means for acquiring measured values of image coordinates of the plurality of feature points on a captured image captured by the imaging device at the plurality of imaging positions and orientations;
The measurement values of the position and orientation sensor at the plurality of photographing positions and orientations input by the measurement value input means and the actual measurement values of the image coordinates of the feature points at the plurality of photographing positions and orientations acquired by the image coordinate acquisition means Calibration information calculating means for calculating the calibration information based on the world coordinates of the feature points held by the holding means,
The calibration information includes first coordinate conversion information for converting a position and orientation in the sensor coordinate system into a position and orientation in the world coordinate system, and a position and orientation of a measurement point that is an output value of the position and orientation sensor. A sensor calibration device comprising second coordinate conversion information for conversion into a position and orientation.
JP2002076760A 2002-03-19 2002-03-19 Sensor calibration device, sensor calibration method, program, storage medium Expired - Fee Related JP4095320B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002076760A JP4095320B2 (en) 2002-03-19 2002-03-19 Sensor calibration device, sensor calibration method, program, storage medium
EP03251542A EP1349114A3 (en) 2002-03-19 2003-03-13 Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
CNB031207375A CN1210543C (en) 2002-03-19 2003-03-18 Sensor calibrating device and method, program, memory medium, information processing method and device
US10/390,739 US6792370B2 (en) 2002-03-19 2003-03-19 Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
US10/892,104 US7130754B2 (en) 2002-03-19 2004-07-16 Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002076760A JP4095320B2 (en) 2002-03-19 2002-03-19 Sensor calibration device, sensor calibration method, program, storage medium

Publications (2)

Publication Number Publication Date
JP2003269913A JP2003269913A (en) 2003-09-25
JP4095320B2 true JP4095320B2 (en) 2008-06-04

Family

ID=29205420

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002076760A Expired - Fee Related JP4095320B2 (en) 2002-03-19 2002-03-19 Sensor calibration device, sensor calibration method, program, storage medium

Country Status (1)

Country Link
JP (1) JP4095320B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008224454A (en) * 2007-03-13 2008-09-25 Canon Inc Information processor and information processing method
US11127155B2 (en) 2018-09-27 2021-09-21 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4522129B2 (en) 2004-03-31 2010-08-11 キヤノン株式会社 Image processing method and image processing apparatus
US7340316B2 (en) * 2004-06-28 2008-03-04 Hanger Orthopedic Group, Inc. System and method for producing medical devices
JP4677273B2 (en) 2004-06-29 2011-04-27 キヤノン株式会社 Information processing method and information processing apparatus
JP4976756B2 (en) 2006-06-23 2012-07-18 キヤノン株式会社 Information processing method and apparatus
JP4943270B2 (en) * 2007-08-09 2012-05-30 富士フイルム株式会社 Method and apparatus for setting a three-dimensional coordinate system
JP5728372B2 (en) 2011-11-30 2015-06-03 キヤノン株式会社 Information processing apparatus, information processing apparatus control method, and program
KR101418873B1 (en) 2013-03-27 2014-07-17 한국과학기술연구원 method for calibating orientation measurement sensor, apparatus for calibating orientation measurement sensor, mobile electronic device comprising the same and program recording medium
JP6237326B2 (en) 2014-02-25 2017-11-29 富士通株式会社 Posture estimation apparatus, posture estimation method, and computer program for posture estimation
EP3236286B1 (en) * 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
CN111275766B (en) * 2018-12-05 2023-09-05 杭州海康威视数字技术股份有限公司 Calibration method and device for image coordinate system and GPS coordinate system and camera
CN109901123B (en) * 2018-12-24 2023-12-01 文远知行有限公司 Sensor calibration method, device, computer equipment and storage medium
JP7153594B2 (en) * 2019-03-26 2022-10-14 日立建機株式会社 Calibration work support system
JP2021063922A (en) * 2019-10-15 2021-04-22 ソニー株式会社 Information processing device, information processing method, and program
CN112634376B (en) * 2020-12-25 2024-06-04 深圳中科飞测科技股份有限公司 Calibration method and device, calibration equipment and storage medium
CN113013079B (en) * 2021-02-09 2023-08-25 英特尔产品(成都)有限公司 Tool and method for calibrating the mounting position of a distance sensor of an eddy current suction nozzle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008224454A (en) * 2007-03-13 2008-09-25 Canon Inc Information processor and information processing method
US11127155B2 (en) 2018-09-27 2021-09-21 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Also Published As

Publication number Publication date
JP2003269913A (en) 2003-09-25

Similar Documents

Publication Publication Date Title
JP4095320B2 (en) Sensor calibration device, sensor calibration method, program, storage medium
JP4976756B2 (en) Information processing method and apparatus
US7613361B2 (en) Information processing method and device
US7657065B2 (en) Marker placement information estimating method and information processing device
JP4136859B2 (en) Position and orientation measurement method
US7529387B2 (en) Placement information estimating method and information processing device
JP5230114B2 (en) Information processing apparatus and information processing method
JP5036260B2 (en) Position and orientation calculation method and apparatus
JP4593968B2 (en) Position and orientation measurement method and apparatus
JP6740033B2 (en) Information processing device, measurement system, information processing method, and program
US20040090444A1 (en) Image processing device and method therefor and program codes, storing medium
CN106859675A (en) The method and system of the scanner automation for X-ray tube carried out with 3D cameras
JP2017129567A (en) Information processing apparatus, information processing method, and program
EP1596218A2 (en) Information processing method and system
US7123214B2 (en) Information processing method and apparatus
KR101896827B1 (en) Apparatus and Method for Estimating Pose of User
WO2019013162A1 (en) Information processing device and information processing method
JP2012145598A (en) Information processing method and information processing device
JP4566786B2 (en) Position and orientation measurement method and information processing apparatus
JP4991395B2 (en) Information processing method and information processing apparatus
JP2009175012A (en) Measurement device and measurement method
JP2005353036A (en) Information processing method and device
JP5726024B2 (en) Information processing method and apparatus
JP6109213B2 (en) Information processing apparatus and method, program
JP2005270484A (en) Calibration method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051206

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051222

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4095320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140314

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees