JP4346950B2

JP4346950B2 - 情報処理方法および装置

Info

Publication number: JP4346950B2
Application number: JP2003127096A
Authority: JP
Inventors: 利果田中; 清秀佐藤; 和樹武本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-05-02
Filing date: 2003-05-02
Publication date: 2009-10-21
Anticipated expiration: 2023-05-02
Also published as: US20040220767A1; US7124053B2; JP2004334393A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置の位置姿勢のキャリブレーションを行うものに関する。
【０００２】
【従来の技術】
空間中に固定して設置したカメラの位置姿勢を計測する方法として、３次元空間中の座標（以下世界座標）値が既知である複数マーカ（すなわち、指標）をカメラによって撮像し、マーカの世界座標と撮像画像座標の関係をみたすようなカメラの位置姿勢を算出する（いわゆるＰｎＰ問題を解く）方法がある。
【０００３】
この手法では、カメラによる撮像画像からマーカを抽出し、さらにそのマーカがどのマーカなのかを同定する必要がある（この一連の処理を以下、単にマーカ抽出処理と呼ぶ）。マーカ抽出処理は、カメラで撮影した画像を、画像処理することによって自動的に行ったり、オペレータの手作業によって行ったり、あるいは双方の手段によって実現されている。
【０００４】
手作業によって行う手法では、カメラによる撮像画像を静止画像としてディスプレイなどに表示し、その表示画像上におけるマーカ位置をマウスでクリックすることで、マーカの画像座標入力が実現されている。
【０００５】
また、マーカ抽出処理を自動的に行う手法は、カメラで撮影した静止画像に対して、マーカ抽出パラメータ（抽出色の閾値やマーカの大きさなどを指定するパラメータ）を設定・調整し画像処理を施すことで実現されている。
【０００６】
【発明が解決しようとする課題】
しかし、マーカ抽出処理は画像の明るさに影響されやすく、撮像空間の明るさや撮像方向などによっては、画像の明暗がはっきりせず、画像上でのマーカの判断が難しくなる。このことから、撮像時には、照明などに気を配る必要がある。特に、マーカ抽出処理を自動的に行う場合には、マーカ抽出パラメータの調整も必要となるため、うまくマーカ抽出処理される環境を設定するための試行錯誤が必要となっている。
【０００７】
そのため、従来の静止画像を用いたマーカの自動抽出処理では、環境を撮影してマーカ抽出処理を行い、うまく抽出処理できない場合には撮像環境を変え、再度撮像してマーカ抽出処理を行い、と作業を何度も繰り返し行う必要があった。手作業によってマーカ抽出を行う場合も、すべてのマーカに対して、その抽出に必要な情報が視認できるように、撮像画像の入力を繰り返し行う必要があった。
【０００８】
本発明は、上述の点に鑑みてなされたものであり、撮影画像からの指標の高精度の抽出処理を簡単に行えるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明は、世界座標が既知である同一直線上にない３点以上の指標を用いて、位置・姿勢が固定された撮像装置の位置・姿勢を算出する情報処理方法であって、位置・姿勢が固定された撮像装置によって撮像された撮像画像を入力する画像入力工程と、前記入力された撮像画像に含まれる指標を抽出し、該抽出された指標それぞれの画像座標を取得する指標抽出工程と、前記指標抽出工程による抽出結果に応じたコンピュータグラフィックを生成する画像生成工程と、前記撮像画像および前記コンピュータグラフィックを表示する表示工程と、前記指標抽出工程により取得された３点以上の指標の前記画像座標と、該３点以上の指標の前記世界座標とから、前記撮像装置の位置・姿勢を算出する算出工程とを有し、前記画像入力工程は、前記撮像装置によって撮像されたライブ映像を入力するライブ映像モードと、前記撮像装置によって撮像された静止画像を入力する静止画像モードとを有し、前記指標抽出工程は、指標抽出パラメータに基づき、更新された撮像画像から指標を、順次、自動的に抽出し、指標の抽出結果を更新する自動抽出モードと、ユーザ指示に応じて撮像画像に含まれる指標を抽出し、撮像画像の更新にかかわらず、該ユーザ指示に応じた抽出結果を保持する手動抽出モードとを有することを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
【００１１】
＜第１の実施形態＞
本実施形態は、固定のカメラの位置姿勢キャリブレーション装置であり、カメラで世界座標が既知のマーカを撮影し、マーカの世界座標とカメラ画像座標の関係を満たすようにして、カメラの位置姿勢を算出する。
【００１２】
そのため本実施形態では、
（１）同一直線上にない３点以上のマーカの世界座標
（２）カメラから撮影した画像上におけるマーカの画像座標
（３）世界座標系におけるカメラ位置姿勢の初期値（大まかな値）
を用い、（１）各マーカの世界座標、（３）カメラ位置姿勢を基にそのマーカの画像座標の理論値を求め、（２）実測値との誤差の和が最小となるようなカメラの位置姿勢を算出する（カメラキャリブレーション）。
【００１３】
このうち、（１）と（３）は準備段階で既知の情報として用意すべきデータである。マーカ（ランドマーク、特徴点）は、カメラが撮影対象としている現実空間内に、世界座標が既知な最低３点以上が配置されている必要がある。ここで、各マーカは、カメラ撮影画像上におけるその投影像の画像座標が特定可能であって、かついずれのマーカであるかが識別可能であるような、例えばそれぞれが異なる色を有するマーカであるものとする。世界座標系は所定の１点を原点とし、更にこの原点から夫々直交する方向にＸ、Ｙ、Ｚ軸をとる。そしてこの座標系において上記３点のマーカの座標が既知であるとする。つまり、予め上記３点のマーカについて原点からＸ、Ｙ、Ｚ方向への距離を測定しておく。また、（３）の固定カメラ配置情報の初期値は必ずしも必要なデータではないが、設定しないと適切な解が得られない場合があるため、この概算値も測定しておく。
【００１４】
（２）はカメラ位置姿勢算出時に取得するデータ、つまり、カメラ撮像画像からマーカ抽出処理で算出するデータである。本実施例においてマーカ抽出処理は、後述するマーカ抽出パラメータによって自動的に行うこともでき、また、オペレータがマーカ位置を手入力することもできるよう構成されている。
【００１５】
本実施形態では、図１に示す、マーカ抽出処理のためのＵＩ（ユーザインターフェース）１０を用意している。このＵＩ１０は、画像表示部２０を備えており、マーカ抽出処理結果をマーカ抽出処理に用いた画像と共に表示することができる。図１では、抽出されたマーカ位置に×印が表示され、さらに同定されたマーカが四角で囲まれている。
【００１６】
このＵＩ１０は、画像表示モード選択機能を有している。ＵＩ１０の［ＬＩＶＥ／ＳＴＩＬＬ］ボタン３０を押すことにより、ライブ映像表示モードと静止画像表示モードとを切り替えることができる。本装置は起動時にはライブ映像モードに設定されている。ライブ映像表示モードでは、カメラによって逐次的に撮影される最新の撮影映像（ライブ映像）が画像表示部２０に表示され、このライブ映像がマーカ抽出処理の対象となる。以下、画像表示部２０に表示されマーカ抽出処理の対象となる画像を対象画像と呼ぶ。静止画像表示モードでは、既に読み込まれている撮影映像（具体的には、［ＬＩＶＥ／ＳＴＩＬＬ］ボタン３０によって静止画像表示モードに切り替えられた時点における入力画像）が対象画像となる。
【００１７】
オペレータはこの画像表示モードの切り替え機能を使って、例えばマーカ抽出においてノイズが多数検出されてしまう場合において、ライブ映像表示モードに設定すれば、リアルタイムで変更する撮像映像を観察しながら、マーカ抽出しやすい照明に変更することができる。また、手作業でマーカを抽出する場合に、すべてのマーカが同時に視認できる状態が得られない場合であっても、ライブ映像上で見えているマーカを順次抽出していくことが可能となる。一方、人の出入りが激しいなど、カメラでマーカを撮影しつづけることが難しい場合においては、マーカを一度撮影して静止画像表示モードに設定することで、人の出入りなどに影響されずにマーカ抽出作業が行うことができる。
【００１８】
さらにこのＵＩ１０は、マーカ抽出処理モード選択機能を有している。マーカ抽出処理モードとは、対象画像のマーカ抽出処理を手動で行うか自動で行うかを決定するためのモードであり、自動抽出処理モードと手動抽出処理モードとがある。マーカ抽出処理モードは、マーカ抽出切り替えボタン４０を押すことで切り替えることができる。自動抽出処理モードでは、後述するマーカ抽出パラメータに従って、対象画像が画像処理されることで自動的にマーカが抽出される。手動抽出処理モードでは、オペレータが画像表示部２０上において対象画像のマーカ位置をマウスクリックすることで画像上におけるマーカ位置を手動入力したり、画像表示部２０上におけるマウスクリックによりマーカの選択を行ったり、マーカ削除ボタン５０によって誤って抽出されているマーカを削除したり、さらにマーカ同定用プルダウンメニュー６０によってマーカがどのマーカであるかを同定したり・修正したりといったことが可能である。この手動抽出処理モードでは、自動抽出処理モードによる抽出処理結果を利用して、誤って抽出処理された部分だけを手動で修正することも可能である。もちろん、自動抽出結果を全く利用せずに、すべてを手入力することも可能である。
【００１９】
さらにこのＵＩには、不図示の入力手段を介して、マーカ抽出パラメータを対話的に変更することができる。マーカ抽出パラメータとは、上述したマーカ抽出処理モードが自動抽出処理モードである場合に、抽出するマーカを指定するためのパラメータである。マーカ抽出のパラメータとして例えば、ｒｅｄ（赤）、ｇｒｅｅｎ（緑）、ｂｌｕｅ（青）の各色の閾値やマーカの大きさなどがある。マーカ抽出処理においては、これらのパラメータを正しく設定することが重要である。自動抽出処理モードにおいてこのＵＩを使うことで、オペレータはマーカ抽出処理結果を観察しながら抽出パラメータの調整を試行錯誤的に行える。
【００２０】
ＵＩ１０のボタン７０はカメラパラメータ算出実行ボタンであり、マーカ抽出処理が終了した後、ボタン７０を押すことによって、抽出されたマーカの画像座標と世界座標との関係を満たすようなカメラ位置姿勢が算出される（カメラキャリブレーション）。
【００２１】
図２は第１の実施形態における概略構成を示すブロック図である。
【００２２】
１０００が本実施形態におけるキャリブレーション装置である。キャリブレーション装置１０００には、キャリブレーションの対象となるカメラを接続することができ、本実施例では撮像装置１００を接続している。撮像装置１００は、対象空間および配置されたマーカを一望するよう固定されている。
【００２３】
２００は撮影映像取込部であり、位置姿勢が固定された撮像装置１００によって撮影された映像信号を入力し、表示部７００およびマーカ抽出部３００に適した形式に変換して、マーカ抽出部３００からの要求にしたがって表示部７００およびマーカ抽出部３００に送出する。
【００２４】
操作入力部８００は、各種インタフェース機器によって実現される。操作入力部８００はオペレータからの入力信号をデータとして入力する。上述したマーカ抽出の際の画像表示モード選択機能、マーカ抽出処理モード選択機能、および、抽出パラメータの変更機能も操作入力部８００によって実現されている。また、マーカ抽出を手作業で行う場合の入力や、カメラ位置姿勢の算出を指示するコマンド実行の入力も行う。
【００２５】
操作入力部８００より入力された信号は、適切な形に変換され、適切な処理部（各種モードの変更や抽出パラメータの変更コマンドはマーカ抽出部３００に、カメラ位置姿勢の算出を指示するコマンドは位置姿勢算出部４００）に送出される。
【００２６】
マーカ抽出部３００では、各種モードの変更およびマーカ抽出処理が行われる。マーカ抽出部３００は、操作入力部８００から画像表示モードおよびマーカ抽出処理モードの変更の指示が入力された場合、入力されたモードに設定し、また、マーカ抽出パラメータの変更コマンドが入力された場合、マーカ抽出パラメータを入力された値に設定する。
【００２７】
マーカ抽出部３００は、画像表示モードがライブ映像モードである場合、撮影映像取込部２００に撮像画像の送信を指示し、撮影画像を読み込むことで常に最新の撮像映像を対象画像とする。また、静止画像表示モードである場合、静止画像表示モードが指示された時点においてマーカ抽出部３００に読み込まれている撮像映像を対象画像とし、その後ライブ映像モードが指示されるまで撮影映像を更新しない。
【００２８】
マーカ抽出部３００は、マーカ抽出処理モードが自動抽出処理モードである場合、データ部から読み込んだマーカ情報および上述したマーカ抽出パラメータに従って画像処理を施すことで、対象画像からマーカの抽出を行う。自動抽出処理モードの際は、更新される画像に対して順次マーカの抽出処理を行い、マーカの抽出結果を更新する。
【００２９】
また、マーカ抽出処理モードが手動抽出処理モードである場合、ＵＩ１０からオペレータによって入力されるデータを、対象画像のマーカ抽出処理結果とする。手動抽出処理モードが指示された場合は、対象画像の更新にかかわらず、指示されたマーカ位置を保持する。
【００３０】
マーカ抽出部３００は、ボタン７０の指示に応じて、マーカ抽出処理結果であるマーカ抽出情報をカメラ位置姿勢算出部４００に送出する。ボタン７０が押下された際に、抽出されているマーカの数が、キャリブレーションするために必要な３より少なかった場合は、警告を出す。なお、抽出されたマーカが３つになるまでは、ボタン７０を押下できないようにしてもよい。
【００３１】
カメラ位置姿勢算出部４００では、操作入力部８００からカメラ位置姿勢の算出を指示するコマンドが入力されると、カメラの位置姿勢を算出する。本実施形態では、カメラ位置姿勢算出部４００は、データ部６００より読み込んだ各マーカの世界座標およびカメラ位置姿勢の初期値を基にそのマーカの画像座標の理論値を求め、マーカ抽出部３００からマーカ情報として送出された実測値との誤差の和が最小となるようなカメラの位置姿勢を算出する。算出されたカメラの位置姿勢は画像生成部５００に送出される。
【００３２】
なお、各マーカの情報（世界座標や識別子（ＩＤ）など）は、不図示の設定部を用いてユーザがマニュアルで設定、調整可能である。そして、設定されたマーカの情報は、図１のＵＩ１０における「Ｍａｒｋｅｒｌｉｓｔ」領域に一覧表示される。
【００３３】
本実施形態では、最低３つ以上のマーカが必要である。よって、設定部によって設定されたマーカの数が３つ未満の場合は、ユーザに警告する。
【００３４】
画像生成部５００では、マーカ抽出部３００から送出されたマーカ抽出情報から、マーカ抽出結果を可視化するためのＣＧ（コンピュータグラフィック）を生成する。ＣＧとは例えば図１に示すように、抽出されたマーカ位置に×印を表示し、さらに同定されたマーカを四角で囲うといったものである。また、位置姿勢演算部４００でカメラ位置姿勢が送出されると、送出されたカメラ位置姿勢情報が正しいか判定するための指標となるＣＧ（図１においてはＸＹＺ座標軸）を生成する。画像生成部５００で生成されたＣＧデータは表示部７００に送出される。
【００３５】
データ部６００では、さまざまなデータを管理する。例えば、マーカ情報、初期段階に与えられた撮像部１００の位置姿勢情報、マーカ抽出パラメータ、マーカ抽出アルゴリズム、カメラ位置姿勢算出アルゴリズム、画像生成部５００で生成するためのＣＧデータなどである。
【００３６】
表示部７００は、撮像映像取込部２００から送出された画像に画像生成部５００で生成されたＣＧを重畳して画像表示部２０に表示する。オペレータはこの重畳画像を観察することで、マーカ抽出状況や算出したカメラ位置姿勢の精度を把握できる。オペレータは、図１に示すマーカの同定を表す×印や四角印を観察し、マーカ抽出処理が終了したと判断した場合は、上述のカメラパラメータ算出実行ボタン７０を押すことで、カメラ位置姿勢の算出を指示する。さらに、カメラ位置姿勢を算出した場合において、図１に示すＸＹＺ座標軸を観察することで、算出した位置姿勢の精度が良いと判断した場合はキャリブレーションを終了する。
【００３７】
図３は、本実施形態のマーカ抽出処理のフローチャートである。
【００３８】
ステップＳ０００において、本実施形態のマーカ抽出処理が起動し、データ部６００から初期設定に関するデータが読み込まれ、初期設定が行われる。画像表示モードはライブ映像モードに、マーカ抽出処理モードは自動モードに設定され、マーカ抽出パラメータにはデフォルト値が与えられる。また、マーカに関するデータもマーカ抽出処理部３００へ送られる。マーカに関するデータにはマーカＩＤ、位置データ、色データ、大きさや形に関するデータなどがある。
【００３９】
ステップＳ１００において、操作入力部８００は、本装置の使用者からコマンドが入力されたか否かの判定を行う。コマンドが入力されている場合にはそのコマンドはマーカ抽出部３００に送出される。マーカ抽出部ではコマンド判定を行い適切な処理を行う。例えば、コマンドがマーカ抽出処理モード変更であった場合は、マーカ抽出処理モードを変更し、コマンドがマーカ抽出パラメータ変更であった場合には、マーカ抽出のパラメータを変更する。また、コマンドがカメラ位置姿勢の算出を指示するコマンドであった場合は、マーカ抽出処理終了のフラグを立てる。
【００４０】
ステップＳ２００において、マーカ抽出部３００は画像表示モード判定を行う。画像表示モードが静止画像モードかつ対象画像が読み込まれている場合ステップ４００へ進む。画像表示モードが映像表示モードまたは対象画像が読み込まれていない場合はステップ３００へ進む。
【００４１】
ステップ３００において、マーカ抽出部３００は、撮影映像取込部２００へ映像の送出を要求する。撮影映像取込部２００は、撮像部１００からの入力された映像を、マーカ抽出部３００および表示部７００へ送出する。
【００４２】
ステップＳ４００において、マーカ抽出部３００で上述したマーカ抽出処理モードが判断される。マーカ抽出モードが自動抽出処理モードである場合、Ｓ４１１へ進み、手動抽出処理モードである場合はＳ４２１へ進む。
【００４３】
まず、自動抽出処理モードである場合（Ｓ４１１〜Ｓ４１３）を説明する。
【００４４】
ステップＳ４１１において、マーカ抽出パラメータに従って、対象画像からマーカが画像処理によって自動的に検出される。マーカ抽出処理結果は画像生成部５００へ送られる。
【００４５】
ステップＳ４１２において、画像生成部５００では、マーカ抽出結果を可視化するためのＣＧを生成する。画像生成部５００生成されたＣＧは表示部７００に送出される。
【００４６】
ステップＳ４１３において、表示部７００に対象画像およびマーカ抽出処理結果が表示される。オペレータは表示部７００を観察することで、マーカ抽出状況を知ることができる。
【００４７】
次に、手動抽出処理モードである場合（Ｓ４２１〜Ｓ４２３）を説明する。
【００４８】
ステップＳ４２１において、画像生成部５００では、現在までのマーカ抽出結果を可視化するためのＣＧを生成する。画像生成部５００生成されたＣＧは表示部７００に送出される。
【００４９】
ステップＳ４２２において、表示部７００に対象画像および現在までのマーカ抽出処理結果が表示される。オペレータは表示部７００を観察することで、現在までのマーカ抽出状況を知ることができる。
【００５０】
ステップＳ４２３において、オペレータが操作入力部８００を介して入力したマーカ情報をマーカ抽出処理結果として保持する。マーカ抽出処理結果は画像生成部５００へ送られる。
【００５１】
ステップＳ５００において、マーカ抽出処理が終了した（マーカ抽出処理終了のフラグが立っている）場合はステップＳ６００に進み、終了していない場合はＳ１００に戻り、マーカ抽出処理を繰り返す。
【００５２】
ステップＳ６００において、カメラ位置姿勢演算部４００は、カメラの位置姿勢を算出する。本実施例においては、カメラ位置姿勢演算部４００は、準備段階で既知の情報として保存された（１）各マーカの世界座標、（３）カメラ位置姿勢を基にそのマーカの画像座標の理論値を求め、マーカ抽出部３００からマーカ情報として送出された（２）実測値との誤差の和が最小となるようなカメラの位置姿勢を算出する。
【００５３】
ステップＳ７００で、オペレータがカメラ位置姿勢算出に失敗したと判断した場合は、再びステップＳ１００へ戻り、カメラ位置姿勢算出が成功するまで処理を繰り返す。オペレータがカメラ位置姿勢算出に成功したと判断した場合は、処理を終了する。
【００５４】
本実施形態ではこのように、カメラ位置姿勢を、理論値と実測値の誤差に基づいて算出する形態をとっているが、マーカの世界座標と撮像画像座標の関係をみたすように位置姿勢を算出する（いわゆるＰｎＰ問題を解く）他の方法を用いても良い。
【００５５】
さらに、本実施形態では、既知のマーカの撮像画像を用いてカメラの位置姿勢のキャリブレーションを行う実施形態としたが、本発明は、撮像画像中におけるマーカや自然特徴を抽出し、キャリブレーションをするさまざまな形態で実施できる。つまり、内部・外部に関わらず、さまざまなカメラパラメータのキャリブレーションにも利用できる。さらに、カメラ位置を既存として、マーカを貼った物体を撮影し、撮像物体の位置姿勢を検出する装置にも利用できる。
【００５６】
上述したように、カメラの位置姿勢キャリブレーションを行うためには、同一直線上にない３点以上のマーカを抽出することが必要である。
【００５７】
本実施形態によれば、ライブ映像表示モードと静止画像表示モード、マーカ抽出処理の自動抽出処理モードと手動抽出処理モードを使い分けることにより、必要なマーカのすべてが常に良好に表示されない状況においても、マーカ抽出を行うことが簡単にできる。
【００５８】
たとえば、実環境の変更やマーカが見え隠れするために一度に、必要なマーカのすべてを撮影することが難しい場合には、ライブ映像表示モードと手動抽出処理モードの組み合わせを使い、ライブ映像においてマーカが見えた時点で手動によりマーカを指示することによりマーカ抽出を行うことができる。そして、すべてのマーカについて指示できるまでライブ映像を取得しつづけることにより、必要なすべてのマーカについて対応することができる。
【００５９】
図４に、ライブ映像表示モードと手動抽出処理モードの組み合わせを使った場合の１例を示す。図４（ａ）では、８０（人）によって左のマーカ（Ｒｅｄ＿ＬＥＦＴ）が隠されてしまい、ユーザが指示することができない。よって、図４（ａ）では、左のマーカ以外のマーカについてユーザが指示している。その後、図４（ｂ）のように、８０（人）が真中に移動した際に、左のマーカ（Ｒｅｄ＿ＬＥＦＴ）を指示することができる。図４（ｂ）では、すでに指示されている真中のマーカ２つが８０（人）によって隠されている。しかしながら、図４（ａ）においてすでに指示されているので、指示されていることおよびマーカ情報を示すグラフィックが表示される。これにより、人がマーカを隠したとしてもすでに指示しているマーカをユーザが認識することができる。
【００６０】
本実施形態は固定のカメラを対象としているので、異なる時間の画像においてマーカを抽出したとしても、画像におけるマーカの位置は同じであるので、同一画像においてマーカのすべてが撮影されている場合と同様に扱うことができる。
【００６１】
また、マーカを良好な状態で撮像しつづけることが難しい状況において、マーカを良好な状態で撮影できたときに、静止画モードを指示し静止映像を取り込むことにより、必要なマーカの抽出処理を行うことができる。この場合は、自動抽出処理モードを用いることによりマーカを簡単に抽出することができる。さらに、上述したように、自動抽出した後に手動抽出処理モードを用いて調整することにより、より高精度な抽出を行うことができる。
【００６２】
マーカの抽出は、実空間の照明条件などの環境条件の影響を大きく受ける。そこで、環境条件の調整もしくはマーカの抽出条件の調整が必要となる。このような調整を行う場合は、ライブ映像表示モードと自動抽出処理モードの組み合わせを使うことにより、調整結果をリアルタイムに確認することができる。
【００６３】
このように、本実施形態によれば、固定のカメラの位置姿勢キャリブレーションを簡単に行うことができる。
【００６４】
なお、上述の実施形態では、表示モードとして、静止画像表示モードとライブ映像表示モードの２つの表示モードを有しているが、さらに、更新タイミングがライブ映像表示モードより遅い間欠表示モードなど他の表示モードを有するようにしてもかまわない。
【００６５】
（他の実施形態）
前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００６６】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００６７】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００６８】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００６９】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００７０】
【発明の効果】
以上説明したように、本発明によれば、ライブ映像モードと静止画像モードと、自動抽出モードと手動抽出モードとを使用することにより、さまざまな状況下においても高精度の指標抽出を簡単に行うことができる。
【００７１】
たとえば、実環境の変更や指標が見え隠れするために一度に撮影することが難しい場合にはライブ映像表示モードを使い、また、指標を良好な状態で撮像しつづけることが難しい状況には静止画像表示モードを使うことにより、高精度の指標抽出を簡単に行うことができる。
【図面の簡単な説明】
【図１】第１の実施形態におけるマーカ抽出処理のためのＵＩを示す図である。
【図２】第１の実施形態における概略構成を示すブロック図である。
【図３】第１の実施形態におけるカメラ位置姿勢キャリブレーションの処理手順を示すフローチャートである。
【図４】第１の実施形態における、ライブ映像表示モードと手動抽出処理モードの組み合わせを使った場合のマーカ抽出処理のためのＵＩを示す図である。

Claims

世界座標が既知である同一直線上にない３点以上の指標を用いて、位置・姿勢が固定された撮像装置の位置・姿勢を算出する情報処理方法であって、
位置・姿勢が固定された撮像装置によって撮像された撮像画像を入力する画像入力工程と、
前記入力された撮像画像に含まれる指標を抽出し、該抽出された指標それぞれの画像座標を取得する指標抽出工程と、
前記指標抽出工程による抽出結果に応じたコンピュータグラフィックを生成する画像生成工程と、
前記撮像画像および前記コンピュータグラフィックを表示する表示工程と、
前記指標抽出工程により取得された３点以上の指標の前記画像座標と、該３点以上の指標の前記世界座標とから、前記撮像装置の位置・姿勢を算出する算出工程とを有し、
前記画像入力工程は、前記撮像装置によって撮像されたライブ映像を入力するライブ映像モードと、前記撮像装置によって撮像された静止画像を入力する静止画像モードとを有し、
前記指標抽出工程は、指標抽出パラメータに基づき、更新された撮像画像から指標を、順次、自動的に抽出し、指標の抽出結果を更新する自動抽出モードと、ユーザ指示に応じて撮像画像に含まれる指標を抽出し、撮像画像の更新にかかわらず、該ユーザ指示に応じた抽出結果を保持する手動抽出モードとを有することを特徴とする情報処理方法。
さらに、ユーザ指示に応じて、各指標の世界座標および識別子を設定する設定工程を有することを特徴とする請求項１記載の情報処理方法。
前記画像生成工程は、前記抽出された指標の画像座標に第１のマークを生成し、同定された指標に対して第２のマークを生成し、
さらに、前記算出された前記撮像装置の位置・姿勢に応じた第３のマークを生成することを特徴とする請求項１または２記載の情報処理方法。
前記指標抽出工程によって抽出された指標の数が３より少なかった場合は、ユーザにその旨を報知することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理方法。
請求項１乃至４のいずれかに記載の情報処理方法をコンピュータにより実現するための、コンピュータが読み取り可能に記録媒体に記録されたプログラム。
世界座標が既知である同一直線上にない３点以上の指標を用いて、位置・姿勢が固定された撮像装置の位置・姿勢を算出する情報処理装置であって、
位置・姿勢が固定された撮像装置によって撮像された撮像画像を入力する画像入力手段と、
前記入力された撮像画像に含まれる指標を抽出し、該抽出された指標それぞれの画像座標を取得する指標抽出手段と、
前記指標抽出手段による抽出結果に応じたコンピュータグラフィックを生成する画像生成手段と、
前記撮像画像および前記コンピュータグラフィックを表示する表示手段と、
前記指標抽出手段により取得された３点以上の指標の前記画像座標と、該３点以上の指標の前記世界座標とから、前記撮像装置の位置・姿勢を算出する算出手段を有し、
前記画像入力手段は、前記撮像装置によって撮像されたライブ映像を入力するライブ映像モードと、前記撮像装置によって撮像された静止画像を入力する静止画像モードとを有し、
前記指標抽出手段は、指標抽出パラメータに基づき、更新された撮像画像から指標を、順次、自動的に抽出し、指標の抽出結果を更新する自動抽出モードと、ユーザ指示に応じて撮像画像に含まれる指標を抽出し、撮像画像の更新にかかわらず、該ユーザ指示に応じた抽出結果を保持する手動抽出モードとを有することを特徴とする情報処理装置。