JP4418935B2

JP4418935B2 - 光学マーカシステム

Info

Publication number: JP4418935B2
Application number: JP2004208369A
Authority: JP
Inventors: 章内海; 大丈山添
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2004-07-15
Filing date: 2004-07-15
Publication date: 2010-02-24
Anticipated expiration: 2024-07-15
Also published as: JP2006033329A

Description

本発明は、時刻情報及び識別情報を送信する光学マーカシステムに関するものである。

近年、ビデオカメラやカメラ付携帯電話等の普及により、映像を撮影する機会が増加している。例えば、コンサートや運動会等のイベントにおいては、多数のカメラによる様々な視点からの映像が得られる。これらの映像を蓄積及び加工して特定の映像列を抽出したり、新たな画像を作成したりするために、所定のマーカを含めてシーンを撮影することによりシーンの映像を撮影しながらマーカが発信する情報を取得することが種々提案されている。

例えば、高速なイメージセンサを用いて画像を撮影しながらマーカのＩＤ（識別情報）を取得したり（非特許文献１参照）、正方形に配置したマーカを通常の可視光カメラを用いて撮影してマーカ配置の形状を探索したりすることが行われている（非特許文献２参照）。
松下伸行他、「Ｉｄｃａｍ：シーンとｉｄを同時に取得可能なスマートカメラ」、情処学論、Ｖｏｌ．４３、Ｎｏ．１２、２００１年、ｐｐ．３６６４−ｐｐ．３６７４青木恒、「カメラで読み取る赤外線タグとその応用」、インタラクティブシステムとソフトウェア VIII、２０００年、ｐｐ．１３１−ｐｐ．１３６

しかしながら、前者の方法では、専用のイメージセンサを用いる必要があり、一般のカメラで撮影された映像に対して適用することはできない。また、後者の方法では、マーカの配置形状を検出しているため、シーン中に配置できるマーカの数等が制限され、カメラの位置及び姿勢が変動した場合に適用することができない。

本発明の目的は、独立に撮影された複数の映像間の同期を取ることができるとともに、複数の映像間で対応する点を算出することができる光学マーカシステムを提供することである。

本発明の他の目的は、特殊な撮像手段を用いることなく、移動する複数の撮像手段の位置及び姿勢を推定することができる光学マーカシステムを提供することである。

本発明に係る光学マーカシステムは、予め定められた位置に取り付けられ、発光状態を変化させることにより自身に対して一意的に割り付けられた識別情報と撮影時刻を特定するための時刻情報とを送信する複数の発光手段と、前記発光手段の発光点を含む画像を撮影する複数の撮影手段と、前記撮影手段により撮影された画像から前記発光手段の発光状態を検出して時刻情報と前記発光手段の識別情報及び画像上の位置を検出する検出手段とを備えるものである。

本発明に係る光学マーカシステムにおいては、予め定められた位置に取り付けられた複数の発光手段が、その発光状態を変化させることにより、自身に対して一意的に割り付けられた識別情報と撮影時刻を特定するための時刻情報とを送信し、複数の撮影手段が発光手段の発光点を含む画像を撮影し、撮影手段により撮影された各画像から発光手段の発光状態を検出して時刻情報と発光手段の識別情報及び画像上の位置が検出される。

このようにして、各撮影手段により撮影された画像内に観測される各発光手段の識別情報を得ることができるとともに、各撮影手段により撮影された画像の撮影時刻を特定することができる。これにより独立に撮影された映像間の時間ずれを算出して擬似的に同期を得ることが可能となり、さらに各発光手段の識別情報を利用して複数の映像間で対応する点を算出し、複数の映像をつなぎ合わせて広視野動画像を生成したり、撮影手段間の相対的な３次元位置及び姿勢を推定したり、各識別情報を持つ発光手段の３次元位置を計測しておくことにより、発光手段の画像上の投影位置から撮影手段の３次元的絶対位置及び姿勢を推定することができる。

前記検出手段により検出された前記発光手段の識別情報、時刻情報及び位置を基に前記撮影手段の位置及び姿勢を推定する推定手段をさらに備えることが好ましい。

この場合、検出された発光手段の識別情報、時刻情報及び位置を基に撮影手段の位置及び姿勢が推定される。ここで、各発光手段が予め定められた位置に取り付けられており、各発光手段の３次元位置が既知であるため、この３次元位置と各撮影時刻の画像上における発光手段の２次元位置から各撮像手段の位置及び姿勢を順次推定することができる。この結果、特殊な撮像手段を用いることなく、移動する複数の撮像手段の位置及び姿勢を推定することができる。

前記複数の発光手段は、同一時刻を特定するための時刻情報を送信し、前記検出手段は、前記複数の発光手段の発光状態が時間軸上で同一時刻を表すパターンとなる区間において時刻情報を抽出することが好ましい。

この場合、複数の発光手段の発光状態が時間軸上で同一時刻を表すパターンとなる区間が時刻情報の送信期間となるため、識別情報と分離して時刻情報を正確に抽出することができる。

前記複数の発光手段は、同一時刻を特定するための時刻情報を送信し、前記検出手段は、前記撮影手段により撮影された画像から予め定められたパターンに適合する光点を前記発光手段の光点の候補点として追跡しながら、発光状態が時間軸上で同一時刻を表すパターンとなる候補点を前記発光手段の光点として検出し、検出した光点の識別情報と時刻情報とを抽出することが好ましい。

この場合、撮影された画像から予め定められたパターンに適合する光点を発光手段の光点の候補点として追跡しながら、発光状態が時間軸上で同一時刻を表すパターンとなる候補点を発光手段の光点として検出しているので、発光手段以外の光点を誤検出することなく、発光手段の光点を高精度に検出することができ、検出した発光手段の光点から識別情報及び時刻情報を正確に抽出することができる。

前記複数の発光手段は、点灯確率が所定範囲内に入るように識別情報と時刻情報とを送信し、前記検出手段は、前記撮影手段により撮影された画像から予め定められたパターンに適合する光点を前記発光手段の光点の候補点として追跡しながら、点灯確率が所定範囲内に入る候補点を前記発光手段の光点として検出し、検出した光点の識別情報と時刻情報とを抽出することが好ましい。

この場合、撮影された画像から予め定められたパターンに適合する光点を発光手段の光点の候補点として追跡しながら、点灯確率が所定範囲内に入る候補点を発光手段の光点として検出しているので、発光手段以外の光点を誤検出することなく、発光手段の光点を高精度に検出することができ、検出した発光手段の光点から識別情報及び時刻情報を正確に抽出することができる。

前記複数の発光手段は、赤外光を点灯又は消灯することにより識別情報と時刻情報とを送信し、前記複数の撮影手段は、赤外光及び可視光を用いて画像を撮影することが好ましい。

この場合、人間に直接見えない赤外光を用いて識別情報及び時刻情報を送信することができるので、シーン中の人間の行動に対して視覚的妨害となることなく、識別情報及び時刻情報を確実に送信することができる。

本発明によれば、各撮影手段により撮影された画像内に観測される各発光手段の識別情報を得ることができるとともに、各撮影手段により撮影された画像の撮影時刻を特定することができる。これにより独立に撮影された映像間の時間ずれを算出して擬似的に同期を得ることが可能となり、さらに各発光手段の識別情報を利用して複数の映像間で対応する点を算出し、複数の映像をつなぎ合わせて広視野動画像を生成したり、撮影手段間の相対的な３次元位置及び姿勢を推定したり、各識別情報を持つ発光手段の３次元位置を計測しておくことにより、発光手段の画像上の投影位置から撮影手段の３次元的絶対位置及び姿勢を推定することができる。

本発明によれば、複数の発光手段を撮影手段で撮影することにより、撮影画像内に記録された発光手段の発光パターンから撮影時刻情報とともに、各発光手段の識別情報を得ることができる。すなわち、複数の発光手段が共通の時刻情報を送信することにより、その冗長性を利用してより安定に時刻情報を抽出することができる。また、発光手段の発光パターンとして示される識別情報から、撮影画像内に記録された各発光手段が多数の発光手段のいずれかであるかは一意に特定することができる。

本発明の持つ上記の基本的な特徴により、幅広い応用が可能となる。ここではまず、そのうちのいくつかを例示する。一つの応用形態は、時間情報と識別情報とを直接利用するものであり、例えば、同一のシーンを複数の撮影手段で同時に独立に撮影して得られた複数の映像列に対して、各映像列内に記録された各発光手段の位置を利用して複数の映像間で対応する点を算出し複数の映像列をつなぎ合わせて広視野動画像を生成することができる。映像間で擬似的に同期を取るために時刻情報を利用し、複数の映像列内で対応する発光手段を特定するために識別情報を利用する。

もう一つの応用形態は、時刻情報と識別情報とを利用して複数の撮影手段の相対的な位置関係を推定するものであり、例えば時刻情報によって擬似的に同期が取られた各撮影画像内における各発光手段の位置を利用して複数の映像間で対応する点を算出し、算出された対応点の位置関係から撮影手段間の幾何学的な位置（相対的な位置及び姿勢）を求めることができる。

他の応用形態として、時刻情報及び識別情報に加え各発光手段の３次元位置を利用するものであり、例えば各発光手段の３次元位置を予め測定しておくことにより発光手段の画像上の投影位置から撮影手段の３次元絶対位置及び姿勢を推定することができる。

以下では、上記応用形態のうち、時刻情報と識別情報とを利用して複数の撮像手段の相対的な位置及び姿勢を推定する応用形態について、実装例を示す。なお、画像間の複数の対応点から相対位置及び姿勢を算出する手法としては、エピポーラ幾何による方法、平面射影変換による方法などが知られているが、ここでは対象となる３次元点（発光手段）が同一平面上にあるという拘束条件を利用し比較的容易に相対位置及び姿勢の推定が可能な平面射影変換による方法について述べる。

以下、本発明の一実施の形態による光学マーカシステムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による光学マーカシステムの構成を示すブロック図である。

図１に示す光学マーカシステムは、点灯制御装置１１、ｍ個（ｍは２以上の整数）のＬＥＤマーカ２１〜２ｍ、ｎ個（ｎは２以上の整数）のカメラ３１〜３ｎ、ｎ個の候補点抽出部４１〜４ｎ、ｎ個のマーカ追跡部５１〜５ｎ、情報検出部６１、カメラ位置姿勢推定部７１及び画像合成部８１を備える。

ＬＥＤマーカ２１〜２ｍは、赤外光を発光するＬＥＤ（Light Emitting Diode）及び駆動回路等から構成され、撮影シーン中の所定位置、例えば本実施の形態においては同一平面上に取り付けられ、各ＬＥＤマーカ２１〜２ｍの３次元位置は予めカメラ位置姿勢推定部７１に記憶される。

点灯制御装置１１は、所定の点滅制御プログラムを実行するコンピュータ等から構成され、ＬＥＤマーカ２１〜２ｍの各々に対して一意的に割り付けられた識別情報と、すべてのＬＥＤマーカ２１〜２ｍに対して同一の時刻情報とを送信するようにＬＥＤマーカ２１〜２ｍの点滅状態を個別に制御する。なお、点灯制御装置の構成は、上記の例に特に限定されず、一部又は全部を専用のハードウエア回路から構成してもよく、また、所定の基準クロック等を用いて時刻情報を同一タイミングで送出することができる場合、ＬＥＤマーカ２１〜２ｍ内に個別に点灯制御装置を設け、点灯制御装置１１を省略してもよい。

点灯制御装置１１の点滅制御によりＬＥＤマーカ２１〜２ｍが発光する光として、赤外光であることが好ましい。この場合、人間に直接見えない赤外光を用いて識別情報及び時刻情報を送信することができるので、シーン中の人間の行動に対して視覚的妨害となることなく、識別情報及び時刻情報を確実に送信することができる。また、赤外領域のうちより短い波長領域（可視光寄りの波長域）の光であることがより好ましく、本実施の形態では、波長８９０ｎｍの赤外光を用いている。この場合、通常の可視光撮影用のビデオカメラでも当該波長域に十分な検出感度を有するため、通常の可視光撮影用のビデオカメラを用いてシーンを撮影しながら識別情報及び時刻情報を高精度に検出することができる。

なお、ＬＥＤマーカが発光する光として、上記の例に特に限定されず、可視光域の光を用いてもよい。この場合、通常の可視光撮影用のビデオカメラが十分な感度を有する波長域を用いてＬＥＤマーカが発光する光を撮影することができ、通常の可視光撮影用のビデオカメラを用いて識別情報及び時刻情報を高精度に検出することができる。

ここで、識別情報と時刻情報とを送信するためのＬＥＤマーカ２１〜２ｍの点滅パターンについて説明する。図２は、識別情報及び時刻情報の点滅パターンの一例を示す図である。ＬＥＤマーカ２１〜２ｍの点滅周波数とカメラ３１〜３ｎのフレームレートとは一致しており、１秒（３０フレーム）単位で連続する点滅パターンにより識別情報及び時刻情報がコード化されている。すなわち、前半の１０ｂｉｔが時刻情報となり、後半の２０ｂｉｔが識別情報となる。

識別情報としては、８ｂｉｔすなわち２５６種類のＩＤを想定し、それらを２０ｂｉｔで冗長符号化し、各ＬＥＤマーカ２１〜２ｍから異なる識別情報が送信される。時刻情報としては、現在時刻を１６進数に変換して１桁（４ｂｉｔ）を１０ｂｉｔで冗長符号化し、全てのＬＥＤマーカ２１〜２ｍから同じ時刻情報が送信される。

上記の符号化において、ＬＥＤマーカ２１〜２ｍの光点（ＬＥＤの発光点）と他の光点（マーカ以外の光点）とを区別するため、ＬＥＤマーカ２１〜２ｍの点灯確率ｐが一定範囲内（ｐＬ＜ｐ＜ｐＨ）となるように点滅パターンを設定している。また、後述するマーカ追跡を容易にするため、ｋフレーム（例えば、ｋ＝３）以上連続して消灯しないように点滅パターンを設定している。これらの条件の下で識別情報及び時刻情報ともにハミング距離が最大となるように、識別情報と時刻情報とが冗長符号化されている。なお、識別情報及び時刻情報の構成は、上記の例に特に限定されず、点灯時間を変化させて識別情報及び時刻情報を送信したり、輝度を多階調化して輝度の変化により識別情報及び時刻情報を送信したり、色成分の異なる光を用いて色の変化により識別情報及び時刻情報を送信したりする等の種々の変更が可能である。

再び、図１を参照して、カメラ３１〜３ｎは、赤外光に対して十分な感度を有する通常の可視光用ビデオカメラ（例えば、ＮｏｒｔｅｃｈＳｙｓｔｅｍｓ社製のＣＣＤカメラＥＬＭＯＣＮ−４２Ｈ）から構成される。カメラ３１〜３ｎは、異なるユーザにより個別に操作され、ＬＥＤマーカ２１〜２ｍのいずれかを含む画像を撮影する。なお、カメラの構成は、上記の例に特に限定されず、種々の変更が可能であり、例えば、ＬＥＤマーカが可視光を発光する場合に可視光に対してのみ十分な感度を有する可視光用カメラを用いたり、又は、可視光用カメラと赤外光用カメラとを一体に構成して可視光用カメラによりシーンを撮影するとともに、赤外光用カメラによりＬＥＤマーカを撮影したりしてもよい。

候補点抽出部４１〜４ｎ、マーカ追跡部５１〜５ｎ、情報検出部６１、カメラ位置姿勢推定部７１及び画像合成部８１は、後述する位置推定処理等を実行するコンピュータ等から構成され、候補点抽出部４１〜４ｎ及びマーカ追跡部５１〜５ｎは、カメラ３１〜３ｎ毎に設けられ、カメラ３１〜３ｎの各画像データが並列的に処理される。

なお、候補点抽出部等の各ブロックの構成は、上記の例に特に限定されず、一部又は全部を専用のハードウエア回路から構成してもよく、また、処理速度が十分に速い場合、候補点抽出部及びマーカ追跡部による並列処理を順次処理に変更する等の種々の変更が可能である。また、カメラ３１〜３ｎにより撮影された映像データを記憶する記憶装置を付加して、記憶装置に記憶されている画像データを用いてオフラインにて候補点抽出部４１〜４ｎ以降の処理を行ったり、カメラ３１〜３ｎにより撮影された映像データを、インタネット等のネットワークを介して所定のサーバへ送信し、当該サーバにおいてオンライン又はオフラインにて候補点抽出部４１〜４ｎ以降の処理を行ったりしてもよい。

候補点抽出部４１は、カメラ３１により撮影された、ＬＥＤマーカ２１〜２ｍを含むシーンを撮影した画像列から予め定められたパターンに適合する光点をＬＥＤマーカ２１〜２ｍの光点の候補点として抽出し、マーカ追跡部５１は、抽出された候補点を追跡する。他の候補点抽出部４２〜４ｎ及びマーカ追跡部５２〜５ｎも上記と同様に動作する。

具体的には、点灯状態のＬＥＤマーカ２１〜２ｍは入力画像中で十分に明るいため、候補点抽出部４１〜４ｎは、時刻ｔにおいて観測された画像Ｉｔの輝度成分Ｖｔ内を所定のテンプレートを用いて走査し、下式で計算されるスコアが一定値以上となる２次元位置（ｘ，ｙ）をＬＥＤマーカ２１〜２ｍの光点の候補点として抽出する。ここで、εはＬＥＤマーカ２１〜２ｍの光点であると判断する画素値の閾値である。

図３は、図１に示す候補点抽出部４１〜４ｎにおいて用いられるテンプレートの一例を示す図である。候補点抽出部４１〜４ｎにおいて、例えば、図３の（ａ）及び（ｂ）に示す５×５のテンプレート又は７×７のテンプレートを用いてＬＥＤマーカ２１〜２ｍの光点の候補点を抽出することができる。

再び、図１を参照して、マーカ追跡部５１〜５ｎは、ＬＥＤマーカ２１〜２ｍの光点の候補点を時系列で追跡することにより各ＬＥＤマーカ２１〜２ｍの点滅パターンを抽出する。まず、画像上におけるマーカｐ（ＬＥＤマーカ２１〜２ｍ）の光点の運動がある短い時間内（εｔ）では等速直線運動により近似できると仮定し、マーカ追跡部５１〜５ｎは、時刻ｔまでの観測結果を用いて、追跡中のマーカｐの時刻ｔにおける画像上の２次元観測位置ｘｐ（ｔ）及び速度ｖｐ（ｔ）を推定する。例えば、時刻ｔ−Δｔにおける位置及び速度の推定値をそれぞれｘｐ（ｔ−Δｔ）、ｖｐ（ｔ−Δｔ）とすると、時刻ｔの推定値は、ｘｐ（ｔ）＝ｘｐ（ｔ−Δｔ）＋ｖｐ（ｔ−Δｔ）・Δｔ、ｖｐ（ｔ）＝（ｘｐ（ｔ−Δｔ）−ｘｐ（ｔ−２Δｔ））／Δｔとなる。

次に、マーカ追跡部５１〜５ｎは、次フレーム（時刻ｔ＋Δｔ）において、ｘ（ｔ＋Δｔ）−ｘｐ（ｔ）＋Δｖｐ（ｔ）＜εｘ（ここで、εｘは所定の閾値）なる点を観測した場合、候補点ｘ（ｔ＋Δｔ）をマーカｐの観測として追跡を継続し、候補点が存在しない場合、マーカｐが点灯していなかったと判断する。

また、ＬＥＤマーカ２１〜２ｍはｋフレーム以上連続して消灯しないため、マーカ追跡部５１〜５ｎは、２ｋフレーム以上の期間において点灯状態が観測されなかった場合、ＬＥＤマーカ２１〜２ｍの追跡を失敗した又はＬＥＤマーカ２１〜２ｍが画像から外れたと判断して追跡を終了する。

なお、追跡中にＬＥＤマーカ２１〜２ｍに対応付けられなかった候補点について、マーカ追跡部５１〜５ｎは、時刻ｔ−εｔ〜時刻ｔの期間に撮影された画像において未対応の候補点から等速直線運動に従う候補点列を探索し、発見できた場合にこれらを同一ＬＥＤマーカによる観測点として追跡を開始する。この処理は、すべての光点に対して実行され、全探索を行う。

情報検出部６１は、マーカ追跡部５１〜５ｎが追跡しているＬＥＤマーカ２１〜２ｍの光点の点滅状態からＬＥＤマーカ２１〜２ｍの識別情報及び時刻情報を抽出する。図４は、図１に示すＬＥＤマーカ２１〜２ｍの点滅パターン列の一例を示す図である。図４中に示すクロックは、ＬＥＤマーカ２１〜２ｍを点滅させるための基準クロックである。図４に示すように、ＬＥＤマーカ２１〜２ｍ（図中マーカ１〜ｍ）の点滅パターン列のうちハッチング部分が同一パターンとなり、この区間が時刻情報区間となり、隣接する時刻情報区間の間が識別情報の送信される識別情報区間となる。なお、点滅パターンは、本例に特に限定されず、種々の変更が可能である。例えば、符号に多少冗長性を持たせるため、１ｂｉｔ（０，１）で表現している部分を２ｂｉｔ（００，０１，１０，１１）で表すこととし、「０１」及び「１０」を元表現の「０」に対応させ、「００」及び「１１」を元表現の「１」に対応させることにより、元の符号「１０１」は、「０００１００」、「０００１１１」、「００１０００」、「００１０１１」、「１１０１００」、「１１０１１１」、「１１１０００」、「１１１０１１」のいずれで表すことも可能となる。

情報検出部６１は、各カメラ３１〜３ｎから得られた複数のＬＥＤマーカ２１〜２ｍの点滅パターン列から同一の点滅パターンを示す区間を時刻情報区間として抽出し、この時刻情報区間における情報を復号して時刻情報を抽出する。この時刻情報が各フレームの撮影時刻となる。また、情報検出部６１は、隣接する時刻情報区間の間を識別情報区間として抽出し、この識別情報区間における情報を復号して各ＬＥＤマーカ２１〜２ｍの識別情報を抽出する。

さらに、情報検出部６１は、抽出した識別情報及び時刻情報を用いて、各カメラ３１〜３ｎにより撮影された画像上のＬＥＤマーカ２１〜２ｍの投影位置を撮影時刻毎に検出する。このとき、情報検出部６１は、各光点の点灯確率ｐ、及び時刻情報区間における他の光点との点滅パターンの相関を調べ、点灯確率ｐが一定範囲外（ｐ≦ｐＬ、ｐＨ≦ｐ）となる光点及び時刻情報区間における点滅パターンが一致しない光点を排除し、ＬＥＤマーカ２１〜２ｍのみを抽出する。

カメラ位置姿勢推定部７１は、情報検出部６１により検出された時刻情報を用いてカメラ３１〜３ｎにより撮影された複数の画像間の時間合わせを行い、情報検出部６１により検出された識別情報を用いて同一撮影時刻の画像間におけるＬＥＤマーカ２１〜２ｍの対応付けを行う。また、カメラ位置姿勢推定部７１は、ＬＥＤマーカ２１〜２ｍの３次元位置をＬＥＤマーカ２１〜２ｍの識別情報に対応付けて予め記憶しており、情報検出部６１により検出されたＬＥＤマーカ２１〜２ｍの識別情報からＬＥＤマーカ２１〜２ｍの３次元位置を読み出し、読み出した３次元位置と情報検出部６１により検出されたＬＥＤマーカ２１〜２ｍの２次元位置とを基にカメラ３１〜３ｎの位置及び姿勢をそれぞれ推定する。

なお、カメラ位置姿勢推定部７１によるカメラ３１〜３ｎの位置及び姿勢の推定処理としては、公知の処理を用いることができ、例えば、２台のカメラ間で観測されたマーカ点列を用いて２台のカメラ間の基本行列（fundamental matrix）を計算したり（Q.T.Luong and O.D.Faugeras. The Fundamental Matrix : theory, algorithms and stability analysis. International Journal of Computer Vision, Vol.17, No.1, pp.43-75,1995参照）、同一平面上に配置したマーカ点列を用いて２台のカメラ間の平面射影（Homography）を計算したりする（J.Weng, N.Ahuja and T.S.Huang. Motion and Structure From Point Correspondences with Error Estimation : Planar Surfaces. IEEE trans. on Signal Processing, Vol.38, No,12, pp.2691-2717,1991参照）等の手法を用いることができる。

画像合成部８１は、カメラ位置姿勢推定部７１により推定されたカメラ３１〜３ｎの位置及び姿勢を基にカメラ３１〜３ｎにより撮影された複数の画像を合成して新たな画像を作成する。なお、画像合成部８１による画像合成処理としては、公知の処理を用いることができ、例えば、カメラ間の基本行列（fundamental matrix）を用いて仮想視点映像を作成する（斎藤秀雄、金出武雄、多数のカメラによるダイナミックイベントの仮想化、情処研報ＣＶＩＭ 119-016，pp.117-124，1999参照）等の手法を用いることができる。

本実施の形態では、上記平面射影を利用する方法を採用することとし、ＬＥＤマーカ２１〜２ｍを同一平面上に配置する。また、本実施の形態では、点灯制御装置１１及びＬＥＤマーカ２１〜２ｍが発光手段の一例に相当し、カメラ３１〜３ｎが撮影手段の一例に相当し、候補点抽出部４１〜４ｎ、マーカ追跡部５１〜５ｎ及び情報検出部６１が検出手段の一例に相当し、カメラ位置姿勢推定部７１が推定手段の一例に相当する。

次に、図１に示す光学マーカシステムによる位置推定処理について説明する。図５は、図１に示す光学マーカシステムによる位置推定処理を説明するためのフローチャートである。

まず、ＬＥＤマーカ２１〜２ｍがそれぞれ識別情報及び時刻情報を送信している状態で、カメラ３１〜３ｎがＬＥＤマーカ２１〜２ｍのいずれかを含む画像を撮影し、候補点抽出部４１〜４ｎは、撮影された画像列から予め定められたパターンに適合する光点をＬＥＤマーカ２１〜２ｍの光点の候補点として抽出し（ステップＳ１１）、例えば、常時点灯等の明らかにシステムが準備したマーカと異なるものを排除する。

次に、マーカ追跡部５１〜５ｎは、ＬＥＤマーカ２１〜２ｍの光点が等速直線運動を行うと仮定してＬＥＤマーカ２１〜２ｍの光点の候補点を時系列で追跡し（ステップＳ１２）、ＬＥＤマーカ２１〜２ｍの光点の点滅パターンの特徴を用いてＬＥＤマーカ２１〜２ｍの光点を検出する（ステップＳ１３）。

次に、情報検出部６１は、マーカ追跡部５１〜５ｎが追跡しているＬＥＤマーカ２１〜２ｍの光点の点滅パターンからＬＥＤマーカ２１〜２ｍの識別情報及び時刻情報を抽出し、抽出した識別情報及び時刻情報を用いてＬＥＤマーカ２１〜２ｍの２次元位置を撮影時刻毎に検出する（ステップＳ１４）。

次に、カメラ位置姿勢推定部７１は、情報検出部６１により検出された時刻情報を用いてカメラ３１〜３ｎにより撮影された複数の画像間の時間合わせを行い、情報検出部６１により検出された識別情報を用いて同一撮影時刻の画像間におけるＬＥＤマーカ２１〜２ｍの対応付けを行う（ステップＳ１５）。次に、カメラ位置姿勢推定部７１は、情報検出部６１により検出されたＬＥＤマーカ２１〜２ｍの識別情報からＬＥＤマーカ２１〜２ｍの３次元位置を読み出し、読み出した３次元位置と情報検出部６１により検出されたＬＥＤマーカ２１〜２ｍの２次元位置とを基にカメラ３１〜３ｎの位置及び姿勢をそれぞれ推定し、その後、ステップＳ１１以降の処理が継続され、カメラ３１〜３ｎの位置及び姿勢が順次推定される。

上記の処理により、本実施の形態では、カメラ３１〜３ｎにより識別情報及び時刻情報を送信するＬＥＤマーカ２１〜２ｍの発光点を含む画像を撮影し、カメラ３１〜３ｎにより撮影された画像からＬＥＤマーカ２１〜２ｍの点滅パターンを検出してＬＥＤマーカ２１〜２ｍの識別情報及び時刻情報を抽出するとともに、抽出した識別情報及び時刻情報を基にカメラ３１〜３ｎの２次元位置を撮影時刻毎に検出し、検出した発光手段の識別情報、時刻情報及び位置を基にカメラ３１〜３ｎの３次元位置及び姿勢を順次推定しているので、特殊な撮像手段を用いることなく、移動する複数のカメラ３１〜３ｎの位置及び姿勢を推定することができる。

次に、上記の位置推定処理によるカメラの位置及び姿勢の推定精度等について具体例を挙げて説明する。図６は、ＬＥＤマーカの配置例を示す模式図である。図６に示すように、３００ｍｍ×５００ｍｍの矩形領域の周囲に６個のＬＥＤマーカＭ１〜Ｍ６を配置した後、６個のＬＥＤマーカＭ１〜Ｍ６を含むシーンの映像列を撮影し、撮影画像に対して上記の位置推定処理を行った。

図７は、撮影画像列から抽出された６個のＬＥＤマーカＭ１〜Ｍ６の軌跡を示す図であり、図８は、６個のＬＥＤマーカＭ１〜Ｍ６の点滅パターンを示す図である。図７に示すように、６個のＬＥＤマーカＭ１〜Ｍ６の軌跡が得られた。また、図８において矩形で囲んだ部分は、６個のＬＥＤマーカＭ１〜Ｍ６で共通の信号パターンを有する時刻情報区間として抽出された区間であり、この時刻情報区間から時間情報を抽出し、一方、時刻情報区間に挟まれた区間が識別情報区間であり、この識別情報区間から各ＬＥＤマーカＭ１〜Ｍ６の識別情報を抽出した。

次に、２台のカメラＣ１，Ｃ２のうち一方のカメラＣ１を固定し、他方のカメラＣ２を移動及び回転させながら、６個のＬＥＤマーカＭ１〜Ｍ６を含むシーンの映像列を撮影し、撮影画像に対して上記の位置推定処理を行った。図９は、２台のカメラＣ１，Ｃ２の位置関係を示す模式図である。図９に示すように、初期状態では、マーカＭＫ（ＬＥＤマーカＭ１〜Ｍ６）に対して２台のカメラＣ１，Ｃ２を同じ位置及び姿勢（高さを除く）に設定し、その後、カメラＣ２をＸ軸方向に移動させながら水平面内において回転させ、カメラＣ１，Ｃ２の内部パラメータを既知として、画像内の各ＬＥＤマーカＭ１〜Ｍ６の２次元位置を利用してカメラＣ１，Ｃ２の３次元位置及び姿勢を推定した。

図１０は、このとき得られたカメラＣ１に対するカメラＣ２の相対位置及び相対姿勢の推定結果を示す図である。図１０に示すように、カメラＣ２の移動方向であるＸ軸及び回転方向となる方位角（Ａｚｉｍｕｔｈ）が変化したが、それ以外のＹ軸及びＺ軸並びに仰角（Ｅｌｅｖａｔｉｏｎ）及び回転角（Ｒｏｔａｔｉｏｎ）はいずれもほぼ一定となり、ＬＥＤマーカＭ１〜Ｍ６の情報を利用してカメラＣ１，Ｃ２の３次元運動を連続的に追跡できることが確認された。

なお、本発明により得られたカメラの位置及び姿勢は、種々の用途に用いることができ、例えば、イベント会場での多人数による撮影映像の統合やスタジオ撮影における実写映像とコンピュータグラフィックとの合成等の種々の映像処理に適用可能である。

本発明の一実施の形態による光学マーカシステムの構成を示すブロック図である。識別情報及び時刻情報の点滅パターンの一例を示す図である。図１に示す候補点抽出部において用いられるテンプレートの一例を示す図である。図１に示すＬＥＤマーカの点滅パターン列の一例を示す図である。図１に示す光学マーカシステムによる位置推定処理を説明するためのフローチャートである。ＬＥＤマーカの配置例を示す模式図である。撮影画像列から抽出された６個のＬＥＤマーカの軌跡を示す図である。６個のＬＥＤマーカの点滅パターンを示す図である。２台のカメラの位置関係を示す模式図である。図９に示す２台のカメラの相対位置及び相対姿勢の推定結果を示す図である。

符号の説明

１１点灯制御装置
２１〜２ｍＬＥＤマーカ
３１〜３ｎカメラ
４１〜４ｎ候補点抽出部
５１〜５ｎマーカ追跡部
６１情報検出部
７１カメラ位置姿勢推定部
８１画像合成部

Claims

時刻情報及び識別情報を送信する光学マーカシステムであって、
予め定められた位置に取り付けられ、発光状態を変化させることにより自身に対して一意的に割り付けられた識別情報と撮影時刻を特定するための時刻情報とを送信する複数の発光手段と、
前記発光手段の発光点を含む画像を撮影する複数の撮影手段と、
前記撮影手段により撮影された画像から前記発光手段の発光状態を検出して時刻情報と前記発光手段の識別情報及び画像上の位置を検出する検出手段とを備えることを特徴とする光学マーカシステム。
前記検出手段により検出された前記発光手段の識別情報、時刻情報及び位置を基に前記撮影手段の位置及び姿勢を推定する推定手段をさらに備えることを特徴とする請求項１記載の光学マーカシステム。
前記複数の発光手段は、同一時刻を特定するための時刻情報を送信し、
前記検出手段は、前記複数の発光手段の発光状態が時間軸上で同一時刻を表すパターンとなる区間において時刻情報を抽出することを特徴とする請求項１又は２記載の光学マーカシステム。
前記複数の発光手段は、同一時刻を特定するための時刻情報を送信し、
前記検出手段は、前記撮影手段により撮影された画像から予め定められたパターンに適合する光点を前記発光手段の光点の候補点として追跡しながら、発光状態が時間軸上で同一時刻を表すパターンとなる候補点を前記発光手段の光点として検出し、検出した光点の識別情報と時刻情報とを抽出することを特徴とする請求項１又は２記載の光学マーカシステム。
前記複数の発光手段は、点灯確率が所定範囲内に入るように識別情報と時刻情報とを送信し、
前記検出手段は、前記撮影手段により撮影された画像から予め定められたパターンに適合する光点を前記発光手段の光点の候補点として追跡しながら、点灯確率が所定範囲内に入る候補点を前記発光手段の光点として検出し、検出した光点の識別情報と時刻情報とを抽出することを特徴とする請求項１〜４のいずれかに記載の光学マーカシステム。
前記複数の発光手段は、赤外光を点灯又は消灯することにより識別情報と時刻情報とを送信し、
前記複数の撮影手段は、赤外光及び可視光を用いて画像を撮影することを特徴とする請求項１〜５のいずれかに記載の光学マーカシステム。