JP4201059B2 - １つまたは複数の移動カメラの初期位置および向きを校正するための方法ならびに固定対象の３次元的位置測定に対してのこの方法の応用 - Google Patents

Description

本発明は、１つまたは複数の移動カメラの初期位置および向きを校正するための方法、ならびに、固定対象の３次元的位置測定に対してのこの方法の応用に関するものである。
対象物の少なくとも１つの像をカメラで撮影し、撮影された像上における対象物の痕跡とカメラ位置とに基づいて対象物の位置を計算することによって、対象物の位置を自動的に計算することは、様々なことに応用することができる。
未公開の仏国特許出願明細書第９６ ０６７４９号には、そのような応用、および、本発明を適用可能な対応ハードウェアシステムが開示されている。このシステムは、道路に沿った交通標識の自動記録に関するものである。この場合、１つまたは複数のカメラが自動車の屋根の上に固定されている。この自動車には、また、慣性操縦ユニットと、軌道上の衛星位置に対する位置検出のためのアンテナ設備（例えば、ＧＰＳシステム）と、が設けられている。アンテナ設備は、地球表面上における車両位置および車両痕跡を、非常に精度良く周期的に（数秒ごとに）もたらす。慣性操縦ユニットは、各位置ごとにおける位置情報および向き情報の更新のために使用される。カメラは、車両が通過する各標識の一連の像を撮影する。カメラに取り付けられた像処理システムは、各像上における各特性点のカルマンフィルタリングを行う手段を備えているものであって、各像上における対象物の特性点の痕跡を予測しチェックし評価するためのアルゴリズムによって、各像上においてカメラに対しての対象物の位置および向きを示す座標を提供する。また、２つまたはそれ以上の像上における対象物の特性点位置の三角測量をベースとした、より単純なアルゴリズムが設けられている。したがって、対象物の位置を、この情報を使用して、また、カメラおよび車両の位置および向きに関しての利用可能な知識を使用して、決定することができる。車両の位置および向きは、衛星位置決めシステムおよび慣性ユニットのおかげで、（地球に関しての）固定参照フレーム内において、どの瞬間にでも知ることができる。しかしながら、車両に対してのカメラの位置およびとりわけ向きは、校正されなければならないままである。
カメラを搬送する移動支持体上におけるカメラの位置に関しての不確定性を克服するための２つの手段が、提案されている。１つは、高精度をもたらし得る機械的デバイスによって、支持体上にカメラを組み付けることである。他は、参照点付きのカメラケースを準備し、このカメラケースを、カメラケース位置を調節可能な機構を介して支持体に対して固定し、カメラのファインダーを支持体上の所定方向に位置合わせさせるよう、カメラの参照点と固定参照点との間の位置調整を行うことである。第１の手段においては、支持体上におけるカメラの位置設定ができないような、いかなる位置設定もできないような、機械的システムが個々のカメラ仕様に応じたものであることによりカメラの交換が困難であったり不可能であったりするような、高価な機械的手段を必要としている。第２の手段においては、ファインダーの方向にしたがって参照点を正確に配置してカメラの位置設定のずれを防止するために、カメラを工場内で校正する必要がある。そうでなければ、新たな参照点を得るために、校正操作を再度行わなければならない。
本発明の利点は、本質的に、観測対象をなす対象物の位置および特に向きを適正に測定するために厳密な精度で移動支持体上にカメラを配置しなければならないという上記必要性を排除することである。本発明においては、また、同一の移動支持体上において、複数のカメラを容易に使用することができる。
いくつもの利点が、この特徴点から派生する。まず最初に、カメラを支持体上に固定するに際して位置設定を厳密に行う必要がないことである。そして、新たな応用に際して、要望されたときには、困難性を伴うことなく、カメラの向きを変えることができる。また、何らの欠点を伴うことなく、付加的な位置不確定性および向き不確定性が導入されるにもかかわらず、カメラを、移動支持体上に、とりわけ、移動支持体上に設置されている回転式タレット上に、取り付けることができる。タレット取付の場合には、単に、タレットの移動状況を正確に測定するだけで良い。タレットの初期位置および向きを正確に知る必要はない。タレットの初期位置および向きは、本発明の方法により、潜在的に決定される。このようなタレットは、例えば、標識記録に対する応用においては、車両が回り道をしたところにおいてカメラの視野を迅速に回転させたい場合などにおいて、連続的な像の撮影を容易とするために使用することができる。
本発明の特徴的な測定においては、環境内に既知の位置でもって配置されたテスト用対象物の初期像を、各カメラによって撮影する。この目的のために、車両を移動させる。テスト用対象物の像を解析することにより、テスト用対象物に対しての、したがって固定参照フレーム内での、カメラおよび支持体の位置および向きを知る。その場合、対象物の連続した像を撮影するだけで十分である。次に、固定参照フレーム内における対象物の位置を知るために、公知方法によって、連続像が解析される。支持体の各撮影位置までの移動状況を測定することにより、この移動状況を利用して、対象物の位置が決定される。
移動支持体の位置および向きは、テスト用対象物の像の撮影時も含めて各瞬間において既知であることに注意されたい。
位置決めされるべき対象物が、十分に相対位置が認識されている複数の参照マークを備えている場合には、その対象物のただ１つの像からの位置決め方法を使用することができる。
要約すれば、本発明は、最も一般的な形態においては、環境内の移動支持体上に配置されたカメラの初期位置および向きを校正するための方法であって、環境内に、既知の位置および向きでもってテスト用対象物を配置し；各カメラによってテスト用対象物の像を撮影し；テスト用対象物の特性点の、像上における痕跡の位置を認識し、特性点とカメラとの間の向きおよび距離を決定し、これにより、テスト用対象物に対してのカメラの位置および向きを決定するというようにして、処理システムでもって前記テスト用対象物の像を解析することを特徴としている。あるいは、わずかに異なる構成においては、環境内の移動支持体上に配置された第１カメラの、第２カメラに対しての、初期位置および向きを校正するための方法であって、第１カメラに、校正用カメラを付設するとともに、第２カメラに、既知の位置および向きでもってテスト用対象物を付設し；校正用カメラによってテスト用対象物の像を撮影し；テスト用対象物の特性マークの、像上における痕跡の位置を認識し、特性マークと校正用カメラとの間の向きおよび距離を決定し、テスト用対象物に対しての校正用カメラの位置および向きを決定し、これにより、第２カメラに対しての第１カメラの位置および向きを決定するというようにして、処理システムでもってテスト用対象物の像を解析することを特徴としている。
有利には、テスト用対象物は、カメラの視野内において、少なくとも３つのマークを備えている。さらに有利には、互いに同一平面上には位置していないように配置された４つ以上のマークを備えている。
本発明は、また、移動支持体上に配置された１つまたは複数のカメラによって、固定された対象物の３次元的位置測定を行うための方法に関するものであって、校正方法を適用した後に、移動状況を測定しつつ支持体を対象物に向けて移動させ；支持体の移動途中に１つまたは複数のカメラによって対象物の像を撮影し；処理システムによって対象物の像を解析することにより、対象物と１つまたは複数のカメラとの間の方向および距離を決定し；最後に、対象物とカメラとの間の方向および距離と、支持体の移動状況と、を使用して、対象物の位置を計算することを特徴としている。
以下、添付図面を参照して本発明について詳細に説明する。
図１は、テスト用対象物を使用してカメラの初期位置および向きの設定を行い得る各部材を概略的に示す全体図である。
図２は、カメラによって撮影された像上におけるテスト用対象物のマークの痕跡を検索するための技術を示す図である。
図３および図４は、像上におけるマークの痕跡のモデル化を示す図である。
図５は、カメラの位置および向きの決定方法を説明するための幾何的な図である。
図６は、位置決めカメラ２２または４が搭載されている車両を示す図である。
図７は、ある応用においてテスト用対象物によってカメラの位置を決定するための方法を示す図である。
図８は、本発明の他の応用を示す図である。
図９は、本発明の方法を使用した他の形態を示す図である。
まず最初に、カメラによって撮影される対象物の像の外観は、カメラの１１個のパラメータに依存することに注意されたい。つまり、カメラの６個の外因性パラメータ、すなわち、対象物に対してのカメラの向きおよび位置の座標と、少なくとも５個の内因性パラメータ、とりわけ、カメラセンサの光学中心の位置を決定する２つの座標と、対象物の焦点距離を考慮した２つの値と、少なくとも１つの径方向捻れ因子と、である。これら内因性パラメータは、カメラの構成部材が組み立てられた直後に行われる公知の校正によって決定することができる。これら内因性パラメータは、その後は、不変のままである。本発明の目的であるカメラ位置の決定は、実際、外因性パラメータの決定に関連している。外因性パラメータの決定は、カメラをカメラの支持体上に取り付けたときに、また、取り外して再取り付けするたびごとに、また、支持体の位置を調整したときに、そして、実用的には時々、行わなければならない。このために、固定されたテスト用対象物が使用される。外因性パラメータの計算方法について、以下、詳述する。
本方法においてカメラの外因性パラメータを得るために使用される単眼的位置決めは、既知寸法のテスト用対象物の使用、および、カメラによってこのテスト用対象物を撮影した１枚の像の使用、に基づいて行われる。ある種の公知の決定方法は、解析的であって、テスト用対象物の参照点すなわちマークの位置をテスト用対象物の像から決定するために、非線形等式系を解く必要がある。これは、高速ではあるものの、測定ノイズに敏感であって、多数の識別マークを必要とする。
他の手段は、反復手段によって構成される。この場合、参照点の位置が評価されて、その後、カメラによって記録された像と参照点の評価位置によって得られた像との間の誤差基準（誤差の大きさ）を最小化するために、参照点の位置が補正される。このような手法は、精度が高いものであって、測定ノイズにあまり敏感ではなく、可変数の参照点を使用できる。しかしながら、このような手法は、収束が極めて遅いという欠点があり、また、第１評価が解に近くなければならず、そうでなければ、収束が得られないという欠点がある。
参照マークを付帯した対象物の位置を決定するためのインバースデバイス（inverse device）が、DeMenthon氏およびDavis氏によって、International Journal of Computer Vision, vol. 15, p. 123-141, 1995における“Model-based object pose in 25 lines of code”と題する文献において、開示されている。この場合、近似的であって使用が簡単なアルゴリズムによって第１解析評価が得られ、その次に、カメラにより撮影された像上に参照点の位置評価を投影しこの投影に対して近似アルゴリズムを適用するという反復プロセスによって、初期的位置評価が修正される。これにより、以前のものよりも精度が高められた、参照点の新たな位置評価が得られる。
ここで提案される位置決め方法は、単眼的光学方法という分類に属するものであって、上記文献のものに非常に類似した第１位置評価アルゴリズムを使用した反復解法を使用する。本方法は、従来方法に対して、とりわけ、最終評価アルゴリズムがより良好であること、および、測定ノイズによって影響を受けにくいこと、において相違しており、また、像上における参照点の位置決定を改良する特別のステップを備えている点において、また、像の位置の最終決定における精度要求を満足させ得るような参照点位置の特性において、相違している。
最終３次元評価アルゴリズムは、像内のマークの痕跡の２次元位置を改良するというステップからくる品質係数を注入した非線形最小２乗法計算を使用して行われる。この計算は、有利には、数値安定性が単精度（３２ビット）浮遊小数点演算で確保されるようなカルマンフィルタによって、置き換えることができる。非線形最小２乗法計算には、倍精度（６４ビット）での演算を必要とし、これは、すべてのコンピュータハードウェアでは利用することができない。特に、ＤＳＰ（デジタル信号処理プロセッサ）を備えたオンボードシステムでは利用することができない。
未公開の仏国特許出願明細書第９７ ０２４２６号には、固定されかつ既知位置とされたカメラの視野内に参照マークを付帯した移動対象物の位置および向きを決定するための、本発明の方法と同様の方法が開示されていることに注意されたい。
図１は、二面角をなしかつカメラ４を向く２つの平面上に複数のマーク３を付帯したテスト用対象物１を示している。マーク３は、色付きの点あるいは周囲光を反射する点といったような、小面積のパターンとすることができる。これらパターンは、有利には、３個よりも数が多いものであり、かつ、同一平面上には位置していないものである。しかしながら、３次元的位置を初期化するという付加的ステップにおいては、発生するあいまいさを除去することにより、ただ３つだけの参照マークを使用することができる。これは、本発明の範囲内で取り扱うことができる高精度３次元位置応用においては、最終結果に近い良好な値が非常にしばしば得られることがわかっているからであり、このことは、プロセスの初期化を可能とする。さらに、より良好な精度が要望される場合には、有利には、パターン数を増やすことができる。マーク３が、カメラ４に対して所定の不変の向きであることは本質的ではなく、逆に、マーク３は、検出精度を損なうことなく、斜めとして存在することができる。このことは、カメラ４の配置に関しての制約を低減させる。
このような能動的なマークは、好ましくは、当該分野で通常的であるような発光性マークとすることができる。このような発光性マークは、視認性を高めることができるものの、エッジの判別性が悪い。このことは、後述の位置評価向上アルゴリズムによる利益享受を妨害する。
位置決め方法の第１ステップは、カメラ４によって撮影された像上においてマーク３の痕跡を探すことである。それは、各々がマーク３のいずれかの痕跡を含んでいる、いくつかのサブイメージまたは像区画を識別するというステップである。図２は、このステップにおいては、先に撮影された校正像９に対しての、カメラ４による像１０の相関を求めることを示している。マーク３のうちのいずれかの痕跡が校正像３の参照点領域すなわちサブイメージ１１内に含有されていることを考慮するならば、位置決めプログラムは、引き続いて、像１０上のｘｙ座標に関しての識別領域としてサブイメージ１２を形成し、そして、以下の式（１）にしてがってサブイメージ１１，１２の点の光強度の相関係数Ｃを計算する。

ここで、Ｃovは共分散であり、Ｅは期待値であり、σは光強度の標準偏差である。Ｍ_oおよびＭ_kは、サブイメージ１１および１２の内容物すなわち光パターンを示している。この計算は、ｘおよびｙを可変とすることによってサブイメージ１２のすべての位置に関して繰り返される。これにより、像１０の相関表が得られる。各点には、−１〜＋１の数が付与される。ここで、−１は、考慮したｘｙ座標に関してパターンＭ_oとＭ_kとが負の相関であることを示しており、０は、相関がないことを示しており、＋１は、完全な相関があることを示している。＋１という状況は、サブイメージ１２が参照用サブイメージ１１と同一である場合に現れる。相関は、相関表を読むことによって、像１０上において、サブイメージ１１に対して最良の相関を示す場所を正確に拾うよう機能する。よって、像１０内から、観測対象物のマーク３のいずれかの痕跡１３を含有した所定数のサブイメージ１２を識別することができる。複数のマーク３が同一のものである場合には、複数のサブイメージ１２に対して、ただ１つの参照用サブイメージ１１を準備するだけで良い。そうでない場合には、１つの参照用サブイメージ１１に対して、対応した１つのサブイメージ１２が見つけられる。
この方法は、マーク３どうしの間に光量変化があったにしても、あるいは、像１０と校正像９との間に光量変化があったにしても、マーク３の痕跡を発見できるという、大いに有利な利点を有している。
しかしながら、この方法をより有効でありかつより信頼性高いものとするためには、いくつかの注意が必要である。実際、これら相関の計算が、時間を要するものであって高価なものであることを了解する必要がある。この理由のために、相関計算は、実際、数少ない像において行われ、オリジナルイメージの点（画素）の選択数が少数化される。このようにして得られた少なめの相関表から、候補をなすサブイメージに対応した複数の点が、探しているサブイメージ１２の数よりも多めに選択される。候補サブイメージは、完全な候補サブイメージ上において、すなわち、イメージ数の絞り込みにあたって除外されたすべての点が計算されているサブイメージ上において、チェック相関を行うことにより、第２回目の選択を受ける。最終的に採用された複数のサブイメージ１２は、参照用サブイメージ１１に対して最良のチェック相関を有したものである。このような注意点によって、漂遊光や他の人工物がシステムに誤差をもたらしたりまた実際の痕跡１３ではなくてこれらの漂遊光や他の人工物のところに痕跡１３があると錯覚させたりしかねないような実際の処理条件に付随する誤差発生のリスクを防止することが可能となる。さらに、チェック相関は、各計算のたびごとに、サブイメージ１２を、各候補サブイメージの周辺に構築された所定寸法のウィンドウ１４の領域内において移動させながら、何回にもわたって計算することができる。サブイメージ１２の決定のために採用されたウィンドウ１４内において最良の相関を示す位置が採用されることは、もちろんである。これにより、サブイメージ１２内において不適切に痕跡１３をセンタリングすることによって痕跡１３の端を切ってしまうというリスクが、大幅に低減される。
付加的ではあるものの本発明の重要な要素は、サブイメージ１２上におけるマーク３の痕跡１３の位置を、精度高く評価することである。提案された方法によると、この位置のサブ画素配置を行うことができる。つまり、像のある点の幅よりも良好な精度でもって配置を行うことができる。よって、安価な低解像度のカメラ４であっても、満足な位置決め結果を得ることができ、安価な低解像度のカメラ４からの像を即座に使用することができる。例えばサブイメージ１２上における痕跡１３の中心位置を計算するために、痕跡１３のサブイメージ１２と、サブイメージ１１のような原始イメージと、の間の相関を、ベースとして使用することができる。しかしながら、この種の方法は、テスト用対象物１が校正時において像撮影以外の入射角度で観測される場合には、サブイメージ１２上における像が捻れることから、無効となる。このため、以下の式（２）のような式によるサブイメージ１２上における痕跡１３のモデル化が、提案される。

ここで、Ｉはサブイメージ１２上における光強度であり、ａ、ｂ、ｃ、ｄは定数である。定数ａ、ｂ、ｃは、サブイメージ１２の背景の光強度を評価するために機能し、定数ｄは、痕跡１３の全体的光強度を評価するために機能する。ｍ_x、ｍ_yは、痕跡１３の中心の座標を表している。σ_x、σ_yは、サブイメージ１２の主軸に対して（角度θだけ）傾斜しているかもしれない痕跡１３の主軸の、ｘ方向およびｙ方向における幅を表している。ｒ_xyは、痕跡の広がりを表している。
数学的な観点からは、ａ、ｂ、ｃは、楕円状２次元部分からなるガウス関数の平面係数であり、ｄは高さであり、ｍ_x、ｍ_yは平均であり、σ_x、σ_yは標準偏差であり、ｒ_xyは、相関係数である。図３および図４は、このことをグラフで表現している。
このモデル化が、マーク３が移動することの結果としてサブイメージ１２上において痕跡１３が狭まってしまうこと、および、テスト用対象物１が傾いていることの結果として痕跡１３が捻れてしまうこと、を考慮していることは、理解されるであろう。サブイメージ１２の点上において測定された光強度を

とすれば、なすべきことは、式（３）の関数Ｃ_minを最小化することである。

この最小化は、これにより与えられる光強度が測定値に対して最良に一致するように、この関数の変数すなわちモデル化パラメータを変化させることにより行われる。これにより、痕跡１３の正確なモデル化が得られる。特に、ｍ_x、ｍ_yの値から中心を推測することができる。したがって、カメラ４の既知の当初校正を使用して、カメラ４に対しての、考慮されているサブイメージ１２に関してのマーク３の方向を推測することができる。
上記において与えられたモデルは、環状のマーク３に対して適切である。しかしながら、単純な形状の他のマークに適するように変更することは、容易である。
マーク３に対してのカメラ４の位置を決定することが残ったままである。図５により、以下の説明を理解することができるであろう。
カメラ４の対象物によって引き起こされた幾何的捻れが、カメラの本来的パラメータの径方向捻れ因子によって大いに補正されている場合には、あるいは、写真測量法によってカメラ４の当初校正時に補正されている場合には、マーク３の中心に位置する点Ｐは、像１０上において対応痕跡１３の中心Ｐ_pを通りかつ焦点Ｆを通る投影線Ｌ上に、位置している。カメラの参照フレームの軸は、焦点Ｆを原点として、ｉ、ｊ、ｋで示されている。この場合、軸ｋは、像１０に対して垂直なものとされている。カメラ４によってとらえられる空間のすべての点は、焦点Ｆを通る直線によって、像１０上に投影される。このような収束投影法は、「透視画法」と称される。したがって、テスト用対象物１がカメラ４の視野内の所定位置を占めるときには、痕跡１３の中心をなす点Ｐ_pを推測することができる。問題なのは、点Ｐ_pを点Ｐへと変換するような逆投影関係を見つけることである。しかしながら、点Ｐの座標からの点Ｐ_pの座標の計算を可能とする投影関係を逆にすることによって得られる厳密な意味での逆投影関係は、非線形等式系から構成されていることのために、容易には利用することができないことに注意されたい。
このため、点Ｐの位置の第１評価に依存することが、推奨される。この第１評価は、近似的なものではあるけれども、容易に得ることができて、真の解に向けての収束方法に適用することができる。採用された原理においては、点Ｐを像１０上へと、２段階で投影する。すなわち、まず最初に、像１０がなす平面に対して平行な中間平面Π上へと直角に投影して点Ｐ’を得、それから、焦点Ｆに向けてこの点Ｐ’を透視的に投影する。これにより、像１０上において、点Ｐ_p’が得られる。このような疑似投影点は、真の投影点Ｐ_pに近いものとなる。点Ｐの位置の第１評価は、像１０上における点Ｐ_pに関して、逆投影を行うことによって、すなわち上述の疑似投影の逆操作を行うことによって、得られる。これにより、符号^oＰで示す点が得られる。
上記原理は、行うべき計算をより正確に記述する必要がある。
テスト用対象物１の状況は、下記の行列（４）に示すような、回転Ｒと並進ｔとによって表すことができる。これらは、上記のようなビデオカメラ４の参照フレームから、テスト用対象物１に関連した固定参照フレームへの変化を引き起こす。

ここで、ｔ_x、ｔ_y、ｔ_zは、カメラ４の参照フレームの軸ｉ、ｊ、ｋにおいて表現された並進座標である。ｉ、ｊ、ｋは、テスト用対象物１の参照フレーム内で表現されたカメラ４の参照フレームの基本ベクトルである。
平面Πは、テスト用対象物１の参照フレームの原点Ｏが平面Π上に位置しているように、選択されている。このことは、焦点Ｆが、平面Πから距離ｔ_zだけ離間していることを意味している。
テスト用対象物１の参照フレーム内における点Ｐの座標を、^oｘ、⁰ｙ、^oｚとし、像１０上における点Ｐ_p’の座標を、

とすれば、以下の関係式（５）が得られる。

これら等式は、以下の式（６）に示すように、テスト用対象物１の点Ｐの数ｎに対して、一般化することができる。

ここで、記号

は、以下の式（７）によって得られる。

次なる課題は、Ｉ_nおよびＪ_nの量を計算することである。これらの計算は、以下の式（８）によって行われる。

ここで、行列Ｂは、Ａの疑似逆行列である。すなわち、Ｂ＝（Ａ^TＡ）^-1Ａ^Tである。
行列Ｒ、ｔのパラメータｉ、ｊ、ｋおよびｔ_x、ｔ_y、ｔ_zは、単に以下のステップを順序通り行うことにより、得ることができる。
−ノルム（norm）ｎ_I＝‖（Ｉ₁，Ｉ₂，Ｉ₃）^T‖、および、ｎ_J＝‖（Ｊ₁，Ｊ₂，Ｊ₃）^T‖の計算。
−平均ノルムｎ＝（ｎ_I＋ｎ_J）／２の計算。
−ｉ＝（Ｉ₁，Ｉ₂，Ｉ₃）^T／ｎ_I、および、ｊ＝（Ｊ₁，Ｊ₂，Ｊ₃）^T／ｎ_Jの計算。
−ベクトルｉ、ｊのベクトル積を求めることによるｋの計算。
−成分ｔ_z＝１／ｎの計算。
−ｔ_x＝Ｉ₄ｔ_z、および、ｔ_y＝Ｊ₄ｔ_zの計算。
点Ｐの位置評価のための点^oＰの位置が上記計算によって得られたときには、点^oＰの位置は、図５を参照して説明した原理の誤差のために、修正すべきである。点⁰Ｐは、焦点Ｆへと向かう直線に沿って、像１０が乗っている平面上へと投影される。投影点^oＰ_pの座標

は、以下の式（９）によって与えられる。

この式（９）は、式（５）と同様であるが、式（５）よりも単純である。
テスト用対象物１の配置パラメータの最終評価、すなわち、テスト用対象物１の参照フレームの位置および向きを与える行列Ｒ、ｔの係数の各値は、像１０上の点Ｐ_pにおいて測定された座標

と、点^oＰに対して上記式（９）によって計算された投影点^oＰ_pの座標

と、の間の２乗誤差を最小化することによって得られる。痕跡１３のモデル化によって評価された点Ｐ_pの座標に関する不確定性が、考慮される（このような不確定性は、予め評価しておくことのできる係数からなる行列Λによって表現することができる）。言い換えれば、以下の式（１０）によって与えられる量Ｃ_minを最小化できるように思われる。

像１０上における投影点^oＰ_pの位置に基づいて点^oＰが移動するたびごとに、反復計算が行われる。反復は、投影点が痕跡１３の中心Ｐ_pに向けて十分に収束するまで行われる。テスト対象物１の位置が固定参照フレーム内において既知であることから、逆変換を計算することによって、同じ参照フレーム内におけるビデオカメラ４の位置を知ることができる。
以下、本発明による位置決め方法の具体的応用について説明する。位置決めカメラ４は、図６に示すように、車両２１の屋根上に取り付けられたタレット２０のプラットホーム上に配置することができる。この車両２１は、道路を走行しつつ、関連する管理やサービスの道路交通標識２８を記録することを意図したものである、あるいは、市販され始めているような道路案内ソフトウェアプログラムのために使用可能なデータベースを構築することを意図したものである。他の固定型位置決めカメラ２２が、車両２１の屋根の上に直接的に取り付けられている。標識２８が様々な寸法や形態であり、また、泥で汚れていたり傾いていたり、また、部分的に葉や他の障害物で隠されていたり、また、予想外の場所にあったりするものであるにしても、１０センチメートル程度といったような高精度での標識２８の位置決めと、標識２８の完全な記録すなわち一切の見落としのない標識２８の記録とが、要求される。したがって、車両２１には、屋根上に、投光器２３と位置決めアンテナ２４とが設けられている。また、乗員隔室内には、制御キャビネット２５が設けられている。成膜キャビネット２５は、コンピュータと、計算および制御のためのソフトウェアと、ジャイロ式慣性ユニット２６と、少なくとも１つの走行距離計２７と、を備えている。これら構成要素は、公知のものであるので、詳細には説明しない。ただ、走行距離計２７は、車両２１の少なくとも１つの車輪の回転を計測するための手段を有することができる。反射性標識２８を検知するためのカメラ２２または色付き標識を検知するためのカメラ４と、アンテナ２４と、慣性ユニット２６と、走行距離計２７とは、制御キャビネット２５に対して接続されている。
まず最初に、標識２８の検知方法について簡単に説明する。この目的のためには、近赤外あたりの波長に対して敏感なカメラ２２、および、反射性標識を検知するための投光器２３、および／または、色付き標識を検知するためのカメラ４が使用される。他の方法が可能であるけれども、カメラ４は、カメラ４による像が多数の平行測定チェインによって２つの異なる方法で処理されるように、選択されている。可視スペクトルにおいて撮影された環境の像が、まず最初に、記録した背景における複数の基本色（赤、緑、および、青）のうちのそれぞれ１つずつを有した３つの像に分離される。標識２８が特定の幾何的形態によって認識され、そのような幾何的形態と、本発明の目的ではないソフトウェアプログラムによって決定された色とによって、時には標識が付帯している文字を解読することによって、識別される。他の測定方法として、近赤外光で背景像を同時に撮影することができる。投光器２３は、車両２１の前方に向けて、そのような光を投射する。このことは、他の使用者には見えないという利点がある。このような光は、標識２８によって、カメラ２２へと向けて、反射される。これは、完全なる記録を行うための付加的手段をなす。カメラ２２による近赤外における像は、単色であることにより、処理が容易である。
アンテナ２４は、円形軌道上の衛星ネットワークから位置情報を受け取る。この位置情報により、公知方法によって、車両を所望の精度でもって数秒という短時間で配置することができる。所望の精度を得るために、いわゆる差分ＧＰＳ位置決め方法が使用される。車両２１の移動距離は、走行距離計２７によって定期的に測定され、方向変化は、慣性ユニット２６によって測定される。走行距離計２７および慣性ユニット２６は、比較的大きなドリフトを受けるけれども、アンテナ２４に関与する衛星の２つの位置の間において実際に現れるための時間を有してはいない。
よって、走行距離計２７および慣性ユニット２６は、短期的には位置決めに関して高精度で動作することができ、大きな繰返し速度（５０ヘルツ）で動作することができる。これにより、各回ごとにカメラ位置を正確に計算することができ、障害物に応じたＧＰＳ衛星からの信号損失を補償することができる。
ＧＰＳと慣性とのこのような公知の組合せ技術は、これによる結果も含めて記録された記録を、後で解析する際に使用することができる。有利には、車両の経路とデジタルマップ背景とのマッチング技術（マップマッチング）を併用することができる。
したがって、標識２８の位置決めを行うこの方法に固有の不確定性は、本質的には、地上における車両２１の向きと、車両２１のタレット２０上における位置決めカメラ４，２２の向きと、に由来する。本発明においては、固定されたテスト用対象物によってカメラ位置を位置決めするという上記方法を、図７に示すような方法で、適用することができる。ここでは符号１０１で示されているテスト用対象物は、建物３２の壁に対して取り付けられた一群の反射材３１を備えることができる。建物は、例えば、測定後に車両２１が戻る車庫である。車両２１は、建物の前方を定期的に通ることとなる。次なる測定のための再度の設定を行うに際しては、車両２１は、建物３２の前でしばらく停止して、車両操作により位置決めカメラ２２が反射材３１を向くようにする、あるいは、タレット２０を操作することにより位置決めカメラ４が反射材３１を向くようにするだけで十分である。これにより、テスト用対象物１０１の像を撮影することができる。この像を上記方法によって解析することで、量ｔ、Ｒで表現されるような、位置決めカメラ４の外因性パラメータを求めることができる。位置決めカメラ４の位置および向きは、固定参照フレーム内で決定され、移動工程中のどの瞬間においても既知のままである。特に標識２８の撮影時においては、タレット２０の回転移動を測定することにより、慣性ユニット２６によって車両２１の方向変化を測定することにより、走行距離計２７および位置決めシステムにより車両移動を測定することにより、既知のままである。したがって、所望精度での地上における標識位置の計算を、確実に行うことができる。本発明の特別の実施形態においては、符号１０４や２０４で示すような、標識２８を撮影するためのいくつかの他の位置決めカメラが、同じタレット２０上にあるいは可能であれば近隣の同様のタレット上に、配置されている。これら付加的なカメラ１０４，２０４は、テスト用対象物１０１に対して、同時に位置決めされる。
実際、カメラのセットは、広い視野を有しており、異なるカメラでもって連続的に撮影された像２８により標識２８を観測することができる。このことは、すべてのカメラを搭載しているタレット２０を、よりゆっくりと回転させることを可能とする、あるいは、回転させずにそのままの状態を維持させることができる。さらに、本発明は、全体的に、タレット２０無しで実施することができる。その場合、１つまたは複数のカメラは、車両２１といった移動支持体に対して直接的に取り付けられる。
標識２８の位置決めは、この特別の位置決め方法に関する説明を参照することができる仏国特許出願明細書第９６ ０６７４９号における方法以外にも、いくつもの公知方法によって行うことができる。いくつかの方法は、Faugeras氏による“Three dimensional computer vision. A geometric viewpoint”（The MIT Press, 1993）、Kraus氏による“Photogrammetry Fundamentals and standard process”（Bonn, Fred. Dummler Verlag, 1993, 4th edition）、あるいは、Zhang氏およびFaugeras氏による“3D dynamic scene analysis: a stereo based approach”（Springer-Verlag, 1992）、に開示されている。対象物が既知の相対配置でもって複数のマークを付帯している場合には、マーク位置は、テスト用対象物に対して使用した位置決め方法をその対象物に対して適用することによっても、計算することができる。
同じ位置決め原理に基づいた他の応用について、図８を参照して説明する。遠隔操作デバイス４０は、操作者４１によって制御される。操作者は、閉塞チャンバ３９内における放射性等のような危険な環境から操作者を隔離する厚い保護壁４２の向こう側に、位置している。操作者は、厚い窓ガラス４３を通して、わずかの領域しか見ることができない。したがって、遠隔操作デバイス４０のアームの操作部材４４を、所望位置へと配置することが、困難である。しかしながら、上記と同一のカメラ４が遠隔操作デバイス上において操作部材４４近傍に取り付けられていて、そのため、標識２８に対して行われた像解析と同様の像解析によって、操作部材４４近傍の周囲状況の３次元的像が得られている場合には、テスト用対象物２０１の像を撮影することによって、定期的にカメラ４の位置決めを行うことができる。この場合、テスト用対象物２０１には、上記テスト用対象物１と同様に、少なくとも４つの円形マーク３が、共通平面内に突出することなく、壁上にペイントされている。そして、カメラ４による像解析により、環境内における部材の位置を知ることができる。これにより、試行錯誤を繰り返すことなく、操作部材４４の移動制御を行って、操作部材４４を所望位置へと導くことができる。操作部材４４は、チャンバ３９の隅であっても、対象物を把持するとか、それを他の場所に置くとか、あるいは、溶接されるべく隣接配置されたプレートどうしの溶接箇所へと正確に溶接トーチを配置して保持するとか、いった作業を正確に行うことができる。そのような遠隔操作デバイス４０の端部に配置されたカメラ４は、カメラをすぐに損傷してしまうような劣悪環境のために、頻繁に交換しなければならないこと、また、交換のたびごとにカメラが異なる位置に取り付けられることが、遠隔操作デバイス４０の学習を複雑化してしまうこと、には注意が必要である。したがって、テスト用対象物２０１の位置決めは、カメラ４が交換されるたびごとに行われる。
カメラ位置を決めるという原理の他の応用は、移動ヘッド上に搭載された複数のカメラのそれぞれの位置を校正することに利用することができる。このことは、自動車検査センターにおける車両形状（車輪配置）のチェックに関連している（図９参照）。検査に際しては、検査されるべき車両５５の車輪５６に対して、反射性マーク５７を備えたプレート５４を取り付ける。そして、２つのカメラ５１，５２を、車両の後方側において両サイドに配置する。各カメラの視野内に位置するようにプレートを３次元的に配置することにより、各車輪５６のカメラ５１，５２に対しての角度状態を正確に決定することができる。したがって、車両の一方サイドにおける２つの車輪５６どうしが平行であるかどうかを決定することができる。というのは、両チェックプレートが、参照フレームをもたらす同一カメラ５１または５２の視野内に入っているからである。
互いに反対サイドにおいて同軸配置されている２つの車輪の配向をチェックするためには、２つのカメラ間の参照フレーム関係を正確に知る必要がある。１つの手段としては、２つのカメラ５１，５２を横方向支持体に対して堅固に固定し、そして、本発明による技術を使用して両カメラ５１，５２の位置を校正することである。各カメラの位置を知るために、２つのカメラの視野内に、マーク付きのテスト用対象物を配置する必要がある。参照フレーム内のテスト用対象物の相違によって、２つのカメラ５１，５２の間の位置関係を知ることができる。
このような車両形状チェック装置は、堅固でありかつ安定な機械的設置を必要とする。これは設置が重く、かさばることとなる。
有利には、図９の装置においては、２つのカメラ５１，５２は、車両の両サイドにおいて、共に軽量でありかつ互いに個別とされている支持体６０（三脚）上に、設置することができる。カメラ５２には、マーク５８付きのプレート５９が設けられている。このプレート５９は、カメラ５１を向く側に設けられている。第３のカメラ５３が、カメラ５２を向いた状態で、カメラ５１の支持体に対して堅固に固定されている。
カメラ５３によって撮影されたプレート５９の像を解析するといった、本発明の技術を使用すれば、プレート５９に対してのカメラ５３の実際の位置を連続的に（位置決め測定のたびごとに）知ることができる。カメラ５３を搭載したカメラ５１と、マーク５８付きのプレート５９を付帯したカメラ５２という、２つの構成要素は、これらの所定幾何パラメータを知るために、他のカメラを搭載した測定ベンチと関連したテスト用対象物とを使用して、予め工場内で校正される。
よって、このような軽量装置を使用して、検査ステーションにおいてリアルタイムで車両の４つの車輪の配置状況をチェックするために必要な、カメラ５１とカメラ５２との間における参照フレーム変換関係を、知ることができる。このことは、操作者が三脚６０の配置を、厳密な位置決めをせず、いい加減に（近似的に）行った場合であっても、問題なく可能である。
校正カメラ５３によって撮影された像の使用は、上記と同様にして行われ、カメラ５１，５２の相対位置および相対的な向きを決定することができる。
このような方法は、単一のかつ同一の対象物を観測するためのまたは単一のかつ同一の対象物内の複数の隣接部分を観測するためのまたは単一のかつ同一の空間内の複数の隣接部分を観測するための、いくつかのカメラと、これらカメラを隣接配置して対象物を観測したり被観測空間の特性を決定したりするために、互いに相関づけられる複数の視野と、を備えた任意のシステムに対して、一般化することができる。

Claims (10)

1. 環境内の移動支持体（２１，４０）上に配置されたカメラ（４，２２）の初期位置および向きを校正するための方法であって、
   前記環境内に、既知の位置および向きでもってテスト用対象物（１，１０１，２０１）を配置し；
   前記カメラによって前記テスト用対象物の像を撮影し；
   前記テスト用対象物の特性マーク（３）の、前記像上における痕跡の位置（Ｐ_p）を認識し、前記特性マークと前記カメラとの間の向きおよび距離を決定し、これにより、前記テスト用対象物に対しての前記カメラの位置および向きを決定するというようにして、処理システムでもって前記テスト用対象物の像を識別し、
   まず最初に、前記テスト用対象物の前記特性マーク（３）の痕跡の中心を、前記テスト用対象物の参照フレームの原点を通りかつ前記像が乗っている平面に対して平行な平行平面（Π）に対して、単一焦点（Ｆ）へと向かう収束線に沿って、逆投影し、次に、前記平行平面に対して垂直な向きに空間内へと投影を行うことにより、逆投影点（°Ｐ）を獲得し、その後、該逆投影点（°Ｐ）を、前記焦点（Ｆ）へと向かう収束線に沿って、前記像（１０）が乗っている平面上へと投影することにより、投影点（°Ｐ _p ）を獲得し、前記特性マーク（３）の痕跡の中心（Ｐ _p ）と前記投影点（°Ｐ _p ）との間の誤差評価基準を最小化するように、前記逆投影点の位置を修正し、前記逆投影点の獲得操作および前記逆投影点位置の修正操作を繰り返すことにより、前記特性マークと前記校正用カメラ（４，２２）との間の位置および向きの決定を行うことを特徴とする方法。
2. 環境内の移動支持体（６０）上に配置された第１カメラ（５１）の、第２カメラ（５２）に対しての、初期位置および向きを校正するための方法であって、
   前記第１カメラに、校正用カメラ（５３）を付設するとともに、前記第２カメラに、既知の位置および向きでもってテスト用対象物（５８）を付設し；
   前記校正用カメラによって前記テスト用対象物の像を撮影し；
   前記テスト用対象物の特性マーク（３）の、前記像上における痕跡の位置（Ｐ_p）を認識し、前記特性マークと前記校正用カメラとの間の向きおよび距離を決定し、前記テスト用対象物に対しての前記校正用カメラ（５３）の位置および向きを決定し、これにより、前記第２カメラ（５２）に対しての前記第１カメラ（５１）の位置および向きを決定するというようにして、処理システムでもって前記テスト用対象物の像を識別することを特徴とする方法。
3. 請求項１または２記載の方法において、
   前記テスト用対象物に、少なくとも３つのマークを設ける、有利には、４つ以上のマークを設けることを特徴とする方法。
4. 請求項２記載の方法において、
   前記テスト用対象物に対しての、前記校正用カメラの位置および向きを、前記テスト用対象物に関連した参照フレームに対しての、校正されるべきカメラの位置（ｔ）および向き（Ｒ）という形態で決定することを特徴とする方法。
5. 請求項２記載の方法において、
   まず最初に、前記テスト用対象物の前記特性マーク（３）の痕跡の中心を、前記テスト用対象物の参照フレームの原点を通りかつ前記像が乗っている平面に対して平行な平行平面（Π）に対して、単一焦点（Ｆ）へと向かう収束線に沿って、逆投影し、次に、前記平行平面に対して垂直な向きに空間内へと投影を行うことにより、逆投影点（°Ｐ）を獲得し、その後、該逆投影点（°Ｐ）を、前記焦点（Ｆ）へと向かう収束線に沿って、前記像（１０）が乗っている平面上へと投影することにより、投影点（°Ｐ_p）を獲得し、前記特性マーク（３）の痕跡の中心（Ｐ_p）と前記投影点（°Ｐ_p）との間の誤差評価基準を最小化するように、前記逆投影点の位置を修正し、前記逆投影点の獲得操作および前記逆投影点位置の修正操作を繰り返すことにより、前記特性マークと前記校正用カメラ（４，２２）との間の位置および向きの決定を行うことを特徴とする方法。
6. 移動支持体（２１，４０）上に配置されたカメラ（４，２２）によって、固定対象物（２８）の３次元的位置測定を行うための方法であって、
   請求項１記載の校正方法を適用した後に、
   移動状況を測定しつつ前記支持体（２１，４０）を前記対象物（２８）に向けて移動させ；
   前記支持体の移動途中に前記カメラによって前記対象物の像を撮影し；
   処理システムによって前記対象物の前記像を識別することにより、前記対象物（２８）と前記カメラ（４）との間の方向および距離を決定し；
   前記対象物と前記カメラとの間の前記方向および前記距離と、前記支持体の前記移動状況と、を使用して、前記対象物の位置を計算することを特徴とする方法。
7. 請求項６記載の方法において、
   前記支持体上に、互いに異なる観測方向を有した複数のカメラ（４，１０４，２０４）を配置し、
   前記カメラの各々によって、テスト用対象物の像を撮影し、
   各カメラの相対的な位置および向きを決定し、
   それぞれのカメラでもって、前記対象物の複数の像を撮影し、
   前記対象物の像を識別し、
   前記相対的な位置および向きを使用して、前記対象物と前記カメラとの間の方向および距離を決定し、前記対象物の位置を計算することを特徴とする方法。
8. 請求項６または７記載の方法において、
   各道路交通標識（２８）を前記対象物として、環境としての道路ネットワーク上において、衛星位置決めシステム（２４，２５）と慣性方向検知システム（２６）とを備えてなる、前記移動支持体としての車両（２１）によって、道路交通標識（２８）の記録に対して適用することを特徴とする方法。
9. 請求項６または７記載の方法において、
   前記カメラ（４）の前記支持体としての遠隔操作アームによって、遠隔操作に対して適用することを特徴とする方法。
10. 請求項２記載の方法において、
    単一空間内に配置された複数のカメラによる複数の部分的視野から、前記単一空間の内容物を観測することに対して適用することを特徴とする方法。

Images