JP5589823B2 - ステレオカメラの校正装置および校正方法 - Google Patents

Description

本発明は、画像にもとづく測距技術に関し、より詳細には２台のカメラが取得した画像の視差を使用して距離を測定するためのステレオカメラを校正するステレオカメラの校正装置および校正方法に関する。

ステレオカメラは複数の位置に設置された単眼カメラからの画像を取得し、視差（各画像における像位置の差）を用いて物体の距離や位置を測定する装置である。近年、機械を用いた空間認識へのニーズが高まっており、たとえば自動車にステレオカメラを搭載し、運転者に周囲の歩行者の有無などの情報を提供し、運転支援をするシステムが実用化されつつある。

三次元（３Ｄ）位置を精度良く計算するためには、２台のカメラの校正が必要である。校正には、２台のカメラ間の位置、距離（基線長）、姿勢の相対関係を示すパラメータ（以下、外部パラメータと言う。）と、それぞれのカメラにおけるレンズ歪みや焦点距離、レンズと撮像素子との位置関係や姿勢などを示すパラメータ（以下、内部パラメータとして参照する。）を考慮する必要がある。

校正の方法として、対象となる計測領域の３Ｄ位置を求める際に、予め３Ｄ形状が既知なキャリブレーションボードを計測領域に設置することで、対象の３Ｄ位置計測のための変換パラメータの導出を簡便に行うようにしたものも知られている。この他、Ｒｏｇｅｒ Ｙ．Ｔｓａｉらによる方法（非特許文献１）（Roger Y, Tsai, ”A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Metrology Using Off-the Shelf TV Cameras and Lenses”, IEEE J.Robotics and Automation, Vol.RA-3, No4, pp.323-344, 1987）も提案されている。非特許文献１による方法は、平面上に多数の点を配置したキャリブレーションボードに対してカメラを傾けて撮影し、各点の世界座標と画面座標とを対応付けしたセット・データからカメラのパラメータを決定するものである。

この他、Z. Zhangによる手法（非特許文献２）（Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000）等も知られている。

ステレオカメラの視差ｐは、視差オフセットｂ、距離換算パラメータａおよび物体（対象点）までの距離ｘを使用して下記式（１）で与えられる。

上記式（１）における視差オフセットｂおよび距離換算パラメータａは、内部パラメータおよび外部パラメータを補正した後に、特定のステレオカメラで距離を取得するために使用する、視差対距離の関係を与えるための補正係数である。視差オフセットｂは、同一の対象点を無限遠から観測した場合の左右のカメラが取得する画像のローカル座標の差であり、対象点が無限遠にあり、左右のカメラの幾何学的配置が理想的に行われている場合、ｐ（視差）＝０となる。

しかしながら、左右に離間して配置される２台のカメラは、それぞれ独立しているので、ステレオカメラの基線およびステレオカメラとテストチャートとの間の距離を定義する軸である光軸とがなす平面に垂直な軸周りでの回転（ヨー方向）など機械公差および校正誤差が重畳した結果、無限遠の物体についても特定のステレオカメラでは、視差ｐに関するオフセット、すなわち視差オフセットｂが存在することを意味する。また、距離換算パラメータａは、理想状態での値は、ステレオカメラのどちらか一方のカメラ（以下、基準カメラとして参照する。）の焦点距離と基線長の積となるが、カメラの焦点距離はレンズの公差もあるので、すべてのカメラが設計値どおりというわけではなく、また基線長も設置の際の機械公差でばらつくため、ステレオカメラ毎に校正する必要がある定数である。

従来のステレオカメラでは、上記式（１）を使用して実質的に無限遠といえる距離にある物体を撮影し、視差オフセットｂおよび距離換算パラメータaは、ステレオカメラとして、１台１台毎に校正されていた。校正を行う場合、既知の距離にある物体を見たときの視差ｐを測定し、上記式（１）を使用して校正を行うのであるが、未知変数はａ，ｂの2パラメータなので、距離ｘと、視差ｐの関係が２セット以上必要である。このために用いられる２セットのデータセットは、従来では近距離物体の距離・視差値および遠距離物体の距離・視差値を用いることが多い。というのも２種類の距離と視差値のデータは、なるべく距離が離れているほうが系統的誤差の影響を受けづらくなる。一方、遠距離の物体の距離は、無限遠に近ければ近いほど、その距離測定誤差に対する校正誤差の影響は少なくなるためである。

従来の校正手法として、例えば特許第４１７２５５４号明細書（特許文献１）には、遠方の略等距離にある２つの領域と近方の１つの領域とから算出し、各画像の相対的な位置補正と第１のカメラの水平ラインをステレオカメラの基線に平行にする補正とを同時に行って対応位置の誤差をなくすよう画像変換のパラメータを設定することでステレオカメラの光軸の経時的なズレを自動的に補正する技術が開示されている。

また、特許第４１７２５５５号明細書（特許文献２）には、水平方向の並進補正、つまり視差オフセットや、垂直方向の並進補量、回転補正を画像変換によって補正する目的で、遠方及び近方に配置したパターンを撮像した第１のカメラの画像と第２のカメラの画像とにおける各パターンの位置ズレ量及び各パターンの距離を測定することが開示されている。

特許文献２に記載された技術でも視差オフセット量を測定することは可能となるものの、視差オフセット量を測定する際に、遠方のパターンを撮像しているため、ステレオカメラの校正作業を効率化することはできないし、また省スペース化も期待できない。さらに、遠距離の対象点を使用するために、検査対象となる画素数も少なく精度的にも充分ではないし、それを設置するために広い敷地が必要であるという問題は解消できていない。

特許文献１に記載された技術は、一旦設定された校正パラメータが経時的にずれた場合に適用されるものであり、校正パラメータの較正という意味合いを有するのである程度予測された範囲であるということができ、また測定対象も適宜設定できるものである。しかしながら、ステレオカメラを製造する際の初期校正では、校正パラメータはステレオカメラ毎に予測できない値として正確に決定しなければならないので、無限遠と見なすことができる対象点を測定する必要がある。製造時に無限遠とみなすことができる遠距離で、ステレオカメラを校正するための視差値および距離を測定するためには、校正作業時に無限遠とみなすことができる程度の遠方にテストチャートなどの物体を対象点として配置しなければならず、遠方の対象点の画像処理を必要とするため校正精度も限られ、さらに１台のステレオカメラの校正作業のために広いスペースが必要となり校正作業の生産性を低下させてしまうという問題があった。

本発明は、上記従来技術の問題点に鑑みてなされたものであり、遠方の物体を見たときのステレオカメラの視差値及び距離を測定する校正手法に代え、実際に遠方にチャートなどの対象点を配置することなく、省スペースかつ精度良く無限遠相当時の視差値を測定可能とするステレオカメラの校正装置および校正方法を提供することを目的とする。

本発明が適用されるステレオカメラ１００の機能ブロック図。 本実施形態の距離計算部１３０が使用する視差ｐと距離xとを含む上記式（１）の曲線および左右画像の間の視差の実施形態を示すグラフ。 本発明の第１の実施形態の校正装置３００の上面構成を示した図。 本実施形態で第２カメラ３１８についてテストチャート画像の取得が終了し、第１カメラ３２０についてテストチャート画像を取得させる実施形態の上面構成を示した図。 図３で示した校正装置３００の側面構成を示した図。 本実施形態の校正装置３００が近距離での構成パラメータを取得する場合の配置を示した図。 本発明の校正装置の第２の実施形態の上面構成を示した図。

以下、本発明を実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。図１は、本発明が適用されるステレオカメラ１００の機能ブロック図である。ステレオカメラ１００は、光学軸に対して左右対称に配置された左カメラ１０２と右カメラ１０４とを含んでいる。左カメラ１０２および右カメラ１０４は、物理的には、基線長を与えるカメラステー１４０により連結されていて、左カメラ１０２および右カメラ１０４は、ステレオカメラ１００から一定の距離だけ離間した物体の画像を撮影し、撮影した画像を距離計算部１３０に送り、物体までの距離を決定する。

左カメラ１０２および右カメラ１０４は、いずれも同様の機能構成を備えているので、例示的に左カメラ１０２を例にとってより詳細に説明を行う。左カメラ１０２は、撮像部１０６と、内部パラメータ補正部１１２とＲＯＭ１１４とを含んで構成されている。撮像部１０６は、レンズ、シャッタ、絞りなどの光学系１０８とＣＣＤ、ＣＭＯＳ素子などとして実装される撮像素子１１０とを含んでいて、左カメラ１０２が取得した光学像を画像データに変換する。内部パラメータ補正部１１２は、レンズと撮像素子との位置関係や姿勢などを示す内部パラメータをＲＯＭ１１４から取得してカメラ自体の光学系の配置に依存する補正をデジタル画像に対して施し、画像データから内部パラメータによる影響を除去したデジタル画像を生成する。

撮像部１０６で得られたデジタル画像は内部パラメータ補正部１１２に送られる。内部パラメータ補正部１１２は、ＲＯＭ１１４に格納された補正テーブルを読み込み、そのテーブルを参照することによって、レンズ歪みやレンズと撮像素子間の相対位置関係等の内部パラメータを補正する。補正にあたっては、内部パラメータには、レンズ歪み以外にもレンズと撮像素子間の相対位置ずれの影響も考慮することが必要とされるので、相対位置ずれの影響を含めて作成しておくことができる。

ＲＯＭ１１４が格納する補正テーブルは、レンズデータや、予め既知の画像を撮影して求められたレンズと撮像素子間の相対位置ずれなどから計算されたデータであり、ＬＵＴとして実装できる。補正テーブルの作成は、従来周知のようにＲＯＭライタなどを使用して配列データなどとして格納することができる。なお、内部パラメータの補正はレンズの歪みの補正が含まれているため、画像データの逐次的な補正が必要なので、数ライン分の入力画像を使用する。このため、内部パラメータ補正部１１２は、数ライン分のデータを蓄積するバッファメモリを備えることもできるし、左カメラ１０２が適切な領域に確保するＲＡＭ（図示せず）を備えることもできる。

左カメラ１０２の他の実施形態では、内部パラメータ補正部１１２をＦＰＧＡ（Field Programmable Gate Array）などを使用し、ハードウェア記述言語（ＨＤＬ）を使用して特定の機種や目的に応じて可変的に構成することもできる。さらに他の実施形態では、ＡＳＩＣ（Application Specific Integrated Circuit）やＤＳＰ（Digital Signal Processor）などであっても良いし、これらに等価な機能処理を提供する専用のＣＰＵ（Central Processing Unit）やマイクロコントローラを実装し、ソフトウェア処理することによって内部パラメータ補正部１１２を実装することができる。

この他、本実施形態の内部パラメータ補正部１１２は、ガンマ補正やフィルタ処理など、光学的パラメータ以外の画像・画質補正など、他の補正処理を行うことができる。

左カメラ１０２および右カメラで１０４で内部パラメータ補正された後のデジタル画像は、ステレオ処理部１２０の入力部１２２にそれぞれ送られる。入力部１２２には、左カメラ１０２および右カメラ１０４からのデジタル画像が同期入力されることが好ましく、両デジタル画像の入力が非同期に発生する場合には、入力部１２２が左カメラ１０２および右カメラ１０４の同期タイミングを制御することができ、非同期入力に対応するためにステレオ処理部１２０は、適切な容量のバッファメモリを含むことができる。

入力部１２２に入力されたデジタル画像は、外部パラメータ補正部１２４に送付される。外部パラメータ補正部１２４は、台のカメラ間の位置、距離（基線長）、姿勢の相対関係を示すパラメータなどをＲＯＭ１２６から読み込んで、各デジタル画像に対して外部パラメータの補正計算を行ない、認識処理部１３２に各デジタル画像および補正計算結果を渡し、補正後のデジタル画像を生成する。

補正後のデジタル画像が生成されると、各デジタル画像は、距離計算部１３０に送付され、距離計算が適用される。距離計算のアルゴリズムは、以下の通りである。まず、左カメラ１０２のデジタル画像および右カメラ１０４のデジタル画像をそれぞれ画像解析し、２台のカメラで撮像されたデジタル画像の特徴領域を抽出する。

その後、特徴領域の中から輝度・彩度・ビットパターンなどを参照して対応点を探索し、各デジタル画像で物体の同一位置である対応点を抽出する。左カメラ１０２のデジタル画像を左画像として参照し、右カメラ１０４のデジタル画像を右画像として参照すると、対応点は、視差ｐに起因して左右両画像のローカル座標の座標値が相違し、この値が、上記式（１）の視差ｐを与える。

ここで、本実施形態のステレオカメラ構成装置により予め視差オフセットｂおよび距離換算パラメータａが決定され、ＲＯＭ１２６などに格納されているので、取得された視差ｐの値から線形計算により、距離ｘが計算できる。計算された距離ｘの値は、出力部１２８を介して、ステレオカメラ１００の外部装置に送付され、距離を使用した各種制御に提供される。

図２は、本実施形態の距離計算部１３０が使用する視差ｐと距離xとを含む上記式（１）の曲線および左右画像の間の視差の実施形態を示す。図２（ａ）が視差−距離の間の関係を示す曲線であり、図２（ｂ）が左右画像間の視差である。図２からも理解されるように、距離が無限大に対応する視差Ｐ３は、Ｐ３＝ｂとなり、視差ｐそのものの値を視差オフセット値として使用することもできる。そして、近距離での視差Ｐ１は、距離換算パラメータａを適切な精度で決定するために利用され、視差Ｐ１での距離換算パラメータａは、ａ＝（ｐ−ｂ）ｘとして決定することができる。

また、左カメラ１０２および右カメラ１０４は、図２（ｂ）に示すように、左画像Ｌおよび右画像Ｒそれぞれにテストチャートの画像を撮影する。ここで、テストチャートの実体の同一の参照点をＳとした場合、左画像Ｌおよび右画像ＲそれぞれのＳ_ＬおよびＳ_Ｒで示されたポイントの座標は、視差に相当する分だけ相違する。ここで、Ｓ_Ｌの座標を（ｘ_Ｌ、ｙ_Ｌ）とし、Ｓ_Ｒのローカル座標を（ｘ_Ｒ，ｙ_Ｒ）とする。距離に影響を与えるのは、光学軸Ｍを直交する方向の視差なので、ｐ＝｜（ｘ_Ｌ−ｘ_Ｒ）｜とすることができる。なお、上下方向のズレも考慮する場合には、Ｓ_Ｌ，Ｓ_Ｒの位置ベクトルを使用し、内積、Ｓ_Ｌ，Ｓ_ＲのノルムおよびＳ_Ｌ，Ｓ_Ｒ間の距離を使用して視差ｐに相当する値を計算することができる。図２（ｂ）に示した左画像Ｌおよび右画像Ｒが無限遠に相当する位置に配置されたテストチャートの画像である場合、計算された視差ｐは、そのまま視差オフセットの値として使用することができる。

ステレオカメラ１００の校正の際に実際にテストチャートを実質的に無限大の距離と見なせる位置に設置すると、校正のための膨大な空間を消費することや、テストチャートの画像サイズが小さくなってしまい、同一点の検出処理の精度が低下するなどの問題が生じる。この問題は、ステレオカメラ１００に到達する物体からの反射光をできるだけ平行と見なせるようにテストチャートを配置しようとするために生じるものであり、テストチャートを光透過性のものとし、テストチャートの画像が光学的に平行に左カメラ１０２および右カメラ１０４に入射する構成、すなわち光学的に無限遠に等価な配置を採用すれば、テストチャートを無限遠と見なせる実際上の距離に配置する必要はない。

本実施形態の校正装置では、テストチャートとして光透過性のものを利用し、背面照射を介して第１カメラ１０２および第２カメラ１０４に対してテストチャートの画像を平行入射させるものである。ステレオカメラの第１実施形態として、平行光線を生成するコリメータユニットを利用し、ステレオカメラ１００をアライナを使用してコリメータユニットに位置合わせすることによって左右画像を取得することで、光学的な無限遠に対応する左右画像を取得し、以後の校正に適用する。

校正装置の第２の実施形態では、背面照射したテストチャートの画像をステレオカメラ１００の左カメラ１０２および右カメラ１０４の位置に同時に平行に入射するように校正装置に大径レンズを設置し、テストチャートを大径レンズの焦点位置に設置する。以下、各実施形態ごとに校正装置および校正方法を詳細に説明する。
＜第１の実施形態＞
図３は、第１の実施形態の校正装置３００の上面構成を示した図である。なお、図３では、テストチャートからステレオカメラの撮像光学系の結像位置を与える光学軸をｚ軸として定義し、ｚ軸に直交する方向にｘ軸およびｙ軸を定義する。このとき、ｚ軸とｘ軸とが形成する平面に垂直な軸をy軸（ヨー軸）として定義する。校正装置３００は、コリメータユニット３０２と、Ｘ軸移動ステージ３１２と、ｙ軸周りの回転（ヨー）を行うためのθステージ３２２と、制御装置３５０とを含んで構成されている。Ｘ軸移動ステージ３１２は、θステージ３２２をＸ−Ｙ方向に移動させるためのレール３１２ａ、３１２ｂを備えており、θステージ３２２は、Ｘ軸移動ステージ３１２のレール３１２ａ，３１２ｂ上を、アライナ３１４によって位置制御されながらＸ−Ｙ方向に移動する。

ステレオカメラ１００は、第１カメラ３２０および第２カメラ３１８とを含んでおり、第１カメラ３２０および第２カメラ３１８は、カメラステー１４０を介して連結されている。なお、図３中、第１カメラ３２０は、図１の左カメラ１０２に対応し、第２カメラ３１８は、図１の右カメラ１０４に対応する。また、ステレオカメラ１００は、後述するアライナ３１４によって適切な位置に設置された校正処理中に移動しないようにストッパ部材３１０によって固定可能とされている。

θステージ３２２上には、ステレオカメラ１００が固定されており、θステージ３２２は、アライナ３１４によってＸ軸方向に移動し、その移動に伴ってステレオカメラ１００の第１カメラ３２０、第２カメラ３１８をコリメータユニット３０２の光学軸にアライメントさせている。さらに、θステージ３２２は、θステージ３２２上に固定されたステレオカメラ１００のｙ軸周り（ヨー方向）への偏差をキャンセルするように矢線Ａの方向に回動することが可能とされている。θステージ３２２の回転制御は、ステレオカメラ１００の基線が光学軸と垂直になるように行われ、レーザセンサ、画像解析など適切な方法によって取得した基線の光学軸に対する角度が直角となるように配置する。

コリメータユニット３０２は、光源３０４と、テストチャート３０６と、コリメータレンズ３０８とを含んで構成されている。光源３０４は、コリメータレンズ３０８の焦点位置に配置されたテストチャート３０６を背景照射している。テストチャート３０６を透過してテストチャート３０６のパターンを付された光線は、コリメータレンズ３０８に達し、コリメータレンズ３０８によって平行光線とされて図３に示した実施形態では第２カメラ３１８に入射させている。

第１カメラ３２０および第２カメラ３１８は、それぞれ同様の光学的構成を備えており、シャッタ、絞り（図示せず）、レンズ３１８ｂおよびＣＣＤ、ＣＭＯＳデバイスなどの撮像素子３１８ａを含んでいる。制御装置３５０によるアライナ３１４、θステージ３２２およびストッパ部材３１０の調整が終了すると、第２カメラ３１８は、テストチャート３０６の画像を取得し制御装置３５０にテストチャート画像を送付する。その後、制御装置３５０は、第１カメラ３２０がテストチャート画像を制御装置３５０に送付していない場合、アライナ３１４、θステージ３２２およびストッパ部材３１０を制御して第１カメラのテストチャート画像を取得する。なお、第１カメラ３２０および第２カメラ３１８のテストチャート画像取得の順については特に制限されるものではない。

制御装置３５０は、ＣＰＵ３６０、記憶装置３７０、ステージ制御部３８０を含むマイクロコンピュータ、パーソナルコンピュータ、ワークステーションとして実装することができる。ＣＰＵ３６０は、制御プログラムの実行によりＣＰＵ３６０を、視差算出部３６２、パラメータ算出部３６４、パラメータ書込み部３６６として機能させている。視差算出部３６２、パラメータ算出部３６４、パラメータ書込み部３６６は、ＣＰＵ３６０がプログラムを実行することにより制御装置上にそれぞれの機能手段として実現させている。記憶装置３７０は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＨＤＤなどの持続性記憶媒体を含んでいて、各カメラ３１８、３２０からテストチャートまでの距離の他、制御装置３５０が動作するために必要な各種プログラムなどをＣＰＵ３６０が利用可能に提供する。

ステージ制御部３８０は、Ｘ軸移動ステージ３１２、θステージ３２２を動作させるためのモーションコントローラおよび各ステージを機械的に動作させるアクチュエータ用のドライバを含んでいる。ステージ制御部３８０は、ステップモータまたはエアモータなどのアクチュエータをＣＰＵ３６０からの位置制御指令に応答して動作させ、矢線Ｂで示される方向にステレオカメラを移動させ、第１カメラ３２０および第２カメラ３１８にテストチャート画像を取得させ、無限遠に対応する視差データを第１視差データとして取得する。

本実施形態の校正方法では、第１カメラ３２０および第２カメラ３１８について無限遠位置に対応する視差データの測定が終了すると、近距離における視差データを取得する。近距離における視差データは、例えば、Ｘ軸移動ステージ３１２の延長上にテストチャート３３０を配置し、ステレオカメラ１００を近距離測定のための配置となるように制御装置３５０が移動させ、ステレオカメラ１００を固定後、近距離における視差データを第２視差データとして取得させる。図３に示すように、本実施形態では、無限遠および近距離における視差データの測定を同一の校正装置で、テストチャートの実距離を変えること無く取得することができる。

なお、近距離における視差データを取得する場合には、図３の構成を採用すること無く、近距離のためにセットされた構成環境にオフラインでステレオカメラ１００を設置して測定することもできる。

制御装置３５０が取得した２つのテストチャート画像は、視差算出部３６２に送付され、視差が計算され、計算された視差の値は、パラメータ算出部３６４に送付されて、視差オフセットおよび距離換算パラメータの計算のために使用される。算出された視差オフセットおよび距離換算パラメータなどのパラメータは、ＲＯＭライタなどとして実装されるパラメータ書込み部３６６を介してステレオカメラ１００に送付され、ステレオカメラ１００のステレオ処理部１２０のＲＯＭ１２６などに書き込まれ、一連の校正シーケンスが終了する。

図４は、本実施形態で第２カメラ３１８についてテストチャート画像の取得が終了し、第１カメラ３２０についてテストチャート画像を取得させる実施形態の上面構成を示した図である。図４では、Ｘ軸移動ステージ３１２が、第１カメラ３２０をコリメータユニット３０２の光学軸にアライメントさせており、図３で第２カメラ３１８を例として説明した処理を反復し、パラメータ計算のために必要な左右のテストチャート画像を取得させている。なお、図３および図４で説明した実施形態は、視差オフセットを求める場合に、テストチャートを無限遠に配置した場合のものである。

図５は、図３で示した校正装置３００の側面構成を示した図である。校正装置３００全体は、防振機能を備える定盤５１０に設置されていて、コリメータユニット３０２の光学軸、第２カメラ３１８の光学軸は、テストチャート画像を取得している場合には、Ｘ方向にアライメントされていてＸ軸移動ステージ３１２によりアライメントされており、また、コリメータユニット３０２および第２カメラ３１８は、水平方向にも機械的マウントなどによりアライメントされている。さらに、θステージ３２２は、ステレオカメラ１００を搭載しており、回転軸Ｃを中心として回転してステレオカメラ１００のｙ軸周りの偏角、すなわちヨー角を補正している。

なお、ヨー角の制御は、例えばアライナ３１４にレーザセンサを搭載しておき、カメラステー１４０の端面からの反射強度が最大になるようにθステージ３２２を制御することによっても行うことができる。また、図５に示すように校正装置３００の適切な位置にレーザセンサ５２０を設置し、ステレオカメラ１００の基線方向が光学軸に垂直なるようにフィードバック制御させることによっても行うことができる。さらに、他の実施形態では、第１カメラ３２０または第２カメラ３１８がそれぞれ取得したテストチャート画像の光学軸を中心とした対称性を画像解析し、θステージ３２２の回転制御にフィードバックさせることによっても行うことができる。

以上の通り、ヨー角制御は、特に特定の制御方式に限定されるものではない。Ｘ軸移動ステージ３１２は、ステッピングモータやエアモータなどで駆動でき、がたつきがないようにスムーズに移動可能なレール３１２ａ、３１２ｂによりθステージ３２２を搭載することが好ましい。ただし、がたつきが発生した場合でも、θステージ３２２によりヨー角の調整は可能とされている。

図６は、本実施形態の校正装置３００が近距離での構成パラメータを取得する場合の配置を示す。近距離での構成は、図４に示した上面校正で示したテストチャート３３０を撮影することにより行なうことができる。なお、他の実施形態では、図４の配置とは関係なく、校正装置３００とは切り離した配置としてパラメータ校正を行うこともできるが、校正処理をストリームライン化することができる観点からは、校正装置３００の第２の校正配置として配置可能とされていることが好ましい。

図６の配置は、制御装置３５０が、予めステレオカメラ１００の中心位置と、テストチャートの中心位置とを記憶しておき、第１カメラ３２０および第２カメラ３１８の遠距離における校正処理を終了した段階で、図６の配置となるように制御装置３５０が、アライナ３１４を駆動させることによって達成される。この段階でθステージ３２２は、ステレオカメラ１００がテストチャート３３０に対して正対するようにレーザ反射や第１カメラ３２０、第２カメラ３１８が取得する画像を判断しながらヨー角を制御することができる。

近距離での測定が終了した段階で、無限遠物体の視差Ｐ３、比較的近距離の物体の距離Ｄ、および近距離での視差Ｐ１が測定されたことになる。これらのデータを用い、視差オフセットと距離換算パラメータを算出しステレオカメラの校正をすることができるので、測距精度の高いステレオカメラの校正を省スペースかつ高生産性を提供しながら行うことができる。

また、本実施形態では、ステレオカメラを基線方向に動かすことで、径が基線以上に大きいコリメータユニットを用いる必要がなく小型のコリメータユニットを用いることが出来、動かした際に発生する視差方向の誤差をなくすことが出来るため、精度を維持したまま小型化できる。

＜第２の実施形態＞
図７は、本発明の校正装置の第２の実施形態の上面構成を示した図である。第２の実施形態の校正装置７００は、Ｘ軸移動ステージ３１２を使用して実際に第１カメラ３２０および第２カメラ３１８を移動させるのではなく、大径レンズ７０８を利用してテストチャート７０６を無限遠に配置したと同様の光学条件を提供するコリメータユニット７０２を利用する。第１カメラ３２０および第２カメラ３１８は、光学軸Ｏを中心として、対称に配置され、大径レンズ７０８は、テストチャート７０６との間の距離が大径レンズ７０８の焦点位置となるように設置されている。このとき、テストチャート７０６までの距離ｘは、大径レンズの焦点距離ｆとされる。

なお、図７に示した実施形態では、θステージは図示していないが、第１の実施形態と同様に、ステレオカメラ１００をθステージ上に設置して、光学軸Ｏに対して垂直となるように回転制御することができ、その際の制御についても第１の実施形態において説明したように行うことができる。

図７の配置として無限遠に相当する視差を測定し、図６で示した配置にステレオカメラ１００を移動させて近距離の視差を測定することによって、視差オフセットｂおよび距離換算パラメータａが測定できる。図７に示した第２の実施形態では、第１カメラ３２０、第２カメラ３１８の画像を撮影するためのＸ軸移動ステージ３１２上の移動を必要とせず、さらに大径レンズ７０８を移動させて除去し、ステレオカメラ１００をテストチャート７０６が適切なサイズで撮影できる位置まで図７中Ｚ軸方向へとテストチャート７０６方向に接近させるＺ軸ステージ（図示せず）を使用することにより、より省スペースで効率的なステレオカメラ校正操作が可能となる。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００ ステレオカメラ
１０２ 左カメラ
１０４ 右カメラ
１０６ 撮像部
１０８ 光学系
１１０ 撮像素子
１１２ 内部パラメータ補正部
１１４ ＲＯＭ
１２０ ステレオ処理部
１２２ 入力部
１２４ 外部パラメータ補正部
１２６ ＲＯＭ
１２８ 出力部
１３０ 距離計算部
１３２ 認識処理部
１４０ カメラステー
３００ 校正装置
３０２ コリメータユニット
３０４ 光源
３０６ テストチャート
３０８ コリメータレンズ
３１０ ストッパ部材
３１２ Ｘ軸移動ステージ
３１２ａ レール
３１２ｂ レール
３１４ アライナ
３１８ 第２カメラ
３１８ａ 撮像素子
３１８ｂ レンズ
３２０ 第１カメラ
３２２ θステージ
３３０ テストチャート
３５０ 制御装置
３６０ ＣＰＵ
３６２ 視差算出部
３６４ パラメータ算出部
３６６ パラメータ書込み部
３７０ 記憶装置
３８０ ステージ制御部

Roger Y, Tsai, "A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Metrology Using Off-the Shelf TV Cameras and Lenses", IEEE J.Robotics and Automation, Vol.RA-3, No4, pp.323-344, 1987 Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pages 1330-1334, 2000

特許第４１７２５５４号明細書 特許第４１７２５５５号明細書

Claims (9)

1. 第１カメラと、第２カメラと、前記第１カメラと前記第２カメラの間を基線の長さ隔てて保持するカメラステーとを含むステレオカメラの校正装置であって、
   前記ステレオカメラから距離を隔てて配置された参照物体が無限遠位置に配置されたと等価な光路を形成する照明手段とコリメータレンズとを含むコリメータユニットと、
   前記ステレオカメラが撮影した左右画像から前記参照物体と前記ステレオカメラとの間の異なる光学的距離に相当する視差データを計算する視差算出手段と、
   前記視差算出手段が計算した視差データおよび前記参照物体までの実距離データを使用して前記ステレオカメラの測距パラメータである視差オフセットおよび距離換算パラメータを算出するパラメータ算出手段と
   を含む、ステレオカメラの校正装置。
2. 前記参照物体は、光透過性の光学的に識別可能なパターンを有するテストチャートであり、前記視差データは、少なくとも前記コリメータユニットからの前記パターン付けされた平行光をステレオカメラで撮像した際の前記テストチャートの参照点の視差である、請求項１に記載の校正装置。
3. 前記校正装置は、さらに、
   ステレオカメラを前記基線の方向に移動させる移動手段と、
   前記第１カメラおよび前記第２カメラがそれぞれ前記コリメータユニットにアライメントした位置に固定する固定手段と、
   前記基線に平行な座標軸および前記距離を定義する座標軸に直交する軸周りの回転角を検出する回転角検出手段と、
   前記回転角を制御して前記ステレオカメラの前記基線が前記距離を定義する座標軸に対して直交するように前記ステレオカメラを回転させるステレオカメラ回転手段と
   を備える、請求項１または２に記載の校正装置。
4. 前記コリメータユニットは、前記第１カメラおよび第２カメラへの前記参照物体が無限遠位置に配置されたと等価な光路を同時に生成することが可能な径を備える、請求項１〜３のいずれか１項に記載の校正装置。
5. 第１カメラと、第２カメラと、前記第１カメラと前記第２カメラの間を基線の長さ隔てて保持するカメラステーとを含むステレオカメラを校正する校正方法であって、
   前記ステレオカメラから距離を隔てて配置された参照物体が無限遠に配置されたと等価な光路を形成する照明手段とコリメータレンズとを含むコリメータユニットに前記第１カメラをアライメントして固定する工程と、
   前記第１カメラで前記コリメータユニットを通した前記参照物体の画像を撮影する工程と、
   前記コリメータユニットに前記第２カメラをアライメントして固定する工程と、
   前記第２カメラで前記コリメータユニットを通した前記参照物体の画像を撮影する工程と、
   前記ステレオカメラが撮影した左右画像から前記参照物体と前記ステレオカメラとの間が無限遠に配置された場合に相当する第１視差データを計算する工程と、
   前記第１カメラおよび前記第２カメラで前記距離での左右画像を撮影し第２視差データを計算する工程と、
   前記第１視差データおよび前記第２視差データおよび前記参照物体までの実距離データを使用して前記ステレオカメラの測距パラメータである視差オフセットおよび距離換算パラメータを算出する工程と
   を含む、ステレオカメラの校正方法。
6. 前記参照物体は、光透過性の光学的に識別可能なパターンを有するテストチャートであり、前記第１視差データは、少なくとも前記コリメータユニットからの前記パターン付けされた平行光をステレオカメラで撮像した際の前記テストチャートの参照点の視差である、請求項５に記載の校正方法。
7. さらに、
   前記第１カメラおよび前記第２カメラをアライメントして固定する各工程は、前記ステレオカメラを前記基線の方向に移動させる工程を含み、
   前記固定の後、前記基線に平行な座標軸および前記距離を定義する座標軸に直交する軸周りの回転角を検出する工程と、
   前記回転角を制御して前記ステレオカメラの前記基線が前記距離を定義する座標軸に対して直交するように前記ステレオカメラを回転させる工程と
   を含む、請求項５または６に記載の校正方法。
8. 第１カメラと、第２カメラと、前記第１カメラと前記第２カメラの間を基線の長さ隔てて保持するカメラステーとを含むステレオカメラを校正する校正方法であって、
   前記ステレオカメラから距離を隔てて配置された参照物体が無限遠に配置されたと等価な光路を形成する照明手段とコリメータレンズとを含むコリメータユニットに前記第１カメラおよび第２カメラをアライメントする工程と、
   前記第１カメラおよび前記第２カメラで前記コリメータユニットを通した前記参照物体の左右画像を同時に撮影する工程と、
   前記ステレオカメラが撮影した前記左右画像から前記参照物体と前記ステレオカメラとの間が無限遠に配置された場合に相当する第１視差データを計算する工程と、
   前記第１カメラおよび前記第２カメラで前記距離での左右画像を撮影し第２視差データを計算する工程と、
   前記第１視差データおよび前記第２視差データおよび前記参照物体までの実距離データを使用して前記ステレオカメラの測距パラメータである視差オフセットおよび距離換算パラメータを算出する工程と
   を含む、ステレオカメラの校正方法。
9. 前記参照物体は、光透過性の光学的に識別可能なパターンを有するテストチャートであり、前記第１視差データは、少なくとも前記コリメータユニットからの前記パターン付けされた平行光をステレオカメラで撮像した際の前記テストチャートの参照点の視差である、請求項８に記載の校正方法。