JP7180177B2 - ステレオカメラシステム、移動体及びステレオカメラ装置の形成方法 - Google Patents

Description

本発明は、ステレオカメラシステム、移動体及びステレオカメラ装置の形成方法に関する。

近年、車載ステレオカメラ装置が実用化されている。この車載ステレオカメラ装置は、自動車等の車両に設けられたステレオカメラ装置により、車両前方の距離画像を生成する。また、車載ステレオカメラ装置は、生成した距離画像に基づいて認識した障害物までの距離を計測する。そして、車載ステレオカメラ装置は、計測結果に基づいて、運転者に警告を行い、ブレーキ又はステアリング等の制御装置を自動的に制御する。これにより、例えば衝突防止又は車間距離制御等を自動的に可能とする運転支援を行うことができる。

特許文献１（特開２００４－１３２８７０号公報）には、車載状態でステレオ校正するステレオカメラの調整装置が開示されている。

特許文献２（特開平０７－０１０５６９号公報）には、フロート板ガラスの製造工程で発生する周期的な「シワ（歪み）」を抑制可能としたフロート板ガラスの製造方法が開示されている。

しかし、ステレオカメラ装置は、フロート板ガラス等の光を透過させる光透過部材を介して撮像を行うと、光透過部材の製造工程で発生する歪の影響で、障害物等の間の距離計測精度が低下する問題がある。

このため、特許文献１に開示されているように、車載ステレオカメラ装置の場合、車載状態でステレオ校正を行うステレオ校正工程が必要となる。特許文献１に開示されている技術の場合、車両製造工程中にステレオ校正工程が追加されることとなり、車両の製造工程が複雑化する問題がある。

なお、特許文献２に開示されているフロート板ガラスの製造方法の場合、フロートガラスの歪みを抑制して製造することが可能とは言え、微小な歪みまでも完全に無くすことは困難である。このため、特許文献２に開示されている技術で製造されたフロートガラスを介してステレオカメラ装置で撮像を行う場合でも、やはり上述のステレオ校正工程が必要となり、車両の製造工程が複雑化することが懸念される。

本発明は、上述の課題に鑑みてなされたものであり、光透過部材を介して撮像を行う場合でも、ステレオ校正工程を行うことなく、正確な距離計測性能を維持可能として、車両等の製造工程が複雑化する不都合を防止できるようなステレオカメラ装置、ステレオカメラシステム、及び移動体の提供を目的とする。

上述した課題を解決し、目的を達成するために、本発明は、周期的な歪曲特性を有する透過部材と、前記透過部材を透過した撮像光に基づいて被写体の撮像を行う、少なくとも２つのカメラ部と、各カメラ部で撮像されたカメラ画像における、透過部材の周期的な歪曲特性に基づく像移動の位相が一致する位置に、各カメラ部を固定する固定部とを有する。

本発明によれば、光透過部材を介して撮像を行う場合でも、ステレオ校正工程を行うことなく、正確な距離計測性能を維持できる。また、ステレオ校正工程を不要とできるため、車両等の製造工程が複雑化する不都合を防止できるという効果を奏する。

図１は、実施の形態のステレオカメラシステムが設けられた車両のフロントガラス部分を側面側から見た状態の図である。 図２は、実施の形態のステレオカメラシステムの概略的な構成を示す図である。 図３は、実施の形態のステレオカメラシステムに設けられているステレオカメラ装置のブロック図である。 図４は、平行配置した各カメラ部による距離計測の原理を説明するための図である。 図５は、実施の形態のステレオカメラシステムのステレオカメラ装置が、車両のフロントガラスの内側に設置される様子を示す図である。 図６は、フロントガラスによって発生する、左右のカメラ部のカメラ画像の像移動量と視差誤差量を説明するための図である。 図７は、車内に設けられている左右のカメラ部を、車両の外からフロントガラスを介して、光軸方向に沿って見た図である。 図８は、ステレオカメラ装置の光軸に対して傾斜しているフロントガラスを介して撮像されるカメラ画像の撮像状態を説明するための図である。 図９は、フロントガラスに斜め方向の縞模様が存在する場合における、カメラ画像の撮像状態を示す図である。 図１０は、歪み周期の計測工程を説明するための図である。 図１１は、ガラス無し画像とガラス有り画像との間で移動している画素（対応点）の探索動作を説明するための図である。

以下、ステレオカメラ装置、ステレオカメラシステム、及び移動体の実施の形態を説明する。

（システム構成）
図１は、実施の形態のステレオカメラシステムが設けられた車両のフロントガラス部分を側面側が見た状態の図である。この図１に示すように車両１のフロントガラス（透過部材の一例）１ａの内側（車内側）には、車両１が前進する方向の所定の撮像範囲を撮像するステレオカメラシステム２が設けられている。ステレオカメラシステム２は、図３を用いて後述するように２つの画像センサを備えており、左目用及び右目用の２つの画像を撮像する。

図２は、実施の形態のステレオカメラシステム２の概略的な構成を示す図である。この図２に示すようにステレオカメラシステム２は、ステレオカメラ装置２０及び車両ＥＣＵ（Engine Control Unit）５０を有している。

ステレオカメラ装置２０は、車両１が前進する方向の所定の撮像範囲の左目用及び右目用の２つの画像を撮像する。また、ステレオカメラ装置２０は、撮像した左目用及び右目用の各画像に基づいて、例えば車両１の進行方向の障害物等を検出する。そして、ステレオカメラ装置２０は、障害物等の検出結果、及び、後述するＣＡＮ（Controller Area Network）情報に基づいて、例えば車両１のエンジン制御、制動制御、及び走行レーンキープアシスト、操舵アシスト等の車両１に対する運転支援を行うための車両制御データを車両ＥＣＵ５０に供給する。

車両ＥＣＵ５０は、制御部の一例であり、ステレオカメラ装置２０から供給される車両制御データに基づいて、例えば車両１のエンジン制御、制動制御、及び走行レーンキープアシスト、操舵アシスト等の車両１に対する運転支援制御を行う。なお、以下、移動体の一例として車両１について説明するが、本実施の形態のステレオカメラシステム２は、船舶、航空機、ロボット等にも適用可能である。

（撮像装置の構成）
図３は、ステレオカメラ装置２０のブロック図である。この図３に示すように、ステレオカメラ装置２０は、左目用となるカメラ部２０ａ、右目用となるカメラ部２０ｂ及び画像処理装置３０を有する。各カメラ部２０ａ、２０ｂは、固定部の一例であるカメラ筐体により、互いに平行（水平）に組みつけられ、撮像対象領域の動画（又は静止画）を撮影する。また、後述するが、カメラ筐体は、各カメラ部２０ａ、２０ｂで撮像されたカメラ画像における、フロントガラス等の透過部材の周期的な歪曲特性に基づく像移動の位相が一致する位置に、各カメラ部２０ａ、２０ｂを固定している。

カメラ部２０ａ、２０ｂは、それぞれレンズ２１、画像センサ２２、及びセンサコントローラ２３を有する。画像センサ２２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサである。センサコントローラ２３は、例えば画像センサ２２の露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う。

画像処理装置３０は、例えばデータバスライン３００、シリアルバスライン３０２、ＣＰＵ（Central Processing Unit）３０４、ＦＰＧＡ（Field-Programmable Gate Array）３０６、ＲＯＭ（Read Only Memory）３０８、ＲＡＭ（Random Access Memory）３１０、シリアルＩＦ（Interface）３１２、及びデータＩＦ（Interface）３１４を有する。

画像処理装置３０は、データバスライン３００及びシリアルバスライン３０２を介して、上述したカメラ部２０ａ、２０ｂと接続されている。ＲＯＭ３０８等の記憶部には、車両制御プログラムが記憶されている。ＣＰＵ３０４は、画像処理装置３０全体の動作を制御すると共に、ＲＯＭ３０８等の記憶部に記憶されている車両制御プログラムを実行することで、画像処理及び画像認識処理を実行する。

カメラ部２０ａ、２０ｂの各画像センサ２２で撮像した各カメラ画像の輝度画像データは、データバスライン３００を介して画像処理装置３０のＲＡＭ３１０に書き込まれる。ＣＰＵ３０４又はＦＰＧＡ３０６からのセンサ露光値の変更制御データ、画像読み出しパラメータの変更制御データ、及び各種設定データ等は、シリアルバスライン３０２を介して送受信される。

ＦＰＧＡ３０６は、ＲＡＭ３１０に保存された画像データに対してリアルタイム性が要求される処理である、例えばガンマ補正、ゆがみ補正（左右画像の平行化）、ブロックマッチングによる視差演算を行って視差画像を生成し、ＲＡＭ３１０に再度書き込む。なお、視差画像は、物体の縦方向位置、横方向位置、及び、奥行方向位置が対応付けられた情報となっている。

ＣＰＵ３０４は、ステレオカメラシステム２の各センサコントローラ２３の制御、及び画像処理装置３０の全体的な制御を行う。ＣＰＵ３０４は、データＩＦ３１４を介して、例えば車両１（自車両）のＣＡＮ（Controller Area Network）情報をパラメータ（車速、加速度、舵角、ヨーレート等）として取得する。

また、ＣＰＵ３０４は、車両制御プログラムに基づいて、ＲＡＭ３１０に書き込まれた視差画像を読み出し、例えば先行車両、人間、ガードレール、路面等の物体（障害物）を認識する。そして、ＣＰＵ３０４は、物体の認識結果、及び、車両１（自車両）のＣＡＮ情報に基づいて車両制御データを形成し、シリアルＩＦ３１２を介して車両ＥＣＵ５０に供給する。

車両ＥＣＵ５０は、画像処理装置３０から供給された車両制御データに基づいて、例えば車両１のエンジン制御、制動制御、及び走行レーンキープアシスト、操舵アシスト等の車両１に対する運転支援制御を行う。

（ステレオカメラシステムによる距離計測）
ここで、平行配置したカメラ部２０ａ、２０ｂによる距離計測の原理を、図４を用いて説明する。この図４では、カメラＣ_０が上述のカメラ部２０ａに相当し、カメラＣ_１が上述のカメラ部２０ｂに相当する。カメラＣ_０の焦点距離は「ｆ」、光学中心は「Ｏ_０」、撮像面は「Ｓ_０」となっている。また、カメラＣ_１の焦点距離は「ｆ」、光学中心は「Ｏ_１」、撮像面は「Ｓ_１」となっている。カメラＣ_０及びカメラＣ_１は、距離Ｂの間隔で平行配置されている。

カメラＣ_０の光学中心「Ｏ_０」から光軸方向に距離「ｄ」だけ離れて位置している被写体「Ａ」の像は、直線「Ａ」×光学中心「Ｏ_０」と、撮像面「Ｓ_０」の交点「Ｐ_０」に結像する。カメラＣ_１の場合も同様に、被写体「Ａ」が、撮像面「Ｓ_１」の交点「Ｐ_１」に結像する。

カメラ「Ｃ_１」の光学中心「Ｏ_１」を通り、直線「Ａ－Ｏ_０」に平行な直線（図４に点線の直線で示す）と、撮像面「Ｓ_１」との交点を「Ｐ_００」とし、この交点「Ｐ_００」と、被写体「Ａ」が結像する点「Ｐ_１」との間の距離を「ｒ」とする。

交点「Ｐ_００」は、被写体「Ａ」がカメラＣ_０上で結像する点「Ｐ_０」に対応する位置である。距離「ｒ」は、同じ被写体「Ａ」を２つのカメラＣ_０及びカメラＣ_１で撮影した場合における、カメラ画像の位置ずれ量を示している。この各カメラ画像の位置ずれ量は、「視差」と呼ばれる。

三角形Ａ－Ｏ_０－Ｏ_１と、三角形：Ｏ_１－Ｐ_００－Ｐ_１は相似形であるため、基線長を「Ｂ」、焦点距離を「ｆ」とし、基線長「Ｂ」及び焦点距離「ｆ」が既知であれば、「ｄ＝Ｂｆ／ｒ」の演算式で、視差「ｒ」から距離「ｄ」を算出できる。「基線長」は、各カメラ部２０ａ、２０ｂの各光軸と二次元的に直交し、各光軸を結ぶ直線である基線の長さである。

以上が、ステレオカメラシステム２における距離計測の原理である。この原理を成立させるためには、図４に示すように２つのカメラＣ_０及びカメラＣ_１を、平行関係を維持した状態で正確に配置する必要がある。

（フロントガラスの影響）
次に、車載用のステレオカメラ装置２０を車外に設置する場合、高温、低温、防水、及び防塵等に対して、より高い耐久性が求められる。このため、ステレオカメラ装置２０は、図５に示すように車両のフロントガラス１ａの内側に設置されることが多い。車内に設置されたステレオカメラシステム２は、車外からの撮像光を、フロントガラス１ａを介して受光して撮像を行う。フロントガラス１ａは、複雑な曲面形状を有しており、また、ステレオカメラ装置２０のレンズ等のような精巧な光学部品と比べ、形状に歪みが生じている。

一例ではあるが、厚みが１．５ｍｍ以下のフロントガラス１ａの場合、製造工程（フロート法）においてピッチが２５ｍｍ程度、山谷の深さが０．１μｍ～０．３μｍ程度の微細な歪み（略々周期的なシワ＝コルゲーション（corrugation））が発生する。製造工程において、このような歪みを、完全に無くすことは困難である。

このため、フロントガラス１ａを介して撮像されるカメラ画像にも歪みが発生する。また、車両１に対するステレオカメラシステム２の設置位置及び方位によっても歪み特性が変化する。このため、カメラ画像に発生する歪みを補正するためには、車両１の所定の位置にステレオカメラシステム２を設置した後、フロントガラス１ａを介して撮像した画像を利用してステレオ校正工程を実施する必要があった。

（画像歪みによる視差誤差）
次に、画像の歪みによる視差の変化を説明する。画像の歪みとは、理想的なピンホールカメラに比べて像位置が変化することである。フロントガラス１ａを介して撮像を行うことで、像位置移動量が、画像中の位置に応じて変化する現象が発生する。

画像中の位置として基線方向（図４の基線長Ｂの方向）に平行な方向（以下、横方向と呼ぶ）を考える。基線方向は、図４に示すカメラＣ_０及びカメラＣ_１の光学中心「Ｏ_０」及び光学中心「Ｏ_１」を結ぶ直線に対して平行となる線の方向（上述の横方向）である。また、左右のカメラ部２０ａ、２０ｂが図１にように車両１に取り付けられる場合、図４におけるＸ方向は、車両１の幅方向（＝車両１の左右方向）、Ｙ方向は、車両１の高さ方向（＝上下方向）、Ｚ方向は、車両１の前方方向（奥行方向：前後方向）である。また、図４において、Ｚ方向は、各カメラ部２０ａ、２０ｂの光軸方向に相当する。同様に、Ｘ方向は、上述の基線方向に相当する。

像位置移動量は、プラス又はマイナスの一次元量であり、画像上の歪み特性は、図６（ａ）及び図６（ｂ）に示すようになる。この図６（ａ）及び図６（ｂ）の横軸は画像中の横方向位置（ｘ）、縦軸は像位置移動量（Δｘ）を示す。また、実線の曲線は、点線の曲線は、左目用のカメラ部２０ａの像位置移動量を示し、実線の曲線は、右目用のカメラ部２０ｂの像位置移動量を示している。

左右のカメラ部２０ａ、２０ｂが理想的な平行関係を維持している場合、左右のカメラ画像の視差は横方向にのみ発生し、無限遠被写体は同一位置に写る。しかし、左右のカメラ画像に歪みが生じている場合、ステレオ視差は、左右のカメラ画像上の像位置の差分であるため、左右のカメラ部２０ａ、２０ｂの像移動量の差分に相当する視差誤差が発生する。

図６（ａ）の例は、左右のカメラ画像の像位置に大きなずれが発生している場合の視差誤差を示し、図６（ｂ）の例は、左右のカメラ画像の像位置に小さいずれが発生している場合の視差誤差を示している。また、図６（ａ）及び図６（ｂ）における矢印は視差誤差の大きさを示している。この図６（ａ）に示すように、左右のカメラ画像のうち、一方のカメラ画像の像位置がプラス方向にずれており、他方のカメラ画像の像位置がマイナス方向にずれている等のように、左右のカメラ画像の像位置が逆方向にずれている場合に、視差誤差が大きくなる。

これに対して、図６（ｂ）に示すように、左右のカメラ画像の像移動量が略々同じ方向で、曲線が重なっている場合、移動量自体は大きくとも、左右像位置移動量の差である視差の誤差は小さくなる。これは、同じ歪みを持つフロントガラス１ａであっても、左右のカメラ画像の像移動の位相を揃えることで、視差誤差を小さくすることができることを意味している。

なお、左右のカメラ部２０ａ、２０ｂは、各カメラ画像の像移動の位相のずれ量が、例えば３０度以下等の所定以下のずれ量（位相差）となるように、固定位置を調整すればよい。これにより、視差誤差を所定以下とすることができる。

（歪み周期と基線長）
次に、左右のカメラ部２０ａ、２０ｂで、単体カメラと単体カメラの直前のフロントガラス１ａのシワの相対位置が一致していれば、左右のカメラ部２０ａ、２０ｂの直前に、それぞれ同様の形状のフロントガラス１ａが存在することになるため、カメラ画像の像位置移動量の位相を揃えることができる（同位相とすることができる）。

図７（ａ）～図７（ｃ）は、車内に設けられている左右のカメラ部２０ａ、２０ｂを、車両１の外からフロントガラス１ａを介して、光軸方向に沿って見た図である。図７（ａ）～図７（ｃ）に示す「＋」の記号は、像位置移動量がプラス方向の歪みを持つガラス領域（以下、プラス領域と呼ぶ）を示している。また、図７（ａ）～図７（ｃ）に示す「－」の記号は、像位置移動量がマイナス方向の歪みを持つガラス領域（以下、マイナス領域と呼ぶ）を示している。

図７（ａ）に示すように、左右のカメラ部２０ａ、２０ｂの正面に像位置移動量プラス方向の歪みを持つプラス領域がそれぞれ位置し、各プラス領域の左右にマイナス領域が位置する場合、図６（ｂ）に示したように、左右のカメラ画像での像位置移動量の方向が一致し、視差誤差は小さくなる。

これは、プラス領域が左右のカメラ部２０ａ、２０ｂの「正面」に位置する場合に限らず、図７（ｂ）に示すように左右のカメラ部２０ａ、２０ｂの同じ位置に、プラス領域及びマイナス領域が位置すれば同様に視差誤差は小さくなる。なお、図７（ｂ）の例は、左右のカメラ部２０ａ、２０ｂの左側にプラス領域が位置し、右側にマイナス領域が位置している例である。このようなプラス領域及びマイナス領域の配置は、フロントガラス１ａ上のプラス領域の間隔（歪み周期：歪曲特性）と、ステレオカメラ装置２０の基線長が一致していれば成立する。

さらに、図７（ｃ）に示すように、基線長が歪み周期の周期率（歪み周期率）の整数倍の関係にある場合も成立する。図７（ｃ）の例は、基線長が歪み周期の２倍となっている例である。以下、歪み周期に対する基線長の倍率を「基線長倍率」と呼ぶ。歪み周期又は振幅に多少の変動があっても、左右で像移動量が最大最小の組み合わせになる最悪ケースを避けることができれば、図６（ａ）に示したように左右のカメラ画像の位相が反転することで最大となる視差誤差量の半分以下に、視差誤差量を大幅に低減できる。

（基線長倍率の上限）
次に、上述の基線長倍率の上限を説明する。歪み周期が一定の場合、基線長倍率は整数倍であればよい。しかし、歪み周期が変動する場合、基線長倍率が大きいほど、歪み周期の変動による左右のカメラ画像の位相ずれが大きくなる。例えば、代表周期が３０ｍｍ、フロントガラス１ａの歪み周期が３３ｍｍ（＋１０％）だった場合、基線長倍率＝１で基線長を３０ｍｍとすれば、左右の位相差は（３３－３０）／３０＝１０％のずれとなる。これに対して、基線長倍率＝５、基線長＝１５０ｍｍとすると、左右のカメラ画像の位相差は（（３３－３０）／３０）×５＝５０％となり、図６（ａ）に示したように、左右のカメラ画像の位相が反転して最大の視差誤差を発生する。

このような不都合を避けるために、歪み周期の変動率（周期変動率）と基線長倍率との積を、５０％より十分に小さくする必要がある。左右のカメラ画像の位相を揃えるという目的からは、基線長倍率を小さくすることが望ましい。しかし、基線長の長さと、ステレオカメラ装置２０の測距精度の高さは比例するため、基線長は長い方が望ましい。

このようなことから、実施の形態のステレオカメラシステムは、フロントガラス１ａの歪み周期の変動率とフロントガラス１ａの歪み周期に対するステレオカメラ装置２０の基線長の倍率との積を５０％より小さくする。そして、ステレオカメラ装置２０として要求される測距精度を維持可能な長さとされた基線長を実現する位置に、各カメラ部２０ａ、２０ｂを固定部であるカメラ筐体により固定している。

（その他の考慮点）
次に、多くの場合、フロントガラス１ａは、図５に示したようにステレオカメラ装置２０の光軸に対して傾斜している。このため、フロントガラス１ａ上に、例えば縦縞の縞模様（フロントガラス１ａの上下方向の縞模様）が存在した場合、左右のカメラ部２０ａ、２０ｂで撮像されるカメラ画像は、それぞれ図８に示すように縦縞の上側の幅よりも下側の幅の方が狭くなる、言わば下窄まりの形状（扇形状又は等脚台形を１８０度回転させた形状）のカメラ画像となる。

ここで、ステレオカメラ装置２０の基線方向周りにフロントガラス１ａが回転しても、左右のカメラ部２０ａ、２０ｂとフロントガラス１ａとの間の距離は変わらない。このため、図７（ａ）～図７（ｃ）を用いた説明と同様に、ステレオ基線方向の縞模様の周期と基線長が整数倍の関係にあれば、ステレオカメラ装置２０とフロントガラス１ａ上の縞模様の相対的な位置関係は、左右で同一となる。その結果、左右のカメラ画像上の縞模様の領域は、図８に示すように同じ扇形状となり、上述と同様に、視差誤差を低減できる。

また、フロントガラス１ａの縞模様が基線方向に直交する方向ではなく、図９に示すように、斜め方向の縞模様である場合、基線方向の周期の整数倍の基線長であれば、やはり左右のカメラ画像で撮像される縞模様がそれぞれ相対的な位置関係を示すようになるため、各カメラ画像上の歪み位相は一致する。

また、曲面ガラスの一つであるフロントガラス１ａは、滑らかな曲面形状を持つため、ガラス面に沿った長さの歪み周期は、画像に写る歪みの周期と正確には一致しない。しかし、数十ｍｍ程度の基線長スケールでは、フロントガラス１ａは略々平面に近く、また、上述のように、左右のカメラ画像の歪み位相が正確に一致していなくても、逆位相（図６（ａ）参照）だけでも避けることができれば視差誤差の低減には有効である。

（ステレオカメラ装置の形成工程）
以下、実施の形態のステレオカメラシステム２におけるステレオカメラ装置２０の形成工程を説明する。実施の形態のステレオカメラシステム２では、まず、フロントガラス１ａの代表的な歪み周期を計測して決定する。そして、決定した周期に基づいてステレオカメラ装置２０の各カメラ部２０ａ、２０ｂ間の基線長を決定し、決定した基線長となるように、各カメラ部２０ａ、２０ｂの位置を固定してステレオカメラ装置２０を形成する。

（歪み周期の計測工程）
歪み周期の計測工程では、計測機器に設けられているステレオカメラ装置（上述のステレオカメラ装置に相当）で、フロントガラスを介してテストチャート等を撮像し、フロントガラスの歪みを計測する。具体的には、図１０に示すように、固定したステレオカメラ装置７０の正面にテストチャート６０を配置する。また、ステレオカメラ装置７０とテストチャート６０との間における、ステレオカメラ装置７０から距離ｄ［ｍｍ］の位置にフロントガラス８０（上述のフロントガラス１ａに相当）を設置する。そして、フロントガラス８０を設置した状態（ガラス有り状態）及びフロントガラス８０を設置しない状態（ガラス無し状態）で、それぞれテストチャート６０の撮像を行う。

次に、計測機器のＣＰＵが、ガラス有り状態でテストチャート６０を撮像することで得られたガラス有り画像と、ガラス無し状態でテストチャート６０を撮像することで得られたガラス無し画像とを比較する。そして、計測機器のＣＰＵは、ガラス無し画像とガラス有り画像との間で移動している画素（点）を探索する（対応点探索）。

図１１は、この対応点探索動作を説明するための図である。この図１１において、像位置（ｘ，ｙ）は、ガラス無し画像の像位置を示し、像位置（ｘ^１，ｙ^１）は、ガラス有り画像の像位置を示している。また、図１１に示す矢印の根本に相当する点の位置は、ガラス無し画像の移動前の像位置を示し、図１１に示す矢印の先端に相当する点の位置は、フロントガラス８０を挿入することで移動したガラス有り画像の像位置を示している。

知りたいのは基線方向の周期であるため、計測機器のＣＰＵは、図１１に横方向の点線で示すように、画像上に多数の横線を仮想的に設定し、フロントガラス８０を挿入したことに起因する、各像位置における横方向の像移動量「Δｘ＝ｘ^１－ｘ」を算出する。

各横線上のｘ座標と横方向（ｘ方向）の像移動量データとを対応させると、図６に示したカメラ画像の曲線を多数収集できる。計測機器のＣＰＵは、これら「ｘ－Δｘ」の曲線を周波数解析し、パワースペクトルのピーク位置を検出する。ピーク周波数の逆数が、その線上における画像上の歪み周期［ｐｉｘ］にあたる。

計測機器のＣＰＵは、画像上の歪み周期α［ｐｉｘ］、ステレオカメラ装置７０とフロントガラス８０との間の距離ｄ［ｍｍ］、ステレオカメラ装置７０の焦点距離ｆ［ｐｉｘ］とし、フロントガラス８０のガラス面上の歪み周期を「ｄ×（α／ｆ）」の数式を用いて算出する。また、計測機器のＣＰＵは、同一条件で製造した多数のフロントガラス８０の歪み特性をそれぞれ計測し、多数の周期の平均値を算出する。そして、計測機器のＣＰＵは、算出した平均値を、各フロントガラス８０の代表的な歪み周期として決定する。

（基線長の決定動作）
次に、上述のように多数のフロントガラス８０の歪み周期を計測した結果が、例えば３０ｍｍ±５％であったとする。また、ステレオカメラ装置７０の測距精度から、ステレオカメラ装置７０を構成する左右のカメラ部の光軸間の距離である基線長は、例えば８０ｍｍ以上であることが求められているとする。

３０の整数倍で８０以上となる最小値は、３０×３＝９０である。基線長倍率を３倍とすると、５（％）×３＝１５（％）であるため、周期の変動を考慮しても、左右のカメラ部の像移動量が逆位相になることは無い。このため、ステレオカメラ装置７０の基線長を９０ｍｍで固定する。

（実施の形態の効果）
これにより、フロントガラス８０によるカメラ画像の像移動の位相を、左右のカメラ部で一致させることができる。このため、特別なキャリブレーション工程（ステレオ校正工程）を行うことなく、フロントガラス８０の歪みによる視差誤差を低減して、正確な距離計測性能を維持可能とすることができる。また、ステレオカメラ装置７０のステレオ校正工程を不要とすることができるため、ステレオカメラ装置が設けられる車両、船舶、航空機等の製造工程が複雑化する不都合を防止できる。また、ステレオ校正工程を不要とすることができるため、車両の製造コストが増加する不都合を防止（抑制）できる。

無限遠以外の近距離の被写体は元々視差を有するため、左右のカメラ画像の位置移動量曲線が重なっている場合でも（図６（ｂ）参照）、異なる移動量となり、視差誤差を生じる。しかし、近距離になるほど視差自体が大きくなるため、このフロントガラス７０の歪みによる視差誤差の方が、視差に対する誤差よりも小さくなる。

一般的に、フロントガラス７０の歪みの影響が大きい遠距離被写体の視差誤差を低減することの方が重要である。このため、実施の形態のステレオカメラシステムのように、左右のカメラ画像の位置移動量の位相を揃えることは大変有効である。

なお、車両のフロントガラス７０に限らず、ステレオカメラ装置２０は、例えば防塵、防水又は破損防止等のために、ガラス板又はアクリル板等の透明部材で覆われることが多い。例えば、一枚のガラス板で左右のカメラ部を覆うような場合には、本実施の形態は非常に有効である。

（変形例）
上述の実施の形態の説明では、ステレオ校正工程を不要としたが、上述の歪み周期と基線長の組み合わせによりフロントガラス８０による視差誤差が低減される状態とした上で、さらに、フロントガラス８０を介したステレオ校正工程を実施してもよい。これにより、ステレオカメラ装置７０の距離計測性能の向上させることができる。

最後に、上述の実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 車両
１ａ フロントガラス
２ ステレオカメラシステム
２０ ステレオカメラ装置
２０ａ 左目用のカメラ部
２０ｂ 右目用のカメラ部
５０ 車両ＥＣＵ
６０ チャート
７０ ステレオカメラ装置
８０ フロントガラス

特開２００４－１３２８７０号公報 特開平０７－０１０５６９号公報

Claims (9)

1. 周期的な歪曲特性を有する透過部材と、
   前記透過部材を透過した撮像光に基づいて被写体の撮像を行う、少なくとも２つのカメラ部と、
   各前記カメラ部で撮像されたカメラ画像における、前記透過部材の周期的な歪曲特性に基づく像移動の位相が一致する位置に、各前記カメラ部を固定する固定部と
   を有するステレオカメラシステム。
2. 前記固定部は、前記像移動の位相が３０度以下となる位置に、各前記カメラ部を固定すること
   を特徴とする請求項１記載のステレオカメラシステム。
3. 前記固定部は、
   前記透過部材の歪み周期の変動率と、各前記カメラ部の光軸と直交する方向において前記光軸を結ぶ直線の長さである基線長の、前記透過部材の歪み周期に対する倍率との積を、５０％より小さくする位置に、各前記カメラ部を固定すること
   を特徴とする請求項１又は請求項２に記載のステレオカメラシステム。
4. 前記固定部は、
   各前記カメラ部の光軸と直交する方向において、前記光軸を結ぶ直線の長さである基線長が、前記透過部材の歪み周期の整数倍となる位置に、各前記カメラ部を固定すること
   を特徴とする請求項１又は請求項２に記載のステレオカメラシステム。
5. 前記固定部は、前記基線長が、前記ステレオカメラシステムとして要求される測距制度を維持可能な長さを実現する位置に、各前記カメラ部を固定すること、
   を特徴とする請求項３又は請求項４に記載のステレオカメラシステム。
6. 各前記カメラ部で撮像されたカメラ画像に基づいて、制御対象を制御する制御部と、
   を更に有する請求項１乃至請求項５のうち、何れか一項に記載のステレオカメラシステム。
7. 請求項１乃至請求項５のうち、何れか一項に記載のステレオカメラシステムと、
   前記ステレオカメラシステムの各前記カメラ部で撮像されたカメラ画像に基づいて、少なくとも所定の走行制御を行う制御部と、
   を備える移動体。
8. 前記透過部材は、フロントガラスであること、
   を特徴とする請求項７に記載の移動体。
9. 周期的な歪曲特性を有する透過部材を透過した撮像光に基づいて少なくとも２つのカメラ部で被写体の撮像を行う計測ステップと、
   各前記カメラ部で撮像されたカメラ画像における、前記透過部材の周期的な歪曲特性に基づく像移動の位相が一致する位置に、各前記カメラ部を固定部へ固定する固定ステップと
   を有するステレオカメラ装置の形成方法。

Images