JP2024014231A - ステレオカメラ装置及びキャリブレーション方法 - Google Patents

Abstract

【課題】フロントガラスの取付けと、ステレオカメラの取付けが基準の取付け位置からばらついても、ステレオカメラの視差をチャート無しで補正することが可能なステレオカメラ装置を提供する。【解決手段】ステレオカメラ装置１０は、車両に取り付けられた屈折体の姿勢、及び屈折体の形状を含む屈折体特性と、車両に配置されたステレオカメラ２１の姿勢とに基づいて求められた、ステレオカメラ２１が光を屈折する屈折体を通してそれぞれ撮像する複数の画像の垂直ずれに対する水平方向の視差誤差の相関情報を記憶する記憶部１０３と、ステレオカメラ２１が同じ被写体を撮像した複数の画像をマッチングして、複数の画像の垂直ずれを求めるマッチング部１０４と、垂直ずれ及び相関情報に基づいて、マッチングされた複数の画像の視差誤差を推定する視差誤差推定部１０６と、マッチングされた画像の視差を、視差誤差を用いて補正する距離算出部１０７と、を備える。【選択図】図３

Description

本発明は、ステレオカメラ装置及びキャリブレーション方法に関する。

コンピュータ画像技術の発展に伴い、ステレオカメラがますます広く運用されている。一方、近年は自動車のＡＩ化に伴い、ＡＤＡＳ（Advanced Driver Assistance Systems）や自動運転にもステレオカメラを用いて撮影された画像を認識する技術が広く使われている。ステレオカメラは、通常のカメラとは異なり、ステレオカメラが撮像した画像を用いた３次元物体認識を実現できる。３次元物体認識は、一定距離（基線長）だけ離れて設置された２つのカメラで同じ物体の画像をそれぞれ取得し、三角測距の原理により、物体の視差に基づいて、２つのカメラから物体までの距離を算出し、画像の三次元化を実現する技術である。

従来のステレオカメラは、主に物体までの距離情報を取得することで、車両の正面にある物体を車両が回避する技術をサポートしていた。この技術は、主に自動車の直進時に用いられ、車両が前方物体を回避することが可能となる。しかし、安全基準が上がるにつれて、車両が交差点に進入する前に、交差点にいる歩行者や自転車を検出し、回避する技術も要求されている。

交差点での歩行者や自転車を車両が回避するためには、従来のＡＤＡＳ向けステレオカメラよりも広い画角が必要とされる。一方で、広角レンズを用いて画角を広げると、撮影された画像の歪みが大きくなる。このため、画像の歪みを補正するキャリブレーションが不完全であれば、ステレオカメラが備える左カメラ及び右カメラで撮像された画像に画素ずれが生じる。この結果、画像に映る物体まで測距して物体を検出する処理に不具合が発生し、距離を誤って測ることがある。なお、以下の説明では、左カメラ及び右カメラで撮像された画像の垂直方向の画素ずれを「垂直ずれ」と呼ぶ。また、水平方向の画素ずれは、ステレオカメラの視差検出に影響を与えることから「視差誤差」と呼ぶ。

このような広い画角に対応するためには、以下の問題がある。すなわち、広角領域では、車両のフロントガラスへの入射角が大きくなり、フロントガラスの屈折の影響による画素ずれ、すなわち視差が大きくなる。一方、従来の狭角ステレオカメラでは、フロントガラスへの入射角が小さいため、フロントガラスで生じる画素ずれはほとんど考慮する必要がなかった。このため、フロントガラスを通して外界を撮像可能な広い画角のステレオカメラに対する視差のキャリブレーション方法が必要とされていた。

このような広い画角に対するキャリブレーション方法として、以下の特許文献１及び２に記載された技術が提案されている。
特許文献１には、「画角が広角になるほどフロントガラスを通過する際の光路の屈折による視差ずれが大きくなる」ことを課題として、「視差ずれの補正パラメータを画角内の水平方向位置についての関数又はテーブルとしてまとめ、これを光軸特性として記憶装置に記憶させる」、「エイミングで得た光軸特性を用いて更に画像を補正する」と記載されている。

特許文献２には、「フロントガラスは車種毎に相違しており、従って、そのガラス歪も車種毎に相違する。ガラス歪みによる撮像画像への影響を評価しようとした場合、全ての車種に対して実走行やシミュレーションを行う必要があり、膨大な工数や経費が必要となる不都合がある。」ことを課題として、「複数の幾何テーブルを組み合わせ、該各幾何テーブルに記憶されている幾何歪補正データにてステレオカメラと各保護フードとの幾何学的歪を除去し或いは異なる保護フードの幾何学的歪を再現する」と記載されている。

特開２０２１－２５８６８号公報 特開２０１７－６２１９８号公報

特許文献１に開示された、設計上のフロントガラス（車室の窓）の形状を基に画像を補正する技術では、車両に搭載されるフロントガラスの形状が全て同じであれば成り立つ。しかし、実際には、フロントガラスとカメラの位置関係は、それぞれの設置位置によりばらつく。このため、フロントガラスの水平、垂直方向の曲率半径、フロントガラスの厚さの製造ばらつきや、フロントガラスとステレオカメラの取り付け位置の相対関係のばらつきが発生すると、許容値（例えば、後述する図５に示す視差誤差が０．２５画素以内）を満足できない。

また、特許文献２に開示された技術には、ステレオカメラの広角化の課題がある。この技術では、キャリブレーション用のチャートボード（以下、「チャート」と呼ぶ）を用いて画像が補正されるが、ステレオカメラの広角化に伴い、大きなチャートを用いる必要がある。

本発明は、上記のような課題に鑑みてなされたものであり、屈折体を通して外界を撮像するステレオカメラの視差をチャート無しで補正するキャリブレーションを行うことを目的とする。

本発明に係るステレオカメラ装置は、車両に取り付けられた屈折体の姿勢、及び屈折体の形状を含む屈折体特性と、車両に配置された複数のカメラの姿勢とに基づいて求められた、複数のカメラが光を屈折する屈折体を通してそれぞれ撮像する複数の画像の垂直ずれに対する水平方向の視差誤差の相関情報を記憶する記憶部と、複数のカメラが同じ被写体を撮像した複数の画像をマッチングして、複数の画像の垂直ずれを求めるマッチング部と、垂直ずれ及び相関情報に基づいて、マッチングされた複数の画像の視差誤差を推定する視差誤差推定部と、マッチングされた画像の視差を、視差誤差を用いて補正する距離算出部と、を備える。

本発明によれば、屈折体を通して外界を撮像するステレオカメラの視差をチャート無しで補正するキャリブレーションを行うことが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

ステレオカメラの画角に対するチャート幅の関係を示している。 本発明の一実施形態に係るステレオカメラが被写体を撮像する例を示す説明図である。 本発明の一実施形態に係るステレオカメラ装置の全体構成例を示すブロック図である。 本発明の一実施形態に係る計算機のハードウェア構成例を示すブロック図である。 本発明の一実施形態に係るステレオカメラから被写体までの間にフロントガラスを挟む時に計算される視差誤差のシミュレーション結果の例を示す図である。 ステレオカメラの水平画角に対するδ視差誤差の例を示すグラフである。 本発明の一実施形態に係るキャリブレーション方法の一例を示すフローチャートである。 本発明の一実施形態に係る左右画像の水平ステレオマッチングの例を示す図である。 本発明の一実施形態に係る左右画像の垂直方向のマッチングの例を示す図である。 本発明の一実施形態に係る視差誤差の算出手順の例を示す模式図である。 本発明の一実施形態に係る相関テーブルの構成図である。 本発明の一実施形態に係る視差誤差推定部が垂直ずれから視差誤差を推定する原理の説明図である。 本発明の一実施形態に係る９種類のばらつきの例を示す図である。 本発明の一実施形態に係るδ垂直ずれとδ視差誤差との相関関係を示す図である。 本発明の一実施形態に係る水平画角２０度、４０度、６０度ごとに求めた視差誤差の残留値のシミュレーション結果を示す図である。

以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
以下に説明する本発明の実施形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
また、本発明は、例えば、先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance System）、又は自動運転（ＡＤ：Autonomous Driving）向けの車載ＥＣＵ（Electronic Control Unit）が通信可能な車両制御用の演算装置に適用可能である。

［一実施形態］
本発明の一実施形態に係るステレオカメラ装置、及びキャリブレーション方法は、上述した課題を解決する発明の一例である。本実施形態に係るステレオカメラ装置、及びキャリブレーション方法の内容について以下に説明する。なお、以下の説明では、２つの画像の視差を補正することを「キャリブレーション」と呼ぶ。

ステレオカメラは、（１）製造工場、（２）車両工場、（３）ディーラー、（４）車両の走行中の４段階でキャリブレーションが行われる。
（１）製造工場でのキャリブレーション
ステレオカメラが製造工場で製造されると、製造工場で光軸調整が行われる。
（２）車両工場でのキャリブレーション
ステレオカメラが製造工場から出荷された後、車両工場でステレオカメラが車両に取り付けられ、キャリブレーションが行われる。車両工場で行われるキャリブレーションは「エーミング」とも呼ばれる。エーミングで得られた補正テーブルなどの情報は、ステレオカメラに格納される。

（３）ディーラーでのキャリブレーション
車両工場でのキャリブレーションが行われた後、車両がディーラーに送られると、ディーラーエーミングが行われる。ディーラーエーミングは、主に車両の修理時において、ガラスを交換した後に行われる。
（４）車両の走行中のキャリブレーション
最後に、車両の走行中にキャリブレーションが行われる。車両の走行中のキャリブレーションを「自動調整」と呼ぶ。
本実施形態に係るキャリブレーション方法は、主に（３）ディーラーエーミング時と、（４）車両の走行中に利用される。ディーラーは、チャートなどの装置を設置するためのスペースが狭いことが多いので、本実施形態に係るチャート無しでのキャリブレーションが望ましい。

ここで、キャリブレーションに用いられるチャートのチャート幅について、図１を参照して説明する。
図１は、ステレオカメラの画角に対するチャート幅の関係を示している。図１の横軸は画角［度］をとり、縦軸は必要なチャート幅［ｍ］をとる。ここでは、ステレオカメラとチャート間の距離を３ｍとしている。図１に示すように、例えば画角が４０度の場合は、必要なチャート幅は２ｍ程度でよい。一方、画角が１２０度の場合には、必要なチャート幅は１０ｍを超えてしまう。このような広いチャート幅のチャートは取り扱いが困難であり、車両製造工場やディーラー検査工場の大幅な改造が必要とされていた。

図２は、ステレオカメラ２１が被写体２４を撮像する例を示す説明図である。
ステレオカメラ２１は、フロントガラス２２の内側（車両２０内）に搭載されており、水平方向に並べて左右に配置された２台のカメラで構成される。屈折体（フロントガラス２２）は、透過する光が屈折する特性を持ち、透明、半透明のいずれであってもよい。また、ステレオカメラ２１を構成する２台のカメラのうち、左側のカメラを左カメラ２１Ｌと呼び、右側のカメラを右カメラ２１Ｒと呼ぶ。また、左カメラ２１Ｌ及び右カメラ２１Ｒを「左右カメラ」と略称し、ステレオカメラ２１と総称することもある。

図２では、ステレオカメラ２１がフロントガラス２２を介して、被写体２４を検出するシーンを表している。図２より、ステレオカメラ２１の水平画角（約１２０度）は、従来のカメラの水平画角（約４０度）よりも広いことが示される。なお、左カメラ２１Ｌ及び右カメラ２１Ｒは、それぞれ約１２０度の水平画角で被写体２４を含む外界を撮像可能である。

フロントガラス２２は、車両（車両２０）に取り付けられた姿勢が車種ごとに異なる。また、同一車種であっても、車両（車両２０）に取り付けられたフロントガラス２２姿勢がわずかに異なることもある。

次に、一実施形態に係るステレオカメラ装置１０の構成例について、図３を参照して説明する。
図３は、一実施形態に係るステレオカメラ装置１０の全体構成例を示すブロック図である。
ステレオカメラ装置１０は、撮像部１００、外部入力部１０１、補正部１０２、記憶部１０３、マッチング部１０４、ノイズ除去部１０５、視差誤差推定部１０６、距離算出部１０７、及び制御部１０８を備える。ステレオカメラ装置１０は、車両に搭載されるＥＣＵ（Electronic Control Unit）の一部として構成されてもよい。

撮像部１００は、補正部１０２に接続されている。撮像部（撮像部１００）は、車両（車両２０）に配置された複数のカメラ（ステレオカメラ２１）が屈折体（フロントガラス２２）を通してそれぞれ撮像する複数の画像を取得する。撮像部１００は、可視光線カメラ又は赤外線カメラなどの車両の外界を撮像した画像を取得できる装置であり、水平方向に並べて配置された複数のカメラで構成される。このため、撮像部１００は、可視光線を通じて外界を検出可能なカメラだけでなく、赤外線等の可視光線以外の光線に基づいて外界を検出可能なカメラで構成してもよい。ただし、撮像部１００は、可視光カメラ又は赤外線カメラに限定されるものではない。この場合、撮像部１００の代わりに、外界を所定波長の光線で検出可能な外界検出部として構成してもよい。また、撮像部１００が撮像する撮像物（例えば、被写体２４）としては、人、他の車両、風景であってもよく、従来のキャリブレーション用のチャート等であってもよい。

撮像部１００は、図２に示した左カメラ２１Ｌ及び右カメラ２１Ｒ（ステレオカメラ２１）で構成される。そして、撮像部１００は、車両前方の風景を撮像した左右の二枚の画像を補正部１０２に出力する。画像の各画素が輝度値を示すものとする。また、画像は、カラー画像から分離されたＲＧＢ画像に限らず、モノクロ画像であってもよい。

外部入力部１０１は、記憶部１０３に接続されている。外部入力部１０１は、ステレオカメラ２１の取り付け姿勢のばらつきや、フロントガラス２２の取付け姿勢及び形状などの設計値に基づいて予め計算された２つの画像の視差誤差と垂直ずれの相関情報を入力し、記憶部１０３に送る。記憶部１０３では、視差誤差と垂直ずれの相関情報が、後述する図１１に示す相関テーブルとして保存される。本明細書では、水平方向の画像のずれを「視差誤差」と呼ぶ。また、視差誤差と垂直ずれの相関情報としては、後述する図１０にイメージ図が示され、後述する図１４に比例関係が例示される。

また、外部入力部１０１は、ステレオカメラ２１の取り付け姿勢のばらつきや、フロントガラス２２の取付け姿勢及び形状などの設計値により予め外部の計算装置で計算された基準視差誤差と基準垂直ずれを入力し、記憶部１０３に送る。ここで、基準視差誤差と基準垂直ずれはフロントガラス２２（設計値）の屈折で生じる値であり、上述した、ステレオカメラ２１やフロントガラス２２の取付け姿勢、形状等から計算される視差誤差と垂直ずれの相関情報とは別のものである。記憶部１０３には、基準視差誤差と基準垂直ずれが保存される。基準視差誤差と基準垂直ずれについては、図８と図９を用いて後述する。

また、外部入力部１０１は、工場でのエーミングで得られた補正テーブルを入力し、記憶部１０３に送る。記憶部１０３には、工場でのエーミングで得られた補正テーブルが保存される。

補正部１０２は、撮像部１００、記憶部１０３及びマッチング部１０４に接続されている。補正部１０２は、記憶部１０３から読み出した補正テーブルを用いて、撮像部１００から取得した左右画像を両方ともに補正する。ここでの左右画像の補正は、左カメラ２１Ｌと右カメラ２１Ｒのそれぞれのレンズの歪みの影響を補正する処理であり、左右画像の視差を補正する処理ではない。そして、補正部１０２は、補正した左右画像をマッチング部１０４に送信する。

記憶部１０３は、外部入力部１０１、補正部１０２、マッチング部１０４、ノイズ除去部１０５、視差誤差推定部１０６及び距離算出部１０７に接続されている。この記憶部１０３は、ステレオカメラ２１の内部に構成される不揮発メモリであり、各種の情報を格納できる。例えば、記憶部（記憶部１０３）は、屈折体（フロントガラス２２）の設計値により予め計算された基準視差誤差及び基準垂直ずれを記憶している。基準視差誤差と基準垂直ずれは、外部入力部１０１から入力される情報であり、車両２０へのフロントガラス２２の取付け前の視差誤差と垂直ずれを表す。そして、基準視差誤差及び基準垂直ずれは、複数のカメラ（ステレオカメラ２１）の出荷時に記憶部（記憶部１０３）に記憶される。

また、記憶部１０３は、外部入力部１０１から入力される補正テーブルを格納し、補正部１０２に補正テーブルを送る。また、記憶部（記憶部１０３）は、複数のカメラ（左カメラ２１Ｌ及び右カメラ２１Ｒ）が光を屈折する屈折体（フロントガラス２２）を通してそれぞれ車両（車両２０）の外界を撮像する複数の画像の垂直ずれに対する水平方向の視差誤差の相関情報を記憶する。この相関情報は、車両（車両２０）に取り付けられた屈折体（フロントガラス２２）の姿勢、及び屈折体（フロントガラス２２）の形状を含む屈折体特性（フロントガラス２２の特性）と、車両（車両２０）に配置された複数のカメラ（左カメラ２１Ｌ及び右カメラ２１Ｒ）の姿勢とに基づいて求められる。フロントガラス２２は、フロントガラス２２の水平曲率、フロントガラス２２の垂直曲率、フロントガラス２２の厚みといった屈折体特性（フロントガラス２２の特性）を持つ。

また、記憶部１０３は、マッチング部１０４から入力される視差、及び垂直ずれを格納する。ここで、記憶部１０３は、複数回の処理でマッチング部１０４から入力された複数フレームの垂直ずれをノイズ除去部１０５に送信する。また、記憶部１０３は、垂直ずれと視差誤差の相関情報を視差誤差推定部１０６に送信する。また、記憶部１０３は、マッチング部１０４から入力された視差を距離算出部１０７に送信する。

なお、基準視差誤差及び基準垂直ずれは、車両（車両２０）に屈折体（フロントガラス２２）が取り付けられる前に記憶部（記憶部１０３）に記憶されてもよい。この場合、屈折体（フロントガラス２２）が車両（車両２０）に実際に取り付けられた後の基準視差誤差に対する変化量がδ視差誤差であり、基準垂直ずれに対する変化量がδ垂直ずれである。

マッチング部１０４は、補正部１０２及び記憶部１０３に接続されている。マッチング部（マッチング部１０４）は、複数のカメラ（ステレオカメラ２１）が同じ被写体を撮像した複数の画像をマッチングして、複数の画像の垂直ずれを求める。例えば、マッチング部１０４は、補正部１０２から補正された左右画像を取得し、左右画像のマッチングを行って、視差と垂直ずれを算出する。マッチング部１０４は、算出した視差と垂直ずれを記憶部１０３に送信し、記憶部１０３に視差と垂直ずれを保存する。

ノイズ除去部１０５は、記憶部１０３及び視差誤差推定部１０６に接続されている。ノイズ除去部１０５は、記憶部１０３から読み出した複数フレームの垂直ずれの平均値を取る。次に、ノイズ除去部１０５は、フィルターを使って、ノイズとして混入する無効な垂直ずれを平均値の計算から除去して、垂直ずれの平均値を視差誤差推定部１０６に送信する。なお、ノイズ除去が不要であれば、ステレオカメラ装置１０にノイズ除去部１０５が設けられなくてもよい。

視差誤差推定部１０６は、記憶部１０３、ノイズ除去部１０５及び距離算出部１０７に接続されている。視差誤差推定部（視差誤差推定部１０６）は、記憶部１０３から読み出した垂直ずれ及び相関情報に基づいて、マッチングされた複数の画像の視差誤差を推定する。このため、視差誤差推定部１０６は、ノイズ除去部１０５から垂直ずれの平均値を受信すると、記憶部１０３から視差誤差と垂直ずれの相関情報を読み出す。また、視差誤差推定部１０６は、記憶部１０３から基準視差誤差と基準垂直ずれを読み出し、ノイズ除去部１０５から受信した垂直ずれの平均値に基づいてδ垂直ずれを算出し、その後、δ視差誤差を算出する。

そこで、視差誤差推定部（視差誤差推定部１０６）は、記憶部（記憶部１０３）から読み出した基準垂直ずれ、及び垂直ずれに基づいて、車両（車両２０）に実際に取り付けられた屈折体（フロントガラス２２）により生じる垂直ずれの変化量であるδ垂直ずれを算出する。次に、視差誤差推定部（視差誤差推定部１０６）は、算出したδ垂直ずれ、及び記憶部（記憶部１０３）から読み出した相関情報に基づいて、車両（車両２０）に実際に取り付けられた屈折体（フロントガラス２２）により生じる視差誤差の変化量であるδ視差誤差を算出する。そして、視差誤差推定部１０６は、推定したδ視差誤差を距離算出部１０７に送信する。

また、視差誤差推定部１０６は、算出したδ視差誤差とδ垂直ずれを記憶部１０３に送信し、記憶部１０３にδ視差誤差とδ垂直ずれを保存する。上述したようにδ視差誤差とδ垂直ずれは、車両２０へのフロントガラス２２の取付け前後の変化量を表す。すなわち、複数のカメラ（ステレオカメラ２１）の出荷後の基準視差誤差に対する変化量がδ視差誤差であり、基準垂直ずれに対する変化量がδ垂直ずれである。δ垂直ずれとδ視差誤差と詳細は、図８と図９を用いて後述する。

ステレオカメラ装置１０にノイズ除去部１０５が設けられない構成である場合、視差誤差推定部（視差誤差推定部１０６）は、異なるタイミングで撮像された複数の画像の同じ位置でマッチング部１０４が求めた垂直ずれを複数回積算して、垂直ずれの平均値を算出する。そして、視差誤差推定部（視差誤差推定部１０６）は、垂直ずれの平均値と、相関情報とに基づいて視差誤差を推定する。このように垂直ずれの平均値を算出することで、１回だけ算出された垂直ずれが外れ値であった場合に、この垂直ずれにより推定される視差誤差が大きくなりすぎないようにできる。

距離算出部１０７は、記憶部１０３及び視差誤差推定部１０６に接続されている。距離算出部（距離算出部１０７）は、マッチングされた複数の画像の視差を、視差誤差を用いて補正する。この時、距離算出部（距離算出部１０７）は、基準視差誤差及びδ視差誤差を用いて視差を補正する。そこで、距離算出部１０７は、視差誤差推定部１０６からδ視差誤差を受け取り、記憶部１０３から視差と基準視差誤差を受け取る。そして、距離算出部１０７は、視差から基準視差誤差とδ視差誤差を除去する視差の補正を行う。また、距離算出部（距離算出部１０７）は、視差誤差を用いて補正した視差を用いて、車両（車両２０）から外界の対象物までの距離を算出する。その後、距離算出部１０７は、対象物ごとに算出した距離を含む距離情報を制御部１０８に送信する。

制御部１０８は、距離算出部１０７に接続されている。制御部１０８は、距離算出部１０７から距離情報を受けると、対象物ごとの距離に応じて、警告を発報してドライバに注意喚起したり、ブレーキをかけたりするなどの自動制御を行う。

上述した機能ブロック１００～１０６までが、車両の走行前に行われる処理を担っており、例えば、車両のディーラーによって処理が行われる。一方、機能ブロック１００～１０７までは、車両の走行中に行われる処理を担う。

＜計算機のハードウェア構成例＞
次に、ステレオカメラ装置１０を構成する計算機５０のハードウェア構成例を説明する。
図４は、計算機５０のハードウェア構成例を示すブロック図である。計算機５０は、本実施の形態に係るステレオカメラ装置１０として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係るステレオカメラ装置１０は、計算機５０（コンピューター）がプログラムを実行することにより、図３に示した各機能ブロックが連携して行う視差誤差の補正方法を実現する。

計算機５０は、バス５４にそれぞれ接続されたＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、及びＲＡＭ（Random Access Memory）５３を備える。さらに、計算機５０は、不揮発性ストレージ５５及びネットワークインターフェイス５６を備える。

ＣＰＵ５１は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ５２から読み出してＲＡＭ５３にロードし、実行する。ＲＡＭ５３には、ＣＰＵ５１の演算処理の途中で発生した変数やパラメータ等が一時的に書き込まれ、これらの変数やパラメータ等がＣＰＵ５１によって適宜読み出される。ただし、ＣＰＵ５１とＧＰＵ（Graphics Processing Unit）を併用してもよい。図３に示した機能ブロック１００～１０７の機能は、ＣＰＵ５１によって実現される。

不揮発性ストレージ５５としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ５５には、ＯＳ（Operating System）、各種のパラメータの他に、計算機５０を機能させるためのプログラムが記録されている。ＲＯＭ５２及び不揮発性ストレージ５５は、ＣＰＵ５１が動作するために必要なプログラムやデータ等を記録しており、計算機５０によって実行されるプログラムを格納したコンピュータ読取可能な非一過性の記憶媒体の一例として用いられる。図３に示した記憶部１０３の機能は、ＲＡＭ５３によって実現されるが、不揮発性ストレージ５５によって実現されてもよい。

ネットワークインターフェイス５６には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＮＩＣの端子に接続された車載ＬＡＮ（Local Area Network）、専用線等を介して各種のデータを装置間で送受信することが可能である。

ここで、従来の課題について定量的に説明する。
図５は、ステレオカメラから被写体までの間にフロントガラスを挟む時に計算される視差誤差のシミュレーション結果の例を示す図である。図５の縦軸は視差誤差［画素］、横軸はステレオカメラの水平画角［度］を示している。なお、視差誤差のシミュレーション処理における計算条件は以下となる。また、視差誤差の許容値は、０．２５画素とする。
＜計算条件（設計条件）＞
・レンズ焦点距離：５．４１ｍｍ
・レンズ射影：ｆｔａｎθ
・ガラス曲率半径（水平）：５．５ｍ
・ガラス曲率半径（垂直）：３．５ｍ
・ガラス屈折率：１．５２
・ガラス厚み：４．７ｍｍ
・ガラス傾き：３０度
・センサ画素ピッチ：２．２５μｍ
・カメラ基線長：１８０ｍｍ
・レンズ－ガラス間距離：４０ｍｍ

図５に示すように、例えば、水平画角が７０度（左３５度＋右３５度）を超えると、視差誤差が許容値である０．２５画素を超える。そこで、特許文献１に開示されたように、設計上のフロントガラスの形状を基に画像を補正することも考えられる。

図６は、ステレオカメラの水平画角に対するδ視差誤差の例を示すグラフである。上述した設計条件から求められる水平方向の視差に対するずれを「δ視差誤差」と呼ぶ。図６の縦軸はδ視差誤差［画素］、横軸は水平画角［度］を示している。また、図中には、δ視差誤差が－０．２５画素と、＋０．２５画素である許容値４１を破線で示している。

図６に示すグラフ４０は、ステレオカメラの取付け姿勢のばらつきを表すため、ステレオカメラをヨー方向に３度回転した時に計算される、図５に示した視差誤差の変化量のシミュレーション結果を示している。図６に示した結果より、特許文献１に開示された技術により画像を補正しても、ステレオカメラの取付け姿勢にばらつきが発生すると、許容値４１で表される±０．２５画素の許容範囲をδ視差誤差が満足できないことが分かる。これはステレオカメラのように広い画角で外界を撮像する撮像部１００における特有の課題となる。

一方、本実施形態に係るキャリブレーション方法では、フロントガラスの設計値での視差誤差（以下の説明では、「基準視差誤差」と呼ぶ）と、ステレオカメラの取付け姿勢のばらつきによるδ視差誤差とを分離して算出する。その後、δ視差誤差を用いて視差を補正することで、高精度なキャリブレーションを実現できる。そこで、本実施形態に係るキャリブレーション方法について詳細な内容を説明する。

図７は、本実施形態に係るキャリブレーション方法の一例を示すフローチャートである。ここでは、図２のステレオカメラ２１が被写体２４を撮像する例を挙げて、図３に示した各機能ブロックで行われる処理を説明する。

本実施形態に係るキャリブレーションを行う前は、外部の計算装置を用いて、車種に応じてステレオカメラ２１の取付け姿勢と、フロントガラス２２の取付け姿勢及び形状の設計値と、基準視差誤差に基づいて、視差誤差と垂直ずれの相関情報を算出しておく。そして、外部入力部１０１は、視差誤差と垂直ずれの相関情報が記録された相関テーブル（後述する図１１を参照）を記憶部１０３に格納する（Ｓ１）。また、ステップＳ１では、外部入力部１０１は、車種に応じた設計値である基準垂直ずれと基準視差誤差も記憶部１０３に格納する。

次に、ステレオカメラ装置１０は、ステレオカメラ２１が撮像した２つの画像の視差に対するフロントガラス２２の影響を低減するためのキャリブレーションを開始する（Ｓ２）。そこで、ステレオカメラ装置１０は、撮像部１００のステレオカメラ２１を起動する。

次に、撮像部１００は、左右２つの画像を取得する画像取得処理を行う（Ｓ３）。この時、撮像部１００は、左カメラ２１Ｌ及び右カメラ２１Ｒが同じ被写体２４又は風景を撮像した２つの画像を取得する。以下の説明では、左カメラ２１Ｌ及び右カメラ２１Ｒが撮像した２つの画像を「左右画像」とも呼ぶ。

次に、補正部１０２は、記憶部１０３から読み出した補正テーブル（工場でのエーミングで得られた補正テーブル）を用いて、撮像部１００から取得した２つの画像を補正する補正処理を行う（Ｓ４）。

次に、マッチング部１０４は、補正部１０２により補正された２つの画像の視差と垂直ずれを算出するマッチング処理を行う（Ｓ５）。ここで、マッチング部１０４は、補正された左右の２つの画像に対して水平方向のステレオマッチングを行って視差を算出する。また、マッチング部１０４は、左右画像の垂直方向のマッチングにより垂直ずれを算出する。そして、マッチング部１０４は、算出した視差と垂直ずれを記憶部１０３に格納する。

その後、ステップＳ３～Ｓ５の処理が繰り返し行われる（Ｓ５Ａ）。マッチング部１０４は、繰り返し処理で算出した複数フレームの垂直ずれを記憶部１０３に格納する。ステップＳ５Ａの繰り返し処理は、後述するステップＳ６で垂直ずれを加算するための必要なフレーム数に合わせた回数だけ行われる。

次に、ノイズ除去部１０５は、記憶部１０３から読み出した複数フレームの垂直ずれを加算し、ノイズを除去する処理を行う（Ｓ６）。このため、ノイズ除去部１０５は、ステップＳ３～Ｓ５で繰り返し処理され、記憶部１０３に格納された複数フレームの垂直ずれを記憶部１０３から読み出す。ノイズ除去部１０５は、垂直ずれを加算処理する前にフィルターをかけて、計算結果のノイズとなる無効な垂直ずれを除去する。そして、ノイズ除去部１０５は、無効な垂直ずれが除去された複数の垂直ずれを加算し、垂直ずれの平均値を算出する。

次に、視差誤差推定部１０６は、ノイズ除去部１０５によりノイズが除去された垂直ずれと、記憶部１０３から読み出した基準垂直ずれとを用いて、δ垂直ずれを算出する処理を行う（Ｓ７）。次に、視差誤差推定部１０６は、視差誤差と垂直ずれの相関情報が記録された相関テーブルを用いて、δ垂直ずれからδ視差誤差を算出する処理を行う（Ｓ８）。次に、視差誤差推定部１０６は、算出したδ視差誤差を補正情報として記憶部１０３に格納する（Ｓ９）。

そして、距離算出部１０７は、記憶部１０３から読み出した視差から、基準視差誤差とδ視差誤差を除去して視差を補正した後、補正した視差を用いて撮像物までの距離情報を算出する処理を行う（Ｓ１０）。そして、図７に示すキャリブレーション処理が終了する。

なお、本処理の終了後、撮像物までの距離情報が制御部１０８に出力される。そして、制御部１０８は、距離情報に基づいて外界を認識して、車両を前方の障害物から回避する等の自動運転を制御する。

図８は、左右画像の水平ステレオマッチングの例を示す図である。ここでは、ステレオカメラ２１を構成する左カメラ２１Ｌ及び右カメラ２１Ｒがそれぞれ被写体２４を撮像する。以下の説明では、フロントガラス２２を「ガラス」と略称する。

図８の上側には、左カメラ２１Ｌが被写体２４を映した画像ＰＬが示され、図８の下側には、右カメラ２１Ｒが被写体２４を映した画像ＰＲが示される。像ＰＬ１は、ガラスなしの状態で左カメラ２１Ｌが撮像した被写体２４の像である。像ＰＲ１は、ガラスなしの状態で右カメラ２１Ｒが撮像した被写体２４の像である。視差ＤＰＸは、ガラスを通さないで撮像された像ＰＬ１と像ＰＲ１の水平方向のステレオマッチングにより算出される視差（水平ずれ）の真値である。視差ＤＰＸを、以下で説明する式では「Ｄｘ」と表す。また、設計上の位置にガラスが車両に取り付けられた状態のガラスを「ガラス（設計値）」と呼ぶ。

像ＰＬ２は、ガラス（設計値）がある場合に、左カメラ２１Ｌがガラスを通して被写体２４を撮像した画像である。像ＰＲ２は、ガラス（設計値）がある場合に、右カメラ２１Ｒがガラスを通して被写体２４を撮像した画像である。像ＰＬ２は、像ＰＬ１に対して右下にずれ、像ＰＲ２は、像ＰＲ１に対して右下にずれている。

画素ずれＬＳ１は、ガラス（設計値）を通して左カメラ２１Ｌが撮像した像ＰＬ２の、像ＰＬ１に対する視差誤差を示す。画素ずれＲＳ１は、ガラス（設計値）を通して右カメラ２１Ｒが撮像した像ＰＲ２の、像ＰＲ１に対する視差誤差を示す。このため、像ＰＬ２と像ＰＲ２に対して水平ステレオマッチングが行われると、視差ＤＰＸＥ１を生じる。視差ＤＰＸＥ１は、ガラス（設計値）の影響で生じる視差誤差を表している。

ここで、ガラス（設計値）がある場合の視差ＤＰＸＥ１を、式では「ＤＥｘ」で表し、基準視差誤差をガラス（設計値）の影響で生じた視差誤差である「εｘ」で表すと、「ＤＥｘ＝Ｄｘ＋εｘ」の式が求められる。
つまり、ガラス（設計値）がある場合の視差ＤＥｘは、視差真値Ｄｘと、ガラス（設計値）の影響で生じた基準視差誤差εｘを加算した値となる。

ところで、ここでのガラス（設計値）がある場合とは理想状態である。実際には、ガラス（設計値）に対するカメラの取り付け姿勢がばらついたり、ガラスの取付け姿勢及び形状がばらついたりする。ここで、実際にガラスが車両に取り付けられた状態のガラスを「ガラス（実際値）」と呼ぶ。図８には、ガラス（実際値）を通して左カメラ２１Ｌが撮像した像ＰＬ３と、ガラス（実際値）を通して右カメラ２１Ｒが撮像した像ＰＲ３が示される。像ＰＬ３は、像ＰＬ２に対して右下にずれ、像ＰＲ３は、像ＰＲ２に対して右下にずれている。

画素ずれＬＳ２は、ガラス（実際値）を通して左カメラ２１Ｌが撮像した像ＰＬ３の、像ＰＬ２に対する視差誤差を示す。画素ずれＲＳ２は、ガラス（実際値）を通して右カメラ２１Ｒが撮像した像ＰＲ３の、像ＰＲ２に対する視差誤差を示す。このため、像ＰＬ３と像ＰＲ３に対して水平ステレオマッチングが行われると、視差ＤＰＸＥ２を生じる。視差ＤＰＸＥ２は、ガラス（実際値）の影響で生じる視差誤差を表している。

ここで、ガラス（実際値）がある場合の視差ＤＰＸＥ２を、式では「ＤＥ’ｘ」で表し、設計値に対してガラス及びカメラのばらつきで生じたδ視差誤差を「δεｘ」で表すと、「ＤＥ’ｘ＝Ｄｘ＋εｘ＋δεｘ」の式が求められる。
つまり、ガラス（実際値）がある場合の視差ＤＥ’ｘは、上述した視差真値Ｄｘと、ガラス（設計値）の影響で生じた基準視差誤差εｘと、δ視差誤差δεｘとを加算した値となる。すなわち、（視差）＝（視差真値）＋（基準視差誤差）＋（δ視差誤差）の式となる。なお、δ視差誤差δεｘは負値の場合もある。

図９は、左右画像の垂直方向のマッチングの例を示す図である。
図９の左側には、左カメラ２１Ｌが被写体２４を映した画像ＰＬが示され、図９の右側には、右カメラ２１Ｒが被写体２４を映した画像ＰＲが示される。画像ＰＬに示される像ＰＬ１、ＰＬ２、ＰＬ３と、画素ずれＬＳ１、ＬＳ２、画像ＰＲに示される像ＰＲ１、ＰＲ２、ＰＲ３と、画素ずれＲＳ１、ＲＳ２は、図８を参照して説明したとおりである。

垂直ずれＤＰＹは、ガラスを通さないで撮像された像ＰＬ１と像ＰＲ１の垂直方向のステレオマッチングにより算出される垂直ずれの真値である。垂直ずれＤＰＹを、式では「Ｄｙ」と表す。ガラスがない場合の垂直ずれの真値は、ステレオカメラ２１の出荷時に調整されている。このため、左カメラ２１Ｌと左カメラ２１Ｌの垂直ずれの真値はゼロとなり、Ｄｙ＝０の式で表される。

一方、ガラス（設計値）がある場合、左カメラ２１Ｌと右カメラ２１Ｒでは、それぞれガラス（設計値）を通して入射する光線の位置が異なる。このため、左カメラ２１Ｌが撮像した画像の垂直方向の画素ずれＬＳ１と、右カメラ２１Ｒが撮像した画像の垂直方向の画素ずれＲＳ１が異なる。そこで、ガラス（設計値）がある場合、像ＰＬ２と像ＰＲ２に対して垂直ステレオマッチングが行われると、垂直ずれＤＰＹＥ１を生じる。つまり、垂直ずれＤＰＹＥ１は、ガラス（設計値）の影響で生じる垂直ずれを表している。

ここで、ガラス（設計値）がある場合の垂直ずれＤＰＹＥ１を、式では「ＤＥｙ」で表し、基準垂直ずれをガラス（設計値）の影響で生じた垂直ずれである「εｙ」で表すと、Ｄｙ＝０のため、「ＤＥｙ＝εｙ」の式が求められる。
つまり、ガラス（設計値）がある場合の垂直ずれＤＥｙは、垂直ずれ真値Ｄｙ（＝０）と、ガラス（設計値）の影響で生じた基準垂直ずれεｙを加算した値となる。

図８を参照して示したように、ガラス（設計値）がある場合とは理想状態である。図９には、ガラス（実際値）を通して左カメラ２１Ｌが撮像した像ＰＬ３と、ガラス（実際値）を通して右カメラ２１Ｒが撮像した像ＰＲ３が示される。

画素ずれＬＳ２は、ガラス（実際値）を通して左カメラ２１Ｌが撮像した像ＰＬ３の、像ＰＬ２に対する垂直ずれを示す。画素ずれＲＳ２は、ガラス（実際値）を通して右カメラ２１Ｒが撮像した像ＰＲ３の、像ＰＲ２に対する垂直ずれを示す。このため、像ＰＬ３と像ＰＲ３に対して垂直ステレオマッチングが行われると、垂直ずれＤＰＹＥ２を生じる。垂直ずれＤＰＹＥ２は、ガラス（実際値）の影響で生じる垂直ずれの垂直ずれ値を表している。

ここで、ガラス（実際値）がある場合の垂直ずれＤＰＹＥ２を、式では「ＤＥ’ｙ」で表し、設計値に対してガラス及びカメラのばらつきで生じたδ垂直ずれを「δεｙ」で表すと、「ＤＥ’ｙ＝εｙ＋δεｙ」の式が求められる。
つまり、ガラス（実際値）がある場合の垂直ずれＤＥ’ｙは、垂直ずれ真値Ｄｙ（＝０）と、ガラス（設計値）の影響で生じた基準垂直ずれεｙと、δ垂直ずれとを加算した値となる。すなわち、（垂直ずれ）＝（基準垂直ずれ）＋（δ垂直ずれ）の式となる。なお、δ垂直ずれ（δεｙ）は負値の場合もある。

ところで、水平方向のＤＥ’ｘは、カメラから被写体２４までの距離によって値が変わる。このため、例えば、対象物までの距離が既知であるなどの所定条件での測定が必要とされていた。

一方、本実施形態に係るステレオカメラ装置１０は、水平方向のずれではなく、距離に依存しない垂直方向のずれを用いることを特徴としている。ガラスが無い場合には垂直ずれはゼロであるので、被写体２４までの距離が変わっても垂直ずれは変化せず、同じずれ量となる。このため、ステレオカメラ装置１０は、直接、垂直ずれを算出することが可能となり、垂直ずれを用いて視差誤差の計算を行える。

次に、視差誤差の算出手順について説明する。
図１０は、本実施形態に係る視差誤差の算出手順の例を示す模式図である。
（１）風景１００１の撮像
始めに、ステレオカメラ２１は、フロントガラス２２を通して風景１００１を撮像する。この時、図７におけるステップＳ３～Ｓ５の処理が行われる。

（２）垂直ステレオマッチング
次に、マッチング部１０４は、左右カメラで撮像された２つの画像の垂直方向のステレオマッチングを行って、垂直ずれ１０ＤＰＹを検出する。この時、図７におけるステップＳ５の処理が行われる。ここで、画像内の垂直ずれは、垂直ずれ１０ＤＰＹにおける垂直方向の矢印で表される。各矢印の向きは垂直ずれの方向を表し、長さは垂直ずれのずれ量を表す。

（３）視差誤差の算出
そして、視差誤差推定部１０６は、水平方向の視差誤差１０ＤＰＸを推定する。ここで、画像内の視差誤差は、視差誤差１０ＤＰＸにおける水平方向の矢印で表される。各矢印の向きは視差誤差の方向を表し、長さは視差誤差のずれ量を表す。

垂直ずれ１０ＤＰＹの一つの矢印と同じ位置にある、視差誤差１０ＤＰＸの一つの矢印は相関関係がある。これらの矢印の相関関係は、相関情報ｃ１，ｃ２として記憶部１０３の相関テーブルに記憶される。なお、相関情報ｃ１，ｃ２に示すように、画像の真ん中付近では、垂直ずれのずれ量と、視差誤差のずれ量があまり変わらない。しかし、フロントガラス２２の曲率が大きくなる下側では、垂直ずれのずれ量に対して、視差誤差のずれ量が大きくなる。このため、複数の相関関係が相関情報として記憶部１０３に記憶される。後述するように垂直ずれと視差誤差の相関は、δ垂直ずれとδ視差誤差の相関として用いることができる。そして、視差誤差推定部１０６は、記憶部１０３から読み出される複数の相関関係を含む相関情報に基づいて、δ垂直ずれからδ視差誤差を推定できる。

なお、フロントガラス２２が球面の一部で構成される場合、フロントガラス２２の全体で垂直ずれと視差誤差の相関関係が一定となることが予想される。この場合、一つの相関関係が相関情報として記憶部１０３に記憶される。そして、視差誤差推定部１０６は、記憶部１０３から読み出される一つの相関関係を含む相関情報に基づいて、δ垂直ずれからδ視差誤差を推定できる。

上述したように視差誤差推定部１０６は、δ垂直ずれを算出できれば、視差誤差１０ＤＰＸに示される各画角におけるδ視差誤差を推定することが可能となる。この時、図７におけるステップＳ６～Ｓ８の処理が行われる。

図１１は、相関テーブルの構成図である。相関テーブルには、視差誤差と垂直ずれの相関情報が記録される。

相関テーブルは、例えば、ステレオカメラ２１の水平画角［度］、垂直画角［度］の表で表される。各画角の交差するセルでは、視差誤差を「ｅ（ｍ）」とし、垂直ずれを「ｖ（ｎ）」とする２つの値が相関情報として格納される。ここで、視差誤差ｅ（ｍ）の「ｍ」は、水平画角に対応し、「－６０」から「＋６０」までの値をとる。また、垂直ずれｖ（ｎ）の「ｎ」は、垂直画角に対応し、「－３０」から「＋３０」までの値をとる。

記憶部（記憶部１０３）は、カメラ（ステレオカメラ２１）の撮像画角（水平画角及び垂直画角）に応じた複数の相関情報を相関テーブルに記憶している。例えば、図１１に示す相関テーブルには、水平画角が－６０度から＋６０度の範囲内、かつ垂直画角が－３０度から＋３０度の範囲内で、水平画角と垂直画角を１度ずつ変更した場合における相関情報が格納されている。このため、視差誤差推定部１０６は、ある水平画角と垂直画角における視差誤差と垂直ずれの相関情報を相関テーブルから容易に読み出すことができる。そして、視差誤差推定部（視差誤差推定部１０６）は、撮像画角に合わせて記憶部（記憶部１０３）から読み出した複数の相関情報を用いて視差誤差を推定することができる。

なお、相関テーブルには、水平画角と垂直画角を０．５度ずつ変更した場合における相関情報が格納されてもよいし、水平画角と垂直画角を１０度ずつ変更した場合における相関情報が格納されてもよい。

また、記憶部（記憶部１０３）は、屈折体（フロントガラス２２）の形状が均一である場合に屈折体（フロントガラス２２）に対して求められた一つの相関情報を記憶してもよい。水平画角と垂直画角がどこでも相関情報が同じであれば、一つの視差誤差と一つの垂直ずれの相関情報だけが相関テーブルに格納されてもよい。視差誤差推定部（視差誤差推定部１０６）は、記憶部（記憶部１０３）から読み出した一つの相関情報を用いて視差誤差を推定することができる。

次に、視差誤差推定部１０６が垂直方向の画素ずれから水平方向の視差誤差を推定可能である理由を説明する。
図１２は、視差誤差推定部１０６が垂直ずれから視差誤差を推定する原理の説明図である。

図１２の上側に示す説明図１２Ｐ０は、ばらつきが無いガラスに入射する光線が出射する様子を示す立体図である。ここでは、ある入射光線１１ｉｎがフロントガラス２２に入射して出射光線１１ｏｕｔとして出射する様子が示される。図中のＸ軸は水平画角方向を示し、Ｙ軸は垂直画角方向を示し、Ｚ軸は車両の進行方向を示す。入射光線１１ｉｎと出射光線１１ｏｕｔを区別しない時は、「光線」と呼ぶ。

入射光線１１ｉｎをＸＹ面に射影すると、ＸＹ面射影光線１１１１と表される。また、出射光線１１ｏｕｔをＸＹ面に射影すると、ＸＹ面射影光線１１１３と表される。ここで、切面１１１２は、光線がガラス２２に当たった場所をＸＹ面に射影したものである。

次に、取付け姿勢のばらつきがないガラスを光線が通る場合について説明する。
図１２の左下に示す説明図１２Ｐ１には、説明図１２Ｐ０に示したＸＹ面に射影された光線の例が示されている。ここで、ＸＹ面射影光線１１１３をＸ軸及びＹ軸に分解した光線１１１５と光線１１１４は、それぞれＸＹ面射影光線１１１３の水平方向の分量と、垂直方向の分量を表している。

取付け姿勢にばらつきがあるガラスを光線が通る場合について説明する。
図１２の右下に示す説明図１２Ｐ２には、取付け姿勢にばらつきがあるガラスを通る光線が説明図１２Ｐ０に示したＸＹ面に射影された例が示されている。説明図１２Ｐ２においても、説明図１２Ｐ１と同じ切面１１１２で変化した光線の変位の様子が示される。

例えば、ガラスにロール回転のばらつきＢ１１３０がある場合、ばらつきが無い場合の切面１１２２（実線）は、切面１１２２（破線）に変化した位置で表せる。また、出射光線１１２３（破線）は、ＸＹ面射影光線（実線）から変化したものである。

また、光線１１２４（破線）と光線１１２５（破線）は、それぞれ変化した出射光線１１２３（破線）の垂直方向の分量と、水平方向の分量を表している。光線１１２４（破線）と光線１１１４（実線）の垂直差分は、ガラスのばらつきで生じたδ垂直ずれδεｙである。また、光線１１２５（破線）と光線１１１５（実線）の水平差分は、ガラスのばらつきで生じたδ視差誤差δεｘである。

ガラスの取付け姿勢の実際のばらつきは設計値よりかなり小さい。このため、ガラスの取付け姿勢にばらつきがある場合におけるδ視差誤差ε’ｘとδ垂直ずれε’ｙの比率は、ガラスの設計値で算出される基準視差誤差εｘと基準垂直ずれεｙの比率と大きく変化しない。
つまり、｜εｘ｜／｜εｙ｜≒｜ε’ｘ｜／｜ε’ｙ｜の関係がある。

例えば、事前にガラスの設計値で基準視差誤差εｘと基準垂直ずれεｙの相関を求めると、｜εｘ｜／｜εｙ｜＝ｋと表される。一方、ガラスの取付け姿勢にばらつきがある場合におけるδ視差誤差を「ε’ｘ」とし、δ垂直ずれを「ε’ｙ」として、δ視差誤差ε’ｘ、δ垂直ずれε’ｙの相関を求めると、｜ε’ｘ｜≒ｋ＊｜ε’ｙ｜と表せる。
つまり、｜ε’ｘ｜－｜εｘ｜≒ｋ＊（｜ε’ｙ｜－｜εｙ｜）と表せるので、δ視差誤差δεｘとδ垂直ずれδεｙの関係は、δεｘ≒ｋ＊δεｙと表せる。

従って、視差誤差推定部１０６は、（実際の視差誤差）＝（基準視差誤差（ガラス設計値））＋（δ視差誤差（ばらつきあり））の計算式により、実際の視差誤差を推定できる。ここで、基準視差誤差と相関係数ｋは、ガラスの設計値によって得られる値である。また、上述したようにδ視差誤差δεｘは、（δ垂直ずれδεｙ＊ｋ）で計算できる。

このように、本実施形態に係るステレオカメラ装置１０は、ガラスの取付け姿勢にばらつきがあっても、δ垂直ずれとδ視差誤差との相関、つまり垂直ずれと視差誤差との相関を用いて、δ視差誤差（ばらつきあり）を算出し、実際の視差誤差を用いて視差を補正するので、高精度のキャリブレーションを実現することが可能となる。なお、ここでは相関が線形として説明したが、変化量が大きくなるに伴って相関が非線形となる。この場合であっても効果があることは言うまでもない。

次に、ガラスの取付け姿勢のばらつきを考慮した時のδ垂直ずれとδ視差誤差との相関について確認する。以下にばらつき条件を考慮した９種類のばらつきの例について説明する。
図１３は、９種類のばらつきの例を示す図である。図１３に示すばらつき（１）～（３）は、以下の計算条件を基にしている。

＜計算条件（ばらつき）＞
・Ｘ、Ｙ、Ｚシフト：＋２ｍｍ
・ピッチ、ヨー、ロール回転：＋３度
・ガラス曲率半径（水平、垂直）：－１．５ｍ
・ガラス厚み：＋１ｍｍ

図１３のバラつき（１）は、フロントガラス２２に対するステレオカメラのシフトバラつきの例を示す。図１３の左から順に、Ｘ軸方向のシフト（Ｘシフト）、Ｙ軸方向のシフト（Ｙシフト）、Ｚ軸方向のシフト（Ｚシフト）の例が示される。
図１３のバラつき（２）は、フロントガラス２２に対するステレオカメラの回転バラつきの例を示す。図１３の左から順に、ピッチ方向の回転（ピッチ回転）、ヨー方向の回転（ヨー回転）、ロール方向の回転（ロール回転）の例が示される。
図１３のバラつき（３）は、フロントガラス２２の特性バラつきの例を示す。図１３の左から順に、フロントガラス２２の水平曲率、フロントガラス２２の垂直曲率、フロントガラス２２の厚みの例が示される。

図１４は、δ垂直ずれとδ視差誤差との相関関係を示す図である。図１４の横軸はδ垂直ずれ、縦軸はδ視差誤差を示している。そして、図１４に凡例で示す以下の計算条件でδ垂直ずれとδ視差誤差との相関関係が求められている。

＜計算条件＞
・左右並進移動（Ｘ軸）：＋２ｍｍ
・上下並進移動（Ｙ軸）：＋２ｍｍ
・前後並進移動（Ｚ軸）：＋２ｍｍ
・ピッチ角度（Ｘ軸回転）：＋３度
・ヨー角度（Ｙ軸回転）：＋３度
・ロール角度（Ｚ軸回転）：＋３度
・水平曲率半径：－１５００ｍｍ
・垂直曲率半径：－１５００ｍｍ
・厚さ ：＋０．２ｍｍ

ここでは、ステレオカメラ装置１０が５０ｍ先の被写体２４を検出する時のδ垂直ずれ、δ視差誤差を算出することで、δ垂直ずれとδ視差誤差との相関関係を求めている。図１４の上側のグラフＲＴ２０は、水平画角が２０度でのδ垂直ずれとδ視差誤差との相関関係を示している。図１４の中側のグラフＲＴ４０は、水平画角が４０度でのδ垂直ずれとδ視差誤差との相関関係を示している。図１４の下側のグラフＲＴ６０は、水平画角が６０度でのδ垂直ずれとδ視差誤差との相関関係を示している。

グラフＲＴ２０，ＲＴ４０，ＲＴ６０に示すように、δ垂直ずれとδ視差誤差には高い相関があることが分かる。また、フロントガラス２２のばらつきに対して、δ視差誤差がずれるが、δ視差誤差のずれに伴ってδ垂直ずれも変化する。このため、δ垂直ずれを算出すればδ視差誤差を求められることが分かる。

また、δ垂直ずれとδ視差誤差との相関関係を表す相関係数ｋは、水平画角の広さによって異なることも分かる。例えば、水平画角が６０度であれば相関係数ｋがほぼ「＋１」である。そして、水平画角が４０度、２０度と変化するにつれて、相関係数ｋが「＋１」よりも小さい値をとる。このため、高精度のキャリブレーションを行うには、ステレオカメラ２１の水平画角ごとに異なる相関係数ｋを用いることが望ましい。

図１５は、図１４に示した計算条件（ばらつき）を全て考慮した複合条件での補正効果を示している。図１５では、水平画角２０度、４０度、６０度ごとに求めた視差誤差のシミュレーション結果が示される。ここで、補正前の視差誤差を黒丸で示し、水平画角毎の相関係数ｋを用いて補正した視差誤差を黒三角で示し、水平画角６０度における一つの相関係数を用いて補正した視差誤差を白四角で示す。

水平画角６０度における一つの相関係数を用いて補正した視差誤差は、水平画角が４０度、６０度では、０画素よりも多いことが分かる。一方、本実施形態に係る水平画角毎の相関係数ｋを用いて補正した視差誤差は、水平画角が４０度であっても、ほぼ０画素である。ただし、水平画角が６０度であると、補正後の視差誤差が０．５画素程度となる。

このように、本実施形態に係る補正を行うことで大幅に視差誤差を低減できることが分かる。また、水平画角毎の相関係数ｋで補正する方が残留する視差誤差は小さくできるが、水平画角６０度での相関係数ｋであっても、補正前の視差誤差が１画素を超えていたのに比べると、十分な効果が得られることが分かる。

以上説明した一実施の形態に係るステレオカメラ装置１０では、フロントガラス２２の設計値で計算される基準視差誤差と、フロントガラス２２のばらつきによるδ視差誤差とを分離して算出する。このため、ステレオカメラ装置１０は、キャリブレーション用のチャート無しでも広い画角のステレオカメラ２１の視差を高精度に補正すること（キャリブレーション）が可能となる。例えば、ステレオカメラ装置１０は、フロントガラス２２の水平、垂直方向の曲率半径の製造ばらつきやフロントガラス２２とステレオカメラ２１の相対値関係のばらつきがあっても、ステレオカメラ２１の視差を高精度に補正することができる。

例えば、ディーラーの整備工場でフロントガラス２２を交換する際、ステレオカメラ２１の取り付け姿勢と、フロントガラス２２の取付け姿勢及び形状などの特性のばらつきがあっても、本実施の形態に係るキャリブレーションを行うことで、高い測距精度を得ることができる。

また、本実施形態に係る方法は、キャリブレーション用の大きなチャートが不要である。このため、路上の風景の画像でもキャリブレーションすることができ、車両２０が走行中であっても、フロントガラス２２の影響を補正することも可能となる。

また、ユーザーは、車両２０の停止中又は走行中に、ステレオカメラ２１でフロントガラス２２の影響を補正するキャリブレーションを利用できる。例えば、キャリブレーションモードで、車両２０の停止中又は走行中にステレオカメラ２１はリアルタイムで補正を行う。ここで、車両２０の走行中のキャリブレーションは図７に示したフローチャートで行い、走行中に取得する複数フレームの画像を用いて、多数枚の垂直ずれを積算する。例えば、車両２０が走行中、又は止まっている時に撮像される画像に映る風景の変化に基づいて垂直ずれを積算する。

例えば、ある方向に車両２０が停車している状態で風景を撮像した後、車両２０を別の方向に向けて停車し、その方向で風景を撮像することで、風景の変化に基づく垂直ずれの積算を行ってもよい。例えば、ステレオカメラ装置１０は、同じ被写体の左右画像を１００回取得し、ステレオマッチングを１００回行い、例えば１００回分の垂直ずれを積算して、平均値を取る。そして、視差誤差推定部１０６は、この垂直ずれから相関テーブルを利用して視差誤差を推定し、距離算出部１０７が視差から視差誤差を除去するキャリブレーションを行う。

なお、図１０に示した風景１００１は、人や動物など風景に限定されない。例えば、路面上、チャートなどの視差を取得可能な風景であれば、どこでもよい。

また、図７に示したステップＳ３～Ｓ５のような繰り返し処理（Ｓ５Ａ）は、垂直ずれの積算だけに限定されない。例えば、例えば、複数のδ視差誤差を求めて、複数回視差を補正する処理が行われてもよい。また、視差の補正精度を高めるため、他のパラメータを積算してもよい。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は、上記実施の形態に限定されるものではなく、種々変更可能であることはいうまでもない。例えば、工場でのキャリブレーションでも本発明を適用し、チャートを用いないで視差を補正することが可能である。また、工場でチャートを用いてキャリブレーションを行う場合であっても、従来のキャリブレーションに比べて、狭いチャート幅のチャートを使えばよく、工場の改造、大きいチャートの設置スペースの用意等が不要となる。

また、ステレオカメラ装置１０は、車両２０が走行中であってもガラスへの影響を補正することができる。また、車両２０の走行中にもキャリブレーションを行えることで、車両２０の振動によりステレオカメラ２１の取付け姿勢がずれた場合でも、適切に視差誤差を補正することが可能となる。

また、ステレオカメラ２１は、車両２０の車内に設けられるのであれば、リアガラスの車内側に設置されてもよい。この場合、ステレオカメラ装置１０は、車両２０の後ろの外界をステレオカメラ２１が撮像した複数の画像から視差を補正し、車両２０の後ろの外界の対象物までの距離を算出することも可能となる。

また、上述した実施の形態では、屈折体の一例としてフロントガラス２２の車内側にステレオカメラ２１が設置されることを説明したが、屈折体としてはガラス以外にも、透明プラスチック等の透明な有機化合物が用いられてもよい。

このように、本発明は上述した実施形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。また、以下の実施形態は、本発明を分かりやすく説明するためにシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、本実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０…ステレオカメラ装置、２０…車両、２１…ステレオカメラ、２２…フロントガラス、１００…撮像部、１０１…外部入力部、１０２…補正部、１０３…記憶部、１０４…マッチング部、１０５…ノイズ除去部、１０６…視差誤差推定部、１０７…距離算出部、１０８…制御部

Claims (9)

1. 車両に取り付けられた屈折体の姿勢、及び前記屈折体の形状を含む屈折体特性と、前記車両に配置された複数のカメラの姿勢とに基づいて求められた、複数のカメラが光を屈折する前記屈折体を通してそれぞれ撮像する複数の画像の垂直ずれに対する水平方向の視差誤差の相関情報を記憶する記憶部と、
   複数の前記カメラが同じ被写体を撮像した複数の前記画像をマッチングして、複数の前記画像の垂直ずれを求めるマッチング部と、
   前記垂直ずれ及び前記相関情報に基づいて、マッチングされた複数の前記画像の視差誤差を推定する視差誤差推定部と、
   マッチングされた前記画像の視差を、前記視差誤差を用いて補正する距離算出部と、を備える
   ステレオカメラ装置。
2. 前記記憶部は、前記カメラの撮像画角に応じた複数の前記相関情報を記憶し、
   前記視差誤差推定部は、前記カメラの撮像画角に合わせて前記記憶部から読み出した複数の前記相関情報を用いて前記視差誤差を推定する
   請求項１に記載のステレオカメラ装置。
3. 前記記憶部は、前記屈折体の形状が均一である場合に前記屈折体に対して求められた一つの前記相関情報を記憶し、
   前記視差誤差推定部は、前記記憶部から読み出した一つの前記相関情報を用いて前記視差誤差を推定する
   請求項１に記載のステレオカメラ装置。
4. 前記視差誤差推定部は、異なるタイミングで撮像された複数の前記画像の同じ位置で前記マッチング部が求めた前記垂直ずれを複数回積算して、前記垂直ずれの平均値を算出し、前記垂直ずれの平均値と、前記相関情報とに基づいて前記視差誤差を推定する
   請求項２に記載のステレオカメラ装置。
5. 前記記憶部は、前記屈折体の設計値により予め計算された基準視差誤差及び基準垂直ずれを記憶し、
   前記視差誤差推定部は、前記記憶部から読み出した前記基準垂直ずれ、及び前記垂直ずれに基づいて、前記車両に実際に取り付けられた前記屈折体により生じる前記垂直ずれの変化量であるδ垂直ずれを算出し、前記δ垂直ずれ、及び前記記憶部から読み出した前記相関情報に基づいて、前記車両に実際に取り付けられた前記屈折体により生じる前記視差誤差の変化量であるδ視差誤差を算出し、
   前記距離算出部は、前記基準視差誤差及び前記δ視差誤差を用いて前記視差を補正する
   請求項３に記載のステレオカメラ装置。
6. 前記基準視差誤差及び前記基準垂直ずれは、前記複数のカメラの出荷時に前記記憶部に記憶され、
   前記複数のカメラの出荷後の前記基準視差誤差に対する変化量が前記δ視差誤差であり、前記基準垂直ずれに対する変化量が前記δ垂直ずれである
   請求項５に記載のステレオカメラ装置。
7. 前記基準視差誤差及び前記基準垂直ずれは、前記車両に前記屈折体が取り付けられる前に前記記憶部に記憶され、
   前記屈折体が前記車両に実際に取り付けられた後の前記基準視差誤差に対する変化量が前記δ視差誤差であり、前記基準垂直ずれに対する変化量が前記δ垂直ずれである
   請求項５に記載のステレオカメラ装置。
8. 前記距離算出部は、前記視差誤差を用いて補正した前記視差を用いて、前記車両から外界の対象物までの距離を算出する
   請求項２に記載のステレオカメラ装置。
9. 車両に取り付けられ、光を屈折する屈折体を通して、前記車両に配置された複数のカメラがそれぞれ撮像する複数の画像を取得する処理と、
   複数の前記カメラが同じ被写体を撮像した複数の前記画像をマッチングして、複数の前記画像の垂直ずれを求める処理と、
   前記屈折体の姿勢、及び前記屈折体の形状を含む屈折体特性と、複数の前記カメラの姿勢とに基づいて求められた、複数の前記画像の前記垂直ずれに対する水平方向の視差誤差の相関情報、及び前記垂直ずれに基づいて、マッチングされた前記画像の視差誤差を推定する処理と、
   マッチングされた前記画像の視差を、前記視差誤差を用いて補正する処理と、を含む
   キャリブレーション方法。

Images