JP6626737B2 - ステレオカメラ装置および車両 - Google Patents

Description

本発明は、ステレオカメラ装置および車両に関する。

近年、自動車等の車両において、ステレオカメラ装置を用いて、該車両の周辺に存在する物体（他の車両、障害物等）までの距離情報を取得し、取得した情報を車両の衝突回避のためのドライバへの警告、自動ブレーキ制御、および、オートクルーズコントロールの為のアクセル制御等の運転支援に活用するシステムが開発、実用化されつつある（例えば、特許文献１参照）。

また、自動車等の車両を運転する運転者の位置を表す情報を検出し、検出した情報に基づいて、車両が提供する各種の表示を切り替える等のより快適な運転環境を実現することが提案されている。

特開平７−２２５１２６号公報

本願発明者が検討したところによれば、上述のような運転者の位置を表す情報の検出についても、ステレオカメラ装置が有効である。しかしながら、上述のように、車両の周辺に存在する人物、物体等の情報を取得して運転に活用とするとともに、運転者の位置を表す情報に基づいて快適な運転環境を実現する場合、車両の前方と運転者とをそれぞれ撮像する２台のステレオカメラ装置を備える必要がある。この場合、車両内の限られたスペースのうち２台のステレオカメラ装置によって占められる部分が大きくなり、また、ステレオカメラ装置２台分の費用が発生してコストが上昇するという課題がある。

したがって、これらの点に着目してなされた本発明の目的は、車両の前方の外部にある被写体の視差と車両の内部の被写体の視差とを１台で測定するステレオカメラ装置および当該ステレオカメラ装置を搭載した車両を提供することにある。

上記目的を達成するステレオカメラ装置は、第１の撮像部と、第２の撮像部と、前記第１の撮像部で撮像された第１の画像、および、前記第２の撮像部で撮像された第２の画像を用いて視差を算出する画像処理部と、光線の一部を反射または屈折させて、前記第１の撮像部および前記第２の撮像部に入射させる光学部材とを備え、前記画像処理部は、前記第１の画像および前記第２の画像の、前記第１の撮像部または前記第２の撮像部に直接入射する光線が結像する第１の領域と、前記光学部材を介して入射する光線が結像する第２の領域とのそれぞれについて、視差を算出する。

上記目的を達成する車両は、第１の撮像部と、第２の撮像部と、前記第１の撮像部で撮像された第１の画像、および、前記第２の撮像部で撮像された第２の画像を用いて視差を算出する画像処理部と、光線の一部を反射または屈折させて、前記第１の撮像部および前記第２の撮像部に入射させる光学部材とを含み、前記画像処理部は、前記第１の画像および前記第２の画像内の、前記第１の撮像部または前記第２の撮像部に直接入射する光線が結像する第１の領域と、前記光学部材を介して入射する光線が結像する第２の領域とのそれぞれについて、視差を算出するステレオカメラ装置を備える。

本発明の実施形態によれば、車両の前方の外部にある被写体の視差と車両の内部の被写体の視差とを１台のステレオカメラ装置により測定することができる。

第１の実施形態に係るステレオカメラ装置を搭載した車両を簡略化して示す正面図である。 図１に示すステレオカメラ装置の概略構成を説明するための図である。 図１に示す車両を簡略化して示す側面図である。 図１に示すステレオカメラによって撮像された画像の例を示す図であり、図４（ａ）は基準画像の例を示す図、図４（ｂ）は参照画像の例を示す図である。 図２に示すステレオカメラ装置の処理フローを表すフロー図である。 画像の一部を拡大して示した概念図であり、図６（ａ）は基準画像の一部を拡大して示した概念図であり、図６（ｂ）は参照画像の一部を拡大して示した概念図である。 図５に示す視差算出の処理フローを表すフロー図である。 第２の実施形態に係るステレオカメラ装置を搭載した車両を簡略化して示す側面図である。 図８に示すステレオカメラによって撮像された画像の例を示す図であり、図９（ａ）は基準画像の例を示す図、図９（ｂ）は参照画像の例を示す図である。 第３の実施形態に係るステレオカメラ装置を搭載した車両を簡略化して示す側面図である。 図１０に示すステレオカメラによって撮像された画像の例を示す図であり、図１１（ａ）は基準画像の例を示す図、図１１（ｂ）は参照画像の例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。

＜第１の実施形態＞
図１に示すように、車両１は、ステレオカメラ装置１０を備える。以下において車両１の存在する空間を実空間と呼ぶ。実空間において、車両１の前方（図において紙面に直交する方向）をＺ方向、車両１の車幅方向（図において左方向）をＸ方向、Ｘ方向およびＺ方向に直交する方向である車両１の高さ方向（図において上方向）をＹ方向とする。ここで、本願における「車両」とは、乗用車、トラック、バス等、道路上を走行する車両を意味する。

図２に示すように、ステレオカメラ装置１０は、ステレオカメラ１１、光学部材１２、距離算出部１３等を含んで構成される。

ステレオカメラ１１は、被写体を、視差を有する複数の方向から同時に撮像することにより、その奥行き方向の情報も記録できるようにしたカメラである。ステレオカメラ装置１０には、２台分以上のカメラのレンズ機構を１台のカメラ筺体に収容したもの、および、２台以上のカメラを離間して配置したものを含む。本実施形態においては、ステレオカメラ１１は、車両１の前方（Ｚ方向）を向いて右側に位置するカメラである第１の撮像部１１ａ、および左側に位置するカメラである第２の撮像部１１ｂの２つの撮像部を並べたものとする。また、同じ被写体を異なる複数の視点から撮像した、複数の互いに視差のある画像を「ステレオ画像」と呼ぶ。

第１の撮像部１１ａおよび第２の撮像部１１ｂは、例えば、ＣＣＤカメラやＣＭＯＳカメラであり、被写体を撮像して画像を出力する。図１に示すように、第１の撮像部１１ａおよび第２の撮像部１１ｂは、同じ高さ位置で、光軸が互いに平行になるように車両１の前方（Ｚ方向）やや下向きに向けて配置される。また、第１の撮像部１１ａおよび第２の撮像部１１ｂは、車幅方向（Ｘ方向）に横並びに離間して配置される。第１の撮像部１１ａと第２の撮像部１１ｂとの光学中心を結んだ距離を基線長と呼び、その方向を基線長方向と呼ぶ。図１に示す例では、基線長方向はＸ方向となる。また、図３に示すように、第１の撮像部１１ａおよび第２の撮像部１１ｂは車両１のフロントガラス２の内側に設置される。

以降の説明においては、第１の撮像部１１ａから出力される画像（第１の画像）、および第２の撮像部１１ｂから出力される画像（第２の画像）をそれぞれ「基準画像」、および「参照画像」といい、これらの画像の画像空間においては、実空間のＸ方向を画像空間に投影した方向をｘ方向とし、画像空間においてｘ方向に垂直な方向をｙ方向とする。また、以降、適宜基準画像および参照画像のうちの任意の画像を単に「画像」という。

光学部材１２は、例えば、平面鏡であり、車両１の内部の運転者３からの光線（運転者３により反射された光）を反射させて、第１の撮像部１１ａおよび第２の撮像部１１ｂそれぞれ鉛直方向下部に入射させる。図１に示すように、光学部材１２は、第１の光学部材１２ａ、第２の光学部材１２ｂ等を含んで構成される。光学部材１２は、ステレオカメラ装置１０に対して固定することができるが、フロントガラス２に固定することも可能である。

図３に示すように、第１の光学部材１２ａは、第１の撮像部１１ａの鉛直方向上部に、車両１の前方にある被写体からの光線が直接入射して（図３の実線の矢印を参照）結像するのを妨げないように配置される。また、第１の光学部材１２ａは、車両１の内部の被写体（例えば、運転者３）からの光線を反射させ、反射した光線が第１の撮像部１１ａの鉛直方向下部に入射して結像する（図３の破線の矢印を参照）ように配置される。

これにより、図４（ａ）に示すように、車両１の前方にある被写体は、基準画像において、第１の撮像部１１ａの鉛直方向上部に対応する第１の領域に撮像される。また、運転者３は、基準画像の、第１の撮像部１１ａの鉛直方向下部に対応する第２の領域に撮像される。

同様にして、図３に示すように、第２の光学部材１２ｂは、第２の撮像部１１ｂの鉛直方向上部に、車両１の前方にある被写体からの光線が直接入射して（図３の実線の矢印を参照）結像するのを妨げないように配置される。また、第２の光学部材１２ｂは、運転者３からの光線を反射させ、反射した光線が第２の撮像部１１ｂの鉛直方向下部に入射して（図３の破線の矢印を参照）結像するように配置される。

これにより、図４（ｂ）に示すように、車両１の前方にある被写体は、参照画像において、第２の撮像部１１ｂの鉛直方向上部に対応する第１の領域に撮像される。また、運転者３は、参照画像において、第２の撮像部１１ｂの鉛直方向下部に対応する第２の領域に撮像される。

なお、図１に示すように、第１の撮像部１１ａおよび第２の撮像部１１ｂは、基線長の中心が、Ｘ軸方向における運転席の中心となるように配置されることが好ましいが、基線長の中心が、Ｘ軸方向における車幅の中心となるように配置されてもよい。

図２に示すように、距離算出部１３は、取得部１４、画像処理部１５、画像メモリ１６等を含んで構成される。距離算出部１３は、第１の撮像部１１ａおよび第２の撮像部１１ｂと結合して一体の装置を構成してもよいし、第１の撮像部１１ａおよび第２の撮像部１１ｂと通信ネットワークを介して情報を送受信してもよい。

取得部１４は、画像処理部１５の入力インタフェースである。取得部１４は、ステレオカメラ１１の撮像信号の伝送方式に対応し、第１の撮像部１１ａおよび第２の撮像部１１ｂからそれぞれ基準画像および参照画像を取得する。さらに、取得部１４は取得した画像を、画像処理部１５に引き渡す。

画像処理部１５は、種々の演算処理を実行する部分であり、ソフトウェアプログラムに従い処理を実行する汎用のＣＰＵ（Central Processing Unit）および／またはステレオ画像処理用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等を含んで構成することができる。

また、画像処理部１５は、補正部１７、視差算出部１８、距離変換部１９等を含んで構成することができる。

補正部１７は、取得部１４によって取得された画像を補正する。複数のカメラが基準からずれて設置されている場合、対象物までの距離を正確に測定することができない。そのため、補正部１７は、第１の撮像部１１ａおよび第２の撮像部１１ｂのそれぞれから受信した画像を、補正用のパラメータを記憶するための書き換え可能なメモリに格納されている補正パラメータに従って補正する。この補正とは、ステレオカメラ装置１０が工場から出荷されたときの第１の撮像部１１ａおよび第２の撮像部１１ｂ間のずれを、画像の変換により電子的に補正するものである。これにより、補正部１７は、参照画像および基準画像において実質的に平行等位と同じ状態を作る。書き換え可能なメモリとしては、フラッシュメモリ、磁気抵抗メモリ（ＭＲＡＭ（Magnetoresistive Random Access Memory））、強誘電体メモリ（ＦｅＲＡＭ（Ferroelectric Random Access Memory））などの不揮発性メモリ等を用いることができる。

視差算出部１８は、第１の撮像部１１ａおよび第２の撮像部１１ｂによってそれぞれ出力され、補正部１７によって補正された基準画像および参照画像の第１の領域に基づいて、車両１の前方の外部にある被写体の視差を算出する。具体的には、視差算出部１８は、第１の領域については、図４に例を示すように、ステレオカメラ１１から車両１の外部の被写体までの距離と見込まれる範囲（例えば、１ｍ〜無限遠）に対応する視差の範囲で基準画像の特徴点Ｐａに対応する、参照画像の特徴点（対応点）Ｐｂを探索する。すなわち、対応点Ｐｂの探索範囲は、特徴点Ｐａの座標に対応する参照画像上の座標にある点Ｐａ’を基準として決定され、対応する参照画像上の点Ｐａ’の画素から第１の画素数以上、第２の画素数以下、離れた点のなかから対応点Ｐｂを探索する。

また、視差算出部１８は、第２の領域については、ステレオカメラ１１から運転者３までの距離と見込まれる範囲（例えば、３０ｃｍ〜１ｍ）に対応する視差の範囲で基準画像の特徴点Ｐｃに対応する、参照画像の特徴点（対応点）Ｐｄを探索する。すなわち、対応点Ｐｄの探索範囲は、特徴点Ｐｃの座標に対応する参照画像上の座標にある点Ｐｃ’を基準として決定され、対応する参照画像上の点Ｐｃ’から第３の画素数以上、第４の画素数以下、離れた点のなかから対応点Ｐｄを探索する。

距離変換部１９は、公知の方法により、視差算出部１８によって算出した視差をステレオカメラ１１から被写体までの距離に変換する。また、距離変換部１９は、変換した距離を車両１に搭載された種々の車載ＥＣＵ（Engine Control Unit）４に送信する。

画像メモリ１６は、取得部１４によって取得された画像を一時的に蓄積するメモリであり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の高速の揮発性メモリを用いることができる。画像メモリ１６は、画像処理部１５が上述のように視差および距離を算出する間、画像を保持するとともに、算出された各画素の視差、および被写体までの距離を記憶する。

次に、図５のフローチャートを参照して、ステレオカメラ装置１０が行う距離算出方法について説明する。

まず、取得部１４が、第１の撮像部１１ａおよび第２の撮像部１１ｂからそれぞれ基準画像および参照画像を取得する（ステップＳ１１）。

ステップＳ１１で基準画像および参照画像が取得されると、補正部１７が基準画像の第１の領域および参照画像の第１の領域をそれぞれ補正する（ステップＳ１２）。同様にして、補正部１７は、基準画像の第２の領域および参照画像の第２の領域をそれぞれ補正する（ステップＳ１２）。

ステップＳ１２で補正が行われると、視差算出部１８は、補正部１７によって補正された基準画像の第１の領域、および参照画像の第１の領域に基づいて、ブロックマッチング法を用いて視差を算出する（ステップＳ１３）。

ここで、図６の概念図、および図７のフローチャートを参照して、視差算出部１８による視差の算出処理について説明する。図６に示す概念図においては、１つのセルが１つの画素を表し、例えば、座標（１，１）の画素をＲ₀、座標（２，１）の画素をＲ₇という。同様にして、図６（ｂ）は参照画像の一部を拡大して示した概念図であり、１つのセルが１つの画素を表し、例えば、座標（８，１）の画素をＣ₀、座標（９，１）の画素をＣ₇という。

図７に示すように、まず、視差算出部１８は、補正部１７で補正された基準画像の第１の領域について、図６に示すような、特徴点Ｐａを構成する注目画素（図６（ａ）のＲ₀）を抽出し（ステップＳ１３０）、該注目画素と該注目画素に隣接する画素（図６（ａ）のＲ₁〜Ｒ₈）とから構成される、３×３ピクセルの矩形のブロックを抽出する。（ステップＳ１３１）。

また、視差算出部１８は、基準画像の第１の領域の注目画素Ｒ₀の座標に対応する、参照画像上の座標にある画素（図６（ｂ）のＣ₀）と該画素に隣接する画素（図６（ｂ）のＣ₁〜Ｃ₈）からなる３×３ピクセルの矩形のブロックを抽出する（ステップＳ１３１）。

ステップＳ１３１でブロックが抽出されると、視差算出部１８は、参照画像から抽出したブロックと、基準画像から抽出したブロックとを用いて１次元マッチングを行う。

まず、視差算出部１８は、シフト量ｍを第１のシフト量ｍ１に設定する（ステップＳ１３２）。ここで、シフト量ｍは、基準画像の画素の座標に対して、参照画像のブロックをｘ方向にシフトさせたピクセル数を表す量である。第１のシフト量ｍ１は、上述の「第１の画素数」に相当する値であり、第１の領域に撮像されている被写体の距離として想定される範囲に対応する視差の最小値である。

次に、シフト量ｍがｍ１の場合の評価値を算出して、現在の評価値の最小値とする（ステップＳ１３３）。評価値の計算には、評価関数としてＳＡＤ（Sum of Absolute Difference）を使用する。すなわち、基準画像のブロック内の各画素と、基準画像のブロック内の各画素にそれぞれ対応する参照画像の各画素について、輝度値の差の絶対値を算出し、これを、ブロックの全画素に渡って加算する。評価値が小さいほど、参照画像のブロックと基準画像とのマッチングが高いことを意味する。

基準画像のブロックの参照画像へのマッチングをさらに説明する。まず、基準画像から抽出されたブロックを３行３列の画素（Ｒ₀〜Ｒ₈）とする。本実施形態では、図１に示すように、車両１の前方を見て右側に位置する第１の撮像部１１ａが基準画像を出力し、被写体の方向を見て左側に位置する第２の撮像部１１ｂが参照画像を出力するので、図４に示すように、基準画像上での被写体は、参照画像上においてはより右側に位置する。このため、視差算出部１８は、図６に示すように、基準画像のブロックと同じ大きさの３×３ピクセルの領域を参照画像上で、基準画像のブロックと対応する位置から順次、右方向（正のｘ方向）にシフトさせて、ブロックを抽出し評価関数の計算を行う。すなわち、１次元マッチングを行うとは、参照画像上で、基準画像のブロックと等しい大きさのウィンドウＷを基線長方向にシフトさせ、ウィンドウＷ内の参照画像の画素の輝度値と基準画像のブロックの画素の輝度値との間でマッチングを行うことを意味する。

図６は、シフト量ｍが７の場合を示している。このときの、ウィンドウＷ内の３行３列の画素をＣ₀〜Ｃ₈とするとき、評価値ＳＡＤは、次の式（１）により得られる。

ＳＡＤ＝Σ｜Ｒ_i−Ｃ_i｜ （１）

ここで、Ｒ_iおよびＣ_iは、それぞれ基準画像のブロックのｉ番目の画素の輝度値、および、参照画像のウィンドウＷ内のｉ番目の画素の輝度値を示し、Σはｉ＝０〜８についての全ての総和をとることを意味する。

図７のフローチャートに戻り、以降の処理で視差算出部１８は、１ピクセルずつシフト量ｍを順次増加させて、評価値の算出を繰り返し行う。

視差算出部１８はシフト量ｍがｍ≦ｍ２である場合（ステップＳ１３４）、シフト量ｍを１ピクセルだけ増加させる（ステップＳ１３５）。すなわち、参照画像のブロックを基準画像のブロックに対して、さらに１ピクセルだけシフトさせる。ここで、第２のシフト量ｍ２は、上述の「第２の画素数」に相当する値であり、第１の領域に撮像されている被写体の距離として想定される範囲に対応する視差の最大値である。

そして、シフト後の参照画像のブロックと基準画像のブロックとの間で評価値を再び算出する（ステップＳ１３６）。算出された評価値が、その時点の評価値の最小値よりも小さい場合（ステップＳ１３７）、視差算出部１８は評価値の最小値を、新たに算出された評価値に更新して記憶する。さらに、この評価値の最小値に対応するシフト量ｍを記憶する（ステップＳ１３８）。評価値が、その時点の評価値の最小値よりも大きい場合は、そのままステップＳ１３４に戻り、以下、ｍ＞ｍ２となるまで、ステップＳ１３４〜Ｓ１３８の処理を繰り返す。

第１の領域に車両１の外部の被写体が撮像される場合、第１のシフト量ｍ１は、１２８０（ピクセル）×９６０（ピクセル）の大きさの画像において、例えば、０〜１０ピクセル程度に設定することができる。同様に、第２のシフト量ｍ２は、例えば、８０〜１５０ピクセル程度に設定することができる。

一方、ステップＳ１３４において、ｍ＞ｍ２となった場合、視差算出部１８は、評価値の最小値に対応するシフト量ｍを当該ブロックに含まれる注目画素の視差として決定する（ステップＳ１３９）。そして、視差算出部１８は、ステップＳ１３０に戻って、基準画像の第１の領域の全ての画素について、視差ｄの算出を繰り返す。全ての画素について視差ｄを決定した場合（ステップＳ１４０）、視差算出処理を終了する。

同様にして、視差算出部１８は、補正部１７によって補正された基準画像の第２の領域、および参照画像の第２の領域に基づいて、ブロックマッチング法により視差を算出する（ステップＳ１３）。視差算出部１８が第２の領域に含まれる画素についての視差を算出する方法は、第１の領域に含まれる画素についての視差を算出する方法と概ね同様であるが、異なる点についてここで説明する。

上述のように、第１の領域の画素の視差を算出する処理において、視差算出部１８は、基準画像の第１の領域の注目画素Ｒ₀の座標に対応する参照画像上の座標から、正のｘ方向に第１の画素数以上、第２の画素数以下、離れた座標にある画素Ｃ₀と該画素Ｃ₀に隣接する画素Ｃ₁〜Ｃ₇からなる３×３ピクセルの矩形のブロックを抽出する。しかし、第２の領域の画素の視差を算出する方法においては、視差算出部１８は、基準画像の第２の領域の特徴点Ｐｃを構成する注目画素Ｒ₀の座標に対応する参照画像上の座標から、正のｘ方向に第３の画素数以上、第４の画素数以下、離れた座標にある画素Ｃ₀と該画素に隣接する画素Ｃ₁〜Ｃ₈からなる３×３ピクセルの矩形のブロックを順次抽出する。すなわち、第１の領域と第２の領域とでは、画像処理部１５が、対応点を探索する視差の範囲を異ならせている。

具体的には、視差算出部１８がステップＳ１３２で設定するシフト量ｍの最小値は第１のシフト量ｍ１ではなく、第１のシフト量ｍ１より大きい第３のシフト量ｍ３（上述の「第３の画素数」に相当）に設定される。また、ステップＳ１３４で設定されるシフト量ｍの最大値は、第２のシフト量ｍ２ではなく、第２のシフト量ｍ２より大きい第４のシフト量ｍ４（上述の「第４の画素数」に相当）に設定される。すなわち、ステレオカメラ１１から近くにいる運転者３が撮像されている第２の領域では、車両１の前方にある遠くの被写体が撮像されている第１の領域よりシフト量ｍを大きくすることによって、評価値を算出する回数を少なくして視差を算出することができる。第２の領域に車両１の運転者３が撮像される場合、第３のシフト量ｍ３は、１２８０（ピクセル）×９６０（ピクセル）の大きさの画像において、例えば、１５０〜２５０ピクセル程度に設定することができる。同様に、第４のシフト量ｍ４は、例えば、３００〜４００ピクセル程度に設定することができる。

ステップＳ１３で、視差算出部１８によって第１の領域、第２の領域それぞれについての視差が算出されると、距離変換部１９は、第１の領域の視差を、ステレオカメラ１１から車両１の外部の被写体までの距離に変換する（ステップＳ１４）。同様にして、距離変換部１９は、第２の領域の視差を、ステレオカメラ１１から運転者３までの距離に変換する（ステップＳ１４）。

以上説明したように、第１の実施形態によれば、第１の撮像部１１ａおよび第２の撮像部１１ｂは、直接光線が入射することによって撮像し、第１の領域に撮像された被写体と、光学部材１２で反射又は屈折されることによって撮像し、第２の領域に撮像された被写体それぞれの、ステレオカメラ１１からの距離を算出する。そのため、２台のステレオカメラ装置１０を用いることなく、１台のステレオカメラ装置１０を用いることによって、車両１の前方の被写体までの距離と運転者３までの距離を測定することができる。したがって、距離の測定に要するステレオカメラ装置１０のコストを低減することができる。また、２台のステレオカメラ装置１０を用いることなく、１台のステレオカメラ装置１０を用いることによって、ステレオカメラ装置１０の設置スペースを節約することができ、車両１内の限られた空間を有効に活用することができる。

また、このようにして、車両１の外部の被写体までの距離を測定するとともに、運転者３までの距離を測定することが可能になる。このため、運転者３の頭の位置に合わせて車両１が備える種々の装置を自動で調整することができる。例えば、車両１が備えるヘッドアップディスプレイ装置が運転者３の頭の位置に応じて、運転者３が視認しやすい位置に画像を表示するよう制御することができる。また、防眩制御装置が、直射日光を和らげるように運転者３の頭の位置に応じて、フロントガラス２の一部の透過率を下げることができる。また、ミラー位置制御装置が、運転者３まで距離に応じて、例えば、車両１のサイドミラーの向きを調整するような制御を行うことができる。

また、第１の実施形態によれば、第１の領域の被写体は車両１の外部にあるため、ステレオカメラ１１からの距離は概ね１ｍ〜無限遠である。したがって、画像処理部１５は、第１の領域については、この距離の範囲に対応する視差の範囲で基準画像の特徴点Ｐａに対応する、参照画像の対応点Ｐｂを探索することで、効率的に視差を決定することができる。また、第２の領域の被写体は運転者３であるため、ステレオカメラ１１からの距離は概ね３０ｃｍ〜１ｍの範囲内である。したがって、画像処理部１５は、第２の領域については、この距離の範囲に対応する視差の範囲で基準画像の特徴点Ｐｃに対応する、参照画像の対応点Ｐｄを探索することで、効率的に視差を決定することができる。

＜第２の実施形態＞
図８を用いて、第２の実施形態について説明する。第２の実施形態に係るステレオカメラ装置２０は、第１の実施形態のステレオカメラ装置１０と同様に、ステレオカメラ１１、光学部材１２および距離算出部１３を備えるが、ステレオカメラ１１および光学部材１２の配置および向きが異なっている。

図８に示すように、第２の実施形態のステレオカメラ１１は、車両１の車室内であって運転者３の前方上部に、第１の撮像部１１ａおよび第２の撮像部１１ｂの撮像方向を、車両１の後方（負のＺ方向）に向けて配置される。さらに、ステレオカメラ１１と車両１の車室の天井との間には空間が設けられ、この空間を通過して光学部材１２に反射された光線が第１の撮像部１１ａおよび第２の撮像部１１ｂに入射するように、ステレオカメラ１１は後方のやや上向きに向けて配置される。

第１の光学部材１２ａは、フロントガラス２を通過し、ステレオカメラ１１と車両の１の車室の天井との間を通って入射する車両１の外部の被写体からの光線を反射させ、反射した光線が第１の撮像部１１ａの鉛直方向上部に入射して（図８の破線の矢印を参照）結像するように配置される。また、第１の光学部材１２ａは、第１の撮像部１１ａの鉛直方向下部に、運転者３からの光線が直接入射して（図８の実線の矢印を参照）結像するのを妨げないように配置される。

これにより、図９（ａ）に示すように、車両１の前方にある被写体は、基準画像において、第１の撮像部１１ａの鉛直方向上部に対応する第２の領域に撮像される。また、運転者３は、基準画像の、第１の撮像部１１ａの鉛直方向下部に対応する第１の領域に撮像される。同様に、参照画像において、車両１の前方にある被写体は、第１の撮像部１１ａの鉛直方向上部に対応する第２の領域に撮像される。また、運転者３は、参照画像における、第１の撮像部１１ａの鉛直方向下部に対応する第１の領域に撮像される。

距離算出部１３は、第１の実施形態の距離算出部１３と同様に、第１の領域と第２の領域とでは、対応点を探索する視差の範囲を異ならせている。しかし、第２の実施形態では、第１の実施形態と異なり、第１の領域に運転者３が撮像され、第２の領域に車両１の外部の被写体が撮像される。ステレオカメラ１１から、第２の領域に撮像される車両１の外部の被写体までの距離は、ステレオカメラ１１から、第１の領域に撮像される運転者３までの距離より長い。すなわち、第２の領域の視差は、第１の領域の視差より小さい。そこで、第３の画素数は第１の画素数より小さい画素数とし、第４の画素数は第２の画素数より小さい画素数とする。具体的には、画像処理部１５は、第１の領域及び第２の領域で、それぞれステレオカメラ１１から運転者３までの距離と見込まれる３０ｃｍ〜１ｍ、ステレオカメラ１１から外部の車体までの距離と見込まれる１ｍ〜無限遠にそれぞれ対応する視差の範囲で基準画像の特徴点に対応する、参照画像の対応点を探索することで、効率的に視差を決定することができる。

第２の実施形態におけるその他の構成、作用は第１の実施形態と同様なので、同一または対応する構成要素には、同一参照符号を付して説明を省略する。

以上説明したように、第２の実施形態によれば、車両１の外部の被写体と車両１の内部の運転者３とを、単一の装置で撮像することができる。また、距離算出部１３によるブロックマッチングの探索範囲を異ならせるため、効率的に距離を算出することができる。したがって、第１の実施形態と同様の効果が得られる。

＜第３の実施形態＞
続いて、第３の実施形態について説明する。第３の実施形態のステレオカメラ装置３０において、第１の実施形態のステレオカメラ装置１０と同様の構成については、適宜その説明を省略する。

第３の実施形態のステレオカメラ装置３０は、第１の実施形態のステレオカメラ装置１０と同様に、ステレオカメラ１１、光学部材１２、距離算出部１３等を含んで構成されるが、ステレオカメラ１１の配置、光学部材１２の配置および向きが異なっている。

図１０に示すように、第３の実施形態のステレオカメラ１１は、運転者３の前方下側の例えば、ダッシュボード上に、撮像方向を車両１の前方（正のＺ方向）に向けて配置される。

第１の光学部材１２ａは、車両１の外部の被写体からの光線が第１の撮像部１１ａの鉛直方向下部に直接入射して（図１０の実線の矢印を参照）結像するのを妨げないように、第１の撮像部１１ａの前方鉛直方向上側に配置される。また、第１の光学部材１２ａは、運転者３からの光線を反射させ、反射した光線が第１の撮像部１１ａの鉛直方向上部に入射して（図１０の破線の矢印を参照）結像するように配置される。

これにより、図１１（ａ）に示すように、運転者３は、基準画像において、第１の撮像部１１ａの鉛直方向上部に対応する第２の領域に撮像される。また、車両１の前方にある被写体は、基準画像の、第１の撮像部１１ａの鉛直方向下部に対応する第１の領域に撮像される。

第３の実施形態におけるその他の構成、作用は第１の実施形態と同様なので、同一または対応する構成要素には、同一参照符号を付して説明を省略する。

以上説明したように、第３の実施形態によれば、車両１の外部の被写体と車両１の内部の運転者３とを、単一の装置で撮像することができる。また、距離算出部１３によるブロックマッチングの探索範囲を異ならせるため、効率的に距離を算出することができる。したがって、第１の実施形態と同様の効果が得られる。

また、上記実施形態では、光学部材１２は、被写体からの光線を反射させて第１の撮像部１１ａに入射させる第１の光学部材１２ａと被写体からの光線を反射させて第２の撮像部１１ｂに入射させる第２の光学部材１２ｂとの２つの光学部材１２を備えたが、この限りではない。例えば、光学部材１２は、被写体からの光線をその一部で反射させて第１の撮像部１１ａに入射させ、被写体からの光線を異なる部分で反射させて第２の撮像部１１ｂに入射させる一体の反射鏡により構成されてもよい。

また、上記実施形態では、光学部材１２は、反射鏡とし、反射鏡によって反射した被写体からの光線が第１の撮像部１１ａ及び第２の撮像部１１ｂに入射するように配置されるとしたが、この限りではない。例えば、光学部材１２は、被写体からの光線を屈折させるもので、屈折した被写体からの光線が第１の撮像部１１ａ及び第２の撮像部１１ｂに入射するように配置されるとしてもよい。

また、上記実施形態では、ブロックは、注目画素（Ｒ₀）と該注目画素に隣接する画素（Ｒ₁〜Ｒ₈）からなるとしたが、この限りではない。例えば、注目画素（Ｒ₀）と、該注目画素（Ｒ₀）に隣接する複数の画素（Ｒ₁〜Ｒ₈）と、さらにそれらの画素（Ｒ₁〜Ｒ₈）に隣接する画素とから構成される５×５ピクセルの矩形のブロックでも良い。同様にして、ブロックは９×９ピクセル等とすることもできる。ブロックの大きさが小さいと、視差算出に使用される情報量が少なく視差算出の精度の劣化が懸念される。一方、ブロックが大きくなると同一のブロック内に視差の異なる被写体物が混在する可能性が高くなる。ブロックの大きさとしては、３×３ピクセル以上１０×１０ピクセル未満が好ましい。

また、上記実施形態で視差算出部１８は、視差算出処理において、参照画像のブロックのシフト量ｍを１ピクセルずつ順次増加させて、評価値の算出を繰り返し行ったが、この限りではない。例えば、視差算出部１８は参照画像のブロックのシフト量ｍを２ピクセル以上ずつ順次増加させてもよい。

また、上記実施形態では、光学部材１２は、平面鏡であるとしたが、例えば凹面鏡としてもよい。この場合、ステレオカメラ装置１０が近くにいる運転者３を撮像するにあたって、運転者３からの光線に正の屈折力を与え、ピントをより適切に合わせることができる。

また、画像処理部１５は、第１の撮像部１１ａおよび第２の撮像部１１ｂから出力された全ての画像について上述のように視差算出および距離算出を行ってもよいし、第１の撮像部１１ａおよび第２の撮像部１１ｂから出力された複数の画像のうちのいくつかの画像について、例えば、所定のフレーム数おきに視差算出および距離算出を行ってもよい。一般に、車両１の走行中に、該車両１を運転している運転者３の、ステレオカメラ１１からの距離は頻繁に変化しないと考えられる。そのため、例えば、画像処理部１５は、運転者３を被写体として表す領域については、車両１の外部の被写体を表す領域についてより低い頻度で距離を算出してもよい。これによって、画像処理部１５が距離を算出する負荷を低減することができる。

１ 車両
２ フロントガラス
３ 運転者
４ 車載ＥＣＵ
１０，２０，３０ ステレオカメラ装置
１１ ステレオカメラ
１１ａ 第１の撮像部
１１ｂ 第２の撮像部
１２ 光学部材
１２ａ 第１の光学部材
１２ｂ 第２の光学部材
１３ 距離算出部
１４ 取得部
１５ 画像処理部
１６ 画像メモリ
１７ 補正部
１８ 視差算出部
１９ 距離算出部

Claims (8)

1. 第１の撮像部と、
   第２の撮像部と、
   前記第１の撮像部で撮像された第１の画像、および、前記第２の撮像部で撮像された第２の画像を用いて視差を算出する画像処理部と、
   光線の一部を反射または屈折させて、前記第１の撮像部および前記第２の撮像部に入射させる光学部材とを備え、
   前記画像処理部は、前記第１の画像および前記第２の画像の、前記第１の撮像部または前記第２の撮像部に直接入射する光線が結像する第１の領域と、前記光学部材を介して入射する光線が結像する第２の領域において、前記第１の領域と前記第２の領域とで異なる被写体が撮像され、それぞれについて、視差を算出するステレオカメラ装置。
2. 前記ステレオカメラ装置は車両の車室内に配置され、前記第１の領域と前記第２の領域とのいずれか一方には前記車室内の被写体が撮像され、他方には前記車室外の被写体が撮像される請求項１に記載のステレオカメラ装置。
3. 前記画像処理部は、前記第１の画像と前記第２の画像との間で、対応点を探索することにより視差を算出し、前記第１の領域と前記第２の領域とでは、前記画像処理部が、対応点を探索する視差の範囲を異ならせた請求項１または２に記載のステレオカメラ装置。
4. 前記対応点の探索は、ブロックマッチング法によって行う請求項３に記載のステレオカメラ装置。
5. 第１の撮像部と、第２の撮像部と、前記第１の撮像部で撮像された第１の画像、および、前記第２の撮像部で撮像された第２の画像を用いて視差を算出する画像処理部と、光線の一部を反射または屈折させて、前記第１の撮像部および前記第２の撮像部に入射させる光学部材とを備え、前記画像処理部は、前記第１の画像および前記第２の画像の、前記第１の撮像部または前記第２の撮像部に直接入射する光線が結像する第１の領域と、前記光学部材を介して入射する光線が結像する第２の領域において、前記第１の領域と前記第２の領域とで異なる被写体が撮像され、それぞれについて、視差を算出するステレオカメラ装置を備える車両。
6. 前記ステレオカメラ装置は車室内に配置され、前記第１の領域と前記第２の領域とのいずれか一方には前記車室内の被写体が撮像され、他方には前記車室外の被写体が撮像される請求項５に記載の車両。
7. 前記光学部材は、前記第１の撮像部および第２の撮像部の鉛直方向上部および下部の何れか一方に入射する光線を、反射または屈折させる請求項５または６に記載の車両。
8. 前記車室内の被写体は、前記車両の運転者を含む請求項６に記載の車両。
   

Images