JP7165012B2 - 車両用ステレオカメラ装置 - Google Patents

Description

本発明は、近中距離用ステレオカメラで撮像したステレオ画像と、遠距離用ステレオカメラで撮像したステレオ画像とを、走行情報に基づいて選択するようにした車両用ステレオカメラ装置に関する。

車両に左右一対のステレオカメラを搭載し、このステレオカメラにより自車両前方の走行環境を撮像することで、先行車や各種障害物を認識すると共に、自車両と対象物との距離を計測するステレオカメラ装置が知られている。

又、特許文献１（特開平１１－３９５９６号公報）には、車両に近距離用ステレオカメラと、このステレオカメラの基線長よりも長い基線長を有する遠距離用ステレオカメラとを搭載し、両ステレオカメラで取得した走行環境情報に基づき、常時、近距離から遠距離までの広い範囲で対象物を認識すると共に、自車両との距離を求めるようにした技術が開示されている。

特開平１１－３９５９６号公報 特開２０１８－８６９１３号公報

上述した文献に開示されている技術では、遠距離用ステレオカメラと近距離用ステレオカメラとで撮像したステレオ画像に基づいて、対象物の認識、及び対象物までの距離情報を各々取得している。

そのため、前方走行環境を認識するに際しては、重複する対象物のデータを整理して統合する処理が必要となり、画像処理に大きな負担がかかる不都合がある。

又、当該文献に開示されている技術では、遠距離用ステレオカメラが車室内の上部に配設されているため、長い基線長を確保することが難く、自車両から遠方の対象物までの距離を、視差を利用してより正確に求めるには限界がある。

例えば特許文献２（特開２０１８－８６９１３号公報）には、ステレオカメラを構成する一対のカメラを各々ヘッドランプに配置した技術が開示されている。この文献に開示されている技術によれば、基線長を車両のほぼ最大幅で確保できると共に、ステレオカメラが車体前部に配置させることができるため、より遠方の対象物を比較的長い視差で補足することができる。

しかし、この特許文献２に開示されているステレオカメラを、上述した特許文献１に開示されている遠距離用ステレオカメラとして適用させた場合であっても、画像処理の負担を軽減させることはできない。

本発明は、上記事情に鑑み、近中距離用ステレオカメラと遠距離用ステレオカメラとで撮像した各ステレオ画像に基づいて対象物までの距離情報を求めるに際し、画像処理に要する負担を軽減することのできる車両用ステレオカメラ装置を提供することを目的とする。

本発明は、自車両の車室内に所定基線長を有して車幅方向の左右に配設された一対のカメラを有する近中距離用ステレオカメラと、前記自車両前部の車幅方向の左右に設けられた一対のヘッドランプに各々配設されたカメラを有する遠距離用ステレオカメラと、前記自車両の走行情報を検出する走行情報取得手段とを有し、前記各ステレオカメラで撮像したステレオ画像に基づいて前記自車両前方の距離画像を生成する車両用ステレオカメラ装置において、前記走行情報取得手段で検出した走行情報に基づき前記近中距離用ステレオカメラで撮像するステレオ画像と前記遠距離用ステレオカメラで撮像するステレオ画像とを統合して送信するか、何れか一方のステレオ画像を選択して送信するかを判定するステレオ画像選択手段を更に備える。

本発明によれば、走行情報に応じて、近中距離用ステレオカメラで撮像するステレオ画像と遠距離用ステレオカメラで撮像するステレオ画像とを統合して送信し、或いは、何れか一方のステレオ画像を選択して送信するようにしたので、近中距離用ステレオカメラと遠距離用ステレオカメラとで撮像した各ステレオ画像に基づいて対象物までの距離情報を求めるに際し、画像処理に要する負担を軽減させることができる。

車両用ステレオカメラ装置を備える運転支援システムの構成を示す機能ブロック図 ２組のステレオカメラ装置を搭載する車両の正面図 （ａ）は近中距離用ステレオカメラで先行車を補足した状態を示す俯瞰図、（ｂ）は遠距離用ステレオカメラで先行車を補足した状態を示す俯瞰図 カメラ異常検出処理ルーチンを示すフローチャート（その１） カメラ異常検出処理ルーチンを示すフローチャート（その２） ステレオ画像選択処理ルーチンを示すフローチャート 近中距離用ステレオ画像のみにより走行環境を認識する態様と、近中距離用ステレオ画像と遠距離用ステレオ画像とを統合して走行環境を認識する態様とを例示した図表 近中距離ステレオカメラで近方の先行車を撮像した画像の説明図 （ａ）は近中距離ステレオカメラで遠方の先行車を撮像した画像の説明図、（ｂ）は遠距離用ステレオカメラで遠方の先行車を撮像した画像の説明図 近中距離用ステレオ画像と遠距離用ステレオ画像とを１つの画像上に統合した状態を示す説明図

以下、図面に基づいて本発明の一実施形態を説明する。図１に示す運転支援システムは、自車両Ｍ（図２参照）に搭載されている。この運転支援システム１は、自車位置を検出するロケータユニット１１、自車両Ｍ前方の走行環境を認識するステレオカメラ装置２１を有している。このロケータユニット１１、及びステレオカメラ装置２１は一方が不調を来した場合には、他方のユニットで運転支援を一時的に継続させる冗長系が構築されている。又、運転支援システム１は、ロケータユニット１１とステレオカメラ装置２１とで現在走行中の道路形状が同一か否かを常時監視し、同一の場合に運転支援を継続させる。

ロケータユニット１１は道路地図上の自車両Ｍの位置（自車位置）を推定すると共に、この自車位置の前方の道路地図データを取得する。一方、ステレオカメラ装置２１は自車両Ｍが走行している車線（自車走行車線）の左右を区画する区画線の中央の道路曲率を求めると共に、この左右区画線の中央を基準とする自車両Ｍの車幅方向の横位置偏差を検出する。更に、このステレオカメラ装置２１は、自車両Ｍの前方の先行車Ｐ１，Ｐ２、歩行者や二輪車（自転車、自動二輪車）等の移動体を含む立体物、自車走行車線の左右を区画する区画線、道路標識、信号現示（点灯色）等を認識する。

ロケータユニット１１は、地図ロケータ演算部１２と記憶手段としての高精度道路地図データベース１６とを有している。この地図ロケータ演算部１２、後述する前方走行環境認識部２６、及び自動運転制御ユニット２７は、ＣＰＵ，ＲＡＭ，ＲＯＭ、不揮発性記憶部等を備える周知のマイクロコンピュータ、及びその周辺機器で構成されており、ＲＯＭにはＣＰＵで実行するプログラムやデータテーブル等の固定データ等が予め記憶されている。

この地図ロケータ演算部１２の入力側に、ＧＮＳＳ(Global Navigation Satellite System / 全球測位衛星システム)受信機１３、及び走行情報取得手段に含まれる走行状態検出手段としての自律走行センサ１４が接続されている。ＧＮＳＳ受信機１３は複数の測位衛星から発信される測位信号を受信する。又、自律走行センサ１４は、トンネル内走行等ＧＮＳＳ衛生からの受信感度が低く測位信号を有効に受信することのできない環境において、自律走行を可能にするもので、車速センサ、ヨーレートセンサ、及び前後加速度センサ等で構成されている。すなわち、地図ロケータ演算部１２は、車速センサで検出した車速、ヨーレートセンサで検出したヨーレート（ヨー角速度）、及び前後加速度センサで検出した前後加速度等に基づき移動距離と方位からローカライゼーションを行う。

この地図ロケータ演算部１２は、自車位置を推定する機能として自車位置推定演算部１２ａ、推定した自車位置を道路地図上にマップマッチングして自車両Ｍの現在地を特定し、その周辺の環境情報を含む道路地図情報を取得する地図情報取得部１２ｂ、自車両Ｍの目標とする進行路（目標進行路）を設定する目標進行路設定演算部１２ｃを備えている。

又、高精度道路地図データベース１６はＨＤＤ等の大容量記憶媒体であり、高精度な周知の道路地図情報（ローカルダイナミックマップ）が記憶されている。この高精度道路地図情報は、基盤とする最下層の静的情報階層上に、自動走行をサポートするために必要な付加的地図情報が重畳された階層構造をなしている。

上述した地図情報取得部１２ｂは、この高精度道路地図データベース１６に格納されている道路地図情報から現在地及び前方の道路地図情報を取得する。この道路地図情報には周辺環境情報が含まれている。この周辺環境情報としては、道路の種別（一般道路、高速道路等）、道路形状、左右区画線、道路標識、停止線、交差点、信号機等の静的な位置情報のみならず、渋滞情報や事故或いは工事による通行規制等の動的な位置情報も含まれている。従って、この地図情報取得部１２ｂは、本発明の走行情報取得手段に含まれる走行環境情報取得手段としての機能を有している。

そして、例えば運転者が自動運転に際してセットした目的地に基づき、上述した自車位置推定演算部１２ａで推定した自車位置（現在地）から目的地までのルート地図情報を、この道路地図情報から取得し、取得したルート地図情報（ルート地図上の車線データ及びその周辺情報）を自車位置推定演算部１２ａへ送信する。

自車位置推定演算部１２ａは、ＧＮＳＳ受信機１３で受信した測位信号に基づき自車両Ｍの位置座標を取得し、この位置座標をルート地図情報上にマップマッチングして、道路地図上の自車位置（現在地）を推定すると共に、自車走行車線を特定し、ルート地図情報に記憶されている当該走行車線の道路形状を取得し、逐次記憶させる。

更に、自車位置推定演算部１２ａは、トンネル内走行等のようにＧＮＳＳ受信機１３の感度低下により測位衛星からの有効な測位信号を受信することができない環境では、自律航法に切換え、自律走行センサ１４によりローカライゼーションを行う。

目標進行路設定演算部１２ｃは、先ず、地図情報取得部１２ｂでマップマッチングした現在位置を基準に自車両Ｍを区画線に沿って自動走行させるための目標進行路を設定する。又、運転者が目的地を入力している場合は、現在地と目的地とを結ぶ走行ルートに沿って目標進行路が設定される。この目標進行路は、自車両Ｍの前方、数百メートル～数キロ先まで設定され、走行時において逐次更新される。この目標進行路設定演算部１２ｃで設定した目標進行路は自動運転制御ユニット２７で読込まれる。

一方、ステレオカメラ装置２１は、自車両Ｍの前方を撮像する撮像手段としてのカメラ部２２、画像処理ユニット（ＩＰＵ）２３、カメラ部２２の異常を検出する、カメラ異常検出手段としてのカメラ異常検出部２４、ステレオ画像選択手段としてのステレオ画像選択部２５、及び走行環境認識手段としての前方走行環境認識部２６を備えている。カメラ部２２は、近中距離用ステレオカメラ２２ａと遠距離用ステレオカメラ２２ｂとを有している。

又、自動運転制御ユニット２７は、入力側に地図ロケータ演算部１２、ステレオカメラ装置２１の前方走行環境認識部２６が接続されている。更に、この自動運転制御ユニット２７の出力側に、自車両Ｍを目標進行路に沿って走行させる操舵制御部３１、強制ブレーキにより自車両Ｍを減速させるブレーキ制御部３２、自車両Ｍの車速を制御する加減速制御部３３、及び警報装置３４が接続されている。

自動運転制御ユニット２７は、操舵制御部３１、ブレーキ制御部３２、加減速制御部３３を所定に制御して、ＧＮＳＳ受信機１３で受信した自車位置を示す測位信号に基づき、自車両Ｍを目標進行路設定演算部１２ｃで設定した道路地図上の目標進行路に沿って自動走行させる。その際、前方走行環境認識部２６で認識した前方走行環境に基づき、周知の追従車間距離制御（ＡＣＣ：Adaptive Cruise Control）、及び車線維持制御（ＡＬＫ：Active Lane Keep）を行い、先行車が検出された場合は先行車に追従し、先行車が検出されない場合は制限速度内で走行させる。更に、自車両Ｍの直前を横切ろうとする立体物（歩行者、二輪車等）を検出した場合は、ブレーキ制御部３２を作動させて自車両Ｍを停車させる。

又、図２に示すように、上述したステレオカメラ装置２１に設けられているカメラ部２２の近中距離用ステレオカメラ２２ａは、メインカメラ２２ａａとサブカメラ２２ａｂとを有している。この両カメラ２２ａａ，２２ａｂは、車室内Ｍｒの前部のフロントガラスに近接する上部であって、車幅方向中央を挟んで左右対称な位置に通常の基線長Ｗｓ（例えば、３００～４００[mm]）を有して配置されている。更に、この一対のカメラ２２ａａ，２２ａｂは広角レンズを用いて比較的広い視野で近中距離の撮像領域（例えば、５～１００［ｍ］）の鮮明なステレオ画像が取得できるように設定されている。尚、本実施形態のステレオ画像とは、一対のカメラで撮像した左右画像のうち距離画像を取得できる撮像領域を云う。

一方、遠距離用ステレオカメラ２２ｂは、メインカメラ２２ｂａとサブカメラ２２ｂｂとを有している。図２に示すように、この各カメラ２２ｂａ，２２ｂｂは、自車両Ｍ前部の車幅方向における左右両側に配置されている一対のヘッドランプＭｈ内に配設されている。より具体的には、両カメラ２２ｂａ，２２ｂｂはハイビーム及びロービームの配光に支障を来さない位置であって、車幅中央を挟んで対称、且つ、両カメラ２２ｂａ，２２ｂｂの中心を結ぶ線が水平となる位置に配置されている。

この両カメラ２２ｂａ，２２ｂｂがヘッドランプＭｈに配置されているため、遠距離用ステレオカメラ２２ｂの基線長Ｗｌは車幅に対してほぼ最大長が確保される。更に、各カメラ２２ｂａ，２２ｂｂには望遠レンズが取付けられている。従って、この遠距離用ステレオカメラ２２ｂでは、比較的遠方の撮像領域Ｌｌ１～Ｌｌ２（例えば、近方距離Ｌｌ１＝８０[ｍ]，遠方距離Ｌｌ２＝２００[ｍ]）の鮮明なステレオ画像を取得することができると共に、高い精度の距離画像を得ることができる。

尚、図３に示すように、近中距離用ステレオカメラ２２ａと遠距離用ステレオカメラ２２ｂとの視野は、それほど大きく相違しているものではなく、従って、近中距離用ステレオカメラ２２ａ、或いは遠距離用ステレオカメラ２２ｂの一方で取得したステレオ画像に失陥が検出された場合、他方で取得したステレオ画像で、失陥が検出された側のステレオ画像の撮像範囲をある程度カバーすることは可能である。

又、図８、図９（ａ）に示すように、近中距離用ステレオカメラ２２ａで撮像したステレオ画像は、自車両Ｍの近方では、充分にピントが合っているため、高い精度の距離画像を取得することができる。しかし、自車両Ｍから比較的離れた距離から先はピントが合わずボケているため高い精度の距離画像を得ることはできない。

一方、図９（ｂ）に示すように、遠距離用ステレオカメラ２２ｂで撮像したステレオ画像は、自車両Ｍの直前付近のピントが充分に合っておらずボケるため、高い精度の距離画像を得ることはできない。しかし、遠方では、充分にピントが合っているため高い精度の距離画像を得ることができる。

本実施形態では、近中距離用ステレオカメラ２２ａでピントの合った鮮明なステレオ画像を得ることのできる遠方の撮像領域と遠距離用ステレオカメラ２２ｂでピントの合った鮮明なステレオ画像を得ることのできる近方の撮像領域とは重なっている。例えば、図３に示すように、近中距離用ステレオカメラ２２ａにて鮮明なステレオ画像を得ることのできる遠方距離をＬｓ（例えば、１００［ｍ］）、遠距離用ステレオカメラ２２ｂにて鮮明なステレオ画像を得ることのできる近方距離をＬｌ１（例えば、８０［ｍ］）とした場合、近方距離Ｌｌ１と遠方距離Ｌｓの間が重複している。

図８、図９に示すように、ステレオ画像選択部２５は、両ステレオカメラ２２ａ，２２ｂで撮像したステレオ画像に失陥が検出されてない場合、両ステレオ画像を、ピントが合っている共通の撮像領域（Ｌｌ１～Ｌｓの間）に設定した、一つの画像上で対応する水平ラインＬｄで分割する。そして、分割した両ステレオ画像のピントが合っている側の画像を統合する。これにより、一つの画面上おいて近中距離と遠距離との双方で鮮明なステレオ画像を得ることができる。

上述したステレオ画像の失陥はカメラ異常検出部２４で検出される。カメラ異常検出部２４は、具体的には、図４、図５に示すカメラ異常検出処理ルーチンに従ってステレオ画像の失陥を検出する。尚、失陥の原因としては、各カメラ２２ａａ，２２ａｂ，２２ｂａ，２２ｂｂ自体の故障や不調以外に、フロントガラスやヘッドランプＭｈのレンズカバーに雨滴、雪、泥はね、鳥の糞、虫等が付着して汚れた場合、各カメラのレンズが汚れた場合等が考えられる。

このルーチンでは、先ず、ステップＳ１で、近中距離用ステレオカメラ２２ａで撮像し、ＩＰＵ２３にて所定に画像処理したステレオ画像（以下、「近中距離用ステレオ画像」と称する）を読込む。又、ステップＳ２で、遠距離用ステレオカメラ２２ｂで撮像し、ＩＰＵ２３にて所定に画像処理したステレオ画像（以下、「遠距離用ステレオ画像」と称する）を読込む。そして、ステップＳ３へ進み、各ステレオ画像に対してステレオマッチング処理を行う。このステレオマッチング処理は周知であるため、ここでの説明は省略する。

その後、ステップＳ４へ進み、各ステレオ画像のマッチング処理において、左右画像で対応する区画の画像に不一致画像があるか否か、すなわち失陥があるか否かを調べる。そして、不一致画像が検出されない場合は、正常（失陥なし）と判定し、ステップＳ５へ進み、失陥検出フラグＦをクリアして（Ｆ←０）、ルーチンを抜ける。

一方、ステップＳ４で、不一致画像が検出された場合は失陥ありと判定し、ステップＳ６へ分岐すると両ステレオ画像が失陥しているか否かを調べる。そして、両ステレオ画像が失陥していると判定した場合は、ステップＳ７へ分岐し、画像エラーの信号を送信してルーチンを抜ける。

又、一方のステレオ画像が失陥している場合は、ステップＳ８へ進み、何れのステレオ画像が失陥しているかを調べる。そして、遠距離用ステレオ画像が失陥している場合は、ステップＳ９へ進み、失陥検出フラグＦを１にセットして（Ｆ←１）ルーチンを抜ける。又、近中距離用ステレオ画像が失陥している場合は、ステップＳ１０へ分岐し、失陥検出フラグＦを２にセットして（Ｆ←２）、ルーチンを抜ける。

この画像エラー信号、及び失陥検出フラグＦの値は、ステレオ画像選択部２５で読込まれる。このステレオ画像選択部２５は、図６に示すステレオ画像選択処理ルーチンに従って、前方認識を行う際に採用するステレオ画像を選択する。

このルーチンでは、先ず、ステップＳ２１で、カメラ異常検出部２４からの画像エラー信号の有無を調べる。そして、画像エラー信号を受信した場合は、ステップＳ２２へ分岐し、画像送信を中断（ＨＡＬＴ）して、ルーチンを抜ける。又、画像エラー信号を受信していない場合はステップＳ２３へ進み、失陥検出フラグＦの値を調べる。

そして、Ｆ＝１、又はＦ＝２の異常の場合は、ステップＳ２４へ分岐する。又、正常（Ｆ＝０）の場合はステップＳ２５へ進む。ステップＳ２４では、何れのステレオ画像が失陥しているかを調べ、Ｆ＝１の遠距離用ステレオ画像が失陥している場合は、ステップＳ２８へ進む。又、Ｆ＝２の近中距離用ステレオ画像が失陥している場合は、ステップＳ２９へ進む。

又、ステップＳ２３からステップＳ２５へ進むと、自車両Ｍ前方の走行環境を調べる。走行環境情報としては、本実施形態では、自車両Ｍの近方に、前方を遮る立体物（先行車Ｐ１，二輪車、横切ろうとしている歩行者等）が存在しているか否かを例示する。近方に立体物が存在しているか否かは、自車両Ｍから立体物までの距離を測定する必要はないため、例えば、近中距離用ステレオカメラ２２ａのメインカメラ２２ａａで撮像した画像に基づいて調べる。そして、近方に立体物が存在しない場合はステップＳ２６へ進む。又、近方に、前方を遮る立体物が検出された場合はステップＳ２８へ分岐する。

尚、他の走行環境情報としては、道路地図情報等から取得したカーブ曲率がある。そして、このカーブ曲率に基づき、曲率が大きい場合は、ステップＳ２８へ分岐させるようにしても良い。又、ステップＳ２５において、自車両Ｍの走行状態情報として車速を検出し、この車速が低中速（例えば、４０[Km/h]）以下の場合は、ステップＳ２８へ分岐させるようにしても良い。

ステップＳ２６へ進むと、近中距離用ステレオ画像と遠距離用ステレオ画像とを、図８、図９（ｂ）に示すように水平ラインＬｄで分割し、図１０に示すように、画像下側の近中距離ステレオ画像と画像上側の遠距離用ステレオ画像とを統合する。各ステレオ画像を撮像するステレオカメラ２２ａ，２２ｂは車両に固定されており、且つ、焦点距離も固定であるため、水平ラインＬｄは両ステレオカメラ２２ａ，２２ｂの撮像面において特定することができる。従って、この撮像面の水平ラインＬｄに対応する位置において画像を分割すれば、容易に統合させることができる。その後、ステップＳ２７へ進み、統合したステレオ画像を送信してルーチンを抜ける。

近中距離用ステレオ画像と遠距離用ステレオ画像との双方に失陥が検出されない場合、この両ステレオ画像を予め設定されている水平ラインＬｄで分割し、分割した両ステレオ画像のピントが合っている側の画像を統合するようにしたので、一つの画面上において近中距離と遠距離との双方で鮮明なステレオ画像を得ることができる。又、近中距離用ステレオ画像と遠距離用ステレオ画像とにおいて、重複した画像処理が不要となり、その分、処理に要する負担を軽減することができる。

一方、ステップＳ２４、或いはステップＳ２５からステップＳ２８へ進むと、近中距離用ステレオ画像のみを送信してルーチンを抜ける。ステップＳ２５で近方に立体物が検出された場合、ステップＳ２８へ進み、近中距離用ステレオ画像のみを送信するようにしたので、画像処理に要する負担が軽減されるばかりでなく、側方から自車両Ｍの前方を横切ろうとする立体物（歩行者、二輪車等）を早期に検出することができる。

又、ステップＳ２４からステップＳ２９へ分岐すると、遠距離用ステレオ画像のみを送信してルーチンを抜ける。

ステレオ画像選択部２５で選択したステレオ画像は、前方走行環境認識部２６で読込まれる。前方走行環境認識部２６は、読込んだステレオ画像からその視差に基づき距離画像を生成し、この距離画像に基づいて両画像中の同一対象物を認識すると共に、その距離データ（自車両Ｍから対象物までの距離）を、三角測量の原理を利用して算出し、これらを前方走行環境情報（立体物、左右区画線、信号現示等）として認識する。

この場合、近中距離用ステレオカメラ２２ａのステレオ画像と遠距離用ステレオカメラ２２ｂのステレオ画像との双方が共に正常で、且つ、近方に前方を遮る立体物（先行車Ｐ１、歩行者、二輪車）等が検出されない場合は、図１０に示すように、近中距離用ステレオ画像と遠距離用ステレオ画像とが一つの画像上に統合されたステレオ画像に基づいて、対象物までの距離情報を取得することになる。

その結果、図７に示すように、自車両Ｍの走行において、遠方に立体物が検出されている場合であっても、車両近傍から遠方までの距離測定に適した鮮明なステレオ画像を得ることができ、遠方の立体物（先行車、歩行者、二輪車等）との画像を高い精度で生成することができる。更に、走行車線の左右を区画する区画線の距離データは近方から遠方まで正確に算出することができる。加えて、道路標識や信号現示（点灯色）の距離データは近方、遠方に拘わらず正確に算出することができる。

又、自車両Ｍの近方を遮る立体物が検出された場合は、近中距離用ステレオ画像に基づいて距離画像が生成される。近中距離用ステレオカメラ２２ａは広角レンズを用いて比較的広い視野に設定されているため、例えば、低中速走行において自車両Ｍの前方を横切る歩行者や二輪車等の移動体を素早く、且つ正確に検出することができる。

更に、両ステレオカメラ２２ａ，２２ｂのステレオ画像の一方に失陥が検出された場合は、正常な他方のステレオ画像のみで距離画像を生成するようにしている。上述したように、両ステレオカメラ２２ａ，２２ｂの撮像領域は一部が重複しており、従って、一方のステレオ画像に失陥が生じた場合には、他方の正常なステレオ画像である程度代用することができる。そのため、後述する自動運転制御ユニット２７において自動運転がいきなり解除されてしまうことがなく、失陥が継続した場合には、運転者に対して安全に運転を引き継がせることができる。

自動運転制御ユニット２７は、前方走行環境認識部２６で認識した前方走行環境情報に基づき、自車両Ｍを左右区画線の中央に沿って走行させるべく操舵制御部３１へ制御信号を送信する。又、直前を走行する先行車Ｐ１を認識した場合は、当該先行車Ｐ１に対して所定車間距離を開けて走行させるべく、ブレーキ制御部３２及び加減速制御部３３へ制御信号を送信する。更に、ステレオカメラ装置２１から画像エラー信号が出力された場合は、自動運転を解除する旨を警報装置３４から運転者に報知して、運転者に運転を引き継がせた後、自動運転を解除する。又、一方のステレオ画像の失陥が検出された場合も、警報装置３４からその旨を運転者に報知し、運転支援の継続が困難になった場合には運転者に運転を引き継がせることができるように準備させる。

このように、本実施形態では、近中距離用ステレオカメラ２２ａと遠距離用ステレオカメラ２２ｂとで撮像した各ステレオ画像に基づいて対象物までの距離情報を求めるに際し、両ステレオ画像のピントの合っている領域を、予め設定した水平ラインＬｄで分割した後、一つの画像上に統合するようにしたので、重複部分を画像処理する必要がなく、その分、処理に要する負担を軽減することができる。

又、近中距離用ステレオカメラ２２ａと遠距離用ステレオカメラ２２ｂとの一方で撮像したステレオ画像に失陥が検出された場合、他方の正常なステレオ画像で前方走行環境を認識するようにしたので、自動運転がいきなり解除されることがなく、更に、そのときの走行状態が著しく損なわれることもない。その結果、運転支援制御、運転支援を良好に継続させることができる。更に、運転支援が困難と判断された場合であっても、運転者に運転をスムーズに引き継がせることが可能となり、運転者に与える違和感を軽減させることができる。

又、遠距離用ステレオカメラ２２ｂのメインカメラ２２ｂａとサブカメラ２２ｂｂとをヘッドランプＭｈに配置したので、車幅に対して、ほぼ最大の基線長を確保することができ、遠方の距離画像を高い精度で取得することができる。更に、この各カメラ２２ｂａ，２２ｂｂをヘッドランプＭｈ内の車体フレームに固定することができるため、高い寸法精度で固定することができる。加えて、ヘッドランプＭｈ内はレンズカバーで保護されているため、各カメラ２２ｂａ，２２ｂｂの外装構造を簡素化することができる。

尚、本発明は、上述した実施形態に限るものではなく、例えば、ステップＳ２８において、近中距離用ステレオ画像を送信するに際し、遠距離用ステレオカメラ２２ｂの正常な方で撮像した画像を単眼画像として同時に送信するようにしても良い。同様に、ステップＳ２９において、遠距離用ステレオ画像を送信するに際し、近中距離用ステレオカメラ２２ａの正常な方で撮像した単眼画像を同時に送信するようにしても良い。

１…運転支援システム、
１１…ロケータユニット、
１２…地図ロケータ演算部、
１２ａ…自車位置推定演算部、
１２ｂ…地図情報取得部、
１２ｃ…目標進行路設定演算部、
１３…ＧＮＳＳ受信機、
１４…自律走行センサ、
１６…高精度道路地図データベース、
２１…ステレオカメラ装置、
２２…カメラ部、
２２ａ…近中距離用ステレオカメラ、
２２ａａ，２２ｂａ…メインカメラ、
２２ａｂ，２２ｂｂ…サブカメラ、
２２ｂ…遠距離用ステレオカメラ、
２４…カメラ異常検出部、
２５…ステレオ画像選択部、
２６…前方走行環境認識部、
２７…自動運転制御ユニット、
３１…操舵制御部、
３２…ブレーキ制御部、
３３…加減速制御部、
３４…警報装置、
Ｆ…失陥検出フラグ、
Ｌｄ…水平ライン、
Ｌｌ１…近方距離、
Ｌｓ，Ｌｌ２…遠方距離、
Ｍ…自車両、
Ｍｈ…ヘッドランプ、
Ｍｒ…車室内、
Ｐ１，Ｐ２…先行車、
Ｗｌ，Ｗｓ…基線長

Claims (6)

1. 自車両の車室内に所定基線長を有して車幅方向の左右に配設された一対のカメラを有する近中距離用ステレオカメラと、
   前記自車両前部の車幅方向の左右に設けられた一対のヘッドランプに各々配設されたカメラを有する遠距離用ステレオカメラと、
   前記自車両の走行情報を検出する走行情報取得手段と
   を有し、前記各ステレオカメラで撮像したステレオ画像に基づいて前記自車両前方の距離画像を生成する車両用ステレオカメラ装置において、
   前記走行情報取得手段で検出した走行情報に基づき前記近中距離用ステレオカメラで撮像するステレオ画像と前記遠距離用ステレオカメラで撮像するステレオ画像とを統合して送信するか、何れか一方のステレオ画像を選択して送信するかを判定するステレオ画像選択手段を更に備える
   ことを特徴とする車両用ステレオカメラ装置。
2. 前記近中距離用ステレオカメラで撮像したステレオ画像と前記遠距離用ステレオカメラで撮像したステレオ画像とを、個別にステレオマッチング処理し、一方のステレオ画像が失陥しているか否かを調べるカメラ異常検出手段を更に有し、
   前記ステレオ画像選択手段は、前記カメラ異常検出手段において前記近中距離用ステレオカメラで撮像したステレオ画像と前記遠距離用ステレオカメラで撮像したステレオ画像との一方に失陥が検出された場合、他方のステレオ画像を選択する
   ことを特徴とする請求項１記載の車両用ステレオカメラ装置。
3. 前記ステレオ画像選択手段は、前記カメラ異常検出手段において前記近中距離用ステレオカメラで撮像したステレオ画像と前記遠距離用ステレオカメラで撮像したステレオ画像との一方に失陥が検出された場合、他方のステレオ画像と一方のステレオ画像の内の正常な単眼画像とを選択する
   ことを特徴とする請求項２記載の車両用ステレオカメラ装置。
4. 前記ステレオ画像選択手段は、前記カメラ異常検出手段において前記近中距離用ステレオカメラで撮像したステレオ画像と前記遠距離用ステレオカメラで撮像したステレオ画像との双方が正常と判定した場合、前記両ステレオ画像を重複する共通の撮像領域で分割した後、分割されたピントの合っている側の前記各ステレオ画像を一つの画像上で統合する
   ことを特徴とする請求項２或いは３に記載の車両用ステレオカメラ装置。
5. 前記ステレオ画像選択手段は、前記カメラ異常検出手段において前記近中距離用ステレオカメラで撮像したステレオ画像と前記遠距離用ステレオカメラで撮像したステレオ画像との双方が正常と判定した場合であっても、前方を遮る立体物が検出され、或いは車速が中低車速の場合は、前記近中距離用ステレオカメラで撮像したステレオ画像のみを選択する
   ことを特徴とする請求項２～４の何れか１項に記載の車両用ステレオカメラ装置。
6. 前記近中距離用ステレオカメラの撮像領域が前記遠距離用ステレオカメラの撮像領域よりも広角に設定されている
   ことを特徴とする請求項１～５の何れか１項に記載の車両用ステレオカメラ装置。

Images