JP5600332B2

JP5600332B2 - 運転支援装置

Info

Publication number: JP5600332B2
Application number: JP2012077037A
Authority: JP
Inventors: 弘幸関口; 誠佑笠置
Original assignee: Fuji Jukogyo KK
Current assignee: Subaru Corp
Priority date: 2012-03-29
Filing date: 2012-03-29
Publication date: 2014-10-01
Anticipated expiration: 2032-03-29
Also published as: CN103359119B; US20130259309A1; JP2013203337A; DE102013102526A1; DE102013102526B4; US8971578B2; CN103359119A

Description

本発明は、撮像画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置に関する。

近年、自動車等の車両においては、カメラで撮像した画像やレーダ装置から発射された電波の反射波等を解析して車両の周囲に存在する物体を検出し、検出した物体の情報に基づいて自車両と他の物体との衝突の可能性の有無を判断し、衝突の可能性がある場合には警報を鳴らしてドライバの注意を喚起したり、衝突を回避するように自動操舵や制動制御を行ったりする等の運転支援制御を行う技術が開発されている。

例えば、特許文献１には、進行方向前方に存在する物体を検知し、物体の検知結果と所定の接触判定条件とに基づき、自車両と物体との接触に係る判定を行い、その判定結果に応じてスロットルアクチュエータ、ブレーキアクチュエータ、ステアリングアクチュエータ、報知装置等を適切なタイミングで作動させる技術が開示されている。

特開２０１０−２６０５０４号公報

ところで、特に寒冷地や標高が高い場所等で生じ易い現象として、例えば道路上方に水蒸気の塊が浮遊していたり、先行車両のエキゾーストパイプから排出された排気ガスがその場に留まっている白い煙状となる場合がある。このような水蒸気塊や排気ガスが物体として検出されると、水蒸気塊や排気ガスの手前で停止するように一義的にブレーキが掛かる等といったように、必ずしも適切とはいえない状態で運転支援が実行される場合があり、ドライバに違和感を与える可能性がある。

本発明は上記事情に鑑みてなされたもので、煙状の物体を検出した場合にも、その状態に応じて適切な運転支援を行うことのできる運転支援装置を提供することを目的としている。

本発明による運転支援装置は、車両に搭載したステレオカメラで撮像した撮像画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置であって、前記撮像画像内で互いに隣接する距離情報をグループ化して物体を検出する物体検出部と、前記検出された物体が煙状の物体であるか否かを判定し、煙状の物体であると判定した場合、前記煙状の物体の領域内の距離情報の分布に基づいて、前記煙状の物体の濃度を複数段階に区分した属性情報を付加する煙状物体判定部と、前記煙状の物体の属性情報に基づいて、前記煙状の物体に対する運転支援の動作レベルを決定する支援動作レベル決定部とを備え、前記支援動作レベル決定部は、前記複数段階の属性情報に基づいて、前記煙状の物体に対するプリクラッシュブレーキ制御の実施可否及び複数段階のブレーキ強度を決定する。

本発明によれば、煙状の物体を検出した場合にも、その状態に応じて適切な運転支援を行うことができる。

運転支援装置の全体構成図基準画像及び距離画像の一例を示す説明図煙状物体に対する運転支援処理のフローチャート距離画像を分割する各区分を示す説明図図４の各区分における物体の距離を抽出するためのヒストグラムの一例を示す説明図実空間上にプロットした各点のグループ化を示す説明図基準画像上で矩形状の枠線に包囲されて検出された各物体を表す説明図先行車両とともに排気ガスが検出された基準画像を表す説明図排気ガスを検出した場合に距離のばらつきが大きい各点を表す説明図煙状物体を示す説明図煙状物体の枠線領域内の距離情報の区分を示す説明図

以下、図面を参照して本発明の実施の形態を説明する。
図１に示す運転支援装置１は、図示しない自動車等の車両に搭載され、カメラ２で撮像した画像を処理して外部の走行環境を認識し、ドライバに対する各種運転支援を行うものである。具体的には、運転支援装置１は、カメラ２の撮像画像を処理する画像処理エンジン３、画像処理エンジン３で処理した画像情報に基づいて外部環境を認識するマイクロコンピュータからなる認識コントローラ４、外部環境の認識結果に基づいてドライバに対する運転支援のための各制御を統括する制御コントローラ５を備えて構成されている。

制御コントローラ５には、エンジン制御、変速機制御、車体挙動制御（ブレーキ制御を含む）等の各種車両制御用のコントローラ（図示せず）が接続されている。制御コントローラ５は、認識コントローラ４による外部環境の認識結果に基づいて、車両制御用の各コントローラに制御指令を出力し、例えば、危険性を予測して衝突を回避若しくは衝突被害を軽減するためのプリクラッシュブレーキ制御、全車速域における追従機能付きのクルーズ制御、自車両の車線内でのふらつきや車線からの逸脱を監視してドライバに警報する警報制御等の各種運転支援を実行する。

本実施の形態においては、車外の状況を撮像するカメラ２は、同一物体を異なる視点から撮像するステレオカメラであり、以下、適宜、カメラ２をステレオカメラ２と記載する。具体的には、ステレオカメラ２は、互いの光軸が平行となるように配置された左右２台のカメラ２ａ，２ｂから構成され、これらの２台のカメラ２ａ，２ｂが所定の基線長（光軸間隔）で機械的に固定されている。各カメラ２ａ，２ｂは、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を有するカラー撮像用の撮像ユニットであり、画像処理エンジン３及び認識コントローラ４と共にステレオカメラユニットとして一体化され、例えば車室内上部のフロントウィンドウ内側に設置されている。

尚、カメラ２ａ，２ｂは、シャッタースピード可変で互いに同期が取られ、一方のカメラ（左カメラ）２ａは、ステレオ処理の際の基準画像を撮像するメインカメラ、他方のカメラ（右カメラ）２ｂは、ステレオ処理の際の比較画像を撮像するサブカメラとして用いられる。

画像処理エンジン３は、ステレオカメラ２で撮像された左右１対の画像を読み込み、２つの画像の対応点を探索するステレオマッチングにより同一物体に対する視差を検出し、この視差に基づく三角測量の原理により測距を行う。このため、画像処理エンジン３は、左右のカメラ２ａ，２ｂの撮像信号をそれぞれ前処理する前処理部１０ａ，１０ｂ、前処理された左右の撮像画像を記憶する入力画像メモリ１５、入力画像メモリ１５に記憶された撮像画像に対して各種補正処理を行う画像補正部２０、画像補正部２０からの出力に対してステレオマッチング処理を行い、距離情報を画像化した距離画像を生成するステレオ処理部３０、ステレオ処理部３０で生成した距離画像と左右のカメラ２ａ，２ｂで撮像された画像（前処理及び補正処理後の左右元画像）とを記憶する出力画像メモリ４０を備えている。

本実施の形態においては、各カメラ２ａ，２ｂは、撮像素子からのアナログ撮像信号を増幅するアンプや、アナログ撮像信号を所定のビット数のデジタル信号に変換するＡ／Ｄコンバータ等の各種回路を内蔵した撮像ユニットとして構成されている。従って、前処理部１０ａ，１０ｂは、カメラ２ａ，２ｂに対する電子シャッター制御、アンプのゲイン・オフセットの制御及び調整、ＬＵＴテーブルによるγ補正等を含む輝度補正、シェーディング補正等を行う。また、前処理部１０ａ，１０ｂは、入力画像メモリ１５にデータを書き出す際のアドレス制御を行い、入力画像メモリ１５の所定のアドレスに、左右のカメラ画像（デジタル画像）が記憶される。

画像補正部２０は、画像処理座標の設定、画像サイズ調整、アドレス制御等における各種パラメータの設定、レンズ歪を含む光学的な位置ズレを補正するための位置補正処理、ノイズ除去等を行うためのフィルタ補正処理等を行う。詳細には、入力画像メモリ１５から読み込んだ画像データに対して、各カメラ２ａ，２ｂのレンズの歪み、各カメラ２ａ，２ｂの取り付け位置のズレや焦点距離のバラツキ、更には、各カメラの撮像面のズレ等に起因する光学的な位置ズレを補正する処理を実行する。

光学的な位置ズレの補正は、各カメラ２ａ，２ｂで撮像した画像における回転ズレ、並進ズレ等をアフィン変換補正テーブルを用いて幾何学的に補正すると共に、レンズ歪み等の非線形な歪みを非線形補正テーブルによって補正するものであり、これにより、各カメラ２ａ，２ｂの光学的位置が等価的に精密調整される。また、フィルタ補正処理は、入力画像メモリに記憶された左右のデジタル画像（諧調画像）に含まれるノイズを、例えば３×３フィルタ等の空間フィルタを用いて除去する。このノイズ除去処理は、アフィン補正によってレンズ歪補正を含む幾何補正を施された画像データに対しては、対応するフィルタ値を切換えて適用する。

以上の画像補正部２０から出力される左右の画像データは、ステレオ処理部３０に入力される。ステレオ処理部３０は、ステレオカメラ２で撮像した自車両外部の周辺環境の画像対（基準画像及び比較画像）から対応する位置のズレ量（視差）をステレオマッチング処理により求め、このズレ量に基づく距離情報を画像形態で出力画像メモリ４０に保存する。

ステレオマッチング処理としては、基準画像内の或る１つの点の周囲に小領域（ブロック或いはウィンドウとも称され、以下ではブロックと記載）を設定し、比較画像内の或る点の周囲に同じ大きさのブロックを設けて対応点を探索する周知の領域探索法を採用することができる。この領域探索法による対応点の探索処理では、比較画像上でブロックをずらしながら基準画像のブロックとの相関演算を行い、相関値が最も大きいブロックの座標のズレ量を算出する。このズレ量は、画像座標系の対応する位置の輝度値に置き換えられ、画像形態の距離画像として保存される。例えば、図２（ａ）に例示するような基準画像Ｔｏのｉ，ｊ座標上の各ブロックに対してズレ量に応じた輝度値を割り当てることにより、図２（ｂ）に示すような距離画像Ｔｚが形成される。

認識コントローラ４は、画像処理エンジン３で測距された物体の３次元位置を用いて自車両の周囲に存在する物体の検出処理を行う。この認識コントローラ４による物体検出処理は、建築物や車両等のように形状が変化しない固定物体のみならず、空間内に浮遊する粒子群の塊（水蒸気や排気ガス）等の煙状の物体も対象としている。

認識コントローラ４は、このような水蒸気や排気ガス等の煙状物体を検出した場合、その煙状物体の領域内の距離分布を調べて「濃度」の属性情報として付加し、制御コントローラ５に送る。制御コントローラ５は、認識コントローラ４で検出した煙状物体に対して、その属性情報に基づいて運転支援の支援動作レベルを決定する。本実施の形態においては、運転支援の支援動作レベルとして、プリクラッシュブレーキ制御の実施可否及び動作強度を決定する。

すなわち、水蒸気や排気ガス等の煙状物体を検出した場合、安全を優先して一義的にプリクラッシュブレーキを作動させると、薄い水蒸気で前方を見通せるような場合には、ドライバの判断に対して不自然な運転支援が実行され、煩わしさを感じさせる可能性がある。一方、ドライバに煩わしさを感じさせないように一義的にプリクラッシュブレーキを禁止すると、前方を見通せないような濃い水蒸気等が自車両前方に発生している場合、水蒸気の中或いは直ぐ先に先行車両が存在する可能性があり、安全を確保する上で支障が生じる虞がある。

このため、認識コントローラ４には、図１に示すように、物体検出部５０、煙状物体判定部５１が備えられ、制御コントローラ５には、支援動作レベル決定部６０、支援制御部６１が備えられており、煙状の物体を検出した場合にも、その状態に応じた適切な運転支援処理を可能としている。このような煙状物体に対する運転支援処理は、図３のフローチャートに示す手順に従って実行される。以下、煙状物体に対する運転支援処理について、図３のフローチャートに従って説明する。

最初のステップＳ１は、物体検出部５０の処理であり、画像処理エンジン３からの距離情報に基づいて、互いに隣接する距離の情報をグループ化して物体を検出する。具体的には、物体検出部５０は、出力画像メモリ４０から前述した距離画像を読み出して、図４に示すように距離画像Ｔｚを所定の画素幅で垂直方向に延びる短冊状の区分Ｄｎに分割する。そして、短冊状の各区分Ｄｎに属する画素ブロックに割り当てられた距離Ｚについて、図５に示すようにヒストグラムＨｎを作成し、度数Ｆｎが最大の階級の階級値をその短冊状の区分Ｄｎにおける物体の距離Ｚｎとする。これを全区分Ｄｎについて行う。

各区分Ｄｎごとに得られた距離Ｚｎは、実空間上にプロットされ、図６に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化される。本実施の形態においては、各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両の車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”とラベルし、各点が自車両の車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”とラベルして分類する。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所には、“コーナー点”をラベルする。そして、各ラベルの隣接関係に基づいて、各ラベルを組合せて１つの物体として検出する。

また、検出した各物体の情報に基づいて、図７に示すように、基準画像上に撮像された各物体を包囲する矩形状の枠線を設定することで、各物体が撮像されている各領域を設定して基準画像上に各物体を検出する。図７の例では、各ラベルに対して、［側壁ＳＷ１］、［物体Ｏ１］、［側壁ＳＷ２］、［物体Ｏ２とコーナー点Ｃと側壁ＳＷ３］、［側壁ＳＷ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁ＳＷ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁ＳＷ６］をそれぞれ１つの物体として検出する例を示している。このようにして検出された各物体の情報、すなわち物体に属する距離の情報やグループの近似直線の端点や中点の座標、基準画像における各枠線の頂点の座標等は、それぞれメモリに保存される。

次のステップＳ２，Ｓ３は、煙状物体判定部５１の処理である。具体的には、ステップＳ２は、検出された物体が道路上の水蒸気や排気ガス等の煙状物体か否かを判定する処理、ステップＳ３は、煙状物体の場合、煙状物体の領域内の距離情報の分布に基づく属性情報を付加する処理である。

煙状物体か否かの判定は、例えば、以下の（１）〜（３）式に示すように、物体に属する距離Ｚｎの各情報の平均値Ｚaveを算出し、この平均値に対するばらつき量としての平均偏差Ｚdifや、物体に属する距離Ｚｎの情報に隣接する情報の距離Ｚnadjとの差の絶対値の平均値（距離差平均）ΔＺaveを用いて判定することができる。
Ｚave＝ΣＺｎ／ｎdet …（１）
Ｚdif＝Σ│Ｚｎ−Ｚave│／ｎdet …（２）
ΔＺave＝Σ│Ｚｎ−Ｚnadj│／ｎdet …（３）

尚、各式中のｎdetは、各物体が撮像された基準画像上の矩形状の枠線の領域に属する全区分Ｄｎのうち、距離Ｚｎが有効に検出された区分Ｄｎの総数を表し、各式の分子における総和は、この有効に検出された距離Ｚｎについて行われる。

例えば、図８に示すように、先行車両Ｖahと共にエキゾーストパイプから排出された排気ガスＥＧが検出されたような場合、物体すなわち排気ガスＥＧや先行車両Ｖahまでの距離Ｚｎの各情報を実空間上にプロットすると、図９に示すように、先行車両Ｖahの距離Ｚｎの各情報に対応すると考えられる各点は直線状に並ぶが、排気ガスＥＧの距離Ｚｎの各情報に対応すると考えられる各点は距離Ｚｎのばらつきが大きくなり、また、距離Ｚｎの各情報同士の差が大きいところが数カ所現れる。そのため、上述の（２）式で算出される距離Ｚｎの平均偏差Ｚdifが比較的大きな値になり、また、（３）式で算出される距離差平均ΔＺaveも大きな値になる。

平均偏差Ｚdif、距離差平均ΔＺaveについては、それぞれ予め閾値が設定されており、平均偏差Ｚdif、距離差平均ΔＺaveをそれぞれの閾値と比較することで、煙状物体か否かを判定する。平均偏差Ｚdif及び距離差平均ΔＺaveの双方がそれぞれの閾値より大きい場合には、検出された物体は水蒸気や排気ガス等の煙状物体であると判定し、それ以外の場合には、検出された物体は車両等のように形状が変化しない固定の物体であると判定する。

尚、平均偏差Ｚdifと距離差平均ΔＺaveとの２つの条件で判断するのは、例えば、前方の車両等がカーブして平均偏差Ｚdifが閾値より大きくなるような場合に対処するためであり、このような場合、距離差平均ΔＺaveが閾値以下となって煙状物体ではないと的確に判断することができ、誤判断を防止することが可能となる。

そして、以上の判定により、煙状物体でなく、通常の形状が変化しない物体であると判定された場合には、支援制御部６１による通常のプリクラッシュブレーキ制御を実行する（ステップＳ５）。このプリクラッシュブレーキ制御では、物体の距離情報等に基づく自車両と物体との相対速度（相対移動方向を含む）に基づいて、物体と自車両との衝突可能性を判断する。そして、衝突可能性がある場合には、図示しないブレーキアクチュエータを作動させてブレーキ圧を制御し、当該物体との衝突を回避する。

一方、検出された物体が煙状物体である場合には、煙状物体の「濃度」を判定して属性情報を付加する（ステップＳ３）。例えば、図１０に示すように、形状の変化しない物体Ｏに加え、道路上方に浮遊している排気ガスや水蒸気塊等が煙状物体Ｏmstとして検出された場合、図１１に示すように、煙状態物体Ｏmstを包囲する矩形状の枠線の領域内で、距離情報の区分（短冊状の区分）Ｄmstを調べ、各短冊状の区分Ｄmstに、煙状物体Ｏmstを代表する距離よりも遠方の距離情報がどの程度含まれているか否かを調べる。

本実施の形態においては、煙状物体の属性情報として、煙状物体の濃度をＮ１，Ｎ２，Ｎ３，Ｎ４の４段階に区分して属性を設定するようにしている。属性Ｎ１は、煙状物体の濃度が「濃い」状態で、前方を見渡すことが困難であることを示している。属性Ｎ２は、煙状物体の濃度が「中程度」で、ある程度前方を見渡すことが可能な状態であることを示している。属性Ｎ３は、煙状物体の濃度が「薄い」状態を示し、前方を見渡せることを示している。属性Ｎ４は、煙状物体の濃度が「かなり薄い」の状態で、支障なく前方を見渡せることを示している。

例えば、物体の枠線領域内の各短冊状の区分に、物体よりも遠方の距離情報が含まれる割合が３０％以下の場合は属性Ｎ１（濃い）、３０％〜５０以下の場合は属性Ｎ２（中程度）、５０％以上の場合は属性Ｎ３（薄い）、７０％以上の場合は属性Ｎ４（かなり薄い）を設定する。そして、この属性情報を付加された煙状物体に対して、属性情報に基づくプリクラッシュブレーキ制御を実行する（ステップＳ４）。

この煙状物体の属性情報に基づくプリクラッシュブレーキ制御においては、先ず、支援動作レベル決定部６０の処理として、プリクラッシュブレーキ制御の実施可否及び動作強度を、煙状物体の属性情報に基づいて決定する。プリクラッシュブレーキ制御を実施する場合の動作強度としては、警報、衝突可能性判断、衝突判断の３段階のレベルを想定し、以下に示すように、Ｎ１〜Ｎ４の属性に基づいて動作レベルを設定することで、支援制御部６１によるプリクラッシュブレーキ制御において、各レベルに対応した減速度を発生させるブレーキの作動を許可する。

Ｎ１（濃い）：
警報ブレーキ、衝突可能性判断ブレーキ、及び衝突判断ブレーキの作動を全て許可
Ｎ２（中程度）：
警報ブレーキ及び衝突可能性判断ブレーキの作動を許可
Ｎ３（薄い）：
警報ブレーキのみ許可
Ｎ４（かなり薄い）：
煙状物体に対するプリクラッシュブレーキは禁止

ここで、警報ブレーキは、比較的減速度の小さい警報的なブレーキであり、衝突の最大２．２秒前から作動可能である。また、衝突可能性判断ブレーキは、衝突の可能性が大きい場合に作動させるブレーキであり、衝突の最大１．４秒前から作動可能である。更に、衝突判断ブレーキは、衝突回避若しくは被害軽減のために最も大きい減速度を発生させるブレーキであり、衝突の最大０．６秒前から作動可能なブレーキである。

このように本実施の形態においては、水蒸気や排気ガス等の煙状の物体を検出した場合、その濃度を区分して属性情報を設定し、設定した属性情報に基づいて煙状の物体に対する運転支援としてのプリクラッシュブレーキ制御の実施可否及び動作強度を決定する。これにより、プリクラッシュブレーキの不要な作動を防止しつつ、効果的にプリクラッシュブレーキを作動させることができる。

１運転支援装置
２ステレオカメラ
３画像処理エンジン
４認識コントローラ
５制御コントローラ
３０ステレオ処理部
５０物体検出部
５１煙状物体判定部
６０支援動作レベル決定部
６１支援制御部

Claims

車両に搭載したステレオカメラで撮像した撮像画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置であって、
前記撮像画像内で互いに隣接する距離情報をグループ化して物体を検出する物体検出部と、
前記検出された物体が煙状の物体であるか否かを判定し、煙状の物体であると判定した場合、前記煙状の物体の領域内の距離情報の分布に基づいて、前記煙状の物体の濃度を複数段階に区分した属性情報を付加する煙状物体判定部と、
前記煙状の物体の属性情報に基づいて、前記煙状の物体に対する運転支援の動作レベルを決定する支援動作レベル決定部とを備え、
前記支援動作レベル決定部は、前記複数段階の属性情報に基づいて、前記煙状の物体に対するプリクラッシュブレーキ制御の実施可否及び複数段階のブレーキ強度を決定することを特徴とする運転支援装置。