JP4040620B2 - 車両周辺監視装置 - Google Patents

Description

この発明は、例えば可視光領域や赤外線領域にて撮像可能な撮像装置により撮影された画像により対象物抽出を行う車両周辺監視装置に関する。

従来、車両に搭載された撮像装置により得られる画像に基づき対象物を抽出し、この対象物の実空間上での位置を検出する際に、この画像に基づき車両のピッチングの影響を除くようにして補正を行う位置検出装置が知られている（例えば、特許文献１参照）。
また、車両に搭載された撮像装置により得られる画像に基づき対象物を抽出し、この対象物の実空間上での位置を検出する際に、この画像に基づき撮像装置の光軸の横方向のずれの影響を除くようにして補正を行う位置検出装置が知られている（例えば、特許文献２参照）。
特開２００２−５６２６号公報 特開２００２−５６５６号公報

ところで、上記従来技術に係る位置検出装置において、車両に搭載された初期状態で設定された撮像装置の光軸に対して、ピッチ角やパン角に係る補正量が増大することに伴い、初期状態の光軸により定まる画像領域と、対象物の探索領域とに応じて設定される処理対象領域が過剰にずれてしまい、車両周辺での所望の監視範囲に対して対象物の検出処理を適正に実行することが困難となる虞がある。
本発明は上記事情に鑑みてなされたもので、車両周辺での所望の監視範囲に対して対象物の検出処理を適正に実行することが可能な車両周辺監視装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車両周辺監視装置は、車両に搭載されて車両周辺を撮像する複数の撮像手段（例えば、実施の形態での各赤外線カメラ２Ｒ，２Ｌ）の撮像により得られる各複数の画像から対象物を抽出する車両周辺監視装置であって、前記複数の撮像手段の撮像により得られた各複数の画像に対して、所定の対象物抽出処理の実行対象とする画像領域を設定する画像領域設定手段（例えば、実施の形態での各画像切出部１２Ｒ，１２Ｌ）と、前記複数の撮像手段同士間の光軸のずれを検出する光軸ずれ検出手段（例えば、実施の形態での視差オフセット補正量算出部１３）と、前記複数の撮像手段の車両に対する取付状態として、各前記撮像手段毎の光軸の少なくともパン角またはピッチ角を検出する取付状態検出手段（例えば、実施の形態でのパン・ピッチ角補正量算出部１４）と、前記光軸ずれ検出手段の検出結果と、前記取付状態検出手段の検出結果とに基づき、前記画像領域設定手段により設定された前記画像領域を修正する画像領域修正手段（例えば、実施の形態でのオフセット切出位置補正部１５、パン・ピッチ切出位置補正部１６）とを備え、前記光軸ずれ検出手段は、前記車両の所定走行状態で各前記撮像手段毎に検知された静止対象物までの距離の所定時間での変化と、該所定時間での自車両の移動量との偏差に基づき、前記撮像手段同士間の光軸間平行度のずれを検出し、前記取付状態検出手段は、各前記撮像手段毎に検知された静止対象物の相対移動軌跡を、各前記撮像手段毎の光軸を基準とする座標平面に投影して得た直線の方向に基づき、各前記撮像手段毎の光軸の少なくともパン角またはピッチ角を検出することを特徴としている。

上記の車両周辺監視装置によれば、光軸ずれ検出手段の検出結果と、取付状態検出手段の検出結果とに基づき、画像領域設定手段により設定された画像領域を修正することから、撮像手段の光軸の補正に応じて画像領域を適切に設定し、車両周辺での所望の監視範囲に対して対象物の検出処理を適正に実行することができる。

さらに、請求項２に記載の本発明の車両周辺監視装置は、前記画像領域修正手段により修正された前記画像領域が、前記撮像手段の所定の画像保証範囲を超えているか否かを判定する画像保証範囲判定手段（例えば、実施の形態での切出位置判定部１７）と、前記画像保証範囲判定手段により、前記画像領域修正手段により修正された前記画像領域が前記所定の画像保証範囲を超えていると判定された場合に警報を出力する報知手段（例えば、実施の形態での報知装置２１）とを備えることを特徴としている。

上記の車両周辺監視装置によれば、画像領域に対する修正量が過剰となって、画像領域が画像保証範囲を超える状態となり、画像領域内のデータの信頼度が過剰に低下する場合には警報を出力することで、対象物の検出処理の信頼度を車両の乗員に適切に認識させることができる。

以上説明したように、請求項１に記載の本発明の車両周辺監視装置によれば、光軸ずれ検出手段の検出結果と、取付状態検出手段の検出結果とに基づき、画像領域設定手段により設定された画像領域を修正することから、撮像手段の光軸の補正に応じて画像領域を適切に設定し、車両周辺での所望の監視範囲に対して対象物の検出処理を適正に実行することができる。
さらに、請求項２に記載の本発明の車両周辺監視装置によれば、画像領域に対する修正量が過剰となって、画像領域が画像保証範囲を超える状態となり、画像領域内のデータの信頼度が過剰に低下する場合には警報を出力することで、対象物の検出処理の信頼度を車両の乗員に適切に認識させることができる。

以下、本発明の一実施形態に係る車両周辺監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周辺監視装置は、例えば図１に示すように、車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニット１と、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ，２Ｌと、自車両のヨーレートを検出するヨーレートセンサ３と、自車両の走行速度（車速）を検出する車速センサ４と、運転者によるブレーキ操作の有無を検出するブレーキセンサ５と、スピーカ６と、表示装置７とを備えて構成され、例えば、画像処理ユニット１は２つの赤外線カメラ２Ｒ，２Ｌの撮影により得られる自車両周辺の赤外線画像と、各センサ３，４，５により検出される自車両の走行状態に係る検出信号とから、自車両の進行方向前方の歩行者や動物等の移動体を検出し、検出した移動体と自車両との接触が発生する可能性があると判断したときに、スピーカ６または表示装置７を介して警報を出力するようになっている。
なお、表示装置７は、例えば自車両の各種走行状態量を表示する計器類と一体化された表示装置やナビゲーション装置の表示装置、さらにフロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するＨＵＤ（Head Up Display）７ａ等を備えて構成されている。

また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路と、ディジタル化した画像信号を記憶する画像メモリと、各種演算処理を行うＣＰＵ（中央演算装置）と、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）と、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）と、スピーカ６の駆動信号やＨＵＤ７ａ等の表示信号などを出力する出力回路とを備えており、赤外線カメラ２Ｒ，２Ｌおよび各センサ３，４，５から出力される信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。

なお、例えば図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ，２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、対象物の温度が高いほど、出力信号レベルが高くなる（つまり、輝度が増大する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

そして、画像処理ユニット１は、例えば図３に示すように、２つの赤外線カメラ２Ｒ（以下、マスターカメラ２Ｒと呼ぶ）および赤外線カメラ２Ｌ（以下、スレーブカメラ２Ｌと呼ぶ）に対応して、Ａ／Ｄ変換器１０Ｒ，１０Ｌと、画像メモリ１１Ｒ，１１Ｌと、画像切出部１２Ｒ，１２Ｌと、視差オフセット補正量算出部１３と、パン・ピッチ角補正量算出部１４と、オフセット切出位置補正部１５と、パン・ピッチ切出位置補正部１６と、切出位置判定部１７とを備えて構成され、特に、画像処理ユニット１の切出位置判定部１７には、スピーカ６および表示装置７を具備する報知装置２１が接続されている。

この画像処理ユニット１において、各画像メモリ１１Ｒ，１１Ｌは各赤外線カメラ２Ｒ，２Ｌから受信した赤外線画像を各Ａ／Ｄ変換器１０Ｒ，１０Ｌを介してデジタルデータとして記憶する。
各画像切出部１２Ｒ，１２Ｌは、予め定められた各カメラ２Ｒ，２Ｌの光学設計（例えば、カメラ画角）および設置方向に基づき、赤外線画像上において対象物検知処理を実行する所定の領域（対象物検知処理領域）を設定する（切り出す）。ここでは、例えば四角形をなす対象物検知処理領域ＥＡを、例えば対象物検知処理領域ＥＡの左上座標である画像切出開始位置ＥＬ（ｘ０，ｙ０）と、所定の切出幅Ｅ＿Ｗおよび切出高さＥ＿Ｈとにより設定する。ここで、対象物検知処理領域ＥＡは、赤外線画像上での各カメラ２Ｒ，２Ｌの全画角領域ＴＡ内の所定の画像保証領域ＧＡよりも小さな領域とされている。また、所定の画像保証領域ＧＡは、例えばこの画像保証領域ＧＡ内の対象物に対して実行する所定のステレオ三角測距処理において所望の測定精度を確保することが可能な領域であって、例えばレンズ収差が所定値未満、かつ、画素欠損の存在率が所定値未満の領域とされている。
なお、赤外線画像上の座標は、赤外線画像上の中心を原点として水平方向をｘ方向、垂直方向をｙ方向（例えば、垂直方向下方を正方向とする）として設定されている。

視差オフセット補正量算出部１３は、予め設定された各カメラ２Ｒ，２Ｌの取付位置や設置方向のずれとして、各カメラ２Ｒ，２Ｌの光軸ＰＲ，ＰＬの相対的な軸ずれに起因する視差オフセットｄを補正する視差オフセット補正量を算出し、この視差オフセット補正量に基づき、対象物検知処理領域ＥＡの画像切出開始位置ＥＬ（ｘ０，ｙ０）を補正する位置補正量を算出する。
そして、オフセット切出位置補正部１５は、視差オフセット補正量算出部１３にて算出された位置補正量に応じて、特に、スレーブカメラ２Ｌに対する対象物検知処理領域ＥＡの位置を補正する。
例えば図４に示すように、マスターカメラ２Ｒの光軸ＰＲ上に対象物ＯＢが存在する状態で互いに平行の光軸ＰＲ，ＰＬ間の距離のずれ（ｘ方向正方向への軸ずれΔＰ）が生じた場合、スレーブカメラ２Ｌの撮影素子上の結像位置の変化（つまり、結像位置ｆＰＬ０から結像位置ｆＰＬへの変化）である光軸平行視差が視差オフセットｄとなる。
これにより、例えば図５に示すように、赤外線画像上での各カメラ２Ｒ，２Ｌの全画角領域ＴＡ内の所定の画像保証領域ＧＡ内に設定される対象物検知処理領域ＥＡに対し、画像切出開始位置ＥＬ（ｘ０，ｙ０）は、視差オフセットｄに応じた位置補正量（例えば、ｘ方向負方向に対する補正量Δｘ）で補正され、画像切出開始補正位置ＥＬＣ（ｘ０−Δｘ，ｙ０）へと変更される。

また、光軸ＰＲ，ＰＬ間に相対的な平行状態からのずれが生じた場合、例えば光軸間平行度のずれに応じた相対パン角に起因する視差が視差オフセットｄとなる。この場合、視差オフセットｄは、例えば自車両の直進状態で各カメラ２Ｒ，２Ｌにより検知した適宜の静止対象物までの距離の所定時間での変化と、この所定時間でのナビゲーション装置等により検出された自車両の移動量との偏差に応じた値とされ、例えば下記数式（１）に示す自乗誤差Ｅが最小となるときの視差オフセット値Δｄとされる。なお、下記数式（１）は、例えば、カメラ基線長、つまり各カメラ２Ｒ，２Ｌの各撮像素子の中心位置間の水平距離Ｄと、カメラ焦点距離、つまり各カメラ２Ｒ，２Ｌの各レンズの焦点距離ｆと、画素ピッチｐと、時刻ｉから時刻ｊの間での自車両の移動量Ｌ［ｊ，ｉ］と、各時刻ｉ，ｊでの視差ｄ［ｉ］，ｄ［ｊ］とにより記述されている。

パン・ピッチ角補正量算出部１４は、予め設定された各カメラ２Ｒ，２Ｌの取付位置や設置方向のずれとして、例えば車両進行方向に対する各カメラ２Ｒ，２Ｌ毎の光軸ＰＲ，ＰＬの横方向のずれを示すパン角や、例えば車両のピッチングにより生じる車両進行方向に対する各カメラ２Ｒ，２Ｌ毎の光軸ＰＲ，ＰＬの上下方向のずれを示すピッチ角等を、各カメラ２Ｒ，２Ｌ毎に算出し、各カメラ２Ｒ，２Ｌ毎のパン角やピッチ角に基づき、対象物検知処理領域ＥＡの画像切出開始位置ＥＬ（ｘ０，ｙ０）を補正する位置補正量を算出する。
そして、パン・ピッチ切出位置補正部１６は、パン・ピッチ角補正量算出部１４にて算出された各カメラ２Ｒ，２Ｌ毎の位置補正量に応じて、各カメラ２Ｒ，２Ｌに対する対象物検知処理領域ＥＡの位置を補正する。
例えば、パン・ピッチ角補正量算出部１４は、赤外線画像上にて検知される静止対象物の相対移動軌跡を近似する近似直線ＬＭＶを算出する。そして、各カメラ２Ｒ，２Ｌの光軸ＰＲ，ＰＬを基準とするカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）に対して、近似直線ＬＭＶをＸｃ−Ｚｃ平面に投影した直線とＺｃ軸とのなす角をパン角φとし、近似直線ＬＭＶをＹｃ−Ｚｃ平面に投影した直線とＺｃ軸とのなす角をピッチ角θとする。

なお、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）は、例えば下記数式（２）に示すように算出され、自車両１０の前部における各カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点Ｏとし、赤外線画像上の座標は、赤外線画像上の中心を原点として水平方向をｘ方向、垂直方向をｙ方向として設定されている。また、座標（ｘｃ，ｙｃ）は、基準画像（例えば、右画像）上の座標（ｘ，ｙ）を、マスターカメラ２Ｒの取付位置と、実空間の原点Ｏとの相対位置関係に基づいて、実空間の原点Ｏと画像データの中心とを一致させて得た仮想的な画像上の座標に変換して得た座標である。また、下記数式（２）において、自車両１０と対象物との距離つまり各カメラ２Ｒ，２Ｌのレンズと対象物との距離（対象物距離）ｚ（ｍ）は、カメラ基線長、つまり赤外線カメラ２Ｒ，２Ｌの各撮像素子の中心位置間の水平距離Ｄ（ｍ）と、カメラ焦点距離、つまり赤外線カメラ２Ｒ，２Ｌの各レンズの焦点距離ｆ（ｍ）と、画素ピッチｐ（ｍ／ｐｉｘｅｌ）と、画素数単位での視差Δｄ（ｐｉｘｅｌ）とに基づき算出される。

例えば図６に示すように、マスターカメラ２Ｒの光軸ＰＲ上に対象物ＯＢが存在する状態で各光軸ＰＲ，ＰＬが上方に向かい傾くようにしてピッチ角θの軸ずれが生じた場合、例えば図７および図８に示すように、赤外線画像上での各カメラ２Ｒ，２Ｌの全画角領域ＴＡ内の所定の画像保証領域ＧＡ内に設定される対象物検知処理領域ＥＡに対し、画像切出開始位置ＥＬ（ｘ０，ｙ０）は、下記数式（３）に示すように、ピッチ角θに応じた位置補正量で補正され、画像切出開始補正位置ＥＬＣ（ｘ０，ｙ）へと変更される。

切出位置判定部１７は、オフセット切出位置補正部１５またはパン・ピッチ切出位置補正部１６により位置が補正された対象物検知処理領域ＥＡが、赤外線画像上での各カメラ２Ｒ，２Ｌの全画角領域ＴＡ内の所定の画像保証領域ＧＡ内に含まれているか否かを判定する。そして、例えば図９に示すように、この判定結果が「ＹＥＳ」の場合には、補正された対象物検知処理領域ＥＡに対して所定の物体検知処理を実行する。一方、例えば図１０に示すように、この判定結果が「ＮＯ」の場合には、例えばスピーカ６を介した警報音や音声等の聴覚的警報や、例えば表示装置７を介した表示等の視覚的警報等を報知装置２２から出力させると共に、補正された対象物検知処理領域ＥＡに対する物体検知処理の実行を禁止する。

上述したように、本実施形態による車両周辺監視装置によれば、視差オフセット補正量算出部１３にて算出された位置補正量と、パン・ピッチ角補正量算出部１４にて算出された各カメラ２Ｒ，２Ｌ毎の位置補正量とに応じて、各カメラ２Ｒ，２Ｌに対する対象物検知処理領域ＥＡの位置を補正することから、各カメラ２Ｒ，２Ｌの光軸ＰＲ，ＰＬの補正に応じて対象物検知処理領域ＥＡを適切に設定し、車両周辺での所望の監視範囲に対して対象物の検出処理を適正に実行することができる。
また、対象物検知処理領域ＥＡに対する補正量が過剰となって、対象物検知処理領域ＥＡが所定の画像保証領域ＧＡを超える状態となり、対象物検知処理領域ＥＡ内のデータの信頼度が過剰に低下する場合には警報を出力し、物体検知処理の実行を禁止することで、対象物の検出処理の信頼度を車両の乗員に適切に認識させると共に、信頼度が過剰に低い検出結果が車両の乗員に提示されてしまうことを防止することができる。

本発明の実施の形態に係る車両周辺監視装置の構成を示すブロック図である。 図１に示す車両周辺監視装置を搭載した車両を示す図である。 図１に示す画像処理ユニットの構成図である。 マスターカメラの光軸ＰＲ上に対象物ＯＢが存在する状態でマスターカメラおよびスレーブカメラの互いに平行の光軸ＰＲ，ＰＬ間に生じる距離のずれ（軸ずれ）の一例を示す図である。 スレーブカメラの全画角領域ＴＡ内の所定の画像保証領域ＧＡ内に設定される対象物検知処理領域ＥＡの画像切出開始位置ＥＬ（ｘ０，ｙ０）と画像切出開始補正位置ＥＬＣ（ｘ０−Δｘ，ｙ０）との一例を示す図である。 マスターカメラの光軸ＰＲ上に対象物ＯＢが存在する状態で各光軸ＰＲ，ＰＬが上方に向かい傾くようにして生じるピッチ角θの軸ずれの一例を示す図である。 マスターカメラの赤外線画像上での各カメラの全画角領域ＴＡ内の所定の画像保証領域ＧＡ内に設定される対象物検知処理領域ＥＡの画像切出開始位置ＥＬ（ｘ０，ｙ０）と画像切出開始補正位置ＥＬＣ（ｘ０，ｙ）との一例を示す図である。 スレーブカメラの赤外線画像上での各カメラの全画角領域ＴＡ内の所定の画像保証領域ＧＡ内に設定される対象物検知処理領域ＥＡの画像切出開始位置ＥＬ（ｘ０，ｙ０）と画像切出開始補正位置ＥＬＣ（ｘ０，ｙ）との一例を示す図である。 補正された対象物検知処理領域ＥＡが所定の画像保証領域ＧＡ内に含まれている状態の一例を示す図である。 補正された対象物検知処理領域ＥＡが所定の画像保証領域ＧＡ内から逸脱する状態の一例を示す図である。

符号の説明

１ 画像処理ユニット
２Ｒ，２Ｌ 赤外線カメラ（撮像手段）
３ ヨーレートセンサ
４ 車速センサ
５ ブレーキセンサ
６ スピーカ
７ 表示装置
１０ 自車両
１２Ｒ，１２Ｌ 画像切出部（画像領域設定手段）
１３ 視差オフセット補正量算出部（光軸ずれ検出手段）
１４ パン・ピッチ角補正量算出部（取付状態検出手段）
１５ オフセット切出位置補正部（画像領域修正手段）
１６ パン・ピッチ切出位置補正部（画像領域修正手段）
１７ 切出位置判定部（画像保証範囲判定手段）
２１ 報知装置（報知手段）

Claims (2)

1. 車両に搭載されて車両周辺を撮像する複数の撮像手段の撮像により得られる各複数の画像から対象物を抽出する車両周辺監視装置であって、
   前記複数の撮像手段の撮像により得られた各複数の画像に対して、所定の対象物抽出処理の実行対象とする画像領域を設定する画像領域設定手段と、
   前記複数の撮像手段同士間の光軸のずれを検出する光軸ずれ検出手段と、
   前記複数の撮像手段の車両に対する取付状態として、各前記撮像手段毎の光軸の少なくともパン角またはピッチ角を検出する取付状態検出手段と、
   前記光軸ずれ検出手段の検出結果と、前記取付状態検出手段の検出結果とに基づき、前記画像領域設定手段により設定された前記画像領域を修正する画像領域修正手段と
   を備え、
   前記光軸ずれ検出手段は、前記車両の所定走行状態で各前記撮像手段毎に検知された静止対象物までの距離の所定時間での変化と、該所定時間での自車両の移動量との偏差に基づき、前記撮像手段同士間の光軸間平行度のずれを検出し、
   前記取付状態検出手段は、各前記撮像手段毎に検知された静止対象物の相対移動軌跡を、各前記撮像手段毎の光軸を基準とする座標平面に投影して得た直線の方向に基づき、各前記撮像手段毎の光軸の少なくともパン角またはピッチ角を検出することを特徴とする車両周辺監視装置。
2. 前記画像領域修正手段により修正された前記画像領域が、前記撮像手段の所定の画像保証範囲を超えているか否かを判定する画像保証範囲判定手段と、
   前記画像保証範囲判定手段により、前記画像領域修正手段により修正された前記画像領域が前記所定の画像保証範囲を超えていると判定された場合に警報を出力する報知手段と
   を備えることを特徴とする請求項１に記載の車両周辺監視装置。
   
   

Images