JP3651419B2

JP3651419B2 - 環境認識装置

Info

Publication number: JP3651419B2
Application number: JP2001236595A
Authority: JP
Inventors: 省吾渡辺; 宏高橋
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-08-03
Filing date: 2001-08-03
Publication date: 2005-05-25
Anticipated expiration: 2021-08-03
Also published as: JP2003051015A; US6956959B2; US20030026455A1; EP1281983A2; EP1281983B1; EP1281983A3

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理によって自車両の周囲の状況を認識する環境認識装置に関する。
【０００２】
【従来の技術】
自車両の周囲の状況を監視する従来装置としては、例えば特開２０００−２５９９９８号公報に記載されたものがある。この公知技術は、オプティカルフロー（時間間隔のある二つの画像間の対応する点を結んだ速度ベクトル）を用いて自車両と後続他車両の位置関係を把握し、走行中に得た自車両の走行した道路に関する情報から、自車線と隣接車線とを区別する白線を推定し、オプティカルフローを発生する他車両が自車線、隣接車線の何れかに存在するのかを判定する構成となっていた。
【０００３】
【発明が解決しようとする課題】
上記のごとき従来のオプティカルフローを用いた監視装置においては、撮像手段から得た所定時間毎の連続する２枚の画像において対応する点を探索し、その対応する点を結ぶことで速度ベクトルを得るという構成であり、対応点の検出に際して画像間の相関を計算するか、あるいは濃度勾配についての拘束条件を用いて操り返し演算によりフローも算出する必要があるため、処理手続きが煩雑になる。そのため、計算量が膨大となり、高速に移動方向を得るためには高性能で高価なＣＰＵを用いなければ実現できないという問題点があった。
【０００４】
本発明は上記のごとき従来技術の問題を解決するためになされたものであり、計算量を低減して自車両周囲の環境を簡単に認識することの出来る環境認識装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため本発明においては、特許請求の範囲に記載するように構成している。すなわち、請求項１に記載の発明においては、車両に装着され自車両周囲を撮像して周囲画像を得る撮像手段と、前記周囲画像に対して所定のサンプリング間隔毎にフィルタ処理を行い処理画像とエッジ情報を得るフィルタ処理手段と、前記処理画像を記憶する処理画像記憶手段と、前記処理画像と任意のサンプリング間隔前の処理画像との差分画像を得る画像差分手段と、前記エッジ情報の画素位置における前記差分画像の画素値の符号と前記画素値の変化型より前記画素位置の移動方向を検出し、任意の移動方向を有する画素数の累積値を、その移動速度域毎に計算する度数累積手段と、前記度数累積手段の累積値に応じて周囲環境の判定を行う判定手段と、を備えるように構成している。
【０００６】
また、請求項２に記載の発明において、前記フィルタ処理手段は、前記周囲画像に対して側抑制効果のあるフィルタ処理を施し、エッジの画素位置と、前記画素位置における画素値の変化型と、よりなるエッジ情報を検出するものである。
【０００７】
また、請求項３に記載の発明において、前記フィルタ処理手段は、前記周囲画像に対して側抑制効果のあるフィルタ処理を施すことによって前記処理画像を得た後、前記処理画像中から任意の方向の隣接画素の画素値の符号が反転している画素位置を前記エッジの画素位置とし、かつ、前記符号が正から負へ反転している場合と負から正へ反転している場合とを区別して前記画素値の変化型とするように構成している。
【０００９】
また、請求項４に記載の発明において、前記判定手段は、前記度数累積手段により得られた累積値に基づき、物体が自車両に接近しているか否かを判定するとともに、接近すると判定された物体の速度に応じてブレーキ、操舵の制御量と警報レベルとの少なくとも一方を決定するように構成している。
【００１０】
また、請求項５に記載の発明において、前記判定手段は、前記エッジ情報と前記累積値に基づき、車載のカメラとレーダの少なくとも一方の探索範囲および処理範囲を変化させるように構成している。
【００１１】
【発明の効果】
請求項１の発明によれば、所定のサンプリング間隔毎の差分画像の画素値に基づいて移動個所の画素数を逐次累積するので、所定の移動速度領域毎の速度分布を簡単に得ることができる。そのため処理が単純になるので少ない計算量で自車両周囲の環境を認識することが出来る。また、処理画像の注目画素位置に対応する差分画像の画素値の符号を調べるだけで、注目画素がどちらの方向に移動しているのかが分かるため、動き検出の計算量を大きく削減できる。
【００１２】
請求項２の発明によれば、フィルタ処理として側抑制効果を有するフィルタを用いてエッジの画素位置を求めるとともに、そのエッジについて注目する方向の画素値の変化型より構成されるエッジ情報を抽出するので、不要な個所つまりほぼ一定の画素値を有して移動変化を検出できないような個所については、あらかじめ処理から排除するので、不要な計算量を削減することができる。
【００１３】
請求項３の発明によれば、エッジ情報をエッジの画素位置と画素値の変化型とで表すことにより、処理が単純となり計算量を削減できる。
【００１４】
請求項４の発明によれば、移動画素の移動方向毎かつ移動速度域毎に分類された画素数の累積度数には、注目する移動方向および速度を有する対象物の存在可能性および自車両に対する危険度が反映されているので、画面毎に所定の累積度数を調べるだけで、注目対象を特定するための計算および危険度の計算が不要となり、計算負荷を大幅に軽減できる。
【００１５】
請求項５の発明によれば、エッジ情報と累積度数に基づき、所定の移動ベクトルを有する移動体の存在する領域を、画像中に特定することができるので、車両に既設のカメラやレーダの探索範囲および処理範囲を効率よく限定することが可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
図１は本発明に係る環境認識装置のブロック構成図である。
図１において、撮像手段１０は、車両に搭載され、車両前方や後方等、車両周囲の画像を撮像して画像を得るものであり、例えば電子式のカメラ等である。フィルタ処理部２０は、撮像手段１０により撮像された画像について、所定のサンプリング間隔ごとにフィルタリング処理を行い、画像中のエッジ位置等のエッジ情報を抽出する。処理情報記憶手段３０は、上記の所定のサンプリング周期でフィルタリング処理された処理画像を記憶する。画像差分手段４０は、処理情報記憶手段３０に記憶された処理画像と、フィルタ処理手段２０により処理された最新の処理画像との差分画像を算出する。度数累積手段５０は、フィルタ処理手段２０により抽出されたエッジ位置に相当する差分画像の画素値を参照し、参照した画素値とエッジの型（詳細後述）に基づき、エッジ位置が移動した方向毎に、エッジの画素数を累積する。判定手段６０は、度数累積手段５０により生成された速度方向毎のエッジ画素数累積値に基づき、自車両に接近する物体の存在を判定して、車両アクチェエータヘの制御指令や警報信号を発したり、車両に搭載されているカメラやレーダのセンシング領域を変化あるいは限定する指令値を発生する。アクチュエータおよび警報手段７０は、上記の制御指令や警報信号に応じて必要な制御動作を行い、また警報を発生する。
【００１７】
次に、図２は処理周期と制御周期の関係を示す波形図、図３は所定時間間隔毎の処理画像を示す模式図である。以下、図１の各構成手段の動作を図２および図３に基づき説明する。
図１の各構成手段は、処理（サンプリング）周期（ａ）または制御周期（ｂ）のいずれかに従って動作する。すなわち、撮像手段１０、フィルタ処理手段２０、画像差分手段４０および度数累積手段５０は処理周期（ａ）に従い、処理情報記憶手段３０および判定手段６０は制御周期（ｂ）に従う。
【００１８】
図２において、時刻ｔが制御周期の開始時刻であるとする。撮像手段１０は時刻ｔに車両周囲の画像Ｉ（ｔ）を撮像し、続いてフィルタ処理手段２０によりフィルタ処理（例えば後述する側抑制効果のあるフィルタ処理）を施し、処理情報記憶手段３０に処理画像Ｉｅ（ｔ）を記憶する。
次に撮像手段１０は、１処理周期後の時刻ｔ＋Δｔにおける画像Ｉ（ｔ＋Δｔ）を取得し、取得画像Ｉ（ｔ＋Δｔ）をフィルタ処理手段２０にて処理し、処理画像Ｉｅ（ｔ＋Δｔ）を得る。このとき、フィルタ処理手段２０は、エッジ位置と着目する方向のエッジの型についてのエッジ情報ｅ（ｘ，ｙ，ｔｙｐｅ）を抽出する。
【００１９】
上記のエッジ情報ｅ（ｘ，ｙ，ｔｙｐｅ）はエッジ位置の座標情報（ｘ，ｙ）とエッジ型情報（詳細後述）から構成される。図３において、各時間（ｔ、ｔ＋Δｔ、ｔ＋２Δｔ…）の下に表示された菱形が各処理画像を表し、時間ｔにおける処理画像が処理情報記憶手段３０に記憶される処理画像である。
【００２０】
続いて画像差分手段４０により、処理情報記憶手段３０に記憶されている処理画像Ｉｅ（ｔ）を用いて、Ｉｅ（ｔ＋Δｔ）−Ｉｅ（ｔ）を実行し、差分画像Ｉｓ（ｔ，Δｔ）を得る。この差分画像Ｉｓ（ｔ，Δｔ）は制御周期ｔにおけるサンプリング間隔Δｔの画像間の差分画像である。
【００２１】
度数累積手段５０は、フィルタ処理手段２０により得られたエッジ位置ｅ（ｘ，ｙ）に相当する差分画像Ｉｓ（ｔ，Δｔ）中の画素ｐ（ｔ，Δｔ，ｘ，ｙ）を参照し、その符号とエッジ型に基づき、エッジが移動しているか否かを判定するとともに移動方向を検出し、注目するエッジ位置が移動している場合は、移動方向に応じた速度ｖ（Δｔ）の累積値を１だけ増やす。上記の累積操作をすべてのエッジ位置について行う。
【００２２】
続いて、２処理周期後の時刻ｔ＋２Δｔにおける画像Ｉ（ｔ＋２Δｔ）を取得し、取得画像Ｉ（ｔ＋２Δｔ）をフィルタ処理手段２０にて処理し、処理画像Ｉｅ（ｔ＋２Δｔ）を得る。このとき、フィルタ処理手段２０は、エッジ位置と着目する方向のエッジの型についてのエッジ情報ｅ（ｘ，ｙ，ｔｙｐｅ）を抽出する。
続いて画像差分手段４０により、処理画像記憶手段３０に記憶されているＩｅ（ｔ）を用いて、Ｉｅ（ｔ＋２Δｔ）−Ｉｅ（ｔ）を実行し、差分画像Ｉｓ（ｔ，２Δｔ）を得る。
【００２３】
度数累積手段５０は、フィルタ処理手段２０により得られたエッジ位置ｅ（ｘ，ｙ）に相当する差分画像Ｉｓ（ｔ，２Δｔ）中の画素ｐ（ｔ，２Δｔ，ｘ，ｙ）を参照し、その符号とエッジ型に基づき、エッジが移動しているか否かを判定するとともに移動方向を検出し、注目するエッジ位置が移動している場合は、移動方向に応じた速度ｖ（２Δｔ）の累積値を１だけ増やす。上記の累積操作をすべてのエッジ位置について行う。
【００２４】
図２では、制御周期が５Δｔであるので、撮像から度数累積までの処理を４処理周期後のｔ＋４Δｔまで繰り返し、移動方向毎に画素の速度分布を、例えばヒストグラムの形式で得る（例えば後記図５参照）。
判定手段６０は時刻ｔに始まる制御周期の最後に、繰り返し処理により得た速度分布に基づいた判定を行い、必要に応じて制御指令や警報信号を出力する（詳細後述）。
図１の装置は、図２に示した各制御周期毎に上述した処理を繰り返して実行する。なお、処理周期は速度分解能と制御周期に応じて定める。
【００２５】
次に、図４は、本発明における対象物の動き検出の原理を説明するための図である。以下、図４に基づいて動き検出の原理を説明する。なお、図４は、簡単のために、画像が１次元であるとし、縦軸（ｙ軸）は画素値、横軸（ｘ軸）は画素位置であるとする。また、４００はステップ状に変化する画像Ｉ（ｔ）である。
【００２６】
図４（ａ）では、Ｉ（ｔ）４００が時刻Δｔ後に破線で示す右のＩ（ｔ＋Δｔ）４１０に移動し、図４（ｂ）では、Ｉ（ｔ）４００が時刻Δｔ後に破線で示す左のＩ（ｔ＋Δｔ）４２０に移動している場合について説明する。
まず、原画像Ｉ（ｔ）４００、４１０、４２０に側抑制効果のあるフィルタを施すと、それぞれ処理画像Ｉｅ（ｔ）４０１、Ｉｅ（ｔ＋Δｔ）４１１、Ｉｅ（ｔ＋Δｔ）４２１が得られる。なお、側抑制効果とは、必要とする注目点（例えばエッジ）以外の部分を抑制し、注目点のみを強調する効果であり、このような効果を有するフィルタとしては、例えばガウシアンフィルタとラプラシアンフィルタとを組み合わせたものがある。
【００２７】
次に、最新の処理画像Ｉｅ（ｔ＋Δｔ）４１１、Ｉｅ（ｔ＋Δｔ）４２１より、画素値の符号が正から負または負から正に変化しているゼロ交差点４１２、４２２の座標を求める。このゼロ交差点位置は、エッジの位置座標に相当する。また、ゼロ交差点が、正から負または負から正に変化するパターンをもって、エッジの型情報（ｔｙｐｅ）とする。すなわち、エッジ情報ｅ（ｘ，ｔｙｐｅ）は、エッジ位置座標ｘおよび、ゼロ交差点において画素値が正から負に変化するのか、正から負に変化するのかによって決まるエッジの変化型を示す指標ｔｙｐｅにより構成される。例えば、図４のゼロ交差点４１２、４２２において、ゼロ交差点の画素値は、画素位置の小さいほうから大きいほうに向かって、正から負に変化している。この場合のｔｙｐｅを“０”とし、逆に、負から正に変化する場合のｔｙｐｅを“１”とする。このように、エッジの型情報（ｔｙｐｅ）はエッジの変化型を一意に示す指標であればよい。図４では、画素位置の小さいほうから大きいほうに向かって、正から負に変化するｔｙｐｅを“０”、負から正に変化するｔｙｐｅを“１”と規定する。
【００２８】
上記のようにフィルタ処理として側抑制効果を有するフィルタを用いてエッジの画素位置を求めるとともに、そのエッジについて注目する方向の画素値の変化型より構成されるエッジ情報を抽出するので、不要な個所つまりほぼ一定の画素値を有して移動変化を検出できないような個所については、あらかじめ処理から排除するので、不要な計算量を削減することができる。
また、エッジ情報をエッジの画素位置と画素値の変化型とで表すことにより、処理が単純となり計算量を削減できる。
【００２９】
次に、画像間差分処理Ｉｅ（ｔ＋Δｔ）−Ｉｅ（ｔ）を実施し、差分画像Ｉｓ（ｔ，Δｔ）４１３、Ｉｓ（ｔ，Δｔ）４２３を得る。
ここで、先に得たエッジ情報ｅ（ｘ，ｔｙｐｅ）のエッジ位置情報（ｘ）に基づき、差分画像Ｉｓ（ｔ，Δｔ）中の画素ｐ（ｔ，Δｔ，ｘ）を参照し、その符号を調べる。このとき、エッジ型ｔｙｐｅが“０”であるので、ｐ（ｔ，Δｔ，ｘ）の符号が正であれば、当該するエッジは右に移動し、ｐ（ｔ，Δｔ，ｘ）の符号が負であれば、当該するエッジは左に移動していることが一意に定まる。
【００３０】
また、エッジ型ｔｙｐｅが“１”である場合、ｐ（ｔ，Δｔ，ｘ）の符号が正であれば、当該するエッジは左に移動し、ｐ（ｔ，Δｔ，ｘ）の符号が負であれば、当該するエッジは右に移動していることが一意に定まる。
【００３１】
このように、側抑制効果のあるフィルタにより処理した画像間の差分画像の符号とエッジ型とに基づき、簡単に注目画素の移動方向を検出することが可能となる。つまり、処理画像の注目画素位置に対応する差分画像の画素値の符号を調べるだけで、注目画素がどちらの方向に移動しているのかが分かるため、動き検出の計算量を大きく削減できる。
【００３２】
また、差分処理する画像間隔に応じて、速度に適合した検出が出来る。すなわち、図３に示すように、高速度で移動する物体は短時間に画像が変化するので、１サンプリング間隔（Δｔ）毎の差分処理に検出結果が現われ、また、速度が低くなるに従って画像の変化速度が小さくなるので、２Δｔ→４Δｔと画像間隔の大きな差分処理に結果が現われる。すなわち、差分処理する画像間隔を変化させて算出することは、各画像間隔とサンプリングレートにより決まる速度場（速度ベクトル）とが１対１に対応するので、１制御周期内で画像間隔をΔｔ、２Δｔ、３Δｔ、４Δｔと変化させ、４種の画像間隔で差分画像を求めることにより、移動速度域毎に移動する画素数の累積値を得ることが可能となる。
【００３３】
次に、図５は、判定手段６０における車両制御と警報の判定方法を説明するための図であり、車両前方を撮像した際の画像例を示す。以下、前記の検出原理に基づいて得た、移動方向、速度域毎の画素の累積度数に基づき、車両制御、警報を行う仕組みについて、図５に基づき説明する。
【００３４】
一般に走行中の車両により得られる前方画像中の速度分布は、消失点（例えば走行方向前方で道路の両側線が交わる点）から流出する方向の画素が多い。つまり、画像左側については、左方向に移動する画素が多く、また画像右側については、右に移動する画素が多い。このような状況下で、右車線から自車両前方に割り込む車両等がある場合、右側の窓中の速度分布が変化し、左側に移動する画素数が多くなる。そこで、画像を左右に分割（図５の中央の破線で左右に分割）し、左の窓については右方向に移動する画素の速度分布を得る。また右の窓については左方向に移動する画素の速度分布を得る。これらの速度分布の累積度数を、あらかじめ設定した所定値と比較し、所定値よりも大きければ、自車両に対して物体が接近傾向にあると判定し、警報を発令するか、もしくはブレーキや操舵アクチュエータを制御することが可能である。図５においては、レベルＡ以上が警報域、レベルＢ以上が制御域となっている。
【００３５】
移動画素の移動方向毎かつ移動速度域毎に分類された画素数の累積度数には、注目する移動方向および速度を有する対象物の存在可能性および自車両に対する危険度が反映されているので、画面毎に所定の累積度数を調べるだけで、注目対象を特定するための計算および危険度の計算が不要となり、計算負荷を大幅に軽減できる。
【００３６】
なお、度数累積手段５０により得られた累積値に基づき、物体が自車両に接近しているか否かを判定するとともに、接近すると判定された物体の速度に応じてブレーキ、操舵の制御量および警報のレベルを決定することも出来る。例えば、警報については、接近速度が所定値よりも小さい場合には予備警報を発し、所定値よりも大きくなると緊急警報を発生する構成、或いは速度に応じて警報音の大きさを変える構成等を用いることが出来る。また、ブレーキについては物体の接近速度に対応した緊急度に応じて制動の程度を変える構成を用いることが出来る。また、操舵については接近物を回避するための転舵角の大きさや転舵速度を緊急度に応じて変える構成を用いることが出来る。
【００３７】
また、上記の図５において画面を分割した検出窓の領域（左右の配分）や警報閾値Ａ、制御閾値Ｂ、画面の注目方向などは、操舵角情報やヨー角情報を用いて制御することで、直線路、カーブ路毎に設定を変化させることも出来る。
【００３８】
また、撮像用のカメラや距離検出用のレーダを車載している場合は、前記エッジ情報と前記累積値に基づいて、判定手段６０が車載のカメラやレーダの探索範囲および処理範囲を変化させるように構成することも出来る。上記のように構成することにより、エッジ情報と累積度数に基づき、所定の移動ベクトルを有する移動体の存在する領域を、画像中に特定することができるので、車両に既設のカメラやレーダの探索範囲および処理範囲を効率よく限定することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る環境認識装置のブロック構成図。
【図２】処理周期と制御周期の関係を示す波形図。
【図３】所定時間間隔毎の処理画像を示す模式図。
【図４】本発明における対象物の動き検出の原理を説明するための図。
【図５】判定手段６０における車両制御と警報の判定方法を説明するための図であり、車両前方を撮像した際の画像例。
【符号の説明】
１０…撮像手段２０…フィルタ処理部
３０…処理情報記憶手段４０…画像差分手段
５０…度数累積手段６０…判定手段
７０…アクチュエータおよび警報手段

Claims

車両に装着され自車両周囲を撮像して周囲画像を得る撮像手段と、
前記周囲画像に対して所定のサンプリング間隔毎にフィルタ処理を行い処理画像とエッジ情報を得るフィルタ処理手段と、
前記処理画像を記憶する処理画像記憶手段と、
前記処理画像と任意のサンプリング間隔前の処理画像との差分画像を得る画像差分手段と、
前記エッジ情報の画素位置における前記差分画像の画素値の符号と前記画素値の変化型より前記画素位置の移動方向を検出し、任意の移動方向を有する画素数の累積値を、その移動速度域毎に計算する度数累積手段と、
前記度数累積手段の累積値に応じて周囲環境の判定を行う判定手段と、
を備えた環境認識装置。
前記フィルタ処理手段は、前記周囲画像に対して側抑制効果のあるフィルタ処理を施し、エッジの画素位置と、前記画素位置における画素値の変化型と、よりなるエッジ情報を検出することを特徴とする請求項１に記載の環境認識装置。
前記フィルタ処理手段は、前記周囲画像に対して側抑制効果のあるフィルタ処理を施すことによって前記処理画像を得た後、前記処理画像中から任意の方向の隣接画素の画素値の符号が反転している画素位置を前記エッジの画素位置とし、かつ、前記符号が正から負へ反転している場合と負から正へ反転している場合とを区別して前記画素値の変化型とすることを特徴とする請求項２に記載の環境認識装置。
前記判定手段は、前記度数累積手段により得られた累積値に基づき、物体が自車両に接近しているか否かを判定するとともに、接近すると判定された物体の速度に応じてブレーキ、操舵の制御量と警報レベルとの少なくとも一方を決定することを特徴とする請求項１に記載の環境認識装置。
前記判定手段は、前記エッジ情報と前記累積値に基づき、車載のカメラとレーダの少なくとも一方の探索範囲および処理範囲を変化させることを特徴とする請求項１に記載の環境認識装置。