JP5256421B2 - 車両環境認識装置 - Google Patents

Description

本発明は、車両の周辺環境を認識する装置に関する。

車載カメラを通じて得られたカラー画像に基づき、車両が走行している道路に設けられている白線または黄色線等の道路標識を認識するための技術が提案されている（特許文献１参照）。具体的には、まずカラー画像の各画素のＲＧＢ値がＲＧＢ座標系とは異なる３次元座標系に投影される。この３次元座標系の各軸はたとえば色相、明度および彩度により定義される。そして、カラー画像における各画素が投影位置を包含する３次元座標系における分割領域の代表値を有する画素として認識される。
特開平０６−３４８９９１号公報

しかし、車両周囲における光の強弱等に応じて、車両が走行している道路に設けられている白線が赤みを帯びた進出色として認識されるまたは青みを帯びた後退色として認識される等、人間の色知覚と合致しない形態で色が認識される可能性がある。

そこで、本発明は、車両の周囲における環境の相違に応じて、カラー画像における各画素の色の認識結果と人間の色知覚との整合を図ることができる装置を提供することを目的とする。

第１発明の車両環境認識装置は、車両の周辺を撮像する撮像装置と、色の要素を表わす指定変数の前記車両の周辺における値を測定する測定器と、前記撮像装置による撮像されたカラー画像を構成する画素の色を表わすＲＧＢ空間における元位置を、前記指定変数により定義される指定軸を有する色空間に座標変換することにより色位置を算定し、かつ、前記測定器により測定された前記指定変数の値に応じて前記画素の前記色位置の座標を前記指定軸に平行に変位させる補正により前記画素の前記色位置を算定する第１処理部と、前記色空間における複数の色領域のそれぞれと色とを対応付けて記憶する色領域記憶部と、前記色空間において前記第１処理部により算定された前記画素の前記色位置が含まれる前記色領域に、前記色領域記憶部により対応付けられて記憶されている色を、前記画素の色として決定する第２処理部とを備えていることを特徴とする。

第１発明の車両環境認識装置によれば、カラー画像の各画素の色を表わすＲＧＢ空間における元位置が色空間に座標変換されることにより色位置が算定される。さらに、当該色空間の指定軸を定義するとともに色の要素を表わす指定変数の値が測定される。そして、指定変数の測定値に基づき、画素の色位置が指定軸に平行に変位するように補正され、各画素が補正後の色位置が含まれる領域に対応する色を有する画素であると決定される。色位置の補正により、車両周辺における指定変数の値の相違の色認識態様に対する影響が軽減または解消されうる。また、色空間において誘目性の相違、暖色および寒色の相違、膨張色および収縮色の相違等に応じて画定された一の領域に対応して一の色が各画素の色として決定されるので、人間の色知覚に鑑みた違和感が解消されるような形態で各画素の色が認識されうる。したがって、指定変数の測定値の相違に車両の周囲における環境の相違に応じて、カラー画像における各画素の色の認識結果と人間の色知覚との整合を図ることができる。

本願発明では前記複数の色領域として、人間の色知覚におけるカテゴリカルカラーが用いられる。カテゴリカル基本色とは色刺激のカテゴリー的色判断に基づくもので、赤、茶、橙、黄、緑、青、紫、ピンク、黒、灰、白の１１色である。また、青色または灰色である空領域と灰色の道路領域とが画像全体に占める面積割合が高い場合が多い走行画像の特性から、青色を明度により２つに分割し、灰色を明度により３つに分割し、画像を１４個のカテゴリカルカラー領域に塗り分ける手法が用いられてもよい。

第２発明の車両環境認識装置は、第１発明の車両環境認識装置において、前記測定器が前記指定変数として前記車両周辺の照度を測定し、前記第１処理部が前記測定器により測定された照度に基づき、前記色空間としてのＬ^*ａ^*ｂ^*空間における前記色位置のＬ^*座標を補正することにより算定することを特徴とする。

第２発明の車両環境認識装置によれば、車両の周囲における環境の相違、具体的には、照度の相違に応じて、カラー画像における各画素の色の認識結果と人間の色知覚との整合を図ることができる。

本発明の車両環境認識装置の実施形態について説明する。まず、車両環境認識装置の構成について説明する。図１および図２に示されている車両環境認識装置１０は車両（四輪自動車）１に搭載されている電子制御ユニット（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ａ／Ｄ変換回路およびこれらを接続するバスラインにより構成されている。）により構成されている。車両１の先端中央部を原点Ｏとし、車両１の右方向、下方向および前方向のそれぞれを＋Ｘ方向、＋Ｙ方向および＋Ｚ方向のそれぞれとする実空間座標系が定義されている。車両環境認識装置１０はＣＣＤカメラまたはＣＭＯＳカラーイメージセンサ等のカメラ（撮像装置）Ｃと、照度計（測定器）Ｓとを備えている。カメラＣは車両１の進行方向前方を撮像範囲とし、車両１の前方道路を含む画像を撮像する。カメラＣは車両１の横幅方向の中心線上に位置するように配置されている。照度計Ｓは車両１の周辺における照度（指定変数）の値を測定する。

車両環境認識装置１０は第１処理部１１と、第２処理部１２と、色領域記憶部１３とを備えている。第１処理部１１および第２処理部１２はメモリと、このメモリからプログラムを読み出して担当演算処理を実行する演算処理装置（ＣＰＵ）とにより構成されている。第１処理部１１はカメラＣによる撮像されたカラー画像を構成する画素の色を表わすＲＧＢ空間における元位置を、照度（指定変数）により定義されるＬ^*軸（指定軸）を有するＬ^*ａ^*ｂ^*空間（色空間）に座標変換することにより色位置を算定する。第１処理部１１は照度計により測定された照度に応じて色位置のＬ*軸の座標を補正することにより各画素の色位置を算定する。第２処理部１２は色空間において第１処理部１１により算定された画素の色位置が含まれるＬ^*ａ^*ｂ^*空間における色領域に、色領域記憶部１３により対応付けられている記憶されている色をこの画素の色として決定する。

車両１には図２に示されているように車速センサ１０１、加速度センサ１０２およびヨーレートセンサ１０３等のセンサと、操舵装置１１０と、制動装置１２０とがさらに搭載されている。車速センサ１０１、加速度センサ１０２およびヨーレートセンサ１０３のそれぞれは車両１の速度、加速度およびヨーレートのそれぞれに応じた信号を出力する。操舵装置１１０はステアリングホイールの操作により駆動される前輪操舵機構をアクチュエータにより駆動するように構成されている。なお、操舵装置１１０により前輪駆動機構に代えてまたは加えて後輪操舵機構が駆動されてもよい。車両環境認識装置１０はカラー画像を構成する各画素の色の認識結果等に基づき、操舵装置１１０および制動装置１２０のうち一方または両方の動作を制御することにより車両１の挙動を制御する。

前記構成の車両環境認識装置１０の機能について説明する。まず、前方カメラＣ１から画像信号が車両環境認識装置１０に入力されることにより第１処理部１１によりカラー画像が取得される（図３／Ｓ００２）。これにより、たとえば図４（ａ）に示されているように車両１の前方道路の様子を示すカラー画像が取得される。次に第１処理部１１がカラー画像の各画素の色を表わすＲＧＢ値、すなわち、ＲＧＢ空間における位置を算定する（図３／Ｓ００４）。続いて、第１処理部１１が各画素の色を表わすＲＧＢ空間における位置を関数ｆにしたがってＬ^*ａ^*ｂ^*空間に座標変換することにより、各画素のＬ^*ａ^*ｂ^*空間における色位置を算定する（図３／Ｓ００６）。これにより、たとえば図５上側に示されているＲＧＢ空間における点（Ｒ₀，Ｇ₀，Ｂ₀）が、図５下側に示されているＬ^*ａ^*ｂ^*空間における点（Ｌ₀ ^*，ａ₀ ^*，ｂ₀ ^*）＝ｆ（（Ｒ₀，Ｇ₀，Ｂ₀））に座標変換される。また、照度計Ｓにより車両１の周辺における照度が測定される（図３／Ｓ００８）。第１処理部１１が照度計Ｓにより測定された照度に基づき、色位置がＬ^*軸に平行に変位するようにこの色位置を補正する（図３／Ｓ０１０）。たとえば、測定照度が高いほどＬ^*軸負方向（−Ｌ^*方向）に大きく変位するように色位置が補正される一方、測定照度が低いほどＬ^*軸正方向（＋Ｌ^*方向）に大きく変位するように色位置が補正される。これにより、たとえば図５下側に矢印で示されているようにＬ^*ａ^*ｂ^*空間における点（Ｌ₀ ^*，ａ₀ ^*，ｂ₀ ^*）がＬ^*軸に平行に変位するように補正される。そして、第２処理部１２が、色領域記憶部１３により記憶されているＬ^*ａ^*ｂ^*空間において定義されている複数の色領域のうち、画素の補正後の色位置が含まれている一の色領域を決定した上で、この一の色領域に対応付けられて色領域記憶部１３により記憶されている色をこの画素の色として決定する（図３／Ｓ０１２）。各色領域は実験等により定められうる。カテゴリカル基本色ｉ（ｉ＝赤、茶、橙、黄、緑、青、紫、ピンク、黒、灰、白）についてＬ^*ａ^*ｂ^*空間において定義されている色領域（閉領域）Ｖｉに補正後の色位置が含まれる場合には当該画素の色が「ｉ」に決定される。たとえば、Ｌ^*ａ^*ｂ^*空間において定義されている色領域（閉領域）Ｖwhite（ｉ＝白）に補正後の色位置が含まれる場合には当該画素の色が「白」に決定される。これにより、たとえば図４（ｂ）に示されているように元のカラー画像においては照度または光照射条件等のために道路もレーンマークも青みがかっていたとしても、道路に該当する画素部分が人間が道路の色であると知覚する灰色、レーンマーク（白線）ＬＭに該当する画素部分が人間がレーンマークの色であると知覚する白色に補正されたカラー画像が得られる。

そして、補正後のカラー画像から左右一対のレーンマークＬＭが抽出され、レーンマークＬＭにより左右が画定される走行帯が決定され、かつ、車両１がこの走行帯からはみ出さないように必要に応じて操舵装置１１０および制動装置１２０のうち一方または両方の動作が制御される。

前記機能を発揮する車両環境認識装置１００によれば、カラー画像の各画素の色を表わすＲＧＢ空間における元位置がＬ^*ａ^*ｂ^*空間に座標変換されることにより色位置が算定される（図３／Ｓ００６，図５参照）。さらに、照度（または明度）が測定され、この測定値に基づき、画素の色位置がＬ^*軸に平行に変位するように補正され、各画素が補正後の色位置が含まれる領域に対応する色を有する画素であると決定される（図３／Ｓ０１０，Ｓ０１２，図５矢印参照）。色位置の補正により、車両１の周辺における照度または明度の相違の色認識態様に対する影響が軽減または解消されうる。また、色空間において誘目性の相違、暖色および寒色の相違、膨張色および収縮色の相違等に応じて画定された一の領域に対応して一の色が各画素の色として決定されるので、人間の色知覚に鑑みた違和感が解消されるような形態で各画素の色が認識されうる（図４（ｂ）参照）。したがって、照度の相違に車両１の周囲における環境の相違に応じて、カラー画像における各画素の色の認識結果と人間の色知覚との整合を図ることができる。

なお、Ｌ^*ａ^*ｂ^*空間における色位置が照度に基づいてＬ^*軸方向に平行に変位するように補正されることに代えてまたは加えて、色度ａ^*およびｂ^*のうち一方または両方の軸に平行に変位するように色位置が補正されてもよい。この場合、測定器としてのカメラＣまたはこれとは別個に車両１に搭載されているカメラにより得られたカラー画像から色相または彩度の基準が決定された上で、色位置が補正されうる。

また、カラー画像を構成する各画素の色を表わすＲＧＢ空間の位置が、Ｌ^*ａ^*ｂ^*空間に代えて、ＣＭＹ空間、ＣＭＹＫ空間、ＣＭＫ空間、ＨＳＶ空間、ＨＬＳ空間等の色空間における色位置に座標変換されてもよい。ＨＳＶ空間またはＨＬＳ空間に座標変換された色位置は、照度計Ｓによる照度の測定結果に基づき、Ｖ軸（明度軸）、Ｌ軸（輝度軸）に平行な方向に変位するように補正されうる。ＣＭＹ空間、ＣＭＹＫ空間またはＣＭＫ空間に座標変換された色位置は、測定器としてのカメラＣまたはこれとは別個に車両１に搭載されているカメラにより得られたカラー画像に基づいて測定されたシアン（Ｃ）の基準値に基づいて補正されうる。

本発明の車両環境認識装置の構成説明図 本発明の車両環境認識装置の構成説明図 レーンマーク認識処理の手順を表わすフローチャート カラー画像における各画素の補正に関する説明図 ＲＧＢ空間から色空間への座標変換に関する説明図

符号の説明

１‥車両、１０‥車両環境認識装置、１１‥第１処理部、１２‥第２処理部、１３‥色領域記憶部、Ｃ‥カメラ（撮像装置）、Ｓ‥照度計（測定器）

Claims (2)

1. 車両の周辺を撮像する撮像装置と、
   色の要素を表わす指定変数の前記車両の周辺における値を測定する測定器と、
   前記撮像装置による撮像されたカラー画像を構成する画素の色を表わすＲＧＢ空間における元位置を、前記指定変数により定義される指定軸を有する色空間に座標変換することにより色位置を算定し、かつ、前記測定器により測定された前記指定変数の値に応じて前記画素の前記色位置の座標を前記指定軸に平行に変位させる補正により前記画素の前記色位置を算定する第１処理部と、
   前記色空間における複数の色領域のそれぞれと色とを対応付けて記憶する色領域記憶部と、
   前記色空間において前記第１処理部により算定された前記画素の前記色位置が含まれる前記色領域に、前記色領域記憶部により対応付けられて記憶されている色を、前記画素の色として決定する第２処理部とを備えていることを特徴とする車両環境認識装置。
2. 請求項１記載の車両環境認識装置において、
   前記測定器が前記指定変数として前記車両周辺の照度を測定し、
   前記第１処理部が前記測定器により測定された照度に基づき、前記色空間としてのＬ^*ａ^*ｂ^*空間における前記色位置のＬ^*座標を補正することにより算定することを特徴とする車両環境認識装置。

Images