JP5591395B2 - 画像センサ用のカラーマスクを有する車両カメラ、及び、車両カメラの画像において対象物を検出する方法 - Google Patents

Description

車両カメラはとりわけ当該車両前方の交通環境を検出し、表示装置上に画像を表示し、ならびに検出された画像を評価し、運転者支援システムで使用するために使用され、ここでは検出された画像中の対象物が識別される。これによりたとえばさらなる道路使用者、車線マーク、交通標識、および交通照明を検出することができる。対象物の重要性を判断するためには、とりわけそれらの色が重要である。黄色と白色の車線マークがたとえば工事現場領域に同時に発生する場合、一般的には黄色マークが優先される。さらに光信号にその色値を対応して割り当てることができ、たとえば赤い色値の尾灯は、白色または黄色の色値を有する前照灯および黄色の色値を有する側灯から区別され、信号およびウインカーのような交通標識および交通照明も対応してそれぞれの色値に関連付けられる。

そのために、検出された対象物の色分類が行われることが公知である。しかし検出された画像中の色は、照明の色または平均色値に依存する環境の色温度のため異なって表示されることがある。検出された画像の色温度は、たとえば一日の時間、種々の道路照明に依存する種々の照明によって、また車両カメラが一般的に取り付けられるフロントウインドウの色調によっても異なってくる。フロントウインドウの色調は最初は未知である。なぜならこれは車種に依存して非常に異なっており、一方ではフロントウインドウにおける位置に依存して変化するからである。したがって一般的には、色ピクセルと強度ピクセルのヒストグラムが均等に占有されている（ランダムな占有）「グレーワールド」が仮定されるがすべての画像で正しいものではない。そのために複雑なシステムでは、ホワイトバランスを取るために検出された画像領域の色温度が決定され、環境の色温度が算出され、または補正され、これにより対象物の色温度を正しく分類することができる。

色を弁別するために、一般的には感光性のセンサ面の前方にカラーマスクが取り付けられる。このカラーマスクのフィルタピクセルは、各センサピクセルの前方で固有の色値を有する。すなわち光学的波長領域に固有の透過特性を有する。ここでカラーマスクは一般的に固有の色パターンを有する。この色パターンは、固有の色値、たとえばＲ（赤）、Ｇ（緑）、Ｂ（青）の４つのピクセルからなるブロックとしての基本パターンが周期的に反復されることにより形成される。特許文献１および特許文献２は、固有の色パターンを有するこの種のカラーマスクを開示する。この種のカラーパターンを使用することにより、とりわけ位置的解像度が低下する。なぜなら１つの画素に対して、種々の色値を有する４つのピクセルからなるブロックが使用されるからである。さらにフィルタリングによって入射光の強度が低下し、ひいては感度が低下する。たとえばハイビームとロービームとの自動切替えのための光制御機能のような夜間の使用では、遠く離れた光源を検知しなければならず、このことは高い解像度と高い感度を必要とする。しかしとくにＲＧＧＢのようなフルカラーパターンでは位置的解像度が低下し、到来する光の強度が減衰する。特許文献２に記載されたようなハーフカラーパターンは、それぞれの色フィルタピクセルによる色分類と、透明なフィルタピクセルによる解像度および高感度との妥協を図ろうとするものである。

したがって色決定の精度の他に位置的解像度および光感度が低下し、さらに色値またはクロミナンスの位置的解像度ならびに車両カメラと運転者支援システムのための明度に関連する特徴の位置的分解能が低下する。

日本特許公開公報第２００４３０４７０６号 特許国際公開第２００９／０２７１３４号

本発明によれば、カラーマスクが、種々の色パターンを備える種々の領域に形成される。ここでは実質的に垂直方向に区画され、中央領域と、好ましくは比較的小さい上方領域および／または下方領域に区画される。

ここで本発明は次のような知識を基礎とする。すなわちたとえばフロントウインドウの後方に配置された車両カメラにより撮影される典型的な画像では、下方画像領域が、一般的にはアスファルトまたはコンクリートにより形成された車両前方の道路および車道を検知し、したがって顕著な着色のないグレー値を示し、このグレー値は車道の組成およびそれぞれの照明状況に依存して炭黒から明るい灰色にまで達し得る。これに対して上方画像領域は、一般的に昼間の状況では主要な露光源となる空を表す。これらの領域は一般的に運転者支援システムに対する評価に対して重要ではなく、下方画像領域は、車両ダイナミクス介入の開始時に走行することになる車両直前の道路部分をしばしば描写する。

上方画像領域および／または下方画像領域から、とりわけこれらの画像領域の組合せから、周囲温度および周囲の色温度を決定することができる。本発明によればこの画像領域に対して比較的少数の透明フィルタピクセルを備えるカラーパターンが使用される。これはとりわけ透明なフィルタピクセルのないフルカラーパターン、たとえばＲＧＧＢである。本発明によれば、この領域における位置的解像度は一般的には重要ではないと認識される。なぜならここに関連する対象物はそれほど頻繁に予期されるものではなく、非常に高い位置的解像度で再現されるものではないからである。

したがって上方領域および／または下方領域における色決定は、中央画像領域のピクセル信号のホワイトバランスおよび色補正のために使用することができる。この中央画像領域に対しては、透明フィルタピクセルの割合の高いカラーパターン、とりわけハーフカラーパターンが設けられている。これは高い解像度および色決定との妥協、すなわちクロミナンスの位置的解像度と輝度の位置的解像度が高くても、色弁別位置的解像度と明度弁別位置的解像度との妥協を図るものである。

本発明によればいくつかの利点が得られる。透明なフィルタピクセルを備えるハーフカラーパターンによって、位置的解像度が高く、色決定も良好であり、クロミナンスの位置的解像度も高い中央画像領域内で対象物の検出が行われる。そして中央画像領域の色値の補正またはホワイトバランスを上方画像領域および／または下方画像領域によって行うことができる。この調整はそれぞれ動的に、すなわちそれぞれの走行状況と照明状況で行うことができ、付加的なセンサを必要とせず、画像処理を損なうこともない。このホワイトバランスまたは補正は、基本的に制御および評価装置において純粋にソフトウエア的に行うことができ、したがって付加的なハードウエアコストを必要としない。さらに使用される制御および評価装置も、連続的に発生する色調および彩色を持続的なものとして、たとえば車両ウインドウの色調または長期の汚れとして推定することができる。

したがって好ましくは中央画像領域における種々のカラーパターンを複雑に考慮することが行われない。なぜならただ１つのハーフカラーパターンをそこに設けることができるからであり、カメラ制御のためのヒストグラム調整または車線識別のための縁石検出もしくは対象物識別をこのハーフカラーパターンに調整することができる。したがって本発明によれば、比較的わずかなハードウエアコストによりデータを高速に処理することができる。

基本的に上方領域の第２のカラーパターンは、下方領域の第２のカラーパターンとは異なっていても良い。

さらにカラーマスクの上方領域と下方領域とは異なる大きさでよい。これらはそれぞれピクセルアレイの完全なライン上に伸長するか、または水平方向にそれぞれ中央のピクセルだけを含む。これにより中央領域は上方領域の横であってカラーマスクの上方縁部まで側方に、および／または下方領域の横であってカラーマスクの下方縁部まで側方に伸長することができる。これは、上方画像領域と下方画像領域では側部の区間に対象物が発生することがあり、この対象物は一方で識別および分類に重要であるが、他方では周囲の色温度の検出を妨げることもあるという知識に基づくものである。

さらに中央画像領域で検出され分類された対象物を上方画像領域または下方画像領域に外挿することができる。たとえば車線マークまたは建物や樹木のように大きな対象物を外挿することができ、上方領域および／または下方領域のこれらの部分は色温度の検出には用いられない。これらの対象物は場合により後続のアルゴリズムのために考慮することができる。

下方画像領域および／または上方画像領域の第２のピクセル信号から、カメラの光センサ機能も補充的に表示することができ、車両のさらなる機能のために使用することができる。

本発明を以下、図面に基づき実施例について詳細に説明する。

カメラを備える車両の道路シーンの平面図である。 車両のカメラ配置を示す図である。 種々のカラーパターンを示す図である。 カメラにより検出された画像ならびに本発明により区分されたカラーマスクのピクセルアレイを示す図である。 本発明の方法のフローチャートである。

カメラ２を備える車両１が道路３上を走行している。カメラ２の検出領域４では、道路３上または道路外の種々の対種物１０、１１、１２、１３、１４、１５、１６が検出される。図２によれば、カメラ２は車両１のガラス５、とりわけフロントウインドウ５の後方に取り付けられており、ここに詳細に図示しない結合光学系６の他に感知センサ面を備える画像センサ７を有する。このセンサ面には詳細に図示しないセンサピクセル（イメージピクセル）７ａのマトリクス配置が形成されている。センサピクセル７ａを備える感知センサ面上にはカラーマスク（フィルタマスク）８が載置されており、このカラーマスクは図４によればフィルタピクセルＰｉｊからなるマトリクス配置を有する。各フィルタピクセルＰｉｊは公知のようにセンサピクセル７ａの直前にあり、色値に対応して、すなわちそのスペクトル透過特性に対応して入射光をフィルタリングする。画像センサ４は、カラーマスク８を通って入射した可視光を記録し、画像信号Ｓ１を制御および評価装置９に出力する。制御および評価装置は位置的および色的分解能で評価を行い、これに基づいて検出画像を車両内部の表示装置に表示する。および／または画像処理によって量的評価を行い、これにより運転者に警報を発し、とりわけ車両操作への介入も行うことができる。図４の左は、検出された走行シーンまたは画像信号Ｓ１から作成された画像１８を示す。たとえば先行車両１０までの一定の間隔を調整するための車間制御システムは、車線マーク１１、１２の同定による車線識別、さらに交通標識１３および他の道路使用者１５の識別を行うことができる。とりわけ検出された対象物１０、１１、１２、１３、１５の色値を求め、対象物または対象物の部分領域の同定のために利用することができる。

本発明のカラーマスク８は図４によれば領域８ａ、８ｂ、８ｃに分割される。これらの領域は画像１８の画像領域１８ａ、１８ｂ、１８ｃにそれぞれ対応する。ここで中央領域８ａはカラーマスク８の大部分を含んでおり、したがって対応する画像領域１８ａには重要な対象物１０、１１、１２、１３、１５、とりわけ他の道路使用者１０、１５、交通標識１３および車線マーク１１、１２が入る。カラーマスク８の下方領域８ｂは下方画像領域１８ｂに対応し、この領域には車道３の一部または車両１の前方の道路がある。この下方領域８ｂでは差し当たり重要な対象物は予期されず、場合によっては車線マーク１１、１２の一部が下方領域８ｂまで伸長している。カラーマスク８の上方領域８ｃは画像１８では上方画像領域１８ｃに対応し、実質的に空が結像される。図４の図示から画像１８をカラーマスク８に直接対応付けることができる。実際には結像光学系６が反転型の場合、画像１８も反転され、鏡対称で画像センサ７に結像される。したがってたとえば下方領域８ｂが物理的にはカラーマスク８の上部に配置される。しかし以下では下方領域８ｂは下方画像領域１８ｂに対応する領域であり、上方領域８ｃも同様であると理解されたい。

領域８ｂと８ｃは、図示のようにカラーマスク８の複数のラインにわたり完全に伸長している。または上方ないしは下方のラインの中央部分をそれぞれ含む。なぜなら検出された画像１８の側方領域には比較的高い確率で他の対象物、たとえば道路脇の建物１４または樹木１６が発生し、これらが画像１８の上方縁部まで伸長することがあるからである。

本発明によれば、下方領域８ｂおよび／または上方領域８ｃが、画像１８の色温度または平均色温度Ｆａを求めるために用いられる。ここで本発明では、上方画像領域１８ｃが空、すなわち均等に明るい照明を、他の対象物を格別に損なうことなく表すことを認識する。この上方画像領域１８ｃの明度値およびスペクトル組成が画像１８全体の明度に影響する。上方画像領域１８ｃで検出された空は、たとえば白、または朝夕には赤、夜には黒となる。下方画像領域１８ｂで検出された車道３は一般的には、アスファルトまたは道路舗装のグレー値を表し、組成と全体的明度に応じて明るい灰色から黒まで変化することがある。とりわけアスファルトは、色温度または平均色温度Ｆａを求めるための適切な対象であり、全体的明度についてのデータも対応して含んでいる。ここではフロントウインドウ５の色調とフロントウインドウ５の汚れも、場合により結像光学系６によってともに検出される。

本発明によれば、カラーマスク８の中央領域８ａは、領域８ｂおよび８ｃとして別のカラーパターンを含む。図３は例としてカラーパターン２０ａ〜２０ｆを示す。それぞれのフィルタピクセルＰｉｊが色値に応じて示されている。ここでは透明なピクセルが値Ｉとして、赤ピクセルがＲとして、シアンピクセルがＣとして、青ピクセルがＢとして、緑ピクセルがＧとして示されている。パターン２０ａは４Ｉパターンを示す。このパターンはグレーイメージとして用いられ、グレー値を求めることができるだけである。カラーパターン２０ｂ、２０ｃ、２０ｄ、２０ｆは、色値Ｒ、Ｇ、Ｂ、Ｃと強度ピクセルＩを備えるハーフカラーパターンであり、２０ｂはＲ３Ｉ、２０ｃはＲＣ２Ｉ、２０ｃはＲＣ２Ｉ、２０ｄはＲＧＢＩパターンを表す。２０ｅにはフルカラーパターン、ここではＲＧＧＢまたはバイヤーパターンが示されている。２０ｆは、疎なバイヤーパターンとして知られるハーフカラーパターンを示す。

中央領域８ａは複数の透明値Ｉを領域８ｂおよび８ｃとして含んでおり、とりわけハーフカラーパターン２０ｂから２０ｄの１つまたは２０ｆとすることができる。領域８ｂおよび／または８ｃはたとえばフルカラーパターン２０ｅである。ここでは領域８ｂと８ｃに種々異なるフルカラーパターンを設けることもできる。または領域８ｂまたは８ｃの１つに、透明値Ｉの割合の少ないパターン２０ｄを設けることもできる。

使用されるハーフカラーパターン２０ｂ、ｃ、ｄまたはｆにより、領域１８ａ内に対象物が検出され、その色値が求められる。たとえばテールライト１０ａ、１５ａを赤値として、ヘッドライト１５ｂを白値または黄値として、対応して右左折過程のためにウインカーライトを時間的なパルスの黄値として求めることができ、さらに交通標識１３の色および場合により信号の色提示を識別することができる。さらに車線マーク１１、１２の色値を識別し、白色調を黄色調から区別することができる。一時的な車線変更の際に、黄車線マーク１１が道路３に加わり、白い車線マークが遠ざかることがなければ、黄色の車線マーク１１が優先である。本発明では、ハーフカラーパターン２０ｂから２０ｅの１つの中央領域８ａ内で、色値白または実質的に無色と黄色を区別することができる。このことはＲ３Ｉカラーパターン２０ｂによって達成される。

中央領域８ａの後方にある画像センサ７のイメージピクセル７ａは第１のピクセル信号Ｓ１ａを、領域８ｂと８ｃの後方のイメージピクセル７ａは対応して第２のピクセル信号Ｓ１ｂとＳ１ｃを出力し、したがって画像信号Ｓ１はこれらピクセル信号Ｓ１ａ、Ｓ１ｂおよびＳ１ｃを含む。これが図２の矢印Ｓ１により示されている。制御および評価装置９は、ピクセル信号Ｓ１ｂとＳ１ｃを、平均色値Ｆａおよび／または平均明度値Ｈａを求めるために使用する。これはホワイトバランスのため、すなわち画像信号Ｓ１したがってピクセル信号Ｓ１ａ全体を補正するためである。この補正された画像信号Ｓ１に基づいて、対象物１０、１１、１２、１３、１４、１５の検出と識別が行われる。制御および評価装置９は、対応して出力信号Ｓ２を出力し、この出力信号Ｓ２は走行管理に介入するために、および画像１８を表示装置にグラフィック表示するための画像信号として用いられる。

ここで出力信号Ｓ２または中央画像領域１８ａにある既知の対象物を、画像領域１８ｂと１８ｃの評価のために補完的に使用することができる。たとえば車線マーク１１または１２を中央画像領域１８ａ内に識別した場合、これらを下方へ画像領域１８ｂに外挿することができる。これにより画像領域１８ｂに識別された輪郭をこれらの車線マーク１１および１２に割り当てることができる。さらに図４から、右の樹木１６が中央画像領域１８ａから上方に延びており、上方画像領域１８ｃの対応する右部分領域１６−１がこの樹木または対象物１６に割り当てられることが分かる。このようにしてこの該当する部分領域１６−１は、平均色値Ｆａおよび／または平均明度Ｈａの検出には用いられない。さらにこの部分領域内で検出された対象物を、出力信号Ｓ２による画像表示および車両管理介入のために使用することもできる。

図５による本発明の方法は、ステップＳｔ０で、とりわけカメラ２のスイッチオンでスタートする。これに続いてステップＳｔ１でピクセル信号Ｓ１ａ、Ｓ１ｂ、Ｓ１ｃを備える画像信号Ｓ１が出力される。ステップＳｔ２では色温度、すなわち平均色値Ｆａおよび／または平均明度Ｈａがホワイトバランスのために検出される。ホワイトバランスによりステップＳｔ３で補正されたピクセル値または画像信号を形成することができ、対象物１０、１１、１２、１３、１４、１５、１６を画像１８中に同定することができる。そしてステップＳｔ４で出力信号Ｓ２が出力される。

別の実施形態によれば、結像光学系６にたとえばディフューザが導入される。このディフューザは上方画像領域１８ｃおよび／または下方画像領域１８ｂを特異的に不鮮明に結像する。これによりこの画像領域にある構造体が色測定および平均色値Ｆａの検出を妨げることがない。

第２のピクセル信号Ｓ１ｂおよびＳ１ｃから補充的にカメラの光センシング機能を提示することができる。すなわちこれらのピクセル信号は光センサとして車両の別の機能のために使用することができる。

制御および評価装置９は、比較的長い測定時間から持続的にたとえば着色されたフロントウインドウ５による色基本値または色調を識別するように構成することができる。したがって目下のピクセル信号Ｓ１ａとＳ１ｂなしで、たとえば夜間走行時には暗い画像領域１８ｂと１８ｃにより対応するホワイトバランスを行うことができる。

Claims (12)

1. センサピクセル（７ａ）を備え、車両環境（４）を検出した画像信号（Ｓ１）を出力する画像センサ（７）と、該画像センサ（７）の前方に配置されたカラーマスク（８）と、制御および評価装置（９）とを有する車両カメラ（２）であって、
   前記カラーマスク（８）は、第１のカラーパターン（２０ｂ、２０ｃ、２０ｄ、２０ｆ）を備える中央領域（８ａ）ならびに第２のカラーパターン（２０ｅ）を備える下方領域（８ｂ）および／または上方領域（８ｃ）を有し、
   前記制御および評価装置（９）は、前記中央領域（８ａ）の後方に配置されたセンサピクセル（７ａ）の第１のピクセル信号（Ｓ１ａ）と、前記下方領域（８ｂ）および／または前記上方領域（８ｃ）の後方に配置されたセンサピクセル（７ａ）の第２のピクセル信号（Ｓ１ｂ、Ｓ１ｃ）とを含む画像信号（Ｓ１）に基づいて、平均色値（Ｆａ）および／または色温度および／または平均グレー値を検出し、少なくとも第１のピクセル信号（Ｓ１ａ）のホワイトバランスまたは色補正を実行することにより、前記画像信号（Ｓ１）から作成した画像（１８）において対象物（１０、１１、１２、１３、１４、１５、１６）を検出する、
   車両カメラ。
2. 前記制御および評価装置（９）は、前記画像センサ（７）により伝送された画像（１８）の中央画像領域（１８ａ）において、補正された第１のピクセル信号（Ｓ１ａ）から対象物（１０、１１、１２、１３、１４、１５、１６）を求め、該対象物（１０、１１、１２、１３、１４、１５、１６）の色値および当該対象物（１０、１１、１２、１３、１４、１５、１６）の部分領域（１０ａ、１５ａ、１５ｂ）の色値を求める、ことを特徴とする請求項１に記載の車両カメラ（２）。
3. 前記制御および評価装置（９）は、対象物（１６）が下方画像領域（１８ｂ）まで、または上方画像領域（１８ｃ）まで延びているか否かを検査し、
   検出した対象物が存在する下方および／または上方画像領域（１８ｂ、１８ｃ）の部分領域（１６−１）は、平均色値（Ｆａ）および／または色温度および／または平均グレー値の検出には用いられない、ことを特徴とする請求項１または２に記載の車両カメラ（２）。
4. 前記画像センサ（７）の前方に結像光学系（６）と、不鮮明を形成する装置（１７）とが配置されており、
   前記不鮮明を形成する装置（１７）は、下方画像領域（１８ｂ）および／または上方画像領域（１８ｃ）に拡散または不鮮明な結像を形成する、ことを特徴とする請求項１から３までのいずれか１項に記載の車両カメラ（２）。
5. 前記不鮮明を形成する装置（１７）はディフューザである、ことを特徴とする請求項４記載の車両カメラ（２）。
6. 前記カラーマスク（８）は、種々のスペクトル透過特性を備えるフィルタピクセル（Ｐｉｊ）からなるマトリクス配置を有しており、
   一部のフィルタピクセルは、可視光に対しては均等に透明な透明フィルタピクセル（Ｉ）であり、他のフィルタピクセル（Ｒ、Ｇ、Ｂ、Ｃ）は、波長選択性の透過特性を備えるカラーピクセル（Ｒ、Ｇ、Ｂ、Ｃ）であり、
   前記カラーマスク（８）は、固有の透過特性を備えるフィルタピクセル（Ｐｉｊ）からなる反復配置としてのカラーパターン（２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ）を有するカラーマスクであり、
   前記第１のカラーパターン（２０ｂ、２０ｃ、２０ｄ、２０ｆ）と前記第２のカラーパターン（２０ｅ）とは異なっており、前記第１のカラーパターンは透明なフィルタピクセル（Ｉ）を含む、ことを特徴とする請求項１から５までのいずれか１項に記載の車両カメラ（２）。
7. 前記第１のカラーパターン（２０ｂ、２０ｃ、２０ｄ、２０ｆ）の透明フィルタピクセル（Ｉ）の割合は、第２のカラーパターン（２０ｅ）よりも大きい、ことを特徴とする請求項６に記載の車両カメラ（２）。
8. 前記第２のカラーパターン（２０ｅ）は、透明なフィルタピクセルのないフルカラーパターン（２０ｅ）である、ことを特徴とする請求項６または７に記載の車両カメラ（２）。
9. 前記第２のカラーパターン（２０ｅ）は、ＲＧＧＢパターン（２０ｅ）として構成されている、ことを特徴とする請求項８に記載の車両カメラ（２）。
10. 前記下方領域（８ｂ）および／または前記上方領域（８ｃ）は、フィルタピクセル（Ｐｉｊ）のマトリクス配置の複数の完全なラインを有し、
    前記中央領域（８ａ）は、前記上方領域（８ｃ）および／または前記下方領域（８ｂ）より多くのラインを含む、ことを特徴とする請求項６から９までのいずれか１項に記載の車両カメラ（２）。
11. 前記第１のカラーパターンは、透明のフィルタとカラーフィルタの両方を有するハーフカラーパターン（２０ｂ、２０ｃ、２０ｄ、２０ｆ）である、ことを特徴とする請求項６から１０までのいずれか１項に記載の車両カメラ（２）。
12. 車両カメラ（２）の画像信号（Ｓ１）から画像（１８）を作成し、当該画像（１８）において対象物（１０、１１、１２、１３、１４、１５、１６）を検出する方法において、
    ・画像センサ（７）と、該画像センサ（７）の前方に配置され第１のカラーパターン（２０ｂ、２０ｃ、２０ｄ、２０ｆ）を備える中央領域（８ａ）ならびに第２のカラーパターン（２０ｅ）を備える下方領域（８ｂ）および／または上方領域（８ｃ）を有するカラーマスク（８）とを備えるカメラ（２）によって車両環境（４）を検出するステップと、
    ・前記中央領域（８ａ）の後方に配置されたセンサピクセル（７ａ）の第１のピクセル信号（Ｓ１ａ）と、前記下方領域（８ｂ）および／または前記上方領域（８ｃ）の後方に配置されたセンサピクセル（７ａ）の第２のピクセル信号（Ｓ１ｂ、Ｓ１ｃ）とを含む画像信号（Ｓ１）を記録するステップと、
    ・平均色値（Ｆａ）および／または色温度および／または平均グレー値を検出するステップと、
    ・少なくとも第１のピクセル信号（Ｓ１ａ）のホワイトバランスまたは色補正を実行するステップと、
    を有する方法。

Images