JP4661934B2 - 画像処理装置 - Google Patents

Description

本発明は、固体撮像素子を備える車載カメラからの入力信号に基づいて、信号レベルの変化点を抽出することにより、撮像画像上の対象物を認識する画像処理装置に関する。

従来より、車載カメラにより撮像される画像（以下、撮像画像という）から、車両の前方側に映し出された路面上の白線部分を抽出（認識）する白線認識処理を施すことにより、車両に対する白線位置を推定し、この白線位置と車両の挙動とに基づいて、車両が走行車線を逸脱する可能性が高いと判定した場合、運転者に注意を喚起したり、車線維持に係る走行制御を行ったりする車線制御システムが知られている。

なお、車載カメラは、一般的にＣＣＤやＣＭＯＳイメージセンサ等のイメージングデバイスが用いられ、レンズを介して結像される光学的な被写体像を、基板上に配列された複数の固体撮像素子（以下、単に撮像素子という）により電荷に光電変換し、この撮像素子の出力電圧を走査方向に読み出した信号（以下、輝度信号という）を制御装置に出力するように構成されている。

また、図４（ａ）に示すように、白線認識処理では、車載カメラから入力される輝度信号に基づいて、撮像画像Ｘにおける水平ライン毎に、輝度信号の信号レベルが所定の閾値以上のレベル差を伴って変化する画素点（エッジ点）Ｐを抽出し、隣接する二つのエッジ点Ｐで挟まれる領域のうち輝度信号のレベルが高い側の領域Ｈに属する画素点を白線候補点に設定する。そして、撮像画像全体における白線候補点の繋がりに基づき白線位置を推定している（例えば、特許文献１参照）。
特開２０００−２４２８００号公報

ところで、白線認識処理では、エッジ点を抽出するための閾値（以下、エッジ閾値という）を、撮像画像に映し出された路面のうち白線部分と白線以外の部分（非線部分）とに対応する画素点のレベル差（コントラスト）よりも小さい値に設定する必要がある。つまり、図４（ｂ）に示すように、エッジ閾値を予め大きく設定してしまうと、低コントラストの撮像画像におけるエッジ点を抽出できない確率が高くなり、白線位置を適切に推定することができないことになる。

さらに、白線認識処理では、イメージングデバイスの内部温度等といった撮像条件に起因して発生するノイズ（内部ノイズ）のレベルよりも大きい値に設定する必要がある。
しかし、従来の白線認識処理では、ある撮像条件におけるコントラストの変動に対応できるようにエッジ閾値を通常固定しているため、例えばイメージングデバイスの温度上昇に伴って、撮像素子内の自由電子が増加し、輝度信号に含まれる内部ノイズが大きくなった場合に、図４（ｃ）に示すように、ノイズレベルがエッジ閾値を超えることにより、エッジ点を誤抽出してしまう確率が高くなるという問題があった。

また、イメージングデバイスの内部温度を検出するセンサを設けると共に、その内部温度と内部ノイズとの相関をデータマップとして制御装置内に記憶しておき、センサの検出温度に応じてエッジ閾値を設定することも考えられるが、この場合、撮像素子の個体差に起因して動的に変化する内部ノイズのばらつきに対応することができないという問題があった。

本発明は、上記問題点を解決するために、低コントラストの撮像画像上の対象物であっても適切に認識することが可能な画像処理装置を提供することを目的とする。

上記目的を達成するためになされた発明である請求項１に記載の画像処理装置は、遮光された複数の固体撮像素子が配列された遮光領域と、露出した複数の固体撮像素子が配列された非遮光領域とからなる撮像領域を有する撮像装置に接続される装置である。

また、本発明の画像処理装置は、撮像装置から、有効画素取得手段が、非遮光領域の固体撮像素子（以下、有効画素という）の出力を取得し、遮光画素取得手段が、遮光領域の固体撮像素子（以下、遮光画素という）の出力を取得する。

さらに、本発明の画像処理装置では、ノイズ推定手段が、遮光画素取得手段により取得した出力に基づいて、有効画素の出力に含まれているノイズレベルのばらつき度（以下、ノイズばらつき度という）を推定する。そして、閾値設定手段が、有効画素取得手段により取得した出力に基づいて、上記の有効画素の出力レベルにおける最大値と最小値との差を最大コントラストとし、その最大コントラストと、ノイズ推定手段により推定したノイズばらつき度とに基づいて、エッジ閾値を設定し、エッジ抽出手段が、閾値設定手段により設定されたエッジ閾値に基づいて、有効画素取得手段により取得した出力のうち、隣接する有効画素間でそのエッジ閾値以上の差を有するエッジ箇所を抽出する。
ここで、本発明の画像処理装置において、閾値設定手段は、上記の最大コントラストよりも小さい値となる範囲内、且つ、当該エッジ閾値を超えるノイズレベルが予め設定された発生確率を下回る範囲内にエッジ閾値を設定することを要旨とする。

つまり、本発明の画像処理装置では、複数の固体撮像素子が同質であれば、非遮光領域と遮光領域とにおける固体撮像素子の出力のうち、温度上昇に伴う自由電子の増加といった固体撮像素子の動的な内部変化に起因する出力分（内部ノイズ）が同じであり、且つ、遮光領域の固体撮像素子（遮光画素）の出力には内部ノイズ以外の成分が含まれていないことに着目している。

このため、本発明の画像処理装置では、遮光画素の出力に基づいて、内部ノイズのばらつき度（ノイズばらつき度）を容易に推定することができ、このノイズばらつき度に基づいてエッジ閾値を設定することにより、有効画素の出力に含まれているノイズレベルが当該エッジ閾値を超える確率、即ち、エッジ箇所を誤抽出してしまう確率（以下、エッジ抽出誤り率という）を許容範囲内に抑えることが可能となる。

したがって、本発明の画像処理装置によれば、有効画素全体における出力（撮像画像）のレベル差（コントラスト）が低い場合であっても、エッジ抽出誤り率を許容範囲内に抑制可能な最小値にエッジ閾値を設定することが可能となり、ひいては低コントラストの撮像画像上の対象物であっても適切に認識することができる。

そして、本発明の画像処理装置では、請求項２に記載のように、ノイズ推定手段が、遮光画素の出力レベルの標準偏差をノイズばらつき度とするようにしてもよい。
このように構成された画像処理装置では、閾値設定手段が、遮光画素の出力レベルの標準偏差に基づいてエッジ閾値を設定することになり、有効画素の出力に含まれているノイズレベルの分布（分散）をエッジ閾値の設定に確実に反映させることができる。

また、この場合、閾値設定手段は、請求項３に記載のように、予め設定された１を超える倍率を標準偏差に乗じた値にエッジ閾値を設定することが望ましい。
このように構成された画像処理装置によれば、エッジ閾値が標準偏差そのものに設定される場合に比べて、エッジ箇所を誤抽出してしまう確率（エッジ抽出誤り率）をより抑制することができ（例えば倍率が３に設定された場合、誤り率を約０．３％にすることが可能であり）、ひいては撮像画像上の対象物をより適切に認識することができる。

また、本発明の画像処理装置は、請求項４に記載のように、遮光画素取得手段が、有効画素取得手段による有効画素の出力の取得タイミング毎に、遮光画素の出力を取得し、閾値設定手段が、遮光画素取得手段による遮光画素の出力の取得タイミング毎に、エッジ閾値を設定することが望ましい。

このように構成された画像処理装置では、閾値設定手段が、有効画素の出力の取得タイミング毎にエッジ閾値を設定することになり、固体撮像素子の動的な内部変化に対してより精度よく対応することができる。

なお、本発明の画像処理装置は、請求項５に記載のように、撮像装置が、車両の前方における路面を撮像するようにその車両に設置され、対象物が、撮像装置により撮像される路面上の白線である場合、白線認識処理装置として好適に用いることができる。

以下に、本発明の実施形態を図面と共に説明する。
＜全体構成＞
図１は、本発明の画像処理装置を備える車載システムとして適用された車線制御システム１の構成を示すブロック図である。

図１に示すように、車線制御システム１は、自車両の前方における路面を撮像範囲内に含むように自車両に設置された撮像装置１０と、撮像装置１０により撮像される画像（以下、撮像画像という）から、路面上の白線部分を抽出（認識）するための画像処理を行う画像処理装置２０と、画像処理装置２０の処理結果を用いて各種の車両制御を行う制御装置３０とを備えている。なお、これらの装置１０〜３０は、撮像装置１０，画像処理装置２０間、及び、画像処理装置２０，制御装置３０間を結ぶ専用線により接続されていてもよいし、車内ＬＡＮ（Local Area Network）を介して互いに接続されていてもよい。

このうち、制御装置３０は、ユーザによる各種操作を受け付ける操作ボタン３１と、ヨーレートセンサやステアリングセンサ等のように自車両の挙動を検出する各種の挙動検出センサ３２とに接続されており、操作ボタン３１を介して制御を開始するための指示が入力されると、画像処理装置２０に処理を起動させるための開始指令を出力すると共に、挙動検出センサ３２からの検出結果（センサ情報）を取得する。そして、これらセンサ情報と、画像処理装置２０から入力される白線情報（後述する）とに基づき、自車両が路面上の白線部分を逸脱する（即ち、走行車線を逸脱する）可能性が高いと判定した場合、警告音を出力したり、自車両が走行車線に戻る方向に操舵トルクを付加したりする。また、操作ボタン３１を介して制御を停止するための指示が入力されると、画像処理装置２０に処理を終了させるための停止指令を出力するように構成されている。

そして、撮像装置１０は、図２に示すように、複数の固体撮像素子（以下、単に撮像素子という）１１が基板上に二次元配列された撮像領域１２を有し、この撮像領域１２を水平方向に沿って順次走査して読み出した電圧信号を画像処理装置２０に出力するように構成されている。

なお、撮像素子１１は、レンズを介して結像される光学的な被写体を光電変換して電荷を保持する周知のものである。また、撮像領域１２は、アルミ膜等で被覆されることで遮光された複数の撮像素子１１からなる遮光領域としてのオプティカルブラック領域１３と、露出した複数の撮像素子１１からなる非遮光領域としての有効画素領域１４とに区分されている。

つまり、撮像装置１０は、オプティカルブラック領域１３の撮像素子１１である遮光画素１１ａを介して、撮像画像における黒色部分の基準となる電圧信号（以下、遮光信号という）と、有効画素領域１４の撮像素子１１である有効画素１１ｂを介して、撮像画像として実際に用いられる電圧信号（以下、輝度信号という）とからなる画像信号を、画像処理装置２０に出力することになる。

また、撮像装置１０は、画像処理装置２０からの後述する露出指令（パラメータ）に従って、撮像画像に適切なコントラストが得られるように、レンズの絞りやシャッタの開放時間等の調整といった露出制御を行うように構成されている。

一方、画像処理装置２０は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びバスライン等からなる周知のマイクロコンピュータを中心に構成されており、このうちＣＰＵが、ＲＡＭを作業エリアとして、ＲＯＭに記憶されたプログラムに基づき、以下で詳述する白線認識処理を実行するように構成されている。なお、ＲＯＭには、撮像装置１０が撮像画像を生成する際に撮像素子１１に照射される光の量を調整するためのパラメータ（以下、カメラ制御値という）と、撮像画像全体の平均輝度（明るさ）との相関を表す制御テーブルが記憶されている。また、ＲＡＭは、ＣＰＵにより設定されるカメラ制御値を一時的に保持するための設定記憶領域や、撮像装置１０から入力された画像信号を一時的に保持するための信号記憶領域を有している。

＜白線認識処理＞
ここで、図３は、画像処理装置２０のＣＰＵが実行する白線認識処理の詳細を示すフローチャートである。なお、本処理は、制御装置３０から開始指令が入力される（或いは、自車両のＩＧスイッチがオンにされる）と起動されて、制御装置３０から停止指令が入力される（或いは、自車両のＩＧスイッチがオフにされる）まで所定周期で繰り返し実行される。

まず、本処理が開始されると、ＲＡＭの設定記憶領域に保持されているカメラ制御値に従って撮像装置１０に露出制御を行わせるための露出指令を出力する（Ｓ１１０）。なお、本処理の初回に出力する露出指令には、予め初期値として設定されたカメラ制御値（例えば、撮像装置１０の露出制御における調整範囲のうち中間程度の値）が採用される。

次に、撮像装置１０から入力される画像信号をＲＡＭの信号記憶領域に記憶（保持）し（Ｓ１２０）、このようにして取得した画像信号のうち、遮光信号の信号レベルである遮光画素値（以下、ＯＢ値という）の標準偏差σを算出する（Ｓ１３０）。

そして、Ｓ１３０で算出した標準偏差σに予め設定された基準倍率を乗じた値を、エッジ点を抽出するための閾値（以下、エッジ閾値という）として設定する（Ｓ１４０）。なお、エッジ点とは、Ｓ１２０で取得した画像信号のうち、輝度信号の信号レベルである有効画素値が、Ｓ１４０で設定したエッジ閾値以上のレベル差を伴って変化する画素点（撮像画像上における有効画素１１ｂに対応する点）をいう。また、本実施形態では、有効画素値の最大値と最小値との差（最大コントラスト）に比べてエッジ閾値が小さい値となる範囲内で、最大コントラストに応じて基準倍率を可変設定している。

このようにして、Ｓ１２０で取得した画像信号のうち輝度信号と、Ｓ１４０で設定したエッジ閾値とに基づいて、撮像画像における水平ライン毎にエッジ点（有効画素値がエッジ閾値以上のレベル差を伴って変化する点）を抽出し、隣接する二つのエッジ点で挟まれる領域のうち有効画素値が大きい側の領域に属する画素点を白線候補点に設定する。そして、撮像画像の全体における白線候補点の繋がりに基づき白線位置を推定（認識）する（Ｓ１５０）。

最後に、Ｓ１５０で認識した白線位置を表す白線情報を、制御装置３０に出力する（Ｓ１６０）と共に、撮像画像全体の明るさに応じたカメラ制御値を設定し（Ｓ１７０）、Ｓ１１０に移行する。なお、ここでは、Ｓ１２０で取得した画像信号に基づき、撮像画像全体の平均輝度を算出し、その算出結果に対応するカメラ制御値を、ＲＯＭに記憶されている制御テーブルを用いて読み出して、そのカメラ制御値をＲＡＭの設定記憶領域に記憶（保持）する。ちなみに、撮像画像全体の平均輝度は、遮光画素値（黒色部分）を参照レベルとして有効画素値を補正（黒補正）し、その補正後の有効画素値を平均することにより算出される。

なお、上記実施形態において、Ｓ１２０が有効画素取得手段および遮光画素取得手段、Ｓ１３０がノイズ推定手段、Ｓ１４０が閾値設定手段、Ｓ１５０がエッジ抽出手段に相当する。

＜本実施形態の効果＞
以上説明したように、本実施形態の画像処理装置２０では、遮光画素１１ａと有効画素１１ｂとが同質であれば、遮光信号の出力レベル（ＯＢ値）の標準偏差と、輝度信号に含まれているノイズ（内部ノイズ）成分の標準偏差とが同じであることに着目し、ＯＢ値の標準偏差に基づいて推定した内部ノイズのばらつき度（ノイズばらつき度）を、エッジ閾値の設定に反映させている。

したがって、本実施形態の画像処理装置２０によれば、有効画素全体における出力（撮像画像）のレベル差（コントラスト）が低い場合であっても、エッジ点を誤抽出してしまう確率（エッジ抽出誤り率）を許容範囲内に抑制可能な最小値にエッジ閾値を設定することになり、ひいては低コントラストの撮像画像上の対象物であっても適切に認識することができる。

また、白線認識処理では、撮像装置１０から取得した画像信号に基づき、撮像画像全体の平均輝度（明るさ）に応じたカメラ制御値を算出し、そのカメラ制御値に従って露出制御を行わせるための指令を撮像装置１０に出力する。このため、撮像装置１０が生成する画像信号を、路面上の白線を認識するための処理と、露出制御を行うための制御値を設定するための処理とに用いることにより、車線制御システム１全体の処理効率を向上させることができる。

なお、車線制御システム１では、画像処理装置２０が、制御装置３０に連動して白線認識処理を起動または終了するように構成されているため、不要時の画像処理を省略することにより消費電力を抑制することができる。

［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態の白線認識処理では、エッジ閾値を、ＯＢ値の標準偏差σに基準倍率を乗じた値に設定しているが、これに限定されずに、ＯＢ値のばらつき度（ひいては、輝度信号に含まれているノイズレベルのばらつき度）を表す値に設定すればよく、例えば平均偏差等を用いた値に設定してもよい。

また、上記実施形態の車線制御システム１では、撮像装置１０が、画像処理装置２０からの露出指令に従って露出制御を行うように構成されているが、周囲の明るさ（例えば、撮像画像全体の平均輝度）に応じて自身で露出制御を行うように構成されていてもよい。なお、撮像装置１０は、カラー画像を生成するためのカラーフィルタを備えるように構成されてもよい。

そして、上記実施形態の撮像装置１０は、自車両の前方における路面を撮像するように構成されているが、これに限定されるものではなく、例えば自車両の前方車両を撮像したり、自車両の後方における路面を撮像したりするように構成されてもよい。さらに言えば、撮像装置１０は、車両に設置されることに限定されずに、例えば、不審者を監視するように家やビル等の建物に設置されてもよい。

同様に、画像処理装置２０は、路面上の白線部分を認識することに限定されずに、例えば、周知のパターンマッチング等の技術を用いて、他車両，壁や塀，建物，人などを認識するように構成されてもよい。

なお、上記実施形態の制御装置３０は、自車両が白線部分を逸脱する可能性が高いと判定した場合に、警告音を出力したり、車両が走行車線に戻る方向に操舵トルクを付加したりするように構成されているが、これに限定されるものではなく、例えば自車両が他車両等の障害物に衝突する可能性が高いと判定した場合に、ブレーキペダルや、シートベルトのプリテンショナ等を作動させるように構成されてもよい。

本発明の画像処理装置を備える車載システムとして適用された車線制御システム１の構成を示すブロック図。 撮像領域１２における走査方向を示す説明図。 画像処理装置２０のＣＰＵが実行する白線認識処理の詳細を示すフローチャート。 白線認識処理において画素点毎の信号レベルを表すグラフ。

符号の説明

１…車線制御システム、１０…撮像装置、１１…撮像素子、１１ａ…遮光画素、１１ｂ…有効画素、１２…撮像領域、１３…オプティカルブラック領域、１４…有効画素領域、２０…画像処理装置、３０…制御装置。

Claims (5)

1. 遮光された複数の固体撮像素子が配列された遮光領域と、露出した複数の固体撮像素子が配列された非遮光領域とからなる撮像領域を有する撮像装置から、前記非遮光領域の固体撮像素子である有効画素の出力を取得する有効画素取得手段と、
   前記遮光領域の固体撮像素子である遮光画素の出力を取得する遮光画素取得手段と、
   前記遮光画素取得手段により取得した出力に基づいて、前記有効画素の出力に含まれているノイズレベルのばらつき度であるノイズばらつき度を推定するノイズ推定手段と、
   前記有効画素取得手段により取得した出力に基づいて、前記有効画素の出力レベルにおける最大値と最小値との差を最大コントラストとし、該最大コントラストと前記ノイズ推定手段により推定したノイズばらつき度とに基づいて、エッジ閾値を設定する閾値設定手段と、
   前記閾値設定手段により設定されたエッジ閾値に基づいて、前記有効画素取得手段により取得した出力のうち、隣接する前記有効画素間で該エッジ閾値以上の差を有するエッジ箇所を抽出するエッジ抽出手段と、
   を備え、前記エッジ抽出手段により抽出したエッジ箇所に基づいて対象物を認識する画像処理装置であって、
   前記閾値設定手段は、前記最大コントラストよりも小さい値となる範囲内、且つ、当該エッジ閾値を超える前記ノイズレベルが予め設定された発生確率を下回る範囲内に前記エッジ閾値を設定することを特徴とする画像処理装置。
2. 前記ノイズ推定手段は、前記遮光画素の出力レベルの標準偏差を、前記ノイズばらつき度とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記閾値設定手段は、予め設定された１を超える倍率を前記標準偏差に乗じた値に、前記エッジ閾値を設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記遮光画素取得手段は、前記有効画素取得手段による有効画素の出力の取得タイミング毎に、前記遮光画素の出力を取得し、
   前記閾値設定手段は、前記遮光画素取得手段による遮光画素の出力の取得タイミング毎に、前記エッジ閾値を設定することを特徴とする請求項１ないし請求項３に記載の画像処理装置。
5. 前記撮像装置は、車両の前方における路面を撮像するように該車両に設置され、
   前記対象物は、前記撮像装置により撮像される路面上の白線であることを特徴とする請求項１ないし請求項４のいずれかに記載の画像処理装置。

Images