JP4760100B2 - 画像処理装置及びこれを用いる車両用運転支援装置 - Google Patents

Description

本発明は、複数の撮像素子が配列された所定撮像領域をオプティカルブラック領域と画像出力領域とに区分し、画像出力領域における検出レベルを、オプティカルブラック領域における検出レベルを基準として補正することで出力画像データを生成する画像処理装置及びこれを用いる車両用運転支援装置に関する。

従来から、この種の画像処理装置は、以下の公報に開示されている。

特開２００４−７２４２２号公報（特許文献１）は、動的なノイズ要因に対応してノイズ量を低減し、高品質な画像を得る撮像システム等を開示する。かかる撮像システムは、複数の画素を配列してなる撮像素子からのデジタル化された信号中に含まれるノイズの量を、一画素毎に、または複数画素でなる所定の単位面積毎に、推定するノイズ推定手段と、
このノイズ推定手段により推定されたノイズ量に基づき上記信号中のノイズを低減するノイズ低減手段と、を具備したことを特徴とするものである。かかる撮像システムでは、ノイズに影響を与える信号レベル、撮影時のＣＣＤ（電荷結合素子）の温度、露光時間、ゲインなどの要因を動的に取得して、ＣＣＤ上のノイズレベルをノイズ推定部により局所的（例えば画素単位）に推定し、映像信号中のこのノイズレベル以下の信号成分をノイズ低減部によって抑制することにより、画像のエッジなどを保存しながら、ノイズの少ない高品質な画像を得る。このとき、ＣＣＤの温度は、オプティカルブラック領域の信号の分散と温度との相関関係によりノイズ推定部内で推定する。さらに、ノイズ推定部は、信号レベルを局所領域における平均値として算出する。

特開２０００−３５８１７０号公報（特許文献２）は、異なるＣＣＤにより映像信号のオプティカルブラックレベルに異なるノイズが加わっても、各ＣＣＤに対応した誤差の少ない正確な直流成分を持った映像信号を再生する映像信号処理装置及び内視鏡システムを開示する。かかる映像信号処理装置は、被検体像を撮像した固体撮像素子から出力される撮像信号を処理する映像信号処理装置において、前記固体撮像素子から出力される撮像信号中のオプティカルブラック部と同期したタイミング信号を発生するタイミング信号発生手段と、前記タイミング信号発生手段から発生されたタイミング信号に基づき、前記撮像信号中のオプティカルブラック部の信号レベルの平均値を演算する平均値演算手段と、前記平均値演算手段で演算された平均値に基づき前記撮像信号の信号レベルを補正する補正手段と、前記補正手段で処理された撮像信号に基づき表示手段に表示される映像信号を生成する映像信号生成手段とを具備したことを特徴とするものである。
特開２００４−７２４２２号公報 特開２０００−３５８１７０号公報

上述の従来技術のように、熱ノイズや固体差等のような内部要因ノイズは、オプティカルブラック領域の検出値に基づいて除去可能であるが、上述の従来技術では、かかる内部要因ノイズ以外のノイズ、即ち外来電磁ノイズが想定されていないため、かかる外来電磁ノイズが存在する場合には、ノイズ除去の不足又は過度のノイズ除去等により、画像品質が劣化する可能性がある。

本発明は、かかる課題を解決するためになされたものであって、その目的は、外来電磁ノイズを検出することができる画像処理装置、及び、当該画像処理装置による外来電磁ノイズの検出結果に応じて適切な処置を行うことができる車両用運転支援装置を提供することである。

本発明による画像処理装置は、複数の撮像素子が配列された所定撮像領域をオプティカルブラック領域と画像出力領域とに区分し、画像出力領域における検出レベルを、オプティカルブラック領域における検出レベルを基準として補正することで、出力画像データを生成する画像処理装置において、前記オプティカルブラック領域での電流値又は電圧値に基づいて算出したノイズ検出レベルが、前記画像処理装置の内部から発生する電磁波を要因とする内部要因ノイズの想定される最大レベルよりも大きい閾値レベルを超える場合に、前記画像処理装置の外部から到来する電磁波を要因とする外来電磁ノイズを検出したと判定する外来電磁ノイズ検出判定手段を備え、前記撮像素子は、前記画像出力領域の垂直又は水平方向に電荷転送を行うように２次元配列及び構成された電荷結合素子であり、前記外来電磁ノイズ検出判定手段は、前記撮像素子の電荷転送方向が前記画像出力領域の垂直方向である場合に、前記画像出力領域の周囲領域のうち前記画像出力領域の水平方向の領域に伸びて存在する前記オプティカルブラック領域での電流値又は電圧値に基づいて外来電磁ノイズの検出を判定し、前記撮像素子の電荷転送方向が前記画像処理装置の水平方向である場合には、前記画像出力領域の周囲領域のうち前記画像出力領域の垂直方向の領域に伸びて存在する前記オプティカルブラック領域での電流値又は電圧値に基づいて外来電磁ノイズの検出を判定することを特徴とするものである。

この画像処理装置においては、前記閾値レベルは、前記所定撮像領域の温度に応じて変化される。

本発明は、上記のような画像処理装置を備え、前記撮像素子を含むカメラが車両外部を撮像するように車両に搭載された車両用運転支援装置において、前記画像処理装置により生成される出力画像データを出力するディスプレイを備え、前記外来電磁ノイズ検出判定手段により外来電磁ノイズが検出されたと判定した場合に、ディスプレイ上への出力画像データの出力を停止し、外来電磁ノイズが原因で出力画像データの出力を一時的に停止した旨の報知をユーザに対して行うことを特徴とする車両用運転支援装置を含む。

この車両用運転支援装置においては、外来電磁ノイズが検出された場合には、該外来電磁ノイズが原因でノイズが乗った画面が出力される旨の報知をユーザに対して行う構成とすることができる。

本発明は更に、上記のような画像処理装置を備え、前記撮像素子を含むカメラが車両外部を撮像するように車両に搭載された車両用運転支援装置において、前記画像処理装置により生成される出力画像データを利用して、警報出力制御又は車両の走行状態に影響を与える所定制御を行う制御手段を備え、前記外来電磁ノイズ検出判定手段により外来電磁ノイズが検出されたと判定した場合に、前記制御手段による前記出力画像データの利用を抑制又は禁止することを特徴とする車両用運転支援装置を含む。

以上の通り、本発明によれば、オプティカルブラック領域での電流値又は電圧値に基づいて算出したノイズ検出レベルが、想定される内部要因ノイズの最大レベルよりも大きい閾値レベルを超える場合に、外来電磁ノイズを検出したと判定することで、外来電磁ノイズを検出することができる画像処理装置を得ることができる。

また、第２の発明によれば、外来電磁ノイズ検出判定手段により外来電磁ノイズが検出されたと判定した場合に、ディスプレイ上に出力画像データを出力しないことで、当該画像処理装置による外来電磁ノイズの検出結果に応じて適切な処置を行うことができる車両用運転支援装置を得ることができる。

また、第３の発明によれば、外来電磁ノイズ検出判定手段により外来電磁ノイズが検出されたと判定した場合に、警報出力制御又は車両の走行状態に影響を与える所定制御を行う制御手段による出力画像データの利用を抑制又は禁止することで、当該画像処理装置による外来電磁ノイズの検出結果に応じて適切な処置を行うことができる車両用運転支援装置を得ることができる。

図面を参照して、本発明を実施するための最良形態の説明を行う。

図１を参照して、本発明に係る画像処理装置の一実施例によるシステム構成の要部について説明する。

本発明に係る画像処理装置は、図１に示すように、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサに関連して構成され、撮像部２０と、画像処理回路３０と、出力信号作成部４０とを備えている。

撮像部２０は、レンズを介して結像される光学的な被写体像を光電変換して電気的な画像信号を出力する撮像素子であるＣＣＤ３（又はＣＭＯＳ、以下、ＣＣＤを例に説明する。）を備える。尚、カラー画像を生成する構成では、ＣＣＤ３の撮像面に適切なカラーフィルタが配設される。

画像処理回路３０は、ＣＣＤ３を駆動するための種々のタイミングパルスを生成しＣＣＤ３を駆動する駆動パルス生成回路１３と、ＣＣＤ３からの撮像信号に対して所望のゲイン調整を施すプリアンプ１４と、プリアンプ１４によりゲイン調整がなされた撮像信号を相関二重サンプリングするＣＤＳ１５と、ＣＤＳ１５により相関二重サンプリングされた信号をデジタル信号に変換するＡ／Ｄ変換器１６と、Ａ／Ｄ変換器１６によりデジタル信号となった映像信号を、オプティカルブラック信号を基準として補正を行うオプティカルブラック補正部１８とから構成される。

ここで、図２を参照して、オプティカルブラック信号（及びオプティカルブラック領域ＯＢ）について説明する。

一般的に、図２に示すように、複数の撮像素子が２次元配列された撮像領域は、オプティカルブラック領域ＯＢと、いわゆる有効画素からなる領域（以下、「画像出力領域」という）とに区分される。尚、図２に示す例では、オプティカルブラック領域ＯＢは、画像出力領域の周囲に形成されており、オプティカルブラック領域ＯＢ内の撮像素子は、ハッチングを施したドットによりを示され、画像出力領域内の撮像素子は、白抜きのドットにより示されている。

オプティカルブラック領域ＯＢは、レンズからの光が常時届かないように構成された“黒”を示すための撮像領域であり、この目的のため、オプティカルブラック領域ＯＢは、撮像素子自体は存在するが、実質的に光が到達することがないように構成されている。オプティカルブラック領域ＯＢで検出される信号レベルは、出力画像データを生成する際に“黒”を示すための参照レベルとして用いられる。

オプティカルブラック補正部１８では、画像出力領域で検出される信号（以下、「有効画素信号」という）のレベルから、オプティカルブラック領域ＯＢで検出される信号（以下、「オプティカルブラック信号」という）のレベル（好ましくはその平均値）を差し引く補正が実行される。即ち、オプティカルブラック補正部１８では、オプティカルブラック信号のレベルは暗電流分であるとして、この電流分を有効画素信号から引くことで黒レベルの補正が行われる。

出力信号作成部４０は、画像処理回路３０から出力される画像データに基づいて、画像利用システム７０が必要とする出力信号（情報）を生成する。画像利用システム７０は、後方視界支援システム、レーンキープシステム、駐車支援システムや障害物回避システム等であってよい。

例えば後方視界支援システムでは、撮像部２０は、車両後方を撮像するように車両後部（例えばバックドア）に搭載され、バックカメラとして機能し、出力信号作成部４０は、画像処理回路３０からの映像信号を所望のＲＧＢ信号に変換し各種補正をした後デジタルエンコーダ等により、車室内に設けられたディスプレイに出力する。これにより、ユーザは、ディスプレイ（モニタ）を見て駐車時の車両後方の障害物状況を把握することができる。

また、レーンキープシステムでは、撮像部２０は、道路を撮像するように車両に搭載され、レーン監視カメラとして機能し、画像処理回路３０は、上述の如く黒レベルの補正処理をした映像信号に対して白線認識処理を行い、出力信号作成部４０は、画像処理回路３０で検出された白線の位置情報を走行制御ＥＣＵ（電子制御ユニット）に送信する。この場合、走行制御ＥＣＵは、白線の位置情報に基づいて、車両が走行レーン（走行車線）を正確にキープしながら走行しているか否かを判断し、車両が走行レーンをキープしていない場合には、警報出力等を行う。

同様に、障害物回避システムでは、撮像部２０は、車両前方を撮像するように車両（例えば車室内のルームミラー付近）に搭載され、周辺監視カメラとして機能し、画像処理回路３０は、上述の如く黒レベルの補正処理をした映像信号に対して、障害物（他車）認識処理（例えば直線・曲線当てはめ処理）を行い、出力信号作成部４０は、画像処理回路３０での処理結果をエアバックＥＣＵ（電子制御ユニット）に送信する。この場合、エアバックＥＣＵは、画像処理回路３０での処理結果（例えば三角測量の原理により算出される障害物の距離情報及びそれに基づく相対速度情報）に基づいて、車両が障害物と衝突不可避であるか否かを判断し、障害物と衝突不可避と判断した場合には、例えばシートベルトプリテンショナのような乗員保護装置を作動させる。

同様に、駐車支援システムでは、撮像部２０は、車両後方を撮像するように車両に搭載され、後方監視カメラとして機能し、画像処理回路３０は、上述の如く黒レベルの補正処理をした映像信号に対して白線認識処理や障害物（他車）認識処理を行い、出力信号作成部４０は、画像処理回路３０での処理結果を駐車支援ＥＣＵ（電子制御ユニット）に送信する。駐車支援ＥＣＵは、画像処理回路３０での処理結果（例えば三角測量の原理により算出される白線や障害物の相対距離情報）に基づいて、例えば、目標駐車位置を決定したり、駐車位置までの障害物との接近距離を算出したりする。

このように本実施例では、撮像部２０を介して捕捉される各種情報は、上述したような画像利用システム７０にて有効に利用される。

ところで、図１に示すような画像処理システムは、車両の搭載されることから、外来電磁ノイズの影響を一時的に受けやすくなるという問題がある。外来電磁ノイズとは、例えば撮像部２０、画像処理回路３０及び出力信号作成部４０を組み込んだ筐体に対して、外部から電磁波として到来してくるノイズであり、例えば、車両が高周波無線基地局を通過する際に一時的に飛び込んでくるノイズが一例である。かかる外来電磁ノイズは、内部要因ノイズ（例えば、撮像部２０や画像処理回路３０自身がその動作に伴い、外部に放出する信号や電磁波であって、バスなどの信号ラインに乗ると同時に電磁波として輻射されるもの。）と同様、映像信号に混入されうるものであるが、外来電磁ノイズは、内部要因ノイズとは異なり、その検出方法が知られておらず、また、内部要因ノイズとは異なり、画像処理回路３０内で適切に補正又は除去するのが困難又は不能である。

図３（Ａ）は、外来電磁ノイズがないときの映像を示し、図３（Ｂ）は、外来電磁ノイズがあるときの映像を示す図である。外来電磁ノイズが乗った映像が、例えばユーザが目視するディスプレイ上に表示されると、ディスプレイ上の映像は、図３（Ｂ）に示すように、ユーザに“見せる”ための映像として不適切なものとなる。また、かかる外来電磁ノイズが乗った映像が、上述の障害物等の検出に用いられると、検出精度が悪くなり、制御の信頼性に影響を与える可能性がある。

そこで、本実施例は、以下で詳説する如く、かかる外来電磁ノイズを適切に検出し、外来電磁ノイズ検出時に適切な処置を行うことを一特徴とする。

図５は、本実施例の画像処理回路３０により実現される外来電磁ノイズ検出処理ルーチンを示すフローチャートである。

先ず、ステップ１００として、オプティカルブラック信号の信号レベル（電流または電圧）が測定される。オプティカルブラック信号の信号レベルは、画像処理回路３０内のオプティカルブラック補正部１８に供給されるオプティカルブラック信号に基づいて算出することができる。この際、オプティカルブラック信号の信号レベルは、所定時間にわたる平均値であってよく、好ましくは、オプティカルブラック領域ＯＢ内の所定領域の撮像素子群から得られるオプティカルブラック信号の信号レベル（及び／又はその平均値）である。

特に撮像素子がＣＣＤ３の場合、オプティカルブラック領域ＯＢ内の所定領域は、好ましくは、ＣＣＤ３の電荷転送領域に属さないオプティカルブラック領域ＯＢから選択される。これは、ＣＣＤ３の電荷転送領域では、スミアと呼ばれる現象が発生した際に、その高輝度が反映されるので、適切な信号レベルを検出することができないためである。尚、スミアとは、太陽や暗いところでの明るい照明など、強い光源を撮影したときに、ＣＣＤ３が強い光に晒されることで、図４に示すように、フォトダイオードから光が漏れ出して、映像に縦方向に光の筋が発生する現象である。垂直転送ＣＣＤの場合、映像の縦方向に高輝度の線が走ることになる。

ＣＣＤ３の電荷転送領域に属さないオプティカルブラック領域ＯＢとは、例えば図２のＣＣＤ３の２次元アレイにおいて、ＣＣＤ３の電荷転送方向が垂直方向（図の上下方向）の場合は、画像出力領域の周囲のうち電荷転送方向に直交する側（図の左右側）に存在するオプティカルブラック領域ＯＢ１，ＯＢ２であってよい。逆に、ＣＣＤ３の電荷転送が水平方向（図の左右方向）の場合は、画像出力領域の周囲のうち電荷転送方向に直交する側（図の上下側）に存在するオプティカルブラック領域ＯＢ３，ＯＢ４が、ＣＣＤ３の電荷転送領域に属さないオプティカルブラック領域ＯＢを構成する。

図５に戻る。上記ステップ１００に続くステップ１１０では、測定したオプティカルブラック信号の信号レベルが所定閾値Ｖｔｈを超えているか否かが判断され、オプティカルブラック信号の信号レベルが所定閾値Ｖｔｈを超えていない場合には、外来電磁ノイズが存在しないと判断され（ステップ１２０）、一方、オプティカルブラック信号の信号レベルが所定閾値Ｖｔｈを超えている場合には、外来電磁ノイズが存在すると判断される（ステップ１３０）。

本ステップ１１０において、所定閾値Ｖｔｈは、想定される内部要因ノイズの最大値よりも大きな値に設定される。所定閾値Ｖｔｈは、内部要因ノイズのレベルの取りうる範囲に依存して（従って撮像部２０や画像処理回路３０の回路構成等に依存して）決定されるものであり、試験結果やシミュレーション結果等に基づいて適合するように設定することができる。例えば、外部からの電磁波の侵入が完全にシールドされた試験環境下で実際に撮像部２０や画像処理回路３０を動作させた際に発生するノイズレベル（内部要因ノイズ）の測定結果に基づいて決定される。

ここで、図１を再度参照するに、外来電磁ノイズは、図１に雷マークａ，ｂ，ｃ，ｄ，ｅにて模式的に示すように、撮像部２０に対する外来電磁ノイズａ、撮像部２０と画像処理回路３０との間の信号線に対する外来電磁ノイズｂ、及び、画像処理回路３０（正確にはオプティカルブラック補正部１８までの回路部分）に対する外来電磁ノイズｃは、オプティカルブラック信号に混入されることになる。

従って、本実施例によれば、オプティカルブラック信号の信号レベルを監視し、内部要因ノイズで発生しうるレベルを超えたノイズレベルが検出された場合に、外来電磁ノイズが検出されたと判断することで、外来電磁ノイズを高精度に検出することが可能となる。また、本実施例では、上述の如く、ＣＣＤ３の電荷転送領域に属さないオプティカルブラック領域ＯＢでのオプティカルブラック信号の信号レベルを監視することで、スミア発生時にも高精度に外来電磁ノイズを検出することが可能となる。

ここで、本実施例において、上記ステップ１１０における所定閾値Ｖｔｈは、ＣＣＤ３の温度（例えば撮像領域に設定される温度センサにより検出。）に応じて変更されてもよい。これは、内部要因ノイズの取りうる範囲が、ＣＣＤ３の動作温度に依存して変化するためである。この場合、画像処理回路３０は、ＣＣＤ３の温度に対する所定閾値Ｖｔｈを定義した所与のマップを参照して、外来電磁ノイズの検出を行う。これにより、外来電磁ノイズと内部要因ノイズとの切り分けを更に高精度に実現することが可能となる。

次に、図６を参照して、上述の如く外来電磁ノイズが検出された場合に対する適切な措置の幾つかの実施例について説明する。

図６は、後方視界支援システムにおいて実行される外来電磁ノイズ検出時措置の一例を示すフローチャートである。以下の各ステップの処理は、後方視界支援システムを統括するＥＣＵにより実現される。ここで、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）は、マイクロコンピュータによって構成されており、例えば、制御プログラムを格納するＲＯＭ、演算結果等を格納する読書き可能なＲＡＭ、タイマ、カウンタ、入力インターフェイス、及び出力インターフェイス等を有する装置を意味する。

ステップ２００では、シフトポジションセンサの出力信号に基づいてシフトレバーがＲレンジへのシフト操作が検出されると、バックカメラとして機能する上述の撮像部２０で撮像された映像をディスプレイ上に表示させるための処理、即ち、出力信号作成部４０から供給される映像信号をディスプレイの映像信号入力部に入力する処理が開始される。

ステップ２１０では、外来電磁ノイズが検出されているか否かが判定される。ＥＣＵは、例えば外来電磁ノイズが検出された際に画像処理回路３０により設定されるフラグを参照して、外来電磁ノイズが検出されているか否かを判定してよい。

本ステップ２１０において、外来電磁ノイズが検出されている場合には、ＥＣＵは、ディスプレイ上での映像出力を停止する（ステップ２２０）。一方、外来電磁ノイズが検出されていない場合は、ＥＣＵは、ディスプレイ上での映像出力を継続する（ステップ２３０）。

これにより、図３（Ｂ）に示すような外来電磁ノイズが乗った不適切な映像が出力表示されるのを防止することができる。この際、ＥＣＵは、外来電磁ノイズによる映像の乱れが原因で、現在一時的に映像を出力していない旨（画面視認性が低下している旨）を報知してよい。この報知は、車室内に設定されるマイクやスピーカを介した音響出力又はディスプレイ上の映像出力により実施することができる。これにより、ディスプレイ上で映像が出力されない理由をユーザに知らしめることができ、映像が一時的に出力停止されたことによる故障等の危惧感を与えるのを防止することができる。

尚、一時的な外来電磁ノイズの場合、上記ステップ２２０の処理実行後、外来電磁ノイズが検出されなくなって時点で、直ちにディスプレイ上での映像出力（後方視界支援）が再開されることになる。

このように本実施例によれば、外来電磁ノイズが検出されている場合に、映像の出力を停止することで、外来電磁ノイズが乗った不適切な映像をユーザに見せてしまうのを防止することができる。

尚、本実施例において、外来電磁ノイズが検出されている場合の映像出力の停止処理は、外来電磁ノイズが検出されている間だけ、画像処理回路３０から出力信号作成部４０への映像信号の供給が停止されることで、或いは、出力信号作成部４０からディスプレイの映像信号入力部への映像信号の供給が停止されることで実現されてもよい。

また、画像処理回路３０にて外来電磁ノイズの発生レベルを段階的に検出する構成の場合、当該段階的な外来電磁ノイズの発生レベルに応じて、ディスプレイ上での映像出力態様を段階的に変化させることも可能である。この場合、映像視認可能な許容限界を超えた外来電磁ノイズが検出された場合にのみ、ディスプレイ上での映像出力の停止処理を行うこととし、外来電磁ノイズのレベルが映像視認可能な許容限界には至らない場合には、映像出力を継続しつつ、ユーザに対して映像を見る際の注意報知（例えば、「外来電磁ノイズによる映像の乱れが一時的に発生しているので、目視により後方確認を行って下さい」なる旨の報知。）を行ってよい。

更に、外来電磁ノイズが検出された場合には、該外来電磁ノイズが原因でノイズが乗った画面が出力される旨の報知をユーザに対して行うこととすることもできる。

図７は、レーンキープシステムにおいて実行される外来電磁ノイズ検出時措置の一例を示すフローチャートである。

ステップ３００では、画像処理回路３０において、レーン監視カメラとして機能する上述の撮像部２０で撮像された映像に基づいて、走行レーンを検出する処理が開始され、同時に、ＥＣＵによるレーンキープ制御が開始される。尚、レーンキープ制御実行中、ＥＣＵは、画像処理回路３０から出力信号作成部４０を介して取得するレーン情報に基づいて、車両が所定の走行レーンを維持して走行しているか否かを判定し、必要に応じて警報出力や介入操舵を実施する。

ステップ３１０では、外来電磁ノイズが検出されているか否かが判定される。ＥＣＵは、例えば外来電磁ノイズが検出された際に画像処理回路３０により設定されるフラグを参照して、外来電磁ノイズが検出されているか否かを判定してよい。

本ステップ３１０において、外来電磁ノイズが検出されている場合には、ＥＣＵは、レーンキープ制御を停止する（ステップ３２０）。一方、外来電磁ノイズが検出されていない場合は、ＥＣＵは、レーンキープ制御を継続する（ステップ３３０）。

これにより、外来電磁ノイズが乗った不適切な映像に基づく信頼性の低いレーン情報に基づいてレーンキープ制御が継続されるのを防止することができる。この際、ＥＣＵは、外来電磁ノイズによる映像の乱れが原因で、現在一時的にレーンキープ制御を停止している旨を報知してよい。この報知は、車室内に設定されるマイクやスピーカを介した音響出力又はディスプレイ上の映像出力により実施することができる。これにより、レーンキープ制御に基づく警報等が出力されない理由をユーザに知らしめることができ、レーンキープ制御が一時的に停止されたことによる故障等の危惧感を与えるのを防止することができる。

尚、本実施例において、外来電磁ノイズが検出されている場合のレーンキープ制御の停止処理は、外来電磁ノイズが検出されている間だけ、画像処理回路３０から出力信号作成部４０へのレーン検出結果の供給が停止されることで、或いは、出力信号作成部４０からＥＣＵへのレーン検出結果の供給が停止されることで実現されてもよい。

また、本実施例において、今回の検出周期で外来電磁ノイズが検出された場合、直ちにレーンキープ制御を停止するのではなく、以降の所定数の周期で継続的に外来電磁ノイズが検出された場合に、レーンキープ制御を停止することとしてもよい。これにより、走行の安全性が確保されることを前提に、瞬時的な外来電磁ノイズの到来によりレーンキープ制御が頻繁に停止・再開されるのを防止することができる。

以上、後方視界支援システムやレーンキープシステムの他の画像利用システム７０に関する説明を省略するが、障害物回避システム及び駐車支援システム或いはその他システムにおいても、外来電磁ノイズが検出された際に、レーンキープシステム又は後方視界支援システムと同様の制限態様で、外来電磁ノイズが乗った不適切な映像に基づく情報の利用を制限することができる。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、既存の回路構成を大きく変更することなく外来電磁ノイズの検出を行うべく、画像処理回路３０（正確にはオプティカルブラック補正部１８）にてオプティカルブラック信号に対する信号レベルの監視を行っているが、本発明は、かかる構成に限定されることは無い。例えば、オプティカルブラック補正部１８に入力されるオプティカルブラック信号を分岐により更に、出力信号作成部４０へと同一の信号線で時分割多重により供給することとしてもよい。これにより、出力信号作成部４０にてオプティカルブラック信号の信号レベルを監視することができ、この場合、上述の外来電磁ノイズａ，ｂ，ｃの他、画像処理回路３０と出力信号作成部４０との間の信号線に対する外来電磁ノイズｄや、出力信号作成部４０（正確にはその一部）に対する外来電磁ノイズｅをも検出することが可能となる。

本発明に係る画像処理装置の一実施例によるシステム構成を示す図である。 撮像素子の２次元アレイを示す図である。 図３（Ａ）は、外来電磁ノイズがないときの映像を示し、図３（Ｂ）は、外来電磁ノイズがあるときの映像を示す図である。 スミアの説明図である。 本実施例の画像処理回路３０により実現される外来電磁ノイズ検出処理ルーチンを示すフローチャートである。 後方視界支援システムにおいて実行される外来電磁ノイズ検出時措置の一例を示すフローチャートである。 レーンキープシステムにおいて実行される外来電磁ノイズ検出時措置の一例を示すフローチャートである。

符号の説明

３ ＣＣＤ
１３ 駆動パルス生成回路
１４ プリアンプ
１５ ＣＤＳ
１６ Ａ／Ｄ変換器
１８ オプティカルブラック補正部
２０ 撮像部
３０ 画像処理回路
４０ 出力信号作成部
７０ 画像利用システム
ＯＢ オプティカルブラック

Claims (5)

1. 複数の撮像素子が配列された所定撮像領域をオプティカルブラック領域と画像出力領域とに区分し、画像出力領域における検出レベルを、オプティカルブラック領域における検出レベルを基準として補正することで、出力画像データを生成する画像処理装置において、
   前記オプティカルブラック領域での電流値又は電圧値に基づいて算出したノイズ検出レベルが、前記画像処理装置の内部から発生する電磁波を要因とする内部要因ノイズの想定される最大レベルよりも大きい閾値レベルを超える場合に、前記画像処理装置の外部から到来する電磁波を要因とする外来電磁ノイズを検出したと判定する外来電磁ノイズ検出判定手段を備え、
   前記撮像素子は、前記画像出力領域の垂直又は水平方向に電荷転送を行うように２次元配列及び構成された電荷結合素子であり、
   前記外来電磁ノイズ検出判定手段は、前記撮像素子の電荷転送方向が前記画像出力領域の垂直方向である場合に、前記画像出力領域の周囲領域のうち前記画像出力領域の水平方向の領域に伸びて存在する前記オプティカルブラック領域での電流値又は電圧値に基づいて外来電磁ノイズの検出を判定し、前記撮像素子の電荷転送方向が前記画像処理装置の水平方向である場合には、前記画像出力領域の周囲領域のうち前記画像出力領域の垂直方向の領域に伸びて存在する前記オプティカルブラック領域での電流値又は電圧値に基づいて外来電磁ノイズの検出を判定することを特徴とする画像処理装置。
2. 前記閾値レベルは、前記所定撮像領域の温度に応じて変化されることを特徴とする請求項１記載の画像処理装置。
3. 請求項１または２記載の画像処理装置を備え、前記撮像素子を含むカメラが車両外部を撮像するように車両に搭載された車両用運転支援装置において、
   前記画像処理装置により生成される出力画像データを出力するディスプレイを備え、
   前記外来電磁ノイズ検出判定手段により外来電磁ノイズが検出されたと判定した場合に、ディスプレイ上への出力画像データの出力を停止し、外来電磁ノイズが原因で出力画像データの出力を一時的に停止した旨の報知をユーザに対して行うことを特徴とする車両用運転支援装置。
4. 外来電磁ノイズが検出された場合には、該外来電磁ノイズが原因でノイズが乗った画面が出力される旨の報知をユーザに対して行う請求項３に記載の車両用運転支援装置。
5. 請求項１記載の画像処理装置を備え、前記撮像素子を含むカメラが車両外部を撮像するように車両に搭載された車両用運転支援装置において、
   前記画像処理装置により生成される出力画像データを利用して、警報出力制御又は車両の走行状態に影響を与える所定制御を行う制御手段を備え、
   前記外来電磁ノイズ検出判定手段により外来電磁ノイズが検出されたと判定した場合に、前記制御手段による前記出力画像データの利用を抑制又は禁止することを特徴とする車両用運転支援装置。

Images