JP4234092B2

JP4234092B2 - 画像処理装置

Info

Publication number: JP4234092B2
Application number: JP2004347821A
Authority: JP
Inventors: 文則谷口; 伸治長岡
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-11-30
Filing date: 2004-11-30
Publication date: 2009-03-04
Anticipated expiration: 2024-11-30
Also published as: US7370975B2; US20060114272A1; JP2006155429A

Description

この発明は、例えば可視光領域や赤外線領域にて撮像可能な撮像装置により撮像された画像を処理する画像処理装置に関する。

従来、赤外線カメラの撮影により得られた自車両周辺の赤外線画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、この対象物の情報を自車両の運転者に提供する車両の周辺監視装置が知られている（例えば、特許文献１参照）。
特開２００１−６０９６号公報

ところで、上記従来技術の一例に係る車両の周辺監視装置において、画像を出力する赤外線カメラと、赤外線カメラから出力される画像を処理する処理装置とは、画像の輝度値に対する理想的な基準となる所定の設定値に応じて、画像の生成や画像の処理を実行するように設定されている。しかしながら、例えば複数の赤外線カメラを車両に搭載する際に各複数の赤外線カメラ毎の輝度値の設定に対して個体差が生じたり、例えば赤外線カメラの経年変化に応じて輝度値の設定が変化したり、例えば赤外線カメラから出力された画像の信号が処理装置まで送信される過程で信号の減衰や劣化が生じたりすることで、赤外線カメラから出力される画像と、実際に処理装置で処理される画像とに対して、輝度値の設定に差異が生じてしまう場合がある。このため、赤外線カメラから出力される画像と、実際に処理装置で処理される画像とに対して、基準となる輝度値の設定を同等に設定することが望まれている。
本発明は上記事情に鑑みてなされたもので、撮像装置から出力される画像と、画像処理装置で処理される画像とに対して、基準となる輝度値の設定を容易に同等に設定することが可能な画像処理装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の画像処理装置は、車両に搭載され、撮像素子および所定の基準輝度信号を出力する基準輝度信号出力部を具備する撮像手段（例えば、実施の形態での赤外線カメラ２Ｒ，２Ｌ）と、前記撮像素子の撮像により得られた画像と、前記基準輝度信号を受信する画像処理手段とを備え、前記画像処理手段は、所定の基準輝度設定値を予め記憶している基準輝度設定値記憶手段（例えば、実施の形態での輝度設定値記憶部２３）と、前記撮像手段から出力された前記基準輝度信号の輝度設定値を算出する輝度設定値算出手段（例えば、実施の形態での輝度比較部２２）と、前記基準輝度設定値記憶手段に記憶された所定の前記基準輝度設定値と、前記輝度設定値算出手段により算出された前記輝度設定値とを比較する比較手段（例えば、実施の形態での輝度比較部２２が兼ねる）と、前記比較手段の比較結果に基づき、前記輝度設定値が前記基準輝度設定値に対して相対的なずれを有するか否かを判定するずれ判定手段（例えば、実施の形態での輝度比較部２２が兼ねる）と、前記輝度設定値を補正する輝度設定値補正手段（例えば、実施の形態での画像補正部２４）とを備え、前記輝度設定値補正手段は、前記ずれ判定手段により前記輝度設定値が前記基準輝度設定値に対して相対的なずれを有すると判定された場合に、前記輝度設定値が前記基準輝度設定値と同等になるようにして、前記輝度設定値を補正し、前記輝度設定値の補正に基づいて前記画像の輝度を補正することを特徴としている。

上記の画像処理装置によれば、予め記憶している基準輝度設定値と、撮像手段から出力された基準輝度信号の輝度設定値とに相対的なずれがある場合に、輝度設定値が基準輝度設定値と同等になるようにして輝度設定値を補正し、輝度設定値の補正に基づいて画像の輝度を補正することから、適切な画像処理を行うことができる。

さらに、請求項２に記載の本発明の画像処理装置は、前記ずれ判定手段による判定結果に基づいて前記輝度設定値補正手段による前記撮像手段の輝度設定値の補正が可能か否かを判定する補正可能性判定手段（例えば、実施の形態での輝度比較部２２が兼ねる）と、前記補正可能性判定手段により前記補正が不可能と判定された場合に警報を出力する報知手段（例えば、実施の形態での報知装置３１）とを備えることを特徴としている。

上記の画像処理装置によれば、例えば輝度設定値に対する修正量が所定量以上に過剰となった場合等において補正が不可能と判定された場合に警報を出力することで、画像処理の信頼度を車両の乗員に適切に認識させることができる。

以上説明したように、請求項１に記載の本発明の画像処理装置によれば、予め記憶している基準輝度設定値と、画像から算出された輝度設定値とに相対的なずれがある場合に、輝度設定値が基準輝度設定値と同等になるようにして輝度設定値を補正することから、適切な画像処理を行うことができる。
さらに、請求項２に記載の本発明の画像処理装置によれば、補正が不可能と判定された場合に警報を出力することで、画像処理の信頼度を車両の乗員に適切に認識させることができる。

以下、本発明の一実施形態に係る画像処理装置について添付図面を参照しながら説明する。
本実施の形態による画像処理装置は、例えば図１に示すように、車両周辺監視装置に具備される画像処理ユニット１をなし、この車両周辺監視装置は、画像処理装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニット１と、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ，２Ｌと、自車両のヨーレートを検出するヨーレートセンサ３と、自車両の走行速度（車速）を検出する車速センサ４と、運転者によるブレーキ操作の有無を検出するブレーキセンサ５と、スピーカ６と、表示装置７とを備えて構成され、例えば、画像処理ユニット１は２つの赤外線カメラ２Ｒ，２Ｌの撮影により得られる自車両周辺の赤外線画像と、各センサ３，４，５により検出される自車両の走行状態に係る検出信号とから、自車両の進行方向前方の歩行者や動物等の移動体を検出し、検出した移動体と自車両との接触が発生する可能性があると判断したときに、スピーカ６または表示装置７を介して警報を出力するようになっている。
なお、表示装置７は、例えば自車両の各種走行状態量を表示する計器類と一体化された表示装置やナビゲーション装置の表示装置、さらにフロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するＨＵＤ（Head Up Display）７ａ等を備えて構成されている。

また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路と、ディジタル化した画像信号を記憶する画像メモリと、各種演算処理を行うＣＰＵ（中央演算装置）と、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）と、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）と、スピーカ６の駆動信号やＨＵＤ７ａ等の表示信号などを出力する出力回路とを備えており、赤外線カメラ２Ｒ，２Ｌおよび各センサ３，４，５から出力される信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。

なお、例えば図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ，２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、対象物の温度が高いほど、出力信号レベルが高くなる（つまり、輝度が増大する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。

そして、各赤外線カメラ２Ｒ，２Ｌは、例えば図３に示すように、ＣＣＤやＣ−ＭＯＳ等の撮影素子１１と、撮影画像出力部１２と、基準輝度信号出力部１３とを備えて構成されている。
撮影画像出力部１２は、撮影素子１１の撮影により得られた赤外線画像を、基準輝度信号出力部１３から出力される所定の基準輝度信号と共に画像処理ユニット１に出力する。
ここで、画像処理ユニット１に出力されるデータは、例えば図４に示すように、各赤外線カメラ２Ｒ，２Ｌの赤外線画像ＰＲ，ＰＬと、所定の基準輝度信号として赤外線画像ＰＲ，ＰＬ上での各赤外線カメラ２Ｒ，２Ｌの画角領域外の領域ＰＲａ，ＰＬａの所定位置に配置されたグレースケールバーＧＢとから構成され、このグレースケールバーＧＢは、例えば所定の基準最小輝度Ｇ１および基準最大輝度Ｇ２の各パターンを備えて構成されている。

そして、画像処理ユニット１は、例えば図３に示すように、画像メモリ２１と、輝度比較部２２と、輝度設定値記憶部２３と、画像補正部２４とを備えて構成され、特に、画像処理ユニット１の輝度比較部２２には、スピーカ６および表示装置７を具備する報知装置２２が接続されている。

この画像処理ユニット１において、画像メモリ１１は赤外線カメラ２Ｒ（または２Ｌ）から受信した赤外線画像および基準輝度信号をデジタルデータとして記憶する。
輝度比較部２２は、赤外線画像と共に画像メモリ１１に記憶された基準輝度信号と、予め輝度設定値記憶部２３に格納されている所定の輝度設定値とを比較し、この比較結果を画像補正部２４および報知装置２２へ出力する。
例えば、輝度比較部２２は、グレースケールバーＧＢを構成するパターン数Ｐ＿ＮＵＭ（例えば、Ｐ＿ＮＵＭ＝２）と、適宜のフレーム数Ｆ＿ＡＶＥ（例えば、Ｆ＿ＡＶＥ＝３０）と、所定の基準輝度信号であるグレースケールバーＧＢを構成する各パターンの輝度ＭＡＳＫ（Ｊ）（Ｊは適宜の自然数であって、Ｊ＝１，…，Ｐ＿ＮＵＭ）と、各赤外線カメラ２Ｒ，２Ｌに対する輝度ゲインＲ＿ＧＡＩＮ，Ｌ＿ＧＡＩＮおよび輝度レベルＲ＿ＬＥＶＥＬ，Ｌ＿ＬＥＶＥＬと、グレースケールバーＧＢを構成する各パターンに対応して予め輝度設定値記憶部２３に格納されている所定の輝度設定値ＫＩＤ（Ｊ）とに基づき、例えば下記数式（１）に示す各赤外線カメラ２Ｒ，２Ｌ毎の評価式において、最小二乗法等により、各パターンの輝度ＭＡＳＫ（Ｊ）が所定の輝度設定値ＫＩＤ（Ｊ）に等しくなるようにして、輝度ゲインＲ＿ＧＡＩＮ，Ｌ＿ＧＡＩＮおよび輝度レベルＲ＿ＬＥＶＥＬ，Ｌ＿ＬＥＶＥＬを設定する。
ここで、評価値Ｅｒｒ＿Ｒ，Ｅｒｒ＿Ｌの何れか一方が所定閾値Ｅｒｒ＿ＴＨ（例えば、Ｅｒｒ＿ＴＨ＝５０等）以上となる場合には、各赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像に対して過剰な補正が必要であり、対応する赤外線カメラ２Ｒ，２Ｌが異常状態であると判断し、この異常状態を報知する警報として、例えばスピーカ６を介した警報音や音声等の聴覚的警報や、例えば表示装置７を介した表示等の視覚的警報等を報知装置３１から出力させると共に、画像補正部２４での補正処理の実行を禁止する。

画像補正部２４は、輝度比較部２２にて設定された輝度ゲインＲ＿ＧＡＩＮ，Ｌ＿ＧＡＩＮおよび輝度レベルＲ＿ＬＥＶＥＬ，Ｌ＿ＬＥＶＥＬに応じて、例えば下記数式（２）により、画像メモリ１１に記憶された赤外線画像の輝度（右および左画像入力輝度）を補正（右および左処理画像輝度へと変更）する。

なお、画像補正部２４による補正後において、隣接するパターンの輝度ＭＡＳＫ（Ｊ），ＭＡＳＫ（Ｊ＋１）の差が所定閾値以下である場合には、補正により赤外線画像の信頼度が低下したと判断し、この状態を報知する警報として、例えばスピーカ６を介した警報音や音声等の聴覚的警報や、例えば表示装置７を介した表示等の視覚的警報等を報知装置３１から出力させると共に、補正された赤外線画像に対する所定の対象物認識処理等の実行を禁止する。

本実施の形態による画像処理装置は上記構成を備えており、次に、この画像処理装置の動作について添付図面を参照しながら説明する。
まず、図５に示すステップＳ０１においては、各赤外線カメラ２Ｒ，２Ｌから赤外線画像と共に所定の基準輝度信号を取得する。
次に、ステップＳ０２においては、例えば上記数式（１）に示す各赤外線カメラ２Ｒ，２Ｌ毎の評価式において、最小二乗法等により、各パターンの輝度ＭＡＳＫ（Ｊ）が所定の輝度設定値ＫＩＤ（Ｊ）に等しくなるようにして、輝度ゲインＲ＿ＧＡＩＮ，Ｌ＿ＧＡＩＮおよび輝度レベルＲ＿ＬＥＶＥＬ，Ｌ＿ＬＥＶＥＬを設定する。

次に、ステップＳ０３においては、各赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像に基づく周辺監視処理の作動状態であるか否かを判定する。
この判定結果が「ＮＯ」の場合、つまり周辺監視処理の非作動状態であって画像処理の処理内容を調整するエイミング実行時である場合には、後述するステップＳ０５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０４に進む。
そして、ステップＳ０４においては、輝度ゲインＲ＿ＧＡＩＮ，Ｌ＿ＧＡＩＮおよび輝度レベルＲ＿ＬＥＶＥＬ，Ｌ＿ＬＥＶＥＬがエイミング実行時の値から変化したか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０１に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。

そして、ステップＳ０５においては、例えば上記数式（１）に示す評価値Ｅｒｒ＿Ｒ，Ｅｒｒ＿Ｌの何れか一方が所定閾値Ｅｒｒ＿ＴＨ（例えば、Ｅｒｒ＿ＴＨ＝５０等）以上となって、補正限界を超えたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０６に進み、このステップＳ０６においては、対応する赤外線カメラ２Ｒ，２Ｌが異常状態であると判断して、一連の処理を終了する。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０７に進み、このステップＳ０７においては、設定された輝度ゲインＲ＿ＧＡＩＮ，Ｌ＿ＧＡＩＮおよび輝度レベルＲ＿ＬＥＶＥＬ，Ｌ＿ＬＥＶＥＬに応じて、例えば上記数式（２）により、画像メモリ１１に記憶された赤外線画像の輝度（右および左画像入力輝度）を補正（右および左処理画像輝度へと変更）し、一連の処理を終了する。

上述したように、本実施の形態による画像処理装置によれば、予め記憶された所定の輝度設定値と、基準輝度信号とに相対的なずれがある場合に、赤外線カメラ２Ｒ，２Ｌの基準輝度信号が所定の輝度設定値と同等になるようにして赤外線カメラ２Ｒ，２Ｌの基準輝度信号を補正することから、適切な画像処理を行うことができる。
さらに、上記数式（１）に示す評価値Ｅｒｒ＿Ｒ，Ｅｒｒ＿Ｌの何れか一方が所定閾値Ｅｒｒ＿ＴＨ（例えば、Ｅｒｒ＿ＴＨ＝５０等）以上となって、補正限界を超えたと判定された場合に警報を出力することで、画像処理の信頼度を車両の乗員に適切に認識させることができる。

なお、上述した実施の形態においては、ステップＳ０５〜ステップＳ０７に示すように、周辺監視処理の作動状態において赤外線画像の輝度を補正するとしたが、これに限定されず、例えば図６に示す上述した実施の形態の変形例のように、周辺監視処理の作動状態で補正限界を超えない状態では、赤外線画像の輝度を補正せずに維持してもよい。
つまり、この変形例においては、まず、図６に示すステップＳ０１においては、各赤外線カメラ２Ｒ，２Ｌから赤外線画像と共に所定の基準輝度信号を取得する。
次に、ステップＳ０２においては、例えば上記数式（１）に示す各赤外線カメラ２Ｒ，２Ｌ毎の評価式において、最小二乗法等により、各パターンの輝度ＭＡＳＫ（Ｊ）が所定の輝度設定値ＫＩＤ（Ｊ）に等しくなるようにして、輝度ゲインＲ＿ＧＡＩＮ，Ｌ＿ＧＡＩＮおよび輝度レベルＲ＿ＬＥＶＥＬ，Ｌ＿ＬＥＶＥＬを設定する。

次に、ステップＳ１１においては、各赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像に基づく周辺監視処理の作動状態であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１４に進む。
一方、この判定結果が「ＮＯ」の場合、つまり周辺監視処理の非作動状態であって画像処理の処理内容を調整するエイミング実行時である場合には、ステップＳ１２に進む。
そして、ステップＳ１２においては、例えば上記数式（１）に示す評価値Ｅｒｒ＿Ｒ，Ｅｒｒ＿Ｌの何れか一方が所定閾値Ｅｒｒ＿ＴＨ（例えば、Ｅｒｒ＿ＴＨ＝５０等）以上となって、補正限界を超えたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ１６に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１３に進む。
そして、ステップＳ１３においては、設定された輝度ゲインＲ＿ＧＡＩＮ，Ｌ＿ＧＡＩＮおよび輝度レベルＲ＿ＬＥＶＥＬ，Ｌ＿ＬＥＶＥＬに応じて、例えば上記数式（２）により、画像メモリ１１に記憶された赤外線画像の輝度（右および左画像入力輝度）を補正（右および左処理画像輝度へと変更）し、一連の処理を終了する

また、ステップＳ１４においては、輝度ゲインＲ＿ＧＡＩＮ，Ｌ＿ＧＡＩＮおよび輝度レベルＲ＿ＬＥＶＥＬ，Ｌ＿ＬＥＶＥＬがエイミング実行時の値から変化したか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０１に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１５に進む。

そして、ステップＳ１５においては、例えば上記数式（１）に示す評価値Ｅｒｒ＿Ｒ，Ｅｒｒ＿Ｌの何れか一方が所定閾値Ｅｒｒ＿ＴＨ（例えば、Ｅｒｒ＿ＴＨ＝５０等）以上となって、補正限界を超えたか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ１６に進み、このステップＳ１６においては、対応する赤外線カメラ２Ｒ，２Ｌが異常状態であると判断して、一連の処理を終了する。
一方、この判定結果が「ＮＯ」の場合には、上述したステップＳ０１に戻る。

本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置を搭載した車両を示す図である。図１に示す画像処理ユニットの構成図である。各赤外線カメラから出力される赤外線画像ＰＲ，ＰＬと、基準輝度信号としてのグレースケールバーＧＢとの一例を示す図である。図１に示す画像処理ユニットの動作、特に、赤外線カメラに対する電力供給を制御する処理を示すフローチャートである。図１に示す画像処理ユニットの動作、特に、赤外線カメラに対する電力供給を制御する処理を示すフローチャートである。

符号の説明

１画像処理ユニット
２Ｒ，２Ｌ赤外線カメラ（撮像手段）
３ヨーレートセンサ
４車速センサ
５ブレーキセンサ
６スピーカ
７表示装置
１０自車両
２２輝度比較部（輝度設定値算出手段、比較手段、ずれ判定手段、補正可能性判定手段）
２３輝度設定値記憶部（基準輝度設定値記憶手段）
２４画像補正部（輝度設定値補正手段）
３１報知装置（報知手段）

Claims

車両に搭載され、撮像素子および所定の基準輝度信号を出力する基準輝度信号出力部を具備する撮像手段と、
前記撮像素子の撮像により得られた画像と、前記基準輝度信号を受信する画像処理手段とを備え、
前記画像処理手段は、
所定の基準輝度設定値を予め記憶している基準輝度設定値記憶手段と、
前記撮像手段から出力された前記基準輝度信号の輝度設定値を算出する輝度設定値算出手段と、
前記基準輝度設定値記憶手段に記憶された所定の前記基準輝度設定値と、前記輝度設定値算出手段により算出された前記輝度設定値とを比較する比較手段と、
前記比較手段の比較結果に基づき、前記輝度設定値が前記基準輝度設定値に対して相対的なずれを有するか否かを判定するずれ判定手段と、
前記輝度設定値を補正する輝度設定値補正手段とを備え、
前記輝度設定値補正手段は、前記ずれ判定手段により前記輝度設定値が前記基準輝度設定値に対して相対的なずれを有すると判定された場合に、前記輝度設定値が前記基準輝度設定値と同等になるようにして、前記輝度設定値を補正し、前記輝度設定値の補正に基づいて前記画像の輝度を補正することを特徴とする画像処理装置。
前記ずれ判定手段による判定結果に基づいて前記輝度設定値補正手段による前記撮像手段の輝度設定値の補正が可能か否かを判定する補正可能性判定手段と、
前記補正可能性判定手段により前記補正が不可能と判定された場合に警報を出力する報知手段と
を備えることを特徴とする請求項１に記載の画像処理装置。