JP5783279B2 - 画像処理装置 - Google Patents

Description

本発明は、自動車用暗視装置に用いられる画像処理装置に関する。

従来、自動車に搭載される暗視装置、いわゆるナイトビジョンシステムが知られている（特許文献１参照）。この種の暗視装置は、自車両周辺の規定された規定空間に近赤外線を発光する投光器と、近赤外線を含む光を規定空間から受光して画像を生成する撮像装置と、撮像装置で撮像した画像を表示する表示装置とを備えている。

さらに、この種の暗視装置の中には、撮像装置で撮像した画像に基づいて、歩行者などの検出対象物を検出して、当該検出対象物の存在を報知するものがある。

特開２００９−２１９０４２号公報

この種の暗視装置では、表示装置に表示される画像の視認性を向上させることが求められており、暗視装置における撮像装置が生成する画像をカラー画像とすることが求められている。

この要求を実現するために、暗視装置に用いられる撮像装置の中には、モザイク状（マトリックス状）に配置された複数の受光素子と、可視光線を通過する可視光フィルタと、近赤外線を通過する近赤外フィルタとを備えたものがある。

通常、暗視装置に用いられる受光素子のそれぞれは、可視光から近赤外線の波長域に受光感度を持ち、カラー画像を生成するための特定の色情報を含む可視光線と近赤外線を通過する可視光フィルタ、及び近赤外線を主に通過する近赤外フィルタのいずれかを介してあるいはフィルタを介さず、受光強度に応じた大きさの信号を出力する。可視光フィルタは、通常ベイヤー配列されたＲＧＢあるいはＣｙＭｇＹｅＧ等により構成されるバンドパスフィルタである。近赤外フィルタは、通常６００ｎｍ〜８００ｎｍ程度の波長から長波長側のみ通過させるバンドパスフィルタである。前記、カラー画像を実現するための撮像装置が備えるフィルタは、ベイヤー配列の基本画素単位中に含まれるＲＧＢＧのうちひとつの画素を前記近赤外線フィルタに置き換えたＲＧＢＩＲフィルタ、あるいはＣｙＭｇＹｅＧのＧを近赤外線フィルタに置き換えたＣｙＭｇＹｅＩＲフィルタなど、可視光フィルタに近赤外線フィルタを追加することで、色再現性の良い暗視装置を実現している。

そして、撮像装置では、互いに隣接する受光素子にて検出した近赤外線の強度と可視光線の強度との和を各画素の光強度として有した複数の画素からなる画像を生成する。
ところで、暗視装置の撮像装置にて撮像される画像においては、歩行者などの検出対象物を、当該検出対象物の周辺よりも強調する（浮き立たせる）ことが求められる。

検出対象物が強調された画像とするためには、検出対象物からの近赤外線の強度と、検出対象物の周辺からの可視光線の強度との比率を、予め求められた規定範囲内とすることが考えられる。

しかしながら、近年、車室内の温度上昇を抑制するために、自動車には、赤外線領域の波長の光をカットするウインドシールドが用いられている。このようなウインドシールドが用いられると、撮像装置にて受光する検出対象物からの近赤外線の強さが低下し、撮像装置にて受光した光に基づいて生成される画像は、検出対象物が強調された画像とならないという課題が生じる。

この課題を解決する方法として、下記（３）式に示すように、近赤外フィルタを介して受光した受光素子からの近赤外線の強度（以下、「近赤外線強度」と称す）Ｌ_IRが増幅されるように、ゲインａ₁を乗じることが考えられる。ただし、下記（３）式におけるＬ_R，Ｌ_G，Ｌ_Bは、それぞれ、赤色フィルタを介して受光した受光素子からの光強度、緑色フィルタを介して受光した受光素子からの光強度、青色フィルタを介して受光した受光素子からの光強度である。

Ｌ＝Ｌ_R＋Ｌ_G＋Ｌ_B＋ａ₁×Ｌ_IR …（３）
すなわち、上記（３）式による補正方法では、近赤外線強度Ｌ_IRが弱く、可視光線の強度が支配的な画素についても、近赤外線強度Ｌ_IRを一律で増幅する。

したがって、上記（３）式によって補正された画素値によって構築された画像では、Ｌ_IRのノイズ成分の増幅により図９（Ａ）に示すような白浮きが発生する可能性や、図９（Ｂ）に示すような対向車のライトを光源としたフレアが強調される可能性があり、画像における明暗のコントラストが低下する可能性があった。なお、図９（Ａ）において、破線にて囲った領域は、白浮きが発生した領域を示す。

このように、白浮きが発生したり、フレアが強調されたりして、明暗のコントラストが低下すると、表示装置に表示された画像の視認性が低下するだけでなく、暗視装置の画像処理装置における検出対象物の検出性能が低下するという課題が生じる。

つまり、従来の技術では、表示装置に表示される画像の視認性を向上させつつ、検出対象物の検出性能を向上させることが可能な画像を生成できないという課題があった。
そこで、本発明は、自動車用暗視装置に用いられる画像処理装置において、視認性を向上させつつ、検出対象物の検出性能を向上させることが可能な画像を生成することを目的とする。

上記目的を達成するためになされた本発明の画像処理装置（５０）は、画像取得手段（５０，Ｓ２２０）と、補正手段（５０，Ｓ２３０）と、画像生成手段（５０，Ｓ２４０）とを備える。

このうち、画像取得手段は、複数の領域からなる平面に規定空間を投影した画像を表す画像信号を取得する。ここで言う規定空間は、自動車周辺の空間領域として予め規定された空間である。

そして、画像取得手段が取得する画像信号は、近赤外線を主に通過させる近赤外フィルタを介して、規定空間からの光を受光する受光素子と、可視光領域の波長の光である可視光線と近赤外線とを通過させる可視光フィルタを介して、規定空間からの光を受光する受光素子とから取得されたものである。

補正手段は、画像取得手段にて取得された画像信号によって表される画像を構成する複数の領域のうちの一つを着目領域として設定し、着目領域における近赤外線の強度と、当該着目領域における可視光線と近赤外線とを合わせた強度との差が小さいほど、当該着目領域における近赤外線の強度が増幅するように当該着目領域を補正する補正制御を、画像を構成する複数の領域のそれぞれに対して実行する。

画像生成手段は、補正手段により補正された複数の領域に基づいて、新たな画像を生成する。
このような画像処理装置によれば、それぞれが、可視光線の強度及び近赤外線の強度を有した複数の画素からなる画像、即ち、カラー画像を取得することができる。しかも、本発明においては、取得したカラー画像に基づいて生成される新たな画像も、可視光線の強度及び近赤外線の強度を有した複数の画素によって構成される。

このため、本発明の画像処理装置にて新たに構成された画像を表示装置に表示すれば、当該画像の視認性を高いものとすることができる。
さらに、本発明の画像処理装置によれば、着目領域における近赤外線の強度と、当該着目領域における可視光線と近赤外線とを合わせた強度との差が小さいほど、当該着目領域における近赤外線の強度が増幅するように当該着目領域を補正できる。

このため、本発明の画像処理装置にて生成した新たな画像においては、白浮きが発生することや、対向車のライトを光源としたフレアが強調されることを抑制できる。つまり、本発明の画像処理装置によれば、明暗のコントラストが低下することを抑制した画像を生成することができる。

この結果、本発明の画像処理装置にて新たに生成した画像に基づいて検出対象物を検出すれば、その検出対象物の検出性能を向上させることができる。
つまり、本発明の画像処理装置によれば、視認性を向上させつつ、検出対象物の検出性能を向上させることが可能な画像を生成できる。

なお、本発明における補正手段は、着目領域における可視光線と近赤外線とを合わせた強度の当該着目領域における近赤外線の強度に対する比が小さいほど、当該着目領域における近赤外線の強度が増幅するように当該着目領域を補正する補正制御を、画像を構成する複数の領域のそれぞれに対して実行しても良い。

このような補正手段を備えた画像処理装置であっても、上述した画像処理装置と同様の効果を得ることができる。

本発明が適用された暗視ＥＣＵを備えたナイトビジョンシステムの概略構成を示すブロック図である。 光学フィルタの構造を説明する図である。 光学フィルタの透過特性を説明する図である。 第一実施形態におけるナイトビジョン処理の処理手順を説明するフローチャートである。 第一実施形態におけるゲインを説明する図である。 （Ａ）実施形態における効果の一つである「白浮きの解消」を説明する図であり、（Ｂ）実施形態における効果の一つである「フレアの解消」を説明する図である。 第二実施形態におけるナイトビジョン処理の処理手順を説明するフローチャートである。 第二実施形態におけるゲインを説明する図である。 （Ａ）従来の技術における課題の一つである「白浮き」を説明する図であり、（Ｂ）従来の技術における課題の一つである「フレア」を説明する図である。

以下に本発明の実施形態を図面と共に説明する。
［第一実施形態］
〈ナイトビジョンシステム〉
図１に示すナイトビジョンシステム１は、自動車に搭載され、自動車周辺に規定された空間領域の状況を報知するものである。以下、ナイトビジョンシステム１が搭載された自動車を自車両とも称す。

このナイトビジョンシステム１は、撮像装置５と、投光装置１０と、表示装置１５と、音出力装置２０と、スイッチセンサ群３０と、暗視電子制御装置５０とを備えている。以下、暗視電子制御装置５０を、暗視ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５０とも称す。

投光装置１０は、暗視ＥＣＵ５０からの制御信号に従って近赤外線を発光する周知の装置である。本実施形態の投光装置１０は、自車両周辺の空間領域として予め規定された規定空間に、近赤外線を照射するように配置されている。

本実施形態においては、規定空間として、自車両の進行方向上の路上、及びその路上の左右両脇を含む空間が規定されている。
表示装置１５は、暗視ＥＣＵ５０からの信号に従って画像（映像）あるいは注意喚起のためのインジケータ等を表示する周知の表示装置である。この表示装置１５は、周知のナビゲーション装置の液晶ディスプレイなどであっても良いし、周知のヘッドアップディスプレイであっても良いし、インストルメントパネル内に設けられたモニタや、表示灯などであっても良い。

音出力装置２０は、暗視ＥＣＵ５０からの電気信号を音に変換して出力する装置、いわゆるスピーカである。
スイッチセンサ群３０は、暗視スイッチ３２と、照度センサ３４と、ヘッドライトスイッチ３６と、車速センサ３８とを備え、自車両やナイトビジョンシステム１の状態を表す各種情報を取得する。

暗視スイッチ３２は、ナイトビジョンシステム１の起動指令の外部からの入力を受け付けるスイッチである。照度センサ３４は、自車両周辺の照度を検出するセンサである。ヘッドライトスイッチ３６は、オンオフを切り替えることで、自車両が備える前照灯の点灯または消灯を切り替える周知のスイッチである。車速センサ３８は、自車両の車速を検出する周知のセンサである。

撮像装置５は、撮像素子、光学レンズ、光学フィルタ、電源等の周辺電子回路を備え、撮像素子により画像を撮像する周知の撮像装置である。
本実施形態の撮像素子は、モザイク状（マトリックス状）に配列された複数の受光素子を有した周知の撮像素子であり、例えば、周知のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどである。

また、本実施形態における光学フィルタは、図２に示すように、近赤外フィルタ（ＩＲ）と、可視光フィルタ（Ｒ，Ｇ，Ｂ）とを備えている。可視光フィルタ（Ｒ，Ｇ，Ｂ）は、少なくとも可視光領域の波長の光を通過するフィルタであり、赤色フィルタ（Ｒ）と、緑色フィルタ（Ｇ）と、青色フィルタ（Ｂ）とを備えている。

すなわち、光学フィルタは、近赤外フィルタ（ＩＲ）、赤色フィルタ（Ｒ）、緑色フィルタ（Ｇ）、及び青色フィルタ（Ｂ）が、マトリックス状に配置されたフィルタである。なお、近赤外フィルタ（ＩＲ）、赤色フィルタ（Ｒ）、緑色フィルタ（Ｇ）、及び青色フィルタ（Ｂ）のそれぞれは、撮像素子が有する受光素子の受光面を覆うように設けられている。

赤色フィルタ（Ｒ）は、図３に示すように、光の三原色を構成する赤色の波長の光、及び近赤外線領域の波長の光（即ち、近赤外線）を透過する周知のフィルタである。緑色フィルタ（Ｇ）は、図３に示すように、光の三原色を構成する緑色の波長の光、及び近赤外線領域の波長の光を透過する周知のフィルタである。青色フィルタ（Ｂ）は、図３に示すように、光の三原色を構成する青色の波長の光、及び近赤外線領域の波長の光を通過する周知のフィルタである。

近赤外フィルタ（ＩＲ）は、図３に示すように、主に近赤外線を通過するフィルタである。
つまり、本実施形態の撮像装置５では、互いに隣接する４つの受光素子にて検出した近赤外線の強度と可視光線の強度との和を、一つの画素の光強度値とした複数の画素からなる画像を生成する。よって、撮像装置５にて生成される画像は、複数の画素を有した平面に、規定空間が投影されたものとなる。撮像装置５にて生成される画像を構成する複数の画素を、画像を構成する複数の領域とも称す。
〈暗視ＥＣＵ〉
暗視ＥＣＵ５０は、図１に示すように、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを格納するＲＯＭ５２と、処理プログラムやデータを一時的に格納するＲＡＭ５４と、ＲＯＭ５２やＲＡＭ５４に記憶された処理プログラムに従って各種処理を実行するＣＰＵ５６とを少なくとも有した周知のコンピュータを中心に構成されている。

この暗視ＥＣＵ５０のＲＯＭ５２には、少なくとも、投光装置１０から近赤外光線を規定空間に照射し、撮像装置５にて生成した画像に基づく画像を表示装置１５に表示する暗視表示を実行するナイトビジョン処理をＣＰＵ５６が実行するための処理プログラムが格納されている。すなわち、本実施形態においては、暗視ＥＣＵ５０が、本発明の画像処理装置として機能する。
〈ナイトビジョン処理〉
ナイトビジョン処理は、イグニッションスイッチがオンされるあるいは暗視スイッチがオンされる等のフラグにより起動される。

このナイトビジョン処理は、起動されると、図４に示すように、まず、暗視表示の開始条件を満たしているか否かを判定する（Ｓ２１０）。ここでいう暗視表示とは、投光装置１０から近赤外光線を規定空間に照射し、撮像装置５にて生成した画像に基づく画像を表示装置１５に表示することである。

本実施形態における暗視表示の開始条件は、暗視スイッチ３２を介した起動指令の入力を受け付けたことである。暗視表示の開始条件のうち、撮像装置５にて生成した画像を取得する条件は、照度センサ３４にて検出した照度が、夜間の照度として予め規定された規定照度以下であることであっても良いし、ヘッドライトスイッチ３６がオンであることであっても良いし、それらの両者を満たすことであっても良い。さらに、暗視表示の開始条件のうち、投光装置１０が近赤外光線を発光する条件は、車速センサ３８にて検出した車速が、予め規定された規定車速以上であることであっても良い。

この暗視表示の開始条件を満たしていなければ（Ｓ２１０：ＮＯ）、暗視表示の開始条件を満たすまで待機し、暗視表示の開始条件を満たしていれば（Ｓ２１０：ＹＥＳ）、Ｓ２２０へと移行する。なお、本実施形態においては、暗視表示されない場合にも、投光装置が発光していない状態で、表示装置１５に画像（映像）を表示することも可能である。

そのＳ２２０では、撮像装置５にて撮像した画像を表す画像信号、即ち、撮像装置５にて生成した画像を取得する。続いて、Ｓ２２０にて取得した画像を構成する各画素の光強度を、下記（１）式に従って、新たな光強度Ｌへと補正する（Ｓ２３０）。

ただし、（１）式におけるＬ_IR，Ｌ_R，Ｌ_G，Ｌ_Bは、４つの受光素子にて検出した光強度であり、一つの画素の光強度を構成する成分である。このうち、Ｌ_IRは、近赤外フィルタ（ＩＲ）を介して受光した受光素子からの光強度（以下、「近赤外線強度」と称す）である。また、Ｌ_R，Ｌ_G，Ｌ_Bは、それぞれ、赤色フィルタ（Ｒ）を介して受光した受光素子（第一受光素子の一例）からの光強度（以下、「赤色光強度」と称す）、緑色フィルタ（Ｇ）を介して受光した受光素子（第二受光素子の一例）からの光強度（以下、「緑色光強度」と称す）、青色フィルタ（Ｂ）を介して受光した受光素子（第三受光素子の一例）からの光強度（以下、「青色光強度」と称す）である。

例えば、画像において最も左上の画素の光強度Ｌを導出する場合を、図２を用いて説明する。この場合、当該左上の受光素子にて検出した光強度が赤色光強度Ｌ_Rであり、当該左上に対して下隣の受光素子にて検出した光強度が青色光強度Ｌ_Bであり、当該左上に対して右隣の受光素子にて検出した光強度が緑色光強度Ｌ_Gであり、当該左上に対して右下の受光素子にて検出した光強度が近赤外光強度Ｌ_IRである。

また、（１）式におけるａ₂は、予め定められた増幅率である。
すなわち、（１）式では、画像を構成する一つの画素を着目画素（着目領域の一例）とした場合、当該着目画素の近赤外線強度Ｌ_IRに乗じられるゲインは、図５に示すように、着目画素における近赤外線強度Ｌ_IRが可視光線の強度に対して支配的であるほど、大きな値となる。

なお、本実施形態においては、赤色光強度Ｌ_Rと近赤外線強度Ｌ_IRとの差に「１」を加えた値（＝Ｌ_R−Ｌ_IR＋１）が小さいほど、着目画素における近赤外線強度Ｌ_IRが可視光線の強度に対して支配的であるものとしている。これは、赤色フィルタが、赤色の波長の光に加えて近赤外線領域の波長の光を透過するという特性を有しているため、着目画素に対応する空間からの光のうち近赤外線が強ければ、赤色光強度Ｌ_Rは、近赤外線強度Ｌ_IRと同じ程度の値となるためである。

本実施形態において「支配的」とは、着目画素における可視光線と近赤外線とを合わせた光の強度と近赤外線強度Ｌ_IRとの差が小さいことをいい、その差が小さいほど、当該着目画素の近赤外線強度Ｌ_IRに乗じられるゲインは大きな値となる。

つまり、本実施形態のＳ２３０では、着目画素において近赤外線強度Ｌ_IRが可視光線の強度に対して支配的であるほど、当該着目画素における近赤外線強度Ｌ_IRを増幅するように補正する補正制御を実行する。また、補正制御では、着目画素において近赤外線強度Ｌ_IRが可視光線の強度に対して非支配的であれば、着目画素における近赤外線強度Ｌ_IRは、Ｓ２２０にて取得した画像における近赤外線強度Ｌ_IRから少ない補正量である。

なお、補正制御は、画像を構成する各画素に対して実行される。
続いて、このように補正された光強度Ｌに基づく画像信号（以下、「更新済画像信号」と称す）を表示装置１５に出力する（Ｓ２４０）。このＳ２４０により、表示装置１５は、近赤外線強度Ｌ_IRが可視光線の強度に対して支配的な画素における近赤外線強度Ｌ_IRが増幅された画像を表示する。

なお、ナイトビジョン処理のＳ２４０では、Ｓ２３０にて補正された光強度Ｌを有した画像に基づいて、歩行者や軽車両などの検出対象物を検出して、当該検出対象物の存在を報知する。この検出対象物を検出する処理は周知であるため、ここでの詳しい説明は省略するが、例えば、検出対象物の特徴を表すモデルとして予め用意された特徴モデルを、画像において近赤外線強度が強い領域に照合した結果、一致度が規定閾値以上となった領域を検出対象物として検出すれば良い。この場合、特徴モデルは、人物のパーツにおける特徴を表す複数のモデルによって構成されていても良いし、人物全体の特徴を表すテンプレートであっても良い。

また、検出対象物の存在の報知は、更新済画像信号に従って表示装置１５に表示される画像上に、検出対象物を識別可能なマークを重畳することで実施しても良いし、音出力装置２０を介して検出対象物の存在を出力しても良いし、これらの両方を実行しても良い。

その後、Ｓ２１０へと戻る。
［第一実施形態の効果］
以上説明したように、ナイトビジョンシステム１によれば、それぞれが、可視光線の強度及び近赤外線の強度を有した複数の画素からなる画像、即ち、カラー画像を表示装置１５に表示することができる。このため、ナイトビジョンシステム１によれば、当該画像の視認性を高いものとすることができる。

そして、本実施形態のナイトビジョン処理によれば、近赤外線の強度が可視光線の強度に対して支配的な画素だけ、近赤外線強度Ｌ_IRが増幅するように補正している。
これにより、暗視ＥＣＵ５０にて近赤外線強度Ｌ_IRが増幅するように補正した画像は、歩行者や軽車両などの検出対象物を、当該検出対象物の周辺よりも強調させた（浮き立たせた）画像とすることができる。

例えば、車室内の温度上昇を抑制するために、近赤外線領域の波長の光をカットする加工がされ、近赤外線が透過し難いウインドシールド越しに、撮像装置５を用いてナイトビジョンシステムを構築することが想定できる。このような場合であっても、近赤外線の強度が可視光の強度に比べて大きい画素に対しては、近赤外線強度のゲインを大きくし、その他の画素に対しては、近赤外線強度のゲインを大きくしないことで、歩行者や軽車両などの検出対象物を、検出対象物の周辺よりも強調させた画像とすることができる。

そして、ナイトビジョン処理によれば、補正された光強度を有した画像に基づいて検出対象物を検出することで、近赤外線を反射した物体が存在する領域を容易に検出でき、その検出対象物の検出性能を向上させることができる。

また、暗視ＥＣＵ５０にて近赤外線強度Ｌ_IRが増幅するように補正した画像は、図６（Ａ）に示すように白浮きが発生することを抑制できる。なお、図６（Ａ）において、破線にて囲った領域は、従来の技術では白浮きが発生した領域を示す。

また、暗視ＥＣＵ５０にて近赤外線強度Ｌ_IRが増幅するように補正した画像は、図６（Ｂ）に示すように対向車のライトを光源としたフレアが強調されることを抑制できる。したがって、本実施形態のナイトビジョン処理によれば、画像において、明暗のコントラストが低下することを抑制できる。

このことから、ナイトビジョンシステム１によれば、視認性を向上させつつ、検出対象物の検出性能を向上可能な画像を生成できる。
［第二実施形態］
次に、本発明の第二実施形態について説明する。本実施形態のナイトビジョンシステムは、第一実施形態のナイトビジョンシステム１とは、主として、暗視ＥＣＵ５０が実行するナイトビジョン処理が異なる。このため、本実施形態においては、第一実施形態と同様の構成及び処理には、同一の符号を付して説明を省略し、第一実施形態とは異なるナイトビジョン処理を中心に説明する。
〈ナイトビジョン処理〉
本実施形態におけるナイトビジョン処理は、イグニッションスイッチがオンされるあるいは暗視スイッチがオンされる等のフラグにより起動される。

このナイトビジョン処理は、起動されると、図７に示すように、まず、暗視表示の開始条件を満たしているか否かを判定する（Ｓ３１０）。本実施形態における暗視表示の開始条件は、第一実施形態における暗視表示の開始条件と同様であるため、ここでの詳しい説明は省略する。

この暗視表示の開始条件を満たしていなければ（Ｓ３１０：ＮＯ）、暗視表示の開始条件を満たすまで待機し、暗視表示の開始条件を満たしていれば（Ｓ３１０：ＹＥＳ）、Ｓ３２０へと移行する。

そのＳ３２０では、撮像装置５にて撮像した画像を表す画像信号、即ち、撮像装置５にて生成した画像を取得する。続いて、Ｓ３２０にて取得した画像を構成する一つの画素（即ち、着目画素）における赤色光強度Ｌ_Rの近赤外線強度Ｌ_IRに対する比（＝Ｌ_R／Ｌ_IR，以下、「強度比」と称す）ＲＲを導出する（Ｓ３３０）。

そして、Ｓ３３０にて導出した強度比ＲＲを、予め用意されたルックアップテーブル（ＬＵＴ）に照合して、着目画素における近赤外線強度Ｌ_IRに乗じられるゲイン（以下、「近赤外ゲイン」と称す）ａ₃を特定する（Ｓ３４０）。

本実施形態におけるルックアップテーブルは、強度比ＲＲと近赤外ゲインａ₃との対応関係を表すものであり、実験などによって予め求められたものである。このルックアップテーブルは、図８に示すように、一つの画素において近赤外線強度Ｌ_IRが可視光線の強度に対して支配的であるほど、近赤外ゲインａ₃が大きな値となるように規定されている。

本実施形態において「支配的」とは、着目画素における可視光線と近赤外線とを合わせた光の強度の近赤外線強度Ｌ_IRに対する比（即ち、強度比ＲＲ）が小さいことをいい、その強度比ＲＲが小さいほど、当該着目画素の近赤外線強度Ｌ_IRに乗じられるゲインは大きな値となる。

なお、本実施形態においては、強度比ＲＲが小さいほど、着目画素における近赤外線強度Ｌ_IRが可視光線の強度に対して支配的であるものとしている。
これは、赤色フィルタが、赤色の波長の光に加えて近赤外線領域の波長の光を透過するという特性を有しているため、着目画素に対応する空間からの光において近赤外線が支配的であれば、赤色光強度Ｌ_IRは、近赤外線強度Ｌ_IRと同じ程度の値となるためである。

つまり、本実施形態のＳ３４０にて決定される近赤外ゲインａ₃は、着目画素における近赤外線強度Ｌ_IRが可視光線の強度に対して支配的であるほど、大きな増幅率となる。
続いて、ナイトビジョン処理では、Ｓ３４０にて決定した近赤外ゲインａ₃、及び下記（２）式に従って、着目画素における光強度Ｌを導出する（Ｓ３５０）。

ただし、（２）式におけるＬ_R，Ｌ_G，Ｌ_Bは、それぞれ、着目画素に対応する赤色光強度、着目画素に対応する緑色光強度、着目画素に対応する青色光強度である。

なお、本実施形態においては、Ｓ３３０〜Ｓ３５０までの一連のステップは、画像における全ての画素に対して実行される。
続いて、このように補正された光強度Ｌに基づく画像信号（即ち、更新済画像信号）を表示装置１５に出力する（Ｓ３６０）。このＳ３６０により、表示装置１５は、近赤外線強度Ｌ_IRが可視光線の強度に対して支配的な画素における近赤外線強度Ｌ_IRが増幅された画像を表示する。

ナイトビジョン処理のＳ３６０では、Ｓ３５０にて補正された光強度Ｌを有した画像に基づいて、歩行者や軽車両などの検出対象物を検出して、当該検出対象物の存在を報知する。この検出対象物を検出する処理は周知であるため、ここでの詳しい説明は省略するが、例えば、検出対象物の特徴を表すモデルとして予め用意された特徴モデルを、画像において近赤外線強度が強い領域に照合した結果、一致度が規定閾値以上となった領域を検出対象物として検出すれば良い。この場合、特徴モデルは、人物のパーツにおける特徴を表す複数のモデルによって構成されていても良いし、人物全体の特徴を表すテンプレートであっても良い。

また、検出対象物の存在の報知は、更新済画像信号に従って表示装置１５に表示される画像上に、検出対象物を識別可能なマークを重畳することで実施しても良いし、音出力装置２０を介して検出対象物の存在を出力しても良いし、これらの両方を実行しても良い。

その後、Ｓ３１０へと戻る。
［第二実施形態の効果］
以上説明したナイトビジョン処理によれば、第一実施形態のナイトビジョン処理と同様の効果を得ることができる。

さらに、本実施形態のナイトビジョン処理によれば、ルックアップテーブルに基づいて近赤外ゲインａ₃を決定しているため、着目画素の光強度Ｌの導出に必要な処理量を低減できる。この結果、本実施形態のナイトビジョン処理によれば、更新済画像信号に基づく画像を表示するまでに要する処理量を低減できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記第一実施形態では、着目画素における近赤外線強度Ｌ_IRが可視光線の強度に対して支配的であるか否かの判定を、赤色光強度Ｌ_Rと近赤外線強度Ｌ_IRとの差に「１」を加えた結果（＝Ｌ_R−Ｌ_IR＋１）に従って実行していたが、判定に用いる演算内容はこれに限るものではない。すなわち、判定に用いる演算内容は、赤色光強度Ｌ_Rに替えて、青色光強度Ｌ_Bを用いても良い（＝Ｌ_B−Ｌ_IR＋１）し、緑色光強度Ｌ_Gを用いても良い（＝Ｌ_G−Ｌ_IR＋１）。

前者でも良い理由は、青色フィルタが、青色の波長の光に加えて近赤外線領域の波長の光を透過するという特性を有しているため、着目画素に対応する空間からの光において近赤外線が支配的であれば、青色光強度Ｌ_Bも、近赤外線強度Ｌ_IRと同じ程度の値となるためである。

また、後者でも良い理由は、緑色フィルタが、緑色の波長の光に加えて近赤外線領域の波長の光を透過するという特性を有しているため、着目画素に対応する空間からの光において近赤外線が支配的であれば、緑色光強度Ｌ_Gも、近赤外線強度Ｌ_IRと同じ程度の値となるためである。

さらに、判定に用いる演算内容は、可視光線の強度の総和（＝Ｌ_R＋Ｌ_G＋Ｌ_B）と近赤外線強度Ｌ_IRとの差に「１」を加える演算（＝（Ｌ_R＋Ｌ_G＋Ｌ_B）−Ｌ_IR＋１）でも良い。

なお、上記第二実施形態では、着目画素における近赤外線強度Ｌ_IRが可視光線の強度に対して支配的であるか否かの判定を、赤色光強度Ｌ_Rの近赤外線強度Ｌ_IRに対する比（即ち、強度比ＲＲ）に基づいて実行していたが、この判定に用いる演算内容はこれに限るものではない。すなわち、青色光強度Ｌ_Bの近赤外線強度Ｌ_IRに対する比や、緑色光強度Ｌ_Gの近赤外線強度Ｌ_IRに対する比、可視光の強度の総和（＝Ｌ_R＋Ｌ_B＋Ｌ_G）の近赤外線強度Ｌ_IRに対する比を、強度比ＲＲとしても良い。

また、上記実施形態の撮像装置５は、ＲＧＢＩＲフィルタを光学フィルタとして備えていたが、撮像装置５が備える光学フィルタは、ＲＧＢＩＲフィルタに限るものではなく、例えば、ＣｙＭｇＹｅＩＲフィルタであっても良い。つまり、本発明における光学フィルタは、可視光フィルタに近赤外線フィルタを追加することで構成されたフィルタであれば、どのようなフィルタであっても良い。

そして、撮像装置５における光学フィルタをＣｙＭｇＹｅＩＲフィルタにて構成した場合、着目画素における近赤外線強度Ｌ_IRが支配的であるか否かの判定に用いる比較対象としての可視光線の強度は、Ｃｙ、Ｍｇ、およびＹｅの少なくとも一つを通過した光を受光した受光素子からの信号に基づく光強度であっても良い。また、Ｃｙ、Ｍｇ、およびＹｅを通過した光に基づいて演算した赤色光強度Ｌ_R、青色光強度Ｌ_B、および緑色光強度Ｌ_Gの少なくとも一つであっても良いし、総和であっても良い。

ところで、上記実施形態における撮像装置５にて撮像される画像は、静止画像であったが、撮像装置５にて撮像する内容は、静止画像に限るものではなく、映像であっても良い。すなわち、撮像装置５は、動画を撮影するカメラであっても良い。

また、上記実施形態では、補正制御を画素ごとに実行していたが、本発明における補正制御は、画素ごとに実行する必要はない。本発明においては、例えば、画像を構成する全ての画素を複数のグループに分割し、その分割されたグループごとに補正制御を実行するようにしても良い。このように補正制御を実行すれば、複数の画素によって構成されるグループについて、近赤外線強度が可視光の強度に比べて大きいか否かを判定できる。この結果、近赤外線強度が可視光の強度に比べて大きいグループについては近赤外線のゲインを増幅し、他のグループについては近赤外線のゲインを増幅しないことで、画像に白浮きが発生する可能性やフレアが強調される可能性を低減できる。

なお、上記実施形態では、暗視ＥＣＵ５０を、撮像装置５とは別体に構成していたが、暗視ＥＣＵ５０は、撮像装置５に備えられていても良い。
なお、本発明は、上記実施形態によって何ら限定して解釈されない。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。

１…ナイトビジョンシステム ５…撮像装置 １０…投光装置 １５…表示装置 ２０…音出力装置 ３０…スイッチセンサ群 ３２…暗視スイッチ ３４…照度センサ ３６…ヘッドライトスイッチ ３８…車速センサ ５０…暗視ＥＣＵ ５２…ＲＯＭ ５４…ＲＡＭ ５６…ＣＰＵ

Claims (3)

1. 近赤外線を主に通過させる近赤外フィルタを介して、自動車周辺の空間領域として予め規定された規定空間からの光を受光する受光素子と、可視光領域の波長の光である可視光線と前記近赤外線とを通過させる可視光フィルタを介して、前記規定空間からの光を受光する受光素子とから、複数の領域からなる平面に前記規定空間を投影した画像を表す画像信号を取得する画像取得手段（５０，Ｓ２２０）と、
   前記画像取得手段にて取得された画像信号によって表される前記画像を構成する前記複数の領域のうちの一つを着目領域として設定し、前記着目領域における前記近赤外線の強度と、当該着目領域における前記可視光線と前記近赤外線とを合わせた強度との差が小さいほど、当該着目領域における前記近赤外線の強度が増幅するように当該着目領域を補正する補正制御を、前記画像を構成する前記複数の領域のそれぞれに対して実行する補正手段（５０，Ｓ２３０）と、
   前記補正手段により補正された前記複数の領域に基づいて、新たな画像を生成する画像生成手段（５０，Ｓ２４０）と
   を備えることを特徴とする画像処理装置（５０）。
2. 近赤外線を主に通過させる近赤外フィルタを介して、自動車周辺の空間領域として予め規定された規定空間からの光を受光する受光素子と、可視光領域の波長の光である可視光線と前記近赤外線とを通過させる可視光フィルタを介して、前記規定空間からの光を受光する受光素子から、複数の領域からなる平面に前記規定空間を投影した画像を表す画像信号を取得する画像取得手段（５０，Ｓ２２０）と、
   前記画像取得手段にて取得された画像信号によって表される前記画像を構成する前記複数の領域のうちの一つを着目領域として設定し、前記着目領域における前記可視光線と前記近赤外線とを合わせた強度の当該着目領域における近赤外線の強度に対する比が小さいほど、当該着目領域における前記近赤外線の強度が増幅するように当該着目領域を補正する補正制御を、前記画像を構成する前記複数の領域のそれぞれに対して実行する補正手段（５０，Ｓ２３０）と、
   前記補正手段により補正された前記複数の領域に基づいて、新たな画像を生成する画像生成手段（５０，Ｓ２４０）と
   を備えることを特徴とする画像処理装置（５０）。
3. 前記可視光フィルタを介して前記規定空間からの光を受光する受光素子は、前記可視光線のうち、光の三原色を構成する赤色の波長の光と前記近赤外線とを主に通過させる赤色フィルタを介して前記規定空間からの光を受光する第一受光素子と、光の三原色を構成する緑色の波長の光と前記近赤外線とを主に通過させる緑色フィルタを介して前記規定空間からの光を受光する第二受光素子と、光の三原色を構成する青色の波長の光と前記近赤外線とを主に通過させる青色フィルタを介して前記規定空間からの光を受光する第三受光素子とのいずれか１つであり、
   前記可視光線と前記近赤外線とを合わせた光の強度は、光の三原色を構成する赤、緑、青それぞれの少なくとも一つに対する可視光線と前記近赤外線とを合わせた光の強度である
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。