JP5712821B2

JP5712821B2 - 撮影表示制御システム

Info

Publication number: JP5712821B2
Application number: JP2011147486A
Authority: JP
Inventors: 一芳秋葉; 和成服部
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2011-07-01
Filing date: 2011-07-01
Publication date: 2015-05-07
Anticipated expiration: 2031-07-01
Also published as: JP2013016981A

Description

本発明は、車載用撮影表示制御システムに関するものである。

従来、車載用の撮影表示制御システムにおいて、近赤外光を受光する複数個の近赤外光用撮像素子と可視光を受光する複数個の可視光用撮像素子とを有する撮像ユニットを備え、この撮像ユニットを用いて各画素の可視光強度および各画素の近赤外光強度を取得し、各画素の可視光強度に基づいて得られる各画素の輝度を、近赤外光強度に応じて増加させることで、夜間等の暗い環境でもユーザに見易い画像を提供する技術が知られている。

また、このような車載用の撮影表示制御システムにおいて、近赤外光が強い場所を撮影するときと弱い場所を撮影する時とで、可視光および近赤外光の信号を用いた輝度の計算方法を切り替える技術が知られている（例えば、特許文献１、２参照）。

特開２０１０−９８３５８号公報特開２００８−２８９０００号公報

しかし、上記のような技術は、車両周囲の環境が近赤外光の強い環境か弱い環境か（より典型的には昼か夜か）で輝度の計算方法を切り替えているに過ぎない。しかし、夜であっても、車両の走行シーンによっては、近赤外光を強く反射または放出する被写体も存在するので、計算方法の切り替え方法が必ずしも適切ではない。

本発明は上記点に鑑み、可視光および近赤外光の信号を用いた輝度の計算方法を切り替えることのできる撮影表示制御システムにおいて、車両の走行シーンに応じた適切な切り替えを行えるようにすることを目的とする。

上記目的を達成するための請求項１に記載の発明は、可視光および近赤外光を受光する撮像素子（２２）と、前記撮像素子（２２）が受光した可視光および近赤外光の強度に基づいて、各画素の輝度を算出する信号処理手段（２３）と、前記信号処理手段（２３）が算出した前記各画素の輝度に基づいた画像をディスプレイ（９）に表示させる表示制御手段（８）と、を備え、前記表示制御手段（８）は、近赤外光と可視光のうち可視光のみに基づく映像信号を出力する可視光カメラ（３）から受けた前記映像信号に基づいて、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合は、前記撮像素子（２２）が受光した可視光および近赤外光の強度に基づいて、第１の算出方法で各画素の輝度を算出し、探索の結果近赤外光を強く反射または放出する被写体が見つかった場合は、前記撮像素子（２２）が受光した可視光および近赤外光の強度に基づいて、前記第１の方法よりも輝度に対する近赤外光の強度の寄与が低くなるような第２の算出方法で、各画素の輝度を算出するよう、前記信号処理手段（２３）を制御することを特徴とする車載用撮影表示制御システムである。

このように、近赤外光を強く反射または放出する被写体をあらかじめ設定しておき、そのような被写体が画像認識で見つかった場合と見つからなかった場合とで、輝度の計算方法を変えることで、車両の走行シーンに応じた適切な切り替えを行える。そして、近赤外光を強く反射または放出する被写体が見つかった場合は、輝度計算の際に近赤外光強度の寄与を低くするので、そのユーザは、ディスプレイ（９）上で、その被写体が明るすぎて見づらくなってしまう可能性が低下する。

また、請求項２に記載の発明は、請求項１に記載の車載用撮影表示制御システムにおいて、前記あらかじめ設定された被写体は、道路標識を含むことを特徴とする。このように、近赤外光を強く反射または放出する被写体として道路標識をあらかじめ設定しておくことで、車両の走行時に、道路標識が明るすぎて見づらくなってしまう可能性が低下する。

また、請求項３に記載の発明は、請求項１または２に記載の車載用撮影表示制御システムにおいて、前記あらかじめ設定された被写体は、信号機、車両の前照灯、ブレーキランプ、およびウインカーのうち少なくとも１つを含むことを特徴とする。

このように、近赤外光を強く反射または放出する被写体として信号機、車両の前照灯、ブレーキランプ、およびウインカーのうち少なくとも１つをあらかじめ設定しておくことで、車両の走行時に、信号機または前照灯またはブレーキランプまたはウインカーのハレーション（色信号が飽和して白飛びすること）を低減することができる。

また、請求項４に記載の発明は、請求項１ないし３のいずれか１つに記載の車載用撮影表示制御システムにおいて、前記信号処理手段（２３）は更に、前記撮像素子（２２）が受光した可視光の強度に基づいて各画素の色成分を算出し、前記表示制御手段（８）は、前記信号処理手段（２３）が算出した前記各画素の輝度および色成分に基づいた画像をディスプレイ（９）に表示させ、更に前記表示制御手段（８）は、前記可視光カメラ（３）から受けた前記映像信号に基づいて、近赤外光を強く反射または放出する被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合に比べて見つかった場合は、同じ可視光強度に対して、各画素の色成分の絶対値を大きくすることを特徴とする。

このようにすることで、そのユーザは、ディスプレイ（９）上で、その被写体の色をよりはっきりと確認することができる。例えば、その被写体の内部の文字等の確認も容易になる。

また、請求項５に記載の発明は、請求項１ないし４のいずれか１つに記載の車載用撮影表示制御システムにおいて、当該車載用撮影表示制御システムが搭載される車両には、前記車両の前方に近赤外光を投射するＩＲ投光部（７）があり、前記表示制御手段（８）は、探索の結果近赤外光を強く反射または放出する被写体が見つかった場合でも、その見つかった被写体の画素数が閾値以上である場合は、前記第１の方法で、各画素の輝度を算出するよう、前記信号処理手段（２３）を制御することを特徴とする。

このようにするのは、ＩＲ投光部（７）によって近赤外光が投光される位置が、車両からある程度前方に離れた部分であり、車両の近傍にはＩＲ投光部（７）からの光が当たらないため、当該道路標識が近赤外光を強く反射しない可能性があるから、そのような道路標識のために輝度の計算方法を第２の方法にするよりは、全体の視認性を向上させた方がよい可能性が高いからである。

なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。

車載用撮影表示制御システム１の構成図である。画像認識部が実行する処理のフローチャートである。周辺監視フロントカメラにＩＲの強い被写体５１〜５５が入った状態の画像の一例を示す図である。仮にＩＲ係数がデフォルト値であった場合にディスプレイに表示される画像の一例を示す図である。ＩＲ係数が制限値である場合にディスプレイに表示される画像の一例を示す図である。

以下、本発明の一実施形態について説明する。図１に、本実施形態に係る車載用撮影表示制御システム１の構成を示す。この車載用撮影表示制御システム１は、車両に搭載され、車室内の乗員（ドライバ等）に車外の撮影画像を表示するためのシステムであり、ナイトビジョンカメラ２、周辺監視フロントカメラ３、周辺監視リアカメラ４、周辺監視右サイドカメラ５、周辺監視左サイドカメラ６、車両の前方に近赤外光を投射するＩＲ投光部７、画像認識部８、ディスプレイ９等を有している。

ナイトビジョンカメラ２は、可視光および近赤外光を受光し、受光した可視光および近赤外光に基づいた輝度および色成分の映像信号を画像認識部８に出力するカメラである。このナイトビジョンカメラ２は、車両から見て前方を撮影するように車両に取り付けられており、レンズ２１、撮像素子２２、信号処理部２３、メモリ２４、Ｄ／Ａ変換部２５を備える。このナイトビジョンカメラ２においては、レンズ２１から撮像素子２２に入射した可視光および近赤外光が撮像素子２２で受光され、撮像素子２２は受光した可視光および近赤外光の強度の信号を信号処理部２３に出力する。

撮像素子２２は、マトリックス状に配列された複数の画素を有している。画素の配列としては、本実施形態では、特許文献１と同様、赤領域の波長（Ｒ）および近赤外領域の波長（Ｉ）に感度を有するＲ＋Ｉ画素、緑領域の波長（Ｇ）および近赤外領域の波長（Ｉ）に感度を有するＧ＋Ｉ画素、青領域の波長（Ｂ）および近赤外領域の波長（Ｉ）に感度を有するＢ＋Ｉ画素、および、近赤外領域の波長（Ｉ）のみに感度を有するＩ画素が、４個１組で矩形の頂点を構成するように並び、そのような組が複数個縦横に配列されるような構成を有しているが、他の配列構成を有していてもよい。

信号処理部２３（信号処理手段の一例に相当する）は、撮像素子２２が受光した可視光および近赤外光の強度を一定周期（例えば１秒に６０回）で取得し、取得する度に、取得した強度に基づいて、各画素の輝度および色成分を算出し、算出した各画素の輝度および色成分をＤ／Ａ変換部２５に出力する。輝度および色成分の算出の際には、メモリ２４を作業領域として使用する。

信号処理部２３が各画素の輝度および色成分を算出する方法について、以下説明する。まず信号処理部２３は、撮像素子２２が受光した可視光（Ｒ、Ｇ、Ｂ）および近赤外光（Ｉ）の強度を撮像素子２２から取得し、取得した強度に基づいて、画素毎に、Ｒの強度、Ｇの強度、Ｂの強度、およびＩの強度を算出する。

より具体的には、各画素のＩの強度の算出方法は、以下の通りである。Ｉ画素については、その画素で受けたＩの強度をそのまま用い、他の画素については、複数個のＩ画素で受けたＩの強度を用いて、当該他の画素におけるＩの強度を算出する。

また、各画素のＲの強度の算出方法は、以下の通りである。Ｒ＋Ｉ画素については、そのＲ＋Ｉ画素で受けたＲの強度とＩの強度の和（Ｒ＋Ｉ）から、上記のようにして算出した当該Ｒ＋Ｉ画素のＩの強度を減算した結果を用いる。また、他の画素については、複数個のＲ＋Ｉ画素について算出したＲの強度を用いて、当該他の画素におけるＲの強度を算出する。各画素のＧ、Ｂの強度の算出方法も、この方法でＲをＧ、Ｂに置き換えた算出方法を用いればよい。

各画素のＲの強度（Ｒと記す）、Ｇの強度（Ｇと記す）、Ｂの強度（Ｂと記す）、およびＩの強度を算出した後は、算出したそれら強度を用いて、各画素の輝度Ｙおよび色成分Ｕ、Ｖを算出する。算出式は、例えば
（１）Ｙ＝０．２・Ｒ’＋０．４・Ｇ’＋０．１Ｂ’＋０．３・α・Ｉ
（２）Ｕ＝−０．１５・（Ｒ／α）−０．３５・（Ｇ／α）＋０．５・（Ｂ／α）
（３）Ｖ＝０．５・（Ｒ／α）−０．３５・（Ｇ／α）−０．１５・（Ｂ／α）
という３つの式を用いる。ただし、Ｒ’＝Ｒ＋Ｉ、Ｇ’＝Ｇ＋Ｉ、Ｂ’＝Ｂ＋Ｉである。このように、本実施形態の輝度および色成分は、ＹＵＶ形式における輝度および色成分であるが、他の形式の輝度および色成分を採用してもよい。

なお、上記の式におけるＩＲ係数αは、デフォルト値は１であるが、画像認識部８からの指令に従って変化するようなパラメータである。ＩＲ係数αが１の場合、輝度Ｙは、Ｒ、Ｇ、Ｂの強度から通常算出される輝度Ｙの値（すなわち、０．２・Ｒ＋０．４・Ｇ＋０．１・Ｂ）に、近赤外光の強度Ｉに比例して大きくなる増加量（１．０・Ｉ）を加えた値となっている。つまり、近赤外光を強く反射または放出している撮影対象ほど、その撮影対象を表す画素の輝度の通常からの増大量が、高くなっている。このようにすることで、夜間等の暗い環境でもユーザに見易い画像を提供することができる。

また、各画素の色成分Ｕ、Ｖは、当該画素の近赤外光強度Ｉに無関係に決まるようになっているが、他の例としては、近赤外光強度Ｉを加味して色成分Ｕ、Ｖを補正してもよい。

Ｄ／Ａ変換部２５は、Ｄ／Ａ変換部２５が逐次算出して出力した各画素の輝度Ｙ、色成分Ｕ、Ｖをアナログ信号に変換し、画像認識部８に出力する。

画像認識部８（表示制御手段の一例に相当する）は、ナイトビジョンカメラ２とは別体で構成された装置であり、信号処理部２３が算出、出力し、Ｄ／Ａ変換部２５がアナログ信号に変換した各画素の輝度Ｙおよび色成分Ｕ、Ｖに基づいた画像を逐次ディスプレイ９に表示させる。

なお、画像認識部８および信号処理部２３のそれぞれは、専用の回路構成を有する集積回路として構成されていてもよいし、プログラムを実行することで所望の処理を実現するマイクロコンピュータとして実現されていてもよい。

ディスプレイ９は、車室内において、ドライバー等の乗員がディスプレイ９の表示画面を視認可能なように設置されている。したがって、乗員は、車両が移動しているときも、時々刻々と変化する車両の前方の風景が撮影された画像をディスプレイ９で見ることができる。

周辺監視フロントカメラ３、周辺監視リアカメラ４、周辺監視右サイドカメラ５、周辺監視左サイドカメラ６は、それぞれ、車両から見て前方、後方、右側方、左側方を逐次撮影し、撮影結果の映像信号を画像認識部８に出力するカメラである。これらのカメラ３〜６は、近赤外光と可視光のうち可視光のみを受光し、可視光のみに基づく映像信号を出力する可視光カメラである。画像認識部８は、可視光カメラ３〜６の出力に基づいた画像をディスプレイ９（または同じ車内に搭載された別のディスプレイ）に表示させることもできるようになっている。その場合、乗員は、車両の周囲の４方の撮影画像を一度に見ることができるが、夜間の視認性は悪くなる。

周辺監視カメラ３〜６の撮影画像をディスプレイに表示させるか否かは、車速によって決まる。具体的には、画像認識部８は、車両から車速信号を取得して車速を特定し、特定した車速が基準速度（例えば時速１０ｋｍ）以下である場合に限り、周辺監視カメラ３〜６の撮影画像をディスプレイに表示させるようにする。したがって、車両が基準速度以上で走行している場合は、周辺監視カメラ３〜６の撮影画像はディスプレイに表示されていない状態である。本実施形態では、車両が基準速度以上で走行している場合でも、周辺監視フロントカメラ３の撮影画像を利用するようになっている。

ナイトビジョンカメラ２の出力に基づいた画像をディスプレイ９に表示させるか否かは、例えば、車内のスイッチ（図示せず）に対する乗員の操作に応じて画像認識部８が決定する。

なお、ナイトビジョンカメラ２の撮影範囲と周辺監視フロントカメラ３の撮影範囲は、少なくとも一部が重複している。例えば、ナイトビジョンカメラ２の撮影範囲と周辺監視フロントカメラ３の撮影範囲は、完全に一致していてもよいし、周辺監視フロントカメラ３の撮影範囲の９０％がナイトビジョンカメラ２の撮影範囲と重複していてもよい。ただし、周辺監視フロントカメラ３の撮影範囲は、ナイトビジョンカメラ２の撮影範囲全体をカバーしている。

以下、夜間において車両が基準速度以上で走行中に、画像認識部８がナイトビジョンカメラ２の出力に基づいた画像をディスプレイ９に表示させている場合における、車載用撮影表示制御システム１の作動について説明する。この場合、画像認識部８はＩＲ投光部７を作動させることで、ＩＲ投光部７が車両の前方に近赤外光を投射している。

また、周辺監視フロントカメラ３は、車速が基準速度以上の場合は、周辺監視フロントカメラ３内においてＡＥ（ＡｕｔｏＥｘｐｏｓｕｒｅ）補正を行うことで、夜間でも物体の画像認識が容易になるように撮影画像を調整したのち出力する。なお、ＡＥ補正を行う部分は、道路標識や信号機が写る可能性が高い画素位置（例えば撮影画像中の中央上から右下までの帯状の部分領域内、および、撮影画像中の中央上から左までの帯状の部分領域内）のみについて行うようになっていてもよい。

このとき、画像認識部８は、Ｄ／Ａ変換部２５から出力された信号に基づく画像をディスプレイ９に表示させると共に、周辺監視フロントカメラ３から受けた映像信号に基づいて、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体を画像認識によって探索し、探索の結果そのような被写体が見つかったか見つからなかったかに応じて、上述のＩＲ係数αを切り替えるよう信号処理部２３を制御する。

このような作動のため、画像認識部８は、図２に示す処理を実行する。この処理において画像認識部８は、まずステップ１１０で、周辺監視フロントカメラ３から映像信号を取得し、取得した映像信号から構成した撮影画像に対して、周知の画像認識技術（具体的にはパターンマッチング）を用いて、近赤外光を強く反射または放出する被写体（以下、ＩＲの強い被写体ともいう）の探索を行う。このとき、パターンマッチングにおいて上記撮影画像と比較するために、ＩＲの強い被写体の画像の特徴情報を用いるが、この特徴情報は、あらかじめ画像認識部８の記憶媒体（例えば、ＲＯＭ、フラッシュメモリ）に記憶させてあるものを読み出して使用する。

特徴情報をあらかじめ記憶させる被写体としては、各種道路標識、信号機、および、車両の前照灯（ヘッドライト）、ブレーキランプ、ウインカー等がある。道路標識は、ＩＲ投光部７から投射された近赤外光等の近赤外光を強く反射する傾向がある。信号機および車両の前照灯等は、自ら強い近赤外光を放出する傾向がある。

各種道路標識の特徴情報は、その道路標識をあらかじめ正面から撮影した画像から作成してもよい。このようにして作成した特徴情報には、道路標識の形状の特徴のみならず、道路標識に記載された文字の特徴も含まれている。しかし、夜間においては、周辺監視フロントカメラ３では標識内の文字が区別できるように撮影できない場合もあるので、各種道路標識の特徴情報は、その道路標識と形状は同じだが無地の物体を正面から撮影した画像から作成したものを用いてもよい。信号機、車両の前照灯、ブレーキランプ、ウインカーの特徴情報は、その信号機または前照灯等をあらかじめ正面から撮影した画像から作成する。

そして画像認識部８は、その探索の結果、ＩＲの強い被写体が周辺監視フロントカメラ３の撮影画像中に見つかったか否かを判定し、見つからなかった場合は、ステップ１２０に進む。

そしてステップ１２０では、ＩＲ係数をデフォルト値である１に設定する指令をナイトビジョンカメラ２の信号処理部２３に出力する。これにより、信号処理部２３は、すべての画素について、ＩＲ係数αを１として上記式（１）、（２）、（３）を用いる方法（第１の方法の一例に相当する）で、撮像素子２２が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Ｙおよび色成分Ｕ、Ｖを算出し、画像認識部８は、続いてステップ１３０で、信号処理部２３で算出されＤ／Ａ変換部２５でＤ／Ａ変換された当該輝度Ｙおよび色成分Ｕ、Ｖの信号に基づき、画像をディスプレイ９に表示させる。

続いてステップ１４０では、ナイトビジョンカメラ２の出力に基づいた画像をディスプレイ９に表示させる作動を終了するか否かを（例えば乗員の操作に基づいて）判定し、終了すると判定した場合は図２の処理を終了し、終了しないと判定した場合はステップ１１０に戻る。

このように、周辺監視フロントカメラ３の撮影画像中にＩＲの強い被写体が見つからない間は、ステップ１１０、１２０、１３０、１４０の処理がこの順に繰り返されることで、信号処理部２３は、ＩＲ係数αを１として上記式（１）、（２）、（３）を用いる方法で算出された各画素の輝度Ｙおよび色成分Ｕ、Ｖに基づくディスプレイ９の画像表示が継続する。

そして、図３に示すように、道路標識５１、５３、信号機５２、車両の前照灯５４、車両のブレーキランプ５５、車両のウインカー５６等のＩＲの強い被写体が周辺監視フロントカメラ３の撮影範囲内に入って来ると、画像認識部８は、ステップ１３０で、探索の結果、ＩＲの強い被写体が見つかり、その結果、処理をステップ１２５に進める。

ステップ１２５では、ＩＲ係数を制限値である０．０２に設定する指令をナイトビジョンカメラ２の信号処理部２３に出力する。これにより、信号処理部２３は、すべての画素について、ＩＲ係数αを０．０２として上記式（１）、（２）、（３）を用いる方法（第２の方法の一例に相当する）で、撮像素子２２が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Ｙおよび色成分Ｕ、Ｖを算出し、画像認識部８は、続いてステップ１３０で、信号処理部２３で算出されＤ／Ａ変換部２５でＤ／Ａ変換された当該輝度Ｙおよび色成分Ｕ、Ｖの信号に基づき、画像をディスプレイ９に表示させる。

ここで、ＩＲ係数αをデフォルト値の１として輝度等を計算する場合と、ＩＲ係数を制限値の０．０２として輝度等を計算する場合の違いについて、図４、図５を用いて説明する。

輝度Ｙの計算式（１）においては、ＩＲ係数αを０．０２とした場合は、ＩＲ係数αを１とした場合に比べ、輝度に対する近赤外光の強度の寄与が低くなるようになっている。つまり、Ｒ、Ｇ、Ｂの強度から通常算出される輝度Ｙの値（すなわち、０．２・Ｒ＋０．４・Ｇ＋０．１・Ｂ）に対する、近赤外光の強度Ｉに比例して大きくなる増加量（すなわち、（０、７＋０．３・α）・Ｉ）は、αが０．０２の場合の方が１の場合よりも小さい。

また、色成分Ｕの計算式（２）および色成分Ｖの計算式（３）においては、αの値が大きいほど、同じＲ、Ｇ、Ｂの値に対してＵ、Ｖの絶対値が大きくなるようになっている。したがって、αが０．０２の場合はαが１の場合に比べて、同じ可視光強度Ｒ、Ｇ、Ｂに対して、各画素の色成分Ｕ、Ｖの絶対値が大きくなる。

例えば、一時停止の道路標識上の画素について、Ｒ’、Ｇ’、Ｂ’、Ｉの各強度が、Ｒ’＝２５５、Ｇ’＝２５０、Ｂ’＝２５０、Ｉ＝２４５で、ＩＲ係数αが１の場合を仮定する。なお、Ｒ、Ｇ、Ｂ、Ｒ’、Ｇ’、Ｂ’、Ｉ、Ｙ、Ｕ、Ｖが取り得る値の範囲は、０から２５５までであるとする。この場合、Ｒ、Ｇ、Ｂ値は、Ｒ＝１０、Ｇ＝５、Ｂ＝５、Ｉ＝２４５となり、これをα＝１として上記式（１）、（２）、（３）に適用すると、輝度Ｙ＝２４９．５、色成分Ｕ＝−０．７５、色成分Ｖ＝２．５となり、色は、ほとんど表示されず、図４に示すように、一時停止の道路標識は、ディスプレイ９上で、逆三角形の真っ白な形状のみが表示されることになる。

一方、同じ画素についてα＝０．０２として上記式（１）、（２）、（３）に適用すると、輝度Ｙ＝１１７．４７、色成分Ｕ＝−３７．５、色成分Ｖ＝１２５となり、図４に示すように、輝度Ｙが下がり、かつ赤色が強調されたことにより、道路標識内の文字「止まれ」がディスプレイ９上で見えるようになる。

このように、周辺監視フロントカメラ３の撮影画像中にＩＲの強い被写体が見つかっている間は、ステップ１１０、１２５、１３０、１４０の処理がこの順に繰り返されることで、信号処理部２３は、ＩＲ係数αを０．０２として上記式（１）、（２）、（３）を用いる方法で算出された各画素の輝度Ｙおよび色成分Ｕ、Ｖに基づくディスプレイ９の画像表示が継続する。

以上説明した通り、近赤外光を強く反射または放出する被写体をあらかじめ設定しておき、そのような被写体が画像認識で見つかった場合と見つからなかった場合とで、輝度の計算方法を変えることで、車両の走行シーンに応じた適切な切り替えを行えるようにすることができる。そして、近赤外光を強く反射または放出する被写体が見つかった場合は、輝度計算の際に近赤外光強度の寄与を低くするので、そのユーザは、ディスプレイ９上で、その被写体が明るすぎて見づらくなってしまう可能性が低下する。

また、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合に比べて見つかった場合は、同じ可視光強度に対して、各画素の色成分の絶対値を大きくする。このようにすることで、そのユーザは、ディスプレイ（９）上で、その被写体の色をよりはっきりと確認することができる。例えば、その被写体の内部の文字等の確認も容易になる。

また、近赤外光を強く反射または放出する被写体として道路標識をあらかじめ設定しておくことで、車両の走行時に、道路標識が明るすぎて見づらくなってしまう可能性が低下する。

なお、ＩＲの強い被写体を探索するのに、周辺監視フロントカメラ３の撮影画像を用いるのは、ナイトビジョンカメラ２の撮影画像は、Ｒ、Ｇ、Ｂ、Ｉの強度から輝度Ｙ、色成分Ｕ、Ｖへの変換（式（１）、（２）、（３）を用いた変換）が行われた後のデータなので、変換によって輝度が飽和してしまう可能性があるからである。

また、近赤外光を強く反射または放出する被写体として信号機、車両の前照灯、ブレーキランプ、ウインカー等をあらかじめ設定しておくことで、車両の走行時に、信号機または前照灯等のハレーション（色信号が飽和して白飛びすること）を低減することができる。

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。例えば、以下のような形態も許容される。

（ａ）上記実施形態では、画像認識部８は、図２のステップ１２５で、すべての画素について、ＩＲ係数αを０．０２として上記式（１）、（２）、（３）を用いる方法で、撮像素子２２が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Ｙおよび色成分Ｕ、Ｖを算出するよう指令を出力している。

しかし、必ずしもこのようになっておらずともよく、画像認識部８は、図２のステップ１２５で、全画素のうち、見つかったＩＲが強い被写体が写った画素を含む部分（例えば、見つかったＩＲが強い被写体が写った画素のみから成る部分、見つかったＩＲが強い被写体が写った画素およびその近傍のみから成る部分）を対象とし、その対象の画素について、ＩＲ係数αを０．０２として上記式（１）、（２）、（３）を用いる方法で、撮像素子２２が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Ｙおよび色成分Ｕ、Ｖを算出し、その対象以外の画素について、ＩＲ係数αをデフォルトの１として上記式（１）、（２）、（３）を用いる方法で、撮像素子２２が受光した可視光および近赤外光の強度に基づいて、各画素の輝度Ｙおよび色成分Ｕ、Ｖを算出するよう指令を出力するようになっていてもよい。

このようにすることで、夜間において、ナイトビジョンカメラ２に基づく画像の視認性を向上しつつ、ＩＲの強い被写体についても明るすぎて却って見え難くなってしまう可能性も低減することができる。

なお、周辺監視フロントカメラ３で撮影された撮影画像中において見つかったＩＲが強い被写体の画素位置と、ナイトビジョンカメラ２で撮影された画像中の当該ＩＲが強い被写体の画素位置との位置関係は、ナイトビジョンカメラ２と周辺監視フロントカメラ３の設置位置等に応じて、車載用撮影表示制御システム１の設置時にあらかじめ調べ、その結果の位置関係の情報を画像認識部８の記憶媒体に記憶しておき、その記憶しておいた情報を必要時に使用するようになっていればよい。

（ｂ）また、上記実施形態では、画像認識部８は、周辺監視フロントカメラ３の撮影画像内にＩＲの強い被写体があるときには、常にナイトビジョンカメラ２の信号処理部２３に対して全画素についてＩＲ係数を制限値にするよう指令を出力しているが、必ずしもこのようになっておらずともよい。

例えば、画像認識部８は、画像認識によってＩＲの強い被写体として１つの被写体のみを見つけ、その１つの被写体が周辺監視フロントカメラ３の撮影画像中に占める画素数を算出し、算出した画素数が所定の閾値以上であれば、ＩＲの強い被写体が見つからなかった場合と同じように、全画素についてＩＲ係数をデフォルト値にするよう信号処理部２３に指令してもよい。

このようにすることで、車両の走行中に前方からＩＲの強い被写体が近づいて来て、画像認識によってそのＩＲの強い被写体（ここでは道路標識とする）が周辺監視フロントカメラ３の撮影画像中で見つかった後、当該被写体についてはＩＲ係数を制限値として計算した輝度および色成分でディスプレイ９の表示が行われるが、当該被写体が更に車両に近づいて、画素数が上記閾値以上となった段階で、全画素のＩＲ係数がデフォルト値に戻る。

これは、ＩＲ投光部７によって近赤外光が投光される位置が、車両からある程度前方に離れた部分であり、車両の近傍にはＩＲ投光部７からの光が当たらないため、当該道路標識が近赤外光を強く反射しない可能性があるから、そのような道路標識のためにＩＲ係数を低くするよりは、全体の視認性を向上させた方がよい可能性が高いからである。

したがって、上記閾値は、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体毎に、ＩＲ投光部７が当たらなくなるときに周辺監視フロントカメラ３から見える大きさに応じて、それぞれ異なる値が設定されるようになっていてもよいし、大まかに同じ値が設定されるようになっていてもよい。

（ｃ）また、上記実施形態では、ＩＲ係数の値として、デフォルト値が１で、制限値が０．０２となっているが、このような値に限らず、制限値がデフォルト値より小さい正数となっていればよい。

（ｄ）また、上記実施形態では、周辺監視フロントカメラ３の撮影画像からパターン認識によって見つけたＩＲの強い被写体が、道路標識であっても、信号機であっても、前照灯であっても、ブレーキランプであっても、ウインカーであっても、信号処理部２３に指令する制限値は同じ０．０２となっている。しかし、見つけたＩＲの強い被写体の種類に応じて、信号処理部２３に指令する制限値を変化させてもよい。

例えば、ＩＲの強い被写体を撮影画像内で１つだけ見つけ、その見つけた被写体が道路標識である場合は、ＩＲ係数の値として、第１の制限値（例えば０．０２）を信号処理部２３に指令し、また、その見つけた被写体が信号機、前照灯、ブレーキランプ、およびウインカーのいずれかである場合は、ＩＲ係数の値として、第１の制限値よりも大きくデフォルト値よりも小さい第２の制限値（例えば０．１）を信号処理部２３に指令するようになっていてもよい。このようにするのは、信号機、前照灯、ブレーキランプ、およびウインカーは、その中の文字を読み取りたいわけではなく、ディスプレイ９の表示における信号機、前照灯、ブレーキランプ、およびウインカーの膨張を防ぎ、さらにランプの色が分かる程度に輝度を抑えればよいからである。

また例えば、ＩＲの強い被写体を撮影画像内で１つだけ見つけ、その見つけた被写体が信号機である場合、前照灯である場合、ブレーキランプである場合、ウインカーである場合のそれぞれで、ＩＲ係数の値として、異なる値を信号処理部２３に指令するようになっていてもよい。

（ｅ）また、上記実施形態では、パターンマッチングによって前照灯と信号機とを区別して認識するようになっているが、周辺監視フロントカメラ３から受けた映像信号のＲの強度、Ｇの強度、Ｂの強度に基づいて、前照灯と信号機とを区別するようになっていてもよい。具体的には、パターンマッチングによって前照灯または信号機である被写体を見つけ、見つけた被写体の参照値Ｒ／Ｇ（Ｒの強度をＧの強度で除算した値）および参照値Ｂ／Ｇ（Ｂの強度をＧの強度で除算した値）を算出し、これら参照値Ｒ／Ｇ、Ｂ／Ｇと閾値との比較に基づいて信号機であるか前照灯であるかを判定する。

具体的には、赤信号の場合、例えば、Ｒ、Ｇ、Ｂそれぞれの強度が、Ｒ＝１００、Ｇ＝２０、Ｂ＝２０になり、この時、ホワイトバランス制御の参照値Ｒ／Ｇ、Ｂ／Ｇはそれぞれ、Ｒ／Ｇ＝５、Ｂ／Ｇ＝１となる。

また、緑信号の場合、例えば、Ｒ、Ｇ、Ｂそれぞれの強度が、Ｒ＝２０、Ｇ＝１００、Ｂ＝２０になり、この時、ホワイトバランス制御の参照値Ｒ／Ｇ、Ｂ／Ｇはそれぞれ、Ｒ／Ｇ＝０．２、Ｂ／Ｇ＝０．２となる。

一方、前照灯の場合、例えば、Ｒ、Ｇ、Ｂそれぞれの強度が、Ｒ＝１００、Ｇ＝１００、Ｂ＝１００、となる。この時、ホワイトバランス制御の参照値Ｒ／Ｇ、Ｂ／Ｇはそれぞれ、Ｒ／Ｇ＝１、Ｂ／Ｇ＝１となる。

従って、Ｒ／Ｇ、Ｂ／Ｇの値が共に１付近（例えば、０．９以上１．１以下）の場合は、着色しない光源（前照灯）が光っている場合であり、Ｒ／Ｇ、Ｂ／Ｇどちらかが１より非常に大きい場合（例えば、閾値３以上）は、赤、または青に着色した光源（信号機）が光っている場合であり、Ｒ／Ｇ、Ｂ／Ｇが共に１より非常に小さい場合（閾値として例えば０．３以下）の場合は、緑に着色した光源（信号機）が光っている場合であると判定できる。

（ｆ）また、上記実施形態では、信号処理部２３はナイトビジョンカメラ２の一部としてナイトビジョンカメラ２内に組み込まれており、画像認識部８はナイトビジョンカメラ２とは別体の部品として構成されている。しかし、かならずしもこのようになっておらずともよく、例えば、信号処理部２３の機能は画像認識部８に組み込まれていてもよい。

１車載用撮影表示制御システム
２ナイトビジョンカメラ
３周辺監視フロントカメラ
４周辺監視リアカメラ
５周辺監視右サイドカメラ
６周辺監視左サイドカメラ
７ＩＲ投光部
８画像認識部
９ディスプレイ
２１レンズ
２２撮像素子
２３信号処理部
２４メモリ
２５Ｄ／Ａ変換部
５１〜５６ＩＲの強い被写体

Claims

可視光および近赤外光を受光する撮像素子（２２）と、
前記撮像素子（２２）が受光した可視光および近赤外光の強度に基づいて、各画素の輝度を算出する信号処理手段（２３）と、
前記信号処理手段（２３）が算出した前記各画素の輝度に基づいた画像をディスプレイ（９）に表示させる表示制御手段（８）と、を備え、
前記表示制御手段（８）は、近赤外光と可視光のうち可視光のみに基づく映像信号を出力する可視光カメラ（３）から受けた前記映像信号に基づいて、近赤外光を強く反射または放出する被写体としてあらかじめ設定された被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合は、前記撮像素子（２２）が受光した可視光および近赤外光の強度に基づいて、第１の算出方法で各画素の輝度を算出し、探索の結果近赤外光を強く反射または放出する被写体が見つかった場合は、前記撮像素子（２２）が受光した可視光および近赤外光の強度に基づいて、前記第１の方法よりも輝度に対する近赤外光の強度の寄与が低くなるような第２の算出方法で、各画素の輝度を算出するよう、前記信号処理手段（２３）を制御することを特徴とする車載用撮影表示制御システム。
前記あらかじめ設定された被写体は、道路標識を含むことを特徴とする請求項１に記載の車載用撮影表示制御システム。
前記あらかじめ設定された被写体は、信号機、車両の前照灯、ブレーキランプ、およびウインカーのうち少なくとも１つを含むことを特徴とする請求項１または２に記載の車載用撮影表示制御システム。
前記信号処理手段（２３）は更に、前記撮像素子（２２）が受光した可視光の強度に基づいて各画素の色成分を算出し、
前記表示制御手段（８）は、前記信号処理手段（２３）が算出した前記各画素の輝度および色成分に基づいた画像をディスプレイ（９）に表示させ、
更に前記表示制御手段（８）は、前記可視光カメラ（３）から受けた前記映像信号に基づいて、近赤外光を強く反射または放出する被写体を画像認識によって探索し、探索の結果近赤外光を強く反射または放出する被写体が見つからなかった場合に比べて見つかった場合は、同じ可視光強度に対して、各画素の色成分の絶対値を大きくすることを特徴とする請求項１ないし３のいずれか１つに記載の車載用撮影表示制御システム。
当該車載用撮影表示制御システムが搭載される車両には、前記車両の前方に近赤外光を投射するＩＲ投光部（７）があり、
前記表示制御手段（８）は、探索の結果近赤外光を強く反射または放出する被写体が見つかった場合でも、その見つかった被写体の画素数が閾値以上である場合は、前記第１の方法で、各画素の輝度を算出するよう、前記信号処理手段（２３）を制御することを特徴とする請求項１ないし４のいずれか１つに記載の車載用撮影表示制御システム。