JPWO2012067028A1 - 画像入力装置および画像処理装置 - Google Patents

Abstract

夜間撮影においても適切な輝度信号や色度信号を得ることができる画像入力装置を提供する。また、低輝度環境下でも、被写体を視認可能な画像を形成できる画像処理装置を提供する。色空間変換部が、前記位置情報取得部が取得した位置情報に基づいて前記可視光成分と前記赤外光成分の重み付けを行って、前記原画像データを輝度信号と色度信号とを含む色空間に変換するので、被写体の高さや被写体までの距離に応じて、適切な色空間を得ることができる。

Description

本発明は、撮像素子により撮像された原画像データを画像処理する画像入力装置に関し、また、撮像素子を備えた画像処理装置に関し、特に被写体の輝度が低い場合でも、所定の被写体については強調した画像を形成できる画像処理装置に関する。

夜間撮影が可能な車載カメラ、監視カメラの画像において、可視光と赤外光を投光し、可視領域に感度をもつ可視センサと、赤外領域に感度をもつ赤外センサで撮像し、夜間においても、物体を浮かび上がらせカラー表示する技術が知られている。例えば、特許文献１には、可視光透過型ロングパスフィルタと、赤外光透過ロングパスフィルタの赤外光領域における透過率データを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分をほぼ０にするパラメータを算出し、算出パラメータを適用して可視光透過型ロングパスフィルタを介する信号に含まれる赤外光成分を除去して高品質な可視光（ＲＧＢ）画像を生成することができる画像信号処理装置が開示されている。

一方、特許文献２には、分光感度の異なる少なくとも３種類の画素が配列され、少なくとも３種類の原画像成分を含む原画像データを撮像する撮像素子と、前記原画像データを輝度信号と色度信号とを含む色空間に変換する色空間変換部とを備え、撮像素子から得られた可視光成分と赤外光成分とを用いて、夜間でもクリアなカラー画像を得られる画像入力装置が開示されている。

また、後退する車両の運転を支援すべく、車両後方を撮影できるいわゆるバックビューカメラが知られている。バックビューカメラで撮影した画像は、運転席近傍の表示装置に表示され、運転者等に視認させることで安全確保が行われる。ここで、昼間などの比較的輝度が高い環境下では、人物や動物などの障害物も可視光画像として容易に視認できる。ところが、夜間等の低輝度環境下においては、人物や動物などの障害物の可視光画像の輝度が低く、容易に視認できないという問題がある。尚、同様な問題は、監視カメラ等においても生じる。

かかる問題に対し、車両に搭載された赤外ＬＥＤで自動車後方に赤外光を照射し、更に近赤外カメラを用いて車両後方を撮影し、撮影された画像を画像処理することで、低輝度環境下でも視認性を高めた画像を表示装置に表示する技術も開発されている。しかるに、表示装置に表示された赤外光画像において、コンクリートの壁やアスファルト舗装の地面からの赤外光の反射が強いので、これを背景に人物や動物などの障害物を一緒に撮影すると、その赤外光画像が壁や地面の赤外光画像と重なってしまい、白飛びが生じて、障害物を視認しにくくなるという問題がある。

これに対し特許文献３には、赤外光を照射しながら撮影を行う赤外撮影モードと、赤外光を照射せずに撮影を行う通常撮影モードとを切替可能に構成した撮影装置において、基準とする色の輝度を基準色輝度とするとともに、参照とする色の輝度を参照色輝度とし、基準色輝度と参照色輝度との比が予め設定した範囲を超えた場合には、赤外撮影モードから通常撮影モードに切替える構成が開示されている。

一方、特許文献４には、後方視界表示装置において、可視光映像と近赤外光映像を別々に撮像し、へッドライトのON/OF情報によりヘッドライトが点灯していることを検知した場合に、自動的に近赤外光による映像に切り替え、それ以外の場合は可視光映像を表示する技術が開示されている。

特開２００８−２８８６２９号公報 特開２０１０−６３０６５号公報 特開２００４−１４６８７３号公報 特開２００３−１０４１２１号公報

特許文献１，２の技術を用いることで、従来、人間の目では、認識しにくかった部分に濃淡の変化（輝度変化）をつけ、更にわずかな色度情報を輝度変化に応じて強調し、カラー化した画像を得ることができるので、目視が困難な車両前方の障害物などを、いち早くモニタに表示することなどが可能になる。

しかしながら、従来の技術では解決できない問題がある。例えば、十分な可視情報を得ることができる近距離において、赤外センサが赤外情報を取得するため、輝度が高くなりすぎて撮像素子の画素の一部が飽和してしまう場合があり、それにより色情報が失われてしまう。また、ほとんど可視情報を得られない遠方の被写体において、わずかな色情報を強調することに伴い色度ノイズが増大してしまい、画素ごとに色が極端に変わる恐れがある。更に、信号機や街灯などの自発光する物体は、発光光の中に赤外光成分を多く含んでいるものがあるので、赤外センサがそれを取得することで輝度信号が増大し、赤・青・黄信号が真っ白に表示される（白トビという）という問題もある。つまり、従来技術により肉眼で見えにくい部分をカラー化した画像を作成することはできるが、その輝度再現、色度再現の不正確さ、ノイズの多さに欠点が存在するといえる。一方、例えば車両の運転支援などを行う場合、被写体によっては明瞭に識別しなくても良い場合もある。表１に、従来技術の課題をまとめて示す。

本発明の目的は、夜間撮影においても適切な輝度信号や色度信号を得ることができる画像入力装置を提供することである。

特許文献３の従来技術によれば、輝度比が闘値付近の場合は、赤外撮影モードと通常撮影モードとの間で画面が頻繁に切り変わることになり、前後フレーム映像間の輝度の整合が取れないので、画像を視認する観察者に違和感が生じてしまうという問題がある。

又、特許文献４の従来技術によれば、近赤外光による映像に切り替えられたとき、赤外光への反射が強い物体が多い場合には、画面の大部分が白飛びしてしまうことになり、却って視認しづらくなるという問題がある。

本発明は、上述の問題に鑑みてなされたものであり、低輝度環境下でも、被写体を視認可能な画像を形成できる画像処理装置を提供することを目的とする。

本発明の画像入力装置は、
被写体の高さ及び被写体までの距離のうち少なくとも一方を含む位置情報を取得する位置情報取得部と、
分光感度の異なる少なくとも３種類の画素が配列され、入射した被写体像を、可視光成分と赤外光成分とを含む少なくとも３種類の原画像成分を持つ原画像データに変換する撮像手段と、
前記位置情報取得部が取得した位置情報に基づいて、前記可視光成分と前記赤外光成分の重み付けを行って、前記原画像データを、重み付けされた前記可視光成分と前記赤外光成分に基づいて調整された輝度信号と色度信号とを含む色空間に変換する色空間変換部と、を有することを特徴とする。

本発明によれば、前記色空間変換部が、前記位置情報取得部が取得した位置情報に基づいて前記可視光成分と前記赤外光成分の重み付けを行って、前記原画像データを輝度信号と色度信号とを含む色空間に変換するので、被写体の高さや被写体までの距離に応じて、適切な色空間を得ることができ、輝度・色度の再現性が良好でノイズが少なく、見えにくい被写体を見やすくし、且つ自然に再現できる空間特性を得ることができる。尚、輝度信号と色度信号のうち少なくとも一方が調整されれば足りる。

更に、本発明の一態様としては、前記色空間変換部は、前記位置情報により前記被写体の高さが所定値より高いと判断したときは、前記輝度信号における前記赤外光成分の重み付けを減少させると好ましい。被写体の高さが高い場合、信号機等である可能性が高く、白飛びを抑えランプの本来の色を再現すべきだからである。

更に、本発明の一態様としては、前記色空間変換部は、前記位置情報により前記被写体までの距離が所定値より近いと判断したときは、前記輝度信号における前記赤外光成分の重み付けを減少させると好ましい。被写体までの距離が近いと、夜間撮影でも可視情報が有効となるからであり、よって赤外光成分は抑えるのがよいといえる。

更に、本発明の一態様としては、前記位置情報により前記被写体の高さが所定値より低いと判断したときは、前記輝度信号にエッジ強調処理を行うと好ましい。被写体の高さが低い場合、人物等である可能性が高いので、明瞭に視認できるようにするのがよいといえる。

更に、本発明の一態様としては、前記位置情報により前記被写体の高さが所定値より高いと判断したときは、前記輝度信号をローパスフィルタに通すと好ましい。被写体の高さが高い場合、樹木等の可能性が高いので明瞭さは不要だからであり、シャープ化した人物等を浮きだたせる効果がある。又、高い被写体が信号機であったとしても、ランプの色が識別できれば形状自体は不明瞭でも足りるからである。

更に、本発明の一態様としては、前記色空間変換部は、前記位置情報により前記被写体の高さが所定値より高いと判断したときは、前記色度信号における前記可視光成分の重み付けを増大させると好ましい。被写体の高さが高い場合、信号機等である可能性が高く、ランプの本来の色を再現するのがよいといえる。

更に、本発明の一態様としては、前記色空間変換部は、前記位置情報により前記被写体までの距離が所定値より近いと判断したときは、前記色度信号における前記可視光成分の重み付けを減少させると好ましい。被写体の高さが低い場合、人物等である可能性が高いので、衣服の色再現よりも視認性を高めるのがよいといえる。

更に、本発明の一態様としては、前記位置情報により前記被写体までの距離が所定値より近いと判断したときは、前記色度信号にエッジ強調処理を行うと好ましい。被写体までの距離が近いと、夜間撮影でも可視情報が有効となるからである。

更に、本発明の一態様としては、前記位置情報により前記被写体までの距離が所定値より遠いと判断したときは、前記色度信号をローパスフィルタに通すと好ましい。これにより色度ノイズを低減できる。又、被写体までの距離が遠いと、可視情報よりも赤外情報が有効となるから、色の情報を有効利用できる。

更に、本発明の一態様としては、前記位置情報により前記被写体の高さが所定値より高いと判断したときは、前記色度信号に強調処理を施すと好ましい。被写体の高さが高い場合、信号機等である可能性が高く、ランプの本来の色を再現すべきだからである。

更に、本発明の一態様としては、前記位置情報により前記被写体の高さが所定値より低いと判断したときは、前記色度信号に抑圧処理を施すと好ましい。これにより色度ノイズを低減できる。又、被写体の高さが低い場合、人物等である可能性が高いので、衣服の色再現よりも視認性を高めるべきだからである。

更に、本発明の一態様としては、前記位置情報により前記被写体までの距離が所定値より遠いと判断したときは、前記色度信号に抑圧処理を施すと好ましい。これにより色度ノイズを低減できる。又、被写体までの距離が遠いと、可視情報よりも赤外情報が有効となるからである。

更に、本発明の一態様としては、前記位置情報により前記被写体までの距離が所定値より近いと判断したときは、前記色度信号に強調処理を施すと好ましい。被写体までの距離が近いと、夜間撮影でも可視情報が有効となるから、色の情報を有効利用できる。

更に、本発明の一態様としては、可視光と赤外光を照射する発光手段と、前記発光手段からの照射光が届く照射範囲を算出する照射範囲算出手段とを有し、前記色空間変換部は、前記照射範囲算出手段が算出した照射範囲に基づいて、前記可視光成分と前記赤外光成分の重み付けを行うと好ましい。例えば夜間走行時に車両のヘッドランプで前方を照射した場合、前記照射範囲算出手段が、照射される範囲を算出すれば、その照射範囲内では可視情報を優先し、照射範囲外では赤外情報を優先することが可能となる。これにより、位置情報を精度良く得ることが出来、被写体画像を適切に表示できる。

更に、本発明の一態様としては、前記色空間変換部は、可視光成分に依存する輝度信号と、赤外光成分に依存する輝度信号を、重み付け加算して新たな輝度信号を求めると好ましい。これにより輝度の色度のバランスが保たれる。

本発明の画像処理装置は、
被写体からの可視光成分と赤外光成分とを取得して、可視光画像データと赤外光画像データとを形成する撮像手段と、
複数種類の被写体の輝度情報を記憶する記憶手段と、
前記記憶手段に記憶された輝度情報に基づいて、前記赤外光画像データから対応する被写体の赤外光画像データを抽出する抽出手段と、
前記抽出手段により抽出された被写体の赤外光画像データを、前記可視光画像データに基づく可視光画像に貼り付けるように合成する合成手段と、を有することを特徴とする。

本発明によれば、前記抽出手段が、前記記憶手段に記憶された輝度情報に基づいて、前記赤外光画像データから対応する被写体の赤外光画像データを抽出し、前記合成手段が、前記抽出手段により抽出された被写体の赤外光画像データを、前記可視光画像データに基づく可視光画像に貼り付けるように合成するので、合成された画像を表示することによって、前記輝度情報が記憶された被写体の赤外光画像を、例えば低輝度の可視光画像に貼り付けることで強調して表示できるため、視認性が高まる。

本発明の別な形態によれば、前記合成手段による合成は、合成前の前記可視光画像中における平均輝度が所定値より低い場合に行う事を特徴とする。これにより、特に視認性が低くなる夜間撮影時などに有効となる。

本発明の別な形態によれば、前記合成手段で合成された画像を表示する表示手段を有することを特徴とする。これにより、画像の表示が可能となる。

本発明の別な形態によれば、前記表示手段は、合成前の前記可視光画像中における平均輝度が所定値以上である場合には、前記可視光画像データに基づく可視光画像を表示することを特徴とする。かかる平均輝度が所定値以上である場合には、可視光が支配的となるため赤外光画像を用いなくても十分視認できる。

本発明の別な形態によれば、前記表示手段は、合成前の前記可視光画像中における平均輝度が所定値より低く、且つ前記輝度情報に基づき対応する被写体が前記赤外光画像に存在しない場合、前記赤外光画像データに基づく赤外光画像を表示することを特徴とする。かかる平均輝度が所定値より低くても、輝度情報が記憶された被写体が存在しない場合には、強調する対象が存在しないからである。

本発明の別な形態によれば、前記記憶手段に記憶された被写体の輝度情報は、可視光画像における同じ被写体の輝度情報から決定されることを特徴とする。同じ被写体の輝度情報は、可視光画像においても赤外光画像においても近似しているので、例えば可視光画像の輝度情報を利用して、赤外光画像中の同じ被写体を特定できる。

本発明の別な形態によれば、被写体までの距離を検出する測距手段を有し、前記輝度情報に基づき対応する被写体が前記赤外光画像に複数存在する場合、前記合成手段は、最も近い被写体の赤外光画像を前記可視光画像に貼り付けるように合成することを特徴とする。これにより、例えば車両のバックビューカメラ等から取得した画像に本発明を適用した場合、後退時に最も注目すべき最近接被写体を強調して表示できるので好ましい。

本発明の別な形態によれば、被写体までの距離を検出する測距手段を有し、前記輝度情報に基づき対応する被写体が前記赤外光画像に複数存在する場合、前記合成手段は、被写体の距離に応じて輝度を異ならせた赤外光画像を、前記可視光画像に貼り付けるように合成することを特徴とする。これにより、例えば車両のバックビューカメラ等から取得した画像に本発明を適用した場合、後退時に最も注目すべき最近接被写体から順次強調して表示できるので好ましい。

「被写体の輝度情報」については、例えば被写体が人物の場合、可視光画像からエッジヒストグラムを用いた人物を検出する手法で求めることができる(N.Dalal.et.al.：Histogram of oriented gradient for human detection.CVPR2005）。これは、一定領域に対して勾配ヒストグラムを計算するものである。具体的な計算方法としては、以下のステップによる。
ステップ１:各ピクセル（画素）から輝度の勾配強度、方向を求める。
ステップ２:N×Nピクセルを1セル、0°-180°を20°ずつ９方向に分割し、1セルごとに輝度勾配ヒストグラムを作成する。
ステップ３:各セルにおいて作成したヒストグラムを3×3セルを1ブロックとして正規化を行う。正規化はブロックを１セルずつずらしながら全領域に対し行う。
以上により特徴量を得ることができる。或いは、特開２００７−２６４８８７号公報に記載された技術を用いて、可視光画像中のエッジ強度より人物を判定しても良い。尚、被写体とは、人物、動物、或いは非生物のいずれでも良い。

本発明の画像入力装置によれば、夜間撮影においても適切な輝度信号や色度信号を得ることができる。

本発明の画像処理装置によれば、可視光では特定の被写体を認識できない場合に、かかる被写体を赤外光画像で表示することにより、白飛びが生じないと同時に、視認性が良好な画面表示が得られ、視認性を高めることができる。

第１の実施の形態にかかる画像入力装置１のブロック図を示す図である。 撮像素子３Ａ、３Ｂの画素の配列を示す図である。 Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。 メインカメラＭＣとサブカメラＳＣで被写体までの距離情報を測定する原理を示す図である。 カメラで位置情報を取得する状態を示す図である。 画像処理部４の詳細な構成を示すブロック図である。 比較例の動作を示すフローチャートである。 実施例の動作を示すフローチャートである。 赤外光成分の重み付けの例を示す図である。 可視光成分の重み付けの例を示す図である。 被写体の距離と高さで４領域に分けた状態を示す図である。 信号機や人物等の高さを比較した図である。 車両のヘッドライトの照射範囲を示す図である。 被写体の高さに応じて、エッジ強調とぼかしの重み付けを変更する関数の例を示す図である。 被写体までの距離に応じて、エッジ強調とぼかしの重み付けを変更する関数の例を示す図である。 第２の実施の形態に係る画像処理装置１００のブロック図である。 本実施の形態の画像処理装置１００により撮影された画像を、表示装置１１０に表示した状態を示す図であり、（ａ）は昼間の可視光画像であり、（ｂ）は夜間の可視光画像であり、（ｃ）は夜間の赤外光画像であり、（ｂ）、（ｃ）中の点線は実際には見えない。 本実施の形態にかかる画像処理装置１００の動作を示すフローチャートである。 本実施の形態にかかる画像処理装置１００により行われる処理内容を説明するための図であり、（ａ）は可視光画像を表示する例であり、（ｂ）は合成画像を表示する例であり、（ｃ）は赤外光画像を表示する例である。 第３の実施の形態にかかる画像処理装置１００’のブロック図である。 本実施の形態の画像処理装置１００’により合成処理された画像を、表示装置１１０に表示した状態を示す図である。 関数ｆ（ｄ）の一例を示す図である。

（第１の実施の形態）
以下、本発明の第１の実施の形態にかかる画像入力装置１について説明する。図１は、本実施の形態にかかる画像入力装置１のブロック図である。図１に示すように画像入力装置１は、撮像手段としてのメインカメラＭＣ、サブカメラＳＣ、画像処理部４、及び制御部５、発光手段としての赤外光及び可視光の発光部６，発光部の照射範囲を検出する照射範囲検出部（照射範囲算出手段）７、位置情報検出部（位置情報取得部）８を備えている。メインカメラＭＣは、レンズ２Ａ、撮像素子３Ａを有し、サブカメラＳＣは、レンズ２Ｂ、撮像素子３Ｂを有する。ここで、画像入力装置１は、例えば車両に搭載され、車両の周囲の被写体を撮像する用途に用いられる。

サブカメラＳＣはメインカメラＭＣと同じものでもよいし、他の構成のカメラを用いてもかまわない。同じカメラの方が、位置がずれないので、位置精度をおとさないためには良い。2つのカメラを使ったステレオマッチングだけでなく、他の手段であっても位置情報が求まるものであれば何でもよい。

レンズ２Ａ、２Ｂは、被写体の光像を取り込み、それぞれ撮像素子３Ａ、３Ｂへ導く光学レンズ系から構成される。光学レンズ系としては、被写体の光像の光軸に沿って直列的に配置される、例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック等を採用することができる。また、レンズ２Ａ、２Ｂは、透過光量を調節するための絞り（図略）、シャッタ（図略）等を備え、制御部５の制御の下、絞り及びシャッタの駆動が制御される。

撮像素子３Ａ、３Ｂは、ＰＤ（フォトダイオード）からなる受光部と、受光部により光電変換された信号を出力する出力回路と、撮像素子３Ａ、３Ｂを駆動する駆動回路とを含み、光量に応じたレベルを有する原画像データを生成する。ここで、撮像素子３としては、ＣＭＯＳイメージセンサ、ＶＭＩＳイメージセンサ、及びＣＣＤイメージセンサ等の種々の撮像センサを採用することができる。

本実施の形態において、撮像素子３Ａ、３Ｂは、被写体の光像を入射して、カラーフィルタを備える画素により可視カラー画像成分を変換出力し、赤外フィルタを備える画素により赤外画像成分を変換出力し、フィルタを備えない画素により可視輝度画像成分と赤外画像成分とを含む輝度画像成分を変換出力するようになっている。

画像処理部４は、演算回路及び演算回路の作業領域として用いられるメモリ等を含み、撮像素子３Ａ、３Ｂから出力された原画像データをＡ／Ｄ変換してデジタル信号に変換し、後述する画像処理を実行した後、例えば図略のメモリや表示装置に出力する。尚、メインカメラＭＣの画像信号が画像処理に用いられ、メインカメラＭＣの画像信号及びサブカメラＳＣの画像信号は、被写体の距離情報を検出するために用いられる。

制御部５は、ＣＰＵ及びＣＰＵが実行するプログラムを格納するメモリ等を含み、外部からの制御信号に応答し、画像入力装置１の全体制御を司る。発光部６は例えば車両のヘッドランプであり、ロービームとハイビームとに切り換え可能であり、照射範囲検出部７は、ビーム切り換えスイッチ（不図示）などに応じて、発光部６の照射範囲を検出できるようになっている。位置情報検出部８は、後述するようにして被写体の位置情報を検出する。

図２は、撮像素子３Ａ，３Ｂの画素の配列を示す図である。図２に示すように撮像素子３Ａ，３Ｂには、可視波長領域と赤外波長領域とを有感度波長帯域とするＹｅ画素（第１の画素）、Ｒ画素（第２の画素）、ＩＲ画素（第３の画素）、及びＷ画素（第４の画素）とを含む単位画素部３１がマトリックス状に配列されている。尚、例えば「Ｙｅ」画素とは、「Ｙｅ」フィルタを有する画素の意味であり、以下同様とする。

図２の場合、単位画素部３１において、第１行第１列にＲ画素が配列され、第２行第１列にＩＲ画素が配列され、第１行第２列にＷ画素が配列され、第２行第２列にＹｅ画素が配列されるというように、Ｒ画素、ＩＲ画素、Ｗ画素，及びＹｅ画素は干鳥状に配列されている。但し、これは一例であり、他のパターンでＲ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素を千鳥状に配列してもよい。

Ｙｅ画素はＹｅフィルタ（第１のカラーフィルタ）を備えているため、Ｙｅの可視カラー画像成分である画像成分Ｙｅ（原画像成分）および赤外画像成分を出力する。Ｒ画素はＲフィルタ（第２のカラーフィルタ）を備えているため、Ｒの可視カラー画像成分である画像成分Ｒ（原画像成分）および赤外画像成分を出力する。ＩＲ画素はＩＲフィルタ（赤外フィルタ）を備えているため、赤外画像成分である画像成分ＩＲ（原画像成分）を出力する。Ｗ画素はフィルタを備えていないため、可視輝度画像成分と画像成分ＩＲとを含む輝度画像成分である画像成分Ｗ（原画像成分）を出力する。

図３は、Ｙｅ、Ｒ、ＩＲフィルタの分光透過特性を示した図であり、縦軸は透過率（感度）を示し、横軸は波長（ｎｍ）を示している。なお、点線で示すグラフはフィルタが取り外された状態における画素の分光感度特性を示している。この分光感度特性は、６００ｎｍ付近でピークを有し、上に凸の曲線を描いて変化していることが分かる。また、図３では、４００ｎｍ〜７００ｎｍが可視波長領域とされ、７００ｎｍ〜１１００ｎｍが赤外波長領域とされ、４００ｎｍ〜１１００ｎｍが有感度波長帯域とされている。

図３に示すように、Ｙｅフィルタは、可視波長領域の青色領域を除く前記有感度波長帯域の光を透過する特性を有する。よって、Ｙｅフィルタは主にイエローの光と赤外光とを透過する。

Ｒフィルタは、可視波長領域の青色領域及び緑色領域を除く有感度波長帯域の光を透過する特性を有する。よって、Ｒフィルタは主に赤の光と赤外光とを透過する。

ＩＲフィルタは、可視波長領域を除く有感度波長帯域、すなわち赤外波長帯域の光を透過する特性を有する。Ｗはフィルタを備えていない場合を示し、画素の有感度波長帯域の光が全て透過される。

他に似たような特性を実現するには、Ｙｅ、Ｒ、ＩＲの代わりにＹｅ、Ｍ（マゼンタ）＋ＩＲ、Ｃ（シアン）＋ＩＲ（但し、Ｍ＋ＩＲは、グリーンのみを遮蔽し、Ｃ＋ＩＲはレッドのみを遮蔽する。）でも実現可能である。ただし、Ｒ画素、ＩＲ画素、Ｙｅ画素は、分光透過特性を急峻にすることができ、例えば、Ｍ＋ＩＲフィルタやＣ＋ＩＲフィルタに比べて、分光透過特性が良好である。つまり、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、有感度波長帯域のうち、中央の一部の領域である緑色領域及び赤色領域のみを遮蔽する特性を有しており、このようなフィルタに、Ｒフィルタ、ＩＲフィルタ、Ｙｅフィルタのような急峻な分光透過特性を持たせることは困難である。そのため、Ｍ＋ＩＲフィルタ及びＣ＋ＩＲフィルタは、それぞれ、演算してもＲＧＢ画像成分を精度良く抽出することができない。よって、Ｒ画素、ＩＲ画素、Ｙｅ画素、Ｗ画素で撮像素子３を構成することで、撮像素子３の高性能化を図ることができる。

図４は、メインカメラＭＣとサブカメラＳＣで被写体までの距離情報を測定する原理を示す図である。図４において、一対の撮像素子を備えたメインカメラＭＣとサブカメラＳＣを、予め定める基線間隔Ｌだけ離間して、かつ光軸が相互に平行となるように配置する。メインカメラＭＣとサブカメラＳＣで撮像された被写体の撮像画像は、例えば対応点探索手法であるＳＡＤ（Sum of Absolute Difference）法を用いて画素単位で対応点探索を行い、メインカメラＭＣとサブカメラＳＣ間の左右方向における対象物に対する視差を求め、求められた視差に基づいて、以下の式に基づき被写体までの距離Ｚを求めることができる。但し、上述するＷ，Ｙｅ，Ｒ，ＩＲフィルタをもつカメラを用いる場合には、距離情報を求めるためには、それぞれの画像を輝度（グレースケール）画像にする。グレースケール化には、これまでと同様に下式を用いればよい。
グレースケール＝（Ｗ＋Ｙｅ＋Ｒ＋ＩＲ）／４

図４において、少なくとも焦点距離（ｆ）、撮像素子（ＣＣＤ）の画素数、１画素の大きさ（μ）が相互に等しい２台のメインカメラＭＣとサブカメラＳＣを用い、所定の基線長（Ｌ）だけ前記左右に離間させて光軸１Ｘ，２Ｘを平行に配置して被写体ＯＢを撮影する。このとき、図４の例では、メインカメラＭＣの撮像面ＭＣａ上で被写体ＯＢの端部の画素番号（左端又は右端から数えるものとする）がｘ１，サブカメラＳＣにおける撮像面ＳＣａ上で同じ被写体ＯＢの端部の画素番号がｘ２であったとする（ｙは等しいと仮定）と、撮像面ＭＣａ，ＳＣａ上の視差（ずれ画素数）はｄ（＝ｘ１−ｘ２）であり、被写体ＯＢまでの距離（Ｚ）は、斜線を施して示す三角形が相似である。従って、位置情報検出部８は、
Ｚ：ｆ＝Ｌ：μ×ｄ
の関係より、
Ｚ＝（Ｌ×ｆ）／（μ×ｄ）・・・（１）
で求めることができる。更に、例えば特開2009-239485号公報に記載された技術により、メインカメラＭＣとサブカメラＳＣの画像情報から被写体の高さＨもわかる（図５参照）。

図６は、画像処理部４の詳細な構成を示すブロック図である。画像処理部４は、色補間部４１、色信号生成部４２、色空間変換部４３、及びＲＧＢ色信号生成部４４を備えている。

（比較例）
ここで、図７のフローチャートを参照して、比較例の画像処理について説明する。図７のステップＳ１０１において、色補間部４１は、撮像素子３Ａから出力された画像成分Ｙｅ、画像成分Ｒ、画像成分ＩＲ、及び画像成分Ｗのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒ、画像成分ＩＲ、画像成分Ｗ、及び画像成分Ｙｅのそれぞれを撮像素子３Ａの画素数と同一画素数からなる画像データにする。なお、画像成分Ｙｅ、Ｒ、Ｒ、Ｗに欠落画素データが発生するのは、Ｒ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素が千鳥状に配列されているためである。また。補間処理としては、例えば線形補間処理を採用すればよい。

ステップＳ１０２で、色空間変換部４３は、式（１）に示すように、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗを加算することで得られる輝度信号Ｙ１を、変換対象となる色空間の輝度信号として算出する。
Ｙ１＝（１／４）×（Ｒ＋ＩＲ＋Ｗ＋Ｙｅ） （１）

ここで、輝度信号Ｙ１は、加算処理により算出されているため。減算処理により輝度信号を算出した場合に比べてノイズ成分を低くすることができる。

ステップＳ１０３で、色空間変換部４３は輝度空間処理を行う。より具体的には、輝度信号Ｙ１を、ぼかすためのローパスフィルタに通過させたり、先鋭化するためのエッジ強調処理を行う。これにより得られた輝度信号をＹ２とする。

以上と並行して、ステップＳ１０４で、色信号生成部４２は、色補間部４１により補間処理が施された画像成分Ｙｅと、画像成分Ｒと、画像成分ＩＲと、画像成分Ｗとを下記式（２）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒ−ＩＲ
ｄＧ＝Ｙｅ−Ｒ （２）
ｄＢ＝Ｗ−Ｙｅ

ステップＳ１０５で、色空間変換部４３は、式（３）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ３と色差信号Ｃｂ１、Ｃｒ１とを含む色空間に変換する、ここで、色差信号Ｃｂ１は青の色差信号を示し、色差信号Ｃｒ１は赤の色差信号を示す。
Ｙ３＝０．３＊ｄＲ＋０．６＊ｄＧ＋０．１＊ｄＢ
Ｃｂ１＝ｄＲ−Ｙ３
Ｃｒ１＝ｄＢ−Ｙ３ （３）

ステップＳ１０６で、色空間変換部４３は色度空間処理を行う。より具体的には、色差信号Ｃｂ１、Ｃｒ１を、ぼかすためのローパスフィルタを通過させたり、先鋭化するためのエッジ強調処理を行って、それぞれ色差信号Ｃｂ２、Ｃｒ２とする。色度は、人間の感度が輝度に比べて低いため、エッジ強調は行わず、色度ノイズ低減のためローパスフィルタを行うことが多い。しかしながら、すべての色度情報がぼかされるため、信号機のランプの色がにじんだり、運転支援にとって重要な道路の白線や黄色線がぼけてしまい、黄色線が白線と認識されるなど、色度が落ちてしまうことがある。

ステップＳ１０７で、色空間変換部４３は色度強調抑圧処理を行う。より具体的には、色度の値を下式により強調抑圧する。
Ｃｒ３＝ ｋ＊Ｃｒ２
Ｃｂ３＝ ｋ＊Ｃｂ２ （４）

ここで、色度ノイズを低減するため、kを1以下として抑圧することが多い。しかしながら、ｋが１以下であると色度ノイズの低減には良いが、色度情報が失われてしまうという問題がある。

ステップＳ１０８で、色空間変換部４３は色度算出処理を行う。輝度信号Ｙ１（又はＹ２）がＹ３と異なり、可視光成分と赤外光成分を加算していることから、輝度との値のバランス（比率）を保つために、比率により色度を調整する。こうすることで輝度の色度のバランスが保たれる
Ｃｒ４ ＝ （Ｙ２／Ｙ３）＊Ｃｒ３
Ｃｂ４ ＝ （Ｙ２／Ｙ３）＊Ｃｂ３ （５）

更に、ＲＧＢ色信号生成部４４は、式（３）を逆変換することで、輝度信号Ｙ２と、色差信号Ｃｒ４、Ｃｂ４とから色信号ｄＲ’，ｄＧ’，ｄＢ’を算出する。このようにして得られた色信号ｄＲ’，ｄＧ’，ｄＢ’を外部のモニタに出力することで、カラー画像を得ることができる。但し、上述したように、調整は可能だが欠点が存在する。

（実施例）
ここで、実施例について説明する。図８は実施例のフローチャートである。まず、図８のステップＳ２０１でメインカメラＭＣにて被写体の撮影を行い、同時にステップＳ２０２でサブカメラＳＣにて同じ被写体の撮影を行う。ステップＳ２０３で、位置情報検出部８が、上述したようにして位置情報（被写体の距離Ｚと高さＨ）を求める。

ステップＳ２０４において、色補間部４１は、撮像素子３Ａから出力された画像成分Ｙｅ、画像成分Ｒ、画像成分ＩＲ、及び画像成分Ｗのそれぞれに欠落画素データを補間するための補間処理を施し、画像成分Ｒ、画像成分ＩＲ、画像成分Ｗ、及び画像成分Ｙｅのそれぞれを撮像素子３Ａの画素数と同一画素数からなる画像データにする。なお、画像成分Ｙｅ、Ｒ、Ｒ、Ｗに欠落画素データが発生するのは、Ｒ画素、ＩＲ画素、Ｗ画素、及びＹｅ画素が千鳥状に配列されているためである。また。補間処理としては、例えば線形補間処理を採用すればよい。

ステップＳ２０５で、色空間変換部４３は、式（１’）に示すように、画像成分Ｙｅ、Ｒ、ＩＲ、Ｗを加算することで得られる輝度信号Ｙ１を、変換対象となる色空間の輝度信号として算出するが、このとき、ステップＳ２０３で検出された位置情報に基づいて輝度信号Ｙ１を調整することができる。
Ｙ１＝（ａ＊Ｗ＋ｂ＊Ｙｅ＋ｃ＊Ｒ＋ｄ＊ＩＲ）／（ａ＋ｂ＋ｃ＋ｄ） （１’）

（１’）式で、ａ，ｂ，ｃ，ｄは重み付け係数であり、通常はそれぞれ１とするが、最小の重みは０で、１以上にするとより強調されることを意味する。ここでは、赤外光成分の加算量を制御したいので、可視光成分に関してａ＝ｂ＝ｃとしてもよい。または、各センサの分光感度に含まれる赤外感度に対応させて、ａを最も可視光よりの重み、ｄを最も赤外光よりの重みとしてもよい。係数の値が大きくなれば、そのセンサの情報が大きく反映される。

輝度信号算出処理では、後述する表２のような処理をさせたいので、距離と高さに応じて、ａ（＝ｂ，ｃ）、ｄを、図９，１０に示すグラフのように重み付けすると好ましい。つまり、図９に示すように、被写体までの距離が遠ざかるほどｄの重みを減少させ、また被写体の高さが高くなるほどｄの重みを減少させる（０に近づける）。一方で、図１０に示すように、被写体までの距離が遠ざかるほどａの重みを増大させ、また被写体の高さが高くなるほどａの重みを増大させる（２に近づける）のである。

重みa,b,c,dともに、d=func(距離、高さ)のような、距離と高さをパラメータにもつ関数にしておけば、徐々にパラメータを変化させることで、なめらかに再現が変化し視認性が高まる。関数の中身は数式でもルックアップテーブルでもよい。簡便には、図１１のように被写体が存在する領域を、被写体までの距離が閾値ＴＬより小さく被写体の高さが閾値ＴＨより低い領域Ａ、被写体までの距離が閾値ＴＬより小さく被写体の高さが閾値ＴＨ以上である領域Ｂ、被写体までの距離が閾値ＴＬ以上であり被写体の高さが閾値ＴＨより低い領域Ｃ、被写体までの距離が閾値ＴＬ以上であり被写体の高さが閾値ＴＨ以上である領域Ｄというように4分割し、各領域毎に重み付けを変えてもよい。

以上の処理の効果について説明する。例えば図１２に示すように、規格により信号機のランプの位置は高さ２．５ｍ〜５ｍ以上であり、道路標識は１．８ｍ前後であり、人物の身長は概ね１．８ｍ以下である。つまり、高さ２ｍ以上では自発光の被写体が多いと共に、特に色を識別する必要がある。一方、２ｍ未満では色よりも被写体を明瞭に識別する必要がある。

図１３に示すように、また、発光部６としての車のヘッドライトでは、約40m先まで照らすロービームの光源に可視光を用い、約100m先まで照らすハイビームには、可視光を含まない赤外光のみの光源を用いることが行われる。よって、被写体までの距離が40m迄は十分に可視光情報があり、逆に被写体までの距離が40mより先は可視光情報が少なく、赤外光情報に頼る必要がある。従って、車両を運転する運転手がロービームを選択していた場合、被写体までの距離の閾値として４０ｍを用いて、処理を変更し、ハイビームを選択していた場合、被写体までの距離の閾値として１００ｍを用いて、重み付けを変えることが望ましい。このようにすることで、赤外光成分があることで被写体画像が明るくなりすぎるのを防ぐことができる。ロービームかハイビームかの選択は、照射範囲検出部７が検出できる。

ステップＳ２０６で、色空間変換部４３は輝度空間処理を行う。より具体的には、輝度信号Ｙ１を、ぼかすためのローパスフィルタに通過させたり、先鋭化するためのエッジ強調処理を行う。これにより得られた輝度信号をＹ２とする。このとき、ステップＳ２０３で検出された位置情報に基づいて輝度信号Ｙ２を調整することができる。

輝度信号算出処理では、後述する表４のような処理をさせたいので、輝度信号Ｙ１に対し、被写体の高さが高い場合、赤外光成分のノイズを低減させるべく、ローパスフィルタに通過させる。一方、被写体の高さが低い場合、被写体をシャープ化して視認性を高めるために、エッジ強調処理を行う。このようにして輝度信号Ｙ２を調整する。

より具体的には、運転支援の為に解像度が必要なのは被写体の高低であり、例えば信号機などはランプの色がわかればよいので、解像度はあまり必要でない。よって、閾値より高い被写体の輝度信号には、赤外光成分が含まれることによるノイズを低減させるようローパスフィルタをかけ、閾値より低い被写体の輝度信号は、エッジ強調するのがよい。これは、図１４に示すような関数に従って重み付けすれば良く、信号機の高さである2m前後で切り替えるのがよい。輝度算出と同様に、距離による切り替えをしてもかまわない。例えば、遠くをエッジ強調するとノイズが悪化するので、高さが低くても遠い場合はエッジ強調しないことができる。ぼかす手法、即ちローパスフィルタを通す場合は、３×３画素のウィンドウ内の画素値を平均する処理を繰り返す。または、ウィンドウのサイズを５×５画素、７×７画素と大きくする。エッジ強調処理は、ソーベルフィルタ等のエッジ検出フィルタでエッジを検出し、それに係数をかけて加算する。

ステップＳ２０７で、色空間変換部４３は、後述するステップＳ２０９で得られた輝度信号Ｙ３を用いて、以下の式で、輝度信号Ｙ４を算出する。比較例では輝度信号Ｙ２をそのまま用いたが、赤外光情報に依存する輝度信号Ｙ２と、ＲＧＢ算出で赤外光成分を減算しているので可視光情報に依存する輝度信号Ｙ３を重みづけで計算することで、後述する表２の輝度信号算出処理と同様の効果が得られる。かかる処理は、２つの処理ブロックで行ってもよいし、片方でも良い。輝度信号Ｙ３の情報は、赤外光成分を完全に減算しているので、輝度信号Ｙ３の重みを多くすることで、表２の輝度信号算出処理より一層効果が高い。αは、表２の輝度信号算出処理と同様に、被写体の距離と高さから決定する。
Ｙ４＝α＊Ｙ２＋（１−α）＊Ｙ３ （６）

以上と並行して、ステップＳ２０８で、色信号生成部４２は、色補間部４１により補間処理が施された画像成分Ｙｅと、画像成分Ｒと、画像成分ＩＲと、画像成分Ｗとを下記式（２）により合成して、色信号ｄＲ、ｄＧ、ｄＢ（ＲＧＢ色信号）を生成する。
ｄＲ＝Ｒ−ＩＲ
ｄＧ＝Ｙｅ−Ｒ （２）
ｄＢ＝Ｗ−Ｙｅ

ステップＳ２０９で、色空間変換部４３は、式（３）に示すように、色信号ｄＲ，ｄＧ，ｄＢを、輝度信号Ｙ３と色差信号Ｃｂ１、Ｃｒ１とを含む色空間に変換する、ここで、色差信号Ｃｂ１は青の色差信号を示し、色差信号Ｃｒ１は赤の色差信号を示す。
Ｙ３＝０．３＊ｄＲ＋０．６＊ｄＧ＋０．１＊ｄＢ
Ｃｂ１＝ｄＲ−Ｙ３
Ｃｒ１＝ｄＢ−Ｙ３ （３）

ステップＳ２１０で、色空間変換部４３は色度空間処理を行う。ここで、ステップＳ２０３で検出された位置情報に基づいて色度信号Ｃｂ２，Ｃｒ２を調整することができる。より具体的には、色差信号Ｃｂ１、Ｃｒ１を、ぼかすためのローパスフィルタを通過させたり、先鋭化するためのエッジ強調処理を行って、それぞれ色差信号Ｃｂ２、Ｃｒ２とする。

色度空間処理では、後述する表５のような処理をさせたいので、色差信号Ｃｂ１、Ｃｒ１に対し、被写体までの距離が閾値より遠い場合、赤外光成分のノイズを低減させるべく、ローパスフィルタに通過させる。一方、被写体までの距離が閾値より近い場合、被写体をシャープ化して視認性を高めるために、エッジ強調処理を行う。

特に、被写体までの距離が遠い場合、可視光情報が殆ど存在しないので、色度ノイズが生じやすい。よって、遠くの被写体はぼかすのが良い。逆に近い被写体は、より障害物を識別できるようにエッジ強調するのが良い。例えばロービームの選択時などには、これは、図１５に示すような関数に従って重み付けすれば良く、ロービームの照射限界である４０m前後で切り替えるのがよい。上述した比較例では、ノイズ低減のためすべての領域をぼかしてしまうため、信号機のランプがにじんだり、道路の黄色線の色が無彩色になってしまうケースがあったが、本実施例によれば被写体までの距離に応じて強調もできるので、かかる不具合を改善できる。

ステップＳ２１１で、色空間変換部４３は色度強調抑圧処理を行う。より具体的には、色度の値を下式により強調抑圧する。このとき、ステップＳ２０３で検出された位置情報に基づいて色度信号Ｃｂ３，Ｃｒ３を調整することができる。
Ｃｒ３＝ ｋ＊Ｃｒ２
Ｃｂ３＝ ｋ＊Ｃｂ２ （４）

ここで、後述する表3のように、閾値より高い被写体である信号機等は赤外光情報を含み、白飛びしやすいのでの色度を強調する。但し、遠くにある信号機も、できるだけランプの色を見分けたいので、距離に依存させないのが好ましい。これに対し、閾値より低い被写体は、所定距離より遠くにある場合、色度ノイズをおさえるように色度を抑圧する（ｋを０に近づける）ことが好ましい。一方、所定距離より近くの被写体は十分に可視情報が存在するので、抑圧しないのが良い（ｋを１以上にする）。場合によっては色度を強調する。よって、係数kは、輝度信号算出処理と同様に、高さと距離の関数で決定すると良い。図示しないが、図９，１０と同様のグラフを数式や、閾値、ルックアップテーブルを用いて係数kを決定すると良い。

ステップＳ２１２で、色空間変換部４３は色度算出処理を行う。輝度信号Ｙ１（又はＹ２）がＹ３と異なり、可視光成分と赤外光成分を加算していることから、輝度との値のバランス（比率）を保つために、比率により色度を調整する。こうすることで輝度の色度のバランスが保たれる。
Ｃｒ４ ＝ （Ｙ２／Ｙ３）＊Ｃｒ３
Ｃｂ４ ＝ （Ｙ２／Ｙ３）＊Ｃｂ３ （５）

更に、ＲＧＢ色信号生成部４４は、式（３）を逆変換することで、輝度信号Ｙ２と、色差信号Ｃｒ４、Ｃｂ４とから色信号ｄＲ’，ｄＧ’，ｄＢ’を算出する。このようにして得られた色信号ｄＲ’，ｄＧ’，ｄＢ’を外部のモニタに出力することで、カラー画像を得ることができる。

（第２の実施の形態）
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１６は、第２の実施の形態に係る画像処理装置１００のブロック図である。かかる画像処理装置１００は、車載のバックビューカメラに適用できるが、用途はそれに限られず、例えば監視カメラであっても良い。画像処理装置１００は、被写体に向かって近赤外光を投光する近赤外光源１０１と、近赤外光源１０１を駆動する駆動部１０２と、被写体からの可視光成分を受光して画像信号に変換する可視光受信部１０３と、被写体からの近赤外光成分を受光して画像信号に変換する赤外光受信部１０４と、可視光受信部１０３と赤外光受信部１０４からの画像信号を入力してＡ／Ｄ変換し、可視光画像データと赤外光画像データとを生成する画像データ生成部１０５と、生成された赤外光の画像データから被写体の輝度情報を計算する輝度情報計算部１０６と、輝度情報が記憶された複数種類の被写体の赤外光画像における輝度情報を記憶するメモリ（記憶手段）１０７と、メモリ１０７に記憶された輝度情報に基づいて、対応する被写体の赤外光画像を抽出する抽出部（抽出手段）１０８と、抽出された被写体の赤外光画像を可視光画像に貼り付けるように画像処理する合成部（合成手段）１０９と、可視光画像データに基づく可視光画像、赤外光画像データに基づく赤外光画像、合成された画像データに基づく画像等を表示する表示部（表示手段）１１０とを有する。尚、可視光受信部１０３，赤外光受信部１０４，画像データ生成部１０５が撮像手段を構成する。

図１７は、本実施の形態の画像処理装置１００により撮影された画像を、表示装置１１０に表示した状態を示す図である。まず、画像データ生成部１０５で得られた可視光画像データにより、可視光における平均輝度を求めたときに、昼間などは所定値以上となる。このような場合、可視光画像データにより得られる可視光画像は、太陽光のみで十分明瞭となるから、図１７（ａ）に示すように、人物ＨＭ、壁ＷＬ、地面ＥＴが明瞭に区別されることとなり、特に画像を合成する必要はない。

ところが、夜間などにおいては、可視光における平均輝度が比較的低くなるから、可視光画像は、図１７（ｂ）に示すように低階調であり視認性が低下する。そのため、人物ＨＭ、壁ＷＬ、地面ＥＴが明瞭に区別されず、かかる可視光画像を頼りに車両を後退させることは困難である。これに対し、画像データ生成部１０５で得られた赤外光画像データに基づいて得られる赤外光画像を表示すると、図１７（ｃ）に示すように、人物ＨＭ、壁ＷＬ、地面ＥＴ全てが明るく表示されてしまい、かかる赤外光画像を頼りに車両を後退させることは同様に困難である。本実施の形態は、かかる問題を以下のようにして解消している。

図１８は、本実施の形態にかかる画像処理装置１００の動作を示すフローチャートである。図１９は、本実施の形態にかかる画像処理装置１００により行われる処理内容を説明するための図である。

ここで前工程として、画像処理装置１００は、メモリ１０７に被写体（ここでは人物とする）の輝度情報を記憶する。その一例としては、例えば人物や動物などの複数種類の被写体につき、種々の姿勢形状をデータ化して、赤外光の輝度情報として予め記憶することができる。或いは、表示部１１０がタッチパネル式又はクリック可能なモニタを有する場合、実際にモニタに映し出された被写体の可視光画像をタッチもしくはクリックすることで、その輝度情報を記憶するようにしても良い。かかる操作により読み込まれた被写体の輝度情報は可視光の輝度情報であるが、赤外光の輝度情報とも一定の相関関係があるため、可視光の輝度情報に適当な係数を乗算して、近似した赤外光の輝度情報として記憶すれば、これを利用して、実際の赤外光画像データに対してパターンマッチングなどを行って、被写体の赤外光画像データを抽出することもできる。又、移動する被写体を検知する公知の手段を設け、赤外光画像データから移動する被写体が検知されたときは、移動する被写体の輝度情報を抽出して、可視光画像に貼り付けるようにしても良い。

まず、図１８のステップＳ３０１で、画像データ生成部１０５が、可視光受信部１０３と赤外光受信部１０４からの画像信号を入力してＡ／Ｄ変換し、可視光画像データと赤外光画像データとを生成する。次いで、ステップＳ３０２で、抽出部１０８は、メモリ１０７に記憶された、予め記憶された被写体の輝度情報を読み出す。

更に、ステップＳ３０３で、輝度情報計算部１０６が、可視光画像データに基づき平均輝度を計算し、これが所定値以上であるか否かを判断する。平均輝度が所定以上と判断した場合、抽出部１０８は赤外光画像データの抽出を行わない。よって、合成部１０９は画像合成を行わず、ステップＳ３０４で、表示装置１１０は可視画像データに基づき可視光画像を表示する（図１９（ａ）参照）。

一方、輝度情報計算部１０６が、平均輝度は所定値未満と判断した場合、ステップ３０５にて、抽出部１０８は、メモリ１０７から読み出した被写体の輝度情報を用いて赤外光画像データをパターンマッチングして、予め輝度情報が記憶された被写体が存在するか否かを判断する。ここで、予め輝度情報が記憶された被写体が存在しないと判断した場合、赤外光画像データの抽出を行わず、また画像合成部１０９は画像合成を行わず、ステップＳ３０６で、表示装置１１０は赤外光画像データに基づき赤外光画像を表示する（図１９（ｃ）参照）。かかる場合、表示された画面を見た運転者は、人物などがいないことを確認できるため、通常の注意で車両を操作できる。

一方、抽出部１０８が、予め輝度情報が記憶された被写体が存在すると判断した場合、オリジナルの赤外光画像データから、その被写体に対応する赤外光画像データを抽出し、ステップＳ３０７で、画像合成部１０９が、抽出された被写体に対応する赤外光画像データを、可視光画像データにおける対応する被写体の画像データと置換するように合成処理する（図１９（ｂ）参照）。これにより、人物などの予め輝度情報が記憶された被写体の画像が、暗い背景上に貼り付けられることにより明るく強調されて表示されるので、運転者の注意を喚起できる。かかる場合、被写体の顔などの表情は見えないが、運転者の注意を喚起すれば十分であるから特に問題ない。ステップＳ３０８で終了と判断されなければ、ステップＳ３０１に戻り、同様のステップが繰り返される。

以上のシチュエーションと画像処理とをまとめると、表６に示すようになる。

（第３の実施の形態）
図２０は、第３の実施の形態にかかる画像処理装置１００’のブロック図である。本実施の形態が、図１６に示す実施の形態と異なる点は、被写体までの距離を測定する測距部（測距手段）１１１を備えている点である。測距部１１１としては、赤外線等を投射してその反射光から被写体までの距離を測定するものや、２台の撮像手段を用いてステレオカメラの原理により被写体までの距離を測定するものなど、種々の手段を用いることができる。具体的には、図１，図４に示すステレオカメラによる画像入力装置１を用いることができる。

本実施の形態においては、測距部１１１が被写体までの距離を求め、予め輝度情報が記憶された被写体が存在した場合、その被写体までの距離に応じて、可視光画像データの一部と置換する赤外光画像データの強調度合いを変化させる（輝度値を相対的に増減する）のである。

これにより、図２１に示すように、人物などの予め輝度情報が記憶された被写体が複数存在する場合には、最も近い被写体を最も明るく強調して表示できる。輝度値の増大の程度であるが、被写体までの距離が近くなるに連れてリニアに増大させてもいいが、以下の式に従い輝度値を任意に増大させることもできる。これにより近い位置の被写体画像は明るく、遠い位置の被写体画像は暗く表示できる。尚、最も近い被写体が最も重要であるので、最も近い被写体のみ赤外光画像に置換してもよい。
Ｙ＝ｆ（ｄ）×Ｉｒ （１）
Ｙ：合成された被写体の輝度値
ｆ（ｄ）：図２２に一例を示す関数であり、被写体距離ｄ（ｍ）に応じて変化する
Ｉｒ：オリジナルの被写体の輝度値

なお、本発明は、本明細書に記載の実施の形態に限定されるものではなく、他の実施の形態や変形例を含むことは、本明細書に記載された実施の形態や技術的思想から本分野の当業者にとって明らかである。

本発明の画像入力装置は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。又、本発明では、ＲＧＢのフィルタを有する可視光用の撮像素子と、赤外線を検出する撮像素子とを組み合わせて１つの撮像手段としても良い。

本発明の画像処理装置は、車載カメラや監視カメラ等に適用可能であるが、用途はそれに限られない。

１画像入力装置
２レンズ
３撮像素子
４画像処理部
５制御部
６発光部
７照射範囲検出部
８位置情報検出部
４１色補間部
４２色信号生成部
４３色空間変換部
４４ＲＧＢ信号生成部
１００、１００’ 画像処理装置
１０１ 近赤外光源
１０２ 駆動部
１０３ 可視光受信部
１０４ 赤外光受信部
１０５ 画像データ生成部
１０６ 輝度情報計算部
１０７ メモリ
１０８ 抽出部
１０９ 合成部
１１０ 表示部
１１１ 測距部
ＥＴ 地面
ＨＭ 人物
ＷＬ 壁

Claims (23)

1. 被写体の高さ及び被写体までの距離のうち少なくとも一方を含む位置情報を取得する位置情報取得部と、
   分光感度の異なる少なくとも３種類の画素が配列され、入射した被写体像を、可視光成分と赤外光成分とを含む少なくとも３種類の原画像成分を持つ原画像データに変換する撮像手段と、
   前記位置情報取得部が取得した位置情報に基づいて、前記可視光成分と前記赤外光成分の重み付けを行って、前記原画像データを、重み付けされた前記可視光成分と前記赤外光成分に基づいて調整された輝度信号と色度信号とを含む色空間に変換する色空間変換部と、を有することを特徴とする画像入力装置。
2. 前記色空間変換部は、前記位置情報により前記被写体の高さが所定値より高いと判断したときは、前記輝度信号における前記赤外光成分の重み付けを減少させることを特徴とする請求項１に記載の画像入力装置。
3. 前記色空間変換部は、前記位置情報により前記被写体までの距離が所定値より近いと判断したときは、前記輝度信号における前記赤外光成分の重み付けを減少させることを特徴とする請求項１又は２に記載の画像入力装置。
4. 前記位置情報により前記被写体の高さが所定値より低いと判断したときは、前記輝度信号にエッジ強調処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像入力装置。
5. 前記位置情報により前記被写体の高さが所定値より高いと判断したときは、前記輝度信号をローパスフィルタに通すことを特徴とする請求項１乃至４のいずれか１項に記載の画像入力装置。
6. 前記色空間変換部は、前記位置情報により前記被写体の高さが所定値より高いと判断したときは、前記色度信号における前記可視光成分の重み付けを増大させることを特徴とする請求項１乃至５のいずれか１項に記載の画像入力装置。
7. 前記色空間変換部は、前記位置情報により前記被写体までの距離が所定値より近いと判断したときは、前記色度信号における前記可視光成分の重み付けを減少させることを特徴とする請求項１乃至６のいずれか１項に記載の画像入力装置。
8. 前記位置情報により前記被写体までの距離が所定値より近いと判断したときは、前記色度信号にエッジ強調処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像入力装置。
9. 前記位置情報により前記被写体までの距離が所定値より遠いと判断したときは、前記色度信号をローパスフィルタに通すことを特徴とする請求項１乃至８のいずれか１項に記載の画像入力装置。
10. 前記位置情報により前記被写体の高さが所定値より高いと判断したときは、前記色度信号に強調処理を施すことを特徴とする請求項１乃至９のいずれか１項に記載の画像入力装置。
11. 前記位置情報により前記被写体の高さが所定値より低いと判断したときは、前記色度信号に抑圧処理を施すことを特徴とする請求項１乃至１０のいずれか１項に記載の画像入力装置。
12. 前記位置情報により前記被写体までの距離が所定値より遠いと判断したときは、前記色度信号に抑圧処理を施すことを特徴とする請求項１乃至１１のいずれか１項に記載の画像入力装置。
13. 前記位置情報により前記被写体までの距離が所定値より近いと判断したときは、前記色度信号に強調処理を施すことを特徴とする請求項１乃至１２のいずれか１項に記載の画像入力装置。
14. 可視光と赤外光を照射する発光手段と、
    前記発光手段からの照射光が届く照射範囲を算出する照射範囲算出手段とを有し、
    前記色空間変換部は、前記照射範囲算出手段が算出した照射範囲に基づいて、前記可視光成分と前記赤外光成分の重み付けを行うことを特徴とする請求項１乃至１３のいずれか１項に記載の画像入力装置。
15. 前記色空間変換部は、可視光成分に依存する輝度信号と、赤外光成分に依存する輝度信号を、重み付け加算して新たな輝度信号を求めることを特徴とする請求項１乃至１４のいずれか１項に記載の画像入力装置。
16. 被写体からの可視光成分と赤外光成分とを取得して、可視光画像データと赤外光画像データとを形成する撮像手段と、
    複数種類の被写体の輝度情報を記憶する記憶手段と、
    前記記憶手段に記憶された輝度情報に基づいて、前記赤外光画像データから対応する被写体の赤外光画像データを抽出する抽出手段と、
    前記抽出手段により抽出された被写体の赤外光画像データを、前記可視光画像データに基づく可視光画像に貼り付けるように合成する合成手段と、を有することを特徴とする画像処理装置。
17. 前記合成手段による合成は、合成前の前記可視光画像中における平均輝度が所定値より低い場合に行う事を特徴とする請求項１６に記載の画像処理装置。
18. 前記合成手段で合成された画像を表示する表示手段を有することを特徴とする請求項１６又は１７に記載の画像処理装置。
19. 前記表示手段は、合成前の前記可視光画像中における平均輝度が所定値以上である場合には、前記可視光画像データに基づく可視光画像を表示することを特徴とする請求項１８に記載の画像処理装置。
20. 前記表示手段は、合成前の前記可視光画像中における平均輝度が所定値より低く、且つ前記輝度情報に基づき対応する被写体が前記赤外光画像に存在しない場合、前記赤外光画像データに基づく赤外光画像を表示することを特徴とする請求項１８又は１９に記載の画像処理装置。
21. 前記記憶手段に記憶された被写体の輝度情報は、可視光画像における同じ被写体の輝度情報から決定されることを特徴とする請求項１６乃至２０のいずれか１項に記載の画像処理装置。
22. 被写体までの距離を検出する測距手段を有し、前記輝度情報に基づき対応する被写体が前記赤外光画像に複数存在する場合、前記合成手段は、最も近い被写体の赤外光画像を前記可視光画像に貼り付けるように合成することを特徴とする請求項１６乃至２１のいずれか１項に記載の画像処理装置。
23. 被写体までの距離を検出する測距手段を有し、前記輝度情報に基づき対応する被写体が前記赤外光画像に複数存在する場合、前記合成手段は、被写体の距離に応じて輝度を異ならせた赤外光画像を、前記可視光画像に貼り付けるように合成することを特徴とする請求項１６乃至２１のいずれか１項に記載の画像処理装置。

Images