JP6564421B2 - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

従来、不可視光（例えば、赤外光）で撮影された画像を利用することで、ノイズの抑制や、物体の認識が行われてきた。例えば、低照度下でのカラー画像撮影のため、可視光撮影により得られた画像と赤外線撮影により得られた画像の合成画像を作成することができるように構成された撮像装置が知られている。

特許文献１は、可視光画像のノイズを低減する画像処理装置を開示している。この画像処理装置は、可視光画像にローパスフィルタを掛けてノイズを除去する。但し、ローパスフィルタを掛けることで急峻なエッジ情報が損なわれてしまうため、不可視光画像（赤外光画像）にハイパスフィルタを掛け、エッジ情報を抽出し、ノイズが除去された可視光画像と合成することで、ノイズ低減とエッジの保存を実現している。

また、特許文献２は、可視光信号と非可視光信号を合成する際に、可視光輝度信号の値に応じて、可視光輝度信号と非可視光輝度信号の合成比率、色信号の増幅度、及び色ノイズ除去を制御する撮像装置を開示している。特許文献２によれば、可視光輝度が低い場合に、非可視光信号の合成比率が大きくなる。

特開２００６−１８０２６９号公報 特開２０１４−１３５６２７号公報

赤外光と可視光の特性の違いに起因して、可視光画像と赤外光画像との間で被写体輝度に差が生じる場合がある。この場合、特許文献１及び特許文献２の合成処理では、所望の合成結果を得られない可能性がある。図１を参照して具体例を説明する。

図１において、可視光画像１０１は、白地に赤い文字「Ａ」が記された被写体を可視光により撮影することにより得られた画像を模擬的に示し、赤外光画像１０２は、同じ被写体を不可視光として赤外光を用いて撮影することにより得られた画像を模擬的に示す。可視光では、赤い文字部分は白地部分と分離して撮影される。一方、赤外光を用いた撮影では、文字のインクの種類や撮像デバイスの波長特性にもよるが、赤い文字部分と白地部分との輝度差がほとんど生じない場合がある。この場合、赤外光画像１０２においては、文字部分と白地部分との境界のエッジがほとんど存在しないため、赤外光画像１０２にハイパスフィルタを掛けてもエッジ強調効果が得られない。そのため、特許文献１の合成処理を行うと、可視光のローパスフィルタの効果のみが得られるため、合成画像１０３に示すように、文字部分と白地部分との境界がぼやけた合成結果になってしまう。また、特許文献２の合成処理を行うと、可視光画像１０１の輝度の低い文字部分は、輝度の高い赤外光画像１０２の合成比率が大きくなる。そのため、合成画像１０３に示すように、文字部分の輝度が不必要に上昇し、文字を視認しにくい合成結果になってしまう。

本発明はこのような状況に鑑みてなされたものであり、画質劣化を抑制しつつ、ノイズ成分を低減する技術を提供することを目的とする。

上記課題を解決するために、本発明は、被写体を可視光で撮影することにより生成された可視光画像と、前記被写体を不可視光で撮影することにより生成された不可視光画像と、を取得する取得手段と、前記可視光画像と前記不可視光画像との輝度の差分を示す差分画像を生成する生成手段と、前記不可視光画像から輝度のばらつきが第１の範囲内である第１の領域を検出し、前記差分画像から輝度のばらつきが第２の範囲内である第２の領域を検出する検出手段と、前記可視光画像のうち、前記第１の領域及び前記第２の領域の両方に含まれる領域について、輝度を平滑化する平滑化手段と、を備えることを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、画質劣化を抑制しつつ、ノイズ成分を低減することが可能となる。

可視光画像、赤外光画像、及び合成画像の例を示す図。 画像処理装置の一例である撮像装置２００の概略構成を示すブロック図。 差分画像作成処理に関する機能ブロック図。 差分画像作成処理のフローチャート。 第１の実施形態に係るノイズ低減処理のフローチャート。 図１に示す被写体の位置１１１に対応する輝度プロファイルを模式的に示す図。 第２の実施形態に係るノイズ低減処理のフローチャート。 差分画像の画素値と合成比率との関係を示す図。 彩度補正量を決定するためのグラフを示す図。 可視光画像及び赤外光画像を生成するためのフィルタ構成例を示す図。 可視光画像、赤外光画像、及び補正された可視光画像のヒストグラムの例を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

［第１の実施形態］
近年、デジタルカメラ、携帯電話等に用いられるＣＣＤやＣＭＯＳなどの撮像素子は、小型化・多画素化が進み、１つ１つの画素が小さくなることに伴って、暗電流ノイズ、ランダム成分ノイズが増加する傾向にある。また、画素が小さくなることによる感度低下に伴って、所望の信号レベルを得るために信号処理での増幅度が大きくなり、撮影画像のノイズが目立ちやすくなる傾向がある。第１の実施形態では、ノイズ低減のために赤外光画像（不可視光画像）を利用する構成について説明する。なお、赤外光は不可視光の一例に過ぎず、不可視光は赤外光に限定されない。不可視光として、例えば近赤外光を用いてもよい。

＜撮像装置２００の構成＞
図２は、画像処理装置の一例である撮像装置２００の概略構成を示すブロック図である。光軸２１上に、対物レンズ１、フォーカスレンズ２、撮影レンズ３が順に配置されており、その後方に、波長分離のためのダイクロイックミラー４が配置されている。ダイクロイックミラー４は、可視光を透過し赤外光を反射するように構成されている。透過した可視光成分は、ダイクロイックミラー４の後方に配置された可視光絞り５を通り、可視光撮像素子６により光電変換される。これにより、可視光画像が得られる。一方、ダイクロイックミラー４で反射された赤外光成分は、光軸２２上に配置された赤外光絞り７を通り、赤外光撮像素子８により光電変換される。これにより、赤外光画像が得られる。

上記構成のように可視光画像と赤外光画像とで光学系の一部を共用していることで、被写体の可視光による画像記録位置と赤外光による画像記録位置とのずれが抑制される。また、可視光撮像素子６と赤外光撮像素子８とは、同じ画素位置で被写体の同一位置を撮像できるように位置の調整がなされている。更に、波長差による収差は、可視光撮像素子６及び赤外光撮像素子８それぞれを適正な位置に配置することで低減可能な構成となっている。可視光撮像素子６は、ＣＣＤ又はＣＭＯＳセンサで構成され、赤外光撮像素子８は、ＣＣＤ、ＣＭＯＳセンサ、又はＩｎＧａＡｓセンサにより構成される。本実施形態では、可視光撮像素子６及び赤外光撮像素子８として、横１９２０画素、縦１０８０画素で画像を記録できるＣＭＯＳセンサを用いるものとする。

可視光撮像素子６及び赤外光撮像素子８の出力は、画像処理部９を介して、制御部１０に接続されている。制御部１０には、操作部を持つモニタ１１、及び記録部１２が接続されている。制御部１０は、可視光撮像素子６及び赤外光撮像素子８で撮像され画像処理部９で処理された画像をモニタ１１に出力する。また、制御部１０は、この画像を、記録部１２に記録する。また、制御部１０には、外部ストレージや、外部コンピュータを接続することができ、撮影画像をこれらの外部機器へ転送することができる。また、外部機器により撮影の開始や終了を制御することも可能である。

撮像装置２００は、赤外光を発するＬＥＤ光源を含む赤外光照明部（不図示）を持つ。赤外光を用いることにより、特に夜間の監視といった用途に撮像装置２００を用いる場合に、赤外光の照射エリアにいる人物にまぶしさを感じさせることや、撮像装置２００による撮影を意識させることなく、赤外光画像を取得できる。

以上のように撮像装置２００を構成することにより、可視光波長を画像化した可視光画像と、赤外光波長を画像化した赤外光画像を、２つの撮像素子を用いて同時に撮像することが可能となる。また、ほぼ同一の画角で可視光画像と赤外光画像とを撮像できる。また、撮像装置２００は、静止画の撮影と動画像の撮影が可能なように構成されている。

本実施形態では、可視光と赤外光の分離にダイクロイックミラー４を用いたが、波長と光路の分岐がなされていれば、ハーフミラーと可視光のカットフィルタや、赤外光のカットフィルタを組み合わせてももちろんよい。

＜差分画像作成処理＞
次に、図３及び図４を参照して、可視光画像及び赤外光画像から差分画像を作成（生成）する処理について説明する。図３は、差分画像作成処理に関する機能ブロック図である。可視光露出検出部３０１、可視光露出調整部３０２、赤外光露出検出部３０３、赤外光露出調整部３０４、及び差分画像作成部３０５の機能は、制御部１０がＲＯＭ（不図示）に格納された制御プログラムを実行して画像処理部９を制御することにより実現する。制御部１０は、露出調整を行う。ここでは、動画像における露出調整を行う画像処理例について説明する。

まず、可視光の露出調整について説明する。可視光撮像素子６から出力された可視光画像は、ＲＧＢ（赤緑青）信号の形式を持つ。可視光露出検出部３０１は、画面中央や全体などの予め設定されたエリアで可視光画像の輝度値を積分し、輝度積分値として可視光露出調整部３０２へ出力する。なお、可視光画像の輝度Ｙ１は、
Ｙ１＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ ・・・ （１）
という式に従って求められる。また、可視光露出検出部３０１は、輝度積分値に加え、可視光信号Ｒ，Ｇ，Ｂも、可視光露出調整部３０２へ出力する。

可視光露出調整部３０２は、入力された可視光の輝度積分値を所望の値に近づけるため、露出調整を行う。露出調整は、可視光絞り５を調整すること、可視光撮像素子６のシャッター速度を調整すること、可視光撮像素子６のゲインを調整すること、及び、可視光露出調整部３０２が可視光撮像素子６の出力に掛けるゲインを調整することを含む。露出調整された結果、次フレーム以降の画像は所望の露出量になる。露出調整が行われた画像データは、差分画像作成部３０５に出力される。

次に、赤外光の露出調整について説明する。赤外光撮像素子８から出力された赤外光画像は、可視光画像とは異なり、１チャンネルの信号（ＩＲ）の形式を持つ。赤外光露出検出部３０３は、予め設定されたエリア（可視光の露出調整と同じエリア）で赤外光画像の輝度値を積分し、輝度積分値として赤外光露出調整部３０４へ出力する。なお、赤外光画像の輝度Ｙ２は、
Ｙ２＝ＩＲ ・・・ （２）
という式に従って求められる。また、赤外光露出検出部３０３は、輝度積分値に加え、赤外光信号ＩＲも、赤外光露出調整部３０４へ出力する。

赤外光露出調整部３０４は、入力された赤外光の輝度積分値を可視光と同じ所望の値に近づけるため、露出調整を行う。露出調整は、赤外光絞り７を調整すること、赤外光撮像素子８のシャッター速度を調整すること、赤外光撮像素子８のゲインを調整すること、及び、赤外光露出調整部３０４が赤外光撮像素子８の出力に掛けるゲインを調整することを含む。露出調整された結果、可視光同様に、次フレーム以降の画像は所望の露出量になる。露出調整が行われた画像データは、差分画像作成部３０５へ出力される。差分画像作成部３０５は、可視光画像と赤外光画像との間の差分画像を作成する処理を行う。

図４は、差分画像作成処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０がＲＯＭ（不図示）に格納された制御プログラムを実行して画像処理部９を制御することにより実現する差分画像作成部３０５の機能により実行される。

Ｓ４０１で、差分画像作成部３０５は、可視光画像のヒストグラムを作成する。具体的には、差分画像作成部３０５は、上述の式（１）に従ってＲＧＢ信号から輝度信号Ｙ１への変換を行い、輝度のヒストグラムを作成する。なお、ＲＧＢ信号から輝度信号Ｙ１への変換式として、式（１）以外の変換式を用いてもよい。可視光画像１０１（図１）から作成されるヒストグラムの例を図１１（Ａ）に示す。

Ｓ４０２で、差分画像作成部３０５は、赤外光画像のヒストグラムを作成する。具体的には、差分画像作成部３０５は、上述の式（２）に従ってＩＲ信号から輝度信号Ｙ２への変換を行い、輝度のヒストグラムを作成する。なお、ＩＲ信号から輝度信号Ｙ１への変換式として、式（２）以外の変換式を用いてもよい。赤外光画像１０２（図１）から作成されるヒストグラムの例を図１１（Ｂ）に示す。

Ｓ４０３で、差分画像作成部３０５は、可視光画像のハイライトポイント及びシャドーポイントを探索する。具体的には、差分画像作成部３０５は、ヒストグラムの最大輝度から度数を加算していき、総画素数のｎ％となる輝度値を求め、その輝度値をハイライトポイントＶ^Ｈとする（図１１（Ａ）参照）。同様に、差分画像作成部３０５は、ヒストグラムの最小輝度から度数を加算していき、総画素数のｍ％となる輝度値を求め、その輝度値をシャドーポイントＶ^Ｓとする（図１１（Ａ）参照）。本実施形態では、ハイライトポイントの変数となるｎが８、シャドーポイントの変数となるｍが１０であるものとする。

Ｓ４０４で、差分画像作成部３０５は、Ｓ４０３と同様の処理により、赤外光画像のハイライトポイントＩ^Ｈ及びシャドーポイントＩ^Ｓを探索する（図１１（Ｂ）参照）。ｎとｍの値は、可視光画像のものと同じ値を用いる。

Ｓ４０５で、差分画像作成部３０５は、可視光画像と赤外光画像の輝度レンジ（ハイライトポイントとシャドーポイントとの差）を揃える処理を行う。本実施形態では、差分画像作成部３０５は、可視光画像と赤外光画像のうち、輝度レンジの狭い方の画像の輝度レンジを、輝度レンジの広い方の輝度レンジに揃えるように拡張する。可視光画像の輝度レンジが狭く、可視光画像の輝度レンジを拡張し赤外光画像の輝度レンジに合わせる補正を行う場合、補正前の可視光画像の輝度Ｖは、
Ｖ^Ｍ＝（Ｉ^Ｈ-Ｉ^Ｓ）／（Ｖ^Ｈ-Ｖ^Ｓ）×（Ｖ−Ｖ^Ｓ）＋Ｉ^Ｓ ・・・ （３）
という式に従って補正され、補正輝度Ｖ^Ｍとなる。この補正処理の結果、可視光画像と赤外光画像との間で、ハイライトポイントとシャドーポイントとが揃う。補正された可視光画像のヒストグラムを図１１（Ｃ）に示す。図１１（Ｃ）において、実線は補正された可視光画像のヒストグラムを示し、破線は補正前の可視光画像のヒストグラムを示す。図１１（Ｃ）に示すように、補正後の可視光画像のハイライトポイントＶ^Ｈ’とシャドーポイントＶ^Ｓ’は、それぞれ赤外光画像のハイライトポイントＩ^ＨとシャドーポイントＩ^Ｓに近い値となる。

なお、式（３）において補正輝度Ｖ^Ｍが所定の範囲（例えば、０〜２５５）を超えた場合、この範囲の端の値へのクリップ処理が行われる。また、可視光画像の輝度レンジが赤外光画像よりも広い場合、式（３）において可視光画像の値と赤外光画像の値とを入れ替えればよい。また、可視光画像の輝度レンジと赤外光画像の輝度レンジとを揃える方法は、上で説明した方法に限定されない。例えば、輝度レンジの広い方の画像の輝度レンジを、輝度レンジの狭い方の輝度レンジに揃えてもよい。或いは、可視光画像及び赤外光画像の両方の輝度レンジを特定の輝度レンジに変更する補正を行うことにより、可視光画像の輝度レンジと赤外光画像の輝度レンジとを揃えてもよい。

Ｓ４０６で、差分画像作成部３０５は、赤外光画像から可視光画像（補正後）を減算することにより、差分画像を作成する。なお、この減算は、輝度に関して行われる。即ち、差分画像は、輝度の差分を示す。その後、差分画像作成部３０５は、可視光画像３０６、赤外光画像３０７、及び差分画像３０８を不図示のメモリ上に保存する。

以上のように差分画像を作成することで、可視光と赤外光の特性の差から生じる赤外光画像と可視光画像の輝度差を定量的に表すことができる。なお、本実施形態では、ハイライトポイントとシャドーポイントを揃えるように輝度レンジの補正を行ったが、ハイライトポイントだけを揃えるようにしてもよい。また、画像処理部９は、可視光画像３０６及び赤外光画像３０７に対し、γ補正やカラーバランス調整などの処理を適宜行ってもよい。

＜ノイズ低減処理＞
次に、図５及び図６を参照して、可視光画像のノイズを低減する処理について説明する。図５のフローチャートの各ステップの処理は、特に断らない限り、制御部１０がＲＯＭ（不図示）に格納された制御プログラムを実行して画像処理部９を制御することにより実現される。

図６は、図１に示す被写体の位置１１１に対応する輝度プロファイルを模式的に示す図である。被写体は、可視光波長領域に関して低照度の環境にあるものとする。また、撮像装置２００が赤外光を照射することで、赤外波長の照度は中程度の環境であるものとする。更に、前述したように可視光撮像素子６と赤外光撮像素子８とは、同一の画素位置で被写体の同一の位置を撮影するように調整されている。

図６において、横軸は画素位置を示し、縦軸は輝度を示す。位置Ａは、被写体の白地部分に対応し、位置Ｂは、被写体の文字部分に対応する。輝度プロファイル６０１は、可視光画像１０１に対応し、輝度プロファイル６０２は、赤外光画像１０２に対応する。

可視光波長領域に関して低照度環境であるため、可視光画像１０１にはノイズ成分が多く重畳されている。そのため、輝度プロファイル６０１は、輝度が局所的に上下している。一方、赤外光画像１０２にはノイズが少ないため、輝度プロファイル６０２は、ほぼ平らである。しかし、被写体の文字部分は、赤外光と可視光との間で波長特性が異なるため、赤外光では写りにくい。そのため、位置Ａと位置Ｂとで輝度差が生じていない。

次に、図５を参照すると、Ｓ５０１で、制御部１０は、赤外光画像と可視光画像との輝度の差分を示す差分画像を平滑化する。平滑化には、赤外光画像のエッジ量に応じて平滑化強度の変わるバイラテラルフィルタを用いることができる。バイラテラルフィルタを式（４）に示す。本実施形態では、輝度差に応じてフィルタ強度を変えるため、ｆ（ｉ，ｊ）は、差分画像信号であり、ｇ（ｉ、ｊ）は赤外光画像の輝度信号である。
・・・ （４）
赤外光画像の輝度変化に応じてフィルタ強度が変わるため、赤外光で変化がない領域には強い平滑化が掛かり、赤外光で変化のある領域には弱い平滑化が掛かることとなる。図６の例では、赤外光の輝度変化が少ないため、差分画像は強く平滑化されることになる。

図６の輝度プロファイル６０３は、平滑化された差分画像の輝度プロファイルを示す。位置Ａの近傍の白地部分では、可視光輝度と赤外光輝度はどちらも高く、その差分も小さくなる。一方、位置Ｂの近傍の文字部分では、可視光では文字が見えるため輝度が低く、赤外光では文字が見えないため輝度が高く、その差分は大きくなる。また、平滑化の強度や周波数は、ノイズの振幅が大きくなりやすい低照度環境であるほど強度が強く周波数が低くなり、照度が高くなると強度が弱く周波数が高くなるように実装されている。

なお、平滑化の手法は、移動平均のような平滑化手法でもよく、赤外輝度変化に応じて平滑化強度が変化する平滑化フィルタがより望ましい。移動平均であれば、注目画素の赤外光画像の輝度信号と平均化する画素の赤外光画像の輝度信号との差に応じて移動平均の平均化エリアを変えることで、同様の効果が出せる。

Ｓ５０２で、制御部１０は、赤外光画像において、輝度変化の小さい領域を探索する。この探索は、任意の既知の技術を用いて実行可能であり、例えば、所定の範囲内の輝度値の画素が連続する領域（輝度のばらつきが所定の範囲内である領域）を検出することにより行われる。

前述の通り、可視光画像にはノイズ成分が多く含まれている（輝度プロファイル６０１参照）。そのため、可視光画像の輝度を用いると、図１において被写体の輝度変化が小さい白地部分及び文字部分を検出できない可能性（即ち、非エッジ領域をエッジ領域として誤判定する可能性）がある。また、白地部分及び文字部分を検出可能にするために「輝度変化の小さい領域」の判定基準となる輝度値の範囲を大きくすると、白地部分と文字部分との境界部分が検出される可能性（即ち、エッジ領域を非エッジ領域として誤判定する可能性）がある。そのため、可視光画像の平滑化領域（ノイズ成分を低減する領域）を決定するために可視光画像の輝度を用いた場合、非エッジ領域のノイズ成分が適切に低減されなかったり、エッジ成分が失われたりする可能性がある。

一方、赤外光画像にはノイズ成分が少ない（輝度プロファイル６０２参照）。そのため、赤外光画像の輝度を用いると、図１において被写体の輝度変化が小さい白地部分及び文字部分を適切に検出することができる。そのため、本実施形態では、Ｓ５０２において、制御部１０は、可視光画像における平滑化領域を決定するために赤外光画像の輝度を用いる。しかしながら、前述の通り、赤外光画像においては白地部分と文字部分との間で輝度差がほとんど生じない可能性がある。そのため、赤外光画像の輝度を用いると、図１において被写体の輝度変化が大きい白地部分と文字部分との境界部分を誤って検出する可能性（即ち、エッジ領域を非エッジ領域と誤判定する可能性）がある。そこで、以下に説明するように、制御部１０は、可視光画像の平滑化領域を決定するために、赤外光画像だけではなく、差分画像も考慮する。

Ｓ５０３で、制御部１０は、Ｓ５０１において平滑化された差分画像において、輝度変化の小さい領域を探索する。この探索は、Ｓ５０２と同様、任意の既知の技術を用いて実行可能であり、例えば、所定の範囲内の輝度値の画素が連続する領域（輝度のばらつきが所定の範囲内である領域）を検出することにより行われる。図６の輝度プロファイル６０３に示すように、差分画像においては、位置Ａの近傍では輝度変化が小さく、位置Ｂの近傍でも輝度変化が小さいが、位置Ａと位置Ｂの中間付近（即ち、白地部分と文字部分との境界部分）では輝度変化が大きい。そのため、輝度変化の小さい領域として、白地部分及び文字部分はそれぞれ別個に検出されるが、境界部分は検出されない。

Ｓ５０４で、制御部１０は、Ｓ５０２及びＳ５０３の両方で検出された領域（即ち、Ｓ５０２で検出された領域及びＳ５０３で検出された領域の両方に含まれる領域）に関して、可視光画像の輝度を平滑化する。図６の輝度プロファイル６０４は、平滑化された可視光画像の輝度プロファイルを示す。平滑化の対象領域をＳ５０２及びＳ５０３の両方で検出された領域にすることにより、可視光画像のエッジ成分が失われることを抑制しつつ、ノイズ成分を低減することが可能となる。

以上説明したように、第１の実施形態によれば、撮像装置２００は、可視光画像と赤外光画像との輝度の差分を示す差分画像を作成し、赤外光画像と差分画像の両方において輝度変化の小さい領域を探索する。そして、撮像装置２００は、赤外光画像と差分画像の両方において輝度変化の小さい領域として検出された領域について、可視光画像の平滑化を行う。これにより、可視光画像のエッジ成分が失われることを抑制しつつ、ノイズ成分を低減することが可能となる。

なお、赤外光画像及び可視光画像を撮影する際に、赤外光絞り７を可視光絞り５よりも絞る（小さくする）ように制御してもよい。これにより、赤外光画像のエッジを可視光画像に比べて強めると共に、可視光画像を若干ボケさせることができ、ノイズリダクションの効果を高めることができる。

また、可視光波長領域に関して撮影環境の照度が閾値以下であるか否かを判定し、照度が閾値以下である場合に上述した可視光画像の平滑化を実行するように撮像装置２００を構成してもよい。一般的に、低照度環境において可視光画像のノイズ成分が増加するため、照度が閾値以下である場合に平滑化を行うことにより、効果的にノイズ成分を低減することが可能となる。照度の判定のために、撮像装置２００に照度計を設けてもよい。或いは、露出情報に基づいて照度を判定するように撮像装置２００を構成してもよい。

［第２の実施形態］
第２の実施形態では、可視光画像と赤外光画像とを合成することによりノイズを低減する処理について説明する。第２の実施形態において、撮像装置２００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

図７は、ノイズ低減処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０がＲＯＭ（不図示）に格納された制御プログラムを実行して画像処理部９を制御することにより実現される。

Ｓ７０１で、制御部１０は、赤外光画像と可視光画像との差分画像を平滑化する。ここでの処理は、図５のＳ５０１における処理と同様である。

Ｓ７０２は、合成対象の画素（注目画素）に関する処理ループを示す。Ｓ７０３〜Ｓ７０５の処理が、画素単位で繰り返し実行される。

Ｓ７０３で、制御部１０は、Ｓ７０１において平滑化された差分画像の画素値（即ち、可視光画像と赤外光画像との輝度差）に基づき、可視光画像と赤外光画像の合成比率を決定する。輝度差と合成比率の関係を図８に示す。合成比率は０〜１の値を取り、合成比率＝０の場合、可視光画像と赤外光画像とは１：０の比率で合成される。反対に、合成比率＝１の場合、可視光画像と赤外光画像とは０：１の比率で合成される。差分画像の画素値は、絶対値で表されている。可視光画像の輝度と赤外光画像の輝度の差分が小さい場合、可視光と赤外光の特性差が小さいと考えられるため、合成比率を上げることにより、赤外光画像の比率を上げる。一方、可視光画像の輝度と赤外光画像の輝度の差分が大きい場合、可視光と赤外光の特性差が大きいと考えられるため、合成比率を下げることにより、可視光画像の比率を上げる。差分画像においては、図４のＳ４０５の輝度レンジ補正処理により可視光画像と赤外光画像との間で輝度レンジが揃っているため、差分値から合成比率を直接求めることが可能である。可視光と赤外光の特性差が小さい被写体に関しては、赤外光画像が優先される。一方、特性差の大きい被写体では、可視光画像が優先される。

Ｓ７０４で、制御部１０は、Ｓ７０３において求められた合成比率に従って可視光画像の輝度と赤外光画像の輝度とを合成する。合成比率をα、可視光画像の注目画素の輝度をＹ１（式（１）参照）、赤外光画像の注目画素の輝度をＹ２（式（２）参照）とした場合、合成輝度ＹＣは、
ＹＣ＝αＹ２＋（１−α）Ｙ１ ・・・ （５）
という式に従って求められる。合成比率は、可視光画像と赤外光画像の差分に応じて画素単位で決定されるため、可視光と赤外光に大きな特性差がある被写体領域では、可視光画像の輝度が優先される。そのため、合成により大きな輝度変化が発生する可能性を低減することができる。

Ｓ７０５で、制御部１０は、Ｓ７０４における輝度変化に対応する色補正を行う。前述の通り可視光画像の輝度と合成画像の輝度（合成輝度）との差は比較的小さいとはいえ、輝度の変化に応じて彩度を補正しない場合、輝度のみ変化してしまうため、色が抜けたり色再現域外の違和感のある色再現の合成結果になったりする可能性がある。色補正処理を行うために、制御部１０は、
（輝度差分値）＝｜Ｙ１−ＣＣ｜−｜ＹＣ−ＣＣ｜ ・・・ （６）
という式に従って、可視光画像の輝度Ｙ１及び合成輝度ＹＣそれぞれと彩度補正中心ＣＣとの差分の絶対値を求め、２つの差分絶対値の差分（輝度差分値）を求める。そして、制御部１０は、求められた輝度差分値に基づき、彩度補正量Ｈを決定する。この決定は、例えば、図９に示すグラフに従って行われる。

例として、可視光画像の輝度Ｙ１＝１５０、合成輝度ＹＣ＝１８０、再度補正中心ＣＣ＝１２７の場合を考える。この場合、式（６）により、（輝度差分値）＝−３０となる。図９に示すグラフから、彩度補正量Ｈはマイナス値となり、制御部１０は、彩度を抑える方向に彩度補正を行う。他の例として、可視光画像の輝度Ｙ１＝１５０、合成輝度ＹＣ＝１３０、再度補正中心ＣＣ＝１２７の場合、（輝度差分値）＝２０となる。図９に示すグラフから、彩度補正量Ｈはプラスの値となり、制御部１０は、彩度を強調する方向に彩度補正を行う。

このように彩度補正量Ｈを決定することで、可視光画像の輝度に比べて合成輝度が輝度中心に向かう方向に変化した際には補正量が大きくなり、輝度中心から離れる方向に変化した際には補正量が小さくなるように変化する。求められた彩度補正量に応じて彩度を補正することで、色補正を実現することが可能となる。

以上説明したように、第２の実施形態によれば、撮像装置２００は、可視光画像と赤外光画像との輝度の差分絶対値が大きいほど可視光画像の比率が高くなり、差分絶対値が小さいほど赤外光画像の比率が高くなるように、可視光画像と赤外光画像とを合成する。これにより、可視光画像の輝度変化を抑制しつつ、ノイズ成分を低減することが可能となる。

なお、第１の実施形態と同様、可視光波長領域に関して撮影環境の照度が閾値以下であるか否かを判定し、照度が閾値以下である場合に上述した可視光画像と赤外光画像の合成を実行するように撮像装置２００を構成してもよい。

［その他の実施形態］
上述の実施形態においては、赤外波長と可視波長とを光路分岐して赤外光画像と可視光画像を生成する構成を用いた。しかしながら、図１０に示すようなフィルタを用いて、撮像素子により、Ｒ、Ｇ、Ｂの可視光信号に加えて赤外光信号を生成するように撮像装置２００を構成してもよい。図１０の例では、撮像素子面上に、可視光用と非可視光用のフィルタを配置している。即ち、図１０のフィルタは、レッド光に主な感度を持つ画素のフィルタＲ、グリーン光に主な感度を持つ画素のフィルタＧ、ブルー光に主な感度を持つ画素のフィルタＢ、及び近赤外光に主な感度を持つ画素のフィルタＩＲを含む。これらのフィルタを撮像素子面上に繰り返し配置することで、Ｒ、Ｇ、Ｂ画素による可視光画像とＩＲ画素による赤外光画像とを取得することが可能になる。

また、可視光撮像素子６と赤外光撮像素子８の解像度が異なっていてもよい。また、差分画像を出力したり、差分の大きい範囲を任意の色相に変化させて出力したり、可視光と赤外光に特性差を持つ被写体を検知したりするように撮像装置２００を構成してもよい。これによって、例えばカツラのような可視光と赤外光で特性差のある被写体を検知することができ、変装しているか否かを視認しやすく表示することが可能となる。

更に、第１の実施形態では、ノイズ低減のための平滑化を、近接する画素領域において行っていたが、動画像であれば、時間的に近接するフレーム内の近接する画素において行ってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４…ダイクロイックミラー、５…可視光絞り、６…可視光撮像素子、７…赤外光絞り、８…赤外光撮像素子、９…画像処理部、１０…制御部、２１…光軸、２２…光軸、２００…撮影装置

Claims (8)

1. 被写体を可視光で撮影することにより生成された可視光画像と、前記被写体を不可視光で撮影することにより生成された不可視光画像と、を取得する取得手段と、
   前記可視光画像と前記不可視光画像との輝度の差分を示す差分画像を生成する生成手段と、
   前記不可視光画像から輝度のばらつきが第１の範囲内である第１の領域を検出し、前記差分画像から輝度のばらつきが第２の範囲内である第２の領域を検出する検出手段と、
   前記可視光画像のうち、前記第１の領域及び前記第２の領域の両方に含まれる領域について、輝度を平滑化する平滑化手段と、
   を備えることを特徴とする画像処理装置。
2. 前記平滑化手段は、前記可視光画像の撮影環境の照度が閾値以下の場合に、前記平滑化を実行する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記可視光画像の輝度レンジと前記不可視光画像の輝度レンジとを揃えるように前記可視光画像及び前記不可視光画像の少なくとも一方の輝度を補正した後に、前記差分画像を生成する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記不可視光は、近赤外光である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 請求項１乃至４のいずれか１項に記載の画像処理装置と、
   前記可視光画像及び前記不可視光画像を撮像する撮像手段と、
   を備えることを特徴とする撮像装置。
6. 前記不可視光画像を撮像するための絞りを、前記可視光画像を撮像するための絞りよりも小さくなるように制御する制御手段を更に備える
   ことを特徴とする請求項５に記載の撮像装置。
7. 画像処理装置が実行する画像処理方法であって、
   被写体を可視光で撮影することにより生成された可視光画像と、前記被写体を不可視光で撮影することにより生成された不可視光画像と、を取得する取得工程と、
   前記可視光画像と前記不可視光画像との輝度の差分を示す差分画像を生成する生成工程と、
   前記不可視光画像から輝度のばらつきが第１の範囲内である第１の領域を検出し、前記差分画像から輝度のばらつきが第２の範囲内である第２の領域を検出する検出工程と、
   前記可視光画像のうち、前記第１の領域及び前記第２の領域の両方に含まれる領域について、輝度を平滑化する平滑化工程と、
   を備えることを特徴とする画像処理方法。
8. コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。