JP7508195B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。

デジタルカメラ、スマートフォンなどの撮像装置において、暗い場面のような暗時でも適切な撮像を実現できることが求められている。例えば、特許文献１には、スマートフォンなどの情報処理装置において、赤外光画像及び可視光画像を撮像し、赤外光画像より顔画像を認識し、顔画像より器官毎の画像を抽出し、抽出した器官に応じて、可視光画像及び赤外光画像を利用して器官毎の画像を補正し、補正した器官画像を合成して、画像を再構成することが記載されている。

特開２０１７－０９７６４５号公報

このように、撮像装置において、高感度化、特に暗部でのノイズ耐性への要求は依然として大きい。これは、暗時でもフラッシュを使用せずに自然な撮像をしたいという要求によるものであるが、撮像装置の性能面から考えると暗時に感度を上げた撮像はノイズの除去が必須となる。

本発明は、このような問題を解決するためになされたもので、暗時に撮像された、ノイズが多い画像であっても、ノイズを適切に除去して色再現性及び色解像度に優れた画像を得ることができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明に係る画像処理装置は、ＳＮ比が小さい第１撮像画素とＳＮ比が大きい第２撮像画素とが積層され又は同一層に配置された撮像素子から、第１撮像画素及び第２撮像画素が同時に撮像したときの第１撮像画素による第１撮像画像及び第２撮像画素による第２撮像画像を入力し、第１撮像画像から対象画素を選択し、対象画素に対応する第２撮像画像の画素、又は、対象画素に対応する第２撮像画像の補間画像の画素の輝度値に近い輝度値を有する画素を第２撮像画像又は補間画像から抽出し、抽出した画素に対応する画素を第１撮像画像から選択し、選択した画素の輝度値に基づいて、対象画素の輝度値を補正する画像処理部を備えるものである。

また、本発明に係る画像処理方法は、ＳＮ比が小さい第１撮像画素とＳＮ比が大きい第２撮像画素とが積層され又は同一層に配置された撮像素子から、第１撮像画素及び第２撮像画素が同時に撮像したときの第１撮像画素による第１撮像画像及び第２撮像画素による第２撮像画像を入力するステップと、第１撮像画像から対象画素を選択するステップと、対象画素に対応する第２撮像画像の画素、又は、対象画素に対応する第２撮像画像の補間画像の画素の輝度値に近い輝度値を有する画素を第２撮像画像又は補間画像から抽出するステップと、抽出した画素に対応する画素を第１撮像画像から選択するステップと、選択した画素の輝度値に基づいて、対象画素の輝度値を補正するステップとを有するものである。

また、本発明に係る画像処理プログラムは、コンピュータに、ＳＮ比が小さい第１撮像画素とＳＮ比が大きい第２撮像画素とが積層され又は同一層に配置された撮像素子から、第１撮像画素及び第２撮像画素が同時に撮像したときの第１撮像画素による第１撮像画像及び第２撮像画素による第２撮像画像を入力する手順と、第１撮像画像から対象画素を選択する手順と、対象画素に対応する第２撮像画像の画素、又は、対象画素に対応する第２撮像画像の補間画像の画素の輝度値に近い輝度値を有する画素を第２撮像画像又は補間画像から抽出する手順と、抽出した画素に対応する画素を第１撮像画像から選択する手順と、選択した画素の輝度値に基づいて、対象画素の輝度値を補正する手順とを実行させるためのものである。

本発明により、暗時に撮像された、ノイズが多い画像であっても、ノイズを適切に除去して色再現性及び色解像度に優れた画像を得る画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することができる。

比較例に係る画像処理方法を説明するための図である。 実施の形態１に係る撮像装置１の概略構成を示すブロック図である。 実施の形態１に係る画像処理方法の処理手順を示すフローチャートである。 実施の形態１に係る補間処理を説明するための図である。 実施の形態１に係る撮像画像及びその補間画像の例である。 実施の形態１に係る画像処理方法を説明するための図である。 実施の形態１及び比較例に係るノイズ除去画像の例である。 実施の形態２に係る撮像素子２２の概略構成を説明するための図である。 色温度、波長及び放射エネルギーの関係を示す図である。 実施の形態３に係る画像処理方法を概念的に説明するための図である。 実施の形態３に係る撮像素子３２の概略構成を説明するための図である。 実施の形態３に係る画像処理方法の処理手順を示すフローチャートである。 実施の形態３に係る画像処理方法を説明するための図である。 実施の形態３の変形例に係る撮像素子４２の概略構成を説明するための図である。

以下、各実施の形態に係る画像処理装置及び画像処理方法について説明するが、その前に比較例として、周辺画素の輝度値を用いて対象画素の輝度値を補正してノイズを除去する画像処理方法について説明する。

（比較例）
図１は、比較例に係る画像処理方法を説明するための図である。
この画像処理方法では、赤色波長帯域、緑色波長帯域又は青色波長帯域でそれぞれ撮像する、光電変換部を含む撮像画素（以下、「Ｒ撮像画素」、「Ｇ撮像画素」、「Ｂ撮像画素」という。）が、例えば、ベイヤ―配列のように規則正しく配置された公知の撮像素子で撮像された画像について、ノイズ除去の対象となる画素（以下、「対象画素」という。）を順番に選択してそれぞれ補正する。

このため、まずは、撮像画像の中から対象画素を選択する〈５１〉。なお、図面中の丸数字を、本明細書中では〈〉付き数字で表す。例えば、図面中の丸数字の５５を本明細書中では〈５５〉で表す。
次に、対象画素の輝度値（信号値）Ｃｔｒの大きさによって定まる輝度範囲±Ａを設定する〈５２〉。例えば、輝度値Ｃｔｒが小さければ輝度範囲±Ａを小さく設定し、輝度値Ｃｔｒが大きければ輝度範囲±Ａを大きく設定する。

次に、対象画素が赤色波長帯域で撮像した画素（以下、「Ｒ画素」という。緑色波長帯域、青色波長帯域で撮像した画素についても同様に「Ｇ画素」、「Ｂ画素」という。）であるならば、輝度値が次の式（５１）の範囲に入るＲ画素を対象画素の周囲の縦横方向の±８画素、±１０画素などの画素（以下、「周辺画素」という。）から探索して抽出する〈５３〉。これによって、対象画素に似た画素を抽出することができる。

Ｃｔｒ－Ａ≦周辺画素の輝度値≦Ｃｔｒ＋Ａ ・・・式（５１）

そして、抽出したＲ画素の輝度値の平均値Ａｖｅを算出し〈５４〉、次の式（５２）を用いて出力値Ｏｕｔｐｕｔを算出し、出力値Ｏｕｔｐｕｔをもって対象画素の輝度値Ｃｔｒを置換して、対象画素のノイズを除去する〈５５〉。

Ｏｕｔｐｕｔ＝Ｃｔｒ＋（Ａｖｅ－Ｃｔｒ）×Ｇａｉｎ ・・・式（５２）
ここで、Ｇａｉｎ≦１．０

一般に、画像のノイズを削減するには複数の画素の加算平均値を対象画素の値とすることが最も効果的であるが、周辺画素の加算平均値を単純に用いると画像自体がぼやけてしまう。このため、上記のように、対象画素に類似する画素をエッジ、勾配などの特徴に基づいて見つけること、すなわち、同じ色、輝度分布の領域を探索して当該領域の画素を用いることが行われる。しかし、対象画素に類似する画素を探索するときに、最もノイズを除去したい場面、例えば、暗時には、信号に対するノイズの割合が大きくなり、対象画素に類似する画素と、そうではない画素との区別がつきにくくなる。

上記の比較例の画像処理方法でも、平均値Ａｖｅを算出するための画素の探索を対象画素と同じ色の画素において行っている。このことは信号強度が大きい色の画素、つまり、ＳＮ比（信号雑音比）がある程度大きい色の画素（例えば、暗時又は暗部におけるＲ画素）ではよく機能し、対象画素がエッジ部分であったときに同じエッジ部分を探索し、対象画素が背景部分であったときに同じ背景部分を探索するような、似ている領域の画素を探索することができる。

しかしながら、ＳＮ比が小さい色の画素（例えば、暗時又は暗部におけるＧ画素、Ｂ画素）では信号がノイズに埋もれ、似ている領域の画素を探索することが難しくなって、ノイズ除去性能が低下する。その結果、

（１）ノイズ除去効果を上げようとして輝度範囲±Ａを広くすると、補正画像がぼやける
（２）補正画像のぼけを防ごうとして輝度範囲±Ａを狭くすると、ノイズ除去効果が減少する

というようなトレードオフの関係が生じ、本当にノイズを削減したい部分で画像が不鮮明になったり、逆に、十分にノイズを削減できなかったりする。

そこで、暗時に撮像されたノイズが多い画像であっても、ノイズを適切に除去して色再現性及び色解像度に優れた画像を得ることができる、各実施の形態に係る画像処理装置及び画像処理方法について以下に説明する。

（実施の形態１）
本実施の形態１に係る画像処理装置及び画像処理方法は、ＲＧＢの撮像画素が同一層に配置された公知の撮像素子により撮像された画像からノイズを除去するものである。このとき、暗時又は暗部においてＳＮ比が小さいＧ画素又はＢ画素の対象画素について、対象画素に対応する暗時又は暗部においてＳＮ比が大きいＲ画素の輝度値に基づいて周辺のＲ画素を抽出し、抽出したＲ画素に対応するＧ画素又はＢ画素を選択し、選択したＧ画素又はＢ画素の輝度値に基づいて対象画素を補正する。

以下、図面を参照して、このような本実施の形態１に係る画像処理装置及び画像処理方法について説明する。
まず、本実施の形態１に係る画像処理装置の構成について説明する。
本実施の形態１に係る画像処理装置は撮像装置であって、特に、画像処理部として機能し、撮像画像からノイズを除去するものである。

図２は、本実施の形態１に係る撮像装置１の概略構成を示すブロック図である。
撮像装置１は、例えば、デジタルカメラであって、レンズ光学系１１、撮像素子１２、アナログフロントエンド（ＡＦＥ）回路１３、画像処理部１４、画像表示部１５、画像記録部１６などを備えている。

レンズ光学系１１は、レンズ（Ｌｅｎｓ）、絞り、シャッター（Ｓｈｕｔｔｅｒ）などを有し、被写体像を撮像素子１２の撮像面に結像する。
撮像素子１２は、ＣＣＤ、ＣＭＯＳなどの公知のイメージセンサであり、被写体像を光電変換して撮像画像の画像信号（ＲＧＢ色信号）を生成して出力する。撮像素子１２では、ＲＧＢの撮像画素が同一層にベイヤ―配列で配置されている。

ＡＦＥ回路１３は、撮像素子１２が出力し、ＣＤＳ回路（図示せず）が信号処理を施したアナログの画像信号をＡ／Ｄ変換してデジタルの画像信号とし、画像処理部１４に出力する。
画像処理部１４は、撮像画像のＧ画素及びＢ画素の位置のＲ信号を補間により算出し、全画素のＲ信号を生成する。

また、画像処理部１４は、Ｇ画素又はＢ画素を順番に対象画素として選択し、対象画素に対応するＲ画素と輝度値が近い周辺のＲ画素を抽出し、抽出したＲ画素に対応するＧ画素又はＢ画素を選択し、選択したＧ画素又はＢ画素の輝度値に基づいて対象画素を補正する。
なお、画像処理部１４の処理の詳細については、後述する。

画像表示部１５はノイズを除去した撮像画像などを表示し、画像記録部１６はノイズを除去した撮像画像などを記録する。
なお、画像処理部１４が実現する各構成要素は、例えば、コンピュータである画像処理部１４が備える演算装置（図示せず）の制御によって、プログラムを実行させることにより実現できる。

より具体的には、画像処理部１４は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。

上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、画像処理部１４に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。

非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって画像処理部１４に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、または無線通信路を介して、プログラムを画像処理部１４に供給できる。

次に、本実施の形態１に係る撮像装置１の動作、すなわち、画像処理方法について説明する。
図３は、本実施の形態１に係る画像処理方法の処理手順を示すフローチャートである。
処理を開始して、撮像装置１のシャッターが押され、撮像素子１２が画像を撮像する（ステップＳ１０）と、画像処理部１４は、撮像画像のＧ画素及びＢ画素の位置におけるＲ信号をその周辺のＲ画素を用いた補間処理により算出して、全画素がＲ画素であるＲの補間画像を生成する（ステップＳ２０）。

図４は、本実施の形態１に係る補間処理を説明するための図である。左図は撮像画像の一部を拡大したものを示し、ＲＧＢの画素がベイヤ―配列で配置されている。右図はＲの補間画像の一部を拡大したものを示し、撮像画像のＧ画素及びＢ画素がそれぞれＲ画素に置換されて、全画素がＲ画素になっている。

なお、本明細書では、２つの画像において同じ位置（座標）にある画素同士をそれらの画素が「対応している」というように表現する。例えば、図４の撮像画像のＢ画素Ｐ１と補間画像のＲ画素Ｐ２とは、それらが同じ位置にある限りにおいて「対応している」と表現する。

図５は、本実施の形態１に係る撮像画像及びその補間画像の例である。上段は撮像画像を示し、下段は、左からＲの補間画像、参考用のＧ又はＢの補間画像を示す。
撮像画像は都市部の夜景を斜め上方向から写したもので、画像中央よりも少し下を左右に高速道路が走り、高速道路よりも画像上側には複数の高層ビルが林立し、高層ビルのいくつかの窓からは光が洩れ、また、高層ビルの間を一般道路が画像斜め方向に走っている。また、この撮像画像では、高速道路及び一般道路は赤みがかって写り、高層ビルは灰色又は黄土色に写っている。

また、このような撮像画像の色を反映して、Ｒの補間画像は信号強度が大きく、ＳＮ比も大きい。Ｇ、Ｂの補間画像、特に、Ｂの補間画像は信号強度が小さく、ＳＮ比も小さい。
図６は、本実施の形態１に係る画像処理方法を説明するための図である。

次に、画像処理部１４は、撮像画像において、対象画素となるＧ画素又はＢ画素を選択する〈１〉（ステップＳ３０）。以下では、対象画素としてＢ画素を選択した場合について説明するが、対象画素としてＧ画素を選択した場合も同様の処理となる。
次に、Ｒの補間画像において、ステップＳ３０で選択したＢ画素に対応するＲ画素を選択する〈２〉（ステップＳ４０）。例えば、図４を参照して説明すると、ステップＳ３０で撮像画像のＢ画素Ｐ１を対象画素として選択したときは、ステップＳ４０でＲの補間画像のＲ画素Ｐ２を対応する画素として選択する。

次に、ステップＳ４０で選択したＲ画素の輝度値Ｃｔｒの大きさによって定まる輝度範囲±Ａを設定する〈３〉（ステップＳ５０）。
次に、Ｒの補間画像において、ステップＳ４０で選択したＲ画素の周辺画素から、輝度値が次の式（１）の範囲に入るＲ画素を探索して抽出する〈４〉（ステップＳ６０）。ステップＳ５０、Ｓ６０の処理は、比較例のものと同様の処理であって良い。

Ｃｔｒ－Ａ≦周辺Ｒ画素の輝度値≦Ｃｔｒ＋Ａ ・・・式（１）

次に、撮像画像において、ステップＳ６０で抽出したＲ画素に対応するＢ画素を選択する〈５〉（ステップＳ７０）。撮像画像においては、ステップＳ６０で抽出したＲ画素に対応する画素がＲ画素又はＧ画素であることもあるが、ここでは、あくまでも、対象画素と同じ色のＢ画素だけを選択する。

次に、ステップＳ７０で選択したＢ画素の輝度値の平均値Ａｖｅを算出し〈６〉（ステップＳ８０）、次の式（２）を用いて出力値Ｏｕｔｐｕｔを算出し、出力値Ｏｕｔｐｕｔをもって対象画素であるＢ画素の輝度値Ｃｔｒを置換して、対象画素のノイズを除去する〈７〉（ステップＳ９０）。ステップＳ８０、Ｓ９０の処理も、比較例のものと同様の処理であって良い。

Ｏｕｔｐｕｔ＝Ｃｔｒ＋（Ａｖｅ－Ｃｔｒ）×Ｇａｉｎ ・・・式（２）
ここで、Ｇａｉｎ≦１．０

そして、画像処理部１４が撮像画像中のＢ画素又はＧ画素をそれぞれ対象画素として選択して補正し、ノイズを除去した後に、画像表示部１５がノイズを除去した撮像画像などを表示し、画像記録部１６がノイズを除去した撮像画像などを記録する（ステップＳ１００）。

図７は、本実施の形態１及び比較例に係るノイズ除去画像の例である。図５に示した撮像画像にノイズ除去処理をそれぞれ施したものであり、左が比較例に係るノイズ除去画像であり、右が本実施の形態１に係るノイズ除去画像である。

比較例に係るノイズ除去画像と本実施の形態１に係るノイズ除去画像とを比較すると、本実施の形態１に係るノイズ除去画像の方が各高層ビルの窓（枠）、画像右側にある照明器具、道路上の車両などのエッジが明確になっており、本実施の形態１に係る画像処理装置及び画像処理方法により、ノイズを適切に除去して色再現性及び色解像度に優れた画像を得ることができることが分かる。

なお、本実施の形態１に係る画像処理装置又は画像処理方法では、種々の変更が可能である。
例えば、本実施の形態１では、撮像画像のＳＮ比の大きいＲ画素のノイズ除去については特に説明しなかったが、Ｒ画素についてはノイズを除去しなくても良いし、比較例の手法又は公知の手法を用いてノイズを除去しても良い。

また、本実施の形態１では、ステップＳ２０で全画素がＲ画素であるＲの補間画像のみを生成していたが、全画素がＧ画素又はＢ画素であるＧ、Ｂの補間画像を併せて生成しても良い。このようにすれば、ステップＳ６０で抽出したＲ画素に対応するＢ画素（又は、Ｇ画素）をステップＳ７０で選択するときに、対応するＢ画素（又は、Ｇ画素）が必ず存在することとなり、より多くのＢ画素（又は、Ｇ画素）を用いて、ステップＳ８０で平均値Ａｖｅを算出することができる。

また、本実施の形態１では、暗時又は暗部の赤色が優勢な画像を想定してＲ画素に基づいてＧ、Ｂの画素を補正したが、被写体が昼間の空であるときのように青色が優勢な画像においては、ＳＮ比が大きいＢ画素に基づいてＳＮ比が小さいＲ、Ｇの画素を補正しても良いし、被写体が昼間の森林であるときのように緑色が優勢な画像においては、ＳＮ比が大きいＧ画素に基づいてＳＮ比が小さいＲ、Ｂの画素を補正しても良い。すなわち、ＳＮ比が大きい色の画素に基づいてＳＮ比が小さい色の画素を補正しても良い。

また、本実施の形態１では、抽出したＲ画素に対応するＢ画素をステップＳ７０で選択し、選択したＢ画素の輝度値の平均値ＡｖｅをステップＳ８０で算出し、ステップＳ９０で式（２）を用いて出力値Ｏｕｔｐｕｔを算出し、出力値Ｏｕｔｐｕｔをもって対象画素であるＢ画素の輝度値Ｃｔｒを置換して、対象画素のノイズを除去したが、ステップＳ７０で選択したＢ画素を用いて対象画素であるＢ画素のノイズを除去する方法は上記に限られるものではない。

また、本実施の形態１では、撮像装置１はデジタルカメラに限られるものではなく、スマートフォンなどの、撮像素子を備える各種の情報処理装置であっても良い。
また、本実施の形態１では、画像処理装置が撮像装置であって、特に、画像処理部１４として機能して撮像画像からノイズを除去するものであったが、画像処理装置が撮像装置とは別に存在し、撮像装置が出力する撮像画像からノイズを除去するものであっても良く、例えば、監視カメラが出力する撮像画像からノイズを除去する監視システムのようなものであっても良い。

以上、説明したように、本実施の形態１に係る画像処理装置１は、ＳＮ比が小さい第１撮像画素とＳＮ比が大きい第２撮像画素とが同一層に配置された撮像素子１２から、第１撮像画素及び第２撮像画素が同時に撮像したときの第１撮像画素による第１撮像画像及び第２撮像画素による第２撮像画像を入力し、第１撮像画像から対象画素を選択し、対象画素に対応する第２撮像画像の補間画像の画素の輝度値に近い輝度値を有する画素を補間画像から抽出し、抽出した画素に対応する画素を第１撮像画像から選択し、選択した画素の輝度値に基づいて、対象画素の輝度値を補正する画像処理部１４を備えるものである。
このような構成により、暗時に撮像された、ノイズが多い画像であっても、ノイズを適切に除去して色再現性及び色解像度に優れた画像を得ることができる。

また、本実施の形態１に係る画像処理装置１は、第１撮像画素が、緑色波長帯域又は青色波長帯域で撮像し、第２撮像画素が、赤色波長帯域で撮像することが好ましい。
このような構成により、暗時にＳＮ比が大きいＲ画素に基づいてＳＮ比が小さいＧＢ画素を補正することができる。

また、本実施の形態１に係る画像処理装置１は、画像処理部１４が、抽出した画素に対応する画素を第１撮像画像の補間画像から更に選択することが好ましい。
このような構成により、抽出した画素に対応する画素を第１撮像画像及び第１撮像画像の補間画像から選択して、Ｇ、Ｂの画素を補正することができる。
また、本実施の形態１に係る撮像装置１は、撮像素子１２及び画像処理部１４を備えることが好ましい。

また、本実施の形態１に係る画像処理方法は、ＳＮ比が小さい第１撮像画素とＳＮ比が大きい第２撮像画素とが同一層に配置された撮像素子１２から、第１撮像画素及び第２撮像画素が同時に撮像したときの第１撮像画素による第１撮像画像及び第２撮像画素による第２撮像画像を入力するステップＳ１０と、第１撮像画像から対象画素を選択するステップＳ３０と、対象画素に対応する第２撮像画像の画素、又は、対象画素に対応する第２撮像画像の補間画像の画素の輝度値に近い輝度値を有する画素を第２撮像画像又は補間画像から抽出するステップＳ６０と、抽出した画素に対応する画素を第１撮像画像から選択するステップＳ７０と、選択した画素の輝度値に基づいて、対象画素の輝度値を補正するステップＳ９０とを有するものである。
このような構成により、暗時に撮像された、ノイズが多い画像であっても、ノイズを適切に除去して色再現性及び色解像度に優れた画像を得ることができる。

（実施の形態２）
実施の形態１に係る画像処理装置及び画像処理方法は、ＲＧＢの撮像画素が同一層に配置された撮像素子１２により撮像された画像からノイズを除去するものであったが、本実施の形態２に係る画像処理装置及び画像処理方法は、ＲＧＢの撮像画素が積層された撮像素子により撮像された画像からノイズを除去するものである。このとき、暗時又は暗部においてＳＮ比が小さいＧ画素又はＢ画素の対象画素について、対象画素に対応する暗時又は暗部においてＳＮ比が大きいＲ画素の輝度値に基づいて周辺のＲ画素を抽出し、抽出したＲ画素に対応するＧ画素又はＢ画素を選択し、選択したＧ画素又はＢ画素の輝度値に基づいて対象画素を補正する点は実施の形態１に係る処理と同様である。

以下、図面を参照して、本実施の形態２に係る画像処理装置及び画像処理方法について説明する。
本実施の形態２に係る画像処理装置も撮像装置であって、とくに、画像処理部として機能し、撮像画像からノイズを除去するものである。撮像装置の概略構成は図２に示した実施の形態１に係るものと同様で良く、ここでは、図示及び説明を省略する。

図８は、本実施の形態２に係る撮像素子２２の概略構成を説明するための図である。撮像素子２２を撮像画素の積層方向と垂直な方向から視たときの断面を示している。
撮像素子２２は、公知技術を用いて、例えば、下層がシリコン基板などの半導体材料で形成され、上層が半導体材料又は有機膜で形成された積層構造になっている。そして、下層には撮像する画像のＳＮ比が小さい、すなわち、ＳＮ比の小さなＧ撮像画素及びＢ撮像画素が市松模様状に配置され、上層にはＳＮ比の大きなＲ撮像画素がそれぞれ下層のＧ撮像画素又はＢ撮像画素と対応するように全面に配置されている。つまり、上層では全ての撮像画素がＲ撮像画素である。

このような撮像素子２２が撮像する撮像画像では、画像の同じ位置（座標）でＳＮ比の大きなＲ画素と、ＳＮ比の小さなＧ画素又はＢ画素とが得られることから、Ｇ画素又はＢ画素のノイズを除去するときは、実施の形態１に係る画像処理方法と同様の処理をすれば良い。もちろん、全画素のＲ画素が得られているので、本実施の形態２ではＲの補間画像を生成する必要はない。

すなわち、Ｂ画素（又は、Ｇ画素）を対象画素として選択し、対象画素に対応するＲ画素を選択し、選択したＲ画素の輝度値に近い輝度値を有するＲ画素を周辺画素から抽出し、抽出したＲ画素に対応するＢ画素（又は、Ｇ画素）を選択し、選択したＢ画素（又は、Ｇ画素）の輝度値の平均値Ａｖｅ、出力値Ｏｕｔｐｕｔをそれぞれ算出して、出力値Ｏｕｔｐｕｔをもって対象画素の輝度値を置換して、ノイズを除去すれば良い。

このように、本実施の形態２に係る画像処理装置及び画像処理方法でも、実施の形態１に係るものと同様に、ノイズを適切に除去して色再現性及び色解像度に優れた画像を得ることができる。

なお、本実施の形態２に係る画像処理装置又は画像処理方法でも、種々の変更が可能である。
例えば、本実施の形態２では、撮像素子２２を２層の撮像画素で構成したが、撮像素子２２を３層以上の撮像画素で構成しても良い。
また、被写体が昼間の空などである場合には、Ｂ画素を用いて対象画素であるＲ画素又はＧ画素を補正したり、被写体が昼間の森林などである場合には、Ｇ画素を用いて対象画素であるＲ画素又はＢ画素を補正したりしても良い。

以上、説明したように、本実施の形態２に係る画像処理装置は、ＳＮ比が小さい第１撮像画素とＳＮ比が大きい第２撮像画素とが積層された撮像素子２２から、第１撮像画素及び第２撮像画素が同時に撮像したときの第１撮像画素による第１撮像画像及び第２撮像画素による第２撮像画像を入力し、第１撮像画像から対象画素を選択し、対象画素に対応する第２撮像画像の画素の輝度値に近い輝度値を有する画素を第２撮像画像から抽出し、抽出した画素に対応する画素を第１撮像画像から選択し、選択した画素の輝度値に基づいて、対象画素の輝度値を補正する画像処理部を備えるものである。
このような構成により、暗時に撮像された、ノイズが多い画像であっても、ノイズを適切に除去して色再現性及び色解像度に優れた画像を得ることができる。

また、本実施の形態２に係る画像処理装置は、撮像素子２２において、第２撮像画素が第１撮像画素よりも上層にあることが好ましい。
このような構成により、ＳＮ比が大きい第２撮像画素のＳＮ比を維持することができる。

（実施の形態３）
実施の形態１、２に係る画像処理装置及び画像処理方法は、ＲＧＢの撮像画素を有する撮像素子により撮像されたＲＧＢ画像からノイズを除去するものであったが、本実施の形態３に係る画像処理装置及び画像処理方法は、暗時又は暗部におけるＳＮ比がＲＧＢの撮像画素よりも大きい近赤外（ＮＩＲ）の撮像画素を更に有する撮像素子を用いて、ＲＧＢ画像からノイズを除去するものである。

まずは、本実施の形態３に係る画像処理装置及び画像処理方法においてＮＩＲ撮像画素を用いる理由について簡単に説明する。
図９は、色温度、波長及び放射エネルギーの関係を示す図である。横軸は波長（ｎｍ）、縦軸は放射エネルギー（Ｗ／ｎｍ）、実線は太陽光の放射スペクトル（色温度：５７６２Ｋ）、破線は夜景の放射スペクトル（色温度：３２００Ｋ）を示す。

放射エネルギーは、色温度の大きい太陽光では各波長で大きいが、色温度の小さい夜景では各波長で小さく、辛うじて近赤外にそのピークを有する。そこで、暗時には可視光波長帯域に加えて近赤外波長帯域でも撮像して、可視光波長帯域で撮像するよりもＳＮ比が大きいＮＩＲ画素を得ることにする。

図１０は、本実施の形態３に係る画像処理方法を概念的に説明するための図である。左図は実施の形態１、２に係る画像処理方法を示し、右図は本実施の形態３に係る画像処理方法を示す。実施の形態１、２では暗時又は暗部においてＳＮ比が大きいＲ信号を用いて暗時又は暗部においてＳＮ比が小さいＧ、Ｂの信号からノイズを除去していたが、本実施の形態３では暗時又は暗部においてＳＮ比がＲ信号よりも更に大きいＮＩＲ信号を用いてＲ、Ｇ、Ｂの信号からノイズを除去する。

以下、図面を参照して、本実施の形態３に係る画像処理装置及び画像処理方法について説明する。
本実施の形態３に係る画像処理装置も撮像装置であって、特に、画像処理部として機能し、撮像画像からノイズを除去するものである。撮像装置の概略構成は図２に示した実施の形態１に係るものと同様で良く、ここでは、図示及び説明を省略する。

図１１は、本実施の形態３に係る撮像素子３２の概略構成を説明するための図である。撮像素子３２の撮像面の一部を拡大したものを示す。
撮像素子３２では、ベイヤ―配列の奇数行又は偶数行のＧ撮像画素がＮＩＲ撮像画素に置き換えられ、ＮＩＲ撮像画素及びＲＧＢの撮像画素が同一層に配置されている。ＮＩＲ撮像画素は、例えば、８００～９００ｎｍの近赤外波長帯域で撮像する光電変換部を含む撮像画素である。

図１２は、本実施の形態３に係る画像処理方法の処理手順を示すフローチャートである。図１３は、本実施の形態３に係る画像処理方法を説明するための図である。
本実施の形態３に係る画像処理方法では、撮像素子３２の同一層に配置されたＮＩＲ撮像画素及びＲＧＢの撮像画素で同時に撮像し（ステップＳ２１０）、得られた画像中のＮＩＲ画素を用いてＮＩＲの補間画像を生成する（ステップＳ２２０）。

次に、撮像画像から対象画素としてＲ、Ｇ又はＢの画素を選択し（ステップＳ２３０）、その対応画素としてＮＩＲ画素をＮＩＲの補間画像から選択し（ステップＳ２４０）、探索輝度範囲を設定し（ステップＳ２５０）、対応画素の輝度値に近い輝度値を有する周辺のＮＩＲ画素をＮＩＲの補間画像から抽出する（ステップＳ２６０）。

次に、抽出したＮＩＲ画素の対応画素としてＲ、Ｇ又はＢの画素を撮像画像から選択し（ステップＳ２７０）、置換値を算出し（ステップＳ２８０）、対象画素を補正してノイズを除去し（ステップＳ２９０）、補正画像を表示、記録する（ステップＳ３００）。

このように、本実施の形態３に係る画像処理装置及び画像処理方法でも、実施の形態１、２に係るものと同様に、ノイズを適切に除去して色再現性及び色解像度に優れた画像を得ることができる。

（実施の形態３の変形例）
なお、本実施の形態３に係る画像処理装置又は画像処理方法でも、種々の変更が可能である。
例えば、本実施の形態３では、撮像素子３２としてＮＩＲ撮像画素及びＲＧＢの撮像画素が同一層に配置されているものを用いたが、撮像素子としてＮＩＲ撮像画素とＲＧＢの撮像画素とが積層されたものを用いても良い。

図１４は、本実施の形態３の変形例に係る撮像素子４２の概略構成を説明するための図である。撮像素子４２のある画素行（又は、画素列）とその隣の画素行（又は、画素列）とをそれぞれ撮像素子４２の積層方向と垂直な方向から視たときの断面を示している。

撮像素子４２も、公知技術を用いて、例えば、下層がシリコン基板などの半導体材料で形成され、上層が半導体材料又は有機膜で形成された積層構造になっている。そして、下層には暗時又は暗部においてＳＮ比の小さなＲ、Ｇ、Ｂの撮像画素がベイヤ―配列で配置され、上層には暗時又は暗部においてＳＮ比の大きなＮＩＲ撮像画素がそれぞれ下層のＲ、Ｇ、Ｂの撮像画素と対応するように全面に配置されている。つまり、上層では全ての撮像画素がＮＩＲ撮像画素である。

このような撮像素子４２が撮像した撮像画像でも、画像の同じ位置（座標）でＳＮ比の大きなＮＩＲ画素と、ＳＮ比の小さなＲＧＢの画素とが得られることから、ＲＧＢの画素のノイズを除去するときは、実施の形態３に係る画像処理方法と同様の処理をすれば良い。もちろん、全画素のＮＩＲ画素が得られているので、本実施の形態３の変形例ではＮＩＲの補間画像を生成する必要はない。

なお、本実施の形態３の変形例では、撮像素子４２を２層の撮像画素で構成したが、撮像素子４２を３層以上の撮像画素で構成しても良く、また、ＳＮ比の大きな撮像画素が必ずしも上層でなくても良い。

以上、説明したように、本実施の形態３に係る画像処理装置は、第１撮像画素が赤色波長帯域、緑色波長帯域又は青色波長帯域で撮像し、第２撮像画素が近赤外波長帯域で撮像することが好ましい。
このような構成により、更にＳＮ比が大きいＮＩＲ画素を用いて、ＲＧＢの画素を補正して、ノイズを除去することができる。

１ 撮像装置
１１ レンズ光学系
１２、２２、３２、４２ 撮像素子
１３ アナログフロントエンド（ＡＦＥ）回路
１４ 画像処理部（画像処理装置）
１５ 画像表示部
１６ 画像記録部
Ｐ１ Ｂ画素
Ｐ２ Ｒ画素

Claims (8)

1. ＳＮ比が小さい第１撮像画素とＳＮ比が大きい第２撮像画素とが積層され又は同一層に配置された撮像素子から、前記第１撮像画素及び前記第２撮像画素が同時に撮像したときの前記第１撮像画素による第１撮像画像及び前記第２撮像画素による第２撮像画像を入力し、
   前記第１撮像画像から対象画素を選択し、
   前記第１撮像画素と前記第２撮像画素とが積層される場合、前記対象画素に対応する前記第２撮像画像の画素の輝度値に近い輝度値を有する画素を前記第２撮像画像から抽出し、前記第１撮像画素と前記第２撮像画素とが同一層に配置される場合、前記対象画素に対応する前記第２撮像画像の補間画像の画素の輝度値に近い輝度値を有する画素を前記補間画像から抽出し、
   前記抽出した画素に対応する画素を前記第１撮像画像から選択し、
   前記選択した画素の輝度値に基づいて、前記対象画素の輝度値を補正する画像処理部を備える
   画像処理装置。
2. 前記第１撮像画素が赤色波長帯域、緑色波長帯域又は青色波長帯域で撮像し、
   前記第２撮像画素が近赤外波長帯域で撮像する
   請求項１記載の画像処理装置。
3. 前記第１撮像画素が、緑色波長帯域又は青色波長帯域で撮像し、
   前記第２撮像画素が、赤色波長帯域で撮像する
   請求項１記載の画像処理装置。
4. 前記第１撮像画素と前記第２撮像画素とが積層される場合、前記撮像素子において、第２撮像画素が第１撮像画素よりも上層にある
   請求項１乃至請求項３のいずれか１項記載の画像処理装置。
5. 前記第１撮像画素と前記第２撮像画素とが同一層に配置される場合、前記画像処理部は、前記抽出した画素に対応する画素を前記第１撮像画像の補間画像から更に選択する
   請求項１乃至請求項４のいずれか１項記載の画像処理装置。
6. 請求項１記載の撮像素子及び画像処理部
   を備える撮像装置。
7. ＳＮ比が小さい第１撮像画素とＳＮ比が大きい第２撮像画素とが積層され又は同一層に配置された撮像素子から、前記第１撮像画素及び前記第２撮像画素が同時に撮像したときの前記第１撮像画素による第１撮像画像及び前記第２撮像画素による第２撮像画像を入力するステップと、
   前記第１撮像画像から対象画素を選択するステップと、
   前記第１撮像画素と前記第２撮像画素とが積層される場合、前記対象画素に対応する前記第２撮像画像の画素の輝度値に近い輝度値を有する画素を前記第２撮像画像から抽出し、前記第１撮像画素と前記第２撮像画素とが同一層に配置される場合、前記対象画素に対応する前記第２撮像画像の補間画像の画素の輝度値に近い輝度値を有する画素を前記補間画像から抽出するステップと、
   前記抽出した画素に対応する画素を前記第１撮像画像から選択するステップと、
   前記選択した画素の輝度値に基づいて、前記対象画素の輝度値を補正するステップと
   を有する画像処理方法。
8. コンピュータに、
   ＳＮ比が小さい第１撮像画素とＳＮ比が大きい第２撮像画素とが積層され又は同一層に配置された撮像素子から、前記第１撮像画素及び前記第２撮像画素が同時に撮像したときの前記第１撮像画素による第１撮像画像及び前記第２撮像画素による第２撮像画像を入力する手順と、
   前記第１撮像画像から対象画素を選択する手順と、
   前記第１撮像画素と前記第２撮像画素とが積層される場合、前記対象画素に対応する前記第２撮像画像の画素の輝度値に近い輝度値を有する画素を前記第２撮像画像から抽出し、前記第１撮像画素と前記第２撮像画素とが同一層に配置される場合、前記対象画素に対応する前記第２撮像画像の補間画像の画素の輝度値に近い輝度値を有する画素を前記補間画像から抽出する手順と、
   前記抽出した画素に対応する画素を前記第１撮像画像から選択する手順と、
   前記選択した画素の輝度値に基づいて、前記対象画素の輝度値を補正する手順と
   を実行させるための画像処理プログラム。

Images