WO2013111449A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

ＲＧＢＷ配列の画像に対するノイズ低減、欠陥補正処理を実行する装置、方法を提供する。ＲＧＢ各カラー画素とＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データのカラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して注目画素の補正画素値を算出する。さらに、カラー画素近傍のＷ画素を適用して、該カラー画素がテクスチャ領域であるか否かを判定し、テクスチャ領域でない場合にのみ欠陥補正処理を実行する。

Description

画像処理装置、および画像処理方法、並びにプログラム

　本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像を構成するノイズを含む画素や欠陥画素の補正を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

　デジタルカメラ等の撮像装置において、撮像素子に用いるフィルタは、例えばＲＧＢの各色を配列したベイヤ（Ｂａｙｅｒ）配列などが多く用いられるが、これらのＲＧＢ各色に加え、ＲＧＢ各波長の全波長領域を含む全波長透過型のＷ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つフィルタが提案されている。

　しかし、Ｗ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列フィルタを適用して撮影した画像に含まれるノイズ除去（ＮＲ：Ｎｏｉｓｅ　Ｒｅｄｕｃｔｉｏｎ）処理においては以下のような問題がある。ＲＧＢ等のカラー（Ｃｏｌｏｒ）画素はＷ（Ｗｈｉｔｅ）画素に比べて感度が低く、ノイズが多い上に、ノイズ低減対象画素である注目画素の補正画素値を算出するために利用可能な参照画素、すなわち補正対象画素と同一色の参照画素のサンプル数が少ない。この結果、同色画素を参照したノイズ除去（ＮＲ）処理を実行しても充分なノイズ低減効果が得られないという問題である。

　また、光ショットノイズのように光の強度に応じてノイズが変化するようなモデルに対応するためには、自身に乗るノイズのために平滑化強度がばらつき、信号レベルが低下する問題があった。
　また、Ｗ（Ｗｈｉｔｅ）配列の欠陥補正においては、カラー画素のサンプリング位置がまばらとなるため、欠陥とテクスチャの区別が難しく、充分な補正効果が得られないという問題点もあった。

　なお、画像のノイズ除去処理に関する従来技術としては、例えば特許文献１（特開２００３－２２４８６１号公報）、特許文献２（特開２０１１－７６１８６号公報）などがある。
　特許文献１（特開２００３－２２４８６１号公報）は、輝度信号（Ｙ）の周波数成分強度に応じて各領域の色差信号（Ｃ）の周波数成分を除去することにより、ノイズを除去する構成を開示している。しかし、この手法では、輝度信号（Ｙ）と色差信号（Ｃ）に相関がない箇所でもＹ信号に基づいてＣ信号のノイズ除去を行うため、色テクスチャ等輝度変化の少ないところで、色差信号が失われてしまう恐れがある。

　特許文献２（特開２０１１－７６１８６号公報）は、Ｗ画素を用いてテクスチャ方向判定を行い、その結果に基づいて欠陥補正を行う手法を開示している。本文献は、Ｗ画素に対する欠陥補正手法に言及しているものの、Ｗ以外のカラー画素に対する補正方法には言及していない。また、左右、上下の２次元平面の画素を参照した２次元（２Ｄ：２Ｄｉｍｅｎｔｉｏｎ）処理を前提とし、多くの方向判定処理のため、演算コストが大きくなってしまうという問題がある。

特開２００３－２２４８６１号公報 特開２０１１－７６１８６号公報

　本開示は、例えば上記問題点に鑑みてなされたものであり、全波長透過型のＷ（Ｗｈｉｔｅ）画素を備えたフィルタを介して撮影された画像に含まれるノイズの低減や欠陥補正を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

　本開示の第１の側面は、
　画素値補正を実行する信号処理部を有し、
　前記信号処理部は、
　ＲＧＢ各カラー画素とＲＧＢ各波長のほぼ全波長光を透過するＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データを入力し、
　カラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出する画像処理装置にある。

　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記補間Ｗ画素の画素値に１つ以上の飽和画素値が存在するか否かを判定し、前記補間Ｗ画素の画素値に飽和画素値が存在しない場合は、前記補間Ｗ画素の各画素値に基づいて算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出し、前記補間Ｗ画素の画素値に飽和画素値が存在する場合は、前記補間Ｗ画素を適用せず、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素の各画素値に基づいて算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出する。

　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記参照領域を２次元領域として２次元領域の参照領域にある注目画素と同一色画素の参照画素位置にＷ画素を補間する処理を実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記参照領域を１次元領域として１次元領域の参照領域にある注目画素と同一色画素の参照画素位置にＷ画素を補間する処理を実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記画素値補正を、前記注目画素に含まれるノイズを低減するノイズ低減処理（ＮＲ）として実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記カラー画素が欠陥画素である可能性があるか否かを判定する欠陥可能性を判定し、欠陥可能性ありと判定したカラー画素の近傍のＷ画素を適用して、該カラー画素がテクスチャ領域であるか否かを判定するテクスチャ検出処理を実行し、前記テクスチャ検出処理において、前記カラー画素がテクスチャ領域であると判定した場合は、欠陥補正処理を実行せず、前記テクスチャ検出処理において、前記カラー画素がテクスチャ領域でないと判定した場合は、欠陥補正処理を実行する。

　さらに、本開示の画像処理装置の一実施態様において、前記信号処理部は、前記テクスチャ検出処理において、欠陥可能性ありと判定したカラー画素の最近接Ｗ画素と、その外側のＷ画素の画素値差分を適用して、前記カラー画素がテクスチャ領域であるか否かを判定する。

　さらに、本開示の第２の側面は、
　画像処理装置において画素値補正を実行する画像処理方法であり、
　前記画像処理装置の信号処理部が、
　ＲＧＢ各カラー画素とＲＧＢ各波長のほぼ全波長光を透過するＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データを入力し、
　カラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出する画像処理方法にある。

　さらに、本開示の第３の側面は、
　画像処理装置において画素値補正を実行させるプログラムであり、
　前記画像処理装置の信号処理部に、
　ＲＧＢ各カラー画素とＲＧＢ各波長のほぼ全波長光を透過するＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データを入力させ、
　カラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出させるプログラムにある。

　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　本開示の一実施例の構成によれば、ＲＧＢＷ配列の画像に対するノイズ低減、欠陥補正処理を実行する装置、方法が実現される。
　具体的には、ＲＧＢ各カラー画素とＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データのカラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して注目画素の補正画素値を算出する。さらに、カラー画素近傍のＷ画素を適用して、該カラー画素がテクスチャ領域であるか否かを判定し、テクスチャ領域でない場合にのみ欠陥補正処理を実行する。
　これらの処理により、ＲＧＢＷ配列の画像に対するノイズ低減、欠陥補正処理を実行する装置、方法が実現される。

ＲＧＢＷ配列の例について説明する図である。 ＲＧＢＷ配列におけるカラー画素の密度低下について説明する図である。 本開示の画像処理装置において実行するノイズ低減処理の具体例について説明する図である。 本開示の画像処理装置において実行するノイズ低減処理に適用される平滑化関数の具体例について説明する図である。 本開示の画像処理装置において実行するノイズ低減処理の具体例について説明する図である。 平滑化強度を、Ｗ画素を利用して求めるメリットについて説明する図である。 本開示の画像処理装置において実行するノイズ低減処理において、Ｗ画素が飽和している場合の対策について説明する図である。 ライン単位の１次元（１Ｄ）データを利用して補間Ｗ画素の設定と補正を実行する場合の処理例を説明する図である。 本開示の画像処理装置において実行するノイズ低減処理の詳細シーケンスについて説明するフローチャートを示す図である。 ＲＧＢＷ配列の例について説明する図である。 欠陥補正処理の概要について説明する図である。 一般的な画素欠陥の検出処理例について説明する図である。 一般的な画素欠陥の検出処理例について説明する図である。 本開示の画像処理装置において実行する画像からのテクスチャ検出処理の一例について説明する図である。 本開示の画像処理装置において実行する欠陥補正処理の処理シーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の構成と処理について説明する図である。 本開示の画像処理装置の構成と処理について説明する図である。 本開示の画像処理装置の構成と処理について説明する図である。

　以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
　　１．全波長透過型のＷ（Ｗｈｉｔｅ）画素を含む画素配列について
　　２．補正対象となるカラー画素の画素位置にＷ画素を補間し、補間Ｗ画素を適用してカラー画素の補正画素値を算出する処理例について
　　３．欠陥補正対象となるカラー画素の補正処理において、Ｗ画素を適用したテクスチャ検出結果に応じて欠陥補正を実行する処理例について
　　４．画像処理装置の構成例について
　　４－１．画像処理装置の構成例１
　　４－２．画像処理装置の構成例２
　　４－３．画像処理装置の構成例３
　　５．本開示の構成のまとめ

　　［１．全波長透過型のＷ（Ｗｈｉｔｅ）画素を含む画素配列について］
　まず、本開示の画像処理装置におけるノイズ低減処理や欠陥補正処理の対象となる画像を撮影する撮像素子の画素配列である全波長透過型のＷ（Ｗｈｉｔｅ）画素を含む画素配列の例について説明する。

　前述したように、デジタルカメラ等の撮像装置において、撮像素子に用いるフィルタとしてＲＧＢの各色を配列したいベイヤ（Ｂａｙｅｒ）配列が広く知られているが、昨今、これらのＲＧＢ各色に加え、ほぼＲＧＢ各色の全波長領域の光を透過させる全波長透過型のＷ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つフィルタが提案されている。

　ＲＧＢＷ配列の具体的としては、例えば図１（ａ）～（ｄ）に示すＲＧＢＷ配列がある。なお、図１（ｅ）には参考例として、一般的なＲＧＢ配列であるベイヤ（Ｂａｙｅｒ）配列を示している。
　図１に示すように、様々なＷ画素を含む配列が提案されているが、Ｗ画素を用いることで、従来のベイヤ配列に比べてＲＧＢ各色のカラー（Ｃｏｌｏｒ）画素の密度が低下する。

　画像に含まれるノイズ除去処理としては、ノイズ除去対象画素（注目画素）と同一色の近傍画素の画素を参照画素として選択し、これらの参照画素の画素値を利用してノイズ低減画素の補正画素値を算出する処理が行われることが多い。

　しかし、例えば図１（ａ）～（ｄ）に示すＲＧＢＷ配列は、図１（ｅ）に示すベイヤ配列に比較してＲＧＢ各画素の密度が低下する。従って、ＲＧＢ各画素のノイズ低減を目的とした補正処理を行う場合に利用可能な参照画素、すなわち、補正対象画素の色と同一色の近傍の参照可能画素が少なくなる。すなわち単位面積当たりの同一色のカラー画素の数が少ない。この結果、十分な数の参照画素の画素値を利用できずに補正精度が低下してしまうという問題が発生する。

　具体例について、図２を参照して説明する。
　図２は、図１に示す（ａ），（ｃ）の各ＲＧＢＷ画素配列の７×７画素領域を示した図である。
　例えば、図２（ａ）において、７×７画素領域の中心画素（Ｂ）を注目画素、すなわちノイズ除去対象画素として設定する。この注目画素を中心とした７×７画素領域を、注目画素を中心とした参照領域とする。この参照領域に含まれる注目画素と同一の色の画素を参照画素として選択して、参照画素の画素値を利用して、注目画素の補正画素値、すなわちノイズ低減画素値を算出する処理を実行する。
　しかし、図２（ａ）に示すように、中心画素であるＢ画素と同一色のＢ画素は、７×７画素の参照領域にわずか４画素しか含まれない。

　なお、ノイズ低減処理を行う場合、例えば補正対象画素である注目画素と参照画素との画素値差分に応じた重みを設定し、重み付け加算等を実行して注目画素の補正画素値を算出するといった処理が多く行われる。すなわち、注目画素とその周囲の同一色の参照画素の画素値を平滑化するように注目画素の画素値を変更する補正処理、いわゆる平滑化処理が行われる。しかし、参照画素の数が少ないと、例えば補正対象画素や参照画素中に１つでもエラー画素が含まれる場合などに不自然な補正画素値が算出されてしまう傾向が高くなるという問題がある。

　これは、図２（ｃ）に示す画素配列や、その他のもＲＧＢＷ配列においても同様である。なお、Ｂ画素以外のＲＧ画素についても、ＲＧＢＷ配列では、ＲＧＢ画素配列に比較して単位面積あたりの同一色画素の数が少なく、補正画素値の算出に適用可能な参照画素数の低下により補正精度が低下するという問題がある。

　　［２．補正対象となるカラー画素の画素位置にＷ画素を補間し、補間Ｗ画素を適用してカラー画素の補正画素値を算出する処理例について］
　次に、本開示の画像処理装置において実行する画像のノイズ低減処理例として、補正対象となるカラー画素の画素位置にＷ画素を補間し、補間Ｗ画素を適用してカラー画素の補正画素値を算出する処理例について説明する。

　前述したように、例えば図１（ａ）～（ｄ）や、図２（ａ），（ｃ）に示すＲＧＢＷ配列では、図１（ｅ）に示すＲＧＢ画素のみから構成されるベイヤ配列に比較して、ＲＧＢ各カラー画素の画素密度が低下する。
　例えば図２に示す注目画素を中心とする７×７画素からなる参照領域には、補正対象となる中央の注目画素と同一色の画素が少なく、これらの少ない同一色画素を参照した補正処理では、補正精度が低下してしまう。

　本開示の画像処理装置では、補正対象となるカラー画素の画素位置にＷ画素を補間し、補間Ｗ画素を適用してカラー画素の補正画素値を算出する。図３以下を参照してこの処理例について説明する。

　図３（１）撮影画像（モザイク画像）は、図２（ａ）と同様の配列を持つ画像であり、ＲＧＢＷ配列の撮像素子の出力画像を示している。撮像素子の出力画像の各画素はＲＧＢＷのいずれかの画素値のみが設定されている。

　なお、このような画像はモザイク画像と呼ばれる。このモザイク画像の各画素位置にＲＧＢすべての画素値を設定する処理はデモザイク処理とよばれ、例えばデジタルカメラでは、デモザイク処理を実行して各画素位置にＲＧＢ画素値を設定した画像をメモリに格納し、またディスプレイに表示する。

　図３に示す例は、このデモザイク処理前の図３（１）に示すモザイク画像に対して、各画素のノイズ低減処理を行う場合の例を示している。
　図３に示す例は、補正対象画素、すなわちノイズ低減対象となる画素を中心とする７×７画素の参照領域を設定して補正対象画素の補正画素値を算出する場合の例である。図３に示す例は、７×７画素の参照領域の中心のＢ画素（Ｂ０）を補正対象画素としており、このＢ画素（Ｂ０）の補正画素値を算出する。

　まず、参照領域から補正対象画素と同一色の画素を選択する。図３（１）に示すＢ１，Ｂ２，Ｂ３，Ｂ４の４つの画素が参照画素として選択される。

　従来のノイズ低減処理、すなわち、補正対象画素である注目画素と参照画素との画素値差分に応じた重み付け加算等を実行して注目画素の補正画素値を算出する、いわゆる平滑化処理を行う場合には、例えば以下のような補正画素値（Ｂ０'）の算出が実行される。
　Ｂ０'＝ｐ（Ｂ０）｜Ｂ０－Ｂ０｜＋ｑ（Ｂ１）｜Ｂ０－Ｂ１｜＋ｒ（Ｂ２）｜Ｂ０－Ｂ２｜＋ｓ（Ｂ３）｜Ｂ０－Ｂ３｜＋ｔ（Ｂ４）｜Ｂ０－Ｂ４｜
　　　　　　・・・・・（式ａ）
　上記（式ａ）において、ｐ，ｑ，ｒ，ｓ，ｔは注目画素と参照画素との画素値差分に応じた重み（平滑化重み）であり、例えば図４に示すような曲線を定義する平滑化関数を予め規定し、この平滑化関数に従って設定される。

　このように、ノイズ低減処理を行う場合、例えば補正対象画素である注目画素と参照画素との画素値差分に応じた重み付け加算等を実行して注目画素の補正画素値を算出する、いわゆる平滑化処理が多く行われる。しかし、参照画素の数が少ないと、この注目画素と参照画素との画素値差分に応じた重み付け加算を行った場合、例えば１つでもエラー画素が含まれる場合などには、そのエラー画素の影響が大きくなり、最適な平滑化が行われず不自然な補正画素値が算出されてしまう場合がある。

　本開示の画像処理装置の実行する注目画素に対するノイズ低減処理、すなわち画素値補正処理においては、補正対象となる注目画素（Ｂ０）と４つの参照画素（Ｂ１～Ｂ４）の各画素位置のＷ画素値を推定する。すなわち、補正対象となる注目画素（Ｂ０）と４つの参照画素（Ｂ１～Ｂ４）の各画素位置に対するＷ画素補間処理を行う。これらのＷ画素補間処理は、補間画素位置の周囲のＷ画素を参照画素とした補間処理によって実行可能である。

　図３に示すＲＧＢＷ配列では、参照領域として示す７×７画素中の約半分の画素がＷ画素によって構成され、Ｗ画素の画素密度がもっとも高い。例えば注目画素（Ｂ０）と４つの参照画素（Ｂ１～Ｂ４）の５つの各画素位置の周囲には上下および左右に隣接して４つのＷ画素が存在する。各補間画素位置において、例えばこれらの４つのＷ画素の画素値平均を算出して補間Ｗ画素のＷ画素値を決定する。あるいはエッジ方向を考慮した補間処理、例えば、画素値の勾配の少ない方向の画素の重みを大きく設定した重み付け加算等によって補間画素値を算出してもよい。

　図３（２）に示す補間画像のように、補正対象となる注目画素（Ｂ０）と４つの参照画素（Ｂ１～Ｂ４）の各画素位置に補間Ｗ画素（Ｗ０～Ｗ５）を設定する。
　補正対象となる注目画素（Ｂ０）のノイズ低減後の補正画素値は、これらの補間Ｗ画素のＷ画素値を適用して算出する。

　具体的には、図５に示すように補間されたＷ画素値を利用して算出される平滑化強度を適用して補正画素値を算出する。
　例えば、以下に示す（式１）に従って、注目画素の補正画素値Ｉ_ＮＲ（ｐ）を算出する。

　　　　　　・・・・・（式１）

　上記式において、各パラメータは以下の値を示す。
　Ｉ_ＮＲ（ｐ）：注目画素の補正画素値（＝ノイズ低減処理後の補正画素値）
　Ωｐ：注目画素を中心とした参照領域
　Ｉ（ｑ）：参照領域（Ωｐ）内の注目画素と同一色画素の参照画素の画素値
　Ｗ（ｐ）：注目画素位置の補間Ｗ画素値
　Ｗ（ｑ）：参照領域（Ωｐ）内の注目画素と同一色画素の参照画素位置の補間Ｗ画素値
　φ：平滑化関数

　上記の（式１）に従って参照領域の中心の注目画素の補正画素値を算出する。上記（式１）は、参照画素位置の補間Ｗ画素値を用いて平滑化重みを決定して注目画素の補正画素値を算出する式である。
　φ：平滑化関数は、先に図４を参照して説明したと同様の関数であり、注目画素と参照画素との差分に応じた重みを設定する関数である。なお、この処理例では、注目画素位置に対応する補間Ｗ画素のＷ画素値と参照画素位置に対応する補間Ｗ画素のＷ画素値との差分に応じた重みを算出する関数となる。

　このように、例えば７×７画素の参照領域に含まれるＢ画素の数は少ないがＷ画素の数は多く、Ｂ画素をそのまま参照画素として利用するより、補間Ｗ画素を利用して平滑化重みを決定して補正画素値を算出することで、より精度の高いノイズ低減処理が可能となる。

　特に、カラーフィルタの分光特性からＷ画素とＲＧＢの各カラー画素には強い相関があるため、効果的である。また、Ｗ画素は感度が高いためノイズが少なく、エッジやテクスチャに応じた適切な平滑化重みを決定することが可能となる。さらに、Ｗ画素にのるノイズとカラー画素にのるノイズには相関がないため、平滑化強度をＷ画素から算出することで、平滑化強度が直接平滑化を行う画素値に依存せず、信号レベルの変化を抑えられる利点もある。

　なお、図３、図５を参照して説明した処理例は、注目画素をＢ画素として、Ｂ画素の補正画素値を算出する処理例であるが、その他のカラー画素であるＲＧについても、同様の処理を行う。
　すなわち、補正対象となるＲＧＢカラー画素のいずれかのカラー画素を中心とした参照領域（例えば７×７画素）を設定して、注目画素と参照画素位置にＷ画素を補間し、上記の（式１）を適用してノイズを低減した補正画素値を算出する。
　なお、参照領域は７×７画素に限らず、その他の様々な大きさの領域の設定が可能である。

　本処理例では、上記の（式１）に従って注目画素のノイズ低減画素値である補正画素値を算出しているが、このノイズ低減（ＮＲ）処理において、平滑化強度を、Ｗ画素を利用して求めるメリットについて図６を参照して説明する。

　図６には、以下の各処理例を示している。
　（Ａ）平滑化強度をカラー画素から算出した場合のノイズ低減（ＮＲ）処理を実行した場合の信号レベルの変化例
　（Ｂ平滑化強度を補間Ｗ画素から算出した場合のノイズ低減（ＮＲ）処理を実行した場合の信号レベルの変化例

　すなわち、図６（Ａ）は、例えば図３に示すＢ０画素の画素値補正を例として説明すると、先に説明した（式ａ）、すなわち、補正画素値（Ｂ０'）を、以下の（式ａ）に従って算出する処理である。
　Ｂ０'＝ｐ（Ｂ０）｜Ｂ０－Ｂ０｜＋ｑ（Ｂ１）｜Ｂ０－Ｂ１｜＋ｒ（Ｂ２）｜Ｂ０－Ｂ２｜＋ｓ（Ｂ３）｜Ｂ０－Ｂ３｜＋ｔ（Ｂ４）｜Ｂ０－Ｂ４｜
　一方、図６（Ｂ）は上記（式１）に従って補正画素値を算出する処理に相当する。

　図６（Ａ）に示すように、平滑化強度をカラー画素自身から求める場合、補正対象となる中心画素に正のノイズが乗った場合には強い補正（ＮＲ）がかかり信号が大きく減少する。一方、負のノイズが乗った場合には弱い補正（ＮＲ）がかかり、信号の増加は少ない。トータルとして、信号レベルは下がってしまう。
　一方、図６（Ｂ）に示すように、平滑化強度を補間Ｗ画素から求めることで、補正対象となる中心画素に正のノイズが乗った場合も負のノイズが乗った場合にもほぼ同程度の補正（ＮＲ）をかけることが可能となり、トータルとして、信号レベルの変化を少なくした補正が可能となる。

　本開示の構成では、ＲＧＢに乗るノイズとＷに乗るノイズは相関がないことを利用し、補間されたＷ画素から平滑化強度を算出することで、補正（ＮＲ）が強くかかる箇所と弱くかかる箇所を中央画素に乗るノイズレベルによらずランダムとする。これにより、補正（ＮＲ）後の信号の平均レベルを中心値に近づけることが可能となる。

　このように、ＲＧＢ各カラー画素の位置にＷ画素を補間して、補間Ｗ画素値を利用して平滑化重みを設定する構成において、１つ問題となるのは、Ｗ画素が飽和している場合である。飽和画素値を持つ画素は、正しい画素値を反映していない可能性が高く、このような飽和画素を参照画素とした補正を行うことは好ましくない。

　以下、図７を参照して、Ｗ画素が飽和している場合の対策について説明する。
　補正対象となるＲＧＢカラー画素のいずれかのカラー画素を中心とした参照領域（例えば７×７画素）を設定して、注目画素と参照画素位置にＷ画素を補間する。
　ここまでの処理は、先に図３～図５を参照して説明した処理と同様である。
　図７に示すように、
　参照領域の中央の補正対象となる注目画素位置に補間画素Ｗ０、
　注目画素周囲の７×７画素の参照領域に４つの補間Ｗ画素Ｗ１～Ｗ４、
　これらの補間Ｗ画素を設定する。

　次に、これらの補間Ｗ画素のいずれかが飽和していないかの飽和判定処理を行う。
　いずれかの補間Ｗ画素が最大画素値であれば飽和画素であると判定する。
　補間Ｗ画素Ｗ０～Ｗ４のすべてが飽和画素でない場合には、図７（ａ）に示すように前述した（式１）に従って補間Ｗ画素を適用して算出される平滑化重みを適用して注目画素の補正画素値を算出して補正（ＮＲ）処理を実行する。

　一方、補間Ｗ画素Ｗ０～Ｗ４に、１つでも飽和画素が含まれる場合には、図７（ｂ）に示すように、以下の（式２）に従って、補間Ｗ画素を適用せず、注目画素、および注目画素と同一色の参照画素との差分に基づく平滑化重みを適用して注目画素の補正画素値を算出して補正（ＮＲ）処理を実行する。

　　　　　　・・・・・（式２）

　上記式において、各パラメータは以下の値を示す。
　Ｉ_ＮＲ（ｐ）：注目画素の補正画素値（＝ノイズ低減処理後の補正画素値）
　Ωｐ：注目画素を中心とした参照領域
　Ｉ（ｑ）：参照領域（Ωｐ）内の注目画素と同一色画素の参照画素の画素値
　φ：平滑化関数

　このように、
　（ａ）補間Ｗ画素の画素値が飽和していない場合は、補間Ｗ画素を適用して算出される平滑化重みを適用して注目画素の補正画素値を算出して補正（ＮＲ）処理を実行する。
　（ｂ）補間Ｗ画素の画素値が飽和している場合は、補間Ｗ画素ではなく本来のカラー画素を適用して算出される平滑化重みを適用して注目画素の補正画素値を算出して補正（ＮＲ）処理を実行する。
　このように（ａ），（ｂ）２つの処理を補間Ｗ画素の飽和有無に応じて切り替えて実行する。
　このような処理を行うことで、飽和した補間Ｗ画素に基づく補正が回避され、高精度な補正（ＮＲ）処理を実行することができる。

　上述したノイズ低減（ＮＲ）処理は、参照領域を７×７画素とした２次元（２Ｄ）平面を利用した処理であるが、このような２次元平面を利用した処理を行う場合、メモリに少なくとも参照領域分の２次元（２Ｄ）画像を保持することが必要となる。
　撮像素子からの画素値は、例えば水平方向（ｘ方向）のライン単位で順次出力される。すなわち信号処理部には、１次元（１Ｄ）データとして順次、入力される。

　上述した参照領域を７×７画素とした２次元（２Ｄ）平面を利用した処理を行う場合、少なくとも７ライン分のデータを保持することが必要となり、容量の大きなメモリが必要となり、例えばカメラなどのコストアップを招くという問題がある。

　このような大容量メモリの利用を回避するため、ライン単位の１次元（１Ｄ）データを利用して上述した補間Ｗ画素の設定を行い、ノイズ低減処理としての画素値補正を行う構成としてもよい。さらに、その後、例えば、ＩＩＲ（Ｉｎｆｉｎｉｔ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ（無限インパルス応答））フィルタを利用して垂直方向画素を参照した補正を行う構成も可能である。なお、ＩＩＲフィルタは、時系列に沿って入力される信号に対して、現在の信号とそれよりも過去の信号のみを参照した処理として行われるフィルタ処理であり、参照画素値を全て保持するメモリを省略することができる。

　図８は、ライン単位の１次元（１Ｄ）データを利用して上述した補間Ｗ画素の設定と補正を実行する場合の処理例を説明する図である。
　図８（１）に示すデータは、撮像素子から出力される水平ラインの画素データに相当する。
　ここで、ノイズ低減処理対象とする注目画素を図に示す中央部のＢ画素、ＮＲ処理画素とする。このＮＲ処理画素の画素値はＩ（ｐ）である。
　このＮＲ処理画素と、このラインに含まれるＢ画素の位置に補間Ｗ画素を設定する。

　補間Ｗ画素の画素値は、各Ｂ画素に隣接する２つのＷ画素の平均値等、隣接Ｗ画素の画素値を適用して決定すればよい。
　この補間Ｗ画素設定処理の後、前述の（式１）に従った補正画素値の算出を実行する。
　ただし、補間Ｗ画素の画素値が飽和している場合は、補間Ｗ画素を利用せず、前述の（式２）に従った補正画素値算出を実行する。
　このような処理を行うことで、低コストで大ＴＡＰ数のノイズ低減処理が実現される。

　本開示の画像処理装置において実行するノイズ低減（ＮＲ）処理の処理シーケンスについて、図９に示すフローチャートを参照して説明する。
　図９に示すフローは、例えばデジタルカメラ等の画像処理装置において、撮像素子から撮影画像信号を入力して信号処理を実行する信号処理部において実行する処理である。例えば図９に示す信号処理シーケンスを記録したプログラムに従ってプログラム実行機能を持つ信号処理部内のＣＰＵ等のデータ処理部において処理が実行される。

　信号処理部は、撮像素子から入力するＲＧＢＷの各画素信号を１つずつ順次、補正対象として選択して処理を行う。
　まず、ステップＳ１０１において、補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素であるか否かを判定する。
　補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素である場合はステップＳ１０７に進む。
　補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素でない場合、すなわちＲＧＢいずれかのカラー画素である場合は、ステップＳ１０２に進む。

　補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素である場合はステップＳ１０７に進み、従来型の平滑化処理を実行して、補正対象画素（注目画素）であるＷ画素の補正画素値を算出し、ノイズ低減画素とする。
　ＲＧＢＷ配列において、Ｗ画素は、画素密度が大きいため、Ｗ画素のみを参照画素として選択してＷ画素のみからなる参照画素の画素値を利用して平滑化重みを設定して補正画素値を算出しても補正精度が低下する可能性は低い。

　一方、補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素でない場合、すなわちＲＧＢいずれかのカラー画素である場合は、ステップＳ１０２に進む。
　ステップＳ１０２では、注目画素を中心とした参照画素領域にある注目画素と同一色の参照画素位置にＷ画素を設定するＷ画素補間処理を実行する。
　この処理は、先に図３、図５を参照して説明したＷ画素補間処理である。

　次に、ステップＳ１０３において、補間Ｗ画素に飽和画素が１つでも存在するか否かを判定する。
　補間Ｗ画素に飽和画素が１つでも存在することが確認された場合には、ステップＳ１０５に進む。
　補間Ｗ画素に飽和画素が１つも存在しないことを確認した場合にはステップＳ１０４に進む。

　補間Ｗ画素に飽和画素が１つも存在しないことを確認し、ステップＳ１０４に進むと、ステップＳ１０４とＳ１０６において、先に説明した（式１）に従った補正画素値の算出処理を行う。すなわち、補間Ｗ画素の画素値を適用した平滑化重みを利用して、（式１）に従って注目画素の画素値を算出する。この補正画素値をノイズ低減後の注目画素の画素値として設定する。

　一方、補間Ｗ画素に飽和画素が１つ以上存在することを確認した場合は、ステップＳ１０５とＳ１０６において、先に説明した（式２）に従った補正画素値の算出処理を行う。すなわち、補間Ｗ画素の画素値を適用せず、注目画素と注目画素と同一色の参照画素の画素値を適用した平滑化重みを算出して、（式２）に従って注目画素の画素値を算出する。この補正画素値をノイズ低減後の注目画素の画素値として設定する。

　ステップＳ１０６において、（式１）または（式２）を適用した補正画素値の算出が終了すると、ステップＳ１１０に進む。
　ステップＳ１１０では、画像の構成画素の全てに対する補正画素値の算出が完了したか否かを判定する。未処理画素がある場合は、ステップＳ１０１に戻り、ステップＳ１０１以下の処理を未処理画素に対して実行して未処理画素に対する補正画素値算出処理を行う。
　ステップＳ１１０において、全ての画素に対する処理が終了したと判定されると処理を終了する。

　　［３．欠陥補正対象となるカラー画素の補正処理において、Ｗ画素を適用したテクスチャ検出結果に応じて欠陥補正を実行する処理例について］
　次に、本開示の画像処理装置において実行する画像に含まれる欠陥画素の補正処理例として、補正対象となるカラー画素の画素位置近傍のＷ画素を適用したテクスチャ検出を行いテクスチャ検出結果に応じて補正処理の実行要否を判定して補正を行う処理例について説明する。

　先に、図１、図２を参照して説明したように、Ｗ（Ｗｈｉｔｅ）画素を含むＲＧＢＷ配列は従来のベイヤ（Ｂａｙｅｒ）配列と比べてカラー画素間距離が遠くなるため、
欠陥補正が困難となる問題がある。
　特に、ハードウェア（ＨＷ）コストを削減するため、先に図８を参照して説明したような１次元（１Ｄ）の画素データを適用した欠陥補正処理を行う場合には、より画素間距離が長くなるため、その問題が顕著となる。
　なお、１次元（１Ｄ）の画素データを適用した欠陥補正処理は、例えば補正対象となる画素（注目画素）と同一色の近傍画素を参照画素として選択して、参照画素の画素値を適用して補正画素の画素値を算出する処理を行う。
　このような場合、同一色の画素が補正対象画素近傍に多数存在すれば、より高精度の補正が可能となるが、補正対象画素近傍に参照可能な同一色の画素が少ない場合は、欠陥補正の精度が低下してしまう。特に、撮影画像に含まれる被写体の模様等のテクスチャが存在する場合、損傷画素がまばらであると、欠陥であるのかテクスチャであるのかの判別が困難となり、高精度の欠陥補正は極めて困難となる。

　例えば、図１０に示すように、（ａ）～（ｄ）に示すＲＧＢＷ配列において、水平方向に見るとすべての配列でＷ画素は２画素に１個あるのに対し、すべての配列のＲＢ画素と（ｃ）配列以外のＧ画素は４画素にひとつの割合でしか存在しない。
　同色画素間の距離が離れる程、テクスチャと欠陥の分離が困難となるため、従来、多く行われていた１Ｄ欠陥補正の手法をそのまま適用することはできない。

　以下では、補正対象画素（注目画素）に隣接するＷ（Ｗｈｉｔｅ）画素を用いた解析処理を実行して、欠陥であるかテクスチャであるかを判別し、欠陥であると判断された場合に欠陥補正を実行する処理例について説明する。

　まず、図１１を参照して本開示の欠陥補正処理の概要について説明する。
　近年用いられるセンサでは、画素密度が高くなり、画像撮影処理における実シーンの１つの輝点は光学系の特性により２画素以上に跨って観測される。図１１（１）に示すように１つの輝点は、例えば中央カラー画素Ｇのみならず、隣のＷ画素に跨って観測される。一方、画素欠陥は光学的特性の影響を受けないため、１画素単体で大きく信号レベルが上下する。

　さらに、図１１（２）に示すように、Ｗ（Ｗｈｉｔｅ）画素は可視光全域を透過する特性があるため、例えば、輝点の影響で参照領域の中央にある補正対象画素（注目画素）であるカラー画素（Ｇ）の信号レベルが上がる場合には隣接するＷ（Ｗｈｉｔｅ）画素の信号レベルが上昇する。
　しかし、補正対象画素（注目画素）であるカラー画素（Ｇ）が欠陥に起因して画素レベルが上がっている場合には、隣のＷ画素の画素レベルはＧ画素に比較して比較的低い画素レベルとなる。
　つまり、補正対象画素（注目画素）に隣接するＷ（Ｗｈｉｔｅ）画素を用いた解析処理を行うことで、欠陥であるか撮影画像に応じたテクスチャであるかを判別することが有効となる。

　次に、図１２、図１３を参照して一般的な画素欠陥の検出処理例について説明する。
　まず、図１２を参照して欠陥検出処理例１について説明する。
　図１２に示す欠陥検出処理例は、先に図８を参照して説明したと同様の１次元（１Ｄ）の画素ラインデータを利用した欠陥検出処理例である。
　図１２の画素ラインの中央の補正対象画素（注目画素）Ｇ（ｘ）が欠陥画素であるか否かを判定する。

　この処理において、Ｇ（ｘ）と同一色の近傍Ｇ画素の画素値を取得する。
　図に示す例では、Ｇ（ｘ＋８）、Ｇ（ｘ＋４）、Ｇ（ｘ）、Ｇ（ｘ－４）、Ｇ（ｘ－８）、これらの各Ｇ画素の画素値を取得する。
　さらに、これらの５つのＧ画素の画素値の最大値（ｍａｘ）と、最小値（ｍｉｎ）を判定する。
　Ｇ（ｘ）が最大値（ｍａｘ）である場合は、Ｇ（ｘ）画素が白点欠陥の可能性があると判定し、
　Ｇ（ｘ）が最小値（ｍｉｎ）である場合は、Ｇ（ｘ）画素が黒点欠陥の可能性があると判定する。
　白点欠陥は、正常画素値より高い画素値を出力する欠陥であり、黒点欠陥は、正常画素値より低い画素値を出力する欠陥である。

　次に、図１３を参照して欠陥検出処理例２について説明する。
　図１３に示す欠陥検出処理例は、
　（ａ）補正対象画素（注目画素）Ｇ（ｘ）の画素値、
　（ｂ）補正対象画素（注目画素）Ｇ（ｘ）の周辺の画素から推定される補正対象画素（注目画素）Ｇ（ｘ）位置の推定画素値、
　これら（ａ），（ｂ）の画素値を比較して補正対象画素（注目画素）Ｇ（ｘ）が欠陥画素であるか否かを判定する処理である。

　この処理においても、先の処理例１と同様、まず、Ｇ（ｘ）と同一色の近傍Ｇ画素の画素値を取得する。
　図に示す例では、Ｇ（ｘ＋８）、Ｇ（ｘ＋４）、Ｇ（ｘ）、Ｇ（ｘ－４）、Ｇ（ｘ－８）、これらの各Ｇ画素の画素値を取得する。

　さらに、Ｇ（ｘ）の左側の２つのＧ画素、Ｇ（ｘ－４）、Ｇ（ｘ－８）から推定される補正対象画素（注目画素）Ｇ（ｘ）位置の推定画素値Ｇｌ（ｘ）を以下の式に従って算出する。
　Ｇｌ（ｘ）＝Ｇ（ｘ－４）＋｛Ｇ（ｘ－４）－Ｇ（ｘ－８）｝
　同様に、Ｇ（ｘ）の右側の２つのＧ画素、Ｇ（ｘ＋４）、Ｇ（ｘ＋８）から推定される補正対象画素（注目画素）Ｇ（ｘ）位置の推定画素値Ｇｒ（ｘ）を以下の式に従って算出する。
　Ｇｒ（ｘ）＝Ｇ（ｘ＋４）＋｛Ｇ（ｘ＋４）－Ｇ（ｘ＋８）｝

　これらの２つの推定画素値：Ｇｌ（ｘ），Ｇｒ（ｘ）と、実際の補正対象画素（注目画素）の画素値Ｇ（ｘ）を比較する。
　Ｇ（ｘ）が、２つの推定画素値：Ｇｌ（ｘ），Ｇｒ（ｘ）の最大値（ｍａｘ）より大きい場合は、Ｇ（ｘ）画素が白点欠陥の可能性があると判定し、
　Ｇ（ｘ）が、２つの推定画素値：Ｇｌ（ｘ），Ｇｒ（ｘ）の最小値（ｍｉｎ）より小さい場合は、Ｇ（ｘ）画素が黒点欠陥の可能性があると判定する。
　白点欠陥は、正常画素値より高い画素値を出力する欠陥であり、黒点欠陥は、正常画素値より低い画素値を出力する欠陥である。

　画素の欠陥検出は、例えば、図１２、図１３を参照して説明した処理にしたがって実行される。なお、この他にも様々な欠陥検出処理があり、本開示の構成では、様々な欠陥検出処理を適用可能である。

　次に、本開示の画像処理装置において実行する画像からのテクスチャ検出処理の一例について、図１４を参照して説明する。
　図１４には、
　（１）テクスチャ検出用画素の設定例
　（２）テクスチャ検出シーケンス
　これらを示している。

　（１）テクスチャ検出用画素の設定例は、先に図８を参照して説明したと同様、１次元（１Ｄ）の画素データ、すなわち１ラインの画素データを利用した例である。
　テクスチャの有無を判別する対象である補正対象画素（注目画素）を図１４（１）に示すＧ（ｘ）とする。

　この注目画素Ｇ（ｘ）の近傍のＷ画素の画素値を取得する。
　図１４（１）に示す例では、
　Ｗ（ｘ－３）、Ｗ（ｘ－１）、Ｗ（ｘ＋１）、Ｗ（ｘ＋３）、
　これらの４つの近傍Ｗ画素の画素値を取得する。
　例えば、図１４（１）に示すグラフのように、各座標位置に対応する各画素の信号レベルが取得される。

　図１４（２）は、凸テクスチャ、すなわち、注目画素Ｇ（ｘ）の信号レベルが周囲より高くなるテクスチャであるか否かを判別する処理である。
　先に図１１を参照して説明したように１つの輝点に応じて複数の隣接画素の画素値に影響を及ぼすため、凸テクスチャの場合は隣接Ｗもレベルが上がると考えてよい。
　従って、まず、注目画素Ｇ（ｘ）の隣接Ｗ画素の最大値を、以下の（式３）に従って算出する。
　Ｍａｘ（Ｗ（ｘ－１），Ｗ（ｘ＋１））・・・・（式３）

　次に、上記の隣接Ｗ画素の外側の２つのＷ画素の最小値を以下の（式４）に従って算出する。
　Ｍｉｎ（Ｗ（ｘ－３），Ｗ（ｘ＋３））・・・・（式４）

　次に、上記（式３）に従って算出される、注目画素Ｇ（ｘ）の隣接Ｗ画素の最大値と、上記（式４）に従って算出される、注目画素Ｇ（ｘ）の外周のＷ画素の最小値との差分を算出して予め設定したしきい値（Ｔｈ）と比較する。
　この差分がしきい値（Ｔｈ）より大きい場合は、注目画素Ｇ（ｘ）はテクスチャ（凸テクスチャ）であると判定する。
　この差分がしきい値（Ｔｈ）より大きくない場合は、注目画素Ｇ（ｘ）はテクスチャ（凸テクスチャ）でないと判定する。
　すなわち、
　ｉｆ（Ｍａｘ（Ｗ（ｘ－１），Ｗ（ｘ＋１））－Ｍｉｎ（Ｗ（ｘ－３），Ｗ（ｘ＋３））＞Ｔｈ）・・・・（式５）
　上記（式５）が成立すれば、注目画素Ｇ（ｘ）はテクスチャ（凸テクスチャ）であると判定する。
　上記（式５）が成立しない場合は、注目画素Ｇ（ｘ）はテクスチャ（凸テクスチャ）でないと判定する。

　図１４（２）は、凸テクスチャ、すなわち、注目画素Ｇ（ｘ）の信号レベルが周囲より高くなるテクスチャであるか否かを判別する処理であるが、凹テクスチャ、すなわち、注目画素Ｇ（ｘ）の信号レベルが周囲より低くなるテクスチャであるか否かを判別する処理も同様に実行される。

　凹テクスチャ判別処理では、まず、注目画素Ｇ（ｘ）の隣接Ｗ画素の最小値を、以下の（式３）に従って算出する。
　Ｍｉｎ（Ｗ（ｘ－１），Ｗ（ｘ＋１））・・・・（式６）

　次に、上記の隣接Ｗ画素の外側の２つのＷ画素の最大値を以下の（式７）に従って算出する。
　Ｍａｘ（Ｗ（ｘ－３），Ｗ（ｘ＋３））・・・・（式７）

　次に、上記（式６）に従って算出される、注目画素Ｇ（ｘ）の隣接Ｗ画素の最小値と、上記（式７）に従って算出される、注目画素Ｇ（ｘ）の外周のＷ画素の最大値との差分を算出して予め設定したしきい値（Ｔｈ）と比較する。
　この差分がしきい値（Ｔｈ）より大きい場合は、注目画素Ｇ（ｘ）はテクスチャ（凹テクスチャ）であると判定する。
　この差分がしきい値（Ｔｈ）より大きくない場合は、注目画素Ｇ（ｘ）はテクスチャ（凹テクスチャ）でないと判定する。
　すなわち、
　ｉｆ（Ｍａｘ（Ｗ（ｘ－３），Ｗ（ｘ＋３））－Ｍｉｎ（Ｗ（ｘ－１），Ｗ（ｘ＋１））＞Ｔｈ）・・・・（式８）
　上記（式８）が成立すれば、注目画素Ｇ（ｘ）はテクスチャ（凹テクスチャ）であると判定する。
　上記（式８）が成立しない場合は、注目画素Ｇ（ｘ）はテクスチャ（凹テクスチャ）でないと判定する。

　このように本開示の画像処理装置は、Ｗ画素を適用したテクスチャ判定処理を行う。先に図１２、図１３を参照して説明した欠陥可能性の判定処理を実行し、さらに、欠陥可能性ありと判定された場合には、図１４を参照して説明したテクスチャ判定処理を行い、欠陥可能性ありと判定した画素がテクスチャであると判定された場合は、欠陥でないと判断して欠陥補正としての画素値補正を実行せず、そのままの画素値を有効な画素値として出力する。

　図１５を参照して、本開示の画像処理装置において実行する欠陥補正処理の処理シーケンスについて説明する。
　図１５に示すフローは、例えばデジタルカメラ等の画像処理装置において、撮像素子から撮影画像信号を入力して信号処理を実行する信号処理部において実行する処理である。例えば図１５に示す信号処理シーケンスを記録したプログラムに従ってプログラム実行機能を持つ信号処理部内のＣＰＵ等のデータ処理部において処理が実行される。

　信号処理部は、撮像素子から入力するＲＧＢＷの各画素信号を１つずつ順次、補正対象として選択して処理を行う。
　まず、ステップＳ２０１において、補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素であるか否かを判定する。
　補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素である場合はステップＳ２０７に進む。
　補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素でない場合、すなわちＲＧＢいずれかのカラー画素である場合は、ステップＳ２０２に進む。

　補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素である場合はステップＳ２０７に進み、従来型の欠陥補正処理を実行する。ステップＳ２０７では、Ｗ（Ｗｈｉｔｅ）画素の欠陥可能性を判定し、欠陥画素であると判定した場合は補正対象画素（注目画素）であるＷ画素の補正画素値を算出し、出力画素とする。なお、ＲＧＢＷ配列において、Ｗ画素は、画素密度が大きいため、Ｗ画素のみを参照画素として選択してＷ画素のみからなる参照画素の画素値を利用して補正画素値を算出しても補正精度が低下する可能性は低い。

　一方、補正対象画素（注目画素）がＷ（Ｗｈｉｔｅ）画素でない場合、すなわちＲＧＢいずれかのカラー画素である場合は、ステップＳ２０２に進む。
　ステップＳ２０２では、ＲＧＢいずれかのカラー画素である注目画素が欠陥画素である可能性を判定する。
　この処理は、例えば先に図１２、図１３を参照して説明した欠陥検出処理を適用して実行される。

　ステップＳ２０３において、ＲＧＢいずれかのカラー画素である注目画素が欠陥画素である可能性ありと判定した場合は、ステップＳ２０４に進む。
　一方、ステップＳ２０３において、ＲＧＢいずれかのカラー画素である注目画素が欠陥画素である可能性がないと判定した場合は、注目画素に対する欠陥補正を行うことなくステップＳ２１０に進む。

　ステップＳ２０３において、ＲＧＢいずれかのカラー画素である注目画素が欠陥画素である可能性ありと判定した場合は、ステップＳ２０４において、さらに、注目画素テクスチャ領域であるか否かを判定するテクスチャ判定処理を行う。
　このテクスチャ判定処理は、注目画素近傍のＷ画素を適用して実行する。すなわち、先に図１４を参照して説明したテクスチャ判定処理を実行する。

　ステップＳ２０５において、注目画素がテクスチャ領域であると判定した場合は、注目画素に対する欠陥補正処理は行わず、ステップＳ２１０に進む。
　一方、ステップＳ２０５において、注目画素がテクスチャ領域でないと判定した場合は、注目画素が欠陥画素であると判定し、ステップＳ２０６において欠陥補正処理を実行する。

　なお、この欠陥補正処理は、例えば以下の処理を行う。
　注目画素が、白点の可能性があり凸テクスチャでなければ、例えば以下の欠陥補正（ａ），（ｂ）のいずれかの処理を行う。
　（ａ）注目画素の近傍の同一色の４つの画素の画素値中、高画素値順の２番目の画素値（２ｎｄ＿ｍａｘ）を注目画素の補正画素値とする。
　（ｂ）先に図１３を参照して説明した注目画素の左側の同一色画素の画素値からの第１推定画素値と、右側の同一色画素の画素値からの第２推定画素値の最大値を注目画素の補正画素値とする。

　上記（ｂ）の処理は、例えば注目画素が図１３に示すＧ（ｘ）である場合、以下のようにして補正画素値を設定する。
　Ｇ（ｘ）の左側の２つのＧ画素、Ｇ（ｘ－４）、Ｇ（ｘ－８）から、以下の式に従って第１推定画素値Ｇｌ（ｘ）算出する。
　Ｇｌ（ｘ）＝Ｇ（ｘ－４）＋｛Ｇ（ｘ－４）－Ｇ（ｘ－８）｝
　さらに、Ｇ（ｘ）の右側の２つのＧ画素、Ｇ（ｘ＋４）、Ｇ（ｘ＋８）から、以下の式に従って第２推定画素値Ｇｒ（ｘ）算出する。
　Ｇｒ（ｘ）＝Ｇ（ｘ＋４）＋｛Ｇ（ｘ＋４）－Ｇ（ｘ＋８）｝
　これらの２つの推定画素値：Ｇｌ（ｘ），Ｇｒ（ｘ）の最大値、すなわち、
　ｍａｘ（Ｇｌ（ｘ），Ｇｒ（ｘ））、
　上記の式に従って選択されるＧｌ（ｘ），Ｇｒ（ｘ）のいずれか最大画素値を補正対象となる注目画素Ｇ（ｘ）の補正画素値とする。
　このような処理によって補正画素値を設定する。

　一方、注目画素が、黒点の可能性があり凹テクスチャでなければ、例えば以下の欠陥補正（ｃ），（ｄ）のいずれかの処理を行う。
　（ｃ）注目画素の近傍の同一色の４つの画素の画素値中、低画素値順の２番目の画素値（２ｎｄ＿ｍｉｎ）を注目画素の補正画素値とする。
　（ｄ）先に図１３を参照して説明した注目画素の左側の同一色画素の画素値からの第１推定画素値と、右側の同一色画素の画素値からの第２推定画素値の最小値を注目画素の補正画素値とする。

　上記（ｄ）の処理は、例えば注目画素が図１３に示すＧ（ｘ）である場合、以下のようにして補正画素値を設定する。
　Ｇ（ｘ）の左側の２つのＧ画素、Ｇ（ｘ－４）、Ｇ（ｘ－８）から、以下の式に従って第１推定画素値Ｇｌ（ｘ）算出する。
　Ｇｌ（ｘ）＝Ｇ（ｘ－４）＋｛Ｇ（ｘ－４）－Ｇ（ｘ－８）｝
　さらに、Ｇ（ｘ）の右側の２つのＧ画素、Ｇ（ｘ＋４）、Ｇ（ｘ＋８）から、以下の式に従って第２推定画素値Ｇｒ（ｘ）算出する。
　Ｇｒ（ｘ）＝Ｇ（ｘ＋４）＋｛Ｇ（ｘ＋４）－Ｇ（ｘ＋８）｝
　これらの２つの推定画素値：Ｇｌ（ｘ），Ｇｒ（ｘ）の最小値、すなわち、
　ｍｉｎ（Ｇｌ（ｘ），Ｇｒ（ｘ））、
　上記の式に従って選択されるＧｌ（ｘ），Ｇｒ（ｘ）のいずれか最小画素値を補正対象となる注目画素Ｇ（ｘ）の補正画素値とする。
　このような処理によって補正画素値を設定する。

　ステップＳ２０６の欠陥補正処理はこのような注目画素の補正画素値設定処理として実効する。
　次に、ステップＳ２１０では、画像の構成画素の全てに対するステップＳ２０１～Ｓ２０７の欠陥補正処理が完了したか否かを判定する。未処理画素がある場合は、ステップＳ２０１に戻り、ステップＳ２０１以下の処理を未処理画素に対して実行して未処理画素に対する処理を行う。
　ステップＳ２１０において、全ての画素に対する処理が終了したと判定されると処理を終了する。

　　［４．画像処理装置の構成例について］
　次に、上述したノイズ低減処理および欠陥補正処理を実行する画像処理装置の構成例について説明する。
　図１６～図１８を参照して、本開示の画像処理装置の複数の構成例について説明する。図１６～図１８に示す信号処理部は、例えばデジタルカメラにおける信号処理部として構成される。図１６～図１８は、以下の設定とした信号処理部に相当する。

　（ａ）図１６に示す信号処理部２００：１次元（１Ｄ）画素データを利用した欠陥補正と、２次元（２Ｄ）領域の参照領域を利用したノイズ低減（ＮＲ）処理を実行する信号処理部。
　（ｂ）図１７に示す信号処理部３００：１次元（１Ｄ）画素データを利用した欠陥補正とノイズ低減（ＮＲ）処理を実行する信号処理部。
　（ｃ）図１８の信号処理部４００：２次元（２Ｄ）領域の参照領域を利用した欠陥補正と、ノイズ低減（ＮＲ）処理を実行する信号処理部。
　以下、これらの信号処理部の構成と処理について、順次説明する。
　なお、いずれの信号処理部も例えばデジタルカメラ内に構成され、例えばデジタルカメラのメモリに記憶されたプログラムに従ってＣＰＵなどによって構成される制御部から制御信号を入力し、制御信号によって規定されたタイミングやシーケンスに従って、順次、規定の処理を実行する。

　　［４－１．画像処理装置の構成例１］
　まず、図１６を参照して、第１の画像処理装置の構成例として、１次元（１Ｄ）画素データを利用した欠陥補正と、２次元（２Ｄ）領域の参照領域を利用したノイズ低減（ＮＲ）処理を実行する信号処理部２００を有する画像処理装置の例について説明する。
　図１６に示す信号処理部２００は、データ変換処理部２１０と、ＲＧＢ信号処理部２３０を有する。

　データ変換処理部２１０は、図１６に示すように、ＲＧＢＷ画素配列を持つ撮像素子（イメージセンサ）１５０から水平方向ラインの画素順に画素信号を、順次入力する。
　データ変換処理部２１０は、撮像素子（イメージセンサ）１５０から入力する水平方向ラインの画素順に補正対象画素を選択して１次元（１Ｄ）画素データを利用した欠陥補正と、２次元（２Ｄ）領域の参照領域を利用したノイズ低減（ＮＲ）処理を実行する。

　まず、Ｗ画素欠陥補正部２１１とカラー画素欠陥補正部２１２において、先に説明した項目［３．欠陥補正対象となるカラー画素の補正処理において、Ｗ画素を適用したテクスチャ検出結果に応じて欠陥補正を実行する処理例について］において、図１０～図１５を参照して説明した欠陥補正処理を実行する。

　Ｗ画素欠陥補正部２１１は、欠陥補正対象画素（注目画素）がＷ画素である場合の処理を実行する。カラー画素欠陥補正部２１２は、欠陥補正対象画素（注目画素）がＷ画素以外のＲＧＢ各カラー画素である場合の処理を実行する。
　なお、これらの処理において、カラー画素欠陥補正部２１２は、前述したようにＷ画素に基づくテクスチャ検出を行い、注目画素がテクスチャ領域であると判定された場合は、注目画素の画素値補正を行わず、元の画素値を有効な画素値としてそのまま出力する。欠陥画素であるがテクスチャではないと判定した場合は、補正を実行して補正画素値を設定する。

　Ｗ画素欠陥補正部２１１とカラー画素欠陥補正部２１２において欠陥補正処理が完了した画素データは、ラインメモリ２１３に格納される。

　次のＷ画素ノイズ低減（ＮＲ）処理部２１４と、カラー画素ノイズ低減（ＮＲ）処理部２１５は、ラインメモリ２１３に格納された画素データを利用して２次元領域の参照領域を設定したノイズ低減処理を実行する。この処理は、先に説明した項目［２．補正対象となるカラー画素の画素位置にＷ画素を補間し、補間Ｗ画素を適用してカラー画素の補正画素値を算出する処理例について］において、図２～図９を参照して説明した処理である。

　例えば処理対象とする注目画素を中心に設定した７×７画素等の参照領域を設定して前述の項目［２］において説明したノイズ低減処理を行う。

　Ｗ画素ノイズ低減（ＮＲ）処理部２１４は、ノイズ低減処理対象画素（注目画素）がＷ画素である場合の処理を実行する。カラー画素ノイズ低減（ＮＲ）処理部２１５は、ノイズ低減処理対象画素（注目画素）がＷ画素以外のＲＧＢ各カラー画素である場合の処理を実行する。

　なお、これらの処理において、カラー画素ノイズ低減（ＮＲ）処理部２１５は、先に図３、図５、図７等を参照して説明したように、参照領域における注目画素と参照画素位置に対する補間Ｗ画素の設定を行い、補間Ｗ画素を適用した平滑化重みを算出して先に説明した（式１）に従って補正画素値を算出する。
　ただし補間Ｗ画素が飽和している場合は先に説明した（式２）を適用した補正画素値算出処理を実行する。

　さらに、これら欠陥補正とノイズ低減の各処理の行われた補正画素データは、色相関リモザイク処理部２２０に入力される。
　色相関リモザイク処理部２２０は、Ｗ画素ノイズ低減（ＮＲ）処理部２１４と、カラー画素ノイズ低減（ＮＲ）処理部２１５からの出力信号であるＲＧＢＷ信号を入力し、ＲＧＢＷのカラー配列からＲＧＢ配列２３１への変換処理を実行する。

　具体的には、例えば、
　Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
　Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
　Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
　Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
　Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
　これら５つの変換や補正処理を実行する。

　なお、これらのリモザイク処理の態様は一つの例であり、撮像素子に設定されたカラーフィルタの構成によって決定される入力画像信号と、ＲＧＢ信号処理部２３０に対して出力する出力画像信号の対応関係に応じてリモザイク処理態様が決定される。

　本実施例における色相関リモザイク処理部２２０の各構成要素は以下の処理を実行する。
　Ｗ位置Ｇ補間パラメータ算出部２２１は、ＲＧＢＷ配列のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータを算出する。
　Ｇ位置ＲＢ補間パラメータ算出部２２２は、ＲＧＢＷ配列のＧ画素位置に設定するＲ画素値またはＢ画素値の算出に適用する補間パラメータを算出する。

　Ｒ位置Ｒ補間パラメータ算出部２２３は、ＲＧＢＷ配列のＲ画素位置に設定する補正Ｒ画素値の算出に適用する補間パラメータを算出する。
　Ｂ位置Ｂ補間パラメータ算出部２２４は、ＲＧＢＷ配列のＢ画素位置に設定する補正Ｂ画素値の算出に適用する補間パラメータを算出する。

　加重加算処理部２２５は、各補間パラメータ算出部２２１～２２４の算出した補間パラメータを入力し、ＲＧＢ配列（ベイヤ配列）２３１を構成する各画素のＲＧＢ信号値を算出する。
　なお、色相関リモザイク処理部（データ変換部）２２０の実行するＲＧＢＷ配列からＲＧＢ配列へのデータ変換処理は、基本的に本出願人の先行出願である特開２０１１－５５０３８号公報に記載された処理を利用可能である。このデータ変換処理の詳細については、特開２０１１－５５０３８号公報を参照されたい。
　このようにして、加重加算処理部２２５の生成したＲＧＢ配列（ベイヤ配列）２３１は、ＲＧＢ信号処理部２３０に出力される。

　ＲＧＢ信号処理部２３０は、一般的なカメラや画像処理装置が持つＲＧＢ配列（ベイヤ配列）信号に対する信号処理部と同様である。ＲＧＢ信号処理部２３０は、加重平均部２２５から出力されるＲＧＢ配列（ベイヤ配列）２３１に対する信号処理を実行してカラー画像を生成する。ＲＧＢ信号処理部２３０は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行してカラー画像を生成する。

　　［４－２．画像処理装置の構成例２］
　次に、図１７を参照して、第２の画像処理装置の構成例として、１次元（１Ｄ）画素データを利用した欠陥補正とノイズ低減（ＮＲ）処理を実行する信号処理部３００を有する画像処理装置の例について説明する。
　図１７に示す信号処理部３００は、データ変換処理部３１０と、ＲＧＢ信号処理部３３０を有する。

　データ変換処理部３１０は、図１７に示すように、ＲＧＢＷ画素配列を持つ撮像素子（イメージセンサ）１５０から水平方向ラインの画素順に画素信号を、順次入力する。
　データ変換処理部３１０は、撮像素子（イメージセンサ）１５０から入力する水平方向ラインの画素順に補正対象画素を選択して１次元（１Ｄ）画素データを利用した欠陥補正とノイズ低減（ＮＲ）処理を実行する。

　まず、Ｗ画素欠陥補正部３１１とカラー画素欠陥補正部３１２において、先に説明した項目［３．欠陥補正対象となるカラー画素の補正処理において、Ｗ画素を適用したテクスチャ検出結果に応じて欠陥補正を実行する処理例について］において、図１０～図１５を参照して説明した欠陥補正処理を実行する。

　Ｗ画素欠陥補正部３１１は、欠陥補正対象画素（注目画素）がＷ画素である場合の処理を実行する。カラー画素欠陥補正部３１２は、欠陥補正対象画素（注目画素）がＷ画素以外のＲＧＢ各カラー画素である場合の処理を実行する。
　なお、これらの処理において、カラー画素欠陥補正部３１２は、前述したようにＷ画素に基づくテクスチャ検出を行い、注目画素がテクスチャ領域であると判定された場合は、注目画素の画素値補正を行わず、元の画素値を有効な画素値としてそのまま出力する。欠陥画素であるがテクスチャではないと判定した場合は、補正を実行して補正画素値を設定する。

　Ｗ画素欠陥補正部３１１において欠陥補正処理が完了した画素データは、ラインメモリ２１３に格納される。
　カラー画素欠陥補正部３１２において欠陥補正処理が完了した画素データは、カラー画素水平ノイズ低減（ＮＲ）処理部３１３に入力される。

　カラー画素水平ノイズ低減（ＮＲ）処理部３１３は、カラー画素欠陥補正部３１２において欠陥補正処理が完了した画素データを１次元（１Ｄ）の画素ラインデータとして順次、入力し、１次元（１Ｄ）の画素ラインデータを利用したノイズ低減処理を実行する。この処理は、先に説明した項目［２．補正対象となるカラー画素の画素位置にＷ画素を補間し、補間Ｗ画素を適用してカラー画素の補正画素値を算出する処理例について］において、図８を参照して説明した処理である。

　図８を参照して説明したようにノイズ低減処理対象となるカラー画素と画素ライン上の同一色の近傍画素位置にＷ画素を補間して、補間Ｗ画素の設定を行い、補間Ｗ画素を適用した平滑化重みを算出して先に説明した（式１）に従って補正画素値を算出する。
　ただし補間Ｗ画素が飽和している場合は先に説明した（式２）を適用した補正画素値算出処理を実行する。

　水平ラインを適用してノイズ低減された画素データは、カラー画素い垂直ノイズ低減（ＮＲ）部３１４に入力される。
　カラー画素い垂直ノイズ低減（ＮＲ）部３１４は、例えば、ＩＩＲ（Ｉｎｆｉｎｉｔ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ（無限インパルス応答））フィルタを利用して垂直方向画素を参照した補正を行う。
　カラー画素い垂直ノイズ低減（ＮＲ）部３１４の出力はラインメモリ３１５に入力される。

　さらに、ラインメモリ３１５に格納された欠陥補正とノイズ低減の各処理の行われた補正画素データは、色相関リモザイク処理部３２０に入力される。
　色相関リモザイク処理部３２０は、Ｗ位置Ｇ補間パラメータ算出部３２１、Ｇ位置ＲＢ補間パラメータ算出部３２２、Ｒ位置Ｒ補間パラメータ算出部３２３、Ｂ位置Ｂ補間パラメータ算出部３２４、加重加算処理部３２５を有する。
　色相関リモザイク処理部３２０は、先に図１６を参照して説明した色相関リモザイク処理部２２０と同様、ＲＧＢＷのカラー配列からＲＧＢ配列３３１への変換処理を実行して、生成したＲＧＢ配列３３１をＲＧＢ信号処理部３３０に出力する。

　ＲＧＢ信号処理部３３０は、一般的なカメラや画像処理装置が持つＲＧＢ配列（ベイヤ配列）信号に対する信号処理部と同様である。ＲＧＢ信号処理部３３０は、加重平均部３２５から出力されるＲＧＢ配列（ベイヤ配列）３３１に対する信号処理を実行してカラー画像を生成する。ＲＧＢ信号処理部３３０は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行してカラー画像を生成する。

　　［４－３．画像処理装置の構成例３］
　次に、図１８を参照して、第３の画像処理装置の構成例として、２次元（２Ｄ）領域の参照領域を利用した欠陥補正と、ノイズ低減（ＮＲ）処理を実行する信号処理部４００を有する画像処理装置の例について説明する。
　図１８に示す信号処理部４００は、データ変換処理部４１０と、ＲＧＢ信号処理部４３０を有する。

　データ変換処理部４１０は、図１８に示すように、ＲＧＢＷ画素配列を持つ撮像素子（イメージセンサ）１５０から水平方向ラインの画素順に画素信号を、順次入力する。
　データ変換処理部４１０は、撮像素子（イメージセンサ）１５０から入力する水平方向ラインの画素を順次ラインメモリ４１１に格納し、その後、ラインメモリ４１１に格納された２次元（２Ｄ）画像データを利用して、欠陥補正とノイズ低減（ＮＲ）処理を実行する。

　まず、ラインメモリ４１１に格納された画像データは、Ｗ画素欠陥補正部４１１とカラー画素欠陥補正部４１２において、先に説明した項目［３．欠陥補正対象となるカラー画素の補正処理において、Ｗ画素を適用したテクスチャ検出結果に応じて欠陥補正を実行する処理例について］において、図１０～図１５を参照して説明した欠陥補正処理を実行する。

　Ｗ画素欠陥補正部４１１は、欠陥補正対象画素（注目画素）がＷ画素である場合の処理を実行する。カラー画素欠陥補正部４１２は、欠陥補正対象画素（注目画素）がＷ画素以外のＲＧＢ各カラー画素である場合の処理を実行する。
　なお、これらの処理において、カラー画素欠陥補正部４１２は、前述したようにＷ画素に基づくテクスチャ検出を行い、注目画素がテクスチャ領域であると判定された場合は、注目画素の画素値補正を行わず、元の画素値を有効な画素値としてそのまま出力する。欠陥画素であるがテクスチャではないと判定した場合は、補正を実行して補正画素値を設定する。

　Ｗ画素欠陥補正部４１１と、カラー画素欠陥補正部４１２において欠陥補正処理が完了した画素データは、それぞれ次のＷ画素ノイズ低減（ＮＲ）処理部４１４と、カラー画素ノイズ低減（ＮＲ）処理部４１５に入力される。
　Ｗ画素ノイズ低減（ＮＲ）処理部４１４と、カラー画素ノイズ低減（ＮＲ）処理部４１５は、２次元領域の参照領域を設定したノイズ低減処理を実行する。この処理は、先に説明した項目［２．補正対象となるカラー画素の画素位置にＷ画素を補間し、補間Ｗ画素を適用してカラー画素の補正画素値を算出する処理例について］において、図２～図９を参照して説明した処理である。

　例えば処理対象とする注目画素を中心に設定した７×７画素等の参照領域を設定して前述の項目［２］において説明したノイズ低減処理を行う。

　Ｗ画素ノイズ低減（ＮＲ）処理部４１４は、ノイズ低減処理対象画素（注目画素）がＷ画素である場合の処理を実行する。カラー画素ノイズ低減（ＮＲ）処理部４１５は、ノイズ低減処理対象画素（注目画素）がＷ画素以外のＲＧＢ各カラー画素である場合の処理を実行する。

　なお、これらの処理において、カラー画素ノイズ低減（ＮＲ）処理部４１５は、先に図３、図５、図７等を参照して説明したように、参照領域における注目画素と参照画素位置に対する補間Ｗ画素の設定を行い、補間Ｗ画素を適用した平滑化重みを算出して先に説明した（式１）に従って補正画素値を算出する。
　ただし補間Ｗ画素が飽和している場合は先に説明した（式２）を適用した補正画素値算出処理を実行する。

　さらに、これら欠陥補正とノイズ低減の各処理の行われた補正画素データは、色相関リモザイク処理部４２０に入力される。
　色相関リモザイク処理部４２０は、Ｗ位置Ｇ補間パラメータ算出部４２１、Ｇ位置ＲＢ補間パラメータ算出部４２２、Ｒ位置Ｒ補間パラメータ算出部４２３、Ｂ位置Ｂ補間パラメータ算出部４２４、加重加算処理部４２５を有する。
　色相関リモザイク処理部４２０は、先に図１６を参照して説明した色相関リモザイク処理部２２０と同様、ＲＧＢＷのカラー配列からＲＧＢ配列４３１への変換処理を実行して、生成したＲＧＢ配列４３１をＲＧＢ信号処理部４３０に出力する。

　ＲＧＢ信号処理部４３０は、一般的なカメラや画像処理装置が持つＲＧＢ配列（ベイヤ配列）信号に対する信号処理部と同様である。ＲＧＢ信号処理部４３０は、加重平均部４２５から出力されるＲＧＢ配列（ベイヤ配列）４３１に対する信号処理を実行してカラー画像を生成する。ＲＧＢ信号処理部４３０は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行してカラー画像を生成する。

　　［５．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）画素値補正を実行する信号処理部を有し、
　前記信号処理部は、
　ＲＧＢ各カラー画素とＲＧＢ各波長のほぼ全波長光を透過するＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データを入力し、
　カラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出する画像処理装置。

　（２）前記信号処理部は、前記補間Ｗ画素の画素値に１つ以上の飽和画素値が存在するか否かを判定し、前記補間Ｗ画素の画素値に飽和画素値が存在しない場合は、前記補間Ｗ画素の各画素値に基づいて算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出し、前記補間Ｗ画素の画素値に飽和画素値が存在する場合は、前記補間Ｗ画素を適用せず、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素の各画素値に基づいて算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出する前記（１）に記載の画像処理装置。

　（３）前記信号処理部は、前記参照領域を２次元領域として２次元領域の参照領域にある注目画素と同一色画素の参照画素位置にＷ画素を補間する処理を実行する前記（１）または（２）に記載の画像処理装置。
　（４）前記信号処理部は、前記参照領域を１次元領域として１次元領域の参照領域にある注目画素と同一色画素の参照画素位置にＷ画素を補間する処理を実行する前記（１）～（３）いずれかに記載の画像処理装置。
　（５）前記信号処理部は、前記画素値補正を、前記注目画素に含まれるノイズを低減するノイズ低減処理（ＮＲ）として実行する前記（１）～（４）いずれかに記載の画像処理装置。

　（６）前記信号処理部は、前記カラー画素が欠陥画素である可能性があるか否かを判定する欠陥可能性を判定し、欠陥可能性ありと判定したカラー画素の近傍のＷ画素を適用して、該カラー画素がテクスチャ領域であるか否かを判定するテクスチャ検出処理を実行し、前記テクスチャ検出処理において、前記カラー画素がテクスチャ領域であると判定した場合は、欠陥補正処理を実行せず、前記テクスチャ検出処理において、前記カラー画素がテクスチャ領域でないと判定した場合は、欠陥補正処理を実行する前記（１）～（５）いずれかに記載の画像処理装置。
　（７）前記信号処理部は、前記テクスチャ検出処理において、欠陥可能性ありと判定したカラー画素の最近接Ｗ画素と、その外側のＷ画素の画素値差分を適用して、前記カラー画素がテクスチャ領域であるか否かを判定する前記（６）に記載の画像処理装置。

　さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。

　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

　以上、説明したように、本開示の一実施例の構成によれば、ＲＧＢＷ配列の画像に対するノイズ低減、欠陥補正処理を実行する装置、方法が実現される。
　具体的には、ＲＧＢ各カラー画素とＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データのカラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して注目画素の補正画素値を算出する。さらに、カラー画素近傍のＷ画素を適用して、該カラー画素がテクスチャ領域であるか否かを判定し、テクスチャ領域でない場合にのみ欠陥補正処理を実行する。
　これらの処理により、ＲＧＢＷ配列の画像に対するノイズ低減、欠陥補正処理を実行する装置、方法が実現される。

　１５０　撮像素子
　２００　信号処理部
　２１０　データ変換処理部
　２１１　Ｗ画素欠陥補正部
　２１２　カラー画素欠陥補正部
　２１３　ラインメモリ
　２１４　Ｗ画素ノイズ低減（ＮＲ）部
　２１５　カラー画素ノイズ低減（ＮＲ）部
　２２０　色相関リモザイク処理部
　２２１　Ｗ位置Ｇ補間パラメータ算出部
　２２２　Ｇ位置ＲＢ補間パラメータ算出部
　２２３　Ｒ位置Ｒ補間パラメータ算出部
　２２４　Ｂ位置Ｂ補間パラメータ算出部
　２２５　加重加算部
　２３０　ＲＧＢ信号処理部
　２３１　ＲＧＢ配列
　３００　信号処理部
　３１０　データ変換処理部
　３１１　Ｗ画素欠陥補正部
　３１２　カラー画素欠陥補正部
　３１３　カラー画素水平ノイズ低減（ＮＲ）部
　３１４　カラー画素垂直ノイズ低減（ＮＲ）部
　３１５　ラインメモリ
　３２０　色相関リモザイク処理部
　３２１　Ｗ位置Ｇ補間パラメータ算出部
　３２２　Ｇ位置ＲＢ補間パラメータ算出部
　３２３　Ｒ位置Ｒ補間パラメータ算出部
　３２４　Ｂ位置Ｂ補間パラメータ算出部
　３２５　加重加算部
　３３０　ＲＧＢ信号処理部
　３３１　ＲＧＢ配列
　４００　信号処理部
　４１０　データ変換処理部
　４１１　ラインメモリ
　４１２　Ｗ画素欠陥補正部
　４１３　カラー画素欠陥補正部
　４１４　Ｗ画素ノイズ低減（ＮＲ）部
　４１５　カラー画素ノイズ低減（ＮＲ）部
　４２０　色相関リモザイク処理部
　４２１　Ｗ位置Ｇ補間パラメータ算出部
　４２２　Ｇ位置ＲＢ補間パラメータ算出部
　４２３　Ｒ位置Ｒ補間パラメータ算出部
　４２４　Ｂ位置Ｂ補間パラメータ算出部
　４２５　加重加算部
　４３０　ＲＧＢ信号処理部
　４３１　ＲＧＢ配列

Claims (9)

1. 　画素値補正を実行する信号処理部を有し、
   　前記信号処理部は、
   　ＲＧＢ各カラー画素とＲＧＢ各波長のほぼ全波長光を透過するＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データを入力し、
   　カラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出する画像処理装置。
2. 　前記信号処理部は、
   　前記補間Ｗ画素の画素値に１つ以上の飽和画素値が存在するか否かを判定し、
   　前記補間Ｗ画素の画素値に飽和画素値が存在しない場合は、前記補間Ｗ画素の各画素値に基づいて算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出し、
   　前記補間Ｗ画素の画素値に飽和画素値が存在する場合は、前記補間Ｗ画素を適用せず、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素の各画素値に基づいて算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出する請求項１に記載の画像処理装置。
3. 　前記信号処理部は、
   　前記参照領域を２次元領域として２次元領域の参照領域にある注目画素と同一色画素の参照画素位置にＷ画素を補間する処理を実行する請求項１に記載の画像処理装置。
4. 　前記信号処理部は、
   　前記参照領域を１次元領域として１次元領域の参照領域にある注目画素と同一色画素の参照画素位置にＷ画素を補間する処理を実行する請求項１に記載の画像処理装置。
5. 　前記信号処理部は、
   　前記画素値補正を、前記注目画素に含まれるノイズを低減するノイズ低減処理（ＮＲ）として実行する請求項１に記載の画像処理装置。
6. 　前記信号処理部は、
   　前記カラー画素が欠陥画素である可能性があるか否かを判定する欠陥可能性を判定し、
   　欠陥可能性ありと判定したカラー画素の近傍のＷ画素を適用して、該カラー画素がテクスチャ領域であるか否かを判定するテクスチャ検出処理を実行し、
   　前記テクスチャ検出処理において、前記カラー画素がテクスチャ領域であると判定した場合は、欠陥補正処理を実行せず、
   　前記テクスチャ検出処理において、前記カラー画素がテクスチャ領域でないと判定した場合は、欠陥補正処理を実行する請求項１に記載の画像処理装置。
7. 　前記信号処理部は、
   　前記テクスチャ検出処理において、欠陥可能性ありと判定したカラー画素の最近接Ｗ画素と、その外側のＷ画素の画素値差分を適用して、前記カラー画素がテクスチャ領域であるか否かを判定する請求項６に記載の画像処理装置。
8. 　画像処理装置において画素値補正を実行する画像処理方法であり、
   　前記画像処理装置の信号処理部が、
   　ＲＧＢ各カラー画素とＲＧＢ各波長のほぼ全波長光を透過するＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データを入力し、
   　カラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出する画像処理方法。
9. 　画像処理装置において画素値補正を実行させるプログラムであり、
   　前記画像処理装置の信号処理部に、
   　ＲＧＢ各カラー画素とＲＧＢ各波長のほぼ全波長光を透過するＷ（Ｗｈｉｔｅ）画素を有するＲＧＢＷ配列の画像データを入力させ、
   　カラー画素の画素値補正処理において、補正対象となる注目画素と、参照領域内の注目画素と同一色画素の参照画素位置にＷ画素を補間し、補間Ｗ画素の各画素値に基づいて平滑化重みを算出し、算出した平滑化重みを適用した平滑化処理を実行して前記注目画素の補正画素値を算出させるプログラム。

Images