JPWO2013161349A1 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

画像の局所的ハイライト領域に発生する偽色補正を行う装置、方法を提供する。ＲＧＢＷ配列画像からＲＧＢ配列画像を生成するデータ変換処理に際して偽色画素を検出し、偽色画素であるか否かに応じて異なるＲＧＢＷ各色対応の低域信号を算出し、算出した低域信号を適用した補間処理によりＲＧＢＷ配列を変換してＲＧＢ配列画像を生成する。補間処理においては、Ｗ低域信号ｍＷと、ＲＧＢ各低域信号ｍＲ，ｍＧ，ｍＢが局所領域で比例関係にあるとの仮定に基づいて各低域信号を利用して行う。低域信号は、注目画素が偽色画素である場合、注目画素近傍の画素値寄与率を離間画素より相対的に低くした係数を持つローパスフィルタを適用して算出する。

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像に発生する偽色の補正処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。

例えば、図１に示すように木漏れ日をカメラで撮影したときに、点線丸で囲んだハイライト領域ｈ１〜ｈ５が緑色やマゼンタ色に着色する現象が見られる。
図２（ａ）はＲＧＢ画素からなる従来の多くのカメラにおいて利用されているベイヤ配列である。
図２（ｂ）は、最近のカメラで利用が進んでいるＲＧＢＷ配列である。ＲＧＢ各画素は、各々がＲまたはＧまたはＢの各波長領域の光を選択的に透過するフィルタを備えた画素であり、Ｗ画素は、ＲＧＢの各波長光ほぼ全ての可視光を透過するフィルタを備えた画素である。

この図２（ｂ）に示すようなＷ画素を含むＲＧＢＷ配列の撮像素子を有するカメラで図１に示すような画像、すなわち木漏れ日のように数画素程度の小さい面積の高輝度領域を含む画像を撮影すると、この小さい高輝度領域であるハイライト領域ｈ１〜ｈ５に緑色やマゼンタ色等の偽色が発生することがある。
以下、この数画素程度の小さい面積のハイライト領域に発生する偽色を輝点偽色と呼ぶ。

輝点偽色の発生原理について図３を用いて説明する。
例えば、図３（ａ）に示すように、ハイライト領域の面積が小さく、ハイライト領域の画素がほぼＷ画素とＧ画素のみで構成されている場合、Ｇ画素の画素値が、周囲のＲ画素やＢ画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れて緑色に着色する。
また、例えば、図３（ｂ）に示すように、ハイライト領域の面積が小さく、ハイライト領域の画素がほぼＷ画素とＲ画素とＢ画素によって構成されている場合、Ｒ画素とＢ画素の画素値が、周囲のＧ画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れてマゼンタ色に着色する。
このように、高輝度部分であるハイライト領域に含まれる画素の構成によって様々なパターンの偽色、すなわち輝点偽色が発生すると考えられる。

このような輝点偽色を低減するには、偽色発生領域に光学ローパスフィルタを用いた補正を行う処理が有効と考えられる。すなわち、撮像素子に入射する光の高周波成分を低減して、極端な画素値変化をなだらかな変化に補正する処理である。しかし、この方法では解像度の低下を引き起こすため、画質の劣化につながり、適切とは言えない。

なお、一般にパープルフリンジと呼ばれている偽色を低減する技術が、例えば特許文献１（特開２００９−１２４５９８号公報）や特許文献２（特開２００６−１４２６１号公報）に記載されている。
パープルフリンジは、主にカメラに備えられたレンズの収差が原因であり、白飛びしているハイコントラストのエッジの周辺に発生する偽色である。
しかし、上述の輝点偽色は、必ずしも白飛びしていない画素領域でも発生するため、従来のパープルフリンジを低減する処理では対応できない場合が存在する。

特開２００９−１２４５９８号公報 特開２００６−１４２６１号公報

本開示は、上記の問題点に鑑みてなされたものであり、数画素程度の小さい面積の高輝度領域（ハイライト領域）に発生する偽色を検出して補正を行うことにより、高画質な画像を出力する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

また、本開示の一実施例構成においては、デモザイク前のＷ（ホワイト）画素を含んだ配列のモザイク画像を処理対象として入力し、数画素程度の小さい面積の高輝度領域（ハイライト領域）に発生する偽色を検出して補正を行うことにより、高画質な画像を出力する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
ＲＧＢＷ配列画像を入力画像とし、ＲＧＢ配列画像を出力画像として生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出部と、
前記偽色検出部から検出情報を入力し、検出情報に応じて処理態様を変更してＲＧＢＷ各色対応の低域信号を算出する低域信号算出部と、
前記低域信号算出部の算出した低域信号を適用した画素補間により、前記入力画像のＲＧＢＷ配列の画素変換を実行してＲＧＢ配列画像を生成する画素補間部を有し、
前記補間処理部は、
Ｗ画素の低域信号ｍＷと、ＲＧＢ各画素の低域信号ｍＲ，ｍＧ，ｍＢが、局所領域で比例関係にあるとの仮定に基づいて補間画素値を算出する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記低域信号算出部は、前記偽色検出部から注目画素が偽色画素であるとの検出情報を入力した場合、前記注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記低域信号算出部は、前記偽色検出部から注目画素が偽色画素でないとの検出情報を入力した場合、注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に高くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、前記入力画像における局所的な高輝度領域である局所的ハイライト領域の存在の有無を検出し、注目画素が局所的ハイライト領域に含まれる場合に、該注目画素を偽色画素であると判定する。

さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、注目画素近傍のＷ画素の勾配情報を検出し、２つの直交方向のいずれにおいても注目画素近傍のＷ画素値が周囲Ｗ画素値より高い場合に、前記注目画素が局所的な高輝度領域である局所的ハイライト領域に含まれ、該注目画素が偽色画素であると判定する。

さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、（ａ）注目画素近傍に設定した複数の斜め右下がりライン各々の複数のＷ画素の画素値に基づいて各ライン対応のＷ画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのＷ画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのＷ画素低周波成分信号最大値の差分値Ｄｉｆｆ１と閾値Ｔｈｒ１との比較処理、（ｂ）注目画素近傍に設定した複数の斜め右上がりライン各々の複数のＷ画素の画素値に基づいて各ライン対応のＷ画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのＷ画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのＷ画素低周波成分信号最大値の差分値Ｄｉｆｆ２と閾値Ｔｈｒ２との比較処理を実行し、上記（ａ），（ｂ）の２つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が偽色画素であると判定する。
なお、閾値Ｔｈｒ１と閾値Ｔｈｒ２は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。

さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、前記入力画像における局所的な高輝度領域である局所的ハイライト領域にＷ画素とＧ画素が集中する場合、または、前記局所的ハイライト領域にＷ画素とＲ画素とＢ画素が集中する場合に発生する偽色の検出を行う。

さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、前記入力画像から画素値の高いＷ画素を検出し、検出した高画素値のＷ画素構成パターンと、予めメモリに記録された局所的高輝度領域形状である登録ハイライト領域パターンとを比較し、検出した高画素値のＷ画素構成パターンが、前記登録ハイライト領域パターンに一致する場合に、前記高画素値のＷ画素構成パターンに含まれる画素を偽色画素であると判定する。

さらに、本開示の画像処理装置の一実施態様において、前記低域信号算出部は、前記偽色検出部が高画素値のＷ画素構成パターンに一致すると判定した登録ハイライト領域パターンに応じて、ハイライト領域の画素値寄与率をハイライト領域外の画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり
データ変換処理部が、ＲＧＢＷ配列画像を入力画像とし、ＲＧＢ配列画像を出力画像として生成するデータ変換処理を実行し、
前記データ変換処理において、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してＲＧＢＷ各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のＲＧＢＷ配列の画素変換を実行してＲＧＢ配列画像を生成する画素補間処理を実行し、
前記補間処理において、
Ｗ画素の低域信号ｍＷと、ＲＧＢ各画素の低域信号ｍＲ，ｍＧ，ｍＢが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり
データ変換処理部に、ＲＧＢＷ配列画像を入力画像とし、ＲＧＢ配列画像を出力画像として生成させるデータ変換処理ステップを実行させ、
前記データ変換処理ステップにおいて、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してＲＧＢＷ各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のＲＧＢＷ配列の画素変換を実行してＲＧＢ配列画像を生成する画素補間処理を実行させ、
前記補間処理において、
Ｗ画素の低域信号ｍＷと、ＲＧＢ各画素の低域信号ｍＲ，ｍＧ，ｍＢが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、画像の局所的ハイライト領域に発生する偽色補正を行う装置、方法が実現される。
具体的には、ＲＧＢＷ配列画像からＲＧＢ配列画像を生成するデータ変換処理に際して偽色画素を検出し、偽色画素であるか否かに応じて異なるＲＧＢＷ各色対応の低域信号を算出し、算出した低域信号を適用した補間処理によりＲＧＢＷ配列を変換してＲＧＢ配列画像を生成する。補間処理においては、Ｗ低域信号ｍＷと、ＲＧＢ各低域信号ｍＲ，ｍＧ，ｍＢが局所領域で比例関係にあるとの仮定に基づいて各低域信号を利用して行う。低域信号は、注目画素が偽色画素である場合、注目画素近傍の画素値寄与率を離間画素より相対的に低くした係数を持つローパスフィルタを適用して算出する。
これらの処理により、ＲＧＢＷ配列画像をＲＧＢ配列に変換するリモザイク処理に併せて、画像の局所的ハイライト領域に発生する偽色の補正を実行し、偽色を除去または低減した高品質な画像を生成して出力することが可能となる。

ハイライト領域に発生する輝点偽色の発生について説明する図である。 撮像装置の画素配列の構成例について説明する図である。 輝点偽色の発生するハイライト領域について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置のデータ変換処理部の構成例について説明する図である。 本開示の画像処理装置の実行する画素補間処理について説明する図である。 輝点偽色の発生するハイライト領域について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。 本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。 本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。 本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。 本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。 本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の第１実施例の構成と処理について
２．偽色検出部と低域信号算出部の変形例について
３．本開示の画像処理装置の処理による効果について
４．本開示の構成のまとめ

［１．本開示の画像処理装置の第１実施例の構成と処理について］
本開示の画像処理装置は、ＲＧＢ各色の波長光を選択的に透過するＲＧＢフィルタに加え、ＲＧＢ各波長光をすべて透過するホワイト（Ｗ：Ｗｈｉｔｅ）対応のフィルタを含むＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データに対する処理を行う。

具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。

本開示の画像処理装置は、図２（ｂ）に示すような、ホワイト（Ｗ：Ｗｈｉｔｅ）を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを、図２（ａ）に示すＲＧＢ配列（例えばベイヤ配列）に変換する処理を実行する。以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。なお、リモザイク処理の詳細については、例えば、特開２０１１−１８２３５４号公報に記載があり、本開示の画像処理装置においてもこの開示されたリモザイク処理を適用できる。

本開示の画像処理装置は、この変換処理（リモザイク処理）に際して、輝点偽色を補正する処理を実行する。輝点偽色とは前述したように、数画素程度の小さい面積のハイライト領域に発生する偽色である。

図４以下を参照して、本開示の一実施例に係る画像処理装置の構成例および処理例について説明する。
図４は、本開示の画像処理装置の一実施例に係る撮像装置１００の構成例を示す図である。撮像装置１００は、光学レンズ１０５、撮像素子（イメージセンサ）１１０、信号処理部１２０、メモリ１３０、制御部１４０を有する。

なお、図４に示す撮像装置１００は本開示の画像処理装置の一態様である。本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図４に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。具体的には撮像装置１００は、スチルカメラ、ビデオカメラなどであり、画像処理装置１００にはＰＣなど画像処理の可能な情報処理装置が含まれる。

以下では、撮像装置１００を、本発明の画像処理装置の代表例として説明する。図４に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図２（ｂ）のようなホワイト（Ｗ）を持つＲＧＢＷ配列１８１を持つフィルタを備えた構成である。具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。

以下に説明する実施例において、撮像素子（イメージセンサ）１１０は、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
ＲＧＢのほぼすべての波長光を透過するホワイト（Ｗ）、
これら４種類の分光特性を持つフィルタを備えた撮像素子である。

このＲＧＢＷ配列１８１フィルタを持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢＷいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢＷ４種類の分光から成るモザイク画像が得られる。
撮像素子（イメージセンサ）１１０の出力信号は信号処理部１２０のデータ変換処理部２００に入力される。

データ変換処理部２００は、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への変換処理を実行する。データ変換処理部２００は、この画素配列変換処理に際して、輝点偽色の補正処理を実行する。

データ変換処理部２００が生成したＲＧＢ配列１８２、すなわち、ベイヤ配列を持つデータは、従来のカメラ等の撮像素子によって得られるカラー配列を持つデータである。このカラー配列データは、ＲＧＢ信号処理部２５０に入力される。

ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。

制御部１４０は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ１３０に格納されており、制御部１４０は、メモリ１３０から読み出したプログラムを実行して一連の処理を制御する。

データ変換処理部２００の詳細構成について図５を参照して説明する。データ変換処理部２００は、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への変換処理（リモザイク処理）を実行する。さらに、この処理に際して輝点偽色を低減するための処理を併せて実行する。

データ変換処理部２００への入力画素単位は、輝点偽色の低減および画素配列変換処理として実行する画素値変換の処理対象画素を中心とした７画素×７画素とする。すなわち処理対象画素を中心とした７×７画素の参照領域を設定した処理を行う。なお、処理対象画素は、順次変更され、データ変換処理部２００は、各画素について順次、処理を行う。
なお、入力画素単位として設定する参照領域の大きさを７画素×７画素とする設定は一例であり、この大きさ以外の大きさの領域を入力画素単位（参照領域）として設定してもよい。

データ変換処理部２００は、図５に示すように、偽色検出部２０１、低域信号算出部２０２、画素補間部２０３を有する。
画素補間部２０３は、撮像素子１１０の出力であるＲＧＢＷ配列１８１を持つ画像をＲＧＢ配列１８２となるように、入力画素単位領域の中心の画素を補間する。

この画素補間処理は、例えば設定予定のＲＧＢいずれかと同一の色の画素を７×７画素の参照領域から選択して、これらの選択画素値を参照画素として参照画素の画素値を適用して処理対象画素、すなわち７×７画素の中心画素の画素値を算出する処理として行われる。
なお、この補間処理においては、エッジ方向を考慮した参照画素の選択処理や、参照領域のＷ画素素とＲＧＢ画素の相関を利用する方法など既存の様々な方法が適用できる。

図６を参照して、入力画素単位（ここでは７画素×７画素）の中心のＷ画素をＧ画素に補間する場合の補間処理例について説明する。
図６（ａ）には、画素変換対象とする注目画素であるＷ画素を中心とした入力画素単位（７×７画素領域）を示している。

まず、この入力画素単位（７×７画素領域）を参照領域として、参照領域のＷ画素の画素値に基づいてＷ画素の低域信号ｍＷを算出する。
例えば、参照領域のＷ画素の画素値に対するローパスフィルタ適用処理などによって低域信号ｍＷを算出る。
同じく入力画素単位（参照領域）内のＧ画素からＧ画素の低域信号を算出する。これを低域信号ｍＧとする。

画素変換対象とする注目画素であるＷ画素の画素値をｗとする。このとき、注目画素位置に設定するＧ画素、すなわち補間されるＧ画素の値Ｇは、以下に示す（式１）に従って算出する。
Ｇ＝ｍＧ／ｍＷ×ｗ ・・・・（式１）

この補間処理は、局所領域ではＷ画素の低域信号ｍＷとＧ画素の低域信号ｍＧがほぼ比例するという推定に基づく補間処理である。
すなわち、本実施例において設定する７×７画素の参照領域のような狭い局所領域では図６（ｂ）に示すようなＷ画素の低域信号ｍＷとＧ画素の低域信号ｍＧの比例関係が成立すると推定し、比例関係に基づいて、上記（式１）に従ってＷ画素位置のＧ画素値を推定する。

なお、ＲＧＢＷ画素配列をＲＧＢ画素配列に変換する場合、上記のＷ画素をＧ画素に変換する処理以外に、
Ｇ画素をＲまたはＢ画素に変換する処理、
Ｒ画素をＢ画素に変換する処理、
Ｂ画素をＲ画素に変換する処理、
これらの各処理が必要となる。

これらの変換処理を行う場合、例えば７×７の参照領域にのような局所領域において、
Ｗ画素の低域信号ｍＷとＧ画素の低域信号ｍＧとの比例関係、
Ｗ画素の低域信号ｍＷとＲ画素の低域信号ｍＲとの比例関係、
Ｗ画素の低域信号ｍＷとＢ画素の低域信号ｍＢとの比例関係、
これらの関係が成立すると仮定して、例えば、注目画素間変換先の画素色に応じて、参照領域のＷ画素をその画素色に設定して、注目画素の画素値を算出する。
なお、この補間処理は、本出願人の先の出願である特開２０１１−１８２３５４号公報に記載があり、本開示の画像処理装置においてもこの開示された処理を適用できる。

なお、本開示の処理では、この画素補間部２０３の画素値変換処理において適用するＲＧＢＷ画素対応の低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷの算出処理態様を輝点偽色の検出有無に応じて変更する処理を行う。
図５の偽色検出部２０１において、注目画素が輝点偽色画素であるか否かを判定し、この判定情報を低域信号算出部２０２に出力する。

低域信号算出部２０２は、この判定情報に応じて、画素補間部２０３の画素値変換処理において適用するＲＧＢＷ画素対応の低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷの算出処理態様を変更して、低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷを算出し、算出した低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷを画素補間部２０３に出力する。
画素補間部２０３は、低域信号算出部２０２から入力した低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷを適用して、ＲＧＢＷ画素配列をＲＧＢ画素配列に変換するリモザイク処理としての画素補間処理を行う。
なお、画素補間部２０３の実行する画素補間処理は、低域信号算出部２０２から入力した低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷを利用する以外は、本出願人の先の出願である特開２０１１−１８２３５４号公報に記載がある処理に従った処理となる。

以下、偽色検出部２０１における輝点偽色の検出処理と、低域信号算出部２０２における低域信号（ｍＲ，ｍＧ，ｍＢ，ｍＷ）の算出処理について説明する。

偽色検出部２０１は、入力画素単位（７×７画素）を参照領域として、この参照領域内のＷ画素の画素値を適用して輝点偽色の検出処理を実行する。
先に図３を参照して説明したように輝点偽色は、例えば、図３（ａ）に示すように、局所領域、すなわち数画素程度の高輝度領域であるハイライト領域の画素がＷ画素とＧ画素のみである場合、Ｇ画素の画素値が、周囲のＲ画素やＢ画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れて緑色に着色する。
また、例えば、図３（ｂ）に示すように、ハイライト領域の画素がＷ画素とＲ画素とＢ画素によって構成されている場合、Ｒ画素とＢ画素の画素値が、周囲のＧ画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れてマゼンタ色に着色する。このように、高輝度部分であるハイライト領域に含まれる画素の構成によって様々なパターンの偽色、すなわち輝点偽色が発生すると考えられる。

以下では、一例として、図３（ａ）に示すようにハイライト領域の画素がほぼＷ画素とＧ画素のみである場合に発生する緑色の偽色を検出する処理について説明する。
図７（ａ）〜（ｃ）は、図３（ａ）と同様、緑色の偽色が発生するハイライト領域の構成例を示している。点線丸で囲んだ領域がハイライト領域を表している。

偽色検出部２０１は、データ変換処理部２００における画素値変換（リモザイク処理）の処理対象となる注目画素を中心とした入力画素単位（７×７画素）を入力し、注目画素がハイライト領域に含まれるか否か、すなわち輝点偽色画素であるか否かを判定する。
図７（ａ）〜（ｃ）は、注目画素がハイライト領域に含まれる場合、すなわち、注目画素が輝点偽色画素である場合の例である。図７（ａ）〜（ｃ）に示す点線丸で囲んだハイライト領域は、ほぼＧ画素とＷ画素によって構成されている。

偽色検出部２０１の処理例について、図８以下を参照して説明する。
図８、図９に示す処理例は、入力画素単位（７×７画素）の中心画素（注目画素）がＷ画素（Ｗ４）であり、中心画素（Ｗ４）の左隣接画素と下隣接画素がＧ画素である場合の処理例である。

偽色検出部２０１は、入力画素単位がこのような配列を持つ場合、中心画素（注目画素）が緑色の偽色を発生させる輝点偽色画素であるか否かを図８、図９に示す処理によって判定する。

まず、図８（１ａ）に示すように、中心のＷ画素（Ｗ４）の左と下にＧ画素が位置する場合、以下に示す式（式２ａ）〜（式２ｄ）に従って、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎを求める。なお、Ｗ０〜Ｗ１１は、図８（１ａ）に示すＷ画素の画素値を表す。
ｏｕｔ＿ｕｐ＝（Ｗ０＋２×Ｗ１＋Ｗ２）／４ ・・・（式２ａ）
ｉｎ＿ｕｐ＝（Ｗ３＋２×Ｗ４＋Ｗ５）／４ ・・・（式２ｂ）
ｉｎ＿ｄｎ＝（Ｗ６＋２×Ｗ７＋Ｗ８）／４ ・・・（式２ｃ）
ｏｕｔ＿ｄｎ＝（Ｗ９＋２×Ｗ１０＋Ｗ１１）／４ ・・・（式２ｄ）

なお、ここで、
ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎは、いずれも、７×７画素の入力画素単位である参照領域内の斜め右下がり方向の複数のＷ画素の画素値の平均値や重み付け加算によって生成するＷ画素低周波信号である。
すなわち、各斜め右下がり方向ライン対応のＷ画素低周波信号である。

本処理例では、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎは、いずれも斜め右下がり方向の３つのＷ画素の画素値を１：２：１の割合で重み付け加算した値である。
ｉｎ＿ｕｐ、ｉｎ＿ｄｎは、参照領域の中心に最近接する２つの斜め右下がりライン［上側ライン（ｉｎ＿ｕｐ）、下側ライン（ｉｎ＿ｄｎ）］、各ラインの３つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｕｐはｉｎ＿ｕｐの上方向に隣接する斜め右下がりラインの３つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｄｎはｉｎ＿ｄｎの下方向に隣接する斜め右下がりラインの３つのＷ画素に基づくＷ画素低周波信号である。

これら４つの算出値、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ中、参照領域の中心位置に近い２つの算出値ｉｎ＿ｕｐ、またはｉｎ＿ｄｎの値が大きく、中心から離れた２つの算出値ｏｕｔ＿ｕｐ、またはｏｕｔ＿ｄｎの値が小さいときは、中心付近のＧ画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。

具体的には、斜め右下がりラインの４つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎから、
中心に近い２つのＷ画素低周波信号ｉｎ＿ｕｐ、ｉｎ＿ｄｎの最大値ｍａｘ（ｉｎ＿ｕｐ，ｉｎ＿ｄｎ）と、
中心から遠い値２つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｏｕｔ＿ｄｎの最大値ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）と、
これらの２つの最大値の差分値Ｄｉｆｆ１を算出する。

すなわち、４つの斜め右下がりラインに直交する斜め右上がり方向のＷ画素の差分値Ｄｉｆｆ１を算出して、以下に示す（式３）を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、（式３）を満たしていない場合は、偽色発生画素でないと判定する。
Ｄｉｆｆ１＝ｍａｘ（ｉｎ＿ｕｐ，ｉｎ＿ｄｎ）−ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）
Ｄｉｆｆ１＞Ｔｈｒ１ ・・・・・（式３）

なお、上記（式３）において、
ｍａｘ（Ａ，Ｂ）は、ＡとＢの大きい値を返す関数、
Ｔｈｒ１は閾値、
である。
なお、閾値Ｔｈｒ１は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。

図８（１ｂ）は、注目画素が偽色発生画素である可能性が高いと判定する場合のｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ１の対応例を示している。
図８（１ｃ）は、注目画素が偽色発生画素ではないと判定する場合のｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ１の対応例を示している。

先に説明した（式３）を満たす場合、すなわち、
Ｄｉｆｆ１＞Ｔｈｒ１ ・・・・・（式３）
上記（式３）を満たす場合は、さらに、参照領域の斜め右下がり方向のＷ画素の画素値を用いた判定処理を行う。

図９を参照して、参照領域の斜め右下がり方向のＷ画素の画素値を用いた判定処理について説明する。
図９（２ａ）は図８（１ａ）と同様、中心のＷ画素（Ｗ４）の左と下にＧ画素が位置する７×７画素の参照領域を示している。

偽色検出部２０１は、図９（２ａ）に示すように、中心のＷ画素（Ｗ４）の左と下にＧ画素が位置する場合、以下に示す式（式４ａ）〜（式４ｅ）に従って、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎを求める。なお、Ｗ０〜Ｗ９は、図９（２ａ）に示すＷ画素の画素値を表す。

ｏｕｔ＿ｕｐ＝（Ｗ０＋Ｗ１）／２ ・・・（式４ａ）
ｉｎ＿ｕｐ＝（Ｗ２＋Ｗ３）／２ ・・・（式４ｂ）
ｃｅｎｔｅｒ＝（Ｗ４＋Ｗ５）／２ ・・・（式４ｃ）
ｉｎ＿ｄｎ＝（Ｗ６＋Ｗ７）／２ ・・・（式４ｄ）
ｏｕｔ＿ｄｎ＝（Ｗ８＋Ｗ９）／２ ・・・（式４ｅ）

なお、ここで、
ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎは、いずれも、参照領域内の斜め右上がり方向の複数のＷ画素の画素値の平均値や重み付け加算によって算出するＷ画素低周波信号である。
本処理例では、斜め右上がり方向の２つのＷ画素の画素値を１：１の割合で重み付け加算した値である。

ｃｅｎｔｅｒは参照領域の中心付近のＧ画素に最近接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｉｎ＿ｕｐはｃｅｎｔｅｒの上方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｉｎ＿ｄｎはｃｅｎｔｅｒの下方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｕｐはｉｎ＿ｕｐの上方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｄｎはｉｎ＿ｄｎの下方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。

これら５つの算出値、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ中、参照領域の中心位置に近い３つの算出値ｉｎ＿ｕｐ、またはｉｎ＿ｄｎ、またはｃｅｎｔｅｒの値が大きく、中心から離れた２つの算出値ｏｕｔ＿ｕｐ、またはｏｕｔ＿ｄｎの値との差が大きいときは、中心付近のＧ画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。

具体的には、斜め右上がりラインの５つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎから、
中心に近い３つのＷ画素低周波信号ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎの最大値ｍａｘ（ｉｎ＿ｕｐ，ｃｅｎｔｅｒ，ｉｎ＿ｄｎ）と、
中心から遠い値２つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｏｕｔ＿ｄｎの最大値ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）と、
これらの２つの最大値の差分値Ｄｉｆｆ２を算出する。

すなわち、５つの斜め右上がりラインに直交する斜め右下がり方向のＷ画素の差分値Ｄｉｆｆ２を算出して、以下に示す（式５）を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、（式５）を満たしていない場合は、偽色発生画素でないと判定する。
Ｄｉｆｆ２＝ｍａｘ（ｉｎ＿ｕｐ，ｃｅｎｔｅｒ，ｉｎ＿ｄｎ）−ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）
Ｄｉｆｆ２＞Ｔｈｒ２ ・・・・・（式５）

なお、上記（式５）において、
ｍａｘ（Ａ，Ｂ，Ｃ）は、ＡとＢとＣの中で最も大きい値を返す関数、
Ｔｈｒ２は閾値、
である。
なお、閾値Ｔｈｒ２は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。

図９（２ｂ）は、注目画素が偽色発生画素である可能性が高いと判定する場合のｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ２の対応例を示している。
図９（２ｃ）は、注目画素が偽色発生画素ではないと判定する場合のｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ２の対応例を示している。

偽色検出部２０１は、最終的に、
前述の（式３）と（式５）の２つの判定式の双方を満足する場合、注目画素が偽色発生画素であると判定し、いずれか一方でも満足しない場合は、注目画素が偽色発生画素でないと判定する。

すなわち、
Ｄｉｆｆ１＞Ｔｈｒ１ ・・・・・（式３）
Ｄｉｆｆ２＞Ｔｈｒ２ ・・・・・（式５）
上記の２つの判定式を満足する場合のみ、注目画素が偽色発生画素であると判定する。
判定結果は、低域信号算出部２０２に出力する。

図８、図９を参照して説明した偽色判定処理は、入力画素単位である７×７画素の中心画素（注目画素）がＷ画素であり、中心Ｗ画素の左と下にＧ画素が隣接する場合の処理である。
次に、図１０、図１１を参照して、入力画素単位である７×７画素の中心画素（注目画素）がＷ画素であり、中心Ｗ画素の右と上にＧ画素が隣接する場合の偽色判定処理例について説明する。

偽色検出部２０１は、図１０（３ａ）に示すように入力画素単位の中心画素画素がＷ画素（Ｗ７）であり、中心Ｗ画素の右と上にＧ画素が隣接する場合、以下に示す式（式６ａ）〜（式６ｄ）に従って、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎを求める。なお、Ｗ０〜Ｗ１１は、図１０（３ａ）に示すＷ画素の画素値を表す。
ｏｕｔ＿ｕｐ＝（Ｗ０＋２×Ｗ１＋Ｗ２）／４ ・・・（式６ａ）
ｉｎ＿ｕｐ＝（Ｗ３＋２×Ｗ４＋Ｗ５）／４ ・・・（式６ｂ）
ｉｎ＿ｄｎ＝（Ｗ６＋２×Ｗ７＋Ｗ８）／４ ・・・（式６ｃ）
ｏｕｔ＿ｄｎ＝（Ｗ９＋２×Ｗ１０＋Ｗ１１）／４ ・・・（式６ｄ）

上記式は、先に図８を参照して説明した（式２ａ）〜（式２ｄ）と同様であり、
ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎは、いずれも、参照領域内の斜め右下がり方向の複数のＷ画素の画素値に基づくＷ画素低周波信号である。
本処理例では、斜め右下がり方向の３つのＷ画素の画素値を１：２：１の割合で重み付け加算した値である。
ｉｎ＿ｕｐ、ｉｎ＿ｄｎは、参照領域の中心に最近接する２つの斜め右下がりライン［上側ライン（ｉｎ＿ｕｐ）、下側ライン（ｉｎ＿ｄｎ）］、各ラインの３つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｕｐはｉｎ＿ｕｐの上方向に隣接する斜め右下がりラインの３つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｄｎはｉｎ＿ｄｎの下方向に隣接する斜め右下がりラインの３つのＷ画素に基づくＷ画素低周波信号である。

これら４つの算出値、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ中、参照領域の中心位置に近い２つの算出値ｉｎ＿ｕｐ、またはｉｎ＿ｄｎの値が大きく、中心から離れた２つの算出値ｏｕｔ＿ｕｐ、またはｏｕｔ＿ｄｎの値が小さいときは、中心付近のＧ画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。

具体的には、先に図８を参照して説明した処理と同様、斜め右下がりラインの４つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎから、
中心に近い２つのＷ画素低周波信号ｉｎ＿ｕｐ、ｉｎ＿ｄｎの最大値ｍａｘ（ｉｎ＿ｕｐ，ｉｎ＿ｄｎ）と、
中心から遠い２つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｏｕｔ＿ｄｎの最大値ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）と、
これらの２つの最大値の差分値Ｄｉｆｆ１を算出する。

すなわち、４つの斜め右下がりラインに直交する斜め右上がり方向のＷ画素の差分値Ｄｉｆｆ１を算出して、以下に示す（式７）を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、（式７）を満たしていない場合は、偽色発生画素でないと判定する。
Ｄｉｆｆ１＝ｍａｘ（ｉｎ＿ｕｐ，ｉｎ＿ｄｎ）−ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）
Ｄｉｆｆ１＞Ｔｈｒ１ ・・・・・（式７）

なお、上記（式７）において、
ｍａｘ（Ａ，Ｂ）は、ＡとＢの大きい値を返す関数、
Ｔｈｒ１は閾値、
である。

図１０（３ｂ）は、注目画素が偽色発生画素である可能性が高いと判定する場合のｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ１の対応例を示している。
図１０（３ｃ）は、注目画素が偽色発生画素ではないと判定する場合のｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ１の対応例を示している。

先に説明した（式７）を満たす場合、すなわち、
Ｄｉｆｆ１＞Ｔｈｒ１ ・・・・・（式７）
上記（式７）を満たす場合は、さらに、参照領域の斜め右下がり方向のＷ画素の画素値を用いた判定処理を行う。

図１１を参照して、参照領域の斜め右下がり方向のＷ画素の画素値を用いた判定処理について説明する。
図１１（４ａ）は図１０（３ａ）と同様、中心のＷ画素（Ｗ５）の右と上にＧ画素が位置する７×７画素の参照領域を示している。

偽色検出部２０１は、図１１（４ａ）に示すように、中心のＷ画素（Ｗ５）の左と下にＧ画素が位置する場合、以下に示す式（式８ａ）〜（式８ｅ）に従って、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎを求める。なお、Ｗ０〜Ｗ９は、図１１（４ａ）に示すＷ画素の画素値を表す。

ｏｕｔ＿ｕｐ＝（Ｗ０＋Ｗ１）／２ ・・・（式８ａ）
ｉｎ＿ｕｐ＝（Ｗ２＋Ｗ３）／２ ・・・（式８ｂ）
ｃｅｎｔｅｒ＝（Ｗ４＋Ｗ５）／２ ・・・（式８ｃ）
ｉｎ＿ｄｎ＝（Ｗ６＋Ｗ７）／２ ・・・（式８ｄ）
ｏｕｔ＿ｄｎ＝（Ｗ８＋Ｗ９）／２ ・・・（式８ｅ）

なお、ここで、
ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎは、いずれも、参照領域内の斜め右上がり方向の複数のＷ画素の画素値に基づくＷ画素低周波信号である。
本処理例では、斜め右上がり方向の２つのＷ画素の画素値を１：１の割合で重み付け加算した値である。

ｃｅｎｔｅｒは参照領域の中心付近のＧ画素に最近接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｉｎ＿ｕｐはｃｅｎｔｅｒの上方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｉｎ＿ｄｎはｃｅｎｔｅｒの下方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｕｐはｉｎ＿ｕｐの上方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｄｎはｉｎ＿ｄｎの下方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。

これら５つの算出値、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ中、参照領域の中心位置に近い３つの算出値ｉｎ＿ｕｐ、またはｉｎ＿ｄｎ、またはｃｅｎｔｅｒの値が大きく、中心から離れた２つの算出値ｏｕｔ＿ｕｐ、またはｏｕｔ＿ｄｎの値との差が大きいときは、中心付近のＧ画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。

具体的には、斜め右上がりラインの５つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎから、
中心に近い３つのＷ画素低周波信号ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎの最大値ｍａｘ（ｉｎ＿ｕｐ，ｃｅｎｔｅｒ，ｉｎ＿ｄｎ）と、
中心から遠い値２つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｏｕｔ＿ｄｎの最大値ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）と、
これらの２つの最大値の差分値Ｄｉｆｆ２を算出する。

すなわち、５つの斜め右上がりラインに直交する斜め右下がり方向のＷ画素の差分値Ｄｉｆｆ２を算出して、以下に示す（式９）を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、（式９）を満たしていない場合は、偽色発生画素でないと判定する。
Ｄｉｆｆ２＝ｍａｘ（ｉｎ＿ｕｐ，ｃｅｎｔｅｒ，ｉｎ＿ｄｎ）−ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）
Ｄｉｆｆ２＞Ｔｈｒ２ ・・・・・（式９）

なお、上記（式９）において、
ｍａｘ（Ａ，Ｂ，Ｃ）は、ＡとＢとＣの中で最も大きい値を返す関数、
Ｔｈｒ２は閾値、
である。

図１１（４ｂ）は、注目画素が偽色発生画素である可能性が高いと判定する場合のｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ２の対応例を示している。
図１１（４ｃ）は、注目画素が偽色発生画素ではないと判定する場合のｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ２の対応例を示している。

偽色検出部２０１は、最終的に、
前述の（式７）と（式９）の２つの判定式の双方を満足する場合、注目画素が偽色発生画素であると判定し、いずれか一方でも満足しない場合は、注目画素が偽色発生画素でないと判定する。

すなわち、
Ｄｉｆｆ１＞Ｔｈｒ１ ・・・・・（式７）
Ｄｉｆｆ２＞Ｔｈｒ２ ・・・・・（式９）
上記の２つの判定式を満足する場合のみ、注目画素が偽色発生画素であると判定する。
判定結果は、低域信号算出部２０２に出力する。

偽色検出部２０１の実行する処理例として、
（Ａ）中心画素がＷ画素であり、中心Ｗ画素の左と下にＧ画素が隣接する場合（図８、図９）、
（Ｂ）中心画素がＷ画素であり、中心Ｗ画素の右と上にＧ画素が隣接する場合（図１０、図１１）、
これらの各場合において、緑色の輝点偽色が発生しているか否かを判定する処理例を説明した。

入力画素単位の設定は、この他にも様々な設定があるが、この他の設定の場合にも、偽色検出部２０１は、基本的には同様の処理、すなわち、以下の２つの比較処理に基づく判定処理を実行する。
（１）斜め右下がりラインの複数のＷ画素の画素値に基づいて算出する差分値Ｄｉｆｆ１と閾値Ｔｈｒ１との比較処理、
（２）斜め右上がりラインの複数のＷ画素の画素値に基づいて算出する差分値Ｄｉｆｆ２と閾値Ｔｈｒ２との比較処理、
これらの２つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が輝点偽色画素であると判定する。
偽色検出部２０１は、これらの判定処理を実行し、判定結果を低域信号算出部２０２に出力する。

次に、図３（ｂ）に示すようにハイライト領域の画素がほぼＷ画素とＲ，Ｂ画素のみである場合に発生する緑色の偽色を検出する処理について説明する。図３（ｂ）に示すように、ハイライト領域の画素がＷ画素とＲ画素とＢ画素によって構成されている場合、Ｒ画素とＢ画素の画素値が、周囲のＧ画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れてマゼンタ色に着色する。

図１２（ａ）〜（ｅ）は、図３（ｂ）と同様、マゼンダ色の偽色が発生するハイライト領域の構成例を示している。点線丸で囲んだ領域がハイライト領域を表している。

偽色検出部２０１の処理例について、図１３以下を参照して説明する。
図１３、図１４に示す処理例は、入力画素単位（７×７画素）の中心画素（注目画素）がＲ画素である場合の処理例である。
図１３は、斜め右下がりラインの複数のＷ画素の画素値に基づいて算出する差分値Ｄｉｆｆ１と閾値Ｔｈｒ１との比較処理、
図１４は、斜め右上がりラインの複数のＷ画素の画素値に基づいて算出する差分値Ｄｉｆｆ２と閾値Ｔｈｒ２との比較処理、
これらの処理例を示している。

図１３に示す例は、先に説明した図８、図１０の処理と同様の処理である。ただし、入力画素単位の中心がＲ画素である点が異なる。
参照領域の中心に近い位置から複数の斜め右下がりラインを設定し、各ライン上の複数のＷ画素値を用いてＷ画素の低周波信号、すなわちＷ低域信号を算出して、より中心に近い複数ラインの最大Ｗ低周波信号値と、中心から遠い複数ラインの最大Ｗ低周波信号値との差分値を算出する。すなわち４つの斜め右下がりラインに直交する斜め右上がり方向のＷ画素の差分値をＤｉｆｆ１として算出する。さらに、算出した差分値Ｄｉｆｆ１と予め既定した閾値Ｔｈｒ１とを比較する。

この処理は、先に図８を参照して説明した［（式２ａ）〜（式２ｄ）、（式３）］、および図１０を参照して説明した［（式６ａ）〜（式６ｄ）、（式７）］に従った処理と同様の処理である。

差分値Ｄｉｆｆ１が予め既定した閾値Ｔｈｒ１より大きい場合は、注目画素が輝点偽色画素である可能性があり、さらに、図１４に示す処理、すなわち、斜め右上がりラインの複数のＷ画素の画素値に基づいて算出する差分値Ｄｉｆｆ２と閾値Ｔｈｒ２との比較処理を実行する。

図１４に示す例は、先に説明した図９、図１１の処理と類似する処理である。ただし、入力画素単位の中心がＲ画素である点が異なる。さらに、６本の斜め右上がりラインを設定して利用している点が異なる。

偽色検出部２０１は、図１４（６ａ）に示すように、中心にＲ画素が位置する場合、以下に示す式（式１０ａ）〜（式１０ｆ）に従って、ｏｕｔ＿ｕｐ、ｉｎ＿ｕｐ、ｃｅｎｔｅｒ，ｉｎ＿ｄｎ、ｏｕｔ＿ｄｎを求める。なお、Ｗ０〜Ｗ１１は、図１４（６ａ）に示すＷ画素の画素値を表す。

ｏｕｔ＿ｕｐ＝（Ｗ０＋Ｗ１）／２ ・・・（式１０ａ）
ｍｉｄ＿ｕｐ＝（Ｗ２＋Ｗ３）／２ ・・・（式１０ｂ）
ｉｎ＿ｕｐ＝（Ｗ４＋Ｗ５）／２ ・・・（式１０ｃ）
ｉｎ＿ｄｎ＝（Ｗ６＋Ｗ７）／２ ・・・（式１０ｄ）
ｍｉｄ＿ｄｎ＝（Ｗ８＋Ｗ９）／２ ・・・（式１０ｅ）
ｏｕｔ＿ｄｎ＝（Ｗ１０＋Ｗ１１）／２ ・・・（式１０ｆ）

なお、ここで、
ｏｕｔ＿ｕｐ、ｍｉｄ＿ｕｐ，ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｍｉｄ＿ｄｎ，ｏｕｔ＿ｄｎは、いずれも、参照領域内の斜め右上がり方向の複数のＷ画素の画素値の平均値や重み付け加算によって算出するＷ画素低周波信号である。
本処理例では、斜め右上がり方向の２つのＷ画素の画素値を１：１の割合で重み付け加算した値である。

ｉｎ＿ｕｐは中心Ｒ画素の上方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｉｎ＿ｄｎは中心Ｒ画素の下方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｍｉｄ＿ｕｐはｉｎ＿ｕｐの上方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｍｉｄ＿ｄｎはｉｎ＿ｄｎの下方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｕｐはｍｉｄ＿ｕｐの上方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。
ｏｕｔ＿ｄｎはｍｉｄ＿ｄｎの下方向に隣接する斜め右上がりラインの２つのＷ画素に基づくＷ画素低周波信号である。

これら６つの算出値、ｏｕｔ＿ｕｐ、ｍｉｄ＿ｕｐ，ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｍｉｄ＿ｄｎ，ｏｕｔ＿ｄｎ中、参照領域の中心位置に近い４つの算出値ｍｉｄ＿ｕｐ，ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、またはｍｉｄ＿ｄｎの値が大きく、中心から離れた２つの算出値ｏｕｔ＿ｕｐ、またはｏｕｔ＿ｄｎの値との差が大きいときは、中心付近のＲ画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。

具体的には、斜め右上がりラインの６つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｍｉｄ＿ｕｐ，ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｍｉｄ＿ｄｎ，ｏｕｔ＿ｄｎから、
中心に近い４つのＷ画素低周波信号ｍｉｄ＿ｕｐ，ｉｎ＿ｕｐ、ｉｎ＿ｄｎ，ｍｉｄ＿ｄｎの最大値ｍａｘ（ｍｉｄ＿ｕｐ，ｉｎ＿ｕｐ，ｉｎ＿ｄｎ，ｍｉｄ＿ｄｎ）と、
中心から遠い値２つのＷ画素低周波信号ｏｕｔ＿ｕｐ、ｏｕｔ＿ｄｎの最大値ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）と、
これらの２つの最大値の差分値Ｄｉｆｆ２を算出する。

すなわち、６つの斜め右上がりラインに直交する斜め右下がり方向のＷ画素の差分値Ｄｉｆｆ２を算出して、以下に示す（式１１）を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、（式１１）を満たしていない場合は、偽色発生画素でないと判定する。
Ｄｉｆｆ２＝ｍａｘ（ｍｉｄ＿ｕｐ，ｉｎ＿ｕｐ，ｉｎ＿ｄｎ，ｍｉｄ＿ｄｎ）−ｍａｘ（ｏｕｔ＿ｕｐ，ｏｕｔ＿ｄｎ）
Ｄｉｆｆ２＞Ｔｈｒ２ ・・・・・（式１１）

なお、上記（式１１）において、
ｍａｘ（Ａ，Ｂ，Ｃ）は、ＡとＢとＣの中で最も大きい値を返す関数、
Ｔｈｒ２は閾値、
である。
なお、閾値Ｔｈｒ２は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。

図１４（６ｂ）は、注目画素が偽色発生画素である可能性が高いと判定する場合のｏｕｔ＿ｕｐ、ｍｉｄ＿ｕｐ，ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｍｉｄ＿ｄｎ，ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ２の対応例を示している。
図１４（６ｃ）は、注目画素が偽色発生画素ではないと判定する場合のｏｕｔ＿ｕｐ、ｍｉｄ＿ｕｐ，ｉｎ＿ｕｐ、ｉｎ＿ｄｎ、ｍｉｄ＿ｄｎ，ｏｕｔ＿ｄｎ、および閾値Ｔｈｒ２の対応例を示している。

このように、偽色検出部２０１は、図１３、図１４を参照して説明した処理に従って、以下の判定式を満たすか否かを判定する。
Ｄｉｆｆ１＞Ｔｈｒ１
Ｄｉｆｆ２＞Ｔｈｒ２
上記の２つの判定式を満足する場合のみ、注目画素が偽色発生画素であると判定する。
判定結果は、低域信号算出部２０２に出力する。

図１５、図１６は、中心画素がＢ画素である場合の処理例を示している。
図１５は、斜め右下がりラインの複数のＷ画素の画素値に基づいて算出する差分値Ｄｉｆｆ１と閾値Ｔｈｒ１との比較処理、
図１６は、斜め右上がりラインの複数のＷ画素の画素値に基づいて算出する差分値Ｄｉｆｆ２と閾値Ｔｈｒ２との比較処理、
これらの処理例を示している。

これらの処理は、中心画素がＢ画素に置き換わった以外は、図１３、図１４を参照して説明した処理と同様の処理となる。

このように、偽色検出部２０１は、中心画素がＲ，Ｂ画素である場合にも、
Ｄｉｆｆ１＞Ｔｈｒ１、
Ｄｉｆｆ２＞Ｔｈｒ２、
上記の２つの式の双方を満たすか否かの判定を行い、満たす場合、注目画素は輝点偽色画素であると判定する。
上記２つの式の少なくともいずれかを満たさな場合は、注目画素は輝点偽色画素でないと判定し、判定結果を低域信号算出部へ２０２に出力する。

このように、偽色検出部２０１は、以下の２つの比較処理に基づく判定処理を実行する。
（１）注目画素近傍に設定した複数の斜め右下がりライン各々の複数のＷ画素の画素値に基づいて各ライン対応のＷ画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのＷ画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのＷ画素低周波成分信号最大値の差分値Ｄｉｆｆ１と閾値Ｔｈｒ１との比較処理。
（２）注目画素近傍に設定した複数の斜め右上がりライン各々の複数のＷ画素の画素値に基づいて各ライン対応のＷ画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのＷ画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのＷ画素低周波成分信号最大値の差分値Ｄｉｆｆ２と閾値Ｔｈｒ２との比較処理。

これらの２つの比較処理結果として、いずれも、差分値が閾値より大きい場合に注目画素が輝点偽色画素であると判定する。
偽色検出部２０１は、これらの判定処理を実行し、判定結果を低域信号算出部２０２に出力する。

次に、低域信号算出部２０２の処理について説明する。
低域信号算出部２０２は、画素補間部２０３で使用するＲ画素、Ｇ画素、Ｂ画素のいずれかの低域信号（ｍＲ，ｍＧ，ｍＢ）と、Ｗ画素の低域信号（ｍＷ）をそれぞれ算出する。

低域信号算出部２０２は、画素補間部２０３における補間処理対象となる注目画素、すなわち入力単位画素（７×７画素）の中心の注目画素が輝点偽色画素であるか否かの判定結果を偽色検出部２０１から入力する。

偽色検出部２０１から注目画素が輝点偽色画素でないとの判定結果を入力した場合は、低域信号算出部２０２は、予め既定した第１のローパスフィルタ（ＬＰＦ）係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のＬＰＦ係数を用いて低域信号を算出する。

一方、偽色検出部２０１から注目画素が輝点偽色画素であるとの判定結果を入力した場合は、低域信号算出部２０２は、偽色の補正効果を高めた第２のローパスフィルタ（ＬＰＦ）係数を適用して低域信号を算出する。
この第２のローパスフィルタ（ＬＰＦ）係数は、変換対象となる注目画素位置、すなわち７×７の入力画素単位である参照領域の中心に近い画素に対する係数を小さく設定した係数である。この処理は、ハイライト領域にある画素値の影響を抑えて補間画素値を算出するための処理である。
このような処理を行うことで、ハイライト領域の画素値の影響を抑制し、偽色の低減を図っている。

低域信号算出部２０２は、このように、ＲＧＢＷ各色信号に対する低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷを算出する。すなわち、低域信号算出部２０２は、以下の処理を選択的に実行する。
注目画素が偽色画素であると判定された場合は、注目画素に近い領域の参照画素の画素値寄与率を低く設定し、注目画素から遠い周辺領域の参照画素の画素値寄与率を高く設定したローパスフィルタ（ＬＰＦ）係数を適用した低域信号算出処理を行う。
注目画素が偽色画素でないと判定された場合は、注目画素に近い領域の参照画素の画素値寄与率を高く設定し、注目画素から遠い周辺領域の参照画素の画素値寄与率を低く設定したローパスフィルタ（ＬＰＦ）係数を適用した低域信号算出処理を行う。

ＬＰＦの係数の例について図１７以下を参照して説明する。
図１７に示す例は、入力画素単位の中心画素がＷ画素であり、中心のＷ画素の左と下にＧ画素が位置する場合のＧ信号の低域信号ｍＧの算出処理に適用するＬＰＦの設定例である。

図１７（１ａ）は、入力画素単位の一例を示しており、中心画素がＷ画素であり、中心のＷ画素の左と下にＧ画素が位置する場合のＧ信号の低域信号ｍＧの算出処理に適用するＧ画素を太枠で示している。

図１７（１ｂ）は、中心画素である注目画素が偽色画素でないと判定された場合の第１のローパスフィルタ（ＬＰＦ）係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のＬＰＦ係数の設定例である。

図１７（１ｃ）は、入力画素単位の中心画素である注目画素が偽色画素であると判定された場合の第２のローパスフィルタ（ＬＰＦ）係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど小さい係数としたＬＰＦ係数の設定例である。

中心画素である注目画素が偽色画素でないと判定された場合に、注目画素位置に対応するＧ低域信号ｍＧは、図１７（１ａ）に示す参照領域内の１２個のＧ画素の画素値に対して、図１７（１ｂ）に示す係数（１／３２〜６／３２）を各画素位置のＧ画素値に乗じて加算した値とする。

一方、中心画素である注目画素が偽色画素であると判定された場合に、注目画素位置に対応するＧ低域信号ｍＧは、図１７（１ａ）に示す参照領域内の１２個のＧ画素の画素値に対して、図１７（１ｃ）に示す係数（０／１６〜３／１６）を各画素位置のＧ画素値に乗じて加算した値とする。

図１７（１ｂ），（１ｃ）のＬＰＦ係数の設定において大きく異なる点は、中心に近い２つのＧ画素に対する係数であり、中心画素である注目画素が偽色画素でないと判定された場合には大きな係数が設定され、中心画素である注目画素が偽色画素であると判定された場合には小さな係数が設定される。

この処理により、中心画素である注目画素が偽色画素でないと判定された場合には、Ｇ低域信号ｍＧは、参照領域の中心に近いＧ画素値が大きく反映された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、Ｇ低域信号ｍＧは、参照領域の中心に近いＧ画素値の反映が０または抑制された値となる。

なお、図１７に示す係数設定例は一つの具体例であり、この他の係数設定としてもよい。ただし、中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたＬＰＦ係数を設定する。

図１８に示す例は、入力画素単位の中心画素がＷ画素であり、中心のＷ画素の右と上にＧ画素が位置する場合のＧ信号の低域信号ｍＧの算出処理に適用するＬＰＦの設定例である。

図１８（２ａ）は、入力画素単位の一例を示しており、中心画素がＷ画素であり、中心のＷ画素の右と上にＧ画素が位置する場合のＧ信号の低域信号ｍＧの算出処理に適用するＧ画素を太枠で示している。

図１８（２ｂ）は、中心画素である注目画素が偽色画素でないと判定された場合の第１のローパスフィルタ（ＬＰＦ）係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のＬＰＦ係数の設定例である。

図１８（２ｃ）は、入力画素単位の中心画素である注目画素が偽色画素であると判定された場合の第２のローパスフィルタ（ＬＰＦ）係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど小さい係数としたＬＰＦ係数の設定例である。

中心画素である注目画素が偽色画素でないと判定された場合に、注目画素位置に対応するＧ低域信号ｍＧは、図１８（２ａ）に示す参照領域内の１２個のＧ画素の画素値に対して、図１８（２ｂ）に示す係数（１／３２〜６／３２）を各画素位置のＧ画素値に乗じて加算した値とする。

一方、中心画素である注目画素が偽色画素であると判定された場合に、注目画素位置に対応するＧ低域信号ｍＧは、図１８（２ａ）に示す参照領域内の１２個のＧ画素の画素値に対して、図１８（２ｃ）に示す係数（０／１６〜３／１６）を各画素位置のＧ画素値に乗じて加算した値とする。

図１８（２ｂ），（２ｃ）のＬＰＦ係数の設定において大きく異なる点は、中心に近い２つのＧ画素に対する係数であり、中心画素である注目画素が偽色画素でないと判定された場合には大きな係数が設定され、中心画素である注目画素が偽色画素であると判定された場合には小さな係数が設定される。

この処理により、中心画素である注目画素が偽色画素でないと判定された場合には、Ｇ低域信号ｍＧは、参照領域の中心に近いＧ画素値が大きく反映された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、Ｇ低域信号ｍＧは、参照領域の中心に近いＧ画素値の反映が０または抑制された値となる。

なお、図１８に示す係数設定例は一つの具体例であり、この他の係数設定としてもよい。ただし、中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたＬＰＦ係数を設定する。

図１７、図１８に示す例は、入力単位画素領域の中心がＷ画素の場合のＧ低域信号ｍＧの算出に適用するＬＰＦ係数設定例である。
この他の入力単位画素設定の場合の様々な低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷの算出処理においても、低域信号算出部２０２は、やはり同様の処理を実行して低域信号算出処理を行う。
すなわち、参照領域の中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたＬＰＦ係数を設定したローパスフィルタ適用処理を実行して、低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷの算出処理を実行する。

図１９に示す例は、入力画素単位の中心画素がＲ画素である場合のＢ信号の低域信号ｍＢの算出処理に適用するＬＰＦの設定例である。

図１９（３ａ）は、入力画素単位の一例を示しており、中心画素がＲ画素である場合のＢ信号の低域信号ｍＢの算出処理に適用するＢ画素を太枠で示している。

図１９（３ｂ）は、中心画素である注目画素が偽色画素でないと判定された場合の第１のローパスフィルタ（ＬＰＦ）係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のＬＰＦ係数の設定例である。

図１９（３ｃ）は、入力画素単位の中心画素である注目画素が偽色画素であると判定された場合の第２のローパスフィルタ（ＬＰＦ）係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど小さい係数としたＬＰＦ係数の設定例である。

中心画素である注目画素が偽色画素でないと判定された場合に、注目画素位置に対応するＢ低域信号ｍＢは、図１９（３ａ）に示す参照領域内の８個のＢ画素の画素値に対して、図１９（３ｂ）に示す係数（１／３２〜９／３２）を各画素位置のＢ画素値に乗じて加算した値とする。

一方、中心画素である注目画素が偽色画素であると判定された場合に、注目画素位置に対応するＢ低域信号ｍＢは、図１９（３ａ）に示す参照領域内の８個のＢ画素の画素値に対して、図１９（３ｃ）に示す係数（０／１６〜３／１６）を各画素位置のＢ画素値に乗じて加算した値とする。

図１９（３ｂ），（３ｃ）のＬＰＦ係数の設定において大きく異なる点は、中心に近い２つのＢ画素に対する係数であり、中心画素である注目画素が偽色画素でないと判定された場合には大きな係数が設定され、中心画素である注目画素が偽色画素であると判定された場合には小さな係数が設定される。

この処理により、中心画素である注目画素が偽色画素でないと判定された場合には、Ｂ低域信号ｍＢは、参照領域の中心に近いＢ画素値が大きく反映された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、Ｂ低域信号ｍＢは、参照領域の中心に近いＢ画素値の反映が０または抑制された値となる。

なお、図１９に示す係数設定例は一つの具体例であり、この他の係数設定としてもよい。ただし、中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたＬＰＦ係数を設定する。

図２０に示す例は、入力画素単位の中心画素がＢ画素である場合のＲ信号の低域信号ｍＲの算出処理に適用するＬＰＦの設定例である。

図２０（４ａ）は、入力画素単位の一例を示しており、中心画素がＢ画素である場合のＲ信号の低域信号ｍＲの算出処理に適用するＲ画素を太枠で示している。

図２０（４ｂ）は、中心画素である注目画素が偽色画素でないと判定された場合の第１のローパスフィルタ（ＬＰＦ）係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のＬＰＦ係数の設定例である。

図２０（４ｃ）は、入力画素単位の中心画素である注目画素が偽色画素であると判定された場合の第２のローパスフィルタ（ＬＰＦ）係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど小さい係数としたＬＰＦ係数の設定例である。

中心画素である注目画素が偽色画素でないと判定された場合に、注目画素位置に対応するＲ低域信号ｍＲは、図２０（４ａ）に示す参照領域内の８個のＲ画素の画素値に対して、図２０（４ｂ）に示す係数（１／３２〜９／３２）を各画素位置のＲ画素値に乗じて加算した値とする。

一方、中心画素である注目画素が偽色画素であると判定された場合に、注目画素位置に対応するＲ低域信号ｍＲは、図２０（４ａ）に示す参照領域内の８個のＲ画素の画素値に対して、図２０（４ｃ）に示す係数（０／１６〜３／１６）を各画素位置のＲ画素値に乗じて加算した値とする。

図２０（４ｂ），（４ｃ）のＬＰＦ係数の設定において大きく異なる点は、中心に近い２つのＢ画素に対する係数であり、中心画素である注目画素が偽色画素でないと判定された場合には大きな係数が設定され、中心画素である注目画素が偽色画素であると判定された場合には小さな係数が設定される。

この処理により、中心画素である注目画素が偽色画素でないと判定された場合には、Ｒ低域信号ｍＲは、参照領域の中心に近いＲ画素値が大きく反映された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、Ｒ低域信号ｍＲは、参照領域の中心に近いＲ画素値の反映が０または抑制された値となる。

なお、図２０に示す係数設定例は一つの具体例であり、この他の係数設定としてもよい。ただし、中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたＬＰＦ係数を設定する。

低域信号算出部２０２は、このように、処理対象画素である入力画素単位の中心の注目画素が輝点偽色であるか否かの判定情報を偽色検出部から入力し、入力情報に応じて異なるＬＰＦ係数を設定したＬＰＦ適用処理により、ＲＧＢＷ各信号の低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷを算出して画素補間部２０３に出力する。

画素補間部２０３は、低域信号算出部２０２から入力するＲＧＢＷ各信号の低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷを適用して、ＲＧＢＷの画素配列をＲＧＢ配列に変換する画素補間処理、すなわちリモザイク処理を行う。

なお、前述したように、画素補間部２０３の実行する画素補間処理は、低域信号算出部２０２から入力した低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷを利用する以外は、本出願人の先の出願である特開２０１１−１８２３５４号公報に記載がある処理に従った処理となる。

すなわち、画素補間部２０３は、ＲＧＢＷ画素配列をＲＧＢ画素配列に変換する処理として、以下の処理を実行する。
Ｗ画素をＧ画素に変換する処理、
Ｇ画素をＲまたはＢ画素に変換する処理、
Ｒ画素をＢ画素に変換する処理、
Ｂ画素をＲ画素に変換する処理、
これらの各処理を行う。

これらの変換処理を行う場合、例えば７×７の参照領域にのような局所領域において、
Ｗ画素の低域信号ｍＷとＧ画素の低域信号ｍＧとの比例関係、
Ｗ画素の低域信号ｍＷとＲ画素の低域信号ｍＲとの比例関係、
Ｗ画素の低域信号ｍＷとＢ画素の低域信号ｍＢとの比例関係、
これらの関係が成立すると仮定して、例えば、注目画素間変換先の画素色に応じて、参照領域のＷ画素をその画素色に設定して、注目画素の画素値を算出する。
この処理に際して、低域信号算出部２０２から入力するＲＧＢＷ各信号の低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷを適用する。

低域信号算出部２０２から入力するＲＧＢＷ各信号の低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷは、変換処理対象となる注目画素が輝点偽色であると判定された場合には、その輝点偽色領域の近傍の画素値の反映度が低く抑えられた信号となり、結果として、画素補間部２０３は、偽色の影響を抑えた補間画素値を設定することが可能となる。

本開示の画像処理装置のデータ変換処理部の実行する処理シーケンスについて、図２１に示すフローチャートを参照して説明する。

図２１に示すフローチャートは、ＲＧＢＷ配列をＲＧＢ配列に変換する場合の１つの変換対象画素に対する処理シーケンスであり、変換対象画素を含む参照画素領域、例えば７×７画素領域を入力してデータ変換処理部において実行する処理である。各処理画素に対して、図２１に示すフローに従った処理が順次実行されることになる。

まず、ステップＳ１０１において、参照領域の斜め右上がり方向のＷの差分値Ｄｉｆｆ１を求める。
次に、ステップＳ１０２でＤｉｆｆ１と閾値Ｔｈｒ１とを比較する。

これらの処理は、図５に示す偽色検出部２０１の実行する処理であり、図８、図１０、図１２を参照して説明した処理である。
参照領域の中心に近い位置から複数の斜め右下がりラインを設定し、各ライン上の複数のＷ画素値を用いてＷ低域信号を算出して、より中心に近い複数ラインの最大Ｗ低周波信号値と、中心から遠い複数ラインの最大Ｗ低周波信号値との差分値を算出する。すなわち４つの斜め右下がりラインに直交する斜め右上がり方向のＷ画素の差分値をＤｉｆｆ１として算出する。
さらに、算出した差分値Ｄｉｆｆ１と予め既定した閾値Ｔｈｒ１とを比較する。

ステップＳ１０２のＤｉｆｆ１と閾値Ｔｈｒ１との比較処理結果として、
Ｄｉｆｆ１が閾値Ｔｈｒ１より大きい場合（Ｙｅｓ）には、ステップＳ１０３へ進む。Ｄｉｆｆ１が閾値Ｔｈｒ１より大きくない場合（Ｎｏ）には、ステップＳ１０６へ進む。

Ｄｉｆｆ１が閾値Ｔｈｒ１より大きくない場合（Ｎｏ）は、注目画素が輝点偽色でないと判定された場合であり、ステップＳ１０６へ進み、注目画素に近い参照画素のＬＰＦ係数を相対的に高く設定したローパスフィルタ（ＬＰＦ）の適用処理により、必要な低域信号を算出する。なお必要な低域信号とは、画素補間部２０３で実行する注目画素の変換処理に適用するために必要な低域信号である。低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷの少なくとも１つ以上の低域信号を算出する。

この低域信号算出処理は、図５に示す低域信号算出部２０２の処理である。
例えば図１７（１ｂ）、図１８（２ｂ）に示すように、注目画素に近い参照画素のＬＰＦ係数を相対的に高く設定したローパスフィルタ（ＬＰＦ）の適用処理により低域信号を算出する。

一方、ステップＳ１０２のＤｉｆｆ１と閾値Ｔｈｒ１との比較処理結果として、
Ｄｉｆｆ１が閾値Ｔｈｒ１より大きいと判定された場合（Ｙｅｓ）には、ステップＳ１０３へ進む。
この場合は、注目画素が輝点偽色発生画素である可能性があると判定された場合である。この場合は、ステップＳ１０３に進む。

ステップＳ１０３において、参照領域の斜め右下がり方向のＷの差分値Ｄｉｆｆ２を求める。
次に、ステップＳ１０４でＤｉｆｆ２と閾値Ｔｈｒ２とを比較する。

これらの処理は、図９、図１１、図１３を参照して説明した処理である。
参照領域の中心に近い位置から複数の斜め右上がりラインを設定し、各ライン上の複数のＷ画素値を用いてＷ低域信号を算出して、より中心に近い複数ラインの最大Ｗ低周波信号値と、中心から遠い複数ラインの最大Ｗ低周波信号値との差分値を算出する。すなわち例えば５つの斜め右上がりラインに直交する斜め右下がり方向のＷ画素の差分値をＤｉｆｆ２として算出する。
さらに、算出した差分値Ｄｉｆｆ２と予め既定した閾値Ｔｈｒ２とを比較する。

ステップＳ１０４のＤｉｆｆ２と閾値Ｔｈｒ２との比較処理結果として、
Ｄｉｆｆ２が閾値Ｔｈｒ２より大きい場合（Ｙｅｓ）には、ステップＳ１０５へ進む。Ｄｉｆｆ２が閾値Ｔｈｒ２より大きくない場合（Ｎｏ）には、ステップＳ１０６へ進む。

Ｄｉｆｆ２が閾値Ｔｈｒ２より大きくない場合（Ｎｏ）は、注目画素が輝点偽色でないと判定された場合であり、ステップＳ１０６へ進み、注目画素に近い参照画素のＬＰＦ係数を相対的に高く設定したローパスフィルタ（ＬＰＦ）の適用処理により、必要な低域信号を算出する。なお必要な低域信号とは、画素補間部２０３で実行する注目画素の変換処理に適用するために必要な低域信号である。低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷの少なくとも１つ以上の低域信号を算出する。

この低域信号算出処理は、図５に示す低域信号算出部２０２の処理である。
例えば図１７（１ｂ）、図１８（２ｂ）に示すように、注目画素に近い参照画素のＬＰＦ係数を相対的に高く設定したローパスフィルタ（ＬＰＦ）の適用処理により低域信号を算出する。

一方、ステップＳ１０４のＤｉｆｆ２と閾値Ｔｈｒ２との比較処理結果として、
Ｄｉｆｆ２が閾値Ｔｈｒ２より大きいと判定された場合（Ｙｅｓ）には、ステップＳ１０５へ進む。
この場合は、注目画素が輝点偽色発生画素であると判定された場合である。この場合は、ステップＳ１０５に進む。

ステップＳ１０５では、注目画素に近い参照画素のＬＰＦ係数を相対的に低く設定したローパスフィルタ（ＬＰＦ）の適用処理により、必要な低域信号を算出する。なお必要な低域信号とは、画素補間部２０３で実行する注目画素の変換処理に適用するために必要な低域信号である。低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷの少なくとも１つ以上の低域信号を算出する。

この低域信号算出処理は、図５に示す低域信号算出部２０２の処理である。
例えば図１７（１ｃ）、図１８（２ｃ）に示すように、注目画素に近い参照画素のＬＰＦ係数を相対的に低く設定したローパスフィルタ（ＬＰＦ）の適用処理により低域信号を算出する。

ステップＳ１０７では、ステップＳ１０５において生成した低域信号、またはステップＳ１０６において生成した低域信号、いずれかを適用して注目画素の補間画素値を算出する。
この処理は、図５に示す画素補間部２０３の実行する処理である。

画素補間部２０３は、注目画素が輝点偽色であると判定された場合は、ステップＳ１０５において生成した低域信号を用い、注目画素が輝点偽色でないと判定された場合は、ステップＳ１０６において生成した低域信号を用いて補間処理を行う。

具体的には、注目画素が輝点偽色であると判定された場合は、注目画素に近い参照画素のＬＰＦ係数を相対的に低く設定したローパスフィルタ（ＬＰＦ）の適用処理により生成した低域信号を用いた補間処理を行う。
一方、注目画素が輝点偽色でないと判定された場合は、注目画素に近い参照画素のＬＰＦ係数を相対的に高く設定したローパスフィルタ（ＬＰＦ）の適用処理により生成した低域信号を用いた補間処理を行う。

これらの処理により、輝点偽色であると判定した画素領域の補間画素値は、輝点偽色の影響が低減された補間画素値の設定が行われることになる。
なお、図２１に示す処理は、例えば図４に示すメモリ１３０に格納されたプログラムに従って、制御部１４０の制御の下で実行される。

図４、図５に示すデータ変換処理部２００は、上述した処理によって、偽色補正とリモザイク処理結果としてのＲＧＢ配列１８２に従った画像を生成してＲＧＢ信号処理部２５０に出力する。

ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。

［２．偽色検出部と低域信号算出部の変形例について］
上述した実施例において、偽色検出部２０１は、図２１のフローにおけるステップＳ１０２の判定処理、すなわち、
Ｄｉｆｆ１＞Ｔｈｒ１、
さらに、ステップＳ１０４の判定処理、すなわち、
Ｄｉｆｆ２＞Ｔｈｒ２、
これらの２つの判定式が満足する場合に、注目画素が輝点偽色の発生画素であると判定していた。

また、低域信号算出部は、注目画素が輝点偽色画素であるか否かに応じて、先に図１７、図１８を参照して説明したように、異なるＬＰＦ係数を適用した低域信号の算出処理を実行するものとして説明した。

偽色検出部２０１における偽色の検出処理と、低域信号算出部２０２の低域信号算出処理は、これらの処理に限られるものではなく、その他の処理を実行する構成としてもよい。その一例について以下、説明する。

図２２は、中心のＷ画素の左と下にＧ画素が位置する場合で、輝点偽色が発生するハイライト領域の例を示している。図２２（ａ）〜（ｇ）の点線枠内がハイライト領域である。

偽色検出部２０１は、入力画素単位、すなわち７×７画素の参照領域のＷ画素に着目して、画素値の高いＷ画素を検出する。さらに、この高画素値を持つＷ画素が、図２２（ａ）〜（ｇ）に示すハイライト領域のいずれかの領域内のＷ画素のパターンと一致するか否かを判定する。なお、該当するＷ画素の配置の求め方は、パターンマッチングなど、一般的に用いられている方法を適用することが可能である。

画素値の高いＷ画素が、図２２（ａ）〜（ｇ）に示すハイライト領域のいずれかの領域内のＷ画素のパターンと一致する場合、これらの画素領域は輝点偽色の発生領域であると判定する。

次に、低域信号算出部２０２では、偽色検出部２０１で求めたＷ画素の配置に対応するＬＰＦを選択して、画素補間処理に適用する低域信号を算出する。
図２３には、Ｇ信号の低域信号ｍＧの算出に適用するＬＰＦ係数の設定例を示している。
図２３（ａ）〜（ｇ）は、それぞれ図２２（ａ）〜（ｇ）のハイライト領域に対応して利用する低域信号ｍＧの算出に適用するＬＰＦ係数の設定例である。

図２３（ａ）〜（ｇ）に示すＬまたはＨの記載された画素がＧ画素であり、
Ｌは相対的に低いＬＰＦ係数の設定画素、
Ｈは相対的に高いＬＰＦ係数の設定画素、
これらを示している。

図２３（ａ）〜（ｇ）に示すように、ハイライト領域内のＧ画素位置のＬＰＦ係数は相対的に小さくした設定としている。
例えば、図２２（ａ）に示す４画素のハイライト領域が検出された場合、図２３（ａ）に示すＬＰＦ係数の設定で入力画素単位を畳み込み演算することにより、所望の低域信号を得る。
図２３（ａ）に示すＬＰＦ係数は、図２２（ａ）に示すハイライト領域内のＧ画素位置の係数のみがＬであり、その他のＧ画素位置の係数はＨとなっている。
このような係数を適用したローパスフィルタを利用して低域信号ｍＧを算出することで、ハイライト領域のＧ画素値の影響を低減した低域信号ｍＧを算出できる。

この他の図２２（ｂ）〜（ｇ）に示すハイライト領域の場合も同様であり、図２３（ｂ）〜（ｇ）に示すようにハイライト領域の画素値の寄与率を低くした低域信号が算出される。

低域信号算出部２０２は、このように、注目画素位置がハイライト領域に含まれる場合、そのハイライト領域の形状に応じて、ハイライト領域の構成画素値の寄与率を低くした低域信号を算出して画素補間部２０３に出力する。

図２４は、ハイライト領域がＷ，Ｒ，Ｂ画素によって構成される例を示している。図２４（ａ）〜（ｈ）の点線枠内がハイライト領域である。

偽色検出部２０１は、入力画素単位、すなわち７×７画素の参照領域のＷ画素に着目して、画素値の高いＷ画素を検出する。さらに、この高画素値を持つＷ画素が、図２４（ａ）〜（ｈ）に示すハイライト領域のいずれかの領域内のＷ画素のパターンと一致するか否かを判定する。なお、該当するＷ画素の配置の求め方は、パターンマッチングなど、一般的に用いられている方法を適用することが可能である。

画素値の高いＷ画素が、図２４（ａ）〜（ｈ）に示すハイライト領域のいずれかの領域内のＷ画素のパターンと一致する場合、これらの画素領域は輝点偽色の発生領域であると判定する。

次に、低域信号算出部２０２では、偽色検出部２０１で求めたＷ画素の配置に対応するＬＰＦを選択して、画素補間処理に適用する低域信号を算出する。
図２５には、Ｂ信号の低域信号ｍＢの算出に適用するＬＰＦ係数の設定例を示している。
図２５（ａ）〜（ｈ）は、それぞれ図２４（ａ）〜（ｈ）のハイライト領域に対応して利用する低域信号ｍＢの算出に適用するＬＰＦ係数の設定例である。

図２５（ａ）〜（ｈ）に示すＬまたはＨの記載された画素がＢ画素であり、
Ｌは相対的に低いＬＰＦ係数の設定画素、
Ｈは相対的に高いＬＰＦ係数の設定画素、
これらを示している。

図２５（ａ）〜（ｈ）に示すように、ハイライト領域内のＢ画素位置のＬＰＦ係数は相対的に小さくした設定としている。
例えば、図２４（ａ）に示す４画素のハイライト領域が検出された場合、図２５（ａ）に示すＬＰＦ係数の設定で入力画素単位を畳み込み演算することにより、所望の低域信号を得る。
図２５（ａ）に示すＬＰＦ係数は、図２４（ａ）に示すハイライト領域内のＢ画素位置の係数のみがＬであり、その他のＢ画素位置の係数はＨとなっている。
このような係数を適用したローパスフィルタを利用して低域信号ｍＢを算出することで、ハイライト領域のＢ画素値の影響を低減した低域信号ｍＢを算出できる。

この他の図２４（ｂ）〜（ｈ）に示すハイライト領域の場合も同様であり、図２５（ｂ）〜（ｈ）に示すようにハイライト領域の画素値の寄与率を低くした低域信号が算出される。

低域信号算出部２０２は、このように、注目画素位置がハイライト領域に含まれる場合、そのハイライト領域の形状に応じて、ハイライト領域の構成画素値の寄与率を低くした低域信号を算出して画素補間部２０３に出力する。

画素補間部２０３は、低域信号算出部２０２が算出したハイライト領域の構成画素値の寄与率を低くした低域信号を利用した補間処理を実行する。
この処理により、ハイライト領域の計所に応じた最適な低域信号の算出が可能となり、ハイライト領域の画素値の寄与率を低くした最適な画素補間が実現される。

図２６は、本実施例に従って、輝点偽色の検出、低域信号の算出、画素補間を行う場合のフローチャートを示した図である。
図２６に示すフローチャートは、先に説明した図２１に示すフローと同様、ＲＧＢＷ配列をＲＧＢ配列に変換する場合の１つの変換対象画素に対する処理シーケンスであり、変換対象画素を含む参照画素領域、例えば７×７画素領域を入力してデータ変換処理部において実行する処理である。各処理画素に対して、図２６に示すフローに従った処理が順次実行されることになる。
以下に各ステップについて説明する。

まず、ステップＳ２０１で参照領域から、画素値の大きいＷ画素の配置パターンを検出する。
次に、ステップＳ２０２において、ステップＳ２０１で検出した高画素値のＷ画素配置パターンが、予めメモリに登録済みのハイライト領域のパターンに一致するか否かを判定する。メモリには、例えば図２２（ａ）〜（ｇ）に示すハイライト領域パターンが登録されている。
これらの処理は、図５に示す偽色検出部２０１の実行する処理である。

ステップＳ２０２において、検出した高画素値のＷ画素配置パターンと一致する登録パターンがないと判定した場合（Ｎｏ）は、ステップＳ２０４へ進む。
この場合は、注目画素が輝点偽色でないと判定された場合であり、ステップＳ２０４へ進み、注目画素に近い参照画素のＬＰＦ係数を相対的に高く設定したローパスフィルタ（ＬＰＦ）の適用処理により、必要な低域信号を算出する。なお必要な低域信号とは、画素補間部２０３で実行する注目画素の変換処理に適用するために必要な低域信号である。低域信号ｍＲ，ｍＧ，ｍＢ，ｍＷの少なくとも１つ以上の低域信号を算出する。

この低域信号算出処理は、図５に示す低域信号算出部２０２の処理である。
例えば図１７（１ｂ）、図１８（２ｂ）に示すように、注目画素に近い参照画素のＬＰＦ係数を相対的に高く設定したローパスフィルタ（ＬＰＦ）の適用処理により低域信号を算出する。

一方、ステップＳ２０２において、検出した高画素値のＷ画素配置パターンと一致する登録パターンが検出された場合（Ｙｅｓ）は、ステップＳ２０３へ進む。

ステップＳ２０３では、検出した高画素値のＷ画素配置パターンと一致する登録パターンに対応するＬＰＦ係数を選択して、偽色補正を兼ねた処理を実行可能とした低域信号を算出する。
この低域信号算出処理は、図５に示す低域信号算出部２０２の処理である。
低域信号算出部２０２は、偽色検出部２０１から、高画素値のＷ画素配置パターンと一致する登録パターン情報を入力し、この情報に応じて、その登録パターンに対応するＬＰＦ係数を設定したローパスフィルタ（ＬＰＦ）の適用処理により低域信号を算出する。

すなわち、高画素値のＷ画素配置パターンと一致する登録パターンが図２２（ａ）である場合は、図２３（ａ）に示す注目画素に近い参照画素のＬＰＦ係数を相対的に低く設定したローパスフィルタ（ＬＰＦ）の適用処理により低域信号を算出する。
高画素値のＷ画素配置パターンと一致する登録パターンが、その他の図２２（ｂ）〜（ｇ）である場合も同様であり、それぞれの場合において、図２３（ｂ）〜（ｇ）に示す注目画素に近い参照画素のＬＰＦ係数を相対的に低く設定したローパスフィルタ（ＬＰＦ）の適用処理により低域信号を算出する。

ステップＳ２０５では、ステップＳ２０３において生成した低域信号、またはステップＳ２０４において生成した低域信号、いずれかを適用して注目画素の補間画素値を算出する。
この処理は、図５に示す画素補間部２０３の実行する処理である。

画素補間部２０３は、注目画素が輝点偽色であると判定された場合は、ステップＳ２０３において生成した低域信号を用い、注目画素が輝点偽色でないと判定された場合は、ステップＳ２０４において生成した低域信号を用いて補間処理を行う。

具体的には、注目画素が輝点偽色であると判定された場合は、図２３（ａ）〜（ｇ）に示すように注目画素に近い参照画素のＬＰＦ係数を相対的に低く設定したローパスフィルタ（ＬＰＦ）の適用処理により生成した低域信号を用いた補間処理を行う。
一方、注目画素が輝点偽色でないと判定された場合は、注目画素に近い参照画素のＬＰＦ係数を相対的に高く設定したローパスフィルタ（ＬＰＦ）の適用処理により生成した低域信号を用いた補間処理を行う。

これらの処理により、輝点偽色であると判定した画素領域の補間画素値は、輝点偽色の影響が低減された補間画素値の設定が行われることになる。
なお、図２６に示す処理は、例えば図４に示すメモリ１３０に格納されたプログラムに従って、制御部１４０の制御の下で実行される。

図４、図５に示すデータ変換処理部２００は、上述した処理によって、偽色補正とリモザイク処理結果としてのＲＧＢ配列１８２に従った画像を生成してＲＧＢ信号処理部２５０に出力する。

ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。

［３．本開示の画像処理装置の処理による効果について］
上述した本開示の画像処理装置の処理を行うことで、例えば以下の効果が得られる。
（ａ）木漏れ日などの撮像面において小さい面積で発生する偽色を低減することができる。
（ｂ）パープルフリンジなどのように白飛びしていない場合でも偽色を低減することが可能となる。
（ｃ）光学ローパスフィルタを用いて解像度を落とす方法と比較して、画質の劣化が少ない補正ができる。
（ｄ）デモザイク前のＲＡＷデータに適用することができるため、イメージセンサ内などに組み込むことが可能である。
（ｅ）カラーフィルタにホワイト画素を含んだ配列の画像に対して適用することが可能である。
例えば、これらの効果を奏することができる。

［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ＲＧＢＷ配列画像を入力画像とし、ＲＧＢ配列画像を出力画像として生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出部と、
前記偽色検出部から検出情報を入力し、検出情報に応じて処理態様を変更してＲＧＢＷ各色対応の低域信号を算出する低域信号算出部と、
前記低域信号算出部の算出した低域信号を適用した画素補間により、前記入力画像のＲＧＢＷ配列の画素変換を実行してＲＧＢ配列画像を生成する画素補間部を有し、
前記補間処理部は、
Ｗ画素の低域信号ｍＷと、ＲＧＢ各画素の低域信号ｍＲ，ｍＧ，ｍＢが、局所領域で比例関係にあるとの仮定に基づいて補間画素値を算出する画像処理装置。

（２）前記低域信号算出部は、前記偽色検出部から注目画素が偽色画素であるとの検出情報を入力した場合、前記注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する前記（１）に記載の画像処理装置。
（３）前記低域信号算出部は、前記偽色検出部から注目画素が偽色画素でないとの検出情報を入力した場合、注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に高くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する前記（１）または（２）に記載の画像処理装置。

（４）前記偽色検出部は、前記入力画像における局所的な高輝度領域である局所的ハイライト領域の存在の有無を検出し、注目画素が局所的ハイライト領域に含まれる場合に、該注目画素を偽色画素であると判定する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記偽色検出部は、注目画素近傍のＷ画素の勾配情報を検出し、２つの直交方向のいずれにおいても注目画素近傍のＷ画素値が周囲Ｗ画素値より高い場合に、前記注目画素が局所的な高輝度領域である局所的ハイライト領域に含まれ、該注目画素が偽色画素であると判定する前記（１）〜（４）いずれかに記載の画像処理装置。

（６）前記偽色検出部は、（ａ）注目画素近傍に設定した複数の斜め右下がりライン各々の複数のＷ画素の画素値に基づいて各ライン対応のＷ画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのＷ画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのＷ画素低周波成分信号最大値の差分値Ｄｉｆｆ１と閾値Ｔｈｒ１との比較処理、（ｂ）注目画素近傍に設定した複数の斜め右上がりライン各々の複数のＷ画素の画素値に基づいて各ライン対応のＷ画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのＷ画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのＷ画素低周波成分信号最大値の差分値Ｄｉｆｆ２と閾値Ｔｈｒ２との比較処理を実行し、上記（ａ），（ｂ）の２つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が偽色画素であると判定する前記（１）〜（５）いずれかに記載の画像処理装置。

（７）前記偽色検出部は、前記入力画像における局所的な高輝度領域である局所的ハイライト領域にＷ画素とＧ画素が集中する場合、または、前記局所的ハイライト領域にＷ画素とＲ画素とＢ画素が集中する場合に発生する偽色の検出を行う前記（１）〜（６）いずれかに記載の画像処理装置。

（８）前記偽色検出部は、前記入力画像から画素値の高いＷ画素を検出し、検出した高画素値のＷ画素構成パターンと、予めメモリに記録された局所的高輝度領域形状である登録ハイライト領域パターンとを比較し、検出した高画素値のＷ画素構成パターンが、前記登録ハイライト領域パターンに一致する場合に、前記高画素値のＷ画素構成パターンに含まれる画素を偽色画素であると判定する前記（１）〜（７）いずれかに記載の画像処理装置。

（９）前記低域信号算出部は、前記偽色検出部が高画素値のＷ画素構成パターンに一致すると判定した登録ハイライト領域パターンに応じて、ハイライト領域の画素値寄与率をハイライト領域外の画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する前記（８）に記載の画像処理装置。

さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、画像の局所的ハイライト領域に発生する偽色補正を行う装置、方法が実現される。
具体的には、ＲＧＢＷ配列画像からＲＧＢ配列画像を生成するデータ変換処理に際して偽色画素を検出し、偽色画素であるか否かに応じて異なるＲＧＢＷ各色対応の低域信号を算出し、算出した低域信号を適用した補間処理によりＲＧＢＷ配列を変換してＲＧＢ配列画像を生成する。補間処理においては、Ｗ低域信号ｍＷと、ＲＧＢ各低域信号ｍＲ，ｍＧ，ｍＢが局所領域で比例関係にあるとの仮定に基づいて各低域信号を利用して行う。低域信号は、注目画素が偽色画素である場合、注目画素近傍の画素値寄与率を離間画素より相対的に低くした係数を持つローパスフィルタを適用して算出する。
これらの処理により、ＲＧＢＷ配列画像をＲＧＢ配列に変換するリモザイク処理に併せて、画像の局所的ハイライト領域に発生する偽色の補正を実行し、偽色を除去または低減した高品質な画像を生成して出力することが可能となる。

１００ 撮像装置
１０５ 光学レンズ
１１０ 撮像素子（イメージセンサ）
１２０ 信号処理部
１３０ メモリ
１４０ 制御部
１８１ ＲＧＢＷ配列
１８２ ＲＧＢ配列
１８３ カラー画像
２００ データ変換処理部
２０１ 偽色検出部
２０２ 低域信号算出部
２０３ 画素補間部

Claims (11)

1. ＲＧＢＷ配列画像を入力画像とし、ＲＧＢ配列画像を出力画像として生成するデータ変換処理部を有し、
   前記データ変換処理部は、
   前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出部と、
   前記偽色検出部から検出情報を入力し、検出情報に応じて処理態様を変更してＲＧＢＷ各色対応の低域信号を算出する低域信号算出部と、
   前記低域信号算出部の算出した低域信号を適用した画素補間により、前記入力画像のＲＧＢＷ配列の画素変換を実行してＲＧＢ配列画像を生成する画素補間部を有し、
   前記補間処理部は、
   Ｗ画素の低域信号ｍＷと、ＲＧＢ各画素の低域信号ｍＲ，ｍＧ，ｍＢが、局所領域で比例関係にあるとの仮定に基づいて補間画素値を算出する画像処理装置。
2. 前記低域信号算出部は、
   前記偽色検出部から注目画素が偽色画素であるとの検出情報を入力した場合、
   前記注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する請求項１に記載の画像処理装置。
3. 前記低域信号算出部は、
   前記偽色検出部から注目画素が偽色画素でないとの検出情報を入力した場合、
   注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に高くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する請求項１に記載の画像処理装置。
4. 前記偽色検出部は、
   前記入力画像における局所的な高輝度領域である局所的ハイライト領域の存在の有無を検出し、注目画素が局所的ハイライト領域に含まれる場合に、該注目画素を偽色画素であると判定する請求項１に記載の画像処理装置。
5. 前記偽色検出部は、
   注目画素近傍のＷ画素の勾配情報を検出し、２つの直交方向のいずれにおいても注目画素近傍のＷ画素値が周囲Ｗ画素値より高い場合に、前記注目画素が局所的な高輝度領域である局所的ハイライト領域に含まれ、該注目画素が偽色画素であると判定する請求項１に記載の画像処理装置。
6. 前記偽色検出部は、
   （ａ）注目画素近傍に設定した複数の斜め右下がりライン各々の複数のＷ画素の画素値に基づいて各ライン対応のＷ画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのＷ画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのＷ画素低周波成分信号最大値の差分値Ｄｉｆｆ１と閾値Ｔｈｒ１との比較処理、
   （ｂ）注目画素近傍に設定した複数の斜め右上がりライン各々の複数のＷ画素の画素値に基づいて各ライン対応のＷ画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのＷ画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのＷ画素低周波成分信号最大値の差分値Ｄｉｆｆ２と閾値Ｔｈｒ２との比較処理、
   を実行し、
   上記（ａ），（ｂ）の２つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が偽色画素であると判定する請求項１に記載の画像処理装置。
7. 前記偽色検出部は、
   前記入力画像における局所的な高輝度領域である局所的ハイライト領域にＷ画素とＧ画素が集中する場合、または、前記局所的ハイライト領域にＷ画素とＲ画素とＢ画素が集中する場合に発生する偽色の検出を行う請求項１に記載の画像処理装置。
8. 前記偽色検出部は、
   前記入力画像から画素値の高いＷ画素を検出し、
   検出した高画素値のＷ画素構成パターンと、予めメモリに記録された局所的高輝度領域形状である登録ハイライト領域パターンとを比較し、
   検出した高画素値のＷ画素構成パターンが、前記登録ハイライト領域パターンに一致する場合に、前記高画素値のＷ画素構成パターンに含まれる画素を偽色画素であると判定する請求項１に記載の画像処理装置。
9. 前記低域信号算出部は、
   前記偽色検出部が高画素値のＷ画素構成パターンに一致すると判定した登録ハイライト領域パターンに応じて、ハイライト領域の画素値寄与率をハイライト領域外の画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する請求項８に記載の画像処理装置。
10. 画像処理装置において実行する画像処理方法であり
    データ変換処理部が、ＲＧＢＷ配列画像を入力画像とし、ＲＧＢ配列画像を出力画像として生成するデータ変換処理を実行し、
    前記データ変換処理において、
    前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
    前記検出情報を入力し、検出情報に応じて処理態様を変更してＲＧＢＷ各色対応の低域信号を算出する低域信号算出処理と、
    前記低域信号を適用した画素補間により、前記入力画像のＲＧＢＷ配列の画素変換を実行してＲＧＢ配列画像を生成する画素補間処理を実行し、
    前記補間処理において、
    Ｗ画素の低域信号ｍＷと、ＲＧＢ各画素の低域信号ｍＲ，ｍＧ，ｍＢが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出する画像処理方法。
11. 画像処理装置において画像処理を実行させるプログラムであり
    データ変換処理部に、ＲＧＢＷ配列画像を入力画像とし、ＲＧＢ配列画像を出力画像として生成させるデータ変換処理ステップを実行させ、
    前記データ変換処理ステップにおいて、
    前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
    前記検出情報を入力し、検出情報に応じて処理態様を変更してＲＧＢＷ各色対応の低域信号を算出する低域信号算出処理と、
    前記低域信号を適用した画素補間により、前記入力画像のＲＧＢＷ配列の画素変換を実行してＲＧＢ配列画像を生成する画素補間処理を実行させ、
    前記補間処理において、
    Ｗ画素の低域信号ｍＷと、ＲＧＢ各画素の低域信号ｍＲ，ｍＧ，ｍＢが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出させるプログラム。