JP3965556B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP3965556B2 JP3965556B2 JP2002025319A JP2002025319A JP3965556B2 JP 3965556 B2 JP3965556 B2 JP 3965556B2 JP 2002025319 A JP2002025319 A JP 2002025319A JP 2002025319 A JP2002025319 A JP 2002025319A JP 3965556 B2 JP3965556 B2 JP 3965556B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- calculating
- pixel
- color
- standard deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、単板式のカラー撮像素子を元に生成したカラー画像に発生し得る画質劣化を抑止する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、CCD(Charge Coupled Device)のような単板式の固体撮像素子を用いた撮影装置では、そのまま撮影しても単一の分光感度しか得られない（すなわち、モノクロ画像しか得られない）。
【０００３】
そこで、単板式の固体撮像素子を用いてカラー画像を得るために、得られる画像の各画素に対応する受光素子の受光面に、所定のパターン（例えば、図１に示すようなＲ（赤）、Ｇ（緑）、Ｂ（青）から成るベイヤ配列）の色フィルタを設けて撮影することが一般に行われている。
【０００４】
この撮像によって得られる画像は、各画素が単一の色成分だけしか有していない、色に関してモザイク状になった画像（以下、色モザイク画像と記述する）となる。さらに、色モザイク画像の各画素に対して、当該画素が有していない他の色成分を、周囲の画素を用いて補間することにより、全ての画素が全ての色成分色を有している画像、すなわち、カラー画像を生成するようにしている。
【０００５】
しかしながら、上述したように、色モザイク画像を元にしてカラー画像を生成した場合、生成したカラー画像に色モアレ等の画像劣化が生じてしまうことがある。
【０００６】
例えば、単板式個体撮像素子にRGBのベイヤ配列を成して色フィルタを設けた場合、得られる色モザイク画像は、各色成分それぞれのサンプリング位置が異なり、かつ、そのＲ成分およびＢ成分は、Ｇ成分に比較してサンプリング周波数が半分となる。このように、各色成分によってサンプリングの位置やサンプリング周波数が異なる色モザイク画像を用いて補間処理を実行する際には、色成分毎にサンプリングの方法に相違があるので、補間処理によって生成されたカラー画像の各画素について各色成分を比較すると、位相および振幅にずれが生じてしまうことがあり、それが色モアレ等の画質劣化の原因となっていた。
【０００７】
そこで、従来、色モザイク画像を元にして、画像劣化を抑止したカラー画像を生成する画像処理技術が提案されている。
【０００８】
例えば、特開昭６１−５０１４２４号公報には、局所的な領域においては物体の色(クロミナンス)の方向があまり変化しないことを前提として、存在していない色成分を補間によって復元する方法（以下、第１の従来方法と記述する）が開示されている。すなわち、第１の従来方法では、近傍の２画素ｘ，ｙのそれぞれにおけるＲ成分とＧ成分の比率が同じであると仮定し、色モザイク画像の画素ｘにＧ成分Ｇ（ｘ）が存在するならば、存在しない画素ｘのＲ成分Ｒ（ｘ）を、近傍の画素ｙのＲ成分（ｙ）およびＧ成分（ｙ）の比を用いた次式によって算出する。
Ｒ（ｘ）＝Ｇ（ｘ）・Ｒ（ｙ）／Ｇ（ｙ）
【０００９】
ただし実際には、Ｒ（ｙ）／Ｇ（ｙ）の値として、画素ｘの近傍のＲ成分および成分を有する複数の画素の比の平均（Ｒ／Ｇ）Lを用いる。
Ｒ（ｘ）＝Ｇ（ｘ）・（Ｒ／Ｇ）L
となる。
【００１０】
また、例えば、米国特許第４７１６４５５号公報には、第１の従来方法において用いていた、画素ｘの近傍のＲ成分および成分を有する複数の画素の比の平均（Ｒ／Ｇ）Lを、Ｒ成分の低周波成分ＲＬとＧ成分の低周波成分ＧＬの比（ＲＬ／ＧＬ）によって近似する方法（以下、第２の従来方法と記述する）が開示されている。
【００１１】
第２の従来方法に用いるＲ成分の低周波成分ＲＬとＧ成分の低周波成分ＧＬは１つの画素がＲ成分とＧ成分の両方を有していなくともそれぞれ独立して算出することができるので、全ての画素に対して先にＧ成分を補間する必要がない利点がある。
【００１２】
【発明が解決しようとする課題】
上述したように、第１および第２の従来方法においては、画素のＲ成分、Ｇ成分およびＢ成分の間には局所的に比例関係がある（あるいは、画素のＲ成分、Ｇ成分およびＢ成分の間の比は局所的に一定である）ことを前提として補間が行われている。
【００１３】
したがって、第１および第２の従来方法では、例えば被写体のエッジ部分等に急激な色の変化が存在する場合、そこに色モアレや偽色が発生してしまう問題が依然として存在している問題があった。
【００１４】
具体的に説明する。例えば、図２に示すように、緑色の領域と赤色の領域が徐々に交わっているエッジ部分を有する被写体を撮影した画像（以下、エッジ画像と記述する）を考える。図３は、図２のエッジ画像を構成する画素のＲ成分とＧ成分の分布を示している。図３において、横軸はＲ成分の値を示し、縦軸はＧ成分の値を示す。
【００１５】
領域１がエッジ画像の画素の分布に相当する。例えば、エッジ画像の緑色の領域の画素は、領域１のうちの左上部分に分布され、エッジ画像の赤色の領域の画素は、領域１のうちの右下部分に分布され、エッジ画像の緑色の領域と赤色の領域が徐々に交わっている付近の画素は、領域１の中央部分に分布される。
【００１６】
図３の点２は、エッジ画像を構成する画素のうち、Ｇ成分が既知であってＲ成分を補間したいエッジ付近の画素Ｐの周辺の局所的なＲ成分とＧ成分の平均値（ＭR（Ｐ），ＭG（Ｐ））を示している。
【００１７】
したがって、第１および第２の従来方法のように、画素のＲ成分とＧ成分の間には局所的に比例関係がある（Ｒ成分とＧ成分の比が局所的に一定である）ことを前提とすれば、画素Ｐは直線３の上に存在すると仮定することと同義であるので、画素ＰのＲ成分は図３のＲ（Ｐ）として算出され、図３において点４に分布することになる。
【００１８】
図３から明らかなように、Ｒ成分が補間された画素Ｐに対応する点４は、領域１から外れているので、最終的に生成されるカラー画像において、画素ＰのＲ成分Ｒ（Ｐ）は偽色となってしまう問題がある。
【００１９】
また、色モアレや偽色が発生しているカラー画像を、被写体が本来有している色に補正する技術が存在していない課題があった。
【００２０】
本発明はこのような状況に鑑みてなされたものであり、色モザイク画像を元に生成したカラー画像に発生している色モアレや偽色を補正できるようにすることを目的とする。
【００２１】
【課題を解決するための手段】
本発明の画像処理装置は、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出手段と、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出手段と、第１の平均画素と基準画像の注目画素との差分信号を算出する差分信号算出手段と、基準画像、補正画像、および差分信号に基づき、補正値を算出する補正値算出手段と、第２の平均画素に補正値を加算して第１の補正画素を生成する加算手段と、補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出手段と、合成係数に基づき、補正画像の注目画素と第１の補正画素とを合成する合成手段とを含むことを特徴とする。
【００２３】
前記補正値算出手段は、基準画像および補正画像に基づいて倍率信号を演算する倍率信号演算手段と、倍率信号に差分信号を乗算して補正値を生成する乗算手段とを含むようにすることができる。
【００２４】
前記倍率信号演算手段は、基準画像の注目画素に対応する第１の標準偏差を算出する第１の標準偏差算出手段と、補正画像の注目画素に対応する第２の標準偏差を算出する第２の標準偏差算出手段と、第２の標準偏差を第１の標準偏差で除算して標準偏差比を算出する標準偏差比算出手段と、基準画像および補正画像に基づいて相関係数符号を決定する相関係数符号決定手段と、標準偏差比に相関係数符号を乗算して倍率信号を生成する乗算手段とを含むようにすることができる。
【００２５】
前記倍率信号演算手段は、基準画像の注目画素に対応する第１の標準偏差を算出する第１の標準偏差算出手段と、補正画像の注目画素に対応する第２の標準偏差を算出する第２の標準偏差算出手段と、第２の標準偏差を第１の標準偏差で除算して倍率信号を生成する除算手段とを含むようにすることができる。
【００２６】
前記倍率信号演算手段は、基準画像および補正画像に基づいて相関係数符号を決定し、倍率信号として出力する相関係数符号決定手段を含むようにすることができる。
【００２７】
前記倍率信号演算手段は、基準画像の注目画素に対応する第１の１次微分を算出する第１の１次微分算出手段と、補正画像の注目画素に対応する第２の１次微分を算出する第２の１次微分算出手段とを含むようにすることができる。
【００２８】
前記倍率信号演算手段は、第１の１次微分と第２の１次微分との内積を倍率信号として算出する内積算出手段をさらに含むようにすることができる。
【００２９】
前記倍率信号演算手段は、第２の１次微分の絶対値を第１の１次微分の絶対値で除算して倍率信号を生成する絶対値比算出手段をさらに含むようにすることができる。
【００３０】
本発明の画像処理方法は、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出ステップと、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出ステップと、第１の平均画素と基準画像の注目画素との差分信号を算出する差分信号算出ステップと、基準画像、補正画像、および差分信号に基づき、補正値を算出する補正値算出ステップと、第２の平均画素に補正値を加算して第１の補正画素を生成する加算ステップと、補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出手段と、合成係数に基づき、補正画像の注目画素と第１の補正画素とを合成する合成手段とを含むことを特徴とする。
【００３１】
本発明の記録媒体のプログラムは、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出ステップと、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出ステップと、第１の平均画素と基準画像の注目画素との差分信号を算出する差分信号算出ステップと、基準画像、補正画像、および差分信号に基づき、補正値を算出する補正値算出ステップと、第２の平均画素に補正値を加算して第１の補正画素を生成する加算ステップと、補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出手段と、合成係数に基づき、補正画像の注目画素と第１の補正画素とを合成する合成手段とを含むことを特徴とする。
【００３２】
本発明のプログラムは、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出ステップと、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出ステップと、第１の平均画素と基準画像の注目画素との差分信号を算出する差分信号算出ステップと、基準画像、補正画像、および差分信号に基づき、補正値を算出する補正値算出ステップと、第２の平均画素に補正値を加算して第１の補正画素を生成する加算ステップと、補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出手段と、合成係数に基づき、補正画像の注目画素と第１の補正画素とを合成する合成手段とをコンピュータに実行させることを特徴とする。
【００３３】
本発明の画像処理装置および方法、並びにプログラムにおいては、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素が算出され、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素が算出され、第１の平均画素と基準画像の注目画素との差分信号が算出されて、基準画像、補正画像、および差分信号に基づき、補正値が算出される。さらに、第２の平均画素に補正値を加算して第１の補正画素が生成される。またさらに、補正値が算出される過程で演算された情報に基づき、合成係数が算出され、合成係数に基づき、補正画像の注目画素と第１の補正画素とが合成される。
【００３４】
【発明の実施の形態】
始めに、本発明の概要について、図４を参照して説明する。図４の領域１１は、図２に示したような緑色の領域と赤色の領域が徐々に交わっているエッジ部分を有する被写体を撮影して得られた色モザイク画像を元にして生成されたカラー画像の画素のＲ成分とＧ成分の分布を示している。図４において、横軸はＲ成分の値を示し、縦軸はＧ成分の値を示す。
【００３５】
例えば、図４の点１２を、生成されたカラー画像上に発生した画質劣化（偽色等）の画素に対応する点であると仮定する。以下、画質劣化の画素を補正画素Ｐと記述する。
【００３６】
本発明においては、補正画素ＰのＧ成分Ｇ（Ｐ）が他の色成分Ｒ（Ｐ），Ｂ（Ｐ）よりも被写体が本来有している色を比較的正確に復元されているとの仮定に基づき、補正画素ＰのＧ成分Ｇ（Ｐ）を基準として、補正画素ＰのＲ成分Ｇ（Ｐ）およびＢ成分Ｂ（Ｐ）を、周囲の画素の標準偏差に対応する直線１５に隣接するように補正する。
【００３７】
なお、以下においては、補正画素ＰのＧ成分Ｇ（Ｐ）を基準として、補正画素ＰのＲ成分Ｒ（Ｐ）を補正する処理についてだけ説明し、同様の処理である補正画素ＰのＢ成分Ｂ（Ｐ）を補正する処理の説明は省略する。
【００３８】
具体的には、補正画像ＰのＧ成分Ｇ（Ｐ）を次式（１）に適用して、図４の点１３のＲ成分の補正信号Ｒｒ（Ｐ）を算出し、算出した補正信号Ｒｒ（Ｐ）と補正前のＲ（Ｐ）を、次式（２）に基づいて合成して、補正画素Ｐの補正後のＲ成分Ｒ’（Ｐ）とする。
Ｒｒ（Ｐ）
＝Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）＋ＭR（Ｐ）・・・（１）
Ｒ’（Ｐ）＝αＲｒ（Ｐ）＋（１−α）・Ｒ（Ｐ） ・・・（２）
【００３９】
なお、Ｓｇｎ（Ｐ）は、補正画素Ｐの周辺の基準とするＧ成分と、補正するＲ成分の相関に応じて−１，０，１のいずれかの値となる相関係数符号である。例えば、図５に示すように、基準とするＧ成分の勾配と補正するＲ成分の勾配が同一方向である場合、正の相関が高いとしてＳｇｎ（Ｐ）＝１とする。また、図６に示すように、基準とするＧ成分の勾配と補正するＲ成分の勾配が逆方向である場合、負の相関が高いとしてＳｇｎ（Ｐ）＝−１とする。さらに、基準とするＧ成分の勾配と補正するＲ成分の勾配が垂直である場合、相関が低いとしてＳｇｎ（Ｐ）＝０とする。
【００４０】
ＭG（Ｐ）は、補正画素Ｐの周辺の画素のＧ成分の平均値（図４の点１４）である。ＭR（Ｐ）は、補正画素Ｐの周辺の画素のＲ成分の平均値（図４の点１４）である。ＳG（Ｐ）は、補正画素Ｐの周辺の画素のＧ成分の標準偏差である。ＳR（Ｐ）は、補正画素Ｐの周辺の画素のＲ成分の標準偏差である。ＳR（Ｐ）／ＳG（Ｐ）は、図４の直線１５の傾きに相当する。αは、０から１までの値をとる合成係数である。
【００４１】
次に、図７は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００４２】
光学系は、被写体の光画像を集光するレンズ２１、光画像の光量を調整する絞り２２、および、集光された光画像を光電変換して電気信号に変換する、RGBのベイヤ配列等を成す色フィルタが設けられた単板式CCDイメージセンサ２４から構成される。なお、色フィルタのパターンは、RGBのベイヤ配列以外であってもよい。
【００４３】
信号処理系は、CCDイメージセンサ２４からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路(CDS:Correlated Double Sampling)２５、相関２重サンプリング回路２５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄコンバータ２６、Ａ／Ｄコンバータ２６から入力されるディジタル信号に所定の画像処理（後述）を施す画像処理部２７から構成される。なお、画像処理部２７に入力されるディジタル信号が、上述した色モザイク画像に相当する。
【００４４】
記録系は、画像処理部２７が処理した画像信号を符号化してメモリ２９に記録し、また、読み出して復号し、画像処理部２７に供給するCODEC(Compression/Decompression)２８、および、画像信号を記憶するメモリ２９から構成される。
【００４５】
表示系は、画像処理部２７が処理した画像信号をアナログ化するＤ／Ａコンバータ３０、アナログ化された画像信号を後段のディスプレイ３２に適合する形式のビデオ信号にエンコードするビデオエンコーダ３１、および、入力されるビデオ信号に対応する画像を表示することによってファインダとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ３２から構成される。
【００４６】
制御系は、CCDイメージセンサ２４乃至画像処理部２７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）２３、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部３３、および、ドライブ３５を制御して磁気ディスク３６、光ディスク３７、光磁気ディスク３８、または半導体メモリ３９に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部３３から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御するCPU(Central Processing Unit)などよりなる制御部３４から構成される。
【００４７】
当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ２１および絞り２２を介してCCDイメージセンサ２４に入射され、CCDイメージセンサ２４によって光電変換されて電気信号となる。得られた電気信号は、相関２重サンプリング回路２５によってノイズ成分が除去され、Ａ／Ｄコンバータ２６によってディジタル化された後、画像処理部２７が内蔵する画像メモリに一時格納される。
【００４８】
なお、通常の状態では、タイミングジェネレータ２３による信号処理系に対する制御により、画像処理部２７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部２７が内蔵する画像メモリの画像信号は、Ｄ／Ａコンバータ３０によってアナログ信号に変換され、ビデオエンコーダ３１によってビデオ信号に変換されて対応する画像がディスプレイ３２に表示される。
【００４９】
ディスプレイ３２は、当該ディジタルスチルカメラのファインダの役割も担っている。ユーザが操作入力部３３に含まれるシャッタボタンを押下した場合、制御部３４は、タイミングジェネレータ２３に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部２７の画像メモリに画像信号が上書きされないように信号処理系を制御する。画像処理部２７の画像メモリに保持された画像データは、CODEC２８によって符号化されてメモリ２９に記録される。以上のようなディジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
【００５０】
次に、図８は、画像処理部２７の構成例を示している。色差信号生成部５１は、上段から入力される色モザイク画像を元に、対応する色差信号Ｃｒ，Ｃｂを生成して輝度成分生成部５２および色空間変換部５３に出力する。輝度画像生成部５２は、上段から入力される色モザイク画像、および色差信号生成部５１から入力される色差信号Ｃｒ，Ｃｂを元に、全ての画素が輝度成分を有する輝度画像Ｙを生成して色空間変換部５２に出力する。色空間変換部５３は、輝度画像生成部５２から入力される輝度画像Ｙの全ての画素それぞれを、色差信号生成部５１から入力される色差信号Ｃｒ，Ｃｂに基づいて、Ｒ成分、Ｇ成分、およびＢ成分に変換することにより、単色画像Ｒ，Ｇ，Ｂを生成する。なお、この段階で生成された単色画像Ｒ，Ｇ，Ｂのうちの単色画像Ｒ，Ｂには、偽色等の画像劣化が生じている可能性がある。
【００５１】
偽色補正部５４Ｒは、単色画像Ｇを基準として単色画像Ｒを補正し、補正済み単色画像Ｒ’を出力する。偽色補正部５４Ｂは、単色画像Ｇを基準として単色画像Ｂを補正し、補正済み単色画像Ｂ’を出力する。
【００５２】
図９は、図８の偽色補正部５４Ｒの構成例を示している。補正信号出力部６１は、上段の色空間変換部５３によって生成された単色画像Ｇ，Ｒに基づき、各画素にそれぞれ対応する補正信号Ｒｒ、相関係数ＣRG、標準偏差ＳGを算出して合成部６２に出力する。
【００５３】
合成部６２は、上段の色空間変換部５３によって生成された単色画像Ｒの各画素について、相関係数ＣRGおよび標準偏差ＳGに基づいて補正信号出力部６１から入力される補正信号Ｒｒと合成することにより補正済単色画像Ｒ’を生成する。
【００５４】
なお、合成部６２を省略して、補正信号出力部６１によって算出される補正信号Ｒｒをそのまま偽色補正部５４Ｒの出力としてもよい。
【００５５】
偽色補正部５４Ｂの構成例は、図９に示した偽色補正部５４Ｒの構成例と同様であるので、その説明は省略する。
【００５６】
図１０は、図９の補正信号出力部６１の構成例を示している。平均画素算出部７１は、単色画像Ｒの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の平均ＭR（Ｐ）を算出して加算部７５に出力する。なお、当該「所定の領域」と、以下の説明において記述する「所定の領域」は、同一のサイズである。
【００５７】
平均画素算出部７２は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の平均ＭG（Ｐ）を算出して減算部７３に出力する。減算部７３は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐの値Ｇ（Ｐ）から、平均画素算出部７２から入力される注目画素に対応する平均ＭG（Ｐ）を減算し、差分信号｛Ｇ（Ｐ）−ＭG（Ｐ）｝として補正値算出部７４に出力する。
【００５８】
補正値算出部７４は、単色画像Ｒ，Ｇ、および減算部７３から入力される差分信号に基づき、各注目画素にそれぞれ対応する補正値を算出して加算部７５に出力する。ここで、補正値は、式（１）の右辺の一部
Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）
である。
【００５９】
また、補正値算出部７４は、各注目画素にそれぞれ対応する相関係数ＣRGおよび標準偏差ＳGを算出する。
【００６０】
加算部７５は、平均画素算出部７１から入力される注目画素に対応する平均ＭR（Ｐ）に、補正値算出部７４からの補正値を加算して補正信号Ｒｒを算出する。
【００６１】
図１１は、図１０の補正値算出部７４の第１の構成例を示している。標準偏差算出部８１は、単色画像Ｒの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の標準偏差ＳR（Ｐ）を算出して除算部８３に出力する。標準偏差算出部８２は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の標準偏差ＳG（Ｐ）を算出して除算部８３に出力する。算出された標準偏差ＳG（Ｐ）は、後段の合成部６２にも出力される。
【００６２】
除算部８３は、標準偏差算出部８１から入力される標準偏差ＳR（Ｐ）を、標準偏差算出部８２から入力される標準偏差ＳG（Ｐ）で除算し、標準偏差比ＳR（Ｐ）／ＳG（Ｐ）を乗算部８５に出力する。相関係数符号判定部８４は、単色画像Ｒ，Ｇの全ての画素を順次注目し、注目画素Ｐに対応する相関係数符号Ｓｇｎ（Ｐ）を算出して乗算部８５に出力する。
【００６３】
乗算部８５は、除算部８３からの標準偏差比に、相関係数符号判定部８４からの相関係数符号を乗算し、倍率信号｛Ｓｇｎ（Ｐ）・ＳR（Ｐ）／ＳG（Ｐ）｝として乗算部８６に出力する。乗算部８６は、乗算部８５からの倍率信号に、前段の減算部７３からの差分信号を乗算し、補正値［Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）］として後段の加算部７５に出力する。
【００６４】
図１２は、図１１の相関係数符号判定部８４の構成例を示している。標準偏差算出部９１は、単色画像Ｒの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の標準偏差ＳR（Ｐ）を算出して乗算部９３および相関係数演算部９６に出力する。標準偏差算出部９２は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の標準偏差ＳG（Ｐ）を算出して乗算部９３および相関係数演算部９６に出力する。
【００６５】
乗算部９３は、標準偏差算出部９１からの標準偏差ＳR（Ｐ）と標準偏差算出部９１からの標準偏差ＳG（Ｐ）を乗算し、乗算値ＳR（Ｐ）・ＳG（Ｐ）を相関係数演算部９６に出力する。
【００６６】
平均画素算出部９４は、単色画像Ｒの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の平均ＭR（Ｐ）を算出して相関係数演算部９６に出力する。平均画素算出部９５は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の平均ＭG（Ｐ）を算出して相関係数演算部９６に出力する。
【００６７】
相関係数演算部９６は、注目画素に対応する相関係数ＣRG（Ｐ）を算出し、符号決定部９７に出力する。具体的には、乗算部９３からの乗算値が０である場合、相関係数ＣRG（Ｐ）を０とする。反対に、乗算部９３からの乗算値が０ではない場合、次式（３）に従って相関係数ＣRG（Ｐ）を算出する。
ＣRG（Ｐ）＝（ΣＲＧ−ＭR（Ｐ）・ＭG（Ｐ））／（ＳR（Ｐ）・ＳG（Ｐ））・・・（３）
【００６８】
ここで、ΣＲＧは、単色画像Ｒの注目画素を中心とする所定の領域に存在する複数（σとする）の画素と、単色画像Ｇの注目画素を中心とする所定の領域に存在する複数の画素との同一座標に位置する画素同士の積の総和を、所定の領域に存在する画素の数σで除算した値である。
【００６９】
なお、相関係数演算部９６によって算出された相関係数ＣRG（Ｐ）は後段の合成部６２にも供給される。
【００７０】
符号決定部９７は、相関係数演算部９６からの相関係数ＣRG（Ｐ）に基づき、各注目画素に対して相関係数符号Ｓｇｎ（Ｐ）を決定し、後段の乗算部８５に出力する。具体的には、相関係数ＣRG（Ｐ）が０よりも小さい場合、相関係数符号Ｓｇｎ（Ｐ）を−１とする。相関係数ＣRG（Ｐ）が０よりも大きい場合、相関係数符号Ｓｇｎ（Ｐ）を１とする。また、相関係数ＣRG（Ｐ）が０である場合、相関係数符号Ｓｇｎ（Ｐ）を０とする。
【００７１】
図１３は、図９の合成部６２の構成例を示している。合成係数算出部１０１は、補正信号出力部６１からの相関係数ＣRG（Ｐ）および標準偏差ＳG（Ｐ）に基づき、各注目画素Ｐに対応する合成係数Ｗ1（Ｐ）を算出して混合部１０２に出力する。具体的には、相関係数ＣRG（Ｐ）の絶対値を変数ａとする。一方、標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きい場合、変数ｂを１とする。反対に、標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きくない場合、変数ｂを、標準偏差ＳG（Ｐ）を閾値Ａで除算した除算値（ＳG（Ｐ）／閾値Ａ）とする。そして、変数ａと変数ｂの乗算値ａ・ｂが１よりも大きい場合、合成係数Ｗ1を１とする。乗算値ａ・ｂが０である場合、合成係数Ｗ1を０とする。また、乗算値ａ・ｂが０以上１以下である場合、乗算値ａ・ｂを合成係数Ｗ1とする。
【００７２】
混合部１０２は、上段の色空間変換部５３によって生成された単色画像Ｒの全ての画素Ｒ（Ｐ）と補正信号出力部６１から入力される対応する補正信号Ｒｒ（Ｐ）とを、合成係数Ｗ1を用いた次式（４）に従って加重加算し、補正済単色画像Ｒ’を生成する。
Ｒ’（Ｐ）＝Ｗ0・Ｒ（Ｐ）＋Ｗ1・Ｒ’（Ｐ） ・・・（４）
ただし、合成係数Ｗ0は（１−Ｗ1）である。
【００７３】
なお、上述した各部の説明において、例えば、標準偏差ＳR（Ｐ）を標準偏差算出部８１と標準偏差算出部９１がそれぞれ独立して演算しているように、同一の演算を異なる信号処理部がそれぞれ独立して演算しているが、任意の信号処理部だけがその演算を実行し、他の信号処理部はその演算結果を流用するようにしてもよい。
【００７４】
次に、画像処理部２７の動作について、図１４のフローチャートを参照して説明する。
【００７５】
ステップＳ１において、画像処理部２７は、Ａ／Ｄコンバータ２６が出力する色モザイク画像を取得し、色差信号生成部５１および輝度画像生成部５２に供給する。ステップＳ２において、色差信号生成部５１は、上段から入力された色モザイク画像を元に、対応する色差信号Ｃｒ，Ｃｂを生成して輝度成分生成部５２および色空間変換部５３に出力する。ステップＳ３において、輝度画像生成部５２は、上段から入力された色モザイク画像、および色差信号生成部５１から入力された色差信号Ｃｒ，Ｃｂに基づき、全ての画素が輝度成分を有する輝度画像Ｙを生成して色空間変換部５２に出力する。
【００７６】
ステップＳ４において、色空間変換部５３は、輝度画像生成部５２から入力された輝度画像Ｙの全ての画素それぞれを、色差信号生成部５１から入力される色差信号Ｃｒ，Ｃｂに基づいて、Ｒ成分、Ｇ成分、およびＢ成分に変換することにより、単色画像Ｒ，Ｇ，Ｂを生成する。
【００７７】
ステップＳ５において、偽色補正部５４Ｒは、単色画像Ｇを基準として単色画像Ｒを補正し、補正済み単色画像Ｒ’を出力する。また、偽色補正部５４Ｂは、単色画像Ｇを基準として単色画像Ｂを補正し、補正済み単色画像Ｂ’を出力する。以下、適宜、単色画像Ｇを基準画像Ｇとも記述し、単色画像Ｒを補正画像Ｒとも記述する。
【００７８】
ステップＳ５における偽色補正部５４Ｒによる偽色補正処理の詳細について、図１５のフローチャートを参照して説明する。なお、偽色補正部５４Ｒによる偽色補正処理も同様であるので、その説明は省略する。
【００７９】
ステップＳ１１において、補正信号出力部６１は、上段の色空間変換部５３によって生成された単色画像Ｇ，Ｒに全ての画素を順次、注目画素Ｐとし、注目画素Ｐに対応する補正信号Ｒｒ（Ｐ）、相関係数ＣRG（Ｐ）、標準偏差ＳG（Ｐ）を算出して合成部６２に出力する。ステップＳ１１における、補正信号出力部６１による注目画素Ｐに対応する補正信号Ｒｒ（Ｐ）を算出する処理について、図１６を参照して説明する。
【００８０】
ステップＳ２１において、平均画素算出部７１は、補正画像Ｒの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の平均ＭR（Ｐ）を算出して加算部７５に出力する。一方、平均画素算出部７２は、基準画像Ｇの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の平均ＭG（Ｐ）を算出して減算部７３に出力する。
【００８１】
ステップＳ２２において、減算部７３は、基準画像Ｇの注目画素Ｐの値Ｇ（Ｐ）から、平均画素算出部７２から入力された平均ＭG（Ｐ）を減算し、差分信号｛Ｇ（Ｐ）−ＭG（Ｐ）｝として補正値算出部７４に出力する。
【００８２】
ステップＳ２３において、補正値算出部７４は、単色画像Ｒ，Ｇ、および減算部７３から入力された差分信号に基づき、注目画素に対応する補正値［Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）］を算出して加算部７５に出力する。ステップＳ２３における補正値算出部７４による補正値算出処理の詳細について、図１７のフローチャートを参照して説明する。
【００８３】
ステップＳ３１において、標準偏差算出部８１は、補正画像Ｒの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の標準偏差ＳR（Ｐ）を算出して除算部８３に出力する。一方、標準偏差算出部８２は、基準画像Ｇの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の標準偏差ＳG（Ｐ）を算出して除算部８３に出力する。ステップＳ３２において、除算部８３は、標準偏差算出部８１から入力された標準偏差ＳR（Ｐ）を、標準偏差算出部８２から入力された標準偏差ＳG（Ｐ）で除算し、標準偏差比ＳR（Ｐ）／ＳG（Ｐ）を乗算部８５に出力する。
【００８４】
一方、相関係数符号判定部８４は、ステップＳ３３において、単色画像Ｒ，Ｇの注目画素Ｐに対応する相関係数符号Ｓｇｎ（Ｐ）を算出して乗算部８５に出力する。なお、ステップＳ３３の処理は、ステップＳ３１，Ｓ３２の処理と平行して実行することができる。
【００８５】
ステップＳ３３における相関係数符号判定部８４による相関係数符号判定処理の詳細について、図１８を参照して説明する。
【００８６】
ステップＳ４１において、標準偏差算出部９１は、補正画像Ｒの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の標準偏差ＳR（Ｐ）を算出して乗算部９３および相関係数演算部９６に出力する。一方、標準偏差算出部９２は、基準画像Ｇの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の標準偏差ＳG（Ｐ）を算出して乗算部９３および相関係数演算部９６に出力する。乗算部９３は、標準偏差算出部９１からの標準偏差ＳR（Ｐ）と標準偏差算出部９１からの標準偏差ＳG（Ｐ）を乗算し、乗算値ＳR（Ｐ）・ＳG（Ｐ）を相関係数演算部９６に出力する。
【００８７】
ステップＳ４２において、相関係数演算部９６は、乗算部９３からの乗算値が０であるか否かを判定する。乗算部９３からの乗算値が０ではないと判定された場合、処理はステップＳ４３に進む。
【００８８】
ステップＳ４３において、平均画素算出部９４は、補正画像Ｒの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の平均ＭR（Ｐ）を算出して相関係数演算部９６に出力する。一方、平均画素算出部９５は、基準画像Ｇの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の平均ＭG（Ｐ）を算出して相関係数演算部９６に出力する。ステップＳ４４において、相関係数演算部９６は、式（３）に従って相関係数ＣRG（Ｐ）を算出する。
【００８９】
反対に、ステップＳ４２において、乗算部９３からの乗算値が０であると判定された場合、処理はステップＳ４５に進む。ステップＳ４５において、相関係数演算部９６は、相関係数ＣRG（Ｐ）を０とする。
【００９０】
ステップＳ４６において、符号決定部９７は、相関係数演算部９６からの相関係数ＣRG（Ｐ）が０よりも小さいか否かを判定する。相関係数ＣRG（Ｐ）が０よりも小さいと判定された場合、処理はステップＳ４７に進む。ステップＳ４７において、符号決定部９７は、相関係数符号Ｓｇｎ（Ｐ）を−１とする。
【００９１】
ステップＳ４６において、相関係数ＣRG（Ｐ）が０よりも小さくないと判定された場合、処理はステップＳ４８に進む。ステップＳ４８において、符号決定部９７は、相関係数ＣRG（Ｐ）が０よりも大きいか否かを判定する。相関係数ＣRG（Ｐ）が０よりも大きいと判定された場合、処理はステップＳ４９に進む。ステップＳ４９において、符号決定部９７は、相関係数符号Ｓｇｎ（Ｐ）を１とする。
【００９２】
ステップＳ４８において、相関係数ＣRG（Ｐ）が０よりも大きくない、すなわち、相関係数ＣRG（Ｐ）が０であると判定された場合、処理はステップＳ５０に進む。ステップＳ５０において、符号決定部９７は、相関係数符号Ｓｇｎ（Ｐ）を０とする。
【００９３】
以上のようにして、相関係数符号Ｓｇｎ（Ｐ）が−１，０，１のいずれかに判定された後、処理は、図１７のステップＳ３４にリターンする。
【００９４】
ステップＳ３４において、乗算部８５は、除算部８３からの標準偏差比に、相関係数符号判定部８４からの相関係数符号を乗算し、倍率信号｛Ｓｇｎ（Ｐ）・ＳR（Ｐ）／ＳG（Ｐ）｝として乗算部８６に出力する。ステップＳ３５において、乗算部８６は、乗算部８５からの倍率信号に、前段の減算部７３からの差分信号を乗算し、注目画素に対応する補正値［Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）］として後段の加算部７５に出力する。
【００９５】
このようにして注目画素に対応する補正値が算出された後、処理は図１６のステップＳ２４にリターンする。
【００９６】
ステップＳ２４において、加算部７５は、平均画素算出部７１から入力された注目画素に対応する平均ＭR（Ｐ）に、補正値算出部７４からの補正値を換算して補正信号Ｒｒを算出する。
【００９７】
処理は図１５のステップＳ１２にリターンする。ステップＳ１２において、合成部６２は、上段の色空間変換部５３によって生成された単色画像Ｒの各画素と、補正信号出力部６１から入力される各画素に対応する補正信号Ｒｒを、相関係数ＣRGおよび標準偏差ＳGに基づいて合成することにより補正済単色画像Ｒ’を生成する。
【００９８】
ステップＳ１２における合成部６２による合成処理の詳細について、図１９のフローチャートを参照して説明する。ステップＳ６１において、合成係数算出部１０１は、補正信号出力部６１からの相関係数ＣRG（Ｐ）の絶対値｜ＣRG（Ｐ）｜を変数ａに代入する。
【００９９】
ステップＳ６２において、合成係数算出部１０１は、標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きいか否かを判定する。
標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きいと判定された場合、処理はステップＳ６３に進む。ステップＳ６３において、合成係数算出部１０１は、変数ｂに１を代入する。
【０１００】
反対に、ステップＳ６２において、標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きくないと判定された場合、処理はステップＳ６４に進む。ステップＳ６４において、合成係数算出部１０１は、変数ｂに、標準偏差ＳG（Ｐ）を閾値Ａで除算した除算値（ＳG（Ｐ）／閾値Ａ）を代入する。
【０１０１】
ステップＳ６５において、合成係数算出部１０１は、変数ａと変数ｂを乗算し、乗算値ａ・ｂが１よりも大きいか否かを判定する。乗算値ａ・ｂが１よりも大きいと判定された場合、処理はステップＳ６６に進む。ステップＳ６６において、合成係数算出部１０１は、合成係数Ｗ1を１とする。
【０１０２】
ステップＳ６５において、乗算値ａ・ｂが１よりも大きくないと判定された場合、処理はステップＳ６７に進む。ステップＳ６７において、合成係数算出部１０１は、乗算値ａ・ｂが０であるか否かを判定する。乗算値ａ・ｂが０であると判定された場合、処理はステップＳ６８に進む。ステップＳ６８において、合成係数算出部１０１は、合成係数Ｗ1を０とする。
【０１０３】
ステップＳ６７において、乗算値ａ・ｂが０ではないと判定された場合、処理はステップＳ６９に進む。ステップＳ６９において、合成係数算出部１０１は、合成係数Ｗ1に乗算値ａ・ｂを代入する。
【０１０４】
ステップＳ７０において、混合部１０２は、合成係数算出部１０１からの合成係数Ｗ1を１から減算して合成係数Ｗ0を算出する。ステップＳ７１において、混合部１０２は、式（４）に従い、上段の色空間変換部５３によって生成された補正画像Ｒの注目画素Ｒ（Ｐ）と、補正信号出力部６１からの補正信号Ｒｒ（Ｐ）とを加重加算して補正済単色画像Ｒ’の画素Ｒ’（Ｐ）を算出する。
【０１０５】
以上説明したような処理が、全ての画素が順次指定される注目画素に対して施されることにより、補正済単色画像Ｒ’が生成される。以上、画像処理部２７の動作についての説明を終了する。
【０１０６】
ところで、補正値を加算部７５に出力する補正値算出部７４は、以下のように構成してもよい。
【０１０７】
図２０は、図１０の補正値算出部７４の第２の構成例を示している。当該第２の構成例において、図１１に示した補正値算出部７４の第１の構成例と同様に動作する信号処理部については、同一の符号を付与しているので、その説明は省略する。当該第２の構成例においては、乗算部８３の出力結果である、標準偏差比ＳR（Ｐ）／ＳG（Ｐ）が倍率信号として乗算部８６に供給される。
【０１０８】
図２１は、図１０の補正値算出部７４の第３の構成例を示している。当該第３の構成例において、図１１に示した補正値算出部７４の第１の構成例と同様に動作する信号処理部については、同一の符号を付与しているので、その説明は省略する。
【０１０９】
当該第３の構成例においては、相関係数符号判定部８４の出力結果である、相関係数符号Ｓｇｎ（Ｐ）が倍率信号として乗算部８６に供給される。また、相関係数符号判定部８４を構成する標準偏差算出部９２によって算出された標準偏差ＳG（Ｐ）が、後段の合成部６２に供給される。
【０１１０】
図２２は、図１０の補正値算出部７４の第４の構成例を示している。当該第４の構成例において、図１１に示した補正値算出部７４の第１の構成例と同様に動作する信号処理部については、同一の符号を付与しているので、その説明は省略する。
【０１１１】
１次微分算出部１１１は、補正画像Ｒの注目画素に対して、ソーベル(Sobel)演算子を用いてベクトルＧR（ＧRh，ＧRv）を算出する。具体的には、例えば、図２３Ａに示す３×３画素の中心を注目画素Ｐとし、この左上、上、右上、左、右、左下、下、および右下の画素の値を、それぞれ、Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆ，Ｐｇ，およびＰｈとして、３×３画素のそれぞれに、図２３Ｂの係数を乗算してその総和を、ベクトルＧRの水平成分ＧRhとして算出する。また、３×３画素のそれぞれに、図２３Ｃの係数を乗算してその総和を、ベクトルＧRの垂直成分ＧRvとして算出する。
ＧRh＝−Ｐａ＋Ｐｃ−２Ｐｄ＋２Ｐｅ−Ｐｆ＋Ｐｈ
ＧRv＝−Ｐａ−２Ｐｂ−Ｐｃ＋Ｐｆ＋２Ｐｇ＋Ｐｈ
【０１１２】
１次微分算出部１１２は、１次微分算出部１１１と同様に、基準画像Ｒの注目画素に対して、ソーベル演算子を用いてベクトルＧG（ＧGh，ＧGv）を算出する。
【０１１３】
内積演算部１１３は、１次微分算出部１１１からのベクトルＧRと、１次微分算出部１１２からのベクトルＧGとの内積（ＧRh・ＧGh＋ＧRv・ＧGv）を算出し、倍率信号として乗算部８６に出力する。
【０１１４】
図２４は、図１０の補正値算出部７４の第５の構成例を示している。当該第５の構成例において、図２２に示した補正値算出部７４の第４の構成例と同様に動作する信号処理部については、同一の符号を付与しているので、その説明は省略する。
【０１１５】
絶対値比演算部１２１は、内積演算部１１３は、１次微分算出部１１１からのベクトルＧRの絶対値と、１次微分算出部１１２からのベクトルＧGとの絶対値と比｜ＧR｜／｜ＧG｜＝√（ＧRh 2＋ＧRv 2）／√（ＧGh 2＋ＧGv 2）を算出し、倍率信号として乗算部８６に出力する。
【０１１６】
以上、補正値算出部７４の第２乃至第５の構成例についての説明を終了する。
【０１１７】
なお、本発明は、本実施の形態のようなディジタルスチルカメラの他、画像処理を実施するあらゆる機器に適用することが可能である。
【０１１８】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１９】
この記録媒体は、図７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３６（フロッピディスクを含む）、光ディスク３７（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３８（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【０１２０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２１】
【発明の効果】
以上のように、本発明の画像処理装置および方法、並びにプログラムによれば、色モザイク画像を元に生成されたカラー画像に生じた色モアレや偽色を補正することが可能となる。
【図面の簡単な説明】
【図１】 RGBのベイヤ配列を示す図である。
【図２】エッジ画像の一例を示す図である。
【図３】図２のエッジ画像に対応する画素分布を示す図である。
【図４】本発明の概要を説明するための図である。
【図５】正の相関関係を有する画像例を示す図である。
【図６】負の相関関係を有する画像例を示す図である。
【図７】本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。
【図８】画像処理部２７の構成例を示すブロック図である。
【図９】図８の偽色補正部５４Ｒの構成例を示すブロック図である。
【図１０】図９の補正信号出力部６１の構成例を示すブロック図である。
【図１１】図１０の補正値算出部７４の第１の構成例を示すブロック図である。
【図１２】図１１の相関係数符号判定部８４の構成例を示すブロック図である。
【図１３】図９の合成部６２の構成例を示すブロック図である。
【図１４】画像処理部２７の動作を説明するフローチャートである。
【図１５】図１４のステップＳ５における偽色補正処理を説明するフローチャートである。
【図１６】図１５のステップＳ１１における補正信号算出処理を説明するフローチャートである。
【図１７】図１６のステップＳ２３における補正値算出処理を説明するフローチャートである。
【図１８】図１７のステップＳ３３における符号判定処理を説明するフローチャートである。
【図１９】図１５のステップＳ１２における合成処理を説明するフローチャートである。
【図２０】図１０の補正値算出部７４の第２の構成例を示すブロック図である。
【図２１】図１０の補正値算出部７４の第３の構成例を示すブロック図である。
【図２２】図１０の補正値算出部７４の第４の構成例を示すブロック図である。
【図２３】図２２の１次微分算出部１１１の動作を説明するための図である。
【図２４】図１０の補正値算出部７４の第５の構成例を示すブロック図である。
【符号の説明】
２７ 画像処理部， ３４ 制御部， ３６ 磁気ディスク， ３７ 光ディスク， ３８ 光磁気ディスク， ３９ 半導体メモリ， ５４Ｒ，５４Ｂ 偽色補正部， ６１ 補正信号出力部， ６２ 合成部， ７１，７２ 平均画素算出部， ７４ 補正値算出部， ８１，８２ 標準偏差算出部， ８６ 乗算部， ９１，９２ 標準偏差算出部， ９４，９５ 平均画素算出部， ９６ 相関係数演算部， ９７ 符号判定部， １０１ 合成係数算出部， １０２ 混合部， １１１，１１２ １次微分算出部， １１３ 内積演算部， １２１ 絶対値比演算部
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、単板式のカラー撮像素子を元に生成したカラー画像に発生し得る画質劣化を抑止する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、CCD(Charge Coupled Device)のような単板式の固体撮像素子を用いた撮影装置では、そのまま撮影しても単一の分光感度しか得られない（すなわち、モノクロ画像しか得られない）。
【０００３】
そこで、単板式の固体撮像素子を用いてカラー画像を得るために、得られる画像の各画素に対応する受光素子の受光面に、所定のパターン（例えば、図１に示すようなＲ（赤）、Ｇ（緑）、Ｂ（青）から成るベイヤ配列）の色フィルタを設けて撮影することが一般に行われている。
【０００４】
この撮像によって得られる画像は、各画素が単一の色成分だけしか有していない、色に関してモザイク状になった画像（以下、色モザイク画像と記述する）となる。さらに、色モザイク画像の各画素に対して、当該画素が有していない他の色成分を、周囲の画素を用いて補間することにより、全ての画素が全ての色成分色を有している画像、すなわち、カラー画像を生成するようにしている。
【０００５】
しかしながら、上述したように、色モザイク画像を元にしてカラー画像を生成した場合、生成したカラー画像に色モアレ等の画像劣化が生じてしまうことがある。
【０００６】
例えば、単板式個体撮像素子にRGBのベイヤ配列を成して色フィルタを設けた場合、得られる色モザイク画像は、各色成分それぞれのサンプリング位置が異なり、かつ、そのＲ成分およびＢ成分は、Ｇ成分に比較してサンプリング周波数が半分となる。このように、各色成分によってサンプリングの位置やサンプリング周波数が異なる色モザイク画像を用いて補間処理を実行する際には、色成分毎にサンプリングの方法に相違があるので、補間処理によって生成されたカラー画像の各画素について各色成分を比較すると、位相および振幅にずれが生じてしまうことがあり、それが色モアレ等の画質劣化の原因となっていた。
【０００７】
そこで、従来、色モザイク画像を元にして、画像劣化を抑止したカラー画像を生成する画像処理技術が提案されている。
【０００８】
例えば、特開昭６１−５０１４２４号公報には、局所的な領域においては物体の色(クロミナンス)の方向があまり変化しないことを前提として、存在していない色成分を補間によって復元する方法（以下、第１の従来方法と記述する）が開示されている。すなわち、第１の従来方法では、近傍の２画素ｘ，ｙのそれぞれにおけるＲ成分とＧ成分の比率が同じであると仮定し、色モザイク画像の画素ｘにＧ成分Ｇ（ｘ）が存在するならば、存在しない画素ｘのＲ成分Ｒ（ｘ）を、近傍の画素ｙのＲ成分（ｙ）およびＧ成分（ｙ）の比を用いた次式によって算出する。
Ｒ（ｘ）＝Ｇ（ｘ）・Ｒ（ｙ）／Ｇ（ｙ）
【０００９】
ただし実際には、Ｒ（ｙ）／Ｇ（ｙ）の値として、画素ｘの近傍のＲ成分および成分を有する複数の画素の比の平均（Ｒ／Ｇ）Lを用いる。
Ｒ（ｘ）＝Ｇ（ｘ）・（Ｒ／Ｇ）L
となる。
【００１０】
また、例えば、米国特許第４７１６４５５号公報には、第１の従来方法において用いていた、画素ｘの近傍のＲ成分および成分を有する複数の画素の比の平均（Ｒ／Ｇ）Lを、Ｒ成分の低周波成分ＲＬとＧ成分の低周波成分ＧＬの比（ＲＬ／ＧＬ）によって近似する方法（以下、第２の従来方法と記述する）が開示されている。
【００１１】
第２の従来方法に用いるＲ成分の低周波成分ＲＬとＧ成分の低周波成分ＧＬは１つの画素がＲ成分とＧ成分の両方を有していなくともそれぞれ独立して算出することができるので、全ての画素に対して先にＧ成分を補間する必要がない利点がある。
【００１２】
【発明が解決しようとする課題】
上述したように、第１および第２の従来方法においては、画素のＲ成分、Ｇ成分およびＢ成分の間には局所的に比例関係がある（あるいは、画素のＲ成分、Ｇ成分およびＢ成分の間の比は局所的に一定である）ことを前提として補間が行われている。
【００１３】
したがって、第１および第２の従来方法では、例えば被写体のエッジ部分等に急激な色の変化が存在する場合、そこに色モアレや偽色が発生してしまう問題が依然として存在している問題があった。
【００１４】
具体的に説明する。例えば、図２に示すように、緑色の領域と赤色の領域が徐々に交わっているエッジ部分を有する被写体を撮影した画像（以下、エッジ画像と記述する）を考える。図３は、図２のエッジ画像を構成する画素のＲ成分とＧ成分の分布を示している。図３において、横軸はＲ成分の値を示し、縦軸はＧ成分の値を示す。
【００１５】
領域１がエッジ画像の画素の分布に相当する。例えば、エッジ画像の緑色の領域の画素は、領域１のうちの左上部分に分布され、エッジ画像の赤色の領域の画素は、領域１のうちの右下部分に分布され、エッジ画像の緑色の領域と赤色の領域が徐々に交わっている付近の画素は、領域１の中央部分に分布される。
【００１６】
図３の点２は、エッジ画像を構成する画素のうち、Ｇ成分が既知であってＲ成分を補間したいエッジ付近の画素Ｐの周辺の局所的なＲ成分とＧ成分の平均値（ＭR（Ｐ），ＭG（Ｐ））を示している。
【００１７】
したがって、第１および第２の従来方法のように、画素のＲ成分とＧ成分の間には局所的に比例関係がある（Ｒ成分とＧ成分の比が局所的に一定である）ことを前提とすれば、画素Ｐは直線３の上に存在すると仮定することと同義であるので、画素ＰのＲ成分は図３のＲ（Ｐ）として算出され、図３において点４に分布することになる。
【００１８】
図３から明らかなように、Ｒ成分が補間された画素Ｐに対応する点４は、領域１から外れているので、最終的に生成されるカラー画像において、画素ＰのＲ成分Ｒ（Ｐ）は偽色となってしまう問題がある。
【００１９】
また、色モアレや偽色が発生しているカラー画像を、被写体が本来有している色に補正する技術が存在していない課題があった。
【００２０】
本発明はこのような状況に鑑みてなされたものであり、色モザイク画像を元に生成したカラー画像に発生している色モアレや偽色を補正できるようにすることを目的とする。
【００２１】
【課題を解決するための手段】
本発明の画像処理装置は、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出手段と、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出手段と、第１の平均画素と基準画像の注目画素との差分信号を算出する差分信号算出手段と、基準画像、補正画像、および差分信号に基づき、補正値を算出する補正値算出手段と、第２の平均画素に補正値を加算して第１の補正画素を生成する加算手段と、補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出手段と、合成係数に基づき、補正画像の注目画素と第１の補正画素とを合成する合成手段とを含むことを特徴とする。
【００２３】
前記補正値算出手段は、基準画像および補正画像に基づいて倍率信号を演算する倍率信号演算手段と、倍率信号に差分信号を乗算して補正値を生成する乗算手段とを含むようにすることができる。
【００２４】
前記倍率信号演算手段は、基準画像の注目画素に対応する第１の標準偏差を算出する第１の標準偏差算出手段と、補正画像の注目画素に対応する第２の標準偏差を算出する第２の標準偏差算出手段と、第２の標準偏差を第１の標準偏差で除算して標準偏差比を算出する標準偏差比算出手段と、基準画像および補正画像に基づいて相関係数符号を決定する相関係数符号決定手段と、標準偏差比に相関係数符号を乗算して倍率信号を生成する乗算手段とを含むようにすることができる。
【００２５】
前記倍率信号演算手段は、基準画像の注目画素に対応する第１の標準偏差を算出する第１の標準偏差算出手段と、補正画像の注目画素に対応する第２の標準偏差を算出する第２の標準偏差算出手段と、第２の標準偏差を第１の標準偏差で除算して倍率信号を生成する除算手段とを含むようにすることができる。
【００２６】
前記倍率信号演算手段は、基準画像および補正画像に基づいて相関係数符号を決定し、倍率信号として出力する相関係数符号決定手段を含むようにすることができる。
【００２７】
前記倍率信号演算手段は、基準画像の注目画素に対応する第１の１次微分を算出する第１の１次微分算出手段と、補正画像の注目画素に対応する第２の１次微分を算出する第２の１次微分算出手段とを含むようにすることができる。
【００２８】
前記倍率信号演算手段は、第１の１次微分と第２の１次微分との内積を倍率信号として算出する内積算出手段をさらに含むようにすることができる。
【００２９】
前記倍率信号演算手段は、第２の１次微分の絶対値を第１の１次微分の絶対値で除算して倍率信号を生成する絶対値比算出手段をさらに含むようにすることができる。
【００３０】
本発明の画像処理方法は、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出ステップと、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出ステップと、第１の平均画素と基準画像の注目画素との差分信号を算出する差分信号算出ステップと、基準画像、補正画像、および差分信号に基づき、補正値を算出する補正値算出ステップと、第２の平均画素に補正値を加算して第１の補正画素を生成する加算ステップと、補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出手段と、合成係数に基づき、補正画像の注目画素と第１の補正画素とを合成する合成手段とを含むことを特徴とする。
【００３１】
本発明の記録媒体のプログラムは、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出ステップと、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出ステップと、第１の平均画素と基準画像の注目画素との差分信号を算出する差分信号算出ステップと、基準画像、補正画像、および差分信号に基づき、補正値を算出する補正値算出ステップと、第２の平均画素に補正値を加算して第１の補正画素を生成する加算ステップと、補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出手段と、合成係数に基づき、補正画像の注目画素と第１の補正画素とを合成する合成手段とを含むことを特徴とする。
【００３２】
本発明のプログラムは、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出ステップと、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出ステップと、第１の平均画素と基準画像の注目画素との差分信号を算出する差分信号算出ステップと、基準画像、補正画像、および差分信号に基づき、補正値を算出する補正値算出ステップと、第２の平均画素に補正値を加算して第１の補正画素を生成する加算ステップと、補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出手段と、合成係数に基づき、補正画像の注目画素と第１の補正画素とを合成する合成手段とをコンピュータに実行させることを特徴とする。
【００３３】
本発明の画像処理装置および方法、並びにプログラムにおいては、色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素が算出され、色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素が算出され、第１の平均画素と基準画像の注目画素との差分信号が算出されて、基準画像、補正画像、および差分信号に基づき、補正値が算出される。さらに、第２の平均画素に補正値を加算して第１の補正画素が生成される。またさらに、補正値が算出される過程で演算された情報に基づき、合成係数が算出され、合成係数に基づき、補正画像の注目画素と第１の補正画素とが合成される。
【００３４】
【発明の実施の形態】
始めに、本発明の概要について、図４を参照して説明する。図４の領域１１は、図２に示したような緑色の領域と赤色の領域が徐々に交わっているエッジ部分を有する被写体を撮影して得られた色モザイク画像を元にして生成されたカラー画像の画素のＲ成分とＧ成分の分布を示している。図４において、横軸はＲ成分の値を示し、縦軸はＧ成分の値を示す。
【００３５】
例えば、図４の点１２を、生成されたカラー画像上に発生した画質劣化（偽色等）の画素に対応する点であると仮定する。以下、画質劣化の画素を補正画素Ｐと記述する。
【００３６】
本発明においては、補正画素ＰのＧ成分Ｇ（Ｐ）が他の色成分Ｒ（Ｐ），Ｂ（Ｐ）よりも被写体が本来有している色を比較的正確に復元されているとの仮定に基づき、補正画素ＰのＧ成分Ｇ（Ｐ）を基準として、補正画素ＰのＲ成分Ｇ（Ｐ）およびＢ成分Ｂ（Ｐ）を、周囲の画素の標準偏差に対応する直線１５に隣接するように補正する。
【００３７】
なお、以下においては、補正画素ＰのＧ成分Ｇ（Ｐ）を基準として、補正画素ＰのＲ成分Ｒ（Ｐ）を補正する処理についてだけ説明し、同様の処理である補正画素ＰのＢ成分Ｂ（Ｐ）を補正する処理の説明は省略する。
【００３８】
具体的には、補正画像ＰのＧ成分Ｇ（Ｐ）を次式（１）に適用して、図４の点１３のＲ成分の補正信号Ｒｒ（Ｐ）を算出し、算出した補正信号Ｒｒ（Ｐ）と補正前のＲ（Ｐ）を、次式（２）に基づいて合成して、補正画素Ｐの補正後のＲ成分Ｒ’（Ｐ）とする。
Ｒｒ（Ｐ）
＝Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）＋ＭR（Ｐ）・・・（１）
Ｒ’（Ｐ）＝αＲｒ（Ｐ）＋（１−α）・Ｒ（Ｐ） ・・・（２）
【００３９】
なお、Ｓｇｎ（Ｐ）は、補正画素Ｐの周辺の基準とするＧ成分と、補正するＲ成分の相関に応じて−１，０，１のいずれかの値となる相関係数符号である。例えば、図５に示すように、基準とするＧ成分の勾配と補正するＲ成分の勾配が同一方向である場合、正の相関が高いとしてＳｇｎ（Ｐ）＝１とする。また、図６に示すように、基準とするＧ成分の勾配と補正するＲ成分の勾配が逆方向である場合、負の相関が高いとしてＳｇｎ（Ｐ）＝−１とする。さらに、基準とするＧ成分の勾配と補正するＲ成分の勾配が垂直である場合、相関が低いとしてＳｇｎ（Ｐ）＝０とする。
【００４０】
ＭG（Ｐ）は、補正画素Ｐの周辺の画素のＧ成分の平均値（図４の点１４）である。ＭR（Ｐ）は、補正画素Ｐの周辺の画素のＲ成分の平均値（図４の点１４）である。ＳG（Ｐ）は、補正画素Ｐの周辺の画素のＧ成分の標準偏差である。ＳR（Ｐ）は、補正画素Ｐの周辺の画素のＲ成分の標準偏差である。ＳR（Ｐ）／ＳG（Ｐ）は、図４の直線１５の傾きに相当する。αは、０から１までの値をとる合成係数である。
【００４１】
次に、図７は、本発明の一実施の形態であるディジタルスチルカメラの構成例を示している。当該ディジタルスチルカメラは、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００４２】
光学系は、被写体の光画像を集光するレンズ２１、光画像の光量を調整する絞り２２、および、集光された光画像を光電変換して電気信号に変換する、RGBのベイヤ配列等を成す色フィルタが設けられた単板式CCDイメージセンサ２４から構成される。なお、色フィルタのパターンは、RGBのベイヤ配列以外であってもよい。
【００４３】
信号処理系は、CCDイメージセンサ２４からの電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路(CDS:Correlated Double Sampling)２５、相関２重サンプリング回路２５が出力するアナログ信号をディジタル信号に変換するＡ／Ｄコンバータ２６、Ａ／Ｄコンバータ２６から入力されるディジタル信号に所定の画像処理（後述）を施す画像処理部２７から構成される。なお、画像処理部２７に入力されるディジタル信号が、上述した色モザイク画像に相当する。
【００４４】
記録系は、画像処理部２７が処理した画像信号を符号化してメモリ２９に記録し、また、読み出して復号し、画像処理部２７に供給するCODEC(Compression/Decompression)２８、および、画像信号を記憶するメモリ２９から構成される。
【００４５】
表示系は、画像処理部２７が処理した画像信号をアナログ化するＤ／Ａコンバータ３０、アナログ化された画像信号を後段のディスプレイ３２に適合する形式のビデオ信号にエンコードするビデオエンコーダ３１、および、入力されるビデオ信号に対応する画像を表示することによってファインダとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ３２から構成される。
【００４６】
制御系は、CCDイメージセンサ２４乃至画像処理部２７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）２３、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部３３、および、ドライブ３５を制御して磁気ディスク３６、光ディスク３７、光磁気ディスク３８、または半導体メモリ３９に記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、操作入力部３３から入力されるユーザからのコマンド等に基づいてディジタルスチルカメラの全体を制御するCPU(Central Processing Unit)などよりなる制御部３４から構成される。
【００４７】
当該ディジタルスチルカメラにおいて、被写体の光学画像（入射光）は、レンズ２１および絞り２２を介してCCDイメージセンサ２４に入射され、CCDイメージセンサ２４によって光電変換されて電気信号となる。得られた電気信号は、相関２重サンプリング回路２５によってノイズ成分が除去され、Ａ／Ｄコンバータ２６によってディジタル化された後、画像処理部２７が内蔵する画像メモリに一時格納される。
【００４８】
なお、通常の状態では、タイミングジェネレータ２３による信号処理系に対する制御により、画像処理部２７が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部２７が内蔵する画像メモリの画像信号は、Ｄ／Ａコンバータ３０によってアナログ信号に変換され、ビデオエンコーダ３１によってビデオ信号に変換されて対応する画像がディスプレイ３２に表示される。
【００４９】
ディスプレイ３２は、当該ディジタルスチルカメラのファインダの役割も担っている。ユーザが操作入力部３３に含まれるシャッタボタンを押下した場合、制御部３４は、タイミングジェネレータ２３に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部２７の画像メモリに画像信号が上書きされないように信号処理系を制御する。画像処理部２７の画像メモリに保持された画像データは、CODEC２８によって符号化されてメモリ２９に記録される。以上のようなディジタルスチルカメラの動作によって、１枚の画像データの取り込みが完了する。
【００５０】
次に、図８は、画像処理部２７の構成例を示している。色差信号生成部５１は、上段から入力される色モザイク画像を元に、対応する色差信号Ｃｒ，Ｃｂを生成して輝度成分生成部５２および色空間変換部５３に出力する。輝度画像生成部５２は、上段から入力される色モザイク画像、および色差信号生成部５１から入力される色差信号Ｃｒ，Ｃｂを元に、全ての画素が輝度成分を有する輝度画像Ｙを生成して色空間変換部５２に出力する。色空間変換部５３は、輝度画像生成部５２から入力される輝度画像Ｙの全ての画素それぞれを、色差信号生成部５１から入力される色差信号Ｃｒ，Ｃｂに基づいて、Ｒ成分、Ｇ成分、およびＢ成分に変換することにより、単色画像Ｒ，Ｇ，Ｂを生成する。なお、この段階で生成された単色画像Ｒ，Ｇ，Ｂのうちの単色画像Ｒ，Ｂには、偽色等の画像劣化が生じている可能性がある。
【００５１】
偽色補正部５４Ｒは、単色画像Ｇを基準として単色画像Ｒを補正し、補正済み単色画像Ｒ’を出力する。偽色補正部５４Ｂは、単色画像Ｇを基準として単色画像Ｂを補正し、補正済み単色画像Ｂ’を出力する。
【００５２】
図９は、図８の偽色補正部５４Ｒの構成例を示している。補正信号出力部６１は、上段の色空間変換部５３によって生成された単色画像Ｇ，Ｒに基づき、各画素にそれぞれ対応する補正信号Ｒｒ、相関係数ＣRG、標準偏差ＳGを算出して合成部６２に出力する。
【００５３】
合成部６２は、上段の色空間変換部５３によって生成された単色画像Ｒの各画素について、相関係数ＣRGおよび標準偏差ＳGに基づいて補正信号出力部６１から入力される補正信号Ｒｒと合成することにより補正済単色画像Ｒ’を生成する。
【００５４】
なお、合成部６２を省略して、補正信号出力部６１によって算出される補正信号Ｒｒをそのまま偽色補正部５４Ｒの出力としてもよい。
【００５５】
偽色補正部５４Ｂの構成例は、図９に示した偽色補正部５４Ｒの構成例と同様であるので、その説明は省略する。
【００５６】
図１０は、図９の補正信号出力部６１の構成例を示している。平均画素算出部７１は、単色画像Ｒの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の平均ＭR（Ｐ）を算出して加算部７５に出力する。なお、当該「所定の領域」と、以下の説明において記述する「所定の領域」は、同一のサイズである。
【００５７】
平均画素算出部７２は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の平均ＭG（Ｐ）を算出して減算部７３に出力する。減算部７３は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐの値Ｇ（Ｐ）から、平均画素算出部７２から入力される注目画素に対応する平均ＭG（Ｐ）を減算し、差分信号｛Ｇ（Ｐ）−ＭG（Ｐ）｝として補正値算出部７４に出力する。
【００５８】
補正値算出部７４は、単色画像Ｒ，Ｇ、および減算部７３から入力される差分信号に基づき、各注目画素にそれぞれ対応する補正値を算出して加算部７５に出力する。ここで、補正値は、式（１）の右辺の一部
Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）
である。
【００５９】
また、補正値算出部７４は、各注目画素にそれぞれ対応する相関係数ＣRGおよび標準偏差ＳGを算出する。
【００６０】
加算部７５は、平均画素算出部７１から入力される注目画素に対応する平均ＭR（Ｐ）に、補正値算出部７４からの補正値を加算して補正信号Ｒｒを算出する。
【００６１】
図１１は、図１０の補正値算出部７４の第１の構成例を示している。標準偏差算出部８１は、単色画像Ｒの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の標準偏差ＳR（Ｐ）を算出して除算部８３に出力する。標準偏差算出部８２は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の標準偏差ＳG（Ｐ）を算出して除算部８３に出力する。算出された標準偏差ＳG（Ｐ）は、後段の合成部６２にも出力される。
【００６２】
除算部８３は、標準偏差算出部８１から入力される標準偏差ＳR（Ｐ）を、標準偏差算出部８２から入力される標準偏差ＳG（Ｐ）で除算し、標準偏差比ＳR（Ｐ）／ＳG（Ｐ）を乗算部８５に出力する。相関係数符号判定部８４は、単色画像Ｒ，Ｇの全ての画素を順次注目し、注目画素Ｐに対応する相関係数符号Ｓｇｎ（Ｐ）を算出して乗算部８５に出力する。
【００６３】
乗算部８５は、除算部８３からの標準偏差比に、相関係数符号判定部８４からの相関係数符号を乗算し、倍率信号｛Ｓｇｎ（Ｐ）・ＳR（Ｐ）／ＳG（Ｐ）｝として乗算部８６に出力する。乗算部８６は、乗算部８５からの倍率信号に、前段の減算部７３からの差分信号を乗算し、補正値［Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）］として後段の加算部７５に出力する。
【００６４】
図１２は、図１１の相関係数符号判定部８４の構成例を示している。標準偏差算出部９１は、単色画像Ｒの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の標準偏差ＳR（Ｐ）を算出して乗算部９３および相関係数演算部９６に出力する。標準偏差算出部９２は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の標準偏差ＳG（Ｐ）を算出して乗算部９３および相関係数演算部９６に出力する。
【００６５】
乗算部９３は、標準偏差算出部９１からの標準偏差ＳR（Ｐ）と標準偏差算出部９１からの標準偏差ＳG（Ｐ）を乗算し、乗算値ＳR（Ｐ）・ＳG（Ｐ）を相関係数演算部９６に出力する。
【００６６】
平均画素算出部９４は、単色画像Ｒの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の平均ＭR（Ｐ）を算出して相関係数演算部９６に出力する。平均画素算出部９５は、単色画像Ｇの全ての画素を順次注目し、注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の平均ＭG（Ｐ）を算出して相関係数演算部９６に出力する。
【００６７】
相関係数演算部９６は、注目画素に対応する相関係数ＣRG（Ｐ）を算出し、符号決定部９７に出力する。具体的には、乗算部９３からの乗算値が０である場合、相関係数ＣRG（Ｐ）を０とする。反対に、乗算部９３からの乗算値が０ではない場合、次式（３）に従って相関係数ＣRG（Ｐ）を算出する。
ＣRG（Ｐ）＝（ΣＲＧ−ＭR（Ｐ）・ＭG（Ｐ））／（ＳR（Ｐ）・ＳG（Ｐ））・・・（３）
【００６８】
ここで、ΣＲＧは、単色画像Ｒの注目画素を中心とする所定の領域に存在する複数（σとする）の画素と、単色画像Ｇの注目画素を中心とする所定の領域に存在する複数の画素との同一座標に位置する画素同士の積の総和を、所定の領域に存在する画素の数σで除算した値である。
【００６９】
なお、相関係数演算部９６によって算出された相関係数ＣRG（Ｐ）は後段の合成部６２にも供給される。
【００７０】
符号決定部９７は、相関係数演算部９６からの相関係数ＣRG（Ｐ）に基づき、各注目画素に対して相関係数符号Ｓｇｎ（Ｐ）を決定し、後段の乗算部８５に出力する。具体的には、相関係数ＣRG（Ｐ）が０よりも小さい場合、相関係数符号Ｓｇｎ（Ｐ）を−１とする。相関係数ＣRG（Ｐ）が０よりも大きい場合、相関係数符号Ｓｇｎ（Ｐ）を１とする。また、相関係数ＣRG（Ｐ）が０である場合、相関係数符号Ｓｇｎ（Ｐ）を０とする。
【００７１】
図１３は、図９の合成部６２の構成例を示している。合成係数算出部１０１は、補正信号出力部６１からの相関係数ＣRG（Ｐ）および標準偏差ＳG（Ｐ）に基づき、各注目画素Ｐに対応する合成係数Ｗ1（Ｐ）を算出して混合部１０２に出力する。具体的には、相関係数ＣRG（Ｐ）の絶対値を変数ａとする。一方、標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きい場合、変数ｂを１とする。反対に、標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きくない場合、変数ｂを、標準偏差ＳG（Ｐ）を閾値Ａで除算した除算値（ＳG（Ｐ）／閾値Ａ）とする。そして、変数ａと変数ｂの乗算値ａ・ｂが１よりも大きい場合、合成係数Ｗ1を１とする。乗算値ａ・ｂが０である場合、合成係数Ｗ1を０とする。また、乗算値ａ・ｂが０以上１以下である場合、乗算値ａ・ｂを合成係数Ｗ1とする。
【００７２】
混合部１０２は、上段の色空間変換部５３によって生成された単色画像Ｒの全ての画素Ｒ（Ｐ）と補正信号出力部６１から入力される対応する補正信号Ｒｒ（Ｐ）とを、合成係数Ｗ1を用いた次式（４）に従って加重加算し、補正済単色画像Ｒ’を生成する。
Ｒ’（Ｐ）＝Ｗ0・Ｒ（Ｐ）＋Ｗ1・Ｒ’（Ｐ） ・・・（４）
ただし、合成係数Ｗ0は（１−Ｗ1）である。
【００７３】
なお、上述した各部の説明において、例えば、標準偏差ＳR（Ｐ）を標準偏差算出部８１と標準偏差算出部９１がそれぞれ独立して演算しているように、同一の演算を異なる信号処理部がそれぞれ独立して演算しているが、任意の信号処理部だけがその演算を実行し、他の信号処理部はその演算結果を流用するようにしてもよい。
【００７４】
次に、画像処理部２７の動作について、図１４のフローチャートを参照して説明する。
【００７５】
ステップＳ１において、画像処理部２７は、Ａ／Ｄコンバータ２６が出力する色モザイク画像を取得し、色差信号生成部５１および輝度画像生成部５２に供給する。ステップＳ２において、色差信号生成部５１は、上段から入力された色モザイク画像を元に、対応する色差信号Ｃｒ，Ｃｂを生成して輝度成分生成部５２および色空間変換部５３に出力する。ステップＳ３において、輝度画像生成部５２は、上段から入力された色モザイク画像、および色差信号生成部５１から入力された色差信号Ｃｒ，Ｃｂに基づき、全ての画素が輝度成分を有する輝度画像Ｙを生成して色空間変換部５２に出力する。
【００７６】
ステップＳ４において、色空間変換部５３は、輝度画像生成部５２から入力された輝度画像Ｙの全ての画素それぞれを、色差信号生成部５１から入力される色差信号Ｃｒ，Ｃｂに基づいて、Ｒ成分、Ｇ成分、およびＢ成分に変換することにより、単色画像Ｒ，Ｇ，Ｂを生成する。
【００７７】
ステップＳ５において、偽色補正部５４Ｒは、単色画像Ｇを基準として単色画像Ｒを補正し、補正済み単色画像Ｒ’を出力する。また、偽色補正部５４Ｂは、単色画像Ｇを基準として単色画像Ｂを補正し、補正済み単色画像Ｂ’を出力する。以下、適宜、単色画像Ｇを基準画像Ｇとも記述し、単色画像Ｒを補正画像Ｒとも記述する。
【００７８】
ステップＳ５における偽色補正部５４Ｒによる偽色補正処理の詳細について、図１５のフローチャートを参照して説明する。なお、偽色補正部５４Ｒによる偽色補正処理も同様であるので、その説明は省略する。
【００７９】
ステップＳ１１において、補正信号出力部６１は、上段の色空間変換部５３によって生成された単色画像Ｇ，Ｒに全ての画素を順次、注目画素Ｐとし、注目画素Ｐに対応する補正信号Ｒｒ（Ｐ）、相関係数ＣRG（Ｐ）、標準偏差ＳG（Ｐ）を算出して合成部６２に出力する。ステップＳ１１における、補正信号出力部６１による注目画素Ｐに対応する補正信号Ｒｒ（Ｐ）を算出する処理について、図１６を参照して説明する。
【００８０】
ステップＳ２１において、平均画素算出部７１は、補正画像Ｒの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の平均ＭR（Ｐ）を算出して加算部７５に出力する。一方、平均画素算出部７２は、基準画像Ｇの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の平均ＭG（Ｐ）を算出して減算部７３に出力する。
【００８１】
ステップＳ２２において、減算部７３は、基準画像Ｇの注目画素Ｐの値Ｇ（Ｐ）から、平均画素算出部７２から入力された平均ＭG（Ｐ）を減算し、差分信号｛Ｇ（Ｐ）−ＭG（Ｐ）｝として補正値算出部７４に出力する。
【００８２】
ステップＳ２３において、補正値算出部７４は、単色画像Ｒ，Ｇ、および減算部７３から入力された差分信号に基づき、注目画素に対応する補正値［Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）］を算出して加算部７５に出力する。ステップＳ２３における補正値算出部７４による補正値算出処理の詳細について、図１７のフローチャートを参照して説明する。
【００８３】
ステップＳ３１において、標準偏差算出部８１は、補正画像Ｒの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の標準偏差ＳR（Ｐ）を算出して除算部８３に出力する。一方、標準偏差算出部８２は、基準画像Ｇの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の標準偏差ＳG（Ｐ）を算出して除算部８３に出力する。ステップＳ３２において、除算部８３は、標準偏差算出部８１から入力された標準偏差ＳR（Ｐ）を、標準偏差算出部８２から入力された標準偏差ＳG（Ｐ）で除算し、標準偏差比ＳR（Ｐ）／ＳG（Ｐ）を乗算部８５に出力する。
【００８４】
一方、相関係数符号判定部８４は、ステップＳ３３において、単色画像Ｒ，Ｇの注目画素Ｐに対応する相関係数符号Ｓｇｎ（Ｐ）を算出して乗算部８５に出力する。なお、ステップＳ３３の処理は、ステップＳ３１，Ｓ３２の処理と平行して実行することができる。
【００８５】
ステップＳ３３における相関係数符号判定部８４による相関係数符号判定処理の詳細について、図１８を参照して説明する。
【００８６】
ステップＳ４１において、標準偏差算出部９１は、補正画像Ｒの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の標準偏差ＳR（Ｐ）を算出して乗算部９３および相関係数演算部９６に出力する。一方、標準偏差算出部９２は、基準画像Ｇの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の標準偏差ＳG（Ｐ）を算出して乗算部９３および相関係数演算部９６に出力する。乗算部９３は、標準偏差算出部９１からの標準偏差ＳR（Ｐ）と標準偏差算出部９１からの標準偏差ＳG（Ｐ）を乗算し、乗算値ＳR（Ｐ）・ＳG（Ｐ）を相関係数演算部９６に出力する。
【００８７】
ステップＳ４２において、相関係数演算部９６は、乗算部９３からの乗算値が０であるか否かを判定する。乗算部９３からの乗算値が０ではないと判定された場合、処理はステップＳ４３に進む。
【００８８】
ステップＳ４３において、平均画素算出部９４は、補正画像Ｒの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｒ成分）の平均ＭR（Ｐ）を算出して相関係数演算部９６に出力する。一方、平均画素算出部９５は、基準画像Ｇの注目画素Ｐを中心とする所定の領域に存在する複数の画素の値（すなわち、Ｇ成分）の平均ＭG（Ｐ）を算出して相関係数演算部９６に出力する。ステップＳ４４において、相関係数演算部９６は、式（３）に従って相関係数ＣRG（Ｐ）を算出する。
【００８９】
反対に、ステップＳ４２において、乗算部９３からの乗算値が０であると判定された場合、処理はステップＳ４５に進む。ステップＳ４５において、相関係数演算部９６は、相関係数ＣRG（Ｐ）を０とする。
【００９０】
ステップＳ４６において、符号決定部９７は、相関係数演算部９６からの相関係数ＣRG（Ｐ）が０よりも小さいか否かを判定する。相関係数ＣRG（Ｐ）が０よりも小さいと判定された場合、処理はステップＳ４７に進む。ステップＳ４７において、符号決定部９７は、相関係数符号Ｓｇｎ（Ｐ）を−１とする。
【００９１】
ステップＳ４６において、相関係数ＣRG（Ｐ）が０よりも小さくないと判定された場合、処理はステップＳ４８に進む。ステップＳ４８において、符号決定部９７は、相関係数ＣRG（Ｐ）が０よりも大きいか否かを判定する。相関係数ＣRG（Ｐ）が０よりも大きいと判定された場合、処理はステップＳ４９に進む。ステップＳ４９において、符号決定部９７は、相関係数符号Ｓｇｎ（Ｐ）を１とする。
【００９２】
ステップＳ４８において、相関係数ＣRG（Ｐ）が０よりも大きくない、すなわち、相関係数ＣRG（Ｐ）が０であると判定された場合、処理はステップＳ５０に進む。ステップＳ５０において、符号決定部９７は、相関係数符号Ｓｇｎ（Ｐ）を０とする。
【００９３】
以上のようにして、相関係数符号Ｓｇｎ（Ｐ）が−１，０，１のいずれかに判定された後、処理は、図１７のステップＳ３４にリターンする。
【００９４】
ステップＳ３４において、乗算部８５は、除算部８３からの標準偏差比に、相関係数符号判定部８４からの相関係数符号を乗算し、倍率信号｛Ｓｇｎ（Ｐ）・ＳR（Ｐ）／ＳG（Ｐ）｝として乗算部８６に出力する。ステップＳ３５において、乗算部８６は、乗算部８５からの倍率信号に、前段の減算部７３からの差分信号を乗算し、注目画素に対応する補正値［Ｓｇｎ（Ｐ）・｛Ｇ（Ｐ）−ＭG（Ｐ）｝・ＳR（Ｐ）／ＳG（Ｐ）］として後段の加算部７５に出力する。
【００９５】
このようにして注目画素に対応する補正値が算出された後、処理は図１６のステップＳ２４にリターンする。
【００９６】
ステップＳ２４において、加算部７５は、平均画素算出部７１から入力された注目画素に対応する平均ＭR（Ｐ）に、補正値算出部７４からの補正値を換算して補正信号Ｒｒを算出する。
【００９７】
処理は図１５のステップＳ１２にリターンする。ステップＳ１２において、合成部６２は、上段の色空間変換部５３によって生成された単色画像Ｒの各画素と、補正信号出力部６１から入力される各画素に対応する補正信号Ｒｒを、相関係数ＣRGおよび標準偏差ＳGに基づいて合成することにより補正済単色画像Ｒ’を生成する。
【００９８】
ステップＳ１２における合成部６２による合成処理の詳細について、図１９のフローチャートを参照して説明する。ステップＳ６１において、合成係数算出部１０１は、補正信号出力部６１からの相関係数ＣRG（Ｐ）の絶対値｜ＣRG（Ｐ）｜を変数ａに代入する。
【００９９】
ステップＳ６２において、合成係数算出部１０１は、標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きいか否かを判定する。
標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きいと判定された場合、処理はステップＳ６３に進む。ステップＳ６３において、合成係数算出部１０１は、変数ｂに１を代入する。
【０１００】
反対に、ステップＳ６２において、標準偏差ＳG（Ｐ）が所定の閾値Ａよりも大きくないと判定された場合、処理はステップＳ６４に進む。ステップＳ６４において、合成係数算出部１０１は、変数ｂに、標準偏差ＳG（Ｐ）を閾値Ａで除算した除算値（ＳG（Ｐ）／閾値Ａ）を代入する。
【０１０１】
ステップＳ６５において、合成係数算出部１０１は、変数ａと変数ｂを乗算し、乗算値ａ・ｂが１よりも大きいか否かを判定する。乗算値ａ・ｂが１よりも大きいと判定された場合、処理はステップＳ６６に進む。ステップＳ６６において、合成係数算出部１０１は、合成係数Ｗ1を１とする。
【０１０２】
ステップＳ６５において、乗算値ａ・ｂが１よりも大きくないと判定された場合、処理はステップＳ６７に進む。ステップＳ６７において、合成係数算出部１０１は、乗算値ａ・ｂが０であるか否かを判定する。乗算値ａ・ｂが０であると判定された場合、処理はステップＳ６８に進む。ステップＳ６８において、合成係数算出部１０１は、合成係数Ｗ1を０とする。
【０１０３】
ステップＳ６７において、乗算値ａ・ｂが０ではないと判定された場合、処理はステップＳ６９に進む。ステップＳ６９において、合成係数算出部１０１は、合成係数Ｗ1に乗算値ａ・ｂを代入する。
【０１０４】
ステップＳ７０において、混合部１０２は、合成係数算出部１０１からの合成係数Ｗ1を１から減算して合成係数Ｗ0を算出する。ステップＳ７１において、混合部１０２は、式（４）に従い、上段の色空間変換部５３によって生成された補正画像Ｒの注目画素Ｒ（Ｐ）と、補正信号出力部６１からの補正信号Ｒｒ（Ｐ）とを加重加算して補正済単色画像Ｒ’の画素Ｒ’（Ｐ）を算出する。
【０１０５】
以上説明したような処理が、全ての画素が順次指定される注目画素に対して施されることにより、補正済単色画像Ｒ’が生成される。以上、画像処理部２７の動作についての説明を終了する。
【０１０６】
ところで、補正値を加算部７５に出力する補正値算出部７４は、以下のように構成してもよい。
【０１０７】
図２０は、図１０の補正値算出部７４の第２の構成例を示している。当該第２の構成例において、図１１に示した補正値算出部７４の第１の構成例と同様に動作する信号処理部については、同一の符号を付与しているので、その説明は省略する。当該第２の構成例においては、乗算部８３の出力結果である、標準偏差比ＳR（Ｐ）／ＳG（Ｐ）が倍率信号として乗算部８６に供給される。
【０１０８】
図２１は、図１０の補正値算出部７４の第３の構成例を示している。当該第３の構成例において、図１１に示した補正値算出部７４の第１の構成例と同様に動作する信号処理部については、同一の符号を付与しているので、その説明は省略する。
【０１０９】
当該第３の構成例においては、相関係数符号判定部８４の出力結果である、相関係数符号Ｓｇｎ（Ｐ）が倍率信号として乗算部８６に供給される。また、相関係数符号判定部８４を構成する標準偏差算出部９２によって算出された標準偏差ＳG（Ｐ）が、後段の合成部６２に供給される。
【０１１０】
図２２は、図１０の補正値算出部７４の第４の構成例を示している。当該第４の構成例において、図１１に示した補正値算出部７４の第１の構成例と同様に動作する信号処理部については、同一の符号を付与しているので、その説明は省略する。
【０１１１】
１次微分算出部１１１は、補正画像Ｒの注目画素に対して、ソーベル(Sobel)演算子を用いてベクトルＧR（ＧRh，ＧRv）を算出する。具体的には、例えば、図２３Ａに示す３×３画素の中心を注目画素Ｐとし、この左上、上、右上、左、右、左下、下、および右下の画素の値を、それぞれ、Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ，Ｐｅ，Ｐｆ，Ｐｇ，およびＰｈとして、３×３画素のそれぞれに、図２３Ｂの係数を乗算してその総和を、ベクトルＧRの水平成分ＧRhとして算出する。また、３×３画素のそれぞれに、図２３Ｃの係数を乗算してその総和を、ベクトルＧRの垂直成分ＧRvとして算出する。
ＧRh＝−Ｐａ＋Ｐｃ−２Ｐｄ＋２Ｐｅ−Ｐｆ＋Ｐｈ
ＧRv＝−Ｐａ−２Ｐｂ−Ｐｃ＋Ｐｆ＋２Ｐｇ＋Ｐｈ
【０１１２】
１次微分算出部１１２は、１次微分算出部１１１と同様に、基準画像Ｒの注目画素に対して、ソーベル演算子を用いてベクトルＧG（ＧGh，ＧGv）を算出する。
【０１１３】
内積演算部１１３は、１次微分算出部１１１からのベクトルＧRと、１次微分算出部１１２からのベクトルＧGとの内積（ＧRh・ＧGh＋ＧRv・ＧGv）を算出し、倍率信号として乗算部８６に出力する。
【０１１４】
図２４は、図１０の補正値算出部７４の第５の構成例を示している。当該第５の構成例において、図２２に示した補正値算出部７４の第４の構成例と同様に動作する信号処理部については、同一の符号を付与しているので、その説明は省略する。
【０１１５】
絶対値比演算部１２１は、内積演算部１１３は、１次微分算出部１１１からのベクトルＧRの絶対値と、１次微分算出部１１２からのベクトルＧGとの絶対値と比｜ＧR｜／｜ＧG｜＝√（ＧRh 2＋ＧRv 2）／√（ＧGh 2＋ＧGv 2）を算出し、倍率信号として乗算部８６に出力する。
【０１１６】
以上、補正値算出部７４の第２乃至第５の構成例についての説明を終了する。
【０１１７】
なお、本発明は、本実施の形態のようなディジタルスチルカメラの他、画像処理を実施するあらゆる機器に適用することが可能である。
【０１１８】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１９】
この記録媒体は、図７に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３６（フロッピディスクを含む）、光ディスク３７（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３８（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３９などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMやハードディスクなどで構成される。
【０１２０】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２１】
【発明の効果】
以上のように、本発明の画像処理装置および方法、並びにプログラムによれば、色モザイク画像を元に生成されたカラー画像に生じた色モアレや偽色を補正することが可能となる。
【図面の簡単な説明】
【図１】 RGBのベイヤ配列を示す図である。
【図２】エッジ画像の一例を示す図である。
【図３】図２のエッジ画像に対応する画素分布を示す図である。
【図４】本発明の概要を説明するための図である。
【図５】正の相関関係を有する画像例を示す図である。
【図６】負の相関関係を有する画像例を示す図である。
【図７】本発明を適用したディジタルスチルカメラの構成例を示すブロック図である。
【図８】画像処理部２７の構成例を示すブロック図である。
【図９】図８の偽色補正部５４Ｒの構成例を示すブロック図である。
【図１０】図９の補正信号出力部６１の構成例を示すブロック図である。
【図１１】図１０の補正値算出部７４の第１の構成例を示すブロック図である。
【図１２】図１１の相関係数符号判定部８４の構成例を示すブロック図である。
【図１３】図９の合成部６２の構成例を示すブロック図である。
【図１４】画像処理部２７の動作を説明するフローチャートである。
【図１５】図１４のステップＳ５における偽色補正処理を説明するフローチャートである。
【図１６】図１５のステップＳ１１における補正信号算出処理を説明するフローチャートである。
【図１７】図１６のステップＳ２３における補正値算出処理を説明するフローチャートである。
【図１８】図１７のステップＳ３３における符号判定処理を説明するフローチャートである。
【図１９】図１５のステップＳ１２における合成処理を説明するフローチャートである。
【図２０】図１０の補正値算出部７４の第２の構成例を示すブロック図である。
【図２１】図１０の補正値算出部７４の第３の構成例を示すブロック図である。
【図２２】図１０の補正値算出部７４の第４の構成例を示すブロック図である。
【図２３】図２２の１次微分算出部１１１の動作を説明するための図である。
【図２４】図１０の補正値算出部７４の第５の構成例を示すブロック図である。
【符号の説明】
２７ 画像処理部， ３４ 制御部， ３６ 磁気ディスク， ３７ 光ディスク， ３８ 光磁気ディスク， ３９ 半導体メモリ， ５４Ｒ，５４Ｂ 偽色補正部， ６１ 補正信号出力部， ６２ 合成部， ７１，７２ 平均画素算出部， ７４ 補正値算出部， ８１，８２ 標準偏差算出部， ８６ 乗算部， ９１，９２ 標準偏差算出部， ９４，９５ 平均画素算出部， ９６ 相関係数演算部， ９７ 符号判定部， １０１ 合成係数算出部， １０２ 混合部， １１１，１１２ １次微分算出部， １１３ 内積演算部， １２１ 絶対値比演算部
Claims (11)
- 単板式カラー撮像素子を用いて撮像された色モザイク画像を元に、各画素が複数の色成分を有するカラー画像を生成する画像処理装置において、
前記色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出手段と、
前記色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出手段と、
前記第１の平均画素と前記基準画像の前記注目画素との差分信号を算出する差分信号算出手段と、
前記基準画像、前記補正画像、および前記差分信号に基づき、補正値を算出する補正値算出手段と、
前記第２の平均画素に前記補正値を加算して第１の補正画素を生成する加算手段と、
前記補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出手段と、
前記合成係数に基づき、前記補正画像の注目画素と前記第１の補正画素とを合成する合成手段と
を含むことを特徴とする画像処理装置。 - 前記補正値算出手段は、
前記基準画像および前記補正画像に基づいて倍率信号を演算する倍率信号演算手段と、
前記倍率信号に前記差分信号を乗算して前記補正値を生成する乗算手段とを含む
ことを特徴とする請求項１に記載の画像処理装置。 - 前記倍率信号演算手段は、
前記基準画像の前記注目画素に対応する第１の標準偏差を算出する第１の標準偏差算出手段と、
前記補正画像の前記注目画素に対応する第２の標準偏差を算出する第２の標準偏差算出手段と、
前記第２の標準偏差を前記第１の標準偏差で除算して標準偏差比を算出する標準偏差比算出手段と、
前記基準画像および前記補正画像に基づいて相関係数符号を決定する相関係数符号決定手段と、
前記標準偏差比に前記相関係数符号を乗算して前記倍率信号を生成する乗算手段とを含む
ことを特徴とする請求項２に記載の画像処理装置。 - 前記倍率信号演算手段は、
前記基準画像の前記注目画素に対応する第１の標準偏差を算出する第１の標準偏差算出手段と、
前記補正画像の前記注目画素に対応する第２の標準偏差を算出する第２の標準偏差算出手段と、
前記第２の標準偏差を前記第１の標準偏差で除算して前記倍率信号を生成する除算手段とを含む
ことを特徴とする請求項２に記載の画像処理装置。 - 前記倍率信号演算手段は、
前記基準画像および前記補正画像に基づいて相関係数符号を決定し、前記倍率信号として出力する相関係数符号決定手段を含む
ことを特徴とする請求項２に記載の画像処理装置。 - 前記倍率信号演算手段は、
前記基準画像の前記注目画素に対応する第１の１次微分を算出する第１の１次微分算出手段と、
前記補正画像の前記注目画素に対応する第２の１次微分を算出する第２の１次微分算出手段とを含む
ことを特徴とする請求項２に記載の画像処理装置。 - 前記倍率信号演算手段は、
前記第１の１次微分と前記第２の１次微分との内積を前記倍率信号として算出する内積算出手段をさらに含む
ことを特徴とする請求項６に記載の画像処理装置。 - 前記倍率信号演算手段は、
前記第２の１次微分の絶対値を前記第１の１次微分の絶対値で除算して前記倍率信号を生成する絶対値比算出手段をさらに含む
ことを特徴とする請求項６に記載の画像処理装置。 - 単板式カラー撮像素子を用いて撮像された色モザイク画像を元に、各画素が複数の色成分を有するカラー画像を生成する画像処理装置の画像処理方法において、
前記色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出ステップと、
前記色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出ステップと、
前記第１の平均画素と前記基準画像の前記注目画素との差分信号を算出する差分信号算出ステップと、
前記基準画像、前記補正画像、および前記差分信号に基づき、補正値を算出する補正値算出ステップと、
前記第２の平均画素に前記補正値を加算して第１の補正画素を生成する加算ステップと、
前記補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出ステップと、
前記合成係数に基づき、前記補正画像の注目画素と前記第１の補正画素とを合成する合成ステップと
を含むことを特徴とする画像処理方法。 - 単板式カラー撮像素子を用いて撮像された色モザイク画像を元に、各画素が複数の色成分を有するカラー画像を生成するためのプログラムであって、
前記色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出ステップと、
前記色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出ステップと、
前記第１の平均画素と前記基準画像の前記注目画素との差分信号を算出する差分信号算出ステップと、
前記基準画像、前記補正画像、および前記差分信号に基づき、補正値を算出する補正値算出ステップと、
前記第２の平均画素に前記補正値を加算して第１の補正画素を生成する加算ステップと、
前記補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出ステップと、
前記合成係数に基づき、前記補正画像の注目画素と前記第１の補正画素とを合成する合成ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 単板式カラー撮像素子を用いて撮像された色モザイク画像を元に、各画素が複数の色成分を有するカラー画像を生成するコンピュータに、
前記色モザイク画像を元にして生成された、全ての画素が第１の色成分だけを有する基準画像の注目画素に対応する第１の平均画素を算出する第１の平均画素算出ステップと、
前記色モザイク画像を元にして生成された、全ての画素が第２の色成分だけを有する補正画像の注目画素に対応する第２の平均画素を算出する第２の平均画素算出ステップと、
前記第１の平均画素と前記基準画像の前記注目画素との差分信号を算出する差分信号算出ステップと、
前記基準画像、前記補正画像、および前記差分信号に基づき、補正値を算出する補正値算出ステップと、
前記第２の平均画素に前記補正値を加算して第１の補正画素を生成する加算ステップと、
前記補正値が算出される過程で演算された情報に基づき、合成係数を算出する合成係数算出ステップと、
前記合成係数に基づき、前記補正画像の注目画素と前記第１の補正画素とを合成する合成ステップと
を実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002025319A JP3965556B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002025319A JP3965556B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003230159A JP2003230159A (ja) | 2003-08-15 |
| JP3965556B2 true JP3965556B2 (ja) | 2007-08-29 |
Family
ID=27747506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002025319A Expired - Fee Related JP3965556B2 (ja) | 2002-02-01 | 2002-02-01 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3965556B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4501070B2 (ja) * | 2003-10-23 | 2010-07-14 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
| JP4770154B2 (ja) * | 2004-11-08 | 2011-09-14 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| US7525583B2 (en) | 2005-02-11 | 2009-04-28 | Hewlett-Packard Development Company, L.P. | Decreasing aliasing in electronic images |
-
2002
- 2002-02-01 JP JP2002025319A patent/JP3965556B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003230159A (ja) | 2003-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4195169B2 (ja) | 固体撮像装置および信号処理方法 | |
| USRE46557E1 (en) | Image processing apparatus and method for generating a restoration image | |
| KR101051604B1 (ko) | 화상 처리 장치 및 방법 | |
| JP4228699B2 (ja) | 撮像装置、および撮像素子 | |
| JPH10150668A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
| JP2001016597A (ja) | 固体撮像装置および信号処理方法 | |
| US8982248B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| US20020113195A1 (en) | Method of processing an image signal with the result from decision on a correlation corrected | |
| US20030160875A1 (en) | Image processing device | |
| US7728881B2 (en) | Color signal correcting method, apparatus, and program | |
| JP4497233B2 (ja) | 画素補間回路、およびプログラム | |
| JP4272443B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4556102B2 (ja) | 画像処理装置および画像処理方法、並びに、プログラム | |
| JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP4077161B2 (ja) | 撮像装置、輝度補正方法、およびその方法をコンピュータで実行するためのプログラム | |
| JP5131567B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP3965556B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4687454B2 (ja) | 画像処理装置および撮像装置 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP2004287794A (ja) | 画像処理装置 | |
| JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4243412B2 (ja) | 固体撮像装置および信号処理方法 | |
| JP4133179B2 (ja) | 画像信号処理装置 | |
| JP2001036809A (ja) | 固体撮像装置および画像処理方法 | |
| JP2002209100A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100608 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |