JP6302272B2 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理方法及び撮像装置に関する。

例えば、単板イメージセンサの出力画像からカラー画像を生成する画像処理装置がある。このような画像処理装置において、画像の画質を向上することが望まれる。

特開２００７−２３５３１１号公報

本発明の実施形態は、高画質の画像を生成する画像処理装置、画像処理方法及び撮像装置を提供する。

本発明の実施形態によれば、算出部と出力部とを含む画像処理装置が提供される。前記算出部は、第１色を有し第１位置に配置された第１画素の値と、前記第１画素の周りに配置された複数の周辺画素のそれぞれの値と、を含む画像情報を取得し、第１フィルタ係数と、前記複数の周辺画素のうちの前記第１色とは異なる第２色の第２画素の値と、を用いて、前記第１位置における前記第２色に関する値を算出する。前記出力部は、前記算出された前記第１位置における前記第２色に関する前記値を出力する。前記第１フィルタ係数は、第１画像と第２画像とに基づいて予め定められる。前記第１画像に含まれる複数の画素のそれぞれは、前記第１色及び前記第２色を含む複数の色のいずれか１つの色に関する値を有する。前記第２画像の被写体は、前記第１画像と同じ被写体と同じである。前記第２画像に含まれる複数の画素のそれぞれは、前記複数の色のそれぞれに関する値を有する。

実施形態に係る画像処理装置の構成及び処理を示す模式図である。 実施形態に係る撮像装置を示す模式的断面図である。 実施形態に係る撮像装置に用いられるカラーフィルタを例示する模式的平面図である。 色配列のパターンを例示する模式的平面図である。 入力画像を例示する模式図である。 図６（ａ）及び図６（ｂ）は、色配列のパターンを例示する模式図である。 実施形態に係るフィルタ係数を示す模式図である。 実施形態に係るフィルタ係数を示す模式図である。 入力画像を例示する模式図である。 実施形態に係るフィルタ係数を示す模式図である。 実施形態に係る回転カーネルを示す模式図である。 図１２（ａ）〜図１２（ｆ）は、実施形態に係る回転カーネルを示す模式図である。 実施形態に係る画像処理方法を示す模式図である。 参考例の画像を示す模式図である。 参考例の画像処理方法を示す模式図である。 実施形態に係る撮像装置を示す模式図である。

以下に、本発明の各実施の形態について図面を参照しつつ説明する。
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

（第１の実施形態）
本実施形態は、画像処理装置、画像処理方法及び撮像装置を提供する。

図１は、実施形態に係る画像処理装置の構成及び処理を例示する模式図である。
画像処理装置１００は、算出部９０と、出力部９１と、を含む。例えば、算出部９０は、入力画像記憶部１０と、カラー配列特定部２０と、特徴量算出部３０と、フィルタ記憶部４０と、フィルタ処理部５０と、を含む。例えば、画像処理装置１００は、撮像装置と供に用いられる。または、画像処理装置１００は、撮像装置に内蔵される。撮像装置には、撮像素子７０が設けられる。

例えば、撮像素子７０によって、入力画像（画像情報）が取得される。撮像素子７０は、例えば、単板式のイメージセンサである。例えば、撮像素子７０には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、または、ＣＣＤ（Charge Coupled Device）イメージセンサなどが用いられる。

入力画像は、複数の画素が並べられたデータを含む。後述するように、画素のそれぞれは、例えば、赤色、緑色及び青色等のうちの、いずれか１つの色に対応した「値」を有する。この「値」は、それぞれの色の例えば明るさ（強度）に対応する。例えば、入力画像においては、後述する色配列の単位パターンの繰り返しによって、複数の画素が並べられている。

撮像素子７０によって取得された入力画像が、入力画像記憶部１０に供給される。入力画像記憶部１０は、入力画像のデータを記憶する。入力画像記憶部１０に記憶された入力画像は、例えば、カラー配列特定部２０に供給される。カラー配列特定部２０は、入力画像において並べられている画素が、それぞれのどの色に対応した「値」を有しているかを特定し、カラー配列情報を出力する。カラー配列情報は、例えば、それぞれの画素の入力画像における位置に関する情報と、それぞれの画素の「値」が対応している色に関する情報と、を含んでいる。

特徴量算出部３０には、例えば、フィルタ係数取得部３１と、フィルタ演算部３２と、カラー配列特定部３３と、エッジ特徴量算出部３４と、が設けられる。フィルタ記憶部４０には、複数の係数（複数のフィルタ係数）が記憶される。フィルタ係数は、入力画像のデータを処理する際に用いられる。フィルタ係数取得部３１は、例えば、カラー配列情報に応じてフィルタ記憶部４０に記憶されたフィルタ係数を取得する。フィルタ演算部３２において、入力画像のデータがフィルタ係数を用いた処理が行われる。これにより、後述する画素勾配３２ａが求められる。求められた画素勾配３２ａから、カラー配列特定部３３及びエッジ特徴量算出部３４において、入力画像のデータが有する「特徴量」が算出される。

フィルタ処理部５０には、例えば、フィルタ係数取得部５１とフィルタ演算部５２とが設けられる。フィルタ係数取得部５１は、特徴量算出部３０において算出された画像の特徴に基づいて、フィルタ記憶部４０に記憶されているフィルタ係数を取得する。フィルタ演算部５２においては、取得されたフィルタ係数を用いて、入力画像が処理される。これにより、例えば、画質が改善された出力画像が得られる。出力画像は、出力部９１から出力される。

実施形態において、算出部９０に設けられる、上記の要素のそれぞれは、機能的な要素であり、それぞれの要素が互いに兼用されても良く、一体化されていても良い。

次に、入力画像（画像情報）を撮像する撮像装置の例について説明する。
図２は、実施形態に係る撮像装置を例示する模式的断面図である。
図２に表したように、撮像装置１０２において、例えば、撮像素子７０と、レンズ７２と、光学フィルタ部７４と、回路基板部７６と、が設けられる。回路基板部７６と、レンズ７２との間に、光学フィルタ部７４が設けられる。光学フィルタ部７４と、回路基板部７６との間に、撮像素子７０が設けられる。レンズ７２は、例えば、レンズ保持部７３によって保持されている。

撮像素子７０からレンズ７２へ向かう方向をＺ軸方向とする。Ｚ軸方向に対して垂直な１つの方向をＸ軸方向とする。Ｘ軸方向に対して垂直で、Ｚ軸方向に対して垂直な方向をＹ軸方向とする。

撮像素子７０には、撮像領域７１と、半導体基板７５と、が設けられる。半導体基板７５と、光学フィルタ部７４との間に、撮像領域７１が設けられる。撮像領域７１は、例えば、Ｘ−Ｙ平面に投影したときに、レンズ７２と重なる位置に配置される。

この例では、画像処理装置１００の少なくとも一部が、半導体基板７５に設けられている。例えば、画像処理装置１００の少なくとも一部が、撮像領域７１とＸ軸方向に並んで設けられる。

画像処理装置１００の少なくとも一部は、半導体基板７５とは別の基板に設けられてもよい。例えば、画像処理装置１００の少なくとも一部が、回路基板部７６に設けられてもよい。さらに、画像処理装置１００の少なくとも一部が、例えば、撮像装置１０２とは別に設けられてもよい。

撮像領域７１には、例えば、フォトダイオード層７１ａと、マイクロレンズ層７１ｂと、カラーフィルタ層７１ｃと、が設けられる。フォトダイオード層７１ａと、マイクロレンズ層７１ｂと、の間にカラーフィルタ層７１ｃが設けられる。
例えば、フォトダイオード層７１ａには、Ｘ−Ｙ平面内において並ぶ複数のフォトダイオードが設けられる。例えば、マイクロレンズ層７１ｂには、Ｘ−Ｙ平面内において並ぶ複数のマイクロレンズが設けられている。例えば、カラーフィルタ層７１ｃには、Ｘ−Ｙ平面内において並ぶ複数のカラーフィルタが設けられている。それぞれのカラーフィルタは、所定の色の光を透過させる。例えば、１つのフォトダイオードと１つのマイクロレンズとの間に、１つのカラーフィルタが設けられる。

上記は一例であり、実施形態において、入力画像が撮像される撮像装置及び撮像素子などは、上記の撮像装置及び撮像素子などに限らない。撮像装置及び撮像素子の構成などは、種々の変形が可能である。

図３は、実施形態に係る撮像装置に用いられるカラーフィルタを例示する模式的平面図である。
図３は、カラーフィルタ層７１ｃの一部を例示している。この例では、カラーフィルタ層７１ｃに設けられた複数のカラーフィルタのそれぞれは、赤色フィルタ、緑色フィルタ及び青色フィルタのいずれかである。例えば、Ｘ−Ｙ平面において、赤色フィルタ、緑色フィルタ及び青色フィルタが規則的に並べられる。例えば、青色、赤色及び緑色フィルタによって構成される単位パターンが、Ｘ−Ｙ平面に繰り返し並べられる。

赤色フィルタの赤色の光に対する透過性は高く、赤色フィルタの青色及び緑色の光に対する透過性は低い。青色フィルタの青色の光に対する透過性は高く、青色フィルタの赤色及び緑色の光に対する透過性は低い。緑色フィルタの緑色の光に対する透過性は高く、緑色フィルタの赤色及び青色の光に対する透過性は低い。

図４は、色配列のパターンを例示する模式的平面図である。
図４に表したように、色配列の単位パターンＰ１においては、第１青色Ｂ１、第１赤色Ｒ１、第１緑色Ｇ１及び第２緑色Ｇ２が並べられている。図３に表したカラーフィルタ層１６ｃにおいては、色配列の単位パターンＰ１に従って並べられたカラーフィルタが、繰り返し配列されている。第１緑色Ｇ１に接する位置に第１赤色Ｒ１が配置される。例えば、第１青色Ｂ１は、Ｙ軸方向において、第１緑色Ｇ１と並ぶ。第１赤色Ｒ１は、Ｘ軸方向（第１緑色Ｇ１から第１青色Ｂ１に向かう方向に対して交差する方向であり、この例では垂直な方向）において、第１緑色Ｇ１と並ぶ。第２緑色Ｇ２は、Ｙ軸方向において第１赤色Ｒ１と並び、Ｘ軸方向において第１青色Ｂ１と並ぶ。図４に例示した色配列は、例えば、Ｂａｙｅｒ配列である。

例えば、撮像素子７０と、被写体（図示しない）との間にレンズ７２が配置される。例えば、被写体から撮像装置１０２に向かう光の少なくとも一部が、レンズ７２に入射する。入射した光の少なくとも一部は、レンズ７２によって屈折され、光学フィルタ部７４を透過し、撮像素子７０の撮像領域７１に入射する。撮像領域７１に入射した光の少なくとも一部は、マイクロレンズ及びカラーフィルタを通過し、フォトダイオードに入射する。フォトダイオードにおいて、光の強さに応じた電荷が発生する。例えば、この電荷を検出することで、フォトダイオードに入射した光の強度（「値」）が検出される。

Ｘ−Ｙ平面内において並んだフォトダイオードのそれぞれにおいて、光の強さに応じた「値」が求められる。例えば、１つのフォトダイオードにおいて検出された「値」が、１つの画素が有する「値」となる。このようにして、例えば、撮像領域７１に入射した光の強度のＸ−Ｙ平面内における分布が検出される。これにより、入力画像が得られる。

入力画像において、画素のそれぞれは、赤色、緑色及び青色のいずれか１つ色の光に対応した「値」を有する。

入力画像においては、赤色の光に対応する「値」を有する画素、青色の光に対応する「値」を有する画素、及び、緑色の光に対応する「値」を有する画素が、単位パターンＰ１を繰り返し並べられたパターンに従って、配列されている。

入力画像の画像情報は、例えば、第１色を有する第１画素の値と、第２色を有する第２画素の値と、第３色を有する第３画素の値と、第４色を有する第４画素の値と、を含む。例えば、第１色と、第２色と、第３色とは互いに異なる。第１色、第２色及び第３色は、赤色、緑色及び青色のうちのいずれか１つの色である。例えば、第１色は、第１緑色Ｇ１であり、第２色は、第１青色Ｂ１であり、第３色は、第１赤色である。例えば、第４色は、第２緑色Ｇ２である。第１画素は、第１方向において第２画素と並ぶ。第３画素は、第１方向と交差する第２方向において、第１画素と並ぶ。第４画素は、第２方向において第２画素と並び、第１方向において、第３画素と並ぶ。

図５は、入力画像を例示する模式図である。
入力画像は、例えば、数式Ｆ１で表されるモデルによって表現される。ｙ_ｉは、画素の「値」に対応する。すなわち、ｙ_ｉは、例えば、入力画像内の位置ｉにおける画素の「値」である。入力画像内の位置（ｉ＋ｊ）に対応し、被写体７５からレンズ７２の方向へ向かう光に対応する「値」は、Ｘ_ｉ＋ｊと表される。光は、レンズ７２を通過し、カラーフィルタ層７１ｃへ入射する。このときに、光にぼけ７６が生じる場合がある。ぼけ７６は、例えば、点拡がり関数（Point Spread Function：ＰＳＦ）ｈ(−ｊ；ｉ＋ｊ)によって表される。カラーフィルタ７１ｃに入射した光のうち、カラーフィルタの色に応じた色の光がフォトダイオードに入射し、画像の「値」７７が得られる。Ｃ_ｉは、ｉの位置におけるカラーフィルタの色を表す。ε_ｉは、ｉの位置におけるノイズを表す。

画像撮像素子において、例えば、入力画像の１つの画素から、赤色、緑色または青色のいずれかの色に対応した「値」が得られる。この例では、例えば、赤色の光に対応する「値」を有する画素数は、入力画像に含まれる全ての画素数の１／４程度である。入力画像は、カラーフィルタを設けることによって、情報量が減少している。このため、入力画像においては、画質が十分に高くない。

画素のそれぞれにおいて、赤色、緑色及び青色に対応した「値」のデータを得ることで、画質が向上できる。例えば、入力画像を処理して、画質を向上させる。例えば、画素のそれぞれにおいて、その画素が対応していない色の光に対応する「値」を、周囲の画素が有する「値」から求める。例えば、赤色の「値」を有する画素（赤色画素）において、その赤色画素の周囲に位置する緑色の「値」を有する画素（周辺緑色画素）の「値」から、赤色画素における緑色の「値」を求める。すなわち、デモザイキング（例えば補間）が行われる。

実施形態において、カラーフィルタ層７１ｃに用いられるカラーフィルタは、赤色、緑色及び青色フィルタに限られない。例えば、赤色、緑色及び青色の光に対して透過性を有するカラーフィルタ（白色フィルタ）や、グレーのカラーフィルタを用いても良い。さらに、ＹＭＣの色を用いても良い。
実施形態において、色配列の単位パターンは、図４に表したＢａｙｅｒ配列に限らない。

図６（ａ）及び図６（ｂ）は、色配列のパターンを例示する模式図である。
図６（ａ）に例示したように、単位パターンＰ２においては、第１青色Ｂ１、第１赤色Ｒ１、第１緑色Ｇ１及び第１白色Ｗ１（無彩色）が並べられている。単位パターンＰ２においては、単位パターンＰ１の第２緑色Ｇ２を第１白色Ｗ１に置き換えられている。

カラーフィルタの配列として、単位パターンＰ２を用いた場合、入力画像においては、各色に対応する「値」を有する画素が、単位パターンＰ２を繰り返し並べたパターンに従って配列される。
すなわち、この場合、入力画像の画像情報は、第１色を有する第１画素の値と、第２色を有する第２画素の値と、第３色を有する第３画素の値と、第４色を有する第４画素の値と、を含む。例えば、第１色と、第２色と、第３色と、第４色と、は互いに異なる。第１色、第２色、第３色及び第４色は、赤色、緑色、青色及び白色のいずれか１つの色である。例えば、第１色は、第１緑色Ｇ１であり、第２色は、第１青色Ｂ１であり、第３色は、第１赤色であり、第４色は、第１白色Ｗ１である。第１画素は、第１方向において第２画素と並ぶ。第３画素は、第１方向と交差する第２方向において、第１画素と並ぶ。第４画素は、第２方向において第２画素と並び、第１方向において、第３画素と並ぶ。

図６（ｂ）に例示した単位パターンＰ３においては、第１青色Ｂ１、第２青色Ｂ２、第１赤色Ｒ１、第２赤色Ｒ２、第１緑色Ｇ１〜第４緑色Ｇ４、第１白色Ｗ１〜第８白色Ｗ８が並べられる。単位パターンＰ３においては、カラーフィルタが４行４列で配列されている。例えば、１列目には、第１緑色Ｇ１と、第２白色Ｗ２と、第１緑色Ｇ１と第２白色Ｗ２との間に配置された第１白色Ｗ１と、第１白色Ｗ１と第２白色Ｗ２との間に配置された第１青色Ｂ１と、が設けられている。

第７白色Ｗ７は、第１緑色Ｇ１から第２白色Ｗ２へ向かう方向に対して交差（例えば垂直）する方向において、第１緑色Ｇ１と離間している。第１緑色Ｇ１と第７白色Ｗ７との間に第３白色Ｗ３が配置され、第３白色Ｗ３と第７白色Ｗ７との間に第１赤色Ｒ１が配置されている。
第２赤色Ｒ２は、第１方向において、第１白色Ｗ１と離間している。第１白色Ｗ１と第２赤色Ｒ２との間に第２緑色Ｇ２が配置され、第２緑色Ｇ２と第２赤色Ｒ２との間に第５白色Ｗ５が配置されている。
第８白色Ｗ８は、第１方向において、第１青色Ｂ１と離間している。第１青色Ｂ１と第８白色Ｗ８との間に第４白色Ｗ４が配置され、第４白色Ｗ４と第８白色Ｗ８との間に第３緑色Ｇ３が配置されている。
第４緑色Ｇ４は、第１方向において、第２白色Ｗ２と離間している。第２白色Ｗ２と第４緑色Ｇ４との間に第２青色Ｂ２が配置され、第２青色Ｂ２と第４緑色Ｇ４との間に第６白色Ｗ６が配置されている。

カラーフィルタの配列に単位パターンＰ３を用いた場合、入力画像においては、各色に対応する「値」を有する画素が、単位パターンＰ３を繰り返し並べたパターンに従って配列される。

本実施形態においては、単位パターンＰ１の他に、単位パターンＰ２または単位パターンＰ３のような色配列を用いても良い。例えば、上述の単位パターンを変更した色配列を用いても良い。

デモザイキングは、フィルタ処理部５０において、フィルタ記憶部４０に記憶されているフィルタ係数と、入力画像の「値」と、を用いた処理によって行われる。この処理においては、例えば、「値」にフィルタ係数をかける（畳み込む）処理が行われる。

本明細書において、上述のデモザイキング処理が行われていない入力画像をＲＡＷ画像と呼ぶことがある。入力画像に対してデモザイキングを行い、各画素が、複数の色の光（例えば、赤色、緑色及び青色）に対応した「値」を有する画像をフルカラー画像と呼ぶことがある。

本実施形態に係るデモザイキングの手法の例について説明する。まず、フィルタ処理の例について説明する。
例えば、画像内の１つの方向をｘ軸方向とする。ｘ軸方向に垂直な、画像内の方向をｙ軸方向とする。例えば、画像中において、ｘ座標がｉであり、ｙ座標がｊである位置に位置する画素の座標を（ｉ、ｊ）と表す。

例えば、ＲＡＷ画像の撮像とは別の手段によって、同じ被写体を撮像した正解画像を用意する。例えば、ＲＡＷ画像においては各画素は赤色、緑色及び青色のうちいずれか１つの色の「値」しか有していない。一方、正解画像においては、各画素が赤色、緑色及び青色の「値」を有している。

正解画像においては、各画素が各色に対応した「値」を有しているため、正解画像の画質は、ＲＡＷ画像の画質に比べて高い。例えば、正解画像は、３板式のイメージセンサによって得られる。

正解画像中の座標（ｉ、ｊ）に位置する画素の「値」を、例えば、ｘ_ｃ（ｉ、ｊ）と表す。「ｃ」は、光の色を表すラベルである。例えば、座標（ｉ、ｊ）に位置する画素が有する緑色の光に対応する「値」は、ｘ_Ｇ（ｉ、ｊ）と表す。同様に、座標（ｉ、ｊ）に位置する画素が有する赤色、青色の光に対応する「値」は、それぞれ、ｘ_Ｒ（ｉ、ｊ）、ｘ_Ｂ（ｉ、ｊ）と表される。

ＲＡＷ画像において、座標（ｉ、ｊ）に位置する画素の「値」が対応する色を、ｃ（ｉ、ｊ）と表す。ｃ（ｉ、ｊ）は、カラーフィルタの色配列によって決まる。ＲＡＷ画像中の座標（ｉ、ｊ）に位置する画素の「値」ｙ_ＲＡＷ（ｉ、ｊ）は、ｙ_ＲＡＷ（ｉ、ｊ）＝ｘ_{ｃ（ｉ、ｊ）}（ｉ、ｊ）と表される。

例えば、ＲＡＷ画像において、座標（ｉ、ｊ）に位置する画素の「値」に、フィルタ処理を実施する。このとき、例えば、座標（ｉ、ｊ）からの距離がｒ以下である画素の「値」が用いられる。ＲＡＷ画像において、座標（ｉ、ｊ）からの距離がｒ以下である画素の「値」を、

と表す。

図７は、実施形態に係るフィルタ係数を例示する模式図である。
フィルタ係数ｆは、ベクトルとして扱われる。例えば、画像内の半径がｒである領域に対応するフィルタ係数（線形フィルタ）を、

と表す。

フィルタテーブルの並び順を、図７に例示した辞書オーダー順で、ソートしたベクトルとして、扱う。これにより、例えば、数学的取り扱いが容易になる。

デモザイキングのフィルタ処理は、

のように、画像データとフィルタ係数との内積によって行われる。ここで、「Ｔ」は、転置を表す。

例えば、フィルタ係数を適切に決定する。これにより、フィルタ処理後の画質が向上する。例えば、フィルタ処理後の画像と、正解画像との差が最小になるように、以下のフィルタ係数

が決定される。
以下、上記のフィルタ係数を「ｆハット」と言う。

フィルタ係数「ｆハット」は、例えば、

の次式の解となる。
ここで、

は、Ｅを最小にするベクトルｆを求めることを表す。集合Ｎは、画像の位置を表す座標の集合である。フィルタ係数「ｆハット」はベクトルとして扱われる。

フィルタ係数の学習において、例えば、フィルタ処理後の画像と、正解画像との差が最小となるようにフィルタ係数を定める。

次に、フィルタ処理を用いたデモザイキングの手法の例について説明する。
図８は、実施形態に係るフィルタ係数を例示する模式図である。
この例では、入力画像においては、単位パターンＰ２によって「値」が配列されている。

図８に表したように、デモザイキングを行う際に、「画素のそれぞれの位置」と、「色のそれぞれ」と、に対応して、フィルタ係数が用意される。「画素のそれぞれの位置」は、色配列の単位パターン中における画素の位置のそれぞれである。「色のそれぞれ」は、デモザイキングによる処理（例えば補間）によって得られる「値」が対応する色のそれぞれである。

例えば、第１緑色Ｇ１の位置に配置された画素のデモザイキングを行う場合は、第１緑色Ｇ１の位置における緑色補間用フィルタ係数「ｆハット」_Ｇ１，Ｇ、第１緑色Ｇ１の位置における赤色補間用フィルタ係数「ｆハット」_Ｇ１,Ｒ、第１緑色Ｇ１の位置における青色補間用フィルタ係数「ｆハット」_Ｇ１,Ｂ、及び、第１緑色Ｇ１の位置における白色補間用フィルタ係数「ｆハット」_Ｇ１,Ｗが用意される。
同様に、例えば、第１青色Ｂ１の位置に配置された画素のデモザイキングを行う場合、第１青色Ｂ１の位置における緑色補間用フィルタ係数「ｆハット」_Ｂ１,Ｇ、赤色補間用フィルタ係数「ｆハット」_Ｂ１,Ｒ、青色補間用フィルタ係数「ｆハット」_Ｂ１，Ｂ、及び白色補間用フィルタ係数「ｆハット」_Ｂ１,Ｗが用意される。
同様に、例えば、第１赤色Ｒ１の位置に配置された画素のデモザイキングを行う場合、第１赤色Ｒ１の位置における緑色補間用フィルタ係数「ｆハット」_Ｒ１,Ｇ、赤色補間用フィルタ係数「ｆハット」_Ｒ１、Ｒ、青色補間用フィルタ係数「ｆハット」_Ｒ１,Ｂ及び白色補間用フィルタ係数「ｆハット」_Ｒ１,Ｗが用意される。
同様に、例えば、第１白色Ｗ１の位置に配置された画素のデモザイキングを行う場合、第１白色Ｗ１の位置における赤色補間用フィルタ係数「ｆハット」_Ｗ１,Ｒ、緑色補間用フィルタ係数「ｆハット」_Ｗ１,Ｇ、青色補間用フィルタ係数「ｆハット」_Ｗ１,Ｂ、及び白色補間用フィルタ係数「ｆハット」_Ｗ１、Ｗが用意される。
入力画像ＰＩ１のフィルタ処理後の画像と、正解画像ＰＣ１と、の差が小さくなるように、フィルタ係数が定められる。

ここで、色配列の単位パターン中における各画素の座標（位置）ｕの集合を集合Ｕとする。位置ｕは、例えば、ベクトルとして扱われる。単位パターンＰ１（ベイヤ配列）の場合には、

と表せる。

単位パターンＰ３の場合には、

と表される。

単位パターンにおいて用いられるカラーフィルタの色ｃの集合を集合Ｃとする。例えば、単位パターンＰ２を用いた場合、集合Ｃ＝｛Ｒ、Ｇ、Ｂ、Ｗ｝と表される。

デモザイキングに用いられるフィルタ係数は、例えば、

と表される。

は、集合Ｕ内の全ての要素、及び、集合Ｃ内の全ての要素を表す。

学習されたフィルタ係数は、例えば、

の式の解となる。
集合Ｎ_ｕは、単位パターン中における位置が位置ｕとなる画素の座標の集合である。すなわち、単位パターン中における位置が同じ画素の「値」が用いられる。

上記の式の解は、以下の最適必要条件から求められ、

以下のように表される。

実施形態に係る画像処理装置において、フィルタ係数は、入力画像のデータが有する特徴ごとに用意される。画像の特徴は、例えば、画素が有する「値」の画像内における勾配（画素勾配３２ａ）から求められる。勾配は、例えば、ある画素の値と、その周辺の別の画素の値との差である。差は、ある画素と、別の画素と、の間の距離の情報も含む。

図９は、実施形態に係る入力画像を例示する模式図である。
図９に表した入力画像ＰＩ２は、第１領域Ｒｎ１と、第２領域Ｒｎ２と、を含む。第１領域Ｒｎ１は、画素が有する「値」の画像内における勾配が小さい領域である。第２領域Ｒｎ２は、画素が有する「値」の画像内における勾配が大きい領域である。例えば、第１領域Ｒｎ１内の画素のデモザイキングに用いられるフィルタ係数は、第２領域Ｒｎ２内の画素のデモザイキングに用いられるフィルタ係数とは、異なる。

例えば、第２領域Ｒｎ２内の画素のデモザイキングに用いられるフィルタ係数は、画像内における画素の「値」の勾配によって定められる。例えば、勾配に基づいて、画像の特徴は、複数のクラスに分類される。クラスごとに異なるフィルタ係数を用いてデモザイキングが行われる。例えば、第２領域Ｒｎ２内の画素のデモザイキングに用いられるフィルタ係数は、学習によって定められる。

例えば、画像内における「値」の勾配は、後述する回転角θ、伸張ρ及びスケールγによって表すことができる。実施形態に係るデモザイキングに用いられるフィルタ係数は、例えば、

ｍ＝θ、ｎ＝ρ、ｏ＝γ
で表現することができる。

すなわち、実施形態に係るデモザイキングに用いられるフィルタ係数「ｆハット」_ｕ,c ^m,n,oは、単位パターン中における各画素の位置ごと、補間される「値」が対応する色ごと、及び、画像の特徴ごとに用意される。

画素勾配を画像の特徴として、画像の特徴ごとに決定されるフィルタ係数の例について説明する。例えば、入力画像にフィルタ処理を施す。これによって、例えば、画像内の信号の勾配を求めることができる。勾配算出用のフィルタ係数は、例えば、学習によって定めることができる。

色配列の単位パターン内における各画素の位置ごとに、ｘ方向の勾配算出用のフィルタ係数と、ｙ方向の勾配算出用のフィルタ係数とが準備される。

例えば、座標（ｉ、ｊ）におけるｘ方向の勾配をｄ_ｘ（ｉ、ｊ）と表す。座標（ｉ、ｊ）におけるｙ方向の勾配をｄ_ｙ（ｉ、ｊ）と表す。画像内には、例えば、エッジがある。エッジにおいては、例えば、ｄ_ｘ（ｉ、ｊ）またはｄ_ｙ（ｉ、ｊ）の絶対値が大きい。

勾配算出用のフィルタ係数は、


の式の解となる。

例えば、画像の「値」のｘ方向の勾配を算出する勾配算出用のフィルタ係数「ｆハット」_ｕ,ｄｘは、

と表される。同様に、画像の「値」のｙ方向の勾配を算出する勾配算出用のフィルタ係数「ｆハット」_ｕ,ｄｙは、

の式で表される。

図１０は、実施形態に係るフィルタ係数を例示する模式図である。
図１０に表したように、画像の「値」の勾配を算出する場合、色配列の単位パターン中における各画素の位置ごとにフィルタ係数が用意される。

例えば、第１緑色Ｇ１の位置におけるｘ方向の勾配算出用フィルタ係数「ｆハット」_{Ｇ１,ｄｘ}、第１緑色Ｇ１の位置におけるｙ方向の勾配算出用フィルタ係数「ｆハット」_{Ｇ１,ｄｙ}が用意される。
同様に、第１青色Ｂ１の位置に配置された画素におけるｘ方向の勾配算出用フィルタ係数「ｆハット」_{Ｂ１,ｄｘ}、ｙ方向の勾配算出用フィルタ係数「ｆハット」_{Ｂ１,ｄｙ}、が用意される。
第１赤色Ｒ１の位置に配置された画素におけるｘ方向の勾配算出用フィルタ係数「ｆハット」_{Ｒ１,ｄｘ}、ｙ方向の勾配算出用のフィルタ係数「ｆハット」_{Ｒ１,ｄｙ}、が用意される。
第１白色Ｗ１の位置に配置された画素におけるｘ方向の勾配算出用フィルタ係数「ｆハット」_{Ｗ１,ｄｘ}、ｙ方向の勾配算出用のフィルタ係数「ｆハット」_{Ｗ１,ｄｙ}が用意される。
入力画像ＰＩ１にフィルタ処理を行い、画像の「値」の勾配を算出する。算出された勾配と、正解画像ＰＣ１における勾配との差が小さくなるように、勾配算出用のフィルタ係数が定められる。

例えば、フィルタ処理によって算出された勾配に基づいて、画像の特徴が算出される。例えば、勾配の方向及び大きさを表す回転カーネルｋのパラメータが算出される。

回転カーネルｋは、例えば、勾配の方向及び勾配の大きさに基づいた非等方ガウシアン分布で表される。回転カーネルは、微分値の構造テンソルＨ（ｉ、ｊ）によって、

の式で定義される。
位置ｓは、領域Ｎ内の点の位置（ベクトル）である。領域Ｎは、座標（ｉ、ｊ）の位置を中心とした局所近傍の領域である。領域Ｎには、任意の形状が用いられる。例えば、領域Ｎには、位置（ｉ、ｊ）を中心とした５×ｘ５タップの矩形領域が用いられる。ｈ（グローバルスムース）は、ｈ＞０であり、非等方ガウシアン分布の標準偏差を表す。

図１１は、実施形態に係る回転カーネルを例示する模式図である。
図１１は、座標（ｉ、ｊ）を中心とした位置ｓにおける回転カーネルｋ（ｉ、ｊ、ｓ）を例示している。

図１１に表したように、回転カーネルｋは、例えば、楕円の形状である。楕円の長軸方向長さを長軸長λ_＋と表す。楕円の短軸方向の長さを短軸長λ₋と表す。画素の位置を表すｘ座標と、楕円の長軸方向とのなす角を回転角θと表す。

例えば、回転カーネルｋのパラメータには、長軸長λ_＋、短軸長λ₋、及び回転角θが用いられる。λ_＋、λ₋、及び回転角θは、それぞれ、

の式で表される。
ここで、

である。
回転角θ（勾配の方向）は、勾配の共分散行列（構造テンソルＨ）の固有ベクトルから求められる。長軸長λ_＋（第２固有値）及び短軸長λ₋（第１固有値）は、構造テンソル（勾配の共分散行列）の固有値である。
例えば、座標（ｉ、ｊ）の近傍において、画像内で画素の「値」が勾配（エッジ）を有する場合、回転カーネルは、楕円状となる。楕円の長軸は、勾配の方向に対して垂直である。楕円の短軸は、勾配の方向に対して平行である。

図１２（ａ）〜図１２（ｆ）は、実施形態に係る回転カーネルを例示する模式図である。
図１２（ａ）〜図１２（ｆ）においては、座標（ｉ、ｊ）付近の画像ＰＩａ〜ＰＩｆと、回転カーネルｋ（ｉ、ｊ、ｓ）とが、図中に重ねて表示されている。図中のドットの濃度は、画像中の画素の有する「値」の大きさを表す。例えば、ドットの濃度が高い領域ほど、その領域における画素が大きい「値」を有していることを表す。

図１２（ａ）は、座標（ｉ、ｊ）周辺において画素の「値」がエッジを有しない場合を例示している。図１２（ａ）に表したように、この場合には、回転カーネルｋ（ｉ、ｊ、ｓ）は円状となる。

図１２（ｂ）は、座標（ｉ、ｊ）の周辺において、ｘ座標がｘ１の位置にエッジがある場合を例示している。この例では、画像は、ｙ軸方向に平行なエッジを有する。この場合、回転カーネルｋは楕円状となる。楕円の長軸は、エッジに平行（勾配の方向に対して垂直）である。楕円の短軸は、エッジに垂直（勾配の方向と平行）である。回転カーネルｋは、ｙ軸方向に平行な長軸を有する楕円となる。

図１２（ｃ）〜図１２（ｆ）においても、座標（ｉ、ｊ）の周辺において画素の「値」がエッジを有している。これらの場合においても、楕円の長軸は、エッジに平行であり、楕円の短軸は、エッジに垂直となる。例えば、画像内の画素の勾配が大きいほど、短軸長λ−と長軸長λ_＋との比λ_＋／λ₋が大きくなる。すなわち画像内のエッジが明確なほど、回転カーネルｋはエッジの接線方向に潰れた楕円形状となる。

回転カーネルｋに用いられる構造テンソルＨは、座標（ｉ、ｊ）を中心とした局所近傍Ｎ内の点に関して畳み込んだ構造テンソルＨを用いても良い。すなわち、

としても良い。これにより、例えば、入力画像に含まれるノイズの影響を小さくし、安定して回転カーネルｋのパラメータを算出することができる。

伸張ρ（ｉ、ｊ）は、勾配の共分散行列の固有値の比（第１固有値の第２固有値に対する比）によって定められる。例えば、伸張ρ（ｉ、ｊ）は、

の式で表される。
ここで、ε_１は、安全定数である。例えば、安全定数ε_１＞０であり、例えば、安全定数ε_１＝１が用いられる。

スケールγ（ｉ、ｊ）は、勾配の共分散行列の固有値の積（第１固有値と第２固有値とｐの積）によって定められる。例えば、スケールγ（ｉ、ｊ）は、

の式で表される。ここで、ε_２は、安全定数である。例えば、安全定数ε_２＞０であり、例えば、安全定数ε_２＝０．０１が用いられる。

例えば、エッジ特徴量は、画像内の「値」の勾配を表す。エッジ特徴量には、例えば、回転角θ、伸張ρ及びスケールγが用いられる。例えば、エッジ特徴量は、量子化されて用いられる。すなわち、

が用いられる。ここで、θ_０、ρ_０、及びγ_０は量子化のステップ幅である。ｒｏｕｎｄは、四捨五入することを意味する。量子化されたエッジ特徴量（勾配）によって、画像の特徴が複数のクラスに分類される。

本実施形態において、デモザイキングに用いられるフィルタ係数「ｆハット」_ｕ,c ^m,n,oは、次の式を満たすように定められる（フィルタ係数の学習を行う）。

例えば、


の式の解、すなわち、デモザイキング用のフィルタ係数「ｆハット」_ｕ,c ^m,n,oは、

と求められる。

本実施形態において、デモザイキング用のフィルタ係数「ｆハット」_ｕ,c ^m,n,oは、単位パターン中における位置ｕごと、補間される「値」が対応する色ｃごと、及びクラス（画像の特徴、エッジ特徴量）ごとに定められる。

例えば、画像撮像素子７０に用いられるカラーフィルタの色配列の単位パターンに対応したフィルタ係数を用意する。フィルタ記憶部４０には、予め学習されたデモザイキング用のフィルタ係数「ｆハット」_ｕ,c ^m,n,o、勾配算出用のフィルタ係数「ｆハット」_ｕ,dx及び「ｆハット」_ｕ,ｄｙを記憶させておく。

例えば、画像内における「値」の勾配の算出方法として、



などの演算によって行われる参考例の方法がある。これらはすべて線形フィルタの形で定義される。ただし、これらの演算が対象とする画像は、例えば、画像に含まれるすべての画素のチャネル（画素が有する「値」が対応する色）が同じである画像である。これらの演算を、単板イメージセンサによって撮像されたＲＡＷ画像に適用することができない。

一方、本実施形態においては、勾配は、勾配算出用のフィルタ係数「ｆハット」_ｕ,ｄｘを用いて算出される。勾配算出用のフィルタ係数「ｆハット」_ｕ,ｄｘは、学習によって適切に定めることができる。これにより、単板イメージセンサによって撮像されたＲＡＷ画像においても、画像内における「値」の勾配を算出することができる。

図１３は、実施形態に係る画像処理方法を例示する模式図である。
図１３は、ＲＡＷ画像からフルカラー画像を得る方法を例示している。図１３に表したように、実施形態に係る画像処理方法は、画像取得ステップＳ１と、カラー配列特定ステップＳ２と、勾配フィルタ取得ステップＳ３と、勾配フィルタ処理ステップＳ４と、エッジ特徴量算出ステップＳ５と、フィルタ取得ステップＳ６と、フィルタ処理ステップＳ７と、を含む。

ステップＳ１において、例えば、入力画像記憶部１０において記憶されているＲＡＷ画像を取得する。ＲＡＷ画像（入力画像）は、色配列の単位パターンの繰り返しによって複数の画素が並べられた入力画像である。複数の画素のそれぞれは、色配列の単位パターンに含まれるいずれか１つの色に対応した「値」を有している。

ステップＳ２は、例えば、カラー配列特定部２０において処理される。例えば、画像中の座標（ｉ、ｊ）に位置する画素の、色配列の単位パターン内における位置ｕを特定する。

例えば、フィルタ記憶部４０には、複数の勾配算出用のフィルタ係数が記憶されている。勾配算出用のフィルタ係数は、色配列の単位パターン中における位置ごとに予め学習によって定められている。ステップＳ３においては、フィルタ記憶部４０に記憶されている複数の勾配算出用のフィルタ係数の中から、特定された位置ｕに基づいて、勾配算出用のフィルタ係数（第２フィルタ係数）を選択する。

ステップＳ４において、選択された勾配算出用のフィルタ係数を用いて、ＲＡＷ画像データにフィルタ処理を行う。これにより、ＲＡＷ画像の画像中における「値」の勾配が算出される。

ステップＳ５において、算出された勾配からエッジ特徴量を算出する。ステップＳ３〜Ｓ５は、特徴量算出部３０において処理される。例えば、ステップＳ３〜Ｓ５は、それぞれ、フィルタ係数取得部３１、フィルタ演算部３２及びエッジ特徴量算出部３４において処理される。

フィルタ記憶部４０には、エッジ特徴量ごと及び位置ｕごとに予め学習によって定められた複数のデモザイキング用のフィルタ係数が記憶されている。デモザイキング用のフィルタ係数は、単位パターンに含まれるいずれかの色に対応する「値」を補完する。ステップＳ６において、フィルタ記憶部４０に予め記憶されている複数のフィルタ係数の中から、ステップＳ５で算出されたエッジ特徴量と、位置ｕと、に基づいて、デモザイキング用のフィルタ係数（第１フィルタ係数）を選択する。ステップＳ６は、例えば、フィルタ係数取得部５１において処理される。

ステップＳ７は、例えば、フィルタ演算部５２（フィルタ処理部５０）において処理される。選択されたデモザイキング用のフィルタ係数「ｆハット」_ｕ,c ^m,n,oを用いてＲＡＷ画像データにフィルタ処理を行う。例えば、

の式で表される演算が行われる。これにより、座標（ｉ、ｊ）における画素において、色配列の単位パターンに含まれる色ｃに対応する「値」が補間される。

例えば、ステップＳ１〜ステップＳ７の処理をＲＡＷ画像データ内の全ての画素に対して行う（画像ループ）。これにより、全ての画素でデモザイキングが行われたフルカラー画像を得ることができる。

算出部９０は、入力画像の画像情報を取得する。画像情報は、第１画素の値と、複数の周辺画素のそれぞれの値を含む。第１画素は、第１色を有し第１位置に配置されている。複数の周辺画素は、第１画素の周りに配置されている。
例えば、算出部９０の特徴量算出部３０において、第１特徴量（例えば、エッジ特徴量）が算出される。第１特徴量は、第１画素の値の、周辺画素の値との差（例えば、勾配）に関する。第１特徴量は、第１画素の値と、複数の周辺画素の少なくともいずれかの値とに基づいて算出される。

例えば、周辺画素は、第１色の同色画素を含む。例えば、第１特徴量は、同色画素の値に基づいて算出される。例えば、第１特徴量は、フィルタ係数（第２フィルタ係数）と、第１画素の値と複数の周辺画素の少なくともいずれかの値と、を用いて算出される。第２フィルタ係数は、第１位置に応じて定められている。

算出部９０は、フィルタ係数（第１フィルタ係数）と、第２画素の値と、を用いて、第１位置における第２色に関する値を算出する。第１フィルタ係数は、第１位置と、第１特徴量と、に応じて定められている。第２画素は、複数の周辺画素のうち、第１色とは異なる第２色を有し、第２位置に配置された画素である。出力部９１は、算出された第１位置における第２色に関する値を出力する。

画像情報は、例えば、第２画素の周りに配置された複数の周辺画素のそれぞれの値を含む。
算出部９０は、第２画素の値と、第２画素の周りに配置された複数の周辺画素の少なくともいずれかの値とに基づいて、第２特徴量（例えば、エッジ特徴量）を算出する。第２特徴量は、第２画素の値の、第２画素の周りに配置された複数の周辺画素のそれぞれの値との差（例えば、勾配）に関する。算出部９０は、第２特徴量と、フィルタ係数（第３フィルタ係数）と、を用いて、第２位置における第１色に関する値を算出する。第３フィルタ係数は、第２位置と、第２特徴量と、に応じて定められている。

例えば、デモザイキングに用いるフィルタ係数を適切に定めることで、出力されるフルカラー画像の画質が向上する。実施形態に係る画像処理方法においては、フィルタ係数を、単位パターン中における位置ｕごと、補間される「値」が対応する色ｃごと、及びクラス（エッジ特徴量）ごとに定める。これにより、例えば、出力されるフルカラー画像の画質が向上する。

例えば、デモザイキングの際に、参考例のフィルタ係数「ｆハット」_ｕ,cが用いられる場合がある。参考例のフィルタ係数「ｆハット」_ｕ,cは、色配列の単位パターン中における位置ｕごと、及び補間される「値」が対応する色ｃごとに定められる。参考例のフィルタ係数「ｆハット」_ｕ,cは、エッジ特徴量ごとには定められない。

例えば、参考例のフィルタ係数「ｆハット」_ｕ,cを用いた場合、ＲＡＷ画像内の「値」の勾配の大きい部分（エッジ）において、「値」の補間が適切に行われない場合がある。

図１４は、参考例の画像を例示する模式図である。
図１４は、参考例のフィルタ係数を用いて得られたフルカラー画像ＰＦ１を例示している。この場合、例えば、デモザイキングを施した後のフルカラー画像ＰＦ１において、適正な色とは異なる色（偽色）が出力される。例えば、ＲＡＷ画像のエッジがある領域に格子状のノイズＧＮ（ジッパーノイズ）が生じる場合がある。

図１５は、参考例の画像処理方法を例示する模式図である。
図１５は、図１４に表した画像に生じたノイズを例示している。図１５は、図１４に表した画像と、ジッパーノイズの生じていない画像（正解画像）との差を例示している。図１５の横軸は、ＲＡＷ画像における「値」の勾配の大きさ（伸張ρ）である。図１５の縦軸は、ＲＡＷ画像における「値」の勾配の方向（回転角θ）である。図１５において、ドットの濃度が濃いほど、図１４のフルカラー画像ＰＦ１と、正解画像との差が大きいことを表す。図１５に表したように、伸張ρの大きい領域において、ジッパーノイズが生じやすいことが分かる。

これに対して、本実施形態に用いられるデモザイキング用のフィルタ係数「ｆハット」_ｕ,c ^m,n,oは、エッジ特徴量ごとに定められている。これにより、ＲＡＷ画像内で「値」の勾配が大きい領域においても、適切なフィルタ係数を用いてデモザイキングを行うことができ、ノイズの少ないフルカラー画像を得ることができる。

近年のイメージセンサにおいては、イメージセンサの微細化に伴い、図６（ａ）及び図６（ｂ）に表したような白色フィルタを設けた色配列が用いられる場合がある。白色フィルタは、例えば、赤色、緑色及び青色フィルタよりも高い光透過性を有する。これにより、例えば、イメージセンサのフォトダイオードの面積が小さくなっても、大きな感度を得ることができる。

一方、白色フィルタを設けた場合、白色フィルタに対応する画素の「値」の大きさと、その他の色のフィルタ（例えば、赤色、青色及び緑色フィルタ）に対応する画素の「値」の大きさと、に差が生じやすい。これにより、例えば、デモザイキングを施した後のフルカラー画像において、ジッパーノイズが生じやすくなる場合がある。

これに対して、本実施形態においては、デモザイキング用のフィルタ係数「ｆハット」_ｕ,c ^m,n,oは、エッジ特徴量ごとに定められている。これにより、ＲＡＷ画像内で「値」の勾配が大きい領域においても、適切なフィルタ係数を用いてデモザイキングを行うことができ、ノイズの少ないフルカラー画像を得ることができる。

本実施形態においては、フィルタ係数「ｆハット」_ｕ,c ^m,n,oは、学習という手法によって定められる。これによって、例えば、図４に表した色配列（Ｂａｙｅｒ配列）を用いた場合だけでなく、図６（ａ）及び図６（ｂ）に表した色配列や、その他の色配列を用いた場合においても、適切なフィルタ係数「ｆハット」_ｕ,c ^m,n,oを定めることができる。

実施形態においては、デモザイキングに用いられるフィルタ係数「ｆハット」_ｕ,c ^m,n,oは、色配列の単位パターンにおける位置ごと、補間される「値」が対応する色ごと、及び、画像の特徴ごとに、学習によって定められる。ノイズが少なく、画質の向上した画像を得ることができる。

図１６は、実施形態に係る撮像装置を例示する模式図である。
図１６に表したように撮像装置１０３は、光学素子８０と、撮像部８１と、ラインメモリ８２と、処理回路８３と、メモリ８４と、出入力Ｉ／Ｆ８５と、表示部８６と、を含む。

光学素子８０には、例えば、図２において説明したレンズ７２及びフィルタ部７４などが設けられる。被写体から撮像装置１０３へ向かう光の一部は、光学素子８０を経由して、撮像部８１へ入射する。

撮像部８１には、例えば、ＣＭＯＳイメージセンサや、ＣＣＤイメージセンサなどが用いられる。撮像部８１に入射した光に対応した「値」が検出される。撮像部８１において検出された「値」は、ラインメモリ８２に記憶される。例えば、ラインメモリ８２は、入力画像記憶部１０に相当する。

メモリ８４は、例えば、複数のフィルタ係数を記憶している。処理回路８３には、例えば、「値」を処理するためのプログラムが記憶されている。処理回路８３は、フィルタ係数を参照して、ラインメモリ８２に記憶された「値」を処理する。例えば、フィルタ処理回路８３は、特徴量算出部３０及びフィルタ処理部５０に相当する。例えば、メモリ８４は、フィルタ記憶部４０に相当する。

出入力Ｉ／Ｆ８５は、例えば、処理回路８３によって処理された「値」を、表示部８６へ送る。例えば、出入力Ｉ／Ｆ８５は、出力部９１に相当する。表示部８６において、画像が表示される。

例えば、処理回路８３、ラインメモリ８２及びメモリ８４のそれぞれは、同じ基板に一体として設けられてもよい。これらの少なくとも一部は、別の基板に設けられてもよい。ラインメモリ８２とメモリ８４は、一体として形成された記憶装置であってもよいし、別々に形成された記憶装置であってもよい。

処理回路８３に記憶されるプログラムやメモリ８４に記憶されるフィルタ係数は、例えば、予め記憶された状態で提供される。処理回路８３に記憶されるプログラムやメモリ８４に記憶されるフィルタ係数は、ＣＤ−ＲＯＭ等の記憶媒体やネットワークを介して提供され、適宜インストールされてもよい。

本発明の実施形態によれば、高画質の画像を生成する画像処理装置、画像処理方法及び撮像装置が提供される。

なお、本願明細書において、「垂直」、及び「平行」は、厳密な垂直、及び厳密な平行だけではなく、例えば製造工程におけるばらつきなどを含むものであり、実質的に垂直、及び実質的に平行であれば良い。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明は、これらの具体例に限定されるものではない。例えば、入力画像記憶部、カラー配列特定部、特徴量算出部、フィルタ記憶部、フィルタ処理部及び画像撮像素子などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述した画像処理装置、画像処理方法及び撮像装置を基にして、当業者が適宜設計変更して実施し得る全ての画像処理装置、画像処理方法及び撮像装置も、本発明の要旨を包含する限り、本発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例、及び修正例に想到し得るものであり、それら変更例、及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…入力画像記憶部、 ２０…カラー配列特定部、 ３０…特徴量算出部、 ３１…フィルタ係数取得部、 ３２…フィルタ演算部、 ３２ａ…画素勾配、 ３３…カラー配列特定部、 ３４…エッジ特徴量算出部、 ４０…フィルタ記憶部、 ５０…フィルタ処理部、 ５１…フィルタ係数取得部、 ５２…フィルタ演算部、 ７０…撮像素子、 ７１…撮像領域、 ７１ａ…フォトダイオード層、 ７１ｂ…マイクロレンズ層、 ７１ｃ…カラーフィルタ層、 ７２…レンズ、 ７３…レンズ保持部、 ７４…光学フィルタ部、 ７５…被写体、 ７６…回路基板部、 ７７…「値」、 ７８…ぼけ、 ８０…光学素子、 ８１…撮像部、 ８２…ラインメモリ、 ８３…処理回路、 ８４…メモリ、 ８５…出入力Ｉ／Ｆ、 ８６…表示部、 ９０…算出部、 ９１…出力部、 γ…スケール、 ε_１、ε_２…安全定数、 θ…回転角、 λ_＋…短軸長、 λ₋…長軸長、 ρ…伸張、 １００…画像処理装置、 １０２、１０３…撮像装置、 Ｂ１、Ｂ２…第１、第２青色、 Ｆ１…数式、 Ｇ１〜Ｇ４…第１〜第４緑色、 ＧＮ…ノイズ、 Ｐ１、Ｐ２、Ｐ３…単位パターン、 ＰＣ１…正解画像、 ＰＦ１…フルカラー画像、 ＰＩ１、ＰＩ２、ＰＩａ〜ＰＩｆ…入力画像、 Ｒ１、Ｒ２…第１、第２赤色、 Ｒｎ１…第１領域、 Ｒｎ２…第２領域、 Ｒｒ１…領域、 Ｓ１〜Ｓ７…ステップ、 Ｗ１〜Ｗ８…第１〜第８白色、 ｄｘ、ｄｙ…勾配、 ｆ、「ｆハット」…フィルタ係数、 ｆ_ｋ…要素、 ｋ…回転カーネル、 ｕ…位置

Claims (15)

1. 第１色を有し第１位置に配置された第１画素の値と、前記第１画素の周りに配置された複数の周辺画素のそれぞれの値と、を含む画像情報を取得し、
   第１フィルタ係数と、前記複数の周辺画素のうちの前記第１色とは異なる第２色の第２画素の値と、を用いて、前記第１位置における前記第２色に関する値を算出する算出部と、
   前記算出された前記第１位置における前記第２色に関する前記値を出力する出力部と、
   を備え、
   前記第１フィルタ係数は、第１画像と第２画像とに基づいて予め定められ、
   前記第１画像に含まれる複数の画素のそれぞれは、前記第１色及び前記第２色を含む複数の色のいずれか１つの色に関する値を有し、
   前記第２画像の被写体は、前記第１画像の被写体と同じであり、
   前記第２画像に含まれる複数の画素のそれぞれは、前記複数の色のそれぞれに関する値を有する画像処理装置。
2. 前記算出部は、前記第１画素の前記値の、前記複数の周辺画素それぞれの前記値との差に関する第１特徴量を、前記第１画素の前記値と前記複数の周辺画素の少なくともいずれかの前記値とに基づいて算出し、
   前記第１フィルタ係数は、前記第１画像から抽出した前記第１特徴量と前記第１位置とに応じて予め定められた、請求項１記載の画像処理装置。
3. 前記算出部は、前記第１画素の前記値の、前記複数の周辺画素それぞれの前記値との差に関する第１特徴量を、前記第１画素の前記値と前記複数の周辺画素の少なくともいずれかの前記値とに基づいて算出し、
   前記第１フィルタ係数は、前記第１画像と前記第２画像とに基づいて、前記第１特徴量と前記第１位置とに応じて予め定められた、請求項１記載の画像処理装置。
4. 前記複数の周辺画素は、前記第１色の同色画素を含み、
   前記第１特徴量は、前記同色画素の前記値に基づいて算出される請求項２または３に記載の画像処理装置。
5. 前記第１特徴量は、前記第１位置に応じて定められた第２フィルタ係数と、前記第１画素の前記値と、前記複数の周辺画素の少なくともいずれかの前記値と、を用いて算出される請求項２〜４のいずれか１つに記載の画像処理装置。
6. 前記第１特徴量は、少なくとも、前記差に関する共分散行列の固有ベクトルと、前記共分散行列の第１固有値の前記共分散行列の第２固有値に対する比と、によって定められる請求項２〜５のいずれか１つに記載の画像処理装置。
7. 前記画像情報は、前記第１色及び前記第２色とは異なる第３色を有する第３画素の値をさらに含み、
   前記第１色、前記第２色及び前記第３色のそれぞれは、赤色、緑色、及び青色のいずれか１つの色である請求項１〜６のいずれか１つに記載の画像処理装置。
8. 前記第１色は、第１緑色であり、
   前記第２色は、第１青色であり、
   前記第３色は、第１赤色であり、
   前記画像情報は、第２緑色を有する第４画素の値をさらに含み、
   前記第１画素は、第１方向において前記第２画素と並び、
   前記第３画素は、前記第１方向と交差する第２方向において前記第１画素と並び、
   前記第４画素は、前記第２方向において前記第２画素と並び、前記第１方向において前記第３画素と並ぶ請求項７記載の画像処理装置。
9. 前記画像情報は、前記第１色及び前記第２色とは異なる第３色を有する第３画素の値と、前記第１色、前記第２色及び前記第３色とは異なる第４色を有する第４画素の値と、をさらに含み、
   前記第１色、前記第２色、前記第３色及び前記第４色のそれぞれは、赤色、緑色、青色及び白色のいずれか１つの色である請求項１〜６のいずれか１つに記載の画像処理装置。
10. 前記第１色は、第１緑色であり、
    前記第２色は、第１青色であり、
    前記第３色は、第１赤色であり、
    前記第４色は、第１白色であり、
    前記第１画素は、第１方向において前記第２画素と並び、
    前記第３画素は、前記第１方向と交差する第２方向において前記第１画素と並び、
    前記第４画素は、前記第２方向において前記第２画素と並び、前記第１方向において前記第３画素と並ぶ請求項９記載の画像処理装置。
11. 前記第２画素は、第２位置に配置され、
    前記画像情報は、前記第２画素の周りに配置された複数の画素のそれぞれの値をさらに含み、
    前記算出部は、
    前記第２画素の前記値の、前記第２画素の周りに配置された前記複数の画素のそれぞれの前記値との差に関する第２特徴量を、前記第２画素の前記値と、前記第２画素の周りに配置された前記複数の画素の少なくともいずれかの前記値と、に基づいて算出し、
    前記第２特徴量と前記第２位置とに応じて定められた第３フィルタ係数と、前記第１画素の前記値と、を用いて前記第２位置における前記第１色に関する値を算出する請求項１〜１０のいずれか１つに記載の画像処理装置。
12. 請求項１〜１１のいずれか１つに記載の画像処理装置と、
    前記画像情報を有する画像を撮像する撮像素子と、
    を備えた撮像装置。
13. 前記撮像素子は、ＣＭＯＳイメージセンサである請求項１２記載の撮像装置。
14. 前記撮像素子は、ＣＣＤイメージセンサである請求項１２記載の撮像装置。
15. 第１色を有し第１位置に配置された第１画素の値と、前記第１画素の周りに配置された複数の周辺画素のそれぞれの値と、を含む画像情報を取得する取得工程と、
    第１フィルタ係数と、前記複数の周辺画素のうちの前記第１色とは異なる第２色の第２画素の値と、を用いて、前記第１位置における前記第２色に関する値を算出するフィルタ処理工程と、
    を備え、
    前記第１フィルタ係数は、第１画像と第２画像とに基づいて予め定められ、
    前記第１画像に含まれる複数の画素のそれぞれは、前記第１色及び前記第２色を含む複数の色のいずれか１つの色に関する値を有し、
    前記第２画像の被写体は、前記第１画像の被写体と同じであり、
    前記第２画像に含まれる複数の画素のそれぞれは、前記複数の色のそれぞれに関する値を有する画像処理方法。