JP6525522B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特に画素の補間技術に関する。

近年、テレビジョンカメラ、デジタルカメラ等においては、ＣＣＤ撮像素子やＣＭＯＳ撮像素子が多く使用されている。これらの撮像素子には１千万以上の画素が設けられることも珍しくなく、製造誤差などの原因により、正常な出力が得られない欠陥画素が発生する場合がある。撮像素子が欠陥画素を有する場合、欠陥画素はノイズとなって撮影画像に現れる。このような画質劣化を改善するため、撮像素子の欠陥画素の値を補間（補正）する補間処理（欠陥画素補正処理ともよばれる）が知られている。

特許文献１には、補間対象の画素と同色の周辺画素について、垂直方向と水平方向とで相関の度合いを求め、相関の度合いに応じて垂直方向の画素による補間と水平方向の画素による補間とを重み付けする方法が開示されている。

特開２００１−３２０７２０号公報

特許文献１の方法を用いることで、被写体のエッジが垂直方向もしくは水平方向に連続する低周波成分の場合、補間による画質劣化を改善することができる。しかし、被写体のエッジが斜め方向や曲線など高周波成分の場合、垂直方向と水平方向の相関関係からでは精度の良い補間が難しく、高周波成分の情報が失われて被写体のエッジがぼやけてしまうことがある。

本発明はこのような従来技術の課題に鑑みてなされたものであり、高周波成分の情報の損失を抑制することのできる補間処理が可能な画像処理装置および画像処理方法を提供することを目的とする。

上述の目的は、カラーフィルタを有する単板式の撮像素子で得られた画像信号のうち、補正対象画素の値を補間する画像処理装置であって、補正対象画素の位置における、補正対象画素が出力する色成分とは異なる色成分の値を取得する第１の取得手段と、補正対象画素の位置とは異なる複数の位置における、異なる色成分の値を取得する第２の取得手段と、第１の取得手段が取得した値と、第２の取得手段が取得した複数の値の各々との比較結果に応じて、異なる複数の位置の１つを選択する選択手段と、選択手段が選択した位置に対応する画素が出力する色成分の値を用いて、補正対象画素の値を補間する補間手段と、を有し、複数の位置が、補正対象画素が出力する色成分と同じ色成分を出力する画素に対応した位置であり、第１の取得手段および第２の取得手段は、異なる色成分の値を、異なる色成分の値を取得する位置の周辺画素であって、異なる色成分を出力する複数の画素の値から取得することを特徴とする画像処理装置によって達成される。

このような構成により本発明によれば、高周波成分の情報の損失を抑制することのできる補間処理が可能な画像処理装置および画像処理方法を提供することができる。

第１の実施形態に係るデジタルカメラの機能構成例を示すブロック図 第１の実施形態における画素補間処理のフローチャート 第１の実施形態におけるデジタル画像信号の例を示す図 第１の実施形態における選択部と補間部の動作を説明するための図 第２の実施形態に係るデジタルカメラの機能構成例を示すブロック図 第２の実施形態におけるデジタル画像信号の例を示す図 第３の実施形態に係るデジタルカメラの機能構成例を示すブロック図 第３の実施形態における撮像素子の画素構造例を説明するための図 第３の実施形態における撮像素子の画素配列例を説明するための図 第３の実施形態おけるデジタル画像信号の例を示す図 第３の実施形態における画素補間処理のフローチャート 第４の実施形態における方向判定処理を説明するための図

以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、以下では本発明の画像処理装置の一例であるデジタルカメラに適用した実施形態について説明するが、本発明はデジタル画像データを処理可能な任意の電子機器に対して適用可能である。このような電子機器には、デジタルビデオカメラ、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダなどが含まれるが、これらに限定されない。

●（第１の実施形態）
第１の実施形態は、３板式の撮像素子を用いて得られた画像データを補間処理する方法に関する。図１は本実施形態に係る画像処理装置としての画素補間部１０６を有するデジタルカメラ１００の機能構成例を示すブロック図である。

制御部１０１は例えばＣＰＵやＭＰＵのようなプログラマブルプロセッサであり、ＲＯＭ１０２に記憶されている動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、デジタルカメラ１００の各機能ブロックの動作を制御する。ＲＯＭ１０２には動作プログラムに加え、各種の設定値やＧＵＩデータなどが格納される。ＲＯＭ１０２は書き換え可能であってよい。また、ＲＡＭ１０３は動作プログラムのほか、各機能ブロックの動作に必要なパラメータ、設定等を一時的に格納する領域としても用いられる。

光学系１０４は結像光学系および分光プリズムを含み、被写体像をＲ，Ｇ，Ｂの色成分ごとに撮像素子１０５Ｒ，１０５Ｇ，１０５Ｂに結像する。撮像素子１０５Ｒ，１０５Ｇ，１０５Ｂは受光用の色フィルタがＲ，Ｇ，Ｂと異なる３つの撮像素子で構成され、被写体像を構成するＲ画像，Ｇ画像，Ｂ画像を独立して撮像する。撮像素子１０５Ｒ，１０５Ｇ，１０５Ｂは複数の画素が２次元配置されたＣＣＤやＣＭＯＳイメージセンサであり、被写体像を画素単位のアナログ電気信号（アナログ画像信号）に変換する。撮像素子１０５Ｒ，１０５Ｇ，１０５Ｂにより撮像されたＲ，Ｇ，Ｂ各色のアナログ画像信号は、Ａ／Ｄ変換部１０８でデジタル画像信号（画像データ）に変換され、欠陥画素検出部１２０と画素補間部１０６に供給される。

欠陥画素検出部１２０はＡ／Ｄ変換部１０８より入力されたデジタル画像信号から撮像素子１０５Ｒ，１０５Ｇ，１０５Ｂに含まれる欠陥画素を検出する。欠陥画素の検出方法に特に制限はなく、任意の公知の方法を用いることができる。欠陥画素は出力が異常な画素であるため、遮光状態で撮影して取得した画像データや、隣接画素との差分から判断する方法などが知られている。

なお、製造時に判明している欠陥画素の位置情報は、予めＲＯＭ１０２に記憶されていてもよい。また、既に記録されている画像データを処理対象とする場合、画像データが含まれる画像データファイルのヘッダなどに付加情報として記録されている、撮影に用いられた撮像素子の欠陥画素情報を取得してもよい。つまり、欠陥画素検出部１２０は、画像データの撮影に用いられた撮像素子が有する欠陥画素の位置もしくは画像データに含まれる欠陥画素データを何らかの方法によって検出もしくは取得可能であれば、どのような構成であってもよい。欠陥画素検出部１２０が検出および／または取得した欠陥画素の情報は、欠陥画素情報として例えばＲＡＭ１０３に格納される。なお、補間処理の対象とすべき画素は必ずしも欠陥画素に限らないことから、欠陥画素情報はより汎用的に記載すれば補間対象画素情報もしくは補正対象画素情報である。

画素補間部１０６はＲＡＭ１０３に格納された欠陥画素情報を用いて、デジタル画像データに含まれる欠陥画素の値を補間（補正）する。画素補間部１０６は制御端子１１７、入力端子１１０、第１の画素取得部１１１、第２の画素取得部１１２、比較部１１３、選択部１１４、補間部１１５、出力端子１１６で構成される。制御部１０１はＲＡＭ１０３に格納された欠陥画素情報に応じて制御端子１１７を通じて画素補間部１０６の動作を制御する。具体的には、制御部１０１は、欠陥画素の情報（本実施形態では色プレーンの種別と位置を含む情報）を画素補間部１０６に入力し、補間動作の実施を指示する。

次に、本実施形態における画素補間部１０６の各機能ブロックの処理の例を、図２に示すフローチャートを用いて説明する。なお、撮像素子１０５Ｒ，１０５Ｇ，１０５Ｂの画素と、得られる画像の画素信号とが対応していることから、以下の説明においては、画像信号に含まれる欠陥画素信号についても「欠陥画素」と呼ぶことがある。

図３（ａ）〜（ｃ）は入力端子１１０に入力される、３板式の撮像素子１０５から得られるデジタル画像信号の一部を抜き出した例を示し、図３（ａ）〜（ｃ）はそれぞれ同じ領域におけるＲ成分，Ｇ成分，Ｂ成分を示している。従って、例えば（Ｒ１，Ｇ１，Ｂ１）が同一位置のＲＧＢ値を表し、また、Ｒ（またはＧ，Ｂ）成分からなる画像をＲ（またはＧ，Ｂ）プレーンと呼ぶ。図３の例において、Ｂプレーン（図３（ｃ））の画素Ａ５は欠陥画素である。欠陥画素Ａ５は欠陥画素検出部１２０により検出され、欠陥画素情報がＲＡＭ１０３に格納されている。

まず、第１の画素取得部１１１は、欠陥画素Ａ５と位置が対応する他のプレーン（ここではＧプレーンとする）の画素Ｇ５（画素Ａ）の値を取得し、比較部１１３に出力する（Ｓ３０２）。

また、第２の画素取得部１１２は、欠陥画素Ａ５以外について、Ｂプレーンの画素と位置が対応するＧプレーンの画素Ｇ１〜Ｇ４、Ｇ６〜Ｇ９（画素Ｂ）の値を参照画素値として取得し、比較部１１３に出力する（Ｓ３０３）。なお、Ｓ３０２とＳ３０３の処理は並列に実行されてもよい。

なお、ここでは欠陥画素位置に垂直、水平、斜め方向に隣接する周辺８画素に位置が対応する画素を参照画素として取得するものとした。しかし、参照画素の数および位置は、デジタル画像信号のサイズや制御部１０１の処理能力などに応じて適宜変更することができる。また、参照画素値を取得するプレーンは、欠陥画素と異なるプレーンであればよく、Ｂプレーンを用いてもよい。なお、参照画素に欠陥画素が含まれる場合は、他のプレーンから欠陥画素値を含まない参照画素値を取得するようにしてもよい。

次に比較部１１３は画素Ｇ５の値と、参照画素の値とを比較し、画素Ｇ５（画素Ａ）と参照画素（画素Ｂ）との類似度または相関の程度を示す評価値を算出する（Ｓ３０４）。具体的には比較部１１３は以下の式（１）を用い、Ｇプレーンにおける、欠陥画素Ａ５に位置が対応する画素（Ｇ５）と、参照画素の差の絶対値ＧＤｉｆｆＧｍＧｎを求める。
ＧＤｉｆｆＧｍＧｎ＝｜Ｇｍ−Ｇｎ｜（ｍ＝５，ｎ＝１〜４，６〜９）…（１）
比較部１１３は、求めたＧＤｉｆｆＧｍＧｎを選択部１１４に出力する。なお、ＧＤｉｆｆＧｍＧｎは、算出に用いる画素値として、ガンマ補正後の値を用いてもよい。

選択部１１４と補間部１１５の動作について、図４（ａ）〜（ｃ）を用いて説明する。図４（ａ）〜（ｃ）は図３（ａ）〜（ｃ）と同じ領域のデジタル画像信号を示している。
選択部１１４はＧＤｉｆｆＧｍＧｎに基づいて、画素Ｇ５の値に近い値を有する参照画素の位置を選択し、選択した参照画素と位置が対応するＢプレーンの画素値を補間画素値（補正値）として補間部１１５に出力する（Ｓ３０５）。選択部１１４は例えばＧＤｉｆｆＧｍＧｎが最小値となる参照画素の位置を選択してよい。図４（ｂ）は、ＧＤｉｆｆＧｍＧｎの比較動作と、最小値がＧＤｉｆｆＧ５Ｇ１であることを示している。この場合、選択部１１４は参照画素Ｇ１の位置を選択し、参照画素Ｇ１と位置が対応するＢプレーンの画素Ｂ１の値を補間画素値として出力する。

なお、ＧＤｉｆｆＧｍＧｎが最小となる参照画素の位置が複数存在する場合、選択部１１４は、該当する参照画素と位置が対応する複数のＢプレーンの画素値をソートし、中央値を補間画素値として出力する。あるいは、ＧＤｉｆｆＧｍＧｎが最小となる複数の参照画素のうち、画素Ｇ５との距離が最小の参照画素の位置を選択してもよい。また、選択する参照画素の位置の優先順位を予めＲＡＭ１０３に設定しておき、選択部１１４はＧＤｉｆｆＧｍＧｎが最小となる複数の参照画素のうち優先順位の高いものを選択してもよい。

補間部１１５は選択部１１４から受信する補間画素値を用いて欠陥画素値を補間する（Ｓ３０６）。図４（ｃ）は、Ｂプレーンの欠陥画素Ａ５の値を、選択部１１４で選択された補間画素Ｂ１の値で補間（置換）した場合を示している。補間部１１５は、欠陥画素Ａ５を補間した後のＲ，Ｇ，Ｂ各プレーンのデジタル画像信号を出力端子１１６を介して出力する。出力端子１１６から出力されたデジタル画像信号には、例えばホワイトバランス処理や符号化処理など、表示、記録等の目的に応じた処理が行われる。

欠陥画素を挟んで両側に位置する画素の値を平均化して補間する場合、欠陥画素の値はこれら両側の画素の値の中間値となる。そのため、両側の画素が同一のエッジにかかる場合には問題ないが、同一のエッジにかからない場合には、欠陥画素が本来得るべき値と、平均化により求めた値が近い値になるとは限らない。これに対し、欠陥画素の周囲に欠陥画素と相関が高いと推定される画素があるならば、その相関の高い画素の値は、欠陥画素が本来得るべき値と類似する可能性が高いと考えられる。そこで、本実施形態では、欠陥画素と相関が高い１つの画素の値をコピーする構成とすることで、欠陥画素の両側の画素が同一のエッジにかからない場合であっても、高周波成分の損失（ぼけ）を抑制することができる。また、本実施形態によれば、欠陥画素の値を補間するための画素値を、欠陥画素と位置の対応する他の色プレーンの画素の水平方向、垂直方向に存在する画素だけでなく、斜め方向に存在する画素からも探索する。そのため、欠陥画素が水平方向や垂直方向以外のエッジに対応する場合も、補間による高周波成分の損失を抑制することができる。

●（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、カラーモザイクフィルタを有する単板式の撮像素子を用いて得られる撮影データの欠陥画素値を補間処理する点で第１の実施形態と異なる。

３板式の撮像素子を用いた場合、デジタル画像信号の１画素ごとにＲ，Ｇ，Ｂ各色成分を独立して取得できるため、例えばＢプレーンに欠陥画素が存在した場合、ＲまたはＧプレーンの同じ位置に対応する画素値を参照することができる。しかし、単板式の撮像素子では、複数の色成分Ｒ，Ｇ，Ｂのうち１つの値しか各画素で取得できないため、各色プレーンを構成する画素の位置は異なる。

図５は、第２の実施形態におけるデジタルカメラ１００の機能構成を示すブロック図である。光学系１０４、撮像素子１０５、Ａ／Ｄ変換部１０８の構成および画素補間部１０６の動作を除き、第１の実施形態のデジタルカメラ１００と同様である。

光学系１０４は撮像素子１０５の撮像面に被写体像を結像する。撮像素子１０５は単板式のカラーイメージセンサであり、本実施形態では一例としてベイヤー配列のカラーフィルタを備えるものとする。撮像素子１０５に含まれる画素にはＲＧＢのうち１つに対応するカラーフィルタが設けられており、各画素からは設けられたカラーフィルタの色に応じたＲ，Ｇ，Ｂ成分の１つが出力される。撮像素子１０５より撮像されたアナログ画像信号はＡ／Ｄ変換部１０８に出力する。Ａ／Ｄ変換部１０８は入力されたアナログ画像信号をデジタル画像信号に変換して画像補間部１０６に出力する。

図６（ａ）は、Ａ／Ｄ変換部１０８から画像補間部１０６の入力端子１１０に入力される、第２の実施形態におけるデジタル画像信号の構成を示している。デジタル画像信号は、Ｒ画素、Ｇ画素、Ｂ画素が撮像素子１０５が有するベイヤー配列のカラーフィルタと同様に配列された構成を有する。縦横２画素の４画素を繰り返し単位として、２つのＧ画素と、Ｒ画素およびＢ画素がそれぞれ対角に配置される。

本実施形態において、欠陥画素Ａ５はＢ画素に対応する位置に存在しているものとする。なお、欠陥画素Ａ５の位置は第１の実施形態で説明したように欠陥画素検出部１２０が取得または検出し、ＲＡＭ１０３に格納されている。

次に、本実施形態の画素補間部１０６の動作を、第１の実施形態における動作との違いに着目して説明する。
第１の実施形態では色成分ごとに画素プレーンが存在していたため、欠陥画素に対応する位置の他の色プレーンの画素値を参照することができた。しかし、第２の実施形態では欠陥画素の位置に対応する他の色成分値を、他の位置の色成分値から求める必要がある。

本実施形態の画素補間部１０６は、図６（ｂ）に示すように、Ｂ画素の位置に存在する欠陥画素Ａ５に対応する他の色成分（ここではＧ成分）を、欠陥画素Ａ５の周辺のＢ画素の値から求める。

具体的には、第１の画素取得部１１１は、欠陥画素Ａ５の位置に対応するＧ画素（Ｇ成分）ＧＡ５の値を、式（２）を用いて左右のＧ画素の値から求める。
ＧＡ５＝（Ｇ１２＋Ｇ１３）／２…（２）
そして、第１の画素取得部１１１は求めたＧＡ５の値を比較部１１３に出力する。

第２の画素取得部１１２は欠陥画素Ａ５の周辺の同色画素のＢ１〜Ｂ４、Ｂ６〜Ｂ９のそれぞれの位置において、左右のＧ画素の値から式（２）と同様にＧ成分ＧＢ１〜ＧＢ４、ＧＢ６〜ＧＢ９を参照画素の色成分値として求める。第２の画素取得部１１２は求めた参照画素のＧ成分値ＧＢ１〜ＧＢ４、ＧＢ６〜ＧＢ９を比較部１１３に出力する。

このようにして欠陥画素と対応する位置および、欠陥画素と同色の周辺画素の位置における、欠陥画素と異なる色成分の値を求めた後、比較部１１３は第１の実施形態と同様にして絶対値ＧＤｉｆｆＧｍＧｎを求める。具体的には以下の式（１’）に基づき、欠陥画素Ａ５の位置におけるＧ成分の値ＧＡ５と、参照画素のＧ成分値ＧＢ１〜ＧＢ４、ＧＢ６〜ＧＢ９との差の絶対値ＧＤｉｆｆＧｍＧｎを求める。
ＧＤｉｆｆＧｍＧｎ＝｜Ｇｍ−Ｇｎ｜（ｍ＝Ａ５、ｎ＝Ｂ１〜Ｂ４、Ｂ６〜Ｂ９）…（１’）
そして比較部１１３は、求めたＧＤｉｆｆＧｍＧｎを選択部１１４に出力する。

選択部１１４はＧＤｉｆｆＧｍＧｎに基づいて、欠陥画素Ａ５の位置におけるＧ成分ＧＡ５と近い値を有する参照画素の位置を選択し、選択した参照画素の位置と対応するＢ成分の値を補間画素値（補正値）として補間部１１５に出力する。図６（ｂ）はＧＤｉｆｆＧｍＧｎの比較動作と、最小値がＧＤｉｆｆＧＡ５ＧＢ１であることを示している。この場合、選択部１１４は参照画素ＧＢ１の位置を選択し、参照画素ＧＢ１におけるＢ成分Ｂ１の値を補間画素値として出力する。

なお、ＧＤｉｆｆＧｍＧｎが最小となる参照画素の位置が複数存在する場合、選択部１１４は、該当する複数のＢ成分の値をソートし、中央値を補間画素値として出力する。あるいは、ＧＤｉｆｆＧｍＧｎが最小となる複数の参照画素のうち、画素ＧＡ５との距離が最小の参照画素の位置を選択してもよい。また、選択する参照画素の位置の優先順位を予めＲＡＭ１０３に設定しておき、選択部１１４はＧＤｉｆｆＧｍＧｎが最小となる複数の参照画素のうち優先順位の高いものを選択してもよい。

補間部１１５は選択部１１４から受信する補間画素値を用いて欠陥画素値を補間する。図６（ｃ）は、Ｂ画素である欠陥画素Ａ５の値を、選択部１１４で選択された補間画素Ｂ１の値で補間（置換）した場合を示している。補間部１１５は、欠陥画素Ａ５を補間した後、デモザイク処理を行ってＲ，Ｇ，Ｂ各プレーンのデジタル画像信号を出力端子１１６を介して出力する。

以上のように、撮像素子が単板式である場合にも、欠陥画素とは異なる色成分値を欠陥画素位置と、欠陥画素と同色成分の周辺画素位置とについて求めることにより、第１の実施形態と同様に補間処理を行うことができる。これにより、本実施形態においても、第１の実施形態と同様の効果が得られる。

（変形例）
なお、欠陥画素がＢ画素またはＲ画素に対応する場合、本実施形態における第１の画素取得部１１１および第２の画素取得部１１２は以下の方法によって補正値を求めてもよい。

まず、第１の画素取得部１１１は、以下の式（３）により、欠陥画素を挟んで水平および垂直方向にある２つのＧ画素の差の絶対値（ＨＤｉｆｆ，ＶＤｉｆｆ）を求める。ここでは、説明および理解を容易にするため、欠陥画素Ａ５が図６（ａ）に示したようにＢ画素Ｂ１の位置に存在するものとする。
ＨＤｉｆｆ＝｜Ｇ１２−Ｇ１３｜
ＶＤｉｆｆ＝｜Ｇ９−Ｇ１６｜…（３）

そして、第１の画素取得部１１１は、式（４）により欠陥画素Ａ５の水平、垂直方向にあるＧ画素（Ｇ成分）の変化方向を示す割合αを求める。
α＝（ＶＤｉｆｆ−ＨＤｉｆｆ）／（２×Ｔｈ）＋０．５…（４）

この割合αは１より大きい場合に欠陥画素位置におけるＧ成分の垂直方向の変化が水平方向の変化より有意に大きく、負の場合に欠陥画素位置におけるＧ成分の水平方向の変化が垂直方向の変化より有意に大きいことを示す。また、Ｔｈは欠陥画素位置におけるＧ成分の水平方向と垂直方向の変化が近似している場合に割合αが０≦α≦１となるように設定された閾値であり、予めＲＯＭ１０２に設定されている。

そして第１の画素取得部１１１は、得られた割合αに応じて、以下の３通りの方法のいずれかで欠陥画素位置におけるＧ成分の値ＧＡ５を取得する。
１．（０≦α≦１）の場合
欠陥画素位置におけるＧ成分の水平方向と垂直方向の変化が近似しているため、第１の画素取得部１１１は、以下の式（５）を用いて、水平補間値と垂直補間値を割合αに応じて重み付け加算して、欠陥画素位置におけるＧ成分ＧＡ５の値を求める。
ＧＡ５＝（α（Ｇ１２＋Ｇ１３）＋（１−α）（Ｇ９＋Ｇ１６）））／２…（５）

２．（α＜０）の場合
欠陥画素位置におけるＧ成分の水平方向の変化が垂直方向の変化より有意に大きいため、第１の画素取得部１１１は、以下の式（６）を用いて垂直方向の補間によりＧ成分ＧＡ５の値を求める。
ＧＡ５＝（Ｇ９＋Ｇ１６）／２…（６）

３．（α＞１）の場合
欠陥画素位置におけるＧ成分の垂直方向の変化が水平方向の変化より有意に大きいため、第１の画素取得部１１１は以下の式（７）を用いて水平方向の補間によりＧ成分ＧＡ５の値を求める。
ＧＡ５＝（Ｇ１２＋Ｇ１３）／２…（７）

第２の画素取得部１１２も、参照画素位置におけるＧ成分の値ＧＢ１〜ＧＢ４、ＧＢ６〜ＧＢ９を同様にして求める。

なお、欠陥画素がＲ画素の位置に存在する場合、Ｂ画素とＲ画素は同じ位相であるため同様の処理をすればよい。従って、欠陥画素がＲ画素の位置に対応する場合の処理については説明を省略する。

本変形例によれば、補間により求める色成分値の精度を高めることができるため、結果として補正値の精度を向上することができる。

●（第３の実施形態）
第２の実施形態で説明した画素補間処理によれば、補正対象の欠陥画素が高周波成分を有するエッジに対応する場合の補間精度を向上させることができる。その一方、被写体のエッジ成分と欠陥画素が連続的に重畳している場合はエッジ成分を参照することができず、補間処理の精度が低下する可能性がある。

具体的には、以下の２条件を満たす場合に補間処理の精度が低下する可能性がある。
条件１：同色画素位置に対応する欠陥画素が一定方向に複数連続して存在する
条件２：条件１に合致する複数の欠陥画素に被写体のエッジが重畳している

条件１が満たされる例としては、撮像素子に、通常画素としての出力が得られない焦点検出用画素が規則的に配置されている場合がある。このような焦点検出用画素は、欠陥画素として取り扱われるのが一般的である。そして、このような撮像素子を用いて撮像した被写体のエッジが複数の焦点検出用画素にわたって重畳している場合、条件１，２の両方が満たされる。

本実施形態では、第２の実施形態の効果を維持しながら、条件１，２が満たされる場合であっても、見た目の画質劣化を抑制することが可能な画素補間方法を提供する。

図７は、本発明の第３の実施形態に係る画像処理装置としての画素補間部１０６を有するデジタルカメラ１００の機能構成を示すブロック図である。第２の実施形態のデジタルカメラ１００の構成に加え、第３の画素取得部１１８、第１の方向判定部１１９、第２の方向判定部１２１、第２の比較部１２２、第２の選択部１２３が画素補間部１０６に追加されている。なお、本実施形態においては便宜上、第２の実施形態における比較部１１３および選択部１１４を第１の比較部１１３および第１の選択部１１４と呼ぶ。

撮像素子１０５は第２の実施形態と同様に単板式であり、ベイヤー配列のカラーフィルタを有している。ただし、撮像素子１０５には図９を用いて後述するように、欠陥画素として取り扱われる焦点検出用画素が規則的に配置されている。焦点検出用画素以外の画素を通常画素と呼ぶ。なお、通常画素にも製造上の理由などで生じた欠陥画素が含まれる。

本実施形態に係るデジタルカメラ１００のＲＯＭ１０２には、焦点検出用画素群の配置位置や配列方向等の焦点検出用画素情報が予め格納されている。焦点検出用画素は記録や表示に用いる画像信号の取得には適さないため、焦点検出用画素情報は、欠陥画素情報と同様に取り扱う。従って、本実施形態における欠陥画素検出部１２０は、通常画素に関する欠陥画素情報と、焦点検出用画素情報とを合わせてＲＡＭ１０３に格納する。

なお、焦点検出用画素が出力する信号は、制御部１０１が画素補間部１０６を通じて取得し、焦点検出部１０９へ入力される。焦点検出部１０９は複数の焦点検出用画素の出力信号を基に１対の瞳分割像を生成し、位相差検出方式による焦点検出（光学系１０４のデフォーカス量の算出）を行う。制御部１０１は焦点検出部１０９が算出したデフォーカス量に基づいて光学系１０４が有するフォーカシングレンズの位置を制御する。なお、焦点検出用画素の出力信号を用いた位相差検出方式による焦点検出動作は公知であり、また本発明とは直接関係しないため、これ以上の説明は割愛する。

次に、図８〜図９を参照して撮像素子１０５の構成について説明する。
図８（ａ）は撮像素子１０５が有する通常画素の構造を模式的に示す垂直断面図である。画素にはマイクロレンズ１００１が設けられ、入射する光束を光電変換部１００３に集光する。カラーフィルタ１００２は特定波長の光のみを透過する分光感度特性を有する。本実施形態の撮像素子１０５は原色ベイヤー配列のカラーフィルタを有するため、通常画素にはＲ，Ｇ，Ｂいずれかの色を有するカラーフィルタ１００２が設けられている。光電変換部１００３は受光量に応じた電荷を発生する。以降、Ｒ，Ｇ，Ｂの波長の光を透過するカラーフィルタ１００２を有する通常画素をそれぞれＲ画素，Ｇ画素，Ｂ画素と呼ぶ。

図８（ｂ）および（ｃ）は焦点検出用画素の構造を模式的に示す垂直断面図である。
マイクロレンズ１１０１は入射する光束を光電変換部１１０３に集光する点で通常画素のマイクロレンズ１００１と同様であるが、通常画素のマイクロレンズ１００１よりも曲率が大きくなるように設計されている。カラーフィルタ１１０２はＲ，Ｇ，Ｂの全ての波長の光を透過するような分光感度特性を有する（例えば透明である）。カラーフィルタ１１０２は設けられなくてもよい。光電変換部１１０３の構成は通常画素と同様であるが、光電変換部１１０３とマイクロレンズ１１０１との間に遮光層１１０４が設けられており、光電変換部１１０３にはマイクロレンズ１１０１に入射した光束の一部が到達するように形成される。図８（ｂ）と（ｃ）とでは遮光層１１０４の設けられる場所が異なるため、図８（ｂ）に示す第１の焦点検出用画素と、図８（ｃ）に示す第２の焦点検出用画素からは、瞳分割された１対の信号が得られる。

焦点検出用画素は分光感度特性、遮光層の有無などによって通常画素とは異なる特性を持つ画素である。焦点検出用画素によって得られる画素値は焦点検出に用いる信号としては適しているが、撮影画像を生成する信号としては適さない。そのため、記録や表示に用いられる撮影画像の生成時には、焦点検出用画素は欠陥画素として扱われ、画素補間部１０６によって焦点検出用画素の位置における撮影画像用の画素値が補間によって生成される。

図９は本実施形態における撮像素子１０５の画素配列の例を模式的に示す図である。図９は撮像素子１０５の画素領域の一部１２００における撮影画素と焦点検出用画素の配列の例を示し、Ｒ，Ｇ，Ｂは通常画素（Ｒ画素，Ｇ画素，Ｂ画素）１２０１であり、黒塗りは焦点検出用画素１２０２である。このように、撮像素子１０５にはＲ画素、Ｇ画素、Ｂ画素がベイヤー配列に従って配置されるとともに、一部の領域には図８（ｂ）および（ｃ）で説明した、遮光形状の異なる焦点検出用画素が所定のパターン（配列方向および周期）で配置されている。

本実施形態においては撮像素子１０５の、Ｇ画素およびＢ画素によって構成される水平画素ラインにおいて、一部のＢ画素位置に焦点検出用画素が配置された構成を、上述の条件１を満たす一例として説明を行う。なお、図９では水平方向にのみ焦点検出用画素が配置された例を示したが、垂直方向に焦点検出用画素が配置された領域も存在してよい。

図１０は画素補間部１０６の入力端子１１０に入力されるデジタル画像信号の配列例を示す。図１０（ａ）においては、焦点検出用画素（欠陥画素）Ａ４〜Ａ６がハッチングされている。上述の通り、焦点検出用画素Ａ４〜Ａ６はベイヤー配列におけるＢ画素の位置に、水平方向で連続して配置されている。なお、焦点検出用画素の配置位置や配置方向の情報は予めＲＯＭ１０２に格納されている。

以下では、焦点検出用画素Ａ５を補正対象画素とした場合の、本実施形態における画素補間部１０６の各機能ブロックの処理の例を、図１１に示すフローチャートをさらに用いて説明する。なお、以下に説明する処理は焦点検出用画素に限らず、通常画素の欠陥画素を含む任意の補正対象画素について共通して実行される。以下では説明および理解を容易にするため、画素Ａ５を欠陥画素と記載する。

まず、第１の画素取得部１１１は、補正対象の欠陥画素Ａ５の位置に対応する、欠陥画素位置とは異なる色成分（ここではＧ成分）の値（色成分値Ａ）を、周辺のＧ画素の値を用いて取得する（Ｓ１５０２）。具体的には第１の画素取得部１１１は第２の実施形態と同様、図１０（ｂ）に斜線で示す水平方向に隣接するＧ画素Ｇ１２，Ｇ１３の値を用い、欠陥画素Ａ５の位置におけるＧ成分値ＧＡ５を式（２）に従って取得する。
ＧＡ５＝（Ｇ１２＋Ｇ１３）／２…（２）
そして、第１の画素取得部１１１は求めたＧ成分ＧＡ５の値を比較部１１３に出力する。

一方、第２の画素取得部１１２は、欠陥画素Ａ５の近傍に存在する欠陥画素位置と同色の複数の画素位置におけるＧ成分値（色成分値Ｂ）を、各位置の周辺Ｇ画素の値を用いて取得する（Ｓ１５０３）。なお、Ｓ１５０２とＳ１５０３は並列に実行されてもよい。欠陥画素Ａ５はベイヤー配列のＢ画素位置に存在するため、本実施形態では図１０（ｃ）の斜線で示すＢ画素群Ｂ１〜Ｂ３およびＢ７〜Ｂ９（参照画素）の位置についてＧ成分を求める。なお、欠陥画素Ａ５と水平方向に隣接するＢ画素は欠陥画素Ａ４，Ａ６であるため、欠陥画素Ａ４，Ａ６の位置におけるＧ成分値は求めない。

第２の画素取得部１１２は、Ｂ１〜Ｂ３およびＢ７〜Ｂ９の位置におけるＧ成分値ＧＢ１〜ＧＢ３およびＧＢ７〜ＧＢ９を、それぞれ式（２）に従い、水平両方向に隣接する２つのＧ画素の値を平均することにより取得する。図１０（ｄ）に、Ｂ１〜Ｂ３およびＢ７〜Ｂ９の位置でのＧ成分値取得に用いられる画素を斜線で示す。第２の画素取得部１１２は求めたＧ成分値ＧＢ１〜ＧＢ３、ＧＢ７〜ＧＢ９（参照画素のＧ成分値）を比較部１１３に出力する。

比較部１１３、選択部１１４は第１および第２の実施形態と同様の処理（Ｓ１５０４，Ｓ１５０５）を行うため説明を割愛する。なお、本実施形態では選択部１１４が選択する補間画素値を第１の補間画素値（第１の補正値）とする。

第３の画素取得部１１８は、補正対象となる欠陥画素の周囲に存在する、欠陥画素位置と同色の複数の画素値から、第２の補間画素値（第２の補正値）を取得して第２の選択部１２３に出力する（Ｓ１５０６）。具体的には第３の画素取得部１１８は、第２の画素取得部がＧ成分値を求めた位置のＢ画素Ｂ１〜Ｂ３，Ｂ７〜Ｂ９の平均値を、欠陥画素Ａ５を補間するための第２の補間画素値ＢＡ５’として算出する。
すなわち、第３の画素取得部は、欠陥画素Ａ５に対する第２の補間画素値ＢＡ５’を以下の式（９）によって取得する。
ＢＡ５‘＝（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ７＋Ｂ８＋Ｂ９）／６…（９）

なお、第３の画素取得部１１８は第２の画素補間値ＢＡ５’を他の方法で取得してもよい。例えば第１の画素取得部１１１および第２の画素取得部１１２によって算出される色成分値Ａ，Ｂを用い、以下に示す式（１０）、式（１１）のようにして第２の画素補間値ＢＡ５’を取得してもよい。
ＢＡ５‘＝（（（Ｂ１／ＧＢ１）＋（Ｂ２／ＧＢ２）＋（Ｂ３／ＧＢ３）＋（Ｂ７／ＧＢ７）＋（Ｂ８／ＧＢ８）＋（Ｂ９／ＧＢ９））／６）×ＧＡ５ ・・・（１０）
ＢＡ５‘＝（（（Ｂ１―ＧＢ１）＋（Ｂ２―ＧＢ２）＋（Ｂ３―ＧＢ３）＋（Ｂ７―ＧＢ７）＋（Ｂ８―ＧＢ８）＋（Ｂ９―ＧＢ９））／６）＋ＧＡ５ ・・・（１１）

なお、式１０は参照画素位置におけるＧ成分とＢ成分との比の加算平均値を欠陥画素位置におけるＧ成分値に乗じて、画素補間値ＢＡ５‘を取得するものである。
また、式１１は、参照画素位置におけるＧ成分とＢ成分との差分の加算平均値を欠陥画素位置におけるＧ成分値に乗じて、画素補間値ＢＡ５‘を取得するものである。
ここで説明した第３の画素取得部１１８の動作は、式（９）を用いる場合には第１または第２の画素取得部１１１または１１２の動作と並行して実行されてもよい。式（１０）または（１１）を用いる場合には第１および第２の画素取得部１１１，１１２の動作が終了してから実行する。

第１の方向判定部１１９は、被写体のエッジ方向を示すパラメータＯＢＪＤＩＲを取得し、第２の比較部１２２へと出力する（Ｓ１５０７）。まず、第１の方向判定部１１９は、以下の式（１２）に従い、欠陥画素Ａ５の周囲のＢ画素を用いて水平および垂直方向の相関値（ＨＤｉｆｆ，ＶＤｉｆｆ）を求める。欠陥画素Ａ５位置における相関値を得るために参照する画素を図１０（ｅ）に斜線で示す。
ＨＤｉｆｆ＝｜（Ｂ１＋Ｂ７）−（Ｂ３＋Ｂ９）｜／２
ＶＤｉｆｆ＝｜（Ｂ１＋Ｂ３）−（Ｂ７＋Ｂ９）｜／２…（１２）

次に第１の方向判定部１１９は、式（１３）により欠陥画素Ａ５の水平、垂直方向にあるＢ成分の変化方向を示す割合αを求める。
α＝（ＶＤｉｆｆ−ＨＤｉｆｆ）／（２×Ｔｈ）＋０．５…（１３）

第２の実施形態における割合αと同様、この割合αは１より大きい場合に欠陥画素位置におけるＧ成分の垂直方向の変化が水平方向の変化より有意に大きく、負の場合に欠陥画素位置におけるＧ成分の水平方向の変化が垂直方向の変化より有意に大きいことを示す。正の場合に垂直方向の割合が強く、負の場合に水平方向の割合が強いことを示す。また、Ｔｈは欠陥画素位置におけるＧ成分の水平方向と垂直方向の変化が近似している場合に割合αが０≦α≦１となるように設定された閾値であり、予めＲＯＭ１０２に設定されている。そして第３の画素取得部１１８は、得られた割合αにより、以下の様にエッジの方向パラメータＯＢＪＤＩＲを決定する。
１．（０≦α≦１）の場合
ＯＢＪＤＩＲ＝（００）ｂ
２．（α＜０）の場合
ＯＢＪＤＩＲ＝（０１）ｂ
３．（α＞１）の場合
ＯＢＪＤＩＲ＝（１０）ｂ

方向パラメータＯＢＪＤＩＲは２ｂｉｔのフラグであり、下位ビットが垂直方向の相関に、上位ビットが水平方向の相関と関連付けられている。そして、水平、垂直方向の相関のいずれかが有意に強いと判定された場合、第３の画素取得部１１８は相関が強い方向と関連付けられたビットを”１”に設定した方向パラメータを決定する。

また、ここでは欠陥画素がＢ画素位置に存在する場合のエッジ方向判定方法の例を示したが、欠陥画素がＢ画素と同じラインのＧ画素位置に存在する場合においても同様の方法で被写体のエッジ方向を判定をすることができる。

第２の方向判定部１２１は補正対象となる欠陥画素が、所定方向に連続する複数の欠陥画素の１つかどうか、またどの方向に連続する欠陥画素群（補正対象画素群）に属するかを判定する（Ｓ１５０８）。そして、第２の方向判定部１２１は判定結果を表す配置方向パラメータＡＦＤＩＲの値を第２の比較部１２２へ出力する。この判定は例えばＲＯＭ１０２またはＲＡＭ１０３に記憶された欠陥画素の位置情報に基づいて実行することができる。特に、欠陥画素が焦点検出用画素の場合、例えば各焦点検出用画素の位置情報ごとに関連付けられて予めＲＯＭ１０２に記憶されている、焦点検出用画素の配列方向を表すパラメータを用いて判定することができる。

第２の比較部１２２は配置方向パラメータＡＦＤＩＲを以下のように決定する。
補正対象の欠陥画素（焦点検出用画素）が垂直方向に配列された欠陥画素群に属している場合
ＡＦＤＩＲ＝（０１）ｂ
補正対象の欠陥画素（焦点検出用画素）が水平方向の配列にされた欠陥画素群に属している場合
ＡＦＤＩＲ＝（１０）ｂ
補正対象の欠陥画素（焦点検出用画素）が特定方向の配列にされた欠陥画素群に属さない場合
ＡＦＤＩＲ＝（００）ｂ

配置方向パラメータＡＦＤＩＲは２ｂｉｔのフラグであり、下位ビットが垂直方向、上位ビットが水平方向と関連付けられている。そして、第２の方向判定部１２１は、補正対象の焦点検出用画素が水平方向、垂直方向のいずれかの方向に配置された焦点検出用画素群に属するかに応じて一方のビットに”１”を設定する。仮に両方向に該当する場合には、ＡＦＤＩＲ＝（１１）ｂとしてもよい。

欠陥画素Ａ５は図９に示すように水平方向に連続した焦点検出用画素群に属するため、第２の方向判定部１２１は配置方向パラメータＡＦＤＩＲ＝（１０）ｂを決定し、第２の比較部１２２に出力する。

なお、補正対象画素が焦点検出用画素でない場合には、欠陥画素の位置情報を用いて、同様の判定を行うことができる。例えば、補正対象画素を含む画素ラインに含まれる補正対象画素と同色の画素が、補正対象画素を含んで予め定められた複数以上連続して欠陥画素（焦点検出用画素を含む）かどうかの判定を、異なる方向の画素ラインについて実行する。条件を満たす方向が複数あれば、それぞれの方向に対応するフラグに１を設定すればよい。この点については第４の実施形態において説明する。

第２の比較部１２２は、方向パラメータＯＢＪＤＩＲと、配列方向パラメータＡＦＤＩＲとから、重畳するエッジの方向と欠陥画素の連続方向とを比較し（Ｓ１５０）、両者が一致しているかを判定する（Ｓ１５１０）。具体的には第２の比較部１２２は方向パラメータＯＢＪＤＩＲと、配列方向パラメータＡＦＤＩＲとの論理積を取得することにより、論理積が（００）ｂである場合には、”０”を第２の選択部１２３へと出力する。一方、論理積が（００）ｂ以外の場合には、”１”を第２の選択部１２３へと出力する。即ち、第２の比較部１２２は、被写体のエッジ成分の方向と欠陥画素の連続方向とが一致している場合には”１”を、一致していない若しくは被写体に方向性が無い場合は”０”を第２の選択部１２３に出力する。

第２の選択部１２３には第２の比較部１２２からの比較結果、第１の選択部１１４の出力である第１の補間画素値、および第３の画素取得部１１３からの出力である第２の補間画素値が入力される。第２の選択部１２３は第２の比較部１２２の比較結果に基づいて第１および第２の補間画素値の一方を出力するセレクタである。具体的には第２の選択部１２３は第２の比較部１２２の比較結果が”０”の場合は第１の選択部の出力である第１の補間画素値を補間部１１５に出力し、補間部１１５が補間処理に用いる（Ｓ１５１１）。また、第２の比較部の比較結果が”１”の場合は第３の画素取得部の出力である第２の補間画素値を、補間部１１５に出力し、補間部１１５が補間処理に用いる（Ｓ１５１２）。被写体のエッジ成分の方向と欠陥画素の連続方向とが一致している場合に、第１の補間画素値を用いると、欠陥画素に、欠陥画素に対してエッジ成分とは異なる方向に位置する画素の値をコピーすることになってしまう。そのため、被写体のエッジ成分の方向と欠陥画素の連続方向とが一致している場合には、第１の補間画素値を用いずに、欠陥画素の周囲に存在する画素の値の平均値である第２の補間画素値を用いたほうが、自然な画像となる可能性が高くなる。
補間部１１５の動作と出力端子１１６は第２の実施形態と同様であるため説明を割愛する。以上の補間処理を、個々の欠陥画素を補正対象画素として順次実行する。

つまり、本実施形態では、欠陥画素が連続して存在する方向と、重畳する被写体のエッジの方向とが同一であれば、欠陥画素の周辺における特定の１つの位置における値ではなく、周辺の複数の位置における値に基づいて得られた補間値を用いて補間を行う。これにより、欠陥画素が連続して存在する方向と同方向のエッジが欠陥画素に重畳する場合における補間精度の低下を抑制することができる。そして、欠陥画素が連続して存在する方向と、重畳する被写体のエッジ方向とが合致しない場合（あるいは被写体のエッジが重畳しない場合）には、第２の実施形態と同様の補間値を用いることで、高周波成分のエッジに対する補間精度を改善できる。

●（第４の実施形態）
第３の実施形態では主に、焦点検出用画素のように、配列方向が既知である複数の欠陥画素群に含まれる欠陥画素を補間（補正）する処理について説明した。しかし、第１および第２の実施形態のように通常画素のみによって構成された撮像素子を用いた場合であっても、上述の第１および第２の条件を満たすことが起こりうる。製造時に生じた欠陥画素がたまたま一定の方向に連続して存在する場合には方向性の情報を欠陥画素情報として含めておけば第３の実施形態と同様に対応することができる。しかし、欠陥画素は経年劣化などに起因して経時的に増加するため、撮影時における欠陥画素の位置や配列の方向性を事前に記憶しておくことは難しい。そこで、本実施形態では欠陥画素の方向性を動的に検出し、撮影時に存在する欠陥画素の方向性に応じた画素補間処理を行うことを特徴とする。

以下、本実施形態における第２の方向判定部１２１が図１１のＳ１５０８で行う欠陥画素の方向判定処理について、図１２を用いて説明する。
第２の方向判定部１２１はＲＡＭ１０３に記憶されている欠陥画素情報に基づいて、補正対象の欠陥画素が、特定の方向に連続した欠陥画素群に含まれるか否かと、欠陥画素群の配列方向とを判定する。なお、ＲＡＭ１０３に記憶されている欠陥画素情報には、欠陥画素検出部１２０が動的に検出した欠陥画素の情報と、製造時および製造時から現在までに検出され、ＲＯＭ１０２に記憶された既知の欠陥画素の情報が含まれている。

図１２（ａ）〜（ｃ）は撮像素子１０５中の欠陥画素Ａ５を中心とした７×７画素の領域の拡大図であり、補間処理対象の欠陥画素Ａ５が、特定の方向に連続して配列した欠陥画素群に含まれる例を示す。なお、ここでは説明および理解を容易にするため、特定方向に３つ以上連続して同色画素が欠陥画素である場合を、特定の方向に連続した欠陥画素群とするが、連続数の閾値は任意に設定可能である。また、以下では補間処理対象の欠陥画素を中心として左右や上下といった両方向に欠陥画素が存在する場合を例示しているが、補間処理対象の画素から左方向や下方向のみといったように、一方向に欠陥画素が連続していてもよい。

図１２（ａ）は欠陥画素Ａ５の左右の同色画素Ａ４，Ａ６が欠陥画素である。このような場合、第２の方向判定部１２１は、欠陥画素Ａ５は左右に方向性がある欠陥画素群に含まれると判定し、配列方向パラメーターＫＤＩＲに（１０）ｂを設定して第２の比較部１２２に出力する。なお、配列方向パラメーターＫＤＩＲは第３の実施形態における配置方向パラメータＡＦＤＩＲと実質的に同等である。

図１２（ｂ）は欠陥画素Ａ５の上下の同色画素Ａ２，Ａ８が欠陥画素である。このような場合、第２の方向判定部１２１は、欠陥画素Ａ５は上下に方向性がある欠陥画素群に含まれると判定し、配列方向パラメーターＫＤＩＲに（０１）ｂを設定して第２の比較部１２２に出力する。

図１２（ｃ）は欠陥画素Ａ５の左右ならびに上下の同色画素Ａ４，Ａ６，Ａ２，Ａ８が欠陥画素である。このような場合、第２の方向判定部１２１は、欠陥画素Ａ５は左右に方向性がある欠陥画素群および上下に方向性がある欠陥画素群に含まれると判定し、配列方向パラメーターＫＤＩＲに（１１）ｂを設定して第２の比較部１２２に出力する。

図１２（ａ）〜（ｃ）のパターンに該当しない場合、第２の方向判定部１２１は、欠陥画素Ａ５は方向性がある欠陥画素群に含まれないと判定し、配列方向パラメーターＫＤＩＲに（００）ｂを設定して第２の比較部１２２に出力する。なお、ここでは水平および垂直方向についてのみ判定を行っているが、斜め方向にも判定を行ってよい。ただし、その場合には被写体のエッジ方向についても斜め方向に判定を行う。

なお、ここでの判定は例えば以下のように行うことができる。第２の方向判定部１２１は、欠陥画素情報に含まれる位置情報から、補間処理対象の欠陥画素を通る特定方向の画素ラインに含まれる同色画素について、隣接する画素から順に欠陥画素かどうかを調べ、欠陥画素の連続数を判定する。判定された連続数が予め定めた閾値（ここでは３）以上であれば、第２の方向判定部１２１は、補間処理対象の欠陥画素が、特定方向に方向性をもって存在する欠陥画素群に含まれると判定する。

第２の比較部１２２はＡＦＤＩＲの代わりにＫＤＩＲを用いることを除き、第３の実施形態と同様にして第１および第２の補間画素値を選択する。つまり、ＫＤＩＲとＯＢＪＤＩＲとの論理積が（００）ｂである場合には”０”を、論理積が（００）ｂ以外の場合には”１”を、第２の選択部１２３へと出力する。

本実施形態によれば、出荷後に発生した欠陥画素のように、製造時に既知でない欠陥画素についても第３の実施形態と同様に適切な補間が可能となる。

●（第５の実施形態）
第３および第４の実施形態では、第１の補間画素値および第２の補間画素値の一方を選択的に使用して補間処理を行うものであったが、本実施形態では第１の補間画素値と第２の補間画素値を混合して補間することを特徴とする。

具体的には、本実施形態の第１の方向判定部１１９は、割合αを第２の比較部１２２に加え、第２の選択部１２３にも出力する。そして、本実施形態の第２の選択部１２３が、割合αに応じた重みβにより、第１の補間画素値と第２の補間画素値を重み付け加算して、補間部１１５に出力する。

具体的には、第２の選択部１２３は、被写体のエッジ方向と、欠陥画素が含まれる欠陥画素群の配列方向とが合致しない場合（第２の比較部１２２の比較結果が”０”の場合）は上述の重み付け加算により第３の補間画素値を生成する。そして、補間部１１５は第３の補間画素値を用いて補間を行う。つまり、図１１のＳ１５１１における処理が、第１の補間画素値の選択および第１の補間画素値を用いた補間から、補間画素値の重み付け加算による第３の補間画素値の生成および第３の補間画素値を用いた補間に変更される。

被写体のエッジ方向と、欠陥画素が含まれる欠陥画素群の配列方向とが合致する場合（第２の比較部１２２の比較結果が”１”の場合）は、第３および第４の実施形態と同様に第２の補間画素値を選択して第２の補間画素値を用いた補間が行われる。

第２の選択部１２３は、割合αに応じた重みβを例えば以下の様に決定する。
α＞１またはα＜０の場合：β＝１
０≦α＜０．５の場合 ：β＝1−（α×２）
０．５≦α≦１の場合 ：β＝1−（(１−α)×２)

そして、第２の選択部１２３は、第３の補間画素値ＩＮＴＰ３を以下のように求める。
ＩＮＴＰ３ ＝ （ＩＮＴＰ１*β）+（ＩＮＴＰ２*（１−β））
ここで、ＩＮＴＰ１は第１の補間画素値を、ＩＮＴＰ２は第２の補間画素値を示す。つまり、一定の方向に強い相関がある場合（α＞１またはα＜０の場合）には、第３の補間画素値に寄与する第１の補間画素値の重みが大きくなり、相関に方向性が無い場合には第３の補間画素値に寄与する第２の補間値の重みを大きくする。ただし、ここで示した重みβの決定方法は一例にすぎず、他の方法を用いて決定してもよい。

本実施形態によれば、相関の方向に有意な差がない場合における画素補間値の精度をより細かく求めることができ、他の実施形態の効果に加え、補間精度の向上が実現できる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
また、本発明は上述した特定の実施形態の構成に限定されるものではなく、特許請求の範囲に規定された範囲内で種々の変形および変更が可能である。

１０１…制御部，１０４…光学系，１０５…撮像素子，１０６…画素補間部，１１０…入力端子，１１１…第１の画素取得部，１１２…第２の画素取得部，１１３…比較部，１１４…選択部，１１５…補間部，１１６…出力端子，１１７…制御端子，１２０…欠陥画素検出部

Claims (12)

1. カラーフィルタを有する単板式の撮像素子で得られた画像信号のうち、補正対象画素の値を補間する画像処理装置であって、
   前記補正対象画素の位置における、前記補正対象画素が出力する色成分とは異なる色成分の値を取得する第１の取得手段と、
   前記補正対象画素の位置とは異なる複数の位置における、前記異なる色成分の値を取得する第２の取得手段と、
   前記第１の取得手段が取得した値と、前記第２の取得手段が取得した複数の値の各々との比較結果に応じて、前記異なる複数の位置の１つを選択する選択手段と、
   前記選択手段が選択した位置に対応する画素が出力する色成分の値を用いて、前記補正対象画素の値を補間する補間手段と、を有し、
   前記複数の位置が、前記補正対象画素が出力する色成分と同じ色成分を出力する画素に対応した位置であり、
   前記第１の取得手段および前記第２の取得手段は、前記異なる色成分の値を、前記異なる色成分の値を取得する位置の周辺画素であって、前記異なる色成分を出力する複数の画素の値から取得することを特徴とする画像処理装置。
2. 前記カラーフィルタが赤（Ｒ）、緑（Ｇ）、青（Ｂ）から構成されるベイヤー配列のカラーフィルタであり、前記補正対象画素がＲまたはＢのカラーフィルタに対応する場合、前記第１の取得手段および前記第２の取得手段は、前記異なる色成分の値としてＧ成分の値を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の取得手段および前記第２の取得手段は、前記補正対象画素の位置および前記異なる複数の位置のそれぞれについてのＧ成分の値を、水平方向における周辺の複数のＧ画素の値から求めたＧ成分の値と、垂直方向における周辺の複数のＧ画素の値から求めたＧ成分の値とを重み付け加算して取得することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の取得手段および前記第２の取得手段は、前記重み付け加算に用いる重みを、前記水平方向における周辺の複数のＧ画素の値の差と、前記垂直方向における周辺の複数のＧ画素の値の差に基づいて前記重みを決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記補正対象画素の周辺画素であって、前記補正対象画素と同じ色成分を出力する複数の画素の値から、前記補正対象画素の位置における、前記補正対象画素と同じ色成分の値を取得する第３の取得手段をさらに有し、
   前記補間手段は、
   前記補正対象画素が特定の方向に連続して存在する補正対象画素群に含まれ、かつ、前記特定の方向を有する被写体のエッジが成分が前記補正対象画素群に重畳していると判定された場合には、前記第３の取得手段が取得した色成分の値を用いて前記補正対象画素の値を補間し、
   前記補正対象画素が特定の方向に連続して存在する補正対象画素群に含まれ、かつ、前記特定の方向を有する被写体のエッジが成分が前記補正対象画素群に重畳していると判定されない場合には、前記選択手段が選択した位置に対応する画素が出力する色成分の値を用いて前記補正対象画素の値を補間する、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記選択手段は、前記第２の取得手段が取得した複数の値のうち、前記第１の取得手段が取得した値との差が最も小さくなる値が取得された位置を選択することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記複数の位置が、前記補正対象画素の位置に対して水平、垂直、および斜め方向の位置を含むことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記補正対象画素が、前記撮像素子の製造時もしくは経時的に発生する欠陥画素と、前記撮像素子に設けられた焦点検出用画素の少なくとも一方であることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置と、
   前記画像信号を取得する手段と、
   を有することを特徴とする電子機器。
10. 前記画像信号を取得する手段が、カラーフィルタを有する撮像素子を含むことを特徴とする請求項９記載の電子機器。
11. カラーフィルタを有する単板式の撮像素子で得られた画像信号のうち、補正対象画素の値を補間する画像処理装置が実行する画像処理方法であって、
    前記補正対象画素の位置における、前記補正対象画素が出力する色成分とは異なる色成分の値を取得する第１の取得工程と、
    前記補正対象画素の位置とは異なる複数の位置における、前記異なる色成分の値を取得する第２の取得工程と、
    前記第１の取得工程で取得した値と、前記第２の取得工程で取得した複数の値の各々との比較結果に応じて、前記異なる複数の位置の１つを選択する選択工程と、
    前記選択工程で選択した位置に対応する画素が出力する色成分の値を用いて、前記補正対象画素の値を補間する補間工程と、を有し、
    前記複数の位置が、前記補正対象画素が出力する色成分と同じ色成分を出力する画素に対応した位置であり、
    前記第１の取得工程および前記第２の取得工程では、前記異なる色成分の値を、前記異なる色成分の値を取得する位置の周辺画素であって、前記異なる色成分を出力する複数の画素の値から取得することを特徴とする画像処理方法。
12. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images