JP5818568B2

JP5818568B2 - 画像処理装置及びその制御方法

Info

Publication number: JP5818568B2
Application number: JP2011174254A
Authority: JP
Inventors: 本田　充輝; 充輝本田; 洋荻野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-08-09
Filing date: 2011-08-09
Publication date: 2015-11-18
Anticipated expiration: 2031-08-09
Also published as: US20130038762A1; US8675106B2; JP2013038655A

Description

本発明は、画像処理装置およびその制御方法に関し、特に、撮像画像を処理する画像処理装置及びその制御方法に関する。

ＣＣＤ等の固体撮像装置は、数百万個以上の画素を有するため、正常な出力が得られない画素（欠陥画素）を無くすことは困難である。しかし、欠陥画素の出力をそのまま用いることはできないため、周辺の正常画素の出力から得られる予測値を欠陥画素の出力として用いる欠陥画素補正が行われている（特許文献１）。

周辺の正常画素の出力から予測値（画素補正値）を得る様々な方法が知られているが、代表的な方法について説明する。図１１（ａ）は、赤色（Ｒ）画素、緑色（Ｇ）画素、青色（Ｂ）画素が規則的に配置された、いわゆるベイヤー配列の原色カラーフィルタを備えた撮像素子の画素の一部を示す図であり、中心の赤色画素Ｒ３３が欠陥画素であるとする。

まず、欠陥画素の周辺画素（B22, G23, B24, G34, B44, G43, B42, G32)のうち、欠陥画素に対して縦方向、横方向、４５度方向、１３５度方向に位置する１組の画素の出力値の差分絶対値を求める。具体的には、横方向の差分絶対値をH_DIV、縦方向の絶対値差分をV_DIV、４５度方向の差分絶対値をD45_DIV、１３５度方向の差分絶対値をD135_DIVとすると、
H_DIV = ABS(G32 - G34)
V_DIV = ABS(G23 - G43)
D45_DIV = ABS(B24 - B42)
D135_DIV = ABS(B22 - B44)
を求める。そして、差分絶対値が最小となる方向を、着目画素と相関の高い画素が存在する方向として判別する。そして、判別した方向において欠陥画素を挟んで位置する、欠陥画素と同じ色の１組の画素の出力値を平均した値を、欠陥画素の画素補正値とする。

つまり、画素補正値をPixとすると、
H_DIVが最小の場合： Pix = (R31 + R35)/2
V_DIVが最小の場合： Pix = (R13 + R53)/2
D45_DIVが最小の場合： Pix = (R15 + R51)/2
D135_DIVが最小の場合： Pix = (R11 + R55)/2、となる。

特開平１１−２２０６６１号公報

しかし、この方法では、着目画素の周囲８画素の信号値のみを使って方向判定を行っている。そのため、周囲８画素の信号値にノイズなどの影響が含まれる場合、方向判別を誤る場合があり、結果として画素補正値の精度が低下するという問題があった。

本発明はこのような従来技術の問題点に鑑みなされたものであり、精度の良い方向判別結果をより安定して得ることが可能な画像処理装置及びその制御方法を提供することを目的とする。

上述の目的は、カラーフィルタを備えた撮像素子により得られた画像の、着目画素の周辺の複数の画素の信号値から、着目画素の信号値を生成する画像処理装置であって、着目画素に対する彩度信号から、着目画素が無彩色である度合を示す判定信号を出力する判定手段と、着目画素の周辺の第１の複数の画素のそれぞれについて、画素を挟んで位置する複数の画素の信号値の差分を複数の方向のそれぞれについて求め、求めた差分に基づいて着目画素と相関の高い画素が存在する方向を判別する無彩色方向判別手段と、着目画素に対して無彩色方向判別手段が判別した方向に存在する画素の信号値を用いて着目画素の信号値を生成する第１の補正値生成手段と、着目画素の周辺の第２の複数の画素のそれぞれについて、画素を挟んで位置する複数の画素の信号値の差分を複数の方向のそれぞれについて求め、求めた差分に基づいて着目画素と相関の高い画素が存在する方向を判別する有彩色方向判別手段と、着目画素に対して有彩色方向判別手段が判別した方向に存在する画素の信号値を用いて着目画素の信号値を生成する第２の補正値生成手段と、第１の補正値生成手段の生成する信号値、および、第２の補正値生成手段の生成する信号値を、判定信号の値に応じて加重加算した信号値を出力する加重加算手段と、を有し、第１の複数の画素の少なくとも一部の画素のそれぞれにおいて、画素を第１方向に挟む位置に第１の色の画素が存在し、画素を第２方向に挟む位置に第１の色とは異なる第２の色の画素が存在し、第２の複数の画素のそれぞれの画素において、画素を第１方向および第２方向に挟む位置に第３の色の画素が存在することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、精度の良い方向判別結果をより安定して得ることが可能となり、精度の良い欠陥画素の補正や色補間を実現できる。

本発明の第１の実施形態に係る画像処理装置を適用可能な装置の一例としての撮像装置の機能構成例を示すブロック図図１における有彩色判定回路の動作を説明するためのフローチャート本発明の第１の実施形態における、彩度信号Ｃの値と、閾値Th1及びTh2、並びに白黒判別信号D_bcの値との関係例を示す図図１における無彩色画素補正回路の機能構成例を示すブロック図図１における無彩色画素補正回路の動作を説明するためのフローチャート図１における有彩色画素補正回路の機能構成例を示すブロック図図６における縦横度判別回路の動作を説明するためのフローチャート図６におけるＨＶ補正回路の動作を説明するためのフローチャート図６におけるななめ補正回路の動作を説明するためのフローチャート着目画素と同色の画素を用いた方向判別による、折り返しの影響について説明するための図本発明の第１の実施形態における方向判別処理、画素補正値生成処理を説明するための図本発明の第２の実施形態に係る画像処理装置を適用可能な装置の一例としての撮像装置の機能構成例を示すブロック図

以下、本発明の例示的な実施形態について図面を参照して詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置を適用可能な装置の一例としての撮像装置の機能構成例を示すブロック図である。なお、図１においては、撮像装置が有する構成のうち、欠陥画素補正に関連する構成のみを記載している。また、本発明に係る画像処理装置において、撮像に係る構成は必須でない。

なお、以下に説明する画素補正回路１０４の機能ブロックはコンピュータがソフトウェアを実行することによって実現してもよいし、ハードウェアロジックで実現してもよい。本実施形態に係る画像処理装置は例えばＣＰＵが制御プログラムを実行して記憶装置やインタフェースなど汎用コンピュータの有するハードウェアを制御することにより実施されてもよい。

図１において、撮像部１０１は図示しない撮影レンズ、撮像素子及びその駆動回路を有し、撮影レンズが結像する光学像を撮像素子により電気信号に変換する。撮像素子は例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、特定の複数色が規則的に配列されたカラーフィルタを備えている。ここでは、このようなカラーフィルタの一例として、図１１（ａ）に示したベイヤー配列の原色カラーフィルタが用いられているものとする。図１１（ａ）において、Ｒxxは赤色画素、Ｇxxは緑色画素、Ｂxxは青色画素（xxは番号）である。

撮像部１０１から出力される画素毎のアナログ画像信号は、Ａ／Ｄ変換回路１０２によってデジタル画像信号に変換され、ホワイトバランス（ＷＢ）回路１０３に入力される。ホワイトバランス回路１０３は、デジタル画像信号に対して公知のホワイトバランス調整を行う。ホワイトバランス回路１０３から出力された画像信号は、本実施形態に係る画像処理装置に相当する画素補正回路１０４に入力される。

画素補正回路１０４は、無彩色画素補正回路１１０、有彩色画素補正回路１１１、有彩色判定回路１１２、及び加重加算回路１１３を有する。画素補正回路１０４は、欠陥画素の位置情報に基づいて、欠陥画素の画像信号の予測値である画素補正値を求める。具体的には、無彩色画素補正回路１１０の出力値と有彩色画素補正回路１１１の出力値とを、有彩色判定回路１１２による判定結果に応じて加重加算回路１１３で加重加算して画素補正値を求める。画素補正回路１０４で求めた画素補正値は、信号処理回路１０５に入力される。信号処理回路１０５には、欠陥画素以外の画素についての画像信号と、画素補正値とが与えられ、公知の色補間処理、輝度信号処理、色信号処理等が行われる。

なお、本実施形態において、画素補正回路１０４は着目画素（欠陥画素）が赤色画素（Ｒ画素）又は青色画素（Ｂ画素）の場合に画素補正値を生成するものとする。着目画素が緑色画素（Ｇ画素）の場合、画素数が多いため、周辺の緑色画素のみに基づいて、上述した従来の方法による方向判別及び補間を行うことができる。このようなＧ画素の画素補正値の生成に係る処理は、図示しない補正回路を用いて行うものとする（あるいは、画素補正回路１０４を利用してもよい）。

なお、画素補正回路１０４が、欠陥画素以外の画素についてはそのまま信号処理回路１０５に出力し、欠陥画素については求めた画素補正値を信号処理回路１０５に出力するように構成してもよい。

なお、画素補正回路１０４は、入力される画像信号と撮像素子における画素配列との対応関係や、欠陥画素の位置についての情報を取得可能もしくは予め知っているものとする。これを実現するための方法に特に制限はないが、例えば、撮像部１０１が有する撮像素子の欠陥画素の位置に関する情報が撮像装置の製造時等に画素補正回路１０４もしくは画素補正回路１０４がアクセス可能な不揮発性メモリなどに登録されていてもよい。また、画像信号とともに欠陥画素の位置情報が画素補正回路１０４に通知されてもよい。また、画素補正回路１０４に入力される画像信号に含まれる各画素の信号の並びは予め決まっているので、ある特定の画素の周辺画素などを特定することができる。さらに、カラーフィルタの配列や色に関する情報についても、既知であるとする。画素補正回路１０４がこれらの事項を入手するための構成は本発明の本質とは直接関係せず、公知の任意な方法を採用しうるため、これ以上の説明は省略する。

（画素補正回路の動作）
以下、画素補正回路１０４における欠陥画素補正処理について説明する。なお、ここでは、発明の理解を助けると共に説明を簡潔にするため、着目画素（欠陥画素）が赤色画素（Ｒ画素）又は青色画素（Ｂ画素）である場合を前提とし、さらに着目画素がＲ画素である場合を説明する。しかし、着目画素がＢ画素の場合も、以下に説明する画素の配置関係を適用して同様の処理を行えばよい。

（有彩色判定回路の動作）
まず、有彩色判定回路１１２の動作について、図２のフローチャートを参照しながら説明する。有彩色判定回路１１２は、まずＳ２０１において、ホワイトバランス処理後の画像信号の着目画素における彩度信号Ｃを、例えば以下の式に従って算出する。
Y = 0.3R + 0.59G + 0.11B
Cr = 0.713 (R - Y)
Cb = 0.564 (B - Y)
C=√(Cr² + Cb²)

ここで、着目画素におけるＲ，Ｇ，Ｂの値の求め方は後述する。次に有彩色判定回路１１２は、Ｓ２０２において、あるレベルの閾値Th1と比較して彩度信号Ｃの値が小さい場合は、着目画素が無彩色であると判定し、白黒判別信号D_bcに１を設定する（Ｓ２０３）。一方、Ｓ２０２において、彩度信号Ｃの値が閾値Th1以上であれば、有彩色判定回路１１２は処理をＳ２０４に進め、彩度信号Ｃの値を閾値Th1より大きな所定の閾値Th2と比較する。閾値Th2と比較して彩度信号Ｃの値が大きい場合、有彩色判定回路１１２は着目画素が有彩色であると判定し、白黒判別信号D_bcに０を設定する（Ｓ２０５）。一方、Ｓ２０４において彩度信号Ｃの値が閾値Th2以下の場合、彩度信号Ｃの値に応じて線形補間した値を白黒判別信号D_bcに設定する（Ｓ２０６）。図３に、彩度信号Ｃの値と、閾値Th1及びTh2、並びに白黒判別信号D_bcの値との関係例を示す。

このように、有彩色判定回路１１２は、彩度信号Ｃの値が閾値Th1より小さい場合は値が「１」の白黒判別信号D_bcを出力し、彩度信号Ｃの値が閾値Th2より大きい場合は値が「０」の白黒判別信号D_bcを出力する。また、有彩色判定回路１１２は、彩度信号Ｃの値が閾値Th1以上閾値Th2以下との間の場合はD_bc = 1 - (C - Th1) / (Th2 - Th1)の値を有する白黒判別信号D_bcを出力する。このように、白黒判別信号D_bcの値は、注目画素が無彩色である度合を表すものと見ることができる。

次に、彩度信号Ｃを求めるための、着目画素におけるＲ，Ｇ，Ｂの値求め方の一例を説明する。図１１（ｂ）はホワイトバランス処理された画像信号の一部についての画素配列を示している。ここで、赤色画素Ｒ３３を着目画素（すなわち欠陥画素）とすると、着目画素の周辺画素における信号値を用いて着目画素Ｒ３３におけるＲ，Ｇ，Ｂを求める。

本実施形態では、画素Ｒ３３の位置における彩度信号Ｃを求めるための周辺画素を、Ｇ２１，Ｇ４１，Ｇ２５，Ｇ４５とする。
まず、有彩色判定回路１１２は、周辺画素について、Ｒ，Ｇ，Ｂの値のうち不足しているものを、隣接画素の信号値から求める。ここでは、周辺画素がいずれも緑色画素であるため、Ｒ，Ｂの値を隣接する赤色画素及び青色画素の信号値から求める。

有彩色判定回路１１２は、画素Ｇ２１におけるの位置でのＲ，ＢをそれぞれR_21、B_21とすると
R_21 = (R11 + R31) / 2
B_21 = (B20 + B22) / 2
として求める。

同様に有彩色判定回路１１２は、Ｇ４１、Ｇ２５、Ｇ４５の画素位置でのＲ，Ｂについても以下のように求める。
R_41 = (R31 + R51) / 2
B_41 = (B40 + B42) / 2
R_25 = (R15 + R35) / 2
B_25 = (B24 + B26) / 2
R_45 = (R35 + R55) / 2
B_45 = (B44 + B46) / 2

次に有彩色判定回路１１２は、Ｇ２１，Ｇ４１，Ｇ２５，Ｇ４５の画素位置おけるＲ，Ｇ，Ｂそれぞれの平均値を、着目画素Ｒ３３におけるＲ，Ｇ，Ｂとして求める。すなわち、
R_33 = (R_21 + R_41 + R_25 + R_45) / 4
G_33 = (G21 + G41 + G25 + G45) / 4
B_33 = (B_21 + B_41 + B_25 + B_45) / 4、となる。

なお、本実施形態では画素Ｒ３３の位置における彩度信号Ｃを求めるための周辺画素を、Ｇ２１，Ｇ４１，Ｇ２５，Ｇ４５としたが、他の位置の画素群とすることもできる。また、明るさで彩度を正規化するように構成して、暗い部分の彩度も検出されるようにしてもよい。例えば彩度を輝度Yで除算することにより、彩度を明るさで正規化することができる。

（加重加算回路の動作）
無彩色画素補正回路１１０及び有彩色画素補正回路１１１の動作を説明する前に、加重加算回路１１３の動作について説明する。無彩色画素補正回路１１０が出力する画素補正値をPix_1、有彩色画素補正回路１１１の出力する画素補正値をPix_2とする。加重加算回路１１３は有彩色判定回路１１２の出力する白黒判別信号D_bcの値に応じて以下のように最終的な画素補正値Pixを求める。
Pix = (1 - D_bc) * Pix_1 + D_bc * Pix_2
そして、加重加算回路１１３は、画素補正値Pixを、欠陥画素の画像信号として信号処理回路１０５に出力する。

（無彩色画素補正回路）
図４は、無彩色画素補正回路１１０の機能構成例を示すブロック図である。無彩色方向判別回路４１０は、着目画素（欠陥画素）と相関の高い画素が存在する方向（着目画素の画素補正値の算出に用いるべき画素の存在する方向）を判別する方向判別処理を行う。

無彩色画素補正値選択回路４０５は、無彩色方向判別回路４１０での判別結果に応じて、平均補正回路４００、Ｈ（０度）補正回路４０１、Ｖ（９０度）補正回路４０２、４５度補正回路４０３、１３５度補正回路４０４の出力する画素補正値の１つを選択する。平均補正回路４００、Ｈ（０度）補正回路４０１、Ｖ（９０度）補正回路４０２、４５度補正回路４０３、１３５度補正回路４０４は第１の補正値生成手段を構成する。

次に、図５のフローチャートを用いて、無彩色画素補正回路１１０の動作を説明する。本実施形態における方向判別は、図１１（ｃ）に示す画素配列における、着目画素を中心とした縦（９０度）方向、横（０度）方向、４５度方向、１３５度方向について、１組ずつ画素を選択し、信号値の差分絶対値が最小の画素対の選択方向を判別結果とする。

Ｓ５０１において、無彩色方向判別回路４１０は、まず、着目画素を挟んで特定の方向（縦方向、横方向、４５度方向、１３５度方向）に位置する周辺画素対の信号値の差分絶対値を算出する。ここでは、図１１（ｃ）に示すように、着目画素（欠陥画素）Ｒ３３に対し、Ｒ１１，Ｇ１２，Ｒ１３，Ｇ１４，Ｒ１５，Ｇ２１，Ｇ２５，Ｒ３１，Ｒ３５，Ｇ４１，Ｇ４５，Ｒ５１，Ｇ５２，Ｒ５３，Ｇ５４，Ｒ５５を周辺画素とする。次に無彩色方向判別回路４１０は、周辺画素の各々について、横方向、縦方向、４５度方向及び１３５度方向の差分絶対値を以下のように求める。

画素Ｒ１１における横方向の差分絶対値をH_DIV_11、縦方向の絶対値差分をV_DIV_11、４５度方向の差分絶対値をD45_DIV_11、１３５度方向の差分絶対値をD135_DIV_11とすると、
H_DIV_11 = ABS( G10 - G12)
V_DIV_11 = ABS( G01 - G21)
D45_DIV_11 = ABS( B02 - B20)
D135_DIV_11 = ABS( B00 - B22)、となる

この場合、H_DIV_11とV_DIV_11はＧ画素の信号値、D45_DIV_11とD135_DIV_11はＢ画素の信号値で求めているが、正しく方向判別を行うことができる。これは、無彩色被写体の場合、Ｇ画素及びＢ画素の信号値はともに等しい信号値となるため、いずれも輝度信号とみなせるからである。このように、無彩色方向判別回路４１０は、被写体が無彩色であるとみなした時に、等価になる画素の信号値を用いて方向判別を行うことにより、実際に被写体が無彩色であった際には精度の高い方向判別結果を得ることができる。

無彩色方向判別回路４１０は、同様にして、他の周辺画素Ｇ１２，Ｒ１３，Ｇ１４，Ｒ１５，Ｇ２１，Ｇ２５，Ｒ３１，Ｒ３５，Ｇ４１，Ｇ４５，Ｒ５１，Ｇ５２，Ｒ５３，Ｇ５４，Ｒ５５についても、４方向の差分絶対値を求める。最後に無彩色方向判別回路４１０は、各周辺画素で求めた差分絶対値の平均値を方向別に求める。

すなわち、方向別の平均値をそれぞれH_DIV_AVE、V_DIV_AVE、D45_DIV_AVE、D135_DIV_AVEとすると、
H_DIV_AVE = （H_DIV_11 + H_DIV_12 + ・・・＋H_DIV_55）／16
V_DIV_AVE = （V_DIV_11 + V_DIV_12 + ・・・＋V_DIV_55）／16
D45_DIV_AVE = （D45_DIV_11 + D45_DIV_12 + ・・・＋D45_DIV_55）／16
D135_DIV_AVE = （D135_DIV_11 + D135_DIV_12 + ・・・＋D135_DIV_55）／16、である。

Ｓ５０２で無彩色方向判別回路４１０は、周辺画素における差分絶対値の方向別平均値H_DIV_AVE、V_DIV_AVE、D45_DIV_AVE、D135_DIV_AVEの全てが閾値Th1以下かどうかを判定する。差分絶対値の方向別平均値がいずれも閾値Th1以下の場合、無彩色方向判別回路４１０は、着目画素との相関の高い画素が存在する特定の方向は存在しないと判別する。そして、無彩色方向判別回路４１０は、平均補正回路４００で得られる画素補正値を選択する信号を出力する（Ｓ５０４）。

平均補正回路４００は、画素Ｒ３３に対する画素補正値Pixを、横方向及び縦方向における次に現れる（隣接する）、画素Ｒ３３と同色の画素Ｒ１３，Ｒ３１，Ｒ３５，Ｒ５３の信号値の平均値として、以下のように算出する。
Pix = (R13 + R31 + R35 + R53) / 4

一方、Ｓ５０２において、差分絶対値の方向別平均値のうち、一つでも閾値Th1を超えるものがある場合、無彩色方向判別回路４１０は処理をＳ５０３に進め、差分絶対値の平均値が最小となる方向を、着目画素と相関の高い画素が存在する方向と判別する。そして無彩色方向判別回路４１０は、Ｈ（０度）補正回路４０１、Ｖ（９０度）補正回路４０２、４５度補正回路４０３、１３５度補正回路４０４の出力する画素補正値のうち、判別した方向に対応した画素補正値を選択する信号を出力する。

すなわち、無彩色方向判別回路４１０は、
H_DIV_AVEが最小の場合には、Ｈ（０度）補正回路４０１の出力する画素補正値、
V_DIV_AVEが最小の場合にはＶ（９０度）補正回路４０２の出力する画素補正値、
D45_DIV＿AVEが最小の場合には４５度補正回路４０３の出力する画素補正値、
D135_DIV_AVEが最小の場合には１３５度補正回路４０４の出力する画素補正値、
を選択する信号を無彩色画素補正値選択回路４０５に出力する。

Ｈ（０度）補正回路４０１、Ｖ（９０度）補正回路４０２、４５度補正回路４０３、１３５度補正回路４０４は、着目画素を中心として、特定の方向に存在する画素の信号値から着目画素の画素補正値を算出する。ここでは、着目画素を挟んで参照方向に存在する、着目画素と同色の２画素の信号値の平均値を画素補正値として求めるものとする。

具体的には、画素補正後の画素値をPixとすると、
Ｈ（０度）補正回路４０１は、Pix = （R31 + R35）/2
Ｖ（９０度）補正回路４０２は、Pix = （R13 + R53）/2
４５度補正回路４０３は、Pix = （R15 + R51）/2
１３５度補正回路４０４は、Pix = （R11 + R55）/2
を、画素Ｒ３３に対する無彩色画素補正値としてそれぞれ算出する。

上述したように、無彩色被写体に対してはＧ画素の信号値もＢ画素の信号値も輝度信号値とみなすことができるため、正しく方向判別を行うことができる。また、着目画素の複数（本実施形態では１６）の周辺画素の各々において各方向に対する差分絶対値を求め、差分絶対値の方向別平均値に基づいて方向判別を行うので、ノイズの影響による方向の誤判別を抑制することができる。

なお、本実施形態では、欠陥画素の画素補正値を求める方法として、欠陥画素を挟んで参照方向に存在する欠陥画素と同色の画素の信号値の平均値を算出する方法を説明した。しかし、欠陥画素から参照方向に存在する画素の信号値を用いた任意の方法による画素補正値を用いることができる。同様に、方向判別において用いる周辺画素の数や位置についても、上述した特定の数や位置に限定されない。

（有彩色画素補正回路）
図６は、有彩色画素補正回路１１１の機能構成例を示すブロック図である。有彩色画素補正値選択回路６２２は、縦横画素補正回路６２０の出力する画素補正値と、ななめ画素補正回路６２１の出力する画素補正値のうち１つを、縦横度判別回路６１２の結果に応じて選択し、最終的な有彩色画素補正値として出力する。

縦横画素補正回路６２０は、ＨＶ方向判別回路６１０、平均補正回路６００、Ｈ（０度）補正回路６０１、Ｖ（９０度）補正回路６０２、ＨＶ画素補正値選択回路６１３を有している。ななめ画素補正回路６２１は、ななめ方向判別回路６１１、４５度補正回路６０３、１３５度補正回路６０４、ななめ平均補正回路６０５、ななめ画素補正値選択回路６１４を有している。なお、図７において、平均補正回路６００、Ｈ補正回路６０１、Ｖ補正回路６０２、４５度補正回路６０３、１３５度補正回路６０４は、図４の同名のブロック４００〜４０４と同じ構成でよいため、詳細な説明は省略する。
平均補正回路６００、Ｈ（０度）補正回路６０１、Ｖ（９０度）補正回路６０２、４５度補正回路６０３、１３５度補正回路６０４、ななめ平均補正回路６０５は、第２の補正値生成手段を構成する。

（縦横度判別回路）
最初に、縦横度判別回路６１２について説明する。第１の方向判別手段としての縦横度判別回路６１２は、図１１（ｄ）に示すように、着目画素（欠陥画素）をＲ３３とした場合に、着目画素と同色の周辺画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ３１，Ｒ３５，Ｒ５１，Ｒ５３，Ｒ５５の信号値から縦横度を判別する。具体的には、縦横度判別回路６１２は、着目画素Ｒ３３対して特定方向（ここでは、縦、横、４５度、１３５度）方向に存在する、同色周辺画素の信号値の差分絶対値を求める。ここで、横方向の差分絶対値をH_DIV、縦方向の絶対値差分をV_DIV、４５度方向の差分絶対値をD45_DIV、１３５度方向の差分絶対値をD135_DIVとすると、縦横度判別回路６１２は、
H_DIV ＝ ABS(R31 - R35)
V_DIV ＝ ABS(R13 - R53)
D45_DIV = ABS(R15 - R51)
D135_DIV = ABS(R11 - R55)、を求める。

ここで、着目画素と同色の画素を用いた方向判別による、折り返し（エイリアシング）の影響について説明する。図１０は空間周波数領域を示し、ｆｓはサンプリング周波数を示す。ナイキスト周波数（ｆｓ／２）以下の領域Ｖ１及びＨ１は折り返しの影響を受けないため、それぞれＶ方向、Ｈ方向を正しく判別できる。しかし、領域Ｖ２及びＶ３は、折り返しにより、Ｈ方向にもかかわらずＶ方向と判別される。領域Ｈ２及びＨ３もまた、折り返しにより、Ｖ方向にもかかわらずＨ方向と判別される。従って、領域Ｈ２，Ｈ３，Ｖ２，Ｖ３ではＨ（横）方向とＶ（縦）方向を正しく判別することができない。ベイヤー配列のカラーフィルタにおいて、Ｒ画素及びＢ画素はＧ画素の１／２であるため、Ｒ画素（Ｂ画素）だけによる方向判別では、縦方向、横方向の判別ができない。また、４５度、１３５度の判別もできない。しかしながら、縦横方向なのか、ななめ方向なのかの判別には利用可能である。

したがって、縦横度判別回路６１２では、着目画素と同色の周辺画素の信号値から、着目画素と相関の高い画素が存在する方向が、縦横方向であるか、もしくはななめ方向であるかの判別、すなわち方向の種類の判別を行う。

図７のフローチャートに従って、縦横度判別処理について説明する。Ｓ７０１で縦横度判別回路６１２は、横方向の差分絶対値H_DIV、縦方向の絶対値差分V_DIV、４５度方向の差分絶対値D45_DIV、１３５度方向の差分絶対値D135_DIVをそれぞれ上述の通り算出する。次に縦横度判別回路６１２は、Ｓ７０２で、着目画素と相関の高い画素が存在する方向が縦横方向であるか、ななめ方向であるか判別する。具体的には、縦横度判別回路６１２は、HV差分絶対値の和をHV_DIV、ななめ差分絶対値の和をD_DIVとすると
HV_DIV = H_DIV + V_DIV
D_DIV = D45_DIV + D135_DIV、を求める。

そして、縦横度判別回路６１２は、HV_DIVがD_DIVよりも小さい場合に、縦横方向に着目画素と相関の高い画素が存在すると判別し、「１」の値を有する縦横度判定信号D_hvを出力する（Ｓ７０３）。一方、HV_DIVがD_DIV以上の場合、縦横度判別回路６１２は、ななめ方向に着目画素と相関の高い画素が存在すると判別し、「０」の値を有する縦横度判定信号D_hvを有彩色画素補正値選択回路６２２に出力する（Ｓ７０４）。

有彩色画素補正値選択回路６２２は、縦横度判定信号D_hvの値が「１」なら縦横画素補正回路６２０出力する画素補正値を、縦横度判定信号D_hvの値が「０」ならななめ画素補正回路６２１の出力する画素補正値を選択して出力する。

（ＨＶ補正回路）
次にＨＶ補正回路６２０の動作を図８のフローチャートに従って説明する。後述するななめ方向判別回路６１１とともに第２の方向判別手段を構成するＨＶ方向判別回路６１０は、緑色画素の信号値を用いて方向判別（縦方向、横方向のどちらであるかの判別）を行う。また、縦横度判別回路６１２、ＨＶ方向判別回路６１０、及びななめ方向判別回路６１１により、有彩色方向判別手段が構成される。

Ｓ８０１において、ＨＶ方向判別回路６１０は、着目画素の複数の周辺画素について、縦方向、横方向の緑色画素の信号値の差分絶対値を算出する。例えば、図１１（ｄ）に示した例において、周辺画素Ｒ１１に対し、横方向に位置するの緑色画素の信号値の差分絶対値をH_DIV_11、縦方向に位置する緑色画素の信号値の絶対値差分をV_DIV_11とすると、ＨＶ方向判別回路６１０は、
H_DIV_11 = ABS( G10 - G12)
V_DIV_11 = ABS( G01 - G21)、を算出する。

ＨＶ方向判別回路６１０は、着目画素と同色の周辺画素Ｒ１３，Ｒ１５，Ｒ３１，Ｒ３５，Ｒ５１，Ｒ５３，Ｒ５５の各々について、同様に縦方向及び横方向に位置する緑色画素の信号値の差分絶対値を求めた後、方向別に平均値を算出する。横方向の平均値をH_DIV_AVE、縦方向の平均値をV_DIV_AVE、とすると、ＨＶ方向判別回路６１０は、
H_DIV_AVE = （H_DIV_11 + H_DIV_13 + ・・・・＋H_DIV_55）／8
V_DIV_AVE = （V_DIV_11 + V_DIV_13 + ・・・・＋V_DIV_55）／8、を算出する。

次にＳ８０２でＨＶ方向判別回路６１０は、Ｓ８０１で算出した差分絶対値の方向別平均値H_DIV_AVE、V_DIV_AVEの全てが閾値Th1以下かどうかを判定する。差分絶対値の方向別平均値がいずれも閾値Th1以下の場合、ＨＶ方向判別回路６１０は、着目画素と相関の高い画素が存在する特定の方向は存在しないと判別し、平均補正回路６００で得られる画素補正値を選択する信号を出力する（Ｓ８０４）。

一方、Ｓ８０２において、差分絶対値の方向別平均値のうち、一つでも閾値Th1を超えるものがある場合、ＨＶ方向判別回路６１０は処理をＳ８０３に進め、差分絶対値の平均値が最小となる方向を、着目画素と相関の高い画素が存在する方向と判別する。そしてＨＶ方向判別回路６１０は、Ｈ（０度）補正回路６０１とＶ（９０度）補正回路６０２の出力する画素補正値のうち、判別した方向に対応した画素補正値を選択する信号を出力する。具体的にはＨＶ方向判別回路６１０はH_DIV_AVEが最小の場合はＨ（０度）補正回路６０１の、V_DIV_AVEが最小の場合は、Ｖ（９０度）補正回路６０２の出力する画素補正値を選択する信号を出力する。

（ななめ補正回路）
次にななめ画素補正回路６２１の動作を図９のフローチャートに従って説明する。ななめ方向判別回路６１１もまた、緑色画素の信号値を用いて方向判別（ただし、４５度方向、１３５度方向のどちらであるかの判別）を行う。Ｓ９０１において、ななめ方向判別回路６１１は、着目画素の複数の周辺画素について、４５度方向、１３５度方向の緑色画素の信号値の差分絶対値を算出する。例えば、図１１（ｅ）に示した例において、周辺画素Ｇ１２に対し、４５度方向に位置するの緑色画素の信号値の差分絶対値をD45_DIV_12、１３５度方向に位置する緑色画素の信号値の絶対値差分をD135_DIV_12とする。この場合、ななめ方向判別回路６１１は、
D45_DIV_12 = ABS( G03 - G21)
D135_DIV_12 = ABS( G01 - G23)、を算出する。

ななめ方向判別回路６１１は、図１１（ｅ）に示す他の周辺画素Ｇ１４，Ｇ２１，Ｇ２５，Ｇ４１，Ｇ４５，Ｇ５２，Ｇ５４の各々について、同様に４５度方向及び１３５度方向に位置する緑色画素の信号値の差分絶対値を求めた後、方向別に平均値を算出する。４５度方向の平均値をD45_DIV_AVE、１３５度方向の平均値をD135_DIV_AVE、とすると、ななめ方向判別回路６１１は、
D45_DIV_AVE = （D45_DIV_12 + D45_DIV_14 + ・・・＋D45_DIV_54）／8
D135_DIV_AVE = （D135_DIV_12 + D135_DIV_14 + ・・・＋D135_DIV_54）／8、を算出する。

次にＳ９０２でななめ方向判別回路６１１は、Ｓ９０１で算出した差分絶対値の方向別平均値D45_DIV_AVE、D135_DIV_AVEの全てが閾値Th1以下かどうかを判定する。差分絶対値の方向別平均値がいずれも閾値Th1以下の場合、ななめ方向判別回路６１１は、着目画素と相関の高い画素が存在する特定の方向は存在しないと判別し、ななめ平均補正回路６０５で得られる画素補正値を選択する信号を出力する（Ｓ９０４）。

ななめ平均補正回路６０５は、画素Ｒ３３に対する画素補正値Pixを、４５度方向及び１３５度縦方向における次に現れる（隣接する）、画素Ｒ３３と同色の画素Ｒ１５，Ｒ５１，Ｒ１１，Ｒ５５の信号値の平均値として、以下のように算出する。
Pix = (R15 + R51 + R11 + R55) / 4

一方、Ｓ９０２において、差分絶対値の方向別平均値のうち、一つでも閾値Th1を超えるものがある場合、ななめ方向判別回路６１１は処理をＳ９０３に進め、差分絶対値の平均値が最小となる方向を、着目画素と相関の高い画素が存在する方向と判別する。そしてななめ方向判別回路６１１は、４５度補正回路６０３と１３５度補正回路６０４の出力する画素補正値のうち、判別した方向に対応した画素補正値を選択する信号を出力する。具体的にはななめ方向判別回路６１１はD45_DIV_AVEが最小の場合は４５度補正回路６０３の、D135_DIV_AVEが最小の場合は、１３５度補正回路６０４の出力する画素補正値を選択する信号を出力する。

着目画素と相関の高い画素の存在する方向を判別する場合、着目画素と同色の周辺画素の信号値を用いることが好ましいが、被写体の色やエイリアシングの問題から、有彩色の被写体については必ずしも精度が高い方向判別ができない場合があった。そのため、本実施形態では、着目画素と同色の周辺画素の信号値からは着目画素と相関の高い画素の存在する方向の種別のみを判別する。そして、具体的な方向の判別は、着目画素と異なる色の周辺画素の信号値を用いて行うようにした。

例えば、ベイヤー配列のカラーフィルタを有する撮像素子で撮像された画像に関し、Ｒ（Ｂ）画素が着目画素（欠陥画素）であれば、周辺のＲ（Ｂ）画素の信号値から、着目画素と相関の高い画素の存在する方向が縦横方向なのか、ななめ方向なのかまでを判別する。そして、着目画素の周辺のＧ画素の信号値から、着目画素と相関の高い画素の存在する方向が具体的にどの方向なのかを判別する。

そのため、有彩色の被写体に対しても、方向判別を誤る可能性を抑制することができる。また、赤い被写体など、Ｇ画素での信号が小さい被写体であっても、縦横方向なのか、ななめ方向なのかについては正しく判別できているため、Ｇ画素の信号値による方向判別がノイズによって誤る可能性も抑制することができる。従って、欠陥画素補正に適用すれば、精度の良い画素補正値を得ることができる。なお、有彩色の被写体に対する方向判別精度の向上効果は、有彩色画素補正回路１１１単独で実現できる効果である。

なお、方向判別後の画素補正値の算出方法については本発明の本質とは直接関係せず、上述した具体的な方法以外の任意の方法を利用することが可能である。

本実施形態によれば、着目画素の被写体が無彩色か有彩色を判別し、無彩色であれば着目画素と同色か否かにかかわらず、周辺画素の信号値を用いて方向判別を行う。そのため、無彩色被写体に対して従来より多数の周辺画素の信号値を参照することが可能になり、精度の良い方向判別結果を得ることができる。

一方、有彩色被写体については、着目画素と同色の周辺画素の信号値による方向判別と、着目画素と異なる色の周辺画素の信号値による方向判別とを行うこと。そのため、上述したように、着目画素と同色の画素だけによる方向判別や着目画素と異なる色の画素だけによる方向判別よりも精度の良い方向判別が可能である。

さらに、被写体が有彩色被写体か無彩色被写体か明確でない場合には、無彩色被写体とみなした場合の方向判別結果に基づく画素補正値と、有彩色被写体とみなした場合の方向判別結果に基づく画素補正値とを、有彩度に応じて加重加算する。そのため、誤った方向判別による誤補正を抑制することもできる。

（第２の実施形態）
本発明は、欠陥画素に対する画素補正値の生成だけでなく、着目画素の色補間処理において適用することも可能である。
図１２は、本発明の第２の実施形態に係る画像処理装置を色補間処理に適用した撮像装置の機能構成例を示すブロック図である。図１２において、撮像部１５０１、Ａ／Ｄ変換回路１５０２、ＷＢ回路１５０３、信号処理回路１５０５は、図１と同じ構成のため詳細な説明は省略する。色補間回路１５０４は、無彩色補間回路１５１０、有彩色補間回路１５１１、有彩色判定回路１５１２、加重加算回路１５１３からなる。なお、有彩色補間回路１５１１は、公知の色補間回路であってよいため、詳細な説明は省略する。また、有彩色判定回路１５１２、加重加算回路１５１３は第１の実施形態で説明したものと同等であるため、詳細な説明は省略する。無彩色補間回路１５１０の具体的な構成は図４と同等であり、動作に関しても図５を用いて説明した通りであるため、詳細な説明は省略する。

第１の実施形態との差は、着目画素が欠陥画素であるかないかである。つまり、本実施形態では着目画素は正常画素であるため、方向判別に着目画素の信号値が利用できる。
図１１（ｃ）において、着目画素が画素Ｒ３３（ただし欠陥画素ではない）であるとする。画素Ｒ１１における横方向の差分絶対値をH_DIV_11、縦方向の絶対値差分をV_DIV_11、４５度方向の差分絶対値をD45_DIV_11、１３５度方向の差分絶対値をD135_DIV_11とすると、
H_DIV_11 = ABS( G10 - G12)
V_DIV_11 = ABS( G01 - G21)
D45_DIV_11 = ABS( B02 - B20)
D135_DIV_11 = ABS( B00 - B22)、となる

この場合、H_DIV_11とV_DIV_11はＧ画素の信号値、D45_DIV_11とD135_DIV_11はＢ画素の信号値で求めているが、正しく方向判別を行うことができる。これは、無彩色被写体の場合、Ｇ画素及びＢ画素の信号値はともに等しい信号値となるため、いずれも輝度信号とみなせるからである。

無彩色方向判別回路４１０は、同様にして、他の周辺画素についても、４方向の差分絶対値を求める。他の周辺画素は、Ｇ１２，Ｒ１３，Ｇ１４，Ｒ１５，Ｇ２１，Ｂ２２，Ｇ２３，Ｂ２４，Ｇ２５，Ｒ３１，Ｇ３２，Ｒ３３，Ｇ３４，Ｒ３５，Ｇ４１，Ｂ４２，Ｇ４３，Ｂ４４，Ｇ４５，Ｒ５１，Ｇ５２，Ｒ５３，Ｇ５４，Ｒ５５である。最後に無彩色方向判別回路４１０は、各周辺画素で求めた差分絶対値の平均値を方向別に求める。

すなわち、方向別の平均値をそれぞれH_DIV_AVE、V_DIV_AVE、D45_DIV_AVE、D135_DIV_AVEとすると、
H_DIV_AVE = （H_DIV_11 + H_DIV_12 + ・・・＋H_DIV_55）／25
V_DIV_AVE = （V_DIV_11 + V_DIV_12 + ・・・＋V_DIV_55）／25
D45_DIV_AVE = （D45_DIV_11 + D45_DIV_12 + ・・・＋D45_DIV_55）／25
D135_DIV_AVE = （D135_DIV_11 + D135_DIV_12 + ・・・＋D135_DIV_55）／25、である。

このように、本実施形態では、第１の実施形態と比較して、Ｂ２２，Ｇ２３，Ｂ２４，Ｇ３２，Ｒ３３，Ｇ３４，Ｂ４２，Ｇ４３，Ｂ４４についても差分絶対値を算出し、２５画素の差分絶対値の方向別平均値を求める。

方向判別処理は、第１の実施形態におけるＳ５０２と同様に行えばよい。このように、無彩色方向判別回路４１０における方向判別が、一層ノイズの影響を受けにくくなる。第１の実施形態で説明した欠陥画素補正の場合では使用できない着目画素の信号値を使用することが可能なため、着目画素付近の画素の信号値を用いてより正確に方向判別を行うことが可能となる。

また、方向判別後は、判別された方向に存在する、着目画素と異なる色の画素を用いて色補間を行えばよい。この場合、判別された方向に存在する画素だけでなく、他の周辺画素の信号値を考慮して色補間してもよい。例えば、着目画素の周辺にある着目画素と異なる色の（同色）画素群のうち、判別された方向に存在する画素の信号値の重みを、判別された方向にない画素の信号値の重みより大きくして加重加算することができる。

（その他の実施形態）
上述の実施形態において、着目画素がＧ画素の場合、例えば無彩色画素補正回路１１０を用いて画素補正値を生成してもよい。例えば、図１１（ｄ）においてＧ２３が着目画素（欠陥画素）であれば、無彩色方向判別回路４１０で
H_DIV = ABS(G21 - G25)
V_DIV = ABS(G03 - G43)
D45_DIV = ABS(G14 - G32)
D135_DIV = ABS(G12 - G34)
を求める。そして、差分絶対値が最小となる方向を、着目画素と相関の高い画素が存在する方向として判別する。

一方、Ｈ補正回路４０１で、Pix = (G21 + G25)/2、
Ｖ補正回路４０２で、Pix = (G03 + G43)/2、
４５度補正回路４０３で、Pix = (G14 + G32)/2、
１３５度補正回路４０４でPix = (G12 + G34)/2の
画素補正値をそれぞれ算出する。無彩色方向判別回路４１０は、判別した方向に対応する画素補正値を選択する信号を、無彩色画素補正値選択回路４０５に出力する。

上述の実施形態においては、ベイヤー配列のカラーフィルタを備えた撮像素子によって撮像された画像データを対象とする場合について説明した。しかし、本発明の原理は複数の特定色が規則的に配列され、かつ色によって画素数に差があるカラーフィルタを備えた撮像素子によって撮像された画像データに対して適用可能である。つまり、画素数が少ない色の画素に対する画素補正値を生成する場合に、本発明を適用することができる。

また、上述の実施形態においては、ＨＶ方向判別回路６１０及びななめ方向判別回路６１１で判別されうる各方向についての画素補正値（平均補正値も含む）を各補正回路で個別に算出した。そして、ＨＶ方向判別回路６１０での方向判別結果により１つの画素補正値を、ななめ方向判別回路６１１の方向判別結果により１つの画素補正値を選択していた。

しかし、平均補正回路６００、Ｈ補正回路６０１、Ｖ補正回路６０２の機能を選択的に実効可能な補正回路を設け、ＨＶ方向判別回路６１０の判別結果に基づいて縦横方向についての画素補正値を生成するように構成してもよい。同様に、４５度補正回路６０３、１３５度補正回路６０４、ななめ平均補正回路６０５の機能を選択的に実効可能な補正回路を設け、ななめ方向判別回路６１１の判別結果に基づいてななめ方向についての画素補正値を生成するように構成してもよい。これらの場合、ＨＶ画素補正値選択回路６１３やななめ画素補正値選択回路６１４は不要となる。

また、縦横度判別回路６１２の出力によってＨＶ方向判別回路６１０とななめ方向判別回路６１１の判別結果のいずれかを選択するように構成することもできる。この場合、選択された判別結果に対応した補正値のみを生成すればよいため、有彩色画素補正値選択回路６２２も不要となる。

基本的には、縦横度判別回路６１２による、縦横方向かななめ方向かの判別結果に従って、ＨＶ方向判別回路６１０とななめ方向判別回路６１１の判別結果の一方を選択し、選択された方向に対応する画素補正値を生成できれば、任意の構成を採用しうる。

また、上述の実施形態において、方向判別は０度、４５度、９０度、１３５度の４方向であったが、この方向はカラーフィルタ（画素）の形状および配列によって変化しうる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

カラーフィルタを備えた撮像素子により得られた画像の、着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値を生成する画像処理装置であって、
前記着目画素に対する彩度信号から、前記着目画素が無彩色である度合を示す判定信号を出力する判定手段と、
前記着目画素の周辺の第１の複数の画素のそれぞれについて、該画素を挟んで位置する複数の画素の信号値の差分を複数の方向のそれぞれについて求め、求めた差分に基づいて前記着目画素と相関の高い画素が存在する方向を判別する無彩色方向判別手段と、
前記着目画素に対して前記無彩色方向判別手段が判別した方向に存在する画素の信号値を用いて前記着目画素の信号値を生成する第１の補正値生成手段と、
前記着目画素の周辺の第２の複数の画素のそれぞれについて、該画素を挟んで位置する複数の画素の信号値の差分を複数の方向のそれぞれについて求め、求めた差分に基づいて前記着目画素と相関の高い画素が存在する方向を判別する有彩色方向判別手段と、
前記着目画素に対して前記有彩色方向判別手段が判別した方向に存在する画素の信号値を用いて前記着目画素の信号値を生成する第２の補正値生成手段と、
前記第１の補正値生成手段の生成する信号値、および、前記第２の補正値生成手段の生成する信号値を、前記判定信号の値に応じて加重加算した信号値を出力する加重加算手段と、を有し、
前記第１の複数の画素の少なくとも一部の画素のそれぞれにおいて、該画素を第１方向に挟む位置に第１の色の画素が存在し、該画素を第２方向に挟む位置に前記第１の色とは異なる第２の色の画素が存在し、
前記第２の複数の画素のそれぞれの画素において、該画素を前記第１方向および前記第２方向に挟む位置に第３の色の画素が存在することを特徴とする画像処理装置。
前記加重加算手段は、前記判定信号により、前記着目画素が無彩色である度合が高いことが示されるほど、前記第１の補正値生成手段の生成する信号値の重み付けを大きく、かつ前記第２の補正値生成手段の生成する信号値の重み付けを小さくして、前記第１の補正値生成手段の生成する信号値と前記第２の補正値生成手段の生成する信号値とを加重加算することを特徴とする請求項１に記載の画像処理装置。
前記無彩色方向判別手段が、
前記第１の複数の画素のそれぞれについて、該画素を挟んで位置する複数の画素の信号値の差分を前記第１方向、前記第２方向、第３方向、および、第４方向の各々について求め、求めた差分に基づいて前記着目画素と相関の高い画素が存在する方向を判別する、ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記無彩色方向判別手段が、
前記第１の複数の画素のそれぞれについて、該画素を挟んで位置する２つの画素の信号値の差分の平均値を、前記第１方向、前記第２方向、前記第３方向、および、前記第４方向の各々について求め、該求めた方向別の平均値のうち、最小の値に対応する方向を、前記着目画素と相関の高い画素が存在する方向として判別する、ことを特徴とする請求項３に記載の画像処理装置。
前記第２の複数の画素は前記着目画素と同色の画素であり、
前記有彩色方向判別手段が、
前記着目画素と同色の、前記着目画素の周辺の複数の画素の信号値から、前記着目画素と相関の高い画素が存在する方向が、前記第１または第２方向であるか、あるいは、前記第３または第４方向であるかを判別する第１の方向判別手段と、
前記第２の複数の画素のそれぞれについて、該画素を挟んで位置する複数の前記第３の色の画素の信号値から、前記着目画素と相関の高い画素が存在する方向として、前記第１および第２方向のいずれか１つを判別する第２の方向判別手段と、
前記着目画素の周辺の、前記着目画素と異なる色の第３の複数の画素のそれぞれについて、該画素を挟んで位置する複数の前記第３の色の画素の信号値から、前記着目画素と相関の高い画素が存在する方向として、前記第３および第４方向のいずれか１つを判別する第３の方向判別手段と、
前記第１の方向判別手段によって前記着目画素と相関の高い画素が存在する方向が前記第１または第２方向と判別されていれば、前記第２の方向判別手段が判別した前記第１および第２方向のいずれか１つを選択し、前記第１の方向判別手段によって前記着目画素と相関の高い画素が存在する方向が前記第３または第４方向と判別されていれば、前記第３の方向判別手段が判別した前記第３および第４方向のいずれか１つを選択する選択手段と、
を有することを特徴とする請求項３または請求項４に記載の画像処理装置。
前記第１方向が縦方向、前記第２方向が横方向、前記第３方向が４５度方向、および、前記第４方向が１３５度方向であることを特徴とする請求項３乃至請求項５のいずれか１項に記載の画像処理装置。
カラーフィルタを備えた撮像素子と、
請求項１乃至請求項６のいずれか１項に記載の画像処理装置とを有し、
前記撮像素子により得られた画像のうち、前記撮像素子の欠陥画素の信号値を、前記画像処理装置によって取得することを特徴とする撮像装置。
カラーフィルタを備えた撮像素子と、
請求項１乃至請求項６のいずれか１項に記載の画像処理装置とを有し、
前記撮像素子により得られた画像の着目画素に対する色補間処理において、前記画像処理装置の前記加重加算手段によって算出される前記信号値を用いることを特徴とする撮像装置。
カラーフィルタを備えた撮像素子により得られた画像の、着目画素の周辺の複数の画素の信号値から、前記着目画素の信号値を生成する画像処理装置の制御方法であって、
判定手段が、前記着目画素に対する彩度信号から、前記着目画素が無彩色である度合を示す判定信号を出力する判定工程と、
無彩色方向判別手段が、前記着目画素の周辺の第１の複数の画素のそれぞれについて、該画素を挟んで位置する複数の画素の信号値の差分を複数の方向のそれぞれについて求め、求めた差分に基づいて前記着目画素と相関の高い画素が存在する方向を判別する無彩色方向判別工程と、
第１の補正値生成手段が、前記着目画素に対して前記無彩色方向判別工程で判別された方向に存在する画素の信号値を用いて前記着目画素の信号値を生成する第１の補正値生成工程と、
有彩色方向判別手段が、前記着目画素の周辺の第２の複数の画素のそれぞれについて、該画素を挟んで位置する複数の画素の信号値の差分を複数の方向のそれぞれについて求め、求めた差分に基づいて前記着目画素と相関の高い画素が存在する方向を判別する有彩色方向判別工程と、
第２の補正値生成手段が、前記着目画素に対して前記有彩色方向判別工程によって判別された方向に存在する画素の信号値を用いて前記着目画素の信号値を生成する第２の補正値生成工程と、
加重加算手段が、前記第１の補正値生成工程で生成された信号値、および、前記第２の補正値生成工程で生成された信号値を、前記判定信号の値に応じて加重加算した信号値を出力する加重加算工程と、を有し、
前記第１の複数の画素の少なくとも一部の画素のそれぞれにおいて、該画素を第１方向に挟む位置に第１の色の画素が存在し、該画素を第２方向に挟む位置に前記第１の色とは異なる第２の色の画素が存在し、
前記第２の複数の画素のそれぞれの画素において、該画素を前記第１方向および前記第２方向に挟む位置に第３の色の画素が存在することを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至請求項６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。