JP5463871B2 - 画像処理装置および電子カメラ - Google Patents

Description

本発明は、画像処理装置および電子カメラに関する。

近年、ＣＣＤ型撮像素子やＣＭＯＳ型撮像素子などを用いた電子カメラが広く普及している。ところが、これらの撮像素子の製造過程において、正常な出力が得られない欠陥画素が生じる場合がある。また、特殊な撮像素子では、画像撮影用の画素とは別にＡＦ（オートフォーカス）用の画素が設けられたものもある。このような欠陥画素やＡＦ用画素など画像撮影に利用できない画素（以降、特定画素と称す）が存在する撮像素子で撮影された画像データの特定画素位置の色成分（画素値）を画像処理によって補間生成するために、生成対象の特定画素の色成分とは異なる色成分の画像データを用いて特定画素の画素値を生成する方法などが検討されている（例えば、特許文献１参照）。

特許第３７２１２８１号公報

ところが、従来は撮影に用いた光学系の倍率色収差などの影響による撮影画像の色ズレを考慮しておらず、特定画素の画素値を補間生成後に色ズレ補正処理を行った場合、偽色が生じるという問題があった。

本発明の目的は、撮影画像に色ズレが生じている場合でも、偽色の少ない特定画素の画素値を補間生成できる画像処理装置および電子カメラを提供することである。

本発明に係る画像処理装置は、少なくとも第１色成分と第２色成分を含む複数種類の色成分のいずれか１つの色成分値を有する複数画素で構成され、且つ前記第１色成分を有するべき複数画素のうち前記第１色成分の情報を利用できない特定画素が存在する撮像素子によって撮像された画像データを入力する画像入力部と、前記特定画素を含む近傍領域における前記第１色成分と前記第２色成分との色ズレ量を取得する色ズレ量取得部と、前記特定画素の第１色成分値を生成する特定画素成分生成部とを備え、前記特定画素成分生成部は、前記特定画素に対して前記色ズレ量だけずれた位置に近接する第２参照画素の第２色成分値を生成する第２色成分生成部と、前記特定画素に近接する第１参照画素の第１色成分値と、前記第２参照画素の第２色成分値とから前記特定画素の第１色成分値を生成する第１色成分生成部とで構成される。

そして、前記特定画素成分生成部の前記第２色成分生成部は、前記第１参照画素に対して前記色ズレ量だけずれた位置に近接する第３参照画素の第２色成分値を前記第２参照画素の第２色成分値を用いて補間生成し、且つ前記特定画素に対して前記色ズレ量だけずれた位置に近接する第４参照画素の第２色成分値を前記第２参照画素の第２色成分値を用いて補間生成し、前記特定画素成分生成部の前記第１色成分生成部は、前記第１参照画素の第１色成分値と、前記第３参照画素の第２色成分値と、前記第４参照画素の第２色成分値とを用いて、前記特定画素の第１色成分値を生成することを特徴とする。

さらに、前記特定画素成分生成部の前記第２色成分生成部に、前記第３参照画素の第２色成分値と、前記第４参照画素の第２色成分値とを用いて第２色成分の高周波成分値を生成する高周波成分生成部を更に設け、前記特定画素成分生成部の前記第１色成分生成部は、前記第１参照画素の第１色成分値を用いて前記特定画素に第１色成分暫定値を生成する暫定値生成部と、前記第１色成分暫定値に前記第２色成分の高周波成分値を付加して、前記特定画素の第１色成分値を生成する高周波成分付加部とで構成されることを特徴とする。

或いは、前記特定画素成分生成部の前記第１色成分生成部は、前記第１参照画素の第１色成分値と前記第３参照画素の第２色成分値とを用いて、前記第１参照画素の色差成分値を生成する色差生成部と、前記色差成分値を用いて前記特定画素の色差成分値を補間生成する色差補間部と、前記第４参照画素の第２色成分値と前記特定画素の色差成分値とを用いて前記特定画素の第１色成分値を生成する色差付加部とで構成されることを特徴とする。

さらに、前記画像データの画像構造の方向情報を算出する画像構造方向情報算出部を更に設け、前記特定画素成分生成部は、前記画像構造の方向情報に応じて、前記特定画素の第１色成分値を生成し、前記第１色成分生成部は、前記画像構造の方向情報に応じて、前記特定画素に類似する方向に近接する第１参照画素の第１色成分値と、前記第２参照画素の第２色成分値とから前記特定画素の第１色成分値を生成することを特徴とする。

また、本発明に係る画像処理装置は、少なくとも第１色成分と第２色成分を含む複数種類の色成分のいずれか１つの色成分値を有する複数画素で構成され、且つ前記複数画素のうち前記第１色成分の情報を利用できない第１特定画素および前記第２色成分の情報を利用できない第２特定画素が存在する撮像素子によって撮像された画像データを入力する画像入力部と、前記第１特定画素および前記第２特定画素を含む近傍領域における前記第１色成分と前記第２色成分との色ズレ量を取得する色ズレ量取得部と、前記画像データの画像構造の方向情報を算出する画像構造方向情報算出部と、前記画像構造の方向情報に応じて、前記第２特定画素の第２色成分値を生成するＧ欠陥補正部と、前記画像構造の方向情報に応じて、前記第１特定画素に近接する第５参照画素の第１色成分値と、前記第１特定画素に対して前記色ズレ量だけずれた位置に近接し且つ前記第２特定画素の第２色成分値を含む第６参照画素の第２色成分値とを用いて、前記第１特定画素の第１色成分値を生成する特定画素成分生成部とを備えることを特徴とする。

さらに、前記特定画素成分生成部は、前記第６参照画素の第２色成分値を用いて、前記第５参照画素に対して前記色ズレ量だけずれた位置に近接する第７参照画素の第２色成分値を補間生成する第１のＧ補間生成部と、前記第５参照画素の第１色成分値と前記第７参照画素の第２色成分値とを用いて暫定色差値を生成する暫定色差生成部と、前記第２特定画素に対して前記色ズレ量だけずれた位置に近接する第１色成分の画素を第８参照画素として設定する参照画素位置設定部と、前記第８参照画素の第１色成分値を抽出するデータ抽出部と、前記第８参照画素に対して前記色ズレ量だけずれた位置に近接する第９参照画素の第２色成分値を補間生成する第２のＧ補間生成部と、前記第８参照画素の第１色成分値と前記第９参照画素の第２色成分値とを用いて参照色差値を生成する参照色差生成部と、前記暫定色差値を前記参照色差値に近づけるように前記暫定色差値を修正して修正色差を生成する色差修正部と、前記修正色差と前記第７参照画素の第２色成分値とを用いて前記第１特定画素の第１色成分値を生成する色差付加部とを有することを特徴とする。

特に、前記参照画素位置設定部は、設定すべき前記第８参照画素に対して前記色ズレ量だけずれた位置に近接する第９参照画素が前記第２特定画素と重複しないように前記第８参照画素を設定することを特徴とする。

さらに、前記第１特定画素近傍の第１色成分の画素を追加補正画素とし、前記追加補正画素から前記色ズレ量だけずれた位置に近接する第１０参照画素が前記第２特定画素である場合に追加補正の実行を決定する追加補正判定部と、前記第１０参照画素の第２色成分値を補間生成する追加Ｇ補間生成部と、前記追加補正画素の第１色成分値と前記第１０参照画素の第２色成分値とを用いて追加色差値を生成する追加色差生成部と、前記追加色差値を前記参照色差生成部が生成した前記参照色差値に近づけるように前記追加色差値を修正して修正追加色差値を生成する追加色差修正部と、前記修正追加色差値と前記第２特定画素の第２色成分値とを用いて、前記追加補正画素の第１色成分値を生成する追加画像出力部とを備えることを特徴とする。

また、上記の画像処理装置が出力する画像データの色ズレ補正処理を行う色ズレ補正部を更に設けたことを特徴とする。

本発明に係る電子カメラは、前記画像処理装置を搭載する電子カメラであって、光学系を介して入射する被写体光を各画素毎に複数種類の色成分のいずれか１つの色成分を有する複数画素で構成される画像データに変換して前記画像処理装置に出力する撮像部と、前記撮像部に撮像タイミングを与える操作部材と、前記画像処理装置が出力する画像データを所定のフォーマットで記憶媒体に記録する記録部とを設けたことを特徴とする。

本発明では、撮影画像に色ズレが生じている場合でも、精度良く特定画素位置の画素値を生成することができ、偽色を防止することができる。

各実施形態に係る電子カメラ１０１の構成を示すブロック図である。 電子カメラ１０１の画像処理部１０７の構成を示すブロック図である。 第1の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ａの構成および処理の流れを示すブロック図である。 画素配列の様子および各実施形態における線キズの様子を示す説明図である。 画像構造方向情報算出部３０３ａの処理を示す説明図である。 色ズレの様子とＧ補間生成部３５２の処理を示す説明図である。 暫定ＲＢ生成部３５１の処理を示す説明図である。 Ｇ補間生成部３５２の処理を示す説明図である。 色ズレ位置のＧ成分の補間値を求める処理を示す説明図である。 Ｇ高周波成分生成部３５３で用いるＧ成分の画素位置を示す説明図である。 第１の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ａの効果を示す説明図である。 第２の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ｂの構成および処理の流れを示すブロック図である。 特定画素補間処理部２０３ｂの色差補間部３６１の処理を示す説明図である。 第３の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ｃの構成および処理の流れを示すブロック図である。 画像構造方向情報算出部３０３ｂの処理を示す説明図である。 画像構造方向と線キズ位置の条件と選択画素の関係を示す説明図である。 特定画素位置および色ズレ量の条件と第８参照画素位置の関係を示す説明図である。 二重連続線キズの上側で色ズレ量(dy>0)の条件の第８参照画素位置を示す説明図である。 二重連続線キズの下側で色ズレ量(dy<0)の条件の第８参照画素位置を示す説明図である。 第３の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ｃの効果を示す説明図である。 第４の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ｄの構成および処理の流れを示すブロック図である。 第４の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ｄの効果を示す説明図である。

以下、本発明に係る画像処理装置および電子カメラの実施形態について図面を用いて詳しく説明する。尚、以下の実施形態では、電子カメラの構成例について説明するが、ベイヤー配列などのカラーフィルタアレイが配置された単板イメージセンサーで撮影した特定画素（線キズや点キズなどによって画像に利用できない画素や別目的のＡＦ用画素など）を有する画像データを入力して、特定画素位置の画素値を補間生成する単体の画像処理装置であっても構わない。

［電子カメラ１０１の構成および基本動作］
先ず、各実施形態に共通の電子カメラ１０１の全体構成および基本動作について説明する。図１は電子カメラ１０１の構成を示すブロック図で、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、カメラ制御部１０８と、メモリ１０９と、表示部１１０と、操作部材１１１と、メモリカードＩＦ（インターフェース）１１２とで構成される。

図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞りなどで構成され、カメラ制御部１０８からの指令に応じて、ズームレンズやフォーカスレンズ或いは絞りなどが制御される。

撮像素子１０４は、単板イメージセンサーで構成され、受光面には光電変換部を有する複数の画素が二次元状に配置されている。そして、カラー情報を取得するために、例えば各画素にはＲＧＢ３色のいずれかのカラーフィルターが所定の配列で配置されている。従って、撮像素子１０４は、各画素毎にＲＧＢ３色のいずれか１色の色成分を有する画像信号を出力する。尚、本実施形態では、ベイヤー配列のカラーフィルタアレイ（ＣＦＡ）が配置され、第１色成分（Ｒ成分、Ｂ成分）の線キズを有する場合や、第１色成分だけでなく第２色成分（Ｇ成分）の線キズを有する場合などについて説明する。また、線キズだけでなく、点キズや別の要因によって画像に利用できない画素がある場合でも同様に適用可能である。例えば、ＡＦ用画素など別目的の画素が配置されている場合でも同様に補間生成することができる。以下の各実施形態では、このような画像に利用できない画素を特定画素と称する。また、補間生成する対象画素を注目画素と称する。

Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値に変換し、１枚の撮影画像分の画像データとして画像バッファ１０６に一時的に記憶する。例えば、撮像素子１０４の解像度が１０００画素×１０００画素である場合、１００万画素分の画像データが画像バッファ１０６に取り込まれる。この時、画像バッファ１０６に取り込まれた画像データはＲＡＷデータと呼ばれ、各画素にＲＧＢいずれか１つの色成分を有する画像データである。

画像バッファ１０６は、揮発性の高速メモリで構成され、Ａ／Ｄ変換部１０５が出力する撮影画像を一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う際のバッファメモリとしても使用される。或いは撮影画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を表示部１１０に表示する際の表示用バッファとしても使用される。

画像処理部１０７は、画像バッファ１０６に取り込まれたＲＡＷデータに対して、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭輪郭強調処理、或いはＪＰＥＧ規格などに準拠した画像圧縮方法で画像データの圧縮処理を施す。特に、本実施形態では、撮像素子１０４は画像に利用できない特定画素を有しているので、画像処理部１０７は特定画素を周囲の画素から補間生成する（後に図２で説明する特定画素補間処理部２０３）。尚、画像処理部１０７の構成については後で詳しく説明する。

カメラ制御部１０８は、内部に記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば、カメラ制御部１０８は、操作部材１１１を構成する撮影モード選択ダイヤルやレリーズボタンの操作に応じて、電子カメラ１０１の撮影モードを設定したり、レリーズボタン押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉し、撮像素子１０４で被写体画像を撮像する。そして、カメラ制御部１０８は、撮像素子１０４から予め設定した解像度の画像信号を読み出しながらＡ／Ｄ変換部１０５でデジタル値に変換し、１画面分の画像データ（ＲＡＷデータ）を画像バッファ１０６に取り込む。さらに、カメラ制御部１０８は、画像バッファ１０６に取り込まれたＲＡＷデータに対してホワイトバランス処理や色補間処理などの画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像データ（例えばＪＰＥＧデータ）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存したり、表示部１１０に撮影画像を表示する。

メモリ１０９は、フラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータが記憶される。カメラ制御部１０８は、これらのパラメータを参照して電子カメラ１０１の動作を制御する。尚、これらのパラメータは、操作部材１１１を介して行われるユーザー操作に応じて適宜更新される。

表示部１１０は、液晶モニタなどで構成され、カメラ制御部１０８によって撮影画像や電子カメラ１０１の操作に必要な設定メニュー画面などが表示される。

操作部材１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、カーソルボタンなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。尚、これらの操作ボタンの操作情報はカメラ制御部１０８に出力され、カメラ制御部１０８は操作部材１１１から入力する操作情報に応じて電子カメラ１０１全体の動作を制御する。

メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースである。そして、カメラ制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａに画像データを読み書きする。

以上が電子カメラ１０１の構成および基本動作である。尚、電子カメラ１０１ではなく、本発明に係る単体の画像処理装置を構成する場合は、図１において、光学系１０２，メカニカルシャッタ１０３，撮像素子１０４およびＡ／Ｄ変換部１０５で構成される撮像部を取り除いた装置とし、カメラ制御部１０８（画像処理装置の制御部に相当）が撮影済みの特定画素を有する画像データをメモリカード１１２ａから画像バッファ１０６に読み出して、画像処理部１０７が特定画素位置の画素値の補間生成処理を行う。

［画像処理部１０７の構成および動作］
次に、画像処理部１０７の構成および動作について図２のブロック図を用いて説明する。図２において、画像処理部１０７は、ホワイトバランス処理部（ＷＢ処理部）２０１と、ガンマ変換部２０２と、特定画素補間処理部２０３と、色ズレ補正処理部２０４と、色補間処理部２０５と、ガンマ補正処理部２０６と、彩度強調処理部２０７と、輪郭強調処理部２０８と、圧縮処理部２０９とで構成される。尚、図２において、図１と同符号のものは同じものを示す。以下、画像処理部１０７の各部について順番に説明する。

ホワイトバランス処理部２０１は、被写体の無彩色部分が無彩色の画像として撮影されるように、ＲＧＢ各色のバランスを調整する係数（ホワイトバランスゲイン）を求め、このホワイトバランスゲインを画像バッファ１０６から読み出したＲＡＷデータに乗算してホワイトバランス調整を行う。尚、ホワイトバランス処理部２０１は、特定画素補間処理部２０３が特定画素の画素値を補間生成した後で行うようにしても構わない。

ガンマ変換部２０２は、次の特定画素補間処理部２０３の補間処理や色補間処理部２０５に適した階調特性（ガンマ特性）に変換する。

尚、図２において、ＲＡＷデータとは、各画素にＲＧＢ３色の中のいずれか１色の値を有するベイヤー配列の画像データを意味するものとし、例えばホワイトバランス処理部２０１の処理前後のＲＡＷデータやガンマ変換部２０２の処理前後のＲＡＷデータは同じものではない。同様に、図２において、ＲＧＢデータとは、各画素にＲＧＢ３色の色成分の値を有する画像データを意味するものとし、例えば色補間処理部２０５が出力するＲＧＢデータと輪郭強調処理部２０８が出力するＲＧＢデータは同じものではない。

色ズレ補正処理部２０４は、ＲＧＢ各色間の色ズレを補正する。例えばＲ成分とＧ成分の画像間やＢ成分とＧ成分の画像間あるいはＲ成分とＢ成分の画像間に色ズレがある場合は、色ズレ量の分だけＲＡＷデータの当該色成分の画素位置を補正する。尚、色ズレ補正処理部２０４が行う色ズレ補正処理は周知のいずれの方法を用いても構わない。

色補間処理部２０５は、各画素にＲＧＢ３色の中のいずれか１色の値しか持たないＲＡＷデータを各画素がＲＧＢ３色の値を有するＲＧＢデータに変換する。尚、色補間処理部２０５が行う補間処理は周知のいずれの方法を用いても構わない。

ガンマ補正処理部２０６は、色補間処理部２０５が出力するＲＧＢデータに対して階調変換処理を行う。尚、ガンマ変換部２０３では特定画素補間処理部２０３の補間処理に適したガンマ特性に変換したが、ガンマ補正処理部２０６では出力空間に適したガンマ特性に変換する。

彩度強調処理部２０７は、撮影画像が鮮やかな色彩の画像になるようにＲＧＢデータの彩度を強調する。

輪郭強調処理部２０８は、彩度強調処理部２０７が出力するＲＧＢデータの画像の輪郭を強調する。

圧縮処理部２０９は、輪郭強調処理部２０８が出力する画像データに対して、ＪＰＥＧ規格など所定の方式で画像圧縮処理を行う。そして、画像圧縮処理後の画像データ（例えばＪＰＥＧデータ）は、カメラ制御部１０８を介してメモリカードＩＦ１１２に接続されているメモリカード１１２ａに撮影画像として保存される。

このように、画像処理部１０７は、画像バッファ１０６に取り込まれたＲＡＷデータに対して、ホワイトバランス処理，特定画素補間処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭輪郭強調処理および圧縮処理を施してカメラ制御部１０８に出力する。

ここで、本願発明の特徴は、図２の画像処理部１０７の中の特定画素補間処理部２０３の処理にあり、他の処理は省略したり上記以外の方法を用いても構わない。例えば、先に述べたように、ホワイトバランス処理部２０１の処理位置を変えたり、ガンマ変換部２０３の処理を省略したり、圧縮処理部２０９で画像圧縮処理を行わないようにしても構わない。

次に、特定画素補間処理部２０３の構成および処理について、いくつかの実施形態を挙げて説明する。

（第１の実施形態）
図３は、第1の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ａの構成および処理の流れを示すブロック図である。尚、図３の特定画素補間処理部２０３ａは、図２の特定画素補間処理部２０３に対応するブロックである。

特定画素補間処理部２０３ａは、図２のガンマ変換部２０２から入力する（線キズのある）ＲＡＷデータの特定画素の画素値を補間生成し、特定画素の無い（線キズ補正された）ＲＡＷデータを出力する。尚、本実施形態では、特定画素を線キズのある欠陥画素として説明する。

図３において、特定画素補間処理部２０３ａは、画像入力部３０１と、画素値抽出部３０２と、画像構造方向情報算出部３０３ａと、色ズレ量取得部３０４と、特定画素成分生成部３０５ａと、画像出力部３０６とで構成される。尚、分かり易いように画素値抽出部３０２を別に描いてあるが、画素値抽出部３０２の処理を画像入力部３０１に含めても構わない。

画像入力部３０１は、ホワイトバランス処理部２０１およびガンマ変換部２０２で処理された特定画素を有するＲＡＷデータを入力する。尚、ホワイトバランス処理部２０１およびガンマ変換部２０２の処理を行わずに、撮像素子１０４で撮像されて画像バッファ１０６に取り込まれたＲＡＷデータや、メモリカード１１２ａに記憶された特定画素を有するＲＡＷデータを入力しても構わない。

ここで、画像入力部３０１が入力するＲＡＷデータは、例えば図４（ａ）に示すようなベイヤー配列の画像データである。尚、図４（ａ）は、１つの画像を構成する画像データの一部分を描いた図で、特に次の画素値抽出部３０２が抽出する１５×１５画素の範囲を示している。図４（ａ）において、横軸はＸ軸、縦軸はＹ軸を示し、中心のＲ成分の画素(x,y)を注目画素として、上下左右に７画素以内の領域を示している。以降の説明では、特に明記しない限り、各画素位置を座標(x,y)で示すものとする。例えば、Ｒ成分の画素(x,y)の真上のＧ成分の画素は、座標で表記すると画素(x,y-1)となる。また、当該座標の画素値は、色成分の記号を付してＲ(x,y)やＧ(x,y-1)と表記するものとし、例えばＲ(x,y)は画素(x,y)のＲ成分の画素値を示し、Ｇ(x,y-1)は画素(x,y-1)のＧ成分の画素値を示す。

また、画像入力部３０１が入力するＲＡＷデータは、図４（ｂ）または図４（ｃ）に示すように、線キズを有するものとする。例えば図４（ｂ）の場合は(y)行のＲ成分の画素と(y+1)行のＢ成分の画素とに線キズがあり、図４（ｃ）の場合は(y)行のＲ成分とＧ成分の画素と(y+1)行のＢ成分とＧ成分の画素とに線キズがある例を示している。ここで、×印で示した画素が欠陥画素で、画像として利用できない特定画素に相当する。

次に、図３において、画素値抽出部３０２は、画像入力部３０１が入力する例えば１０００×１０００画素の１つの画像を構成するＲＡＷデータに含まれる１つまたは複数の特定画素の中から補間生成しようとする対象画素（注目画素）を１画素ずつ選択しながら、処理毎に当該注目画素を中心とする図４（ａ）に示したような１５×１５画素の領域を抽出する。従って、補間生成しようとする特定画素が複数ある場合は、特定画素の数だけ同じ補間処理を行う。尚、画素値抽出部３０２は、注目画素を中心として上下左右に７画素以内の領域（例えば１５×１５画素）の部分を抽出するものとしたが、７画素より多くても構わない。但し、実際の色ズレ量は４画素以内である場合が殆どであり、且つ画素数を多くすると処理量が増大するので、７画素以内のデータを抽出するのが適切である。

画像構造方向情報算出部３０３ａは、注目画素を中心とする画像構造の方向を判別する。ここで、画像構造の方向を判別する方法について図５を用いて説明する。図５（ａ）は縦方向（ＣＶ方向）、図５（ｂ）は横方向（ＣＨ方向）、図５（ｃ）は右下斜め方向（ＣＤ１方向）、図５（ｄ）は右上斜め方向（ＣＤ２方向）の画像構造をそれぞれ判別するための選択画素を示している。尚、各図において、注目画素はＲ成分の画素(x,y)とする。

図５（ａ）の場合は、注目画素(x,y)の上下のＧ成分の画素(x,y-1)と画素(x,y+1)の画素値の差分の絶対値（ＣＶ）を求める。
ＣＶ=|G(x,y-1)-G(x,y+1)| …（式１）
また、図５（ｂ）の場合は、注目画素(x,y)の左右のＧ成分の画素(x-1,y)と画素(x+1,y)の画素値の差分の絶対値（ＣＨ）を求める。
ＣＨ=|G(x-1,y)-G(x+1,y)| …（式２）
同様に、図５（ｃ）の場合は、注目画素(x,y)を挟む右下斜め方向の２つのＧ成分の画素(x-1,y)と画素(x,y+1)の画素値の差分の絶対値と、画素(x,y-1)と画素(x+1,y)の画素値の差分の絶対値との平均値（ＣＤ１）を求める。
ＣＤ１=(|G(x-1,y)-G(x,y+1)|+|G(x,y-1)-G(x+1,y)|)/2 …（式３）
また、図５（ｄ）の場合は、注目画素(x,y)を挟む右上斜め方向の２つのＧ成分の画素(x,y-1)と画素(x-1,y)の画素値の差分の絶対値と、画素(x+1,y)と画素(x,y+1)の画素値の差分の絶対値との平均値（ＣＤ２）を求める。
ＣＤ２=(|G(x,y-1)-G(x-1,y)|+|G(x+1,y)-G(x,y+1)|)/2 …（式４）
尚、各式において、例えばＧ(x,y-1)の表記は各画素の画素値を示すものとする。また、ＣＶ，ＣＨ，ＣＤ１およびＣＤ２は各方向の構造方向情報に相当し、各方向の構造方向情報ＣＶ，ＣＨ，ＣＤ１およびＣＤ２の値が小さいほど当該方向の類似性が高い画像構造を有していると判別する。

このようにして、画像構造方向情報算出部３０３ａは、注目画素(x,y)を中心とする画像構造の方向を判別する。

色ズレ量取得部３０４は、Ｒ成分に対するＧ成分の色ズレ量を求める。これにより、補正対象のＲ成分の注目画素(x,y)に対応するＧ成分の画素位置がわかる。尚、色ズレ量の取得方法は、様々な方法が考えられており、公知のいずれの方法を用いても構わない。例えば、撮影に用いた光学系に対応する色収差情報を参照するようにしても構わないし、撮影画像におけるＲ成分の画像とＧ成分の画像との相関処理を行って位置ズレ量を求め、これを色ズレ量としても構わない。ここで、取得される色ズレ量を(dx,dy)とする。これは、例えばＲ成分の画素(x,y)に対応する色ズレした位置にあるＧ成分の画素は画素(x+dx,y+dy)となる。尚、色ズレ量(dx,dy)は一般には整数ではない。尚、特定画素がＢ成分の画素である場合は、色ズレ量取得部３０４は、Ｒ成分の特定画素と同様にＢ成分に対するＧ成分の色ズレ量を求める。

図６（ａ）は、Ｒ成分の画像とＧ成分の画像との間に色ズレがある場合の様子を描いた図で、一例としてｄｘ＝２．４，ｄｙ＝１．８の色ズレ量の場合を示している。図６（ａ）において、Ｇ成分の被写体位置は、Ｒ成分の被写体位置に対して、Ｘ軸方向にｄｘ（２．４画素分），Ｙ軸方向にｄｙ（１．８画素分）だけ位置がずれている。例えば、Ｒ成分の被写体の画素(x,y)と同じ部分のＧ成分の被写体が撮像されているのは画素(x+dx,y+dy)となる。尚、画素(x+dx,y+dy)のＧ成分の求め方については後で詳しく説明する。

次に、図３において、特定画素成分生成部３０５ａは、画素値抽出部３０２が抽出した注目画素を中心とする上下左右７画素以内のＲＡＷデータと、画像構造方向情報算出部３０３ａが算出した画像構造の方向情報と、色ズレ量取得部３０４が取得したＲ成分またはＢ成分の画素とＧ成分の画素との間の色ズレ量とを用いて、特定画素の画素値を生成する。本実施形態では、図４（ｂ）に示したように、特定画素は線キズ部分のＲ成分およびＢ成分の画素で、特定画素成分生成部３０５ａは線キズ部分のＲ成分およびＢ成分の画素値を補間生成する。尚、特定画素成分生成部３０５ａの構成については後で詳しく説明する。

画像出力部３０６は、画像入力部３０１が入力したＲＡＷデータの特定画素部分に、特定画素成分生成部３０５ａが補間生成した特定画素の画素値を代入して、特定画素が補正されたＲＡＷデータを出力する。例えば本実施形態の場合は、線キズがあるＲＡＷデータを入力して、線キズ部分を補正したＲＡＷデータを出力する。

［特定画素成分生成部３０５ａの構成および処理］
次に特定画素成分生成部３０５ａの構成および処理について説明する。特定画素成分生成部３０５ａは、図３に示したように、暫定ＲＢ生成部３５１と、Ｇ補間生成部３５２と、Ｇ高周波成分生成部３５３と、高周波成分付加部３５４とで構成される。ここで、暫定ＲＢ生成部３５１とＧ高周波成分生成部３５３と高周波成分付加部３５４の３つの処理は、最終的に特定画素の第１色成分（Ｒ成分またはＢ成分）を生成する処理である（第１色成分生成部３４１ａに対応）。また、Ｇ補間生成部３５２は、本実施形態では第１色成分生成部３４１ａが第１色成分を生成するために、色ズレ量を考慮した第２色成分（Ｇ成分）を生成する（第２色成分生成部３４２ａに対応）。

先ず、暫定ＲＢ生成部３５１は、画像構造方向情報算出部３０３ａが算出した構造方向情報（ＣＶ，ＣＤ１，ＣＤ２）に応じて、特定画素であるＲ成分の画素(x,y)における暫定画素値（Ｒｚ(x,y)）を次のように求める。
・構造方向情報ＣＶが最小の場合は、図７（ａ）に示す上下に隣接する画素(x,y-2)および画素(x,y+2)を用いて、（式５）により暫定画素値（Ｒｚ(x,y)）を求める。
Rz(x,y)=(R(x,y-2)+R(x,y+2))/2 …（式５）
・構造方向情報ＣＤｌが最小の場合は、図７（ｂ）に示す右斜め下方向に隣接する画素(x-2,y-2)および画素(x+2,y+2)を用いて、（式６）により暫定画素値（Ｒｚ(x,y)）を求める。
Rz(x,y)=(R(x-2,y-2)+R(x+2,y+2))/2 …（式６）
・構造方向情報ＣＤ２が最小の場合は、図７（ｃ）に示す右斜め上方向に隣接する画素(x+2,y-2)および画素(x-2,y+2)を用いて、（式７）により暫定画素値（Ｒｚ(x,y)）を求める。
Rz(x,y)=(R(x+2,y-2)+R(x-2,y+2))/2 …（式７）
また、横方向の構造方向情報ＣＨを用いないのは、先に説明したように本実施形態では線キズが横方向のためである。従って、縦方向に線キズが有る場合や点キズの場合は、構造方向情報ＣＨが最小の場合は、左右に隣接する画素(x-2,y)および画素(x+2,y)を用いて、（式８）のように暫定画素値（Ｒｚ(x,y)）を求める。
Rz(x,y)=(R(x-2,y)+R(x+2,y))/2 …（式８）
このようにして、暫定ＲＢ生成部３５１は、画像構造方向情報算出部３０３ａが算出した構造方向情報に応じて、特定画素であるＲ成分の画素(x,y)における暫定画素値（Ｒｚ(x,y)）を求める。尚、上記の（式５）から（式８）で参照した右辺の各画素は第１参照画素と定義する。

次に、４つの画素（画素(p0,q0)，画素(p0+1,q0)，画素(p0,q0+1)，画素(p0+1,q0+1)）のＧ成分値をそれぞれ求める。特定画素であるＲ成分の画素(x,y)及び暫定ＲＢ生成部３５１で参照した第１参照画素位置の各画素に対して、色ズレ量に応じて色ズレした位置のＧ成分値を補間生成する。

具体的な処理について図６を用いて説明する。尚、先に図６（ａ）で説明したようにＲ成分の画像に対してＧ成分の画像は(dx,dy)だけ色ズレしているものとする。ここで、先ず色ズレ量(dx,dy)の小数点以下を切り捨てて整数化した画素を画素(p0,q0)とする。この整数化の結果、図６（ｂ）に示すように、色ズレしたＧ成分の画素(x+dx,y+dy)の位置は整数化されて画素(p0,q0)となる。尚、図６（ｂ）の場合、画素(p0,q0)を元のｘｙ座標で表すと、Ｇ成分の画素(x+2,y+1)の位置に対応するが、整数化後に必ずしもＧ成分の画素位置に対応するとは限らず、Ｒ成分の画素やＢ成分の画素が対応する場合もある。このような場合の処理について図８を用いて説明する。

図８（ａ）において、Ｒ成分の画素(x,y)に対応するＧ成分の色ズレ位置にある画素が整数化後において、例えばＧ成分の画素(x+2,y+1)である場合と、Ｒ成分の画素(x+2,y+2)である場合とに分けて説明する。尚、色ズレ位置にある画素がＢ成分の画素である場合は、Ｒ成分の画素の場合と同様に処理するので説明を省略する。

図８（ａ）において、Ｒ成分の画素(x,y)に対応するＧ成分の色ズレ位置にある画素がＲ成分の画素(x+2,y+2)である場合は、図８（ｂ）に示すようにＲ成分の画素(x+2,y+2)を色ズレ後のＧ成分の画素位置としてｐｑ座標に置き換えて画素(p0,q0)とする。そして、ｐおよびｑが＋１方向の４つの画素（画素(p0,q0)，画素(p0+1,q0)，画素(p0,q0+1)，画素(p0+1,q0+1)）に対応するＧ成分値をそれぞれ求める。

先ず、図８（ｂ）の場合（画素(p0,q0)が元のｘｙ座標でＧ成分の画素ではない場合）は、以下のように４つの画素（画素(p0,q0)，画素(p0+1,q0)，画素(p0,q0+1)，画素(p0+1,q0+1)）に対応するＧ成分値を算出する。
・画素(p0,q0)のＧ成分値の算出
画素(p0,q0)は元のｘｙ座標ではＧ成分の画素ではないので、近傍のＧ成分の画素の画素値から補間する。この時、画像構造方向情報算出部３０３ａが算出した構造方向情報（ＣＶ，ＣＨ）に応じて補間に使用する近傍のＧ成分の画素を選択する。
例えばCV≧CHの場合は、縦方向より横方向の方が類似度が高いので、画素(p0,q0)のＧ成分値（Ｇ(p0,q0)）は、画素(p0,q0)の左右の画素（p0-1，q0）と画素(p0+1,q0)を選択して、これらの画素のＧ成分値（Ｇ(p0-1,q0)とＧ(p0+1,q0)）の平均値とする（式９）。
Ｇ(p0,q0)=(Ｇ(p0-1,q0)+Ｇ(p0+1,q0))/2 …（式９）
逆にCV＜CHの場合は、横方向より縦方向の方が類似度が高いので、画素(p0,q0)のＧ成分値（Ｇ(p0,q0)）は、画素(p0,q0)の上下の画素(p0,q0-1)と画素(p0,q0+1)を選択して、これらの画素のＧ成分値（Ｇ(p0,q0-1)とＧ(p0,q0+1)）の平均値とする（式１０）。
Ｇ(p0,q0)=(Ｇ(p0,q0-1)+Ｇ(p0,q0+1))/2 …（式１０）
・画素(p0+1,q0)のＧ成分値の算出
画素(p0+1,q0)は元のｘｙ座標でＧ成分の画素(x+3,y+2)に対応するので、そのまま画素(x+3,y+2)のＧ成分（Ｇ(x+3,y+2)）を画素(p0+1,q0)のＧ成分（Ｇ(p0+1,q0)）とする（式１１）。
Ｇ(p0+1,q0)=Ｇ(x+3,y+2) …（式１１）
・画素(p0,q0+1)のＧ成分値の算出
画素(p0,q0+1)は元のｘｙ座標でＧ成分の画素(x+2,y+3)に対応するので、そのまま画素(x+2,y+3)のＧ成分（Ｇ(x+2,y+3)）を画素(p0,q0+1)のＧ成分（Ｇ(p0,q0+1)）とする（式１２）。
Ｇ(p0,q0+1)=Ｇ(x+2,y+3) …（式１２）
・画素(p0+1,q0+1)のＧ成分値の算出
画素(p0+1,q0+1)は元のｘｙ座標ではＧ成分の画素ではなくＢ成分の画素なので、近傍のＧ成分の画素から補間する。この時、画素(p0,q0)の場合と同様に、画像構造方向情報算出部３０３ａが算出した構造方向情報（ＣＶ，ＣＨ）に応じて補間に使用する近傍のＧ成分の画素を選択する。
例えばCV≧CHの場合は、画素(p0,q0)の場合と同様に、（式１３）により求める。
Ｇ(p0+1,q0+1)=(Ｇ(p0,q0+1)+Ｇ(p0+2,q0+1))/2 …（式１３）
逆にCV＜CHの場合は、画素(p0,q0)の場合と同様に、（式１４）により求める。
Ｇ(p0+1,q0+1)=(Ｇ(p0+1,q0)+Ｇ(p0+1,q0+2))/2 …（式１４）
尚、図８（ｃ）に示すように、色ズレ量(dx,dy)を整数化後の画素(p0,q0)がＧ成分の画素である場合についても、図８（ｂ）で説明した処理と同様の処理を行うことによって、４つの画素（画素(p0,q0)，画素(p0+1,q0)，画素(p0,q0+1)，画素(p0+1,q0+1)）のＧ成分値をそれぞれ求めることができる。例えば、図８（ｃ）において、元のｘｙ座標のＧ成分の画素に対応する画素(p0,q0)と画素(p0+1,q0+1)はそのまま元のＧ成分値を用い、元のｘｙ座標のＲ成分またはＢ成分の画素に対応する画素(p0+1,q0)と画素(p0,q0+1)については、構造方向情報（ＣＶ，ＣＨ）に応じて補間に使用する近傍のＧ成分の画素（上下または左右のＧ成分の画素）を選択して、その平均値を当該画素のＧ成分値とする。

以上のようにして、Ｇ補間生成部３５２は、４つの画素（画素(p0,q0)，画素(p0+1,q0)，画素(p0,q0+1)，画素(p0+1,q0+1)）のＧ成分値をそれぞれ求めることができる。

尚、列方向にp0と(p0+1)および行方向にq0と(q0+1)の４つの画素を選択する理由（＋１方向とする理由）は、先に色ズレ量(dx,dy)の小数点以下を切り捨てて整数化した値をp0およびq0とする処理を行っているので、実際の色ズレ後のＧ成分の画素(x+dx,y+dy)の位置は、必ず画素(p0,q0)を基準にして＋１画素以内の範囲内にあることになる。つまり、画素(p0,q0)，画素(p0+1,q0)，画素(p0,q0+1)，画素(p0+1,q0+1)の４つの画素の範囲内に実際の色ズレ後のＧ成分の画素(x+dx,y+dy)が位置している。

次に、Ｇ補間生成部３５２は、Ｒ成分（またはＢ成分）の注目画素(x,y)に対応する実際の色ズレ後の画素(x+dx,y+dy)のＧ成分を求める処理を行う。Ｇ補間生成部３５２は、図９に示すように、これらの４つの画素のＧ成分値から色ズレ量を整数化していない実際の色ズレ後の画素(x+dx,y+dy)のＧ成分値（ｉＧ(x+dx,y+dy)）を求める。尚、Ｇ成分の画素値（ｉＧ(x+dx,y+dy)）の求め方は、一般的な線形補間処理などで求めることができる。例えば図９の場合、ｄｘ＝２．４、ｙ＝１．８とすると、小数点以下の比率（ｘ方向に０．４、ｙ方向に０．８）を４つの画素のＧ成分値にそれぞれ乗算して（式１５）のようにＧ成分の画素値（ｉＧ(x+dx,y+dy)）を求めることができる。
ｉＧ(x+dx,y+dy)=0.2・0.6・G₀₀+0.8・0.6・G₀₁+0.2・0.4・G₁₀+0.8・0.4・G₁₁ …（式１５）
尚、（式１５）において、Ｇ_００は画素(p0,q0)のＧ成分値（Ｇ(p0,q0)）、Ｇ_０１は画素(p0+1,q0)のＧ成分値（Ｇ(p0+1,q0)）、はＧ_１０は画素(p0,q0+1)のＧ成分値（Ｇ(p0,q0+1)）、はＧ_１１は画素(p0+1,q0+1)のＧ成分値（Ｇ(p0+1,q0+1)）をそれぞれ表す。また、Ｇ_００，Ｇ_０１，Ｇ_１０およびＧ_１１の各画素は第２参照画素に対応する。

このようにして、Ｇ補間生成部３５２は、Ｒ成分（またはＢ成分）の画素に対応する色ズレ後のＧ成分の画素(x+dx,y+dy)のＧ成分値を求めることができる。尚、Ｇ補間生成部３５２は、上記と同様の処理を行うことにより、図１０に示すような色ズレ後の画素(x+dx,y+dy)を中心とする３つの画素のＧ成分値（Ｇ１，Ｇ２，Ｇ３）をそれぞれ求める。ここで、対象とする３つの画素は、構造方向情報（ＣＶ，ＣＤ１，ＣＤ２）に応じて異なる。また、Ｇ２およびＧ３の各画素は第３参照画素に対応し、Ｇ１の画素は第４参照画素に対応する。

例えば、ＣＶが最小である場合は、図１０（ａ）に示すように、画素(x,y)に対応する色ズレ後の画素(x+dx,y+dy)のＧ成分値（Ｇ１）と、画素(x+dx,y-2+dy)に対応する色ズレ後の画素(x+dx,y-2+dy)のＧ成分値（Ｇ２）と、画素(x+dx,y+2+dy)に対応する色ズレ後の画素(x+dx,y+2+dy)のＧ成分値（Ｇ３）とを図８および図９で説明したｉＧを求める処理を用いて以下のようにそれぞれ算出する。
Ｇｌ＝ｉＧ(x+dx,y+dy) …（式１６）
Ｇ２＝ｉＧ(x+dx,y-2+dy) …（式１７）
Ｇ３＝ｉＧ(x+dx,y+2+dy) …（式１８）
同様に、ＣＤ１が最小である場合は、図１０（ｂ）に示すように、画素(x,y)に対応する色ズレ後の画素(x+dx,y+dy)のＧ成分値（Ｇ１）と、画素(x-2+dx,y-2+dy)に対応する色ズレ後の画素(x-2+dx,y-2+dy)のＧ成分値（Ｇ２）と、画素(x+2+dx,y+2+dy)に対応する色ズレ後の画素(x+2+dx,y+2+dy)のＧ成分値（Ｇ３）とを以下のようにそれぞれ算出する。
Ｇｌ＝ｉＧ(x+dx,y+dy) …（式１９）
Ｇ２＝ｉＧ(x-2+dx,y-2+dy) …（式２０）
Ｇ３＝ｉＧ(x+2+dx,y+2+dy) …（式２１）
また、ＣＤ２が最小である場合は、図１０（ｃ）に示すように、画素(x,y)に対応する色ズレ後の画素(x+dx,y+dy)のＧ成分値（Ｇ１）と、画素(x+2+dx,y-2+dy)に対応する色ズレ後の画素(x+2+dx,y-2+dy)のＧ成分値（Ｇ２）と、画素(x-2+dx,y+2+dy)に対応する色ズレ後の画素(x-2+dx,y+2+dy)のＧ成分値（Ｇ３）とを以下のようにそれぞれ算出する。
Ｇｌ＝ｉＧ(x+dx,y+dy) …（式２２）
Ｇ２＝ｉＧ(x+2+dx,y-2+dy) …（式２３）
Ｇ３＝ｉＧ(x-2+dx,y+2+dy) …（式２４）
尚、本実施形態では、横方向の線キズであるため、ＣＨが最小である場合について処理を行わないが、縦方向に線キズがある場合は、ＣＨが最小である場合についても処理を行い、例えば画素(x,y)に対応する色ズレ後の画素(x+dx,y+dy)のＧ成分値（Ｇ１）と、画素(x-2+dx,y+dy)に対応する色ズレ後の画素(x-2+dx,y+dy)のＧ成分値（Ｇ２）と、画素(x+2+dx,y+dy)に対応する色ズレ後の画素(x+2+dx,y+dy)のＧ成分値（Ｇ３）とを以下のようにそれぞれ算出する。
Ｇｌ＝ｉＧ(x+dx,y+dy) …（式２５）
Ｇ２＝ｉＧ(x-2+dx,y+dy) …（式２６）
Ｇ３＝ｉＧ(x+2+dx,y+dy) …（式２７）
以上がＧ補間生成部３５２の処理である。

次に、Ｇ高周波成分生成部３５３は、Ｇ補間生成部３５２が算出した画素(x+dx,y+dy)を中心とする３つの画素のＧ成分値（Ｇ１，Ｇ２およびＧ３）を用いて、画素(x+dx,y+dy)の位置における高周波成分ｄＧを（式２８）のようにして求める。
ｄＧ＝G1-(G2+G3)/2 …（式２８）
次に、高周波成分付加部３５４は、暫定ＲＢ生成部３５１が求めた画素(x,y)のＲ成分の暫定画素値Ｒｚと、Ｇ高周波成分生成部３５３が求めた画素(x+dx,y+dy)の高周波成分ｄＧとを用いて、特定画素である画素(x,y)のＲ成分値Ｒ(x,y)を（式２９）のようにして求める。
Ｒ(x,y)＝Ｒｚ＋ｄＧ …（式２９）
尚、上記の説明では、線キズの中のＲ成分の１つの画素(x,y)の画素値を補間生成する処理について説明したが、線キズの他の部分のＲ成分の画素やＢ成分の画素についても同様の処理を繰り返すことによって、当該特定画素の画素値を補間生成することができる。

このようにして、特定画素成分生成部３０５ａは、全ての特定画素（線キズがあるＲ成分の画素またはＢ成分の画素）の画素値を補間生成する。

ここで、第１の実施形態の効果について図１１を用いて説明する。図１１（ｂ）は、従来技術のように色ズレを考慮せずに特定画素の補間処理を行った場合に生成される画素値の様子を示した図である。図１１（ｂ）において、Ｇ成分がＲ成分に対してｙ軸（縦方向）の＋方向に２画素ずれていて、ｙ座標が４の位置のＲ成分の画素に線キズがある場合を示している。このＲ成分の画素（特定画素）のＲ成分値を補間生成するために、先ずｙ座標が２と６のＲ成分の画素を用いて、ｙ座標が４の位置のＲ成分の画素の暫定補間値Ｒｚ（図の黒四角印）を補間生成しただけでは画像の微細構造を再現しない。例えば、線キズがなければｙ座標が４の位置のＲ成分の光量は約１００となるべきところが、暫定補間値Ｒｚ（黒四角印）の光量は約７０になってしまう。図１１（ｂ）において、色ズレに対応せずに高周波成分ｄＧ（同図のｙ座標４の位置の白矢印）を算出した場合の最終的な補正結果（同図の黒丸印）は、Ｒ成分の光学像を正しく再現していない。このような場合、補正結果の画像において色ズレしたＲ成分の画像とＧ成分の画像とが線キズ位置で消える場合があり、このような補間処理画像に対して図２の色ズレ補正処理部２０４が色ズレ補正を行うと逆に偽色が生じてしまうことになる。

これに対して本実施形態では、図１１（ａ）に示すように色ズレを考慮して特定画素の補間処理を行うようになっている。図１１（ａ）において、Ｇ成分がＲ成分に対してｙ軸（縦方向）の＋方向に２画素ずれた位置にあるＧ成分を用いて高周波成分ｄＧ（同図のｙ座標６の位置の白矢印）を算出し、それをｙ座標４の位置の暫定補間値Ｒｚ（同図の黒四角印）に付加することにより（同図のｙ座標４の位置の白矢印）、Ｒ成分の光学像を正しく再現するＲ成分（同図の黒丸印）が補間生成される。このように適正に線キズが補間された画像に対して図２の色ズレ補正処理部２０４が色ズレ補正を行うことにより、線キズ位置と正常位置の両方において、色ズレが適切に補正された画像が得られる。

尚、上記の実施形態において、参照する画素値に対してガンマ変換を行ってから補正値の算出処理を行い、算出した補正値を逆ガンマ変換してから補正対象である特定画素の画素値に代入しても構わない。これにより、被写体の同じ部分のＲ成分とＧ成分の画素値の大きさが異なる場合であっても、ガンマ変換した状態ではそれぞれの高周波成分の大きさはほぼ同じになるので、Ｇ成分の高周波成分ｄＧをＲ成分の高周波成分として採用した場合の精度が向上する。特に、ガンマ変換特性は対数特性（ｌｏｇ特性）であることが望ましいが、信号レベルが小さい領域においてはノイズ成分の影響が大きくなってしまうので完全な対数特性である必要はなく、擬似的な対数特性でガンマ変換するだけで上記と同様の効果が得られる。

（第２の実施形態）
次に、特定画素補間処理部２０３の別の構成および処理について説明する。

図１２は、第２の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ｂの構成および処理の流れを示すブロック図である。尚、図１２の特定画素補間処理部２０３ｂは、図２の特定画素補間処理部２０３に対応するブロックである。

特定画素補間処理部２０３ｂは、図２のガンマ変換部２０２から入力する（線キズのある）ＲＡＷデータの特定画素の画素値を補間生成し、特定画素が補正された（線キズ補正された）ＲＡＷデータを出力する。尚、本実施形態では、第１の実施形態の図４（ｂ）に示したように、特定画素を横方向に線キズのある欠陥画素（Ｒ成分の画素またはＢ成分の画素）として説明する。

図１２において、特定画素補間処理部２０３ｂは、画像入力部３０１と、画素値抽出部３０２と、画像構造方向情報算出部３０３ａと、色ズレ量取得部３０４と、特定画素成分生成部３０５ｂと、画像出力部３０６とで構成される。尚、図１２において、第１の実施形態の図３と同符号のものは同様の処理を行うブロックである。また、以下の説明では、図３の特定画素成分生成部３０５ａと異なる特定画素成分生成部３０５ｂについてのみ説明する。

［特定画素成分生成部３０５ｂの構成および処理］
次に特定画素成分生成部３０５ｂの構成および処理について説明する。特定画素成分生成部３０５ｂは、図１２に示したように、Ｇ補間生成部３５２と、色差補間部３６１と、色差付加部３６２とで構成される。尚、Ｇ補間生成部３５２は図３のＧ補間生成部３５２と同様の処理を行うので重複する説明は省略する。

ここで、色差補間部３６１と色差付加部３６２の２つの処理は、最終的に特定画素の第１色成分（Ｒ成分またはＢ成分）を生成する処理である（第１色成分生成部３４１ｂに対応）。また、Ｇ補間生成部３５２は、図３と同様に、第１色成分生成部で第１色成分を生成するために、色ズレ量を考慮した第２色成分（Ｇ成分）を生成する処理である（第２色成分生成部３４２ａに対応）。

先ず、色差補間部３６１は、画像構造方向情報算出部３０３ａが算出した構造方向情報（ＣＶ，ＣＤ１，ＣＤ２）に応じて、特定画素の画素(x,y)における色差成分Ｃｒを次のように求める。
・構造方向情報ＣＶが最小の場合は、図１３（ａ）に示すように、先ず特定画素の画素(x,y)の上下に近傍するＲ成分の画素(x,y-2)と画素(x,y+2)の色差Ｃｒ２および色差Ｃｒ３をそれぞれ求める。この時、第１の実施形態で説明したように、Ｒ成分の画素(x,y-2)と画素(x,y+2)のＧ成分（Ｇ２およびＧ３）はＧ補間生成部３５２によってそれぞれ求められている。従って、色差Ｃｒ２および色差Ｃｒ３はそれぞれ（式３０）および（式３１）のように求められる。
Ｃｒ２＝Ｒ(x,y-2)−Ｇ２ …（式３０）
Ｃｒ３＝Ｒ(x,y+2)−Ｇ３ …（式３１）
・構造方向情報ＣＤｌが最小の場合、図１３（ｂ）に示すように、色差Ｃｒ２および色差Ｃｒ３はそれぞれ（式３２）および（式３３）のように求められる。
Ｃｒ２＝Ｒ(x-2,y-2)−Ｇ２ …（式３２）
Ｃｒ３＝Ｒ(x+2,y+2)−Ｇ３ …（式３３）
・構造方向情報ＣＤ２が最小の場合、図１３（ｃ）に示すように、色差Ｃｒ２および色差Ｃｒ３はそれぞれ（式３４）および（式３５）のように求められる。
Ｃｒ２＝Ｒ(x+2,y-2)−Ｇ２ …（式３４）
Ｃｒ３＝Ｒ(x-2,y+2)−Ｇ３ …（式３５）
尚、色差Ｃｒ２および色差Ｃｒ３を求めるために参照している各式のＲ成分の画素は、第１参照画素に対応する。また、横方向の構造方向情報ＣＨを用いないのは、先に説明したように本実施形態では線キズが横方向のためである。従って、縦方向に線キズが有る場合や点キズの場合は、構造方向情報ＣＨが最小の場合についても、色差Ｃｒ２および色差Ｃｒ３はそれぞれ（式３６）および（式３７）のように求められる。
Ｃｒ２＝Ｒ(x-2,y)−Ｇ２ …（式３６）
Ｃｒ３＝Ｒ(x+2,y)−Ｇ３ …（式３７）
このようにして、色差補間部３６１は、構造方向情報に応じて、第１参照画素に対応する画素の色差Ｃｒ２および色差Ｃｒ３を求めた後、さらに特定画素の画素(x,y)における色差成分Ｃｒ(x,y)を次のように求める（式３８）。
Ｃｒ(x,y)＝（Ｃｒ２＋Ｃｒ３）／２ …（式３８）
次に、色差付加部３６２は、色差補間部３６１が求めた特定画素の画素(x,y)における色差成分Ｃｒ(x,y)と、Ｇ補間生成部３５２によって求められた特定画素の画素(x,y)におけるＧ成分（Ｇ１）とを用いて、特定画素の画素(x,y)におけるＲ成分を（式３９）のように補間生成する。
Ｒ(x,y)＝Ｃｒ(x,y)＋Ｇ１ …（式３９）
尚、上記の説明では、線キズの中のＲ成分の１つの画素(x,y)の画素値を補間生成する処理について説明したが、他の線キズのあるＲ成分の画素や線キズのあるＢ成分の画素についても同様の処理を繰り返すことによって、当該画素の画素値を補間生成することができる。

このようにして、特定画素成分生成部３０５ｂは、特定画素（線キズがあるＲ成分の画素またはＢ成分の画素）の画素値を補間生成する。

尚、第２の実施形態の効果は、図１１を用いて説明した第１の実施形態と同様に、Ｒ成分の光学像を正しく再現するＲ成分が補間生成されるので、補間処理された画像に対して図２の色ズレ補正処理部２０４が色ズレ補正を行うことにより、線キズ位置と正常位置の両方において、色ズレが適切に補正された画像が得られる。

尚、本実施形態においても、参照する画素値に対してガンマ変換を行ってから補正値の算出処理を行い、算出した補正値を逆ガンマ変換してから補正対象である特定画素の画素値に代入しても構わない。これにより、色差の誤差が少なくなるので第１の実施形態と同様の効果が得られる。

（第３の実施形態）
次に、特定画素補間処理部２０３の別の構成および処理について説明する。

図１４は、第３の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ｃの構成および処理の流れを示すブロック図である。尚、図１４の特定画素補間処理部２０３ｃは、図２の特定画素補間処理部２０３に対応するブロックである。

特定画素補間処理部２０３ｃは、図２のガンマ変換部２０２から入力する（線キズのある）ＲＡＷデータの特定画素の画素値を補間生成し、特定画素が補正された（線キズ補正された）ＲＡＷデータを出力する。尚、本実施形態では、第１および第２の実施形態とは異なり、図４（ｃ）に示したように、特定画素がＲ成分とＢ成分の画素だけでなく、Ｇ成分の画素にも線キズがある場合の処理に対応する。ここで、第１および第２の実施形態では、線キズのあるＲ成分またはＢ成分の画素（第１色成分の画素）が特定画素に対応したが、本実施形態では線キズがあるＲ成分またはＢ成分の画素（第１色成分の画素）が第１特定画素に対応し、線キズがあるＧ成分の画素（第２色成分の画素）が第２特定画素に対応する。

図１４において、特定画素補間処理部２０３ｃは、画像入力部３０１と、画素値抽出部３０２と、画像構造方向情報算出部３０３ｂと、色ズレ量取得部３０４と、特定画素成分生成部３０５ｃと、画像出力部３０６とで構成される。尚、図１４において、第１の実施形態の図３および第２の実施形態の図１２と同符号のものは同様の処理を行うブロックである。また、以下の説明では、図３および図１２とは異なる部分である画像構造方向情報算出部３０３ｂおよび特定画素成分生成部３０５ｃについて説明する。
［画像構造方向情報算出部３０３ｂ］
画像構造方向情報算出部３０３ｂは、注目画素を中心とする画像構造の方向を判別する。尚、図３の画像構造方向情報算出部３０３ａも同じように注目画素を中心とする画像構造の方向を判別する処理を行ったが、Ｇ成分の画素に線キズがある場合を想定しているので、本実施形態の画像構造方向情報算出部３０３ｂは図３の画像構造方向情報算出部３０３ａとは少し異なる処理を行う。

図１５は、画像構造方向情報算出部３０３ｂが画像構造の方向を判別する処理を説明するための補助図である。尚、図１５（ａ）において、線キズはｙ座標の(y-1)と(y)と(y+1)の３行の中のいずれか２行を想定し、上側線キズと称する場合はｙ座標の(y-1)と(y)の行に線キズがある場合を示し、下側線キズと称する場合はｙ座標の(y)と(y+1)の行に線キズがある場合を示すものとする。また、図１５（ａ）において、画素(x,y)を注目画素とした場合、画像構造の方向を判別するために用いる画素は、その３行上の画素(x,y-3)および３行下の画素(x,y+3)を中心画素とする上下左右のＧ成分の画素を用いる。

例えば図１５（ｂ）に示すように、縦方向（ＣＶ方向）は上下の画素、横方向（ＣＨ方向）は左右の画素、右下斜め方向（ＣＤ１方向）は中心画素の右上斜めの２つの画素と左下斜めの２つの画素、右上斜め方向（ＣＤ２方向）は中心画素の左上斜めの２つの画素と右下斜めの２つの画素をそれぞれ用いて計算する。尚、計算の方法は、第1の実施形態の図５の場合と同様に、各ペアとなる画素の差分の絶対値を求める。但し、図１５（ａ）の場合は、画素(x,y)の３行上の画素(x,y-3)と、３行下の画素(x,y+3)とがあるので、それぞれの画素について各方向のペアとなる画素の差分の絶対値を求めた後、画素(x,y-3)と画素(x,y+3)の同じ方向の算出値の平均値を算出する。

具体的には、図１５（ａ）において、各構造方向（ＣＶ，ＣＨ，ＣＤ１，ＣＤ２）に対して以下のように計算する。
ＣＶ=(|G(x,y-3-1)-G(x,y-3+1)|+|G(x,y+3-1)-G(x,y+3+1)|)/2 …（式４０）
ＣＨ=(|G(x-1,y-3)-G(x+1,y-3)|+|G(x-1,y+3)-G(x+1,y+3)|)/2 …（式４１）
ＣＤ１=(|G(x,y-3-1)-G(x+1,y-3)|+|G(x,y+3+1)-G(x-1,y+3)|)/2 …（式４２）
ＣＤ２=(|G(x,y-3-1)-G(x-1,y-3)|+|G(x,y+3+1)-G(x+1,y+3)|)/2 …（式４３）
尚、各式において、例えばＧ(x,y-3-1)などの表記は各画素の画素値を示すものとし、画素の位置（３行上、３行下など）がわかり易いように(y-3-1)などのように表記したが(y-3-1)は(y-4)と同じである。
ここで、第１の実施形態と同様に、各方向の構造方向情報ＣＶ，ＣＨ，ＣＤ１およびＣＤ２の値が小さいほど当該方向の類似性が高い画像構造を有していると判別する。

尚、上記の説明では、Ｇ成分の画素(x,y)の場合について説明したが、ｙ座標の(y-1)と(y)と(y+1)の３行の中のいずれかに線キズがある場合に対応し、例えばＲ成分の画素(x,y-1)や画素(x,y+1)が線キズの時に画像構造の方向を求める場合でも図１５（ａ）のようにして画像構造の方向を判別する。Ｂ成分の画素(x-1,y)や画素(x+1,y)の場合も同じである。いずれの場合でも、線キズのある行を避けた位置、且つできるだけ補正対象とする特定画素に近い位置で画像構造を判別することができる。

このようにして、画像構造方向情報算出部３０３ｂは、特定画素を中心とする画像構造の方向を精度良く判別することができる。

［特定画素成分生成部３０５ｃの構成および処理］
次に特定画素成分生成部３０５ｃの構成および処理について説明する。特定画素成分生成部３０５ｃは、図１４に示したように、Ｇ欠陥補正部３７１と、Ｇ補正結果代入部３７２と、第１色差生成部３７３と、第２色差生成部３７４と、色差修正部３７５と、色差付加部３７６と、Ｇ補間生成部３５２とで構成される。尚、Ｇ補間生成部３５２は図３のＧ補間生成部３５２と同様の処理を行うので重複する説明は省略する。

ここで、第１色差生成部３７３と第２色差生成部３７４と色差修正部３７５と色差付加部３７６の４つの処理は、最終的に特定画素の第１色成分（Ｒ成分またはＢ成分）を生成する処理である（第１色成分生成部３４１ｃに対応）。また、Ｇ欠陥補正部３７１とＧ補正結果代入部３７２とＧ補間生成部３５２は、第１色成分生成部３４１ｃで第１色成分を生成するために色ズレ量を考慮した第２色成分（Ｇ成分）を生成する処理と、Ｇ欠陥画素自身の第２色成分（Ｇ成分）を生成する処理とを行う（第２色成分生成部３４２ｂに対応）。

先ず、Ｇ欠陥補正部３７１は、画像構造方向情報算出部３０３ｂが判別した構造方向情報および線キズ位置に応じて、欠陥画素(x,y)のＧ成分の画素値Ｇ(x,y)を補間生成する。

具体的には、次のように構造方向情報および線キズ位置を用いて場合分けして処理する。
・構造方向情報ＣＶが最小の場合
図１６において、Ｇ成分の画素(x,y-2)と画素(x,y+2)とを用いて、Ｇ成分の欠陥画素(x,y)の画素値Ｇ(x,y)を（式４４）のように求める。
G(x,y)=(G(x,y-2)+G(x,y+2))/2 …（式４４）
・構造方向情報ＣＤ１が最小の場合
（(y+1)行が線キズの場合）
図１６において、Ｇ成分の画素(x-1,y-1)と画素(x+2,y+2)とを用いて、Ｇ成分の欠陥画素(x,y)の画素値Ｇ(x,y)を（式４５）のように求める。
G(x,y)=(2・G(x-1,y-1)+G(x+2,y+2))/3 …（式４５）
ここで、G(x-1,y-1)とG(x+2,y+2)とを画素(x,y)との距離に応じて２：１の比率で重み付けすることによって補間精度を高めている。
（(y-1)行が線キズの場合）
図１６において、Ｇ成分の画素(x-2,y-2)と画素(x+1,y+1)とを用いて、Ｇ成分の欠陥画素(x,y)の画素値Ｇ(x,y)を（式４６）のように求める。
G(x,y)=(G(x-2,y-2)+2・G(x+1,y+1))/3 …（式４６）
ここで、G(x-2,y-2)とG(x+1,y+1)とを画素(x,y)との距離に応じて１：２の比率で重み付けすることによって補間精度を高めている。
・構造方向情報ＣＤ２が最小の場合
（(y+1)行が線キズの場合）
図１６において、Ｇ成分の画素(x+1,y-1)と画素(x-2,y+2)とを用いて、Ｇ成分の欠陥画素(x,y)の画素値Ｇ(x,y)を（式４７）のように求める。
G(x,y)=(2・G(x+1,y-1)+G(x-2,y+2))/3 …（式４７）
ここで、G(x+1,y-1)とG(x-2,y+2)とを画素(x,y)との距離に応じて２：１の比率で重み付けすることによって補間精度を高めている。
（(y-1)行が線キズの場合）
図１６において、Ｇ成分の画素(x+2,y-2)と画素(x-1,y+1)とを用いて、Ｇ成分の欠陥画素(x,y)の画素値Ｇ(x,y)を（式４８）のように求める。
G(x,y)=(G(x+2,y-2)+2・G(x-1,y+1))/3 …（式４８）
ここで、G(x+2,y-2)とG(x-1,y+1)とを画素(x,y)との距離に応じて１：２の比率で重み付けすることによって補間精度を高めている。

尚、横方向の構造方向情報ＣＨを用いないのは、先に説明したように本実施形態では線キズが横方向のためであるが、縦方向に線キズが有る場合や点キズの場合は、構造方向情報ＣＨが最小の場合についても、Ｇ成分の欠陥画素(x,y)の画素値Ｇ(x,y)を（式４９）のように求める。
G(x,y)=(G(x-2,y)+G(x+2,y))/2 …（式４９）
このようにして、Ｇ欠陥補正部３７１は、画像構造方向情報算出部３０３ｂが判別した構造方向情報および線キズ位置に応じて、欠陥画素(x,y)のＧ成分の画素値Ｇ(x,y)を補間生成することができる（第２特定画素の補間）。

次に、Ｇ補正結果代入部３７２は、Ｇ欠陥補正部３７１が補間生成した特定画素位置のＧ成分値を代入し、Ｇ成分の画素の線キズを補正する。

一方、第１色差生成部３７３は、第１の実施形態で説明したＧ補間生成部３５２と同様の処理を行う第１Ｇ補間生成部３８１と、第２の実施形態の色差補間部３６１と同様の処理を行う暫定色差生成部３８２とで構成され、暫定色差Crz(x,y)を求める。ここで、第１および第２の実施形態で説明した第１参照画素は本実施形態の第５参照画素に、第２参照画素は本実施形態の第６参照画素に、第３参照画素は本実施形態の第７参照画素にそれぞれ対応する。また、本実施形態では、第１および第２の実施形態で説明した第４参照画素は用いず、後に説明するように、新たに第８参照画素と第９参照画素とを定義して用いる。 具体的には、第１色差生成部３７３は、画像構造方向情報算出部３０３ｂが算出した構造方向情報（ＣＶ，ＣＤ１，ＣＤ２）に応じて、暫定色差Crz(x,y)を求める。尚、以下の各式において各Ｒ成分の画素に対応するＧ成分値（Ｇ２およびＧ３）は、第１Ｇ補間生成部３８１が第１の実施形態で説明したＧ補間生成部３５２と同様の処理を行って求めるものとする。尚、第１Ｇ補間生成部３８１を第１色差生成部３７３内に設けずに、第１および第２の実施形態と同様に、図１４のＧ補間生成部３５２が第１Ｇ補間生成部３８１の処理を兼ねるようにして、Ｇ補間生成部３５２の出力を第１色差生成部３７３に入力するようにしても構わない。

以下、第１色差生成部３７３の第１Ｇ補間生成部３８１が生成した各Ｒ成分の画素に対応するＧ成分値（Ｇ２およびＧ３）を用いて暫定色差生成部３８２が暫定色差Crz(x,y)を求める処理について説明する。
・構造方向情報ＣＶが最小の場合（図１３（ａ）の場合）、特定画素の画素(x,y)の上下に近傍するＲ成分の画素(x,y-2)と画素(x,y+2)の色差Ｃｒ２および色差Ｃｒ３をそれぞれ求める。
Ｃｒ２＝Ｒ(x,y-2)−Ｇ２ …（式５０）
Ｃｒ３＝Ｒ(x,y+2)−Ｇ３ …（式５１）
・構造方向情報ＣＤｌが最小の場合（図１３（ｂ）の場合）、色差Ｃｒ２および色差Ｃｒ３はそれぞれ（式５２）および（式５３）のように求められる。
Ｃｒ２＝Ｒ(x-2,y-2)−Ｇ２ …（式５２）
Ｃｒ３＝Ｒ(x+2,y+2)−Ｇ３ …（式５３）
・構造方向情報ＣＤ２が最小の場合（図１３（ｃ）の場合）、色差Ｃｒ２および色差Ｃｒ３はそれぞれ（式５４）および（式５５）のように求められる。
Ｃｒ２＝Ｒ(x+2,y-2)−Ｇ２ …（式５４）
Ｃｒ３＝Ｒ(x-2,y+2)−Ｇ３ …（式５５）
尚、縦方向に線キズが有る場合や点キズの場合は、構造方向情報ＣＨが最小の場合についても、色差Ｃｒ２および色差Ｃｒ３はそれぞれ（式５６）および（式５７）を求める。
Ｃｒ２＝Ｒ(x-2,y)−Ｇ２ …（式５６）
Ｃｒ３＝Ｒ(x+2,y)−Ｇ３ …（式５７）
このようにして、第１色差生成部３７３の暫定色差生成部３８２は、構造方向情報に応じて色差Ｃｒ２および色差Ｃｒ３を求めた後、さらに特定画素(x,y)における暫定色差Crz(x,y)を次のように求める。
Crz(x,y)＝（Ｃｒ２＋Ｃｒ３）／２ …（式５８）
次に、第２色差生成部３７４は、特定画素(x,y)における暫定色差Crz(x,y)の精度を高めるために、特定画素(x,y)周辺に参照画素を設定して、参照色差Ｃｒｓを生成する。ここで、第２色差生成部３７４は、参照画素位置設定部３９１と、データ抽出部３９２と、第２Ｇ補間生成部３９３と、参照色差生成部３９４とで構成される。

先ず、参照画素位置設定部３９１は、線キズ位置および色ズレ量の条件に応じて、補正対象となるＲ成分の特定画素(x,y)近傍に参照色差Ｃｒｓを生成すべき参照画素位置（第８参照画素位置に相当）を設定する。例えば、図１７において、点線で囲んだ部分のＲ成分の画素のいずれかが下記の条件に応じて第８参照画素位置として設定される。

ここで、線キズ位置および色ズレ量の条件は、図１７に示したように、例えば二連続線キズの上側であるか下側であるかで場合分けし、さらに縦方向（ｙ軸方向）の色ズレ量ｄｙの値に応じて場合分けする。尚、線キズを挟んで上側の第８参照画素位置のｙ座標を示す(y+dy_ue)と、線キズを挟んで下側の第８参照画素位置のｙ座標を示す(y+dy_st)として第８参照画素位置を設定する。
［二連続線キズの上側の場合］
図１８は、二連続線キズの上側の場合で、且つ色ズレ量ｄｙがｄｙ＞０の場合に求めるべき参照色差Ｃｒｓの位置（第８参照画素位置）を示した図で、線キズを避けるために(dy_ue=-2)、(dy_st=８)とに分けて第８参照画素位置を設定する。具体的には、(dy_ue=-2)の時の第８参照画素位置は画素(x-2,y-2)，画素(x,y-2)および画素(x+2,y-2)の３つの画素となり、(dy_st=4)の時の第８参照画素位置は画素(x-2,y+4)，画素(x-2,y+4)および画素(x-2,y+4)の３つの画素となる。このようにして、二連続線キズの上側で色ズレ量（ｄｙ＞０）の場合の６つの第８参照画素位置が決まる。

また、二連続線キズの上側で色ズレ量（ｄｙ＜−１）の場合、線キズを避けるための６つの第８参照画素位置は(dy_ue=-4、dy_st=2)となる。具体的には、dy_ue=-4の時の第８参照画素位置は画素(x-2,y-4)，画素(x,y-4)および画素(x+2,y-4)の３つの画素となり、dy_st=2の時の第８参照画素位置は画素(x-2,y+2)，画素(x-2,y+2)および画素(x-2,y+2)の３つの画素となる。

同様に、二連続線キズの上側で色ズレ量（−１≦ｄｙ≦０）の場合、線キズを避けるための６つの第８参照画素位置は(dy_ue=-2、dy_st=2)となる。具体的には、(dy_ue=-2)の時の第８参照画素位置は画素(x-2,y-2)，画素(x,y-2)および画素(x+2,y-2)の３つの画素となり、dy_st=2の時の第８参照画素位置は画素(x-2,y+2)，画素(x-2,y+2)および画素(x-2,y+2)の３つの画素となる。

以上が二連続線キズの上側の場合の第８参照画素位置の設定である。二連続線キズの下側の場合についても同様に次のように第８参照画素位置を設定する。
［二連続線キズの下側の場合］
二連続線キズの下側の場合も図１８で説明した二連続線キズ上側の場合と同じように第８参照画素位置を設定する。例えば図１９において、二連続線キズの下側でｄｙ＜０の場合に線キズを避けるためにはdy_ue=-4、dy_st=2の位置に第８参照画素位置を設定する。具体的には、dy_ue=-4の時の第８参照画素位置は画素(x-2,y-4)，画素(x,y-4)および画素(x+2,y-4)の３つの画素となり、dy_st=2の時の第８参照画素位置は画素(x-2,y+2)，画素(x-2,y+2)および画素(x-2,y+2)の３つの画素となる。

また、二連続線キズの下側で色ズレ量（ｄｙ＞１）の場合、線キズを避けるための６つの第８参照画素位置は(dy_ue=-2)、(dy_st=4)となる。具体的には、(dy_ue=-2)の時の第８参照画素位置は画素(x-2,y-2)，画素(x,y-2)および画素(x+2,y-2)の３つの画素となり、(dy_st=4)の時の第８参照画素位置は画素(x-2,y+4)，画素(x-2,y+4)および画素(x-2,y+4)の３つの画素となる。

同様に、二連続線キズの下側で色ズレ量（０≦ｄｙ≦１）の場合、線キズを避けるための６つの第８参照画素位置は(dy_ue=-2、dy_st=2)となる。具体的には、(dy_ue=-2)の時の第８参照画素位置は画素(x-2,y-2)，画素(x,y-2)および画素(x+2,y-2)の３つの画素となり、dy_st=2の時の第８参照画素位置は画素(x-2,y+2)，画素(x-2,y+2)および画素(x-2,y+2)の３つの画素となる。

以上が二連続線キズの下側の場合の第８参照画素位置の設定である。

次に、データ抽出部３９２は、参照画素位置設定部３９１が設定した第８参照画素の第１色成分値（Ｒ成分値またはＢ成分値）を抽出する。例えば、図１８の第８参照画素(x,y-2)の場合は、画素(x,y-2)のＲ成分値を抽出する。具体的には、ＲＡＷデータのＲ成分の画素(x,y-2)の画素値を読み出す。同様に、各条件に対応する６つの第８参照画素のＲ成分値を抽出する。尚、Ｂ成分の特定画素の場合は、上記の処理をＢ成分の画素について行い、各条件に対応する６つの第８参照画素のＢ成分値を抽出する。

次に、第２Ｇ補間生成部３９３は、第１色成分（Ｒ成分またはＢ成分）の第８参照画素から色ズレ量だけずれた位置（第９参照画素位置）の第２色成分値（Ｇ成分値）を補間生成する。この処理は、第１の実施形態で説明したＧ補間生成部３５２と同様の処理を用いて、第８参照画素の色ズレ後の画素のＧ成分値（ｉＧ）を求める処理である。例えば、図１８の第８参照画素(x,y-2)の色ズレ後の第９参照画素(x+dx,y-2+dy)のＧ成分値（ｉＧ(x+dx,y-2+dy)を第１の実施形態で説明したＧ補間生成部３５２と同様の処理で求める。また、図１８の第８参照画素(x-2,y-2)の色ズレ後の第９参照画素(x-2+dx,y-2+dy)のＧ成分値はｉＧ(x-2+dx,y-2+dy)となり、第８参照画素(x,y-2)の色ズレ後の第９参照画素(x+dx,y-2+dy)のＧ成分値はｉＧ(x+dx,y-2+dy)となり、第８参照画素(x+2,y-2)の色ズレ後の第９参照画素(x+2+dx,y-2+dy)のＧ成分値はｉＧ(x+2+dx,y-2+dy)となる。同様に、画素(x-2,y+4)，画素(x,y+4)および画素(x+2,y+4)の各第８参照画素に対応する色ズレ後の第９参照画素のＧ成分値は、ｉＧ(x-2+dx,y+4+dy)，ｉＧ(x+dx,y+4+dy)およびｉＧ(x+2+dx,y+4+dy)のようにそれぞれ求められる。

尚、他の条件の場合の第８参照画素やＢ成分の特定画素の場合の第８参照画素についても同様に色ズレ後の第９参照画素位置に対応するＧ成分値を求めることができる。

次に、参照色差生成部３９４は、データ抽出部３９２が抽出した第８参照画素の第１色成分値（Ｒ成分値またはＢ成分値）と、第２Ｇ補間生成部３９３が生成した第９参照画素の第２色成分値（Ｇ成分値）とを用いて６つの参照色差Crs1からCrs6を求める。

例えば図１８の第８参照画素(x-2,y-2)の参照色差Crs1は（式５９）のように求められる。尚、第８参照画素のＲ成分値をＲｓと表記する。
Crs1(x-2,y-2)=Rs(x-2,y-2)-iG(x-2+dx,y-2+dy) …（式５９）
また、第８参照画素(x,y-2)の参照色差Crs2は（式６０）のように求められる。
Crs2(x,y-2)=Rs(x,y-2)-iG(x+dx,y-2+dy) …（式６０）
同様に、第８参照画素(x+2,y-2)の参照色差Crs3、第８参照画素(x-2,y+4)の参照色差Crs4、第８参照画素(x,y+4)の参照色差Crs5、第８参照画素(x+2,y+4)の参照色差Crs6は（式６１），（式６２），（式６３）および（式６４）のようにそれぞれ求められる。
Crs3(x+2,y-2)=Rs(x+2,y-2)-iG(x+2+dx,y-2+dy) …（式６１）
Crs4(x-2,y+4)=Rs(x-2,y+4)-iG(x-2+dx,y+4+dy) …（式６２）
Crs5(x,y+4)=Rs(x,y+4)-iG(x+dx,y+4+dy) …（式６３）
Crs6(x+2,y+4)=Rs(x+2,y+4)-iG(x+2+dx,y+4+dy) …（式６４）
尚、他の条件の場合の参照色差やＢ成分の特定画素の場合の参照色差についても同様に求めることができる。

ここで、本実施形態の説明では、線キズが横方向（ｘ軸方向）の場合について説明しているが、線キズが縦方向（ｙ軸方向）である場合は、二連続線キズの右側であるか左側であるかで場合分けし、さらに横方向（ｘ軸方向）の色ズレ量ｄｘの値に応じて場合分けすればよい。

以上が第２色差生成部３７４を構成する参照画素位置設定部３９１，データ抽出部３９２，第２Ｇ補間生成部３９３および参照色差生成部３９４の各処理である。

次に、色差修正部３７５の処理について説明する。色差修正部３７５は、第２色差生成部３７４が各条件毎に生成した複数の参照色差を利用して、第１色差生成部３７３が生成した特定画素(x,y)の暫定色差Crzを修正する。先ず、色差修正部３７５は、第２色差生成部３７４が生成した複数の参照色差（先の例では各条件毎に生成された６つの参照色差（Crs1からCrs6））の中から最大値の参照色差Crs_maxと、最小値の参照色差Crs_minとを求める。例えば、図１８のCrs1からCrs6の６つの参照色差において、画素(x-2,y+4)のCrs4が最大値の場合はCrs_max=Crs4となり、画素(x+2,y-2)のCrs3が最小値の場合はCrs_min=Crs3となる。

さらに、色差修正部３７５は、第１色差生成部３７３が生成した暫定色差Crzと、最大参照色差Crs_maxおよび最小参照色差Crs_minとを比較した結果に応じて、以下のように特定画素(x,y)の暫定色差Crzを修正する。ここで、分かり易いように、色差修正部３７５が処理後の出力を修正色差Crmとする。
（１）暫定色差Crzが最大参照色差Crs_maxより大きい場合（Crz＞Crs_max）
色差修正部３７５は、特定画素(x,y)の暫定色差Crzを修正して最大参照色差Crs_maxを修正色差Crmとして出力する（Crm(x,y)=Crs_max）。
（２）暫定色差Crzが最小参照色差Crs_minより小さい場合（Crz＜Crs_min）
色差修正部３７５は、特定画素(x,y)の暫定色差Crzを修正して最小参照色差Crs_minを修正色差Crmとして出力する（Crm(x,y)=Crs_min）。
（３）暫定色差Crzが最小参照色差Crs_minと最大参照色差Crs_maxの間にある場合（Crs_min≦Crz≦Crs_max）
色差修正部３７５は、特定画素(x,y)の暫定色差Crzをそのまま修正色差Crmとして出力する（Crm(x,y)=Crz(x,y)）。

このようにして、色差修正部３７５は、第２色差生成部３７４が各条件毎に生成した複数の参照色差を利用して、第１色差生成部３７３が生成した特定画素(x,y)の暫定色差Crzを修正して修正色差Crmを出力する。この処理によって、暫定色差Crzが極端に外れた値になることを防止できるので、求められる特定画素(x,y)の色差値の信頼性が向上する。

次に、色差付加部３７６は、色差修正部３７５が出力する修正色差Ｃｒｍと、Ｇ補間生成部３５２が出力する特定画素(x,y)のＧ成分の補間値Ｇ１とを用いて、特定画素(x,y)のＲ成分を（式６５）のようにして求める。尚、Ｇ成分の補間値Ｇ１は、第１の実施形態のＧ補間生成部３５２の処理で説明したように、特定画素(x,y)のＲ成分に対して色ズレした位置の画素(x+dx,y+dy)のＧ成分（ｉＧ(x+dx,y+dy)）である。
Ｒ(x,y)＝Ｃｒｍ(x,y)＋Ｇ１
＝Ｃｒｍ(x,y)＋ｉＧ(x+dx,y+dy) …（式６５）
尚、上記の説明では、線キズの中のＲ成分の１つの画素(x,y)の画素値を補間生成する処理について説明したが、他の線キズのあるＲ成分の画素や線キズのあるＢ成分の画素についても同様の処理を繰り返すことによって、特定画素の画素値を補間生成することができる。

このようにして、特定画素成分生成部３０５ｃは、特定画素（線キズがあるＲ成分の画素またはＢ成分の画素）の画素値を補間生成する。

ここで、第３の実施形態の効果について図２０を用いて説明する。図２０は、本実施形態の効果を説明するための説明図である。図２０において、Ｇ成分（点線）がＲ成分（実線）に対してｙ軸（縦方向）の＋方向に２画素ずれていて、ｙ座標が４の位置のＲ成分の画素と、ｙ座標が４および５の位置のＧ成分の画素とに線キズがある場合を示している。

従来技術においては、その線キズを補正する場合、先ずｙ座標が３と６のＧ成分の画素を用いてＧ成分の補正値（黒三角印）を生成する。但し、この補正値は実際のＧ成分の光学像（点線）に比べてなだらかになっている。次に、線キズを挟んだＲ成分の画素における色差を生成する。この処理では、色差を生成するＲ成分の画素位置に対して色ズレした２画素＋側のＧ成分の画素を参照するので、例えば図２０においてｙ座標が２のＲ成分の画素位置の色差を生成する場合、参照するＧ成分の画素はｙ座標が４の位置の欠陥補正後のＧ成分（黒三角印）なので、実際よりもなだらかに変化する値になる。これにより、ｙ座標が２のＲ成分の画素位置に生成した色差には偽色（同図のｙ座標２の位置の白矢印）が生じる。さらに、この偽色が生じた色差を用いてｙ座標が４のＲ成分の画素位置に暫定色差を生成すると、そこにも偽色が生じてしまう。

これに対して本実施形態では、欠陥Ｇ画素位置に生成されたＧ成分の影響をあまり受けずに色差を生成できる位置に参照色差Ｃｒｓを生成する。例えば、図２０の例では、ｙ座標が０と６の位置に参照色差（上向き白矢印）を生成しており、その参照色差Ｃｒｓは偽色がなく正しく再現されている。そして、色差修正部３７５は、参照色差Ｃｒｓを用いて暫定色差Crzを修正するので、正しい色差を得ることができる。この結果、ｙ座標が４のＲ成分の特定画素位置の補正結果（黒丸印）は正しく再現される。このように適正に線キズが補間された画像に対して図２の色ズレ補正処理部２０４が色ズレ補正を行うことにより、線キズ位置と正常位置の両方において、色ズレが適切に補正された画像が得られる。

（第４の実施形態）
次に、特定画素補間処理部２０３の別の構成および処理について説明する。

図２１は、第４の実施形態に係る電子カメラ１０１の特定画素補間処理部２０３ｄの構成および処理の流れを示すブロック図である。尚、図２１の特定画素補間処理部２０３ｄは、図２の特定画素補間処理部２０３に対応するブロックである。

特定画素補間処理部２０３ｄは、図２のガンマ変換部２０２から入力する（線キズのある）ＲＡＷデータの特定画素の画素値を補間生成し、特定画素の無い（線キズ補正された）ＲＡＷデータを出力する。尚、本実施形態は、第３の実施形態で説明した特定画素補間処理部２０３ｃの出力を追加補正することにより、特定画素の補間生成値の精度をさらに向上することができる。

図２１において、特定画素補間処理部２０３ｄは、第３の実施形態の図１４で説明した特定画素補間処理部２０３ｃと、追加補正判定部４０１と、追加Ｇ補間生成部４０２と、追加色差生成部４０３と、追加色差修正部４０４と、追加補正結果生成部４０５と、追加画像出力部４０６とで構成される。尚、以下の説明では、第３の実施形態で説明した特定画素補間処理部２０３ｃの説明は省略する。

追加補正判定部４０１は、第３の実施形態で説明した特定画素補間処理部２０３ｃの第２色差生成部３７４で使用した参照色差位置（dy_ueおよびdy_st）に応じて追加補正処理を実施するか否かを判定する。そして、追加補正しない場合は特定画素補間処理部２０３ｃの処理結果をそのまま特定画素補間処理部２０３ｄの処理結果として出力し、追加補正する場合は特定画素補間処理部２０３ｃが出力する参照色差位置（dy_ueおよびdy_st）から追加補正位置を決定し、追加補正処理を行う。

（追加補正実施の判定方法）追加補正処理を実施するか否かは以下のようにして判定する。
・参照色差位置がdy_ue=-4の場合：追加補正を行う。そして、この場合の追加補正位置（dy_tk）は−２とする（dy_tk＝-2）。
・参照色差位置がdy_st=4の場合：追加補正を行う。そして、この場合の追加補正位置（dy_tk）は２とする（dy_tk＝2）。
・参照色差位置がdy_ue≠-4かつdy_st≠4の場合：追加補正を行わない。つまり、この場合の追加補正位置（dy_tk）は０となる（dy_tk＝0）。

次に、追加Ｇ補間生成部４０２は、第1の実施形態のＧ補間生成部３５２と同様の処理を行って、追加補正位置（dy_tk）から色ズレ量（dx,dy)だけズレた位置にある画素（x+dx,y+dy_tk+dy)のＧ成分値G_tkを生成する（G_tk=iG（x+dx,y+dy_tk+dy)）。ここで、追加補正位置（dy_tk）から色ズレ量（dx,dy)だけズレた位置にある画素（x+dx,y+dy_tk+dy)は第１０参照画素に相当する。

次に、追加色差生成部４０３は、追加補正位置（dy_tk）の画素(x+dx,y+dy_tk+dy)の追加色差Cr_tkを次の式で生成する。
Cr_tk(x,y+dy_tk)=R(x,y+dy_tk)-G_tk
Cr_tk(x,y+dy_tk)=R(x,y+dy_tk)-iG(x+dx,y+dy_tk+dy) …（式６６）
次に、追加色差修正部４０４は、第３の実施形態の特定画素補間処理部２０３ｃの第２色差生成部３７４が各条件毎に生成した複数の参照色差を利用して、追加色差生成部４０３が生成した追加色差Cr_tkを修正する。この処理は、第３の実施形態の色差修正部３７５の処理と同様の処理で、暫定色差Crzの代わりに追加色差Cr_tkを修正の対象とする部分だけが異なる。

先ず、追加色差修正部４０４は、第２色差生成部３７４が生成した複数の参照色差（先の例では各条件毎に生成された６つの参照色差（Crs1からCrs6））の中から最大値の参照色差Crs_maxと、最小値の参照色差Crs_minとを求める。

さらに、追加色差修正部４０４は、追加色差生成部４０３が生成した追加色差Cr_tkと、最大参照色差Crs_maxおよび最小参照色差Crs_minとを比較した結果に応じて、以下のように追加補正位置の画素(x,y+dy_tk）の追加色差Cr_tkを修正する。ここで、分かり易いように、追加色差修正部４０４が処理後の出力を修正追加色差Crm_tkとする。
（１）追加色差Cr_tkが最大参照色差Crs_maxより大きい場合（Cr_tk＞Crs_max）
追加色差修正部４０４は、追加補正位置の画素(x,y+dy_tk）の追加色差Cr_tkを修正して最大参照色差Crs_maxを修正追加色差Crm_tkとして出力する（Crm_tk(x,y+dy_tk)=Crs_max）。
（２）追加色差Cr_tkが最小参照色差Crs_minより小さい場合（Cr_tk＜Crs_min）
追加色差修正部４０４は、追加補正位置の画素(x,y+dy_tk）の追加色差Cr_tkを修正して最小参照色差Crs_minを修正追加色差Crm_tkとして出力する（Crm_tk(x,y+dy_tk)=Crs_min）。
（３）追加色差Cr_tkが最小参照色差Crs_minと最大参照色差Crs_maxの間にある場合（Crs_min≦Cr_tk≦Crs_max）
追加色差修正部４０４は、追加補正位置の画素(x,y+dy_tk）の追加色差Cr_tkをそのまま修正追加色差Crm_tkとして出力する（Crm_tk(x,y+dy_tk)=Cr_tk(x,y+dy_tk)）。

このようにして、追加色差修正部４０４は、第３の実施形態の特定画素補間処理部２０３ｃの第２色差生成部３７４が各条件毎に生成した複数の参照色差を利用して、追加色差生成部４０３が生成した追加色差Cr_tkを修正する。この処理によって、追加色差Cr_tkが極端に外れた値になることを防止できるので、求められる追加補正位置の画素(x,y+dy_tk）の色差値の信頼性が向上する。

次に、追加補正結果生成部４０５は、追加色差修正部４０４で修正された修正追加色差Crm_tkに追加Ｇ補間生成部４０２が生成したG_tkを加算することにより、最終的な追加補正位置の画素(x,y+dy_tk）のＲ成分（R(x,y+dy_tk））を（式６７）により求める。
R(x,y+dy_tk)=Crm_tk(x,y+dy_tk)+G_tk(x+dx,y+dy_tk+dy) …（式６７）
追加画像出力部４０６は、追加補正結果生成部４０５が生成したＲ成分(x,y+dy_tk)を追加補正判定部４０１が決定した追加補正位置の画素(x,y+dy_tk）の画素値に代入する。

このようにして、特定画素成分生成部３０５ｄは、第３の実施形態で説明した特定画素補間処理部２０３ｃの出力を追加補正することにより、偽色を防止することができる。

ここで、第４の実施形態の効果について図２２を用いて説明する。図２２は、本実施形態の効果を説明するための説明図である。図２２において、Ｇ成分（点線）がＲ成分（実線）に対してｙ軸（縦方向）の＋方向に２画素ずれていて、ｙ座標が４の位置のＲ成分の画素と、ｙ座標が４および５の位置のＧ成分の画素とに線キズがある場合を示している。図２２において、ｙ座標が２のＲ成分の画素は本来の画像の構造を再現している（つまり実線上にある）が、そのＲ成分の画素に対応する色ズレ後のＧ成分の画素はｙ座標４の位置の画素となる。このＧ成分の画素は欠陥補正された画素値（黒三角印）であるために、ｙ座標が２の画素のＲ成分の色差を求めた場合、図２２のｙ座標が２の位置に示した下向き白矢印に相当する偽色が生じてしまう。つまり、特定画素の補間生成処理後のＲＡＷデータに対して、図２の色ズレ補正処理部２０４が色ズレ補正を行った場合に偽色が生じることを意味する。

そこで、第４の実施形態ではこの間題を回避するために、色ズレ位置にあるＧ成分の画素が欠陥画素である場合に、対応するＲ成分の画素の色差（ｙ座標が２の位置の下向き白矢印）を算出して、これを参照色差の範囲に応じて修正することによって、補間生成された欠陥画素位置のＧ成分（図２２のｙ座標が４の位置の黒三角印）に対応する色ズレ位置の画素のＲ成分（図２２のｙ座標が２の位置の二重白丸印）を求めることができるので、図２２のｙ座標が２の位置に示した下向き白矢印に相当する偽色は生じなくなる。これにより、本実施形態で説明した特定画素補間処理部２０３ｄの処理後のＲＡＷデータに対して図２の色ズレ補正処理部２０４が色ズレ補正を行っても偽色が生じることがない。

以上、各実施形態で説明してきたように、本発明に係る画像処理装置は各実施形態における特定画素補間処理部２０３に対応し、本発明に係る電子カメラは各実施形態における特定画素補間処理部２０３を有する電子カメラ１０１に対応する。

尚、各実施形態における画像処理部１０７の処理を実行する専用の画像処理装置としても構わず、この場合は特定画素を有するＲＡＷデータを入力して特定画素の各色成分を補間生成したＲＡＷデータを出力する。尚、この場合の画像処理装置は、図２の画像処理部１０７の各処理を実行する画像処理装置であっても構わないし、特定画素補間処理部２０３と色ズレ補正処理部２０４の処理のみを実行する画像処理装置であっても構わない。但し、いずれの構成の画像処理装置であっても各実施形態で説明した特定画素補間処理部２０３の処理を実行する画像処理装置であれば、各実施形態と同じ効果が得られる。

また、図３，図１２，図１４および図２１に示した特定画素補間処理部２０３ａ，特定画素補間処理部２０３ｂ，特定画素補間処理部２０３ｃおよび特定画素補間処理部２０３ｄの各処理をソフトウェアで実行する画像処理プログラムであっても構わない。この場合は、例えば当該画像処理プログラムをメモリカードインターフェース付きのパソコン上で実行し、メモリカードインターフェースに装着されたメモリカードから特定画素を有するＲＡＷデータを読み出して特定画素の各色成分値を補間生成する処理を実行し、処理後の画像をパソコンのモニタに表示したり、再びメモリカードに記憶する。尚、特定画素補間処理部２０３の処理をコンピュータなどで実行する画像処理プログラムの場合は、図３，図１２，図１４および図２１の各処理ブロックをソフトウェアフローチャートの処理ステップに読み替えればよい。

以上、本発明に係る画像処理装置および電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ；１０２・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・Ａ／Ｄ変換部；１０６・・・画像バッファ；１０７・・・画像処理部；１０８・・・カメラ制御部；１０９・・・メモリ；１１０・・・表示部；１１１・・・操作部材；１１２・・・メモリカードＩＦ（インターフェース）；１１２ａ・・・メモリカード；２０１・・・ホワイトバランス処理部（ＷＢ処理部）；２０２・・・ガンマ変換部；２０３・・・特定画素補間処理部；２０４・・・色ズレ補正処理部；２０５・・・色補間処理部；２０６・・・ガンマ補正処理部；２０７・・・彩度強調処理部；２０８・・・輪郭強調処理部；２０９・・・圧縮処理部；２０３ａ，２０３ｂ，２０３ｃ，２０３ｄ・・・特定画素補間処理部；３０１・・・画像入力部；３０２・・・画素値抽出部；３０３ａ・・・画像構造方向情報算出部；３０４・・・色ズレ量取得部；３０５ａ，３０５ｂ，３０５ｃ・・・特定画素成分生成部；３０６・・・画像出力部；３５１・・・暫定ＲＢ生成部；３５２・・・Ｇ補間生成部；３５３・・・Ｇ高周波成分生成部；３５４・・・高周波成分付加部；３４１ａ・・・第１色成分生成部；３４２ａ・・・第２色成分生成部；３６１・・・色差補間部；３６２・・・色差付加部；３７１・・・Ｇ欠陥補正部；３７２・・・Ｇ補正結果代入部；３７３・・・第１色差生成部；３７４・・・第２色差生成部；３７５・・・色差修正部；３７６・・・色差付加部；３８１・・・第１Ｇ補間生成部；３８２・・・暫定色差生成部；３９１・・・参照画素位置設定部；３９２・・・データ抽出部；３９３・・・第２Ｇ補間生成部；３９４・・・参照色差生成部；４０１・・・追加補正判定部；４０２・・・追加Ｇ補間生成部；４０３・・・追加色差生成部；４０４・・・追加色差修正部；４０５・・・追加補正結果生成部；４０６・・・追加画像出力部

Claims (10)

1. 少なくとも第１色成分と第２色成分を含む複数種類の色成分のいずれか１つの色成分値を有する複数画素で構成され、且つ前記第１色成分を有するべき複数画素のうち前記第１色成分の情報を利用できない特定画素が存在する撮像素子によって撮像された画像データを入力する画像入力部と、
   前記特定画素を含む近傍領域における前記第１色成分と前記第２色成分との色ズレ量を取得する色ズレ量取得部と、
   前記特定画素の第１色成分値を生成する特定画素成分生成部と
   を備え、
   前記特定画素成分生成部は、
   前記特定画素に対して前記色ズレ量だけずれた位置に近接する第２参照画素の第２色成分値を生成する第２色成分生成部と、
   前記特定画素に近接する第１参照画素の第１色成分値と、前記第２参照画素の第２色成分値とから前記特定画素の第１色成分値を生成する第１色成分生成部と
   で構成され
   前記特定画素成分生成部の前記第２色成分生成部は、
   前記第１参照画素に対して前記色ズレ量だけずれた位置に近接する第３参照画素の第２色成分値を前記第２参照画素の第２色成分値を用いて補間生成し、且つ前記特定画素に対して前記色ズレ量だけずれた位置に近接する第４参照画素の第２色成分値を前記第２参照画素の第２色成分値を用いて補間生成し、
   前記特定画素成分生成部の前記第１色成分生成部は、
   前記第１参照画素の第１色成分値と、前記第３参照画素の第２色成分値と、前記第４参照画素の第２色成分値とを用いて、前記特定画素の第１色成分値を生成する
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記特定画素成分生成部の前記第２色成分生成部に、前記第３参照画素の第２色成分値と、前記第４参照画素の第２色成分値とを用いて第２色成分の高周波成分値を生成する高周波成分生成部を更に設け、
   前記特定画素成分生成部の前記第１色成分生成部は、
   前記第１参照画素の第１色成分値を用いて前記特定画素に第１色成分暫定値を生成する暫定値生成部と、
   前記第１色成分暫定値に前記第２色成分の高周波成分値を付加して、前記特定画素の第１色成分値を生成する高周波成分付加部と
   で構成されることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記特定画素成分生成部の前記第１色成分生成部は、
   前記第１参照画素の第１色成分値と前記第３参照画素の第２色成分値とを用いて、前記第１参照画素の色差成分値を生成する色差生成部と、
   前記色差成分値を用いて前記特定画素の色差成分値を補間生成する色差補間部と、
   前記第４参照画素の第２色成分値と前記特定画素の色差成分値とを用いて前記特定画素の第１色成分値を生成する色差付加部と
   で構成されることを特徴とする画像処理装置。
4. 請求項１から３のいずれか一項に記載の画像処理装置において、
   前記画像データの画像構造の方向情報を算出する画像構造方向情報算出部を更に設け、
   前記特定画素成分生成部は、前記画像構造の方向情報に応じて、前記特定画素の第１色成分値を生成し、
   前記第１色成分生成部は、前記画像構造の方向情報に応じて、前記特定画素に類似する方向に近接する第１参照画素の第１色成分値と、前記第２参照画素の第２色成分値とから前記特定画素の第１色成分値を生成する
   ことを特徴とする画像処理装置。
5. 少なくとも第１色成分と第２色成分を含む複数種類の色成分のいずれか１つの色成分値を有する複数画素で構成され、且つ前記複数画素のうち前記第１色成分の情報を利用できない第１特定画素および前記第２色成分の情報を利用できない第２特定画素が存在する撮像素子によって撮像された画像データを入力する画像入力部と、
   前記第１特定画素および前記第２特定画素を含む近傍領域における前記第１色成分と前記第２色成分との色ズレ量を取得する色ズレ量取得部と、
   前記画像データの画像構造の方向情報を算出する画像構造方向情報算出部と、
   前記画像構造の方向情報に応じて、前記第２特定画素の第２色成分値を生成するＧ欠陥補正部と、
   前記画像構造の方向情報に応じて、前記第１特定画素に近接する第５参照画素の第１色成分値と、前記第１特定画素に対して前記色ズレ量だけずれた位置に近接し且つ前記第２特定画素の第２色成分値を含む第６参照画素の第２色成分値とを用いて、前記第１特定画素の第１色成分値を生成する特定画素成分生成部と
   を備えることを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記特定画素成分生成部は、
   前記第６参照画素の第２色成分値を用いて、前記第５参照画素に対して前記色ズレ量だけずれた位置に近接する第７参照画素の第２色成分値を補間生成する第１のＧ補間生
   成部と、
   前記第５参照画素の第１色成分値と前記第７参照画素の第２色成分値とを用いて暫定色差値を生成する暫定色差生成部と、
   前記第２特定画素に対して前記色ズレ量だけずれた位置に近接する第１色成分の画素を第８参照画素として設定する参照画素位置設定部と、
   前記第８参照画素の第１色成分値を抽出するデータ抽出部と、
   前記第８参照画素に対して前記色ズレ量だけずれた位置に近接する第９参照画素の第２色成分値を補間生成する第２のＧ補間生成部と、
   前記第８参照画素の第１色成分値と前記第９参照画素の第２色成分値とを用いて参照色差値を生成する参照色差生成部と、
   前記暫定色差値を前記参照色差値に近づけるように前記暫定色差値を修正して修正色差を生成する色差修正部と、
   前記修正色差と前記第７参照画素の第２色成分値とを用いて前記第１特定画素の第１色成分値を生成する色差付加部と
   を有することを特徴とする画像処理装置。
7. 請求項６に記載の画像処理装置において、
   前記参照画素位置設定部は、設定すべき前記第８参照画素に対して前記色ズレ量だけずれた位置に近接する第９参照画素が前記第２特定画素と重複しないように前記第８参照画素を設定する
   ことを特徴とする画像処理装置。
8. 請求項６に記載の画像処理装置において、
   前記第１特定画素近傍の第１色成分の画素を追加補正画素とし、前記追加補正画素から前記色ズレ量だけずれた位置に近接する第１０参照画素が前記第２特定画素である場合に追加補正の実行を決定する追加補正判定部と、
   前記第１０参照画素の第２色成分値を補間生成する追加Ｇ補間生成部と、
   前記追加補正画素の第１色成分値と前記第１０参照画素の第２色成分値とを用いて追加色差値を生成する追加色差生成部と、
   前記追加色差値を前記参照色差生成部が生成した前記参照色差値に近づけるように前記追加色差値を修正して修正追加色差値を生成する追加色差修正部と、
   前記修正追加色差値と前記第２特定画素の第２色成分値とを用いて、前記追加補正画素の第１色成分値を生成する追加画像出力部と
   を備えることを特徴とする画像処理装置。
9. 請求項１から８のいずれか一項に記載の画像処理装置が出力する画像データの色ズレ補正処理を行う色ズレ補正部を更に設けた
   ことを特徴とする画像処理装置。
10. 請求項９に記載の画像処理装置を搭載する電子カメラであって、
    光学系を介して入射する被写体光を各画素毎に複数種類の色成分のいずれか１つの色成分を有する複数画素で構成される画像データに変換して前記画像処理装置に出力する撮像部と、
    前記撮像部に撮像タイミングを与える操作部材と、
    前記画像処理装置が出力する画像データを所定のフォーマットで記憶媒体に記録する記録部と
    を設けたことを特徴とする電子カメラ。

Images