JP6051592B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、本来の撮像データを得られない特定画素がある画像に対する画像処理技術に関する。

従来、欠陥画素やＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）用の像面位相差画素など、本来の撮像データを得られない特定画素がある撮像素子によって撮影されたＲＡＷ画像（撮像素子から出力される生の画像）に対してデジタル現像処理を行う場合、現像処理の前にＲＡＷ画像の特定画素位置の画素値を推定して補間する処理が行われている（例えば、特許文献１、２参照）。また、倍率色収差の補正を行う技術も考えられている（例えば、特許文献３参照）。

特開２０１１−１０９５７２号公報 特開２００９−３０３１９４号公報 ＷＯ２００６／０９３２６６号公報

しかしながら、従来技術で行われているような複雑な処理を行ったとしても、特定画素位置の撮像データを必ずしも完全に再現することができない場合があり、デジタル現像処理後の画像に偽色が発生するという問題が生じる。特に、倍率色収差がある場合に特定画素の補間を精度良く行えないなどの問題もあった。

本発明の目的は、本来の撮像データを得られない特定画素がある撮像素子により撮影されたＲＡＷ画像に対してデジタル現像処理を行った場合でも偽色が発生せず、倍率色収差がある場合にも対応できる画像処理装置および撮像装置を提供することである。

本発明に係る画像処理装置は、複数の第１画素の第１色成分信号と複数の第２画素の第２色成分信号とから、撮像光学系による前記第１色成分信号と前記第２色成分信号の倍率色収差による位置ズレを補正して前記第１画素と前記第２画素と第３画素に前記第１色成分信号と前記第２色成分信号のそれぞれを有する画像を生成する画像処理装置において、前記複数の第１画素の第１色成分信号により、前記第２画素と前記第３画素とに第１色成分信号を補間する第１補間部と、前記複数の第２画素の第２色成分信号との位置ズレが補正された前記第１色成分信号と、前記第２色成分信号とにより、前記第２画素の色差信号を生成する第１生成部と、前記第２画素の色差信号により前記第３画素に色差信号を補間し、前記第２画素と前記第３画素の前記色差信号により前記第１画素に色差信号を補間する第２補間部と、前記第１色成分信号との位置ズレが補正された前記色差信号と、前記第１色成分信号とにより、前記第１画素と前記第２画素と前記第３画素に前記第２色成分信号を生成する第２生成部とを備える。

また、処理の前の前記第３画素は、前記撮像光学系の合焦を検出する信号を有する。

また、前記第２生成部は、前記第１色成分信号との位置ズレが補正された前記第１画素と前記第２画素と前記第３画素の前記色差信号と、前記第１画素と前記第２画素と前記第３画素の前記第１色成分信号とにより、前記第１画素と前記第２画素と前記第３画素に前記第２色成分信号を生成する。

また、前記第２補間部は、前記画像の画像構造の情報に基づき、前記第３画素に類似する方向に近接する前記第２画素の前記色差信号により、前記第３画素に前記色差信号を補間する。

また、前記第１生成部は、前記画像の第２色成分に対する前記画像の第１色成分の位置ズレが補正された前記第１色成分信号と、前記第２色成分信号とにより、前記第２画素の色差信号を生成し、前記第２生成部は、前記画像の第１色成分に対する前記画像の第２色成分の位置ズレが補正された前記色差信号と、前記第１色成分信号とにより、前記第２色成分信号を生成する。

また、前記第１画素と前記第２画素の配置はＢａｙｅｒ配列であり、前記第１色成分はＧ成分、前記第２色成分はＲ成分またはＢ成分であり、前記第３画素は、前記Ｂａｙｅｒ配列の一部の第２画素に配置されている。

本発明に係る撮像装置は、前記画像処理装置と、撮像部と、を備える。

本発明に係る画像処理装置および撮像装置は、本来の撮像データを得られない特定画素がある撮像素子により撮影されたＲＡＷ画像に対してデジタル現像処理を行った場合でも偽色の発生を抑え、倍率色収差がある場合にも対応することができる。

各実施形態に係る電子カメラ１０１の構成例を示す図である。 第一の実施形態に係る電子カメラ１０１の画像処理部１０７の構成例を示す図である。 Ｒ画素位置が特定画素の配置例を示す図である。 Ｇ補間部２０２の処理を示す図である。 特定位置色差補正部２０４の処理を示す図である。 第二の実施形態に係る電子カメラ１０１の画像処理部１０７の構成例を示す図である。 Ｇ画素位置およびＲ画素位置が特定画素の配置例を示す図である。 第三の実施形態に係る電子カメラ１０１の画像処理部１０７の構成例を示す図である。 特定位置Ｇ補正部４０１の処理を示す図である。

以下、本発明に係る画像処理装置および撮像装置の実施形態について図面を用いて詳しく説明する。尚、以下の実施形態では、本発明に係る画像処理装置が搭載された電子カメラの例を挙げて説明するが、撮影済みの画像を入力して画像処理を行うパソコンのプログラムや単体の画像処理装置であっても構わない。
（第一の実施形態）
［電子カメラ１０１の構成例］
図１は電子カメラ１０１の構成を示すブロック図である。図１において、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、カメラ制御部１０８と、メモリ１０９と、表示部１１０と、操作部１１１と、メモリカードＩＦ（インターフェース）１１２とで構成される。ここで、画像処理部１０７は、画像処理プログラムが搭載された画像処理装置に相当するブロックである。

図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞りなどで構成され、カメラ制御部１０８からの指令に応じて、ズームレンズやフォーカスレンズ或いは絞りなどが撮影条件に応じて制御される。

撮像素子１０４は、単板イメージセンサで構成され、受光面には光電変換部を有する複数の画素が二次元状に配置されている。そして、カラー情報を取得するために、例えば各画素にはＲＧＢ３色のいずれか１色のカラーフィルタが所定の配列で配置されており、撮像素子１０４は各画素毎にＲＧＢ３色のいずれか１色の色成分を有する画像信号を出力する。尚、本実施形態では、ベイヤー（Ｂａｙｅｒ）配列のカラーフィルタアレイが配置されているものとする。また、本実施形態では、撮像素子１０４は、欠陥画素またはＡＦ用の像面位相差画素など、本来の撮像データを得られない画素を持っている。ここで、以下の各実施形態における説明では、このような撮像画像の画素値として利用できない画素を特定画素と称する。

Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値に変換し、１枚の撮影画像分の画像を画像バッファ１０６に一時的に記憶する。例えば、撮像素子１０４の解像度が１０００画素×１０００画素である場合、１００万画素分の画像が画像バッファ１０６に取り込まれる。この時、画像バッファ１０６に取り込まれた画像はＲＡＷ画像と呼ばれ、各画素にＲＧＢいずれか１つの色成分を有するＢａｙｅｒ配列の画像である。

画像バッファ１０６は、揮発性の高速メモリで構成され、Ａ／Ｄ変換部１０５が出力する撮影画像を一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う際のバッファメモリとしても使用される。或いは撮影画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を表示部１１０に表示する際の表示用バッファとしても使用される。

画像処理部１０７は、画像バッファ１０６に取り込まれたＲＡＷ画像に対してデジタル現像処理を行う。例えば、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭強調処理などの一般的な画像処理を行い、ＪＰＥＧ規格などに準拠した画像圧縮方法で撮影画像の圧縮処理を行ってＪＰＥＧ画像を出力する。また、本実施形態に係る電子カメラ１０１では、画像処理部１０７は、撮像素子１０４で撮影されたＲＡＷ画像に含まれる特定画素の画素値を補正する処理を行うと共に、補正処理に伴って生じる偽色を抑制するための処理や倍率色収差補正などをデジタル現像処理の中で行う。尚、これらの処理については後で詳しく説明する。

カメラ制御部１０８は、内部に記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば、カメラ制御部１０８は、操作部１１１を構成する撮影モード選択ダイヤルやレリーズボタンの操作に応じて、電子カメラ１０１の撮影モードを設定したり、レリーズボタン押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉して、撮像素子１０４で被写体画像を撮像する。そして、カメラ制御部１０８は、撮像素子１０４からアナログの画像信号を読み出しながらＡ／Ｄ変換部１０５でデジタル値に変換し、１画面分の画像（ＲＡＷ画像）を画像バッファ１０６に取り込む。さらに、カメラ制御部１０８は、画像バッファ１０６に取り込まれたＲＡＷ画像に対してホワイトバランス処理や色補間処理などの画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像（例えばＪＰＥＧ画像）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存する。また、カメラ制御部１０８は、撮像素子１０４の受光面に配置されたＡＦ用の像面位相差画素から信号を読み出してデフォーカス量を算出して、光学系１０２のフォーカスレンズの位置を制御するフォーカス制御を行う。さらに、カメラ制御部１０８は、画像処理部１０７に対して撮像素子１０４で撮影されたＲＡＷ画像に含まれる特定画素の補正処理や補正処理に伴って生じる偽色の抑制処理、倍率色収差の補正処理などを施すように指令する。尚、特定画素の補正処理などについては後で詳しく説明する。

メモリ１０９は、フラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータが記憶される。そして、カメラ制御部１０８はこれらのパラメータを参照して電子カメラ１０１の動作を制御する。特に、本実施形態に係る電子カメラ１０１では、メモリ１０９に撮像素子１０４で撮影されるＲＡＷ画像に含まれる特定画素の位置を示す情報が製造時に記憶されており、カメラ制御部１０８はこの情報を参照して画像処理部１０７に特定画素の補正処理を指令する。また、光学系１０２の倍率色収差情報などもメモリ１０９に予め記憶されている。或いは、電子カメラ１０１が一眼レフ型のカメラで光学系１０２が着脱可能な交換レンズである場合は、カメラ制御部１０８によって交換レンズ側から倍率色収差情報を取得するようにしてもよいし、撮影画像を解析して倍率色収差情報を取得するようにしてもよい。尚、これらのパラメータは、操作部１１１を介して行われるユーザー操作に応じて適宜更新できる。

表示部１１０は、液晶モニタなどで構成され、カメラ制御部１０８によって撮影画像や電子カメラ１０１の操作に必要な設定メニュー画面などが表示される。

操作部１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、カーソルボタンなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。尚、これらの操作ボタンの操作情報はカメラ制御部１０８に出力され、カメラ制御部１０８は操作部１１１から入力する操作情報に応じて電子カメラ１０１全体の動作を制御する。

メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースで、カメラ制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａとの間で画像データを読み書きする。

以上が電子カメラ１０１の構成および基本動作である。尚、電子カメラ１０１ではなく、本発明に係る単体の画像処理装置を構成する場合は、図１において、光学系１０２，メカニカルシャッタ１０３，撮像素子１０４およびＡ／Ｄ変換部１０５で構成される撮像部を取り除いた装置とし、カメラ制御部１０８（画像処理装置の制御部に相当）が撮影済みの特定画素を有するＲＡＷ画像データをメモリカード１１２ａから画像バッファ１０６に読み出して、画像処理部１０７が特定画素の補正処理や倍率色収差の補正処理などを行う。この場合、画像に特定画素の位置を示す情報が付加されているか、或いは、別途、特定画素の位置を示す情報を取得または設定するものとする。

［画像処理部１０７の構成例］
次に、電子カメラ１０１の画像処理部１０７の構成例について図２を用いて説明する。図２において、画像処理部１０７は、画像入力部２０１と、Ｇ補間部２０２と、色差生成部２０３と、特定位置色差補正部２０４と、色差アップサンプリング部２０５と、Ｇアップサンプリング部２０６と、ＲＢ成分生成部２０７と、一般画像処理部２０８と、画像出力部２０９とで構成される。尚、図２では、処理単位毎のブロック図として描いてあるが、画像処理部１０７の処理の流れを示すフローチャートにも対応する。

ここで、本実施形態では、撮像素子１０４がＡＦ用の像面位相差情報を取得するための画素が配列されている場合について説明する。例えば、撮像素子１０４のカラーフィルターがＢａｙｅｒ配列である場合、特定行のＲ画素またはＢ画素位置に像面位相差画素が配置される。図３の例では、像面位相差情報を用いたＡＦを行うための行をＲ行に設定しており、像面位相差画素は図３の×印の位置に配置される。そして、×印の位置では本来得られるべきＲ成分の画像情報（画素値）が出力されない。以下、図３の像面位相差画素の位置を特定画素位置と称する。

本実施形態に係る電子カメラ１０１では、図３に示したような特定画素を有する撮像素子１０４で撮影されたＲＡＷ画像をデジタル現像処理で現像し、現像後の画像、或いはＪＰＥＧ圧縮などの圧縮処理を施した画像をメモリカードＩＦ１１２を介してメモリカード１１２ａに記録すると共に、表示部１１０の画面に表示する。

以下、本実施形態に係る電子カメラ１０１の画像処理部１０７が行うデジタル現像処理について図２を用いて説明する。

画像入力部２０１は、撮像素子１０４で撮像された一画面分のＲＡＷ画像データを画像バッファ１０６から読み出す。

Ｇ補間部２０２は、図３の×印で示したＲ画素位置のＧ成分を補間生成する。この処理は公知の任意の方法で行ってもよいが、例えば各Ｒ画素位置について、図４に示したように、Ｒ画素を中心とするＧ１からＧ４の４つの画素を参照し、（式１）または（式２）によって、各Ｒ画素位置のＧ成分Ｇｒを補間生成する。尚、Ｂ画素についても、図４のＲ画素をＢ画素に置き換えて同様の処理を行い、Ｂ画素位置のＧ成分Ｇｂを補間生成する。
|G1-G4|＜|G2-G3|の場合、Gr=(G1+G4)/2 …（式１）
|G1-G4|≧|G2-G3|の場合、Gr=(G2+G3)/2 …（式２）
ここで、|G1-G4|＜|G2-G3|の場合は、縦方向の類似性が高い画像構造（例えば縦縞模様の画像など）である場合に対応する。同様に、|G1-G4|＞|G2-G3|の場合は、横方向の類似性が高い画像構造（例えば横縞模様の画像など）である場合に対応する。尚、|G1-G4|＝|G2-G3|の場合は、縦方向および横方向の類似性は同じなのでＧ１からＧ４の４つの画素の平均値をＧｒとしてもよいが、上記の例では（式２）を用いる。

色差生成部２０３は、ＲＡＷ画像のＲ画素位置のＲ成分と、Ｇ補間部が生成したＲ画素位置のＧ成分Ｇｒとを用いて、各Ｒ画素位置における色差Ｃｒ＝Ｒ−Ｇrを生成する。同様にＢ画素についても、ＲＡＷ画像のＢ画素位置のＢ成分と、Ｇ補間部が生成したＢ画素位置のＧ成分Ｇｂとを用いて、各Ｂ画素位置における色差Ｃｂ＝Ｂ−Ｇｂを生成する。

特定位置色差補正部２０４は、ＲＡＷ画像の本来Ｒ画素であるべき特定画素位置の色差Ｃｒを特定画素周囲のＲ画素の色差Ｃｒを参照して補間生成する。この処理は、例えば図５に示すように、特定画素である像面位相差画素位置（×印）について、特定画素周囲の６つのＲ画素位置の色差Ｃｒ１からＣｒ６までを参照し、（式３），（式４），（式５）のいずれかによって、像面位相差画素位置の色差Ｃｒｘを補間生成する。尚、Ｂ画素に特定画素がある場合についても、図５のＲ画素をＢ画素に置き換えて同様の処理を行い、Ｂ画素位置の色差Ｃｒｘを補間生成する。
|Cr1-Cr6|<|Cr3-Cr4|、且つ、|Cr1-Cr6|<|Cr2-Cr5|の場合
Crx=(Cr1+Cr6)/2 …（式３）
|Cr3-Cr4|<|Cr1-Cr6|、且つ、|Cr3-Cr4|<|Cr2-Cr5|の場合
Crx=(Cr3+Cr4)/2 …（式４）
上記以外の場合
Crx=(Cr2+Cr5)/2 …（式５）
ここで、（式３）を用いる場合は、右下がり斜め方向（Ｃｒ１からＣｒ６の画素方向）の類似性が高い画像構造（例えば右下がりの模様の画像など）に対応する。同様に、（式４）を用いる場合は、右上がり斜め方向（Ｃｒ４からＣｒ３の画素方向）の類似性が高い画像構造（例えば右上がりの模様の画像など）に対応する。尚、（式５）を用いる場合は、方向の類似性を区別できないので、特定画素に近接するＣｒ２およびＣｒ５の画素を用いているが、Ｃｒ１からＣｒ６の６つの画素の平均値をＣｒｘとしてもよい。このようにして、特定画素位置を含む全画面のＲ画素位置の色差Ｃｒを生成することができる。

色差アップサンプリング部２０５は、Ｒ画素位置に生成された色差Ｃｒを参照して、Ｇ画素位置およびＢ画素位置など全画素位置にＣｒ成分を補間生成する。各Ｒ画素位置には、色差生成部２０３が生成したＣｒか、特定位置色差補正部２０４が生成したＣｒ（Ｃｒｘ）のどちらかが生成されているが、この処理ではそれらを区別せず全てＣｒとして扱う。また、補間処理は公知の任意の方法で行ってもよいが、例えば次の方法で行うことができる。ここで、Ｃｒ成分を補間生成するＧ画素位置およびＢ画素位置を対象画素と称する。対象画素の両横がＲ画素位置の場合（例えば図３のＢａｙｅｒ配列ではＲ画素行のＧ画素位置の場合）、対象画素の両横の画素の色差Ｃｒの平均を補間値とし、対象画素の上下がＲ画素位置の場合（例えば図３ではＢ画素行のＧ画素位置の場合）、対象画素の上下の画素の色差Ｃｒの平均を補間値とし、対象画素の斜め隣接の４画素がＲ画素位置の場合（例えば図３ではＢ画素位置の場合）、対象画素の斜め隣接の４画素の色差Ｃｒの平均を補間値とする。同様に、Ｃｂ成分についても、Ｂ画素位置に生成された色差Ｃｂを参照して、Ｇ画素位置およびＲ画素位置など全画素位置にＣｂ成分を補間生成する。

Ｇアップサンプリング部２０６は、画像入力部２０１が入力するＲＡＷ画像のＧ画素位置のＧ成分を参照して、Ｒ画素位置およびＢ画素位置など全画素位置にＧ成分を補間生成する。この処理は公知の任意の方法で行ってもよいが、例えば次の方法で行うことができる。例えばＧ補間部２０２と同様の処理を行って、Ｒ画素位置とＢ画素位置とにＧ成分を補間生成すればよい。或いは、Ｇ補間部２０２の出力をそのまま利用してもよい。

ＲＢ成分生成部２０７は、画像を構成する全画素にアップサンプリングされた色差ＣｒとＧ成分とを参照して、全画素についてＲ成分をＲ＝Ｃｒ＋Ｇにより生成する。尚、Ｂ成分についても同様に、全画素にアップサンプリングされた色差ＣｂとＧ成分とを参照して、全画素についてＢ成分をＢ＝Ｃｂ＋Ｇにより生成する。

一般画像処理部２０８は、色差平滑化、輪郭強調、ノイズ除去、彩度強調、階調変換などの一般的な画像処理を行い、デジタル現像処理を完了する。尚、電子カメラ１０１の設定に応じて、ＪＰＥＧ規格による画像圧縮処理などを施してもよい。

画像出力部２０９は、特定画素の補正処理と一般画像処理とを終了したＲＧＢの画像データを出力する。尚、画像出力部２０９は、処理後の画像データを画像バッファ１０６に一時的に保持する。そして、画像バッファ１０６に一時的に保持された画像処理後の画像データは、カメラ制御部１０８によって、メモリカードＩＦ１１２に装着されているメモリカード１１２ａに保存される。

このように、本実施形態に係る電子カメラ１０１は、本来の撮像データを得られない特定画素がある撮像素子１０４により撮影されたＲＡＷ画像に対してデジタル現像処理を行う場合に、特定画素位置以外では、色差生成部２０３は特定画素の影響を受けずにほぼ偽色の無い色差成分を補間生成できる。そして、特定位置色差補正部２０４は、特定画素位置以外で生成された偽色が無い色差成分を参照するので、特定画素位置にも偽色の無い色差成分を補間生成することができる。特に本実施形態に係る電子カメラ１０１では、デジタル現像処理の中で特定画素位置のＲ成分またはＢ成分の出力値を推定する処理が不要になるため、高価な画像処理ＬＳＩが不要でコスト削減を図ることができ、処理の高速化を実現することができる。
（第二の実施形態）
次に、第二の実施形態に係る電子カメラ１０１ついて説明する。尚、電子カメラ１０１の構成は図１と同じである。第一の実施形態と異なるのは、画像処理部１０７の構成である。本実施形態では、画像処理部１０７は、図６のように構成される。尚、図６において、図２と同符号のブロックは同じ処理を示す。

本実施形態に係る電子カメラ１０１では、画像処理部１０７のデジタル現像処理の中で第一の実施形態で説明した特定画素の補正処理に加えて、光学系１０２に倍率色収差がある場合の倍率色収差補正を行うことができるようになっている。このために、図６では、図２の各ブロックに加えて、倍率色収差情報取得部３０１と、位置ズレ量算出部３０２と、色差位置ズレ補正部３０３とが新たに設けられている。尚、図２のブロックと同番号のブロックでアルファベットａが付加されているブロックは、図２の同番号のブロックと基本的な処理は同じであるが使用するデータなどが少し異なる。

倍率色収差情報取得部３０１は、メモリ１０９に予め記憶されている光学系１０２の倍率色収差情報を取得する。或いは、電子カメラ１０１が一眼レフ型のカメラで光学系１０２が着脱可能な交換レンズである場合は、カメラ制御部１０８が交換レンズ側から倍率色収差情報を取得するようにしてもよいし、撮影画像を解析して倍率色収差情報を取得するようにしてもよい。

位置ズレ量算出部３０２は、倍率色収差情報取得部３０１が出力する倍率色収差の情報に基づいて、Ｇ成分だけの画像に対するＲ成分だけの画像とＢ成分だけの画像のそれぞれの位置ズレ量を求める。ここで、位置ズレ量をｘ軸方向およびｙ軸方向の二次元で表し、Ｒ成分の位置ズレ量を(dRx,dRy)、Ｂ成分の位置ズレ量を(dBx,dBy)とする。

尚、位置ズレ量の算出は、任意の方法で行ってもよいが、例えば倍率色収差情報取得部３０１が光学系１０２から取得した情報や入力画像を解析して得られた情報からＧ成分の画像に対するＲ成分の画像およびＢ成分の画像の像倍率（（1+kR）倍および(1+kB)倍）と、光軸中心の座標(x0,y0)を出力する。

そして、位置ズレ量算出部３０２は、各画素位置(x,y)におけるＧ成分の画像に対するＲ成分の画像およびＢ成分の画像の位置ズレ量(dRx,dRy)および(dBx,dBy)を（式６）から（式９）により計算する。
dRx = kR×(x−x0) …（式６）
dRy = kR×(y−y0) …（式７）
dBx = kB×(x−x0) …（式８）
dBy = kB×(y−y0) …（式９）
Ｇ補間部２０２ａは、先ず、第一の実施形態の図２のＧ補間部２０２と同様の処理を行い、ＲＢ画素位置のＧ成分を補間生成することにより、全画素位置にＧ成分が存在するＧ画像（全Ｇ画像と称する）を生成する。

そして、ＲＡＷ画像のＲ画素位置について、全Ｇ画像を位置ズレ量算出部３０２が求めた位置ズレ量だけずらすことにより、Ｒ成分に対する位置ズレを補正されたＧ成分を補間生成する。この処理は、公知の線形補間処理によって行ってもよい。例えば線形補間処理の場合、次のような処理を行う。

Ｒ画素位置(x,y)における位置ズレ補正されたＧ成分Ｇ´を（式１０）から（式１４）により算出する。ここで、dを越えない最大の整数を[d]と標記する。
x2 = x + [-dRx] …（式１０）
y2 = y + [-dRy] …（式１１）
dx = -dRx-[-dRx] …（式１２）
dy = -dRy-[-dRy] …（式１３）
G´(x,y)=(1-dy)×{(1-dx)×G(x2,y2)+dx×G(x2+1,y2)}+dy×{(1-dx)×G(x2,y2+1)+dx×G(x2+1,y2+1)} …（式１４）
ここで、G(x,y)は、上記処理で生成した全Ｇ画像である。

そして、この処理を各Ｒ画素位置(x,y)について行い、Ｒ成分に対する位置ズレを補正されたＧ成分を各Ｒ画素位置に補間生成する。

尚、Ｂ画素位置についても（式１０）から（式１４）において、(dRx,dRy)を(dBx,dBy)として同様の処理を行い、Ｂ成分に対する位置ズレを補正されたＧ成分を各Ｂ画素位置に補間生成する。

色差生成部２０３は、図２と同様に、各Ｒ画素位置について、Ｇ補間部２０２ａが生成したＧ成分をＲ成分から引くことにより色差Ｃｒを生成する。また、各Ｂ画素位置についても同様に、Ｇ補間部２０３ａが生成したＧ成分をＢ成分から引くことにより、色差Ｃｂを生成する。

特定位置色差補正部２０４は、図２と同様に、Ｒ画素であるべき特定画素位置の色差Ｃｒを特定画素の周囲の色差Ｃｒを参照して補間生成する。この処理は、第一実施形態と同じである。尚、Ｂ画素に特定画素がある場合にも同様に、Ｂ画素であるべき特定画素位置の色差Ｃｂを特定画素の周囲の色差Ｃｂを参照して補間生成する。

色差位置ズレ補正部３０３は、先に求めた位置ズレ量(dRx,dRy)または位置ズレ量(dBx,dBy)は、Ｒ成分またはＢ成分の画素位置にＧ成分の画像をずらすための位置ズレ量であったので、これをＧ成分の画素位置にＲ成分またはＢ成分の画像を逆にずらす補正を行う。これは例えば公知の線形補間により行ってもよいが、色差Ｃｒと色差Ｃｂは１画素飛びに存在することを留意しなければならない。そこで、例えば、具体的には次のような処理を行う。

Ｒ画素位置(x,y)における位置ズレ補正された色差成分Ｃｒ’を（式１５）から（式１９）により算出する。ここで、dを越えない最大の整数を[d]と標記する。
x2 = x + 2×[dRx/2] …（式１５）
y2 = y + 2×[dRy/2] …（式１６）
dx = (dRx-2×[dRx/2])/2 …（式１７）
dy = (dRy-2×[dRy/2])/2 …（式１８）
Cr'(x,y)=(1-dy)×{(1-dx)×Cr(x2,y2)+dx×Cr(x2+2,y2)}+dy×{(1-dx)×Cr(x2,y2+2)+dx×Cr(x2+2,y2+2)} …（式１９）
ここで、Ｃｒは色差生成部２０３が生成した色差成分である。

尚、Ｂ画素位置(x,y)についても位置ズレ量(dBx,dBy)を用いて同様の処理を行い、Ｇ成分の画素位置に対して位置ズレ補正された色差成分Ｃｂ’をＢ画素位置に補間生成する。

以降、位置ズレ補正された色差成分Ｃｒ’およびＣｂ’を新たな色差成分ＣｒおよびＣｂとして、色差アップサンプリング部２０５、Ｇアップサンプリング部２０６、ＲＢ成分生成部２０７、その他の画像処理部２０８は、第一の実施形態と同様に処理を行い、画像出力部２０９を介して出力される。そして、特定画素の補正処理と一般画像処理とを終了したＲＧＢの画像データは、画像出力部２０９から出力されて画像バッファ１０６に一時的に保持される。画像バッファ１０６に一時的に保持された画像処理後の画像データは、カメラ制御部１０８によって、メモリカードＩＦ１１２に装着されているメモリカード１１２ａに保存される。

このように、本実施形態に係る電子カメラ１０１は、本来の撮像データを得られない特定画素がある撮像素子１０４により撮影されたＲＡＷ画像に対してデジタル現像処理を行う場合に、特定画素位置以外では、色差生成部２０３は特定画素の影響を受けずにほぼ偽色の無い色差成分を補間生成できる。

ここで、一般的な倍率色収差補正では、Ｒ画素位置に対して補間処理を行ってＧ成分の画像に対する位置ズレを補正するが、本実施形態のようにＲ画素位置に特定画素がある場合に、特定画素を参照して一般的な倍率色収差補正を行うと、出力が不明な範囲が拡大してしまうという問題が生じる。そこで、本実施形態では、Ｇ成分の画像に対して補間処理を行って倍率色収差を補正することにより、特定画素位置以外の画素では正確に色差成分を求めることができる。そして、色差成分が不明な箇所は特定画素位置だけなので、特定位置色差補正部２０４で特定画素の周囲の色差を参照して補間することにより、簡単に補正を行うことができ、画質劣化を最小限に抑えることができる。

また、特定画素以外の領域でも、Ｒ画素位置（Ｂ画素位置）に対するＧ成分の画像の位置ズレを補正する本方式の方が、Ｇ画素位置に対するＲ成分の画像（Ｂ成分の画像）の位置ズレを補正する一般的な倍率色収差補正よりも画質が良くなる。その理由は、Ｂａｙｅｒ配列の場合、Ｒ成分やＢ成分の画素密度に対してＧ成分の画素密度が高く、その分だけ情報量が多く含まれるので、高精度に補間値を求めることができ、位置ズレ補正後に発生する偽色を抑制することができるからである。

つまり、本実施形態によると、特定画素位置における画質劣化の抑制と、高精度な倍率色収差補正とを同時に達成することができ、一石二鳥の効果が得られる。
（第三の実施形態）
次に、第三の実施形態に係る電子カメラ１０１ついて説明する。本実施形態では、撮像素子１０４の特定画素は、図７の×印に示すように隙間無く並んでいる。つまり、第一の実施形態や第二の実施形態のようにＲ画素位置またはＢ画素位置だけに特定画素があるわけではなく、Ｇ画素位置にも特定画素が存在している。本実施形態に係る電子カメラ１０１では、このような特定画素を有する撮像素子１０４で撮影されたＲＡＷ画像のデジタル現像処理を行う。尚、電子カメラ１０１の構成は図１と同じである。

本実施形態に係る電子カメラ１０１が第一の実施形態および第二の実施形態と異なる部分は、画像処理部１０７の構成である。図８は、本実施形態に係る電子カメラ１０１の構成を示し、図６と同符号のブロックは同じ処理を行う。図８では、図６の各ブロックに加えて、特定位置Ｇ補正部４０１が新たに設けられている。また、図６のブロックと同番号のブロックでアルファベットｂが付加されているブロックは、図６の同番号のブロックと基本的な処理は同じであるが使用するデータなどが少し異なる。

図８において、画像入力部２０１が入力するＲＡＷ画像のＧ成分に対して、先ず特定位置Ｇ補正部４０１の処理を行ってＧ画素位置の特定画素を補正する。尚、その後の処理は、補正されたＧ画素のデータを用いるか否かが異なるだけで、第二実施形態と基本的に同じである。

特定位置Ｇ補正部４０１の処理は、例えばＧ画素位置に含まれる特定画素の位置について、図９に示したように、特定画素を中心とする周辺のＧ画素Ｇ１からＧ６までの６つのＧ画素を参照し、次の（式２０）から（式２２）により特定画素位置（図９の×印）のＧ成分Ｇｘを補間生成する。
|G1-G6|<|G3-G4|、且つ、|G1-G6|<|G2-G5|の場合
Gx=(G1+G6)/2 …（式２０）
|G3-G4|<|G1-G6|、且つ、|G3-G4|<|G2-G5|の場合
Gx=(G3+G4)/2 …（式２１）
上記以外の場合
Gx=(G2+G5)/2 …（式２２）
Ｇ補間部２０２ｂは、第一の実施形態の図２のＧ補間部２０２と同様の処理を行い、ＲＢ画素位置のＧ成分を補間生成することにより、全画素位置にＧ成分が存在するＧ画像（全Ｇ画像と称する）を生成する。

そして、第二の実施形態の図６のＧ補間部２０２ａと同様の処理を行い、ＲＡＷ画像のＲ画素位置について、全Ｇ画像を位置ズレ量算出部３０２が求めた位置ズレ量だけずらすことにより、Ｒ成分に対する位置ズレを補正されたＧ成分を補間生成する。

以降、図８において、色差生成部２０３、特定位置色差補正部２０４、色差アップサンプリング部２０５およびＲＢ成分生成部２０７については、第一の実施形態の図２の各ブロックと同じ処理を行い、倍率色収差情報取得部３０１、位置ズレ量算出部３０２および色差位置ズレ補正部３０３については、第二の実施形態の図６の各ブロックと同じ処理を行う。尚、Ｇアップサンプリング部２０６ｂは、特定位置Ｇ補正部４０１が出力する欠陥補正済みのＧ画素位置のＧ成分を用いて、Ｒ画素位置およびＢ画素位置など全画素位置にＧ成分を補間生成する。

このようにして、特定画素を含むＧ画素と、特定画素を含むＲ画素またはＢ画素とで構成されるＲＡＷ画像を入力して、特定画素位置のＧ成分、Ｒ成分またはＢ成分の補正と、倍率色収差補正を行うと共に、同時にデジタル現像処理を行った画像を得ることができる。そして、その他の画像処理部２０８で、色差平滑化、輪郭強調、ノイズ除去、彩度強調、階調変換などの一般画像処理を行った後、画像出力部２０９からＲＧＢ画像データが出力され、処理後の画像データは画像バッファ１０６に一時的に保持される。さらに、画像バッファ１０６に一時的に保持された画像処理後の画像データは、カメラ制御部１０８によって、メモリカードＩＦ１１２に装着されているメモリカード１１２ａに保存される。

このように、本実施形態に係る電子カメラ１０１は、第一の実施形態の効果に加えて、図６で説明したように特定画素がＲ画素位置またはＢ画素位置だけでなくＧ画素位置にある場合でもデジタル現像処理を行うことができる。また、倍率色収差が小さい場合には、特定画素位置以外の色差は特定画素の影響を受けずに生成されるので、第二の実施形態と同様に偽色を抑制した画像を生成できる。
（その他の実施形態）
上記の各実施形態では、色差平滑化、輪郭強調、ノイズ除去などの一般画像処理を最後に行うようにしたが、画像入力部２０１からＲＢ成分生成部２０７までのデジタル現像処理の途中のタイミングで行ってもよい。例えば、特定位置色差補正部２０４が出力する色差に対して色差平滑化を行ったり、Ｇアップサンプリング部２０６（２０６ｂ）の出力に対して輪郭強調処理を行ったり、各タイミングでノイズ除去処理を行ってもよい。

また、Ｇアップサンプリング部２０６（２０６ｂ）がＧ成分を全画素に生成する代わりに、公知の輝度生成方法によって輝度成分を全画素に生成してもよい。その場合、ＲＢ成分生成部２０７は、輝度と色差に基づいてＲＧＢ成分を生成すればよい。

尚、上記の各実施形態では、特定画素が像面位相差画素である場合について説明したが、撮像素子１０４の線欠陥を特定画素として各実施形態で説明した処理を適用することにより、デジタル現像処理において線欠陥による画質劣化を抑制した画像を生成することができる。

以上、本発明に係る画像処理装置および撮像装置について、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ；１０２・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・Ａ／Ｄ変換部；１０６・・・画像バッファ；１０７・・・画像処理部；１０８・・・カメラ制御部；１０９・・・メモリ；１１０・・・表示部；１１１・・・操作部；１１２・・・メモリカードＩＦ；２０１・・・画像入力部；２０２・・・Ｇ補間部；２０３・・・色差生成部；２０４・・・特定位置色差補正部；２０５・・・色差アップサンプリング部；２０６・・・Ｇアップサンプリング部；２０７・・・ＲＢ成分生成部；２０８・・・一般画像処理部；２０９・・・画像出力部；３０１・・・倍率色収差情報取得部；３０２・・・位置ズレ量算出部；３０３・・・色差位置ズレ補正部；４０１・・・特定位置Ｇ補正部

Claims (7)

1. 複数の第１画素の第１色成分信号と複数の第２画素の第２色成分信号とから、撮像光学系による前記第１色成分信号と前記第２色成分信号の倍率色収差による位置ズレを補正して前記第１画素と前記第２画素と第３画素に前記第１色成分信号と前記第２色成分信号のそれぞれを有する画像を生成する画像処理装置において、
   前記複数の第１画素の第１色成分信号により、前記第２画素と前記第３画素とに第１色成分信号を補間する第１補間部と、
   前記複数の第２画素の第２色成分信号との位置ズレが補正された前記第１色成分信号と、前記第２色成分信号とにより、前記第２画素の色差信号を生成する第１生成部と、
   前記第２画素の色差信号により前記第３画素に色差信号を補間し、前記第２画素と前記第３画素の前記色差信号により前記第１画素に色差信号を補間する第２補間部と、
   前記第１色成分信号との位置ズレが補正された前記色差信号と、前記第１色成分信号とにより、前記第１画素と前記第２画素と前記第３画素に前記第２色成分信号を生成する第２生成部と
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   処理の前の前記第３画素は、前記撮像光学系の合焦を検出する信号を有する画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記第２生成部は、前記第１色成分信号との位置ズレが補正された前記第１画素と前記第２画素と前記第３画素の前記色差信号と、前記第１画素と前記第２画素と前記第３画素の前記第１色成分信号とにより、前記第１画素と前記第２画素と前記第３画素に前記第２色成分信号を生成する画像処理装置。
4. 請求項１から３の何れか一項に記載の画像処理装置において、
   前記第２補間部は、前記画像の画像構造の情報に基づき、前記第３画素に類似する方向に近接する前記第２画素の前記色差信号により、前記第３画素に前記色差信号を補間する画像処理装置。
5. 請求項１から４の何れか一項に記載の画像処理装置において、
   前記第１生成部は、前記画像の第２色成分に対する前記画像の第１色成分の位置ズレが補正された前記第１色成分信号と、前記第２色成分信号とにより、前記第２画素の色差信号を生成し、
   前記第２生成部は、前記画像の第１色成分に対する前記画像の第２色成分の位置ズレが補正された前記色差信号と、前記第１色成分信号とにより、前記第２色成分信号を生成する画像処理装置。
6. 請求項１から５のいずれか一項に記載の画像処理装置において、
   前記第１画素と前記第２画素の配置はＢａｙｅｒ配列であり、
   前記第１色成分はＧ成分、前記第２色成分はＲ成分またはＢ成分であり、
   前記第３画素は、前記Ｂａｙｅｒ配列の一部の第２画素に配置されている画像処理装置。
7. 請求項１から６のいずれか一項に記載の画像処理装置と、
   撮像部と、
   を備える撮像装置。

Images