JP3697459B2

JP3697459B2 - 画像処理方法及び画像処理装置

Info

Publication number: JP3697459B2
Application number: JP2002271419A
Authority: JP
Inventors: 睦裕山中
Original assignee: コニカミノルタフォトイメージング株式会社
Priority date: 2002-09-18
Filing date: 2002-09-18
Publication date: 2005-09-21
Anticipated expiration: 2022-09-18
Also published as: JP2004112275A; US20040051799A1

Description

【０００１】
【発明の属する技術分野】
本発明は、ベイヤ配列を有する撮像素子から出力される画像信号において緑色信号の補間処理を行うための画像処理技術に関する。
【０００２】
【従来の技術】
単板のベイヤ配列を有する撮像素子によってカラー画像を撮影する場合、緑色信号は画像平面において市松状に存在することとなり、欠落した緑色信号を補間する必要がある。
【０００３】
従来、この種の補間方法として、欠落した緑色信号の補間に際して補間対象画素の縦方向に分布する近傍画像間での相関値と、横方向に分布する近傍画素間での相関値とを求め、相関値の高い方向性を選択してその方向に関して複数の緑色信号を参酌しつつ補間演算を行う方法がある（例えば、特許文献１）。
【０００４】
また、別の補間方法として、撮像素子から得られる画像信号に対して、キュービックコンボリューション補間を二次元的に適用することにより、欠落している緑色信号を補間することも可能である（例えば、特許文献２）。
【０００５】
【特許文献１】
特開２００１−３２０７２０号公報
【特許文献２】
特開２０００−２７８５０３号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の方法は、縦方向または横方向に１画素ピッチ以上離れた画素信号をもとに欠落画素の信号値を推定する技術であるため、極大と極小とがほぼ１画素ピッチに等しい間隔となる高周波縞模様等は正確に再現することができないという問題がある。
【０００７】
特に、上記特許文献１に開示される技術では、ノイズ等の影響によって異常な信号値が発生すると、それによって相関性の高い方向性を誤判定する場合があり、画素狭小化によりＳ／Ｎが低下した撮像素子では十分な効果を発揮することができないという問題もある。
【０００８】
さらに、上記特許文献２に開示される技術では、欠落信号を補間するために、キュービックコンボリューション補間演算を、周囲の信号を二次元的かつ広範囲に参照する必要があり、回路規模が大きくなるとともに、演算効率が悪いという問題もある。
【０００９】
そこで、本発明は、上記課題に鑑みてなされたものであって、高周波模様の再現性に優れ、補間エラーが少なく、かつ、効率的な補間演算が可能な緑色信号の補間処理技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、ベイヤ配列を有する撮像素子から出力される画像信号において緑色信号の補間処理を行う画像処理方法であって、前記画像信号から斜め方向に最近接する２個の緑色受光画素を含み、前記２個の緑色受光画素と同一方向に存在する合計ｎ個（ただしｎは４以上の整数）の緑色受光画素を抽出する工程と、前記ｎ個の緑色受光画素が受光する緑色画像の照度分布を求める工程と、前記照度分布から、前記斜め方向に位置する補間緑色画素の信号値を導出する工程と、を有している。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記補間緑色画素は、前記２個の緑色受光画素の中間に位置することを特徴としている。
【００１２】
請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、前記ｎ個の緑色受光画素の各々に関し、前記照度分布を画素開口で積分した値が各緑色受光画素での信号値となるように、前記照度分布を（ｎ−１）次関数として設定することを特徴としている。
【００１３】
請求項４に記載の発明は、請求項３に記載の画像処理方法において、前記画素開口が、光学ローパスフィルタにより仮想的に拡大された領域であることを特徴としている。
【００１４】
請求項５に記載の発明は、ベイヤ配列を有する撮像素子から出力される画像信号において緑色信号の補間処理を行う画像処理装置であって、前記画像信号から斜め方向に最近接する２個の緑色受光画素を含み、前記２個の緑色受光画素と同一方向に存在する合計ｎ個（ただしｎは４以上の整数）の緑色受光画素を抽出する画素抽出手段と、前記ｎ個の緑色受光画素が受光する緑色画像の照度分布を求める手段と、前記照度分布から、前記斜め方向に位置する補間緑色画素の信号値を導出する演算手段と、を備えて構成される。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。
【００１６】
＜１．第１の実施の形態＞
まず、第１の実施の形態について説明する。本実施形態では、デジタルカメラ等の撮像装置において緑色信号の補間処理を行う場合を例示する。
【００１７】
図１はデジタルカメラ等の撮像装置１の主たる内部構造を示す図であり、撮像装置１は、撮影レンズ１１、光学ローパスフィルタ１２、ＣＣＤ撮像素子１３、Ａ／Ｄ変換器１４、画像メモリ１５、画像処理部２０、及び、出力部３０を備えて構成される。撮影レンズ１１を介して入射する光は、光学ローパスフィルタ１２を介してＣＣＤ撮像素子１３に導かれる。ＣＣＤ撮像素子１３は、受光面に複数の画素が２次元的に配列されており、いわゆる単板ベイヤ配列によって各画素がＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの色成分の光を受光するように構成されている。
【００１８】
図２はベイヤ配列型ＣＣＤ撮像素子１３の受光面における画素配列を示す図である。図２に示すように、水平方向Ｈに沿った第１ライン（最上段のライン）では、Ｂ成分を検知する画素と、Ｇ成分を検知する画素とが交互に配置されており、第２ラインではＧ成分を検知する画素と、Ｒ成分を検知する画素とが交互が配置されている。以下、垂直方向Ｖには同様の画素配列を有する複数のラインが配置され、各画素にて光電変換が行われることにより、ＣＣＤ撮像素子１３はカラー画像を出力することができるように構成される。
【００１９】
また、ＣＣＤ撮像素子１３の各画素表面には、図示しないマイクロレンズが配置されており、マイクロレンズの作用によって、ＣＣＤ撮像素子１３に入射する光成分の全てが適切に各画素に導かれる。このため、ＣＣＤ撮像素子１３は各画素の開口率が理論的にほぼ１００％となるように構成される。
【００２０】
そしてＣＣＤ撮像素子１３で光電変換が行われることによって得られる各画素信号は、Ａ／Ｄ変換器１４に出力される。Ａ／Ｄ変換器１４は各画素信号をデジタル信号化し、いわゆるＲＡＷ画像データを生成する。ＲＡＷ画像データは画像メモリ１５に出力され、そこで一時的に記憶される。
【００２１】
ＲＡＷ画像データは、ＣＣＤ撮像素子１３での光電変換によって得られる画像をそのままデータ化したものであるため、各画素信号は、ＣＣＤ撮像素子１３の色配列（すなわちベイヤ配列）に対応した色成分の信号値を示す。したがって、Ｇ成分を検出した緑色信号（Ｇ信号）は画像平面において市松状に存在することとなる。
【００２２】
画像処理部２０はＧ信号補間部２１とＲ信号補間部２２とＢ信号補間部２３とを備えており、Ｇ信号補間部２１は画像メモリ１５から市松状に分布するＧ信号を抽出し、欠落画素の補間処理を行うことによってＧ信号補間画像を出力する。なお、Ｇ信号補間部２１の詳細については後述する。
【００２３】
Ｒ信号補間部２２は、画像メモリ１５から赤色信号（Ｒ信号）を抽出するとともに、Ｇ信号補間部２１からのＧ信号補間画像を入力し、これらに基づきＲ信号補間画像を生成して出力する。同様に、Ｂ信号補間部２３は、画像メモリ１５から青色信号（Ｂ信号）を抽出するとともに、Ｇ信号補間部２１からのＧ信号補間画像を入力し、これらに基づきＢ信号補間画像を生成して出力する。
【００２４】
この結果、画像処理部２０では、ＣＣＤ撮像素子１３のベイヤ配列に対応した画像に対して色成分毎に補間処理が施され、各色成分の画像が出力部３０に出力される。
【００２５】
出力部３０は、補間処理の施された画像データに対して二次的なデータ処理を行うデータ処理部や記録媒体等に対して画像データを出力する機能を有している。
【００２６】
以上のように構成された撮像装置１では、単板ベイヤ配列を有するＣＣＤ撮像素子１３において偽色発生（折り返し歪み）を防止するために、光学ローパスフィルタ１２が設けられており、撮影レンズ１１に入射する光は、光学ローパスフィルタ１２によって水平方向Ｈ及び垂直方向Ｖのそれぞれついて復屈折し、ＣＣＤ撮像素子１３に入射するように構成される。
【００２７】
図３は光学ローパスフィルタ１２による像の分解状態の一例を示す図であり、光軸に垂直な面を示している。図３に示すように、撮影レンズ１１に入射する光のオリジナル像Ｍ１は、光学ローパスフィルタ１２の作用により、水平方向Ｈ及び垂直方向Ｖに像分解され、分解像Ｍ２，Ｍ３，Ｍ４が形成される。このとき、各分解像Ｍ２，Ｍ３，Ｍ４は、オリジナル像Ｍ１から水平方向Ｈ及び垂直方向Ｖのそれぞれについて分解幅Ｐ１で形成される。このような分解像Ｍ２，Ｍ３，Ｍ４を生成することにより、水平方向Ｈ及び垂直方向Ｖのサンプリング周波数がＧ信号の半分となるＲ信号及びＢ信号において、折り返し成分を低減することが可能となる。ここで、光学ローパスフィルタ１２の作用によって折り返し歪みを低減するためには、Ｇ信号のサンプリング周波数の１／２で光学像のレスポンスがゼロとなるように、光学ローパスフィルタ１２の周波数特性を設定することが最も効果的となる。このため分解幅Ｐ１はＣＣＤ撮像素子１３の画素ピッチに等しくなるように光学ローパスフィルタ１２が設置される。
【００２８】
図４はＣＣＤ撮像素子１３の画素配列の一部拡大図である。各画素は水平方向Ｈ及び垂直方向Ｖに画素ピッチＰ２で配置されており、光学ローパスフィルタ１２による像の分解幅Ｐ１は図４に示す画素ピッチＰ２に等しく設定される。
【００２９】
そして光学ローパスフィルタ１２の作用によって二重像（二次元的には四重像）がＣＣＤ撮像素子１３に結像される結果、各画素からの出力信号は、図５に示すように、各画素の開口が拡大してサンプリングされた状態と理論的には等価になる。したがって、ＣＣＤ撮像素子１３における各画素の開口率が１００％であると仮定し、光学ローパスフィルタ１２による分解幅Ｐ１とＣＣＤ撮像素子１３の画素ピッチＰ２とが等しいとすると、図４において斜め方向に隣接する４つの緑色受光画素４１，４２，４３，４４の画素開口は、仮想的に２倍の２００％に拡大されることになる。
【００３０】
図６は光学ローパスフィルタ１２の作用によって仮想的に拡大された画素開口の概念を示す図であり、図４における４つの緑色受光画素４１，４２，４３，４４の２倍に拡大された画素開口４１ａ，４２ａ，４３ａ，４４ａを示している。図６に示すように、画素開口４１，４２，４３，４４が２倍に拡大されると、斜め方向に互いに隣接する画素開口は、開口面積の１／４ずつが重なり合った状態となる。換言すれば、斜め方向に最近接する２つの緑色受光画素は、互いに画素開口が１／４重複した状態となる。
【００３１】
したがって、上記構成のＣＣＤ撮像素子１３からは、斜め方向に互いに重複した画素開口によって検出されたＧ信号が出力されることになる。そして本実施形態では、上記のように画素開口が互いに重複した状態で検出されるＧ信号の性質を考慮して、Ｇ信号の補間処理が行われる。
【００３２】
図７はＧ信号補間部２１における詳細構成の一例を示す図である。このＧ信号補間部２１は、画素抽出部２１１と関数設定部２１２と演算部２１３とを備えて構成され、例えば、緑色受光画素によって構成される緑色画像信号から、図４に示すように、斜め方向に最近接する２つの画素４２，４３を含み、同一直線上に位置する４つの緑色受光画素４１，４２，４３，４４を抽出し、これらのＧ信号に基づいて、４つの緑色受光画素４１，４２，４３，４４の中心位置に位置する補間緑色画素の緑色信号値を算出する。
【００３３】
画素抽出部２１１は、例えば緑色受光画素によって構成される緑色画像信号から、図４に示すように斜め方向に最近接する２つの画素４２，４３を抽出し、さらに、画素４２，４３と同一直線上に存在する連なった緑色受光画素４１，４４を抽出する。
【００３４】
関数設定部２１２は、画素４１〜４４の各画素が受光する照度分布を近似した関数を決定する。以下、この処理の詳細について説明する。
【００３５】
図８は、４つの画素４１〜４４の連なった方向に対する１次元的な照度分布を仮定した場合の図であり、Ｘ方向はＣＣＤ撮像素子１３において４画素が連なった方向（すなわち斜め方向）を示し、Ｚ方向はＣＣＤ撮像素子１３の受光面においてＸ方向に垂直な方向を示す。また、Ｙ方向は照度成分を示している。
【００３６】
ここで、照度分布関数ｆ（ｘ）を３次関数で定義すると、
【００３７】
【数１】

【００３８】
のように表される。ただし、ａ，ｂ，ｃ，ｄは照度分布を規定する係数である。また、４画素のうちの各画素の開口中心位置をＸ＝Ｘciとし、開口両端位置をＸ＝Ｘsi，Ｘeiとすると、画素開口を定義する関数ｇ（ｘ）は、
【００３９】
【数２】

【００４０】
のように表される。
【００４１】
ここで画素開口中心位置Ｘciの画素からの出力信号Ｌiは、画素開口での平均照度に比例するため、照度分布と開口幅の積をＸ軸方向に沿って積分し、それを開口面積で除算することによって求められる。すなわち、Ｇ信号Ｌiは、
【００４２】
【数３】

【００４３】
によって求められる。ただし、数３の式において、ｋは照度を信号値に換算する比例定数であり、ＣＣＤ撮像素子１３の特性によって決定される値である。
【００４４】
そして数１及び数２の式を数３の式に代入し、さらに照度分布を規定する各係数について整理すると、上記数３の式は、
【００４５】
【数４】

【００４６】
のように表される。数４の式において、ｋはＣＣＤ撮像素子１３の特性から既知であり、Ｘei，Ｘci，Ｘsiのそれぞれは、光学ローパスフィルタ１２の特性とＣＣＤ撮像素子１３の画素配置との関係から予め求めておくことができる。さらに、Ｇ信号Ｌiは画素開口中心位置Ｘciの画素からの出力信号によって決定される。したがって、数４の式における未知数は、照度分布を規定する係数ａ，ｂ，ｃ，ｄである。
【００４７】
図９はＸ方向に隣接する画素間で画素開口が１／４ずつ重複した４画素分の画素開口４１ａ，４２ａ，４３ａ，４４ａを示す図であり、画素開口中心位置がＸciである画素開口４２ａについては上記数４のような関係式が成立することになる。そして上記のような演算を、画素開口中心位置がＸci-1となる画素開口４１ａから画素開口中心位置がＸci+2となる画素開口４１ｄまでの連なる４画素の各々について実施すると、照度分布を規定する係数ａ，ｂ，ｃ，ｄに関する４元連立方程式となる。
【００４８】
そしてその４元連立方程式を解くことにより、照度分布を規定する各係数ａ，ｂ，ｃ，ｄが決定される。このとき、画素開口中心位置Ｘci-1の画素からの出力信号をＬi-1とし、画素開口中心位置Ｘci+1の画素からの出力信号をＬi+1とし、さらに画素開口中心位置Ｘci+2の画素からの出力信号をＬi+2とすると、各係数ａ，ｂ，ｃ，ｄは、Ｌi-1，Ｌi，Ｌi+1，Ｌi+2の一次式で定義されることになる。
【００４９】
そしてＧ信号補間部２１における関数設定部２１２には上記のような処理概念が適用され、画素抽出部２１１にて抽出された４画素４１，４２，４３，４４のそれぞれから得られるＧ信号Ｌi-1，Ｌi，Ｌi+1，Ｌi+2に基づいて、照度分布を規定する各係数ａ，ｂ，ｃ，ｄを求め、照度分布関数ｆ（ｘ）を求める。
【００５０】
次に、演算部２１３は、図９に斜線領域として示すように、抽出された４画素に対応する画素開口４１ａ，４２ａ，４３ａ，４４ａの中心位置にある補間対象画素（すなわち補間緑色画素）４５の信号値を求める。具体的には、補間対象画素４５のＧ信号をＩiとすると、補間対象画素の開口率が１００％相当となるように積分区間をＸci〜Ｘeiに設定することにより、Ｇ信号Ｉiを求めることができる（図８参照）。つまり、
【００５１】
【数５】

【００５２】
によって補間対象画素４５のＧ信号値Ｉiが求められる。数５の式において、ｋはＣＣＤ撮像素子１３の特性によって既知であり、Ｘei，Ｘci，Ｘsiのそれぞれは、光学ローパスフィルタ１２の特性とＣＣＤ撮像素子１３の画素配置との関係から予め求めておくことができる。また、画素開口を定義する関数ｇ（ｘ）も予め設定しておくことができる。このため、数５の式により、補間対象画素４５のＧ信号値Ｉiはａ，ｂ，ｃ，ｄの一次式で定義されることとなり、関数設定部２１２において求められた照度分布を規定する各係数ａ，ｂ，ｃ，ｄを数５に代入することにより、補間対象画素４５のＧ信号値Ｉiが求められる。その結果、演算部２１３からは欠落画素に対応した補間対象画素４５のＧ信号値Ｉiが出力される。
【００５３】
Ｇ信号補間部２１が上記の補間演算をＧ信号の欠落部分に対して繰り返し実行することにより、欠落画素が補間されたＧ信号補間画像が出力されることになる。
【００５４】
次に、図１０はＧ信号補間部２１における詳細構成の他の例を示す図であり、図７とは異なる構成を示している。このＧ信号補間部２１は、画素抽出部２１５とメモリ２１６と演算部２１７とを備えている。なお、画素抽出部２１５は、図７における画素抽出部２１１と同様の機能を示すものである。
【００５５】
上記数５の式において、補間対象画素４５のＧ信号値Ｉiは、係数ａ，ｂ，ｃ，ｄの一次式で定義される。また、係数ａ，ｂ，ｃ，ｄは、斜め方向に連なった４画素４１，４２，４３，４４によって検出されたＧ信号Ｌi-1，Ｌi，Ｌi+1，Ｌi+2の一次式で定義される。したがって、上記数５の式を変形すれば、
【００５６】
【数６】

【００５７】
として表すことができる。ここで、係数ｐ，ｑ，ｒ，ｓは、斜め方向（Ｘ方向）に関するＸci-1，Ｘci，Ｘci+1，Ｘci+2，Ｘsi-1，Ｘei-1等の合計１２個の位置座標の多項式で定義される。ＣＣＤ撮像素子１３では各画素は等間隔に配列されており、同一素子上では斜めに連なる何れの４画素においても位置関係は等しい。このため数６の式における係数ｐ，ｑ，ｒ，ｓは、ＣＣＤ撮像素子１３及び光学ローパスフィルタ１２によって定まる定数である。
【００５８】
そこで、図１０のＧ信号補間部２１では、予め数６の式における係数ｐ，ｑ，ｒ，ｓが求められ、それがメモリ２１６に格納される。
【００５９】
そして演算部２１７は、斜め方向に連なる４つの緑色受光画素４１，４２，４３，４４（図４参照）についてのＧ信号Ｌi-1，Ｌi，Ｌi+1，Ｌi+2を画素抽出部２１５から入力するとともに、メモリ２１６から係数ｐ，ｑ，ｒ，ｓを入力する。そして、上記数６の式に基づく４画素のフィルタ演算を行うことで、補間対象画素４５のＧ信号値Ｉiを求める。そしてＧ信号補間部２１が、斜め方向に連なる４画素のＧ信号に基づいて上記の補間演算（フィルタ演算）を繰り返し実行することにより、欠落画素が補間されたＧ信号補間画像が出力されることになる。
【００６０】
次に、図１０のＧ信号補間部２１において上記とは異なる補間演算を行う場合を説明する。各緑色受光画素から得られる信号値は、照度分布関数ｆ（ｘ）を積分して平均化したものであるので、積分区間（すなわち開口面積）が広くなるほど、Ｇ信号の鮮鋭度は低くなる。例えば、数５の式において積分区間はＸci〜Ｘeiとなっているが、これよりも積分区間が狭くなると、各画素の開口率は１００％よりも小さくなり、Ｇ信号の鮮鋭度が増す。そして、補間対象画素の中心位置の座標Ｘiを照度分布関数ｆ（ｘ）に代入すると、その中心位置での像面照度が求められるので、Ｇ信号の鮮鋭度を最大限に設定することができる。
【００６１】
そこで、鮮鋭度の高いＧ信号補間画像を取得したい場合には、補間対象画素のＧ信号値Ｉiを、
【００６２】
【数７】

【００６３】
によって求めることができる。ただし、Ｘiは、図９における補間対象画素４５の中心位置を示す座標値である。数７の式におけるＧ信号値Ｉiも係数ａ，ｂ，ｃ，ｄの一次式で定義されるので、この場合でも数６の式の場合と同様に、各Ｇ信号Ｌi-1，Ｌi，Ｌi+1，Ｌi+2に関する係数を予めメモリ２１６に格納しておくことで、効率的にＧ信号の補間演算を実行することができる。そして、この場合、Ｇ信号補間部２１において鮮鋭度の高いＧ信号補間画像が生成される。
【００６４】
上記図７又は図１０に示す構成のＧ信号補間部２１によって、斜めに連なる４画素の全ての組み合わせについて上記補間演算が行われる結果、図１１に示すように斜線部分の位置を中心とする補間画素が生成され、水平方向Ｈ及び垂直方向Ｖに対して格子点の揃ったＧ信号補間画像が生成される。Ｇ信号補間画像における補間画素の中心位置は、元のＣＣＤ撮像素子１３における画素（図１１においてＲ，Ｇ，Ｂを付した画素）の中心位置から半画素分ずれた位置にあるとともに、上記補間演算により、補間画素の開口率が補正された状態（つまり、ほぼ１００％）となっている。
【００６５】
このため、図１２に示すように、赤色画像信号に含まれる１個の赤色受光画素４６に注目すると、赤色受光画素４６は光学ローパスフィルタ１２の作用によって開口率が仮想的に２００％に拡大された状態にあるのに対し、その周辺のＧ信号補間画像における補間画素４７は開口率が１００％となっている。
【００６６】
したがって、図１２に示す各画素の位置関係を画素開口として表現すると、図１３に示すような状態となり、赤色受光画素４６の画素開口４６ａ内に、各補間画素４７の画素開口４７ａが含まれるような状態となる。これにより、補間画素４７と、赤色受光画素４６との位置関係に関する整合性が高くなる。
【００６７】
Ｒ信号補間部２２において、Ｒ信号とＧ信号との差分を算出して色差成分Ｃｒが求められるが、この場合、Ｒ信号から、４つの補間画素４７について求められたＧ信号値Ｉiの平均値を差分するようにすれば、画像平面内の同一位置における信号から色差成分Ｃｒを求めることができるので、色差成分Ｃｒを高い精度で算出することが可能になる。
【００６８】
また、Ｒ信号補間部２２では、サンプリング周波数の低い赤色画像信号に対して、サンプリング周波数の高い緑色画像信号の高域成分が付加されるため、色差成分Ｃｒを求めて、Ｒ信号補間画像を生成する場合に好適である。
【００６９】
さらに、Ｒ信号だけでなく、Ｂ信号についても同様であり、本実施形態において説明したＧ信号の補間処理を行うことにより、Ｒ信号補間部２２及びＢ信号補間部２３のそれぞれにおいて、Ｒ信号及びＢ信号の補間処理を行う際にも精度の高い補間処理が可能になる。
【００７０】
なお、Ｇ信号補間部２１の構成として図７と図１０との２種類の構成を説明したが、いずれの構成を採用してもよい。ただし、図１０に示すＧ信号補間部２１のように、予め数６の式における係数ｐ，ｑ，ｒ，ｓを求めておき、それをメモリ２１６に格納しておくことで、図７の構成に比べてＧ信号の補間演算をより効率的に行うことができる。
【００７１】
以上のように、本実施形態における撮像装置１では、図１４に示すような処理手順で画像処理が進められ、ベイヤ配列を有するＣＣＤ撮像素子１３から出力される緑色画像信号の補間処理を行うように構成されている。すなわち、緑色画像信号の補間処理の際には、斜め方向に最近接する２個の緑色受光画素を含み、その２個の緑色受光画素と同一方向に存在する合計ｎ個（ただし、上記説明ではｎ＝４）の連なった緑色受光画素を抽出し（ステップＳ１）、その４個の緑色受光画素が受光する緑色画像の照度分布が求められる（ステップＳ２）。この照度分布は（ｎ−１）次関数（ただし、上記説明では３次関数）で近似され、その３次関数に基づいて、４個の緑色受光画素の中心に位置する補間緑色画素（補間対象画素）の信号値が導出される（ステップＳ３）。以上のステップによって緑色信号の補間処理が実行されるように構成されている。
【００７２】
このため、撮像装置１に採用される補間方法では、斜め方向に並ぶ、互いに近い位置にある画素列で補間処理が行われ、補間対象画素の信号値を求めるための元画素の距離は、画素ピッチＰ２の１／√２となる。よって、極大と極小とがほぼ１画素ピッチに等しい間隔となる高周波縞模様等を撮影する場合であっても、正確にその縞模様を再現することができ、高周波模様の再現性に優れ、補間エラーを少なくすることができる。
【００７３】
また、本実施形態の補間方法は、補間対象画素の信号値を求めるために緑色画像信号において参照する参照領域や参照画素数が従来に比べて少ないので、Ｇ信号補間部２１における演算量が少なくなり、効率的にＧ信号補間画像を求めることができる。同時に、回路規模を小さくすることができ、撮像装置１の小型化やコスト低減を図ることができる。
【００７４】
さらに、上述した補間方法では、４個の緑色受光画素の各々に関し、照度分布を画素開口で積分した値が各緑色受光画素での信号値となるように、照度分布を規定する３次関数を設定するので、実際の光電変換に適合した照度分布を設定することができ、Ｇ信号の補間処理を高精度に行うことができる。
【００７５】
また、照度分布関数を設定する際、画素開口は、光学ローパスフィルタ１２により仮想的に拡大された領域に適合するように設定されるため、ＣＣＤ撮像素子１３の各画素が受光する照度分布を正確に再現することができる。
【００７６】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。本実施形態では、デジタルカメラ等の撮像装置と、コンピュータ等の画像処理装置とが互いに電気的に接続された画像処理システムにおいて、画像処理装置側で緑色信号の補間処理を行う場合を例示する。
【００７７】
図１５は画像処理システム１００の概略構成を示す図であり、撮像装置１ａは内部にベイヤ配列を有するＣＣＤ撮像素子が設けられる。撮像装置１ａは、一般的なコンピュータ等で構成される画像処理装置５に対し、ＣＣＤ撮像素子で撮影して得られるＲＡＷ画像データを出力するように構成される。
【００７８】
画像処理装置５は、画像信号の補間処理を含む各種データ処理を行うデータ処理部５１、データ処理部の制御によって画像表示を行う表示部５２、及びユーザが操作入力を行う操作部５３を備える。さらに、データ処理部５１は、所定のプログラムを実行することにより補間演算等の各種データ処理を実行するＣＰＵ５１１と、ＣＰＵ５１１におけるデータ処理の際に一時的なデータや画像信号等を格納するメモリ５１２と、ＣＰＵ５１１が実行するプログラムや補間処理の施された補間画像信号等を記憶する、磁気ディスク装置等で構成される記憶部５１３と、撮像装置１ａとデータ通信を行うための通信インタフェース（通信Ｉ／Ｆ）５１４と、ＣＤ−Ｒ等の記録媒体９に対してデータを記録したり、また記録媒体９に記録されたプログラム等を読み取って記憶部５１３にインストールするための入出力部５１５とを備えて構成される。
【００７９】
ＣＰＵ５１１は記憶部５１３に記憶される画像補間処理プログラムを読み出し、それを実行することによって、撮像装置１ａから入力するＲＡＷ画像データに対して補間処理を行う機能を画像処理装置５において実現する。ただし、ＣＰＵ５１１は記録媒体９から直接的に画像補間処理プログラムを読み出し、それを実行するようにしてもよい。以下に、画像処理装置５における処理を説明する。
【００８０】
図１６は画像処理装置５において実現される機能を示す図である。画像処理装置５は撮像装置１ａからＲＡＷ画像データを入力するとそれを一時的にメモリ５１２に格納する。データ処理部５１では、ＣＰＵ５１１の作用により、画像補間部６２及び出力部６３としての機能が実現される。なお、出力部６３は、画像補間部６２から得られる補間画像信号を、表示部５２に出力して表示したり、記憶部５１３や記録媒体９等に出力して記録するための機能部である。
【００８１】
画像補間部６２は、Ｇ信号補間部６２１、Ｒ信号補間部６２２、及び、Ｂ信号補間部６２３として機能する。
【００８２】
Ｇ信号補間部６２１はメモリ５１２から市松状に分布するＧ信号を抽出し、欠落画素の補間処理を行うことによってＧ信号補間画像を出力する。Ｒ信号補間部６２２は、メモリ５１２から赤色信号（Ｒ信号）を抽出するとともに、Ｇ信号補間部６２１からのＧ信号補間画像を入力し、これらに基づきＲ信号補間画像を生成して出力する。同様に、Ｂ信号補間部６２３は、メモリ５１２から青色信号（Ｂ信号）を抽出するとともに、Ｇ信号補間部６２１からのＧ信号補間画像を入力し、これらに基づきＢ信号補間画像を生成して出力する。
【００８３】
これらのＧ信号補間部６２１、Ｒ信号補間部６２２、及びＢ信号補間部６２３は、それぞれ第１の実施の形態にて説明したものと同様の構成となり、かつ同様の処理が実行される。すなわち、Ｇ信号補間部６２１は、図７又は図１０に示したＧ信号補間部２１と同様の構成となり、同様の処理が実行される。
【００８４】
これにより、画像処理装置５は、第１の実施の形態で説明したものと同様の効果を発揮する。
【００８５】
ここで、画像処理装置５に接続可能な撮像装置１ａが１種類しか存在しない場合には、撮像装置１ａのＣＣＤ撮像素子等の特性に基づいて、Ｇ信号補間部６２１にて適用される積分区間や、係数等を予め設定しておけばよい。
【００８６】
これに対して、ＣＣＤ撮像素子の画素ピッチが異なる種類の撮像装置１ａが画像処理装置５に接続されうる場合には、Ｇ信号補間部６２１は、撮像装置の種類に応じて、予め積分区間や係数等を複数種類記憶しておき、ユーザが操作部５３から入力する撮像装置の種類に基づいて、複数種類の積分区間や係数等のうちから撮像装置１ａに適合した積分区間や係数等を適用してＧ信号の補間処理を行うように構成される。
【００８７】
このような構成により、複数種類の撮像装置からＲＡＷ画像データを入力可能な画像処理装置５においても、画像処理装置５に接続された撮像装置１ａに適した補間処理を実行することが可能になる。
【００８８】
なお、撮像装置の種類を指定するのではなく、撮像装置に設けられる光学ローパスフィルタやＣＣＤ撮像素子を考慮して、ユーザが直接的に各種パラメータを入力するようにしてもよい。
【００８９】
＜３．変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記説明した内容のものに限定されるものではない。
【００９０】
例えば、上記実施形態では、画素の開口率をほぼ１００％とし、光学ローパスフィルタ１２による像の分解幅Ｐ１を画素ピッチＰ２に等しくなるように設定して補間処理を行う場合を例示したが、本発明はこれとは異なる場合にも適用可能である。
【００９１】
図１７は画素の開口率が１００％に満たない場合を例示する図であり、図のように画素７１の開口率が１００％に満たない場合には、光学ローパスフィルタ１２の作用によって仮想的に４個の開口領域７１ａが形成される。この場合でも、画素７１から得られるＧ信号値は、４個の開口領域７１ａのそれぞれについて照度分布関数ｆ（ｘ）を積分して得られる値の総和により決定される。したがって、この場合でも、上記数３の式において、４個の開口領域７１ａの座標に基づいて積分区間を定めるように設定すれば、上述した内容と同様の演算手法により、照度分布関数ｆ（ｘ）の各係数を決定することが可能である。
【００９２】
また、光学ローパスフィルタ１２による光線の分離数が４個より多い場合であっても、同様に複数の開口領域について積分値を求め、それらの総和を求めることにより、照度分布関数ｆ（ｘ）の各係数を定めることができる。
【００９３】
したがって、ＣＣＤ撮像素子１３の画素開口や光学ローパスフィルタ１２の分離幅及び分離数にかかわらず、本発明を適用することは可能である。
【００９４】
また、上記実施形態では、緑色画像信号において、斜め方向に連なった４画素を抽出し、照度分布関数を３次関数で設定する場合を例示したが、補間演算のために抽出する画素数は、４個に限定されるものではなく、５個以上の画素を用いて補間演算を行うようにしてもよい。５以上の画素を用いれば、照度分布関数ｆ（ｘ）を高い精度で求めることが可能になる。ただし、ｎ個（ただしｎは４以上の整数）の画素を用いる場合、上述した演算によって照度分布関数ｆ（ｘ）を決定するためには、照度分布関数ｆ（ｘ）は（ｎ−１）次関数に設定されることが好ましい。
【００９５】
また、ｎ個の画素を用いて照度分布関数ｆ（ｘ）を設定する場合でも、ｎ個の画素は斜め方向に連なっている必要はない。ただし、補間対象画素の信号値を高精度に求めるためには、補間対象画素と元画素との距離が近い方が好ましいので、ｎ個の画素が斜め方向に最近接する２個の緑色受光画素を含むように設定し、その２個の緑色受光画素の中間位置における補間対象画素を補間演算によって求めることが望ましい。
【００９６】
【発明の効果】
以上説明したように、請求項１及び５に記載の発明によれば、画像信号から斜め方向に最近接する２個の緑色受光画素を含み、その２個の緑色受光画素と同一方向に存在する合計ｎ個（ただしｎは４以上の整数）の緑色受光画素を抽出し、そのｎ個の緑色受光画素が受光する緑色画像の照度分布を求める。そしてその照度分布から、上記斜め方向に位置する補間緑色画素の信号値を導出するので、高周波模様の再現性に優れ、補間エラーが少なく、かつ、効率的な補間演算が可能になる。
【００９７】
請求項２に記載の発明によれば、補間緑色画素が、最近接する２個の緑色受光画素の中間に位置するため、補間緑色画素の信号値を高精度に求めることができる。
【００９８】
請求項３に記載の発明によれば、ｎ個の緑色受光画素の各々に関し、照度分布を画素開口で積分した値が各緑色受光画素での信号値となるように、（ｎ−１）次関数が設定されるため、撮像素子における実際の光電変換に適合した照度分布を設定することができ、補間演算を高精度に行うことができる。
【００９９】
請求項４に記載の発明によれば、画素開口は、光学ローパスフィルタにより仮想的に拡大された領域であるため、撮像素子の各画素が受光する照度分布を正確に再現することができ、補間演算を高精度に行うことができる。
【図面の簡単な説明】
【図１】撮像装置の主たる内部構造を示す図である。
【図２】ベイヤ配列型ＣＣＤ撮像素子の受光面における画素配列を示す図である。
【図３】光学ローパスフィルタによる像の分解状態の一例を示す図である。
【図４】ＣＣＤ撮像素子の画素配列の一部拡大図である。
【図５】光学ローパスフィルタの作用を示す模式図である。
【図６】光学ローパスフィルタの作用によって仮想的に拡大された画素開口の概念を示す図である。
【図７】Ｇ信号補間部における詳細構成の一例を示す図である。
【図８】斜め方向に照度分布を仮定した場合の図である。
【図９】画素開口が重複した４画素分の画素開口を示す図である。
【図１０】Ｇ信号補間部における詳細構成の他の例を示す図である。
【図１１】補間画素（補間対象画素）の位置を示す図である。
【図１２】補間画素（補間対象画素）と赤色受光画素との位置関係を示す図である。
【図１３】図１２の関係を画素開口として表現した図である。
【図１４】撮像装置における補間処理の手順を示すフローチャートである。
【図１５】画像処理システムの概略構成を示す図である。
【図１６】画像処理装置において実現される機能を示す図である。
【図１７】画素の開口率が１００％に満たない場合を例示する図である。
【符号の説明】
１撮像装置
５画像処理装置
９記録媒体
１２光学ローパスフィルタ
１３ＣＣＤ撮像素子（撮像素子）
２０画像処理部
２１，６２１Ｇ信号補間部
２２，６２２Ｒ信号補間部
２３，６２３Ｂ信号補間部
２１１，２１５画素抽出部
２１２関数設定部
２１３，２１７演算部
２１６メモリ（記憶手段）

Claims

ベイヤ配列を有する撮像素子から出力される画像信号において緑色信号の補間処理を行う画像処理方法であって、
前記画像信号から斜め方向に最近接する２個の緑色受光画素を含み、前記２個の緑色受光画素と同一方向に存在する合計ｎ個（ただしｎは４以上の整数）の緑色受光画素を抽出する工程と、
前記ｎ個の緑色受光画素が受光する緑色画像の照度分布を求める工程と、
前記照度分布から、前記斜め方向に位置する補間緑色画素の信号値を導出する工程と、
を有する画像処理方法。
請求項１に記載の画像処理方法において、
前記補間緑色画素は、前記２個の緑色受光画素の中間に位置することを特徴とする画像処理方法。
請求項１又は２に記載の画像処理方法において、
前記ｎ個の緑色受光画素の各々に関し、前記照度分布を画素開口で積分した値が各緑色受光画素での信号値となるように、前記照度分布を（ｎ−１）次関数として設定することを特徴とする画像処理方法。
請求項３に記載の画像処理方法において、
前記画素開口は、光学ローパスフィルタにより仮想的に拡大された領域であることを特徴とする画像処理方法。
ベイヤ配列を有する撮像素子から出力される画像信号において緑色信号の補間処理を行う画像処理装置であって、
前記画像信号から斜め方向に最近接する２個の緑色受光画素を含み、前記２個の緑色受光画素と同一方向に存在する合計ｎ個（ただしｎは４以上の整数）の緑色受光画素を抽出する画素抽出手段と、
前記ｎ個の緑色受光画素が受光する緑色画像の照度分布を求める手段と、
前記照度分布から、前記斜め方向に位置する補間緑色画素の信号値を導出する演算手段と、
を備える画像処理装置。