JP3730063B2 - 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 - Google Patents
色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 Download PDFInfo
- Publication number
- JP3730063B2 JP3730063B2 JP25462599A JP25462599A JP3730063B2 JP 3730063 B2 JP3730063 B2 JP 3730063B2 JP 25462599 A JP25462599 A JP 25462599A JP 25462599 A JP25462599 A JP 25462599A JP 3730063 B2 JP3730063 B2 JP 3730063B2
- Authority
- JP
- Japan
- Prior art keywords
- color component
- signal level
- value
- pixel
- pass filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、受光色数よりも少ない数の２次元固体撮像素子を用いて撮像して当該受光色数分の色成分を有する多色画像データを出力するフルカラー画像撮像装置などの多色画像撮像装置並びにそれに用いられる色成分生成装置および色成分生成方法に関するものである。
【０００２】
【従来の技術】
ＣＣＤセンサなどの２次元撮像素子を用いて多色画像データを出力する多色画像撮像装置には、受光色数分の２次元撮像素子を備えて各２次元撮像素子が各色成分の受光感度信号を出力し、この受光色数分の受光感度信号を各画素の色成分信号として出力するものと、受光色数よりも少ない数の２次元撮像素子を備えて少なくともいずれか１つの２次元撮像素子が複数色分の受光感度信号を出力するとともに、各画素の不足している色成分の感度信号を演算処理で補間し、上記受光感度信号とこの生成感度信号とを各画素の色成分信号として出力するものとがある。前者の例としては、色の３原色に相当するＲ（赤）色フィルタ、Ｇ（緑）色フィルタ及びＢ（青）色フィルタを各々貼り付けた３枚の２次元撮像素子を用いるとともに、１回の撮影で光学系から入射される被写体像を分光プリズム等で分光して各原色用撮像素子に入射させることで、１画面分のフルカラー画像信号を得る３板式のフルカラー撮像装置を挙げることができ、また、後者の例としては、各画素位置毎に設けられた光電素子上にＲ色、Ｇ色、あるいはＢ色用のいずれか１種類のカラーフィルタを貼り付けた１枚の２次元撮像素子を用いるとともに、各画素位置毎に不足する他の２色の色成分の感度信号を演算により算出することで、１画面分のフルカラー画像信号を得る単板式のフルカラー撮像装置を挙げることができる。そして、後者の単板式のフルカラー撮像装置は、多板式のものに比べて２次元撮像素子などの光学部品の点数を抑えることができるため、小型かつ低価格に装置を構成することが可能であり、民生用ディジタルスチルカメラやディジタルビデオカメラなどにおいて主に採用されている。
【０００３】
次に、このような単板式のフルカラー撮像装置などにおいて、各画素の受光色の感度信号を用いて各画素の不足している色成分（以下、生成色と呼ぶ）の感度信号を生成する一般的な色補間処理方法について説明する。なお、この色補間処理方法は一般的に線形補間法とよばれるものである。図１２はこのような単板式２次元撮像素子において一般的に用いられているＢａｙｅｒ（ベイヤー）型配列による原色フィルタの構成を示す説明図である。図において、１つ１つのマスが各画素（光電素子）の位置を示し、そのマス内に記載された「Ｒ（赤）」、「Ｇ（緑）」、「Ｂ（青）」のそれぞれの記号は当該画素（光電素子）においてサンプリングされる受光色を示すものである。そして、各色成分について着目すると、「Ｇ（緑）」は図１３に示すような画素位置において受光感度信号が得られ、「Ｂ（青）」は図１４に示すような画素位置において受光感度信号が得られ、「Ｒ（赤）」は図１５に示すような画素位置において受光感度信号が得られることとなり、これらの図において空白となっている画素においてはそれぞれの色成分が不足しているので演算により当該生成色の感度信号（生成感度信号）を生成しなければならない。
【０００４】
例えば「Ｇ（緑）」においては、図１３において「Ｇ」と記載された画素において受光感度信号が得られているので、縦方向および横方向において隣接する上下左右の４つの画素の受光感度信号の平均値を演算し、これを各空欄となっている画素の生成感度信号とする。なお、同図ではこの感度信号の参照関係を矢印で示し、生成感度信号を「ｇ」として表記している。
【０００５】
また、「Ｂ（青）」においては、図１４において「Ｂ」と記載された画素において受光感度信号が得られているので、縦方向、横方向あるいは斜め方向において隣接する２つあるいは４つの画素の受光感度信号の平均値を演算し、これを各空欄となっている画素の生成感度信号とする。なお、同図ではこの感度信号の参照関係を矢印で示し、上下の２つの画素を参照した場合の生成感度信号を「ｂ１」、斜め方向の４つの画素を参照した場合の生成感度信号を「ｂ２」、左右の２つの画素を参照した場合の生成感度信号を「ｂ３」として表記している。
【０００６】
更に、「Ｒ（赤）」においては、図１５において「Ｒ」と記載された画素において受光感度信号が得られているので、縦方向、横方向あるいは斜め方向において隣接する２つあるいは４つの画素の受光感度信号の平均値を演算し、これを各空欄となっている画素の生成感度信号とする。なお、同図ではこの感度信号の参照関係を矢印で示し、上下の２つの画素を参照した場合の生成感度信号を「ｒ１」、斜め方向の４つの画素を参照した場合の生成感度信号を「ｒ２」、左右の２つの画素を参照した場合の生成感度信号を「ｒ３」として表記している。
【０００７】
しかしながら、上記線形補間法に基づく色補間処理方法では、十分な解像度を得ることができず、信号変化が激しくなる画像のエッジ部分において本来の被写体には存在しない偽色が発生してしまうなどの課題があった。このような偽色が発生してしまうのは、第一に、単板式の２次元撮像素子においては各画素上に１色の色フィルタを配置しているがためにＲ、Ｇ、Ｂ各色ともに画素数分だけの解像度が得られないことに起因し、第二に、信号変化が激しくなるエッジ部分では本来相関性が低い周辺画素を参照して補間を行ってしまうことに起因し、その結果、各色成分毎にエッジ位置が微妙にずれてしまうためである。
【０００８】
そして、かかる問題を解決するために、本出願人は特開平５−５６４４６号公報において局所的な色相関性を用いて高解像度でかつ偽色を良好に抑制した色補間処理方法を開示している。
【０００９】
図１６は、２次元撮像素子にＲ、Ｇ、Ｂ３原色からなる色フィルタをＢａｙｅｒ型配列で貼付したカラービデオカメラに、当該特開平５−５６４４６号公報に記載した技術を適用した場合の構成を示すブロック図である。同図において、１は被写体からの入射光を集光するレンズ、２はレンズ１を通して入射した光を光電変換する上記２次元撮像素子、３はこの２次元撮像素子２から出力されるアナログの受光感度信号をディジタルの受光感度信号に変換するＡ／Ｄ変換器、４は１画面分の受光感度信号を一時記憶するフレームメモリ、５はフレームメモリ４上の受光感度信号をＲ、Ｇ、Ｂ各色成分毎に分配するマルチプレクサ、６ａ〜６ｃはそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、生成色を生成する際に参照する画素に応じた複数ライン分の受光感度信号を記憶する２次元メモリ、７ａ〜７ｃはそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、各画素毎にローパスフィルタ値を出力する２次元ローパスフィルタ、８は各画素についてその受光色における受光感度信号と上記ローパスフィルタ値との比に基づいてその他の２つの色成分のローパスフィルタ値を補正し、これを上記受光色の受光感度信号とともに生成色の生成感度信号として出力する演算回路である。
【００１０】
次に動作について説明する。
レンズ１から入射した光は２次元撮像素子２に結像する。２次元撮像素子２は入射光を光電変換し入射光量に応じたレベルのアナログの電気信号を各画素の受光感度信号として出力する。このアナログの電気信号はＡ／Ｄ変換器３にてディジタルの電気信号に変換されてフレームメモリ４に蓄積される。フレームメモリ４に蓄積されたこの電気信号は図示しない制御手段によってマルチプレクサ５に順次送信されＲ、Ｇ、Ｂの複数ライン分の信号がそれぞれ別々に２次元メモリ６ａ〜６ｃに書き込まれる。各色成分の有意な電気信号が２次元メモリ６ａ〜６ｃに書き込まれている状態（一部）を図１７〜図１９に示す。これらの図において、１つ１つの四角形は画素を意味し、「Ｒ」「Ｇ」「Ｂ」と記載されている四角形が受光感度信号が書き込まれている同色の画素である。なお、この配列は上記色フィルタにおける「Ｒ」「Ｇ」「Ｂ」の配列と一致する。
【００１１】
そして、この２次元メモリ６ａ〜６ｃの記憶内容に基づいて各画素の各色成分のローパスフィルタ値が各色毎に設けた２次元ローパスフィルタ７ａ〜７ｃから出力される。各ローパスフィルタ７ａ〜７ｃは例えば注目画素を中心として所定の範囲内の受光感度信号の平均値を出力すればよい。図２０〜図２２に各２次元ローパスフィルタ７ａ〜７ｃの出力例を示す。このように全ての色成分の全ての画素についてローパスフィルタ値は出力される。
【００１２】
次に、演算回路８が各画素の受光色以外の色成分の感度信号を生成する。具体的には例えば、図１２のｍ行ｎ列の画素位置（受光色は緑）の赤色成分ｒ（ｍ，ｎ）あるいは青色成分ｂ（ｍ，ｎ）は下記式（１）あるいは式（２）に基づいて演算して求める。これらの式において、Ｇ（ｍ，ｎ）は当該画素の受光感度信号、Ｇ（ＬＰＦ）は当該画素の緑色成分のローパスフィルタ値、Ｒ（ＬＰＦ）は当該画素の赤色成分のローパスフィルタ値、Ｂ（ＬＰＦ）は当該画素の青色成分のローパスフィルタ値である。
【００１３】
ｒ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｒ（ＬＰＦ）／Ｇ（ＬＰＦ） ・・・（１）
ｂ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｂ（ＬＰＦ）／Ｇ（ＬＰＦ） ・・・（２）
【００１４】
図２３はこの従来の２つの補間方法による生成感度信号の信号レベルを比較説明するための説明図である。同図は説明を簡略化するために一次元方向のみを考慮した場合を示している。図において、横軸は上記一次元方向における各画素の位置、縦軸は信号レベル、●印は実際に撮像素子により撮影された緑色成分の信号レベル、２点鎖線で示す曲線はこの緑色成分の信号変化曲線、○は実際に撮像素子により撮影された赤色成分の信号レベル、実線で示す曲線は上記緑色成分の信号変化曲線と相似して変化する信号変化曲線、二重線上の●印は線形補間法を用いて補間した場合補間されるＲ色信号の信号レベル、☆印は特開平５−５６４４６号公報の補間によるＲ色信号の信号レベルである。なお、ＣＣＤセンサなどの撮像素子においては上記信号レベルが高くなればなるほどその色成分の色は白色に近い色となり、低ければ低いほど黒色に近い色となり、例えば「ＲＧＢ＝（２５５，２５５，２５５）」では白色、「ＲＧＢ＝（０，０，０）」では黒色となる。プリンタは逆の色傾向になる。
【００１５】
そして、同図に示すように、特開平５−５６４４６号公報の補間によるＲ色信号の信号レベルは、緑色成分の信号変化曲線と相似して変化する信号変化曲線上に乗る。従って、線形補間法を用いて補間した場合の信号レベルに比べて、画像の局所的な領域では輝度信号の変化に比べて色信号の変化が少ない、言い換えれば局所領域では色相関性が高いという撮影画像の一般的な特徴に則った赤色成分の信号レベルを生成することができ、画像のエッジを構成する信号レベル変化の急峻な領域においても色間の信号変化に偏りが生ずること無く、エッジを十分に再現することができ、高解像度かつ偽色の少ない高画質なものとすることができる。
【００１６】
なお、上記式（１）あるいは式（２）は下記式（３）のように一般化することができる。同式において、ｋ（ｍ，ｎ）は生成色の感度信号、Ｊ（ｍ，ｎ）は受光感度信号、Ｋ（ＬＰＦ）は生成色のローパスフィルタ値、Ｊ（ＬＰＦ）は受光色のローパスフィルタ値、（ｍ，ｎ）はフレームメモリ上の当該画素の座標位置である。
【００１７】
ｋ（ｍ，ｎ）＝Ｊ（ｍ，ｎ）×Ｋ（ＬＰＦ）／Ｊ（ＬＰＦ） ・・・（３）
【００１８】
【発明が解決しようとする課題】
しかしながら、このように局所的な色の相関関係を利用した補間方法であったとしても特有の画質劣化を生じる場合があった。
【００１９】
図２４は特開平５−５６４４６号公報の補間方法における画質劣化を説明するための説明図である。各表記は図２３に準じている。そして、同図に示すように、受光色の感度信号レベルが低いレベル範囲において微妙に変化するとともに、生成色のローパスフィルタ値が高くなるような場合には、つまりこれら色成分の値の差が大きくて高彩度の有彩色となる場合には、参照する受光色における微妙な変化に比例的に反応する形で生成色の感度信号レベルが上記ローパスフィルタ値のレベルから大きく外れてしまうこととなり、当該画素において本来画像中にない黒ずみや白抜けが発生してしまうことがある。
【００２０】
例えば、ＲＧＢ各色成分の感度信号が１０ビット（０〜１０２３の範囲、０：暗、１０２３：明）である撮像装置において、一次元の局所的な信号レベルとしてＧ（１）＝４、Ｇ（３）＝１、Ｇ（５）＝４、Ｒ（２）＝Ｒ（４）＝１０２３となる画像が撮像された場合、各ローパスフィルタ値を単純平均で算出すると、下記式（４）〜式（６）の演算によりｒ（３）の感度信号レベルが得られることとなり、これは同色の周辺画素の信号レベルと比べて極端に低い値となってしまい、黒ずみとなってしまう。
【００２１】
Ｇ（ＬＰＦ）＝（４＋１＋４）／３＝３ ・・・（４）
Ｒ（ＬＰＦ）＝（１０２３＋１０２３）／２＝１０２３ ・・・（５）
ｒ（３）＝Ｇ（３）×Ｒ（ＬＰＦ）／Ｇ（ＬＰＦ）
＝１×１０２３／３＝３４１ ・・・（６）
【００２２】
以上のように、特開平５−５６４４６号に開示した補間方法は、単板式の２次元撮像素子を用いた多色画像撮像装置において一般的には高解像度でかつ偽色の少ない色成分信号を得ることができるものであるが、撮影した絵柄によっては固有の画質劣化を引き起こしてしまうなどの課題があった。
【００２３】
この発明は上記のような課題を解決するためになされたもので、黒ずみや白抜けを生ずること無く、高解像度でかつ偽色の少ない色成分信号を得ることができる多色画像撮像装置ならびにそれに用いられる色成分生成装置および色成分生成方法を得ることを目的とする。
【００２４】
【課題を解決するための手段】
この発明に係る色成分生成装置は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど小さな値となる補間強度係数を出力する係数選択回路と、当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるものである。
【００２５】
この発明に係る色成分生成装置は、乗算手段が、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差の大きさをこれら２つの色成分のローパスフィルタ値同士の差で判定するとともに、この判定に応じた補間強度係数を増幅値に乗算し、しかも、当該補間強度係数は上記差が大きければ大きいほど当該増幅値の逆数に近い値となり且つ上記差が小さければ小さいほど「１」に近い値となるものである。
【００２６】
この発明に係る色成分生成装置は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、当該第１の重み付け係数と当該増幅値と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるものである。
【００２７】
この発明に係る色成分生成装置は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素の第１のローパスフィルタ値を生成する第１のローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、当該第１の重み付け係数と当該増幅値と前記第１のローパスフィルタ値を乗算する第１の乗算手段と、１から第１の重み付け係数を引いた第２の重み付け係数とパターンマッチングによる第２のローパスフィルタ値を乗算する第２の乗算手段と、当該第１の乗算値と第２の乗算値を加算したものを上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるものである。
【００２８】
この発明に係る色成分生成装置は、ローパスフィルタ手段が、不足色成分の生成に係る画素を中心とする所定の範囲内の複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値、または、上記所定の範囲内の画素の中から信号レベル分布に基づいて選択された複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値をローパスフィルタ値として生成するものである。
【００２９】
この発明に係る色成分生成装置は、ローパスフィルタ手段は、不足色成分の生成に係る画素を中心とする所定の範囲内の画素における不足色成分の信号レベルの平均値を演算するとともにその平均値を閾値として当該範囲内の複数の画素の二値化処理を行い、更にこの二値分布に応じて選択された複数の画素の平均値若しくは重み付け加算平均値をローパスフィルタ値として生成し、第１のローパスフィルタ値として上記所定の範囲内の画素の平均値を使用し、第２のローパスフィルタ値として上記選択された複数の画素の平均値若しくは重み付け加算平均値を使用するものである。
【００３０】
この発明に係る色成分生成装置は、乗算手段が、当該画素の受光信号レベルが当該受光色における周囲の画素の信号レベルのローパスフィルタ値よりも小さい場合のみ、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差に応じた補正量制御を実施するものである。
【００３１】
この発明に係る色成分生成方法は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成方法において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタステップと、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算ステップと、上記周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど小さな値となる補間強度係数を出力する係数選択ステップと、当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算ステップと、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力ステップとを備えるものである。
【００３２】
この発明に係る多色画像撮像装置は、各画素の色情報として複数の色成分の信号レベルを出力する多色画像撮像装置において、上記画素と１対１に対応づけられた受光素子毎に上記複数の色成分うちから選択された１つの色のフィルタが設けられ、上記画素数分の受光信号レベルを出力する撮像素子と、上記撮像素子から出力される各画素の受光信号レベルの色を既知の色成分として、各画素の不足している色成分の信号レベルを生成する請求項１記載の色成分生成装置と、上記各画素の色情報として、上記撮像素子から出力される受光信号レベルと、当該色成分生成装置から出力される残りの色成分の信号レベルとを出力する出力手段とを備えるものである。
この発明に係る色成分生成方法は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成方法において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタステップと、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算ステップと、上記周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択ステップと、当該第１の重み付け係数と当該増幅値と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算ステップと、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力ステップとを備えるものである。
【００３３】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１によるデジタルスチルカメラなどのフルカラー画像撮像装置の構成を示すブロック図である。図において、１は被写体からの入射光を集光するレンズ（撮像素子）、２はＲ、Ｇ、Ｂの３原色の色フィルタがＢａｙｅｒ型に配列され、レンズ１を通して入射した光を光電変換する上記２次元撮像素子（撮像素子）、３はこの２次元撮像素子２から出力されるアナログの受光感度信号をディジタル１０ビットの受光感度信号に変換するＡ／Ｄ変換器（撮像素子）、４は１画面分の受光感度信号を一時記憶するフレームメモリ、５はフレームメモリ４上の受光感度信号をＲ、Ｇ、Ｂ各色成分毎に分配するマルチプレクサ、６ａ〜６ｃはそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、生成色を生成する際に参照する画素に応じた複数ライン分の受光感度信号を記憶する２次元メモリ、７ａ〜７ｃはそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、各画素毎にローパスフィルタ値を出力する２次元ローパスフィルタ（ローパスフィルタ手段）である。
【００３４】
また、９は色成分の差異値Ｄｉｆ（ｉ）とそれに対応するループ制御変数ｉとを対応づけたテーブルを保持する係数メモリ（乗算手段）、１０は各生成色についてその生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との値の差（差異値Ｄｉｆ（ｉ））に応じたループ制御変数ｉを選択するとともに、このループ制御変数ｉを用いて補間強度係数Ｃｄを生成する係数選択回路（乗算手段）、１１はこの補間強度係数Ｃｄと上記ローパスフィルタ値などを用いて各生成色の感度信号ｋ（ｍ，ｎ）を生成し、更にこの生成感度信号ｋ（ｍ，ｎ）と受光感度信号Ｊ（ｍ，ｎ）とを合わせて各画素のＲＧＢ各１０ビットの色成分信号として出力する演算回路（増幅値演算手段、乗算手段、不足色生々出力手段、出力手段）である。
【００３５】
次に動作について説明する。
レンズ１から入射した光は２次元撮像素子２に結像する。２次元撮像素子２は入射光を光電変換し入射光量に応じたレベルのアナログの電気信号を各画素の受光感度信号として出力する。このアナログの電気信号はＡ／Ｄ変換器３にてディジタルの電気信号に変換されてフレームメモリ４に蓄積される。フレームメモリ４に蓄積されたこの電気信号は図示しない制御手段によってマルチプレクサ５に順次送信されＲ、Ｇ、Ｂの複数ライン分の信号がそれぞれ別々に２次元メモリ６ａ〜６ｃに書き込まれる。そして、この２次元メモリ６ａ〜６ｃの記憶内容に基づいて各画素の各色成分のローパスフィルタ値が各色毎に設けた２次元ローパスフィルタ７ａ〜７ｃから出力される。各ローパスフィルタ値としては例えば注目画素を中心としてその周囲の所定の範囲内の受光感度信号の平均値（ＡＶ）がある。
【００３６】
このようにＲＧＢの各色成分のローパスフィルタ値が出力されると、これに基づいて係数選択回路１０においてループ制御変数ｉの選択処理が実施され、演算回路１１においてこの選択されたループ制御変数ｉを用いて各生成色の生成感度信号ｋ（ｍ，ｎ）が生成される。具体的には、生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）とを比較し、それらの差分値の大きさが大きいほど大きな値のループ制御変数ｉが選択され、このループ制御変数ｉを用いて補間強度係数Ｃｄが生成され、この補間強度係数Ｃｄなどを用いて各生成感度信号ｋ（ｍ，ｎ）が生成される。下記式（７）は補間強度係数Ｃｄなどを用いて生成感度信号ｋ（ｍ，ｎ）を演算するための式である。同式において、ｋ（ｍ，ｎ）は生成感度信号、Ｊ（ｍ，ｎ）は受光感度信号、Ｋ（ＬＰＦ）は生成色のローパスフィルタ値、Ｊ（ＬＰＦ）は受光色のローパスフィルタ値、Ｃｄは補間強度係数である。
【００３７】
ｋ（ｍ，ｎ）＝Ｊ（ｍ，ｎ）×｛Ｋ（ＬＰＦ）／Ｊ（ＬＰＦ）｝×Ｃｄ・・・（７）
【００３８】
図２は係数選択回路１０において実行される補間強度係数生成処理を示すフローチャートである。なお、この処理は各生成色毎に実施されるものである。同図において、ＳＴ１は受光感度信号Ｊ（ｍ，ｎ）が受光光のローパスフィルタ値Ｊ（ＬＰＦ）以下であるか否かを判断する凹凸判断ステップ、ＳＴ２は当該判断において正しいと判断された場合に実行されるステップであって、予め決められた補間強度の段階数Ｄｎｕｍなどを用いて補間強度のステップ幅Ｄ（＝（Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）−１）／Ｄｎｕｍ）を演算するステップ幅演算ステップ、ＳＴ３はループ制御変数ｉに初期値「０」を代入する初期化ステップ、ＳＴ４は生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差の大きさがループ変数ｉに基づいて係数テーブルから選択された差分値Ｄｉｆ（ｉ）以下であるか否かを判断することによって、注目画素における色味及び彩度の算出を行う差分量判断ステップ、ＳＴ５はこの差分量判断ステップＳＴ４において否と判断された場合に実行されるステップであって、ループ制御変数ｉに「１」を加算するループ制御変数更新ステップ、ＳＴ６はこのループ制御変数ｉに基づいて補間強度の分割数Ｄｎｕｍ分のループ処理が行われたか否かを判断するループ終了ステップであり、このループ終了ステップＳＴ６において正しいあるいは上記差分量判断ステップＳＴ４で正しいと判断された場合にループ処理を終了する。そして、そのループ処理を終了した時点のループ制御変数ｉを用いて補間強度係数Ｃｄ（＝１＋Ｄ×（ｉ＋１））が演算される（補間強度係数演算ステップ、ＳＴ７）。
【００３９】
また、ＳＴ８は凹凸判断ステップＳＴ１において正しくないと判断された場合に実行されるステップであって、補間強度のステップ幅Ｄ（＝（１−Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ））／Ｄｎｕｍ）を演算するステップ幅演算ステップ、ＳＴ９はループ制御変数ｉに初期値「０」を代入する初期化ステップ、ＳＴ１０は生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差の大きさがループ変数ｉに基づいて係数テーブルから選択された差分値Ｄｉｆ（ｉ）以下であるか否かを判断する差分量判断ステップ、ＳＴ１１はこの差分量判断ステップＳＴ１０において否と判断された場合に実行されるステップであって、ループ制御変数ｉに「１」を加算するループ制御変数更新ステップ、ＳＴ１２はこのループ制御変数ｉに基づいて補間強度の分割数Ｄｎｕｍ分のループ処理が行われたか否かを判断するループ終了ステップであり、このループ終了ステップＳＴ１２において正しいあるいは上記差分量判断ステップＳＴ１０で正しいと判断された場合にループ処理を終了する。そして、そのループ処理を終了した時点のループ制御変数ｉを用いて補間強度係数Ｃｄ（＝１−Ｄ×（ｉ＋１））が演算される（補間強度演算ステップ、ＳＴ１３）。
【００４０】
ところで、上記式（７）は下記式（８）のように変形することができ、しかも、上記補間強度変数Ｃｄは「ｉ＝Ｄｎｕｍ−１」のときに「Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）」、「ｉ＝０」のときに「１＋（Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）−１）／Ｄｎｕｍ」あるいは「１−（１−Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ））／Ｄｎｕｍ」となるので、生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差分値が大きければ大きいほど（つまりＤが大きければ大きいほど）下記式（８）は「Ｋ（ＬＰＦ）」に近い値をとり、逆に、当該差分値が小さければ小さいほど（つまりＤが小さければ小さいほど）下記式（８）は「Ｋ（ＬＰＦ）×Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）」に近い値をとることになる。別な言い方をすれば、補間強度係数Ｃｄが取りうる範囲は「１」と「Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）」との間の値である。特に、Ｃｄ＝１の場合には注目画素周辺が低彩度の場合であり式（８）は式（３）と同等となり、Ｃｄ＝Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）の場合には注目画素周辺が高彩度の場合であり「ｋ（ｍ，ｎ）＝Ｋ（ＬＰＦ）」となるため線形補間法と同等になる。図３はこのような各種のパラメータの相関関係を示す説明図である。同図（ａ）はＪ（ｍ，ｎ）≦Ｊ（ＬＰＦ）の場合、同図（ｂ）はＪ（ｍ，ｎ）≧Ｊ（ＬＰＦ）の場合である。
【００４１】
ｋ（ｍ，ｎ）＝Ｋ（ＬＰＦ）×｛Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）×Ｃｄ｝・・・（８）
【００４２】
なお、図４はこのような補間強度係数Ｃｄの演算処理において参照される係数メモリ９の内容の一例を示した模式図である。図において、左列はループ制御変数ｉ、右列は差分値Ｄｉｆ（ｉ）であり、上記フローでは同図の上側から順番に参照されることになる。
【００４３】
ここで、具体例を示す。従来例で示した局所的な１０ビットの信号レベルとしてＧ（１）＝４、Ｇ（３）＝１、Ｇ（５）＝４、Ｒ（２）＝Ｒ（４）＝１０２３であり、かつ各ローパスフィルタ７ａ〜７ｃは単純平均で算出するものと仮定し、図２及び式（８）に従って注目画素におけるＲ信号値ｒ（３）を算出した場合、以下の式（９）〜式（１６）の演算を行うことになる。そして、生成感度信号ｒ（３）は同色の周辺画素信号レベルと同等の値になるため、高彩度かつ有彩色の領域で極端に黒ずみや白抜け等の画質劣化を発生することはない。特に、ディジタルスチルカメラ等の多色画像撮像装置で撮影した画像はコンピュータグラフィックスで作成した画像とは異なり、画像中のエッジ近傍は低彩度の影（明暗）になる場合が多いが、この実施の形態１のように補間処理をすることによって、解像度に寄与するエッジ近傍は従来法の特長を十分に発揮しながら、高彩度のベタ面については黒ずみ等の画質劣化を排除した高画質のフルカラー画像を得ることが可能になる。
【００４４】
【００４５】
なお、この実施の形態１では、図２のフローチャートにおいて補間強度差分値Ｄを演算により算出していたが、Ｄｎｕｍを撮像系に対して固定値として設定することで、受光感度信号Ｊ（ｍ，ｎ）やローパスフィルタ値Ｊ（ＬＰＦ）をインデックスとして当該補間強度差分値Ｄを選択する２次元ＬＵＴ（Ｌｏｏｋ ＵｐＴａｂｌｅ）を予め係数メモリ９などに格納させることができる。この場合、実際に補間強度差分値Ｄを求める際にはメモリ参照処理のみで足りるので、処理を高速化することができる。また、補間強度差分値Ｄ及び彩度判定値（ｉ）をインデックスとして補間強度係数Ｃｄを選択する２次元ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を予め係数メモリ９などに格納させることで更に処理を高速化することができる。
【００４６】
また、この実施の形態１では、生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差分値に基づいて簡易的に彩度及び色味を判定しているが、入力されるＲＧＢ３原色のローパスフィルタ値をＨＶＣ（Ｈｕｅ Ｖａｌｕｅ Ｃｈｒｏｍａ）あるいはＨＳＬ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｌｉｇｈｔｎｅｓｓ）等の色相、彩度、明度を３原色とした色空間に変換し、これに基づいて厳密に彩度及び明度値を判定するようにしてもよい。この場合、彩度が高い場合でも明度値が大きければ該当領域は白色に近い色合いとなり、逆に明度値が小さい場合には該当領域は黒色に近い色合いとなって、補間強度係数は大きくても画質上問題が生じてしまうことはないので、中間明度における彩度値を補間係数に反映させて黒済み等を除去することができる。
【００４７】
以上のように、この実施の形態１によれば、各画素の色情報として不足している色成分の感度値を生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の感度値に基づいて当該画素のローパスフィルタ値Ｋ（ＬＰＦ）を生成する２次元ローパスフィルタ７ａ〜７ｃと、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差に応じた補間強度係数Ｃｄを出力する係数選択回路１０と、当該画素の既知の色成分における当該画素の感度値Ｊ（ｍ，ｎ）と当該既知の色成分における周囲の画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）との比に応じた増幅値｛Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）｝を演算するとともに、上記補間強度係数Ｃｄとこの増幅値を上記ローパスフィルタ値Ｋ（ＬＰＦ）に乗算して出力する演算回路１１とを備えるので、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が小さい場合には、画像の局所的な領域では輝度信号の変化に比べて色信号の変化が少ない、言い換えれば局所領域では色相関性が高いという撮影画像の一般的な特徴に則った補正をおこなって、線形補間法を用いて補間した場合に比べて、画像のエッジを構成する信号レベル変化の急峻な領域においても色間の信号変化に偏りが生じないようにすることができる。従って、エッジを十分に再現することができ、高解像度かつ偽色の少ない高画質なものとすることができる効果がある。
【００４８】
これと同時に、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が大きい場合には、つまりこれら色成分の値の差が大きくて高彩度の有彩色となる場合には、既知の色成分の感度信号レベルと不足色成分の感度信号レベルとのレベル差に応じた補正量制御を実施するので、参照する受光色における微妙な変化に比例的に反応する形で生成色の感度値ｋ（ｍ，ｎ）が上記ローパスフィルタ値Ｋ（ＬＰＦ）のレベルから大きく外れてしまうことはなく、当該画素において本来画像中にない黒ずみや白抜けが発生してしまうことを効果的に抑制することができる効果がある。
【００４９】
つまり、画像中の高彩度の領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能であると同時に、低彩度の領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行うことができる効果がある。従って、画像の種類によらず安定感のある多色画像を撮像することができる効果がある。
【００５０】
以上のように、この実施の形態１によれば、係数選択回路１０が、既知の色成分の感度信号レベルと不足色成分の感度信号レベルとのレベル差の大きさをこれら２つの色成分のローパスフィルタ値同士（Ｋ（ＬＰＦ）−Ｊ（ＬＰＦ））の差で判定するとともに、演算回路１１がこの判定に応じた補間強度係数Ｃｄを増幅値に乗算し、しかも、当該補間強度係数Ｃｄは上記差が大きければ大きいほど当該増幅値の逆数｛Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）｝に近い値となり且つ上記差が小さければ小さいほど「１」に近い値となるので、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が小さい場合には上記差も小さくなって、補正値そのままに生成色の感度値ｋ（ｍ，ｎ）を補正することができ、しかも、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が大きい場合には上記差も大きくなって、当該補正値による補正量を制限することができる。従って、黒ずみ等の画質劣化を抑制しつつ高解像度で偽色の少ない色補間を行うことができる効果がある。
【００５１】
なお、この実施の形態１では上記２次元ローパスフィルタ７ａ〜７ｃは、不足色成分の生成に係る画素を中心とする所定の範囲内の複数の画素における不足色成分の感度値の重み付け加算平均値Ｋ（ＬＰＦ）をローパスフィルタ値として生成しているが、ほかにも、不足色成分の生成に係る画素を中心とする所定の範囲内の複数の画素における不足色成分の感度値の平均値Ｋ（ＡＶ）などをローパスフィルタ値として生成しても同様の効果がある。
【００５２】
実施の形態２．
図５はこの発明の実施の形態２の係数演算回路において実施される補間強度係数生成処理を示すフローチャートである。図において、ＳＴ１４は凹凸判断ステップＳＴ１において正しくないと判断された場合に実行されるステップであって、補間強度係数Ｃｄとして「１」を出力する補間強度演算ステップである。これ以外の構成および動作は実施の形態１と同様であり説明を省略する。
【００５３】
そして、このように受光色が微妙に凸状の変化を有している場合には、それを用いた生成色の感度信号もその相似比に応じた変化が生じてしまうが、デジタルスチルカメラなどの多色画像撮像装置では、その周囲の画素における当該生成色と同色の色成分の感度信号は既に十分に高いレベルにあるためその色の差異が視認され難くなり、結果的に白抜けなどの画質劣化にはなりにくく、この実施の形態２のように簡略化した処理にて高速化を図ったとしても、黒ずみや白抜けなどの画質劣化が顕著に発生してしまうことはない。
【００５４】
以上のように、この実施の形態２によれば、演算回路１１が、当該画素の受光感度値Ｊ（ｍ，ｎ）が当該受光色における周囲の画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）よりも小さい場合のみ、既知の色成分の感度信号レベルと不足色成分の感度信号レベルとのレベル差に応じた補正量制御を実施するので、当該画素の受光感度値Ｊ（ｍ，ｎ）が当該受光色における周囲の画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）よりも大きい場合の演算処理を簡略化することができる。そして、このように画素の受光感度値Ｊ（ｍ，ｎ）が当該受光色における周囲の画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）よりも大きい場合の演算処理を省略して、ローパスフィルタ値Ｋ（ＬＰＦ）に「Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）」を乗算した値をそのまま感度値ｋ（ｍ，ｎ）として出力したとしても、その周囲を含めて全体の感度が高いため、これに基づいて生成された表示画像などにおいては再生装置の再生能力の限界値で制限されることとなり、画質欠陥として認識されにくい効果がある。
【００５５】
実施の形態３．
図６はこの発明の実施の形態３によるデジタルスチルカメラなどのフルカラー画像撮像装置の構成を示すブロック図である。図において、１６はＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ等で構成され、フレームメモリ４上の１画面分の受光感度データのうち複数ライン分の受光感度データを保持するラインバッファ（ローパスフィルタ手段）、１７はラインバッファ１６に保持される複数ライン分の受光感度データからパターンマッチング法により線分ベクトルの検出を行い、この線分ベクトルに基づいて複数の画素を選択し、更に、この選択された複数の画素の感度に基づいて各画素の各色成分のローパスフィルタ値を出力するパターンマッチング手段（ローパスフィルタ手段）、１８はこのパターンマッチング手段１７におけるパターンマッチング処理の際に参照する複数の感度分布パターンとそれに応じた参照画素とを対応づけて記憶するパターンメモリ（ローパスフィルタ手段）である。なお、上記感度分布パターンは線分ベクトルのパターンに基づいて設定されている。
【００５６】
また、１９は生成色の平均値Ｋ（ＡＶ）と受光色の平均値Ｊ（ＡＶ）との差異度に応じたループ制御変数ｉを演算する係数選択回路（乗算手段）、２０はこのループ制御変数ｉなどを利用して各画素の各色成分の感度信号を生成する演算回路（増幅値演算手段、乗算手段、不足色生々出力手段、出力手段）である。これ以外の構成は実施の形態１と同様であり説明を省略する。
【００５７】
次に動作について説明する。
フレームメモリ４に撮影後のディジタルの受光感度信号が記憶されると、図示しないメモリコントローラが常に７ライン分のデータがラインバッファ１６に保持されるようにデータを出力する。パターンマッチング手段１７は、画素入力クロックに同期して、色補間しようとする注目画素を中心とした７×７画素からなる参照ウィンドウをこのラインバッファ１６から抽出し、これとパターンメモリ１８に記憶された線分ベクトルのパターンとを比較し、各画素の各色成分のパターンマッチングに基づくローパスフィルタ値を出力する。
【００５８】
図７はこのようなパターンマッチングに基づくローパスフィルタ値を出力する際に、パターンマッチング手段１７で使用される参照ウィンドウの一例を示す説明図である。図において、各マスは画素に対応し、網掛けされたマスは当該不足色成分の受光感度信号が得られている画素を示している。また、この中心に位置するマスが注目画素であり、パターンマッチング手段１７は当該画素の各色成分のローパスフィルタ値を生成して出力する。更に、同図においてこの注目画素から周囲にのびている各矢印はそれぞれ同図に示すような受光色の分布パターンにおいて検出可能な上記線分ベクトルである。そして、この実施の形態３においてはこのような受光色の分布パターンとなるのは緑色成分である。
【００５９】
次に線分ベクトルの検出方法について説明する。
まず、下記式（１７）を用いて参照ウィンドウ内の各色成分毎の受光感度の平均値Ｋ（ＡＶ）を求める。同式では、当該参照ウィンドウ内の当該色成分の受光画素数をｎとしている。
【００６０】
【数１】
【００６１】
次に、この平均値Ｋ（ＡＶ）を閾値として当該ｎ個の画素の受光感度を「０」「１」に分類し（二値化処理し）、これをパターンメモリ１８内に記憶された各分布パターンと比較し、一致する分布パターンに対応づけられた画素の受光感度に基づいて注目画素の当該色成分のローパスフィルタ値Ｋ（ＰＡＴ）を生成する。例えば、図８に示すような二値分布パターンとなった場合には同図に示す位置にエッジ（線分ベクトル）が存在すると考えられるので、注目画素を含む側の近隣画素（細かいハッチング側の画素）の感度信号を用いて、例えば線分ベクトルの稜線方向に存在する複数の画素の感度信号を重み付け加重平均して上記ローパスフィルタ値Ｋ（ＰＡＴ）を生成する。
【００６２】
なお、注目画素における他の色成分においても同様の方法でパターンマッチングに基づくローパスフィルタ値を生成することができる。この場合、２次元撮像素子におけるフィルタの色分布が緑色成分と異なるため、受光分布パターンも緑色成分とは異なるものとなる。図９に、この実施の形態３における参照ウィンドウ内における赤色成分の４つの受光分布パターンおよび青色成分の４つの受光分布パターンを示す。
【００６３】
そして、係数選択回路１９はこの各色成分の平均値Ｋ（ＡＶ），Ｊ（ＡＶ）を用いてループ制御係数ｉを選択し、演算回路２０はパターンマッチングに基づくローパスフィルタ値Ｋ（ＰＡＴ）などを用いて下記式（１８）にて各生成色の生成感度信号ｋ（ｍ，ｎ）を生成して出力する。同式において、Ｋ（ＡＶ）は上記参照ウィンドウにおける平均値、Ｋ（ＰＡＴ）はパターンマッチングに基づくローパスフィルタ値である。
【００６４】
【数２】
【００６５】
図１０はこの実施の形態３の係数選択回路１９の動作を示すフローチャートである。図において、ＳＴ１５はループ制御変数ｉに初期値「０」を代入する初期化ステップ、ＳＴ１６は生成色の平均値Ｋ（ＡＶ）と受光色の平均値Ｊ（ＡＶ）との差の大きさがループ変数ｉに基づいて係数テーブルから選択された差分値Ｄｉｆ（ｉ）以下であるか否かを判断することによって、注目画素における色味及び彩度の算出を行う差分量判断ステップ、ＳＴ１７はこの差分量判断ステップＳＴ１６において否と判断された場合に実行されるステップであって、ループ制御変数ｉに「１」を加算するループ制御変数更新ステップ、ＳＴ１８はこのループ制御変数ｉに基づいて補間強度の分割数Ｄｎｕｍ分のループ処理が行われたか否かを判断するループ終了ステップであり、このループ終了ステップＳＴ１８において正しいあるいは上記差分量判断ステップＳＴ１６で正しいと判断された場合にループ処理を終了する。そして、演算回路２０はこのループ処理を終了した時点のループ制御変数ｉを上記式（１８）に代入して重み付け演算を実施する。
【００６６】
そして、このような演算処理であっても、実施の形態１と同様に、画像中の高彩度の領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能である。また、低彩度の領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行うことができる。
【００６７】
また、パターンマッチング手段１７においてパターンマッチング処理のために算出したウィンドウ内平均値Ｋ（ＡＶ）を後段においても利用するようにしているので、実施の形態１で使用した色補間専用の２次元メモリ６ａ〜６ｃや２次元ローパスフィルタ回路７ａ〜７ｃが不要となり、回路規模を抑制しながら実施の形態１よりも更に画像の高画質化を図ることができる。
【００６８】
なお、この実施の形態３においては、パターンメモリ１８を設けてパターンマッチング手段１７からパターンを参照していたが、予め参照パターンを論理回路として構成しておきその論理演算結果（ＡＮＤまたはＯＲ）に基づいて２値信号群のマッチング判定を行うようにしてもよい。この場合、装置を構成するメモリ量を低減することができるので低コスト化を図ることができる。
【００６９】
また、この実施の形態３では、ＲＧＢ全てのパターンマッチングを行い各色毎に線分方向検出を行っていたがこの限りでなく、例えばサンプリング周波数が比較的高く解像度信号を多く含んでいるＧ信号に対してのみ線分方向検出を行い、Ｇ信号の線分ベクトルをその他の色成分の線分ベクトルとして代用してもよい。
【００７０】
以上のように、この実施の形態３によれば、係数選択回路１９が、既知の色成分の感度信号レベルと不足色成分の感度信号レベルとのレベル差の大きさをこれら２つの色成分のローパスフィルタ値同士の差（Ｋ（ＡＶ）−Ｊ（ＡＶ））で判定するとともに、演算回路２０がこの判定に応じた１以下の値の重み付け係数（１−（ｉ＋１）／Ｄｎｕｍ）を増幅値（Ｊ（ｍ，ｎ）／Ｊ（ＡＶ））に乗算し、且つ、当該増幅値に乗算される重み付け係数は上記差が大きければ大きいほど「０」に近い値となるので、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が小さい場合には上記差も小さくなって、補正値そのままに生成色の感度値ｋ（ｍ，ｎ）を補正することができ、しかも、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が大きい場合には上記差も大きくなって、当該補正値による補正量を制限することができる。従って、黒ずみ等の画質劣化を抑制しつつ高解像度で偽色の少ない色補間を行うことができる効果がある。
【００７１】
この実施の形態３によれば、式（１８）に示すように演算回路２０において重み付け加算される演算項の個数を２とするとともに、増幅値が乗算される演算項（式（１８）の右辺第１項）の重み付け係数と、もう一つの演算項（式（１８）の右辺第２項）の重み付け係数との和は常に「１」となるので、不足色の感度値として、不足色のローパスフィルタ値Ｋ（ＰＡＴ）と、それに補正値を乗算した値（Ｋ（ＡＶ）×Ｊ（ｍ，ｎ）／Ｊ（ＡＶ））との間の値を得ることができる効果がある。
【００７２】
この実施の形態３によれば、パターンマッチング手段１７が、不足色成分の生成に係る画素を中心とする所定の範囲内の画素における不足色成分の感度値の平均値Ｋ（ＡＶ）を演算するとともにその平均値Ｋ（ＡＶ）を閾値として当該範囲内の複数の画素の二値化処理を行い、更にこの二値分布に応じて選択された複数の画素の平均値若しくは重み付け加算平均値をローパスフィルタ値Ｋ（ＰＡＴ）として生成し、演算回路２０が、増幅値が乗算される演算項（式（１８）の第１項）における不足色成分のローパスフィルタ値として上記所定の範囲内の画素の平均値Ｋ（ＡＶ）を使用し、もう一つの演算項における不足色成分のローパスフィルタ値として上記選択された複数の画素の平均値若しくは重み付け加算平均値Ｋ（ＰＡＴ）を使用するので、画像中のエッジ位置においては相関の高い画素のみに基づいてローパスフィルタ値を生成して更に偽色の発生を抑制しつつ、画像中の高彩度の領域では黒ずみ等の画質劣化を抑制することができる効果がある。
【００７３】
実施の形態４．
この実施の形態４に係るフルカラー画像撮像装置は、演算回路１１が下記式１９に基づいて各生成感度信号ｋ（ｍ，ｎ）を生成するとともに、係数選択回路１０が図１１に示すフローチャートを実施する以外は実施の形態１と同様の構成および動作である。なお、式（１９）の右辺第１項は受光色の相似比を元に色補間を行うアルゴリズムに基づく演算項であり、第２項は線形補間アルゴリズムに基づく演算項であり、同式はこれら２種類のアルゴリズムを、彩度に対応づけられたループ制御変数ｉに基づいて重み付け加算するものである。
【００７４】
【数３】
【００７５】
また、図１１において、ＳＴ１９はループ制御変数ｉに初期値「０」を代入する初期化ステップ、ＳＴ２０は生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差の大きさがループ変数ｉに基づいて係数テーブルから選択された差分値Ｄｉｆ（ｉ）以下であるか否かを判断することによって、注目画素における色味及び彩度の算出を行う差分量判断ステップ、ＳＴ２１はこの差分量判断ステップＳＴ２０において否と判断された場合に実行されるステップであって、ループ制御変数ｉに「１」を加算するループ制御変数更新ステップ、ＳＴ２２はこのループ制御変数ｉに基づいて補間強度の分割数Ｄｎｕｍ分のループ処理が行われたか否かを判断するループ終了ステップであり、このループ終了ステップＳＴ２２において正しいあるいは上記差分量判断ステップＳＴ２０で正しいと判断された場合にループ処理を終了する。そして、演算回路１１はこのループ処理を終了した時点のループ制御変数ｉを上記式（１９）に代入して重み付け演算を実施する。
【００７６】
そして、このような構成であれば実施の形態１と同様に、黒ずみ等の発生しない高画質な色補間を実現することができる。
【００７７】
また、係数選択回路１０における演算を簡易化することによりメモリアクセスを伴う低速の係数選択処理を高速化することが可能になり、フレームメモリ４の出力から演算回路１１の演算出力までの各段階における処理時間をより均一な状態に近付ける事が可能となるので、これらの間におけるタイミング調整用のラッチなどの付加回路を削減することができ、しかも、画素クロックに同期したパイプライン処理が実現可能になる。
【００７８】
なお、この実施の形態３及び実施の形態４においては、演算回路１１において色の相似比から算出するアルゴリズムに基づく演算項と周辺画素の平均値としての線形補間アルゴリズムに基づく演算項とを、注目画素近傍の感度信号レベルに応じて重み付け加算演算しているが、上記式（１８）あるいは式（１９）においてループ制御変数ｉに基づいた加算演算の種類は高々有限個の組合せであるので、予め全組合せについての演算結果を係数メモリ９などに記憶させておき、ｉ及びＤｎｕｍをインデックスとして選択するようにしてもよい。これにより、回路規模の縮小効果や演算速度の向上効果を期待することができる。
【００７９】
また、以上の実施の形態においては、撮像後の画像処理として色補間処理用のブロックのみを説明したものとなっているが、オートホワイトバランス処理（白色補正）、γ補正処理（階調特性の補正）、フィルタ処理（輪郭強調やノイズ除去）、ＪＰＥＧ圧縮処理（画像データ圧縮保存）などの処理と組合せても同様の効果が得られることは言うまでもない。更に、ＬＣＤインタフェース（画像表示確認用液晶インタフェース）、フラッシュメモリインタフェース（撮影画像保存媒体インタフェース）等の入出力インタフェースが付加された装置であっても同等の効果が得られることも言うまでもない。
【００８０】
そして、以上の全ての実施の形態では、多色画像撮像装置の内部で色補間処理を実行可能な構成例を示したがこの限りでなく、パーソナルコンピュータやカラープリンタ等、撮像装置に直接あるいは記憶媒体を間接的に経由して接続可能で単板式センサを使用して入力した画像を扱ういずれの機器上で構成してもよい。また、２次元撮像素子２としてＲＧＢの色フィルタがＢａｙｅｒ型に配列された場合を例として示したがこの限りでなく、原色系あるいは補色系の複数の色フィルタが配置され色補間処理を行うことによりフルカラー画像を得るように構成される撮像素子から入力される画像であれば同等の効果を得ることができる。更に、２次元撮像素子２において光電変換された画像データをＡ／Ｄ変換回路３でディジタル化した後一旦フレームメモリ４に１画面分保持する構成を示したがこの限りでなく、撮影時のデータストリームに同期して画素あるいは複数ライン毎に色補間を含む画像処理を実施するように構成することも可能である。
【００８１】
【発明の効果】
以上のように、この発明によれば、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど小さな値となる補間強度係数を出力する係数選択回路と、当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるので、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が小さい場合には、画像の局所的な領域では輝度信号の変化に比べて色信号の変化が少ない、言い換えれば局所領域では色相関性が高いという撮影画像の一般的な特徴に則った補正をおこなって、線形補間法を用いて補間した場合に比べて、画像のエッジを構成する信号レベル変化の急峻な領域においても色間の信号変化に偏りが生じないようにすることができる。従って、エッジを十分に再現することができ、高解像度かつ偽色の少ない高画質なものとすることができる効果がある。
【００８２】
これと同時に、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きい場合には、つまりこれら色成分の値の差が大きくて高信号レベルの有彩色となる場合には、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差に応じた補正量制御を実施するので、参照する受光色における微妙な変化に比例的に反応する形で生成色の信号レベルが上記ローパスフィルタ値のレベルから大きく外れてしまうことはなく、当該画素において本来画像中にない黒ずみや白抜けが発生してしまうことを効果的に抑制することができる効果がある。
【００８３】
つまり、画像中の高信号レベルの領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能であると同時に、低信号レベルの領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行うことができる効果がある。
【００８４】
この発明によれば、乗算手段が、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差の大きさをこれら２つの色成分のローパスフィルタ値同士の差で判定するとともに、この判定に応じた補間強度係数を増幅値に乗算し、しかも、当該補間強度係数は上記差が大きければ大きいほど当該増幅値の逆数に近い値となり且つ上記差が小さければ小さいほど「１」に近い値となるので、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が小さい場合には上記差も小さくなって、補正値そのままに生成色の信号レベルを補正することができ、しかも、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きい場合には上記差も大きくなって、当該補正値による補正量を制限することができる。従って、黒ずみ等の画質劣化を抑制しつつ高解像度で偽色の少ない色補間を行うことができる効果がある。
【００８５】
この発明によれば、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、当該第１の重み付け係数と当該増幅値と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるので、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が小さい場合には上記差も小さくなって、補正値そのままに生成色の信号レベルを補正することができ、しかも、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きい場合には上記差も大きくなって、当該補正値による補正量を制限することができる。従って、黒ずみ等の画質劣化を抑制しつつ高解像度で偽色の少ない色補間を行うことができる効果がある。
【００８６】
この発明によれば、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素の第１のローパスフィルタ値を生成する第１のローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、当該第１の重み付け係数と当該増幅値と前記第１のローパスフィルタ値を乗算する第１の乗算手段と、１から第１の重み付け係数を引いた第２の重み付け係数とパターンマッチングによる第２のローパスフィルタ値を乗算する第２の乗算手段と、当該第１の乗算値と第２の乗算値を加算したものを上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるので、不足色の信号レベルとして、不足色のローパスフィルタ値と、それに補正値を乗算した値との間の値を得ることができる効果がある。
【００８７】
なお、このような発明において上記ローパスフィルタ手段は、例えば、不足色成分の生成に係る画素を中心とする所定の範囲内の複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値、または、上記所定の範囲内の画素の中から信号レベル分布に基づいて選択された複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値をローパスフィルタ値として生成すればよい。
【００８８】
この発明によれば、ローパスフィルタ手段は、不足色成分の生成に係る画素を中心とする所定の範囲内の画素における不足色成分の信号レベルの平均値を演算するとともにその平均値を閾値として当該範囲内の複数の画素の二値化処理を行い、更にこの二値分布に応じて選択された複数の画素の平均値若しくは重み付け加算平均値をローパスフィルタ値として生成し、第１のローパスフィルタ値として上記所定の範囲内の画素の平均値を使用し、第２のローパスフィルタ値として上記選択された複数の画素の平均値若しくは重み付け加算平均値を使用するので、画像中のエッジ位置においては相関の高い画素のみに基づいてローパスフィルタ値を生成して更に偽色の発生を抑制しつつ、画像中の高信号レベルの領域では黒ずみ等の画質劣化を抑制することができる効果がある。
【００８９】
この発明によれば、乗算手段が、当該画素の受光信号レベルが当該受光色における周囲の画素の信号レベルのローパスフィルタ値よりも小さい場合のみ、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差に応じた補正量制御を実施するので、当該画素の受光信号レベルが当該受光色における周囲の画素の信号レベルのローパスフィルタ値よりも大きい場合の演算処理を簡略化することができる。そして、このように画素の受光信号レベルが当該受光色における周囲の画素の信号レベルのローパスフィルタ値よりも大きい場合の演算処理を省略して、ローパスフィルタ値に補正値を乗算した値をそのまま信号レベルとして出力したとしても、その周囲を含めて全体の感度が高いため、これに基づいて生成された表示画像などにおいては再生装置の再生能力の限界値で制限されることとなり、画質欠陥として認識されにくい効果がある。
【００９０】
この発明によれば、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成方法において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタステップと、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算ステップと、上記周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど小さな値となる補間強度係数を出力する係数選択ステップと、当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算ステップと、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力ステップとを備えるので、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が小さい場合には、画像の局所的な領域では輝度信号の変化に比べて色信号の変化が少ない、言い換えれば局所領域では色相関性が高いという撮影画像の一般的な特徴に則った補正をおこなって、線形補間法を用いて補間した場合に比べて、画像のエッジを構成する信号レベル変化の急峻な領域においても色間の信号変化に偏りが生じないようにすることができる。従って、エッジを十分に再現することができ、高解像度かつ偽色の少ない高画質なものとすることができる効果がある。
【００９１】
これと同時に、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きい場合には、つまりこれら色成分の値の差が大きくて高信号レベルの有彩色となる場合には、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差に応じた補正量制御を実施するので、参照する受光色における微妙な変化に比例的に反応する形で生成色の信号レベルが上記ローパスフィルタ値のレベルから大きく外れてしまうことはなく、当該画素において本来画像中にない黒ずみや白抜けが発生してしまうことを効果的に抑制することができる効果がある。
【００９２】
つまり、画像中の高信号レベルの領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能であると同時に、低信号レベルの領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行うことができる効果がある。
【００９３】
この発明によれば、各画素の色情報として複数の色成分の信号レベルを出力する多色画像撮像装置において、上記画素と１対１に対応づけられた受光素子毎に上記複数の色成分うちから選択された１つの色のフィルタが設けられ、上記画素数分の受光信号レベルを出力する撮像素子と、上記撮像素子から出力される各画素の受光信号レベルの色を既知の色成分として、各画素の不足している色成分の信号レベルを生成する上記色成分生成装置と、上記各画素の色情報として、上記撮像素子から出力される受光信号レベルと、当該色成分生成装置から出力される残りの色成分の信号レベルとを出力する出力手段とを備えるので、画像中の高信号レベルの領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能であると同時に、低信号レベルの領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行って、高解像度で偽色が発生しにくくしかも黒ずみが発生しない画像を得ることができる。従って、画像の種類によらず安定感のある多色画像を撮像することができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１によるデジタルスチルカメラなどのフルカラー画像撮像装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１の係数選択回路において実行される補間強度係数生成処理を示すフローチャートである。
【図３】 この発明の実施の形態１における各種のパラメータの相関関係を示す説明図である。
【図４】 この発明の実施の形態１の補間強度係数の演算処理において参照される係数メモリの内容の一例を示した模式図である。
【図５】 この発明の実施の形態２の係数演算回路において実施される補間強度係数生成処理を示すフローチャートである。
【図６】 この発明の実施の形態３によるデジタルスチルカメラなどのフルカラー画像撮像装置の構成を示すブロック図である。
【図７】 この発明の実施の形態３においてパターンマッチングに基づくローパスフィルタ値を出力する際に、パターンマッチング手段で使用される参照ウィンドウの一例を示す説明図である。
【図８】 この発明の実施の形態３における二値分布パターンの一例を示す説明図である。
【図９】 この実施の形態３における参照ウィンドウ内における赤色成分の４つの受光分布パターンおよび青色成分の４つの受光分布パターンを示す。
【図１０】 この実施の形態３の係数選択回路の動作を示すフローチャートである。
【図１１】 この発明の実施の形態４の係数選択回路の動作を示すフローチャートである。
【図１２】 単板式２次元撮像素子において一般的に用いられているＢａｙｅｒ（ベイヤー）型配列による原色フィルタの構成を示す説明図である。
【図１３】 Ｂａｙｅｒ（ベイヤー）型配列による原色フィルタを用いた場合に得られる緑色成分の受光感度分布の説明図である。
【図１４】 Ｂａｙｅｒ（ベイヤー）型配列による原色フィルタを用いた場合に得られる青色成分の受光感度分布の説明図である。
【図１５】 Ｂａｙｅｒ（ベイヤー）型配列による原色フィルタを用いた場合に得られる赤色成分の受光感度分布の説明図である。
【図１６】 ２次元撮像素子にＲ、Ｇ、Ｂ３原色からなる色フィルタをＢａｙｅｒ型配列で貼付したカラービデオカメラに、当該特開平５−５６４４６号公報に記載した技術を適用した場合の構成を示すブロック図である。
【図１７】 図１６の２次元メモリ（赤用）内の書き込み状態（一部）を示す説明図である。
【図１８】 図１６の２次元メモリ（緑用）内の書き込み状態（一部）を示す説明図である。
【図１９】 図１６の２次元メモリ（青用）内の書き込み状態（一部）を示す説明図である。
【図２０】 図１６の２次元ローパスフィルタ（赤用）の出力例を示す説明図である。
【図２１】 図１６の２次元ローパスフィルタ（緑用）の出力例を示す説明図である。
【図２２】 図１６の２次元ローパスフィルタ（青用）の出力例を示す説明図である。
【図２３】 この従来の２つの補間方法による生成感度信号の信号レベルを比較説明するための説明図である。
【図２４】 特開平５−５６４４６号公報の補間方法における画質劣化を説明するための説明図である。
【符号の説明】
１ レンズ（撮像素子）、２ ２次元撮像素子（撮像素子）、３ Ａ／Ｄ変換器（撮像素子）、６ａ〜６ｃ ２次元メモリ、７ａ〜７ｃ ２次元ローパスフィルタ（ローパスフィルタ手段）、９ 係数メモリ（乗算手段）、１０，１９ 係数選択回路（乗算手段）、１１，２０ 演算回路（増幅値演算手段、乗算手段、不足色生々出力手段、出力手段）、１６ ラインバッファ（ローパスフィルタ手段）、１７ パターンマッチング手段（ローパスフィルタ手段）、１８ パターンメモリ（ローパスフィルタ手段）。
【発明の属する技術分野】
この発明は、受光色数よりも少ない数の２次元固体撮像素子を用いて撮像して当該受光色数分の色成分を有する多色画像データを出力するフルカラー画像撮像装置などの多色画像撮像装置並びにそれに用いられる色成分生成装置および色成分生成方法に関するものである。
【０００２】
【従来の技術】
ＣＣＤセンサなどの２次元撮像素子を用いて多色画像データを出力する多色画像撮像装置には、受光色数分の２次元撮像素子を備えて各２次元撮像素子が各色成分の受光感度信号を出力し、この受光色数分の受光感度信号を各画素の色成分信号として出力するものと、受光色数よりも少ない数の２次元撮像素子を備えて少なくともいずれか１つの２次元撮像素子が複数色分の受光感度信号を出力するとともに、各画素の不足している色成分の感度信号を演算処理で補間し、上記受光感度信号とこの生成感度信号とを各画素の色成分信号として出力するものとがある。前者の例としては、色の３原色に相当するＲ（赤）色フィルタ、Ｇ（緑）色フィルタ及びＢ（青）色フィルタを各々貼り付けた３枚の２次元撮像素子を用いるとともに、１回の撮影で光学系から入射される被写体像を分光プリズム等で分光して各原色用撮像素子に入射させることで、１画面分のフルカラー画像信号を得る３板式のフルカラー撮像装置を挙げることができ、また、後者の例としては、各画素位置毎に設けられた光電素子上にＲ色、Ｇ色、あるいはＢ色用のいずれか１種類のカラーフィルタを貼り付けた１枚の２次元撮像素子を用いるとともに、各画素位置毎に不足する他の２色の色成分の感度信号を演算により算出することで、１画面分のフルカラー画像信号を得る単板式のフルカラー撮像装置を挙げることができる。そして、後者の単板式のフルカラー撮像装置は、多板式のものに比べて２次元撮像素子などの光学部品の点数を抑えることができるため、小型かつ低価格に装置を構成することが可能であり、民生用ディジタルスチルカメラやディジタルビデオカメラなどにおいて主に採用されている。
【０００３】
次に、このような単板式のフルカラー撮像装置などにおいて、各画素の受光色の感度信号を用いて各画素の不足している色成分（以下、生成色と呼ぶ）の感度信号を生成する一般的な色補間処理方法について説明する。なお、この色補間処理方法は一般的に線形補間法とよばれるものである。図１２はこのような単板式２次元撮像素子において一般的に用いられているＢａｙｅｒ（ベイヤー）型配列による原色フィルタの構成を示す説明図である。図において、１つ１つのマスが各画素（光電素子）の位置を示し、そのマス内に記載された「Ｒ（赤）」、「Ｇ（緑）」、「Ｂ（青）」のそれぞれの記号は当該画素（光電素子）においてサンプリングされる受光色を示すものである。そして、各色成分について着目すると、「Ｇ（緑）」は図１３に示すような画素位置において受光感度信号が得られ、「Ｂ（青）」は図１４に示すような画素位置において受光感度信号が得られ、「Ｒ（赤）」は図１５に示すような画素位置において受光感度信号が得られることとなり、これらの図において空白となっている画素においてはそれぞれの色成分が不足しているので演算により当該生成色の感度信号（生成感度信号）を生成しなければならない。
【０００４】
例えば「Ｇ（緑）」においては、図１３において「Ｇ」と記載された画素において受光感度信号が得られているので、縦方向および横方向において隣接する上下左右の４つの画素の受光感度信号の平均値を演算し、これを各空欄となっている画素の生成感度信号とする。なお、同図ではこの感度信号の参照関係を矢印で示し、生成感度信号を「ｇ」として表記している。
【０００５】
また、「Ｂ（青）」においては、図１４において「Ｂ」と記載された画素において受光感度信号が得られているので、縦方向、横方向あるいは斜め方向において隣接する２つあるいは４つの画素の受光感度信号の平均値を演算し、これを各空欄となっている画素の生成感度信号とする。なお、同図ではこの感度信号の参照関係を矢印で示し、上下の２つの画素を参照した場合の生成感度信号を「ｂ１」、斜め方向の４つの画素を参照した場合の生成感度信号を「ｂ２」、左右の２つの画素を参照した場合の生成感度信号を「ｂ３」として表記している。
【０００６】
更に、「Ｒ（赤）」においては、図１５において「Ｒ」と記載された画素において受光感度信号が得られているので、縦方向、横方向あるいは斜め方向において隣接する２つあるいは４つの画素の受光感度信号の平均値を演算し、これを各空欄となっている画素の生成感度信号とする。なお、同図ではこの感度信号の参照関係を矢印で示し、上下の２つの画素を参照した場合の生成感度信号を「ｒ１」、斜め方向の４つの画素を参照した場合の生成感度信号を「ｒ２」、左右の２つの画素を参照した場合の生成感度信号を「ｒ３」として表記している。
【０００７】
しかしながら、上記線形補間法に基づく色補間処理方法では、十分な解像度を得ることができず、信号変化が激しくなる画像のエッジ部分において本来の被写体には存在しない偽色が発生してしまうなどの課題があった。このような偽色が発生してしまうのは、第一に、単板式の２次元撮像素子においては各画素上に１色の色フィルタを配置しているがためにＲ、Ｇ、Ｂ各色ともに画素数分だけの解像度が得られないことに起因し、第二に、信号変化が激しくなるエッジ部分では本来相関性が低い周辺画素を参照して補間を行ってしまうことに起因し、その結果、各色成分毎にエッジ位置が微妙にずれてしまうためである。
【０００８】
そして、かかる問題を解決するために、本出願人は特開平５−５６４４６号公報において局所的な色相関性を用いて高解像度でかつ偽色を良好に抑制した色補間処理方法を開示している。
【０００９】
図１６は、２次元撮像素子にＲ、Ｇ、Ｂ３原色からなる色フィルタをＢａｙｅｒ型配列で貼付したカラービデオカメラに、当該特開平５−５６４４６号公報に記載した技術を適用した場合の構成を示すブロック図である。同図において、１は被写体からの入射光を集光するレンズ、２はレンズ１を通して入射した光を光電変換する上記２次元撮像素子、３はこの２次元撮像素子２から出力されるアナログの受光感度信号をディジタルの受光感度信号に変換するＡ／Ｄ変換器、４は１画面分の受光感度信号を一時記憶するフレームメモリ、５はフレームメモリ４上の受光感度信号をＲ、Ｇ、Ｂ各色成分毎に分配するマルチプレクサ、６ａ〜６ｃはそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、生成色を生成する際に参照する画素に応じた複数ライン分の受光感度信号を記憶する２次元メモリ、７ａ〜７ｃはそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、各画素毎にローパスフィルタ値を出力する２次元ローパスフィルタ、８は各画素についてその受光色における受光感度信号と上記ローパスフィルタ値との比に基づいてその他の２つの色成分のローパスフィルタ値を補正し、これを上記受光色の受光感度信号とともに生成色の生成感度信号として出力する演算回路である。
【００１０】
次に動作について説明する。
レンズ１から入射した光は２次元撮像素子２に結像する。２次元撮像素子２は入射光を光電変換し入射光量に応じたレベルのアナログの電気信号を各画素の受光感度信号として出力する。このアナログの電気信号はＡ／Ｄ変換器３にてディジタルの電気信号に変換されてフレームメモリ４に蓄積される。フレームメモリ４に蓄積されたこの電気信号は図示しない制御手段によってマルチプレクサ５に順次送信されＲ、Ｇ、Ｂの複数ライン分の信号がそれぞれ別々に２次元メモリ６ａ〜６ｃに書き込まれる。各色成分の有意な電気信号が２次元メモリ６ａ〜６ｃに書き込まれている状態（一部）を図１７〜図１９に示す。これらの図において、１つ１つの四角形は画素を意味し、「Ｒ」「Ｇ」「Ｂ」と記載されている四角形が受光感度信号が書き込まれている同色の画素である。なお、この配列は上記色フィルタにおける「Ｒ」「Ｇ」「Ｂ」の配列と一致する。
【００１１】
そして、この２次元メモリ６ａ〜６ｃの記憶内容に基づいて各画素の各色成分のローパスフィルタ値が各色毎に設けた２次元ローパスフィルタ７ａ〜７ｃから出力される。各ローパスフィルタ７ａ〜７ｃは例えば注目画素を中心として所定の範囲内の受光感度信号の平均値を出力すればよい。図２０〜図２２に各２次元ローパスフィルタ７ａ〜７ｃの出力例を示す。このように全ての色成分の全ての画素についてローパスフィルタ値は出力される。
【００１２】
次に、演算回路８が各画素の受光色以外の色成分の感度信号を生成する。具体的には例えば、図１２のｍ行ｎ列の画素位置（受光色は緑）の赤色成分ｒ（ｍ，ｎ）あるいは青色成分ｂ（ｍ，ｎ）は下記式（１）あるいは式（２）に基づいて演算して求める。これらの式において、Ｇ（ｍ，ｎ）は当該画素の受光感度信号、Ｇ（ＬＰＦ）は当該画素の緑色成分のローパスフィルタ値、Ｒ（ＬＰＦ）は当該画素の赤色成分のローパスフィルタ値、Ｂ（ＬＰＦ）は当該画素の青色成分のローパスフィルタ値である。
【００１３】
ｒ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｒ（ＬＰＦ）／Ｇ（ＬＰＦ） ・・・（１）
ｂ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｂ（ＬＰＦ）／Ｇ（ＬＰＦ） ・・・（２）
【００１４】
図２３はこの従来の２つの補間方法による生成感度信号の信号レベルを比較説明するための説明図である。同図は説明を簡略化するために一次元方向のみを考慮した場合を示している。図において、横軸は上記一次元方向における各画素の位置、縦軸は信号レベル、●印は実際に撮像素子により撮影された緑色成分の信号レベル、２点鎖線で示す曲線はこの緑色成分の信号変化曲線、○は実際に撮像素子により撮影された赤色成分の信号レベル、実線で示す曲線は上記緑色成分の信号変化曲線と相似して変化する信号変化曲線、二重線上の●印は線形補間法を用いて補間した場合補間されるＲ色信号の信号レベル、☆印は特開平５−５６４４６号公報の補間によるＲ色信号の信号レベルである。なお、ＣＣＤセンサなどの撮像素子においては上記信号レベルが高くなればなるほどその色成分の色は白色に近い色となり、低ければ低いほど黒色に近い色となり、例えば「ＲＧＢ＝（２５５，２５５，２５５）」では白色、「ＲＧＢ＝（０，０，０）」では黒色となる。プリンタは逆の色傾向になる。
【００１５】
そして、同図に示すように、特開平５−５６４４６号公報の補間によるＲ色信号の信号レベルは、緑色成分の信号変化曲線と相似して変化する信号変化曲線上に乗る。従って、線形補間法を用いて補間した場合の信号レベルに比べて、画像の局所的な領域では輝度信号の変化に比べて色信号の変化が少ない、言い換えれば局所領域では色相関性が高いという撮影画像の一般的な特徴に則った赤色成分の信号レベルを生成することができ、画像のエッジを構成する信号レベル変化の急峻な領域においても色間の信号変化に偏りが生ずること無く、エッジを十分に再現することができ、高解像度かつ偽色の少ない高画質なものとすることができる。
【００１６】
なお、上記式（１）あるいは式（２）は下記式（３）のように一般化することができる。同式において、ｋ（ｍ，ｎ）は生成色の感度信号、Ｊ（ｍ，ｎ）は受光感度信号、Ｋ（ＬＰＦ）は生成色のローパスフィルタ値、Ｊ（ＬＰＦ）は受光色のローパスフィルタ値、（ｍ，ｎ）はフレームメモリ上の当該画素の座標位置である。
【００１７】
ｋ（ｍ，ｎ）＝Ｊ（ｍ，ｎ）×Ｋ（ＬＰＦ）／Ｊ（ＬＰＦ） ・・・（３）
【００１８】
【発明が解決しようとする課題】
しかしながら、このように局所的な色の相関関係を利用した補間方法であったとしても特有の画質劣化を生じる場合があった。
【００１９】
図２４は特開平５−５６４４６号公報の補間方法における画質劣化を説明するための説明図である。各表記は図２３に準じている。そして、同図に示すように、受光色の感度信号レベルが低いレベル範囲において微妙に変化するとともに、生成色のローパスフィルタ値が高くなるような場合には、つまりこれら色成分の値の差が大きくて高彩度の有彩色となる場合には、参照する受光色における微妙な変化に比例的に反応する形で生成色の感度信号レベルが上記ローパスフィルタ値のレベルから大きく外れてしまうこととなり、当該画素において本来画像中にない黒ずみや白抜けが発生してしまうことがある。
【００２０】
例えば、ＲＧＢ各色成分の感度信号が１０ビット（０〜１０２３の範囲、０：暗、１０２３：明）である撮像装置において、一次元の局所的な信号レベルとしてＧ（１）＝４、Ｇ（３）＝１、Ｇ（５）＝４、Ｒ（２）＝Ｒ（４）＝１０２３となる画像が撮像された場合、各ローパスフィルタ値を単純平均で算出すると、下記式（４）〜式（６）の演算によりｒ（３）の感度信号レベルが得られることとなり、これは同色の周辺画素の信号レベルと比べて極端に低い値となってしまい、黒ずみとなってしまう。
【００２１】
Ｇ（ＬＰＦ）＝（４＋１＋４）／３＝３ ・・・（４）
Ｒ（ＬＰＦ）＝（１０２３＋１０２３）／２＝１０２３ ・・・（５）
ｒ（３）＝Ｇ（３）×Ｒ（ＬＰＦ）／Ｇ（ＬＰＦ）
＝１×１０２３／３＝３４１ ・・・（６）
【００２２】
以上のように、特開平５−５６４４６号に開示した補間方法は、単板式の２次元撮像素子を用いた多色画像撮像装置において一般的には高解像度でかつ偽色の少ない色成分信号を得ることができるものであるが、撮影した絵柄によっては固有の画質劣化を引き起こしてしまうなどの課題があった。
【００２３】
この発明は上記のような課題を解決するためになされたもので、黒ずみや白抜けを生ずること無く、高解像度でかつ偽色の少ない色成分信号を得ることができる多色画像撮像装置ならびにそれに用いられる色成分生成装置および色成分生成方法を得ることを目的とする。
【００２４】
【課題を解決するための手段】
この発明に係る色成分生成装置は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど小さな値となる補間強度係数を出力する係数選択回路と、当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるものである。
【００２５】
この発明に係る色成分生成装置は、乗算手段が、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差の大きさをこれら２つの色成分のローパスフィルタ値同士の差で判定するとともに、この判定に応じた補間強度係数を増幅値に乗算し、しかも、当該補間強度係数は上記差が大きければ大きいほど当該増幅値の逆数に近い値となり且つ上記差が小さければ小さいほど「１」に近い値となるものである。
【００２６】
この発明に係る色成分生成装置は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、当該第１の重み付け係数と当該増幅値と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるものである。
【００２７】
この発明に係る色成分生成装置は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素の第１のローパスフィルタ値を生成する第１のローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、当該第１の重み付け係数と当該増幅値と前記第１のローパスフィルタ値を乗算する第１の乗算手段と、１から第１の重み付け係数を引いた第２の重み付け係数とパターンマッチングによる第２のローパスフィルタ値を乗算する第２の乗算手段と、当該第１の乗算値と第２の乗算値を加算したものを上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるものである。
【００２８】
この発明に係る色成分生成装置は、ローパスフィルタ手段が、不足色成分の生成に係る画素を中心とする所定の範囲内の複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値、または、上記所定の範囲内の画素の中から信号レベル分布に基づいて選択された複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値をローパスフィルタ値として生成するものである。
【００２９】
この発明に係る色成分生成装置は、ローパスフィルタ手段は、不足色成分の生成に係る画素を中心とする所定の範囲内の画素における不足色成分の信号レベルの平均値を演算するとともにその平均値を閾値として当該範囲内の複数の画素の二値化処理を行い、更にこの二値分布に応じて選択された複数の画素の平均値若しくは重み付け加算平均値をローパスフィルタ値として生成し、第１のローパスフィルタ値として上記所定の範囲内の画素の平均値を使用し、第２のローパスフィルタ値として上記選択された複数の画素の平均値若しくは重み付け加算平均値を使用するものである。
【００３０】
この発明に係る色成分生成装置は、乗算手段が、当該画素の受光信号レベルが当該受光色における周囲の画素の信号レベルのローパスフィルタ値よりも小さい場合のみ、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差に応じた補正量制御を実施するものである。
【００３１】
この発明に係る色成分生成方法は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成方法において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタステップと、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算ステップと、上記周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど小さな値となる補間強度係数を出力する係数選択ステップと、当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算ステップと、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力ステップとを備えるものである。
【００３２】
この発明に係る多色画像撮像装置は、各画素の色情報として複数の色成分の信号レベルを出力する多色画像撮像装置において、上記画素と１対１に対応づけられた受光素子毎に上記複数の色成分うちから選択された１つの色のフィルタが設けられ、上記画素数分の受光信号レベルを出力する撮像素子と、上記撮像素子から出力される各画素の受光信号レベルの色を既知の色成分として、各画素の不足している色成分の信号レベルを生成する請求項１記載の色成分生成装置と、上記各画素の色情報として、上記撮像素子から出力される受光信号レベルと、当該色成分生成装置から出力される残りの色成分の信号レベルとを出力する出力手段とを備えるものである。
この発明に係る色成分生成方法は、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成方法において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタステップと、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算ステップと、上記周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択ステップと、当該第１の重み付け係数と当該増幅値と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算ステップと、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力ステップとを備えるものである。
【００３３】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１によるデジタルスチルカメラなどのフルカラー画像撮像装置の構成を示すブロック図である。図において、１は被写体からの入射光を集光するレンズ（撮像素子）、２はＲ、Ｇ、Ｂの３原色の色フィルタがＢａｙｅｒ型に配列され、レンズ１を通して入射した光を光電変換する上記２次元撮像素子（撮像素子）、３はこの２次元撮像素子２から出力されるアナログの受光感度信号をディジタル１０ビットの受光感度信号に変換するＡ／Ｄ変換器（撮像素子）、４は１画面分の受光感度信号を一時記憶するフレームメモリ、５はフレームメモリ４上の受光感度信号をＲ、Ｇ、Ｂ各色成分毎に分配するマルチプレクサ、６ａ〜６ｃはそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、生成色を生成する際に参照する画素に応じた複数ライン分の受光感度信号を記憶する２次元メモリ、７ａ〜７ｃはそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、各画素毎にローパスフィルタ値を出力する２次元ローパスフィルタ（ローパスフィルタ手段）である。
【００３４】
また、９は色成分の差異値Ｄｉｆ（ｉ）とそれに対応するループ制御変数ｉとを対応づけたテーブルを保持する係数メモリ（乗算手段）、１０は各生成色についてその生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との値の差（差異値Ｄｉｆ（ｉ））に応じたループ制御変数ｉを選択するとともに、このループ制御変数ｉを用いて補間強度係数Ｃｄを生成する係数選択回路（乗算手段）、１１はこの補間強度係数Ｃｄと上記ローパスフィルタ値などを用いて各生成色の感度信号ｋ（ｍ，ｎ）を生成し、更にこの生成感度信号ｋ（ｍ，ｎ）と受光感度信号Ｊ（ｍ，ｎ）とを合わせて各画素のＲＧＢ各１０ビットの色成分信号として出力する演算回路（増幅値演算手段、乗算手段、不足色生々出力手段、出力手段）である。
【００３５】
次に動作について説明する。
レンズ１から入射した光は２次元撮像素子２に結像する。２次元撮像素子２は入射光を光電変換し入射光量に応じたレベルのアナログの電気信号を各画素の受光感度信号として出力する。このアナログの電気信号はＡ／Ｄ変換器３にてディジタルの電気信号に変換されてフレームメモリ４に蓄積される。フレームメモリ４に蓄積されたこの電気信号は図示しない制御手段によってマルチプレクサ５に順次送信されＲ、Ｇ、Ｂの複数ライン分の信号がそれぞれ別々に２次元メモリ６ａ〜６ｃに書き込まれる。そして、この２次元メモリ６ａ〜６ｃの記憶内容に基づいて各画素の各色成分のローパスフィルタ値が各色毎に設けた２次元ローパスフィルタ７ａ〜７ｃから出力される。各ローパスフィルタ値としては例えば注目画素を中心としてその周囲の所定の範囲内の受光感度信号の平均値（ＡＶ）がある。
【００３６】
このようにＲＧＢの各色成分のローパスフィルタ値が出力されると、これに基づいて係数選択回路１０においてループ制御変数ｉの選択処理が実施され、演算回路１１においてこの選択されたループ制御変数ｉを用いて各生成色の生成感度信号ｋ（ｍ，ｎ）が生成される。具体的には、生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）とを比較し、それらの差分値の大きさが大きいほど大きな値のループ制御変数ｉが選択され、このループ制御変数ｉを用いて補間強度係数Ｃｄが生成され、この補間強度係数Ｃｄなどを用いて各生成感度信号ｋ（ｍ，ｎ）が生成される。下記式（７）は補間強度係数Ｃｄなどを用いて生成感度信号ｋ（ｍ，ｎ）を演算するための式である。同式において、ｋ（ｍ，ｎ）は生成感度信号、Ｊ（ｍ，ｎ）は受光感度信号、Ｋ（ＬＰＦ）は生成色のローパスフィルタ値、Ｊ（ＬＰＦ）は受光色のローパスフィルタ値、Ｃｄは補間強度係数である。
【００３７】
ｋ（ｍ，ｎ）＝Ｊ（ｍ，ｎ）×｛Ｋ（ＬＰＦ）／Ｊ（ＬＰＦ）｝×Ｃｄ・・・（７）
【００３８】
図２は係数選択回路１０において実行される補間強度係数生成処理を示すフローチャートである。なお、この処理は各生成色毎に実施されるものである。同図において、ＳＴ１は受光感度信号Ｊ（ｍ，ｎ）が受光光のローパスフィルタ値Ｊ（ＬＰＦ）以下であるか否かを判断する凹凸判断ステップ、ＳＴ２は当該判断において正しいと判断された場合に実行されるステップであって、予め決められた補間強度の段階数Ｄｎｕｍなどを用いて補間強度のステップ幅Ｄ（＝（Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）−１）／Ｄｎｕｍ）を演算するステップ幅演算ステップ、ＳＴ３はループ制御変数ｉに初期値「０」を代入する初期化ステップ、ＳＴ４は生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差の大きさがループ変数ｉに基づいて係数テーブルから選択された差分値Ｄｉｆ（ｉ）以下であるか否かを判断することによって、注目画素における色味及び彩度の算出を行う差分量判断ステップ、ＳＴ５はこの差分量判断ステップＳＴ４において否と判断された場合に実行されるステップであって、ループ制御変数ｉに「１」を加算するループ制御変数更新ステップ、ＳＴ６はこのループ制御変数ｉに基づいて補間強度の分割数Ｄｎｕｍ分のループ処理が行われたか否かを判断するループ終了ステップであり、このループ終了ステップＳＴ６において正しいあるいは上記差分量判断ステップＳＴ４で正しいと判断された場合にループ処理を終了する。そして、そのループ処理を終了した時点のループ制御変数ｉを用いて補間強度係数Ｃｄ（＝１＋Ｄ×（ｉ＋１））が演算される（補間強度係数演算ステップ、ＳＴ７）。
【００３９】
また、ＳＴ８は凹凸判断ステップＳＴ１において正しくないと判断された場合に実行されるステップであって、補間強度のステップ幅Ｄ（＝（１−Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ））／Ｄｎｕｍ）を演算するステップ幅演算ステップ、ＳＴ９はループ制御変数ｉに初期値「０」を代入する初期化ステップ、ＳＴ１０は生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差の大きさがループ変数ｉに基づいて係数テーブルから選択された差分値Ｄｉｆ（ｉ）以下であるか否かを判断する差分量判断ステップ、ＳＴ１１はこの差分量判断ステップＳＴ１０において否と判断された場合に実行されるステップであって、ループ制御変数ｉに「１」を加算するループ制御変数更新ステップ、ＳＴ１２はこのループ制御変数ｉに基づいて補間強度の分割数Ｄｎｕｍ分のループ処理が行われたか否かを判断するループ終了ステップであり、このループ終了ステップＳＴ１２において正しいあるいは上記差分量判断ステップＳＴ１０で正しいと判断された場合にループ処理を終了する。そして、そのループ処理を終了した時点のループ制御変数ｉを用いて補間強度係数Ｃｄ（＝１−Ｄ×（ｉ＋１））が演算される（補間強度演算ステップ、ＳＴ１３）。
【００４０】
ところで、上記式（７）は下記式（８）のように変形することができ、しかも、上記補間強度変数Ｃｄは「ｉ＝Ｄｎｕｍ−１」のときに「Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）」、「ｉ＝０」のときに「１＋（Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）−１）／Ｄｎｕｍ」あるいは「１−（１−Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ））／Ｄｎｕｍ」となるので、生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差分値が大きければ大きいほど（つまりＤが大きければ大きいほど）下記式（８）は「Ｋ（ＬＰＦ）」に近い値をとり、逆に、当該差分値が小さければ小さいほど（つまりＤが小さければ小さいほど）下記式（８）は「Ｋ（ＬＰＦ）×Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）」に近い値をとることになる。別な言い方をすれば、補間強度係数Ｃｄが取りうる範囲は「１」と「Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）」との間の値である。特に、Ｃｄ＝１の場合には注目画素周辺が低彩度の場合であり式（８）は式（３）と同等となり、Ｃｄ＝Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）の場合には注目画素周辺が高彩度の場合であり「ｋ（ｍ，ｎ）＝Ｋ（ＬＰＦ）」となるため線形補間法と同等になる。図３はこのような各種のパラメータの相関関係を示す説明図である。同図（ａ）はＪ（ｍ，ｎ）≦Ｊ（ＬＰＦ）の場合、同図（ｂ）はＪ（ｍ，ｎ）≧Ｊ（ＬＰＦ）の場合である。
【００４１】
ｋ（ｍ，ｎ）＝Ｋ（ＬＰＦ）×｛Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）×Ｃｄ｝・・・（８）
【００４２】
なお、図４はこのような補間強度係数Ｃｄの演算処理において参照される係数メモリ９の内容の一例を示した模式図である。図において、左列はループ制御変数ｉ、右列は差分値Ｄｉｆ（ｉ）であり、上記フローでは同図の上側から順番に参照されることになる。
【００４３】
ここで、具体例を示す。従来例で示した局所的な１０ビットの信号レベルとしてＧ（１）＝４、Ｇ（３）＝１、Ｇ（５）＝４、Ｒ（２）＝Ｒ（４）＝１０２３であり、かつ各ローパスフィルタ７ａ〜７ｃは単純平均で算出するものと仮定し、図２及び式（８）に従って注目画素におけるＲ信号値ｒ（３）を算出した場合、以下の式（９）〜式（１６）の演算を行うことになる。そして、生成感度信号ｒ（３）は同色の周辺画素信号レベルと同等の値になるため、高彩度かつ有彩色の領域で極端に黒ずみや白抜け等の画質劣化を発生することはない。特に、ディジタルスチルカメラ等の多色画像撮像装置で撮影した画像はコンピュータグラフィックスで作成した画像とは異なり、画像中のエッジ近傍は低彩度の影（明暗）になる場合が多いが、この実施の形態１のように補間処理をすることによって、解像度に寄与するエッジ近傍は従来法の特長を十分に発揮しながら、高彩度のベタ面については黒ずみ等の画質劣化を排除した高画質のフルカラー画像を得ることが可能になる。
【００４４】
なお、この実施の形態１では、図２のフローチャートにおいて補間強度差分値Ｄを演算により算出していたが、Ｄｎｕｍを撮像系に対して固定値として設定することで、受光感度信号Ｊ（ｍ，ｎ）やローパスフィルタ値Ｊ（ＬＰＦ）をインデックスとして当該補間強度差分値Ｄを選択する２次元ＬＵＴ（Ｌｏｏｋ ＵｐＴａｂｌｅ）を予め係数メモリ９などに格納させることができる。この場合、実際に補間強度差分値Ｄを求める際にはメモリ参照処理のみで足りるので、処理を高速化することができる。また、補間強度差分値Ｄ及び彩度判定値（ｉ）をインデックスとして補間強度係数Ｃｄを選択する２次元ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を予め係数メモリ９などに格納させることで更に処理を高速化することができる。
【００４６】
また、この実施の形態１では、生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差分値に基づいて簡易的に彩度及び色味を判定しているが、入力されるＲＧＢ３原色のローパスフィルタ値をＨＶＣ（Ｈｕｅ Ｖａｌｕｅ Ｃｈｒｏｍａ）あるいはＨＳＬ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｌｉｇｈｔｎｅｓｓ）等の色相、彩度、明度を３原色とした色空間に変換し、これに基づいて厳密に彩度及び明度値を判定するようにしてもよい。この場合、彩度が高い場合でも明度値が大きければ該当領域は白色に近い色合いとなり、逆に明度値が小さい場合には該当領域は黒色に近い色合いとなって、補間強度係数は大きくても画質上問題が生じてしまうことはないので、中間明度における彩度値を補間係数に反映させて黒済み等を除去することができる。
【００４７】
以上のように、この実施の形態１によれば、各画素の色情報として不足している色成分の感度値を生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の感度値に基づいて当該画素のローパスフィルタ値Ｋ（ＬＰＦ）を生成する２次元ローパスフィルタ７ａ〜７ｃと、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差に応じた補間強度係数Ｃｄを出力する係数選択回路１０と、当該画素の既知の色成分における当該画素の感度値Ｊ（ｍ，ｎ）と当該既知の色成分における周囲の画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）との比に応じた増幅値｛Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）｝を演算するとともに、上記補間強度係数Ｃｄとこの増幅値を上記ローパスフィルタ値Ｋ（ＬＰＦ）に乗算して出力する演算回路１１とを備えるので、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が小さい場合には、画像の局所的な領域では輝度信号の変化に比べて色信号の変化が少ない、言い換えれば局所領域では色相関性が高いという撮影画像の一般的な特徴に則った補正をおこなって、線形補間法を用いて補間した場合に比べて、画像のエッジを構成する信号レベル変化の急峻な領域においても色間の信号変化に偏りが生じないようにすることができる。従って、エッジを十分に再現することができ、高解像度かつ偽色の少ない高画質なものとすることができる効果がある。
【００４８】
これと同時に、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が大きい場合には、つまりこれら色成分の値の差が大きくて高彩度の有彩色となる場合には、既知の色成分の感度信号レベルと不足色成分の感度信号レベルとのレベル差に応じた補正量制御を実施するので、参照する受光色における微妙な変化に比例的に反応する形で生成色の感度値ｋ（ｍ，ｎ）が上記ローパスフィルタ値Ｋ（ＬＰＦ）のレベルから大きく外れてしまうことはなく、当該画素において本来画像中にない黒ずみや白抜けが発生してしまうことを効果的に抑制することができる効果がある。
【００４９】
つまり、画像中の高彩度の領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能であると同時に、低彩度の領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行うことができる効果がある。従って、画像の種類によらず安定感のある多色画像を撮像することができる効果がある。
【００５０】
以上のように、この実施の形態１によれば、係数選択回路１０が、既知の色成分の感度信号レベルと不足色成分の感度信号レベルとのレベル差の大きさをこれら２つの色成分のローパスフィルタ値同士（Ｋ（ＬＰＦ）−Ｊ（ＬＰＦ））の差で判定するとともに、演算回路１１がこの判定に応じた補間強度係数Ｃｄを増幅値に乗算し、しかも、当該補間強度係数Ｃｄは上記差が大きければ大きいほど当該増幅値の逆数｛Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）｝に近い値となり且つ上記差が小さければ小さいほど「１」に近い値となるので、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が小さい場合には上記差も小さくなって、補正値そのままに生成色の感度値ｋ（ｍ，ｎ）を補正することができ、しかも、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が大きい場合には上記差も大きくなって、当該補正値による補正量を制限することができる。従って、黒ずみ等の画質劣化を抑制しつつ高解像度で偽色の少ない色補間を行うことができる効果がある。
【００５１】
なお、この実施の形態１では上記２次元ローパスフィルタ７ａ〜７ｃは、不足色成分の生成に係る画素を中心とする所定の範囲内の複数の画素における不足色成分の感度値の重み付け加算平均値Ｋ（ＬＰＦ）をローパスフィルタ値として生成しているが、ほかにも、不足色成分の生成に係る画素を中心とする所定の範囲内の複数の画素における不足色成分の感度値の平均値Ｋ（ＡＶ）などをローパスフィルタ値として生成しても同様の効果がある。
【００５２】
実施の形態２．
図５はこの発明の実施の形態２の係数演算回路において実施される補間強度係数生成処理を示すフローチャートである。図において、ＳＴ１４は凹凸判断ステップＳＴ１において正しくないと判断された場合に実行されるステップであって、補間強度係数Ｃｄとして「１」を出力する補間強度演算ステップである。これ以外の構成および動作は実施の形態１と同様であり説明を省略する。
【００５３】
そして、このように受光色が微妙に凸状の変化を有している場合には、それを用いた生成色の感度信号もその相似比に応じた変化が生じてしまうが、デジタルスチルカメラなどの多色画像撮像装置では、その周囲の画素における当該生成色と同色の色成分の感度信号は既に十分に高いレベルにあるためその色の差異が視認され難くなり、結果的に白抜けなどの画質劣化にはなりにくく、この実施の形態２のように簡略化した処理にて高速化を図ったとしても、黒ずみや白抜けなどの画質劣化が顕著に発生してしまうことはない。
【００５４】
以上のように、この実施の形態２によれば、演算回路１１が、当該画素の受光感度値Ｊ（ｍ，ｎ）が当該受光色における周囲の画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）よりも小さい場合のみ、既知の色成分の感度信号レベルと不足色成分の感度信号レベルとのレベル差に応じた補正量制御を実施するので、当該画素の受光感度値Ｊ（ｍ，ｎ）が当該受光色における周囲の画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）よりも大きい場合の演算処理を簡略化することができる。そして、このように画素の受光感度値Ｊ（ｍ，ｎ）が当該受光色における周囲の画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）よりも大きい場合の演算処理を省略して、ローパスフィルタ値Ｋ（ＬＰＦ）に「Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）」を乗算した値をそのまま感度値ｋ（ｍ，ｎ）として出力したとしても、その周囲を含めて全体の感度が高いため、これに基づいて生成された表示画像などにおいては再生装置の再生能力の限界値で制限されることとなり、画質欠陥として認識されにくい効果がある。
【００５５】
実施の形態３．
図６はこの発明の実施の形態３によるデジタルスチルカメラなどのフルカラー画像撮像装置の構成を示すブロック図である。図において、１６はＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）メモリ等で構成され、フレームメモリ４上の１画面分の受光感度データのうち複数ライン分の受光感度データを保持するラインバッファ（ローパスフィルタ手段）、１７はラインバッファ１６に保持される複数ライン分の受光感度データからパターンマッチング法により線分ベクトルの検出を行い、この線分ベクトルに基づいて複数の画素を選択し、更に、この選択された複数の画素の感度に基づいて各画素の各色成分のローパスフィルタ値を出力するパターンマッチング手段（ローパスフィルタ手段）、１８はこのパターンマッチング手段１７におけるパターンマッチング処理の際に参照する複数の感度分布パターンとそれに応じた参照画素とを対応づけて記憶するパターンメモリ（ローパスフィルタ手段）である。なお、上記感度分布パターンは線分ベクトルのパターンに基づいて設定されている。
【００５６】
また、１９は生成色の平均値Ｋ（ＡＶ）と受光色の平均値Ｊ（ＡＶ）との差異度に応じたループ制御変数ｉを演算する係数選択回路（乗算手段）、２０はこのループ制御変数ｉなどを利用して各画素の各色成分の感度信号を生成する演算回路（増幅値演算手段、乗算手段、不足色生々出力手段、出力手段）である。これ以外の構成は実施の形態１と同様であり説明を省略する。
【００５７】
次に動作について説明する。
フレームメモリ４に撮影後のディジタルの受光感度信号が記憶されると、図示しないメモリコントローラが常に７ライン分のデータがラインバッファ１６に保持されるようにデータを出力する。パターンマッチング手段１７は、画素入力クロックに同期して、色補間しようとする注目画素を中心とした７×７画素からなる参照ウィンドウをこのラインバッファ１６から抽出し、これとパターンメモリ１８に記憶された線分ベクトルのパターンとを比較し、各画素の各色成分のパターンマッチングに基づくローパスフィルタ値を出力する。
【００５８】
図７はこのようなパターンマッチングに基づくローパスフィルタ値を出力する際に、パターンマッチング手段１７で使用される参照ウィンドウの一例を示す説明図である。図において、各マスは画素に対応し、網掛けされたマスは当該不足色成分の受光感度信号が得られている画素を示している。また、この中心に位置するマスが注目画素であり、パターンマッチング手段１７は当該画素の各色成分のローパスフィルタ値を生成して出力する。更に、同図においてこの注目画素から周囲にのびている各矢印はそれぞれ同図に示すような受光色の分布パターンにおいて検出可能な上記線分ベクトルである。そして、この実施の形態３においてはこのような受光色の分布パターンとなるのは緑色成分である。
【００５９】
次に線分ベクトルの検出方法について説明する。
まず、下記式（１７）を用いて参照ウィンドウ内の各色成分毎の受光感度の平均値Ｋ（ＡＶ）を求める。同式では、当該参照ウィンドウ内の当該色成分の受光画素数をｎとしている。
【００６０】
【数１】
次に、この平均値Ｋ（ＡＶ）を閾値として当該ｎ個の画素の受光感度を「０」「１」に分類し（二値化処理し）、これをパターンメモリ１８内に記憶された各分布パターンと比較し、一致する分布パターンに対応づけられた画素の受光感度に基づいて注目画素の当該色成分のローパスフィルタ値Ｋ（ＰＡＴ）を生成する。例えば、図８に示すような二値分布パターンとなった場合には同図に示す位置にエッジ（線分ベクトル）が存在すると考えられるので、注目画素を含む側の近隣画素（細かいハッチング側の画素）の感度信号を用いて、例えば線分ベクトルの稜線方向に存在する複数の画素の感度信号を重み付け加重平均して上記ローパスフィルタ値Ｋ（ＰＡＴ）を生成する。
【００６２】
なお、注目画素における他の色成分においても同様の方法でパターンマッチングに基づくローパスフィルタ値を生成することができる。この場合、２次元撮像素子におけるフィルタの色分布が緑色成分と異なるため、受光分布パターンも緑色成分とは異なるものとなる。図９に、この実施の形態３における参照ウィンドウ内における赤色成分の４つの受光分布パターンおよび青色成分の４つの受光分布パターンを示す。
【００６３】
そして、係数選択回路１９はこの各色成分の平均値Ｋ（ＡＶ），Ｊ（ＡＶ）を用いてループ制御係数ｉを選択し、演算回路２０はパターンマッチングに基づくローパスフィルタ値Ｋ（ＰＡＴ）などを用いて下記式（１８）にて各生成色の生成感度信号ｋ（ｍ，ｎ）を生成して出力する。同式において、Ｋ（ＡＶ）は上記参照ウィンドウにおける平均値、Ｋ（ＰＡＴ）はパターンマッチングに基づくローパスフィルタ値である。
【００６４】
【数２】
図１０はこの実施の形態３の係数選択回路１９の動作を示すフローチャートである。図において、ＳＴ１５はループ制御変数ｉに初期値「０」を代入する初期化ステップ、ＳＴ１６は生成色の平均値Ｋ（ＡＶ）と受光色の平均値Ｊ（ＡＶ）との差の大きさがループ変数ｉに基づいて係数テーブルから選択された差分値Ｄｉｆ（ｉ）以下であるか否かを判断することによって、注目画素における色味及び彩度の算出を行う差分量判断ステップ、ＳＴ１７はこの差分量判断ステップＳＴ１６において否と判断された場合に実行されるステップであって、ループ制御変数ｉに「１」を加算するループ制御変数更新ステップ、ＳＴ１８はこのループ制御変数ｉに基づいて補間強度の分割数Ｄｎｕｍ分のループ処理が行われたか否かを判断するループ終了ステップであり、このループ終了ステップＳＴ１８において正しいあるいは上記差分量判断ステップＳＴ１６で正しいと判断された場合にループ処理を終了する。そして、演算回路２０はこのループ処理を終了した時点のループ制御変数ｉを上記式（１８）に代入して重み付け演算を実施する。
【００６６】
そして、このような演算処理であっても、実施の形態１と同様に、画像中の高彩度の領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能である。また、低彩度の領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行うことができる。
【００６７】
また、パターンマッチング手段１７においてパターンマッチング処理のために算出したウィンドウ内平均値Ｋ（ＡＶ）を後段においても利用するようにしているので、実施の形態１で使用した色補間専用の２次元メモリ６ａ〜６ｃや２次元ローパスフィルタ回路７ａ〜７ｃが不要となり、回路規模を抑制しながら実施の形態１よりも更に画像の高画質化を図ることができる。
【００６８】
なお、この実施の形態３においては、パターンメモリ１８を設けてパターンマッチング手段１７からパターンを参照していたが、予め参照パターンを論理回路として構成しておきその論理演算結果（ＡＮＤまたはＯＲ）に基づいて２値信号群のマッチング判定を行うようにしてもよい。この場合、装置を構成するメモリ量を低減することができるので低コスト化を図ることができる。
【００６９】
また、この実施の形態３では、ＲＧＢ全てのパターンマッチングを行い各色毎に線分方向検出を行っていたがこの限りでなく、例えばサンプリング周波数が比較的高く解像度信号を多く含んでいるＧ信号に対してのみ線分方向検出を行い、Ｇ信号の線分ベクトルをその他の色成分の線分ベクトルとして代用してもよい。
【００７０】
以上のように、この実施の形態３によれば、係数選択回路１９が、既知の色成分の感度信号レベルと不足色成分の感度信号レベルとのレベル差の大きさをこれら２つの色成分のローパスフィルタ値同士の差（Ｋ（ＡＶ）−Ｊ（ＡＶ））で判定するとともに、演算回路２０がこの判定に応じた１以下の値の重み付け係数（１−（ｉ＋１）／Ｄｎｕｍ）を増幅値（Ｊ（ｍ，ｎ）／Ｊ（ＡＶ））に乗算し、且つ、当該増幅値に乗算される重み付け係数は上記差が大きければ大きいほど「０」に近い値となるので、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が小さい場合には上記差も小さくなって、補正値そのままに生成色の感度値ｋ（ｍ，ｎ）を補正することができ、しかも、上記既知の色成分の感度信号レベルと上記不足色成分の感度信号レベルとのレベル差が大きい場合には上記差も大きくなって、当該補正値による補正量を制限することができる。従って、黒ずみ等の画質劣化を抑制しつつ高解像度で偽色の少ない色補間を行うことができる効果がある。
【００７１】
この実施の形態３によれば、式（１８）に示すように演算回路２０において重み付け加算される演算項の個数を２とするとともに、増幅値が乗算される演算項（式（１８）の右辺第１項）の重み付け係数と、もう一つの演算項（式（１８）の右辺第２項）の重み付け係数との和は常に「１」となるので、不足色の感度値として、不足色のローパスフィルタ値Ｋ（ＰＡＴ）と、それに補正値を乗算した値（Ｋ（ＡＶ）×Ｊ（ｍ，ｎ）／Ｊ（ＡＶ））との間の値を得ることができる効果がある。
【００７２】
この実施の形態３によれば、パターンマッチング手段１７が、不足色成分の生成に係る画素を中心とする所定の範囲内の画素における不足色成分の感度値の平均値Ｋ（ＡＶ）を演算するとともにその平均値Ｋ（ＡＶ）を閾値として当該範囲内の複数の画素の二値化処理を行い、更にこの二値分布に応じて選択された複数の画素の平均値若しくは重み付け加算平均値をローパスフィルタ値Ｋ（ＰＡＴ）として生成し、演算回路２０が、増幅値が乗算される演算項（式（１８）の第１項）における不足色成分のローパスフィルタ値として上記所定の範囲内の画素の平均値Ｋ（ＡＶ）を使用し、もう一つの演算項における不足色成分のローパスフィルタ値として上記選択された複数の画素の平均値若しくは重み付け加算平均値Ｋ（ＰＡＴ）を使用するので、画像中のエッジ位置においては相関の高い画素のみに基づいてローパスフィルタ値を生成して更に偽色の発生を抑制しつつ、画像中の高彩度の領域では黒ずみ等の画質劣化を抑制することができる効果がある。
【００７３】
実施の形態４．
この実施の形態４に係るフルカラー画像撮像装置は、演算回路１１が下記式１９に基づいて各生成感度信号ｋ（ｍ，ｎ）を生成するとともに、係数選択回路１０が図１１に示すフローチャートを実施する以外は実施の形態１と同様の構成および動作である。なお、式（１９）の右辺第１項は受光色の相似比を元に色補間を行うアルゴリズムに基づく演算項であり、第２項は線形補間アルゴリズムに基づく演算項であり、同式はこれら２種類のアルゴリズムを、彩度に対応づけられたループ制御変数ｉに基づいて重み付け加算するものである。
【００７４】
【数３】
また、図１１において、ＳＴ１９はループ制御変数ｉに初期値「０」を代入する初期化ステップ、ＳＴ２０は生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差の大きさがループ変数ｉに基づいて係数テーブルから選択された差分値Ｄｉｆ（ｉ）以下であるか否かを判断することによって、注目画素における色味及び彩度の算出を行う差分量判断ステップ、ＳＴ２１はこの差分量判断ステップＳＴ２０において否と判断された場合に実行されるステップであって、ループ制御変数ｉに「１」を加算するループ制御変数更新ステップ、ＳＴ２２はこのループ制御変数ｉに基づいて補間強度の分割数Ｄｎｕｍ分のループ処理が行われたか否かを判断するループ終了ステップであり、このループ終了ステップＳＴ２２において正しいあるいは上記差分量判断ステップＳＴ２０で正しいと判断された場合にループ処理を終了する。そして、演算回路１１はこのループ処理を終了した時点のループ制御変数ｉを上記式（１９）に代入して重み付け演算を実施する。
【００７６】
そして、このような構成であれば実施の形態１と同様に、黒ずみ等の発生しない高画質な色補間を実現することができる。
【００７７】
また、係数選択回路１０における演算を簡易化することによりメモリアクセスを伴う低速の係数選択処理を高速化することが可能になり、フレームメモリ４の出力から演算回路１１の演算出力までの各段階における処理時間をより均一な状態に近付ける事が可能となるので、これらの間におけるタイミング調整用のラッチなどの付加回路を削減することができ、しかも、画素クロックに同期したパイプライン処理が実現可能になる。
【００７８】
なお、この実施の形態３及び実施の形態４においては、演算回路１１において色の相似比から算出するアルゴリズムに基づく演算項と周辺画素の平均値としての線形補間アルゴリズムに基づく演算項とを、注目画素近傍の感度信号レベルに応じて重み付け加算演算しているが、上記式（１８）あるいは式（１９）においてループ制御変数ｉに基づいた加算演算の種類は高々有限個の組合せであるので、予め全組合せについての演算結果を係数メモリ９などに記憶させておき、ｉ及びＤｎｕｍをインデックスとして選択するようにしてもよい。これにより、回路規模の縮小効果や演算速度の向上効果を期待することができる。
【００７９】
また、以上の実施の形態においては、撮像後の画像処理として色補間処理用のブロックのみを説明したものとなっているが、オートホワイトバランス処理（白色補正）、γ補正処理（階調特性の補正）、フィルタ処理（輪郭強調やノイズ除去）、ＪＰＥＧ圧縮処理（画像データ圧縮保存）などの処理と組合せても同様の効果が得られることは言うまでもない。更に、ＬＣＤインタフェース（画像表示確認用液晶インタフェース）、フラッシュメモリインタフェース（撮影画像保存媒体インタフェース）等の入出力インタフェースが付加された装置であっても同等の効果が得られることも言うまでもない。
【００８０】
そして、以上の全ての実施の形態では、多色画像撮像装置の内部で色補間処理を実行可能な構成例を示したがこの限りでなく、パーソナルコンピュータやカラープリンタ等、撮像装置に直接あるいは記憶媒体を間接的に経由して接続可能で単板式センサを使用して入力した画像を扱ういずれの機器上で構成してもよい。また、２次元撮像素子２としてＲＧＢの色フィルタがＢａｙｅｒ型に配列された場合を例として示したがこの限りでなく、原色系あるいは補色系の複数の色フィルタが配置され色補間処理を行うことによりフルカラー画像を得るように構成される撮像素子から入力される画像であれば同等の効果を得ることができる。更に、２次元撮像素子２において光電変換された画像データをＡ／Ｄ変換回路３でディジタル化した後一旦フレームメモリ４に１画面分保持する構成を示したがこの限りでなく、撮影時のデータストリームに同期して画素あるいは複数ライン毎に色補間を含む画像処理を実施するように構成することも可能である。
【００８１】
【発明の効果】
以上のように、この発明によれば、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど小さな値となる補間強度係数を出力する係数選択回路と、当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるので、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が小さい場合には、画像の局所的な領域では輝度信号の変化に比べて色信号の変化が少ない、言い換えれば局所領域では色相関性が高いという撮影画像の一般的な特徴に則った補正をおこなって、線形補間法を用いて補間した場合に比べて、画像のエッジを構成する信号レベル変化の急峻な領域においても色間の信号変化に偏りが生じないようにすることができる。従って、エッジを十分に再現することができ、高解像度かつ偽色の少ない高画質なものとすることができる効果がある。
【００８２】
これと同時に、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きい場合には、つまりこれら色成分の値の差が大きくて高信号レベルの有彩色となる場合には、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差に応じた補正量制御を実施するので、参照する受光色における微妙な変化に比例的に反応する形で生成色の信号レベルが上記ローパスフィルタ値のレベルから大きく外れてしまうことはなく、当該画素において本来画像中にない黒ずみや白抜けが発生してしまうことを効果的に抑制することができる効果がある。
【００８３】
つまり、画像中の高信号レベルの領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能であると同時に、低信号レベルの領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行うことができる効果がある。
【００８４】
この発明によれば、乗算手段が、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差の大きさをこれら２つの色成分のローパスフィルタ値同士の差で判定するとともに、この判定に応じた補間強度係数を増幅値に乗算し、しかも、当該補間強度係数は上記差が大きければ大きいほど当該増幅値の逆数に近い値となり且つ上記差が小さければ小さいほど「１」に近い値となるので、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が小さい場合には上記差も小さくなって、補正値そのままに生成色の信号レベルを補正することができ、しかも、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きい場合には上記差も大きくなって、当該補正値による補正量を制限することができる。従って、黒ずみ等の画質劣化を抑制しつつ高解像度で偽色の少ない色補間を行うことができる効果がある。
【００８５】
この発明によれば、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、当該第１の重み付け係数と当該増幅値と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるので、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が小さい場合には上記差も小さくなって、補正値そのままに生成色の信号レベルを補正することができ、しかも、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きい場合には上記差も大きくなって、当該補正値による補正量を制限することができる。従って、黒ずみ等の画質劣化を抑制しつつ高解像度で偽色の少ない色補間を行うことができる効果がある。
【００８６】
この発明によれば、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素の第１のローパスフィルタ値を生成する第１のローパスフィルタ手段と、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、当該第１の重み付け係数と当該増幅値と前記第１のローパスフィルタ値を乗算する第１の乗算手段と、１から第１の重み付け係数を引いた第２の重み付け係数とパターンマッチングによる第２のローパスフィルタ値を乗算する第２の乗算手段と、当該第１の乗算値と第２の乗算値を加算したものを上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えるので、不足色の信号レベルとして、不足色のローパスフィルタ値と、それに補正値を乗算した値との間の値を得ることができる効果がある。
【００８７】
なお、このような発明において上記ローパスフィルタ手段は、例えば、不足色成分の生成に係る画素を中心とする所定の範囲内の複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値、または、上記所定の範囲内の画素の中から信号レベル分布に基づいて選択された複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値をローパスフィルタ値として生成すればよい。
【００８８】
この発明によれば、ローパスフィルタ手段は、不足色成分の生成に係る画素を中心とする所定の範囲内の画素における不足色成分の信号レベルの平均値を演算するとともにその平均値を閾値として当該範囲内の複数の画素の二値化処理を行い、更にこの二値分布に応じて選択された複数の画素の平均値若しくは重み付け加算平均値をローパスフィルタ値として生成し、第１のローパスフィルタ値として上記所定の範囲内の画素の平均値を使用し、第２のローパスフィルタ値として上記選択された複数の画素の平均値若しくは重み付け加算平均値を使用するので、画像中のエッジ位置においては相関の高い画素のみに基づいてローパスフィルタ値を生成して更に偽色の発生を抑制しつつ、画像中の高信号レベルの領域では黒ずみ等の画質劣化を抑制することができる効果がある。
【００８９】
この発明によれば、乗算手段が、当該画素の受光信号レベルが当該受光色における周囲の画素の信号レベルのローパスフィルタ値よりも小さい場合のみ、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差に応じた補正量制御を実施するので、当該画素の受光信号レベルが当該受光色における周囲の画素の信号レベルのローパスフィルタ値よりも大きい場合の演算処理を簡略化することができる。そして、このように画素の受光信号レベルが当該受光色における周囲の画素の信号レベルのローパスフィルタ値よりも大きい場合の演算処理を省略して、ローパスフィルタ値に補正値を乗算した値をそのまま信号レベルとして出力したとしても、その周囲を含めて全体の感度が高いため、これに基づいて生成された表示画像などにおいては再生装置の再生能力の限界値で制限されることとなり、画質欠陥として認識されにくい効果がある。
【００９０】
この発明によれば、各画素の色情報として不足している色成分の信号レベルを生成する色成分生成方法において、上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタステップと、当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算ステップと、上記周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど小さな値となる補間強度係数を出力する係数選択ステップと、当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算ステップと、当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力ステップとを備えるので、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が小さい場合には、画像の局所的な領域では輝度信号の変化に比べて色信号の変化が少ない、言い換えれば局所領域では色相関性が高いという撮影画像の一般的な特徴に則った補正をおこなって、線形補間法を用いて補間した場合に比べて、画像のエッジを構成する信号レベル変化の急峻な領域においても色間の信号変化に偏りが生じないようにすることができる。従って、エッジを十分に再現することができ、高解像度かつ偽色の少ない高画質なものとすることができる効果がある。
【００９１】
これと同時に、上記既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きい場合には、つまりこれら色成分の値の差が大きくて高信号レベルの有彩色となる場合には、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差に応じた補正量制御を実施するので、参照する受光色における微妙な変化に比例的に反応する形で生成色の信号レベルが上記ローパスフィルタ値のレベルから大きく外れてしまうことはなく、当該画素において本来画像中にない黒ずみや白抜けが発生してしまうことを効果的に抑制することができる効果がある。
【００９２】
つまり、画像中の高信号レベルの領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能であると同時に、低信号レベルの領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行うことができる効果がある。
【００９３】
この発明によれば、各画素の色情報として複数の色成分の信号レベルを出力する多色画像撮像装置において、上記画素と１対１に対応づけられた受光素子毎に上記複数の色成分うちから選択された１つの色のフィルタが設けられ、上記画素数分の受光信号レベルを出力する撮像素子と、上記撮像素子から出力される各画素の受光信号レベルの色を既知の色成分として、各画素の不足している色成分の信号レベルを生成する上記色成分生成装置と、上記各画素の色情報として、上記撮像素子から出力される受光信号レベルと、当該色成分生成装置から出力される残りの色成分の信号レベルとを出力する出力手段とを備えるので、画像中の高信号レベルの領域では相似比による色補間の影響を低減し黒ずみ等の画質劣化を抑制しつつ高解像度に色補間を行うことが可能であると同時に、低信号レベルの領域では相似比による色補間結果を優先することで高解像度で偽色の少ない色補間を行って、高解像度で偽色が発生しにくくしかも黒ずみが発生しない画像を得ることができる。従って、画像の種類によらず安定感のある多色画像を撮像することができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１によるデジタルスチルカメラなどのフルカラー画像撮像装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１の係数選択回路において実行される補間強度係数生成処理を示すフローチャートである。
【図３】 この発明の実施の形態１における各種のパラメータの相関関係を示す説明図である。
【図４】 この発明の実施の形態１の補間強度係数の演算処理において参照される係数メモリの内容の一例を示した模式図である。
【図５】 この発明の実施の形態２の係数演算回路において実施される補間強度係数生成処理を示すフローチャートである。
【図６】 この発明の実施の形態３によるデジタルスチルカメラなどのフルカラー画像撮像装置の構成を示すブロック図である。
【図７】 この発明の実施の形態３においてパターンマッチングに基づくローパスフィルタ値を出力する際に、パターンマッチング手段で使用される参照ウィンドウの一例を示す説明図である。
【図８】 この発明の実施の形態３における二値分布パターンの一例を示す説明図である。
【図９】 この実施の形態３における参照ウィンドウ内における赤色成分の４つの受光分布パターンおよび青色成分の４つの受光分布パターンを示す。
【図１０】 この実施の形態３の係数選択回路の動作を示すフローチャートである。
【図１１】 この発明の実施の形態４の係数選択回路の動作を示すフローチャートである。
【図１２】 単板式２次元撮像素子において一般的に用いられているＢａｙｅｒ（ベイヤー）型配列による原色フィルタの構成を示す説明図である。
【図１３】 Ｂａｙｅｒ（ベイヤー）型配列による原色フィルタを用いた場合に得られる緑色成分の受光感度分布の説明図である。
【図１４】 Ｂａｙｅｒ（ベイヤー）型配列による原色フィルタを用いた場合に得られる青色成分の受光感度分布の説明図である。
【図１５】 Ｂａｙｅｒ（ベイヤー）型配列による原色フィルタを用いた場合に得られる赤色成分の受光感度分布の説明図である。
【図１６】 ２次元撮像素子にＲ、Ｇ、Ｂ３原色からなる色フィルタをＢａｙｅｒ型配列で貼付したカラービデオカメラに、当該特開平５−５６４４６号公報に記載した技術を適用した場合の構成を示すブロック図である。
【図１７】 図１６の２次元メモリ（赤用）内の書き込み状態（一部）を示す説明図である。
【図１８】 図１６の２次元メモリ（緑用）内の書き込み状態（一部）を示す説明図である。
【図１９】 図１６の２次元メモリ（青用）内の書き込み状態（一部）を示す説明図である。
【図２０】 図１６の２次元ローパスフィルタ（赤用）の出力例を示す説明図である。
【図２１】 図１６の２次元ローパスフィルタ（緑用）の出力例を示す説明図である。
【図２２】 図１６の２次元ローパスフィルタ（青用）の出力例を示す説明図である。
【図２３】 この従来の２つの補間方法による生成感度信号の信号レベルを比較説明するための説明図である。
【図２４】 特開平５−５６４４６号公報の補間方法における画質劣化を説明するための説明図である。
【符号の説明】
１ レンズ（撮像素子）、２ ２次元撮像素子（撮像素子）、３ Ａ／Ｄ変換器（撮像素子）、６ａ〜６ｃ ２次元メモリ、７ａ〜７ｃ ２次元ローパスフィルタ（ローパスフィルタ手段）、９ 係数メモリ（乗算手段）、１０，１９ 係数選択回路（乗算手段）、１１，２０ 演算回路（増幅値演算手段、乗算手段、不足色生々出力手段、出力手段）、１６ ラインバッファ（ローパスフィルタ手段）、１７ パターンマッチング手段（ローパスフィルタ手段）、１８ パターンメモリ（ローパスフィルタ手段）。
Claims (10)
- 各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、
上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、
当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、
上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど小さな値となる補間強度係数を出力する係数選択回路と、
当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、
当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えることを特徴とする色成分生成装置。 - 乗算手段は、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差の大きさをこれら２つの色成分のローパスフィルタ値同士の差で判定するとともに、この判定に応じた補間強度係数を増幅値に乗算し、しかも、当該補間強度係数は上記差が大きければ大きいほど当該増幅値の逆数に近い値となり且つ上記差が小さければ小さいほど「１」に近い値となることを特徴とする請求項１記載の色成分生成装置。
- 各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、
上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタ手段と、
当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、
上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、
当該第１の重み付け係数と当該増幅値と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算手段と、
当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えることを特徴とする色成分生成装置。 - 各画素の色情報として不足している色成分の信号レベルを生成する色成分生成装置において、
上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素の第１のローパスフィルタ値を生成する第１のローパスフィルタ手段と、
当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算手段と、
上記画素の周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択回路と、
当該第１の重み付け係数と当該増幅値と前記第１のローパスフィルタ値を乗算する第１の乗算手段と、
１から第１の重み付け係数を引いた第２の重み付け係数とパターンマッチングによる第２のローパスフィルタ値を乗算する第２の乗算手段と、
当該第１の乗算値と第２の乗算値を加算したものを上記不足色成分の信号レベルとして出力する不足色成分出力手段とを備えることを特徴とする色成分生成装置。 - ローパスフィルタ手段は、不足色成分の生成に係る画素を中心とする所定の範囲内の複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値、または、上記所定の範囲内の画素の中から信号レベル分布に基づいて選択された複数の画素における不足色成分の信号レベルの平均値若しくは重み付け加算平均値をローパスフィルタ値として生成することを特徴とする請求項１から請求項３のうちのいずれか１項記載の色成分生成装置。
- ローパスフィルタ手段は、不足色成分の生成に係る画素を中心とする所定の範囲内の画素における不足色成分の信号レベルの平均値を演算するとともにその平均値を閾値として当該範囲内の複数の画素の二値化処理を行い、更にこの二値分布に応じて選択された複数の画素の平均値若しくは重み付け加算平均値をローパスフィルタ値として生成し、
第１のローパスフィルタ値として上記所定の範囲内の画素の平均値を使用し、第２のローパスフィルタ値として上記選択された複数の画素の平均値若しくは重み付け加算平均値を使用することを特徴とする請求項４記載の色成分生成装置。 - 乗算手段は、当該画素の受光信号レベルが当該受光色における周囲の画素の信号レベルのローパスフィルタ値よりも小さい場合のみ、既知の色成分の信号レベルと不足色成分の信号レベルとの信号レベル差に応じた補正量制御を実施することを特徴とする請求項１記載の色成分生成装置。
- 各画素の色情報として不足している色成分の信号レベルを生成する色成分生成方法において、
上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタステップと、
当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算ステップと、
上記周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベルが大きければ大きいほど小さな値となる補間強度係数を出力する係数選択ステップと、
当該増幅値と当該補間強度係数と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算ステップと、
当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力ステップとを備えることを特徴とする色成分生成方法。 - 各画素の色情報として複数の色成分の信号レベルを出力する多色画像撮像装置において、
上記画素と１対１に対応づけられた受光素子毎に上記複数の色成分うちから選択された１つの色のフィルタが設けられ、上記画素数分の受光信号レベルを出力する撮像素子と、
上記撮像素子から出力される各画素の受光信号レベルの色を既知の色成分として、各画素の不足している色成分の信号レベルを生成する請求項１記載の色成分生成装置と、
上記各画素の色情報として、上記撮像素子から出力される受光信号レベルと、当該色成分生成装置から出力される残りの色成分の信号レベルとを出力する出力手段とを備えることを特徴とする多色画像撮像装置。 - 各画素の色情報として不足している色成分の信号レベルを生成する色成分生成方法において、
上記画素の周囲の画素における上記不足色成分の信号レベルに基づいて当該画素のローパスフィルタ値を生成するローパスフィルタステップと、
当該画素の既知の色成分における当該画素の信号レベルと、当該既知の色成分における周囲の画素の信号レベルのローパスフィルタ値との比に応じた増幅値を演算する増幅値演算ステップと、
上記周囲の画素における既知の色成分の信号レベルと上記不足色成分の信号レベルとの信号レベル差が大きければ大きいほど「０」に近くなる１以下の値の第１の重み付け係数を演算する係数選択ステップと、
当該第１の重み付け係数と当該増幅値と当該画素の不足色成分のローパスフィルタ値とを乗算する乗算ステップと、
当該乗算値を上記不足色成分の信号レベルとして出力する不足色成分出力ステップとを備えることを特徴とする色成分生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25462599A JP3730063B2 (ja) | 1999-09-08 | 1999-09-08 | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25462599A JP3730063B2 (ja) | 1999-09-08 | 1999-09-08 | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001078211A JP2001078211A (ja) | 2001-03-23 |
| JP3730063B2 true JP3730063B2 (ja) | 2005-12-21 |
Family
ID=17267636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25462599A Expired - Lifetime JP3730063B2 (ja) | 1999-09-08 | 1999-09-08 | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3730063B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4498086B2 (ja) * | 2004-09-28 | 2010-07-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP3926363B2 (ja) * | 2004-11-04 | 2007-06-06 | 三菱電機株式会社 | 画素信号処理装置及び画素信号処理方法 |
| WO2006059365A1 (ja) | 2004-11-30 | 2006-06-08 | Mitsubishi Denki Kabushiki Kaisha | 画像処理装置、非撮像色信号算出装置及び画像処理方法 |
| JP3729842B1 (ja) | 2004-12-02 | 2005-12-21 | 三菱電機株式会社 | 画素信号処理装置及び方法 |
| JP4708180B2 (ja) * | 2005-12-20 | 2011-06-22 | 三菱電機株式会社 | 画像処理装置 |
| JP5098054B2 (ja) * | 2007-11-22 | 2012-12-12 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
| JP2018022932A (ja) | 2014-12-08 | 2018-02-08 | 株式会社ジャパンディスプレイ | 表示システム及び表示装置 |
-
1999
- 1999-09-08 JP JP25462599A patent/JP3730063B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001078211A (ja) | 2001-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5045421B2 (ja) | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム | |
| JP4210021B2 (ja) | 画像信号処理装置および画像信号処理方法 | |
| US7710470B2 (en) | Image processing apparatus that reduces noise, image processing method that reduces noise, electronic camera that reduces noise, and scanner that reduces noise | |
| US20080267526A1 (en) | Image processing apparatus | |
| JPH10126796A (ja) | デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ | |
| JP4668185B2 (ja) | 画像処理方法 | |
| WO2011152174A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP2010092461A (ja) | 画像処理装置及び画像処理方法 | |
| US8320714B2 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
| JP2006013558A (ja) | 画像処理装置、画像処理プログラム | |
| KR20110004791A (ko) | 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체 | |
| US8982248B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2008258931A (ja) | 画像処理装置 | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| JP2001197512A (ja) | 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法 | |
| JP4725520B2 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
| JP5268321B2 (ja) | 画像処理装置及び画像処理方法、画像処理プログラム | |
| JP2002335454A (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
| JP2006333113A (ja) | 撮像装置 | |
| JP4687454B2 (ja) | 画像処理装置および撮像装置 | |
| JPH1169226A (ja) | 電子カメラ | |
| JPH07123421A (ja) | 撮像装置 | |
| JP2004304635A (ja) | 画像処理方法及び画像処理装置 | |
| JP4934183B2 (ja) | 画像信号処理方法 | |
| JP2004304641A (ja) | 画像処理方法及び画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20040810 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051005 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3730063 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |