JP4840740B2 - 画素補間方法および画像判定方法 - Google Patents

Description

本発明は、デジタルカメラ等に備えられる画像処理回路で実行される画素補間技術に関する。

デジタルカメラ等で利用されるＣＣＤ、ＣＭＯＳなどの撮像素子は、色フィルタを介して受光する光を光電変換して画素信号を出力する。この色フィルタには、ＲＧＢ系色フィルタやＹＭＣＫ系色フィルタなどがある。そして、単板式の撮像素子からは１画素について１色の画素信号が出力される。たとえば、ＲＧＢ系色フィルタを用いた場合、１画素についてＲ（赤色）、Ｇ（緑色）、Ｂ（青色）いずれかの色成分の画素信号が出力される。

このため、単板式のカラー撮像素子から出力された画素信号については、他の色成分の画素信号を補間処理する必要がある。そして、この補間処理に様々なアルゴリズムが用いられている。たとえば、水平方向と垂直方向の相関度を算出し、相関度の高い方向の画素を用いて画素補間を行う方法が行われている。あるいは、注目画素と周辺画素の距離に応じて重み付けを行った上で画素補間を行う方法などが行われている。

また、下記特許文献１においては、画素がグレーエッジであるかカラーエッジであるかを判定し、その判定結果に応じて画素補間処理による重み付け係数を決定し、偽色を低減させるようにしている。また、下記特許文献２では、画素補間処理を実行した後、２つの方法で色差分信号を生成し、彩度値に基づいていずれかの色差分信号を選択することによって補間処理による偽色の発生を低減するようにしている。

特開２００１−２９２４５４号公報 特開２００２−３００５９０号公報

しかし、従来の補間方法では、水平あるいは垂直方向の細線など、高域周波数成分が含まれるグレー画像においては、誤補間による画質劣化が生じる場合があった。特に、グレー画像とカラー画像の境界に位置するような画像において、画質劣化が生じるという問題があった。そこで、本発明は前記問題点に鑑み、偽色の軽減や解像度の改善を行い、シャープで高品質な画像を生成可能な画像処理方法を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、a)所定の色空間の画素信号を入力する工程と、b)注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、c)前記彩度評価値に基づいて相関判定方法と画素補間方法とを選択する工程と、d)選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、を備えることを特徴とする。更に前記工程b)は、b-1)前記注目画素及び前記周辺画素を用いて、各色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、b-2)前記注目画素及び前記周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、b-3)前記第１色差成分評価値と前記第２色差成分評価値とを比較して、色差成分のレベルが小さい方を前記彩度評価値として選択する工程と、を備えることを特徴とする。

請求項２記載の発明は、請求項１に記載の画素補間方法において、前記工程c)は、c-1)前記彩度評価値と第１の閾値とを比較することにより、グレー画像用とカラー画像用の相関判定方法のうちいずれかを選択する工程と、c-2)前記彩度評価値と第２の閾値とを比較することにより、グレー画像用とカラー画像用の画素補間方法のうちいずれかを選択する工程と、を含むことを特徴とする。

請求項３記載の発明は、a)所定の色空間の画素信号を入力する工程と、b)注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、c)前記彩度評価値に基づいて相関判定方法と画素補間方法とを選択する工程と、d)選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、を備えることを特徴とする。更に前記工程c)では、所定の２つの閾値ＴＨ１,ＴＨ２（ただし、ＴＨ１＞ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２より小さい場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１より小さい場合には、グレー画像用の相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする。

請求項４記載の発明は、a)所定の色空間の画素信号を入力する工程と、b)注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、c)カラー画像用の画素補間方法を用いて、前記注目画素のカラー画像用の画素補間処理を実行する工程と、d)グレー画像用の画素補間方法を用いて、前記注目画素のグレー画像用の画素補間処理を実行する工程と、e)前記彩度評価値と正相関ある按分比で、前記カラー画像用の画素補間処理を実行した画素値と前記グレー画像用の画素補間処理を実行した画素値とを加算する工程とを備える。

請求項５記載の発明は、請求項４に記載の画素補間方法において、前記工程c)において、前記注目画素のカラー画像用の画素補間処理は、前記カラー画像用の画素補間方法を用いて、カラー画像用の相関判定方法により決定された相関方向に関して実行される。また前記工程d)において、前記注目画素のグレー画像用の画素補間処理は、前記グレー画像用の画素補間方法を用いて、グレー画像用の相関判定方法により決定された相関方向に関して実行される。

請求項６記載の発明は、請求項４に記載の画素補間方法において、前記彩度評価値が閾値よりも高い場合にはカラー画像用の、前記閾値よりも小さい場合にはグレー画像用の、それぞれ相関判定方法が選択される。前記工程c)において、前記注目画素のカラー画像用の画素補間処理は、前記カラー画像用の画素補間方法を用いて、選択された前記相関判定方法により決定された相関方向に関して実行される。また前記工程d)において、前記注目画素のグレー画像用の画素補間処理は、前記グレー画像用の画素補間方法を用いて、選択された前記相関判定方法により決定された相関方向に関して実行される。

請求項７記載の発明は、請求項４乃至請求項６のいずれか一つに記載の画素補間方法において、前記工程b)は、b-1)前記注目画素及び前記周辺画素を用いて、各色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、b-2)前記注目画素の周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、b-3)前記第１色差成分評価値と前記第２色差成分評価値とを比較して、色差成分のレベルが小さい方を前記彩度評価値として選択する工程と、を備えることを特徴とする。

請求項８記載の発明は、請求項７に記載の画素補間方法において、前記工程b-2)は、b-2-1)前記注目画素の周辺画素を用いて、垂直方向に関して色差成分値を累積し、垂直色差成分評価値を算出する工程と、b-2-2)前記注目画素の周辺画素を用いて、水平方向に関して色差成分値を累積し、水平色差成分評価値を算出する工程と、を含み、前記工程b-3)は、b-3-1)前記第１色差成分評価値と前記垂直色差成分評価値と前記水平色差成分評価値とを比較して、最も色差成分のレベルが小さい評価値を彩度評価値として選択する工程、を含むことを特徴とする。

請求項９記載の発明は、a)所定の色空間の画素信号を入力する工程と、b)注目画素及びその周辺画素を用いて、各色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、c)前記注目画素及び前記周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、d)前記第１色差成分評価値と前記第２色差成分評価値とを比較して、最も色差成分のレベルが小さい方を彩度評価値として選択する工程と、e)前記彩度評価値を用いて前記注目画素を含む領域がグレー画像であるかカラー画像であるかを判定する工程と、を備えることを特徴とする。

請求項１０記載の発明は、請求項９に記載の画像判定方法において、前記工程c)は、c-1)前記注目画素及び前記周辺画素を用いて、垂直方向に関する色差成分値を累積し、垂直色差成分評価値を算出する工程と、c-2)前記注目画素及び前記周辺画素を用いて、水平方向に関する色差成分値を累積し、水平色差成分評価値を算出する工程と、を含み、前記工程d)は、前記第１色差成分評価値と前記垂直色差成分評価値と前記水平色差成分評価値とを比較して、最も色差成分のレベルが小さい方を前記彩度評価値として選択する工程、を含むことを特徴とする。

本発明は、注目画素の周辺領域の彩度評価値を算出し、彩度評価値に基づいて相関判定方法と画素補間方法とを選択する。これにより、相関方向の判定誤りや誤補間を防止することができ、画素補間処理における偽色の低減を図ることが可能である。

また、彩度評価値と第１の閾値とを比較することにより、グレー画像用とカラー画像用の相関判定方法のうちいずれかを選択し、彩度評価値と第２の閾値とを比較することにより、グレー画像用とカラー画像用の画素補間方法のうちいずれかを選択する。つまり、相関判定方法と画素補間方法とは、それぞれ別の閾値を用いて彩度評価値との比較が行われるので、相関方向を判定する上で適切な領域の判定と画素補間方法を選択する上で適切な領域の判定が行われ、画素補間処理の精度を向上させることが可能である。

以下、図面を参照しつつ本発明の実施の形態について説明する。

第１の実施の形態．
＜１．デジタルカメラの全体概略構成＞
図１は、本発明に係るデジタルカメラ１０の第１の態様を示すブロック図である。デジタルカメラ１０は、撮像素子１、信号処理回路２、画像処理回路３Ａ、メモリ５を備えている。撮像素子１は、ＲＧＢベイヤ配列の色フィルタアレイを備えた単板式のＣＣＤであり、１画素からはＲＧＢいずれかの色成分の画素信号が出力される。具体的には、たとえば奇数番目の水平ラインがＧ→Ｒ→Ｇ→Ｒ→・・・とＧ信号とＲ信号とが交互に出力されるラインとすると、偶数番目の水平ラインは、Ｂ→Ｇ→Ｂ→Ｇ→・・・とＢ信号とＧ信号とが交互に出力されるラインである。なお、撮像素子１として、ＣＭＯＳセンサを用いても良い。

撮像素子１から出力される画素信号は、信号処理回路２に入力される。信号処理回路２において、画素信号に対してホワイトバランス処理、黒レベル補正処理などの信号処理が行われる。信号処理回路２から出力された画素信号は、画像処理回路３Ａに入力される。画像処理回路３Ａは、彩度値算出回路３１、相関値算出回路３２、選択回路３３、画素補間回路３４を備えている。

彩度値算出回路３１は、注目画素と注目画素周辺の画素信号を用いて、当該領域の彩度値を算出する。この彩度値は、当該領域がグレー画像であるかカラー画像であるかを判定するための指標となる。相関値算出回路３２は、注目画素と注目画素周辺の画素信号を用いて当該領域の相関値を算出する。選択回路３３は、彩度値算出回路３１により算出された彩度値に基づいて最適な相関判定方法と画素補間方法とを選択する。画素補間回路３４は、注目画素と注目画素周辺の画素信号を用いて画素補間処理を実行する。具体的には、選択回路３３により選択された相関判定方法に基づいて相関方向を決定するとともに、選択回路３３により選択された画素補間方法に基づいて、決定された相関方法に関する画素補間処理を実行する。

なお、彩度値算出回路３１、相関値算出回路３２および画素補間回路３４は、それぞれ注目画素と注目画素周辺の画素信号を用いて演算処理を行うため、Ｍ×Ｎのマトリクス領域の画素信号を蓄積するためのレジスタ群を備えている。なお、各回路３１,３２,３３でレジスタを共用するようにしてもよい。

画像処理回路３Ａにおいて画素補間処理が行われると、各画素はＲＧＢ全ての色成分を持つ信号となる。そして、この画素信号がメモリ５に格納される。メモリ５に格納された画素信号は、さらに、圧縮処理が施されて画像データとして図示せぬ記憶媒体に格納される。あるいは、デジタルカメラ１０が備える図示せぬモニタに表示されるデータとして利用される。

＜２．ベイヤ配列の画素の表記方法＞
次に、以下の説明および図面におけるベイヤ配列の画素の表記方法について説明する。まず、５×５のマトリクス領域の画素を図２（ａ）のように表す。図２（ａ）における記号Ｐは、画素がＲＧＢいずれの色成分であるかを考慮しない表記である。これに対して、図２（ｂ）〜（ｅ）においては各画素の色成分を区別して表記している。記号Ｒは赤色画素、記号Ｇは緑色画素、記号Ｂは青色画素であることを示している。また、図２および図５〜図１６において、Ｇ画素は実線の円で描き、Ｒ画素およびＢ画素は破線の円で描いている。

また、記号Ｐ,Ｒ,Ｇ,Ｂの添え字のうち、１桁目はマトリクス領域の画素の行番号、２桁目はマトリクス領域の画素の列番号を示している。図２（ａ）〜（ｅ）は、注目画素Ｐ₂₂を含む２５個の画素Ｐ₀₀〜Ｐ₄₄からなるマトリクス領域の画素配列を表している。その他の図面における表記方法も同様である。また、実施の形態の説明や各数式において、記号Ｐ,Ｒ,Ｇ,Ｂは、画素値を表す場合もある。たとえば、記号Ｐ₁₁は、１行１列目の画素そのものを表すとともに、１行１列目の画素の画素値をも表すものとする。

図２（ｂ）および図２（ｅ）は、注目画素Ｐ₂₂がＧ画素である場合の画素配列である。図２（ｃ）は、注目画素Ｐ₂₂がＲ画素である場合の画素配列である。図２（ｄ）は、注目画素Ｐ₂₂がＢ画素である場合の画素配列である。上述したように、彩度値算出回路３１、相関値算出回路３２、画素補間回路３４においては、注目画素とその周辺の画素信号を用いて演算処理を実行するために、レジスタ群にマトリクス領域の画素信号を蓄積する。５×５のマトリクス領域の画素を処理対象とする場合、そのレジスタ群に格納される画素信号のパターンは、図２（ｂ）〜図２（ｅ）の４つのパターンが存在することになる。また、３×３のマトリクス領域の画素を処理対象とする場合には、注目画素Ｐ₂₂を中心とした９個の画素Ｐ₁₁,Ｐ₁₂,Ｐ₁₃,Ｐ₂₁,Ｐ₂₂,Ｐ₂₃,Ｐ₃₁,Ｐ₃₂,Ｐ₃₃を利用することになり、画素信号のパターンは、同様に、図２（ｂ）〜図２（ｅ）の４パターンである。

＜３．彩度値算出処理＞
次に、彩度値算出回路３１により実行される彩度値算出処理の内容について詳細に説明する。彩度値算出回路３１は、注目画素を含むマトリクス領域（これは注目画素及びその周辺画素で構成される）の色差成分を分析し、この領域の彩度評価値を算出する。この彩度評価値は、後工程である選択工程において、処理対象となる領域が彩度の高い画像（以下、カラー画像とする。）であるか、彩度の低い画像（以下、グレー画像とする。）であるかを判定するために利用される。

彩度評価値は、注目画素を含むマトリクス領域において、Ｇ画素のレベルとＲ画素のレベルとの色差成分およびＧ画素のレベルとＢ画素のレベルとの色差成分に基づいて算出される。そして、本実施の形態においては、彩度評価値を決定するために、２つの色差成分評価値が算出される。すなわち、彩度値算出回路３１は、「第１の色差成分評価値」および「第２の色差成分評価値」を算出する。「第１の色差成分評価値」とは、マトリクス領域内にある各画素の位置は考慮することなく、領域内に存在する各画素の色成分別の画素平均値に基づく色差成分値から求めた評価値である。「第２の色差成分評価値」とは、マトリクス領域内にある各画素の位置を考慮し、特定の方向について色差成分値を累積することによって求められる評価値である。

このように、２種類の色差成分評価値を算出する理由は、以下の通りである。レトマチャートなどのように、水平あるいは垂直方向に細線が存在するグレー画像において、上記の「第１の色差成分評価値」を彩度値として採用した場合、誤ってカラー画像であると判定される可能性がある。これは、水平あるいは垂直方向に強い相関があるにも関わらず、この相関性を考慮しないで、領域内の画素平均値を用いて色差成分を算出するためである。そこで、本実施の形態においては、以下に示すように、２種類の色差成分評価値を算出し、色差成分のレベルの小さい方を彩度値として採用することにしている。

(3-1)第１の色差成分評価値
まず、第１の色差成分評価値の算出方法について説明する。第１の色差成分評価値は、青空や模様のない壁等、平坦部分（低周波領域）の色差成分の評価に適している。ここでいう平坦部分とは、特定の方向について強い相関を持たないような領域である。第１の色差成分評価値を算出するために、まず、注目画素を中心とする３×３のマトリクス領域に含まれるＲＧＢ各色毎の画素値の平均値Ｒ_ave，Ｇ_ave，Ｂ_aveを算出する。平均値Ｒ_ave，Ｇ_ave，Ｂ_aveは、一般的には、数１式のように表される。数１式中、Ｎ_R、Ｎ_G、Ｎ_Bは、それぞれマトリクス領域内に存在するＲ,Ｇ,Ｂ画素の数であり、Σの項は、各色成分の累積画素値を示している。

ただし、図２（ｂ）〜（ｅ）で示したように、画素配列には４つのパターンが存在するので、それぞれのパターンで平均値の算出方法が異なる。まず、中心画素がＧ画素であり、図２（ｂ）の画素配列に対応する場合、数２式により平均値Ｒ_ave，Ｇ_ave，Ｂ_aveを算出する。

中心画素がＲ画素であり、図２（ｃ）の画素配列に対応する場合、数３式により平均値Ｒ_ave，Ｇ_ave，Ｂ_aveを算出する。

中心画素がＢ画素であり、図２（ｄ）の画素配列に対応する場合、数４式により平均値Ｒ_ave，Ｇ_ave，Ｂ_aveを算出する。

中心画素がＧ画素であり、図２（ｅ）の画素配列に対応する場合、数５式により平均値Ｒ_ave，Ｇ_ave，Ｂ_aveを算出する。

彩度値算出回路３１は、マトリクス領域の画素配列が、図２（ｂ）〜（ｅ）のいずれのパターンであるかに応じて、数２式から数５式のいずれかの数式に従った演算処理を実行し、平均値Ｒ_ave，Ｇ_ave，Ｂ_aveを算出する。さらに、彩度値算出回路３１は、算出した平均値Ｒ_ave，Ｇ_ave，Ｂ_aveを用いて、数６式で表した演算処理を実行することにより、第１の色差成分評価値Ｃ_globalを算出する。つまり、色差成分評価値Ｃ_globalは、マトリクス領域内に存在する色成分ごとの画素値平均値に基づく色差成分値を用いて算出された色差成分の評価値である。

（３−２）第２の色差成分評価値
次に、第２の色差成分評価値の算出処理について説明する。マトリクス領域内に相関の強い方向があり、色差成分値の算出方法次第によっては、彩度値が大きく変化するような領域の色差成分の評価に適している。たとえば、上述したように、レトマチャートなどの高周波成分を含むグレー画像においては、（３−１）で求めた第１の色差成分評価値を彩度評価値として採用した場合、誤ってカラー画像であると判定される場合がある。そこで、このような特定の方向に強い相関を持つ画像に対する色差成分評価値を適切に求めるために、以下の処理を実行する。

彩度値算出回路３１は、３×３のマトリクス領域の画素信号を用いて、数７式および数８式で表された演算処理を実行する。すなわち、数７式は、垂直方向について色差成分値を累積して、垂直方向の色差成分評価値Ｃ_verticalを算出している。また、数８式は、水平方向について色差成分値を累積して、水平方向の色差成分評価値Ｃ_horizontalを算出している。つまり、数７式、数８式で表される演算は、垂直方向あるいは水平方向について、それぞれＧ画素とＲ画素との色差成分値及びＧ画素とＢ画素との色差成分値を累積するものである。色差成分評価値Ｃ_vertical，Ｃ_horizontalはいずれも上述の第２の色差成分評価値である。

なお、数７式および数８式において、係数２が乗算されている項があるが、これは、Ｇ−Ｒ画素の色差成分累積数とＧ−Ｂ画素の色差成分累積数とを一致させるためである。なお、この実施例では、異なる色差成分同士の累積数を一致させるための係数２を乗算するようにしているが、この値は適宜設定可能である。

また、この実施の形態においては、垂直方向と水平方向の色差成分評価値を算出しているが、これに加えて斜め方向の色差成分評価値を算出し、評価の対象としてもよい。例えば注目画素Ｐ₂₂について水平方向から時計回りに４５度傾いた斜めＡ方向、斜めＡ方向と直交する斜めＢ方向についての色差成分評価値Ｃ_d0，Ｃ_d1は数９式及び数１０式で求められる。但し数９式は注目画素Ｐ₂₂がＧ画素である場合に用いられる式であり、数１０式は注目画素Ｐ₂₂がＲ画素あるいはＢ画素である場合に用いられる式である。

（３−３）彩度係数の計算
彩度値算出回路３１は、以上、（３−１），（３−２）で示した演算方法により３つの色差成分評価値Ｃ_global、Ｃ_vertical、Ｃ_horizontalを算出すると、さらに、数１１式で表される演算処理を実行することにより、色差成分評価値Ｃ_global、Ｃ_vertical、Ｃ_horizontalの最小値（つまり、色差成分のレベルが最小のもの）を算出する。この最小値が、処理対象であるマトリクス領域の彩度評価値Ｃとして採用される。言い換えると、この彩度評価値Ｃは、各注目画素に対応して決定される彩度値である。なお、数１１式中、ｍｉｎ（ｘ，ｙ，ｚ）は、ｘ，ｙ，ｚの最小値を表している。また、上述したように、第２の色差成分評価値としてＣ_vertical、Ｃ_horizontalに加えて、斜め方向の色差成分評価値を算出するようにしてもよいが、この場合には、斜め方向の色差成分評価値も含めた評価値の中から最小値となるものを選択するようにすればよい。

彩度値算出回路３１において以上の演算処理が実行されることにより、注目画素についての彩度評価値Ｃが求められると、次に、彩度値算出回路３１は、彩度評価値Ｃを正規化して彩度係数Ｋｃを算出する。具体的には、２つの閾値Ｔ₁、Ｔ₂を用いて、数１２式に示すような正規化処理を行う。図３は、彩度評価値Ｃと彩度係数Ｋｃの関係を示す図である。このように、グレー画像とカラー画像とを判定するための彩度値Ｋｃが、グレー画像からカラー画像へと変化する領域の近傍に設けられた閾値Ｔ₁、Ｔ₂間で緩やかに変化するようにし、画像判定が急激に変化することを緩和している。

なお、２つの閾値Ｔ₁、Ｔ₂はグレー画像とカラー画像の境界近傍に設定される閾値であるので、実験結果や経験に基づいて最適な値を決定するようにすればよいが、入力画像の特性によって決定される可変パラメータとすることが好ましい。入力画像の特性は、たとえば、露光時間、絞り値などの撮影条件により決定される。また、入力画像の特性に、ＣＣＤの特性やレンズの光学特性などを考慮するようにしてもよい。このようにして算出された彩度係数Ｋｃが、後工程である選択工程において利用される。

＜４．相関値算出処理＞
相関値算出回路３２は、注目画素と注目画素周辺の画素信号を用いて、マトリクス領域内における４つの方向の相関値を算出する。ここでは、図４に示すように、水平方向、垂直方向、水平方向から時計回りに４５度傾いた斜めＡ方向、斜めＡ方向と直交する斜めＢ方向について、相関値を算出する。具体的には、注目画素とこれら４つの方向に存在する画素との間での画素値の差分である画素差分値を算出し、各方向について画素差分値を累積することによって相関値を求める。

また、本実施の形態において、相関値算出回路３２は、各マトリクス領域について、彩度の高いカラー画像用の相関値と、彩度の低いグレー画像用の相関値との両方を算出する。そして、最終的には、後工程である選択処理において、カラー画像用あるいはグレー画像用のいずれかの相関値が選択された上で相関方向が決定される。

（４−１）彩度の高いカラー画像用の相関値
（４−１−１）中心画素がＧの場合
まず、注目画素がＧ画素である場合のカラー画像用の相関値算出方法について説明する。つまり、マトリクス領域の画素配列が、図２（ｂ）あるいは図２（ｅ）である場合の相関値算出方法である。垂直方向の相関値は、数１３式により算出される。また、図５は、垂直方向の相関値の算出方法を図示したものであり、図５（ａ）は、Ｇ画素に関する相関算出方法、図５（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。このように、カラー画像用の相関値は、全ての色成分の画素差分値を考慮するようにしている。なお、図５〜図１６において、図中の矢印で結ばれた２つの画素は、画素差分値を算出する対象であることを示している。

水平方向の相関値は、数１４式により算出される。また、図６は、水平方向の相関値の算出方法を図示したものであり、図６（ａ）は、Ｇ画素に関する相関算出方法、図６（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。

斜めＡ方向の相関値は、数１５式により算出される。また、図７は、斜めＡ方向の相関値の算出方法を図示したものであり、図７（ａ）は、Ｇ画素に関する相関算出方法、図７（ｂ）および（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。

なお、図７で表したように、Ｇ画素に関する場合とＲ画素あるいはＢ画素に関する場合とでは、差分値を算出する際の画素間の距離が異なる。そこで、数１５式においては、画素間の距離の狭いＧ画素に関する差分値には２を乗算するようにしている。これは、Ｇ画素についてはＲ画素あるいはＢ画素に比べて演算対象となる画素間の距離が１／２となっているため、画素差分値については２倍の変化量に対応するためである。ただし、乗算値の２は一例であり、適宜選択可能である。

斜めＢ方向の相関値は、数１６式により算出される。また、図８は、斜めＢ方向の相関値の算出方法を図示したものであり、図８（ａ）は、Ｇ画素に関する相関算出方法、図８（ｂ）および（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。

数１６式においても、数１５式の場合と同様、Ｇ画素の差分値については、２を乗算するようにしている。なお、図７（ｂ），（ｃ）および図８（ｂ），（ｃ）おける場合の画素間距離と図５および図６における場合の画素間距離も異なるが、ここでは、いずれも１つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。

（４−１−２）中心画素がＢあるいはＲの場合
次に、注目画素がＢまたはＲ画素である場合のカラー画像用相関値の算出方法について説明する。つまり、マトリクス領域の画素配列が図２（ｃ）あるいは図２（ｄ）である場合の相関値算出方法である。垂直方向の相関値は、数１７式により算出される。また、図９は、垂直方向の相関値の算出方法を図示したものであり、図９（ａ）は、Ｇ画素に関する相関算出方法、図９（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。

水平方向の相関値は、数１８式により算出される。また、図１０は、水平方向の相関値の算出方法を図示したものであり、図１０（ａ）は、Ｇ画素に関する相関算出方法、図１０（ｂ）は、Ｒ画素およびＢ画素に関する相関算出方法を図示したものである。

斜めＡ方向の相関値は、数１９式により算出される。また、図１１は、斜めＡ方向の相関値の算出方法を図示したものであり、図１１（ａ）は、Ｇ画素に関する相関算出方法、図１１（ｂ）および図１１（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。

斜めＢ方向の相関値は、数２０式により算出される。また、図１２は、斜めＢ方向の相関値の算出方法を図示したものであり、図１２（ａ）は、Ｇ画素に関する相関算出方法、図１２（ｂ）および図１２（ｃ）は、Ｒ画素あるいはＢ画素に関する相関算出方法を図示したものである。

なお、数１９式および数２０式においても、数１３式において説明した場合と同様、Ｇ画素の差分値については、２を乗算するようにしている。なお、図１１（ｂ），（ｃ）および図１２（ｂ），（ｃ）おける場合の画素間距離と図９および図１０における場合の画素間距離も異なるが、ここでは、いずれも１つの画素を挟んだ距離として同じ距離として扱っている。ただし、これらの画素間の距離も考慮して係数を乗算するようにしてもよい。

（４−２）彩度の低いグレー画像用の相関値
彩度の低いグレー画像では注目画素がＲＧＢいずれの画素であるかを区別せずに相関値を算出する。つまり、マトリクス領域内の画素配列が図２（ｂ）〜図２（ｅ）のいずれであるかに関わらず、以下の共通の演算方法により相関値を算出する。垂直方向の相関値は、数２１式により算出される。また、図１３は、垂直方向の相関値の算出方法を図示したものである。

水平方向の相関値は、数２２式により算出される。また、図１４は、水平方向の相関値の算出方法を図示したものである。

斜めＡ方向の相関値は、数２３式により算出される。また、図１５は、斜めＡ方向の相関値の算出方法を図示したものである。

斜めＢ方向の相関値は、数２４式により算出される。また、図１６は、斜めＢ方向の相関値の算出方法を図示したものである。

なお、図１３および図１４における場合と図１５および図１６における場合とでは、差分値演算の対象となる画素間の距離が異なる。しかし、ここでは、数１５式で説明した場合のように、画素間の距離を考慮した係数を乗算するようにはしていない。これは、画素間の距離の差があまり大きくないためであるが、たとえば、数２１式および数２２式における画素差分値については、２の２乗根を乗算するようにしてもよい。

また、数２１式〜数２４式においては、前述したカラー画像用の相関値との比較を容易にするためにスケールを合わせるようにしている。つまり、図１３〜図１６で示された演算対象の画素間の距離は、隣接する画素間の距離である。したがって、数２１式〜数２４式においては、各画素差分値に２を乗算してスケールを合わせた結果、各式における最後の乗算値（１／６と１／５）が累積数の逆数の２倍の値となっている。ただし、グレー画像における相関方向は、グレー画像用の相関値のみを用いて判定されるため、必ずしもスケールを合わせる必要はない。

＜５．相関判定方法と画素補間方法の選択＞
選択回路３３は、彩度値算出回路３１が算出した彩度係数Ｋｃと閾値ＴＨ１，ＴＨ２との関係に基づいて相関判定方法と画素補間方法とを選択する。具体的には、相関判定方法の選択とは、グレー画像用の相関値を採用して相関判定を行うか、あるいは、カラー画像用の相関値を採用して相関判定を行うかの選択である。また、画素補間方法の選択とは、グレー画像用とカラー画像用のうちいずれの画素補間方法を採用するかの選択である。

図１７は、彩度係数Ｋｃと閾値ＴＨ１，ＴＨ２との関係により決定される相関判定方法および画素補間方法の種別を示している。具体的には、以下の（ａ）〜（ｃ）の組み合わせに分類される。
（ａ）Ｋｃ＞ＴＨ１の場合
カラー画像用の相関判定方法とカラー画像用の画素補間方法を選択する。
（ｂ）ＴＨ１≧Ｋｃ＞ＴＨ２の場合
グレー画像用の相関判定方法とカラー画像用の画素補間方法を選択する。
（ｃ）ＴＨ２≧Ｋｃの場合
グレー画像用の相関判定方法とグレー画像用の画素補間方法を選択する。

このように、本実施の形態においては、相関判定方法と画素補間方法との組み合わせは、彩度係数Ｋｃと閾値ＴＨ１，ＴＨ２との関係により３パターンに分類される。つまり、１つの閾値を設けて、グレー画像とカラー画像とを判定する方法ではなく、２つの閾値ＴＨ１とＴＨ２を設けることにより、グレー画像とカラー画像の境界領域を緩和するようにしているのである。これにより、特に、グレー画像とカラー画像の境界付近に位置する画像については、補間処理後の視覚的違和感を軽減することが可能となっている。

つまり、グレー画像とカラー画像の境界付近に位置する画像は、ＲＧＢの各成分の値が略等しいが、それらの値に多少のばらつきがある。したがって、相関を判定する場合には、ＲＧＢ各成分のばらつきが小さいことに着目して、ＲＧＢを区別することなく、なるべく近接する画素を用いて相関値を算出することにより、相関方向の判定精度を向上させることが可能であえる。これに対して、ＲＧＢ各成分のばらつきを無視し、グレー画像とみなして画素補間を行った場合、偽色が発生する可能性がある。そこで、画素補間についてはカラー画像用の画素補間処理を行うこととしているのである。

なお、この実施の形態においては、彩度評価値Ｃを正規化した彩度係数Ｋｃを用い、彩度係数Ｋｃと閾値ＴＨ１，ＴＨ２との比較によりグレー画像とカラー画像を判定するようにしたが、これは、処理上の便宜のためであり、本質的には、彩度評価値Ｃと２つの閾値との比較により、グレー画像とカラー画像を判定していることにほかならない。選択回路３３は、相関判定方法と画素補間方法とを選択すると、この選択情報を画素補間回路３４に供給する。

＜６．画素補間処理＞
次に、画素補間回路３４において実行される画素補間処理について説明する。画素補間回路３４は、選択回路３３より供給された選択情報に基づいて相関方向を決定するとともに、選択情報に基づいて画素補間処理を実行する。上述したように、彩度の高いカラー画像と彩度の低いグレー画像それぞれで異なった画素補間処理を行う。

（６−１）相関方向の決定
画素補間回路３４は、選択情報に基づいて、グレー画像用あるいはカラー画像用のいずれかの相関値演算結果を選択し、相関方向を決定する。つまり、選択回路３３において、上記（ｂ）あるいは（ｃ）のパターンが選択されている場合には、数２１式から数２４式を用いて求めたグレー画像用の相関値に基づいて相関方向を決定し、上記（ａ）のパターンが選択されている場合であって、注目画素がＧ画素の場合には、数１３式から数１６式を用いて求めたカラー画像用の相関値に基づいて相関方向を決定し、上記（ａ）のパターンが選択されている場合であって、注目画素がＢ画素あるいはＲ画素の場合には、数１７式から数２０式を用いて求めたカラー画像用の相関値に基づいて相関方向を決定する。

相関方向の決定方法は、数１３式から数１６式により算出した４つの相関値の大小を比較し、あるいは、数１７式から数２０式により算出した４つの相関値の大小を比較し、あるいは、数２１式から数２４式により算出した４つの相関値の大小を比較し、基本的には、最も相関値の小さい方向に相関が高いと判定する。つまり、画素差分値の累積値が小さいほど相関が高いと判断される。

また、画素差分値を評価する際には、閾値との比較を行うようにしてもよい。つまり、４つの方向について算出された相関値のうち、最も相関値の小さい方向は、相関が高い方向の候補とされるわけであるが、さらに、その相関値が所定の閾値より小さいか否かを評価し、所定の閾値より小さければ初めて相関が高い方向であると判断するのである。また、いずれの方向についても相関値が所定の閾値より小さく、いずれの方向にも相関が高いと判断される場合であって、かつ、それらの相関値の差異が小さい場合には平均値補間を行うようにしてもよい。また、いずれの方向の相関値も所定の閾値より大きく、いずれの方向にも相関が無いと判断された場合にはメディアン補間を使うようにしてもよい。

（６−２）画素補間処理
画素補間回路３４は、上述した処理により相関方向を決定すると、次に、選択情報に基づいてグレー画像用あるいはカラー画像用のいずれの画素補間処理を実行するかを選択する。つまり、選択回路３３において、上記（ｃ）のパターンが選択されている場合には、グレー画像用の画素補間処理を実行し、上記（ａ）あるいは（ｂ）のパターンが選択されている場合には、カラー画像用の画素補間処理を実行する。

（６−２−１）グレー画像用画素補間
選択回路３３において、上記（ｃ）のパターンが選択されている場合には、決定された相関方向について、グレー画像用の画素補間処理を実行する。グレー画像用の画素補間は注目画素がＲＧＢいずれの色成分の画素であるかを区別せずに、決定された相関方向に存在する画素を用いて画素補間処理を行う。つまり、注目画素がＲＧＢいずれの画素であるか、注目画素の周辺の画素がＲＧＢいずれの画素であるかという点は考慮せず、注目画素をその周辺の画素を用いて補間するのである。

具体的には、垂直方向の相関値が高いと判定されている場合には、数２５式に示す演算式により画素補間処理を実行する。

また、水平方向の相関値が高いと判定されている場合には、数２６式に示す演算式により画素補間処理を実行する。

また、斜めＡ方向の相関値が高いと判定されている場合には、数２７式に示す演算式により画素補間処理を実行する。

また、斜めＢ方向の相関値が高いと判定されている場合には、数２８式に示す演算式により画素補間処理を実行する。

なお、数２５式から数２８式においては、Ｐ₂₂の項に係数２が乗算されているが、これは、注目画素からの距離に応じた重み付けを行うためである。また、上述したように、いずれの方向にも相関が高く、かつ、それら相関値の差が小さい場合には、平均値補間値を行うようにしてもよい。また、いずれの方向にも相関がないと判断された場合には、メディアン補間を用いるようにしてもよい。

（６−２−２）カラー画像用画素補間
選択回路３３において、上記（ａ）あるいは（ｂ）のパターンが選択されている場合には、決定された相関方向について、カラー画像用の画素補間処理を実行する。カラー画像用の画素補間は、注目画素がＲＧＢいずれの色成分の画素であるかによって補間演算方法が異なる。つまり、決定された相関方向に存在する補間対象となる画素と同色の画素を用いて画素補間処理を行う。たとえば、注目画素がＧ画素である場合であって、垂直方向の相関が高いと判定されている場合には、垂直方向に存在するＲ画素及びＢ画素を用いて注目画素のそれぞれＲ色成分及びＢ色成分を補間する。また、注目画素がＧ画素である場合であって、水平方向の相関が高いと判定されている場合には、水平方向に存在するＢ画素及びＲ画素を用いて注目画素のそれぞれＢ色成分及びＲ色成分を補間する。

なお、補間したい方向のラインに補間対象となる色成分の画素が存在する場合には、当該ライン上に存在する同色画素の平均値を算出することやリニア補間を行うことで、画素補間処理を実行することができる。しかし、画素配列によっては、補間したい方向のラインに補間対象となる色成分の画素が存在しない場合がある。このような場合には、補間したい方向のラインに直角な方向の変化率（ラプラシアン）から補間対象となる画素の画素値を推測するなどの方法をとればよい。

このように、カラー画像用の画素補間処理とは、相関方向に存在する補間対象となる画素と同色の画素を用いて注目画素の補間を行うものである。あるいは、相関方向に補間対象となる画素と同色の画素が存在しない場合には、当該方向における同色画素の画素値として推測された値を用いて注目画素の補間を行うものである。たとえば、本願出願人によって出願されている特願２００４−１９９２３３号に記載されている方法などを利用することが可能である。

以上説明したように、本実施の形態における画像処理回路３Ａは、マトリクス領域の彩度評価値を求め、この彩度評価値に基づいて、当該領域における着目画素についての相関判定方法と画素補間方法とを決定する。そして、彩度評価値に基づいてグレー画像とカラー画像とを判定するために２つの閾値ＴＨ１，ＴＨ２を用いる。グレー画像とカラー画像の境界に位置する画像に対しては、相関判定方法にはグレー画像用を採用し、画素補間方法にはカラー画像用を採用することにより、偽色の軽減や解像感の改善を図ることができる。

なお、上記の実施の形態においては、まず、相関値算出回路３２において、グレー画像用とカラー画像用の両方の相関値が求められ、選択回路３３においていずれの相関値を採用するかが決定され、決定された一方の相関値を用いて相関方向を決定するようにした。別の実施例として、彩度値算出回路３１において求められた彩度評価値Ｃに基づいて、相関値算出回路３２が、グレー画像用あるいはカラー画像用のうちいずれかの相関方法を採用するかを先に決定し、一方の相関値を算出するようにしてもよい。つまり、図１７で表した閾値を用いた彩度評価値Ｃの分類のうち、閾値ＴＨ２を用いた分類を先に行うという方法である。

第２の実施の形態．
図１８は、本発明に係るデジタルカメラ１０の第２の実施の形態を示すブロック図である。第１の実施の形態と、画像処理回路３Ａが画像処理回路３Ｂに置換されて設けられた点で異なっている。

画像処理回路３Ｂは画像処理回路３Ａと同様に彩度値算出回路３１を備えているが選択回路３３を備えておらず、相関値算出回路３２に代えて相関値算出回路３２１，３２２を、画素補間回路３４に代えて画素補間回路３４１，３４２を、それぞれ備えている。また合成回路３５を更に備えている。

本実施の形態において相関値算出回路３２１，３２２は、それぞれカラー画像用の相関値と、グレー画像用の相関値を算出し、これに基づいて、相関方向を決定する。相関値の算出及び相関方向の決定は第１の実施の形態と同様にして行える。

また画素補間回路３４１，３４２は、それぞれカラー画像用の画素補間処理と、グレー画像用の画素補間処理を算出する。これらの画素補間処理も第１の実施の形態と同様にして行える。

相関値算出回路３２１及び画素補間回路３４１によって、カラー画像用の画素補間方法を用いて、注目画素のカラー画像用の画素補間処理が実行され、画素値Ｉｃが得られる。

相関値算出回路３２２及び画素補間回路３４２によって、グレー画像用の画素補間方法を用いて、注目画素のグレー画像用の画素補間処理が実行され、画素値Ｉｇが得られる。

合成回路３５は画素値Ｉｃ，Ｉｇを後述する按分比で加算する。この按分比には彩度値算出回路３１によって得られる彩度係数Ｋｃに依存して決定される重み係数ｋ，（１−ｋ）が用いられる。重み係数ｋと彩度係数Ｋｃとは正の相関関係があり、よって当該按分比は彩度評価値Ｃと正相関がある。

図１９は合成回路３５の構成を例示するブロック図である。合成回路３５においては、彩度係数Ｋｃは例えばＬＵＴ（look up table）を用いて重み係数ｋに変換される。また減算器によって重み係数ｋを１から差し引いて重み係数（１−ｋ）を求める。また乗算器によって、画素値Ｉｃと重み係数ｋとを乗算し、画素値Ｉｇと重み係数（１−ｋ）とを乗算する。そして加算器によって合成後の画素値Ｉｄ＝Ｉｃ・ｋ＋Ｉｇ・（１−ｋ）を求める。合成後の画素値Ｉｄを有する画素信号が、メモリ５に格納される。

上述のように彩度係数Ｋｃは彩度評価値Ｃを正規化した値であり、彩度評価値Ｃは高いほどカラー画像である可能性が高く、低いほどグレー画像である可能性が高い。それ故、カラー画像用の画素補間処理を実行して得られた画素値Ｉｃには彩度係数Ｋｃと正相関ある重み係数ｋを乗算し、グレー画像用の画素補間処理を実行して得られた画素値Ｉｇには重み係数（１−ｋ）を乗算する。

上述の按分比で加算することで、カラー画像やグレー画像として明確に判断できる画素に対する画素補間処理に対する更なる補間として、カラー画像とグレー画像との境界近傍の彩度を有する画素に対して画素補間処理を行うことができる。

図２０は重み係数ｋの彩度係数Ｋｃに対する関係を示すグラフである。彩度係数Ｋｃが所定の閾値Ｔｋ以上であるときは、重み係数ｋは一定値１を採る。彩度係数Ｋｃが所定の閾値Ｔｋ以下であるときには、重み係数ｋは彩度係数Ｋｃの値に応じて０〜１の値を採る。例えばグラフに三種類描かれたグラフの内のいずれか一つを採ることもできる。また重み係数ｋの最低値を正の値に採ることもできる。

第３の実施の形態．
図２１は、本発明に係るデジタルカメラ１０の第３の実施の形態を示すブロック図である。第１の実施の形態と、画像処理回路３Ａが画像処理回路３Ｃに置換されて設けられた点で異なっている。

画像処理回路３Ｃは画像処理回路３Ｂと同様に彩度値算出回路３１、画素補間回路３４１，３４２、合成回路３５を備えているが、相関値算出回路３２１，３２２の代わりに相関値算出回路３２３を備えている。

彩度値算出回路３１の動作は第１の実施の形態で説明され、画素補間回路３４１，３４２、合成回路３５の動作は第２の実施の形態で説明されたため、本実施の形態ではそれらの説明を省略する。

相関値算出回路３２３では、彩度評価値Ｋｃが閾値ＴＨ１よりも高い場合にはカラー画像用の、閾値以下の場合にはグレー画像用の、それぞれ相関判定方法が選択されて相関方向が決定される。

そして画素補間回路３４１，３４２のいずれもが、当該相関方向に関して画素補間を行う。但し、第２の実施の形態で説明したように、画素補間回路３４１はカラー画像用の画素補間方法を用いてカラー画素補間処理を行って画素値Ｉｃを得て、画素補間回路３４２はグレー画像用の画素補間方法を用いてグレー画素補間処理を行って画素値Ｉｇを得る。

合成回路３５は上述のように、彩度評価値Ｃと正相関がある按分比で画素値Ｉｃ，Ｉｇを加算する。そしてこのような按分比で加算することで、カラー画像とグレー画像との境界近傍の彩度を有する画素に対して画素補間処理を行うことができる。

第１の実施の形態では、グレー画像用の画素補間処理が施された画素と、カラー画像用の画素補間処理が施された画素とが隣接する場合がある。この場合には画像の解像度の改善が低くなる可能性がある。しかし第２の実施の形態と第３の実施の形態では、隣接する画素における画素補間処理の相違が、第１の実施の形態よりも緩和される可能性が高く、ひいては画像の解像度の改善をより効果的にできる。

また、上述の各実施の形態において、撮像素子１から出力される画素信号をＲＧＢベイヤ配列の画素信号としているが、本発明の画素補間方法は、補色系の色フィルタアレイを備えた撮像センサやハニカム配列を持った撮像センサから出力された画素信号など、様々な画素信号に適用可能である。

本発明にかかるデジタルカメラの第１の実施の形態を示すブロック図である。 ＲＧＢベイヤ配列の画素の配列パターンを示す図である。 彩度値と彩度係数との関係を示す図である。 ４つの相関方向を示す図である。 注目画素がＧ画素であるカラー領域における垂直方向の相関値算出方法を示す図である。 注目画素がＧ画素であるカラー領域における水平方向の相関値算出方法を示す図である。 注目画素がＧ画素であるカラー領域における斜めＡ方向の相関値算出方法を示す図である。 注目画素がＧ画素であるカラー領域における斜めＢ方向の相関値算出方法を示す図である。 注目画素がＲまたはＢ画素であるカラー領域における垂直方向の相関値算出方法を示す図である。 注目画素がＲまたはＢ画素であるカラー領域における水平方向の相関値算出方法を示す図である。 注目画素がＲまたはＢ画素であるカラー領域における斜めＡ方向の相関値算出方法を示す図である。 注目画素がＲまたはＢ画素であるカラー領域における斜めＢ方向の相関値算出方法を示す図である。 グレー領域における垂直方向の相関値算出方法を示す図である。 グレー領域における水平方向の相関値算出方法を示す図である。 グレー領域における斜めＡ方向の相関値算出方法を示す図である。 グレー領域における斜めＢ方向の相関値算出方法を示す図である。 グレー画像およびカラー画像の判定基準を示す図である。 本発明に係るデジタルカメラの第２の実施の形態を示すブロック図である。 カラー画像用の画素補間処理が実行された画素値と、グレー画像用の画素補間処理が実行された画素値との加算を例示するブロック図である。 画素値の加算に用いられる重み係数の、彩度係数に対する関係を示すグラフである。 本発明に係るデジタルカメラの第３の実施の形態を示すブロック図である。

符号の説明

３１ 彩度値算出回路
３２，３２１，３２２ 相関値算出回路
３３ 選択回路
３４，３４１，３４２ 画素補間回路
３５ 合成回路

Claims (10)

1. a)所定の色空間の画素信号を入力する工程と、
   b)注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、
   c)前記彩度評価値に基づいて相関判定方法と画素補間方法とを選択する工程と、
   d)選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、
   を備え、
   前記工程b)は、
   b-1)前記注目画素及び前記周辺画素を用いて、各色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、
   b-2)前記注目画素及び前記周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、
   b-3)前記第１色差成分評価値と前記第２色差成分評価値とを比較して、色差成分のレベルが小さい方を前記彩度評価値として選択する工程と、
   を備えることを特徴とする画素補間方法。
2. 請求項１に記載の画素補間方法において、
   前記工程c)は、
   c-1)前記彩度評価値と第１の閾値とを比較することにより、グレー画像用とカラー画像用の相関判定方法のうちいずれかを選択する工程と、
   c-2)前記彩度評価値と第２の閾値とを比較することにより、グレー画像用とカラー画像用の画素補間方法のうちいずれかを選択する工程と、
   を含むことを特徴とする画素補間方法。
3. a)所定の色空間の画素信号を入力する工程と、
   b)注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、
   c)前記彩度評価値に基づいて相関判定方法と画素補間方法とを選択する工程と、
   d)選択された画素補間方法を用いて、選択された相関判定方法により決定された相関方向に関して前記注目画素の画素補間処理を実行する工程と、
   を備え、
   前記工程c)では、
   所定の２つの閾値ＴＨ１,ＴＨ２（ただし、ＴＨ１＞ＴＨ２とする。）を用いて、前記彩度評価値が閾値ＴＨ２より小さい場合には、グレー画像用の相関判定方法とグレー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ２より大きく閾値ＴＨ１より小さい場合には、グレー画像用の相関判定方法とカラー画像用の画素補間方法とを選択し、前記彩度評価値が閾値ＴＨ１より大きい場合には、カラー画像用の相関判定方法とカラー画像用の画素補間方法とを選択することを特徴とする画素補間方法。
4. a)所定の色空間の画素信号を入力する工程と、
   b)注目画素及びその周辺画素で構成される領域の彩度評価値を算出する工程と、
   c)カラー画像用の画素補間方法を用いて、前記注目画素のカラー画像用の画素補間処理を実行する工程と、
   d)グレー画像用の画素補間方法を用いて、前記注目画素のグレー画像用の画素補間処理を実行する工程と、
   e)前記彩度評価値と正相関ある按分比で、前記カラー画像用の画素補間処理を実行した画素値と前記グレー画像用の画素補間処理を実行した画素値とを加算する工程と
   を備える画素補間方法。
5. 請求項４に記載の画素補間方法において、
   前記工程c)において、
   前記注目画素のカラー画像用の画素補間処理は、前記カラー画像用の画素補間方法を用いて、カラー画像用の相関判定方法により決定された相関方向に関して実行され、
   前記工程d)において、
   前記注目画素のグレー画像用の画素補間処理は、前記グレー画像用の画素補間方法を用いて、グレー画像用の相関判定方法により決定された相関方向に関して実行されることを特徴とする画素補間方法。
6. 請求項４に記載の画素補間方法において、
   前記彩度評価値が閾値よりも高い場合にはカラー画像用の、前記閾値よりも小さい場合にはグレー画像用の、それぞれ相関判定方法が選択され、
   前記工程c)において、
   前記注目画素のカラー画像用の画素補間処理は、前記カラー画像用の画素補間方法を用いて、選択された前記相関判定方法により決定された相関方向に関して実行され、
   前記工程d)において、
   前記注目画素のグレー画像用の画素補間処理は、前記グレー画像用の画素補間方法を用いて、選択された前記相関判定方法により決定された相関方向に関して実行されることを特徴とする画素補間方法。
7. 請求項４乃至請求項６のいずれか一つに記載の画素補間方法において、
   前記工程b)は、
   b-1)前記注目画素及び前記周辺画素を用いて、各色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、
   b-2)前記注目画素及び前記周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、
   b-3)前記第１色差成分評価値と前記第２色差成分評価値とを比較して、色差成分のレベルが小さい方を前記彩度評価値として選択する工程と、
   を備えることを特徴とする画素補間方法。
8. 請求項７に記載の画素補間方法において、
   前記工程b-2)は、
   b-2-1)前記注目画素の周辺画素を用いて、垂直方向に関して色差成分値を累積し、垂直色差成分評価値を算出する工程と、
   b-2-2)前記注目画素の周辺画素を用いて、水平方向に関して色差成分値を累積し、水平色差成分評価値を算出する工程と、
   を含み、
   前記工程b-3)は、
   b-3-1)前記第１色差成分評価値と前記垂直色差成分評価値と前記水平色差成分評価値とを比較して、最も色差成分のレベルが小さい評価値を彩度評価値として選択する工程、
   を含むことを特徴とする画素補間方法。
9. a)所定の色空間の画素信号を入力する工程と、
   b)注目画素及びその周辺画素を用いて、各色成分ごとの画素平均値に基づく色差成分値から第１色差成分評価値を算出する工程と、
   c)前記注目画素及び前記周辺画素を用いて、所定の方向に関する色差成分値を累積し、第２色差成分評価値を算出する工程と、
   d)前記第１色差成分評価値と前記第２色差成分評価値とを比較して、最も色差成分のレベルが小さい方を彩度評価値として選択する工程と、
   e)前記彩度評価値を用いて前記注目画素を含む領域がグレー画像であるかカラー画像であるかを判定する工程と、
   を備えることを特徴とする画像判定方法。
10. 請求項９に記載の画像判定方法において、
    前記工程c)は、
    c-1)前記注目画素及び前記周辺画素を用いて、垂直方向に関する色差成分値を累積し、垂直色差成分評価値を算出する工程と、
    c-2)前記注目画素及び前記周辺画素を用いて、水平方向に関する色差成分値を累積し、水平色差成分評価値を算出する工程と、
    を含み、
    前記工程d)は、
    前記第１色差成分評価値と前記垂直色差成分評価値と前記水平色差成分評価値とを比較して、最も色差成分のレベルが小さい方を前記彩度評価値として選択する工程、
    を含むことを特徴とする画像判定方法。

Images