JP4032579B2 - 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は単板式固体撮像素子の色補間方法に関し、それぞれの画素において適正な色補間を行うことで、特に画像のエッジ部分の改善を図るようにした単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
ディジタルカメラなど画像をディジタルデータとして取り出すことのできる画像入力装置には、ＣＣＤ（Charge Coupled Device）と呼ばれる固体撮像素子が用いられている。このＣＣＤは一般の家庭用機器では、単一のＣＣＤから３つの基本となる色を取り出す、いわゆる単板式方式が採用されている。
【０００３】
この単板式のＣＣＤは基本となる色（ここでは補色を用いて説明する）として、シアン（Ｃ）、イエロ（Ｙ）、マゼンタ（Ｍ）とそれにグリーン（Ｇ）を加えた４つの色を１セットとして、例えば図７に示すようにそれぞれの画素対応に２次元平面的な配列となっている場合が多い。すなわち、図７の例では、図中、太線で示す画素範囲ａ１に存在するシアン（Ｃ）、イエロ（Ｙ）、マゼンタ（Ｍ）、グリーン（Ｇ）の次元平面的な色配列が繰り返し配列された構成となっている。
【０００４】
この図７において、今、シアンＣ２２に対応する画素部分に注目して考えると、この画素（注目画素という）における色はシアンのみの色情報しか得られないことになる。したがって、この部分の色再現を行うには、近傍の色を用いた色補間を行う必要がある。一例としては、マゼンタはシアンＣ２２の直ぐ上にあるマゼンタＭ１２と直ぐ下にあるマゼンタＭ３２を用いて、両者の値を足して２で割るいわゆる単純平均によって求めた値を注目画素のマゼンタの値、つまり、マゼンタＭ２２とする。なお、ここでの説明では、Ｃ２２やＭ１２などの数値「２２」や「１２」は、図７において、それぞれの色成分の座標上の位置を示しているが、便宜的にれぞれの色成分の値（画素値）を示すものとする。これは、他の色においても同様であり、以下の説明でもこれを用いる。
【０００５】
同様に、イエロはシアンＣ２２の左隣にあるイエロＹ２１と右隣にあるイエロＹ２３を用いて、両者の値を足して２で割る単純平均によって得られた値を注目画素Ｃ２２のイエロの値、つまり、イエロＹ２２とする。
【０００６】
同様に、グリーンはシアンＣ２２の斜め左上にあるグリーンＧ１１と斜め右下にあるグリーンＧ３３、斜め右上にあるグリーンＧ１３と斜め左下にあるグリーンＧ３１を用いて、これらの値を足して４で割る単純平均によって得られた値を注目画素のグリーンの値、つまり、グリーンＧ２２とする。
【０００７】
このように、注目画素を中心とした３×３の画素範囲に存在するそれぞれの画素対応の色成分（この説明の例では、注目画素をシアン２２の位置に存在する画素としているので、太線で示す画素範囲ａ２に存在するそれぞれの色成分）を用いて注目画素の色補間を行うようにしている。
【０００８】
また、これとは別にたとえば、図７の点Ｐ１に存在する画素に注目すると、このＰ１の画素の色補間は、この画素を取り囲むように存在する４つの色成分、すなわち、シアンＣ０４、イエロＹ０５、マゼンタＭ１４、グリーンＧ１５を用いて色補間を行うようにしている。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来の方法では、特にエッジ部分の解像度が適正に得られない問題がある。たとえば、前者の方法では、ある画素に対し色補間を行う際、補間に用いる色成分の範囲が注目画素を中心とした３×３というような画素範囲であるため、エッジの位置によっては補間処理後のエッジ部分の解像度などに問題が多い。
【００１０】
これは、マゼンタを補間する場合、注目画素を中心に対称位置に存在する２つのマゼンタＭ１２，Ｍ３２の単純平均を求め、その値を注目画素値のマゼンタ成分としていることに原因の一つがあると考えられる。すなわち、エッジに位置によっては、マゼンタＭ１２の値とマゼンタＭ３２の値とに大きな差が生じていることもあり、大きく異なった２つのマゼンタの値から単純平均によって注目画素のマゼンタ成分を求めると、注目画素が実際に持っているマゼンタの色情報と大きく異なった値となる可能性もあり、適正な色補間が行えないことになる。
【００１１】
また、後者の場合、補間に用いる色範囲は２画素×２画素と狭いが、エッジの位置によっては、それぞれの色成分の値が極端に異なる場合もあり、前述同様、適正な色補間が行えずエッジ部分の解像度に問題が生じることが多い。
【００１２】
そこで本発明は、それぞれの画素において適正な色補間を行うことで、特に画像のエッジ部分の改善を図ることを目的としている。
【００１３】
【課題を解決するための手段】
上述の目的を達成するために、本発明の単板式固体撮像素子の色補間方法は、基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間方法であって、色補間を行うべき画素（注目画素という）を中心とし、少なくとも前記基本となる色の種類を全て含む２次元平面的なｍ×ｎ（ｍ、ｎは正の整数で、ｍは横方向の値、ｎは縦方向の値をとるものとする）の画素範囲を設定し、かつ、そのｍ×ｎの画素範囲を含み、前記注目画素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整数でｉ＞ｍ、ｊ＞ｎであり、ｉは横方向の値、ｊは縦方向の値をとるものとする）の画素範囲を設定し、前記ｍ×ｎの画素範囲内に存在する前記注目画素に対応する色成分以外の他の色成分を当該注目画素に対応する色成分として補間し、その補間処理は、前記注目画素に対応する色成分の色の変化を前記ｉ×ｊの範囲内において調べ、その結果に基づいた重み付け係数を算出して、その算出された重み付け係数による重み付けを前記補間すべき他の色成分に対し行って補間するようにしている。
【００１４】
また、本発明の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体は、基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間処理プログラムを記録した記録媒体であって、その色補間処理プログラムは、色補間を行うべき画素（注目画素という）を中心とし、少なくとも前記基本となる色の種類を全て含む２次元平面的なｍ×ｎ（ｍ、ｎは正の整数で、 ｍは横方向の値、ｎは縦方向の値をとるものとする）の画素範囲を設定し、かつ、そのｍ×ｎの画素範囲を含み、前記注目画素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整数でｉ＞ｍ、ｊ＞ｎであり、ｉは横方向の値、ｊは縦方向の値をとるものとする）の画素範囲を設定する手順と、前記ｍ×ｎの画素範囲内に存在する前記注目画素に対応する色成分以外の他の色成分を当該注目画素に対応する色成分として補間する手順とを含み、その補間処理は、前記注目画素に対応する色成分の色の変化を前記ｉ×ｊの範囲内において調べ、その結果に基づいた重み付け係数を算出して、その算出された重み付け係数による重み付けを前記補間すべき他の色成分に対し行って補間するようにしている。
【００１５】
これら各発明において、前記注目画素に対応する色成分の色の変化を前記ｉ×ｊの範囲内において調べ、その結果に基づいた重み付け係数を算出して、その算出された重み付け係数による重み付けを前記補間すべき他の色成分に対し行って補間する処理は、前記注目画素を通る線上に当該注目画素を中心として対称位置にそれぞれ存在する当該注目画素と同じ色成分と、当該注目画素の色成分との差をそれぞれとり、両者の差の大きさの比に基づいた重み付け係数を算出し、その算出された重み付け係数による重み付けを前記注目画素を通る線上でかつ当該注目画素に隣接して存在する画素の色成分に対して行う処理である。
【００１６】
また、前記重み係数は、前記ｉ×ｊの範囲内における前記注目画素に対応する色成分の色の変化だけではなく、前記注目画素に隣接する画素に対応する色成分の変化を前記ｉ×ｊの範囲内において調べ、その結果をも用いて決定するようにしている。また、前記ｍ，ｎはｍ＝ｎ＝３としている。
【００１７】
また、本発明の単板式固体撮像素子の色補間方法は、基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間方法であって、色補間を行うべき画素（注目画素という）を中心とし、少なくとも前記基本となる色の種類を全て含む２次元平面的なｍ×ｎ（ｍ、ｎは正の整数で、ｍは横方向の値、ｎは縦方向の値をとるものとする）の画素範囲を設定し、かつ、そのｍ×ｎの画素範囲を含み、前記注目画素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整数でｉ＞ｍ、ｊ＞ｎであり、ｉは横方向の値、ｊは縦方向の値をとるものとする）の画素範囲を設定し、前記ｍ×ｎの画素範囲内に存在する前記注目画素に対応する色成分以外の他の色成分を当該注目画素に対応する色成分として補間し、その補間処理は、前記ｉ×ｊの範囲内の色成分を用いて、前記ｍ×ｎの範囲の各画素対応の輝度を求め、そのｍ×ｎの範囲内における前記注目画素の輝度とその注目すべき画素以外の他のそれぞれの画素の輝度の変化を調べ、その結果に基づいた重み付け係数を算出してその重み付け係数による重み付けを前記補間すべき他の色成分に対し行って補間するようにしている。
【００１８】
また、本発明の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体は、基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間処理プログラムを記録した記録媒体であって、その色補間処理プログラムは、色補間を行うべき画素（注目画素という）を中心とし、少なくとも前記基本となる色の種類を全て含むｍ×ｎ（ｍ、ｎは正の整数で、ｍ×ｎを２次元平面的配列として考えたとき、ｍは横方向の値、ｎは縦方向の値をとるものとする）の画素範囲を設定し、かつ、そのｍ×ｎの画素範囲を含み、前記注目画素を中心としたｉ×ｊ（ｉ，ｊは正の整数でｉ＞ｍ、ｊ＞ｎであり、ｉ×ｊを２次元平面的配列として考えたとき、ｉは横方向の値、ｊは縦方向の値をとるものとする）の画素範囲を設定する手順と、前記ｍ×ｎの画素範囲内に存在する前記注目画素に対応する色成分以外の他の色成分を当該注目画素に対応する色成分として補間する手順とを含み、その補間処理は、前記ｉ×ｊの範囲内の色成分を用いて、前記ｍ×ｎの範囲の各画素対応の輝度を求め、そのｍ×ｎの範囲内における前記注目画素の輝度とその注目すべき画素以外の他のそれぞれの画素の輝度の変化を調べ、その結果に基づいた重み付け係数を算出してその重み付け係数による重み付けを他の色成分に対し行って補間するようにしている。
【００１９】
これら各発明において、前記ｍ×ｎの範囲の各画素対応の輝度の求め方は、前記ｍ×ｎの各画素においてそれぞれの画素に対しそれぞれの画素を中心とする３×３の画素範囲を設定し、その３×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該３×３の画素範囲の中心に位置する画素の輝度を求めるようにしている。
【００２０】
また、前記ｍ×ｎの範囲内における前記注目画素の輝度とその注目すべき画素以外の他のそれぞれの画素の輝度の変化を調べ、その結果に基づいた重み付け係数を算出してその重み付け係数による重み付けを前記他の画素の輝度に対し行って補間する処理は、前記注目画素を通る線上に当該注目画素を中心として対称位置にそれぞれ存在する当該注目画素のそれぞれの輝度と、当該注目画素の輝度との差をそれぞれとり、両者の差の大きさの比に基づいた重み付け係数を算出し、その算出された重み付け係数による重み付けを前記注目画素を通る線上でかつ当該注目画素に隣接して存在する画素の色成分に対して行う処理としている。
【００２１】
また、前記ｍ，ｎはｍ＝ｎ＝３としている。そして、ｍ×ｎの画素範囲の各画素対応の輝度を求める際、 ｍ，ｎがｍ＝ｎ＝３とした場合、３×３の画素範囲の中心に存在する注目画素については、当該注目画素を中心とした３×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該注目画素の輝度を求め、注目画素の斜め左上、斜め右上、斜め左下、斜め右下に隣接するそれぞれの画素については、その画素を含むそれぞれ２×２の画素範囲に存在するそれぞれの画素の色成分を用いて当該画素の輝度を求め、注目画素の上と下に隣接するそれぞれの画素については、その画素を含むそれぞれ３×２の画素範囲に存在するそれぞれの画素の色成分を用いて当該画素の輝度を求め、注目画素の左と右に隣接するそれぞれの画素については、その画素を含むそれぞれ２×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該画素の輝度を求めるようにしている。
【００２２】
また、これらの発明において、基本色は、補色系のシアン、マゼンタ、イエロとこれにグリーンを加えた４つの色を２×２の２次元的な平面配列として、これを１セットとしてこの１セットが２次元平面的に繰り返し配列されたものであっても、また、原色系の赤、青、緑の３つの色でなり緑は２つ用いて２×２の２次元的な平面配列として、これを１セットとしてこの１セットが２次元平面的に繰り返し配列されてなるものでもよい。
【００２３】
このように本発明は、ある画素を注目画素とし、その注目画素の色補間を行う際、当該注目画素を中心にｍ×ｎ（たとえば、３×３）の画素範囲を設定し、その画素範囲内の画素における色成分を用いて注目画素の色補間を行うが、そのとき、そのｍ×ｎの範囲を含む注目画素を中心としたｉ×ｊ（たとえば、５×５）の画素範囲を設定し、注目画素に対応する色成分の色の変化をそのｉ×ｊの範囲内において調べ、その結果に基づいた重み付け係数を算出して、その算出された重み付け係数による重みづけを前記補間すべき他の色成分に対し行って補間するようにしている。
【００２４】
このように、所定範囲内において注目画素の色の変化に基づいて算出された重み付け係数によって補間すべき他の色に対し重み付けして色補間しているので、特に、画像のエッジ部分において解像度に優れた色補間を行うことができる。
【００２５】
さらに、前記重み付け係数は、前記ｉ×ｊの範囲内における前記注目画素に対応する色成分の色の変化だけではなく、前記注目画素に隣接する画素に対応する色成分の変化を前記ｉ×ｊの範囲内において調べ、その結果をも用いて決定することも可能である。これにより、ある１つの注目画素の処理が終了し、処理が隣の画素に移ってその新たな注目画素に対し色補間を行う際に、同じような重み付け処理による色補間処理を行った場合でも、隣接する画素間における色むらを小さく抑えることができる。
【００２６】
また、前記ｍ×ｎの画素範囲の各画素対応の輝度を求め、そのｍ×ｎの範囲内における前記注目画素の輝度とその注目すべき画素以外の他のそれぞれの画素の輝度の変化を調べ、その変化に基づいた重み付け係数を算出してその重み付け係数による重み付けを補間すべき他の色成分に対し行う発明にあっては、それぞれの画素ごとの輝度を予め求めておくことができ、それによって、注目画素ごとにすでに求められている輝度を用いて簡単に色補間を行うことができるので、処理が簡略化され処理時間の短縮が図れる。
【００２７】
なお、ｍ×ｎの範囲の各画素対応の輝度の求め方は、前記ｍ×ｎの各画素においてそれぞれの画素に対しそれぞれの画素を中心とする３×３の画素範囲を設定し、その３×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該３×３の画素範囲の中心に位置する画素の輝度を求めることが可能で、このようにどの画素についても３×３の画素範囲を設定することにより処理を単純化することができる。
【００２８】
また、前記ｍ×ｎの範囲の各画素対応の輝度を求める際、ｍ×ｎを３×３とした場合、ｍ×ｎの中心に存在する注目画素については、当該注目画素を中心とした３×３の範囲内の画素の色成分を用いて輝度を求め、注目画素の斜め左上、斜め右上、斜め左下、斜め右下に隣接するそれぞれの画素については、それぞれ２×２の範囲の画素の色成分を用いて当該画素の輝度を求め、注目画素の上と下に隣接するそれぞれの画素については、それぞれ３×２の範囲の画素の色成分を用いて当該画素の輝度を求め、注目画素の左と右に隣接するそれぞれの画素については、それぞれ２×３の範囲の画素の色成分を用いて当該画素の輝度を求めるようにしている。
【００２９】
このように、より狭い範囲から求められた輝度を重み付けを求めるためのパラメータとして用いるようにしているので、その重み付け係数により補間された画像はより鮮明なものとなり、特にエッジ部分における鮮明度に優れたものとなる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、この実施の形態で説明する内容は、本発明の単板式固体撮像素子の色補間方法についての説明であるとともに、本発明の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体における色補間処理プログラムの具体的な処理内容をも含むものである。
【００３１】
図１は本発明の実施の形態を説明する図であり、ＣＣＤにおける色成分の配列を示すもので、従来技術の項の説明に用いた図７と同じものであるとする。
【００３２】
この場合も前述したように、注目画素に対応する色成分の近傍の色成分を用いて色補間を行うが、基本的には、前述したように、注目画素の色成分を中心とした３画素×３画素に対応するそれぞれの色成分を用いて補間する方法を用いる。本発明では、補間を行うそれぞれの色に重み付けを行って補間することに特徴がある。以下、これについて説明する。
【００３３】
今、注目画素に対応する色成分がシアンＣ２２であるとする。この実施の形態では、注目画素を中心とし、少なくとも基本色の種類を全て含む３×３の２次元平面的な画素範囲を設定し、かつ、その３×３の画素範囲を含み、前記注目画素を中心とした５×５の画素範囲を設定する。そして、３×３の画素範囲内に存在する注目画素に対応する色成分以外の他の色成分を当該注目画素に対応する色成分として補間する。このとき、前記注目画素に対応する色成分の色の変化を前記５×５の画素範囲内において調べ、その結果に基づいた重み係数を算出して、その算出された重み係数による重み付けを前記補間すべき他の色成分に対し行って補間する。以下、具体的に説明する。
【００３４】
この場合、注目画素に対応する色成分はシアンＣ２２としているので、注目画素に対応する色成分であるシアンＣ２２を中心に図１の太線で示す３×３の画素範囲ａ２を設定し、かつ、シアンＣ２２を中心に図１の太線で示す５×５の画素範囲ａ３を設定する。これを取り出して示すものが図２である。
【００３５】
そして、この場合、注目画素に対してはマゼンタ、イエロ、グリーンの色成分を補間することになる。マゼンタは図２に示すように、シアンＣ２２の上にあるマゼンタＭ１２とシアンＣ２２の下にあるマゼンタＭ３２を用いて行うが、マゼンタＭ１２とマゼンタＭ３２に重み付けを行う。この重み付けは次のようにして行う。
【００３６】
まず、重み付けを行うための係数（これを重み付け係数といい、マゼンタにおける重み付け係数をαで表す）を求める。
【００３７】
この重み付け係数は、注目画素を通る線上に当該注目画素を中心として対称位置にそれぞれ存在する当該注目画素と同じ色成分と、当該注目画素の色成分との差をそれぞれとり、両者の差の大きさの比に基づいて算出する。
【００３８】
まず、マゼンタＭ１２とマゼンタＭ３２に重み付けを行うための重み付け係数αを求める処理について説明する。この重み付け係数αは、この場合、シアンＣ２２を中心にして、マゼンタＭ１２、マゼンタＭ３２を結ぶ画素ラインＬ０２上に存在するシアンＣ０２とシアンＣ４２の値（画素値）を用いて決定する。そして、求められた重み付け係数によってマゼンタＭ１２、マゼンタＭ３２に重み付けを行い注目画素におけるマゼンタＭ２２を求める。このマゼンタＭ２２を求める式を、
Ｍ２２＝α・Ｍ１２＋（１−α）Ｍ３２ （１）
とする。この（１）式において、従来技術の項で説明した単純平均によってマゼンタＭ２２を求める場合には、α=0.5とすればよい。本発明では、このαを重みづけ係数として、上述したように、マゼンタＭ２２を求める場合には、シアンＣ２２を中心にして、マゼンタＭ１２、マゼンタＭ３２を結ぶ画素ラインＬ０２上に存在するシアンＣ０２とシアンＣ４２の値（画素値）を用いて決定する。すなわち、補間しようとする色成分（この場合、マゼンタＭ１２，Ｍ３２）の存在する画素ラインＬ０２上において注目画素に対応する色成分（シアンＣ２２）がどのように変化しているかを調べ、その変化の度合いから重み付け係数αを求めて、補間しようとする色成分（この場合、マゼンタＭ１２，Ｍ３２）に重み付けを行う。
【００３９】
この重み付け係数αは、シアンＣ２２の位置に存在する画素（注目画素）の画素値とシアンＣ０２の位置に存在する画素の画素値の差、および、シアンＣ２２の位置に存在する画素（注目画素）の画素値とシアンＣ４２の位置に存在する画素の画素値の差をそれぞれ求め、それぞれの差の大きさの比に基づいて求められる。すなわち、重み付け係数αは
α＝｜C42−C22｜／（｜C02−C22｜＋｜C42−C22｜） （２）
で求められる。このようにして求められたαを前述の（１）式に代入することにより注目画素におけるマゼンタ成分としてのマゼンタＭ２２が求められる。
【００４０】
たとえば、 Ｃ４２−Ｃ２２＝７、Ｃ０２−Ｃ２２＝３であったとすれば、（２）式により、α=0.7と求められ、このαを（１）式に代入すれば、
Ｍ２２＝0.7×Ｍ１２＋0.3×Ｍ３２
となり、マゼンタＭ１２の方がマゼンタＭ３２よりも大きい値の重み付けがなされ、求めようとするマゼンタＭ２２は、マゼンタＭ１２の値の影響を大きく受けた値となる。
【００４１】
つまり、 Ｃ４２−Ｃ２２＝７、Ｃ０２−Ｃ２２＝３ということは、注目画素に対応するシアン成分（シアンＣ２２）に対し、シアンＣ４２の方がシアンＣ０２よりも差が大きいということであり、このことは、シアンＣ４２の方がシアンＣ２２に対し相関が少ないことを示している。したがって、この場合は、シアンＣ４２側に位置するマゼンタＭ３２の値を、シアンＣ０２側に位置するマゼンタＭ１２よりも小さくした方がより適正な色補間が行えることになる。
【００４２】
以上はマゼンタＭ２２を求める場合について説明したが、イエロＹ２２やグリーンＧ２２も同様にして求める。
【００４３】
イエロＹ２２の場合は、図２に示されるように、シアンＣ２２の左隣りにあるイエロＹ２１と右隣りにあるイエロＹ２３を用いて補間を行うが、この場合もイエロＹ２１とイエロＹ２３に重み付けを行う。この重み付けは次のようにして行う。ここでは、シアンＣ２２を中心にして、イエロＹ２１、イエロＹ２３を結ぶ画素ラインＬ２０上に存在するシアンＣ２０とシアンＣ２４の値（画素値）を用いて決定する。ここで、イエロＹ２２を求める式を、
Ｙ２２＝β・Ｙ２１＋（１−β）・Ｙ２３ （３）
とする。この（３）式において、従来技術の項で説明した単純平均によってイエロＹ２２を求める場合には、β=0.5とすればよい。本発明では、このβを重み付け係数として、上述したように、イエロＹ２２を求める場合には、シアンＣ２２を中心にして、イエロＹ２１、イエロＹ２３を結ぶ画素ラインＬ２０上に存在するシアンＣ２０とシアンＣ２４の値（画素値）を用いて決定する。すなわち、補間しようとする色成分（この場合、イエロＹ２１、イエロＹ２３）の存在する画素ラインＬ２０上において注目画素に対応する色成分（シアンＣ２２）がどのように変化しているかを調べ、その変化の度合いから重み付け係数を求めて、補間しようとする色成分（この場合、イエロＹ２１、イエロＹ２３）に重み付けを行う。
【００４４】
この重み付け係数βは、シアンＣ２２の位置に存在する画素（注目画素）の画素値とシアンＣ２０の位置に存在する画素の画素値の差、および、シアンＣ２２の位置に存在する画素（注目画素）の画素値とシアンＣ２４の位置に存在する画素の画素値の差をそれぞれ求め、それぞれの差の大きさの比に基づいて求める。すなわち、重みづけ係数βは、
β＝｜C24−C22｜／（｜C20−C22｜＋｜C24−C22｜） （４）
で求められる。このようにして求められたβを前述の（３）式に代入することにより注目画素におけるイエロ成分としてのイエロＹ２２が求められる。
【００４５】
なお、グリーンＧ２２は、図２に示されるように、シアンＣ２２の斜め左上にあるグリーンＧ１１と斜め右下にあるグリーンＧ３３、シアンＣ２２の斜め右上にあるグリーンＧ１３と斜め左下にあるグリーンＧ３１を用いて補間を行うが、この場合もそれぞれのグリーンＧ１１，Ｇ３３およびＧ１３，Ｇ３１にそれぞれ重み付けを行う。
【００４６】
この重み付けは次のようにして行う。ここでは、シアンＣ２２を中心にして、グリーンＧ１１、グリーンＧ３３を結ぶ画素ラインＬ００上に存在するシアンＣ００とシアンＣ４４の値（画素値）、シアンＣ２２を中心にして、グリーンＧ１３、グリーンＧ３１を結ぶ画素ラインＬ４０上に存在するシアンＣ０４とシアンＣ４０の値（画素値）を用いて決定する。ここで、グリーンＧ２２を求める式を、
Ｇ２２＝γ０・Ｇ１１＋γ１・Ｇ１３＋γ２・Ｇ３１＋γ３・Ｇ３３ （５）
とする。この（５）式において、従来技術の項で説明した単純平均によってイエロＹ２２を求める場合には、γ０＝γ１＝γ２＝γ３＝0.25とすればよい。
【００４７】
本発明では、このγ０，γ１，γ２，γ３を重み付け係数として用い、これら重み付け係数γ０，γ１，γ２，γ３は以下のようにして決定される。
【００４８】
まず、Ｃ００とＣ２２の差（Ｄ０とする）、 Ｃ０４とＣ２２の差（Ｄ１とする）、 Ｃ４０とＣ２２の差（Ｄ２とする）、 Ｃ４４とＣ２２の差（Ｄ３とする）を求め、これらの合計（ＤＴ＝Ｄ０＋Ｄ１＋Ｄ２＋Ｄ３）を計算する。そして、その合計値ＤＴに対し、Ｓ０＝ＤＴ／Ｄ０、 Ｓ１＝ＤＴ／Ｄ１、 Ｓ２＝ＤＴ／Ｄ２、 Ｓ３＝ＤＴ／Ｄ３を計算し、このＳ０，Ｓ１，Ｓ２，Ｓ３を用いて重み係数γ０，γ１，γ２，γ３を求める。すなわち、γ０，γ１，γ２，γ３は
γ０＝Ｓ０／（ Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）
γ１＝Ｓ１／（ Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）
γ２＝Ｓ２／（ Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３）
γ３＝Ｓ３／（ Ｓ０＋Ｓ１＋Ｓ２＋Ｓ３） （６）
によって求められる。このようにして求められたγ０，γ１，γ２，γ３を前述の（５）式に代入することによって、注目画素におけるグリーン成分としてのグリーンＧ２２が求められる。
【００４９】
以上のようにして、もともとシアンＣ２２の色成分しかなかった画素部分（注目画素）に対しマゼンタＭ２２、イエロＹ２２、グリーンＧ２２が決定されることにより、その部分の色補間が行える。このように、この第１の実施の形態では、注目画素に対し補間すべき色の値を求める場合、３×３の画素範囲に存在する補間すべき色成分に重み付けして色補間するようにしている。この重み付けは、注目画素に対応する色成分と同じ色成分の変化を、注目画素を中心とする５×５の画素範囲において調べ、その変化の度合いに基づいて決定するようにしている。これにより、単純平均を求めて補間する従来の方法に比べると、特に、エッジ付近において解像感のある輪郭を再現できる。
【００５０】
また、これまでの説明では注目画素をシアンＣ２２の部分に存在する画素とした例であったが、どの画素ついて注目した場合でも適用できる。たとえば、注目画素をイエロＹ２３に存在する画素とした場合には、そのイエロＹ２３を中心とした３×３の画素範囲と、イエロＹ２３を中心とした５×５の画素範囲を設定し、前述したような重み付けを行った色補間を行えばよい。
【００５１】
（第２の実施の形態）
この第２の実施の形態は、前述した第１の実施の形態の変形例であり、より一層、高性能化を図ったものである。基本的な補間の方法は第１の実施の形態と同じである。この第２の実施の形態では、注目画素に対応する色成分の変化とともに、注目画素に隣接する画素に対応する色成分の変化をも調べ、両者の変化に基づいて重み付け係数を求めて、その重み付け係数によって重み付けを行う。
【００５２】
前述の第１の実施の形態と同様に、注目画素に対応する色成分をシアンＣ２２とし、この注目画素の色補間を行うものとする。たとえば、マゼンタＭ２２を求めようとするとき、マゼンタＭ２２は、前述の（１）式で求められるとする。
【００５３】
そして、前述の第１の実施の形態と同じようにして重み係数αを求めるが、この場合、図３に示すように、シアンＣ２２を中心として、マゼンタＭ１２とマゼンタＭ３２を結ぶ画素ラインＬ０２における重み係数（これをα０２で表す）と、それに隣接する画素ラインＬ０１，Ｌ０３における重み係数（これらをα０１，α０３であらわす）を求める。ここで、画素ラインＬ０２における重み係数α０２は、前述した（２）式と同じ考え方で求めることができる。
【００５４】
また、画素ラインＬ０１における重み係数α０１はイエロＹ２１とイエロＹ０１の差、イエロＹ２１とイエロＹ４１の差の比に基づいて求められる。すなわち、
α０１＝｜Y41−Y21｜／（｜Y01−Y21｜＋｜Y41−Y21｜） （７）
で求められる。また、画素ラインＬ０３における重み係数α０３は、イエロＹ２３とイエロＹ０３の差、イエロＹ２３とイエロＹ４３の差の比に基づいて求められる。すなわち、
α03＝｜Y43−Y23｜／（｜Y03−Y23｜＋｜Y43−Y23｜） （８）
で求められる。
【００５５】
そして、このようにして求められた重み係数α０１、α０２、α０３に対してもそれぞれ重みを設定し、ここでは、α０２を全体の１／２とし、α０１とα０２をそれぞれ１／４とする。したがって、全体の重み係数αは
α＝（１／２）・α02＋（１／４）・α01＋（１／４）・α03 （９）
となり、これを（１）式に代入して、注目画素におけるマゼンタ成分としてのマゼンタＭ２２を求めるようにする。
【００５６】
イエロについても同様にして求める。イエロＹ２２は前述の第１の実施の形態と同じようにして重み係数βを求めるが、この場合、図３に示すように、シアンＣ２２を中心としてイエロＹ２１とイエロＹ２３を結ぶ画素ラインＬ２０おける重み係数（これをβ２０で表す）と、それに隣接する画素ラインＬ１０，Ｌ３０の重み係数（これらをβ１０，β３０であらわす）を求める。ここで、画素ラインＬ２０における重み係数β２０は、前述した（４）式と同じ考え方で求めることができる。
【００５７】
また、画素ラインＬ１０における重み係数β１０はマゼンタＭ１２とマゼンタＭ１４の差、マゼンタＭ１２とマゼンタＭ１０の差の比に基づいて求められる。すなわち、
β10＝｜M14−M12｜／（｜M10−M12｜＋｜M14−M12｜） （１０）
で求められる。また、画素ラインＬ３０における重み係数β３０は、マゼンタＭ３２とマゼンタＭ３０の差、マゼンタＭ３２とマゼンタＭ３４の差の比に基づいて求められる。すなわち、
β30＝｜M34−M32｜／（｜M30−M32｜＋｜M34−M32｜） （１１）
で求められる。
【００５８】
そして、このようにして求められた重み係数β１０、β２０、β３０に対してもそれぞれ重みを設定し、ここでは、β２０を全体の１／２とし、β１０とβ３０をそれぞれ１／４とする。したがって、全体の重み係数βは
β＝（１／２）・β20＋（１／４）・β10＋（１／４）・β30 （１２）
となり、これを（３）式に代入して注目画素におけるイエロ成分としてのイエロＹ２２を求めるようにする。
【００５９】
また、グリーンＧ２２を求めるには、ここでは、以下のように簡略化した方法で求める。
【００６０】
この場合、処理対象範囲において画像のエッジがどのように存在しているかによって処理が異なる。まず、画像のエッジラインが縦方向（たとえば、図３においてラインＬ０１やＬ０２などと同じ方向）に存在する場合は、図４（ａ）に示すような手順でグリーンＧ２２を求める。まず、グリーンＧ１１とグリーンＧ３１からグリーンＧ２１を求める。これは、Ｇ２１＝（Ｇ１１＋Ｇ３１）／２で求める。同様に、グリーンＧ１３とグリーンＧ３３からグリーンＧ２３を求める。これは、Ｇ２３＝（Ｇ１３＋Ｇ３３）／２で求める。このようにして、グリーンＧ２１とＧ２３が求められると、これらグリーンＧ２１とＧ２３からグリーンＧ２２を求める。グリーンＧ２２は、
Ｇ２２＝β・Ｇ２１＋（１−β）・Ｇ２３ （１３）
で求められ、ここでの重み付け係数βは先ほどイエロＹ２２を求める際に得られたβ（(12)式参照）を用いることができる。
【００６１】
また、画像のエッジが横方向（たとえば、図３においてラインＬ１０やＬ２０などと同じ方向）に存在する場合は、図４（ｂ）に示すような手順でグリーンＧ２２を求める。まず、グリーンＧ１１とグリーンＧ１３からグリーンＧ１２を求める。これは、Ｇ１２＝（Ｇ１１＋Ｇ１３）／２で求める。同様に、グリーンＧ３１とグリーンＧ３３からグリーンＧ３２を求める。これは、Ｇ３２＝（Ｇ３１＋Ｇ３３）／２で求める。このようにして、グリーンＧ１２とＧ３２が求められると、これらグリーンＧ１２とＧ３２からグリーンＧ２２を求める。グリーンＧ２２は、
Ｇ２２＝α・Ｇ１２＋（１−α）・Ｇ３２ （１４）
で求められ、ここでの重み付け係数αは先ほどマゼンタＭ２２を求める際に得られたα（(9)式参照）を用いることができる。なお、このような斜め方向に存在する色成分を色補間するための簡略化した方法は前述の第１の実施の形態においても適用できる。
【００６２】
以上説明したようにこの第２の実施の形態では、注目画素に対応する色成分の色の変化だけではなく、それに隣接する他の色の変化の大きさをもパラメータとして用いて重み付け係数を求め、その重み付け係数によって補間すべき色の値を決めるようにしている。
【００６３】
たとえば、マゼンタＭ２２の値を決める場合を例に取れば、図３からもわかるように、シアンＣ２２に対するシアンＣ０２とシアンＣ４２の変化のみならず、その左隣りに存在するイエロＹ２１に対するイエロＹ０１とイエロＹ４１の変化、および、その右隣りに存在するイエロＹ２３に対するイエロＹ０３とイエロＹ４３の変化をも考慮して重み付け係数を求め、これによってマゼンタＭ１２とＭ３２に重み付けを行うようにしている。これは、マゼンタだけではなく他の色の補間を行う場合も同様であり、このように異なった色の変化をも見ることにより、補間処理後の画像を色むらの少ないきれいな画像とすることができる。
【００６４】
補間処理後に色むらの生じる原因の１つとしては、重み係数を求める際、これまで説明した色の変化を調べるために使用する色の種類によって、変化の仕方が一様でなく中には大きく異なることがあるためと考えられる。
【００６５】
たとえば、図２においてシアンＣ２２の画素における補間処理が終了し、次の注目画素としてその右隣りのイエロＹ２３の画素の補間処理を行う場合を考える。この場合、補間すべき色成分として、グリーンＧ２３、マゼンタＭ２３、シアンＣ２３を求めることになる。
【００６６】
今、グリーンＧ２３の値を決めようとするとき、イエロＹ２３に対するイエロＹ０３とイエロＹ３３の値の変化をパラメータとして重み付け係数を求め、求められた重み付け係数を用いてグリーンＧ１３とグリーンＧ３３に重み付けを行ってグリーンＧ２３を求めることになる。このとき、シアンＣ２２に対するシアンＣ０２とＣ４２の変化の度合いと、イエロＹ２３に対するイエロＹ０３およびＹ４３の変化の度合いが大きく異なると、求められる重みづけ係数が大きく変わってくる可能性がある。このように重み付けの値が隣接する画素間で違いすぎると、補間後の色の状況が大きく異なって、色むらとなって現れることになる。
【００６７】
この第２の実施の形態では、注目画素の色の変化のみならず、両隣りの色の変化をもパラメータとして用いて重み係数を求めるようにしているので、このような色むらを防ぐことができ輝度変化が滑らかな画像を得ることができる。
【００６８】
（第３の実施の形態）
この第３の実施の形態は、処理対象範囲以内のそれぞれの画素ごとに輝度を求め、その輝度の変化をパラメータとして重み付け係数を求めるものである。この第３の実施の形態では、３画素×３画素の範囲に存在する各画素ごとの輝度を、その３画素×３画素の範囲を含めた５画素×５画素の範囲から求める。まず、それそれの画素ごとの輝度を求める方法について説明する。
【００６９】
ここでは図５（ａ）の３×３の画素範囲ａ２内のそれぞれの画素に対応する色成分から図５（ｂ）のような各画素ごとの輝度を求める。なお、ある画素の輝度Ｚは、その色成分がシアンＣ、マゼンタＭ、イエロＹ、グリーンＧとすれば、
Ｚ＝（Ｃ＋Ｍ＋Ｙ＋Ｇ）／４ （１５）
で求められるものとする。
【００７０】
グリーンＧ１１の位置に存在する画素の輝度Ｚ１１を求める処理について説明する。まず、そのグリーンＧ１１における画素の色補間を行って、シアンＣ１１、マゼンタＭ１１、イエロＹ１１を求める。この色補間は前述した従来技術の項で説明した単純な色補間方法を用いることによって、シアンＣ１１、マゼンタＭ１１、イエロＹ１１を求める。つまり、グリーンＧ１１を中心とする３×３の画素範囲を設定し、近傍の色成分を用いて色補間を行う。
【００７１】
すなわち、この場合、シアンＣ１１はＣ１１＝（Ｃ００＋Ｃ０２＋Ｃ２０＋Ｃ２２）／４で求められ、マゼンタＭ１１はＭ１１＝（Ｍ１０＋Ｍ１２）／２で求められ、イエロＹ１１はＹ１１＝（Ｙ０１＋Ｙ２１）／２で求められる。このようにして、グリーンＧ１１における色補間がなされると、それぞれの色成分（グリーンＧ１１、イエロＹ１１、マゼンタＭ１１、シアンＣ１１）を用いて、前記（１５）式により、その画素における輝度（Ｚ１１で表す）を求める。つまり、輝度Ｚ１１は
Ｚ１１＝（Ｃ１１＋Ｍ１１＋Ｙ１１＋Ｇ１１）／４ （１６）
で求められる。
【００７２】
同様にして、３×３の画素範囲ａ２内におけるそれぞれの画素の色補間を行い、それぞれの画素において輝度を求める。このようにして、図５（ａ）の３×３の画素範囲ａ２におけるそれぞれの画素の輝度Ｚ１１，Ｚ１２，Ｚ１３，Ｚ２１，Ｚ２２，Ｚ２３， Ｚ３１，Ｚ３２，Ｚ３３が求められる。図５（ｂ）はこれらそれぞれの輝度の配列を示すものである。
【００７３】
以上のようにして、３×３の画素範囲ａ２のそれぞれの画素における輝度が求めれられると、今度は、その輝度情報を用いて重み付け係数を求める。マゼンタの色成分における重み付け係数αは、この場合
α＝｜Z32−Z22｜／（｜Z12−Z22｜＋｜Z32−Z22｜） （１７）
で求められる。その重み付け係数αを（１）式に代入することによって、注目画素（シアンＣ２２部分の画素）におけるマゼンタの色成分としてのマゼンタＭ２２が求められる。 イエロやグリーンについても、輝度をパラメータとして求められた重み付け係数を用いるとともに、前述の第１の実施の形態の考え方を適用することによって、注目画素におけるイエロの色成分としてのイエロＹ２２と、グリーンの色成分としてのグリーンＧ２２を求めることができる。
【００７４】
この第３の実施の形態による方法は、それぞれの画素における仮の輝度を予め求めておくことができ、それぞれの画素ごとの輝度情報があれば、注目画素が次々と移っても、すでに求められている輝度を用いて上述した処理を行うことができるので、処理が簡略化される。
【００７５】
（第４の実施の形態）
上述の第３の実施の形態の変形例について説明する。基本的な考え方は第３の実施の形態と同じであるが、注目画素以外の画素に対応する輝度の求め方を変えている。
【００７６】
図５（ｂ）で示した３×３の画素範囲ａ２における輝度の配列を示す図において、それぞれの画素の輝度を求める際、注目画素（ここでは、シアンＣ２２の位置に存在する画素）の輝度は注目画素を中心とした３×３の画素範囲ａ２に存在する色成分を用いて輝度Ｚ２２を求めるが、３×３の画素範囲の４隅にある画素の輝度（この場合、Ｚ１１，Ｚ１３，Ｚ３１，Ｚ３３）については、その画素を含めた２×２の画素範囲の画素の色成分を用いて求め、注目画素の上の画素の輝度（Ｚ１２）と下の画素の輝度（Ｚ３２）については、その画素を含めた３×２の画素範囲の画素を用いて求め、注目画素の左側の画素の輝度（Ｚ２１）と右側の画素の輝度（Ｚ２３）については、その画素を含めた２×３の画素範囲の画素を用いて求める。
【００７７】
すなわち、輝度Ｚ１１は図６（ａ）に示すように、太線で示す２×２の画素範囲ａ１１内における色成分Ｃ００、Ｙ０１，Ｍ１０，Ｇ１１を用いて求め、輝度Ｚ１３は太線で示す２×２の画素範囲ａ１２内における色成分Ｙ０３、Ｃ０４，Ｇ１３，Ｍ１４を用いて求め、輝度Ｚ３１は、太線で示す２×２の画素範囲ａ１３内における色成分Ｍ３０、Ｇ３１，Ｃ４０，Ｙ４１を用いて求め、輝度Ｚ３３は、太線で示す２×２の画素範囲ａ１４内における色成分Ｇ３３、Ｍ３４，Ｙ４３，Ｃ４４を用いて求める。
【００７８】
また、輝度Ｚ１２は図６（ｂ）に示すように、太線で示す３×２の画素範囲ａ２１内における色成分Ｙ０１、Ｃ０２，Ｙ０３，Ｇ１１，Ｍ１２，Ｇ１３を用いて求め、輝度Ｚ３２は、太線で示す３×２の画素範囲ａ２２内における色成分Ｇ３１、Ｍ３２，Ｇ３３，Ｍ４１，Ｃ４２，Ｙ４３を用いて求める。
【００７９】
また、輝度Ｚ２１はは図６（ｃ）に示すように、太線で示す２×３の画素範囲ａ３１内における色成分Ｍ１０、Ｇ１１，Ｃ２０，Ｙ２１，Ｍ３０，Ｇ３１を用いて求め、輝度Ｚ２３は、太線で示す３×２の画素範囲ａ３２内における色成分Ｇ１３、Ｍ１４，Ｙ２３，Ｃ２４，Ｇ３３，Ｍ３４を用いて求める。
【００８０】
この方法を第３の実施の形態の方法と比べると、第３の実施の形態は、３×３の画素範囲内の画素における輝度を求める場合、それぞれの画素を中心とした３×３の画素範囲を設定し、その３×３の画素範囲内にある画素の色成分を用いて求めていた。これに対して、この第４の実施の形態では、注目画素（この場合はシアンＣ２２部分に存在する画素）以外の画素の輝度は、２×２または３×２（２×３）の狭い画素範囲から求めるようにしている。このように狭い画素範囲から輝度を求めるようにしているので、画像がより鮮明になり、特にエッジ部分をより鮮明なものとすることができる。
【００８１】
ところで、本発明を実施する上で、注目する画素から見て斜め方向に存在する画素に対する色の補間を行う処理が少し面倒であるが、これを簡略化する方法として、次のような方法を採用することも可能である。
【００８２】
これまでの説明では、斜め４方向の画素の値を全て用いて重み付けを行っていた。すなわち、図２において、注目画素の色成分であるシアンＣ２２を中心として３×３の画素範囲ａ２を考えたとき、その画素範囲の４隅にはグリーンＧ１１，Ｇ３３，Ｇ１３，Ｇ３１が存在し、これらの重み付け係数を求める場合、たとえば、第１の実施の形態では、シアンＣ２２と５×５の画素範囲の４隅のシアンＣ００，Ｃ４４，Ｃ０４，Ｃ４０との差に基づいて４つの重み付け係数γ０，γ１，γ２，γ３を求めた。
【００８３】
しかし、そのような求め方ではなく、シアンＣ２２とシアンＣ００との差、シアンＣ２２とシアンＣ４４との差から重み付け係数γ１１を求め、同様に、シアンＣ２２とシアンＣ０４との差、シアンＣ２２とシアンＣ４０との差から重み付け係数γ１２を求め、これらγ１１、γ１２のうち、値が0.5に近い方（滑らかに変化している方）を用いるようにしてもよい。これによれば２つの重み付け係数を計算するだけでよいので、計算量を少なくすることができ、効率の良い処理が可能となる。
【００８４】
なお、本発明は以上説明した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の各実施の形態では、ある注目画素に対しての処理を行うに必要な画素範囲を、当該注目画素を中心に３×３の画素範囲を設定し、その３×３の画素範囲を含む５×５の画素範囲を設定して行っていたが、これは、５×５の画素範囲に限られるものではなく、たとえば、７×７、５×７というように任意に設定することができるものである。ただし、注目する画素を中心とした範囲を設定できるように、奇数×奇数の画素範囲とすることが望ましく、また、あまり広い範囲の設定は好ましくない。
【００８５】
また、これまでの説明は、基本となる色として、シアン、マゼンタ、イエロ、グリーンというように、補色系の色にグリーンを用いた例で説明したが、これは、赤、グリーン、青の原色系であっても同様に実施することができる。この場合、基本となる色のセットは、赤（Ｒ）、青（Ｂ）を１つずつと、グリーン（Ｇ）を２つの４つで２×２の２次元平面配列とし、それを１セットして繰り返し配列した構成のＣＣＤであってもよい。あとの処理はこれまでの説明した考え方を用いて行うことができる。
【００８６】
また、以上説明した本発明の処理を行う色補間処理プログラムは、フロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくことができ、本発明はその記録媒体をも含むものである。また、ネットワークから処理プログラムを得るようにしてもよい。
【００８７】
【発明の効果】
このように本発明は、ある画素を注目画素とし、その注目画素の色補間を行う際、当該注目画素を中心にｍ×ｎ（たとえば、３×３）の画素範囲を設定し、その画素範囲内の画素における色成分を用いて注目画素の色補間を行うが、そのとき、そのｍ×ｎの範囲を含む注目画素を中心としたｉ×ｊ（たとえば、５×５）の画素範囲を設定し、注目画素に対応する色成分の色の変化をそのｉ×ｊの範囲内において調べ、その結果に基づいた重み付け係数を算出して、その算出された重み付け係数による重みづけを前記補間すべき他の色成分に対し行って補間するようにしている。
【００８８】
このように、所定範囲内において注目画素の色の変化に基づいて算出された重み付け係数によって補間すべき他の色に対し重み付けして色補間しているので、特に、画像のエッジ部分において解像度に優れた色補間を行うことができる。
【００８９】
さらに、前記重み付け係数は、前記ｉ×ｊの範囲内における前記注目画素に対応する色成分の色の変化だけではなく、前記注目画素に隣接する画素に対応する色成分の変化を前記ｉ×ｊの範囲内において調べ、その結果をも用いて決定することも可能である。これにより、ある１つの注目画素の処理が終了し、処理が隣の画素に移ってその新たな注目画素に対し色補間を行う際に、同じような重み付け処理による色補間処理を行った場合でも、隣接する画素間における色むらを小さく抑えることができる。
【００９０】
また、前記ｍ×ｎの画素範囲の各画素対応の輝度を求め、そのｍ×ｎの範囲内における前記注目画素の輝度とその注目すべき画素以外の他のそれぞれの画素の輝度の変化を調べ、その変化に基づいた重み付け係数を算出してその重み付け係数による重み付けを補間すべき他の色成分に対し行う発明にあっては、それぞれの画素ごとの輝度を予め求めておくことができ、それによって、注目画素ごとにすでに求められている輝度を用いて簡単に色補間を行うことができるので、処理が簡略化され処理時間の短縮が図れる。
【００９１】
また、前記ｍ×ｎの範囲の各画素対応の輝度を求める際、ｍ×ｎを３×３とした場合、ｍ×ｎの中心に存在する注目画素については、当該注目画素を中心とした３×３の範囲内の画素の色成分を用いて輝度を求め、注目画素の斜め左上、斜め右上、斜め左下、斜め右下に隣接するそれぞれの画素については、それぞれ２×２の範囲の画素の色成分を用いて当該画素の輝度を求め、注目画素の上と下に隣接するそれぞれの画素については、それぞれ３×２の範囲の画素の色成分を用いて当該画素の輝度を求め、注目画素の左と右に隣接するそれぞれの画素については、それぞれ２×３の範囲の画素の色成分を用いて当該画素の輝度を求めるようにしている。
【００９２】
このように、より狭い範囲から求めた輝度を重み付けを求めるためのパラメータとして用いるようにしているので、その重み付け係数により補間された画像はより鮮明なものとなり、特にエッジ部分における鮮明度に優れたものとなる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明するための単板式固体撮像素子の色成分の配列を示す図である。
【図２】図１においてある注目画素の処理に必要な５×５の画素範囲を取り出して示す図である。
【図３】本発明の第２の実施の形態を説明する図であり、図２と同様にある注目画素の処理に必要な５×５の画素範囲を取り出して示す図である。
【図４】注目画素に対し斜め方向にある画素の色成分の重み係数を簡略化した方法で求める例を説明する図である。
【図５】本発明の第３の実施の形態を説明する図であり、それぞれの画素の輝度の変化をパラメータとして重み係数を求める方法を説明する図である。
【図６】本発明の第４の実施の形態を説明する図であり、それぞれの画素の輝度を求めるために必要な画素範囲を画素の位置に応じて設定する例を示す図である。
【図７】従来の色補間を説明するために一般的な単板式固体撮像素子の色成分配列を示す図である。
【符号の説明】
ａ１ 基本となる色の１セットを示す画素範囲
ａ２ ３×３の画素範囲
ａ３ ５×５の画素範囲
Ｌ０１，Ｌ０２，Ｌ０３ 縦方向の画素ライン
Ｌ１０，Ｌ２０，Ｌ３０ 横方向の画素ライン
Ｌ００，Ｌ４０ 斜め方向の画素ライン

Claims (16)

1. 基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間方法であって、
   色補間を行うべき画素（注目画素という）を中心とし、少なくとも前記基本となる色の種類を全て含む２次元平面的な３×３の画素範囲を設定し、かつ、その３×３の画素範囲を含み、前記注目画素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整数でｉ＞３、ｊ＞３であり、ｉは横方向の値、ｊは縦方向の値をとるものとする）の画素範囲を設定し、前記３×３の画素範囲内に存在する前記注目画素の色成分以外の画素色成分に基づいて、当該注目画素の色成分以外の色成分を補間し、前記補間処理は、前記注目画素の色成分の色の変化を前記ｉ×ｊの範囲内において調べ、その結果に基づいた重み付け係数を算出して、その算出された重み付け係数による重み付けを前記補間すべき他の色成分に対し行って補間し、
   前記基本色は、補色系のシアン、マゼンタ、イエロとこれにグリーンを加えた４つの色を２×２の２次元的な平面配列として、これを１セットとしてこの１セットが２次元平面的に繰り返し配列されてなることを特徴とする単板式固体撮像素子の色補間方法。
2. 前記注目画素に対応する色成分の色の変化を前記ｉ×ｊの範囲内において調べ、その結果に基づいた重み付け係数を算出して、その算出された重み付け係数による重み付けを前記補間すべき他の色成分に対し行って補間する処理は、
   前記注目画素を通る線上に当該注目画素を中心として対称位置にそれぞれ存在する当該注目画素と同じ色成分と、当該注目画素の色成分との差をそれぞれとり、両者の差の大きさの比に基づいた重み付け係数を算出し、その算出された重み付け係数による重み付けを前記注目画素を通る線上でかつ当該注目画素に隣接して存在する画素の色成分に対して行う処理であることを特徴とする請求項１記載の単板式固体撮像素子の色補間方法。
3. 前記重み係数は、前記ｉ×ｊの範囲内における前記注目画素に対応する色成分の色の変化だけではなく、前記注目画素に隣接する画素に対応する色成分の変化を前記ｉ×ｊの範囲内において調べ、その結果をも用いて決定することを特徴とする請求項１または２記載の単板式固体撮像素子の色補間方法。
4. 基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間処理プログラムを記録した記録媒体であって、その色補間処理プログラムは、 色補間を行うべき画素（注目画素という）を中心とし、少なくとも前記基本となる色の種類を全て含む２次元平面的な３×３の画素範囲を設定し、かつ、その３×３の画素範囲を含み、前記注目画素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整数でｉ＞３、ｊ＞３であり、ｉは横方向の値、ｊは縦方向の値をとるものとする）の画素範囲を設定する手順と、
   前記３×３の画素範囲内に存在する前記注目画素の色成分以外の画素の色成分に基づいて当該注目画素の色成分以外の色成分を補間する手順とを含み、
   前記補間手順は、前記注目画素の色成分の色の変化を前記ｉ×ｊの範囲内において調べ、その結果に基づいた重み付け係数を算出して、その算出された重み付け係数による重み付けを前記補間すべき他の色成分に対し行って補間し、
   前記基本色は、補色系のシアン、マゼンタ、イエロとこれにグリーンを加えた４つの色を２×２の２次元的な平面配列として、これを１セットとしてこの１セットが２次元平面的に繰り返し配列されてなることを特徴とする単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
5. 前記注目画素に対応する色成分の色の変化を前記ｉ×ｊの範囲内において調べ、その結果に基づいた重み付け係数を算出して、その算出された重み付け係数による重み付けを前記補間すべき他の色成分に対し行って補間する処理は、
   前記注目画素を通る線上に当該注目画素を中心として対称位置にそれぞれ存在する当該注目画素と同じ色成分と、当該注目画素の色成分との差をそれぞれとり、両者の差の大きさの比に基づいた重み付け係数を算出し、その算出された重み付け係数による重み付けを前記注目画素を通る線上でかつ当該注目画素に隣接して存在する画素の色成分に対して行う処理であることを特徴とする請求項４記載の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
6. 前記重み係数は、前記ｉ×ｊの範囲内における前記注目画素に対応する色成分の色の変化だけではなく、前記注目画素に隣接する画素に対応する色成分の変化を前記ｉ×ｊの範囲内において調べ、その結果をも用いて決定することを特徴とする請求項４または５記載の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
7. 基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間方法であって、
   色補間を行うべき画素（注目画素という）を中心とし、少なくとも前記基本となる色の種類を全て含む２次元平面的な３×３の画素範囲を設定し、かつ、その３×３の画素範囲を含み、前記注目画素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整数でｉ＞３、ｊ＞３であり、ｉは横方向の値、ｊは縦方向の値をとるものとする）の画素範囲を設定し、前記３×３の画素範囲内に存在する前記注目画素の色成分以外の画素の色成分に基づいて当該注目画素の色成分以外の色成分を補間し、前記補間処理は、前記ｉ×ｊの範囲内の色成分を用いて、前記３×３の範囲の各画素対応の輝度を求め、その３×３の範囲内における前記注目画素の輝度とその注目すべき画素以外の他のそれぞれの画素の輝度の変化を調べ、その結果に基づいた重み付け係数を算出してその重み付け係数による重み付けを前記補間すべき他の色成分に対し行って補間し、
   前記３×３の画素範囲の中心に存在する注目画素については、当該注目画素を中心とした３×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該注目画素の輝度を求め、
   注目画素の斜め左上、斜め右上、斜め左下、斜め右下に隣接するそれぞれの画素については、その画素を含むそれぞれ２×２の画素範囲に存在するそれぞれの画素の色成分を用いて当該画素の輝度を求め、
   注目画素の上と下に隣接するそれぞれの画素については、その画素を含むそれぞれ３×２の画素範囲に存在するそれぞれの画素の色成分を用いて当該画素の輝度を求め、
   注目画素の左と右に隣接するそれぞれの画素については、その画素を含むそれぞれ２×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該画素の輝度を求める、
   ことを特徴とする単板式固体撮像素子の色補間方法。
8. 前記３×３の範囲の各画素対応の輝度の求め方は、前記３×３の各画素においてそれぞれの画素に対しそれぞれの画素を中心とする３×３の画素範囲を設定し、その３×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該３×３の画素範囲の中心に位置する画素の輝度を求めることを特徴とする請求項７記載の単板式固体撮像素子の色補間方法。
9. 前記３×３の範囲内における前記注目画素の輝度とその注目すべき画素以外の他のそれぞれの画素の輝度の変化を調べ、その結果に基づいた重み付け係数を算出してその重み付け係数による重み付けを前記他の画素の輝度に対し行って補間する処理は、
   前記注目画素を通る線上に当該注目画素を中心として対称位置にそれぞれ存在する当該注目画素のそれぞれの輝度と、当該注目画素の輝度との差をそれぞれとり、両者の差の大きさの比に基づいた重み付け係数を算出し、その算出された重み付け係数による重み付けを前記注目画素を通る線上でかつ当該注目画素に隣接して存在する画素の色成分に対して行う処理であることを特徴とする請求項７または８記載の単板式固体撮像素子の色補間方法。
10. 前記基本色は、補色系のシアン、マゼンタ、イエロとこれにグリーンを加えた４つの色を２×２の２次元的な平面配列として、これを１セットとしてこの１セットが２次元平面的に繰り返し配列されてなることを特徴とする請求項７から９のいずれかに記載の単板式固体撮像素子の色補間方法。
11. 前記基本色は、原色系の赤、青、緑の３つの色でなり緑は２つ用いて２×２の２次元的な平面配列として、これを１セットとしてこの１セットが２次元平面的に繰り返し配列されてなることを特徴とする請求項７から９のいずれかに記載の単板式固体撮像素子の色補間方法。
12. 基本となる色成分を構成する個々の色成分が、一定の繰り返しで個々の画素対応に２次元平面的に配列されてなる単板式固体撮像素子の色補間処理プログラムを記録した記録媒体であって、その色補間処理プログラムは、
    色補間を行うべき画素（注目画素という）を中心とし、少なくとも前記基本となる色の種類を全て含む２次元平面的な３×３の画素範囲を設定し、かつ、その３×３の画素範囲を含み、前記注目画素を中心とした２次元平面的なｉ×ｊ（ｉ，ｊは正の整数でｉ＞３、ｊ＞３であり、ｉは横方向の値、ｊは縦方向の値をとるものとする）の画素範囲を設定する手順と、
    前記３×３の画素範囲内に存在する前記注目画素の色成分以外の画素の色成分に基づいて当該注目画素の色成分以外の色成分を補間する手順とを含み、
    前記補間手順は、前記ｉ×ｊの範囲内の色成分を用いて、前記３×３の範囲の各画素対応の輝度を求め、その３×３の範囲内における前記注目画素の輝度とその注目すべき画素以外のそれぞれの画素の輝度の変化を調べ、その結果に基づいた重み付け係数を算出してその重み付け係数による重み付けを他の色成分に対し行って補間し、
    前記３×３の画素範囲の中心に存在する注目画素については、当該注目画素を中心とした３×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該注目画素の輝度を求め、
    注目画素の斜め左上、斜め右上、斜め左下、斜め右下に隣接するそれぞれの画素については、その画素を含むそれぞれ２×２の画素範囲に存在するそれぞれの画素の色成分を用いて当該画素の輝度を求め、
    注目画素の上と下に隣接するそれぞれの画素については、その画素を含むそれぞれ３×２の画素範囲に存在するそれぞれの画素の色成分を用いて当該画素の輝度を求め、
    注目画素の左と右に隣接するそれぞれの画素については、その画素を含むそれぞれ２×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該画素の輝度を求める、
    ことを特徴とする単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
13. 前記３×３の範囲の各画素対応の輝度の求め方は、前記３×３の各画素においてそれぞれの画素に対しそれぞれの画素を中心とする３×３の画素範囲を設定し、その３×３の画素範囲に存在するそれぞれの画素の色成分を用いて当該３×３の画素範囲の中心に位置する画素の輝度を求めることを特徴とする請求項１２記載の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
14. 前記３×３の範囲内における前記注目画素の輝度とその注目すべき画素以外の他のそれぞれの画素の輝度の変化を調べ、その結果に基づいた重み付け係数を算出してその重み付け係数による重み付けを前記他の画素の輝度に対し行って補間する処理は、
    前記注目画素を通る線上に当該注目画素を中心として対称位置にそれぞれ存在する当該注目画素のそれぞれの輝度と、当該注目画素の輝度との差をそれぞれとり、両者の差の大きさの比に基づいた重み付け係数を算出し、その算出された重み付け係数による重み付けを前記注目画素を通る線上でかつ当該注目画素に隣接して存在する画素の色成分に対して行う処理であることを特徴とする請求項１２または１３記載の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
15. 前記基本色は、補色系のシアン、マゼンタ、イエロとこれにグリーンを加えた４つの色を２×２の２次元的な平面配列として、これを１セットとしてこの１セットが２次元平面的に繰り返し配列されてなることを特徴とする請求項１２から１４のいずれかに記載の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。
16. 前記基本色は、原色系の赤、青、緑の３つの色でなり緑は２つ用いて２×２の２次元的な平面配列として、これを１セットとしてこの１セットが２次元平面的に繰り返し配列されてなることを特徴とする請求項１２から１４のいずれかに記載の単板式固体撮像素子の色補間処理プログラムを記録した記録媒体。

Images