JP3946913B2 - 信号生成方法および装置並びに記録媒体 - Google Patents
信号生成方法および装置並びに記録媒体 Download PDFInfo
- Publication number
- JP3946913B2 JP3946913B2 JP25529899A JP25529899A JP3946913B2 JP 3946913 B2 JP3946913 B2 JP 3946913B2 JP 25529899 A JP25529899 A JP 25529899A JP 25529899 A JP25529899 A JP 25529899A JP 3946913 B2 JP3946913 B2 JP 3946913B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- pixel position
- frequency color
- hue
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した、いわゆる単板ＣＣＤ等の撮像デバイスにおいて得られたカラー撮像信号に基づいて、光電変換素子に対応する各画素位置における高周波の色情報を表す高周波色信号を生成する信号生成方法および装置並びに信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
デジタルカメラに用いられるＣＣＤ等の撮像デバイスとしては、分光感度が異なる複数種類の光電変換素子を同一平面上に交互に配置して構成されているものが知られている（以下単板ＣＣＤと称する）。ここで、Ｒ，Ｇ，Ｂのそれぞれに分光感度を有する光電変換素子、すなわちＲ，Ｇ，Ｂの各チャンネルの光電変換素子を交互に配置した単板ＣＣＤの場合、連続したＲ，Ｇ，Ｂチャンネルの３個の光電変換素子の組が１つの画素を構成することとなる。しかしながら、このような単板ＣＣＤにおいては各画素のＲ，Ｇ，Ｂ値を同一画素位置において得ることができないため、色ずれや偽色が生じることがある。また、各チャンネルの光電変換素子数は単板ＣＣＤを構成する全素子数よりも少ないため、高解像度の画像を得ることができない。例えばＲ，Ｇ，Ｂ各チャンネルの光電変換素子を交互に配置した単板ＣＣＤにおいては、各チャンネルの光電変換素子数は全素子数の１／３しかないため、同一素子数のモノクロ撮像装置に比べて解像度が１／３となってしまう。このため、Ｒ，Ｇ，Ｂ各チャンネルの光電変換素子が存在しない部分における信号値を補間処理により求める方法が提案されているが、単に補間処理を行うのみでは、信号値が大きく変化する部分において色ずれが発生することがある。この場合、平滑化処理を行うことにより色ずれの発生を防止することができるが、平滑化処理を行うと解像度が悪化するという問題がある。
【０００３】
ここで、人間の視覚特性は色よりも輝度に対して感度が高いものである。このため、単板ＣＣＤにおいて得られたカラー撮像信号から、各画素の輝度を表す高周波の輝度信号と、上述した補間処理および平滑化処理による低周波の色信号とを生成し、輝度信号および色信号を用いてカラー画像信号を再構成するようにした方法が提案されている（特開平１０−２００９０６号、同９−６５０７５号等）。この方法によれば、人間の視覚特性において感度が高い輝度成分に対してより多くの情報が与えられることとなるため、見かけ上解像度が高い画像を再現可能なカラー画像信号を得ることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特開平１０−２００９０６号等に記載された方法においては、単板ＣＣＤにおいて得られた撮像信号から生成された低周波の色信号により輝度信号を推測しているため、この方法において得られる高周波の輝度信号は、画像に含まれるエッジ付近においてぼけたものとなり、その結果画像の解像度が低下してしまうという問題がある。
【０００５】
また、上記特開平９−６５０７５号に記載された方法においては、各画素位置における高周波の輝度信号を、各画素位置およびその周囲の画素位置における信号値から補間演算により求めるものであるため、上記特開平１０−２００９０６号に記載された方法と比較して、それほど解像度は低下しないものである。しかしながら、単板ＣＣＤにおいて得られた撮像信号は各画素位置において全ての色信号（例えばＲＧＢ）が存在するものではないため、色エッジの境界付近においてすじ状のアーチファクトが生じたり、エッジ付近において粒状のアーチファクトが発生してしまうという問題がある。
【０００６】
すなわち、ある画素位置が本来有する色相がある場合、その色相と補色関係にある、あるいは補色に近い信号値を用いて補間演算を行って、その画素位置の信号値を求めると、アーチファクトが発生しやすくなる。例えば、色相がＲである場合にＧの信号値を用いて補間演算を行ってその画素位置の信号値を求めると、元々Ｇの信号値はノイズと見なせるほど小さいものが、補間演算により信号値が増幅されてエッジ境界において粒状のアーチファクトが発生してしまう。
【０００７】
本発明は上記事情に鑑みなされたものであり、単板ＣＣＤ等の撮像デバイスにおいて得られた撮像信号に対して、エッジ付近におけるアーチファクトを発生させることなく高周波の信号を得ることができる信号生成方法および装置並びに信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明による信号生成方法は、異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成し、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成し、
該低周波色差信号に基づいて、前記各画素位置における色相彩度情報を生成し、
該色相彩度情報に基づいて、前記補間演算を行う画素位置を選択し、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成することを特徴とするものである。
【０００９】
ここで、「異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイス」とは、上述した単板ＣＣＤのような撮像素子のことをいうものである。なお、各光電変換素子は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のみならず、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、さらにはＣＭＹにＧ（緑）を加えたＣＭＹＧに分光感度を有するものであってもよく、これらの光電変換素子の配列は特定のものに限定されない。
【００１０】
また、「高周波の色情報を含む」とは、低周波から高周波までの全ての周波数帯域における色情報を含むということである。
【００１１】
また、「低周波の色情報を表す低周波色信号」とは、例えば線形補間演算やスプライン補間演算により、低周波色信号を求める画素位置およびその周囲の画素位置の信号値に基づいて得られるその画素位置における低周波の色信号のことをいう。このため、低周波色信号により得られる画像の解像度は全光電変換素子により得られる画像の解像度よりも小さくなり、その結果、低周波色信号は低周波の色情報を表すものとなる。
【００１２】
さらに、「色相彩度情報」とは各画素位置における色相および／または彩度の変化の大きさ、色相および／または彩度の値そのものを表す情報のことをいう。
【００１３】
また、「色相彩度情報に基づいて、補間演算を行う画素位置を選択する」とは、高周波色信号においてエッジ付近にアーチファクトが発生しないように、高周波色信号を算出する画素位置およびその周辺の画素位置から補間演算を行うために使用する画素位置を選択することをいう。具体的には、色相や彩度の変化方向に応じた画素位置や、色相や彩度の値そのものに応じた画素位置が選択される。
【００１４】
なお、本発明による信号生成方法においては、前記色相彩度情報は、前記各画素位置における色相および／または彩度の値であることが好ましく、さらに、前記各画素位置における色相および／または彩度の変化量であることが好ましい。
【００１５】
本発明による信号生成装置は、異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成装置であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成装置において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する低周波色信号生成手段と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する低周波色差信号生成手段と、
該低周波色差信号に基づいて、前記各画素位置における色相彩度情報を生成する色相彩度情報生成手段と、
該色相彩度情報に基づいて、前記補間演算を行う画素位置を選択する選択手段と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する高周波色信号生成手段とを備えたことを特徴とするものである。
【００１６】
なお、本発明による信号生成装置においては、前記色相彩度情報生成手段は、前記色相彩度情報を、前記各画素位置における色相および／または彩度の値として生成する手段であることが好ましく、さらには、前記色相彩度情報を、前記各画素位置における色相および／または彩度の変化量として生成する手段であることが好ましい。
【００１７】
なお、本発明による信号生成方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００１８】
【発明の効果】
本発明によれば、単板ＣＣＤのような撮像デバイスにおいて得られたカラー撮像信号から各画素位置における低周波の色信号が生成され、この低周波色信号に基づいて低周波色差信号が生成され、さらにこの低周波色差信号から各画素位置における色相彩度情報、すなわち各画素位置における色相、彩度の変化の大きさ、色相、彩度の値が生成される。そして、この色相彩度情報に基づいて、補間演算を行うために使用する画素位置が選択され、この選択された画素位置の信号値に基づいて補間演算が行われて高周波色信号が生成される。このように、本発明によれば、色相彩度情報に基づいて高周波色信号を生成するようにしたため、例えばある画素位置において高周波色信号を生成する際に、色相彩度情報に基づいてその画素位置の色相と補色関係にあるあるいは補色に近い信号値を使用することなく、信号値を求めることができ、これによりエッジ境界にアーチファクトが発生することを防止することができる。
【００１９】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による信号生成装置の構成を示す概略ブロック図である。図１に示すように本発明の実施形態による信号生成装置は、単板ＣＣＤ１を構成する各光電変換素子において得られた色信号Ｒ０，Ｇ０，Ｂ０からなる撮像信号Ｓ０から、各画素位置における高周波の色信号Ｒ１，Ｇ１，Ｂ１からなる高周波信号Ｓ１を生成するものであり、各色信号Ｒ０，Ｇ０，Ｂ０により構成される撮像信号Ｓ０から低周波の色情報を表す低周波色信号ＲＬ，ＧＬ，ＢＬを生成する低周波色信号生成手段２と、低周波色信号ＲＬ，ＧＬ，ＢＬに基づいて、低周波の輝度色差信号ＹＬ，ＣｒＬ，ＣｂＬを生成する低周波輝度色差信号生成手段３と、低周波の色差信号ＣｒＬ，ＣｂＬに基づいて色相Ｈｕｅおよび彩度Ｓａｔからなる色相彩度情報を生成する色相彩度情報生成手段４と、色相Ｈｕｅおよび彩度Ｓａｔの変化量Ｖを算出する変化量算出手段５と、色相彩度情報生成手段４において生成された色相彩度情報および変化量算出手段５において算出された変化量Ｖに基づいて、各画素位置およびその周辺の画素位置を選択して、選択された画素位置の信号値による補間演算を行って各画素位置における高周波の色情報を含む色信号Ｒ１，Ｇ１，Ｂ１を生成する高周波色信号生成手段６とを備える。
【００２０】
なお、本発明による信号生成装置は、デジタルカメラやフイルムから画像を読み取る撮像装置に備えられた画像処理装置に設けられるものである。この画像処理装置としては、単板ＣＣＤ１において得られた撮像信号Ｓ０から高周波色信号を生成してカラー画像信号を再構成するものであり、この画像処理装置における高周波色信号を生成するために、本実施形態による信号生成装置が用いられるものである。
【００２１】
図２は単板ＣＣＤ１の光電変換素子の配列を示す図である。図２（ａ）はＲ，Ｇ，Ｂに分光感度を有するＲ，Ｇ，Ｂチャンネルの光電変換素子を交互に配列したものであり、図２（ｂ）は紙面縦方向にＲ，Ｇチャンネルを交互に配列したラインと、Ｇ，Ｂチャンネルを交互に配列したラインとを横方向に交互に配列したものであり、輝度に影響を与えるＧチャンネルがＲ，Ｇチャンネルの２倍となっている。また、図２（ｃ）はＣ，Ｍ，Ｙに分光感度を有するＣ，Ｍ，Ｙチャンネルの光電変換素子を交互に配列したものであり、図２（ｄ）はＣ，Ｍ，ＹチャンネルにさらにＧチャンネルを加えた光電変換素子を交互に配列したものである。ここで、ＲＧＢとＣＭＹとは各原色の色度が定義されているため、相互に変換可能である。したがって、本発明による信号生成装置はいずれの配列の単板ＣＣＤ１から得られる撮像信号Ｓ０から高周波輝度信号ＹＨを生成するものであってもよいが、本実施形態においては、図２（ｂ）に示す光電変換素子の配列を有する単板ＣＣＤ１において得られた撮像信号Ｓ０に対して処理を施すものとして説明する。
【００２２】
低周波色信号生成手段２は、単板ＣＣＤ１から得られる撮像信号Ｓ０から各画素位置における低周波の色情報を表す低周波色信号ＲＬ，ＧＬ，ＢＬを生成するものである。まず、低周波色信号ＲＬの生成について説明する。図２（ｂ）に示す光電変換素子の配列において、Ｒチャンネルの素子のみを抽出した状態を図３に示す。図３においてＸで示す素子の位置（以下画素位置Ｘとする）においてはＲ信号は存在しないことから、画素位置ＸにおけるＲ信号を、その近傍画素位置におけるＲ信号の値に基づいて単板ＣＣＤ１の縦方向および横方向に対してこの順序で補間演算を施すことにより求める。なお、この補間演算としては、線形補間の他、滑らかさを重視したＢスプライン補間演算、鮮鋭度を重視したCubicスプライン補間演算等の高次の補間演算を適用することができる。
【００２３】
ここで、Cubic スプライン補間演算およびＢスプライン補間演算について説明する。本実施形態において使用される撮像信号Ｓ０は、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）Ｘk-2 ，Ｘk-1 ，Ｘk ，Ｘk+1 ，Ｘk-2…に対応した信号値（Ｓk-2 ，Ｓk-1 ，Ｓk，Ｓk+1 Ｓk+2 …）を有するものする。Cubic スプライン補間演算は、オリジナルのサンプリング点（画素）Ｘk 〜Ｘk+1 間に設けられた補間点Ｘp の補間データＹ′を表す３次のCubic スプライン補間演算式（１）における補間データＹk-1 ，Ｙk ，Ｙk+1 ，Ｙk+2 にそれぞれ対応する補間係数ｃk-1 ，ｃk ，ｃk+1 ，ｃk+2 を、下記にそれぞれ示す演算により求めるものである。
【００２４】
Ｙ′＝ｃk-1 Ｙk-1 ＋ｃk Ｙk ＋ｃk+1 Ｙk+1 ＋ｃk+2 Ｙk+2 （１）
ｃk-1 ＝（−ｔ3 ＋２ｔ2 −ｔ）／２
ｃk ＝（３ｔ3 −５ｔ2 ＋２）／２
ｃk+1 ＝（−３ｔ3 ＋４ｔ2 ＋ｔ）／２
ｃk+2 ＝（ｔ3 −ｔ2）／２
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘk を基準としたときの補間点Ｘp の画素Ｘk+1 方向への位置を示す。）
Ｂスプライン補間演算は、オリジナルのサンプリング点Ｘk 〜Ｘk+1 間に設けられた補間点Ｘp の補間データＹ′を表す３次のＢスプライン補間演算式（２）における補間データＹk-1 、Ｙk 、Ｙk+1 、Ｙk+2 にそれぞれ対応する補間係数ｂk-1 ，ｂk ，ｂk+1 ，ｂk+2 を、下記にそれぞれ示す演算により求めるものである。
【００２５】
Ｙ′＝ｂk-1 Ｙk-1 ＋ｂk Ｙk ＋ｂk+1 Ｙk+1 ＋ｂk+2 Ｙk+2 （２）
ｂk-1 ＝（−ｔ3 ＋３ｔ2 −３ｔ＋１）／６
ｂk ＝（３ｔ3 −６ｔ2 ＋４）／６
ｂk+1 ＝（−３ｔ3 ＋３ｔ2 ＋３ｔ＋１）／６
ｂk+2 ＝ｔ3 ／６
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘk を基準としたときの補間点Ｘp の画素Ｘk+1 方向への位置を示す。）
なお、本実施形態においては、色信号を平滑化する観点からＢスプライン補間演算を行うことが好ましく、また補間演算を行うことなく単にローパスフィルタによってフィルタリング処理することにより画素位置Ｘにおける色信号ＲＬを求めるようにしてもよい。ローパスフィルタとしては、単板ＣＣＤ１の全光電変換素子によりサンプリングした場合のナイキスト周波数をｆｓとした場合、図２（ｂ）に示す光電変換素子の配列を有する単板ＣＣＤ１では元の色信号Ｒ０は縦横方向には全信号の１／２しか存在しないことから、１／２ｆｓ以上の高周波成分をカットするものであることが好ましい。なお、ローパスフィルタの特性は、単板ＣＣＤ１における光電変換素子の配列に応じて変更することが好ましい。
【００２６】
ここで、演算時間を短縮するために下記のように補間演算を行うことが好ましい。図４はこの好ましい補間演算を説明するための図である。なお、ここでも色信号ＲＬの算出について説明する。図４においては、○の画素位置が元々色信号Ｒ０が存在する画素位置であり、□がＸ方向における補間演算により算出された色信号ＲＬが存在する画素位置、×がＹ方向における補間演算により算出された色信号ＲＬが存在する画素位置を示し、色信号ＲＬを算出する補間点の近傍４×４の画素位置における色信号ＲＬから画素位置×の色信号ＲＬを求めるものである。まず、Ｘ方向において求める画素位置×の色信号ＲＬを算出する補間点の近傍４ライン（ここでラインとはＸ方向のラインとし、それぞれライン１からライン４とする）について、画素位置□における色信号ＲＬを求め、４ライン分の信号をラインバッファに記憶する。なお、図４においては色信号ＲＬが算出された画素位置を■で示している。
【００２７】
次いで、算出された４ライン分の画素位置■における色信号ＲＬに基づいて、画素位置×における色信号ＲＬを算出する。そして、次のライン（ライン５）の画素位置□における色信号ＲＬを算出するには、ライン１の色信号ＲＬをラインバッファから消去しライン５の色信号ＲＬをラインバッファに記憶して、上記と同様に画素位置□の色信号ＲＬを算出するとともに、ライン４およびライン５の間における画素位置×における色信号ＲＬを算出する。以下この処理を１ライン毎に繰り返すことにより、全ての画素位置□、×における色信号ＲＬを算出して全画素位置における色信号ＲＬを得ることができる。
【００２８】
そして、色信号ＢＬについても、上述したような補間演算あるいはローパスフィルタによるフィルタリング処理により色信号Ｂ０が存在しない画素位置Ｘにおける信号が求められる。
【００２９】
また、色信号Ｇ０は色信号Ｒ０および色信号Ｂ０よりも多くの画素位置において信号値が得られるため、色信号ＧＬについてはその周波数特性を色信号ＲＬおよび色信号ＢＬと整合させるために、画素を１／２に間引き、間引いた後に上述したような補間演算あるいはローパスフィルタによるフィルタリング処理を行うことにより、色信号Ｇ０が存在しない画素位置Ｘにおける色信号ＧＬを求める。
【００３０】
低周波輝度色差信号生成手段３においては、低周波色信号ＲＬ，ＧＬ，ＢＬから下記の式（３）により低周波輝度信号ＹＬおよび低周波色差信号ＣｒＬ，ＣｂＬを算出する。
【００３１】
ＹＬ＝０．３ＲＬ＋０．６ＧＬ＋０．１ＢＬ
ＣｒＬ＝０．７ＲＬ−０．６ＧＬ−０．１ＢＬ （３）
ＣｂＬ＝−０．３ＲＬ−０．６ＧＬ＋０．９ＢＬ
なお、低周波輝度信号ＹＬは高周波色信号生成手段６に入力され、低周波色差信号ＣｒＬ，ＣｂＬは色相彩度情報生成手段４に入力される。
【００３２】
色相彩度情報生成手段４は、低周波輝度色差信号生成手段３において生成された低周波色差信号ＣｒＬ，ＣｂＬに基づいて、下記の式（４）および（５）により色相Ｈｕｅおよび彩度Ｓａｔを生成する。
【００３３】
Ｈｕｅ＝ｔａｎ-1（ＣｂＬ／ＣｒＬ） （４）
Ｓａｔ＝√（ＣｒＬ2＋ＣｂＬ2） （５）
ここで、８ビットにより表されるＲ（Ｒ＝２５５，Ｇ＝０，Ｂ＝０），Ｇ（Ｒ＝０，Ｇ＝２５５，Ｂ＝０），Ｂ（Ｒ＝０，Ｇ＝０，Ｂ＝２５５）およびＣ（Ｒ＝０，Ｇ＝２５５，Ｂ＝２５５），Ｍ（Ｒ＝２５５，Ｇ＝０，Ｂ＝２５５），Ｙ（Ｒ＝２５５，Ｇ＝２５５，Ｂ＝０）の色における色相Ｈｕｅおよび彩度Ｓａｔの関係を図５に示す。なお、図５においては原点から放射方向が彩度Ｓａｔを表し、ＣｒＬ軸に対する角度θが色相Ｈｕｅを表し、Ｒ，Ｇ，Ｂ，Ｃ，Ｍ，Ｙの各符号に付した数字は、上記式（４）および（５）により算出される（色相，彩度）を表している。
【００３４】
変化量算出手段５は、色相彩度情報生成手段４において生成された色相Ｈｕｅおよび彩度Ｓａｔに基づいて、各画素位置における色相Ｈｕｅおよび彩度Ｓａｔそれぞれの変化量の加算値としての変化量Ｖを求める。この変化量Ｖは、各画素位置を中心とする３×３画素の範囲内における色相Ｈｕｅおよび彩度Ｓａｔに対して、ロビンソンのエッジ検出フィルタによりフィルタリング処理を行うことにより求めることができる（画像解析ハンドブック、高木幹雄、下田陽久、東京大学出版会、1991、1/17、PP554）。このロビンソンのエッジ検出フィルタを図６に示す。図６（ａ）に示すフィルタは図７に示す矢印Ａ方向のエッジ強度を算出するためのフィルタであり、以下図６（ｂ）に示すフィルタは矢印Ｂ方向、図６（ｃ）に示すフィルタは矢印Ｃ方向、図６（ｄ）に示すフィルタは矢印Ｄ方向のエッジ強度を算出するためのフィルタである。具体的には色相Ｈｕｅについてみると、図８に示すように各画素位置の色相ＨｕｅをＨｕｅij（ｉ，ｊ＝−１〜１）とした場合、矢印Ａ方向の変化量Ｖ１は下記の式（６）により求めることができる。
【００３５】
V1=|Hue-1-1+2Hue0-1+Hue1-1-Hue-11-2Hue01-Hue11|+1 （６）
ここで、１を加算したのは変化量Ｖ１の値を０としないためである。そして、同様にして矢印Ｂ，Ｃ，Ｄ方向の変化量Ｖ２，Ｖ３，Ｖ４も求めることができる。また、彩度Ｓａｔの変化量についても色相Ｈｕｅの変化量と同様に求めることができる。
【００３６】
また、ここではロビンソンのエッジ検出フィルタにより変化量Ｖ１〜Ｖ４を求めているが、微分フィルタや差分フィルタによって求めるようにしてもよい。
【００３７】
このようにして各画素位置における色相Ｈｕｅおよび彩度Ｓａｔの変化量Ｖ１〜Ｖ４が求められると、変化量Ｖ１〜Ｖ４の平均値を求め、色相Ｈｕｅおよび彩度Ｓａｔそれぞれの変化量の平均値を加算して変化量Ｖを求める。なお、この変化量Ｖとしては色相Ｈｕｅおよび彩度Ｓａｔ毎に算出してもよく、これらを重み付け加算して算出してもよい。
【００３８】
高周波色信号生成手段６は、色相彩度情報生成手段４において生成された色相Ｈｕｅ、彩度Ｓａｔの値および／または変化量算出手段５において算出された変化量Ｖに基づいて、高周波の色信号Ｒ１，Ｇ１，Ｂ１からなる高周波信号Ｓ１を生成する。まず、変化量Ｖにのみ基づいての色信号Ｒ１，Ｇ１，Ｂ１の算出について説明する。
【００３９】
まず、色相Ｈｕｅおよび彩度Ｓａｔの変化が少ない場合（ケース１）について説明する。なお、「変化が少ない」とは変化量Ｖが例えば４０未満の値となる場合をいう。色相Ｈｕｅおよび彩度Ｓａｔの変化が少ない場合には、その画素位置周辺においては色の変化が少ないということができ、この場合には下記の式（７）に示すように、その画素位置における高周波色信号と低周波色信号との差は略等しいという関係が成立する。一方、図９に示すように、色相Ｈｕｅの変化があっても彩度Ｓａｔの変化が小さい場合（ケース２）には、その画素位置におけるＲＧＢの色信号は略等しくなってその画素位置周辺はグレーであるということができるため、同様に式（７）の関係が成立する。なお、この関係は各色信号が光量の対数により表されている場合に成立するものであり、色信号が光量により表されている場合には、その関係は式（７′）に示すものとなるが、本実施形態においては、各色信号は光量の対数により表されているものとして説明する。また、式（７）、（７′）において、Ｙ１は高周波の輝度信号（低周波成分をも含むもの）とする。
【００４０】
Ｙ１−ＹＬ＝Ｒ１−ＲＬ＝Ｇ１−ＧＬ＝Ｂ１−ＢＬ （７）
ＹＬ：ＲＬ：ＧＬ：ＢＬ＝Ｙ１：Ｒ１：Ｇ１：Ｂ１ （７′）
したがって、低周波色信号生成手段２において低周波の色信号ＲＬ，ＧＬ，ＢＬが算出されているため、元々その画素位置に存在する色信号（例えばＲ０）を高周波の色信号Ｒ１として式（７）の関係を用いれば、他の高周波色信号（Ｇ１，Ｂ１）を算出することができる。
【００４１】
具体的に、図１０に示すように画素位置に参照番号を付した場合、画素位置Ｒ4においてはＲ０＝Ｒ１であり、低周波輝度信号ＹＬ（Ｒ4）、高周波輝度信号Ｙ１（Ｒ4）、画素位置Ｒ4が元々有する色信号Ｒ０（Ｒ4）、および低周波色信号ＲＬ（Ｒ4）には、下記の式（８）の関係が成立する。
【００４２】
ＹＬ（Ｒ4）−ＲＬ（Ｒ4）＝Ｙ１（Ｒ4）−Ｒ０（Ｒ4） （８）
したがって、画素位置Ｒ4における高周波成分のみを表す輝度信号ＹＨ（Ｒ4）は、
ＹＨ（Ｒ4）＝Ｙ１（Ｒ4）−ＹＬ（Ｒ4）＝Ｒ０（Ｒ4）−ＲＬ（Ｒ4） （９）
となる。よって、この高周波の輝度信号ＹＨ（Ｒ4）を画素位置Ｒ4における低周波の色信号ＧＬ，ＢＬに加算することにより、画素位置Ｒ4における高周波の色信号Ｇ１（Ｒ4），Ｂ１（Ｒ4）は、下記の式（１０），（１１）に示すように求めることができる。
【００４３】
Ｇ１（Ｒ4）＝ＧＬ（Ｒ4）＋Ｒ０（Ｒ4）−ＲＬ（Ｒ4） （１０）
Ｂ１（Ｒ4）＝ＢＬ（Ｒ4）＋Ｒ０（Ｒ4）−ＲＬ（Ｒ4） （１１）
ここで、図１１（ａ）〜（ｃ）に示すようにＲＧＢ各信号の絶対値が異なり、図中の矢印に示すエッジの差のみが略等しい部分における高周波の色信号の算出について説明する。まず、図１２に示すように高周波色信号を算出する画素位置の周囲のＲＧＢ信号のみにより補間演算を行うと、図１３（ａ）に示すようにエッジ部分に偽色が発生する。一方、式（７）に示す関係が成立しているとすると、図１１（ｄ）〜（ｆ）に示すように、算出された高周波色信号によってはエッジの形状に差が生じないため、図１３（ｂ）に示すように偽色は発生しないものとなる。なお、図１１（ｅ），（ｆ）においては、低周波の色信号ＧＬ，ＢＬにＲ０（またはＲ１）−ＲＬを加算することにより、Ｒの画素位置における高周波の色信号Ｇ１，Ｂ１を算出しているものである。
【００４４】
なお、彩度Ｓａｔの値が小さい場合には、ＲＧＢ各色信号が略等しいことから、Ｙ１（Ｒ4）＝Ｒ０（Ｒ4）とし、この関係に基づいて下記の式（１２），（１３）により高周波の色信号Ｇ１（Ｒ4），Ｂ１（Ｒ4）を算出してもよい。
【００４５】
Ｇ１（Ｒ4）＝ＧＬ（Ｒ4）＋Ｒ０（Ｒ4）−ＹＬ（Ｒ4） （１２）
Ｂ１（Ｒ4）＝ＢＬ（Ｒ4）＋Ｒ０（Ｒ4）−ＹＬ（Ｒ4） （１３）
なお、Ｂの画素位置におけるＲ信号、Ｇ信号およびＧの画素位置におけるＲ信号、Ｂ信号についても上記と同様にして算出することができる。
【００４６】
次に、色相Ｈｕｅが一定で彩度Ｓａｔが変化する場合（ケース３）は、以下のようにして高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出する。図１４は、色相Ｈｕｅが一定で彩度Ｓａｔが変化する場合の高周波色信号の算出を説明するための図である。なお、ここでは色相ＨｕｅがＲにおいて一定であり、彩度が図１４の斜線部分に存在する場合について説明する。この場合は、Ｒが高彩度であるという前提で算出される信号と、Ｒが低彩度であるという前提で算出される信号との重み付け加算により、高周波の色信号Ｒ１，Ｇ１，Ｂ１が算出される。例えば、Ｒが高彩度であるという前提で算出される高周波の色信号をＲｈ１、Ｒが低彩度であるという前提で算出される高周波の色信号をＲｌ１とすると、色信号Ｒ１は下記の式（１４）により算出される。なお、ここで高彩度とは彩度Ｓａｔが２０以上であり、低彩度とは彩度Ｓａｔが１０未満であることをいう。
【００４７】
Ｒ１＝α・Ｒｈ１＋（１−α）・Ｒｌ１ （１４）
但し、α：彩度Ｓａｔに応じて定められる重み係数
なお、信号Ｒｌ１は、上述した色相Ｈｕｅの変化があっても彩度Ｓａｔが小さい場合において算出された高周波の色信号Ｒ１を使用すればよい。また、信号Ｒｈ１については後述する色相Ｈｕｅおよび彩度Ｓａｔの値そのものに基づく処理と同一の処理により算出される。
【００４８】
一方、色相Ｈｕｅおよび彩度Ｓａｔの変化がともに大きい場合（ケース４）についても、色相Ｈｕｅおよび彩度Ｓａｔの値そのものに基づく処理と同一の処理により高周波の色信号が算出される。
【００４９】
次に、色相Ｈｕｅおよび彩度Ｓａｔの値そのものに基づく高周波の色信号の算出について説明する。まず、色相Ｈｕｅの値に応じた色信号の算出（ケース５）について説明する。なお、この色相Ｈｕｅの値に応じた色信号の算出は、上述した彩度Ｓａｔが高彩度である場合の式（１４）における信号Ｒｈ１の算出、色相Ｈｕｅおよび彩度Ｓａｔの変化がともに大きい場合（ケース４）にも適用される。まず、色相ＨｕｅがＲであると判断された場合、その画素位置における輝度信号はＲの色信号が支配的であることから、下記の式（１５）に示す関係が成立する。
【００５０】
Ｙ１−ＹＬ＝Ｒ１−ＲＬ （１５）
ここで、高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出する画素位置を図１０の画素位置Ｂ0とすると、式（１５）の関係より、
Ｙ１（Ｂ0）−ＹＬ（Ｂ0）＝Ｒ１（Ｂ0）−ＲＬ（Ｂ0） （１６）
となる。式（１６）における色信号Ｒ１（Ｂ0）は画素位置Ｂ0の近傍の画素位置Ｒ0，Ｒ1，Ｒ3，Ｒ4における色信号Ｒ０に基づいて算出する。具体的には、４画素位置Ｒ0，Ｒ1，Ｒ3，Ｒ4における色信号Ｒ０の平均値であってもよく、色相Ｈｕｅおよび／または彩度Ｓａｔの変化が最も少ない方向の画素位置における信号値のみを用いて算出してもよい。ここで、色相Ｈｕｅおよび／または彩度Ｓａｔの変化が最も少ない方向が画素位置Ｒ3の方向であったとすると、
Ｒ１（Ｂ0）＝ＢＬ（Ｂ0）＋Ｒ０（Ｒ3）−ＲＬ（Ｂ0） （１７）
により画素位置Ｂ0における色信号Ｒ１（Ｂ0）を算出できる。ここで、式（１７）においては、Ｒ１（Ｂ0）＝Ｒ０（Ｒ3）としてもよい。なお、Ｂの画素位置におけるＲ信号、Ｇ信号およびＧの画素位置におけるＲ信号、Ｂ信号についても同様にして算出することができる。また、色相ＨｕｅがＧやＢと判断された場合には、
Ｙ１−ＹＬ＝Ｇ１−ＧＬ （１８）
Ｙ１−ＹＬ＝Ｂ１−ＢＬ （１９）
の関係に基づいて、上記と同様に高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出することができる。
【００５１】
一方、色相Ｈｕｅがシアン（Ｃ）であると判断された場合には、その画素位置における輝度信号はＧ信号およびＢ信号が支配的であることから、下記の式（２０）に示す関係が成立する。
【００５２】
Ｙ１−ＹＬ＝Ｇ１−ＧＬ＝Ｂ１−ＢＬ （２０）
ここで、高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出する画素位置を図１０の画素位置Ｂ0とすると、式（２０）の関係より下記の式（２１）、（２２）によって画素位置Ｂ0における高周波の色信号Ｒ１（Ｂ0），Ｇ１（Ｂ0）を求めることができる。
【００５３】
Ｒ１（Ｂ0）＝ＲＬ（Ｂ0）＋Ｂ０（Ｂ0）−ＢＬ（Ｂ0） （２１）
Ｇ１（Ｂ0）＝ＧＬ（Ｂ0）＋Ｂ０（Ｂ0）−ＢＬ（Ｂ0） （２２）
一方、画素位置Ｇ5における高周波の色信号Ｒ１（Ｇ5），Ｂ１（Ｇ5）は下記の式（２３）、（２４）により求めることができる。
【００５４】
Ｒ１（Ｇ5）＝ＲＬ（Ｇ5）＋Ｇ０（Ｇ5）−ＧＬ（Ｇ5） （２３）
Ｂ１（Ｇ5）＝ＢＬ（Ｇ5）＋Ｇ０（Ｇ5）−ＧＬ（Ｇ5） （２４）
また、画素位置Ｒ4における高周波の色信号Ｇ１，Ｂ１については、上述したように色相ＨｕｅがＲと判断された場合と同様にして求める。ここで、色相Ｈｕｅおよび／または彩度Ｓａｔの変化が最も少ない方向が画素位置Ｇ6方向である場合には、
Ｇ１（Ｒ4）＝ＧＬ（Ｒ4）＋Ｇ０（Ｇ6）−ＧＬ（Ｒ4）＝Ｇ０（Ｇ6）（２５）
により画素位置Ｒ4における色信号Ｇ１を算出することができ、色相Ｈｕｅおよび／または彩度Ｓａｔの変化が最も少ない方向が画素位置Ｂ3の方向である場合には、
Ｂ１（Ｒ4）＝ＢＬ（Ｒ4）＋Ｂ０（Ｂ3）−ＢＬ（Ｒ4）＝Ｂ０（Ｂ3）（２６）
により画素位置Ｒ4における色信号Ｂ１を算出することができる。
【００５５】
なお、色相Ｈｕｅがマゼンタ、イエローと判断された場合にも、それぞれ下記の式（２７）、（２８）に示す関係を用いることにより、上記と同様にして各画素位置における高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出することができる。
【００５６】
Ｙ１−ＹＬ＝Ｒ１−ＲＬ＝Ｂ１−ＢＬ （２７）
Ｙ１−ＹＬ＝Ｒ１−ＲＬ＝Ｇ１−ＧＬ （２８）
ここで、ある画素位置における信号値を求める場合において、その画素位置が本来有する色相Ｈｕｅがある場合、その色相Ｈｕｅと補色関係にあるあるいはその補色に近い信号値を用いて補間演算を行って高周波色信号Ｒ１，Ｇ１，Ｂ１を求めると、アーチファクトが発生しやすくなる。例えば、色相ＨｕｅがＲであるのにＧの信号値を用いてその画素位置の信号値を求めると、元々Ｇの信号値はノイズと見なせるほど小さいものが、補間演算を行うことにより信号値が増幅されてエッジ境界において粒状のアーチファクトが発生する。このため、本実施形態のように信号を算出する画素位置における色相Ｈｕｅの値に応じて、その色相Ｈｕｅとは補色関係となる色信号を用いることなく、高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出することにより、エッジ境界に発生するアーチファクトを抑制することができる。
【００５７】
なお、色相Ｈｕｅがある色相とある色相との中間の色相、例えば色相ＨｕｅがＲとマゼンタの中間の色相である場合には、色相ＨｕｅがＲであるという前提で算出される色信号と、色相Ｈｕｅがマゼンタであるという前提で算出される色信号との重み付け加算により、高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出すればよい。例えば、Ｒ信号について考えると、色相ＨｕｅがＲであるという前提で算出される高周波の色信号をＲｒ１、色相Ｈｕｅがマゼンタであるという前提で算出される高周波の色信号をＲｍ１とすると、色信号Ｒ１は下記の式（２９）により算出される。
【００５８】
Ｒ１＝β・Ｒｒ１＋（１−β）・Ｒｍ１ （２９）
但し、β：色相Ｈｕｅに応じた重み係数
次に、彩度Ｓａｔに応じた色信号の算出（ケース７）については、彩度Ｓａｔが小さい場合には、上述した色相Ｈｕｅの変化はあっても彩度Ｓａｔが小さい場合と同様にして色信号Ｒ１，Ｇ１，Ｂ１を算出し、彩度Ｓａｔが所定値（例えば２０）よりも大きい場合には、彩度Ｓａｔに拘わらず、上述した色相Ｈｕｅに応じた処理により色信号Ｒ１，Ｇ１，Ｂ１が算出される。
【００５９】
次に、色相Ｈｕｅ、彩度Ｓａｔおよび変化量Ｖに応じた色信号の算出（ケース８）について説明する。これは色相Ｈｕｅおよび彩度Ｓａｔの値に応じて重み付け加算を行って高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出するものである。なお、具体的な値として、色相Ｈｕｅ＝１００°、彩度Ｓａｔ＝１５、変化量Ｖ＝４５を使用して説明する。
【００６０】
ここで、色相Ｈｕｅ＝１００°ということは、ＲとＣの中間の色相ということであるから、上述した色相Ｈｕｅに応じた処理において色相ＨｕｅがＲであると判断された場合、および色相ＨｕｅがＣであると判断された場合の双方について高周波の色信号を求め、これらを色相Ｈｕｅの値に応じて重み付け加算してその色相Ｈｕｅに応じた高周波の色信号（ここではＳＨｈとする）を算出する。ここで、色相ＨｕｅがＲと判断された場合およびＣと判断された場合の高周波の色信号をＳＨ（Ｒ）、ＳＨ（Ｃ）とすると、下記の式（３０）により重み係数ａを用いて高周波の色信号ＳＨｈを算出することができる。
【００６１】
ＳＨｈ＝（１−ａ）・ＳＨ（Ｒ）＋ａ・ＳＨ（Ｃ） （３０）
ここで、重み係数ａが図１５に示すものであるとすると、
SHh＝(1-(100-97)/(156-97))*SH(R)+(100-97)/(156-97)*SH(C) （３１）
により高周波の色信号ＳＨｈを算出することができる。
【００６２】
次いで、このように算出された高周波の色信号ＳＨｈを変化量Ｖに応じて重み付け加算する。ここで、変化量Ｖに応じて算出された高周波の色信号をＳＨｃとすると、下記の式（３２）により重み係数ｂを用いて高周波の色信号ＳＨｈｃを算出することができる。
【００６３】
ＳＨｈｃ＝（１−ｂ）・ＳＨｈ＋ｂ・ＳＨｃ （３２）
ここで、重み係数ｂが図１６に示すものであるとすると、
SHhc＝(1-(45-40)/(60-40))*SHh+(45-40)/(60-40)*SHc （３３）
により高周波の色信号ＳＨｈｃを算出することができる。なお、変化量Ｖに応じて算出された高周波の色信号とは、上述したケース１〜４において算出される高周波の色信号Ｒ１，Ｇ１，Ｂ１である。
【００６４】
さらに、このように算出された高周波の色信号ＳＨｈｃを彩度Ｓａｔに応じて重み付け加算する。ここで、彩度Ｓａｔに応じて算出された高周波の色信号をＳＨｓとすると、下記の式（３４）により重み係数ｃを用いて高周波の色信号ＳＨｈｃｓを算出することができる。
【００６５】
ＳＨｈｃｓ＝（１−ｃ）・ＳＨｈｃ＋ｃ・ＳＨｓ （３４）
ここで、重み係数ｃが図１７に示すものであるとすると、
SHhcs＝(1-(15-10)/(20-10))*SHhc+(15-10)/(20-10)*SHs （３５）
により高周波の色信号ＳＨｈｃｓを算出することができる。
【００６６】
次いで、本実施形態の動作について説明する。図１８は本実施形態の動作を示すフローチャートである。まず、単板ＣＣＤ１により撮影が行われて色信号Ｒ０，Ｇ０，Ｂ０からなる撮像信号Ｓ０が得られる（ステップＳ１）。次いで、低周波色信号生成手段２において低周波の色信号ＲＬ，ＧＬ，ＢＬが生成される（ステップＳ２）。一方、低周波輝度色差信号生成手段３において、低周波の輝度信号ＹＬおよび色差信号ＣｒＬ、ＣｂＬが生成される（ステップＳ３）。そして、低周波色差信号ＣｒＬ，ＣｂＬは色相彩度情報生成手段４に入力され、ここで色相Ｈｕｅおよび彩度Ｓａｔからなる色相彩度情報が生成される（ステップＳ４）。一方、色相Ｈｕｅおよび彩度Ｓａｔは変化量算出手段５に入力され、ここで、色相Ｈｕｅおよび彩度Ｓａｔの変化量Ｖが算出される（ステップＳ５）。
【００６７】
このようにして色相Ｈｕｅ、彩度Ｓａｔおよび変化量Ｖが求められると、高周波色信号生成手段６において、上述したように、色相Ｈｕｅおよび彩度Ｓａｔの値に応じて、あるいは変化量Ｖに応じて各画素位置における高周波の色信号Ｒ１，Ｇ１，Ｂ１が生成され、これにより高周波信号Ｓ１が得られ（ステップＳ６）、処理を終了する。
【００６８】
このように、本実施形態によれば、色相Ｈｕｅおよび／または彩度Ｓａｔの値、あるいはこれらの変化量Ｖからなる色相彩度情報に基づいて、高周波の色信号Ｒ１，Ｇ１，Ｂ１を生成するようにしたため、例えばある画素位置において高周波信号Ｓ１を生成する際に、色相彩度情報に基づいてその画素位置の色相と補色関係にあるあるいはその色相に近い信号値を使用することなく、信号値を求めることができるため、エッジ境界にアーチファクトが発生することを防止することができる。
【００６９】
なお、上記実施形態においては、図４に示す方法により低周波の色信号ＲＬ，ＧＬ，ＢＬを算出しているが、これに限定されるものではなく、種々の方法により低周波の色信号ＲＬ，ＧＬ，ＢＬを算出することができるものである。
【００７０】
また、上記実施形態においては、重み係数ａ〜ｃを図１５〜図１７に示すように、Ｈｕｅ、Ｖ、Ｓａｔの値に応じて線形に変化する関数としているが、これに限定されるものではなく、Ｈｕｅ、Ｖ、Ｓａｔの値に応じて３次元的に変化するような関数としてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態による信号生成装置の構成を示す概略ブロック図
【図２】光電変換素子の配列を示す図
【図３】Ｒ信号の画素位置を示す図
【図４】低周波色信号を算出するための補間演算を説明するための図
【図５】色相および彩度の関係を示す図
【図６】ロビンソンのエッジ検出フィルタを示す図
【図７】エッジ強度を求める方向を示す図
【図８】エッジ強度の算出を説明するための図
【図９】色相および彩度の関係において彩度が低い領域を示す図
【図１０】画素位置の配列を参照番号を付して示す図
【図１１】高周波の色信号の算出を説明するための図
【図１２】補間演算を説明するための図
【図１３】エッジ部分の補間演算結果を示す図
【図１４】色相および彩度の関係において彩度が変化する場合を説明するための図
【図１５】重み係数ａを示す図
【図１６】重み係数ｂを示す図
【図１７】重み係数ｃを示す図
【図１８】本実施形態の動作を示すフローチャート
【符号の説明】
１ 単板ＣＣＤ
２ 低周波色信号生成手段
３ 低周波輝度色差信号生成手段
４ 色相彩度情報生成手段
５ 変化量算出手段
６ 高周波色信号生成手段
【発明の属する技術分野】
本発明は、異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した、いわゆる単板ＣＣＤ等の撮像デバイスにおいて得られたカラー撮像信号に基づいて、光電変換素子に対応する各画素位置における高周波の色情報を表す高周波色信号を生成する信号生成方法および装置並びに信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
デジタルカメラに用いられるＣＣＤ等の撮像デバイスとしては、分光感度が異なる複数種類の光電変換素子を同一平面上に交互に配置して構成されているものが知られている（以下単板ＣＣＤと称する）。ここで、Ｒ，Ｇ，Ｂのそれぞれに分光感度を有する光電変換素子、すなわちＲ，Ｇ，Ｂの各チャンネルの光電変換素子を交互に配置した単板ＣＣＤの場合、連続したＲ，Ｇ，Ｂチャンネルの３個の光電変換素子の組が１つの画素を構成することとなる。しかしながら、このような単板ＣＣＤにおいては各画素のＲ，Ｇ，Ｂ値を同一画素位置において得ることができないため、色ずれや偽色が生じることがある。また、各チャンネルの光電変換素子数は単板ＣＣＤを構成する全素子数よりも少ないため、高解像度の画像を得ることができない。例えばＲ，Ｇ，Ｂ各チャンネルの光電変換素子を交互に配置した単板ＣＣＤにおいては、各チャンネルの光電変換素子数は全素子数の１／３しかないため、同一素子数のモノクロ撮像装置に比べて解像度が１／３となってしまう。このため、Ｒ，Ｇ，Ｂ各チャンネルの光電変換素子が存在しない部分における信号値を補間処理により求める方法が提案されているが、単に補間処理を行うのみでは、信号値が大きく変化する部分において色ずれが発生することがある。この場合、平滑化処理を行うことにより色ずれの発生を防止することができるが、平滑化処理を行うと解像度が悪化するという問題がある。
【０００３】
ここで、人間の視覚特性は色よりも輝度に対して感度が高いものである。このため、単板ＣＣＤにおいて得られたカラー撮像信号から、各画素の輝度を表す高周波の輝度信号と、上述した補間処理および平滑化処理による低周波の色信号とを生成し、輝度信号および色信号を用いてカラー画像信号を再構成するようにした方法が提案されている（特開平１０−２００９０６号、同９−６５０７５号等）。この方法によれば、人間の視覚特性において感度が高い輝度成分に対してより多くの情報が与えられることとなるため、見かけ上解像度が高い画像を再現可能なカラー画像信号を得ることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特開平１０−２００９０６号等に記載された方法においては、単板ＣＣＤにおいて得られた撮像信号から生成された低周波の色信号により輝度信号を推測しているため、この方法において得られる高周波の輝度信号は、画像に含まれるエッジ付近においてぼけたものとなり、その結果画像の解像度が低下してしまうという問題がある。
【０００５】
また、上記特開平９−６５０７５号に記載された方法においては、各画素位置における高周波の輝度信号を、各画素位置およびその周囲の画素位置における信号値から補間演算により求めるものであるため、上記特開平１０−２００９０６号に記載された方法と比較して、それほど解像度は低下しないものである。しかしながら、単板ＣＣＤにおいて得られた撮像信号は各画素位置において全ての色信号（例えばＲＧＢ）が存在するものではないため、色エッジの境界付近においてすじ状のアーチファクトが生じたり、エッジ付近において粒状のアーチファクトが発生してしまうという問題がある。
【０００６】
すなわち、ある画素位置が本来有する色相がある場合、その色相と補色関係にある、あるいは補色に近い信号値を用いて補間演算を行って、その画素位置の信号値を求めると、アーチファクトが発生しやすくなる。例えば、色相がＲである場合にＧの信号値を用いて補間演算を行ってその画素位置の信号値を求めると、元々Ｇの信号値はノイズと見なせるほど小さいものが、補間演算により信号値が増幅されてエッジ境界において粒状のアーチファクトが発生してしまう。
【０００７】
本発明は上記事情に鑑みなされたものであり、単板ＣＣＤ等の撮像デバイスにおいて得られた撮像信号に対して、エッジ付近におけるアーチファクトを発生させることなく高周波の信号を得ることができる信号生成方法および装置並びに信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明による信号生成方法は、異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成し、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成し、
該低周波色差信号に基づいて、前記各画素位置における色相彩度情報を生成し、
該色相彩度情報に基づいて、前記補間演算を行う画素位置を選択し、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成することを特徴とするものである。
【０００９】
ここで、「異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイス」とは、上述した単板ＣＣＤのような撮像素子のことをいうものである。なお、各光電変換素子は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のみならず、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、さらにはＣＭＹにＧ（緑）を加えたＣＭＹＧに分光感度を有するものであってもよく、これらの光電変換素子の配列は特定のものに限定されない。
【００１０】
また、「高周波の色情報を含む」とは、低周波から高周波までの全ての周波数帯域における色情報を含むということである。
【００１１】
また、「低周波の色情報を表す低周波色信号」とは、例えば線形補間演算やスプライン補間演算により、低周波色信号を求める画素位置およびその周囲の画素位置の信号値に基づいて得られるその画素位置における低周波の色信号のことをいう。このため、低周波色信号により得られる画像の解像度は全光電変換素子により得られる画像の解像度よりも小さくなり、その結果、低周波色信号は低周波の色情報を表すものとなる。
【００１２】
さらに、「色相彩度情報」とは各画素位置における色相および／または彩度の変化の大きさ、色相および／または彩度の値そのものを表す情報のことをいう。
【００１３】
また、「色相彩度情報に基づいて、補間演算を行う画素位置を選択する」とは、高周波色信号においてエッジ付近にアーチファクトが発生しないように、高周波色信号を算出する画素位置およびその周辺の画素位置から補間演算を行うために使用する画素位置を選択することをいう。具体的には、色相や彩度の変化方向に応じた画素位置や、色相や彩度の値そのものに応じた画素位置が選択される。
【００１４】
なお、本発明による信号生成方法においては、前記色相彩度情報は、前記各画素位置における色相および／または彩度の値であることが好ましく、さらに、前記各画素位置における色相および／または彩度の変化量であることが好ましい。
【００１５】
本発明による信号生成装置は、異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成装置であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成装置において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する低周波色信号生成手段と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する低周波色差信号生成手段と、
該低周波色差信号に基づいて、前記各画素位置における色相彩度情報を生成する色相彩度情報生成手段と、
該色相彩度情報に基づいて、前記補間演算を行う画素位置を選択する選択手段と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する高周波色信号生成手段とを備えたことを特徴とするものである。
【００１６】
なお、本発明による信号生成装置においては、前記色相彩度情報生成手段は、前記色相彩度情報を、前記各画素位置における色相および／または彩度の値として生成する手段であることが好ましく、さらには、前記色相彩度情報を、前記各画素位置における色相および／または彩度の変化量として生成する手段であることが好ましい。
【００１７】
なお、本発明による信号生成方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００１８】
【発明の効果】
本発明によれば、単板ＣＣＤのような撮像デバイスにおいて得られたカラー撮像信号から各画素位置における低周波の色信号が生成され、この低周波色信号に基づいて低周波色差信号が生成され、さらにこの低周波色差信号から各画素位置における色相彩度情報、すなわち各画素位置における色相、彩度の変化の大きさ、色相、彩度の値が生成される。そして、この色相彩度情報に基づいて、補間演算を行うために使用する画素位置が選択され、この選択された画素位置の信号値に基づいて補間演算が行われて高周波色信号が生成される。このように、本発明によれば、色相彩度情報に基づいて高周波色信号を生成するようにしたため、例えばある画素位置において高周波色信号を生成する際に、色相彩度情報に基づいてその画素位置の色相と補色関係にあるあるいは補色に近い信号値を使用することなく、信号値を求めることができ、これによりエッジ境界にアーチファクトが発生することを防止することができる。
【００１９】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による信号生成装置の構成を示す概略ブロック図である。図１に示すように本発明の実施形態による信号生成装置は、単板ＣＣＤ１を構成する各光電変換素子において得られた色信号Ｒ０，Ｇ０，Ｂ０からなる撮像信号Ｓ０から、各画素位置における高周波の色信号Ｒ１，Ｇ１，Ｂ１からなる高周波信号Ｓ１を生成するものであり、各色信号Ｒ０，Ｇ０，Ｂ０により構成される撮像信号Ｓ０から低周波の色情報を表す低周波色信号ＲＬ，ＧＬ，ＢＬを生成する低周波色信号生成手段２と、低周波色信号ＲＬ，ＧＬ，ＢＬに基づいて、低周波の輝度色差信号ＹＬ，ＣｒＬ，ＣｂＬを生成する低周波輝度色差信号生成手段３と、低周波の色差信号ＣｒＬ，ＣｂＬに基づいて色相Ｈｕｅおよび彩度Ｓａｔからなる色相彩度情報を生成する色相彩度情報生成手段４と、色相Ｈｕｅおよび彩度Ｓａｔの変化量Ｖを算出する変化量算出手段５と、色相彩度情報生成手段４において生成された色相彩度情報および変化量算出手段５において算出された変化量Ｖに基づいて、各画素位置およびその周辺の画素位置を選択して、選択された画素位置の信号値による補間演算を行って各画素位置における高周波の色情報を含む色信号Ｒ１，Ｇ１，Ｂ１を生成する高周波色信号生成手段６とを備える。
【００２０】
なお、本発明による信号生成装置は、デジタルカメラやフイルムから画像を読み取る撮像装置に備えられた画像処理装置に設けられるものである。この画像処理装置としては、単板ＣＣＤ１において得られた撮像信号Ｓ０から高周波色信号を生成してカラー画像信号を再構成するものであり、この画像処理装置における高周波色信号を生成するために、本実施形態による信号生成装置が用いられるものである。
【００２１】
図２は単板ＣＣＤ１の光電変換素子の配列を示す図である。図２（ａ）はＲ，Ｇ，Ｂに分光感度を有するＲ，Ｇ，Ｂチャンネルの光電変換素子を交互に配列したものであり、図２（ｂ）は紙面縦方向にＲ，Ｇチャンネルを交互に配列したラインと、Ｇ，Ｂチャンネルを交互に配列したラインとを横方向に交互に配列したものであり、輝度に影響を与えるＧチャンネルがＲ，Ｇチャンネルの２倍となっている。また、図２（ｃ）はＣ，Ｍ，Ｙに分光感度を有するＣ，Ｍ，Ｙチャンネルの光電変換素子を交互に配列したものであり、図２（ｄ）はＣ，Ｍ，ＹチャンネルにさらにＧチャンネルを加えた光電変換素子を交互に配列したものである。ここで、ＲＧＢとＣＭＹとは各原色の色度が定義されているため、相互に変換可能である。したがって、本発明による信号生成装置はいずれの配列の単板ＣＣＤ１から得られる撮像信号Ｓ０から高周波輝度信号ＹＨを生成するものであってもよいが、本実施形態においては、図２（ｂ）に示す光電変換素子の配列を有する単板ＣＣＤ１において得られた撮像信号Ｓ０に対して処理を施すものとして説明する。
【００２２】
低周波色信号生成手段２は、単板ＣＣＤ１から得られる撮像信号Ｓ０から各画素位置における低周波の色情報を表す低周波色信号ＲＬ，ＧＬ，ＢＬを生成するものである。まず、低周波色信号ＲＬの生成について説明する。図２（ｂ）に示す光電変換素子の配列において、Ｒチャンネルの素子のみを抽出した状態を図３に示す。図３においてＸで示す素子の位置（以下画素位置Ｘとする）においてはＲ信号は存在しないことから、画素位置ＸにおけるＲ信号を、その近傍画素位置におけるＲ信号の値に基づいて単板ＣＣＤ１の縦方向および横方向に対してこの順序で補間演算を施すことにより求める。なお、この補間演算としては、線形補間の他、滑らかさを重視したＢスプライン補間演算、鮮鋭度を重視したCubicスプライン補間演算等の高次の補間演算を適用することができる。
【００２３】
ここで、Cubic スプライン補間演算およびＢスプライン補間演算について説明する。本実施形態において使用される撮像信号Ｓ０は、等間隔の周期でサンプリングされた一方向に配列されたサンプリング点（画素）Ｘk-2 ，Ｘk-1 ，Ｘk ，Ｘk+1 ，Ｘk-2…に対応した信号値（Ｓk-2 ，Ｓk-1 ，Ｓk，Ｓk+1 Ｓk+2 …）を有するものする。Cubic スプライン補間演算は、オリジナルのサンプリング点（画素）Ｘk 〜Ｘk+1 間に設けられた補間点Ｘp の補間データＹ′を表す３次のCubic スプライン補間演算式（１）における補間データＹk-1 ，Ｙk ，Ｙk+1 ，Ｙk+2 にそれぞれ対応する補間係数ｃk-1 ，ｃk ，ｃk+1 ，ｃk+2 を、下記にそれぞれ示す演算により求めるものである。
【００２４】
Ｙ′＝ｃk-1 Ｙk-1 ＋ｃk Ｙk ＋ｃk+1 Ｙk+1 ＋ｃk+2 Ｙk+2 （１）
ｃk-1 ＝（−ｔ3 ＋２ｔ2 −ｔ）／２
ｃk ＝（３ｔ3 −５ｔ2 ＋２）／２
ｃk+1 ＝（−３ｔ3 ＋４ｔ2 ＋ｔ）／２
ｃk+2 ＝（ｔ3 −ｔ2）／２
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘk を基準としたときの補間点Ｘp の画素Ｘk+1 方向への位置を示す。）
Ｂスプライン補間演算は、オリジナルのサンプリング点Ｘk 〜Ｘk+1 間に設けられた補間点Ｘp の補間データＹ′を表す３次のＢスプライン補間演算式（２）における補間データＹk-1 、Ｙk 、Ｙk+1 、Ｙk+2 にそれぞれ対応する補間係数ｂk-1 ，ｂk ，ｂk+1 ，ｂk+2 を、下記にそれぞれ示す演算により求めるものである。
【００２５】
Ｙ′＝ｂk-1 Ｙk-1 ＋ｂk Ｙk ＋ｂk+1 Ｙk+1 ＋ｂk+2 Ｙk+2 （２）
ｂk-1 ＝（−ｔ3 ＋３ｔ2 −３ｔ＋１）／６
ｂk ＝（３ｔ3 −６ｔ2 ＋４）／６
ｂk+1 ＝（−３ｔ3 ＋３ｔ2 ＋３ｔ＋１）／６
ｂk+2 ＝ｔ3 ／６
（但し、ｔ（０≦ｔ≦１）は格子間隔を１とし、画素Ｘk を基準としたときの補間点Ｘp の画素Ｘk+1 方向への位置を示す。）
なお、本実施形態においては、色信号を平滑化する観点からＢスプライン補間演算を行うことが好ましく、また補間演算を行うことなく単にローパスフィルタによってフィルタリング処理することにより画素位置Ｘにおける色信号ＲＬを求めるようにしてもよい。ローパスフィルタとしては、単板ＣＣＤ１の全光電変換素子によりサンプリングした場合のナイキスト周波数をｆｓとした場合、図２（ｂ）に示す光電変換素子の配列を有する単板ＣＣＤ１では元の色信号Ｒ０は縦横方向には全信号の１／２しか存在しないことから、１／２ｆｓ以上の高周波成分をカットするものであることが好ましい。なお、ローパスフィルタの特性は、単板ＣＣＤ１における光電変換素子の配列に応じて変更することが好ましい。
【００２６】
ここで、演算時間を短縮するために下記のように補間演算を行うことが好ましい。図４はこの好ましい補間演算を説明するための図である。なお、ここでも色信号ＲＬの算出について説明する。図４においては、○の画素位置が元々色信号Ｒ０が存在する画素位置であり、□がＸ方向における補間演算により算出された色信号ＲＬが存在する画素位置、×がＹ方向における補間演算により算出された色信号ＲＬが存在する画素位置を示し、色信号ＲＬを算出する補間点の近傍４×４の画素位置における色信号ＲＬから画素位置×の色信号ＲＬを求めるものである。まず、Ｘ方向において求める画素位置×の色信号ＲＬを算出する補間点の近傍４ライン（ここでラインとはＸ方向のラインとし、それぞれライン１からライン４とする）について、画素位置□における色信号ＲＬを求め、４ライン分の信号をラインバッファに記憶する。なお、図４においては色信号ＲＬが算出された画素位置を■で示している。
【００２７】
次いで、算出された４ライン分の画素位置■における色信号ＲＬに基づいて、画素位置×における色信号ＲＬを算出する。そして、次のライン（ライン５）の画素位置□における色信号ＲＬを算出するには、ライン１の色信号ＲＬをラインバッファから消去しライン５の色信号ＲＬをラインバッファに記憶して、上記と同様に画素位置□の色信号ＲＬを算出するとともに、ライン４およびライン５の間における画素位置×における色信号ＲＬを算出する。以下この処理を１ライン毎に繰り返すことにより、全ての画素位置□、×における色信号ＲＬを算出して全画素位置における色信号ＲＬを得ることができる。
【００２８】
そして、色信号ＢＬについても、上述したような補間演算あるいはローパスフィルタによるフィルタリング処理により色信号Ｂ０が存在しない画素位置Ｘにおける信号が求められる。
【００２９】
また、色信号Ｇ０は色信号Ｒ０および色信号Ｂ０よりも多くの画素位置において信号値が得られるため、色信号ＧＬについてはその周波数特性を色信号ＲＬおよび色信号ＢＬと整合させるために、画素を１／２に間引き、間引いた後に上述したような補間演算あるいはローパスフィルタによるフィルタリング処理を行うことにより、色信号Ｇ０が存在しない画素位置Ｘにおける色信号ＧＬを求める。
【００３０】
低周波輝度色差信号生成手段３においては、低周波色信号ＲＬ，ＧＬ，ＢＬから下記の式（３）により低周波輝度信号ＹＬおよび低周波色差信号ＣｒＬ，ＣｂＬを算出する。
【００３１】
ＹＬ＝０．３ＲＬ＋０．６ＧＬ＋０．１ＢＬ
ＣｒＬ＝０．７ＲＬ−０．６ＧＬ−０．１ＢＬ （３）
ＣｂＬ＝−０．３ＲＬ−０．６ＧＬ＋０．９ＢＬ
なお、低周波輝度信号ＹＬは高周波色信号生成手段６に入力され、低周波色差信号ＣｒＬ，ＣｂＬは色相彩度情報生成手段４に入力される。
【００３２】
色相彩度情報生成手段４は、低周波輝度色差信号生成手段３において生成された低周波色差信号ＣｒＬ，ＣｂＬに基づいて、下記の式（４）および（５）により色相Ｈｕｅおよび彩度Ｓａｔを生成する。
【００３３】
Ｈｕｅ＝ｔａｎ-1（ＣｂＬ／ＣｒＬ） （４）
Ｓａｔ＝√（ＣｒＬ2＋ＣｂＬ2） （５）
ここで、８ビットにより表されるＲ（Ｒ＝２５５，Ｇ＝０，Ｂ＝０），Ｇ（Ｒ＝０，Ｇ＝２５５，Ｂ＝０），Ｂ（Ｒ＝０，Ｇ＝０，Ｂ＝２５５）およびＣ（Ｒ＝０，Ｇ＝２５５，Ｂ＝２５５），Ｍ（Ｒ＝２５５，Ｇ＝０，Ｂ＝２５５），Ｙ（Ｒ＝２５５，Ｇ＝２５５，Ｂ＝０）の色における色相Ｈｕｅおよび彩度Ｓａｔの関係を図５に示す。なお、図５においては原点から放射方向が彩度Ｓａｔを表し、ＣｒＬ軸に対する角度θが色相Ｈｕｅを表し、Ｒ，Ｇ，Ｂ，Ｃ，Ｍ，Ｙの各符号に付した数字は、上記式（４）および（５）により算出される（色相，彩度）を表している。
【００３４】
変化量算出手段５は、色相彩度情報生成手段４において生成された色相Ｈｕｅおよび彩度Ｓａｔに基づいて、各画素位置における色相Ｈｕｅおよび彩度Ｓａｔそれぞれの変化量の加算値としての変化量Ｖを求める。この変化量Ｖは、各画素位置を中心とする３×３画素の範囲内における色相Ｈｕｅおよび彩度Ｓａｔに対して、ロビンソンのエッジ検出フィルタによりフィルタリング処理を行うことにより求めることができる（画像解析ハンドブック、高木幹雄、下田陽久、東京大学出版会、1991、1/17、PP554）。このロビンソンのエッジ検出フィルタを図６に示す。図６（ａ）に示すフィルタは図７に示す矢印Ａ方向のエッジ強度を算出するためのフィルタであり、以下図６（ｂ）に示すフィルタは矢印Ｂ方向、図６（ｃ）に示すフィルタは矢印Ｃ方向、図６（ｄ）に示すフィルタは矢印Ｄ方向のエッジ強度を算出するためのフィルタである。具体的には色相Ｈｕｅについてみると、図８に示すように各画素位置の色相ＨｕｅをＨｕｅij（ｉ，ｊ＝−１〜１）とした場合、矢印Ａ方向の変化量Ｖ１は下記の式（６）により求めることができる。
【００３５】
V1=|Hue-1-1+2Hue0-1+Hue1-1-Hue-11-2Hue01-Hue11|+1 （６）
ここで、１を加算したのは変化量Ｖ１の値を０としないためである。そして、同様にして矢印Ｂ，Ｃ，Ｄ方向の変化量Ｖ２，Ｖ３，Ｖ４も求めることができる。また、彩度Ｓａｔの変化量についても色相Ｈｕｅの変化量と同様に求めることができる。
【００３６】
また、ここではロビンソンのエッジ検出フィルタにより変化量Ｖ１〜Ｖ４を求めているが、微分フィルタや差分フィルタによって求めるようにしてもよい。
【００３７】
このようにして各画素位置における色相Ｈｕｅおよび彩度Ｓａｔの変化量Ｖ１〜Ｖ４が求められると、変化量Ｖ１〜Ｖ４の平均値を求め、色相Ｈｕｅおよび彩度Ｓａｔそれぞれの変化量の平均値を加算して変化量Ｖを求める。なお、この変化量Ｖとしては色相Ｈｕｅおよび彩度Ｓａｔ毎に算出してもよく、これらを重み付け加算して算出してもよい。
【００３８】
高周波色信号生成手段６は、色相彩度情報生成手段４において生成された色相Ｈｕｅ、彩度Ｓａｔの値および／または変化量算出手段５において算出された変化量Ｖに基づいて、高周波の色信号Ｒ１，Ｇ１，Ｂ１からなる高周波信号Ｓ１を生成する。まず、変化量Ｖにのみ基づいての色信号Ｒ１，Ｇ１，Ｂ１の算出について説明する。
【００３９】
まず、色相Ｈｕｅおよび彩度Ｓａｔの変化が少ない場合（ケース１）について説明する。なお、「変化が少ない」とは変化量Ｖが例えば４０未満の値となる場合をいう。色相Ｈｕｅおよび彩度Ｓａｔの変化が少ない場合には、その画素位置周辺においては色の変化が少ないということができ、この場合には下記の式（７）に示すように、その画素位置における高周波色信号と低周波色信号との差は略等しいという関係が成立する。一方、図９に示すように、色相Ｈｕｅの変化があっても彩度Ｓａｔの変化が小さい場合（ケース２）には、その画素位置におけるＲＧＢの色信号は略等しくなってその画素位置周辺はグレーであるということができるため、同様に式（７）の関係が成立する。なお、この関係は各色信号が光量の対数により表されている場合に成立するものであり、色信号が光量により表されている場合には、その関係は式（７′）に示すものとなるが、本実施形態においては、各色信号は光量の対数により表されているものとして説明する。また、式（７）、（７′）において、Ｙ１は高周波の輝度信号（低周波成分をも含むもの）とする。
【００４０】
Ｙ１−ＹＬ＝Ｒ１−ＲＬ＝Ｇ１−ＧＬ＝Ｂ１−ＢＬ （７）
ＹＬ：ＲＬ：ＧＬ：ＢＬ＝Ｙ１：Ｒ１：Ｇ１：Ｂ１ （７′）
したがって、低周波色信号生成手段２において低周波の色信号ＲＬ，ＧＬ，ＢＬが算出されているため、元々その画素位置に存在する色信号（例えばＲ０）を高周波の色信号Ｒ１として式（７）の関係を用いれば、他の高周波色信号（Ｇ１，Ｂ１）を算出することができる。
【００４１】
具体的に、図１０に示すように画素位置に参照番号を付した場合、画素位置Ｒ4においてはＲ０＝Ｒ１であり、低周波輝度信号ＹＬ（Ｒ4）、高周波輝度信号Ｙ１（Ｒ4）、画素位置Ｒ4が元々有する色信号Ｒ０（Ｒ4）、および低周波色信号ＲＬ（Ｒ4）には、下記の式（８）の関係が成立する。
【００４２】
ＹＬ（Ｒ4）−ＲＬ（Ｒ4）＝Ｙ１（Ｒ4）−Ｒ０（Ｒ4） （８）
したがって、画素位置Ｒ4における高周波成分のみを表す輝度信号ＹＨ（Ｒ4）は、
ＹＨ（Ｒ4）＝Ｙ１（Ｒ4）−ＹＬ（Ｒ4）＝Ｒ０（Ｒ4）−ＲＬ（Ｒ4） （９）
となる。よって、この高周波の輝度信号ＹＨ（Ｒ4）を画素位置Ｒ4における低周波の色信号ＧＬ，ＢＬに加算することにより、画素位置Ｒ4における高周波の色信号Ｇ１（Ｒ4），Ｂ１（Ｒ4）は、下記の式（１０），（１１）に示すように求めることができる。
【００４３】
Ｇ１（Ｒ4）＝ＧＬ（Ｒ4）＋Ｒ０（Ｒ4）−ＲＬ（Ｒ4） （１０）
Ｂ１（Ｒ4）＝ＢＬ（Ｒ4）＋Ｒ０（Ｒ4）−ＲＬ（Ｒ4） （１１）
ここで、図１１（ａ）〜（ｃ）に示すようにＲＧＢ各信号の絶対値が異なり、図中の矢印に示すエッジの差のみが略等しい部分における高周波の色信号の算出について説明する。まず、図１２に示すように高周波色信号を算出する画素位置の周囲のＲＧＢ信号のみにより補間演算を行うと、図１３（ａ）に示すようにエッジ部分に偽色が発生する。一方、式（７）に示す関係が成立しているとすると、図１１（ｄ）〜（ｆ）に示すように、算出された高周波色信号によってはエッジの形状に差が生じないため、図１３（ｂ）に示すように偽色は発生しないものとなる。なお、図１１（ｅ），（ｆ）においては、低周波の色信号ＧＬ，ＢＬにＲ０（またはＲ１）−ＲＬを加算することにより、Ｒの画素位置における高周波の色信号Ｇ１，Ｂ１を算出しているものである。
【００４４】
なお、彩度Ｓａｔの値が小さい場合には、ＲＧＢ各色信号が略等しいことから、Ｙ１（Ｒ4）＝Ｒ０（Ｒ4）とし、この関係に基づいて下記の式（１２），（１３）により高周波の色信号Ｇ１（Ｒ4），Ｂ１（Ｒ4）を算出してもよい。
【００４５】
Ｇ１（Ｒ4）＝ＧＬ（Ｒ4）＋Ｒ０（Ｒ4）−ＹＬ（Ｒ4） （１２）
Ｂ１（Ｒ4）＝ＢＬ（Ｒ4）＋Ｒ０（Ｒ4）−ＹＬ（Ｒ4） （１３）
なお、Ｂの画素位置におけるＲ信号、Ｇ信号およびＧの画素位置におけるＲ信号、Ｂ信号についても上記と同様にして算出することができる。
【００４６】
次に、色相Ｈｕｅが一定で彩度Ｓａｔが変化する場合（ケース３）は、以下のようにして高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出する。図１４は、色相Ｈｕｅが一定で彩度Ｓａｔが変化する場合の高周波色信号の算出を説明するための図である。なお、ここでは色相ＨｕｅがＲにおいて一定であり、彩度が図１４の斜線部分に存在する場合について説明する。この場合は、Ｒが高彩度であるという前提で算出される信号と、Ｒが低彩度であるという前提で算出される信号との重み付け加算により、高周波の色信号Ｒ１，Ｇ１，Ｂ１が算出される。例えば、Ｒが高彩度であるという前提で算出される高周波の色信号をＲｈ１、Ｒが低彩度であるという前提で算出される高周波の色信号をＲｌ１とすると、色信号Ｒ１は下記の式（１４）により算出される。なお、ここで高彩度とは彩度Ｓａｔが２０以上であり、低彩度とは彩度Ｓａｔが１０未満であることをいう。
【００４７】
Ｒ１＝α・Ｒｈ１＋（１−α）・Ｒｌ１ （１４）
但し、α：彩度Ｓａｔに応じて定められる重み係数
なお、信号Ｒｌ１は、上述した色相Ｈｕｅの変化があっても彩度Ｓａｔが小さい場合において算出された高周波の色信号Ｒ１を使用すればよい。また、信号Ｒｈ１については後述する色相Ｈｕｅおよび彩度Ｓａｔの値そのものに基づく処理と同一の処理により算出される。
【００４８】
一方、色相Ｈｕｅおよび彩度Ｓａｔの変化がともに大きい場合（ケース４）についても、色相Ｈｕｅおよび彩度Ｓａｔの値そのものに基づく処理と同一の処理により高周波の色信号が算出される。
【００４９】
次に、色相Ｈｕｅおよび彩度Ｓａｔの値そのものに基づく高周波の色信号の算出について説明する。まず、色相Ｈｕｅの値に応じた色信号の算出（ケース５）について説明する。なお、この色相Ｈｕｅの値に応じた色信号の算出は、上述した彩度Ｓａｔが高彩度である場合の式（１４）における信号Ｒｈ１の算出、色相Ｈｕｅおよび彩度Ｓａｔの変化がともに大きい場合（ケース４）にも適用される。まず、色相ＨｕｅがＲであると判断された場合、その画素位置における輝度信号はＲの色信号が支配的であることから、下記の式（１５）に示す関係が成立する。
【００５０】
Ｙ１−ＹＬ＝Ｒ１−ＲＬ （１５）
ここで、高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出する画素位置を図１０の画素位置Ｂ0とすると、式（１５）の関係より、
Ｙ１（Ｂ0）−ＹＬ（Ｂ0）＝Ｒ１（Ｂ0）−ＲＬ（Ｂ0） （１６）
となる。式（１６）における色信号Ｒ１（Ｂ0）は画素位置Ｂ0の近傍の画素位置Ｒ0，Ｒ1，Ｒ3，Ｒ4における色信号Ｒ０に基づいて算出する。具体的には、４画素位置Ｒ0，Ｒ1，Ｒ3，Ｒ4における色信号Ｒ０の平均値であってもよく、色相Ｈｕｅおよび／または彩度Ｓａｔの変化が最も少ない方向の画素位置における信号値のみを用いて算出してもよい。ここで、色相Ｈｕｅおよび／または彩度Ｓａｔの変化が最も少ない方向が画素位置Ｒ3の方向であったとすると、
Ｒ１（Ｂ0）＝ＢＬ（Ｂ0）＋Ｒ０（Ｒ3）−ＲＬ（Ｂ0） （１７）
により画素位置Ｂ0における色信号Ｒ１（Ｂ0）を算出できる。ここで、式（１７）においては、Ｒ１（Ｂ0）＝Ｒ０（Ｒ3）としてもよい。なお、Ｂの画素位置におけるＲ信号、Ｇ信号およびＧの画素位置におけるＲ信号、Ｂ信号についても同様にして算出することができる。また、色相ＨｕｅがＧやＢと判断された場合には、
Ｙ１−ＹＬ＝Ｇ１−ＧＬ （１８）
Ｙ１−ＹＬ＝Ｂ１−ＢＬ （１９）
の関係に基づいて、上記と同様に高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出することができる。
【００５１】
一方、色相Ｈｕｅがシアン（Ｃ）であると判断された場合には、その画素位置における輝度信号はＧ信号およびＢ信号が支配的であることから、下記の式（２０）に示す関係が成立する。
【００５２】
Ｙ１−ＹＬ＝Ｇ１−ＧＬ＝Ｂ１−ＢＬ （２０）
ここで、高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出する画素位置を図１０の画素位置Ｂ0とすると、式（２０）の関係より下記の式（２１）、（２２）によって画素位置Ｂ0における高周波の色信号Ｒ１（Ｂ0），Ｇ１（Ｂ0）を求めることができる。
【００５３】
Ｒ１（Ｂ0）＝ＲＬ（Ｂ0）＋Ｂ０（Ｂ0）−ＢＬ（Ｂ0） （２１）
Ｇ１（Ｂ0）＝ＧＬ（Ｂ0）＋Ｂ０（Ｂ0）−ＢＬ（Ｂ0） （２２）
一方、画素位置Ｇ5における高周波の色信号Ｒ１（Ｇ5），Ｂ１（Ｇ5）は下記の式（２３）、（２４）により求めることができる。
【００５４】
Ｒ１（Ｇ5）＝ＲＬ（Ｇ5）＋Ｇ０（Ｇ5）−ＧＬ（Ｇ5） （２３）
Ｂ１（Ｇ5）＝ＢＬ（Ｇ5）＋Ｇ０（Ｇ5）−ＧＬ（Ｇ5） （２４）
また、画素位置Ｒ4における高周波の色信号Ｇ１，Ｂ１については、上述したように色相ＨｕｅがＲと判断された場合と同様にして求める。ここで、色相Ｈｕｅおよび／または彩度Ｓａｔの変化が最も少ない方向が画素位置Ｇ6方向である場合には、
Ｇ１（Ｒ4）＝ＧＬ（Ｒ4）＋Ｇ０（Ｇ6）−ＧＬ（Ｒ4）＝Ｇ０（Ｇ6）（２５）
により画素位置Ｒ4における色信号Ｇ１を算出することができ、色相Ｈｕｅおよび／または彩度Ｓａｔの変化が最も少ない方向が画素位置Ｂ3の方向である場合には、
Ｂ１（Ｒ4）＝ＢＬ（Ｒ4）＋Ｂ０（Ｂ3）−ＢＬ（Ｒ4）＝Ｂ０（Ｂ3）（２６）
により画素位置Ｒ4における色信号Ｂ１を算出することができる。
【００５５】
なお、色相Ｈｕｅがマゼンタ、イエローと判断された場合にも、それぞれ下記の式（２７）、（２８）に示す関係を用いることにより、上記と同様にして各画素位置における高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出することができる。
【００５６】
Ｙ１−ＹＬ＝Ｒ１−ＲＬ＝Ｂ１−ＢＬ （２７）
Ｙ１−ＹＬ＝Ｒ１−ＲＬ＝Ｇ１−ＧＬ （２８）
ここで、ある画素位置における信号値を求める場合において、その画素位置が本来有する色相Ｈｕｅがある場合、その色相Ｈｕｅと補色関係にあるあるいはその補色に近い信号値を用いて補間演算を行って高周波色信号Ｒ１，Ｇ１，Ｂ１を求めると、アーチファクトが発生しやすくなる。例えば、色相ＨｕｅがＲであるのにＧの信号値を用いてその画素位置の信号値を求めると、元々Ｇの信号値はノイズと見なせるほど小さいものが、補間演算を行うことにより信号値が増幅されてエッジ境界において粒状のアーチファクトが発生する。このため、本実施形態のように信号を算出する画素位置における色相Ｈｕｅの値に応じて、その色相Ｈｕｅとは補色関係となる色信号を用いることなく、高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出することにより、エッジ境界に発生するアーチファクトを抑制することができる。
【００５７】
なお、色相Ｈｕｅがある色相とある色相との中間の色相、例えば色相ＨｕｅがＲとマゼンタの中間の色相である場合には、色相ＨｕｅがＲであるという前提で算出される色信号と、色相Ｈｕｅがマゼンタであるという前提で算出される色信号との重み付け加算により、高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出すればよい。例えば、Ｒ信号について考えると、色相ＨｕｅがＲであるという前提で算出される高周波の色信号をＲｒ１、色相Ｈｕｅがマゼンタであるという前提で算出される高周波の色信号をＲｍ１とすると、色信号Ｒ１は下記の式（２９）により算出される。
【００５８】
Ｒ１＝β・Ｒｒ１＋（１−β）・Ｒｍ１ （２９）
但し、β：色相Ｈｕｅに応じた重み係数
次に、彩度Ｓａｔに応じた色信号の算出（ケース７）については、彩度Ｓａｔが小さい場合には、上述した色相Ｈｕｅの変化はあっても彩度Ｓａｔが小さい場合と同様にして色信号Ｒ１，Ｇ１，Ｂ１を算出し、彩度Ｓａｔが所定値（例えば２０）よりも大きい場合には、彩度Ｓａｔに拘わらず、上述した色相Ｈｕｅに応じた処理により色信号Ｒ１，Ｇ１，Ｂ１が算出される。
【００５９】
次に、色相Ｈｕｅ、彩度Ｓａｔおよび変化量Ｖに応じた色信号の算出（ケース８）について説明する。これは色相Ｈｕｅおよび彩度Ｓａｔの値に応じて重み付け加算を行って高周波の色信号Ｒ１，Ｇ１，Ｂ１を算出するものである。なお、具体的な値として、色相Ｈｕｅ＝１００°、彩度Ｓａｔ＝１５、変化量Ｖ＝４５を使用して説明する。
【００６０】
ここで、色相Ｈｕｅ＝１００°ということは、ＲとＣの中間の色相ということであるから、上述した色相Ｈｕｅに応じた処理において色相ＨｕｅがＲであると判断された場合、および色相ＨｕｅがＣであると判断された場合の双方について高周波の色信号を求め、これらを色相Ｈｕｅの値に応じて重み付け加算してその色相Ｈｕｅに応じた高周波の色信号（ここではＳＨｈとする）を算出する。ここで、色相ＨｕｅがＲと判断された場合およびＣと判断された場合の高周波の色信号をＳＨ（Ｒ）、ＳＨ（Ｃ）とすると、下記の式（３０）により重み係数ａを用いて高周波の色信号ＳＨｈを算出することができる。
【００６１】
ＳＨｈ＝（１−ａ）・ＳＨ（Ｒ）＋ａ・ＳＨ（Ｃ） （３０）
ここで、重み係数ａが図１５に示すものであるとすると、
SHh＝(1-(100-97)/(156-97))*SH(R)+(100-97)/(156-97)*SH(C) （３１）
により高周波の色信号ＳＨｈを算出することができる。
【００６２】
次いで、このように算出された高周波の色信号ＳＨｈを変化量Ｖに応じて重み付け加算する。ここで、変化量Ｖに応じて算出された高周波の色信号をＳＨｃとすると、下記の式（３２）により重み係数ｂを用いて高周波の色信号ＳＨｈｃを算出することができる。
【００６３】
ＳＨｈｃ＝（１−ｂ）・ＳＨｈ＋ｂ・ＳＨｃ （３２）
ここで、重み係数ｂが図１６に示すものであるとすると、
SHhc＝(1-(45-40)/(60-40))*SHh+(45-40)/(60-40)*SHc （３３）
により高周波の色信号ＳＨｈｃを算出することができる。なお、変化量Ｖに応じて算出された高周波の色信号とは、上述したケース１〜４において算出される高周波の色信号Ｒ１，Ｇ１，Ｂ１である。
【００６４】
さらに、このように算出された高周波の色信号ＳＨｈｃを彩度Ｓａｔに応じて重み付け加算する。ここで、彩度Ｓａｔに応じて算出された高周波の色信号をＳＨｓとすると、下記の式（３４）により重み係数ｃを用いて高周波の色信号ＳＨｈｃｓを算出することができる。
【００６５】
ＳＨｈｃｓ＝（１−ｃ）・ＳＨｈｃ＋ｃ・ＳＨｓ （３４）
ここで、重み係数ｃが図１７に示すものであるとすると、
SHhcs＝(1-(15-10)/(20-10))*SHhc+(15-10)/(20-10)*SHs （３５）
により高周波の色信号ＳＨｈｃｓを算出することができる。
【００６６】
次いで、本実施形態の動作について説明する。図１８は本実施形態の動作を示すフローチャートである。まず、単板ＣＣＤ１により撮影が行われて色信号Ｒ０，Ｇ０，Ｂ０からなる撮像信号Ｓ０が得られる（ステップＳ１）。次いで、低周波色信号生成手段２において低周波の色信号ＲＬ，ＧＬ，ＢＬが生成される（ステップＳ２）。一方、低周波輝度色差信号生成手段３において、低周波の輝度信号ＹＬおよび色差信号ＣｒＬ、ＣｂＬが生成される（ステップＳ３）。そして、低周波色差信号ＣｒＬ，ＣｂＬは色相彩度情報生成手段４に入力され、ここで色相Ｈｕｅおよび彩度Ｓａｔからなる色相彩度情報が生成される（ステップＳ４）。一方、色相Ｈｕｅおよび彩度Ｓａｔは変化量算出手段５に入力され、ここで、色相Ｈｕｅおよび彩度Ｓａｔの変化量Ｖが算出される（ステップＳ５）。
【００６７】
このようにして色相Ｈｕｅ、彩度Ｓａｔおよび変化量Ｖが求められると、高周波色信号生成手段６において、上述したように、色相Ｈｕｅおよび彩度Ｓａｔの値に応じて、あるいは変化量Ｖに応じて各画素位置における高周波の色信号Ｒ１，Ｇ１，Ｂ１が生成され、これにより高周波信号Ｓ１が得られ（ステップＳ６）、処理を終了する。
【００６８】
このように、本実施形態によれば、色相Ｈｕｅおよび／または彩度Ｓａｔの値、あるいはこれらの変化量Ｖからなる色相彩度情報に基づいて、高周波の色信号Ｒ１，Ｇ１，Ｂ１を生成するようにしたため、例えばある画素位置において高周波信号Ｓ１を生成する際に、色相彩度情報に基づいてその画素位置の色相と補色関係にあるあるいはその色相に近い信号値を使用することなく、信号値を求めることができるため、エッジ境界にアーチファクトが発生することを防止することができる。
【００６９】
なお、上記実施形態においては、図４に示す方法により低周波の色信号ＲＬ，ＧＬ，ＢＬを算出しているが、これに限定されるものではなく、種々の方法により低周波の色信号ＲＬ，ＧＬ，ＢＬを算出することができるものである。
【００７０】
また、上記実施形態においては、重み係数ａ〜ｃを図１５〜図１７に示すように、Ｈｕｅ、Ｖ、Ｓａｔの値に応じて線形に変化する関数としているが、これに限定されるものではなく、Ｈｕｅ、Ｖ、Ｓａｔの値に応じて３次元的に変化するような関数としてもよい。
【図面の簡単な説明】
【図１】本発明の実施形態による信号生成装置の構成を示す概略ブロック図
【図２】光電変換素子の配列を示す図
【図３】Ｒ信号の画素位置を示す図
【図４】低周波色信号を算出するための補間演算を説明するための図
【図５】色相および彩度の関係を示す図
【図６】ロビンソンのエッジ検出フィルタを示す図
【図７】エッジ強度を求める方向を示す図
【図８】エッジ強度の算出を説明するための図
【図９】色相および彩度の関係において彩度が低い領域を示す図
【図１０】画素位置の配列を参照番号を付して示す図
【図１１】高周波の色信号の算出を説明するための図
【図１２】補間演算を説明するための図
【図１３】エッジ部分の補間演算結果を示す図
【図１４】色相および彩度の関係において彩度が変化する場合を説明するための図
【図１５】重み係数ａを示す図
【図１６】重み係数ｂを示す図
【図１７】重み係数ｃを示す図
【図１８】本実施形態の動作を示すフローチャート
【符号の説明】
１ 単板ＣＣＤ
２ 低周波色信号生成手段
３ 低周波輝度色差信号生成手段
４ 色相彩度情報生成手段
５ 変化量算出手段
６ 高周波色信号生成手段
Claims (6)
- 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成し、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成し、
該低周波色差信号に基づいて、前記各画素位置における色相および／または彩度の値を生成し、
該色相および／または彩度の値に基づいて、前記補間演算を行う画素位置を選択し、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成することを特徴とする信号生成方法。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成し、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成し、
該低周波色差信号に基づいて、前記各画素位置における色相および／または彩度の変化量を生成し、
該色相および／または彩度の変化量に基づいて、前記補間演算を行う画素位置を選択し、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成することを特徴とする信号生成方法。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成装置であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成装置において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する低周波色信号生成手段と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する低周波色差信号生成手段と、
該低周波色差信号に基づいて、前記各画素位置における色相および／または彩度の値を生成する色相彩度情報生成手段と、
該色相および／または彩度の値に基づいて、前記補間演算を行う画素位置を選択する選択手段と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する高周波色信号生成手段とを備えたことを特徴とする信号生成装置。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成装置であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成装置において、
前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する低周波色信号生成手段と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する低周波色差信号生成手段と、
該低周波色差信号に基づいて、前記各画素位置における色相および／または彩度の変化量を生成する色相彩度情報生成手段と、
該色相および／または彩度の変化量に基づいて、前記補間演算を行う画素位置を選択する選択手段と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する高周波色信号生成手段とを備えたことを特徴とする信号生成装置。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記プログラムは、前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する手順と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する手順と、
該低周波色差信号に基づいて、前記各画素位置における色相および／または彩度の値を生成する手順と、
該色相および／または彩度の値に基づいて、前記補間演算を行う画素位置を選択する手順と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。 - 異なる分光感度を有する複数種類の光電変換素子を単一面上に配置した撮像デバイスにおいて得られたカラー撮像信号に基づいて、前記各光電変換素子に対応する各画素位置における高周波の色情報を含む高周波色信号を生成する信号生成方法であって、前記各画素位置および該各画素位置の周囲の画素位置における信号値に基づいて補間演算を行って前記各画素位置における前記高周波色信号を生成する信号生成方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体において、
前記プログラムは、前記カラー撮像信号に基づいて、前記各画素位置における低周波の色情報を表す低周波色信号を生成する手順と、
該低周波色信号に基づいて、前記各画素位置における低周波の色差情報を表す低周波色差信号を生成する手順と、
該低周波色差信号に基づいて、前記各画素位置における色相および／または彩度の変化量を生成する手順と、
該色相および／または彩度の変化量に基づいて、前記補間演算を行う画素位置を選択する手順と、
該選択された画素位置の信号値に基づいて補間演算を行って、前記高周波色信号を生成する手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25529899A JP3946913B2 (ja) | 1999-09-09 | 1999-09-09 | 信号生成方法および装置並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25529899A JP3946913B2 (ja) | 1999-09-09 | 1999-09-09 | 信号生成方法および装置並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001086523A JP2001086523A (ja) | 2001-03-30 |
| JP3946913B2 true JP3946913B2 (ja) | 2007-07-18 |
Family
ID=17276840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25529899A Expired - Fee Related JP3946913B2 (ja) | 1999-09-09 | 1999-09-09 | 信号生成方法および装置並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3946913B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3926363B2 (ja) * | 2004-11-04 | 2007-06-06 | 三菱電機株式会社 | 画素信号処理装置及び画素信号処理方法 |
| JP6924081B2 (ja) * | 2017-06-19 | 2021-08-25 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
| JP7100783B1 (ja) | 2021-09-09 | 2022-07-14 | 株式会社ツバサファクトリー | 学習装置及び推論装置 |
-
1999
- 1999-09-09 JP JP25529899A patent/JP3946913B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001086523A (ja) | 2001-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5326943B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP4352371B2 (ja) | 適応モザイク減少法を実装するディジタル画像処理方法 | |
| JP4162111B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP4520886B2 (ja) | カラー画像のデモザイク処理を行うための高品質グラディエント補正線形補間 | |
| JP5260635B2 (ja) | パンクロマチック画像を用いたノイズ低減されたカラーの画像 | |
| JP5206796B2 (ja) | 画像入力装置 | |
| JP5677040B2 (ja) | 画像処理装置およびその制御方法 | |
| US7256828B2 (en) | Weighted gradient based and color corrected interpolation | |
| JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP5441652B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
| JP4983093B2 (ja) | 撮像装置および方法 | |
| JP3806211B2 (ja) | 撮像信号処理方法及び撮像信号処理装置 | |
| US8270774B2 (en) | Image processing device for performing interpolation | |
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| US20070292022A1 (en) | Weighted gradient based and color corrected interpolation | |
| US7801355B2 (en) | Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium | |
| US7269295B2 (en) | Digital image processing methods, digital image devices, and articles of manufacture | |
| JP3458080B2 (ja) | カラー撮像装置 | |
| JP4725520B2 (ja) | 画像処理装置、非撮像色信号算出装置及び画像処理方法 | |
| CN105046631A (zh) | 图像处理设备和图像处理方法 | |
| JP3946913B2 (ja) | 信号生成方法および装置並びに記録媒体 | |
| JP5454156B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
| Wang et al. | Demosaicing with improved edge direction detection | |
| JP5484015B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| JP6435560B1 (ja) | 画像処理装置、画像処理方法、プログラム及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061116 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070412 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110420 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120420 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130420 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140420 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |