JP4914303B2 - 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム - Google Patents

Description

本発明は、２次元状に複数の光電変換素子（画素）が配置されてＲＧＢ３原色のベイヤー配列のカラーフィルタを有する撮像素子を備えた画像処理装置及び撮像装置に関し、特に、解像度が良くて偽色が少なく、画質を向上させる技術に関する。

従来、デジタルカメラなどの撮像系において、レンズを介して撮像素子に被写体像を結像して、この撮像素子によって被写体像を光電変換し、画像信号を生成する画像処理装置及び画像処理方法が知られている。

そして、単板式の撮像素子として、マトリクス状に複数の光電変換素子によって構成されると共に、その前面にカラーフィルタが備えられ、このカラーフィルタを介して出力した各色の画素信号に信号処理を加えて画像データを生成する画像処理装置及び画像処理方法が知られている。

また、画像処理装置において、単板式撮像素子におけるカラーフィルタが、光電変換素子の夫々に対応付けられて、マトリクス状にＲ（赤）Ｇ（緑）Ｂ（青）の３色からなるベイヤー（Ｂａｙｅｒ）配列で構成され、この撮像素子を介して出力された画像信号のＲが１画素、Ｇが２画素、Ｂが１画素からなる４画素を１単位として、１単位毎に輝度信号及び色差信号を生成し、これらの信号から、カラー画像の画素に対応付けた画像信号を生成しているものがある（例えば、特許文献１参照）。

例えば、前記の単板式撮像装置を用いた画像処理装置では、ベイヤー配列のカラーフィルタを備えたＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を介してＲ、Ｇｒ、Ｇｂ、Ｂの色信号を取り込み、次いで、Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素ずつサンプリングしてこの４画素の中心画素に対応する画像信号を作成している。

詳しくは、単板式の撮像素子では各画素が単色の色情報しか持たないが、カラー画像を表示するためには、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の値すべてが各画素で必要である。このため単板式撮像素子を用いた画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみを有する色モザイク画像にもとづいて、いわゆるデモザイク処理を行っている。ここで、デモザイク処理とは、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれＲ、Ｇ、Ｂ成分の全てを有するカラー画像を生成する処理である（所謂、色補間処理である）。

ところで、このような単板式撮像素子を用いた画像処理において、単に補間処理を行うのみでは、偽色が発生したり解像度を損なったりする虞がある。

例えば、Ｒ信号及びＢ信号のサンプリング周波数が、Ｇ信号の１／２しかないため、ｆｓ／２（ナイキスト周波数）以上はサンプリング定理によって全て折り返ってしまう。また、Ｒ信号及びＢ信号の位相がｆｓ／２で互いにずれてしまう。

そして、前記の折り返しや位相差によって画面に偽色（例えば、本来の被写体にはない縞状の模様）が生じるという問題があった。そこで、偽色を防止するために、レンズと撮像素子との間にカットオフ周波数がｆｓ／２程度の光学フィルタを配置して、撮像素子に対するｆｓ／２以上の入射光をカットする方法がある（例えば、特許文献２参照）。

また、前記カラー画像処理装置では、画像エッジ周辺に発現する偽色抑制に着目し、画像エッジ周辺において、隣接する複数の画素信号の差分を比較し、この差分が予め定められた所定値（閾値）を超える場合には、この画素信号を抑圧することにより、偽色を抑制する方法がある（例えば、特許文献３参照）。
特開２０００−２８７２１１ 特開平７−７７３３ 特開平１１−３０８６２５

しかしながら、従来のようにレンズと撮像素子との間にカットオフ周波数がｆｓ／２程度の光学フィルタを配置すれば、偽色の除去とともに正しい信号成分もカットされ、解像度を損なう虞があった。

また、特許文献３のように、このエッジ周辺において、隣接する複数の画素信号の差分を比較して、この差分が予め定められた所定値内に入るように偽色を抑制する方法によれば、偽色ではない有色の縞模様を、偽色として誤って低減し、彩度を損なう虞があった。

そこで、本発明は、解像度を損なうことなく偽色を抑制できて、高品位なカラー画像を得ることができる画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラムを提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、ベイヤー配列のカラーフィルタを有する撮像素子を介して出力され、Ｒ（赤）、Ｇｒ（画素配列の一方向において前記Ｒの隣に位置する緑）、Ｇｂ（前記一方向においてＢの隣に位置する緑）Ｂ（青）からなるモザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置であって、前記カラー画像における画素位置において、前記Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成し、前記Ｇｒの画素信号とＧｂの画素信号との和から前記Ｒの画素信号とＢの画素信号を減算して第一色差を生成すると共に、前記Ｒの画素信号と前記Ｂの画素信号との差を算出して第二色差を生成する同時化手段と、前記第一色差及び第二色差の少なくとも何れか一方の偽色抑制を行う偽色抑制手段と、前記輝度、前記偽色抑制手段を介して偽色抑制された第一色差、第二色差等を所定の色空間に変換して前記色情報を生成する色空間変換手段と、を備えることを特徴とする。

請求項１に記載の発明によれば、カラー画像における画素位置において、Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成し、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号を減算して第一色差を生成すると共に、Ｒの画素信号とＢの画素信号との差を算出して第二色差を生成する同時化手段と、第一色差及び第二色差の少なくとも何れか一方の偽色抑制を行う偽色抑制手段と、輝度、偽色抑制手段を介して偽色抑制された第一色差、第二色差等を所定の色空間に変換して色情報を生成する色空間変換手段と、を備えることにより、解像度を損なうことなく偽色を抑制できて、高品位なカラー画像を得ることができ、特には、輝度の高周波成分を色差と誤って検出することによって生じる偽色を、効果的に抑制することができる。

本出願の発明者によって、ベイヤー配列のカラーフィルタを有する撮像素子を介して出力されたモザイク画像において、斜め方向では第一色差の偽色が発現し易く、水平及び垂直方向では第二色差の偽色が発現し易いことが見出された。そこで、モザイク画像から第一色差及び第二色差を生成して、これらを所定量低減させることにより、高品位なカラー画像を得ることができる。

また、請求項１に記載画像処理装置は、請求項２に記載の発明のように、前記偽色抑制の情報として、輝度の異なる方向の高周波成分の量を表す第一パラメータ及び第二パラメータの少なくとも何れか一方のパラメータを生成する偽色情報生成手段を備えていることにより、これらのパラメータに応じて第一色差及び第二色差に含まれる偽色の信号成分を精度良く抑制できる。

また、請求項２に記載の画像処理装置は、請求項３に記載の発明のように、前記第二パラメータが、前記Ｇｒの画素信号とＧｂの画素信号との差を表すパラメ−タであることにより、ＧｒとＧｂとの差に基づいて偽色の量を演算して偽色を抑制できる。つまり、ベイヤー配列の撮像素子に縦或いは横方向にｆｓ／２の周期を持つ輝度の縞模様を含む画像が結像した場合に、Ｒの画素又はＢの画素に結像する輝度が異なり偽色が発生する。この際、同様にＧｒの画素とＧｂの画素に結像する輝度も異なるので、ＧｒとＧｂの差を偽色抑制情報の第二パラメータとすればよい。

また、請求項２に記載の画像処理装置は、請求項４に記載の発明のように、前記偽色抑制手段が、前記第一パラメータに応じて前記第一色差を抑制し、前記第二パラメータに応じて、前記第二色差を抑制するように構成されていることにより、第一色差及び第二色差に含まれる偽色を抑制できる。

また、請求項１乃至請求項４の何れかに記載の画像処理装置は、請求項５に記載の発明のように、前記偽色抑制手段を介して出力された第一色差及び第二色差に対して、高周波ノイズを除去する低周波透過フィルタを備えていることにより、カラー画像における色差ノイズを低減できて、一層、高品位なカラー画像を生成できる。

また、請求項１に記載の画像処理装置は、請求項６に記載の発明のように、前記偽色抑制手段が、前記第一色差及び第二色差に対して、高周波成分を除去する低周波透過フィルタであることにより、第一色差及び第二色差の位相ずれを抑制でき、高品位なカラー画像を得ることができる。

次に、請求項７に記載の発明は、前記撮像素子に被写体像を導くための撮像光学系と、前記撮像素子を介して出力されたモザイク画像の画像信号に基づいて、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置とを備えた撮像装置であって、前記画像処理装置が請求項１乃至請求項６の何れかである、ことを特徴とする。

請求項７に記載の撮像装置によれば、請求項１乃至請求項６に記載の画像処理装置を備えているので、解像度を損なうことなく偽色を抑制できて、高品位なカラー画像を得ることができ、特には、輝度の高周波成分を色差と誤って検出することによって生じる偽色を、効果的に抑制することができる。

また、請求項７に記載の撮像装置は、請求項８に記載の発明のように、被写体像を前記撮像素子へ結像させる入射光路上に、前記カラー画像の画素配列における、斜め方向の輝度高周波を抑制する光学ロ−パスフィルタが備えられ、該光学ローパスフィルタのカットオフが、前記モザイク画像の画素の配置方向に関連付けられて、前記モザイク画像の周波数空間上で原点を中心として斜め４５°に傾いた四辺形を成し、この四辺形の内方を透過帯域とするように構成されていることにより、第一色差の偽色が発現する画素配列斜め方向の輝度高周波を効果的に抑制でき、偽色抑制手段と相まって、一層、偽色抑制の効果を発現できる。

次に、請求項９に記載の発明は、ベイヤー配列のカラーフィルタを有する撮像素子を介して出力され、Ｒ（赤）、Ｇｒ（画素配列の一方向において前記Ｒの隣に位置する緑）、Ｇｂ（前記一方向においてＢの隣に位置する緑）Ｂ（青）からなるモザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理方法であって、前記カラー画像における画素位置において、前記Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成する輝度生成ステップと、前記Ｇｒの画素信号とＧｂの画素信号との和から前記Ｒの画素信号とＢの画素信号を減算して第一色差を生成する第一色差生成ステップと、前記Ｒの画素信号と前記Ｂの画素信号との差を算出して第二色差を生成する第二色差生成ステップと、前記第一色差及び第二色差の少なくとも何れか一方の偽色抑制を行う偽色抑制ステップと、前記輝度及び前記偽色抑制ステップを介して偽色抑制された第一色差、第二色差を所定の色空間に変換して前記色情報を生成する色空間変換ステップと、を用いることを特徴とする。

請求項９に記載の画像処理方法は、カラー画像における画素位置において、Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成する輝度生成ステップと、Ｇｒの画素信号とＧｂの画素信号との和から前記Ｒの画素信号とＢの画素信号を減算して第一色差を生成する第一色差生成ステップと、Ｒの画素信号とＢの画素信号との差を算出して第二色差を生成する第二色差生成ステップと、第一色差及び第二色差の少なくとも何れか一方の偽色抑制を行う偽色抑制ステップと、輝度及び偽色抑制ステップを介して偽色抑制された第一色差、第二色差を所定の色空間に変換して前記色情報を生成する色空間変換ステップと、を用いることにより、請求項１に記載の発明と同様に、解像度を損なうことなく偽色を抑制できて、高品位なカラー画像を得ることができ、特には、撮像素子から出力される画素信号の偽色を、効果的に抑制することができる。

また、請求項９に記載の画像処理方法は、請求項１０に記載の発明のように、前記偽色抑制の情報として、輝度の異なる方向の高周波成分の量を表す第一パラメータ及び第二パラメータの少なくとも何れか一方のパラメータを生成する偽色情報生成ステップを用いることにより、請求項２に記載の発明と同様に、これらのパラメータに応じて第一色差及び第二色差に含まれる偽色の信号成分を精度良く抑制できる。

また、請求項１０に記載の画像処理方法は、請求項１１に記載の発明のように、前記第二パラメータが、前記Ｇｒの画素信号とＧｂの画素信号との差を表すパラメ−タであることにより、請求項３に記載の発明と同様に、ＧｒとＧｂとの差に基づいて偽色の量を演算して偽色を抑制できる。

また、請求項１０に記載の画像処理方法は、請求項１２に記載の発明のように、前記偽色抑制ステップにおいて、前記第一パラメータに応じて前記第一色差を抑制し、前記第二パラメータに応じて前記第二色差を抑制することにより、請求項４に記載の発明と同様に、第一色差及び第二色差に含まれる偽色を抑制できる。

また、請求項９乃至請求項１２の何れかに記載の画像処理方法は、請求項１３に記載の発明のように、前記偽色抑制ステップを介して出力された第一色差及び第二色差に対して、低周波透過フィルタを用いて高周波成分を除去することにより、請求項５に記載の発明と同様に、カラー画像における色差ノイズを低減できて、一層、高品位なカラー画像を生成できる。

また、請求項９に記載の画像処理方法は、請求項１４に記載の発明のように、前記偽色抑制ステップにおいて、低周波透過フィルタを用いて、前記第一色差及び第二色差に対して高周波成分を除去することにより、請求項６に記載の発明と同様に、第一色差及び第二色差の位相ずれを抑制でき、高品位なカラー画像を得ることができる。

次に、請求項１５に記載の発明は、前記撮像素子に被写体像を導くための撮像光学系を用い、前記撮像素子を介して出力されたモザイク画像の画像信号に基づいて、画素毎に複数の色情報を備えたカラー画像を生成するように画像処理を行う撮像方法であって、前記画像処理方法が請求項９乃至請求項１４の何れかである、ことを特徴とする。

請求項１５に記載の撮像方法によれば、画像処理方法が請求項９乃至請求項１４の何れかであることにより、請求項７に記載の発明と同様に、解像度を損なうことなく偽色を抑制できて、高品位なカラー画像を得ることができ、特には、輝度の高周波成分を色差と誤って検出することによって生じる偽色を、効果的に抑制することができる。

また、請求項１５に記載の撮像方法は、請求項１６に記載の発明のように、被写体像を前記撮像素子へ結像させる入射光路上に、前記カラー画像の画素配列における、斜め方向の輝度高周波を抑制する光学ロ−パスフィルタを配置し、該光学ローパスフィルタのカットオフが、前記モザイク画像の画素の配置方向に関連付けられて、前記モザイク画像の周波数空間上で原点を中心として斜め４５°に傾いた四辺形を成し、この四辺形の内方を透過帯域とすることにより、請求項８に記載の発明と同様に、第一色差の偽色が発現する画素配列の斜め方向の輝度高周波を効果的に抑制でき、偽色抑制手段と相まって、一層、偽色抑制の効果を発現できる。

次に、請求項１７に記載の発明は、ベイヤー配列のカラーフィルタを有する撮像素子を介して出力され、Ｒ（赤）、Ｇｒ（画素配列の一方向において前記Ｒの隣に位置する緑）、Ｇｂ（前記一方向においてＢの隣に位置する緑）Ｂ（青）からなるモザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成させる画像処理プログラムであって、前記カラー画像における画素位置において、前記Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成する輝度生成ステップと、前記Ｇｒの画素信号とＧｂの画素信号との和から前記Ｒの画素信号とＢの画素信号を減算して第一色差を生成する第一色差生成ステップと、前記Ｒの画素信号と前記Ｂの画素信号との差を算出して第二色差を生成する第二色差生成ステップと、前記輝度値、第一色差及び第二色差のうち、少なくとも何れか一方の偽色抑制を行う偽色抑制ステップと、前記輝度、前記偽色抑制ステップを介して出力された第一色差、第二色差を、所定の色空間に変換して前記色情報を生成する色空間変換ステップと、をコンピュータに実行させることを特徴とする。

請求項１７に記載の画像処理プログラムによれば、カラー画像における画素位置において、Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成する輝度生成ステップと、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号を減算して第一色差を生成する第一色差生成ステップと、Ｒの画素信号とＢの画素信号との差を算出して第二色差を生成する第二色差生成ステップと、輝度値、第一色差及び第二色差のうち、少なくとも何れか一方の偽色抑制を行う偽色抑制ステップと、輝度、偽色抑制ステップを介して出力された第一色差、第二色差を、所定の色空間に変換して色情報を生成する色空間変換ステップと、をコンピュータに実行させることにより、請求項１に記載の発明と同様に、解像度を損なうことなく偽色を抑制できて、高品位なカラー画像を得ることができ、特には、輝度の高周波成分を色差と誤って検出することによって生じる偽色を、効果的に抑制することができる。

また、請求項１７に記載の画像処理プログラムは、請求項１８に記載の発明のように、
前記偽色抑制の情報として、輝度の異なる方向の高周波成分の量を表す第一パラメータ及び第二パラメータの少なくとも何れか一方のパラメータを生成する偽色情報生成ステップを、コンピュータに実行させることにより、請求項２に記載の発明と同様に、これらのパラメータに応じて第一色差及び第二色差に含まれる偽色の信号成分を精度良く抑制できる。

また、請求項１８に記載の画像処理プログラムは、請求項１９に記載の発明のように、
前記第二パラメータが、前記Ｇｒの画素信号とＧｂの画素信号との差を表すパラメ−タであることにより、請求項３に記載の発明と同様に、ＧｒとＧｂとの差に基づいて偽色の量を演算して偽色を抑制できる。

また、請求項１８に記載の画像処理プログラムは、請求項２０に記載の発明のように、前記偽色抑制ステップにおいて、前記第一パラメータに応じて前記第一色差の偽色を抑制し、前記第二パラメータに応じて前記第二色差の偽色を抑制するように、コンピュータに実行させることにより、請求項４に記載の発明のように、第一色差及び第二色差に含まれる偽色を抑制できる。

また、請求項１７乃至請求項２０の何れかに記載の画像処理プログラムは、請求項２１に記載の発明のように前記偽色抑制ステップを介して出力された第一色差及び第二色差に対して、低周波透過フィルタを用いて高周波成分を除去するように、コンピュータに実行させることにより、請求項５に記載の発明と同様に、カラー画像における色差ノイズを低減できて、一層、高品位なカラー画像を生成できる。

また、請求項１７に記載の画像処理プログラムは、請求項２２に記載の発明のように、前記偽色抑制ステップにおいて、低周波透過フィルタを用いて、前記第一色差及び第二色差に対して高周波成分を除去するように、コンピュータに実行させることにより、請求項６に記載の発明と同様に、第一色差及び第二色差の位相ずれを抑制でき、高品位なカラー画像を得ることができる。

本発明の画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
は、カラー画像における画素位置において、Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成し、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号を減算して第一色差を生成すると共に、Ｒの画素信号とＢの画素信号との差を算出して第二色差を生成し、輝度値、第一色差及び第二色差の夫々毎に偽色抑制を行って、偽色抑制された、第一色差、第二色差を所定の色空間に変換して色情報を生成することにより、解像度を損なうことなく、効果的に偽色を抑制でき、高品位なカラー画像を生成できる。

また、本発明は、偽色抑制の情報として、輝度の高周波成分の量を表す第一パラメータ及び第二パラメータを生成することにより、これらのパラメータに応じて第一色差及び第二色差に含まれる偽色の信号成分を精度良く抑制できる。

また、本発明は、第二パラメータが、Ｇｒの画素信号とＧｂの画素信号との差を表すパラメ−タであることにより、ＧｒとＧｂとの差に基づいて偽色の量を演算して偽色を抑制できる。

また、本発明は、偽色抑制手段が、第一パラメータに応じて第一色差を抑制し、第二パラメータに応じて、第二色差を抑制するように構成されていることにより、第一色差及び第二色差に含まれる偽色を抑制できる。

また、本発明は、偽色抑制手段を介して出力された第一色差及び第二色差に対して、高周波ノイズを除去する低周波透過フィルタを備えていることにより、カラー画像における色差ノイズを低減できて、一層、高品位なカラー画像を生成できる。

また、本発明は、偽色抑制手段が、第一色差及び第二色差に対して、高周波成分を除去する低周波透過フィルタであることにより、第一色差及び第二色差の位相ずれを抑制でき、高品位なカラー画像を得ることができる。

（第１の実施形態）
次に、本発明の画像処理装置及び撮像装置、画像処理方法及び撮像方法の一実施例を図面にもとづいて説明する。

図１は、本発明の実施例の撮像装置１の構成を表すブロック図である。図１表したように、撮像装置１は、被写体像Ｐを撮像素子５に導いてデジタル画像信号Ｃ（モザイク状の画像信号である）として出力する撮像光学系２と、撮像光学系２を介して出力されたデジタル画像信号Ｃに基づいて、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置１００とによって構成されている。

撮像光学系２には、被写体像Ｐを撮像素子５に導く撮像レンズ３、受光した撮像光を電気量に変換して出力する撮像素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５、撮像素子５から出力されるアナログ画像信号をデジタル画像信号Ｃに変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）６、撮像素子５及びＡＦＥ６を所定の周期で制御するＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１３、撮像レンズ３の光軸方向（図３中のＺ方向）のスライド駆動を行うレンズ駆動部１２、センサ１１を介して撮像レンズ３のスライド量を検出する検出部１０等が備えられている。

撮像素子５は、複数の光電変換素子がマトリクス状に並設されて構成され、夫々の光電変換素子毎に撮像信号を光電変換してアナログ画像信号を出力するように構成されている。

また、撮像素子５は、光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３色のベイヤー（Ｂａｙｅｒ）配列からなるカラーフィルタ５ａを備え、各色のフィルタ部を通過した光量を電気信号に変換する。

ＡＦＥ６は、撮像素子５を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）７、相関二重サンプリング回路７で相関二重サンプリングされた画像信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）８、可変利得増幅器８を介して入力された撮像素子５からのアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器９、等によって構成され、撮像素子５から出力された画像信号を、所定のサンプリング周波数でデジタル画像信号Ｃに変換して画像処理装置１００に出力する。

なお、撮像光学系２において、撮像素子５、相関二重サンプリング回路７、可変利得増幅器８、Ａ／Ｄ変換器９等に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いてもよい。撮像素子５から出力される画素毎の信号が単一の色情報しかもたないので、撮像光学系２から画像処理装置１００に、前述のモザイク状の画像信号が出力される。

次に、画像処理装置１００は、撮像光学系２から出力されたモザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分離して記憶する色プレーン分解部２１、色プレーン分解部２１から出力された画素信号にもとづいてカラー画像の画素位置における色情報を生成する同時化部２５、同時化部２５を介して出力された画素信号に対して偽色抑制を行う偽色抑制部３１、偽色抑制部３１を介して出力された画素信号に含まれる高周波成分を除去する低域透過フィルタ３４、低域透過フィルタ３４を介して出力された画像信号を所定の色空間に変換して色情報を生成する色空間変換部３７、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３８、ＲＯＭ（Ｒｅｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３９等によって構成され、ＣＰＵ３８がＲＯＭ３９に格納された制御用プログラムに従って、当該画像処理装置１００及び撮像装置１の各処理を制御する。

色プレーン分解部２１は、ベイヤー配列に対応付けられて、Ｒの画素信号を記憶するＲフィールドメモリ２２と、Ｇｒ（一方向においてＲに隣接するＲ）の画素信号を記憶するＧｒフィールドメモリ２３ａと、Ｇｂ（一方向においてＢに隣接するＲ）の画素信号を記憶するＧｂフィールドメモリ２３ｂと、Ｂの画素信号を記憶するＢフィールドメモリ２４と、によって構成され、ＣＰＵ３８からの指令に基づき、これらの画素信号（以下、画素値という）を同時化部２５に出力する。

同時化部２５は、図３に表したように、複数の色プレーン毎に、サンプリング座標３０１〜３０４における画素値を、色プレーン内に含まれる同一の色光の画素値から補間演算によって算出する。ここで、サンプリング座標３０１〜３０４は、色空間変換部３７を介して記録されるカラー画像の画素位置に対応付けられた色モザイク画像上の位置であって、例えば色収差補正などの画像処理の条件に合わせて、予め設定されている。

また、同時化部２５は、色プレーン部２１で補間して求められた各色の画素値にもとづいて、Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素値の和から輝度（Ｙ´）を生成する輝度生成部２６、画素配列斜め方向に沿って発現する輝度の高周波を検出する斜め高周波検出部２７、Ｇｒの画素値とＧｂの画素値との和からＲの画素値とＢの画素値を減算して第一色差を生成する第一色差生成部２８、Ｒの画素値とＢの画素値との差を算出して第二色差を生成する第二色差生成部２９、水平垂直方向に発現する輝度の高周波を検出する水平垂直高周波検出部３０と、によって構成されている。

詳しくは、同時化部２５は、色モザイク画像に基づいて、出力画像の各画素位置における輝度Ｙ´を、Ｙ´＝（Ｒ＋Ｇｒ＋Ｇｂ＋Ｂ）／４、の演算式で算出し、第一色差Ｃ１を、Ｃ１＝（Ｇｒ＋Ｇｂ−Ｒ−Ｂ）／４、の演算式で算出し、第二色差Ｃ２を、（Ｒ−Ｂ）／２の演算式で算出し、第二パラメータＫ２を、（Ｇｒ−Ｇｂ）／２、の演算式で算出する。

ここで、図４（ａ）（ｂ）に表したように、第二色差Ｃ２に偽色が発生すれば（図において、偽色をハッチングで示している）、ＧｒとＧｂとの色差（Ｇｒ−Ｇｂ）にも偽色が発生していると考えられるので、第二パラメータＫ２を上述の演算式で求めることができる。

また、パラメータＫ１については、色モザイク画像に対して（式１）の重み係数を有するフィルタを掛け、フィルタ後の色モザイク画像の色プレーンを用いて図３に表したＲ及びＢの補間値を求め、Ｒの補間値とＢの補間値を用いて、Ｋ１＝（Ｒ−Ｂ）／２、の演算式で算出する。

また、出力画像の画素位置が色モザイク画像の各画素位置に対応している場合には、色モザイク画像に対してフィルタを掛けることによって輝度Ｙ´、第一色差Ｃ１、第二色差Ｃ２、第二パラメータＫ２を得て、第一色差Ｃ１に（式２）のフィルタを掛けることにより、第一パラメータＫ１を得ることもできる。

上述のように、第一パラメータＫ１は、注目画素を中心として斜め方向の画素値の変化量を表す指標であって、（Ｒ−Ｂ）に限らず、画素配列の斜め方向４５度の縞上で値をもつものであればよい。また、この際、Ｋ１は、画像に変化のないベタ分では、画像に色があっても値を持たず、水平垂直方向の縞上でも値を持たないことが望ましく、さらには、高周波の斜め４５度方向の縞模様に対して大きな値をもつように、フィルタを構成するとよい。

次に、輝度生成部２６によって生成された輝度Ｙ´が色空間変換部３７に出力され、斜め高周波検出部２７で検出された第一パラメータＫ１、第一色差生成部２８で生成された第一色差Ｃ１、第二色差生成部２９で生成された第二色差Ｃ２、水平垂直高周波検出部３０で検出された第二パラメータＫ２等が、偽色抑制部３１に出力される。尚、本発明における同時化手段及び偽色情報生成手段は、同時化部２５によってその機能が発現される。

偽色抑制部３１は、同時化部２５から入力された第一パラメータＫ１及び第一色差Ｃ１に応じて第一色差Ｃ１の偽色を抑制するＣ１偽色除去部３２と、第二パラメータＫ２及び第二色差Ｃ２に応じて第二色差Ｃ２の偽色を抑制するＣ２偽色除去部３３とによって構成されている。

Ｃ１偽色除去部３２は、同時化部２５で生成された第一色差Ｃ１の量を第一パラネータＫ１に応じて抑制し、Ｃ２偽色除去部３３は、同時化部２５で生成された第二色差Ｃ２の量を第二パラメータＫ２に応じて抑制する。

例えば、下記式を用いて、Ｃ１、Ｃ２の絶対値から（ゼロを跨がない限りにおいて）、Ｋ１、Ｋ２の絶対値に係数ｍ１、ｍ２を掛けた値を減じればよい。
Ｃ１→ｓｉｇｎ（Ｃ１）＊ｍａｘ（０，ａｂｓ（Ｃ１）−ｍ１＊ａｂｓ（Ｋ１））
Ｃ２→ｓｉｇｎ（Ｃ２）＊ｍａｘ（０，ａｂｓ（Ｃ２）−ｍ２＊ａｂｓ（Ｋ２））
ここで、ｍ１、ｍ２は、偽色抑制の強度を調整するためのパラメータである。尚、本発明における偽色抑制手段は、偽色抑制部３１によってその機能が発現される。

次に、低周波透過フィルタ３４は、Ｃ１偽色除去部３２から出力された第一色差Ｃ１に対してさらに偽色抑制を行う第一低周波透過フィルタ３５と、Ｃ２偽色除去部３３から出力された第二色差Ｃ２に対してさらに偽色抑制を行う第二低周波透過フィルタ３６とによって構成されている。

図２（ｃ）に表したように、同時化部２５を介してえられた輝度Ｙ´第一色差Ｃ１、第二色差Ｃ２は、夫々異なる解像度限界を持ち、Ｃ１の透過域がＣ２の透過域よりも広い。そこで、Ｃ１に対してはＣ２より広い透過域のＬＰＦ（ローパスフィルタ）を掛けることにより、解像度の劣化を抑えつつ、効果的に偽色を抑えることができる。

例えば、Ｃ１に対しては（式３）のフィルタを掛け、Ｃ２には（式４）のフィルタを掛ければよい。

或いは、Ｃ１に対してはＣ２より狭い透過域のＬＰＦを掛けることにより、Ｃ１、Ｃ２の周波数特性を揃え、不自然さのない画像にすることもできる。

例えば、Ｃ１に対しては（式５）のフィルタを掛け、Ｃ２には（式６）のフィルタを掛ければよい。

次に、色空間変換部３７は、同時化部２５を介して得られた輝度Ｙ´、偽色抑制部３１を介して得られた第一色差Ｃ１及び第二色差Ｃ２を、標準的なカラー画像の色空間に変換し、カラー画像の画素毎のＹＵＶのカラー情報を生成する（Ｙは輝度情報、Ｕ、Ｖは色情報である）。

例えば、Ｒ＝Ｙ´−Ｃ１＋Ｃ２の演算式でＲ成分の画素値を求め、Ｇ＝Ｙ´＋Ｃ１の演算式でＧ成分の画素値を求め、Ｂ＝Ｙ´−Ｃ１−Ｃ２の演算式でＢ成分の画素値を求め、さらに、（式７）を用いてＲＧＢをＹＵＶ色情報に変換すればよい。

そして、以上のようにカラー画像の全ての画素に対して画像処理装置１００による処理が行われ、ＹＵＶのカラー情報が、図示されない視覚補正部に出力されて、公知のガンマ補正や彩度補正、エッジ強調、といった画像補正が行われる。

（第２の実施形態）
第１の実施形態では偽色抑制部３１で第一色差Ｃ１及び第二色差Ｃ２の偽色を抑制し、さらに低周波透過フィルタ３１で偽色抑制をおこなったが、第２の実施形態では、偽色抑制部３１おける第一の色差Ｃ１の偽色抑制と低域透過フィルタ３４における偽色抑制が省かれ、第二色差Ｃ２のみの偽色抑制がおこなわれる。また、撮像装置１の基本的な構成は、第１の実施形態と共通なので、特徴となる部分について、下記に記載する。

第２の実施形態における撮像装置１は、撮像レンズ３と撮像素子５との間に不要な空間周波数を除去する光学ローパスフィルタ（図示せず）を備え、撮像光学系２から出力されたモザイク画像の画素信号が、色プレーン分解部２１を介して同時化部２５に入力される。

前述の光学ローパスフィルタは、図２（ａ）、（ｂ）に表したように、カットオフが、後述のモザイク画像の画素の配置方向に関連付けられて、モザイク画像の周波数空間上で原点を中心として斜め４５°に傾いた四辺形を成し、この四辺形の内方を透過帯域とするように構成されている。詳しくは、光学ローパスフィルタは、４点分離型であって、対向する点が画素ピッチ１／ｆｓと等しくなるような、斜め４５度に傾いた正方形の４頂点に光線を分離し、Ｇ（緑）や紫の偽色の元となる輝度高周波を効果的に抑制する。

同時化部２５は、図３に表したように、複数の色プレーン毎に、サンプリング座標３０１〜３０４における画素値を、色プレーン内に含まれる同一の色光の画素値から補間演算によって算出する。

次に、同時化部２５は、色モザイク画像に基づいて、出力画像の各画素位置における輝度Ｙ´を、Ｙ´＝（Ｒ＋Ｇｒ＋Ｇｂ＋Ｂ）／４、の演算式で算出し、第一色差Ｃ１を、Ｃ１＝（Ｇｒ＋Ｇｂ−Ｒ−Ｂ）／４、の演算式で算出し、第二色差Ｃ２を、（Ｒ−Ｂ）／２の演算式で算出し、第二パラメータＫ２を、（Ｇｒ−Ｇｂ）／２、の演算式で算出する。

また、出力画像の画素位置が色モザイク画像の各画素位置に対応している場合には、色モザイク画像に対して（式８）から（式１１）のフィルタを掛けることによって輝度Ｙ´、第一色差Ｃ１、第二色差Ｃ２、第二パラメータＫ２を求める。

詳しくは、Ｒ、Ｇｒ、Ｇｂ、Ｂからなる色モザイク画像に対して（式８）のフィルタを掛けることにより、輝度Ｙ´が得られる。

また、色モザイク画像における、ＧｒとＧｂの画素では（式９）のフィルタを掛け、ＲとＢの画素では（式１０）のフィルタを掛け、これらのフィルタを介して出力した画素値を合計することによって第一色差Ｃ１が得られる。

また、色モザイク画像のＲ画素では（式１１）のフィルタを掛け、Ｂ画素では（式１２）のフィルタを掛け、Ｇｒ画素では（式１３）のフィルタを掛け、Ｇｂ画素では、（式１４）のフィルタを掛け、これらのフィルタを介して出力した画素値を合計することによって第二色差Ｃ２が得られる。

また、色モザイク画像における、Ｇｒ画素では（式１５）のフィルタを掛け、Ｇｂ画素
では（式１６）のフィルタを掛け、Ｒ画素では（式１７）のフィルタを掛け、Ｂ画素では（式１８）のフィルタを掛け、これらのフィルタを介して出力した画素値を合計することによって第二パラメータＫ２が得られる。

上述のように、第二パラメータＫ２は、注目画素を中心として水平垂直方向の画素値の変化量を表す指標であって、（Ｇｒ−Ｇｂ）に限らず、画素配列の水平垂直方向の縞上で値をもつものであればよい。また、この際、Ｋ２は、画像に変化のないベタ分では、画像に色があっても値を持たず、斜め４５度方向の縞上でも値を持たないことが望ましく、さらには、周期２／ｆｓの水平垂直方向の縞模様に対して大きな値をもつように、フィルタを構成するとよい。

次に、輝度生成部２６によって生成された輝度Ｙ´、第一色差生成部２８で生成された第一色差Ｃ１が色空間変換部３７に出力され、第二色差生成部２９で生成された第二色差Ｃ２、水平垂直高周波検出部３０で検出された高周波成分の量を表す第二パラメータＫ２等が、偽色抑制部３１に出力される。

次に、偽色抑制部３１は、同時化部２５から入力された第二パラメータＫ２及び第二色差Ｃ２に応じて第二色差Ｃ２の偽色を抑制する。

つまり、Ｃ２偽色除去部３３において、同時化部２５で生成された第二色差Ｃ２の量を第二パラメータＫ２に応じて抑制する。

例えば、下記式を用いて、Ｃ２の絶対値から（ゼロを跨がない限りにおいて）、Ｋ２の絶対値を減じればよい。
Ｃ２→ｓｉｇｎ（Ｃ２）＊ｍａｘ（０，ａｂｓ（Ｃ２）−ｍ１＊ａｂｓ（Ｋ２））
ここで、ｍ１は、偽色抑制の強度を調整するためのパラメータである。

次に、色空間変換部３７は、同時化部２５を介して得られた輝度Ｙ´、第一色差Ｃ１、偽色抑制部３１を介して得られた第二色差Ｃ２を、標準的なカラー画像の色空間に変換する。

例えば、ＲＧＢの色空間に変換する際には、Ｒ＝Ｙ´−Ｃ１＋Ｃ２の演算式でＲ成分の画素値を求め、Ｇ＝Ｙ´＋Ｃ１の演算式でＧ成分の画素値を求め、Ｂ＝Ｙ´−Ｃ１−Ｃ２の演算式でＢ成分の画素値をもとめればよい。そして、色空間変換部３７で得られたＲＧＢのカラー情報は、図示されない視覚補正部に出力されて、公知のガンマ補正や彩度補正、エッジ強調、といった画像補正が行われる。

（第３の実施形態）
次に、図５〜図７を用いて、本発明の一実施例の画像処理方法及び画像処理プラグラムの手順を説明する。この手順は、ＣＰＵ３８がＲＯＭ３９に格納されたプログラムにもとづいて、各機能部に指令信号を与えて実行する。また、図５〜図７におけるＳはステップを表している。

尚、本画像処理方法及び画像処理プログラムは、第１の実施形態及び第２の実施形態で表した画像処理装置１００に適用される。

まず、この手順は、オペレータによって撮像装置１又は画像処理装置１００に起動信号が入力された際にスタートする。

次いで、Ｓ１００において、撮像光学系２を介して画像信号を画像処理装置１００に読み込み、色プレーン分解部２１で、ベイヤー配列に対応付けて、Ｒの画素信号、Ｇｒ画素信号、Ｇｂ画素信号、Ｂ画素信号を記憶し、その後、Ｓ２００の同時化ステップに移る。

次いで、Ｓ２００は、図６に表したように、まずＳ２１０において、サンプリング座標を取得して、その後、Ｓ２２０に移る。この際、サンプリング座標は、カラー画像の画素位置に対応つけられており、予めＲＯＭ３９に格納されている。

次いで、Ｓ２２０において、複数の色プレーン毎に、サンプリング座標における画素値を、色プレーン内に含まれる同一の色光の画素値から補間演算によって算出し、その後、Ｓ２３０に移る。

次いで、Ｓ２３０において、補間して求められた各色の画素値にもとづいて、Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素値の和から輝度（Ｙ´）を生成し、その後、Ｓ２４０に移る。尚、本発明における輝度生成ステップは、Ｓ２３０によってその機能が発現される。

次いで、Ｓ２４０において、Ｇｒの画素値とＧｂの画素値との和からＲの画素値とＢの画素値を減算して第一色差Ｃ１を生成すると共に、Ｒの画素値とＢの画素値との差を算出して第二色差Ｃ２を生成し、その後、Ｓ２５０に移る。尚、本発明における第一色差生成ステップ及び第二色差生成ステップは、Ｓ２４０によってその機能が発現される。

次いで、Ｓ２５０において、画素配列斜め方向に沿って発現する輝度の高周波Ｋ１、水平垂直方向に発現する輝度の高周波Ｋ２を検出し、その後、図５における、Ｓ３００の偽色抑制ステップに移る。尚、本発明における偽色情報生成ステップは、Ｓ２５０によってその機能が発現される。

次いで、Ｓ３００は、図７に表したように、まず、Ｓ３１０において偽色抑制のモードを選択する。偽色抑制のモードは、予め定められており、モード１で第一色差Ｃ１と第二色差Ｃ２の両者の偽色を抑制し、モード２で第一色差Ｃ１の偽色を抑制し、モード３で第二色差Ｃ２の偽色を抑制する。また、モード１〜３の選択は、オペレータからの指令信号に基づいて実行される。

次いで、Ｓ３１０において、モード１が選択された際には、第１の実施形態に記載したように、Ｓ３２０に移って第一パラメータＫ１及び第二パラメータＫ２を取得し、その後、Ｓ３３０において、第一色差Ｃ１及び第二色差Ｃ２の偽色抑制を行う。

また、Ｓ３１０において、モード２が選択された際には、Ｓ３４０に移って、第一パラメータＫ１を取得し、その後、Ｓ３５０において、第一色差Ｃ１の偽色抑制を行う。この際、第１の実施形態に記載したように、第一色差Ｃ１の偽色抑制を行う。

また、Ｓ３１０において、モード３が選択された際には、Ｓ３６０に移って、第２の実施形態に記載したように、第二パラメータＫ２を求め、その後、Ｓ３７０に移って、第二色差Ｃ２の偽色抑制を行う。尚、本発明における偽色抑制ステップは、Ｓ３１０〜Ｓ３７０によってその機能が発現される。

次いで、図５のＳ４００に移って、第一色差Ｃ１及び第二色差Ｃ２に対し、低周波透過フィルタ３５を掛けて高周波成分を除去し、その後、Ｓ５００に移る。

次いで、Ｓ５００において、輝度Ｙ´、偽色抑制して得られた第一色差Ｃ１及び第二色差Ｃ２を、標準的なカラー画像の色空間に変換し、カラー画像の画素毎のＹＵＶのカラー情報を生成し、その後、Ｓ６００に移る。

次いで、Ｓ６００において、次のサンプリングの有無を判定し、サンプリング無し（Ｎｏ）と判定された際には、本画像処理プログラムを終了し、サンプリング有り（Ｙｅｓ）と判定された際には、Ｓ２００〜Ｓ６００を繰り返し、サンプリング無しに至った際に本画像処理プログラムを終了する。

以上のように、本実施例に記載の画像処理装置１００及び撮像装置１、画像処理方法及び撮像方法、画像処理プログラムによれば、カラー画像における画素位置において、Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ´）を生成し、Ｇｒの画素信号とＧｂの画素信号との和からＲの画素信号とＢの画素信号を減算して第一色差Ｃ１を生成すると共に、Ｒの画素信号とＢの画素信号との差を算出して第二色差Ｃ２を生成し、輝度値Ｙ´、第一色差Ｃ１及び第二色差Ｃ２の夫々毎に偽色抑制を行って、偽色抑制された、第一色差Ｃ１、第二色差Ｃ２、等を所定の色空間に変換して色情報を生成することにより、解像度を損なうことなく、効果的に偽色を抑制でき、高品位なカラー画像を生成できる。

また、本実施例は、同時化部２５において、斜め方向及び水平垂直方向の高周波成分の量を表す第一パラメータＫ１及び第二パラメータＫ２を生成することにより、これらのパラメータに応じて第一色差Ｃ１及び第二色差Ｃ２に含まれる偽色の信号成分を精度良く抑制できる。

また、本実施例は、第二パラメータＫ２が、Ｇｒの画素信号とＧｂの画素信号との差を表す指標であることにより、ＧｒとＧｂとの差に基づいて偽色の量を演算して偽色を抑制できる。

また、本実施例は、偽色抑制部３１において、第一パラメータＫ１及び第一色差Ｃ１に応じて第一色差Ｃ１に含まれる偽色を抑制し、第二パラメータＫ２及び第二色差Ｃ２に応じて、第二色差Ｃ２に含まれる偽色を抑制できる。

また、本実施例は、偽色抑制部３１を介して出力された第一色差Ｃ１及び第二色差Ｃ２に対して、高周波ノイズを除去する低周波透過フィルタ３５を備えていることにより、カラー画像における色差ノイズを低減できて、一層、高品位なカラー画像を生成できる。

また、本実施例の画像処理プログラムは、Ｓ３１０に表したように、偽色を抑制する際の複数のモードを選択でき、利便性を向上できる。

以上、本発明の一実施例について説明したが、本発明は、前記実施例に限定されるものでなく、種々の態様を取ることができる。

例えば、Ｓ３００において偽色抑制を行い、次いで、Ｓ４００において低周波透過フィルタ（ＬＰＦ）３５の処理を行ったが、先にＳ４００の低周波透過フィルタ処理を行い、その後、Ｓ３００の偽色抑制を行ってもよい。その際、同時化部２５で検出された斜め高周波及び水平垂直高周波の輝度にも、低周波透過フィルタ処理を行うことが好ましい。

本発明の一実施例の、撮像装置の構成を表したブロック図である。 （ａ）（ｂ）が、同実施例における光学フィルタの透過帯域の説明図、（ｃ）が偽色抑制の際の解像度を説明する説明図である。 同実施例における、同時化部の機能を説明する説明図である。 同実施例における、第二パラメータＫ２をＧｒとＧｂとの色差（Ｇｒ−Ｇｂ）から求める説明図である。 同実施例における、画像処理方法及び撮像方法、画像処理プログラムにおける手順を表したフローチャートである。 図５のフローチャートにおける、同時化ステップの手順の詳細を表したフローチャートである。 図５のフローチャートにおける、偽色抑制ステップの手順の詳細を表したフローチャートである。

符号の説明

１…撮像装置、３…撮像レンズ、５…撮像素子、５ａ…ベイヤー配列のカラーフィルタ、６…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、７…相関二重サンプリング回路、８…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、９…Ａ／Ｄ変換器、１０…検出部、１１…センサ、１２…レンズ駆動部、１３…ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）、２１…色プレーン分解部、２２…Ｒフィールドメモリ、２３ａ…Ｇｒフィールドメモリ、２３ｂ…Ｇｂフィールドメモリ、２４…Ｂフィールドメモリ、２５…同時化部、２６…輝度生成部、２７…斜め高周波検出部、２８…第一色差生成部、２９…第二色差生成部、３０…水平垂直高周波検出部、３１…偽色抑制部、３２…Ｃ１偽色除去部、３３…Ｃ２偽色除去部、３４…低周波透過フィルタ、３７…色空間変換部、３８…ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、３９…ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、１００…画像処理装置。

Claims (22)

1. ベイヤー配列のカラーフィルタを有する撮像素子を介して出力され、Ｒ（赤）、Ｇｒ（画素配列の一方向において前記Ｒの隣に位置する緑）、Ｇｂ（前記一方向においてＢの隣に位置する緑）、Ｂ（青）からなるモザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置であって、
   前記カラー画像における画素位置において、前記Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成し、前記Ｇｒの画素信号とＧｂの画素信号との和から前記Ｒの画素信号とＢの画素信号を減算して第一色差を生成すると共に、前記Ｒの画素信号と前記Ｂの画素信号との差を算出して第二色差を生成する同時化手段と、
   前記第一色差及び第二色差の少なくとも何れか一方の偽色抑制を行う偽色抑制手段と、
   前記輝度、前記偽色抑制手段を介して偽色抑制された第一色差、第二色差を所定の色空間に変換して前記色情報を生成する色空間変換手段と、
   を備えることを特徴とする画像処理装置。
2. 前記偽色抑制の情報として、輝度の異なる方向の高周波成分の量を表す第一パラメータ及び第二パラメータの少なくとも何れか一方のパラメータを生成する偽色情報生成手段を備えている、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第二パラメータが、前記Ｇｒの画素信号とＧｂの画素信号との差を表すパラメ−タである、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記偽色抑制手段が、前記第一パラメータに応じて前記第一色差の偽色を抑制し、前記第二パラメータに応じて前記第二色差の偽色を抑制するように構成されている、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記偽色抑制手段を介して出力された第一色差及び第二色差に対して、高周波成分を除去する低周波透過フィルタを備えている、
   ことを特徴とする請求項１乃至請求項４の何れかに記載の画像処理装置。
6. 前記偽色抑制手段が、前記第一色差及び第二色差に対して、高周波成分を除去する低周波透過フィルタである、
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記撮像素子に被写体像を導くための撮像光学系と、前記撮像素子を介して出力されたモザイク画像の画像信号に基づいて、画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置とを備えた撮像装置であって、
   前記画像処理装置が請求項１乃至請求項６の何れかである、ことを特徴とする撮像装置。
8. 被写体像を前記撮像素子へ結像させる入射光路上に、前記カラー画像の画素配列における、斜め方向の輝度高周波を抑制する光学ロ−パスフィルタが備えられ、該光学ローパスフィルタのカットオフが、前記モザイク画像の画素の配置方向に関連付けられて、前記モザイク画像の周波数空間上で原点を中心として斜め４５°に傾いた四辺形を成し、この四辺形の内方を透過帯域とするように構成されている、
   ことを特徴とする請求項７に記載の撮像装置。
9. ベイヤー配列のカラーフィルタを有する撮像素子を介して出力され、Ｒ（赤）、Ｇｒ（画素配列の一方向において前記Ｒの隣に位置する緑）、Ｇｂ（前記一方向においてＢの隣に位置する緑）Ｂ（青）からなるモザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成する画像処理方法であって、
   前記カラー画像における画素位置において、
   前記Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成する輝度生成ステップと、
   前記Ｇｒの画素信号とＧｂの画素信号との和から前記Ｒの画素信号とＢの画素信号を減算して第一色差を生成する第一色差生成ステップと、
   前記Ｒの画素信号と前記Ｂの画素信号との差を算出して第二色差を生成する第二色差生成ステップと、
   前記第一色差及び第二色差の少なくとも何れか一方の偽色抑制を行う偽色抑制ステップと、
   前記輝度及び前記偽色抑制ステップを介して偽色抑制された第一色差、第二色差を所定の色空間に変換して前記色情報を生成する色空間変換ステップと、
   を用いることを特徴とする画像処理方法。
10. 前記偽色抑制の情報として、輝度の異なる方向の高周波成分の量を表す第一パラメータ及び第二パラメータの少なくとも何れか一方のパラメータを生成する偽色情報生成ステップを用いる、
    ことを特徴とする請求項９に記載の画像処理方法。
11. 前記第二パラメータが、前記Ｇｒの画素信号とＧｂの画素信号との差を表すパラメ−タである、
    ことを特徴とする請求項１０に記載の画像処理方法。
12. 前記偽色抑制ステップにおいて、前記第一パラメータに応じて前記第一色差の偽色を抑制し、前記第二パラメータに応じて前記第二色差の偽色を抑制する、
    ことを特徴とする請求項１０に記載の画像処理方法。
13. 前記偽色抑制ステップを介して出力された第一色差及び第二色差に対して、低周波透過フィルタを用いて高周波成分を除去する、
    ことを特徴とする請求項９乃至請求項１２の何れかに記載の画像処理方法。
14. 前記偽色抑制ステップにおいて、低周波透過フィルタを用いて、前記第一色差及び第二色差に対して高周波成分を除去する、
    ことを特徴とする請求項９に記載の画像処理方法。
15. 前記撮像素子に被写体像を導くための撮像光学系を用い、前記撮像素子を介して出力されたモザイク画像の画像信号に基づいて、画素毎に複数の色情報を備えたカラー画像を生成するように画像処理を行う撮像方法であって、
    前記画像処理方法が請求項９乃至請求項１４の何れかである、ことを特徴とする撮像方法。
16. 被写体像を前記撮像素子へ結像させる入射光路上に、前記カラー画像の画素配列における、斜め方向の輝度高周波を抑制する光学ロ−パスフィルタを配置し、該光学ローパスフィルタのカットオフが、前記モザイク画像の画素の配置方向に関連付けられて、前記モザイク画像の周波数空間上で原点を中心として斜め４５°に傾いた四辺形を成し、この四辺形の内方を透過帯域とする、
    ことを特徴とする請求項１５に記載の撮像方法。
17. ベイヤー配列のカラーフィルタを有する撮像素子を介して出力され、Ｒ（赤）、Ｇｒ（画素配列の一方向において前記Ｒの隣に位置する緑）、Ｇｂ（前記一方向においてＢの隣に位置する緑）Ｂ（青）からなるモザイク画像から、画素毎に複数の色情報を備えたカラー画像を生成させる画像処理プログラムであって、
    前記カラー画像における画素位置において、
    前記Ｒ、Ｇｒ、Ｇｂ、Ｂを一単位とし、前記Ｒ、Ｇｒ、Ｇｂ、Ｂの画素信号の和から輝度（Ｙ）を生成する輝度生成ステップと、
    前記Ｇｒの画素信号とＧｂの画素信号との和から前記Ｒの画素信号とＢの画素信号を減算して第一色差を生成する第一色差生成ステップと、
    前記Ｒの画素信号と前記Ｂの画素信号との差を算出して第二色差を生成する第二色差生成ステップと、
    前記輝度値、第一色差及び第二色差のうち、少なくとも何れか一方の偽色抑制を行う偽色抑制ステップと、
    前記輝度、前記偽色抑制ステップを介して出力された第一色差、第二色差を、所定の色空間に変換して前記色情報を生成する色空間変換ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
18. 前記偽色抑制の情報として、輝度の異なる方向の高周波成分の量を表す第一パラメータ及び第二パラメータの少なくとも何れか一方のパラメータを生成する偽色情報生成ステップを、コンピュータに実行させることを特徴とする請求項１７に記載の画像処理プログラム。
19. 前記第二パラメータが、前記Ｇｒの画素信号とＧｂの画素信号との差を表すパラメ−タである、
    ことを特徴とする請求項１８に記載の画像処理プログラム。
20. 前記偽色抑制ステップにおいて、前記第一パラメータに応じて前記第一色差の偽色を抑制し、前記第二パラメータに応じて前記第二色差の偽色を抑制するように、
    コンピュータに実行させることを特徴とする請求項１８に記載の画像処理プログラム。
21. 前記偽色抑制ステップを介して出力された第一色差及び第二色差に対して、低周波透過フィルタを用いて高周波成分を除去するように、
    コンピュータに実行させることを特徴とする請求項１７乃至請求項２０の何れかに記載の画像処理プログラム。
22. 前記偽色抑制ステップにおいて、低周波透過フィルタを用いて、前記第一色差及び第二色差に対して高周波成分を除去するように、
    コンピュータに実行させることを特徴とする請求項１７に記載の画像処理プログラム。