JP4011861B2 - 信号処理装置及び方法 - Google Patents
信号処理装置及び方法 Download PDFInfo
- Publication number
- JP4011861B2 JP4011861B2 JP2001097031A JP2001097031A JP4011861B2 JP 4011861 B2 JP4011861 B2 JP 4011861B2 JP 2001097031 A JP2001097031 A JP 2001097031A JP 2001097031 A JP2001097031 A JP 2001097031A JP 4011861 B2 JP4011861 B2 JP 4011861B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- difference
- signal
- signals
- color signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 abstract description 6
- 239000003086 colorant Substances 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 6
- 230000001629 suppression Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及び方法に関し、更に詳しくは、カラー画像データに対して色モアレを低減する信号処理を行うことの可能な信号処理装置及び方法に関するものである。
【０００２】
【従来の技術】
従来の偽色抑制方法によると、カラーフィルタが図９に示すような赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタ配列を有する場合（なお、図９に示すＧ１及びＧ２は共にＧフィルタであるが、説明をわかりやすくするために区別している）、色差作成回路は、各画素がＲ、Ｇ１、Ｂ、Ｇ２フィルタに対応する信号（それぞれＲ、Ｇ１、Ｂ、Ｇ２と記す）をそれぞれ持つように色補間をした後に、
【０００３】
（１）（Ｒ−Ｇ１）と（Ｒ−Ｇ２）とを比較し、（Ｒ−Ｇ１）と（Ｒ−Ｇ２）の差分に応じて、（Ｒ−Ｇ１）と（Ｒ−Ｇ２）とを混合またはどちらかを選択して（Ｒ−Ｇ）信号として出力し、
【０００４】
（２）（Ｂ−Ｇ１）と（Ｂ−Ｇ２）とを比較し、（Ｂ−Ｇ１）と（Ｂ−Ｇ２）の差分に応じて、（Ｂ−Ｇ１）と（Ｂ−Ｇ２）とを混合またはどちらかを選択して（Ｂ−Ｇ）信号として出力する。
【０００５】
このように、選択的に色差信号を作成することで、階調を保ったまま偽色を減らす処理が行われていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の手法では、（Ｒ−Ｇ）信号及び（Ｂ−Ｇ）信号を作成する際に、色分離を行う方向をそれぞれ独立に選択し、混合しているため、（Ｒ−Ｇ）信号と（Ｂ−Ｇ）信号で異なる方向及び異なる比率で色差信号を作ることになり、新たな偽色を発生してしまう可能性がある。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、新たな偽色を発生させることなく、ナイキスト周波数付近の偽色抑圧効果を得ることを目的とする。
【０００８】
さらに、被写体が高周波成分を多く含む場合であっても、色が抜け落ちないようにすることを別の目的とする。
【０００９】
さらに、被写体画像の彩度が高く高周波成分を含む場合であっても、新たな偽色を発生させないようにすることを更なる目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の信号処理装置は、赤（Ｒ）、青（Ｂ）、緑（Ｇ１、Ｇ２）からなるベイヤー配列のカラーフィルタを備えた撮像素子と、注目画素の周囲に存在する画素から出力される前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号のうち、前記注目画素から出力される色信号とは別の色信号を用いて、前記注目画素に前記別の色信号の補間処理を行って前記注目画素に前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号を持たせる補間手段と、前記注目画素が前記Ｒ及びＢの色信号を出力する画素である場合に、前記注目画素の左右の画素から出力される前記Ｇ１またはＧ２の色信号の差分と、前記注目画素の上下の画素から出力される前記Ｇ１またはＧ２の色信号の差分の大小とから、水平方向および垂直方向の相関度を判定する判定手段と、前記補間処理が施された前記注目画素における前記Ｇ１とＲの色信号の差分、前記Ｇ１とＢの色信号の差分、前記Ｇ２とＲの色信号の差分、および、前記Ｇ２とＢの色信号の差分のうち、前記判定手段にて水平方向の相関度が高いと判定された場合に、前記Ｇ１とＲの色信号の差分及び前記Ｇ２とＢの色信号の差分をとり、垂直方向の相関度が高いと判定された場合に、前記Ｇ１とＢの色信号の差分及び前記Ｇ２とＲの色信号の差分をとることによって、第１の色差信号の対を算出する第１の色差信号算出手段と、前記注目画素における前記Ｒの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとるとともに、前記Ｂの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとることによって第２の色差信号の対を算出する第２の色差信号算出手段と、前記第１の色差信号の対から第１の彩度値を算出する第１の算出手段と、前記第２の色差信号の対から第２の彩度値を算出する第２の算出手段と、前記第１の彩度値が前記第２の彩度値より小さければ、前記第１の色差信号の対を選択し、前記第２の彩度値が前記第１の彩度値より小さければ、前記第２の色差信号の対を選択して出力する選択手段とを有する。
【００１１】
また、本発明の信号処理方法は、赤（Ｒ）、青（Ｂ）、緑（Ｇ１、Ｇ２）からなるベイヤー配列のカラーフィルタを備えた撮像手段を用いて、光学像を電気信号に変換して前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号を出力する撮像工程と、注目画素の周囲に存在する画素から出力される前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号のうち、前記注目画素から出力される色信号とは別の色信号を用いて、前記注目画素に前記別の色信号の補間処理を行って前記注目画素に前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号を持たせる補間工程と、前記注目画素が前記Ｒ及びＢの色信号を出力する画素である場合に、前記注目画素の左右の画素から出力される前記Ｇ１またはＧ２の色信号の差分と、前記注目画素の上下の画素から出力される前記Ｇ１またはＧ２の色信号の差分の大小とから、水平方向および垂直方向の相関度を判定する判定工程と、前記補間処理が施された前記注目画素における前記Ｇ１とＲの色信号の差分、前記Ｇ１とＢの色信号の差分、前記Ｇ２とＲの色信号の差分、および、前記Ｇ２とＢの色信号の差分のうち、前記判定工程において水平方向の相関度が高いと判定された場合に、前記Ｇ１第とＲの色信号の差分及び前記Ｇ２とＢの色信号の差分をとり、垂直方向の相関度が高いと判定された場合に、前記Ｇ１とＢの色信号の差分及び前記Ｇ２とＲの色信号の差分をとることによって、第１の色差信号の対を算出する第１の色差信号算出工程と、前記注目画素における前記Ｒの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとるとともに、前記Ｂの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとることによって第２の色差信号の対を算出する第２の色差信号算出工程と、前記第１の色差信号の対から第１の彩度値を算出する第１の算出工程と、前記第２の色差信号の対から第２の彩度値を算出する第２の算出工程と、前記第１の彩度値が前記第２の彩度値より小さければ、前記第１の色差信号の対を選択し、前記第２の彩度値が前記第１の彩度値より小さければ、前記第２の色差信号の対を選択して出力する選択工程とを有する。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１３】
＜第１の実施形態＞
図１は本第１の実施形態における撮像装置の構成を示すブロック図であり、特に画像信号ユニットの構成を示す。
【００１４】
ＣＣＤ撮像素子５０１からの信号は、ホワイトバランス（ＷＢ）回路５０２で白のゲインが調整され、適応輝度補間回路６００に送られる。適応輝度補間回路６００は、この適応輝度補間回路６００において輝度信号を作成する際に縦横相関度を求めて適応的に輝度信号を作成し、適応輝度補間回路６００から縦横縞判定信号を色差作成回路５５０に出力する。その後、水平バンドパスフィルタ（ＨＢＰＦ）回路５１１及び垂直バンドパスフィルタ（ＶＢＰＦ）回路５１４によって、ノッチフィルタにより弱められたナイキスト周波数よりも若干低い周波数をもちあげる。
【００１５】
その後、水平、垂直ともにＰＰ（Aperture Peak）Ｇａｉｎ回路５１２及び５１５で振幅が調整され、ベースクリップ（ＢＣ）回路５１３及び５１６で小振幅がカットされノイズ除去される。その後、加算器５１７で水平成分と垂直成分が加算され、ＡＰＣ（Aperture Control）ＭａｉｎＧａｉｎ回路５１８ でメインゲインがかかり、加算器５１９でベースバンド信号と加算される。その後、ガンマ変換回路５２０でガンマ変換が施され、輝度修正（YCOMP)回路５２１で、色による輝度信号レベル補正が実施される。
【００１６】
また、色信号処理として、ホワイトバランス回路５０２からの信号は色差作成回路５５０に送られ、色補間されて、適応輝度補間回路６００から出力される縦横縞判定信号に基づいて色差信号Ｒ‐Ｇ、Ｂ‐Ｇが作成される。その後、色変換マトリックス（ＭＴＸ）５０４でＲ‐Ｇ、Ｂ‐ＧからＲ‐Ｙ、Ｂ‐Ｙに変換される。その後、クロマ抑圧（ＣＳＵＰ：Chroma Supress）回路５０５によって低輝度及び高輝度領域の色差ゲインが抑圧され、クロマローパスフィルタ（ＣＬＰＦ）回路５０６にて色の高帯域が落とされる。帯域制限されたクロマ信号はガンマ変換回路５０７において、ＲＧＢ信号に変換されると同時にガンマ変換が施される。ガンマ変換後のＲＧＢ信号は再びＲ‐Ｙ・Ｂ‐Ｙの色差信号に変換され、ＣＧａｉｎＫｎｅｅ(Chroma Gain Knee)回路にて彩度ゲインが調整される。更に、ＬＣＭＴＸ(Linear Clip Matrix)回路５０９にて、色相の微少修正及び、撮像素子の個体差バラツキによる色相ずれが修正されて、色差信号ＵＶが出力される。
【００１７】
なお、適応輝度補間回路６００は、この適応輝度補間回路６００において輝度信号を作成する際に縦横相関度を求めて適応的に輝度信号を作成し、適応輝度補間回路６００から縦横縞判定信号を色差作成回路５５０に出力する。色差作成回路５５０では色差信号の作成に当該縦横縞判定信号を用いて処理を行う。以下、図２のフローチャートを参照しながら、本発明の画像信号ユニットにおける色差信号の作成処理を説明する。
【００１８】
輝度適応補間回路６００の構成を図３に示す。まず、ＷＢ回路５０２から入力する画像データを基にして（ステップＳ１１）、相関度検出器６０１は縦横方向の相関度を検出する（ステップＳ１２）。この相関度の検出方法について、以下に簡単に説明する。
【００１９】
まず、グリーン以外の全ての画素、すなわちレッド画素、ブルー画素について、グリーン信号を補間する。撮像素子５０１が例えば図４に示す配列のフィルターを有し、図４の画素Ｐ５（Ｐ１〜Ｐ９は画素の位置を示し、括弧内は、その画素から得られる色信号を示し、フィルタの色に対応する。）にグリーン信号（Ｐ５（Ｇ））を補間する場合、補間対象画素の上下左右の信号相関を検出し、これにより縦縞、横縞を判別する。すなわち、補間対象の上下、左右の画素の差の絶対値を求める。
ＨＤｉｆｆ＝｜Ｐ４（Ｇ２）−Ｐ６（Ｇ２）｜、
ＶＤｉｆｆ＝｜Ｐ２（Ｇ１）−Ｐ８（Ｇ１）｜
【００２０】
そしてＨＤｉｆｆとＶＤｉｆｆの差をとったものを補間方向判別信号ＭａｔＳｗとする。すなわち、
ＭａｔＳｗ＝Ｈｄｉｆｆ−Ｖｄｉｆｆ
【００２１】
Ｇ信号補間部６０２では、上記のようにして検出された相関度に応じて水平方向補間、垂直方向補間を切り替えて、全画素がグリーン信号を有するように適応的に補間する。具体的には、相関度検出器６０１から出力される補間方向判別信号ＭａｔＳｗが負であればつまり水平方向の相関が強いことになり、水平方向の画素信号から補間する。逆に、その差が正であれば垂直方向の画素信号から補間する。なお、ＭａｔＳｗは正負を示す２値信号（例えば、正であれば０、負であれば１、又はその逆）の形態で出力してもよい。
【００２２】
その後、ＲＢ信号補間部６０３で、レッド信号、ブルー信号、および、Ｇ信号補間部６０２で補間されたグリーン信号（Ｇ）を用いて、各画素がＲ信号及びＢ信号を有するように補間する。ここで、レッド信号は、例えば下記式で求めることができる。
Ｐ２（Ｒ） = （（Ｐ１（Ｒ）‐Ｐ１（Ｇ））＋（Ｐ３（Ｒ）‐Ｐ３（Ｇ）））／２＋Ｐ２（Ｇ１）
Ｐ４（Ｒ）＝（（Ｐ１（Ｒ）‐Ｐ１（Ｇ））＋（Ｐ７（Ｒ）‐Ｐ７（Ｇ）））／２＋Ｐ４（Ｇ２）
Ｐ５（Ｒ）＝（（Ｐ１（Ｒ）‐Ｐ１（Ｇ））＋（Ｐ３（Ｒ）‐Ｐ３（Ｇ））＋（Ｐ７（Ｒ）‐Ｐ７（Ｇ））＋（Ｐ９（Ｒ）‐Ｐ９（Ｇ）））／４＋Ｐ５（Ｇ）
ブルー信号も同様にして求めることができる。このようにして各画素毎に得られたＲ、Ｇ、Ｂ信号を用いて、輝度生成器６０４では例えば
０．３３Ｒ＋０．５９Ｇ＋０．１１Ｂ
【００２３】
の演算を行って輝度信号を作成し、出力する。
次に、本発明の第１の実施形態における色差作成回路５５０の詳細構成について図５を参照して説明する。
【００２４】
５５１〜５５４は各色フィルタＲ、Ｇ１、Ｇ２、Ｂに対応する色補間回路であり、色信号を同時化する回路として設けられている。また、図６に示す補間フィルタを用いて補間を行い、それぞれの画素についてＲ，Ｇ１，Ｇ２，Ｂ信号を算出し、補間する（ステップＳ１３）。具体的には、周囲のＲ，Ｇ１，Ｇ２，Ｂ信号のうち、着目する色信号以外をゼロとし、着目する色信号に対して図６に示す補間フィルタを用いる。すなわち、画素Ｐ５について見れば、
Ｐ５（Ｇ１）＝１／２×Ｐ２（Ｇ１）＋１／２×Ｐ８（Ｇ１）
Ｐ５（Ｇ２）＝１／２×Ｐ４（Ｇ２）＋１／２×Ｐ６（Ｇ２）
Ｐ５（Ｒ）＝１／４×Ｐ１（Ｒ）＋１／４×Ｐ３（Ｒ）＋１／４×Ｐ７（Ｒ）＋１／４×Ｐ９（Ｒ）
Ｐ５（Ｂ）＝Ｐ５（Ｂ）
となる。同様に他の画素についても、着目すべき画素を中心に据えて図６に示す補間フィルタを用いて、その画素におけるＲ，Ｇ１，Ｇ２，Ｂ信号を算出する。
【００２５】
５５６はスイッチであり、相関度検出器６０１で上述したようにして求められた補間方向判別信号ＭａｔＳｗを基に、水平相関が強い場合（ステップＳ１４でＹＥＳ）、つまりＭａｔＳｗが負の場合には１で示す経路を選択し、垂直相関が強い場合（ステップＳ１４でＮＯ）、つまりＭａｔＳｗが正の場合には２で示す経路を選択するように動作する。５５８及び５５９は各画素の色信号を減算する減算器である。減算器５５８、５５９からは、スイッチ５５６による切り替えにより、水平相関が強い場合には（Ｒ−Ｇ１）、（Ｂ−Ｇ２）が出力され（ステップＳ１５）、垂直相関が強い場合には（Ｒ−Ｇ２）、（Ｂ−Ｇ１）が出力される（ステップＳ１６）。この構成により、水平方向又は垂直方向のうち、相関の強いいずれかの方向に色分離されることになる。なお、説明を簡略にするために、以下、減算器５５８から出力される信号（Ｒ−Ｇ１）または（Ｒ−Ｇ２）を（Ｒ−Ｇａ１）と呼び、減算器５５９から出力される信号（Ｂ−Ｇ２）又は（Ｂ−Ｇ１）を（Ｂ−Ｇａ２）と呼ぶ。
【００２６】
５５７は線形演算回路であり、色補間回路５５２及び５５３で補間されたＧ１信号及びＧ２信号から、（Ｇ１＋Ｇ２）／２によりＧｂ信号を作成する。このＧｂ信号は、もちろん他の演算式により算出しても構わない。５６０及び５６１は減算器であり、減算器５６０及び５６１により、それぞれ（Ｒ−Ｇｂ）及び（Ｂ−Ｇｂ）を求める（ステップＳ１７）。
【００２７】
５６２、５６３は彩度算出回路でありそれぞれ彩度値SatA及びSatBを出力する（ステップＳ１８）。彩度値SatA及び彩度値SatBは、
SatA=｜R−Ga1｜＋｜B−Ga2｜
SatB=｜R−Gb｜＋｜B−Gb｜
【００２８】
または、
【００２９】
で求める。なお、彩度を求める計算式は上記のものに限るものではない。
５６４は色差信号選択決定回路であり、５６５、５６６は色差信号選択決定回路５６４から出力される選択信号に応じて、信号を選択するセレクタである。色差信号選択決定回路５６４は、彩度値SatA及びSatBから、（Ｒ−Ｇａ１）及び（Ｂ−Ｇａ２）または、（Ｒ−Ｇｂ）及び（Ｂ−Ｇｂ）のいずれかを選択する為の選択信号を作成し、セレクタ５６５及び５６６に供給する。色差信号選択決定回路５６４は、SatA−SatB＜０ならば（ステップＳ１９でＹＥＳ）、（Ｒ−Ｇａ１）（Ｂ−Ｇａ２）を選択する信号を作成し（ステップＳ２０）、SatA−SatB≧０ならば（ステップＳ１９でＮＯ）、（Ｒ−Ｇｂ）（Ｂ−Ｇｂ）を選択する信号を作成する（ステップＳ２１）。
【００３０】
なお、選択信号を得るための計算式は上記のものに限るものではない。
【００３１】
このようにしてセレクタ５６５及び５６６により選択された信号を、（Ｒ−Ｇ）、（Ｂ−Ｇ）信号として後段の色変換ＭＴＸ回路５０４へ出力する（ステップＳ２２）。
【００３２】
上記の通り第１の実施形態によれば、相関度判定信号が示す水平又は垂直いずれかの方向に色分離して得られた色差信号から得られる彩度値と、縦横両方向から色分離して得られた色差信号から得られる彩度値とを比較し、彩度値の小さい方の色差信号を選択することにより、ナイキスト周波数より低い周波数部分においては、相関度判定信号が示す方向に色分離して得られた色差信号が出力され、ナイキスト周波数を超える周波数を有する、縦横判定を誤判定する可能性のある部分においては、縦横両方向から色分離を行って得られた色差信号が出力される。このようにすることで、ＤＣ成分の色を欠落させること無く、かつ、高周波・高彩度の被写体画像においても新たな偽色を発生させること無く、色補間を行うことができる。
【００３３】
なお、図２のフローチャートにおいては、相関度検出後に色信号の補間を行い、また、色差信号Ｒ−Ｇａ１及びＢーＧａ２の作成後に色差信号ＲーＧｂ及びＢ−Ｇｂを作成しているが、それぞれの処理の順序はこれに限られるものではなく、逆であっても、同時であってもよい。
【００３４】
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。本第２の実施形態における撮像装置の信号処理ユニットの構成は、第１の実施形態において図１を参照して説明したものと同様であるために、説明を省略するが、本第２の実施形態では、色差作成回路５５０の構成が第１の実施形態と異なる。以下、第２の実施形態における色差作成回路５５０について説明する。
【００３５】
図７は、本第２の実施形態における色差作成回路５５０の詳細構成を示すブロック図である。同図において、図５と同様の構成については同じ参照番号を付し、説明を省略する。
【００３６】
第１の実施形態では、各画素についてＧ１とＧ２をそれぞれ補間し、線形演算回路５５７によって、Ｇｂ（＝（Ｇ１＋Ｇ２）／２）を算出していた。
【００３７】
しかし、この線形演算を行うことと、Ｇ１とＧ２を区別せずに単純にＧ信号を図８の補間フィルタで補間したものと等価である。従って、Ｇ１及びＧ２信号を色補間回路５７０に入力し、図５の線形演算回路５５７の代わりに、図８に示す補間フィルタにより補間することで、第１の実施形態と同等の効果を得ることができる。その他の構成は、第１の実施形態で図５を参照して説明したものと同様であるので、説明を省略する。
【００３８】
このように第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。
【００３９】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４０】
また、本発明の目的は、前述した実施形態の各構成要素の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００４１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４２】
【発明の効果】
上記の通り本発明によれば、ＤＣ成分の色を欠落させること無く、且つ、高周波・高彩度の被写体画像においても新たな偽色を発生させること無く、色補間を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における信号処理ユニットの構成を示すブロック図である。
【図２】本発明の実施の形態における色差信号生成処理を示すフローチャートである。
【図３】本発明の実施の形態における適応輝度補間回路を示すブロック図である。
【図４】本発明の実施の形態における補間方法を説明するための図である。
【図５】本発明の第１の実施形態における色差作成回路の構成を示すブロック図である。
【図６】本発明の第１の実施形態における補間フィルタの一例を示す図である。
【図７】本発明の第２の実施形態における色差作成回路の構成を示すブロック図である。
【図８】本発明の第２の実施形態におけるＧ信号用の補間フィルタを示す図である。
【図９】色フィルタ配列の一例を示す図である。
【符号の説明】
５０１ 撮像素子
５０２ ホワイトバランス回路
５０４ 色変換マトリクス回路
５０５ クロマ抑圧回路
５０６ クロマローパスフィルタ回路
５０７，５２０ ガンマ変換回路
５０８ ＣＧａｉｎＫｎｅｅ回路
５０９ ＬＣＭＴＸ回路
５１１ 水平バンドパスフィルタ回路
５１２，５１５ ＰＰＧａｉｎ回路
５１３，５１６ ベースクリップ回路
５１４ 垂直バンドパスフィルタ回路
５１７，５１９ 加算器
５１８ ＡＰＣＭａｉｎＧａｉｎ回路
５２１ 輝度修正回路回路
５５０ 色差作成回路
５５１〜５５４ 色補間回路
５５６ セレクタ
５５７ 線形演算回路
５５８〜５６１ 減算器
５６２、５６３ 彩度算出回路
５６４ 色差信号選択決定回路
５６５、５６６ セレクタ
５７０ 色補間回路
６００ 適応輝度補間回路
６０１ 相関度検出器
６０２ Ｇ信号補間部
６０３ Ｒ、Ｂ信号補間部
６０４ 輝度生成器
【発明の属する技術分野】
本発明は、信号処理装置及び方法に関し、更に詳しくは、カラー画像データに対して色モアレを低減する信号処理を行うことの可能な信号処理装置及び方法に関するものである。
【０００２】
【従来の技術】
従来の偽色抑制方法によると、カラーフィルタが図９に示すような赤（Ｒ）、緑（Ｇ）、青（Ｂ）のフィルタ配列を有する場合（なお、図９に示すＧ１及びＧ２は共にＧフィルタであるが、説明をわかりやすくするために区別している）、色差作成回路は、各画素がＲ、Ｇ１、Ｂ、Ｇ２フィルタに対応する信号（それぞれＲ、Ｇ１、Ｂ、Ｇ２と記す）をそれぞれ持つように色補間をした後に、
【０００３】
（１）（Ｒ−Ｇ１）と（Ｒ−Ｇ２）とを比較し、（Ｒ−Ｇ１）と（Ｒ−Ｇ２）の差分に応じて、（Ｒ−Ｇ１）と（Ｒ−Ｇ２）とを混合またはどちらかを選択して（Ｒ−Ｇ）信号として出力し、
【０００４】
（２）（Ｂ−Ｇ１）と（Ｂ−Ｇ２）とを比較し、（Ｂ−Ｇ１）と（Ｂ−Ｇ２）の差分に応じて、（Ｂ−Ｇ１）と（Ｂ−Ｇ２）とを混合またはどちらかを選択して（Ｂ−Ｇ）信号として出力する。
【０００５】
このように、選択的に色差信号を作成することで、階調を保ったまま偽色を減らす処理が行われていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の手法では、（Ｒ−Ｇ）信号及び（Ｂ−Ｇ）信号を作成する際に、色分離を行う方向をそれぞれ独立に選択し、混合しているため、（Ｒ−Ｇ）信号と（Ｂ−Ｇ）信号で異なる方向及び異なる比率で色差信号を作ることになり、新たな偽色を発生してしまう可能性がある。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、新たな偽色を発生させることなく、ナイキスト周波数付近の偽色抑圧効果を得ることを目的とする。
【０００８】
さらに、被写体が高周波成分を多く含む場合であっても、色が抜け落ちないようにすることを別の目的とする。
【０００９】
さらに、被写体画像の彩度が高く高周波成分を含む場合であっても、新たな偽色を発生させないようにすることを更なる目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の信号処理装置は、赤（Ｒ）、青（Ｂ）、緑（Ｇ１、Ｇ２）からなるベイヤー配列のカラーフィルタを備えた撮像素子と、注目画素の周囲に存在する画素から出力される前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号のうち、前記注目画素から出力される色信号とは別の色信号を用いて、前記注目画素に前記別の色信号の補間処理を行って前記注目画素に前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号を持たせる補間手段と、前記注目画素が前記Ｒ及びＢの色信号を出力する画素である場合に、前記注目画素の左右の画素から出力される前記Ｇ１またはＧ２の色信号の差分と、前記注目画素の上下の画素から出力される前記Ｇ１またはＧ２の色信号の差分の大小とから、水平方向および垂直方向の相関度を判定する判定手段と、前記補間処理が施された前記注目画素における前記Ｇ１とＲの色信号の差分、前記Ｇ１とＢの色信号の差分、前記Ｇ２とＲの色信号の差分、および、前記Ｇ２とＢの色信号の差分のうち、前記判定手段にて水平方向の相関度が高いと判定された場合に、前記Ｇ１とＲの色信号の差分及び前記Ｇ２とＢの色信号の差分をとり、垂直方向の相関度が高いと判定された場合に、前記Ｇ１とＢの色信号の差分及び前記Ｇ２とＲの色信号の差分をとることによって、第１の色差信号の対を算出する第１の色差信号算出手段と、前記注目画素における前記Ｒの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとるとともに、前記Ｂの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとることによって第２の色差信号の対を算出する第２の色差信号算出手段と、前記第１の色差信号の対から第１の彩度値を算出する第１の算出手段と、前記第２の色差信号の対から第２の彩度値を算出する第２の算出手段と、前記第１の彩度値が前記第２の彩度値より小さければ、前記第１の色差信号の対を選択し、前記第２の彩度値が前記第１の彩度値より小さければ、前記第２の色差信号の対を選択して出力する選択手段とを有する。
【００１１】
また、本発明の信号処理方法は、赤（Ｒ）、青（Ｂ）、緑（Ｇ１、Ｇ２）からなるベイヤー配列のカラーフィルタを備えた撮像手段を用いて、光学像を電気信号に変換して前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号を出力する撮像工程と、注目画素の周囲に存在する画素から出力される前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号のうち、前記注目画素から出力される色信号とは別の色信号を用いて、前記注目画素に前記別の色信号の補間処理を行って前記注目画素に前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号を持たせる補間工程と、前記注目画素が前記Ｒ及びＢの色信号を出力する画素である場合に、前記注目画素の左右の画素から出力される前記Ｇ１またはＧ２の色信号の差分と、前記注目画素の上下の画素から出力される前記Ｇ１またはＧ２の色信号の差分の大小とから、水平方向および垂直方向の相関度を判定する判定工程と、前記補間処理が施された前記注目画素における前記Ｇ１とＲの色信号の差分、前記Ｇ１とＢの色信号の差分、前記Ｇ２とＲの色信号の差分、および、前記Ｇ２とＢの色信号の差分のうち、前記判定工程において水平方向の相関度が高いと判定された場合に、前記Ｇ１第とＲの色信号の差分及び前記Ｇ２とＢの色信号の差分をとり、垂直方向の相関度が高いと判定された場合に、前記Ｇ１とＢの色信号の差分及び前記Ｇ２とＲの色信号の差分をとることによって、第１の色差信号の対を算出する第１の色差信号算出工程と、前記注目画素における前記Ｒの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとるとともに、前記Ｂの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとることによって第２の色差信号の対を算出する第２の色差信号算出工程と、前記第１の色差信号の対から第１の彩度値を算出する第１の算出工程と、前記第２の色差信号の対から第２の彩度値を算出する第２の算出工程と、前記第１の彩度値が前記第２の彩度値より小さければ、前記第１の色差信号の対を選択し、前記第２の彩度値が前記第１の彩度値より小さければ、前記第２の色差信号の対を選択して出力する選択工程とを有する。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１３】
＜第１の実施形態＞
図１は本第１の実施形態における撮像装置の構成を示すブロック図であり、特に画像信号ユニットの構成を示す。
【００１４】
ＣＣＤ撮像素子５０１からの信号は、ホワイトバランス（ＷＢ）回路５０２で白のゲインが調整され、適応輝度補間回路６００に送られる。適応輝度補間回路６００は、この適応輝度補間回路６００において輝度信号を作成する際に縦横相関度を求めて適応的に輝度信号を作成し、適応輝度補間回路６００から縦横縞判定信号を色差作成回路５５０に出力する。その後、水平バンドパスフィルタ（ＨＢＰＦ）回路５１１及び垂直バンドパスフィルタ（ＶＢＰＦ）回路５１４によって、ノッチフィルタにより弱められたナイキスト周波数よりも若干低い周波数をもちあげる。
【００１５】
その後、水平、垂直ともにＰＰ（Aperture Peak）Ｇａｉｎ回路５１２及び５１５で振幅が調整され、ベースクリップ（ＢＣ）回路５１３及び５１６で小振幅がカットされノイズ除去される。その後、加算器５１７で水平成分と垂直成分が加算され、ＡＰＣ（Aperture Control）ＭａｉｎＧａｉｎ回路５１８ でメインゲインがかかり、加算器５１９でベースバンド信号と加算される。その後、ガンマ変換回路５２０でガンマ変換が施され、輝度修正（YCOMP)回路５２１で、色による輝度信号レベル補正が実施される。
【００１６】
また、色信号処理として、ホワイトバランス回路５０２からの信号は色差作成回路５５０に送られ、色補間されて、適応輝度補間回路６００から出力される縦横縞判定信号に基づいて色差信号Ｒ‐Ｇ、Ｂ‐Ｇが作成される。その後、色変換マトリックス（ＭＴＸ）５０４でＲ‐Ｇ、Ｂ‐ＧからＲ‐Ｙ、Ｂ‐Ｙに変換される。その後、クロマ抑圧（ＣＳＵＰ：Chroma Supress）回路５０５によって低輝度及び高輝度領域の色差ゲインが抑圧され、クロマローパスフィルタ（ＣＬＰＦ）回路５０６にて色の高帯域が落とされる。帯域制限されたクロマ信号はガンマ変換回路５０７において、ＲＧＢ信号に変換されると同時にガンマ変換が施される。ガンマ変換後のＲＧＢ信号は再びＲ‐Ｙ・Ｂ‐Ｙの色差信号に変換され、ＣＧａｉｎＫｎｅｅ(Chroma Gain Knee)回路にて彩度ゲインが調整される。更に、ＬＣＭＴＸ(Linear Clip Matrix)回路５０９にて、色相の微少修正及び、撮像素子の個体差バラツキによる色相ずれが修正されて、色差信号ＵＶが出力される。
【００１７】
なお、適応輝度補間回路６００は、この適応輝度補間回路６００において輝度信号を作成する際に縦横相関度を求めて適応的に輝度信号を作成し、適応輝度補間回路６００から縦横縞判定信号を色差作成回路５５０に出力する。色差作成回路５５０では色差信号の作成に当該縦横縞判定信号を用いて処理を行う。以下、図２のフローチャートを参照しながら、本発明の画像信号ユニットにおける色差信号の作成処理を説明する。
【００１８】
輝度適応補間回路６００の構成を図３に示す。まず、ＷＢ回路５０２から入力する画像データを基にして（ステップＳ１１）、相関度検出器６０１は縦横方向の相関度を検出する（ステップＳ１２）。この相関度の検出方法について、以下に簡単に説明する。
【００１９】
まず、グリーン以外の全ての画素、すなわちレッド画素、ブルー画素について、グリーン信号を補間する。撮像素子５０１が例えば図４に示す配列のフィルターを有し、図４の画素Ｐ５（Ｐ１〜Ｐ９は画素の位置を示し、括弧内は、その画素から得られる色信号を示し、フィルタの色に対応する。）にグリーン信号（Ｐ５（Ｇ））を補間する場合、補間対象画素の上下左右の信号相関を検出し、これにより縦縞、横縞を判別する。すなわち、補間対象の上下、左右の画素の差の絶対値を求める。
ＨＤｉｆｆ＝｜Ｐ４（Ｇ２）−Ｐ６（Ｇ２）｜、
ＶＤｉｆｆ＝｜Ｐ２（Ｇ１）−Ｐ８（Ｇ１）｜
【００２０】
そしてＨＤｉｆｆとＶＤｉｆｆの差をとったものを補間方向判別信号ＭａｔＳｗとする。すなわち、
ＭａｔＳｗ＝Ｈｄｉｆｆ−Ｖｄｉｆｆ
【００２１】
Ｇ信号補間部６０２では、上記のようにして検出された相関度に応じて水平方向補間、垂直方向補間を切り替えて、全画素がグリーン信号を有するように適応的に補間する。具体的には、相関度検出器６０１から出力される補間方向判別信号ＭａｔＳｗが負であればつまり水平方向の相関が強いことになり、水平方向の画素信号から補間する。逆に、その差が正であれば垂直方向の画素信号から補間する。なお、ＭａｔＳｗは正負を示す２値信号（例えば、正であれば０、負であれば１、又はその逆）の形態で出力してもよい。
【００２２】
その後、ＲＢ信号補間部６０３で、レッド信号、ブルー信号、および、Ｇ信号補間部６０２で補間されたグリーン信号（Ｇ）を用いて、各画素がＲ信号及びＢ信号を有するように補間する。ここで、レッド信号は、例えば下記式で求めることができる。
Ｐ２（Ｒ） = （（Ｐ１（Ｒ）‐Ｐ１（Ｇ））＋（Ｐ３（Ｒ）‐Ｐ３（Ｇ）））／２＋Ｐ２（Ｇ１）
Ｐ４（Ｒ）＝（（Ｐ１（Ｒ）‐Ｐ１（Ｇ））＋（Ｐ７（Ｒ）‐Ｐ７（Ｇ）））／２＋Ｐ４（Ｇ２）
Ｐ５（Ｒ）＝（（Ｐ１（Ｒ）‐Ｐ１（Ｇ））＋（Ｐ３（Ｒ）‐Ｐ３（Ｇ））＋（Ｐ７（Ｒ）‐Ｐ７（Ｇ））＋（Ｐ９（Ｒ）‐Ｐ９（Ｇ）））／４＋Ｐ５（Ｇ）
ブルー信号も同様にして求めることができる。このようにして各画素毎に得られたＲ、Ｇ、Ｂ信号を用いて、輝度生成器６０４では例えば
０．３３Ｒ＋０．５９Ｇ＋０．１１Ｂ
【００２３】
の演算を行って輝度信号を作成し、出力する。
次に、本発明の第１の実施形態における色差作成回路５５０の詳細構成について図５を参照して説明する。
【００２４】
５５１〜５５４は各色フィルタＲ、Ｇ１、Ｇ２、Ｂに対応する色補間回路であり、色信号を同時化する回路として設けられている。また、図６に示す補間フィルタを用いて補間を行い、それぞれの画素についてＲ，Ｇ１，Ｇ２，Ｂ信号を算出し、補間する（ステップＳ１３）。具体的には、周囲のＲ，Ｇ１，Ｇ２，Ｂ信号のうち、着目する色信号以外をゼロとし、着目する色信号に対して図６に示す補間フィルタを用いる。すなわち、画素Ｐ５について見れば、
Ｐ５（Ｇ１）＝１／２×Ｐ２（Ｇ１）＋１／２×Ｐ８（Ｇ１）
Ｐ５（Ｇ２）＝１／２×Ｐ４（Ｇ２）＋１／２×Ｐ６（Ｇ２）
Ｐ５（Ｒ）＝１／４×Ｐ１（Ｒ）＋１／４×Ｐ３（Ｒ）＋１／４×Ｐ７（Ｒ）＋１／４×Ｐ９（Ｒ）
Ｐ５（Ｂ）＝Ｐ５（Ｂ）
となる。同様に他の画素についても、着目すべき画素を中心に据えて図６に示す補間フィルタを用いて、その画素におけるＲ，Ｇ１，Ｇ２，Ｂ信号を算出する。
【００２５】
５５６はスイッチであり、相関度検出器６０１で上述したようにして求められた補間方向判別信号ＭａｔＳｗを基に、水平相関が強い場合（ステップＳ１４でＹＥＳ）、つまりＭａｔＳｗが負の場合には１で示す経路を選択し、垂直相関が強い場合（ステップＳ１４でＮＯ）、つまりＭａｔＳｗが正の場合には２で示す経路を選択するように動作する。５５８及び５５９は各画素の色信号を減算する減算器である。減算器５５８、５５９からは、スイッチ５５６による切り替えにより、水平相関が強い場合には（Ｒ−Ｇ１）、（Ｂ−Ｇ２）が出力され（ステップＳ１５）、垂直相関が強い場合には（Ｒ−Ｇ２）、（Ｂ−Ｇ１）が出力される（ステップＳ１６）。この構成により、水平方向又は垂直方向のうち、相関の強いいずれかの方向に色分離されることになる。なお、説明を簡略にするために、以下、減算器５５８から出力される信号（Ｒ−Ｇ１）または（Ｒ−Ｇ２）を（Ｒ−Ｇａ１）と呼び、減算器５５９から出力される信号（Ｂ−Ｇ２）又は（Ｂ−Ｇ１）を（Ｂ−Ｇａ２）と呼ぶ。
【００２６】
５５７は線形演算回路であり、色補間回路５５２及び５５３で補間されたＧ１信号及びＧ２信号から、（Ｇ１＋Ｇ２）／２によりＧｂ信号を作成する。このＧｂ信号は、もちろん他の演算式により算出しても構わない。５６０及び５６１は減算器であり、減算器５６０及び５６１により、それぞれ（Ｒ−Ｇｂ）及び（Ｂ−Ｇｂ）を求める（ステップＳ１７）。
【００２７】
５６２、５６３は彩度算出回路でありそれぞれ彩度値SatA及びSatBを出力する（ステップＳ１８）。彩度値SatA及び彩度値SatBは、
SatA=｜R−Ga1｜＋｜B−Ga2｜
SatB=｜R−Gb｜＋｜B−Gb｜
【００２８】
または、
で求める。なお、彩度を求める計算式は上記のものに限るものではない。
５６４は色差信号選択決定回路であり、５６５、５６６は色差信号選択決定回路５６４から出力される選択信号に応じて、信号を選択するセレクタである。色差信号選択決定回路５６４は、彩度値SatA及びSatBから、（Ｒ−Ｇａ１）及び（Ｂ−Ｇａ２）または、（Ｒ−Ｇｂ）及び（Ｂ−Ｇｂ）のいずれかを選択する為の選択信号を作成し、セレクタ５６５及び５６６に供給する。色差信号選択決定回路５６４は、SatA−SatB＜０ならば（ステップＳ１９でＹＥＳ）、（Ｒ−Ｇａ１）（Ｂ−Ｇａ２）を選択する信号を作成し（ステップＳ２０）、SatA−SatB≧０ならば（ステップＳ１９でＮＯ）、（Ｒ−Ｇｂ）（Ｂ−Ｇｂ）を選択する信号を作成する（ステップＳ２１）。
【００３０】
なお、選択信号を得るための計算式は上記のものに限るものではない。
【００３１】
このようにしてセレクタ５６５及び５６６により選択された信号を、（Ｒ−Ｇ）、（Ｂ−Ｇ）信号として後段の色変換ＭＴＸ回路５０４へ出力する（ステップＳ２２）。
【００３２】
上記の通り第１の実施形態によれば、相関度判定信号が示す水平又は垂直いずれかの方向に色分離して得られた色差信号から得られる彩度値と、縦横両方向から色分離して得られた色差信号から得られる彩度値とを比較し、彩度値の小さい方の色差信号を選択することにより、ナイキスト周波数より低い周波数部分においては、相関度判定信号が示す方向に色分離して得られた色差信号が出力され、ナイキスト周波数を超える周波数を有する、縦横判定を誤判定する可能性のある部分においては、縦横両方向から色分離を行って得られた色差信号が出力される。このようにすることで、ＤＣ成分の色を欠落させること無く、かつ、高周波・高彩度の被写体画像においても新たな偽色を発生させること無く、色補間を行うことができる。
【００３３】
なお、図２のフローチャートにおいては、相関度検出後に色信号の補間を行い、また、色差信号Ｒ−Ｇａ１及びＢーＧａ２の作成後に色差信号ＲーＧｂ及びＢ−Ｇｂを作成しているが、それぞれの処理の順序はこれに限られるものではなく、逆であっても、同時であってもよい。
【００３４】
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。本第２の実施形態における撮像装置の信号処理ユニットの構成は、第１の実施形態において図１を参照して説明したものと同様であるために、説明を省略するが、本第２の実施形態では、色差作成回路５５０の構成が第１の実施形態と異なる。以下、第２の実施形態における色差作成回路５５０について説明する。
【００３５】
図７は、本第２の実施形態における色差作成回路５５０の詳細構成を示すブロック図である。同図において、図５と同様の構成については同じ参照番号を付し、説明を省略する。
【００３６】
第１の実施形態では、各画素についてＧ１とＧ２をそれぞれ補間し、線形演算回路５５７によって、Ｇｂ（＝（Ｇ１＋Ｇ２）／２）を算出していた。
【００３７】
しかし、この線形演算を行うことと、Ｇ１とＧ２を区別せずに単純にＧ信号を図８の補間フィルタで補間したものと等価である。従って、Ｇ１及びＧ２信号を色補間回路５７０に入力し、図５の線形演算回路５５７の代わりに、図８に示す補間フィルタにより補間することで、第１の実施形態と同等の効果を得ることができる。その他の構成は、第１の実施形態で図５を参照して説明したものと同様であるので、説明を省略する。
【００３８】
このように第２の実施形態によれば、第１の実施形態と同様の効果を得ることができる。
【００３９】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００４０】
また、本発明の目的は、前述した実施形態の各構成要素の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００４１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４２】
【発明の効果】
上記の通り本発明によれば、ＤＣ成分の色を欠落させること無く、且つ、高周波・高彩度の被写体画像においても新たな偽色を発生させること無く、色補間を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における信号処理ユニットの構成を示すブロック図である。
【図２】本発明の実施の形態における色差信号生成処理を示すフローチャートである。
【図３】本発明の実施の形態における適応輝度補間回路を示すブロック図である。
【図４】本発明の実施の形態における補間方法を説明するための図である。
【図５】本発明の第１の実施形態における色差作成回路の構成を示すブロック図である。
【図６】本発明の第１の実施形態における補間フィルタの一例を示す図である。
【図７】本発明の第２の実施形態における色差作成回路の構成を示すブロック図である。
【図８】本発明の第２の実施形態におけるＧ信号用の補間フィルタを示す図である。
【図９】色フィルタ配列の一例を示す図である。
【符号の説明】
５０１ 撮像素子
５０２ ホワイトバランス回路
５０４ 色変換マトリクス回路
５０５ クロマ抑圧回路
５０６ クロマローパスフィルタ回路
５０７，５２０ ガンマ変換回路
５０８ ＣＧａｉｎＫｎｅｅ回路
５０９ ＬＣＭＴＸ回路
５１１ 水平バンドパスフィルタ回路
５１２，５１５ ＰＰＧａｉｎ回路
５１３，５１６ ベースクリップ回路
５１４ 垂直バンドパスフィルタ回路
５１７，５１９ 加算器
５１８ ＡＰＣＭａｉｎＧａｉｎ回路
５２１ 輝度修正回路回路
５５０ 色差作成回路
５５１〜５５４ 色補間回路
５５６ セレクタ
５５７ 線形演算回路
５５８〜５６１ 減算器
５６２、５６３ 彩度算出回路
５６４ 色差信号選択決定回路
５６５、５６６ セレクタ
５７０ 色補間回路
６００ 適応輝度補間回路
６０１ 相関度検出器
６０２ Ｇ信号補間部
６０３ Ｒ、Ｂ信号補間部
６０４ 輝度生成器
Claims (4)
- 赤（Ｒ）、青（Ｂ）、緑（Ｇ１、Ｇ２）からなるベイヤー配列のカラーフィルタを備えた撮像素子と、
注目画素の周囲に存在する画素から出力される前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号のうち、前記注目画素から出力される色信号とは別の色信号を用いて、前記注目画素に前記別の色信号の補間処理を行って前記注目画素に前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号を持たせる補間手段と、
前記注目画素が前記Ｒ及びＢの色信号を出力する画素である場合に、前記注目画素の左右の画素から出力される前記Ｇ１またはＧ２の色信号の差分と、前記注目画素の上下の画素から出力される前記Ｇ１またはＧ２の色信号の差分の大小とから、水平方向および垂直方向の相関度を判定する判定手段と、
前記補間処理が施された前記注目画素における前記Ｇ１とＲの色信号の差分、前記Ｇ１とＢの色信号の差分、前記Ｇ２とＲの色信号の差分、および、前記Ｇ２とＢの色信号の差分のうち、前記判定手段にて水平方向の相関度が高いと判定された場合に、前記Ｇ１とＲの色信号の差分及び前記Ｇ２とＢの色信号の差分をとり、垂直方向の相関度が高いと判定された場合に、前記Ｇ１とＢの色信号の差分及び前記Ｇ２とＲの色信号の差分をとることによって、第１の色差信号の対を算出する第１の色差信号算出手段と、
前記注目画素における前記Ｒの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとるとともに、前記Ｂの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとることによって第２の色差信号の対を算出する第２の色差信号算出手段と、
前記第１の色差信号の対から第１の彩度値を算出する第１の算出手段と、
前記第２の色差信号の対から第２の彩度値を算出する第２の算出手段と、
前記第１の彩度値が前記第２の彩度値より小さければ、前記第１の色差信号の対を選択し、前記第２の彩度値が前記第１の彩度値より小さければ、前記第２の色差信号の対を選択して出力する選択手段と
を有することを特徴とする信号処理装置。 - 前記第１の算出手段は、前記第１の色差信号対の絶対値和を第１の彩度値として算出し、前記第２の算出手段は、前記第２の色差信号対の絶対値和を第２の彩度値として算出することを特徴とする請求項１に記載の信号処理装置。
- 前記第１の算出手段は、前記第１の色差信号対の２乗和またはその２乗根を第１の彩度値として算出し、前記第２の算出手段は、前記第２の色差信号対の２乗和またはその２乗根を第２の彩度値として算出することを特徴とする請求項１に記載の信号処理装置。
- 赤（Ｒ）、青（Ｂ）、緑（Ｇ１、Ｇ２）からなるベイヤー配列のカラーフィルタを備えた撮像手段を用いて、光学像を電気信号に変換して前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号を出力する撮像工程と、
注目画素の周囲に存在する画素から出力される前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号のうち、前記注目画素から出力される色信号とは別の色信号を用いて、前記注目画素に前記別の色信号の補間処理を行って前記注目画素に前記Ｇ１、Ｇ２、Ｒ、Ｂの色信号を持たせる補間工程と、
前記注目画素が前記Ｒ及びＢの色信号を出力する画素である場合に、前記注目画素の左右の画素から出力される前記Ｇ１またはＧ２の色信号の差分と、前記注目画素の上下の画素から出力される前記Ｇ１またはＧ２の色信号の差分の大小とから、水平方向および垂直方向の相関度を判定する判定工程と、
前記補間処理が施された前記注目画素における前記Ｇ１とＲの色信号の差分、前記Ｇ１とＢの色信号の差分、前記Ｇ２とＲの色信号の差分、および、前記Ｇ２とＢの色信号の差分のうち、前記判定工程において水平方向の相関度が高いと判定された場合に、前記Ｇ１第とＲの色信号の差分及び前記Ｇ２とＢの色信号の差分をとり、垂直方向の相関度が高いと判定された場合に、前記Ｇ１とＢの色信号の差分及び前記Ｇ２とＲの色信号の差分をとることによって、第１の色差信号の対を算出する第１の色差信号算出工程と、
前記注目画素における前記Ｒの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとるとともに、前記Ｂの色信号と、前記Ｇ１とＧ２の色信号の平均値からなる色信号の差分をとることによって第２の色差信号の対を算出する第２の色差信号算出工程と、
前記第１の色差信号の対から第１の彩度値を算出する第１の算出工程と、
前記第２の色差信号の対から第２の彩度値を算出する第２の算出工程と、
前記第１の彩度値が前記第２の彩度値より小さければ、前記第１の色差信号の対を選択し、前記第２の彩度値が前記第１の彩度値より小さければ、前記第２の色差信号の対を選択して出力する選択工程と
を有することを特徴とする信号処理方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001097031A JP4011861B2 (ja) | 2001-03-29 | 2001-03-29 | 信号処理装置及び方法 |
| US10/107,029 US6930711B2 (en) | 2001-03-29 | 2002-03-26 | Signal processing apparatus and method |
| EP02007152A EP1246475A3 (en) | 2001-03-29 | 2002-03-28 | Signal processing apparatus and method |
| CNB021087210A CN1226884C (zh) | 2001-03-29 | 2002-03-29 | 信号处理设备和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001097031A JP4011861B2 (ja) | 2001-03-29 | 2001-03-29 | 信号処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002300590A JP2002300590A (ja) | 2002-10-11 |
| JP4011861B2 true JP4011861B2 (ja) | 2007-11-21 |
Family
ID=18950868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001097031A Expired - Fee Related JP4011861B2 (ja) | 2001-03-29 | 2001-03-29 | 信号処理装置及び方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6930711B2 (ja) |
| EP (1) | EP1246475A3 (ja) |
| JP (1) | JP4011861B2 (ja) |
| CN (1) | CN1226884C (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8270774B2 (en) | 2007-04-05 | 2012-09-18 | Sony Corporation | Image processing device for performing interpolation |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4011861B2 (ja) * | 2001-03-29 | 2007-11-21 | キヤノン株式会社 | 信号処理装置及び方法 |
| JP4153715B2 (ja) * | 2002-04-08 | 2008-09-24 | 松下電器産業株式会社 | 映像信号処理装置及び映像信号処理方法 |
| JP4217041B2 (ja) * | 2002-09-12 | 2009-01-28 | Ｈｏｙａ株式会社 | フィルタ処理 |
| JP2005159957A (ja) | 2003-11-28 | 2005-06-16 | Mega Chips Corp | 色補間方法 |
| JP4840740B2 (ja) | 2004-12-01 | 2011-12-21 | 株式会社メガチップス | 画素補間方法および画像判定方法 |
| JP4789140B2 (ja) | 2005-05-19 | 2011-10-12 | 株式会社メガチップス | 画像処理装置 |
| JP5151075B2 (ja) * | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
| US8144984B2 (en) * | 2006-12-08 | 2012-03-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program for color fringing estimation and compensation |
| US8199230B2 (en) * | 2007-06-28 | 2012-06-12 | Fujifilm Corporation | Signal processing apparatus, image pickup apparatus and computer readable medium |
| JP4982897B2 (ja) * | 2007-08-27 | 2012-07-25 | 株式会社メガチップス | 画像処理装置 |
| JP5574615B2 (ja) | 2009-04-20 | 2014-08-20 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
| JP5572992B2 (ja) * | 2009-05-11 | 2014-08-20 | 株式会社ニコン | 画像処理装置、撮像装置及び画像処理プログラム |
| WO2011045849A1 (ja) | 2009-10-13 | 2011-04-21 | キヤノン株式会社 | 撮像装置 |
| JP5677040B2 (ja) | 2010-11-08 | 2015-02-25 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| US9191635B2 (en) * | 2012-03-19 | 2015-11-17 | Semiconductor Components Industries, Llc | Imaging systems with clear filter pixels |
| JP6478482B2 (ja) * | 2014-05-09 | 2019-03-06 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
| CN106507066B (zh) * | 2016-11-22 | 2018-04-17 | 深圳开阳电子股份有限公司 | 抑制图像伪彩色的方法、装置 |
| EP3934223A1 (en) | 2020-06-29 | 2022-01-05 | AMS Sensors Belgium BVBA | Converting digital image data |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5541648A (en) * | 1992-10-09 | 1996-07-30 | Canon Kabushiki Kaisha | Color image pickup apparatus having a plurality of color filters arranged in an offset sampling structure |
| JP3576600B2 (ja) | 1994-07-11 | 2004-10-13 | キヤノン株式会社 | カラー撮像装置 |
| JPH09261497A (ja) * | 1996-03-22 | 1997-10-03 | Minolta Co Ltd | 画像形成装置 |
| US6449060B1 (en) * | 1996-07-22 | 2002-09-10 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| JPH11220749A (ja) * | 1997-11-28 | 1999-08-10 | Sony Corp | カメラ信号処理装置及びカメラ信号処理方法 |
| US6611287B1 (en) * | 1997-11-28 | 2003-08-26 | Sony Corporation | Camera signal processing apparatus and camera signal processing method |
| JP4269366B2 (ja) | 1997-11-28 | 2009-05-27 | ソニー株式会社 | カメラ信号処理装置及びカメラ信号処理方法 |
| JP4311794B2 (ja) * | 1999-01-29 | 2009-08-12 | オリンパス株式会社 | 画像処理装置及び画像処理プログラムを格納した記録媒体 |
| SE514229C2 (sv) * | 1999-12-13 | 2001-01-29 | Scania Cv Ab | Anordning för styrning av ett bromsarrangemang, samt ett bromssystem för tunga fordon, som innefattar bromsarrangemanget |
| JP3706789B2 (ja) * | 2000-05-12 | 2005-10-19 | キヤノン株式会社 | 信号処理装置及び信号処理方法 |
| JP3548504B2 (ja) * | 2000-06-26 | 2004-07-28 | キヤノン株式会社 | 信号処理装置、信号処理方法、及び撮像装置 |
| JP2002016930A (ja) | 2000-06-28 | 2002-01-18 | Canon Inc | 撮像装置及び方法、信号処理装置及び方法 |
| JP4011861B2 (ja) * | 2001-03-29 | 2007-11-21 | キヤノン株式会社 | 信号処理装置及び方法 |
-
2001
- 2001-03-29 JP JP2001097031A patent/JP4011861B2/ja not_active Expired - Fee Related
-
2002
- 2002-03-26 US US10/107,029 patent/US6930711B2/en not_active Expired - Lifetime
- 2002-03-28 EP EP02007152A patent/EP1246475A3/en not_active Withdrawn
- 2002-03-29 CN CNB021087210A patent/CN1226884C/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8270774B2 (en) | 2007-04-05 | 2012-09-18 | Sony Corporation | Image processing device for performing interpolation |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1379595A (zh) | 2002-11-13 |
| US6930711B2 (en) | 2005-08-16 |
| EP1246475A3 (en) | 2004-09-29 |
| CN1226884C (zh) | 2005-11-09 |
| JP2002300590A (ja) | 2002-10-11 |
| US20020140828A1 (en) | 2002-10-03 |
| EP1246475A2 (en) | 2002-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4011861B2 (ja) | 信号処理装置及び方法 | |
| JP3706789B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP3099354B2 (ja) | 画像処理装置及びこの装置を用いたディジタルカラー複写機 | |
| JP4097815B2 (ja) | 画像処理装置および画像処理方法 | |
| RU2503139C1 (ru) | Устройство считывания изображений | |
| US7227990B2 (en) | Color image processing device and color image processing method | |
| US7474343B2 (en) | Image processing apparatus having a digital image processing section including enhancement of edges in an image | |
| JP4677753B2 (ja) | 動画像処理装置及び方法 | |
| JP3548504B2 (ja) | 信号処理装置、信号処理方法、及び撮像装置 | |
| US6563602B1 (en) | Image processing apparatus and method, and recording medium | |
| JP5041886B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法 | |
| JP2004200902A (ja) | 画像処理装置、電子カメラ、及び画像処理プログラム | |
| JPH1042150A (ja) | 画像処理装置及びその方法及びコンピュータ可読メモリ | |
| JP2004328564A (ja) | カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ | |
| US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
| JP4217536B2 (ja) | 画像処理装置、画像処理方法及び画像形成装置 | |
| JP4702912B2 (ja) | 信号処理方法及び信号処理装置 | |
| JP2003123063A (ja) | 画像処理装置 | |
| JP2002016930A (ja) | 撮像装置及び方法、信号処理装置及び方法 | |
| JP2006237748A (ja) | ホワイトバランス補正装置及び方法、及び撮像装置 | |
| JP2004064227A (ja) | 映像信号処理装置 | |
| JPH0877350A (ja) | 画像処理装置 | |
| JP7073783B2 (ja) | 画像処理装置及びプログラム | |
| JP4155559B2 (ja) | 信号処理装置及び方法 | |
| JP2001352453A (ja) | 画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060613 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070522 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070611 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070906 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |