JP5868046B2 - 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体 - Google Patents

輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体 Download PDF

Info

Publication number
JP5868046B2
JP5868046B2 JP2011154796A JP2011154796A JP5868046B2 JP 5868046 B2 JP5868046 B2 JP 5868046B2 JP 2011154796 A JP2011154796 A JP 2011154796A JP 2011154796 A JP2011154796 A JP 2011154796A JP 5868046 B2 JP5868046 B2 JP 5868046B2
Authority
JP
Japan
Prior art keywords
signal
color
image
luminance signal
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011154796A
Other languages
English (en)
Other versions
JP2012039603A (ja
JP2012039603A5 (ja
Inventor
洋 荻野
洋 荻野
一好 清澤
一好 清澤
池田　栄一郎
栄一郎 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011154796A priority Critical patent/JP5868046B2/ja
Publication of JP2012039603A publication Critical patent/JP2012039603A/ja
Publication of JP2012039603A5 publication Critical patent/JP2012039603A5/ja
Application granted granted Critical
Publication of JP5868046B2 publication Critical patent/JP5868046B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体に関し、特に、ベイヤー配列を有する色フィルタを用いた撮像素子から出力される出力色信号から輝度信号を作成する技術に関する。
一般に、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサのように、光量を検出可能な撮像素子を用いてカラー画像を生成する際、色フィルタを透過させた光を撮像素子に入射させるようにしている。
色フィルタには、色の種類及び画素毎に割り当てる色の配列等によって様々な種類が存在する。色の種類としては原色（赤、緑、青）又は補色（シアン、マゼンタ、イエロー）が広く用いられ、色配列についてはベイヤー配列が広く用いられている。
図２１は、原色ベイヤー配列の１単位を示す図である。図２１において、Ｒは赤、Ｇ１及びＧ２は緑、Ｂは青である。実際には、図２１に示す配列と同様の配列が撮像素子の画素数に応じて繰り返されることになる。
従来、固体撮像素子から出力される出力色信号に応じて輝度信号を生成する手法として２つの方式が知られている。
一方の方式では、図２１に示す原色ベイヤー配列の色フィルタを用いて輝度信号を作成する際、赤、緑、及び青の各色信号を独立して処理する。これをＯｕｔ Ｏｆ Ｇｒｅｅｎ方式と言うこととする。Ｏｕｔ Ｏｆ Ｇｒｅｅｎ方式は第１の色信号である緑（Ｇ）信号を中心として輝度を作成する方式である。
例えば、緑信号を処理する場合には、撮像素子の出力色信号をデジタル化したＲＡＷ信号のうち緑画素以外の画素に０挿入して、垂直方向の帯域を制限するローパスフィルタ（Ｖ−ＬＰＦ）処理及び水平方向の帯域を制限するローパスフィルタ（Ｈ−ＬＰＦ）処理を行う。
そして、赤信号及び青信号についても同様に処理して、各画素に赤信号、緑信号、および、青信号の全ての信号を持たせる。
また、上記のように単純に２次元のＬＰＦ処理を行うだけでは、補間された後の画像の周波数特性は高周波成分の失われたものとなるため、Ｏｕｔ Ｏｆ Ｇｒｅｅｎ方式の輝度信号の中心となる緑信号の画素に対して、画像の特性によってＬＰＦの処理を変化させる方法が提案されている（特許文献３参照）。
例えば、水平方向と垂直方向の相関をそれぞれ判別する相関判別手段の結果に基づいて、水平方向の相関が高いと判別された場合には水平方向の帯域を制限するローパスフィルタ処理のみを行った補間信号を、垂直方向の相関が高いと判別された場合には垂直方向の帯域を制限するローパスフィルタ処理のみを行った補間信号を選択し、相関判別手段の結果、例えば絶対値に基づいて、選択された補間信号と、垂直方向の帯域を制限するローパスフィルタ処理及び水平方向の帯域を制限するローパスフィルタ処理のいずれも行った２次元ＬＰＦ処理による補間信号から、最終的な補間信号を生成する。
このとき、図２４に示すベイヤー配列の緑信号の画素であるＧ２２に対して補間を行うとすると、上記相関判定手段は以下の式（８）の演算に基づいて、相関値を算出する。
diffHV22 = diffH22 - diffV22 ・・・・・・・・・（８）
diffH22 = |R21 - R23| + |2 * G22 - G20 - G24|
diffV22 = |B02 - B42| + |2 * G22 - G02 - G42|
なお、ｄｉｆｆＨ２２は、補間対象の画素を中心とした水平方向の画素のレベル差、ｄｉｆｆＶ２２は補間対象の画素を中心とした垂直方向の画素のレベル差を示す。また、ｄｉｆｆＨＶ２２は水平方向の画素のレベル差から垂直方向の画素のレベル差を引いたものである。つまり、ｄｉｆｆＨＶ２２が正の場合は画像が縦縞模様であり、負の場合は横縞模様であることを表す。
図２５は、式（８）によって水平方向及び垂直方向の相関が検出可能な空間周波数特性を示す図である。
図２５において、ｘ軸は被写体の水平（H)方向の周波数空間を表し、ｙ軸は垂直（V)方向の周波数空間を表す。ここでは、原点から遠ざかるほど空間周波数が高い。
図２５に示す横線の領域２５０１が、式（８）によって水平方向の相関を検出可能な領域であり、縦線の領域２５０２が、式（８）によって垂直方向の相関を検出可能な領域である。
式（８）の演算では、ｄｉｆｆＨ２２によって水平方向の画素のレベル差を、それぞれ水平方向に２分の１しかサンプリングされていない緑信号、または赤信号のそれぞれの差分の絶対値により算出しているため、図２５に示すように水平方向のナイキスト周波数（軸上、π／２）の帯域での水平方向の相関は検出できない。同様に垂直方向に対しても垂直方向のナイキスト周波数の帯域での垂直方向の相関は検出できない。
そのため、上記の式（８）に基づく相関判定手段を用いても、水平方向、また垂直方向のナイキスト周波数の帯域に関しては、垂直及び水平方向の相関を求めることが困難なため、２次元のＬＰＦによる補間処理が行われナイキスト周波数の帯域の成分が失われた補間信号が生成される。
一方、上記相関判定手段として、以下の式（９）の演算に基づいて、相関値を算出することも可能である。
diffHV22Ｇ = Hbpf22 - Vbpf22 ・・・・・・・・・（９）
Hbpf22 = |2 * G22 - R21 - R23|
Vbpf22 = |2 * G22 -B02 - B42|
ここで、Ｈｂｐｆ２２、Ｖｂｐｆ２２は式（８）の時と同様に、それぞれ補間対象の画素を中心とした水平方向、垂直方向の画素のレベル差であり、ｄｉｆｆＨＶ２２Ｇが正の場合は画像が縦縞模様であり、負の場合は横縞模様であることを表す。
図２６は、式（９）によって水平方向、または垂直方向の相関が検出可能な空間周波数特性を示す図である。
図２６において、ｘ軸は被写体の水平（H)方向の周波数空間を表し、ｙ軸は垂直（V)方向の周波数空間を表す。ここでは、原点から遠ざかるほど空間周波数が高い。
図２６に示す横線の領域２６０１が、式（９）によって水平方向の相関を検出可能な領域であり、縦線の領域２６０２が、式（９）によって垂直方向の相関を検出可能な領域である。
式（９）の演算では、Ｈｂｐｆ２２によって水平方向の画素のレベル差を、互いに隣接する緑信号、赤信号の差分の絶対値により算出しているため、図２６に示すように水平方向のナイキスト周波数の帯域においても水平方向の相関値を検出することが可能である。
同様に垂直方向に対しても垂直方向のナイキスト周波数の帯域においても垂直方向の相関値を検出することが可能である。
その結果、式（９）の演算においては被写体が無彩色の場合には水平方向及び垂直方向のナイキスト周波数の帯域においても、垂直方向及び水平方向の相関値を検出可能となる。しかしながら、有彩色被写体においては、緑信号と赤信号のレベル差、もしくは緑信号と青信号のレベル差がそもそも異なっているため、水平方向及び垂直方向のナイキスト周波数帯域であるか否かに関わらず、全ての周波数帯域において正確な相関値を検出することは不可能である。
このように、式（８）の演算を用いた水平方向及び垂直方向の相関値算出方法及び、式（９）の演算を用いた水平方向及び垂直方向の相関値算出方法ともに、相関値を算出可能な空間周波数について不利な点がある。このような不利な点を回避するためは、白黒画像であるか又はカラー画像であるかについて判別を行って、無彩色被写体である場合に限って、式（９）の演算を用いた水平方向及び垂直方向の相関値算出方法を用いればよい。
そして、前述の方法を用いて作成した緑信号、赤信号、及び青信号から輝度Ｙを、例えば、式（１）を用いて求める。
さらに、緑信号のみから高域強調信号を生成して輝度Ｙに加算する（以下ＯＧ信号（第１の輝度信号）と呼ぶ）。
なお、各画素に赤信号、緑信号、および、青信号の全ての信号を持たせる代わりに、ローパスフィルタ処理を施した緑信号を輝度Ｙとして用いるようにしてもよい。この場合は、ＯＧ信号は第１の色信号である緑信号のみから生成されることになる。
一方、他方の方式では、図２１に示す原色ベイヤー配列の色フィルタを用いて輝度信号を生成する際、Ｒ・Ｇ・Ｂの全ての画素を用いて輝度信号を作成する。これをＳＷＹ方式と言うこととする。ＳＷＹ方式では、撮像素子の出力色信号をデジタル化したＲＡＷ信号を色で区別することなくそのまま輝度信号Ｙとみなすことになる。
図２２は、ＳＷＹ方式によって得られた輝度信号Ｙの概念を示す図である。図２２において、輝度Ｙに付加されたサフッィクス（添字）は画素の位置を示している。通常、サンプリングによるキャリアの発生を抑えるため、ナイキスト周波数において出力０となるローパスフィルタ（ＬＰＦ）を水平及び垂直方向に適用した結果をベース信号とする。
例えば、ＬＰＦのフィルタ係数を水平及び垂直方向とも［１ ２ １］とすると、Ｙ２２の画素に対応するＬＰＦからの出力Ｙ２２’は、式（２）で求めることができる。
さらに、ベース信号から高域強調信号を生成して、この高域強調信号に元のベース信号を加算すると、高域が補償された信号を得ることが可能である（以下、ＳＷＹ信号（第２の輝度信号）と呼ぶ）。
図２３は、ＯＧ信号及びＳＷＹ信号において解像可能な空間周波数特性を示す図である。
図２３において、ｘ軸は被写体の水平（Ｈ）方向の周波数空間を表し、ｙ軸は垂直（Ｖ）方向の周波数空間を表す。ここでは、原点から遠ざかるほど空間周波数が高い。
Ｏｕｔ Ｏｆ Ｇｒｅｅｎ方式では、Ｇ信号を中心として輝度信号を生成するため、ＯＧ信号は水平及び垂直方向の解像限界はナイキスト周波数（軸上、π／２）に等しい。しかしながら、斜め方向においては画素が存在しないラインが存在するため、斜め方向の限界解像周波数は水平及び垂直方向に比べて低く、結果的に、図２１に示す菱形領域２１００の内部が解像可能な空間周波数となる。
一方、ＳＷＹ方式では、全ての画素を用いて輝度信号を生成するため、ＳＷＹ信号においては被写体が無彩色の場合、図２３に示す正方形領域２１０１が解像可能な空間周波数となる。しかしながら、例えば、赤い被写体においては、Ｒ画素以外からの画素からは輝度信号がほとんど出力されないため、無彩色被写体に比べ、４分の１の範囲２１０２のみが解像可能な空間周波数となる。
このように、Ｏｕｔ Ｏｆ Ｇｒｅｅｎ方式及びＳＷＹ方式ともに、解像可能な空間周波数について不利な点がある。このような不利な点を回避するため、白黒画像であるか又はカラー画像であるかについて判別を行って、斜め領域が無彩色被写体である場合に限って、図２３に示すＯＧ信号の斜め領域２１０３についてＳＷＹ信号で置換するようにしたものがある（特許文献１参照）。
さらに、無彩色被写体であると、斜め線の方向について判別を行い、４５度線である場合には、水平及び垂直方向にＬＰＦをかけた信号に対してさらに４５度方向にＬＰＦをかけるようにしたものがある（特許文献２参照）。ここでは、１３５度線であると、水平及び垂直方向にＬＰＦをかけた信号に対してさらに１３５度方向にＬＰＦをかける角度適応型ＳＷＹ信号を使用する。そして、ナイキスト領域はＯＧとする。
一方で、図２１に示す原色ベイヤー配列の色フィルタを用いて画像を撮影する撮像装置において、正確な出力画像を生成するためには、撮像素子のサンプリング周波数が被写体の空間周波数の２倍以上である必要がある。つまり、被写体の空間周波数が、撮像素子のナイキスト周波数（サンプリング周波数の１／２周波数）を越えている場合、被写体の明暗の境界等に偽色（色モアレ）が発生してしまう虞があることが知られている。
特開２００９−１０５９７７号公報 特開２００８−７２３７７号公報 特開２００２−２３２９０４号公報
ところで、特許文献１に記載の手法では、白黒画像であるかカラー画像であるかの判別について水平及び垂直（ＨＶ）ナイキスト領域付近（偽色領域）の影響について考慮していない。このため、無彩色被写体であってもＨＶナイキスト領域においては偽色の影響のため、有彩色被写体と判断され、ＯＧ信号が用いられることになる。その結果、ＯＧ信号の折り返しが発生していてジャギになってしまうという課題がある。
また、特許文献２に記載の手法において、ＨＶナイキスト領域について水平又は垂直方向の帯域を制限させる適応的ＯＧ信号を用いることによって、ＳＷＹ信号より解像度が向上するとしている。しかしながら、ＨＶナイキスト領域付近においてナイキスト点から離れる程、ＯＧ信号の斜め方向の折り返し歪みが大きくなってしまうという課題がある。
同様に、Ｏｕｔ Ｏｆ Ｇｒｅｅｎ方式の第１の色信号である緑信号を補間する際に、白黒画像であるか又はカラー画像であるかについて判別を行って、無彩色被写体の場合に限って、式（９）による水平方向及びに垂直方向の相関値用いたとしても、ＨＶナイキスト領域においては偽色の影響のため、有彩色被写体と判断され、結果的に式（８）を用いた水平方向及び垂直方向の相関値によって補間処理が行われ、ＨＶナイキスト周波数の帯域が失われた補間信号が出力される。
従って、本発明の目的は、無彩色被写体時のＨＶナイキスト付近における折り返し歪みの発生を抑制可能であり、またＨＶナイキストの帯域を解像可能な輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体を提供することにある。
上記の目的を達成するために、本発明による輝度信号作成装置は、第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成する輝度信号作成装置において、前記画像信号のうちの前記第１の色信号に応じていない画素に対して前記第１の色信号を補間して第１の輝度信号を生成する第１の輝度信号生成手段と、前記複数の色信号のそれぞれを画素の位置における輝度信号として第２の輝度信号を生成する第２の輝度信号生成手段と、前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成手段と、前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出手段と、前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する第１の選択手段と、前記選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の輝度信号を混合して第３の輝度信号を生成する混合手段とを有することを特徴とする。
本願の請求項１６に係る輝度信号作成装置は、第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成する輝度信号作成装置において、前記第１の色信号の補間対象の画素位置に対して、第１及び第２の方向に位置する画素データに基づいて補間処理する第１の補間手段と、補間対象の画素位置に対して、前記第１の方向に位置する画素データに基づいて補間処理する第２の補間手段と、補間対象の画素位置に対して、前記第２の方向に位置する画素データに基づいて補間処理する第３の補間手段と、補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色の色信号の差分に基づく値を用いて比べる第１の判別手段と、補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色ではない色信号の差分に基づく値を用いて比べる第２の判別手段と、前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成手段と、前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出手段と、前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択手段と、前記選択手段によって選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の判別手段の結果を混合して、前記第１および第２の方向の相関についての判別結果を得る第３の判別手段と、を有し、前記第３の判別手段の判別結果に基づいて、前記第１、第２、及び第３の補間手段による補間処理で得られた画素データを混合して補間信号を出力し、前記補間信号に基づいた輝度信号を作成することを特徴とする。
本発明による撮像装置は、上記の輝度信号作成装置を備え、被写体を撮像して前記画像信号を得ることを特徴する。
本発明による輝度信号作成方法は、第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成する際に用いられる輝度信号作成方法において、前記画像信号のうちの前記第１の色信号に応じていない画素に対して前記第１の色信号を補間して第１の輝度信号を生成する第１の輝度信号生成ステップと、前記複数の色信号のそれぞれを画素の位置における輝度信号として第２の輝度信号を生成する第２の輝度信号生成ステップと、前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成ステップと、前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出ステップと、前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択ステップと、前記選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の輝度信号を混合して第３の輝度信号を生成する混合ステップとを有することを特徴とする。
本願の請求項１９に係る輝度信号作成方法は、第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成する際に用いられる輝度信号作成方法において、前記第１の色信号の補間対象の画素位置に対して、第１及び第２の方向に位置する画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向に位置する画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向に位置する画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色の色信号の差分に基づく値を用いて比べる第１の判別ステップと、補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色ではない色信号の差分に基づく値を用いて比べる第２の判別ステップと、前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成ステップと、前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出ステップと、前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択ステップと、前記選択ステップにおいて選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の判別ステップで得られた結果を混合して、前記第１および第２の方向の相関についての判別結果を得る第３の判別ステップと、前記第３の判別ステップで得られた判別結果に基づいて、前記第１、第２、及び第３の補間ステップにおける補間処理で得られた画素データを混合して補間信号を出力し、前記補間信号に基づいた輝度信号を作成する輝度信号生成ステップとを有することを特徴とする。
本発明によるプログラムは、第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成するためのプログラムにおいて、コンピュータに、前記画像信号のうちの前記第１の色信号に応じていない画素に対して前記第１の色信号を補間して第１の輝度信号を生成する第１の輝度信号生成ステップと、前記複数の色信号のそれぞれを画素の位置における輝度信号として第２の輝度信号を生成する第２の輝度信号生成ステップと、前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成ステップと、前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出ステップと、前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択ステップと、前記選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の輝度信号を混合して第３の輝度信号を生成する混合ステップとを実行させることを特徴とする。
本願の請求項２１に係るプログラムは、第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成するためのプログラムにおいて、コンピュータに、前記第１の色信号の補間対象の画素位置に対して、第１及び第２の方向に位置する画素データに基づいて補間処理する第１の補間ステップと、補間対象の画素位置に対して、前記第１の方向に位置する画素データに基づいて補間処理する第２の補間ステップと、補間対象の画素位置に対して、前記第２の方向に位置する画素データに基づいて補間処理する第３の補間ステップと、補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色の色信号の差分に基づく値を用いて比べる第１の判別ステップと、補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色ではない色信号の差分に基づく値を用いて比べる第２の判別ステップと、前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成ステップと、前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出ステップと、前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択ステップと、前記選択ステップにおいて選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の判別ステップで得られた結果を混合して、前記第１および第２の方向の相関についての判別結果を得る第３の判別ステップと、前記第３の判別ステップで得られた判別結果に基づいて、前記第１、第２、及び第３の補間ステップにおける補間処理で得られた画素データを混合して補間信号を出力し、前記補間信号に基づいた輝度信号を作成する輝度信号生成ステップとを実行させることを特徴とする。
本発明による記録媒体は、上記のプログラムが記録されたコンピュータで読み取り可能な記録媒体である。
本発明によれば、無彩色被写体時のＨＶナイキスト領域の先鋭感向上が可能とって、良好な輝度信号を得ることができるという効果がある。
本発明の第１の実施の形態における輝度信号作成装置の一例についてその概略構成を示すブロック図である。 図１に示す角度判別信号作成部についてその構成の一例を示すブロック図である。 図１に示す色差信号作成部及びナイキスト領域判別部の構成の一例を示すブロック図である 図３に示す色補間回路における補間処理を説明するための図である。 図３に示す色差信号作成部に備えられたＬＰＦの周波数特性の一例を示す図である。 図３に示すナイキスト領域判別部に備えられたＬＰＦの周波数特性の一例を示す図である。 グラデーションを有する縦縞を有する被写体の一例を示す図である。 図７に示す被写体を撮影した結果得られた画像信号におけるＧ１ｓｉｇ及びＧ２ｓｉｇの値を示す図である。 ＣＺＰ（円形ゾーンプレート）を示す図である。 図９に示すＣＺＰの中心部から水平に延びた軸上に位置する補間後のＧ１ｓｉｇ及びＧ２ｓｉｇの値をプロットした図である。 図３に示す偽色判別回路で用いられるデジタルフィルタの一例を示す図である。 図３に示す選択回路で行われる色差信号の選択処理を説明するためのフローチャートである。 図１に示すＳＷＹ信号作成部についてその構成の一例を示すブロック図である。 図１３に示す加重加算係数Ｒａｔｉｏ１を算出するための算出回路についてその構成の一例を示すブロック図である。 図１３に示す加重加算係数Ｒａｔｉｏ１と角度判別信号との関係（入出力特性）を示す図である。 図１３に示す加重加算係数Ｒａｔｉｏ２を算出するための算出回路についてその構成の一例を示すブロック図である。 図１３に示す加重加算係数Ｒａｔｉｏ１と彩度信号との関係（入出力特性）を示す図である。 図１に示す輝度信号混合処理部１０６についてその構成の一例を示すブロック図である。 本発明の第２の実施の形態による輝度信号作成装置についてその構成の一例を示すブロック図である。 図１９に示す輝度信号混合処理部についてその構成の一例を示すブロック図である。 原色ベイヤー配列の１単位を示す図である。 ＳＷＹ方式によって得られた輝度信号Ｙの概念を示す図である。 ＯＧ信号及びＳＷＹ信号において解像可能な空間周波数特性を示す図である。 原色ベイヤー配列の一例を示す図である。 式（８）によって水平方向及び垂直方向の相関を検出可能な空間周波数特性を示す図である。 式（９）によって水平方向及び垂直方向の相関を検出可能な空間周波数特性を示す図である。 本発明の第３の実施の形態における輝度信号作成装置の一例についてその概略構成を示すブロック図である。 図２７に示すＴｓｉｇ信号作成部についてその構成の一例を示すブロック図である。 図２８に示す加重加算係数算出部（Ｔｓｉｇ算出１、Ｔｓｉｇ算出２）と入力信号（ｄｉｆｆＨＶ、ｄｉｆｆＨＶＧ）との関係（入出力特性）を示す図である。 図２７に示すＯＧ信号作成部についてその構成の一例を示すブロック図である。
以下、本発明の実施の形態による輝度信号作成装置の一例について図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態における輝度信号作成装置の一例についてその概略構成を示すブロック図である。
図１を参照して、図示の輝度信号作成装置１１０は、例えば、原色ベイヤー配列の色フィルタ（３色フィルタ）を備える撮像素子を用いる撮像装置において用いられ、所謂現像処理等の信号処理を行う信号処理回路に適用される。
輝度信号作成装置１１０には画像信号が与えられる。具体的には、撮像素子（図示せず）から読み出されたアナログ信号がＡ／Ｄ変換によってデジタル化され、さらにホワイトバランス処理が行われて、画像信号（以下、ＲＡＷ信号と呼ぶ）１００とされる。
輝度信号作成装置１１０は、ＯＧ信号作成部１０１、ＳＷＹ信号作成部１０２、角度判別信号作成部１０３、色差信号作成部１０４、ナイキスト領域判別部１０５、及び輝度信号混合処理部１０６を有している。
ＯＧ信号作成部１０１は、ＲＡＷ信号１００に基づいて第１の輝度信号を作成する。ＯＧ信号作成部１０１は、例えば、前述のＯｕｔ ｏｆ Ｇｒｅｅｎ方式を用いてＲＡＷ信号から第１の輝度信号を生成する。なお、特許文献２に記載の手法のように補間方法を切り替える方式を採用してもよい。
角度判別信号作成部１０３は、ＲＡＷ信号１００に応じて被写体の角度情報である角度判別信号を生成する。
図２は、図１に示す角度判別信号作成部１０３についてその構成の一例を示すブロック図である。
図２を参照すると、角度判別信号作成部１０３は、まず不図示の回路において第１の色信号である緑信号以外の画素に０挿入して、垂直方向および水平方向の帯域を制限するローパスフィルタを施して、緑信号のみからなる画像信号を生成する。この緑信号のみからなる画像信号は４５度線を強調するバンドパスフィルタ（Ｄ１３５−ＢＰＦ）２０１と１３５度線を強調するバンドパスフィルタ（Ｄ４５−ＢＰＦ）２０３に入力される。そして、Ｄ１３５−ＢＰＦ２０１の出力（第１のバンドパス信号）及びＤ４５−ＢＰＦ２０３の出力（第２のバンドパス信号）は、それぞれ絶対回路（ＡＢＳ）２０２及び２０４に与えられる。
これにより、Ｄ１３５−ＢＰＦ２０１及びＡＢＳ２０２によって画像信号から４５度線検出信号を生成することになる。また、Ｄ４５−ＢＰＦ２０３及びＡＢＳ２０４によって画像信号から１３５度線検出信号を生成する。
減算器２０５は、ＡＢＳ２０２の出力である４５度線検出信号から、ＡＢＳ２０４の出力である１３５度線検出信号を減算する。この減算結果が、減算器２０５から角度判別信号として出力される。
再び図１を参照して、色差信号作成部１０４は、ＲＡＷ信号から画素又は所定の領域毎に色差信号Ｒ−Ｇ及びＢ−Ｇを生成して出力する。また、ナイキスト領域判別部１０５は、ＲＡＷ信号を受けてナイキスト領域（偽色信号が発生する領域）を判別する。
ここで、色差信号作成部１０４及びナイキスト領域判別部１０５で行われる処理について詳細に説明する。
図３は、図１に示す色差信号作成部１０４及びナイキスト領域判別部１０５の構成の一例を示すブロック図である。
図３を参照すると、色差信号作成部１０４は、色補間回路３００、ローパスフィルタ（ＬＰＦ）３０１〜３０４、色差信号算出回路３１１〜３１４、及び選択回路３２０を有している。また、ナイキスト領域判別部１０５は、色補間回路３５０、ローパスフィルタ（ＬＰＦ）３５１〜３５３、及び偽色判別回路３６０を有している。まず、色差信号作成部１０４に注目して、ＲＡＷ信号１００は、色補間回路３００に入力される。
図４は、図３に示す色補間回路３００における補間処理を説明するための図である。
図２１で説明したように、ベイヤー配列においては、Ｒフィルタの水平方向であってＢフィルタの垂直方向に位置するＧフィルタをＧ１フィルタ（Ｇ１フィルタ成分）、Ｒフィルタの垂直方向であってＢフィルタの水平方向に位置するＧフィルタをＧ２フィルタ（Ｇ２フィルタ成分）とする。また、Ｇ１フィルタ、Ｇ２フィルタ、Ｒフィルタ、及びＢフィルタの各々に対応する画素から出力される信号（画素信号と呼ぶ）をＧ１ｓｉｇ、Ｇ２ｓｉｇ、Ｒｓｉｇ、及びＢｓｉｇとする。
色補間回路３００は、ベイヤー配列で入力されたＲＡＷ信号を、Ｒ、Ｇ１、Ｇ２、及びＢフィルタの色毎に対応する信号からなる画像信号に分解する。この際、色フィルタに対応していない画素に対しては、信号の値として０が挿入される。そして、色補間回路５００は、デジタルフィルタを用いてＬＰＦによる補間処理を行って、全ての画素においてＲ、Ｇ１、Ｇ２、及びＢの各色の画像信号を出力する。
色補間回路３００から出力された各色の画像信号は、遮断周波数が互いに異なるＬＰＦ３０１〜３０４に入力される。
図５は図３に示す色差信号作成部１０４に備えられたＬＰＦ３０１〜３０４の周波数特性の一例を示す図である。
図５において、ＬＰＦ３０１は周波数特性６０１を有し、ＬＰＦ３０２は周波数特性６０２を有するものとする。また、ＬＰＦ３０３は周波数特性６０３を有し、ＬＰＦ３０４は周波数特性６０４を有するものとする。図５から容易に理解できるように、ＬＰＦ３０１、ＬＰＦ３０２、ＬＰＦ３０３、及びＬＰＦ３０４の順にその遮断周波数が高くなる。つまり、ＬＰＦ３０１〜３０４はそれぞれ画像信号Ｓ０１〜Ｓ０４を出力すると、画像信号Ｓ０１〜Ｓ０４の順で高い周波数成分が画像信号に含まれることになる。
これら画像信号Ｓ０１〜Ｓ０４の各々は周波数成分が制限されたＲ、Ｇ１、Ｇ２、及びＢの各色の画像信号を有している。
画像信号Ｓ０１〜Ｓ０４はそれぞれ色差信号算出回路３１１〜３１４に与えられる。色差信号算出回路３１１〜３１４はそれぞれ画像信号Ｓ０１〜Ｓ０４について、例えば、次の手順によって色差信号を求める。
色差信号算出回路３１１は、着目画素における垂直方向と水平方向の相関度に応じて色差信号Ｒ−Ｇ及びＢ−Ｇを生成する。具体的には、色差信号算出回路３１１は、水平方向の相関度の方が垂直方向の相関度よりも高いと判断すると、Ｒｓｉｇ−Ｇ１ｓｉｇの値を色差信号Ｒ−Ｇとし、Ｂｓｉｇ−Ｇ２ｓｉｇの値を色差信号Ｂ−Ｇとする。
一方、色差信号算出回路３１１は、垂直方向の相関度の方が水平方向の相関度よりも高いと判断すると、Ｒｓｉｇ−Ｇ２ｓｉｇの値を色差信号Ｒ−Ｇとし、Ｂｓｉｇ−Ｇ１ｓｉｇの値を色差信号Ｂ−Ｇとする。
なお、色差信号算出回路３１１は、Ｒｓｉｇ−Ｇ１ｓｉｇの値とＲｓｉｇ−Ｇ２ｓｉｇの値との差分（差分値）に応じた重み付け係数を用いて、Ｒｓｉｇ−Ｇ１ｓｉｇの値とＲｓｉｇ−Ｇ２ｓｉｇの値とを加算平均した値を色差信号Ｒ−Ｇとするようにしてもよい。
同様に、色差信号算出回路３１１はＢｓｉｇ−Ｇ１ｓｉｇの値とＢｓｉｇ−Ｇ２ｓｉｇの値の差分に応じた重み付け係数を用いて、Ｂｓｉｇ−Ｇ１ｓｉｇの値とＢｓｉｇ−Ｇ２ｓｉｇの値とを加算平均した値を色差信号Ｂ−Ｇとするようにしてもよい。
色差信号算出回路３１２〜３１４は、色差信号算出回路３１１と同様の処理を行う。
色差信号算出回路３１１〜３１４の各々において算出された色差信号Ｒ−Ｇ及びＢ−Ｇは、それぞれ色差信号Ｓ１１、Ｓ１２、Ｓ１３、及びＳ１４として、後述する選択回路３２０に与えられる。
続いて、図３に示すナイキスト領域判別部１０５について説明する。ナイキスト領域判別部１０５において、ＲＡＷ信号１００は、色補間回路３５０に入力される。色補間回路３５０は、前述の色補間回路３００と同様にして、全ての画素においてＲ、Ｇ１、Ｇ２、及びＢの各色の画像信号を出力する。ここで、図２１に示すベイヤー配列においては、Ｇフィルタに対応した画素の数は、Ｒフィルタに対応した画素の数、Ｂフィルタに対応した画素の数の各々に対して２倍となる。
このＧフィルタをＧ１フィルタとＧ２フィルタに分解することによって、Ｒ、Ｇ１、Ｇ２、及びＢフィルタの画素間隔（サンプリング間隔）が等しくなる。よって、これらＧ１及びＧ２画像信号を用いて折り返しノイズが発生する領域を検出すれば、Ｒ及びＢの画像信号において折り返しノイズが発生する領域を特定することが可能となる。
色補間回路３５０から出力された各色の画像信号は、遮断周波数が互いに異なるＬＰＦ３５１〜３５３に入力される。
図６は図３に示すナイキスト領域判別部１０５に備えられたＬＰＦ３５１〜３５３の周波数特性の一例を示す図である。
図６において、ＬＰＦ３５１は周波数特性６１１を有し、ＬＰＦ３５２は周波数特性６１２有しているものとする。また、ＬＰＦ３５３は周波数特性６１３を有しているものとする。図６から容易に理解できるように、ＬＰＦ３５１、ＬＰＦ３５２、及びＬＰＦ３５３の順で遮断周波数が高くなる。つまり、ＬＰＦ３５１から３５３がそれぞれ画像信号Ｔ０１〜Ｔ０３を出力すると、画像信号Ｔ０１〜Ｔ０３の順で、高い周波数成分が画像信号に含まれる。
なお、ここでは、ＬＰＦ３０１とＬＰＦ３５１、ＬＰＦ３０２とＬＰＦ３５２、そして、ＬＰＦ３０３とＬＰＦ３５３の周波数特性はそれぞれ一致するものとする。
ＬＰＦ３５１〜３５３から出力された画像信号Ｔ０１〜Ｔ０３は偽色判別回路３６０に与えられる。
図７は、グラデーションを有する縦縞を有する被写体の一例を示す図である。また、図８は図７に示す被写体を撮影した結果得られた画像信号におけるＧ１ｓｉｇ及びＧ２ｓｉｇの値を示す図である。
ここで、図７及び図８を参照して、図３に示す偽色判別回路３６０において、偽色信号が発生する領域を判別するための手法について説明する。
図８（ａ）〜図８（ｉ）において、その横軸は、水平方向における画素の位置（画素位置）を表している。また、図８（ａ）、図８（ｄ）、及び図８（ｇ）の各々は、任意の行におけるＧ１フィルタに対応した画素から得られたＧ１ｓｉｇと、異なる行におけるＧ２フィルタに対応した画素から得られたＧ２ｓｉｇを並べて配置して示す図である。
水平方向及び垂直方向において、Ｇ１フィルタに対応する画素のサンプリング間隔とＧ２フィルタに対応する画素のサンプリング間隔は等しい。また、Ｇ１フィルタに対応する画素とＧ２フィルタに対応する画素の空間的位相はこのサンプリング間隔の半分だけずれている。
図７に示すように、被写体は縦縞であるので、撮像素子の全ての行に対して等しく被写体像が入射する。このため、Ｇ１ｓｉｇ及びＧ２ｓｉｇを水平方向における画素の位置に応じて並べると、図７に示す被写体（縦縞）のグラデーションを示す画像信号が得られる。
ここで、図８（ａ）においては、縦縞の周波数は、Ｇ１フィルタ及びＧ２フィルタのナイキスト周波数よりも十分に低いものとする。図８（ｄ）においては、縦縞の周波数が、図８（ａ）における縦縞の周波数よりも高く、Ｇ１フィルタ及びＧ２フィルタのナイキスト周波数よりもやや低いものとする。また、図８（ｇ）においては、縦縞の周波数が、Ｇ１フィルタ及びＧ２フィルタのナイキスト周波数よりも高いものとする。
図８（ｂ）、図８（ｅ）、及び図８（ｈ）は、それぞれ図８（ａ）、図８（ｄ）、及び図８（ｇ）におけるＧ１ｓｉｇのみを抽出して、Ｇ１フィルタに対応していない画素に対して周囲のＧ１ｓｉｇを用いてＧ１ｓｉｇの補間を行った状態を示している。
図８（ｃ）、図８（ｆ）、及び図８（ｉ）は、それぞれ図８（ａ）、図８（ｄ）、及び図８（ｇ）のＧ２ｓｉｇのみを抽出して、Ｇ２フィルタに対応していない画素に対して周囲のＧ２ｓｉｇを用いてＧ２ｓｉｇの補間を行った状態を示している。
図８（ａ）〜図８（ｉ）から容易に理解できるように、被写体の空間周波数がＧ１フィルタ及びＧ２フィルタのナイキスト周波数よりも十分に低ければ、補間後のＧ１ｓｉｇ及びＧ２ｓｉｇの位相のずれは小さくなる。そして、被写体の空間周波数がＧ１フィルタ及びＧ２フィルタのナイキスト周波数に近づく程、補間後のＧ１ｓｉｇ及びＧ２ｓｉｇの位相のずれが大きくなり、ナイキスト周波数を超えると、補間後のＧ１ｓｉｇ及びＧ２ｓｉｇの位相がほぼ反転した状態となる。
つまり、補間後のＧ１ｓｉｇ及びＧ２ｓｉｇの位相の差異を検出すれば、高周波領域であるか否か、すなわち偽色が生じる領域であるか否かを判断することが可能となる。
ここで、偽色判別回路３６０の動作について説明する。図９はＣＺＰ（円形ゾーンプレート）を示す図であり、図１０は図９に示すＣＺＰの中心部から水平に延びた軸上に位置する補間後のＧ１ｓｉｇ及びＧ２ｓｉｇの値をプロットした図である。
図９に示すように、ＣＺＰにおいては、画像の中心を原点とする同心円が幾重にも並び、その中心から外側に向かって空間周波数が高くなる。
図１０（ａ）において、曲線１００１は画像信号Ｔ０１の補間後のＧ１ｓｉｇを示し、曲線１００２は画像信号Ｔ０１の補間後のＧ２ｓｉｇを示す。また、図１０（ｂ）において、曲線１００３は画像信号Ｔ０２の補間後のＧ１ｓｉｇを示し、曲線１００４は画像信号Ｔ０２の補間後のＧ２ｓｉｇを示す。さらに、図１０（ｃ）において、曲線１００５は画像信号Ｔ０３の補間後のＧ１ｓｉｇを示し、曲線１００６は画像信号Ｔ０３の補間後のＧ２ｓｉｇを示す。
なお、図１０（ａ）〜（ｃ）において、符号Ｆ０〜Ｆ４はＣＺＰの空間周波数を示しており、画像の中心の空間周波数をＦ０とし、画像の外側に向かうにつれ、Ｆ１、Ｆ２、Ｆ３、Ｆ４の順で徐々に空間周波数が高くなる。
図３に示す偽色判別回路３６０は、補間後のＧ１ｓｉｇからなる画像信号と補間後のＧ２ｓｉｇからなる画像信号の特性の差を用いて、偽色信号が発生する高周波領域であるか否かについて判別する。
具体的には、補間後のＧ１ｓｉｇからなる画像信号と補間後のＧ２ｓｉｇからなる画像信号の傾きの位相に着目して、式（３）を満たすと、偽色判別回路３６０は偽色信号が発生する偽色領域であると判別する。
ここで、ΔＧ１ｈは補間後のＧ１ｓｉｇからなる画像信号における水平方向の傾き、ΔＧ２ｈは補間後のＧ２ｓｉｇからなる画像信号における水平方向の傾きを示す。また、ΔＧ１ｖは補間後のＧ１ｓｉｇからなる画像信号における垂直方向の傾き、ΔＧ２ｖは補間後のＧ２ｓｉｇからなる画像信号における垂直方向の傾きを示す。
図１１は、図３に示す偽色判別回路３６０で用いられるデジタルフィルタの一例を示す図である。画像信号における水平方向の傾きを求める際には、図１１（ａ）に示すデジタルフィルタが用いられ、画像信号における垂直方向の傾きを求める際には、図１１（ｂ）に示すデジタルフィルタが用いられる。なお、図１１（ａ）及び（ｂ）に示すデジタルフィルタは一例であり、水平方向及び垂直方向の傾きを求める際のデジタルフィルタは図１１（ａ）及び（ｂ）に示すデジタルフィルタに限られない。
また、画素単位ではなく、複数の画素からなる着目領域単位で、偽色領域を判別するようにしてもよい。着目領域単位で判別する場合には、当該領域に含まれる各画素を用いて求めた画像信号の傾きのうち、式（３）を満たすものの割合が所定の閾値以上である場合に、その領域が偽色領域であると判別するようにしてもよい。
このようにして、図１０（ａ）に基づいて、画像信号Ｔ０１では空間周波数（空間周波数領域）がＦ１よりも高くなる領域２〜領域４が偽色領域であると判断することができる。また、図１０（ｂ）に基づいて、画像信号Ｔ０２では空間周波数がＦ２よりも高くなる領域３及び領域４が偽色領域であると判断することができる。さらに、図１０（ｃ）に基づいて、画像信号Ｔ０３では空間周波数がＦ３よりも高くなる領域４が偽色領域であると判断することができる。
図３に示す偽色判別回路３６０は、図３に示す選択回路３２０に偽色領域判別信号（偽色領域検出信号）を与える。偽色領域判別信号に応答して、選択回路３２０は、画像信号Ｔ０１において偽色領域でないと判断された領域１について、画像信号Ｔ０１と同一の周波数の画像信号から生成された色差信号Ｓ１１を選択する。
また、選択回路３２０は、画像信号Ｔ０１においては偽色領域であると判断されたが、画像信号Ｔ０２においては偽色領域でないと判断された領域２については、画像信号Ｔ０２と同一の周波数の画像信号から生成された色差信号Ｓ１２を選択する。
さらに、選択回路３２０は、画像信号Ｔ０２においては偽色領域であると判断されたが、画像信号Ｔ０３において偽色領域でないと判断された領域３については、画像信号Ｔ０３と同一の周波数の画像信号から生成された色差信号Ｓ１３を選択する。
そして、選択回路３２０は、画像信号Ｔ０３において偽色領域であると判断された領域４については、画像信号Ｔ０３よりも低い周波数の画像信号から生成された色差信号Ｓ１４を選択する。このようにして、選択回路３２０は、偽色判別回路３６０から与えられる偽色領域判別信号に応じて画素毎に偽色を含まない色差信号を選択することになる。
なお、図示の例では、ＬＰＦ３０１とＬＰＦ３５１、ＬＰＦ３０２とＬＰＦ３５２、そして、ＬＰＦ３０３とＬＰＦ３５３の周波数特性がそれぞれ一致するものとしたが、このような関係に限られない。
例えば、画像信号Ｓ０１のうち画像信号Ｔ０１で偽色領域でないと判断された領域において偽色が発生しない確率を高くするためには、画像信号Ｓ０１に含まれる周波数の上限を、画像信号Ｔ０１に含まれる周波数の上限よりも低くすればよい。
つまり、ＬＰＦ３５１の遮断周波数をＬＰＦ３０１の遮断周波数よりもやや高く設定する。同様にして、ＬＰＦ３５２の遮断周波数をＬＰＦ３０２の遮断周波数よりも高く設定し、ＬＰＦ３５３の遮断周波数をＬＰＦ３０３の遮断周波数よりもやや高く設定する。
但し、この場合には、ＬＰＦ３０１とＬＰＦ３５１、ＬＰＦ３０２とＬＰＦ３５２、ＬＰＦ３０３とＬＰＦ３５３の周波数特性をそれぞれ一致させた場合よりも、色解像度が低下する領域が増加する可能性がある。一方、色解像度が低下する領域を減らしたいのであれば、ＬＰＦ３０１、ＬＰＦ３０２、及びＬＰＦ３０３の遮断周波数を、対応するＬＰＦ３５１、ＬＰＦ３５２、及びＬＰＦ３５３の遮断周波数よりもやや低く設定すればよい。
この場合には、例えば、画像信号Ｓ０１に画像信号Ｔ０１よりも高い周波数が含まれる可能性があるので、画像信号Ｔ０１では偽色領域でないと判断された領域においても、画像信号Ｓ０１では偽色領域となる可能性がある。
ＬＰＦ３０１〜ＬＰＦ３０３と、これらに対応するＬＰＦ３５１〜ＬＰＦ３５３の遮断周波数を一致させるか又は差を設けるかは、どのような画像を生成したいのかによって適応的に変更するようにしてもよい。
また、被写体の柄及び模様によっては、解像度を低下させることによる影響の程度が異なるため、被写体に応じてこれらのＬＰＦの遮断周波数を適応的に変更するようにしてもよい。
このように、図示の例では、色差信号作成部１０４は、遮断周波数の異なるＬＰＦ３０１〜３０４を透過させた複数の画像信号Ｓ０１〜Ｓ０４を生成する。そして、色差信号作成部１０４はこれら複数の画像信号Ｓ０１〜Ｓ０４から階層的に色差信号Ｓ１１〜Ｓ１４生成する。また、ナイキスト領域判別部１０５は、同様に遮断周波数の異なるＬＰＦ３５１〜３５３を通過した複数の画像信号Ｔ０１〜Ｔ０３を生成して、これら階層の異なる画像信号毎に偽色領域を検出する。
色差信号作成部１０４において、選択回路３２０は、偽色領域が画像信号Ｔ０１〜Ｔ０３のうちのいずれの解像度の画像信号から検出されたかに応じて（つまり、偽色領域判別信号に応じて）、色差信号Ｓ１１〜Ｓ１４のいずれかを選択する。このため、選択回路３２０は、画素又は領域毎に、偽色とならない範囲で最も周波数の高い階層の画像信号から生成された色差信号を選択することになる。
このようにすれば、偽色が発生する領域のみを、偽色を抑圧するために必要な分だけ色解像度を低下させ、偽色が発生しない領域では色解像度を落とす必要がなくなる。従って、色解像度の向上と偽色の抑圧を優れたバランスで両立させることができる。
図１２は、図３に示す選択回路３２０で行われる色差信号の選択処理を説明するためのフローチャートである。選択回路３２０は、例えば、画素又は所定の領域単位で選択処理を行う。ここでは、選択回路３２０は画素単位で選択処理を行うものとする。
図３及び図１２を参照して、選択処理が開始されると、選択回路３２０は、着目画素に対応する画像信号Ｔ０１の画素が偽色判別回路３６０において偽色領域であると判別されたか否かを判定する（ステップＳ１１０１）。偽色判別回路３６０において着目画素は偽色領域でないと判別されると（ステップＳ１１０１において、ＮＯ）、選択回路３２０は着目画素の色差信号として当該着目画素に対応する画素の色差信号Ｓ１１を選択する（ステップＳ１１０２）。そして、選択回路３２０は処理を終了する。
一方、偽色判別回路３６０において着目画素は偽色領域であると判別されると（ステップＳ１１０１において、ＹＥＳ）、選択回路３２０は着目画素に対応する画像信号Ｔ０２の画素が偽色判別回路３６０において偽色領域であると判別されたか否かについて判定する（ステップＳ１１０３）。
偽色判別回路３６０において当該着目画素は偽色領域でないと判別されると（ステップＳ１１０３において、ＮＯ）、選択回路３２０は着目画素の色差信号として、当該着目画素に対応する画素の色差信号Ｓ１２を選択する（ステップＳ１１０４）。そして、偽色判別回路３６０は処理を終了する。
偽色判別回路３６０において当該着目画素は偽色領域であると判別されると（ステップＳ１１０３において、ＹＥＳ）、選択回路３２０は着目画素に対応する画像信号Ｔ０３の画素が偽色判別回路３６０において偽色領域であると判別されたか否かについて判定する（ステップＳ１１０５）。偽色判別回路３６０において当該着目画素は偽色領域でないと判別されると（ステップＳ１１０５において、ＮＯ）、偽色判別回路３６０は着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１３を選択する（ステップＳ１１０６）。そして、偽色判別回路３６０は処理を終了する。
一方、偽色判別回路３６０において着目画素が偽色領域であると判別されると（ステップＳ１１０５において、ＹＥＳ）、偽色判別回路３６０は着目画素の色差信号として、この着目画素に対応する画素の色差信号Ｓ１４を選択する（ステップＳ１１０７）。そして、偽色判別回路３６０は処理を終了する。
このようにして、選択回路３２０は画像信号の全ての画素について色差信号の選択処理を行って、各画素に対して選択した色差信号Ｓ１１〜Ｓ１４のいずれかに含まれる色差信号Ｒ−Ｇ及びＢ−Ｇを出力する。
図示の例では、偽色を抑圧するために、複数階層の周波数の異なる画像信号から生成された色差信号のいずれかを選択する例をあげて説明を行ったが、偽色の抑制を行うための手法は図示の例に限られない。
このように、図示の輝度信号作成装置１１０では、まず、ベイヤー配列の撮像素子から得られた画像信号から、第１の色フィルタであるＧ１フィルタの画像信号と、第２の色フィルタであるＧ２フィルタの画像信号を抽出して補間する。これらＧ１フィルタ及びＧ２フィルタは、互いに同一の周期で画素が配置され、かつその空間的位相がずれている。このため、Ｇ１フィルタにおける補間後の画像信号（補間信号）とＧ２フィルタにおける補間後の画像信号とは、高周波領域においては図８又は図１０に示すようにその位相が反転する。
従って、輝度信号作成装置１１０では、これらＧ１フィルタ及びＧ２フィルタにおける画像信号の傾きとＧ１フィルタ及びＧ２フィルタにおける画像信号の差分との少なくとも一方に基づいて着目領域（着目画素）が高周波領域であるか否かを判別することができる。輝度信号作成装置１１０では、着目画素が高周波領域であると判断すると、着目画素が高周波領域であると判断されないレベルまで遮断周波数を低くした画像信号から色差信号又は輝度信号等の所定の信号を生成する。これによって、画像信号における偽色及びモアレを抑圧することが可能となる。
なお、輝度信号作成装置１１０では、色差信号又は輝度信号等の所定の信号を生成することは後段の装置に任せて、着目画素が高周波領域であるか否かの判別結果を示すフラグを画像信号に設定するようにしてもよい。
図１に示すＳＷＹ信号作成部１０２は、ＲＡＷ信号１００に基づいて第２の輝度信号を作成する。
図１３は、図１に示すＳＷＹ信号作成部１０２についてその構成の一例を示すブロック図である。
図１３を参照して、ＳＷＹ信号作成部１０２において、ＲＡＷ信号１００は垂直方向ローパスフィルタ（Ｖ−ＬＰＦ）１２０１に与えられ、ここで垂直方向における帯域が制限される。そして、Ｖ−ＬＰＦ１２０１に出力は水平方向ローパスフィルタ（Ｈ−ＬＰＦ）１２０２によって水平方向における帯域が制限されて、汎用のＳＷＹ輝度信号（ＳＷＹ＿ＨＶ）として出力される。
ここで、原色ベイヤー配列の信号は、フィルタの分光感度の特性上、Ｒ・Ｇ・Ｂ三原色の色分離がよい。よって、汎用のＳＷＹ輝度信号の生成に用いるＶ−ＬＰＦ１２０１及びＨ−ＬＰＦ１２０２に加えて、斜め方向についても帯域制限フィルタを適用しないと、輝度の折り返し歪みを十分抑制することができない。
また、ＳＷＹ信号は、色毎に区別することなく全ての画素を用いて生成されるため、被写体が無彩色の場合には、解像可能な空間周波数はＯＧ信号より高い。一方、被写体が有彩色の場合には、斜め領域以外はＯＧ信号の方が有利となる。
そこで、図示の例では、ＳＷＹ信号作成部１０２は水平及び垂直方向の帯域を制限するローパスフィルタに加え、４５度及び１３５度方向の帯域を制限する斜めＬＰＦを有している。そして、被写体の角度情報と彩度情報に応じて、後述するようにして、ＳＷＹ信号作成部１０２は、帯域制限された３種類の信号の選択又は加重加算を行う。
Ｈ−ＬＰＦ１２０２から出力されるＳＷＹ＿ＨＶ信号は、２次元フィルタ（Ｄ４５−ＬＰＦ）１２０３によって、４５度方向の帯域が制限される。その後、４５度線のエッジを検出するための２次元バンドパスフィルタ（Ｄ１３５−ＢＰＦ）１２０４は、Ｄ４５−ＬＰＦ１２０３から斜め４５度線用ＳＷＹ信号（ＳＷＹ＿４５（第４の輝度信号））を生成する。
一方、ＳＷＹ＿ＨＶ信号は２次元フィルタ（Ｄ１３５−ＬＰＦ）１２０６によって、１３５度方向の帯域が制限される。その後、１３５度線のエッジを検出するための２次元バンドパスフィルタ（Ｄ４５−ＢＰＦ）１２０７は、Ｄ１３５−ＬＰＦ１２０６の出力から斜め１３５度線用ＳＷＹ信号（ＳＷＹ＿１３５（第５の輝度信号））を生成する。
セレクタ１２０９は、ＳＷＹ＿４５信号及びＳＷＹ＿１３５信号のいずれか一方を、角度判別信号作成部１０３が出力する角度判別信号に応じて選択輝度信号として選択する。ここでは、角度判別信号が正であると、セレクタ１２０９はＳＷＹ＿４５信号を選択し、角度信号が負であるとＳＷＹ＿１３５信号を選択する。そして、セレクタ１２０９は選択輝度信号であるＳＷＹ信号（ＳＷＹ＿Ｄ）を出力する。
ＳＷＹ輝度信号（ＳＷＹ＿ＨＶ（第６の輝度信号））は、角度判別信号作成部１０３から出力される角度判別信号を用いた加重加算係数（２５６−Ｒａｔｉｏ１）と乗算器１２１２で乗算される。一方、斜め方向のＳＷＹ信号（ＳＷＹ＿Ｄ）は、角度判別信号作成部１０３から出力する角度判別信号を用いた加重加算係数（Ｒａｔｉｏ１）と乗算器１２１１で乗算される。そして、乗算器１２１２及び１２１１の出力は加算器１２１３で加算されて、加算信号として出力される。
この加算信号はシフター１２１４によってシフトされて、角度に応じて適応的なＳＷＹ輝度信号（ＳＷＹ＿ＡＤＰＴ）として出力される。ＳＷＹ輝度信号（ＳＷＹ＿ＡＤＰＴ）は式（４）のようにして算出されることになる。
ここで、ＯＧ信号が折り返し歪みの影響を受ける領域は斜め領域である。よって、斜め領域をＳＷＹ＿Ｄ信号で置換すれば、折り返し歪みのない高周波信号を生成することができる。そして、ＳＷＹ＿Ｄ信号の生成時に用いた角度判別信号を用いれば加重加算係数を算出することができる。
角度判別信号作成部１０３から出力される角度判別信号は、正であれば４５度線、負であれば１３５度線の領域を示し、絶対値が大きい程４５度及び１３５度線に近く、小さい程０度及び９０度線に近くなるという特徴を有している。
図１４は、図１３に示す加重加算係数Ｒａｔｉｏ１を算出するための算出回路についてその構成の一例を示すブロック図である。また、図１５は、図１３に示す加重加算係数Ｒａｔｉｏ１と角度判別信号との関係（入出力特性）を示す図である。
図示の算出回路は、角度判別信号作成部１０３から取得した角度判別信号の絶対値を、絶対値回路（ａｂｓ）１３０１によって求める。そして、算出回路は、図１５に示す入出力特性を有するＣａｌＲａｔｉｏ１ １３０２を用いて、角度信号の絶対値からＲａｔｉｏ１を算出する。
なお、図示のＣａｌＲａｔｉｏ１ １３０２は、演算回路であっても又はテーブルであってもよい。
図１５において、角度判別信号の絶対値が０から閾値Ｔｈ１までの区間については、その値が小さいため０度及び９０度線に近く、Ｒａｔｉｏ１＝０が出力される。一方、角度判別信号の絶対値が閾値Ｔｈ２以上の区間については、その値が大きいため斜め線であり、Ｒａｔｉｏ１＝２５６が出力される。ここでは、２５６＝１００％を表すものとする。角度判別信号の絶対値が閾値Ｔｈ１から閾値Ｔｈ２までの区間については、０から２５６の範囲で線形補間された値が出力される。
再び図１３を参照して、さらに、適応的なＳＷＹ輝度信号（ＳＷＹ＿ＡＤＰＴ）は、乗算器１２１６において加重加算係数（２５６−Ｒａｔｉｏ２）と乗算される。また、斜め方向のＳＷＹ信号（ＳＷＹ＿Ｄ）は、乗算器１２１５において加重加算係数（Ｒａｔｉｏ２）と乗算される。そして、乗算器１２１６及び１２１５の出力は加算器１２１７で加算された後、シフター１２１８でシフトされて適応的なＳＷＹ輝度信号（ＳＷＹ）として出力される。
上記の加重加算係数（２５６−Ｒａｔｉｏ２及びＲａｔｉｏ２）は、色差信号作成部１０４から出力された偽色の影響を考慮して算出された色差信号Ｒ−Ｇ及びＢ−Ｇを用いて求められた彩度に応じて生成される。この結果、適応的なＳＷＹ輝度信号（ＳＷＹ）は角度及び彩度に応じて生成されることになる。ＳＷＹ輝度信号（ＳＷＹ）は式（５）のようにして算出される。
ここで、ＨＶナイキスト領域については、偽色の影響を考慮して判断された彩度情報に応じて、被写体が無彩色の場合には、汎用のＳＷＹ輝度信号（ＳＷＹ＿ＨＶ）が用いられる。その結果、無彩色の被写体におけるＨＶナイキスト領域の先鋭感向上が可能となる。
図１６は、図１３に示す加重加算係数Ｒａｔｉｏ２を算出するための算出回路についてその構成の一例を示すブロック図である。また、図１７は、図１３に示す加重加算係数Ｒａｔｉｏ１と彩度信号との関係（入出力特性）を示す図である。
図示の算出回路は、色差信号作成部１０４から取得した色差信号Ｒ−Ｇ及びＢ−Ｇの絶対値をそれぞれ絶対値回路（ａｂｓ）１５０１及び１５０２によって求める。
加算器１５０３は、絶対値回路１５０１の出力である色差信号Ｒ−Ｇの絶対値と絶対値回路１５０２の出力である色差信号Ｂ−Ｇの絶対値とを加算する。そして、加算器１５０３の出力（加算結果）が彩度信号として出力される。
この彩度信号は、図１７に示す入出力特性を有するＣａｌＲａｔｉｏ２ １５０４に与えられる。そして、ＣａｌＲａｔｉｏ２ １５０４は、彩度信号に応じ多Ｒａｔｉｏ２を出力する。なお、ＣａｌＲａｔｉｏ２ １５０４は、演算回路であっても又はテーブルであってもよい。
図１７において、彩度信号の絶対値が０から閾値Ｔｈ１までの区間はその値が小さいため被写体が無彩色の場合を示しており、Ｒａｔｉｏ２＝０が出力される。一方、彩度信号の絶対値が閾値Ｔｈ２以上の区間は、その値が大きいため被写体が有彩色の場合を示しており、Ｒａｔｉｏ２＝２５６が出力される。ここで、２５６＝１００％を表すものとする。彩度信号の絶対値が閾値Ｔｈ１から閾値Ｔｈ２までの区間では、０から２５６の範囲で線形補間された値が出力される。
なお、彩度判別のエリアを調整するため、彩度信号に対して、例えば、３×３の最大値フィルタを適用して判別領域を拡大するようにしてもよい。また、明るさで正規化して暗い部分を検出されるようにしてもよい。明るさを用いて正規化する際には、例えば、彩度を輝度Ｙで除算するようにすればよい。
このようにして、ＳＷＹ信号作成部１０２で作成されたＳＷＹ信号（ＳＷＹ）は後段の輝度信号混合処理部１０６に与えられる。
再び図１を参照して、輝度信号混合処理部１０６は、ＯＧ信号作成部１０１から出力されるＯＧ信号とＳＷＹ信号作成部１０２から出力されるＳＷＹ信号とを混合して、最終的な輝度信号（第３の輝度信号）を作成する。この際、輝度信号混合処理部１０６は、後述するようにして、ＳＷＹ信号の比率を変更する。
図１８は、図１に示す輝度信号混合処理部１０６についてその構成の一例を示すブロック図である。
図１８を参照して、ＯＧ信号作成部１０１から出力されるＯＧ信号（ＯＧ）は乗算器１７０１に与えられる。乗算器１７０１は、角度判別信号作成部１０３が出力される角度判別信号に基づいて生成された加重加算係数（２５６−Ｒａｔｉｏ１）とＯＧ信号とを乗算する。
一方、ＳＷＹ信号作成部１０２から出力されるＳＷＹ信号（ＳＷＹ）は乗算器１７０２に与えられる。乗算器１７０２は、角度判別信号作成部１０３が出力される角度判別信号に基づいて生成された加重加算係数（Ｒａｔｉｏ１）とＳＷＹ信号とを乗算する。
乗算器１７０１及び１７０２の出力は加算器１７０３で加算された後、シフター１７０４でシフトされる。これによって、シフター１７０４からは斜め方向のみＳＷＹ信号を適用して、その他の領域はＯＧ信号となる混合輝度信号（ＭＩＸ＿Ｄ）が出力される。混合輝度信号（ＭＩＸ＿Ｄ）は式（６）のようにして算出される。
ここで、ＯＧ信号が折り返し歪みの影響を受ける領域は斜め領域である。よって、斜め領域のみをＳＷＹ信号で置換すれば折り返し歪みのない高周波信号を生成することができる。
ここで、２５６−Ｒａｔｉｏ１及Ｒａｔｉｏ１は、ＳＷＹ信号作成部１０２において説明しように、角度判別信号作成部１０３から出力される角度判別信号に応じて求められる。つまり、図１４及び図１５に関連して説明したようにして、２５６−Ｒａｔｉｏ１及Ｒａｔｉｏ１は算出される。なお、前述した閾値Ｔｈ１及びＴｈ２の値を調整すれば、ＳＷＹ信号の適応領域を調整することが可能である。
混合輝度信号（ＭＩＸ＿Ｄ）は乗算器１７０５によって加重加算係数（Ｒａｔｉｏ２）と乗算され、ＳＷＹ信号（ＳＷＹ）は乗算器１７０６によって荷重加算係数（２５６−Ｒａｔｉｏ２）と乗算される。この加重加算係数（Ｒａｔｉｏ２）は、前述のように、色差信号Ｒ−Ｇ及びとＢ−Ｇを用いて算出された彩度に応じた係数である。
乗算器１７０５及び１７０６の出力は加算器１７０７で加算された後、シフター１７０８によりシフトされて、最終的な輝度信号（ＭＩＸ）として出力される。この輝度信号（ＭＩＸ）は式（７）のようにして算出される。
加重加算係数（Ｒａｔｉｏ２）を算出するための算出回路は、図１５と動揺であり、色差信号作成部１０４から取得した色差信号Ｒ−Ｇ及びＢ−Ｇの絶対値を用いて求められる。
上記の式（７）により、偽色の影響を考慮して判断した彩度信号に基づいて、被写体が無彩色の場合にはＳＷＹ輝度信号（ＳＷＹ）を用いる。また、被写体が有彩色の場合には、斜め領域のみＳＷＹ輝度信号（ＳＷＹ）を用い、他の領域ではＯＧ信号が最終的な輝度信号（ＭＩＸ）として用いられる。
以上のように、第１の実施の形態によれば、彩度信号によって複数のＳＷＹ信号を切り替え又は荷重加算する。さらに、ナイキスト領域と判断された領域については、偽色の影響を考慮して判断された彩度信号に基づいて被写体が無彩色であるか有彩色であるかについて判断するようにしている。
ナイキスト領域が無彩色画像であっても偽色領域のために、有彩色画像と判断されることによってＯＧ信号が用いられ、ＯＧ信号の折りかえりが発生してジャギとなっていた領域についてＳＷＹ信号が適用されることになる。この結果、輝度折りかえりを抑制し、無彩色の被写体の場合にＨＶナイキスト領域の先鋭感向上が可能となる。
（第２の実施の形態）
次に、本発明の第２の実施の形態による輝度信号作成装置１１０の一例について説明する。
図１９は、本発明の第２の実施の形態による輝度信号作成装置１１０についてその構成の一例を示すブロック図である。図１９において、図１に示す輝度信号作成装置１１０と同一の構成要素について同一の参照番号を付して説明を省略する。
図１９を参照して、図示の輝度信号作成装置１１０は新たにベース信号作成部１０７を有している。なお、図１９に示す輝度信号混合処理部は、図１に示す輝度信号混合処理部１０６とその構成が異なるので、参照番号１０６Ａが付されている。
一般に、画像のエッジ強調処理を行う際には、画像中のエッジ成分を抽出して、当該抽出されたエッジ成分を元の画像に加えるという手法が用いられる。そして、この場合、加えるエッジ成分は画像の輝度信号の高周波成分を抽出して得るようにしている。
ＯＧ信号作成部１０１及びＳＷＹ信号作成部１０２の各々には、通常、高域強調信号をベース信号に足しこむ回路（図示せず）が含まれているが、図１９に示す例では、ＯＧ信号作成部１０１及びＳＷＹ信号作成部１０２は高周波成分を抽出した輝度信号を生成する。そして、ベース信号作成部１０７において生成したベース輝度信号に輝度信号を加算して、最終的な輝度信号とする。
ベース信号作成部１０７は、ＲＡＷ信号１００を受けて画像信号の低域成分からベース輝度信号を生成する。例えば、ベース信号作成部１０７は、ＯｕｔｏｆＧｒｅｅｎ方式を用いてベース輝度信号を生成する。但し、緑（Ｇ）信号のみから作成した高域強調信号は足し込まないようにする。そして、ＯＧ信号にさらにＬＰＦ（ローパスフィルタ処理）を適用して、帯域を制限することによってベース輝度信号（ＯＧ＿ＤＣ）を得る。
ＯＧ信号作成部１０１は、ＲＡＷ信号１００のうち緑（Ｇ）信号のみからＯＧ信号を生成する。そして、ＯＧ信号作成部１０１はＢＰＦ（バンドパスフィルタ処理）を適用して高域強調信号を生成して、ＯＧ信号（ＯＧ＿ＡＣ）を得る。
ＳＷＹ信号作成部１０２は、図１に関連して説明したようにして、ＲＡＷ信号１００からＳＷＹ信号を作成する。この際、ＳＷＹ信号作成部１０２は、図１３に示すＳＷＹ＿ＨＶ信号、ＳＷＹ＿４５信号、及びＳＷＹ＿１３５信号に対してＢＰＦ（図示せず）を適用する。そして、ＳＷＹ信号作成部１０２はそれ以外については第１の実施の形態と同様な処理を行って高域強調信号を生成して、ＳＷＹ信号（ＳＷＹ＿ＡＣ（第１の高周波信号））を得る。
図２０は、図１９に示す輝度信号混合処理部１０６Ａについてその構成の一例を示すブロック図である。なお、図２０において、図１８に示す輝度信号混合処理部１０６と同一の構成要素については同一の参照番号を付す。
図２０を参照すると。ＯＧ信号作成部１０１の出力である高域強調ＯＧ信号（ＯＧ＿ＡＣ）２３０２とＳＷＹ信号作成部１０２から出力である高域強調ＳＷＹ信号（ＳＷＹ＿ＡＣ）２３０３とは図１８で説明したようにして混合される。これによって、シフター１７０８から高域強調輝度信号（ＭＩＸ（第２の高周波信号））が出力される。
高域強調輝度信号（ＭＩＸ）はベース信号作成部１０７からの出力であるベース輝度信号（ＯＧ＿ＤＣ）と加算器２３０４によって加算される。そして、加算器２３０４から最終的な輝度信号が出力される。
以上のように、第２の実施の形態によれば、第１の実施の形態で説明した効果が得られるばかりでなく、高域強調輝度信号を混合してからベース輝度信号に加算するようにしているため、算出手法の異なる輝度信号の切り替わり点のつなぎ目領域が滑らかとなる。この結果、不自然なテクスチャーの発生を抑制することができる。
上述の説明から明らかなように、図１に示すＯＧ信号作成部１０１が第１の輝度信号生成手段として機能し、ＳＷＹ信号作成部１０２が第２の輝度信号生成手段として機能する。また、ナイキスト領域判別部１０５が偽色領域検出手段として機能し、角度判別信号作成部１０３が方向判別手段として機能する。図３に示す選択回路３２０が第１の選択手段として機能し、図１に示す輝度信号混合処理部１０６又は図１９に示す輝度信号混合処理部１０６Ａが混合手段として機能する。さらに、ＬＰＦ３０１、ＬＰＦ３０２、ＬＰＦ３０３、及びＬＰＦ３０４が階層画像生成手段として機能する。
加えて、図１３に示すＶ−ＬＰＦ１２０１、Ｈ−ＬＰＦ１２０２、Ｄ４５−ＬＰＦ１２０３、Ｄ１３５−ＢＰＦ１２０４、Ｄ１３５−ＬＰＦ１２０６、及びＤ４５−ＢＰＦ１２０７が第１のフィルタ手段として機能する。そして、セレクタ１２０９が第２の選択手段として機能し、乗算器１２１１、１２１２、１２１５、及び１２１６、シフター１２１４及び１２１８、及び加算器１２１７が生成手段として機能する。
さらに、図２に示すＤ１３５−ＢＰＦ２０１が第２のフィルタ手段として機能し、Ｄ４５−ＢＰＦ２０３が第３のフィルタ手段として機能する。また、図１６に示す演算回路が彩度信号生成手段として機能し、図１９に示すベース信号作成部１０７がベース信号生成手段として機能する。そして、図１９に示す輝度信号混合処理部１０６Ａが混合部として機能し、図２０に示す加算器２３０４が加算部として機能する。
（第３の実施の形態）
次に、本発明の第３の実施の形態による輝度信号作成装置１１０の一例について説明する。
図２７は、本発明の第３の実施の形態による輝度信号作成装置１１０についてその構成の一例を示すブロック図である。
図２７において、図１に示す輝度信号作成装置１１０と同一の構成要素について同一の参照番号を付して説明を省略する。
図２７を参照して、図示の輝度信号作成装置１１０は新たにＴｓｉｇ信号作成部１０８を有している。なお、図２７に示すＯＧ信号作成部は、図１に示すＯＧ信号作成部１０１とその構成が異なるので、参照番号１０１Ａが付されている。
図２７に示すＴｓｉｇ信号作成部１０８は、ＲＡＷ信号１００に基づいて、着目画素信号に対して水平方向の相関が大きいか、あるいは垂直方向の相関が大きいかを検出し、ＯＧ信号作成部１０１Ａに検出した相関値に基づく信号を出力する。
図２８は、図２７に示すＴｓｉｇ信号作成部１０８についてその構成の一例を示すブロック図である。
図２８を参照して、Ｔｓｉｇ信号作成部１０８において、ＲＡＷ信号１００はｄｉｆｆＨ信号作成回路２８０１、ｄｉｆｆＶ信号作成回路２８０２、Ｈｂｐｆ信号作成回路２８０３、Ｖｂｐｆ信号作成回路２８０４に入力される。
図２４に示す緑信号の画素であるＧ２２を着目画素とした場合、ｄｉｆｆＨ信号作成回路２８０１の出力信号（ｄｉｆｆＨ２２）と、ｄｉｆｆＶ信号作成回路２８０２の出力信号（ｄｉｆｆＶ２２）は減算器２８０５に入力され、以下の式（８）の演算に基づいて、相関値を算出する。
diffHV22 = diffH22 - diffV22 ・・・・・・・・（８）
diffH22 = |R21 - R23| + |2 * G22 - G20 - G24|
diffV22 = |B02 - B42| + |2 * G22 - G02 - G42|
なお、ｄｉｆｆＨ２２は、補間対象の画素を中心とした水平方向の画素のレベル差、ｄｉｆｆＶ２２は補間対象の画素を中心とした垂直方向の画素のレベル差を示す。また、ｄｉｆｆＨＶ２２は水平方向の画素のレベルさから垂直方向の画素のレベル差を引いたものである。つまり、ｄｉｆｆＨＶ２２が正の場合は画像が縦縞模様であり、負の場合は横縞模様であることを表す。
図２５は、式（８）によって水平方向及び垂直方向の相関が検出可能な空間周波数特性を示す図である。
図２５において、ｘ軸は被写体の水平（H)方向の周波数空間を表し、ｙ軸は垂直（V)方向の周波数空間を表す。ここでは、原点から遠ざかるほど空間周波数が高い。
図２５に示す横線の領域２５０１が、式（８）によって水平方向の相関を検出可能な領域であり、縦線の領域２５０２が、式（８）によって垂直方向の相関を検出可能な領域である。
式（８）の演算では、ｄｉｆｆＨ２２によって水平方向の画素のレベル差を、それぞれ水平方向に２分の１しかサンプリングされていない緑信号、または赤信号のそれぞれの差分の絶対値により算出しているため、図２５に示すように水平方向のナイキスト周波数（軸上、π／２）の帯域での水平方向の相関は検出できない。同様に垂直方向に対しても垂直方向のナイキスト周波数の帯域での垂直方向の相関は検出できない。
同様に、Ｈｂｐｆ信号作成回路２８０３の出力信号（Ｈｂｐｆ２２）と、Ｖｂｐｆ信号作成回路２８０４の出力信号（Ｖｂｐｆ２２）は減算器２８０６に入力され、以下に示す式（９）の演算によってｄｉｆｆＨＶ２２Ｇ信号が出力される。
diffHV22Ｇ = Hbpf22 - Vbpf22 ・・・・・・・・・（９）
Hbpf22 = |2 * G22 - R21 - R23|
Vbpf22 = |2 * G22 -B02 - B42|
ここで、Ｈｂｐｆ２２、Ｖｂｐｆ２２は式（８）の時と同様に、それぞれ補間対象の画素を中心とした水平方向、垂直方向の画素のレベル差であり、ｄｉｆｆＨＶ２２Ｇが正の場合は画像が縦縞模様であり、負の場合は横縞模様であることを表す。
図２６は、式（９）によって水平方向、または垂直方向の相関が検出可能な空間周波数特性を示す図である。
図２６において、ｘ軸は被写体の水平（H)方向の周波数空間を表し、ｙ軸は垂直（V)方向の周波数空間を表す。ここでは、原点から遠ざかるほど空間周波数が高い。
図２６に示す横線の領域２６０１が、式（９）によって水平方向の相関を検出可能な領域であり、縦線の領域２６０２が、式（９）によって垂直方向の相関を検出可能な領域である。
式（９）の演算では、Ｈｂｐｆ２２によって水平方向の画素のレベル差を、互いに隣接する緑信号、赤信号の差分の絶対値により算出しているため、図２６に示すように水平方向のナイキスト周波数の帯域においても水平方向の相関値を検出することが可能である。
同様に垂直方向に対しても垂直方向のナイキスト周波数の帯域においても垂直方向の相関値を検出することが可能である。
その結果、式（９）の演算においては被写体が無彩色の場合には水平方向及び垂直方向のナイキスト周波数の帯域においても、垂直方向及び水平方向の相関値を検出可能となる。しかしながら、有彩色被写体においては、緑信号と赤信号のレベル差、もしくは緑信号と青信号のレベル差がそもそも異なっているため、水平方向及び垂直方向のナイキスト周波数帯域であるか否かに関わらず、全ての周波数帯域において正確な相関値を検出することは不可能である。
加重加算係数算出回路２８０７（Ｔｓｉｇ算出１）、加重加算係数算出回路２８０８（Ｔｓｉｇ算出２）は、それぞれｄｉｆｆＨＶ２２信号、ｄｉｆｆＨＶ２２Ｇ信号に基づいて加重加算係数ＳｉｇＴ、ＳｉｇＴＧを算出し、加重加算回路２８０９に入力される。
図２９は、加重加算係数算出回路２８０７、２８０８の入出力特性を示す図である。
横軸が入力信号であるｄｉｆｆＨＶ２２信号、ｄｉｆｆＨＶ２２Ｇ信号であり、縦軸が出力信号であるＴｓｉｇ、ＴｓｉｇＧの値をそれぞれ示す。
ｄｉｆｆＨＶ２２≦Ｔｈ０の場合は、ＤｉｆｆＶ２２がＤｉｆｆＨ２２より大きいため横縞領域であると判定される。この場合、Ｔｓｉｇは水平方向の相関が１００％であることを示すＴｓｉｇ値（Ｔｓｉｇ＝−２５６）を出力する。
Ｔｈ１＜ＤｉｆｆＨＶ＜Ｔｈ２の区間は、ｄｉｆｆＶ２２とｄｉｆｆH２２が互いに近い値であるため、斜め領域と判定される。この区間では、Ｔｓｉｇは垂直方向ならびに水平方向の相関が０％であることを示すＴｓｉｇ値（Ｔｓｉｇ＝０）を出力する。
更に、ｄｉｆｆＨＶ≧Ｔｈ３の場合は、ｄｉｆｆH２２がｄｉｆｆＶ２２より大きいため縦領域であると判定される。この場合には、Ｔｓｉｇは垂直方向の相関が１００％であることを示すＴｓｉｇ値（Ｔｓｉｇ＝２５６）を出力する。
Ｔｈ０≦ＤｉｆｆＨＶ≦Ｔｈ１の区間は、−１２８から０まで線形的に変化するように決定されたＴｓｉｇを出力する。同様に、Ｔｈ２≦ＤｉｆｆＨＶ≦Ｔｈ３の区間は、０から１２８まで線形的に変化するように決定されたＴｓｉｇを出力する。
ｄｉｆｆＨＶ２２Ｇも同様に、図２９に示すＴｈ４−Ｔｈ７によって、垂直方向または横水平方向の相関を示すＴｓｉｇＧを出力する。
再び図２８を参照して、加重加算係数算出回路２８０７の出力信号Ｔｓｉｇは、乗算器２８０９において加重加算係数（Ｒａｔｉｏ２）と乗算される。また、荷重加算係数算出回路２８０８の出力信号Ｔｓｉｇは、乗算器２８１０において加重加算係数（２５６−Ｒａｔｉｏ２）と乗算される。そして、乗算器２８０９及び２８１０の出力は加算器２８１１で加算された後、シフター２８１２でシフトされて適応的な垂直及び水平方向の相関値を示すＴｓｉｇＯとして出力される。
上記の加重加算係数（Ｒａｔｉｏ２及び２５６−Ｒａｔｉｏ２）は、前述の通り色差信号作成部１０４から出力された偽色の影響を考慮して算出された色差信号Ｒ−Ｇ及びＢ−Ｇを用いて求められた彩度に応じて生成される。
ここで、垂直及び水平方向の相関値を示すＴｓｉｇＯ信号は、偽色の影響を考慮して判断された彩度情報に応じて、被写体が無彩色の場合には、ＨＶナイキスト領域においても、垂直方向および水平方向の相関を検出可能な相関値を出力することが可能となる。
再び図２７を参照して、Ｔｓｉｇ信号作成部１０８の出力はＯＧ信号作成部１０１Ａに入力され、ＯＧ信号作成部１０１Ａは、ＲＡＷ信号１００とＴｓｉｇ信号作成部１０８の出力に基づいて第１の輝度信号を作成する。
図３０は、図２７に示すＯＧ信号作成部１０１Ａについてその構成の一例を示すブロック図である。
図３０を参照して、ＯＧ信号作成部１０１Ａにおいて、ＲＡＷ信号１００はＺｅｒｏ挿入回路３００１、Ｒ補間回路３００６、Ｂ補間回路３００７にそれぞれ入力される。
Ｚｅｒｏ挿入回路３００１は、ＲＡＷ信号１００のうち、Ｇ以外の信号を０に置換したＺｅｒｏ挿入Ｇ信号を作成する。垂直方向ローパスフィルタ（ＶＬＰＦ）３００２及び第１の水平方向ローパスフィルタ３００４は、Ｚｅｒｏ挿入Ｇ信号の垂直方向及び水平方向の帯域を制限し、それぞれＧｖ信号及びＧｈ信号として出力する。
第２の水平方向ローパスフィルタ（ＨＬＰＦ）３００３は、Ｇｖ信号の水平方向の帯域を制限し、Ｇｈｖ信号を出力する。
このようにして、Ｚｅｒｏ挿入Ｇ信号の（１）垂直方向の帯域が制限されたＧｖ信号、（２）水平方向の帯域が制限されたＧｈ信号、（３）垂直方向及び、水平方向の帯域が制限されたＧｈｖ信号が作成され、いずれも荷重加算回路３００５へ入力される。
加重加算回路３００５は、Ｔｓｉｇ信号作成部１０８から出力されたＴｓｉｇＯ信号に基づいて、Ｇｈ信号、Ｇｖ信号、Ｇｈｖ信号を以下の式（１０）及び式（１１）に従って加重加算し、ＤＣ＿ＯＧ信号を作成する。
ＴｓｉｇＯ≧０のとき、
DC_OG = (Gv×TsigO＋Ghv×(256-TsigO)／128・・・・・・・・（１０）
ＴｓｉｇＯ＜０のとき、
DC_OG = (Gh×|TsigO|＋Ghv×(256-|TsigO|)／128・・・・・・（１１）
その結果、荷重加算処理部３００５の出力であるＤＣ＿ＯＧ信号は、それぞれの画素において水平方向の相関が高いとき（ＴｓｉｇＯ＝−２５６）、つまり横縞であると判断された場合には、式（１１）により、
DC_OG = Gh
となり、水平方向にのみローパスフィルタ処理が行われた信号となり、垂直方向に特性がなまることがなくなる。
また、垂直方向の相関が高いとき（ＴｓｉｇＯ＝２５６）、つまり縦縞であると判断された場合には、式（１０）により、
DC_OG = Gv
となり、垂直方向にのみローパスフィルタ処理が行われた信号となり、水平方向に特性がなまることがなくなる。
このとき、前述のとおり垂直及び水平方向の相関値を示すＴｓｉｇＯ信号は、被写体が無彩色の場合には、ＨＶナイキスト領域においても、垂直方向および水平方向の相関を検出可能なため、無彩色被写体時にはＤＣ＿ＯＧ信号はＨＶナイキスト領域においても、その周波数特性がなまることがなく、解像することが可能となる。
Ｒ補間回路３００６は、前述の通りＲＡＷ信号１００のうち、Ｒ以外の信号を０に置換したＺｅｒｏ挿入Ｒ信号を作成し、垂直方向および、水平方向の２次元ローパスフィルタによる垂直及び水平方向に帯域制限されたＲｈｖ信号を出力する。Ｂ補間回路３００７も同様にＲＡＷ信号１００のうち、Ｂ以外の信号を０に置換したＺｅｒｏ挿入Ｂ信号を作成し、垂直方向および、水平方向の２次元ローパスフィルタによる垂直及び水平方向に帯域制限されたＢｈｖ信号を出力する。
加重加算処理部３００５、Ｒ補間回路３００６、Ｂ補間回路３００７のそれぞれの出力信号ＤＣ＿ＯＧ信号、Ｒｈｖ信号、Ｂｈｖ信号は、輝度算出処理部３００８に入力され、例えば式（１）と同様の演算を用いて第１の輝度信号を作成する。
以上のように、第３の実施の形態によれば、第１の実施の形態で説明した効果が得られるばかりでなく、無彩色被写体においてはＨＶナイキスト領域においても、水平方向及び垂直方向に周波数特性がなまることがなく、解像することが可能となる。
なお、本実施の形態では、第１の実施の形態に対して、図２７に示すＴｓｉｇ信号作成部１０８を導入すしたが、第２の実施の形態に対しても同様に、Ｔｓｉｇ信号作成部１０８を導入することが可能であり、ＯＧ信号作成部において同様の効果を得ることが可能となる。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を輝度信号作成方法として、この輝度信号作成方法を、コンピュータに実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムをコンピュータに実行させるようにしてもよい。
この際、輝度信号作成方法及びプログラムは、少なくとも第１の輝度信号生成ステップ、第２の輝度信号生成ステップ、偽色領域検出ステップ、方向判別ステップ、選択ステップ、及び混合ステップを有することになる。また、デジタルカメラ等の撮像装置は上記の輝度信号作成装置を備え、被写体を撮像して画像信号を得る。なお、プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施の形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
１０１ ＯＧ信号作成部
１０２ ＳＷＹ信号作成部
１０３ 角度判別信号作成部
１０４ 色差信号作成部
１０５ ナイキスト領域判別部
１０６ 輝度信号混合処理部
１０７ ベース信号作成部
１０８ Ｔｓｉｇ信号作成部
１１０ 輝度信号作成装置

Claims (23)

  1. 第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成する輝度信号作成装置において、
    前記画像信号のうちの前記第１の色信号に応じていない画素に対して前記第１の色信号を補間して第１の輝度信号を生成する第１の輝度信号生成手段と、
    前記複数の色信号のそれぞれを画素の位置における輝度信号として第２の輝度信号を生成する第２の輝度信号生成手段と、
    前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成手段と、
    前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出手段と、
    前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する第１の選択手段と、
    前記選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の輝度信号を混合して第３の輝度信号を生成する混合手段と
    を有することを特徴とする輝度信号作成装置。
  2. 前記混合手段は、前記彩度信号が小さいほど前記第２の輝度信号を混合する比率を大きくすることを特徴とする請求項１記載の輝度信号作成装置。
  3. 前記画像信号を受けてそのエッジの方向を判別して角度判別信号を出力する方向判別手段を有し、
    前記混合手段は、前記角度判別信号が示す前記エッジの方向が４５度あるいは１３５度に近くなるほど前記第２の輝度信号を混合する比率を大きくすることを特徴とする請求項１又は２記載の輝度信号作成装置。
  4. 前記第２の輝度信号生成手段は、前記複数の色信号について水平、垂直、及び４５度方向の帯域を制限した第４の輝度信号と、前記複数の色信号について水平、垂直、及び１３５度方向の帯域を制限した第５の輝度信号とを生成する第１のフィルタ手段と、
    前記第４及び前記第５の輝度信号の一方を前記角度判別信号に応じて選択して選択輝度信号として出力する第２の選択手段と、
    彩度信号と前記角度判別信号とに応じて、前記複数の色信号について水平及び垂直方向の帯域を制限して得られた第６の輝度信号と前記選択輝度信号を混合して前記第２の輝度信号を生成する生成手段と
    を有することを特徴とする請求項３に記載の輝度信号作成装置。
  5. 前記生成手段は、前記彩度信号が大きいほど前記選択輝度信号を混合する比率を大きくすることを特徴とする請求項４記載の輝度信号作成装置。
  6. 前記生成手段は、前記角度判別信号が示す前記エッジの方向が４５度あるいは１３５度に近くなるほど前記選択輝度信号を混合する比率を大きくすることを特徴とする請求項４又は５記載の輝度信号作成装置。
  7. 前記複数の階層の画像信号から色差信号を算出する色差信号算出手段と、
    前記選択された階層の画像信号から算出された色差信号から前記彩度信号を出力する彩度信号生成手段と
    を有することを請求項１乃至６のいずれか１項に記載の輝度信号作成装置。
  8. 前記方向判別手段は、前記画像信号について空間周波数領域において１３５度方向のバンドパスフィルタ処理を行って第１のバンドパス信号を得る第２のフィルタ手段と、
    前記画像信号について空間周波数領域において４５度方向のバンドパスフィルタ処理を行って第２のバンドパス信号を得る第３のフィルタ手段とを有し、
    前記第１のバンドパス信号が示す値の絶対値から前記第２のバンドパス信号が示す値の絶対値を減算した減算結果が正であると、前記角度判別信号は４５度線の領域を示し、前記減算結果が負であると、前記角度判別信号は１３５度線の領域を示すことを特徴とする請求項３記載の輝度信号作成装置。
  9. 前記複数の色信号で構成された画像信号は、Ｒ、Ｇ１、Ｇ２、及びＢの色信号からなるベイヤー配列で構成された画像信号であり、
    前記偽色領域検出手段は、前記Ｇ１の色信号に応じていない画素に対して前記Ｇ１の色信号を補間して前記Ｇ１の画像信号を生成するとともに、前記Ｇ２の色信号に応じていない画素に対して前記Ｇ２の色信号を補間して前記Ｇ２の画像信号を生成し、前記Ｇ１の画像信号とＧ２の画像信号のそれぞれにおける傾きから偽色領域であるか否かを判別することを特徴とする請求項１乃至８のいずれか１項に記載の輝度信号作成装置。
  10. 前記第１の選択手段は前記偽色領域検出手段によって偽色領域でないと判別された複数の階層の画像信号のうち、最も周波数の高い画像信号を選択することを特徴とする請求項９に記載の輝度信号作成装置。
  11. 前記画像信号をローパスフィルタ処理してベース輝度信号を得るベース信号生成手段を有し、
    前記第２の輝度信号生成手段は、前記画像信号をバンドパスフィルタ処理して前記第２の輝度信号である第１の高周波信号を作成し、
    前記混合手段は、前記第１の高周波信号と前記第１の輝度信号を混合して第２の高周波信号を得る混合部と、前記第２の高周波信号と前記ベース輝度信号とを加算して前記第３の輝度信号とする加算部とを有することを特徴とする請求項１記載の輝度信号作成装置。
  12. 請求項１乃至１１のいずれか１項に記載の輝度信号作成装置を備え、被写体を撮像して前記画像信号を得ることを特徴する撮像装置。
  13. 第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成する際に用いられる輝度信号作成方法において、
    前記画像信号のうちの前記第１の色信号に応じていない画素に対して前記第１の色信号を補間して第１の輝度信号を生成する第１の輝度信号生成ステップと、
    前記複数の色信号のそれぞれを画素の位置における輝度信号として第２の輝度信号を生成する第２の輝度信号生成ステップと、
    前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成ステップと、
    前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出ステップと、
    前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択ステップと、
    前記選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の輝度信号を混合して第３の輝度信号を生成する混合ステップと
    を有することを特徴とする輝度信号作成方法。
  14. 第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成するためのプログラムにおいて、
    コンピュータに、
    前記画像信号のうちの前記第１の色信号に応じていない画素に対して前記第１の色信号を補間して第１の輝度信号を生成する第１の輝度信号生成ステップと、
    前記複数の色信号のそれぞれを画素の位置における輝度信号として第２の輝度信号を生成する第２の輝度信号生成ステップと、
    前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成ステップと、
    前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出ステップと、
    前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択ステップと、
    前記選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の輝度信号を混合して第３の輝度信号を生成する混合ステップと
    を実行させることを特徴とするプログラム。
  15. 請求項１４に記載のプログラムが記録されたコンピュータで読み取り可能な記録媒体。
  16. 第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成する輝度信号作成装置において、
    前記第１の色信号の補間対象の画素位置に対して、第１及び第２の方向に位置する画素データに基づいて補間処理する第１の補間手段と、
    補間対象の画素位置に対して、前記第１の方向に位置する画素データに基づいて補間処理する第２の補間手段と、
    補間対象の画素位置に対して、前記第２の方向に位置する画素データに基づいて補間処理する第３の補間手段と、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色の色信号の差分に基づく値を用いて比べる第１の判別手段と、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色ではない色信号の差分に基づく値を用いて比べる第２の判別手段と、
    前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成手段と、
    前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出手段と、
    前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択手段と、
    前記選択手段によって選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の判別手段の結果を混合して、前記第１および第２の方向の相関についての判別結果を得る第３の判別手段と、を有し、
    前記第３の判別手段の判別結果に基づいて、前記第１、第２、及び第３の補間手段による補間処理で得られた画素データを混合して補間信号を出力し、前記補間信号に基づいた輝度信号を作成することを特徴とする輝度信号生成装置。
  17. 前記第１の色信号の補間対象の画素位置に対して、第１及び第２の方向に位置する画素データに基づいて補間処理する第１の補間手段と、
    補間対象の画素位置に対して、前記第１の方向に位置する画素データに基づいて補間処理する第２の補間手段と、
    補間対象の画素位置に対して、前記第２の方向に位置する画素データに基づいて補間処理する第３の補間手段と、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色の色信号の差分に基づく値を用いて比べる第１の判別手段と、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色ではない色信号の差分に基づく値を用いて比べる第２の判別手段と、
    前記第１の選択手段によって選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の判別手段の結果を混合して、前記第１および第２の方向の相関についての判別結果を得る第３の判別手段と、を有し、
    前記第１の輝度信号生成手段は、前記第３の判別手段の判別結果に基づいて、前記第１、第２、及び第３の補間手段による補間処理で得られた画素データを混合して補間信号を出力し、前記補間信号に基づいた輝度信号を前記第１の輝度信号とすることを特徴とする請求項１乃至１１のいずれか１項に記載の輝度信号作成装置。
  18. 請求項１６又は１７記載の輝度信号作成装置を備え、被写体を撮像して前記画像信号を得ることを特徴する撮像装置。
  19. 第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成する際に用いられる輝度信号作成方法において、
    前記第１の色信号の補間対象の画素位置に対して、第１及び第２の方向に位置する画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向に位置する画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向に位置する画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色の色信号の差分に基づく値を用いて比べる第１の判別ステップと、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色ではない色信号の差分に基づく値を用いて比べる第２の判別ステップと、
    前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成ステップと、
    前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出ステップと、
    前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択ステップと、
    前記選択ステップにおいて選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の判別ステップで得られた結果を混合して、前記第１および第２の方向の相関についての判別結果を得る第３の判別ステップと、
    前記第３の判別ステップで得られた判別結果に基づいて、前記第１、第２、及び第３の補間ステップにおける補間処理で得られた画素データを混合して補間信号を出力し、前記補間信号に基づいた輝度信号を作成する輝度信号生成ステップとを有することを特徴とする輝度信号作成方法。
  20. 前記第１の色信号の補間対象の画素位置に対して、第１及び第２の方向に位置する画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向に位置する画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向に位置する画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色の色信号の差分に基づく値を用いて比べる第１の判別ステップと、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色ではない色信号の差分に基づく値を用いて比べる第２の判別ステップと、
    前記選択ステップにおいて選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の判別ステップで得られた結果を混合して、前記第１および第２の方向の相関についての判別結果を得る第３の判別ステップと、を有し、
    前記第１の輝度信号生成ステップにおいて、前記第３の判別ステップで得られた判別結果に基づいて、前記第１、第２、及び第３の補間ステップにおける補間処理で得られた画素データを混合して補間信号を出力し、前記補間信号に基づいた輝度信号を前記第１の輝度信号とすることを特徴とする請求項１３に記載の輝度信号作成方法。
  21. 第１の色信号を含む複数の色信号で構成された画像信号に応じて輝度信号を作成するためのプログラムにおいて、
    コンピュータに、
    前記第１の色信号の補間対象の画素位置に対して、第１及び第２の方向に位置する画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向に位置する画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向に位置する画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色の色信号の差分に基づく値を用いて比べる第１の判別ステップと、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色ではない色信号の差分に基づく値を用いて比べる第２の判別ステップと、
    前記画像信号から周波数の異なる複数の階層の画像信号を生成する階層画像生成ステップと、
    前記複数の階層の画像信号のそれぞれに対して偽色領域を判別して偽色領域検出信号を出力する偽色領域検出ステップと、
    前記偽色領域検出信号に応じて前記複数の階層の画像信号のうち１つを選択する選択ステップと、
    前記選択ステップにおいて選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の判別ステップで得られた結果を混合して、前記第１および第２の方向の相関についての判別結果を得る第３の判別ステップと、
    前記第３の判別ステップで得られた判別結果に基づいて、前記第１、第２、及び第３の補間ステップにおける補間処理で得られた画素データを混合して補間信号を出力し、前記補間信号に基づいた輝度信号を作成する輝度信号生成ステップと
    を実行させることを特徴とするプログラム。
  22. コンピュータに、さらに、
    前記第１の色信号の補間対象の画素位置に対して、第１及び第２の方向に位置する画素データに基づいて補間処理する第１の補間ステップと、
    補間対象の画素位置に対して、前記第１の方向に位置する画素データに基づいて補間処理する第２の補間ステップと、
    補間対象の画素位置に対して、前記第２の方向に位置する画素データに基づいて補間処理する第３の補間ステップと、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色の色信号の差分に基づく値を用いて比べる第１の判別ステップと、
    補間対象の画素位置の信号に対する前記第１及び第２の方向の相関を同色ではない色信号の差分に基づく値を用いて比べる第２の判別ステップと、
    前記選択ステップにおいて選択された階層の画像信号で得られた彩度信号に応じて前記第１及び第２の判別ステップで得られた結果を混合して、前記第１および第２の方向の相関についての判別結果を得る第３の判別ステップと、を実行させ、
    前記第１の輝度信号生成ステップにおいて、前記第３の判別ステップで得られた判別結果に基づいて、前記第１、第２、及び第３の補間ステップにおける補間処理で得られた画素データを混合して補間信号を出力し、前記補間信号に基づいた輝度信号を前記第１の輝度信号とすることを特徴とする請求項１４に記載のプログラム。
  23. 請求項２１又は２２記載のプログラムが記録されたコンピュータで読み取り可能な記録媒体。
JP2011154796A 2010-07-13 2011-07-13 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体 Expired - Fee Related JP5868046B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011154796A JP5868046B2 (ja) 2010-07-13 2011-07-13 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010158776 2010-07-13
JP2010158776 2010-07-13
JP2011154796A JP5868046B2 (ja) 2010-07-13 2011-07-13 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2012039603A JP2012039603A (ja) 2012-02-23
JP2012039603A5 JP2012039603A5 (ja) 2014-08-28
JP5868046B2 true JP5868046B2 (ja) 2016-02-24

Family

ID=45466673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011154796A Expired - Fee Related JP5868046B2 (ja) 2010-07-13 2011-07-13 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体

Country Status (2)

Country Link
US (1) US8692906B2 (ja)
JP (1) JP5868046B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015027038A (ja) * 2013-07-29 2015-02-05 日本放送協会 色情報補完装置およびそのプログラム
US9013611B1 (en) * 2013-09-06 2015-04-21 Xilinx, Inc. Method and device for generating a digital image based upon a selected set of chrominance groups
JP6045625B2 (ja) * 2015-03-20 2016-12-14 株式会社Pfu 画像処理装置、領域検出方法及びコンピュータプログラム
US9928575B2 (en) 2016-03-01 2018-03-27 Sony Corporation Method and system for processing a multi-channel image
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
CN109598737B (zh) * 2018-12-04 2021-01-12 广东智媒云图科技股份有限公司 一种图像边缘识别方法及系统
US10902572B1 (en) * 2019-10-09 2021-01-26 Karl Storz Imaging, Inc. Enhanced fluorescence imaging for imaging system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4280462B2 (ja) * 2002-05-29 2009-06-17 キヤノン株式会社 信号処理装置及び方法
US7515747B2 (en) * 2003-01-31 2009-04-07 The Circle For The Promotion Of Science And Engineering Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image
JP4422999B2 (ja) * 2003-09-26 2010-03-03 富士通マイクロエレクトロニクス株式会社 偽色発生領域推定装置および偽色発生領域推定プログラム
KR100782812B1 (ko) * 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
JP4700445B2 (ja) * 2005-09-01 2011-06-15 オリンパス株式会社 画像処理装置および画像処理プログラム
KR101201672B1 (ko) * 2005-12-20 2012-11-15 삼성전자주식회사 의사 색 억제 기능을 갖는 디지털 영상 신호 처리 장치 및그 방법
JP5183880B2 (ja) * 2006-03-14 2013-04-17 ソニー株式会社 カラーフィルタおよび撮像素子
JP4859220B2 (ja) 2006-09-13 2012-01-25 キヤノン株式会社 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置
EP2175656A1 (en) * 2007-06-25 2010-04-14 Silicon Hive B.V. Image processing device, image processing method, program, and imaging device
JP5165300B2 (ja) * 2007-07-23 2013-03-21 オリンパス株式会社 映像処理装置および映像処理プログラム
JP4962573B2 (ja) * 2007-12-06 2012-06-27 富士通株式会社 画像処理装置
JP5129685B2 (ja) * 2008-08-06 2013-01-30 キヤノン株式会社 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置
US8073246B2 (en) * 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
JP4958926B2 (ja) 2009-02-09 2012-06-20 キヤノン株式会社 信号処理装置及び方法
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
WO2011045849A1 (ja) * 2009-10-13 2011-04-21 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
JP2012039603A (ja) 2012-02-23
US8692906B2 (en) 2014-04-08
US20120013769A1 (en) 2012-01-19

Similar Documents

Publication Publication Date Title
JP5868046B2 (ja) 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体
KR100978688B1 (ko) 디지털 이미지의 컬러 아티팩트 저감 기법
JP5490139B2 (ja) 撮像装置
JP5677040B2 (ja) 画像処理装置およびその制御方法
JP4144630B2 (ja) 撮像装置
JP4859220B2 (ja) 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置
JP4668185B2 (ja) 画像処理方法
KR100667803B1 (ko) 컬러 채널 상호간의 특성을 고려한 컬러 잡음 제거 방법 및장치
US20070047832A1 (en) Image signal processor and image signal processing method
JP3771054B2 (ja) 画像処理装置及び画像処理方法
EP1845712A1 (en) Imaging device
JP2009021962A (ja) 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
JP5129685B2 (ja) 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置
JP4934839B2 (ja) 画像処理装置及びその方法並びにプログラム
JP4958926B2 (ja) 信号処理装置及び方法
JP5766274B2 (ja) 画像処理装置および画像処理方法
JP5409864B2 (ja) 輝度信号生成装置及び輝度信号生成方法、並びに撮像装置
JP6862272B2 (ja) 信号処理装置、信号処理方法およびプログラム
Kuno et al. Practical color filter array interpolation part 2 with non-linear filter
Jeong et al. Edge-Adaptive Demosaicking for Reducing Artifact along Line Edge
JP2018107682A (ja) 輝度信号生成装置、輝度信号生成方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160105

R151 Written notification of patent or utility model registration

Ref document number: 5868046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees