JP4280462B2

JP4280462B2 - Signal processing apparatus and method

Info

Publication number: JP4280462B2
Application number: JP2002156003A
Authority: JP
Inventors: 信也平井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-05-29
Filing date: 2002-05-29
Publication date: 2009-06-17
Anticipated expiration: 2022-05-29
Also published as: JP2003348609A

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置、特に複数のカラーフィルタを有する撮像素子からの出力信号から輝度信号を作成する装置に関するものである。
【０００２】
【従来の技術】
従来、固体撮像素子からの出力色信号をもとに輝度信号を作成する方法として、SwitchY方式やOutofGreen方式が知られている。以下、固体撮像素子が図１２のような原色ベイヤー配列のカラーフィルタにより覆われている場合を例にして、これらの方式を説明する。
【０００３】
SwitchY方式は、固体撮像素子からの出力信号をＡ／Ｄ変換した後、ホワイトバランス（以下、ＷＢ）処理した信号を、そのまま輝度信号Ｙとみなす方式である。図１３は、得られた輝度信号Ｙの概念を示す図で、Ｙの後の数字は画素の位置を示す。また、通常、サンプリングによるキャリアの発生を抑えるため、ナイキスト周波数で出力０となるローパスフィルタ（以下、ＬＰＦ）を水平垂直それぞれに適用した結果をベース信号とする。例えば、上記ＬＰＦのフィルタ係数を水平、垂直とも［１２１］とすると、Ｙ２２の画素のＬＰＦからの出力Ｙ２２’は、

【０００４】
のように求めることができる。
さらに、ベース信号から高域強調信号を作り、元のベース信号を足しこむことにより、高域が補償された信号を得ることが可能である。
【０００５】
図１４は、周波数空間におけるキャリアの位置と帯域を示す図で、（ａ）は白黒画像、（ｂ）はカラー画像を撮影した場合をそれぞれ示す。図１４（ａ）及び（ｂ）において、fsはサンプリング周波数を示す。SwitchY方式は、被写体が白黒の場合には図１４（ａ）の×で示した位置にキャリアが発生し、実線で囲んだエリアの帯域を活用できる方式であるため、有利である。しかしながら、被写体がカラーになった場合には、図１４（ｂ）の×で示した位置にキャリアが発生してしまうため、図１４（ｂ）の実線のように帯域が狭く、比較的低周波で折りかえしが発生してしまうため、好ましくない。
【０００６】
一方、OutofGreen方式は、レッド、グリーン、ブルーの各信号を独立に処理し、特にグリーン信号を中心に輝度を作成する方式である。例えば、レッド信号を処理する場合には、レッド以外の画素に０挿入しておき、上記ＬＰＦを適用する。グリーン信号、ブルー信号に関しても同様に処理しておき、輝度Ｙを、例えば、次式（２）を用いて求める。
Y = 0.3R + 0.59G + 0.11B …（２）
【０００７】
さらに、グリーン信号のみから高域強調信号を作成し、Ｙに足しこむ。
OutofGreen方式は、グリーン信号を中心に輝度信号を作成する方式であるため、サンプリングがオフセットサンプリングとなり、白黒画像の場合、図１４（ａ）の○で示した位置にキャリアが発生する。したがって破線で示した領域の帯域が利用できる。また、カラー画像に対しても、図１４（ｂ）に示したように白黒の場合と同じ帯域を確保できる方式であるため、白黒、カラーを問わず安定して利用することが可能である。しかしながら白黒画像の場合、SwitchＹ方式の帯域に比べて斜め方向が狭く、斜め方向からの折りかえりによりジャギーが発生するという問題を持っている。
【０００８】
【発明が解決しようとする課題】
上記のように、SwitchY方式では、白黒の被写体に対しては強いがカラーの被写体に対しては弱く、OutofGreen方式では、白黒、カラーを問わず一定の水準を持つがジャギーが発生するという問題があり、いずれの方式においても、画像に弊害が発生してしまう。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、複数の輝度信号生成方式のそれぞれの方式の利点を生かし、高品質の輝度信号を得ることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する本発明の信号処理装置は、入力した画像信号に対して、前記ベイヤー配列の複数の色種別毎に補間処理を行って得た画像信号から、輝度信号を求める第１の方式により第１の輝度信号を生成する第１の輝度信号生成手段と、前記入力した画像信号に対する前記補間処理を行わずに、前記画像信号から輝度信号を求める第２の方式により第２の輝度信号を生成する第２の輝度信号生成手段と、前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段と、前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出手段と、前記判別手段が白黒画像であると判別し、且つ前記検出手段が斜め線を検出した場合に前記第２の輝度信号を出力し、それ以外の場合に前記第１の輝度信号を出力する出力手段とを有し、前記第１の方式はOutofGreen方式であり、前記第２の方式はSwitchY方式であることを特徴とする。
【００１１】
また、ベイヤー配列のカラーフィルタを有する撮像素子により撮像して得られた画像信号を処理する信号処理方法は、入力した画像信号に対して、前記ベイヤー配列の複数の色種別毎に補間処理を行って得た画像信号から、輝度信号を求める第１の方式により第１の輝度信号を生成する第１の輝度信号生成工程と、前記入力した画像信号に対する前記補間処理を行わずに、前記画像信号から輝度信号を求める第２の方式により第２の輝度信号を生成する第２の輝度信号生成工程と、前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別工程と、前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出工程と、前記判別工程において白黒画像であると判別し、且つ前記検出工程において斜め線を検出した場合に前記第２の輝度信号を出力し、それ以外の場合に前記第１の輝度信号を出力する出力工程とを有し、前記第１の方式はOutofGreen方式であり、前記第２の方式はSwitchY方式であることを特徴とする。
【００１２】
また、本発明の別の構成によれば、撮像素子により撮像して得られた画像信号を処理する本発明の信号処理装置は、入力した画像信号に基づいて、第１の方式により第１の輝度信号を生成する第１の輝度信号生成手段と、前記入力した画像信号に基づいて、第２の方式により第２の輝度信号を生成する第２の輝度信号生成手段と、前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別手段と、前記判別手段による判別結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合する混合手段とを有し、前記第１の方式はOutofGreen方式であり、前記第２の方式はSwitchY方式であって、前記混合手段は前記判別手段が白黒画像であると判別した場合に前記第２の輝度信号を出力し、カラー画像であると判別した場合に前記第１の輝度信号を出力する。
また、撮像素子により撮像して得られた画像信号を処理する本発明の信号処理方法は、入力した画像信号に基づいて、第１の方式により第１の輝度信号を生成する第１の輝度信号生成工程と、前記入力した画像信号に基づいて、第２の方式により第２の輝度信号を生成する第２の輝度信号生成工程と、前記入力した画像信号に基づいて、当該画像信号が白黒画像を示すか、カラー画像を示すかを判別する判別工程と、前記判別工程における判別結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合する混合工程とを有し、前記第１の方式はOutofGreen方式であり、前記第２の方式はSwitchY方式であって、前記混合工程は前記判別工程において白黒画像であると判別した場合に前記第２の輝度信号を出力し、カラー画像であると判別した場合に前記第１の輝度信号を出力する。
【００１３】
また、本発明の別の形態によれば、撮像素子により撮像して得られた画像信号を処理する信号処理装置は、入力した画像信号に基づいて、第１の方式により第１の輝度信号を生成する第１の輝度信号生成手段と、前記入力した画像信号に基づいて、第２の方式により第２の輝度信号を生成する第２の輝度信号生成手段と、前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出手段と、前記検出手段による検出結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合する混合手段とを有し、前記第１の方式はOutofGreen方式であり、前記第２の方式はSwitchY方式であって、前記混合手段は前記検出手段が斜め線を検出した場合に前記第２の輝度信号を出力し、それ以外の場合に前記第１の輝度信号を出力する。
【００１４】
また、撮像素子により撮像して得られた画像信号を処理する信号処理方法は、入力した画像信号に基づいて、第１の方式により第１の輝度信号を生成する第１の輝度信号生成工程と、前記入力した画像信号に基づいて、第２の方式により第２の輝度信号を生成する第２の輝度信号生成工程と、前記入力した画像信号に基づいて、当該画像信号が示す画像中の斜め線を示す部分を検出する検出工程と、前記検出工程における検出結果に応じて、前記第１の輝度信号及び前記第２の輝度信号を混合する混合工程とを有し、前記第１の方式はOutofGreen方式であり、前記第２の方式はSwitchY方式であって、前記混合工程は前記検出工程において斜め線を検出した場合に前記第２の輝度信号を出力し、それ以外の場合に前記第１の輝度信号を出力する。
【００１５】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１６】
（第１の実施形態）
本第１の実施形態では、図１２に示したＲ（赤）、Ｇ（緑）、Ｂ（青）の３色からなる原色ベイヤー配列のカラーフィルタにより覆われた単板撮像素子からの信号を用いて、輝度信号を得る場合について説明する。
【００１７】
図１は本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラ、デジタルカメラ、スキャナ、コピー機、ファクシミリを含むが、これに限るものではなく、入射する光学像を光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。
【００１８】
図１において、１は、入射する光を光電変換して、電気信号を出力するＣＣＤなどの撮像素子（以下、ＣＣＤ）、２はＡ／Ｄ変換回路、３はホワイトバランス（ＷＢ）回路、４は信号処理装置である。上記構成において、ＣＣＤ１より出力される信号をＡ／Ｄ変換回路２によりデジタル信号に変換し、ＷＢ回路３により公知のホワイトバランス処理を施した信号を信号処理装置４に入力する。
【００１９】
信号処理装置４は、OutofGreen輝度回路５、SwitchY輝度回路６、白黒カラー判別回路７、斜め線検出回路８、輝度混合回路９を有する。OutofGreen輝度回路５は、例えば、従来技術で述べたOutofGreen方式を採用するが、画像に適応的に補間方法を切り替える方式を採用しても良い。また、SwitchY輝度回路６も、例えば、従来技術で述べたSwitchY方式を採用する。このSwitchY方式は、レッド（Ｒ）信号、グリーン（Ｇ）信号、ブルー（Ｂ）信号をそのまま輝度信号とみなす方式であり、本第１の実施形態で採用している原色ベイヤー配列の撮像素子の場合、輝度の色構成比は、Ｒ：Ｇ：Ｂ＝１：２：１である。
【００２０】
次に、図２〜図９を参照して、上記構成を有する信号処理装置４の動作について詳細に説明する。
【００２１】
図２は、信号処理装置４における処理の概略を示すフローチャートである。図２において、ＷＢ回路３からＷＢ処理された信号を受け取った信号処理装置４は（ステップＳ１１）、OutofGreen輝度回路５において、OutofGreen方式による輝度信号１を作成する（ステップＳ１２）。また、SwitchY輝度回路６において、SwitchY方式による輝度信号２を作成する（ステップＳ１２）。さらに、白黒カラー判別回路７において、被写体が白黒かカラーかを判別し、判別結果を示す白黒カラー判別信号を生成し（ステップＳ１３）、斜め線検出回路８において、被写体画像中の斜め線を検出し、斜め線の有無を示す斜め線判定信号を生成する（ステップＳ１４）。そして、これらの白黒カラー判別信号及び斜め線判定信号を基にして、輝度混合回路９は輝度信号１と輝度信号２を混合する（ステップＳ１５）。なお、ステップＳ１２〜Ｓ１４の処理を行う順番は上記に限るものではなく、異なる順番で行っても、また、処理の一部又は全部を同時に行うようにしても良い。
【００２２】
ステップＳ１３で行われる白黒カラー判別処理について、図３のフローチャートを参照しながら説明する。白黒カラー判別回路７では、まずステップＳ２１において、ホワイトバランス後の信号から例えば次の式（３）に従って彩度信号Ｃを算出する。
【００２３】

【００２４】
次に、あるレベルの閾値Ｔｈ１と比較して彩度信号Ｃが小さい時には（ステップＳ２２でＹＥＳ）、入力された信号が白黒画像を示すと判定し、白黒カラー判別信号Ｄ_BCとして１を設定する（ステップＳ２３）。彩度信号Ｃが閾値Ｔｈ１以上である場合（ステップＳ２２でＮＯ）、ステップＳ２４で閾値Ｔｈ１よりも大きい閾値Ｔｈ２と比較し、彩度信号Ｃが閾値Ｔｈ２より大きい場合には（ステップＳ２４でＹＥＳ）カラー画像と判定し、判別信号Ｄ_BCとして０を設定する（ステップＳ２５）。彩度信号Ｃが閾値Ｔｈ１と閾値Ｔｈ２の間にある場合には（ステップＳ２４でＮＯ）、判別信号Ｄ_BCは、閾値Ｔｈ１およびＴｈ２からの距離に応じて線形的に１から０の間の数値をとるように構成する（ステップＳ２６）。上記処理における彩度信号Ｃと閾値Ｔｈ１及びＴｈ２、及び判別信号Ｄ_BCとの関係を図示したものが図４である。
【００２５】
なお、白黒カラーの判別のエリアを調整するため、彩度信号Ｃに対して、例えば３×３の最大値フィルタを適用して判別領域を拡大したり、明るさで正規化するように構成して暗い部分も検出されるようにしてもよい。明るさでの正規化は、例えば、彩度を輝度Ｙで除算することで行うことができる。
【００２６】
次に、図２のステップＳ１４で行われる斜め線検出処理について、図５及び図６を参照しながら説明する。図５は斜め線検出回路８の内部構成例を示すブロック図であり、ＷＢ後のすべての色信号を用いて、バンドパスフィルタ（ＢＰＦ）Ａ回路１０、ＢＰＦＢ回路１１およびローパスフィルタ（ＬＰＦ）Ａ回路１２、ＬＰＦＢ回路１３によりジャギーが発生する領域を抽出する。
【００２７】
バンドパスフィルタとしては、例えば、フィルタ係数を垂直に［１ −４６−４１］、水平に［−１０２０ −１］のデジタルフィルタを適用するＢＰＦＡ回路１０と、水平に［１ −４６ −４１］、垂直に［−１０２０ −１］のデジタルフィルタを適用するＢＰＦＢ回路１１を用いる。ローパスフィルタとしては、例えば、フィルタ係数を水平に［１４６４１］、垂直に［１ −２２ −２１］のデジタルフィルタを適用するＬＰＦＡ回路１２と、垂直に［１４６４１］、水平に［１ −２２ −２１］のデジタルフィルタを適用するＬＰＦＢ回路１３を用いる。
【００２８】
ＢＰＦＡ回路１０からの信号とＢＰＦＢ回路１１からの信号をそれぞれ絶対値化回路１４により絶対値化し、加算器１５で加算する（ステップＳ３１）。その加算信号Ｓ_BPFと閾値Ｔｈ３とを比較し、加算信号Ｓ_BPFの方が小さい時には（ステップＳ３２でＹＥＳ）斜め線でないと判別し、ＢＰＦ検出信号Ｄ_BPFとして０を設定する（ステップＳ３３）。加算信号Ｓ_BPFが閾値Ｔｈ３以上の時には（ステップＳ３２でＮＯ）、閾値Ｔｈ３よりも大きい閾値Ｔｈ４と比較する。加算信号Ｓ_BPFの方が大きい場合には（ステップＳ３４でＹＥＳ）斜め線と判別し、ＢＰＦ検出信号Ｄ_BPFとして１を設定する（ステップＳ３５）。加算信号Ｓ_BPFが閾値Ｔｈ３と閾値Ｔｈ４の間にある場合には（ステップＳ３４でＮＯ）、ＢＰＦ検出信号Ｄ_BPFは、閾値Ｔｈ３およびＴｈ４からの距離に応じて線形的に０から１の間の数値をとるように設定する（ステップＳ３６）。上記処理における加算信号Ｓ_BPFと閾値Ｔｈ３及びＴｈ４、及びＢＰＦ検出信号Ｄ_BPFとの関係を図示したものが図７である。
【００２９】
一方、ＬＰＦ回路の方は、ＢＰＦ回路で斜め線として検出されたエリアから低周波のエリアを除外することが目的である。すなわち、ＢＰＦ回路のみでは、余分な低域信号まで斜め線として検出してしまう場合があるので、その余分な部分を検出対象から外すようにＬＰＦ回路を構成する。
【００３０】
ＬＰＦＡ回路１２からの信号とＬＰＦＢ回路１３からの信号をそれぞれ絶対値化回路１４により絶対値化し、加算器１５で加算する（ステップＳ３７）。その加算信号Ｓ_LPFと閾値Ｔｈ５とを比較し、加算信号Ｓ_LPFの方が小さい時には（ステップＳ３８でＹＥＳ）、斜め線検出対象から外さないようＬＰＦ検出信号Ｄ_LPFとして１を設定する（ステップＳ３９）。加算信号Ｓ_LPFが閾値Ｔｈ６以下の時には（ステップＳ３８でＮＯ）、閾値Ｔｈ５よりも大きい閾値Ｔｈ６と比較する。加算信号Ｓ_LPFの方が大きい場合には（ステップＳ４０でＹＥＳ）、斜め線検出対象から外すためＬＰＦ検出信号Ｄ_LPFとして０を設定する（ステップＳ４１）。加算信号Ｓ_LPFが閾値Ｔｈ５と閾値Ｔｈ６の間にある場合には、ＬＰＦ検出信号Ｄ_LPFは、閾値Ｔｈ５およびＴｈ６からの距離に応じて線形的に０から１の間の数値をとるように設定する（ステップＳ４２）。上記処理における加算信号Ｓ_LPFと閾値Ｔｈ５及びＴｈ６、及びＬＰＦ検出信号Ｄ_LPFとの関係を図示したものが図８である。
【００３１】
なお、図５に示す例ではバンドパスフィルタ及びローパスフィルタを用いた構成を示したが、これに限るものではなく、例えばバンドパスフィルタの代わりにハイパスフィルタで構成したり、またローパスフィルタを用いずに、バンドパスフィルタ又はハイパスフィルタで構成してもよい。
【００３２】
次に、上記のＢＰＦ検出信号Ｄ_BPFとＬＰＦ検出信号Ｄ_LPFを用いて、乗算器１７により積を取った結果を、最終的な斜め線検出信号Ｄ_Dとする（ステップＳ４３）。
【００３３】
斜め線検出回路８において、より検出精度を増すため、ＢＰＦ回路やＬＰＦ回路の数を増やしても良いし、検出領域を調整するため、最大値フィルタや明るさによる正規化などを行っても良い。
【００３４】
また、図６において、ステップＳ３７〜Ｓ４２の処理をステップＳ３１〜Ｓ３６の処理より先に行うようにしても、平行して行うようにしても良い。
【００３５】
次に、図２のステップＳ１５で行われる輝度信号混合処理について、図９のフローチャートを参照しながら説明する。輝度混合回路９では、上述したようにして得た白黒カラー検出信号Ｄ_BCと斜め線検出信号Ｄ_Dを用いて、輝度信号１および輝度信号２を混合する。
【００３６】
ここでは、入力した信号が白黒画像を示し、かつ斜め線であると判別された部分、すなわち白黒カラー判別信号Ｄ_BCと斜め線検出信号Ｄ_Dが共に１である場合（ステップＳ５１でＹＥＳ）、輝度信号２（SwitchY方式）を選択し（ステップＳ５２）、その他の部分である場合に（ステップＳ５１でＮＯ）輝度信号１（OutofGreen方式）を選択する（ステップＳ５３）。すなわち、図１４（ａ）、（ｂ）における２の部分のみ、SwitchY方式の輝度信号を採用し、その他の部分１，３，４は、OutofGreen信号を採用するように構成する。このようにすることで、ジャギーを解消し、また、カラーの被写体に対しても低域における折り返しノイズを発生させず、良好な信号を得ることが可能となる。
【００３７】
なお、ステップＳ５１で行う判定方法の一例として、白黒カラー判別信号Ｄ_BCと斜め線検出信号Ｄ_Dの積を取り、得られた積が１であるかどうかを判定するように構成することもできる。この場合、得られた積が１である場合に輝度信号２を選択し、それ以外の場合に輝度信号１を選択する。
【００３８】
また、デフォルトとして輝度信号１を選択するようにし、白黒カラー判別信号Ｄ_BCと斜め線検出信号Ｄ_Dが共に１（又は積が１）である場合に、輝度信号２に置き換えるように構成しても良い。
【００３９】
また、輝度信号１又は２のいずれか一方を選択するだけではなく、白黒カラー判別信号Ｄ_BC及び／又は斜め線検出信号Ｄ_Dが０と１の中間値を示す場合に輝度信号１又は２を混合して、最終的な輝度信号としても良い。その場合の輝度信号混合処理を図１０のフローチャートを参照して説明する。
【００４０】
上述したように積が１であるなど、入力した信号が白黒画像を示し、かつ斜め線であると判別された部分であれば（ステップＳ６１でＹＥＳ）、輝度信号２を選択し（ステップＳ６２）、積が０となる場合（ステップＳ６３でＹＥＳ）に輝度信号１を選択し（ステップＳ６４）、また、０と１の間の値αになる場合には（ステップＳ６３でＮＯ）、切り替えを滑らかにするため、次の式（４）に示すようにして輝度信号１と２を混合する（ステップＳ６５）。
[輝度] = α×[輝度信号２] +(1-α)×[輝度信号１] …（４）
【００４１】
なお、上記例では、信号処理装置４は白黒カラー判別回路７及び斜め線検出回路８の両方を有する構成について説明したが、いずれか一方のみを有する構成にしても良い。具体的には、白黒カラー判別回路７のみを有する場合、輝度混合回路９は、図９に示す処理のステップＳ５１で白黒画像か否かのみの判別を行う以外は上記と同様の処理を行う。また、図１０に示す処理ではステップＳ６１で白黒カラー判別信号Ｄ_BCが１どうかの判別を行い、ステップＳ６３で白黒カラー判別信号Ｄ_BCが０であるかどうかの判別を行い、ステップＳ６５では白黒カラー判別信号Ｄ_BCをαとして用いる。それ以外は上記と同様の処理を行う。
【００４２】
一方、斜め線検出回路８のみを有する場合、輝度混合回路９は、図９に示す処理のステップＳ５１で斜め線かどうかのみの判定を行う以外は上記と同様の処理を行う。また、図１０に示す処理ではステップＳ６１で斜め線検出信号Ｄ_Dが１かどうかの判別を行い、ステップＳ６３で斜め線検出信号Ｄ_Dが０かどうかの判別を行い、ステップＳ６５では斜め線検出信号Ｄ_Dをαとして用いる。それ以外は上記と同様の処理を行う。
【００４３】
上記の通り本第１の実施形態によれば、OutofGreen輝度回路及びSwitchY輝度回路を用いて、それぞれの利点のみを活用して輝度信号を得ることが可能であり、従来斜め線に発生した折り返し信号や、色信号の折りかえりによるノイズが発生することなく、良好な輝度信号を得ることが可能である。
【００４４】
（第２の実施形態）
次に、第２の実施形態について説明する。図１１は、第２の実施形態における撮像装置の構成を示すブロック図であり、図１と同様の構成には同じ参照番号を付して説明を省略する。図１１において、２４は信号処理装置、２５はOutofGreen輝度回路、２６はSwitchY輝度回路、２７は白黒カラー判別回路、２８は斜め線検出回路、２９輝度混合回路は、３０は高域強調回路である。高域強調回路３０を除き、各回路は図１に示すものと同様な動作を行うため、ここでは詳細な説明を省略する。
【００４５】
第１の実施形態におけるOutofGreen輝度回路５およびSwitchY輝度回路６には、通常、高域強調信号をベース信号に足しこむ回路（不図示）がそれぞれ含まれているが、本第２の実施形態では、OutofGreen輝度回路２５およびSwitchY輝度回路２６は通常それぞれ含まれる高域強調回路を含まず、その代わりに共通の高域強調回路３０を設けた構成をしている。
【００４６】
高域強調回路３０は輝度混合回路２９の後に設けられ、輝度混合回路２９から出力される輝度信号にバンドパスフィルタを適用して高域信号を取り出し、元の輝度信号に足しこむ。
【００４７】
このように構成することで、第１の実施形態に比べて、高域強調回路を一つに減らすことが可能である。
【００４８】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルカメラ、複写機、ファクシミリ装置など）に適用してもよい。
【００４９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００５０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２、図３、図６、及び図９または図１１に示すフローチャートに対応するプログラムコードが格納されることになる。
【００５２】
【発明の効果】
上記の通り本発明によれば、複数の輝度信号生成方式のそれぞれの方式の利点を生かすことができるため、高品質の輝度信号を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。
【図２】図１の信号処理装置の全体動作を説明するためのフローチャートである。
【図３】本発明の第１の実施形態における白黒カラー判別処理動作を示すフローチャートである。
【図４】本発明の第１の実施形態における白黒カラー判別信号と彩度信号との関係を示す図である。
【図５】図１の斜め線検出回路の構成を示すブロック図である。
【図６】本発明の第１の実施形態における斜め線検出処理動作を示すフローチャートである。
【図７】本発明の第１の実施形態における斜め線判別信号とＢＰＦ出力との関係を示す図である。
【図８】本発明の第１の実施形態における斜め線判別信号とＬＰＦ出力との関係を示す図である。
【図９】本発明の第１の実施形態における輝度信号混合処理動作を示すフローチャートである。
【図１０】本発明の第１の実施形態における別の輝度信号混合処理動作を示すフローチャートである。
【図１１】本発明の第２の実施形態における信号処理装置の概略を示すブロック図である。
【図１２】原色ベイヤー配列を示した図である。
【図１３】 SwitchY方式の説明図である。
【図１４】輝度信号の各作成方式における、キャリアの発生位置と帯域を説明する図である。
【符号の説明】
１撮像素子（ＣＣＤ）
２Ａ／Ｄ変換回路
３ＷＢ回路
４、２４信号処理装置
５、２５ OutofGreen輝度回路
６、２６ SwitchY輝度回路
７、２７白黒カラー判別回路
８、２８斜め線検出回路
９、２９輝度混合回路
１０バンドパスフィルタＡ回路
１１バンドパスフィルタＢ回路
１２ローパスフィルタＡ回路
１３ローパスフィルタＢ回路
１４絶対値化回路
１５加算器
１６判別信号生成回路
１７乗算器
３０高域強調回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal processing device, and more particularly to a device that creates a luminance signal from an output signal from an image sensor having a plurality of color filters.
[0002]
[Prior art]
Conventionally, the SwitchY method and the OutofGreen method are known as methods for creating a luminance signal based on an output color signal from a solid-state imaging device. Hereinafter, these methods will be described by taking as an example a case where the solid-state imaging device is covered with a color filter having a primary color Bayer arrangement as shown in FIG.
[0003]
The SwitchY method is a method in which a signal subjected to white balance (hereinafter referred to as WB) processing after A / D conversion of an output signal from a solid-state imaging device is regarded as a luminance signal Y as it is. FIG. 13 is a diagram showing the concept of the obtained luminance signal Y, and the number after Y indicates the position of the pixel. In general, in order to suppress generation of carriers due to sampling, a result obtained by applying a low-pass filter (hereinafter referred to as LPF) having an output of 0 at the Nyquist frequency in both horizontal and vertical directions is used as a base signal. For example, if the filter coefficient of the LPF is [1 2 1] both horizontally and vertically, the output Y22 ′ from the LPF of the Y22 pixel is

[0004]
Can be obtained as follows.
Furthermore, it is possible to obtain a signal in which the high frequency is compensated by creating a high frequency emphasis signal from the base signal and adding the original base signal.
[0005]
FIGS. 14A and 14B are diagrams showing the positions and bands of carriers in the frequency space. FIG. 14A shows a case where a black and white image is taken, and FIG. 14B shows a case where a color image is taken. 14A and 14B, fs indicates a sampling frequency. The SwitchY method is advantageous because when a subject is black and white, a carrier is generated at the position indicated by x in FIG. 14A, and the band of the area surrounded by the solid line can be utilized. However, when the subject is colored, a carrier is generated at the position indicated by x in FIG. 14B, so the band is narrow as shown by the solid line in FIG. 14B, and the frequency is relatively low. This is not preferable because it causes folding.
[0006]
On the other hand, the OutofGreen method is a method in which each signal of red, green, and blue is processed independently, and in particular, the luminance is created around the green signal. For example, when processing a red signal, 0 is inserted into pixels other than red and the LPF is applied. The green signal and the blue signal are processed in the same manner, and the luminance Y is obtained using the following equation (2), for example.
Y = 0.3R + 0.59G + 0.11B (2)
[0007]
Further, a high frequency emphasis signal is created from only the green signal and added to Y.
Since the OutofGreen method is a method of creating a luminance signal centered on a green signal, sampling is offset sampling, and in the case of a monochrome image, a carrier is generated at a position indicated by a circle in FIG. Therefore, the band of the area indicated by the broken line can be used. Further, as shown in FIG. 14 (b), a color image can be used in a stable manner regardless of whether it is black and white or color because it is a method that can secure the same band as in the case of black and white. However, in the case of a black and white image, the diagonal direction is narrower than the band of the SwitchY system, and there is a problem that jaggies occur due to folding from the diagonal direction.
[0008]
[Problems to be solved by the invention]
As described above, the SwitchY method is strong for black and white subjects but weak for color subjects, and the OutofGreen method has a certain level of black and white and color, but jaggies occur. Yes, in either method, an adverse effect occurs on the image.
[0009]
The present invention has been made in view of the above problems, and an object of the present invention is to obtain a high-quality luminance signal by taking advantage of each of the plurality of luminance signal generation methods.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, a signal processing device of the present invention for processing an image signal obtained by imaging with an image pickup device having a color filter with a Bayer array is provided with a plurality of Bayer arrays. First luminance signal generating means for generating a first luminance signal by a first method for obtaining a luminance signal from an image signal obtained by performing interpolation processing for each color type, and the interpolation processing for the input image signal And a second luminance signal generating means for generating a second luminance signal by a second method for obtaining a luminance signal from the image signal, and the image signal is a monochrome image based on the input image signal. Determining means for determining whether a color image is displayed, detection means for detecting a portion showing an oblique line in the image indicated by the image signal based on the input image signal, and the determination Output means for determining that the stage is a black and white image and outputting the second luminance signal when the detecting means detects a diagonal line; and outputting the first luminance signal otherwise. Yes, and the first method is a OutofGreen technique and the second technique is characterized in that it is a SwitchY scheme.
[0011]
Further, a signal processing method for processing an image signal obtained by imaging with an image sensor having a color filter with a Bayer array performs an interpolation process on the input image signal for each of a plurality of color types of the Bayer array. A first luminance signal generating step for generating a first luminance signal by a first method for obtaining a luminance signal from the image signal obtained in this manner, and the image signal without performing the interpolation processing on the input image signal. A second luminance signal generation step for generating a second luminance signal by a second method for obtaining a luminance signal from the image signal, and the image signal indicates a monochrome image or a color image based on the input image signal A black and white image in the determination step; a detection step of detecting a portion showing an oblique line in the image indicated by the image signal based on the input image signal; Discriminated, and the detecting the second luminance signal output when it detects a diagonal line in the process, have a output step of outputting the first luminance signal in the other cases, the first The method is an OutofGreen method, and the second method is a SwitchY method .
[0012]
According to another configuration of the present invention, the signal processing device of the present invention that processes the image signal obtained by imaging with the image sensor is the first method based on the input image signal. A first luminance signal generating means for generating a luminance signal; a second luminance signal generating means for generating a second luminance signal by a second method based on the input image signal; and the input image signal. And determining means for determining whether the image signal indicates a black and white image or a color image, and the first luminance signal and the second luminance signal according to a determination result by the determining means. Mixing means for mixing, wherein the first method is an OutofGreen method, the second method is a SwitchY method, and the mixing means determines that the determining means is a black and white image. Output second luminance signal, color It outputs the first luminance signal when it is determined that it is the image.
The signal processing method of the present invention for processing an image signal obtained by imaging with an image sensor is a first luminance signal for generating a first luminance signal by a first method based on an input image signal. A second luminance signal generating step for generating a second luminance signal by a second method based on the input image signal, and a black and white image based on the input image signal. A determination step of determining whether to indicate a color image, and a mixing step of mixing the first luminance signal and the second luminance signal according to the determination result in the determination step , The first method is an OutofGreen method, the second method is a SwitchY method, and the mixing step outputs the second luminance signal when it is determined that the image is a black and white image in the determination step, It is determined that it is an image It outputs the first luminance signal in the case.
[0013]
According to another aspect of the present invention, a signal processing device that processes an image signal obtained by imaging with an imaging device outputs a first luminance signal by a first method based on the input image signal. Based on the first luminance signal generating means for generating, the second luminance signal generating means for generating the second luminance signal by the second method based on the input image signal, and the input image signal Detecting means for detecting a portion showing an oblique line in the image indicated by the image signal; and mixing means for mixing the first luminance signal and the second luminance signal according to a detection result by the detecting means. have a, the first method is a OutofGreen technique and the second technique is a SwitchY method, said mixing means outputting the second luminance signal when the detecting means detects the oblique line Otherwise, the first brightness And outputs the issue.
[0014]
In addition, a signal processing method for processing an image signal obtained by imaging with an imaging device includes a first luminance signal generation step for generating a first luminance signal by a first method based on an input image signal; A second luminance signal generating step for generating a second luminance signal by a second method based on the input image signal; and an oblique in an image indicated by the image signal based on the input image signal a detection step of detecting a portion indicating a line, in response to said detection result in the detection step, have a mixing step of mixing said first luminance signal and the second luminance signal, the first method OutofGreen method, the second method is a SwitchY method, and the mixing step outputs the second luminance signal when an oblique line is detected in the detection step, and the first step otherwise. Output a luminance signal .
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Preferred embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
[0016]
(First embodiment)
In the first embodiment, signals from a single-plate image sensor covered with a primary color Bayer array color filter composed of three colors of R (red), G (green), and B (blue) shown in FIG. A case where a luminance signal is obtained will be described.
[0017]
FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus according to the first embodiment of the present invention. The imaging device includes, for example, a digital still camera, a digital camera, a scanner, a copier, and a facsimile, but is not limited thereto, and any device that acquires an incident optical image as an electrical image by photoelectric conversion, The present invention can be applied.
[0018]
In FIG. 1, 1 is an image sensor such as a CCD (hereinafter referred to as a CCD) that photoelectrically converts incident light and outputs an electrical signal, 2 is an A / D conversion circuit, 3 is a white balance (WB) circuit, 4 Is a signal processing device. In the above configuration, a signal output from the CCD 1 is converted into a digital signal by the A / D conversion circuit 2, and a signal subjected to known white balance processing by the WB circuit 3 is input to the signal processing device 4.
[0019]
The signal processing unit 4 includes OutofGreen luminance circuit 5, Swi t CHY luminance circuit 6, monochrome color determining circuit 7, the oblique line detection circuit 8, the luminance mixing circuit 9. For example, the OutofGreen luminance circuit 5 employs the OutofGreen method described in the related art, but may employ a method of adaptively switching the interpolation method to an image. Moreover, Swi t CHY luminance circuit 6 also, for example, employing a Swi t CHY method described in the prior art. The Swi t CHY method is a method regarded as red (R) signal, a green (G) signal, as a luminance signal blue (B) signals, imaging of primary color Bayer array is adopted in the first embodiment In the case of an element, the color composition ratio of luminance is R: G: B = 1: 2: 1.
[0020]
Next, the operation of the signal processing device 4 having the above configuration will be described in detail with reference to FIGS.
[0021]
FIG. 2 is a flowchart showing an outline of processing in the signal processing device 4. In FIG. 2, the signal processing device 4 that has received the WB-processed signal from the WB circuit 3 (step S11) creates a luminance signal 1 by the OutofGreen method in the OutofGreen luminance circuit 5 (step S12). Further, the SwitchY luminance circuit 6 creates the luminance signal 2 by the SwitchY method (step S 12 ). Further, the monochrome color discrimination circuit 7 discriminates whether the subject is monochrome or color, generates a monochrome color discrimination signal indicating the discrimination result (step S 13 ), and the diagonal line detection circuit 8 detects the diagonal line in the subject image. An oblique line determination signal indicating the presence or absence of an oblique line is generated (step S 14 ). The luminance mixing circuit 9 mixes the luminance signal 1 and the luminance signal 2 based on the monochrome color determination signal and the diagonal line determination signal (step S15). Note that the order in which the processes of steps S12 to S14 are performed is not limited to the above, and may be performed in a different order, or part or all of the processes may be performed simultaneously.
[0022]
The monochrome color determination process performed in step S13 will be described with reference to the flowchart of FIG. In the monochrome color discriminating circuit 7, first, in step S21, the saturation signal C is calculated from the signal after white balance, for example, according to the following equation (3).
[0023]

[0024]
Next, when the saturation signal C is smaller than the threshold value Th1 of a certain level (YES in step S22), it is determined that the input signal indicates a monochrome image, and 1 is set as the monochrome color determination signal _DCC. (Step S23). If the saturation signal C is greater than or equal to the threshold Th1 (NO in step S22), it is compared with a threshold Th2 greater than the threshold Th1 in step S24, and if the saturation signal C is greater than the threshold Th2 (YES in step S24). was determined to be a color image, 0 is set as the determination signal D _BC (step S25). When the saturation signal C is between the threshold value Th1 and the threshold value Th2 (NO in step S24), the determination signal _DBC is a numerical value between 1 and 0 linearly according to the distance from the threshold values Th1 and Th2. (Step S26). Those shown the relationship between the chroma signal C and the threshold Th1 and Th2, and the determination signal D _BC in the above process is shown in FIG 4.
[0025]
In order to adjust the monochrome color discrimination area, for example, a 3 × 3 maximum value filter is applied to the saturation signal C to enlarge the discrimination area or normalize by brightness. Also, a dark part may be detected. Normalization by brightness can be performed by, for example, dividing saturation by luminance Y.
[0026]
Next, the oblique line detection process performed in step S14 of FIG. 2 will be described with reference to FIGS. FIG. 5 is a block diagram showing an example of the internal configuration of the oblique line detection circuit 8. The band-pass filter (BPF) A circuit 10, the BPFB circuit 11, and the low-pass filter (LPF) A are obtained using all color signals after WB. A region where jaggy occurs is extracted by the circuit 12 and the LPFB circuit 13.
[0027]
As the band-pass filter, for example, the filter coefficient is [1 −4 6−4 1] vertically, the digital filter of [−1 0 2 0 −1] is horizontally applied, and the horizontal [1 − 4 6 -4 1], and a BPFB circuit 11 that applies a digital filter of [−1 02 0 −1] vertically is used. As the low-pass filter, for example, the filter coefficient is [1 4 6 4 1] horizontally, the LPFA circuit 12 applying the digital filter [1 -2 2 -2 1] vertically, and [1 4 6 4 1 vertically] The LPFB circuit 13 to which the digital filter of [1 −2 2 −2 1] is applied horizontally is used.
[0028]
The signal from the BPFA circuit 10 and the signal from the BPFB circuit 11 are converted into absolute values by the absolute value circuit 14 and added by the adder 15 (step S31). The addition signal S _BPF is compared with the threshold value Th3, and when the addition signal S _BPF is smaller (YES in step S32), it is determined that it is not a diagonal line, and 0 is set as the BPF detection signal D _BPF (step S33). When the addition signal S _BPF is equal to or greater than the threshold value Th3 (NO in step S32), it is compared with a threshold value Th4 that is greater than the threshold value Th3. If the addition signal S _BPF is larger (YES in step S34), it is determined as an oblique line, and 1 is set as the BPF detection signal D _BPF (step S35). When the addition signal S _BPF is between the threshold Th3 and the threshold Th4 (NO in Step S34), the BPF detection signal D _BPF is linearly between 0 and 1 depending on the distance from the threshold Th3 and Th4. It sets so that a numerical value may be taken (step S36). FIG. 7 shows the relationship between the addition signal S _BPF , the threshold values Th3 and Th4, and the BPF detection signal D _BPF in the above processing.
[0029]
On the other hand, the purpose of the LPF circuit is to exclude the low frequency area from the area detected as an oblique line by the BPF circuit. That is, only the BPF circuit may detect an extra low-frequency signal as an oblique line, so the LPF circuit is configured so that the extra part is excluded from the detection target.
[0030]
The signal from the LPFA circuit 12 and the signal from the LPFB circuit 13 are converted into absolute values by the absolute value circuit 14 and added by the adder 15 (step S37). The addition signal S _LPF is compared with the threshold Th5, and when the addition signal S _LPF is smaller (YES in step S38), 1 is set as the LPF detection signal D _{LPF so} as not to be excluded from the diagonal line detection target (step S39). ). When the addition signal S _LPF is equal to or less than the threshold value Th6 (NO in step S38), it is compared with a threshold value Th6 that is larger than the threshold value Th5. If the addition signal S _LPF is larger (YES in step S40), 0 is set as the LPF detection signal D _{LPF in} order to remove it from the oblique line detection target (step S41). When the addition signal S _LPF is between the threshold Th5 and the threshold Th6, the LPF detection signal D _LPF is set to take a numerical value between 0 and 1 linearly according to the distance from the threshold Th5 and Th6. (Step S42). FIG. 8 shows the relationship between the addition signal S _LPF , the threshold values Th5 and Th6, and the LPF detection signal D _LPF in the above processing.
[0031]
In the example shown in FIG. 5, the configuration using the bandpass filter and the lowpass filter is shown. However, the configuration is not limited to this, and for example, a highpass filter is used instead of the bandpass filter, or no lowpass filter is used. Alternatively, a band pass filter or a high pass filter may be used.
[0032]
Next, using the above BPF detection signal D _BPF and LPF detection signal D _LPF, the result of taking the product by the multiplier 17, as the final slanting line detecting signal D _D (step S43).
[0033]
In the oblique line detection circuit 8, the number of BPF circuits or LPF circuits may be increased in order to increase the detection accuracy, or normalization by a maximum value filter or brightness may be performed in order to adjust the detection area. .
[0034]
In FIG. 6, the processes of steps S37 to S42 may be performed before the processes of steps S31 to S36 or may be performed in parallel.
[0035]
Next, the luminance signal mixing process performed in step S15 of FIG. 2 will be described with reference to the flowchart of FIG. The luminance mixing circuit 9, using a black and white color detection signal D _BC and slanting line detecting signal D _D obtained as described above, to mix the luminance signal 1 and the luminance signal 2.
[0036]
Here, when the input signal indicates a monochrome image and is determined to be a diagonal line, that is, when the monochrome color determination signal _DBC and the diagonal line detection signal _DD are both 1 (YES in step S51), The luminance signal 2 (SwitchY method) is selected (step S52), and if it is the other part (NO in step S51), the luminance signal 1 (OutofGreen method) is selected (step S53). That is, only the portion 2 in FIGS. 14A and 14B adopts the SwitchY luminance signal, and the

other portions

1, 3, and 4 adopt the OutofGreen signal. By doing so, it is possible to eliminate jaggy and to obtain a good signal without generating aliasing noise in a low frequency even for a color subject.
[0037]
As an example of a determination method executed in step S51, it takes the product of white color determination signal D _BC and slanting line detecting signal D _D, resulting product can also be configured to determine whether the 1 . In this case, the luminance signal 2 is selected when the obtained product is 1, and the luminance signal 1 is selected otherwise.
[0038]
Further, the luminance signal 1 is selected as a default, and when the monochrome color discrimination signal _DCC and the oblique line detection signal _DD are both 1 (or the product is 1), the luminance signal 2 is replaced. Also good.
[0039]
Moreover, not only selecting one of the

luminance signal

1 or 2, a

luminance signal

1 or 2 when monochrome color determination signal D _BC and / or the oblique line detection signal D _D is an intermediate value of 0 and 1 mixed and may be a final luminance signal. The luminance signal mixing process in that case will be described with reference to the flowchart of FIG.
[0040]
If the input signal indicates a black and white image and is determined to be an oblique line (YES in step S61), such as the product is 1 as described above, the luminance signal 2 is selected (step S62). When the product becomes 0 (YES in step S63), the luminance signal 1 is selected (step S64), and when the value α is between 0 and 1 (NO in step S63), the switching is smooth. Therefore, the luminance signals 1 and 2 are mixed as shown in the following equation (4) (step S65).
[Luminance] = α × [luminance signal 2] + (1-α) × [luminance signal 1] (4)
[0041]
In the above example, the signal processing device 4 has been described as having both the black and white color discrimination circuit 7 and the oblique line detection circuit 8, but may be configured to have only one of them. Specifically, when only the monochrome color discrimination circuit 7 is provided, the luminance mixing circuit 9 performs the same process as described above except that only the monochrome image is discriminated in step S51 of the process shown in FIG. In the processing shown in FIG. 10, it is determined whether the monochrome color determination signal _DCC is 1 in step S61, whether the monochrome color determination signal _DCC is 0 is determined in step S63, and monochrome color is determined in step S65. The discrimination signal _DBC is used as α. Otherwise, the same processing as above is performed.
[0042]
On the other hand, when only the diagonal line detection circuit 8 is provided, the luminance mixing circuit 9 performs the same process as described above except that only the diagonal line is determined in step S51 of the process shown in FIG. Further, performs determination of the diagonal line detection signal D _D in step S61 of whether 1 in the process shown in FIG. 10, the oblique line detection signal D _D performs a 0 if the determined in step S63, step S65 in slanting line detecting using signal D _D as alpha. Otherwise, the same processing as above is performed.
[0043]
As described above, according to the first embodiment, the OutofGreen luminance circuit and the SwitchY luminance circuit can be used to obtain the luminance signal by using only the advantages, and the folding signal generated in the conventional diagonal line can be obtained. In addition, it is possible to obtain a good luminance signal without generating noise due to color signal folding.
[0044]
(Second Embodiment)
Next, a second embodiment will be described. FIG. 11 is a block diagram illustrating a configuration of the imaging apparatus according to the second embodiment. The same reference numerals are given to the same configurations as those in FIG. 1 and the description thereof is omitted. 11, the signal processing unit, 25 OutofGreen luminance circuit 24, Swi t CHY luminance circuit 26, the white color discrimination circuit 27, the oblique

line detection circuit

28, 29 luminance mixing circuit 30 is high-frequency emphasis circuit It is. Except for the high frequency emphasis circuit 30, each circuit performs the same operation as that shown in FIG.
[0045]
The OutofGreen luminance circuits 5 and SwitchY luminance circuits 6 in the first embodiment, usually circuit Komu adding high-frequency emphasis signal to the base signal (not shown) are included respectively, the second embodiment in, OutOfGreen luminance circuits 25 and SwitchY luminance circuits 26 usually contains no high-frequency emphasis circuit included respectively, and the structure in which a common high frequency emphasizing circuit 30 instead.
[0046]
The high frequency emphasizing circuit 30 is provided after the luminance mixing circuit 29, applies a band pass filter to the luminance signal output from the luminance mixing circuit 29, extracts a high frequency signal, and adds it to the original luminance signal.
[0047]
With this configuration, it is possible to reduce the number of high-frequency emphasis circuits to one as compared with the first embodiment.
[0048]
[Other Embodiments]
Note that the present invention can be applied to a system composed of a plurality of devices (for example, a host computer, an interface device, a scanner, a video camera, etc.), or an apparatus (for example, a digital camera, a copier, a facsimile) composed of a single device. For example, an apparatus).
[0049]
Another object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or CPU) of the system or apparatus. Needless to say, this can also be achieved by the MPU) reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included. Examples of the storage medium for storing the program code include a flexible disk, hard disk, ROM, RAM, magnetic tape, nonvolatile memory card, CD-ROM, CD-R, DVD, optical disk, magneto-optical disk, MO, and the like. Can be considered.
[0050]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0051]
When the present invention is applied to the above storage medium, the storage medium stores program codes corresponding to the flowcharts shown in FIGS. 2, 3, 6, and 9 or 11 described above. Become.
[0052]
【The invention's effect】
As described above, according to the present invention, since the advantages of each of the plurality of luminance signal generation methods can be utilized, a high-quality luminance signal can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart for explaining the overall operation of the signal processing apparatus of FIG. 1;
FIG. 3 is a flowchart showing a monochrome color discrimination processing operation in the first embodiment of the present invention.
FIG. 4 is a diagram illustrating a relationship between a monochrome color determination signal and a saturation signal according to the first embodiment of the present invention.
5 is a block diagram showing a configuration of the oblique line detection circuit of FIG. 1. FIG.
FIG. 6 is a flowchart showing an oblique line detection processing operation in the first embodiment of the present invention.
FIG. 7 is a diagram showing a relationship between an oblique line determination signal and a BPF output in the first embodiment of the present invention.
FIG. 8 is a diagram showing a relationship between an oblique line determination signal and an LPF output in the first embodiment of the present invention.
FIG. 9 is a flowchart showing a luminance signal mixing processing operation in the first embodiment of the present invention.
FIG. 10 is a flowchart showing another luminance signal mixing processing operation in the first embodiment of the present invention.
FIG. 11 is a block diagram showing an outline of a signal processing device according to a second embodiment of the present invention.
FIG. 12 is a diagram showing a primary color Bayer arrangement;
FIG. 13 is an explanatory diagram of a SwitchY method.
FIG. 14 is a diagram for explaining a carrier generation position and a band in each method of creating a luminance signal.
[Explanation of symbols]
1 Image sensor (CCD)
2 A / D conversion circuit 3 WB circuit 4, 24 Signal processing device 5, 25

OutofGreen luminance circuit

6, 26

SwitchY luminance circuit

7, 27 Black and white

color discrimination circuit

8, 28 Diagonal line detection circuit 9, 29 Luminance mixing circuit 10 Band pass Filter A circuit 11 Band pass filter B circuit 12 Low pass filter A circuit 13 Low pass filter B circuit 14 Absolute value circuit 15 Adder 16 Discrimination signal generation circuit 17 Multiplier 30 High frequency enhancement circuit

Claims

A signal processing device that processes an image signal obtained by imaging with an image sensor having a Bayer array color filter,
A first luminance for generating a first luminance signal by a first method for obtaining a luminance signal from an image signal obtained by performing interpolation processing on the input image signal for each of a plurality of color types of the Bayer array Signal generating means;
Second luminance signal generation means for generating a second luminance signal by a second method for obtaining a luminance signal from the image signal without performing the interpolation processing on the input image signal;
Discrimination means for discriminating whether the image signal indicates a monochrome image or a color image based on the input image signal;
Detecting means for detecting a portion indicating an oblique line in an image indicated by the image signal based on the input image signal;
An output unit that determines that the determination unit is a black and white image and outputs the second luminance signal when the detection unit detects an oblique line, and outputs the first luminance signal otherwise. It has a door,
The signal processing apparatus characterized in that the first method is an OutofGreen method and the second method is a SwitchY method .

A signal processing device that processes an image signal obtained by imaging with an imaging element,
First luminance signal generation means for generating a first luminance signal by the first method based on the input image signal;
Second luminance signal generating means for generating a second luminance signal by a second method based on the input image signal;
Discrimination means for discriminating whether the image signal indicates a monochrome image or a color image based on the input image signal;
Mixing means for mixing the first luminance signal and the second luminance signal according to the determination result by the determination means;
The first method is an OutofGreen method, the second method is a SwitchY method, and the mixing unit outputs the second luminance signal when the determining unit determines that the image is a black and white image, A signal processing apparatus that outputs the first luminance signal when it is determined that the image is a color image.

The discriminating means outputs a black and white image, a color image or a signal indicating an intermediate between them, and in the case of being in the intermediate, the mixing means outputs the first luminance signal and the first image at a ratio based on the output signal value. The signal processing apparatus according to claim 2, wherein two luminance signals are mixed.

Based on the input image signal, further comprising a detecting means for detecting a portion showing an oblique line in the image indicated by the image signal;
3. The signal according to claim 2, wherein the mixing unit mixes the first luminance signal and the second luminance signal in accordance with a determination result by the determination unit and a detection result by the detection unit. Processing equipment.

A signal processing device that processes an image signal obtained by imaging with an imaging element,
First luminance signal generation means for generating a first luminance signal by the first method based on the input image signal;
Second luminance signal generating means for generating a second luminance signal by a second method based on the input image signal;
Detecting means for detecting a portion indicating an oblique line in an image indicated by the image signal based on the input image signal;
Mixing means for mixing the first luminance signal and the second luminance signal according to the detection result by the detection means;
The first method is an OutofGreen method, the second method is a SwitchY method, and the mixing unit outputs the second luminance signal when the detection unit detects an oblique line, and the others In this case, the signal processing apparatus outputs the first luminance signal.

The detection means outputs a signal indicating the probability of being a diagonal line, and when the signal indicates an intermediate value, the mixing means outputs the first luminance signal and the ratio at a ratio based on the output signal value. The signal processing apparatus according to claim 5 , wherein the second luminance signal is mixed.

The discriminating means generates a luminance signal from an image signal obtained by said input signal processing apparatus according to any one of claims 1 to 4, characterized in that the determination on the basis of the chroma signal.

Said detecting means includes at least one or more bandpass filters or high-pass filter for extracting a diagonal edge, one of claims 1, 4, 5, characterized in that the detection based on the output result The signal processing device according to claim 1.

The detection means includes at least one band-pass filter or high-pass filter that extracts an edge in an oblique direction, and at least one low-pass filter, and performs detection based on an output result thereof. The signal processing device according to any one of claims 1, 4, and 5 .

The said 1st and 2nd brightness | luminance signal production | generation means has a means to produce | generate a high region emphasis signal based on each of several color signals, The any one of Claim 1 thru | or 9 characterized by the above-mentioned. Signal processing device.

The signal processing apparatus according to claim 1, further comprising a high frequency emphasis signal creating unit that creates a high frequency emphasizing signal from the signal output by the output unit.

The signal processing apparatus according to claim 2 or 5, characterized by further comprising a high-frequency emphasis signal creating means for creating a high-frequency emphasis signal from mixed signals by said mixing means.

A signal processing method for processing an image signal obtained by imaging with an image sensor having a Bayer array color filter,
A first luminance for generating a first luminance signal by a first method for obtaining a luminance signal from an image signal obtained by performing interpolation processing on the input image signal for each of a plurality of color types of the Bayer array A signal generation process;
A second luminance signal generation step of generating a second luminance signal by a second method for obtaining a luminance signal from the image signal without performing the interpolation processing on the input image signal;
A determination step of determining whether the image signal indicates a black and white image or a color image based on the input image signal;
A detection step of detecting a portion indicating an oblique line in an image indicated by the image signal based on the input image signal;
An output step of determining that the image is a black and white image in the determining step and outputting the second luminance signal when an oblique line is detected in the detecting step, and outputting the first luminance signal in other cases. It has a door,
The signal processing method according to claim 1, wherein the first method is an OutofGreen method, and the second method is a SwitchY method.

A signal processing method for processing an image signal obtained by imaging with an imaging device,
A first luminance signal generating step for generating a first luminance signal by the first method based on the input image signal;
A second luminance signal generating step for generating a second luminance signal by a second method based on the input image signal;
A determination step of determining whether the image signal indicates a black and white image or a color image based on the input image signal;
A mixing step of mixing the first luminance signal and the second luminance signal according to the determination result in the determination step ,
The first method is an OutofGreen method, the second method is a SwitchY method, and the mixing process outputs the second luminance signal when it is determined that the image is a black and white image in the determination process, A signal processing method for outputting the first luminance signal when it is determined that the image is a color image.

A signal processing method for processing an image signal obtained by imaging with an imaging device,
A first luminance signal generating step for generating a first luminance signal by the first method based on the input image signal;
A second luminance signal generating step for generating a second luminance signal by a second method based on the input image signal;
A detection step of detecting a portion indicating an oblique line in an image indicated by the image signal based on the input image signal;
A mixing step of mixing the first luminance signal and the second luminance signal according to a detection result in the detection step,
The first method is an OutofGreen method, the second method is a SwitchY method, and the mixing step outputs the second luminance signal when an oblique line is detected in the detection step, and the others In the case of the signal processing method, the first luminance signal is output.

A program for causing an information processing apparatus to execute each step of the signal processing method according to any one of claims 13 to 14 .

A storage medium readable by an information processing apparatus, wherein the program according to claim 16 is stored.