JP4284960B2 - 画像信号処理装置 - Google Patents
画像信号処理装置 Download PDFInfo
- Publication number
- JP4284960B2 JP4284960B2 JP2002294490A JP2002294490A JP4284960B2 JP 4284960 B2 JP4284960 B2 JP 4284960B2 JP 2002294490 A JP2002294490 A JP 2002294490A JP 2002294490 A JP2002294490 A JP 2002294490A JP 4284960 B2 JP4284960 B2 JP 4284960B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- output
- green
- signal processing
- change
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタルスチルカメラやムービー等に用いられる画像信号処理装置に関する。さらに具体的には、水平方向の第１ラインにはマゼンタ(Ｍｇ)、グリ−ン（Ｇｒ）の順で色フィルタが交互配列され、第２ラインにはイエロ−（Ｙｅ）、シアン（Ｃｙ）の順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列又は、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子で得られる信号から輝度信号を生成する際に発生する偽信号を抑圧する画像信号処理装置に関する。
【０００２】
【従来の技術】
ディジタルスチルカメラやムービーなどにおいては、ＣＣＤ（Charge coupled device）等の撮像素子が用いられている。
【０００３】
撮像素子の表面には、カラー化のために画素毎に所定の繰り返しパターンを持つ色フィルタが装着されている。この色フィルタとしては様々なものが知られているが、広く使用されているものの１つに、図２に示すような水平方向の第１ラインにはマゼンタ、グリ−ンの順で色フィルタが交互配列され、第２ラインにはイエロ−、シアンの順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列がある。以下このフィルタ配列を色差線順次配列と呼ぶ。
【０００４】
また、色差線順次配列の他に広く使用されているものの１つに、図１０に示すような水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列がある。以下このフィルタ配列を原色ベイヤー配列と呼ぶ。
【０００５】
色差線順次配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としては、縦２×横２画素を加算する方法が一般的である（例えば特許文献１）。
【０００６】
原色ベイヤ−配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としても、縦２×横２画素の加算によっても生成できるが、その他の方法としては、縦２×横２画素領域内のグリーン信号だけを加算して輝度の高周波成分を生成する方法がある（例えば特許文献２）。
【０００７】
【特許文献１】
特開平８−０７０４６６号公報（２頁、図４）
【特許文献２】
特開平８−２３７６７２号公報（７頁、図１０、図１１、図１２、図１３）
【０００８】
【発明が解決しようとする課題】
しかし、縦２×横２画素の信号を加算することで輝度信号を生成すると、色差線順次配列の色フィルタ配列を使用している場合、水平方向に色の変化の激しい被写体を撮像した際にドット状の偽信号が発生するという課題があった。例えば、図６は色差線順次配列の色フィルタ配列の一部を示した図であり、図６のｍ列とｍ＋１列の間で被写体の色が変化しているとする。変化点の右側はＹｅ＝Ｍｇ＝１、Ｇｒ＝Ｃｙ＝０、変化点の左側はＹｅ＝Ｍｇ＝Ｇｒ＝Ｃｙ＝０であるとする。図７はこのときの各色フィルタ位置に対応した撮像素子の出力を示したものである。座標(m,n-1),(m+1,n-1),(m,n),(m+1,n)の縦２×横２画素の加算値は２になるが、座標(m,n+1),(m+1,n+1),(m,n+2),(m+1,n+2)の画素の加算値は１となり、垂直方向に輝度の変化の無い被写体であるにもかかわらず輝度信号が変化することが判る。これがドット状の偽信号となって現れ、撮像画質を著しく損なう要因となっていた。
【０００９】
同様に、原色ベイヤー配列の色フィルタを使用している場合には、斜め方向に色の変化の激しい被写体を撮像した際にドット状の偽信号が発生するという課題があった。例えば、図１１は原色ベイヤー配列の色フィルタ配列の一部を示した図であり、座標(m-2,n-2)と(m+3,n+3)を結ぶ対角線を境に被写体の色が変化しているとする。変化点の右上はＲ＝Ｇｒ＝０、Ｂ＝１、変化点の左下はＢ＝Ｇｒ＝０、Ｒ＝１であるとする。図１２はこのときの各色フィルタ位置に対応した撮像素子の出力を示したものである。座標(m-2,n-2),(m-1,n-2),(m-2,n-1),(m-1,n-1)の縦２×横２画素の加算値は０になるが、座標(m-1,n-1),(m,n-1),(m-1,n),(m,n)の縦２×横２画素の加算値は２となり、斜め方向に輝度の変化のない被写体であるにもかかわらず輝度信号が変化することがわかる。これがドット状の偽信号となって現れ、撮像画質を著しく損なう要因となっていた。
【００１０】
また、特許文献２に記載された様に、縦２×横２画素領域内のグリーン信号だけを使用して輝度の高周波信号を生成した場合には、前記のドット状の偽信号は発生しないが、特に斜め方向のサンプリング間隔がレッド、グリーン、ブルー全て使用した場合の２倍になってしまうため、斜め方向の解像度が損なわれるという課題があった。
【００１１】
本発明は、このような従来の課題を解決し、色の変化部における偽信号の無い輝度信号を生成する画像信号処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
この課題を解決するために、本発明（請求項１）の画像信号処理装置は、縦Ｍ画素×横Ｎ画素の所定の配列の繰り返しを有する色分離フィルタを備えた撮像素子と、前記撮像素子の出力信号から色の変化点を検出する色変化検出手段と、前記色変化検出手段の出力に応じて、前記撮像素子の出力信号に適応的にローパスフィルタ処理を施すことにより色の変化点の偽信号が抑圧された輝度信号を生成する適応ローパスフィルタ手段と、前記適応ローパスフィルタ手段の出力を出力する輝度信号出力端子とを備え、適応ローパスフィルタ手段は、前記撮像素子の出力信号から輝度の変化を検出する輝度変化検出手段を備え、前記輝度変化検出手段の出力と、前記色変化検出手段の出力を比較した結果に応じてローパスフィルタ特性を制御することを特徴とする。
【００１４】
また、本発明（請求項２）の画像信号処理装置は請求項１記載の画像信号処理装置において、撮像素子は、水平方向の第１ラインにはマゼンタ、グリ−ンの順で色フィルタが交互配列され、第２ラインにはイエロ−、シアンの順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列を備えた撮像素子であることを特徴とする。
【００１５】
また、本発明（請求項４）は請求項２記載の画像信号処理装置において、色変化検出手段は、マゼンタ、グリーンの水平方向の変化量を検出する手段を含むことを特徴とする。
【００１６】
また、本発明（請求項４）は請求項２記載の画像信号処理装置において、色変化検出手段は、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を検出する手段を含むことを特徴とする。
【００１７】
また、本発明（請求項５）は請求項２記載の画像信号処理装置において、色変化検出手段は、マゼンタ、グリーンの垂直方向の変動パターンが所定のパターンである場合には、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を出力し、所定のパターンでない場合は零を出力することを特徴とする。
【００１８】
また、本発明（請求項６）の画像信号処理装置は請求項１記載の画像信号処理装置において、撮像素子は、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子であることを特徴とする。
【００１９】
また、本発明（請求項７）は請求項６記載の画像信号処理装置において、色変化検出手段は、斜め方向のレッドの変化量とブルーの変化量の差分値を検出する手段を含むことを特徴とする。
【００２０】
また、本発明（請求項８）は請求項６記載の画像信号処理装置において、輝度変化検出手段は、レッドとブルーの加算値の変化量を検出する手段を含むことを特徴とする。
【００２１】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態について、図を用いて説明する。
【００２２】
図１は本発明の画像信号処理装置の第１の実施の形態を示し、図１において１は撮像素子、２はＡ／Ｄ変換部、３〜７はラインメモリ、１４は輝度信号生成部、１５は色変化検出部、２１は適応ローパスフィルタ部、２２は輝度信号出力端子である。
【００２３】
また、図１において８〜１０は加算器、１１〜１３はローパスフィルタ部であり輝度信号生成部１４を構成する。また、図１において１６、１９は加算器、１７は減算器、１８は乗算器、２０はコア処理部、２３、２４は１画素遅延部であり適応ローパスフィルタ部２１を構成する。
【００２４】
以上のように構成された画像信号処理装置について、以下、その動作を述べる。
【００２５】
撮像素子１は表面に図２に示す配列の補色フィルタを備えており、フィルタの色に応じたマゼンタ、グリーン、イエロー、シアンの補色信号を水平１ラインずつ出力する。
【００２６】
撮像素子１の出力信号はＡ／Ｄ変換部２にてデジタル化され、ラインメモリ３〜７を通り遅延され、輝度信号生成部１４および色変化検出部１５に入力される。
【００２７】
ラインメモリ３〜７はそれぞれ撮像素子の水平１ライン分の信号を遅延して出力するので、色変化検出部１５には同時に６ライン、輝度信号生成部１４には同時に４ライン分の補色信号が入力される。
【００２８】
輝度信号生成部１４では、垂直方向に隣接する補色信号が加算器８〜１０で加算された後、水平方向に隣接する信号がローパスフィルタ部１１〜１３にて加算され、結果として水平２×垂直２画素の補色信号の加算値が輝度信号として同時に３ライン分出力される。
【００２９】
輝度信号生成部１４の出力は従来例で説明した色変化点の偽信号を含んでいる。輝度信号生成部１４の出力は適応ローパスフィルタ部２１に入力される。適応ローパスフィルタ部２１では、輝度信号生成部１４の出力３ラインのうち、上下のラインの信号が加算器１６で加算され、中心のラインの信号が乗算器１８で２倍され、減算器１７にて加算器１６の出力から乗算器１８の出力が減算され、１画素遅延部２４で遅延された後コア処理部２０に入力される。
【００３０】
図４は、コア処理部２０の入力信号において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示したものである。図４のフィルタは垂直方向の輝度エッジを検出するフィルタになっており、水平方向の色の変化点においては偽信号のレベルを検出するフィルタになっている。
【００３１】
図３はコア処理部２０の入出力関係を示す図である。色変化検出部の出力であるthと減算器１７の出力inを比較し、in<-2th,2th<inの場合は0,-2th<in<thの場合は-2th-in,-th<in<thの場合はin,th<in<2thの場合は2th-inを出力する。コア処理部２０の出力は加算器１９において１画素遅延部２３によって遅延された乗算器１８の出力と加算され、輝度信号出力端子２２へ出力される。
【００３２】
図５は適応ローパスフィルタ部２１の出力において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示したものである。図５(a)は２×th<|in|の場合、図５(b)は|in|=1.5×thの場合、図５(c)は|in|<thの場合のタップ係数を示している。|in|に対してthが大きいほど垂直方向に狭帯域のローパスフィルタ処理になっており、色の変化点での偽信号の抑圧効果が大きくなる。図５(c)のフィルタを例えば図７の色の境界部であるm列、m+1列の信号に対して施すと、どの位置でも出力値は３となり、偽信号が完全に抑圧されることがわかる。
【００３３】
従って、色変化検出部１５は色の変化点において|in|<thとなる出力thを生成すればよい。ただし、色の変化点以外で、2×th<|in|とならなければ誤動作することになる。
【００３４】
以下、色変化検出部１５の動作について説明する。
【００３５】
図８は図６のm列とm+1列を境にＭｇ＝Ｍ０、Ｇｒ＝Ｇ０、Ｙｅ＝Ｙ０、Ｃｙ＝Ｃ０からＭｇ＝Ｍ３、Ｇｒ＝Ｇ３、Ｙｅ＝Ｙ３、Ｃｙ＝Ｃ３に変化している場合の撮像素子の各画素の出力値を示した図である。ただし、レンズや撮像素子のアパーチャ、水晶光学ローパスフィルタ等の影響を考慮して、中間色としてm列はＭｇ＝Ｍ１、Ｇｒ＝Ｇ１、Ｙｅ＝Ｙ１、Ｃｙ＝Ｃ１、m+1列はＭｇ＝Ｍ２、Ｇｒ＝Ｇ２、Ｙｅ＝Ｙ２、Ｃｙ＝Ｃ２になっているとしている。
【００３６】
ここで、例えばＭｇに関してはＭ０＜Ｍ１＜Ｍ２＜Ｍ３又はＭ０＞Ｍ１＞Ｍ２＞Ｍ３の関係が成り立つと考えられ、Ｇｒ、Ｙｅ、Ｃｙに関しても同様の関係が成り立つと考えられる。
【００３７】
このときの色の境界線におけるコア処理部の入力inは（数１）のようになる。
【００３８】
【数１】
【００３９】
これは、色の境界線における偽信号がマゼンタ、グリーン信号によって発生していることを示している。
【００４０】
このとき、色変化検出部１５ではthを例えば（数２）のように演算する。
【００４１】
【数２】
【００４２】
ただし、Max(a,b)はaとbの大きい方を選択する関数とする。
【００４３】
Ｍ０＜Ｍ１＜Ｍ２＜Ｍ３又はＭ０＞Ｍ１＞Ｍ２＞Ｍ３であり、Ｇ０＜Ｇ１＜Ｇ２＜Ｇ３又はＧ０＞Ｇ１＞Ｇ２＞Ｇ３であるから常にth>|in|の関係が成り立つので、（数２）の演算によるthを使用することで、色の変化点での偽信号は抑圧される。
【００４４】
しかし、（数２）の演算によるthは、水平方向に輝度の変化があった場合にも色の変化として検出してしまうため、特に斜めに輝度の変化がある被写体において適応ローパスフィルタの誤動作が発生し、斜めの解像度が損なわれる場合が発生する。
【００４５】
この誤動作を補正するためには、例えば（数３）のようにthを演算する。
【００４６】
【数３】
【００４７】
（数３）において、bは補正の程度を調整するための係数でありb>0である。
（数３）において、n-1,n+1,n+3行に対する演算部分は垂直方向のイエロー、シアン信号の垂直方向変動を示している。イエロー、シアン信号は、水平方向の色の変化点において垂直方向には変動しないので、（数３）の演算によって、水平方向の色の変化点での偽信号抑圧に影響を与えることなく、斜め方向の輝度の変化がある部分の誤動作だけを補正することができる。
【００４８】
しかし、（数３）におけるイエロー、シアン信号の垂直方向の変化検出は、比較的低周波数の変化や撮像素子の画素ピッチで決まる垂直ナイキスト周波数に近いような変化は検出しにくいため、そのような周波数の斜めの輝度変化部分での誤動作を補正できない。
【００４９】
この誤動作を補正するには、垂直方向のマゼンタ、グリーン信号の変動パターンを調べて、変動パターンが色の変化点の偽信号のパターンになっていない場合に、色の変化点ではないと判断するとよい。
【００５０】
即ち、例えば（数４）によってマゼンタ、グリーン信号の変動パターンを調べる。
【００５１】
【数４】
【００５２】
色の変化点での偽信号が発生している場合、（数４）の演算結果cはc>0となるので、c<0である場合はth=0としてしまうことで適応ローパスフィルタの誤動作を補正できる。
【００５３】
なお、（数２）、（数３）、（数４）に示した演算は、コア処理部の入力inが（数１）の場合の演算式だが、水平方向に移動した別の座標においても、相対的に同一の座標の信号に対する演算になる。
【００５４】
ただし、垂直方向に移動した別の座標の場合は、１ライン毎にマゼンタ、グリーンの行とイエロー、シアンの行が入れ替わるので、演算式を変える必要がある。
【００５５】
コア処理部の入力in（数１）の１ライン下の（数５）の場合の、（数２）、（数３）、（数４）に対応する演算式は、それぞれ（数６）、（数７）、（数８）のようにすればよい。
【００５６】
【数５】
【００５７】
【数６】
【００５８】
【数７】
【００５９】
【数８】
【００６０】
以上のような構成と動作によって、輝度信号出力端子２２には色の変化点での偽信号が抑圧された輝度信号が得られる。また、斜めの輝度の変化がある場合でも、適応ローパスフィルタ部２１の誤動作による解像度の低下のない信号が得られる。
【００６１】
（実施の形態２）
図９は本発明における第２の実施の形態を示している。図９において、３０は撮像素子、２はＡ／Ｄ変換部、３〜７はラインメモリ、３１は輝度変化検出部、３２は色変化検出部、２２は輝度信号出力端子である。
【００６２】
また、図９において９、１９は加算器、３４は乗算器、１２はローパスフィルタ、２０はコア処理部、３５〜３９は１画素遅延部であり適応ローパスフィルタ部３３を構成する。
【００６３】
以上のように構成された画像信号処理装置について、以下、その動作を述べる。
【００６４】
撮像素子３０は表面に図１０に示す配列の原色フィルタを備えており、フィルタの色に応じたレッド、グリーン、ブルーの原色信号を水平１ラインずつ出力する。
【００６５】
撮像素子３０の出力はＡ／Ｄ変換部２でデジタル化され、ラインメモリ３〜７を通り遅延され、適応ローパスフィルタ部３３、輝度変化検出部３１、色変化検出部３２に入力される。
【００６６】
輝度変化検出部３１では、レッドとブルーの加算値の変化量を検出する。例えば、図１３(a),(b)は輝度変化検出部の出力において、撮像素子３０の出力に対してなされているフィルタ処理のタップ係数を示したものである。図示されている縦４×横４の領域の左上の画素がグリーンの場合は(a)のフィルタが用いられ、レッド又はブルーの場合は(b)のフィルタが用いられる。従って、図１３に示したフィルタは、レッドとブルーの加算値の斜め方向の変化を検出するフィルタになっている。
【００６７】
輝度変化検出部３１の出力はコア処理部２０に入力される。コア処理部では図３に示した処理を施される。コア処理部の出力は、加算器１９へ入力され、１画素遅延部２３の出力と加算される。
【００６８】
図１４は、図９における１画素遅延部３７の出力において、撮像素子３０の出力信号に対してなされているフィルタ処理のタップ係数を示したものである。図１５は、加算器１９の出力において、撮像素子３０の出力信号に対してなされているフィルタ処理のタップ係数を示しており、コア処理部２０の入力信号inとthの関係が変化した場合の適応ローパスフィルタ部３３のフィルタタップ係数の変化を示している。即ち、図１５(a)は２×th<|in|の場合のタップ係数である。図１５(b),(c)は|in|=1.5×thの場合のタップ係数であり、(d),(e)は|in|≦thの場合のタップ係数である。
【００６９】
また、図１５(b),(d)は図示した縦４×横４の領域の左上の画素がグリーンに対応する場合のフィルタ係数であり、(c),(e)は図示した縦４×横４の領域の左上の画素がレッド又はブルーに対応する場合のフィルタ係数である。図１２の信号に対して、図１５の(d),(e)のフィルタ処理を施すと、どの位置でもフィルタ出力値は４になり、偽信号が抑圧された信号が得られることがわかる。
【００７０】
ｔｈは色変化検出部３２の出力であるので、色の変化点で、|in|<thとなるように色変化検出部３２における演算を行えば良い。図１６は色変化検出部３２において、撮像素子３０の出力信号に対して為されるフィルタ処理のタップ係数を示したものである。図示してある縦４×横８画素の左上隅の画素がグリーンの場合は、図１６(a)、(c)のフィルタ処理が為され、それぞれのフィルタ処理結果の絶対値の最大値が色変化検出部３２から出力される。
【００７１】
図示してある縦４×横８画素の左上隅の画素がレッド又はブルーの場合は、図１６(b)、(d)のフィルタ処理が為され、それぞれのフィルタ処理結果の絶対値の最大値が色変化検出部３２から出力される。
【００７２】
例えば、図１１は撮像素子３０が備える色フィルタ配列の一部を示した図であり、図１１に示した座標(m-2,n-2)と(m+3,n+3)を結ぶ対角線を境に被写体の色が変化しているとする。変化点の右上はＲ＝Ｒ０、Ｂ＝Ｂ０、変化点の左下はＲ＝Ｒ１、Ｂ＝Ｂ１であるとする。このとき、色の変化している境界上、例えば座標(m,n),(m,n+1),(m+1,n),(m+1,n+1)を中心とする場合の色変化検出部３２の出力は（数９）のようになる。
【００７３】
【数９】
【００７４】
また、そのときのコア処理部の入力inは（数１０）の様になる。
【００７５】
【数１０】
【００７６】
即ち、|in|≦thの関係が成立しているので、適応ローパスフィルタの出力には偽信号の抑圧された信号を得ることができる。
【００７７】
以上、右上から左下方向に色が変化している場合の色変化点についての動作を説明したが、左上から右下に色が変化している場合においても同様な動作で偽信号の抑圧が為される。
【００７８】
本方式では、レッド、グリーン、ブルーのうちレッド、ブルー成分のみに対してローパスフィルタをかけるので、色の境界以外で誤補正をした場合にもグリーン成分の高周波成分は保持されているので、誤補正による解像感の劣化を最小限に抑えることができる。
【００７９】
更に、本方式では、色変化検出部の出力と輝度変化検出部の出力を比較して適応ローパスフィルタの特性を決めているため、例えば同一の被写体を撮影している場合に光源の明るさが変化して被写体の明るさが変化した場合にも、色変化検出部の出力と輝度変化検出部の出力共に被写体の明るさに比例して変化し、被写体の明るさによらず、同一の適応ローパスフィルタ処理を行うことができる。
【００８０】
以上のような構成と動作によって、輝度信号出力端子２２には色の変化点での偽信号が抑圧された輝度信号が得られる。
【００８１】
また、色の変化の無い部分ではレッド、グリーン、ブルー全てを使用して輝度信号を生成するため斜め方向にも解像度の高い輝度信号が得られる。
【００８２】
なお、実施の形態１及び実施の形態２において、Ａ／Ｄ変換部以後の処理をハードウェアにて実現しているが、マイクロコンピューター等を用いて、Ａ／Ｄ変換部以後の処理の一部または全部をソフトウェアによって実現することも可能である。
【００８３】
【発明の効果】
上述のように、本発明の画像信号処理装置は、色の変化の激しい被写体を撮像した際に色の境界のドット状の偽信号の発生を抑えることができるので、撮像画質が損なわれることがない。また、色の変化の無い部分ではローパスフィルタ処理が為されないので、解像度の劣化を最小限に抑えることができる。
【図面の簡単な説明】
【図１】本発明にかかる画像信号処理装置の第１の実施の形態の構成を示すブロック図
【図２】第１の実施の形態における撮像素子１が備える色フィルタ配列を示す図
【図３】第１の実施の形態におけるコア処理部２０の入出力信号の関係を示す図
【図４】第１の実施の形態におけるコア処理部２０の入力信号において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示した図
【図５】第１の実施の形態におけるコア処理部２０の入力信号inとthが変動した場合に適応ローパスフィルタ部２１の出力信号において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示した図
【図６】第１の実施の形態における撮像素子１が備える色フィルタ配列の一部を示す図
【図７】各色フィルタ位置に対応した撮像素子１の出力の例を示す図
【図８】各色フィルタ位置に対応した撮像素子１の出力の例を示す図
【図９】本発明にかかる画像信号処理装置の第２の実施の形態の構成を示すブロック図
【図１０】第２の実施の形態における撮像素子３０が備える色フィルタ配列を示す図
【図１１】第２の実施の形態における撮像素子３０が備える色フィルタ配列の一部を示す図
【図１２】各色フィルタ位置に対応した撮像素子３０の出力の例を示す図
【図１３】第２の実施の形態における輝度変化検出部３１におけるフィルタ処理のタップ係数を示した図
【図１４】第２の実施の形態における１画素遅延部３７の出力において、撮像素子３０の出力に対して為されているフィルタ処理のタップ係数を示した図
【図１５】第２の実施の形態における適応ローパスフィルタ部３１で施されるフィルタ処理のタップ係数を示した図
【図１６】第２の実施の形態における色変化検出部３２で施されるフィルタ処理のタップ係数を示した図
【符号の説明】
１、３０ 撮像素子
２ Ａ／Ｄ変換部
３、４、５、６、７ ラインメモリ
１４ 輝度信号生成部
１５、３２ 色変化検出部
２０ コア処理部
２１、３３ 適応ローパスフィルタ部
２２ 輝度信号出力端子
３１ 輝度変化検出部
【発明の属する技術分野】
本発明は、ディジタルスチルカメラやムービー等に用いられる画像信号処理装置に関する。さらに具体的には、水平方向の第１ラインにはマゼンタ(Ｍｇ)、グリ−ン（Ｇｒ）の順で色フィルタが交互配列され、第２ラインにはイエロ−（Ｙｅ）、シアン（Ｃｙ）の順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列又は、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子で得られる信号から輝度信号を生成する際に発生する偽信号を抑圧する画像信号処理装置に関する。
【０００２】
【従来の技術】
ディジタルスチルカメラやムービーなどにおいては、ＣＣＤ（Charge coupled device）等の撮像素子が用いられている。
【０００３】
撮像素子の表面には、カラー化のために画素毎に所定の繰り返しパターンを持つ色フィルタが装着されている。この色フィルタとしては様々なものが知られているが、広く使用されているものの１つに、図２に示すような水平方向の第１ラインにはマゼンタ、グリ−ンの順で色フィルタが交互配列され、第２ラインにはイエロ−、シアンの順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列がある。以下このフィルタ配列を色差線順次配列と呼ぶ。
【０００４】
また、色差線順次配列の他に広く使用されているものの１つに、図１０に示すような水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列がある。以下このフィルタ配列を原色ベイヤー配列と呼ぶ。
【０００５】
色差線順次配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としては、縦２×横２画素を加算する方法が一般的である（例えば特許文献１）。
【０００６】
原色ベイヤ−配列の色フィルタを備えた撮像素子出力から輝度信号を生成する方法としても、縦２×横２画素の加算によっても生成できるが、その他の方法としては、縦２×横２画素領域内のグリーン信号だけを加算して輝度の高周波成分を生成する方法がある（例えば特許文献２）。
【０００７】
【特許文献１】
特開平８−０７０４６６号公報（２頁、図４）
【特許文献２】
特開平８−２３７６７２号公報（７頁、図１０、図１１、図１２、図１３）
【０００８】
【発明が解決しようとする課題】
しかし、縦２×横２画素の信号を加算することで輝度信号を生成すると、色差線順次配列の色フィルタ配列を使用している場合、水平方向に色の変化の激しい被写体を撮像した際にドット状の偽信号が発生するという課題があった。例えば、図６は色差線順次配列の色フィルタ配列の一部を示した図であり、図６のｍ列とｍ＋１列の間で被写体の色が変化しているとする。変化点の右側はＹｅ＝Ｍｇ＝１、Ｇｒ＝Ｃｙ＝０、変化点の左側はＹｅ＝Ｍｇ＝Ｇｒ＝Ｃｙ＝０であるとする。図７はこのときの各色フィルタ位置に対応した撮像素子の出力を示したものである。座標(m,n-1),(m+1,n-1),(m,n),(m+1,n)の縦２×横２画素の加算値は２になるが、座標(m,n+1),(m+1,n+1),(m,n+2),(m+1,n+2)の画素の加算値は１となり、垂直方向に輝度の変化の無い被写体であるにもかかわらず輝度信号が変化することが判る。これがドット状の偽信号となって現れ、撮像画質を著しく損なう要因となっていた。
【０００９】
同様に、原色ベイヤー配列の色フィルタを使用している場合には、斜め方向に色の変化の激しい被写体を撮像した際にドット状の偽信号が発生するという課題があった。例えば、図１１は原色ベイヤー配列の色フィルタ配列の一部を示した図であり、座標(m-2,n-2)と(m+3,n+3)を結ぶ対角線を境に被写体の色が変化しているとする。変化点の右上はＲ＝Ｇｒ＝０、Ｂ＝１、変化点の左下はＢ＝Ｇｒ＝０、Ｒ＝１であるとする。図１２はこのときの各色フィルタ位置に対応した撮像素子の出力を示したものである。座標(m-2,n-2),(m-1,n-2),(m-2,n-1),(m-1,n-1)の縦２×横２画素の加算値は０になるが、座標(m-1,n-1),(m,n-1),(m-1,n),(m,n)の縦２×横２画素の加算値は２となり、斜め方向に輝度の変化のない被写体であるにもかかわらず輝度信号が変化することがわかる。これがドット状の偽信号となって現れ、撮像画質を著しく損なう要因となっていた。
【００１０】
また、特許文献２に記載された様に、縦２×横２画素領域内のグリーン信号だけを使用して輝度の高周波信号を生成した場合には、前記のドット状の偽信号は発生しないが、特に斜め方向のサンプリング間隔がレッド、グリーン、ブルー全て使用した場合の２倍になってしまうため、斜め方向の解像度が損なわれるという課題があった。
【００１１】
本発明は、このような従来の課題を解決し、色の変化部における偽信号の無い輝度信号を生成する画像信号処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
この課題を解決するために、本発明（請求項１）の画像信号処理装置は、縦Ｍ画素×横Ｎ画素の所定の配列の繰り返しを有する色分離フィルタを備えた撮像素子と、前記撮像素子の出力信号から色の変化点を検出する色変化検出手段と、前記色変化検出手段の出力に応じて、前記撮像素子の出力信号に適応的にローパスフィルタ処理を施すことにより色の変化点の偽信号が抑圧された輝度信号を生成する適応ローパスフィルタ手段と、前記適応ローパスフィルタ手段の出力を出力する輝度信号出力端子とを備え、適応ローパスフィルタ手段は、前記撮像素子の出力信号から輝度の変化を検出する輝度変化検出手段を備え、前記輝度変化検出手段の出力と、前記色変化検出手段の出力を比較した結果に応じてローパスフィルタ特性を制御することを特徴とする。
【００１４】
また、本発明（請求項２）の画像信号処理装置は請求項１記載の画像信号処理装置において、撮像素子は、水平方向の第１ラインにはマゼンタ、グリ−ンの順で色フィルタが交互配列され、第２ラインにはイエロ−、シアンの順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列を備えた撮像素子であることを特徴とする。
【００１５】
また、本発明（請求項４）は請求項２記載の画像信号処理装置において、色変化検出手段は、マゼンタ、グリーンの水平方向の変化量を検出する手段を含むことを特徴とする。
【００１６】
また、本発明（請求項４）は請求項２記載の画像信号処理装置において、色変化検出手段は、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を検出する手段を含むことを特徴とする。
【００１７】
また、本発明（請求項５）は請求項２記載の画像信号処理装置において、色変化検出手段は、マゼンタ、グリーンの垂直方向の変動パターンが所定のパターンである場合には、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を出力し、所定のパターンでない場合は零を出力することを特徴とする。
【００１８】
また、本発明（請求項６）の画像信号処理装置は請求項１記載の画像信号処理装置において、撮像素子は、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子であることを特徴とする。
【００１９】
また、本発明（請求項７）は請求項６記載の画像信号処理装置において、色変化検出手段は、斜め方向のレッドの変化量とブルーの変化量の差分値を検出する手段を含むことを特徴とする。
【００２０】
また、本発明（請求項８）は請求項６記載の画像信号処理装置において、輝度変化検出手段は、レッドとブルーの加算値の変化量を検出する手段を含むことを特徴とする。
【００２１】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態について、図を用いて説明する。
【００２２】
図１は本発明の画像信号処理装置の第１の実施の形態を示し、図１において１は撮像素子、２はＡ／Ｄ変換部、３〜７はラインメモリ、１４は輝度信号生成部、１５は色変化検出部、２１は適応ローパスフィルタ部、２２は輝度信号出力端子である。
【００２３】
また、図１において８〜１０は加算器、１１〜１３はローパスフィルタ部であり輝度信号生成部１４を構成する。また、図１において１６、１９は加算器、１７は減算器、１８は乗算器、２０はコア処理部、２３、２４は１画素遅延部であり適応ローパスフィルタ部２１を構成する。
【００２４】
以上のように構成された画像信号処理装置について、以下、その動作を述べる。
【００２５】
撮像素子１は表面に図２に示す配列の補色フィルタを備えており、フィルタの色に応じたマゼンタ、グリーン、イエロー、シアンの補色信号を水平１ラインずつ出力する。
【００２６】
撮像素子１の出力信号はＡ／Ｄ変換部２にてデジタル化され、ラインメモリ３〜７を通り遅延され、輝度信号生成部１４および色変化検出部１５に入力される。
【００２７】
ラインメモリ３〜７はそれぞれ撮像素子の水平１ライン分の信号を遅延して出力するので、色変化検出部１５には同時に６ライン、輝度信号生成部１４には同時に４ライン分の補色信号が入力される。
【００２８】
輝度信号生成部１４では、垂直方向に隣接する補色信号が加算器８〜１０で加算された後、水平方向に隣接する信号がローパスフィルタ部１１〜１３にて加算され、結果として水平２×垂直２画素の補色信号の加算値が輝度信号として同時に３ライン分出力される。
【００２９】
輝度信号生成部１４の出力は従来例で説明した色変化点の偽信号を含んでいる。輝度信号生成部１４の出力は適応ローパスフィルタ部２１に入力される。適応ローパスフィルタ部２１では、輝度信号生成部１４の出力３ラインのうち、上下のラインの信号が加算器１６で加算され、中心のラインの信号が乗算器１８で２倍され、減算器１７にて加算器１６の出力から乗算器１８の出力が減算され、１画素遅延部２４で遅延された後コア処理部２０に入力される。
【００３０】
図４は、コア処理部２０の入力信号において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示したものである。図４のフィルタは垂直方向の輝度エッジを検出するフィルタになっており、水平方向の色の変化点においては偽信号のレベルを検出するフィルタになっている。
【００３１】
図３はコア処理部２０の入出力関係を示す図である。色変化検出部の出力であるthと減算器１７の出力inを比較し、in<-2th,2th<inの場合は0,-2th<in<thの場合は-2th-in,-th<in<thの場合はin,th<in<2thの場合は2th-inを出力する。コア処理部２０の出力は加算器１９において１画素遅延部２３によって遅延された乗算器１８の出力と加算され、輝度信号出力端子２２へ出力される。
【００３２】
図５は適応ローパスフィルタ部２１の出力において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示したものである。図５(a)は２×th<|in|の場合、図５(b)は|in|=1.5×thの場合、図５(c)は|in|<thの場合のタップ係数を示している。|in|に対してthが大きいほど垂直方向に狭帯域のローパスフィルタ処理になっており、色の変化点での偽信号の抑圧効果が大きくなる。図５(c)のフィルタを例えば図７の色の境界部であるm列、m+1列の信号に対して施すと、どの位置でも出力値は３となり、偽信号が完全に抑圧されることがわかる。
【００３３】
従って、色変化検出部１５は色の変化点において|in|<thとなる出力thを生成すればよい。ただし、色の変化点以外で、2×th<|in|とならなければ誤動作することになる。
【００３４】
以下、色変化検出部１５の動作について説明する。
【００３５】
図８は図６のm列とm+1列を境にＭｇ＝Ｍ０、Ｇｒ＝Ｇ０、Ｙｅ＝Ｙ０、Ｃｙ＝Ｃ０からＭｇ＝Ｍ３、Ｇｒ＝Ｇ３、Ｙｅ＝Ｙ３、Ｃｙ＝Ｃ３に変化している場合の撮像素子の各画素の出力値を示した図である。ただし、レンズや撮像素子のアパーチャ、水晶光学ローパスフィルタ等の影響を考慮して、中間色としてm列はＭｇ＝Ｍ１、Ｇｒ＝Ｇ１、Ｙｅ＝Ｙ１、Ｃｙ＝Ｃ１、m+1列はＭｇ＝Ｍ２、Ｇｒ＝Ｇ２、Ｙｅ＝Ｙ２、Ｃｙ＝Ｃ２になっているとしている。
【００３６】
ここで、例えばＭｇに関してはＭ０＜Ｍ１＜Ｍ２＜Ｍ３又はＭ０＞Ｍ１＞Ｍ２＞Ｍ３の関係が成り立つと考えられ、Ｇｒ、Ｙｅ、Ｃｙに関しても同様の関係が成り立つと考えられる。
【００３７】
このときの色の境界線におけるコア処理部の入力inは（数１）のようになる。
【００３８】
【数１】
これは、色の境界線における偽信号がマゼンタ、グリーン信号によって発生していることを示している。
【００４０】
このとき、色変化検出部１５ではthを例えば（数２）のように演算する。
【００４１】
【数２】
ただし、Max(a,b)はaとbの大きい方を選択する関数とする。
【００４３】
Ｍ０＜Ｍ１＜Ｍ２＜Ｍ３又はＭ０＞Ｍ１＞Ｍ２＞Ｍ３であり、Ｇ０＜Ｇ１＜Ｇ２＜Ｇ３又はＧ０＞Ｇ１＞Ｇ２＞Ｇ３であるから常にth>|in|の関係が成り立つので、（数２）の演算によるthを使用することで、色の変化点での偽信号は抑圧される。
【００４４】
しかし、（数２）の演算によるthは、水平方向に輝度の変化があった場合にも色の変化として検出してしまうため、特に斜めに輝度の変化がある被写体において適応ローパスフィルタの誤動作が発生し、斜めの解像度が損なわれる場合が発生する。
【００４５】
この誤動作を補正するためには、例えば（数３）のようにthを演算する。
【００４６】
【数３】
（数３）において、bは補正の程度を調整するための係数でありb>0である。
（数３）において、n-1,n+1,n+3行に対する演算部分は垂直方向のイエロー、シアン信号の垂直方向変動を示している。イエロー、シアン信号は、水平方向の色の変化点において垂直方向には変動しないので、（数３）の演算によって、水平方向の色の変化点での偽信号抑圧に影響を与えることなく、斜め方向の輝度の変化がある部分の誤動作だけを補正することができる。
【００４８】
しかし、（数３）におけるイエロー、シアン信号の垂直方向の変化検出は、比較的低周波数の変化や撮像素子の画素ピッチで決まる垂直ナイキスト周波数に近いような変化は検出しにくいため、そのような周波数の斜めの輝度変化部分での誤動作を補正できない。
【００４９】
この誤動作を補正するには、垂直方向のマゼンタ、グリーン信号の変動パターンを調べて、変動パターンが色の変化点の偽信号のパターンになっていない場合に、色の変化点ではないと判断するとよい。
【００５０】
即ち、例えば（数４）によってマゼンタ、グリーン信号の変動パターンを調べる。
【００５１】
【数４】
色の変化点での偽信号が発生している場合、（数４）の演算結果cはc>0となるので、c<0である場合はth=0としてしまうことで適応ローパスフィルタの誤動作を補正できる。
【００５３】
なお、（数２）、（数３）、（数４）に示した演算は、コア処理部の入力inが（数１）の場合の演算式だが、水平方向に移動した別の座標においても、相対的に同一の座標の信号に対する演算になる。
【００５４】
ただし、垂直方向に移動した別の座標の場合は、１ライン毎にマゼンタ、グリーンの行とイエロー、シアンの行が入れ替わるので、演算式を変える必要がある。
【００５５】
コア処理部の入力in（数１）の１ライン下の（数５）の場合の、（数２）、（数３）、（数４）に対応する演算式は、それぞれ（数６）、（数７）、（数８）のようにすればよい。
【００５６】
【数５】
【数６】
【数７】
【数８】
以上のような構成と動作によって、輝度信号出力端子２２には色の変化点での偽信号が抑圧された輝度信号が得られる。また、斜めの輝度の変化がある場合でも、適応ローパスフィルタ部２１の誤動作による解像度の低下のない信号が得られる。
【００６１】
（実施の形態２）
図９は本発明における第２の実施の形態を示している。図９において、３０は撮像素子、２はＡ／Ｄ変換部、３〜７はラインメモリ、３１は輝度変化検出部、３２は色変化検出部、２２は輝度信号出力端子である。
【００６２】
また、図９において９、１９は加算器、３４は乗算器、１２はローパスフィルタ、２０はコア処理部、３５〜３９は１画素遅延部であり適応ローパスフィルタ部３３を構成する。
【００６３】
以上のように構成された画像信号処理装置について、以下、その動作を述べる。
【００６４】
撮像素子３０は表面に図１０に示す配列の原色フィルタを備えており、フィルタの色に応じたレッド、グリーン、ブルーの原色信号を水平１ラインずつ出力する。
【００６５】
撮像素子３０の出力はＡ／Ｄ変換部２でデジタル化され、ラインメモリ３〜７を通り遅延され、適応ローパスフィルタ部３３、輝度変化検出部３１、色変化検出部３２に入力される。
【００６６】
輝度変化検出部３１では、レッドとブルーの加算値の変化量を検出する。例えば、図１３(a),(b)は輝度変化検出部の出力において、撮像素子３０の出力に対してなされているフィルタ処理のタップ係数を示したものである。図示されている縦４×横４の領域の左上の画素がグリーンの場合は(a)のフィルタが用いられ、レッド又はブルーの場合は(b)のフィルタが用いられる。従って、図１３に示したフィルタは、レッドとブルーの加算値の斜め方向の変化を検出するフィルタになっている。
【００６７】
輝度変化検出部３１の出力はコア処理部２０に入力される。コア処理部では図３に示した処理を施される。コア処理部の出力は、加算器１９へ入力され、１画素遅延部２３の出力と加算される。
【００６８】
図１４は、図９における１画素遅延部３７の出力において、撮像素子３０の出力信号に対してなされているフィルタ処理のタップ係数を示したものである。図１５は、加算器１９の出力において、撮像素子３０の出力信号に対してなされているフィルタ処理のタップ係数を示しており、コア処理部２０の入力信号inとthの関係が変化した場合の適応ローパスフィルタ部３３のフィルタタップ係数の変化を示している。即ち、図１５(a)は２×th<|in|の場合のタップ係数である。図１５(b),(c)は|in|=1.5×thの場合のタップ係数であり、(d),(e)は|in|≦thの場合のタップ係数である。
【００６９】
また、図１５(b),(d)は図示した縦４×横４の領域の左上の画素がグリーンに対応する場合のフィルタ係数であり、(c),(e)は図示した縦４×横４の領域の左上の画素がレッド又はブルーに対応する場合のフィルタ係数である。図１２の信号に対して、図１５の(d),(e)のフィルタ処理を施すと、どの位置でもフィルタ出力値は４になり、偽信号が抑圧された信号が得られることがわかる。
【００７０】
ｔｈは色変化検出部３２の出力であるので、色の変化点で、|in|<thとなるように色変化検出部３２における演算を行えば良い。図１６は色変化検出部３２において、撮像素子３０の出力信号に対して為されるフィルタ処理のタップ係数を示したものである。図示してある縦４×横８画素の左上隅の画素がグリーンの場合は、図１６(a)、(c)のフィルタ処理が為され、それぞれのフィルタ処理結果の絶対値の最大値が色変化検出部３２から出力される。
【００７１】
図示してある縦４×横８画素の左上隅の画素がレッド又はブルーの場合は、図１６(b)、(d)のフィルタ処理が為され、それぞれのフィルタ処理結果の絶対値の最大値が色変化検出部３２から出力される。
【００７２】
例えば、図１１は撮像素子３０が備える色フィルタ配列の一部を示した図であり、図１１に示した座標(m-2,n-2)と(m+3,n+3)を結ぶ対角線を境に被写体の色が変化しているとする。変化点の右上はＲ＝Ｒ０、Ｂ＝Ｂ０、変化点の左下はＲ＝Ｒ１、Ｂ＝Ｂ１であるとする。このとき、色の変化している境界上、例えば座標(m,n),(m,n+1),(m+1,n),(m+1,n+1)を中心とする場合の色変化検出部３２の出力は（数９）のようになる。
【００７３】
【数９】
また、そのときのコア処理部の入力inは（数１０）の様になる。
【００７５】
【数１０】
即ち、|in|≦thの関係が成立しているので、適応ローパスフィルタの出力には偽信号の抑圧された信号を得ることができる。
【００７７】
以上、右上から左下方向に色が変化している場合の色変化点についての動作を説明したが、左上から右下に色が変化している場合においても同様な動作で偽信号の抑圧が為される。
【００７８】
本方式では、レッド、グリーン、ブルーのうちレッド、ブルー成分のみに対してローパスフィルタをかけるので、色の境界以外で誤補正をした場合にもグリーン成分の高周波成分は保持されているので、誤補正による解像感の劣化を最小限に抑えることができる。
【００７９】
更に、本方式では、色変化検出部の出力と輝度変化検出部の出力を比較して適応ローパスフィルタの特性を決めているため、例えば同一の被写体を撮影している場合に光源の明るさが変化して被写体の明るさが変化した場合にも、色変化検出部の出力と輝度変化検出部の出力共に被写体の明るさに比例して変化し、被写体の明るさによらず、同一の適応ローパスフィルタ処理を行うことができる。
【００８０】
以上のような構成と動作によって、輝度信号出力端子２２には色の変化点での偽信号が抑圧された輝度信号が得られる。
【００８１】
また、色の変化の無い部分ではレッド、グリーン、ブルー全てを使用して輝度信号を生成するため斜め方向にも解像度の高い輝度信号が得られる。
【００８２】
なお、実施の形態１及び実施の形態２において、Ａ／Ｄ変換部以後の処理をハードウェアにて実現しているが、マイクロコンピューター等を用いて、Ａ／Ｄ変換部以後の処理の一部または全部をソフトウェアによって実現することも可能である。
【００８３】
【発明の効果】
上述のように、本発明の画像信号処理装置は、色の変化の激しい被写体を撮像した際に色の境界のドット状の偽信号の発生を抑えることができるので、撮像画質が損なわれることがない。また、色の変化の無い部分ではローパスフィルタ処理が為されないので、解像度の劣化を最小限に抑えることができる。
【図面の簡単な説明】
【図１】本発明にかかる画像信号処理装置の第１の実施の形態の構成を示すブロック図
【図２】第１の実施の形態における撮像素子１が備える色フィルタ配列を示す図
【図３】第１の実施の形態におけるコア処理部２０の入出力信号の関係を示す図
【図４】第１の実施の形態におけるコア処理部２０の入力信号において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示した図
【図５】第１の実施の形態におけるコア処理部２０の入力信号inとthが変動した場合に適応ローパスフィルタ部２１の出力信号において、撮像素子１の出力に対して為されているフィルタ処理のタップ係数を示した図
【図６】第１の実施の形態における撮像素子１が備える色フィルタ配列の一部を示す図
【図７】各色フィルタ位置に対応した撮像素子１の出力の例を示す図
【図８】各色フィルタ位置に対応した撮像素子１の出力の例を示す図
【図９】本発明にかかる画像信号処理装置の第２の実施の形態の構成を示すブロック図
【図１０】第２の実施の形態における撮像素子３０が備える色フィルタ配列を示す図
【図１１】第２の実施の形態における撮像素子３０が備える色フィルタ配列の一部を示す図
【図１２】各色フィルタ位置に対応した撮像素子３０の出力の例を示す図
【図１３】第２の実施の形態における輝度変化検出部３１におけるフィルタ処理のタップ係数を示した図
【図１４】第２の実施の形態における１画素遅延部３７の出力において、撮像素子３０の出力に対して為されているフィルタ処理のタップ係数を示した図
【図１５】第２の実施の形態における適応ローパスフィルタ部３１で施されるフィルタ処理のタップ係数を示した図
【図１６】第２の実施の形態における色変化検出部３２で施されるフィルタ処理のタップ係数を示した図
【符号の説明】
１、３０ 撮像素子
２ Ａ／Ｄ変換部
３、４、５、６、７ ラインメモリ
１４ 輝度信号生成部
１５、３２ 色変化検出部
２０ コア処理部
２１、３３ 適応ローパスフィルタ部
２２ 輝度信号出力端子
３１ 輝度変化検出部
Claims (8)
- 縦Ｍ画素×横Ｎ画素の所定の配列の繰り返しを有する色分離フィルタを備えた撮像素子と、
前記撮像素子の出力信号から色の変化点を検出する色変化検出手段と、
前記色変化検出手段の出力に応じて、前記撮像素子の出力信号に適応的にローパスフィルタ処理を施すことにより色の変化点の偽信号が抑圧された輝度信号を生成する適応ローパスフィルタ手段と、
前記適応ローパスフィルタ手段の出力を出力する輝度信号出力端子とを備え、
前記適応ローパスフィルタ手段は、前記撮像素子の出力信号から輝度の変化を検出する輝度変化検出手段を備え、前記輝度変化検出手段の出力と、前記色変化検出手段の出力を比較した結果に応じてローパスフィルタ特性を制御することを特徴とする画像信号処理装置。 - 前記撮像素子は、水平方向の第１ラインにはマゼンタ、グリ−ンの順で色フィルタが交互配列され、第２ラインにはイエロ−、シアンの順で色フィルタが交互配列され、第３ラインにはグリ−ン、マゼンタの順で色フィルタが交互配列され、第４ラインにはイエロ−、シアンの順で色フィルタが交互配列される水平２画素、垂直４画素繰り返しの補色フィルタ配列を備えた撮像素子であることを特徴とする請求項１記載の画像信号処理装置。
- 前記色変化検出手段は、マゼンタ、グリーンの水平方向の変化量を検出する手段を含むことを特徴とする請求項２記載の画像信号処理装置。
- 前記色変化検出手段は、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を検出する手段を含むことを特徴とする請求項２記載の画像信号処理装置。
- 前記色変化検出手段は、マゼンタ、グリーンの垂直方向の変動パターンが所定のパターンである場合には、マゼンタ、グリーンの水平方向の変化量から、イエロー、シアンの垂直方向の変化量を減算した値を出力し、所定のパターンでない場合は零を出力することを特徴とする請求項２記載の画像信号処理装置。
- 前記撮像素子は、水平方向の第１ラインにはレッド、グリーンの順で色フィルタが交互配列され、第２ラインにはグリーン、シアンの順で色フィルタが交互配列される水平２画素、垂直２画素繰り返しの原色フィルタ配列を備えた撮像素子であることを特徴とする請求項１記載の画像信号処理装置。
- 前記色変化検出手段は、斜め方向のレッドの変化量とブルーの変化量の差分値を検出する手段を含むことを特徴とする請求項６記載の画像信号処理装置。
- 前記輝度変化検出手段は、レッドとブルーの加算値の変化量を検出する手段を含むことを特徴とする請求項６記載の画像信号処理装置。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002294490A JP4284960B2 (ja) | 2002-05-08 | 2002-10-08 | 画像信号処理装置 |
| EP03725726.8A EP1503600B1 (en) | 2002-05-08 | 2003-05-02 | Image signal processing for suppressing artefacts in a luminance signal from an image sensor having a pixel array and an overlaid colour filter pattern |
| CNB03809262XA CN1326402C (zh) | 2002-05-08 | 2003-05-02 | 图像信号处理的装置、电路、方法、程序及记录媒体 |
| CA002479662A CA2479662A1 (en) | 2002-05-08 | 2003-05-02 | Image signal processing apparatus, image signal processing circuit, image signal processing method, program and recording medium |
| US10/510,291 US7499086B2 (en) | 2002-05-08 | 2003-05-02 | Image signal processing apparatus, image signal processing circuit, image signal processing method, program, and recording medium |
| KR1020047014531A KR100960176B1 (ko) | 2002-05-08 | 2003-05-02 | 화상 신호 처리 장치, 화상 신호 처리 회로, 화상 신호 처리 방법 및 기록매체 |
| PCT/JP2003/005596 WO2003096702A1 (en) | 2002-05-08 | 2003-05-02 | Image signal processing device, image signal processing circuit, image signal processing method, program, and recording medium |
| TW092112431A TWI242988B (en) | 2002-05-08 | 2003-05-07 | Image signal processing apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002132683 | 2002-05-08 | ||
| JP2002294490A JP4284960B2 (ja) | 2002-05-08 | 2002-10-08 | 画像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004032662A JP2004032662A (ja) | 2004-01-29 |
| JP4284960B2 true JP4284960B2 (ja) | 2009-06-24 |
Family
ID=29422372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002294490A Expired - Lifetime JP4284960B2 (ja) | 2002-05-08 | 2002-10-08 | 画像信号処理装置 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7499086B2 (ja) |
| EP (1) | EP1503600B1 (ja) |
| JP (1) | JP4284960B2 (ja) |
| KR (1) | KR100960176B1 (ja) |
| CN (1) | CN1326402C (ja) |
| CA (1) | CA2479662A1 (ja) |
| TW (1) | TWI242988B (ja) |
| WO (1) | WO2003096702A1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060126978A (ko) | 2003-12-04 | 2006-12-11 | 마크스 가부시기가이샤 | 스테이플 장치 |
| EP1675407A1 (en) * | 2004-12-27 | 2006-06-28 | Robert Bosch Gmbh | Colour separation |
| JP2012049891A (ja) * | 2010-08-27 | 2012-03-08 | Sony Corp | 撮像装置、および信号処理方法、並びにプログラム |
| KR102500291B1 (ko) * | 2016-09-05 | 2023-02-16 | 삼성전자주식회사 | 통신 인터페이스 장치 및 디스플레이 장치 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS54107623A (en) * | 1978-02-13 | 1979-08-23 | Sony Corp | Suppression circuit for luminance signal |
| JPS6159992A (ja) | 1984-08-31 | 1986-03-27 | Hitachi Ltd | 映像信号処理回路 |
| JPH0724423B2 (ja) | 1987-12-29 | 1995-03-15 | 日本ビクター株式会社 | 動き適応型輝度信号色信号分離装置及び動き検出回路 |
| US5457447A (en) * | 1993-03-31 | 1995-10-10 | Motorola, Inc. | Portable power source and RF tag utilizing same |
| JPH0724423A (ja) | 1993-07-05 | 1995-01-27 | Murata Mach Ltd | 空ボビン判別装置 |
| JP3322017B2 (ja) | 1994-08-30 | 2002-09-09 | 松下電器産業株式会社 | 輪郭補正装置 |
| JP3392564B2 (ja) | 1995-02-27 | 2003-03-31 | 三洋電機株式会社 | 単板式カラービデオカメラ |
| JP3185847B2 (ja) | 1995-04-06 | 2001-07-11 | 三協アルミニウム工業株式会社 | 障子の開閉装置 |
| JP3419651B2 (ja) * | 1997-06-12 | 2003-06-23 | 松下電器産業株式会社 | 画像信号処理装置 |
| JP2000197067A (ja) | 1998-12-28 | 2000-07-14 | Fuji Photo Film Co Ltd | 固体撮像装置および画像デ―タ作成方法 |
| JP3540758B2 (ja) | 2000-09-08 | 2004-07-07 | 三洋電機株式会社 | 単板式カラーカメラにおける水平輪郭信号生成回路 |
-
2002
- 2002-10-08 JP JP2002294490A patent/JP4284960B2/ja not_active Expired - Lifetime
-
2003
- 2003-05-02 CA CA002479662A patent/CA2479662A1/en not_active Abandoned
- 2003-05-02 CN CNB03809262XA patent/CN1326402C/zh not_active Expired - Fee Related
- 2003-05-02 US US10/510,291 patent/US7499086B2/en active Active
- 2003-05-02 EP EP03725726.8A patent/EP1503600B1/en not_active Expired - Fee Related
- 2003-05-02 KR KR1020047014531A patent/KR100960176B1/ko not_active IP Right Cessation
- 2003-05-02 WO PCT/JP2003/005596 patent/WO2003096702A1/ja active Application Filing
- 2003-05-07 TW TW092112431A patent/TWI242988B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004032662A (ja) | 2004-01-29 |
| EP1503600A4 (en) | 2006-11-22 |
| WO2003096702A1 (en) | 2003-11-20 |
| WO2003096702B1 (fr) | 2004-02-19 |
| KR100960176B1 (ko) | 2010-05-26 |
| EP1503600B1 (en) | 2015-07-01 |
| CN1326402C (zh) | 2007-07-11 |
| CA2479662A1 (en) | 2003-11-20 |
| CN1650639A (zh) | 2005-08-03 |
| TWI242988B (en) | 2005-11-01 |
| US20050168600A1 (en) | 2005-08-04 |
| US7499086B2 (en) | 2009-03-03 |
| EP1503600A1 (en) | 2005-02-02 |
| KR20040104518A (ko) | 2004-12-10 |
| TW200405729A (en) | 2004-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4066484B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP2816095B2 (ja) | ビデオカメラの信号処理回路 | |
| JPH10341447A (ja) | 画像信号処理装置 | |
| JPH11191892A (ja) | 画像信号処理装置 | |
| JP4040171B2 (ja) | 信号処理装置 | |
| JP4284960B2 (ja) | 画像信号処理装置 | |
| JP4428195B2 (ja) | 撮像装置、補完信号生成方法及びプログラム | |
| JP4320807B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4135197B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP4178571B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP4269367B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP3660504B2 (ja) | カラー固体撮像装置 | |
| JP4269366B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP2001186534A (ja) | 固体撮像装置 | |
| JP4269369B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4269368B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP3115123B2 (ja) | 画像信号処理装置 | |
| JPH11220749A (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP3322017B2 (ja) | 輪郭補正装置 | |
| JP4269370B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4273546B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4193281B2 (ja) | 画像信号処理装置及びカメラ装置 | |
| JP2000102024A (ja) | 画像信号処理装置 | |
| JP3515585B2 (ja) | ２板式撮像装置 | |
| JP3406674B2 (ja) | ２板式撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051005 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090303 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090316 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4284960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140403 Year of fee payment: 5 |