JP3962518B2

JP3962518B2 - 画像信号処理装置

Info

Publication number: JP3962518B2
Application number: JP35500099A
Authority: JP
Inventors: 昭雄藤井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-12-14
Filing date: 1999-12-14
Publication date: 2007-08-22
Anticipated expiration: 2019-12-14
Also published as: JP2001169306A

Description

【０００１】
【発明の属する技術分野】
本発明は画像信号処理装置に関し、特に、動画／静止画の両方を撮影可能なカメラ一体型の記録再生装置に用いて好適なものである。
【０００２】
【従来の技術】
近年、ディジタルビデオカメラ等においては、静止画／動画撮影モードを備え、動画を撮影できるだけでなく、静止画も撮影して記録再生できるものが実用化されている。
【０００３】
こうしたビデオカメラシステムでは、動画撮影モード時は通常のビデオ撮影を行い、静止画撮影モード時はカメラ側で解像度を上げるために、例えばシャッターを切って１フレーム分の画像を取り込み、記録するというような処理が行なわれる。
【０００４】
上記のようなビデオカメラシステムでは、撮像素子として一般にＣＣＤが使われている。そして、民生用としては一つのＣＣＤで撮像する単板式が広く用いられているが、一つのＣＣＤでカラー撮影を行なうために、ＣＣＤの受光面に色フィルタをアレイ状に配置して撮像する方式が一般的に採用されている。
【０００５】
たとえば、補色フィルタの例でこの方式について、図９及び図１０を用いて説明する。補色フィルタでは、ＣＣＤのフィルタ配列は図１０に示すようにｎ、ｎ＋２、ｎ＋４、…、ｎ＋２ｋ（ｋは整数）ラインではシアン（Ｃｙ）、イエロー（Ｙｅ）のフィルタが交互に配列されている。
【０００６】
また、ｎ＋１、ｎ＋５、…、ｎ＋４（ｋ＋１）（ｋは整数）ラインではマゼンタ（Ｍｇ）、グリーン（Ｇ）のフィルタが交互に配置されている。さらに、ｎ＋３、ｎ＋４（ｋ＋３）ラインではｎ＋４（ｋ＋１）ラインとは逆位相でグリーン（Ｇ）、マゼンタ（Ｍｇ）のフィルタが交互に配置されている。
【０００７】
この配列の色フィルタを用いて撮像して、図１０に示す第１フィールドｍ、ｍ＋１、ｍ＋２、…ライン、第２フィールド１、ｌ＋１、ｌ＋２、…ラインの１フレームの画像データを得るものとすると、第１フィールドの第ｍラインではＣｙ＋Ｍｇ、Ｙｅ＋Ｇ、Ｃｙ＋Ｍｇ、Ｙｅ＋Ｇ、…の順にＣＣＤのｎ、ｎ＋１ラインの上下画素が加算されて読み出され、第１フィールドの第ｍ＋１ラインではＣｙ＋Ｇ、Ｙｅ＋Ｍｇ、Ｃｙ＋Ｇ、Ｙｅ＋Ｍｇ、…の順にＣＣＤのｎ＋２、ｎ＋３ラインの上下画素が加算されて読み出される。
【０００８】
同様に、第ｍ＋２ラインでは、Ｃｙ＋Ｍｇ、Ｙｅ＋Ｇ、…の順にＣＣＤのｎ＋４、ｎ＋５ラインの上下画素が加算して読み出され、第ｍ＋３ラインでは、Ｃｙ＋Ｇ、Ｙｅ＋Ｍｇ、…の順にＣＣＤのｎ＋６、ｎ＋７ラインの上下画素が加算されて読み出されて行く。
【０００９】
次に、第２フィールドの第ｌラインでは、Ｍｇ＋Ｃｙ、Ｇ＋Ｙｅ、Ｍｇ＋Ｃｙ、Ｇ＋Ｙｅ、…の順にＣＣＤのｎ＋１、ｎ＋２ラインの上下画素が加算されて読み出され、第２フィールドの第ｌ＋１ラインでは、Ｇ＋Ｃｙ、Ｍｇ＋Ｙｅ、Ｇ＋Ｃｙ、Ｍｇ＋Ｙｅ、…の順にＣＣＤのｎ＋３、ｎ＋４ラインの上下画素が加算されて読み出される。
【００１０】
同様に、第ｌ＋２ラインではＭｇ＋Ｃｙ、Ｇ＋Ｙｅ、…の順にＣＣＤのｎ＋５、ｎ＋６ラインの上下画素が加算されて読み出され、第ｌ＋３ラインではＧ＋Ｃｙ、Ｍｇ＋Ｙｅ、…の順にＣＣＤのｎ＋７、ｎ＋８ラインの上下画素が加算されて読み出されて行く。
【００１１】
次に、上記のようにＣＣＤから読み出された画素の処理について図１２を参照して説明する。光の色の混合においては加色法が成り立つので、三原色のＲ、Ｇ、Ｂ信号と補色関係にあるＹｅ、Ｍｇ、Ｃｙの間には、
Ｙｅ＝Ｒ＋Ｇ
Ｍｇ＝Ｒ＋Ｂ
Ｃｙ＝Ｇ＋Ｂ
の関係が成り立つ。
【００１２】
ＣＣＤから読み出された画素は入力端子６００から入力され、色分離回路６０１、輝度信号分離回路６０６に入力される。色分離回路６０１では、第１フィールド第ｍラインの画素Ｃｙ＋Ｍｇ、Ｙｅ＋Ｇ、…が入力され、
Ｄ０＝（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）＝２Ｒ＋３Ｇ＋２Ｂ
Ｄ２＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）＝２Ｂ−Ｇ
を計算して出力する。
【００１３】
また、第１フィールド第ｍ＋１ラインの画素の画素Ｃｙ＋Ｇ、Ｙｅ＋Ｍｇ、…が入力された時は、
Ｄ０＝（Ｃｙ＋Ｇ）＋（Ｙｅ＋Ｍｇ）＝２Ｒ＋３Ｇ＋２Ｂ
Ｄ１＝（Ｃｙ＋Ｇ）−（Ｙｅ＋Ｍｇ）＝−（２Ｒ−Ｇ）
を計算して出力する。
【００１４】
第１フィールド第ｍ＋２ラインの画素が入力された時は、
Ｄ０＝（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）＝２Ｒ＋３Ｇ＋２Ｂ
Ｄ２＝（Ｃｙ＋Ｍｇ）−（Ｙｅ＋Ｇ）＝２Ｂ−Ｇ
を計算して出力する。
【００１５】
第１フィールド第ｍ＋３ラインの画素が入力された時は、
Ｄ０＝（Ｃｙ＋Ｇ）＋（Ｙｅ＋Ｍｇ）＝２Ｒ＋３Ｇ＋２Ｂ
Ｄ１＝（Ｃｙ＋Ｇ）−（Ｙｅ＋Ｍｇ）＝−（２Ｒ−Ｇ）
を計算して出力する。
【００１６】
上記で述べたように、Ｄ０データは輝度信号に近い成分として毎ライン得られるが色信号成分Ｄ１、Ｄ２データは１ラインおきにしか得られない。このため、色分離回路６０１は、例えば第ｍラインについてのＤ１データはその上下のラインｍ−１、ｍ＋１ラインから補間して出力するようにしている。
【００１７】
同様に、第ｍ＋１ラインのＤ２データはその上下ラインｍ、ｍ＋２ラインから補間して出力する。以下同様にして、第ｍ＋２、ｍ＋３、…ラインのＤ０、Ｄ１、Ｄ２データを出力するようにしている。
【００１８】
輝度信号分離回路６０６は、入力端子６００から入力されるＣＣＤの画素値から輝度信号成分、
（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）＝２Ｒ＋３Ｇ＋２Ｂ
を計算してＨ／Ｖ輪郭強調回路６０７に出力する。
【００１９】
同様にして、第２フィールドの第ｌ、ｌ＋１、ｌ＋２、ｌ＋３、…ラインのＣＣＤの画素値が色分離回路６０１に入力された時はそれぞれ、
Ｄ０＝（Ｍｇ＋Ｃｙ）＋（Ｇ＋Ｙｅ）＝２Ｒ＋３Ｇ＋２Ｂ
Ｄ２＝（Ｍｇ＋Ｃｙ）−（Ｇ＋Ｙｅ）＝２Ｂ−Ｇ、
Ｄ０＝（Ｇ＋Ｃｙ）＋（Ｍｇ＋Ｙｅ）＝２Ｒ＋３Ｇ＋２Ｂ
Ｄ１＝（Ｇ＋Ｃｙ）−（Ｍｇ＋Ｙｅ）＝−（２Ｒ−Ｇ）
…
を計算し、第１フィールドと同様に１ライン毎に交互に色信号成分Ｄ２データ、Ｄ１データが得られるので、Ｄ２データが得られるラインではその上下のラインからＤ１データを補間する。また、Ｄ１データが得られるラインでは、その上下のラインからＤ２データを補間して出力する。
【００２０】
輝度信号分離回路６０６は、第１フィールドと同様に入力端子６００から入力されるＣＣＤの画素値から輝度信号成分、
（Ｃｙ＋Ｍｇ）＋（Ｙｅ＋Ｇ）＝２Ｒ＋３Ｇ＋２Ｂ
を計算して出力する。
【００２１】
色分離回路６０１からのデータＤ０、Ｄ１、Ｄ２を供給されたマトリクス回路６０２は、
【００２２】
【数１】

【００２３】
のマトリクス演算を施してＲ、Ｇ、Ｂデータを作り、ＷＢ回路６０３に供給する。
【００２４】
ＷＢ回路６０３は、マトリクス回路６０２から供給されたＲ、Ｇ、Ｂデータに対して画像のホワイトバランス補正を行う。主には画面の白いと思われる箇所のＲ、Ｇ、Ｂデータの値が同じ値になるような係数をそれぞれ算出してその係数を画面全体のＲ、Ｇ、Ｂデータに各々乗じてホワイトバランスをとる。
【００２５】
ＷＢ回路６０３でホワイトバランスをとられたＲ、Ｇ、Ｂデータはγ回路６０４に送出され、Ｒ、Ｇ、Ｂデータ各々にγ補正が施される。
【００２６】
また、γ回路６０４でγ補正されたＲ、Ｇ、Ｂデータはマトリクス回路６０５に送出され、マトリクス回路６０５では下記のマトリクス演算が行われて、
【００２７】
【数２】

【００２８】
が計算され、色データＣｂ、Ｃｒとして出力される。
【００２９】
一方、輝度信号分離回路６０６から出力された輝度信号データは、Ｈ／Ｖ輪郭強調回路６０７に供給される。Ｈ／Ｖ輪郭強調回路６０７では、水平／垂直方向の輪郭を強調処理してγ回路６０８に送出する。γ回路６０８では輝度信号データにγ補正を施して輝度信号データＹとして出力する。
【００３０】
出力端子６０９、６１０からは色データＣｂ、Ｃｒが出力され、出力端子６１１からは輝度信号データＹが出力される。これらの信号は、不図示の記録系に供給されてテープなどの記録媒体に記録されたり、モニタなどに表示される。
【００３１】
【発明が解決しようとする課題】
しかしながら、上記従来例では、撮像した画面の中に輝度差のある部分が存在すると、本来は色がついてない箇所の画素であるにもかかわらず、色がついてしまい、偽色となってしまうという問題があった。
【００３２】
例えば、図９において、撮像した画面のｎ＋２、ｎ＋３ライン、ｎ＋４、ｎ＋５ラインで垂直方向にエッジがあり、輝度が段階的に大きく変化しているとすると、それによって得られるｍ＋１ラインのＤ１データ、ｍ＋２ラインのＤ２データの値は他のラインに比べて大きく異なり、これが偽色となって画質の劣化を招くという問題があった。
【００３３】
本発明は上述の問題点にかんがみ、偽色を抑圧した良好な画像を比較的簡単な構成の画像信号処理装置で得ることができるようにすることを目的とする。
【００３４】
【課題を解決するための手段】
本発明の画像信号処理装置は、撮像素子上に色フィルタをアレイ状に配列してカラー画像を得るようにする画像信号処理装置であって、撮像素子による撮像データから偽色の発生する箇所を検出する偽色発生箇所検出手段と、上記偽色発生箇所検出手段の出力結果から、偽色の発生箇所であると判断した場合には上記発生箇所に対応する画素の複数の色データのうちのひとつの色データの値に他の色データの値を合わせることで、撮像データの処理により発生する偽色を抑圧する偽色抑圧手段を設け、上記偽色抑圧手段は、偽色の抑圧を行なう場合は注目画素のＲＧＢデータにおけるＧデータの値に対してＲとＢデータの値を合わせ、注目画素の周辺画素についてはＲ、Ｂデータ各々の値とＧデータの値との差分をとり、その差分値に注目画素からの距離をパラメータとする重み付けを行なってＧデータの値に加算してＲ、Ｂデータの各々の値を得ることを特徴としている。
【００３７】
【発明の実施の形態】
以下、本件発明の第１の実施形態について、図面を参照して説明する。
図１は、本発明の第１の実施形態を表す図である。図１において、１００はＣＣＤからの撮像されたデータの入力端子、１０１はＣＣＤデータから色データを分離する色分離回路、１０２は色分離回路１０１で分離されたデータにマトリクス演算をしてＲ、Ｇ、Ｂ信号をつくるマトリクス回路である。
【００３８】
１０３はマトリクス回路１０２の出力を受けて、画面のホワイトバランスをとるＷＢ回路、１０４は偽色検出回路１０７の検出結果をもとに偽色の抑圧を行なう偽色抑圧回路、１０５は偽色抑圧回路１０４で偽色抑圧したデータにγ補正を施すγ補正回路である。
【００３９】
１０６はγ補正回路１０５でγ補正されたＲ、Ｇ、Ｂ信号にマトリクス演算をして色データＣｂ、Ｃｒをつくるマトリクス回路、１０７は輝度信号分離回路１１０からの出力された輝度データから偽色の検出を行なう偽色検出回路、１０８は切り替え回路１１７からの制御信号により、偽色検出回路１０７の検出特性を切り替える検出特性制御回路、１０９は同じく切り替え回路１１７からの制御信号により、偽色抑圧回路１０４の抑圧する特性を切り替える抑圧特性制御回路である。
【００４０】
１１０は入力端子１００から入力されたＣＣＤの撮像データから輝度信号を分離する輝度信号分離回路、１１１は輝度信号分離回路１１０で分離された輝度データに水平／垂直の輪郭強調を行なうＨ／Ｖ輪郭強調回路、１１２はＨ／Ｖ輪郭強調回路１１１の出力を受けてγ補正を施すγ補正回路、１１３、１１４はマトリクス回路１０６からの色データＣｂ、Ｃｒの出力端子である。
【００４１】
１１５はγ補正回路１１２からの輝度データの出力端子、１１６は動画／静止画のモードの切り替え信号の入力端子、１１７は入力端子１１６からの切り替え信号を受けて動画／静止画の偽色の抑圧の特性を制御する切り替え回路である。
【００４２】
ここで色分離回路１０１、マトリクス回路１０２、ＷＢ回路１０３、γ補正回路１０５、マトリクス回路１０６、輝度信号分離回路１１０、Ｈ／Ｖ輪郭強調回路１１１、γ補正回路１１２については従来例で説明した色分離回路６０１〜γ補正回路６０８と同様な働きをするので、詳細な説明は省略する。以下、本発明に関わる箇所のみについて説明する。
【００４３】
輝度信号分離回路１１０でＣＣＤ撮像データから分離された輝度データは偽色検出回路１０７に入力される。偽色検出回路１０７は輝度信号分離回路１１０で分離された輝度信号から偽色が出現しそうな箇所を検出する。
【００４４】
図２は、偽色検出回路１０７の構成の一例である。図２において、２００は輝度信号分離回路１１０で分離された輝度データが入力される入力端子、２０１は輝度データを記憶するメモリ、２０２はメモリから読み出された輝度データから偽色の出現箇所を検出する検出回路である。
【００４５】
２０３は検出結果を出力する出力端子、２０４は図１の切り替え回路１１７からの制御信号の入力端子、２０５はメモリ２０１の書き込み、読み出し制御をするメモリ制御回路、２０６は偽色検出の特性を制御する検出特性制御回路１０８からの制御信号の入力端子である。
【００４６】
輝度信号分離回路１１０から入力された輝度データは、メモリ制御回路２０５の書き込み制御を受け、メモリ２０１に書き込まれる。ここで、システムは動画撮影モードであったとすると、図１の入力端子１１６から動画モードである指示情報が切り替え回路１１７に送られる。
【００４７】
切り替え回路１１７はその指示情報から偽色抑圧回路１０４、偽色検出回路１０７、検出特性制御回路１０８、抑圧特性制御回路１０９に動画モードの指示を行なう。
【００４８】
切り替え回路１１７からの指示情報は、図２の入力端子２０４からメモリ制御回路２０５に入力される。メモリ制御回路２０５は、動画モードであった時はメモリ２０１に書き込まれる順番と同じく第１フィールド…ｍライン、ｍ＋１ライン、ｍ＋２ライン、…第２フィールド…ｌライン、ｌ＋１ライン、ｌ＋２ライン、…の順でメモリ２０１に記憶された輝度データを読み出す。メモリ２０１から読み出された輝度データは検出回路２０２に入力される。
【００４９】
図３に、検出回路２０２の構成例を示す。ｇ１１、ｇ１２、…、ｇｉｊは１データ遅延素子である。また、ｃ１１、ｃ１２、…、ｃｉｊは係数器、ｆ１１、ｆ１２、…、ｆｉｊは加算器、ｅ１、…、ｅｉ−１は１Ｈ遅延回路、２３２は加算器、２３３はリミッタと丸め処理を行なう丸め回路、２３４は検出結果を出力する出力端子である。
【００５０】
ここで、検出特性制御回路１０８が動画モードであった時は、例えばシステムが垂直方向Ｖａ／ＴＶ本の解像度のシステムであったとすると、Ｖａ／２ＴＶ本の帯域を通すバンドパスの特性となるように検出回路２０２に入力端子２０６を介して係数器ｃ１１、ｃ１２、…、ｃｉｊの係数を設定する。
【００５１】
メモリ２０１から読み出された輝度データは、図３の検出回路２０２の入力端子２３０から順に入力される。よって、検出回路２０２はｉ×ｊの画素に各係数器の係数を乗算し、その結果を加算器２３２で加算し、加算結果を丸め回路２３３でリミッタと丸め演算をして検出結果として出力端子２３４から出力する。この例では、フィールド内の垂直方向のエッジ部分を検出する。出力端子２３４から出力された検出結果は図１の偽色抑圧回路１０４に入力される。
【００５２】
図４に、色抑圧回路４の構成例を示す。図４において、３００、３０１、３０２はそれぞれＷＢ回路１０３からのＲ、Ｇ、Ｂデータの入力端子、３０３は切り替え回路１１７からの指示情報の入力端子、３０４は偽色検出回路１０７からの検出結果の入力端子、３０５は抑圧特性制御回路１０９からの制御情報の入力端子、３０６はメモリ、３０７は抑圧回路、３０８はメモリ、３０９はメモリ制御回路、３１０、３１１、３１２はそれぞれ抑圧されたＲ、Ｇ、Ｂデータの出力端子である。
【００５３】
ＷＢ回路１０３からのＲ、Ｇ、Ｂデータが入力端子３００、３０１、３０２に入力され、メモリ制御回路３０９の書き込み制御のもとにメモリ３０６に書き込まれる。
【００５４】
この際、システムが動画モードであった時は、図１の切り替え回路１１７から入力端子３０３に動画モードの指示情報が入力され、メモリ制御回路３０９に供給される。
【００５５】
さらに、切り替え回路１１７からの動画モードの指示情報は、図１の抑圧特性制御回路１０９にも供給される。抑圧特性制御回路１０９は、以下に説明する動画撮影時の抑圧特性となるように、図４の抑圧回路３０７を制御する。
【００５６】
メモリ制御回路３０９は、偽色検出回路１０７から出力される検出値に対応する画面のＲ、Ｇ、Ｂデータをメモリ３０６から読み出し、抑圧回路３０７に供給する。したがって、上記で説明したように動画モードの時は、メモリ３０６に書き込まれる順番と同じく第１フィールド…ｍライン、ｍ＋１ライン、ｍ＋２ライン、…第２フィールド…ｌライン、ｌ＋１ライン、ｌ＋２ライン、…の順でメモリ３０６に記憶されたＲ、Ｇ、Ｂデータを読み出すようにメモリ制御回路３０９はメモリ３０６を読み出し制御する。
【００５７】
抑圧回路３０７では、偽色検出回路１０７からの検出結果に応じてＲ、Ｇ、Ｂデータでの偽色の抑圧を行なう。例えば、偽色検出回路１０７からの検出結果の値が図５に示すようになったとする。ここで、縦軸が偽色検出回路１０７からの出力値、横軸は各画素の処理順、すなわち時間を表わす。
【００５８】
図５のグラフにおいて、斜線で示す所定値ｔｈから上の領域と、所定値−ｔｈから下の領域に検出値がはいった時に、偽色が出る箇所としてＲ、Ｇ、Ｂデータの抑圧を行なう。
【００５９】
したがって、抑圧回路３０７は偽色検出回路１０７からの検出結果ｒが、｜ｒ｜＜ｔｈであれば何も処理をせずにＲ、Ｇ、Ｂデータをそのままメモリ３０８に出力する。
【００６０】
抑圧回路３０７では、偽色検出回路１０７からの検出結果ｒが、｜ｒ｜≧ｔｈであった時は、図６に示すように、注目している画素の上下（周囲）の数画素も含めて抑圧の処理を行なう。
【００６１】
ここで、図６は、０が偽色検出回路１０７で検出された注目画素、±１、±２、±３、…がその周辺画素である。その抑圧の仕方を図７、図８を用いて説明する。
【００６２】
図７は、注目画素とその周辺画素の抑圧量と検出値との関係を示す図で、横軸ｘは抑圧量を、縦軸ｙは注目画素、±１ｐ、±２ｐ、±３ｐ、…は図６で示した周辺画素±１、±２、±３、…を示すものである。
【００６３】
いま、偽色検出回路１０７からの検出結果｜ｒ｜−ｔｈが図７の０の横軸上でｑ０まできたとする。ここで、ｑ０の点で曲線Ｑｎを引き、±１ｐ、±２ｐ、±３ｐ、…からの直線と交わる点のx軸の値がそれぞれｑ１、ｑ２、ｑ３、…になるとすると、それぞれの画素の抑圧量はｑ０、ｑ１、ｑ２、ｑ３、…になる。（ここでｑｙ（ｑｙ≧１）（ｙ＝０、±１、±２、…）である）。
【００６４】
次に、抑圧する画素ｙ（ｙ＝０、±１、±２、…）のＧデータの値Ｇｙが図８に示すように、Ｇｙという値であったとし、ＲまたはＢデータの値がそれぞれＲｙ、Ｂｙであったとする。
【００６５】
その時の抑圧量がｑｙ（但し、ｑｙ≧１）（ｙ＝０、±１、±２、…）であったとすると、Ｒ、Ｇ、Ｂデータのそれぞれの抑圧後の値Ｇ′ｙ、Ｒ′ｙ、Ｂ′ｙは以下のようになる。
Ｒ′ｙ＝Ｇｙ＋（Ｒｙ−Ｇｙ）／ｑｙ
Ｂ′ｙ＝Ｇｙ＋（Ｂｙ−Ｇｙ）／ｑｙ
Ｇの値Ｇ′ｙは同じくＧｙである。
Ｇ′ｙ＝Ｇｙ
というように、抑圧回路３０７は偽色検出回路１０７の検出値に従ってＲ、Ｇ、Ｂデータそれぞれの抑圧を行ない、メモリ３０８に出力する。
【００６６】
ここで、曲線Ｑｎ（ｑｙ（ｙ＝０、±１、±２、…））は、例えば図７の注目画素０からの周辺画素の距離の最小単位をｐとして、
ｑｙ＝ｑ０／｜ｐ×ｙ｜（ｙ＝±１、±２、…）
のように決める。さらに、ｙはある制限値ｈ０を越えない（ｙ＜ｈ０）ものとする。また、演算、ハードウェアの簡単化のためにｑｙ（ｙ＝０、±１、±２、…）は２、４、８、…のように離散化してもよい。
【００６７】
メモリ３０８は、メモリ制御回路３０９の制御を受け抑圧回路３０７から出力されるＲ、Ｇ、Ｂデータを記憶し、読み出しは第１フィールドｍ、ｍ＋１、ｍ＋２、…第２フィールドｌ、ｌ＋１、ｌ＋２、…の順にＲ、Ｇ、Ｂデータを読み出して、出力端子３１０、３１１、３１２に出力し、図１のγ補正回路１０５に出力する。
【００６８】
γ補正回路１０５はＲ、Ｇ、Ｂデータにγ補正を施してマトリクス回路１０６に出力し、マトリクス回路１０６でγ補正されたＲ、Ｇ、Ｂデータにマトリクス演算を施して偽色の少ない色差信号Ｃｂ、Ｃｒを得、出力端子１１３、１１４に出力する。
【００６９】
次に、撮影モードが静止画モードであった場合について説明する。図１の入力端子１１６から切り替え回路１１７に静止画モードが設定され、切り替え回路１１７は静止画モードの指示情報を偽色抑圧回路１０４、偽色検出回路１０７、検出特性制御回路１０８、抑圧特性制御回路１０９に送り、静止画モードの設定を行なう。
【００７０】
検出特性制御回路１０８は、切り替え回路１１７から静止画モードの指示情報をもらうと、ＶａＴＶ本の帯域を通し、動画モード時よりは広い帯域幅のバンドパスの特性となるように、図２の検出回路２０２に入力端子２０６を介して係数器ｃ１１、ｃ１２、…、ｃｉｊの係数を設定する。
【００７１】
偽色検出回路１０７では、図２のメモリ制御回路２０５がメモリ２０１に第１フィールド…ｍライン、ｍ＋１ライン、ｍ＋２ライン、…第２フィールド…ｌライン、ｌ＋１ライン、ｌ＋２ライン、…の順で記憶された輝度データを、第１フィールド…ｍライン、第２フィールドｌライン、ｍ＋１ライン、ｌ＋１ライン、ｍ＋２ライン、ｌ＋２ライン、…の順に読み出して検出回路２０２に供給する。
【００７２】
メモリ２０１から読み出された輝度データは、入力端子２３０から順に検出回路２０２に入力される。よって、この場合にはフレーム内の垂直方向のエッジ部分を検出する。出力端子２３４から出力された検出結果は、図１の偽色抑圧回路１０４に入力される。
【００７３】
図４に示すように、偽色抑圧回路１０４のメモリ制御回路３０９は、切り替え回路１１７から入力端子３０３を介して静止画モードの指示情報をもらうと、書き込み制御は動画モード時と同じであるが、読み出し時、偽色検出回路１０７の検出結果に対応する画素のＲ、Ｇ、Ｂデータを、偽色検出回路１０７のメモリ制御回路２０５と同様に、メモリ３０６から第１フィールド…ｍライン、第２フィールドｌライン、ｍ＋１ライン、ｌ＋１ライン、ｍ＋２ライン、ｌ＋２ライン、…の順に読み出して抑圧回路３０７に送出する。
【００７４】
図１の抑圧特性制御回路１０９は、切り替え回路１１７から静止画モードの指示情報をもらうと、以下に説明する静止画撮影時の抑圧特性で偽色の抑圧を行なうように偽色抑圧回路１０４を制御する。
【００７５】
図４の抑圧回路３０７では、図５に示すように偽色検出回路１０７の出力結果ｒが斜線部分でない場合（｜ｒ｜＜ｔｈ）には抑圧処理は行なわず、入力されたＲ、Ｇ、Ｂデータをそのままメモリ３０８に送る。
【００７６】
斜線部分（｜ｒ｜≧ｔｈにある場合は抑圧処理を行なうが、その抑圧の仕方はＧデータの値がＧ_v0であったとするとＲ、Ｂデータのそれぞれの抑圧後の値Ｒ_v′₀、Ｂ_v′₀は
Ｒ_v′₀＝Ｇ_v0
Ｂ_v′₀＝Ｇ_v0
とし、Ｇデータの値に合わせるようにする。
【００７７】
周辺画素についても同様に、Ｇデータの値に合わせるようにする。ただし、抑圧の影響する周辺画素は上下ｈ１画素までとする。つまり、周辺画素−ｈ１、…、−２、−１、＋１、＋２、…、＋ｈ１に対し、それぞれのＧデータの値がＧｖ_-h1、…、Ｇ_v-2、Ｇ_v-1、Ｇ_v+1、Ｇ_v+2、…、Ｇ_v+h1であったとすると、Ｒ、Ｂデータのそれぞれの抑圧後の値Ｒｖ′_-h1、…、Ｒｖ′_-2、Ｒｖ′_-1、Ｒｖ′₊₁、…、Ｒｖ′₊₂、Ｒｖ′_+h1、Ｂｖ′_-h1…、Ｂｖ′_-2、Ｂｖ′_-1、Ｂｖ′₊₁、Ｂｖ′₊₂、…Ｂｖ′_+h1は、
Ｒｖ′±₁＝Ｇｖ±₁
Ｂｖ′±₁＝Ｇｖ±₁
Ｒｖ′±₂＝Ｇｖ±₂
Ｂｖ′±₂＝Ｇｖ±₂
…
Ｒｖ′±_h1＝Ｇｖ±_h1
Ｂｖ′±_h1＝Ｇｖ±_h1
となる。
【００７８】
抑圧回路３０７で抑圧処理されたＲ、Ｇ、Ｂデータはメモリ３０８に送出され、メモリ制御回路３０９の書き込み制御により、第１フィールド…ｍライン、第２フィールドｌライン、ｍ＋１ライン、ｌ＋１ライン、ｍ＋２ライン、ｌ＋２ライン、…の順にメモリ３０８に書き込まれる。
【００７９】
メモリ３０８に書き込まれたＲ、Ｇ、Ｂデータはメモリ制御回路３０９の読み出し制御を受け、第１フィールドｍ、ｍ＋１、ｍ＋２、…第２フィールドｌ、ｌ＋１、ｌ＋２、…の順にＲ、Ｇ、Ｂデータを読み出して出力端子３１０、３１１、３１２に出力し、図１のγ補正回路１０５に出力する。
【００８０】
あとは、動画時と同様の処理を行って偽色の少ない色差信号Ｃｂ、Ｃｒを得ることができる。ここで、周辺画素±１、±２、…±ｈ１の抑圧に関しては次のようにしても同様の効果が得られる。
【００８１】
それぞれのＲ、Ｇ、Ｂデータの値が、
Ｒｖ_-h1、…、Ｒｖ_-2、Ｒｖ_-1、Ｒｖ₊₁、Ｒｖ₊₂、…、Ｒｖ_+h1、
Ｇｖ_-h1、…、Ｇｖ_-2、Ｇｖ_-1、Ｇｖ₊₁、Ｇｖ₊₂、…、Ｇｖ_+h1、
Ｂｖ_-h1、…、Ｂｖ_-2、Ｂｖ_-1、Ｂｖ₊₁、Ｂｖ₊₂、…、Ｂｖ_+h1、
であり、Ｒ、Ｂデータのそれぞれの抑圧後の値をＲｖ′ｙ、Ｂｖ′ｙ（ｙ＝±１、±２、…、±ｈ１）とすると、
Ｒｖ′±₁＝Ｇｖ±₁＋（Ｒｖ±₁−Ｇｖ±₁）／２^h1
Ｂｖ′±₁＝Ｇｖ±₁＋（Ｂｖ±₁−Ｇｖ±₁）／２^h1
Ｒｖ′±₂＝Ｇｖ±₂＋（Ｒｖ±₂−Ｇｖ±₂）／２^(h1-1)
Ｂｖ′±₂＝Ｇｖ±₂＋（Ｂｖ±₂−Ｇｖ±₂）／２^(h1-1)
…
Ｒｖ′±_h1＝Ｇｖ±_h1＋（Ｒｖ±_h1−Ｇｖ±_h1）／２
Ｂｖ′±_h1＝Ｇｖ±_h1＋（Ｂｖ±_h1−Ｇｖ±_h1）／２
となるように、注目画素からの距離が離れるに従って重み付けして抑圧する。
【００８２】
上記で説明したように、本実施形態の画像信号処理装置は、動画撮影／静止画撮影を行なうことが可能なシステムにおいて、偽色の検出手段と、上記偽色の検出手段からの出力に応じて検出画素の色データの抑圧量と、周辺画素への抑圧量を制御して抑圧する手段と、上記偽色の検出手段と偽色の抑圧手段の特性を切り替える手段とを設け、上記検出手段は撮像素子の撮像データから分離したγ補正前の輝度信号からエッジを検出するものとした。そして、上記抑圧手段は撮像素子の撮像データから色分離し、マトリクス変換してＲＧＢデータに変換し、ＷＢをとった後のＲＧＢデータに対して色抑圧を行なうものとし、動画撮影時と静止画撮影時で上記検出手段と抑圧手段の特性を切り替えるようにして、動画時は上記検出手段はフィールド内の検出、静止画時はフレーム内の検出を行ない、静止画時はエッジを検出するフィルタの特性を動画時よりも広い帯域の特性とし、上記抑圧手段は上記検出手段の出力結果により、抑圧すると判断した場合、動画時は注目画素及びその周辺画素のＲ、Ｂデータに対し、Ｇデータの値との差分をとり、その差分を上記検出手段の出力結果に応じて重み付けしてＧデータの値に加算してＲ、Ｂデータの値とし、静止画時は注目画素及びその周辺画素のＲ、ＢデータをＧデータの値に合わせるようにして偽色を抑圧するようにしたことで、動画時は偽色が少なくかつ偽色抑圧による破綻も少ない、ちらつきのない画像が得られる。また、静止画時はより偽色を抑圧した良好な画像を得ることができる。
【００８３】
また、偽色の抑圧を画素の色データのレベルを下げるのではなく、Ｒ、Ｇ、ＢデータのＧデータの値を基準にして行なうようにしたことで、色データの処理後に色データの低域情報を輝度データに利用することも可能であり、その場合には色再現性の良い画像を得ることができる。
【００８４】
（第２の実施形態）
図１１は、本発明の画像信号処理装置の第２の実施形態を示すブロック図である。図１１に示したように、本実施形態の画像信号処理装置は、図１で示した第１の実施形態の画像信号処理装置から検出特性制御回路１０８、抑圧特性制御回路１０９、切り替え回路１１７を省略した構成としている。
【００８５】
本実施形態の画像信号処理装置は、上述のように構成したので、動画と静止画とで処理特性を切り替えることはできないが、第１の実施形態の画像信号処理装置と比較して簡単な構成で、偽色の発生を可及的に減少させた良好な画像を得ることができる。
【００８６】
（本発明の他の実施の形態）
本発明は複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても−つの機器からなる装置に適用しても良い。
【００８７】
また、上述した実施の形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００８８】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８９】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態で説明機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等が共同して上述の実施の形態で示した機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることは言うまでもない。
【００９０】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれる。
【００９１】
【発明の効果】
以上説明したように、本発明によれば、比較的に簡単な構成で偽色の少ない良好な画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示し、画像信号処理装置の要部構成を示すブロック図である。
【図２】本発明の実施形態の偽色検出回路を説明する図である。
【図３】本発明の実施形態のメモリから読み出された輝度データから偽色の出現箇所を検出する検出回路の構成例を説明する図である。
【図４】実施形態の偽色抑圧回路の構成例を説明する図である。
【図５】偽色抑圧の仕方を説明するための図である。
【図６】ＣＣＤからのデータの処理について説明するための図であり、注目している画素の上下（周囲）の数画素も含めて抑圧の処理を行なう様子を示す図である。
【図７】ＣＣＤからのデータの処理について説明するための図であり、注目画素とその周辺画素の抑圧量と検出値との関係を示す図である。
【図８】ＣＣＤからのデータの処理について説明するための図であり、周辺画素の抑圧の仕方を示す図である。
【図９】ＣＣＤの撮像処理について説明するための図である。
【図１０】ＣＣＤの撮像処理について説明するための図である。
【図１１】第２の実施形態を示し、画像信号処理装置の構成を示すブロック図である。
【図１２】従来の画像信号処理装置の構成例を示すブロック図である。
【符号の説明】
１００ＣＣＤからの撮像データの入力端子
１０１色分離回路
１０２マトリクス回路
１０３ホワイトバランス回路
１０４偽色抑圧回路
１０５ γ補正回路
１０６マトリクス回路
１０７偽色検出回路
１０８検出特性制御回路
１０９抑圧特性制御回路
１１０輝度信号分離回路
１１１Ｈ／Ｖ輪郭強調回路
１１２ γ補正回路
１１３色差データＣｂの出力端子
１１４色差データＣｒの出力端子
１１５輝度データＹの出力端子
１１６動画／静止画モード情報の入力端子
１１７切り替え回路

Claims

撮像素子上に色フィルタをアレイ状に配列してカラー画像を得るようにする画像信号処理装置であって、
撮像素子による撮像データから偽色の発生する箇所を検出する偽色発生箇所検出手段と、
上記偽色発生箇所検出手段の出力結果から、偽色の発生箇所であると判断した場合には上記発生箇所に対応する画素の複数の色データのうちのひとつの色データの値に他の色データの値を合わせることで、撮像データの処理により発生する偽色を抑圧する偽色抑圧手段を設け、
上記偽色抑圧手段は、偽色の抑圧を行なう場合は注目画素のＲＧＢデータにおけるＧデータの値に対してＲとＢデータの値を合わせ、注目画素の周辺画素についてはＲ、Ｂデータ各々の値とＧデータの値との差分をとり、その差分値に注目画素からの距離をパラメータとする重み付けを行なってＧデータの値に加算してＲ、Ｂデータの各々の値を得ることを特徴とする画像信号処理装置。
上記偽色発生箇所検出手段は、撮像データから輝度データを分離した後の輝度データに対して行なうことを特徴とする請求項１に記載の画像信号処理装置。
上記偽色発生箇所検出手段は、画像内のエッジのある箇所を検出することを特徴とする請求項１に記載の画像信号処理装置。