JP3928185B2

JP3928185B2 - Digital video camera device

Info

Publication number: JP3928185B2
Application number: JP30622795A
Authority: JP
Inventors: 裕政池山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-11-24
Filing date: 1995-11-24
Publication date: 2007-06-13
Anticipated expiration: 2015-11-24
Also published as: JPH09149323A

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばアナログ撮像信号をディジタル処理して必要な映像信号を生成するようにしたディジタルビデオカメラ装置に関する。詳しくは、ディジタル化したディジタル撮像信号のうち所定周波数以上を阻止したものに対して非線形処理を施すことによって、撮像信号の高調波が撮像信号帯域中に折り返えさないようにして画質を改善したものである。
【０００２】
【従来の技術】
一般に、カラービデオカメラ装置やビデオテープレコーダなどで取り扱う映像信号、例えばディジタル処理を主体としたカラービデオカメラ装置においては、ＣＣＤイメージセンサなどから得られるアナログ撮像信号を一旦ディジタル化し、ディジタル化された輝度信号やクロマ信号などの撮像信号に対して、ガンマ補正、ニー補正、ホワイトブラッククリップ、輪郭補正、ホワイトバランス調整、色相調整、ディテールクリスプニング、レベルディペンドなどの各種非線形信号処理を施している。
【０００３】
ところで、ディジタル撮像信号に対して上述したような非線形処理を施すと、出力波形が歪むから、撮像信号に含まれる周波数成分の整数倍の成分が発生する。そしてディジタル処理する場合には、サンプリング定理により、サンプリング周波数ｆｓの半分の周波数ｆｓ／２までの信号しか再現できない。
【０００４】
そして非線形処理で発生したｆｓ／２を越える周波数成分は、ｆｓ／２を中心にして折り返り、０〜ｆｓ／２のどこかの周波数成分に置き代わってしまう。どのように折り返すかというと、信号周波数ｆとサンプリング周波数ｆｓとの関係が、

となる。撮像信号の基本波成分側に折り返されたこの成分は偽信号（エリアシング）となり、再生画質を劣化させる原因となる。そこで基本波成分側に折り返さないように最近ではサンプリング周波数のアップコンバート処理を行うようにしている。
【０００５】
図１０はこのようなアップコンバート処理を行って所定の映像信号を得るようにしたディジタルビデオカメラ装置１０の従来例を示す。
【０００６】
同図において、被写体像１２はＣＣＤイメージセンサ２０でＲ（赤），Ｇ（緑），Ｂ（青）の３つの撮像信号（原色信号）に変換される。イメージセンサ２０からは、例えば図１１Ａに示すような周波数ｆの成分を有する撮像信号が出力され、この周波数ｆの撮像信号がアナログプロセス部３０に送られる。アナログプロセス部３０でプリアンプ処理、補間処理などが行われたのち、Ａ／Ｄコンバータ４０に送られて撮像信号がディジタル変換される。
【０００７】
Ａ／Ｄコンバータ４０からの撮像信号はアップコンバータ５０によって、図１１Ａの撮像信号（周波数ｆ）が、同図ＢのようにＡ／Ｄコンバータ４０でのサンプリング周波数ｆｓよりも充分高い周波数ｆｓ′に変換（アップコンバート）される。
【０００８】
アップコンバートされた撮像信号は、画像の輪郭部を強調するためイメージエンハンサ７０に送られて輪郭強調信号が生成される。この輪郭強調信号が加算器９０でアップコンバータ５０からのディジタル撮像信号に加算される。
【０００９】
加算器９０の出力はクリップ回路９２によって特定基準電圧レベル以上或いは以下の信号をクリップした後、ニー補正回路９４、ガンマ補正回路９６において、ニー補正、ガンマ補正がそれぞれ施される。これら処理は何れも非線形処理であるので、図１１Ｂの撮像信号には同図Ｃに示すように高次の成分Ｆｈ′が発生する。
【００１０】
この場合もサンプリング周波数ｆｓ′の半分の周波数（ｆｓ′／２）を越える周波数成分に対する折り返し成分Ｆ１′は、０〜ｆｓ′／２の周波数帯域に偽信号として現れる。
【００１１】
そのため、図１０のように例えば０〜ｆｓ″／２の周波数までを通過させる例えばローパスフィルタからなる帯域制限フィルタ９８が設けられ、図１１Ｃの図中斜線で示す周波数帯域のみが通過する。したがって帯域制限フィルタ９８の出力は同図Ｄのようになる。周波数ｆｓ″は、Ａ／Ｄコンバータ４０におけるサンプリング周波数ｆｓに等しいか若しくは近い周波数である。
【００１２】
帯域制限フィルタ９８の出力は、ダウンコンバータ１００でＡ／Ｄコンバータ４０でのサンプリング周波数ｆｓに等しいか若しくは近い周波数ｆｓ″にダウンコンバートされる。ダウンコンバートすることによって、同図Ｄの周波数成分は同図Ｅのようになる。したがって周波数ｆｓ″の半分の周波数以下（０〜ｆｓ″／２）で、入力信号の周波数ｆよりも低い帯域には非線形処理によって発生する折り返し成分（偽信号）はなくなる。
【００１３】
【発明が解決しようとする課題】
しかし、この帯域制限フィルタ９８を用いたのでは、周波数ｆがｆｓ／２以上の帯域の信号が存在したときには、その高調波成分に対する折り返し成分はｆｓ／２以下に折り返されることになるから、非線形処理した後でその周波数通過特性をｆｓ／２近傍に帯域制限してもｆｓ／２以下に折り返された成分を除去することはできない。
【００１４】
例えば非線形処理系を通すと、２ｆの二次高調波成分が発生し、これの折り返し成分ｆ′は（２ｆ−２ｆｓ）となる。この折り返し成分ｆ′が信号帯域以下になる条件は次の通りである。
【００１５】
２ｆｓ−２ｆ〈ｆ・・・・（３）
∴ｆ〉２ｆｓ／３・・・・（４）
（４）式の関係は図１１Ｆのようになるから、これの折り返し成分は同図Ｇの破線図示のようになって、信号帯域以下の周波数領域（図では周波数ｆｓ／２のところ）に折り返ることが判る。
【００１６】
信号帯域以下の周波数帯域に折り返るのは、非線形処理の他に後述する画素ずらしが完全でないときに発生する折り返し成分（ｆｓ−２ｆ）などが考えられる。このような高調波の折り返し成分を抑圧するには、折り返る元の高調波自体を抑圧しなければならない。
【００１７】
そこで、この発明はこのような従来の課題を解決したものであって、主として非線形処理によって発生する信号帯域内への折り返しを効果的に除去できるディジタルビデオカメラ装置を提案するものである。
【００１８】
【課題を解決するための手段】
上述した課題を解決するため、請求項１においては複数の固体撮像素子から得られる複数の撮像信号に対して第１のサンプリング周波数でＡ／Ｄ変換後、上記第１のサンプリング周波数を２倍にした第２のサンプリング周波数でアップコンバートしたのち、非線形処理の前段階で上記第２のサンプリング周波数の１／３に選定された第３の周波数を阻止周波数とするディジタルローパスフィルタに通して帯域制限することによって、上記第１のサンプリング周波数の１／２以下の周波数に折り返る折り返し成分を除去するようにしたことを特徴とする。
【００１９】
請求項２においては、上記固体撮像素子としてＣＣＤイメージセンサが使用され、第１のＣＣＤイメージセンサはＧ信号用として使用され、第２のＣＣＤイメージセンサはＲ信号用として使用され、第３のＣＣＤイメージセンサはＢ信号用として使用されたことを特徴とする。
【００２０】
請求項３においては、上記第１のＣＣＤイメージセンサに対し、第２および第３のＣＣＤイメージセンサはその水平画素ピッチに対し水平方向に半ピッチだけ相対的にずらした状態で、それぞれのＣＣＤイメージセンサから撮像信号が読み出されるようになされたことを特徴とする。
【００２３】
撮像信号をＡ／Ｄ変換したあとのアップコンバート処理後であって、非線形処理の前の段階で帯域制限を行う。この帯域制限は第１のサンプリング周波数をｆＳとしたとき２ｆｓ／３を阻止周波数とする処理であって、２ｆｓ／３の周波数成分の通過は完全に阻止される。帯域制限後に輪郭強調処理や非線形処理が行われる。非線形処理の前段階で帯域制限を行う関係上、２ｆｓ／３以上の信号成分の高調波による折り返しは発生しない。
【００２４】
画素ずらし処理が正確でないときに発生する折り返し成分も同時に抑圧されるから、折り返しによる画質劣化が大幅に改善される。
【００２５】
【発明の実施の形態】
続いて、この発明に係るディジタルビデオカメラ装置の一実施態様を図面を参照して詳細に説明する。
【００２６】
この発明では撮像素子として３個の固体撮像素子（以下はＣＣＤイメージセンサ）が使用され、それらよりＧ，Ｒ，Ｂの各原色信号が撮像信号として得られるようになされているディジタルビデオカメラ装置を例示する。さらにこれら３個のＣＣＤイメージセンサから得られる撮像信号をディジタル化したときに、その基本波成分中に混入する折り返し成分を除去するため、画素ずらし法を採用した光学系が使用される。
【００２７】
画素ずらし法とは、図２に示すように例えばＧ信号を得るＣＣＤイメージセンサに対し、Ｒ信号およびＢ信号を得るＣＣＤイメージセンサを、水平方向に対して１／２画素ピッチｐ／２だけ相対的にずらして同一被写体像を撮像するようにしたものである。
【００２８】
こうすると、図３Ａに示すようにＧ信号のサンプリングキャリア（その周波数はｆｓ）の位相（０相）に対して、Ｒ信号およびＢ信号のサンプリングキャリアの位相が同図Ｂのように１８０°（π相）だけずれる。したがって両者をマトリックスして合成すれば、同図Ｃのようにサンプリングキャリアが相殺される結果、側波帯成分（鎖線図示）が相殺されて基本波成分のみとなる。したがって画質劣化の原因を除去できる。
【００２９】
しかし、実際には上述したようにＣＣＤイメージセンサの関係をｐ／２に完全に調整することが不可能なこと、非線形処理により基本波成分の高調波が発生すること、などに起因して基本波成分中に高調波成分が折り返されてしまう。この発明はこれらの要因による高調波成分、特にその二次成分に対する折り返し成分をできるだけ抑圧するようにしたものである。
【００３０】
図１はこの発明に係るディジタルビデオカメラ装置１０の一実施態様を示すものである。被写体像１２はＣＣＤイメージセンサ２０，２２，２４によって撮像信号（Ｒ，Ｇ，Ｂの原色信号）に変換される。そのスペクトラムを図４Ａ，Ｂに示す。撮像信号はＡ／Ｄ変換器４０，４２，４４に供給されて、第１のサンプリング周波数（ｆｓとする。ｆｓは例えば１８ＭＨｚ）によってディジタル化される。
【００３１】
ディジタル化された撮像信号はプリプロセッサ３０においてプリプロセス処理が行われる。プリプロセス処理とは、プリアンプ処理、補間処理、それに伴うフィルタ処理、シェーディング処理などを総称した信号処理を言う。プリプロセス処理を施された撮像信号はアップコンバータ５０，５６，５８においてアップコンバート処理などが行われる。アップコンバータ５０（５６，５８も同様）は図６に示すようにレートコンバータ５２とディジタルローパスフィルタ５４とで構成される。
【００３２】
レートコンバータ５２では第１のサンプリング周波数ｆｓよりも高い第２のサンプリング周波数ｆ２を使用してアップコンバートされる。アップコンバート処理は、できるだけ高調波成分による折り返し成分が基本波成分内に混入しないようにするためで、ｆ２としてこの例では２ｆｓを示す。
【００３３】
アップコンバートされた撮像信号は後段のディジタルローパスフィルタ５４によって通過帯域が制限される。上述したようにｆｓ／２以上ｆｓまでの周波数成分を有する撮像信号（周波数をｆとする）の場合、その高調波による折り返し成分は周波数ｆよりも低い帯域側に折り返る。特に非線形処理系を通すと、２ｆの二次高調波成分が発生し、これの折り返し成分ｆ′は（２ｆ−２ｆｓ）となる。この折り返し成分ｆ′が信号帯域以下になる条件は上述したように、
２ｆｓ−２ｆ〈ｆ・・・・（３）
∴ｆ〉２ｆｓ／３・・・・（４）
である。
【００３４】
信号帯域以下の周波数帯域に折り返るのは、非線形処理の他に後述する画素ずらしが完全でないときに発生する折り返し成分（ｆｓ−２ｆ）などが考えられる。
【００３５】
このような高調波の折り返し成分を抑圧するため、この発明では折り返る元の高調波自体を抑圧する。そのため、図６に示すようなディジタルローパスフィルタ５４が設けられ、図７のように撮像信号に対し、２ｆｓ／３を阻止周波数とした帯域制限を加える（図４Ｃ，Ｄ）。つまり、この発明では２ｆｓ／３のレスポンスが完全にゼロになるようにディジタルフィルタ特性が設定される。このフィルタ特性については後述する。帯域制限された撮像信号は次段の色補正回路６０で画像全体に対する色補正処理が行われる。
【００３６】
プリプロセッサ３０でプリプロセス処理を施された撮像信号はさらに画像の輪郭部を強調するためイメージエンハンサ７０に送られて輪郭強調信号が生成される。本例では撮像信号のうちＧ信号とＲ信号が使用され、これらから低域側（２ｆｓ／３以下の帯域）と高域側（２ｆｓ／３以上の帯域）に分けた輪郭強調信号がそれぞれ生成される。
【００３７】
図８はこのイメージエンハンサ７０の具体例を示すものであり、Ｇ信号ＳｇとＲ信号Ｓｒがミキサ７２において、２ｆｓのスイッチングパルスを使用してミックスされる。ミックスされた合成信号Ｓｇｒのスペクトルを図４Ｅに示す。信号を合成することによって側波帯成分は相殺される。
【００３８】
合成信号Ｓｇｒはアパーチャー強調回路７４に供給されて図９曲線ＦＡで示すような高域補強特性となされた高域補強信号（アパーチャー補強信号）Ｓａが生成される（図４Ｆ）。そのゲインは後段の乗算器７６に与えられる係数Ｋａによって調整される。したがって端子７６ａにはゲイン調整された高域補強信号Ｓａが得られる。
【００３９】
合成信号Ｓｇｒはさらに低域側の補強を行うべく、本例では低域側をさらに３つの帯域に分けた周波数領域に対する補強信号が生成される。本例では第１のローパスフィルタ（ディジタルローパスフィルタ）７８で図９曲線ＦＨで示すように、比較的高域側（例えば７ＭＨｚ近傍）のゲインがアップするようなフィルタ特性が付与される（図４Ｇ）。
【００４０】
第２のローパスフィルタ８０では曲線ＦＭで与えられるように、中域例えば５ＭＨｚ近傍のゲインがアップするようなフィルタ特性が付与される（図４Ｈ）。同様に、第３のローパスフィルタ８２によって曲線ＦＬで示されるような低域（４ＭＨｚ近傍）のゲインがアップするようなフィルタ特性が付与される（図４Ｉ）。
【００４１】
これらフィルタ出力Ｓｈ，Ｓｍ，Ｓｌが対応するゲイン調整用の乗算器８４，８６，８８にそれぞれ供給されて、所望の係数Ｋｈ，Ｋｍ，Ｋｌによるゲイン調整がなされる。図９に示すようなゲイン（一例として示す）に調整された後加算器９０で加算されて低域補強信号Ｓｃが生成される（図５Ｊ）。端子９０ａに得られるこの低域補強信号Ｓｃが色補正された撮像信号のそれぞれに加算器６２，６４，６６を使用して加算されて低域補償される（図５Ｋ，Ｌ）。
【００４２】
帯域制限を受けることによって撮像信号Ｓｇｌ，Ｓｒｌ，Ｓｂｌの周波数特性は図９曲線ＬＬで示すように特に高域側が劣化している。これに図５Ｊのような低域補強信号Ｓｃを加えることによって図９曲線ＬＬ′のようになるから、これによって帯域制限された撮像信号の高域側を効果的に補償できる。
【００４３】
低域補償された撮像信号Ｓｇｃ，Ｓｒｃ，Ｓｂｃは非線形処理回路１１０，１１２，１１４に供給されて各種の非線形処理が施される。非線形処理とは従来例で説明したように、クリップ処理を始めとして、ニー処理、ガンマ処理、ホワイトクリップ処理などを指す。
【００４４】
非線形処理後の各撮像信号に対して加算器１１６，１１８，１２０で高域補強信号Ｓａの加算処理が行われ、図９曲線ＬＨのように高域までブロードな周波数特性となされた撮像信号Ｓｇａ，Ｓｒａ，Ｓｂａが得られる（図５Ｍ，Ｎ）。
このような周波数特性の補正処理が施されたのち、各撮像信号がマトリックス回路１３０に供給されて、この例では輝度信号Ｙと一対のクロマ信号Ｃｒ，Ｃｂとが形成される。加減算などのマトリックス処理を行うことによって、特定撮像条件の下では撮像信号の基本波成分中に混入していた側波帯成分が相殺される（図５のＯ）。
【００４５】
輝度信号Ｙとクロマ信号Ｃｒ，ＣｂはＤ／Ａ変換器１３２，１３４，１３６でアップコンバートしたままの状態でアナログ信号に戻すこともできれば、レートコンバータ１４０に供給して第１のサンプリング周波数ｆｓを使用して元のサンプリングレートにダウンコンバートすることもできる。レートコンバータ１４０の出力はディジタルＶＴＲ（Ｄ１型ディジタルＶＴＲなど）を使用してディジタル撮像信号のまま記録することもできる。
【００４６】
【発明の効果】
以上のように、この発明に係るディジタルビデオカメラ装置では、撮像信号の高調波成分の折り返しによって撮像信号の周波数よりも低域側に折り返ることのある折り返し成分を効果的に除去できる。したがって折り返し成分による画質劣化を大幅に改善できる特徴を有する。
【図面の簡単な説明】
【図１】この発明に係るディジタルビデオカメラ装置の一実施態様を示す要部の系統図である。
【図２】画素ずらし法を説明するための図である。
【図３】そのときの周波数スペクトラムの図である。
【図４】ディジタル処理を説明するための波形図（１／２）である。
【図５】ディジタル処理を説明するための波形図（２／２）である。
【図６】アップコンバータの一例を示す系統図である。
【図７】ディジタルローパスフィルタの特性図である。
【図８】イメージエンハンサの一例を示す系統図である。
【図９】イメージエンハンサのフィルタ特性図である。
【図１０】従来のディジタルビデオカメラ装置の系統図である。
【図１１】その動作説明に供する波形図である。
【符号の説明】
１０ディジタルビデオカメラ装置
２０，２２，２４撮像素子
４０，４２，４４Ａ／Ｄ変換器
５０アップコンバータ
５２レートコンバータ
５４ディジタルローパスフィルタ
７０イメージエンハンサ
１１０，１１２，１１４非線形処理回路
１４０レートコンバータ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital video camera apparatus which generates a necessary video signal by digitally processing an analog imaging signal, for example. Specifically, the image quality has been improved by applying non-linear processing to the digitized digital imaging signal that has blocked a predetermined frequency or higher so that harmonics of the imaging signal do not fold back into the imaging signal band. Is.
[0002]
[Prior art]
In general, in a video signal handled by a color video camera device or a video tape recorder, for example, in a color video camera device mainly using digital processing, an analog imaging signal obtained from a CCD image sensor or the like is once digitized to obtain a digitized luminance. Various non-linear signal processing such as gamma correction, knee correction, white black clip, contour correction, white balance adjustment, hue adjustment, detail crispening, and level dependency are performed on the image pickup signal such as the signal and the chroma signal.
[0003]
By the way, when the nonlinear processing as described above is performed on the digital imaging signal, the output waveform is distorted, and thus a component that is an integral multiple of the frequency component included in the imaging signal is generated. When digital processing is performed, only a signal up to a frequency fs / 2 that is half the sampling frequency fs can be reproduced by the sampling theorem.
[0004]
Then, the frequency component exceeding fs / 2 generated by the non-linear processing is folded around fs / 2 and replaced with a frequency component of 0 to fs / 2. As to how it is folded, the relationship between the signal frequency f and the sampling frequency fs is

It becomes. This component folded back to the fundamental wave component side of the image pickup signal becomes a false signal (aliasing), which causes the reproduction image quality to deteriorate. Therefore, recently, an up-conversion process of the sampling frequency is performed so as not to return to the fundamental wave component side.
[0005]
FIG. 10 shows a conventional example of the digital video camera apparatus 10 which performs such up-conversion processing and obtains a predetermined video signal.
[0006]
In the figure, a subject image 12 is converted by a CCD image sensor 20 into three imaging signals (primary color signals) of R (red), G (green), and B (blue). From the image sensor 20, for example, an imaging signal having a frequency f component as shown in FIG. 11A is output, and the imaging signal having the frequency f is sent to the analog process unit 30. After analog amplifier 30 performs preamplifier processing, interpolation processing, etc., it is sent to A / D converter 40 to digitally convert the image pickup signal.
[0007]
The imaging signal from the A / D converter 40 is converted by the up-converter 50 so that the imaging signal (frequency f) in FIG. 11A is sufficiently higher than the sampling frequency fs in the A / D converter 40 as shown in FIG. Converted (up-converted).
[0008]
The up-converted imaging signal is sent to the image enhancer 70 to enhance the contour portion of the image, and a contour enhancement signal is generated. This contour emphasis signal is added to the digital image pickup signal from the up-converter 50 by the adder 90.
[0009]
The output of the adder 90 is subjected to knee correction and gamma correction in a knee correction circuit 94 and a gamma correction circuit 96 after clipping a signal above or below a specific reference voltage level by a clip circuit 92, respectively. Since these processes are all non-linear processes, a higher-order component Fh ′ is generated in the image pickup signal of FIG. 11B as shown in FIG.
[0010]
Also in this case, the aliasing component F1 ′ for the frequency component exceeding the half frequency (fs ′ / 2) of the sampling frequency fs ′ appears as a false signal in the frequency band of 0 to fs ′ / 2.
[0011]
For this reason, as shown in FIG. 10, a band limiting filter 98 made of, for example, a low-pass filter that passes frequencies up to, for example, 0 to fs ″ / 2 is provided, and only the frequency band indicated by the oblique lines in FIG. 11C passes. The output of the limiting filter 98 is as shown in Fig. D. The frequency fs "is equal to or close to the sampling frequency fs in the A / D converter 40.
[0012]
The output of the band limiting filter 98 is downconverted by the downconverter 100 to a frequency fs ″ that is equal to or close to the sampling frequency fs ″ of the A / D converter 40. By downconverting, the frequency component of FIG. As shown in Fig. E. Therefore, the aliasing component (false signal) generated by the non-linear processing disappears in the band lower than the frequency fs ″ (0 to fs ″ / 2) and lower than the frequency f of the input signal. .
[0013]
[Problems to be solved by the invention]
However, when the band limiting filter 98 is used, when there is a signal in a band where the frequency f is fs / 2 or higher, the folded component with respect to the harmonic component is folded back to fs / 2 or lower. After processing, even if the frequency pass characteristic is band-limited in the vicinity of fs / 2, the component folded back to fs / 2 or less cannot be removed.
[0014]
For example, when passing through a non-linear processing system, a 2f second-order harmonic component is generated, and the aliasing component f ′ is (2f-2fs). The conditions under which the aliasing component f ′ is equal to or less than the signal band are as follows.
[0015]
2fs-2f <f (3)
∴f> 2fs / 3 (4)
Since the relationship of equation (4) is as shown in FIG. 11F, the folded component is as shown by the broken line in FIG. 11G, and is folded into the frequency region below the signal band (in the figure, at the frequency fs / 2). I can see it returning.
[0016]
The folding to the frequency band below the signal band may be a folding component (fs-2f) generated when the pixel shift described later is not perfect, in addition to the nonlinear processing. In order to suppress such aliasing components of harmonics, it is necessary to suppress the original harmonics to be aliased.
[0017]
Therefore, the present invention solves such a conventional problem, and proposes a digital video camera apparatus capable of effectively removing the aliasing into the signal band mainly generated by nonlinear processing.
[0018]
[Means for Solving the Problems]
In order to solve the above-described problem, in claim 1, the first sampling frequency is doubled after A / D conversion at a first sampling frequency with respect to a plurality of imaging signals obtained from a plurality of solid-state imaging devices. After up-converted by a second sampling frequency that is band-limited through a digital low-pass filter having a third stopping frequency frequencies was selected in the previous stage of the non-linear processing to 1/3 of the second sampling frequency Thus, the aliasing component that aliases back to a frequency that is half or less of the first sampling frequency is removed.
[0019]
According to a second aspect of the present invention, a CCD image sensor is used as the solid-state imaging device, the first CCD image sensor is used for the G signal, the second CCD image sensor is used for the R signal, and the third CCD The image sensor is used for the B signal.
[0020]
In claim 3, said relative first CCD image sensor, while the second and 3 CCD image sensor is shifted relatively by half a pitch in the horizontal direction with respect to the horizontal pixel pitch, each of the CCD image An imaging signal is read out from the sensor.
[0023]
After the up-conversion process after the A / D conversion of the imaging signal, the band is limited at a stage before the nonlinear process. This band limitation is a process of setting 2fs / 3 as a blocking frequency when the first sampling frequency is set to fS, and the passage of the frequency component of 2fs / 3 is completely blocked. After band limitation, contour enhancement processing and non-linear processing are performed. Due to the band limitation performed before the nonlinear processing, the aliasing due to the harmonics of the signal component of 2fs / 3 or higher does not occur.
[0024]
Since the aliasing component generated when the pixel shifting process is not accurate is also suppressed at the same time, image quality deterioration due to aliasing is greatly improved.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Next, an embodiment of the digital video camera apparatus according to the present invention will be described in detail with reference to the drawings.
[0026]
In the present invention, a digital video camera device is used in which three solid-state image sensors (hereinafter referred to as CCD image sensors) are used as image sensors, and G, R, and B primary color signals are obtained as image signals. Illustrate. Further, when the imaging signals obtained from these three CCD image sensors are digitized, an optical system employing a pixel shifting method is used to remove the aliasing component mixed in the fundamental wave component.
[0027]
As shown in FIG. 2, the pixel shift method is a method in which, for example, a CCD image sensor that obtains an R signal and a B signal is relative to a CCD image sensor that obtains a G signal by a 1/2 pixel pitch p / 2. The same subject image is picked up with a shift.
[0028]
3A, the phase of the sampling carrier for the R signal and the B signal is 180 ° (as shown in FIG. 3B) with respect to the phase (0 phase) of the sampling carrier for the G signal (its frequency is fs). π phase) is shifted. Therefore, if they are combined in a matrix, the sampling carrier is canceled as shown in FIG. 3C. As a result, the sideband components (shown by chain lines) are canceled and only the fundamental wave component is obtained. Therefore, the cause of image quality deterioration can be eliminated.
[0029]
However, in practice, as described above, it is impossible to completely adjust the relationship of the CCD image sensor to p / 2, and harmonics of the fundamental wave component are generated by nonlinear processing. Harmonic components are folded back into the wave components. In the present invention, the harmonic component caused by these factors, particularly the aliasing component for the secondary component is suppressed as much as possible.
[0030]
FIG. 1 shows an embodiment of a digital video camera apparatus 10 according to the present invention. The subject image 12 is converted into imaging signals (R, G, B primary color signals) by the CCD image sensors 20, 22, 24. The spectrum is shown in FIGS. 4A and 4B. The imaging signal is supplied to the A / D converters 40, 42, and 44, and is digitized at a first sampling frequency (assuming fs. Fs is, for example, 18 MHz).
[0031]
The digitized imaging signal is preprocessed by the preprocessor 30. The preprocessing processing is signal processing that collectively refers to preamplification processing, interpolation processing, accompanying filter processing, shading processing, and the like. The image signals that have been subjected to the pre-process processing are subjected to up-conversion processing in the up-

converters

50, 56, and 58. The up-converter 50 (same for 56 and 58) includes a rate converter 52 and a digital low-pass filter 54 as shown in FIG.
[0032]
In the rate converter 52, the second sampling frequency f2 higher than the first sampling frequency fs is used for up-conversion. The up-conversion process is performed so as to prevent the aliasing component due to the harmonic component from being mixed in the fundamental wave component as much as possible. In this example, 2 fs is indicated as f2.
[0033]
The passband of the up-converted image signal is limited by the digital low-pass filter 54 at the subsequent stage. As described above, in the case of an imaging signal having a frequency component of fs / 2 or more and fs (frequency is assumed to be f), the folded component due to the harmonics is folded back to the band lower than the frequency f. In particular, when passing through a non-linear processing system, a 2f second-order harmonic component is generated, and the aliasing component f ′ is (2f−2fs). As described above, the condition that the folded component f ′ is equal to or less than the signal band is as follows.
2fs-2f <f (3)
∴f> 2fs / 3 (4)
It is.
[0034]
The folding to the frequency band below the signal band may be a folding component (fs-2f) generated when the pixel shift described later is not perfect, in addition to the nonlinear processing.
[0035]
In order to suppress such harmonic folding components, the present invention suppresses the original harmonic itself to be folded. Therefore, a digital low-pass filter 54 as shown in FIG. 6 is provided, and band limitation with 2 fs / 3 as a stop frequency is added to the image pickup signal as shown in FIG. 7 (FIGS. 4C and D). That is, in the present invention, the digital filter characteristics are set so that the response of 2fs / 3 is completely zero. This filter characteristic will be described later. The band-limited imaging signal is subjected to color correction processing for the entire image by the color correction circuit 60 in the next stage.
[0036]
The imaging signal that has been preprocessed by the preprocessor 30 is sent to the image enhancer 70 to further enhance the contour portion of the image to generate a contour enhancement signal. In this example, the G signal and the R signal are used among the image pickup signals, and the contour emphasis signals divided into the low frequency side (2 fs / 3 or lower band) and the high frequency side (2 fs / 3 or higher band) are generated from them. Is done.
[0037]
FIG. 8 shows a specific example of the image enhancer 70. The G signal Sg and the R signal Sr are mixed in the mixer 72 using a switching pulse of 2fs. The spectrum of the mixed composite signal Sgr is shown in FIG. 4E. By combining the signals, the sideband components are canceled out.
[0038]
The synthesized signal Sgr is supplied to the aperture emphasizing circuit 74 to generate a high-frequency reinforcing signal (aperture reinforcing signal) Sa having a high-frequency reinforcing characteristic as shown by a curve FA in FIG. 9 (FIG. 4F). The gain is adjusted by the coefficient Ka given to the subsequent multiplier 76. Therefore, the high frequency reinforcing signal Sa whose gain is adjusted is obtained at the terminal 76a.
[0039]
In this example, the composite signal Sgr generates a reinforcement signal for the frequency region in which the low-frequency side is further divided into three bands in order to reinforce the low-frequency side. In this example, the first low-pass filter (digital low-pass filter) 78 provides a filter characteristic that increases the gain on a relatively high frequency side (for example, near 7 MHz) (see FIG. 4G). ).
[0040]
In the second low-pass filter 80, as given by the curve FM, a filter characteristic that increases the gain in the middle band, for example, in the vicinity of 5 MHz is given (FIG. 4H). Similarly, the third low-pass filter 82 provides a filter characteristic that increases the gain in the low band (near 4 MHz) as shown by the curve FL (FIG. 4I).
[0041]
These filter outputs Sh, Sm, and S1 are respectively supplied to the corresponding gain adjusting multipliers 84, 86, and 88, and gain adjustment is performed using desired coefficients Kh, Km, and Kl. After being adjusted to a gain (shown as an example) as shown in FIG. 9, it is added by an adder 90 to generate a low-frequency reinforcing signal Sc (FIG. 5J). The low-frequency reinforcing signal Sc obtained at the terminal 90a is added to each of the color-corrected imaging signals using the adders 62, 64, and 66, and low-frequency compensation is performed (FIGS. 5K and L).
[0042]
Due to the band limitation, the frequency characteristics of the imaging signals Sgl, Srl, Sbl are deteriorated particularly on the high frequency side as shown by the curve LL in FIG. By adding a low-frequency reinforcing signal Sc as shown in FIG. 5J to a curve LL ′ in FIG. 9, the high-frequency side of the imaging signal band-limited can be effectively compensated.
[0043]
The low-frequency compensated imaging signals Sgc, Src, and Sbc are supplied to the nonlinear processing circuits 110, 112, and 114 and subjected to various nonlinear processes. Non-linear processing refers to knee processing, gamma processing, white clip processing, etc. as well as clip processing as described in the prior art.
[0044]
The

adder

116, 118, 120 adds the high-frequency reinforcing signal Sa to each imaging signal after the nonlinear processing, and the imaging signal Sga having a broad frequency characteristic up to the high frequency as shown by the curve LH in FIG. , Sra, Sba are obtained (FIG. 5M, N).
After such frequency characteristic correction processing is performed, each imaging signal is supplied to the matrix circuit 130, and in this example, a luminance signal Y and a pair of chroma signals Cr and Cb are formed. By performing matrix processing such as addition and subtraction, the sideband component mixed in the fundamental wave component of the imaging signal is canceled under a specific imaging condition (O in FIG. 5).
[0045]
If the luminance signal Y and the chroma signals Cr and Cb can be converted back to analog signals while being up-converted by the D / A converters 132, 134 and 136, they can be supplied to the rate converter 140 to obtain the first sampling frequency fs. It can also be used to downconvert to the original sampling rate. The output of the rate converter 140 can be recorded as a digital image signal using a digital VTR (such as a D1-type digital VTR).
[0046]
【The invention's effect】
As described above, the digital video camera device according to the present invention can effectively remove the aliasing component that may be aliased to the lower frequency side of the frequency of the imaging signal due to aliasing of the harmonic component of the imaging signal. Therefore, it has a feature that image quality deterioration due to aliasing components can be greatly improved.
[Brief description of the drawings]
FIG. 1 is a system diagram of a main part showing an embodiment of a digital video camera apparatus according to the present invention.
FIG. 2 is a diagram for explaining a pixel shifting method;
FIG. 3 is a diagram of a frequency spectrum at that time.
FIG. 4 is a waveform diagram (1/2) for explaining digital processing;
FIG. 5 is a waveform diagram (2/2) for explaining digital processing;
FIG. 6 is a system diagram showing an example of an up-converter.
FIG. 7 is a characteristic diagram of a digital low-pass filter.
FIG. 8 is a system diagram showing an example of an image enhancer.
FIG. 9 is a filter characteristic diagram of an image enhancer.
FIG. 10 is a system diagram of a conventional digital video camera apparatus.
FIG. 11 is a waveform diagram for explaining the operation.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Digital video camera apparatus 20,22,24 Image pick-up element 40,42,44 A / D converter 50 Up converter 52 Rate converter 54 Digital low pass filter 70 Image enhancer 110,112,114 Nonlinear processing circuit 140 Rate converter

Claims

A / D conversion is performed on a plurality of imaging signals obtained from a plurality of solid-state imaging devices at a first sampling frequency, and then up-conversion is performed at a second sampling frequency obtained by doubling the first sampling frequency. By band-limiting through a digital low-pass filter with a third frequency selected as 1/3 of the second sampling frequency in the previous stage of processing as a stop frequency,
A digital video camera apparatus characterized in that a folding component that turns back to a frequency that is half or less of the first sampling frequency is removed.

A CCD image sensor is used as the solid-state imaging device, the first CCD image sensor is used for the G signal, the second CCD image sensor is used for the R signal, and the third CCD image sensor is used for the B signal. 2. The digital video camera apparatus according to claim 1, wherein the digital video camera apparatus is used as a digital video camera apparatus.

With respect to the first CCD image sensor, the second and third CCD image sensors are shifted relative to the horizontal pixel pitch by a half pitch in the horizontal direction, and image signals are read from the respective CCD image sensors. 3. The digital video camera apparatus according to claim 2, wherein the digital video camera apparatus is configured to be configured as described above.