JP3126860B2 - 映像信号処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は各々が多数の受光素子を
マトリックス状に配列した少なくとも２個の固体撮像素
子を具え、これらの固体撮像素子を、それらの受光素子
が受光素子の配列ピッチのほぼ半分だけ主走査方向に互
いにずれるように配置して空間画素ずらしを行った固体
撮像装置から出力される複数の色信号、特に空間画素ず
らし法を採用した３板式固体撮像素子を用いるカラーテ
レビカメラから出力される複数の色信号を処理する映像
信号処理装置に関するものである。

【０００２】

【従来の技術】例えば、３板式のカラーテレビカメラで
は、画素数の少ない固体撮像素子で高解像度の映像信号
を得るために、緑色（Ｇ）用の固体撮像素子の空間的位
置を基準として赤色（Ｒ）および青色（Ｂ）用の固体撮
像素子の位置を主走査方向（水平方向）に画素の配列ピ
ッチの半分だけずらした空間画素ずらし法が採用されて
いる。

【０００３】図１は上述した空間画素ずらし法を採用し
た３板式のカラーテレビカメラの撮像部の構成の一例を
示すものである。被写体からの入射光を色分解プリズム
１によってＲ，Ｇ，Ｂの３原色の光に分割し、それぞれ
の色の光学像を３個の固体撮像素子２Ｒ，２Ｇ，２Ｂで
受光し、それぞれ赤色信号Ｒ、緑色信号Ｇおよび青色信
号Ｂを出力するように構成されている。図２はこれら３
個の固体撮像素子２Ｒ，２Ｇ，２Ｂの画素の空間的配置
関係を示すものであり、赤色用の固体撮像素子２Ｒおよ
び青色用の固体撮像素子２Ｂの画素は、緑色用の固体撮
像素子２Ｇの画素に対して水平方向に画素ピッチＰの半
分だけずらして配置されている。輝度信号Ｙは、これら
の固体撮像素子２Ｒ、２Ｇ、２Ｂから出力される各色信
号をエンコーダマトリックス処理部において規定の割合
で混合して作成されるが、各色に対応する画素は図３に
示すように空間的に配置されたものとなるので、画素数
が見掛け上増大し、解像度が向上した輝度信号Ｙが得ら
れることになる。これらの色信号Ｒ，Ｇ，Ｂを混合して
輝度信号Ｙを作成する場合の混合比は、例えばＮＴＳＣ
方式の場合には次式のように規定されている。

【数１】 Y ＝0.3R＋0.59G ＋0.11B （１）

【０００４】

【発明が解決しようとする課題】上述したような画素ず
らし法を採用した３板式のカラーテレビカメラにおいて
は、画素数が見掛け上増加し、解像度が向上した輝度信
号Ｙが得られるが、出力される輝度信号Ｙには図４に示
すようにレスポンスが波立ったようになり多少の折り返
し成分が発生し、このために解像度がそれほど高くなら
ず、しかも周波数特性が劣化する欠点がある。実際の放
送方式ではそれほど高い解像度を必要としないが、空間
画素ずらし法を採用しないと、輝度信号Ｙにおいても多
くの折り返し成分が発生してしまうことになる。また、
各色信号Ｒ，Ｇ，Ｂにおいては、固体撮像素子が出力し
た信号をそのまま出力するので、多くの折り返し成分が
発生することになり、しかも画素ずれがレジストレーシ
ョンエラーとなってしまい、そのままでは使用できなく
なるという欠点がある。

【０００５】ここで、折り返し成分とは、固体撮像素子
の動作周波数をｆ_s とすれば、周波数0.5 ｆ_s 以上の高
域成分が0.5 ｆ_s 以下の低域部に0.5 ｆ_s を中心として
折り返ったものである。図５に示すような周波数特性を
有する被写体を撮像したときに、緑色用固体撮像素子２
Ｇ、赤色および青色用の固体撮像素子２Ｒおよび３Ｂか
らは、それぞれ図６および図７の示すような周波数特性
を有する信号が出力されることになる。これらの図にお
いてスペクトルが大きく波打っているが、これは折り返
し成分を表しており、周波数0.5 ｆ_s 以上の高域成分が
低域に折り返り、それが低域成分に加算されるためであ
る。このように画素ずらし法を採用した３板式のカラー
テレビカメラから出力される各色信号には多くの折り返
し成分が含まれることになる。

【０００６】また、折り返し成分の位相は、緑色信号Ｇ
と、赤および青色信号ＲおよびＢとの間では位相が180
度ずれており、スペクトルの波打ち方が図６と図７とで
は逆となっている。これは空間画素ずらし法において
は、図２に示すように緑色用の固体撮像素子２Ｇの画素
間の中間の位置に赤および青色用の固体撮像素子２Ｒお
よび２Ｂの画素が位置することになるためである。例え
ば、図８に示すような高周波数の信号を与える被写体を
撮像する場合には、緑色用の固体撮像素子２Ｇは●印の
位置を撮像し、赤および青色用の固体撮像素子２Ｒおよ
び２Ｂは×印の位置を撮像することになるので、緑色信
号、赤および青色信号はそれぞれ図９および図１０に示
すように低周波の波形となり、しかも緑色信号の波形
と、赤および青色信号の波形とは位相が180 度反転した
ものとなる。

【０００７】上述したような色信号Ｒ，Ｇ，Ｂを上述し
た比率で混合して輝度信号Ｙを作成すると、大部分の折
り返し成分は緑色信号と、赤および青色信号とで位相が
反転しているので相殺されて減少するが、輝度信号を作
成する際の色信号の混合比率が緑色信号と赤および青色
信号とで１：１となっていないため、次式（２）で示す
ように折り返し成分が多少残存することになる（図４参
照）。例えば、ＮＴＳＣ方式の場合には、式（３）に示
すように１８％の折り返し成分が残ることになる。

【数２】 折り返し成分の残存量＝緑色混合比−赤色混合比−青色混合比 （２） 折り返し成分の残存量＝0.59−0.3 −0.11＝0.18 （３）

【０００８】また、高品位のテレビジョン方式の場合に
は、輝度信号Ｙは次式（４）にしたがって混合されるの
で、式（５）に示すように４０％もの多くの折り返し成
分が残存することになる。

【数３】 Y ＝0.701G＋0.087B＋0.212R （４） 折り返し成分の残存量＝0.701-0.087-0.212=0.402 （５）

【０００９】さらに従来の映像信号処理装置において
は、図４に示すように被写体の周波数特性に対して輝度
信号Ｙの周波数特性が劣化しているという問題もある。
以下このことについて説明する。画素ずらし法による各
色チャネルの固体撮像素子と、これらの色信号を上述し
た（１）式にしたがって混合して得られる輝度信号Ｙの
画素の空間的な配置は画素に番号を付けると図１１に示
すようになる。図２に示したように、緑色用の画素と、
赤および青色用の画素とは画素ピッチの半分だけずれて
いるので、輝度信号Ｙを作成するときにはその位置関係
をずらさないように混合する必要がある。このように輝
度信号Ｙは、緑色用の固体撮像素子２Ｇの位置を基準と
して赤および青色用の固体撮像素子２Ｒおよび２Ｂの位
置を画素ピッチの半分だけずらし、（１）式にしたがっ
て混合するので、個数が固体撮像素子単体の２倍となる
ので解像度が向上することになる。

【００１０】ここで、各色信号も画素数が実質的に２倍
となるが、そのときの補間画素（図１１で括弧で示した
画素）は走査方向に見てその前の画素をそのまま用いて
いるので前の画素のレベルとなる。このような補間法は
零次ホールド法と呼ばれており既知である。この零次ホ
ールド法によって周波数特性が劣化することになる。零
次ホールド法によって周波数特性が劣化した色信号を混
合して輝度信号Ｙを作成しているので、輝度信号Ｙの周
波数特性も図４に示すように劣化することになる。上述
したように空間画素ずらし法を採用した３板式カラーテ
レビカメラから出力される色信号を処理する従来の映像
信号処理装置においては、輝度信号Ｙを作成するときに
各色信号の画素数が実質的に２倍となるが、それが零次
ホールド法による補間であるので必然的に周波数特性が
劣化するという欠点がある。

【００１１】次に、各色用の固体撮像素子から出力され
る色信号Ｒ，Ｇ，Ｂの解像度とレジストレーションエラ
ーの問題について説明する。図１２は従来の映像信号処
理装置の一例の構成を示すものであり、それぞれの色用
の固体撮像素子から出力される緑色信号Ｇをディレイ８
により1/2 画素ピッチ分遅らした信号と、赤および青色
信号Ｒ，ＢとをＹ，Ｉ，Ｑマトリックス３に供給して輝
度信号Ｙ、色差信号ＩおよびＱを作成し、色差信号はそ
れぞれのフィルタ４および５を通してエンコーダ６に供
給するとともに輝度信号Ｙをこのエンコーダに供給して
エンコードされたカラーテレビジョン信号ＥＮＣを作成
し、これを出力端子７に供給するようにしている。画素
ずらし法では、赤、緑、青色信号Ｒ，Ｇ，Ｂを、例えば
（１）式に基づいて混合して輝度信号Ｙを作成すること
によって輝度信号の解像度の向上を実現するようにして
いる。つまり、マトリックス３の部分で画素ずらしが成
立しているので、図１２に示した映像信号処理装置では
各色信号出力は固体撮像素子の解像度しか得られず、し
かも多くの折り返しを含んだ信号となる。ここで、レジ
ストレーショエラーを起こさないで各色信号を取り出す
ためには、緑色信号についてはディレイ８の出力を取り
出せばよい。これはアナログ信号として取り出す場合で
ある。しかし、ディジタル信号として取り出すには問題
がある。もし、固体撮像素子の動作周波数がｆ_s の場
合、ディジタル信号用の標本化周波数もｆ_s が適当であ
るが、緑色信号のみディレイ８の後からの信号を標本化
してしまうと、緑色信号用のクロック信号は、赤および
青色用のクロック信号に対して1/2 画素ピッチに相当す
る分だけ位相がずれてなければならない。この場合、色
信号Ｒ，Ｇ，Ｂのクロック信号を同一にできないので不
便である。また、緑色信号をディレイ８の前から取り出
して標本化すればこの問題は起きないが、各色信号間に
レジストレーションエラーが起きる。この場合、位相を
ずらすディジタルフィルタを緑色信号出力に持てばよい
が、そのためだけに回路が余計に増えてしまう欠点があ
る。

【００１２】このような欠点を解消するために、図１３
に示した映像信号処理装置が提案されている。この映像
信号処理装置においては、各色信号Ｒ，Ｇ，Ｂから輝度
信号Ｙおよび色差信号Ｉ，Ｑを生成するＹ，Ｉ，Ｑマト
リックス３の出力輝度信号Ｙ、ＩおよびＱフィルタ４お
よび５から出力される色差信号ＩおよびＱをデマトリッ
クス10に供給して各色信号Ｒ′，Ｇ′，Ｂ′を得るよう
にしている。しかしながら、このような従来の映像信号
処理装置において色信号出力端子９Ｒ，９Ｇ，９Ｂに出
力される色信号Ｒ′，Ｂ′，Ｇ′信号は折り返し成分が
多少残ることになる。すなわち、周波数特性が劣化して
いる輝度信号Ｙをデコードして色信号を作成しているの
で、図１２の方式より多くはないが多少の折り返し成分
の残留があり、周波数特性が劣化したものとなる欠点が
ある。

【００１３】以上のように空間画素ずらし法には幾つか
の問題点があるが、それでも画素数の少ない固体撮像素
子で高解像度を得るためには一つの有効な方式である。
しかし、実際には放送規格やＶＴＲ規格の映像信号はそ
れほど高い解像度を持っていない。例えば、40万画素ク
ラスの固体撮像素子が出力する信号は、動作周波数ｆ _s
が14.32MHzとなり、出力信号の周波数帯域は7.16MHz と
なり図６や図７に示すように0.5 ｆ_s までの帯域しかな
いが、輝度信号Ｙを作成すると見掛けの画素数が２倍と
なるので、周波数帯域は図４に示すようにｆ_s =14.32MH
z 近くまで延びる。しかし、映像信号を記録する場合に
おいて、例えばディジタルＶＴＲのＤ２方式の場合、記
録できる信号帯域は7MHz程度でしかないので、図４にお
いて0 〜0.5 ｆ_s の間の周波数帯域の信号しか記憶でき
ない。したがって、空間画素ずらし法を採用する場合に
は、画素ずらしによって作られた高解像度の輝度信号を
わざわざ帯域制限し、図４の0.5 ｆ_s からｆ_s までの周
波数成分をカットしてから記録しなければならない。例
えば図１４に示すようにＹ，Ｉ，Ｑマトリックス３の後
段に通常のＩ，Ｑフィルタ４および５の他に輝度信号Ｙ
を7MHz以下に帯域制限する輝度フィルタ11が必要とな
る。また、高品位方式の場合、固体撮像素子の画素数は
200 万画素であり、その動作周波数は74.25MHzで、出力
信号の周波数帯域は約37MHz となる。しかし、空間画素
ずらし法を採用すると、輝度信号Ｙの周波数帯域は74MH
z となる。したがって、高品位方式の規格に適合させる
ためには、帯域制限を行って元に戻す必要がある。

【００１４】いずれの場合でも、空間画素ずらし法を採
用しなければ固体撮像素子の出力信号の周波数帯域しか
ないので、帯域制限は不要となるが、その場合には出力
信号中に多くの折り返し成分が発生することになる。そ
の理由は、空間画素ずらし法を採用しない場合には、折
り返し成分の位相は緑色信号Ｇと、赤および青色信号Ｒ
およびＢとで同相となるので、輝度信号を作成する際の
混合処理によっても折り返し成分は相殺されないためで
ある。上述したように多少の折り返し成分の残留はある
が、折り返し成分を低減するには空間画素ずらし法は有
効な方法である。しかし、放送方式や記録方式に適合さ
せるためには帯域制限を行う必要があり、それだけ余分
な回路が必要となる欠点がある。

【００１５】本発明の目的は、上述した従来の映像信号
処理装置の欠点を解消し、固体撮像素子から出力される
各色信号Ｒ，Ｇ，Ｂに含まれる折り返し成分を除去し、
画素ずれ、いわゆるレジストレーションエラーのない色
信号Ｒ，Ｇ，Ｂを出力することができ、しかも輝度信号
Ｙを作成するときに生ずる周波数特性の劣化と折り返し
成分の残留を防止することができるとともに放送方式や
記録方式に適合させるために周波数帯域を制限する必要
のない映像信号処理装置を提供しようとするものであ
る。

【００１６】

【課題を解決するための手段】本発明の映像信号処理装
置は、各々が多数の受光素子をマトリックス状に配列し
た少なくとも２個の固体撮像素子を具え、これらの固体
撮像素子を、それらの受光素子が受光素子の配列ピッチ
のほぼ半分だけ主走査方向に互いにずれるように配置し
て空間画素ずらしを行った固体撮像装置から出力される
複数の色信号の画素ピッチをＰとするとき、各色信号の
うちのどれか一つを＋０．２５Ｐまたは−０．２５Ｐだ
け画素をずらし、その位置に合うように他の色信号の画
素をずらして複数の色信号間の画素ずれを周波数特性の
劣化を抑止しながら補正する画素ずれ補正手段と、各色
信号に含まれる折り返し成分を検出する折り返し成分検
出手段と、この折り返し成分検出手段によって検出した
折り返し成分信号により各色信号中の折り返し成分を除
去する折り返し成分除去手段とを具えることを特徴とす
るものである。本発明においては、前記画素ずれ補正手
段、折り返し成分検出手段および折り返し成分除去手段
の各々を、前記固体撮像素子の動作周波数の1/2 の以上
の帯域の信号を取り扱わないように構成する。

【００１７】

【作用】このような本発明による映像信号処理装置にお
いては、従来の映像信号処理装置の欠点は、画素ずらし
を輝度信号を作成するときに成立させるようにしている
ために起こるものであり、したがって従来の欠点を解消
するには、画素ずらしを輝度信号を作成するときに成立
させるのではなく、各色信号Ｒ，Ｇ，Ｂで画素ずらしを
成立させることによって上述した目的を達成することが
できることを確かめ、その認識に基づいてなしたもので
ある。また、画素ずれ補正手段、折り返し成分検出手段
および折り返し成分除去手段の各々を、固体撮像素子の
動作周波数の1/2 以上の周波数帯域の信号を取り扱わな
いように構成することによって本発明の映像信号処理装
置から出力される映像信号の周波数帯域をわざわざ制限
して放送方式や記録方式の規格に適合させる必要はなく
なる。

【００１８】

【実施例】図１５は本発明による映像信号処理装置を具
える３板式カラーテレビカメラの全体の構成を示すもの
である。被写体の光学像を色分解プリズム２１で赤、緑
および青色の光学像に分解し、それぞれの光学像を固体
撮像素子２２Ｒ，２２Ｇおよび２２Ｂで受光し、それぞ
れの色信号Ｒ，Ｇ，Ｂを出力させる。これらの色信号
Ｒ，Ｇ，Ｂを本発明による映像信号処理装置２３に供給
して色信号Ｒ₀ ，Ｇ₀，Ｂ₀ を作成する。これらの色信
号Ｒ₀ ，Ｇ₀ ，Ｂ₀ をマトリックス２４に供給して輝度
信号Ｙ、色差信号ＩおよびＱを作成し、輝度信号Ｙをエ
ンコーダ２５に供給するとともに色差信号ＩおよびＱを
それぞれフィルタ２６および２７を経てエンコーダ２５
に供給し、ここでエンコードされたカラーテレビジョン
信号ＥＮＣを作成し、出力端子２８に供給する。また、
映像信号処理装置２３で作成された赤、緑および青色信
号Ｒ₀ ，Ｇ₀ およびＢ₀ を出力端子２９Ｒ，２９Ｇおよ
び２９Ｂにそれぞれ出力する。

【００１９】本発明の映像信号処理装置２３において
は、上述したように画素ずれ補正手段、折り返し成分検
出手段および折り返し成分除去手段を設けるが、次にこ
れらの手段について説明する。画素ずれ補正手段は、空
間画素ずらし法を採用したカラーテレビカメラの各色用
の固体撮像素子から出力される色信号Ｒ，Ｇ，Ｂ間にず
れがあるので、これを補正するものである。このような
画素ずれ補正手段の簡単な例としては、空間画素ずらし
法により図１〜３に示されているように固体撮像素子が
配置されている場合、緑色信号Ｇに対して赤および青色
信号ＲおよびＢを画素の配列ピッチの半分に相当する走
査時間だけ時間を遅らせれば、各色信号が図１１に示す
ような関係となり、画素ずれが補正されるが、見掛け上
の画素数が２倍になってしまうので、周波数帯域も２倍
になる。単に画素ずれを補正するだけならこれでも良い
が、帯域を広げることなく画素ずれを補正するために本
発明においてはディジタルフィルタを用いる。この場
合、ディジタルフィルタの段数が少ないと、またずらす
量が大きいと周波数特性が劣化してしまうことになる。
ディジタルフィルタにより画素ずれを補正するには緑色
信号Ｇを0.5 画素ずらして赤および青色信号ＲおよびＢ
に合わせる方法がある。この0.5 画素ずらすフィルタの
伝達関数および周波数特性を図１７の曲線Ａで示す。こ
の場合、緑色信号Ｇの周波数特性は0.5 ｆ_s 付近で極端
に劣化する。赤および青色信号ＲおよびＢはフィルタに
通さないので周波数特性の劣化はない。このように緑色
信号Ｇのみをディジタルフィルタに通すと、緑色信号Ｇ
と、赤および青色信号ＲおよびＢとの周波数特性が異な
ってしまうので、以後の処理において不都合が生じるこ
とになる。そこで、本発明においてはこのような周波数
特性の劣化を抑止するために、図１６Ａに示すように緑
色信号Ｇを右へ0.25Ｐ（Ｐは画素ピッチ）ずらせるとと
もに赤および青色信号ＲおよびＢを左へ0.25P だけずら
せるようにする。このような画素ずれ補正を行うことに
よってずらし量を少なくすることができ、したがって少
ない段数のディジタルフィルタを用いても周波数特性の
劣化を少なくすることができる。また、仮に周波数特性
の劣化があったとしても、緑、赤および青色信号での劣
化が同一となるので有利である。従来のように0.5Pの画
素ずらしを行うディジタルフィルタの周波数特性を図１
７の曲線Ａで示し、本発明のように0.25P の画素ずらし
を行うディジタルフィルタの周波数特性を曲線Ｂで示す
が、本発明によれば周波数特性の劣化が抑止されている
ことがわかる。

【００２０】上述した本発明の画素ずれ補正手段は、左
右の係数が非対称のディジタルフィルタを用いて実現で
きるが、このようなディジタルフィルタの一例を図１８
に示す。なお、図１７に示した伝達関数を回路化すると
16個の乗算器が必要であるが、ここでは説明を簡単とす
るために４個の乗算器で構成する場合を例にして以後説
明する。先ず、緑色信号Ｇを右へ0.25P ずらす場合につ
いて説明する。入力端子３１aに与えられる映像信号を
それぞれ１画素ピッチに相当する走査時間だけ遅延する
遅延器３２ｂ〜３２ｄに順次に供給する。入力端子３１
ａに図１６Ａにおける画素Ｇ４が入力したときに、遅延
器３２ｂの出力には画素Ｇ３が、遅延器３２ｃの出力に
は画素Ｇ２が、遅延器３２ｄの出力には画素Ｇ１が出力
される。また、これらの遅延器３２ｂ〜３２ｄの出力端
子をそれぞれ乗算器３３ｂ〜３３ｄの一方の入力端子に
供給する。入力端子３１ａはそのまま乗算器３１ａの一
方の入力端子に接続する。これら乗算器３３ａ〜３３ｄ
の他方の入力端子には係数「C-2=-0.05 」、「 C-1=0.
3」、「 C1=0.9 」、「C2=-0.15」をそれぞれ供給す
る。これらの乗算器３３ａ〜３３ｄの出力信号を加算器
３４で加算し、その結果をフィルタ出力として出力端子
３５から出力する。上述したように係数を選択すること
によってC1とC2との合計は0.75となり、C-1 とC-2 との
合計は0.25となるので、図１９Ａに示すように画素Ｇ２
と画素Ｇ３との間であって、画素Ｇ２から0.25P だけ離
れた位置の信号レベルを内挿することができる。次に、
赤および青色信号ＲおよびＢを左へ0.25P だけずらす場
合について説明する。入力端子３１ｂに与えられる映像
信号は、遅延器３２ａ〜３２ｄに順次供給され、遅延器
３２ａ〜３２ｄの出力は乗算器３２ａ〜３２ｄの一方の
入力端子に供給される。入力端子３１ｂに図１６Ａにお
ける画素Ｒ４／Ｂ４が入力したとき、遅延器３２ａの出
力には画素Ｒ３／Ｂ３が、乗算器３２ｂの出力には画素
Ｒ２／Ｂ２が、乗算器３２ｃの出力には画素Ｒ１／Ｂ１
が、乗算器３２ｄの出力には画素Ｒ０／Ｂ０が出力され
る。係数を「C-2=-0.15 」、「 C-1=0.9」、「 C1=0.3
」、「C2=-0.05」と上述した係数の左右を逆にすれ
ば、図１９Ｂに示すように画素Ｒ１／Ｂ１と画素Ｒ２／
Ｂ２との間にあって画素Ｒ２／Ｂ２から-0.25P離れた位
置の信号レベルを内挿することができる。ここで、右に
0.25画素ずらす場合と、左に0.25画素ずらす場合とは、
同じ係数値を左右逆に設定すればよいので、フィルタの
周波数特性は同じとなる。本発明によればこのような画
素ずれ補正手段は図１８に示すような４タップのものに
限定されるものではなく、もっとタップ数の多いものと
することができ、タップ数を多くすることによって周波
数特性を理想的なフラットのものとすることができる。
このようにして得られた画素ずれのない赤、緑および青
色信号をＲ′、Ｇ′およびＢ′と称することにする。こ
れらの色信号は単に画素ずれを補正した信号なので、も
しフィルタの特性がフラットであれば、周波数特性は図
６および図７に示すものと同じとなる。画素ずれ補正手
段の他の方法として図１６Ｂに示すように赤および青色
信号を右に0.25画素ずらし、緑色信号を左へ0.75画素ず
らす方法もある。この場合には、緑色信号と、赤および
青色信号はいずれも図１８において入力端子３１ａに与
え、緑色信号の場合の係数値を、「C-2=-0.15 」、「 C
-1=0.9」、「 C1=0.3 」、「C2=-0.05」とすれば0.75画
素ずらすフィルタとなり、赤および青色信号の場合の係
数値を「C-2=-0.05 」、「 C-1=0.3」、「 C1=0.9 」、
「C2=-0.15」とすれば0.25画素ずらすフィルタとなる。
この場合も、同じ係数値を、左右逆に設定すればよいの
で、フィルタの周波数特性は同じとなる。

【００２１】次に、折り返し成分検出手段について説明
する。この手段は、上述した画素ずれ補正手段によって
画素ずれが補正された色信号Ｒ′，Ｇ′，Ｂ′から折り
返し成分信号を検出するものである。折り返しとは、例
えば固体撮像素子の動作周波数をｆ_s とすると、図５に
示すような周波数特性を有する白黒の被写体を撮像する
場合、0.5 ｆ_s 以上の高域成分が0.5 ｆ_s を中心として
0.5 ｆ_s 以下に折り返されたものである。上述したよう
にこの折り返し成分は、図６および７に示すように緑色
信号Ｇと、赤および青色信号ＲおよびＢとでは位相が18
0 °異なったものとなっている。これは空間画素ずらし
法により図３に示すように緑色用の固体撮像素子の画素
と画素の間に赤および青色用固体撮像素子の画素が位置
するように画素ピッチの半分だけずれているためであ
る。

【００２２】したがって、被写体の周波数0.5 ｆ_s 以下
の信号成分をＰとし、折り返し信号をＡとすれば、各色
信号Ｒ′，Ｇ′，Ｂ′には以下に示すように折り返し信
号が加算されていることになる。

【数４】 Ｒ′＝Ｐ−Ａ Ｇ′＝Ｐ＋Ａ Ｂ′＝Ｐ−Ａ （６） したがって、色信号Ｒ′，Ｇ′，Ｂ′から次式（７）に
したがって折り返し信号Ａを検出することができる。な
お、（７）式において、係数ｒおよびｂはその和が0.5
となるようなものであれば、どのような値であってもよ
い。

【数５】 Ａ＝0.5 Ｇ′−ｒＲ′−ｂＢ′ （７） だたし、ｒ＋ｂ＝0.5

【００２３】被写体の周波数特性が図５に示すようなも
のであり、緑色用の固体撮像素子が出力する緑色信号Ｇ
の周波数特性が図６に示すようなものであり、赤および
青色用の固体撮像素子が出力する赤および青色信号Ｒお
よびＢの周波数特性が図７に示すような場合、折り返し
信号Ａの周波数特性は、図５の周波数0.5 ｆ_s 以上が0.
5 ｆ_s を中心として低域側に折り返った特性となり、図
２０に示すようなものとなる。ただし、これは上述した
ように被写体が白黒の場合である。被写体に彩度がある
場合には、各色信号Ｒ，Ｇ，Ｂの間にレベル差が生じる
ので折り返し成分がなくとも折り返し信号Ａは何らかの
レベルを持つことになる。このままでは、折り返し信号
Ａが、真の折り返し成分を検出したものであるのか、被
写体に彩度があるための色信号Ｒ，Ｇ，Ｂ間のレベル差
なのかわからない。

【００２４】色情報を伝える信号は色差信号であるが、
この色差信号も帯域がかなり狭く、ＮＴＳＣ方式の場合
にはＩ信号で1.5MHzである。この色差信号の周波数帯域
をｆ _c とすると、もし被写体に彩度があれば、上述した
折り返し信号Ａの周波数ｆ_c以内の成分（図２１におい
て斜線で示すもの）は折り返し成分ではなく、色の成分
である。したがって、図２１の斜線部分に発生する成分
は折り返しによるものではないので、これを取り除く必
要がある。したがって、折り返し信号Ａを周波数ｆ_c 以
内が十分に減衰できるハイパスフィルタに通し、周波数
ｆ_c 以上の高域成分のみを抽出する。本発明ではこのよ
うにして折り返し成分信号Ｈを検出するが、この折り返
し成分信号の検出処理は次のようにして表されるもので
ある。

【数６】Ｈ＝Ａ×ＨＰＦ_fc ここでＨＰＦ_fcはハイパスフィルタの周波数特性であ
る。 （８）このようにして折り返し成分信号
を検出すれば、以後の処理において少なくとも規定の放
送方式の色差信号の伝送帯域内の周波数成分に影響を与
えないようにすることができる。

【００２５】次に、折り返し除去手段について説明す
る。この折り返し除去手段では、折り返し成分検出手段
で検出した折り返し成分信号Ｈにより各色信号Ｒ′，
Ｇ′，Ｂ′から折り返し成分を除去するものである。各
色信号Ｒ′，Ｇ′，Ｂ′に含まれる折り返し成分は、上
述したように緑色信号Ｇ′と、赤および青色信号Ｒ′お
よびＢ′とでは位相が180 °異なっている。したがって
色信号Ｒ′，Ｇ′，Ｂ′に折り返し成分信号Ｈを次式
（９）で示すように付加すれば、各色信号に含まれる折
り返し成分は相殺除去されることになる。このようにし
て折り返し成分が除去された色信号をＲａ，Ｇａ，Ｂａ
とする。

【数７】 Ｒａ＝Ｒ′＋Ｈ Ｇａ＝Ｇ′−Ｈ Ｂａ＝Ｂ′＋Ｈ （９）

【００２６】上述したように、図２２に示した周波数特
性を有する信号から図２１の周波数ｆ_c 以上を抽出して
得られる折り返し成分信号Ｈを各色信号Ｒ′，Ｇ′，
Ｂ′に式（９）により付加すると折り返し成分を除去す
ることができ、図２３に示すように周波数0.5 ｆ_s 以下
の信号成分だけが再現されることになる。

【００２７】上述した各手段で構成される本発明の映像
信号処理装置の幾つかの実施例を以下説明する。図２４
は本発明による映像信号処理装置の第１の実施例を示す
ものである。各色用の固体撮像素子から出力される色信
号Ｒ, Ｇ, Ｂを先ず画素ずれ補正部４１に供給し、各色
信号Ｒ，Ｂ，Ｇ間の画素ずれを補正した色信号Ｒ′、
Ｇ′、Ｂ′を作成する。これらの色信号を折り返し成分
検出部４２に供給し、ここで折り返し成分信号Ｈを検出
するとともに折り返し成分除去部４３にも供給し、折り
返し成分検出部４２で検出した折り返し成分信号Ｈをこ
の折り返し成分除去部に供給して折り返し成分を除去す
る。このようにして画素ずれが補正され、折り返し成分
が除去された色信号Ｒ0, G0, B0 が得られることにな
る。

【００２８】図２５は画素ずれ補正部４１の詳細な構成
を示すものである。赤および青色信号ＲおよびＢを画素
ずらし用のディジタルフィルタ５１Ｒ，５１Ｇ，５１Ｂ
へそれぞれ供給する。ディジタルフィルタ５１Ｒは赤色
信号Ｒを画面の左方向へ0.25P だけ画素ずらしを行うも
のであり、ディジタルフィルタ５１Ｇは緑色信号Ｇを画
面の右方向へ0.25P だけ画素ずらしするものであり、デ
ィジタルフィルタ５１Ｂは青色信号Ｂを画面の左方向へ
0.25P だけ画素ずらしするものである。これらのディジ
タルフィルタは図１８に示すものにおいて係数Ｃ−２，
Ｃ−１，Ｃ１，Ｃ２を適正に設定することによって実現
することができる。

【００２９】上述したように画素ずれを補正した色信号
Ｒ′，Ｇ′，Ｂ′を折り返し成分検出部４２に供給す
る。この折り返し成分検出部４２の詳細な構成を図２６
に示す。画素ずれを補正した各色信号Ｒ′，Ｇ′，Ｂ′
を乗算器５５Ｒ，５５Ｇ，５５Ｂの一方の入力端子に供
給する。乗算器５５Ｒの他方の入力端子には係数「ｒ」
を供給し、乗算器５５Ｇの他方の入力端子には係数「0.
5 」を供給し、乗算器５５Ｂの他方の入力端子には係数
「ｂ」を供給する。ここで、係数ｒおよびｂはその和が
0.5 となるような値であればどのような値を設定しても
よい。乗算器５５Ｒおよび５５Ｂの出力信号を加算器５
６で加算し、これを減算器５７に供給する。この減算器
５７には乗算器５５Ｇの出力信号をも供給し、加算器５
６の出力信号から乗算器５５Ｇの出力信号を減算して折
り返し信号Ａを取り出す。この折り返し信号Ａをさらに
ハイパスフィルタ５８に供給する。このハイパスフィル
タ５８は、例えば色差信号の周波数帯域をｆ_c とする
と、周波数ｆ_c 以下の信号成分は十分に減衰され、周波
数ｆ_c 以上の高域成分のみを通過させるものである。こ
のようにしてハイパスフィルタ５８から折り返し成分信
号Ｈを得ることができる。

【００３０】図２４に示すように、画素ずれ補正部４１
から出力される画素ずれの補正された各色信号Ｒ′，
Ｇ′，Ｂ′と、折り返し成分検出部４２で検出された折
り返し成分信号Ｈとを折り返し成分除去部４３に供給し
て各色信号に含まれている折り返し成分を除去する。図
２７は折り返し成分除去部４３の詳細な構成を示すもの
である。画素ずれ補正部４１で各色間の画素ずれが補正
された赤および青色信号Ｒ′およびＢ′を、折り返し成
分検出部４２で検出された折り返し成分信号Ｈとともに
それぞれ加算器６１Ｒおよび６１Ｂへ供給するとともに
画素ずれが補正された緑色信号Ｇ′を折り返し成分信号
Ｈとともに減算器６１Ｇへ供給し、上述した式（９）に
従う演算を行って折り返し成分が除去された色信号Ｒ
ａ，Ｇａ，Ｂａを作成する。

【００３１】本発明は上述した実施例にのみ限定される
ものではなく、幾多の変更や変形が可能である。例え
ば、被写体の色の付いている部分で折り返し成分信号Ｈ
のレベルを零とすることにより、被写体の無彩色部分ま
たは無彩色に近い部分に付いてのみ折り返し成分の除去
を行うようにすることもできる。すなわち、折り返し成
分検出手段の第２の実施例においては、各色信号に含ま
れる折り返し成分が各色信号の中でその位相が異なるこ
とを利用して折り返し成分信号を検出し、さらに各色信
号を調べ、色の付いていない無彩色の部分であれば、そ
の折り返し成分信号をそのまま出力し、色の付いている
彩色部分であれば折り返し成分信号を零として折り返し
成分信号を検出するものである。

【００３２】上述した折り返し成分検出手段において
は、被写体に色が付いていれば、色信号Ｒ，Ｇ，Ｂ間に
レベル差が生じ、式（７）にしたがって折り返し信号Ａ
を作成すると、折り返しがなくても折り返し信号Ａは何
らのレベルを持つことになる。そこで、色情報を伝える
色差信号に影響を与えないように、折り返し成分信号か
ら色差信号帯域ｆ_c 以上の成分を取り出した折り返し成
分信号Ｈを得るようにしている。これは、あくまでも色
情報を伝える色差信号にさえ影響がなければよいという
ことが前提である。しかし、実際には被写体に色が付い
ていて、しかもその被写体に色差信号帯域ｆ_c 以上の周
波数成分があれば、折り返し成分信号Ｈには折り返しで
もないのに何らかのレベルを持ち、その結果折り返し除
去手段で誤った処理が行われることになる。上述した欠
点を除去するために、折り返し成分検出手段の他の実施
例においては、被写体に色が付いているかどうかを検出
し、その部分では折り返し成分信号Ｈのレベルを強制的
に零とすることによって被写体の無彩色部分または無彩
色に近い部分でのみ折り返し除去を行うものである。

【００３３】先ず、被写体に色が付いているか否かを検
出する方法について説明する。被写体に色が付いている
かどうかを検出するには、各色信号Ｒ，Ｇ，Ｂの比率が
１：１：１になっているかどうかを検出する方法がある
が、ここでは上述した第１の実施例の折り返し成分検出
手段の構成を変更することによって簡単に実現する方法
について説明する。被写体に色が付いていれば、色信号
Ｒ，Ｇ，Ｂ間にレベル差が生じ、式（７）においても折
り返し信号Ａには何らかのレベルを持つことになる。色
が付いていなければ色信号Ｒ，Ｇ，Ｂ間にレベル差がな
いので折り返し信号Ａは零となる。ただし、これは画素
ずれを補正した色信号Ｒ′，Ｇ′，Ｂ′に折り返しがな
い場合であり、画素ずれを補正した色信号に折り返しが
ある場合には、それは比較的高域の周波数に多く含まれ
る筈である。そこで、折り返し信号Ａの低域部を取り出
せば、折り返し成分は無視できることになる。この折り
返し信号Ａの低域成分をＡ_L とする。この低域成分Ａ_L
が零であれば、その部分では被写体に色が付いていない
ことになり、この低域成分Ａ_L が零でなければ被写体に
色が付いていると判断することができる。

【００３４】上述した原理に基づいて折り返し信号Ａの
低域成分Ａ_L により被写体に色が付いているか否かを判
定し、判定信号Ａ_C を作成する。この判定信号Ａ_C は、
被写体に色が付いていると判定されれば、その部分を0.
0 とし、色が付いていないと判定された部分を1.0 とす
る信号である。色が付いているか否か微妙な部分は0.0
から1.0 の間の値とするものである。最後に、判定信号
Ａ_C が被写体に色が付いていること示している場合に
は、その部分では折り返し成分信号Ｈのレベルを零と
し、被写体に色が付いていないと判定された部分では折
り返し成分信号Ｈをそのまま出力する。このようにして
作成した折り返し成分信号をＨ′とする。上述した処理
は実際には次の演算によって行うことができる。

【数８】 Ｈ′＝Ｈ×Ａ_C （１０）

【００３５】上述した折り返し成分検出手段によれば、
色が付いているかどうか微妙な部分で、比較的色が付い
ていて判定信号Ａ_C が0.0 に近い値である場合には、出
力される折り返し成分信号′は零に近づき、また逆に色
の付きが少なく、判定信号Ａ _C の値が1.0 に近い部分で
は折り返し成分信号Ｈのレベルに近い値を有する信号が
得られることになる。このようにして、被写体の無彩色
部分または無彩色に近い部分の折り返し成分を抽出した
折り返し成分信号Ｈ′を得ることができる。このような
折り返し成分信号Ｈ′を上述した折り返し除去手段に与
えれば、被写体の無彩色部分またはそれに近い部分に対
してだけ折り返し成分除去が行われ、色の付いている部
分では何の処理も行わないので、被写体に色差信号帯域
ｆ_c 以上の周波数成分がある場合でも、誤った処理がな
されるのを有効に防止することができる。

【００３６】図２８は上述した折り返し成分検出手段の
具体的な構成を示すものであり、左側に示す乗算器５５
Ｒ，５５Ｇ，５５Ｂ，加算器５６、減算器５７およびハ
イパスフィルタ５８は図２６に示した折り返し成分検出
部の構成と対応しており、左側の破線で囲った部分が追
加された部分である。本例においては、減算器５７から
出力される折り返し信号Ａからハイパスフィルタ５８の
出力Ｈを減算器６５で減算することによって折り返し信
号Ａの低域成分Ａ_L を検出する。この低域成分Ａ_L は折
り返し信号Ａをローパスフィルタに通すことによって得
ることもできる。

【００３７】次に、この減算器６５から出力される低域
信号Ａ_L を絶対値回路６６に供給して絶対値を求める。
折り返し信号Ａは式（７）に示すように処理するので正
負の値を取るので、その低域成分Ａ_L も正負の値を取る
ので、その絶対値を求める必要がある。このようにして
求めた低域成分Ａ_L の絶対値を次に乗算器６７に供給
し、任意のゲイン量で増幅する。このゲイン量により後
段の処理で次のように処理される。このゲイン量を小さ
くすれば、被写体の無彩色部分と彩色部分との区別が甘
くなり、比較的色が付いている部分でも色が付いていな
いような処理がなされることになる。また、ゲイン量を
過度に大きくすると、あまり色が付いていない部分でも
色が付いているような処理がなされることになる。

【００３８】さらに、乗算器６７の出力信号をクリップ
回路６８に供給し、乗算器の出力信号が1.0 を越える場
合にこれを1.0 にクリップする。このクリップ回路６８
の出力信号をさらに減算器６９に供給し、「1.0 」値か
らこの出力信号を減算する。この減算器６９の出力信号
が判定信号Ａ_C であり、被写体に色が付いていれば、そ
の部分では判定信号Ａ_C は0.0 となり、色が付いていな
い部分では1.0 となり、色が付いているか否か微妙な部
分では0.0 〜1.0 の間の値を取ることになる。

【００３９】ハイパスフィルタ５８から出力される折り
返し成分信号Ｈと上述した減算器６９から出力される判
定信号Ａ_C とを乗算器７０に供給してこれらの積を求め
ることにより、色の付いている部分では折り返し成分信
号Ｈのレベルを零とし、被写体に色が付いていない部分
では折り返し成分信号Ｈをそのまま出力した折り返し成
分信号Ｈ′が得られることになる。

【００４０】

【発明の効果】上述したように本発明による映像信号処
理装置によれば、空間画素ずらしが行われた固体撮像素
子から出力される色信号に含まれる折り返しを完全に除
去し、周波数特性の良い色信号を得ることができる。す
なわち、従来の映像信号処理装置においては、輝度信号
を作成するマトリックスで画素ずらしを成立させていた
ので、周波数特性の劣化があり、折り返し成分が若干残
っていたが、本発明によれば非対称ディジタルフィルタ
による理想的な画素ずれ補正を行うようにしているの
で、周波数特性の劣化を殆どなくすことができる。ま
た、画素ずらし補正手段、折り返し成分検出手段および
折り返し成分除去手段のいずれにおいても周波数帯域が
従来方式のように固体撮像素子の駆動周波数の２倍にな
らないので、放送規格やＶＴＲの規格に合わせるために
わざわざ周波数帯域を制限する必要はなくなる。さら
に、各色信号で画素ずらしを成立させているので、３板
式カラーテレビカメラから色信号を出力する場合、従来
の映像信号処理装置のようなレジストレーションエラー
が全くない色信号を得ることができる。したがって、色
信号をマトリックスして作られる輝度信号も折り返し成
分が完全に除去され、周波数特性の劣化もなく、高品質
の映像信号を得ることができる。

【図面の簡単な説明】

【図１】図１は、空間画素ずらし法を採用したカラーテ
レビカメラの撮像部の構成を示す図である。

【図２】図２は、同じくその各色用の画素位置の配置を
示す線図である。

【図３】図３は、同じく各色用の画素の空間的配置位置
の関係を示す線図である。

【図４】図４は、輝度信号に含まれる折り返し成分を示
す図である。

【図５】図５は、被写体の周波数特性を示す図である。

【図６】図６は、緑色信号の周波数特性を示す図であ
る。

【図７】図７は、赤および青色信号の周波数特性を示す
図である。

【図８】図８は、各色用の撮像素子による走査位置を示
す図である。

【図９】図９は、緑色用の撮像素子による走査位置を示
す図である。

【図１０】図１０は、赤および青色用の撮像素子による
走査位置を示す図である。

【図１１】図１１は、従来の零次ホールド法による補間
処理を示す図である。

【図１２】図１２は、従来の映像信号処理装置の一例を
示すブロック図である。

【図１３】図１３は、従来の映像信号処理装置の他の例
を示すブロック図である。

【図１４】図１４は、従来の映像信号処理装置のさらに
他の例を示すブロック図である。

【図１５】図１５は、本発明による映像信号処理装置を
具えるカラーテレビカメラの全体の構成を示す図であ
る。

【図１６】図１６ＡおよびＢは、本発明による画素ずれ
補正処理を示す線図である。

【図１７】図１７ＡおよびＢは、本発明による画素ずれ
補正処理における周波数特性を従来例と比較して示す図
である。

【図１８】図１８は、画素ずれ補正手段で用いられるデ
ィジタルフィルタの一例の構成を示す回路図である。

【図１９】図１９は、画素ずれ補正手段での内挿位置を
示す線図である。

【図２０】図２０は、折り返し成分を示す図である。

【図２１】図２１は、折り返し成分と色差信号成分を示
す図である。

【図２２】図２２は、画素ずれ補正手段で処理された信
号を示す線図である。

【図２３】図２３は、折り返し成分が除去された信号を
示す線図である。

【図２４】図２４は、本発明による映像信号処理装置の
構成を示すブロック図である。

【図２５】図２５は、その画素ずれ補正部の詳細を示す
図である。

【図２６】図２６は、その折り返し成分検出部の詳細を
示す図である。

【図２７】図２７は、その折り返し成分除去部の詳細を
示す図である。

【図２８】図２８は、折り返し成分検出部の他の実施例
の詳細を示す図である。

【符号の説明】

２１ 色分解プリズム ２２Ｒ，２２Ｇ，２２Ｂ 固体撮像素子 ２３ 映像信号処理装置 ２４ マトリックス ２５ エンコーダ ２６ Ｉフィルタ ２７ Ｑフィルタ ４１ 画素ずれ補正部 ４２ 折り返し成分検出部 ４３ 折り返し成分除去部

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 各々が多数の受光素子をマトリックス状
   に配列した赤、緑および青色用の３個の固体撮像素子を
   具え、これらの固体撮像素子を、それらの受光素子が受
   光素子の配列ピッチのほぼ半分だけ主走査方向に互いに
   ずれるように配置して空間画素ずらしを行った固体撮像
   装置から出力される赤、緑および青色の色信号を処理す
   る映像信号処理装置において、 前記各固体撮像素子の画素ピッチをＰとするとき、或る
   固体撮像素子から出力される色信号をフィルタにより＋
   ０．２５Ｐまたは−０．２５Ｐだけ画素をずらし、その
   位置に合うように他の２つの固体撮像素子から出力され
   る２つの色信号の各々をフィルタにより−０．２５Ｐま
   たは＋０．２５Ｐだけ画素をずらすことにより、空間画
   素ずらしのために３つの固体撮像素子から出力される３
   つの色信号間に発生する画素ずれを補正した色信号を出
   力する画素ずれ補正手段と、 この画素ずれ補正手段から出力される各色信号を入力
   し、前記或る固体撮像素子から出力される色信号と、前
   記他の２つの固体撮像素子から出力される２つの色信号
   を任意の混合比でミックスしたものとの差の高周波成分
   を求めることにより、各固体撮像素子から出力される各
   色信号に含まれる折り返し成分を検出する折り返し成分
   検出手段と、 この折り返し成分検出手段によって検出された折り返し
   成分を、前記画素ずれ補正手段から出力される各色信号
   に加算または減算することにより、各色信号中の折り返
   し成分を除去する折り返し成分除去手段とを具えること
   を特徴とする映像信号処理装置。
2. 【請求項２】 前記折り返し成分検出手段を、前記画素
   ずれ補正手段から出力さる各色信号を受け、前記或る固
   体撮像素子から出力される色信号と、前記他の２つの固
   体撮像素子から出力される色信号を任意の混合比でミッ
   クスしたものとの差を求めた後、放送方式の色差信号帯
   域以外の成分を抽出するハイパスフィルタに通して、３
   つの固体撮像素子から出力される各色信号に含まれる折
   り返し成分を検出することを特徴とする請求項２記載の
   映像信号処理装置。