JP3555639B2 - ビデオカメラ - Google Patents

ビデオカメラ Download PDF

Info

Publication number
JP3555639B2
JP3555639B2 JP11569696A JP11569696A JP3555639B2 JP 3555639 B2 JP3555639 B2 JP 3555639B2 JP 11569696 A JP11569696 A JP 11569696A JP 11569696 A JP11569696 A JP 11569696A JP 3555639 B2 JP3555639 B2 JP 3555639B2
Authority
JP
Japan
Prior art keywords
signal
filter
detail
frequency
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11569696A
Other languages
English (en)
Other versions
JPH09284660A (ja
Inventor
貴 浅井田
真吾 島崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP11569696A priority Critical patent/JP3555639B2/ja
Publication of JPH09284660A publication Critical patent/JPH09284660A/ja
Application granted granted Critical
Publication of JP3555639B2 publication Critical patent/JP3555639B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、撮像素子からの映像信号をディジタル化して処理する、業務用ビデオカメラなどのビデオカメラの、特に輪郭強調処理部分に関する。
【0002】
【従来の技術】
ビデオカメラ、特に高画質の映像出力が要求される業務用ないし放送用のビデオカメラでは、撮像素子から得られた映像信号に対して画像の輪郭を強調するための処理がなされる。この輪郭強調処理は、イメージエンハンス、アパーチャ、ディテールなどと称される、
具体的に、映像信号がディジタル処理されるビデオカメラでは、例えばCCD固体撮像素子によって被写体像が撮影されて得られたR(赤),G(緑),B(青)チャンネルの映像信号がディジタル化され、そのディジタル化された本線の映像信号からディジタル化された輪郭強調のための信号が生成され、その生成された輪郭強調信号が本線の映像信号に加算される。
【0003】
この場合、画像の垂直方向の輪郭を強調するための信号中に副搬送波周波数の成分、すなわちNTSC方式用のビデオカメラでは3.58MHzの成分が存在すると、これが本線の映像信号に加算されることによって、ビデオカメラの映像出力においてクロスカラー妨害を生じる。そのため、本線の映像信号から輪郭強調信号を生成する信号生成部には、これから得られる垂直方向の輪郭強調信号中の副搬送波周波数成分を抑圧するためのフィルタが設けられる。
【0004】
なお、ビデオカメラの輪郭強調処理に関して、特開平6−46444号には、本線の映像信号のレベル変化が大きい所で、輪郭強調信号の加算後の映像信号がダイナミックレンジを超えることによりクリップされて、画像の品質を損ねることがないように、輪郭強調信号の振幅を制限することが示されている。
【0005】
また、特開平3−277089号公報には、本線の映像信号から人の肌の色などの特定色の画像部分を検出し、その特定色の画像部分では輪郭強調信号を抑圧することによって、人の顔などの部分の輪郭が強調されるのを回避することが示されている。
【0006】
さらに、特開平6−54232号には、比較的低解像度の映像信号でよいVTRでの記録用に、低クロックレートの輪郭強調信号を、ガンマ・ニー補正前およびガンマ・ニー補正後の映像信号に加算するとともに、高解像度の映像信号が要求されるカメラ出力用に、高クロックレートの輪郭強調信号を、ガンマ・ニー補正後の映像信号からマトリクス回路により得られてアップコンバータによりクロックレートが高められた輝度信号に加算することが示されている。
【0007】
また、ビデオカメラに関して、R,BチャンネルのCCD固体撮像素子をGチャンネルのCCD固体撮像素子に対して水平方向に1/2画素ピッチ分ずらして配置する、いわゆる空間画素ずらし法によって高解像度の映像出力を得ることが知られており、特開平6−217326号や特開平6−153217号などにも示されている。
【0008】
また、この特開平6−217326号や特開平6−153217号などには、シェーディング補正をディジタル処理により行い、かつビート妨害の発生を防止するなどのために、CCD固体撮像素子を駆動するクロックレートとCCD固体撮像素子からの映像信号をディジタル化する際のクロックレートとを一致させることが示されている。
【0009】
さらに、この特開平6−217326号や特開平6−153217号などには、上記の空間画素ずらし法を用いた場合に、CCD固体撮像素子を駆動するクロックレートと等しいクロックレートでディジタル化した映像信号を、その後、CCD固体撮像素子を駆動するクロックレートの2倍のクロックレートで処理することが示されている。
【0010】
【発明が解決しようとする課題】
業務用ビデオカメラのCCD固体撮像素子は、例えば40万画素とされているが、高解像度の要求によって50万画素とされたものもある。
【0011】
そこで、ビデオカメラとして、例えば、色分解プリズムやCCD固体撮像素子などからなる撮像部を、CCD固体撮像素子からの映像信号を処理して出力するカメラ本体に対して着脱可能に構成し、そのカメラ本体に対して、40万画素のCCD固体撮像素子を有する撮像部と50万画素のCCD固体撮像素子を有する撮像部とを交換して用いることができるようにしたものが考えられる。
【0012】
この場合、40万画素のCCD固体撮像素子を有する撮像部を用いるときには、そのCCD固体撮像素子を駆動し、CCD固体撮像素子からの映像信号をディジタル化するクロックレートfs1を例えば14.3MHzとし、50万画素のCCD固体撮像素子を有する撮像部を用いるときには、上記のクロックレートfs1を例えば18MHzとするというように、使用する撮像部のCCD固体撮像素子の画素数に応じて上記のクロックレートfs1を変える必要がある。
【0013】
しかし、上述した垂直方向の輪郭強調信号中の副搬送波周波数成分を抑圧するためのフィルタは、ディジタル化された本線の映像信号からディジタル化された輪郭強調信号を生成する信号生成部に、ディジタルフィルタとして設けられる。
【0014】
そのため、このディジタルフィルタを、例えばCCD固体撮像素子が40万画素で、上記のクロックレートfs1を例えば14.3MHzとするときに、3.58MHzの周波数成分を最大に抑圧するフィルタ特性のものとする場合には、例えばCCD固体撮像素子が50万画素で、上記のクロックレートfs1を例えば18MHzとするときには、そのディジタルフィルタは、3.58MHz×(18MHz/14.3MHz)=4.51MHzの周波数成分を最大に抑圧するものとなって、3.58MHzの周波数成分が十分に抑圧されず、ビデオカメラの映像出力においてクロスカラー妨害を生じる。
【0015】
そのディジタルフィルタを、例えばCCD固体撮像素子が50万画素で、上記のクロックレートfs1を例えば18MHzとするときに、3.58MHzの周波数成分を最大に抑圧するフィルタ特性のものとする場合でも、同様である。
【0016】
そこで、この発明は、撮像素子からの映像信号をディジタル化して処理する、業務用ビデオカメラなどのビデオカメラにおいて、固体撮像素子の画素数などに応じて映像信号のクロックレートを変える場合でも、常に垂直方向の輪郭強調信号中の副搬送波周波数成分が十分抑圧され、ビデオカメラの映像出力においてクロスカラー妨害が十分軽減されるようにしたものである。
【0017】
【課題を解決するための手段】
この発明のビデオカメラは、
撮像素子からの映像信号を、第1周波数およびこの第1周波数より高い第2周波数のいずれかのクロックレートのクロックによってディジタル化するアナログ/ディジタル変換手段と、
このアナログ/ディジタル変換手段からのディジタル映像信号から、画像の垂直方向の輪郭を強調するための垂直ディテール信号を生成する垂直ディテールフィルタ部と、
この垂直ディテールフィルタ部からの垂直ディテール信号を前記ディジタル映像信号に加算する加算手段とを備え、
前記垂直ディテールフィルタ部は、
前記クロックレートが前記第1周波数であるときに前記ディジタル映像信号中の副搬送波周波数成分を抽出するフィルタ特性の第1ディジタルフィルタと、
この第1ディジタルフィルタの出力信号が入力され、前記クロックレートが前記第2周波数であるときに前記ディジタル映像信号中の副搬送波周波数成分を抽出するフィルタ特性の第2ディジタルフィルタと、
前記クロックレートが前記第1周波数であるときには前記第1ディジタルフィルタの出力信号を選択し、前記クロックレートが前記第2周波数であるときには前記第2ディジタルフィルタの出力信号を選択する選択手段と、
この選択手段によって選択された信号を前記垂直ディテール信号から減算する減算手段とを有するものである。
【0018】
上記のように構成した、この発明のビデオカメラでは、撮像素子からの映像信号をディジタル化するクロックレートが第1周波数とされるときには、垂直ディテールフィルタ部において、第1ディジタルフィルタの出力信号が、選択手段により選択され、減算手段により垂直ディテール信号から減算されることによって、最終的に垂直ディテールフィルタ部の出力の垂直ディテール信号中において副搬送波周波数成分が十分抑圧され、撮像素子からの映像信号をディジタル化するクロックレートが第2周波数とされるときには、垂直ディテールフィルタ部において、第2ディジタルフィルタの出力信号が、選択手段により選択され、減算手段により垂直ディテール信号から減算されることによって、最終的に垂直ディテールフィルタ部の出力の垂直ディテール信号中において副搬送波周波数成分が十分抑圧される。
【0019】
【発明の実施の形態】
図1および図2は、この発明のビデオカメラの一例の全体構成を示し、便宜上、2図に分けて示したものである。
【0020】
この例のビデオカメラは、全体として撮像部10とカメラ本体20とからなり、撮像部10は、カメラ本体20に対して着脱可能に構成され、例えば4本のねじによりカメラ本体20に対して機械的に連結されるとともに、コネクタまたはフレキシブルケーブルなどのケーブルを通じてカメラ本体20と電気的に接続される。
【0021】
撮像部10は、撮像レンズ11と撮像ブロック12とからなり、撮像ブロック12は、撮像レンズ11を通じて入射した光をR,G,Bの色光に分解する色分解プリズム13、この色分解プリズム13によって分解されたR,G,Bの色光が入射して被写体の赤色画像、緑色画像、青色画像が結像されるCCD固体撮像素子14R,14G,14B、このCCD固体撮像素子14R,14G,14Bを駆動するCCDドライバ15、および後述するデータが書き込まれるEEPROM(電気的に消去および書き替えが可能なROM)16などを備える。
【0022】
撮像部10としては、CCD固体撮像素子14R,14G,14Bが40万画素のものと50万画素のものとを交換して用いることができ、EEPROM16には、そのCCD固体撮像素子14R,14G,14Bの画素数のデータ、およびその他のセットアップデータが、あらかじめ書き込まれる。
【0023】
カメラ本体20には、マイクロコンピュータなどからなる後述するような制御部30が設けられ、撮像部10をカメラ本体20に対して装着接続して、カメラ本体20の電源を投入することによって、その制御部30によりEEPROM16からCCD固体撮像素子14R,14G,14Bの画素数のデータなどのセットアップデータが読み出され、そのデータにもとづいて撮像部10およびカメラ本体20が自動的にセットアップされる。
【0024】
そして、CCD固体撮像素子14R,14G,14Bが40万画素の場合には、制御部30からのデータによりCCDドライバ15は、fs1=14.3MHz(正確には14.31818MHz)のクロックレートでCCD固体撮像素子14R,14G,14Bを駆動し、CCD固体撮像素子14R,14G,14Bが50万画素の場合には、制御部30からのデータによりCCDドライバ15は、fs1=18MHz(正確に18.00MHz)のクロックレートでCCD固体撮像素子14R,14G,14Bを駆動する。
【0025】
撮像部10では、BチャンネルのCCD固体撮像素子14Bが、R,GチャンネルのCCD固体撮像素子14R,14Gに対して、垂直方向に1画素ピッチ分ずれて配置され、これにより、CCD固体撮像素子14Bから得られるBチャンネルの映像信号Baは、CCD固体撮像素子14R,14Gから得られるR,Gチャンネルの映像信号Ra,Gaに対して1H(1水平周期)遅延したものとなる。
【0026】
上記のようにカメラ本体20には制御部30が設けられ、その制御部30は、CPU31、このCPU31が実行すべき制御プログラムなどが書き込まれたROM32、CPU31のワークエリアとして機能するRAM33、および上記のEEPROM16から読み出されたデータが書き込まれるRAM34を備える。
【0027】
制御部30からは、撮像部10のCCDドライバ15に対してだけでなく、カメラ本体20の各部に、後述するようなクロックおよび制御信号が供給される。制御部30に対しては、ユーザが必要な設定や指示をする操作パネル40が接続される。
【0028】
撮像部10のCCD固体撮像素子14R,14G,14Bから得られた映像信号Ra,Ga,Baは、カメラ本体20に取り込まれて、カメラ本体20内のアナログプロセス回路51R,51G,51Bにおいて、CDS(相関二重サンプリング)によりリセット雑音が低減されるなどの処理がなされる。
【0029】
アナログプロセス回路51R,51G,51Bからの映像信号は、A/Dコンバータ52R,52G,52Bにより、CCD固体撮像素子14R,14G,14Bの画素数に応じてfs1=14.3MHzまたはfs1=18MHzのクロックレートでサンプリングされ、A/D変換される。
【0030】
A/Dコンバータ52Rからのディジタル化されたRチャンネルの映像信号R0は、遅延回路53Rにより1H遅延され、さらに遅延回路53Rからの映像信号R1は、遅延回路54Rにより1H遅延される。同様に、A/Dコンバータ52Gからのディジタル化されたGチャンネルの映像信号G0は、遅延回路53Gにより1H遅延され、さらに遅延回路53Gからの映像信号G1は、遅延回路54Gにより1H遅延される。
【0031】
上記のように、CCD固体撮像素子14BからのBチャンネルの映像信号Baは、CCD固体撮像素子14R,14GからのR,Gチャンネルの映像信号Ra,Gaに対して1H遅延するので、A/Dコンバータ52Bからのディジタル化されたBチャンネルの映像信号B1は、遅延回路53R,53Gからのディジタル化されたR,Gチャンネルの映像信号R1,G1に対して時間的に一致したものとなる。
【0032】
そして、A/Dコンバータ52R,52G,52Bからの映像信号R0,G0,B1、遅延回路53R,53Gからの映像信号R1,G1、および遅延回路54R,54Gからの映像信号R2,G2が、イメージエンハンサ100に供給されて、イメージエンハンサ100において、後述するような構成および動作により、輪郭強調信号として、それぞれfs2=2fs1のクロックレートの、ガンマ・ニー補正前の映像信号に加算されるべきディテール信号BGD、ガンマ・ニー補正後の映像信号に加算されるべきディテール信号AGD、およびビューファインダ用の映像信号に加算されるべきディテール信号VFDが生成される。
【0033】
この場合、映像信号R1,G1,B1が特定色検出回路61に供給されて、特定色検出回路61から人の肌の色などの特定色の画像部分を示す特定色検出信号STAが得られ、その特定色検出信号STAがイメージエンハンサ100に供給される。特定色検出信号STAは、複数ビットとされるが、特定色の画像部分では、その値が最小値とされ、特定色以外の画像部分では、その値が最大値とされる。
【0034】
また、制御部30に対してインタフェース回路65が接続されて、そのインタフェース回路65から各種のコントロールポートデータが得られ、そのコントロールポートデータがイメージエンハンサ100の後述する各部に供給される。
【0035】
fs1=14.3MHzまたはfs1=18MHzのクロックレートのディジタル化された映像信号R1,G1,B1は、アップコンバータ71R,71G,71Bによって、クロックレートがfs1からfs2=2fs1に、すなわちCCD固体撮像素子14R,14G,14Bの画素数に応じてfs2=28.6MHzまたはfs2=36MHzに変換される。
【0036】
このアップコンバータ71R,71G,71Bからのfs2のクロックレートの映像信号は、マスキング回路72において、色補正などの処理がなされる。
【0037】
そして、加算回路73R,73G,73Bにおいて、マスキング回路72からのR,G,Bチャンネルの映像信号に対してイメージエンハンサ100からのディテール信号BGDが加算され、その加算後のR,G,Bチャンネルの映像信号が、ガンマ・ニー補正回路74R,74G,74Bにおいて、ガンマ・ニー補正される。
【0038】
さらに、加算回路75R,75G,75Bにおいて、ガンマ・ニー補正回路74R,74G,74Bからのガンマ・ニー補正後のR,G,Bチャンネルの映像信号に対してイメージエンハンサ100からのディテール信号AGDが加算される。
【0039】
そして、マトリクス回路76において、加算回路75R,75G,75BからのR,G,Bチャンネルの映像信号から、輝度信号Y、赤色差信号Cr、青色差信号Cb、およびビューファインダ用の輝度信号Yvfが作成される。
【0040】
マトリクス回路76からの輝度信号Y、赤色差信号Cr、青色差信号Cbは、ブランキング回路77R,77G,77Bによって、ブランキング処理される。
【0041】
図では省略しているが、ブランキング処理後は、用途に応じて、例えばカメラ出力用には、輝度信号Y、赤色差信号Cr、青色差信号Cbから、エンコーダによって、コンポジット映像信号が形成され、例えばVTRでの記録用には、輝度信号Y、赤色差信号Cr、青色差信号Cbが、レートコンバータによって、fs2より低いクロックレートの信号に変換されて取り出される。
【0042】
また、加算回路81において、マトリクス回路76からのビューファインダ用の輝度信号Yvfにイメージエンハンサ100からのディテール信号VFDが加算され、その加算回路81からの、ディテール信号VFDの加算後の輝度信号が、ブランキング回路77R,77G,77Bによりブランキング処理され、さらにD/Aコンバータ83によりD/A変換されて、ビューファインダ90に供給される。
【0043】
図3は、上記のイメージエンハンサ100の一例の全体構成を示し、この例のイメージエンハンサ100は、コムフィルタ110、高域アパーチャフィルタ120、水平ディテールフィルタ130、垂直ディテールフィルタ140、エッジ検出部150、ゲイン設定部170、ゲイン調整部180、およびディテール混合部190を備える。
【0044】
コムフィルタ110は、ディジタル化されたRチャンネルの映像信号R0,R1,R2およびGチャンネルの映像信号G0,G1,G2から、ライン間演算によって、高域アパーチャ(最高域の水平ディテール)用の信号GR、高域から低域までの水平ディテール用の信号YCOMB、および垂直ディテール用の信号CCOMBを出力するものである。
【0045】
高域アパーチャ用の信号GRは、式(1)で表されるように、Gチャンネルのコムフィルタ出力とRチャンネルのコムフィルタ出力とをfs1のクロックでマルチプレックスした信号である。
【0046】
GR=Kgr×MPX〔{(G1/2)+(G0+G2)/4}×(1+Kg).{(R1/2)+(R0+R2)/4}×(1+Kr)+B1×Kb〕…(1)
係数Kgr,Kg,Kr,Kbは、上記のコントロールポートデータの値によって選択されるもので、係数Kbに応じて、Rチャンネルのコムフィルタ出力にBチャンネルの映像信号B1を加算することができる。
【0047】
ただし、これは、コントロールポートデータのある1ビットであるデータAPCOMBが0のときで、データAPCOMBが1のときには、信号GRとして、コムフィルタを通らないG,Rチャンネルの映像信号G1,R1をダイレクトにマルチプレックスした信号を出力する。
【0048】
高域から低域までの水平ディテール用の信号YCOMBは、式(2)で表されるように、Gチャンネルのコムフィルタ出力とRチャンネルのコムフィルタ出力とをfs1のクロックでマルチプレックスした信号、すなわちデータAPCOMBが1のときの信号GRと同じ信号である。
【0049】
YCOMB=Ky×MPX〔{(G1/2)+(G0+G2)/4}×(1+Kg).{(R1/2)+(R0+R2)/4}×(1+Kr)+B1×Kb〕…(2)
係数Kyは、コントロールポートデータの値によって選択される。
【0050】
垂直ディテール用の信号CCOMBは、式(3)で表されるように、G,Rチャンネルの映像信号のライン間演算によって生成される。ただし、Gチャンネルの信号は、(101)構成のローパスフィルタを通じて取り出される。
【0051】
CCOMB={(G1/2)−(G0+G2)/4}×LPF(101)×(1/2)+(1+Kc)×{(R1/2)−(R0+R2)/4} …(3)
係数Kcは、コントロールポートデータの値によって選択される。
【0052】
高域アパーチャフィルタ120は、コムフィルタ110からの信号GRから、最高域の水平ディテール信号である高域アパーチャ信号APTを生成するハイパスフィルタで、コントロールポートデータの値によって、式(4)〜(7)で示す4つのフィルタ構成を選択することができる。
【0053】
APT=GR×(−1020−1)×(−1020−1) …(4)
APT=GR×(−1020−1)×(−12−1) …(5)
APT=GR×(−1020−1)×(−47−4) …(6)
APT=GR×(−1020−1) …(7)
この場合のフィルタ特性は、それぞれ図4の実線1a、長破線1b、一点鎖線1c、短破線1dのようになる。
【0054】
水平ディテールフィルタ130は、コムフィルタ110からの信号YCOMBから、それぞれ高域、中高域、中域、低域の水平ディテール信号H,MH,M,Lを生成するハイパスフィルタで、式(8)〜(11)で示すフィルタ構成のものである。
【0055】
H=YCOMB×(−1020−1)×(585)×(565)×(−12−1) …(8)
MH=YCOMB×(−1020−1)×(585)×(565) …(9)
M=YCOMB×(−1020−1)×(585)×(111)×(111) …(10)
L=YCOMB×(−1020−1)×(585)×(111)×(101)×(101) …(11)
それぞれのフィルタ特性は、図5の一点鎖線2a、短破線2b、長破線2c、実線2dのようになる。
【0056】
垂直ディテールフィルタ140は、コムフィルタ110からの信号CCOMBから、垂直ディテール信号VDTLとクロスカラー圧縮信号CCSを生成するもので、この例のビデオカメラの特徴とする部分の一つである。
【0057】
図6は、この垂直ディテールフィルタ140の一例を示し、コムフィルタ110からの信号CCOMBが、一方で、水平方向のローパスフィルタ141および142を通じた後、垂直ディテール圧縮回路143により圧縮され、さらにゲイン調整回路144a,144bによりゲイン調整されて、垂直ディテール信号VDTLが生成される。
【0058】
一例として、ローパスフィルタ141は(10201)構成とされ、ローパスフィルタ142は(100020001)構成とされる。したがって、垂直ディテール信号VDTLは、式(12)で表される。
【0059】
VDTL=CCOMB×〔(10201)×(100020001)×Vs〕×Va×Vb …(12)
ただし、Vsは垂直ディテール圧縮回路143での圧縮率、Va,Vbはゲイン調整回路144a,144bでのゲインである。
【0060】
ゲインVaは、コントロールポートデータVG1の値によって、例えば0から1までの間で256段階に調整され、ゲインVbは、コントロールポートデータVG2の値によって、例えば0,1/2,1,2のいずれかに設定される。
【0061】
上記のように、クロックレートfs1はCCD固体撮像素子14R,14G,14Bの画素数に応じてfs1=14.3MHzまたはfs1=18MHzに切り替えられる。これに対して、ローパスフィルタ141および142の特性は変わらない。したがって、ローパスフィルタ141および142の合成特性は、CCD固体撮像素子14R,14G,14Bが40万画素で、fs1=14.3MHzのときにも、CCD固体撮像素子14R,14G,14Bが50万画素で、fs1=18MHzのときにも、図7の実線3のようになる。
【0062】
垂直ディテール圧縮回路143の圧縮特性は、図8に示すように、入力レベルの正側の3点Vap,Vbp,Vcpおよび負側の3点Vam,Vbm,Vcmの前後において、入力レベルに対する出力レベルの傾きが変化するものとされる。
【0063】
点Vap,Vbp,Vcp,Vam,Vbm,Vcmは、それぞれコントロールポートデータの値によって、互いに独立に、0%〜110%の範囲で256段階に変えられる。また、別のコントロールポートデータの値によって、点Vcp以上および点Vcm以下の領域での傾きを1/8と1のいずれかに選択できるものとされる。
【0064】
垂直ディテールフィルタ140では、コムフィルタ110からの信号CCOMBが、他方で、上記のローパスフィルタ141を通じた後、水平方向のハイパスフィルタ145および146を通じることによって、垂直ディテール信号中の副搬送波周波数成分が取り出される。一例として、ハイパスフィルタ145は(−10002000−1)構成とされ、ハイパスフィルタ146は(−1020−1)構成とされる。
【0065】
ただし、1ビットのコントロールポートデータVLの値が0であるか1であるかに応じて、セレクタ147により、ハイパスフィルタ146の出力信号とハイパスフィルタ145の出力信号のいずれかが選択され、その選択された信号がゲイン調整回路148a,148bによりゲイン調整されて、クロスカラー圧縮信号CCSが生成される。
【0066】
そして、CCD固体撮像素子14R,14G,14Bが40万画素で、クロックレートfs1が14.3MHzとされる場合には、セレクタ147がハイパスフィルタ146の出力信号を選択し、CCD固体撮像素子14R,14G,14Bが50万画素で、クロックレートfs1が18MHzとされる場合には、セレクタ147がハイパスフィルタ145の出力信号を選択する。したがって、クロスカラー圧縮信号CCSは、CCD固体撮像素子14R,14G,14Bが40万画素で、fs1=14.3MHzのときには、式(13)で表され、CCD固体撮像素子14R,14G,14Bが50万画素で、fs1=18MHzのときには、式(14)で表される。
【0067】
CCS=CCOMB
×〔(10201)×(−10002000−1)×(−1020−1)〕×Ca×Cb …(13)
CCS=CCOMB×〔(10201)×(−10002000−1)〕×Ca×Cb …(14)
ただし、Ca,Cbはゲイン調整回路148a,148bでのゲインである。
【0068】
ゲインCaは、コントロールポートデータCG1の値によって、例えば0から1までの間で16段階に調整され、ゲインCbは、コントロールポートデータCG2の値によって、例えば0,1/2,1,2のいずれかに設定される。
【0069】
このように、fs1=14.3MHzのときと、fs1=18MHzのときとで、垂直ディテールフィルタ140中の副搬送波周波数成分を抽出するフィルタ部の特性が切り替えられる結果、そのフィルタ部の特性は、fs1=14.3MHzのときには図7の長破線4aで示すように、fs1=18MHzのときには図7の短破線4bで示すように、クロックレートがいずれのときにも、副搬送波周波数成分を最大で取り出すものとなる。
【0070】
そして、図3のイメージエンハンサ100においては、後述するように、この垂直ディテールフィルタ140からのクロスカラー圧縮信号CCSが、ディテール混合部190においてディテール信号から減算され、垂直ディテールフィルタ140中の、この副搬送波周波数成分を抽出するフィルタ部は、結果的にディテール信号中の副搬送波周波数成分を抑圧するフィルタとして作用する。
【0071】
したがって、クロックレートがいずれのときにも、垂直ディテール信号中の副搬送波周波数成分が十分抑圧され、ビデオカメラの映像出力においてクロスカラー妨害が十分軽減される。
【0072】
図3のイメージエンハンサ100で、エッジ検出部150は、映像信号の画像エッジ部分を映像信号のバースト状にレベル変化する部分と区別して検出して、画像エッジ部分では水平ディテール信号に対するゲインを下げるような検出信号を生成するもので、この例のビデオカメラの特徴とする部分の一つである。
【0073】
図9は、このエッジ検出部150の一例を示す。図3に示した水平ディテールフィルタ130においては、コムフィルタ110からの信号YCOMBがハイパスフィルタ131を通じることによって、信号YCOMBの高域成分FILHが取り出される。すなわち、図11に示すような映像信号VDSから、その高域成分FILHが取り出される。
【0074】
ここで、映像信号VDS中の部分BUは、バースト状にレベルが変化する部分(以下、バースト部分と称するが、もちろん色同期信号としてのバーストとは異なる)であり、部分EDは画像のエッジ部分である。図11および後述する図14〜図16では、映像信号VDSなどをアナログ波形で示すが、もちろん実際はディジタル化された状態で処理される。
【0075】
図9のエッジ検出部150では、絶対値取出回路151により、ハイパスフィルタ131からの高域成分FILHの絶対値の信号ABSOが得られ、その絶対値信号ABSOが、Dフリップフロップ152によりラッチされる。
【0076】
さらに、最大値選択回路153により、Dフリップフロップ152によりラッチされる前の信号とラッチされた後の信号のうちのいずれか大きい方が選択される。すなわち、図11に示すように、1クロックごとに、絶対値取出回路151からの絶対値信号ABSOの隣り合う2つのうちの大きい方が選択される。
【0077】
最大値選択回路153により選択された絶対値信号MAXOは、エッジ検出回路160に供給されて、エッジ検出回路160により、後述するように、映像信号VDSの画像エッジ部分EDが、バースト部分BUと区別されて検出される。
【0078】
エッジ検出回路160からの検出信号DETOは、時間幅伸長回路154により、その時間幅が伸長され、その時間幅が伸長された検出信号EXPOが、圧縮回路155に供給されて、後述するような特性でレベル圧縮される。そして、圧縮回路155からの検出信号が、反転回路156により反転され、その反転された検出信号が、ローパスフィルタ157を通じて、エッジ検出部150の出力のエッジ検出信号EDETとして取り出される。
【0079】
図10は、エッジ検出回路160の具体例を示し、最大値選択回路153からの絶対値信号MAXOが、Dフリップフロップ161a〜161hにより順次、ラッチされ、最大値選択回路162により、Dフリップフロップ161a〜161cにラッチされる絶対値信号のうちの最大値の信号が選択されるとともに、最大値選択回路163により、Dフリップフロップ161f〜161hにラッチされた絶対値信号のうちの最大値の信号が選択される。
【0080】
さらに、最小値選択回路164により、最大値選択回路162からの絶対値信号と最大値選択回路163からの絶対値信号のうちのいずれか小さい方が選択されるとともに、最大値選択回路165により、最大値選択回路162からの絶対値信号と最大値選択回路163からの絶対値信号のうちのいずれか大きい方が選択される。
【0081】
そして、コントロールポートデータの一つである選択信号SELの値が0であるか1であるかに応じて、セレクタ166により、最小値選択回路164からの絶対値信号と最大値選択回路165からの絶対値信号のうちのいずれかが選択され、その選択された絶対値信号がDフリップフロップ167によりラッチされる。
【0082】
さらに、減算回路168において、Dフリップフロップ161eからの絶対値信号から、Dフリップフロップ167からの絶対値信号が減算され、その減算後の信号DETOが、エッジ検出回路160の出力の検出信号として取り出される。
【0083】
このエッジ検出回路160では、減算回路168で最小値選択回路164からの最小値の絶対値信号が本線の絶対値信号から減算される最小値選択モードでは、検出信号DETOとして、バースト部分BUの両端と画像エッジ部分EDとにおいて絶対値信号が得られ、減算回路168で最大値選択回路165からの最大値の絶対値信号が本線の絶対値信号から減算される最大値選択モードでは、検出信号DETOとして、図11に示すように画像エッジ部分EDのみにおいて絶対値信号が得られる。
【0084】
そして、図9のエッジ検出部150では、上述したように、エッジ検出回路160からの検出信号DETOが、時間幅伸長され、レベル圧縮され、反転され、ローパスフィルタ157を通じて、エッジ検出信号EDETとして取り出される。したがって、最大値選択モードでは、時間幅伸長回路154の出力信号EXPOおよびエッジ検出信号EDETとして、図11に示すようなものが得られる。ただし、時間幅伸長にあたっては、映像信号VDSないし高域成分FILHに対する相対的な位相調整がなされる。
【0085】
圧縮回路155の圧縮特性は、一例として、図12の実線で示すように、入力レベルの3点Ea,Eb,Ecにおいて、入力レベルに対する出力レベルの傾きが変化するものとされる。点Ea,Eb,Ecは、それぞれコントロールポートデータの値によって、互いに独立に変えられる。
【0086】
圧縮回路155の圧縮特性が、このようにされることによって、エッジ検出信号EDETのゲイン特性は、図12の破線で示すようになる。したがって、映像信号VDSが、図14に示すようにバースト部分BUを含み、かつ画像エッジ部分としてレベル差の異なるものを含むもので、これから生成されるディテール信号DTLSが、同図に示すようなものとなるとき、エッジ検出信号EDETは、上記の最大値選択モードでは、同図に示すように、映像信号VDSのバースト部分BUでは、ゲインが低下しないで一定で、画像エッジ部分では、ディテール信号DTLSのレベルが大きいときほどゲインが小さいものとなる。
【0087】
そして、図3のイメージエンハンサ100においては、後述するように、このエッジ検出信号EDETが、ゲイン調整部180においてディテール信号に乗算される。したがって、ディテール信号は、画像エッジ部分において、図13に示すような特性で圧縮される。
【0088】
このようなエッジ検出信号によるディテール信号の制御を行わない場合には、映像信号のレベル変化が大きい所でディテール信号が大きくなるため、ディテール信号の加算後の映像信号がダイナミックレンジを超えて、図15(A)に示すようにクリップされ、画像上に額縁の縁状の、幅を持った輪郭を生じて、画像が見苦しくなることがある。
【0089】
これに対して、上記のようにエッジ検出信号EDETによるディテール信号の制御を行う場合には、図15(B)に示すようにディテール信号が、そのままの形で圧縮されるので、ディテール信号の加算後の映像信号がダイナミックレンジを超えてクリップされるようなことがなく、画像が見苦しくなることがない。
【0090】
しかも、この場合、映像信号の画像エッジ部分を映像信号のバースト状にレベルが変化する部分と区別して検出して、実質的に画像エッジ部でのみディテール信号の制御を行うので、映像信号のバースト状にレベルが変化する部分には実質的に影響を及ぼさない。
【0091】
図16は、バースト部分BUを有する場合につき、同様に、エッジ検出信号EDETによるディテール信号の制御を行わない場合(同図(A))と、行う場合(同図(B))とを比較して示したものである。ただし、同図(B)は、上記の最小値選択モードとされて、バースト部分BUの両端ではディテール信号が圧縮される場合である。
【0092】
図3のイメージエンハンサ100で、ゲイン設定部170は、ディテール信号に対するゲインを最終的に設定するとともに、本線の映像信号のレベルが小さいときにディテール信号のレベルを圧縮するもので、この例のビデオカメラの特徴とする部分の一つである。
【0093】
図17は、このゲイン設定部170の一例を示し、コムフィルタ110からの信号CCOMBがローパスフィルタ171を通じることによって、信号CCOMBの低域成分Siが取り出される。
【0094】
このローパスフィルタ171からの低域成分Siは、その低域成分Siのレベルが小さいときにディテール信号のレベルを圧縮するためのレベルディペンド回路178に直接入力されずに、最小値取出回路173に入力されて、Dフリップフロップ174,175により順次、ラッチされる。
【0095】
さらに、最小値取出回路173においては、最小値選択回路176により、Dフリップフロップ174によりラッチされる前の信号と、それぞれDフリップフロップ174,175によりラッチされた後の信号との、三者の信号のうちの最小値の信号が選択される。
【0096】
すなわち、低域成分Siが、図18に入力信号Siとして示すように、1クロックごとに信号Si1,Si2,Si3,Si4,Si5…と続くものであるとき、最小値取出回路173からは、信号Si1,Si2,Si3のうちの最小値の信号Si2が信号Sm1として取り出され、次に信号Si2,Si3,Si4のうちの最小値の信号Si2が信号Sm2として取り出され、次に信号Si3,Si4,Si5のうちの最小値の信号Si3が信号Sm3として取り出され、というように最小値の信号Smが取り出される。
【0097】
したがって、最小値取出回路173の出力信号Sm中には、入力信号Si中に存在する信号Si4のようなレベルの大きい信号が存在しなくなる。そして、この最小値取出回路173の出力信号Smが、上記のレベルディペンド回路178に供給される。
【0098】
レベルディペンド回路178の圧縮特性は、一例として、図18の実線5中の折線部5aで示すように、入力レベルの3点Lb,Lc,Ldの前後において、入力レベルに対するゲインの傾きK1,K2,K3,K4が変化するものとされる。
【0099】
ゲインがゼロとなる入力レベルLa、および上記の入力レベルLb,Lc,Ldは、それぞれコントロールポートデータの値によって設定される。また、別のコントロールポートデータの値によって、傾きK1〜K4を設定することができる。さらに、別のコントロールポートデータの値によって、このレベルディペンド回路178への入力信号Smに±7%のオフセットを付すことができ、これによって圧縮が効き始める入力レベルLeを変えることができる。また、別のコントロールポートデータの値によって、レベルディペンド回路178の出力信号Soにオフセットを付すことができ、これによってレベル圧縮が効く部分のディテール信号のゲインを調整することができる。
【0100】
上記のように、最小値取出回路173の出力信号Smには、レベルの大きい信号が存在しなくなり、この最小値取出回路173の出力信号Smが、図18のような圧縮特性を有するレベルディペンド回路178によりレベル圧縮される結果、レベルディペンド回路178の出力信号Soは、図18に示すように、レベルの小さいものに揃うようになる。
【0101】
したがって、このレベルディペンド回路178の出力信号Soが、後述するように、ディテール信号に対するゲインとしてディテール信号に乗算されたとき、ディテール信号が大きく振れることがなく、カメラ出力に大きなノイズを生じることがない。
【0102】
図17のゲイン設定部170においては、最小値選択回路179により、このレベルディペンド回路178の出力信号Soと、図9のエッジ検出部150からのエッジ検出信号EDETと、図1に示した特定色検出回路61からの特定色検出信号STAとの、三者の信号のうちの最小値の信号が、ディテール信号に対するゲインを設定するゲイン設定信号GCTLとして、取り出される。
【0103】
ただし、上述したように、特定色検出信号STAは特定色の画像部分では最小値のゼロとされるので、特定色の画像部分では、ゲイン設定信号GCTLがゼロとなり、ディテール信号のゲインもゼロとなって、輪郭強調はなされない。
【0104】
図3のゲイン調整部180では、高域アパーチャフィルタ120からの高域アパーチャ信号APTに対して、図19(A)に示すような特性のコア処理を施した後、ゲイン設定部170からのゲイン設定信号GCTLを乗じて、高域アパーチャ信号HAPTを生成する。
【0105】
また、ゲイン調整部180では、水平ディテールフィルタ130からの高域、中高域、低域の水平ディテール信号H,MH,Lを加算し、その加算後の信号に対して、図19(B)に示すような特性のコア処理を施した後、ゲイン設定部170からのゲイン設定信号GCTLを乗じて、低域アパーチャ信号LAPTを生成する。
【0106】
さらに、ゲイン調整部180では、水平ディテールフィルタ130からの中高域、中域、低域の水平ディテール信号MH,M,Lと、垂直ディテールフィルタ140からの垂直ディテール信号VDTLとを加算し、その加算後の信号に対して、図19(C)に示すような特性のコア処理を施した後、ゲイン設定部170からのゲイン設定信号GCTLを乗じて、ディテール信号DTLを生成する。
【0107】
また、ゲイン調整部180では、水平ディテールフィルタ130からの中高域の水平ディテール信号MHまたは低域の水平ディテール信号Lと、垂直ディテールフィルタ140からの垂直ディテール信号VDTLとを加算し、その加算後の信号に対して、図19(A)に示すような特性のコア処理を施した後、ゲイン設定部170からのゲイン設定信号GCTLを乗じて、ビューファインダ用ディテール信号VFDを生成する。
【0108】
さらに、図3のディテール混合部190は、ゲイン調整部180からの低域アパーチャ信号LAPTおよびディテール信号DTLを加算し、その加算後の信号から、垂直ディテールフィルタ140からのクロスカラー圧縮信号CCSを減算して、上述したようにガンマ・ニー補正前の映像信号に加算すべきディテール信号BGDを生成し、それを図2の加算回路73R,73G,73Bに出力する。
【0109】
クロスカラー圧縮信号CCSは、ディテール混合部190において、(121)構成のローパスフィルタを通した後、(3/4)fs1および(5/4)fs1での膨らみを抑えるため、fs1=14.3MHzのときには(343)構成のローパスフィルタを、fs1=18MHzのときには(232)構成のローパスフィルタを、それぞれ通す。
【0110】
また、ディテール混合部190は、ゲイン調整部180からの高域アパーチャ信号HAPT、低域アパーチャ信号LAPTおよびディテール信号DTLを加算して、上述したようにガンマ・ニー補正後の映像信号に加算すべきディテール信号AGDを生成し、それを図2の加算回路75R,75G,75Bに出力する。低域アパーチャ信号LAPTおよびディテール信号DTLは、そのゲインを調整する。
【0111】
上述した例は、NTSC方式用の場合であるが、この発明は、例えばPAL方式用の場合にも適用することができる。PAL方式用の場合は、例えば、CCD固体撮像素子14R,14G,14Bが40万画素のときにはfs1=14.175MHzとし、CCD固体撮像素子14R,14G,14Bが50万画素のときにはfs1=18.00MHzとする。また、NTSC方式とPAL方式に共用とする場合にも、この発明を適用することができる。
【0112】
また、固体撮像素子の画素数の検知は、必ずしも撮像部のメモリから画素数の情報を取得する方法によらずに、それぞれの撮像部に設けられた電気的または機械的な検知手段によってもよい。
【0113】
さらに、例えば、ゲイン設定部170の最小値取出回路173は、隣り合う4画素分の信号のうちの最小値を取り出す構成とするなど、各部の具体的構成も、必ずしも図示したものに限らない。
【0114】
さらに、図示したカメラ本体20の一部の回路を撮像部10に組み込むなど、ビデオカメラとしての全体的な構成も、必ずしも、図示したものに限らない。
【0115】
【発明の効果】
上述したように、この発明によれば、撮像素子からの映像信号をディジタル化して処理する、業務用ビデオカメラなどのビデオカメラにおいて、固体撮像素子の画素数などに応じて映像信号のクロックレートを変える場合でも、常に垂直方向の輪郭強調信号中の副搬送波周波数成分が十分抑圧され、ビデオカメラの映像出力においてクロスカラー妨害が十分軽減される。
【図面の簡単な説明】
【図1】この発明のビデオカメラの一例の全体構成の一部を示すブロック図である。
【図2】この発明のビデオカメラの一例の全体構成の残部を示すブロック図である。
【図3】図1中のイメージエンハンサの一例を示すブロック図である。
【図4】図3中の高域アパーチャフィルタの特性例を示す図である。
【図5】図3中の水平ディテールフィルタの特性例を示す図である。
【図6】図3中の垂直ディテールフィルタの一例を示すブロック図である。
【図7】図6の垂直ディテールフィルタの特性を示す図である。
【図8】図6中の垂直ディテール圧縮回路の特性例を示す図である。
【図9】図3中のエッジ検出部の一例をブロック図である。
【図10】図9中のエッジ検出回路の一例をブロック図である。
【図11】エッジ検出の説明に供する波形を図である。
【図12】エッジ検出の説明に供する特性を示す図である。
【図13】エッジ検出の説明に供する特性を示す図である。
【図14】エッジ検出の説明に供する波形を示す図である。
【図15】エッジ検出の説明に供する波形を示す図である。
【図16】エッジ検出の説明に供する波形を示す図である。
【図17】図3中のゲイン設定部の一例を示すブロック図である。
【図18】図17中の最小値取出回路の説明に供する図である。
【図19】図3中のディテール混合部の説明に供する図である。
【符号の説明】
10…撮像部、14R,14G,14B…CCD固体撮像素子、20…カメラ本体、100…イメージエンハンサ、140…高域ディテールフィルタ、141…ローパスフィルタ、145,146…ハイパスフィルタ、147…セレクタ、150…エッジ検出部、160…エッジ検出回路、170…ゲイン設定部、173…最小値取出回路

Claims (2)

  1. 撮像素子からの映像信号を、第1周波数およびこの第1周波数より高い第2周波数のいずれかのクロックレートのクロックによってディジタル化するアナログ/ディジタル変換手段と、
    このアナログ/ディジタル変換手段からのディジタル映像信号から、画像の垂直方向の輪郭を強調するための垂直ディテール信号を生成する垂直ディテールフィルタ部と、
    この垂直ディテールフィルタ部からの垂直ディテール信号を前記ディジタル映像信号に加算する加算手段とを備え、
    前記垂直ディテールフィルタ部は、
    前記クロックレートが前記第1周波数であるときに前記ディジタル映像信号中の副搬送波周波数成分を抽出するフィルタ特性の第1ディジタルフィルタと、
    この第1ディジタルフィルタの出力信号が入力され、前記クロックレートが前記第2周波数であるときに前記ディジタル映像信号中の副搬送波周波数成分を抽出するフィルタ特性の第2ディジタルフィルタと、
    前記クロックレートが前記第1周波数であるときには前記第1ディジタルフィルタの出力信号を選択し、前記クロックレートが前記第2周波数であるときには前記第2ディジタルフィルタの出力信号を選択する選択手段と、
    この選択手段によって選択された信号を前記垂直ディテール信号から減算する減算手段とを有するビデオカメラ。
  2. 請求項1のビデオカメラにおいて、
    前記撮像素子が固体撮像素子とされ、その固体撮像素子の画素数に応じて、前記クロックレートが前記第1周波数および前記第2周波数のいずれかに切り替えられるビデオカメラ。
JP11569696A 1996-04-12 1996-04-12 ビデオカメラ Expired - Fee Related JP3555639B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11569696A JP3555639B2 (ja) 1996-04-12 1996-04-12 ビデオカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11569696A JP3555639B2 (ja) 1996-04-12 1996-04-12 ビデオカメラ

Publications (2)

Publication Number Publication Date
JPH09284660A JPH09284660A (ja) 1997-10-31
JP3555639B2 true JP3555639B2 (ja) 2004-08-18

Family

ID=14668983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11569696A Expired - Fee Related JP3555639B2 (ja) 1996-04-12 1996-04-12 ビデオカメラ

Country Status (1)

Country Link
JP (1) JP3555639B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10112798A1 (de) * 2001-03-16 2002-10-02 Elegene Gmbh Vorrichtung und Verfahren zur automatischen Erzeugung einer Wärmevermeidungsreaktion von Nematoden oder ähnlichen Lebewesen
US8149285B2 (en) 2007-09-12 2012-04-03 Sanyo Electric Co., Ltd. Video camera which executes a first process and a second process on image data
JP5030822B2 (ja) 2008-03-07 2012-09-19 三洋電機株式会社 電子カメラ

Also Published As

Publication number Publication date
JPH09284660A (ja) 1997-10-31

Similar Documents

Publication Publication Date Title
JP3356201B2 (ja) ビデオカメラおよび輪郭強調装置
EP0868090B1 (en) Digital video camera apparatus and recording apparatus
JP2816173B2 (ja) 撮像装置及び撮像装置の信号処理方法
JP2614850B2 (ja) 撮像信号処理回路
JP2722784B2 (ja) カラー撮像装置
JPH0884348A (ja) 撮像装置
EP0746166B1 (en) Image sensing apparatus and method
JP3555639B2 (ja) ビデオカメラ
JP3348368B2 (ja) ビデオカメラおよび輪郭強調装置
US5140410A (en) Chrominance signal mixing circuit in a motion adaptive type signal separator
JP3022237B2 (ja) 映像信号処理装置
JP3733182B2 (ja) 撮像装置および縦縞除去方法
JP3578246B2 (ja) 固体撮像装置
JP3101393B2 (ja) 映像信号処理装置
JP2698404B2 (ja) 輝度信号処理装置
JP2650062B2 (ja) カラー撮像装置
JP2008109468A (ja) 色信号処理回路およびカメラ装置
KR100596639B1 (ko) 영상 센서의 결함 보정 장치
JP3147056B2 (ja) 撮像装置
JP3101374B2 (ja) 映像信号記録装置
JPS63131794A (ja) 動き検出回路
JP3524211B2 (ja) 撮像装置
JP2763305B2 (ja) ディジタル信号処理装置
JP2000184384A (ja) 撮像装置
JPH09327027A (ja) 画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040504

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120521

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees