JP2961719B2 - Image signal processing circuit - Google Patents

Image signal processing circuit

Info

Publication number
JP2961719B2
JP2961719B2 JP2224366A JP22436690A JP2961719B2 JP 2961719 B2 JP2961719 B2 JP 2961719B2 JP 2224366 A JP2224366 A JP 2224366A JP 22436690 A JP22436690 A JP 22436690A JP 2961719 B2 JP2961719 B2 JP 2961719B2
Authority
JP
Japan
Prior art keywords
circuit
color
color signals
level
gamma correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2224366A
Other languages
Japanese (ja)
Other versions
JPH04107083A (en
Inventor
哲 岩松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2224366A priority Critical patent/JP2961719B2/en
Publication of JPH04107083A publication Critical patent/JPH04107083A/en
Priority to US08/267,763 priority patent/US5479204A/en
Priority to US08/449,544 priority patent/US5512948A/en
Application granted granted Critical
Publication of JP2961719B2 publication Critical patent/JP2961719B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】 発明の背景 技術分野 この発明は,色バランス調整およびガンマ補正のため
の画像信号処理回路に関する。
Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image signal processing circuit for color balance adjustment and gamma correction.

この発明による画像信号処理回路は,ネガ画像(信
号)のみならずポジ画像(信号)にも適用可能である
が,とくにネガ画像(信号)の処理のために有用である
から,この明細書では主にネガ画像(信号)について言
及する。
The image signal processing circuit according to the present invention is applicable not only to a negative image (signal) but also to a positive image (signal), but is particularly useful for processing a negative image (signal). It mainly refers to negative images (signals).

この明細書においてネガとはネガティブ(negative)
の略語であり,ネガ画像とはネガティブ画像または陰画
を表わす。また,ポジとはポジティブ(positive)の略
語であり,ポジ画像とはポジティブ画像または陽画を指
す。
In this specification, a negative is a negative.
And the negative image represents a negative image or a negative image. The term “positive” is an abbreviation for “positive”, and the term “positive image” refers to a positive image or a positive image.

従来技術とその問題点 ネガ画像の撮像は,たとえばネガフィルムに表わされ
た画像を撮影し,その画像をネガのまま,またはポジに
反転して大型表示画面に表示またはスクリーンに投影す
るシステムにおいて必要となる。このシステムは,光学
的ないわゆるオーバ・ヘッド・プロジェクタに代わって
登場した新しいシステムであり,説明会,研究発表会等
において利用される。ネガ画像を撮像して得られる映像
信号はポジ画像を撮像して得られる映像信号と異なる特
性を有するために同じように取扱うことができない。
2. Description of the Related Art Negative image capture is performed, for example, in a system in which an image represented on a negative film is photographed, and the image is displayed on a large display screen or projected on a large display screen as it is or as a negative image. Required. This system is a new system that has appeared in place of an optical so-called overhead projector, and is used in briefings, research presentations, and the like. A video signal obtained by capturing a negative image cannot be handled in the same manner because it has different characteristics from a video signal obtained by capturing a positive image.

第5図はネガフィルムの階調特性(対数表現)の一例
を示しており,これはネガフィルムを感光したときの入
射光量とそれによって生じた現像後のネガフィルムの現
像濃度との関係を示している。全く感光していない部分
(完全遮光部分)Aでは濃度が最も低く,完全に感光し
た部分Bでは濃度が最も高い。撮影画像の輝度レンジは
上記の部分AからBまでの範囲ではなく,使用範囲Cと
して示すように,撮影画像の最も暗い部分から最も明る
い部分までの範囲である。したがって,撮影画像の最も
暗い部分が映像信号の黒レベル,最も明るい部分が映像
信号の白レベルとならなれければならない。したがっ
て,使用範囲Cの上限と下限とを検出することが必要と
なる。
FIG. 5 shows an example of the gradation characteristics (logarithmic expression) of a negative film, which shows the relationship between the amount of incident light when the negative film is exposed and the developed density of the negative film after development caused by the exposure. ing. The density is lowest in the part A that is not exposed at all (completely light-shielded part), and is highest in the part B that is completely exposed. The luminance range of the photographed image is not the range from the above-mentioned parts A to B, but is the range from the darkest part to the brightest part of the photographed image as shown as a use range C. Therefore, the darkest part of the captured image must be the black level of the video signal, and the brightest part must be the white level of the video signal. Therefore, it is necessary to detect the upper limit and the lower limit of the use range C.

ネガ画像がカラー画像の場合には,その色を構成する
三原色R,GおよびBの色階調特性が第6図に示すように
相互に異なり,しかも各色階調特性において使用範囲
(太線で表わす)が相互に異なるという問題点がある。
色階調特性が色によって異なると再生画像の中間調に色
づきが生じ,使用範囲が異なると色バランスがとれない
という不具合が生じる。上記の問題は,イエロー,マゼ
ンダ,シアンの補色についても同様に起る。
When the negative image is a color image, the color gradation characteristics of the three primary colors R, G, and B constituting the color are different from each other as shown in FIG. ) Are different from each other.
If the color gradation characteristics are different depending on the color, the halftone of the reproduced image will be colored, and if the usage range is different, the color balance will not be balanced. The above problem also occurs for the complementary colors of yellow, magenta, and cyan.

第7図は従来のネガ画像信号処理回路を示している。
カメラ(ビデオ・カメラ,スチル・ビデオ・カメラ)等
の撮像装置60から出力される三原色信号R,GおよびBの
うち,色信号RおよびBは可変ゲイン増幅回路85,86に
与えられ,公知の手法によって白バランス調整が行なわ
れる。ネガ画像が撮像された場合にはこの白バランス調
整によってネガ画像信号のピーク・レベル(これを黒ピ
ーク・レベルという),すなわちポジに反転されたとき
の黒ピーク・レベルが三原色信号G,RおよびBにおいて
一致するように調整される。
FIG. 7 shows a conventional negative image signal processing circuit.
Of the three primary color signals R, G, and B output from the imaging device 60 such as a camera (video camera, still video camera), the color signals R and B are supplied to variable gain amplifier circuits 85 and 86, and are known. White balance adjustment is performed by a method. When a negative image is captured, the peak level of the negative image signal (this is called a black peak level) by the white balance adjustment, that is, the black peak level when the image is inverted to positive, is converted into the three primary color signals G, R and B is adjusted to match.

白バランス調整後の色信号G,RおよびBは,一方では
ガンマ補正回路61,63および65にそれぞれ与えられ,他
方では反転回路71,73および75によってそれぞれ反転さ
れ(ネガ画像信号はポジ画像信号に反転される),ブラ
ンキング・ミックス回路72,74および76においてそのブ
ランキング期間にブランキング信号BLKが重畳され,さ
らにガンマ補正回路62,64および66にそれぞれ与えられ
る。ポジ系のガンマ補正回路61,63および65には同じガ
ンマ補正曲線が設定されている。ネガ系のガンマ補正回
路62,64および66にはG,RおよびBの階調特性に応じてガ
ンマ補正曲線が設定され,ガンマ補正後の階調特性がG,
RおよびBの三原色において一致するようになってい
る。
The color signals G, R, and B after the white balance adjustment are supplied to gamma correction circuits 61, 63, and 65, respectively, on the one hand, and inverted by inversion circuits 71, 73, and 75, respectively (the negative image signal is a positive image signal). The blanking signal BLK is superimposed during the blanking period in the blanking / mixing circuits 72, 74 and 76, and further supplied to the gamma correction circuits 62, 64 and 66, respectively. The same gamma correction curve is set in the positive gamma correction circuits 61, 63 and 65. A gamma correction curve is set in the negative gamma correction circuits 62, 64, and 66 in accordance with the G, R, and B gradation characteristics, and the gradation characteristics after the gamma correction are G,
The three primary colors R and B match each other.

切換スイッチ51,52および53は各色信号G,RおよびBに
ついてそれぞれ設けられ,ポジ系のガンマ補正後の色信
号とネガ系のガンマ補正後の色信号とを切換えるもので
ある。これらのスイッチ51,52および53の出力色信号G,R
およびBはマトリクス回路83に与えられ,輝度信号Yな
らびに色差信号R−Y,B−Yに変換される。さらにこれ
らの信号Y,R−YおよびB−Yはエンコーダ84においてN
TSCフォーマットの映像信号に変換されて出力される。
The changeover switches 51, 52, and 53 are provided for each of the color signals G, R, and B, and switch between a positive color signal after gamma correction and a negative color signal after gamma correction. The output color signals G, R of these switches 51, 52 and 53
And B are supplied to a matrix circuit 83 and converted into a luminance signal Y and color difference signals RY and BY. Furthermore, these signals Y, RY and BY are
It is converted to a video signal in TSC format and output.

このような従来の回路においては,ネガ系のガンマ補
正回路62,64および66に各色の階調特性に応じたガンマ
補正曲線が設定され,ガンマ補正後の各色信号の階調特
性が揃うので,上述した中間調の色づきの問題は生じな
い。
In such a conventional circuit, a gamma correction curve corresponding to the gradation characteristics of each color is set in the negative gamma correction circuits 62, 64, and 66, and the gradation characteristics of each color signal after gamma correction become uniform. The above-described problem of halftone coloring does not occur.

しかしながら,白バランス調整においては色信号G,R
およびBの黒ピーク・レベルのみが一致するように可変
ゲイン増幅回路85および86のゲインが調整されるだけで
あるから,これをポジに反転したものにおいてはポジ上
の黒ピーク・レベルは一致するが,ポジ上の白ピーク・
レベルが一致せず白バランスが適切でないという問題が
ある。
However, in the white balance adjustment, the color signals G, R
And the gains of the variable gain amplifier circuits 85 and 86 are merely adjusted so that only the black peak levels of B and B match, so that the black peak level on the positive matches when this is inverted to positive. But the white peak on the positive
There is a problem that the levels do not match and the white balance is not appropriate.

また,上記の従来の回路では,三原色信号G,Rおよび
Bの階調特性を揃えるためにそれぞれ異なるガンマ補正
曲線が設定された3種類のガンマ補正回路62,64および6
6が必要であり,回路構成が複雑になる。
In addition, in the above-described conventional circuit, three types of gamma correction circuits 62, 64 and 6 in which different gamma correction curves are set in order to equalize the gradation characteristics of the three primary color signals G, R and B, respectively.
6 is required, and the circuit configuration becomes complicated.

一般に可変ガンマ補正回路は被写体や好みに合わせて
階調特性を変化させるのに有用であるが,可変ガンマ特
性を実現するためには回路構成が相当複雑となる。この
ような可変ガンマ補正回路を複数個設けたとすると回路
構成が一層複雑となる。
Generally, the variable gamma correction circuit is useful for changing the gradation characteristics according to the subject and the taste, but the circuit configuration becomes considerably complicated to realize the variable gamma characteristics. If a plurality of such variable gamma correction circuits are provided, the circuit configuration becomes more complicated.

発明の概要 発明の目的 この発明は,適切な色バランス調整を行うことがで
き,かつ色信号の階調特性を一致させることができる画
像信号処理回路を提供することを目的とする。
SUMMARY OF THE INVENTION An object of the present invention is to provide an image signal processing circuit that can perform appropriate color balance adjustment and match the tone characteristics of color signals.

この発明による画像信号処理回路は,被写体を撮像し
て得られる3種類の色信号の色バランス調整のために少
なくとも2種類の色信号に対して設けられた第1の色バ
ランス調整回路,上記第1の色バランス調整回路の後段
に接続され,上記第1の色バランス調整回路において色
バランス調整された3種類の色信号をそれぞれ入力と
し,使用レンジのうち前半部分ではガンマ補正のための
べき乗関数曲線によって,後半部分ではKNEE曲線によっ
て表される入出力特性をもつガンマ補正回路,および上
記ガンマ補正回路の後段に接続され,上記ガンマ補正回
路によってガンマ補正された3種類の色信号のうちの少
なくとも2種類に対して設けられた第2の色バランス調
整回路を備えていることを特徴とする。
An image signal processing circuit according to the present invention is a first color balance adjustment circuit provided for at least two types of color signals for adjusting the color balance of three types of color signals obtained by imaging a subject. The first color balance adjustment circuit is connected to the subsequent stage, and the three color signals subjected to the color balance adjustment in the first color balance adjustment circuit are input, and a power function for gamma correction is used in the first half of the used range. A gamma correction circuit having input / output characteristics represented by a KNEE curve in the latter half of the curve, and at least one of three types of color signals connected to the subsequent stage of the gamma correction circuit and gamma corrected by the gamma correction circuit A second color balance adjustment circuit provided for two types is provided.

上記第1の色バランス調整回路を調整することによ
り,上記ガンマ補正回路の入出力特性曲線の使用範囲を
変えることができ,これによりガンマの値(すなわちべ
き乗)を変えることが可能となる。したがって,任意の
ガンマ補正曲線を得ることができ,所望の階調特性を得
ることができる。相互に異なる階調特性をもつ3種類の
色信号の階調特性を揃えることができる。さらに,複数
の色信号の適切な色バランス調整が可能となる。上記第
1の色バランス調整回路および上記第2の色バランス調
整回路は手動調整することができる。
By adjusting the first color balance adjustment circuit, the use range of the input / output characteristic curve of the gamma correction circuit can be changed, thereby making it possible to change the gamma value (that is, the power). Therefore, an arbitrary gamma correction curve can be obtained, and a desired gradation characteristic can be obtained. The gradation characteristics of three types of color signals having mutually different gradation characteristics can be made uniform. Further, appropriate color balance adjustment of a plurality of color signals can be performed. The first color balance adjustment circuit and the second color balance adjustment circuit can be manually adjusted.

被写体を撮像して得られる3種類の色信号のそれぞれ
の最大レベルおよび最小レベルを検出するピーク検波回
路,ピーク検波回路により検出された最大レベルと最小
レベルとの差が3種類の色信号において所定の比率にな
るように上記第1の色バランス調整回路のゲインを調整
する第1のゲイン調整手段,および上記3種類の色信号
の階調特性が一致しかつ上記最大レベルと最小レベルと
の差が一致するように,上記第2の色バランス調整回路
のゲインを調整する第2のゲイン調整手段を備えるよう
にしてもよい。
A peak detection circuit that detects the maximum level and the minimum level of each of the three types of color signals obtained by imaging the subject, and a difference between the maximum level and the minimum level detected by the peak detection circuit is determined for the three types of color signals. A first gain adjustment means for adjusting the gain of the first color balance adjustment circuit so as to achieve the ratio of May be provided with a second gain adjusting means for adjusting the gain of the second color balance adjusting circuit so that the values of .gamma.

このようにして,3種類の色信号の最大レベル(ネガの
場合の黒ピーク・レベル)と最小レベル(ネガの場合の
白ピーク・レベル)との差が3種類の色信号において相
互に一致する。したがって,クランプ処理等によって必
要に応じて白,黒ピーク・レベルを3種類の色信号にお
いて揃えることができるから,常に適切な色バランス調
整が達成される。また,色バランス調整の自動化を達成
できる。
In this way, the difference between the maximum level (black peak level in the case of a negative) and the minimum level (white peak level in the case of a negative) of the three types of color signals matches each other in the three types of color signals. . Therefore, the white and black peak levels can be made uniform for the three types of color signals as required by a clamp process or the like, so that appropriate color balance adjustment is always achieved. In addition, automation of color balance adjustment can be achieved.

3種類の色信号のそれぞれのブランキング期間の前半
部と後半部に,検出された最大レベル(黒ピーク・レベ
ル)と最小レベル(白ピーク・レベル)を表す信号成分
をそれぞれ重畳させるブランキング・ミックス回路をさ
らに備えるとよい。画像を表す信号成分が存在しないブ
ランキング期間に黒ピーク・レベルを表す信号成分と白
ピーク・レベルを表す信号成分とが時間軸上の位置を違
えて加えられているので,画像を表す信号成分がこれに
よって悪影響を受けることがなく,しかも黒,白ピーク
・レベルが色信号中に保存されていることからこれを後
段の信号処理回路で利用することが可能となる。
Blanking for superimposing signal components representing the detected maximum level (black peak level) and minimum level (white peak level) in the first half and the second half of the blanking period of each of the three types of color signals. It is preferable to further include a mix circuit. Since the signal component representing the black peak level and the signal component representing the white peak level are added at different positions on the time axis during the blanking period when no signal component representing the image exists, the signal component representing the image is added. Is not adversely affected by this, and since the black and white peak levels are stored in the color signal, this can be used in the subsequent signal processing circuit.

好ましくは,3種類の色信号の直流成分のレベルを一定
レベルに揃えるクランプ回路を3種類の色信号のそれぞ
れに対してピーク検波回路の前段に設ける。これによ
り,直流信号成分に影響されないで確実な最大レベルお
よび最小レベルの検出が可能となる。
Preferably, a clamp circuit for adjusting the level of the DC component of each of the three types of color signals to a constant level is provided before the peak detection circuit for each of the three types of color signals. As a result, it is possible to reliably detect the maximum level and the minimum level without being affected by the DC signal component.

この発明において上記各曲線は,折れ線をも含む概念
である。
In the present invention, each of the curves is a concept including a broken line.

実施例の説明 第1図は可変ガンマ補正回路の実施例を示している。
この図には,各ブロックの前後に入,出力信号波形が模
式化されて示されている。
FIG. 1 shows an embodiment of a variable gamma correction circuit.
In this figure, input and output signal waveforms before and after each block are schematically shown.

可変ガンマ補正回路は,前段の第1の可変ゲイン増幅
回路42と,KNEE特性をもつガンマ補正回路41と,後段の
可変ゲイン増幅回路43とから構成されている。
The variable gamma correction circuit includes a first variable gain amplifier circuit 42 at the preceding stage, a gamma correction circuit 41 having KNEE characteristics, and a variable gain amplifier circuit 43 at the subsequent stage.

ガンマ補正回路41の入出力特性の一例が第2a図に示さ
れている。この図においては実線が回路41の入出力特性
を表わしている。簡単のために可変ゲイン増幅回路42と
43のゲインをそれぞれ1と仮定する。入力が0〜100%
(a点)の範囲の実線で示される曲線は冪乗関数曲線で
ある。入力が100%のとき出力も100%である。一般にCR
T表示装置は2.2乗の発光特性をもっているので,冪数
(ガンマ)は0.45に選定されることが多いが,この値に
限らないのはいうまでもない。とくにネガフィルムの撮
像の場合には他の適当な値が選択される。入力の100%
を超える範囲において,破線で表わされているのが上述
の冪乗関数曲線であり,実線で表わされているのがKNEE
曲線である。KNEE曲線は冪乗関数曲線よりも傾きが小さ
く設定されている。これは,たとえばそれぞれ異なるバ
イアスが加えられかつ並列に接続されたダイオードを入
力電圧の増大にしたがい順次オンさせ,入力の増大に対
する出力の増大の比率を順次小さくすることにより実現
することができる。
An example of the input / output characteristics of the gamma correction circuit 41 is shown in FIG. 2a. In this figure, the solid line represents the input / output characteristics of the circuit 41. For simplicity, the variable gain amplifier circuit 42 and
Assume that each of the 43 gains is 1. Input is 0 to 100%
The curve shown by the solid line in the range of (point a) is a power function curve. When the input is 100%, the output is also 100%. Generally CR
Since the T display device has a light emission characteristic of 2.2 power, the exponent (gamma) is often selected to be 0.45, but it is needless to say that the value is not limited to this value. In particular, in the case of imaging a negative film, another appropriate value is selected. 100% of input
In the range exceeding, the dashed line shows the above power function curve, and the solid line shows the KNEE
It is a curve. The slope of the KNEE curve is set smaller than that of the power function curve. This can be realized, for example, by sequentially turning on the diodes connected to different biases and connected in parallel as the input voltage increases, and gradually decreasing the ratio of the output increase to the input increase.

前段の可変ゲイン増幅回路42のゲインを1より大きく
すると,ガンマ補正回路41の入力はみかけ上大きくなる
ので,入力信号の変化範囲が100%を超えKNEE曲線の領
域に入る。後段の可変ゲイン増幅回路43のゲインを1よ
り小さくすることにより,この増幅回路43の出力は100
%の範囲に入る。これは第2a図のグラフにおいて横軸と
縦軸を相対的に縮小したことに相当する。前段の可変ゲ
イン増幅回路42のゲインを1より大きくし,後段の可変
ゲイン増幅回路43のゲインを1より小さくした場合にお
ける入出力特性が第2b図に実線で示している。これは,
ガンマ補正曲線がみかけ上,破線(第2a図に示す入出力
特性)から実線に変化したのと等価である。このように
して,可変ゲイン増幅回路42と43のゲインを調整するこ
とによりガンマを変えることができる。
If the gain of the variable gain amplifying circuit 42 at the preceding stage is made larger than 1, the input of the gamma correction circuit 41 becomes apparently large, so that the change range of the input signal exceeds 100% and enters the area of the KNEE curve. By making the gain of the variable gain amplifier circuit 43 at the subsequent stage smaller than 1, the output of this amplifier circuit 43 becomes 100
% Range. This corresponds to a relative reduction in the horizontal axis and the vertical axis in the graph of FIG. 2a. The input / output characteristics when the gain of the variable gain amplifying circuit 42 in the preceding stage is set to be larger than 1 and the gain of the variable gain amplifying circuit 43 in the subsequent stage is set to be smaller than 1 are shown by solid lines in FIG. 2b. this is,
This is equivalent to apparently changing the gamma correction curve from a broken line (input / output characteristics shown in FIG. 2a) to a solid line. Thus, gamma can be changed by adjusting the gains of the variable gain amplifier circuits 42 and 43.

第3図はこの発明による画像信号処理回路,とくに白
バランス調整とガンマ補正に関する部分を示している。
FIG. 3 shows an image signal processing circuit according to the present invention, particularly a portion relating to white balance adjustment and gamma correction.

スチル・ビデオ・カメラ,ビデオ・カメラ等の撮像装
置10からは撮像した被写体像を表わす三原色信号G,Rお
よびBが出力される。被写体像がネガフィルムのように
静止しているものである場合には,そのネガフィルムの
像を表わす色信号が一定周期(たとえば1/60秒)で繰返
し出力されることになる。撮像装置10から出力される色
信号G,RおよびBが第4a図に示されている。このよう
に,この色信号G,RおよびBは上述した色ごとの階調特
性の違いを反映しており,かつ直流信号成分のレベルも
一般には異なっている。
An imaging device 10 such as a still video camera or a video camera outputs three primary color signals G, R, and B representing a captured subject image. If the subject image is stationary like a negative film, color signals representing the image of the negative film are repeatedly output at a constant period (for example, 1/60 second). The color signals G, R and B output from the imaging device 10 are shown in FIG. 4a. As described above, the color signals G, R, and B reflect the above-described difference in gradation characteristics for each color, and the level of the DC signal component is also generally different.

これらの色信号のうち色信号Gは直接にクランプ回路
21に与えられ,他の色信号RおよびBは可変ゲイン増幅
回路15および16において後述する適切なゲインで増幅さ
れたのちクランプ回路22および23にそれぞれ与えられ
る。クランプ回路21,22および23には同じクランプ・レ
ベルが設定されており,これらのクランプ回路21,22お
よび23によって色信号G,RおよびBの直流信号成分が一
定に揃うことになる。
Of these color signals, the color signal G is directly supplied to the clamp circuit.
The other color signals R and B are amplified by variable gain amplifier circuits 15 and 16 with an appropriate gain described later, and then applied to clamp circuits 22 and 23, respectively. The same clamp level is set in the clamp circuits 21, 22, and 23, and the DC signals of the color signals G, R, and B are uniformly arranged by the clamp circuits 21, 22, and 23.

クランプ回路21,22および23から出力される色信号G,R
およびBは一方ではブランキング・ミックス回路31,32
および33にそれぞれ与えられるとともに,他方では切換
スイッチ(マルチプレクサ)24に与えられる。切換スイ
ッチ24はマイクロ・コンピュータ11によって一定時間ご
とに切換えられ,色信号G,RおよびBが順次ピーク検波
回路12に与えられる。
The color signals G, R output from the clamp circuits 21, 22, and 23
And B on the other hand are blanking mix circuits 31, 32
And 33, respectively, and on the other hand, to a changeover switch (multiplexer) 24. The changeover switch 24 is switched by the microcomputer 11 at regular intervals, and the color signals G, R and B are sequentially supplied to the peak detection circuit 12.

ピーク検波回路12は入力信号の最大レベルおよび最小
レベルを検出するものである。色信号G,RおよびBがネ
ガフィルムのようなネガ画像を表わす場合には最大レベ
ルは黒ピーク・レベル,最小レベルは白ピーク・レベル
に対応するので,以下,黒,白ピーク・レベルの用語を
使用する。切換スイッチ24によって色信号Gがピーク検
波回路12に入力しているときには色信号Gの黒,白ピー
ク・レベルが検出される。切換スイッチ24が色信号Gを
選択している時間は一画面内の適当な領域を走査してい
る期間でよい。これにより画面にウインドウが設定され
かつそのウインドウ内の黒,白ピーク検出が行なわれる
のと等価となる。他の色信号RおよびBについても同じ
である。
The peak detection circuit 12 detects the maximum level and the minimum level of the input signal. When the color signals G, R and B represent a negative image such as a negative film, the maximum level corresponds to the black peak level and the minimum level corresponds to the white peak level. Use When the color signal G is input to the peak detection circuit 12 by the changeover switch 24, the black and white peak levels of the color signal G are detected. The time during which the changeover switch 24 selects the color signal G may be the time during which an appropriate area within one screen is scanned. This is equivalent to setting a window on the screen and detecting black and white peaks in the window. The same applies to the other color signals R and B.

このようにして,検出された色信号G,RおよびBのそ
れぞれについての黒,白ピーク・レベルはマイクロ・コ
ンピュータ11に与えられる。マイクロ・コンピュータ11
は,入力する黒,白ピーク・レベルを表わすデータを用
いて,色信号Gの黒ピーク・レベルと白ピーク・レベル
との差と,色信号Rの黒ピーク・レベルと白ピーク・レ
ベルとの差と,色信号Bの黒ピーク・レベルと白ピーク
・レベルとの差が一定の比率になるように,可変ゲイン
増幅回路15,16のゲインを制御し,暫定的な白バランス
調整を行なう。このように暫定的に白バランス調整され
かつ直流成分がクランプされたのちの色信号G,Rおよび
Bが第4b図に示されている。3つの色信号G,RおよびB
の直流成分のレベルが揃っている。色信号G,RおよびB
の黒ピークまたは白ピークおよび階調特性の相違はまだ
調整されていない。第4b図では色信号G,RおよびBにお
いて白ピークが相互に一致しているように描かれている
が,これは図示を簡単にするためである。
In this way, the black and white peak levels of each of the detected color signals G, R and B are given to the microcomputer 11. Microcomputer 11
Is the difference between the black peak level and the white peak level of the color signal G and the black peak level and the white peak level of the color signal R using the data representing the input black and white peak levels. The gains of the variable gain amplifying circuits 15 and 16 are controlled so that the difference between the difference and the black peak level and the white peak level of the color signal B becomes a constant ratio, and provisional white balance adjustment is performed. FIG. 4b shows the color signals G, R and B after the provisional white balance adjustment and the DC component clamping are performed in this way. Three color signals G, R and B
Have the same DC component level. Color signals G, R and B
The difference between the black peak or white peak and the gradation characteristic has not been adjusted yet. In FIG. 4b, the white peaks in the color signals G, R and B are drawn so as to coincide with each other, but this is for the sake of simplicity.

暫定的に白バランス調整された色信号G,RおよびBは
上述したようにブランキング・ミックス回路31,32およ
び33にそれぞれ与えられる。これらのブランキング・ミ
ックス回路31,32および33には2種類のブランキング・
タイミング信号BLK1およびBLK2が入力している。ブラン
キング・タイミング信号BLK1はブランキング期間の前半
部でHレベルとなる信号であり,ブランキング・タイミ
ング信号BLK2はブランキング期間の後半部でHレベルと
なる信号である。ブランキング・ミックス回路31,32お
よび33にはまた,色信号G,RおよびBの一定の比率に調
整されたそれぞれの黒ピーク・レベルおよび白ピーク・
レベルを表わす信号がマイクロ・コンピュータ11からそ
れぞれ与えられている。ブランキング・ミックス回路3
1,32および33は,ブランキング・タイミング信号BLK1が
Hレベルの間,白ピーク・レベルを表わすパルス信号を
色信号G,RおよびBに重畳し,かつブランキング・タイ
ミング信号BLK2がHレベルの間,対応する黒ピーク・レ
ベルを表わすパルス信号を色信号G,RおよびBに重畳す
る。
The color signals G, R and B temporarily adjusted in white balance are applied to the blanking / mixing circuits 31, 32 and 33, respectively, as described above. These blanking mix circuits 31, 32 and 33 have two types of blanking circuits.
Timing signals BLK1 and BLK2 are input. The blanking timing signal BLK1 is a signal that goes high in the first half of the blanking period, and the blanking timing signal BLK2 is a signal that goes high in the second half of the blanking period. The blanking mix circuits 31, 32 and 33 also have respective black and white peak levels adjusted to a fixed ratio of the color signals G, R and B.
Signals representing the levels are provided from the microcomputer 11 respectively. Blanking / mixing circuit 3
1, 32 and 33 superimpose a pulse signal representing the white peak level on the color signals G, R and B while the blanking timing signal BLK1 is at the H level, and the blanking timing signal BLK2 has the H level. During this time, a pulse signal representing the corresponding black peak level is superimposed on the color signals G, R and B.

このようにして,白ピーク・レベルおよび黒ピーク・
レベルを表わすパルス信号がブランキング期間に加えら
れた色信号G,RおよびBがブランキング・タイミング信
号BLK1,BLK2とともに第4c図に示されている。色信号G,R
およびBのブランキング期間に白ピーク・レベルおよび
黒ピーク・レベルが保存されているので,これらの白,
黒ピーク・レベルを後段の回路で利用することができ
る。たとえば黒ピーク・レベルはポジに反転された後,
映像信号の黒の基準レベルとして用いられる。また白ピ
ーク・レベルはこれらのピーク・レベルを一定レベルに
揃えるためのクランプ処理において用いられる。
Thus, the white peak level and the black peak level
FIG. 4c shows the color signals G, R and B to which the pulse signals representing the levels are applied during the blanking period, together with the blanking timing signals BLK1 and BLK2. Color signal G, R
Since the white peak level and the black peak level are stored during the blanking periods of B and B, these white and black peak levels are stored.
The black peak level can be used in subsequent circuits. For example, after the black peak level is inverted to positive,
Used as a black reference level of the video signal. The white peak level is used in a clamp process for adjusting these peak levels to a constant level.

ブランキング・ミックス回路31,32および33の出力信
号はKNEE特性をもつガンマ補正回路40に与えられる。ガ
ンマ補正回路40は上述したガンマ補正回路41(第1図)
と同じもの(同じ入出力特性をもつもの)を,色信号G,
RおよびBに対してそれぞれ有している。このガンマ補
正回路40に入力した色信号G,RおよびBはその入力の大
きさ(上記の比率)に応じて,KNEE曲線を一部に有する
入出力特性曲線によってガンマ補正されて出力される。
ブランキング期間に加れられた黒ピーク・レベルを表わ
すパルス信号の高さ(振幅)も同じようにガンマ補正さ
れる。ガンマ補正回路40の出力信号が第4d図に示されて
いる。
Output signals of the blanking / mixing circuits 31, 32 and 33 are applied to a gamma correction circuit 40 having KNEE characteristics. The gamma correction circuit 40 is the gamma correction circuit 41 described above (FIG. 1).
(With the same input / output characteristics)
R and B respectively. The color signals G, R, and B input to the gamma correction circuit 40 are gamma-corrected by an input / output characteristic curve partially having a KNEE curve in accordance with the magnitude of the input (the above ratio) and output.
The height (amplitude) of the pulse signal representing the black peak level applied during the blanking period is also gamma corrected. The output signal of the gamma correction circuit 40 is shown in FIG. 4d.

ガンマ補正回路40の出力信号G,RおよびBは一方では
反転回路57,58および59でそれぞれポジに反転され(反
転された信号が第4e図に示されている),他方では切換
スイッチ51,52および53のポジ端子Pにそれぞれ与えら
れる。
The output signals G, R and B of the gamma correction circuit 40 are positively inverted on the one hand by inverting circuits 57, 58 and 59, respectively (the inverted signal is shown in FIG. 4e), and on the other hand the changeover switches 51, It is provided to positive terminals P of 52 and 53, respectively.

反転回路57,58および59で反転された色信号のうち信
号RおよびBは可変ゲイン増幅回路55および56にそれぞ
れ与えられる。この可変ゲイン増幅回路55および56のゲ
インは,第4f図に示すように,増幅回路55および56の出
力信号RおよびBならびに反転回路57の出力信号Gの階
調特性が一致しかつ黒ピーク・レベルと白ピーク・レベ
ルとの差が色信号G,RおよびBにおいて一致するように
(白バランス調整の完成)調整される。換言すれば,上
述した暫定的白バランス調整における黒ピーク・レベル
と白ピーク・レベルとの差の比率は,KNEE特性をもつガ
ンマ補正回路40と可変ゲイン増幅回路55および56とによ
って,三原色信号G,RおよびBにおいてそれらの階調特
性が一致しかつ黒ピーク・レベルと白ピーク・レベルと
の差が一致するように,適切に設定される。色信号G,R
およびBにおいて,黒ピーク・レベルまたは白ピーク・
レベルは後述するエンコーダ14等において必要に応じて
クランプ処理等によって揃えられる。このようにして,
階調特性および黒ピーク・レベルと白ピーク・レベルと
の差(すなわち完全に白バランスが調整された)が一致
した信号G,RおよびBは切換スイッチ51,52および53のネ
ガ端子Nにそれぞれ与えられる。
Of the color signals inverted by the inverting circuits 57, 58 and 59, the signals R and B are supplied to variable gain amplifying circuits 55 and 56, respectively. As shown in FIG. 4f, the gains of the variable gain amplifier circuits 55 and 56 are such that the gradation characteristics of the output signals R and B of the amplifier circuits 55 and 56 and the output signal G of the inverting circuit 57 match, and The difference between the level and the white peak level is adjusted so that the color signals G, R, and B match (complete white balance adjustment). In other words, the ratio of the difference between the black peak level and the white peak level in the provisional white balance adjustment described above is determined by the gamma correction circuit 40 having the KNEE characteristic and the variable gain amplifier circuits 55 and 56 by the three primary color signals G. , R, and B are appropriately set so that their gradation characteristics match and the difference between the black peak level and the white peak level matches. Color signal G, R
And B, black peak level or white peak level
The levels are adjusted by a clamp process or the like as necessary in the encoder 14 or the like described later. In this way,
Signals G, R, and B whose tone characteristics and the difference between the black peak level and the white peak level (that is, the white balance is completely adjusted) are applied to the negative terminals N of the changeover switches 51, 52, and 53, respectively. Given.

切換スイッチ51,52および53は各色信号G,RおよびBに
ついてそれぞれ設けられ,ポジ系のガンマ補正後の色信
号とネガ系のガンマ補正後の色信号とを切換えるもので
ある。もちろん,これらの切換スイッチ51,52および53
は相互に連動するものであることが好ましい。これらの
スイッチ51,52および53の出力色信号G,RおよびBはマト
リクス回路13に与えられ,輝度信号Yならびに色差信号
R−Y,B−Yに変換される。さらにこれらの信号Y,R−Y
およびB−Yはエンコーダ14においてNTSCフォーマット
の映像信号に変換されて出力される。
The changeover switches 51, 52, and 53 are provided for each of the color signals G, R, and B, and switch between a positive color signal after gamma correction and a negative color signal after gamma correction. Of course, these changeover switches 51, 52 and 53
Are preferably linked to each other. Output color signals G, R and B of these switches 51, 52 and 53 are applied to a matrix circuit 13 and converted into a luminance signal Y and color difference signals RY and BY. Further, these signals Y, RY
And BY are converted into an NTSC format video signal by the encoder 14 and output.

エンコーダ14にはブランキング・タイミング信号BLK3
が与えられている。このタイミング信号BLK3は第4g図に
示すように,ブランキング期間を表わす信号(この期間
Lレベルとなる)で,タイミング信号BLK1とBLK2のパル
ス幅をあわせた幅よりも少し広い幅のパルス状信号であ
る。このタイミング信号BLK3のLレベルの期間におい
て,信号Y,R−YおよびB−Yがタイミング信号BLK2の
Hレベルの期間におけるそれぞれのレベル(すなわち黒
レベル)に一致するようにブランキングされることによ
り,NTSCフォーマットのブランキング期間を表わす信号
成分が上記信号Y,R−YおよびB−Yに付与される。最
終的に得られるNTSC出力が第4h図に示されている。
The encoder 14 has a blanking timing signal BLK3
Is given. As shown in FIG. 4g, the timing signal BLK3 is a signal representing a blanking period (the L level during this period), and is a pulse-like signal having a width slightly wider than the combined width of the pulse widths of the timing signals BLK1 and BLK2. It is. During the L level period of the timing signal BLK3, the signals Y, RY, and BY are blanked so as to coincide with the respective levels (that is, black levels) during the H level period of the timing signal BLK2. , NTSC format, a signal component representing a blanking period is added to the signals Y, RY and BY. The final NTSC output is shown in FIG. 4h.

可変ゲイン増幅回路15および16によって三原色信号G,
RおよびBにおいて白ピーク・レベルと黒ピーク・レベ
ルとの差を一致させて完全な白バランス調整を行なうよ
うにしてもよい。この場合には可変ゲイン増幅回路55お
よび56はガンマ補正のみを行なうものとする。このガン
マ補正によって既に調整された白バランスが多少くずれ
ることはあるが,問題ない場合が多い。
The three primary color signals G,
In R and B, the difference between the white peak level and the black peak level may be made to coincide with each other to perform perfect white balance adjustment. In this case, variable gain amplifier circuits 55 and 56 perform only gamma correction. The white balance already adjusted may be slightly distorted by this gamma correction, but in many cases there is no problem.

さらに,可変ゲイン増幅回路55および56のゲインを手
動で調整するようにしてもよい。この場合には白バラン
スおよびガンマ補正の少なくともいずれか一方の手動に
よる微調整が実現されよう。
Further, the gains of the variable gain amplifier circuits 55 and 56 may be manually adjusted. In this case, manual fine adjustment of at least one of white balance and gamma correction will be realized.

【図面の簡単な説明】[Brief description of the drawings]

第1図は可変ガンマ補正回路の実施例を示すブロック図
である。 第2a図および第2b図は可変ガンマ補正回路の機能を説明
するための入出力特性を示すグラフである。 第3図は画像信号処理回路の実施例を示すブロック図で
ある。 第4a図から第4h図は第3図に示す回路の各ブロックの入
出力信号を示す波形図である。 第5図はネガフィルムに表わされた画像の階調特性を示
すグラフ,第6図は色によって階調特性が異なる様子を
示すグラフである。 第7図は従来例を示すブロック図である。 10……撮像装置, 11……マイクロ・コンピュータ, 12……ピーク検波回路, 15,16,42,43,55,56……可変ゲイン増幅回路, 21,22,23……クランプ回路, 31,32,33……ブランキング・ミックス回路, 40,41……ガンマ補正回路。
FIG. 1 is a block diagram showing an embodiment of a variable gamma correction circuit. FIGS. 2a and 2b are graphs showing input / output characteristics for explaining the function of the variable gamma correction circuit. FIG. 3 is a block diagram showing an embodiment of the image signal processing circuit. 4a to 4h are waveform diagrams showing input / output signals of each block of the circuit shown in FIG. FIG. 5 is a graph showing the gradation characteristics of an image represented on a negative film, and FIG. 6 is a graph showing how the gradation characteristics differ depending on the color. FIG. 7 is a block diagram showing a conventional example. 10 ... Imaging device, 11 ... Microcomputer, 12 ... Peak detection circuit, 15,16,42,43,55,56 ... Variable gain amplifier circuit, 21,22,23 ... Clamp circuit, 31, 32,33: Blanking / mixing circuit, 40,41: Gamma correction circuit.

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.6,DB名) H04N 9/69 H04N 9/73 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 6 , DB name) H04N 9/69 H04N 9/73

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】被写体を撮像して得られる3種類の色信号
の色バランス調整のために少なくとも2種類の色信号に
対して設けられた第1の色バランス調整回路, 上記第1の色バランス調整回路の後段に接続され,上記
第1の色バランス調整回路において色バランス調整され
た3種類の色信号をそれぞれ入力とし,使用レンジのう
ち前半部分ではガンマ補正のためのべき乗関数曲線によ
って,後半部分ではKNEE曲線によって表される入出力特
性をもつガンマ補正回路,および 上記ガンマ補正回路の後段に接続され,上記ガンマ補正
回路によってガンマ補正された3種類の色信号のうちの
少なくとも2種類に対して設けられた第2の色バランス
調整回路, を備えた画像信号処理回路。
A first color balance adjustment circuit provided for at least two types of color signals for adjusting the color balance of three types of color signals obtained by imaging a subject; The three types of color signals, which are connected at the subsequent stage of the adjustment circuit and have been subjected to color balance adjustment in the first color balance adjustment circuit, are input, respectively. In the part, a gamma correction circuit having input / output characteristics represented by a KNEE curve, and a gamma correction circuit connected to a subsequent stage of the gamma correction circuit for at least two of the three color signals gamma corrected by the gamma correction circuit An image signal processing circuit, comprising: a second color balance adjustment circuit provided.
【請求項2】被写体を撮像して得られる3種類の色信号
のそれぞれの最大レベルおよび最小レベルを検出するピ
ーク検波回路, 上記ピーク検波回路により検出された最大レベルと最小
レベルとの差が3種類の色信号において所定の比率にな
るように,上記第1の色バランス調整回路のゲインを調
整する第1のゲイン調整手段,および 上記3種類の色信号の階調特性が一致しかつ上記最大レ
ベルと最小レベルとの差が一致するように,上記第2の
色バランス調整回路のゲインを調整する第2のゲイン調
整手段, を備えた請求項1に記載の画像信号処理回路。
2. A peak detection circuit for detecting a maximum level and a minimum level of each of three types of color signals obtained by imaging a subject, wherein a difference between the maximum level and the minimum level detected by the peak detection circuit is 3 First gain adjusting means for adjusting the gain of the first color balance adjusting circuit so that the ratio of the color signals becomes a predetermined ratio; and 2. The image signal processing circuit according to claim 1, further comprising: a second gain adjustment unit that adjusts a gain of the second color balance adjustment circuit so that a difference between the level and the minimum level is equal.
【請求項3】3種類の色信号のそれぞれのブランキング
期間の前半部と後半部に,検出された最大レベルと最小
レベルを表す信号成分をそれぞれ重畳させるブランキン
グ・ミックス回路をさらに備えた請求項2に記載の画像
信号処理回路。
3. A blanking / mixing circuit for superimposing signal components representing the detected maximum level and minimum level on the first half and the second half of the blanking period of each of the three types of color signals. Item 3. The image signal processing circuit according to Item 2.
【請求項4】3種類の色信号の直流成分のレベルを一定
レベルに揃えるクランプ回路が3種類の色信号のそれぞ
れに対してピーク検波回路の前段に設けられている,請
求項2に記載の画像信号処理回路。
4. The apparatus according to claim 2, wherein a clamp circuit for adjusting the level of the DC component of each of the three types of color signals to a constant level is provided at a stage preceding the peak detection circuit for each of the three types of color signals. Image signal processing circuit.
JP2224366A 1990-08-28 1990-08-28 Image signal processing circuit Expired - Fee Related JP2961719B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2224366A JP2961719B2 (en) 1990-08-28 1990-08-28 Image signal processing circuit
US08/267,763 US5479204A (en) 1990-08-28 1994-07-05 Negative-image signal processing apparatus
US08/449,544 US5512948A (en) 1990-08-28 1995-05-24 Negative-image signal processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2224366A JP2961719B2 (en) 1990-08-28 1990-08-28 Image signal processing circuit

Publications (2)

Publication Number Publication Date
JPH04107083A JPH04107083A (en) 1992-04-08
JP2961719B2 true JP2961719B2 (en) 1999-10-12

Family

ID=16812631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2224366A Expired - Fee Related JP2961719B2 (en) 1990-08-28 1990-08-28 Image signal processing circuit

Country Status (1)

Country Link
JP (1) JP2961719B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2993300B2 (en) * 1992-11-25 1999-12-20 日本電気株式会社 Digital gamma correction circuit
JP3487361B2 (en) * 1994-04-11 2004-01-19 富士写真フイルム株式会社 Exposure control device for film scanner, image signal processing method and gamma correction method
JP3371405B2 (en) * 1994-04-15 2003-01-27 富士写真フイルム株式会社 Film cartridge and film image input device
US5926562A (en) * 1995-06-23 1999-07-20 Fuji Photo Film Co., Ltd. Image processing method using reference values to determine exposure state
US7253836B1 (en) 1998-06-30 2007-08-07 Nikon Corporation Digital camera, storage medium for image signal processing, carrier wave and electronic camera

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51110921A (en) * 1975-03-25 1976-09-30 Teac Corp Karaasatsuzosochi
JPS5850364B2 (en) * 1978-09-29 1983-11-10 工業技術院長 Steering method of automatic transfer vehicle
JPS5539418A (en) * 1978-09-13 1980-03-19 Hitachi Denshi Ltd Correction device for color film base
JPS6219114A (en) * 1985-07-18 1987-01-27 松下電器産業株式会社 Seat for vehicle

Also Published As

Publication number Publication date
JPH04107083A (en) 1992-04-08

Similar Documents

Publication Publication Date Title
US5375000A (en) Method and apparatus for generating representation of an image from a transparency
US5142354A (en) Signal level correction circuit for a video signal
NL194570C (en) Color television receiver.
WO1990013199A1 (en) Automatic brightness algorithm in a slide to video transfer unit
US4608595A (en) White balance correction for negative-to-positive conversion
JP2784839B2 (en) Image signal gradation correction device
US5479204A (en) Negative-image signal processing apparatus
US4635101A (en) Image conversion apparatus for television signals
JP2961719B2 (en) Image signal processing circuit
US5633677A (en) Television camera apparatus
JP2583325B2 (en) Gradation correction circuit
JP2724765B2 (en) Negative image signal processing circuit
US5019909A (en) Video camera for photographing papers
JPH04109774A (en) Exposure adjustment device for camera
JPS5826019B2 (en) Color image correction device
JPH0779439B2 (en) Imaging device
JP2689018B2 (en) Electronic imaging device with electronic shutter function
JP4145704B2 (en) White balance circuit
JPH08214322A (en) Telecine camera
JP3461621B2 (en) Television camera equipment
GB2061061A (en) Correcting a color signal in color printing
JP3357439B2 (en) Video signal processing device
JP3395237B2 (en) Film image reading device
JP2660598B2 (en) Imaging device
JP3118607B2 (en) Electronic still camera

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070806

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070806

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100806

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees