JPH0522653A - 撮像装置の露光制御方法 - Google Patents

撮像装置の露光制御方法

Info

Publication number
JPH0522653A
JPH0522653A JP3193632A JP19363291A JPH0522653A JP H0522653 A JPH0522653 A JP H0522653A JP 3193632 A JP3193632 A JP 3193632A JP 19363291 A JP19363291 A JP 19363291A JP H0522653 A JPH0522653 A JP H0522653A
Authority
JP
Japan
Prior art keywords
exposure control
circuit
weighting
image pickup
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3193632A
Other languages
English (en)
Other versions
JP3002298B2 (ja
Inventor
Hiroaki Kami
博章 嘉見
Hiroyuki Tarumi
浩幸 垂水
Tomoyuki Kurashige
知行 倉重
Takuya Imaide
宅哉 今出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Image Information Systems Inc
Hitachi Ltd
Hitachi Advanced Digital Inc
Original Assignee
Hitachi Image Information Systems Inc
Hitachi Ltd
Hitachi Video and Information System Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Image Information Systems Inc, Hitachi Ltd, Hitachi Video and Information System Inc filed Critical Hitachi Image Information Systems Inc
Priority to JP3193632A priority Critical patent/JP3002298B2/ja
Publication of JPH0522653A publication Critical patent/JPH0522653A/ja
Application granted granted Critical
Publication of JP3002298B2 publication Critical patent/JP3002298B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)

Abstract

(57)【要約】 【目的】 撮像画面内のどのような輝度分布において
も、目標被写体に対して適正な露出が得られる撮像装置
を提供すること。 【構成】 検出された画面の輝度分布に応じて、露光制
御信号の生成における輝度信号の平均値Avの重み付け
と最大値Pの重み付けとを連続的に変化させ、常に目標
被写体に対して適正な露出が得られるようにする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は撮像装置の露光制御方法
に係り、特に、背景と目標被写体のコントラストにより
目標被写体の信号が飽和してしまう白飛びや、目標被写
体に充分な露光が得られない黒沈みを抑圧する手段を設
けた露光制御方式に関する。
【0002】
【従来の技術】従来の撮像装置の露光制御手段は、例え
ば特開昭56−19274号公報などに開示されてお
り、概略図8に示す如き構成となっている。同図におい
て、101はレンズ、102は絞り、103は撮像素
子、104は信号処理回路、105は検波回路、106
は比較器、107は基準電圧源、108は絞りモータ、
109は出力端である。図8に示す構成において、レン
ズ101並びに絞り102を経て撮像素子103に入射
した光は撮像素子103で電気信号に変換され、この撮
像素子103の出力が信号処理回路104に送出され
て、該信号処理回路104で映像信号が生成され、出力
端109から出力される。ここで、検波回路105には
信号処理回路104から輝度信号が分岐されて入力さ
れ、該検波回路105から出力される露光制御信号電圧
110と基準電圧源107の基準電圧Vrefとが比較
器106に入力され、これによって露光制御信号電圧1
10と基準電圧Vrefとが一致するように絞りモ−タ
108が駆動され、撮像装置出力信号振幅は適正値に維
持されるようになっている。
【0003】ここで検波回路について図9を用いて説明
する。図9は一般的なダイオ−ド検波回路であり、検波
トランジスタ111、抵抗(R1)112、抵抗(R
2)113、コンデンサ(C1)114とで構成されて
いる。このダイオード検波回路においては、抵抗(R
1)112の値を充分に大きくしておけば、コンデンサ
(C1)114にホ−ルドされる電圧は輝度信号の最大
値を示す値となり最大値検波が行われる。また、抵抗
(R1)112の値を充分に小さくしておけば、コンデ
ンサ(C1)114にホ−ルドされる電圧は輝度信号の
平均値を示す値となり平均値検波が行われる。従って、
抵抗(R1)112、抵抗(R2)113、コンデンサ
(C1)114の3つの素子の定数設定により、露光制
御信号電圧は輝度信号の最大値Pを重視した値にも、平
均値Avを重視した値にも設定することができる。
【0004】なお、一般的な撮像装置では白一色の被写
体を撮像した場合、飽和100%に対して約60%から
80%の明るさに再生されるように設計されるのが普通
であるが、完全な最大値検波では100%に再生され、
完全な平均値検波では50%に再生されるため、上記し
た抵抗(R1)112、抵抗(R2)113、コンデン
サ(C1)114の定数設定により各々の中間の検波特
性が得られるようにしている。
【0005】
【発明が解決しようとする課題】上記した一般的なダイ
オ−ド検波回路においても、露光制御信号を輝度信号の
最大値あるいは平均値のどちらを重視した設定にもでき
るが、平均値を重視した設定にすると図10の(a)に示
すような主要被写体に対し背景が非常に暗い状態である
過順光時に、主要被写体である人物が白く飛んでしま
う。一方、ピ−ク値を重視した設定にすると図10の
(b)に示すような主要被写体に対し背景が非常に明るい
状態である逆光時に被写体の人物は黒く沈んでしまう。
すなわち、白飛び抑止と黒沈み抑止とは相反する関係に
あり、白飛び抑止と黒沈み抑止とを同時に達成すること
は困難であった。
【0006】従って、本発明の解決すべき技術的課題は
上記した従来技術のもつ問題点を解消することにあり、
その目的とするところは、画面内がどのような輝度分布
状態にあっても目標被写体に対して適正な露出が得ら
れ、白飛び並びに黒沈みが可及的に抑止可能な撮像装置
の露光制御方法を提供することにある。
【0007】
【課題を解決するための手段】本発明による撮像装置の
露光制御方法は上記目的を達成するため、画面内の輝度
分布を検出する手段を設け、この検出結果に応じて露光
制御信号の生成における輝度信号の平均値Avの重み付
けと最大値Pの重み付けとを変化させる。
【0008】
【作用】画面内の輝度分布に応じて、露光制御信号生成
時の輝度信号の平均値Avの重み付けと最大値Pの重み
付けとを変化させ、目標被写体部分が背景部分に比べて
明るいときは前記最大値Pの重み付けを大きくし、逆に
目標被写体部分が背景部分に比べて暗い時は前記平均値
Avの重み付けを大きくする。こうすることにより、目
標被写体と背景とのコントラストが著しく異なる場合で
も、目標被写体に対して適正な露出が得られる。
【0009】
【実施例】以下、本発明を図示した実施例によって説明
する。先ず本発明の第1実施例を図1〜図3を用いて説
明する。図1は本実施例に係る撮像装置の構成図であ
り、図2は撮像画の輝度分布を判定するために画面分割
例を示す説明図である。また、図3は過順光時、通常
時、逆光時の状態の撮像例を示す説明図である。
【0010】図1において、1はレンズ、2は絞り、3
は撮像素子、4はA/D変換器、5は信号処理回路、6
はD/A変換器、7は出力端、8は比較器、9は絞りモ
ータ、10は基準電圧源、11はマイコン(マイクロコ
ンピュータ)である。ここで、マイコン11は実際に
は、各種I/Oインターフェース、主制御プログラムや
固定データが格納されたROM、各種データやフラグが
読み書きされるRAM、全体の制御を司るCPU等を備
えたもので構成され、予め定められた各種プログラムに
よって各種制御処理を実行するものであるが、ここでは
説明の便宜上、D/A変換器111、第1の係数回路1
12、第2の係数回路113、第1の比較回路114、
ピーク基準値設定回路115、補正量計算回路(K倍回
路)116、加算回路117、第2の比較回路118、
第3の比較回路119、輝度分布判定回路120をもつ
ものとして以下の説明を行う。
【0011】図1の構成において、レンズ1、絞り2を
経て撮像素子3に入射した光は電気信号に変換された
後、A/D変換器4でディジタル信号に変換されて信号
処理回路5に入力される。信号処理回路5では、例えば
図2に示した撮像画面の各領域S1,S2での輝度情報
Yiの平均値Av1 ,Av2 を、平均値算出回路51で
図7の式により算出し、また、図7の式で示される
輝度情報の最大値P1 ,P2 を最大値算出回路52で求
め、これをマイコン11にそれぞれ出力する。マイコン
11では第1の係数回路112で上記した各領域S1,
S2での輝度情報Yiの平均値Av1 ,Av2 に係数を
持たせ、図7の式で示されるAv0が出力される。ま
た第2の係数回路113においては、各領域S1,S2
での輝度情報Yiの最大値P1 ,P2 に係数を持たせ、
図7の式で示されるP0 が出力される。
【0012】このような係数づけは図3の(a),
(b),(c)に示すように主要なる被写体(図では人
物)が画面中央部に配置されることが多いため、露光制
御をこの主要被写体の輝度情報に大きく依存させて行う
ためである。ここで例えば、Av0 をそのまま露光制御
信号VdとしてD/A変換器111より出力し、さらに
白一色の被写体を撮像して、撮像装置出力端7から、飽
和100%に対し50%の出力信号が得られるように設
定すれば、従来技術において記したように完全な平均値
検波による露光制御が行われる。なお、この時のVrの
値を本実施例ではVr1 とする。また、P0 をそのまま
露光制御信号VdとしてD/A変換器111より出力
し、白一色被写体撮像時の出力信号を100%になるよ
う基準電圧源10の基準電圧Vrを設定すれば、完全最
大値(ピ−ク値)検波による露光制御が行われる。ここ
で、実際には前述したように、両者の中間の露光制御特
性が得られる方が、様々な被写体に対し自然な露光制御
が得られることが多いため、本実施例でも、完全平均値
検波をもとに、最大値検波による補正を加えるような構
成としており、そのための処理に第1の比較回路11
4、ピーク基準値設定回路115、補正量計算回路(K
倍回路)116、加算回路117を用いる。
【0013】ピーク基準値設定回路(メモリ)115に
は、撮像装置出力端7においてほぼ100%の振幅を与
える輝度量に相当するデ−タPrが書き換え可能に格納
されている。このピーク基準値設定回路115のデータ
Prと、前記した第2の係数回路113の出力P0
は、第1の比較回路114によって比較され、この比較
結果Pdが補正量計算回路(K倍回路)116によって
K倍されて、補正信号K・Pdが生成される。そして、
この補正信号K・Pdと、前記第1の係数回路112の
出力Av0 が加算され、D/A変換器111から図7の
式に示した露光制御信号電圧Vdが出力される。な
お、このとき基準電圧源10の基準電圧Vrは前記した
Vr1 に設定される。
【0014】このような構成において白一色を撮像した
場合、突出したピ−ク信号がないので、P0 は、ほぼ飽
和量に対し50%程度の値となり、この結果K・Pdは
正の値となり、絞りは完全平均値検波での安定点である
輝度信号振幅50%が得られる位置よりも開き、Kの値
によっては輝度信号振幅70%ないし80%の適正な値
が得られる。逆に、白一色の被写体の中の一箇所ないし
数箇所に突出した、撮像装置を飽和させるような大振幅
の信号があった場合には、K・Pdは負の値となり、絞
りはやや閉じて、突出部以外の信号振幅は30〜40%
となる。
【0015】ところで以上の構成のみでは、極端な撮影
状況で必ずしも良好な再生画が得られない場合がある。
それらの場合を改善するために本実施例では、第2の比
較回路118、第3の比較回路119により、Av1
Av2 及びP1 ,P2 を比較し、輝度分布判定回路12
0でこれらの結果より輝度分布を判定し、この結果に応
じてKないしPrを変化させて最大値(ピ−ク値)によ
る補正量を変化させる。その具体的な一例を図3を用い
て説明する。図3の(a)では、人物の顔に対し背景が
非常に暗い過順光の場合を示し、図3の(c)では、人
物の顔に対し、背景が非常に明るい逆光の場合を示し、
図3の(b)では、顔と背景とのコントラストの少ない
通常の場合をそれぞれ示している。図3の(a)におい
て最も避けなければならないのは、顔が飽和して白飛び
してしまうことである。そこで、このような画面中央部
が明るく、それに対し周辺部が非常に暗い輝度分布が得
られた場合は、前記最大値Pに重点を置いた露光制御を
行う。例えば、輝度分布判定回路120からの信号で補
正量計算回路116のKを大きくして最大値(ピ−ク
値)による補正量を大きくする。こうすれば、人物の顔
が白飛びすることを防止することができる。また、図3
の(c)の逆光時においては、逆に最大値に重点を置い
た露光制御により背景を飽和させないところまで絞り込
んでしまうと、人物の顔が必要以上に暗くなってしまう
のでKを小さくして補正量を小さくし、前記平均値Av
に重点を置いた露光制御を行い、このような弊害を防止
する。
【0016】斯様な手法をとる本実施例によれば、どの
ような輝度分布においても目標被写体に対して適正な露
出が得られる撮像装置を提供することができる。
【0017】次に、本発明の第2実施例を図4を用いて
説明する。前記第1実施例では露光制御における最大値
検波と平均値検波の重み付けを変化させるのに撮像画面
を複数の領域に分割して輝度分布を判定する手法を用い
たが、本実施例では画面内の輪郭情報を得て、これによ
り主要被写体部分と背景部分を判別し各々の部分の輝度
信号量の差分、ないし比率から露光制御における最大値
検波と平均値検波の重み付けを変化させるようにしてい
る。輪郭情報を得て主要被写体を抽出する方法について
は、例えば、R.Neuatia著 MACHINE-PERCEPTION (画像
認識と画像理解,南敏訳;啓学出版1986)などにお
いて論じられている。図4の本実施例の撮像装置の構成
は基本的には図1と同じものであるが、信号処理回路5
において、輪郭検出回路53により輪郭検出を行い、領
域分割回路54で主要被写体部と背景部の領域分割を行
い、各々の領域での輝度平均値Av及び輝度最大値Pを
平均値算出回路51並びに最大値算出回路52でそれぞ
れ算出し、これらをマイコン11に出力する。マイコン
11内での処理は前記実施例における処理と同様であ
り、主要被写体に対して背景が暗い場合には、最大値P
に重点をおいて露光制御信号を生成し、逆に主要被写体
に対して背景が明るい場合には、平均値Avに重点をお
いて露光制御信号を生成するようにしている。
【0018】斯様な手法をとる本実施例によっても、ど
のような輝度分布においても目標被写体に対して適正な
露出が得られる撮像装置を提供することができる。
【0019】次に本発明の第3実施例を図5を用いて説
明する。図5は本実施例による撮像装置の構成図であ
り、前記第1実施例と均等なものには同一符号を付して
ある。本実施例は特に動画撮像時に有効な手法に関する
ものである。撮像装置の構成は前記2つの実施例での構
成とほぼ同じであるが、本実施例では、同期回路12か
ら同期パルスFVをマイコン11に入力する。前記第
2,第3の比較回路118,119により判定された中
心領域ないし中心被写体領域と、周辺領域ないし、背景
領域との輝度信号量の差分、ないし比率に応じて補正量
を決定し、前記Kの値を定める。いま、Kの値がK1と
設定された状態で画面の一部の光量が急激に変化し、そ
れに応じて補正量を決定するKの値をK2まで遷移させ
る必要が生じた場合、本実施例では、実際のKの値を図
6に示すように連続的に遷移させるように遷移速度制御
手段121が付加されている。この遷移速度制御手段1
21によって例えばマイコン11に入力された同期信号
FVを用いて、1垂直帰線期間ごとに1ビットづつデ−
タをインクリメントないしディクリメントすればよい。
このようにすれば最大値検波による露光補正量が急変す
ることにより、絞り動作が一時的に不安定になることを
防止して、安定な再生画を得ることができる。
【0020】なお、上述した各実施例では露光制御手段
として絞りを用いているが、これが電子シャッタに代替
可能であることは当業者には自明である。
【0021】
【発明の効果】以上のように本発明によれば、検出され
た画面の輝度分布に応じて露光制御信号生成時における
輝度信号の平均値の重み付けと最大値の重み付けとを連
続的に変化させるので、常に目標被写体に対して適正な
露出が得られる撮像装置を提供することができ、該種撮
像装置にあってその価値は多大である。
【図面の簡単な説明】
【図1】本発明の第1実施例に係る撮像装置を示す説明
図である。
【図2】本発明の第1実施例による撮像画面の分割例を
示す説明図である。
【図3】過順光時、通常時、逆光時の撮像例を示す説明
図である。
【図4】本発明の第2実施例に係る撮像装置を示す説明
図である。
【図5】本発明の第3実施例に係る撮像装置を示す説明
図である。
【図6】本発明の第3実施例による補正係数Kの遷移の
様子を示す説明図である。
【図7】本発明の実施例で用いられる数式を示す説明図
である。
【図8】従来の撮像装置を示す説明図である。
【図9】従来の撮像装置の検波回路を示す説明図であ
る。
【図10】過順光時、逆光時の撮像例を示す説明図であ
る。
【符号の説明】
1 レンズ 2 絞り 3 撮像素子 4 A/D変換機 5 信号処理回路 6 D/A変換機 7 出力端 8 比較器 9 絞りモ−タ 10 基準電圧源 11 マイコン 12 同期回路 51 平均値算出回路 52 最大値算出回路 53 輪郭検出回路 54 領域分割回路 111 D/A変換器 112 第1の係数回路 113 第2の係数回路 114 第1の比較回路 115 ピーク基準値設定回路 116 補正量計算回路 117 加算回路 118 第2の比較回路 119 第3の比較回路 120 輝度分布判定回路 121 遷移速度制御手段
───────────────────────────────────────────────────── フロントページの続き (72)発明者 倉重 知行 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立画像情報システム内 (72)発明者 今出 宅哉 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メデイア研究所内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 輝度信号の平均値Avと最大値Pを検出
    する第1の検出手段を具備し、この第1の検出手段の検
    出結果に応じた露光制御信号を生成し、該露光制御信号
    により、絞りや電子シャッタ等の露光制御手段を駆動
    し、撮像装置の出力信号振幅を適切な値とする自動露光
    制御機能を有する撮像装置において、 画面内の輝度分布を検出する第2の検出手段を設け、こ
    の第2の検出手段の検出結果に応じて前記露光制御信号
    の生成における前記輝度信号の平均値Avの重み付けと
    最大値Pの重み付けとを変化させることを特徴とする撮
    像装置の露光制御方法。
  2. 【請求項2】 輝度信号の平均値Avと最大値Pを検出
    する第1の検出手段を具備し、この第1の検出手段の検
    出結果に応じた露光制御信号を生成し、該露光制御信号
    により、絞りや電子シャッタ等の露光制御手段を駆動
    し、撮像装置の出力信号振幅を適切な値とする自動露光
    制御機能を有する撮像装置において、 撮像画面を複数の領域に分割するか、あるいは画面内の
    異なる位置に複数個の領域を設定する手段と、各々の領
    域での輝度信号の平均値Avと少なくとも一つの領域で
    の輝度信号の最大値Pを検出する第2の検出手段と、前
    記平均値Avと前記最大値Pの検出結果に応じて前記露
    光制御信号を生成する手段とを設け、各領域における前
    記検出値Av、あるいはPの領域ごとの差分、ないし比
    率から、撮像画面中の目標被写体部分と背景部分のコン
    トラストを判定し、目標被写体部分が背景部分に比べて
    明るいときは前記最大値Pの重み付けを大きくし、逆に
    目標被写体部分が背景部分に比べて暗い時は前記平均値
    Avの重み付けを大きくすることを特徴とする撮像装置
    の露光制御方法。
  3. 【請求項3】 請求項1または2記載において、前記平
    均値Avの重み付けをX1からX2へ、前記最大値Pの
    重み付けをY1からY2へ遷移させる際には、X1<X
    3<X2,Y1<Y3<Y2なる値X3,Y3を経由し
    て連続的に遷移させることを特徴とする撮像装置の露光
    制御方法。
JP3193632A 1991-07-09 1991-07-09 撮像装置の露光制御方法 Expired - Lifetime JP3002298B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3193632A JP3002298B2 (ja) 1991-07-09 1991-07-09 撮像装置の露光制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3193632A JP3002298B2 (ja) 1991-07-09 1991-07-09 撮像装置の露光制御方法

Publications (2)

Publication Number Publication Date
JPH0522653A true JPH0522653A (ja) 1993-01-29
JP3002298B2 JP3002298B2 (ja) 2000-01-24

Family

ID=16311174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3193632A Expired - Lifetime JP3002298B2 (ja) 1991-07-09 1991-07-09 撮像装置の露光制御方法

Country Status (1)

Country Link
JP (1) JP3002298B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7002632B2 (en) * 2001-03-22 2006-02-21 Canon Kabushiki Kaisha Image pickup apparatus with precise exposure value, exposure decision method, program, and storage medium
US7884879B2 (en) 2006-09-13 2011-02-08 Canon Kabushiki Kaisha Image sensing apparatus having exposure control and method therefor
JP2015118320A (ja) * 2013-12-19 2015-06-25 キヤノン株式会社 撮像装置、画像処理方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7002632B2 (en) * 2001-03-22 2006-02-21 Canon Kabushiki Kaisha Image pickup apparatus with precise exposure value, exposure decision method, program, and storage medium
US7024108B2 (en) 2001-03-22 2006-04-04 Canon Kabushiki Kaisha Image pickup apparatus with precise exposure value, exposure decision method, program, and storage medium
US7884879B2 (en) 2006-09-13 2011-02-08 Canon Kabushiki Kaisha Image sensing apparatus having exposure control and method therefor
JP2015118320A (ja) * 2013-12-19 2015-06-25 キヤノン株式会社 撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP3002298B2 (ja) 2000-01-24

Similar Documents

Publication Publication Date Title
JP2766067B2 (ja) 撮像装置
KR100515225B1 (ko) 플리커 보정 장치, 플리커 보정 방법 및 플리커 보정 프로그램을 저장한 기록 매체
US6683652B1 (en) Interchangeable lens video camera system having improved focusing
JPH042278A (ja) 動き検出回路および手ぶれ補正装置
JP3476400B2 (ja) フリッカ検出・補正装置およびフリッカ検出・補正方法
JPH03204281A (ja) 撮像装置
KR100609155B1 (ko) 영상 처리 장치 및 이를 이용한 역광 보정 방법
JPH03239072A (ja) 階調補正装置
JPH0522653A (ja) 撮像装置の露光制御方法
JP3478769B2 (ja) 撮像装置及び方法、並びにコンピュータ読み取り可能な記録媒体
JPH0974516A (ja) 画像入力装置
JPH06113195A (ja) ビデオカメラ装置
JP2817820B2 (ja) ビデオカメラ用露出制御装置
JP3863206B2 (ja) 表示装置
JPH03106269A (ja) ビデオカメラの映像信号処理装置
JPH11313244A (ja) ビデオカメラ装置
JP3384916B2 (ja) 撮像装置
JPH04340875A (ja) 撮像装置
JPH0376634B2 (ja)
JP3449489B2 (ja) 追尾装置
JPH11196326A (ja) カメラ
JP2521973B2 (ja) 撮像装置
JP3630470B2 (ja) 撮像装置
JP3010373B2 (ja) 撮像装置
JPS62219778A (ja) 測光装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071112

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091112

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101112

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101112

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111112

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111112

Year of fee payment: 12