JP3604825B2 - 自動焦点調節方法及び自動焦点調節装置 - Google Patents
自動焦点調節方法及び自動焦点調節装置 Download PDFInfo
- Publication number
- JP3604825B2 JP3604825B2 JP21593896A JP21593896A JP3604825B2 JP 3604825 B2 JP3604825 B2 JP 3604825B2 JP 21593896 A JP21593896 A JP 21593896A JP 21593896 A JP21593896 A JP 21593896A JP 3604825 B2 JP3604825 B2 JP 3604825B2
- Authority
- JP
- Japan
- Prior art keywords
- focus adjustment
- level
- automatic
- predetermined value
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は各種のビデオカメラ等に用いられる自動焦点調節方法及び自動焦点調節装置に関する。
【０００２】
【従来の技術】
近年、ビデオカメラ等をはじめとする映像機器の進歩は目覚ましく、オートフォーカス制御、オートアイリス制御、ズーム機能等が標準的に装備され、あらゆる部分において、操作性の改善及び多機能化が図られている。
【０００３】
ところでオートフォーカス制御装置（自動焦点調節装置）を見ると、撮像素子等により被写体像を光電変換して得られた映像信号中より画面の鮮鋭度を検出し、それが最大となるようにフォーカスレンズ位置を制御して、焦点調節を行うようにしたＴＶＡＦ方式が主流になりつつある。
【０００４】
前記鮮鋭度の評価としては、一般にある帯域のバンドパスフィルタ−により抽出された映像信号の高周波成分のレベル（以下焦点電圧）等を用いている。これは、通常の被写体像を撮影した場合、図５に示すように焦点が合ってくるに従って焦点電圧は大きくなり、そのレベルが最大になる点を合焦位置としている。
【０００５】
ＴＶＡＦ方式において、フォーカスレンズの制御は、合焦点の方向が分からないときにはレンズを微小駆動し、焦点電圧が大きくなる方向を判別して合焦点の方向判別を行った後は、判別方向へレンズを高速駆動して一度合焦点を乗り越えた後、合焦点にレンズを戻すようにして合焦させている。
【０００６】
しかし、図５における大ボケ状態では、焦点電圧のレンズ位置に対する変動が少なく、微小駆動しても確実に焦点電圧が大きくなる方向が判別できず、合焦まで時間がかかるということがある。そこで、焦点電圧が所定レベル以下のときには、方向判別をやめて図５に示すように、フォーカスレンズがその移動可能領域の半分より無限側にいれば至近方向、至近側にいれば無限方向へフォーカスレンズを高速駆動するようにしている。
【０００７】
最後に微小駆動動作について図８を使って説明する。フォーカスレンズをある方向に駆動し、信号が増加した場合はそのままの駆動方向を変えず、信号が減少した場合は駆動方向を反転させる。つまり、常時合焦信号の大きくなる方向へフォーカスレンズは駆動される。このように制御されることで合焦点の方向に絶えず駆動されるため、速度は遅いが微小駆動を繰り返すだけでも最終的には合焦点に達することができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来例では次のような欠点があった。
【０００９】
低照度になりＡＧＣ（ａｕｔｏｍａｔｉｃ ｇａｉｎ ｃｏｎｔｒｏｌｌｅｒ；自動利得調整装置）のゲインが高くなると、ノイズにより図７に示すように合焦点の焦点電圧は変わらないが、大ボケ時の焦点電圧は大きくなる。そこで、焦点電圧が所定レベル以下のときには方向判別をやめて、予め決められた方向へフォーカスレンズを高速駆動する場合、ＡＧＣゲインの低い被写体で所定レベルを決めると（所定レベルＡ）、ＡＧＣゲインの高い被写体には所定レベルが低すぎるので、大ボケになっても評価値がそれより低くならないため、方向を判別できなくても方向判別をやめない。
【００１０】
一方、ＡＧＣの高い被写体で所定レベルを決めると（所定レベルＢ）、ＡＧＣゲインの低い被写体では所定レベルが高すぎるため、評価値の低い被写体には合焦できなくなることが多くなってしまう。
【００１１】
本発明は、上述した従来の問題点を解決するためになされたもので、その目的とするところは、方向を判別できなくても方向判別を続けたり、ＡＧＣの高い被写体で所定レベルを決めると、ＡＧＣゲインの低い被写体では所定レベルが高すぎるため、評価値の低い被写体には合焦できなくなるということがない自動焦点調節方法及び自動焦点調節装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するため、本発明の請求項１記載の自動焦点調節方法は、被写体を撮像することにより撮像手段から得られる映像信号の所定の高域成分を自動焦点調節評価値として取り出し、前記自動焦点調節評価値のレベルが最大となるように焦点調節レンズ手段を光軸方向に移動させて焦点調節を行う自動焦点調節方法であって、前記焦点調節レンズ手段を微小駆動する微小駆動ステップと、前記焦点調節レンズ手段を高速駆動する高速駆動ステップと、前記自動焦点調節評価値のレベルが所定値以下の時に前記微小駆動ステップから前記高速駆動ステップに切り換え制御する切換制御ステップと、前記映像信号のレベルを一定にするためにゲインレベルを変更するゲイン変更ステップと、前記ゲインレベルにより前記所定値を変更する所定値変更ステップとを具備したことを特徴とする。
また、上記目的を達成するため、本発明の請求項２記載の自動焦点調節方法は、請求項１記載の自動焦点調節方法において、前記所定値変更ステップは 、 前記ゲインレベルが大きくなった場合には前記所定値を大きくすることを特徴とする。
【００１４】
また、上記目的を達成するため、本発明の請求項３記載の自動焦点調節装置は、被写体を撮像することにより撮像手段から得られる映像信号の所定の高域成分を自動焦点調節評価値として取り出し、前記自動焦点評価値のレベルが最大となるように焦点調節レンズ手段を光軸方向に移動させて焦点調節を行う自動焦点調節装置であって、前記焦点調節レンズ手段を微小駆動する微小駆動手段と、前記焦点調節レンズ手段を高速駆動する高速駆動手段と、前記自動焦点調節評価値のレベルが所定値以下の時に前記微小駆動手段から前記高速駆動手段に切り換え制御する切換制御手段と、前記映像信号のレベルを一定にするためにゲインレベルを変更するゲイン変更手段と、前記ゲインレベルにより前記所定値を変更する所定値変更手段とを具備したことを特徴とする。
また、上記目的を達成するため、本発明の請求項４記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記所定値変更手段は 、 前記ゲインレベルが大きくなった場合には前記所定値大きくすることを特徴とする。
【００１５】
また、上記目的を達成するため、本発明の請求項５記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記撮像手段は、ＣＣＤであることを特徴とする。
【００１６】
また、上記目的を達成するため、本発明の請求項６記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記微小駆動手段は、モータとドライバとからなることを特徴とする。
【００１７】
また、上記目的を達成するため、本発明の請求項７記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記高速駆動手段は、モータとドライバとからなることを特徴とする。
【００１８】
また、上記目的を達成するため、本発明の請求項８記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記切換制御手段は、カメラ制御マイクロコンピュータからなることを特徴とする。
【００１９】
また、上記目的を達成するため、本発明の請求項９記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記ゲイン変更手段は、ＡＧＣからなることを特徴とする。
【００２０】
また、上記目的を達成するため、本発明の請求項１０記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記所定値変更手段は、カメラ制御マイクロコンピュータからなることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の各実施の形態を図１〜図４に基づき説明する。
【００２３】
（第１の実施の形態）
まず、本発明の第１の実施の形態について、図１〜図３を用いて説明する。図１は本発明の第１の実施の形態に係る自動焦点調節装置を具備した撮像装置であるビデオカメラシステムの構成を示すブロック図である。図１において、１０１は固定の第１群レンズ、１０２は変倍を行う変倍レンズ、１０３は絞り、１０４は固定の第２群レンズである。１０５はフォーカスコンペレンズ（以下、フォーカスレンズと記述する）で、変倍に伴う焦点面の移動を補正する機能とピント合わせの機能を兼ね備えている。１０６は撮像素子であるＣＣＤ、１０７はＡＧＣで、ＣＣＤ１０６の出力を増幅するものであり、後述のカメラ制御マイコン（マイクロコンピュータ）１１８からの信号によって増幅率が調節される。１０８はカメラ信号処理回路、１０９は記録装置で、カメラ信号処理回路１０８からの出力を磁気テープ等の記録媒体に記録するものである。１１０は変倍レンズ１０２を駆動させる変倍レンズモータ、１１２は絞り１０３を駆動させる絞りモータ、１１４はフォーカスレンズ１０５を駆動させるフォーカスコンペレンズモータである。１１１は変倍レンズドライバ、１１３は絞りドライバ、１１５はフォーカスコンペレンズドライバで、それぞれ変倍レンズモータ１１０、絞りモータ１１２、フォーカスコンペレンズモータ１１４を後述のカメラＡＦマイコン１１８からの信号により駆動するものである。１１６はＡＦ（自動焦点調節）評価値処理回路で、ＣＣＤ１０６の出力信号中より焦点検出に用いられる高域成分を抽出する回路である。１１７はＡＥ（自動露光調節）評価値処理回路で、ＣＣＤ１０６の出力信号レベルを用いて絞り１０３及びＡＧＣ１０７の調節に用いられる映像信号レベルの積分値を求める回路である。１１８はカメラ制御マイコンで、本システム全体を総合的に制御すると共に、ＡＦ評価値処理回路１１６及びＡＥ評価値処理回路１１７の出力信号に基づいて、変倍レンズモータ１１０、絞りモータ１１２、フォーカスコンペレンズモータ１１４及びＡＧＣ１０８を制御するものである。
【００２４】
図１のように構成されたビデオカメラシステムにおいて、カメラ制御マイコン１１８はＡＦ評価値処理回路１１６の出力信号レベルが最大となるようにフォーカスレンズ１０５を移動させて自動焦点調節を、また、ＡＥ評価値処理回路１１７の出力信号レベルが一定値になるように、絞り１０３の開閉と、ＡＧＣ１０７の増幅率を調節して自動露光調節を行っている。
【００２５】
カメラ制御マイコン１１８の制御動作について図２及び図３を用いて詳しく説明する。
【００２６】
まず、ＡＥ制御動作について図２を用いて説明する。図２は本実施の形態に係る自動焦点調節装置におけるカメラ制御マイコン１１８のＡＥ制御動作のアルゴリズムを示すフローチャートであり、同図のフローチャートはカメラ制御マイコン１１８内で処理される。
【００２７】
図２のステップＳ２０１でＡＥ評価値生成回路１１７から取り込んだＡＥ評価値から露出の状態に基づいて、露出オーバーか否かを判別する。そして、露出アンダーであればステップＳ２０２でＡＧＣ１０７の増幅率が最低か否かを判別する。そして、増幅率が最低であればステップＳ２０３で絞り１０３を閉じた後、前記ステップＳ２０１へ戻る。また、前記ステップＳ２０２において増幅率が最低でなければステップＳ２０４でＡＧＣ１０７の増幅率を下げた後、前記ステップＳ２０１へ戻る。一方、前記ステップＳ２０１において露出オーバーの場合は、ステップＳ２０５で絞り１０３が開放か否かを判別する。そして、絞り１０３が開放であればステップＳ２０６で絞り１３０を開いた後、前記ステップＳ２０１へ戻る。また、前記ステップＳ２０５において絞り１０３が開放でなければステップＳ２０７でＡＧＣ１０７の増幅率を上げた後、前記ステップＳ２０１へ戻る。 次に、ＡＦ制御動作について図３を用いて説明する。図３は本実施の形態に係る自動焦点調節装置におけるカメラ制御マイコン１１８のＡＦ制御動作のアルゴリズムを示すフローチャートであり、同図のフローチャートはカメラ制御マイコン１１８内で処理される。
【００２８】
図３のステップＳ３０１でフォーカスレンズ１０５を微小駆動動作させながら、ＡＦ評価値を取り込むことにより、現在合焦しているのか、ボケているのか、ボケているときには合焦点はどちらなのかを判断する。次に、ステップＳ３０２で現在のＡＧＣ１０７のゲインに応じ、ステップＳ３０３で使う所定レベルを変更する。これは、ＡＧＣ１０７がオフ（ＯＦＦ）のときの値を基準にＡＧＣ１０７のゲインが上がるにつれて大きくなるように設定する。次に、ステップＳ３０３でＡＦ評価値が所定レベル以下か否かを判別する。そして、ＡＦ評価値が所定レベル以下であれば、微小駆動動作による方向判別を中止してステップＳ３１４で現在のフォーカスレンズ位置から山登り方向を設定し、ステップＳ３０６へ進んで前記ステップＳ３１４において設定した方向へ山登り駆動する。
【００２９】
一方、前記ステップＳ３０３においてＡＦ評価値が所定レベル以下でなければ、ステップＳ３０４で微小駆動動作の結果により現在合焦状態にあるのか否かを判別する。そして、合焦状態にある場合にはフォーカスレンズ１０５の移動を停止し、ステップＳ３１０からの再起動監視処理ルーチンへ進み、合焦状態でない場合にはステップＳ３０５へ進む。このステップＳ３０５では、微小駆動動作の結果により、どちらの方向に合焦点があるかの判別ができたか否かを判別し、該方向判別ができない場合は前記ステップＳ３０２へ戻る。また、前記ステップＳ３０５において方向判別ができた場合はステップＳ３０６へ進み、その判別方向へ山登り駆動動作を実行する。次に、ステップＳ３０７で合焦点、即ちＡＦ評価信号の頂点を越えたか否かを判別し、越えていなければ前記ステップＳ３０６へ戻って山登り駆動動作を続け、越えていたならばステップＳ３０８でフォーカスレンズ１０５を頂点に戻す。しかしながら頂点に戻す動作をしている間に、パンニング等により被写体が変化する場合もあるので、頂点にフォーカスレンズ１０５が辿り着いたならば、今いるところが本当に頂点、即ち合焦点であるのかを判定するため、次のステップＳ３０９でフォーカスレンズ１０５が頂点に達したか否かを判別する。そして、フォーカスレンズ１０５が頂点に達しない場合は前記ステップＳ３０８へ戻る。また、前記ステップＳ３０９においてフォーカスレンズ１０５が頂点に達した場合には、前記ステップＳ３０１へ戻る。
【００３０】
一方、前記ステップＳ３０４において現在合焦状態にある場合には、ステップＳ３１０で合焦時のＡＦ評価値レベルを記憶する。次に、ステップＳ３１１で再起動判定ルーチンを実行する。この再起動判定ルーチンは、現在合焦状態にある場合にはＡＦ評価値レベルが、合焦時に前記ステップＳ３１０において記憶したレベルに比べ、変動したか否を判別する処理であり、例えば、記憶したレベルに対して所定レベル以上変化したら、パンニング等による被写体変化があったとして、「再起動した」と判別し、所定レベル未満の変化量ならば被写体の変化はないとして「再起動しない」と判別する。このような判別基準に従ってステップＳ３１２で再起動したか否かを判別する。そして、「再起動しない」と判別した場合は、ステップＳ３１３でフォーカスレンズ１０５の移動を停止させた後、前記ステップＳ３１１へ戻り、再び再起動監視処理を行う。一方、前記ステップＳ３１２において「再起動した」と判別した場合には、前記ステップＳ３０１へ戻り、再び微小駆動動作を行い、合焦判定及び方向判定を行う。
【００３１】
以上のような動作を繰り返すことで、絶えず合焦を維持できるようにフォーカスレンズ１０５は動作する。
【００３２】
図３に示したアルゴリズムでＡＦ制御を行うことにより、焦点電圧が所定レベル以下のときには方向判別をやめて、予め決められた方向へフォーカスレンズ１０５を高速駆動する場合、ＡＧＣ１０７のゲインの低い被写体で所定レベルを決めると、ＡＧＣ１０７のゲインの高い被写体には所定レベルが低すぎるので、大ボケになっても評価値がそれより低くならないため、方向を判別できなくても方向判別を続けたり、ＡＧＣ１０７の高い被写体で所定レベルを決めると、ＡＧＣ１０７のゲインの低い被写体では所定レベルが高すぎるため、評価値の低い被写体には合焦できなくなることがなくなる。
【００３３】
上記のような自動焦点調節装置においては、方向判別をやめて予め決められた方向へフォーカスレンズ１０５を高速駆動する焦点電圧の所定レベルをＡＧＣ１０７のゲインにより変更することにより、被写体に応じ最適な移行条件を設定でき、所定レベルが大きすぎていつまでも方向判別を続けていたり、所定レベルが小さすぎて被写体に合焦できないということが少なくなる。
【００３４】
よって、常に正確且つ高速な焦点調節を実現することができる。
【００３５】
（第２の実施の形態）
次に、本発明の自動焦点調節方法及び装置に用いる記憶媒体について、図４を用いて説明する。被写体を撮影することによりＣＣＤ１０６から得られる映像信号の所定の高域成分を焦点電圧として取り出し、前記焦点電圧を最大にするように焦点調節を行うフォーカスレンズ１０５を光軸方向に移動させて焦点調節を行う自動焦点調節装置を制御するための制御プログラムを格納する記憶媒体には、図４に示すように、少なくとも「微小駆動モジュール」、「高速駆動モジュール」、「切換制御モジュール」、「ゲイン変更モジュール」、「所定値変更モジュール」の各モジュールのプログラムを格納すれば良い。
【００３６】
ここで、「微小駆動モジュール」は、前記焦点調節レンズ手段を微小駆動するためのプログラムモジュールである。また、「高速駆動モジュール」は、前記焦点調節レンズ手段を高速駆動するためのプログラムモジュールである。また、「切換制御モジュール」は、焦点電圧が所定値以下の時に前記微小駆動ステップから前記高速駆動ステップに切り換え制御するためのプログラムモジュールである。また、「ゲイン変更モジュール」は、映像信号のレベルを一定にするためにゲインを変更するためのプログラムモジュールである。更に、「所定値変更モジュール」は、前記ゲイン変更ステップのレベルにより前記切換制御ステップの所定値を変更するためのプログラムモジュールである。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、自動焦点評価値が所定レベル以下のときには方向判別をやめて、予め決められた方向へ焦点調節レンズを高速駆動する場合、ＡＧＣゲインの低い被写体で所定レベルを決めると、ＡＧＣゲインの高い被写体には所定レベルが低すぎるため大ボケになっても、評価値がそれより低くならないため、方向を判別できなくても方向判別を続けたり、ＡＧＣの高い被写体で所定レベルを決めると、ＡＧＣゲインの低い被写体では所定レベルが高すぎるため、評価値の低い被写体には合焦できなくなることがなくなるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る自動焦点調節装置を有するビデオカメラシステムの構成を示すブロック図である。
【図２】同システムのＡＥ制御動作のアルゴリズムを示すフローチャートである。
【図３】同システムのＡＦ制御動作のアルゴリズムを示すフローチャートである。
【図４】本発明の記憶媒体に格納するプログラムモジュールを示す図である。
【図５】フォーカスレンズ位置と焦点電圧レベルとの関係を示す図である。
【図６】フォーカスレンズの移動方向を説明するための図である。
【図７】フォーカスレンズ位置と焦点電圧レベルとの関係を示す図である。
【図８】時間とフォーカスレンズ位置との関係を示す図である。
【符号の説明】
１０１ 固定の第１群レンズ
１０２ 変倍レンズ
１０３ 絞り
１０４ 固定の第２群レンズ
１０５ フォーカスレンズ（フォーカスコンペレンズ、焦点調節レンズ）
１０６ ＣＣＤ
１０７ ＡＧＣ
１０８ カメラ信号処理回路
１０９ 記録装置
１１０ 変倍レンズモータ
１１１ 変倍レンズドライバ
１１２ 絞りモータ
１１３ 絞りドライバ
１１４ フォーカスコンペレンズモータ
１１５ フォーカスコンペレンズドライバ
１１６ ＡＦ評価値処理回路
１１７ ＡＥ評価値処理回路
１１８ カメラ制御マイコン
【発明の属する技術分野】
本発明は各種のビデオカメラ等に用いられる自動焦点調節方法及び自動焦点調節装置に関する。
【０００２】
【従来の技術】
近年、ビデオカメラ等をはじめとする映像機器の進歩は目覚ましく、オートフォーカス制御、オートアイリス制御、ズーム機能等が標準的に装備され、あらゆる部分において、操作性の改善及び多機能化が図られている。
【０００３】
ところでオートフォーカス制御装置（自動焦点調節装置）を見ると、撮像素子等により被写体像を光電変換して得られた映像信号中より画面の鮮鋭度を検出し、それが最大となるようにフォーカスレンズ位置を制御して、焦点調節を行うようにしたＴＶＡＦ方式が主流になりつつある。
【０００４】
前記鮮鋭度の評価としては、一般にある帯域のバンドパスフィルタ−により抽出された映像信号の高周波成分のレベル（以下焦点電圧）等を用いている。これは、通常の被写体像を撮影した場合、図５に示すように焦点が合ってくるに従って焦点電圧は大きくなり、そのレベルが最大になる点を合焦位置としている。
【０００５】
ＴＶＡＦ方式において、フォーカスレンズの制御は、合焦点の方向が分からないときにはレンズを微小駆動し、焦点電圧が大きくなる方向を判別して合焦点の方向判別を行った後は、判別方向へレンズを高速駆動して一度合焦点を乗り越えた後、合焦点にレンズを戻すようにして合焦させている。
【０００６】
しかし、図５における大ボケ状態では、焦点電圧のレンズ位置に対する変動が少なく、微小駆動しても確実に焦点電圧が大きくなる方向が判別できず、合焦まで時間がかかるということがある。そこで、焦点電圧が所定レベル以下のときには、方向判別をやめて図５に示すように、フォーカスレンズがその移動可能領域の半分より無限側にいれば至近方向、至近側にいれば無限方向へフォーカスレンズを高速駆動するようにしている。
【０００７】
最後に微小駆動動作について図８を使って説明する。フォーカスレンズをある方向に駆動し、信号が増加した場合はそのままの駆動方向を変えず、信号が減少した場合は駆動方向を反転させる。つまり、常時合焦信号の大きくなる方向へフォーカスレンズは駆動される。このように制御されることで合焦点の方向に絶えず駆動されるため、速度は遅いが微小駆動を繰り返すだけでも最終的には合焦点に達することができる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来例では次のような欠点があった。
【０００９】
低照度になりＡＧＣ（ａｕｔｏｍａｔｉｃ ｇａｉｎ ｃｏｎｔｒｏｌｌｅｒ；自動利得調整装置）のゲインが高くなると、ノイズにより図７に示すように合焦点の焦点電圧は変わらないが、大ボケ時の焦点電圧は大きくなる。そこで、焦点電圧が所定レベル以下のときには方向判別をやめて、予め決められた方向へフォーカスレンズを高速駆動する場合、ＡＧＣゲインの低い被写体で所定レベルを決めると（所定レベルＡ）、ＡＧＣゲインの高い被写体には所定レベルが低すぎるので、大ボケになっても評価値がそれより低くならないため、方向を判別できなくても方向判別をやめない。
【００１０】
一方、ＡＧＣの高い被写体で所定レベルを決めると（所定レベルＢ）、ＡＧＣゲインの低い被写体では所定レベルが高すぎるため、評価値の低い被写体には合焦できなくなることが多くなってしまう。
【００１１】
本発明は、上述した従来の問題点を解決するためになされたもので、その目的とするところは、方向を判別できなくても方向判別を続けたり、ＡＧＣの高い被写体で所定レベルを決めると、ＡＧＣゲインの低い被写体では所定レベルが高すぎるため、評価値の低い被写体には合焦できなくなるということがない自動焦点調節方法及び自動焦点調節装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するため、本発明の請求項１記載の自動焦点調節方法は、被写体を撮像することにより撮像手段から得られる映像信号の所定の高域成分を自動焦点調節評価値として取り出し、前記自動焦点調節評価値のレベルが最大となるように焦点調節レンズ手段を光軸方向に移動させて焦点調節を行う自動焦点調節方法であって、前記焦点調節レンズ手段を微小駆動する微小駆動ステップと、前記焦点調節レンズ手段を高速駆動する高速駆動ステップと、前記自動焦点調節評価値のレベルが所定値以下の時に前記微小駆動ステップから前記高速駆動ステップに切り換え制御する切換制御ステップと、前記映像信号のレベルを一定にするためにゲインレベルを変更するゲイン変更ステップと、前記ゲインレベルにより前記所定値を変更する所定値変更ステップとを具備したことを特徴とする。
また、上記目的を達成するため、本発明の請求項２記載の自動焦点調節方法は、請求項１記載の自動焦点調節方法において、前記所定値変更ステップは 、 前記ゲインレベルが大きくなった場合には前記所定値を大きくすることを特徴とする。
【００１４】
また、上記目的を達成するため、本発明の請求項３記載の自動焦点調節装置は、被写体を撮像することにより撮像手段から得られる映像信号の所定の高域成分を自動焦点調節評価値として取り出し、前記自動焦点評価値のレベルが最大となるように焦点調節レンズ手段を光軸方向に移動させて焦点調節を行う自動焦点調節装置であって、前記焦点調節レンズ手段を微小駆動する微小駆動手段と、前記焦点調節レンズ手段を高速駆動する高速駆動手段と、前記自動焦点調節評価値のレベルが所定値以下の時に前記微小駆動手段から前記高速駆動手段に切り換え制御する切換制御手段と、前記映像信号のレベルを一定にするためにゲインレベルを変更するゲイン変更手段と、前記ゲインレベルにより前記所定値を変更する所定値変更手段とを具備したことを特徴とする。
また、上記目的を達成するため、本発明の請求項４記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記所定値変更手段は 、 前記ゲインレベルが大きくなった場合には前記所定値大きくすることを特徴とする。
【００１５】
また、上記目的を達成するため、本発明の請求項５記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記撮像手段は、ＣＣＤであることを特徴とする。
【００１６】
また、上記目的を達成するため、本発明の請求項６記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記微小駆動手段は、モータとドライバとからなることを特徴とする。
【００１７】
また、上記目的を達成するため、本発明の請求項７記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記高速駆動手段は、モータとドライバとからなることを特徴とする。
【００１８】
また、上記目的を達成するため、本発明の請求項８記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記切換制御手段は、カメラ制御マイクロコンピュータからなることを特徴とする。
【００１９】
また、上記目的を達成するため、本発明の請求項９記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記ゲイン変更手段は、ＡＧＣからなることを特徴とする。
【００２０】
また、上記目的を達成するため、本発明の請求項１０記載の自動焦点調節装置は、請求項３記載の自動焦点調節装置において、前記所定値変更手段は、カメラ制御マイクロコンピュータからなることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の各実施の形態を図１〜図４に基づき説明する。
【００２３】
（第１の実施の形態）
まず、本発明の第１の実施の形態について、図１〜図３を用いて説明する。図１は本発明の第１の実施の形態に係る自動焦点調節装置を具備した撮像装置であるビデオカメラシステムの構成を示すブロック図である。図１において、１０１は固定の第１群レンズ、１０２は変倍を行う変倍レンズ、１０３は絞り、１０４は固定の第２群レンズである。１０５はフォーカスコンペレンズ（以下、フォーカスレンズと記述する）で、変倍に伴う焦点面の移動を補正する機能とピント合わせの機能を兼ね備えている。１０６は撮像素子であるＣＣＤ、１０７はＡＧＣで、ＣＣＤ１０６の出力を増幅するものであり、後述のカメラ制御マイコン（マイクロコンピュータ）１１８からの信号によって増幅率が調節される。１０８はカメラ信号処理回路、１０９は記録装置で、カメラ信号処理回路１０８からの出力を磁気テープ等の記録媒体に記録するものである。１１０は変倍レンズ１０２を駆動させる変倍レンズモータ、１１２は絞り１０３を駆動させる絞りモータ、１１４はフォーカスレンズ１０５を駆動させるフォーカスコンペレンズモータである。１１１は変倍レンズドライバ、１１３は絞りドライバ、１１５はフォーカスコンペレンズドライバで、それぞれ変倍レンズモータ１１０、絞りモータ１１２、フォーカスコンペレンズモータ１１４を後述のカメラＡＦマイコン１１８からの信号により駆動するものである。１１６はＡＦ（自動焦点調節）評価値処理回路で、ＣＣＤ１０６の出力信号中より焦点検出に用いられる高域成分を抽出する回路である。１１７はＡＥ（自動露光調節）評価値処理回路で、ＣＣＤ１０６の出力信号レベルを用いて絞り１０３及びＡＧＣ１０７の調節に用いられる映像信号レベルの積分値を求める回路である。１１８はカメラ制御マイコンで、本システム全体を総合的に制御すると共に、ＡＦ評価値処理回路１１６及びＡＥ評価値処理回路１１７の出力信号に基づいて、変倍レンズモータ１１０、絞りモータ１１２、フォーカスコンペレンズモータ１１４及びＡＧＣ１０８を制御するものである。
【００２４】
図１のように構成されたビデオカメラシステムにおいて、カメラ制御マイコン１１８はＡＦ評価値処理回路１１６の出力信号レベルが最大となるようにフォーカスレンズ１０５を移動させて自動焦点調節を、また、ＡＥ評価値処理回路１１７の出力信号レベルが一定値になるように、絞り１０３の開閉と、ＡＧＣ１０７の増幅率を調節して自動露光調節を行っている。
【００２５】
カメラ制御マイコン１１８の制御動作について図２及び図３を用いて詳しく説明する。
【００２６】
まず、ＡＥ制御動作について図２を用いて説明する。図２は本実施の形態に係る自動焦点調節装置におけるカメラ制御マイコン１１８のＡＥ制御動作のアルゴリズムを示すフローチャートであり、同図のフローチャートはカメラ制御マイコン１１８内で処理される。
【００２７】
図２のステップＳ２０１でＡＥ評価値生成回路１１７から取り込んだＡＥ評価値から露出の状態に基づいて、露出オーバーか否かを判別する。そして、露出アンダーであればステップＳ２０２でＡＧＣ１０７の増幅率が最低か否かを判別する。そして、増幅率が最低であればステップＳ２０３で絞り１０３を閉じた後、前記ステップＳ２０１へ戻る。また、前記ステップＳ２０２において増幅率が最低でなければステップＳ２０４でＡＧＣ１０７の増幅率を下げた後、前記ステップＳ２０１へ戻る。一方、前記ステップＳ２０１において露出オーバーの場合は、ステップＳ２０５で絞り１０３が開放か否かを判別する。そして、絞り１０３が開放であればステップＳ２０６で絞り１３０を開いた後、前記ステップＳ２０１へ戻る。また、前記ステップＳ２０５において絞り１０３が開放でなければステップＳ２０７でＡＧＣ１０７の増幅率を上げた後、前記ステップＳ２０１へ戻る。 次に、ＡＦ制御動作について図３を用いて説明する。図３は本実施の形態に係る自動焦点調節装置におけるカメラ制御マイコン１１８のＡＦ制御動作のアルゴリズムを示すフローチャートであり、同図のフローチャートはカメラ制御マイコン１１８内で処理される。
【００２８】
図３のステップＳ３０１でフォーカスレンズ１０５を微小駆動動作させながら、ＡＦ評価値を取り込むことにより、現在合焦しているのか、ボケているのか、ボケているときには合焦点はどちらなのかを判断する。次に、ステップＳ３０２で現在のＡＧＣ１０７のゲインに応じ、ステップＳ３０３で使う所定レベルを変更する。これは、ＡＧＣ１０７がオフ（ＯＦＦ）のときの値を基準にＡＧＣ１０７のゲインが上がるにつれて大きくなるように設定する。次に、ステップＳ３０３でＡＦ評価値が所定レベル以下か否かを判別する。そして、ＡＦ評価値が所定レベル以下であれば、微小駆動動作による方向判別を中止してステップＳ３１４で現在のフォーカスレンズ位置から山登り方向を設定し、ステップＳ３０６へ進んで前記ステップＳ３１４において設定した方向へ山登り駆動する。
【００２９】
一方、前記ステップＳ３０３においてＡＦ評価値が所定レベル以下でなければ、ステップＳ３０４で微小駆動動作の結果により現在合焦状態にあるのか否かを判別する。そして、合焦状態にある場合にはフォーカスレンズ１０５の移動を停止し、ステップＳ３１０からの再起動監視処理ルーチンへ進み、合焦状態でない場合にはステップＳ３０５へ進む。このステップＳ３０５では、微小駆動動作の結果により、どちらの方向に合焦点があるかの判別ができたか否かを判別し、該方向判別ができない場合は前記ステップＳ３０２へ戻る。また、前記ステップＳ３０５において方向判別ができた場合はステップＳ３０６へ進み、その判別方向へ山登り駆動動作を実行する。次に、ステップＳ３０７で合焦点、即ちＡＦ評価信号の頂点を越えたか否かを判別し、越えていなければ前記ステップＳ３０６へ戻って山登り駆動動作を続け、越えていたならばステップＳ３０８でフォーカスレンズ１０５を頂点に戻す。しかしながら頂点に戻す動作をしている間に、パンニング等により被写体が変化する場合もあるので、頂点にフォーカスレンズ１０５が辿り着いたならば、今いるところが本当に頂点、即ち合焦点であるのかを判定するため、次のステップＳ３０９でフォーカスレンズ１０５が頂点に達したか否かを判別する。そして、フォーカスレンズ１０５が頂点に達しない場合は前記ステップＳ３０８へ戻る。また、前記ステップＳ３０９においてフォーカスレンズ１０５が頂点に達した場合には、前記ステップＳ３０１へ戻る。
【００３０】
一方、前記ステップＳ３０４において現在合焦状態にある場合には、ステップＳ３１０で合焦時のＡＦ評価値レベルを記憶する。次に、ステップＳ３１１で再起動判定ルーチンを実行する。この再起動判定ルーチンは、現在合焦状態にある場合にはＡＦ評価値レベルが、合焦時に前記ステップＳ３１０において記憶したレベルに比べ、変動したか否を判別する処理であり、例えば、記憶したレベルに対して所定レベル以上変化したら、パンニング等による被写体変化があったとして、「再起動した」と判別し、所定レベル未満の変化量ならば被写体の変化はないとして「再起動しない」と判別する。このような判別基準に従ってステップＳ３１２で再起動したか否かを判別する。そして、「再起動しない」と判別した場合は、ステップＳ３１３でフォーカスレンズ１０５の移動を停止させた後、前記ステップＳ３１１へ戻り、再び再起動監視処理を行う。一方、前記ステップＳ３１２において「再起動した」と判別した場合には、前記ステップＳ３０１へ戻り、再び微小駆動動作を行い、合焦判定及び方向判定を行う。
【００３１】
以上のような動作を繰り返すことで、絶えず合焦を維持できるようにフォーカスレンズ１０５は動作する。
【００３２】
図３に示したアルゴリズムでＡＦ制御を行うことにより、焦点電圧が所定レベル以下のときには方向判別をやめて、予め決められた方向へフォーカスレンズ１０５を高速駆動する場合、ＡＧＣ１０７のゲインの低い被写体で所定レベルを決めると、ＡＧＣ１０７のゲインの高い被写体には所定レベルが低すぎるので、大ボケになっても評価値がそれより低くならないため、方向を判別できなくても方向判別を続けたり、ＡＧＣ１０７の高い被写体で所定レベルを決めると、ＡＧＣ１０７のゲインの低い被写体では所定レベルが高すぎるため、評価値の低い被写体には合焦できなくなることがなくなる。
【００３３】
上記のような自動焦点調節装置においては、方向判別をやめて予め決められた方向へフォーカスレンズ１０５を高速駆動する焦点電圧の所定レベルをＡＧＣ１０７のゲインにより変更することにより、被写体に応じ最適な移行条件を設定でき、所定レベルが大きすぎていつまでも方向判別を続けていたり、所定レベルが小さすぎて被写体に合焦できないということが少なくなる。
【００３４】
よって、常に正確且つ高速な焦点調節を実現することができる。
【００３５】
（第２の実施の形態）
次に、本発明の自動焦点調節方法及び装置に用いる記憶媒体について、図４を用いて説明する。被写体を撮影することによりＣＣＤ１０６から得られる映像信号の所定の高域成分を焦点電圧として取り出し、前記焦点電圧を最大にするように焦点調節を行うフォーカスレンズ１０５を光軸方向に移動させて焦点調節を行う自動焦点調節装置を制御するための制御プログラムを格納する記憶媒体には、図４に示すように、少なくとも「微小駆動モジュール」、「高速駆動モジュール」、「切換制御モジュール」、「ゲイン変更モジュール」、「所定値変更モジュール」の各モジュールのプログラムを格納すれば良い。
【００３６】
ここで、「微小駆動モジュール」は、前記焦点調節レンズ手段を微小駆動するためのプログラムモジュールである。また、「高速駆動モジュール」は、前記焦点調節レンズ手段を高速駆動するためのプログラムモジュールである。また、「切換制御モジュール」は、焦点電圧が所定値以下の時に前記微小駆動ステップから前記高速駆動ステップに切り換え制御するためのプログラムモジュールである。また、「ゲイン変更モジュール」は、映像信号のレベルを一定にするためにゲインを変更するためのプログラムモジュールである。更に、「所定値変更モジュール」は、前記ゲイン変更ステップのレベルにより前記切換制御ステップの所定値を変更するためのプログラムモジュールである。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、自動焦点評価値が所定レベル以下のときには方向判別をやめて、予め決められた方向へ焦点調節レンズを高速駆動する場合、ＡＧＣゲインの低い被写体で所定レベルを決めると、ＡＧＣゲインの高い被写体には所定レベルが低すぎるため大ボケになっても、評価値がそれより低くならないため、方向を判別できなくても方向判別を続けたり、ＡＧＣの高い被写体で所定レベルを決めると、ＡＧＣゲインの低い被写体では所定レベルが高すぎるため、評価値の低い被写体には合焦できなくなることがなくなるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る自動焦点調節装置を有するビデオカメラシステムの構成を示すブロック図である。
【図２】同システムのＡＥ制御動作のアルゴリズムを示すフローチャートである。
【図３】同システムのＡＦ制御動作のアルゴリズムを示すフローチャートである。
【図４】本発明の記憶媒体に格納するプログラムモジュールを示す図である。
【図５】フォーカスレンズ位置と焦点電圧レベルとの関係を示す図である。
【図６】フォーカスレンズの移動方向を説明するための図である。
【図７】フォーカスレンズ位置と焦点電圧レベルとの関係を示す図である。
【図８】時間とフォーカスレンズ位置との関係を示す図である。
【符号の説明】
１０１ 固定の第１群レンズ
１０２ 変倍レンズ
１０３ 絞り
１０４ 固定の第２群レンズ
１０５ フォーカスレンズ（フォーカスコンペレンズ、焦点調節レンズ）
１０６ ＣＣＤ
１０７ ＡＧＣ
１０８ カメラ信号処理回路
１０９ 記録装置
１１０ 変倍レンズモータ
１１１ 変倍レンズドライバ
１１２ 絞りモータ
１１３ 絞りドライバ
１１４ フォーカスコンペレンズモータ
１１５ フォーカスコンペレンズドライバ
１１６ ＡＦ評価値処理回路
１１７ ＡＥ評価値処理回路
１１８ カメラ制御マイコン
Claims (10)
- 被写体を撮像することにより撮像手段から得られる映像信号の所定の高域成分を自動焦点調節評価値として取り出し、前記自動焦点調節評価値のレベルが最大となるように焦点調節レンズ手段を光軸方向に移動させて焦点調節を行う自動焦点調節方法であって、前記焦点調節レンズ手段を微小駆動する微小駆動ステップと、前記焦点調節レンズ手段を高速駆動する高速駆動ステップと、前記自動焦点調節評価値のレベルが所定値以下の時に前記微小駆動ステップから前記高速駆動ステップに切り換え制御する切換制御ステップと、前記映像信号のレベルを一定にするためにゲインレベルを変更するゲイン変更ステップと、前記ゲインレベルにより前記所定値を変更する所定値変更ステップとを具備したことを特徴とする自動焦点調節方法。
- 前記所定値変更ステップは、前記ゲインレベルが大きくなった場合には前記所定値を大きくすることを特徴とする請求項１記載の自動焦点調節方法。
- 被写体を撮像することにより撮像手段から得られる映像信号の所定の高域成分を自動焦点調節評価値として取り出し、前記自動焦点評価値のレベルが最大となるように焦点調節レンズ手段を光軸方向に移動させて焦点調節を行う自動焦点調節装置であって、前記焦点調節レンズ手段を微小駆動する微小駆動手段と、前記焦点調節レンズ手段を高速駆動する高速駆動手段と、前記自動焦点調節評価値のレベルが所定値以下の時に前記微小駆動手段から前記高速駆動手段に切り換え制御する切換制御手段と、前記映像信号のレベルを一定にするためにゲインレベルを変更するゲイン変更手段と、前記ゲインレベルにより前記所定値を変更する所定値変更手段とを具備したことを特徴とする自動焦点調節装置。
- 前記所定値変更手段は、前記ゲインレベルが大きくなった場合には前記所定値を大きくすることを特徴とする請求項３記載の自動焦点調節装置。
- 前記撮像手段は、ＣＣＤであることを特徴とする請求項３記載の自動焦点調節装置。
- 前記微小駆動手段は、モータとドライバとからなることを特徴とする請求項３記載の自動焦点調節装置。
- 前記高速駆動手段は、モータとドライバとからなることを特徴とする請求項３記載の自動焦点調節装置。
- 前記切換制御手段は、カメラ制御マイクロコンピュータからなることを特徴とする請求項３記載の自動焦点調節装置。
- 前記ゲイン変更手段は、ＡＧＣからなることを特徴とする請求項３記載の自動焦点調節装置。
- 前記所定値変更手段は、カメラ制御マイクロコンピュータからなることを特徴とする請求項３記載の自動焦点調節装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21593896A JP3604825B2 (ja) | 1996-07-30 | 1996-07-30 | 自動焦点調節方法及び自動焦点調節装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21593896A JP3604825B2 (ja) | 1996-07-30 | 1996-07-30 | 自動焦点調節方法及び自動焦点調節装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1051676A JPH1051676A (ja) | 1998-02-20 |
| JP3604825B2 true JP3604825B2 (ja) | 2004-12-22 |
Family
ID=16680754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21593896A Expired - Fee Related JP3604825B2 (ja) | 1996-07-30 | 1996-07-30 | 自動焦点調節方法及び自動焦点調節装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3604825B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7557855B2 (en) * | 2005-01-21 | 2009-07-07 | Canon Kabushiki Kaisha | Focus position detection apparatus and method |
| JP5292175B2 (ja) * | 2009-05-15 | 2013-09-18 | 株式会社エルモ社 | 撮像装置、焦点調節方法 |
| US10477094B2 (en) | 2016-04-05 | 2019-11-12 | Canon Kabushiki Kaisha | Focus detection unit, image capturing apparatus, and focus detection method |
-
1996
- 1996-07-30 JP JP21593896A patent/JP3604825B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1051676A (ja) | 1998-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6850280B2 (en) | Automatic focus adjusting device with distance measuring area selection based on discrimination of a state of focus | |
| JP3651996B2 (ja) | フランジバック調整方法及びそれを用いた撮影レンズ | |
| KR100197609B1 (ko) | 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치 | |
| JP2004077530A (ja) | 焦点調節方法および装置 | |
| US6943839B1 (en) | Photographic method at time of self-photography, and image sensing apparatus thereof | |
| US6333761B2 (en) | Image pickup apparatus having focus detection area size dependent on aspect ratio | |
| JP3658020B2 (ja) | 撮像装置 | |
| US5402175A (en) | Automatic focusing device wherein lens movement is controlled in accordance with lens hunting | |
| JP2003241077A (ja) | レンズシステム | |
| JP3604825B2 (ja) | 自動焦点調節方法及び自動焦点調節装置 | |
| JP4991899B2 (ja) | 撮像装置及びその制御方法 | |
| JPH0630322A (ja) | 自動合焦装置 | |
| JP3220929B2 (ja) | ビデオカメラのオートフォーカス制御方法 | |
| JP3689497B2 (ja) | 自動焦点調節方法及び装置 | |
| JP4077892B2 (ja) | 自動焦点調節方法及び装置 | |
| JP3548184B2 (ja) | 焦点調節装置及びカメラ | |
| JP2913530B2 (ja) | 自動焦点制御装置 | |
| JP3780047B2 (ja) | 自動焦点調節装置 | |
| KR100213888B1 (ko) | 비디오 카메라의 자동초점 조절방법 | |
| JPH1010413A (ja) | 撮像装置 | |
| JP3244884B2 (ja) | 焦点検出装置 | |
| JPH0946572A (ja) | 撮像装置 | |
| JP2005250127A (ja) | オートフォーカスシステム | |
| JPH0946571A (ja) | 撮像装置 | |
| JP2941919B2 (ja) | レンズ制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040930 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071008 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111008 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121008 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |