JP3557222B2 - Automatic focusing device - Google Patents

Automatic focusing device Download PDF

Info

Publication number
JP3557222B2
JP3557222B2 JP11010492A JP11010492A JP3557222B2 JP 3557222 B2 JP3557222 B2 JP 3557222B2 JP 11010492 A JP11010492 A JP 11010492A JP 11010492 A JP11010492 A JP 11010492A JP 3557222 B2 JP3557222 B2 JP 3557222B2
Authority
JP
Japan
Prior art keywords
contrast
value
focusing
subject
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11010492A
Other languages
Japanese (ja)
Other versions
JPH05308557A (en
Inventor
英明 吉田
隆 庄司
一也 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP11010492A priority Critical patent/JP3557222B2/en
Publication of JPH05308557A publication Critical patent/JPH05308557A/en
Application granted granted Critical
Publication of JP3557222B2 publication Critical patent/JP3557222B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、自動合焦装置、詳しくは、映像信号から抽出した被写体像のコントラストの如何を表すコントラストデータに依拠してレンズの合焦位置を決定する自動合焦装置に関するものである。
【0002】
【従来の技術】
近年、カメラ、あるいは、ビデオカメラにおいて、自動合焦装置を内蔵することは略必須の条件となっている。スチル、ムービ等のビデオカメラに関しては、イメ−ジャ、即ち、撮像素子を介して取り込まれる被写体の撮像信号からコントラスト情報を抽出し、該情報に基づいて合焦処理を行う、所謂、イメ−ジャAFの自動合焦装置を内蔵するものが主流になっている。これは、該装置が合焦検出用の専用センサを必要としないことから、コストやスペ−ス上有利となるためである。
【0003】
図5は、上記従来のイメ−ジャAFの自動合焦装置を内蔵するビデオカメラである電子的撮像装置の主要ブロック構成図である。同図に示すように本装置は、主に、フォーカシングモータ、および、モータドライバで構成されるフォーカシングアクチュエ−タ7と、該アクチュエ−タ7により駆動される合焦光学系のフォーカシングレンズ1と、取り込まれた被写体像を電気信号に変換する撮像素子2と、撮像信号増幅やサンプルホールド処理を行うプリプロセス回路3と、撮像信号を変換して図示しない映像記録再生系、または、ファインダ系にビデオ信号を出力する撮像プロセス回路4と、合焦の程度を評価するための情報であるコントラストデータ、即ち、コントラスト値Cを撮像信号から抽出する検出器であって、BPF回路(バンドパスフィルタ)や積分回路、また、A/D変換回路等で構成されるコントラスト情報検出器5と、CPU,ROM,RAMなどで構成されるものであって、上記コントラストデータを取り込み合焦位置を検出し、レンズ1を合焦位置に駆動する手段を内蔵し、更に、本装置全体の制御を司るシステムコントローラ6とで構成されている。
【0004】
以上のよう構成された本撮像装置において、まず、被写体光は撮像レンズ1を介して取り込まれ、撮像素子2の結像面上に被写体像として結像する。撮像素子2の出力信号はプリプロセス回路3においてサンプルホールドされ、撮像信号として撮像プロセス回路4、および、コントラスト情報検出器5とに出力される。そして、該撮像信号は撮像プロセス回路4で映像信号に変換され、記録再生系、または、ファインダ系にビデオ信号として出力される。一方、コントラスト情報検出器5において、撮像信号の高周波成分がコントラストデータとして抽出される。更に、デジタル値に変換され、システムコントローラ6にコントラスト値Cとして取り込まれる。そして、合焦位置の検出が行われる。そして、システムコントローラ6は、フォーカシングアクチュエ−タ7を介して該合焦位置にフォーカシングレンズ1を移動させる。
【0005】
上記合焦位置の検出動作として山登り方式を適用した例を具体的に説明すると、まず、被写体が静止状態であった場合、図6に示すように、コントラスト値がピークとなる合焦位置を検出するためのレンズ駆動動作、即ち、フォーカシングレンズ1を∞合焦位置(無限遠合焦位置)の方向から至近合焦位置方向に向けて所定の単位時間に1段づつ山登り動作の移動を行う。そして、各経過時間ti (i =1,2,……)の各位置での順次のコントラスト値C0 ,C1 ,C1 ,……を取り込む。そして、コントラスト値の変化曲線Y0 の上昇過程から下降過程に移るときをピーク越えとみて、その直後、レンズを逆転し、ピーク位置を検出する。図6の場合、コントラスト値C5 が検出された時点でピーク位置を過ぎたと判断する。そして、過去の最大値C4 のレンズ駆動位置を合焦位置と判断し、該位置にフォーカシングレンズ1を逆転駆動して合焦動作を終了する。
【0006】
以上のように被写体が静止している場合、図6に示すようにコントラスト値の変化曲線Y0 が変化しないことから、所望の位置でのピーク点が素早く、正確に求められる。しかし、被写体が動体であった場合、合焦動作中のコントラスト値の変化曲線Yが刻刻と変化する。図7は、動体である被写体がカメラへ近づいて来るような場合、即ち、∞位置から至近位置に近づくような場合のコントラスト値Cの変化状態を示す図であって、各経過時間ti (i =0,1,2,……)での上記コントラスト値のレンズ位置に対する変化を示す特性曲線は、Y0 ,Y1 ,Y2 ……のように変化する。従って、前記システムコントローラ6は、遅れながらコントラスト値C0 ,C1 ,C2 ……を取り込んでゆくことになる。そして、合焦点に対応するコントラスト値C9 が検出されるのは既に至近位置に近くなってからとなり、合焦までに長い時間を要することになる。
【0007】
更には、動体の速度がもっと速かった場合、図8に示すようにコントラスト値の特性曲線がY0 ,Y1 のように素早く変化するので、例えば、先に検出されたコントラスト値C0 よりも、後で検出されたコントラスト値C1 の方が小さい値になってしまい、ピーク点の検出ができない状態になることもある。
また、被写体がカメラから遠ざかる動体であった場合、図9に示すようにコントラスト値の特性曲線がY0 ,Y1 のように∞方向に移動する。そして、検出されるコントラスト値C0 ,C1 ……のうち、ピークを越えたと判断されるコントラストC4 が検出されると、以前の最大値であるコントラスト値C3 をピーク点対応値として採用することになる。この場合、単位時間当たりのコントラスト値の変化量が静止被写体の場合よりも大きくなるので、最大コントラスト値C3 が本当のピークからずれた値となる可能性が大きくなる。即ち、合焦精度が悪くなる。
【0008】
なお、上記の動体である被写体に対して合焦処理が可能となる提案として、本出願人が先に提案した特願平3―147626号のカメラに適用される合焦装置は、イメ−ジャAFの合焦装置に関するものであって、その合焦処理の山登り動作において、レンズ駆動モータの正転駆動でピーク位置対応のコントラスト値を取り込む。そして、レンズ駆動モータの逆転駆動で該コントラスト値を検出した時点の映像信号転送時に映像信号記録可能状態とするものである。
【0009】
【発明が解決しようとする課題】
ところが、上述の従来例の特願平3―147626号のカメラに適用された合焦装置は、山登り動作時のフォーカシングレンズの駆動速度が従来のものと変わらない。従って、比較的速度の遅い動体に対しては有効であるが、速度の速い動体に対しては、前記従来のイメ−ジャAF装置と同様の不具合点を有するものであった。
【0010】
本発明は、上述の不具合を解決するためになされたものであり、合焦動作に先だって、被写体の移動状況を検出するようにして、そのデータに基づいた合焦検出を行い、特に動体である被写体に対しても精度の高い合焦動作が可能となり、更に、合焦時間自体も短くなる自動合焦装置を提供することを目的とする。
【0011】
【課題を解決するための手段】
本発明の第1の自動合焦装置は、被写体に対応した映像信号から抽出した被写体像のコントラストのを表すコントラストデータが、合焦光学系の駆動に対応して生起する変化に依拠して該コントラストデータが実質的ピークを示す位置に上記合焦光学系を移動せしめる自動合焦装置であって、上記合焦光学系を停止させた状態で異なる時刻に係る複数のコントラストデータを得る第1の手段と、上記第1の手段による複数のコントラストデータに基づいて当該被写体の移動状況を表す移動情報を得る第2の手段と、上記第2の手段による移動情報に応じて合焦調節動作を行うための情報を生成する第3の手段と、を有してなることを特徴とする。
また、第2の自動合焦装置は、上記第1の自動合焦装置において、上記移動情報は、被写体が合焦状態に近づいていく状態であるか、遠ざかっていく状態であるかの判別情報であり、上記合焦調節動作を行なうための情報は、合焦調節駆動手段における単位時間当たりの駆動量であることを特徴とする。
【0012】
【作用】
合焦動作に先だって、第1の手段により取り込んだコントラストデータに基づいて、第2の手段により、被写体の移動状況を表す移動情報を選択し、更に、該移動情報に基づいて山登り動作を行って、被写体の移動状況に適応した順次のコントラストデータを得る。そして、得られたコントラストデータにより合焦位置の検出、および、合焦駆動を実行する。
【0013】
【実施例】
以下図示の実施例に基づいて本発明を説明する。
本発明の第1実施例を示す自動合焦装置を内蔵する電子的撮像装置の制御部の主要構成は、前記図5に示した従来の電子的撮像装置と同一であって、本自動合焦装置はイメ−ジャAF方式のものとする。
但し、システムコントローラ6は、まず、上記合焦光学系であるフォーカシングレンズ1を停止させた状態で、コントラスト検出器5を介して、異なる時刻に係る複数のコントラストデータであるコントラスト値を得る第1の手段を有している。また、上記第1の手段による複数のコントラスト値に基づいて当該被写体の移動状況、例えば、移動速度を表す移動情報を得る第2の手段をも有している。更に、上記第2の手段によってえられた移動情報に応じて、山登り動作速度、即ち、1回のコントラスト値取得のためのフォーカシングレンズ1を移動する単位移動量の段数の値を選択して、合焦調節動作を行うための情報を生成する第3の手段とを有している。
【0014】
以上のように構成された本実施例の自動合焦装置の合焦動作について説明すると、まず、山登り動作に先だってフォーカシングレンズ1を固定した状態で撮像素子の時刻の異なる2フィールドに亘って、コントラスト情報検出器5を介して2つのコントラスト値C0 とC1 とを取り込む。但し、値C1 の方が、より遅い時刻に取得されたコントラスト値とする。これらの値から当該被写体の移動状況、即ち、移動速度を表す移動情報を求める。上記フィールド数は2以上として、3つ以上のコントラスト値を得るようにしてもよい。また、取得するフィールドについても連続したフィールドでもよく、連続しないフィールドでもよい。そして、上記2つのコントラスト値に変化がなかった場合、被写体が静止状態であると判断して、前記従来の自動合焦装置の動作と変わらない合焦動作を行う。
【0015】
また、図3に示すように該コントラスト値がC0 からC1 に減少する傾向にあれば、当該被写体が動体であり、レンズ初期位置が∞位置であることを前提として、∞側から撮像装置に接近しているものと判断する。なお、その場合、経過時間とともに被写体のコントラスト値の特性曲線Y0 ,Y1 ……は上記図3に示すように至近側へ移動することになる。そして、山登り動作時に1つのコントラスト値を取り込むためにフォーカシングレンズ1を、所定の単位時間、例えば、1フィールド期間内に駆動する単位移動量を、例えば、通常の1.5倍、即ち、1.5段に設定して、被写体の移動にできるだけ追従できるようにレンズを速く移動させる。その後もレンズ1を1.5段づつ移動させ、コントラスト値C2 ,C3 ……を取り込み、より速い時期にピーク越えのコントラスト値C7 を検出する。そして、過去の最大値のコントラスト値C6 に所定の係数を乗じたコントラスト値に到達するまでレンズ1を逆転駆動する。但し、この逆転駆動におけるレンズの単位移動量は、前記山登り動作時の単位移動量とは、反対に通常より少なく移動させ、より正しいピーク位置の検出をする。このようにして合焦動作を終了する。
【0016】
更に、図4に示すように該コントラスト値がC0 からC1 に増加する傾向にあれば、当該被写体が動体であり、撮像装置から遠ざっているものと判断する。なお、その場合、経過時間とともに被写体のコントラスト値の特性曲線Y0 ,Y1 ……は上記図4に示すように∞側へ移動することになる。そして、山登り動作時に1つのコントラスト値を取り込むためにフォーカシングレンズ1を駆動する単位移動量を、例えば、通常の0.5倍、即ち、0.5段に設定して、遠ざかっている被写体のコントラスト値をできるだけきめ細かく取り込み、ピーク点からずれた値を最大コントラスト値として検出してしまうことを防止する。その後もレンズ1を0.5段づつ移動させ、コントラスト値C2 ,C3 ……を取り込み、ピーク越えのコントラスト値C5 を検出する。そして、過去の最大値のコントラスト値C4 に所定の係数を乗じたコントラスト値に到達するまでレンズ1を逆転駆動する。但し、この逆転駆動におけるレンズの単位移動量は、前記山登り動作時の単位移動量とは逆に通常より大きく移動させ、より正しいピーク位置の検出をする。このようにして合焦動作を終了する。
【0017】
次に、本実施例の自動合焦装置の合焦処理動作を図1,2のフローチャートを用いて詳細に説明する。ここで、本合焦処理で用いられる所定の単位時間、例えば、1フィールド期間に駆動されるレンズ単位移動量の設定値について説明すると、山登り動作時に1つのコントラスト値を取り込むためにフォーカシングレンズ1を駆動する単位移動量として、通常の移動量S、例えば、1段と、通常の移動量Sより長い距離である移動量R、例えば、前述のように1.5段と、通常の移動量Sより短い距離である移動量T、例えば、前述のように0.5段との3通りがシステムコントローラ6のROMに格納されているものとする。また、レンズの初期位置は∞位置とする。
【0018】
さて、合焦処理の指令が出されると、図1のルーチンの処理が開始される。まず、コントラスト値取り込み回数nを0にリセットする(ステップS1)。そして、フォーカシングレンズ1を初期位置に固定して、最初の撮像フィールドにおけるコントラスト値を値Cn としてを取り込む(ステップS2)。続いて、所定の時間経過した後の撮像フィールドのコントラスト値を値Cn+1 としてを取り込む(ステップS3)。なお、このステップS2,3の処理手段は、前記第1の手段に対応している。
【0019】
ステップS4,5において、上記取得コントラスト値Cn とCn+1 とを比較する。そして、値Cn の方が大きかった場合、当該被写体は動体であって、撮像装置へ近づいていると判断し、その移動に追従するため、レンズの単位移動量を移動量R、即ち、1.5段に設定し、大幅にレンズを移動できるようにする。そして、ステップS6に進む。一方、値Cn+1 の方が大きかった場合、当該被写体は動体であって、撮像装置から離れていると判断し、その移動によりピーク点を見逃さないため、レンズの単位移動量を移動量T、即ち、0.5段に設定し、レンズを細かく移動できるようにする。そして、ステップS15にジャンプする。また、上記ステップS4,5の判別において、値Cn とCn+1 とが等しかった場合、当該被写体は静止していると判断し、図2に示すステップS23にジャンプする。そして、レンズ移動量を通常の移動量S、即ち、1段に設定する。なお、上記ステップS4,5の処理手段は、前記第2の手段が対応している。
【0020】
ステップS6,7においては、フォーカシングレンズ1を移動量Rである1.5段分正転し、そこで得られるコントラスト値を値Cn+2 として取り込む。更に、ステップS8にて、値Cn+1 と値Cn+2 とを比較し、値Cn+2 の方が大きかった場合、コントラスト値は上昇中であると判断し、取り込み回数nをインクリメントして(ステップS9)、ステップS6に戻る。そして、移動量Rに基づいたレンズ1の正転駆動を続行する。一方、値Cn+1 の方が大きかった場合、コントラスト値はピーク越えしたと判断し、ステップS10に進む。
【0021】
ステップS10では、過去のコントラスト最大値である値Cn+1 に所定の係数k2 を乗じた値をピーク識別基準コントラスト値CM として設定する。続いて、レンズ1を単位移動量の逆転駆動を行うが、この単位移動量は、山登り動作時の移動量Rとは逆の少ない移動量T、即ち、0.5段とする(ステップS11)。そして、取得コントラスト値を値CL とし、上記値CM と比較する。値CM の方が大きい場合、まだ、ピーク点まで戻っていないと見做す(ステップS12,13)。そして、ステップS11に戻り、レンズ1の逆転移動を続行する。また、上記ステップS13の判別で、値CL の方が大きくなったと判断された場合、ピーク点に戻ったとして、ステップS14に進み、レンズ1の駆動を停止し、合焦動作を終了する。
【0022】
前記ステップS4の判別で値Cn+1 の方が大きいと判断された場合、ステップS15に進むが、この場合、フォーカシングレンズ1を移動量Tである0.5段分正転し、そこで得られるコントラスト値を値Cn+2 として取り込む(ステップS16)。更に、ステップS17にて、値Cn+1 と値Cn+2 とを比較し、値Cn+2 の方が大きかった場合、コントラスト値は上昇中であると判断し、取り込み回数nをインクリメントして(ステップS18)、ステップS15に戻る。そして、移動量Tに基づいたレンズ1の正転駆動を続行する。一方、値Cn+1 の方が大きかった場合、コントラスト値はピーク越えをしたと判断し、ステップS19に進む。
【0023】
ステップS19では、過去のコントラスト最大値である値Cn+1 に所定の係数k3 を乗じた値をピーク識別基準コントラスト値CM として設定する。続いて、レンズ1を単位移動量の逆転駆動を行うが、この単位移動量は、山登り動作時の移動量Tとは逆の大きい移動量R、即ち、1.5段とする(ステップS20)。そして、取得コントラスト値を値CL とし、上記値CM と比較する。値CM の方が大きい場合、まだ、ピーク点まで戻っていないと見做す(ステップS21,22)。そして、ステップS20に戻り、レンズ1の逆転移動を続行する。また、上記ステップS22の判別で、CL の方が大きくなった場合、ピーク点に戻ったと判断して、ステップS14にジャンプしてレンズ1の駆動を停止し、合焦動作を終了する。
【0024】
なお、前記ステップS4の判別において、値Cn と値Cn+1 とが等しかった場合、図2に示されるステップS23以下、ステップS30までの処理に進むが、この処理は、通常の静止被写体に対する合焦処理動作である。そして、前記ステップS6〜S13、または、ステップS15〜22の処理に対して異なっている点は、ステップS23、および、S28において、レンズ1の正転駆動、または、逆転駆動時の単位移動量が通常の移動量S、即ち、1段に設定される点であり、また、ステップS27において、ピーク識別基準コントラスト値CM を求める場合の係数として、前記のものとは異なる係数k1 を用いる点である。その他の処理は同一とする。前記ステップS6以降の処理、ステップS15以降の処理、ステップS23以降の処理は、前記第3の手段による処理である。
【0025】
また、上記実施例のものでは、レンズの移動量を固定値としてROMに格納していたが、その変形例として、被写体速度や絞り,輝度など自動合焦装置の撮影条件等によって、レンズ移動速度を細かく設定して制御してもよい。そのレンズ移動速度は、演算、あるいは、ルックアップテーブル方式による演算,ファジー演算等によって求められる。
【0026】
また、上記実施例のものは、説明の都合上、初期位置を∞位置としたものとし、被写体の存在方向は、常に至近側の一つの方向に限定できるシステムへの適用例であった。そして、この場合、任意のレンズ位置を初期位置とするような一般のシステムで用いられるところの山登り方向を決定のための初期試行を省略することが可能なものであった。しかし、上記初期試行を行う系へ適用する場合も同様であり、本実施例のもので山登りのはじめの1ステップに着目し、コントラスト値がC2 <C1 となった場合は、レンズを逆方向に駆動させる。また、コントラスト値がC2 >C1 となった場合は、レンズをそのまま正転させる。このときの駆動速度は、本実施例のものと同様に前記コントラスト値C0 ,C1 を利用して設定する。
【0027】
以上述べたように、本実施例の自動合焦装置は、合焦動作に先だって、レンズ位置を固定した状態で、異なるフィールドのコントラスト値を取得し、それによって、被写体が動体であるか、また、装置に対して接近しているか、あるいは、離れていく被写体であるかの移動状況を判別する。そして、その判別結果により合焦検出のための山登り動作時のレンズの単位移動量を設定するようにしたので、接近しているか、あるいは、離れていく被写体の上記移動状況に合わせた山登り動作を行うことが可能となる。従って、上記動体である被写体に対しても、より正確な合焦位置の検出が実施でき、また、素早い合焦位置検出ができ、更に、所望とする動体の被写体位置からのずれの少ない状態で撮像ができる。また更に、動体であるために合焦検出ができないということも少なくなる。
なお、本発明の要旨のものは、ビデオカメラの他に、銀塩フィルムを使うカメラにも適用できる。
【0028】
【発明の効果】
上述のように本発明の自動合焦装置は、合焦動作の初期に被写体の移動状況を検出するようにして、そのデータに基づいて合焦検出のための駆動を行うようにしたので、特に動体である被写体に対しても精度も高い合焦動作が可能となり、更に、合焦時間自体も速くなるなど数多くの顕著な効果を有する。
【図面の簡単な説明】
【図1】本発明の第1実施例を示す自動合焦装置の合焦処理動作のフローチャート。
【図2】上記図1のフローチャートのうち分割して示されるフローチャート。
【図3】上記図1の自動合焦装置の合焦検出動作時において、装置に接近する被写体に合焦する場合のレンズ移動に対する取得コントラスト値の変化を示す図。
【図4】上記図1の自動合焦装置の合焦検出動作時において、装置から遠ざかる被写体に合焦する場合のレンズ移動に対する取得コントラスト値の変化を示す図。
【図5】従来のイメ−ジャAFの自動合焦装置を内蔵する撮像装置の主要ブロック構成図。
【図6】上記図5の自動合焦装置の合焦検出動作時において、静止被写体に合焦する場合のレンズ移動に対する取得コントラスト値の変化を示す図。
【図7】上記図5の自動合焦装置の合焦検出動作時において、装置に接近する被写体に合焦する場合のレンズ移動に対する取得コントラスト値の変化を示す図。
【図8】上記図5の自動合焦装置の合焦検出動作時において、装置に接近する被写体に合焦不能となる場合のレンズ移動に対する取得コントラスト値の変化を示す図。
【図9】上記図5の自動合焦装置の合焦検出動作時において、装置から遠ざかる被写体に合焦する場合のレンズ移動に対する取得コントラスト値の変化を示す図。
【符号の説明】
1…………………フォーカシングレンズ(合焦光学系)
C,Cn ,Cn+1 ,Cn+2 ……………コントラスト値(コントラストデータ)
ステップS2,ステップS3…………第1の手段による処理
ステップS4,ステップS5…………第2の手段による処理
ステップS6〜S13,ステップS15〜S22,ステップS23〜S30………………第3の手段による処理
[0001]
[Industrial applications]
The present invention relates to an automatic focusing device, and more particularly, to an automatic focusing device that determines a focusing position of a lens based on contrast data representing the contrast of a subject image extracted from a video signal.
[0002]
[Prior art]
2. Description of the Related Art In recent years, it has become almost indispensable to incorporate an automatic focusing device into a camera or a video camera. With respect to video cameras such as stills and movies, a so-called imager that extracts contrast information from an image pickup signal of a subject taken in through an image sensor and performs focusing processing based on the information. What has a built-in AF automatic focusing device has become mainstream. This is because the device does not require a dedicated sensor for focus detection, which is advantageous in terms of cost and space.
[0003]
FIG. 5 is a main block configuration diagram of an electronic image pickup apparatus which is a video camera incorporating the above-described conventional imager AF automatic focusing apparatus. As shown in FIG. 1, the present apparatus mainly includes a focusing motor and a focusing actuator 7 composed of a motor driver, a focusing lens 1 of a focusing optical system driven by the actuator 7, An image sensor 2 for converting a captured subject image into an electric signal; a pre-processing circuit 3 for amplifying an image signal and a sample-and-hold process; and a video recording / reproducing system or a finder system (not shown) for converting an image signal. An imaging process circuit 4 for outputting a signal; and a detector for extracting contrast data as information for evaluating the degree of focusing, that is, a contrast value C from the imaging signal. A contrast information detector 5 composed of an integrating circuit, an A / D conversion circuit, etc., and a CPU, ROM, RAM, etc. And a means for detecting the in-focus position by taking in the contrast data, driving the lens 1 to the in-focus position, and further comprising a system controller 6 for controlling the entire apparatus. ing.
[0004]
In the present imaging apparatus configured as described above, first, subject light is captured via the imaging lens 1 and forms an image on the imaging surface of the image sensor 2 as a subject image. The output signal of the image sensor 2 is sampled and held in the pre-processing circuit 3 and is output to the imaging process circuit 4 and the contrast information detector 5 as an image signal. Then, the imaging signal is converted into a video signal by the imaging process circuit 4 and is output as a video signal to a recording / reproducing system or a finder system. On the other hand, in the contrast information detector 5, a high frequency component of the imaging signal is extracted as contrast data. Further, it is converted into a digital value, and is taken into the system controller 6 as a contrast value C. Then, the focus position is detected. Then, the system controller 6 moves the focusing lens 1 to the in-focus position via the focusing actuator 7.
[0005]
An example in which the hill-climbing method is applied as the focus position detection operation will be specifically described. First, when the subject is in a stationary state, as shown in FIG. 6, a focus position at which the contrast value reaches a peak is detected. The focusing lens 1 is moved from the direction of the in-focus position (infinity in-focus position) toward the closest in-focus position in a predetermined unit time in a hill-climbing operation in a predetermined unit time. Then, the sequential contrast values C0, C1, C1,... At each position of each elapsed time ti (i = 1, 2,...) Are fetched. Then, the transition from the rising process to the falling process of the contrast value change curve Y0 is regarded as exceeding the peak, and immediately thereafter, the lens is reversed and the peak position is detected. In the case of FIG. 6, it is determined that the peak position has been passed when the contrast value C5 is detected. Then, the lens drive position having the past maximum value C4 is determined as the in-focus position, and the focusing lens 1 is driven in the reverse direction to the in-focus position to complete the in-focus operation.
[0006]
As described above, when the subject is stationary, the change point Y0 of the contrast value does not change as shown in FIG. 6, so that the peak point at the desired position can be obtained quickly and accurately. However, when the subject is a moving object, the change curve Y of the contrast value during the focusing operation changes every moment. FIG. 7 is a diagram illustrating a change state of the contrast value C when a moving subject approaches the camera, that is, when the subject approaches the closest position from the ∞ position. = 0, 1, 2,...) Changes as Y0, Y1, Y2,. Therefore, the system controller 6 takes in the contrast values C0, C1, C2,... With a delay. Then, the contrast value C9 corresponding to the in-focus point is detected after the camera is already close to the closest position, and it takes a long time to focus.
[0007]
Further, when the speed of the moving object is higher, the characteristic curve of the contrast value changes quickly as shown by Y0 and Y1 as shown in FIG. 8, so that, for example, the characteristic value is later than the previously detected contrast value C0. In some cases, the detected contrast value C1 becomes smaller and the peak point cannot be detected.
When the subject is a moving body moving away from the camera, the characteristic curve of the contrast value moves in the ∞ direction as shown by Y0 and Y1 as shown in FIG. When the contrast C4 that is determined to have exceeded the peak among the detected contrast values C0, C1,... Is detected, the contrast value C3 which is the previous maximum value is adopted as the peak point corresponding value. . In this case, since the amount of change in the contrast value per unit time is larger than that in the case of a still subject, the possibility that the maximum contrast value C3 deviates from the true peak increases. That is, focusing accuracy is deteriorated.
[0008]
As a proposal that enables the focusing process on a moving object, the focusing device applied to the camera of Japanese Patent Application No. 3-147626 previously proposed by the present applicant is an imager. The present invention relates to an AF focusing device, and captures a contrast value corresponding to a peak position by forward rotation of a lens drive motor in a hill-climbing operation of the focusing process. Then, at the time when the contrast value is detected by the reverse drive of the lens drive motor, the video signal is transferred when the video signal is transferred.
[0009]
[Problems to be solved by the invention]
However, in the focusing device applied to the above-mentioned conventional example of Japanese Patent Application No. 3-147626, the driving speed of the focusing lens at the time of the hill-climbing operation is the same as that of the conventional one. Therefore, it is effective for a moving object having a relatively low speed, but has a problem similar to that of the conventional imager AF apparatus for a moving object having a high speed.
[0010]
The present invention has been made in order to solve the above-described problem, and performs a focus detection based on the data, by detecting a moving state of a subject, prior to a focusing operation. It is an object of the present invention to provide an automatic focusing device that enables a focusing operation with high accuracy to a subject and further shortens a focusing time itself.
[0011]
[Means for Solving the Problems]
According to the first automatic focusing apparatus of the present invention, the contrast data representing the amount of contrast of the subject image extracted from the video signal corresponding to the subject depends on a change occurring in response to driving of the focusing optical system. , an automatic focusing apparatus in which the contrast data is allowed to move the focusing optical system to the position shown substantial peak, first obtaining a plurality of contrast data relating to different times in a state of stopping the focusing optical system (1) means, second means for obtaining movement information representing the movement state of the subject based on the plurality of pieces of contrast data obtained by the first means, and focus adjustment operation according to the movement information obtained by the second means And third means for generating information for performing the following.
Further, the second automatic focusing device is the first automatic focusing device, wherein the movement information is information for determining whether the subject is in a state of approaching or away from a focused state. Wherein the information for performing the focus adjustment operation is a drive amount per unit time in the focus adjustment drive unit.
[0012]
[Action]
Prior to the focusing operation, based on the contrast data captured by the first means, the second means selects movement information indicating the movement state of the subject, and further performs a hill climbing operation based on the movement information. Then, sequential contrast data adapted to the moving state of the subject is obtained. Then, based on the obtained contrast data, the in-focus position is detected, and the in-focus drive is executed.
[0013]
【Example】
The present invention will be described below based on the illustrated embodiment.
The main configuration of the control unit of the electronic image pickup apparatus incorporating the automatic focusing apparatus according to the first embodiment of the present invention is the same as that of the conventional electronic image pickup apparatus shown in FIG. The apparatus is of the imager AF type.
However, first, the system controller 6 obtains, via the contrast detector 5, a plurality of contrast values, which are a plurality of pieces of contrast data at different times, via the contrast detector 5 while the focusing lens 1 serving as the focusing optical system is stopped. Means. Further, there is provided a second means for obtaining movement information indicating a moving state of the subject, for example, a moving speed, based on the plurality of contrast values obtained by the first means. Further, in accordance with the movement information obtained by the second means, a hill-climbing operation speed, that is, a value of the number of steps of a unit movement amount for moving the focusing lens 1 for one-time acquisition of a contrast value is selected. Third means for generating information for performing the focus adjustment operation.
[0014]
The focusing operation of the automatic focusing apparatus according to the present embodiment configured as described above will be described. First, prior to the hill-climbing operation, the focusing lens 1 is fixed and the contrast of the image sensor is controlled over two fields at different times. The two contrast values C0 and C1 are fetched via the information detector 5. However, the value C1 is a contrast value acquired at a later time. From these values, movement information indicating the movement state of the subject, that is, movement speed, is obtained. The number of fields may be two or more to obtain three or more contrast values. Also, the field to be acquired may be a continuous field or a discontinuous field. If there is no change in the two contrast values, it is determined that the subject is in a stationary state, and a focusing operation that is the same as the operation of the conventional automatic focusing device is performed.
[0015]
Also, as shown in FIG. 3, if the contrast value tends to decrease from C0 to C1, the subject approaches the imaging apparatus from the ∞ side on the assumption that the subject is a moving object and the lens initial position is the ∞ position. Judge that you are doing. In this case, the characteristic curves Y0, Y1,... Of the contrast value of the subject move with the lapse of time as shown in FIG. Then, in order to capture one contrast value during the hill-climbing operation, the unit movement amount for driving the focusing lens 1 within a predetermined unit time, for example, within one field period, is, for example, 1.5 times the normal, that is, 1. By setting five steps, the lens is moved quickly so as to follow the movement of the subject as much as possible. Thereafter, the lens 1 is moved 1.5 steps at a time to capture the contrast values C2, C3,..., And detect the contrast value C7 exceeding the peak at an earlier time. Then, the lens 1 is driven in the reverse direction until a contrast value obtained by multiplying the past maximum contrast value C6 by a predetermined coefficient is reached. However, the unit movement amount of the lens in the reverse rotation driving is smaller than usual by the unit movement amount at the time of the hill-climbing operation, and a more accurate peak position is detected. Thus, the focusing operation is completed.
[0016]
Further, if the contrast value tends to increase from C0 to C1 as shown in FIG. 4, it is determined that the subject is a moving object and is distant from the imaging device. In this case, the characteristic curves Y0, Y1,... Of the contrast value of the subject move with time as shown in FIG. Then, the unit movement amount for driving the focusing lens 1 to capture one contrast value during the hill-climbing operation is set to, for example, 0.5 times the normal, that is, 0.5 steps, and the contrast of the distant subject is set. The value is taken in as finely as possible to prevent a value shifted from the peak point from being detected as the maximum contrast value. After that, the lens 1 is moved by 0.5 steps to capture the contrast values C2, C3,... And detect the contrast value C5 exceeding the peak. Then, the lens 1 is driven to rotate in the reverse direction until a contrast value obtained by multiplying the past maximum contrast value C4 by a predetermined coefficient is reached. However, the unit movement amount of the lens in the reverse rotation drive is made to move more than usual, contrary to the unit movement amount in the hill-climbing operation, and a more accurate peak position is detected. Thus, the focusing operation is completed.
[0017]
Next, the focusing processing operation of the automatic focusing device of the present embodiment will be described in detail with reference to the flowcharts of FIGS. Here, a description will be given of a predetermined unit time used in the actual focusing process, for example, a set value of a lens unit moving amount driven during one field period. In order to capture one contrast value during a hill-climbing operation, the focusing lens 1 is moved. As a unit movement amount to be driven, a normal movement amount S, for example, one stage, a movement amount R that is longer than the normal movement amount S, for example, 1.5 stages as described above, and a normal movement amount S It is assumed that the movement amount T, which is a shorter distance, for example, three steps of 0.5 steps as described above is stored in the ROM of the system controller 6. In addition, the initial position of the lens is set to the ∞ position.
[0018]
When an instruction for focusing processing is issued, the processing of the routine in FIG. 1 is started. First, the number n of contrast value acquisitions is reset to 0 (step S1). Then, the focusing lens 1 is fixed at the initial position, and the contrast value in the first imaging field is taken as the value Cn (step S2). Subsequently, a contrast value of the imaging field after a predetermined time has elapsed is taken in as a value Cn + 1 (step S3). Note that the processing means in steps S2 and S3 correspond to the first means.
[0019]
In steps S4 and S5, the acquired contrast values Cn and Cn + 1 are compared. If the value Cn is larger, it is determined that the subject is a moving object and is approaching the imaging apparatus, and the movement of the lens is determined by the movement amount R, that is, 1. Set to 5 steps to allow the lens to move significantly. Then, the process proceeds to step S6. On the other hand, if the value Cn + 1 is larger, it is determined that the subject is a moving object and is away from the imaging device, and the peak point is not missed by the movement, so the unit movement amount of the lens is set to the movement amount T, that is, , 0.5 steps so that the lens can be finely moved. Then, the process jumps to step S15. If the values Cn and Cn + 1 are equal in the determinations in steps S4 and S5, it is determined that the subject is stationary, and the process jumps to step S23 shown in FIG. Then, the lens moving amount is set to the normal moving amount S, that is, one stage. The processing means in steps S4 and S5 correspond to the second means.
[0020]
In steps S6 and S7, the focusing lens 1 is rotated forward by 1.5 steps, which is the moving amount R, and the contrast value obtained therefrom is taken in as a value Cn + 2. Further, in step S8, the value Cn + 1 is compared with the value Cn + 2, and if the value Cn + 2 is larger, it is determined that the contrast value is increasing, and the number n of times of capturing is incremented (step S9). It returns to S6. Then, the normal rotation drive of the lens 1 based on the movement amount R is continued. On the other hand, if the value Cn + 1 is larger, it is determined that the contrast value has exceeded the peak, and the process proceeds to step S10.
[0021]
In step S10, a value obtained by multiplying the past maximum value Cn + 1 by a predetermined coefficient k2 is set as a peak identification reference contrast value CM. Subsequently, the lens 1 is driven to rotate in the reverse direction by a unit movement amount. The unit movement amount is a movement amount T, which is a small amount opposite to the movement amount R during the hill-climbing operation, that is, 0.5 steps (step S11). . Then, the acquired contrast value is set to a value CL and compared with the value CM. If the value CM is larger, it is determined that the value has not yet returned to the peak point (steps S12 and S13). Then, the process returns to step S11 to continue the reverse rotation movement of the lens 1. If it is determined in step S13 that the value CL has increased, it is determined that the value has returned to the peak point, the process proceeds to step S14, the driving of the lens 1 is stopped, and the focusing operation ends.
[0022]
If it is determined in step S4 that the value Cn + 1 is larger, the process proceeds to step S15. In this case, the focusing lens 1 is rotated forward by 0.5 steps, which is the moving amount T, and the contrast value obtained there is obtained. As a value Cn + 2 (step S16). Further, in step S17, the value Cn + 1 is compared with the value Cn + 2, and if the value Cn + 2 is larger, it is determined that the contrast value is increasing, and the number of times of capturing n is incremented (step S18). It returns to S15. Then, the normal rotation drive of the lens 1 based on the movement amount T is continued. On the other hand, if the value Cn + 1 is larger, it is determined that the contrast value has exceeded the peak, and the process proceeds to step S19.
[0023]
In step S19, a value obtained by multiplying the past maximum contrast value Cn + 1 by a predetermined coefficient k3 is set as a peak identification reference contrast value CM. Subsequently, the lens 1 is driven to rotate in the reverse direction by a unit movement amount. The unit movement amount is a large movement amount R, which is the reverse of the movement amount T during the hill-climbing operation, that is, 1.5 steps (step S20). . Then, the acquired contrast value is set to a value CL and compared with the value CM. If the value CM is larger, it is assumed that the value has not returned to the peak point yet (steps S21 and S22). Then, the process returns to step S20 to continue the reverse rotation movement of the lens 1. Also, if CL is larger in the determination in step S22, it is determined that it has returned to the peak point, and the flow jumps to step S14 to stop driving the lens 1 and terminate the focusing operation.
[0024]
If the value Cn is equal to the value Cn + 1 in the determination in step S4, the process proceeds from step S23 to step S30 shown in FIG. 2, but this process is a focusing process for a normal still subject. Action. The difference from the processing in steps S6 to S13 or steps S15 to S22 is that in steps S23 and S28, the unit movement amount during forward rotation drive or reverse rotation drive of the lens 1 is different. The normal movement amount S, that is, a point that is set to one stage, and that a coefficient k1 different from the above is used as a coefficient for obtaining the peak identification reference contrast value CM in step S27. . Other processes are the same. The processing after step S6, the processing after step S15, and the processing after step S23 are processing by the third means.
[0025]
In the above-described embodiment, the lens moving amount is stored in the ROM as a fixed value. However, as a modified example, the lens moving speed may be changed depending on the shooting speed of the automatic focusing device such as the subject speed, the aperture, and the brightness. May be set finely and controlled. The lens moving speed is obtained by calculation, calculation by a lookup table method, fuzzy calculation, or the like.
[0026]
Further, the above embodiment is an example of application to a system in which the initial position is set to the ∞ position for the sake of explanation, and the direction in which the subject exists can always be limited to one direction on the closest side. In this case, it is possible to omit an initial trial for determining a hill-climbing direction used in a general system in which an arbitrary lens position is set as an initial position. However, the same applies to the case where the present invention is applied to the system in which the initial trial is performed. In the present embodiment, focusing on the first step of hill climbing, if the contrast value is C2 <C1, the lens is moved in the reverse direction. Drive. When the contrast value satisfies C2> C1, the lens is directly rotated as it is. The driving speed at this time is set by using the contrast values C0 and C1 as in the case of the present embodiment.
[0027]
As described above, before the focusing operation, the automatic focusing apparatus of the present embodiment acquires contrast values of different fields with the lens position fixed, thereby determining whether the subject is a moving object, It is determined whether the subject is moving toward or away from the apparatus. Then, since the unit movement amount of the lens at the time of the hill-climbing operation for focus detection is set based on the discrimination result, the hill-climbing operation according to the moving state of the object approaching or moving away is set. It is possible to do. Therefore, the focus position can be detected more accurately for the moving object, and the focus position can be detected more quickly. Imaging is possible. Further, it is less likely that focus detection cannot be performed due to a moving object.
The gist of the present invention can be applied not only to a video camera but also to a camera using a silver halide film.
[0028]
【The invention's effect】
As described above, the automatic focusing apparatus of the present invention detects the moving state of the subject at the beginning of the focusing operation, and performs driving for focus detection based on the data. Focusing operation with high accuracy is possible even for a moving subject, and further, there are many remarkable effects such as a faster focusing time itself.
[Brief description of the drawings]
FIG. 1 is a flowchart of a focusing processing operation of an automatic focusing device according to a first embodiment of the present invention.
FIG. 2 is a flowchart divided and shown in the flowchart of FIG. 1;
FIG. 3 is a diagram showing a change in an acquired contrast value with respect to lens movement when focusing on a subject approaching the device during a focus detection operation of the automatic focusing device of FIG. 1;
FIG. 4 is a diagram showing a change in an acquired contrast value with respect to lens movement when focusing on a subject moving away from the device during a focus detection operation of the automatic focusing device in FIG. 1;
FIG. 5 is a main block configuration diagram of an image pickup apparatus including a conventional imager AF automatic focusing apparatus.
FIG. 6 is a diagram showing a change in an acquired contrast value with respect to lens movement when focusing on a still subject during a focus detection operation of the automatic focusing device in FIG. 5;
FIG. 7 is a diagram showing a change in an acquired contrast value with respect to lens movement when focusing on a subject approaching the device during a focus detection operation of the automatic focusing device in FIG. 5;
FIG. 8 is a diagram showing a change in an acquired contrast value with respect to lens movement in a case where focusing on a subject approaching the device becomes impossible during a focus detection operation of the automatic focusing device in FIG. 5;
FIG. 9 is a diagram showing a change in an acquired contrast value with respect to lens movement when focusing on a subject moving away from the device during the focus detection operation of the automatic focusing device of FIG. 5;
[Explanation of symbols]
1. Focusing lens (focusing optical system)
C, Cn, Cn + 1, Cn + 2 ... contrast value (contrast data)
Step S2, Step S3 ... Step S4 by the first means, Step S5 ... Steps S6 to S13, Steps S15 to S22, Steps S23 to S30 by the second means ... Processing by the third means

Claims (2)

被写体に対応した映像信号から抽出した被写体像のコントラストのを表すコントラストデータが、合焦光学系の駆動に対応して生起する変化に依拠して該コントラストデータが実質的ピークを示す位置に上記合焦光学系を移動せしめる自動合焦装置であって、
上記合焦光学系を停止させた状態で異なる時刻に係る複数のコントラストデータを得る第1の手段と、
上記第1の手段による複数のコントラストデータに基づいて当該被写体の移動状況を表す移動情報を得る第2の手段と、
上記第2の手段による移動情報に応じて合焦調節動作を行うための情報を生成する第3の手段と、
を有してなることを特徴とする自動合焦装置。
Contrast data representing the amount of contrast of the subject image extracted from the video signal corresponding to the subject is located at a position where the contrast data substantially shows a peak , depending on a change occurring in response to driving of the focusing optical system. An automatic focusing device for moving the focusing optical system,
First means for obtaining a plurality of pieces of contrast data at different times while the focusing optical system is stopped;
A second means for obtaining movement information representing a moving state of the subject based on the plurality of pieces of contrast data by the first means;
A third means for generating information for performing a focus adjustment operation according to the movement information by the second means;
An automatic focusing device comprising:
上記移動情報は、被写体が合焦状態に近づいていく状態であるか、遠ざかっていく状態であるかの判別情報であり、上記合焦調節動作を行なうための情報は、合焦調節駆動手段における単位時間当たりの駆動量であることを特徴とする請求項1に記載の自動合焦装置。The movement information is information for determining whether the subject is in a state of approaching a focused state or in a state of moving away. The automatic focusing device according to claim 1, wherein the driving amount is a driving amount per unit time.
JP11010492A 1992-04-28 1992-04-28 Automatic focusing device Expired - Fee Related JP3557222B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11010492A JP3557222B2 (en) 1992-04-28 1992-04-28 Automatic focusing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11010492A JP3557222B2 (en) 1992-04-28 1992-04-28 Automatic focusing device

Publications (2)

Publication Number Publication Date
JPH05308557A JPH05308557A (en) 1993-11-19
JP3557222B2 true JP3557222B2 (en) 2004-08-25

Family

ID=14527144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11010492A Expired - Fee Related JP3557222B2 (en) 1992-04-28 1992-04-28 Automatic focusing device

Country Status (1)

Country Link
JP (1) JP3557222B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001255456A (en) * 2000-03-13 2001-09-21 Olympus Optical Co Ltd Range-finding device
JP3679693B2 (en) 2000-07-31 2005-08-03 三洋電機株式会社 Auto focus camera
JP4642208B2 (en) * 2000-10-13 2011-03-02 オリンパス株式会社 Electronic camera
JP4731678B2 (en) * 2000-12-18 2011-07-27 オリンパス株式会社 camera
US7773146B2 (en) 2004-06-15 2010-08-10 Canon Kabushiki Kaisha Focus control apparatus and optical apparatus
JP4562170B2 (en) * 2004-06-25 2010-10-13 キヤノン株式会社 Focus control device and optical apparatus
JP2008046181A (en) * 2006-08-11 2008-02-28 Sony Corp Focus controller, focus control method, imaging apparatus and program
JP5020643B2 (en) * 2007-01-17 2012-09-05 キヤノン株式会社 Imaging apparatus and control method thereof
JP4535173B2 (en) * 2008-06-26 2010-09-01 ソニー株式会社 Imaging apparatus, focus control method, and program
JP5322629B2 (en) * 2008-12-25 2013-10-23 キヤノン株式会社 Automatic focus detection apparatus, control method therefor, and imaging apparatus
JP2011154148A (en) * 2010-01-27 2011-08-11 Sanyo Electric Co Ltd Electronic camera
JP5818494B2 (en) * 2011-04-21 2015-11-18 キヤノン株式会社 Imaging apparatus and control method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS632010A (en) * 1986-06-21 1988-01-07 Minolta Camera Co Ltd Automatic focusing device
JPS62275208A (en) * 1987-05-01 1987-11-30 Minolta Camera Co Ltd Automatic focusing device

Also Published As

Publication number Publication date
JPH05308557A (en) 1993-11-19

Similar Documents

Publication Publication Date Title
JP3779247B2 (en) Imaging device
US7469098B2 (en) Optical apparatus
US8208803B2 (en) Focus adjusting device, image pickup apparatus, and focus adjustment method
JPH09243906A (en) Automatic focusing device and method
WO2004015476A1 (en) Focusing device
JP3557222B2 (en) Automatic focusing device
JP3466679B2 (en) camera
JP3673528B2 (en) Still image / video camera
JPH01293771A (en) Automatic focusing system
US5402175A (en) Automatic focusing device wherein lens movement is controlled in accordance with lens hunting
JP2749961B2 (en) Imaging device
JPH0630322A (en) Automatic focusing device
JP2000258681A (en) Focusing device
JP4574559B2 (en) Imaging device, focus position detection device, and focus position detection method
JPH07143388A (en) Video camera
JP4033169B2 (en) Imaging apparatus and focus display method thereof
JP3428663B2 (en) Automatic focusing device
JPH0614245A (en) Video camera
JP2721471B2 (en) Automatic focusing device
JP3165709B2 (en) Lens control device
JPH0614237A (en) Focus adjusting method and device therefor
JP2810403B2 (en) Automatic focusing device
JP3199322B2 (en) camera
JP3661233B2 (en) Imaging apparatus and focus display method thereof
JP3191885B2 (en) Automatic focusing device

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040511

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040517

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080521

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080521

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090521

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100521

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110521

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees