JP4581417B2 - オートフォーカス制御装置および方法、記録媒体、並びにプログラム - Google Patents

オートフォーカス制御装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4581417B2
JP4581417B2 JP2004033931A JP2004033931A JP4581417B2 JP 4581417 B2 JP4581417 B2 JP 4581417B2 JP 2004033931 A JP2004033931 A JP 2004033931A JP 2004033931 A JP2004033931 A JP 2004033931A JP 4581417 B2 JP4581417 B2 JP 4581417B2
Authority
JP
Japan
Prior art keywords
signal
evaluation value
imaging signal
imaging
focus evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004033931A
Other languages
English (en)
Other versions
JP2005227375A (ja
Inventor
栄 岡崎
真備 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004033931A priority Critical patent/JP4581417B2/ja
Publication of JP2005227375A publication Critical patent/JP2005227375A/ja
Application granted granted Critical
Publication of JP4581417B2 publication Critical patent/JP4581417B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、オートフォーカス制御装置および方法、記録媒体、並びにプログラムに関し、特に、オートフォーカスに必要な映像信号を抽出するための合焦検出領域を小さくすることにより、オートフォーカスの応答特性を向上させることができるようにしたオートフォーカス制御装置および方法、記録媒体、並びにプログラムに関する。
図1は、従来のビデオカメラの構成例を示すブロック図である。
ズームレンズ2およびフォーカスレンズ3を含むレンズブロック1は、光(すなわち、被写体の映像)を、撮像センサ4に入射させる。撮像センサ4は、CCD(Charge Coupled Devices)イメージャやC-MOS(Complementary Metal Oxide Semiconductor)イメージャを含む光電変換を行う光電変換素子が2次元に配置されたものであって、その前面には、R,GおよびBがモザイク状に配列された原色フィルタ(図示せず)が装着されている。すなわち、撮像素子4は、レンズブロック1および原色フィルタを介して入射された被写体の光像を光電変換して撮像信号(電荷)を生成し、生成した撮像信号をラスタスキャン方式でカメラ信号処理部5に出力する。
カメラ信号処理部5は、撮像センサ4より入力された撮像信号に対し、サンプリング処理やYC分離処理などを行い、輝度信号Yをゲート部6に出力し、輝度信号Yおよび色信号C(色差信号や原色信号など)をメモリコントローラ13に出力する。
ゲート部6は、入力された映像信号のうち、予め設定された画面内の合焦検出領域に相当する信号のみを抽出してAF(オートフォーカス)検波部7に出力する。AF検波部7は、入力された合焦検出領域(以下、AF検波ゲート枠と称する)に相当する映像信号の高周波成分を取り出し、それを整流検波してオートフォーカスに必要な焦点評価値を生成し、カメラコントローラ8のAFモジュール8aに出力する。
カメラコントローラ8は、入力部14から入力されるマニュアルフォーカス指示信号、ズーム指示信号、マニュアル/オートフォーカス切換え信号、スポットAFモード信号、および中央重点AFモード信号などに基づいて、レンズドライバ9および撮像素子ドライバ12の駆動を制御する。またカメラコントローラ8のAFモジュール8aは、AF検波ゲート枠に相当する映像信号から得られた焦点評価値に基づいて、オートフォーカス駆動させるようにレンズドライバ9および撮像素子ドライバ12を制御する。
レンズドライバ9は、カメラコントローラ8の制御の下、ズームレンズ2を駆動するモータ10およびフォーカスレンズ3を駆動するモータ11の駆動をそれぞれ制御する。モータ10,11は、レンズドライバ9の制御の下、ズームレンズ2またはフォーカスレンズ3の駆動をそれぞれ制御する。撮像素子ドライバ12は、カメラコントローラ8の制御の下、撮像センサ4の駆動を制御する。
メモリコントローラ13は、カメラ信号処理部5から入力された映像信号をメモリ13aに一時記憶するとともに、逐次それを読み出し、ディスプレイ(図示せず)に出力し、映像として表示させたり、あるいは、リムーバブルメディア(図示せず)に出力し、そこに記録させる。入力部14は、ユーザによって操作され、ユーザからの各種指示信号をカメラコントローラ8に入力する。
従来のビデオカメラでは、撮像センサ4から得られる映像信号の高周波成分を焦点評価値とし、この焦点評価値が大きくなるようにフォーカスレンズ3を駆動させる、いわゆる山登りオートフォーカス方式を用いることで、オートフォーカスを実現している。
ここで、オートフォーカスについて詳細に説明する。
図2は、図1のAF検波部7から出力されるオートフォーカスに必要な焦点評価値の変化の例を示している。同図において、横軸(x軸)は、フォーカスレンズ3のフォーカス位置を表わし、縦軸(y軸)は、焦点評価値を表わしている。
図2に示されるように、フォーカスレンズ3のフォーカス位置をfar方向からnear方向、またはnear方向からfar方向へ移動させていくと、所定の位置で焦点評価値は、最大値aをとる。一般に、これを「評価値の山」と称し、焦点評価値が最大値aをとるフォーカスレンズ3のフォーカス位置が、その被写体での合焦位置Qとなる。
従って、AFモジュール8aは、AF検波部7から入力される焦点評価値を取り込み、この評価値が最大になるように、フォーカスレンズ3を移動させるような、「山登り制御」を行わせる。またこのとき、AFモジュール8aは、現在のフォーカス位置から合焦位置がどの方向にあるかを調べるために、フォーカスレンズ3のフォーカス位置を微少振動させ、そのときに得られる評価値の微分成分dy/dxの正負により、合焦位置への方向を推測する。一般に、このフォーカス位置の微少振動を、ウォブリングと称する。
次に、図3のフローチャートを参照して、AFモジュール8aによるフォーカスレンズ3の移動制御処理についてさらに説明する。なお、この移動制御処理は、1フィールド周期で繰り返し行われる。
ステップS1において、AFモジュール8aは、AF検波部7から焦点評価値を取り込み、ステップS2において、焦点評価値の微分成分dy/dxを抽出し、合焦位置方向を推測する。ステップS3において、AFモジュール8aは、焦点評価値に基づいて、フォーカス位置を合焦位置Q(図2)に近づけるため、すなわちピント合わせのためのフォーカスレンズ3の移動量(フォーカス移動量)を算出する。
ステップS4において、AFモジュール8aは、ウォブリングに係るフォーカス位置の移動が行われるフィールドであるか否かを判定し、ウォブリングに係るフォーカス位置の移動が行われるフィールドであると判定した場合、ステップS5に進み、ウォブリングに係るフォーカスレンズ3の移動量(ウォブリング移動量)を算出する。
ステップS4において、ウォブリングに係るフォーカス位置の移動が行われるフィールドではないと判定された場合、ステップS6に進み、AFモジュール8aは、ウォブリング量を0に設定する。
ステップS5またはステップS6の処理の後、ステップS7において、AFモジュール8aは、ステップS3の処理で算出したフォーカス移動量とステップS5またはステップS6の処理で算出したウォブリング量の和を算出し、それをフォーカスレンズ3の移動量とする。AFモジュール8aは、算出したフォーカスレンズ3の移動量に基づいて、レンズドライバ9を制御する。レンズドライバ9は、AFモジュール8aの制御の下、モータ11を介してフォーカスレンズ3を所定のフォーカスレンズ移動量だけ移動させる。
このように、AFモジュール8aは、フォーカスレンズ3をウォブリングさせることにより得られる焦点評価値の微分成分dy/dxを調べ、フォーカス位置を合焦位置に近づけるように、フォーカスレンズ3を移動させ、オートフォーカスを実現している。
次に、図4のタイミングチャートを参照して、図1のビデオカメラの動作について説明する。
カメラコントローラ8は、時刻t1から時刻t2までの期間、時刻t2から時刻t3までの期間、時刻t3から時刻t4までの期間、および時刻t4から時刻t5までの期間、映像垂直同期信号VP1乃至VP4を撮像素子ドライバ12にそれぞれ出力する(図4A)。この映像垂直同期信号の各期間は、1フィールドの期間を表わしている。
撮像素子ドライバ12は、入力される映像垂直同期信号VP1乃至VP4に同期して、撮像センサ4を制御し、時刻t12から時刻t2までの期間、時刻t23から時刻t3までの期間、時刻t34から時刻t4までの期間、および時刻t45から時刻t5までの期間、露光ex1乃ex4をそれぞれ行わせる(図4B)。
カメラ信号処理部5は、露光ex1により得られた映像信号V2を時刻t2から時刻t3までのタイミングで読み出す(図4C)。同様に、カメラ信号処理部5は、露光ex2乃至ex4により得られた映像信号V3乃至V5(映像信号V5は図示せず)をそれぞれのタイミングで読み出す。カメラ信号処理部5により読み出された映像信号V1乃至V4は、ゲート部6に出力される。
ゲート部6は、入力された映像信号V1のうち、予め設定された画面内の合焦検出領域であるAF検波ゲート枠G1に相当する映像信号のみを抽出する(図4D)。同様に、ゲート部6は、入力された映像信号V2乃至V4のうち、AF検波ゲート枠G2乃至G4に相当する映像信号のみをそれぞれ抽出する。ゲート部6により抽出された映像信号は、AF検波部7に出力される。
AF検波部7は、入力されたAF検波ゲート枠G1に相当する映像信号の高周波成分を、AF検波ゲート枠G1のタイミングで取り出して整流検波し、オートフォーカスに必要な焦点評価値を、AF検波ゲート枠G1のタイミングの直後に生成する。同様に、AF検波部7は、入力されたAF検波ゲート枠G2乃至G4に相当する映像信号の高周波成分を、AF検波ゲート枠G2乃至G4のタイミングでそれぞれ取り出して整流検波し、オートフォーカスに必要な焦点評価値を、AF検波ゲート枠G2乃至G4のタイミングの直後に生成する。
AF検波部7により生成された焦点評価値は、カメラコントローラ8のAFモジュール8aに出力される。
AFモジュール8aは、AF検波ゲート枠G1のタイミングの直後に生成された焦点評価値を、次の映像垂直同期信号VP2のタイミングであるAFモジュールAF2のタイミングで取り込み(図4E)、フォーカスレンズ3のフォーカス位置を合焦位置に近づけるようなオートフォーカス制御信号LD3を生成し、それをレンズドライバ9に出力する(図4F)。同様に、AFモジュール8aは、AF検波ゲート枠G2のタイミングの直後に生成された焦点評価値を、次の映像垂直同期信号VP3のタイミングであるAFモジュールAF3のタイミングで取り込み、フォーカスレンズ3のフォーカス位置を合焦位置に近づけるようなオートフォーカス制御信号LD4を生成し、それをレンズドライバ9に出力する。
レンズドライバ9は、入力されたオートフォーカス制御信号LD1乃至LD4に基づいて、モータ11の駆動を制御し、フォーカスレンズ3を所定のフォーカスレンズ移動量だけ移動させる。このようにして、オートフォーカスを実現する。
以上のように、従来のビデオカメラは、撮像センサ4から得られる映像信号の高周波成分を取り出し、それを整流検波してオートフォーカスに必要な焦点評価値を生成し、この評価値が大きくなるようにフォーカスレンズ3を駆動させ、焦点評価値の微少変化から山登り制御に関する情報(例えば、山登りの方向を判断するための情報など)を得るようにしている。
ところで昨今では、オートフォーカスに関する技術が、さまざま提案されており、例えば、フォーカスレンズの移動時間を短くすることにより、消費電力を低減させるようにしているものがある(例えば、特許文献1参照)。
特開平10−239579号公報
ところで、静止画像の撮影では、合焦させたい被写体が中央に配置されるように画枠を決め、AFロック後、ユーザが好みの構図に画枠を変更することが可能な、スポットAFモードまたは中央重点AFモードというものがある。一般に、動画像のAF検波ゲート枠は、静止画像のスポットAFモードの画枠より大きい。なぜなら、動画像は、被写体の動きやパン・チルトがあるため、AF検波枠を大きくする必要があるからである。
すなわち、AF検波ゲート枠が大きいと、撮像センサ4により撮像された映像信号を読み出すのに時間がかかり、焦点評価値生成やオートフォーカス制御信号生成などの処理時間が長くなる。そのため、フォーカスレンズ駆動への遅れが大きくなり、オートフォーカス応答特性が悪くなる課題があった。
本発明はこのような状況に鑑みてなされたものであり、オートフォーカス応答特性を良くすることができるようにするものである。
本発明のオートフォーカス制御装置は、垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号を順次読み出す読出手段と、前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出手段と、前記抽出手段により抽出された撮像信号に基づいて、オートフォーカスを行うための焦点評価値を算出する算出手段と、前記焦点評価値に基づいてフォーカスレンズ撮像センサ距離を変更する変更手段とを備え、前記変更手段は、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して前記距離を変更することを特徴とする。
前記撮像信号を検波するための枠の大きさを制御するとともに、前記焦点評価値を取り込んで前記変更手段の前記距離の変更を制御する制御手段をさらに備え、前記制御手段には、前記撮像信号を検波するための枠の大きさに基づいて、前記焦点評価値を取り込むタイミングを変更させることができる。
前記撮像信号を検波するための枠の大きさが基準より小さい場合、前記制御手段には、前記焦点評価値を取り込むタイミングを、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期にさせることができる。
所定のモード時の場合、前記制御手段には、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御させることができる。
ズーム中の場合、前記制御手段には、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御させることができる。
所定のズーム速度より速い速度でズーム中の場合、前記制御手段には、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御させることができる。
ワイドからテレにズーム中の場合、前記制御手段には、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御させることができる。
所定のズーム速度より速い速度でワイドからテレにズーム中の場合、前記制御手段には、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御させることができる。
本発明のオートフォーカス制御方法は、垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号を順次読み出す読出ステップと、前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出ステップと、抽出された撮像信号に基づいて、オートフォーカスを行うための焦点評価値を算出する算出ステップと、前記焦点評価値に基づいてフォーカスレンズ撮像センサ距離を変更する変更ステップとを含み、前記変更ステップは、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して前記距離を変更することを特徴とする。
本発明の記録媒体は、コンピュータに、垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号を順次読み出す読出ステップと、前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出ステップと、抽出された撮像信号に基づいて、オートフォーカスを行うための焦点評価値を算出する算出ステップと、前記焦点評価値に基づいて、フォーカスレンズと撮像センサの距離を変更する変更ステップとを含み、前記変更ステップは、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して前記距離を変更する処理を実行させるためのプログラムを記録したコンピュータ読み取り可能なものである
本発明のプログラムは、コンピュータに、垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号を順次読み出す読出ステップと、前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出ステップと、抽出された撮像信号に基づいて、オートフォーカスを行うための焦点評価値を算出する算出ステップと、前記焦点評価値に基づいて、フォーカスレンズと撮像センサの距離を変更する変更ステップとを含み、前記変更ステップは、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して前記距離を変更する処理を実行させるためのものである
本発明においては、垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号が順次読み出され、1フィールド分の撮像信号から、撮像信号を検波するための枠に相当する信号のみが抽出され、抽出された撮像信号に基づいて、オートフォーカスを行うための焦点評価値が算出され、焦点評価値に基づいて、フォーカスレンズと撮像センサの距離が変更される。具体的には、1フィールド分の撮像信号の読み出しおよび焦点評価値の算出を行った周期の次の周期の垂直同期信号に同期して距離が変更される。
本発明によれば、オートフォーカスを実現することができる。特に、オートフォーカス応答特性を良くすることが可能となる。
以下に本発明を実施するための最良の形態を説明するが、明細書中に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
さらに、この記載は、明細書に記載されている実施の形態に対応するすべての発明が、記載されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている他の発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
請求項1に記載のオートフォーカス制御装置(例えば、図5のビデオカメラ)は、垂直同期信号に同期して連続して撮像する撮像手段(例えば、図5の撮像センサ4)から、1フィールド分の撮像信号を順次読み出す読出手段(例えば、図5のカメラ信号処理部5)と、前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出手段(例えば、図5のゲート部6)と、前記抽出手段により抽出された撮像信号(例えば、図9Cの映像信号V1)に基づいて、オートフォーカスを行うための焦点評価値(例えば、図9DのG11の立下りで生成される焦点評価値)を算出する算出手段(例えば、図5のAF検波部7)と焦点評価値に基づいて、フォーカスレンズ(例えば、図5のフォーカスレンズ3)撮像センサ(例えば、図5の撮像センサ4)距離を変更する変更手段(例えば、図5のモータ11)とを備え、前記変更手段は、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して距離を変更することを特徴とする。
請求項9に記載のオートフォーカス制御方法は、垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号を順次読み出す読出ステップと、前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出ステップと、抽出された撮像信号(例えば、図9Dの映像信号V1)に基づいて、オートフォーカスを行うための焦点評価値(例えば、図9DのG11の立下りで生成される焦点評価値)を算出する算出ステップと、前記焦点評価値に基づいて、フォーカスレンズ(例えば、図5のフォーカスレンズ3)撮像センサ(例えば、図5の撮像センサ4)距離を変更する変更ステップとを含み、前記変更ステップは、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して距離を変更することを特徴とする。
なお、請求項10に記載の記録媒体に記録されているプログラム、および請求項11に記載のプログラムにおいても、各ステップが対応する実施の形態(但し一例)は、請求項9に記載のオートフォーカス制御方法と同様である。
以下に、本発明の実施の形態について図面を参照して説明する。
図5は、本発明を適用したビデオカメラの構成例を示すブロック図である。なお、従来と対応する部分には同一の符号を付してあり、その説明は、適宜省略する。
ゲート部6は、カメラコントローラ8のゲート枠調整AFモジュール21による制御に基づいて、入力された映像信号のうち、予め設定された画面内のAF検波ゲート枠(以下、AF検波基準ゲート枠と称する)に相当する信号のみを抽出してAF検波部7に出力する。またゲート部6は、ゲート枠調整AFモジュール21による制御に基づいて、AF検波基準ゲート枠の大きさを小さく変更する。以下、AF検波基準ゲート枠の大きさが小さく変更されたものを、AF検波縮小ゲート枠と称する。
カメラコントローラ8のゲート枠調整AFモジュール21は、入力部14から入力されるズーム指示信号に基づいて、予め設定された画面内のAF検波基準ゲート枠に相当する信号のみを抽出させるようにゲート部6を制御する。これにより、ゲート部6は、例えば、図6Aに示されるように、画面31のうち、AF検波基準ゲート枠32に相当する映像信号のみを抽出する。
またカメラコントローラ8のゲート枠調整AFモジュール21は、入力部14から入力される、スポットAFモード時あるいはズーム中(倍率可変時)であることを示す信号に基づいて、予め設定された画面31内のAF検波基準ゲート枠32(図6A)の大きさを小さく変更させるようにゲート部6を制御する。これにより、ゲート部6は、例えば、図6Bに示されるように、画面31のうち、AF検波基準ゲート枠32(図6A)の大きさが小さく変更されたAF検波縮小ゲート枠33−1,33−2に相当する映像信号のみを抽出する。図6Bの例の場合、AF検波縮小ゲート枠33−1は、ワイド側からテレ側へのズーム中、または中央重点AFモード時に使用され、AF検波縮小ゲート枠33−2は、スポットAFモード時に使用される。
ここで、ワイド側からテレ側へのズームとテレ側からワイド側へのズームにおける合焦状態について説明する。
まず、AF検波縮小ゲート枠が、ワイド側からテレ側へのズーム中とテレ側からワイド側へのズーム中に使用される理由についてさらに詳述する。
図7Aに示されるように、静止被写体をワイドからテレにズームして静止被写体を撮影する場合、および、図7Bに示されるように、静止被写体をテレからワイドにズームして静止被写体を撮影する場合、いずれも、画面31において、画像中心Xに近い画像位置の映像は、被写体の大きさの変化が小さい。従って、映像から、フォーカスレンズ3の合焦状態を比較的正しく把握することができる。これに対して、画像中心Xから遠ざかれば遠ざかる程、被写体の大きさの変化が大きく、画像周辺方向の映像の流れが大きい。従って、映像からは、フォーカスレンズ3の合焦状態を判断することが難しい。
次に、図8は、フォーカスレンズ合焦位置とズームレンズ位置との関係を示す図である。同図において、横軸(x軸)は、ズームレンズ位置を表わし、その左端はWide(ワイド)端、右端はTele(テレ)端を表わしている。縦軸(y軸)は、フォーカスレンズ位置を表わし、その上端はnear方向、下端はfar方向を表わしている。各曲線は、一定の被写体距離に対して、各ズームレンズ位置で合焦するフォーカスレンズ位置を示している。図8の例の場合、曲線L1乃至L5は、被写体距離が25cm、50cm、1m、2m、および無限の場合における合焦軌跡をそれぞれ示している。
この図からも明らかなように、テレ端では、広い位置範囲に広がっていた各被写体距離の軌跡(例えば、曲線L5から曲線L3の合焦点を表わす軌跡の間隔)が、ワイド側では狭くなり、被写界深度が深くなる。また、一定の絞りで許容錯乱円による深度を求めると、ズーム位置に拘らずほぼ等しい。すなわち、ワイド側での合焦状態は、正確な被写体距離を把握することができないため、テレ側で深度が浅くなると、正しい被写体距離軌跡上を駆動することができなくなる。
以上のことから、テレ側からワイド側へのズームは、被写体距離が一定の条件では合焦を維持することができるが、ワイド側からテレ側へのズームは、合焦を維持することが困難であるため、本発明においては、ワイド側からテレ側へのズーム中にのみ、AF検波縮小ゲート枠を使用しても良い。
以上のことから、ワイド側からテレ側にズーム中、または、所定の速度以上でズーム中の場合において、AF検波ゲート枠を小さくすることが可能となる。
次に、図9のタイミングチャートを参照して、図5のビデオカメラの動作について説明する。なお、この例では、ユーザによる入力部14の操作に基づいて、ワイド側からテレ側へのズーム中、所定の速度以上でズーム中、あるいは、スポットAFモード時における場合の動作について説明する。
カメラコントローラ8は、時刻t1から時刻t2までの期間、時刻t2から時刻t3までの期間、時刻t3から時刻t4までの期間、および時刻t4から時刻t5までの期間、映像垂直同期信号VP1乃至VP4を撮像素子ドライバ12にそれぞれ出力する(図9A)。この映像垂直同期信号の各期間は、1フィールドの期間を表わしている。
撮像素子ドライバ12は、入力される映像垂直同期信号VP1乃至VP4に同期して、撮像センサ4を制御し、時刻t12から時刻t2までの期間、時刻t23から時刻t3までの期間、時刻t34から時刻t4までの期間、および時刻t45から時刻t5までの期間、露光ex1乃ex4をそれぞれ行わせる(図9B)。
カメラ信号処理部5は、露光ex1により得られた映像信号V2を時刻t2から時刻t3までのタイミングで読み出す(図9C)。同様に、カメラ信号処理部5は、露光ex2乃至ex4により得られた映像信号V3乃至V5(映像信号V5は図示せず)をそれぞれのタイミングで読み出す。カメラ信号処理部5により読み出された映像信号V1乃至V4は、ゲート部6に出力される。
ゲート部6は、カメラコントローラ8のゲート枠調整AFモジュール21の制御の下、入力された映像信号V1のうち、予め設定された画面内のAF検波基準ゲート枠(図6AのAF検波基準ゲート枠32に対応する)の大きさが小さく変更されたAF検波縮小ゲート枠G11(図6BのAF検波縮小ゲート枠33−1,33−2に対応する)に相当する映像信号のみを抽出する(図9D)。同様に、ゲート部6は、カメラコントローラ8のゲート枠調整AFモジュール21の制御の下、入力された映像信号V2乃至V4のうち、AF検波縮小ゲート枠G12乃至G14に相当する映像信号のみをそれぞれ抽出する。ゲート部6により抽出された映像信号は、AF検波部7に出力される。
AF検波部7は、入力されたAF検波縮小ゲート枠G11に相当する映像信号の高周波成分を、AF検波縮小ゲート枠G11のタイミングで取り出して整流検波し、オートフォーカスに必要な焦点評価値を、AF検波縮小ゲート枠G11のタイミングの直後に生成する。同様に、AF検波部7は、入力されたAF検波縮小ゲート枠G12乃至G14に相当する映像信号の高周波成分を、AF検波縮小ゲート枠G12乃至G14のタイミングでそれぞれ取り出して整流検波し、オートフォーカスに必要な焦点評価値を、AF検波縮小ゲート枠G12乃至G14のタイミングの直後にそれぞれ生成する。
AF検波部7により生成された焦点評価値は、カメラコントローラ8のゲート枠調整AFモジュール21に出力される。
ゲート枠調整AFモジュール21は、AF検波縮小ゲート枠G11のタイミングの直後に生成された焦点評価値を、同じ映像垂直同期信号VP1のタイミングであるAFモジュールAF1のタイミングで取り込み(図9E)、フォーカスレンズ3のフォーカス位置を合焦位置に近づけるようなオートフォーカス制御信号LD2を生成し、それをレンズドライバ9に出力する(図9F)。同様に、ゲート枠調整AFモジュール21は、AF検波縮小ゲート枠G12のタイミングの直後に生成された焦点評価値を、同じ映像垂直同期信号VP2のタイミングであるAFモジュールAF2のタイミングで取り込み、フォーカスレンズ3のフォーカス位置を合焦位置に近づけるようなオートフォーカス制御信号LD3を生成し、それをレンズドライバ9に出力する。
レンズドライバ9は、入力されたオートフォーカス制御信号LD1乃至LD4に基づいて、モータ11の駆動を制御し、フォーカスレンズ3を所定のフォーカスレンズ移動量だけ移動させる。このようにして、オートフォーカスを実現する。
以上のように、ワイド側からテレ側へのズーム中、所定の速度以上でズーム中、あるいは、スポットAFモード時に、AF検波基準ゲート枠の大きさを小さくしたAF検波縮小ゲート枠を用いることにより、焦点評価値を生成するための映像信号を、従来より1フィールド分早く読み出すことができる。これにより、焦点評価値を生成するタイミングが早くなるとともに、フォーカスレンズ駆動への遅れが小さくなり、オートフォーカス応答特性を良くすることができる。
また以上においては、映像垂直同期信号に同期させるようにしたが、必ずしも映像垂直同期信号に同期させる必要はない。従って、映像垂直同期信号で同期制御されない場合には、焦点評価値を生成するための映像信号を、従来より1フィールド分以上早く読み出すことができ、さらにオートフォーカス応答特性を良くすることができる。
また図9のタイミングチャートでは、図5のビデオカメラの各部の処理について主に説明したが、カメラコントローラ8側の処理について着目すると、その処理は、図10に示されるようになる。
ユーザが入力部14を操作して、所定の速度以上でズーム、ワイド側からテレ側へのズーム、あるいは、スポットAFモードを指令すると、ステップS21において、カメラコントローラ8のゲート枠調整AFモジュール21は、入力部14から入力されたユーザの操作に対応する信号(以下、ユーザ操作信号と称する)に基づいて、所定の速度以上でズーム中であるか否かを判定する。
ステップS21において、所定の速度以上でズーム中ではないと判定された場合、ステップS22に進み、ゲート枠調整AFモジュール21は、さらに、入力されたユーザ操作信号に基づいて、ワイド側からテレ側へのズーム中であるか否かを判定する。
ステップS22において、ワイド側からテレ側へのズーム中ではないと判定された場合、ステップS23に進み、ゲート枠調整AFモジュール21は、さらに、入力されたユーザ操作信号に基づいて、スポットAFモード時であるか否かを判定する。
ステップS23において、スポットAFモード時ではないと判定された場合、ステップS24に進み、ゲート枠調整AFモジュール21は、予め決められたAF検波基準ゲート枠32(図6A)を使用させるようにゲート部6を制御する。
これにより、AF検波縮小ゲート枠に相当する映像信号の高周波成分が、当該AF検波縮小ゲート枠のタイミングで取り出されて整流検波され、オートフォーカスに必要な焦点評価値が、当該AF検波縮小ゲート枠のタイミングの直後に生成される(図4D)。そして、生成された焦点評価値が、次の映像垂直同期信号のタイミングで取り込まれ(図4E)、フォーカスレンズ3のフォーカス位置を合焦位置に近づけるようなオートフォーカス制御信号が生成される(図4F)。
ステップS21において、ワイド側からテレ側へのズーム中であると判定された場合、ステップS22において、所定の速度以上でズーム中であると判定された場合、あるいは、ステップS23において、スポットAFモード時であると判定された場合、ステップS25に進み、ゲート枠調整AFモジュール21は、予め設定された画面内のAF検波基準ゲート枠32(図6A)の大きさを小さく変更させるようにゲート部6を制御する。すなわち、ゲート枠調整AFモジュール21は、AF検波縮小ゲート枠33−1,33−2(図6B)を使用させるようにゲート部6を制御する。
これにより、AF検波縮小ゲート枠に相当する映像信号の高周波成分が、当該AF検波縮小ゲート枠のタイミングで取り出されて整流検波され、オートフォーカスに必要な焦点評価値が、当該AF検波縮小ゲート枠のタイミングの直後に生成される(図9D)。そして、生成された焦点評価値が、同じ映像垂直同期信号のタイミングで取り込まれ(図9E)、フォーカスレンズ3のフォーカス位置を合焦位置に近づけるようなオートフォーカス制御信号が生成される(図9F)。
以上のように、ユーザにより、ワイド側からテレ側へのズーム、所定の速度以上でズーム、あるいは、スポットAFモードが指令されると、カメラコントローラ8のゲート枠調整AFモジュール21は、AF検波基準ゲート枠の大きさを小さくしたAF検波縮小ゲート枠を使用させるようにゲート部6を制御することができる。これにより、焦点評価値を生成するための映像信号を、従来より1フィールド分早く読み出すことができ、焦点評価値を生成するタイミングが早くなるとともに、フォーカスレンズ駆動への遅れが小さくなり、オートフォーカス応答特性を良くすることができる。
また、ワイド側からテレ側へのズーム中にAF検波縮小ゲート枠を使用するだけでなく、例えば、所定の速度以上でワイド側からテレ側にズーム中である場合にのみAF検波縮小ゲート枠を使用するようにしてもよい。
なお、以上においては、ビデオカメラを例に挙げて説明したが、デジタルスチルカメラに適用することも勿論可能である。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、ビデオカメラには、図11に示されるようなコンピュータが含まれる。
図11において、CPU(Central Processing Unit)101は、ROM(Read Only Memory)102に記憶されているプログラム、または記憶部108からRAM(Random Access Memory)103にロードされたプログラムに従って各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インタフェース105も接続されている。
入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部107、ハードディスクなどより構成される記憶部108、モデムなどより構成される通信部109が接続されている。通信部109は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア111が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、図11に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フロッピディスク(登録商標)を含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア111により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM102や、記憶部108に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
従来のビデオカメラの構成例を示すブロック図である。 オートフォーカスに必要な焦点評価値の変化の例を示す図である。 フォーカスレンズの移動制御処理を説明するフローチャートである。 図1のビデオカメラの動作を説明するタイミングチャートである。 本発明を適用したビデオカメラの構成例を示すブロック図である。 AF検波ゲート枠を説明する図である。 フォーカスレンズ合焦位置とズームレンズ位置との関係を示す図である。 ズーム中における画像の変化を説明する図である。 図5のビデオカメラの動作を説明するタイミングチャートである。 AFゲート枠調整処理を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
1 レンズブロック, 2 ズームレンズ, 3 フォーカスレンズ,4 撮像センサ, 5 カメラ信号処理部, 6 ゲート部, 7 AF検波部, 8 カメラコントローラ, 9 レンズドライバ, 10,11 モータ, 12 撮像素子ドライバ, 14 入力部, 13 メモリコントローラ, 21 ゲート枠調整AFモジュール

Claims (11)

  1. 垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号を順次読み出す読出手段と、
    前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出手段と、
    前記抽出手段により抽出された撮像信号に基づいて、オートフォーカスを行うための焦点評価値を算出する算出手段と、
    前記焦点評価値に基づいてフォーカスレンズ撮像センサ距離を変更する変更手段と
    を備え、
    前記変更手段は、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して前記距離を変更する
    ことを特徴とするオートフォーカス制御装置。
  2. 前記撮像信号を検波するための枠の大きさを制御するとともに、前記焦点評価値を取り込んで前記変更手段の前記距離の変更を制御する制御手段をさらに備え、
    前記制御手段は、前記撮像信号を検波するための枠の大きさに基づいて、前記焦点評価値を取り込むタイミングを変更する
    ことを特徴とする請求項1に記載のオートフォーカス制御装置。
  3. 前記撮像信号を検波するための枠の大きさが基準より小さい場合、前記制御手段は、前記焦点評価値を取り込むタイミングを、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期にする
    ことを特徴とする請求項に記載のオートフォーカス制御装置。
  4. 所定のモード時の場合、前記制御手段は、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御する
    ことを特徴とする請求項に記載のオートフォーカス制御装置。
  5. ズーム中の場合、前記制御手段は、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御する
    ことを特徴とする請求項に記載のオートフォーカス制御装置。
  6. 所定のズーム速度より速い速度でズーム中の場合、前記制御手段は、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御する
    ことを特徴とする請求項に記載のオートフォーカス制御装置。
  7. ワイドからテレにズーム中の場合、前記制御手段は、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御する
    ことを特徴とする請求項に記載のオートフォーカス制御装置。
  8. 所定のズーム速度より速い速度でワイドからテレにズーム中の場合、前記制御手段は、前記撮像信号を検波するための枠の大きさを前記基準より小さく制御する
    ことを特徴とする請求項に記載のオートフォーカス制御装置。
  9. 垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号を順次読み出す読出ステップと、
    前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出ステップと、
    抽出された撮像信号に基づいて、オートフォーカスを行うための焦点評価値を算出する算出ステップと、
    前記焦点評価値に基づいてフォーカスレンズ撮像センサ距離を変更する変更ステップと
    を含み、
    前記変更ステップは、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して前記距離を変更する
    ことを特徴とするオートフォーカス制御方法。
  10. コンピュータに、
    垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号を順次読み出す読出ステップと、
    前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出ステップと、
    抽出された撮像信号に基づいて、オートフォーカスを行うための焦点評価値を算出する算出ステップと、
    前記焦点評価値に基づいてフォーカスレンズ撮像センサ距離を変更する変更ステップと
    を含み、
    前記変更ステップは、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して前記距離を変更する
    処理を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  11. コンピュータに、
    垂直同期信号に同期して連続して撮像する撮像手段から、1フィールド分の撮像信号を順次読み出す読出ステップと、
    前記1フィールド分の撮像信号から、前記撮像信号を検波するための枠に相当する信号のみを抽出する抽出ステップと、
    抽出された撮像信号に基づいて、オートフォーカスを行うための焦点評価値を算出する算出ステップと、
    前記焦点評価値に基づいてフォーカスレンズ撮像センサ距離を変更する変更ステップと
    を含み、
    前記変更ステップは、前記1フィールド分の撮像信号の読み出しおよび前記焦点評価値の算出を行った周期の次の周期の前記垂直同期信号に同期して前記距離を変更する
    処理を実行させるためのプログラム。
JP2004033931A 2004-01-16 2004-02-10 オートフォーカス制御装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4581417B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004033931A JP4581417B2 (ja) 2004-01-16 2004-02-10 オートフォーカス制御装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004008962 2004-01-16
JP2004033931A JP4581417B2 (ja) 2004-01-16 2004-02-10 オートフォーカス制御装置および方法、記録媒体、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2005227375A JP2005227375A (ja) 2005-08-25
JP4581417B2 true JP4581417B2 (ja) 2010-11-17

Family

ID=35002159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004033931A Expired - Fee Related JP4581417B2 (ja) 2004-01-16 2004-02-10 オートフォーカス制御装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4581417B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106108732A (zh) * 2016-06-24 2016-11-16 青岛海尔股份有限公司 定量分配装置及具有其的冰箱

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8164682B2 (en) * 2008-10-14 2012-04-24 Omnivision Technologies, Inc. Dithered focus evaluation
JP5225187B2 (ja) * 2009-04-22 2013-07-03 三洋電機株式会社 ビデオカメラ

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966274A (ja) * 1982-10-08 1984-04-14 Hitachi Ltd オ−トフオ−カス装置
JPH04273676A (ja) * 1991-02-28 1992-09-29 Hitachi Ltd ビデオカメラ
JPH05236327A (ja) * 1992-02-18 1993-09-10 Hitachi Ltd オートフォーカス用信号処理回路
JPH0715653A (ja) * 1993-06-24 1995-01-17 Olympus Optical Co Ltd カメラ
JPH0946572A (ja) * 1995-07-25 1997-02-14 Canon Inc 撮像装置
JPH11275438A (ja) * 1998-03-20 1999-10-08 Canon Inc 撮像装置およびそのレンズ制御方法
JP2000028912A (ja) * 1998-07-09 2000-01-28 Asahi Optical Co Ltd 自動焦点調節装置
JP2001154088A (ja) * 1999-11-26 2001-06-08 Olympus Optical Co Ltd 測距装置
JP2001211375A (ja) * 2000-01-25 2001-08-03 Sony Corp 画像撮影装置
JP2001296470A (ja) * 2000-04-14 2001-10-26 Hitachi Ltd 電子スチルカメラ
JP2003333409A (ja) * 2002-05-10 2003-11-21 Sanyo Electric Co Ltd ビデオカメラ

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5966274A (ja) * 1982-10-08 1984-04-14 Hitachi Ltd オ−トフオ−カス装置
JPH04273676A (ja) * 1991-02-28 1992-09-29 Hitachi Ltd ビデオカメラ
JPH05236327A (ja) * 1992-02-18 1993-09-10 Hitachi Ltd オートフォーカス用信号処理回路
JPH0715653A (ja) * 1993-06-24 1995-01-17 Olympus Optical Co Ltd カメラ
JPH0946572A (ja) * 1995-07-25 1997-02-14 Canon Inc 撮像装置
JPH11275438A (ja) * 1998-03-20 1999-10-08 Canon Inc 撮像装置およびそのレンズ制御方法
JP2000028912A (ja) * 1998-07-09 2000-01-28 Asahi Optical Co Ltd 自動焦点調節装置
JP2001154088A (ja) * 1999-11-26 2001-06-08 Olympus Optical Co Ltd 測距装置
JP2001211375A (ja) * 2000-01-25 2001-08-03 Sony Corp 画像撮影装置
JP2001296470A (ja) * 2000-04-14 2001-10-26 Hitachi Ltd 電子スチルカメラ
JP2003333409A (ja) * 2002-05-10 2003-11-21 Sanyo Electric Co Ltd ビデオカメラ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106108732A (zh) * 2016-06-24 2016-11-16 青岛海尔股份有限公司 定量分配装置及具有其的冰箱

Also Published As

Publication number Publication date
JP2005227375A (ja) 2005-08-25

Similar Documents

Publication Publication Date Title
US8023035B2 (en) Auto-focusing apparatus and image pickup apparatus including the same
JP5213813B2 (ja) 撮像装置及び撮像装置の制御方法
JP2007225808A (ja) オートフォーカスユニット及びデジタルカメラ
WO2005085928A1 (ja) オートフォーカス制御装置および方法、記録媒体、並びにプログラム
JP2012137739A (ja) 撮像装置及びレンズユニット
WO2005085927A1 (ja) オートフォーカス制御装置および方法、記録媒体、並びにプログラム
JP2009111596A (ja) 撮像装置
JP5228942B2 (ja) レンズ駆動制御装置、撮像装置、レンズ駆動制御方法およびコンピュータプログラム
JP2010156851A (ja) 焦点調節装置及び方法
JP4581417B2 (ja) オートフォーカス制御装置および方法、記録媒体、並びにプログラム
JP6152805B2 (ja) 撮像装置および制御方法、並びにプログラム
JP4612814B2 (ja) 自動焦点調節装置及びその制御方法並びに撮像装置
JP5607458B2 (ja) 撮像装置、及びその制御方法
JPH08265631A (ja) 自動焦点調節装置
TWI395473B (zh) 在低亮度場景執行自動對焦之系統與方法
JP5017195B2 (ja) 焦点調節装置及び方法
JP2010026008A (ja) 焦点調節装置及び方法
JP2003156679A (ja) 焦点検出装置
JP5553598B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2013080249A (ja) 撮像装置及びレンズユニット
JP2019200398A (ja) 撮像システム及びその制御方法、プログラム、記憶媒体
JP5938967B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2009042556A (ja) 電子カメラ
JP2005338514A (ja) レンズ制御装置及び撮像機器
KR101436838B1 (ko) 오토포커싱 정보 처리 방법 및 장치, 및 이를 이용한디지털 촬영 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100816

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees