JP4732748B2 - 電子式カメラ及び自動フォーカス方法 - Google Patents

電子式カメラ及び自動フォーカス方法 Download PDF

Info

Publication number
JP4732748B2
JP4732748B2 JP2004368320A JP2004368320A JP4732748B2 JP 4732748 B2 JP4732748 B2 JP 4732748B2 JP 2004368320 A JP2004368320 A JP 2004368320A JP 2004368320 A JP2004368320 A JP 2004368320A JP 4732748 B2 JP4732748 B2 JP 4732748B2
Authority
JP
Japan
Prior art keywords
focus
period
wobbling
evaluation value
focus lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004368320A
Other languages
English (en)
Other versions
JP2006047954A (ja
Inventor
聡 竹本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004368320A priority Critical patent/JP4732748B2/ja
Priority to KR1020050056137A priority patent/KR20060048595A/ko
Priority to CN2009100062558A priority patent/CN101489048B/zh
Priority to EP05254154A priority patent/EP1613062B1/en
Priority to CN201110118896XA priority patent/CN102202179B/zh
Priority to US11/171,299 priority patent/US7609317B2/en
Priority to DE602005007289T priority patent/DE602005007289D1/de
Publication of JP2006047954A publication Critical patent/JP2006047954A/ja
Application granted granted Critical
Publication of JP4732748B2 publication Critical patent/JP4732748B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、電子式カメラ及び自動フォーカス方法に関するものである。
CCD(Charge Coupled Device)イメージセンサを光電変換素子として用いた、いわゆるデジタルカメラと呼ばれる電子式の画像撮像装置が広く用いられている。
このようなデジタルカメラには、一般的に、自動的にフォーカス(ピント)を合わすオートフォーカス制御を行う機能が設けられている。デジタルカメラのオートフォーカス制御の方式には様々な方式があるが、撮像画像の検波領域のコントラストや高周波成分等を抽出して焦点評価値を生成し、その焦点評価値が一番高くなるようにレンズ位置を調整する方式が主流となっている。
レンズ位置に対する焦点評価値をグラフに表すと、図9に示すようになる。すなわちレンズ位置(X軸)に対する焦点評価値(Y軸)は、合焦位置で最大値となり、合焦位置からfar側(後ピン側)及びnear側(前ピン側)に離れるに従って焦点評価値が小さくなる山型波形となる。従って、オートフォーカス制御を行う場合には、焦点評価値が山型波形の頂点の値となるように、フォーカスレンズのレンズ位置の制御を行えばよい。
焦点評価値が山型波形の頂点の値となる位置にフォーカスレンズを移動させるためには、焦点評価値の山型波形の傾きを検出して、現在のレンズ位置に対して合焦位置がどちら方向にあるかを判断しなければならない。つまり、現在のレンズ位置が合焦位置からfar側に位置しているのか、near側に位置しているのかを判断しなければならない。
現在のレンズ位置に対して合焦位置がどちら方向にあるかを判断する方法として、図9に示すように、画像に影響を与えない程度にフォーカスレンズを微小振動させ、焦点評価値の変動成分(微分成分dy/dx)の正負を算出する方法が提案されている(例えば、特許文献1参照。)。このようにオートフォーカス制御時にフォーカスレンズを微小振動させることを、ウォブリングという。
ウォブリングの動作例を、図10を参照して具体的に説明する。図10は、横軸に時間(フィールド単位)、縦軸にフォーカスレンズの位置を示している。
ウォブリング動作は、まず、第1の期間(T1)でフォーカスレンズをnear側に一定距離移動させる。続いて、第2の期間(T2)でフォーカスレンズを一定時間停止させる。続いて、第3の期間(T3)でフォーカスレンズをfar側に一定距離移動させる。続いて、第4の期間(T4)でフォーカスレンズを一定時間停止させる。以上の第1の期間から第4の期間までの動作を一連の動作とし、この一連の動作を繰り返し行う。このような動作がウォブリングである。そして、ウォブリング中に焦点評価値の変動成分(微分成分dy/dx)を検出するためには、第2の期間及び第4の期間の両者で焦点評価値を検出し、その差を算出すればよい。
特開平10−239579号公報
ところで、近年、光電変換素子としてC−MOS(Complementary - Metal Oxide Semiconductor)イメージセンサを用いたデジタルカメラが提案されている。
CCDイメージセンサとC−MOSイメージセンサとの大きな違いは、CCDイメージセンサでは各画素の電荷をCCDにより転送するのに対して、C−MOSイメージセンサでは順次走査を行って各画素の信号の読み出しを行う点である。
ここで、C−MOSイメージセンサでは、各画素から信号読み出しを順次走査により行うことにともない、露光タイミングが1画面内で同一とはならずに、画素毎に露光タイミングが異なる。
例えば、図11に示すように、あるフィールドの先頭の画素の露光タイミングと、最後の画素の露光タイミングとを比較すると、ほぼ1フィールド期間分のずれが生じる。
そのため、上述のようなウォブリング動作をして焦点評価値の変化量を算出する際に、検波領域の画素の露光期間中に、フォーカスレンズが移動してしまう可能性がある。このような場合、焦点評価値の変化量の検出感度が低くなり、正確で高速なオートフォーカス制御を行うことができなくなる。
また、図12(A)に示すように、フォーカスレンズを移動させるスキャン動作によって焦点評価値を生成する場合、CCDイメージセンサでは図12(C)に示すように、全画素の露光タイミングが同一であるため問題とならないが、C−MOSイメージセンサでは、検波領域の画素の露光中に、フォーカスレンズが移動してしまう可能性がある。このような場合も、焦点評価値の検出感度が低くなってしまうため、正確で高速なオートフォーカス制御を行うことができなくなる。
また、コントラストの弱い被写体のオートフォーカス制御を行うためにLED(Light Emitting Diode)レーザなどを照射する場合、CCDイメージセンサでは全画素の露光タイミングが同じため、図12(D)に示すような発光タイミングでよいが、画素毎に露光タイミングが異なるC−MOSイメージセンサでは、ウォルブリング動作又はスキャン動作における検波領域の画素の露光タイミングとLEDレーザの発光タイミングとの間にずれが生じてしまう。
本発明は、このような課題を解決するために提案されたものであり、正確で高速なオートフォーカス制御を行う電子式カメラ及び自動フォーカス方法を提供することを目的とする。
本発明に係る電子カメラは、二次元配列された複数の光電変換素子を有し、二次元配列された各光電変換素子を順次走査して1フィールド期間よりも短い期間露光させ、各光電変換素子から電気信号を順次走査して読み出すことにより画像信号を生成するイメージセンサと、被写体像を集光して上記イメージセンサに照射する光学系と、被写体像のフォーカス位置を調整するためのフォーカスレンズと、上記フォーカスレンズをニア側及びファー側に移動させる移動制御部とを備えたレンズ部と、フォーカスレンズをニア側に一定距離分移動するニア側駆動動作、ニア側駆動動作をした後にフォーカスレンズを一定時間停止するニア側停止動作、ニア側停止動作をした後にフォーカスレンズをファー側に一定距離分移動するファー側駆動動作、ファー側駆動動作をした後にフォーカスレンズをファー側で一定時間停止するファー側停止動作の一連の動作を、2フィールド期間毎に繰り返すウォブリング動作を行わせるためウォブリング制御信号を生成するウォブリング制御部と、画面内の所定領域の画像信号に基づき、被写体像の合焦の度数を示す焦点評価値を生成する合焦評価値算出部と、上記焦点評価値の上記ウォブリング動作中の変化量を算出し、当該変化量に基づき上記フォーカスレンズが合焦へ向かう方向を判断する合焦方向判断部と、上記焦点評価値及び合焦方向に基づき合焦となるように上記フォーカスレンズを移動させるとともに、上記ウォブリング制御信号に基づき上記移動制御部を駆動する駆動部とを備える。
本発明に係る電子カメラでは、上記ウォブリング制御部が、上記ウォブリング制御部が、上記画面内の所定領域の中央の画素が露光している期間の中心タイミングと、ニア側停止動作の期間及びファー側停止動作の期間の略中心のタイミングとが一致するように、ウォブリング制御信号を生成している。
また、本発明に係る電子カメラでは、上記ウォブリング制御部が、上記焦点評価値を生成するための画素が露光している期間の中心タイミングと、ニア側停止動作の期間及びファー側停止動作の期間の略中心のタイミングとが一致するように、上記ウォブリング制御信号を生成している。
本発明に係る自働フォーカス方法は、二次元配列された複数の光電変換素子を有し、二次元配列された各光電変換素子を順次走査して露光させ、各光電変換素子から電気信号を順次走査して読み出すことにより画像信号を生成するイメージセンサを用いた電子式カメラの自動フォーカス方法において、被写体像のフォーカス位置を調整するためのフォーカスレンズが、ニア側に一定距離分移動するニア側駆動動作、ニア側駆動動作をした後に一定時間停止するニア側停止動作、ニア側停止動作をした後にファー側に一定距離分移動するファー側駆動動作、ファー側駆動動作をした後にファー側で一定時間停止するファー側停止動作の一連の動作を、2×n(nは自然数)フィールド期間毎に繰り返すウォブリング動作をし、画面内の所定領域の画像信号に基づき、被写体像の合焦の度数を示す焦点評価値を生成し、上記焦点評価値の上記ウォブリング動作中の変化量を算出し、当該変化量に基づき上記フォーカスレンズが合焦へ向かう方向を判断し、上記焦点評価値及び合焦方向に基づき合焦となるように上記フォーカスレンズを移動して、フォーカス調整を行うものである。
本発明に係る自動フォーカス方法では、上記画面内の所定領域の中央の画素が露光している期間の中心タイミングと、ニア側停止動作の期間及びファー側停止動作の期間の略中心のタイミングとが一致するようにウォブリング動作を行う。
また、本発明に係る自動フォーカス方法では、上記焦点評価値を生成するための画素が露光している期間の中心タイミングと、ニア側停止動作の期間の中心タイミング及びファー側停止動作の期間の略中心のタイミングとが一致するようにウォブリング動作を行う。
本発明に係る電子式カメラ及び自動フォーカス方法では、上記画面内の所定領域の略中央の画素が露光している期間の中心タイミングが、ニア側停止動作の期間及びファー側停止動作の期間の中心タイミングとなるようなウォブリング動作を行う。
また、本発明に係る電子式カメラ及び自動フォーカス方法では、上記焦点評価値を生成するための画素が露光している期間が、ニア側停止動作の期間及びファー側停止動作の期間内となるようなウォブリング動作を行う。
このことにより、本発明に係る電子式カメラ及び自動フォーカス方法では、ウォブリング動作のタイミングと、焦点評価値を検出する画素の露光タイミングとの関係を最適にして、正確で高速なオートフォーカス制御を行うことができる。
本発明に係る電子カメラ及び自動フォーカス方法では、輝度レベルの低い被写体を照射する補助光源が、各光電変換素子を露光する露光時間より短い時間間隔で発光する。
このことにより、本発明に係る電子式カメラ及び自動フォーカス方法では、画面全域にわたって十分な輝度を与えることができ、正確で高速なオートフォーカス制御を行うことができる。
以下、本発明が適用された電子式のビデオカメラ(以下、単にビデオカメラという。)について説明する。
図1に、本発明が適用されたビデオカメラ10のブロック構成図を示す。
ビデオカメラ10は、レンズユニット11と、C−MOS(Complementary - Metal Oxide Semiconductor)イメージセンサ12と、タイミングジェネレータ13と、カメラ信号処理部14と、焦点評価値検出部15と、コントローラ16とを備えている。
レンズユニット11内には、フォーカスレンズ21、フォーカスレンズ21等を駆動するレンズ駆動部22が設けられている。また、レンズユニット11には、これらの他に、例えば、ズームレンズ、入射光の赤外線をカットする赤外カットフィルタ、入射光量を制限する絞り羽根、入射光を遮光するシャッタ羽根等の光学系や、絞り羽根を駆動する絞り駆動部と、シャッタ羽根を駆動するシャッタ駆動部等も設けられている。
レンズユニット11内のフォーカスレンズ21は、その光軸が、C−MOSイメージセンサ12の受光面の略中心から延ばした鉛直線と一致する位置に設けられている。フォーカスレンズ21は、光軸上を前後に直線移動可能に設けられ、その移動位置に応じてC−MOSイメージセンサ12上の受光面上の結像画像の焦点位置を変える。フォーカスレンズ21は、その移動位置が、レンズ駆動部22を介してコントローラ16により制御される。
C−MOSイメージセンサ12は、レンズユニット11介して受光面に結像された被写体の撮像光を画素毎に電気信号に変換し、当該画像信号を出力する。C−MOSイメージセンサ12は、タイミングジェネレータ13により露光及び読み出しタイミングが制御される。なお、C−MOSイメージセンサ12は、CCDのように一括タイミングで露光が行われるのではなく、画素毎に異なるタイミングで露光が行われ、C−MOSスイッチにより順次走査を行って各画素の信号の読み出しが行われる。C−MOSイメージセンサ12により読み出された画像信号は、カメラ信号処理部14に供給される。
タイミングジェネレータ13は、垂直同期信号等の各種の同期信号を発生する。
カメラ信号処理部14は、C−MOSイメージセンサ12から供給された画像信号に対して、サンプリング処理や増幅処理等のアナログ処理を行い、A/D変換を行ってデジタル化し、ガンマ補正やホワイトバランス等の調整を行う。カメラ信号処理部14は、このような信号処理を行った後に、NTSCや記録メディアに必要なフォーマットのデジタルの映像信号に変換して、外部に出力する。
焦点評価値検出部15は、カメラ信号処理部14で処理されている画像信号から、オートフォーカス(AF)の制御に必要となる焦点評価値Eを、1フィールド毎に検出する。オートフォーカスの制御に必要となる焦点評価値Eは、画面内のある検波領域内に含まれている高周波成分の量やコントラスト値である。その検波領域の高周波成分が大きかったり、コントラストが高い場合には、その検波領域にフォーカスが合っており、その検波領域の高周波成分が小さかったり、コントラストが低い場合には、その検波領域にはフォーカスが合っていない。すなわち、焦点評価値Eは、画面内の検波領域に、フォーカスが合っている度合いを示す度数である。
また、画面内の検波領域は、図2(A)に示すように画面中心に一つあるのが一般的である。しかしながら、図2(B)及び図2(C)に示すように、画面の中心以外に複数の検波領域を設けても良い。
なお、図2(A),(B),(C)の一点鎖線で示したように、画面内の全ての検波領域を囲む領域のことを、以下、特定領域という。
コントローラ16は、オートフォーカス制御等のビデオカメラ10の各部の制御を行う。
以上のようなビデオカメラ10では、被写体画像を撮像してビデオ信号として出力することができる。出力されたビデオ信号は、例えばハードディスクや光ディスクに記録されたり、モニタで表示されたりする。
また、ビデオカメラ10は、暗い環境や逆光条件で被写体に十分なコントラストを与えるための補助光源17を備えている。この補助光源17は、LED(Light Emitting Diode)レーザ等からなり、コントラストの弱い被写体にレーザ光を照射する。例えば、補助光源17にLEDレーザを用い、光の振幅と位相の両方を記録するホログラムによって、3次元の被写体を再生することにより、コントラストの弱い被写体にピントを合わせることができる。
つぎに、ビデオカメラ10のオートフォーカス制御について説明をする。
オートフォーカス制御とは、フォーカスレンズ21の移動制御を自動的に行って、被写体画像のフォーカス(ピント)の調整を行う処理である。コントローラ16は、撮像を行っている最中に、このオートフォーカス制御を行い、常に最適なピントに調整された画像を出力している。ここでは、オートフォーカス制御としてウォブリング動作とスキャン動作について説明する。
(ウォブリング動作)
以下、オートフォーカス制御の際に必要となるフォーカスレンズ21の移動制御信号の算出手順(ステップS1〜ステップS8)について、図3を参照して説明をする。なお、以下に説明するステップS1〜ステップS8の処理は、ウォブリング動作においてコントローラ16が1フィールド毎に行うものである。
まず、コントローラ16は、焦点評価値検出部15から、当該フィールドの焦点評価値Eを読み出す(ステップS1)。
続いて、コントローラ16は、取り出した焦点評価値Eと過去のフィールドの焦点評価値Eとから、焦点評価値の微分成分dEを算出する(ステップS2)。
続いて、コントローラ16は、フォーカスレンズ21をジャストフォーカス位置に移動させるための移動制御信号を算出する(ステップS3)。つまり、焦点評価値が山型波形の頂点となるようにフォーカスレンズ21を移動させなければならない。このため、コントローラ16は、このステップS3において、焦点評価値E及び微分成分dEに基づき、現在のフォーカスレンズ21の位置からジャストフォーカス位置までの距離及び方向を算出し、算出した距離及び方向に基づきフォーカスレンズ21の位置からジャストフォーカス位置するような移動制御信号を生成する。
続いて、コントローラ16は、次のフィールドが、ウォブリング動作のためにfar側又はnear側に微小移動させるフィールドであるか否かを判断する(ステップS4)。次のフィールドがウォブリング動作をさせるフィールドである場合には、コントローラ16は、ステップS5においてウォブリング量を算出し、次のフィールドがウォブリング動作をさせないフィールドである場合には、ステップS6においてウォブリング量を0とする。
続いて、コントローラ16は、ステップS5又はステップS6で求めたウォブリング量に基づき、フォーカスレンズ21をfar側及びnear側に交互に微小移動させるためのウォブリング制御信号を生成する(ステップS7)。
続いて、コントローラ16は、ステップS3で求めた移動制御信号と、ステップS6で求めたウォブリング制御信号を加算して、フォーカスレンズ21の総移動制御信号を生成する(ステップS8)。
コントローラ16は、以上のように求めた総移動制御信号をレンズ駆動部22に与える。レンズ駆動部22は、総移動制御信号に応じてフォーカスレンズ21を駆動する。このことにより、ビデオカメラ10では、画像信号のピントを最適に調整することが可能となる。
つぎに、ビデオカメラ10でのウォブリング動作について、図4及び図5を参照して、さらに詳細に説明をする。
図4(A)及び図5(A)は、ウォブリング制御信号のみを与えた場合(つまり、フォーカスレンズ21をジャストフォーカス位置に移動させるための移動制御信号が0である場合)のフォーカスレンズ21の動作を示した図であり、具体的には、横軸に時間、縦軸にフォーカスレンズ21の位置を示している。また、図4(B)及び図5(B)は、タイミングジェネレータ13から出力される画像信号の垂直同期信号のタイミングを示している。また、図4(C)及び図5(C)は、特定領域の中央位置の画素(例えば、図2(A)〜(C)の画素c)の露光タイミングを示している。
なお、図4は、ウォブリング動作周期が4フィールド期間の例を示しており、図5は、ウォブリング動作周期が2フィールド期間の例を示している。
ビデオカメラ10のウォブリング動作は、まず、第1の期間(T1)でフォーカスレンズ21がnear側に一定距離移動する。なお、この一定距離は、撮像された画像に影響を与えない程度の微小の距離である。続いて、第2の期間(T2)でフォーカスレンズ21が一定時間停止する。続いて、第3の期間(T3)でフォーカスレンズ21がfar側に一定距離移動する。続いて、第4の期間(T4)でフォーカスレンズ21が一定時間停止する。という、第1の期間から第4の期間までの動作を一連の動作とし、この一連の動作を1周期とした繰り返し動作が行われる。
コントローラ16は、ウォブリング制御信号として、フォーカスレンズ21が以上のような動作するような信号を発生する。
さらに、コントローラ16は、フォーカスレンズ21のウォブリング動作の1周期が、2×n(nは自然数)フィールド期間となるように、ウォブリング制御信号を発生している。
それとともに、コントローラ16は、垂直同期信号から第1の期間(T1)の開始タイミングまでの期間、又は、垂直同期信号から第3の期間(T3)の開始タイミングまでの期間をtとしたとき、当該tが次の式(1)に示す値となるようなウォブリング制御信号を発生している。
=(h+h−s−(n×v)−d)/2−ε …(1)
式(1)において、hは、垂直同期信号からC−MOSイメージセンサ12の特定領域の最初の画素の読み出しタイミングまでの期間である。例えばC−MOSイメージセンサ12が画面左端上端から画面右端下端まで画面順次走査を行って画素の信号の読み出しを行う場合であれば、hは、垂直同期信号から、特定領域の左端上端画素(図2(A)〜(C)の画素s)の読み出しタイミングまでの期間である。
は、垂直同期信号からC−MOSイメージセンサ12の最終の画素の読み出しタイミングまでの期間である。例えばC−MOSイメージセンサ12が画面左端上端から画面右端下端まで画面順次走査を行って画素の信号の読み出しを行う場合であれば、hは、垂直同期信号から画面右端下端画素(図2(A)〜(C)の画素e)の読み出しタイミングまでの期間である。
sは、各画素の露光時間(電子シャッタの開放時間)である。
vは、1フィールド周期である。
nは、ウォブリング動作の周期の1周期をTとしたとき、n=T/(2×v)となる値である。なお、nは、自然数である。
dは、ウォブリング動作による移動時間である。
εは、フォーカスレンズ21の機械的な遅れを補正するためのパラメータである。
この式(1)に示すようにフォーカスレンズ21のウォブリング動作の位相制御を行うことによって、図4(C)に示すように、特定領域の中央の画素が露光している期間の中心タイミングtxが、第2の期間(T2)及び第4の期間(T4)の中心タイミングtyに一致することとなる。
すなわち、ウォブリング動作におけるnear側での停止期間及びfar側での停止期間の中心タイミングと、焦点評価値を検出するための画素の露光期間の中心タイミングとが一致することとなる。このため、コントローラ16は、焦点評価値を検出するための画素の露光期間中にウォブリング動作によるレンズ移動の可能性を最も低くすることができる。
また、この式(1)に示すようにフォーカスレンズ21のウォブリング動作の位相制御を行うことによって、焦点評価値を検出するための画素の露光期間の一部でレンズ移動が生じたとしても、第2の期間(T2)(near側での停止期間)中の焦点評価値を検出するための画素の露光期間長と、第4の期間(T4)(far側での停止期間)中の焦点評価値を検出するための画素の露光期間長とが同一となる。逆に言うと、第1の期間(T1)(near側への微小移動動作期間)中の焦点評価値を検出するための画素の露光期間長と、第3の期間(T3)(far側への微小移動動作期間)中の焦点評価値を検出するための画素の露光期間長とが同一となる。
このため、ビデオカメラ10では、焦点評価値を検出する画素の有効な露光期間を、各フィールドで均等にすることができ、焦点評価値の変動成分を検出した場合に常に正確な値を検出できる。
なお、以上の例では、ウォブリング動作の停止期間の中心タイミングと、特定領域の中央の画素の露光期間の中心タイミングとを一致させるように、ウォブリング動作の位相を制御して、焦点評価値を検出するための画素の露光期間中にウォブリング動作によるレンズ移動の可能性を最も低くするようにしている。しかしながら、このように中央のタイミングを一致させる制御に限らず、焦点評価値を検出するための全ての画素の露光期間中にウォブリング動作によるレンズ移動がされないように、ウォブリング動作の位相を制御してもよい。
(スキャン動作)
次に、フォーカスレンズ21を一定速度で移動させて焦点評価値が最大となる位置を検出するスキャン動作について説明する。このオートフォーカス制御は、撮像を行っている最中にコントローラ16がフォーカスレンズ21の移動制御信号を出力することにより行われる。このスキャン動作によるオートフォーカス制御は、上述のウォブリング動作と同様に、焦点評価値を検出するための画素の露光期間中にフォーカスレンズ21を移動させないようにするものである。
まず、コントローラ16は、レンズユニット11内の移動可能範囲において、フォーカスレンズ21を、例えば至近端のスキャン開始位置に移動させる。フォーカスレンズ21がスキャン開始位置への移動を完了すると、フォーカスレンズ21が例えば無限端方向へ移動してスキャンが開始される。
コントローラ16は、焦点評価値検出部15から、例えば至近端から無限端へのフィールドの焦点評価値Eを読み出し、フォーカスレンズ21をジャストフォーカス位置、つまり、焦点評価値が山型波形の頂点となるように移動制御信号を算出する。そして、移動制御信号に基づいて合焦位置と判定された場所にフォーカスレンズ21を移動させる。
ここで、フォーカスレンズを移動させるタイミングについて、図6及び図7を参照にして説明する。
図6(A)及び図7(A)は、スキャン制御信号のみを与えた場合(つまり、フォーカスレンズ21をジャストフォーカス位置に移動させるための移動制御信号が0である場合)のフォーカスレンズ21の動作を示した図であり、具体的には、横軸に時間、縦軸にフォーカスレンズ21の位置を示している。また、図6(B)及び図7(B)は、タイミングジェネレータ13から出力される画像信号の垂直同期信号のタイミングを示している。また、図6(C)及び図7(C)は、特定領域の中央位置の画素(例えば、図2(A)〜(C)の画素c)の露光タイミングを示している。
なお、図6は、スキャン動作周期が2フィールド期間の例を示しており、図7は、スキャン動作周期が1フィールド期間の例を示している。
ビデオカメラ10のスキャン動作は、まず、第1の期間(T1)フォーカスレンズ21がfar側に一定距離移動する。なお、この一定距離は、撮像された画像に影響を与えない程度の微小の距離である。続いて。第2の期間(T2)でフォーカスレンズ21が一定時間停止する。という第1の期間と第2の期間の動作を一連の動作とし、この一連の動作を1周期とした繰り返し動作が行われる。
コントローラ16は、スキャン制御信号として、フォーカスレンズ21が以上のような動作をするような信号を発生する。
さらに、コントローラ16は、フォーカスレンズ21のスキャン動作の1周期が、n(nは自然数)フィールド期間となるように、スキャン制御信号を発生している。
それとともに、コントローラ16は、垂直同期信号から第1の期間(T1)の開始タイミングまでの期間をtとしたとき、当該tが次の式(2)に示す値となるようなスキャン制御信号を発生している。
=(h+h−s−(n×v)−d)/2−ε …(2)
なお、この式(2)は上述した(1)と同様であるが、nは、スキャン動作の周期の1周期をTとしたとき、n=T/v(nは自然数)となる値であり、dは、スキャン動作による移動時間である。
上記した式(2)に示すようにフォーカスレンズ21のスキャン動作の位相制御を行うことによって、図6(C)に示すように、特定領域の中央の画素が露光している期間の中心タイミングtxが、第2の期間(T2)の中心タイミングtyに一致することとなる。
すなわち、スキャン動作における停止期間の中心タイミングと、焦点評価値を検出するための画素の露光期間の中心タイミングとが一致することとなる。このため、コントローラ16は、焦点評価値を検出するための画素の露光期間中にスキャン動作によるレンズ移動の可能性を最も低くすることができる。
このため、ビデオカメラ10では、焦点評価値を検出する画素の有効な露光期間を、各フィールドで均等にすることができ、焦点評価値の変動成分を検出した場合に常に正確な値を検出できる。
なお、以上の例では、スキャン動作の停止期間の中心タイミングと、特定領域の中央の画素の露光期間の中心タイミングとを一致させるように、スキャン動作の位相を制御して、焦点評価値を検出するための画素の露光期間中にスキャン動作によるレンズ移動の可能性を最も低くするようにしている。しかしながら、このように中央のタイミングを一致させる制御に限らず、焦点評価値を検出するための全ての画素の露光期間中にスキャン動作によるレンズ移動がされないように、スキャン動作の位相を制御してもよい。
(補助光源の発光動作)
次に、コントラストの弱い被写体に対して照射する補助光源17の発光動作について説明する。この発光動作も、上述したウォルブリング動作やスキャン動作と同様に発光期間の中心タイミングと、特定領域の中央の画素の露光期間の中心タイミングとを一致させて補助光源17を発光させるか、又は焦点評価値を検出するための全ての画素の露光期間中に補助光源17を発光させることにより、正確で高速なオートフォーカス制御を行うことができる。
しかしながら、上述したウォルブリング動作やスキャン動作と同様に発光動作を行うと、C−MOSイメージセンサ12を用いると画面の一部しか補助光が照射されないこととなる。したがって、例えば、補助光源17にLEDレーザを用い、光の振幅と位相の両方を記録するホログラムによってコントラストの弱い被写体にピントを合わせる場合、3次元の被写体を再生するのに十分なホログラムを得ることが困難となる。
また、ウォルブリング動作中やスキャン動作中の全ての期間に補助光を照射すれば十分なホログラムを得ることができるが、LEDレーザの出力エネルギーの上限値は、ISO(International Organization for Standardization)などの安全規格によって定められている。
そこで、本発明に係る自動フォーカス方法は、補助光源17を露光時間より短い間隔で発光させることにより、安全規格を満たすとともにコントラストの弱い被写体に十分な輝度を与えるようにしたものである。
図8は、スキャン動作において補助光源17を露光周期の8倍周期で発光させた場合を示す図である。図8(A)は、フォーカスレンズ21の動作を示しており、図8(B)は、タイミングジェネレータ13から出力される画像信号の垂直同期信号のタイミングを示している。また、図8(C)は、特定領域の中央位置の画素(例えば、図2(A)〜(C)の画素c)の露光タイミングを示している。また、図8(D)は、補助光源17の発光タイミングを示している。なお、図8は、スキャン動作周期が1フィールド期間の例を示すものである。
このように補助光源17は、例えば2n(nは自然数)として垂直同期信号に基づいて垂直同期期間/2nの時間毎にパルス状に発光される。そして、点灯/消灯時間比を調節し、補助光源17の発光のパルス間隔を露光期間より短い間隔で発光させることにより、安全規格を満たすととも画面全域にわたって十分な輝度を有する画像を得ることができる。これにより、3次元の被写体を再生するのに十分なホログラムを得ることができるため、正確で高速なオートフォーカス制御を行うことができる。
本発明が適用されたビデオカメラのブロック図である。 検波領域及び特定領域を示す図である。 フォーカスレンズの移動制御信号の算出手順を示すフローチャートである。 本発明が適用されたビデオカメラのフォーカスレンズのウォブリング動作(4フィールド周期の場合の動作)を示す図である。 本発明が適用されたビデオカメラのフォーカスレンズのウォブリング動作(2フィールド周期の場合の動作)を示す図である。 本発明が適用されたビデオカメラのフォーカスレンズのスキャン動作(2フィールド周期の場合の動作)を示す図である。 本発明が適用されたビデオカメラのフォーカスレンズのスキャン動作(1フィールド周期の場合の動作)を示す図である。 本発明が適用されたビデオカメラの補助光源の発光動作(1フィールド周期の場合の動作)を示す図である。 フォーカスレンズの位置に対する焦点評価値のカーブを示す図である。 従来のビデオカメラのフォーカスレンズのウォブリング動作を示す図である。 C−MOSイメージセンサにおける先頭画素と最終画素との露光タイミングのずれを示す図である。 従来のビデオカメラのフォーカスレンズのスキャン動作を示す図である。
符号の説明
10 ビデオカメラ、11 レンズユニット、12 C−MOSイメージセンサ、13 タイミングジェネレータ、14 カメラ信号処理部、15 焦点評価値検出部、16 コントローラ、17 補助光源、21 フォーカスレンズ、22 レンズ駆動部

Claims (4)

  1. 二次元配列された複数の光電変換素子を有し、二次元配列された各光電変換素子を順次走査して1フィールド期間よりも短い期間露光させ、各光電変換素子から電気信号を順次走査して読み出すことにより画像信号を生成するイメージセンサと、
    被写体像を集光して上記イメージセンサに照射する光学系と、被写体像のフォーカス位置を調整するためのフォーカスレンズと、上記フォーカスレンズをニア側及びファー側に移動させる移動制御部とを備えたレンズ部と、
    フォーカスレンズをニア側に一定距離分移動するニア側駆動動作、ニア側駆動動作をした後にフォーカスレンズを一定時間停止するニア側停止動作、ニア側停止動作をした後にフォーカスレンズをファー側に一定距離分移動するファー側駆動動作、ファー側駆動動作をした後にフォーカスレンズをファー側で一定時間停止するファー側停止動作の一連の動作を、2フィールド期間毎に繰り返すウォブリング動作を行わせるためウォブリング制御信号を生成するウォブリング制御部と、
    画面内の所定領域の画像信号に基づき、被写体像の合焦の度数を示す焦点評価値を生成する合焦評価値算出部と、
    上記焦点評価値の上記ウォブリング動作中の変化量を算出し、当該変化量に基づき上記フォーカスレンズが合焦へ向かう方向を判断する合焦方向判断部と、
    上記焦点評価値及び合焦方向に基づき合焦となるように上記フォーカスレンズを移動させるとともに、上記ウォブリング制御信号に基づき上記移動制御部を駆動する駆動部と
    を備え、
    上記ウォブリング制御部は、上記画面内の所定領域の中央の画素が露光している期間の中心タイミングと、ニア側停止動作の期間及びファー側停止動作の期間の略中心のタイミングとが一致するように、ウォブリング制御信号を生成する電子式カメラ。
  2. 二次元配列された複数の光電変換素子を有し、二次元配列された各光電変換素子を順次走査して1フィールド期間よりも短い期間露光させ、各光電変換素子から電気信号を順次走査して読み出すことにより画像信号を生成するイメージセンサと、
    被写体像を集光して上記イメージセンサに照射する光学系と、被写体像のフォーカス位置を調整するためのフォーカスレンズと、上記フォーカスレンズをニア側及びファー側に移動させる移動制御部とを備えたレンズ部と、
    フォーカスレンズをニア側に一定距離分移動するニア側駆動動作、ニア側駆動動作をした後にフォーカスレンズを一定時間停止するニア側停止動作、ニア側停止動作をした後にフォーカスレンズをファー側に一定距離分移動するファー側駆動動作、ファー側駆動動作をした後にフォーカスレンズをファー側で一定時間停止するファー側停止動作の一連の動作を、2フィールド期間毎に繰り返すウォブリング動作を行わせるためウォブリング制御信号を生成するウォブリング制御部と、
    画面内の所定領域の画像信号に基づき、被写体像の合焦の度数を示す焦点評価値を生成する合焦評価値算出部と、
    上記焦点評価値の上記ウォブリング動作中の変化量を算出し、当該変化量に基づき上記フォーカスレンズが合焦へ向かう方向を判断する合焦方向判断部と、
    上記焦点評価値及び合焦方向に基づき合焦となるように上記フォーカスレンズを移動させるとともに、上記ウォブリング制御信号に基づき上記移動制御部を駆動する駆動部とを
    備え、
    上記ウォブリング制御部は、上記焦点評価値を生成するための画素が露光している期間の中心タイミングと、ニア側停止動作の期間及びファー側停止動作の期間の略中心のタイミングとが一致するように、ウォブリング制御信号を生成する電子式カメラ。
  3. 二次元配列された複数の光電変換素子を有し、二次元配列された各光電変換素子を順次走査して1フィールド期間よりも短い期間露光させ、各光電変換素子から電気信号を順次走査して読み出すことにより画像信号を生成するイメージセンサを用いた電子式カメラの自動フォーカス方法において、
    被写体像のフォーカス位置を調整するためのフォーカスレンズが、ニア側に一定距離分移動するニア側駆動動作、ニア側駆動動作をした後に一定時間停止するニア側停止動作、ニア側停止動作をした後にファー側に一定距離分移動するファー側駆動動作、ファー側駆動動作をした後にファー側で一定時間停止するファー側停止動作の一連の動作を、2フィールド期間毎に繰り返すウォブリング動作をし、
    画面内の所定領域の画像信号に基づき、被写体像の合焦の度数を示す焦点評価値を生成し、
    上記焦点評価値の上記ウォブリング動作中の変化量を算出し、当該変化量に基づき上記フォーカスレンズが合焦へ向かう方向を判断し、上記焦点評価値及び合焦方向に基づき合焦となるように上記フォーカスレンズを移動して、フォーカス調整を行うものであって、さらに、上記ウォブリング動作は、上記画面内の所定領域の中央の画素が露光している期間の中心タイミングと、ニア側停止動作の期間及びファー側停止動作の期間の略中心のタイミングとが略一致している自動フォーカス方法。
  4. 二次元配列された複数の光電変換素子を有し、二次元配列された各光電変換素子を順次走査して1フィールド期間よりも短い期間露光させ、各光電変換素子から電気信号を順次走査して読み出すことにより画像信号を生成するイメージセンサを用いた電子式カメラの自動フォーカス方法において、
    被写体像のフォーカス位置を調整するためのフォーカスレンズが、ニア側に一定距離分移動するニア側駆動、ニア側駆動をした後に一定時間停止するニア側停止動作、ニア側停止動作をした後にファー側に一定距離分移動するファー側駆動、ファー側駆動をした後にファー側で一定時間停止するファー側停止動作の一連の動作を、2フィールド期間毎に繰り返すウォブリング動作をし、
    画面内の所定領域の画像信号に基づき、被写体像の合焦の度数を示す焦点評価値を生成し、
    上記焦点評価値の上記ウォブリング動作中の変化量を算出し、当該変化量に基づき上記フォーカスレンズが合焦へ向かう方向を判断し、上記焦点評価値及び合焦方向に基づき合焦となるように上記フォーカスレンズを移動して、フォーカス調整を行うものであって、さらに、上記ウォブリング動作は、上記焦点評価値を生成するための画素が露光している期間の中心タイミングと、ニア側停止動作の期間の中心タイミング及びファー側停止動作の期間の略中心のタイミングとが略一致している自動フォーカス方法。
JP2004368320A 2004-07-02 2004-12-20 電子式カメラ及び自動フォーカス方法 Expired - Fee Related JP4732748B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004368320A JP4732748B2 (ja) 2004-07-02 2004-12-20 電子式カメラ及び自動フォーカス方法
KR1020050056137A KR20060048595A (ko) 2004-07-02 2005-06-28 전자식 카메라 및 자동 포커스 방법
EP05254154A EP1613062B1 (en) 2004-07-02 2005-07-01 Electronic camera and automatic focusing method
CN201110118896XA CN102202179B (zh) 2004-07-02 2005-07-01 电子像机和自动聚焦方法
CN2009100062558A CN101489048B (zh) 2004-07-02 2005-07-01 电子像机和自动聚焦方法
US11/171,299 US7609317B2 (en) 2004-07-02 2005-07-01 Electronic camera and automatic focusing method for generating a light exposure control signal according to a central timing
DE602005007289T DE602005007289D1 (de) 2004-07-02 2005-07-01 Digitalkamera und automatisches Fokussierverfahren

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004197194 2004-07-02
JP2004197194 2004-07-02
JP2004368320A JP4732748B2 (ja) 2004-07-02 2004-12-20 電子式カメラ及び自動フォーカス方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009083782A Division JP2009145913A (ja) 2004-07-02 2009-03-30 電子式カメラ及び自動フォーカス方法

Publications (2)

Publication Number Publication Date
JP2006047954A JP2006047954A (ja) 2006-02-16
JP4732748B2 true JP4732748B2 (ja) 2011-07-27

Family

ID=35058460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004368320A Expired - Fee Related JP4732748B2 (ja) 2004-07-02 2004-12-20 電子式カメラ及び自動フォーカス方法

Country Status (6)

Country Link
US (1) US7609317B2 (ja)
EP (1) EP1613062B1 (ja)
JP (1) JP4732748B2 (ja)
KR (1) KR20060048595A (ja)
CN (1) CN102202179B (ja)
DE (1) DE602005007289D1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4933111B2 (ja) * 2006-02-24 2012-05-16 株式会社日立ハイテクノロジーズ 焦点調整方法及び焦点調整装置
JP4785604B2 (ja) * 2006-04-25 2011-10-05 キヤノン株式会社 自動焦点調節装置、撮像装置、制御方法、及びプログラム
KR101446772B1 (ko) 2008-02-04 2014-10-01 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
US8164680B2 (en) 2008-03-27 2012-04-24 Panasonic Corporation Imaging system and camera body
US8311407B2 (en) * 2008-03-28 2012-11-13 Panasonic Corporation Camera system, camera body, and interchangeable lens
US8570428B2 (en) * 2008-05-16 2013-10-29 Panasonic Corporation Camera system having autofocus function for capturing a moving image
US8115855B2 (en) * 2009-03-19 2012-02-14 Nokia Corporation Method, an apparatus and a computer readable storage medium for controlling an assist light during image capturing process
JP5495773B2 (ja) 2009-12-22 2014-05-21 キヤノン株式会社 撮像装置及び撮像装置の制御方法
CN102193159B (zh) * 2010-03-10 2012-11-07 台达电子工业股份有限公司 光学装置及其光学调节组件
JP5809688B2 (ja) 2011-03-02 2015-11-11 パナソニック株式会社 撮像装置、半導体集積回路および撮像方法
WO2014001844A1 (en) 2012-06-27 2014-01-03 Nokia Corporation Imaging and sensing during an auto-focus procedure
KR20160076857A (ko) * 2014-12-23 2016-07-01 엘지전자 주식회사 이동 단말기 및 그의 컨텐츠 제어방법
CN105578048B (zh) * 2015-12-23 2019-02-22 北京奇虎科技有限公司 一种快速对焦方法和装置、移动终端
JP6851726B2 (ja) * 2016-04-04 2021-03-31 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
CN108254853B (zh) * 2018-01-17 2023-08-11 宁波舜宇仪器有限公司 一种显微成像系统及其实时对焦方法
US10578827B2 (en) * 2018-04-27 2020-03-03 Mitutoyo Corporation Variable focal length lens system with quasi-sinusoidal periodic intensity modulated light
CN110290313B (zh) * 2019-06-05 2020-09-15 河南大学 一种引导自动对焦设备失焦的方法
CN113747052B (zh) * 2020-05-27 2023-05-12 深圳清华大学研究院 对焦跟踪系统与方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0834551B2 (ja) * 1988-07-19 1996-03-29 松下電器産業株式会社 自動焦点調整装置
JP2539495B2 (ja) * 1988-07-22 1996-10-02 株式会社日立製作所 自動合焦装置
WO1991002428A1 (en) * 1989-08-08 1991-02-21 Sanyo Electric Co., Ltd Automatically focusing camera
JP2725937B2 (ja) 1992-02-19 1998-03-11 三洋電機株式会社 オートフォーカス装置
JPH0832862A (ja) 1994-07-12 1996-02-02 Sony Corp ビデオカメラ装置
US5668597A (en) * 1994-12-30 1997-09-16 Eastman Kodak Company Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor
US6683652B1 (en) * 1995-08-29 2004-01-27 Canon Kabushiki Kaisha Interchangeable lens video camera system having improved focusing
JP3726399B2 (ja) 1997-02-28 2005-12-14 ソニー株式会社 ビデオカメラのオートフォーカス装置
JP2002247443A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd ディジタルカメラ
CN100538501C (zh) * 2004-07-02 2009-09-09 索尼株式会社 电子像机和自动聚焦方法

Also Published As

Publication number Publication date
JP2006047954A (ja) 2006-02-16
US7609317B2 (en) 2009-10-27
US20060001763A1 (en) 2006-01-05
CN102202179B (zh) 2013-06-12
KR20060048595A (ko) 2006-05-18
DE602005007289D1 (de) 2008-07-17
EP1613062A1 (en) 2006-01-04
CN102202179A (zh) 2011-09-28
EP1613062B1 (en) 2008-06-04

Similar Documents

Publication Publication Date Title
KR20060048595A (ko) 전자식 카메라 및 자동 포커스 방법
JP2009145913A (ja) 電子式カメラ及び自動フォーカス方法
JP4149528B2 (ja) 自動焦点検出装置
JP2002369049A (ja) 画像検出装置と絞り装置
KR20150074641A (ko) 자동 초점 조절 방법 및 자동 초점 조절 장치
JP2010091709A (ja) オートフォーカス装置
JP3900880B2 (ja) 画像撮像装置
JP4764712B2 (ja) ディジタル・カメラおよびその制御方法
KR20030036714A (ko) 디지털 카메라의 노출 제어 방법
US8488048B2 (en) Image pickup apparatus for finding in-focus direction based on focus signal and control method for the image pickup apparatus
JP2009042555A (ja) 電子カメラ
US20040212714A1 (en) Digital camera
JP4231726B2 (ja) 電子内視鏡の光量制御装置
JP4270658B2 (ja) 3次元画像検出装置
KR100749096B1 (ko) 자동 초점 조절 장치를 포함하는 비디오 카메라 및 이를이용한 자동 초점 조절 방법
JP2006243745A (ja) 自動焦点検出装置
JP5022802B2 (ja) 撮像装置及びその制御方法
JP2004109708A (ja) 撮像装置
JP2008268745A (ja) 撮像装置及び制御方法
KR101396328B1 (ko) 촬상 장치 및 오토 포커싱 방법
JP2017134154A (ja) フォーカス制御装置、撮像装置およびフォーカス制御プログラム
JP2019220888A (ja) 撮像装置
JP2762786B2 (ja) 撮像装置
JP2005101816A (ja) 画像読取装置および画像読取プログラム
JP2006023652A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090330

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090825

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091020

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110421

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4732748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees