JP4535173B2 - 撮像装置及びフォーカス制御方法並びにプログラム - Google Patents

撮像装置及びフォーカス制御方法並びにプログラム Download PDF

Info

Publication number
JP4535173B2
JP4535173B2 JP2008167669A JP2008167669A JP4535173B2 JP 4535173 B2 JP4535173 B2 JP 4535173B2 JP 2008167669 A JP2008167669 A JP 2008167669A JP 2008167669 A JP2008167669 A JP 2008167669A JP 4535173 B2 JP4535173 B2 JP 4535173B2
Authority
JP
Japan
Prior art keywords
evaluation value
focus lens
subject
focus
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008167669A
Other languages
English (en)
Other versions
JP2010008695A (ja
Inventor
央 石渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008167669A priority Critical patent/JP4535173B2/ja
Priority to US12/431,020 priority patent/US8204370B2/en
Publication of JP2010008695A publication Critical patent/JP2010008695A/ja
Application granted granted Critical
Publication of JP4535173B2 publication Critical patent/JP4535173B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)

Description

本発明は、フォーカスレンズを動かしながら撮像対象のコントラストの変化を測定し、コントラストが最大となる位置にフォーカスレンズを移動させることでピントを合わせる撮像装置及びフォーカス制御方法並びにプログラムに関する。
フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する方式、すなわち、「画像のコントラストが高い=ピントが合っている」という考えに基づく合焦制御方式(以下、イメージャAFという。)がある。具体的には、特定領域の高周波成分を抽出し、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する。すなわち、フォーカスレンズを複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタ(HPF)に代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示す評価値(AF評価値)を得る。
例えば、あるフォーカス位置でピントが合ったジャスピンとなる被写体が存在する場合、フォーカスレンズ位置に対する評価値は図15に示すような曲線を描く。この曲線のピーク位置P、すなわち、画像のコントラスト値が最大となる位置がジャスピンである。このような合焦制御方式では、イメージャに写った画像の情報のみをもとに合焦動作を行うことができ、撮像光学系の他に測距光学系を持つ必要がないことから、今般デジタルスチルカメラにおいて広く行われている。
上述のイメージャAFを用いたオートフォーカス動作を連続的に行い、過去に得られた時系列の被写体距離情報から次回の測距時の被写体距離を予測し、その周辺を狙ってさらにオートフォーカス動作を行うのが動作追従AFである。つまり、動作追従AFでは、距離の変化する被写体に追従しながらピントを合わせる。動体追従AFにおいて、被写体の速度とその予測精度を考慮しながら、無駄に広い範囲をスキャンしないように、できるだけ狭い範囲をスキャンする場合の範囲の決め方として、例えば、以下の手法がある。
例えば、図16に示すように、第n回のAFが終わったときの予測合焦距離をx、予測被写体速度をV、被写体速度の予測誤差をd、AFとAFとの間に掛かるインターバルをTとすると、第(n+1)回目のAFにおけるフォーカスレンズのスキャン範囲Rn+1={Nn+1,Fn+1}は、下記の(4)、(5)式のように表せる。
n+1=x−(V+d)T (4)
n+1=x+(V−d)T (5)
特開平03−229209号公報 特開平01−140190号公報
ところで、イメージャAFにおいて上述したコントラストの強度を表す評価値を得るためには、次の(i)〜(iii)の段階を経る必要がある。すなわち、(i)イメージャが露光され、(ii)輝度信号が検波器によって検波され、(iii)検波されたデータがソフトウェアから参照できる領域へ転送されるという段階である。
通常、この(i)〜(iii)の処理には、制御周期にして数周期の時間がかかる。そのため、連続してイメージャAFを行う動体追従AFでは、1回のスキャンが終わってからすぐに次回のスキャン開始位置へと移動できるわけではない。すなわち、今回の評価値が得られ、合焦位置の計算が終了し、今回の合焦距離が判明するまでは、フォーカスレンズを止めるか所定の位置でスタンバイさせておく必要がある。
上述の(4)、(5)式より、スキャンとスキャンとの間に必要なインターバルTを小さくすることができれば、各回のAFにおける必要なスキャン範囲を小さくすることができ、機器のレスポンス速度を向上させることができると予想される。
本発明は、上記従来の課題を解決するものであり、インターバルTを実質的に短縮することで機器のレスポンス速度を向上させる撮像装置及びフォーカス制御方法並びにプログラムを提供することを目的とする。
すなわち、本発明に係る撮像装置は、フォーカスレンズを所定範囲で駆動させて複数の所定位置での被写体像に基づく画像信号のコントラスト強度を示す評価値を検出し、該評価値から上記フォーカスレンズの合焦位置を演算する合焦動作部と、上記所定範囲で上記フォーカスレンズを駆動させる第1の期間に上記複数の所定位置で得られる第1の評価値と、上記第1の期間経過後から上記合焦動作部により上記第1の評価値に基づく合焦位置が演算されるまでの第2の期間に、上記複数の所定位置の少なくともいずれかで得られる第2の評価値とを取得する検波部と、上記第2の評価値と該第2の評価値の位置に対応する上記第1の評価値とに基づいて、該評価値の変化量を測定する変化量測定部と、上記第1の評価値の分布と上記評価値の変化量とに基づいて、上記第2の期間における被写体の移動量を推定する移動量推定部と、上記フォーカスレンズの駆動開始から次回の合焦位置演算のための上記フォーカスレンズの駆動開始までの繰返し周期における上記合焦位置の変化に基づく第1の被写体推定速度Vと、上記被写体の移動量(△x)に基づく第2の被写体推定速度V new とを算出する被写体速度推定部とを備え、上記合焦動作部は、V×V new <0が成立しない場合に、予め設定された第1の閾値Thr1又は第2の閾値Thr2を適用した|△x|<Thr1又は|V−V new |<Thr2が成立する場合には、上記フォーカスレンズの駆動範囲を縮小し、V×V new <0が成立しない場合に、|△x|<Thr1又は|V−V new |<Thr2が成立しない場合には、上記フォーカスレンズの駆動範囲を変化させないようにする
また、本発明に係るフォーカス制御方法は、所定範囲でフォーカスレンズを駆動させる第1の期間に複数の所定位置での被写体像に基づく画像信号のコントラスト強度を示す第1の評価値と、上記第1の期間経過後から上記第1の評価値に基づく合焦位置が上記フォーカスレンズの合焦位置を演算する合焦動作部により演算されるまでの第2の期間に、上記複数の所定位置の少なくともいずれかで得られる第2の評価値とを取得する評価値取得工程と、上記第2の評価値と該第2の評価値の位置に対応する上記第1の評価値とに基づいて、該評価値の変化量を測定する変化量測定工程と、上記第1の評価値の分布と上記評価値の変化量とに基づいて、上記第2の期間における被写体の移動量を推定する移動量推定工程と、上記フォーカスレンズの駆動開始から次回の合焦位置演算のための上記フォーカスレンズの駆動開始までの繰返し周期における上記合焦位置の変化に基づく第1の被写体推定速度Vと、上記被写体の移動量(△x)に基づく第2の被写体推定速度V new とを算出する被写体速度推定工程と、上記合焦動作部が、V×V new <0が成立しない場合に、予め設定された第1の閾値Thr1又は第2の閾値Thr2を適用した|△x|<Thr1又は|V−V new |<Thr2が成立する場合には、上記フォーカスレンズの駆動範囲を縮小し、V×V new <0が成立しない場合に、|△x|<Thr1又は|V−V new |<Thr2が成立しない場合には、上記フォーカスレンズの駆動範囲を変化させないようにする駆動範囲決定工程とを有する。
また、本発明に係るプログラムは、所定範囲でフォーカスレンズを駆動させる第1の期間に複数の所定位置での被写体像に基づく画像信号のコントラスト強度を示す第1の評価値と、上記第1の期間経過後から上記第1の評価値に基づく合焦位置が上記フォーカスレンズの合焦位置を演算する合焦動作部により演算されるまでの第2の期間に、上記複数の所定位置の少なくともいずれかで得られる第2の評価値とを取得する評価値取得工程と、上記第2の評価値と該第2の評価値の位置に対応する上記第1の評価値とに基づいて、該評価値の変化量を測定する変化量測定工程と、上記第1の評価値の分布と上記評価値の変化量とに基づいて、上記第2の期間における被写体の移動量を推定する移動量推定工程と、上記フォーカスレンズの駆動開始から次回の合焦位置演算のための上記フォーカスレンズの駆動開始までの繰返し周期における上記合焦位置の変化に基づく第1の被写体推定速度Vと、上記被写体の移動量(△x)に基づく第2の被写体推定速度V new とを算出する被写体速度推定工程と、上記合焦動作部が、V×V new <0が成立しない場合に、予め設定された第1の閾値Thr1又は第2の閾値Thr2を適用した|△x|<Thr1又は|V−V new |<Thr2が成立する場合には、上記フォーカスレンズの駆動範囲を縮小し、V×V new <0が成立しない場合に、|△x|<Thr1又は|V−V new |<Thr2が成立しない場合には、上記フォーカスレンズの駆動範囲を変化させないようにする駆動範囲決定工程とを有するフォーカス制御方法をコンピュータに実行させるためのものである。
本発明によれば、動体にピントを追従させる場合の距離情報のサンプリング周期を短くして被写体の推定速度の更新頻度を上げられるため、スキャン範囲を限定して機器のレスポンス速度を向上させることができる。
以下、図面を参照しながら、本発明の具体的な実施形態について説明する。本発明の具体例として示す撮像装置は、被写体の推定速度の更新頻度を上げることにより、機器のレスポンス速度の向上を図るものである。例えば、図1及び図2に示すように、撮像装置10は、モードダイヤル1、レリーズボタン2、電源スイッチ3、レンズ4、ストロボ5、液晶パネル6、ズームキー7、及び操作部8を備える。
モードダイヤル1は、撮影用の各モード及び撮影した画像を再生するモードを切り替え可能とするものである。レリーズボタン2は、浅く押し込まれる(第1の押圧位置)ことでオートフォーカス動作を、さらに第1の押圧位置から深く押し込まれる(第2の押圧位置)ことで撮影機能を可能とするトリガ手段を構成する。電源スイッチ3は、カメラ本体の電源オン又は電源オフを切り替える。レンズ4は、例えば、フォーカスレンズやズームレンズからなり光を取り込む。ストロボ5は、例えばキセノン放電管、自動調光用素子等を備えており、後に詳述する制御部19から供給される制御信号に基づいてストロボ管を発光させ、被写体に対して光を照射する。液晶パネル6は、撮影する画像を使用者に認識可能とする。ズームキー7は、ズームモータを操作して広角及び望遠の撮影画角を切り替える。操作部8は、使用者の意思を撮像装置10に伝えるためのインターフェースとして機能する。
続いて、撮像装置10の内部構成例について説明する。例えば、図3に示すように、撮像装置10は、レンズ11、撮像素子12、アナログ信号処理部13、A/D変換部14、デジタル信号処理部15、表示部16、記録デバイス17、顔認識部18、制御部19、モータドライバ20、タイミングジェネレータ21、フォーカスレンズ駆動モータ22、ズームレンズ駆動モータ23、操作部24、FlashROM25、プログラムROM26、及びRAM27を備える。
レンズ11に入射される入射光は、例えばCCD(Charge Coupled Device)で構成される撮像素子12に入力され、撮像素子12より光電変換される。撮像素子12は、光電変換したデータをアナログ信号処理部13に入力する。
アナログ信号処理部13には撮像素子12により光電変換されたデータが入力され、ノイズ除去等の処理がなされる。アナログ信号処理部13は、処理後のデータをA/D変換部14に入力する。
A/D変換部14には、アナログ信号処理部13においてノイズ除去等の処理がなされたデータが入力される。A/D変換部14は、アナログ信号処理部13から入力されたデータをデジタル信号に変換し、デジタル信号処理部15に供給する。
デジタル信号処理部15には、A/D変換部14からデジタル変換されたデータが供給される。デジタル信号処理部15は、デジタル変換されたデータに対して種々の信号の加工や補正処理等の信号処理を行い、この信号処理後のデータを表示部16、記録デバイス17、及び顔認識部18に供給する。
表示部16は、例えば液晶パネル6で構成され、デジタル信号処理部15から供給されたデータを表示する。また、表示部16は、撮影の有無に関わらず、レンズを介する画像を表示する。
記録デバイス17は、例えばフラッシュメモリ等で構成され、デジタル信号処理部15から供給されたデータを記録する。
顔認識部18は、例えばデジタル信号処理部15から入力された画像データの解析を行い、画像データ中の人物の顔を検出する。顔認識部18は、解析した顔検出情報を制御部19に供給する。
制御部19は、例えばCPUで構成され、各部の動作を制御する部位である。制御部19は、例えば、FlashROM25に予め格納されたプログラムに従って、後に詳述する動体追従のためのAF処理を実行する。また、制御部19には、顔認識部18からの顔情報が供給され、この顔情報に基づいて目的被写体である人物の顔の大きさや位置の変動状態を検出する。
モータドライバ20は、レンズ11におけるフォーカスレンズに対応して設定されたフォーカスレンズ駆動モータ22と、ズームレンズに対応して設定されたズームレンズ駆動モータ23とを駆動する。
タイミングジェネレータ(TG)21は、制御部19からの制御信号に応じて撮像素子12の処理タイミングを制御するための制御信号を生成し、撮像素子12の処理タイミングを制御する。
操作部24は、例えばカメラ本体9に設けられた撮影モードを設定するためのモードダイヤル1、レリーズボタン2、図示しないズームボタンや各種の操作情報を入力する操作ボタン等を含む操作部である。
FlashROM25は、例えば、画像データ、各種の補助情報、プログラム等を格納する。プログラムROM26は、例えば、制御部19が使用するプログラムや演算パラメータ等を格納する。RAM27は、例えば、制御部19おいて使用するプログラム、その実行において適宜変化するパラメータ等を格納する。
続いて、撮像装置10の具体的な内部構成例について説明する。例えば、図4に示すように、撮像装置10は、レンズ鏡筒31、CCD37、画像信号DSP(Digital Signal Processor)38、HPF39、検波器40、システムコントローラ41、ズームモータ42、フォーカスモータ43、及びリセットセンサ44を備える。なお、CCD37は、例えば図3に示すCCD12に対応するものである。なお、HPF39、検波器40及びシステムコントローラ41は、例えば、図3に示す制御部19に含まれる構成としてもよい。
レンズ鏡筒31は、その前部から変倍系32、変倍系33、フォーカス系34a、フォーカス系34b(以下、フォーカス系34a及びフォーカス系34bをフォーカスレンズ34という。)、絞り兼シャッタ35が順に配置されており、外部からの入射光を通過させる。
CCD37は、レンズ鏡筒31からの入射光を光電変換により電気信号に変換し、光電変換後の電気信号を画像信号処理用DSP38に供給する。
画像信号処理用DSP38は、例えば、CCD37から供給される電気信号から輝度信号を取り出し、取り出した輝度信号をHPF39に供給する。
HPF39は、例えば、画像信号処理用DSP38から供給される輝度信号から高周波成分を検出し、検出した高周波成分を検波器40に供給する。
検波器40は、例えば、HPF39から供給される高周波成分に基づいて、AF処理のための評価値を算出し、算出した評価値をシステムコントローラ41に供給する。なお、検波器40は、バンドパスフィルタやHPF39により検出された高周波成分を画面単位で積算して評価値とするための積分回路を具備してもよい。
システムコントローラ41は、例えば、検波器40から供給される評価値に基づいて、ズームモータ42やフォーカスモータ43を駆動させることで、フォーカスレンズ34を移動させる。すなわち、システムコントローラ41は、AF処理を実行する。また、システムコントローラ41は、リセットセンサ44からの出力により、変倍系32、変倍系33、フォーカスレンズ34の基準位置を検出する。
また、システムコントローラ41においては、次の(i)〜(iV)に示す処理手順でフォーカスレンズ34の合焦位置を演算する。すなわち、システムコントローラ41は、(i)スキャンを行う範囲の決定、(ii)スキャン動作(フォーカスレンズを駆動させて、所定の位置で評価値を取得する)、(iii)評価値が得られるまで、スキャンの終了位置でフォーカスレンズを止めて待つ、(iv)得られた評価値からコントラストが最大となる位置を検出し、その位置を合焦位置とする。動体追従のためのAFでは、撮像装置10では、この(i)〜(iv)の処理を繰り返し行いながら、各スキャンAFで得られた合焦位置の変化に基づいて、被写体の移動速度を推定する。後に詳述するように、(ii)は第1の期間であり、(iii)及び(iv)は第2の期間である。撮像装置10は、(iii)の最中に得られる評価値を保存して、後に詳述する第2の被写体推定速度Vnewを算出し、被写体速度の予測に利用する。
続いて、動体追従のためのAF処理の一例について、図5に示すフローチャートを参照しながら説明する。例えば、モードダイヤル1により撮像装置10を動体追従のためのAFモードに設定することで処理を開始する。
ステップS1では、システムコントローラ41は、スキャンAF処理を実行する。このスキャンAF処理については、後に詳述する。
ステップS2では、システムコントローラ41は、被写体速度Vを予測する。具体的に、システムコントローラ41は、ステップS1のスキャンAF処理で得られたデータ、すなわち、AFとAFとの間にかかるインターバル(フォーカスレンズ34の駆動開始から次回の合焦位置演算のためのフォーカスレンズ34の駆動開始までの繰返し周期)における合焦位置の変化を利用して被写体速度Vを予測する。
ステップS3では、システムコントローラ41は、レリーズボタン2が深押されたか否かを判断する。レリーズボタン2が深押された場合には、ステップS4の処理に進み、レリーズボタン2が深押されていない場合には、ステップS1の処理に戻り、再度スキャンAF処理を実行する。
ステップS4では、システムコントローラ41は、フォーカスレンズ34を合焦位置へ移動させ、一連のAF処理を終了する。
続いて、図5のステップS1におけるスキャンAF処理の一例について、図6に示すフローチャートを参照しながら説明する。
ステップS10では、システムコントローラ41は、被写体の推定速度に基づいてスキャン範囲を決定する。例えば、システムコントローラ41は、最初のスキャン範囲決定時、すなわち、被写体速度Vが予測されていない場合には、予め決められた所定の範囲をスキャン範囲として決定する。また、システムコントローラ41は、それ以降のスキャン範囲決定の際には、合焦位置の変化に基づいて算出される被写体速度に基づいてスキャン範囲を決定する。
ステップS11では、システムコントローラ41は、フォーカスレンズ34を駆動させて所定位置での評価値を取得する。例えば、図7に示すように、システムコントローラ41は、フォーカスレンズ34を(a)乃至(e)の順に駆動させて(e)の位置でフォーカスレンズ34を停止させる(第1の期間)。このとき、検波器40では、各フォーカスレンズ34位置で評価値(第1の評価値)を取得する。
ステップS12では、システムコントローラ41は、上述した第1の評価値の到着待ちをしている間、すなわち、第1の期間経過後から第1の評価値に基づく合焦位置が演算されるまでに得られる評価値(第2の評価値)を取得する。この第2の評価値は、複数の第1の評価値が得られた複数の所定位置の少なくともいずれかで得られるものである。例えば、図7に示すように、システムコントローラ41は、(a)乃至(e)の各位置での第1の評価値がすべて得られるまで、スキャンの終了位置である(e)の位置でフォーカスレンズ34の駆動を停止させる。すなわち、システムコントローラ41は、フォーカスレンズ34が停止した位置において検波器40からの評価値の到着待ちをする。このとき、システムコントローラ41は、(f)、(g)の位置で得られる第2の評価値をRAM27に保存することにより、第2の評価値をステップS3での被写体速度の予測に利用する。
被写体が時々刻々と移動している場合には、例えば図8に示すように、評価値のデータ分布形状の凸部(山)は、時間の経過とともにFar側又はNear側へと移動する。このとき、(e)〜(g)と同一箇所で取得された評価値は、評価値の凸部の移動した方向によってコントラスト強度の増加又は減少の変化(△y)を示す。
ステップS13では、システムコントローラ41は、合焦位置を決定する。すなわち、システムコントローラ41は、ステップS12の処理で得られた評価値からコントラストの強度が最大となるフォーカスレンズ34位置を検出し、この位置を合焦位置として決定する。例えば、図8に示すように、システムコントローラ41は、第2の評価値とこの第2の評価位置の位置に対応する第1の評価値とに基づいて、フォーカスレンズ34の停止位置である(e)の位置での評価値の変化量(△y)を測定する。ここで、図9に示すように、フォーカス位置xに対する評価値yの描く凸部の形状をy=f(x)と表すと、評価値の凸部の頂点の移動量(△x)を下記の(6)で表わすことができる。
△x=x−f−1(y) (6)
また、図10に示すように、システムコントローラ41は、第1の評価値のデータ分布形状、すなわち、y=f(x)を実線で示す線形1次式に近似し、この線形1次式及び第1の評価値と第2の評価値との変化量に基づいて被写体の移動方向を推定するのが好ましい。この場合、後に詳述する被写体速度Vを推定する際の精度が高いものではなくなるものの、被写体の移動方向を△yの符号のみによって決定することができる。
このようにして、システムコントローラ41は、第1の評価値待ちをしている最中に得られる第2の評価値を被写体速度Vの予測に用いることで、予測合焦距離の推定精度を上げることができる。したがって、撮像装置10においては、動体追従を行うAFにおける被写体の移動速度の予測精度を向上させることが可能となる。
続いて、図6のステップS10におけるスキャン範囲の決定処理の一例について、図11に示すフローチャートを参照しながら詳細に説明する。
ステップS20では、システムコントローラ41は、被写体推定速度V、被写体推定速度Vnewを算出する。
new=(△x)/T (7)
(7)式において、Tは、上述した図6のステップS12における第2の期間、Vnewは、第2の期間における被写体の移動量に基づく被写体の推定速度である。
ステップS21では、システムコントローラ41は、V×Vnew<0を満たすかどうかを判定する。システムコントローラ41は、V×Vnew<0を満たす場合には、被写体速度推定に失敗している可能性が高いと判断して、ステップS22の処理に進む。また、V×Vnew<0を満たさない場合には、ステップS23の処理に進む。
ステップS22では、システムコントローラ41は、被写体推定速度の誤差を示すパラメータdのデフォルト値に係数10を掛ける。すなわち、システムコントローラ41は、被写体推定速度の信頼度が低いと判断してスキャン範囲を拡大する。例えば、図12に示すように、システムコントローラ41は、算出した被写体推定速度の信頼度が低いと判断した場合には、スキャン範囲の拡大をすることでサンプリング数を増やす。すなわち、図12に示す(h)から(m)の範囲を次回の合焦位置検出のためのスキャン範囲とする。
ステップS23では、システムコントローラ41は、|△x|<Thr1を満たしていかどうかを判定する。具体的には、被写体が動いていないと見なせるだけの評価値変分の絶対値の上限である第1の閾値(Thr1)を定めておき、|△x|<Thr1を満たしている場合には、被写体推定速度Vがより大きな値を示していても、スキャン範囲を削減してレスポンスを優先する。換言すると、被写体の移動量(△x)の変化量が所定の閾値以下である場合には、被写体のスキャン範囲を現在の大きさよりも縮小する。システムコントローラ41は、|△x|<Thr1を満たしている場合にはステップS24の処理に進み、満たしていない場合にはステップS25の処理に進む。
加えて、ステップS23では、システムコントローラ41は、|V−Vnew|<Thr2を満たしているかどうかを判定する。具体的には、システムコントローラ41は、被写体推定速度が正しいと判定するための第2の閾値(Thr2)を定めておき、VとVnewとが同じ傾向を示した場合、次回のスキャンAF範囲を狭く絞って機器のレスポンスを優先する。つまり、システムコントローラ41は、|V−Vnew|<Thr2を満たす場合にも、次回のスキャンAF範囲を狭く絞る。システムコントローラ41は、|V−Vnew|<Thr2を満たしている場合にはステップS24の処理に進み、満たしていない場合にはステップS25の処理に進む。
ステップS24では、システムコントローラ41は、パラメータdに係数0.5を掛ける。すなわち、システムコントローラ41は、信頼度が高いと判断して、合焦位置近傍だけに絞ってスキャンAFを実行する。例えば、図13に示すように、システムコントローラ41は、算出した被写体速度Vの信頼度が高いと判断した場合には、次回のスキャン範囲を削減することでサンプリング数を減らす。すなわち、図13に示す(h)から(k)の範囲を次回の合焦位置検出のためのスキャン範囲とする。
ステップS25では、システムコントローラ41は、算出した被写体推定速度に基づいて、スキャン範囲R=x±(V+d)Tを決定する。このように、システムコントローラ41は、パラメータdと被写体予測位置xとを用いて次回のスキャン範囲を決定することで、被写体を亡失してしまう確率を抑えることができる。すなわち、システムコントローラ41は、信頼性の高い被写体推定速度が得られたときは狭い範囲をスキャンしてレスポンス向上を図り、信頼性の低い被写体推定速度しか得られなかった場合には、広い範囲をスキャンすることで被写体を亡失してしまう確率を抑えることができる。
以上のように、撮像装置10によれば、距離情報のサンプリング周期を短くすることで被写体推定速度の更新頻度を上げられるため、スキャン範囲を限定することができ、機器のレスポンス速度を向上させることができる。すなわち、評価値の到着待ち時間は、往々にしてハードウェアの性能に起因するが、撮像装置10においては、露光から評価値取得までの待ち時間を解消することができる。したがって、撮像装置10においては、AFとAFとの間にかかるインターバルTを実質的に小さくすることができる。このインターバルTは、例えば図12や図13に示す例では、(a)から(h)までの期間である。また、撮像装置10によれば、単位時間あたりの距離情報のサンプリング回数が上がるため、被写体距離の推定精度を上げることができ、動体追従を行うAFの被写体速度の予測精度を向上させることができる。
なお、上述した例では、フォーカスレンズ34をサーチ終了位置で停止するものとして説明したが、これ以外の異なる位置でフォーカスレンズ34を停止させるようにしてもよい。また、フォーカスレンズ34を駆動させながら測距してフォーカスの移動量を考慮しながら被写体速度の推定に用いてもよい。
後者の例としては、例えば図14に示すように、フォーカスレンズ34をサーチ終了位置で停止させず、サーチ動作終了後すぐにフォーカス動作の始点側へと移動させて、次回のサーチに備えるようにしてもよい。図14に示す例では、システムコントローラ41は、フォーカスレンズ34の停止位置から次回のフォーカス動作開始位置へ戻る途中、すなわち、(f)の位置での評価値を保存する。すなわち、フォーカスレンズ34を(e)の位置に停めた状態ではなく移動させながら上述した第2の評価値を取得する。この場合、システムコントローラ41は、今回のフォーカス位置(f)で取得した評価値と、前回のサーチで取得した評価値のうち対応するフォーカス位置(c)での評価値との差分を計算し、差分値を△yとする。すなわち、第1の期間にフォーカス位置(c)で取得した評価値と、第2の期間にフォーカス位置(f)で取得した評価値とに基づいて差分値△yを計算する。
また、本実施形態では、f(x)を1次式に近似する例として説明したが、装置の性能次第では、高次の近似、例えば2次式、3次式に近似するのが被写体速度の推定精度を向上させる点で好ましい。
また、本実施の形態において説明した一連の処理はハードウェア、ソフトウェア、又は両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、又は各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは、記録媒体としてのハードディスクやROM(Read only memory)に予め機録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM、MOディスク、DVD、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN、インターネットといったネットワークを介してコンピュータに有線で転送してもよい。また、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。また、本実施形態に記載された各種の処理は、時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
撮像装置の前面側の構成例を示す斜視図である。 撮像装置の背面側の構成例を示す斜視図である。 撮像装置の内部構成例を示すブロック図である。 撮像装置の内部構成例を示すブロック図である。 動作追従AFの処理例を説明するためのフローチャートである。 動作追従AFの処理例を説明するためのフローチャートである。 フォーカスレンズの位置とその位置で得られる評価値との関係を示す図である。 フォーカスレンズの位置とその位置で得られる評価値との関係を示す図である。 評価値の頂点の移動量の変化を説明するための図である。 フォーカスレンズの位置とその位置で得られる評価値との関係を線形1次方程式として適用した例を示す図である。 動作追従AFの処理例を説明するためのフローチャートである。 フォーカスレンズの位置に対する評価値の関係からスキャン範囲を拡大する例を示す図である。 フォーカスレンズの位置に対する評価値の関係からスキャン範囲を縮小する例を示す図である。 フォーカスレンズを移動させながら評価値を取得する例を示す図である。 フォーカスレンズの位置とその位置で得られる評価値との関係を示す図である。 動作追従AFにおけるスキャン範囲の算出方法の一例を説明するための模式図である。
符号の説明
10 撮像装置、11 レンズ、12 撮像素子、13 アナログ信号処理部、14 A/D変換部、15 デジタル信号処理部、16 表示部、17 記録デバイス、18 顔認識部、19 制御部、20 モータドライバ、21 タイミングジェネレータ、22 フォーカスレンズ駆動モータ、23 ズームレンズ駆動モータ、24 操作部、25 FlashROM、26 プログラムROM、27 RAM、31 レンズ鏡筒、32 変倍系、33 変倍系、34 フォーカスレンズ、35 絞り兼シャッタ、37 CCD、38 画像信号処理用DSP、39 HPF、40 検波器、41 システムコントローラ、42 ズームモータ、43 フォーカスモータ、44 リセットセンサ

Claims (5)

  1. フォーカスレンズを所定範囲で駆動させて複数の所定位置での被写体像に基づく画像信号のコントラスト強度を示す評価値を検出し、該評価値から上記フォーカスレンズの合焦位置を演算する合焦動作部と、
    上記所定範囲で上記フォーカスレンズを駆動させる第1の期間に上記複数の所定位置で得られる第1の評価値と、上記第1の期間経過後から上記合焦動作部により上記第1の評価値に基づく合焦位置が演算されるまでの第2の期間に、上記複数の所定位置の少なくともいずれかで得られる第2の評価値とを取得する検波部と、
    上記第2の評価値と該第2の評価値の位置に対応する上記第1の評価値とに基づいて、該評価値の変化量を測定する変化量測定部と
    上記第1の評価値の分布と上記評価値の変化量とに基づいて、上記第2の期間における被写体の移動量を推定する移動量推定部と、
    上記フォーカスレンズの駆動開始から次回の合焦位置演算のための上記フォーカスレンズの駆動開始までの繰返し周期における上記合焦位置の変化に基づく第1の被写体推定速度Vと、上記被写体の移動量(△x)に基づく第2の被写体推定速度V new とを算出する被写体速度推定部とを備え、
    上記合焦動作部は、(1)式が成立しない場合に、予め設定された第1の閾値Thr1又は第2の閾値Thr2を適用した(2)式又は(3)式が成立する場合には、上記フォーカスレンズの駆動範囲を縮小し、
    (1)式が成立しない場合に、(2)式又は(3)式が成立しない場合には、上記フォーカスレンズの駆動範囲を変化させないようにする撮像装置。
    V×V new <0 (1)
    |△x|<Thr1 (2)
    |V−V new |<Thr2(3)
  2. 上記合焦動作部は、上記(1)式が成立する場合には、上記フォーカスレンズの駆動範囲を拡大させる請求項記載の撮像装置。
  3. 上記検波部は、上記第1の期間経過後に上記フォーカスレンズが停止した位置において、上記第2の評価値を取得する請求項1記載の撮像装置。
  4. 所定範囲でフォーカスレンズを駆動させる第1の期間に複数の所定位置での被写体像に基づく画像信号のコントラスト強度を示す第1の評価値と、上記第1の期間経過後から上記第1の評価値に基づく合焦位置が上記フォーカスレンズの合焦位置を演算する合焦動作部により演算されるまでの第2の期間に、上記複数の所定位置の少なくともいずれかで得られる第2の評価値とを取得する評価値取得工程と、
    上記第2の評価値と該第2の評価値の位置に対応する上記第1の評価値とに基づいて、該評価値の変化量を測定する変化量測定工程と、
    上記第1の評価値の分布と上記評価値の変化量とに基づいて、上記第2の期間における被写体の移動量を推定する移動量推定工程と、
    上記フォーカスレンズの駆動開始から次回の合焦位置演算のための上記フォーカスレンズの駆動開始までの繰返し周期における上記合焦位置の変化に基づく第1の被写体推定速度Vと、上記被写体の移動量(△x)に基づく第2の被写体推定速度V new とを算出する被写体速度推定工程と、
    上記合焦動作部が、(4)式が成立しない場合に、予め設定された第1の閾値Thr1又は第2の閾値Thr2を適用した(5)式又は(6)式が成立する場合には、上記フォーカスレンズの駆動範囲を縮小し、(4)式が成立しない場合に、(5)式又は(6)式が成立しない場合には、上記フォーカスレンズの駆動範囲を変化させないようにする駆動範囲決定工程と
    を有するフォーカス制御方法。
    V×V new <0 (4)
    |△x|<Thr1 (5)
    |V−V new |<Thr2(6)
  5. 所定範囲でフォーカスレンズを駆動させる第1の期間に複数の所定位置での被写体像に基づく画像信号のコントラスト強度を示す第1の評価値と、上記第1の期間経過後から上記第1の評価値に基づく合焦位置が上記フォーカスレンズの合焦位置を演算する合焦動作部により演算されるまでの第2の期間に、上記複数の所定位置の少なくともいずれかで得られる第2の評価値とを取得する評価値取得工程と、
    上記第2の評価値と該第2の評価値の位置に対応する上記第1の評価値とに基づいて、該評価値の変化量を測定する変化量測定工程と、
    上記第1の評価値の分布と上記評価値の変化量とに基づいて、上記第2の期間における被写体の移動量を推定する移動量推定工程と、
    上記フォーカスレンズの駆動開始から次回の合焦位置演算のための上記フォーカスレンズの駆動開始までの繰返し周期における上記合焦位置の変化に基づく第1の被写体推定速度Vと、上記被写体の移動量(△x)に基づく第2の被写体推定速度V new とを算出する被写体速度推定工程と、
    上記合焦動作部が、(7)式が成立しない場合に、予め設定された第1の閾値Thr1又は第2の閾値Thr2を適用した(8)式又は(9)式が成立する場合には、上記フォーカスレンズの駆動範囲を縮小し、(7)式が成立しない場合に、(8)式又は(9)式が成立しない場合には、上記フォーカスレンズの駆動範囲を変化させないようにする駆動範囲決定工程と
    を有するフォーカス制御方法をコンピュータに実行させるためのプログラム。
    V×V new <0 (7)
    |△x|<Thr1 (8)
    |V−V new |<Thr2(9)
JP2008167669A 2008-06-26 2008-06-26 撮像装置及びフォーカス制御方法並びにプログラム Expired - Fee Related JP4535173B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008167669A JP4535173B2 (ja) 2008-06-26 2008-06-26 撮像装置及びフォーカス制御方法並びにプログラム
US12/431,020 US8204370B2 (en) 2008-06-26 2009-04-28 Image pickup apparatus, focus control method and focus control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008167669A JP4535173B2 (ja) 2008-06-26 2008-06-26 撮像装置及びフォーカス制御方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2010008695A JP2010008695A (ja) 2010-01-14
JP4535173B2 true JP4535173B2 (ja) 2010-09-01

Family

ID=41446927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008167669A Expired - Fee Related JP4535173B2 (ja) 2008-06-26 2008-06-26 撮像装置及びフォーカス制御方法並びにプログラム

Country Status (2)

Country Link
US (1) US8204370B2 (ja)
JP (1) JP4535173B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5213813B2 (ja) * 2009-08-18 2013-06-19 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2011248159A (ja) 2010-05-28 2011-12-08 Sony Corp 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
JP5165099B2 (ja) * 2010-12-10 2013-03-21 キヤノン株式会社 撮像装置及びレンズユニット
KR101710632B1 (ko) 2011-03-18 2017-02-27 삼성전자주식회사 자동 초점 조절 장치
JP6012973B2 (ja) 2012-02-06 2016-10-25 オリンパス株式会社 焦点調節装置およびカメラシステムならびに焦点調節方法
JP6274779B2 (ja) * 2013-08-21 2018-02-07 キヤノン株式会社 焦点調節装置、撮像装置及び焦点調節方法
US9703175B2 (en) 2015-07-02 2017-07-11 Qualcomm Incorporated Systems and methods for autofocus trigger
JP6798072B2 (ja) * 2019-04-24 2020-12-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、移動体、制御方法、及びプログラム
CN113358056B (zh) * 2021-05-31 2023-06-27 深圳中科飞测科技股份有限公司 工件表面形貌的扫描方法、扫描系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308557A (ja) * 1992-04-28 1993-11-19 Olympus Optical Co Ltd 自動合焦装置
JP2002122773A (ja) * 2000-10-13 2002-04-26 Olympus Optical Co Ltd 合焦装置、電子カメラ及び合焦方法
JP2002207162A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd デジタルカメラ
JP2006011068A (ja) * 2004-06-25 2006-01-12 Canon Inc 光学機器
JP2006065355A (ja) * 2005-10-31 2006-03-09 Fuji Photo Film Co Ltd 自動焦点調節装置及び方法
JP2007206433A (ja) * 2006-02-02 2007-08-16 Canon Inc 焦点調整装置、撮像装置、及び制御方法
JP2007219390A (ja) * 2006-02-20 2007-08-30 Canon Inc 自動合焦装置及び撮像装置
JP2008281701A (ja) * 2007-05-09 2008-11-20 Canon Inc 焦点調節装置、撮像装置、および焦点調節方法
JP2009169124A (ja) * 2008-01-17 2009-07-30 Sanyo Electric Co Ltd 電子カメラ

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01140190A (ja) 1987-11-27 1989-06-01 Iwasaki Electric Co Ltd 多色elディスプレイ装置
JPH03229209A (ja) 1990-02-02 1991-10-11 Canon Inc 自動焦点調節装置
KR100275185B1 (ko) * 1993-06-17 2000-12-15 다카노 야스아키 영상 신호에 응답하여 촛점의 자동 정합을 행하는 오토 포커스 장치
JP2004077959A (ja) * 2002-08-21 2004-03-11 Nikon Corp 焦点調節方法およびカメラ
US7773146B2 (en) * 2004-06-15 2010-08-10 Canon Kabushiki Kaisha Focus control apparatus and optical apparatus
US7725018B2 (en) * 2006-08-01 2010-05-25 Canon Kabushiki Kaisha Focus control apparatus, image sensing apparatus and focus control method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308557A (ja) * 1992-04-28 1993-11-19 Olympus Optical Co Ltd 自動合焦装置
JP2002122773A (ja) * 2000-10-13 2002-04-26 Olympus Optical Co Ltd 合焦装置、電子カメラ及び合焦方法
JP2002207162A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd デジタルカメラ
JP2006011068A (ja) * 2004-06-25 2006-01-12 Canon Inc 光学機器
JP2006065355A (ja) * 2005-10-31 2006-03-09 Fuji Photo Film Co Ltd 自動焦点調節装置及び方法
JP2007206433A (ja) * 2006-02-02 2007-08-16 Canon Inc 焦点調整装置、撮像装置、及び制御方法
JP2007219390A (ja) * 2006-02-20 2007-08-30 Canon Inc 自動合焦装置及び撮像装置
JP2008281701A (ja) * 2007-05-09 2008-11-20 Canon Inc 焦点調節装置、撮像装置、および焦点調節方法
JP2009169124A (ja) * 2008-01-17 2009-07-30 Sanyo Electric Co Ltd 電子カメラ

Also Published As

Publication number Publication date
JP2010008695A (ja) 2010-01-14
US8204370B2 (en) 2012-06-19
US20090322932A1 (en) 2009-12-31

Similar Documents

Publication Publication Date Title
JP4535173B2 (ja) 撮像装置及びフォーカス制御方法並びにプログラム
JP4127297B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4360851B2 (ja) 画像入力装置
JP5445150B2 (ja) 自動合焦制御装置、電子撮像装置及びデジタルスチルカメラ
CN107439006B (zh) 使用激光自动聚焦减少散焦的方法和设备
JP5290691B2 (ja) オートフォーカス装置
US20130293766A1 (en) Imaging device and main photographic subject recognition method
JP6995561B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
US9277111B2 (en) Image capture apparatus and control method therefor
JP2009175478A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
EP1860871A1 (en) Image pickup apparatus and image pickup control method
JP2010262032A (ja) 自動焦点調整装置
JP2007334143A (ja) レンズ交換式デジタルカメラ
JP2007328213A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US9467615B2 (en) Imaging apparatus including dynamic image focus detection
JP2011257450A (ja) 撮像システム
JP2010066728A (ja) 撮像装置および撮像装置の制御方法
US20160105599A1 (en) Automatic focus searching using focal sweep technique
JP2009246700A (ja) 撮像装置
JP4681899B2 (ja) 撮像装置及び撮像方法
JP2014023054A (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2005091432A (ja) カメラ
JP5938268B2 (ja) 撮像装置およびその制御方法
JP2021085925A (ja) 撮像装置、制御方法及びコンピュータプログラム
JP2018146606A (ja) 画像処理装置、撮像装置および制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100525

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4535173

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees