JP5888890B2 - フォーカス制御装置 - Google Patents

フォーカス制御装置 Download PDF

Info

Publication number
JP5888890B2
JP5888890B2 JP2011160118A JP2011160118A JP5888890B2 JP 5888890 B2 JP5888890 B2 JP 5888890B2 JP 2011160118 A JP2011160118 A JP 2011160118A JP 2011160118 A JP2011160118 A JP 2011160118A JP 5888890 B2 JP5888890 B2 JP 5888890B2
Authority
JP
Japan
Prior art keywords
evaluation value
determined
focus
movement
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011160118A
Other languages
English (en)
Other versions
JP2013025108A (ja
Inventor
哲央 菊地
哲央 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011160118A priority Critical patent/JP5888890B2/ja
Priority to US13/552,813 priority patent/US8994871B2/en
Priority to CN201210253518.7A priority patent/CN102890329B/zh
Publication of JP2013025108A publication Critical patent/JP2013025108A/ja
Application granted granted Critical
Publication of JP5888890B2 publication Critical patent/JP5888890B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、撮像装置のためのフォーカス制御装置に関する。
オートフォーカス(以下、AFという)制御方式の一つとして、コントラスト方式が知られている。コントラスト方式は、フォーカスレンズをその光軸方向に沿って移動させながら被写体のコントラストを評価し、被写体のコントラストが極大となるレンズ位置を合焦位置として、この合焦位置にフォーカスレンズを移動させる方式である。コントラスト方式においては、通常、撮像部に設けられた画素部を走査して得られる信号から算出される評価値(AF評価値)を評価することによって、被写体のコントラストを評価する。
このようなコントラスト方式に関する技術として、例えば特許文献1や特許文献2で提案されている技術がある。
特許文献1は、撮像部に設けられた画素部を垂直方向に走査して得られる信号から算出された評価値と画素部を水平方向に走査して得られる評価値との両方を使用してフォーカスレンズの移動を制御することを提案している。さらに、特許文献1は、大きいほう、即ち高周波成分が多いほうの評価値に重みを付けてフォーカスレンズの移動を制御することも提案している。
また、特許文献2は、画素部を垂直方向に走査して得られる信号から算出された評価値と画素部を水平方向に走査して得られる評価値の両方を使用してフォーカスレンズの移動を制御する撮像装置において、画素部を走査して得られる信号から画像の動きベクトルを算出し、この動きベクトルに基づいて評価値の重み付けを行った上で評価値を加算し、この加算した評価値を用いてフォーカスレンズの移動を制御することを提案している。
特開2007−57763号公報 特開2009−21929号公報
ここで、特許文献1や特許文献2の技術は、フォーカスレンズの移動中に垂直方向の評価値の変化と水平方向の評価値の変化とがともに安定していることを前提としている。言い換えれば、特許文献1及び特許文献2は、フォーカスレンズの移動中に被写体ブレ等が発生して評価値の変化が不安定となった場合についての対策については特に言及していない。
例えば、人は、てきぱきと歩いている時には頭部の上下動が大きくなり易い。このような人物を被写体として撮影する場合において、特許文献1の技術や特許文献2の技術を用いてAF処理をした場合には、水平方向の評価値に重みが付けられる。しかしながら、このような場合において実際に評価値として安定しているのは垂直方向の評価値である。例えば、図16は、てきぱきと歩いている場合等の頭部の上下動が大きい人物を撮影した場合に得られる画像の例を示す図である。図16に示すような画像が得られる場合における評価値の変化は、図17に示すようになる。具体的には、図17に示すように、n+1フレーム目において、水平方向の評価値が大きく増加する。これは、図16に示すように、AFエリアの水平方向で見た場合に、n+1フレームの画像が、他のフレームの画像に比べて顔と背景との境界部であるエッジ部をより多く含んでいるためである。
図17に示すような評価値が得られた場合、特許文献1や特許文献2の技術では、水平方向の評価値に従ってフォーカスレンズの移動が行われる。このため、n+1フレーム目が本来のコントラストの極大でなかったとしても、n+1フレーム目がコントラストの極大であると誤判断されてしまうおそれがある。
このようなコントラストの極大の誤判断を起こさないようにするためには、判断結果を確定するための条件を厳しくすることが考えられる。しかしながら、この場合には、判断に時間がかかり易くなる。一般に、コントラストの極大を検出するためには、実際にコントラストが極大となる合焦位置よりも余分にフォーカスレンズを駆動する必要がある。このため、合焦方向判断を確定するまでに時間がかかると、フォーカスレンズの余分な駆動量も大きくなる。
フォーカスレンズの余分な駆動量が多くなると、AF処理が完了するまでにかかる時間が長くなってしまう。特に、AF処理中にスルー画表示を行っていた場合には、フォーカスレンズが余分に駆動されてしまう分だけスルー画表示にも影響を与えてしまう。このため、制御アルゴリズムとしてはできるかぎり、フォーカスレンズの余分な駆動量を少なくすることが望ましい。
本発明は、前記の課題を解決するためになされたものであり、その目的とするところは、撮像装置や被写体が不安定な条件下であっても、コントラスト方式のオートフォーカス動作を高速に行うことが可能なフォーカス制御装置を提供することを目的とする。
前記の目的を達成するために、本発明の一態様のフォーカス制御装置は、光軸方向に移動自在なフォーカスレンズを有して被写体の光学像を生成する光学系と、複数の画素部を有して前記光学像を撮像する撮像部と、を有する撮像装置のためのフォーカス制御装置であって、前記画素部を第1の方向に走査することによって前記画素部から出力された第1の信号に基づいて前記被写体のコントラスト状態を示す第1の評価値を得るとともに、前記画素部を前記第1の方向とは異なる第2の方向に走査することによって前記画素部から出力された第2の信号に基づいて前記被写体のコントラスト状態を示す第2の評価値を得る評価値生成部と、前記フォーカスレンズを移動させている状態で前記第1の評価値と前記第2の評価値とのそれぞれの変化に基づいて前記フォーカスレンズを合焦させるために必要な前記フォーカスレンズの移動方向を判断し、前記第1の評価値に基づいて判断した第1の移動方向と前記第2の評価値に基づいて判断した第2の移動方向とが判断可能でありかつ同一方向の場合に、該同一方向であると判断した移動方向に前記フォーカスレンズを移動させるようにオートフォーカス動作を行う制御部と、前記撮像装置の動き量を検出するか、又は、前記画素部からの出力信号に基づいて動きベクトル量を検出する動き検出部とを具備し、前記制御部は、前記第1の評価値の変化量が第1の閾値を超えたことを判断することによって前記フォーカスレンズの移動方向が前記第1の移動方向であることを判断するとともに、前記第2の評価値の変化量が第2の閾値を超えたことを判断することによって前記フォーカスレンズの移動方向が前記第2の移動方向であることを判断し、前記動き量又は動きベクトル量が所定値よりも大きい場合は、前記第1の閾値と前記第2の閾値を、それぞれより大きく設定して前記判断を行い、前記第1の移動方向と前記第2の移動方向の一方が判断不能の場合であっても、前記第1の移動方向と前記第2の移動方向とのうちで判断が可能であるほうの移動方向に前記フォーカスレンズを移動させるようにオートフォーカス動作を行うことを特徴とする。
前記の目的を達成するために、本発明の一態様のフォーカス制御装置は、光軸方向に移動自在なフォーカスレンズを有して被写体の光学像を生成する光学系と、複数の画素部を有して前記光学像を撮像する撮像部と、を有する撮像装置のためのフォーカス制御装置であって、前記画素部を第1の方向に走査することによって前記画素部から出力された第1の信号に基づいて前記被写体のコントラスト状態を示す第1の評価値を得るとともに、前記画素部を前記第1の方向とは異なる第2の方向に走査することによって前記画素部から出力された第2の信号に基づいて前記被写体のコントラスト状態を示す第2の評価値を得る評価値生成部と、前記フォーカスレンズを光軸方向に所定の振幅で微小振動させながら前記振幅の中心位置を移動している状態で前記第1の評価値と前記第2の評価値とのそれぞれの変化に基づいて前記フォーカスレンズが合焦に近づく移動方向を判断し、前記第1の評価値に基づいて判断した第1の移動方向と前記第2の評価値に基づいて判断した第2の移動方向とに基づいて移動方向を決定して前記フォーカスレンズを移動させるようにオートフォーカス動作を行う制御部と、前記撮像装置の動き量を検出するか、又は、前記画素部からの出力信号に基づいて動きベクトル量を検出する動き検出部とを具備し、前記制御部は、前記第1の評価値の変化量が第1の閾値を超えたことを判断することによって前記フォーカスレンズの移動方向が前記第1の移動方向であることを判断するとともに、前記第2の評価値の変化量が第2の閾値を超えたことを判断することによって前記フォーカスレンズの移動方向が前記第2の移動方向であることを判断し、前記動き量又は動きベクトル量が所定値よりも小さい場合に、前記第1の移動方向と前記第2の移動方向の一方が判断不能の場合であっても、前記第1の移動方向と前記第2の移動方向とのうちで判断が可能であるほうの移動方向に前記フォーカスレンズを移動させ、前記動き量又は動きベクトル量が所定値よりも大きい場合に、前記第1の移動方向と第2の移動方向とが判断可能でありかつ同一方向の場合に、該同一方向であると判断した移動方向に前記フォーカスレンズを移動させるようにオートフォーカス動作を行うことを特徴とする。
本発明によれば、撮像装置や被写体が不安定な条件下であっても、コントラスト方式のオートフォーカス動作を高速に行うことが可能なフォーカス制御装置を提供することができる。
本発明の一実施形態に係るフォーカス制御装置を有する撮像装置の構成図である。 本発明の一実施形態に係るフォーカス制御装置のAF処理の概要を示す図である。 本発明の一実施形態に係るAF処理についてのフローチャートである。 スキャン動作時の合焦方向判断処理の一例のフローチャートである。 S202の合焦方向判断の例を示す図である。 S204の合焦方向判断の例を示す図である。 S205の合焦方向判断の例を示す図である。 S206の合焦方向判断の例を示す図である。 合焦位置が存在する方向とウォブリング方向とが同方向である場合の評価値の変化について示す図である。 合焦位置が存在する方向とウォブリング方向とが逆方向である場合の評価値の変化について示す図である。 判断テーブルの例を示す図である。 ウォブリング動作時の合焦方向判断処理の一例のフローチャートである。 検出回路の出力波形の一例を示す図である。 テンプレートマッチングにより主要被写体の移動を検出して動きベクトルを求める処理を示す図である。 動きベクトル出力の時間変化の例及び閾値と被写体ブレ発生中と判断される範囲を示す図である。 頭部の上下動が大きい人物を撮影した場合に得られる画像の例を示す図である。 頭部の上下動が大きい人物に対する評価値の変化の例を示す図である。
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係るフォーカス制御装置を有する撮像装置の構成図である。図1に示す撮像装置は、交換レンズ100とカメラ本体200と、を有している。本撮像装置において、交換レンズ100は、カメラ本体200に設けられた不図示のレンズマウントを介してカメラ本体200に着脱自在になされている。
交換レンズ100は、撮像レンズ101と、モータドライバ102と、レンズ制御部103と、記憶部104と、を有している。ここで、実際の交換レンズ100は、絞り制御機構やズーム機構等をさらに有しているが、図1では図示を省略している。
撮像レンズ101は、フォーカスレンズを含む光学系であり、図示しない被写体の光学像を、カメラ本体200の撮像素子201上に生成する。モータドライバ102は、モータ(フォーカスモータ)等の駆動機構を有しており、レンズ制御部103からの制御信号に従ってフォーカスレンズをその光軸方向(図示A方向)に移動させる。
レンズ制御部103は、マイクロコンピュータと、交換レンズ100内の各部を制御する制御回路とを一体化したLSIである。レンズ制御部103は、カメラ本体200の本体制御部203から出力された制御信号に基づき、モータドライバ102に制御信号を送る。また、レンズ制御部103は、本体制御部203から送られた同期信号と、この同期信号に対する位相を示す情報とに基づき、フォーカスレンズのAF処理を行う。AF処理の詳細については後述する。
記憶部104は、交換レンズ100毎に固有の特性情報を記憶している。レンズ制御部103は、本体制御部203の要求に応じて、記憶部104に記憶されている特性情報を本体制御部203に送信する。
ここで、本実施形態における交換レンズ100は、ウォブリング動作を行うことが可能な交換レンズであることが望ましい。ウォブリング動作とは、フォーカスレンズをその光軸方向に沿って振動的に移動させながら、徐々に合焦位置まで移動させる動作のことを言うものである。一般に、ウォブリング動作の可否は、交換レンズ100内のフォーカスモータの性能やレンズ群特性によって決定される。通常、ウォブリング動作においては、15Hz〜30Hz程度の周波数(ウォブリング周波数と言う)でフォーカスレンズをその光軸方向に沿って振動させる必要がある。したがって、交換レンズ100は、15Hz〜30Hz程度でのフォーカスレンズの振動を可能とするフォーカスモータを有しており、そのような比較的高速の振動を可能とする程度に軽量なフォーカスレンズを有していることが望ましい。
また、上述の例において、レンズ制御部103は、マイクロコンピュータと、交換レンズ100内の各部を制御する制御回路とを一体化したLSIであるとしている。しかしながら、マイクロコンピュータと制御回路とは必ずしも一体化する必要はない。これらは、複数のLSIで構成されても良い。
カメラ本体200は、撮像素子201と、表示部202と、本体制御部203と、マウント接点204と、ジャイロセンサ205と、検出回路206と、を有している。ここで、実際のカメラ本体200は、使用者が撮影動作を指示するためのレリーズボタンや、撮影動作によって得られた画像データを記憶する記憶部等をさらに有しているが、図1では図示を省略している。
撮像素子201は、画素部を有している。画素部は、交換レンズ100を介して入射する光学像を電気信号(画像信号)に変換するための光電変換素子が2次元状に配置されて構成されている。撮像素子201は、CCDイメージセンサやMOSイメージセンサ等として構成されている。
表示部202は、例えばカメラ本体200の背面に設けられている。表示部202は、撮像素子201から出力された画像信号に基づいて本体制御部203で生成された表示用の画像データに基づく画像を表示する。
本体制御部203は、CPUと、カメラ本体200内の各部を制御する制御回路と、各種の信号処理を行う信号処理回路とを一体化したLSIである。本体制御部203は、カメラ本体200における各部を制御して各種動作シーケンスを実行する。また、本体制御部203は、制御部としての機能を有し、レンズマウントを介してレンズ制御部103に対して制御信号、及び撮像素子201の露光動作とフォーカスレンズの駆動動作との同期を取るための同期信号を出力することも行う。本体制御部203は、撮像素子201の動作を制御し、撮像素子201から出力される画像信号をデジタル信号である画像データに変換することも行う。本体制御部203は、画像データに対してホワイトバランス制御等の各種信号処理を施すことも行う。本体制御部203は、各種信号処理により得られた画像データを表示部202に出力して表示部202における画像の表示を制御することも行う。さらに、本体制御部203は、評価値生成部としての機能も有し、撮像素子201から出力された画像データから、AF処理用の評価値を生成することも行う。評価値は、画像データに対してハイパスフィルタ(HPF)処理を施すことによって画像データにおける高周波成分を抽出し、撮影画面中で予め設定されたAFエリア内で抽出した高周波成分を積算することによって生成される。また、本体制御部203は、動きベクトル検出部としての機能も有し、複数フレームにおける画像データの変化から動きベクトルを検出する。
前述の例において、本体制御部203は、マイクロコンピュータと、カメラ本体200内の各部を制御する制御回路と、各種信号処理を行う信号処理回路とを一体化したLSIであるとしている。しかしながら、これらを複数のLSIで構成するようにしても良い。
マウント接点204は、レンズマウント内に設けられており、レンズ制御部103と本体制御部203とを通信可能に接続するための接点である。
動き検出部の一例として機能するジャイロセンサ205は、2軸方向の角速度に応じた信号を発生する。以下の説明においては、カメラ本体200を横向きで構えた場合に、地表に対して水平となる方向をX軸、地表に対して垂直となる方向をY軸とする。ジャイロセンサ205は、このように定義されたX軸、Y軸にそれぞれ沿った方向のカメラ本体200の移動に伴う角速度を検出するように構成されている。検出回路206は、ジャイロセンサ205の出力信号に対してフィルタ処理(微分処理)等を行い、処理後の出力信号を本体制御部203に出力する。本体制御部203は、検出回路206の出力に基づいて、カメラ本体200の動き量を検出し、この動き量によってカメラ本体200がパン移動やチルト移動していることを検出する。ここでは、パン移動が、地表に対して水平な方向に沿ったカメラ本体200の移動を示す。また、チルト移動が、地表に対して垂直な方向に沿ったカメラ本体200の移動を示す。なお、本実施形態による「パン移動」及び「チルト移動」は、使用者が自発的にカメラ本体200を移動させることによって発生するものと、使用者が意図しない例えば手ブレによって発生するものと、の両方を含むものである。
以下、本実施形態に係るフォーカス制御装置の動作について説明する。図2は、本実施形態に係るフォーカス制御装置のAF処理の概要を示す図である。
図2に示すように、本実施形態におけるAF処理においては、撮像装置の状態がウォブリング動作状態、スキャン動作状態、待機状態の3種類の何れかに遷移する。
まず、ウォブリング動作状態では、フォーカスレンズの位置を合焦位置に移動させるためのウォブリング動作を行う。このとき、本体制御部203は、ウォブリング動作を行うようにレンズ制御部103に指示を送る。ウォブリング動作の細かい技術は、例えば特開2010−9009号公報において開示された公知の技術を用いることができる。したがって、ここでは詳しい説明については省略する。ウォブリング動作の実行後、本体制御部203は、微小振動させたときの評価値の変化から、フォーカスレンズの移動方向を判断する。具体的には、本体制御部203は、評価値が増加する側のフォーカスレンズの移動方向を判断する。この合焦方向判断の詳細については後述する。本体制御部203は、判断した移動方向に従って、フォーカスレンズの位置を合焦位置まで徐々に移動させるようにレンズ制御部103に指示を送る。
ウォブリング動作状態において、ウォブリング動作のみでは被写体が追従しきれないほど合焦位置がずれている場合には、撮像装置の状態をスキャン動作状態に遷移させる。このとき、本体制御部203は、山登りAF用のスキャン動作を行うようにレンズ制御部103に指示を送る。具体的には、本体制御部203は、合焦位置に向けてフォーカスレンズを微小量ずつ移動させるようにレンズ制御部103に指示を送る。この場合においても、本体制御部203は、フォーカスレンズの移動方向を判断する。ここで、ウォブリング動作可能な交換レンズ100が装着されている場合には、AF評価値の極大値を越えるまでのフォーカスレンズのスキャン動作は行わず、合焦位置への最後のフォーカスレンズの合わせ込みをウォブリング動作で行う。一方、ウォブリング動作不能な交換レンズ100が装着されている場合には、合焦位置への最後のフォーカスレンズの合わせ込みもスキャン動作で行う。スキャン動作状態における山登りAFの完了後、撮像装置の状態を待機状態に遷移させる。
フォーカスレンズが合焦したときには、撮像装置の状態が待機状態となる。待機状態において、本体制御部203は、待機状態への遷移前の評価値と現在の評価値とを比較し、両者の差が一定以上であるか否かを判断する。待機状態への遷移前の評価値と現在の評価値との差が一定以上となった場合は、コントラスト状態が変化したことを示す。この場合には、待機状態を終了させる。また、コントラスト状態が変化していなくとも、カメラの向きが大きく変化した場合、即ちパン移動又はチルト移動が発生した場合も合焦状態が悪化している可能性が高い。したがって、この場合も待機状態を終了させる。待機状態終了時にウォブリング動作可能な交換レンズ100が装着されていた場合には、撮像装置の状態をウォブリング動作状態に遷移させる。一方、待機状態終了時にウォブリング動作不能な交換レンズ100が装着されていた場合には、撮像装置の状態をスキャン動作状態に遷移させる。
動画記録中等においては、図2に示す3つの状態を使い分けながらAF処理を継続する。これにより、被写体にピントを合わせ続けることが可能である。
次に、本実施形態に係るAF処理の例について図3を参照して説明する。図3に示す例では、まず、本体制御部203は、ウォブリング動作を開始する(S101)。このために、本体制御部203は、フォーカスレンズを微小振動させるようにレンズ制御部103に指示を送る。ウォブリング動作を開始した後、本体制御部203は、ウォブリング動作中の評価値の変化に従って合焦方向判断処理を行う(S102)。ウォブリング動作中の合焦方向判断処理の詳細については後述する。
合焦方向判断処理の後、本体制御部203は、スキャン動作が必要であるか否かを判断する(S103)。この判断において、例えば、使用者が撮像装置のパン動作やチルト動作を行う等して被写体の合焦状態が大きく変化した時にスキャン動作が必要であると判断する。
S103において、スキャン動作が必要であると判断した場合に、本体制御部203は、スキャン動作を開始する(S104)。スキャン動作を開始した後、本体制御部203は、スキャン動作中の評価値の変化に従って合焦方向判断処理を行う(S105)。スキャン動作中の合焦方向判断処理については後述する。
合焦方向判断処理の後、本体制御部203は、フォーカスレンズが合焦状態になったか否かを判断する(S106)。なお、S106の「合焦状態」は、前述したスキャン状態における、合焦位置への最後のフォーカスレンズの合わせ込みを行うことができる状態をいう。したがって、S106においては、例えば評価値が、ウォブリング動作を開始することが可能な所定値だけ増加したか否かを判断する。S106において、フォーカスレンズが合焦状態になっていないと判断した場合、本体制御部203は、処理をS104に戻してスキャン動作を継続する。また、S106において、フォーカスレンズが合焦状態になったと判断した場合、本体制御部203は、処理をS101に戻してフォーカスレンズの合わせ込みのためのウォブリング動作を行う。
S103において、スキャン動作が必要でないと判断した場合、本体制御部203は、ウォブリング動作を継続しつつ、フォーカスレンズが合焦状態になったか否かを判断する(S107)。なお、S107の「合焦状態」は、フォーカスレンズが合焦位置に達した状態をいう。S107において、フォーカスレンズが合焦状態になっていないと判断した場合、本体制御部203は、処理をS101に戻してウォブリング動作を継続する。また、S107において、フォーカスレンズが合焦状態になったと判断した場合、本体制御部203は、ウォブリング動作を終了して待機状態となる(S108)。
待機状態となった後、本体制御部203は、評価値が変化したか否かを判断する(S109)。S109において、評価値に変化がないと判断した場合に、本体制御部203は、処理をS108に戻して待機状態を継続する。また、S109において、評価値に変化があると判断した場合に、本体制御部203は、処理をS101に戻す。
次に、合焦方向判断処理の詳細について説明する。
まず、スキャン動作時の合焦方向判断処理について説明する。スキャン動作時においては、フォーカスレンズの移動方向(以下、スキャン方向という)を、基準の評価値AFval_base_xと合焦方向判断を行うフレームnVDにおける評価値AFval_x(n)との大小関係にて判断する。基準の評価値AFval_base_xは、例えばスキャン動作の開始時の評価値とする。また、xは、h、vの何れかである。「h」は、水平方向の評価値、即ち撮像素子201の画素部を水平方向に走査して得られた画像信号に従って算出された評価値(第1の評価値)であることを示している。「v」は、垂直方向の評価値、即ち撮像素子201の画素部を垂直方向に走査して得られた画像信号に従って算出された評価値(第2の評価値)であることを示している。
合焦方向判断処理の具体的な処理としては、フレームnVDの評価値AFval_x(n)が、以下の2つの条件の何れを満足するかを判断する。
(条件1) 基準の評価値AFval_base_xに対するフレームnVDの評価値AFval_x(n)の増加量が閾値以上である場合、即ち、下記(式1)を満足する場合、スキャン方向の判断が可能であるとする。
AFval_x(n) ≧ AFval_base_x +閾値 (式1)
(条件1)を満足する場合には、現在のスキャン方向と同方向に合焦位置が存在していると考えることができる。したがって、(条件1)を満足すると判断された場合には、それ以後のフレームにおけるスキャン方向を、それまでのスキャン方向と同方向と判断する。
(条件2) 基準の評価値AFval_base_xに対する現在フレームnVDの評価値AFval_x(n)の減少量が閾値以下である場合、即ち下記(式2)を満足する場合、スキャン方向の判断が可能であるとする。
AFval_x(n) ≦ AFval_base_x −閾値 (式2)
(条件2)を満足する場合には、現在のスキャン方向と逆方向に合焦位置が存在していると考えることができる。したがって、(条件2)を満足すると判断された場合、それ以後のフレームにおけるスキャン方向を、それまでのスキャン方向と逆方向と判断する。
ここで、(条件1)と(条件2)の何れの条件も満足しない場合、スキャン方向の判断が不能であるとする。
また、各条件を満たすか否かを判断するための閾値は、下記(式3)を基準の閾値として算出される。
閾値=AFval_base_x×Coeff (式3)
なお、(式3)の係数Coeffは、例えば0.1から0.2とする。
図4は、スキャン動作時の合焦方向判断処理の一例を示すフローチャートである。図4において、本体制御部203は、評価値の変化が不安定な状態であるか否かを判断する(S201)。ここで、S201における評価値の変化が不安定な状態とは、パン移動及びチルト移動等のカメラ本体200の動き、並びに被写体ブレといった評価値の変化を不安定にする要因が存在している状態のことをいう。このような状態を判断するため、S201においては、例えば検出回路206によって検出されるカメラ本体200の動き量又は本体制御部203が算出する動きベクトル量が、所定の閾値を超えたか否かを判断する。閾値を超えた場合には不安定状態であると判断する。S201の判断の詳細については後述する。
S201において、評価値の変化が不安定な状態にないと判断した場合に、本体制御部203は、閾値を基準の値よりも小さく(例えば基準の閾値の1/2倍)して、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断とを行う。そして、本体制御部203は、水平方向の評価値に基づく合焦方向判断により判断されたスキャン方向と垂直方向の評価値に基づく合焦方向判断により判断されたスキャン方向とが同一方向であるか否かを判断する(S202)。
図5は、S202の合焦方向判断の例を示す図である。ここで、図5は、合焦方向判断の開始位置P0からフォーカスレンズの位置を、被写体距離が近距離となる方向に徐々に移動させたときの例を示している。以下、被写体距離が近距離となるフォーカスレンズの移動方向を近距離方向という。逆に、被写体距離が遠距離となるフォーカスレンズの移動方向を遠距離方向という。
図5の例においては、本体制御部203は、レンズ位置P0での水平方向の評価値及び垂直方向の評価値を、それぞれ、基準の評価値AFval_base_h、AFval_base_vとする。そして、本体制御部203は、撮像素子201の撮像フレームに同期するように、フォーカスレンズの位置を、レンズ位置P1、P2、P3、…、と移動させつつ、評価値を取得する。
評価値を取得する毎に、本体制御部203は、評価値AFval_h(n)及びAFval_v(n)が、(条件1)及び(条件2)の何れかを満足しているかを判断する。図5の例では、レンズ位置P1における水平方向の評価値AFval_h(1)が、(基準の評価値AFval_base_h +閾値/2)を超え、レンズ位置P1における垂直方向の評価値AFval_v(1)も、(基準の評価値AFval_base_v +閾値/2)を超える。この場合、本体制御部203は、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断の両方で(条件1)を満足していると判断する。また、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断の両方で(条件1)を満足しているので、本体制御部203は、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断とでそれぞれ判断されたスキャン方向が同一方向、即ちそれまでのスキャン方向と同一方向であると判断する。
S202において、スキャン方向が同一であると判断した場合、本体制御部203は、合焦方向判断を最終的に確定する(S203)。この場合、水平方向の評価値に基づく合焦方向判断の結果と垂直方向の評価値に基づく合焦方向判断の結果の何れを最終的なスキャン方向として採用しても良い。合焦方向判断を最終的に確定した後、本体制御部203は、処理を図3のS106に移行させる。一旦、合焦方向判断が確定した後は、それ以後の合焦方向判断処理を省略することができる。
S202において、スキャン方向が同一でないと判断した場合、本体制御部203は、閾値を基準の値として、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断とを行う。そして、本体制御部203は、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断の少なくとも何れかでスキャン方向が判断できたか否かを判断する(S204)。
図6は、S204の合焦方向判断の例を示す図である。S204においても、本体制御部203は、評価値AFval_h(n)及びAFval_v(n)が、(条件1)及び(条件2)の何れかを満足しているかを判断する。図6の例では、レンズ位置P3における垂直方向の評価値AFval_v(3)が、(基準の評価値AFval_base_v +閾値)を超える。この場合、本体制御部203は、垂直方向の評価値に基づく合焦方向判断で(条件1)を満足している、即ちスキャン方向がそれまでのスキャン方向と同一方向であると判断する。
S204において、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断の少なくとも何れかでスキャン方向を判断できたと判断した場合、本体制御部203は、処理をS203に移して、合焦方向判断を最終的に確定する。この場合、最終的なスキャン方向は、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断とのうちでスキャン方向の判断が可能であったほうの結果を採用する。両方でスキャン方向が判断できた場合には、例えば垂直方向の評価値に基づく合焦方向判断により判断されたスキャン方向を優先する。合焦方向判断を最終的に確定した後、本体制御部203は、処理を図3のS106に移行させる。
S204において、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断の何れでもフォーカス方向を判断できなかったと判断した場合、本体制御部203は、処理をS201に戻す。この場合には、次のフレームにおいて、S201からの処理が実行される。
S201において、評価値の変化が不安定な状態にあると判断した場合に、本体制御部203は、閾値を基準の値として、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断とを行う。そして、本体制御部203は、水平方向の評価値に基づく合焦方向判断により得られたスキャン方向と垂直方向の評価値に基づく合焦方向判断により得られたスキャン方向とが同一方向であるか否かを判断する(S205)。
図7は、S205の合焦方向判断の例を示す図である。S205においても、本体制御部203は、評価値AFval_h(n)及びAFval_v(n)が、(条件1)及び(条件2)の何れかを満足しているかを判断する。図7の例では、レンズ位置P3における水平方向の評価値AFval_h(3)が、(基準の評価値AFval_base_h +閾値)を超え、レンズ位置P3における垂直方向の評価値AFval_v(3)も、(基準の評価値AFval_base_v +閾値)を超える。この場合、本体制御部203は、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断の両方で(条件1)を満足しているので、本体制御部203は、スキャン方向が同一方向である、即ちスキャン方向がそれまでのスキャン方向と同一方向であると判断する。
S205において、スキャン方向が同一であると判断した場合、本体制御部203は、処理をS203に移して合焦方向判断を最終的に確定する。この場合、水平方向の評価値に基づく合焦方向判断の結果と垂直方向の評価値に基づく合焦方向判断の結果の何れを最終的なスキャン方向として採用しても良い。合焦方向判断を最終的に確定した後、本体制御部203は、処理を図3のS106に移行させる。
S205において、スキャン方向が同一でないと判断した場合、本体制御部203は、閾値を基準の値よりも大きく(例えば基準の閾値の2倍)して、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断とを行う。そして、本体制御部203は、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断の少なくとも何れかでスキャン方向を判断できたか否かを判断する(S206)。
図8は、S206の合焦方向判断の例を示す図である。例えば、てきぱきと歩いている人物の頭部に合焦させようとAF処理をした場合、図8に示すように水平方向の評価値が増減を繰り返す。このような場合には、垂直方向の評価値のみを用いた合焦方向判断によって、最終的な合焦方向判断を確定する。図8の例では、レンズ位置P4における垂直方向の評価値AFval_v(4)が、(基準の評価値AFval_base_v +閾値×2)を超える。この場合、本体制御部203は、垂直方向の評価値に基づく合焦方向判断で(条件1)を満足している、即ちスキャン方向がそれまでのスキャン方向と同一方向であると判断する。
S206において、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断の少なくとも何れかでスキャン方向を判断できたと判断した場合、本体制御部203は、処理をS203に移して、合焦方向判断を最終的に確定する。この場合、最終的なスキャン方向は、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断とのうちでスキャン方向の判断が可能であったほうの結果を採用する。両方でスキャン方向が判断できた場合には、例えば垂直方向の評価値に基づく合焦方向判断により判断されたスキャン方向を優先する。合焦方向判断を最終的に確定した後、本体制御部203は、処理を図3のS106に移行させる。
また、S206において、水平方向の評価値に基づく合焦方向判断と垂直方向の評価値に基づく合焦方向判断の何れも合焦方向判断を確定できなかったと判断した場合、本体制御部203は、処理をS201に戻す。この場合には、次のフレームにおいて、S201からの処理が実行される。
以上説明したように、スキャン動作時の合焦方向判断処理においては、まず、水平方向の評価値に基づく合焦方向判断の結果と垂直方向の評価値に基づく合焦方向判断の結果とが同一方向であるかを判断するようにしている。二方向の評価値に基づく合焦方向判断の結果を考慮して最終的に合焦方向判断を確定することで、高い信頼性の合焦方向判断を行うことができる。また、この際には、各方向の評価値に基づく合焦方向判断においてスキャン方向を判断するための閾値を基準の閾値よりも小さくしても、合焦方向判断の信頼性を損なうことなく、スキャン方向の誤判断や偽合焦が発生する可能性を抑制することが可能である。そして、閾値を小さくすることにより、スキャン方向を早期に判断することが可能となる。このため、例えばスキャン方向が逆方向である等の判断も早期に確定され、より少ない期間でスキャン方向を変えることが可能である。これにより、逆方向への不必要なレンズ駆動が抑制される。このような作用により、例えば、AF処理中のスルー画表示中において、ピンボケした画像が表示されてしまう時間を短縮することが可能である。
これに対し、一方向の評価値のみで最終的に合焦方向判断を確定する場合には、二方向の評価値を用いて最終的な合焦方向判断の確定を行う場合よりもスキャン方向を判断するための閾値を大きくしている。これにより、スキャン方向の判断には時間がかかるようになるが合焦方向判断の信頼性を担保でき、スキャン方向の誤判断や偽合焦が発生する可能性を抑制することが可能である。
さらに、評価値の変化が不安定状態である場合も評価値の変化が不安定状態でない場合と同様の判断を行うが、評価値の変化が不安定状態である場合には、評価値の変化が不安定状態でない場合よりも、スキャン方向を判断するための閾値を大きくしている。これにより、スキャン方向の判断には時間がかかるようになるが合焦方向判断の信頼性を担保でき、スキャン方向の誤判断や偽合焦が発生する可能性を抑制することが可能である。
次に、ウォブリング動作時の合焦方向判断処理について説明する。ウォブリング動作の場合には、スキャン動作時と異なり、合焦方向判断の対象となる現在フレームnVDの評価値とその1フレーム前のフレーム(n−1)とその2フレーム前のフレーム(n−2)VDの評価値との大小関係に従って合焦方向判断を確定する。詳しくは、以下の(式4)で示される評価値変化量AFval_dlt_x(xは、h1、h2、h3、v)から合焦方向判断を確定する。
AF_val_dlt_x(n) = {AFval_x(n)-AFval_x(n-1)}−{AFval_x(n-1)-AFval_x(n-2)} (式4)
ここで、「h」は、水平方向の評価値であることを示している。「v」は、垂直方向の評価値であることを示している。また、「h」の添字「1」、「2」、「3」は、評価値を生成するためのHPF処理におけるカットオフ周波数の種類を示している。本実施形態の例では、「1」が、カットオフ周波数が最も低く、「3」が、カットオフ周波数が最も高い。
図9は、合焦位置が存在する方向とウォブリング方向とが同方向である(例えば被写体が近距離方向に存在していて近距離方向に向けてウォブリング動作させる)場合の評価値の変化について示す図である。また、図10は、合焦位置が存在する方向とウォブリング方向とが逆方向である(例えば被写体が遠距離方向に存在していて近距離方向に向けてウォブリング動作させる)場合の評価値の変化について示す図である。
ウォブリング動作では、フォーカスレンズを微小振動させるように移動させながら合焦位置を探索する。ここで、ウォブリング周波数を撮像フレームと同期させるようにすれば、フレームnVDで評価値を得たときのフォーカスレンズの移動方向と(n−2)VDで評価値を得たときのフォーカスレンズの移動方向とは同方向となる。また、ウォブリング動作では、評価値が増加する方向にフォーカスレンズを徐々に移動させる。したがって、評価値変化量AFval_dlt_x(n)が正の値であれば、図9に示すように、現在のウォブリング方向(同図のWob_move)に対して同方向に被写体が存在していると判断できる。逆に、評価値変化量AFval_dlt_x(n)が負の値であれば、図10に示すように、現在のウォブリング方向(同図のWob_move)に対して逆方向に被写体が存在していると判断できる。このように、評価値変化量AFval_dlt_x(n)の符号から、ウォブリング方向を判断する。
実際には、評価値変化量AFval_dlt_x(n)が所定の正の閾値以上となった場合には、それ以後のウォブリング方向がそれまでのウォブリング方向と同方向であると判断し、評価値変化量AFval_dlt_x(n)が所定の負の閾値以下となった場合には、それ以後のウォブリング方向がそれまでのウォブリング方向と逆方向であると判断する。また、評価値変化量AFval_dlt_x(n)が正負の閾値の何れも超えていない場合には、ウォブリング方向を判断できないとする。
ここで、カメラ本体200と被写体とがともに固定されている等して、評価値の変化が安定していれば、評価値変化量AFval_dlt_h1(n)、AFval_dlt_h2(n)、AFval_dlt_h3(n)、AFval_dlt_v(n)の符号は同一となる。この場合には、評価値の変化が、フォーカスレンズの位置変化にほぼ依存しているためである。
これに対し、評価値の変化が安定していなければ、AFval_dlt_h1(n)、AFval_dlt_h2(n)、AFval_dlt_h3(n)、AFval_dlt_v(n)の符号は必ずしも同一とはならない。例えば、てきぱきと歩いている人物の頭部に合焦させようとした場合、図8に示すように、ウォブリング動作を実行していなくとも水平方向の評価値が増減を繰り返す。これに対し、垂直方向の評価値は、レンズ位置の変化に依存して変化する。
このような状況においてウォブリング動作を実行すると、水平方向の評価値変化量AFval_dlt_h1(n)、AFval_dlt_h2(n)、AFval_dlt_h3(n)は、ウォブリング動作によって変化するだけでなく、頭部の上下動の影響も受けて変化する。一方、垂直方向の評価値変化量AFval_dlt_vは、頭部の上下動の影響を殆ど受けない。したがって、ウォブリング動作時において、合焦方向判断を最終的に確定する際には、垂直方向の評価値変化量を用いた合焦方向判断の結果を最優先するようにすれば、合焦方向判断の信頼性を最も高くして、ウォブリング方向の誤判断や偽合焦が発生する可能性を低減することができる。
また、評価値変化量AFval_dlt_h1(n)、AFval_dlt_h2(n)、AFval_dlt_h3(n)は、HPF処理のカットオフ周波数を異ならせて得られる。そして、HPF処理のカットオフ周波数が高い場合には、頭部の上下動の影響を受けていたとしても、被写体に対する合焦状態が悪ければ、カットオフ周波数を超える程の高周波成分を抽出できず、評価値変化量も殆ど変化しない。したがって、ウォブリング動作時において、合焦方向判断を最終的に確定する際には、カットオフ周波数の高い評価値変化量を用いた合焦方向判断の結果を優先するようにすれば、合焦方向判断の信頼性を確保して、ウォブリング方向の誤判断や偽合焦が発生する可能性を低減することができる。
以上の考え方に基づいて、本体制御部203は、図11(a)及び図11(b)に示す判断テーブルを用いて合焦方向判断を最終的に確定する。図11(a)及び図11(b)に示す判断テーブルは、本体制御部203に設けられたメモリに予め記憶されているものであり、合焦方向判断を最終的に確定するための条件を項目分けしたものである。図11(a)及び図11(b)の例では、番号の小さい順に合焦方向判断の信頼性が高くなる。
ここで、図11(a)及び図11(b)の「水平1」、「水平2」、「水平3」は、それぞれ、評価値変化量AFval_dlt_h1(n)を用いた合焦方向判断に関する条件、AFval_dlt_h2(n)を用いた合焦方向判断に関する条件、AFval_dlt_h3(n)を用いた合焦方向判断に関する条件であることを示している。「垂直」は、評価値変化量AFval_dlt_vを用いた合焦方向判断に関する条件であることを示している。「同一」は、同一項番中の「同一」が付されている評価値変化量を用いた合焦方向判断によって判断されたウォブリング方向が全て同一となることを示す。「丸印」は、その評価値変化量を用いた合焦方向判断によってウォブリング方向を判断することができたことを示す。「−」は、その評価値変化量を用いた合焦方向判断によってウォブリング方向を判断することができていても、判断できていなくても良いことを示す。「確定」は、合焦方向判断を最終的に確定できることを示す。「確定できない」は、合焦方向判断を最終的に確定できないことを示す。
図12は、ウォブリング動作時の合焦方向判断処理の一例のフローチャートである。図12おいて、本体制御部203は、評価値の変化が不安定状態であるか否かを判断する(S301)。S301の判断は、S201の判断と同様にして行えば良い。判断の詳細については後述する。
S301において、評価値の変化が不安定状態でないと判断した場合に、本体制御部203は、第1の判断テーブルを用いてウォブリング方向を判断する(S302)。S302の判断において、本体制御部203は、評価値変化量AFval_dlt_h1(n)を用いた合焦方向判断の結果と、評価値変化量AFval_dlt_h2(n)を用いた合焦方向判断の結果と、評価値変化量AFval_dlt_h3(n)を用いた合焦方向判断の結果と、評価値変化量AFval_dlt_v(n)を用いた合焦方向判断の結果とが、図11(a)に示す9項目の条件の何れを満足しているかを判断する。図11(a)に示すように、第1の判断テーブルは、「1」〜「9」の何れかの条件を満足していれば、合焦方向判断を最終的に確定できる。
以下、具体的に第1の判断テーブルを用いた判断について説明する。本体制御部203は、まず、図11(a)の「1」〜「4」の条件を満足しているかを、項番が小さい順に判断していく。例えば、「1」の条件の判断では、本体制御部203は、垂直方向の評価値変化量AFval_dlt_v(n)を用いた合焦方向判断により判断されたウォブリング方向が、水平方向の評価値変化量AFval_dlt_h3(n)及びAFval_dlt_h2(n)を用いた合焦方向判断により判断されたウォブリング方向と同一方向であるかを判断する。同一方向であると判断した場合に、本体制御部203は、垂直方向の評価値変化量AFval_dlt_v(n)を用いた合焦方向判断により判断されたウォブリング方向を、最終的なウォブリング方向と判断する。「1」の条件を満足していないと判断した場合に、本体制御部203は、「1」の条件の判断と同様にして、「2」の条件を満足しているか否かを判断する。以後同様に、本体制御部203は、「3」の条件を満足しているか否か、「4」の条件を満足しているか否かを順次判断する。
また、「1」〜「4」の何れの条件も満足していないと判断した場合、本体制御部203は、図11(a)の「5」の条件を満足しているか否かを判断する。即ち、本体制御部203は、水平方向の評価値変化量AFval_dlt_h3(n)を用いた合焦方向判断により判断されたウォブリング方向と水平方向の評価値変化量AFval_dlt_h2(n)を用いた合焦方向判断により確定されたウォブリング方向が同一方向であるか否かを判断する。同一方向であると判断した場合に、本体制御部203は、水平方向の評価値変化量AFval_dlt_h3(n)を用いた合焦方向判断により確定されたウォブリング方向を、最終的なウォブリング方向として確定する。
また、「5」の条件を満足していないと判断した場合、本体制御部203は、図11(a)の「6」〜「9」の条件を満足しているか否かを、項番が小さい順に判断していく。例えば、「6」の条件の判断では、本体制御部203は、垂直方向の評価値変化量AFval_dlt_v(n)を用いた合焦方向判断によりウォブリング方向を確定できたか否かを判断する。ウォブリング方向を確定できたと判断した場合に、本体制御部203は、そのときの、垂直方向の評価値変化量AFval_dlt_v(n)を用いた合焦方向判断により確定されたウォブリング方向を、最終的なウォブリング方向として確定する。「6」の条件を満足していないと判断した場合に、本体制御部203は、「6」の条件の判断と同様にして、「7」の条件を満足しているか否かを判断する。以後同様に、本体制御部203は、「8」の条件を満足しているか否か、「9」の条件を満足しているか否かを順次判断する。
S301において、評価値の変化が不安定状態であると判断した場合に、本体制御部203は、第2の判断テーブルを用いてウォブリング方向を判断する(S303)。S303の判断において、本体制御部203は、評価値変化量AFval_dlt_h1(n)を用いた合焦方向判断の結果と、評価値変化量AFval_dlt_h2(n)を用いた合焦方向判断の結果と、評価値変化量AFval_dlt_h3(n)を用いた合焦方向判断の結果と、評価値変化量AFval_dlt_v(n)を用いた合焦方向判断の結果とが、図11(b)に示す9項目の条件の何れを満足しているかを判断する。図11(b)に示すように、第1の判断テーブルにおける9項目の条件は、図11(a)に示す第1の判断テーブルにおける条件と同一である。したがって、第2の判断テーブルを用いた判断も、基本的には、第1の判断テーブルを用いた判断と同様に実行される。ただし、図11(b)に示すように、第2の判断テーブルは、「1」〜「4」の条件を満足していなければ、合焦方向判断を最終的に確定できないと判断する。即ち、評価値の変化が不安定状態である場合には、ウォブリング方向の誤判断や偽合焦が発生する可能性が高いので、水平方向の評価値変化量を用いた合焦方向判断により判断されたウォブリング方向と垂直方向の評価値変化量を用いた合焦方向判断により判断されたウォブリング方向とが同一方向の場合に合焦方向判断を最終的に確定するようにする。
S302又はS303の後、本体制御部203は、合焦方向判断が最終的に確定できたか否かを判断する(S304)。S304において、合焦方向判断を最終的に確定できたと判断した場合、本体制御部203は、処理を図3のS103に移行させる。また、S304において、合焦方向判断を最終的に確定できなかったと判断した場合、本体制御部203は、処理をS301に戻す。この場合には、次のフレームにおいて、S301からの処理が実行される。
以上説明したように、ウォブリング動作時の合焦方向判断処理においては、まず、水平方向の評価値変化量に基づく合焦方向判断の結果と垂直方向の評価値変化量に基づく合焦方向判断の結果とが同一方向であるかを、合焦方向判断の信頼性の高い順に判断するようにしている。二方向の評価値変化量に基づく合焦方向判断の結果を考慮して最終的に合焦方向判断を確定することで、高い信頼性の合焦方向判断を行うことができる。
ここで、スキャン動作時の合焦方向判断処理と同様、ウォブリング動作時の合焦方向判断処理においても、ウォブリング方向を判断するための閾値を基準の閾値よりも小さくしてウォブリング方向を判断するようにしても良い。
また、ウォブリング動作時の合焦方向判断処理においては、カットオフ周波数の異なる複数の水平方向の評価値変化量を併用して合焦方向判断を、信頼性の高い順に行うようにしている。これにより、合焦方向判断の信頼性を担保でき、ウォブリング方向の誤判断や偽合焦が発生する可能性を抑制することが可能である。
ここで、本実施形態では、カットオフ周波数の異なる3種類の水平方向の評価値変化量を求めて合焦方向判断を行うようにしている。しかしながら、カットオフ周波数の異なる2種類の水平方向の評価値変化量を求めて合焦方向判断を行うようにしても良いし、カットオフ周波数の異なる4種類以上の水平方向の評価値変化量を求めて合焦方向判断を行うようにしても良い。
次に、S201及びS301の判断の詳細について説明する。前述したように、S201及びS301において判断する評価値の変化が不安定な状態とは、パン移動及びチルト移動等のカメラ本体200の動き、並びに被写体ブレといった評価値の変化を不安定にする要因が存在している状態のことである。
まず、パン移動及びチルト移動等のカメラ本体200の動きによる判断について説明する。本実施形態では、例えばジャイロセンサ205の出力(検出回路206の出力)が、下記の何れかの条件を満たした場合、パン移動又はチルト移動が発生しており、評価値の変化が不安定な状態であると判断する。
(条件3) abs(x)≧パン・チルト発生判断閾値Th/撮像レンズ101の焦点距離
(条件4) abs(y)≧パン・チルト発生判断閾値Th/撮像レンズ101の焦点距離
(式5)
ここで、(式5)のabs(x)はジャイロセンサ205によって検出されたX軸方向の角速度の大きさ(絶対値)であり、abs(y)はジャイロセンサ205によって検出されたY軸方向の角速度の大きさである。また、(式5)の焦点距離は、撮像レンズ101を構成する光学系全体としての焦点距離である。
閾値Thを焦点距離で除算しているのは、焦点距離によって閾値を正規化するためである。パン・チルト発生判断閾値Thは、動画記録時のAF処理中であるか、動画記録時以外(例えば静止画記録時)のAF処理中であるかによって変更することが望ましい。
ここで、検出回路206は、例えばジャイロセンサ205から出力される角速度信号に対して2次の微分(例えばハイパスフィルタ(HPF)処理)を行った後、その出力を積算し、再度のHPF処理を行う。この場合、実際の検出回路206の出力は、図13に示す加速度のような波形となる。図13に示すように、検出回路206(ジャイロセンサ205)の出力値は、パン移動又はチルト移動が終了した直後に大きく逆方向に振れる。このような抑制期間中にS201及びS301の判断がされると、誤判断の原因となる。したがって、下記の条件を満たす抑制期間中は、S201及びS301の判断を実行しないことが望ましい。
(条件5) パン移動及びチルト移動の終了判断がなされた後の経過時間が一定時間以下で且つabs(DetAxis)の符号が開始時の符号と逆転したまま元に戻らない間
ただし、抑制期間中でも、下記の条件を満たす場合には、パン移動又はチルト移動が開始されたと判断する。
(条件6) abs(DetAxis,現在)≧max{abs(DetAxis,パン移動又はチルト移動の開始後から終了までの間)}
ここで、abs(DetAxis,現在)は、現在のジャイロセンサ出力であり、max{abs(DetAxis,パン移動又はチルト移動の開始後から終了までの間)}は、パン移動又はチルト移動の開始の判断後から終了の判断がなされるまでの間のVD期間中のジャイロセンサ出力の絶対値の最大値である。また、VD期間とは図13の横軸で示す同期信号の出力期間である。
次に、被写体ブレによる判断について説明する。本実施形態では、例えば動きベクトルを検出することによって被写体ブレを検出する。動きベクトルは、複数フレームの画像データを取得し、今回のフレームの注目画像(被写体)が、前回のフレーム内では、どの位置に存在したかをテンプレートマッチング等により求め、その注目画像の移動量と移動方向を算出することによって求まる。なお、動きベクトル検出により、前述のパン移動・チルト移動を検出することも可能である。
図14(a)〜図14(c)は、テンプレートマッチングにより被写体の移動を検出して動きベクトルを求める処理を示す。動きベクトルは、例えば複数のAFターゲットエリア等の撮影画面内の複数の領域で並行して検出される。図14(a)に示すように、例えばAFターゲットエリア301〜311のそれぞれが、動きベクトルを検出するためのテンプレートに設定される。例えば、(n−1)フレーム内の1つのAFターゲットエリア306内の画像を注目画像とする。このとき、動きベクトルは、(n−1)フレームからnフレームの間での注目画像の移動量及び移動方向として算出される。例えば、図14(a)に示す(n−1)フレームにおいてAFターゲットエリア306内に存在していた被写体が、図14(b)に示すnフレームにおいて符号401の位置に移動していた場合、動きベクトルは、図14(b)の矢印Aで示されるものとなる。このような動きベクトルを、図14(c)に示すようにして、複数のAFターゲットエリアに対して計算する。
図14(c)のようにして算出された動きベクトルによる判断の条件を以下に示す。下記の何れかの条件を満たした場合、被写体ブレが発生しており、評価値の変化が不安定な状態であると判断する。
(条件7) abs(動きベクトル出力[X])≧被写体ブレ発生判断閾値Thb/撮像レンズ焦点距離
(条件8) abs(動きベクトル出力[Y])≧被写体ブレ発生判断閾値Thb/撮像レンズ焦点距離
ここで、X、Yは、被写体の動きベクトルをX軸成分とY軸成分とで示したものである。また、abs( )は絶対値を計算することを示す。また、両式の右辺において、被写体ブレ発生判断閾値Thbを撮像レンズの焦点距離で除算しているので、焦点距離によって閾値が正規化される。これにより、撮像レンズの焦点距離に影響されることなく被写体ブレ検出を行うことができる。
図15は、動きベクトル出力の時間変化の例及び閾値と被写体ブレが発生中と判断される範囲を示す。図15の例では、破線と一点鎖線との間の部分が被写体ブレ発生中であると判断される部分である。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の動作の説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
100…交換レンズ、101…撮像レンズ、102…モータドライバ、103…レンズ制御部、104…記憶部、200…カメラ本体、201…撮像素子、202…表示部、203…本体制御部、204…マウント接点、205…ジャイロセンサ、206…検出回路

Claims (5)

  1. 光軸方向に移動自在なフォーカスレンズを有して被写体の光学像を生成する光学系と、複数の画素部を有して前記光学像を撮像する撮像部と、を有する撮像装置のためのフォーカス制御装置であって、
    前記画素部を第1の方向に走査することによって前記画素部から出力された第1の信号に基づいて前記被写体のコントラスト状態を示す第1の評価値を得るとともに、前記画素部を前記第1の方向とは異なる第2の方向に走査することによって前記画素部から出力された第2の信号に基づいて前記被写体のコントラスト状態を示す第2の評価値を得る評価値生成部と、
    前記フォーカスレンズを移動させている状態で前記第1の評価値と前記第2の評価値とのそれぞれの変化に基づいて前記フォーカスレンズを合焦させるために必要な前記フォーカスレンズの移動方向を判断し、前記第1の評価値に基づいて判断した第1の移動方向と前記第2の評価値に基づいて判断した第2の移動方向とが判断可能でありかつ同一方向の場合に、該同一方向であると判断した移動方向に前記フォーカスレンズを移動させるようにオートフォーカス動作を行う制御部と、
    前記撮像装置の動き量を検出するか、又は、前記画素部からの出力信号に基づいて動きベクトル量を検出する動き検出部と、
    を具備し、
    前記制御部は、前記第1の評価値の変化量が第1の閾値を超えたことを判断することによって前記フォーカスレンズの移動方向が前記第1の移動方向であることを判断するとともに、前記第2の評価値の変化量が第2の閾値を超えたことを判断することによって前記フォーカスレンズの移動方向が前記第2の移動方向であることを判断し、前記動き量又は動きベクトル量が所定値よりも大きい場合は、前記第1の閾値と前記第2の閾値を、それぞれより大きく設定して前記判断を行い、前記第1の移動方向と前記第2の移動方向の一方が判断不能の場合であっても、前記第1の移動方向と前記第2の移動方向とのうちで判断が可能であるほうの移動方向に前記フォーカスレンズを移動させるようにオートフォーカス動作を行うことを特徴とするフォーカス制御装置。
  2. 光軸方向に移動自在なフォーカスレンズを有して被写体の光学像を生成する光学系と、複数の画素部を有して前記光学像を撮像する撮像部と、を有する撮像装置のためのフォーカス制御装置であって、
    前記画素部を第1の方向に走査することによって前記画素部から出力された第1の信号に基づいて前記被写体のコントラスト状態を示す第1の評価値を得るとともに、前記画素部を前記第1の方向とは異なる第2の方向に走査することによって前記画素部から出力された第2の信号に基づいて前記被写体のコントラスト状態を示す第2の評価値を得る評価値生成部と、
    前記フォーカスレンズを光軸方向に所定の振幅で微小振動させながら前記振幅の中心位置を移動している状態で前記第1の評価値と前記第2の評価値とのそれぞれの変化に基づいて前記フォーカスレンズが合焦に近づく移動方向を判断し、前記第1の評価値に基づいて判断した第1の移動方向と前記第2の評価値に基づいて判断した第2の移動方向とに基づいて移動方向を決定して前記フォーカスレンズを移動させるようにオートフォーカス動作を行う制御部と、
    前記撮像装置の動き量を検出するか、又は、前記画素部からの出力信号に基づいて動きベクトル量を検出する動き検出部と、
    を具備し、
    前記制御部は、前記第1の評価値の変化量が第1の閾値を超えたことを判断することによって前記フォーカスレンズの移動方向が前記第1の移動方向であることを判断するとともに、前記第2の評価値の変化量が第2の閾値を超えたことを判断することによって前記フォーカスレンズの移動方向が前記第2の移動方向であることを判断し、前記動き量又は動きベクトル量が所定値よりも小さい場合に、前記第1の移動方向と前記第2の移動方向の一方が判断不能の場合であっても、前記第1の移動方向と前記第2の移動方向とのうちで判断が可能であるほうの移動方向に前記フォーカスレンズを移動させ、前記動き量又は動きベクトル量が所定値よりも大きい場合に、前記第1の移動方向と第2の移動方向とが判断可能でありかつ同一方向の場合に、該同一方向であると判断した移動方向に前記フォーカスレンズを移動させるようにオートフォーカス動作を行うことを特徴とするフォーカス制御装置。
  3. 前記評価値生成部は、前記画素部を第1の方向に走査することによって前記画素部から出力された第1の信号に基づいて前記第1の評価値と異なる周波数成分に基づくコントラスト状態を示す第3の評価値を得ることが可能であり、
    前記制御部は、前記第3の評価値の変化量が第3の閾値を超えたことを判断することによって前記フォーカスレンズの移動方向が第3の移動方向であることを判断し、
    前記動き量又は動きベクトル量が所定値よりも大きい場合は、前記第1の移動方向が判断不能であっても、前記第2の移動方向と第3の移動方向とが判断可能でかつ同一方向である場合に、該同一方向であると判断した移動方向に前記フォーカスレンズを移動させるようにオートフォーカス動作を行うことを特徴とする請求項2に記載のフォーカス制御装置。
  4. 前記制御部は、前記動き量又は動きベクトル量が所定値よりも小さい場合は、前記第2の移動方向が判断不能であっても、前記第1の移動方向と第3の移動方向が両方とも判断可能であり、かつ同一方向である場合、該同一方向であると判断した移動方向に前記フォーカスレンズを移動させ、
    前記動き量又は動きベクトル量が所定値よりも大きい場合は、前記第2の移動方向が判断不能であり、前記第1の移動方向と第3の移動方向が両方とも判断可能であり、かつ同一方向であると判断しても該同一方向であると判断した移動方向に前記フォーカスレンズを移動させないようにオートフォーカス動作を行うことを特徴とする請求項3に記載のフォーカス制御装置。
  5. 前記第1の方向は水平方向であり、前記第2の方向は垂直方向であることを特徴とする請求項3又は4に記載のフォーカス制御装置。
JP2011160118A 2011-07-21 2011-07-21 フォーカス制御装置 Expired - Fee Related JP5888890B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011160118A JP5888890B2 (ja) 2011-07-21 2011-07-21 フォーカス制御装置
US13/552,813 US8994871B2 (en) 2011-07-21 2012-07-19 Focus controller
CN201210253518.7A CN102890329B (zh) 2011-07-21 2012-07-20 对焦控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011160118A JP5888890B2 (ja) 2011-07-21 2011-07-21 フォーカス制御装置

Publications (2)

Publication Number Publication Date
JP2013025108A JP2013025108A (ja) 2013-02-04
JP5888890B2 true JP5888890B2 (ja) 2016-03-22

Family

ID=47533880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011160118A Expired - Fee Related JP5888890B2 (ja) 2011-07-21 2011-07-21 フォーカス制御装置

Country Status (3)

Country Link
US (1) US8994871B2 (ja)
JP (1) JP5888890B2 (ja)
CN (1) CN102890329B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122129B2 (en) * 2011-11-18 2015-09-01 Samsung Electronics Co., Ltd. Image pickup apparatus, driving control method thereof, and computer-readable recording medium
JP6137847B2 (ja) * 2013-01-28 2017-05-31 オリンパス株式会社 撮像装置及び撮像装置の制御方法
US9154686B2 (en) * 2013-09-25 2015-10-06 Google Technology Holdings LLC Close focus with GPU
US9288379B2 (en) * 2014-03-12 2016-03-15 Omnivision Technologies, Inc. System and method for continuous auto focus within camera module
JP6425440B2 (ja) * 2014-07-15 2018-11-21 キヤノン株式会社 撮像装置及び撮像方法
JP2016197215A (ja) * 2015-04-06 2016-11-24 オリンパス株式会社 焦点調節装置及び焦点調節装置の制御方法
EP3139588B1 (en) 2015-09-07 2017-06-21 Axis AB Method and device for setting a focus of a camera
CN106101565B (zh) * 2016-08-22 2020-04-10 浙江宇视科技有限公司 一种电动镜头聚焦方法及装置
JP7281977B2 (ja) * 2019-06-25 2023-05-26 オリンパス株式会社 焦点調節装置および焦点調節方法
EP3809692B1 (en) * 2019-10-17 2023-10-04 Denso Wave Incorporated Imaging device provided with event-based camera
CN112640425A (zh) * 2020-04-14 2021-04-09 深圳市大疆创新科技有限公司 对焦控制方法、装置、设备、可移动平台和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2969642B2 (ja) * 1989-03-10 1999-11-02 株式会社ニコン 焦点検出装置
JP2679700B2 (ja) * 1996-03-25 1997-11-19 ミノルタ株式会社 自動焦点調節装置
JP3840725B2 (ja) * 1997-01-30 2006-11-01 ソニー株式会社 ビデオカメラのオートフォーカス装置
JP2007057563A (ja) * 2005-08-22 2007-03-08 Oki Data Corp 画像形成装置
JP2007057763A (ja) * 2005-08-24 2007-03-08 Canon Inc 焦点調節装置、及び焦点調節方法
JP4210954B2 (ja) * 2006-08-22 2009-01-21 ソニー株式会社 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
JP5153157B2 (ja) * 2007-02-15 2013-02-27 三洋電機株式会社 ビデオカメラ
JP4969349B2 (ja) 2007-07-13 2012-07-04 三洋電機株式会社 撮像装置及び撮像方法
WO2009098894A1 (ja) * 2008-02-06 2009-08-13 Panasonic Corporation 電子カメラおよび画像処理方法
US8164680B2 (en) 2008-03-27 2012-04-24 Panasonic Corporation Imaging system and camera body
US7986469B2 (en) * 2008-08-25 2011-07-26 Panasonic Corporation Lens barrel and imaging device
KR101590873B1 (ko) * 2009-11-18 2016-02-02 삼성전자주식회사 디지털 촬영장치 및 그 제어방법
JP5427024B2 (ja) * 2009-12-25 2014-02-26 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム

Also Published As

Publication number Publication date
CN102890329B (zh) 2015-04-01
US8994871B2 (en) 2015-03-31
US20130021516A1 (en) 2013-01-24
CN102890329A (zh) 2013-01-23
JP2013025108A (ja) 2013-02-04

Similar Documents

Publication Publication Date Title
JP5888890B2 (ja) フォーカス制御装置
US8385734B2 (en) Focus control apparatus and focus control method
US7403230B2 (en) Image-taking apparatus
JP4532865B2 (ja) 撮像装置および撮像装置のフォーカス制御方法
JP2008032963A (ja) 光学装置、撮像装置及びその制御方法
US10841480B2 (en) Imaging device, control method of imaging device, and recording medium storing focus adjustment program
JP2014126710A (ja) 自動焦点検出装置およびその制御方法、撮像装置
JP2010139666A (ja) 撮像装置
JP2006343496A (ja) 自動合焦装置
US20070058049A1 (en) Image sensing apparatus and method of controlling the same
JP2005049577A (ja) 焦点調節システム、撮像装置、およびその制御方法
US7570298B2 (en) Image-taking apparatus with first focus control such that in-focus position is searched for based on first signal and second focus control such that one of in-focus position and drive amount is determined based on second signal
JP2007133301A (ja) オートフォーカスカメラ
US20190297269A1 (en) Control apparatus, imaging apparatus, and control method
KR20100085728A (ko) 촬영장치 및 이를 이용한 초점 검출 방법
JP6624789B2 (ja) 合焦制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP6330283B2 (ja) 被写体追尾装置、撮像装置及び被写体追尾プログラム
JP2002287012A (ja) オートフォーカス機能を有する撮像装置
JP2011135537A (ja) 撮像装置及び撮像装置の制御方法
KR20160105306A (ko) 촬상 장치 및 그 제어 방법
JP5927273B2 (ja) フォーカス制御装置及びフォーカス制御装置の制御方法
JP4777001B2 (ja) 自動焦点調節装置および撮像装置
JP4967930B2 (ja) 焦点検出装置
JP2005227447A (ja) オートフォーカスカメラ
JP5930979B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140716

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160216

R151 Written notification of patent or utility model registration

Ref document number: 5888890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees