JP6137804B2 - 撮像装置およびその制御方法、並びにレンズユニットおよびその制御方法 - Google Patents

撮像装置およびその制御方法、並びにレンズユニットおよびその制御方法 Download PDF

Info

Publication number
JP6137804B2
JP6137804B2 JP2012238265A JP2012238265A JP6137804B2 JP 6137804 B2 JP6137804 B2 JP 6137804B2 JP 2012238265 A JP2012238265 A JP 2012238265A JP 2012238265 A JP2012238265 A JP 2012238265A JP 6137804 B2 JP6137804 B2 JP 6137804B2
Authority
JP
Japan
Prior art keywords
information
lens
focus
focus lens
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012238265A
Other languages
English (en)
Other versions
JP2013164577A (ja
JP2013164577A5 (ja
Inventor
保田 仁志
仁志 保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012238265A priority Critical patent/JP6137804B2/ja
Priority to CN201210587634.2A priority patent/CN103209296B/zh
Priority to US13/729,990 priority patent/US8953089B2/en
Priority to EP12199643.3A priority patent/EP2615822A3/en
Publication of JP2013164577A publication Critical patent/JP2013164577A/ja
Priority to US14/592,226 priority patent/US9411124B2/en
Publication of JP2013164577A5 publication Critical patent/JP2013164577A5/ja
Application granted granted Critical
Publication of JP6137804B2 publication Critical patent/JP6137804B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046Movement of one or more optical elements for zooming

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Focusing (AREA)

Description

本発明は、レンズユニット、および該レンズユニットを装着可能な撮像装置の自動焦点調節に関するものである。
近年、ビデオカメラのAF(オートフォーカス)装置は、撮像信号から画像の鮮鋭度を検出してAF評価値を求め、その値が最大となる位置にフォーカスレンズを移動させて、焦点調節を行う方式が主流である。以下では、この方式をTVAF方式という。AF評価値としては一般に、所定帯域のバンドパスフィルタで抽出した映像信号の高周波成分のレベルを用いる。被写体を撮影した場合、図2(A)のように、ピントが合うにつれてAF評価値は大きくなり、合焦点で最大になる。つまり、本例では合焦点から離れるに従って合焦度が低くなる状態を示している。図2(B)は、フォーカスレンズを微小間隔で駆動した時のAF評価値の変化に基づいて合焦方向を判別する動作(以下、ウォブリング動作という)を示す。ウォブリング動作では、撮影画面上でレンズの動きによる影響が目立たないため、特に動画撮影を行うカメラに使用される。一方、図2(C)のようにフォーカスレンズの駆動量と像面移動量は常に同じではなく、両者の比率(敏感度)はレンズユニットごとに相違し、また、フォーカスレンズやズームレンズの位置によっても変わる。
特許文献1には、この種のAF方式を、レンズユニットが交換できるビデオカメラに使用した自動焦点調節装置が開示されている。ウォブリング動作信号をレンズユニットに引き渡し、ウォブリング動作制御をレンズユニット側で行うことにより、交換レンズシステムでウォブリング動作が可能である。
特開2008―242442号公報
しかしながら、従来の交換レンズシステムにおけるフォーカスレンズ制御では以下の問題がある。
例えば、将来的にウォブリング動作を改善したい場合にカメラ本体からフォーカスレンズの動きを変更することが困難である。また、カメラからレンズユニットごとにフォーカスレンズの駆動制御を実現したい場合に異なる駆動命令を用意する必要が生じるので、制御が複雑になる。前記のようにフォーカスレンズの駆動量に対する像面移動量はレンズユニットごとに相違し、また、フォーカスレンズ位置やズームレンズ位置によっても変わる。このため、交換レンズシステムにてカメラ本体では、所望の像面移動量をレンズユニットに指示することはできても、当該像面移動量に対して実際のフォーカスレンズの駆動量がどれだけであるかは分からない。換言すれば、カメラ本体の制御部がレンズユニットに対して具体的なフォーカスレンズの駆動量を指示するために、レンズ構成や仕様等について詳細な情報を取得する方法には困難がある。
本発明は、交換レンズシステムにおいて、撮像装置本体から統合した駆動情報をレンズ装置に送信して、ウォブリング動作を含む各種のフォーカスレンズの動きを制御することを目的とする。
上記課題を解決するために本発明に係る装置は、フォーカスレンズを含む撮像光学系を備えたレンズユニットを装着可能な撮像装置であって、被写体像を光電変換することにより撮像信号を生成する撮像手段と、前記撮像信号の高周波成分を用いて焦点調節用の評価信号を生成する信号処理手段と、前記評価信号に基づいてフォーカスレンズの駆動情報を生成し、装着された前記レンズユニットに送信する制御手段を有する。前記制御手段は、前記フォーカスレンズを微小振動させる際、前記フォーカスレンズの駆動情報として、前記微小振動の基準位置となるフォーカスレンズ位置についての第1の情報、及び、前記第1の情報の示すフォーカスレンズ位置を基準位置とする前記フォーカスレンズの像面上の移動量についての第2の情報を前記レンズユニットに送信する。
本発明によれば、像面上の移動量の情報を含む駆動情報を撮像装置本体からレンズユニットに送信してフォーカスレンズの動きを制御することができる。
図2乃至17と併せて本発明の実施形態を説明するために、撮像装置の構成例を示すブロック図である。 TVAF信号の説明図(A)、ウォブリング動作の説明図(B)、およびフォーカスレンズ駆動量と像面移動量を示す模式図(C)である。 撮像面上で位相差AF可能な撮像素子の説明図である。 図5とともにTVAF処理を説明するフローチャート(前半部)である。 図4に続くフローチャート(後半部)である。 図7とともに微小駆動を説明するフローチャート(前半部)である。 図6に続くフローチャート(後半部)である。 微小駆動の説明図(A)、および撮像素子の蓄積タイミングを説明する図(B)である。 カメラ制御部とレンズ制御部の処理を説明する図である。 通信データ、フォーカスレンズ位置の変化例を説明する図である。 フォーカスレンズ位置の制御例を説明する図(A)、および微小駆動中にフォーカスレンズが可動領域の端に達した場合の処理を説明する図(B)である。 図13とともに山登り駆動を説明するフローチャート(前半部)である。 図12に続くフローチャート(後半部)である。 山登り駆動を説明する図である。 撮像素子の撮像用画素の平面図(A)と断面図(B)である。 撮像素子の焦点検出用画素の平面図(A)と断面図(B)である。 撮像用画素及び焦点検出用画素の画素配置図である。
以下、図面を参照しつつ、本発明の実施形態について説明する。
図1は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置は、装着可能なレンズユニット117と、これを装着して使用する本体部としてのカメラユニット118を備える。つまり、レンズユニット117はカメラユニット118に対して装着自在であり、いわゆる交換レンズシステムを構成している。
被写体からの光は、レンズユニット117内に固定された第1レンズ群101と、可動の第2レンズ群102、絞り103、固定の第3レンズ群104、可動の第4レンズ群105からなる撮像光学系を通ってカメラユニット118内の撮像素子106に結像する。第2レンズ群102は変倍動作を行う。また第4レンズ群(以下、フォーカスレンズという)105は、焦点調節機能と変倍による焦点面の移動を補正するコンペンセーション機能とを兼ね備える。
撮像素子106は、CMOS(相補型金属酸化膜半導体)イメージセンサ等で構成される光電変換素子であり、被写体像を光電変換して撮像信号を生成する。撮像素子106にて光電変換された撮像信号は増幅器107で最適なレベルに増幅された後、カメラ信号処理部108に出力される。以下、図15ないし図17を参照して撮像素子106の構成例を説明する。図15、図16は、撮像素子106に含まれる撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態では、ベイヤー配列の撮像用画素群中に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
図15に撮像用画素の配置と構造を例示する。図15(A)は2行2列の撮像用画素の平面図である。周知のように、ベイヤー配列では対角方向に複数のG(緑色)画素が配置され、他の2画素にR(赤色)画素とB(青色)画素が配置される。この2行2列の構造が2次元アレイ状に繰り返し配置される。
図15(A)にてA−A線で切断した場合の断面図を図15(B)に示す。オンチップマイクロレンズMLは各画素の最前面に配置され、その背後にはR(赤色)カラーフィルタCFおよびG(緑色)カラーフィルタCFが配置されている。PD(PhotoDiode)は撮像素子106の光電変換部を模式的に示したものである。配線層CL(Contact
Layer)には、CMOSイメージセンサ内の各種信号を伝達する信号線が形成される。撮像光学系TL(Taking Lens)およびその射出瞳EP(Exit Pupil)を模式的に示す。撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮像光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。撮像用画素で生成された信号はカメラ信号処理部108に出力される。なお、図15(B)にはR画素の入射光線のみを示すが、G画素及びB画素についても同様である。
図16は、撮像光学系の水平方向に瞳分割を行うための焦点検出用画素の配置と構造を例示する。水平方向に瞳分割を行うことにより、水平方向に輝度分布を有した被写体、例えば縦線に対して焦点検出が可能になる。水平方向の定義については、撮像光学系の光軸が水平となる状態で撮影者がカメラを構えたとき、光軸および鉛直軸に直交する直線に沿う方向とする。この方向に直交する鉛直方向を垂直方向とする。
本実施形態では、撮像光学系の射出瞳の異なる領域をそれぞれ通過した光のうち、一部が遮光され、遮光されない光束を焦点検出用画素が受光する。図16(A)は、焦点検出用画素を含む2行2列の画素の平面図である。撮像信号を得る場合、G画素で輝度情報の主成分が取得される。人間の画像認識特性が輝度情報に敏感であるためであり、G画素が欠損すると画質劣化が認知され易い。一方、R画素又はB画素は色情報(色差情報)を取得する画素であるが、人間の視覚特性は、輝度情報と比較して色情報には鈍感である。このため、色情報を取得する画素については多少の欠損が生じても画質劣化は認識され難い。そこで、本実施形態では、2行2列の画素のうち、G画素を撮像用画素として残し、R画素とB画素を焦点検出用画素SA及びSBにそれぞれ置き換えている。
図16(A)にてA−A線で切断した場合の断面図を図16(B)に示す。マイクロレンズMLと、光電変換素子PDについては図15(B)に示した撮像用画素と同一構造である。本実施形態では、焦点検出用画素の信号を画像生成には用いないため、色分離用カラーフィルタの代わりに透明膜CF(白色)が配置される。また、光電変換部を単位として瞳分割を行うために、配線層CLの開口部はマイクロレンズMLの中心線に対して偏倚している。具体的には、焦点検出用画素SAの開口部OPHAは水平方向(図16では、右側)に偏倚しており、撮像光学系TLの左側の射出瞳EPHAを通過した光束を受光する。焦点検出用画素SBの開口部OPHBは、画素SAとは逆方向の左側に偏倚し、撮像光学系TLの右側の射出瞳EPHBを通過した光束を受光する。上述した構成の焦点検出用画素SAを水平方向に沿って規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、焦点検出用画素SBを水平方向に沿って規則的に配列し、これらの画素群で取得した被写体像をB像とする。A像とB像の各信号は位相差AF信号処理部119(図1参照)に出力される。位相差AF信号処理部119は、A像とB像の相対位置(位相差)を検出することで、被写体像の像面上のピントずれ量(デフォーカス量)を検出する。検出結果は後述のカメラ制御部に出力される。
なお、垂直方向に輝度分布を有する被写体、例えば横線のピントずれ量を検出する場合には画素SAの開口部OPHAを下側に偏倚させ、画素SBの開口部OPHBを上側に偏倚させるように90度回転させた構成とすればよい。あるいは、画素SAの開口部OPHAを上側に偏倚させ、画素SBの開口部OPHBを下側に偏倚させるように構成してもよい。
図17は、図15及び図16を参照して説明した撮像用画素及び焦点検出用画素SA、SBの配置例を示す。焦点検出用画素を撮像画素に使用できないことを考慮して、本実施形態では、焦点検出用画素が、水平方向及び垂直方向に沿って所定間隔で離散的に配置される。また、画像劣化が目立ち難くなるように、G画素の位置には焦点検出用画素を配置していない。本実施形態では、図17に示すように、12×24個の画素からなるブロック内に、2組の画素SA及び画素SBが配置されており、それぞれ1ブロックで画素配置パターンが完結するように構成されている。
なお、位相差検出方式のAF(オートフォーカス)が可能な撮像素子106の構成として、図3で示すように1つのマイクロレンズ下で画素を分割する方式でもよい。図3(A)は撮像素子106における焦点状態検出用のセンサ配置を例示し、図3(B)はその一部を拡大した図である。マイクロレンズを円形枠で表し、画素ごとのセンサを矩形枠で表している。1つのマイクロレンズに対して画素が左右に2つに分かれている場所(例えば3行2列目参照)では、これらの画素の出力が加算されてカメラ信号処理部108(図1参照)に出力される。一方、位相差AF信号処理部119には、左右の画素ごとに独立して出力される。例えば、図3(B)にて対をなすセンサのうち、左側に位置するセンサ群によってA像が形成され、右側に位置するセンサ群によってB像が形成される。位相差AF信号処理部119は対をなす左右の像信号の位相差から像面上のピントずれ量(デフォーカス量)を求める。
カメラ信号処理部108は、増幅器107からの出力信号に対して各種の画像処理を施し、映像信号を生成する。表示部109は液晶表示デバイス(LCD)等で構成され、カメラ信号処理部108からの映像信号に従って画像を表示する。記録部110は、カメラ信号処理部108からの映像信号を半導体メモリ等の記録媒体に記録する。TVAFゲート113は増幅器107からの全画素の出力信号のうち、焦点検出に用いる領域の信号のみを通す役目をもつ。TVAF信号処理部114は、TVAFゲート113を通した信号から高周波成分を抽出し、TVAF評価値信号(評価信号)を生成して、カメラ制御部116に出力する。TVAF評価値信号は、撮像素子106からの出力信号に基づいて生成される映像の鮮鋭度(コントラスト状態)を表す。鮮鋭度は撮像光学系の焦点状態によって変化するため、TVAF評価値信号の示す値(AF評価値)は撮像光学系の焦点状態を表す焦点調節用情報である。図2(A)は、横軸にフォーカスレンズの位置をとり、縦軸にAF評価値をとって両者の関係を例示したグラフである。AF評価値がピーク値(極値)となるときのフォーカスレンズ105のピーク位置が合焦点に相当する。
位相差AF信号処理部119は、上述したように、撮像素子106の出力から得られたA像とB像の位相差に基づいて、像面上のピントズレ量(像面ズレ量)を算出し、カメラ制御部116に出力する。撮像装置全体の動作制御を司るカメラ制御部116は、撮像画面に対して所定の割合でTVAF枠を設定するようにTVAFゲート113を制御する。カメラ制御部116は、TVAF信号処理部114から取得したTVAF評価値信号と位相差AF信号処理部119から取得した像面ズレ量に基づいてAF制御を行い、フォーカスレンズ駆動命令をレンズ制御部115に送信する。ここでカメラ制御部116が設定するフォーカスレンズ駆動量は像面移動量(被写体像の結像位置の移動量)とする。その理由は、交換レンズシステムでは使用するレンズユニットが異なり、また同じレンズユニットでもレンズ位置(フォーカス位置やズーム位置)により、像面移動量に対する実際のフォーカスレンズ駆動量が異なるためである。また、設定される像面移動量は駆動方向により符号が異なり、例えば至近側がプラス、無限遠側がマイナスとする。
図2(C)はレンズ駆動量と像面移動量を示す模式図である。矢印Aはレンズ位置の変化を表し、矢印Bは像面位置の変化を表す。レンズ駆動量と像面移動量の比率が敏感度であり、使用するレンズユニットごとに異なり、またフォーカスレンズやズームレンズの位置によって変化する。敏感度(Sと記す)はレンズユニット117内の記憶部に予め用意されたデータテーブルを参照することにより求められる。
次に、レンズユニット117内の駆動部とその制御部を説明する。
ズーム駆動部111は第2レンズ群102を駆動し、フォーカス駆動部112はフォーカスレンズ105を駆動する。ズーム駆動部111及びフォーカス駆動部112は、ステッピングモータ、DCモータ、振動型モータまたはボイスコイルモータ等のアクチュエータにより構成される。レンズ制御部115は、カメラ制御部116からフォーカスレンズ駆動命令を受け取り、この命令にしたがってフォーカス駆動部112を制御し、フォーカスレンズ105を光軸方向に移動させて焦点合わせを行う。その際、レンズ制御部115はカメラ制御部116からレンズ駆動量として像面移動量を取得する。レンズ制御部115は指示された像面移動量から実際のフォーカスレンズ駆動量(レンズ位置座標値)を演算してフォーカス制御を行う。また、レンズ制御部115はカメラ制御部116に対してフォーカスレンズ105の位置情報を送信する。
次にカメラ制御部116からレンズ制御部115に送信されるフォーカスレンズ駆動命令について説明する。本実施形態では、1V(垂直同期信号VDの1周期の長さであり、以下、n周期分の長さを「nV」と表記する)中に、2回の通信が行われる。第1通信では、レンズ制御部115からカメラ制御部116へレンズ位置および基準位置の送信が行われる。第2通信では、カメラ制御部116におけるAF制御、カメラ制御部116からレンズ制御部115へフォーカスレンズ駆動命令の送信が行われる。第1通信及び第2通信はそれぞれ固定長のパケット通信である。なお、カメラ制御部116は、第1通信で受信した情報を用いてAF制御を行い、AF制御で生成したフォーカスレンズ駆動命令を、続く第2通信でレンズ制御部115に送信する。
図10は、駆動命令とそれに従うレンズの動きを示す。
図10(A)は、カメラ制御部116からレンズ制御部115への通信に含まれる、フォーカスレンズ105の駆動情報を例示する。この駆動情報は上記第2通信の駆動命令に含まれ、フォーカスレンズ駆動の基準となるレンズ位置についての第1の情報、及び、像面上の移動量についての第2の情報を含む。
・基準位置α :(レンズ位置座標)
・振幅β :(像面移動量座標)
・基準位置移動量γ :(像面移動量座標)
ここで、カメラ制御部116が設定するフォーカスレンズ駆動量は像面移動量とする。換言すると、振幅β及び基準位置移動量γは、被写体像の結像位置の移動量についての情報である。なお、基準位置αは、フォーカスレンズ105に設定されたレンズ位置座標系での位置である。基準位置αは、カメラ制御部116から送信する駆動命令の基準となる位置であって、ウォブリングの際には通常ウォブリングの振動中心位置である。
レンズ制御部115は、上記の駆動情報を取得し、テーブルデータの参照によって得た敏感度S1、S2を用いて、以下の演算式により目標位置および新たな基準位置を算出する。ここでS1は現在の基準位置での敏感度を表し、S2は新基準位置での敏感度を表す。
基準位置移動ありの場合(γ≠0)
・フォーカスレンズ駆動目標位置=α+β/S2+γ/S1 ・・・(式1)
・新基準位置=α+γ/S1 ・・・(式2)
基準位置移動なしの場合(γ=0)
・フォーカスレンズ駆動目標位置=α+β/S1+γ/S1 ・・・(式1)
・新基準位置=α+γ/S1 ・・・(式2)
振幅βや基準位置移動量γについては、図2(C)で説明した敏感度で除算することでレンズ位置に換算される。つまり、レンズ制御部115は指示された像面移動量に対して、フォーカスレンズ105を実際に駆動させるための実駆動量を演算し、フォーカスレンズ105の位置を制御する。そして、レンズ制御部115は、カメラ制御部116に対して、フォーカスレンズ105の位置情報を送信する。
図10(B)は、レンズ制御部115からカメラ制御部116へ返信される情報に含まれる、フォーカスレンズ105の位置についての情報を例示する。当該情報の通信は、上記第1通信で行われる。
・フォーカスレンズ位置 :(レンズ位置座標)
・新基準位置 :(レンズ位置座標)
これらはレンズ位置座標系での位置情報である。上記のように、フォーカスレンズ105の位置についての情報は、複数の位置情報を含む。つまり、微小振動の新たな基準となるフォーカスレンズ105の位置についての第3の情報と、レンズ制御部115からカメラ制御部116への通信のタイミングと対応するフォーカスレンズ位置についての第4の情報である。なお、第4の情報は、所定のタイミングにおけるフォーカスレンズ位置についての情報であってもよい。例えば、第2通信でカメラ制御部116から所定のタイミング(通知タイミング)についての情報を送信し、この所定のタイミングにおけるフォーカスレンズ位置の情報を次の第1通信でレンズ制御部115から送信してもよい。ここで、第2通信で受信した所定のタイミングが次の第1通信よりも後のタイミングである場合、レンズ制御部115は所定のタイミングにおけるフォーカスレンズ位置を予測し、予測したフォーカスレンズ位置を第1通信で送信してもよい。
図10(C)は、ウォブリング動作時のフォーカスレンズ105の動きを例示する。本例では、最初の基準位置αに対し、新基準位置にはαにダッシュ記号を付して示す。図11(A)は、具体的な数値を用いて、ウォブリング動作時の駆動命令を説明する図である。横軸に時間をとり、上部に垂直同期信号(VD)が出力されるタイミングを示す。なお、垂直同期信号の出力タイミングは、撮像素子106の電荷蓄積タイミングに同期している。同図では、レンズ→カメラ通信が上記第1通信に、カメラ→レンズ通信が上記第2通信に相当する。なお、第1通信、第2通信で通信される情報は、図示したものに限定されない。同図では、フォーカスレンズ105が駆動される様子を示す。また下部には、以下の値を示す。
・レンズ→カメラの通信データ:フォーカスレンズ位置、新基準位置
・カメラ→レンズの通信データ:基準位置α、振幅β、基準位置移動量γ
「レンズ→カメラ」はレンズ制御部115からカメラ制御部116への送信を意味し、「カメラ→レンズ」はカメラ制御部116からレンズ制御部115への送信を意味する。
垂直同期期間(1)、(3)、(5)で行われる通信の内容は以下の通りである。なお、ここでは説明を簡単にするためS1=S2=0.5とする。
・垂直同期期間(1):時刻T1「カメラ→レンズ」α=100,β=5,γ=0
受信した駆動命令に基づいて、レンズ制御部115は目標位置と新基準位置を計算する。
フォーカスレンズ駆動目標位置=100+5/0.5+0/0.5=110
新基準位置=100+0/0.5=100
・垂直同期期間(3):時刻T3「カメラ→レンズ」α=100,β=−5,γ=0
受信した駆動命令に基づいて、レンズ制御部115は目標位置と新基準位置を計算する。
フォーカスレンズ駆動目標位置=100−5/0.5+0/0.5=90
新基準位置=100+0/0.5=100
・垂直同期期間(5):時刻T5「カメラ→レンズ」α=100,β=5,γ=10
受信した駆動命令に基づいて、レンズ制御部115は目標位置と新基準位置を計算する。
フォーカスレンズ駆動目標位置=100+5/0.5+10/0.5=130
新基準位置=100+10/0.5=120
図11(A)の例では、上記の情報を通信することにより、基準位置100を中心とするウォブリング動作の後、基準位置120を中心とするウォブリング動作が行われる。
なお、上記の例では、カメラ制御部116は、送信した駆動命令によりフォーカスレンズ駆動が行われた後、フォーカスレンズが至近側/無限側で停止している間に撮像素子106で蓄積された電荷から取得されたAF評価値に基づいて、AF制御を行う。例えば、カメラ制御部116が時刻T1で送信した駆動命令によりフォーカスレンズが至近方向へ駆動された後、至近側で停止している間に蓄積された電荷から取得されたAF評価値に基づいて、時刻T3で送信する駆動命令を生成する。
なお、説明を省略したが、垂直同期期間(2)、(4)、(6)でも、レンズ制御部115からカメラ制御部116へフォーカスレンズ位置と新基準位置を送信している。また、カメラ制御部116からレンズ制御部115へ基準位置α、振幅β、基準位置移動量γを送信している。垂直同期期間(2)、(4)、(6)にて取得されるAF評価値は、フォーカスレンズを駆動している間に撮像素子106で蓄積された電荷から生成された値であるので、当該AF評価値はAF制御には用いない。そこで、基本的には基準位置α、振幅βは前回と同じ値とし、基準位置移動量γとして0が送信される。但し、フォーカスレンズが可動領域の端に到達した場合には例外となる。
次に、ウォブリング動作中にフォーカスレンズが設定された可動領域の端に到達した場合を図11(B)に示す。フォーカスレンズが可動領域の端に到達した場合、レンズ制御部115は、フォーカスレンズ位置が可動領域の端であることを示すコマンド(端情報を含む)をカメラ制御部116に送信する。端情報は、1V毎の第1通信でレンズ制御部115からカメラ制御部116に送信されるデータに含まれている。なお、図11(B)では、端情報に相当するビットを0にするか1にするかにより、端であるかどうかをカメラ側に伝えている。本実施形態では、端に到達しない場合に上記ビットを「0」とし、端に到達する場合に上記ビットを「1」とする。
・レンズ→カメラの通信データ:フォーカスレンズ位置、新基準位置、端情報
・カメラ→レンズの通信データ:基準位置α、振幅β、基準位置移動量γ
「レンズ→カメラ」はレンズ制御部115からカメラ制御部116への送信を意味し、「カメラ→レンズ」はカメラ制御部116からレンズ制御部115への送信を意味する。
垂直同期期間(1)、(3)、(5)で行われる通信の内容は以下の通りである。なお、簡単のためS1=S2=0.5とする。また、フォーカス端の位置を115とする。
・垂直同期期間(1):時刻T1「カメラ→レンズ」α=100,β=5,γ=10
受信した駆動命令に基づいて、レンズ制御部115は目標位置と新基準位置を計算する。
フォーカスレンズ駆動目標位置=100+5/0.5+10/0.5=130
新基準位置=100+10/0.5=120
レンズ制御部115は、フォーカスレンズ駆動目標位置が130であるため、フォーカス端の位置「115」でフォーカスレンズを停止させる。さらに、フォーカスレンズ位置「115」(ここではフォーカス端の位置)と新基準位置120と端情報「1」を、2V後(垂直同期期間(3)に対応)の通信で送信する。
次に、カメラ制御部116は、基準位置αをフォーカス端の位置に設定する。このとき、カメラ制御部116は、基準位置移動量γには振幅βの2倍の値を設定する。
・垂直同期期間(3):時刻T3「カメラ→レンズ」α=115,β=−5,γ=−10
受信した駆動命令に基づいて、レンズ制御部115は目標位置と新基準位置を計算する。
フォーカスレンズ駆動目標位置=115−5/0.5−10/0.5=85
新基準位置=115−10/0.5=95
レンズ制御部115は、算出した目標位置と新基準位置を、2V後(垂直同期期間(5)に対応)の通信でカメラ制御部116に送信する。
・垂直同期期間(5):時刻T5「カメラ→レンズ」α=95,β=5,γ=0
受信した駆動命令に基づいて、レンズ制御部115は目標位置と新基準位置を計算する。
フォーカスレンズ駆動目標位置=95+5/0.5+0/0.5=105
新基準位置=95+0/0.5=95
レンズ制御部115は、算出した目標位置と新基準位置を、2V後(垂直同期期間(7)に対応)の通信でカメラ制御部116に送信する。
本例では基準位置100を中心とするウォブリング動作から、フォーカスレンズが可動領域の端に到達した後、基準位置95を中心とするウォブリング動作が行われる。
次に、カメラ制御部116が行うAF制御について、図4および図5のフローチャートを用いて説明する。本制御は、カメラ制御部116内のメモリに格納されたコンピュータプログラムに従って実行される。
S601で処理が開始し、S602ではフォーカスレンズ105を微小間隔で駆動させる、微小駆動動作が行われる。この動作により合焦判定、すなわち、合焦状態であるか否か、および合焦状態でない場合にはどの方向に合焦点があるかについての方向判定が可能となる。なお、動作説明の詳細については図6および図7で後述する。S603は、合焦判定ができたか否かについての条件判断処理であり、合焦判定ができた場合、S612へ進んで、合焦停止および再起動判定処理が行われる。また、合焦判定ができていない場合、S604へ進む。S604は、方向判別ができたか否かについての条件判断処理であり、方向判別ができた場合、図5のS605へ進んで山登り駆動が行われる。また、方向判別ができていない場合、S608に進む。S605では、判別した方向に沿って所定の速度でフォーカスレンズ105の山登り駆動が実行される。山登り駆動では、TVAF評価値が増加する方向へフォーカスレンズ105を駆動する制御が行われる。TVAF評価値と、レンズユニット117から取得したフォーカスレンズ位置とを関係付けて、TVAF評価値がピーク値となるフォーカスレンズ105の位置(以下、ピーク位置という)を探索する処理が行われる。その詳細については図12および図13を用いて後述する。S606では、山登り駆動の動作中にフォーカスレンズ105をピーク位置に戻すため、カメラ制御部116は以下の駆動情報を設定する。
・基準位置 = ピーク位置
・振幅 = 0
・基準位置移動量 = 0
この駆動情報はレンズ制御部115に送信される。これにより、ピーク位置にフォーカスレンズ105を移動させることができる。
S607は、フォーカスレンズ105がピーク位置に戻ったか否かの判定処理である。フォーカスレンズ105がピーク位置に戻っている場合、図4のS602に戻って再び微小駆動動作が行われる。また、フォーカスレンズ105がピーク位置に戻っていない場合には、S606へ戻って動作を継続する。
図4のS604にて方向判定ができていない場合、S608に処理を進め、位相差検出によって像面ズレ量が検出できたか否かを判定する処理が行われる。S608で像面ズレ量が検出できている場合、S609に進み、像面ズレ量が所定量(閾値)以上であるか否かについて判定される。像面ズレ量が所定量以上である場合、図5のS610へ進み、像面ズレ量に相当する分だけフォーカスレンズ105が駆動される。この場合に設定される駆動情報は以下の通りである。
・基準位置 = 位相差検出にて焦点検出用画素の電荷蓄積期間の中心に相当する時点でのフォーカスレンズ位置
・振幅 = 位相差AFで検出した像面ズレ量に相当する値
・基準位置移動量 = 0
この駆動情報はレンズ制御部115に送信される。位相差検出の場合は数フレームに跨って電荷蓄積を行って像信号を生成する場合がある。そこで、カメラ制御部116は、位相差検出のための電荷蓄積中に第1通信でレンズ制御部115より受信したフォーカスレンズ位置に基づいて、像面ズレ量を検出した際の電荷蓄積中心でのフォーカスレンズ位置を算出する。算出した位置は基準位置の情報としてレンズ制御部115に送信される。次のS611では、現在のフォーカスレンズ位置から位相差AFで検出した像面ズレ量に相当する分だけ、フォーカスレンズ105が移動したか否かについて判定される。像面ズレ量に相当する分のレンズ駆動が行われた場合、図4の602に戻り、当該レンズ駆動が行われていない場合、S610に戻る。一方、S608で像面ズレ量が検出できなかった場合や、S609で像面ズレ量が所定量未満の場合にはS602に戻る。
次に、図4のS612からの合焦停止および再起動判定処理について説明する。
S612でカメラ制御部116はTVAF評価値を取得する。S613では合焦判定された位置、つまりピーク位置へフォーカスレンズ105を移動させるために、以下の駆動情報が設定される。
・基準位置 = ピーク位置
・振幅 = 0
・基準位置移動量 = 0
この駆動情報はレンズ制御部115に送信される。これにより、合焦判定された位置へフォーカスレンズ105を駆動させることができる。
S614はフォーカスレンズ105がピーク位置へ移動したか否かの判定処理であり、ピーク位置に移動している場合、図5のS615へ進み、そうでなければS612へ戻る。S615でカメラ制御部116は合焦点におけるTVAF評価値をメモリに保持し、次のS616で現時点でのTVAF評価値をTVAF信号処理部114から取得する。S617は、S615で保持したTVAF評価値と、S616で取得した最新のTVAF評価値とを比較し、TVAF評価値の変動幅が大きいかを判定する処理である。変動幅を閾値と比較することにより、変動の大小が判定される。TVAF評価値が大きく変動している場合、カメラ制御部116は被写体が変更されたものと判断して、図4のS602に戻って微小駆動動作を再開させる。また、TVAF評価値の変動幅が閾値以下の場合、S616へ戻る。
次に、微小駆動動作について図6および図7を参照して説明する。
S701で処理が開始し、S702では、以下の処理が一定の周期で行われるように、垂直同期信号(VD)のタイミングでのウエイト(待ち処理)が実行される。
S703でカメラ制御部116は、レンズ制御部115と通信して、フォーカスレンズ105の現在位置および基準位置等の情報を取得する。S704では、駆動周期および駆動ディレイ時間を求める処理が行われる。本例では駆動周期2V、駆動ディレイ時間1/2Vとする。S705でカメラ制御部116は、現在の変数Modeの値がゼロであるか否かを判定する。Modeは状態の違いを0から3で表す内部変数であり、その値がゼロの場合、S706へ進み、ゼロ以外の場合にはS711へ処理を進める。
S706でカメラ制御部116は、TVAF評価値を無限遠側TVAF評価値としてメモリに保存する。これは無限遠側にフォーカスレンズ105が滞留している間に蓄積した撮像素子106の出力に基づく評価値である。次のS707(図7参照)でModeの値に1が加算されて、S708へ処理を進める。なお、Modeの値が4以上になった場合には0に戻る。
S708では、予め設定された回数(NAと記す)をもって連続して、合焦方向と判断される方向が同一であるか否かについて判定される。NA回の連続した合焦方向の一致が判定された場合、S725へ進み、そうでなければS709へ進む。S709では、予め設定された回数(NBと記す)をもって、フォーカスレンズ105が同一エリア内で往復を繰り返したか否かについて判定される。同一エリア内の往復がNB回繰り返された場合、S726へ進み、そうでなければS710に進んでカメラ制御部116は、レンズ制御部115にフォーカスレンズ105の駆動命令を送信する。
S725でカメラ制御部116は方向判別ができたと判断して、S728へ処理を進め、前記一連の処理を終了して山登り駆動へ移行させる。S726では過去のレンズ位置情報に基づいて合焦位置演算が行われる。S727でカメラ制御部116は合焦判定ができたと判断して、S728へ処理を進め、前記一連の処理を終了して合焦停止および再起動判定へ移行させる。
図6のS711では、現時点でのModeの値が1であるか否かについて判定される。Modeの値が1であれば、図7のS712へ処理を進め、1でなければS717へ処理を進める。S712では、像面を基準位置からどれだけ振動させるかを示す振幅値と、その振動中心を像面でどれだけ移動させるかを示す基準位置移動量が演算される。ここでの駆動量は像面移動量である。また振幅ついては、詳しく述べないが焦点深度を基準として、焦点深度が浅い時には振幅値を小さく設定し、焦点深度が深い時には振幅値を大きく設定する処理が行われる。S713では、Modeの値がゼロの場合における無限遠側TVAF評価値(S706参照)と、後述のModeの値が2の場合における至近側TVAF評価値(S718参照)とが比較される。無限遠側TVAF評価値が至近側TVAF評価値よりも大きい場合、S714へ進む。また、無限遠側TVAF評価値が至近側TVAF評価値以下である場合、S715へ進む。
S714でカメラ制御部116は、以下に示す駆動情報を設定する。
・基準位置 = 前回のレンズ位置情報から取得した基準位置
・振幅 = 像面を振動させる量
・基準位置移動量 = 像面の振動中心を移動させる量
この駆動情報はレンズ制御部115に送信される。これにより、フォーカスレンズ105の基準位置を、基準位置移動量に相当する分だけ移動させ、新基準位置から振幅に相当する駆動量でフォーカスレンズ105を移動させることができる。
また、S715でカメラ制御部116は、以下に示す駆動情報を設定する。
・基準位置 = 前回のレンズ位置情報から取得した基準位置
・振幅 = 像面を振動させる量
・基準位置移動量 = 0
この駆動情報はレンズ制御部115に送信される。これにより、フォーカスレンズ105を基準位置から振幅に相当する駆動量で移動させることができる。S714またはS715の後、S707に処理を進める。
図6のS717では、現時点でのModeの値が2であるか否かについて判定される。Modeの値が2であれば図7のS718へ進み、2でなければ図7のS720へ進む。
S718でカメラ制御部116はTVAF評価値を至近側TVAF評価値としてメモリに保存する。このTVAF評価値は、至近側にフォーカスレンズ105が滞留している間に蓄積したセンサ出力に基づく。そして、S707に処理を進める。S708以降は前述の通りである。
S720でフォーカスレンズ105を至近側に駆動する処理にて、カメラ制御部116は振幅および基準位置移動量を演算する。これらは像面移動量である。次のS721では、Modeの値が0の場合における無限遠側TVAF評価値(S706参照)と、Modeの値が2の場合における至近側TVAF評価値(S718参照)とが比較される。至近側TVAF評価値が無限遠側TVAF評価値よりも大きい場合、S722へ処理を進める。また、至近側TVAF評価値が無限遠側TVAF評価値以下である場合、S723へ処理を進める。
S722でカメラ制御部116は、以下に示す駆動情報を設定する。
・基準位置 = 前回のレンズ位置情報から取得した基準位置
・振幅 = 像面を振動させる量
・基準位置移動量 = 振動中心を像面上で移動させる量
この駆動情報はレンズ制御部115に送信される。
また、S723でカメラ制御部116は、以下に示す駆動情報を設定する。
・基準位置 = 前回のレンズ位置情報から取得した基準位置
・振幅 = 像面を振動させる量
・基準位置移動量 = 0
この駆動情報はレンズ制御部115に送信される。S722またはS723の後、S707に処理を進める。
図8(A)はフォーカスレンズ動作の時間経過を例示し、横軸は時間を示し、最上部には、映像信号の垂直同期信号VDを示す。その下に示す平行四辺形枠は撮像素子(CMOSセンサ)の蓄積時間(第1から第11の蓄積期間参照)を表し、その下のEVx(x=1から10)はそのタイミングで得られるTVAF評価値を表す。さらにその下にはフォーカスレンズ105の位置変化を示す。Tx(x=3,5,6)は、TVAF評価値がカメラ制御部116に取り込まれる時刻を表す。
図8(B)はCMOSセンサの駆動を説明する図である。図8(B)は左側に撮像面と走査ラインを示し、右側には走査ラインごとの蓄積時間と転送時間を示している。CMOSセンサは、ローリングシャッタと称して、走査ラインごとにシャッタ動作を行う方式を採用している。このため、画面の上部と下部では、図示のように蓄積時間および転送時間が異なる。つまり、走査ラインごとに蓄積期間およびその末尾に来る転送期間に遅延が生じている。蓄積期間全体を表したものが図8(A)に示す平行四辺形枠である。
ウォブリング動作(図2(B)参照)では、フォーカスレンズ105を至近側と無限遠側に動かしながらTVAF評価値を監視し、合焦方向にレンズ駆動を行う。その際、フォーカスレンズ105が至近側や無限遠側に位置している間に、撮像素子106に蓄積された映像信号からTVAF評価値を得る必要がある。そのためには、撮像素子106の蓄積期間に対してフォーカスレンズ105の駆動タイミングを合わせる必要がある。蓄積期間の全てに亘ってフォーカスレンズ105が至近側や無限遠側に位置している訳ではないが、TVAF枠(焦点状態の検出枠)は、撮像画面に対して小さい範囲に設定されるので、TVAF枠内の走査ラインの蓄積には十分である。例えば、図8(A)の第3蓄積期間中に撮像素子106に蓄積された電荷に対して、時刻T3でTVAF評価値EV3がカメラ制御部116に取得される。第5蓄積期間中に撮像素子106に蓄積された電荷に対して、時刻T5でTVAF評価値EV5が取り込まれる。時刻T6ではTVAF評価値EV3とEV5が比較され、「EV5>EV3」であれば振動中心が移動し、一方、「EV3≧EV5」であれば振動中心は移動しない。このようにして、合焦方向の判別と合焦状態の判定が行われる。
図9は、横軸に時間をとり、1V内でのカメラ制御部116およびレンズ制御部115の処理を示した図である。まず、垂直同期信号(VD)の直後にカメラ制御部116はレンズ制御部115から、レンズ位置および基準位置の情報を取得する。次にカメラ制御部116はTVAF評価値、位相差AF情報を取得してAF制御を行い、フォーカスレンズ駆動命令を作成する。レンズ制御部115はカメラ制御部116からフォーカスレンズ駆動命令を受け取った後で、前記したようにフォーカス駆動目標位置を演算する。そして駆動ディレイ時間の待ち処理を経て、レンズ駆動処理が行われることで実際にフォーカスレンズ105が移動する。
次に、山登り駆動動作について図12および図13を用いて説明する。
S1301で処理が開始し、S1302では、以下の処理が一定の周期で行われるように、ウエイト処理が実行され、VDのタイミングで以下の処理が開始する。S1303でカメラ制御部116はレンズ制御部115と通信し、フォーカスレンズ位置や基準位置等の情報を取得する。S1304でカメラ制御部116は山登り駆動スピードを設定する。ここで、山登り駆動スピードとは単位時間当たり(例えば1秒当たり)の像面移動量である。ここでは詳しく述べないが、焦点深度を基準として、像面が変化するスピードを、焦点深度が浅いときには小さくし、焦点深度が深いときには大きくする設定処理が行われる。これによりボケの変化量が略一定となり、見た目の違和感が無くなる。
S1305では、S1303で取り込んだTVAF評価値と、前回のTVAF評価値が比較される。今回と前回とでTVAF評価値の差が所定量(閾値)よりも小さいか否かが判定され、所定量より小さい場合、S1306へ進み、所定量以上の場合には図12のS1312へ進む。ここで、所定量とはTVAF評価値のS/N(信号対ノイズ)比を考慮して決められる判定基準値であり、被写体を固定としてフォーカスレンズ位置を一定とした条件下でTVAF評価値の変動幅以上の値に設定されている。このような設定にしないと、TVAF評価値の変動の影響を受けることになり、正しい方向に山登り駆動を行えないからである。
S1306はフォーカスレンズ105が無限端に到達したか否かの判定処理である。無限端とは、設計上決められたフォーカスレンズ105の可動範囲にて最も無限遠寄りの端位置である。フォーカスレンズ105が無限端に到達していればS1307へ進み、到達していなければS1308へ進む。S1308はフォーカスレンズ105が至近端に到達したか否かの判定処理である。至近端とは、設計上決められたフォーカスレンズ105の可動範囲にて最も至近寄りの端位置である。フォーカスレンズ105が至近端に到達していればS1309へ進み、到達していなければ図13のS1310へ進む。S1307や1309では、駆動方向がそれぞれ反転した端を記憶するためのフラグがセットされる。S1307で無限端フラグがセットされ、S1309で至近端フラグがセットされた後、図13のS1314へ進む。フォーカスレンズ105はその駆動方向が逆方向に反転して山登り駆動を続ける。
図13のS1310では前回と同じ順方向に沿って、S1304で決定した速度でフォーカスレンズ105を山登り駆動するために、カメラ制御部116は以下に示す駆動情報を設定する。
・基準位置 = 第1通信で取得したフォーカスレンズ位置
・振幅 = 方向に応じた値(例えば+1又は−1で示す)
・基準位置移動量 = 0
S1310またはS1314の後、S1311に進み、設定された駆動情報はレンズ制御部115に送信される。また、上記情報の他に、レンズ制御部115は、単位時間あたりの像面移動量の情報を受信する。そして、受信した単位時間での像面移動量を用いて、1Vでのフォーカスレンズ105の移動量を算出する。カメラ制御部116から受信した情報に基づいて、レンズ制御部115は、フォーカスレンズ105の実位置を、所望の像面移動量に相当する分だけ移動させることができる。その後、S1302へ戻り、今回の処理を終える。
S1312は、TVAF評価値がピークを越えて減少しているか否かの判定処理である。TVAF評価値が減少していない場合、S1313へ進む。また、フォーカスレンズ105がピーク位置を越え、TVAF評価値が減少している場合、S1315へ進んで山登り駆動を終了する。そして、S1316へ進んで一連の処理を終了させ、微小駆動動作へ移行する。S1313では、TVAF評価値が所定回数に亘って連続して減少しているかについて判定される。所定回数の連続した減少が判定された場合、S1314へ進み、それ以外の場合、S1310へ進む。
S1314では、前回とは逆方向に、S1304で決定した速度でフォーカスレンズ105を山登り駆動するため、カメラ制御部116は以下に示す駆動情報を設定する。
・基準位置 = 第1通信で取得したフォーカスレンズ位置
・振幅 = 方向に応じた値(例えば+1又は−1で示し、前回とは逆の符号)
・基準位置移動量 = 0
S1311の処理に進み、S1314で決定した駆動情報がレンズ制御部115に送信される。これにより、基準位置を、前回とは逆の方向に基準位置移動量だけ変更することができる。
図14は、山登り駆動動作時のフォーカスレンズ105の動きを例示する。図中のAではTVAF評価値がピーク値を越えて減少しているので、カメラ制御部116は合焦点を通過したと判断して山登り駆動動作を終了させ、微小駆動動作に移行させる。一方、Bではピーク値が見つからないままTVAF評価値が減少しているので、カメラ制御部116は駆動方向を反転させ、山登り駆動動作を続行する。
以上説明したように、フォーカスレンズ105は「再起動判定→微小駆動→山登り駆動→微小駆動→再起動判定」を繰り返しながら移動する。そして、撮像装置はTVAF評価値が常に最大値となるように焦点調節制御を行って、合焦状態を維持する。
本実施形態によれば、交換レンズシステムにおいて、ウォブリング動作を含む各種のフォーカスレンズの動作に関して、撮像装置本体からレンズ装置に対し、統合した駆動命令を与えることができる。具体的には、撮像装置本体からレンズ装置に対し、駆動情報として「基準位置、振幅、基準位置移動量」を送信する。これにより、ウォブリング動作や山登り駆動動作等の動作状態に応じて駆動命令を切り替える必要はないため、制御の複雑化を伴うことがなく、撮像装置本体の制御部による駆動命令の通りにフォーカスレンズの動きを制御できる。また、撮像装置本体が発行する駆動命令では像面移動量が設定され、この駆動命令を受信したレンズ装置は像面移動量に対応するフォーカスレンズの実駆動量を算出してレンズ駆動を行える。
なお、前記実施形態では主に、カメラ制御部116からウォブリング動作の駆動命令をレンズ制御部115に送信する例を説明した。これに限らず、カメラ制御部116は特定の像面移動量の移動動作や、特定のレンズ位置への移動動作に係る駆動情報をレンズ制御部115に送信することができる。また、前記実施形態に係る駆動制御方法は、フォーカスレンズ以外の可動光学部材、例えばズームレンズや手振れ補正用レンズ等の駆動に応用することもできる。
105 フォーカスレンズ
106 撮像素子
114 TVAF信号処理部
115 レンズ制御部
116 カメラ制御部
117 レンズユニット
118 カメラユニット

Claims (28)

  1. フォーカスレンズを含む撮像光学系を備えたレンズユニットを装着可能な撮像装置であって、
    被写体像を光電変換することにより撮像信号を生成する撮像手段と、
    前記撮像信号の高周波成分を用いて焦点調節用の評価信号を生成する信号処理手段と、
    前記評価信号に基づいてフォーカスレンズの駆動情報を生成し、装着された前記レンズユニットに送信する制御手段を有し、
    前記制御手段は、前記フォーカスレンズを微小振動させる際、前記フォーカスレンズの駆動情報として、前記微小振動の基準位置となるフォーカスレンズ位置についての第1の情報、及び、前記第1の情報の示すフォーカスレンズ位置を基準位置とする前記フォーカスレンズの像面上の移動量についての第2の情報を前記レンズユニットに送信することを特徴とする撮像装置。
  2. 前記第1の情報と前記第2の情報は、異なる座標系で示される情報であることを特徴とする請求項1に記載の撮像装置。
  3. 前記制御手段は、前記第2の情報として、前記第1の情報の示すフォーカスレンズ位置を基準位置とする、被写体像の結像位置の移動量を示す情報を前記レンズユニットに送信することを特徴とする請求項1または2に記載の撮像装置。
  4. 前記制御手段は、前記第2の情報として、前記第1の情報の示すフォーカスレンズ位置を前記微小振動の振動中心位置として像面上を振動させる振幅、及び振動中心位置の像面上での移動量を示す情報を前記レンズユニットに送信することを特徴とする請求項1または2に記載の撮像装置。
  5. 前記制御手段は、前記レンズユニットから前記フォーカスレンズの位置についての情報を受信し、当該情報に基づいて前記第1の情報を設定することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. 前記制御手段は、前記フォーカスレンズの位置についての情報として、前記微小振動の新たな基準位置となる前記フォーカスレンズの位置についての第3の情報、及び、前記制御手段が通知したタイミングにおける前記フォーカスレンズの位置についての第4の情報を受信することを特徴とする請求項5に記載の撮像装置。
  7. 前記第3の情報および前記第4の情報は、前記第1の情報と対応する座標系で示される情報であることを特徴とする請求項6に記載の撮像装置。
  8. 前記制御手段は、前記レンズユニットから前記第4の情報とともに当該第4の情報の示す前記フォーカスレンズの位置が可動領域の端であることを示す情報を受信した場合、当該第4の情報を次の第1の情報として前記レンズユニットに送信することを特徴とする請求項6または7に記載の撮像装置。
  9. 前記撮像手段は、垂直同期信号の出力に同期して前記撮像信号を生成し、
    前記制御手段は、垂直同期信号が出力されてから次の垂直同期信号が出力されるまでの間に前記レンズユニットと2回の通信を行い、第1通信で前記レンズユニットから前記フォーカスレンズの位置についての情報を受信し、第2通信で前記レンズユニットへ前記第1の情報及び前記第2の情報を送信することを特徴とする請求項5乃至8のいずれか1項に記載の撮像装置。
  10. 前記制御手段は、前記評価信号が増加する方向へ前記フォーカスレンズを駆動する山登り駆動を行う際、前記第2の情報に対応する情報として、前記フォーカスレンズの駆動方向についての情報を前記レンズユニットに送信することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
  11. 前記制御手段は、前記山登り駆動により前記評価信号がピークとなる前記フォーカスレンズの位置を検出した場合、当該位置に前記フォーカスレンズを移動するために、当該位置についての情報を前記第1の情報に対応する情報として前記レンズユニットに送信することを特徴とする請求項10に記載の撮像装置。
  12. 前記撮像手段は、前記撮像光学系の射出瞳の異なる領域をそれぞれ通過する光束を受光する複数の焦点検出用画素を有しており、
    前記焦点検出用画素の出力信号に基づいて、位相差検出方式により像面上のピントずれ量を検出する焦点検出手段をさらに備え、
    前記制御手段は、前記焦点検出手段の検出結果に基づいて前記フォーカスレンズの駆動情報を生成した場合、前記第2の情報に対応する情報として、前記焦点検出手段で検出された像面上のピントずれ量についての情報を前記レンズユニットに送信することを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
  13. 前記制御手段は、前記焦点検出手段で像面上のピントずれ量を検出した際に前記焦点検出用画素で電荷蓄積を行った期間の中心に相当する時点における前記フォーカスレンズの位置を算出し、算出した位置についての情報を前記第1の情報に対応する情報として前記レンズユニットに送信することを特徴とする請求項12に記載の撮像装置。
  14. 撮像装置に装着可能なレンズユニットであって、
    フォーカスレンズを含む撮像光学系と、
    前記フォーカスレンズを駆動する駆動手段と、
    前記レンズユニットが装着された前記撮像装置と通信を行い、当該撮像装置から受信した前記フォーカスレンズの駆動情報に基づいて前記駆動手段の駆動を制御するレンズ制御手段を備え、
    前記レンズ制御手段は、前記フォーカスレンズを微小振動させる際、前記撮像装置から前記微小振動の基準位置となるフォーカスレンズ位置についての第1の情報、及び、前記第1の情報の示すフォーカスレンズ位置を基準位置とする前記フォーカスレンズの像面上の移動量についての第2の情報を受信し、前記第1の情報及び前記第2の情報に基づいて、前記微小振動の新たな基準位置となるフォーカスレンズ位置についての第3の情報を生成し、前記撮像装置に送信することを特徴とするレンズユニット。
  15. 前記第1の情報と前記第2の情報は、異なる座標系で示される情報であることを特徴とする請求項14に記載のレンズユニット。
  16. 前記第1の情報と前記第3の情報は、対応する座標系で示される情報であることを特徴とする請求項14または15に記載のレンズユニット。
  17. 前記レンズ制御手段は、前記フォーカスレンズの駆動量に対する前記像面上の移動量の比率についての情報を記憶しており、当該比率についての情報を用いて、前記撮像装置から受信した前記第2の情報から前記フォーカスレンズの駆動量を算出することを特徴とする請求項14乃至16のいずれか1項に記載のレンズユニット。
  18. 前記レンズ制御手段は、前記第2の情報として、前記第1の情報の示すフォーカスレンズ位置を基準位置とする、被写体像の結像位置の移動量を示す情報を前記撮像装置から受信することを特徴とする請求項14乃至17のいずれか1項に記載のレンズユニット。
  19. 前記レンズ制御手段は、前記第2の情報として、前記第1の情報の示すフォーカスレンズ位置を前記微小振動の振動中心位置として像面上にて振動させる振幅、及び振動中心位置の像面上での移動量を示す情報を前記撮像装置から受信することを特徴とする請求項14乃至17のいずれか1項に記載のレンズユニット。
  20. 前記レンズ制御手段は、前記撮像装置から通知されたタイミングにおける前記フォーカスレンズの位置についての第4の情報を前記第3の情報とともに前記撮像装置に送信することを特徴とする請求項14乃至19のいずれか1項に記載のレンズユニット。
  21. 前記第4の情報は、前記第1の情報と対応する座標系で示される情報であることを特徴とする請求項20に記載のレンズユニット。
  22. 前記レンズ制御手段は、可動領域の端に対応する前記フォーカスレンズの位置情報を前記第4の情報として送信する場合、当該第4の情報とともに、当該フォーカスレンズの位置が可動領域の端であることを示す情報を前記撮像装置に送信することを特徴とする請求項20または21に記載のレンズユニット。
  23. 垂直同期信号の出力に同期して撮像信号を生成する撮像手段を有する撮像装置に装着可能であって、
    前記レンズ制御手段は、前記撮像装置から前記垂直同期信号を受信し、垂直同期信号が出力されてから次の垂直同期信号が出力されるまでの間に前記撮像装置と2回の通信を行い、第1通信で前記撮像装置へ前記第3の情報を送信し、第2通信で前記撮像装置から前記第1の情報及び前記第2の情報を受信することを特徴とする請求項14乃至22のいずれか1項に記載のレンズユニット。
  24. 前記撮像信号の高周波成分を用いて焦点調節用の評価信号を生成する信号処理手段を有する撮像装置に装着可能であって、
    前記レンズ制御手段は、前記評価信号が増加する方向へ前記フォーカスレンズを駆動する山登り駆動を行う際、受信した前記第2の情報に基づいて、前記フォーカスレンズの駆動方向を設定することを特徴とする請求項23に記載のレンズユニット。
  25. 前記撮像光学系の射出瞳の異なる領域をそれぞれ通過する光束を受光する複数の焦点検出用画素を有する前記撮像手段と、前記焦点検出用画素の出力信号に基づいて、位相差検出方式により像面上のピントずれ量を検出する焦点検出手段を有する撮像装置に装着可能であって、
    前記レンズ制御手段は、前記焦点検出手段の検出結果に基づいて前記フォーカスレンズを駆動する場合、前記第2の情報に対応する情報として、前記焦点検出手段で検出された像面上のピントずれ量についての情報を前記撮像装置から受信することを特徴とする請求項23または24に記載のレンズユニット。
  26. 前記レンズ制御手段は、前記焦点検出手段で像面上のピントずれ量を検出した際に前記焦点検出用画素で電荷蓄積を行った期間の中心に相当する時点における前記フォーカスレンズの位置についての情報を、前記第1の情報に対応する情報として前記撮像装置から受信することを特徴とする請求項25に記載のレンズユニット。
  27. フォーカスレンズを含む撮像光学系を備えたレンズユニットを装着可能な撮像装置にて実行される制御方法であって、
    被写体像を光電変換することにより撮像信号を生成する撮像ステップと、
    前記撮像信号の高周波成分を用いて焦点調節用の評価信号を生成する信号処理ステップと、
    前記評価信号に基づいてフォーカスレンズの駆動情報を生成し、装着された前記レンズユニットに送信する制御ステップを有し、
    前記制御ステップにおいて、前記フォーカスレンズを微小振動させる際、前記フォーカスレンズの駆動情報として、前記微小振動の基準位置となるフォーカスレンズ位置についての第1の情報、及び、前記第1の情報の示すフォーカスレンズ位置を基準位置とする前記フォーカスレンズの像面上の移動量についての第2の情報を前記レンズユニットに送信することを特徴とする撮像装置の制御方法。
  28. 撮像装置に装着可能で、フォーカスレンズを含む撮像光学系と、前記フォーカスレンズを駆動する駆動手段とを備えたレンズユニットにて実行される制御方法であって、
    前記レンズユニットが装着された前記撮像装置と通信を行う通信ステップと、
    前記通信ステップにて前記撮像装置から受信した前記フォーカスレンズの駆動情報に基づいて、前記駆動手段の駆動を制御するレンズ制御ステップを有し、
    前記レンズ制御ステップにおいて、前記フォーカスレンズを微小振動させる際、前記撮像装置から前記微小振動の基準位置となるフォーカスレンズ位置についての第1の情報、及び、前記第1の情報の示すフォーカスレンズ位置を基準位置とする前記フォーカスレンズの像面上の移動量についての第2の情報を受信し、前記第1の情報及び前記第2の情報に基づいて、前記微小振動の新たな基準位置となるフォーカスレンズ位置についての第3の情報を生成し、前記撮像装置に送信することを特徴とするレンズユニットの制御方法。
JP2012238265A 2012-01-13 2012-10-29 撮像装置およびその制御方法、並びにレンズユニットおよびその制御方法 Expired - Fee Related JP6137804B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012238265A JP6137804B2 (ja) 2012-01-13 2012-10-29 撮像装置およびその制御方法、並びにレンズユニットおよびその制御方法
CN201210587634.2A CN103209296B (zh) 2012-01-13 2012-12-28 摄像设备及控制方法、镜头单元及控制方法、摄像系统
US13/729,990 US8953089B2 (en) 2012-01-13 2012-12-28 Imaging apparatus and controlling method therefor, and lens unit and controlling method therefor, and imaging system
EP12199643.3A EP2615822A3 (en) 2012-01-13 2012-12-28 Imaging apparatus and controlling method therefor, and lens unit and controlling method therefor, and imaging system
US14/592,226 US9411124B2 (en) 2012-01-13 2015-01-08 Imaging apparatus and controlling method therefor, and lens unit and controlling method therefor, and imaging system

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012004560 2012-01-13
JP2012004560 2012-01-13
JP2012238265A JP6137804B2 (ja) 2012-01-13 2012-10-29 撮像装置およびその制御方法、並びにレンズユニットおよびその制御方法

Publications (3)

Publication Number Publication Date
JP2013164577A JP2013164577A (ja) 2013-08-22
JP2013164577A5 JP2013164577A5 (ja) 2015-12-17
JP6137804B2 true JP6137804B2 (ja) 2017-05-31

Family

ID=47623879

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012238265A Expired - Fee Related JP6137804B2 (ja) 2012-01-13 2012-10-29 撮像装置およびその制御方法、並びにレンズユニットおよびその制御方法

Country Status (4)

Country Link
US (2) US8953089B2 (ja)
EP (1) EP2615822A3 (ja)
JP (1) JP6137804B2 (ja)
CN (1) CN103209296B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2547022T3 (es) * 2012-08-24 2015-09-30 Sick Ag Cámara y procedimiento para el registro de imágenes nitidas
US9451152B2 (en) 2013-03-14 2016-09-20 Apple Inc. Image sensor with in-pixel depth sensing
JP6184276B2 (ja) * 2013-09-27 2017-08-23 オリンパス株式会社 焦点調節装置
JP6468707B2 (ja) * 2014-02-17 2019-02-13 キヤノン株式会社 撮像装置及びその制御方法
JP6315776B2 (ja) * 2014-02-20 2018-04-25 オリンパス株式会社 撮像素子、撮像装置
KR102150890B1 (ko) * 2014-02-21 2020-09-02 삼성전자주식회사 이미지 초점 표시 방법 및 상기 방법이 적용되는 전자장치
JP6186498B2 (ja) * 2014-03-25 2017-08-23 富士フイルム株式会社 撮像装置及び合焦制御方法
JP6338440B2 (ja) * 2014-05-02 2018-06-06 キヤノン株式会社 撮像装置の駆動方法、撮像装置、撮像システム
JP6525792B2 (ja) 2015-07-29 2019-06-05 キヤノン株式会社 レンズ制御装置およびレンズ制御装置の制御方法
JP2017126035A (ja) * 2016-01-15 2017-07-20 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
JP6667417B2 (ja) * 2016-10-27 2020-03-18 キヤノン株式会社 撮像装置、アクセサリ装置および制御プログラム
CN113472982B (zh) * 2017-05-31 2023-06-23 佳能株式会社 配件设备和摄像设备及其控制方法
US11029484B2 (en) 2017-05-31 2021-06-08 Canon Kabushiki Kaisha Imaging apparatus, interchangeable lens, intermediate accessory, and control methods therefor
US20190137731A1 (en) * 2017-11-03 2019-05-09 Sony Corporation Light field adapter for interchangeable lens cameras
JP2021043253A (ja) * 2019-09-06 2021-03-18 株式会社Jvcケンウッド 反射型液晶表示装置及び反射型液晶表示装置の焦点調整方法
JP7443034B2 (ja) * 2019-11-29 2024-03-05 キヤノン株式会社 撮像装置、撮像アクセサリ、および、中間アクセサリ
DE102021215068A1 (de) 2021-12-29 2023-06-29 Robert Bosch Gesellschaft mit beschränkter Haftung Kompensationsvorrichtung und Verfahren zum Kompensieren einer Fokusverschiebung eines optischen Systems und Verfahren zum Herstellen einer Kompensationsvorrichtung

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5369461A (en) * 1988-07-29 1994-11-29 Canon Kabushiki Kaisha Automatic focus adjusting device in camera system
DE69028368T2 (de) * 1989-09-27 1997-03-27 Canon Kk Kamerasystem zur Wechselobjektsteuerung
JP2005277765A (ja) * 2004-03-24 2005-10-06 Sony Corp ビデオカメラ
US8095000B2 (en) * 2007-02-15 2012-01-10 Panasonic Corporation Camera system
WO2009028181A1 (ja) * 2007-08-29 2009-03-05 Panasonic Corporation オートフォーカス機能を有する交換レンズカメラシステム
JP4544282B2 (ja) * 2007-09-14 2010-09-15 ソニー株式会社 データ処理装置、およびデータ処理方法、並びにプログラム
WO2009041063A1 (ja) * 2007-09-28 2009-04-02 Panasonic Corporation カメラ本体、交換レンズユニットおよびカメラシステム
WO2009050860A1 (ja) * 2007-10-15 2009-04-23 Panasonic Corporation カメラ本体および撮像装置
US7986469B2 (en) * 2008-08-25 2011-07-26 Panasonic Corporation Lens barrel and imaging device
US8339503B2 (en) * 2008-09-10 2012-12-25 Panasonic Corporation Lens barrel and imaging device
US8363149B2 (en) * 2008-09-10 2013-01-29 Panasonic Corporation Lens barrel and imaging device
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
JP5621325B2 (ja) * 2010-05-28 2014-11-12 ソニー株式会社 焦点制御装置、焦点制御方法、レンズ装置、フォーカスレンズ駆動方法、および、プログラム
JP5293716B2 (ja) * 2010-09-30 2013-09-18 株式会社ニコン 交換レンズ、カメラボディおよびカメラシステム

Also Published As

Publication number Publication date
US9411124B2 (en) 2016-08-09
CN103209296B (zh) 2017-05-24
EP2615822A3 (en) 2015-10-07
US8953089B2 (en) 2015-02-10
US20150124154A1 (en) 2015-05-07
CN103209296A (zh) 2013-07-17
EP2615822A2 (en) 2013-07-17
US20130182140A1 (en) 2013-07-18
JP2013164577A (ja) 2013-08-22

Similar Documents

Publication Publication Date Title
JP6137804B2 (ja) 撮像装置およびその制御方法、並びにレンズユニットおよびその制御方法
US8135268B2 (en) Lens control apparatus, optical apparatus and lens control method
JP5165099B2 (ja) 撮像装置及びレンズユニット
JP4795155B2 (ja) 光学装置、撮像装置及びその制御方法
CN101115146A (zh) 摄像设备和聚焦控制方法
JP2010139666A (ja) 撮像装置
JP4438047B2 (ja) 焦点調節装置、撮像装置、およびその制御方法
JP2008026788A (ja) 撮像装置及びフォーカス制御方法
JP3927934B2 (ja) 撮像装置および撮像装置のフォーカス制御方法
JP2005164669A (ja) デジタルカメラ
JP5904930B2 (ja) レンズユニット及びその制御方法
JP5984883B2 (ja) レンズユニット、撮像装置、及びそれらの制御方法
JP2015087706A (ja) フォーカス制御装置、およびその制御方法
JP6305016B2 (ja) フォーカス制御装置、フォーカス制御装置の制御方法及び撮像装置
JP2012048070A (ja) 撮像装置、及びその制御方法
JP2012141436A (ja) 焦点検出装置およびその制御方法
JP5300949B2 (ja) 撮像装置及びフォーカス制御方法
JP2012123051A (ja) 撮像装置及びレンズユニット
JP5894440B2 (ja) 焦点調節装置
JP2018197771A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP4847243B2 (ja) 焦点調節装置、及び撮像装置
JP2012118471A (ja) 撮像装置及びレンズユニット
JP2017058563A (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
JP2013015567A (ja) 撮像装置
JP2012247613A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170425

R151 Written notification of patent or utility model registration

Ref document number: 6137804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees