JP5980166B2 - Imaging apparatus and autofocus control method - Google Patents

Imaging apparatus and autofocus control method Download PDF

Info

Publication number
JP5980166B2
JP5980166B2 JP2013107951A JP2013107951A JP5980166B2 JP 5980166 B2 JP5980166 B2 JP 5980166B2 JP 2013107951 A JP2013107951 A JP 2013107951A JP 2013107951 A JP2013107951 A JP 2013107951A JP 5980166 B2 JP5980166 B2 JP 5980166B2
Authority
JP
Japan
Prior art keywords
value
contrast signal
region
signal value
focus lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013107951A
Other languages
Japanese (ja)
Other versions
JP2014228686A (en
Inventor
顕理 上田
顕理 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Industry and Control Solutions Co Ltd filed Critical Hitachi Industry and Control Solutions Co Ltd
Priority to JP2013107951A priority Critical patent/JP5980166B2/en
Priority to PCT/JP2014/063345 priority patent/WO2014189047A1/en
Publication of JP2014228686A publication Critical patent/JP2014228686A/en
Application granted granted Critical
Publication of JP5980166B2 publication Critical patent/JP5980166B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Description

本発明は、撮像装置のオートフォーカス制御の技術に関する。   The present invention relates to a technique for autofocus control of an imaging apparatus.

フォーカスを自動調整する機能、すなわちオートフォーカス(AF)機能が、ビデオカメラ、HDD(Hard Disc Drive)カメラ、電子スチルカメラおよび携帯電話機のカメラ機構部の撮像装置に搭載されている。以降では、オートフォーカスをAFと記載する場合もある。   A function that automatically adjusts the focus, that is, an autofocus (AF) function, is mounted on video cameras, HDD (Hard Disc Drive) cameras, electronic still cameras, and imaging devices of camera mechanisms of mobile phones. Hereinafter, autofocus may be described as AF.

AF機能の合焦方法として、撮影映像のコントラスト信号が最大になる位置が合焦(ジャストフォーカス)状態であることを利用してフォーカスの調整を行うコントラスト方式がある。コントラスト信号は、隣接する画素間の輝度信号値の差分の累積値等に基づいて算出される。コントラスト方式として、例えば、特許文献1に記載の手法がある。特許文献1では、画像信号に含まれる周波数成分(直流成分を除く)の量が合焦位置で最大になることを利用して、画像信号に含まれる周波数成分の量をAF評価値として算出し、そのAF評価値が最大になる合焦状態にフォーカスレンズ位置を制御する技術が開示されている。   As a focusing method of the AF function, there is a contrast method in which focus adjustment is performed by utilizing the fact that the position where the contrast signal of the photographed image is maximized is in a focused (just focus) state. The contrast signal is calculated based on a cumulative value of differences in luminance signal values between adjacent pixels. As a contrast method, for example, there is a method described in Patent Document 1. In Patent Document 1, the amount of the frequency component included in the image signal is calculated as the AF evaluation value by utilizing the fact that the amount of the frequency component (excluding the DC component) included in the image signal is maximized at the in-focus position. A technique for controlling the position of the focus lens in a focused state where the AF evaluation value is maximized is disclosed.

特開平3−1668号公報Japanese Patent Laid-Open No. 3-1668

しかしながら、特許文献1に記載の技術では、AF評価値を生成する領域が1つであるため、その領域内に存在する人物がその領域内を移動しただけではAF評価値がほとんど変化しないことになる。また、AF評価値がほとんど変化しないということは、その人物が移動したことを認識できず、その人物にフォーカスを合わせる制御を実行できないという問題が生じる。その結果、焦点ズレと呼ばれる現象が発生する虞がある。
そこで、本発明では、オートフォーカス制御時の合焦精度を向上する技術を提供することを課題とする。
However, in the technique described in Patent Document 1, since there is one region for generating the AF evaluation value, the AF evaluation value hardly changes when a person existing in the region moves within the region. Become. Further, the fact that the AF evaluation value hardly changes means that the person cannot be recognized that the person has moved, and there is a problem that control for focusing on the person cannot be executed. As a result, a phenomenon called defocus may occur.
Accordingly, an object of the present invention is to provide a technique for improving the focusing accuracy during autofocus control.

前記課題を解決するために、本発明の撮像装置は、撮像画面内に2以上の領域を設定する領域設定部と、前記領域のコントラスト信号値を前記領域ごとに生成するVF値生成部と、前記領域の輝度信号値が所定の範囲を満足する領域について、当該領域のコントラスト信号値を加算し、その加算結果をAF評価値として出力するAF評価値生成部と、前記AF評価値が最大となる方向にフォーカスレンズ位置を制御するフォーカス位置制御部と、を備え、前記AF評価値が最大となるフォーカスレンズ位置が定まった後、前記領域設定部は、前記領域を2以上の小領域に細分化し、前記VF値生成部は、前記小領域のコントラスト信号値を生成するとともに、前記撮像画面の全体領域についてコントラスト信号値を生成し、前記フォーカス位置制御部は、前記全体領域に対して今回のコントラスト信号値と前回のコントラスト信号値との差の絶対値が第1の閾値未満で、かつ前記小領域に対して今回のコントラスト信号値と前回のコントラスト信号値との差の絶対値が第2の閾値以上の場合、フォーカスレンズ位置に対して前記小領域のコントラスト信号値が増加する方向が同じになる当該小領域のコントラスト信号値を加算して小計値を算出し、異なる方向それぞれの小計値の最大値を比較して、大きな方の小計値の方向にフォーカスレンズ位置を制御することを特徴とする。 In order to solve the above problems, an imaging apparatus of the present invention includes an area setting unit that sets two or more areas in an imaging screen, a VF value generation unit that generates a contrast signal value of the area for each area, For an area where the luminance signal value of the area satisfies a predetermined range, an AF evaluation value generating unit that adds the contrast signal value of the area and outputs the addition result as an AF evaluation value; and the AF evaluation value is maximum A focus position control unit that controls a focus lens position in a direction, and after the focus lens position where the AF evaluation value is maximized is determined, the region setting unit subdivides the region into two or more small regions. The VF value generation unit generates a contrast signal value for the small area, generates a contrast signal value for the entire area of the imaging screen, and generates the focus position. The control unit is configured such that the absolute value of the difference between the current contrast signal value and the previous contrast signal value is less than a first threshold with respect to the entire region, and the current contrast signal value and the previous contrast signal value with respect to the small region. If the absolute value of the difference from the contrast signal value is greater than or equal to the second threshold value, the contrast signal value of the small region in which the direction in which the contrast signal value of the small region increases with respect to the focus lens position is the same is added. The subtotal value is calculated, the maximum value of the subtotal values in different directions is compared, and the focus lens position is controlled in the direction of the larger subtotal value .

本発明によれば、オートフォーカス制御時の合焦精度を向上する技術を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the technique which improves the focusing precision at the time of autofocus control can be provided.

撮像装置の機能例を示す図である。It is a figure which shows the function example of an imaging device. 撮像装置の処理フロー例を示す図である。It is a figure which shows the example of a processing flow of an imaging device. 撮像装置の処理フロー例のつづきを示す図である。It is a figure which shows the continuation of the example of a processing flow of an imaging device. VF値生成領域の配置例を示す図である。It is a figure which shows the example of arrangement | positioning of VF value production | generation area | region. VF値の一例を示す図である。It is a figure which shows an example of VF value. VF値が閾値を満たさない領域をマスクし、中央の領域をさらに細分化した一例を示す図である。It is a figure which shows an example which masked the area | region where VF value does not satisfy | fill a threshold value, and subdivided the center area | region further. AF評価値の曲線の傾きがプラスの場合を示す図である。It is a figure which shows the case where the slope of the curve of AF evaluation value is positive.

ここで、本発明を実施するための形態(以降、「本実施形態」と称す。)について、適宜図面を参照しながら詳細に説明する。   Here, a mode for carrying out the present invention (hereinafter referred to as “the present embodiment”) will be described in detail with reference to the drawings as appropriate.

はじめに、撮像装置100の機能例について、図1を用いて説明する。
撮像装置100は、制御部10、レンズユニット20およびカメラ信号処理部40を機能として備える。
First, an example of functions of the imaging apparatus 100 will be described with reference to FIG.
The imaging apparatus 100 includes the control unit 10, the lens unit 20, and the camera signal processing unit 40 as functions.

レンズユニット20は、被写体からの光束の変倍を行なうバリエータレンズ群23、受光光量を調整するための絞り24およびピント調節に用いるフォーカスレンズ群(以降、フォーカスレンズと称することもある。)25を備えており、被写体の光学像をCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される撮像素子31の受光面に結像する機能を有している。また、レンズユニット20は、例えばフォトインタラプタ等で構成される絶対位置検出部21および温度検出部22を備える。絶対位置検出部21は、バリエータレンズ群23およびフォーカスレンズ群25の絶対位置を検出し、検出結果をレンズ絶対位置情報として制御部10に出力する。また、温度検出部22は、レンズユニット20内の温度を検出し、検出結果をレンズユニット内温度情報として制御部10に出力する。   The lens unit 20 includes a variator lens group 23 that performs zooming of a light beam from a subject, a diaphragm 24 for adjusting the amount of received light, and a focus lens group (hereinafter also referred to as a focus lens) 25 that is used for focus adjustment. And has a function of forming an optical image of a subject on a light receiving surface of an image sensor 31 constituted by a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like. Further, the lens unit 20 includes an absolute position detection unit 21 and a temperature detection unit 22 that are configured by, for example, a photo interrupter. The absolute position detection unit 21 detects the absolute positions of the variator lens group 23 and the focus lens group 25 and outputs the detection result to the control unit 10 as lens absolute position information. Moreover, the temperature detection part 22 detects the temperature in the lens unit 20, and outputs a detection result to the control part 10 as lens unit internal temperature information.

撮像素子31は、受光面に結像された被写体の光学像を光電変換し、得られた撮像信号をノイズ除去部32に出力する。ノイズ除去部32は、受信した撮像信号に対してノイズ除去処理を実行する。AGC(自動利得制御)33は、撮像信号を最適なレベルに増幅する。AD(アナログ/ディジタル)変換部34は、撮像信号をディジタル変換してディジタル撮像信号に変換し、ディジタル撮像信号をカメラ信号処理部40に出力する。電子シャッタ35は、撮像素子31に対する露光時間を調整する。GYROセンサ36は、撮像装置100本体の動きを検出する機能を有し、どのように動いたかをGYRO信号として制御部19へ出力する。   The image sensor 31 photoelectrically converts the optical image of the subject imaged on the light receiving surface and outputs the obtained image signal to the noise removing unit 32. The noise removal unit 32 performs noise removal processing on the received imaging signal. The AGC (automatic gain control) 33 amplifies the imaging signal to an optimum level. The AD (analog / digital) converter 34 digitally converts the imaging signal into a digital imaging signal, and outputs the digital imaging signal to the camera signal processing unit 40. The electronic shutter 35 adjusts the exposure time for the image sensor 31. The GYRO sensor 36 has a function of detecting the movement of the main body of the imaging apparatus 100 and outputs how it moves to the control unit 19 as a GYRO signal.

カメラ信号処理部40は、信号変換処理部41、VF値生成部42a〜42n(以降、別個に区別しない場合は、符号42を用いる。)、AE(オートアイリス)信号生成部45および高低輝度個数集計部46a〜46n(以降、別個に区別しない場合は、符号46を用いる。)を備える。   The camera signal processing unit 40 includes a signal conversion processing unit 41, VF value generation units 42 a to 42 n (hereinafter, reference numeral 42 is used unless otherwise distinguished), an AE (auto iris) signal generation unit 45, and high / low luminance count counting. 46a to 46n (hereinafter, reference numeral 46 is used unless otherwise distinguished).

信号変換処理部41は、受信したディジタル撮像信号に対し所定の信号処理を実行して、例えばNTSC(National Television Standards Committee)規格やPAL(Phase Alternating Line)規格等の所定のテレビジョン方式に準拠した標準的なテレビジョン信号に変換してそのテレビジョン信号を出力する機能を有する。また、信号変換処理部41は、テレビジョン信号の撮像画面内に2以上の領域を設定し、各領域の信号を別個に出力する機能を有する。なお、領域のサイズや設定位置は、制御部10によって指示される。   The signal conversion processing unit 41 performs predetermined signal processing on the received digital imaging signal, and conforms to a predetermined television system such as NTSC (National Television Standards Committee) standard or PAL (Phase Alternating Line) standard, for example. It has a function of converting to a standard television signal and outputting the television signal. The signal conversion processing unit 41 has a function of setting two or more areas in the television signal imaging screen and separately outputting the signals of the respective areas. Note that the size and setting position of the area are instructed by the control unit 10.

VF値生成部42a〜42nそれぞれは、HPF(ハイパスフィルタ)43および積分部44を備え、領域別にコントラスト信号(VF:Value of Focus)値を生成し、得られたVF値(VFa〜VFn)を制御部10に出力する機能を有する。VF値生成部42は、領域の数だけ動作するので、領域の数を減少させれば、消費電力を低減する効果がある。   Each of the VF value generation units 42a to 42n includes an HPF (high pass filter) 43 and an integration unit 44, generates a contrast signal (VF: Value of Focus) value for each region, and obtains the obtained VF values (VFa to VFn). It has a function of outputting to the control unit 10. Since the VF value generation unit 42 operates by the number of regions, reducing the number of regions has an effect of reducing power consumption.

AE信号生成部45は、オートアイリス信号AEを制御部10に出力する機能を有する。
高低輝度個数集計部46a〜46nそれぞれは、領域ごとに予め明るいと判定する閾値および暗いと判定する閾値を超える輝度信号値の画素数を集計し、得られた輝度個数(BNa〜BNn)信号を制御部10に出力する機能を有する。つまり、高低輝度個数集計部46は、領域の輝度信号値が所定の範囲を満足しない画素数を集計し、制御部10に出力している。
The AE signal generation unit 45 has a function of outputting the auto iris signal AE to the control unit 10.
Each of the high and low luminance number totaling units 46a to 46n totals the number of pixels of the luminance signal value exceeding the threshold value for determining bright and the threshold value for determining dark for each region, and outputs the obtained luminance number (BNa to BNn) signals. It has a function of outputting to the control unit 10. That is, the high / low luminance number totaling unit 46 totals the number of pixels in which the luminance signal value of the region does not satisfy the predetermined range, and outputs the total number to the control unit 10.

制御部10は、図示しないマイクロコンピュータ等のCPU(Central Processing Unit)およびメインメモリによって構成され、記憶部13に記憶されているアプリケーションプログラムをメインメモリに展開してオートアイリス制御部11およびオートフォーカス制御部12を具現化する。   The control unit 10 includes a CPU (Central Processing Unit) such as a microcomputer (not shown) and a main memory. The application program stored in the storage unit 13 is developed in the main memory, and the auto iris control unit 11 and the auto focus control unit. 12 is embodied.

オートアイリス制御部11は、AE信号生成部45からオートアイリス信号AEを取得し、取得したオートアイリス信号AEにより認識される現在の撮影映像の明るさ、レンズユニット20の絞り24の開き具合およびAGC33のゲイン等に対する評価値であるオートアイリス評価値を生成する機能を有する。   The auto iris control unit 11 acquires the auto iris signal AE from the AE signal generation unit 45, the brightness of the current photographed image recognized by the acquired auto iris signal AE, the opening degree of the aperture 24 of the lens unit 20, the gain of the AGC 33, and the like. A function of generating an auto iris evaluation value, which is an evaluation value for.

オートフォーカス制御部12は、AF評価値生成部121、フォーカス位置制御部122および領域設定部123を備える。
領域設定部123は、撮像画面内に2以上の領域を設定する機能を有し、その領域のサイズおよび設定位置に係る情報を信号変換処理部41に出力する。
The autofocus control unit 12 includes an AF evaluation value generation unit 121, a focus position control unit 122, and an area setting unit 123.
The area setting unit 123 has a function of setting two or more areas in the imaging screen, and outputs information related to the size and setting position of the areas to the signal conversion processing unit 41.

AF評価値生成部121は、高低輝度個数集計部46a〜46nに対して、予め明るいと判定する閾値および暗いと判定する閾値を設定する機能を有する。そして、AF評価値生成部121は、高低輝度個数集計部46から取得した輝度個数(BN)信号に基づいて、領域ごとに明過ぎるか暗過ぎるかを判定する機能を有する。AF評価値生成部121は、高低輝度個数集計部46から取得した輝度個数(BN)およびその輝度個数に対して予め決められている閾値に基づいて、領域の輝度信号値が所定の範囲を満足する当該領域を抽出し、その抽出した領域のVF値を加算してAF評価値を生成する機能を有する。なお、AF評価値の詳細な生成方法については、後記する。   The AF evaluation value generation unit 121 has a function of setting a threshold value for determining brightness and a threshold value for determining darkness for the high and low luminance number counting units 46a to 46n in advance. The AF evaluation value generation unit 121 has a function of determining whether each region is too bright or too dark based on the luminance number (BN) signal acquired from the high / low luminance count totaling unit 46. The AF evaluation value generation unit 121 satisfies the predetermined range of the luminance signal value of the region based on the luminance number (BN) acquired from the high / low luminance number totaling unit 46 and a threshold value predetermined for the luminance number. And a function for generating an AF evaluation value by adding the VF values of the extracted regions. A detailed method for generating the AF evaluation value will be described later.

フォーカス位置制御部122は、AF評価値に基づいて、AF評価値が最大となる方向(合焦方向)にフォーカスレンズ25の位置を制御する機能を有する。また、フォーカス位置制御部122は、合焦方向および合焦位置を制御するために、第3のモータ制御信号を生成し、生成した第3のモータ制御信号を第3の駆動部25dに出力する機能を有する。なお、第3の駆動部25dは、第3のモータ制御信号に基づいてレンズユニット20のフォーカスレンズ群25をその光軸方向に移動させる第3のモータ25mを駆動制御する。これによりAF制御が行なわれる。   The focus position control unit 122 has a function of controlling the position of the focus lens 25 in the direction in which the AF evaluation value is maximized (the in-focus direction) based on the AF evaluation value. Further, the focus position control unit 122 generates a third motor control signal to control the focusing direction and the focusing position, and outputs the generated third motor control signal to the third driving unit 25d. It has a function. The third drive unit 25d drives and controls the third motor 25m that moves the focus lens group 25 of the lens unit 20 in the optical axis direction based on the third motor control signal. Thereby, AF control is performed.

また、オートフォーカス制御部12は、AF評価値と、レンズユニット20の絶対位置検出部21から取得したレンズ絶対位置情報に基づいて得られる現在のズーム倍率を表すズーム倍率情報と、レンズユニット20の温度検出部22から取得したレンズユニット20内の温度情報と、記憶部13に記憶されているトレースカーブデータとを用いて、第1および第2のモータ制御信号を生成する。オートフォーカス制御部12は、生成した第1のモータ制御信号を第1の駆動部23dに出力し、生成した第2のモータ制御信号を第2の駆動部24dに出力する機能を有する。第1の駆動部23dは、第1のモータ制御信号に基づいて、レンズユニット20のバリエータレンズ群23をその光軸方向に移動させる第1のモータ23mを駆動制御する。第2の駆動部24dは、第2のモータ制御信号に基づいて、レンズユニット20の絞り24を駆動する第2のモータ24mを駆動制御する。これによりオートアイリス制御が行なわれる。   The autofocus control unit 12 also includes zoom magnification information representing the current zoom magnification obtained based on the AF evaluation value, lens absolute position information acquired from the absolute position detection unit 21 of the lens unit 20, and the lens unit 20. The first and second motor control signals are generated using the temperature information in the lens unit 20 acquired from the temperature detection unit 22 and the trace curve data stored in the storage unit 13. The autofocus control unit 12 has a function of outputting the generated first motor control signal to the first drive unit 23d and outputting the generated second motor control signal to the second drive unit 24d. Based on the first motor control signal, the first drive unit 23d drives and controls the first motor 23m that moves the variator lens group 23 of the lens unit 20 in the optical axis direction. The second drive unit 24d drives and controls the second motor 24m that drives the diaphragm 24 of the lens unit 20 based on the second motor control signal. Thereby, auto iris control is performed.

また、制御部10は、オートアイリス評価値に基づいて、撮像素子31に対する露光時間を増減させるように電子シャッタ35のシャッタ速度を制御し、撮像素子31の受光面上に結像される被写体の光学像の光量を調整する機能を有する。さらに、制御部10は、オートアイリス評価値に基づいて、AGC33におけるゲイン調整を行なう機能を有する。   Further, the control unit 10 controls the shutter speed of the electronic shutter 35 so as to increase / decrease the exposure time for the image sensor 31 based on the auto iris evaluation value, and the optical of the subject imaged on the light receiving surface of the image sensor 31. It has a function to adjust the amount of image light. Further, the control unit 10 has a function of performing gain adjustment in the AGC 33 based on the auto iris evaluation value.

次に、撮像装置100の処理フロー例について、図2Aおよび図2Bを用いて説明する(適宜、図1参照)。
まず、ステップS201では、撮像装置100の制御部10は、予めフォーカスレンズ25を、最小撮影距離となる位置に移動する。この理由は、撮像装置100と被写体との距離が最小撮影距離より近い場合には、焦点を合わせることができないためである。
Next, a processing flow example of the imaging apparatus 100 will be described with reference to FIGS. 2A and 2B (see FIG. 1 as appropriate).
First, in step S <b> 201, the control unit 10 of the imaging apparatus 100 moves the focus lens 25 in advance to a position that becomes the minimum shooting distance. This is because the focus cannot be achieved when the distance between the imaging device 100 and the subject is shorter than the minimum shooting distance.

ステップS202では、制御部10は、撮像素子31の受光面上に結像される被写体の光学像の光量調整を行いつつ、撮像素子31を露光する。   In step S <b> 202, the control unit 10 exposes the image sensor 31 while adjusting the light amount of the optical image of the subject imaged on the light receiving surface of the image sensor 31.

ステップS203では、オートフォーカス制御部12の領域設定部123は、VF値を生成するエリアを示すVF値生成領域(領域)を、カメラ信号処理部40の信号変換処理部41を介して撮像画面に設定する。そして、信号変換処理部41は、領域設定部123からVF値生成領域のサイズおよび設定位置に係る情報を受信し、撮像画面に当該VF値生成領域を設定し、そのVF値生成領域のテレビジョン信号を出力する。   In step S <b> 203, the region setting unit 123 of the autofocus control unit 12 displays a VF value generation region (region) indicating an area for generating a VF value on the imaging screen via the signal conversion processing unit 41 of the camera signal processing unit 40. Set. Then, the signal conversion processing unit 41 receives information on the size and setting position of the VF value generation region from the region setting unit 123, sets the VF value generation region on the imaging screen, and sets the television of the VF value generation region. Output a signal.

VF値生成領域を設定した状態の一例を図3に示す。図3では、VF値生成領域は、撮像画面の全体領域VF10および撮像画面を9分割(VF1〜VF9)するように設定したケースとして表されている。なお、VF値生成領域は、図3に示す位置に限られることはなく、撮像画面内の任意の位置に設定されても構わない。   An example of a state in which the VF value generation area is set is shown in FIG. In FIG. 3, the VF value generation area is represented as a case where the entire area VF10 of the imaging screen and the imaging screen are set to be divided into nine (VF1 to VF9). The VF value generation area is not limited to the position shown in FIG. 3 and may be set at an arbitrary position in the imaging screen.

図2Aに戻って、ステップS204では、VF値生成部42a〜42nそれぞれは、いずれか一つのVF値生成領域の輝度信号を取得する。そして、VF値生成部42は、フォーカスレンズ25の位置ごとにVF値生成領域のVF値(コントラスト信号値)を生成する。   Returning to FIG. 2A, in step S204, each of the VF value generation units 42a to 42n acquires a luminance signal of any one VF value generation region. Then, the VF value generation unit 42 generates a VF value (contrast signal value) in the VF value generation region for each position of the focus lens 25.

ステップS205では、AF評価値生成部121は、VF値生成部42a〜42nそれぞれから各VF値生成領域のVF値を取得する。その一例を図4に示す。図4には、VF値生成領域(VF1〜VF10)ごとに、横軸がフォーカスレンズ位置を表し、縦軸がVF値を表す座標において、VF値曲線(実曲線)が示されている。なお、VF値生成領域がVF10(撮像画面の全体領域)のVF値は、VF値生成領域がVF1〜VF9までのVF値の和を表していることになる。   In step S205, the AF evaluation value generation unit 121 acquires the VF value of each VF value generation region from each of the VF value generation units 42a to 42n. An example is shown in FIG. In FIG. 4, for each VF value generation region (VF1 to VF10), the horizontal axis represents the focus lens position, and the vertical axis represents the VF value. A VF value curve (real curve) is shown. Note that the VF value of the VF value generation area VF10 (the entire area of the imaging screen) represents the sum of the VF values of the VF value generation area VF1 to VF9.

図2Aに戻って、ステップS206では、AF評価値生成部121は、予め決められている閾値を記憶部13から読み出して設定する。閾値は、高低輝度個数集計部46から取得された各VF値生成領域の輝度個数(BN)が、当該閾値を超えている場合に、明過ぎるまたは暗過ぎると判定するために用いられる値である。   Returning to FIG. 2A, in step S206, the AF evaluation value generation unit 121 reads and sets a predetermined threshold value from the storage unit 13. The threshold value is a value used to determine that the brightness number (BN) of each VF value generation area acquired from the high / low brightness count totaling unit 46 exceeds the threshold value and is too bright or too dark. .

ステップS207では、AF評価値生成部121は、各VF値生成領域の輝度個数(BN)が閾値を満足しているか否かを判定する。具体的には、AF評価値生成部121は、取得された各VF値生成領域の輝度個数(BN)が閾値未満の場合に、閾値を満足していると判定する。
閾値を満足していると判定した場合(ステップS207でYes)、処理はステップS209へ進み、閾値を満足していないと判定した場合(ステップS207でNo)、処理はステップS208へ進む。
In step S207, the AF evaluation value generation unit 121 determines whether the luminance number (BN) of each VF value generation area satisfies a threshold value. Specifically, the AF evaluation value generation unit 121 determines that the threshold value is satisfied when the acquired luminance number (BN) of each VF value generation region is less than the threshold value.
If it is determined that the threshold is satisfied (Yes in step S207), the process proceeds to step S209. If it is determined that the threshold is not satisfied (No in step S207), the process proceeds to step S208.

例えば、図4では、ステップS207の処理によって、VF値生成領域のVF3およびVF9が閾値を満足せず「明るい」と判定され、VF値生成領域のVF7が閾値を満足せず「暗い」と判定された場合を示している。   For example, in FIG. 4, VF3 and VF9 in the VF value generation area are determined to be “bright” without satisfying the threshold value, and VF7 in the VF value generation area is determined to be “dark” without satisfying the threshold value in the process of step S207. Shows the case.

図2Aに戻って、ステップS208では、AF評価値生成部121は、閾値を満足していないVF値生成領域を除外する処理を実行する。具体的には、VF値生成領域のVF3,VF7,VF9は、VF値を加算してAF評価値を生成する処理の対象外とされる。   Returning to FIG. 2A, in step S208, the AF evaluation value generation unit 121 executes a process of excluding a VF value generation area that does not satisfy the threshold. Specifically, VF3, VF7, and VF9 in the VF value generation area are excluded from the process of generating the AF evaluation value by adding the VF values.

ステップS209では、AF評価値生成部121は、VF値の曲線の傾きがプラスであるか否かを判定する。傾きがプラスであると判定した場合(ステップS209でYes)、処理はステップS212へ進み、傾きがプラスでないと判定した場合(ステップS209でNo)、処理はステップS210へ進む。   In step S209, the AF evaluation value generation unit 121 determines whether the slope of the VF value curve is positive. If it is determined that the inclination is positive (Yes in step S209), the process proceeds to step S212. If it is determined that the inclination is not positive (No in step S209), the process proceeds to step S210.

ここで、「傾きがプラス」の意味について、図6を用いて説明する。図6は、横軸がフォーカスレンズ位置を表し、縦軸がVF値を表し、図中の実曲線がVF値の曲線を表している。縦の点線は、ステップS201において合わせた最小撮像距離の位置を表している。したがって、撮像装置100は、縦の点線より左側では、被写体との距離が近過ぎて、合焦することができない。図6では、縦の点線より右側にVF値の曲線のピークが存在するため、撮像装置100は、そのピークにフォーカスレンズ25の位置を合わせることによって、合焦することができる。つまり、縦の点線をVF値の曲線が横切るときの傾きが「プラス」、すなわち「傾きがプラス」の場合には、VF値のピーク位置にフォーカスレンズ25を移動することができる(合焦することができる)。逆に、傾きがマイナスの場合には、この撮像装置100は、合焦することができないことを意味している。   Here, the meaning of “inclination is positive” will be described with reference to FIG. In FIG. 6, the horizontal axis represents the focus lens position, the vertical axis represents the VF value, and the actual curve in the figure represents the curve of the VF value. The vertical dotted line represents the position of the minimum imaging distance combined in step S201. Therefore, the imaging apparatus 100 cannot focus on the left side of the vertical dotted line because the distance to the subject is too close. In FIG. 6, since the peak of the VF value curve is present on the right side of the vertical dotted line, the imaging apparatus 100 can be focused by aligning the position of the focus lens 25 with the peak. That is, when the inclination when the VF value curve crosses the vertical dotted line is “plus”, that is, “inclination is plus”, the focus lens 25 can be moved to the peak position of the VF value (in-focus). be able to). On the other hand, when the inclination is negative, this means that the imaging apparatus 100 cannot focus.

図2Aに戻って、ステップS210では、AF評価値生成部121は、傾きがプラスでないと判定したVF値生成領域を除外する処理を実行する。具体的には、図4では、VF値生成領域がVF1の場合で、傾きがプラスでない、すなわち「近い」と判定されている。したがって、VF値生成領域のVF1は、VF値を加算してAF評価値を生成する処理の対象外とされる。   Returning to FIG. 2A, in step S210, the AF evaluation value generation unit 121 executes a process of excluding the VF value generation area determined to have a positive slope. Specifically, in FIG. 4, when the VF value generation area is VF1, it is determined that the slope is not positive, that is, “close”. Therefore, VF1 in the VF value generation area is excluded from the process of adding the VF value and generating the AF evaluation value.

VF値生成領域のVF1,VF3,VF7,VF9が除外処理された結果、図5に示すように、撮像画面の中で、四隅が「マスク」された状態となる。
なお、VF値生成領域を除外することによって、VF値生成部42に空き(使用されない状態)が生じることになり、消費電力を低減する効果がある。その逆に、使用していないVF値生成部42を活用するために、新たなVF値生成領域を設定することができるといった柔軟性を持たせることが可能となる。
As a result of the exclusion process of VF1, VF3, VF7, and VF9 in the VF value generation area, as shown in FIG. 5, the four corners are “masked” in the imaging screen.
By excluding the VF value generation area, the VF value generation unit 42 is vacant (not used), which has the effect of reducing power consumption. On the other hand, in order to utilize the unused VF value generation unit 42, it is possible to provide flexibility such that a new VF value generation area can be set.

図2Aに戻って、ステップS211では、AF評価値生成部121は、除外されなかったVF値生成領域のVF値の和(AF評価値)を生成する。具体的には、AF評価値生成部121は、除外されなかった各VF値生成領域のフォーカスレンズ位置が同じ地点のVF値を加算して、AF評価値を求める。例えば、図4では、VF値生成領域のVF2,VF4〜VF6,VF8のVF値が加算される。   Returning to FIG. 2A, in step S211, the AF evaluation value generation unit 121 generates the sum (AF evaluation value) of the VF values in the VF value generation area that has not been excluded. Specifically, the AF evaluation value generation unit 121 calculates an AF evaluation value by adding the VF values at the same focus lens position in each VF value generation area that is not excluded. For example, in FIG. 4, the VF values of VF2, VF4 to VF6, and VF8 in the VF value generation area are added.

図2Aに戻って、ステップS212では、フォーカス位置制御部122は、AF評価値が大きくなる方向(プラス方向)にフォーカスレンズ25を移動する制御を実行する。この制御では、例えば、山登り法等を用いることができる。なお、AF評価値は、ステップS209でYesの場合には、ステップS205で取得したVF値生成領域のVF10のVF値が用いられ、ステップS209でNoの場合には、ステップS211で生成したVF値の和が用いられる。   Returning to FIG. 2A, in step S212, the focus position control unit 122 executes control to move the focus lens 25 in the direction in which the AF evaluation value increases (plus direction). In this control, for example, a hill climbing method or the like can be used. In the case where the AF evaluation value is Yes in step S209, the VF value of VF10 in the VF value generation area acquired in step S205 is used, and in the case of No in step S209, the VF value generated in step S211. The sum of is used.

ステップS213では、フォーカス位置制御部122は、フォーカスレンズ25がAF評価値の最大位置にあるか否かを判定する。
AF評価値の最大位置にあると判定した場合(ステップS213でYes)、処理はページ外結合子「A」(図2BのステップS221)へ進み、AF評価値の最大位置でないと判定した場合(ステップS213でNo)、処理はステップS202へ戻る。
In step S213, the focus position control unit 122 determines whether the focus lens 25 is at the maximum position of the AF evaluation value.
If it is determined that the AF evaluation value is at the maximum position (Yes in step S213), the process proceeds to an out-of-page connector “A” (step S221 in FIG. 2B) and if it is determined that the AF evaluation value is not at the maximum position (step S221). In step S213, No), the process returns to step S202.

図2Bに移って、ステップS221では、フォーカス位置制御部122は、フォーカスレンズ25の移動を停止する。レンズが停止した地点は、焦点距離が合焦していることを意味している。ステップS222以降の処理フローは、焦点が一度合った状態下におけるAF制御となり、合焦位置へスピーディで高精度に追従させる動作となる。   2B, in step S221, the focus position control unit 122 stops the movement of the focus lens 25. A point where the lens stops means that the focal length is in focus. The processing flow after step S222 is AF control under a state where the focus is once achieved, and is an operation for quickly and accurately following the in-focus position.

ステップS222では、領域設定部123は、使用していないVF値生成部42がある場合には、VF値生成領域をさらに細分化して小領域を設定する。なお、どのVF値生成領域を細分化するかは、撮像画面の中央付近に位置するVF値生成領域、VF値の最大値の大きいVF値生成領域またはVF値の変動の大きいVF値生成領域のいずれかに決められる。また、人の顔や物体等の位置を検出して当該位置に合焦している場合には、合焦している位置を含むVF値生成領域を細分化するようにしても構わない。また、細分化によって設定する小領域の数は、使用していないVF値生成部42の数すべてであっても、一部であっても構わない。   In step S222, when there is an unused VF value generation unit 42, the region setting unit 123 further subdivides the VF value generation region and sets a small region. Note that which VF value generation area is subdivided depends on the VF value generation area located near the center of the imaging screen, the VF value generation area with a large maximum VF value, or the VF value generation area with a large variation in VF value. It is decided to either. In addition, when the position of a person's face or object is detected and focused on the position, the VF value generation area including the focused position may be subdivided. Further, the number of small areas set by subdivision may be all or a part of the number of unused VF value generation units 42.

図5は、図中で「マスク」と表示した4つのVF値生成領域を除外し、撮像画面の中央のVF値生成領域を4つに細分化して小領域(VF1,VF3,VF5,VF7)を設定した状態を表している。この小領域は、VF値生成領域(VF2,VF4,VF6,VF8)に比較して、被写体の動きを検知する感度が向上している。   FIG. 5 excludes the four VF value generation areas indicated as “mask” in the figure, and subdivides the VF value generation area at the center of the imaging screen into four sub-areas (VF1, VF3, VF5, VF7). Represents a state where is set. This small area has improved sensitivity for detecting the movement of the subject compared to the VF value generation area (VF2, VF4, VF6, VF8).

図2Bに戻って、ステップS223では、制御部10は、撮像素子31の受光面上に結像される被写体の光学像の光量調整を行いつつ、撮像素子31を露光する。   Returning to FIG. 2B, in step S <b> 223, the control unit 10 exposes the image sensor 31 while adjusting the light amount of the optical image of the subject imaged on the light receiving surface of the image sensor 31.

ステップS224では、VF値生成部42は、全体領域および各小領域の輝度信号を取得する。そして、VF値生成部42は、全体領域および各小領域のコントラスト信号値(VF値)を生成する。ここで、全体領域のVF値を求める理由は、除外したVF値生成領域が永続的に除外されてしまうことを防止するためである。具体的には、制御部10は、撮像画像の全体領域のVF値に大きな変動があった場合には、図2AのステップS201へ戻って、合焦位置を検出し直すようにする。   In step S224, the VF value generation unit 42 acquires the luminance signal of the entire region and each small region. The VF value generation unit 42 generates contrast signal values (VF values) for the entire region and each small region. Here, the reason why the VF value of the entire area is obtained is to prevent the excluded VF value generation area from being permanently excluded. Specifically, when there is a large variation in the VF value of the entire area of the captured image, the control unit 10 returns to step S201 in FIG. 2A to detect the focus position again.

ステップS225では、AF評価値生成部121は、VF値生成部42から全体領域および各小領域のVF値を取得する。最新に取得したVF値を今回のVF値と称する。   In step S225, the AF evaluation value generation unit 121 acquires the VF values of the entire region and each small region from the VF value generation unit 42. The most recently acquired VF value is referred to as the current VF value.

ステップS226では、AF評価値生成部121は、今回と前回の全体領域のAF評価値(VF値)を比較する。なお、全体領域のAF評価値(VF値)は、信号変換処理部41から出力される標準的なテレビジョン信号のフィールド(例えば、NTSCでは60フィールド/秒)ごとまたはフレーム(例えば、NTSCでは30フレーム/秒)ごとに生成される。   In step S226, the AF evaluation value generation unit 121 compares the current and previous AF evaluation values (VF values) of the entire area. Note that the AF evaluation value (VF value) of the entire area is a standard television signal output from the signal conversion processing unit 41 (for example, 60 fields / second for NTSC) or a frame (for example, 30 for NTSC). Generated every frame / second).

ステップS227では、AF評価値生成部121は、ステップS226の比較結果に基づいて、変動があるか否かを判定する。具体的には、AF評価値生成部121は、今回の全体領域のAF評価値(VF値)と前回の全体領域のAF評価値(VF値)との差の絶対値が所定の閾値(第1の閾値)以上の場合、変動があると判定する。   In step S227, the AF evaluation value generation unit 121 determines whether or not there is a change based on the comparison result in step S226. Specifically, the AF evaluation value generation unit 121 determines that the absolute value of the difference between the current AF evaluation value (VF value) of the entire area and the previous AF evaluation value (VF value) of the entire area is a predetermined threshold value (first value). 1 or more), it is determined that there is a fluctuation.

変動があると判定した場合(ステップS227でYes)、処理はステップS235へ進み、変動がないと判定した場合(ステップS227でNo)、処理はステップS228へ進む。   If it is determined that there is a change (Yes in step S227), the process proceeds to step S235. If it is determined that there is no change (No in step S227), the process proceeds to step S228.

ステップS228では、AF評価値生成部121は、GYROセンサ36からGYROセンサ値を取得する。   In step S228, the AF evaluation value generation unit 121 acquires a GYRO sensor value from the GYRO sensor 36.

ステップS229では、AF評価値生成部121は、取得したGYROセンサ値に基づいて、撮像装置100の位置が動いたか否かを判定する。
位置が動いたと判定した場合(ステップS229でYes)、処理はステップS235へ進み、位置が動いていないと判定した場合(ステップS229でNo)、処理はステップS230へ進む。
In step S229, the AF evaluation value generation unit 121 determines whether the position of the imaging device 100 has moved based on the acquired GYRO sensor value.
If it is determined that the position has moved (Yes in step S229), the process proceeds to step S235. If it is determined that the position has not moved (No in step S229), the process proceeds to step S230.

ステップS230では、AF評価値生成部121は、今回と前回の小領域のVF値を比較する。   In step S230, the AF evaluation value generation unit 121 compares the VF values of the current and previous small regions.

ステップS231では、AF評価値生成部121は、ステップS230の比較結果に基づいて、変動があるか否かを判定する。ここでは、AF評価値生成部121は、今回の小領域のVF値と前回の小領域のVF値との差の絶対値が所定の閾値(第2の閾値)以上の場合、変動があると判定する。なお、小領域のVF値は、信号変換処理部41から出力される標準的なテレビジョン信号のフィールド(例えば、NTSCでは60フィールド/秒)ごとまたはフレーム(例えば、NTSCでは30フレーム/秒)ごとに生成される。
変動があると判定した場合(ステップS231でYes)、処理はステップS232へ進み、変動がないと判定した場合(ステップS231でNo)、処理はステップS223へ戻る。
In step S231, the AF evaluation value generation unit 121 determines whether or not there is a change based on the comparison result in step S230. Here, the AF evaluation value generation unit 121 determines that there is a change when the absolute value of the difference between the VF value of the current small area and the VF value of the previous small area is greater than or equal to a predetermined threshold (second threshold). judge. The VF value of the small area is a standard television signal output from the signal conversion processing unit 41 (for example, 60 fields / second for NTSC) or a frame (for example, 30 frames / second for NTSC). Is generated.
If it is determined that there is a change (Yes in step S231), the process proceeds to step S232. If it is determined that there is no change (No in step S231), the process returns to step S223.

ステップS232では、AF評価値生成部121は、小領域のVF値の曲線の傾きが同じ方向の領域のVF値の和を生成する。   In step S232, the AF evaluation value generation unit 121 generates the sum of the VF values of the regions in the direction in which the slope of the VF value curve of the small region is the same.

ステップS233では、フォーカス位置制御部122は、ステップS232で算出した小領域のVF値の和(小計値)が大きい方向にフォーカスレンズ25を移動する。具体的には、フォーカス位置制御部122は、異なる方向それぞれの小計値の最大値を比較して、大きな方の小計値の方向にフォーカスレンズ25を移動する。この制御では、例えば、山登り法等を用いることができる。   In step S233, the focus position control unit 122 moves the focus lens 25 in the direction in which the sum (subtotal value) of the small area VF values calculated in step S232 is large. Specifically, the focus position control unit 122 compares the maximum values of the subtotal values in the different directions, and moves the focus lens 25 in the direction of the larger subtotal value. In this control, for example, a hill climbing method or the like can be used.

ここで、ステップS232で算出した小領域のVF値の曲線の傾きが同じ方向の領域のVF値の和を用いる理由は、細分化して被写体の動きに対して過度に追従せずに緩和した追従制御を実現するためである。   Here, the reason for using the sum of the VF values of the regions in the same direction in which the slopes of the VF values of the small regions calculated in step S232 are subdivided is that the tracking is relaxed without excessively following the movement of the subject. This is to realize the control.

ステップS234では、フォーカス位置制御部122は、フォーカスレンズ25が当該VF値の和の最大位置にあるか否かを判定する。
VF値の和の最大位置にあると判定した場合(ステップS234でYes)、処理はステップS221へ戻り、VF値の和の最大位置でないと判定した場合(ステップS234でNo)、処理はステップS223へ戻る。
In step S234, the focus position control unit 122 determines whether or not the focus lens 25 is at the maximum position of the sum of the VF values.
If it is determined that the position is at the maximum position of the sum of VF values (Yes in step S234), the process returns to step S221. If it is determined that the position is not the maximum position of the sum of VF values (No in step S234), the process is step S223. Return to.

ステップS235では、VF値生成領域および小領域の設定を解除する。そして、処理はページ外結合子「B」(図2AのステップS201)へ戻る。   In step S235, the settings of the VF value generation area and the small area are canceled. Then, the process returns to the out-of-page connector “B” (step S201 in FIG. 2A).

このように、図2Aに示すステップS201〜ステップS213、図2Bに示すステップS221〜ステップS235に記載の処理フローを実行することにより、撮像装置100は、スピーディかつ高精度に焦点距離を合わせることが可能なオートフォーカス制御を実現することができる。   As described above, by executing the processing flow described in steps S201 to S213 illustrated in FIG. 2A and steps S221 to S235 illustrated in FIG. 2B, the imaging apparatus 100 can adjust the focal length quickly and with high accuracy. Possible autofocus control can be realized.

以上説明したように、本発明の撮像装置100は、撮像画面内に2以上の領域を設定し、その領域のコントラスト信号値(VF値)を生成する。そして、撮像装置100は、撮像画面の輝度信号値が所定の範囲を満足する当該領域のコントラスト信号値を加算し、その加算結果をAF評価値として、そのAF評価値が最大となる方向にフォーカスレンズ位置を制御する。さらに、撮像装置100は、前記領域を2以上の小領域に細分化し、その小領域のコントラスト信号値を生成するとともに、撮像画面の全体領域についてもコントラスト信号値を生成する。次に、撮像装置100は、全体領域に対して今回のコントラスト信号値と前回のコントラスト信号値との差の絶対値が所定の閾値(第1の閾値)未満で、かつ小領域に対して今回のコントラスト信号値と前回のコントラスト信号値の差の絶対値が所定の閾値(第2の閾値)以上の場合、フォーカスレンズ位置に対して小領域のコントラスト信号値の増加する方向が同じになる当該小領域のコントラスト信号値を加算して小計値を算出し、その小計値が大きくなる方向にフォーカスレンズ位置を制御する。撮像装置100は、このような制御を行うことができるので、スピーディかつ高精度に焦点距離を合わせることが可能なオートフォーカス制御を実現することができる。   As described above, the imaging apparatus 100 according to the present invention sets two or more areas in the imaging screen and generates a contrast signal value (VF value) for the area. Then, the imaging apparatus 100 adds the contrast signal value of the area in which the luminance signal value of the imaging screen satisfies a predetermined range, and uses the addition result as an AF evaluation value to focus in the direction in which the AF evaluation value is maximized. Control the lens position. Furthermore, the imaging apparatus 100 subdivides the area into two or more small areas, generates a contrast signal value of the small area, and generates a contrast signal value for the entire area of the imaging screen. Next, the imaging apparatus 100 determines that the absolute value of the difference between the current contrast signal value and the previous contrast signal value is less than a predetermined threshold value (first threshold value) for the entire region, and for the small region this time. When the absolute value of the difference between the contrast signal value and the previous contrast signal value is greater than or equal to a predetermined threshold value (second threshold value), the direction in which the contrast signal value of the small region increases in the same direction with respect to the focus lens position A subtotal value is calculated by adding the contrast signal values of the small area, and the focus lens position is controlled in a direction in which the subtotal value increases. Since the imaging apparatus 100 can perform such control, it is possible to realize autofocus control that can adjust the focal length quickly and with high accuracy.

なお、本実施形態では、図2BのステップS227では、全体領域に対して今回と前回のコントラスト信号値の差の絶対値を用いて、変動の有無を判定するように記載した。その代わりに、変形例として、全体領域に対して今回と前回のコントラスト信号値の相関係数またはフォーカスレンズ位置に対するコントラスト信号値の曲線の類似度が所定の閾値(第4の閾値)未満の場合に、変動ありと判定するようにしても構わない。ここでは、類似度とは、どれだけ似ているかを数量化した値であり、値が大きいほど類似しているものとする。   In the present embodiment, in step S227 of FIG. 2B, the presence / absence of fluctuation is determined using the absolute value of the difference between the current and previous contrast signal values for the entire region. Instead, as a modification, when the correlation coefficient of the current and previous contrast signal values or the similarity of the curve of the contrast signal value with respect to the focus lens position is less than a predetermined threshold (fourth threshold) for the entire area In addition, it may be determined that there is a change. Here, the similarity is a value obtained by quantifying how much they are similar, and the larger the value, the more similar.

また、本実施形態では、図2BのステップS231では、小領域に対して今回と前回のコントラスト信号値の差の絶対値を用いて、変動の有無を判定するように記載した。その代わりに、変形例として、小領域に対して今回と前回のコントラスト信号値の相関係数またはフォーカスレンズ位置に対するコントラスト信号値の曲線の類似度が所定の閾値(第3の閾値)未満の場合に、変動ありと判定するようにしても構わない。ここでは、類似度とは、どれだけ似ているかを数量化した値であり、値が大きいほど類似しているものとする。   Further, in the present embodiment, in step S231 in FIG. 2B, it is described that the presence / absence of variation is determined using the absolute value of the difference between the current and previous contrast signal values for a small region. Instead, as a modified example, when the correlation coefficient of the current and previous contrast signal values for the small area or the similarity of the contrast signal value curve with respect to the focus lens position is less than a predetermined threshold (third threshold) In addition, it may be determined that there is a change. Here, the similarity is a value obtained by quantifying how much they are similar, and the larger the value, the more similar.

VF値生成部42や高低輝度個数集計部46を常時多数使用する場合には、撮像装置100の電力使用量が大きくなり、撮像装置100内の温度が上昇するため、撮像装置100自体の寿命を早めることに繋がるケースも考えられる。したがって、領域設定部123は、領域を細分化して小領域を設定する際には、電力使用量を考慮して、小領域の数を設定するようにしても構わない。   When a large number of VF value generation units 42 and high / low luminance count totaling units 46 are always used, the amount of power used by the imaging apparatus 100 increases and the temperature inside the imaging apparatus 100 rises. There may be cases that lead to speed. Therefore, the area setting unit 123 may set the number of small areas in consideration of power consumption when setting the small areas by subdividing the areas.

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも、説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の変形例の構成に置き換えることが可能であり、ある実施形態の構成に他の変形例の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、撮像装置100の各機能等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、制御部10の各機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、またはICカード、SDカード、DVD(Digital Versatile Disc)等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてもよい。
In addition, this invention is not limited to above-described embodiment, Various modifications are included. For example, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described. Further, a part of the configuration of an embodiment can be replaced with the configuration of another modification, and the configuration of another modification can be added to the configuration of an embodiment. In addition, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
In addition, some or all of the functions and the like of the imaging apparatus 100 may be realized by hardware by designing, for example, an integrated circuit. Further, each function and the like of the control unit 10 may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files for realizing each function is stored in a memory, a recording device such as a hard disk or SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD (Digital Versatile Disc). be able to.
In addition, the control lines and information lines are those that are considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. In practice, it may be considered that almost all configurations are connected to each other.

10 制御部
11 オートアイリス制御部
12 オートフォーカス制御部
20 レンズユニット
21 絶対位置検出部
22 温度検出部
23 バリエータレンズ群(ズームレンズ)
24 絞り
25 フォーカスレンズ群(フォーカスレンズ)
31 撮像素子
36 GYROセンサ
40 カメラ信号処理部
41 信号変換処理部
42(42a〜42n) VF値生成部
43 HPF
44 積分部
45 AE信号生成部
46(46a〜46n) 高低輝度個数集計部
121 AF評価値生成部
122 フォーカス位置制御部
123 領域設定部
DESCRIPTION OF SYMBOLS 10 Control part 11 Auto iris control part 12 Auto focus control part 20 Lens unit 21 Absolute position detection part 22 Temperature detection part 23 Variator lens group (zoom lens)
24 Aperture 25 Focus lens group (focus lens)
31 Image sensor 36 GYRO sensor 40 Camera signal processing part 41 Signal conversion processing part 42 (42a-42n) VF value generation part 43 HPF
44 Integrating Unit 45 AE Signal Generating Unit 46 (46a to 46n) High / Low Luminance Number Counting Unit 121 AF Evaluation Value Generating Unit 122 Focus Position Control Unit 123 Area Setting Unit

Claims (7)

撮像画面内に2以上の領域を設定する領域設定部と、
前記領域のコントラスト信号値を前記領域ごとに生成するVF値生成部と、
前記領域の輝度信号値が所定の範囲を満足する領域について、当該領域のコントラスト信号値を加算し、その加算結果をAF評価値として出力するAF評価値生成部と、
前記AF評価値が最大となる方向にフォーカスレンズ位置を制御するフォーカス位置制御部と、を備え、
前記AF評価値が最大となるフォーカスレンズ位置が定まった後、
前記領域設定部は、前記領域を2以上の小領域に細分化し、
前記VF値生成部は、前記小領域のコントラスト信号値を生成するとともに、前記撮像画面の全体領域についてコントラスト信号値を生成し、
前記フォーカス位置制御部は、前記全体領域に対して今回のコントラスト信号値と前回のコントラスト信号値との差の絶対値が第1の閾値未満で、かつ前記小領域に対して今回のコントラスト信号値と前回のコントラスト信号値との差の絶対値が第2の閾値以上の場合、フォーカスレンズ位置に対して前記小領域のコントラスト信号値が増加する方向が同じになる当該小領域のコントラスト信号値を加算して小計値を算出し、異なる方向それぞれの小計値の最大値を比較して、大きな方の小計値の方向にフォーカスレンズ位置を制御する
ことを特徴とする撮像装置。
An area setting unit for setting two or more areas in the imaging screen;
A VF value generation unit that generates a contrast signal value of the region for each region;
An AF evaluation value generation unit that adds the contrast signal value of the region for the region where the luminance signal value of the region satisfies a predetermined range, and outputs the addition result as an AF evaluation value;
A focus position control unit that controls a focus lens position in a direction in which the AF evaluation value is maximized,
After the focus lens position where the AF evaluation value is maximized is determined,
The region setting unit subdivides the region into two or more small regions,
The VF value generation unit generates a contrast signal value for the small area, and generates a contrast signal value for the entire area of the imaging screen,
The focus position control unit is configured such that the absolute value of the difference between the current contrast signal value and the previous contrast signal value for the entire region is less than a first threshold, and the current contrast signal value for the small region. If the absolute value of the difference between the previous contrast signal value and the previous contrast signal value is greater than or equal to the second threshold value, the contrast signal value of the small region is the same in the direction in which the contrast signal value of the small region increases relative to the focus lens position. summed to calculate subtotals value, different compared to the direction maximum value of each subtotal value, the larger the subtotal value direction to the focus lens position to that imaging device and controls the.
撮像画面内に2以上の領域を設定する領域設定部と、
前記領域のコントラスト信号値を前記領域ごとに生成するVF値生成部と、
前記領域の輝度信号値が所定の範囲を満足する領域について、当該領域のコントラスト信号値を加算し、その加算結果をAF評価値として出力するAF評価値生成部と、
前記AF評価値が最大となる方向にフォーカスレンズ位置を制御するフォーカス位置制御部と、を備え、
前記AF評価値が最大となるフォーカスレンズ位置が定まった後、
前記領域設定部は、前記領域を2以上の小領域に細分化し、
前記VF値生成部は、前記小領域のコントラスト信号値を生成するとともに、前記撮像画面の全体領域についてコントラスト信号値を生成し、
前記フォーカス位置制御部は、前記全体領域に対して今回のコントラスト信号値と前回のコントラスト信号値との差の絶対値が第1の閾値未満で、かつ前記小領域に対して今回のコントラスト信号値と前回のコントラスト信号値との相関係数またはフォーカスレンズ位置に対するコントラスト信号値の曲線の類似度が第3の閾値未満の場合、フォーカスレンズ位置に対して前記小領域のコントラスト信号値が増加する方向が同じになる当該小領域のコントラスト信号値を加算して小計値を算出し、異なる方向それぞれの小計値の最大値を比較して、大きな方の小計値の方向にフォーカスレンズ位置を制御する
ことを特徴とする撮像装置。
An area setting unit for setting two or more areas in the imaging screen;
A VF value generation unit that generates a contrast signal value of the region for each region;
An AF evaluation value generation unit that adds the contrast signal value of the region for the region where the luminance signal value of the region satisfies a predetermined range, and outputs the addition result as an AF evaluation value;
A focus position control unit that controls a focus lens position in a direction in which the AF evaluation value is maximized,
After the focus lens position where the AF evaluation value is maximized is determined,
The region setting unit subdivides the region into two or more small regions,
The VF value generation unit generates a contrast signal value for the small area, and generates a contrast signal value for the entire area of the imaging screen,
The focus position control unit is configured such that the absolute value of the difference between the current contrast signal value and the previous contrast signal value for the entire region is less than a first threshold, and the current contrast signal value for the small region. Direction in which the contrast signal value of the small region increases with respect to the focus lens position when the correlation coefficient between the previous contrast signal value and the similarity of the curve of the contrast signal value with respect to the focus lens position is less than the third threshold value Calculate the subtotal value by adding the contrast signal values of the subregions that have the same value, compare the maximum value of the subtotal values in different directions, and control the focus lens position in the direction of the larger subtotal value imaging device characterized.
撮像画面内に2以上の領域を設定する領域設定部と、
前記領域のコントラスト信号値を前記領域ごとに生成するVF値生成部と、
前記領域の輝度信号値が所定の範囲を満足する領域について、当該領域のコントラスト信号値を加算し、その加算結果をAF評価値として出力するAF評価値生成部と、
前記AF評価値が最大となる方向にフォーカスレンズ位置を制御するフォーカス位置制御部と、を備え、
前記AF評価値が最大となるフォーカスレンズ位置が定まった後、
前記領域設定部は、前記領域を2以上の小領域に細分化し、
前記VF値生成部は、前記小領域のコントラスト信号値を生成するとともに、前記撮像画面の全体領域についてコントラスト信号値を生成し、
前記フォーカス位置制御部は、前記全体領域に対して今回のコントラスト信号値と前回のコントラスト信号値との相関係数またはフォーカスレンズ位置に対するコントラスト信号値の曲線の類似度が第4の閾値以上で、かつ前記小領域に対して今回のコントラスト信号値と前回のコントラスト信号値の差の絶対値が第2の閾値以上の場合、フォーカスレンズ位置に対して前記小領域のコントラスト信号値が増加する方向が同じになる当該小領域のコントラスト信号値を加算して小計値を算出し、異なる方向それぞれの小計値の最大値を比較して、大きな方の小計値の方向にフォーカスレンズ位置を制御する
ことを特徴とする撮像装置。
An area setting unit for setting two or more areas in the imaging screen;
A VF value generation unit that generates a contrast signal value of the region for each region;
An AF evaluation value generation unit that adds the contrast signal value of the region for the region where the luminance signal value of the region satisfies a predetermined range, and outputs the addition result as an AF evaluation value;
A focus position control unit that controls a focus lens position in a direction in which the AF evaluation value is maximized,
After the focus lens position where the AF evaluation value is maximized is determined,
The region setting unit subdivides the region into two or more small regions,
The VF value generation unit generates a contrast signal value for the small area, and generates a contrast signal value for the entire area of the imaging screen,
The focus position control unit has a correlation coefficient between the current contrast signal value and the previous contrast signal value with respect to the entire region, or the similarity of the curve of the contrast signal value with respect to the focus lens position is a fourth threshold or more, In addition, when the absolute value of the difference between the current contrast signal value and the previous contrast signal value for the small area is equal to or greater than the second threshold, the direction in which the contrast signal value of the small area increases with respect to the focus lens position. Calculate the subtotal value by adding the contrast signal values of the subregions that are the same, compare the maximum value of the subtotal values in different directions, and control the focus lens position in the direction of the larger subtotal value It characterized imaging device.
撮像画面内に2以上の領域を設定する領域設定部と、
前記領域のコントラスト信号値を前記領域ごとに生成するVF値生成部と、
前記領域の輝度信号値が所定の範囲を満足する領域について、当該領域のコントラスト信号値を加算し、その加算結果をAF評価値として出力するAF評価値生成部と、
前記AF評価値が最大となる方向にフォーカスレンズ位置を制御するフォーカス位置制御部と、を備え、
前記AF評価値が最大となるフォーカスレンズ位置が定まった後、
前記領域設定部は、前記領域を2以上の小領域に細分化し、
前記VF値生成部は、前記小領域のコントラスト信号値を生成するとともに、前記撮像画面の全体領域についてコントラスト信号値を生成し、
前記フォーカス位置制御部は、前記全体領域に対して今回のコントラスト信号値と前回のコントラスト信号値との相関係数またはフォーカスレンズ位置に対するコントラスト信号値の曲線の類似度が第4の閾値以上で、かつ前記小領域に対して今回のコントラスト信号値と前回のコントラスト信号値との相関係数またはフォーカスレンズ位置に対するコントラスト信号値の曲線の類似度が第3の閾値未満の場合、フォーカスレンズ位置に対して前記小領域のコントラスト信号値が増加する方向が同じになる当該小領域のコントラスト信号値を加算して小計値を算出し、異なる方向それぞれの小計値の最大値を比較して、大きな方の小計値の方向にフォーカスレンズ位置を制御する
ことを特徴とする撮像装置。
An area setting unit for setting two or more areas in the imaging screen;
A VF value generation unit that generates a contrast signal value of the region for each region;
An AF evaluation value generation unit that adds the contrast signal value of the region for the region where the luminance signal value of the region satisfies a predetermined range, and outputs the addition result as an AF evaluation value;
A focus position control unit that controls a focus lens position in a direction in which the AF evaluation value is maximized,
After the focus lens position where the AF evaluation value is maximized is determined,
The region setting unit subdivides the region into two or more small regions,
The VF value generation unit generates a contrast signal value for the small area, and generates a contrast signal value for the entire area of the imaging screen,
The focus position control unit has a correlation coefficient between the current contrast signal value and the previous contrast signal value with respect to the entire region, or the similarity of the curve of the contrast signal value with respect to the focus lens position is a fourth threshold or more, If the correlation coefficient between the current contrast signal value and the previous contrast signal value for the small region or the similarity of the curve of the contrast signal value with respect to the focus lens position is less than the third threshold, The subtraction value is calculated by adding the contrast signal values of the subregions where the contrast signal values of the subregions increase in the same direction, and the maximum value of the subtotal values in the different directions is compared. IMAGING dEVICE you and controls the focus lens position in the direction of the subtotal values.
前記フォーカス位置制御部は、前記全体領域に対して今回のコントラスト信号値と前回のコントラスト信号値との差の絶対値が前記第1の閾値以上の場合、前記領域を新たに設定する
ことを特徴とする請求項または請求項に記載の撮像装置。
The focus position control unit newly sets the area when the absolute value of the difference between the current contrast signal value and the previous contrast signal value is greater than or equal to the first threshold with respect to the entire area. The imaging device according to claim 1 or 2 .
前記フォーカス位置制御部は、前記全体領域に対して今回のコントラスト信号値と前回のコントラスト信号値との相関係数またはフォーカスレンズ位置に対するコントラスト信号値の曲線の類似度が前記第4の閾値未満の場合、前記領域を新たに設定する
ことを特徴とする請求項または請求項に記載の撮像装置。
The focus position control unit has a correlation coefficient between the current contrast signal value and the previous contrast signal value with respect to the entire area or a similarity of a curve of the contrast signal value with respect to the focus lens position is less than the fourth threshold value. case, the imaging apparatus according to claim 3 or claim 4, characterized in that newly set the region.
撮像装置のオートフォーカス制御方法であって、
前記撮像装置は、
撮像画面内に2以上の領域を設定する領域設定ステップと、
前記領域のコントラスト信号値を生成するVF値生成ステップと、
前記領域の輝度信号値が所定の範囲を満足する当該領域のコントラスト信号値を加算し、その加算結果をAF評価値として出力するAF評価値生成ステップと、
前記AF評価値が最大となる方向にフォーカスレンズ位置を制御するフォーカス位置制御ステップと、を実行するに際し、
前記撮像装置は、
前記AF評価値が最大となるフォーカスレンズ位置が定まった後、
前記領域設定ステップにおいて、前記領域を2以上の小領域に細分化し、
前記VF値生成ステップにおいて、前記小領域のコントラスト信号値を生成するとともに、前記撮像画面の全体領域についてコントラスト信号値を生成し、
前記フォーカス位置制御ステップにおいて、前記全体領域に対して今回のコントラスト信号値と前回のコントラスト信号値との差の絶対値が第1の閾値未満で、かつ前記小領域に対して今回のコントラスト信号値と前回のコントラスト信号値との差の絶対値が第2の閾値以上の場合、フォーカスレンズ位置に対して前記小領域のコントラスト信号値が増加する方向が同じになる当該小領域のコントラスト信号値を加算して小計値を算出し、異なる方向それぞれの小計値の最大値を比較して、大きな方の小計値の方向にフォーカスレンズ位置を制御することを特徴とするオートフォーカス制御方法。
An autofocus control method for an imaging apparatus,
The imaging device
An area setting step for setting two or more areas in the imaging screen;
A VF value generating step for generating a contrast signal value of the region;
An AF evaluation value generating step of adding the contrast signal value of the region in which the luminance signal value of the region satisfies a predetermined range, and outputting the addition result as an AF evaluation value;
Upon executing a focus position control step of the AF evaluation value to control the focus lens position in the direction of maximum,
The imaging device
After the focus lens position where the AF evaluation value is maximized is determined,
In the region setting step, the region is subdivided into two or more small regions,
In the VF value generation step, the contrast signal value of the small area is generated, and the contrast signal value is generated for the entire area of the imaging screen,
In the focus position control step, the absolute value of the difference between the current contrast signal value and the previous contrast signal value for the entire area is less than a first threshold value, and the current contrast signal value for the small area If the absolute value of the difference between the previous contrast signal value and the previous contrast signal value is greater than or equal to the second threshold value, the contrast signal value of the small region is the same in the direction in which the contrast signal value of the small region increases with respect to the focus lens position. An autofocus control method comprising: calculating a subtotal value by addition, comparing maximum values of subtotal values in different directions, and controlling a focus lens position in a direction of a larger subtotal value .
JP2013107951A 2013-05-22 2013-05-22 Imaging apparatus and autofocus control method Expired - Fee Related JP5980166B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013107951A JP5980166B2 (en) 2013-05-22 2013-05-22 Imaging apparatus and autofocus control method
PCT/JP2014/063345 WO2014189047A1 (en) 2013-05-22 2014-05-20 Imaging device and autofocus control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013107951A JP5980166B2 (en) 2013-05-22 2013-05-22 Imaging apparatus and autofocus control method

Publications (2)

Publication Number Publication Date
JP2014228686A JP2014228686A (en) 2014-12-08
JP5980166B2 true JP5980166B2 (en) 2016-08-31

Family

ID=51933600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013107951A Expired - Fee Related JP5980166B2 (en) 2013-05-22 2013-05-22 Imaging apparatus and autofocus control method

Country Status (2)

Country Link
JP (1) JP5980166B2 (en)
WO (1) WO2014189047A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7262997B2 (en) * 2018-12-27 2023-04-24 キヤノン株式会社 Control device, imaging device, and program
CN112672039B (en) * 2020-12-07 2022-06-28 北京集光通达科技股份有限公司 Multi-zone active transformation focusing method and equipment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3755319B2 (en) * 1999-01-11 2006-03-15 コニカミノルタフォトイメージング株式会社 Main subject detection device and apparatus using the same
JP2002182106A (en) * 2000-12-18 2002-06-26 Ricoh Co Ltd Focusing control system for digital still video camera
JP2002333571A (en) * 2001-05-09 2002-11-22 Ricoh Co Ltd Automatic focusing device, automatic focusing method, and computer program for performing the same method
JP2003315663A (en) * 2002-04-22 2003-11-06 Toshiba Corp Device and method for automatic focusing

Also Published As

Publication number Publication date
WO2014189047A1 (en) 2014-11-27
JP2014228686A (en) 2014-12-08

Similar Documents

Publication Publication Date Title
JP5825851B2 (en) Imaging apparatus and control method thereof
US9848117B2 (en) Focus control apparatus, method therefor, and storage medium
US10200630B2 (en) Image capturing apparatus capable of changing an aperture value based on a change in an aperture diameter, controlling method of the same, and recording medium
US10200589B2 (en) Autofocus apparatus and optical apparatus
US10326925B2 (en) Control apparatus for performing focus detection, image capturing apparatus, control method, and non-transitory computer-readable storage medium
US8711271B2 (en) Digital photographing apparatus and control method for evaluating validity of an auto-focus operation
JP5980166B2 (en) Imaging apparatus and autofocus control method
US10200594B2 (en) Focus detection apparatus, focus adjustment apparatus, imaging apparatus, and focus detection method setting focus detection area using reliability
US10747089B2 (en) Imaging apparatus and control method of the same
US10477098B2 (en) Control apparatus which sets defocus amount used for focusing, image capturing apparatus, control method, and storage medium
US10911660B2 (en) Control apparatus, imaging apparatus, control method, and storage medium
JP2001141989A (en) Camera, focusing device, focusing method, and medium for supplying focusing program
JP5439971B2 (en) Photometric device and imaging device
JP4537791B2 (en) Apparatus and method for automatic focusing / exposure amount control of imaging system
JP4964062B2 (en) Electronic camera
JP2009055539A (en) Imaging device and method
KR100844135B1 (en) Auto focus control method and photographing apparatus having auto focus function
US11653091B2 (en) Focus detecting apparatus and method using multi-AF frame, and image pickup apparatus
US20240137645A1 (en) Display control apparatus and display control method therefor
US11012609B2 (en) Image pickup apparatus and its control method, and storage medium
KR101981438B1 (en) The image pickup device
JP2009053428A (en) Electronic camera
WO2014188884A1 (en) Imaging device and back focus adjustment method
US9565353B2 (en) Image pickup apparatus, image pickup system, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
KR20100056266A (en) Photographing apparatus and method for focusing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160726

R150 Certificate of patent or registration of utility model

Ref document number: 5980166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees