JP6202843B2 - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP6202843B2 JP6202843B2 JP2013056001A JP2013056001A JP6202843B2 JP 6202843 B2 JP6202843 B2 JP 6202843B2 JP 2013056001 A JP2013056001 A JP 2013056001A JP 2013056001 A JP2013056001 A JP 2013056001A JP 6202843 B2 JP6202843 B2 JP 6202843B2
- Authority
- JP
- Japan
- Prior art keywords
- focus
- value
- evaluation value
- luminance
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像光学系により結像された被写体像を光電変換する撮像素子により取得された画像信号を使用して、焦点調整を行うデジタルスチルカメラ、デジタルビデオカメラ、携帯電話に搭載される撮像装置に関するものである。 The present invention relates to an image mounted on a digital still camera, a digital video camera, or a mobile phone that performs focus adjustment using an image signal acquired by an image sensor that photoelectrically converts a subject image formed by an imaging optical system. It relates to the device.
従来からユーザーが手動でフォーカスレンズ位置を指定して撮影ができるマニュアルフォーカス(MF)モードを備えた撮像装置がある。このMFモードには、ユーザが指定したフォーカスレンズ位置を含む微小範囲においてオートフォーカス(AF)を行うことでピント合わせを補助する機能(以下、セーフティMFと呼ぶ)を備えたものがある。 2. Description of the Related Art Conventionally, there is an imaging apparatus provided with a manual focus (MF) mode in which a user can manually specify a focus lens position and perform shooting. Some MF modes have a function (hereinafter referred to as safety MF) that assists focusing by performing autofocus (AF) in a minute range including a focus lens position designated by the user.
一方、撮像素子から得られる輝度信号の高域周波数成分(以下、焦点評価値と呼ぶ)が最大になるレンズ位置を合焦位置とする方式を用いたAFにおける苦手シーンの一つとして、高輝度被写体がある。通常の被写体では、図12(a)に示すようにピント位置からデフォーカスすると被写体像がぼけていきコントラストが低下するため、被写体ピント位置で焦点評価値が最大になる。 On the other hand, as one of the weak scenes in AF using a method in which the lens position where the high frequency component (hereinafter referred to as a focus evaluation value) of the luminance signal obtained from the image sensor is maximized is used as a focus position, high luminance There is a subject. For a normal subject, as shown in FIG. 12A, when the focus is defocused from the focus position, the subject image is blurred and the contrast is lowered, so that the focus evaluation value is maximized at the subject focus position.
しかし、高輝度被写体では、図12(b)に示すように、被写体のピント位置から所定量デフォーカスした位置までは輝度値が飽和したまま被写体像が広がるため、ピント位置で焦点評価値が最大とならない。また焦点評価値の算出の仕方によっては、被写体ピント位置で谷になるような焦点評価値形状となってしまうため正確なピント位置を検出することができない。これにより高輝度被写体においては、ユーザーによる手動でのピント合わせのあとに前述したセーフティMFを行ってもを合焦性能を補助することができない。 However, in a high-luminance subject, as shown in FIG. 12B, the subject image spreads while the luminance value is saturated from the focus position of the subject to a position defocused by a predetermined amount, so that the focus evaluation value is maximum at the focus position. Not. Depending on how the focus evaluation value is calculated, a focus evaluation value shape that forms a valley at the subject focus position can be obtained, so that an accurate focus position cannot be detected. As a result, in a high-luminance subject, the focusing performance cannot be assisted even if the above-described safety MF is performed after manual focusing by the user.
これまでに、高輝度被写体に対して正確な合焦動作が行うことができる自動合焦装置が提案されている(特許文献1)。これは、撮像画面の映像信号の低輝度部あるいは中輝度部の面積を比較することにより高輝度被写体の判定を行い、一般的な被写体の場合の合焦動作はコントラスト信号を用いて行い、高輝度被写体の場合には高輝度信号の面積が小さくなるように合焦動作を行うというものである。 Until now, an automatic focusing device that can perform an accurate focusing operation on a high-luminance subject has been proposed (Patent Document 1). This is done by comparing the area of the low-brightness or medium-brightness part of the video signal on the imaging screen to determine a high-brightness subject, and the focusing operation for a general subject is performed using a contrast signal. In the case of a luminance subject, the focusing operation is performed so that the area of the high luminance signal is reduced.
また、高輝度被写体において適正露出でAFサーチ動作後に合焦位置を検出できなかった場合には、適正露出よりも露光量を減らして再びAFサーチ動作を行うことで輝度値の飽和を回避し、正確な合焦制御を可能にする方法が提案されている(特許文献2)。 In addition, when the focus position cannot be detected after the AF search operation with an appropriate exposure in a high-brightness subject, the saturation of the brightness value is avoided by performing the AF search operation again after reducing the exposure amount than the appropriate exposure, A method that enables accurate focusing control has been proposed (Patent Document 2).
特許文献1の方法は、高輝度被写体のみで主被写体が構成される場合は良いが、高輝度被写体と、照明された通常被写体が混在すると、正確な焦点調節ができなくなる場合がある。また、特許文献2の方法においては、高輝度被写体の影響によって合焦位置ではない位置を合焦位置と誤判定してしまうことが根本の問題であるため、合焦位置が検出できない場合に対策を行っても意味がない。さらに、適正露出と適正より低い露出の複数回のAFサーチを行うとAFに要する時間が長くなってしまったり、適正より低い露出にするため見栄えが悪くなるなどの問題点もある。
The method of Patent Document 1 is good if the main subject is composed of only a high-brightness subject, but if the high-brightness subject and an illuminated normal subject are mixed, accurate focus adjustment may not be possible. Further, in the method of
本発明の目的は、高輝度被写体を含んでいても高輝度被写体に適したセーフティMFを行うことによって、ユーザーのピント合わせの補助を可能とし、合焦性能を向上させることができる撮像装置を提供することである。 An object of the present invention is to provide an imaging device that can assist a user in focusing and improve focusing performance by performing safety MF suitable for a high-brightness subject even if the subject includes a high-brightness subject. It is to be.
そこで、本発明では、フォーカスレンズを含む撮影光学系で結像された被写体像を撮像する撮像素子と、手動操作に基づいて前記フォーカスレンズを移動させることが可能なマニュアルフォーカス手段と、前記マニュアルフォーカス手段によるマニュアルフォーカスが実行された後に前記マニュアルフォーカスにて移動された前記フォーカスレンズの位置を基準とし、前記撮像素子から出力された画像データに基づいて焦点検出領域のコントラストを示す焦点評価値を算出し、前記焦点評価値に応じて前記フォーカスレンズの位置を調節する自動焦点調節手段と、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在しているか否かを判定する判定手段と、を有し、前記自動焦点調節手段は、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合に、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合よりも、前記焦点評価値のサンプリング間隔及び前記焦点評価値をサンプリングする際の前記フォーカスレンズの移動範囲の少なくとも一つを広げる構成とした。 Therefore, in the present invention, an image sensor that captures a subject image formed by a photographing optical system including a focus lens, manual focus means that can move the focus lens based on a manual operation, and the manual focus The focus evaluation value indicating the contrast of the focus detection area is calculated based on the image data output from the image sensor based on the position of the focus lens moved by the manual focus after the manual focus is executed by the means. And an automatic focus adjustment unit that adjusts the position of the focus lens in accordance with the focus evaluation value, and a determination unit that determines whether or not an object having a brightness higher than a predetermined value exists in the focus detection region. have the automatic focus adjusting means, higher than said predetermined value in the focus detection area bright If it is determined that there is a subject having a brightness higher than a predetermined value in the focus detection area, the focus evaluation value sampling interval and the focus evaluation value At least one of the movement ranges of the focus lens when sampling the focus evaluation value is widened .
高輝度被写体を含んだ撮影シーンにおいてもセーフティMFでユーザのピントを合わせの補助をすることで合焦性能を向上することができるようになる。 Even in a shooting scene including a high-luminance subject, focusing performance can be improved by assisting the user in focusing with the safety MF.
以下、図1〜図11を参照しながら本発明の実施例を説明する。図1は本発明の実施例を適用した電子カメラの構成を示すブロック図である。 Embodiments of the present invention will be described below with reference to FIGS. FIG. 1 is a block diagram showing the configuration of an electronic camera to which an embodiment of the present invention is applied.
101はズーム機構を含む撮影光学系としての撮影レンズ、102は光量を制御する絞り及びシャッター、103はAE処理部、104は後述する撮像素子上に焦点をあわせるためのフォーカスレンズ、105はフォーカスレンズを駆動するモータ、106はAF処理部、107は被写体からの反射光を電気信号に変換する受光手段又は光電変換手段としての撮像素子、108は撮像素子107の出力ノイズを除去するCDS回路やA/D変換前に行う非線形増幅回路を含むA/D変換部、109は画像処理部、110はフォーマット変換部である。
101 is a photographic lens as a photographic optical system including a zoom mechanism, 102 is a diaphragm and shutter for controlling the amount of light, 103 is an AE processing unit, 104 is a focus lens for focusing on an image sensor described later, and 105 is a focus lens. , 106 is an AF processing unit, 107 is an image sensor as a light receiving unit or photoelectric conversion unit that converts reflected light from an object into an electric signal, and 108 is a CDS circuit that removes output noise of the
撮像素子107は、フォーカスレンズを含む撮影光学系で結像された被写体像を撮像する。
The
111は高速な内蔵メモリ(例えばランダムアクセスメモリなど、以下DRAMと記す)、112はメモリーカードなどの記録媒体とそのインターフェースからなる画像記録部、113は撮影シーケンスなどシステムを制御するシステム制御部(以下、CPUと記す)、114は画像表示用メモリ(以下VRAMと記す)、115は画像表示の他、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面と、測距領域を表示する画像表示部、116はカメラを外部から操作するための操作部である。
CPU113は、撮像素子から出力された画像データに基づいて予め設定された焦点検出領域のコントラストを示す焦点評価値を算出する焦点評価値算出手段としての機能を有する。
The
CPU113は、焦点評価値がピーク位置となるように前記フォーカスレンズの位置を調整する自動焦点調節手段としての機能を有する。
The
焦点評価値算出手段は、抽出する帯域の異なる複数のフィルタで複数の焦点評価値を算出している。 The focus evaluation value calculation means calculates a plurality of focus evaluation values using a plurality of filters with different extracted bands.
CPU113は、マニュアルフォーカス手段によるマニュアルフォーカスが実行された後に指示手段による指示に応じて前記マニュアルフォーカスにて移動したフォーカスレンズの位置を基準として自動焦点調節を実行する実行手段としての機能を有する。
The
CPU113は、焦点検出領域内に所定値よりも高い輝度の被写体が存在しているか否かを判定する判定手段としての機能を有する。
The
117は、マクロモード、遠景モード、MFモードなどの撮影モードを選択するための撮影モードスイッチ、118はシステムに電源を投入するためのメインスイッチ、119はAFやAE等の撮影スタンバイ動作を行うためのスイッチ(以下SW1と記す)、120はSW1の操作後、撮影を行う撮影スイッチ(以下SW2と記す)である。
111のDRAMは、一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどに使用される。前記116の操作部は、例えば次のようなものが含まれる。撮像装置の撮影機能や画像再生時の設定、各撮影モードの詳細設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、MFモード時にユーザーが手動でフォーカスレンズの動作を行えるフォーカスレンズ動作ボタン、撮影モードと再生モードの動作モード切換えスイッチなどである。前記117の撮影モードスイッチは、ユーザーが選択した撮影モードに応じて測距距離範囲やAF動作などを変更するようになっている。
The
以下、本発明の実施例の動作について図2〜図11を用いて詳細に説明する。まず、S201では、AE処理部103で画像処理部109の出力からAE処理を行ってS202へと進む。S202では、SW1の状態を調べ、ONであればS203へ進み、そうでなければS201へ進む。S203では、後述する高輝度被写体判定を行ったあとS204へ進む。S204では現在設定されている撮影モードがMFモードかどうかを判定して、MFモードであればS205へ進み、そうでなければS207へ進む。S205では現在設定されている撮影モードがセーフティMFモードかどうかを調べ、セーフティMFモードであればS206へ進み、そうでなければS208へ進む。S206では後述するセーフティMF動作を行いS208へ進む。
The operation of the embodiment of the present invention will be described in detail below with reference to FIGS. First, in S201, the
ここで、セーフティMF動作中の露出条件(シャッター速度、絞り、感度)は、直前のS201のAE処理で決定する。S207では通常のAF動作を行ったあとS208へ進む。ここで通常のAF動作においては、S203での高輝度御被写体判定の結果に基づいて制御を変えてもよいが、本発明の主眼点とは異なるため詳細な動作は省略する。S208では、SW1の状態を調べ、ONであればS209へ進み、そうでなければS201へ進む。S209では、SW2の状態を調べ、ONであればS210へ進み、そうでなければS208へ進む。S210では、撮影動作を行ったあと、S201へ進む。 Here, the exposure conditions (shutter speed, aperture, sensitivity) during the safety MF operation are determined by the AE process of S201 immediately before. In S207, after performing a normal AF operation, the process proceeds to S208. Here, in the normal AF operation, the control may be changed based on the result of the high-luminance subject determination in S203, but the detailed operation is omitted because it differs from the main point of the present invention. In S208, the state of SW1 is checked. If it is ON, the process proceeds to S209, and if not, the process proceeds to S201. In S209, the state of SW2 is checked. If it is ON, the process proceeds to S210, and if not, the process proceeds to S208. In S210, after performing a photographing operation, the process proceeds to S201.
図3は、図2におけるS203の高輝度被写体判定を説明するフローチャートである。 FIG. 3 is a flowchart for explaining the high-luminance subject determination in S203 in FIG.
まず、S301では、被写体輝度(Bv値)に応じた高輝度被写体判定パラメータを設定してS302へ進む。ここで、高輝度被写体判定パラメータ(定数)の設定においては、高輝度被写体を領域内に含んでいるという判定を、暗いほどしやすいように設定する。領域内に高輝度被写体を含むと判定する条件は、低輝度部が多く、高輝度部がある程度存在し、高輝度部が非常に明るく、コントラストが高いという条件である。 First, in S301, a high brightness subject determination parameter is set according to subject brightness (Bv value), and the process proceeds to S302. Here, in the setting of the high-brightness subject determination parameter (constant), the determination that the high-brightness subject is included in the region is set so as to be easily made darker. The condition for determining that the region includes a high-luminance subject is that there are many low-luminance portions, some high-luminance portions exist, the high-luminance portions are very bright, and the contrast is high.
具体的に、高輝度被写体を含むと判定するのは、以下の(1)〜(4)を全て満たした場合である。
(1)低輝度画素数(NumBlightLow)と、高輝度画素数(NumBlightHigh)の和が所定画素数(NumHighLowPixs)より多い。
(2)高輝度画素数(NumBlightHigh)が所定画素数(NumHighPixs)より多い。
(3)領域内の高輝度部の値を表すヒストグラムYpが所定値(Yp0)より大きい。
(4)領域内のコントラストを表すヒストグラムMMが所定値(MM0)より大きい。
Specifically, it is determined that a high-luminance subject is included when all of the following (1) to (4) are satisfied.
(1) The sum of the number of low luminance pixels (NumBlightLow) and the number of high luminance pixels (NumBlightHigh) is greater than the predetermined number of pixels (NumHighLowPixs).
(2) The number of high luminance pixels (NumBlightHigh) is larger than the predetermined number of pixels (NumHighPixs).
(3) The histogram Yp representing the value of the high luminance part in the region is larger than the predetermined value (Yp0).
(4) The histogram MM representing the contrast in the region is larger than a predetermined value (MM0).
そこでBv値が小さくなるほど、これらの条件が緩くなるようにする。すなわち、NumHighLowPixs、NumHighPixsはBv値が小さくなるほど小さい値にする。Yp0は輝度によらず同じ値とするが、MM0は誤判定を避けるためBv値が小さくなるほど大きな値となるように設定する。また、高輝度とみなす値(BlightHigh)、低輝度とみなす値(BlightLow)の値は、Bv値が小さくなるほど、高輝度被写体を含むと判定されやすくなるように設定する。 Therefore, these conditions are relaxed as the Bv value decreases. That is, NumHighLowPixs and NumHighPixs are set to smaller values as the Bv value decreases. Yp0 is set to the same value regardless of the luminance, but MM0 is set so as to increase as the Bv value decreases in order to avoid erroneous determination. In addition, the value regarded as high luminance (BlightHigh) and the value regarded as low luminance (BlightLow) are set such that the smaller the Bv value, the easier it is to determine that a high-luminance subject is included.
各判定パラメータは、Bv値に応じて例えば以下のように設定する。
[1] Bv値 ≧ 0 の場合
高輝度被写体を含むと判定しないため、判定パラメータは設定しない。
[2] 0 > Bv値 ≧ −2 の場合
NumHighLowPixs = 領域内の総画素数の70%(1画素未満は四捨五入)
NumHightPixs = 領域内の総画素数の1%(1画素未満は四捨五入)
Yp0 = 240
MM0 = 160
BlightHigh = 235
BlightLow = 100
[3] −2 > Bv値 ≧ −3 の場合
NumHighLowPixs = 領域内の総画素数の60%(1画素未満は四捨五入)
NumHightPixs = 領域内の総画素数の0.9%(1画素未満は四捨五入)
Yp0 = 240
MM0 = 170
BlightHigh = 230
BlightLow = 80
[4] −3 > Bv値 の場合
NumHighLowPixs = 領域内の総画素数の50%(1画素未満は四捨五入)
NumHightPixs = 領域内の総画素数の0.8%(1画素未満は四捨五入)
Yp0 = 240
MM0 = 180
BlightHigh = 225
BlightLow = 60
Each determination parameter is set as follows according to the Bv value, for example.
[1] When the Bv value ≥ 0: Since it is not determined that a high-luminance subject is included, no determination parameter is set.
[2] When 0> Bv value ≥ -2
NumHighLowPixs = 70% of the total number of pixels in the area (rounded off if less than 1 pixel)
NumHightPixs = 1% of the total number of pixels in the area (rounded off to less than 1 pixel)
Yp0 = 240
MM0 = 160
BlightHigh = 235
BlightLow = 100
[3] -2> Bv value ≥ -3
NumHighLowPixs = 60% of the total number of pixels in the area (rounded off if less than 1 pixel)
NumHightPixs = 0.9% of the total number of pixels in the area (rounded off if less than 1 pixel)
Yp0 = 240
MM0 = 170
BlightHigh = 230
BlightLow = 80
[4] When -3> Bv value
NumHighLowPixs = 50% of the total number of pixels in the area (rounded off if less than 1 pixel)
NumHightPixs = 0.8% of the total number of pixels in the area (rounded off if less than 1 pixel)
Yp0 = 240
MM0 = 180
BlightHigh = 225
BlightLow = 60
ただし、これらは輝度値の範囲を0〜255とした場合の数値である。これらと異なる組み合わせであっても、暗いほど高輝度被写体を領域内に含むと判定しやすいような設定であれば構わない。 However, these are numerical values when the range of the luminance value is 0 to 255. Even a combination different from these may be set as long as it is easier to determine that the darker the high-luminance subject is included in the region.
S302では、該当枠内のヒストグラムを取得してS303へ進む。ここで言うヒストグラムとは、枠内の画素について、一画素ごとに輝度値を測定し、各輝度値の画素がいくつ存在するかを算出する処理である。例えばA/D変換された後の輝度値が0〜255になる場合、輝度値0〜255のそれぞれにおいて画素が何画素あるかを求める処理である。また、該当枠の領域は、例えば、後述する図5のS501の測距領域と同じ領域に設定する。 In S302, a histogram within the corresponding frame is acquired, and the process proceeds to S303. The histogram mentioned here is a process of measuring the luminance value for each pixel and calculating how many pixels of each luminance value exist for the pixels in the frame. For example, when the luminance value after A / D conversion is 0 to 255, this is a process for determining how many pixels there are in each of the luminance values 0 to 255. Further, the area of the corresponding frame is set to the same area as the distance measuring area of S501 in FIG.
S303では、S301で取得したヒストグラムから、所定輝度値(BlightLow)より低い輝度値の画素数(NumBlightLow)を算出してS304へ進む。S304では、S301で取得したヒストグラムから、所定輝度値(BlightHigh)より高い輝度値の画素数(NumBlightHigh)を算出してS305へ進む。S305では、後述するヒストグラムYp及びヒストグラムMMの算出を行ってS306へ進む。S306では、NumBlightLowとNumBlightHighの和がNumHightLowPixsよりも大きいかどうかを調べ、大きければS307へ進む、そうでなければS311へ進む。S307では、NumBlightHighがNumHighPixsよりも大きいかどうかを調べ、大きければS308へ進み、そうでなければS311へ進む。 In S303, the number of pixels having a luminance value lower than the predetermined luminance value (BlightLow) (NumBlightLow) is calculated from the histogram acquired in S301, and the process proceeds to S304. In S304, the number of pixels having a luminance value higher than a predetermined luminance value (BrightHigh) is calculated from the histogram acquired in S301, and the process proceeds to S305. In S305, a histogram Yp and a histogram MM described later are calculated, and the process proceeds to S306. In S306, it is checked whether or not the sum of NumBlightLow and NumBrightHigh is larger than NumHighLowPixs. If it is larger, the process proceeds to S307, and if not, the process proceeds to S311. In S307, it is checked whether NumBrightHigh is larger than NumHighPixs. If it is larger, the process proceeds to S308, and if not, the process proceeds to S311.
S308では、S305で算出したヒストグラムYpが、所定値Yp0よりも大きいかどうかを調べ、大きければS309へ進み、そうでなければS311へ進む。S309では、S305で算出したヒストグラムMMが所定値MM0よりも大きいかどうかを調べ、大きければS310へ進み、そうでなければS311へ進む。S310では、該当枠内に高輝度被写体を含んでいると判定して本フローを終了し、S204へ進む。S311では、該当枠内に高輝度被写体を含んでないと判定して本フローを終了し、S204へ進む。 In S308, it is checked whether or not the histogram Yp calculated in S305 is larger than the predetermined value Yp0. If it is larger, the process proceeds to S309, and if not, the process proceeds to S311. In S309, it is checked whether or not the histogram MM calculated in S305 is larger than the predetermined value MM0. If so, the process proceeds to S310, and if not, the process proceeds to S311. In S310, it is determined that a high-luminance subject is included in the corresponding frame, the present flow is ended, and the process proceeds to S204. In S311, it is determined that the high-luminance subject is not included in the corresponding frame, and this flow is ended, and the process proceeds to S204.
図4は、図3におけるS305のヒストグラムYp及びヒストグラムMMの算出を説明するフローチャート図である。まず、S401では、S302においてヒストグラムを取得した該当枠内の総画素数(NumHistPixls)を算出してS402へ進む。S402では、有効とみなす画素数の閾値であるThrNumHistを、S401で算出したNumHistPixlsと、有効とみなす画素数の割合(比率)ThrRatioの積を取ることで算出してS403へ進む。ここで、有効とみなす画素数の閾値とは、ノイズなどの本来は存在しない輝度値が存在する場合にそれを除外するための閾値であり、この閾値に満たない画素数の輝度値は、後述するヒストグラムYp及びヒストグラムMMの算出には用いないようにする。 FIG. 4 is a flowchart for explaining the calculation of the histogram Yp and the histogram MM in S305 in FIG. First, in S401, the total number of pixels (NumHistPixls) in the corresponding frame for which the histogram was acquired in S302 is calculated, and the process proceeds to S402. In S402, ThrNumHist, which is a threshold value of the number of pixels regarded as valid, is calculated by taking the product of NumHistPixls calculated in S401 and the ratio (ratio) ThrRatio of the number of pixels regarded as valid, and the process proceeds to S403. Here, the threshold value of the number of pixels regarded as valid is a threshold value for excluding the luminance value that does not exist originally such as noise, and the luminance value of the number of pixels less than this threshold value is described later. The histogram Yp and the histogram MM are not used for calculation.
S403では、輝度値を0に初期化し、輝度値0から有効な輝度値であるか否かの判定を開始してS404へ進む。S404では、判定する輝度値の画素数がhrNumHistよりも大きいかとどうかを調べ、大きければS405へ進み、そうでなければS407へ進む。S405では、S404で判定した輝度値を有効輝度値とみなしてS407へ進む。S407では、輝度値が255となったかどうかを調べ、そうであればS408へ進み、そうでなければS406へ進む。S406では、判定する輝度値をインクリメントしてS404へ進む。このS404〜S407の処理を、輝度値を更新しながら繰り返すことで、輝度値0〜255全てにおいて、有効輝度値かどうかを判定することができる。 In S403, the brightness value is initialized to 0, and it is determined whether the brightness value is an effective brightness value from brightness value 0, and the process proceeds to S404. In S404, it is checked whether or not the number of pixels of the luminance value to be determined is larger than hrNumHist. If so, the process proceeds to S405, and if not, the process proceeds to S407. In S405, the luminance value determined in S404 is regarded as an effective luminance value, and the process proceeds to S407. In S407, it is checked whether or not the luminance value is 255. If so, the process proceeds to S408, and if not, the process proceeds to S406. In S406, the luminance value to be determined is incremented, and the process proceeds to S404. By repeating the processing of S404 to S407 while updating the luminance value, it is possible to determine whether or not the luminance value is an effective luminance value in all of the luminance values 0 to 255.
S408では、有効輝度値の最大値と最小値を算出してS409へ進む。S409では、有効輝度値の最大値をヒストグラムYpとしてS410に進む。S410では、有効輝度値の最大値と最小値の差をヒストグラムMMとして本フローを終了し、S306へ進む。 In S408, the maximum and minimum effective luminance values are calculated, and the process proceeds to S409. In S409, the maximum effective luminance value is set as the histogram Yp, and the process proceeds to S410. In S410, the difference between the maximum value and the minimum value of the effective luminance value is set as the histogram MM, and this flow is finished, and the process proceeds to S306.
図5は、図2におけるS206のセーフティMF動作を説明するフローチャートである。まず、S501では、画面内の所定の領域に測距領域を設定してS502へ進む。所定の領域は、例えば中央に画面の18%のサイズの1枠で設定する。S502では、Bv値がBvThr1以上かどうかを調べ、そうであればS504へ進み、そうでなければ、S503へ進む。ここで、BvThr1は、前述したS301での高輝度被写体の判定パラメータと対応するように、例えばBvThr1=0と設定する。また、Bv値がBvThr1以上であれば、測距領域内に高輝度被写体が存在しないと判断して通常のセーフティMFを行うフローへと進む。 FIG. 5 is a flowchart for explaining the safety MF operation in S206 in FIG. First, in S501, a distance measurement area is set as a predetermined area in the screen, and the process proceeds to S502. The predetermined area is set by, for example, one frame having a size of 18% of the screen at the center. In S502, it is checked whether or not the Bv value is BvThr1 or more. If so, the process proceeds to S504, and if not, the process proceeds to S503. Here, BvThr1 is set, for example, as BvThr1 = 0 so as to correspond to the determination parameter of the high-luminance subject in S301 described above. If the Bv value is equal to or greater than BvThr1, it is determined that there is no high-luminance subject in the distance measurement area, and the flow proceeds to a flow for performing normal safety MF.
S503では、S203で高輝度被写体判定を行った該当枠(S501で設定した測距領域と同じ領域)内に高輝度被写体が存在するかどうか(つまりS203の判定結果)を調べ、高輝度被写体が存在すると判定されていればS507へ進み、そうでなければS504へ進む。S504では、通常のセーフティMFの設定1を行ってS505へ進む。 In S503, it is checked whether or not there is a high-luminance subject (that is, the determination result in S203) within the corresponding frame (the same area as the distance measurement area set in S501) for which the high-luminance subject has been determined in S203. If it is determined that it exists, the process proceeds to S507, and if not, the process proceeds to S504. In S504, normal safety MF setting 1 is performed, and the process proceeds to S505.
ここで、セーフティMFの設定項目として、スキャン間隔、スキャン点数、焦点評価値を算出する際のバンドパスフィルタ(BPF)の帯域がある。通常セーフティMF設定1の設定の仕方は、例えば、スキャン間隔=2.3深度、スキャン点数=5点、BPF帯域=高域または低域(所定輝度よりも明るい場合は高域、暗い場合は低域)とする。 Here, as setting items of the safety MF, there are a band of a band pass filter (BPF) when calculating a scan interval, the number of scan points, and a focus evaluation value. The normal safety MF setting 1 is set, for example, by scanning interval = 2.3 depth, number of scanning points = 5 points, BPF band = high range or low range (high range when brighter than a predetermined brightness, low range when dark) Area).
これは、被写体が暗い場合はS/Nが悪化してノイズ成分が増えるため、ノイズによる高周波数帯域成分を除去するために低周波数帯域のBPF設定を行う。MFモードであるため、できるだけライブ画像でピント合わせの補助によるピント変動が目立たないようにスキャン間隔とスキャン点数を決定する。 This is because when the subject is dark, the S / N deteriorates and the noise component increases, so the BPF setting in the low frequency band is performed in order to remove the high frequency band component due to noise. Since it is the MF mode, the scan interval and the number of scan points are determined so that the focus fluctuation due to the assist of focusing is not conspicuous in the live image as much as possible.
S505では後述するAFスキャンを行ったあとS506へ進む。S506では後述する通常合焦判定を行ったあとS512へ進む。S507では、Bv値がBvThr2未満かどうかを調べ、そうであればS509へ進み、そうでなければ、S508へ進む。ここで、BvThr2は、前述したS301での高輝度被写体の判定パラメータと対応するように、例えば、BvThr2=−3と設定する。Bv値がBvThr2以上であれば、高輝度被写体と照明された通常被写体が混在していると判断して、その状況に適したセーフティMFを行うフローへと進み、Bv値がBvThr2未満であれば、暗中に高輝度被写体があると判断して、高輝度被写体に最も適したセーフティMFを行うフローへと進む。 In S505, after performing an AF scan described later, the process proceeds to S506. In S506, after performing the normal focus determination described later, the process proceeds to S512. In S507, it is checked whether or not the Bv value is less than BvThr2. If so, the process proceeds to S509, and if not, the process proceeds to S508. Here, BvThr2 is set to BvThr2 = −3, for example, so as to correspond to the determination parameter of the high-luminance subject in S301 described above. If the Bv value is greater than or equal to BvThr2, it is determined that the high-brightness subject and the illuminated normal subject are mixed, and the flow proceeds to a flow for performing safety MF suitable for the situation. If the Bv value is less than BvThr2 Then, it is determined that there is a high-luminance subject in the dark, and the flow proceeds to a flow for performing safety MF most suitable for the high-luminance subject.
S508では、高輝度被写体と照明された通常被写体が混在していると判断して、その状況に適したセーフティMF設定2を行ったあと、S510へ進む。ここで、高輝度セーフティMF設定2の設定の仕方は、例えば、スキャン間隔=2.3深度、スキャン点数=5点、BPF帯域=低域とする。S509では、暗中に高輝度被写体があると判断して、高輝度被写体に最も適したセーフティMF設定3を行ったあと、S510へ進む。ここで、高輝度セーフティMF設定3の設定の仕方は、例えば、スキャン間隔=4.6深度、スキャン点数=5点、BPF帯域=高域とする。 In S508, it is determined that the high-brightness subject and the illuminated normal subject are mixed, and after performing safety MF setting 2 suitable for the situation, the process proceeds to S510. Here, the setting method of the high brightness safety MF setting 2 is, for example, scan interval = 2.3 depth, number of scan points = 5, and BPF band = low range. In S509, it is determined that there is a high-luminance subject in the dark, and after performing safety MF setting 3 most suitable for the high-luminance subject, the process proceeds to S510. Here, the setting method of the high brightness safety MF setting 3 is, for example, scan interval = 4.6 depth, number of scan points = 5, and BPF band = high range.
次に、この設定を行う理由について説明する。前述の背景技術で説明したように、高輝度被写体の場合、低域の焦点評価値は図10に示すようにピント位置で最大とならずに谷のような形状となる。また、輝度信号(Yi)も図10に示すように同様の形状となるため、低域の焦点評価値をYiで正規化すると谷のような形状は若干改善される。Yiの正規化の仕方は、例えば焦点評価値を取得したフォーカスレンズ位置と同じ位置で取得したYiでそれぞれを除算する方法を用いる。しかし、低域の焦点評価値をYiで正規化してもピント位置が検出できるほどには改善されない。 Next, the reason for performing this setting will be described. As described in the background art described above, in the case of a high-luminance subject, the focus evaluation value in the low band does not become maximum at the focus position, but has a valley-like shape as shown in FIG. Further, since the luminance signal (Yi) has the same shape as shown in FIG. 10, the shape like a valley is slightly improved by normalizing the low-frequency focus evaluation value with Yi. As a normalization method of Yi, for example, a method of dividing each by Yi acquired at the same position as the focus lens position from which the focus evaluation value is acquired is used. However, even if the low-frequency focus evaluation value is normalized by Yi, the focus position cannot be detected so as to be detected.
これに対して、高域の焦点評価値では、低域の焦点評価値と比較して、図11(a)に示すようにピント位置で谷の形状になりづらい傾向にある。これは、輝度値の飽和により被写体像の輝度値が不連続となることで高周波成分が生じ、この高周波成分がピント位置付近で増大することによると推測される。この高域の焦点評価値をさらにYiで正規化すると、図11(b)に示すようにピーク位置で最大となる。また、高輝度被写体の場合、通常の被写体よりも焦点評価値のピーク形状がブロードになるため、通常のスキャン範囲よりも広げることでピークの形状を判断しやすくなる。そのため、通常のスキャン間隔よりも広い設定としている。 On the other hand, the high-frequency focus evaluation value tends to be less likely to have a valley shape at the focus position as shown in FIG. 11A than the low-frequency focus evaluation value. This is presumed to be due to the fact that the luminance value of the subject image becomes discontinuous due to saturation of the luminance value, thereby generating a high-frequency component, and this high-frequency component increases near the focus position. When this high-frequency focus evaluation value is further normalized by Yi, the maximum is obtained at the peak position as shown in FIG. Further, in the case of a high-luminance subject, the peak shape of the focus evaluation value is broader than that of a normal subject, so that it is easier to determine the peak shape by extending it beyond the normal scan range. Therefore, the setting is wider than the normal scan interval.
S510では、後述するAFスキャンを行ったあと、S511へ進む。S511では、後述する高輝度被写体合焦判定を行ったあと、S512へ進む。S512では、後述するS506またはS511で決定される撮影位置へフォーカスレンズを移動して本フローを終了し、S208へ進む。 In S510, after performing an AF scan described later, the process proceeds to S511. In S511, after performing a high-luminance subject focus determination described later, the process proceeds to S512. In S512, the focus lens is moved to the photographing position determined in S506 or S511, which will be described later, the present flow is ended, and the process proceeds to S208.
図6は、図5におけるS505とS510のAFスキャンを説明するフローチャート図である。S601では、現在のフォーカス位置を記憶してS602へ進む。ここで記憶したフォーカス位置は、後述する撮影位置に使用される場合に必要となる。S602では、現在のフォーカス位置と、前述したS504、S508、S509のいずれかで設定したスキャン間隔及びスキャン点数からAFスキャン範囲を算出して設定し、S603へ進む。S603では、S602で設定したAFスキャン範囲のうちの端であるAFスキャン開始位置へフォーカスレンズを移動してS604へ進む。 FIG. 6 is a flowchart for explaining the AF scanning in S505 and S510 in FIG. In S601, the current focus position is stored, and the process proceeds to S602. The focus position stored here is necessary when used for a shooting position to be described later. In S602, an AF scan range is calculated and set from the current focus position, the scan interval and the number of scan points set in any of S504, S508, and S509 described above, and the process proceeds to S603. In S603, the focus lens is moved to the AF scan start position which is the end of the AF scan range set in S602, and the process proceeds to S604.
ここで、端は遠側の端または近側の端のどちらでもよい。S604では、所定の速度で所定方向にフォーカスレンズの移動を開始してS605へ進む。ここで、所定の速度は、現在のフレームレートとスキャン間隔より算出する。また、所定方向はS602で設定したAFスキャン範囲を走査する方向とする。S605では、S501で設定した測距領域内の焦点評価値を取得してS606へ進む。ここで、焦点評価値の算出においては、高域のBPFを用いた出力(TES)、低域のBPFを用いた出力(FES)の2つを出力し、S504、S508、S509での設定に応じてどちらの焦点評価値を使用するかを決定する。 Here, the end may be either a far end or a near end. In S604, the focus lens starts to move in a predetermined direction at a predetermined speed, and the process proceeds to S605. Here, the predetermined speed is calculated from the current frame rate and the scan interval. The predetermined direction is the direction in which the AF scan range set in S602 is scanned. In S605, the focus evaluation value in the distance measurement area set in S501 is acquired, and the process proceeds to S606. Here, in the calculation of the focus evaluation value, two outputs, that is, an output using a high-frequency BPF (TES) and an output using a low-frequency BPF (FES) are output, and are set in S504, S508, and S509. Accordingly, which focus evaluation value is used is determined.
BPF設定においては、例えばTESはナイキスト周波数の50%、FESはナイキスト周波数の20%となるようなBPF係数を設定する。S606では現在のフォーカスレンズの位置を取得してS607へ進む。S607では、S606で取得した現在のフォーカスレンズの位置がS602で設定したスキャン範囲内にあるかどうかを調べ、スキャン範囲内にあればS605へ進み、そうでなければS608へ進む。ここで、S605〜S607の一連の動作は、現在のフレームレートの1フレーム分の時間で行われる。 In the BPF setting, for example, a BPF coefficient is set such that TES is 50% of the Nyquist frequency and FES is 20% of the Nyquist frequency. In S606, the current position of the focus lens is acquired, and the process proceeds to S607. In S607, it is checked whether or not the current focus lens position acquired in S606 is within the scan range set in S602. If it is within the scan range, the process proceeds to S605, and if not, the process proceeds to S608. Here, the series of operations from S605 to S607 is performed for a time corresponding to one frame at the current frame rate.
また、S605で取得した焦点評価値とS606で取得したレンズ位置を対応付け、後述するS709、S808の焦点評価値のピーク位置算出で用いる。その際、焦点評価値を取得中にフォーカスレンズは駆動しているため、露光時間の中心のタイミングでのフォーカスレンズの位置を算出して焦点評価値と対応付ける。S608ではフォーカスレンズを停止して本フローを終了し、S506またはS511へ進む。 In addition, the focus evaluation value acquired in S605 and the lens position acquired in S606 are associated with each other and used in the calculation of the peak position of the focus evaluation value in S709 and S808 described later. At this time, since the focus lens is driven during the acquisition of the focus evaluation value, the position of the focus lens at the center timing of the exposure time is calculated and associated with the focus evaluation value. In S608, the focus lens is stopped to end the present flow, and the process proceeds to S506 or S511.
図7は、図5におけるS506の通常合焦判定を説明するフローチャート図である。まずS701では、焦点評価値を輝度信号(Yi)で正規化してS702へ進む。S702では、焦点評価値の最大値(Max)と最小値(Min)を算出してS703へ進む。S703では、焦点評価値が最大となるスキャンポイント(MaxPoint)を算出してS704へ進む。S704では、スキャンポイント、焦点評価値から、山の形状を判断する為の傾斜している部分の長さL、傾斜SLを求め、SL/Lを算出してS705へ進む。 FIG. 7 is a flowchart for explaining the normal focus determination in S506 in FIG. First, in S701, the focus evaluation value is normalized with the luminance signal (Yi), and the process proceeds to S702. In S702, the maximum value (Max) and the minimum value (Min) of the focus evaluation value are calculated, and the process proceeds to S703. In S703, the scan point (MaxPoint) that maximizes the focus evaluation value is calculated, and the process proceeds to S704. In S704, the length L and the slope SL of the inclined portion for judging the shape of the mountain are obtained from the scan point and the focus evaluation value, SL / L is calculated, and the process proceeds to S705.
S705では、山の形状が至近側登り止まりかを判断する。至近側登り止まりだと判断するのは、焦点評価値が最大値となるスキャンポイントがスキャンを行った所定範囲における近端であり、かつ近端のスキャンポイントにおける焦点評価値の値と、近端のスキャンポイントより1ポイント分無限遠よりのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。至近側への登り止まりだと判断した場合は、S713へ進み、そうでなければS706へ進む。S706では山の形状が無限遠側への登り止まりかを判断する。 In S705, it is determined whether the mountain shape stops climbing on the near side. It is determined that the near-end climbing stop is at the near end in the predetermined range where the scan point with the maximum focus evaluation value is scanned, and the focus evaluation value at the near end scan point and the near end. This is a case where the difference in the focus evaluation value at the scan point from infinity by one point from the scan point is a predetermined value or more. If it is determined that the climb to the closest side is stopped, the process proceeds to S713, and if not, the process proceeds to S706. In S706, it is determined whether the mountain shape stops climbing to infinity.
無限遠側への登り止まりだと判断するのは、焦点評価値の最大値となるスキャンポイントがスキャンを行った所定範囲における無限遠端であり、かつ無限遠端スキャンポイントにおける焦点評価値の値と、無限遠端スキャンポイントより1ポイント分至近端よりのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。無限遠側への登り止まりだと判断した場合は、S711へ進み、そうでなければS707へ進む。 It is determined that the climb to the infinity side is stopped at the infinity end in the predetermined range where the scan point that has the maximum focus evaluation value is scanned, and the value of the focus evaluation value at the infinity end scan point And the difference in the focus evaluation value at the scan point from the closest end by one point from the infinity end scan point is a predetermined value or more. If it is determined that the climb to the infinity side is stopped, the process proceeds to S711, otherwise the process proceeds to S707.
S707では一定値以上の傾きで傾斜している部分の長さLが所定値以上であり、かつ傾斜している部分の傾斜の平均値SL/Lが所定値以上であり、かつ焦点評価値の最大値(Max)と最小値(Min)の差が所定値以上であれば、S708へ進み、そうでなければS711へ進む。S708では得られた焦点評価値が山状となっていて、被写体にコントラストがあり、焦点調節が可能である為、判定結果を○判定としてS709へ進む。 In S707, the length L of the portion inclined at a certain inclination or more is a predetermined value or more, the average value SL / L of the inclination of the inclined portion is a predetermined value or more, and the focus evaluation value If the difference between the maximum value (Max) and the minimum value (Min) is greater than or equal to the predetermined value, the process proceeds to S708, and if not, the process proceeds to S711. In S708, the obtained focus evaluation value is mountain-shaped, the subject has contrast, and focus adjustment is possible. Therefore, the determination result is determined as ◯, and the process proceeds to S709.
S711では、得られた焦点評価値が山状となっておらず、被写体にコントラストがなく、焦点調節が不可能であるため判定結果を×判定としてS712へ進む。S713では得られた焦点評価値が山状となってはいないが、近端方向に登り続けている状態となっており、さらに至近側に被写体ピークが存在している可能性があるため判定結果を△判定としてS714へ進む。 In S711, since the obtained focus evaluation value is not mountain-shaped, the subject has no contrast, and focus adjustment is impossible, the determination result is set as x determination and the process proceeds to S712. Although the focus evaluation value obtained in S713 is not mountain-shaped, it is in a state where it continues to climb in the near-end direction, and there is a possibility that a subject peak exists on the near side, so the determination result Is determined as Δ and the process proceeds to S714.
以下、図9を用いてピーク形状の判定の仕方の詳細を説明する。焦点評価値は遠近競合などの場合を除けば、横軸にフォーカスレンズ位置、縦軸に焦点評価値をとると、その形は図9に示すような山状になる。そこで焦点評価値の、最大値と最小値の差、一定値(SlopeThr)以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から、山の形状を判断することにより、合焦判定を行うことができる。 Hereinafter, details of how to determine the peak shape will be described with reference to FIG. The focus evaluation value takes a mountain shape as shown in FIG. 9 when the horizontal axis represents the focus lens position and the vertical axis represents the focus evaluation value, except in the case of distance competition. Therefore, by determining the shape of the mountain from the difference between the maximum value and the minimum value of the focus evaluation value, the length of the inclined portion with a slope equal to or greater than a certain value (SlopeThr), and the slope of the inclined portion, In-focus determination can be performed.
合焦判定における判定結果は、以下に示すように○判定、×判定、△判定で出力される。
○判定:被写体のコントラストが十分、かつスキャンした距離範囲内の距離に被写体が存在する。
×判定:被写体のコントラストが不十分、もしくはスキャンした距離範囲外の距離に被写体が位置する。
The determination result in the in-focus determination is output by ○ determination, × determination, and Δ determination as shown below.
○ Judgment: The subject has sufficient contrast and the subject exists at a distance within the scanned distance range.
X: The subject contrast is insufficient, or the subject is located at a distance outside the scanned distance range.
また、×判定のうち、至近側方向のスキャンした距離範囲外に被写体が位置する場合を△判定とする。 Further, in the x determination, a case where the subject is located outside the scanned distance range in the near side direction is determined as Δ determination.
山の形状を判断する為の、一定値以上の傾きで傾斜している部分の長さL、傾斜している部分の勾配SL/Lを、図9を用いて説明する。 The length L of the inclined portion and the slope SL / L of the inclined portion for judging the mountain shape will be described with reference to FIG.
山の頂上(A点)から傾斜が続いていると認められる点をD点、E点とし、D点とE点の幅を山の幅Lとする。傾斜が続いていると認める範囲は、A点から、所定量(SlopeThr)以上、焦点評価値が下がったスキャンポイントが続く範囲とする。スキャンポイントとは、連続的にフォーカスレンズを動かして、スキャン開始点から、スキャン終了点まで移動する間に、焦点評価値を取得するポイントの事である。 Points that are recognized to be inclined from the top of the mountain (point A) are defined as points D and E, and the width between points D and E is defined as the width L of the mountain. The range in which the inclination is recognized to be continued is a range in which a scan point whose focus evaluation value has decreased by a predetermined amount (SlopeThr) or more continues from the point A. A scan point is a point at which a focus evaluation value is acquired while moving a focus lens continuously and moving from a scan start point to a scan end point.
A点とD点の焦点評価値の差SL1とA点とE点の焦点評価値の差SL2の和SL1+SL2をSLとする。以上のようにピークの形状判定を行う。 The sum SL1 + SL2 of the difference SL1 between the focus evaluation values of the points A and D and the difference SL2 of the focus evaluation values between the points A and E is defined as SL. The peak shape determination is performed as described above.
S709では、ピーク位置を算出してS710へ進む。S710では、S709で算出したピーク位置を撮影位置として設定し、本フローを終了してS512へ進む。S712では、S601で記憶しているフォーカスレンズ位置(つまり元のフォーカスレンズ位置)を撮影位置として設定し、本フローを終了してS512へ進む。S714では近側に登り止まった位置を撮影位置として設定し、本フローを終了してS512へ進む。 In S709, the peak position is calculated and the process proceeds to S710. In S710, the peak position calculated in S709 is set as the shooting position, the present flow is terminated, and the process proceeds to S512. In S712, the focus lens position (that is, the original focus lens position) stored in S601 is set as a shooting position, the present flow is terminated, and the process proceeds to S512. In step S714, the position where the climbing stops is set as the shooting position, the present flow is terminated, and the process proceeds to step S512.
図8は、図5におけるS511の高輝度被写体合焦判定を説明するフローチャート図である。S801では、焦点評価値を輝度信号(Yi)で正規化してS802へ進む。S802では、焦点評価値の最大値(Max)と最小値(Min)を算出してS703へ進む。S803では、焦点評価値が最大となるスキャンポイント(MaxPoint)を算出してS804へ進む。S804では、スキャンポイント、焦点評価値から、山の形状を判断する為の傾斜している部分の長さL、傾斜SLを求め、SL/Lを算出してS805へ進む。 FIG. 8 is a flowchart for explaining the high-luminance subject in-focus determination in S511 in FIG. In S801, the focus evaluation value is normalized with the luminance signal (Yi), and the process proceeds to S802. In S802, the maximum value (Max) and the minimum value (Min) of the focus evaluation value are calculated, and the process proceeds to S703. In step S803, the scan point (MaxPoint) that maximizes the focus evaluation value is calculated, and the process advances to step S804. In S804, the length L and the slope SL of the inclined portion for judging the shape of the mountain are obtained from the scan point and the focus evaluation value, SL / L is calculated, and the process proceeds to S805.
S805では、山の形状が至近側登り止まりかを判断する。至近側登り止まりだと判断するのは、焦点評価値が最大値となるスキャンポイントがスキャンを行った所定範囲における近端であり、かつ近端のスキャンポイントにおける焦点評価値の値と、近端のスキャンポイントより1ポイント分無限遠よりのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。至近側への登り止まりだと判断した場合は、S812へ進み、そうでなければS806へ進む。 In step S805, it is determined whether the mountain shape stops climbing on the near side. It is determined that the near-end climbing stop is at the near end in the predetermined range where the scan point with the maximum focus evaluation value is scanned, and the focus evaluation value at the near end scan point and the near end. This is a case where the difference in the focus evaluation value at the scan point from infinity by one point from the scan point is a predetermined value or more. If it is determined that the climb to the closest side is stopped, the process proceeds to S812, and if not, the process proceeds to S806.
S806では山の形状が無限遠側への登り止まりかを判断する。無限遠側への登り止まりだと判断するのは、焦点評価値の最大値となるスキャンポイントがスキャンを行った所定範囲における無限遠端であり、かつ無限遠端スキャンポイントにおける焦点評価値の値と、無限遠端スキャンポイントより1ポイント分至近端よりのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。無限遠側への登り止まりだと判断した場合は、S812へ進み、そうでなければS807へ進む。 In S806, it is determined whether the mountain shape stops climbing toward infinity. It is determined that the climb to the infinity side is stopped at the infinity end in the predetermined range where the scan point that has the maximum focus evaluation value is scanned, and the value of the focus evaluation value at the infinity end scan point And the difference in the focus evaluation value at the scan point from the closest end by one point from the infinity end scan point is a predetermined value or more. If it is determined that the climb to the infinity side is stopped, the process proceeds to S812, and if not, the process proceeds to S807.
S807では一定値以上の傾きで傾斜している部分の長さLが所定値以上であり、かつ傾斜している部分の傾斜の平均値SL/Lが所定値以上であり、かつ焦点評価値の最大値(Max)と最小値(Min)の差が所定値以上であれば、S808へ進み、そうでなければS812へ進む。S808では、ピーク位置を検出してS809へ進む。S809では、ピーク位置が通常のセーフティMFのスキャン範囲内にあるかどうかを判定し、範囲内にあればS810へ進み、そうでなければS812へ進む。 In S807, the length L of the portion inclined at a certain inclination or more is a predetermined value or more, the average value SL / L of the inclination of the inclined portion is a predetermined value or more, and the focus evaluation value If the difference between the maximum value (Max) and the minimum value (Min) is greater than or equal to a predetermined value, the process proceeds to S808, and if not, the process proceeds to S812. In S808, the peak position is detected and the process proceeds to S809. In S809, it is determined whether or not the peak position is within the normal safety MF scan range. If it is within the range, the process proceeds to S810, and if not, the process proceeds to S812.
S810では得られた焦点評価値が山状となっていて、被写体にコントラストがあり、焦点調節が可能である為、判定結果を○判定としてS811へ進む。S812では、得られた焦点評価値が山状となっておらず、被写体にコントラストがなく、焦点調節が不可能であるため判定結果を×判定としてS813へ進む。ここで、S805において、近端方向に登り続けている状態となっている場合についての合焦判定について説明する。通常被写体における合焦判定では、さらに至近側に被写体ピークが存在している可能性があるため判定結果を△判定としていたが、高輝度被写体においては誤測距の可能性があるため×判定としている。 In S810, the focus evaluation value obtained is mountain-shaped, the subject has contrast, and focus adjustment is possible. Therefore, the determination result is set as ◯, and the process proceeds to S811. In S812, since the obtained focus evaluation value is not mountain-shaped, the subject has no contrast, and focus adjustment is impossible, the determination result is X determination and the process proceeds to S813. Here, in S805, the focus determination for the case where the vehicle is in the state of continuing to climb in the near end direction will be described. In the focus determination for a normal subject, since the subject peak may exist on the closer side, the determination result is △ determination, but for a high-luminance subject, there is a possibility of erroneous distance measurement. Yes.
また、S807において合焦可能なピーク形状であると判定されたとしても、高輝度被写体では通常セーフティMFのスキャン範囲よりも広いため、通常セーフティMFのスキャン範囲外で誤測距してしまうと、通常のセーフティMFよりも、ピントがずれてしまうため、×判定としている。 Even if it is determined that the peak shape can be focused in S807, the high-luminance subject is wider than the normal safety MF scan range, and therefore, if the distance is erroneously measured outside the normal safety MF scan range, Since the focus is deviated from the normal safety MF, x determination is made.
本発明では、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合の焦点評価値と焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合の焦点評価値を異ならている。 In the present invention, a focus evaluation value when a subject with a brightness higher than a predetermined value exists in the focus detection area and a focus evaluation when a subject with a brightness higher than the predetermined value does not exist in the focus detection area. The values are different.
本発明では、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合と焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合で、焦点評価値のサンプリング間隔及び実行手段による自動焦点調節で移動するフォーカスレンズの移動範囲及び焦点評価値を用いた合焦判定方法の少なくとも1つを異ならせている。 In the present invention, focus evaluation values are sampled when there is an object with a brightness higher than a predetermined value in the focus detection area and when there is no object with a brightness higher than the predetermined value in the focus detection area. At least one of the focus determination method using the distance and the moving range of the focus lens that moves by the automatic focus adjustment by the execution means and the focus evaluation value is different.
本発明では、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合に、焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合よりも高い周波数帯域の焦点評価値を使用して自動焦点調節を行っている。 In the present invention, when an object with a brightness higher than a predetermined value exists in the focus detection area, a frequency band higher than that when no object with a brightness higher than the predetermined value exists in the focus detection area. Automatic focus adjustment is performed using the focus evaluation value.
本発明では、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合に、焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合よりも焦点評価値のサンプリング間隔及び実行手段による自動焦点調節で移動するフォーカスレンズの移動範囲を広げている。 In the present invention, when a subject with a brightness higher than the predetermined value exists in the focus detection area, the focus evaluation value is higher than when a subject with a brightness higher than the predetermined value does not exist in the focus detection area. The movement range of the focus lens is expanded by the sampling interval and automatic focus adjustment by the execution means.
本発明では、実行手段は、焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定されたとき、フォーカスレンズの移動範囲内の端で焦点評価値が登り止まった端の位置を合焦位置とする合焦判定方法を用い、焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定されたとき、フォーカスレンズの移動範囲内の端で焦点評価値が登り止まった場合には前記マニュアルフォーカスにて移動したフォーカスレンズの位置を合焦位置とする合焦判定方法を用いている。 In the present invention, when it is determined that there is no subject with a brightness higher than the predetermined value in the focus detection area, the execution means is the end of the focus evaluation value that has stopped climbing at the end within the moving range of the focus lens. When it is determined that a subject with a brightness higher than the predetermined value exists in the focus detection area using the focus determination method with the position as the focus position, the focus evaluation value at the end within the moving range of the focus lens When the camera stops climbing, an in-focus determination method is used in which the position of the focus lens moved by the manual focus is the in-focus position.
本発明では、実行手段は、焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合において、焦点評価値のピーク位置が検出できたとしても、焦点評価値のピーク位置が焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合に設定されるフォーカスレンズの移動範囲の範囲外にあったとき、マニュアルフォーカスにて移動したフォーカスレンズの位置を合焦位置とする合焦判定方法を用いている。 In the present invention, the execution means determines the focus evaluation value even if the peak position of the focus evaluation value can be detected when it is determined that there is an object with a brightness higher than the predetermined value in the focus detection area. Focus moved by manual focus when the peak position is outside the focus lens movement range set when it is determined that there is no subject with brightness higher than the specified value in the focus detection area An in-focus determination method using the lens position as the in-focus position is used.
本発明では、自動焦点調節は、焦点評価値を輝度信号で正規化した焦点評価値を用いている。 In the present invention, the automatic focus adjustment uses a focus evaluation value obtained by normalizing the focus evaluation value with a luminance signal.
本発明では、実行手段は、所定の輝度値よりも暗いとき、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合の焦点評価値と前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合の焦点評価値を異ならせている。 In the present invention, when the execution means is darker than the predetermined brightness value, the focus evaluation value when a subject having a brightness higher than the predetermined value exists in the focus detection area and the predetermined value in the focus detection area. The focus evaluation values are different when no subject with high brightness exists.
本発明では、実行手段は、第1の輝度値よりも暗いとき、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合と焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合で、焦点評価値のサンプリング間隔及び実行手段による自動焦点調節で移動するフォーカスレンズの移動範囲及び焦点評価値を用いた合焦判定方法の全てを異ならせている。 In the present invention, when the execution unit is darker than the first luminance value, there is a case where an object having a luminance higher than the predetermined value exists in the focus detection region and a luminance higher than the predetermined value in the focus detection region. When there is no subject, the focus evaluation value sampling interval, the moving range of the focus lens that moves by the automatic focus adjustment by the execution means, and the focus determination method using the focus evaluation value are all different.
本発明では、実行手段は、指示手段による指示時の輝度値が第1の輝度値と前記第1の輝度値よりも明るい第2の輝度値の間にあるとき、焦点検出領域内に所定値よりも高い輝度の被写体が存在している場合と焦点検出領域内に所定値よりも高い輝度の被写体が存在していない場合で焦点評価値を用いた合焦判定方法のみを異ならせている。 In the present invention, the execution means has a predetermined value in the focus detection area when the luminance value at the time of instruction by the instruction means is between the first luminance value and the second luminance value brighter than the first luminance value. Only the focus determination method using the focus evaluation value is different between a case where a subject with higher brightness exists and a case where a subject with higher brightness than a predetermined value does not exist in the focus detection area.
(コンピュータの説明)
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
(Computer description)
Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined. Also, when a software program that realizes the functions of the above-described embodiments is supplied from a recording medium directly to a system or apparatus having a computer that can execute the program using wired / wireless communication, and the program is executed Are also included in the present invention. Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS. As a recording medium for supplying the program, for example, a magnetic recording medium such as a hard disk or a magnetic tape, an optical / magneto-optical storage medium, or a nonvolatile semiconductor memory may be used. As a program supply method, a computer program that forms the present invention is stored in a server on a computer network, and a connected client computer downloads and programs the computer program.
本発明の実施形態としての携帯電話機も適用できる。 A mobile phone as an embodiment of the present invention is also applicable.
本実施形態の携帯電話機は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。 The mobile phone according to the present embodiment has an electronic mail function, an Internet connection function, an image shooting and playback function, etc. in addition to a voice call function.
画像の撮影に本発明の図5の形態が適用できる。 The form of FIG. 5 of the present invention can be applied to image capturing.
携帯電話機の通信部は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部は、音声通話時において、マイクロフォンからの音声データを発信に適した形式に変換して通信部に送る。 The communication unit of the mobile phone communicates audio data and image data with other telephones by a communication method according to a communication carrier contracted by the user. The voice processing unit converts voice data from the microphone into a format suitable for outgoing call and sends the voice data to the communication unit during a voice call.
101 撮影レンズ
102 絞り及びシャッター
103 AE処理部
104 フォーカスレンズ
105 モータ
106 AF処理部
107 撮像素子
108 A/D変換部
109 画像処理部
110 フォーマット変換部
111 DRAM
112 画像記録部
113 システム制御部
114 VRAM
115 画像表示部
116 操作部
117 撮影モードスイッチ
118 メインスイッチ
119 撮影スタンバイスイッチ
120 撮影スイッチ
DESCRIPTION OF
112
115
Claims (7)
手動操作に基づいて前記フォーカスレンズを移動させることが可能なマニュアルフォーカス手段と、
前記マニュアルフォーカス手段によるマニュアルフォーカスが実行された後に前記マニュアルフォーカスにて移動された前記フォーカスレンズの位置を基準として、前記撮像素子から出力された画像データに基づいて焦点検出領域のコントラストを示す焦点評価値を算出し、前記焦点評価値に応じて前記フォーカスレンズの位置を調節する自動焦点調節手段と、
前記焦点検出領域内に所定値よりも高い輝度の被写体が存在しているか否かを判定する判定手段と、を有し、
前記自動焦点調節手段は、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合に、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合よりも、前記焦点評価値のサンプリング間隔及び前記焦点評価値をサンプリングする際の前記フォーカスレンズの移動範囲の少なくとも一つを広げることを特徴とする撮像装置。 An image sensor for imaging a subject image formed by a photographing optical system including a focus lens;
Manual focus means capable of moving the focus lens based on manual operation ;
Focus evaluation indicating the contrast of the focus detection area based on the image data output from the image sensor with reference to the position of the focus lens moved by the manual focus after the manual focus is performed by the manual focus means Automatic focus adjustment means for calculating a value and adjusting the position of the focus lens according to the focus evaluation value;
Determining means for determining whether or not there is an object having a brightness higher than a predetermined value in the focus detection area;
When it is determined that an object with a brightness higher than a predetermined value exists in the focus detection area, the automatic focus adjustment unit includes an object with a brightness higher than a predetermined value in the focus detection area. An imaging apparatus characterized by expanding at least one of a sampling interval of the focus evaluation value and a moving range of the focus lens when sampling the focus evaluation value, compared to a case where it is determined that the focus evaluation value is not .
前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合であって、前記フォーカスレンズの移動範囲内の端で前記焦点評価値が登り止まった場合には、前記マニュアルフォーカスにて移動された前記フォーカスレンズの位置を合焦位置とする合焦判定方法を用いることを特徴とする請求項1又は2に記載の撮像装置。 A case where it is determined that there is no high luminance of the object than the predetermined value before Symbol focus detection area, when the focus evaluation value has stopped climbing at the end of the moving range of the focus lens , Using a focus determination method in which the position of the end within the movement range of the focus lens is a focus position,
Even when the subject brightness higher than a predetermined value in the focus detection area is determined to be present, when the focus evaluation value at the end in the moving range of the focus lens is stopped climbing, the imaging apparatus according to claim 1 or 2, characterized in that a focus determination method of the focus position of the position of the focus lens is moved by the manual focusing.
前記自動焦点調節手段は、前記撮影光学系で結像された被写体像の輝度が前記第1の輝度値以下であると判定された場合に、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合よりも、前記焦点評価値のサンプリング間隔及び前記焦点評価値をサンプリングする際の前記フォーカスレンズの移動範囲の少なくとも一つを広げることを特徴とする請求項1に記載の撮像装置。The automatic focus adjustment unit has a luminance higher than a predetermined value in the focus detection area when it is determined that the luminance of the subject image formed by the photographing optical system is equal to or lower than the first luminance value. The at least one of a sampling interval of the focus evaluation value and a moving range of the focus lens when sampling the focus evaluation value is wider than a case where it is determined that a subject does not exist. The imaging apparatus according to 1.
手動操作に基づいて前記フォーカスレンズを移動させることが可能なマニュアルフォーカスステップと、A manual focus step capable of moving the focus lens based on a manual operation;
前記マニュアルフォーカスステップによるマニュアルフォーカスが実行された後に前記マニュアルフォーカスにて移動された前記フォーカスレンズの位置を基準とし、前記撮像素子から出力された画像データに基づいて焦点検出領域のコントラストを示す焦点評価値を算出し、前記焦点評価値に応じて前記フォーカスレンズの位置を調節する自動焦点調節ステップと、Focus evaluation indicating the contrast of the focus detection area based on the image data output from the image sensor with reference to the position of the focus lens moved by the manual focus after the manual focus is performed by the manual focus step An automatic focus adjustment step of calculating a value and adjusting the position of the focus lens according to the focus evaluation value;
前記焦点検出領域内に所定値よりも高い輝度の被写体が存在しているか否かを判定する判定ステップと、を有し、A determination step of determining whether or not there is an object with a brightness higher than a predetermined value in the focus detection area,
前記自動焦点調節ステップでは、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していると判定された場合に、前記焦点検出領域内に所定値よりも高い輝度の被写体が存在していないと判定された場合よりも、前記焦点評価値のサンプリング間隔及び前記焦点評価値をサンプリングする際の前記フォーカスレンズの移動範囲の少なくとも一つを広げるように制御することを特徴とする撮像装置の制御方法。In the automatic focus adjustment step, when it is determined that an object with a brightness higher than a predetermined value exists in the focus detection area, an object with a brightness higher than the predetermined value exists in the focus detection area. The imaging apparatus is controlled to widen at least one of a sampling interval of the focus evaluation value and a moving range of the focus lens when sampling the focus evaluation value, compared to a case where it is determined that the focus evaluation value is not detected. Control method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013056001A JP6202843B2 (en) | 2013-03-19 | 2013-03-19 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013056001A JP6202843B2 (en) | 2013-03-19 | 2013-03-19 | Imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014182241A JP2014182241A (en) | 2014-09-29 |
JP2014182241A5 JP2014182241A5 (en) | 2016-05-19 |
JP6202843B2 true JP6202843B2 (en) | 2017-09-27 |
Family
ID=51701008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013056001A Expired - Fee Related JP6202843B2 (en) | 2013-03-19 | 2013-03-19 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6202843B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110418068B (en) * | 2019-07-24 | 2020-12-08 | 浙江大华技术股份有限公司 | Focusing method, device, electronic equipment and storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009198975A (en) * | 2008-02-25 | 2009-09-03 | Canon Inc | Focus adjustment device and focus adjustment method therefor |
JP2010122301A (en) * | 2008-11-17 | 2010-06-03 | Hitachi Ltd | Focus control device and focus control method |
JP5406553B2 (en) * | 2009-02-17 | 2014-02-05 | キヤノン株式会社 | Focus adjustment device and focus adjustment method |
JP5597942B2 (en) * | 2009-06-10 | 2014-10-01 | 株式会社ニコン | Electronic camera |
-
2013
- 2013-03-19 JP JP2013056001A patent/JP6202843B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014182241A (en) | 2014-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8797423B2 (en) | System for and method of controlling a parameter used for detecting an objective body in an image and computer program | |
US8724981B2 (en) | Imaging apparatus, focus position detecting method, and computer program product | |
JP4872797B2 (en) | Imaging apparatus, imaging method, and imaging program | |
JP6146293B2 (en) | Control device, control method, and control system | |
US9413946B2 (en) | Imaging apparatus and imaging method | |
JP2007108412A (en) | Autofocus device and its program | |
JP6460721B2 (en) | Image processing apparatus, image processing method, and program | |
US10455154B2 (en) | Image processing device, image processing method, and program including stable image estimation and main subject determination | |
JP6187244B2 (en) | Control apparatus, control method, and exposure control system | |
US20140198220A1 (en) | Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus | |
JP2013097082A (en) | Image signal processing device | |
JP2015122706A (en) | Control apparatus, control method, and control system | |
JP5166860B2 (en) | Image processing apparatus and method, and imaging apparatus | |
US20100171836A1 (en) | Image capturing apparatus, control method thereof, and program | |
US9641739B2 (en) | Imaging apparatus and imaging method with improved focus adjustment | |
JP2009069696A (en) | Imaging device and focusing control method | |
JP6057608B2 (en) | Focus adjustment apparatus and control method thereof | |
JP6202843B2 (en) | Imaging device | |
JP2010192991A (en) | Imaging apparatus, control method and program | |
JP2010072121A (en) | Imaging apparatus and control method therefor | |
JP6335497B2 (en) | Imaging device, control method thereof, and control program | |
JP5322842B2 (en) | Automatic focusing device, automatic focusing method and program | |
JP4496051B2 (en) | Imaging device | |
JP4789776B2 (en) | Imaging apparatus and imaging method | |
JP6246705B2 (en) | Focus control device, imaging device, and focus control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160318 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170829 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6202843 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |