JP6799411B2 - Focus detection device and method, and imaging device - Google Patents
Focus detection device and method, and imaging device Download PDFInfo
- Publication number
- JP6799411B2 JP6799411B2 JP2016150549A JP2016150549A JP6799411B2 JP 6799411 B2 JP6799411 B2 JP 6799411B2 JP 2016150549 A JP2016150549 A JP 2016150549A JP 2016150549 A JP2016150549 A JP 2016150549A JP 6799411 B2 JP6799411 B2 JP 6799411B2
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- focus
- angle
- view
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 141
- 238000003384 imaging method Methods 0.000 title claims description 38
- 238000000034 method Methods 0.000 title claims description 32
- 238000011156 evaluation Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
本発明は焦点検出装置及び方法、及び撮像装置に関し、特に定速移動する被写体を撮影するための焦点検出技術に関する。 The present invention relates to a focus detection device and method, and an image pickup device, and more particularly to a focus detection technique for photographing a subject moving at a constant speed.
近年、デジタルカメラのノイズ削減技術が向上し、特に高感度での撮影において飛躍的に画質が向上している。その結果、従来では困難であった天体撮影が容易に行えるようになっており、誰でも手軽に星空を撮影できる機能がデジタルカメラに搭載されるようになってきた。 In recent years, noise reduction technology for digital cameras has improved, and image quality has dramatically improved, especially in high-sensitivity shooting. As a result, astronomical photography, which was difficult in the past, has become easier, and digital cameras have come to be equipped with a function that allows anyone to easily photograph the starry sky.
しかし、星空を撮影する場合、最も重要なカメラ機能の一つとして、星にピントを合わせる手段が挙げられる。星は非常に暗い被写体なので、通常のAF機能によって星にピントを合わせることは困難であり、特に高倍率での撮影では星の日周運動の影響が無視できなくなってしまうため、従来から星にピントを合わせることが困難であった。 However, when shooting a starry sky, one of the most important camera functions is a means of focusing on a star. Since a star is a very dark subject, it is difficult to focus on the star with the normal AF function, and the influence of the diurnal motion of the star cannot be ignored, especially when shooting at high magnification. It was difficult to focus.
参考文献1では、撮像装置のレンズ倍率に応じてAF枠のサイズや位置を変えることで、ピント合わせをし易くする技術が開示されている。しかし、天体を撮影する場合には三脚などに固定して撮影することが一般的であり、また、像倍率に加えて被写体である星の日周運動による像面移動がある。そのため、AF枠を像倍率に応じて広げたとしても、AFしている間にAF枠から星が出てしまい、AFを正常に完了することができない場合があった。 Reference 1 discloses a technique for facilitating focusing by changing the size and position of the AF frame according to the lens magnification of the image pickup apparatus. However, when shooting an astronomical object, it is common to fix it on a tripod or the like, and in addition to the image magnification, there is image plane movement due to the diurnal motion of the star as the subject. Therefore, even if the AF frame is expanded according to the image magnification, stars may appear from the AF frame during AF, and AF may not be completed normally.
本発明は上記問題点を鑑みてなされたものであり、天体等の定速移動する被写体撮影時の焦点検出精度を上げることを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to improve the focus detection accuracy when shooting a subject moving at a constant speed such as an astronomical object.
上記目的を達成するために、本発明の焦点検出装置は、撮影光学系を介して入射する光を受光して画像信号を出力する撮像素子の画素数及び撮像領域のサイズを含む画素情報を取得する画素情報取得手段と、前記撮影光学系の画角に関する情報を取得する画角情報取得手段と、前記撮像素子の撮像面において焦点検出に用いる領域である焦点検出範囲を設定す範囲設定手段と、前記焦点検出範囲から得られた画像信号に基づいて焦点評価値を検出し、該焦点評価値に基づいて、前記撮影光学系の合焦位置を検出する焦点検出手段と、前記画角に関する情報と、前記焦点評価値の検出にかかる検出時間と、前記画素情報とに基づいて、前記検出時間の間に移動する被写体の像が前記撮像面を移動する距離を求める算出手段と、前記焦点検出範囲を前記距離分、狭くした範囲を表す枠を、前記画像信号を表示する表示手段に表示するように設定する枠設定手段とを有する。 In order to achieve the above object, the focus detection device of the present invention acquires pixel information including the number of pixels of an imaging element and the size of an imaging region that receive light incident on the photographing optical system and output an image signal. Pixel information acquisition means for acquiring image angle information acquisition means for acquiring information on the image angle of the photographing optical system, and range setting means for setting a focus detection range which is a region used for focus detection on the imaging surface of the imaging element. , Information on the focus detection means for detecting the focus evaluation value based on the image signal obtained from the focus detection range and detecting the focusing position of the photographing optical system based on the focus evaluation value, and the angle of view. A calculation means for obtaining the distance that the image of the subject moving during the detection time moves on the imaging surface based on the detection time required for detecting the focus evaluation value and the pixel information, and the focus detection. It has a frame setting means for setting a frame representing a range narrowed by the distance to be displayed on the display means for displaying the image signal.
本発明によれば、天体等の定速移動する被写体撮影時の焦点検出精度を上げることができる。 According to the present invention, it is possible to improve the focus detection accuracy when shooting a subject that moves at a constant speed such as an astronomical object.
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
図1は、本発明の実施の形態における撮像装置の概略構成を示すブロック図である。図1に示すように、本実施の形態の撮像装置は、主にカメラ本体100と、交換レンズタイプのレンズユニット150(撮影光学系)により構成されている。レンズユニット150は、電気接点を備えるコネクタ96及びコネクタ97を介してカメラ本体100に着脱可能な構成となっている。
FIG. 1 is a block diagram showing a schematic configuration of an image pickup apparatus according to an embodiment of the present invention. As shown in FIG. 1, the image pickup apparatus of this embodiment is mainly composed of a
レンズユニット150は、変倍レンズ(以下、ズームレンズ)10、焦点レンズ(以下、フォーカスレンズ)12、絞りシャッタユニット13、及びコネクタ96を含む。
The
レンズユニット150を介して入射した光は、光学像としてカメラ本体100の撮像素子14上に結像し、撮像素子14は結像した光を受光して、アナログの画像信号を出力する。カメラの感度を設定するゲインアンプ120は、撮像素子14から出力されたアナログ信号を増幅して、A/D変換器16に出力する。A/D変換器16は、増幅されたアナログ信号をデジタル信号に変換する。また、タイミング発生回路18は、撮像素子14、A/D変換器16、D/A変換器26にそれぞれクロック信号や制御信号を供給し、メモリ制御回路22及びシステム制御回路50により制御される。
The light incident through the
画像処理回路20は、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20は、A/D変換器16から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいて、システム制御回路50は、TTL(スルー・ザ・レンズ)方式の自動露出(AE)処理を行い、適正露出値を演算して露出制御回路40を制御する。更に、システム制御回路50は、撮像面上の焦点検出領域における合焦状態を示す焦点評価値に基づいてTTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理を行い、焦点制御回路42を介してフォーカスレンズ12を駆動して、焦点調節を行う。更に、画像処理回路20においては、A/D変換器16から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のオートホワイトバランス(AWB)処理も行っている。
The image processing circuit 20 performs predetermined pixel interpolation processing and color conversion processing on the data from the A /
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮伸長回路32を制御する。A/D変換器16から出力される画像データは、画像処理回路20、メモリ制御回路22を介して、或いはメモリ制御回路22のみを介して、画像表示メモリ24或いはメモリ30に書き込まれる。
The
画像表示メモリ24に書き込まれた表示用の画像データは、D/A変換器26を介してTFT方式のLCD等からなる画像表示部28により表示される。画像表示部28を用いて、撮像した画像データを逐次表示することで、電子ビューファインダ(EVF)機能を実現することができる。
The image data for display written in the
メモリ30は、撮像した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、連写撮像の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30は、システム制御回路50の作業領域としても使用することができる。更に、メモリ30は、被写体像を変倍するズーム制御回路44の動作に対する焦点制御回路42の相対情報を記憶するためにも用いられる。ズーム制御回路44は、ズームレンズ10を制御して、焦点距離を変更する。
The
圧縮伸長する圧縮伸長回路32は、適応離散コサイン変換(ADCT)等、公知の圧縮方法を用いて、メモリ30に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データを再びメモリ30に書き込む。
The compression /
システム制御回路50は、周知のCPUなどを内蔵し、カメラ本体100全体を制御する。本実施形態において、システム制御回路50は、測光結果取得部500、焦点検出条件演算部501、レンズ画角検出部502、AF枠設定部503、被写体像面移動量演算部504、画素情報取得部505、焦点検出領域設定部506を備える。
The
測光結果取得部500は、露出制御回路40から測光結果を取得する。レンズ画角検出部502(画角情報取得手段)は、カメラ本体100に装着されているレンズユニット150の焦点距離情報をズーム制御回路44から取得して、レンズの画角情報を検出する。画素情報取得部505は、メモリ65に記録されている撮像素子14の記録画素数やアスペクト比率、あるいは合焦判定可能とする被写体像ブレの許容画素数などの画素情報を取得する。
The photometric
焦点検出条件演算部501は、測光結果取得部500と、レンズ画角検出部502が取得したレンズの画角情報と、画素情報取得部505が取得した画素情報を元に、焦点状態の取得回数や、露光時間、AF処理に要する時間などを演算により算出する。
The focus detection
被写体像面移動量演算部504は、焦点検出条件演算部501で得られたAF処理に要する時間から、所定の速度で等速移動する被写体像が、AF処理中に撮像面上を移動する距離の算出を行う。
The subject image plane movement amount calculation unit 504 is the distance that the subject image, which moves at a constant speed at a predetermined speed, moves on the imaging surface during the AF processing from the time required for the AF processing obtained by the focus detection
AF枠設定部503は、AF時に焦点を合わせたい被写体をフレーミングする指標となるAF枠を画像表示部28に表示する際に、AF処理中に撮像面上を所定の速度で移動する被写体像の移動距離情報に基づいて、AF枠の位置や大きさを設定する。
When the AF
焦点検出領域設定部506は、AF処理中に撮像面上を所定の速度で移動する被写体像の最大移動距離情報を元に、焦点を合わせたい被写体の焦点評価値を取得する焦点検出領域の数や大きさを設定する。 The focus detection area setting unit 506 acquires the focus evaluation value of the subject to be focused based on the maximum movement distance information of the subject image moving on the imaging surface at a predetermined speed during AF processing. And set the size.
メモリ65は、システム制御回路50の動作用の定数、変数、プログラム等を記憶する。露出制御回路40は、絞り機能とシャッタ機能を備える絞りシャッタユニット13や撮像感度を設定するゲインアンプ120を制御する。不揮発性メモリ66としては、例えばフラッシュROM等の電気的に消去・記録可能な記憶媒体が用いられる。
The
露出制御回路40及び焦点制御回路42は上述したようにTTL方式を用いて制御され、撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50が露出制御回路40、焦点制御回路42に対して制御を行う。
The
通知部63は、システム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等で構成される。通知部63は、カメラ本体100の操作部近辺の視認し易い位置に、単数或いは複数個所設置される。
The
通知部63の表示内容のうち、LCD等に表示するものとしては、以下のものがある。まず、単写/連写撮像表示、セルフタイマ表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮像可能枚数表示等の記録に関する表示がある。また、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮像表示、ブザー設定表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200の着脱状態表示がある。更に、レンズユニット150の着脱状態表示、通信I/F動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示等も行われる。
Among the display contents of the
シャッタスイッチSW1(60)は、不図示のシャッタスイッチ部材の操作途中(例えば半押し)でオンとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等の撮像準備動作開始を指示する。 The shutter switch SW1 (60) is turned on during the operation (for example, half-pressing) of a shutter switch member (not shown), and images such as AF (autofocus) processing, AE (autoexposure) processing, and AWB (auto white balance) processing are taken. Instructs the start of preparatory operation.
シャッタスイッチSW2(61)は、不図示のシャッタスイッチ部材の操作完了(例えば全押し)でオンとなり、露光処理、現像処理、及び記録処理からなる一連の処理の開始を指示する。露光処理では、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介して、画像データをメモリ30に書き込み、更に、画像処理回路20やメモリ制御回路22での演算を用いた現像処理が行われる。更に、記録処理では、メモリ30から画像データを読み出し、圧縮伸長回路32で圧縮を行い、記録媒体200に画像データを書き込む。
The shutter switch SW2 (61) is turned on when the operation of the shutter switch member (not shown) is completed (for example, fully pressed), and instructs the start of a series of processes including the exposure process, the developing process, and the recording process. In the exposure process, the signal read from the
操作部62は各種ボタンやタッチパネル等からなり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、ストロボ設定ボタン、単写/連写/セルフタイマ切り換えボタンを有する。また、操作部62は、オートモードやプログラムモード、絞り優先モード、シャッタ速度優先モードのほか、天体撮影モード、夜景モード、子供撮影モード、花火撮影モード、水中撮影モード等、様々な撮影シーンに応じた設定を選択できるようになっている。
The
また、操作部62は、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮像画質選択ボタン、露出補正ボタン、日付け/時間設定ボタンを有する。
Further, the
電源制御回路80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り換えるスイッチ回路等により構成されている。そして、電源制御回路80は、電池の装着の有無、電池の種類、電池残量、電源電圧の検出を行い、検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
The power
電源86は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプタ等からなる。電源制御回路80と電源86は、コネクタ82、84を介して接続される。
The
インタフェース90及びコネクタ92としては、Secure Digital(SD(登録商標))カード等の規格に準拠したものを用いて構成して構わない。また、インタフェース93は他の機器と接続して通信を行うために用意され、コネクタ94を介して直接あるいは通信ケーブルで接続して他の機器と通信を行う。無線通信部98はカメラ本体100の内部でインタフェース93に接続され、他の機器と無線によって通信を行う。
As the
記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、カメラ本体100とのインタフェース(I/F)204、カメラ本体100と接続を行うコネクタ206を備えている。
The
上記では、レンズユニット150を着脱可能な構成として説明しているが、着脱できない構成であっても本発明を実施する上で問題ないことは言うまでもない。
In the above, the
以下、上記構成を有する撮像装置の動作について説明する。図2はレンズの画角と撮像面上を被写体が移動する移動量の関係を説明する図である。 Hereinafter, the operation of the image pickup apparatus having the above configuration will be described. FIG. 2 is a diagram for explaining the relationship between the angle of view of the lens and the amount of movement of the subject on the imaging surface.
撮像素子14のサイズをaとし、レンズ焦点距離をbとした場合、レンズの画角θは次のように算出される。
When the size of the
θ = 2 * arctan( ( a / 2 ) / b ) [rad] θ = 2 * arctan ((a / 2) / b) [rad]
すなわち、画角θは撮像センサのサイズaが大きくなるほど大きくなり、一方焦点距離bが長くなるほど画角θが小さくなることを示す。
ここで、被写体が天体であった場合、日周運動によって地球の極軸に対して1時間に約15度、回転移動する。例えば天体が任意の時間で日周運動によって回転する角度をγとした場合、撮像面上に写る天体の像も画角θに対してγだけ移動することになる。この撮像面上の被写体像の移動距離をcとする。すなわち、天体が日周運動によって移動する角度γが同じであっても、レンズ焦点距離bが大きくなるほど撮像画像の画角θが狭くなるため、相対的に撮像面上の被写体像の移動距離cは大きくなることを示す。
That is, the angle of view θ increases as the size a of the image sensor increases, while the angle of view θ decreases as the focal length b increases.
Here, when the subject is a celestial body, it rotates about 15 degrees per hour with respect to the polar axis of the earth due to diurnal motion. For example, if the angle at which the celestial body rotates due to diurnal motion at an arbitrary time is γ, the image of the celestial body on the imaging surface also moves by γ with respect to the angle of view θ. Let c be the moving distance of the subject image on the imaging surface. That is, even if the angle γ at which the celestial body moves due to diurnal motion is the same, the angle of view θ of the captured image becomes narrower as the lens focal length b becomes larger, so that the moving distance c of the subject image on the imaging surface is relatively Indicates that it will grow.
図3は撮像範囲300における焦点検出範囲301とAF枠302、そして焦点検出範囲301を1つもしくは複数に分割した分割領域1〜9の関係を説明する図である。図3では、一例として、焦点検出範囲301を9分割した分割領域1〜9で構成する場合を示している。また、図3では、焦点検出範囲301とAF枠302を異なる大きさとして記載しているが、焦点検出範囲301とAF枠302の大きさや形は、撮影条件や被写体の違いにより変えることができる。
FIG. 3 is a diagram illustrating the relationship between the
図4(a)は、広角〜中望遠程度の焦点距離のレンズで天体にピントを合わせる場合の焦点検出範囲301とAF枠302、そして分割領域1〜9の関係について説明する図である。天体にピントを合わせる場合、無限ピント位置の近傍を焦点深度に換算した所定量ずつフォーカスレンズを移動し、すべての分割領域1〜9それぞれについて、焦点評価値を検出し、焦点評価値が最も高くなるフォーカスレンズの位置を合焦位置として検出する。この場合、各分割領域をそれぞれ焦点検出領域として取り扱う。分割領域1〜9それぞれの合焦位置を検出した結果、図4(b)に示す例では、信頼性が低い分割領域2、6、7を合焦判定には使用せず、残りの分割領域1、3、4、5、8、9から検出された代表合焦位置へフォーカスレンズ12を移動してAFを完了する。代表合焦位置としては、例えば、合焦判定に使用可能な複数枠で検出した合焦位置の平均位置や、最も頻度の高い合焦位置、最も遠くの合焦位置等、信頼性が高い合焦位置に基づいて求めればよい。
FIG. 4A is a diagram illustrating the relationship between the
なお、信頼性が低い分割領域とは、例えば、複数のフォーカスレンズ位置で検出した焦点評価値の変化が不連続に増減したり、焦点評価値が所定レベルよりも低い分割領域のことである。焦点評価値の変化が不連続に増減する場合では、複数回の焦点評価値を取得する間に、それぞれの分割領域から被写体像が外れてしまったり、途中から分割領域に被写体像が入ってくる場合等が想定される。また、焦点評価値が所定レベルよりも低い場合では、被写体像のコントラストが低いか、天体が含まれていない状態、あるいは適正な露出で撮影されていない場合等が想定される。 The low-reliability division region is, for example, a division region in which changes in the focus evaluation values detected at a plurality of focus lens positions increase or decrease discontinuously or the focus evaluation value is lower than a predetermined level. If the change in the focus evaluation value increases or decreases discontinuously, the subject image may deviate from each divided area or the subject image may enter the divided area in the middle while acquiring the focus evaluation values multiple times. Cases are assumed. When the focus evaluation value is lower than the predetermined level, it is assumed that the contrast of the subject image is low, the celestial body is not included, or the image is not taken with an appropriate exposure.
ここで、天体を撮影する場合の特性として、広角レンズの場合は天体の日周運動による撮像面上の移動量が少なく、ピント合わせ中(AF中)に、各分割領域に天体が出入りすることは少ない。また、AF中に分割領域から天体が出てしまったり、逆に入ってくる場合であっても、AF中に分割領域から出て行く星と入ってくる星の数が同程度であった場合は、信頼性が低い分割領域と判定しなくてもよい。特に広角レンズの場合、撮像面上に映る星の数が多く、星の密度が高いため、夜空の星の密度が一様であると仮定すると、AF中は出て行く星と入ってくる星の数は同程度であるとみなすことができる。 Here, as a characteristic when photographing an astronomical object, in the case of a wide-angle lens, the amount of movement on the imaging surface due to the diurnal motion of the astronomical object is small, and the astronomical object moves in and out of each divided region during focusing (during AF). Is few. Also, even if a celestial body comes out of the divided area during AF or enters in the opposite direction, if the number of stars coming out of the divided area and the number of stars entering during AF are about the same. Does not have to be determined as an unreliable divided area. Especially in the case of a wide-angle lens, the number of stars reflected on the imaging surface is large and the density of stars is high, so assuming that the density of stars in the night sky is uniform, the stars that go out and the stars that come in during AF The number of can be considered to be comparable.
そこで、本実施形態では、広角〜中望遠程度の焦点距離のレンズの場合、図4に示すように焦点検出範囲301とAF枠302を同じ大きさにしておく。ただし、撮像範囲300の周辺部では減光特性や、コマ収差の影響を受けるため、これらの影響を考慮して、焦点検出範囲301を限定する。
Therefore, in the present embodiment, in the case of a lens having a focal length of about wide-angle to medium telephoto, the focal
図5は望遠レンズで天体にピントを合わせる場合の焦点検出範囲301とAF枠302との関係を説明するための図である。上述したように、望遠レンズで撮影を行う場合、広角〜中望遠程度の焦点距離のレンズで撮影を行う場合と比較して、撮像画像の画角が狭くなるため、相対的に撮像面上の被写体像の移動距離が大きくなる。
FIG. 5 is a diagram for explaining the relationship between the
そこで、本実施形態では、AF中に被写体像が撮像面上を移動する距離分だけ、焦点検出範囲301からAF枠302の大きさを狭めて表示する。このようにAF枠302を表示し、撮影者がピントを合わせる天体をAF枠302内に収めることにより、AF中に天体が日周運動によって移動しても、焦点検出範囲301からピントを合わせる天体が出てしまうことを防ぐことができる。
Therefore, in the present embodiment, the size of the
図6及び図7は、望遠レンズでAFを行う場合の焦点検出範囲301に対する焦点検出領域の設定方法の一例を説明する図である。
6 and 7 are diagrams illustrating an example of a method of setting a focus detection region with respect to the
図5を参照して説明したように、AF枠302の大きさは、AFが完了するまで焦点検出範囲301から被写体像が出て行かないように設定されている。一方、図2を参照して説明した通り、焦点距離が大きくなるほど撮像画像の画角が狭くなるため、相対的に撮像面上の被写体像の移動距離は大きくなる。そのため、分割領域毎に合焦位置を検出しようとすると、天体の移動方向によっては複数の分割領域にまたがって天体が移動してしまうことが想定される。そこで、望遠レンズでAFを行う場合には、分割領域を連結した領域を1つの焦点検出領域として、合焦位置を検出する。
As described with reference to FIG. 5, the size of the
図6(a)は、図3に示した分割領域1、2、4、5を1つの焦点検出領域とした場合を示した図である。同様に図6(b)は、図3に示した分割領域2、3、5、6を1つの分割領域とした場合を示した図である。また、図7(a)は、図3に示した分割領域4、5、7、8を1つの分割領域とした場合、そして図7(b)は、図3に示した分割領域5、6、8、9を1つの分割領域とした場合を示している。このように、4つの分割領域が撮像範囲の中央領域を含んで重なるようにすることで、撮像面上の被写体像の移動距離が大きくなる場合に対しても、各焦点検出領域の合焦位置を求めることができるようにしている。そして、得られた各焦点検出領域の合焦位置のうち、上述したように信頼性が低い焦点検出領域の合焦位置を除外して、代表合焦位置を検出する。 FIG. 6A is a diagram showing a case where the divided regions 1, 2, 4, and 5 shown in FIG. 3 are used as one focus detection region. Similarly, FIG. 6B is a diagram showing a case where the divided regions 2, 3, 5, and 6 shown in FIG. 3 are used as one divided region. Further, FIG. 7 (a) shows the case where the divided regions 4, 5, 7, and 8 shown in FIG. 3 are used as one divided region, and FIG. 7 (b) shows the divided regions 5, 6 shown in FIG. , 8 and 9 are shown as one divided area. By making the four divided regions overlap including the central region of the imaging range in this way, the focusing position of each focus detection region even when the moving distance of the subject image on the imaging surface becomes large. I am trying to be able to ask for. Then, the representative focusing position is detected by excluding the focusing position of the unreliable focus detection region from the obtained focusing positions of each focus detection region as described above.
図8は、図5に示す場合よりもさらに焦点距離が長い超望遠レンズで天体にピントを合わせる場合のAF枠302と焦点検出範囲301との関係を説明するための図である。AF枠302の大きさについては、図6で説明した通りの方法で設定する。また、焦点検出領域としては、焦点検出範囲301を分割せずに、分割領域1〜9をまとめて1つの焦点検出領域とする。
FIG. 8 is a diagram for explaining the relationship between the
超望遠レンズの場合は、撮像面上の被写体像の移動距離はさらに大きくなる一方で、星の密度が低くなるため、焦点検出領域に対してAF期間中に他の星が入ってくることは殆ど無い。また、AF中の露出条件は暗い星が焦点評価値に影響を与えない程度の明るさに設定することで、焦点検出することを可能としている。 In the case of a super-telephoto lens, the moving distance of the subject image on the imaging surface is further increased, but the density of the stars is reduced, so that other stars may enter the focus detection area during the AF period. Almost none. Further, the exposure condition during AF is set to such a brightness that the dark star does not affect the focus evaluation value, so that the focus can be detected.
図9は、本実施形態における天体にピントを合わせるためのAF処理の流れを説明するフローチャートである。レンズ画角検出部502により、ズーム制御回路44から画角情報を取得し(S100)、次に、画素情報取得部505により、メモリ65から撮像素子14の画素数や撮像領域のサイズなどの画素情報を取得する(S101)。これらの情報に基づいて、S100で取得したレンズ画角情報に対して日周運動によって移動する天体が所定時間あたりに移動する画素数を算出する。また、天体に対してAFを行うとき、天体が動いても許容できる画素数に対する最大露光時間を算出し、AF時の露出条件を演算する(S102)。
FIG. 9 is a flowchart illustrating a flow of AF processing for focusing on a celestial body in the present embodiment. The lens angle of
これらの情報に基づいて、焦点検出条件演算部501は、焦点検出条件として焦点検出回数とシャッタ速度を演算し(S103)、AFが完了するまでの所要時間(検出時間)を算出する(S104)。ここで、検出時間とはフォーカスレンズを動かしながら複数回の露光を終えるまでの時間である。AF枠設定部503は、S104で算出された条件に基づいてAFが完了するまでの所要時間を元に、被写体像の星が撮像面上を移動する距離を算出する(S105)。そして、算出した距離分だけ焦点検出範囲301の4辺から幅を狭くした領域をAF枠302の表示サイズとして設定する(S106)。
Based on this information, the focus detection
ここで、算出されたAF枠302の表示サイズがAFに必要な所定のサイズよりも小さい場合、AFできないと判断して(S107でNG)、AF不可通知を表示部に表示する(S110)。この場合、フォーカスレンズ位置として、予め設定されている無限位置にフォーカスレンズ12の移動を行い(S111)、AF処理を終了する。
Here, when the calculated display size of the
一方、S106で算出したAF枠302によってAFが可能であると判断されると(S107でOK)、焦点検出処理を行い(S108)、合焦位置にフォーカスレンズ12を移動して(S109)、AF処理を終了する。
On the other hand, when it is determined that AF is possible by the
図10は、図9のS108で行われる焦点検出処理の流れを説明するフローチャートである。ここでは、焦点検出回数をf回と設定し、焦点検出領域の個数をa個として説明する。 FIG. 10 is a flowchart illustrating a flow of the focus detection process performed in S108 of FIG. Here, the number of focus detections is set to f, and the number of focus detection regions is a.
まず焦点検出回数のカウンタMを初期化し(S200)、焦点検出領域のカウンタNを初期化する(S201)。そして、最初の焦点検出開始位置までフォーカスレンズ12を移動すると共に、カウンタMを+1する(S202)。次に、焦点検出領域をa個設定する(S203)。なお、焦点検出領域は、図5〜図8を参照して説明したように、レンズユニット150の焦点状態に基づいて設定される。S203で行われる処理の詳細については、図11を参照して後述する。そして、焦点検出領域毎にそれぞれ1つ、焦点評価値を検出し(S204)、全ての分割領域について、合計a個の焦点評価値を取得するまで(S205)、S204、S205の処理を繰り返す。
First, the focus detection count counter M is initialized (S200), and the focus detection region counter N is initialized (S201). Then, the
同様に、焦点検出回数がf回になるまで(S206でNo)、S201に戻り、フォーカスレンズ12を移動してa個xf回の焦点評価値を取得する。焦点検出回数がf回になると(S206でYes)、信頼性が低い焦点検出領域を合焦判定には使用しないように除外して、有効な焦点検出領域を検出する(S207)。S207で検出した有効な焦点検出領域から得た焦点評価値を元に、フォーカスレンズ12の合焦位置を検出して、焦点検出処理を終了する。
Similarly, until the number of focus detections reaches f times (No in S206), the process returns to S201, the
図11は図10のS203で行われる焦点検出領域の設定処理の流れを説明するフローチャートである。S300ではレンズの画角情報を取得し、レンズの画角が第1の閾値角度よりも大きい場合(S301でYes)、焦点検出範囲301をw個に分割した小サイズの焦点検出領域を設定する(S302)。この場合、例えば、図4を参照して説明したように焦点検出範囲301を分割し、各分割領域を焦点検出領域として設定する。
FIG. 11 is a flowchart illustrating a flow of a focus detection region setting process performed in S203 of FIG. In S300, the angle of view information of the lens is acquired, and when the angle of view of the lens is larger than the first threshold angle (Yes in S301), a small-sized focus detection area is set by dividing the
一方、S301でレンズの画角が第1の閾値角度以下の場合(S301でNo)、第1の閾値角度よりも小さい、所定の第2の閾値角度と比較する。レンズの画角が第2の閾値角度よりも大きければ(S303でYes)、S302で決めた焦点検出領域よりも大きい焦点検出領域を設定する(S304)。このときの焦点検出領域の数tはwよりも少なく設定する。この場合、例えば、図6及び図7を参照して説明したようにして焦点検出領域を設定する。 On the other hand, when the angle of view of the lens is equal to or less than the first threshold angle in S301 (No in S301), it is compared with a predetermined second threshold angle smaller than the first threshold angle. If the angle of view of the lens is larger than the second threshold angle (Yes in S303), a focus detection area larger than the focus detection area determined in S302 is set (S304). The number t of the focus detection region at this time is set to be less than w. In this case, for example, the focus detection region is set as described with reference to FIGS. 6 and 7.
S303でS301とは異なるレンズの画角を判定する所定の閾値よりも小さい画角であった場合(S303でNo)、S304で決めた焦点検出領域よりも大きい焦点検出領域を設定する(S305)。この時、例えば、図8を参照して説明したように、焦点検出範囲301と同じ大きさの1つの焦点検出領域を設定する。
When the angle of view in S303 is smaller than a predetermined threshold value for determining the angle of view of a lens different from S301 (No in S303), a focus detection area larger than the focus detection area determined in S304 is set (S305). .. At this time, for example, as described with reference to FIG. 8, one focus detection area having the same size as the
なお、上述した例では、レンズの画角を閾値と比較して焦点検出領域の大きさを決める場合について説明したが、レンズの焦点距離に基づいて焦点検出領域の大きさを決めても良い。その場合、焦点距離が長い方が画角が狭くなるため、焦点距離が長いほど、焦点検出領域の大きさが大きくなるように制御すれば良い。 In the above-described example, the case where the size of the focus detection region is determined by comparing the angle of view of the lens with the threshold value has been described, but the size of the focus detection region may be determined based on the focal length of the lens. In that case, the longer the focal length, the narrower the angle of view. Therefore, the longer the focal length, the larger the size of the focus detection region may be controlled.
上述した本実施形態では、焦点検出範囲301の大きさはレンズの特性に合わせた範囲を設定すると説明したが本発明はこれに限るものではない。例えば、撮像範囲300内であれば焦点検出範囲301を広げて、レンズ特性に合わせて焦点評価値の重み付けを変えるようにしてAFを行うことが可能である。
In the above-described embodiment, it has been described that the size of the
また、本実施形態では分割領域の数や大きさをレンズの画角に応じて変更するように説明した。しかしながら、広角レンズであっても、AF処理が終了するまでの時間(フォーカスレンズを動かしながら複数回の露光を終えるまでの時間)に天体が移動する距離を算出して、AF枠302を焦点検出範囲301から狭めた大きさにしても良い。
Further, in the present embodiment, it has been described that the number and size of the divided regions are changed according to the angle of view of the lens. However, even with a wide-angle lens, the
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the gist thereof.
<他の実施形態>
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
<Other embodiments>
The present invention may be applied to a system composed of a plurality of devices or a device composed of one device.
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention also supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device implement the program. It can also be realized by the process of reading and executing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
10:変倍レンズ、12:焦点レンズ、14:撮像素子、28:画像表示部、50:システム制御回路、100:カメラ本体、150:レンズユニット、500:測光結果取得部、501:焦点検出条件演算部、502:レンズ画角検出部、503:AF枠設定部、504:被写体像面移動量演算部、505:画素情報取得部、506:焦点検出領域設定部 10: Variable magnification lens, 12: Focus lens, 14: Imaging element, 28: Image display unit, 50: System control circuit, 100: Camera body, 150: Lens unit, 500: Photometric result acquisition unit, 501: Focus detection condition Calculation unit, 502: Lens angle detection unit, 503: AF frame setting unit, 504: Subject image plane movement amount calculation unit, 505: Pixel information acquisition unit, 506: Focus detection area setting unit
Claims (18)
前記撮影光学系の画角に関する情報を取得する画角情報取得手段と、
前記撮像素子の撮像面において焦点検出に用いる領域である焦点検出範囲を設定する範囲設定手段と、
前記焦点検出範囲から得られた画像信号に基づいて焦点評価値を検出し、該焦点評価値に基づいて、前記撮影光学系の合焦位置を検出する焦点検出手段と、
前記画角に関する情報と、前記焦点評価値の検出にかかる検出時間と、前記画素情報とに基づいて、前記検出時間の間に移動する被写体の像が前記撮像面を移動する距離を求める算出手段と、
前記焦点検出範囲を前記距離分、狭くした範囲を表す枠を、前記画像信号を表示する表示手段に表示するように設定する枠設定手段と
を有することを特徴とする焦点検出装置。 Pixel information acquisition means for acquiring pixel information including the number of pixels of an image sensor and the size of an image pickup region that receives light incident on the photographing optical system and outputs an image signal.
An angle-of-view information acquisition means for acquiring information on the angle of view of the photographing optical system,
A range setting means for setting a focus detection range, which is a region used for focus detection on the image pickup surface of the image sensor, and
A focus detection means that detects a focus evaluation value based on an image signal obtained from the focus detection range and detects a focusing position of the photographing optical system based on the focus evaluation value.
A calculation means for obtaining the distance that an image of a subject moving during the detection time moves on the imaging surface based on the information on the angle of view, the detection time required for detecting the focus evaluation value, and the pixel information. When,
A focus detection device comprising: a frame setting means for setting a frame representing a range in which the focus detection range is narrowed by the distance to be displayed on a display means for displaying the image signal.
前記画角に関する情報と、前記画素情報と、測光結果とに基づいて、前記検出時間を演算する演算手段と
を更に有することを特徴とする請求項1に記載の焦点検出装置。 Photometric means and
The focus detection device according to claim 1, further comprising an arithmetic means for calculating the detection time based on the information on the angle of view, the pixel information, and the photometric result.
前記算出手段は、前記画角に関する情報として、前記画角を用いて前記距離を求めることを特徴とする請求項1または2に記載の焦点検出装置。 The angle of view information acquisition means acquires the focal length of the photographing optical system, obtains the angle of view based on the acquired focal length, and obtains the angle of view.
The focus detection device according to claim 1 or 2, wherein the calculation means obtains the distance by using the angle of view as information regarding the angle of view.
前記領域設定手段は、前記画角が予め決められた第1の閾値より広い場合に、広くない場合よりも前記焦点検出領域の大きさを小さくして、数を多くすることを特徴とする請求項7に記載の焦点検出装置。 The information regarding the angle of view is the angle of view of the photographing optical system.
The claim is characterized in that when the angle of view is wider than a predetermined first threshold value, the size of the focus detection region is smaller and the number is larger than when the angle of view is not wide. Item 7. The focus detection device according to item 7.
前記領域設定手段は、前記焦点距離が予め決められた第1の閾値より短い場合に、短くない場合よりも前記焦点検出領域の大きさを小さくして、数を多くすることを特徴とする請求項7に記載の焦点検出装置。 The information regarding the angle of view is the focal length of the photographing optical system.
The claim is characterized in that when the focal length is shorter than a predetermined first threshold value, the size of the focal length detection region is smaller and the number is larger than when the focal length is not short. Item 7. The focus detection device according to item 7.
前記画像信号を表示する表示手段と、
請求項1乃至12のいずれか1項に記載の焦点検出装置と
を有することを特徴とする撮像装置。 An image sensor that receives light incident through the photographing optical system and outputs an image signal,
A display means for displaying the image signal and
An imaging device comprising the focus detection device according to any one of claims 1 to 12.
画角情報取得手段が、前記撮影光学系の画角に関する情報を取得する画角情報取得工程と、
範囲設定手段が、前記撮像素子の撮像面において焦点検出に用いる領域である焦点検出範囲を設定する範囲設定工程と、
焦点検出手段が、前記焦点検出範囲から得られた画像信号に基づいて焦点評価値を検出し、該焦点評価値に基づいて、前記撮影光学系の合焦位置を検出する焦点検出工程と、
算出手段が、前記画角に関する情報と、前記焦点評価値の検出にかかる検出時間と、前記画素情報とに基づいて、前記検出時間の間に移動する被写体の像が前記撮像面を移動する距離を求める算出工程と、
枠設定手段が、前記焦点検出範囲を前記距離分、狭くした範囲を表す枠を、前記画像信号を表示する表示手段に表示するように設定する枠設定工程と
を有することを特徴とする焦点検出方法。 A pixel information acquisition step in which the pixel information acquisition means acquires pixel information including the number of pixels of an image sensor that receives light incident through a photographing optical system and outputs an image signal and the size of an image pickup region.
An angle-of-view information acquisition step in which the angle-of-view information acquisition means acquires information on the angle of view of the photographing optical system, and
A range setting step in which the range setting means sets a focus detection range, which is a region used for focus detection on the image pickup surface of the image sensor, and a range setting step.
A focus detection step in which the focus detection means detects a focus evaluation value based on an image signal obtained from the focus detection range and detects a focus position of the photographing optical system based on the focus evaluation value.
The distance by which the image of the subject moving during the detection time moves on the imaging surface based on the information on the angle of view, the detection time required for detecting the focus evaluation value, and the pixel information. And the calculation process to find
The focus detection means includes a frame setting step of setting a frame representing a range in which the focus detection range is narrowed by the distance to be displayed on the display means for displaying the image signal. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016150549A JP6799411B2 (en) | 2016-07-29 | 2016-07-29 | Focus detection device and method, and imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016150549A JP6799411B2 (en) | 2016-07-29 | 2016-07-29 | Focus detection device and method, and imaging device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018018033A JP2018018033A (en) | 2018-02-01 |
JP2018018033A5 JP2018018033A5 (en) | 2019-09-05 |
JP6799411B2 true JP6799411B2 (en) | 2020-12-16 |
Family
ID=61075786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016150549A Expired - Fee Related JP6799411B2 (en) | 2016-07-29 | 2016-07-29 | Focus detection device and method, and imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6799411B2 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5790188B2 (en) * | 2011-06-16 | 2015-10-07 | リコーイメージング株式会社 | Astronomical auto tracking imaging method and astronomical auto tracking imaging device |
JP6319972B2 (en) * | 2013-08-26 | 2018-05-09 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, image processing method, and program |
JP2015070380A (en) * | 2013-09-27 | 2015-04-13 | 株式会社ニコン | Imaging apparatus |
JP2015106116A (en) * | 2013-12-02 | 2015-06-08 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Imaging apparatus |
JP6539015B2 (en) * | 2013-12-05 | 2019-07-03 | キヤノン株式会社 | Image pickup apparatus and control method thereof |
JP6355348B2 (en) * | 2014-01-31 | 2018-07-11 | キヤノン株式会社 | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM |
JP6418879B2 (en) * | 2014-10-06 | 2018-11-07 | キヤノン株式会社 | Image processing apparatus, control method thereof, control program, and imaging apparatus |
-
2016
- 2016-07-29 JP JP2016150549A patent/JP6799411B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2018018033A (en) | 2018-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5676988B2 (en) | Focus adjustment device | |
US8670064B2 (en) | Image capturing apparatus and control method therefor | |
US10187564B2 (en) | Focus adjustment apparatus, imaging apparatus, focus adjustment method, and recording medium storing a focus adjustment program thereon | |
JP5432664B2 (en) | Imaging device | |
JP2007174124A (en) | Imaging apparatus and correction method | |
JP5329913B2 (en) | Automatic focusing apparatus and method | |
JP2007293144A (en) | Optical equipment | |
JP6300569B2 (en) | Imaging apparatus and control method thereof | |
JP4818130B2 (en) | Imaging apparatus and control method thereof | |
JP6799411B2 (en) | Focus detection device and method, and imaging device | |
JP2007251656A (en) | Image sensing device, its control method and program | |
JP2006270426A (en) | Imaging apparatus, its control method, and computer program | |
JP4393177B2 (en) | Imaging apparatus and imaging method | |
JP5414412B2 (en) | Imaging apparatus and control method thereof | |
JP5414411B2 (en) | Imaging apparatus and control method thereof | |
JP2020068396A (en) | Imaging device and controlling method thereof | |
JP2006060409A (en) | Imaging apparatus and control method thereof | |
JP4393299B2 (en) | Image processing apparatus and control method thereof | |
US20230106750A1 (en) | Image capturing apparatus for photometry, control method, and storage medium | |
JP4612763B2 (en) | Imaging apparatus and control method thereof | |
JP2006229627A (en) | Digital camera | |
JP2018113624A (en) | Imaging apparatus and control method for imaging apparatus | |
JP6577737B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2018006888A (en) | Imaging apparatus, control method therefor, and control program | |
JP2005051697A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190723 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190723 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200807 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201006 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6799411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |