JPWO2020095365A1 - 撮像装置、内視鏡装置及び撮像装置の作動方法 - Google Patents
撮像装置、内視鏡装置及び撮像装置の作動方法 Download PDFInfo
- Publication number
- JPWO2020095365A1 JPWO2020095365A1 JP2020556388A JP2020556388A JPWO2020095365A1 JP WO2020095365 A1 JPWO2020095365 A1 JP WO2020095365A1 JP 2020556388 A JP2020556388 A JP 2020556388A JP 2020556388 A JP2020556388 A JP 2020556388A JP WO2020095365 A1 JPWO2020095365 A1 JP WO2020095365A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- unit
- focus lens
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/10—Beam splitting or combining systems
- G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/676—Bracketing for image capture at varying focusing conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Abstract
Description
特許文献1等には、合焦物体位置の異なる2枚の画像を同時に撮影し、これらを合成することによって、被写界深度が拡大された合成画像を生成する内視鏡システムが開示されている。ここで合焦物体位置とは、レンズ系、像面、物体からなる系が合焦状態にある場合の、物体の位置を表すものである。例えば、像面を撮像素子の面とした場合、合焦物体位置とは、当該撮像素子を用いて上記レンズ系を介した被写体像を撮像した場合に、撮像画像においてピントが理想的に合う被写体の位置を表す。より具体的には、撮像素子によって撮像される画像は、合焦物体位置を含む被写界深度の範囲内に位置する被写体に合焦した画像となる。合焦物体位置は、ピントが合う物体の位置であるため、ピント位置と言い換えてもよい。
以下では本実施形態の撮像装置10が内視鏡装置12である場合を説明するが、撮像装置10は内視鏡装置12に限定されない。撮像装置10は、合焦物体位置の異なる複数の画像を撮像することによって合成画像を生成し、且つ、AF制御を実行する装置であればよい。例えば、撮像装置10は顕微鏡であってもよい。
次に本実施形態のAF制御の具体例を説明する。まずFAR画像とNEAR画像の両方を用いる第1AF制御モードと、FAR画像とNEAR画像のいずれか一方を用いる第2AF制御モードについて説明する。その後、第1AF制御モードと第2AF制御モードの切り替え処理と、AF制御の変形例を説明する。なお、以下の説明におけるコントラスト値はAF評価値の一例であり、他のAF評価値に置き換え可能である。
撮像素子Fと撮像素子Nの中央位置に被写体像が結像した場合、FAR画像とNEAR画像のコントラスト値はほぼ同等となる。このため撮像素子Fと撮像素子Nの中央位置に被写体像を結像させるには、AF制御部360は、FAR画像とNEAR画像のコントラスト値を監視しながらフォーカスレンズ位置を調整すればよい。撮像素子Fと撮像素子Nの中央位置以外を目標位置とする場合も、既知であるPSFの形状や事前の実験等から被写体像の結像位置と、FAR画像とNEAR画像のコントラスト値の関係を対応づけておき、FAR画像とNEAR画像のコントラスト値の関係を監視しながらフォーカスレンズ111の位置を調整すればよい。
撮像素子Fと撮像素子Nの間の距離は設計値のため既知である。また、フォーカスレンズ111の移動量と結像位置の移動量の関係も設計値のため既知である。このためAF制御部360は、以下の制御に基づいて、被写界深度拡大後の合成画像において、最適な被写界深度範囲を実現できる。まずAF制御部360は、既知のAF手法を用いて、撮像素子F及び撮像素子Nのいずれか一方に被写体像を結像させる。既知のAF手法は、コントラストAF、位相差AF等の種々の手法を適用可能である。その後、AF制御部360は、撮像素子Fと撮像素子Nの中間の任意の位置に被写体像が結像すると判定される位置に、フォーカスレンズ111を移動させる制御を行う。
また、以上では第1AF制御モードにおける処理、第2AF制御モードにおける処理をそれぞれ説明したが、AF制御モードは、いずれか一方のモードに固定されるものに限定されない。
また第1AF制御モードにおけるAF制御は、方向判別及び合焦判定を繰り返す上述の手法に限定されない。例えばAF制御部360は、第1AF制御モードにおいて、第1AF評価値のピークに対応するフォーカスレンズ111の位置と、第2AF評価値のピークに対応するフォーカスレンズ111の位置との間の位置に、フォーカスレンズ111を移動させる制御を行う。なおAF評価値のピークとは、AF評価値の最大値である。
図11は、本実施形態に係る撮像装置10の一例である内視鏡装置12の他の構成例である。内視鏡装置12は、注目被写体およびその周囲の形状を推定する被写体形状推定部600をさらに含む。また内視鏡装置12は、目標結像位置設定部366を含み、目標結像位置設定部366は、被写体形状推定部600において推定された被写体形状に基づいて。目標結像位置を設定する。そしてAF制御部360は、目標結像位置設定部366において設定された目標結像位置に、注目被写体の被写体像が結像すると判定される位置に、フォーカスレンズ111を移動させる制御を行う。このような制御を行うことによって、被写体の形状に応じて、最適な範囲にピントが合った合成画像を取得することが可能になる。
図11は、本実施形態に係る撮像装置10の一例である内視鏡装置12の他の構成例である。内視鏡装置12は、注目被写体およびその周囲の形状を推定する被写体形状推定部600をさらに含む。また内視鏡装置12は、目標結像位置設定部366を含み、目標結像位置設定部366は、被写体形状推定部600において推定された被写体形状に基づいて、目標結像位置を設定する。そしてAF制御部360は、目標結像位置設定部366において設定された目標結像位置に、注目被写体の被写体像が結像すると判定される位置に、フォーカスレンズ111を移動させる制御を行う。このような制御を行うことによって、被写体の形状に応じて、最適な範囲にピントが合った合成画像を取得することが可能になる。
Claims (10)
- 合焦物体位置を調整するフォーカスレンズを含み、被写体像を取得する対物光学系と、
前記被写体像を前記合焦物体位置の異なる2つの光路に分割する光路分割部と、
分割された前記2つの光路の前記被写体像をそれぞれ撮像することによって、第1画像及び第2画像を取得する撮像素子と、
前記第1画像及び前記第2画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、1つの合成画像を生成する合成処理を行う画像合成部と、
注目被写体にピントが合うと判定される位置に、前記フォーカスレンズを移動させるAF(Auto Focus)制御を行うAF制御部と、
を含み、
前記AF制御部は、
前記画像合成部において前記合成処理が行われる前の前記第1画像及び前記第2画像の少なくとも一方に基づいて、前記AF制御を行うことを特徴とする撮像装置。 - 請求項1において、
前記AF制御部は、
前記第1画像を取得する前記撮像素子に対応する第1位置と、前記第2画像を取得する前記撮像素子に対応する第2位置の間の位置に、前記注目被写体の前記被写体像が結像すると判定される位置に、前記フォーカスレンズを移動させる制御を行うことを特徴とする撮像装置。 - 請求項1において、
前記AF制御部は、
前記第1画像を取得する前記撮像素子に対応する第1位置、前記第2画像を取得する前記撮像素子に対応する第2位置、及び前記第1位置と前記第2位置の間の位置のいずれかに前記注目被写体の前記被写体像が結像すると判定される位置に、前記フォーカスレンズを移動させる制御を行うことを特徴とする撮像装置。 - 請求項3において、
前記注目被写体の形状、及び前記注目被写体の周囲の被写体の形状を推定する被写体形状推定部と、
前記被写体形状推定部において推定された被写体形状に基づいて目標結像位置を設定する目標結像位置設定部と、
をさらに含み、
前記AF制御部は、
前記目標結像位置設定部において設定された前記目標結像位置に、前記注目被写体の前記被写体像が結像すると判定される位置に、前記フォーカスレンズを移動させる制御を行うことを特徴とする撮像装置。 - 請求項2において、
前記AF制御部は、
前記第1位置と前記第2位置の中央位置に、前記注目被写体の前記被写体像が結像すると判定される位置に、前記フォーカスレンズを移動させる制御を行うことを特徴とする撮像装置。 - 請求項2において、
前記AF制御部は、
前記第1位置に前記注目被写体の前記被写体像が結像すると判定される位置に、前記フォーカスレンズを移動させる制御を行った後、前記被写体像が結像する位置を前記第2位置へ向かう方向に所定量だけ移動させると判定される位置に、前記フォーカスレンズを移動させる制御を行うことを特徴とする撮像装置。 - 請求項2において、
前記AF制御部は、
前記第1画像から算出される第1AF評価値と、前記第2画像から算出される第2AF評価値が、所与の関係になると判定される位置に、前記フォーカスレンズを移動させる制御を行うことを特徴とする撮像装置。 - 請求項2において、
前記AF制御部は、
前記第1画像から算出される第1AF評価値のピークに対応する前記フォーカスレンズの位置と、前記第2画像から算出される第2AF評価値のピークに対応する前記フォーカスレンズの位置との間の位置に、前記フォーカスレンズを移動させる制御を行うことを特徴とする撮像装置。 - 合焦物体位置を調整するフォーカスレンズを含み、被写体像を取得する対物光学系と、
前記被写体像を前記合焦物体位置の異なる2つの光路に分割する光路分割部と、
分割された前記2つの光路の前記被写体像をそれぞれ撮像することによって、第1画像及び第2画像を取得する撮像素子と、
前記第1画像及び前記第2画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、1つの合成画像を生成する合成処理を行う画像合成部と、
注目被写体にピントが合うと判定される位置に、前記フォーカスレンズを移動させるAF(Auto Focus)制御を行うAF(Auto Focus)制御部と、
を含み、
前記AF制御部は、
前記画像合成部において前記合成処理が行われる前の前記第1画像及び前記第2画像の少なくとも一方に基づいて、前記AF制御を行うことを特徴とする内視鏡装置。 - 合焦物体位置を調整するフォーカスレンズを含み、被写体像を取得する対物光学系と、前記被写体像を前記合焦物体位置の異なる2つの光路に分割する光路分割部と、分割された前記2つの光路の前記被写体像をそれぞれ撮像することによって、第1画像及び第2画像を取得する撮像素子と、を含む撮像装置の作動方法であって、
前記第1画像及び前記第2画像の間の対応する所定領域において、相対的にコントラストが高い画像を選択することによって、1つの合成画像を生成する合成処理と、
前記合成処理が行われる前の前記第1画像及び前記第2画像の少なくとも一方に基づいて、注目被写体にピントが合うと判定される位置に、前記フォーカスレンズを移動させるAF(Auto Focus)制御と、
を行うことを特徴とする撮像装置の作動方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/041223 WO2020095365A1 (ja) | 2018-11-06 | 2018-11-06 | 撮像装置、内視鏡装置及び撮像装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020095365A1 true JPWO2020095365A1 (ja) | 2021-11-11 |
JP7065202B2 JP7065202B2 (ja) | 2022-05-11 |
Family
ID=70611843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020556388A Active JP7065202B2 (ja) | 2018-11-06 | 2018-11-06 | 撮像装置、内視鏡装置及び撮像装置の作動方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210239963A1 (ja) |
JP (1) | JP7065202B2 (ja) |
CN (1) | CN112970242B (ja) |
WO (1) | WO2020095365A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022209218A1 (ja) * | 2021-03-31 | 2022-10-06 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003248164A (ja) * | 2002-02-26 | 2003-09-05 | Fuji Photo Optical Co Ltd | オートフォーカスアダプタ |
JP2012039255A (ja) * | 2010-08-04 | 2012-02-23 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置及びプログラム |
JP2017118212A (ja) * | 2015-12-22 | 2017-06-29 | キヤノン株式会社 | 撮像装置 |
WO2018186123A1 (ja) * | 2017-04-03 | 2018-10-11 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムの調整方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6137847B2 (ja) * | 2013-01-28 | 2017-05-31 | オリンパス株式会社 | 撮像装置及び撮像装置の制御方法 |
EP3050484A4 (en) * | 2013-09-24 | 2017-05-31 | Olympus Corporation | Endoscope device and method for controlling endoscope device |
CN107005647B (zh) * | 2014-12-02 | 2020-08-11 | 奥林巴斯株式会社 | 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法 |
CN107430258B (zh) * | 2015-03-17 | 2020-03-31 | 奥林巴斯株式会社 | 对焦控制装置及其控制方法、摄像装置、内窥镜系统 |
-
2018
- 2018-11-06 CN CN201880099119.5A patent/CN112970242B/zh active Active
- 2018-11-06 WO PCT/JP2018/041223 patent/WO2020095365A1/ja active Application Filing
- 2018-11-06 JP JP2020556388A patent/JP7065202B2/ja active Active
-
2021
- 2021-04-22 US US17/237,481 patent/US20210239963A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003248164A (ja) * | 2002-02-26 | 2003-09-05 | Fuji Photo Optical Co Ltd | オートフォーカスアダプタ |
JP2012039255A (ja) * | 2010-08-04 | 2012-02-23 | Olympus Corp | 画像処理装置、画像処理方法、撮像装置及びプログラム |
JP2017118212A (ja) * | 2015-12-22 | 2017-06-29 | キヤノン株式会社 | 撮像装置 |
WO2018186123A1 (ja) * | 2017-04-03 | 2018-10-11 | オリンパス株式会社 | 内視鏡システム及び内視鏡システムの調整方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112970242A (zh) | 2021-06-15 |
WO2020095365A1 (ja) | 2020-05-14 |
US20210239963A1 (en) | 2021-08-05 |
JP7065202B2 (ja) | 2022-05-11 |
CN112970242B (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7065203B2 (ja) | 撮像装置、内視鏡装置及び撮像装置の作動方法 | |
US8055097B2 (en) | Image pick-up apparatus, image pick-up program, and image processing program | |
JP5247044B2 (ja) | 撮像装置 | |
US20120069171A1 (en) | Imaging device for microscope | |
JP6800797B2 (ja) | 撮像装置、画像処理装置、撮像装置の制御方法およびプログラム | |
JP5341286B1 (ja) | 深度拡大装置 | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
WO2015050008A1 (ja) | 撮像装置、撮像装置の作動方法 | |
JP6740052B2 (ja) | 撮像装置およびその制御方法 | |
JP2012124555A (ja) | 撮像装置 | |
WO2016117107A1 (ja) | 内視鏡装置及び内視鏡装置のフォーカス制御方法 | |
JPWO2017122349A1 (ja) | フォーカス制御装置、内視鏡装置及びフォーカス制御装置の作動方法 | |
JP6736670B2 (ja) | 内視鏡システム | |
WO2018116371A1 (ja) | 自動焦点制御装置、内視鏡装置及び自動焦点制御装置の作動方法 | |
JP7065202B2 (ja) | 撮像装置、内視鏡装置及び撮像装置の作動方法 | |
JP2013076823A (ja) | 画像処理装置、内視鏡システム、画像処理方法及びプログラム | |
JP5792401B2 (ja) | オートフォーカス装置 | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
WO2017072860A1 (ja) | 撮像装置、内視鏡装置及び撮像装置の作動方法 | |
JP2012142729A (ja) | カメラ | |
JP6983531B2 (ja) | 測距装置、測距システム、および測距方法 | |
JP6639208B2 (ja) | 撮像装置及びその制御方法 | |
JP5930979B2 (ja) | 撮像装置 | |
JP2009047808A (ja) | 焦点調節装置、カメラ | |
JP6594046B2 (ja) | 撮像装置及び焦点調節方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220425 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7065202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |