JP6985506B2 - リアルタイムオートフォーカス合焦アルゴリズム - Google Patents
リアルタイムオートフォーカス合焦アルゴリズム Download PDFInfo
- Publication number
- JP6985506B2 JP6985506B2 JP2020517470A JP2020517470A JP6985506B2 JP 6985506 B2 JP6985506 B2 JP 6985506B2 JP 2020517470 A JP2020517470 A JP 2020517470A JP 2020517470 A JP2020517470 A JP 2020517470A JP 6985506 B2 JP6985506 B2 JP 6985506B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- focus
- value
- image
- objective lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/02—Objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/245—Devices for focusing using auxiliary sources, detectors
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/26—Stages; Adjusting means therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
- G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Focusing (AREA)
Description
本願は、2017年9月29日に出願された米国仮特許出願第62/566,145号に対する優先権を主張するものであり、この出願は、完全に記載されるかのように参照によってここで本明細書に組み込まれる。
Claims (16)
- デジタル走査装置であって、前記デジタル走査装置は、
試料を支持するように構成されたステージと、
前記試料の一部を観察するために位置付けられた対物レンズであって、光学径路を定める対物レンズと、
前記対物レンズに光学的に結合された撮像センサと、
前記対物レンズに光学的に結合された合焦センサと、
プロセッサと、
を含み、
前記撮像センサは、前記光学径路を介して画像データを取り込むように構成された複数の撮像センサ画素を含み、前記複数の撮像センサ画素のすべてが、前記光学径路に直交する単一の第1画像平面内にあり、
前記合焦センサは、前記光学径路を介して画像データを取り込むように構成された複数の合焦センサ画素を含み、前記合焦センサは、前記複数の合焦センサ画素のそれぞれが他の前記合焦センサ画素のすべてとは異なる画像平面上にあるように、前記光学径路に対して論理的に傾斜され、前記合焦センサの同焦点位置は、前記第1画像平面と同焦点であり、
前記プロセッサは、前記試料の走査中、前記対物レンズと前記試料との間の距離を自動的に調節するように構成され、自動的に調節することは、
前記複数の撮像センサ画素のそれぞれから画像データを受信し、前記撮像センサの複数の撮像センサ位置のそれぞれについて前記画像データのコントラスト値を決定することと、
前記複数の合焦センサ画素のそれぞれから画像データを受信し、前記合焦センサの複数の合焦センサ位置のそれぞれについて前記画像データのコントラスト値を決定することと、
対応する撮像センサ位置と合焦センサ位置との複数のペアのそれぞれについて、前記ペアにおける前記合焦センサ位置についての前記画像データの前記コントラスト値と、前記ペアにおける前記対応する撮像センサ位置についての前記画像データの前記コントラスト値と、のコントラスト値比を算出することと、
前記算出したコントラスト値比のピーク値を識別することと、
前記合焦センサの前記同焦点位置と関連付けられたコントラスト値比を同焦点値として識別することと、
前記ピーク値と前記同焦点値との間の距離および方向を決定することであって、前記決定した距離および方向は、前記撮像センサから受信した前記画像データにおけるピーク焦点を達成する前記対物レンズの位置を示すことと、
前記ピーク値と前記同焦点値との間の前記決定した距離および方向に従って、前記試料の走査中、前記対物レンズと前記試料との間の距離を、ピーク焦点を達成する前記対物レンズの前記位置に調節することと、
により行う、
デジタル走査装置。 - 前記撮像センサおよび前記合焦センサは、等しい数の画素からなる、
請求項1に記載のデジタル走査装置。 - 前記複数の撮像センサ位置のそれぞれは、前記複数の撮像センサ画素の個々の1つからなる、
請求項1または2に記載のデジタル走査装置。 - 前記複数の合焦センサ位置のそれぞれは、前記複数の合焦センサ画素の個々の1つからなる、
請求項3に記載のデジタル走査装置。 - 前記複数の合焦センサ画素のそれぞれは、その対応する撮像センサ画素と同一の前記試料の視野を検知するように、前記光学径路内の位置に対して、対応する撮像センサ画素と論理的に整列される、
請求項4に記載のデジタル走査装置。 - 前記複数の合焦センサ画素の少なくとも1つは、その対応する撮像センサ画素と同一の前記試料の視野を検知するように、前記光学径路内の位置に対して、対応する撮像センサ画素と論理的に整列される、
請求項1に記載のデジタル走査装置。 - 前記複数の合焦センサ画素のいずれも、前記光学径路内の位置に対して、任意の対応する撮像センサ画素と論理的に整列されない、
請求項1に記載のデジタル走査装置。 - 前記撮像センサおよび前記合焦センサは、前記試料の走査中、同一の前記試料の視野を有する、
請求項1から7のいずれかに記載のデジタル走査装置。 - 前記光学径路は、前記対物レンズと前記撮像センサとの間の第1光学径路および前記対物レンズと前記合焦センサとの間の第2光学径路を含む、
請求項1から8のいずれかに記載のデジタル走査装置。 - 前記ピーク値と前記同焦点値との間の距離を決定することは、前記同焦点位置と前記ピーク値に対応する合焦センサ位置との間の合焦センサ画素の数を算出することを含む、
請求項1から9のいずれかに記載のデジタル走査装置。 - 前記ピーク値と前記同焦点値との間の方向を決定することは、前記ピーク値または前記同焦点値のうちの一方を前記ピーク値または前記同焦点値のうちの他方から減算し、値が負か正かを判定することを含む、
請求項10に記載のデジタル走査装置。 - 前記ピーク値と前記同焦点値との間の前記決定した距離および方向に従って前記対物レンズと前記試料との間の前記距離を調節することは、
前記ピーク値と前記同焦点値との間の前記距離を物理的距離に変換することと、
前記ピーク値と前記同焦点値との間の前記方向を前記光学径路に沿った物理的方向に変換することと、
前記物理的方向において前記物理的距離だけ前記対物レンズと前記試料との間の前記距離を変更することと、
を含む、
請求項10に記載のデジタル走査装置。 - 前記ピーク値と前記同焦点値との間の前記距離を物理的距離に変換することは、合焦センサ画素の前記算出した数と前記複数の合焦センサ画素のうちの2つ以上の間の物理的距離とを乗算することを含む、
請求項12に記載のデジタル走査装置。 - 前記複数の撮像センサ位置のそれぞれは、撮像センサ画素の列からなり、
前記複数の合焦センサ位置のそれぞれは、合焦センサ画素の列からなる、
請求項1に記載のデジタル走査装置。 - 前記複数の撮像センサ位置のそれぞれについての前記画像データの前記コントラスト値は、前記撮像センサ画素の各列の平均コントラスト値であり、
前記複数の合焦センサ位置のそれぞれについての前記画像データの前記コントラスト値は、前記合焦センサ画素の各列の平均コントラスト値である、
請求項14に記載のデジタル走査装置。 - デジタル走査装置の対物レンズと前記デジタル走査装置によって走査されている試料との間の距離を自動的に調節する方法であって、前記試料の走査中、
撮像センサの複数の撮像センサ画素のそれぞれから画像データを受信し、前記撮像センサの複数の撮像センサ位置のそれぞれについて前記画像データのコントラスト値を決定することと、
合焦センサの複数の合焦センサ画素のそれぞれから画像データを受信し、前記合焦センサの複数の合焦センサ位置のそれぞれについて前記画像データのコントラスト値を決定することと、
対応する撮像センサ位置と合焦センサ位置との複数のペアのそれぞれについて、前記ペアにおける前記合焦センサ位置についての前記画像データの前記コントラスト値と、前記ペアにおける前記対応する撮像センサ位置についての前記画像データの前記コントラスト値と、のコントラスト値比を算出することと、
前記算出したコントラスト値比のピーク値を識別することと、
前記複数の合焦センサ位置のうちの同焦点合焦センサ位置と関連付けられたコントラスト値比を同焦点値として識別することであって、前記同焦点合焦センサ位置が、前記対物レンズによって定められた光学径路に直交する前記撮像センサの画像平面と同焦点であることと、
前記ピーク値と前記同焦点値との間の距離および方向を決定することであって、前記決定した距離および方向は、前記撮像センサから受信した前記画像データにおけるピーク焦点を達成する前記対物レンズの位置を示すことと、
前記ピーク値と前記同焦点値との間の前記決定した距離および方向に従って、前記試料の走査中、前記対物レンズと前記試料との間の距離を、ピーク焦点を達成する前記対物レンズの前記位置に調節することと、
を含む方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762566145P | 2017-09-29 | 2017-09-29 | |
US62/566,145 | 2017-09-29 | ||
PCT/US2018/053629 WO2019068038A1 (en) | 2017-09-29 | 2018-09-28 | AUTOMATIC FOCUSING ALGORITHM IN REAL TIME |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020535473A JP2020535473A (ja) | 2020-12-03 |
JP6985506B2 true JP6985506B2 (ja) | 2021-12-22 |
Family
ID=65897253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517470A Active JP6985506B2 (ja) | 2017-09-29 | 2018-09-28 | リアルタイムオートフォーカス合焦アルゴリズム |
Country Status (8)
Country | Link |
---|---|
US (3) | US10459193B2 (ja) |
EP (1) | EP3625602A4 (ja) |
JP (1) | JP6985506B2 (ja) |
KR (1) | KR102419163B1 (ja) |
CN (2) | CN111149037B (ja) |
AU (2) | AU2018339006B2 (ja) |
CA (1) | CA3075287C (ja) |
WO (1) | WO2019068038A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11454781B2 (en) | 2017-09-29 | 2022-09-27 | Leica Biosystems Imaging, Inc. | Real-time autofocus focusing algorithm |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4092467A1 (en) * | 2017-09-29 | 2022-11-23 | Leica Biosystems Imaging, Inc. | Two-dimensional and three-dimensional fixed z scanning |
EP4010791A1 (en) | 2019-08-06 | 2022-06-15 | Leica Biosystems Imaging, Inc. | Graphical user interface for slide-scanner control |
CN113366364A (zh) | 2019-08-06 | 2021-09-07 | 徕卡生物系统成像股份有限公司 | 载玻片扫描系统中的实时聚焦 |
US11108946B1 (en) * | 2020-06-25 | 2021-08-31 | Zebra Technologies Corporation | Focus stabilization of imaging system with variable focus lens |
CN112367447B (zh) * | 2020-11-04 | 2022-03-08 | 清华大学深圳国际研究生院 | 编码光照实时对焦扫描成像装置和方法 |
US12056867B2 (en) * | 2021-06-17 | 2024-08-06 | Kla Corporation | Image contrast metrics for deriving and improving imaging conditions |
CN113655610B (zh) * | 2021-07-14 | 2024-04-26 | 中国电子科技集团公司第十三研究所 | 用于光热反射显微热成像的自动对焦方法及控制装置 |
CN115150519B (zh) * | 2022-09-05 | 2022-12-23 | 武汉精立电子技术有限公司 | 一种基于线扫描的自动聚焦系统、方法及应用 |
CN118112777B (zh) * | 2024-04-30 | 2024-07-09 | 深圳市生强科技有限公司 | 基于病理玻片的多段交叉对焦处理方法及其应用 |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4322971B2 (ja) | 1998-01-06 | 2009-09-02 | オリンパス株式会社 | 顕微鏡用のオートフォーカス装置 |
DE60103067T2 (de) * | 2000-05-16 | 2004-10-14 | Accu-Sort Systems, Inc. | Autofokus-system mit 2d oder 3d-kompensation |
JP4334784B2 (ja) * | 2001-06-11 | 2009-09-30 | 日本放送協会 | オートフォーカス装置及びそれを用いた撮像装置 |
JP2004061942A (ja) | 2002-07-30 | 2004-02-26 | Nikon Corp | 顕微鏡システム |
AU2003263108A1 (en) * | 2002-09-30 | 2004-04-23 | Applied Materials Israel, Ltd. | Inspection system with oblique viewing angle |
US7417213B2 (en) | 2005-06-22 | 2008-08-26 | Tripath Imaging, Inc. | Apparatus and method for rapid microscopic image focusing having a movable objective |
WO2008073168A2 (en) | 2006-08-25 | 2008-06-19 | The Trustees Of Columbia University In The City Of New York | Systems and methods for high-throughput radiation biodosimetry |
JP5064764B2 (ja) | 2006-11-15 | 2012-10-31 | オリンパス株式会社 | 自動焦点検出装置、その制御方法、及び顕微鏡システム |
DE102007017649A1 (de) | 2007-04-12 | 2008-10-16 | Vistec Semiconductor Systems Gmbh | Verfahren zum Bestimmen der Fokuslage von mindestens zwei Kanten von Strukturen auf einem Substrat |
US8059336B2 (en) * | 2007-05-04 | 2011-11-15 | Aperio Technologies, Inc. | Rapid microscope scanner for volume image acquisition |
FR2923619B1 (fr) * | 2007-11-13 | 2009-11-20 | Thales Sa | Dispositif de mesure de defauts d'un instrument d'imagerie a capteur opto-electronique et dispositif de correction le comportant |
EP2344864B1 (en) * | 2008-10-24 | 2020-05-06 | Leica Biosystems Imaging, Inc. | Whole slide fluorescence scanner |
JP5328526B2 (ja) * | 2009-07-03 | 2013-10-30 | キヤノン株式会社 | 撮像装置 |
CN104020553B (zh) | 2009-10-19 | 2017-06-16 | 文塔纳医疗系统公司 | 成像系统和技术 |
JP5809248B2 (ja) * | 2010-05-18 | 2015-11-10 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | オートフォーカスイメージング |
BR112012032713A2 (pt) * | 2010-06-24 | 2016-09-13 | Koninkl Philips Electronics Nv | sistema de representação de imagem de autofoco para um sistema de microscópio, sistema de microscópio, método para representação de imagem de autofoco para um sistema de microscópio e elemento de programa para representação de imagem de autofoco de um sistema de microscópio |
US8643835B2 (en) | 2010-07-09 | 2014-02-04 | Kla-Tencor Corporation | Active planar autofocus |
US9389408B2 (en) | 2010-07-23 | 2016-07-12 | Zeta Instruments, Inc. | 3D microscope and methods of measuring patterned substrates |
US8175452B1 (en) | 2010-10-26 | 2012-05-08 | Complete Genomics, Inc. | Method and system for imaging high density biochemical arrays with sub-pixel alignment |
DE102010061611B3 (de) * | 2010-12-29 | 2012-02-16 | Leica Biosystems Nussloch Gmbh | Identifizierung von Objektträgern |
EP2753966A1 (en) | 2011-09-09 | 2014-07-16 | Ventana Medical Systems, Inc. | Focus and imaging system and techniques using error signal |
DE102011086018A1 (de) | 2011-11-09 | 2013-05-16 | Carl Zeiss Ag | Verfahren und Anordnung zur Autofokussierung eines Mikroskops |
JP2013142769A (ja) | 2012-01-11 | 2013-07-22 | Olympus Corp | 顕微鏡システム、オートフォーカスプログラムおよびオートフォーカス方法 |
ES2953897T3 (es) | 2012-05-02 | 2023-11-16 | Leica Biosystems Imaging Inc | Enfoque en tiempo real en imagenología de exploración lineal |
GB2505151A (en) * | 2012-05-30 | 2014-02-26 | St Microelectronics Res & Dev | Auto focus method using focus statistics |
JP5941395B2 (ja) | 2012-10-31 | 2016-06-29 | 浜松ホトニクス株式会社 | 画像取得装置及び画像取得装置のフォーカス方法 |
DE102012223128B4 (de) * | 2012-12-13 | 2022-09-01 | Carl Zeiss Microscopy Gmbh | Autofokusverfahren für Mikroskop und Mikroskop mit Autofokuseinrichtung |
CN104937469B (zh) | 2013-01-17 | 2017-06-23 | 浜松光子学株式会社 | 图像取得装置以及图像取得装置的聚焦方法 |
WO2016069685A1 (en) * | 2014-10-29 | 2016-05-06 | Molecular Devices, Llc | Apparatus and method for generating in-focus images using parallel imaging in a microscopy system |
KR20180058730A (ko) * | 2015-09-24 | 2018-06-01 | 라이카 바이오시스템즈 이미징 인크. | 라인 스캔 영상내 실시간 포커싱 |
CA3075287C (en) | 2017-09-29 | 2022-06-14 | Leica Biosystems Imaging, Inc. | Real-time autofocus focusing algorithm |
-
2018
- 2018-09-28 CA CA3075287A patent/CA3075287C/en active Active
- 2018-09-28 WO PCT/US2018/053629 patent/WO2019068038A1/en active Application Filing
- 2018-09-28 JP JP2020517470A patent/JP6985506B2/ja active Active
- 2018-09-28 CN CN201880062721.1A patent/CN111149037B/zh active Active
- 2018-09-28 CN CN202210728937.5A patent/CN115061271B/zh active Active
- 2018-09-28 EP EP18862682.4A patent/EP3625602A4/en active Pending
- 2018-09-28 US US16/147,448 patent/US10459193B2/en active Active
- 2018-09-28 KR KR1020207008619A patent/KR102419163B1/ko active Active
- 2018-09-28 AU AU2018339006A patent/AU2018339006B2/en active Active
-
2019
- 2019-10-14 US US16/601,355 patent/US10823936B2/en active Active
-
2020
- 2020-10-30 US US17/085,962 patent/US11454781B2/en active Active
-
2024
- 2024-04-05 AU AU2024202198A patent/AU2024202198B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11454781B2 (en) | 2017-09-29 | 2022-09-27 | Leica Biosystems Imaging, Inc. | Real-time autofocus focusing algorithm |
Also Published As
Publication number | Publication date |
---|---|
AU2024202198B2 (en) | 2024-06-13 |
CN115061271B (zh) | 2024-02-02 |
US10459193B2 (en) | 2019-10-29 |
EP3625602A1 (en) | 2020-03-25 |
CN111149037B (zh) | 2022-07-12 |
CN111149037A (zh) | 2020-05-12 |
AU2024202198A1 (en) | 2024-05-02 |
KR102419163B1 (ko) | 2022-07-08 |
US20190101723A1 (en) | 2019-04-04 |
US11454781B2 (en) | 2022-09-27 |
JP2020535473A (ja) | 2020-12-03 |
CN115061271A (zh) | 2022-09-16 |
US10823936B2 (en) | 2020-11-03 |
CA3075287C (en) | 2022-06-14 |
KR20200041983A (ko) | 2020-04-22 |
WO2019068038A1 (en) | 2019-04-04 |
AU2018339006A1 (en) | 2020-01-23 |
US20210048606A1 (en) | 2021-02-18 |
CA3075287A1 (en) | 2019-04-04 |
US20200041760A1 (en) | 2020-02-06 |
EP3625602A4 (en) | 2021-02-24 |
AU2018339006B2 (en) | 2024-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6985506B2 (ja) | リアルタイムオートフォーカス合焦アルゴリズム | |
JP6899963B2 (ja) | リアルタイムの自動焦点調節走査 | |
JP7167276B2 (ja) | 二重光学経路および単一撮像センサを使用した低解像度スライド撮像、スライドラベル撮像および高解像度スライド撮像 | |
JP7288115B2 (ja) | スライド在庫調べおよび再挿入システム | |
JP6940696B2 (ja) | 二次元および三次元の固定式z走査 | |
JP2020535478A (ja) | 2回通過式マクロ画像 | |
JP7119085B2 (ja) | 衝撃再走査システム | |
JP2021505925A (ja) | カラーモニタ設定の更新 | |
AU2018375358B2 (en) | Dual processor image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200326 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6985506 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |