JP6955211B2 - 識別装置、識別方法及びプログラム - Google Patents
識別装置、識別方法及びプログラム Download PDFInfo
- Publication number
- JP6955211B2 JP6955211B2 JP2017239302A JP2017239302A JP6955211B2 JP 6955211 B2 JP6955211 B2 JP 6955211B2 JP 2017239302 A JP2017239302 A JP 2017239302A JP 2017239302 A JP2017239302 A JP 2017239302A JP 6955211 B2 JP6955211 B2 JP 6955211B2
- Authority
- JP
- Japan
- Prior art keywords
- classifier
- image
- attribute
- unit
- predetermined object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Description
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る画像処理システム1の適用場面の一例を模式的に例示する。画像処理システム1は、典型的には、生産ラインなどに組み込まれる。画像処理システム1は、生産ライン上を搬送されるワークを撮像することによって得られる画像に基づいて、ワークの検査や文字の認識といった処理を実行する。なお、ワークは、製造過程にある部品、製品等を言い、本発明の「対象物」の一例である。
[ハードウェア構成]
<管理装置>
次に、図3を用いて、本実施形態に係る管理装置100のハードウェア構成の一例について説明する。図3は、本実施形態に係る管理装置100のハードウェア構成の一例を模式的に例示する。図3の例では、管理装置100は、プロセッサ101と、メモリ102と、HDD(Hard Disk Drive)などの記憶装置103と、ネットワークインターフェイス(I/F)104と、表示部105と、操作部106と、メモリカードリーダ・ライタ107とを含んでいてもよい。これらの各部は、内部バス108を介して、互いに通信可能に接続されている。
次に、図4を用いて、本実施形態に係る画像処理装置200のハードウェア構成の一例について説明する。図4は、本実施形態に係る画像処理装置200のハードウェア構成の一例を模式的に例示する。図4の例では、画像処理装置200は、照明部210と、制御装置220と、撮像部230とを含んでいてもよい。
<管理装置>
次に、図5を用いて、本実施形態に係る管理装置100の機能構成の一例について説明する。図5は、本実施形態に係る管理装置100の機能構成の一例を模式的に例示する。
次に、図6を用いて、本実施形態に係る画像処理装置200の機能構成の一例について説明する。図6は、本実施形態に係る画像処理装置200の機能構成の一例を模式的に例示する。
本実施形態では、画像処理装置200の各機能がいずれも処理部221によって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、1又は複数の専用のプロセッサ等により実現されてもよい。また、画像処理装置200それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
次に、画像処理装置200の動作例を説明する。以下の動作例では、画像処理システム1が生産ラインに組み込まれ、画像処理装置200が、生産ラインを流れるワークについて欠陥の有無を識別する前提で説明する。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
図7は、画像処理装置200が行う処理手順の一例を例示するフローチャートである。まず、撮影部602は、生産ライン上を流れるワークを撮影する(S101)。続いて、特定部603は、撮影されたワーク画像を属性識別器6031に入力し、属性識別器6031からワークの属性を出力させることでワークの属性を特定する。続いて、選択部604は、特定されたワークの属性に対応する欠陥識別器6011を選択する(S102)。続いて、入力部605は、選択された欠陥識別器6011に、ステップS101の処理手順で撮影されたワークの画像を入力する。欠陥識別器6011は、ワークに欠陥が含まれるか否かを識別する(S103)。続いて、出力部606は、欠陥識別器6011で識別された識別結果を、例えば画像処理装置200に接続された外部の情報処理装置又は画像処理装置200に接続されたディスプレイ等に出力する(S104)。
[変形例1]
生産ラインでは、ベルトコンベヤ上を流れるワークの順序が、ワークA(属性a)、ワークB(属性b)、ワークC(属性c)の順に繰り返し流れるといったように予め定められているケースが想定される。この場合、入力部605から欠陥識別器6011に入力されるワークの画像は、必ず、ワークA、ワークB及びワークCの順になる。従って、選択部604は、属性aに対応する欠陥識別器6011、属性bに対応する欠陥識別器6011、属性cに対応する欠陥識別器6011の順に繰り返し欠陥識別器6011を選択すればよい。
対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器(6011)を前記対象物の属性と対応付けて記憶する記憶部(601)と、
所定の対象物の画像を撮影する撮影部(602)と、
前記所定の対象物の属性を特定する特定部(603)と、
前記複数の識別器の中から、前記特定された属性に対応付けて記憶されている第1識別器(6011)を選択する選択部(604)と、
前記第1識別器(6011)に前記所定の対象物の画像を入力する入力部(605)と、
前記第1識別器(6011)から出力された、前記所定の対象物に含まれる検出対象の有無を出力する出力部(606)と、
を有する識別装置(200)。
前記特定部(603)は、前記所定の対象物の画像から、前記所定の対象物の属性を特定する、
付記1に記載の識別装置(200)。
前記特定部(603)は、対象物の画像から当該対象物の属性を特定するように学習された第2識別器(6031)を備え、前記第2識別器(6031)が前記所定の対象物の画像から前記所定の対象物の属性を特定する、
付記2に記載の識別装置(200)。
前記特定部(603)は、事前に設定された順序で、前記所定の対象物の属性を特定する、
付記1に記載の識別装置(200)。
前記記憶部に記憶される複数の識別器(6011)の各々は、識別器(6011)に対応付けられた属性を有する対象物について、検出対象の有無を他の識別器(6011)よりも高い精度で識別するように学習されたものである、
付記1乃至4のいずれか一項に記載の識別装置(200)。
前記対象物は検査対象物であり、
前記検出対象は、前記検査対象物に含まれる欠陥である、
付記1乃至5のいずれか一項に記載の識別装置(200)。
対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器(6011)を前記対象物の属性と対応付けて記憶する記憶部(601)を有する識別装置(200)が実行する識別方法であって、
所定の対象物の画像を撮影するステップと、
前記所定の対象物の属性を特定するステップと、
前記複数の識別器(6011)の中から、前記特定された属性に対応付けて記憶されている第1識別器(6011)を選択するステップと、
前記第1識別器(6011)に前記所定の対象物の画像を入力するステップと、
前記第1識別器(6011)から出力された、前記所定の対象物に含まれる検出対象の有無を出力するステップと、
を有する識別方法。
識別装置(200)を、
対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器(6011)を前記対象物の属性と対応付けて記憶する記憶手段(601)と、
所定の対象物の画像を撮影する撮影手段(602)と、
前記所定の対象物の属性を特定する特定手段(603)と、
前記複数の識別器(6011)の中から、前記特定された属性に対応付けて記憶されている第1識別器(6011)を選択する選択手段(604)と、
前記第1識別器(6011)に前記所定の対象物の画像を入力する入力手段(605)と、
前記第1識別器(6011)から出力された、前記所定の対象物に含まれる検出対象の有無を出力する出力手段(606)と、
して機能させるプログラム。
Claims (8)
- 対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を、前記対象物の外観に関する特徴によって表される属性と対応付けて記憶する記憶部と、
所定の対象物の画像を撮影する撮影部と、
前記所定の対象物の画像に基づいて、前記所定の対象物の外観に関する特徴によって表される属性を特定する特定部と、
前記複数の識別器の中から、前記特定された属性に対応付けて記憶されている第1識別器を選択する選択部と、
前記第1識別器に前記所定の対象物の画像を入力する入力部と、
前記第1識別器から出力された、前記所定の対象物に含まれる検出対象の有無を出力する出力部と、
を有する識別装置。 - 前記特定部は、前記所定の対象物の画像から、前記所定の対象物の外観に関する特徴によって表される属性を特定する、
請求項1に記載の識別装置。 - 前記特定部は、対象物の画像から当該対象物の外観に関する特徴によって表される属性を特定するように学習された第2識別器を備え、前記第2識別器が前記所定の対象物の画像から前記所定の対象物の外観に関する特徴によって表される属性を特定する、
請求項2に記載の識別装置。 - 前記特定部は、事前に設定された順序で、前記所定の対象物の外観に関する特徴によって表される属性を特定する、
請求項1に記載の識別装置。 - 前記記憶部に記憶される複数の識別器の各々は、識別器に対応付けられた属性を有する対象物について、検出対象の有無を他の識別器よりも高い精度で識別するように学習されたものである、
請求項1乃至4のいずれか一項に記載の識別装置。 - 前記対象物は検査対象物であり、
前記検出対象は、前記検査対象物に含まれる欠陥である、
請求項1乃至5のいずれか一項に記載の識別装置。 - 対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を、前記対象物の外観に関する特徴によって表される属性と対応付けて記憶する記憶部を有する識別装置が実行する識別方法であって、
所定の対象物の画像を撮影するステップと、
前記所定の対象物の画像に基づいて、前記所定の対象物の外観に関する特徴によって表される属性を特定するステップと、
前記複数の識別器の中から、前記特定された属性に対応付けて記憶されている第1識別器を選択するステップと、
前記第1識別器に前記所定の対象物の画像を入力するステップと、
前記第1識別器から出力された、前記所定の対象物に含まれる検出対象の有無を出力するステップと、
を有する識別方法。 - 識別装置を、
対象物の画像から前記対象物に含まれる検出対象の有無を識別するように学習された複数の識別器を、前記対象物の外観に関する特徴によって表される属性と対応付けて記憶する記憶手段と、
所定の対象物の画像を撮影する撮影手段と、
前記所定の対象物の画像に基づいて、前記所定の対象物の外観に関する特徴によって表される属性を特定する特定手段と、
前記複数の識別器の中から、前記特定された属性に対応付けて記憶されている第1識別器を選択する選択手段と、
前記第1識別器に前記所定の対象物の画像を入力する入力手段と、
前記第1識別器から出力された、前記所定の対象物に含まれる検出対象の有無を出力する出力手段と、
して機能させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017239302A JP6955211B2 (ja) | 2017-12-14 | 2017-12-14 | 識別装置、識別方法及びプログラム |
CN201811176344.2A CN109978816B (zh) | 2017-12-14 | 2018-10-10 | 识别装置、识别方法以及存储介质 |
EP18200547.0A EP3499409B1 (en) | 2017-12-14 | 2018-10-15 | Identifying apparatus, identifying method, and program |
US16/162,451 US10885626B2 (en) | 2017-12-14 | 2018-10-17 | Identifying apparatus, identifying method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017239302A JP6955211B2 (ja) | 2017-12-14 | 2017-12-14 | 識別装置、識別方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019106090A JP2019106090A (ja) | 2019-06-27 |
JP6955211B2 true JP6955211B2 (ja) | 2021-10-27 |
Family
ID=63862074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017239302A Active JP6955211B2 (ja) | 2017-12-14 | 2017-12-14 | 識別装置、識別方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10885626B2 (ja) |
EP (1) | EP3499409B1 (ja) |
JP (1) | JP6955211B2 (ja) |
CN (1) | CN109978816B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
WO2019171121A1 (en) * | 2018-03-05 | 2019-09-12 | Omron Corporation | Method, device, system and program for setting lighting condition and storage medium |
JP2021060355A (ja) * | 2019-10-09 | 2021-04-15 | 株式会社デンソー | 検査装置 |
JP7385417B2 (ja) * | 2019-10-11 | 2023-11-22 | 日立造船株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
JP7016179B2 (ja) * | 2020-02-21 | 2022-02-04 | 株式会社 システムスクエア | 検査装置およびプログラム |
JP6872214B1 (ja) * | 2020-08-20 | 2021-05-19 | 株式会社医療情報技術研究所 | 分類システム |
JP2022047442A (ja) * | 2020-09-11 | 2022-03-24 | パナソニックIpマネジメント株式会社 | 情報処理方法及び情報処理装置 |
JP2022086892A (ja) * | 2020-11-30 | 2022-06-09 | ブラザー工業株式会社 | 情報処理装置、および、情報処理方法 |
JP2022102666A (ja) * | 2020-12-25 | 2022-07-07 | 新東工業株式会社 | 検査装置、検査方法、機械学習装置、及び機械学習方法 |
WO2022185474A1 (ja) * | 2021-03-04 | 2022-09-09 | 日本電気株式会社 | 学習装置、学習方法、検査装置、検査方法、及び、記録媒体 |
JP7101349B1 (ja) | 2021-05-28 | 2022-07-15 | 株式会社医療情報技術研究所 | 分類システム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3002325B2 (ja) * | 1992-04-27 | 2000-01-24 | 株式会社東芝 | 表面検査装置 |
JPH09152480A (ja) * | 1995-11-30 | 1997-06-10 | Mitsubishi Electric Corp | 自動目標認識装置 |
US6922482B1 (en) * | 1999-06-15 | 2005-07-26 | Applied Materials, Inc. | Hybrid invariant adaptive automatic defect classification |
IL131282A (en) * | 1999-08-05 | 2009-02-11 | Orbotech Ltd | Apparatus and methods for inspection of objects |
US20020065900A1 (en) * | 2000-10-02 | 2002-05-30 | Applied Materials, Inc. | Method and apparatus for communicating images, data, or other information in a defect source identifier |
JP4118703B2 (ja) * | 2002-05-23 | 2008-07-16 | 株式会社日立ハイテクノロジーズ | 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置 |
JP5413012B2 (ja) * | 2009-07-21 | 2014-02-12 | 富士ゼロックス株式会社 | 画像欠陥診断システム、画像形成装置、およびプログラム |
JP5025713B2 (ja) * | 2009-11-30 | 2012-09-12 | 日本電信電話株式会社 | 属性識別装置、および属性識別プログラム |
JP5546317B2 (ja) * | 2010-03-31 | 2014-07-09 | 株式会社デンソーアイティーラボラトリ | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム |
JP2014021901A (ja) * | 2012-07-23 | 2014-02-03 | Casio Comput Co Ltd | 被写体検出装置、被写体検出方法及びプログラム |
US9355440B1 (en) * | 2012-10-10 | 2016-05-31 | Kla-Tencor Corp. | Detection of selected defects in relatively noisy inspection data |
US9140554B2 (en) * | 2014-01-24 | 2015-09-22 | Microsoft Technology Licensing, Llc | Audio navigation assistance |
US20150310300A1 (en) * | 2014-04-28 | 2015-10-29 | Distiller, Llc | System and method for multiple object recognition and personalized recommendations |
JP6024719B2 (ja) * | 2014-09-09 | 2016-11-16 | カシオ計算機株式会社 | 検出装置、検出方法、及びプログラム |
US20170069075A1 (en) | 2015-09-04 | 2017-03-09 | Canon Kabushiki Kaisha | Classifier generation apparatus, defective/non-defective determination method, and program |
JP2017049974A (ja) * | 2015-09-04 | 2017-03-09 | キヤノン株式会社 | 識別器生成装置、良否判定方法、およびプログラム |
JP6669453B2 (ja) * | 2015-09-08 | 2020-03-18 | 株式会社Screenホールディングス | 画像分類装置および画像分類方法 |
-
2017
- 2017-12-14 JP JP2017239302A patent/JP6955211B2/ja active Active
-
2018
- 2018-10-10 CN CN201811176344.2A patent/CN109978816B/zh active Active
- 2018-10-15 EP EP18200547.0A patent/EP3499409B1/en active Active
- 2018-10-17 US US16/162,451 patent/US10885626B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN109978816B (zh) | 2024-03-08 |
CN109978816A (zh) | 2019-07-05 |
US10885626B2 (en) | 2021-01-05 |
EP3499409A1 (en) | 2019-06-19 |
US20190188845A1 (en) | 2019-06-20 |
EP3499409B1 (en) | 2020-12-23 |
JP2019106090A (ja) | 2019-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6955211B2 (ja) | 識別装置、識別方法及びプログラム | |
JP6992475B2 (ja) | 情報処理装置、識別システム、設定方法及びプログラム | |
US10860901B2 (en) | Detection system, information processing apparatus, evaluation method, and program | |
KR102108956B1 (ko) | 인공지능을 활용한 머신비전 모듈형 소프트웨어를 갖는 머신비전 검사장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체 | |
JP2016181098A (ja) | 領域検出装置および領域検出方法 | |
US20150116543A1 (en) | Information processing apparatus, information processing method, and storage medium | |
Cheng et al. | Enhanced detection of diverse defects by developing lighting strategies using multiple light sources based on reinforcement learning | |
CN114609139A (zh) | 检查系统、管理装置、检查方法、记录介质和物品的制造方法 | |
KR101748768B1 (ko) | 머신 비전 검사를 위한 가상 테스트 이미지 생성 방법 및 장치, 머신 비전 검사 시뮬레이션 방법 및 장치, 및 머신 비전 테스트 시스템 | |
JP2007248051A (ja) | 対象物表面の欠陥検査方法 | |
JPWO2019216303A1 (ja) | 検査装置、検査方法、学習方法、及びプログラム | |
EP3869224A1 (en) | Methods and apparatus for using range data to predict object features | |
WO2020090290A1 (ja) | 画像分類装置、画像検査装置、及び画像分類方法 | |
CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
TWI753424B (zh) | 外觀檢查管理系統、外觀檢查管理裝置、外觀檢查管理方法以及程式 | |
JP2021156644A (ja) | コネクタ検査装置、コネクタ検査方法、及びプログラム | |
CN116046791B (zh) | 点胶缺陷检测方法及检测装置 | |
US20230030779A1 (en) | Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (rois) of digital images | |
JP2022156999A (ja) | 検査方法、検査装置 | |
JP2022031827A (ja) | 画像処理システム、情報処理装置、情報処理方法、および、情報処理プログラム | |
Jean et al. | Development of an Automatic Optical Inspection System and its Application to Defect Examination | |
CN116403926A (zh) | 基板分析系统、基板分析方法以及存储介质 | |
JP2012242282A (ja) | 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム | |
JP2011112572A (ja) | 良否判定装置、良否判定方法および良否判定プログラム | |
JP2020046255A (ja) | 透明体検査装置及び透明体検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6955211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |