JP7191823B2 - 画像から変状を検知する画像処理装置、画像処理方法及びプログラム - Google Patents
画像から変状を検知する画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP7191823B2 JP7191823B2 JP2019527680A JP2019527680A JP7191823B2 JP 7191823 B2 JP7191823 B2 JP 7191823B2 JP 2019527680 A JP2019527680 A JP 2019527680A JP 2019527680 A JP2019527680 A JP 2019527680A JP 7191823 B2 JP7191823 B2 JP 7191823B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- detection
- correction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Working Measures On Existing Buildindgs (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
図1は、第1の実施形態に係る画像処理装置のハードウェア構成図である。画像処理装置100は、CPU101と、ROM102と、RAM103と、HDD104と、表示部105と、入力部106と、通信部107とを有している。CPU101は、ROM102に記憶された制御プログラムを読み出して各種処理を実行する。RAM103は、CPU101の主メモリ、ワークエリア等の一時記憶領域として用いられる。HDD104は、各種データや各種プログラム等を記憶する。表示部105は、各種情報を表示する。入力部106は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部107は、ネットワークを介して画像形成装置等の外部装置との通信処理を行う。
第2の実施形態に係る画像処理装置100は、ユーザ操作を要することなく、自動的に修正領域を設定し、修正処理を実行することができる。以下、第2の実施形態に係る画像処理装置100について、第1の実施形態に係る画像処理装置100と異なる点について説明する。本実施形態に係る画像処理装置100は、事前に設定された条件に従い、参照画像と対象画像に基づいて、自動的に修正処理を行う。ここで、事前に設定しておく条件は3つある。1つ目は、参照画像において検知領域の探索を行うための基準領域となる単位領域を設定するための条件であり、基準領域条件と称する。2つ目は、単位領域に応じて修正領域を設定するための条件であり、修正領域条件と称する。3つ目は修正領域における修正を採用するための条件であり、採用条件と称する。
・修正領域の長さが所定の長さより長い。
・修正領域の単位領域のベクトルの向きが、所定の角度区間に納まっている。
第3の実施形態の画像処理装置100は、対象画像と参照画像として、同じ撮影範囲が撮影された時系列データを使用する。インフラ構造物の検査では、同じ構造物の壁面を数年間隔で定期的に撮影して、変状を記録する。この検査により、数年前に比べて構造物の変状が増大したかを調べることができる。ただし、過去には問題なく撮影できても、再度撮影すると、天候などの条件により高画質な画像が得られないことがあり、その結果、前回は自動検知できていた箇所においても、最新データでは自動検知できない場合がある。また、過去データでは人手でトレースを行って記録できていたひび割れを、最新データでは自動検知できない場合がある。このような状況を踏まえ、第3の実施形態においては、数年前に撮影した構造物の壁面を再度撮影し、同じ領域の変状を検知するものとする。過去データには、全て人手によりトレースした結果や、自動検知結果またはその一部を人手で修正を加えた結果を用いてもよい。
第4の実施形態の画像処理装置100は、異なる検知対象の検知データを対象画像と参照画像として設定する。以下において、2通りの方法について説明する。1つ目は、同一の撮影画像に対し、異なる検知対象を検知する処理を別々に行い、その結果として得られる検知データを対象画像と参照画像に設定する方法である。例えば、画像処理装置100は、ある画像に対して、ひび割れを検知する処理と型枠を検知する処理を行う。これにより、例えば、図18Aに示すひび割れの検知データ1810と、図18Bは、型枠の検知データ1820とが得られる。ひび割れの検知データ1810の領域1811には、実際には型枠が存在しているものとする。すなわち、ひび割れの検知データ1810の領域1811内の検知領域は誤検知である。この場合に、画像処理装置100は、ひび割れの検知データ1810を対象画像、型枠の検知データ1820を参照画像として設定することで、ひび割れの検知データの誤検知領域を、型枠の検知データを利用して削除できる。ここで、ひび割れの検知データは、検知対象が検知されたと判定された検知領域を含む画像の一例であり、型枠の検知データは、非検知対象が検知されたと判定された検知領域を含む画像の一例である。
Claims (16)
- 構造物を撮影した画像である入力画像から第1の閾値に基づく第1の検知基準によって前記構造物のひび割れとして第1の検知領域を検知し、前記入力画像から前記第1の閾値よりも小さい第2の閾値に基づく第2の検知基準によって前記ひび割れとして第2の検知領域を検知する検知手段と、
前記第1の検知領域を含む画像を修正の対象となる対象画像として設定し、前記第2の検知領域を含む画像を修正の参照とする参照画像として設定する画像設定手段と、
前記参照画像における前記第2の検知領域に基づいて、前記対象画像において前記第1の検知領域の第1のポリラインと第2のポリラインを前記第1のポリラインと前記第2のポリラインが連結するように修正する修正手段と
を有することを特徴とする画像処理装置。 - 前記参照画像において、前記第2の検知領域に基づいて、修正すべき領域を設定する修正領域設定手段をさらに有することを特徴とする請求項1に記載の画像処理装置。
- 予め定められた第1の条件に従い、前記対象画像及び前記参照画像それぞれの検知領域に対し、修正処理の処理単位となる単位領域を設定する単位領域設定手段と、をさらに有し、
前記修正領域設定手段は、前記単位領域に基づいて、前記修正すべき領域を設定することを特徴とする請求項2に記載の画像処理装置。 - 前記単位領域設定手段は、前記ひび割れが検知されたと判定された、連続する領域を前記単位領域として設定することを特徴とする請求項3に記載の画像処理装置。
- 前記単位領域設定手段は、前記ひび割れが検知されたと判定された、連続する領域の分岐点に基づいて、前記単位領域を設定することを特徴とする請求項4に記載の画像処理装置。
- 予め定められた第2の条件に従い、前記参照画像に含まれる複数の前記単位領域を1つの連続領域として設定する連続領域設定手段をさらに有し、
前記修正領域設定手段は、前記連続領域に基づいて、前記修正すべき領域を設定することを特徴とする請求項3乃至5の何れか1項に記載の画像処理装置。 - 前記修正領域設定手段は、1つの前記連続領域に対応した、前記対象画像の複数の単位領域を、1つの修正領域として設定することを特徴とする請求項6に記載の画像処理装置。
- 前記対象画像における領域の指定と該指定された領域に対する修正の指示とをユーザから受け付ける受付手段と、
前記対象画像において、前記修正すべき領域に対応する領域を修正対象領域として表示する表示手段と、をさらに有し、
前記修正手段は、前記表示手段により表示された前記修正対象領域に対して、前記受付手段によりユーザからの確認を受け付けると、当該修正対象領域を修正することを特徴とする請求項2乃至7の何れか1項に記載の画像処理装置。 - 前記修正領域設定手段は、前記参照画像において、前記指定された領域に対応する領域を特定し、該特定された領域と前記第2の検知領域とに基づいて、修正すべき領域を設定することを特徴とする請求項8に記載の画像処理装置。
- 前記受付手段は、ユーザ操作に応じた、前記修正すべき領域に対応する前記対象画像における修正領域の修正指示をさらに受け付け、
前記修正指示に従い前記修正領域を変更する変更手段をさらに有することを特徴とする請求項8又は9に記載の画像処理装置。 - 前記対象画像は、前記ひび割れらしさに対する前記第1の閾値による二値化処理後の撮影画像であり、
前記参照画像は、前記ひび割れらしさに対する前記第1の閾値に比べて小さい前記第2の閾値による二値化処理後の前記撮影画像であることを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。 - 前記対象画像は、第1の撮影画像から得られた画像であり、
前記参照画像は、前記第1の撮影画像と同じ撮影範囲を、前記第1の撮影画像よりも過去のタイミングにおいて撮影した第2の撮影画像から得られた画像であることを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。 - 前記参照画像は、前記ひび割れと異なる非検知対象が検知されたと判定された、複数の領域を含む画像であることを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。
- 前記参照画像は確率マップ形式の画像であることを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。
- 構造物を撮影した画像である入力画像から第1の閾値に基づく第1の検知基準によって前記構造物のひび割れとして第1の検知領域を検知し、前記入力画像から前記第1の閾値よりも小さい第2の閾値に基づく第2の検知基準によって前記ひび割れとして第2の検知領域を検知する検知工程と、
前記第1の検知領域を含む画像を修正の対象となる対象画像として設定し、前記第2の検知領域を含む画像を修正の参照とする参照画像として設定する画像設定工程と、
前記参照画像における第2の検知領域に基づいて、前記対象画像において前記第1の検知領域の第1のポリラインと第2のポリラインを前記第1のポリラインと前記第2のポリラインが連結するように修正する修正工程と
を有することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至14の何れか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017133532 | 2017-07-07 | ||
JP2017133532 | 2017-07-07 | ||
PCT/JP2018/024900 WO2019009214A1 (ja) | 2017-07-07 | 2018-06-29 | 画像から変状を検知する画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019009214A1 JPWO2019009214A1 (ja) | 2020-05-21 |
JP7191823B2 true JP7191823B2 (ja) | 2022-12-19 |
Family
ID=64950965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019527680A Active JP7191823B2 (ja) | 2017-07-07 | 2018-06-29 | 画像から変状を検知する画像処理装置、画像処理方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US11443500B2 (ja) |
JP (1) | JP7191823B2 (ja) |
CN (1) | CN110892255B (ja) |
WO (1) | WO2019009214A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7346816B2 (ja) * | 2018-12-17 | 2023-09-20 | 株式会社大林組 | 表面の不具合検査方法 |
CN110793566B (zh) * | 2019-10-18 | 2022-01-28 | 南京中科智慧生态科技有限公司 | 一种水体漂浮物智能视觉检测方法 |
CN110853034A (zh) * | 2020-01-15 | 2020-02-28 | 清华四川能源互联网研究院 | 裂缝检测方法、装置、电子设备和计算机可读存储介质 |
JP7156564B2 (ja) * | 2020-04-28 | 2022-10-19 | コニカミノルタ株式会社 | 画像検査装置、画像検査システム、画像検査方法および画像検査プログラム |
CN115443407A (zh) * | 2020-05-07 | 2022-12-06 | 富士胶片株式会社 | 损伤评价装置、方法及程序 |
JP7191178B1 (ja) | 2021-10-27 | 2022-12-16 | 三菱電機株式会社 | 路面劣化検出装置および路面劣化検出方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000028541A (ja) | 1998-07-10 | 2000-01-28 | Ishikawajima Harima Heavy Ind Co Ltd | コンクリート表面のクラック検出方法 |
JP2007256132A (ja) | 2006-03-24 | 2007-10-04 | Ckd Corp | 検査装置及びptpシートの製造装置 |
JP2015232746A (ja) | 2014-06-09 | 2015-12-24 | パナソニックIpマネジメント株式会社 | 皺検出装置および皺検出方法 |
WO2016189764A1 (ja) | 2015-05-26 | 2016-12-01 | 三菱電機株式会社 | 検出装置および検出方法 |
WO2017014288A1 (ja) | 2015-07-21 | 2017-01-26 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
WO2017110279A1 (ja) | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | 損傷情報処理装置及び損傷情報処理方法 |
WO2017110278A1 (ja) | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | 情報処理装置及び情報処理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3572750B2 (ja) * | 1995-10-26 | 2004-10-06 | 石川島播磨重工業株式会社 | コンクリート欠陥の自動評価方法 |
JP3635795B2 (ja) * | 1996-07-31 | 2005-04-06 | 石川島播磨重工業株式会社 | 微細線状欠陥の検出方法及びその装置 |
JP3494429B2 (ja) | 1998-06-18 | 2004-02-09 | 株式会社大林組 | 構造物表面のひび割れ計測方法 |
GB2534143A (en) * | 2015-01-13 | 2016-07-20 | Bae Systems Plc | Structural damage detection |
JP6596188B2 (ja) * | 2015-04-02 | 2019-10-23 | マークテック株式会社 | 探傷装置、及び探傷装置による傷部検出方法 |
EP3410102B1 (en) * | 2016-01-26 | 2022-07-06 | FUJIFILM Corporation | Crack information detection device, crack information detection method, and crack information detection program |
JP6697302B2 (ja) * | 2016-03-25 | 2020-05-20 | マークテック株式会社 | 探傷装置、及び探傷装置による欠陥検出方法 |
JP6917781B2 (ja) * | 2017-05-31 | 2021-08-11 | 株式会社キーエンス | 画像検査装置 |
JP7166862B2 (ja) * | 2018-09-27 | 2022-11-08 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム、記憶媒体 |
-
2018
- 2018-06-29 WO PCT/JP2018/024900 patent/WO2019009214A1/ja active Application Filing
- 2018-06-29 JP JP2019527680A patent/JP7191823B2/ja active Active
- 2018-06-29 CN CN201880045494.1A patent/CN110892255B/zh active Active
-
2019
- 2019-12-31 US US16/731,662 patent/US11443500B2/en active Active
-
2022
- 2022-08-11 US US17/819,040 patent/US20220383608A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000028541A (ja) | 1998-07-10 | 2000-01-28 | Ishikawajima Harima Heavy Ind Co Ltd | コンクリート表面のクラック検出方法 |
JP2007256132A (ja) | 2006-03-24 | 2007-10-04 | Ckd Corp | 検査装置及びptpシートの製造装置 |
JP2015232746A (ja) | 2014-06-09 | 2015-12-24 | パナソニックIpマネジメント株式会社 | 皺検出装置および皺検出方法 |
WO2016189764A1 (ja) | 2015-05-26 | 2016-12-01 | 三菱電機株式会社 | 検出装置および検出方法 |
WO2017014288A1 (ja) | 2015-07-21 | 2017-01-26 | 株式会社東芝 | ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム |
WO2017110279A1 (ja) | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | 損傷情報処理装置及び損傷情報処理方法 |
WO2017110278A1 (ja) | 2015-12-25 | 2017-06-29 | 富士フイルム株式会社 | 情報処理装置及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019009214A1 (ja) | 2020-05-21 |
US11443500B2 (en) | 2022-09-13 |
US20220383608A1 (en) | 2022-12-01 |
CN110892255B (zh) | 2024-03-01 |
CN110892255A (zh) | 2020-03-17 |
WO2019009214A1 (ja) | 2019-01-10 |
US20200134350A1 (en) | 2020-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7191823B2 (ja) | 画像から変状を検知する画像処理装置、画像処理方法及びプログラム | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
JP3764364B2 (ja) | 画像特徴点検出方法、画像処理方法、及びプログラム | |
JP4367475B2 (ja) | 移動物体認識装置、移動物体認識方法及びコンピュータプログラム | |
JP4616120B2 (ja) | 画像処理装置及び検査装置 | |
JP5384429B2 (ja) | コンクリート構造物画像のひび割れ検知装置、ひび割れ検知方法及びそのプログラム | |
WO2018008370A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6099479B2 (ja) | ひび割れ検出方法 | |
JP6823486B2 (ja) | ひび割れ検出方法 | |
JP2017111638A (ja) | 画像処理方法、画像処理装置、画像処理システム、生産装置、プログラム及び記録媒体 | |
JP5812705B2 (ja) | ひび割れ検出方法 | |
Treash et al. | Automatic road detection in grayscale aerial images | |
JP5048609B2 (ja) | 対象物追跡装置及びプログラム | |
JP2004145501A (ja) | 道路白線認識装置 | |
JP2009217832A (ja) | ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体 | |
JP6894361B2 (ja) | コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム | |
JP2003317106A (ja) | 走行路認識装置 | |
CN112435274A (zh) | 一种基于面向对象分割的遥感影像面状地物提取方法 | |
KR20050063991A (ko) | 영상 피라미드를 이용한 영상정합 처리방법 및 장치 | |
JP7148387B2 (ja) | 外装材の損傷検出方法 | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
JP2001060265A (ja) | 画像処理装置および方法、並びに媒体 | |
JP5074622B2 (ja) | 地理画像処理システム | |
JP2010243209A (ja) | 欠陥検査方法および欠陥検出装置 | |
JPH065545B2 (ja) | 図形認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20200331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7191823 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |