JP7345306B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP7345306B2 JP7345306B2 JP2019140124A JP2019140124A JP7345306B2 JP 7345306 B2 JP7345306 B2 JP 7345306B2 JP 2019140124 A JP2019140124 A JP 2019140124A JP 2019140124 A JP2019140124 A JP 2019140124A JP 7345306 B2 JP7345306 B2 JP 7345306B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- interest
- image processing
- pixels
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Description
前記撮像画像における前記第3画素領域における注目画素について、前記第2画素領域への方向ベクトルを求める計算手段と、
前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記第3画素領域内の画素から1つを選択画素として選択する選択手段と、
前記注目画素から前記選択画素への方向を示す情報を、前記第1画素領域に対応する輪郭を示す情報として生成する生成手段と
を備え、
前記計算手段は、前記注目画素の上下左右に隣接している4つの画素のうち前記第2画素領域に属する画素が1つの場合は、前記注目画素から該1つの画素への方向ベクトルを求めることを特徴とする。
本実施形態では、現実空間と仮想空間とを融合させた複合現実空間の画像(複合現実空間画像)を体験者に提供するシステムを例に取り説明する。このシステムでは、現実空間の撮像画像から体験者の手や体などの特定の被写体の輪郭を抽出し、該抽出した輪郭から該被写体の奥行き情報を生成する。そしてシステムは、該奥行き情報を参照することで該特定の被写体と仮想空間とが正しいオクルージョン表現で表現されている複合現実空間画像(仮想空間の画像と撮像画像との合成画像)を生成して体験者に提供する。
第1の実施形態では、ステップS2130では、反時計回りに対象画素を探索していたが、時計回りに対象画素を探索しても良い。この場合、注目画素から選択画素への方向は、第1の実施形態で説明した方向と逆方向になる。
第1の実施形態では、境界部分における各画素の方向ベクトルが算出できるように被写体領域の拡張処理を行ったが、拡張処理によって被写体領域の輪郭が元の輪郭からずれるため、拡張処理の前に被写体領域を収縮するといった他の画像処理を加えてもよい。被写体領域の収縮処理を行うことで撮像画像上の微小ノイズを除去すると伴に、拡張処理を行った後の輪郭の位置ずれを抑えることができる。
変形例2では輪郭の位置を補正するために被写体領域に対して収縮処理を行ってから拡張処理を行った。しかし、収縮処理を行わず、輪郭抽出後に輪郭点の位置を該輪郭点の方向ベクトルとは逆方向に該方向ベクトルのサイズ分だけ移動させることで輪郭を補正してもよい。図14(A)に真の輪郭追跡結果、図14(B)に被写体領域に対して収縮処理を行ってから拡張処理を行った場合の輪郭追跡結果を示す。また、図14(C)に輪郭抽出後に各輪郭点の位置を該輪郭点の方向ベクトルとは逆方向に該方向ベクトルのサイズ分だけ移動させた輪郭追跡結果を示す。なお、図14(C)の点線部が輪郭点の位置の補正方向を示している。変形例3においても、変形例2と同様の結果が得られることが分かる。
図1に示した画像処理装置1000における各機能部はハードウェアで実装しても良いし、記憶部1020を除く各機能部をソフトウェア(コンピュータプログラム)で実装しても良い。後者の場合、このコンピュータプログラムを実行可能なコンピュータ装置は画像処理装置1000に適用可能である。画像処理装置1000に適用可能なコンピュータ装置のハードウェア構成例について、図15のブロック図を用いて説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (10)
- 第1画素領域と、該第1画素領域の外側に配置されている第2画素領域と、該第1画素領域を該第2画素領域から分離する第3画素領域と、を含む撮像画像を処理する画像処理装置であって、
前記撮像画像における前記第3画素領域における注目画素について、前記第2画素領域への方向ベクトルを求める計算手段と、
前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記第3画素領域内の画素から1つを選択画素として選択する選択手段と、
前記注目画素から前記選択画素への方向を示す情報を、前記第1画素領域に対応する輪郭を示す情報として生成する生成手段と
を備え、
前記計算手段は、前記注目画素の上下左右に隣接している4つの画素のうち前記第2画素領域に属する画素が1つの場合は、前記注目画素から該1つの画素への方向ベクトルを求めることを特徴とすることを特徴とする画像処理装置。 - 第1画素領域と、該第1画素領域の外側に配置されている第2画素領域と、該第1画素領域を該第2画素領域から分離する第3画素領域と、を含む撮像画像を処理する画像処理装置であって、
前記撮像画像における前記第3画素領域における注目画素について、前記第2画素領域への方向ベクトルを求める計算手段と、
前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記第3画素領域内の画素から1つを選択画素として選択する選択手段と、
前記注目画素から前記選択画素への方向を示す情報を、前記第1画素領域に対応する輪郭を示す情報として生成する生成手段と
を備え、
前記計算手段は、前記注目画素の上下左右に隣接している4つの画素のうち前記第2画素領域に属する画素が複数の場合は、前記注目画素から該複数の画素のそれぞれへの方向ベクトルを求め、該求めたそれぞれの方向ベクトルを合成した1つの方向ベクトルを求めることを特徴とする画像処理装置。 - 第1画素領域と、該第1画素領域の外側に配置されている第2画素領域と、該第1画素領域を該第2画素領域から分離する第3画素領域と、を含む撮像画像を処理する画像処理装置であって、
前記撮像画像における前記第3画素領域における注目画素について、前記第2画素領域への方向ベクトルを求める計算手段と、
前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記第3画素領域内の画素から1つを選択画素として選択する選択手段と、
前記注目画素から前記選択画素への方向を示す情報を、前記第1画素領域に対応する輪郭を示す情報として生成する生成手段と
を備え、
前記計算手段は、前記第3画素領域における画素の上下左右に隣接している4つの画素のいずれもが、前記第2画素領域に含まれていない場合、前記第3画素領域における画素についての方向ベクトルを決定せず、
前記選択手段は、前記注目画素に隣接する8個の画素において前記第3画素領域に含まれている画素のうち、方向ベクトルを決定していない画素を除外した画素から選択画素を選択することを特徴とする画像処理装置。 - 前記選択手段は、
前記注目画素に隣接する8個の画素のうち、前記方向ベクトルを決定していない画素及び前記注目画素の方向ベクトルの方向に位置している画素を除外した画素から選択画素を選択することを特徴とする請求項3に記載の画像処理装置。 - 前記選択手段は、
前記注目画素に隣接する8個の画素のうち、前記方向ベクトルを決定していない画素および前記注目画素の方向ベクトルの方向に位置している画素を除外した画素を対象画素とし、前記8個の画素において前記注目画素の方向ベクトルの方向に位置する画素から順に時計回りもしくは反時計回りに探索して最初に見つけた対象画素を前記選択画素として選択することを特徴とする請求項4に記載の画像処理装置。 - 前記計算手段、前記選択手段、および前記生成手段による処理は、前記注目画素ごとに独立して並列に行われることを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
- 第1画素領域と、該第1画素領域の外側に配置されている第2画素領域と、該第1画素領域を該第2画素領域から分離する第3画素領域と、を含む撮像画像を処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置の計算手段が、前記撮像画像における前記第3画素領域における注目画素について、前記第2画素領域への方向ベクトルを求める計算工程と、
前記画像処理装置の選択手段が、前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記第3画素領域内の画素から1つを選択画素として選択する選択工程と、
前記画像処理装置の生成手段が、前記注目画素から前記選択画素への方向を示す情報を、前記第1画素領域に対応する輪郭を示す情報として生成する生成工程と
を備え、
前記計算工程では、前記注目画素の上下左右に隣接している4つの画素のうち前記第2画素領域に属する画素が1つの場合は、前記注目画素から該1つの画素への方向ベクトルを求めることを特徴とすることを特徴とする画像処理方法。 - 第1画素領域と、該第1画素領域の外側に配置されている第2画素領域と、該第1画素領域を該第2画素領域から分離する第3画素領域と、を含む撮像画像を処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置の計算手段が、前記撮像画像における前記第3画素領域における注目画素について、前記第2画素領域への方向ベクトルを求める計算工程と、
前記画像処理装置の選択手段が、前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記第3画素領域内の画素から1つを選択画素として選択する選択工程と、
前記画像処理装置の生成手段が、前記注目画素から前記選択画素への方向を示す情報を、前記第1画素領域に対応する輪郭を示す情報として生成する生成工程と
を備え、
前記計算工程では、前記注目画素の上下左右に隣接している4つの画素のうち前記第2画素領域に属する画素が複数の場合は、前記注目画素から該複数の画素のそれぞれへの方向ベクトルを求め、該求めたそれぞれの方向ベクトルを合成した1つの方向ベクトルを求めることを特徴とする画像処理方法。 - 第1画素領域と、該第1画素領域の外側に配置されている第2画素領域と、該第1画素領域を該第2画素領域から分離する第3画素領域と、を含む撮像画像を処理する画像処理装置が行う画像処理方法であって、
前記画像処理装置の計算手段が、前記撮像画像における前記第3画素領域における注目画素について、前記第2画素領域への方向ベクトルを求める計算工程と、
前記画像処理装置の選択手段が、前記注目画素の方向ベクトルに基づき、前記注目画素と隣接する前記第3画素領域内の画素から1つを選択画素として選択する選択工程と、
前記画像処理装置の生成手段が、前記注目画素から前記選択画素への方向を示す情報を、前記第1画素領域に対応する輪郭を示す情報として生成する生成工程と
を備え、
前記計算工程では、前記第3画素領域における画素の上下左右に隣接している4つの画素のいずれもが、前記第2画素領域に含まれていない場合、前記第3画素領域における画素についての方向ベクトルを決定せず、
前記選択工程では、前記注目画素に隣接する8個の画素において前記第3画素領域に含まれている画素のうち、方向ベクトルを決定していない画素を除外した画素から選択画素を選択することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至6の何れか1項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019140124A JP7345306B2 (ja) | 2019-07-30 | 2019-07-30 | 画像処理装置、画像処理方法 |
US16/938,519 US11508083B2 (en) | 2019-07-30 | 2020-07-24 | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019140124A JP7345306B2 (ja) | 2019-07-30 | 2019-07-30 | 画像処理装置、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021022321A JP2021022321A (ja) | 2021-02-18 |
JP2021022321A5 JP2021022321A5 (ja) | 2022-08-02 |
JP7345306B2 true JP7345306B2 (ja) | 2023-09-15 |
Family
ID=74259332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019140124A Active JP7345306B2 (ja) | 2019-07-30 | 2019-07-30 | 画像処理装置、画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11508083B2 (ja) |
JP (1) | JP7345306B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001243479A (ja) | 2000-02-28 | 2001-09-07 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法および装置、ならびに画像処理プログラムを記録した記録媒体 |
JP2010079414A (ja) | 2008-09-24 | 2010-04-08 | Nikon Corp | プログラム、カメラおよび画像の輪郭抽出方法 |
WO2017094300A1 (ja) | 2015-11-30 | 2017-06-08 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0522877B1 (en) * | 1991-07-12 | 1998-09-23 | Canon Kabushiki Kaisha | Image processing |
EP0574251B1 (en) * | 1992-06-11 | 2002-09-11 | Canon Kabushiki Kaisha | Image processing method and apparatus |
JP2954426B2 (ja) * | 1992-06-26 | 1999-09-27 | キヤノン株式会社 | 画像処理方法及び装置 |
US5778107A (en) * | 1993-12-24 | 1998-07-07 | Kabushiki Kaisha Komatsu Seisakusho | Position recognition method |
EP0687994B1 (en) * | 1994-06-17 | 2002-02-13 | Canon Kabushiki Kaisha | Contour-information extraction apparatus and method |
US6556195B1 (en) * | 1998-06-02 | 2003-04-29 | Sony Corporation | Image processing device and image processing method |
US7706610B2 (en) * | 2005-11-29 | 2010-04-27 | Microsoft Corporation | Segmentation of objects by minimizing global-local variational energy |
US8207972B2 (en) * | 2006-12-22 | 2012-06-26 | Qualcomm Incorporated | Quick pixel rendering processing |
US8463072B2 (en) * | 2008-08-29 | 2013-06-11 | Adobe Systems Incorporated | Determining characteristics of multiple light sources in a digital image |
JP5430456B2 (ja) * | 2010-03-16 | 2014-02-26 | キヤノン株式会社 | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 |
JP2011216080A (ja) * | 2010-03-18 | 2011-10-27 | Canon Inc | 画像処理装置、画像処理方法、および記憶媒体 |
JP5800468B2 (ja) * | 2010-05-11 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5597049B2 (ja) * | 2010-07-07 | 2014-10-01 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
US8170372B2 (en) * | 2010-08-06 | 2012-05-01 | Kennedy Michael B | System and method to find the precise location of objects of interest in digital images |
US8885882B1 (en) * | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
JP5777507B2 (ja) | 2011-12-27 | 2015-09-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びそのプログラム |
JP6426968B2 (ja) * | 2014-10-08 | 2018-11-21 | キヤノン株式会社 | 情報処理装置およびその方法 |
JP6514013B2 (ja) * | 2015-04-13 | 2019-05-15 | ローランドディー.ジー.株式会社 | スライスモデル生成装置および3次元造形システム |
JP6643827B2 (ja) * | 2015-07-31 | 2020-02-12 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
WO2017212679A1 (ja) * | 2016-06-08 | 2017-12-14 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US10687050B2 (en) * | 2017-03-10 | 2020-06-16 | Qualcomm Incorporated | Methods and systems of reducing latency in communication of image data between devices |
US10719937B2 (en) * | 2017-12-22 | 2020-07-21 | ABYY Production LLC | Automated detection and trimming of an ambiguous contour of a document in an image |
CN109446912B (zh) * | 2018-09-28 | 2021-04-09 | 北京市商汤科技开发有限公司 | 人脸图像的处理方法及装置、电子设备和存储介质 |
-
2019
- 2019-07-30 JP JP2019140124A patent/JP7345306B2/ja active Active
-
2020
- 2020-07-24 US US16/938,519 patent/US11508083B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001243479A (ja) | 2000-02-28 | 2001-09-07 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法および装置、ならびに画像処理プログラムを記録した記録媒体 |
JP2010079414A (ja) | 2008-09-24 | 2010-04-08 | Nikon Corp | プログラム、カメラおよび画像の輪郭抽出方法 |
WO2017094300A1 (ja) | 2015-11-30 | 2017-06-08 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021022321A (ja) | 2021-02-18 |
US11508083B2 (en) | 2022-11-22 |
US20210035318A1 (en) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zaharescu et al. | Transformesh: a topology-adaptive mesh-based approach to surface evolution | |
JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
CN109844818B (zh) | 用于建立元素的可变形3d模型的方法和相关联系统 | |
CN111243093A (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
EP2294555A1 (en) | Three dimensional mesh modeling | |
Governi et al. | 3D geometry reconstruction from orthographic views: A method based on 3D image processing and data fitting | |
US11908151B2 (en) | System and method for mobile 3D scanning and measurement | |
Ozbay et al. | A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms | |
JP4938748B2 (ja) | 画像認識装置及びプログラム | |
KR101593316B1 (ko) | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 | |
JP2018055199A (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
CN113593001A (zh) | 目标对象三维重建方法、装置、计算机设备和存储介质 | |
JP2010211732A (ja) | 物体認識装置および方法 | |
CN109448093B (zh) | 一种风格图像生成方法及装置 | |
JP7345306B2 (ja) | 画像処理装置、画像処理方法 | |
CN115222895B (zh) | 图像生成方法、装置、设备以及存储介质 | |
Nguyen et al. | High-definition texture reconstruction for 3D image-based modeling | |
Goto et al. | Data-driven Garment Pattern Estimation from 3D Geometries. | |
JP2020035216A (ja) | 画像処理装置、方法及びプログラム | |
JP7374433B2 (ja) | 構築物の三次元形状データの生成方法 | |
JP4714050B2 (ja) | 3次元形状モデル生成システム | |
JP6641313B2 (ja) | 領域抽出装置及びプログラム | |
JPH10198824A (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
JP5620741B2 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230905 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7345306 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |