JPWO2019050038A1 - 画像生成方法および画像生成装置 - Google Patents
画像生成方法および画像生成装置 Download PDFInfo
- Publication number
- JPWO2019050038A1 JPWO2019050038A1 JP2019541051A JP2019541051A JPWO2019050038A1 JP WO2019050038 A1 JPWO2019050038 A1 JP WO2019050038A1 JP 2019541051 A JP2019541051 A JP 2019541051A JP 2019541051 A JP2019541051 A JP 2019541051A JP WO2019050038 A1 JPWO2019050038 A1 JP WO2019050038A1
- Authority
- JP
- Japan
- Prior art keywords
- images
- cameras
- image
- virtual image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 179
- 230000008569 process Effects 0.000 claims abstract description 141
- 238000012545 processing Methods 0.000 claims description 21
- 238000002156 mixing Methods 0.000 claims description 19
- 238000013459 approach Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000009877 rendering Methods 0.000 description 115
- 238000004364 calculation method Methods 0.000 description 22
- 238000004590 computer program Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 206010052143 Ocular discomfort Diseases 0.000 description 8
- 239000000203 mixture Substances 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 230000001131 transforming effect Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
新規ビュー画像である仮想画像の合成は、入力画像、および、対応する三次元モデルまたは各画素がある視点からの距離情報を有した画像であるデプスマップから、仮想的な視点から三次元オブジェクトを見たときに見えると推定される仮想画像を生成する処理であり、ビュー依存合成である。なお、ビューとは視点、または視野のことである。仮想画像は、三次元オブジェクトの三次元モデルと、三次元オブジェクトが撮影された画像であるテクスチャ画像とを用いて生成することができる。仮想画像は、例えば、ユーザにより指示された視点に応じて変化する表示であって、マルチビュー3D表示またはシングルビュー2D表示で表示されてもよい。より具体的には、ビュー依存合成は、特定の視線方向からの画像を用いて仮想画像を生成する。
実施の形態1に係る画像生成システムについて説明する。
実施の形態2に係る画像生成システムについて説明する。
上記実施の形態1および2では、複数のカメラ102により撮像された複数の画像のうち、一対の参照画像を用いて仮想画像を生成するときには、一対の参照画像から得られた2つのテクスチャを混合する処理を行うとしたが、これに限らずに、1枚の参照画像を用いて仮想画像を生成してもよい。この場合、三次元点が1枚の参照画像にない場合、複数のカメラ102のうち参照カメラ以外の他のカメラにより撮像された1以上の画像に調整処理を適用することで仮想画像を生成してもよい。つまり、実施の形態1および2では、基準となる複数の第1画像を用いて仮想画像を生成する時に、基準となる複数の第1画像を利用できないときに、複数の第2画像を用いて仮想画像を生成するとしたが、これに限らない。基準となる1枚の第1画像を用いて仮想画像を生成する時に、1枚の第1画像を利用できないときに、複数の第2画像を用いて仮想画像を生成することとしてもよい。
4 再構成モジュール
8 レンダリングモジュール
10 メモリ
12 ネットワークIF
100、100A 画像生成システム
101、101A 画像生成装置
102 カメラ
104 撮像装置
106、106A プロセッサ
108 ディスプレイ
110 入力装置
112 外部メモリ
114 モデルデータベース
116 同期装置
130 ネットワーク
132 ストレージ
138 サーバ
Claims (7)
- 三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の画像のうちの少なくとも1つの画像を用いて、前記三次元空間上の仮想的な視点から前記対象空間を見たときの二次元画像である仮想画像を、プロセッサを用いて生成する画像生成方法であって、
前記複数の画像のうちの基準となる1以上の第1画像を撮像した1以上の第1カメラとは少なくとも1つのカメラが異なる1以上の第2カメラにより撮像された1以上の第2画像を用いて前記仮想画像を生成する場合、前記1以上の第1画像を用いて前記仮想画像を生成するときに行う第1の処理とは異なる第2の処理であって、輝度調整および色調整の少なくとも一方を含む第2の処理を前記1以上の第2画像に対して行うことで、前記仮想画像を生成する
画像生成方法。 - 前記仮想画像の生成では、
前記1以上の第1画像に前記第1の処理を行うことで、前記仮想画像の第1領域を生成し、
前記1以上の第2画像に前記第2の処理を行うことで、前記仮想画像の前記第1領域と重ならない第2領域を生成する
請求項1に記載の画像生成方法。 - 前記仮想画像の生成では、さらに、
前記対象空間の三次元モデルを取得し、
前記三次元モデルを構成する前記複数の三次元点のうち、前記仮想画像を生成するための複数の候補点を選択し、
前記複数の候補点のそれぞれについて、当該候補点を撮像しているカメラを前記複数のカメラの中から抽出し、
前記第1領域の生成では、前記複数の候補点のそれぞれについて抽出したカメラの中に前記1以上の第1カメラが全て含まれていれば、前記1以上の第1画像の当該候補点に対応する領域に前記第1の処理を行うことで、前記仮想画像の当該候補点に対応する領域である前記第1領域を生成し、
前記第2領域の生成では、前記複数の候補点のそれぞれについて抽出したカメラの中に前記1以上の第1カメラのうちの少なくとも1つのカメラが含まれていなければ、抽出したカメラに含まれる前記1以上の第2カメラにより撮像された前記1以上の第2画像の当該候補点に対応する画素に前記第2の処理を行うことで、前記仮想画像の当該候補点に対応する領域である前記第2領域を生成する
請求項2に記載の画像生成方法。 - 前記同一の対象空間は、平面を含み、
前記1以上の第1画像、および、前記1以上の第2画像のそれぞれは、前記平面を含む画像であり、
前記第1の処理では、前記1以上の第1画像を射影変換することで前記仮想画像の前記平面に対応する領域を生成し、
前記第2の処理では、前記1以上の第2画像を射影変換することで前記仮想画像の前記平面に対応する領域を生成する
請求項1または2に記載の画像生成方法。 - 前記1以上の第1カメラは、前記複数のカメラのうち、前記仮想的な視点から最も近い位置に位置する2つのカメラである
請求項1から4のいずれか1項に記載の画像生成方法。 - 前記1以上の第1カメラは、2以上の第1カメラであり、
前記第1の処理は、前記2以上の第1カメラにより撮像された2以上の前記第1画像の輝度および色の少なくとも一方を予め定められた混合比で混合する処理を含み、
前記第2の処理は、前記2以上の第1カメラにより得られた2以上の第1背景画像と前記1以上の第2カメラにより得られた1以上の第2背景画像とを比較することにより得られる輝度および色の少なくとも一方の差異を用いて、前記混合する処理によって得られる輝度または色に近づくように輝度調整および色調整の少なくとも一方を調整する処理を含む
請求項1から5のいずれか1項に記載の画像生成方法。 - 三次元空間上の同一の対象空間を異なる位置および姿勢で配置された複数のカメラにより撮像することで得られた複数の画像のうちの少なくとも1つの画像を用いて、前記三次元空間上の仮想的な視点から前記対象空間を見たときの二次元画像である仮想画像を生成する画像生成装置であって、
プロセッサを備え、
前記プロセッサは、前記複数の画像のうちの基準となる1以上の第1画像を撮像した1以上の第1カメラとは少なくとも1つのカメラが異なる1以上の第2カメラにより撮像された1以上の第2画像を用いて前記仮想画像を生成する場合、前記1以上の第1画像を用いて前記仮想画像を生成するときに行う第1の処理とは異なる第2の処理であって、輝度調整および色調整の少なくとも一方を含む第2の処理を前記1以上の第2画像に対して行うことで、前記仮想画像を生成する
画像生成装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762556726P | 2017-09-11 | 2017-09-11 | |
US62/556,726 | 2017-09-11 | ||
PCT/JP2018/033518 WO2019050038A1 (ja) | 2017-09-11 | 2018-09-10 | 画像生成方法および画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019050038A1 true JPWO2019050038A1 (ja) | 2020-10-15 |
JP7387434B2 JP7387434B2 (ja) | 2023-11-28 |
Family
ID=65633952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019541051A Active JP7387434B2 (ja) | 2017-09-11 | 2018-09-10 | 画像生成方法および画像生成装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11017587B2 (ja) |
JP (1) | JP7387434B2 (ja) |
WO (1) | WO2019050038A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7250493B2 (ja) * | 2018-12-03 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、三次元形状データの生成方法およびプログラム |
JP2020205549A (ja) * | 2019-06-18 | 2020-12-24 | キヤノン株式会社 | 映像処理装置、映像処理方法、及びプログラム |
JP7038683B2 (ja) * | 2019-07-25 | 2022-03-18 | Kddi株式会社 | 合成装置、方法及びプログラム |
JP7427468B2 (ja) | 2020-02-18 | 2024-02-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2022182369A1 (en) * | 2021-02-28 | 2022-09-01 | Leia Inc. | Method and system providing temporary texture application to enhance 3d modeling |
US11263804B1 (en) * | 2021-09-13 | 2022-03-01 | Illuscio, Inc. | Systems and methods for efficient point cloud visualization based on a hybrid rendering of data points and meshes |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10208074A (ja) * | 1997-01-22 | 1998-08-07 | Hitachi Ltd | 画像生成方法 |
JP2004525437A (ja) * | 2000-12-01 | 2004-08-19 | サーノフ コーポレイション | 一群の実際のビデオおよび/または静止画像から新規ビデオおよび/または静止画像を合成する方法および装置 |
JP2004265396A (ja) * | 2003-02-13 | 2004-09-24 | Vingo:Kk | 映像生成システム及び映像生成方法 |
JP2005142765A (ja) * | 2003-11-05 | 2005-06-02 | Sony Corp | 撮像装置及び方法 |
JP2006024141A (ja) * | 2004-07-09 | 2006-01-26 | Sony Corp | 画像処理装置及び方法、プログラム |
JP2006033282A (ja) * | 2004-07-14 | 2006-02-02 | Olympus Corp | 画像生成装置およびその方法 |
JP2015045920A (ja) * | 2013-08-27 | 2015-03-12 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8384715B2 (en) | 2009-04-13 | 2013-02-26 | Microsoft Corporation | View-dependent rendering of parametric surfaces |
KR101918030B1 (ko) | 2012-12-20 | 2018-11-14 | 삼성전자주식회사 | 하이브리드 멀티-뷰 랜더링 방법 및 장치 |
JP6894687B2 (ja) * | 2016-10-11 | 2021-06-30 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
US10217243B2 (en) * | 2016-12-20 | 2019-02-26 | Canon Kabushiki Kaisha | Method, system and apparatus for modifying a scene model |
-
2018
- 2018-09-10 WO PCT/JP2018/033518 patent/WO2019050038A1/ja active Application Filing
- 2018-09-10 JP JP2019541051A patent/JP7387434B2/ja active Active
-
2020
- 2020-03-03 US US16/807,355 patent/US11017587B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10208074A (ja) * | 1997-01-22 | 1998-08-07 | Hitachi Ltd | 画像生成方法 |
JP2004525437A (ja) * | 2000-12-01 | 2004-08-19 | サーノフ コーポレイション | 一群の実際のビデオおよび/または静止画像から新規ビデオおよび/または静止画像を合成する方法および装置 |
JP2004265396A (ja) * | 2003-02-13 | 2004-09-24 | Vingo:Kk | 映像生成システム及び映像生成方法 |
JP2005142765A (ja) * | 2003-11-05 | 2005-06-02 | Sony Corp | 撮像装置及び方法 |
JP2006024141A (ja) * | 2004-07-09 | 2006-01-26 | Sony Corp | 画像処理装置及び方法、プログラム |
JP2006033282A (ja) * | 2004-07-14 | 2006-02-02 | Olympus Corp | 画像生成装置およびその方法 |
JP2015045920A (ja) * | 2013-08-27 | 2015-03-12 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2019050038A1 (ja) | 2019-03-14 |
JP7387434B2 (ja) | 2023-11-28 |
US20200202611A1 (en) | 2020-06-25 |
US11017587B2 (en) | 2021-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7387434B2 (ja) | 画像生成方法および画像生成装置 | |
JP7105246B2 (ja) | 再構成方法および再構成装置 | |
US8941750B2 (en) | Image processing device for generating reconstruction image, image generating method, and storage medium | |
JP2018524832A (ja) | パノラマバーチャルリアリティコンテンツの全方位ステレオキャプチャおよびレンダリング | |
JP7058277B2 (ja) | 再構成方法および再構成装置 | |
US20170078637A1 (en) | Image processing apparatus and method | |
CN104349155B (zh) | 模拟立体图像显示方法及显示设备 | |
US10893259B2 (en) | Apparatus and method for generating a tiled three-dimensional image representation of a scene | |
US20100302234A1 (en) | Method of establishing dof data of 3d image and system thereof | |
JP7196421B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
JP2013025649A (ja) | 画像処理装置及び画像処理方法、プログラム | |
CN109660748B (zh) | 用于眼球视线校正的图像处理方法及其系统 | |
WO2019124248A1 (ja) | 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法 | |
JP2010140097A (ja) | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 | |
CN105611267B (zh) | 现实世界和虚拟世界图像基于深度和色度信息的合并 | |
JP2019534511A (ja) | 自由動作fvvアプリケーションのためのマルチレイヤuvマップに基づくテクスチャレンダリング | |
US10074209B2 (en) | Method for processing a current image of an image sequence, and corresponding computer program and processing device | |
KR20180000696A (ko) | 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치 | |
JP2013223008A (ja) | 画像処理装置及び方法 | |
JP2004229093A (ja) | 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 | |
US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
JP2019101563A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
GB2565301A (en) | Three-dimensional video processing | |
JP6392739B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210507 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220711 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230210 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230210 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230222 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230228 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7387434 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |