JP7413077B2 - ヘッドマウントディスプレイ、制御方法、情報処理装置、情報処理方法、およびプログラム - Google Patents
ヘッドマウントディスプレイ、制御方法、情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7413077B2 JP7413077B2 JP2020031845A JP2020031845A JP7413077B2 JP 7413077 B2 JP7413077 B2 JP 7413077B2 JP 2020031845 A JP2020031845 A JP 2020031845A JP 2020031845 A JP2020031845 A JP 2020031845A JP 7413077 B2 JP7413077 B2 JP 7413077B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- head
- mounted display
- display
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 63
- 230000010365 information processing Effects 0.000 title claims description 47
- 238000003672 processing method Methods 0.000 title claims 4
- 238000003384 imaging method Methods 0.000 claims description 78
- 239000002131 composite material Substances 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 19
- 238000013459 approach Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 10
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 109
- 230000008859 change Effects 0.000 description 34
- 238000010586 diagram Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/62—Semi-transparency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
<第1の実施形態>
図1は、第1の実施形態に係る情報処理装置の機能構成例を示すブロック図である。
本実施形態の情報処理装置100は、対象設定部101、仮想物体生成部102、データ保持部103、画像取得部104、位置姿勢取得部105、距離計測部106、表示変更部107、合成画像生成部108、および合成画像出力部109を有する。また、情報処理装置100は、例えばHMD(HeadMountedDisplay)である撮像表示装置110に有線または無線によって接続されている。
なお、対象設定部101、距離計測部106、および表示変更部107の説明は後述する。
図3は、一つの仮想物体のデータ構成例を示した図である。本実施形態において、仮想物体のデータ構成は、三次元空間内における仮想物体の位置(x,y,z座標)および姿勢(roll,pitch,yaw)を示す位置姿勢情報502と、仮想物体の色や形状などの視覚的な情報を示すモデル情報504とが含まれる。本実施形態の場合、それらの情報に加えてさらに、計測対象用の属性を示す情報として、当該仮想物体が計測対象仮想物体であるかどうかを示す計測対象フラグ301と、透明度303とが含まれる。計測対象フラグ301は、「1」又は「0」の1ビットで表現される情報である。計測対象フラグ301の値が「1」の場合、当該仮想物体は計測対象仮想物体であること(ON)を示し、「0」の場合には当該仮想物体は計測対象仮想物体ではないこと(OFF)を示す。透明度303は、その仮想物体の画像が合成画像生成部108で現実空間の画像と合成される際の、当該仮想物体の画像の透明度合を表す情報である。本実施形態の場合、計測対象フラグ301の初期設定は「0」であり、透明度303の初期設定は透明度ゼロ(つまり不透明)であるとする。対象設定部101は、計測対象仮想物体については計測対象フラグ301の値を「1」に設定する。
距離計測部106は、位置姿勢取得部105より供給された位置姿勢情報から、MR体験者201が装着しているHMD206の、三次元の現実空間内における位置を認識する。また、距離計測部106は、前述した計測対象用の属性を示す計測対象フラグ301の値(「1」)を基に計測対象仮想物体204を特定すると共に、その計測対象仮想物体204がMR空間内で表示される位置を認識する。さらに、距離計測部106は、その計測対象仮想物体204と、MR体験者201のHMD206との間の距離を算出する。そして、距離計測部106は、計測対象仮想物体204とHMD206との間の距離が所定の距離閾値以下になった場合、その旨を表示変更部107に通知する。
第2の実施形態では、撮像表示装置110と計測対象仮想物体204との間の距離とは異なる情報を基にして、計測対象仮想物体の表示方法を変更する例について説明する。
図6は第2の実施形態における情報処理装置600と撮像表示装置110の構成例を示した図である。図6において、図1と同じ構成要素には図1と同一の参照符号を付して、それらの詳細な説明は適宜省略する。また第2の実施形態においても前述の図2に示したMR体験例に挙げて説明する。
前述した例では、撮影方向と移動方向との交点角度を基に仮想物体の表示方法を変更するか否か判定する例を挙げたが、変形例として、表示方法を変更するか否かの判定条件に、撮像表示装置110と計測対象仮想物体204との間の相対速度を加えてもよい。
第3の実施形態では、MR体験者のHMDの画面内における計測対象仮想物体の画面占有率に基づいて計測対象物体の表示方法を変更する例について説明する。
図8は第3の実施形態における情報処理装置800と撮像表示装置110の構成例を示した図である。図8において、図1と同じ構成要素には図1と同一の参照符号を付して、それらの詳細な説明は適宜省略する。また第3の実施形態においても前述の図2に示したMR体験例に挙げて説明する。
占有率計測部801は、画像取得部104を介して取得した撮像画像と、仮想物体生成部102で生成された計測対象仮想物体204を含む各仮想物体とから、表示部112の画面内で計測対象仮想物体204が占める割合(以下、画面占有率とする)を算出する。なお、占有率計測部801は、画面占有率を公知の方法により計測する。例えば、占有率計測部801は、画面占有率を、画面内における総画素数に対する計測対象仮想物体204の画素数から求めてもよいし、画面の面積に対する計測対象仮想物体204の面積から求めてもよい。そして、占有率計測部801は、計測対象仮想物体204の画面占有率が、予め設定された所定の占有率閾値以上である場合に、その旨を表示変更部107に通知する。すなわち、計測対象仮想物体の画面占有率が大きい場合、その計測対象仮想物体がMR体験者201に対して与える影響は大きいと言える。このため、第3の実施形態では、計測対象仮想物体の画面占有率が所定の占有率閾値以上である場合に、その旨を表示変更部107に通知する。
前述した例では、計測対象仮想物体が画面内で占める割合である画面占有率を基に
表示方法を変更するか否か判定する例を挙げたが、変形例として、画面占有率の絶対量ではなく、画面占有率の変化量を、表示方法を変更するか否かの判定条件としてもよい。
図10は、前述した各実施形態における情報処理装置の実装が可能なハードウェア構成例を示した図である。
図10において、CPU1010は、バス1000を介して接続する各デバイスを統括的に制御する。CPU1010は、読み出し専用メモリ(ROM)1020に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム(OS)をはじめ、本実施形態に係る各情報処理プログラム、デバイスドライバ等は、ROM1020に記憶されており、ランダムアクセスメモリ(RAM)1030に一時記憶され、CPU1010によって適宜実行される。また、入力I/F1040は、外部の装置(例えば撮像表示装置110の撮像部111や不図示の操作装置など)からの信号を各実施形態の情報処理装置が処理可能な形式で入力する。また、出力I/F1050は、外部の装置(例えば撮像表示装置110の表示部112)が処理可能な形式で信号を出力する。これらの各機能部は、CPU1010が、ROM1020に格納されたプログラムをRAM1030に展開し、前述した各実施形態に係るフローチャートに従った処理を実行することで実現されている。また例えば、CPU1010を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
Claims (11)
- ヘッドマウントディスプレイであって、
現実空間を撮像する撮像手段と、
前記ヘッドマウントディスプレイを装着しているユーザに対して前記撮像手段で撮像した現実画像と仮想物体とを合成した合成画像を表示する表示手段と、を有し、
前記表示手段は、
他のヘッドマウントディスプレイを装着している他のユーザの動きに対応して動く第1仮想物体を表示し、
前記ヘッドマウントディスプレイと前記第1仮想物体とが接近した場合、前記第1仮想物体の透明度を高くすることにより、前記第1仮想物体が重畳されていた現実物体を表示することを特徴とするヘッドマウントディスプレイ。 - 前記表示手段は、
前記第1仮想物体と、前記他のユーザの動きに対応して動かない第2仮想物体と、を表示し、
前記ヘッドマウントディスプレイと前記第1仮想物体とが接近した場合、前記第1仮想物体の透明度を変更し、
前記ヘッドマウントディスプレイと前記第2仮想物体とが接近した場合、前記第2仮想物体の透明度を変更しないことを特徴とする請求項1に記載のヘッドマウントディスプレイ。 - 前記表示手段は、前記ヘッドマウントディスプレイと前記第1仮想物体とが接近した場合、前記第1仮想物体を非表示にすることを特徴とする請求項1に記載のヘッドマウントディスプレイ。
- 前記第1仮想物体は、前記他のユーザの動きに対応して動くアバターである請求項1乃至3のいずれか1項に記載のヘッドマウントディスプレイ。
- 前記第1仮想物体は、前記他のユーザが手に握っている現実物体の動きに対応して動く仮想物体である請求項1乃至3のいずれか1項に記載のヘッドマウントディスプレイ。
- 前記表示手段は、前記ヘッドマウントディスプレイと前記第1仮想物体との距離が閾値より小さくなった場合、前記第1仮想物体の透明度を変更することを特徴とする請求項1乃至5のいずれか1項に記載のヘッドマウントディスプレイ。
- ヘッドマウントディスプレイの情報を処理する情報処理装置であって、
前記ヘッドマウントディスプレイの撮像手段で撮像した現実画像を取得する画像取得手段と、
前記ヘッドマウントディスプレイの位置又は姿勢を取得する位置姿勢取得手段と、
前記現実画像と仮想物体とを合成して合成画像を生成する合成画像生成手段と、を有し、
前記合成画像生成手段は、
前記現実画像と、他のヘッドマウントディスプレイを装着している他のユーザの動きに対応して動く第1仮想物体と、を合成し、
前記ヘッドマウントディスプレイと前記第1仮想物体とが接近した場合、前記第1仮想物体の透明度を高くすることにより、前記第1仮想物体が重畳されていた現実物体が視認できる合成画像を生成することを特徴とする情報処理装置。 - ヘッドマウントディスプレイを制御する制御方法であって、
現実空間を撮像する撮像ステップと、
前記ヘッドマウントディスプレイを装着しているユーザに対して前記撮像ステップで撮像した現実画像と仮想物体とを合成した合成画像を表示する表示ステップと、を有し、
前記表示ステップでは、
他のヘッドマウントディスプレイを装着している他のユーザの動きに対応して動く第1仮想物体を表示し、
前記ヘッドマウントディスプレイと前記第1仮想物体とが接近した場合、前記第1仮想物体の透明度を高くすることにより、前記第1仮想物体が重畳された現実物体を表示することを特徴とする制御方法。 - ヘッドマウントディスプレイの情報を処理する情報処理方法であって、
前記ヘッドマウントディスプレイの撮像手段で撮像した現実画像を取得する画像取得ステップと、
前記ヘッドマウントディスプレイの位置又は姿勢を取得する位置姿勢取得ステップと、
前記現実画像と仮想物体とを合成して合成画像を生成する合成画像生成ステップと、を有し、
前記合成画像生成ステップでは、
前記現実画像と、他のヘッドマウントディスプレイを装着している他のユーザの動きに対応して動く第1仮想物体と、を合成し、
前記ヘッドマウントディスプレイと前記第1仮想物体とが接近した場合、前記第1仮想物体の透明度を高くすることにより、前記第1仮想物体が重畳されていた現実物体が視認できる合成画像を生成することを特徴とする情報処理方法。 - 請求項8に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
- 請求項9に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020031845A JP7413077B2 (ja) | 2020-02-27 | 2020-02-27 | ヘッドマウントディスプレイ、制御方法、情報処理装置、情報処理方法、およびプログラム |
US17/185,657 US11527020B2 (en) | 2020-02-27 | 2021-02-25 | Information processing apparatus, information processing method, and storage medium |
US18/055,654 US20230083677A1 (en) | 2020-02-27 | 2022-11-15 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020031845A JP7413077B2 (ja) | 2020-02-27 | 2020-02-27 | ヘッドマウントディスプレイ、制御方法、情報処理装置、情報処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021135776A JP2021135776A (ja) | 2021-09-13 |
JP2021135776A5 JP2021135776A5 (ja) | 2023-03-03 |
JP7413077B2 true JP7413077B2 (ja) | 2024-01-15 |
Family
ID=77464187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020031845A Active JP7413077B2 (ja) | 2020-02-27 | 2020-02-27 | ヘッドマウントディスプレイ、制御方法、情報処理装置、情報処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (2) | US11527020B2 (ja) |
JP (1) | JP7413077B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12073529B2 (en) * | 2021-11-15 | 2024-08-27 | International Business Machines Corporation | Creating a virtual object response to a user input |
WO2023135941A1 (ja) * | 2022-01-17 | 2023-07-20 | ソニーグループ株式会社 | 情報処理装置、および情報処理システム、並びに情報処理方法 |
WO2023199626A1 (ja) * | 2022-04-14 | 2023-10-19 | 株式会社Nttドコモ | 表示制御装置 |
KR20240132828A (ko) * | 2023-02-27 | 2024-09-04 | 삼성전자주식회사 | 가상 객체들 사이의 거리에 기반하여 가상 객체를 제어하기 위한 전자 장치 및 그 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019020516A (ja) | 2017-07-13 | 2019-02-07 | 株式会社コロプラ | 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置 |
JP2019170940A (ja) | 2018-03-29 | 2019-10-10 | 株式会社コロプラ | プログラム、情報処理装置、および方法 |
JP2020030511A (ja) | 2018-08-21 | 2020-02-27 | 株式会社カプコン | 表示システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4642538B2 (ja) | 2005-04-20 | 2011-03-02 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
US9477303B2 (en) * | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
JP6049452B2 (ja) * | 2012-12-29 | 2016-12-21 | キヤノン株式会社 | 情報表示装置、情報表示システム、それらの制御方法、及びプログラム |
JP6281496B2 (ja) * | 2013-02-01 | 2018-02-21 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
JP5824537B2 (ja) * | 2014-01-16 | 2015-11-25 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
JP6501501B2 (ja) * | 2014-11-12 | 2019-04-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、情報処理システム及びプログラム |
WO2020068861A1 (en) * | 2018-09-28 | 2020-04-02 | Ocelot Laboratories Llc | Transferring a virtual object in an enhanced reality setting |
US11205008B2 (en) * | 2019-05-07 | 2021-12-21 | Intel Corporation | Methods and apparatus for invoking a security feature of a computing device display in response to detecting an onlooker based on depth data |
-
2020
- 2020-02-27 JP JP2020031845A patent/JP7413077B2/ja active Active
-
2021
- 2021-02-25 US US17/185,657 patent/US11527020B2/en active Active
-
2022
- 2022-11-15 US US18/055,654 patent/US20230083677A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019020516A (ja) | 2017-07-13 | 2019-02-07 | 株式会社コロプラ | 情報処理方法、情報処理プログラム、情報処理システムおよび情報処理装置 |
JP2019170940A (ja) | 2018-03-29 | 2019-10-10 | 株式会社コロプラ | プログラム、情報処理装置、および方法 |
JP2020030511A (ja) | 2018-08-21 | 2020-02-27 | 株式会社カプコン | 表示システム |
Also Published As
Publication number | Publication date |
---|---|
JP2021135776A (ja) | 2021-09-13 |
US20230083677A1 (en) | 2023-03-16 |
US20210272329A1 (en) | 2021-09-02 |
US11527020B2 (en) | 2022-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7413077B2 (ja) | ヘッドマウントディスプレイ、制御方法、情報処理装置、情報処理方法、およびプログラム | |
US9766697B2 (en) | Method of providing a virtual space image, that is subjected to blurring processing based on displacement of a HMD and system therefor | |
JP2019070909A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9784972B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP4500632B2 (ja) | 仮想現実感提示装置および情報処理方法 | |
CN110300994B (zh) | 图像处理装置、图像处理方法以及图像系统 | |
JP6087453B1 (ja) | 仮想空間の提供方法、およびプログラム | |
US20150199850A1 (en) | Information processing apparatus and information processing method | |
US11244427B2 (en) | Image resolution processing method, system, and apparatus, storage medium, and device | |
US20170249822A1 (en) | Apparatus configured to issue warning to wearer of display, and method therefor | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
JP2017138973A (ja) | 仮想空間の提供方法、およびプログラム | |
JP2017142785A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6723743B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4689344B2 (ja) | 情報処理方法、情報処理装置 | |
JP6726016B2 (ja) | 情報処理装置、情報処理方法 | |
JP6436872B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
KR20160128735A (ko) | 디스플레이 장치 및 그의 제어 방법 | |
JP2016058043A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6473872B2 (ja) | 映像構築装置、擬似視覚体験システム、および映像構築プログラム | |
US20240233289A9 (en) | Information processing apparatus and information processing method | |
JP6572406B1 (ja) | 警告装置、検出装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 | |
JP7458735B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2023172180A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230222 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7413077 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |