JP7391542B2 - 画像処理システム、画像処理方法、およびプログラム - Google Patents
画像処理システム、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP7391542B2 JP7391542B2 JP2019104733A JP2019104733A JP7391542B2 JP 7391542 B2 JP7391542 B2 JP 7391542B2 JP 2019104733 A JP2019104733 A JP 2019104733A JP 2019104733 A JP2019104733 A JP 2019104733A JP 7391542 B2 JP7391542 B2 JP 7391542B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- foreground
- camera
- mask
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 181
- 238000003672 processing method Methods 0.000 title claims 2
- 238000000034 method Methods 0.000 claims description 73
- 238000004040 coloring Methods 0.000 claims description 61
- 238000003384 imaging method Methods 0.000 claims description 53
- 238000012937 correction Methods 0.000 claims description 21
- 230000010365 information processing Effects 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 8
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 47
- 230000000007 visual effect Effects 0.000 description 26
- 238000001514 detection method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30228—Playing field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
図2は、本実施形態の画像処理システム(以下、システムと称す)200の概略構成を説明する図である。システム200は、複数の撮像装置であるカメラ201と画像処理装置202とを有する。複数のカメラ201は、競技場のフィールド210の周囲に並べて配置される。複数のカメラ201は、複数のカメラ201による複数の視点から競技場のフィールド210を撮像するように構成されている。競技場のフィールド210上では、例えばサッカーなどの競技が行われており、競技場のフィールド210上に前景のオブジェクトとなる人物211が存在しているものとする。オブジェクトとは、例えば選手、監督、または審判などの特定の人物である。オブジェクトは、ボール、またはゴールなどのように画像パターンが予め定められている物体であってもよい。また、オブジェクトは動体であってもよいし、静止体であってもよい。
システム200が有する、カメラアダプタのカメラ処理部710および画像処理装置202の本体処理部720の内部構成について、図7を用いて説明する。また図7の各ブロックの処理内容を図8、図9を用いて順に説明する。なお、図8はHカメラによる画像例を示す図であり、図9はLカメラによる画像例を示す図である。
図7に示した各モジュールは、ハードウェアとしてASICやFPGAの内部に実装される。
オブジェクトの形状を表す形状データである前景の3次元モデル(前景形状))のデータを生成する。詳細な推定処理については後述する。前景の3次元モデルのデータは、色付け部722と仮想視点画像生成部724に出力される。
実施形態1では、限定マスクのデータを用いて形状推定処理を行う形態を説明した。本実施形態では、前景マスクおよび露出不適切領域マスクのデータを用いて形状推定処理を行う形態を説明する。
実施形態1では、限定テクスチャを用いて色付け処理を行う形態を説明した。本実施形態では、前景テクスチャを用いて選択的に色付け処理を行う形態を説明する。
[J]=[0,1,0,1,0,1]
また、例えば、図16の下段の場合、ベクトル[J]は以下の式で表される。
[J]=[1,0,1,0,1,0]
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インターフェース機器、撮像装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
716 背景差分処理部
721 推定部
Claims (15)
- 複数の撮像手段によってオブジェクトを撮像することにより取得された複数の撮像画像それぞれに対する、前記オブジェクトを抽出するための複数の前景マスクを取得する第一の取得手段と、
前記複数の撮像画像それぞれにおいて露出値が不適切である領域を検出して、前記複数の撮像画像に対応する、露出不適切領域をマスクするための複数の不適切領域マスクを取得する第二の取得手段と、
前記複数の前景マスクおよび前記複数の不適切領域マスクに基づき、前記オブジェクトの形状を表す三次元形状データを生成する生成手段と
を有し、
前記第二の取得手段は、
前記複数の撮像手段のうち、第一の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第一の輝度レンジの上限閾値よりも大きい部分を第一の不適切領域として検出し、
前記複数の撮像手段のうち、前記第一の輝度レンジより相対的に輝度が高い第二の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第二の輝度レンジの下限閾値よりも小さい部分を第二の不適切領域として検出し、
前記生成手段は、前記露出値が不適切である領域に対応する前記前景マスクが形状データの生成用のシルエットマスクとして使用可能である場合、前記前景マスクを用いて前記三次元形状データを生成する
ことを特徴とする画像処理システム。 - 前記生成手段は、前記前景マスクと前記不適切領域マスクとの論理和として得られる限定マスクに基づき前記三次元形状データを生成する
ことを特徴とする請求項1に記載の画像処理システム。 - 前記生成手段は、前記露出値が不適切である領域に対応する前記前景マスクが形状データの生成用のシルエットマスクとして使用不可能である場合、前記限定マスクを用いて前記三次元形状データを生成する
ことを特徴とする請求項2に記載の画像処理システム。 - 前記第二の取得手段は、前記撮像画像から生成した背景画像、または前記撮像画像から生成した、所定期間の背景画像の各画素を平均化した平均画像に基づき、前記不適切領域マスクを取得する
ことを特徴とする請求項1から3の何れか一項に記載の画像処理システム。 - 前記生成手段は、前記第一の不適切領域を示す第一の露出マスク、または前記第二の不適切領域を示す第二の露出マスクと、前記前景マスクとの論理和をシルエットマスクとした視体積交差法により、前記三次元形状データを生成する
ことを特徴とする請求項1から4の何れか一つに記載の画像処理システム。 - 前記撮像画像から抽出された前景テクスチャ、または、前記前景テクスチャと前記不適切領域マスクの論理和として得られる限定テクスチャに基づき、前記三次元形状データに付与するための色データを生成する色付け手段を有する
ことを特徴とする請求項1から5の何れか一項に記載の画像処理システム。 - 前記色付け手段は、少なくとも、前記三次元形状データで表される前景オブジェクトの表面の点から前記撮像画像に投影された画素の画素値に基づき、前記色データを生成する
ことを特徴とする請求項6に記載の画像処理システム。 - 前記色付け手段は、適正な前記露出値で撮像された前記撮像画像から抽出された前記前景テクスチャを優先的に用いて前記色データを生成する
ことを特徴とする請求項7に記載の画像処理システム。 - 前記色付け手段は、前記撮像手段に設定された前記露出値に応じて当該撮像手段に対応する前記撮像画像における前記画素の画素値を補正し、補正後の前記画素の画素値と、前記撮像手段に対して予め設定された所定の係数とに基づき得られた画素値を付与した前記色データを生成する
ことを特徴とする請求項8に記載の画像処理システム。 - 前記撮像手段に設けられ、前記撮像手段で取得した前記撮像画像に対して所定の処理を行う情報処理装置と、
前記情報処理装置に接続し、前記情報処理装置で前記所定の処理が行われた前記撮像画像に基づき前記オブジェクトに関するデータを生成する画像処理装置と、
を有し、
前記情報処理装置は、前記第一の取得手段と前記第二の取得手段とを有し、
前記画像処理装置は、前記生成手段を有する
ことを特徴とする請求項1から5の何れか一項に記載の画像処理システム。 - 前記撮像手段に設けられ、前記撮像手段で取得した前記撮像画像に対して所定の処理を行う情報処理装置と、
前記情報処理装置に接続し、前記情報処理装置で前記所定の処理が行われた前記撮像画像に基づき前記オブジェクトに関するデータを生成する画像処理装置と、
を有し、
前記情報処理装置は、前記第一の取得手段と前記第二の取得手段とを有し、
前記画像処理装置は、前記生成手段と前記色付け手段を有する
ことを特徴とする請求項6から9の何れか一項に記載の画像処理システム。 - 前記複数の撮像手段により撮像された複数の視点の画像を前記複数の撮像画像として取得し、
前記画像処理システムは、前記複数の視点の画像と、前記生成手段によって生成された前記三次元形状データと、を用いて仮想視点画像を生成する
ことを特徴とする請求項1から11の何れか一項に記載の画像処理システム。 - 前記第一の取得手段は、前記前景マスクを生成し、
前記第二の取得手段は、前記不適切領域マスクを生成する
ことを特徴とする請求項1から12のいずれか一項に記載の画像処理システム。 - 複数の撮像手段によってオブジェクトを撮像することにより取得された複数の撮像画像それぞれに対する、前記オブジェクトを抽出するための複数の前景マスクを取得する第一の取得ステップと、
前記複数の撮像画像それぞれにおいて露出値が不適切である領域を検出して、前記複数の撮像画像に対応する、露出不適切領域をマスクするための複数の不適切領域マスクを取得する第二の取得ステップと、
前記複数の前景マスクおよび前記複数の不適切領域マスクに基づき、前記オブジェクトの形状を表す三次元形状データを生成する生成ステップと
を有し、
前記第二の取得ステップにて、
前記複数の撮像手段のうち、第一の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第一の輝度レンジの上限閾値よりも大きい部分を第一の不適切領域として検出し、
前記複数の撮像手段のうち、前記第一の輝度レンジより相対的に輝度が高い第二の輝度レンジに設定された前記撮像手段によって撮像することにより取得された前記撮像画像にて画素値が前記第二の輝度レンジの下限閾値よりも小さい部分を第二の不適切領域として検出し、
前記生成ステップにて、前記露出値が不適切である領域に対応する前記前景マスクが形状データの生成用のシルエットマスクとして使用可能である場合、前記前景マスクを用いて前記三次元形状データを生成する
ことを特徴とする画像処理方法。 - コンピュータを、請求項1から13の何れか一項に記載の画像処理システムの各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019104733A JP7391542B2 (ja) | 2019-06-04 | 2019-06-04 | 画像処理システム、画像処理方法、およびプログラム |
US16/889,075 US11838674B2 (en) | 2019-06-04 | 2020-06-01 | Image processing system, image processing method and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019104733A JP7391542B2 (ja) | 2019-06-04 | 2019-06-04 | 画像処理システム、画像処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020197989A JP2020197989A (ja) | 2020-12-10 |
JP2020197989A5 JP2020197989A5 (ja) | 2022-06-08 |
JP7391542B2 true JP7391542B2 (ja) | 2023-12-05 |
Family
ID=73649221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019104733A Active JP7391542B2 (ja) | 2019-06-04 | 2019-06-04 | 画像処理システム、画像処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11838674B2 (ja) |
JP (1) | JP7391542B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7003994B2 (ja) * | 2017-08-08 | 2022-01-21 | ソニーグループ株式会社 | 画像処理装置および方法 |
WO2021149526A1 (ja) * | 2020-01-23 | 2021-07-29 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2022085643A (ja) * | 2020-11-27 | 2022-06-08 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN113409378B (zh) * | 2021-06-28 | 2024-04-12 | 北京百度网讯科技有限公司 | 图像处理方法、装置和设备 |
CN113470138B (zh) * | 2021-06-30 | 2024-05-24 | 维沃移动通信有限公司 | 图像的生成方法、装置、电子设备及可读存储介质 |
CN113744400B (zh) * | 2021-09-09 | 2024-07-16 | 网易(杭州)网络有限公司 | 地形蒙版选区确定方法、装置及计算机设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001043458A (ja) | 1999-07-29 | 2001-02-16 | Oki Electric Ind Co Ltd | 背景画像生成システム |
US20130016097A1 (en) | 2010-04-02 | 2013-01-17 | Imec | Virtual Camera System |
WO2017217241A1 (ja) | 2016-06-15 | 2017-12-21 | ソニー株式会社 | 画像生成装置および画像生成方法 |
WO2018079260A1 (ja) | 2016-10-25 | 2018-05-03 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6403862B1 (ja) | 2017-12-14 | 2018-10-10 | キヤノン株式会社 | 3次元モデルの生成装置、生成方法及びプログラム |
JP2019083402A (ja) | 2017-10-30 | 2019-05-30 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060028476A1 (en) * | 2004-08-03 | 2006-02-09 | Irwin Sobel | Method and system for providing extensive coverage of an object using virtual cameras |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
US8131098B2 (en) * | 2007-07-06 | 2012-03-06 | Panasonic Corporation | Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit |
US8811811B1 (en) * | 2013-07-18 | 2014-08-19 | Fraunhofer-Gesellscahft zur Foerderung der angewandten Forschung e.V. | Camera system and method for generating high-quality HDR images or videos |
US9445081B1 (en) * | 2015-09-25 | 2016-09-13 | Intel Corporation | Method and system of 3D image capture with dynamic cameras |
JP2021156579A (ja) * | 2018-06-29 | 2021-10-07 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、移動機器、並びにプログラム |
-
2019
- 2019-06-04 JP JP2019104733A patent/JP7391542B2/ja active Active
-
2020
- 2020-06-01 US US16/889,075 patent/US11838674B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001043458A (ja) | 1999-07-29 | 2001-02-16 | Oki Electric Ind Co Ltd | 背景画像生成システム |
US20130016097A1 (en) | 2010-04-02 | 2013-01-17 | Imec | Virtual Camera System |
WO2017217241A1 (ja) | 2016-06-15 | 2017-12-21 | ソニー株式会社 | 画像生成装置および画像生成方法 |
WO2018079260A1 (ja) | 2016-10-25 | 2018-05-03 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP2019083402A (ja) | 2017-10-30 | 2019-05-30 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
JP6403862B1 (ja) | 2017-12-14 | 2018-10-10 | キヤノン株式会社 | 3次元モデルの生成装置、生成方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
LAURENTINI Aldo,The Visual Hull Concept for Silhouette-Based Image Understanding,IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,米国,IEEE,1994年02月,Vol.16, No.2,p150-162 |
Also Published As
Publication number | Publication date |
---|---|
US20200389573A1 (en) | 2020-12-10 |
JP2020197989A (ja) | 2020-12-10 |
US11838674B2 (en) | 2023-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7391542B2 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
US10701332B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
CN108668093B (zh) | Hdr图像的生成方法及装置 | |
US10475237B2 (en) | Image processing apparatus and control method thereof | |
US9251573B2 (en) | Device, method, and storage medium for high dynamic range imaging of a combined image having a moving object | |
TWI767985B (zh) | 用於處理影像性質圖的方法及裝置 | |
US9569688B2 (en) | Apparatus and method of detecting motion mask | |
JP2020129276A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JPWO2017217296A1 (ja) | 画像処理装置 | |
US11170511B2 (en) | Image processing device, imaging device, and image processing method for replacing selected image area based on distance | |
JP6365355B2 (ja) | 画像生成装置および画像生成方法 | |
JP7159198B2 (ja) | 奥行きマップを処理するための装置及び方法 | |
JP6575999B2 (ja) | 照明情報取得装置、照明復元装置、およびこれらのプログラム | |
US11457158B2 (en) | Location estimation device, location estimation method, and program recording medium | |
JP2004133919A (ja) | 擬似3次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体 | |
WO2018155269A1 (ja) | 画像処理装置および方法、並びにプログラム | |
US10902669B2 (en) | Method for estimating light for augmented reality and electronic device thereof | |
TW202226158A (zh) | 處理深度圖之設備及方法 | |
JP7271115B2 (ja) | 画像処理装置、背景画像の生成方法およびプログラム | |
JP4831344B2 (ja) | 目の位置の検出方法 | |
JP2019032742A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2022181493A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2024125590A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2005071389A (ja) | 画像処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231122 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7391542 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |