JP7280535B2 - 符号化データ生成方法、符号化データ生成装置、及びプログラム - Google Patents
符号化データ生成方法、符号化データ生成装置、及びプログラム Download PDFInfo
- Publication number
- JP7280535B2 JP7280535B2 JP2021565159A JP2021565159A JP7280535B2 JP 7280535 B2 JP7280535 B2 JP 7280535B2 JP 2021565159 A JP2021565159 A JP 2021565159A JP 2021565159 A JP2021565159 A JP 2021565159A JP 7280535 B2 JP7280535 B2 JP 7280535B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation value
- bit rate
- distribution
- encoded data
- overall evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000011156 evaluation Methods 0.000 claims description 239
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000001186 cumulative effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 101001126234 Homo sapiens Phospholipid phosphatase 3 Proteins 0.000 description 1
- 102100030450 Phospholipid phosphatase 3 Human genes 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
前提として、以下に説明する各実施形態は、限られたパラメータセット(映像の主観品質に大きく影響を与えるビットレート、フレームレート、及び解像度等を意図する。本段落のみにおいて、以下「ビットレート」という。)の中で、できるだけ多くのユーザに適したビットレートの映像を配信することを目的としている。これを実現する一つの方法として、符号化データの配信先である動画再生装置が置かれている環境の分布に応じて、密度が高い環境についてはできるだけ多くのビットレートの符号化データを、及び、密度が低い環境については密度が高い環境よりも少ないビットレートの符号化データを、環境の変化に応じて適応的に割り当てる方法が考えられる。これを実現するため、以下に説明する各実施形態は、高い主観画質で受信再生できる環境(例えば、通信品質、及びデコーダの性能等)を持つ動画再生装置が全体に占める割合が多い場合には高ビットレートの符号化データを多くし、低い主観画質で受信再生する環境をもつ動画再生装置が全体に占める割合が多い場合には低いビットレートの符号化データを多くするよう制御をするものである。
以下、本発明の第1の実施形態における符号化データ生成方法、符号化データ生成装置、及びプログラムついて、図面を参照しながら説明する。
以下、第1の実施形態における動画再生システム1の構成について説明する。
図1は、本発明の第1の実施形態における動画再生システム1のシステム構成図である。図1に示すように、本実施形態における動画再生システム1は、符号化データ生成装置100、配信サーバ200、動画像再生装置群300、及び評価値収集サーバ400を含んで構成される。符号化データ生成装置100、配信サーバ200、動画像再生装置群300、及び評価値収集サーバ400の間は、互いにネットワークで接続されている。
以下、評価取得部101の動作の一例について説明する。
図2は、本発明の第1の実施形態における評価取得部101の動作を示すフローチャートである。
図3は、本発明の第1の実施形態における評価値分布の一例を示す概要図である。
D=Σ_{n=1}^{N}(d[n])
・・・(1)
以下、ビットレート変更部103の動作の一例について説明する。
図4は、本発明の第1の実施形態におけるビットレート変更部103の動作を示すフローチャートである。なお、図4において、左向きの矢印「←」は、右辺から左辺への値の代入を表すものとする。
{m1,m1,m2},
{m1,m2,m1},
{m1,m2,m2},
{m2,m1,m1},
{m2,m1,m2},
{m2,m2,m1},
{m2,m2,m2},
なお、ビットレート変更部103は、最上位のチャネル及び最下位のチャネルについては、ビットレートの変更を行わないようにしてもよい。例えば、最下位のチャネルのビットレート、又は最上位のチャネルのビットレートを変更することは、それぞれ映像配信サービスにおける最低映像品質、又は最高映像品質を変更することに繋がる。一般に、このようなビットレートの変更は、映像配信サービスの設計等にも影響することが多いため、行われない方が望ましいと考えられる。
・・・(2)
ビットレート変更部103は、i番目の試行における仮ビットレートを表す変数であるtmp_BR[n]を、以下の式(3)によって算出する(ステップS408)。
・・・(3)
R[i][n]={1.0,0.9,0.8,0.8,1.0}
tmp_d[n]=d’n+1-d’n
(n=Nのとき)
tmp_d[n]=D-d’n
・・・(4)
d’n=(q’n-qn-1)×(dn-dn-1)/(qn-qn-1)+dn-1
(n=1のとき)
d’n=dn
・・・(5)
D=Σ_{n=1}^{N}(tmp_d[n])
・・・(6)
ビットレート変更部103は、ステップS407~S413の繰り返し処理の中で最大値となったMax_E_QoEの値、及びこの場合におけるMax_BR[n]の値を出力する。以上で、図4のフローチャートが示すビットレート変更部103の動作が終了する。
ここでは、評価値q[n]、評価値分布d[n]、及び全評価値ログファイル数Dは、それぞれ以下のような値であるものとする。
d[n]={10,40,49,1,0}
(すなわち、dn={0,10,50,99,100})
D=100
=(1.9-1.0)×(10-0)/(2-1)+0
=9
d’3=(q’3-q2)×(d3-d2)/(q3-q2)+d2
=(2.9-2.0)×(50-10)/(3-2)+10
=46
d’4=(q’4-q3)×(d4-d3)/(q4-q3)+d3
=(3.5-3.0)×(99-50)/(4-3)+50
=74.5
d’5=(q’5-q4)×(d5-d4)/(q5-q4)+d4
=(5.0-4.0)×(100-99)/(5-4)+99
=100
tmp_d[2]=d’3-d’2=46-9=35
tmp_d[3]=d’4-d’3=74.5-46=38.5
tmp_d[4]=d’5-d’4=100-74.5=25.5
tmp_d[5]=D-d’5=100-100=0
・・・(7)
以下、本発明の第2の実施形態について、図面を参照しながら説明する。
以下に説明する第2の実施形態における動画再生システム1の構成と、前述の第1の実施形態における動画再生システム1の構成との相違点は、符号化データ生成装置100の構成のうち、第1の実施形態における評価取得部101、全体評価値算出部102、及びビットレート変更部103が、それぞれ以下に説明する評価取得部101a、全体評価値算出部102a、及びビットレート変更部103aになっている点である。以下、上記の相違点を中心に説明する。
まず、評価取得部101aは、評価値ログファイルを取得するにあたり、各評価値ログファイルに含まれる、セグメントファイルの受信所要時間t_j、ファイルサイズs_j(1≦j<Nt;Ntはセグメントファイル数)に基づいて、以下の式(8)により推定スループットTh[j]を計算する。
・・・(8)
図6は、本発明の第2の実施形態における評価値分布の一例を示す概要図である。
D_t=Σ_{n=1}^{N}(d_t[n])
・・・(9)
q_t[j]≦q[n]となるq_t[j]の個数
(n=Nの場合)
q[n]≦q_t[j]となるq_t[j]の個数
(上記以外の場合)
q[n]≦q_t[j]<q[n+1]となるq_t[j]の個数
以下、ビットレート変更部103aの動作の一例について説明する。
図7は、本発明の第2の実施形態におけるビットレート変更部103aの動作を示すフローチャートである。なお、図7において、左向きの矢印「←」は、右辺から左辺への値の代入を表すものとする。
tmp_d_t[n]: q_t[j]≦q’[n]となるq_t[j]の個数
(n=Nの場合)
tmp_d_t[n]: q’[n]≦q_t[j]となるq_t[j]の個数
(上記以外の場合)
tmp_d_t[n]: q’[n]≦q_t[j]<q’[n+1]となるq_t[j]の個数
・・・(10)
D=Σ_{n=1}^{N}(tmp_d_t[n])
・・・(11)
以下、本発明の第3の実施形態について、図面を参照しながら説明する。
以下に説明する第3の実施形態における動画再生システム1の構成と、前述の第1の実施形態における動画再生システム1の構成との相違点は、符号化データ生成装置100の構成のうち、第1の実施形態におけるビットレート変更部103が、以下に説明するビットレート変更部103bになっている点である。以下、上記の相違点を中心に説明する。
以下、ビットレート変更部103bの動作の一例について説明する。
図8は、本発明の第3の実施形態におけるビットレート変更部103bの動作を示すフローチャートである。なお、図8において、左向きの矢印「←」は、右辺から左辺への値の代入を表すものとする。
・・・(12)
Claims (10)
- 画像が符号化された、複数のビットレートの符号化データを生成する符号化データ生成方法であって、
生成された前記符号化データが再生された際の、前記符号化データの配信先における評価値を取得する評価値取得ステップと、
取得された全てのチャネルにおける前記評価値の分布である評価値分布に基づいて、前記配信先の全体で取得される前記評価値を示す全体評価値を算出する全体評価値算出ステップと、
前記ビットレートを変更した場合における前記評価値の分布である仮評価値分布を前記評価値分布を線形補間することによって算出し、前記仮評価値分布に基づいて前記配信先の全体で取得される仮の前記評価値を示す仮全体評価値を算出する仮全体評価値算出ステップと、
前記仮全体評価値が前記全体評価値より大きい場合に前記仮全体評価値によって前記全体評価値を更新する全体評価値更新ステップと、
前記全体評価値に基づいて、生成する前記符号化データの前記ビットレートを変更するビットレート変更ステップと、
を有する符号化データ生成方法。 - 前記ビットレート変更ステップは、
前記評価値分布又は前記仮評価値分布において、
相対的に高い前記評価値の件数の割合が大きいほど、より高い前記ビットレートの前記符号化データが多くなるように前記ビットレートを変更し、
相対的に低い前記評価値の件数の割合が大きいほど、より低い前記ビットレートの前記符号化データが多くなるように前記ビットレートを変更する
請求項1に記載の符号化データ生成方法。 - 前記評価値は、前記配信先における主観品質を表す値、又は前記配信先におけるネットワークのスループットである
請求項1又は請求項2に記載の符号化データ生成方法。 - 前記ビットレート変更ステップは、
前記ビットレートの変更に代えてフレームレートの変更、又は前記ビットレート及び前記フレームレートの双方の変更を行うことがある
請求項2又は請求項3に記載の符号化データ生成方法。 - 前記ビットレート変更ステップは、前記全体評価値が最大となるように所定のチャネルの前記ビットレートを変更する
請求項1から請求項4のうちいずれか一項に記載の符号化データ生成方法。 - 前記ビットレート変更ステップは、
前記ビットレートを変更した場合における前記全体評価値と、現時点における前記全体評価値との差分を所定の時間間隔で算出し、
前記所定の時間間隔よりも長い時間間隔における前記差分の累積値が最大となるように所定の前記チャネルの前記ビットレートを変更する
請求項5に記載の符号化データ生成方法。 - 前記全体評価値算出ステップは、
各ビットレートにおける前記評価値と前記各ビットレートの前記符号化データの個数とから算出される前記評価値の平均値を前記全体評価値とする
請求項5に記載の符号化データ生成方法。 - 前記ビットレート変更ステップは、
最上位のビットレートである前記チャネル及び最下位のビットレートである前記チャネルについては、前記ビットレートの変更を行わない
請求項5又は6に記載の符号化データ生成方法。 - 画像が符号化された、複数のビットレートの符号化データを生成する符号化データ生成装置であって、
生成された前記符号化データが再生された際の、前記符号化データの配信先における評価値を取得する評価取得部と、
取得された全てのチャネルにおける前記評価値の分布である評価値分布に基づいて、前記配信先の全体で取得される前記評価値を示す全体評価値を算出する全体評価値算出部と、
前記ビットレートを変更した場合における前記評価値の分布である仮評価値分布を前記評価値分布を線形補間することによって算出し、前記仮評価値分布に基づいて前記配信先の全体で取得される仮の前記評価値を示す仮全体評価値を算出する仮全体評価値算出部と、
前記仮全体評価値が前記全体評価値より大きい場合に前記仮全体評価値によって前記全体評価値を更新する全体評価値更新部と、
前記全体評価値に基づいて、生成する前記符号化データの前記ビットレートを変更するビットレート変更部と、
を備える符号化データ生成装置。 - 請求項1から8のいずれかに一項に記載の符号化データ生成方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/049136 WO2021124387A1 (ja) | 2019-12-16 | 2019-12-16 | 符号化データ生成方法、符号化データ生成装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021124387A1 JPWO2021124387A1 (ja) | 2021-06-24 |
JP7280535B2 true JP7280535B2 (ja) | 2023-05-24 |
Family
ID=76478565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021565159A Active JP7280535B2 (ja) | 2019-12-16 | 2019-12-16 | 符号化データ生成方法、符号化データ生成装置、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230353808A1 (ja) |
JP (1) | JP7280535B2 (ja) |
WO (1) | WO2021124387A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015520966A (ja) | 2012-05-04 | 2015-07-23 | トムソン ライセンシングThomson Licensing | コード変換された複数のコンテンツストリームを提供するための方法および装置 |
WO2016125415A1 (ja) | 2015-02-04 | 2016-08-11 | 日本電信電話株式会社 | 体感品質最適化システム、体感品質最適化装置、レコメンド要求装置、体感品質最適化方法、レコメンド要求方法及びプログラム |
-
2019
- 2019-12-16 WO PCT/JP2019/049136 patent/WO2021124387A1/ja active Application Filing
- 2019-12-16 US US17/785,021 patent/US20230353808A1/en active Pending
- 2019-12-16 JP JP2021565159A patent/JP7280535B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015520966A (ja) | 2012-05-04 | 2015-07-23 | トムソン ライセンシングThomson Licensing | コード変換された複数のコンテンツストリームを提供するための方法および装置 |
WO2016125415A1 (ja) | 2015-02-04 | 2016-08-11 | 日本電信電話株式会社 | 体感品質最適化システム、体感品質最適化装置、レコメンド要求装置、体感品質最適化方法、レコメンド要求方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230353808A1 (en) | 2023-11-02 |
JPWO2021124387A1 (ja) | 2021-06-24 |
WO2021124387A1 (ja) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10298985B2 (en) | Systems and methods for performing quality based streaming | |
US10547659B2 (en) | Signaling and processing content with variable bitrates for adaptive streaming | |
KR100987232B1 (ko) | 인코딩 장치 내에서의 레이트 제어 방법 및 시스템 | |
US20130304934A1 (en) | Methods and systems for controlling quality of a media session | |
US20140181266A1 (en) | System, streaming media optimizer and methods for use therewith | |
CN102450014B (zh) | 用于质量感知视频优化的方法和视频优化器 | |
CN105393516A (zh) | 在自适应流送中用缓冲器和范围约束来进行质量优化 | |
WO2013001426A1 (en) | Distributing audio video content | |
CN112868229A (zh) | 用于流传输数据的方法和设备 | |
KR20170135069A (ko) | QoE 분석 기반 비디오 프레임 관리 방법 및 그 장치 | |
US20160277468A1 (en) | Adapting Encoded Bandwidth | |
KR20220058454A (ko) | 비디오들에 대한 프로파일 래더의 적응적 트랜스코딩 | |
JP4584992B2 (ja) | 送信フレームを生成するための装置および方法 | |
EP3451672A1 (en) | Method and device for video content encoding optimisation in adaptive streaming systems | |
WO2014066975A1 (en) | Methods and systems for controlling quality of a media session | |
JP7280535B2 (ja) | 符号化データ生成方法、符号化データ生成装置、及びプログラム | |
JP3852267B2 (ja) | 動画像変換を制御するシステム、そのサーバ、そのゲートウェイ及びその制御プログラムを記録した記録媒体 | |
KR101827427B1 (ko) | 영상 신호 송신 장치 및 그 영상 신호 송신 방법 | |
JP5837943B2 (ja) | 異種ネットワークを介したコンテンツ配信のクリフ効果を軽減するシステムおよび方法 | |
CN106134202B (zh) | Mmt资产和具有包含多个qoe操作点的改进的mmt qos描述符的isobmff的增强的失真信令 | |
CN114302145A (zh) | 自适应网络环境的视频编码优化方法、装置、设备及存储介质 | |
JP5743350B2 (ja) | データ送信装置、前方誤り訂正方法、及びプログラム | |
JP2013030852A (ja) | スケーラブル映像符号化装置及び方法及びプログラム | |
JP6825703B2 (ja) | 送信装置、通信システム、通信方法、及びプログラム | |
Jimenez-Rodriguez et al. | FAST rate allocation for JPEG2000 video transmission over time-varying channels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7280535 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |