JP7270344B2 - 端末装置、帯域予測装置、およびプログラム - Google Patents
端末装置、帯域予測装置、およびプログラム Download PDFInfo
- Publication number
- JP7270344B2 JP7270344B2 JP2018116473A JP2018116473A JP7270344B2 JP 7270344 B2 JP7270344 B2 JP 7270344B2 JP 2018116473 A JP2018116473 A JP 2018116473A JP 2018116473 A JP2018116473 A JP 2018116473A JP 7270344 B2 JP7270344 B2 JP 7270344B2
- Authority
- JP
- Japan
- Prior art keywords
- band
- prediction
- bandwidth
- data
- terminal device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
本実施形態において、視聴者が映像コンテンツを視聴するための端末装置は、映像配信サーバー装置から映像のチャンクをダウンロードする。ここで、チャンクとは、時間方向の長さを有する映像や音声等のコンテンツにおいて、所定の長さの時間(例えば、数秒といった長さの時間)で区切ったコンテンツの断片である。端末装置は、チャンクをダウンロードした際のスループット(通信スループット、通信帯域)の数値情報を自装置内に時系列に保存する。端末装置は、ある時点で、その時点における最新のチャンクのダウンロードが完了し、次のセグメントのチャンクをダウンロードする際に、過去の複数セグメント分のスループットの情報と、その他の状況の情報とを、帯域予測サーバー装置に送信する。「その他の状況の情報」とは、例えば、端末装置が現在保有している使用可能な映像バッファーの量の情報と、端末装置が接続している通信ネットワークの種別を表す情報である。帯域予測サーバー装置は、端末装置から送られたこれらのデータを基に、自装置内に保持する帯域予測学習器を使用して帯域予測を行う。帯域予測サーバー装置は、帯域予測学習器によって予測した結果である帯域予測情報を、端末装置に返送する。端末装置は、帯域予測サーバー装置から受信した帯域予測情報に基づき、適切な種類(ビットレート)の、次のチャンクをダウンロードする。その前提として、映像配信サーバー装置は、複数の通信帯域に対応したコンテンツを予め準備しており、それらの中から、端末装置から要求される通信帯域に適したコンテンツのファイルを配信することができる。
上記の実測された通信帯域の値としては、例えば、所定の長さの時系列のチャンクの受信時に、端末装置が計測した値を用いる。帯域予測用データに含まれる通信帯域の値は、連続するチャンクに関して計測された値でもよいし、所定数のチャンクごとに計測された値でもよい。
これらの各装置は、例えば、電子回路を用いて実現される。また、各装置部は、必要に応じて、半導体メモリーや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各装置の機能を、コンピューターおよびソフトウェアによって実現するようにしてもよい。
帯域予測サーバー装置3-1,3-2は、直近の過去における映像の受信状況を表す情報(具体的には、通信帯域の実測値)を端末装置2から受け取り、その情報に基づいて、その端末装置2が近い未来において映像を受信する際の通信帯域を予測する。帯域予測サーバー装置3-1,3-2は、予測によってえら得た値を元の端末装置2に返す。なお、帯域予測サーバー装置3-1,3-2,・・・、総称して「帯域予測サーバー装置3」と呼ぶことがある。この図においては2台の帯域予測サーバー装置3のみを示しているが、実際には、帯域予測サーバー装置3の台数は任意である。
映像配信サーバー装置4は、端末装置2からの要求に基づいて、端末装置2に対して映像を配信する機能を有する。映像配信サーバー装置4は、ある映像コンテンツに関して、複数の異なる品質の映像ファイルを配信することができる。それらの映像ファイルのサイズ(単位時間当たりのバイト数等で表される)は、品質のレベルに応じて異なる。映像配信サーバー装置4は、端末装置2からの要求にしたがって、どの品質の映像ファイルを配信するかを決定する。
映像配信サーバー装置4は、前述のHASの方式で、動画のストリーミング配信を行う。
端末装置2(端末装置2-1,2-2,2-3,2-4,・・・のいずれか。以下においても同様。)は、映像配信サーバー装置4にアクセスして、動画のチャンクをダウンロードし、自装置内で再生する。
このとき、端末装置2は、チャンクを、所定の時系列順にダウンロードする。
端末装置2は、チャンクをダウンロードする際に、帯域予測サーバー装置3(帯域予測サーバー装置3-1,3-2のいずれか。以下においても同様。)に対して、データを送信する。このデータは、端末装置2が過去のチャンクをダウンロードした際の帯域(実測値)や、その時点でその端末装置が保持している空き映像バッファー量や、その時点でその端末装置のネットワークへの接続の種別を表すラベル値(数値)を含む。このデータを「帯域予測用データ」とも呼ぶ。
帯域予測サーバー装置3は、端末装置2から受信した帯域予測用データに基づき、帯域予測値を求める。具体的には、帯域予測サーバー装置3は、帯域予測用データを、帯域予測サーバー装置3の内部に備える帯域予測学習器に入力し、帯域予測学習器からの出力として帯域予測値を得る。帯域予測サーバー装置3は、求められた帯域予測値を、帯域予測用データの送信元の端末装置2に対して返信する。
端末装置2は、帯域予測サーバー装置3から帯域予測値を受信し、その帯域予測値に基づいて、次にダウンロードするチャンクのビットレートを選択する。即ち、端末装置2は、複数の異なるファイルサイズを有するチャンクの中から、その帯域予測値に合ったチャンクをダウンロードするよう選択する。
バッファー管理部12は、端末装置2が用いる通信用バッファー(特に、映像受信部11がコンテンツファイルを受信するための受信バッファー)を管理する。
映像復号部13は、映像受信部11によって受信された映像データを、バッファー管理部12が管理する受信バッファーから順次取り出し、復号する。
帯域情報管理部15は、帯域計測部14によって計測された通信帯域の値の時系列を記憶し、管理する。
具体的には、データ整形部17は、帯域計測部14が計測した通信帯域の計測値を含む帯域予測用データを整形する。
また、データ整形部17は、バッファー量計測部16が計測した空きバッファー量の値を含む帯域予測用データを整形する。
また、データ整形部17は、ネットワーク接続管理部19が管理する現在の通信ネットワーク接続の種別を表す値を含む帯域予測用データを整形する。
なお、帯域予測用データが含む情報は、本実施形態で説明する形態以外のものであってもよい。
データ送信部18は、データ整形部17が整形した帯域予測用データを外部の帯域予測サーバー装置3に送信する。
帯域制御部21は、帯域予測受信部20が受信した帯域予測値データに基づいて、映像受信部11が受信するコンテンツファイルについての通信帯域を制御する。つまり、帯域制御部21の制御により、映像受信部11は、帯域予測受信部20が受信した帯域予測値データに適した通信帯域のコンテンツファイルを受信することとなる。
帯域予測部32は、渡された帯域予測用データに基づいて通信帯域の値を予測し、出力する。
帯域予測送信部33は、帯域予測部32によって予測された値(帯域予測値)を、端末装置2に対して返信する。
帯域予測部32は、端末装置2側から渡された情報をもとに、帯域予測学習器を利用して情報を送信してきた端末装置のための次の時点の通信帯域を予測する。
帯域予測部32は、後述するように、機械学習機能を用いて実現される。また、帯域予測部32は、後述するように、一例としてニューラルネットワークを用いて実現される。つまり、帯域予測部32は、学習済みのモデルを記憶するモデル記憶部を有する。つまり、帯域予測部32の機能を、次のように捉えることができる。即ち、モデル記憶部は、端末装置2がコンテンツファイルを受信する際の状況を表す帯域予測用データと、前記帯域予測用データが表す状況において端末装置2が実際にコンテンツファイルを受信したときに計測された通信帯域の値との関係を予め学習して得られたモデルを記憶する。言い換えれば、「帯域予測用データが表す状況において端末装置2が実際にコンテンツファイルを受信したときに計測された通信帯域の値」とは、帯域予測用データを前提としたときに端末装置2が実際にコンテンツファイルを受信したときに計測された通信帯域の値である。具体的には、モデル記憶部は、例えば上記モデルのパラメーター値の集合を記憶するようする。つまり、このモデルは、帯域予測用データとその状況における通信帯域の値との関係を記憶するものである。この学習済みのモデルは、帯域予測用データが入力されたときに、通信帯域の値の最尤値を出力することができる。つまり、帯域予測部32は、端末装置2から帯域予測用データを受信した際に、受信した帯域予測用データと、上記のモデル記憶部が記憶するモデルとに基づいて、通信帯域の値を予測する。
なお、本実施形態における帯域予測部32は、端末装置2から受信した帯域予測用データと、当該帯域予測用データが表す状況において端末装置2が実際に前記コンテンツファイルを受信したときに計測された前記通信帯域の値とを用いた学習処理を行うことによって、上記のモデル記憶部が記憶するモデルを更新することができる。
具体的には、データ整形部17は、まず帯域情報管理部15から、過去のチャンクをダウンロードした際の帯域情報の時系列を取得する。つまりデータ整形部17は、時系列上、最新のものからTチャンク(Tは、正整数)分の帯域情報を、数値(帯域の値)のリストのデータとして取得する。なお、Tの値により、帯域を予測するために、どの程度過去のチャンクの受信時までの状況を使うかが決まる。Tの値は、予めシステム全体で適切に定めておくようにする。
なお、データ整形部17がデータを整形する時点で、過去にダウンロードしたチャンク数がT未満である場合には、データ整形部17は、取得可能なチャンク数分の帯域情報を取得したうえで、足りない分の帯域情報を埋める。例えば、データ整形部17は、取得可能な最も過去の帯域情報の数値をコピーして、不足する帯域情報を埋める(図5も参照)。
次に、データ整形部17は、バッファー量計測部16から、その時点でバッファー管理部12が使用可能な空き容量の情報(数値情報)を取得する。
さらに、データ整形部17は、ネットワーク接続管理部19から、その時点で端末装置2が接続しているネットワークの接続種別の情報を取得し、その接続種別に対応するラベル値を取得する。
図6は、帯域予測のための学習データの構築方法を説明するための概略図である。帯域予測サーバー装置3は、端末装置2から送信される帯域予測用データに基づいて帯域の予測を行うとともに、その帯域予測用データを蓄積して帯域予測のための学習データを構築する。同図(A)および(B)は、帯域予測サーバー装置3が端末装置2から受信する帯域予測用データの構成を示す。同図(A)は、時刻tにおける帯域予測用データを示す。また、同図(B)は、時刻(t+1)における帯域予測用データを示す。つまり、同図(B)に示すデータは、同図(A)に示すデータの1回後に、端末装置2から帯域予測サーバー装置3に送信されるデータである。
正規化帯域情報層203は、T個のノードを有する層であり、正規化部202から出力されるT個の数値データを、それぞれ、RNN(リカレントニューラルネットワーク)204に渡す。
映像バッファー量入力ノード211は、学習データの一部である映像バッファー量(空き容量)の数値データを受け付ける。
ネットワーク接続種別入力ノード212は、学習データの一部であるネットワーク接続種別のデータ(数値によるラベルのデータ)を受け付ける。
次に、ステップS13において、帯域予測受信部20は、帯域予測サーバー装置3から返送される帯域予測値のデータを受信する。帯域予測受信部20は、受信した帯域予測値のデータを、帯域制御部21に渡す。
次に、ステップS15において、映像受信部11は、映像のチャンクを受信する。受信されたチャンクのファイルはバッファー管理部12に渡され、さらに映像復号部13がそのチャンクの映像を復号・再生する。
上記実施形態では、端末装置2は、受信した1チャンクごとに帯域情報を求め、その帯域情報を含んだ帯域予測用データを帯域予測サーバー装置3に送信し、帯域予測サーバー装置3から返送される帯域予測値に基づいて、上記チャンクの次のチャンクの帯域を選択していた。本変形例では、端末装置2が、帯域情報を求める頻度や、帯域予測値を受信するタイミングや、受信した帯域予測値を適用するタイミングなどに関して、より高い自由度を持たせる。
なお、同図において、映像のチャンクファイルに順番を付している。以下において、図内の第i番目(iは正整数)のチャンクを、「チャンクi」と呼ぶ場合がある。
次に、ステップS22において、端末装置2は、映像配信サーバー装置4から、チャンク2を受信する。
以下同様に、端末装置2は、順次チャンクを受信する。
そして、ステップS23において、端末装置2は、映像配信サーバー装置4から、チャンクmを受信する。
ステップS24において、端末装置2は、整形した帯域予測用データを、帯域予測サーバー装置3に送信する。ここで、帯域予測用データは、Tセグメント分の帯域情報を含む。
ステップS25において、端末装置2は、映像配信サーバー装置4から、チャンク(m+1)を受信する。
次に、ステップS26において、端末装置2は、映像配信サーバー装置4から、チャンク(m+2)を受信する。
このセグメントの受信の途中における、ステップS27において、端末装置2は、帯域予測サーバー装置3から届く帯域予測値のデータを受信する。この帯域予測値は、チャンクmまでの帯域情報等に基づいて、帯域予測サーバー装置3が求めたものである。
本変形例において、端末装置2は、チャンクmまでの帯域情報に基づいて求められた帯域予測値を、チャンク(m+k)の受信時から適用する。ここで、kは、1以上の整数であり、予め定められる値である。即ち、端末装置2は、ステップS27で受信した帯域予測値を用いて、チャンク(m+k)以後のチャンクの帯域を選択する。
ステップS26のチャンク(m+2)以後も、端末装置2は受信を続ける。
そして、ステップS28において、端末装置2は、映像配信サーバー装置4から、チャンク(2m)を受信する。
そして、ステップS29において、端末装置2は、直近のTセグメント分の帯域情報を含んだ帯域予測用データを、帯域予測サーバー装置3に送信する。
以後も同様である。
上記の実施形態では、端末装置2は、帯域予測サーバー装置3に帯域の予測を要求する際に、接続種別と、映像バッファー量と、時系列の帯域情報とを、帯域予測サーバー装置3側に送信した。そして、帯域予測サーバー装置3は、これらの情報を受信して学習処理を行うとともに、これらの情報に基づいて帯域の予測を行った。一方、本変形例では、端末装置2は、上記とは異なる情報を帯域予測サーバー装置3に送り、帯域の予測を要求する。そして、帯域予測サーバー装置3は、その情報を受信して学習処理を行うとともに、その情報に基づいて帯域の予測を行う。
一例として、端末装置2は、帯域予測のための情報として、時系列の帯域情報(実績)のみを、帯域予測サーバー装置3に送信する。帯域予測サーバー装置3は、受信した時系列の帯域情報のみを用いて学習処理を行うとともに、その時系列の帯域情報に基づいて帯域を予測する。
また、一例として、端末装置2は、帯域予測のための情報として、現在時刻(または時間帯)の情報を、単独であるいは他の情報ととともに、帯域予測サーバー装置3に送信する。帯域予測サーバー装置3は、受信した現在時刻(または時間帯)の情報を用いて学習処理を行うとともに、その現在時刻(または時間帯)の情報に基づいて帯域を予測する。
さらに、別の例として、端末装置2は、ここに例示した情報以外の情報を帯域予測のために送信してもよい。その場合も、帯域予測サーバー装置3は、受信した情報に基づいて帯域を予測する。
上記の実施形態では、帯域予測サーバー装置3の帯域予測部32は、学習機能を備えていた。本変形例では、帯域予測部32は、学習機能を持たない。あるいは、帯域予測部32は、オンラインでの学習を行わない。しかし、本実施形態においても、帯域予測部32は、図7に示したようなニューラルネットワークを有しており、そのニューラルネットワークは予め学習済みである。つまり、帯域予測部32は、学習済みのモデルを予め記憶しており、端末装置2から受信する情報にその学習済みのモデルを適用することによって、帯域を予測する処理を行う。
上記の実施形態では、コンテンツとして、映像を配信する形態を説明した。配信システムにおいて端末装置に対して配信されるコンテンツは、映像に限らず、他の形態のコンテンツであってもよい。例えば、配信システムにおいて、音声のみから成るコンテンツを端末装置に配信するようにしてもよい。
また、上記の実施形態あるいはその変形例によれば、ビットレートを予測するための学習器を端末装置と分離して帯域予測サーバー装置として独立させ、かつ複数箇所に配置することで、学習データの収集、共有、学習を並列して行うことができる。また、帯域予測サーバー装置が複数存在することで、端末装置は適切な指標をもとに予測を依頼する帯域予測サーバー装置を選択することができ、高レスポンスかつ安定的に予測結果を得ることができる。
2,2-1,2-2,2-3,2-4,・・・ 端末装置
3,3-1,3-2 帯域予測サーバー装置(帯域予測装置)
4 映像配信サーバー装置
11 映像受信部(受信部)
12 バッファー管理部
13 映像復号部
14 帯域計測部
15 帯域情報管理部
16 バッファー量計測部
17 データ整形部
18 データ送信部
19 ネットワーク接続管理部
20 帯域予測受信部
21 帯域制御部
31 データ受信部
32 帯域予測部(予測部)
33 帯域予測送信部
201 帯域情報入力層
202 正規化部
203 正規化帯域情報層
204 RNN(リカレントニューラルネットワーク)
205 全結合層
211 映像バッファー量入力ノード
212 ネットワーク接続種別入力ノード
Claims (4)
- 端末装置がコンテンツファイルを受信する際の状況を表す帯域予測用データと、前記帯域予測用データが表す状況において前記端末装置が実際に前記コンテンツファイルを受信したときに計測された通信帯域の値との関係を予め学習して得られたモデルを記憶するモデル記憶部と、
端末装置から前記帯域予測用データを受信した際に、受信した前記帯域予測用データと、前記モデル記憶部が記憶する前記モデルとに基づいて、通信帯域の値を予測する予測部と、
を具備する帯域予測装置。 - 前記予測部は、前記端末装置から受信した前記帯域予測用データと、当該帯域予測用データが表す状況において前記端末装置が実際に前記コンテンツファイルを受信したときに計測された前記通信帯域の値とを用いた学習処理を行うことによって、前記モデル記憶部が記憶する前記モデルを更新する、
請求項1に記載の帯域予測装置。 - 前記帯域予測用データは、前記端末装置が過去の前記コンテンツファイルを受信したときに計測された通信帯域の値と、前記端末装置が前記コンテンツファイルを受信する際に用いる受信用バッファーの空き領域の量を表す空きバッファー量と、前記端末装置が前記コンテンツファイルを受信するための通信ネットワーク接続の種別を表す値と、の少なくともいずれかを含む、
請求項1または2に記載の帯域予測装置。 - コンピューターを、
請求項1から3までのいずれか一項に記載の帯域予測装置、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018116473A JP7270344B2 (ja) | 2018-06-19 | 2018-06-19 | 端末装置、帯域予測装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018116473A JP7270344B2 (ja) | 2018-06-19 | 2018-06-19 | 端末装置、帯域予測装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019220839A JP2019220839A (ja) | 2019-12-26 |
JP7270344B2 true JP7270344B2 (ja) | 2023-05-10 |
Family
ID=69097132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018116473A Active JP7270344B2 (ja) | 2018-06-19 | 2018-06-19 | 端末装置、帯域予測装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7270344B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016506644A (ja) | 2012-11-30 | 2016-03-03 | アルカテル−ルーセント | Httpアダプティブストリーミング動画を受信するための方法およびクライアント装置 |
WO2017094847A1 (ja) | 2015-12-02 | 2017-06-08 | 日本電信電話株式会社 | 体感品質最適化装置、ネットワーク品質推定装置、モバイル端末、体感品質最適化方法、ネットワーク品質推定方法、及びプログラム |
-
2018
- 2018-06-19 JP JP2018116473A patent/JP7270344B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016506644A (ja) | 2012-11-30 | 2016-03-03 | アルカテル−ルーセント | Httpアダプティブストリーミング動画を受信するための方法およびクライアント装置 |
WO2017094847A1 (ja) | 2015-12-02 | 2017-06-08 | 日本電信電話株式会社 | 体感品質最適化装置、ネットワーク品質推定装置、モバイル端末、体感品質最適化方法、ネットワーク品質推定方法、及びプログラム |
Non-Patent Citations (2)
Title |
---|
木村 拓人、松本 存史、林 孝典,ネットワークと協調したABR型動画配信向け視聴品質制御の実環境検証,電子情報通信学会技術研究報告,Vol.116 No.202,日本,一般社団法人電子情報通信学会,2016年08月22日,pp. 13 - 18 |
生出 真人、高橋 晶子,携帯端末を用いた利用者指向型動画配信サービスにおける動画品質決定手法の設計,第23回マルチメディア通信と分散処理ワークショップ論文集 情報処理学会シンポジウムシリーズ,Vol.2015 No.2,日本,一般社団法人情報処理学会,2015年10月07日,pp. 237 - 238 |
Also Published As
Publication number | Publication date |
---|---|
JP2019220839A (ja) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bokani et al. | Optimizing HTTP-based adaptive streaming in vehicular environment using markov decision process | |
CN110636339B (zh) | 基于码率的调度方法、装置及电子设备 | |
TW201332342A (zh) | 在網路環境內使用多路徑適應流送技術傳輸視聽內容之系統和方法 | |
JP2010537318A (ja) | オンラインキャッシュ及びピア・ツー・ピア転送を用いるメディアストリーミング | |
CN108833996A (zh) | 分布式dash系统中服务节点选择、更新和码率自适应方法 | |
He et al. | Joint rate and fov adaptation in immersive video streaming | |
JP6436772B2 (ja) | 受信ビットレートの動的適応方法および関連する受信機 | |
US10305955B1 (en) | Streaming decision in the cloud | |
CN110809167B (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
CN113014968B (zh) | 一种基于强化学习的多用户动态码率视频传输方法及系统 | |
CN113282786B (zh) | 一种基于深度强化学习的全景视频边缘协作缓存替换方法 | |
Sun et al. | Optimal strategies for live video streaming in the low-latency regime | |
KR102304476B1 (ko) | 적응적 스트리밍 서비스를 위한 다중 경로 기반 블록 전송 시스템 및 스트리밍 방법 | |
KR102521753B1 (ko) | 네트워크에서 스트리밍되는 콘텐츠를 클라이언트 디바이스의 플레이어에서 재생하기 위한 방법 | |
EP4013006A1 (en) | Method for playing on a player of a client device a content streamed in a network | |
Hafez et al. | Reinforcement learning-based rate adaptation in dynamic video streaming | |
Hayes et al. | Controlled unfair adaptive 360 VR video delivery over an MPTCP/QUIC architecture | |
JP7270344B2 (ja) | 端末装置、帯域予測装置、およびプログラム | |
CN110191362B (zh) | 数据传输方法及装置、存储介质及电子设备 | |
CN108282669A (zh) | 信息处理设备和信息处理系统 | |
CN114173132A (zh) | 一种面向动态比特率视频的自适应比特率选择方法及系统 | |
US11201901B2 (en) | Methods and systems for streaming media data over a content delivery network | |
CN114025190A (zh) | 多码率调度方法和多码率调度装置 | |
KR101869360B1 (ko) | 미디어 버퍼 제어를 이용한 효율적인 무선 네트워크 스트리밍 중계 엔진 시스템 | |
Younus et al. | A model for a practical evaluation of a DASH-based rate adaptive algorithm over HTTP |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210506 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7270344 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |