JP6544188B2 - バッファサイズ決定装置、システム、バッファサイズ決定方法、映像データ再生方法およびプログラム - Google Patents
バッファサイズ決定装置、システム、バッファサイズ決定方法、映像データ再生方法およびプログラム Download PDFInfo
- Publication number
- JP6544188B2 JP6544188B2 JP2015203814A JP2015203814A JP6544188B2 JP 6544188 B2 JP6544188 B2 JP 6544188B2 JP 2015203814 A JP2015203814 A JP 2015203814A JP 2015203814 A JP2015203814 A JP 2015203814A JP 6544188 B2 JP6544188 B2 JP 6544188B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- video
- average value
- video data
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Communication Control (AREA)
- Computer And Data Communications (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Description
本発明の第1の実施の形態について、図面を参照して詳細に説明する。図1は、本実施の形態に係るライブ映像ストリーミングシステム(単に、システムとも呼ぶ)1の構成の一例を示す図である。図1に示すライブ映像ストリーミングシステム1は、送信装置100と、再生装置200とを含んでいる。送信装置100と再生装置200とは通信ネットワーク(単に、ネットワークとも呼ぶ)を介して通信可能に接続されている。送信装置100は、カメラ等の撮像装置でキャプチャした映像(ライブ映像とも呼ぶ)を表す映像データを、再生装置200にストリーミング配信するストリーミングサーバである。再生装置200は、送信装置100からストリーミング配信された映像データを受信し、再生バッファに格納する。そして、再生装置200は、再生バッファに格納された映像データを順次再生する。
ここで、初期再生バッファサイズが映像視聴者の体感品質に及ぼす影響について説明する。なお、本実施形態では、映像ビットレートがTCPスループットを下回るように制御する制御方法(適応レート制御)を一例として考える。つまり、本実施形態における制御方法は、時刻tにおいて、TCPスループットxtが計測されたとき、同時刻に符号化する映像ビットレートbtを式(1)で選択する方法を採用する。
・画質…初期再生バッファサイズτbufが大きい程良い (高画質になる)
・画質変動…初期再生バッファサイズτbufが大きい程良い (画質変動が小さくなる)
・再生遅延…初期再生バッファサイズτbufが小さい程良い (再生遅延が少なくなる)
・再生途絶…初期再生バッファサイズτbufが大きい程良い (再生途絶が少なくなる)
(ライブ映像ストリーミングシステム1の構成)
次に、図5を参照して、本実施の形態に係るライブ映像ストリーミングシステム1の送信装置100および再生装置200の機能構成について説明する。図5は、本実施の形態に係るライブ映像ストリーミングシステム1の送信装置100および再生装置200の機能構成の一例を示す機能ブロック図である。本実施の形態におけるライブ映像ストリーミングシステム1は、上述した初期再生バッファサイズτbufの体感品質に及ぼす影響を考慮して、この体感品質を向上させる(高品質にする)初期再生バッファサイズτbufを決定する。
(a)初期再生バッファサイズτbuf、
(b)ステップS3で算出された遅延時間(本実施の形態ではτbuf)、および、
(c)ステップS2で算出された映像ビットレートの平均値bt τbuf ̄および映像ビットレートの平均変動量v[bt τbuf]。
上述したバッファサイズ決定装置300で用いる具体的な関数の一例について説明する。ここでは、図2に示したTCPスループットデータを対象に、初期再生バッファサイズτbufの設計例を示す。上述した式(7)から式(10)で示した体感品質の劣化指標の具体的な関数例として、以下の式(13)から式(16)を用いる。
本実施の形態にライブ映像ストリーミングシステム1は、映像データを、通信ネットワークを介してストリーミング配信する送信装置100と、映像データを蓄積する再生バッファを備え、ストリーミング配信された映像データを再生する再生装置200とを含んでいる。そして、再生装置200には、バッファサイズ決定装置300が含まれる。
本発明の第2の実施の形態について、図面を参照して詳細に説明する。第1の実施の形態では、バッファサイズ決定装置300が再生装置200に備えられることを例に説明を行ったが、バッファサイズ決定装置300は、送信装置100に備えられる構成であってもよい。図13は、本実施の形態に係るライブ映像ストリーミングシステム2の送信装置110および再生装置210の機能構成の一例を示す機能ブロック図である。なお、説明の便宜上、前述した第1の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。なお、本実施の形態に係るライブ映像ストリーミングシステム2の構成は、図1を用いて説明したライブ映像ストリーミングシステム1と同様であるため、説明を省略する。
本発明の第3の実施の形態について、図面を参照して詳細に説明する。上述した実施の形態では、バッファサイズ決定装置300が再生装置200または送信装置110に備えられることを例に説明を行ったが、バッファサイズ決定装置300は、送信装置および受信装置とは別個の装置で実現されるものであってもよい。
本発明の第4の実施の形態について、図面を参照して詳細に説明する。本実施の形態では、本発明の課題を解決する基本の構成について説明する。図16は、本実施の形態に係るバッファサイズ決定装置400の機能構成の一例を示す機能ブロック図である。図16に示すバッファサイズ決定装置400は、上述したバッファサイズ決定装置300の基本となる構成である。バッファサイズ決定装置400は、上記第1の実施の形態と同様に、再生装置内に含まれるものであってもよい。また、バッファサイズ決定装置400は、上記第2の実施の形態と同様に、送信装置内に含まれるものであってもよいし、上記第3の実施の形態と同様に、再生装置および送信装置とは別個の装置で実現されてもよい。
本発明の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図17に示すような情報処理装置500とプログラムとの任意の組み合わせにより実現される。情報処理装置500は、一例として、以下のような構成を含む。
・ROM(Read Only Memory)502
・RAM(Ramdom Access Memory)503
・RAM503にロードされるプログラム504
・プログラム504を格納する記憶装置505
・記録媒体506の読み書きを行うドライブ装置507
・通信ネットワーク509と接続する通信インターフェース508
・データの入出力を行う入出力インターフェース510
・各構成要素を接続するバス511
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム504をCPU501が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム504は、例えば、予め記憶装置505やRAM503に格納されており、必要に応じてCPU501が読み出す。なお、プログラム504は、通信ネットワーク509を介してCPU501に供給されてもよいし、予め記録媒体506に格納されており、ドライブ装置507が当該プログラムを読み出してCPU501に供給してもよい。
映像データのストリーミング配信が行われる通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記映像データを蓄積する再生バッファの前記映像データの蓄積量の初期値に基づいて算出する第1算出手段と、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出する第2算出手段と、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出する第3算出手段と、
前記体感品質値を最大にする前記初期値を決定する決定手段と、を備えるバッファサイズ決定装置。
前記体感品質値は、画質、画質変動、再生遅延および再生途絶の少なくともいずれか1つに基づいた値である、付記1に記載のバッファサイズ決定装置。
前記第3算出手段は、
前記画質に基づいた体感品質値を、前記映像ビットレートの平均値に基づいて算出し、
前記画質変動に基づいた体感品質値を、前記映像ビットレートの平均値に対する、前記映像ビットレートの変動量の平均値の割合に基づいて算出し、
前記再生遅延に基づいた体感品質値を、前記初期値に基づいて算出し、
前記再生途絶に基づいた体感品質値を、前記初期値に基づいて算出する、付記2に記載のバッファサイズ決定装置。
前記初期値に基づいて、前記映像データの遅延時間を算出する遅延時間算出手段を更に備え、
前記第3算出手段は、前記再生遅延に基づいた体感品質値を、前記遅延時間に基づいて算出する、付記3に記載のバッファサイズ決定装置。
映像データを、通信ネットワークを介してストリーミング配信する送信装置と、
前記ストリーミング配信された映像データを再生する再生装置と、
前記バッファサイズ決定装置と、を備え、
前記再生装置は、前記映像データを蓄積する再生バッファを備え、
前記バッファサイズ決定装置は、
前記通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記再生バッファの前記映像データの蓄積量の初期値に基づいて算出する第1算出手段と、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出する第2算出手段と、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出する第3算出手段と、
前記体感品質値を最大にする前記初期値を決定する決定手段と、を備え、
前記再生装置は、前記決定された初期値を、前記再生バッファの前記映像データの蓄積量の初期値として設定する、システム。
前記送信装置は、前記通信ネットワークの通信スループットに応じて、ストリーミング配信する前記映像データの映像ビットレートを決定するビットレート決定手段を備える付記5に記載のシステム。
前記体感品質値は、画質、画質変動、再生遅延および再生途絶の少なくともいずれか1つに基づいた値である、付記5または6に記載のシステム。
前記第3算出手段は、
前記画質に基づいた体感品質値を、前記映像ビットレートの平均値に基づいて算出し、
前記画質変動に基づいた体感品質値を、前記映像ビットレートの平均値に対する、前記映像ビットレートの変動量の平均値の割合に基づいて算出し、
前記再生遅延に基づいた体感品質値を、前記初期値に基づいて算出し、
前記再生途絶に基づいた体感品質値を、前記初期値に基づいて算出する、付記7に記載のシステム。
前記バッファサイズ決定装置は、
前記初期値に基づいて、前記映像データの遅延時間を算出する遅延時間算出手段を更に備え、
前記第3算出手段は、前記再生遅延に基づいた体感品質値を、前記遅延時間に基づいて算出する、付記8に記載のシステム。
前記バッファサイズ決定装置は、前記再生装置内または前記送信装置内に含まれる、付記5から9の何れか1つに記載のシステム。
映像データのストリーミング配信が行われる通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記映像データを蓄積する再生バッファの前記映像データの蓄積量の初期値に基づいて算出し、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出し、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出し、
前記体感品質値を最大にする前記初期値を決定する、バッファサイズ決定方法。
映像データのストリーミング配信が行われる通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記映像データを蓄積する再生バッファの前記映像データの蓄積量の初期値に基づいて算出し、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出し、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出し、
該体感品質値を最大にする前記初期値を決定し、
前記決定された初期値を、前記再生バッファの前記映像データの蓄積量の初期値として設定し、
前記映像データを、前記通信ネットワークを介してストリーミング配信し、
前記ストリーミング配信された映像データを、前記初期値が設定された前記再生バッファに蓄積し、
前記再生バッファに蓄積された映像データを再生する、映像データ再生方法。
映像データのストリーミング配信が行われる通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記映像データを蓄積する再生バッファの前記映像データの蓄積量の初期値に基づいて算出する処理と、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出する処理と、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出する処理と、
該体感品質値を最大にする前記初期値を決定する処理とを、コンピュータに実行させるプログラム。
100 送信装置
110 送信装置
101 映像取得部
102 符号化部
103 送信部
104 スループット算出部
105 ビットレート決定部
200 再生装置
210 再生装置
201 送受信部
202 復号部
203 再生バッファ部
204 再生部
300 バッファサイズ決定装置
301 第1算出部
302 第2算出部
303 第3算出部
306 決定部
307 遅延時間算出部
309 記憶部
400 バッファサイズ決定装置
401 第1算出部
402 第2算出部
403 第3算出部
406 決定部
Claims (10)
- 映像データのストリーミング配信が行われる通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記映像データを蓄積する再生バッファの前記映像データの蓄積量の初期値に基づいて算出する第1算出手段と、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出する第2算出手段と、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出する第3算出手段と、
前記体感品質値を最大にする前記初期値を決定する決定手段と、を備える、ことを特徴とするバッファサイズ決定装置。 - 前記体感品質値は、画質、画質変動、再生遅延および再生途絶の少なくともいずれか1つに基づいた値である、ことを特徴とする請求項1に記載のバッファサイズ決定装置。
- 前記第3算出手段は、
前記画質に基づいた体感品質値を、前記映像ビットレートの平均値に基づいて算出し、
前記画質変動に基づいた体感品質値を、前記映像ビットレートの平均値に対する、前記映像ビットレートの変動量の平均値の割合に基づいて算出し、
前記再生遅延に基づいた体感品質値を、前記初期値に基づいて算出し、
前記再生途絶に基づいた体感品質値を、前記初期値に基づいて算出する、ことを特徴とする請求項2に記載のバッファサイズ決定装置。 - 映像データを、通信ネットワークを介してストリーミング配信する送信装置と、
前記ストリーミング配信された映像データを再生する再生装置と、
バッファサイズ決定装置と、を備え、
前記再生装置は、前記映像データを蓄積する再生バッファを備え、
前記バッファサイズ決定装置は、
前記通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記再生バッファの前記映像データの蓄積量の初期値に基づいて算出する第1算出手段と、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出する第2算出手段と、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出する第3算出手段と、
前記体感品質値を最大にする前記初期値を決定する決定手段と、を備え、
前記再生装置は、前記決定された初期値を、前記再生バッファの前記映像データの蓄積量の初期値として設定する、ことを特徴とするシステム。
- 前記送信装置は、前記通信ネットワークの通信スループットに応じて、ストリーミング配信する前記映像データの映像ビットレートを決定するビットレート決定手段を備えることを特徴とする請求項4に記載のシステム。
- 前記体感品質値は、画質、画質変動、再生遅延および再生途絶の少なくともいずれか1つに基づいた値である、ことを特徴とする請求項4または5に記載のシステム。
- 前記バッファサイズ決定装置は、前記再生装置内または前記送信装置内に含まれる、ことを特徴とする請求項4から6の何れか1項に記載のシステム。
- 映像データのストリーミング配信が行われる通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記映像データを蓄積する再生バッファの前記映像データの蓄積量の初期値に基づいて算出し、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出し、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出し、
前記体感品質値を最大にする前記初期値を決定する、ことを特徴とするバッファサイズ決定方法。 - 映像データのストリーミング配信が行われる通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記映像データを蓄積する再生バッファの前記映像データの蓄積量の初期値に基づいて算出し、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出し、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出し、
該体感品質値を最大にする前記初期値を決定し、
前記決定された初期値を、前記再生バッファの前記映像データの蓄積量の初期値として設定し、
前記映像データを、前記通信ネットワークを介してストリーミング配信し、
前記ストリーミング配信された映像データを、前記初期値が設定された前記再生バッファに蓄積し、
前記再生バッファに蓄積された映像データを再生する、ことを特徴とする映像データ再生方法。 - 映像データのストリーミング配信が行われる通信ネットワークにおける、単位時間あたりに伝送されるデータの量である通信スループットおよび該通信スループットの変動量の平均値を、前記映像データを蓄積する再生バッファの前記映像データの蓄積量の初期値に基づいて算出する処理と、
前記通信スループットおよび前記通信スループットの変動量の平均値に基づいて、ストリーミング配信する前記映像データの映像ビットレートの平均値および前記映像ビットレートの変動量の平均値を算出する処理と、
前記初期値、前記映像ビットレートの平均値および前記映像ビットレートの変動量の平均値に基づいて、映像視聴者の体感品質を表す体感品質値を算出する処理と、
該体感品質値を最大にする前記初期値を決定する処理とを、コンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015203814A JP6544188B2 (ja) | 2015-10-15 | 2015-10-15 | バッファサイズ決定装置、システム、バッファサイズ決定方法、映像データ再生方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015203814A JP6544188B2 (ja) | 2015-10-15 | 2015-10-15 | バッファサイズ決定装置、システム、バッファサイズ決定方法、映像データ再生方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017076892A JP2017076892A (ja) | 2017-04-20 |
JP6544188B2 true JP6544188B2 (ja) | 2019-07-17 |
Family
ID=58549577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015203814A Active JP6544188B2 (ja) | 2015-10-15 | 2015-10-15 | バッファサイズ決定装置、システム、バッファサイズ決定方法、映像データ再生方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6544188B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019044065A1 (ja) * | 2017-08-30 | 2019-03-07 | 日本電気株式会社 | 動画再生ビットレート推定装置、方法、及びプログラムを格納した非一時的なコンピュータ可読媒体、並びに通信品質測定装置 |
CN114584846A (zh) | 2018-02-09 | 2022-06-03 | 华为技术有限公司 | 数据处理方法、服务器以及视频处理装置 |
JP6963835B2 (ja) * | 2019-09-25 | 2021-11-10 | 株式会社コルグ | 再生制御装置、再生制御方法、およびプログラム |
CN116916113B (zh) * | 2023-09-06 | 2023-12-22 | 联通(江苏)产业互联网有限公司 | 一种基于5g视频客服的数据流平滑处理方法 |
-
2015
- 2015-10-15 JP JP2015203814A patent/JP6544188B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017076892A (ja) | 2017-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109618565B (zh) | 流式视频用户体验质量的自动测量方法和系统 | |
JP6544188B2 (ja) | バッファサイズ決定装置、システム、バッファサイズ決定方法、映像データ再生方法およびプログラム | |
US11463750B2 (en) | Method and apparatus for transmitting adaptive video in real time using content-aware neural network | |
JP6225446B2 (ja) | 動画像データ配信装置、方法、プログラム、及びシステム | |
CA2823830A1 (en) | Systems and methods for perfroming adaptive bitrate streaming based upon stream delay and "channel rate | |
US9654770B2 (en) | Method and apparatus for evaluating media quality | |
US10911791B2 (en) | Optimizing encoding operations when generating a buffer-constrained version of a media title | |
KR20080002778A (ko) | 비디오 품질 추정 장치, 방법 및 프로그램 | |
JP5673538B2 (ja) | 配信システム | |
JP4308227B2 (ja) | 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム | |
KR20150073207A (ko) | 스트림 미디어에 기반하여 비트스트림 세그먼트를 선택하는 방법, 플레이어, 및 단말 | |
TW201306601A (zh) | 基於圖框相似性及視覺品質及興趣之圖框編碼選擇 | |
KR20150131175A (ko) | Http를 통한 동적 적응형 스트리밍에서 미디어 세그먼트들의 손실 존재시의 회복력 | |
US11677797B2 (en) | Techniques for encoding a media title while constraining quality variations | |
US10841356B2 (en) | Techniques for encoding a media title while constraining bitrate variations | |
KR102129115B1 (ko) | 컨텐츠 인지 신경망을 이용하여 실시간으로 적응형 비디오를 전송하는 방법 및 장치 | |
JP5390369B2 (ja) | 映像品質推定装置および方法、符号化ビットレート推定装置および方法、並びにプログラム | |
CN115842928B (zh) | 视频码率切换方法、装置、计算机设备和存储介质 | |
JP6793526B2 (ja) | 動画配信システム、配信サーバ、及びプログラム | |
JP6517342B2 (ja) | 配信レート選択装置、配信レート選択方法、及びプログラム | |
Wilk et al. | VAS: A video adaptation service to support mobile video | |
CN108282669A (zh) | 信息处理设备和信息处理系统 | |
JP2016510567A (ja) | コンテキスト・ベースのビデオ品質評価のための方法および装置 | |
WO2021167531A1 (en) | Methods and systems for bandwidth estimation | |
EP2786567A1 (en) | Video quality measurement considering multiple artifacts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190409 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6544188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |