JP6732970B2 - 異種ネットワークに基づくマルチメディアリソースを同期に送る方法 - Google Patents
異種ネットワークに基づくマルチメディアリソースを同期に送る方法 Download PDFInfo
- Publication number
- JP6732970B2 JP6732970B2 JP2018567950A JP2018567950A JP6732970B2 JP 6732970 B2 JP6732970 B2 JP 6732970B2 JP 2018567950 A JP2018567950 A JP 2018567950A JP 2018567950 A JP2018567950 A JP 2018567950A JP 6732970 B2 JP6732970 B2 JP 6732970B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- resource
- multimedia
- broadband
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L27/00—Modulated-carrier systems
- H04L27/26—Systems using multi-frequency codes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
- H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
- H04N21/64746—Control signals issued by the network directed to the server or the client
- H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
- H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
- Mobile Radio Communication Systems (AREA)
Description
一つ目は、サーバー端がブロードキャストによってユーザにメディアコンテンツを送信する場合において、ユーザが同じメディアコンテンツの広帯域リソースをリクエストすると、広帯域ネットワークの遅延および帯域幅により、クライアント端においてはブロードキャストおよび広帯域から受信したコンテンツが時間的に非同期となる。
二つ目は、サーバー端がブロードキャストおよび広帯域によってユーザに同じメディアコンテンツを送信する場合において、ユーザが広帯域リソースのメディアストリーム(例えば、異なる視角、異なるオーディオ等)の変更をリクエストすると、メディアストリーミングを切り換える際に、異なる広帯域ネットワークの遅延および帯域幅が異なるため、端末においては新しい帯域幅コンテンツとブロードキャストコンテンツとが非同期となる。
三つ目は、サーバー端がブロードキャストおよび広帯域によってユーザに同じメディアコンテンツを送信する場合において、ある時刻に広帯域ネットワークの状況が悪化して広帯域チャネルの放送がスムーズにならず、ビデオが再度スムーズに放送される時まで待つと、異なるユーザ同士においてブロードキャストと広帯域のリソースとが非同期となる。
方法1として、
サーバー端により、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報を取得するステップ1と、
サーバー端がユーザ端からのリクエストを受信した後、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報に基づいて、マルチメディアリソースが同期表示可能な時刻を算出するステップ2と、
サーバー端により上記同期表示可能な時刻以降のマルチメディアリソースを送信し、異なるユーザの広帯域コンテンツが全て同期表示できるように、ユーザ端がメディアリソースの開始表示時間に基づいてコンテンツを同期放送するステップ3と、を含み、
方法2として、
サーバー端により、異なるユーザの所在する広帯域ネットワークの遅延および利用可能な広帯域情報を取得するステップ1と、
サーバー端がユーザ端からのリクエストを受信した後、異なるユーザの所在する広帯域ネットワークの遅延および利用可能な広帯域情報に基づいて、マルチメディアリソースが同期表示可能な時刻を算出するステップ2と、
サーバー端により上記同期表示可能な時刻以降のマルチメディアリソースを送信し、ユーザ端にマルチメディアリソースコンテンツの放送開始時間を通知し、異なるユーザ端が放送開始時間に基づいて広帯域コンテンツを同期表示するステップ3と、を含む。
現在、異種ネットワークに基づく多様化の端末表示方式は既に発展の趨勢になっている。高品質の放送ビデオプログラムを視聴するとともに、人々の多様化されたネットワークメディアサービスに対する要求も増々高まっている。一般的に、ブロードキャストチャネルからのメディアコンテンツは小さくて固定された遅延があるため、メディアコンテンツの同期に与える影響が小さいが、広帯域からのメディアコンテンツ、例えば、オーディオ・ビデオ、字幕、マルチメディアアプリケーション等はカレントIPネットワークの影響を受けやすく、大きくて変動する遅延が発生し、コンテンツの同期に問題をもたらしてしまう。
本実施例の全体的な技術手段としては、ネットワークにおける該当の方法により、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報を取得して、サーバー端が広帯域リソースを伝送し始める開始時間を変更するのに使用し、異種ネットワークにおけるマルチメディアリソースの同期を実現する。
まず、サーバー端は、一部の方法、例えば、ユーザ端からフィードバックされたシグナリング情報を概算し測定すること等により、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報を取得できる。
(ステップ1)
既知のサーバー端がt0時刻でクライアント端からのリクエストを受信し、異なるユーザ群のダウンリンクエンドツーエンドの広帯域ネットワーク遅延は△tであり、独立復号可能メディアユニットMU(media unit)の継続時間はMU_durationである。
ユーザの所在するエンドツーエンド広帯域ネットワークの遅延の異なる状況に対し、同期を保証するために、サーバーはt0時刻でtini時刻のマルチメディアリソースを送信する。tiniはttmpの後の第一番目の完全なMUの開始時刻であり、「数3」における式(1)、式(2)に示すような関係を有する。
MU_duration:0〜10s、好ましくは0.5sである。
△t:0〜∞、好ましくは2sである。
最初に送信するコンテンツがtini時刻およびその後のマルチメディアリソースであるため、広帯域とブロードキャスとの同期を保証するために、広帯域が完全な第一番目のMUを受信した後、直ちに放送せず、tini時刻まで待機し、それ以降にこの時刻のメディアコンテンツを送信する。
versionは、HRBMのメッセージバージョンを示し、
lengthは、HRBMのメッセージ長さを示し、
extension_fields_Byteは、HRBMの拡張フィールドを示し、
max_buffer_sizeは、HRBMの最大キャッシングサイズを示し、
fixed_end_to_end_delayは、エンドツーエンドネットワーク遅延を示し、
max_transmission_delayは、最大伝送遅延を示し、
t0=18:00:00にサーバー端はリクエストを受信し、ここで、fixed_end_to_end_delay=△t=2sである。独立復号可能メディアユニットの継続時間はビデオリソースから取得することができ、MU_duration=0.5sである。
ttmp=t0+△t=18:00:02
tini=18:00:022
サーバー端はt0=18:00:00時刻にtini=18:00:022のリソースを送信し、クライアント端が第一番目のメディアリソースを受信した時間は18:00:02であり、受信した第一番目のメディアリソースのタイムスタンプ情報timestamp=18:00:022により、カレントメディアユニットをキャッシングし、18:00:022になってから該リソースを放送する。
本実施例の採用する全体的な技術手段としては、ネットワークにおける該当の方法により、異なるユーザの所在する広帯域ネットワーク遅延および利用可能帯域幅等の情報を取得して、サーバー端が広帯域リソースを伝送し始める開示時間を変更するのに使用し、異種ネットワークにおけるマルチメディアリソースの同期を実現する。
まず、サーバー端は、一部の方法、例えば、ユーザ端からフィードバックされたシグナリング情報を概算し測定すること等により、異なるユーザの所在する広帯域ネットワークの遅延および利用可能帯域幅等の情報を取得する。
(ステップ1)
既知のサーバー端がt0時刻でクライアント端からのリクエストを受信し、異なるユーザ群のダウンリンクの広帯域ネットワーク遅延は△tであり、利用可能帯域幅はBbであり、ビデオビットレートはBrであり、独立復号可能メディアユニットMU(media unit)の継続時間はMU_durationである。
ユーザの所在する広帯域ネットワークの遅延および利用可能帯域幅の異なる状況に対し、同期を保証するために、サーバーはt0時刻でtini時刻のマルチメディアリソースを送信する。tiniはttmpの後の第一番目の完全なMUの開始時刻であり、「数4」における式(1)、式(2)、式(3)に示すような関係を有する。
MU_size:0〜100Mbits、好ましくは30Mbitsである。
MU_duration:0〜10s、好ましくは0.5sである。
Br:0〜50Mbps、好ましくは25Mbpsである。
Bb:0〜1Tbps、好ましくは1Mbpsである。
△t:0〜∞、好ましくは2sである。
最初に送信するコンテンツがtini時刻およびその後のマルチメディアリソースであるため、広帯域とブロードキャスとの同期を保証するために、広帯域が完全な第一番目MUを受信した後、直ちに放送せず、tini時刻まで待機し、それ以降にこの時刻のメディアコンテンツを送信する。
△T=MU_size/Bb+△t=8241/512+2=16.10s
ttmp=t0+△T=18:00:1610
tini=18:00:1641
サーバー端はt0=18:00:00時刻にtini=18:00:1641のリソースを送信し、リソースを送信すると同時に、サーバー端は1つのダウンリンクシグナリングを送信してクライアント端に送信した第一番目の独立復号可能メディアリソースのシリアルナンバーを通知してユーザに放送時間を通知しなければならず、応答メッセージresponse_messageは下記の「表3」に示されるとおりである。
Claims (11)
- 異種ネットワークに基づくマルチメディアリソースを同期に送る方法であって、
サーバー端により、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報を取得するステップ1と、
サーバー端がユーザ端からのリクエストを受信した後、異なるユーザの所在するエンドツーエンドの広帯域ネットワークの遅延情報に基づいて、マルチメディアリソースが同期表示可能な時刻を算出するステップ2と、
サーバー端により上記同期表示可能な時刻以降のマルチメディアリソースを送信し、異なるユーザの広帯域コンテンツが全て同期表示できるように、ユーザ端がメディアリソースの開始表示時間に基づいてコンテンツを同期放送するステップ3と、
を含む方法1と、
サーバー端により、異なるユーザの所在する広帯域ネットワークの遅延および利用可能広帯域情報を取得するステップ1と、
サーバー端によりユーザ端からのリクエストを受信した後、異なるユーザの所在する広帯域ネットワークの遅延と利用可能広帯域情報に基づいて、マルチメディアリソースが同期表示可能な時刻を算出するステップ2と、
サーバー端により上記同期表示可能な時刻以降のマルチメディアリソースを送信し、ユーザ端にマルチメディアリソースコンテンツの放送開始時間を通知し、異なるユーザ端が放送開始時間に基づいて広帯域コンテンツを同期表示するステップ3と、
を含む方法2と、
のうちいずれか1つを用い、
前記方法1と方法2とは、異種ネットワークのメディアサービスにおける異なるユーザがある時刻でサーバー端に同じマルチメディアリソースをリクエストし、または異なるマルチメディアリソースを切り換え、またはネットワークの様々な状況の悪化によりマルチメディアリソースを再度リクエストし、マルチメディアリソースのコンテンツを同期表示するための場合に適用する、ことを特徴とする異種ネットワークに基づくマルチメディアリソースを同期に送る方法。 - 前記方法1のステップ2において、ユーザの所在する広帯域ネットワークの遅延△tが異なる状況に対し、同期を保証するために、サーバー端はt0時刻でtini時刻のマルチメディアリソースを送信し、ここで、tiniはttmpの後の第一番目の完全な独立復号可能メディアリソースMUの開始時刻であり、ここで、
ことを特徴とする請求項1に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。 - 前記MU_durationの値の範囲は0〜10sであり、前記△tの値の範囲は0〜∞である、ことを特徴とする請求項2に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
- 前記MU_durationの値は0.5sであり、前記△tの値は2sである、ことを特徴とする請求項3に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
- 前記方法1のステップ3において、サーバー端の最初に送信したコンテンツはtini時刻以降のマルチメディアリソースであり、広帯域とブロードキャスとが同期するように、ユーザ端は広帯域によって完全な第一番目のMUを受信した後、直ちに放送せず、tini時刻になってからこの時刻のマルチメディアリソースを放送する、ことを特徴とする請求項2に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
- 前記方法1において、前記サーバー端はユーザ端にマルチメディアリソースを送信し、ユーザ端はメディアリソースの開始表示時間に基づいてコンテンツを同期放送する、ことを特徴とする請求項1に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
- 前記方法2のステップ2において、ユーザの所在する広帯域ネットワークの遅延△tおよび利用可能広帯域Bbの異なる状況に対し、同期を保証するために、サーバー端はt0時刻でtini時刻のマルチメディアリソースを送信し、ここで、tiniはttmpの後の第一番目の完全な独立復号可能メディアリソースMUの開始時刻であり、ここで、
ことを特徴とする請求項1に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。 - 前記MU_sizeの値の範囲は0〜100Mbitsであり、前記MU_durationの値の範囲は0〜10sであり、前記Brの値の範囲は0〜50Mbpsであり、前記Bbの値の範囲は0〜1Tbpsであり、前記△tの値の範囲は0〜∞である、ことを特徴とする請求項7に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
- 前記MU_sizeの値は30Mbitsであり、前記MU_durationの値は0.5sであり、前記Brの値は25Mbpsであり、前記Bbの値は1Mbpsであり、前記△tの値は2sである、ことを特徴とする請求項8に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
- 前記方法2のステップ3において、サーバー端の最初に送信したコンテンツはtini時刻以降のマルチメディアリソースであり、広帯域とブロードキャスとを同期させるために、ユーザ端は広帯域によって完全な第一番目のMUを受信した後、直ちに放送せず、tini時刻になってからこの時刻のマルチメディアリソースを放送する、ことを特徴とする請求項7に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
- 前記方法2において、前記サーバー端はマルチメディアリソースを送信すると同時に、1つのダウンリンクシグナリングを送信してユーザ端に送信した第一番目の独立復号可能メディアリソースのシリアルナンバーを通知することにより、ユーザに放送時間を通知する、ことを特徴とする請求項1に記載の異種ネットワークに基づくマルチメディアリソースを同期に送る方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610757375.1 | 2016-08-29 | ||
CN201610757375.1A CN107801103B (zh) | 2016-08-29 | 2016-08-29 | 异构网络下基于网络状况的多媒体资源自适应同步方法 |
CN201610916013.2 | 2016-10-20 | ||
CN201610916013.2A CN107968950A (zh) | 2016-10-20 | 2016-10-20 | 一种基于异构网络的多媒体资源同步推送方法 |
PCT/CN2017/099434 WO2018041092A1 (zh) | 2016-08-29 | 2017-08-29 | 一种基于异构网络的多媒体资源同步推送方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019527497A JP2019527497A (ja) | 2019-09-26 |
JP6732970B2 true JP6732970B2 (ja) | 2020-07-29 |
Family
ID=61300029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018567950A Active JP6732970B2 (ja) | 2016-08-29 | 2017-08-29 | 異種ネットワークに基づくマルチメディアリソースを同期に送る方法 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6732970B2 (ja) |
KR (1) | KR102271686B1 (ja) |
CA (1) | CA3026535C (ja) |
WO (1) | WO2018041092A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102580417B1 (ko) * | 2018-05-31 | 2023-09-20 | 삼성에스디에스 주식회사 | 메시지 전송 지연 관리 장치 및 방법 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6425131B2 (en) * | 1998-12-30 | 2002-07-23 | At&T Corp. | Method and apparatus for internet co-browsing over cable television and controlled through computer telephony |
KR100889836B1 (ko) * | 2007-11-15 | 2009-03-20 | 한양대학교 산학협력단 | 데이터 방송의 동기화 기능을 갖는 방송 수신기 및 이를이용한 데이터 방송의 동기화 방법 |
CN101304351A (zh) * | 2008-06-30 | 2008-11-12 | 湖南创智数码科技股份有限公司 | 基于点对点传输的流媒体直播系统同步播放方法 |
CN101938456B (zh) * | 2009-06-30 | 2014-03-12 | 华为技术有限公司 | 一种减小媒体延迟的方法、设备及系统 |
CN102572611B (zh) * | 2010-12-07 | 2015-05-13 | 中国电信股份有限公司 | 不同用户同步收看网络直播流的方法和系统 |
JP6472892B2 (ja) * | 2015-02-06 | 2019-02-20 | 上海交通大学Shanghai Jiao Tong University | 異種ネットワーク伝送における動的時間窓およびキャッシュメカニズム |
-
2017
- 2017-08-29 CA CA3026535A patent/CA3026535C/en active Active
- 2017-08-29 KR KR1020187037923A patent/KR102271686B1/ko active IP Right Grant
- 2017-08-29 JP JP2018567950A patent/JP6732970B2/ja active Active
- 2017-08-29 WO PCT/CN2017/099434 patent/WO2018041092A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR20190013967A (ko) | 2019-02-11 |
KR102271686B1 (ko) | 2021-07-01 |
CA3026535C (en) | 2021-09-21 |
CA3026535A1 (en) | 2018-03-08 |
WO2018041092A1 (zh) | 2018-03-08 |
JP2019527497A (ja) | 2019-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20090293093A1 (en) | Content server, information processing apparatus, network device, content distribution method, information processing method, and content distribution system | |
JP5284534B2 (ja) | 変更されたストリーム同期 | |
JP5363473B2 (ja) | 改善されたメディア・セッション管理の方法と装置 | |
KR101719998B1 (ko) | 미디어 컨텐트를 수신하는 장치 및 방법 | |
US10645447B2 (en) | Fast channel change method and server, and IPTV system | |
EP2232812B1 (en) | Method and system for synchronizing the output of terminals | |
EP2690876A2 (en) | Heterogeneous network-based linked broadcast content transmitting/receiving device and method | |
CN105491393A (zh) | 多人视频直播业务的实现方法 | |
JP6472892B2 (ja) | 異種ネットワーク伝送における動的時間窓およびキャッシュメカニズム | |
CN105657579A (zh) | 直播音频切换方法、流媒体服务器及客户端 | |
CN104185070B (zh) | 电视不同显示窗口的切换方法 | |
CN109565466A (zh) | 多设备间唇音同步方法及设备 | |
WO2007079672A1 (fr) | Systeme de reception et d'affichage d'emissions tv reseau, et procede associe | |
EP2312826A2 (en) | Network device, information processing apparatus, stream switching method, information processing method, program, and content distribution system | |
JP6732970B2 (ja) | 異種ネットワークに基づくマルチメディアリソースを同期に送る方法 | |
CN108476333A (zh) | 媒体流的邻接流送 | |
JP4735666B2 (ja) | コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム | |
KR20150146116A (ko) | 이종망 기반 방송 서비스를 제공하는 방법 및 장치 | |
CN105991469B (zh) | 一种异构网络传输下的动态时间窗口及缓存机制 | |
EP2479984A1 (en) | Device and method for synchronizing content received from different sources | |
CN106330751B (zh) | 异构网络传输下的资源动态请求时间窗口及终端缓存方法 | |
CN107801103B (zh) | 异构网络下基于网络状况的多媒体资源自适应同步方法 | |
CN107968950A (zh) | 一种基于异构网络的多媒体资源同步推送方法 | |
EP4383727A1 (en) | Method and system for media content playback synchronization in a plurality of display devices | |
KR100864908B1 (ko) | 통신망 기반의 양방향 데이터 방송 서비스 제공 시스템 및방법, 그리고 이에 적용되는 서버 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6732970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |