JP6647131B2 - 配信装置及びプログラム - Google Patents

配信装置及びプログラム Download PDF

Info

Publication number
JP6647131B2
JP6647131B2 JP2016090104A JP2016090104A JP6647131B2 JP 6647131 B2 JP6647131 B2 JP 6647131B2 JP 2016090104 A JP2016090104 A JP 2016090104A JP 2016090104 A JP2016090104 A JP 2016090104A JP 6647131 B2 JP6647131 B2 JP 6647131B2
Authority
JP
Japan
Prior art keywords
content data
display
program
data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016090104A
Other languages
English (en)
Other versions
JP2017200075A (ja
Inventor
和茂 平松
和茂 平松
金子 豊
金子  豊
真也 竹内
真也 竹内
苗村 昌秀
昌秀 苗村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2016090104A priority Critical patent/JP6647131B2/ja
Publication of JP2017200075A publication Critical patent/JP2017200075A/ja
Application granted granted Critical
Publication of JP6647131B2 publication Critical patent/JP6647131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、配信装置及びプログラムに関する。
ネットワークインフラの普及に伴い、ユーザのリクエストに応じて映像コンテンツを提供するビデオオンデマンドサービスが普及しており、ユーザは様々な視聴装置上で映像コンテンツを視聴することができる。ユーザは、コンテンツを視聴する際は視聴装置上で視聴用のソフトウェア(以下、「視聴ソフトウェア」と呼ぶ)を使用して映像を視聴する。
一方、過去の放送番組を視聴可能なタイムシフト視聴に係わる技術に、視聴中の番組から他の番組へ移動しながらのハイパーリンク型の視聴を実現するシステムがある(例えば、特許文献1参照)。この技術では、放送番組に、番組の内容に関連するタグ(番組名、出演者名、地名など)を付与しておく。ユーザが、番組の視聴中に、番組映像と同時に表示されるタグの一覧の中から興味のあるタグを選択すると、選択されたタグと同一のタグが付与された他の番組にジャンプすることができる。
また、視聴ソフトウェアを視聴装置で処理させるのではなく、ネットワーク上の処理サーバが映像蓄積装置に記録されている圧縮された番組データをデコードし、その後にソフトウェア処理を行って映像をエンコードする手法がある(例えば、非特許文献1参照)。処理サーバにおいてこのような処理を行うことで、視聴装置の負荷を軽減させることができ、視聴装置の性能に依存せずに映像を再生させることができる。また、処理サーバで処理をした結果をクライアントに送信する技術として、ウェブブラウザの処理を処理サーバで実行するエッジコンピューティングがある(例えば、非特許文献2参照)。
特開2014−178749号公報
平松他、「端末性能に依存せずコンテンツ再生を可能とするクラウド型視聴システムの試作」、2015年映像情報メディア学会年次大会、2015年、31D−3 田中他、「IoT時代を拓くエッジコンピューティングの研究開発」、NTT技術ジャーナル、2015年、Vol.27、No.8、p.59−63
上述した従来技術では、コンテンツの配信装置である処理サーバが、映像蓄積装置に記録されている圧縮された番組データをデコードしたあと、エンコードして視聴装置に配信する。視聴者であるユーザから視聴操作用のGUI(グラフィカルユーザインタフェース)の表示が要求されている場合には、処理サーバは、視聴装置の視聴ソフトウェアによりそのGUIを番組映像にオーバレイ表示させるための加工を番組データに行ったのち、エンコードを行う。しかし、視聴操作用GUIの表示が不要な場合でも、処理サーバは番組データのデコード及びエンコードを行うため、画質が劣化することがあった。
本発明は、このような事情を考慮してなされたもので、ユーザに配信するコンテンツの画質が、不要な多重圧縮により劣化することを防ぐことができる配信装置及びプログラムを提供する。
本発明の一態様は、符号化されたコンテンツデータを蓄積する蓄積装置から、視聴装置に配信するコンテンツデータを受信するコンテンツ受信部と、前記コンテンツ受信部が受信した前記コンテンツデータを復号し、前記コンテンツデータの表示に映像又は画像を重ねて表示させる合成処理を復号された前記コンテンツデータに行った後に符号化する合成部と、前記視聴装置における前記コンテンツデータの表示に映像又は画像を重ねて表示させる場合は前記合成部が符号化した前記コンテンツデータを前記視聴装置に配信し、前記視聴装置における前記コンテンツデータの表示に映像又は画像を重ねて表示させない場合は前記コンテンツ受信部が受信した前記コンテンツデータを前記視聴装置に配信する配信部と、を備えることを特徴とする配信装置である。
この発明によれば、配信装置は、符号化されたコンテンツデータを蓄積装置から取得し、復号する。配信装置は、コンテンツデータの表示に映像又は画像を重ねて表示させる合成処理を、復号されたコンテンツデータに行った後、符号化する。配信装置は、視聴装置におけるコンテンツデータの表示に映像又は画像を重ねて表示させる場合には、合成処理後に符号化したコンテンツデータを視聴装置に配信し、視聴装置におけるコンテンツデータの表示に映像又は画像を重ねて表示させない場合には、蓄積装置から取得したコンテンツデータを視聴装置に配信する。
これにより、配信装置は、ユーザに配信するコンテンツの画質が、不要な多重圧縮により劣化しないようすることができる。
また、本発明の一態様は、上述の配信装置であって、前記コンテンツデータの表示に映像又は画像を重ねて表示させるか否かの指示を前記視聴装置から受信する指示受信部をさらに備える、ことを特徴とする。
この発明によれば、配信装置は、視聴装置から、コンテンツデータの表示に他の映像又は画像を重ねて表示させるか否かの指示を受信する。
これにより、配信装置は、コンテンツデータの表示に他の映像又は画像を重ねて表示させるか否かを、ユーザにより選択された画面表示方法と同期するように制御することができる。
また、本発明の一態様は、上述の配信装置であって、前記合成部は、前記指示受信部が前記コンテンツデータの表示に映像又は画像を重ねて表示させないよう指示を受信した場合、前記コンテンツ受信部が受信した前記コンテンツデータの復号、復号された前記コンテンツデータの合成処理、及び、合成処理された前記コンテンツデータの符号化を行わない、ことを特徴とする。
この発明によれば、配信装置は、視聴装置においてコンテンツデータの表示に他の映像又は画像を重ねて表示させない場合は、蓄積装置から取得したコンテンツデータの復号処理、合成処理、符号化処理を行わない。
これにより、配信装置は、処理負荷を軽減することができる。
また、本発明の一態様は、上述の配信装置であって、前記コンテンツデータの表示に重ねて表示させる前記映像又は前記画像は、ユーザが前記コンテンツデータの視聴に関する操作を入力するために使用されるグラフィカルユーザインタフェースの表示である、ことを特徴とする。
この発明によれば、配信装置は、コンテンツデータの表示に、コンテンツデータの視聴に用いるGUIの映像又は画像を重ねて表示させるよう合成処理を行う。
これにより、配信装置は、コンテンツ視聴用のGUIをコンテンツデータの表示に重ねて視聴装置に表示させ、GUIの表示が不要な場合には、劣化の少ないコンテンツデータを視聴装置に表示させることができる。
また、本発明の一態様は、コンピュータを、符号化されたコンテンツデータを蓄積する蓄積装置から、視聴装置に配信するコンテンツデータを受信するコンテンツ受信手段と、前記コンテンツ受信手段が受信した前記コンテンツデータを復号し、前記コンテンツデータの表示に映像又は画像を重ねて表示させる合成処理を復号された前記コンテンツデータに行った後に符号化する合成手段と、前記視聴装置における前記コンテンツデータの表示に映像又は画像を重ねて表示させる場合は前記合成手段が符号化した前記コンテンツデータを前記視聴装置に配信し、前記視聴装置における前記コンテンツデータの表示に映像又は画像を重ねて表示させない場合は前記コンテンツ受信手段が受信した前記コンテンツデータを前記視聴装置に配信する配信手段と、を具備する配信装置として機能させるためのプログラムである。
本発明によれば、ユーザに配信するコンテンツの画質が、不要な多重圧縮により劣化することを防ぐことができる。
本発明の一実施形態による配信システムの構成を示すブロック図である。 同実施形態による映像フレームデータのデータ構造を示す図である。 同実施形態による視聴装置における番組映像の表示例を示す図である。 同実施形態によるリモコンレイアウトの例を示す図である。 同実施形態による配信装置の動作を示す処理フローである。 同実施形態による配信装置の動作を示す処理フローである。
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
図1は、本発明の一実施形態による配信システム1の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。配信システム1は、蓄積された動画のコンテンツデータをユーザに配信するシステムである。本実施形態では、配信システム1は、過去に放送された番組の映像データをコンテンツデータとして通信ネットワーク上に蓄積しておき、蓄積される映像データを、通信ネットワークを介して配信することにより、視聴者であるユーザが番組を視聴可能なシステムである。
同図に示すように、配信システム1は、蓄積装置10と、配信装置20と、視聴装置30とを備えて構成される。これらの装置間は、インターネットや企業内LANなどの通信回線網である通信ネットワークに接続され、互いに情報を送受信する。同図においては、配信システム1が、蓄積装置10を1台備えているが、蓄積装置10の数は任意である。また、蓄積装置10は、配信装置20に統合されてもよい。また、同図では、視聴装置30を1台のみ示しているが、複数台の視聴装置30が存在してよい。
蓄積装置10は、例えば、データを読み書きすることができるデータベースサーバである。蓄積装置10は、過去に放送された番組の映像フレームデータをメディア別に圧縮保存する。メディアは、例えば、チャンネル名により特定される。蓄積装置10は、メディア及び放送時刻を指定した番組読出要求を受信すると、その指定されたメディアで、指定された放送時刻に放送された番組の映像フレームデータを出力する。映像フレームデータは、番組シーンの映像・音声・字幕のデータを含む。また、映像フレームデータには、タグ情報が付加される。タグ情報は、番組やシーンに関する情報を示す。蓄積装置10は、さらに、各番組又は各番組シーンに付加されたタグ情報と番組又は番組シーンの放送時刻とを対応付けたタグデータベースをさらに記憶する。
配信装置20は、配信装置通信部21と、指示受信部22と、記憶部23と、コンテンツ受信部24と、合成部25と、バッファ部26と、配信部27とを備えて構成される。
配信装置通信部21は、視聴装置30から受信したユーザリクエストを指示受信部22に出力する。ユーザリクエストには、ユーザが再生を指示したメディア(チャンネル名)及び放送時刻(放送日時)のデータが設定される。ユーザリクエストには、番組映像に視聴操作用GUI(グラフィカルユーザインタフェース)をオーバレイ表示するか否かの指示が含まれ得る。また、配信装置通信部21は、配信部27からエンコードされた映像フレームデータを入力し、視聴装置30に配信する。
指示受信部22は、配信装置通信部21を介して、視聴装置30が送信したユーザリクエストを受信する。指示受信部22は、ユーザリクエストに基づいて、再生対象時刻を設定する処理や、flagの値を更新する処理を行う。再生対象時刻は、再生対象の放送時刻である。flagは、番組映像に視聴操作用GUIをオーバレイ表示するか否かを示す情報である。ここでは、flag=0は、番組映像に視聴操作用GUIをオーバレイ表示しないことを示し、flag=1は、番組映像に視聴操作用GUIをオーバレイ表示することを示す。指示受信部22は、メディア及び再生対象時刻を設定した番組読出要求を蓄積装置10に送信する。
記憶部23は、flagなどの各種情報を記憶する。
コンテンツ受信部24は、蓄積装置10から映像フレームデータを受信し、合成部25に出力する。
合成部25は、flag=1であり、ユーザから視聴操作用GUIが要求されているときには、コンテンツ受信部24が受信した圧縮された映像フレームデータをデコード(復号)する。合成部25は、番組映像に視聴操作用のGUIをオーバレイ表示させるなどの合成処理を、デコードされた映像フレームデータに行う。合成部25は、合成処理された映像フレームデータをエンコードし、バッファ部26のバッファAに書き込む。また、合成部25は、flag=0であり、ユーザから視聴操作用GUIが要求されていないときには、蓄積装置10から受信した映像フレームデータをバッファ部26のバッファBに書き込む。
バッファ部26は、視聴装置30へ配信する映像フレームデータを一時的に記憶するバッファA及びバッファBを備える。バッファAは、番組映像に視聴操作用GUIをオーバレイ表示させる映像フレームデータを記憶する。バッファBは、蓄積装置10から受信した映像フレームデータを記憶する。
配信部27は、flag=1であり、ユーザから視聴操作用GUIが要求されているときには、バッファAから映像フレームデータを読み出し、配信装置通信部21に出力する。配信部27は、flag=0であり、ユーザから視聴操作用GUIが要求されていないときには、バッファBから映像フレームデータを読み出し、配信装置通信部21に出力する。
視聴装置30は、ユーザが番組を視聴するために使用する端末である。視聴装置30は、例えば、テレビジョン受信機、セットトップボックス、パーソナルコンピュータ、スマートフォン、携帯電話、タブレット端末などである。視聴装置30は、操作入力部31と、視聴装置通信部32と、デコード部33と、映像表示部34と、モニタ35とを備えて構成される。視聴装置通信部32及びデコード部33は、視聴装置30に視聴ソフトウェアを実装することにより生成される。また、モニタ35は、視聴装置30の外部に備えられてもよい。
操作入力部31は、ユーザの操作による指示を受信し、蓄積装置10が蓄積している番組の再生要求を行う。ユーザは、例えば、リモートコントローラ(以下、「リモコン」と記載する。)を操作することにより、ユーザ指示を入力する。この場合、操作入力部31は、ユーザがリモコンに行った操作を示す操作情報を、リモコンから受信する装置を備える。操作入力部31は、ユーザの指示を視聴装置30が備えるキー、ボタン、マウス、タッチパネルなどの入力装置により受信してもよい。操作入力部31は、ユーザ操作による番組の再生要求や、番組映像に視聴操作用GUIをオーバレイ表示するか否かの指示を入力すると、ユーザリクエストを視聴装置通信部32へ出力する。また、ユーザリクエストの初期操作により、視聴装置30は、蓄積装置10から読み出された映像を、1フレーム単位で取得することができる。
視聴装置通信部32は、操作入力部31から受信したユーザリクエストを配信装置20の配信装置通信部21へ送信する。また、視聴装置通信部32は、配信装置20の配信装置通信部21から受信した映像フレームデータをデコード部33へ出力する。デコード部33は、視聴装置通信部32から入力した映像フレームデータをデコードし、映像表示部34へ出力する。映像表示部34は、デコード部33から入力した映像フレームデータをモニタ35に表示させる。モニタ35は、映像を表示する。
図2は、蓄積装置10に保存される映像フレームデータの構造を示す図である。映像フレームデータは、開始時刻IDと、終了時刻IDと、フレームデータとを含む。開始時刻IDは、映像のフレームが始まる放送時刻(st_tst)を示す。終了時刻IDは、映像のフレームが終わる放送時刻(ed_tst)を示す。データ長の情報はインデックスデータである。フレームデータは、データ長で示されたバイト数のデータである。フレームデータは、フレーム単位の映像データにデータ圧縮のためのエンコード(符号化)が施されたデータである。映像データは、開始時刻IDが示す放送時刻から終了時刻IDが示す放送時刻までの番組シーンの映像・音声・字幕などのデータである。
図3は、ユーザにより視聴操作用GUIの表示が指定されたときに視聴装置30のモニタ35に表示される番組映像の例を示す図である。同図においては、番組映像41に、視聴操作用GUI42がオーバレイして(重ねて)表示されている。視聴操作用GUI42には、映像フレームデータに付加されたタグ情報の表示を含む。タグ情報は、出演者や映像のジャンルなどの番組に関する付加情報を示す。ユーザが視聴操作用GUI42に表示されているタグ情報をリモコン等によって選択することによって、選択されたタグ情報と同じタグ情報が付与されている他の番組の再生を要求することができる。このように、ユーザは、番組映像にオーバレイ表示された視聴操作用GUI42を用いて、番組の視聴に関する操作を行うことが可能となる。なお、視聴操作用GUIはタグ情報の表示に限らず、映像再生の早送り、停止、巻き戻しなどの操作を行うためのボタンを表示するものなどであってもよい。以下では、視聴操作用GUIがオーバレイ表示されていることをGUIがON(オン)、視聴操作用GUIがオーバレイ表示されていないことをGUIがOFF(オフ)とも記載する。
図4は、視聴装置30のリモコンに備えられるボタンの例を示す図である。
リモコンは、上矢印ボタン51、左矢印ボタン52、右矢印ボタン53、下矢印ボタン54及びGUIオン/オフボタン55を少なくとも備える。上矢印ボタン51及び下矢印ボタン54により、視聴装置30がモニタ35に表示している視聴操作用GUI42のタグ情報の選択を切り替える。左矢印ボタン52は、選択中のタグ情報と関連付けられ、かつ、再生中の番組よりも過去に放送された他の番組の再生を要求するためのボタンである。右矢印ボタン53は、選択中のタグ情報と関連付けられ、かつ、再生中の番組よりも後に放送された他の番組の再生を要求するためのボタンである。GUIオン/オフボタン55は、ユーザが視聴操作用GUIのオーバレイ表示の有無(GUIのオン/オフ)の切り替えを指示するためのボタンである。
図5及び図6に示す処理フローを用いて、配信装置20の動作例を説明する。配信装置20は、視聴装置30別に図5及び図6に示す処理を行う。
図5は、配信装置20のユーザリクエスト受信動作を示す処理フローである。
視聴装置30の操作入力部31は、ユーザがリモコンに行った操作を示す操作情報を受信する。操作入力部31は、操作情報に基づくユーザリクエストを視聴装置通信部32に出力する。
操作入力部31は、操作情報がメディア及び放送時刻を指定した番組再生を指示する操作を示すと判断した場合、ユーザリクエストに、指定されたメディア及び放送時刻のデータを設定する。操作入力部31は、操作情報にメディアを指定する操作が含まれない場合、デフォルト又は最後に選択されたメディアなどのデータをユーザリクエストに設定する。操作入力部31は、操作情報に放送時刻を指定する操作が含まれない場合、現在再生中の又は最後に再生された放送時刻などのデータをユーザリクエストに設定する。
また、操作入力部31は、操作情報がタグ情報とジャンプ方向を指定した再生指示である場合、ユーザリクエストに、現在再生中の放送番組のメディア及び放送時刻と、指定されたタグ情報及びジャンプ方向とを設定する。左矢印ボタン52が操作された場合、ジャンプ方向には過去方向が、右矢印ボタン53が操作された場合、ジャンプ方向には未来方向が設定される。
また、操作入力部31は、操作情報がGUIのオン/オフの切替指示である場合、ユーザリクエストに、GUIオンオフ切替指示と、再生中の放送番組のメディア及び放送時刻とを設定する。
視聴装置通信部32は、操作入力部31から入力したユーザリクエストを、配信装置20に送信する。
配信装置20の配信装置通信部21は、視聴装置30からユーザリクエストを受信し、指示受信部22に出力する。指示受信部22は、配信装置通信部21からユーザリクエストを入力したか否かを判定する(ステップS105)。指示受信部22は、ユーザリクエストを入力していないと判定した場合(ステップS105:NO)、ステップS105の処理を繰り返す。指示受信部22は、ユーザリクエストを入力したと判定した場合(ステップS105:YES)、GUIオンオフ切替指示の有無を判定する(ステップS110)。
一方、指示受信部22は、ユーザリクエストにGUIオンオフ切替指示が設定されている場合(ステップS110:有)、記憶部23からフラグflagを読み出す。なお、最初のユーザリクエストであり、フラグflagが記憶部23に未登録の場合、初期値0を設定したflagを記憶部23に書き込む。指示受信部22は、flagの値が0であるか否かを判定する(ステップS115)。指示受信部22は、現在のflagの値が0であれば(ステップS115:YES)、flagの値を1に書き換え(ステップS120)、現在のflagの値が1であれば(ステップS115:NO)、flagの値を0に書き換える(ステップS125)。
指示受信部22は、ユーザリクエストにGUIオンオフ切替指示が設定されていないと判定した場合(ステップS110:無)、あるいは、ステップS120又はステップS125の処理の後、ユーザリクエストに基づいて再生対象時刻を取得する(ステップS130)。
指示受信部22は、ユーザリクエストに放送時刻が設定されている場合、設定されている放送時刻を再生対象時刻とする。
指示受信部22は、ユーザリクエストにタグ情報及びジャンプ方向が設定されている場合、蓄積装置10が記憶するタグデータベースを用いて放送時刻を取得し、再生対象時刻とする。例えば、指示受信部22は、ジャンプ方向が過去方向である場合、ユーザリクエストに設定されている放送時刻により特定される再生中の番組よりも過去に放送された他の番組のうち、ユーザリクエストに設定されているタグ情報と同じタグ情報が付与され、かつ、再生中の番組と放送時刻が最も近い番組の放送時刻を蓄積装置10から読み出す。ジャンプ方向が未来方向である場合、指示受信部22は、ユーザリクエストに設定されている放送時刻により特定される再生中の番組よりも後に放送された他の番組のうち、ユーザリクエストに設定されているタグ情報と同じタグ情報が付与され、かつ、再生中の番組と放送時刻が最も近い番組の放送時刻を蓄積装置10から読み出す。
指示受信部22は、ユーザリクエストに設定されているメディアと、取得した再生対象時刻とを設定した番組読出要求を蓄積装置10に送信する(ステップS130)。蓄積装置10は、番組読出要求に設定されているメディア及び再生対象時刻に基づいて映像フレームデータを特定する。蓄積装置10は、特定した映像フレームデータと、特定した映像フレームデータに設定されている放送時刻以降の同じメディアの映像フレームデータを、放送時刻の順に配信装置20に送信する。配信装置20は、番組読出要求に対応して蓄積装置10から配信された映像フレームを受信すると、図6の処理を行う。
図6は、配信装置20の番組配信動作を示す処理フローである。
コンテンツ受信部24は、蓄積装置10から映像フレームデータを1つ受信し、合成部25に出力する(ステップS205)。合成部25は、記憶部23に記憶されるflagの値が1であるか否かを判断する(ステップS210)。合成部25は、flagの値が1であると判断した場合(ステップS210:YES)、映像フレームデータに含まれる符号化された映像データをデコードする(ステップS215)。合成部25は、デコードされた映像データに、視聴操作用GUIをオーバレイ表示するための合成処理を行う(ステップS220)。合成部25は、合成処理された映像データをエンコードしてエンコード映像データを生成し、生成したエンコード映像データを設定した映像フレームデータをバッファ部26のバッファAに書き込む(ステップS230)。一方、合成部25は、flagの値が0であると判断した場合(ステップS210:NO)、蓄積装置10から受信した映像フレームデータをバッファBに書き込む(ステップS235)。
続いて、配信部27は、視聴装置30のGUI切替と同期した映像配信を行う。視聴操作用GUIがオーバレイ表示される(GUIがONの)映像フレームデータをA、映像フレームデータAの開始時刻IDをst_tstAとする。また、視聴操作用GUIがオーバレイ表示されない(GUIがOFFの)映像フレームデータをB、映像フレームデータBの開始時刻IDをst_tstBとする。
配信部27は、視聴操作用GUIのオーバレイの有無について確認するために、記憶部23からflagを読み出す。配信部27は、flagの値が0であるか否かを判定する(ステップS240)。配信部27は、flagが0であり、GUIがOFFであると判定した場合(ステップS240:YES)、GUIがオンの映像フレームデータを蓄積しているバッファAを破棄する(ステップS245)。その後、配信部27は、GUIがOFFの映像フレームデータB(st−tstB)をバッファBから読み出して配信装置通信部21へ出力する。配信装置通信部21は、配信部27から入力した映像フレームデータB(st−tstB)を視聴装置30へ配信する(ステップS250)。
一方、配信部27は、ステップS240において、flagが1であり、GUIがONであると判断した場合(ステップS240:NO)、GUIがOFFの映像フレームデータを蓄積しているバッファBを破棄する(ステップS255)。その後、配信部27は、GUIがONの映像フレームデータA(st−tstA)をバッファAから読み出して配信装置通信部21へ出力する。配信装置通信部21は、配信部27から入力した映像フレームデータA(st−tstA)を視聴装置30へ配信する(ステップS260)。
配信装置20は、ステップS250又はステップS260の後、ステップS205からの処理を繰り返す。
なお、配信装置20が、映像フレームデータを1つ取得するごとに番組読出要求を蓄積装置10に送信する場合、ステップS205以降、ステップS250又はステップS260の処理の後までの間に、ステップS205において受信した次の映像フレームデータの番組読出要求を蓄積装置10に送信する。具体的には、合成部25は、ステップS205において受信した映像フレームデータの終了時刻IDを読み出す。合成部25は、ユーザリクエストから読み出したメディアと、終了時刻IDが示す放送時刻に基づいて得られる次のフレームの放送時刻とを設定した番組読出要求を蓄積装置10に送信する。
なお、指示受信部22が、ユーザリクエストを視聴装置30から受信した場合(図5のステップS105:YES)、配信装置20は、図6の処理を終了し、図5のステップS130の後再び新たな映像フレームデータを受信して図6の処理を開始する。
続いて、図5及び図6の具体的な処理例を説明する。
視聴装置30の操作入力部31は、ユーザが放送時刻T1「7:00:00」の番組の再生を指示する操作を行ったことを示す操作情報をリモコンから受信する。ユーザが最後に選択したメディアがメディアMである場合、操作入力部31は、メディアMと放送時刻T1とを設定したユーザリクエストを、視聴装置通信部32を介して配信装置20に送信する。配信装置20の指示受信部22は、配信装置通信部21を介してユーザリクエストを受信する(図5のステップS105:YES)。指示受信部22は、ユーザリクエストにGUIオンオフ切替指示が設定されていないと判断する(図5のステップS110:無)。指示受信部22は、ユーザリクエストから読み出したメディアM及び放送時刻T1を設定した番組読出要求を生成し、蓄積装置10に送信する(図5のステップS130)。蓄積装置10は、番組読出要求を受信すると、メディアMに対応付けられ、放送時刻T1「7:00:00」が開始時刻IDに設定されている映像フレームデータを配信装置20に送信する。
配信装置20の合成部25は、コンテンツ受信部24を介して蓄積装置10から映像フレームデータを受信すると(図6のステップS205)、flagの値を確認する(図6のステップS210)。合成部25は、「flag=0」であるため、GUIがOFFと判定し(図6のステップS210:NO)、受信した映像フレームデータをバッファBに蓄積する(図6のステップS235)。
配信部27は、「flag=0」であるため(図6のステップS240:YES)、バッファAを破棄する(図6のステップS245)。ただし、初期状態に置いてバッファAには映像フレームデータAは蓄積されていない。配信部27は、st−tstBが「7:00:00」の映像フレームデータB(7:00:00)をバッファBから読み出し、配信装置通信部21へ出力する。配信装置通信部21は、映像フレームデータB(7:00:00)を視聴装置30に配信する(図6のステップS250)。
視聴装置30の視聴装置通信部32は、映像フレームデータB(7:00:00)をデコード部33に出力する。デコード部33は、映像フレームデータB(7:00:00)をデコードし、映像表示部34は、デコードされた映像フレームデータB(7:00:00)によりGUIがOFFの番組映像をモニタ35に表示する。
続いて、配信装置20の合成部25は、コンテンツ受信部24を介して蓄積装置10から開始時刻IDが「7:00:01」の映像フレームデータを受信する(図6のステップS205)。合成部25は、「flag=0」であるため(図6のステップS210:NO)、受信した映像フレームデータをバッファBに蓄積する(図6のステップS235)。配信部27は、「flag=0」であるため(ステップS240:YES)、バッファAを破棄する(ステップS245)。配信部27は、st−tstBが「7:00:01」の映像フレームデータB(7:00:01)をバッファBから読み出し、配信装置通信部21へ出力する。配信装置通信部21は、映像フレームデータB(7:00:01)を視聴装置30に配信する(図6のステップS250)。
視聴装置30の視聴装置通信部32は、映像フレームデータB(7:00:01)をデコード部33に出力する。デコード部33は、映像フレームデータB(7:00:01)をデコードし、映像表示部34は、デコードされた映像フレームデータB(7:00:01)によりGUIがOFFの番組映像をモニタ35に表示する。
配信装置20は、ステップS205からの処理を繰り返す。
視聴操作用GUIがOFFであるときに、視聴装置30の操作入力部31は、ユーザがリモコンのGUIオン/オフボタン55を操作したことを示す操作情報をリモコンから受信する。操作入力部31は、GUIオンオフ切替指示と、現在再生中の番組のメディアMと放送時刻T3「7:00:05」とを設定したユーザリクエストを、視聴装置通信部32を介して配信装置20に送信する。配信装置20の指示受信部22は、配信装置通信部21を介してユーザリクエストを受信する(図5のステップS105:YES)。指示受信部22は、ユーザリクエストにGUIオンオフ切替指示が設定されているため(図5のステップS110:有)、記憶部23に記憶されるflagの値を「0」から「1」に書き換える(図5のステップS115:YES、ステップS120)。指示受信部22は、ユーザリクエストから読み出したメディアM及び放送時刻T3を設定した番組読出要求を生成し、蓄積装置10に送信する(図5のステップS130)。蓄積装置10は、メディアMに対応付けられ、放送時刻T3「7:00:05」が開始時刻IDに設定されている映像フレームデータを配信装置20に送信する。
配信装置20の合成部25は、コンテンツ受信部24を介して蓄積装置10から映像フレームデータを受信すると(図6のステップS205)、flagの値を確認する(図6のステップS210)。合成部25は、「flag=1」であるため、GUIがONと判定し(図6のステップS210:YES)、GUI処理のためにデコード処理を行う(図6のステップS215)。合成部25は、デコードした映像データに視聴操作用GUIをオーバレイ表示するための合成処理を行った後(ステップS220)、エンコード処理を行う(ステップS225)。合成部25は、生成したエンコード映像データを設定した映像フレームデータA(st_tstA)をバッファ部26のバッファAに書き込む(図6のステップS230)。st_tstAは、「7:00:05」である。
配信部27は、オンオフが切り替わる前の7:00:04には、映像フレームデータB(7:00:04)を配信装置通信部21に出力し、視聴装置30に配信している(図6のステップS250)。配信部27は、「flag=1」であるため(ステップS240:NO)、バッファBを破棄し(ステップS255)、st_tstAが「7:00:05」の映像フレームデータA(7:00:05)をバッファAから読み出し、配信装置通信部21へ出力する。配信装置通信部21は、映像フレームデータA(7:00:05)を視聴装置30に配信する(図6のステップS260)。
視聴装置30の視聴装置通信部32は、映像フレームデータA(7:00:05)をデコード部33に出力する。デコード部33は、映像フレームデータA(7:00:05)をデコードする。映像表示部34は、デコードされた映像フレームデータB(7:00:04)によりGUIがOFFの番組映像をモニタ35に表示した後、デコードされた映像フレームデータA(7:00:05)によりGUIがONの番組映像をモニタ35に表示する。
配信装置20は、ステップS205からの処理を繰り返す。
なお、映像フレームデータの開始時刻IDに放送時刻st−tst1が設定され、終了時刻IDに放送時刻ed−tst1が設定されている場合に、放送時刻st−tst1と放送時刻ed−tst1の間の放送時刻T3(st−tst1<T3<ed−tst1)にGUIオンオフ切替指示が行われる場合がある。つまり、視聴装置30は、映像フレームデータB(st−tst1)の再生途中で、GUIオン/オフボタン55が操作されたことを示す操作情報を受信する。この場合、配信装置20は、蓄積装置10から放送時刻st−tst1が開始時刻ID、放送時刻ed−tst1が終了時刻IDの映像フレームデータを受信し、映像フレームデータA(st−tst1)を視聴装置30に配信する。視聴装置30の映像表示部34は、デコードされた映像フレームデータA(st−tst1)の放送時刻T3以降の映像データをモニタ35に表示させる。あるいは、合成部25は、映像フレームデータA(st−tst1)のうち、放送時刻T3以降の映像データを設定した映像フレームデータA(T3)を生成し、バッファAに書き込んでもよい。
視聴操作用GUIがONであるときに、視聴装置30の操作入力部31は、ユーザがリモコンのGUIオン/オフボタン55を操作したことを示す操作情報をリモコンから受信する。操作入力部31は、GUIオンオフ切替指示と、現在再生中の番組のメディアMと放送時刻T4「7:00:10」とを設定したユーザリクエストを、視聴装置通信部32を介して配信装置20に送信する。配信装置20の指示受信部22は、配信装置通信部21を介してユーザリクエストを受信する(図5のステップS105:YES)。指示受信部22は、ユーザリクエストにGUIオンオフ切替指示が設定されているため(図5のステップS110:有)、記憶部23に記憶されるflagの値を「1」から「0」に書き換える(図5のステップS115:NO、ステップS125)。指示受信部22は、ユーザリクエストから読み出したメディアM及び放送時刻T4を設定した番組読出要求を生成し、蓄積装置10に送信する(図5のステップS130)。蓄積装置10は、メディアMに対応付けられ、放送時刻T4「7:00:10」が開始時刻IDに設定されている映像フレームデータを配信装置20に送信する。
配信装置20の合成部25は、コンテンツ受信部24を介して蓄積装置10から映像フレームデータを受信すると(図6のステップS205)、flagの値を確認する(図6のステップS210)。合成部25は、「flag=0」であるため、GUIがOFFと判定し(図6のステップS210:NO)、受信した映像フレームデータをバッファBに蓄積する(図6のステップS235)。
配信部27は、オンオフが切り替わる前の7:00:09には、映像フレームデータA(7:00:09)を配信装置通信部21に出力し、視聴装置30に配信している(図6のステップS260)。配信部27は、「flag=0」であるため(ステップS240:YES)、バッファAを破棄し(ステップS245)、st−tstBが「7:00:10」の映像フレームデータB(7:00:10)をバッファBから読み出し、配信装置通信部21へ出力する。配信装置通信部21は、映像フレームデータB(7:00:10)を視聴装置30に配信する(図6のステップS250)。
視聴装置30の視聴装置通信部32は、映像フレームデータB(7:00:10)をデコード部33に出力する。デコード部33は、映像フレームデータB(7:00:10)をデコードする。映像表示部34は、デコードされた映像フレームデータA(7:00:09)によりGUIがONの番組映像をモニタ35に表示した後、デコードされた映像フレームデータA(7:00:10)によりGUIがOFFの番組映像をモニタ35に表示する。
配信装置20は、ステップS205からの処理を繰り返す。
なお、映像フレームデータの開始時刻IDに放送時刻st−tst2が設定され、終了時刻IDに放送時刻ed−tst2が設定されている場合に、放送時刻st−tst2と放送時刻ed−tst2の間の放送時刻T4(st−tst2<T4<ed−tst2)にGUIオンオフ切替指示が行われる場合がある。つまり、視聴装置30は、映像フレームデータA(st−tst2)の再生途中で、GUIオン/オフボタン55が操作されたことを示す操作情報を受信する。この場合、配信装置20は、蓄積装置10から放送時刻st−tst2が開始時刻ID、放送時刻ed−tst2が終了時刻IDの映像フレームデータを受信し、映像フレームデータB(st−tst2)を視聴装置30に配信する。視聴装置30の映像表示部34は、デコードされた映像フレームデータB(st−tst2)の放送時刻T4以降の映像データをモニタ35に表示させる。あるいは、合成部25は、映像フレームデータB(st−tst2)のうち、放送時刻T4以降の映像データを設定した映像フレームデータB(T4)を生成し、バッファBに書き込んでもよい。
以上説明したように、配信装置20は、視聴装置30の視聴ソフトウェアが番組映像に視聴操作用のGUIをオーバレイ表示させない場合には、蓄積装置10から読み出した番組データにデコードやエンコードを行わずに視聴装置30に配信する。つまり、配信装置20は、視聴装置30の視聴ソフトウェアが番組映像と同時に視聴操作用のGUIをオーバレイ表示させる処理を行う場合のみ、蓄積装置10から読み出した番組データのデコードとエンコードを行う。これにより、GUIのオーバレイ表示が不要な場合に、映像の圧縮劣化を防ぐことができる。
なお、上記においては、番組の映像に重畳する映像を、視聴操作用GUIとしたが、他の映像又は画像であってもよい。また、上記においては、配信装置20は、視聴装置30から再生が要求された番組を配信しているが、配信装置20が選択した番組を視聴装置30に配信してもよい。また、蓄積装置10に蓄積されるコンテンツデータは、静止画のコンテンツデータであってもよい。
上述した実施形態によれば、配信装置20のコンテンツ受信部24は、符号化されたコンテンツデータを蓄積する蓄積装置10から、視聴装置30に配信するコンテンツデータを受信する。合成部25は、コンテンツ受信部24が受信したコンテンツデータを復号し、コンテンツデータの表示に映像又は画像を重ねて表示させる合成処理を復号されたコンテンツデータに行った後に符号化する。コンテンツデータの表示に重ねて表示させる映像又は画像は、例えば、ユーザがコンテンツデータの視聴に関する操作を入力するために使用されるグラフィカルユーザインタフェースの表示である。配信部27は、視聴装置30におけるコンテンツデータの表示に映像又は画像を重ねて表示させる場合は、合成部25が符号化したコンテンツデータを視聴装置30に配信し、視聴装置30におけるコンテンツデータの表示に映像又は画像を重ねて表示させない場合にはコンテンツ受信部24が受信したコンテンツデータを視聴装置30に配信する。
なお、配信装置20の指示受信部22は、コンテンツデータの表示に映像又は画像を重ねて表示させるか否かの指示を視聴装置30から受信する。合成部25は、指示受信部22がコンテンツデータの表示に映像又は画像を重ねて表示させないよう指示を受信した場合、コンテンツ受信部24が受信したコンテンツデータの復号、復号されたコンテンツデータの合成処理、及び、合成処理されたコンテンツデータの符号化を行わなくてもよい。
なお、上述の蓄積装置10、配信装置20及び視聴装置30は、内部にコンピュータシステムを有している。そして、蓄積装置10、配信装置20及び視聴装置30の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、CPU及び各種メモリやOS、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1…配信システム
10…蓄積装置
20…配信装置
21…配信装置通信部
22…指示受信部
23…記憶部
24…コンテンツ受信部
25…合成部
26…バッファ部
27…配信部
30…視聴装置
31…操作入力部
32…視聴装置通信部
33…デコード部
34…映像表示部
35…モニタ

Claims (4)

  1. 番組の表示に、映像又は画像を重ねて表示させるオーバーレイ表示の有無を示す表示情報を記憶する記憶部と、
    番組の映像データを再生中の視聴装置から、オーバーレイ表示を行うか否かの指示と、前記視聴装置において再生中の放送時刻である再生時刻とが設定されたユーザ要求を受信し、受信した前記ユーザ要求に設定されている前記指示に基づいて前記表示情報を更新する指示受信部と、
    前記指示受信部が前記ユーザ要求を受信した場合に、前記ユーザ要求から読み出した前記再生時刻を設定した番組読出要求を、符号化された映像データと、前記映像データの放送時刻の情報とを含むコンテンツデータを蓄積する蓄積装置に送信し、前記再生時刻以降の前記番組の映像データを含む前記コンテンツデータを放送時刻の順に前記蓄積装置から受信するコンテンツ受信部と、
    前記表示情報がオーバーレイ表示有りを示している場合、前記コンテンツ受信部が受信した前記コンテンツデータに含まれる前記映像データを復号し、前記映像データに基づく番組の表示に映像又は画像を重ねて表示させる合成処理を復号された前記映像データに行った後に符号化した映像データを含む前記コンテンツデータを第一バッファに書き込み、前記表示情報がオーバーレイ表示無しを示している場合、前記コンテンツ受信部が受信した前記コンテンツデータを第二バッファに書き込む合成部と、
    前記表示情報がオーバーレイ表示有りを示している場合、最後に受信した前記ユーザ要求に設定された前記再生時刻以降の前記コンテンツデータを前記第一バッファから読み出して前記視聴装置に配信し、前記表示情報がオーバーレイ表示無しを示している場合、最後に受信した前記ユーザ要求に設定された前記再生時刻以降の前記コンテンツデータを前記第二バッファから読み出して前記視聴装置に配信する配信部と、
    を備えることを特徴とする配信装置。
  2. 前記蓄積装置に記憶される前記コンテンツデータは、符号化された前記映像データと、前記映像データが始まる放送時刻である開始時刻の情報と、前記映像データが終わる放送時刻である終了時刻の情報とを含み、
    前記コンテンツ受信部は、前記開始時刻と前記終了時刻との間に前記再生時刻が含まれる前記コンテンツデータと、当該コンテンツデータの放送時刻以降の前記コンテンツデータとを放送時刻の順に前記蓄積装置から受信し、
    前記合成部は、前記表示情報がオーバーレイ表示有りを示している場合、前記開始時刻と前記終了時刻との間に前記再生時刻が含まれる前記コンテンツデータを復号し、復号された前記映像データに前記合成処理を行った後に符号化した前記映像データのうち前記再生時刻以降の映像データを含むコンテンツデータを生成して前記第一バッファに書き込み、前記表示情報がオーバーレイ表示無しを示している場合、前記開始時刻と前記終了時刻との間に前記再生時刻が含まれる前記コンテンツデータから前記再生時刻以降の映像データを含むコンテンツデータを生成して前記第二バッファに書き込む、
    ことを特徴とする請求項1に記載の配信装置。
  3. 前記コンテンツデータの表示に重ねて表示させる前記映像又は前記画像は、ユーザが前記コンテンツデータの視聴に関する操作を入力するために使用されるグラフィカルユーザインタフェースの表示である、
    ことを特徴とする請求項1又は請求項2に記載の配信装置。
  4. コンピュータを、
    番組の表示に、映像又は画像を重ねて表示させるオーバーレイ表示の有無を示す表示情報を記憶する記憶手段と、
    番組の映像データを再生中の視聴装置から、オーバーレイ表示を行うか否かの指示と、前記視聴装置において再生中の放送時刻である再生時刻とが設定されたユーザ要求を受信し、受信した前記ユーザ要求に設定されている前記指示に基づいて前記表示情報を更新する指示受信手段と、
    前記指示受信手段が前記ユーザ要求を受信した場合に、前記ユーザ要求から読み出した前記再生時刻を設定した番組読出要求を、符号化された映像データと、前記映像データの放送時刻の情報とを含むコンテンツデータを蓄積する蓄積装置に送信し、前記再生時刻以降の前記番組の映像データを含む前記コンテンツデータを放送時刻の順に前記蓄積装置から受信するコンテンツ受信手段と、
    前記表示情報がオーバーレイ表示有りを示している場合、前記コンテンツ受信手段が受信した前記コンテンツデータに含まれる前記映像データを復号し、前記映像データに基づく番組の表示に映像又は画像を重ねて表示させる合成処理を復号された前記映像データに行った後に符号化した映像データを含む前記コンテンツデータを第一バッファに書き込み、前記表示情報がオーバーレイ表示無しを示している場合、前記コンテンツ受信手段が受信した前記コンテンツデータを第二バッファに書き込む合成手段と、
    前記表示情報がオーバーレイ表示有りを示している場合、最後に受信した前記ユーザ要求に設定された前記再生時刻以降の前記コンテンツデータを前記第一バッファから読み出して前記視聴装置に配信し、前記表示情報がオーバーレイ表示無しを示している場合、最後に受信した前記ユーザ要求に設定された前記再生時刻以降の前記コンテンツデータを前記第二バッファから読み出して前記視聴装置に配信する配信手段と、
    を具備する配信装置として機能させるためのプログラム。
JP2016090104A 2016-04-28 2016-04-28 配信装置及びプログラム Active JP6647131B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016090104A JP6647131B2 (ja) 2016-04-28 2016-04-28 配信装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016090104A JP6647131B2 (ja) 2016-04-28 2016-04-28 配信装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2017200075A JP2017200075A (ja) 2017-11-02
JP6647131B2 true JP6647131B2 (ja) 2020-02-14

Family

ID=60239579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016090104A Active JP6647131B2 (ja) 2016-04-28 2016-04-28 配信装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6647131B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6985229B2 (ja) * 2018-09-13 2021-12-22 Kddi株式会社 通信ネットワーク、ユーザ装置及びプログラム

Also Published As

Publication number Publication date
JP2017200075A (ja) 2017-11-02

Similar Documents

Publication Publication Date Title
JP5757075B2 (ja) 送信装置、送信方法、受信装置、受信方法、プログラム、および放送システム
KR101855540B1 (ko) 콘텐츠 공급 장치, 콘텐츠 공급 방법, 콘텐츠 재생 장치, 콘텐츠 재생 방법, 프로그램 및 콘텐츠 시청 시스템
KR102013088B1 (ko) 개선된 트릭 플레이 기능을 위한 시스템 및 방법
JP2005110286A (ja) 縮小ビデオ画像生成およびユーザインターフェース
JP5265879B2 (ja) 受信機の放送データ再生方法
KR20150014722A (ko) 스크린 샷을 제공하는 장치 및 시스템, 그리고 방법
KR102630037B1 (ko) 정보 처리 장치, 정보 처리 방법, 송신 장치, 및 송신 방법
JP2009033583A (ja) 再生装置、映像再生システム
JP5214614B2 (ja) 映像配信装置及び映像配信プログラム
JP6647131B2 (ja) 配信装置及びプログラム
JP2009303062A (ja) 放送受信端末、放送データ合成方法、プログラムおよび記録媒体
JP2007074158A (ja) 再生システム及び同システムを利用した再生方法
KR100848495B1 (ko) 동영상 탐색 시스템 및 그 방법.
JP2008306520A (ja) 情報配信システム、携帯電話端末及び携帯電話端末における映像コンテンツの再生制御方法
JP2006339980A (ja) 映像再生装置
KR102049119B1 (ko) 클라우드 환경에서 녹화 서비스 제공 방법 및 장치
JP4421666B1 (ja) コンテンツ受信装置及びコンテンツ再生方法
JPWO2010134479A1 (ja) 動画表示装置
JP2011087333A (ja) 画像再生装置
JP7079586B2 (ja) 受信機、提示方法及び提示プログラム
US20130057773A1 (en) Method and apparatus for storing a broadcast
JP2016127324A (ja) 電子機器、及び録画方法
JP4271452B2 (ja) 動画像配信方法、動画像配信システム、利用側装置、配信側装置
JP2022066944A (ja) 情報処理装置、コンピュータプログラムおよび情報処理システム
JP2023019532A (ja) 動画配信システム、再生装置、再生方法、プログラム、および記録媒体

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200114

R150 Certificate of patent or registration of utility model

Ref document number: 6647131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250