JP6669402B2 - 通信装置、システム、情報処理方法及びプログラム - Google Patents
通信装置、システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP6669402B2 JP6669402B2 JP2016105415A JP2016105415A JP6669402B2 JP 6669402 B2 JP6669402 B2 JP 6669402B2 JP 2016105415 A JP2016105415 A JP 2016105415A JP 2016105415 A JP2016105415 A JP 2016105415A JP 6669402 B2 JP6669402 B2 JP 6669402B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- push notification
- unit
- metadata
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
また、HTTPを用いたストリーミング技術として、MPEG−DASH(Dynamic Adaptive Streaming over HTTP)が提案されている。MPEG−DASHでは、配信コンテンツを分割してMPDファイルと呼ばれる記述データに列挙することでストリーミングを実現している。
MPEG−DASHのMPDファイルを効率的に送信する方法として、MPDファイルの更新方法が開示されている(特許文献1)。クライアントはサーバにMPDファイルの一部を要求する。
本発明は、コンテンツの再生を決定してからコンテンツの再生が開始されるまでの時間を短縮することを目的とする。
図1は、通信システムのシステム構成の一例を示す図である。
ネットワーク100は再生装置、通知装置、配信装置を接続するネットワークである。本実施形態では、ネットワーク100はインターネットを用いて実現するものとして説明を行う。しかし、ネットワーク100はインターネットに限らず、WAN(Wide Area Network)、LAN(Local Area Network)、Bluetooth(登録商標)、Zigbee(登録商標)、USB等であってもよい。また、ネットワーク100は、有線であっても無線であってもよく、有線及び無線の複合であってもよい。
再生装置101は、配信装置103によって配信された動画を再生する再生装置である。
通知装置102は、配信装置103から受信したプッシュ通知を再生装置101に送信する通知装置である。本実施形態では、通知装置102は、一台の装置として説明を行うが、複数のサーバ装置等で構成されるクラウド上のサービスとして通信システムに実装してもよい。通知装置102は、一台の装置としては、サーバであってもよく、スマートウォン等であってもよい。
配信装置103は、再生装置101に動画を配信する配信装置である。また、配信装置103は状態の変化によるイベントを通知装置102に通知する。例えば、状態の変化とは、配信開始、不審者の検知、不審物の検知、人感センサーや温度センサーによる変化、ドアの開け閉めの変化等である。
本実施形態では配信装置103と通知装置102とを別々の装置として構成したが、これに限らず、同一装置、又は同一サービス内で実施しても実現できる。また、再生装置101、通知装置102、配信装置103の機能をネットワーク上に分散させて、それぞれ別のサービスとして実施してもよい。
図1の例では、通知装置102は、ネットワーク100を介してプッシュ通知を行う例を示したが、これに限らず、携帯電話網やWiMAX等、他の無線網を用いてプッシュ通知を行ってもよい。
CPU10がプログラムに基づき処理を実行することにより、後述する図5に示す配信装置103のモジュール構成、及び後述する図7、8に示すフローチャート、図10、13のシーケンス図の配信装置103の処理が実現される。再生装置101のハードウェア構成も図2の配信装置103のハードウェア構成と同様である。再生装置101のCPUが再生装置101のHDD等に記憶されているプログラムに基づき処理を実行することにより、以下のことが実現される。即ち、後述する図3に示す再生装置101のモジュール構成、及び後述する図6、12に示すフローチャート、図10、13のシーケンス図の再生装置101の処理が実現される。但し、再生装置101のハードウェア構成は、図2に示したハードウェア構成に比べて、ディスプレイ等の表示部を更に有する。再生装置101のディスプレイに、後述する図14に示されるような画面が表示される。
また、通知装置102のハードウェア構成も図2の配信装置103のハードウェア構成と同様である。通知装置102のCPUが通知装置102のHDD等に記憶されているプログラムに基づき処理を実行することにより、以下のことが実現される。即ち、後述する図4に示す通知装置102のモジュール構成、及び後述する図9に示すフローチャート、図10、13のシーケンス図の通知装置102の処理が実現される。
通信部201は、プロトコル処理を行う。本実施形態では、通信部201は、HTTP/2を利用するものとして説明を行う。但し、これに限らず、通信部201は、QUIC、WebSocket、MQTT(MQ Telemetry Transport)、CoAP(Constrained Application Protocol)等の他のプロトコルを利用してもよい。また、通信部201は、これらのプロトコルの複合したプロトコルを利用してもよい。また、例えば、再生装置101と配信装置103との間にプロトコルを変換するプロキシ装置を設置して、実現してもよい。
表示部202は、再生した配信コンテンツの表示を行う。本実施形態では、配信コンテンツの一例として動画を想定しているがこれに限らず、音声や静止画であってもよい。
再生部203は、配信コンテンツを再生する。再生部203は、音声を再生する場合、スピーカーによって配信コンテンツを再生してもよい。
TCP/IP処理部204は、TCP/IPの制御を行う。通知装置102や配信装置103との通信は、TCP/IP処理部204を通じて処理される。
データ取得部205は、配信装置103から配信コンテンツを取得する。データ取得部205は、通信部201によりプロトコル処理を行った上でTCP/IP処理部204を通じて、配信装置103と通信を行う。
プッシュ処理部206は、通知装置102からのプッシュ通知を受信する。プッシュ処理部206は、通信部201によりプロトコル処理を行った上でTCP/IP処理部204を通じて、配信装置103と通信を行う。
メタデータ取得部207は、プッシュ通知に含まれるメタデータを取得する。
メタデータ解析部208は、メタデータ取得部207で取得したメタデータを解析する。
取得データ判断部209は、メタデータ解析部208の結果、足りないメタデータ(MPDファイル、アプリケーション、サムネイル等)があるかを判断する。ここで、MPDは、Media Presentation Descriptionの略である。
動画変更部210は、配信コンテンツの取得先、再生位置、ファイルフォーマット、ビットレートを変更する。
通信部301は、プロトコル処理を行う。例えば、通信部301は、HTTP/2を利用したWebPush機能を用いて実現する。本実施形態では、通信部301は、HTTP/2を利用するものとして説明を行う。但し、これに限られず、通信部301は、QUIC、WebSocket、MQTT、CoAP等の他のプロトコルを利用してもよい。また、通信部301は、これらのプロトコルを複合したプロトコルを利用してもよい。
プッシュ送信部302は、再生装置101にプッシュ通知を送信する。
プッシュ受信部303は、配信装置103からプッシュ通知を受信する。
TCP/IP処理部304は、TCP/IPの制御を行う。再生装置101や配信装置103との通信は、TCP/IP処理部304を通じて処理される。
プッシュ生成部305は、再生装置101に送信するプッシュ通知を生成する。プッシュ生成部305は、メタデータ判断部306の解析結果に応じてプッシュ通知に含むためのメタデータを生成してもよい。例えば、プッシュ生成部305は、メタデータに配信コンテンツの一部が含まれていた場合、配信コンテンツのサムネイルを生成してプッシュ通知に含めるようにしてもよい。また、プッシュ生成部305は、メタデータに配信コンテンツの一部が含まれていた場合、配信コンテンツの中から注目領域を検出し、プッシュ通知に含めるようにしてもよい。
メタデータ判断部306は、プッシュ通知に含まれるメタデータを解析し、再生装置101にプッシュ通知を送信するか否かを決定する。
通信部401は、プロトコル処理を行う。例えば、通信部401は、HTTP/2を利用したWebPush機能を用いて実現する。本実施形態では、通信部401は、HTTP/2を利用するが、これに限らず、QUIC、WebSocket、MQTT、CoAP等の他のプロトコルを利用してもよい。また、通信部401は、これらのプロトコルを複合したプロトコルを利用してもよい。
動画生成部402は、配信コンテンツを生成する。本実施形態では配信コンテンツとして動画を選択したが、これに限らず、静止画、音声、バイナリ、実行コード等であってもよい。
メタデータ生成部403は、配信コンテンツのメタデータを生成する。メタデータ生成部403は、アプリケーション、サムネイル、配信コンテンツの一部、付帯情報(注目領域、人物検知情報)等を生成し、プッシュ通知に付与する。メタデータ生成部403は、配信装置103の機能に応じて、一部のメタデータのみを生成しプッシュ通知に付与してもよい。
TCP/IP処理部404は、TCP/IPの制御を行う。再生装置101や通知装置102との通信は、TCP/IP処理部404を通じて処理される。
MPD生成部405は、配信コンテンツのMPDファイルの生成を行う。本実施形態では、MPD生成部405は、MPDファイルを生成しているが、これに限らず、配信コンテンツを分割したリストやリストに相当するデータを生成するようにしてもよい。
動画配信部406は、配信コンテンツの取得要求に応じて配信コンテンツを配信する。
プッシュ通知部407は、配信コンテンツが準備できたときやイベント(注目領域の発見等)があったとき、通知装置102にプッシュ通知を行う。
S501において、プッシュ処理部206は、通信部201及びTCP/IP処理部204を介して、通知装置102からプッシュ通知を受信する。
S502において、メタデータ取得部207は、プッシュ通知からメタデータを取得する。その後、メタデータ解析部208は、メタデータを解析する。メタデータには、注目領域、撮影に関するGPS情報、人物や物体の名前等の属性情報が含まれていてもよい。
S503において、メタデータ解析部208は、メタデータの解析結果に基づき、MPDファイルを取得する。
S504において、メタデータ解析部208は、メタデータの解析結果に基づき、アプリケーションを取得する。
S505において、メタデータ解析部208は、メタデータの解析結果に基づき、付帯情報を取得する。
S506において、メタデータ解析部208は、メタデータの解析結果に基づき、サムネイル等を取得する。
S507において、取得データ判断部209は、取得したデータ等に基づき足りないメタデータを判断する。取得データ判断部209は、プッシュ通知のみでMPDファイル、アプリケーション、配信コンテンツの一部等が含まれていなかったと判断した場合、S508に進む。取得データ判断部209は、MPDファイルの取得まで完了していると判断した場合、S509に進む。取得データ判断部209は、アプリケーションの取得及び配信コンテンツの一部(サムネイル)の受信まで完了していると判断した場合、S510に進む。本実施形態では、図6のS503〜S506の順番の処理のみを示したがこれに限らず、MPDファイルの前にサムネイルを受信する等、順番を前後して受信してもよい。
S509において、メタデータ取得部207は、配信装置103よりアプリケーションを取得し、S510に進む。配信装置103は、MPDファイルやアプリケーションの一部を先にプッシュ通知しておいてもよい。これにより、再生装置101は、予め再生等を実施できる。
S510において、表示部202は、アプリケーションを用いて配信コンテンツの一部(サムネイル)を表示する。本実施形態では、表示部202は、サムネイルを表示するよう説明したが、これに限らず、配信コンテンツの冒頭であってもよいし、配信コンテンツの付帯情報を表示してもよい。
S511において、データ取得部205は、MPDファイルに記述されている配信コンテンツを配信装置103より取得する。MPDファイルには配信コンテンツが分割されて記載されており、データ取得部205は、現在のネットワーク接続状態や送信されたアプリケーション等に応じて配信コンテンツを取得するか否かを決定し、決定に応じて配信コンテンツを取得するようにしてもよい。
S512において、表示部202は、アプリケーションを用いて、取得した配信コンテンツを表示する。動画変更部210は、取得する配信コンテンツ及び表示する配信コンテンツを変更してもよい。本実施形態では再生装置101のモジュールを独立したアプリケーションに限らず、ブラウザのプラグイン等、他アプリケーションの追加機能として実装してもよい。本実施形態では、配信コンテンツを表示する例を用いて説明を行ったが、配信コンテンツの表示に限られるものではなく、配信コンテンツの解析、再生装置101へのコマンドや操作、再生装置101に関連付けられた装置への表示であってもよい。
S601において、動画生成部402は、配信用の動画を生成する。配信用の動画は予め保存されている動画を編集してもよいし、カメラ等からリアルタイムに記憶される動画を利用してもよい。MPD生成部405は、配信用の動画に対応するMPDファイルを生成する。
S602において、アプリケーション生成部408は、配信用のアプリケーションを生成する。例えば、配信する動画がネットワークカメラのライブ映像であれば、アプリケーション生成部408は、首振りや注目領域へのズーム等の機能が付与されたアプリケーションを生成する。また、配信する動画が記憶された動画であれば、アプリケーション生成部408は、スライドバーによる時間検索やバイト検索等の機能が付与されたアプリケーションを生成する。アプリケーション生成部408は、アプリケーションを動的に組み上げてもよいし、予め用意されたアプリケーションから選択してもよいし、一つのアプリケーション内のオプション設定を行ってもよい。
S603において、メタデータ生成部403は、配信する動画に関連するメタデータを生成する。メタデータ生成部403は、メタデータとして、配信コンテンツの一部、サムネイル、GPSや撮影情報等の付帯情報を生成する。
S604において、プッシュ通知部407は、通信部401及びTCP/IP処理部404を介して、プッシュ通知にMPDファイル、アプリケーション、メタデータを含めて送信する。
S701において、通信部401は、再生装置101からMPDファイルの要求を受け付けたか否かの判断を行う。通信部401は、MPDファイルの要求を受け付けたと判断した場合、S702に進み、MPDファイルの要求を受け付けたと判断しない場合、S703に進む。
S702において、通信部401は、MPD生成部405で生成されたMPDファイルを再生装置101に送信する。
S703において、通信部401は、アプリケーションの取得要求を受け付けたか否かの判断を行う。通信部401は、アプリケーションの取得要求を受け付けたと判断した場合、S704に進み、アプリケーションの取得要求を受け付けたと判断しない場合、S705に進む。
S704において、通信部401は、再生装置101にアプリケーションの一部又は全部を送信する。
S705において、通信部401は、配信コンテンツの取得要求を受け付けたか否かの判断を行う。通信部401は、配信コンテンツの取得要求を受け付けたと判断した場合、S706に進み、配信コンテンツの取得要求を受け付けたと判断しない場合、図8に示すフローチャートの処理を終了する。
S706において、通信部401は、分割された配信コンテンツの一部又は全部を再生装置101に送信する。配信コンテンツは配信コンテンツの取得要求を受け付けてから、動画生成部402が基となる動画からエンコードして作成してもよいし、予め用意しておいてもよい。動画は、画像コンテンツの一例である。
再生装置101は、配信装置103からのプッシュ通知を受け付けるためのサブスクライブを通知装置102に送信する。配信装置103は、再生装置101と共有された通知装置102がプッシュ通知を再生装置101に送信するための情報(共有されたURLやトークン情報等)を登録する。再生装置101と配信装置103とは直接通信又は他の中継装置を介して、プッシュ通知を送受信するためのURLやトークン情報、セキュリティ情報を交換する。プッシュ通知の方法はPushSubやWebPush、XMPP、HTTP/2、WebSocket等を用いた公知方式を用いて実現できるため、ここでは説明を省略する。S801において、サブスクライブ受信部307は、再生装置101からのサブスクライブを受信する。更に、サブスクライブ受信部307は、配信装置103からのプッシュ通知を再生装置101に送信するための情報を受信する。本実施形態では、配信装置103から予めプッシュ通知の送信のための情報を取得していたが、これに限らず、プッシュ通知に付与して受信してもよい。
S802において、プッシュ受信部303は、配信装置103からプッシュ通知を受信する。
S803において、メタデータ判断部306は、プッシュ通知の解析を行う。メタデータ判断部306は、プッシュ通知からMPDファイル、付帯情報、配信コンテンツの一部、サムネイル等を取得する。
S804において、メタデータ判断部306は、プッシュ通知の内容に応じてプッシュ通知を行うか否かの判断を行う。メタデータ判断部306は、プッシュ通知を行うと判断した場合、S805に進み、プッシュ通知を行わないと判断した場合、図9に示すフローチャートの処理を終了する。メタデータ判断部306は、プッシュ通知に含まれるURLやトークン情報、セキュリティ情報が、サブスクライブされている再生装置101に合致しないときにプッシュ通知を行わないと判断する。また、メタデータ判断部306は、配信コンテンツの一部やサムネイルに特定の人物、注目領域が含まれているか、MPDファイル又は付帯情報に特定情報が含まれているか等を判断し、含まれていないと判断した場合、プッシュ通知を行わないと判断してもよい。
S806において、プッシュ送信部302は、プッシュ通知の宛先を選択する。そして、プッシュ送信部302は、プッシュ通知の宛先を選択できたか否かを判定する。プッシュ送信部302は、宛先を選択できたと判定した場合、S807に進み、宛先を選択できなかったと判定した場合、S808に進む。プッシュ送信部302は、プッシュ通知の宛先の選択において、プッシュ通知に含まれるURLやトークン情報、セキュリティ情報からサブスクライブされている再生装置101の内、どの再生装置にプッシュ通知を行うかを決定し、選択する。本実施形態におけるサブスクライブ方式は一例であって、プッシュ通知に再生装置101へアクセスするための情報が含まれている場合、プッシュ送信部302は、サブスクライブされていない再生装置101に対してもプッシュ通知を送信することができる。
S807において、プッシュ送信部302は、該当する宛先にプッシュ通知を行い、図9に示すフローチャートの処理を終了する。複数の宛先が該当する場合、プッシュ送信部302は、複数のプッシュ通知を行ってもよい。更にプッシュ通知がエラーになった場合、プッシュ送信部302は、プッシュ通知の再送を行ってもよい。
S808において、プッシュ送信部302は、プッシュ通知を保存する。
S809において、プッシュ送信部302は、一定時間待機する。
S810において、プッシュ送信部302は、再送を行うか否かの判断を行う。プッシュ送信部302は、再送を行うと判断すると、S806に進み、再送を行わないと判断すると、図9に示すフローチャートの処理を終了する。
M901において、再生装置101は、通知装置102にプッシュ通知の受信を行うためのサブスクライブを送信する。再生装置101は、配信装置103とプッシュ通知を送信するための情報(URL、トークン情報、セキュリティ情報)を共有する。共有の方法はネットワークを介して情報交換を行ってもよいし、BluetoothやNFCを利用して情報交換を行ってもよい。
再生装置101は、配信装置103又は通知装置102からプッシュ通知して欲しい情報を配信装置103又は通知装置102に対して要求してもよい。再生装置101は、配信装置103に直接要求してもよいし、通知装置102を介して配信装置103に要求してもよい。配信装置103は、要求に応じて、プッシュ通知の中身を決定してもよい。更に、配信装置103は、要求に応じて、映像伝送のためのセグメントをプッシュ通知するか否かを決定してもよい。
また、通知装置102が再生装置101からの要求に応じて、配信装置103から受信したプッシュ通知の一部を追加及び削除した上で再生装置101にプッシュ通知を送信してもよい。
このように、再生装置101からの要求に応じて、通知装置102や配信装置103はプッシュ通知の頻度、種類などを決定できる。このような構成によれば、再生装置101が組み込みデバイスのようなリソースの少ない装置であった場合でも、再生装置101が処理できるだけのプッシュ通知に限定することができる。つまり、再生装置101は通知装置102および配信装置103からの無駄なプッシュ通知を受信しなくてよくなり、処理負荷を軽減できる。
M902において、配信装置103は、イベント(動画配信のイベント、不審者や注目領域を発見したイベント等)を検出する。
M903において、配信装置103は、MPDファイル、メタデータを含むプッシュ通知を生成し、通知装置102に送信する。
M904において、通知装置102は、受信したプッシュ通知の解析を行い、再構成を行った後、該当する再生装置101に送信する。本実施形態では一つの再生装置101にのみ送信しているがこれに限らずプッシュ通知を複製し、複数の再生装置に送信してもよい。また再生装置101が一時的な通信不可の状態(例えば、CPUの高負荷状態やネットワークの切断等)のとき、通知装置102は、再生装置101にプッシュ通知の再送を行ってもよい。
M905において、再生装置101は、プッシュ通知を受信すると、プッシュ通知の内容及びメタデータに応じて、取得するMPDファイル、アプリケーション、配信コンテンツの一部を決定する。本実施形態ではMpeg−DASHを用いて映像配信を行う例を示したが、これに限らず、Http Live StreamingやRTPを用いる他の配信方法等にも適用できる。
M906及びM907において、再生装置101は、既に取得している配信コンテンツの先頭部分を除く配信コンテンツを配信装置103より取得する。Mpeg−DASHの場合、配信コンテンツが分割されたファイルで設置されているため、HTTP GETを用いてファイル単位で取得するか否かの判断ができる。
M906及びM907において、再生装置101は、分割された配信コンテンツの受信が完了すると次の分割された配信コンテンツの受信を行う。
本実施形態では、説明を簡略化させるために配信コンテンツの取得を順番に実施したが、HTTP GETリクエストを多重的に送信してもよい。このようにすることにより更に配信コンテンツの取得までの時間を短縮することができる。これにより、帯域効率の向上、動画を時間検索や動画の解像度の変更を行ったときの反応速度の向上等のユーザビリティの向上が見込める。
S1301において、プッシュ処理部206は、通知装置102からプッシュ通知を受信する。
S1302において、メタデータ解析部208は、プッシュ通知の内容に応じて表示内容の変更や追加があるか否かの判断を行う。メタデータ解析部208は、表示内容の変更や追加があると判断した場合、S1303に進み、表示内容の変更や追加がないと判断した場合、図11に示すフローチャートの処理を終了する。
S1303において、メタデータ解析部208は、プッシュ通知にMPDファイルがあるか否かを判断する。メタデータ解析部208は、プッシュ通知にMPDファイルがあると判断した場合、S1305に進み、プッシュ通知にMPDファイルがあると判断しない場合、S1304に進む。
S1304において、メタデータ取得部207は、配信装置103よりMPDファイルを取得する。
S1305において、データ取得部205は、MPDファイルに記述されている配信コンテンツを配信装置103より取得する。
S1306において、表示部202は、アプリケーションを用いて、取得した配信コンテンツを表示する。
プッシュ通知1001はプッシュ通知全体を示す。
MPDファイル1002は配信コンテンツの情報を示すMPDファイルである。本実施形態では、MPDファイル1002を用いたがこれに限らず配信コンテンツの場所や内容を示す記述ファイルであればよい。
付帯情報1003は配信コンテンツの内容や追加情報を示す付帯情報である。付帯情報1003には配信コンテンツの内容、配信者、GPS情報等が含まれる。再生装置101は付帯情報1003を表示してもよいし、付帯情報1003を用いて再生する配信コンテンツを決定してもよい。再生装置101は、付帯情報1003により、どんな配信コンテンツを再生しているかをユーザに提示することができるようになる。
アプリケーション1004は配信コンテンツをアプリケーションである。アプリケーション1004は独立したアプリケーションであってもよいし、ブラウザのプラグイン等であってもよい。
コンテンツ1005は配信コンテンツである。コンテンツ1005は、配信コンテンツの一部や配信コンテンツから生成されたサムネイル、配信コンテンツを象徴するマークやアイコンを含む。
情報1006は、URL、トークン情報、セキュリティ情報である。
本実施形態のプッシュ通知では各要素が一つ含まれた例を示したが、これに限らず、複数の要素が含まれていてもよいし、一部の要素が省略されていてもよい。省略された要素は通知装置102によってプッシュ通知を生成する際に追加されてもよい。通知装置102がスマートフォンのような機器の場合、持っているセンサー(GPS、温度、人感等)や入力方法(音声、文字等)によって通知装置102は、付帯情報を付与することができる。これにより、配信装置103としてネットワークカメラ等を想定すると、センサーを持つ必要がなくなり、配信装置103の構成が簡単になる。また配信装置103としてネットワークカメラ等を想定すると、カメラのユーザーインターフェースに比べて、スマートフォンによる高機能なユーザーインターフェースを用いて付帯情報を入力等することができる。
M1201〜M1203において、再生装置101は、通知装置102に配信装置103a〜配信装置103cに対するサブスクライブを行う。
M1204〜M1205において、配信装置103aと配信装置103bとが配信コンテンツの配信を開始し、通知装置102を介したプッシュ通知を再生装置101に送信する。
M1207において、通知装置102は、受信したプッシュ通知の解析を行い、配信装置103bに関連するプッシュ通知を再生装置101に送信すると決定する。
M1208において、通知装置102は、再生装置101にプッシュ通知を送信する。
M1209において、再生装置101は、プッシュ通知を解析し、MPDファイル、アプリケーション、配信コンテンツの一部が含まれているかを判断し、配信コンテンツの表示を開始する。
M1210において、再生装置101は、プッシュ通知に含まれる情報に応じて足りないと判断した情報の取得を配信装置103bに要求する。
M1211において、再生装置101は、MPDファイルと配信コンテンツの一部(先頭部分)とを取得済みであるため、配信コンテンツの途中から取得する。
本実施形態では簡単化のために1つのHTTP GETリクエストを送信しているように記載しているが、再生装置101は、MPDファイルの取得やアプリケーションの取得毎に複数のHTTP GETリクエストを送信する。またユーザ又はアプリケーションが解像度の変更を行う可能性があるため、再生装置101は、複数の解像度を予め取得してもよい。これにより解像度切替えの要求から切替え完了までの時間を短縮でき、ユーザビリティが向上する。
M1213において、通知装置102は、受信したプッシュ通知の解析を行い、配信装置103cに関連するプッシュ通知を送信すると決定する。
M1214において、通知装置102は、再生装置101にプッシュ通知を送信する。
M1215において、再生装置101は、プッシュ通知を解析し、MPDファイル、アプリケーション、配信コンテンツの一部が含まれているかを判断し、既に表示している配信コンテンツと共に表示を開始する。再生装置101は、後述する図14に示すようにウインドウを分割して表示してもよいし、表示部分がない場合には配信コンテンツの受信のみを行い、表示を行わなくてもよい。
M1216において、再生装置101は、プッシュ通知に含まれる情報に応じて足りないと判断した情報の取得を配信装置103cに要求する。
M1217において、再生装置101は、MPDファイルと配信コンテンツの一部(先頭部分)とを取得済みであるため、配信コンテンツの途中から取得する。
以上のように、再生装置101は複数の配信装置によるプッシュ通知を受信でき、動的に表示画面を変更できる。
アプリケーション1101は配信コンテンツを再生するアプリケーションである。アプリケーション1101は、ブラウザから独立したアプリケーションであってもよいし、ブラウザに含まれるプラグインであってもよい。
ウインドウ1102は、配信装置103aから受信した動画を表示するウインドウである。
注目領域1103は、配信装置103aから受信した動画に含まれる注目領域である。再生装置101は、注目領域を閲覧可能な解像度の動画を取得することで、使用する帯域幅とリソースとを動的に選択することができる。
バー1112は、配信装置103aから受信した動画を表示するウインドウを操作するためのバーである。アイコン1113は、配信装置103aから受信した動画の内、見たい場所にスクロールするためのアイコンである。ユーザはアイコン1113をマウスやタッチパネルによって操作してもよいし、再生装置101に自動的に注目領域を追尾させてもよい。再生装置101は、リアルタイムの動画であるか、記録された動画であるかによってウインドウの色、大きさ、アイコン、操作可能範囲等を変更してもよい。
ウインドウ1104は、配信装置103cから受信した動画を表示するウインドウである。
注目領域1105は、配信装置103cから受信した動画に含まれる注目領域である。再生装置101は、注目領域1103と注目領域1105との注目領域の注目度に応じて、ウインドウの色や大きさ、配置等を変更してもよい。これにより、再生装置101はどの動画に注目するのがよいかをユーザに促すことができる。
ウインドウ1106〜1111は、その他の配信装置103から受信した動画を表示するウインドウである。
再生装置101は、動画再生中に配信装置103からプッシュ通知を受信する。再生装置101は、プッシュ通知に応じて、今表示している動画のウインドウ構成を動的に変更してもよい。例えば、再生装置101は、注目度の高いと設定されたプッシュ通知が来た場合や、配信装置103又は通知装置102によって注目領域が付与されている場合、ウインドウ1102を置き換えて表示してもよい。表示方法は置き換えに限るものではなく、再生装置101は、更なるウインドウを生成してもよいし、重畳表示してもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 再生装置
102 通知装置
103 配信装置
Claims (16)
- コンテンツの情報を示す記述ファイルを生成する第1の生成手段と、
前記コンテンツに関するメタデータを生成する第2の生成手段と、
前記第1の生成手段により生成された前記記述ファイルと前記第2の生成手段により生成された前記メタデータとを含んだプッシュ通知を送信する第1の送信手段と、
前記プッシュ通知に含まれる前記記述ファイルに基づいたコンテンツの取得要求があった場合、前記コンテンツを送信する第2の送信手段と、
を有し、
前記メタデータには、前記コンテンツの内容を示す付帯情報、前記コンテンツの表示に関するアプリケーション、前記コンテンツの一部、が含まれる通信装置。 - 撮像手段を更に有し、
前記コンテンツは、前記撮像手段により撮像された画像コンテンツである請求項1記載の通信装置。 - コンテンツの情報を示す記述ファイルと前記コンテンツに関するメタデータとを含むプッシュ通知を受信する受信手段と、
前記受信手段により受信された前記プッシュ通知に含まれる前記記述ファイルに基づきコンテンツを取得する取得手段と、
を有し、
前記メタデータには、前記コンテンツの内容を示す付帯情報と前記コンテンツの表示に関するアプリケーションと前記コンテンツの一部とが含まれる通信装置。 - 前記プッシュ通知の前記メタデータに含まる前記コンテンツの表示に関するアプリケーションを用いて、前記取得手段により取得された前記コンテンツを表示する表示手段を更に有する請求項3記載の通信装置。
- 前記表示手段は、前記取得手段により取得されたコンテンツを表示する前に、前記プッシュ通知の前記メタデータに含まれる前記コンテンツの一部を、前記アプリケーションを用いて表示する請求項4記載の通信装置。
- 前記受信手段は、複数のプッシュ通知を受信し、
前記取得手段は、前記複数のプッシュ通知に含まれるコンテンツの情報を示す記述ファイルに基づき異なる装置よりコンテンツを取得し、
前記表示手段は、前記取得手段により前記異なる装置より取得されたコンテンツを、前記アプリケーションを用いて表示する請求項4又は5記載の通信装置。 - コンテンツの情報を示す記述ファイルを含むプッシュ通知を受信する第1の受信手段と、
前記第1の受信手段により受信された前記プッシュ通知の宛先を選択できるか否かを判定する判定手段と、
前記判定手段により前記第1の受信手段により受信された前記プッシュ通知の宛先を選択できると判定された場合、前記プッシュ通知を前記宛先に送信する送信手段と、
を有する通信装置。 - 前記プッシュ通知には、前記コンテンツに関するメタデータが更に含まれ、
前記判定手段は、前記第1の受信手段により受信された前記プッシュ通知に含まれる前記メタデータに基づいて前記プッシュ通知の宛先を選択できるか否かを判定する請求項7記載の通信装置。 - 前記第1の受信手段は、前記プッシュ通知を、前記コンテンツを配信する配信装置より受信し、
前記プッシュ通知の受信を行うための情報を、前記コンテンツを再生する再生装置より受信する第2の受信手段を更に有し、
前記判定手段は、前記第2の受信手段により受信された前記プッシュ通知の受信を行うための情報と、前記第1の受信手段により受信された前記プッシュ通知に含まれる前記メタデータと、に基づいて前記プッシュ通知の宛先を選択できるか否かを判定する請求項8記載の通信装置。 - 前記メタデータに、前記コンテンツの一部が含まれていた場合、前記コンテンツのサムネイルを生成して前記プッシュ通知に含める生成手段を更に有する請求項8又は9記載の通信装置。
- 前記メタデータに、前記コンテンツの一部が含まれていた場合、前記コンテンツの一部を解析し、前記コンテンツの一部に含まれる注目領域を抽出して前記プッシュ通知に含める生成手段を更に有する請求項8又は9記載の通信装置。
- 前記記述ファイルは、MPDファイルである請求項1乃至11何れか1項記載の通信装置。
- 配信装置と、通知装置と、再生装置と、を含むシステムであって、
前記配信装置は、
コンテンツの情報を示す記述ファイルを生成する生成手段と、
前記生成手段により生成された前記記述ファイルを含んだプッシュ通知を前記通知装置に送信する第1の送信手段と、
を有し
前記通知装置は、
前記プッシュ通知を受信する第1の受信手段と、
前記第1の受信手段により受信された前記プッシュ通知の宛先の再生装置を選択できる場合、前記プッシュ通知を前記宛先の再生装置に送信する第2の送信手段と、
を有し、
前記再生装置は、
前記プッシュ通知を受信する第2の受信手段と、
前記第2の受信手段により受信された前記プッシュ通知に含まれる前記記述ファイルに基づき前記配信装置よりコンテンツを取得する取得手段と、
前記取得手段により取得された前記コンテンツを表示する表示手段と、
を有するシステム。 - 通信装置が実行する情報処理方法であって、
コンテンツの情報を示す記述ファイルを生成する第1の生成ステップと、
前記コンテンツに関するメタデータを生成する第2の生成ステップと、
前記第1の生成ステップにより生成された前記記述ファイルと前記第2の生成ステップにより生成された前記メタデータとを含んだプッシュ通知を送信する第1の送信ステップと、
前記プッシュ通知に含まれる前記記述ファイルに基づいたコンテンツの取得要求があった場合、前記コンテンツを送信する第2の送信ステップと、
を有し、
前記メタデータには、前記コンテンツの内容を示す付帯情報、前記コンテンツの表示に関するアプリケーション、前記コンテンツの一部、が含まれる情報処理方法。 - 通信装置が実行する情報処理方法であって、
コンテンツの情報を示す記述ファイルと前記コンテンツに関するメタデータとを含むプッシュ通知を受信する受信ステップと、
前記受信ステップにより受信された前記プッシュ通知に含まれる前記記述ファイルに基づきコンテンツを取得する取得ステップと、
を有し、
前記メタデータには、前記コンテンツの内容を示す付帯情報と前記コンテンツの表示に関するアプリケーションと前記コンテンツの一部とが含まれる情報処理方法。 - コンピュータを、請求項1乃至12何れか1項記載の通信装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016105415A JP6669402B2 (ja) | 2016-05-26 | 2016-05-26 | 通信装置、システム、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016105415A JP6669402B2 (ja) | 2016-05-26 | 2016-05-26 | 通信装置、システム、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017212644A JP2017212644A (ja) | 2017-11-30 |
JP6669402B2 true JP6669402B2 (ja) | 2020-03-18 |
Family
ID=60475755
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016105415A Active JP6669402B2 (ja) | 2016-05-26 | 2016-05-26 | 通信装置、システム、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6669402B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6998746B2 (ja) * | 2017-12-07 | 2022-01-18 | キヤノン株式会社 | 通信装置、通知装置、中継装置、通信システム、各装置の制御方法、および、プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005012264A (ja) * | 2003-06-16 | 2005-01-13 | Ntt Docomo Inc | マルチキャスト配信システム及びデータ中継装置 |
EP2526671B1 (en) * | 2010-01-18 | 2016-11-16 | Telefonaktiebolaget LM Ericsson (publ) | Methods and arrangements for http media stream distribution |
US9497290B2 (en) * | 2010-06-14 | 2016-11-15 | Blackberry Limited | Media presentation description delta file for HTTP streaming |
EP3001688A1 (en) * | 2014-09-26 | 2016-03-30 | Alcatel Lucent | System and method for transferring adaptive streaming video between a server and a client |
EP3214558B1 (en) * | 2014-10-28 | 2021-05-19 | Sony Corporation | Reception device, transmission device, and data processing method |
-
2016
- 2016-05-26 JP JP2016105415A patent/JP6669402B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017212644A (ja) | 2017-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100710611B1 (ko) | 다수의 장치들 상에 컨텐트를 랜더링하는 시스템 및 방법 | |
KR101056617B1 (ko) | 정보 처리 장치, 및 콘텐츠 정보 처리 방법 | |
JP6541309B2 (ja) | 送信装置、送信方法、及びプログラム | |
JP2011044149A (ja) | ネットワークを通じるコンテンツ提供方法及び装置、コンテンツ受信方法及び装置及びネットワークを通じるデータバックアップ方法及び装置、バックアップデータ提供装置及びバックアップシステム | |
JP6861484B2 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム | |
WO2014154108A1 (zh) | 媒体流的转移方法和用户设备 | |
US9445142B2 (en) | Information processing apparatus and control method thereof | |
KR20180068945A (ko) | 네트워크를 통한 컨텐츠 제공 방법 및 장치, 컨텐츠 수신 방법 및 장치 | |
US9264746B2 (en) | Content distribution system, content distribution server, content distribution method, software program, and storage medium | |
JP6669402B2 (ja) | 通信装置、システム、情報処理方法及びプログラム | |
US11582269B2 (en) | Systems and methods for establishing a virtual shared experience for media playback | |
JP2015095686A (ja) | 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム | |
US20180152491A1 (en) | Image provision apparatus and image reception apparatus, control method thereof, image communication system, and computer-readable storage medium | |
JP6957768B2 (ja) | メディアコンテンツを提示するための方法、システム、およびプログラム | |
JP2012173801A (ja) | 通信装置、その制御方法及びプログラム | |
KR101847074B1 (ko) | 영상 표시 방법 및 장치 | |
WO2021100524A1 (ja) | データ処理装置およびその制御方法、プログラム | |
JP2005323068A (ja) | ホームネットワークavサーバ及びホームネットワークavサーバプログラム | |
JP2018045674A (ja) | 情報処理装置及びその制御方法、コンピュータプログラム | |
KR101805302B1 (ko) | 멀티미디어 컨텐츠 재생 장치 및 방법 | |
JP6752080B2 (ja) | 情報処理装置及びその制御方法、コンピュータプログラム | |
JP6587539B2 (ja) | 送信装置、情報処理方法及びプログラム | |
JP2006126911A (ja) | データ送信システム | |
JP6452458B2 (ja) | データ管理装置、データ管理方法、およびプログラム | |
US20180192085A1 (en) | Method and apparatus for distributed video transmission |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200225 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6669402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |