JP6669402B2 - 通信装置、システム、情報処理方法及びプログラム - Google Patents

通信装置、システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6669402B2
JP6669402B2 JP2016105415A JP2016105415A JP6669402B2 JP 6669402 B2 JP6669402 B2 JP 6669402B2 JP 2016105415 A JP2016105415 A JP 2016105415A JP 2016105415 A JP2016105415 A JP 2016105415A JP 6669402 B2 JP6669402 B2 JP 6669402B2
Authority
JP
Japan
Prior art keywords
content
push notification
unit
metadata
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016105415A
Other languages
English (en)
Other versions
JP2017212644A (ja
Inventor
健介 安間
健介 安間
智哉 酒井
智哉 酒井
祐樹 藤森
祐樹 藤森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016105415A priority Critical patent/JP6669402B2/ja
Publication of JP2017212644A publication Critical patent/JP2017212644A/ja
Application granted granted Critical
Publication of JP6669402B2 publication Critical patent/JP6669402B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、通信装置、システム、情報処理方法及びプログラムに関する。
近年、ウェブの発展により、HTTP/1.1の高速化が求められている。IETF(Internet Engineering Task Force)では、HTTP/1.1の次期の規格であるHTTP/2が提案されている。
また、HTTPを用いたストリーミング技術として、MPEG−DASH(Dynamic Adaptive Streaming over HTTP)が提案されている。MPEG−DASHでは、配信コンテンツを分割してMPDファイルと呼ばれる記述データに列挙することでストリーミングを実現している。
MPEG−DASHのMPDファイルを効率的に送信する方法として、MPDファイルの更新方法が開示されている(特許文献1)。クライアントはサーバにMPDファイルの一部を要求する。
特許第5658820号公報
しかしながら、コンテンツの再生を決定してからコンテンツの再生が開始されるまでに時間がかかる恐れがあった。例えば、ストリーミングの開始を決定してから、実際の配信コンテンツの取得の前に、クライアントは、配信サーバからMPDファイル、アプリケーション、メタデータ等をそれぞれ取得すると、その取得処理に時間がかかる。その結果、ストリーミングの開始の決定から配信コンテンツの再生までに時間がかかってしまう。
本発明は、コンテンツの再生を決定してからコンテンツの再生が開始されるまでの時間を短縮することを目的とする。
本発明は、コンテンツの情報を示す記述ファイルを生成する第1の生成手段と、前記コンテンツに関するメタデータを生成する第2の生成手段と、前記第1の生成手段により生成された前記記述ファイルと前記第2の生成手段により生成された前記メタデータとを含んだプッシュ通知を送信する第1の送信手段と、前記プッシュ通知に含まれる前記記述ファイルに基づいたコンテンツの取得要求があった場合、前記コンテンツを送信する第2の送信手段と、を有し、前記メタデータには、前記コンテンツの内容を示す付帯情報、前記コンテンツの表示に関するアプリケーション、前記コンテンツの一部、が含まれる。
本発明によれば、コンテンツの再生を決定してからコンテンツの再生が開始されるまでの時間を短縮することができる。
通信システムのシステム構成の一例を示す図である。 配信装置のハードウェア構成の一例を示す図である。 再生装置のモジュール構成の一例を示す図である。 通知装置のモジュール構成の一例を示す図である。 配信装置のモジュール構成の一例を示す図である。 再生装置におけるプッシュ通知の受信時のフローチャートである。 配信装置におけるプッシュ通知の送信時のフローチャートである。 配信装置におけるコンテンツ要求受信時のフローチャートである。 通知装置におけるプッシュ通知の転送時のフローチャートである。 コンテンツ開始の再生を開始するシーケンス図である。 再生装置における複数の配信装置からプッシュ通知の受信時のフローチャートである。 プッシュ通知のデータフォーマットの一例を示す図である。 複数の配信装置からコンテンツを受信し再生するシーケンス図である。 再生装置のコンテンツ再生中の表示画面の一例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
図1は、通信システムのシステム構成の一例を示す図である。
ネットワーク100は再生装置、通知装置、配信装置を接続するネットワークである。本実施形態では、ネットワーク100はインターネットを用いて実現するものとして説明を行う。しかし、ネットワーク100はインターネットに限らず、WAN(Wide Area Network)、LAN(Local Area Network)、Bluetooth(登録商標)、Zigbee(登録商標)、USB等であってもよい。また、ネットワーク100は、有線であっても無線であってもよく、有線及び無線の複合であってもよい。
再生装置101は、配信装置103によって配信された動画を再生する再生装置である。
通知装置102は、配信装置103から受信したプッシュ通知を再生装置101に送信する通知装置である。本実施形態では、通知装置102は、一台の装置として説明を行うが、複数のサーバ装置等で構成されるクラウド上のサービスとして通信システムに実装してもよい。通知装置102は、一台の装置としては、サーバであってもよく、スマートウォン等であってもよい。
配信装置103は、再生装置101に動画を配信する配信装置である。また、配信装置103は状態の変化によるイベントを通知装置102に通知する。例えば、状態の変化とは、配信開始、不審者の検知、不審物の検知、人感センサーや温度センサーによる変化、ドアの開け閉めの変化等である。
本実施形態では配信装置103と通知装置102とを別々の装置として構成したが、これに限らず、同一装置、又は同一サービス内で実施しても実現できる。また、再生装置101、通知装置102、配信装置103の機能をネットワーク上に分散させて、それぞれ別のサービスとして実施してもよい。
図1の例では、通知装置102は、ネットワーク100を介してプッシュ通知を行う例を示したが、これに限らず、携帯電話網やWiMAX等、他の無線網を用いてプッシュ通知を行ってもよい。
次に、本実施形態における配信装置103のハードウェア構成について、図2を用いて説明する。図2は、配信装置103のハードウェア構成の一例を示す図である。図2に示されるように、配信装置103は、ハードウェア構成として、CPU10、HDD11、RAM12、ネットワークI/F13を含む。配信装置103の各構成は、バス15を介して接続されている。CPU10は、配信装置103の全体を制御する。HDD11は、プログラムや受信装置200に送信するデータ、CPU10がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。RAM12は、配信装置103のメインメモリであって、HDD11から読み出されたプログラムをCPU10が実行する際等に利用される。ネットワークI/F13は、配信装置103をネットワーク100に接続するインタフェース(I/F)である。
CPU10がプログラムに基づき処理を実行することにより、後述する図5に示す配信装置103のモジュール構成、及び後述する図7、8に示すフローチャート、図10、13のシーケンス図の配信装置103の処理が実現される。再生装置101のハードウェア構成も図2の配信装置103のハードウェア構成と同様である。再生装置101のCPUが再生装置101のHDD等に記憶されているプログラムに基づき処理を実行することにより、以下のことが実現される。即ち、後述する図3に示す再生装置101のモジュール構成、及び後述する図6、12に示すフローチャート、図10、13のシーケンス図の再生装置101の処理が実現される。但し、再生装置101のハードウェア構成は、図2に示したハードウェア構成に比べて、ディスプレイ等の表示部を更に有する。再生装置101のディスプレイに、後述する図14に示されるような画面が表示される。
また、通知装置102のハードウェア構成も図2の配信装置103のハードウェア構成と同様である。通知装置102のCPUが通知装置102のHDD等に記憶されているプログラムに基づき処理を実行することにより、以下のことが実現される。即ち、後述する図4に示す通知装置102のモジュール構成、及び後述する図9に示すフローチャート、図10、13のシーケンス図の通知装置102の処理が実現される。
図3は、再生装置101のモジュール構成の一例を示す図である。
通信部201は、プロトコル処理を行う。本実施形態では、通信部201は、HTTP/2を利用するものとして説明を行う。但し、これに限らず、通信部201は、QUIC、WebSocket、MQTT(MQ Telemetry Transport)、CoAP(Constrained Application Protocol)等の他のプロトコルを利用してもよい。また、通信部201は、これらのプロトコルの複合したプロトコルを利用してもよい。また、例えば、再生装置101と配信装置103との間にプロトコルを変換するプロキシ装置を設置して、実現してもよい。
表示部202は、再生した配信コンテンツの表示を行う。本実施形態では、配信コンテンツの一例として動画を想定しているがこれに限らず、音声や静止画であってもよい。
再生部203は、配信コンテンツを再生する。再生部203は、音声を再生する場合、スピーカーによって配信コンテンツを再生してもよい。
TCP/IP処理部204は、TCP/IPの制御を行う。通知装置102や配信装置103との通信は、TCP/IP処理部204を通じて処理される。
データ取得部205は、配信装置103から配信コンテンツを取得する。データ取得部205は、通信部201によりプロトコル処理を行った上でTCP/IP処理部204を通じて、配信装置103と通信を行う。
プッシュ処理部206は、通知装置102からのプッシュ通知を受信する。プッシュ処理部206は、通信部201によりプロトコル処理を行った上でTCP/IP処理部204を通じて、配信装置103と通信を行う。
メタデータ取得部207は、プッシュ通知に含まれるメタデータを取得する。
メタデータ解析部208は、メタデータ取得部207で取得したメタデータを解析する。
取得データ判断部209は、メタデータ解析部208の結果、足りないメタデータ(MPDファイル、アプリケーション、サムネイル等)があるかを判断する。ここで、MPDは、Media Presentation Descriptionの略である。
動画変更部210は、配信コンテンツの取得先、再生位置、ファイルフォーマット、ビットレートを変更する。
図4は、通知装置102のモジュール構成の一例を示す図である。
通信部301は、プロトコル処理を行う。例えば、通信部301は、HTTP/2を利用したWebPush機能を用いて実現する。本実施形態では、通信部301は、HTTP/2を利用するものとして説明を行う。但し、これに限られず、通信部301は、QUIC、WebSocket、MQTT、CoAP等の他のプロトコルを利用してもよい。また、通信部301は、これらのプロトコルを複合したプロトコルを利用してもよい。
プッシュ送信部302は、再生装置101にプッシュ通知を送信する。
プッシュ受信部303は、配信装置103からプッシュ通知を受信する。
TCP/IP処理部304は、TCP/IPの制御を行う。再生装置101や配信装置103との通信は、TCP/IP処理部304を通じて処理される。
プッシュ生成部305は、再生装置101に送信するプッシュ通知を生成する。プッシュ生成部305は、メタデータ判断部306の解析結果に応じてプッシュ通知に含むためのメタデータを生成してもよい。例えば、プッシュ生成部305は、メタデータに配信コンテンツの一部が含まれていた場合、配信コンテンツのサムネイルを生成してプッシュ通知に含めるようにしてもよい。また、プッシュ生成部305は、メタデータに配信コンテンツの一部が含まれていた場合、配信コンテンツの中から注目領域を検出し、プッシュ通知に含めるようにしてもよい。
メタデータ判断部306は、プッシュ通知に含まれるメタデータを解析し、再生装置101にプッシュ通知を送信するか否かを決定する。
図5は、配信装置103のモジュール構成の一例を示す図である。
通信部401は、プロトコル処理を行う。例えば、通信部401は、HTTP/2を利用したWebPush機能を用いて実現する。本実施形態では、通信部401は、HTTP/2を利用するが、これに限らず、QUIC、WebSocket、MQTT、CoAP等の他のプロトコルを利用してもよい。また、通信部401は、これらのプロトコルを複合したプロトコルを利用してもよい。
動画生成部402は、配信コンテンツを生成する。本実施形態では配信コンテンツとして動画を選択したが、これに限らず、静止画、音声、バイナリ、実行コード等であってもよい。
メタデータ生成部403は、配信コンテンツのメタデータを生成する。メタデータ生成部403は、アプリケーション、サムネイル、配信コンテンツの一部、付帯情報(注目領域、人物検知情報)等を生成し、プッシュ通知に付与する。メタデータ生成部403は、配信装置103の機能に応じて、一部のメタデータのみを生成しプッシュ通知に付与してもよい。
TCP/IP処理部404は、TCP/IPの制御を行う。再生装置101や通知装置102との通信は、TCP/IP処理部404を通じて処理される。
MPD生成部405は、配信コンテンツのMPDファイルの生成を行う。本実施形態では、MPD生成部405は、MPDファイルを生成しているが、これに限らず、配信コンテンツを分割したリストやリストに相当するデータを生成するようにしてもよい。
動画配信部406は、配信コンテンツの取得要求に応じて配信コンテンツを配信する。
プッシュ通知部407は、配信コンテンツが準備できたときやイベント(注目領域の発見等)があったとき、通知装置102にプッシュ通知を行う。
図6は、再生装置101におけるプッシュ通知の受信時の情報処理の一例を示すフローチャートである。
S501において、プッシュ処理部206は、通信部201及びTCP/IP処理部204を介して、通知装置102からプッシュ通知を受信する。
S502において、メタデータ取得部207は、プッシュ通知からメタデータを取得する。その後、メタデータ解析部208は、メタデータを解析する。メタデータには、注目領域、撮影に関するGPS情報、人物や物体の名前等の属性情報が含まれていてもよい。
S503において、メタデータ解析部208は、メタデータの解析結果に基づき、MPDファイルを取得する。
S504において、メタデータ解析部208は、メタデータの解析結果に基づき、アプリケーションを取得する。
S505において、メタデータ解析部208は、メタデータの解析結果に基づき、付帯情報を取得する。
S506において、メタデータ解析部208は、メタデータの解析結果に基づき、サムネイル等を取得する。
S507において、取得データ判断部209は、取得したデータ等に基づき足りないメタデータを判断する。取得データ判断部209は、プッシュ通知のみでMPDファイル、アプリケーション、配信コンテンツの一部等が含まれていなかったと判断した場合、S508に進む。取得データ判断部209は、MPDファイルの取得まで完了していると判断した場合、S509に進む。取得データ判断部209は、アプリケーションの取得及び配信コンテンツの一部(サムネイル)の受信まで完了していると判断した場合、S510に進む。本実施形態では、図6のS503〜S506の順番の処理のみを示したがこれに限らず、MPDファイルの前にサムネイルを受信する等、順番を前後して受信してもよい。
S508において、メタデータ取得部207は、配信装置103よりMPDファイルを取得し、S509に進む。
S509において、メタデータ取得部207は、配信装置103よりアプリケーションを取得し、S510に進む。配信装置103は、MPDファイルやアプリケーションの一部を先にプッシュ通知しておいてもよい。これにより、再生装置101は、予め再生等を実施できる。
S510において、表示部202は、アプリケーションを用いて配信コンテンツの一部(サムネイル)を表示する。本実施形態では、表示部202は、サムネイルを表示するよう説明したが、これに限らず、配信コンテンツの冒頭であってもよいし、配信コンテンツの付帯情報を表示してもよい。
S511において、データ取得部205は、MPDファイルに記述されている配信コンテンツを配信装置103より取得する。MPDファイルには配信コンテンツが分割されて記載されており、データ取得部205は、現在のネットワーク接続状態や送信されたアプリケーション等に応じて配信コンテンツを取得するか否かを決定し、決定に応じて配信コンテンツを取得するようにしてもよい。
S512において、表示部202は、アプリケーションを用いて、取得した配信コンテンツを表示する。動画変更部210は、取得する配信コンテンツ及び表示する配信コンテンツを変更してもよい。本実施形態では再生装置101のモジュールを独立したアプリケーションに限らず、ブラウザのプラグイン等、他アプリケーションの追加機能として実装してもよい。本実施形態では、配信コンテンツを表示する例を用いて説明を行ったが、配信コンテンツの表示に限られるものではなく、配信コンテンツの解析、再生装置101へのコマンドや操作、再生装置101に関連付けられた装置への表示であってもよい。
図7は、配信装置103におけるプッシュ通知の送信時の情報処理の一例を示すフローチャートである。
S601において、動画生成部402は、配信用の動画を生成する。配信用の動画は予め保存されている動画を編集してもよいし、カメラ等からリアルタイムに記憶される動画を利用してもよい。MPD生成部405は、配信用の動画に対応するMPDファイルを生成する。
S602において、アプリケーション生成部408は、配信用のアプリケーションを生成する。例えば、配信する動画がネットワークカメラのライブ映像であれば、アプリケーション生成部408は、首振りや注目領域へのズーム等の機能が付与されたアプリケーションを生成する。また、配信する動画が記憶された動画であれば、アプリケーション生成部408は、スライドバーによる時間検索やバイト検索等の機能が付与されたアプリケーションを生成する。アプリケーション生成部408は、アプリケーションを動的に組み上げてもよいし、予め用意されたアプリケーションから選択してもよいし、一つのアプリケーション内のオプション設定を行ってもよい。
S603において、メタデータ生成部403は、配信する動画に関連するメタデータを生成する。メタデータ生成部403は、メタデータとして、配信コンテンツの一部、サムネイル、GPSや撮影情報等の付帯情報を生成する。
S604において、プッシュ通知部407は、通信部401及びTCP/IP処理部404を介して、プッシュ通知にMPDファイル、アプリケーション、メタデータを含めて送信する。
図8は、配信装置103におけるコンテンツ要求受信時の情報処理の一例を示すフローチャートである。
S701において、通信部401は、再生装置101からMPDファイルの要求を受け付けたか否かの判断を行う。通信部401は、MPDファイルの要求を受け付けたと判断した場合、S702に進み、MPDファイルの要求を受け付けたと判断しない場合、S703に進む。
S702において、通信部401は、MPD生成部405で生成されたMPDファイルを再生装置101に送信する。
S703において、通信部401は、アプリケーションの取得要求を受け付けたか否かの判断を行う。通信部401は、アプリケーションの取得要求を受け付けたと判断した場合、S704に進み、アプリケーションの取得要求を受け付けたと判断しない場合、S705に進む。
S704において、通信部401は、再生装置101にアプリケーションの一部又は全部を送信する。
S705において、通信部401は、配信コンテンツの取得要求を受け付けたか否かの判断を行う。通信部401は、配信コンテンツの取得要求を受け付けたと判断した場合、S706に進み、配信コンテンツの取得要求を受け付けたと判断しない場合、図8に示すフローチャートの処理を終了する。
S706において、通信部401は、分割された配信コンテンツの一部又は全部を再生装置101に送信する。配信コンテンツは配信コンテンツの取得要求を受け付けてから、動画生成部402が基となる動画からエンコードして作成してもよいし、予め用意しておいてもよい。動画は、画像コンテンツの一例である。
図9は、通知装置102におけるプッシュ通知の転送時の情報処理の一例を示すフローチャートである。
再生装置101は、配信装置103からのプッシュ通知を受け付けるためのサブスクライブを通知装置102に送信する。配信装置103は、再生装置101と共有された通知装置102がプッシュ通知を再生装置101に送信するための情報(共有されたURLやトークン情報等)を登録する。再生装置101と配信装置103とは直接通信又は他の中継装置を介して、プッシュ通知を送受信するためのURLやトークン情報、セキュリティ情報を交換する。プッシュ通知の方法はPushSubやWebPush、XMPP、HTTP/2、WebSocket等を用いた公知方式を用いて実現できるため、ここでは説明を省略する。S801において、サブスクライブ受信部307は、再生装置101からのサブスクライブを受信する。更に、サブスクライブ受信部307は、配信装置103からのプッシュ通知を再生装置101に送信するための情報を受信する。本実施形態では、配信装置103から予めプッシュ通知の送信のための情報を取得していたが、これに限らず、プッシュ通知に付与して受信してもよい。
S802において、プッシュ受信部303は、配信装置103からプッシュ通知を受信する。
S803において、メタデータ判断部306は、プッシュ通知の解析を行う。メタデータ判断部306は、プッシュ通知からMPDファイル、付帯情報、配信コンテンツの一部、サムネイル等を取得する。
S804において、メタデータ判断部306は、プッシュ通知の内容に応じてプッシュ通知を行うか否かの判断を行う。メタデータ判断部306は、プッシュ通知を行うと判断した場合、S805に進み、プッシュ通知を行わないと判断した場合、図9に示すフローチャートの処理を終了する。メタデータ判断部306は、プッシュ通知に含まれるURLやトークン情報、セキュリティ情報が、サブスクライブされている再生装置101に合致しないときにプッシュ通知を行わないと判断する。また、メタデータ判断部306は、配信コンテンツの一部やサムネイルに特定の人物、注目領域が含まれているか、MPDファイル又は付帯情報に特定情報が含まれているか等を判断し、含まれていないと判断した場合、プッシュ通知を行わないと判断してもよい。
S805において、プッシュ生成部305は、再生装置101に送信するためのプッシュ通知を生成する。プッシュ生成部305は、配信装置103から受信したプッシュ通知をそのまま転用してプッシュ通知をしてもよいし、一部のヘッダ等を書き替えてプッシュ通知をしてもよい。プッシュ生成部305は、再生装置101に送信するための情報やセキュリティ情報等、送信すべきでないと判断した情報については削除してもよい。通知装置102が生成できるメタデータがある場合、プッシュ生成部305は、更にメタデータを生成して付与してもよい。例えば、プッシュ生成部305は、配信コンテンツの一部からサムネイルを生成したり、GPS情報等の付帯情報を付与したりしてもよい。プッシュ生成部305は、配信コンテンツの一部やサムネイルを解析し、不審人物や注目領域があるかを判断し、判断結果や配信コンテンツの一部やサムネイルに含まれる不審人物に係る領域、注目領域等を抽出し、プッシュ通知に付与してもよい。
S806において、プッシュ送信部302は、プッシュ通知の宛先を選択する。そして、プッシュ送信部302は、プッシュ通知の宛先を選択できたか否かを判定する。プッシュ送信部302は、宛先を選択できたと判定した場合、S807に進み、宛先を選択できなかったと判定した場合、S808に進む。プッシュ送信部302は、プッシュ通知の宛先の選択において、プッシュ通知に含まれるURLやトークン情報、セキュリティ情報からサブスクライブされている再生装置101の内、どの再生装置にプッシュ通知を行うかを決定し、選択する。本実施形態におけるサブスクライブ方式は一例であって、プッシュ通知に再生装置101へアクセスするための情報が含まれている場合、プッシュ送信部302は、サブスクライブされていない再生装置101に対してもプッシュ通知を送信することができる。
S807において、プッシュ送信部302は、該当する宛先にプッシュ通知を行い、図9に示すフローチャートの処理を終了する。複数の宛先が該当する場合、プッシュ送信部302は、複数のプッシュ通知を行ってもよい。更にプッシュ通知がエラーになった場合、プッシュ送信部302は、プッシュ通知の再送を行ってもよい。
S808において、プッシュ送信部302は、プッシュ通知を保存する。
S809において、プッシュ送信部302は、一定時間待機する。
S810において、プッシュ送信部302は、再送を行うか否かの判断を行う。プッシュ送信部302は、再送を行うと判断すると、S806に進み、再送を行わないと判断すると、図9に示すフローチャートの処理を終了する。
図10は、コンテンツ開始の再生を開始する情報処理の一例を示すシーケンス図である。
M901において、再生装置101は、通知装置102にプッシュ通知の受信を行うためのサブスクライブを送信する。再生装置101は、配信装置103とプッシュ通知を送信するための情報(URL、トークン情報、セキュリティ情報)を共有する。共有の方法はネットワークを介して情報交換を行ってもよいし、BluetoothやNFCを利用して情報交換を行ってもよい。
再生装置101は、配信装置103又は通知装置102からプッシュ通知して欲しい情報を配信装置103又は通知装置102に対して要求してもよい。再生装置101は、配信装置103に直接要求してもよいし、通知装置102を介して配信装置103に要求してもよい。配信装置103は、要求に応じて、プッシュ通知の中身を決定してもよい。更に、配信装置103は、要求に応じて、映像伝送のためのセグメントをプッシュ通知するか否かを決定してもよい。
また、通知装置102が再生装置101からの要求に応じて、配信装置103から受信したプッシュ通知の一部を追加及び削除した上で再生装置101にプッシュ通知を送信してもよい。
このように、再生装置101からの要求に応じて、通知装置102や配信装置103はプッシュ通知の頻度、種類などを決定できる。このような構成によれば、再生装置101が組み込みデバイスのようなリソースの少ない装置であった場合でも、再生装置101が処理できるだけのプッシュ通知に限定することができる。つまり、再生装置101は通知装置102および配信装置103からの無駄なプッシュ通知を受信しなくてよくなり、処理負荷を軽減できる。
M902において、配信装置103は、イベント(動画配信のイベント、不審者や注目領域を発見したイベント等)を検出する。
M903において、配信装置103は、MPDファイル、メタデータを含むプッシュ通知を生成し、通知装置102に送信する。
M904において、通知装置102は、受信したプッシュ通知の解析を行い、再構成を行った後、該当する再生装置101に送信する。本実施形態では一つの再生装置101にのみ送信しているがこれに限らずプッシュ通知を複製し、複数の再生装置に送信してもよい。また再生装置101が一時的な通信不可の状態(例えば、CPUの高負荷状態やネットワークの切断等)のとき、通知装置102は、再生装置101にプッシュ通知の再送を行ってもよい。
M905において、再生装置101は、プッシュ通知を受信すると、プッシュ通知の内容及びメタデータに応じて、取得するMPDファイル、アプリケーション、配信コンテンツの一部を決定する。本実施形態ではMpeg−DASHを用いて映像配信を行う例を示したが、これに限らず、Http Live StreamingやRTPを用いる他の配信方法等にも適用できる。
本実施形態では、プッシュ通知にMPDファイル、アプリケーション、配信コンテンツの先頭部分が含まれており既に受信済みであるとする。
M906及びM907において、再生装置101は、既に取得している配信コンテンツの先頭部分を除く配信コンテンツを配信装置103より取得する。Mpeg−DASHの場合、配信コンテンツが分割されたファイルで設置されているため、HTTP GETを用いてファイル単位で取得するか否かの判断ができる。
M906及びM907において、再生装置101は、分割された配信コンテンツの受信が完了すると次の分割された配信コンテンツの受信を行う。
本実施形態では、説明を簡略化させるために配信コンテンツの取得を順番に実施したが、HTTP GETリクエストを多重的に送信してもよい。このようにすることにより更に配信コンテンツの取得までの時間を短縮することができる。これにより、帯域効率の向上、動画を時間検索や動画の解像度の変更を行ったときの反応速度の向上等のユーザビリティの向上が見込める。
図11は、再生装置101における複数の配信装置からプッシュ通知の受信時の情報処理の一例を示すフローチャートである。
S1301において、プッシュ処理部206は、通知装置102からプッシュ通知を受信する。
S1302において、メタデータ解析部208は、プッシュ通知の内容に応じて表示内容の変更や追加があるか否かの判断を行う。メタデータ解析部208は、表示内容の変更や追加があると判断した場合、S1303に進み、表示内容の変更や追加がないと判断した場合、図11に示すフローチャートの処理を終了する。
S1303において、メタデータ解析部208は、プッシュ通知にMPDファイルがあるか否かを判断する。メタデータ解析部208は、プッシュ通知にMPDファイルがあると判断した場合、S1305に進み、プッシュ通知にMPDファイルがあると判断しない場合、S1304に進む。
S1304において、メタデータ取得部207は、配信装置103よりMPDファイルを取得する。
S1305において、データ取得部205は、MPDファイルに記述されている配信コンテンツを配信装置103より取得する。
S1306において、表示部202は、アプリケーションを用いて、取得した配信コンテンツを表示する。
図12は、プッシュ通知のデータフォーマットの一例を示す図である。データフォーマットには図12に示される情報の全てが含まれる必要なない。配信装置103又は通知装置102においてデータフォーマットに含まれる情報を選択することができる。このような構成とすることで携帯電話網等、帯域幅の狭いプッシュ通知を用いるとき、即時性のあるプッシュ通知を実現することができる。
プッシュ通知1001はプッシュ通知全体を示す。
MPDファイル1002は配信コンテンツの情報を示すMPDファイルである。本実施形態では、MPDファイル1002を用いたがこれに限らず配信コンテンツの場所や内容を示す記述ファイルであればよい。
付帯情報1003は配信コンテンツの内容や追加情報を示す付帯情報である。付帯情報1003には配信コンテンツの内容、配信者、GPS情報等が含まれる。再生装置101は付帯情報1003を表示してもよいし、付帯情報1003を用いて再生する配信コンテンツを決定してもよい。再生装置101は、付帯情報1003により、どんな配信コンテンツを再生しているかをユーザに提示することができるようになる。
アプリケーション1004は配信コンテンツをアプリケーションである。アプリケーション1004は独立したアプリケーションであってもよいし、ブラウザのプラグイン等であってもよい。
コンテンツ1005は配信コンテンツである。コンテンツ1005は、配信コンテンツの一部や配信コンテンツから生成されたサムネイル、配信コンテンツを象徴するマークやアイコンを含む。
情報1006は、URL、トークン情報、セキュリティ情報である。
本実施形態のプッシュ通知では各要素が一つ含まれた例を示したが、これに限らず、複数の要素が含まれていてもよいし、一部の要素が省略されていてもよい。省略された要素は通知装置102によってプッシュ通知を生成する際に追加されてもよい。通知装置102がスマートフォンのような機器の場合、持っているセンサー(GPS、温度、人感等)や入力方法(音声、文字等)によって通知装置102は、付帯情報を付与することができる。これにより、配信装置103としてネットワークカメラ等を想定すると、センサーを持つ必要がなくなり、配信装置103の構成が簡単になる。また配信装置103としてネットワークカメラ等を想定すると、カメラのユーザーインターフェースに比べて、スマートフォンによる高機能なユーザーインターフェースを用いて付帯情報を入力等することができる。
図13は、複数の配信装置から配信コンテンツを受信し再生する情報処理の一例を示すシーケンス図である。
M1201〜M1203において、再生装置101は、通知装置102に配信装置103a〜配信装置103cに対するサブスクライブを行う。
M1204〜M1205において、配信装置103aと配信装置103bとが配信コンテンツの配信を開始し、通知装置102を介したプッシュ通知を再生装置101に送信する。
M1207において、通知装置102は、受信したプッシュ通知の解析を行い、配信装置103bに関連するプッシュ通知を再生装置101に送信すると決定する。
M1208において、通知装置102は、再生装置101にプッシュ通知を送信する。
M1209において、再生装置101は、プッシュ通知を解析し、MPDファイル、アプリケーション、配信コンテンツの一部が含まれているかを判断し、配信コンテンツの表示を開始する。
M1210において、再生装置101は、プッシュ通知に含まれる情報に応じて足りないと判断した情報の取得を配信装置103bに要求する。
M1211において、再生装置101は、MPDファイルと配信コンテンツの一部(先頭部分)とを取得済みであるため、配信コンテンツの途中から取得する。
本実施形態では簡単化のために1つのHTTP GETリクエストを送信しているように記載しているが、再生装置101は、MPDファイルの取得やアプリケーションの取得毎に複数のHTTP GETリクエストを送信する。またユーザ又はアプリケーションが解像度の変更を行う可能性があるため、再生装置101は、複数の解像度を予め取得してもよい。これにより解像度切替えの要求から切替え完了までの時間を短縮でき、ユーザビリティが向上する。
M1212において、配信装置103cは、配信コンテンツの配信を開始し、通知装置102を介したプッシュ通知を再生装置101に送信する。
M1213において、通知装置102は、受信したプッシュ通知の解析を行い、配信装置103cに関連するプッシュ通知を送信すると決定する。
M1214において、通知装置102は、再生装置101にプッシュ通知を送信する。
M1215において、再生装置101は、プッシュ通知を解析し、MPDファイル、アプリケーション、配信コンテンツの一部が含まれているかを判断し、既に表示している配信コンテンツと共に表示を開始する。再生装置101は、後述する図14に示すようにウインドウを分割して表示してもよいし、表示部分がない場合には配信コンテンツの受信のみを行い、表示を行わなくてもよい。
M1216において、再生装置101は、プッシュ通知に含まれる情報に応じて足りないと判断した情報の取得を配信装置103cに要求する。
M1217において、再生装置101は、MPDファイルと配信コンテンツの一部(先頭部分)とを取得済みであるため、配信コンテンツの途中から取得する。
以上のように、再生装置101は複数の配信装置によるプッシュ通知を受信でき、動的に表示画面を変更できる。
図14は、再生装置101のコンテンツ再生中の表示画面の一例を示す図である。図14の表示画面の例では、再生装置101で複数の配信装置103の動画を再生している様子を示している。
アプリケーション1101は配信コンテンツを再生するアプリケーションである。アプリケーション1101は、ブラウザから独立したアプリケーションであってもよいし、ブラウザに含まれるプラグインであってもよい。
ウインドウ1102は、配信装置103aから受信した動画を表示するウインドウである。
注目領域1103は、配信装置103aから受信した動画に含まれる注目領域である。再生装置101は、注目領域を閲覧可能な解像度の動画を取得することで、使用する帯域幅とリソースとを動的に選択することができる。
バー1112は、配信装置103aから受信した動画を表示するウインドウを操作するためのバーである。アイコン1113は、配信装置103aから受信した動画の内、見たい場所にスクロールするためのアイコンである。ユーザはアイコン1113をマウスやタッチパネルによって操作してもよいし、再生装置101に自動的に注目領域を追尾させてもよい。再生装置101は、リアルタイムの動画であるか、記録された動画であるかによってウインドウの色、大きさ、アイコン、操作可能範囲等を変更してもよい。
ウインドウ1104は、配信装置103cから受信した動画を表示するウインドウである。
注目領域1105は、配信装置103cから受信した動画に含まれる注目領域である。再生装置101は、注目領域1103と注目領域1105との注目領域の注目度に応じて、ウインドウの色や大きさ、配置等を変更してもよい。これにより、再生装置101はどの動画に注目するのがよいかをユーザに促すことができる。
ウインドウ1106〜1111は、その他の配信装置103から受信した動画を表示するウインドウである。
本実施形態では、再生装置101は、一つの配信装置103から一つの動画を取得していたが、これに限らず、複数の動画を取得してもよい。例えば、再生装置101は、一つの配信装置103から全体の動画と注目領域のみ高解像度にした動画とを取得してもよい。これにより、ユーザは全体を俯瞰しつつ、不審者等の注目領域をより鮮明に閲覧することができる。
再生装置101は、動画再生中に配信装置103からプッシュ通知を受信する。再生装置101は、プッシュ通知に応じて、今表示している動画のウインドウ構成を動的に変更してもよい。例えば、再生装置101は、注目度の高いと設定されたプッシュ通知が来た場合や、配信装置103又は通知装置102によって注目領域が付与されている場合、ウインドウ1102を置き換えて表示してもよい。表示方法は置き換えに限るものではなく、再生装置101は、更なるウインドウを生成してもよいし、重畳表示してもよい。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述したモジュール構成の一部又は全てをハードウェア構成として各装置に実装してもよい。また、図2のハードウェア構成は一例であり、HDDのかわりに他のメモリであってもよい。また、ネットワークI/Fだけでなく、WAN、LAN、Bluetooth、Zigbee等、他の複数のI/Fを有していてもよい。また、装置に応じで、撮像部、表示部、入力部等のハードウェア構成を有していてもよい。
以上、上述した各実施形態の処理によれば、MPDファイル等の付帯情報をプッシュ通知で送信することで、配信コンテンツの取得までの時間を短縮することができる。よって、配信コンテンツ再生までのユーザの待ち時間を短縮することができる。
10 CPU
101 再生装置
102 通知装置
103 配信装置

Claims (16)

  1. コンテンツの情報を示す記述ファイルを生成する第1の生成手段と、
    前記コンテンツに関するメタデータを生成する第2の生成手段と、
    前記第1の生成手段により生成された前記記述ファイルと前記第2の生成手段により生成された前記メタデータとを含んだプッシュ通知を送信する第1の送信手段と、
    前記プッシュ通知に含まれる前記記述ファイルに基づいたコンテンツの取得要求があった場合、前記コンテンツを送信する第2の送信手段と、
    を有し、
    前記メタデータには、前記コンテンツの内容を示す付帯情報、前記コンテンツの表示に関するアプリケーション、前記コンテンツの一部、が含まれる通信装置。
  2. 撮像手段を更に有し、
    前記コンテンツは、前記撮像手段により撮像された画像コンテンツである請求項記載の通信装置。
  3. コンテンツの情報を示す記述ファイルと前記コンテンツに関するメタデータとを含むプッシュ通知を受信する受信手段と、
    前記受信手段により受信された前記プッシュ通知に含まれる前記記述ファイルに基づきコンテンツを取得する取得手段と、
    を有し、
    前記メタデータには、前記コンテンツの内容を示す付帯情報と前記コンテンツの表示に関するアプリケーションと前記コンテンツの一部とが含まれる通信装置。
  4. 前記プッシュ通知の前記メタデータに含まる前記コンテンツの表示に関するアプリケーション用いて前記取得手段により取得された前記コンテンツを表示する表示手段を更に有する請求項記載の通信装置。
  5. 記表示手段は、前記取得手段により取得されたコンテンツを表示する前に前記プッシュ通知の前記メタデータに含まれる前記コンテンツの一部を、前記アプリケーションを用いて表示する請求項記載の通信装置。
  6. 前記受信手段は、複数のプッシュ通知を受信し、
    前記取得手段は、前記複数のプッシュ通知に含まれるコンテンツの情報を示す記述ファイルに基づき異なる装置よりコンテンツを取得し、
    前記表示手段は、前記取得手段により前記異なる装置より取得されたコンテンツを、前記アプリケーションを用いて表示する請求項又は記載の通信装置。
  7. コンテンツの情報を示す記述ファイルを含むプッシュ通知を受信する第1の受信手段と、
    前記第1の受信手段により受信された前記プッシュ通知の宛先を選択できるか否かを判定する判定手段と、
    前記判定手段により前記第1の受信手段により受信された前記プッシュ通知の宛先を選択できると判定された場合、前記プッシュ通知を前記宛先に送信する送信手段と、
    を有する通信装置。
  8. 前記プッシュ通知には、前記コンテンツに関するメタデータが更に含まれ、
    前記判定手段は、前記第1の受信手段により受信された前記プッシュ通知に含まれる前記メタデータに基づいて前記プッシュ通知の宛先を選択できるか否かを判定する請求項記載の通信装置。
  9. 前記第1の受信手段は、前記プッシュ通知を、前記コンテンツを配信する配信装置より受信し、
    前記プッシュ通知の受信を行うための情報を、前記コンテンツを再生する再生装置より受信する第2の受信手段を更に有し、
    前記判定手段は、前記第2の受信手段により受信された前記プッシュ通知の受信を行うための情報と、前記第1の受信手段により受信された前記プッシュ通知に含まれる前記メタデータと、に基づいて前記プッシュ通知の宛先を選択できるか否かを判定する請求項記載の通信装置。
  10. 前記メタデータに、前記コンテンツの一部が含まれていた場合、前記コンテンツのサムネイルを生成して前記プッシュ通知に含める生成手段を更に有する請求項又は記載の通信装置。
  11. 前記メタデータに、前記コンテンツの一部が含まれていた場合、前記コンテンツの一部を解析し、前記コンテンツの一部に含まれる注目領域を抽出して前記プッシュ通知に含める生成手段を更に有する請求項又は記載の通信装置。
  12. 前記記述ファイルは、MPDファイルである請求項1乃至1何れか1項記載の通信装置。
  13. 配信装置と、通知装置と、再生装置と、を含むシステムであって、
    前記配信装置は、
    コンテンツの情報を示す記述ファイルを生成する生成手段と、
    前記生成手段により生成された前記記述ファイルを含んだプッシュ通知を前記通知装置に送信する第1の送信手段と、
    を有し
    前記通知装置は、
    前記プッシュ通知を受信する第1の受信手段と、
    前記第1の受信手段により受信された前記プッシュ通知の宛先の再生装置を選択できる場合、前記プッシュ通知を前記宛先の再生装置に送信する第2の送信手段と、
    を有し、
    前記再生装置は、
    前記プッシュ通知を受信する第2の受信手段と、
    前記第2の受信手段により受信された前記プッシュ通知に含まれる前記記述ファイルに基づき前記配信装置よりコンテンツを取得する取得手段と、
    前記取得手段により取得された前記コンテンツを表示する表示手段と、
    を有するシステム。
  14. 通信装置が実行する情報処理方法であって、
    コンテンツの情報を示す記述ファイルを生成する第1の生成ステップと、
    前記コンテンツに関するメタデータを生成する第2の生成ステップと、
    前記第1の生成ステップにより生成された前記記述ファイルと前記第2の生成ステップにより生成された前記メタデータとを含んだプッシュ通知を送信する第1の送信ステップと、
    前記プッシュ通知に含まれる前記記述ファイルに基づいたコンテンツの取得要求があった場合、前記コンテンツを送信する第2の送信ステップと、
    を有し、
    前記メタデータには、前記コンテンツの内容を示す付帯情報、前記コンテンツの表示に関するアプリケーション、前記コンテンツの一部、が含まれる情報処理方法。
  15. 通信装置が実行する情報処理方法であって、
    コンテンツの情報を示す記述ファイルと前記コンテンツに関するメタデータとを含むプッシュ通知を受信する受信ステップと、
    前記受信ステップにより受信された前記プッシュ通知に含まれる前記記述ファイルに基づきコンテンツを取得する取得ステップと、
    を有し、
    前記メタデータには、前記コンテンツの内容を示す付帯情報と前記コンテンツの表示に関するアプリケーションと前記コンテンツの一部とが含まれる情報処理方法。
  16. コンピュータを、請求項1乃至1何れか1項記載の通信装置の各手段として機能させるためのプログラム。
JP2016105415A 2016-05-26 2016-05-26 通信装置、システム、情報処理方法及びプログラム Active JP6669402B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016105415A JP6669402B2 (ja) 2016-05-26 2016-05-26 通信装置、システム、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016105415A JP6669402B2 (ja) 2016-05-26 2016-05-26 通信装置、システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017212644A JP2017212644A (ja) 2017-11-30
JP6669402B2 true JP6669402B2 (ja) 2020-03-18

Family

ID=60475755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016105415A Active JP6669402B2 (ja) 2016-05-26 2016-05-26 通信装置、システム、情報処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6669402B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6998746B2 (ja) * 2017-12-07 2022-01-18 キヤノン株式会社 通信装置、通知装置、中継装置、通信システム、各装置の制御方法、および、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012264A (ja) * 2003-06-16 2005-01-13 Ntt Docomo Inc マルチキャスト配信システム及びデータ中継装置
EP2526671B1 (en) * 2010-01-18 2016-11-16 Telefonaktiebolaget LM Ericsson (publ) Methods and arrangements for http media stream distribution
US9497290B2 (en) * 2010-06-14 2016-11-15 Blackberry Limited Media presentation description delta file for HTTP streaming
EP3001688A1 (en) * 2014-09-26 2016-03-30 Alcatel Lucent System and method for transferring adaptive streaming video between a server and a client
EP3214558B1 (en) * 2014-10-28 2021-05-19 Sony Corporation Reception device, transmission device, and data processing method

Also Published As

Publication number Publication date
JP2017212644A (ja) 2017-11-30

Similar Documents

Publication Publication Date Title
KR100710611B1 (ko) 다수의 장치들 상에 컨텐트를 랜더링하는 시스템 및 방법
KR101056617B1 (ko) 정보 처리 장치, 및 콘텐츠 정보 처리 방법
JP6541309B2 (ja) 送信装置、送信方法、及びプログラム
JP2011044149A (ja) ネットワークを通じるコンテンツ提供方法及び装置、コンテンツ受信方法及び装置及びネットワークを通じるデータバックアップ方法及び装置、バックアップデータ提供装置及びバックアップシステム
JP6861484B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム
WO2014154108A1 (zh) 媒体流的转移方法和用户设备
US9445142B2 (en) Information processing apparatus and control method thereof
KR20180068945A (ko) 네트워크를 통한 컨텐츠 제공 방법 및 장치, 컨텐츠 수신 방법 및 장치
US9264746B2 (en) Content distribution system, content distribution server, content distribution method, software program, and storage medium
JP6669402B2 (ja) 通信装置、システム、情報処理方法及びプログラム
US11582269B2 (en) Systems and methods for establishing a virtual shared experience for media playback
JP2015095686A (ja) 撮像装置、撮像システム、撮像装置の制御方法、撮像システムの制御方法、及びプログラム
US20180152491A1 (en) Image provision apparatus and image reception apparatus, control method thereof, image communication system, and computer-readable storage medium
JP6957768B2 (ja) メディアコンテンツを提示するための方法、システム、およびプログラム
JP2012173801A (ja) 通信装置、その制御方法及びプログラム
KR101847074B1 (ko) 영상 표시 방법 및 장치
WO2021100524A1 (ja) データ処理装置およびその制御方法、プログラム
JP2005323068A (ja) ホームネットワークavサーバ及びホームネットワークavサーバプログラム
JP2018045674A (ja) 情報処理装置及びその制御方法、コンピュータプログラム
KR101805302B1 (ko) 멀티미디어 컨텐츠 재생 장치 및 방법
JP6752080B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム
JP6587539B2 (ja) 送信装置、情報処理方法及びプログラム
JP2006126911A (ja) データ送信システム
JP6452458B2 (ja) データ管理装置、データ管理方法、およびプログラム
US20180192085A1 (en) Method and apparatus for distributed video transmission

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R151 Written notification of patent or utility model registration

Ref document number: 6669402

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151