JP6193569B2 - 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム - Google Patents

受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム Download PDF

Info

Publication number
JP6193569B2
JP6193569B2 JP2012287236A JP2012287236A JP6193569B2 JP 6193569 B2 JP6193569 B2 JP 6193569B2 JP 2012287236 A JP2012287236 A JP 2012287236A JP 2012287236 A JP2012287236 A JP 2012287236A JP 6193569 B2 JP6193569 B2 JP 6193569B2
Authority
JP
Japan
Prior art keywords
segments
segment
mode
receiving
segment data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012287236A
Other languages
English (en)
Other versions
JP2014131142A (ja
JP2014131142A5 (ja
Inventor
利之 中川
利之 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012287236A priority Critical patent/JP6193569B2/ja
Priority to US14/141,298 priority patent/US9241132B2/en
Publication of JP2014131142A publication Critical patent/JP2014131142A/ja
Priority to US14/970,252 priority patent/US9571790B2/en
Publication of JP2014131142A5 publication Critical patent/JP2014131142A5/ja
Application granted granted Critical
Publication of JP6193569B2 publication Critical patent/JP6193569B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Description

本発明は、受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラムに関し、コンテンツデータを複数のセグメントデータに分割し、各セグメントデータを送信装置から受信装置に送信する技術に関する。特に、受信装置が各セグメントデータを送信装置から取得するために用いるメタデータを、送信装置が受信装置に送信するために用いて好適な技術に関する。
近年、ネットワークカメラやビデオ会議システム等、コンテンツデータをリアルタイムに送受信するストリーミング技術が実用化されている。ストリーミング技術により、コンテンツデータを受信しながら、同時に、受信したコンテンツデータを再生することが可能である。
また、このようなストリーミング技術として、HTTP Live Streaming(非特許文献1)、及びMPEG−DASH(非特許文献2)等が標準規格化されている。これらの各標準規格において、送信装置は、映像データや音声データ等のコンテンツデータを所定の時間間隔毎に分割することにより複数のセグメントデータを生成する。さらに、送信装置は、生成した各セグメントデータの所在情報、再生順序等を含むメタデータ(プレイリストと称す)を受信装置へ送信する。受信装置は、受信したプレイリストに記載された、各セグメントデータの所在情報、再生順序等に基づいて、セグメントデータを取得する。このように、上述した各標準規格において、プレイリスト及びセグメントデータを、送信装置と受信装置との間で所定の時間間隔毎に連続して送受信することにより、コンテンツデータのストリーミングが可能である。
また、コンテンツデータのストリーミングを可能にする従来技術として、音声・映像コンテンツを複数の小さいクリップへとセグメント化し、ダウンロード及び再生を同時に行う方法が提案されている(特許文献1)。特許文献1には、複数の小さいクリップのメタデータをローカル記憶装置に格納し、複数の小さいクリップの再生を開始することが記載されている。これにより、複数の小さいクリップのうちの第2のクリップがダウンロードしている間に、複数の小さいクリップのうちの第1のクリップのコンテンツを表示することができる。
IETF draft HTTP Live Streaming draft−pantos−http−live−streaming−09 ISO/IEC 23009−1
特表2008−523718号公報
しかし、上述した従来技術では、送信装置と受信装置との間の通信遅延や受信装置の処理遅延等により、再生される映像のリアルタイム性が低下するという課題があった。例えば、上述した従来技術では、送信装置と受信装置との間の通信遅延や受信装置の処理遅延等が起こった場合、送信装置において、プレイリスト及びセグメントデータの送受信のタイミングが、各セグメントデータを生成するタイミングよりも遅れることがある。このような場合、送信装置では、送信されるセグメントデータよりも生成されるセグメントデータが多くなるため、送信装置または受信装置が送受信するセグメントデータを制御する必要がある。
そこで、送信装置で生成された当該複数のセグメントデータのうち、再生順序がより下位のセグメントデータのみを送受信することで、遅延が解消され、受信装置で受信後に再生されるコンテンツデータのリアルタイム性は確保される。しかし、この場合、送信装置で生成された当該複数のセグメントデータのうち、再生順序がより上位のセグメントデータを送受信しないため、受信装置で受信後に保存されるコンテンツデータは不連続になるという課題がある。
本発明は上述した問題を解決するためになされたものである。本発明は、複数のセグメントデータに分割されたコンテンツデータを受信する受信装置において、受信装置が受信したコンテンツデータを保存するか否かに基づいて、受信するセグメントデータを制御する受信装置を提供することを目的とする。また、本発明はコンテンツデータを複数のセグメントデータに分割して送信する送信装置において、受信装置が受信したコンテンツデータを保存するか否かに基づいて、送信するセグメントデータに対応するメタデータを制御する送信装置を提供することを目的とする。
上記目的を達成するための一手段として、本発明の受信装置は以下の構成を有する。
即ち、コンテンツが分割されたセグメントを受信する受信装置であって、セグメントの順序を示すメタデータを受信するメタデータ受信手段と、前記受信装置のモードがコンテンツを保存する保存モードであるか判定する判定手段と、前記受信装置のモードがコンテンツを保存する保存モードであると前記判定手段により判定された場合、前記メタデータによって特定される複数のセグメントが、前記メタデータによって示される順序に従って取得されるように、送信装置に対して前記複数のセグメントを取得するための要求を送信するよう制御する一方、前記受信装置のモードが前記コンテンツを保存する保存モードでないと前記判定手段により判定された場合、前記メタデータによって特定される前記複数のセグメントのうち最新のセグメントから所定数のセグメントを取得するための要求を前記送信装置に対して送信し、前記複数のセグメントのうち前記所定数のセグメント以外を取得するための要求は送信しないことを決定する送信制御手段と、を有する。
また、本発明の送信装置は以下の構成を有する。
コンテンツが分割されたセグメントを受信装置に送信する送信装置であって、前記セグメントを生成する生成手段と、前記受信装置のモードがコンテンツを保存する保存モードであるか判定する判定手段と、前記受信装置のモードがコンテンツを保存する保存モードであると前記判定手段により判定された場合、前記受信装置へ未送信である複数のセグメントが、前記生成手段による生成順序に従って送信されるように、前記受信装置に対して前記複数のセグメントを送信する一方、前記受信装置のモードがコンテンツを保存する保存モードでないと前記判定手段により判定された場合、前記受信装置へ未送信である複数のセグメントのうち最新のセグメントから所定数のセグメントを前記受信装置に対して送信し、前記複数のセグメントのうち前記所定数のセグメント以外を前記受信装置に対して送信しないことを決定する送信制御手段とを有する。
本発明により、通信遅延や受信装置の処理遅延時に、受信装置が受信したコンテンツデータを保存する場合に不連続性を最小にし、受信装置が受信したコンテンツデータを再生する場合にリアルタイム性を向上させることができる。
実施形態1及び実施形態2の送信装置100と受信装置102との接続形態を示す図 実施形態1の送信装置100の内部構成の一例を示すブロック図 実施形態1の送信装置100の生成部216におけるプレイリストの生成処理手順の一例を示すフローチャート 実施形態1の受信装置102の内部構成の一例を示すブロック図 実施形態1の受信装置102におけるセグメントデータの受信制御処理手順の一例を示すフローチャート 実施形態1の送信装置100と受信装置102との間における、映像データを保存しない場合の各セグメントデータの送受信処理を時間経過と共に示す図 実施形態1の送信装置100と受信装置102との間における、映像データを保存する場合の各セグメントデータの送受信処理を時間経過と共に示す図 実施形態2の送信装置800の内部構成の一例を示すブロック図 実施形態2の送信装置800の生成部216におけるプレイリストの生成処理手順の一例を示すフローチャート 実施形態2の送信装置800と受信装置102との間における、映像データ保存しない場合の各セグメントデータの送受信処理を時間経過と共に示す図
以下、添付の図面を参照して、実施形態について詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<実施形態1>
本実施形態のシステム全体の処理について、図1を用いて説明する。
図1は、本実施形態に係る、送信装置100と受信装置102との接続形態の一例を示す図である。本実施形態において、送信装置100と受信装置102とは、ネットワーク101を介して相互に接続されている。
送信装置100及び受信装置102は、コンテンツデータを所定の時間間隔毎に分割して取得したセグメントデータと、各セグメントデータに関する再生区間情報を含むメタデータ(以下、プレイリストと称す)とをネットワーク101を介して夫々送受信する。これにより、送信装置100及び受信装置102はコンテンツデータのストリーミングを行う。コンテンツデータとは、映像データ、音声データ等を示す。本実施形態では、送信装置100が、コンテンツデータとして映像データを受信装置102へ送信する例について以下に説明するが、本発明はこれに限定されない。即ち、送信装置100が、コンテンツデータとして音声データを受信装置102へ送信する場合も同様の処理方法を用いることができる。また、プレイリストは、各セグメントデータの再生順序、所在情報(URL等)、再生時間等が記載されたメタデータである。本実施形態では、プレイリストのフォーマットとしてテキストベースのM3U8形式を用いる。M3U8形式のプレイリストの詳細は図6を用いて後述する。
ネットワーク101は、例えば、インターネットや有線LAN(Local Area Network)、または無線LAN(Wireless LAN)等により構成される。尚、本実施形態において、ネットワーク101はホームネットワークとしての有線LAN、または無線LANを想定しているが、本発明はネットワーク101の通信規格、規模、構成を問わない。即ち、ネットワーク101の通信規格として、WAN(Wide Area Network)、アドホックネットワーク、Bluetooth(登録商標)、Zigbee(登録商標)、UWB(Urtra Wide Band)等を用いてもよい。
送信装置100は、受信装置102からネットワーク101を介して送信されるプレイリストの取得要求、及びセグメントデータの取得要求に基づいて、プレイリストの送信、及びセグメントデータの送信を行う。送信装置100としては、例えば、カメラ、ビデオカメラ、スマートフォン、携帯電話、PC(Personal Computer)等が挙げられるが、本発明はこれに限定されない。即ち、送信装置100は、後述のハードウェア構成、及びモジュール構成を満たすものであればよい。また、送信装置100が送信する映像データは、送信装置100内で生成されてもよいし、他のサーバ装置等で生成されて送信装置100へ送信されてもよい。
受信装置102は、送信装置100からネットワーク101を介して送信されるプレイリストの受信(メタデータ受信)、及びセグメントデータの受信(セグメント受信)を行う。さらに、本実施形態において受信装置102は、受信した映像データを再生、及び保存を行う機能を有する。尚、受信装置102が受信した映像データを別の装置に送信して再生、及び保存させることとしてもよい。受信装置102としては、例えば、スマートフォン、携帯電話、PC、テレビ等が挙げられるが、本発明はこれに限定されない。即ち、受信装置102は、後述のハードウェア構成、及びモジュール構成を満たすものであればよい。また、ネットワーク101に接続される受信装置102は一台のみであってもよいし、複数台存在してもよい。
次に、本実施形態の送信装置100について、図2、及び図3を用いて説明する。
図2は、本実施形態に係る、送信装置100の内部構成の一例を示すブロック図である。
201は中央処理装置(CPU)であり、以下に記す各部を統括的に制御する。202はRAMであり、CPU201の主メモリ、ワークエリア等として機能する。203はROMであり、CPU201で実行される制御プログラム等を格納している。204はユーザの指示を受け取る操作部であり、ボタンやモードダイヤル等が含まれる。
205は撮像部であり、被写体の光情報(信号)をセンサ(撮像素子)で受光し、受光した信号をA/D変換して、映像データを取得する。206は画像処理部であり、撮像部205で取得された映像データ、またはデジタル信号処理部211から出力される映像データを利用して画像処理を行う。207は各種データの転送経路となるバスである。例えば、撮像部205によって取得された映像データはこのバス207を介して所定の処理部に送られる。
208は表示制御部であり、表示部209に表示される、画像や文字の表示を制御する。209は撮像部205で取得された画像や文字の表示を行う表示部であり、例えば、液晶ディスプレイが用いられる。表示部209はタッチスクリーン機能を有していてもよく、その場合はタッチスクリーンを用いたユーザ指示を操作部204の入力として扱うことも可能である。210は撮像部制御部であり、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節する等の、CPU201からの指示に基づいた撮像系の制御を行う。211はデジタル信号処理部であり、バス207を介して撮像部205から受信した映像データに対し、ホワイトバランス処理、ガンマ処理、ノイズ提言処理等の各種処理を行う。
212はエンコーダ部であり、撮像部205、またはデジタル信号処理部211から出力される映像データをMPEG−2方式で圧縮符号化(以下、符号化)し、MPEG−2 TS方式で多重化することにより、各セグメントデータを生成する。MPEG−2はMoving Picture Experts Group−2の略称である。一般的に、映像データは情報量が大きいため、ネットワークを介して映像データを送受信する場合には、符号化されたデータを用いる。MPEG−2 TSは、Moving Picture Experts Group−2 Transport Streamの略称である。MPEG−2 TSは、符号化された映像データを多重化し、伝送するためのコンテナ形式である。本実施形態において、エンコーダ部212は、符号化した映像データを所定の時間間隔毎にセグメントデータに分割する。尚、映像データの分割方法は所定の時間間隔毎に限られず、任意の方法により分割することができる。即ち、所定の情報量間隔毎に分割されても構わない。
213は外部メモリ制御部であり、パーソナルコンピュータ(以下、PC)やその他のメディア(例えば、ハードディスク、メモリカード、CFカード、SDカード、USBメモリ)に繋ぐためのインターフェースである。
214は通信制御部であり、通信部215の制御を行う。通信制御部214は、受信装置102からの映像配信リクエストに対する通信制御、及び受信装置102へ送信する映像データに対する通信制御を行う。通信制御部214における通信制御処理の詳細については後述する。
215は通信部であり、受信装置102生成部216で生成されたプレイリストや、エンコーダ部212で生成されたセグメントデータを取得し、当該プレイリスト、及び当該セグメントデータを受信装置102へ送信する。また、通信部215は受信装置102から送信された制御情報の受信を行う。尚、本実施形態において通信部215は、通信プロトコルとしてHTTP(HyperText Transfer Protocol)を用いるものとする。
216は生成部であり、エンコーダ部212において生成されたセグメントデータに関する再生区間情報を含むプレイリストを生成する。生成部216におけるプレイリストの生成処理の詳細については後述する。
尚、送信装置100の構成要素は上記の各処理部以外にも存在するが、本発明の主眼ではないので、説明を省略する。
次に、本実施形態の送信装置100によるプレイリストの生成処理の詳細について説明する。
図3は、本実施形態に係る、送信装置100の生成部216におけるプレイリストの生成処理手順の一例を示すフローチャートである。
まず、生成部216は、エンコーダ部212においてセグメントデータが生成されたか否かを判定する(ステップS301)。本実施形態において、生成部216は、エンコーダ部212において所定の時間間隔毎に分割されたセグメントデータの生成が完了したか否かを判定する。
ステップS301でセグメントデータが生成されたと判定された場合(ステップS301のYES)、生成部216は、新しく生成されたセグメントデータに関する再生区間情報をプレイリストへ追加する(ステップS302)。一方、ステップS301でセグメントデータが生成されていないと判定された場合(ステップS301のNO)、ステップS303の処理を行う。
ステップS303において、生成部216は、プレイリストに示されたセグメントデータのうち、受信装置102へ送信済みのセグメントデータがあるか否かを判定する。
ステップS303で送信済みのセグメントデータがあると判定された場合(ステップS303のYES)、生成部216は、送信済みのセグメントデータに関する再生区間情報をプレイリストから削除する(ステップS304)。
ステップS303で送信済みのセグメントデータがないと判定された場合(ステップS303のNO)やステップS304の処理を完了した場合、生成部216は、ストリーミングが終了されたか否かを判定する(ステップS305)。ここで、生成部216は、ユーザのストリーミング終了指示を操作部204が受信したかを判定したり、受信装置102からのストリーミング終了リクエストを通信部215が受信したかを判定したりすることにより、終了の判定を行うことが可能である。
ステップS305でストリーミングを終了しないと判定された場合には、ステップS301へと処理を戻し、以降のセグメントデータに関するプレイリストの生成処理を行う。生成されるプレイリストの例については、図6の説明で後述する。
次に、本実施形態の受信装置102について、図4、及び図5を用いて説明する。
図4は、本実施形態に係る、受信装置102の内部構成の一例を示すブロック図である。
401は中央処理装置(CPU)であり、以下に記す各部を統括的に制御する。
402はRAMであり、CPU401の主メモリ、ワークエリア等として機能する。
403はROMであり、CPU401で実行される制御プログラム等を格納している。
404はユーザの指示を受け取る操作部であり、ボタンやモードダイヤル等が含まれる。
405は保存部であり、通信部412によって受信した映像データを、外部メモリ制御部410を介して保存する。
406は各種データの転送経路となるバスである。例えば、通信部412によって受信された映像データはこのバス406を介して所定の処理部に送られる。
407は表示制御部であり、表示部408に表示される、画像や文字の表示を制御する。
408は通信部412で受信された画像や文字の表示を行う表示部であり、例えば、液晶ディスプレイが用いられる。表示部408はタッチスクリーン機能を有していてもよく、その場合はタッチスクリーンを用いたユーザ指示を操作部404の入力として扱うことも可能である。
409はデコーダ部である。デコーダ部409は、通信部412で受信された映像データをMPEG−2 TS方式で逆多重化し、さらに逆多重化した映像データをMPEG−2方式で復号する。
410は外部メモリ制御部であり、PCやその他のメディア(例えば、ハードディスク、メモリカード、CFカード、SDカード、USBメモリ)に繋ぐためのインターフェースである。
411は通信制御部であり、通信部412の制御を行う。通信制御部411は、送信装置100から受信する映像データや、送信装置100へ送信する映像配信リクエスト及び制御情報に対する通信制御を行う。通信制御部411における通信制御処理の詳細については図5で後述する。
412は通信部であり、送信装置100から送信されるプレイリストやセグメントデータの受信、及び送信装置100へ制御情報の送信を行う。
413はセグメントデータ制御部であり、送信装置100から送信されたプレイリストから、各セグメントデータの再生順序、所在情報(URL等)、再生時間(時間長)等を解析し、受信するセグメントデータを制御する。
続いて、本実施形態の受信装置102による映像データの受信制御の詳細について説明する。
図5は、実施形態の受信装置102におけるセグメントデータの受信制御処理手順の一例を示すフローチャートである。
まず、通信制御部411は、送信装置100へプレイリストの取得要求(以下、プレイリスト要求)を送信する(ステップS501)。ここで、プレイリスト要求の送信には、HTTP GETメソッドを使用し、プレイリスト要求のURLが予め送信装置100から通知されているものとする。また、プレイリスト要求の送信タイミングは任意であるが、セグメントデータが生成される時間間隔に合わせて送信することにより、無駄な通信を削減することが可能である。
次に、通信部412は、ステップS501におけるプレイリスト要求に基づいて送信装置100から送信されたプレイリストを受信する(ステップS502)。
続いて、セグメントデータ制御部413は、ステップS502において通信部412が受信したプレイリストに、複数のセグメントデータに関する再生区間情報が記載されているか否かを判定する(ステップS503)。
本実施形態において送信装置100は、セグメントデータを所定の時間間隔毎に定期的に生成している。そのため、送信装置100と受信装置102との間の通信遅延や受信装置102の処理遅延等が原因で、送信装置100におけるセグメントデータの生成タイミングよりも受信装置102におけるプレイリスト要求の送信タイミングが遅れることがある。このような場合には、送信装置100で生成されるプレイリストに、複数のセグメントデータに関する再生区間情報が記載されることになる。一方、送信装置100におけるセグメントデータの生成タイミングと受信装置102におけるプレイリスト要求の送信タイミングとが一致する場合には、送信装置100で生成されるプレイリストに、単一のセグメントデータに関する再生区間情報が記載される。
ステップS503でプレイリストに複数のセグメントデータの再生区間情報が記載されていると判定した場合(ステップS503のYES)、セグメントデータ制御部413は受信装置102が受信した映像データを保存するか否かを判定する(ステップS504)。ここで、セグメントデータ制御部413は、ユーザが操作部404で選択し、RAM402に設定された保存モード(保存情報)を判定することにより、受信装置102で受信された映像データを保存するか否かを判定することが可能である。尚、本発明はこれに限定されない。即ち、予めRAM402等に保存モードを設定して、セグメントデータ制御部413が当該RAM等に設定された保存モードに基づいて、受信装置102が受信した映像データを保存するか否かを判定してもよい。また、受信装置102が、映像データを受信しながら、同時に、受信した映像データを再生するストリーミング再生モードであるか否かに基づいて、受信装置102が受信した映像データを保存するか否かを判定してもよい。即ち、受信装置102がストリーミング再生モードである場合は、受信装置102が受信した映像データを保存しないと判定する。一方、受信装置102がストリーミング再生モードでない場合は、受信装置102が受信した映像データを保存すると判定する。
ステップS504で受信装置102が受信した映像データを保存すると判定された場合(ステップS504のYES)、セグメントデータ制御部413は、ステップS505の処理を行う。ステップS505においてセグメントデータ制御部413は、プレイリストに記載された複数のセグメントデータに関する再生区間情報から、未受信であり、且つ再生順序が最上位のセグメントデータを選択し、選択した当該セグメントデータの取得要求を送信する。尚、セグメントデータの取得要求を、以下、セグメントデータ要求と記載する。また、再生順序は、プレイリストに記載された各セグメントデータに関する再生区間情報に含まれるが、再生順序が最上位のセグメントデータとは、当該プレイリストに記載の複数のセグメントデータのうち、最初に再生されるべきセグメントデータのことを示す。さらに、本実施形態のように、エンコーダ部において、再生順序と同じ順序で各セグメントデータが生成される場合、再生順序が最上位のセグメントデータは、エンコーダ部において最も古くに生成されたセグメントデータのことを示す。このため、本実施形態では、再生順序が最上位のセグメントデータ、つまりエンコーダ部において最も古くに生成されたセグメントデータを最古のセグメントデータと称す。
ステップS504におけるセグメントデータ要求も、ステップS501におけるプレイリスト要求と同様にHTTP GETメソッドを使用する。これにより、ステップS504においてセグメントデータ制御部413は、ステップS502で受信したプレイリストに記載のセグメントデータに関するURL情報等の所在情報を参照して、セグメントデータ要求を送信する。
ステップS506において、通信部412は、ステップS505において送信したセグメントデータ要求に基づいて送信装置100から送信された、セグメントデータを受信する。
ステップS507においてセグメントデータ制御部413は、ステップS506で受信したセグメントデータが、ステップS502で受信したプレイリストに記載された複数のセグメントデータのうち、再生順序が最下位のセグメントデータであるか否かを判定する。尚、再生順序が最下位のセグメントデータとは、プレイリストに記載の複数のセグメントデータのうち、最後に再生されるべきセグメントデータのことを示す。さらに、本実施形態のように、エンコーダ部において、再生順序と同じ順序で各セグメントデータが生成される場合、再生順序が最下位のセグメントデータは、エンコーダ部において最も新しく生成されたセグメントデータのことを示す。このため、本実施形態では、再生順序が最下位のセグメントデータ、つまりエンコーダ部において最も新しく生成されたセグメントデータを最新のセグメントデータと称す。
ステップS507で、受信したセグメントデータがプレイリスト中の最新のセグメントデータであると判定された場合(ステップS507のYES)、デコーダ部409及び表示部408は、当該セグメントデータを復号及び再生する(ステップS508)。
更に、保存部405はステップS506で受信した映像データのセグメントデータを保存し(ステップS509)、セグメントデータ受信処理を終了する。
一方、ステップS507で、受信したセグメントデータがプレイリスト中の最新のセグメントデータでないと判定された場合(ステップS507のNO)、保存部405が当該セグメントデータの保存のみを行う(ステップS510)。そして、未受信のセグメントデータを受信するべくステップS505へ処理を戻し、ステップS505〜507を繰り返す。即ち、この場合、デコーダ部409及び表示部408は、当該セグメントデータの復号及び再生を行わない。
各ステップS507〜509の処理により、受信装置102が受信した映像データを保存する場合の通信遅延及び処理遅延時に、所定のセグメントデータに対してのみ復号及び再生の処理を行うことで、再生される映像データの不連続性を最小にすることができる。加えて、受信装置102が受信した映像データを保存する場合において上記の処理を行うことで、再生される映像データのリアルタイム性を向上させることができる。
また、ステップS503及びステップS504へと説明を戻す。
ステップS503においてプレイリストに複数のセグメントデータに関する再生区間情報が記載されていないと判定した場合(ステップS503のNO)、セグメントデータ制御部413はステップS511の処理を行う。また、ステップS504において受信装置102が映像データを保存しないと判定された場合(ステップS504のNO)にも、セグメントデータ制御部413はステップS511の処理を行う。
ステップS511においてセグメントデータ制御部413は、プレイリストに記載された複数のセグメントデータに関する再生区間情報から、再生順序が最下位のセグメントデータまたは最下位から所定数分上位のセグメントデータを選択する。さらに、セグメントデータ制御部413は、選択した当該セグメントデータに基づいて、セグメントデータ要求を送信する。また、再生順序が最下位から所定数分上位のセグメントデータとは、プレイリストに記載の複数のセグメントデータのうち、最後から所定数番目に再生されるべきセグメントデータを示す。そして、当該所定数は受信した映像データの再生において許容される遅延時間に基づいて設定されるものであり、本実施形態においてはRAM402に設定される。
ここで、セグメントデータ要求において、常に最新のセグメントデータを選択するよう設定することにより、最古のセグメントデータを選択するよりも遅延を解消することができ、リアルタイム性の高い映像データのストリーミングを実現できる。また、再生順序が最下位から所定数分上位のセグメントデータを選択するよう設定することで、映像データの再生においてユーザが許容する遅延時間を考慮したストリーミングを実現できる。
ステップS512において、通信部412は、ステップS511において送信したセグメントデータ要求に基づいて送信装置100から送信された、セグメントデータを受信する。
ステップS513において、デコーダ部409及び表示部408は、ステップS512で受信したセグメントデータを復号及び再生する。
各ステップS511〜513の処理により、受信装置102が受信した映像データを保存しない場合の通信遅延及び処理遅延時に、最古のセグメントデータや設定された許容遅延時間を超えるセグメントデータの送受信、復号、再生を行わないよう制御する。このため、受信装置102が受信した映像データを保存しない場合において、再生映像のリアルタイム性を向上させることができる。また、通信帯域節約や処理負荷軽減が可能になる。
次に、本実施形態の送信装置100と受信装置102との間における映像データの送受信処理について、図6、及び図7を用いて説明する。
図6は、本実施形態に係る、受信装置102が受信した映像データを保存しない場合の、送信装置100と受信装置102との間の各セグメントデータの送受信処理の一例を時間経過と共に示す図である。
各ステップS601〜603は、セグメントデータ1、セグメントデータ2、セグメントデータ3の生成タイミングを夫々示している。本実施形態において、各セグメントデータ1〜3の生成タイミングは所定の時間間隔で一定である。即ち、ステップS601とステップS602との時間間隔は、ステップS602とステップS603との時間間隔と同じであるとする。
ステップS604は、ネットワーク101における通信遅延や受信装置102における処理遅延が発生していない場合の、送信装置100及び受信装置102における映像データの送受信を示す。
まず、受信装置102はプレイリスト要求を送信装置100へ送信し(ステップS608)、当該プレイリスト要求を受信した送信装置100はプレイリストの応答(以下、プレイリスト応答)を受信装置102へ送信する(ステップS609)。
605は、送信装置100においてセグメントデータ1が生成された後に、送信装置100と受信装置102との間で送受信されるプレイリストである。プレイリスト605は、エンコーダ部212で生成された複数のセグメントデータのうち受信装置102が受信可能なセグメントデータを示すメタデータである。
本実施形態において、プレイリスト605には、セグメントデータ1に関する再生区間情報として、再生時間と所在情報とが記載されている。図6に示すように、プレイリスト605の1行目”#EXTINF:1”はセグメントデータ1の再生時間が1秒間であることを示しており、2行目の”http://xxx/segment1.ts”はセグメントデータ1の所在情報(URL)を示している。
次に、受信装置102は、受信したプレイリスト605の内容に基づいてセグメントデータ1の取得要求を送信装置100へ送信する(ステップS610)。そして、当該セグメントデータ1の取得要求を受信した送信装置100は、セグメントデータ1を受信装置102へ送信する(ステップS611)。
また、ステップS606は、ネットワーク101において通信遅延が発生した場合の、送信装置100及び受信装置102における映像データの送受信を示す。図6のように、送信装置100によってセグメントデータ2が生成された(ステップS602)後に受信装置102から送信されたプレイリスト要求(ステップS612)は、送信装置100によってセグメントデータ3が生成された(ステップS603)後に届く。
607は、この場合(図6に示すようにネットワーク101において通信遅延が発生した場合)に送信装置100から送信されるプレイリストである。プレイリスト607にはセグメントデータ2とセグメントデータ3とに関する再生区間情報(再生時間とURL)が記載されている。詳細には、プレイリスト607の1行目及び3行目の”#EXTINF:1”は、セグメントデータ2及びセグメントデータ3の再生時間が夫々1秒間であることを示している。また、2行目の”http://xxx/segment2.ts”がセグメントデータ2のURL、4行目の”http://xxx/segment3.ts”がセグメントデータ3のURLを示している。このように、前回、ステップS609で受信装置102が受信したプレイリスト605に記載のセグメントデータ1に関する再生区間情報はプレイリスト607から削除される。ステップS613で受信装置102が受信するプレイリスト607には、送信装置100で新たに生成されたセグメントデータ2とセグメントデータ3に関する再生区間情報が追加されている。
次に、受信装置102は、受信したプレイリスト607に複数のセグメントデータに関する再生区間情報が記載されていることを判定し、さらに自身が映像データを保存しない設定であることを判定する。このため、受信装置102は、プレイリスト607に記載された再生区間情報に対応する複数のセグメントデータのうち、再生順序がより下位であるセグメントデータ3の取得要求を送信装置100へ送信する(ステップS614)。本実施形態において、エンコーダ部は、再生順序と同じ順序で各セグメントデータを生成するため、再生順序がより下位のセグメントデータは、エンコーダ部においてより新しく生成されたセグメントデータを示す。
そして、当該セグメントデータ3の取得要求を受信した送信装置100は、セグメントデータ3を受信装置102へ送信する(ステップS615)。
このように、本実施形態において受信装置102は、プレイリスト607に複数のセグメントデータに関する再生区間情報が記載されていた場合、当該複数のセグメントデータのうち再生順序がより上位であるセグメントデータ2の復号及び再生をしない。このため、本実施形態によって、受信装置102が受信した映像データを保存しない場合に、遅延を解消することができ、再生される映像データのリアルタイム性を確保することができる。さらに、再生するセグメントデータを選抜することにより、全てのセグメントデータを再生する場合と比較して、復号及び再生における処理負荷を軽減することができる。
一方、図7は、実施形態に係る、受信装置102が受信した映像データを保存する場合の、送信装置100と受信装置102との間の各セグメントデータの送受信処理の一例を時間経過と共に示す図である。尚、図7において、図6と同じシーケンス部分については、同じ符号を付与し、説明を省略する。
ステップS701は、ネットワーク101において通信遅延が発生した場合の、送信装置100及び受信装置102における映像データの送受信を示す。受信装置102は図6に示した、受信装置102が受信した映像データを保存しない場合と同様に、ステップS613においてセグメントデータ2とセグメントデータ3とに関する再生区間情報が記載された、プレイリスト607を受信する。
次に、受信装置102は、ステップS613で受信したプレイリスト607に複数のセグメントデータに関する再生区間情報が記載されていることを判定し、さらに自身が映像データを保存する設定であることを判定する。このため、受信装置102は、プレイリスト607に記載された再生区間情報に対応する複数のセグメントデータのうち、再生順序がより上位であるセグメントデータ2の取得要求を送信装置100へ送信する(ステップS702)。本実施形態において、エンコーダ部は、再生順序と同じ順序で各セグメントデータを生成するため、再生順序が上位のセグメントデータは、エンコーダ部においてより古くに生成されたセグメントデータを示す。
そして、当該セグメントデータ2の取得要求を受信した送信装置100は、セグメントデータ2を受信装置102へ送信する(ステップS703)。
続いて、受信装置102は、プレイリスト607に記載された再生区間情報に対応する複数のセグメントデータのうち、送信装置100によって再生順序がより下位であるセグメントデータ3の取得要求を送信装置100へ送信する(ステップS704)。そして、当該セグメントデータ3の取得要求を受信した送信装置100は、セグメントデータ3を受信装置102へ送信する(ステップS705)。
上述した本実施形態によって、受信装置102が受信した映像データを保存する場合に、再生順序がより上位のセグメントデータ2の復号及び再生を行わずに保存のみ行い、再生順序がより下位のセグメントデータ3の復号及び再生と、保存とを行うよう制御する。これにより、保存される映像データの連続性を確保しつつ、再生される映像データのリアルタイム性を向上させることができる。さらに、再生するセグメントデータを選抜することにより、全てのセグメントデータを再生する場合と比較して、復号及び再生における処理負荷を軽減することができる。
以上のように、本実施形態の受信装置102のセグメントデータの受信制御処理により、受信装置102が受信した映像データを保存するか否かに応じて、取得要求を送信するセグメントデータを決定する。これにより、通信遅延や受信装置102の処理遅延時に、受信装置102において受信装置102が受信した映像データを保存する場合に保存する映像データの不連続性を最小にすることができる。また、受信装置102において受信装置102が受信した映像データを保存しない場合に再生する映像データのリアルタイム性を向上させることが可能になる。
<実施形態2>
前述の実施形態では、受信装置102が映像データの受信を制御する構成とした。これに対して本実施形態では、受信装置102が受信した映像データを保存するか否かを示す保存モードに基づいて、送信装置100が送信するセグメントデータを決定するように制御する。
図8は、本実施形態に係る、送信装置800の内部構成の一例を示すブロック図である。図8に示すように、本実施形態の送信装置800は、保存モード判定部801を備える。尚、図8において、図2と同じ処理部については、同じ符号を付与し、説明を省略する。 次に、本実施形態の送信装置800によるプレイリストの生成処理の詳細について説明する。
図9は、本実施形態に係る、送信装置800の生成部216におけるプレイリストの生成処理手順の一例を示すフローチャートである。尚、図9において、図3と同じ処理を行うステップについては、同じ符号を付与し、説明を省略する。
生成部216が新しく生成されたセグメントデータの再生区間情報をプレイリストへ追加(ステップS302)した後、保存モード判定部801は、受信装置102から、受信した映像データを保存するか否かを示す保存モードを取得する(ステップS901)。ここで、例えば、保存モード判定部801は、ユーザが操作部404で選択した保存モードに関する再生区間情報を受信装置102から受信することにより、受信装置102が受信した映像データを保存するか否かを判定することが可能である。
続いて、保存モード判定部801は、ステップS901で取得した保存モードから、受信装置102が受信した映像データを保存するか否かを判定する(ステップS902)。
ステップS902において受信装置102が映像データを保存すると判定された場合(ステップS902のYES)、生成部216はステップS303の処理を行う。
一方、ステップS902において受信装置102が映像データを保存しないと判定された場合(ステップS902のNO)、生成部216はステップS903の処理を行う。ステップS903において、生成部216は、プレイリストに記載された複数のセグメントデータに関する再生区間情報から最も古いセグメントデータに関する再生区間情報を削除する。
各ステップS901〜S903の処理により、本実施形態の送信装置800が生成するプレイリストは、受信装置102が映像データを保存しない場合における通信遅延及び処理遅延時に、新しく生成されたセグメントデータに関する再生区間情報のみが記載される。また、受信装置102が映像データを保存する場合には、本実施形態の送信装置800が生成するプレイリストは、実施形態1の送信装置100が生成するプレイリストと同様になる。
次に、本実施形態の送信装置800と受信装置102との間における映像データの送受信処理について、図10を用いて説明する。
図10は、本実施形態に係る、受信装置102が受信した映像データを保存しない場合の、送信装置800と受信装置102との間の各セグメントデータの送受信処理の一例を時間経過と共に示す図である。尚、図10において、図6と同じシーケンス部分については、同じ符号を付与し、説明を省略する。
尚、本実施形態に係る受信装置102が映像データを保存する場合の、送信装置800と受信装置102の送受信データの関係は、図7と同様のため説明は省略する。
ステップS1001は、ネットワーク101において通信遅延が発生した場合の、送信装置800及び受信装置102における映像データの送受信を示す。尚、セグメントデータ2が生成された(ステップS602)後に受信装置102から送信されたプレイリスト要求(ステップS612)は、第1の実施形態と同様に送信装置800によってセグメントデータ3が生成された(ステップS603)後に届くものとする。
ステップS1002において、送信装置800及び受信装置102は、受信装置102に設定された保存モードに関する情報を送受信する。
さらに、ステップS1003において、送信装置800及び受信装置102は、送信装置800の生成部216によって生成されたプレイリストを送受信する。プレイリスト1003には、セグメントデータ3に関する再生区間情報のみが記載されており、セグメントデータ2に関する再生区間情報は削除されている。
続いて、受信装置102は、プレイリスト1003に記載されたセグメントデータ3の取得要求を送信装置800へ送信する(ステップS1005)。そして、当該セグメントデータ3の取得要求を受信した送信装置800は、セグメントデータ3を受信装置102へ送信する(ステップS1006)。
上述のように、本実施形態の送信装置800により、受信装置102が受信した映像データを保存するか否かに応じて、送信装置800が送信するセグメントデータを切り換えるようプレイリストを生成する。これにより、通信遅延や受信装置102の処理遅延時に、受信装置102において受信した映像データを保存する場合に保存する映像データの不連続性を最小にすることができる。また、通信遅延や受信装置102の処理遅延時に、受信装置102において受信した映像データを保存しない場合の再生する映像データのリアルタイム性を向上させることが可能になる。さらに、再生するセグメントデータを選抜することにより、全てのセグメントデータを再生する場合と比較して、復号及び再生における処理負荷を軽減することができる。
<実施形態3>
上記実施形態1、及び実施形態2において、其々図2、図4、及び図8に示した各処理部212、214、216、409、411、413、801はハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部212、214、216、409、411、413、801で行う処理をコンピュータプログラムで実行しても良い。
この場合において、図2のCPU201は、RAM202やROM203に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上述した実施形態に係る送信装置が行うものとして上述した各処理を実行する。即ち、CPU201は、各処理部212、214、216として機能することになる。
また、図4のCPU401は、RAM402やROM403に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上述した実施形態に係る受信装置が行うものとして上述した各処理を実行する。即ち、CPU401は、各処理部409、411,413として機能する。
また、図8のCPU201は、RAM202やROM203に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上述した実施形態に係る送信装置が行うものとして上述した各処理を実行する。即ち、CPU201は、各処理部212、214、216、801として機能する。
上述の構成における作動は、前述のフローチャートで説明した作動をCPU201、401が中心となってその制御を行う。
<その他の実施形態>
上述の各実施形態において、映像データの符号化・復号化方式としてMPEG−2を用いたが、MPEG−2に限らず、MPEG−4 AVC/H.264、VC−1等、他の映像データの符号化・復号化方式を用いることが可能である。
また、上述の各実施形態において、符号化された映像データのコンテナ形式としてMPEG−2 TSを用いたが、MPEG−2に限らず、MP4形式、MOV形式等、ストリーミングに適した他のコンテナ形式を用いることも可能である。
また、上述の各実施形態において、プレイリストのフォーマットとしてM3U8形式を用いたが、M3U8形式に限らず、M3U形式、WPL形式等、他のプレイリストフォーマットを用いることも可能である。
また、上述の各実施形態において、各プレイリスト605、607、1003には、受信装置102が受信可能なセグメントデータを示すメタデータとして、当該セグメントデータの再生時間と所在情報とが記載されているが、本発明はこれに限定されない。即ち、各プレイリスト605、607、1003は、例えば、セグメントデータの再生時間、所在情報(URL、アドレス情報等)、再生順序、終端情報等を含んでいてもよく、これら全てを含む必要もない。
また、上述の各実施形態において、受信装置102が受信した映像データを保存するか否かを示す保存モードに基づいて、送信装100が送信するセグメントデータを決定したが、本発明はこれに限定されない。即ち、受信装置102が受信した映像データをリアルタイムで再生するモードであるか否かに基づいて、送信装置100が送信するセグメントデータを決定しても構わない。よって、受信装置102が受信した映像データをリアルタイムで再生するモードである場合に、当該映像データをリアルタイムで再生するモードでない場合よりも、再生順序が下位のセグメントデータを取得するよう、送信装置100及び受信装置102を制御してもよい。
また、受信装置102が映像データの受信における遅延を許可するモードであるか否かに基づいて、送信装100が送信するセグメントデータを決定しても構わない。よって、受信装置102が映像データの受信における遅延を許可するモードである場合に、当該遅延を許可するモードでない場合よりも、再生順序が上位のセグメントデータを取得するよう、送信装置100及び受信装置102を制御してもよい。
さらに、受信装置102が受信した映像データを途切れずに全て再生するモードであるか否かに基づいて、送信装置100が送信するセグメントデータを決定しても構わない。よって、受信装置102が受信した映像データを途切れずに全て再生するモードである場合に、当該全てを再生するモードでない場合よりも、再生順序が上位のセグメントデータを取得するよう、送信装置100及び受信装置102を制御してもよい。
また、上述の各実施形態において、受信装置102が受信した映像モードを保存するか否かを示す保存モードに基づいて、送信装置100が送信するセグメントデータを決定する際に、プレイリストに記載された再生順序を用いたが、本発明はこれに限定されない。即ち、セグメントデータの再生順序ではなく、送信装置100におけるセグメントデータの生成順序や、受信装置102におけるセグメントデータの記録順序等、他の順序を用いて、送信装100が送信するセグメントデータを決定しても構わない。
また、上述の各実施形態において、データ転送プロトコルとしてHTTPを用いたが、HTTPに限らず、HTTPS、TCP、UDP等、OSI参照モデルの同一レイヤーの他のプロトコルまたは別レイヤーの他のプロトコルを用いることが可能である。
また、上述の各実施形態において、送信装置100及び送信装置800は、図2及び図8に示すように撮像部205を有するが、本発明はこれに限定されない。即ち、撮像部205の代わりに、映像データを取得する取得部を有していてもよい。この場合、当該取得部で取得された映像データは、撮像部205で取得された映像データと同様に、バス207を介して所定の処理部に送られる。
また、上述の各実施形態において、送信装置100及び送信装置800は、図2及び図8に示すようにエンコーダ部212を有するが、本発明はこれに限定されない。即ち、エンコーダ部212の代わりに、セグメントデータを取得するセグメント取得部を有していてもよい。この場合、送信装置100外の他の装置によって生成されたセグメントデータを当該セグメント取得部で取得する。そして、セグメント取得部で取得されたセグメントデータは、エンコーダ部212で生成されたセグメントデータと同様に、バス207を介して所定の処理部に送られる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (13)

  1. コンテンツが分割されたセグメントを受信する受信装置であって、
    セグメントの順序を示すメタデータを受信するメタデータ受信手段と、
    前記受信装置のモードがコンテンツを保存する保存モードであるか判定する判定手段と、
    前記受信装置のモードがコンテンツを保存する保存モードであると前記判定手段により判定された場合、前記メタデータによって特定される複数のセグメントが、前記メタデータによって示される順序に従って取得されるように、送信装置に対して前記複数のセグメントを取得するための要求を送信するよう制御する一方、前記受信装置のモードが前記コンテンツを保存する保存モードでないと前記判定手段により判定された場合、前記メタデータによって特定される前記複数のセグメントのうち最新のセグメントから所定数のセグメントを取得するための要求を前記送信装置に対して送信し、前記複数のセグメントのうち前記所定数のセグメント以外を取得するための要求は送信しないことを決定する送信制御手段と、
    を有する受信装置。
  2. 前記受信装置のモードが保存モードであるか否かを示す保存情報を取得する取得手段をさらに有し、
    前記判定手段は、前記受信装置のモードが前記保存モードであるか否かを前記取得手段により取得された前記保存情報に基づいて判定することを特徴とする請求項1に記載の受信装置。
  3. 前記送信制御手段は、前記受信装置のモードが前記保存モードでないと前記判定手段により判定された場合、前記受信手段によって受信されたメタデータによって示される複数のセグメントのうち、最新のセグメントを取得するための要求を送信し、前記複数のセグメントのうち、前記最新のセグメント以外を取得するための要求は送信しないことを決定することを特徴とする請求項1又は2に記載の受信装置。
  4. 前記受信装置のモードが前記保存モードであると前記判定手段により判定された場合、前記送信制御手段によって送信されたセグメントの取得要求に基づいて前記送信装置から送信されたセグメントを受信するセグメント受信手段と、
    前記セグメント受信手段によって受信された前記セグメントを保存する保存手段と、を有することを特徴とする請求項1乃至3のいずれか1項に記載の受信装置。
  5. 前記コンテンツには、映像データ、および音声データの少なくともいずれかが含まれることを特徴とする請求項1乃至4のいずれか1項に記載の受信装置。
  6. コンテンツが分割されたセグメントを受信装置に送信する送信装置であって、
    前記セグメントを生成する生成手段と、
    前記受信装置のモードがコンテンツを保存する保存モードであるか判定する判定手段と、
    前記受信装置のモードがコンテンツを保存する保存モードであると前記判定手段により判定された場合、前記受信装置へ未送信である複数のセグメントが、前記生成手段による生成順序に従って送信されるように、前記受信装置に対して前記複数のセグメントを送信する一方、前記受信装置のモードがコンテンツを保存する保存モードでないと前記判定手段により判定された場合、前記受信装置へ未送信である複数のセグメントのうち最新のセグメントから所定数のセグメントを前記受信装置に対して送信し、前記複数のセグメントのうち前記所定数のセグメント以外を前記受信装置に対して送信しないことを決定する送信制御手段と
    を有する送信装置。
  7. 前記送信制御手段は、前記受信装置のモードが保存モードでないと前記判定手段により判定された場合、前記受信装置に対して未送信である複数のセグメントのうち、前記生成手段により最後に生成されたセグメントに対する取得要求を行うために前記受信装置によって用いられるメタデータを前記受信装置に対して送信することを特徴とする請求項6に記載の送信装置。
  8. 前記コンテンツには、映像データ、および音声データの少なくともいずれかが含まれることを特徴とする請求項6又は7に記載の送信装置。
  9. 撮像手段をさらに有し、
    前記生成手段は、前記撮像手段による撮像画像に基づいてセグメントを生成することを特徴とする請求項6乃至8のうちいずれか1項に記載の送信装置。
  10. コンテンツが分割されたセグメントを受信する受信装置の制御方法であって、
    セグメントの順序を示すメタデータを受信するメタデータ受信工程と、
    前記受信装置のモードがコンテンツを保存する保存モードであるか判定する判定工程と、
    前記受信装置のモードがコンテンツを保存する保存モードであると前記判定工程により判定された場合、前記メタデータによって特定される複数のセグメントが、前記メタデータによって示される順序に従って取得されるように、送信装置に対して前記複数のセグメントを取得するための要求を送信するよう制御する一方、前記受信装置のモードが前記コンテンツを保存する保存モードでないと前記判定工程により判定された場合、前記メタデータによって特定される前記複数のセグメントのうち最新のセグメントから所定数のセグメントを取得するための要求を前記送信装置に対して送信し、前記複数のセグメントのうち前記所定数のセグメント以外を取得するための要求は送信しないことを決定する送信制御工程と
    を有する受信装置の制御方法。
  11. コンテンツが分割されたセグメントを受信装置に送信する送信装置の制御方法であって、
    前記セグメントを生成する生成工程と、
    前記受信装置のモードがコンテンツを保存する保存モードであるか判定する判定工程と、
    前記受信装置のモードがコンテンツを保存する保存モードであると前記判定工程により判定された場合、前記受信装置へ未送信である複数のセグメントが、前記生成工程による生成順序に従って送信されるように、前記受信装置に対して前記複数のセグメントを送信するよう制御する一方、前記受信装置のモードがコンテンツを保存する保存モードでないと前記判定工程により判定された場合、前記受信装置へ未送信である複数のセグメントのうち最新のセグメントから所定数のセグメントを前記受信装置に対して送信し、前記複数のセグメントのうち前記所定数のセグメント以外を前記受信装置に対して送信しないことを決定する送信制御工程とを有する送信装置の制御方法。
  12. コンピュータを請求項1乃至5のいずれか1項に記載の受信装置の各手段として機能させるためのプログラム。
  13. コンピュータを請求項6乃至9のいずれか1項に記載の送信装置の各手段として機能させるためのプログラム。
JP2012287236A 2012-12-28 2012-12-28 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム Active JP6193569B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012287236A JP6193569B2 (ja) 2012-12-28 2012-12-28 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
US14/141,298 US9241132B2 (en) 2012-12-28 2013-12-26 Reception apparatus, reception method, and program thereof, image capturing apparatus, image capturing method, and program thereof, and transmission apparatus, transmission method, and program thereof
US14/970,252 US9571790B2 (en) 2012-12-28 2015-12-15 Reception apparatus, reception method, and program thereof, image capturing apparatus, image capturing method, and program thereof, and transmission apparatus, transmission method, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012287236A JP6193569B2 (ja) 2012-12-28 2012-12-28 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017153819A Division JP6400163B2 (ja) 2017-08-09 2017-08-09 受信装置、受信方法、送信装置、送信方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2014131142A JP2014131142A (ja) 2014-07-10
JP2014131142A5 JP2014131142A5 (ja) 2016-02-12
JP6193569B2 true JP6193569B2 (ja) 2017-09-06

Family

ID=51016744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012287236A Active JP6193569B2 (ja) 2012-12-28 2012-12-28 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム

Country Status (2)

Country Link
US (2) US9241132B2 (ja)
JP (1) JP6193569B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6193569B2 (ja) * 2012-12-28 2017-09-06 キヤノン株式会社 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
US9367283B2 (en) * 2014-07-22 2016-06-14 Sonos, Inc. Audio settings
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
JP7175658B2 (ja) 2018-07-25 2022-11-21 キヤノン株式会社 映像配信装置、配信方法及びプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1177558A (en) * 1982-04-15 1984-11-06 Groupe Videotron Ltee. (Le) Cable network data transmission system
US4910604A (en) * 1986-05-21 1990-03-20 Canon Kabushiki Kaisha Image transmission apparatus
JPH05191599A (ja) * 1991-07-31 1993-07-30 Canon Inc ファクシミリ装置およびファクシミリ送信方法
US5757788A (en) * 1996-01-11 1998-05-26 Matsushita Electric Ind. Digital radio communication system with efficient audio and non-audio data transmission
JP3615658B2 (ja) * 1998-06-15 2005-02-02 能美防災株式会社 火災報知設備
US20020170068A1 (en) * 2001-03-19 2002-11-14 Rafey Richter A. Virtual and condensed television programs
JP2004180092A (ja) * 2002-11-28 2004-06-24 Sony Corp 情報処理装置および情報処理方法、並びにコンピュータ・プログラム
JP4121076B2 (ja) * 2002-12-24 2008-07-16 富士通テン株式会社 遠隔始動制御装置、及び始動制御装置
US7719567B2 (en) * 2004-09-24 2010-05-18 Smartvue Corporation Wireless video surveillance system and method with emergency video access
WO2006051721A1 (ja) * 2004-11-12 2006-05-18 Justsystems Corporation 文書処理装置及び文書処理方法
US20060120697A1 (en) 2004-12-06 2006-06-08 Gabriel Beged-Dov Simultaneous audio and visual content download and playback
JP4995499B2 (ja) * 2006-06-23 2012-08-08 アイシン・エィ・ダブリュ株式会社 地図情報配信システム
JP4869963B2 (ja) * 2007-01-29 2012-02-08 オリンパス株式会社 撮像システム
JP4636460B2 (ja) * 2007-03-16 2011-02-23 富士通東芝モバイルコミュニケーションズ株式会社 ストリーム再生装置
US20090049260A1 (en) * 2007-08-13 2009-02-19 Upadhyayula Shivarama Narasimh High performance data deduplication in a virtual tape system
TWI373045B (en) * 2008-01-07 2012-09-21 Phison Electronics Corp Flash memory storage apparatus, flash memory controller and switching method thereof
US8995824B2 (en) * 2008-01-14 2015-03-31 At&T Intellectual Property I, L.P. Digital video recorder with segmented program storage
JP5207895B2 (ja) * 2008-09-17 2013-06-12 キヤノン株式会社 送信装置、受信装置、及び方法、プログラム
US20100125661A1 (en) * 2008-11-20 2010-05-20 Valtion Teknillinen Tutkimuskesku Arrangement for monitoring performance of network connection
KR101581678B1 (ko) * 2009-10-14 2016-01-04 삼성전자주식회사 전송 순서를 이용한 데이터 공유 시스템
EP2360924A1 (en) * 2010-01-18 2011-08-24 Alcatel-Lucent España, S.A. A digital multimedia data transmission device and method
US8954597B2 (en) * 2010-06-28 2015-02-10 Hulu, LLC Method and apparatus for synchronizing paused playback across platforms
JP2012080417A (ja) * 2010-10-04 2012-04-19 Pioneer Electronic Corp ストリーミング再生装置、ストリーミング再生方法、コンピュータプログラム及び記録媒体
EP2646936B1 (en) * 2011-01-11 2018-11-07 Apple Inc. Real-time or near real-time streaming
JP2012239091A (ja) * 2011-05-13 2012-12-06 Hitachi Consumer Electronics Co Ltd 受信装置、および受信方法
JP5857643B2 (ja) * 2011-11-09 2016-02-10 株式会社バッファロー 中継装置、中継装置の制御方法、中継装置の制御プログラム
EP2834962A1 (en) * 2012-04-06 2015-02-11 Interdigital Patent Holdings, Inc. Optimization of peer-to-peer content delivery service
JP6161260B2 (ja) * 2012-11-14 2017-07-12 キヤノン株式会社 送信装置、受信装置、送信方法、受信方法、及び、プログラム
JP6193569B2 (ja) * 2012-12-28 2017-09-06 キヤノン株式会社 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
JP6218379B2 (ja) * 2012-12-28 2017-10-25 キヤノン株式会社 送信装置、受信装置、送信方法、受信方法、及び、プログラム
JP6116240B2 (ja) * 2012-12-28 2017-04-19 キヤノン株式会社 送信装置、送信方法、及びプログラム

Also Published As

Publication number Publication date
US9241132B2 (en) 2016-01-19
JP2014131142A (ja) 2014-07-10
US20140184734A1 (en) 2014-07-03
US20160100132A1 (en) 2016-04-07
US9571790B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
US11537562B2 (en) Auxiliary manifest file to provide timed metadata
JP2022075735A (ja) 送信方法および送信装置
WO2017138387A1 (ja) 情報処理装置および情報処理方法
WO2016049987A1 (zh) 一种数据处理方法、装置及相关服务器
US20220159288A1 (en) Encoding device, decoding device, streaming system, and streaming method
KR20180073228A (ko) Rtp/rtsp 표준을 따르는 서버와 클라이언트에서 실시간 영상 스트리밍 방법
ES2894240T3 (es) Método para iniciar una transmisión de un contenido de generación de flujo suministrado a un dispositivo cliente y punto de acceso para implementar este método
KR20120035881A (ko) Http 스트리밍의 표현 스위칭시 자연스런 재생을 위한 스케일러블한 http 스트리밍 전송 방법
JP2019083555A (ja) 情報処理装置、コンテンツ要求方法およびコンピュータプログラム
US20220255978A1 (en) Protocol conversion of a video stream
JP2019110542A (ja) サーバ装置、クライアント装置、コンテンツ配信方法およびコンピュータプログラム
JP6193569B2 (ja) 受信装置、受信方法、及びプログラム、撮像装置、撮像方法、及びプログラム、送信装置、送信方法、及びプログラム
JP4526294B2 (ja) ストリームデータ送信装置、受信装置、プログラムを記録した記録媒体、およびシステム
JP6319970B2 (ja) 画像通信装置およびその制御方法
KR101748382B1 (ko) 비디오 스트리밍 제공 방법 및 시스템
JP6400163B2 (ja) 受信装置、受信方法、送信装置、送信方法、及びプログラム
US9118803B2 (en) Video conferencing system
JP2010011287A (ja) 映像伝送方法および端末装置
JP6327809B2 (ja) 受信装置、制御方法及びプログラム
JP6890977B2 (ja) 送信装置、送信方法、およびプログラム
US11303940B2 (en) Transmission apparatus, transmission method, and non-transitory computer-readable storage medium
JP5902653B2 (ja) 動画配信システム、動画配信装置、端末装置、及びプログラム
JP2020022106A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018046433A (ja) 画像同期装置、画像同期プログラム、及び画像同期方法
JP2006229618A (ja) 映像通信システム、映像通信装置、プログラム、及び映像通信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170810

R151 Written notification of patent or utility model registration

Ref document number: 6193569

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151