JPWO2009119394A1 - 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム - Google Patents
映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム Download PDFInfo
- Publication number
- JPWO2009119394A1 JPWO2009119394A1 JP2010505567A JP2010505567A JPWO2009119394A1 JP WO2009119394 A1 JPWO2009119394 A1 JP WO2009119394A1 JP 2010505567 A JP2010505567 A JP 2010505567A JP 2010505567 A JP2010505567 A JP 2010505567A JP WO2009119394 A1 JPWO2009119394 A1 JP WO2009119394A1
- Authority
- JP
- Japan
- Prior art keywords
- scene
- data
- video
- video data
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
- H04N7/17309—Transmission or handling of upstream communications
- H04N7/17318—Direct or substantially direct transmission and handling of requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Abstract
映像取得方法は、複数のシーンに分割され、複数のシーンの各々ごとに低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次取得する映像取得方法である。既に取得したシーン映像データの集合と複数のシーンの各々ごとのシーン重要度と複数のシーンのうちの現在再生中の再生シーンとに基づいて、新たに取得するシーン映像データを取得の度に決定するステップS06と、決定に基づいて、決定ごとにシーン映像データを取得するステップS07とを具備する。
Description
本発明は、映像取得方法、映像取得システムおよび映像取得用プログラムに関し、特に複数のシーンに分割された映像データを取得する映像取得方法、映像取得システムおよび映像取得用プログラムに関する。
一般に、複数のシーンに分割された映像データを取得する映像取得方法は、所望の映像を保持する映像配信サーバからインターネットのような通信網を経由して映像データを取得し再生するために用いられている。このような映像取得方法として、映像データを取得しながら実時間で再生を行うストリーミング型取得方法、及び、映像データを再生端末のハードディスクなどの記憶領域に蓄積し、蓄積後に記憶領域から映像データを読み出して再生を行う蓄積型取得方法がある。
ストリーミング型取得方法を用いた映像取得方法では、実時間の映像を観賞できるという利点がある。加えて、ユーザが所望の映像を要求すれば即時視聴可能であるという利点がある。一方、蓄積型取得方法を用いた映像取得方法では、通信手段の通信帯域よりも大きな帯域を持つ高精細な映像を視聴することができるという利点がある。
関連する技術として、特開2003−333593号公報に画像データ送信装置および画像データ受信装置が開示されている。この画像データ送信装置は、分割手段、生成手段、第1の送信手段、ならびに第2の送信手段を備えている。分割手段は、送信対象画像のうち第1の部分画像と上記第1の部分画像を除く第2の部分画像とに分ける。生成手段は、上記第1の部分画像の低解像度の画像を表す第1の低解像度の画像データ,上記第2の部分画像の低解像度の画像を表す第2の低解像度の画像データ,上記第1の部分画像の高解像度の画像データおよび上記第2の部分画像の高解像度の画像データをそれぞれ生成する。第1の送信手段は、上記第1の低解像度の画像データ,上記第2の低解像度の画像データ,上記第1の高解像度の画像データおよび上記第2の高解像度の画像データの順番で,上記生成手段によって生成されたそれぞれの画像データを受信装置に送信する。第2の送信手段は、上記第1の部分画像の上記送信対象画像における位置を示すデータを,上記第1の送信手段から送信されるデータに関連づけて上記受信装置に送信する。
また、特開2003−158624号公報に画像データ送信方法及び装置が開示されている。この画像データ送信方法は、一つの画像内容について複数の解像度の画像データを記録する記録形式によって画像を記録しておき;前記記録形式によって記録された複数の画像の中から送信対象とする少なくとも一つの画像を選択するとともに;当該選択に係る画像の送信に使う通信時間を指定し;画像送信時に前記選択に係る画像について前記複数の解像度のうち低い解像度の画像データから送信を開始し、前記指定された通信時間内で順次高い解像度のデータの送信を行い前記指定された通信時間に達すると、画像データの送信を中止する。
また、特開2002−33987号公報に記録装置および記録方法が開示されている。この記録装置は、データ取得手段と、シーン分割手段と、シーン情報取得手段と、演算手段と、記録手段と、データ蓄積手段とを備える。データ取得手段は、番組やコンテンツを取得する。シーン分割手段は、前記番組やコンテンツをシーン毎に分割する。シーン情報取得手段は、前記番組やコンテンツのシーン情報を取得する。演算手段は、前記分割したシーンの重要度を計算する。記録手段は、前記重要度に応じてシーン毎に記録品質が制御可能である。データ蓄積手段は、記録データを蓄積する。
また、特開2004−38575号公報にデータ送受信システム及びデータ送受信方法、情報提供装置及び情報提供方法、並びにデータ受信装置及びデータ受信方法が開示されている。このデータ送受信システムは、コンテンツデータを送信する情報提供装置とデータ受信装置とがネットワークを介して接続され該コンテンツデータをパケット化して送受信する。このデータ送受信システムにおいて、上記データ受信装置は、欠落パケットを検出する欠落パケット検出手段と、上記欠落パケットの再送信を要求する欠落パケット再送要求手段とを備える。上記データ受信装置は、上記コンテンツデータをコネクションレス型通信で受信する。そして、上記欠落パケット検出手段において欠落パケットが検出された場合、上記欠落パケット再送要求手段は、上記情報提供装置に対して該欠落パケットをコネクション型通信により再度送信するよう要求することを特徴とする。
ストリーミング型取得方法や蓄積型取得方法には上記のような利点があるが、一方で以下のような問題点がある。ストリーミング型取得方法を用いた映像取得方法では、通信手段の通信帯域によっては高精細な映像を視聴することはできないという問題点がある。その理由は、実時間の再生を行うために必要な映像データの量に対して通信手段を経由して得られる映像データの量が通信手段の通信帯域の制限により追い付かないためである。一方、蓄積型取得方法を用いた映像取得方法では、視聴が可能になるまでに時間がかかるという問題点がある。その理由は、通信手段の通信帯域の制限により再生を行うために必要となる映像データが揃うまでに時間がかかるためである。
本発明の目的は、視聴者による映像の要求に対して当該映像が即時視聴可能であり、当該映像のシーンに対応して解像度を適切に高めることが可能な映像取得方法、映像取得システムおよび映像取得用プログラムを提供することにある。
本発明の映像取得方法は、複数のシーンに分割され、その複数のシーンの各々ごとに低解像度の基本データとその基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次取得する。この映像取得方法は、既に取得したシーン映像データの集合と複数のシーンの各々ごとのシーン重要度と複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得するシーン映像データを取得の度に決定するステップと;その決定に基づいて、決定ごとにシーン映像データを取得するステップとを具備する。
本発明の映像取得装置は、複数のシーンに分割され、複数のシーンの各々ごとに低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次取得する。この映像取得装置は、映像データ取得部と、映像データ記憶部とを具備する。映像データ取得部は、既に取得したシーン映像データの集合と複数のシーンの各々ごとのシーン重要度と複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得するシーン映像データを取得の度に決定し、決定ごとにシーン映像データを取得する。映像データ記憶部は、取得したシーン映像データを記憶する。
本発明の映像取得システムは、複数のシーンに分割され、複数のシーンの各々ごとに低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次送受信する映像取得システムである。この映像取得システムは、映像取得装置と、映像配信装置とを具備する。映像取得装置は、新たに取得するシーン映像データの要求を行い、上記段落に記載されている。映像配信装置は、複数の映像データを有し、映像取得装置からの要求に基づいて、複数の映像データからシーン映像データを抽出して映像取得装置へ送信する。
本発明のプログラムは、複数のシーンに分割され、複数のシーンの各々ごとに低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、基本データ及び拡張データとしてのシーン映像データを逐次取得する映像取得方法をコンピュータに実行させる。このプログラムは、既に取得したシーン映像データの集合と複数のシーンの各々ごとのシーン重要度と複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得するシーン映像データを取得の度に決定するステップと、決定に基づいて、決定ごとにシーン映像データを取得するステップとを具備する映像取得方法をコンピュータに実行させる。
以下、本発明の映像取得方法、映像取得装置、映像取得システムおよび映像取得用プログラムの実施の形態に関して、添付図面を参照して説明する。
(第1の実施の形態)
まず、本発明の第1の実施の形態に係る映像取得システムの構成について図1を参照して説明する。図1は、本発明の第1の実施の形態に係る映像取得システムの構成を示すブロック図である。この映像取得システムは、映像配信装置1と映像取得再生装置3とを具備する。映像配信装置1と映像取得再生装置3とは、インターネットに例示されるネットワーク2により双方向通信可能に接続されている。
まず、本発明の第1の実施の形態に係る映像取得システムの構成について図1を参照して説明する。図1は、本発明の第1の実施の形態に係る映像取得システムの構成を示すブロック図である。この映像取得システムは、映像配信装置1と映像取得再生装置3とを具備する。映像配信装置1と映像取得再生装置3とは、インターネットに例示されるネットワーク2により双方向通信可能に接続されている。
映像配信装置1は、入出力装置、記憶装置及び中央演算処理装置を有するコンピュータに例示される情報処理装置である。映像配信装置1は、外部からの要求に応答して、複数の映像データを記憶する記憶装置(図示されず)から当該要求に対応する映像データ及びその映像データに関連する情報を配信する。記憶装置は、映像配信装置1に内蔵されていても、外部にあり通信回線を介して接続されていても良い。
ここで、映像データは、複数のシーンに分割されている。その複数のシーンの各々は、低解像度の基本データとその基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含んでいる。すなわち、映像データは、映像の複数のシーンに分割されている。そして、シーンごとに、最低解像度の映像を符号化した基本データと、段階的に解像度を高めることのできる1つ以上の解像度ごとの拡張データとを有している。図2で具体的に説明する。
図2は、本発明の第1の実施の形態に係る映像データを示す概略図である。図2を参照すると、オリジナルの映像を示す映像データA1は3つのシーンA11、A12、A13に分割されている。そして、例えば、シーンA11の映像データは、基本データA111、中解像度用の拡張データA112、及び高解像度用の拡張データA113を有している。同様に、シーンA12の映像データは、基本データA121、中解像度用の拡張データA122、及び高解像度用の拡張データA123を有している。シーンA13の映像データは、基本データA131、中解像度用の拡張データA132、及び高解像度用の拡張データA133を有している。いか、基本データ及び拡張データは、両者を区別しない場合には「シーン映像データ」とも参照される。なお、図2におけるシーンの分割数(3個)や解像度別のデータの数(3個)は例示であり、本発明において特に制約はない。具体的には、例えば、このような性質を持つ映像の符号化方法としてスケーラブル・ビデオ・コーディング(SVC)方式を用いることができる。
ただし、映像データにおけるシーンとは、映像の最小単位であるフレームの時間軸上で連続した集合である。各フレームは、必ず1つのシーンだけに含まれている。フレーム=シーンであっても良い。どの範囲のフレームを1つのシーンとするかは、映像製作者が決定できる。また、映像や音声などの特徴に基づき自動的にシーンを決定してもよい。各フレームの大きさは一定である必要は無い。
また、映像データに関する情報は、上記の基本データA111、A121、A131、拡張データA112/A113、A122/A123、A132/A133の各々ごとに設定された、それらの重要度を示すシーン重要度を含んでいる。ただし、シーン重要度は、整数でも実数でもよいが、他のシーンに対して相対的に重要か否かがわかればよいので、1〜総シーン数までの整数を用いて十分表現することができる。また、同一のシーン重要度を持つシーンが存在してもよい。シーン重要度はそれぞれのシーンごとに映像製作者が設定することはもちろん、映像や音声などの特長に基づき重要度を自動的に抽出して設定してもよい。
上記の映像データを格納する記憶装置(図示されず)は、映像データに関して、シーン映像データと、シーン映像データを指定するシーン映像指定情報と、各シーンを構成するシーン映像データを特定するシーン構成情報と、シーン映像データのシーン重要度を示すシーン重要度情報と、シーン映像データの解像度(基本データか拡張データかを含む)を特定する解像度情報とを格納している。図3A〜図3Eに具体例を示す。
図3A〜図3Eは、本実施の形態に係る情報の一例を示す表である。
図3Aに示されるように、シーン映像指定情報は、<http://…//dA111>のようなURL(Uniform Resource Locator)に例示され、シーン映像データを特定するシーン映像データID(例示:A111、A112)と関連付けて格納されている。シーン映像指定情報は、シーン映像データIDのシーン映像データ(映像そのもの)を格納する場所を指定している。また、図3Bに示されるように、シーン構成情報は、シーン映像データIDの組み合わせに例示され、シーンを特定するシーンID(例示:A11、A12)と関連付けて格納されている。シーンIDは、シーンのシーケンスどおりに並んでいる。また、図3Cに示されるように、シーン重要度情報は、シーン重要度に例示され、シーンIDと関連付けて格納されている。更に、図3Dに示されるように、解像度情報は、基本データや拡張データのようなデータ種別に例示され、シーン映像データIDと関連付けて格納されている。これら、図3A〜図3Dに示される情報は、互いに関連付けられ、映像データを特定する映像データID(例示:A1)ごとに設けられている。なお、シーン重要度情報は無くても良い。その場合、後の説明に出てくる重要度は全て同じとして取り扱われる。(図3Eについては後述される。)
図3Aに示されるように、シーン映像指定情報は、<http://…//dA111>のようなURL(Uniform Resource Locator)に例示され、シーン映像データを特定するシーン映像データID(例示:A111、A112)と関連付けて格納されている。シーン映像指定情報は、シーン映像データIDのシーン映像データ(映像そのもの)を格納する場所を指定している。また、図3Bに示されるように、シーン構成情報は、シーン映像データIDの組み合わせに例示され、シーンを特定するシーンID(例示:A11、A12)と関連付けて格納されている。シーンIDは、シーンのシーケンスどおりに並んでいる。また、図3Cに示されるように、シーン重要度情報は、シーン重要度に例示され、シーンIDと関連付けて格納されている。更に、図3Dに示されるように、解像度情報は、基本データや拡張データのようなデータ種別に例示され、シーン映像データIDと関連付けて格納されている。これら、図3A〜図3Dに示される情報は、互いに関連付けられ、映像データを特定する映像データID(例示:A1)ごとに設けられている。なお、シーン重要度情報は無くても良い。その場合、後の説明に出てくる重要度は全て同じとして取り扱われる。(図3Eについては後述される。)
図1に示されるように、映像配信装置1は、映像データ送信部11とシーン重要度送信部12とを備えている。映像データ送信部11及びシーン重要度送信部12は、映像配信装置1上で動作するコンピュータプログラム(ソフトウェア)である。ただし、映像データ送信部11及びシーン重要度送信部12は、ソフトウェアとハードウェアとの組み合わせや、ハードウェアのみによって実現しても良い。
シーン重要度送信部12は、映像取得再生装置3からの第1映像要求情報に応答して、その第1映像要求情報で特定される映像データに関する情報として、シーン映像指定情報(図3A、シーン構成情報(図3B)、シーン重要度情報(図3C)及び解像度情報(図3D)を記憶装置(図示されず)から読み出して、映像取得再生装置3へ第1送信情報として送信する。ただし、第1映像要求情報は、映像データを特定する映像データIDと、シーン映像指定情報、シーン構成情報、シーン重要度情報及び解像度情報を要求する要求情報とを含んでいる。すなわち、シーン重要度送信部12は、映像取得再生装置3からの第1映像要求情報に応答して、第1映像要求情報の映像データIDで特定される映像データの全シーンについて、シーン映像指定情報、シーン構成情報、シーン重要度情報及び解像度情報を要求する要求情報を一括して送信することができる。
映像データ送信部11は、映像取得再生装置3からの第2映像要求情報に応答して、その第2映像要求情報で特定されるシーン映像データを記憶装置(図示されず)から読み出して、映像取得再生装置3へ第2送信情報として送信する。ただし、第2映像要求情報は、シーン映像指定情報を含んでいる。すなわち、映像データ送信部11は、映像取得再生装置3からの第2映像要求情報に応答して、第2映像要求情報のシーン映像指定情報で特定される基本データA111、A121、A131、及び拡張データA112〜A113、A122〜A123、A132〜A133をどのような順番でも送信することができる。
映像取得再生装置3は、入出力装置、記憶装置及び中央演算処理装置を有するコンピュータに例示される情報処理装置である。映像取得再生装置3は、映像配信装置1へ第1映像要求情報及び第2映像要求情報を送信する。そして、映像配信装置1からシーン重要度とシーン映像データとを取得し、そのシーン映像データを組み立てて映像データとして再生する。映像取得再生装置3は、映像データ取得部32と、映像データ保持部33と、映像データ再生部34とを備えている。映像データ取得部32及び映像データ再生部34は、映像取得再生装置3上で動作するコンピュータプログラム(ソフトウェア)である。ただし、映像データ取得部32及び映像データ再生部34は、ソフトウェアとハードウェアとの組み合わせや、ハードウェアのみによって実現しても良い。映像データ保持部33は、ハードディスクドライブのような記憶装置に例示される。
映像データ取得部32は、ユーザの入力に基づいて、取得する映像データを設定する。次に、その映像データに基づいて、第1映像要求情報を生成して映像配信装置1へ出力する。そして、その映像データのシーンごとのシーン重要度を含む第1送信情報をシーン重要度送信部12より取得する。
更に、映像データ取得部32は、その第1送信情報と映像データ保持部33において既に取得されたシーン映像データとを比較して、未取得のシーン映像データリスト(例示:図3E)を生成する。そして、そのリストを参照して、映像データ保持部33において既に取得されたシーン映像データの集合と、シーン重要度送信部12より取得した(第1送信情報に含まれる)シーンごとのシーン重要度と、映像データ再生部34により再生中又はこれから再生される現在のシーンとに基づいて、次に取得すべきシーン映像データを取得の度ごとに逐次決定する。次に、その決定に基づいて、第2映像要求情報を生成して映像配信装置1へ出力する。そして、決定されたシーン映像データを第2送信情報として映像データ送信部11から取得する。
更に、映像データ取得部32は、その第1送信情報と映像データ保持部33において既に取得されたシーン映像データとを比較して、未取得のシーン映像データリスト(例示:図3E)を生成する。そして、そのリストを参照して、映像データ保持部33において既に取得されたシーン映像データの集合と、シーン重要度送信部12より取得した(第1送信情報に含まれる)シーンごとのシーン重要度と、映像データ再生部34により再生中又はこれから再生される現在のシーンとに基づいて、次に取得すべきシーン映像データを取得の度ごとに逐次決定する。次に、その決定に基づいて、第2映像要求情報を生成して映像配信装置1へ出力する。そして、決定されたシーン映像データを第2送信情報として映像データ送信部11から取得する。
映像データ保持部33は、映像データ取得部32によって取得されたシーン映像データを保持する。シーン映像データは、映像データID、シーンID、シーン映像データID、シーン重要度情報及び解像度情報と関連付けられて格納されている。又は、図3A〜図3Dで示されると関連付けられて格納されていても良い。情報映像データ再生部34は、映像データ保持部33に取得済みの映像データを組み立てて得られる映像を再生する。
映像データ再生部34は、映像データ保持部33にすべてのシーン映像データが揃っていない段階でも映像を再生することができる。基本データがないシーンについては再生ができないのでそのシーンについてはスキップされる。このとき、映像がスキップされたことを示す通知、音声、画像、映像などによりスキップされたことを視聴者に示してもよい。基本データだけしか取得できていないシーンは最低の解像度で映像の再生が行われる。拡張データの存在するシーンではより高解像度の映像が再生される。
次に、本発明の第1の実施の形態に係る映像取得方法(映像取得システムの動作方法)について図1、図2、図3A〜図3E、図4を参照して説明する。図4は、本発明の第1の実施の形態に係る映像取得方法を示すフロー図である。映像取得再生装置3が映像配信装置1から映像データA1を取得する場合について考える。ここでは一例として、シーンA11のシーン重要度は1、シーンA12のシーン重要度は3、シーンA13のシーン重要度は2とする。また、映像取得再生装置3において現在のシーンをA11とする。
まず、映像データ取得部32は、ユーザ等からの入力に基づいて、取得する映像データとして映像データA1を設定する。次に、映像データ取得部32は、その映像データA1に基づいて、第1映像要求情報(映像データID、要求情報を含む)を生成して映像配信装置1へ出力する。シーン重要度送信部12は、映像データ取得部32からの第1映像要求情報に応答して、その第1映像要求情報で特定される映像データA1のすべてのシーンについて、シーン映像指定情報(図3A)、シーン構成情報(図3B)、シーン重要度情報(図3C)及び解像度情報(図3D)を記憶装置(図示されず)から読み出す。そして、すべてのシーンについて、それら読み出した情報を含む第1送信情報を生成して映像取得再生装置3へ送信する。映像データ取得部32は、その第1送信情報をシーン重要度送信部12より取得し、記憶部(図示されず)に記憶する(ステップS01)。
映像データ取得部32は、取得した第1送信情報から、映像データA1に含まれるすべてのシーン(シーンID及びシーン映像データID)を把握する。そして、映像データ保持部33の保持するシーン映像データを検索して、映像データA1に含まれるすべてのシーンのうち未取得のシーン映像データのリストを作成する(ステップS02)。このリストは、未取得のシーンのシーン映像データIDを含んでいる。そのリストは、図3Eのような未取得のシーン映像データIDを列挙したリストに例示される。
映像データ取得部32は、このリストに現在のシーン(この例の場合、シーンA11)以降のシーン映像データが含まれているかを判断する(ステップS03)。含まれている場合(ステップS03:YES)、その現在のシーンより前のシーン映像データをリストから削除する(ステップS04)。含まれていない場合(ステップS03:NO)、ステップS05の処理に進む。
映像データ取得部32は、このリストのデータが空か否かを判定する(ステップS05)。このリストのデータが空の場合(ステップS05:YES)、取得すべきシーン映像データが無いと判断して処理を終了する。このリストのデータが空でない場合(ステップS05:NO)、取得すべきシーン映像データがあると判断して次の処理(ステップS06以降)へ進む。
映像データ取得部32は、こうして生成されたリストの中からシーン重要度が最も高いシーン映像データのうち解像度の最も低いシーン映像データを次に取得するシーン映像データと決定する(ステップS06)。初期段階ではすべてのシーン映像データが未取得であるので、シーン重要度が最も高いシーン映像データのうち解像度の最も低いシーン映像データとしてシーン映像データA121を次に取得するシーン映像データとして決定する。
映像データ取得部32は、その決定に基づいて、記憶部のシーン映像指定情報(図3A)を参照して第2映像要求情報(シーン映像指定情報を含む)を生成して映像データ送信部11へ送信する。映像データ送信部11は、映像データ取得部32からの第2映像要求情報に応答して、その第2映像要求情報で特定されるシーン映像データを記憶装置(図示されず)から読み出す。そして、そのシーン映像データを含む第2送信情報を生成して映像データ取得部32へ送信する。映像データ取得部32は、その第2送信情報を映像データ送信部11より取得する。そして、そのシーン映像データを、映像データID、シーンID、シーン映像データID、シーン重要度情報及び解像度情報と関連付けて、映像データ保持部33に記憶する(ステップS07)。すなわち、映像データA121を映像データ送信部11より取得し、映像データ保持部33へ保存する。
以下同様にしてリストのデータが空(ステップS05がYES)になるまでステップS02〜S07を繰り返す。すなわち、まず、映像データ取得部32は、映像データ保持部33の保持するシーン映像データを検索して、映像データA1に含まれるすべてのシーンのうち未取得のシーン映像データのリストを生成する又は更新する(ステップS02)。次に、映像データ取得部32は、このリストに現在のシーン以降の映像データが存在する場合(ステップS03:YES)、その現在のシーンより前のシーン映像データをリストから削除する(ステップS04)。続いて、映像データ取得部32は、このリストのデータが空の場合(ステップS05:YES)には処理を終了し、空でない場合(ステップS05:NO)には次の処理(ステップS06以降)へ進む。
映像データ取得部32は、こうして生成されたリストの中からシーン重要度が最も高い映像データのうち解像度の最も低い映像データを次に取得する映像データと決定する(ステップS06)。この段階では、シーン重要度が最も高い映像データのうち解像度の最も低い映像データとして映像データA122を次に取得する映像データとして決定する。
映像データ取得部32は、その決定に基づいて、第2映像要求情報を映像データ送信部11へ送信する。映像データ送信部11は、第2映像要求情報に応答して、要求されたシーン映像データを第2送信情報として映像データ取得部32へ送信する。映像データ取得部32は、その第2送信情報のシーン映像データを、他の情報と関連付けて映像データ保持部33に記憶する(ステップS07)。すなわち、映像データA122を映像データ送信部11より取得し、映像データ保持部33へ保存する。
こうして、同様にステップS02〜S07を繰り返すことで、それ以降、シーン映像データとして、シーン映像データA123、A131、A132、A133、A111、A112、A113が、この順に取得、保存される。
全てのシーン映像データが取得し終わると、リストのデータが空(ステップS05:YES)となるので、映像データ取得部32は処理を終了する。それにより、シーン映像データの取得動作が終了する。
ただし、次に取得するシーン映像データ決定するステップ(ステップS06)は、現在のシーン以降のシーン映像データのうち、現在のシーンから定められた数の個数分だけ連続する基本データを優先して取得するように決定しても良い。その場合、ステップS07において、例えば、定められた数が“2”で、現在のシーンがA11とすると、A11及びA12の2個分の基本データA111、A121を取得する。この場合、シーンのスキップの発生を抑制することが出来る。早送り再生もやり易くなる。そのような定められた数としては、定められた数の個数分の基本データを再生中に、連続再生に十分な数のシーン映像データを得られる数に例示される。
あるいは、次に取得するシーン映像データ決定するステップ(ステップS06)は、現在のシーン以降のシーン映像データのうち、現在のシーンに時間的に近いシーン映像データ(現在のシーンから定められた時間内に取得できる連続したシーン映像データ)を優先して取得するように決定しても良い。その場合、ステップS07において、例えば、定められた時間が“t0”で、現在のシーンがA11とすると、基本データA111、拡張データA112と取得し、時間t0となったら取得を終了する。あるいは、例えば、基本データA111、拡張データA112、拡張データA113、基本データA12と取得し、時間t0となったら取得を終了する。この場合、各シーンの解像度をできるだけ高くすることが出来る。そのような時間としては、その時間分のシーン映像データを再生中に、高い解像度のシーン映像データを取得可能な時間に例示される。
次に、取得されたシーン映像データの再生動作について説明する。
シーン映像データの再生動作は、映像データの取得動作が終了する前の任意の段階においても動作することが可能である。ここでは一例として、シーン映像データA121、A122、A123、A131の4つのシーン映像データの取得が完了した時に、再生が開始されたものとする。
シーン映像データの再生動作は、映像データの取得動作が終了する前の任意の段階においても動作することが可能である。ここでは一例として、シーン映像データA121、A122、A123、A131の4つのシーン映像データの取得が完了した時に、再生が開始されたものとする。
映像データ再生部34は、ユーザ等の入力により映像データA1の再生を指示されると、映像データ保持部33内の複数の映像データの中から映像データA1を読み出して再生を開始する。このとき、基本データが取得されていないシーンについてはスキップを行う。この段階ではシーンA11に関する基本データA111は未取得であるため、シーンA11はスキップされる。そして、次のシーンの再生に移る。
シーンA12はすべての解像度のシーン映像データである基本データA121、拡張データA122、A123が揃っている。そのため、これらのシーン映像データをすべて使用して復号化を行い、高解像度の映像を再生する。そして、次のシーンの再生に移る。ここで、シーンA12の再生中に、並行して行われる上記映像取得方法の実行により、拡張データA132が取得完了したものとする。シーンA13は、中解像度までのシーン映像データである基本データA131、拡張データA132が揃っている。そのため、これらのシーン映像データをすべて使用して復号化を行い、中解像度の映像を再生する。そして、次のシーンの再生に移る。
ここで、シーンA13の再生中に、並行して行われる上記映像取得方法の実行により、拡張データA133、基本データA111が取得完了したものとする。リピート再生するように設定されていない場合、この時点でシーン映像データの再生動作を終了する。リピート再生するように設定されている場合、シーンA11から再生を再開する。シーンA11はシーン映像データである基本データA111を取得済みである。そのため、このシーン映像データである基本A111を復号化して、低解像度の映像を再生する。そして、次のシーンの再生に移る。以降、同様の動作により再生が行われる。
本発明では、映像のシーンごとに分割された低解像度の基本データと基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含むシーン映像データの集合の中から、どの映像データを次に取得するかを逐次シーンごとのシーン重要度と現在再生中のシーンに基づき決定し、取得しながら、これまでに取得済みの映像データを復号化して映像の部分的ないし低解像度の映像を再生することが出来る。このような本発明により、重要度の高いシーンほどより早くより高精細の映像データを取得したり、現在のシーン以降のシーンの映像データの取得を優先的に行ったりすることがきる。それにより、視聴者が所望の映像を要求すれば即時視聴することができ、高精細な映像が必要とされるシーンにおいては高精細な映像の視聴が可能となり、十分な時間を経た後では全シーンにわたり高精細な映像を視聴することが可能となる。
(第2の実施の形態)
本発明の第2の実施の形態に係る映像取得システムの構成について説明する。本実施の形態の映像取得システムの構成は、映像データ取得部32における取得するシーン映像データの決定方法を除いて図1に示される第1の実施の形態の映像取得システムと同様であるのでその説明を省略する。なお、映像データ取得部32における取得するシーン映像データの決定方法は、後述の本実施の形態における映像取得方法において説明される。
本発明の第2の実施の形態に係る映像取得システムの構成について説明する。本実施の形態の映像取得システムの構成は、映像データ取得部32における取得するシーン映像データの決定方法を除いて図1に示される第1の実施の形態の映像取得システムと同様であるのでその説明を省略する。なお、映像データ取得部32における取得するシーン映像データの決定方法は、後述の本実施の形態における映像取得方法において説明される。
次に、本発明の第2の実施の形態に係る映像取得方法(映像取得システムの動作方法)について図1、図2、図3A〜図3E、図5を参照して説明する。図5は、本発明の第2の実施の形態に係る映像取得方法を示すフロー図である。映像取得再生装置3が映像配信装置1から映像データA1を取得する場合について考える。ここでは一例として、シーンA11のシーン重要度は1、シーンA12のシーン重要度は3、シーンA13のシーン重要度は2とする。また、映像取得再生装置3において現在のシーンをA11とする。
本実施の形態に係る映像取得方法において、ステップS11〜S15は、第1の実施の形態のステップS01〜S05と同じである。すなわち、まず、映像データ取得部32は、映像データA1のすべてのシーンについて、シーン映像指定情報(図3A)、シーン構成情報(図3B)、シーン重要度情報(図3C)及び解像度情報(図3D)をシーン重要度送信部12より取得し、記憶部(図示されず)に記憶する(ステップS11)。次に、映像データ取得部32は、映像データ保持部33の保持するシーン映像データを検索して、映像データA1に含まれるすべてのシーンのうち未取得のシーン映像データのリスト(図3E)を生成する又は更新する(ステップS12)。続いて、映像データ取得部32は、このリストに現在のシーン以降の映像データが存在する場合(ステップS13:YES)、その現在のシーンより前のシーン映像データをリストから削除する(ステップS14)。その後、映像データ取得部32は、このリストのデータが空の場合(ステップS15:YES)には処理を終了し、空でない場合(ステップS15:NO)には次の処理(ステップS16以降)へ進む。ステップS11〜S15の詳細は省略する。
映像データ取得部32は、こうして生成されたリストの中から解像度の最も低いシーン映像データのうち最もシーン重要度が高いシーン映像データを次に取得するシーン映像データと決定する(ステップS16)。初期段階ではすべてのシーン映像データが未取得であるので、解像度の最も低いシーン映像データのうち最もシーン重要度が高いシーン映像データとして基本データA121を次に取得するシーン映像データとして決定する。
ステップS17は、第1の実施の形態のステップS07と同じである。すなわち、映像データ取得部32は、その決定に基づいて、シーン映像指定情報(図3A)を参照して、第2映像要求情報を映像データ送信部11へ送信する。映像データ送信部11は、第2映像要求情報に応答して、要求されたシーン映像データを第2送信情報として映像データ取得部32へ送信する。映像データ取得部32は、その第2送信情報のシーン映像データを、他の情報と関連付けて映像データ保持部33に記憶する(ステップS17)。すなわち、映像データA121を映像データ送信部11より取得し、映像データ保持部33へ保存する。ステップS17の詳細は省略する。
以下同様にしてリストのデータが空(ステップS15がYES)になるまでステップS12〜S17を繰り返す。すなわち、まず、映像データ取得部32は、映像データ保持部33の保持するシーン映像データを検索して、映像データA1に含まれるすべてのシーンのうち未取得のシーン映像データのリストを生成する又は更新する(ステップS12)。次に、映像データ取得部32は、このリストに現在のシーン以降の映像データが存在する場合(ステップS13:YES)、その現在のシーンより前のシーン映像データをリストから削除する(ステップS14)。続いて、映像データ取得部32は、このリストのデータが空の場合(ステップS15:YES)には処理を終了し、空でない場合(ステップS15:NO)には次の処理(ステップS16以降)へ進む。
映像データ取得部32は、こうして生成されたリストの中から解像度の最も低いシーン映像データのうち最もシーン重要度が高いシーン映像データを次に取得するシーン映像データと決定する(ステップS16)。この段階では、解像度の最も低いシーン映像データのうち最もシーン重要度が高いシーン映像データとして映像データA131を次に取得するシーン映像データとして決定する。
映像データ取得部32は、その決定に基づいて、要求されたシーン映像データを映像データ送信部11から取得し、他の情報と関連付けて映像データ保持部33に記憶する(ステップS17)。すなわち、映像データA131を映像データ送信部11より取得し、映像データ保持部33へ保存する。
こうして、同様にステップS12〜S17を繰り返すことで、それ以降、シーン映像データとして、シーン映像データA111、A122、A132、A112、A123、A133、A113が、この順に取得、保存される。
全てのシーン映像データが取得し終わると、リストのデータが空(ステップS15:YES)となるので、映像データ取得部32は処理を終了する。それにより、シーン映像データの取得動作が終了する。
次に、取得されたシーン映像データの再生動作について説明する。
シーン映像データの再生動作は、第1の実施の形態と同様であるので、その説明を省略する。
シーン映像データの再生動作は、第1の実施の形態と同様であるので、その説明を省略する。
本実施の形態においても、第1の実施の形態と同様の効果を得ることが出来る。
(第3の実施の形態)
本発明の第3の実施の形態に係る映像取得システムの構成について説明する。本実施の形態の映像取得システムの構成は、映像データ取得部32におけるリスト作成方法及び取得するシーン映像データ決定方法を除いて図1に示される第1の実施の形態の映像取得システムと同様であるのでその説明を省略する。なお、映像データ取得部32におけるリストの作成方法及び取得するシーン映像データの決定方法は、後述の本実施の形態における映像取得方法において説明される。
本発明の第3の実施の形態に係る映像取得システムの構成について説明する。本実施の形態の映像取得システムの構成は、映像データ取得部32におけるリスト作成方法及び取得するシーン映像データ決定方法を除いて図1に示される第1の実施の形態の映像取得システムと同様であるのでその説明を省略する。なお、映像データ取得部32におけるリストの作成方法及び取得するシーン映像データの決定方法は、後述の本実施の形態における映像取得方法において説明される。
映像データ取得部32は、第n回目のリスト作成工程において、シーン重要度を高い順に並べたときの第n番目のシーン重要度以上のシーン重要度もつ各シーンについて、基本データ又はその解像度を一段階上げることのできる拡張データ(ただし基本データが順序リストに存在する場合)をそれぞれのシーンで1つずつ時間順にリストに追加して、リストを作成する。そして、その作成されたリスト(すべての取得すべきシーン映像データがリストアップされたリスト)におけるシーン映像データの順序を、シーン映像データの取得順序として決定する。その他の構成及び動作は、第1の実施の形態と同様であるのでその説明を省略する。
次に、本発明の第3の実施の形態に係る映像取得方法(映像取得システムの動作方法)について図1、図2、図3A〜図3E、図6を参照して説明する。図6は、本発明の第3の実施の形態に係る映像取得方法のリストの作成方法を示すフロー図である。映像取得再生装置3が映像配信装置1から映像データA1を取得する場合について考える。ここでは一例として、シーンA11のシーン重要度は1、シーンA12のシーン重要度は3、シーンA13のシーン重要度は2とする。また、映像取得再生装置3において現在のシーンをA11とする。
まず、映像データ取得部32は、ユーザ等からの入力に基づいて、取得する映像データとして映像データA1を設定する。次に、映像データ取得部32は、その映像データA1に基づいて、第1映像要求情報(映像データID、要求情報を含む)を生成して映像配信装置1へ出力する。シーン重要度送信部12は、映像データ取得部32からの第1映像要求情報に応答して、その第1映像要求情報で特定される映像データA1のすべてのシーンについて、シーン映像指定情報(図3A)、シーン構成情報(図3B)、シーン重要度情報(図3C)及び解像度情報(図3D)を記憶装置(図示されず)から読み出す。そして、すべてのシーンについて、それら読み出した情報を含む第1送信情報を生成して映像取得再生装置3へ送信する。映像データ取得部32は、その第1送信情報をシーン重要度送信部12より取得し、記憶部(図示されず)に記憶する(ステップS20)。
映像データ取得部32は、初期値としてリスト作成工程(ステップS23〜S25)の実行回数NにN=1を設定する。また、作成するリストのデータ(取得するシーン映像データ)を“0(zero)”、すなわち“空”を設定する(ステップS21)。そして、映像データ取得部32は、記憶部のシーン構成情報(図3Bと現段階でのリストとを比較して、映像データA1として必要なシーン映像データを全てリストアップしたか否かを判定する(ステップS22)。映像データA1として必要なシーン映像データを全てリストアップした場合(ステップS22:YES)、リスト作成工程(ステップS23〜S25)を終了し、次のステップS26の処理を実行する。映像データA1として必要なシーン映像データのリストアップがまだ終了していない場合(ステップS22:NO)、次のリスト作成工程(ステップS23〜S25)へ進む。
次に、映像データ取得部32は、第N回目のリスト作成工程(ステップS23〜S25)において、記憶部のシーン重要度情報(図3C)及び解像度情報(図3D)を参照して、シーン重要度を高い順に並べたときの第N番目のシーン重要度以上のシーン重要度もつ各シーンを抽出する(ステップS23)。そして、抽出された各シーンについて、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)をそれぞれのシーンで1つずつ時間順にリストに追加する(ステップS24)。ただし、リスト作成工程において、リストに追加されるのは、シーン映像データID(例示:A111、A112)である。リストは、図3Eのような態様に例示される。その後、N=N+1として(ステップS25)、リスト作成工程(ステップS23〜S25)を、すべてのシーン映像データをリストにリストアップし終わる(ステップS22:YES)まで繰り返す。映像データ取得部32は、これにより作成されたリストにおけるシーン映像データの順序を、シーン映像データを取得する順序として決定する。
具体的には以下のようになる。まず、N=1、リストが空に、それぞれ設定される(ステップS21)。次に、映像データ取得部32は、取得した第1送信情報(シーン構成情報(図3B)と現段階でのリストとを比較して、映像データA1として必要なシーン映像データを全く取得していないと判断し(ステップS22:NO)、ステップS23以下を実行する。
第1回目(N=1)のリスト作成工程(ステップS23〜S25)において、映像データ取得部32は、シーン重要度を高い順に並べたときの第1番目(N=1による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA12のみが該当する(ステップS23)。次に、そのシーンA12について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、基本データA121のみが該当するので、リストには基本データA121がリストアップされる(ステップS24)。N=1+1=2とする(ステップS25)。
第2回目(N=2)のリスト作成工程において、映像データ取得部32は、シーン重要度を高い順に並べたときの第2番目(N=2による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA12、A13が該当する(ステップS23)。次に、そのシーンA12とシーンA13について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、拡張データA122、基本データA131が該当し、リストには時間順に拡張データA122、基本データA131がこの順に追加される。結果として基本データA121、拡張データA122、基本データA131の順にリストアップされる(ステップS24)。N=2+1=3とする(ステップS25)。
第3回目(N=3)のリスト作成工程において、映像データ取得部32は、シーン重要度を高い順に並べたときの第3番目(N=3による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA11、A12、A13が該当する(ステップS23)。次に、そのシーンA11、A12、A13について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、基本データA111、拡張データA123、拡張データA132が該当し、リストには時間順に基本データA111、拡張データA123、拡張データA132がこの順に追加される。結果として基本データA121、拡張データA122、基本データA131、基本データA111、拡張データA123、拡張データA132の順にリストアップされる(ステップS24)。N=3+1=4とする(ステップS25)。
第4回目(N=4)のリスト作成工程において、映像データ取得部32は、シーン重要度を高い順に並べたときの第4番目(N=4による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA11、A12、A13が該当する(ステップS23)。次に、そのシーンA11、A12、A13について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、拡張データA112、拡張データA133が該当し、リストには時間順に拡張データA112、拡張データA133がこの順に追加される。結果として基本データA121、拡張データA122、基本データA131、基本データA111、拡張データA123、拡張データA132、拡張データA112、拡張データA133の順にリストアップされる(ステップS24)。N=4+1=5とする(ステップS25)。
第5回目(N=5)のリスト作成工程において、映像データ取得部32は、シーン重要度を高い順に並べたときの第5番目(N=5による)のシーン重要度以上のシーン重要度もつ各シーンを抽出する。ここでは、シーンA11、A12、A13が該当する(ステップS23)。次に、そのシーンA11、A12、A13について、基本データ又はその解像度を一段階上げる拡張データ(ただし、基本データがリストに存在する場合)を、それぞれのシーンで1つずつ時間順に順序リストに追加する。ここでは、拡張データA113が該当し、リストには拡張データA113が追加される。結果として基本データA121、拡張データA122、基本データA131、基本データA111、拡張データA123、拡張データA132、拡張データA112、拡張データA133、拡張データA113がこの順にリストアップされる(ステップS24)。N=5+1=6とする(ステップS25)。
以上により、映像データA1として必要なシーン映像データのシーン映像データIDはリストにすべてリストアップされたため(ステップS22:YES)、処理はシーン映像データ取得工程(ステップS27〜S28)へ移る。映像データ取得部32は、現段階でのリストを参照して、リストが空(“0(zero”)か否かを判定する(ステップS26)。このリストが空の場合(ステップS26:YES)、すべての取得すべきシーン映像データを取得したと判断する。そして、シーン映像データ取得工程(ステップS27〜S28)を終了する。ここのリストが空でない場合(ステップS26:NO)、取得すべきシーン映像データがまだあると判断して次の処理(ステップS27〜S28)へ進む。
映像データ取得部32はシーン映像データ決定方法として、リストの順番どおりに取得するシーン映像データを決定する。すなわち、リストの最初のシーン映像データを取得することを決定する。映像データ取得部32は、その決定に基づいて、シーン映像指定情報(図3A)を参照して、第2映像要求情報(シーン映像指定情報を含む)を生成して映像データ送信部11へ送信する。映像データ送信部11は、映像データ取得部32からの第2映像要求情報に応答して、その第2映像要求情報で特定されるシーン映像データを記憶装置(図示されず)から読み出す。そして、そのシーン映像データを第2送信情報として映像データ取得部32へ送信する。映像データ取得部32は、その第2送信情報を映像データ送信部11より取得する。そして、そのシーン映像データを、シーン映像データを、映像データID、シーンID、シーン映像データID、シーン重要度情報及び解像度情報と関連付けて、映像データ保持部33に記憶する(ステップS27)。すなわち、映像データ取得部32は、リストの先頭のシーン映像データ(基本データA121)を映像データ送信部11より取得し、関連するデータと関連付けて映像データ保持部33へ保存する。その後、映像データ取得部32は、リストから先頭のシーン映像データ(基本データA121)を削除する(ステップS28)。
同様にしてリストのデータが空(ステップS26がYES)になるまでステップS27〜S28を繰り返す。すなわち、映像データ取得部32は、リストの最初のシーン映像データ(拡張データA122)を映像データ送信部11から取得して、関連するデータに関連付けて映像データ保持部33へ保存する(ステップS27)。その後、映像データ取得部32は、リストから先頭のシーン映像データ(拡張データA122)を削除する(ステップS28)。以下同様にして、映像データ取得部32は、シーン映像データとしての基本データA131、A111、拡張データA123、A132、A112、A133、A113をこの順に映像データ送信部11から取得して、映像データ保持部33へ保存する(ステップS27)。その後、映像データ取得部32は、リストから取得したシーン映像データを削除する(ステップS28)。
こうして、シーン映像データとして、シーン映像データA121、A122、A123、A132、A112、A133、A113が、この順に取得、保存される。
全てのシーン映像データが取得し終わると、リストのデータが空(ステップS26:YES)となるので、映像データ取得部32は処理を終了する。それにより、シーン映像データの取得動作が終了する。
次に、取得されたシーン映像データの再生動作について説明する。
シーン映像データの再生動作は、第1の実施の形態と同様であるので、その説明を省略する。
シーン映像データの再生動作は、第1の実施の形態と同様であるので、その説明を省略する。
本発明においても第1の実施の形態と同様の効果を得ることが出来る。
(第4の実施の形態)
まず、本発明の第4の実施の形態に係る映像取得システムの構成について図7を参照して説明する。図7は、本発明の第4の実施の形態に係る映像取得システムの構成を示すブロック図である。この映像取得システムは、映像取得再生装置3がシーン優先取得指示部35を更に有している点で、第1〜第3の実施の形態と異なる。
まず、本発明の第4の実施の形態に係る映像取得システムの構成について図7を参照して説明する。図7は、本発明の第4の実施の形態に係る映像取得システムの構成を示すブロック図である。この映像取得システムは、映像取得再生装置3がシーン優先取得指示部35を更に有している点で、第1〜第3の実施の形態と異なる。
シーン優先取得指示部35は、ユーザ等からの入力や設定された条件等に基づいて、映像データの複数のシーンのうち、優先的に取得する1つ以上のシーン及び取得すべきシーン映像データの解像度のレベルを設定する。そして、シーン優先取得指示部35は、優先的に取得すべきシーン及びその解像度のレベルを映像データ取得部32へ出力する。
映像データ取得部32は、シーン映像データの取得中または取得に先立って、シーン優先取得指示部35により指示された1つ以上のシーンの基本データと指示された解像度のレベルまでの拡張データを最優先で取得する。映像データ取得部32のその他の機能や、他の構成については、第1〜第3の実施の形態のいずれかと同様であるのでその説明を省略する。
次に、本発明の第4の実施の形態に係る映像取得方法(映像取得システムの動作方法)について図1、図2、図3A〜図3E、図4〜図7を参照して説明する。本実施の形態に係る映像取得方法は、第1の実施の形態(図1、図2、図3A〜図3E、図4)、第2の実施の形態(図1、図2、図3A〜図3E、図5)、及び第3の実施の形態(図1、図2、図3A〜図3E、図6)のそれぞれと同様である。ただし、シーン優先取得指示部35から指示された時点で、映像データ取得部32が指示された1つ以上のシーンにおける取得すべき解像度のレベルまでのシーン映像データの取得を開始し、それが取得完了した後に、各実施の形態の映像取得方法を実行する。各実施の形態の映像取得方法については、当該実施の形態と同様であるのでその説明を省略する。
本発明においても第1の実施の形態と同様の効果を得ることが出来る。
更に、本発明では、優先的に取得する1つ以上の前記シーンと解像度のレベルを指定し、指定された1つ以上のシーンの基本データと対応する解像度のレベルまでの拡張データを最優先で取得する。このような本発明により、任意のシーンの映像の質を視聴者が意図的に高めることが可能となる。
更に、本発明では、優先的に取得する1つ以上の前記シーンと解像度のレベルを指定し、指定された1つ以上のシーンの基本データと対応する解像度のレベルまでの拡張データを最優先で取得する。このような本発明により、任意のシーンの映像の質を視聴者が意図的に高めることが可能となる。
上記第1〜第4の実施の形態において、シーン重要度(シーン重要度情報(図3C)は動的に変更可能である。この変更は、映像製作者が意図的に変更しても、統計情報などに基づいて映像配信装置1等が自動的に変更しても良い。
シーン重要度の変更は、映像取得再生装置3、3aへ通知しても良いし、しなくても良い。
シーン重要度の変更を通知する場合、例えば次の二つの方法が考えられる。第1の方法は、まず、映像配信装置1がシーン重要度の変更があったことを示す通知を映像取得再生装置3、3aへ出力する。それに応じて映像取得再生装置3、3aが第1映像要求情報を映像配信装置1へ出力する。そして映像配信装置1が第1送信情報(シーン重要度情報を含む)を映像取得再生装置3、3aへ出力する。第2の方法は、映像配信装置1が、第1送信情報(シーン重要度情報を含む)を直接映像取得再生装置3、3aへ出力する。
シーン重要度の変更を通知する場合、例えば次の二つの方法が考えられる。第1の方法は、まず、映像配信装置1がシーン重要度の変更があったことを示す通知を映像取得再生装置3、3aへ出力する。それに応じて映像取得再生装置3、3aが第1映像要求情報を映像配信装置1へ出力する。そして映像配信装置1が第1送信情報(シーン重要度情報を含む)を映像取得再生装置3、3aへ出力する。第2の方法は、映像配信装置1が、第1送信情報(シーン重要度情報を含む)を直接映像取得再生装置3、3aへ出力する。
一方、シーン重要度の変更を通知しない場合、例えば次の二つの方法が考えられる。第1の方法は、映像取得再生装置3、3aが必要に応じて第1映像要求情報を映像配信装置1へ出力して第1送信情報を取得する。第2の方法は、映像取得再生装置3、3aが特にシーン重要度の更新をせずに以前取得したシーン重要度を利用し続ける。
本発明はプログラムで実施することも可能である。すなわち、複数のシーンに分割され、その複数のシーンの各々ごとに低解像度の基本データとその基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、その基本データ及びその拡張データとしてのシーン映像データを逐次取得する映像取得方法をコンピュータに実行させるプログラムであって、既に取得したそのシーン映像データの集合とその複数のシーンの各々ごとのシーン重要度とその複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得するそのシーン映像データを取得の度に決定するステップと、その決定に基づいて、その決定ごとにそのシーン映像データを取得するステップとを具備する映像取得方法をコンピュータに実行させるプログラムである。
上記段落に記載のプログラムにおいて、その決定するステップは、そのシーン重要度の高い順に、そのシーン重要度が同一の場合にはその基本データを優先し、次いでその拡張データの解像度の低い順に、そのシーン映像データを取得するように取得順序を決定するステップを備えるプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップは、その基本データを先頭とし、次いでその拡張データの解像度の低い順に、その基本データ及び同一の解像度のその拡張データについてはそのシーン重要度の高い順に、そのシーン映像データを取得するよう取得順序を決定するステップを備えるプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップは、そのシーン映像データを取得する取得順序を示すリストに、そのシーン映像データをリストアップするステップと、そのリストアップするステップをすべてのそのシーン映像データがそのリストにリストアップし終わるまで繰り返すことにより得られるそのリストの順序で、そのシーン映像データを取得するように取得順序を決定するステップとを備え、第N回目(Nは自然数)のそのリストアップするステップは、そのシーン重要度を高い順に並べたときの第N番目のそのシーン重要度以上のそのシーン重要度を持つ各シーンについて、その基本データ又はその基本データがそのリストにリストアップされている場合にはその基本データの解像度を一段階上げることのできるその拡張データをそれぞれのシーンで1つずつ時間順にそのリストに追加するステップを含むプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップは、その現在シーン以降のそのシーン映像データのうち、その現在シーンから定められた数の分の連続するその基本データを優先して取得するように取得順序を決定するステップを備えるプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップは、その現在シーン以降のそのシーン映像データのうち、その複数のシーンのうちのその現在シーンに時間的に近いシーンのそのシーン映像データを優先して取得するように取得順序を決定するステップを備えるプログラムであってもよい。
上記段落に記載のプログラムにおいて、その決定するステップの前に、優先的に取得する1つ以上のそのシーンと解像度のレベルを指定するステップと、その指定された1つ以上のシーンのその基本データと対応するその解像度のレベルまでのその拡張データを最優先で取得するステップとを更に具備するプログラムであってもよい。
なお、本発明のプログラムやデータ構造は、コンピュータ読取可能な記憶媒体に記録され、その記憶媒体から情報処理装置に読み込まれても良い。
本発明は上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変形又は変更され得ることは明らかである。
以上、実施の形態を参照して本発明を説明したが、本発明は上記実施の形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
本発明により、通信手段の帯域が十分に得られない場合でも、視聴者による映像の要求に対して当該映像が即時視聴可能であり、高精細な映像が必要とされるシーンにおいては高精細な映像の視聴が可能となる。
この出願は、2008年3月28日に出願された特許出願番号2008−088560号の日本特許出願に基づいており、その出願による優先権の利益を主張し、その出願の開示は、引用することにより、そっくりそのままここに組み込まれている。
Claims (15)
- 複数のシーンに分割され、前記複数のシーンの各々ごとに低解像度の基本データと前記基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、前記基本データ及び前記拡張データとしてのシーン映像データを逐次取得する映像取得方法であって、
既に取得した前記シーン映像データの集合と、前記複数のシーンの各々ごとのシーン重要度と、前記複数のシーンのうちの現在のシーンである現在シーンとに基づいて、新たに取得する前記シーン映像データを取得の度に決定するステップと、
前記決定に基づいて、前記決定ごとに前記シーン映像データを取得するステップとを具備する
映像取得方法。 - 請求の範囲1に記載の映像取得方法において、
前記決定するステップは、
前記シーン重要度の高い順に、前記シーン重要度が同一の場合には前記基本データを優先し、次いで前記拡張データの解像度の低い順に、前記シーン映像データを取得するように取得順序を決定するステップを備える
映像取得方法。 - 請求の範囲1に記載の映像取得方法において、
前記決定するステップは、
前記基本データを先頭とし、次いで前記拡張データの解像度の低い順に、前記基本データ及び同一の解像度の前記拡張データについては前記シーン重要度の高い順に、前記シーン映像データを取得するよう取得順序を決定するステップを備える
映像取得方法。 - 請求の範囲1に記載の映像取得方法において、
前記決定するステップは、
前記シーン映像データを取得する取得順序を示すリストに、前記シーン映像データをリストアップするステップと、
前記リストアップするステップをすべての前記シーン映像データが前記リストにリストアップし終わるまで繰り返すことにより得られる前記リストの順序で、前記シーン映像データを取得するように取得順序を決定するステップとを備え、
第N回目(Nは自然数)の前記リストアップするステップは、
前記シーン重要度を高い順に並べたときの第N番目の前記シーン重要度以上の前記シーン重要度を持つ各シーンについて、前記基本データ又は前記基本データが前記リストにリストアップされている場合には前記基本データの解像度を一段階上げることのできる前記拡張データをそれぞれのシーンで1つずつ時間順に前記リストに追加するステップを含む
映像取得方法。 - 請求の範囲1乃至4のいずれか一項に記載の映像取得方法において、
前記決定するステップは、
前記現在シーン以降の前記シーン映像データのうち、前記現在シーンから定められた数の分の連続する前記基本データを優先して取得するように取得順序を決定するステップを備える
映像取得方法。 - 請求の範囲1乃至4のいずれか一項に記載の映像取得方法において、
前記決定するステップは、
前記現在シーン以降の前記シーン映像データのうち、前記複数のシーンのうちの前記現在シーンに時間的に近いシーンの前記シーン映像データを優先して取得するように取得順序を決定するステップを備える
映像取得方法。 - 請求の範囲2乃至6のいずれか一項に記載の映像取得方法において、
前記決定するステップの前に、優先的に取得する1つ以上の前記シーンと解像度のレベルを指定するステップと、
前記指定された1つ以上のシーンの前記基本データと対応する前記解像度のレベルまでの前記拡張データを最優先で取得するステップとを更に具備する
映像取得方法。 - 複数のシーンに分割され、前記複数のシーンの各々ごとに低解像度の基本データと前記基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、前記基本データ及び前記拡張データとしてのシーン映像データを逐次取得する映像取得装置であって、
既に取得した前記シーン映像データの集合と前記複数のシーンの各々ごとのシーン重要度と前記複数のシーンのうちの現在のシーンとしての現在シーンとに基づいて、新たに取得する前記シーン映像データを取得の度に決定し、前記決定ごとに前記シーン映像データを取得する映像データ取得部と、
取得した前記シーン映像データを記憶する映像データ記憶部とを具備する
映像取得装置。 - 請求の範囲8に記載の映像取得装置において、
前記映像データ取得部は、
前記シーン重要度の高い順に、前記シーン重要度が同一の場合には前記基本データを優先し、次いで前記拡張データの解像度の低い順に、前記シーン映像データを取得するように取得順序を決定する
映像取得装置。 - 請求の範囲8に記載の映像取得装置において、
前記映像データ取得部は、
前記基本データを先頭とし、次いで前記拡張データの解像度の低い順に、前記基本データ及び同一の解像度の前記拡張データについては前記シーン重要度の高い順に、前記シーン映像データを取得するよう取得順序を決定する
映像取得装置。 - 請求の範囲8に記載の映像取得装置において、
前記映像データ取得部は、
前記シーン映像データを取得する取得順序を示すリストに、前記シーン映像データをリストアップし、
前記リストアップするステップをすべての前記シーン映像データが前記リストにリストアップし終わるまで繰り返すことにより得られる前記リストの順序で、前記シーン映像データを取得するように取得順序を決定し、
第N回目(Nは自然数)の前記リストアップは、
前記シーン重要度を高い順に並べたときの第N番目の前記シーン重要度以上の前記シーン重要度を持つ各シーンについて、前記基本データ又は前記基本データが前記リストにリストアップされている場合には前記基本データの解像度を一段階上げることのできる前記拡張データをそれぞれのシーンで1つずつ時間順に前記リストに追加する
映像取得装置。 - 請求の範囲8乃至11のいずれか一項に記載の映像取得装置において、
前記映像データ取得部は、
前記現在シーン以降の前記シーン映像データのうち、前記現在シーンから定められた数の分の連続する前記基本データを優先して取得するように取得順序を決定する
映像取得装置。 - 請求の範囲8乃至11のいずれか一項に記載の映像取得装置において、
前記映像データ取得部は、
前記現在シーン以降の前記シーン映像データのうち、前記複数のシーンのうちの前記現在シーンに時間的に近いシーンの前記シーン映像データを優先して取得するように取得順序を決定する
映像取得装置。 - 請求の範囲9乃至13のいずれか一項に記載の映像取得装置において、
前記映像データ取得部は、更に、
前記決定するステップの前に、優先的に取得する1つ以上の前記シーンと解像度のレベルを指定し、
前記指定された1つ以上のシーンの前記基本データと対応する前記解像度のレベルまでの前記拡張データを最優先で取得する
映像取得装置。 - 複数のシーンに分割され、前記複数のシーンの各々ごとに低解像度の基本データと前記基本データに対応して解像度を段階的に高める1つ以上の拡張データとを含む映像データから、前記基本データ及び前記拡張データとしてのシーン映像データを逐次送受信する映像取得システムであって、
新たに取得するシーン映像データの要求を行う請求の範囲8乃至14のいずれか一項に記載の映像取得装置と、
複数の前記映像データを有し、前記映像取得装置からの前記要求に基づいて、前記複数の映像データから前記シーン映像データを抽出して前記映像取得装置へ送信する映像配信装置と
を具備する映像取得システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008088560 | 2008-03-28 | ||
JP2008088560 | 2008-03-28 | ||
PCT/JP2009/055233 WO2009119394A1 (ja) | 2008-03-28 | 2009-03-18 | 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2009119394A1 true JPWO2009119394A1 (ja) | 2011-07-21 |
Family
ID=41113591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010505567A Withdrawn JPWO2009119394A1 (ja) | 2008-03-28 | 2009-03-18 | 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2009119394A1 (ja) |
WO (1) | WO2009119394A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101786051B1 (ko) | 2009-11-13 | 2017-10-16 | 삼성전자 주식회사 | 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치 |
KR101750048B1 (ko) | 2009-11-13 | 2017-07-03 | 삼성전자주식회사 | 변속 재생 서비스 제공 방법 및 장치 |
KR101750049B1 (ko) * | 2009-11-13 | 2017-06-22 | 삼성전자주식회사 | 적응적인 스트리밍 방법 및 장치 |
KR101777347B1 (ko) | 2009-11-13 | 2017-09-11 | 삼성전자주식회사 | 부분화에 기초한 적응적인 스트리밍 방법 및 장치 |
KR101737084B1 (ko) | 2009-12-07 | 2017-05-17 | 삼성전자주식회사 | 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치 |
KR101777348B1 (ko) | 2010-02-23 | 2017-09-11 | 삼성전자주식회사 | 데이터 전송 방법 및 장치와 데이터 수신 방법 및 장치 |
KR20110105710A (ko) | 2010-03-19 | 2011-09-27 | 삼성전자주식회사 | 복수의 챕터를 포함하는 콘텐트를 적응적으로 스트리밍하는 방법 및 장치 |
KR101837687B1 (ko) | 2010-06-04 | 2018-03-12 | 삼성전자주식회사 | 콘텐트의 품질을 결정하는 복수의 인자에 기초한 적응적인 스트리밍 방법 및 장치 |
JP2016040919A (ja) * | 2015-10-09 | 2016-03-24 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100339436B1 (ko) * | 1998-04-03 | 2002-06-03 | 모리시타 요이찌 | 휴대 시청 시스템 |
JP4270623B2 (ja) * | 1999-01-13 | 2009-06-03 | 三菱電機株式会社 | 時系列データ蓄積配信システム |
JP2002232823A (ja) * | 2000-11-17 | 2002-08-16 | Sony Corp | 通信装置及び通信方法、並びに記憶媒体 |
JP4111926B2 (ja) * | 2004-03-09 | 2008-07-02 | 株式会社リコー | 画像処理装置、プログラム、記憶媒体及び画像送信方法 |
-
2009
- 2009-03-18 JP JP2010505567A patent/JPWO2009119394A1/ja not_active Withdrawn
- 2009-03-18 WO PCT/JP2009/055233 patent/WO2009119394A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2009119394A1 (ja) | 2009-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2009119394A1 (ja) | 映像取得方法、映像取得装置、映像取得システム及び映像取得用プログラム | |
US9288250B2 (en) | Mobile multimedia real-time transcoding system, apparatus, storage medium and method | |
ES2528406T3 (es) | Método, terminal y servidor para realizar una reproducción rápida denominada trickplay | |
JP4944484B2 (ja) | 再生装置、再生方法及びプログラム | |
JP7255116B2 (ja) | 情報処理システム、端末装置およびプログラム | |
WO2017092327A1 (zh) | 一种播放方法及装置 | |
JP6541309B2 (ja) | 送信装置、送信方法、及びプログラム | |
US20160212054A1 (en) | Multiple Protocol Media Streaming | |
US20160212452A1 (en) | Video transmission method and video transmission apparatus | |
JP2014187510A (ja) | ストリーミング配信システム、ストリーミング配信方法、ストリーミング配信プログラムおよびストリーミング配信サーバ | |
JP2017069636A (ja) | 情報処理装置、配信方法、及びプログラム | |
JP5928196B2 (ja) | 通信システム、端末装置、登録方法、及びプログラム | |
JP2010154006A (ja) | プログレッシブダウンロード再生用プログラム | |
JP6305738B2 (ja) | メディア再生制御装置、メディア再生制御方法、及びプログラム | |
JP5135147B2 (ja) | 動画ファイル送信サーバおよびその動作制御方法 | |
JP6891497B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP2010087717A (ja) | 動画ファイル送信サーバおよびその動作制御方法 | |
JP2016134702A (ja) | 映像データファイル生成プログラム、映像データファイル生成方法、及び映像データファイル生成装置 | |
JP6885351B2 (ja) | 品質予測装置、品質予測方法及びプログラム | |
JP6400163B2 (ja) | 受信装置、受信方法、送信装置、送信方法、及びプログラム | |
JP6890977B2 (ja) | 送信装置、送信方法、およびプログラム | |
JP4691173B2 (ja) | 画像再生装置及び画像再生方法 | |
US11303940B2 (en) | Transmission apparatus, transmission method, and non-transitory computer-readable storage medium | |
KR101665853B1 (ko) | 재생 지연 감소를 위한 동영상 스트리밍 방법 및 사용자의 패킷 저장 방법 및 장치 | |
WO2019131200A1 (ja) | 復号装置、復号方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120605 |