JP5367687B2 - データ配信システム、データ配信装置、及びデータ配信方法 - Google Patents
データ配信システム、データ配信装置、及びデータ配信方法 Download PDFInfo
- Publication number
- JP5367687B2 JP5367687B2 JP2010290022A JP2010290022A JP5367687B2 JP 5367687 B2 JP5367687 B2 JP 5367687B2 JP 2010290022 A JP2010290022 A JP 2010290022A JP 2010290022 A JP2010290022 A JP 2010290022A JP 5367687 B2 JP5367687 B2 JP 5367687B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- prediction
- group
- client
- data distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
特にデータ量の大きい動画データについては、例えばMPEG−2方式、MPEG−4AVC、H.264等の圧縮方式が標準化されている。
当該フレーム間予測では、現時点のフレームより時間的に前(過去)のフレームから予測して符号化された前方向予測フレーム(Predicted Frame)(以下、Pフレームともいう)や現時点のフレームの時間的に前後のフレームから予測して符号化された前後方向予測フレーム(Bi-directional Predicted Frame)(以下、Bフレームともいう)がある。また、フレーム間予測を用いず、フレーム内の情報のみから符号化されたフレームを、イントラフレーム(Intra-coded Frame)(以下Iフレームともいう)と呼ぶ。動画開始時や画面の切換時等には当該イントラフレームが用いられる。
しかし、クライアント側において上記Pフレームが一度欠落すると、この欠落したPフレームを参照する次のPフレームも正しく復号化できなくなり、イントラフレームを受信するまで、一時的に動画再生が停止するという問題がある。
また、上記特許文献1では、クライアント側で、復号化済みフレームをバッファし、当該バッファした情報から代替参照フレームを生成するため、クライアント側の演算負荷が増大するという問題がある。例えば、クライアントへのネットワークの帯域幅が狭い場合等は、フレームの欠落が比較的多く生じ、復号化済みフレームを十分バッファできない上、代替参照フレームを生成する機会が多いためクライアント側の演算負荷も過大となる。
特に請求項1、3、5のデータ配信システム、データ配信装置、及びデータ配信方法によれば、補完フレームを、対応する予測フレームに対し、時間的に前であって最も近いイントラフレームから当該対応する予測フレームまでの差分情報を全て累積して符号化したフレームとする。つまり、当該補完フレームはイントラフレームと同様、参照フレームなしで復号化が可能であり、イントラフレーム欠落時に対しても早期に再生を復帰させることができる。
まず、第1実施形態について説明する。
図1には、本発明の第1実施形態における全体構成を示した概略構成図が示されている。
同図に示すように、動画や音楽等のコンテンツデータを配信するサーバ1(データ配信装置)が、インターネット2(ネットワーク)を介して、パーソナルコンピュータ、及びテレビ受像機やビデオプレーヤのようなコンテンツ再生機器等の複数のクライアント4と接続されることでコンテンツデータの配信システムが構築されている。当該サーバ1とクライアント4とは、インターネット2を介してお互いにTCP/IPを用いてデータのやり取りが可能である。また、当該サーバ1は、コンテンツデータをクライアント4に対しストリーミング方式で配信するものであり、ライブ配信等も可能である。以下、コンテンツデータにおける動画データの配信に関して詳しく説明する。なお、サーバ1とクライアント4とを接続するネットワークはインターネットに限られず、イントラネット等、他のネットワークでも構わない。
データ作成部10は、動画データを作成し、データ記憶部14に保存するものである。動画データの作成は、クライアント4の要求に応じて新たに作成したり、データ記憶部14にすでに保存されているデータを加工したりすることで行う。
制御部16は、クライアント4からの要求を受けて、それに応じたデータをデータ記憶部14から選択してクライアント4へと送信する等の制御を行うものである。より具体的には、当該制御部16は、クライアント4から要求されているフレームがIフレームであればIフレームを、PフレームであればPフレームを送信する。このように原則的には第1フレーム群のフレームを送信するが、クライアント4から要求されたフレームがPフレームであるのに対して当該Pフレームの参照フレームが欠落している場合には、Pフレームに代えて対応するCフレームを送信する。
復号化部20は、サーバ1から受信した圧縮符号化されているフレームを復号化するものである。例えば受信したフレームがIフレームまたはCフレームであれば当該フレームを復号化するだけで1つの出力フレームが生成される。受信したフレームがPフレームである場合は当該Pフレームを復号化して差分データを生成し、1つ前の復号化済みのフレームを参照して差分部分を変更することで1つの出力フレームを生成する。
各クライアント4はそれぞれ同様の構成を有しており、サーバ1上にて作成された所望の動画データを再生部22において再生するため、サーバ1に対して当該動画データについて符号化されたフレームを逐次要求する。そして、当該要求に応じてサーバ1から送信されたフレームを受信し、復号化部20において復号化して再生部22にて再生する。
図2には、サーバ1にて実行される動画配信制御ルーチンがフローチャートによって示されており、以下同フローチャートに沿って説明する。
図2に示すように、まずステップS1として、サーバ1は制御部16において、いずれかのクライアント4からフレームの要求があるか否かを判別する。いずれのクライアント4からもフレームの要求がない場合には、当該判別結果は偽(No)となり、当該ルーチンをリターンする。一方、クライアント4からフレームの要求がある場合には、次のステップS2に進む。
ステップS3では、第1フレーム群から要求フレームnに対応するIフレームをクライアント4に送信し、次のフレーム要求に応じるべく当該ルーチンをリターンする。
ステップS4では、要求フレームnの一つ前のフレームn−1が利用可能であるか否かを判別する。これは、例えばTCP/IPに基づき受信状況を監視し、当該クライアント4がフレームn−1を受信しているか否かを判別する。当該フレームn−1をクライアント4が受信していた場合には当該ルーチンは真(Yes)となり、ステップS3に進む。そして、ステップS3では、第1フレーム群から要求フレームnに対応するPフレームをクライアント4に送信し、当該ルーチンをリターンする。
ステップS5ではPフレームに代えて、第2フレーム群から要求フレームnに対応するCフレームを選択してクライアント4に送信し、当該ルーチンをリターンする。
ここで、図3を参照すると、本発明の第1実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成が示されており、以下同図に基づき説明する。なお、同図では、説明の簡略化のためフレーム構成を単純化して例示している。
一方、図3では、同じ動画データを、ネットワークの帯域幅が比較的低い第2クライアント4bに送信したものが示されている。当該第2クライアント4bにおいては、フレームNo.3、No.7、No.8にてフレームの欠落している。
以上のように、動画データの配信を行うサーバ1の符号化部12において、当該動画データを、Iフレーム及びPフレームからなる第1フレーム群に加えて、当該第1フレーム群のフレーム欠落を補完するCフレームからなる第2フレーム群から構成することで、クライアント4が第1フレーム群のフレームを欠落した場合にも、欠落直後にCフレームを送信することで、早期に再生を復帰させることができる。
このようにして本発明に係る第1実施形態は、クライアント4側への負荷を増加させることなく、フレーム欠落による一時的な再生停止を抑制することができる。
第2実施形態におけるサーバ及びクライアントの基本構成やサーバの制御部が実行する制御ルーチンは、図1、2で示した第1実施形態と同じであり、以下各構成については同じ符号を付し、各構成及び制御ルーチンについての詳しい説明は省略する。
図4には、本発明の第2実施形態に係るサーバ及びクライアントにおける動画データのフレーム構成が示されており、第1フレーム群の構成や第1クライアント4aが受信したフレームの構成は図3と同様である。
詳しくは、第2クライアント4bがフレームNo.3においてPフレームP2を欠落した場合には、サーバ1の制御部16は、上記フローチャートに従い、次のフレームNo.4の要求に対し、対応するPフレームP3の参照フレームがないことからPフレームP3に代えてC’フレームC’3を送信する。当該C’フレームC’3はP1からP3を補完するフレームであり、IフレームI1を参照して復号化されることで正しい数値の出力フレームが生成され、これ以降も欠落がない限り第1フレーム群のフレームを受信することで正常な出力フレームが生成される。
以上のように、第2実施形態においても上記第1実施形態と同様の効果を奏することができる。
以上で本発明に係る実施形態についての説明を終えるが、実施形態は上記実施形態に限られるものではない。
例えば、上記実施形態では、サーバ1の符号化部12は、第1フレーム群の予測フレームとして前方向予測フレーム(Pフレーム)のみ符号化しているが、これに加えて前後方向予測フレーム(Bフレーム)を符号化して第1フレーム群を構成しても構わない。このような場合は、サーバの符号化部により、当該Pフレーム及びBフレームに対応した時期に、それぞれ対応するPフレームまたはBフレームの参照フレームを補完する補完フレームを符号化し、これらの補完フレームからなる第2フレーム群を生成することで上記実施形態と同様の作用効果を奏することができる。
2 インターネット(ネットワーク)
4 クライアント
10 データ作成部
12 符号化部(符号化装置)
14 データ記憶部(記憶手段)
16 制御部(制御手段)
20 復号化部(復号化手段)
22 再生部(再生手段)
Claims (6)
- データ配信装置からネットワークを介して複数のクライアントに動画データが配信されるデータ配信システムであって、
前記データ配信装置は、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及びフレーム間予測を用いて、時間的に前後するフレームの一方を参照フレームとし当該前後するフレーム間の差分情報を符号化した予測フレームから構成された第1のフレーム群と、前記予測フレームと対応した時期に設けられ、当該対応する予測フレームに対し時間的に前であって最も近いイントラフレームのフレーム単体の情報、及び当該イントラフレームの次の予測フレームから前記対応する予測フレームまでの各予測フレームの前記差分情報を全て累積して符号化した補完フレームから構成された第2のフレーム群とを生成する符号化装置と、
前記第1のフレーム群及び第2のフレーム群の各フレームを記憶する記憶手段と、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第1のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第2のフレーム群から対応する前記補完フレームを送信する送信制御手段と、を備え、
前記クライアントは、
前記データ配信装置から送信されたフレームを受信して復号化する復号化手段と、
前記復号化されたフレームを再生する再生手段と、
を備えることを特徴とするデータ配信システム。 - データ配信装置からネットワークを介して複数のクライアントに動画データが配信されるデータ配信システムであって、
前記データ配信装置は、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及びフレーム間予測を用いて、時間的に前後するフレームの一方を参照フレームとし当該前後するフレーム間の差分情報を符号化した予測フレームから構成された第1のフレーム群と、前記予測フレームと対応した時期に設けられ、当該対応する予測フレームに対し時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでの各予測フレームの前記差分情報を全て累積して符号化した補完フレームから構成された第2のフレーム群とを生成する符号化装置と、
前記第1のフレーム群及び第2のフレーム群の各フレームを記憶する記憶手段と、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第1のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第2のフレーム群から対応する前記補完フレームを送信する送信制御手段と、を備え、
前記クライアントは、
前記データ配信装置から送信されたフレームを受信して復号化する復号化手段と、
前記復号化されたフレームを再生する再生手段と、
を備えることを特徴とするデータ配信システム。 - ネットワークを介して接続されたクライアントに動画データを配信するデータ配信装置であって、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及びフレーム間予測を用いて、時間的に前後するフレームの一方を参照フレームとし当該前後するフレーム間の差分情報を符号化した予測フレームから構成された第1のフレーム群と、前記予測フレームと対応した時期に設けられ、当該対応する予測フレームに対し時間的に前であって最も近いイントラフレームのフレーム単体の情報、及び当該イントラフレームの次の予測フレームから前記対応する予測フレームまでの各予測フレームの前記差分情報を全て累積して符号化した補完フレームから構成された第2のフレーム群とを生成する符号化装置と、
前記第1のフレーム群及び第2のフレーム群の各フレームを記憶する記憶手段と、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第1のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第2のフレーム群から対応する前記補完フレームを送信する送信制御手段と、
を備えることを特徴とするデータ配信装置。 - ネットワークを介して接続されたクライアントに動画データを配信するデータ配信装置であって、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及びフレーム間予測を用いて、時間的に前後するフレームの一方を参照フレームとし当該前後するフレーム間の差分情報を符号化した予測フレームから構成された第1のフレーム群と、前記予測フレームと対応した時期に設けられ、当該対応する予測フレームに対し時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでの各予測フレームの前記差分情報を全て累積して符号化した補完フレームから構成された第2のフレーム群とを生成する符号化装置と、
前記第1のフレーム群及び第2のフレーム群の各フレームを記憶する記憶手段と、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第1のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第2のフレーム群から対応する前記補完フレームを送信する送信制御手段と、
を備えることを特徴とするデータ配信装置。 - ネットワークを介して接続されたクライアントに動画データを配信するデータ配信方法であって、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及びフレーム間予測を用いて、時間的に前後するフレームの一方を参照フレームとし当該前後するフレーム間の差分情報を符号化した予測フレームから構成された第1のフレーム群と、前記予測フレームと対応した時期に設けられ、当該対応する予測フレームに対し時間的に前であって最も近いイントラフレームのフレーム単体の情報、及び当該イントラフレームの次の予測フレームから前記対応する予測フレームまでの各予測フレームの前記差分情報を全て累積して符号化した補完フレームから構成された第2のフレーム群とを生成し、
前記第1のフレーム群及び第2のフレーム群の各フレームを記憶手段に記憶して、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第1のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第2のフレーム群から対応する前記補完フレームを送信することを特徴とするデータ配信方法。 - ネットワークを介して接続されたクライアントに動画データを配信するデータ配信方法であって、
前記動画データを、時間に応じてフレーム単位に細分化し、フレーム単体の情報から符号化したイントラフレーム、及びフレーム間予測を用いて、時間的に前後するフレームの一方を参照フレームとし当該前後するフレーム間の差分情報を符号化した予測フレームから構成された第1のフレーム群と、前記予測フレームと対応した時期に設けられ、当該対応する予測フレームに対し時間的に前であって最も近いイントラフレームの次の予測フレームから当該対応する予測フレームまでの各予測フレームの前記差分情報を全て累積して符号化した補完フレームから構成された第2のフレーム群とを生成し、
前記第1のフレーム群及び第2のフレーム群の各フレームを記憶手段に記憶して、
前記クライアントからのフレーム要求またはクライアントの受信状況に応じて前記記憶手段に記憶されている前記第1のフレーム群のフレームを送信するとともに、前記フレーム要求が前記予測フレームであり当該予測フレームの参照フレームが欠落している場合には、当該予測フレームに代えて、第2のフレーム群から対応する前記補完フレームを送信することを特徴とするデータ配信方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010290022A JP5367687B2 (ja) | 2010-12-27 | 2010-12-27 | データ配信システム、データ配信装置、及びデータ配信方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010290022A JP5367687B2 (ja) | 2010-12-27 | 2010-12-27 | データ配信システム、データ配信装置、及びデータ配信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012138780A JP2012138780A (ja) | 2012-07-19 |
JP5367687B2 true JP5367687B2 (ja) | 2013-12-11 |
Family
ID=46675853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010290022A Active JP5367687B2 (ja) | 2010-12-27 | 2010-12-27 | データ配信システム、データ配信装置、及びデータ配信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5367687B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3068002B2 (ja) * | 1995-09-18 | 2000-07-24 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
JP2002010265A (ja) * | 2000-06-20 | 2002-01-11 | Sony Corp | 送信装置およびその方法と受信装置およびその方法 |
JP3923898B2 (ja) * | 2002-01-18 | 2007-06-06 | 株式会社東芝 | 画像符号化方法及び装置 |
JP2004254195A (ja) * | 2003-02-21 | 2004-09-09 | Matsushita Electric Ind Co Ltd | 動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム |
JP5098784B2 (ja) * | 2008-04-30 | 2012-12-12 | サクサ株式会社 | 映像通信装置 |
-
2010
- 2010-12-27 JP JP2010290022A patent/JP5367687B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012138780A (ja) | 2012-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9038121B2 (en) | Bit-rate constrained trick play through stream switching and adaptive streaming | |
KR101737325B1 (ko) | 멀티미디어 시스템에서 멀티미디어 서비스의 경험 품질 감소를 줄이는 방법 및 장치 | |
US8914835B2 (en) | Streaming encoded video data | |
JP6225446B2 (ja) | 動画像データ配信装置、方法、プログラム、及びシステム | |
US11997302B2 (en) | Encoding device, decoding device, streaming system, and streaming method | |
JP2004507178A (ja) | ビデオ信号符号化方法 | |
CN112073737A (zh) | 在直播视频流应用中重新编码预测的图像帧 | |
KR20090125150A (ko) | 획득 및 기본 계층과 확장 계층 밸런싱을 위해 i 프레임을 적응적으로 결정하는 시스템 및 방법 | |
JP2007507128A (ja) | 参照ピクチャのリフレッシュを遅延させて行うビデオ画像の符号化および復号化 | |
JP5068316B2 (ja) | ビデオ符号化 | |
JP5784823B2 (ja) | エンドツーエンドコード化ビデオ伝送システムのためのオンデマンドイントラリフレッシュ | |
JP6541932B2 (ja) | 画像データを表示するためのビデオシステム及び方法及びコンピュータプログラムならびに符号化装置 | |
JP5367687B2 (ja) | データ配信システム、データ配信装置、及びデータ配信方法 | |
US20230300426A1 (en) | Dual stream dynamic gop access based on viewport change | |
JP5472094B2 (ja) | 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム | |
JP5017223B2 (ja) | 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法 | |
JP4462559B2 (ja) | トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム | |
JP5509262B2 (ja) | 映像処理装置、映像圧縮符号化装置、映像復号再生装置及び映像再生方法 | |
US20210076054A1 (en) | Temporally-overlapped video encoding, video decoding and video rendering techniques therefor | |
CN105900447A (zh) | 处理具有场景变化的媒体内容 | |
JP7499583B2 (ja) | 動画配信装置、動画送出装置、動画配信システム、動画配信方法及び動画配信プログラム | |
JP2006352784A (ja) | 伝送方法、受信装置及びコンピュータプログラム | |
JP5359724B2 (ja) | ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム | |
JP2016149770A (ja) | ストリーミングレイテンシの最小化システム及びそれを使用する方法 | |
KR20150006465A (ko) | 비디오 스트림들의 비용-효율적이고 저-레이턴시 인코딩을 가능하게 하기 위한 메커니즘 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130306 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130605 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5367687 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |