JP5229066B2 - 動画配信装置、動画受信装置、動画配信方法、動画受信方法、および、プログラム - Google Patents

Description

ネットワークの保証する帯域幅を効率よく利用して動画コンテンツを配信するのに好適な動画配信装置、動画受信装置、動画配信方法、動画受信方法、および、プログラム、に関する。

ＮＧＮ（Next Generation Network）は現在のＩＰ網と電話網とを統合して、電話や、インターネットによるサービスをより高いＱｏＳ（Quality of Service）、およびセキュリティで提供するための次世代ＩＰネットワークである。高い水準のＱｏＳを実現するために、ＮＧＮではある特定の通信用の帯域を予約し、一定の通信速度を保証している。一定の通信速度が保証されることを利用して、多様な形式のコンテンツを提供する技術が、例えば、引用文献１に提案されている。

一方で、動画コンテンツを配信する場合、動画コンテンツは、典型的にはＭＰＥＧ(Motion Pictures Expert Group)ビデオなどの、フレーム間予測を用いた動画像圧縮形式に変換されて配信される。以下、ＭＰＥＧビデオについて具体的に説明する。ＭＰＥＧビデオでは、動画の各フレームは、Ｉフレーム、Ｐフレーム、およびＢフレームと呼ばれる圧縮フレームデータのいずれかに、所定の順番で圧縮される。

ここで、Ｉフレームは、空間型圧縮のみを行った、基準となるフレームである。Ｉフレームは、Ｉフレームの情報のみ利用して、元のフレーム画像を復元できる。Ｐフレームは、過去の１枚のフレームから予測されたフレームとの差分について、時間型の圧縮、つまり、フレーム間圧縮、を行ったフレームである。そして、Ｂフレームは、前後２枚のフレームから予測されたフレームとの差分について、フレーム間圧縮を行ったフレームである。

したがって、Ｉフレームに比べ、ＰおよびＢフレームのデータサイズはごく小さい。当然ながら、復元する際には、Ｐフレームは、予測の元となった過去の１枚のフレーム、Ｂフレームは、前後２枚のフレームが必要となる。なお、典型的には、動画の各フレームは、ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＰＩＢＢＰ…の順番で圧縮フレームデータに符号化される。１つのＩフレームから次のＩフレームの直前までの圧縮フレームデータ群の単位をＧＯＰ（Group of Pictures）と呼ぶ。

次に、ＮＧＮ網を利用して動画コンテンツをストリーム配信する場合について考慮する。配信された動画を受信して再生する側は、受信した圧縮フレームデータを、動画コンテンツに設定されているフレームレートで復号化（伸張）して再生できれば、所謂「コマ落ち」を生じることがない。このためには、少なくともフレーム表示周期、即ち、動画コンテンツに指定されているフレームレートの逆数、の時間間隔でフレームデータが配信／受信される必要がある。

ここで、ＮＧＮ網は、帯域保証機能を有しており、利用者が送受信する単位時間当たりの通信量の最大値を単位時間毎に約束している。よって、ＮＧＮ網を利用して動画のストリーム配信を行う場合、最も大きなデータサイズを有するＩフレームに合わせて帯域幅を確保すれば、所謂「コマ落ち」を生じることなくストリーム配信することが可能となる。例えば、送信する動画の代表的なＩフレームのサイズがＸbitであり、そのフレームレートが３０fps（フレーム／秒）であれば、０．０３（＝１/３０）秒毎に少なくともＸbit送信できる帯域幅、即ち、Ｘ／３０bps、を確保できればよい。

図１（Ａ）に、帯域幅を上記のようにＩフレームに合わせて確保した場合における、時間に対する転送データ量の遷移の様子の例を示す。図１（Ａ）の横軸は時間であり、目盛の単位は、フレーム表示周期を示している（即ち、上記の例では、０．０３秒毎に目盛が付されている）。ここで、図１（Ａ）から、Ｉフレームに合わせて帯域幅を確保すると、Ｉフレーム以外のＰまたはＢフレームの転送時に、帯域幅が有効に利用されていないことが理解できる。

特開２００９-００５２６０号公報

帯域保証機能を有効に利用するために、例えば、図１（Ｂ）に示すように、ＰレームやＢフレームのサイズに合わせて帯域幅を確保することも考えられる。図１（Ｂ）も図１（Ａ）と同様に、フレーム周期単位ごとの転送データ量の遷移の様子を示している。しかし、図１（Ｂ）のように、ＰフレームやＢフレームのサイズに合わせて帯域幅を確保すると、Ｉフレームのうち、「通信遅延」と記載されている期間に転送されたデータは、フレーム表示周期内で受信側に送信することができず、再生の際にはコマ落ちなどの現象が生じてしまう。

本発明は上記のような課題を解決するものであり、ネットワークの保証する帯域幅を効率よく利用して動画コンテンツを配信するのに好適な動画配信装置、動画受信装置、動画配信方法、動画受信方法、および、プログラム、を提供することを目的とする。

上記目的を達成するため、本発明の第１の観点に係る動画配信装置は、
所定の帯域幅が保証されたネットワークに接続された動画配信装置であって、
単体で複合化可能なキーフレームと、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレームと、の一連の圧縮フレームデータを順次記憶する動画用キュー、
非動画データを順次記憶する非動画用キュー、
前記動画用キューの先頭データにキーフレームが記憶されると、当該動画用キューから当該キーフレームを取り出し、パケットに形成して前記ネットワークへ出力し、
前記動画用キューの先頭データに予測フレームが記憶されると、当該動画用キューから当該予測フレームを取り出し、前記非動画用キューに非動画データが記憶されている場合、取り出した前記予測フレームのサイズとの合計が、所定のデータサイズを超えないように、非動画データを前記非動画キューから取り出し、当該取り出した予測フレームと、当該順次取り出した非動画データと、をパケットに形成して前記ネットワークへ出力する出力部、
を備え、
前記所定のデータサイズは、キーフレームサイズの代表値に等しく、
前記所定の帯域幅は、前記所定のデータサイズと、前記出力部が生成するパケットに付加する所定のヘッダサイズと、を併せたサイズのデータ量を、前記一連の圧縮フレームデータが表示されるべきフレームレートの周期以内の時間で送信可能な帯域幅に等しい、
ことを特徴とする。

また、本発明の第２の観点に係る動画受信装置は、
映像の各フレームを圧縮した圧縮フレームデータのうち、単体で複合化可能なキーフレームを運ぶパケットと、当該圧縮フレームデータのうち、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレーム、および、非動画データを運ぶパケットと、をネットワークを介して受信する受信部、
キーフレームおよび予測フレームを順次記憶する動画用キュー、
非動画データを順次記憶する非動画用キュー、
を備え、
前記受信部の受信するパケットには、当該パケットに含まれる圧縮フレームデータの種類を特定する情報を含むパケットヘッダが付されており、
前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットがキーフレームであることを特定する情報を含む場合、当該キーフレームを当該パケットから抽出して前記動画用キューに記憶し、
前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットが予測フレームであることを特定する情報を含む場合、当該予測フレームを当該パケットから抽出して前記動画用キューに記憶し、さらに、当該パケットに残っているデータを抽出して前記非動画用キューに記憶する、
ことを特徴とする。

また、本発明の第３の観点に係る動画配信方法は、
所定の帯域幅が保証されたネットワークに接続された、動画用キューと、非動画用キューと、出力部動と、を備える、画配信装置による動画配信方法であって、
前記動画用キューが、単体で複合化可能なキーフレームと、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレームと、の一連の圧縮フレームデータを順次記憶するステップと、
前記非動画用キューが、非動画データを順次記憶するステップと、
前記出力部が、
前記動画用キューの先頭データにキーフレームが記憶されると、当該動画用キューから当該キーフレームを取り出し、パケットに形成して前記ネットワークへ出力し、
前記動画用キューの先頭データに予測フレームが記憶されると、当該動画用キューから当該予測フレームを取り出し、前記非動画用キューに非動画データが記憶されている場合、取り出した前記予測フレームのサイズとの合計が、所定のデータサイズを超えないように、非動画データを前記非動画キューから取り出し、当該取り出した予測フレームと、当該順次取り出した非動画データと、をパケットに形成して前記ネットワークへ出力するステップと、
を備え、
前記所定のデータサイズは、キーフレームサイズの代表値に等しく、
前記所定の帯域幅は、前記所定のデータサイズと、前記出力部が生成するパケットに付加する所定のヘッダサイズと、を併せたサイズのデータ量を、前記一連の圧縮フレームデータが表示されるべきフレームレートの周期以内の時間で送信可能な帯域幅に等しい、
ことを特徴とする。

また、本発明の第４の観点に係る動画受信方法は、
受信部と、動画用キューと、非動画用キューと、を備える動画受信装置による動画受信方法であって、
前記受信部が、映像の各フレームを圧縮した圧縮フレームデータのうち、単体で複合化可能なキーフレームを運ぶパケットと、当該圧縮フレームデータのうち、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレーム、および、非動画データを運ぶパケットと、をネットワークを介して受信するステップ、
前記動画用キューが、キーフレームおよび予測フレームを順次記憶する動画用キュー、
前記非動画用キューが非動画データを順次記憶するステップ、
を備え、
前記受信部の受信するパケットには、当該パケットに含まれる圧縮フレームデータの種類を特定する情報を含むパケットヘッダが付されており、
前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットがキーフレームであることを特定する情報を含む場合、当該キーフレームを当該パケットから抽出して前記動画用キューに記憶し、
前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットが予測フレームであることを特定する情報を含む場合、当該予測フレームを当該パケットから抽出して前記動画用キューに記憶し、さらに、当該パケットに残っているデータを抽出して前記非動画用キューに記憶する、
ことを特徴とする。

また、本発明の第５の観点に係るプログラムは、
所定の帯域幅が保証されたネットワークに接続されたコンピュータを、
単体で複合化可能なキーフレームと、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレームと、の一連の圧縮フレームデータを順次記憶する動画用キュー、
非動画データを順次記憶する非動画用キュー、
前記動画用キューの先頭データにキーフレームが記憶されると、当該動画用キューから当該キーフレームを取り出し、パケットに形成して前記ネットワークへ出力し、
前記動画用キューの先頭データに予測フレームが記憶されると、当該動画用キューから当該予測フレームを取り出し、前記非動画用キューに非動画データが記憶されている場合、取り出した前記予測フレームのサイズとの合計が、所定のデータサイズを超えないように、非動画データを前記非動画キューから取り出し、当該取り出した予測フレームと、当該順次取り出した非動画データと、をパケットに形成して前記ネットワークへ出力する出力部、
として機能させ、
前記所定のデータサイズは、キーフレームサイズの代表値に等しく、
前記所定の帯域幅は、前記所定のデータサイズと、前記出力部が生成するパケットに付加する所定のヘッダサイズと、を併せたサイズのデータ量を、前記一連の圧縮フレームデータが表示されるべきフレームレートの周期以内の時間で送信可能な帯域幅に等しい、
ことを特徴とする。

また、本発明の第６の観点に係るプログラムは、
コンピュータを、
映像の各フレームを圧縮した圧縮フレームデータのうち、単体で複合化可能なキーフレームを運ぶパケットと、当該圧縮フレームデータのうち、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレーム、および、非動画データを運ぶパケットと、をネットワークを介して受信する受信部、
キーフレームおよび予測フレームを順次記憶する動画用キュー、
非動画データを順次記憶する非動画用キュー、
として機能させ、
前記受信部の受信するパケットには、当該パケットに含まれる圧縮フレームデータの種類を特定する情報を含むパケットヘッダが付されており、
前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットがキーフレームであることを特定する情報を含む場合、当該キーフレームを当該パケットから抽出して前記動画用キューに記憶し、
前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットが予測フレームであることを特定する情報を含む場合、当該予測フレームを当該パケットから抽出して前記動画用キューに記憶し、さらに、当該パケットに残っているデータを抽出して前記非動画用キューに記憶する、
ことを特徴とする。

本発明によれば、ネットワークの保証する帯域幅を効率よく利用して動画コンテンツを配信するのに好適な動画配信装置、動画受信装置、動画配信方法、動画受信方法、および、プログラム、を提供することができる。

（Ａ）は、Ｉフレームにあわせて帯域幅を確保した場合の、時間に対する送信データ量を示す図であり、（Ｂ）は、ＰまたはＢフレームに合わせて帯域幅を確保した場合の、時間に対する送信データ量を示す図である。 テレビショッピング番組の画面の例を示す図である。 デジタルテレビシステムの構成例を示す概要図である。 本発明に係る動画配信装置の概要図である。 本発明に係る動画受信装置の概要図である。 本発明に係る動画配信装置による配信処理を説明するフロー図である。 （Ａ）は、Ｉフレームを送信する場合のＩＰパケットのデータ構成を示す図であり、（Ｂ）は、ＰまたはＢフレームを送信する場合のＩＰパケットのデータ構成を示す図である。 本発明に係る動画受信装置による受信処理を説明するフロー図である 本発明に係る動画配信装置や動画受信装置を実現する一般的なコンピュータの概要図である。

以下に本発明の実施の形態を説明する。
本実施の形態においては、動画配信装置１００および動画受信装置２００を、デジタルテレビ放送システムに適用した例について説明する。特に、本実施の形態においては、生放送を配信する場合について説明する。

ここで、デジタルテレビ放送は、典型的には、映像のほかに、映像に関するテキスト情報を提供する。例えば、テレビに表示されるデジタル放送の画面は、映像を表示する領域と、映像に関するテキスト情報を表示するテキスト表示領域とを備える。表示されているテキスト情報に従って視聴者がリモコンを操作すると、操作に応じて、別のテキスト情報を配信するなど、所定の処理が行われる。

例えば、図２に例示するテレビショッピング番組の画面では、商品の説明をする映像とともに、テキスト表示領域に、「リモコンの○○ボタンを押して購入手続に進む」旨のテキスト情報が表示される。そして、表示内容に従って視聴者がリモコンを操作すると、購入に必要な情報がさらにテキスト表示領域に表示される。

このようなデジタルテレビ放送を実現するためのシステムを図３に示す。配信サーバ１１０やカメラ１２０に接続される動画配信装置１００と、テレビ２１０に接続される動画受信装置２００とが、ＮＧＮ網１０を介して接続される構成を有している。動画配信装置１００は、カメラ１２０および配信サーバ１１０から、それぞれ、圧縮された動画データおよび非動画データ（映像以外のコンテンツ）をパケットに形成し、ＮＧＮ網を介して動画受信装置２００へ配信する。動画受信装置２００は、受信したパケットから、動画データやコンテンツを抽出し、それらを表示すべくテレビ２１０などの再生表示装置へ渡す。

以下に、図４を参照して、本発明に係る動画配信装置１００の詳細を説明する。図示するように、動画配信装置１００は、動画用キュー１０１、非動画用キュー１０２、および、出力部１０３を備える。

動画用キュー１０１は、動画データを一時的に記憶するＦＩＦＯバッファである。例えば、本実施の形態において想定している生放送の場合、カメラ１２０により撮影される。カメラ１２０は、ＭＰＥＧなどのフレーム間予測を用いて撮影した映像を圧縮し、これにより得られたＩフレーム、Ｐフレーム、およびＢフレームのいずれかの圧縮フレームデータを逐次動画用キュー１０１に記憶する。

なお、典型的には、映像の圧縮時に指定される、アスペクト比、ビットレート、ピクチャ解像度、およびフレームレートなどのパラメータを含むシーケンスヘッダがＧＯＰの先頭に挿入される。これらのパラメータは、例えば、カメラ１２０において指定される。本実施の形態においては、理解を容易にするため、シーケンスヘッダはＩフレームの先頭に記憶され、Ｉフレームの一部であるものとして取り扱う。

非動画用キュー１０２は、配信サーバ１１０に予め記憶されるテキストデータやＨＴＭＬファイルなどの非動画データを配信するために一時的に記憶するＦＩＦＯバッファである。例えば、配信サーバ１１０は、配信している映像に応じた非動画データを非動画用キュー１０２に記憶したり、ユーザのリモコン操作により指定された指示に応じて、所定の非動画データを非動画用キュー１０２に記憶する。

出力部１０３は、ＮＧＮ網１０に接続されており、動画用キュー１０１、および／または、非動画用キュー１０２に記憶されたデータを取り出し、パケットに形成してＮＧＮ網１０へ出力する。この一連の処理は、所定の時間を上限とする時間間隔で実行される。

一方、図５に示すように、本発明に係る動画受信装置２００は、受信部２０１、動画用キュー２０２、および、非動画用キュー２０３、を備える。

受信部２０１は、ＮＧＮ網１０に接続されており、動画配信装置１００から出力されたパケットを受信する。受信部２０１は、受信したパケットのヘッダ情報に基づいて、受信したパケットのデータ本体から圧縮フレームデータや非動画データを抽出し、それぞれ、動画用キュー２０２や非動画用キュー２０３に記憶する。

動画用キュー２０２、および、非動画用キュー２０３は、受信部２０１がＮＧＮ網１０より受信したパケットから抽出した圧縮フレームデータ、または、非動画データのそれぞれを記憶するＦＩＦＯバッファである。なお、動画用キュー２０２や非動画用キュー２０３に記憶される圧縮フレームデータは、テレビ２１０によって読み出され、再生表示される。

（配信処理）
以下に、上記の構成を備える動画配信装置１００による配信処理について、図６を参照して説明する。
まず、出力部１０３は、確保する帯域幅を算出し、ＮＧＮ網に対して、算出した帯域幅を保証するよう要求する（ステップＳ１０１）。確保する帯域幅は、例えば、配信する映像の圧縮時の代表的なＩフレームのサイズと、当該映像のフレームレートと、に基づいて算出される。

例えば、代表的なＩフレームのサイズがＸbitであり、フレームレートが３０ｆｐｓ（フレーム／秒）の場合、代表的なＩフレームを送信するには、少なくともＸ／３０bps、即ち、０．０３（＝１/３０）秒毎に少なくともＸbit送信可能な帯域幅を確保すればよい。ただし、後述するように、圧縮フレームデータには、所定の情報を付加して配信する。この所定の情報を記憶するヘッダのサイズをＨbitとすると、（Ｘ＋Ｈ）／３０ｂｐｓの帯域幅を確保する必要がある。以降、この代表的なＩフレームのサイズを基準フレーム長、このフレーム長にヘッダを加えたサイズを基準パケット長と呼ぶ。また、上述のように算出した帯域幅を、基準帯域幅と呼ぶ。

なお、出力部１０３は、配信する映像のフレームレートを、例えば、そのシーケンスヘッダを参照して特定する。また、動画配信装置１００には、予め、圧縮時に指定可能なアスペクト比、ビットレート、ピクチャ解像度、およびフレームレートのそれぞれに対応付けて基準フレーム長を記憶するテーブルを備えさせる。出力部１０３は、このテーブルを参照して、配信する映像のシーケンスヘッダのパラメータ値に対応付けて記憶される値を、配信する映像の基準フレーム長として特定する。

ステップＳ１０１で基準帯域幅を確保できると、出力部１０３は、ステップＳ１０２〜Ｓ１０７を実行して出力処理を行う。

まず、出力部１０３は動画用キュー１０１の先頭バッファを監視し、動画用キュー１０１に圧縮フレームデータが記憶されているか否かを判定する（ステップＳ１０２）。ここで、動画用キュー１０１には、カメラ１２０が生成したＩ、Ｐ、Ｂのいずれかの圧縮フレームデータが、逐次蓄積される。なお、当然ながら各圧縮フレームデータは、それが再生されるフレーム表示周期か、それよりも短い時間間隔で生成される必要がある。

圧縮フレームデータが動画用キュー１０１の先頭バッファに記憶されていないと判定すると（ステップＳ１０２；Ｎ）、出力部１０３は、処理をステップＳ１０２に戻して、動画用キュー１０１に圧縮フレームデータが記憶されるのを待つ。一方、動画用キュー１０１の先頭バッファに圧縮フレームデータが記憶されていると判定すると（ステップＳ１０２；Ｙ）、出力部１０３は、当該圧縮フレームデータの種類を特定する（ステップＳ１０３）。典型的には、圧縮フレームデータのヘッダ部分（即ち、ピクチャヘッダ）には、そのフレームの種類を示す符号が記憶されており、出力部１０３は、このピクチャヘッダを参照して圧縮フレームデータの種類を特定する。

動画用キュー１０１の先頭バッファにＩフレームが記憶されていると特定すると（ステップ１０３；Ｉ）、出力部１０３は、当該Ｉフレームを動画用キュー１０１から取り出し、ＩＰパケットを生成する（ステップＳ１０４）。ＩＰパケットのヘッダには、送信元ＩＰアドレス（本動画配信装置１００のＩＰアドレス）、あて先ＩＰアドレス（配信先の動画受信装置２００のＩＰアドレス）、ペイロード長（データ本体の長さ）、などＩＰパケットの送信に必要な情報を記憶する。また、拡張ヘッダには、Ｉフレームである旨を示す情報を記憶させる。Ｉフレームの記憶されるＩＰパケットの構造の例を図７（Ａ）に示す。

一方、動画用キュー１０１の先頭バッファにＰまたはＢフレームが記憶されていると特定すると（ステップＳ１０３；Ｐ／Ｂ）、出力部１０３は、まず、当該ＰまたはＢフレームを動画用キュー１０１から取り出す。そして、取り出したＰまたはＢフレームに、ステップＳ１０４と同様に、送信元ＩＰアドレス、あて先ＩＰアドレス、などのヘッダを付与して、ＩＰパケットを生成する（ステップＳ１０５）。ここで、拡張ヘッダには、ＰまたはＢフレームである旨を示す情報を記憶させる他、ＰまたはＢフレームのサイズも記憶させる。

さらに、出力部１０３は、最大で、パケットサイズが基準パケット長となるように、非動画データを、非動画用キュー１０２の先頭から順次取得して、ステップＳ１０５で生成したＩＰパケットに詰める（ステップＳ１０６）。

即ち、非動画用キュー１０２に記憶されている非動画データのサイズと、基準フレーム長からＰまたはＢフレームのサイズを減算した値と、のうち、いずれか小さい方のサイズ分だけ、非動画データを非動画用キュー１０２から取得する。なお、ＩＰヘッダのペイロード長は、取得した非動画データのサイズが確定した後に指定すればよい。ＰまたはＢフレームの記憶されるＩＰパケットの構造の例を図７（Ｂ）に示す。

以上により、出力部１０３の生成するＩＰパケットのペイロード長は、いずれも基準フレーム長に近いサイズとなる。なお、ステップＳ１０４、Ｓ１０５、のいずれについても、Ｉ、Ｐ、Ｂフレームは、加工せずに、ピクチャヘッダ情報を付加した状態で、ＩＰパケットに形成する。

次いで、出力部１０３は、生成したＩＰパケットを、ＮＧＮ網１０へ出力する（ステップＳ１０７）。ＮＧＮ網１０は、その保証する帯域幅でＩＰパケットを送信する機能を有する。よって、ＩＰパケットをフレーム表示周期以内で１つ生成し、その生成したＩＰパケットの大きさが基準パケット長以下であれば、各ＩＰパケット（およびこれに含まれる圧縮フレームデータ）を、フレーム表示周期以内に動画受信装置２００へ送信することが可能となる。

なお、ＩＰベースの通信においては、送信先のネットワークのＭＴＵ（Maximum Transmission Unit)サイズに合わせて自動的にＩＰパケットを分割してパケットのサイズが調整される。この場合、分割されたＩＰパケットのそれぞれには新たにヘッダが付加される。したがって、新たに付加される可能性のあるヘッダのサイズを考慮して、帯域幅は、基準帯域幅よりも余裕を持って確保する必要がある。

ステップＳ１０７において、パケットを出力すると、出力部１０３は処理をステップＳ１０２へ戻し、上述の処理を繰り返す。

以上説明したように、出力部１０３は、パケットのペイロード長が、代表的なＩフレームのサイズ（基準フレーム長）となるべく等しくなるように、圧縮フレームデータや非動画データをパケットに詰める。これにより、確保した帯域幅を有効に利用して、圧縮フレームデータと、非動画データとを配信することが可能となる。

（受信処理）
一方、動画受信装置２００は、動画配信装置１００と逆の処理を行って、受信したＩＰパケットから、圧縮フレームデータや非動画データを抽出する処理を行う。以下に受信処理について、図８を参照して説明する。

まず、動画受信装置２００の受信部２０１は、受信したＩＰパケットの拡張ヘッダ部を参照して、パケットの種類を特定する（ステップＳ２０１）。パケットがＩフレームである場合（ステップＳ２０１；Ｉ）、受信部２０１は、同じくヘッダに記憶されているペイロード長分のデータをＩＰパケットのペイロード部（データ本体の記憶される領域）から取得して、動画用キュー２０２に記憶する（ステップＳ２０２）。

一方、パケットがＰまたはＢフレームである場合（ステップＳ２０１；Ｐ／Ｂ）、受信部２０１は、同じく拡張ヘッダ部に記憶されている、圧縮フレームデータのサイズ分のデータをＩＰパケットのペイロード部から取得して、動画用キュー２０２に記憶する（ステップＳ２０３）。また、ペイロード部に記憶される残りのデータを取得して、非動画用キュー２０３に記憶する（ステップＳ２０４）。動画受信装置２００は以上の処理を繰り返して実行することにより、受信したＩＰパケットから、圧縮フレームデータと、非動画データと、を抽出し、それぞれ動画用キュー２０２と非動画用キュー２０３に記憶する。

なお、動画用キュー２０２と、非動画用キュー２０３に記憶されるデータは、動画受信装置２００に接続されるテレビ２１０に読み出されて再生表示される。即ち、テレビ２１０は、動画用キュー２０２に記憶される圧縮データフレームを読み出し、伸張（復号化）した後、圧縮データフレームに記憶されるフレーム表示周期で伸張したフレームデータを再生する。各圧縮データフレームはピクチャヘッダを備えるので、フレームデータの始まりを識別することが可能である。また、テレビ２１０は、非動画用キュー２０３に蓄積されたデータも並行して先頭から読み出し、その内容に基づいて所定の処理を行う。例えば、非動画用キュー２０３に記憶されたＨＴＭＬファイルにしたがって、テキスト情報表示する。

これにより、確保した帯域幅を有効に利用して配信された圧縮フレームデータと、非動画データとを受信して、表示することが可能となる。

以上、本発明の実施の形態について説明したが、本発明は、上述した実施形態に限定されず、種々の変形および応用が可能である。また、上述した実施形態の各構成要素を自由に組み合わせることも可能である。

例えば、上記実施の形態は、動画配信装置１００や動画受信装置２００がデジタルテレビ放送に適用される例に説明したが、適用範囲はこれに限らない。例えば、動画配信装置１００をテレビ会議システムへの適用や、ｅ−ラーニングのコンテンツの配信など、動画とともに動画以外のデータを配信する場合に適用可能である。

また、上記実施の形態において基準帯域幅を変化させるようにしてもよい。例えば、送信したＩフレームのサイズを蓄積して、定期的にその代表値（例えば、平均値）を求めるようにする。そして、その代表値を基準フレーム長として新たに求めた基準帯域幅を確保するようにしても良い。

また、上記実施の形態では、非動画データとして、テキストデータやＨＴＭＬデータを例に説明したが、通信遅延が比較的問題とならないデータであればこれらに限るものではない。例えば、動画受信装置２００の制御情報などを送信してもよい。

また、上記実施の形態における、配信する映像を圧縮する機能や、圧縮された動画データを伸張する機能はそれぞれ、カメラ１２０、および、テレビ２１０が備えるようにした。そうではなく、それぞれを動画配信装置１００、および、動画受信装置２００が備えるようにしてもよい。

また、上記実施の形態においては、生放送を想定したが、予めＭＰＥＧ形式で保存された動画データをストリーム配信してもよい。生放送の場合は、撮影されたフレームを圧縮フレームデータに変換する時間が必要であるため、典型的には、フレーム表示周期以内に１つ以上の圧縮フレームデータを生成することは困難である。したがって、１つの圧縮フレームデータが生成される度に、圧縮フレームデータをＩＰパケットに乗せて送信するようにした。

一方、予め保存された動画データをストリーム配信する場合、圧縮フレームデータが生成されるのを待つ必要がないため、ＰおよびＢフレームについては、基準パケット長に納まる範囲で複数個のＰおよびＢフレームを１つのＩＰパケットに乗せるようにしてもよい。

なお、生放送であっても、フレーム表示周期以内にＮ枚のＰまたはＢフレームの生成が可能であり、それらのサイズの合計が基準フレーム長以下であれば、Ｎ枚のＰまたはＢフレームを１つのＩＰパケットに形成して配信してもよい。

また、上記実施の形態においては、動画データは常に配信されており、これとともに非動画データも配信する例を説明した。そうではなく、動画データが常に配信されない場合にも適用することができる。例えば、ステップＳ１０１で動画用キュー１０１にデータが記憶されていないと判定した場合（ステップＳ１０１；Ｎ）、非動画キュー１０２に非動画データが記憶されていれば、非動画データのみからＩＰパケットを生成してもよい。このとき、ＩＰパケットのペイロード長が、基準パケット長を超えない範囲で、非動画キュー１０２から可能な限り非動画データを取得して、ＩＰパケットを生成すればよい。

また、動画配信装置１００や動画受信装置２００は、図４や図５に示したように、専用のハードウェアとして実現可能であるほか、例えば、ＮＧＮ網との通信インタフェースを備える一般的なコンピュータに、動画配信装置の制御プログラムを実行させることで動画配信装置１００や動画受信装置２００として機能させてもよい。

ここで、一般的なコンピュータは、図９に示すように、制御部１００１、記憶部１００２、および、通信部１００３を備える。

制御部１００１は、ＣＰＵ（Central Processing Unit）（図示せず）、ＲＯＭ（Read Only Memory）（図示せず）、ＲＡＭ（Random Access Memory）（図示せず）等から構成されている。ＣＰＵはＲＯＭに記憶されている制御プログラムを実行することで、コンピュータ全体の制御を行う。また、ＲＡＭは、ＣＰＵが、プログラムを実行する際に各種データを一時的に記憶する領域として使用する。

記憶部１００２は、大容量のハードディスク装置などから構成される。動画配信装置１００や動画受信装置２００の制御プログラムは、予め記憶部１００２に記憶しておいてもよい。あるいは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）、ＵＳＢメモリ等に記憶させてプログラムを配付してもよい。この場合、利用する記憶媒体のいずれかを読み取る装置をコンピュータに備えるようにして、当該プログラムをコンピュータに読み込ませることにより、上述の処理動作を実行する装置を構成してもよい。

通信部１００３は、通信インタフェース等を備え、ＮＧＮ網と通信する。

上記の一般的なコンピュータに動画配信装置の制御プログラムを実行させた場合、ＲＡＭや記憶部１００２が、動画用キュー１０１、および非動画用キュー１０２として機能する。また、制御部１００１や通信部１００３が協働して、出力部１０３として機能する。

同様に、上記の一般的なコンピュータに動画受信装置の制御プログラムを実行させた場合、ＲＡＭや記憶部１００２が、動画用キュー２０２、および非動画用キュー２０３として機能する。また、制御部１００１や通信部１００３が協働して、受信部２０１として機能する。

１００ 動画配信装置
１０１ 動画用キュー
１０２ 非動画用キュー
１０３ 出力部
２００ 動画受信装置
２０１ 受信部
２０２ 動画用キュー
２０３ 非動画用キュー
１００１ 制御部
１００２ 記憶部
１００３ 通信部

Claims (11)

1. 所定の帯域幅が保証されたネットワークに接続された動画配信装置であって、
   単体で複合化可能なキーフレームと、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレームと、の一連の圧縮フレームデータを順次記憶する動画用キュー、
   非動画データを順次記憶する非動画用キュー、
   前記動画用キューの先頭データにキーフレームが記憶されると、当該動画用キューから当該キーフレームを取り出し、パケットに形成して前記ネットワークへ出力し、
   前記動画用キューの先頭データに予測フレームが記憶されると、当該動画用キューから当該予測フレームを取り出し、前記非動画用キューに非動画データが記憶されている場合、取り出した前記予測フレームのサイズとの合計が、所定のデータサイズを超えないように、非動画データを前記非動画キューから取り出し、当該取り出した予測フレームと、当該順次取り出した非動画データと、をパケットに形成して前記ネットワークへ出力する出力部、
   を備え、
   前記所定のデータサイズは、キーフレームサイズの代表値に等しく、
   前記所定の帯域幅は、前記所定のデータサイズと、前記出力部が生成するパケットに付加する所定のヘッダサイズと、を併せたサイズのデータ量を、前記一連の圧縮フレームデータが表示されるべきフレームレートの周期以内の時間で送信可能な帯域幅に等しい、
   ことを特徴とする動画配信装置。
2. 前記圧縮フレームデータは、少なくとも前記フレームレートの周期以内の時間間隔で、前記出力部は、前記パケットを前記ネットワークへ出力する、
   ことを特徴とする請求項１に記載の動画配信装置。
3. 前記出力部は、前記フレームレートの周期以内の時間間隔で、前記動画用キューに過去に記憶されたキーフレームのサイズの平均値を、前記キーフレームサイズの代表値として求め、求められた当該代表値に応じて前記ネットワークにおいて保証される帯域幅を確保する、
   ことを特徴とする請求項１または２に記載の動画配信装置。
4. 前記出力部は、複数の予測フレームが前記動画用キューに記憶されていた場合、前記所定のデータサイズを超えないように、当該複数の予測フレームを当該動画用キューから取り出し、前記非動画用キューに非動画データが記憶されている場合、取り出した複数の前記予測フレームのサイズとの合計が、所定のデータサイズを超えないように、非動画データを前記非動画キューから取り出し、取り出した複数の当該予測フレームと、取り出した当該非動画データと、をパケットに形成して前記ネットワークへ出力する、
   ことを特徴とする請求項１から３のいずれか１項に記載の動画配信装置。
5. 映像の各フレームを圧縮した圧縮フレームデータのうち、単体で複合化可能なキーフレームを運ぶパケットと、当該圧縮フレームデータのうち、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレーム、および、非動画データを運ぶパケットと、をネットワークを介して受信する受信部、
   キーフレームおよび予測フレームを順次記憶する動画用キュー、
   非動画データを順次記憶する非動画用キュー、
   を備え、
   前記受信部の受信するパケットには、当該パケットに含まれる圧縮フレームデータの種類を特定する情報を含むパケットヘッダが付されており、
   前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットがキーフレームであることを特定する情報を含む場合、当該キーフレームを当該パケットから抽出して前記動画用キューに記憶し、
   前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットが予測フレームであることを特定する情報を含む場合、当該予測フレームを当該パケットから抽出して前記動画用キューに記憶し、さらに、当該パケットに残っているデータを抽出して前記非動画用キューに記憶する、
   ことを特徴とする動画受信装置。
6. 受信した前記パケットのペイロード長は、キーフレームサイズの代表値を超えない、
   ことを特徴とする請求項５に記載の動画受信装置。
7. 前記受信部は、一連の前記圧縮フレームデータが表示されるべきフレームレートの周期以内の時間間隔で、受信した前記パケットから圧縮フレームデータ、および／または、非動画データを抽出して、前記動画用キューまたは前記非動画用キューに記憶する、
   ことを特徴とする請求項５または６に記載の動画受信装置。
8. 所定の帯域幅が保証されたネットワークに接続された、動画用キューと、非動画用キューと、出力部と、を備える、動画配信装置による動画配信方法であって、
   前記動画用キューが、単体で複合化可能なキーフレームと、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレームと、の一連の圧縮フレームデータを順次記憶するステップと、
   前記非動画用キューが、非動画データを順次記憶するステップと、
   前記出力部が、
   前記動画用キューの先頭データにキーフレームが記憶されると、当該動画用キューから当該キーフレームを取り出し、パケットに形成して前記ネットワークへ出力し、
   前記動画用キューの先頭データに予測フレームが記憶されると、当該動画用キューから当該予測フレームを取り出し、前記非動画用キューに非動画データが記憶されている場合、取り出した前記予測フレームのサイズとの合計が、所定のデータサイズを超えないように、非動画データを前記非動画キューから取り出し、当該取り出した予測フレームと、当該順次取り出した非動画データと、をパケットに形成して前記ネットワークへ出力するステップと、
   を備え、
   前記所定のデータサイズは、キーフレームサイズの代表値に等しく、
   前記所定の帯域幅は、前記所定のデータサイズと、前記出力部が生成するパケットに付加する所定のヘッダサイズと、を併せたサイズのデータ量を、前記一連の圧縮フレームデータが表示されるべきフレームレートの周期以内の時間で送信可能な帯域幅に等しい、
   ことを特徴とする動画配信方法。
9. 受信部と、動画用キューと、非動画用キューと、を備える動画受信装置による動画受信方法であって、
   前記受信部が、映像の各フレームを圧縮した圧縮フレームデータのうち、単体で複合化可能なキーフレームを運ぶパケットと、当該圧縮フレームデータのうち、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレーム、および、非動画データを運ぶパケットと、をネットワークを介して受信するステップ、
   前記動画用キューが、キーフレームおよび予測フレームを順次記憶する動画用キュー、
   前記非動画用キューが非動画データを順次記憶するステップ、
   を備え、
   前記受信部の受信するパケットには、当該パケットに含まれる圧縮フレームデータの種類を特定する情報を含むパケットヘッダが付されており、
   前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットがキーフレームであることを特定する情報を含む場合、当該キーフレームを当該パケットから抽出して前記動画用キューに記憶し、
   前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットが予測フレームであることを特定する情報を含む場合、当該予測フレームを当該パケットから抽出して前記動画用キューに記憶し、さらに、当該パケットに残っているデータを抽出して前記非動画用キューに記憶する、
   ことを特徴とする動画受信方法。
10. 所定の帯域幅が保証されたネットワークに接続されたコンピュータを、
    単体で複合化可能なキーフレームと、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレームと、の一連の圧縮フレームデータを順次記憶する動画用キュー、
    非動画データを順次記憶する非動画用キュー、
    前記動画用キューの先頭データにキーフレームが記憶されると、当該動画用キューから当該キーフレームを取り出し、パケットに形成して前記ネットワークへ出力し、
    前記動画用キューの先頭データに予測フレームが記憶されると、当該動画用キューから当該予測フレームを取り出し、前記非動画用キューに非動画データが記憶されている場合、取り出した前記予測フレームのサイズとの合計が、所定のデータサイズを超えないように、非動画データを前記非動画キューから取り出し、当該取り出した予測フレームと、当該順次取り出した非動画データと、をパケットに形成して前記ネットワークへ出力する出力部、
    として機能させ、
    前記所定のデータサイズは、キーフレームサイズの代表値に等しく、
    前記所定の帯域幅は、前記所定のデータサイズと、前記出力部が生成するパケットに付加する所定のヘッダサイズと、を併せたサイズのデータ量を、前記一連の圧縮フレームデータが表示されるべきフレームレートの周期以内の時間で送信可能な帯域幅に等しい、
    ことを特徴とするプログラム。
11. コンピュータを、
    映像の各フレームを圧縮した圧縮フレームデータのうち、単体で複合化可能なキーフレームを運ぶパケットと、当該圧縮フレームデータのうち、キーフレームまたは他の予測フレームに基づいて複合化可能な予測フレーム、および、非動画データを運ぶパケットと、をネットワークを介して受信する受信部、
    キーフレームおよび予測フレームを順次記憶する動画用キュー、
    非動画データを順次記憶する非動画用キュー、
    として機能させ、
    前記受信部の受信するパケットには、当該パケットに含まれる圧縮フレームデータの種類を特定する情報を含むパケットヘッダが付されており、
    前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットがキーフレームであることを特定する情報を含む場合、当該キーフレームを当該パケットから抽出して前記動画用キューに記憶し、
    前記受信部は、受信したパケットのパケットヘッダを参照し、当該パケットが予測フレームであることを特定する情報を含む場合、当該予測フレームを当該パケットから抽出して前記動画用キューに記憶し、さらに、当該パケットに残っているデータを抽出して前記非動画用キューに記憶する、
    ことを特徴とするプログラム。

Images