JP5183570B2 - 映像送信装置、映像受信装置及び映像配信システム - Google Patents

Description

この発明は、映像がスケーラブル符号化されている映像データをストリーム伝送する映像送信装置と、映像送信装置から映像データをストリーム受信して映像を再生する映像受信装置と、映像送信装置及び映像受信装置から構成されている映像配信システムとに関するものである。

従来の映像配信システムでは、映像を解像度スケーラブル符号化して、複数の符号化データをストリーム伝送することで、適宜、映像の解像度を切り替えることができるようにしている。
ここで、解像度スケーラブル符号化は、１つの映像符号化データから異なる解像度の映像を復号可能な符号化方式であり、符号化データのうち、低解像度用の符号化データのみを復号すれば、低解像度の映像が再生され、低解像度用の符号化データと高解像度用の符号化データを一緒に復号すれば、高解像度の映像が再生される。

例えば、以下の非特許文献１には、蓄積配信サーバが複数の監視カメラの映像を配信し、監視センタの監視端末が複数の監視カメラの映像を受信して、その映像を再生する映像配信システムが開示されている。
配信している映像は、ＪＰＥＧ２０００で解像度スケーラブル符号化されており、センサが警報を発生すると、そのセンサに関連付けられているカメラの映像の解像度を低解像度から高解像度に切り替えて配信している。

また、従来の映像配信システムでは、映像ストリームの切り替えタイミングを高速化するために、複数の用途の映像データを同時に送信する方式を採用しているものがある。
例えば、以下の特許文献１には、映像送信装置が低解像度のストリームと高解像度のストリームを合わせて映像受信装置に送信し、ユーザから解像度拡大要求を受ける前は、映像受信装置が低解像のストリームのみを復号して低解像度の映像を再生し、ユーザから解像度拡大要求を受けると、低解像度のストリームと高解像度のストリームを一緒に復号して高解像度の映像を再生する映像配信システムが開示されている。

なお、映像配信システムがＩＰネットワークを通じて、映像データをストリーム送信する場合、ネットワークのジッタを吸収するために、通常、映像受信装置側では、受信したストリームを一定時間分バッファリングすることで、パケットの入れ替わりの修正を行う。また、タイムスタンプを使用してバッファからの映像データの送出タイミング制御を行いながらデコーダへ転送する。

特開平９−１８６９６７号号公報（段落番号［００２０］から［００２２］）

横里他著、「映像監視システムへのＪＰＥＧ２０００スケーラブル映像配信技術適用に関する検討」、２００５年電子情報通信学会総合大会講演論文集、情報・システム、ＮＯ２、Ｐ７５

従来の映像配信システムは以上のように構成されているので、非特許文献１の場合、映像受信装置が映像の解像度を低解像度から高解像度に変更する変更要求を映像送信装置に送信すれば、映像送信装置が配信する映像の解像度を低解像度から高解像度に切り替えることが可能である。しかし、映像受信装置から変更要求を受けた時点以降の映像のみが高解像に切り替えられるため、その時点より時間的に前の映像を高解像で再生することができない課題があった。また、映像受信装置では、映像を一定時間分バッファリングするため、実際に高解像度の映像が再生されるまでに長時間を要する課題があった。

特許文献１の場合、映像送信装置が低解像度のストリームと高解像度のストリームを合わせて映像受信装置に送信しているので、映像受信装置では、映像の解像度を低解像度から高解像度に変更する変更要求を受けると、直ちに高解像度の映像を再生することができる。しかし、映像受信装置が低解像度の映像を再生しているときも、映像送信装置が高解像度のストリームを送信しているため、ストリームの伝送が冗長的となり、ネットワーク帯域の使用が非効率になるなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、ネットワーク帯域の非効率な使用を招くことなく、高解像度の映像が再生されるまでに要する時間を短縮することができる映像送信装置、映像受信装置及び映像配信システムを得ることを目的とする。

この発明に係る映像送信装置は、変更命令受信手段により受信された変更命令が低レイヤから高レイヤへの変更を指示する命令であれば、映像データ蓄積手段により蓄積されている高レイヤ用符号化データのうち、低レイヤ用符号化データ送信手段により現在ストリーム伝送されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の高レイヤ用符号化データを映像受信装置に送信し、その後、低レイヤ用符号化データ送信手段によりストリーム伝送される低レイヤ用符号化データと復号するタイミングが同一の高レイヤ用符号化データを映像受信装置にストリーム伝送する高レイヤ用符号化データ送信手段を設けるようにしたものである。

この発明によれば、変更命令受信手段により受信された変更命令が低レイヤから高レイヤへの変更を指示する命令であれば、映像データ蓄積手段により蓄積されている高レイヤ用符号化データのうち、低レイヤ用符号化データ送信手段により現在ストリーム伝送されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の高レイヤ用符号化データを映像受信装置に送信し、その後、低レイヤ用符号化データ送信手段によりストリーム伝送される低レイヤ用符号化データと復号するタイミングが同一の高レイヤ用符号化データを映像受信装置にストリーム伝送する高レイヤ用符号化データ送信手段を設けるように構成したので、ネットワーク帯域の非効率な使用を招くことなく、高レイヤの映像が再生されるまで要する時間を短縮することができる効果がある。

この発明の実施の形態１による映像配信システムを示す構成図である。 この発明の実施の形態１による映像送信装置１を示す構成図である。 この発明の実施の形態１による映像受信装置３を示す構成図である。 映像符号化ビットストリームの一例を示す説明図である。 映像送信装置１の処理内容を示すフローチャートである。 映像受信装置３の処理内容を示すフローチャートである。 映像送信装置１と映像受信装置３間のストリーム伝送の一例を示す説明図である。 映像受信装置３における低解像度パケット処理部３２の低解像度データバッファ３２ａと、高解像度パケット処理部３６の高解像度データバッファ３６ａの動作を示す説明図である。 この発明の実施の形態２による映像送信装置１を示す構成図である。 この発明の実施の形態２による映像受信装置３を示す構成図である。 映像送信装置１と映像受信装置３間のストリーム伝送の一例を示す説明図である。 映像受信装置３における低解像度パケット処理部３２の低解像度データバッファ３２ａと、中解像度パケット処理部４２の中解像度データバッファ４２ａと、高解像度パケット処理部４４の高解像度データバッファ４４ａの動作を示す説明図である。 この発明の実施の形態３による映像送信装置１を示す構成図である。 この発明の実施の形態３による映像受信装置３を示す構成図である。 この発明の実施の形態４による映像送信装置１を示す構成図である。 この発明の実施の形態４による映像受信装置３を示す構成図である。 この発明の実施の形態５による映像配信システムを示す構成図である。 この発明の実施の形態５による映像送信装置１を示す構成図である。 映像データ蓄積部９４における高解像度用符号化データの蓄積構造を示す説明図である。 この発明の実施の形態６による映像配信システムを示す構成図である。 この発明の実施の形態６による映像送信装置１を示す構成図である。 この発明の実施の形態６による映像受信装置３を示す構成図である。 映像送信装置１からファイル送信される高解像度用符号化データの形式を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による映像配信システムを示す構成図である。
図１において、映像送信装置１は映像がスケーラブル符号化されている映像データをストリーム伝送する装置である。
映像受信装置３はＩＰネットワーク２を介して映像送信装置１と接続されており、映像送信装置１から映像データをストリーム受信すると、その映像データを復号して映像をモニタ４に再生する処理を実施する。

ここで、映像送信装置１から送信される映像データは、低レイヤの映像の復号が可能な低レイヤ用符号化データの他に、低レイヤ用符号化データと一緒に復号すれば、高レイヤの映像の復号が可能な高レイヤ用符号化データを含む映像データである。
この実施の形態１では、映像のスケーラブル符号化として、映像が解像度スケーラブル符号化されている例を説明するが、解像度以外にも、例えば、カラーフォーマットや量子化ビット数など、スケーラブルに変更可能なパラメータが存在し、これらのパラメータがスケーラブルに符号化されているものであってもよい。

図２はこの発明の実施の形態１による映像送信装置１を示す構成図である。
図２において、映像データ蓄積部１１は映像が解像度スケーラブル符号化されている映像データ（例えば、ビデオ映像を構成するＪＰＥＧ２０００の符号化された映像コンテンツ）であって、低解像度の映像（低レイヤの映像）の復号が可能な低解像度用符号化データ（低レイヤ用符号化データ）の他に、その低解像度用符号化データと一緒に復号すれば、高解像度の映像（高レイヤの映像）の復号が可能な高解像度用符号化データ（高レイヤ用符号化データ）を含む映像データを蓄積するハードディスクなどの記録媒体である。
映像データ蓄積部１１により蓄積される映像データの各フレームには、映像のデコード及び再生を行う際のタイミングを示すタイムスタンプが付与されているものとする。
なお、映像データ蓄積部１１は映像データ蓄積手段を構成している。

解像度変更命令受信部１２は映像受信装置３から解像度（レイヤ）の変更命令を受信する処理を実施する。なお、解像度変更命令受信部１２は変更命令受信手段を構成している。
送信制御部１３は低解像度用符号化データの読込をストリーム読込部１４に指示するとともに、低解像度パケットの生成を低解像度パケット生成部１５に指示する処理を実施する。
また、送信制御部１３は解像度変更命令受信部１２により受信された解像度の変更命令が低解像度から高解像度への変更を指示する命令であれば、倍速値Ｘ倍での高解像度用符号化データの読込をストリーム読込部１４に指示するとともに、高解像度パケットの生成を倍速値Ｘ倍で行う指示を高解像度パケット生成部１７に出力し、その後、これからストリーム伝送する高解像度用符号化データのタイムスタンプ（復号タイミング）が、これからストリーム伝送する低解像度用符号化データのタイムスタンプ（復号タイミング）に追いつくと、通常速度での高解像度用符号化データの読込をストリーム読込部１４に指示するとともに、高解像度パケットの生成を通常速度で行う指示を高解像度パケット生成部１７に出力する処理を実施する。

ストリーム読込部１４は送信制御部１３から低解像度用符号化データの読込指示を受けると、映像送信装置１内のクロックを参照して、映像データ蓄積部１１から、タイムスタンプを用いて送信時間（送信時間は復号時間のタイムスタンプを使用可能）のタイミングで送信フレームの低解像度用符号化データを読み込み、その低解像度用符号化データを送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に低解像度パケット生成部１５に出力する処理を実施する。
また、ストリーム読込部１４は送信制御部１３から高解像度用符号化データの読込指示を受けると、映像データ蓄積部１１から読み込む低解像度用符号化データよりも復号するタイミングが時間的に前の高解像度用符号化データをフレームごとに倍速値Ｘ倍で読み込んで、その高解像度用符号化データをタイムスタンプと次のフレームのタイムスタンプを一緒に高解像度パケット生成部１７に出力し、その後、映像データ蓄積部１１から読み込む低解像度用符号化データと復号するタイミングが同一の高解像度用符号化データを通常の速度で読み込み、その高解像度用符号化データを送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に高解像度パケット生成部１７に出力する処理を実施する。

低解像度パケット生成部１５はストリーム読込部１４から出力された１フレーム分の低解像度用符号化データをＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケットに分割して格納するとともに、そのフレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを低解像度パケット送信部１６に出力する処理を実施する。なお、低解像度パケット生成部１５では、低解像度パケット送信部１６から各ＲＴＰパケットが、次のフレームのタイムスタンプのタイミングまでに等間隔で送信されるように計算して、各ＲＴＰパケットを低解像度パケット送信部１６に出力する。
低解像度パケット送信部１６はＩＰ／ＵＤＰを使用して、低解像度パケット生成部１５から出力された各ＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する処理を実施する。
なお、送信制御部１３、ストリーム読込部１４、低解像度パケット生成部１５及び低解像度パケット送信部１６から低レイヤ用符号化データ送信手段が構成されている。

高解像度パケット生成部１７は送信制御部１３から高解像度パケットの生成を倍速値Ｘ倍で行う指示を受けると、ストリーム読込部１４から出力された高解像度用符号化データをＲＴＰパケットに分割して格納するとともに、そのフレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを、次のフレームのタイムスタンプのタイミングまでに等間隔で送信されるように計算して、通常の出力速度と比較して倍速値X倍で高解像度パケット送信部１８に出力する処理を実施する。
また、高解像度パケット生成部１７は送信制御部１３から高解像度パケットの生成を通常速度で行う指示を受けると、ストリーム読込部１４から出力された１フレーム分の高解像度用符号化データをＲＴＰパケットに分割して格納するとともに、そのフレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを次のフレームのタイムスタンプのタイミングまでに等間隔で送信されるように計算して高解像度パケット送信部１８に出力する処理を実施する。
高解像度パケット送信部１８はＩＰ／ＵＤＰを使用して、高解像度パケット生成部１７から出力された各ＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する処理を実施する。
なお、送信制御部１３、ストリーム読込部１４、高解像度パケット生成部１７及び高解像度パケット送信部１８から高レイヤ用符号化データ送信手段が構成されている。

図３はこの発明の実施の形態１による映像受信装置３を示す構成図である。
図３において、低解像度パケット受信部３１は予め設定されているポート番号のＩＰパケットを受信して、そのＩＰパケットを低解像度パケット処理部３２に出力する処理を実施する。
低解像度パケット処理部３２は低解像度パケット受信部３１から出力されたＩＰパケットからＲＴＰパケットを抽出し、そのＲＴＰパケットを内部の低解像度データバッファ３２ａに一定時間格納するバッファリングを行うことで、ネットワーク伝送によるジッタを除去してから、そのＲＴＰパケットに格納されている低解像度用符号化データを映像デコーダ３８に出力する処理を実施する。
なお、低解像度パケット受信部３１及び低解像度パケット処理部３２から低レイヤ用符号化データ受信手段が構成されている。

解像度変更命令入力部３３は解像度の変更命令の入力を受け付ける処理を実施する。
解像度変更命令送信部３４は解像度変更命令入力部３３により入力が受け付けられた変更命令が低解像度から高解像度への変更を指示する命令である場合、低解像度パケット処理部３２の低解像度データバッファ３２ａに格納されているＲＴＰパケットのうち、次に映像デコーダ３８に与えられるＲＴＰパケットのタイムスタンプ（再生可能位置情報）を再生制御部３７に問い合わせて、そのタイムスタンプと解像度の変更命令を解像度変更命令パケットに格納し、その解像度変更命令パケットを映像送信装置１に送信する処理を実施する。
なお、解像度変更命令入力部３３及び解像度変更命令送信部３４から変更命令送信手段が構成されている。

高解像度パケット受信部３５は解像度変更命令送信部３４から映像の解像度を低解像度から高解像度への変更を指示する変更命令が送信されたのち、予め設定されているポート番号のＩＰパケットを受信して、そのＩＰパケットを高解像度パケット処理部３６に出力する処理を実施する。
高解像度パケット処理部３６は高解像度パケット受信部３５から出力されたＩＰパケットからＲＴＰパケットを抽出し、そのＲＴＰパケットを内部の高解像度データバッファ３６ａに一定時間格納するバッファリングを行うことで、ネットワーク伝送によるジッタを除去してから、そのＲＴＰパケットに格納されている高解像度用符号化データを映像デコーダ３８に出力する処理を実施する。
低解像度から高解像度に変更した際に受信する高解像度用符号化データの先頭フレームのデータは、バッファリングせずに直ちに映像デコーダに入力する。以降のフレームの高解像度用符号化データは、先頭フレームをデコーダへ出力したタイミングを起点として、タイムスタンプの時間に合わせて映像デコーダに入力する。
なお、高解像度パケット受信部３５及び高解像度パケット処理部３６から高レイヤ用符号化データ受信手段が構成されている。

再生制御部３７は解像度変更命令送信部３４から映像の解像度を低解像度から高解像度への変更を指示する変更命令が送信される前は、低解像度用符号化データのデコード開始要求を映像デコーダ３８に出力し、その変更命令が送信された後は、高解像度用符号化データのデコード開始要求を映像デコーダ３８に出力する処理などを実施する。
映像デコーダ３８は再生制御部３７から低解像度用符号化データのデコード開始要求を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに蓄積されているＲＴＰパケットに含まれている低解像度用符号化データを取り出して、その低解像度用符号化データをデコードし、再生制御部３７から高解像度用符号化データのデコード開始要求を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに蓄積されているＲＴＰパケットに含まれている低解像度用符号化データと高解像度パケット処理部３６の高解像度データバッファ３６ａに蓄積されているＲＴＰパケットに含まれている高解像度用符号化データのうち、タイムスタンプが同じ低解像度用符号化データと高解像度用符号化データを取り出して、一緒にデコードする処理を実施する。
映像出力部３９は映像デコーダ３８によりデコードされた映像データをモニタ４に出力することで、映像を再生する処理を実施する。
なお、再生制御部３７、映像デコーダ３８及び映像出力部３９から映像再生手段が構成されている。

次に動作について説明する。
最初に、映像の解像度スケーラブル符号化について説明する。
１つの映像が解像度スケーラブル符号化された場合、複数の符号化データグループからなる映像データ（映像符号化ビットストリーム）が生成される。
ここで、図４は映像符号化ビットストリームの一例を示す説明図である。
図４において、符号化ストリームＡは図２の映像データ蓄積部１１により蓄積される低解像度用符号化データに相当し、符号化ストリームＢと符号化ストリームＣは図２の映像データ蓄積部１１により蓄積される高解像度符号化データに相当する。
また、符号化ストリームＢは、低解像度と高解像度の中間の解像度の符号化データに相当する。

符号化ストリームＡだけを復号して再生すると、図４（ｂ）に示すように、横Ｍ画素×縦Ｎ画素の画像が復号される。
符号化ストリームＡと符号化ストリームＢを復号して表示すると、図４（ｃ）に示すように、横２Ｍ画素×縦２Ｎ画素の画像が表示される。
また、符号化ストリームＡと符号化ストリームＢと符号化ストリームＣを復号して表示すると、図４（ｄ）に示すように、横４Ｍ画素×縦４Ｎ画素の画像が表示される。
ただし、ＭとＮは任意の正整数であり、画像の画素数として有意な値を有するものである。

このように、映像符号化ビットストリームの一部分のみを抽出して復号すると、解像度の異なる画像が得られる符号化ビットストリームを解像度スケーラブルな画像とする。
解像度スケーラブルな符号化方式としては、ＪＰＥＧ２０００やＭＰＥＧのＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などの既存の符号化方式を使用することができる。
この実施の形態１では、ＪＰＥＧ２０００を用いる例を説明する。
なお、ＪＰＥＧ２０００は、静止画の符号化方式であるが、時間的に連続している映像データをＪＰＥＧ２０００でスケーラブル符号化し、それらを復号して再生することによりビデオ映像データを再生することができる。

次に、映像送信装置１が低解像度用符号化データをストリーム伝送し、映像受信装置３が低解像度用符号化データを復号して、低解像度の映像を再生する際の処理内容を説明する。
まず、映像送信装置１の送信制御部１３は、低解像度用符号化データの読込をストリーム読込部１４に指示するとともに、低解像度パケットの生成を低解像度パケット生成部１５に指示する。

ストリーム読込部１４は、送信制御部１３から低解像度用符号化データの読込指示を受けると、映像送信装置１内のクロックを参照して、映像データ蓄積部１１から、タイムスタンプにより送信時間のタイミングで送信フレームの低解像度用符号化データの読込を行う。低解像度用符号化データの読込速度は、通常速度（映像受信装置３の映像デコーダ３８における映像の再生速度と同じ速度）である。
ストリーム読込部１４は、映像データ蓄積部１１から低解像度用符号化データを読み込むと、送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に、その低解像度用符号化データを低解像度パケット生成部１５に出力する。

低解像度パケット生成部１５は、送信制御部１３から低解像度パケットの生成指示を受けると、ストリーム読込部１４から出力された１フレーム分の低解像度用符号化データをＲＴＰパケットに分割して格納する。
また、低解像度パケット生成部１５は、ストリーム読込部１４から出力された送信フレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを低解像度パケット送信部１６に出力する。
ただし、低解像度パケット生成部１５は、各ＲＴＰパケットを低解像度パケット送信部１６に出力する際、低解像度パケット送信部１６から送信される各ＲＴＰパケットが、次のフレームのタイムスタンプのタイミングまでに等間隔で送信されるように計算して、各ＲＴＰパケットを低解像度パケット送信部１６に出力する。

低解像度パケット送信部１６は、低解像度パケット生成部１５からＲＴＰパケットを受けると、ＩＰ／ＵＤＰを使用して、そのＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する。
これにより、そのＲＴＰパケットを含むＩＰパケットがＩＰネットワーク２を通じて映像受信装置３に伝送される。

映像受信装置３の低解像度パケット受信部３１は、予め設定されているポート番号のＩＰパケットを受信して、そのＩＰパケットを低解像度パケット処理部３２に出力する。
低解像度パケット処理部３２は、低解像度パケット受信部３１からＩＰパケットを受けると、そのＩＰパケットからＲＴＰパケットを抽出し、そのＲＴＰパケットを内部の低解像度データバッファ３２ａに一定時間格納後、先頭フレームをデコード開始する。その後は先頭フレームをデコードした時間を起点にバッファ内の各フレームのタイムスタンプにあわせて低解像度データバッファ３２ａから取り出して映像デコーダ３８に出力する。
ネットワーク伝送によるジッタを除去してから、そのＲＴＰパケットに格納されている低解像度用符号化データを映像デコーダ３８に出力する。

即ち、低解像度パケット処理部３２は、ＲＴＰパケットのシーケンス番号を参照して、ＲＴＰパケットの入れ替わりが発生している場合には、低解像度データバッファ３２ａ内でＲＴＰパケットの並び替えを行う。
そして、低解像度パケット処理部３２は、一定時間後に、ＲＴＰパケットに格納されているタイムスタンプが示すタイミングで安定的にＲＴＰパケットに格納されている低解像度用符号化データを映像デコーダ３８に与える。
低解像度パケット処理部３２は、規定時間分の低解像度用符号化データが低解像度データバッファ３２ａに蓄積されると、低解像度用符号化データの再生開始要求を再生制御部３７に出力する。

再生制御部３７は、低解像度パケット処理部３２から低解像度用符号化データの再生開始要求を受けると、低解像度用符号化データのデコード開始要求を映像デコーダ３８に出力する。
映像デコーダ３８は、再生制御部３７から低解像度用符号化データのデコード開始要求を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａから、シーケンス番号順に、同一のタイムスタンプを有する低解像度用符号化データを取り出し、その低解像度用符号化データをデコードする。
タイムスタンプは、映像デコーダ３８がデコードする時間を示しているため、同一フレームの低解像度用符号化データが一度に取り出されてデコードされる。

その後、デコードの開始時間を起点として時間管理が行われ、次のフレームのタイムスタンプが示すタイミングになると、映像デコーダ３８が低解像度パケット処理部３２の低解像度データバッファ３２ａから次のフレームの低解像度用符号化データを取り出して、その低解像度用符号化データをデコードする処理が継続される。
映像出力部３９は、映像デコーダ３８が低解像度用符号化データをデコードすると、デコード後の映像データを映像信号としてモニタ４に出力することで、低解像度のビデオ映像をモニタ４上に再生する。

次に、映像送信装置１が高解像度用符号化データ及び低解像度用符号化データをストリーム伝送し、映像受信装置３が高解像度用符号化データ及び低解像度用符号化データを復号して、高解像度の映像を再生する際の処理内容を説明する。
図５は映像送信装置１の処理内容を示すフローチャートであり、図６は映像受信装置３の処理内容を示すフローチャートである。繁雑さを避けるために、フローチャートは、本発明で特徴的な高解像度用符号化データの送受信に着目して作成している。

まず、映像受信装置３の解像度変更命令入力部３３は、解像度の変更命令の入力を受け付ける処理を実施する。
ここでは、映像の解像度を低解像度から高解像度への変更を指示する変更命令（以下、「解像度変更命令（拡大）」と称する）が入力されるものとする。
解像度変更命令送信部３４は、解像度変更命令入力部３３から解像度変更命令（拡大）を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに格納されているＲＴＰパケットのうち、次に映像デコーダ３８に与えられるＲＴＰパケットのタイムスタンプ（次に処理するフレームのタイムスタンプ）を再生制御部３７に問い合わせる。

再生制御部３７は、解像度変更命令送信部３４から上記の問い合わせを受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに格納されているＲＴＰパケットを参照して、次に映像デコーダ３８に与えられるＲＴＰパケットを確認し、そのＲＴＰパケットのタイムスタンプを再生可能位置情報（送信開始タイムスタンプ）として解像度変更命令送信部３４に通知する。
解像度変更命令送信部３４は、再生制御部３７から送信開始タイムスタンプの通知を受けると、その送信開始タイムスタンプと解像度変更命令（拡大）を解像度変更命令パケットに格納し、その解像度変更命令パケットを映像送信装置１に送信する（図６のステップＳＴ２１）。
なお、解像度変更命令は、例えば、１バイトのデータであり、０ｘ００が「拡大」、「０ｘ０１」が縮小の命令を示すものとする。また、それに続く４バイトのデータが送信開始タイムスタンプを示すものとする。

映像送信装置１の解像度変更命令受信部１２は、映像受信装置３から送信された解像度変更命令パケットを受信すると（図５のステップＳＴ１）、その解像度変更命令パケットから送信開始タイムスタンプと解像度変更命令（拡大）を抽出して、その送信開始タイムスタンプと解像度変更命令（拡大）を送信制御部１３に出力する（ステップＳＴ２）。
送信制御部１３は、解像度変更命令受信部１２から送信開始タイムスタンプと解像度変更命令（拡大）を受けると、その送信開始タイムスタンプをストリーム読込部１４に出力するとともに、倍速値Ｘ倍（この実施の形態１では、倍速値が通常の２倍速であるものとする）での高解像度用符号化データの読込をストリーム読込部１４に指示する。
また、送信制御部１３は、高解像度パケットの生成（高解像度パケットの送信）を２倍速で行う指示を高解像度パケット生成部１７に出力する（ステップＳＴ３）。
ここで、ＲＴＰパケットのＲＴＰヘッダに格納するタイムスタンプには、映像データ蓄積部１１に蓄積されている映像データのタイムスタンプを格納する。

ストリーム読込部１４は、送信制御部１３から高解像度用符号化データを２倍速で読み込む指示を受けると、送信制御部１３から出力された送信開始タイムスタンプを高解像度用符号化データの読込開始位置に決定し、その映像データ蓄積部１１から、その送信開始タイムスタンプが付与されている高解像度用符号化データから順番に後続の高解像度用符号化データを２倍速で読み込み、それらの高解像度用符号化データを順番に高解像パケット生成部１７に出力する（ステップＳＴ４）。また、高解像度用符号化データを高解像パケット生成部１７に出力する際、その高解像度用符号化データのタイムスタンプ及び次のフレームのタイムスタンプを高解像パケット生成部１７に出力する。
また、ストリーム読込部１４は、高解像度用符号化データの読込と平行して、映像データ蓄積部１１から、送信時間のタイミングで送信フレームの低解像度用符号化データの読込を行い、送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に、その低解像度用符号化データを低解像度パケット生成部１５に出力する。

高解像度パケット生成部１７は、送信制御部１３から高解像度パケットの生成を２倍速で行う指示を受けると、ストリーム読込部１４から出力された高解像度用符号化データをＲＴＰパケットに分割して格納する。
また、高解像度パケット生成部１７は、ストリーム読込部１４から出力された高解像度用符号化データのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを２倍速で高解像度パケット送信部１８に出力する。
ただし、高解像度パケット生成部１７は、各ＲＴＰパケットを高解像度パケット送信部１８に出力する際、高解像度パケット送信部１８から２倍速で送信される各ＲＴＰパケットが、次のフレームのタイムスタンプのタイミングまでに等間隔で送信されるように計算して、各ＲＴＰパケットを高解像度パケット送信部１８に出力する。

この実施の形態１では、ＪＰＥＧ２０００による伝送を例にしているため、高解像度用符号化データの読込開始位置が、送信制御部１３から出力された送信開始タイムスタンプが付与されている高解像度用符号化データとして問題を生じないが、例えば、ＭＰＥＧのように、フレーム間の情報を用いて符号化を行う符号化方式を用いて、ストリームを伝送する場合には、その送信開始タイムスタンプよりも時間的に後ろに位置するイントラフレームのデータから送信を開始する工夫を行う必要がある。
即ち、高解像度用符号化データの送信を開始するピクチャが先頭ピクチャである場合、フレーム内符号化方式で符号化されているイントラフレームの高解像度用符号化データを送信する必要がある。

高解像度パケット送信部１８は、高解像度パケット生成部１７からＲＴＰパケットを受けると、ＩＰ／ＵＤＰを使用して、そのＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する（ステップＳＴ５）。
また、低解像度パケット送信部１６も、高解像度パケット送信部１８と平行に動作し、低解像度パケット生成部１５からＲＴＰパケットを受けると、ＩＰ／ＵＤＰを使用して、そのＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する。
これにより、ＲＴＰパケット（高解像度用符号化データのＲＴＰパケット又は低解像度用符号化データのＲＴＰパケット）を含むＩＰパケットがＩＰネットワーク２を通じて映像受信装置３に伝送される。

以後、高解像度パケット送信部１８が高解像度用符号化データのＲＴＰパケットの送信を２倍速で継続し、低解像度パケット送信部１６が低解像度用符号化データのＲＴＰパケットの送信を通常速度（１倍速）で継続する。
高解像度パケット生成部１７は、送信制御部１３から高解像度パケットの生成指示を受けた直後は、過去のタイムスタンプの高解像度用符号化データのＲＴＰパケットを生成しているため、低解像度パケット生成部１５により同時刻にＲＴＰパケットが生成されている低解像度用符号化データと比較すると、時間的に前のタイムスタンプが付与されている高解像度用符号化データのＲＴＰパケットを生成していることになる。
しかし、高解像度パケット生成部１７が２倍速でＲＴＰパケットを生成し、高解像度パケット送信部１８が２倍速でＲＴＰパケットを送信しているため、高解像度パケット送信部１８から送信されるＲＴＰパケットのタイムスタンプと、低解像度パケット送信部１６から送信されるＲＴＰパケットのタイムスタンプとの差分が徐々に縮小する。

送信制御部１３は、高解像度パケット生成部１７により生成されたＲＴＰパケットのタイムスタンプと、低解像度パケット生成部１５により生成されたＲＴＰパケットのタイムスタンプとを入手して、双方のタイムスタンプを比較する。
送信制御部１３は、双方のタイムスタンプが一致すると、高解像度用符号化データの伝送タイミングが、低解像度用符号化データの伝送タイミングに追いついたものと判断し（ステップＳＴ６）、高解像度用符号化データの読込を通常の速度（１倍速）に下げる旨をストリーム読込部１４に出力する。
また、送信制御部１３は、高解像度パケットの生成（高解像度パケットの送信）を通常の速度（１倍速）に下げる旨を高解像度パケット生成部１７に出力する（ステップＳＴ７）。

この段階から、ストリーム読込部１４が読み込む高解像度用符号化データのタイムスタンプと、低解像度用符号化データのタイムスタンプが同じになり、高解像度パケット送信部１８から送信されるＲＴＰパケットのタイムスタンプと、低解像度パケット送信部１６から送信されるＲＴＰパケットのタイムスタンプが同じとなる。
したがって、同じタイムスタンプが付与されている高解像度用符号化データ及び低解像度用符号化データのＲＴＰパケットが、同じタイミングで映像受信装置３にストリーム伝送されることになる（ステップＳＴ８，ＳＴ９）。

映像受信装置３の再生制御部３７は、解像度変更命令送信部３４から解像度変更命令（拡大）を含む解像度変更命令パケットが送信されると、高解像度用符号化データの再生開始通知を高解像度パケット処理部３６に出力する。
高解像度パケット処理部３６は、再生制御部３７から高解像度用符号化データの再生開始通知を受けると、ＩＰパケットの受信開始要求を高解像度パケット受信部３５に出力する。
高解像度パケット受信部３５は、高解像度パケット処理部３６からＩＰパケットの受信開始要求を受けると、予め設定されているポート番号のＩＰパケットの受信を開始して、そのＩＰパケットを高解像度パケット処理部３６に出力する（図６のステップＳＴ２２）。
低解像度パケット受信部３１も、高解像度パケット受信部３５と平行に動作し、予め設定されているポート番号のＩＰパケットを受信して、そのＩＰパケットを低解像度パケット処理部３２に出力する。

高解像度パケット処理部３６は、高解像度パケット受信部３５からＩＰパケットを受けると、そのＩＰパケットからＲＴＰパケットを抽出して、そのＲＴＰパケットを内部の高解像度データバッファ３６ａに格納し、先頭フレーム分のＲＴＰパケットを高解像度データバッファ３６ａに蓄積すると、再生が可能である旨を再生制御部３７に通知する。
低解像度パケット処理部３２は、低解像度パケット受信部３１からＩＰパケットを受けると、そのＩＰパケットからＲＴＰパケットに格納されている低解像度用符号化データを抽出し、そのＲＴＰパケットを内部の低解像度データバッファ３２ａに格納する。

再生制御部３７は、高解像度パケット処理部３６から再生可能通知を受けると、高解像度用符号化データのデコード開始要求を映像デコーダ３８に出力する。
映像デコーダ３８は、既に低解像度用符号化データのデコードを開始しており、再生制御部３７から高解像度用符号化データのデコード開始要求を受けたのち、次のフレームのデコードタイミングになると（ステップＳＴ２３）、低解像度パケット処理部３２の低解像度データバッファ３２ａから次のフレームの低解像度用符号化データを取得する（ステップＳＴ２４）。
次に、映像デコーダ３８は、高解像度パケット処理部３６の高解像度データバッファ３６ａに１フレーム分以上の高解像度用符号化データが蓄積されていれば（ステップＳＴ２５）、高解像度データバッファ３６ａに蓄積されている先頭フレームのタイムスタンプを抽出する（ステップＳＴ２６）。

映像デコーダ３８は、高解像度データバッファ３６ａに蓄積されている先頭フレームのタイムスタンプと、次のフレームの低解像度用符号化データのタイムスタンプを比較して、同じタイムスタンプであれば、高解像度データバッファ３６ａに蓄積されている先頭フレームの高解像度用符号化データが、次にデコードする低解像度用符号化データと同一デコードタイミングのデータであると判断し（ステップＳＴ２７）、その高解像度データバッファ３６ａから先頭フレームの高解像度用符号化データを取得する（ステップＳＴ２８）。

映像デコーダ３８は、先頭フレームの高解像度用符号化データを取得すると、その高解像度用符号化データと次のフレームの低解像度用符号化データを一緒にデコードする（ステップＳＴ２９）。
映像出力部３９は、映像デコーダ３８によるデコード後の映像データを映像信号としてモニタ４に出力することで、高解像度のビデオ映像をモニタ４上に再生する。

映像デコーダ３８は、高解像度データバッファ３６ａに蓄積されている先頭フレームのタイムスタンプが、次のフレームの低解像度用符号化データのタイムスタンプより新しい場合（ステップＳＴ３０）、あるいは、高解像度データバッファ３６ａに１フレーム分の高解像度用符号化データが蓄積されていない場合（ステップＳＴ２５）、次のフレームの低解像度用符号化データのみをデコードする（ステップＳＴ３１）。
映像出力部３９は、映像デコーダ３８によるデコード後の映像データを映像信号としてモニタ４に出力することで、低解像度のビデオ映像をモニタ４上に再生する。

なお、映像デコーダ３８は、高解像度データバッファ３６ａに蓄積されている先頭フレームのタイムスタンプが、次のフレームの低解像度用符号化データのタイムスタンプより古い場合（ステップＳＴ３０）、高解像度データバッファ３６ａに蓄積されている先頭フレームを廃棄する（ステップＳＴ３２）。

ここで、図７は映像送信装置１と映像受信装置３間のストリーム伝送の一例を示す説明図である。
図７において、＃と数字は映像のフレームＩＤを表している。タイムスタンプは各フレームに割り付けられており、低解像度用符号化データ、中解像度用符号化データ、高解像度符号化データの同一フレームＩＤに設定されているタイムスタンプは同一のタイムスタンプである。
図７の例では、映像受信装置３から解像度変更命令（拡大）が送信される以前の区間Ａでは、映像送信装置１が、低解像度用符号化データを＃１フレームから＃１５フレームまで送信している。
区間Ｂでは、映像受信装置３が解像度変更命令（拡大）を含む解像度変更命令パケットを映像送信装置１に送信している。
このとき、その解像度変更命令パケットに含まれている送信開始タイムスタンプが“＃１フレーム”を指し示しているものとする。
このため、区間Ｂでは、映像送信装置１が、低解像度用符号化データを＃１６フレームから＃２０フレームまで送信して、高解像度用符号化データを＃１フレームから送信を開始して、＃１０フレームまで送信している。
ここでは、一定フレームレートで、高解像度用符号化データ及び低解像度用符号化データを送信しているものとする。

次の区間Ｃでは、映像送信装置１が低解像度用符号化データをフレーム＃２１からフレーム＃２５まで送信している間に高解像度用符号化データをフレーム＃１１からフレーム＃２０まで送信している。
このように、高解像度用符号化データが２倍速（再生速度より速い伝送速度）で送信されるため、低解像度用符号化データと高解像度用符号化データのフレーム番号の差分が徐々に縮小される。
続いて区間Ｄでは、映像送信装置１が低解像度用符号化データをフレーム＃２６からフレーム＃３０まで送信している間に高解像度用符号化データをフレーム＃２１からフレーム＃３０まで送信している。
これらのデータの送信が終了した時点で、低解像度用符号化データと高解像度用符号化データのフレーム番号が一致しているため、高解像度用符号化データの伝送速度が再生速度と同一に変更される。
そのため、区間Ｅでは、映像送信装置１により続けて送信される低解像度用符号化データのフレーム＃３１〜３５の番号と高解像度用符号化データのフレーム＃３１〜３５の番号が同じになり、以降、低解像度用符号化データと高解像度用符号化データが同期して送信される。

図８は映像受信装置３における低解像度パケット処理部３２の低解像度データバッファ３２ａと、高解像度パケット処理部３６の高解像度データバッファ３６ａの動作を示す説明図である。
図８において、５０は低解像度用符号化データの＃１５フレームを受信した際の低解像度データバッファ３２ａを示し、５１は同時刻の高解像度データバッファ３６ａを示している。
５２は低解像度用符号化データの＃１７フレームを受信する際の低解像度データバッファ３２ａを示し、５３は同時刻の高解像度データバッファ３６ａを示している。
５４は低解像度用符号化データの＃２１フレームを受信する際の低解像度データバッファ３２ａを示し、５５は同時刻の高解像度データバッファ３６ａを示している。
５６は低解像度用符号化データの＃２６フレームを受信する際の低解像度データバッファ３２ａを示し、５７は同時刻の高解像度データバッファ３６ａを示している。
５８は低解像度用符号化データの＃３１フレームを受信する際の低解像度データバッファ３２ａを示し、５９は同時刻の高解像度データバッファ３６ａを示している。

低解像度データバッファ５０及び高解像度データバッファ５１の状態は、図７の区間Ａにおける状態を示している。
この状態では、低解像度用符号化データのみを受信しており、高解像度用符号化データを受信していないため、高解像度データバッファ５１には高解像度用符号化データが格納されていない。
低解像度データバッファ５０では、低解像度用符号化データの＃１フレームから＃１５フレームまでがバッファリングされている。

低解像度用符号化データの受信時に、低解像度データバッファ５０では、一定時間分の低解像度用符号化データをバッファリングし、一定時間分の低解像度用符号化データが蓄積されたら、先頭のパケットからＲＴＰパケットのタイムスタンプのタイミングに合わせて映像デコーダ３８に出力される。
低解像度データバッファ５０では、ＩＰネットワーク２のジッタによるＲＴＰパケットの入れ替わりを修正し、ネットワークジッタによって映像デコーダ３８内でデータのアンダーフローやオーバーフローが発生しないように制御している。
この時点では、低解像度データバッファ５０が、低解像度用符号化データの＃１５フレームの受信を終了し、低解像度用符号化データの＃１フレームが次に映像デコーダ３８に与えられるタイミングである。

低解像度データバッファ５２及び高解像度データバッファ５３の状態は、図７の区間Ｂにおける状態を示している。
この段階では、解像度変更命令（拡大）が映像受信装置３から映像送信装置１に送信され、映像送信装置１から高解像度用符号化データのストリーム伝送が開始されている。
解像度変更命令（拡大）は、低解像度データバッファ５０の状態で送信されているため、送信開始タイムスタンプとしては、＃１フレームのタイムスタンプが送信される。
その後、低解像度用符号化データに加え、新たに高解像度用符号化データが映像送信装置１からストリーム伝送される。
低解像度データバッファ５２の段階では、低解像度用符号化データの＃１７フレームを受信中であり、低解像度用符号化データの＃１フレームを映像デコーダ３８に与えたところである。

高解像度用符号化データは映像送信装置１から再生速度の２倍の速度で送信されているため、低解像度用符号化データの＃１６フレームと＃１７フレームを構成するＲＴＰパケットを映像受信装置３が受信している間に、高解像度用符号化データの＃１，＃２，＃３，＃４フレームを構成するＲＴＰパケットを受信し、高解像度用符号化データの＃１フレームが揃い次第、映像デコーダ３８に取り込まれる。低解像度用符号化データと高解像度用符号化データの＃１フレームは、映像デコーダ３８が同時に取り込んだものとする。
高解像度データバッファ５３に格納されている継続するＲＴＰパケットは、＃１フレームが映像デコーダ３８に出力されたタイミングを起点に、後続する高解像度用符号化データのタイムスタンプのタイミングで映像デコーダ３８に取り込まれる。
ここからは、低解像度用符号化データと高解像度用符号化データが揃って映像デコーダ３８にデコードされ、高解像度の映像データが映像出力部３９に出力されてモニタ４に表示される。

低解像度データバッファ５４及び高解像度データバッファ５５の状態は、図７の区間Ｃにおける状態を示している。
区間Ｂから区間Ｃに移行する間に、低解像度データバッファ５４及び高解像度データバッファ５５から低解像度用符号化データ及び高解像度用符号化データの＃２，＃３，＃４，＃５フレームがそれぞれのタイムスタンプのタイミングで映像デコーダ３８に出力され、高解像度映像である＃２，＃３，＃４，＃５フレームがモニタ４に表示される。
この段階では、高解像度用符号化データが、再生速度の２倍の速度でストリーム伝送されてくるため、徐々に高解像度データバッファ５５内のデータ量が増加している。高解像度データバッファ５５には、高解像度用符号化データの＃６フレーム〜＃１０フレームを構成するＲＴＰパケットが蓄積されている。

低解像度データバッファ５６及び高解像度データバッファ５７の状態は、図７の区間Ｄにおける状態を示している。
区間Ｃから区間Ｄに移行する間に、低解像度データバッファ５６及び高解像度データバッファ５７から低解像度用符号化データ及び高解像度用符号化データの＃６，＃７，＃８，＃９，＃１０フレームがそれぞれのタイムスタンプのタイミングで映像デコーダ３８に出力され、高解像度映像である＃６，＃７，＃８，＃９，＃１０フレームがモニタ４に表示される。
この段階でも、高解像度用符号化データが、再生速度の２倍の速度で送信されており、高解像度データバッファ５７には、高解像度用符号化データの＃１１フレーム〜＃２０フレームを構成するＲＴＰパケットが蓄積されている。

低解像度データバッファ５８及び高解像度データバッファ５９の状態は、図７の区間Ｅにおける状態を示している。
区間Ｄから区間Ｅに移行する間に、低解像度データバッファ５８と高解像度データバッファ５９から低解像度用符号化データ及び高解像度用符号化データの＃１１，＃１２，＃１３，＃１４，＃１５フレームがそれぞれのタイムスタンプのタイミングで映像デコーダ３８に出力され、高解像度映像である＃１１，＃１２，＃１３，＃１４，＃１５フレームがモニタ４に表示される。
この段階まで、高解像度用符号化データが、再生速度の２倍の速度で送信されており、高解像度データバッファ５９には、高解像度用符号化データの＃１６フレーム〜＃３０フレームを構成するＲＴＰパケットが蓄積されている。
この段階で、低解像度データバッファ５８にも、低解像度用符号化データの＃１６〜＃３０フレームを構成するＲＴＰパケットが蓄積されており、低解像度用符号化データ及び高解像度用符号化データのいずれも次に受信するのは、＃３１フレームを構成するＲＴＰパケットになる。

この段階で、映像送信装置１は、同一タイミングの低解像度用符号化データと高解像度用符号化データを送信することになり、高解像度用符号化データの送信速度は通常速度に変更される。
このように、この実施の形態１では、映像受信装置３が解像度変更命令（拡大）を映像送信装置１に送信すると、その直後に表示する＃１フレームの映像から高解像度映像の再生が可能であり、バッファリングを行いながら、低遅延で映像の解像度を拡大することが可能となる。

次に、映像の解像度を高解像度から低解像度に切り替える場合の処理内容を簡単に説明する。
まず、映像受信装置３の解像度変更命令入力部３３は、解像度の変更命令の入力を受け付ける処理を実施する。
ここでは、映像の解像度を高解像度から低解像度への変更を指示する変更命令（以下、「解像度変更命令（縮小）」と称する）が入力されるものとする。
解像度変更命令送信部３４は、解像度変更命令入力部３３から解像度変更命令（縮小）を受けると、高解像度パケット再生終了要求を再生制御部３７に出力するとともに、その解像度変更命令（縮小）を解像度変更命令パケットに格納し、その解像度変更命令パケットを映像送信装置１に送信する。

再生制御部３７は、解像度変更命令送信部３４から高解像度パケット再生終了要求を受けると、その高解像度パケット再生終了要求を高解像度パケット処理部３６及び映像デコーダ３８に転送する。
高解像度パケット処理部３６は、再生制御部３７から高解像度パケット再生終了要求を受けると、パケット受信終了要求を高解像度パケット受信部３５に出力し、内部の高解像度データバッファ３６ａに蓄積されている高解像度用符号化データをクリアする。
高解像度パケット受信部３５は、高解像度パケット処理部３６からパケット受信終了要求を受けると、ＩＰパケットの受信処理を終了する。

映像デコーダ３８は、再生制御部３７から高解像度パケット再生終了要求を受けると、高解像度データバッファ３６ａから高解像度用符号化データを取り込んで、その高解像度用符号化データをデコードする処理を終了し、低解像度データバッファ３２ａから低解像度用符号化データを取り込んで、その低解像度用符号化データをデコードする処理を継続する。
映像出力部３９は、映像デコーダ３８が低解像度用符号化データをデコードすると、デコード後の映像データを映像信号としてモニタ４に出力することで、低解像度のビデオ映像をモニタ４上に再生する。

映像送信装置１の解像度変更命令受信部１２は、映像受信装置３から送信された解像度変更命令パケットを受信すると、その解像度変更命令パケットから解像度変更命令（縮小）を抽出して、その解像度変更命令（縮小）を送信制御部１３に出力する。
送信制御部１３は、解像度変更命令受信部１２から解像度変更命令（縮小）を受けると、高解像度データ送信終了要求をストリーム読込部１４及び高解像度パケット生成部１７に出力する。

ストリーム読込部１４は、送信制御部１３から高解像度データ送信終了要求を受けると、映像データ蓄積部１１から高解像度用符号化データを読み込む処理を終了し、低解像度用符号化データを読み込む処理を継続する。
高解像度パケット生成部１７は、送信制御部１３から高解像度データ送信終了要求を受けると、高解像度パケット送信終了要求を高解像度パケット送信部１８に出力し、高解像度用符号化データを格納するＲＴＰパケットの生成処理を終了する。
高解像度パケット送信部１８は、高解像度パケット生成部１７から高解像度パケット送信終了要求を受けると、ＩＰパケットの送信処理を終了する。

以上で明らかなように、この実施の形態１によれば、解像度変更命令受信部１２により解像度変更命令（拡大）が受信されると、映像データ蓄積部１１により蓄積されている高解像度用符号化データのうち、低解像度パケット送信部１６により現在ストリーム伝送されている低解像度用符号化データよりも復号するタイミングが時間的に前の高解像度用符号化データを映像受信装置３に送信し、その後、低解像度パケット送信部１６によりストリーム伝送される低解像度用符号化データと復号するタイミングが同一の高解像度用符号化データを映像受信装置３にストリーム伝送するように構成したので、ネットワーク帯域の非効率な使用を招くことなく、高解像度の映像が再生されるまで要する時間を短縮することができる効果を奏する。
即ち、解像度変更命令（拡大）が入力された時点で、既に低解像度データバッファ３２ａに蓄積されているが、まだ映像デコーダ３８にデコードされていない低解像度用符号化データのタイムスタンプが示すタイミングの映像についても、高解像度で再生することができるようになり、高解像度の映像が再生されるまで要する時間を短縮することができる効果を奏する。

また、この実施の形態１によれば、低解像度パケット送信部１６により現在ストリーム伝送されている低解像度用符号化データよりも復号するタイミングが時間的に前の高解像度用符号化データを映像受信装置３に送信する際、映像受信装置３における映像の再生速度の２倍の伝送速度で高解像度用符号化データのストリーム伝送を開始し、これからストリーム伝送する高解像度用符号化データのタイムスタンプが、これからストリーム伝送する低解像度用符号化データのタイムスタンプに追いつくと、その高解像度用符号化データの伝送速度を映像受信装置３における映像の再生速度と同一の速度に変更するように構成したので、解像度変更命令（拡大）が入力された時点より時間的に前の高解像度用符号化データを短時間で伝送することができるようになり、高解像度の映像が再生されるまで要する時間を短縮することができる効果を奏する。

また、この実施の形態１によれば、高解像度用符号化データの送信を開始するピクチャが先頭ピクチャである場合、フレーム内符号化方式で符号化されているイントラフレームの高解像度用符号化データを送信するように構成したので、フレーム間符号化方式で映像の解像度スケーラブル符号化が行われている場合でも、実施の形態１の方式を適用することができる効果を奏する。

さらに、この実施の形態１によれば、高解像度の映像を再生する際、低解像度パケット受信部３１によりストリーム受信された低解像度用符号化データのバッファリング処理を実施する一方、高解像度パケット受信部３５により受信された高解像度用符号化データについてはバッファリング処理を実施せずに、直ちに高解像度用符号化データとバッファリング処理後の低解像度用符号化データを一緒に復号するように構成したので、解像度変更命令（拡大）が入力された時点の直後から高解像度の映像を再生することができる効果を奏する。

実施の形態２．
図９はこの発明の実施の形態２による映像送信装置１を示す構成図であり、図において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
映像データ蓄積部２１は映像が解像度スケーラブル符号化されている映像データであって、低解像度の映像の復号が可能な低解像度用符号化データの他に、その低解像度用符号化データと一緒に復号すれば、中解像度の映像（中レイヤの映像）の復号が可能な中解像度用符号化データ（中レイヤ用符号化データ）と、その低解像度用符号化データ及び中解像度用符号化データと一緒に復号すれば、高解像度の映像の復号が可能な高解像度用符号化データとを含む映像データを蓄積するハードディスクなどの記録媒体である。
映像データ蓄積部２１により蓄積される映像データの各フレームには、映像のデコード及び再生を行う際のタイミングを示すタイムスタンプが付与されているものとする。
なお、映像データ蓄積部２１は映像データ蓄積手段を構成している。

送信制御部２２は図２の送信制御部１３と同様に、低解像度用符号化データの読込をストリーム読込部２３に指示するとともに、低解像度パケットの生成を低解像度パケット生成部１５に指示する処理を実施する。
また、送信制御部２２は解像度変更命令受信部１２により解像度変更命令（拡大）が受信された場合、倍速値Ｘ倍での中解像度用符号化データの読込をストリーム読込部２３に指示するとともに、中解像度パケットの生成を倍速値Ｘ倍で行う指示を中解像度パケット生成部２４に出力し、その後、これからストリーム伝送する中解像度用符号化データのタイムスタンプが、これから低解像度パケット受信部１６によりストリーム伝送される低解像度用符号化データのタイムスタンプに追いつくと、通常速度での中解像度用符号化データの読込をストリーム読込部２３に指示するとともに、中解像度パケットの生成を通常速度で行う指示を中解像度パケット生成部２４に出力する処理を実施する。
また、送信制御部２２は中解像度用符号化データのタイムスタンプが低解像度用符号化データのタイムスタンプに追いつくと、高解像度用符号化データの読込をストリーム読込部２３に指示するとともに、高解像度パケットの生成を高解像度パケット生成部２６に指示する処理を実施する。

ストリーム読込部２３は図２のストリーム読込部１４と同様に、送信制御部２２から低解像度用符号化データの読込指示を受けると、映像送信装置１内のクロックを参照して、映像データ蓄積部２１から、送信時間のタイミングで送信フレームの低解像度用符号化データを読み込み、その低解像度用符号化データを送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に低解像度パケット生成部１５に出力する処理を実施する。
また、ストリーム読込部２３は送信制御部２２から中解像度用符号化データの読込指示を受けると、映像データ蓄積部２１から読み込む低解像度用符号化データよりも復号するタイミングが時間的に前の中解像度用符号化データを倍速値Ｘ倍で読み込んで、その中解像度用符号化データをタイムスタンプと一緒に中解像度パケット生成部２４に出力し、その後、映像データ蓄積部２１から読み込む低解像度用符号化データと復号するタイミングが同一の中解像度用符号化データを通常の速度で読み込み、その中解像度用符号化データを送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に中解像度パケット生成部２４に出力する処理を実施する。
また、ストリーム読込部２３は送信制御部２２から高解像度用符号化データの読込指示を受けると、映像データ蓄積部２１から、送信時間のタイミングで送信フレームの高解像度用符号化データを読み込み、その高解像度用符号化データを送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に高解像度パケット生成部２６に出力する処理を実施する。

中解像度パケット生成部２４は送信制御部２２から中解像度パケットの生成を倍速値Ｘ倍で行う指示を受けると、ストリーム読込部２３から出力された中解像度用符号化データをＲＴＰパケットに分割して格納するとともに、そのフレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを倍速値Ｘ倍で中解像度パケット送信部２５に出力する処理を実施する。
また、中解像度パケット生成部２４は送信制御部２２から中解像度パケットの生成を通常速度で行う指示を受けると、ストリーム読込部２３から出力された１フレーム分の中解像度用符号化データをＲＴＰパケットに分割して格納するとともに、そのフレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを中解像度パケット送信部２５に出力する処理を実施する。
中解像度パケット送信部２５はＩＰ／ＵＤＰを使用して、中解像度パケット生成部２４から出力された各ＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する処理を実施する。
なお、送信制御部２２、ストリーム読込部２３、中解像度パケット生成部２４及び中解像度パケット送信部２５から中レイヤ用符号化データ送信手段が構成されている。

高解像度パケット生成部２６は送信制御部２２から高解像度パケットの生成指示を受けると、ストリーム読込部２２から出力された１フレーム分の高解像度用符号化データをＲＴＰパケットに分割して格納するとともに、そのフレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを高解像度パケット送信部２７に出力する処理を実施する。
高解像度パケット送信部２７はＩＰ／ＵＤＰを使用して、高解像度パケット生成部２６から出力された各ＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する処理を実施する。
なお、送信制御部２２、ストリーム読込部２３、高解像度パケット生成部２６及び高解像度パケット送信部２７から高レイヤ用符号化データ送信手段が構成されている。
また、送信制御部２２及びストリーム読込部２３は低レイヤ用符号化データ送信手段も構成している。

図１０はこの発明の実施の形態２による映像受信装置３を示す構成図であり、図において、図３と同一符号は同一又は相当部分を示すので説明を省略する。
中解像度パケット受信部４１は解像度変更命令送信部３４から解像度変更命令（拡大）が送信されたのち、予め設定されているポート番号のＩＰパケットを受信して、そのＩＰパケットを中解像度パケット処理部４２に出力する処理を実施する。
中解像度パケット処理部４２は中解像度パケット受信部４１から出力されたＩＰパケットからＲＴＰパケットを抽出し、そのＲＴＰパケットを内部の中解像度データバッファ４２ａに一定時間格納するバッファリングを行うことで、ネットワーク伝送によるジッタを除去してから、そのＲＴＰパケットに格納されている中解像度用符号化データを映像デコーダ４６に出力する処理を実施する。
ただし、中解像度用符号化データのタイムスタンプが、低解像度用符号化データのタイムスタンプに追いつくまでの間は、その中解像度用符号化データを含むＲＴＰパケットのバッファリングは実施せずに、直ちに、そのＲＴＰパケットに格納されている高解像度用符号化データを映像デコーダ４６に出力するようにする。
なお、中解像度パケット受信部４１及び中解像度パケット処理部４２から中レイヤ用符号化データ受信手段が構成されている。

高解像度パケット受信部４３は解像度変更命令送信部３４から解像度変更命令（拡大）が送信されたのち、予め設定されているポート番号のＩＰパケットを受信して、そのＩＰパケットを高解像度パケット処理部４４に出力する処理を実施する。
高解像度パケット処理部４４は高解像度パケット受信部４３から出力されたＩＰパケットからＲＴＰパケットを抽出し、そのＲＴＰパケットを内部の高解像度データバッファ４４ａに一定時間格納するバッファリングを行うことで、ネットワーク伝送によるジッタを除去してから、そのＲＴＰパケットに格納されている高解像度用符号化データを映像デコーダ４６に出力する処理を実施する。
なお、高解像度パケット受信部４３及び高解像度パケット処理部４４から高レイヤ用符号化データ受信手段が構成されている。

再生制御部４５は解像度変更命令送信部３４から解像度変更命令（拡大）が送信される前は、低解像度用符号化データのデコード開始要求を映像デコーダ４６に出力し、その解像度変更命令（拡大）が送信された後は、中解像度用符号化データのデコード開始要求を映像デコーダ４６に出力し、さらに、中解像度データバッファ４２ａに１フレーム分の中解像度用符号化データが蓄積されると、中解像度用符号化データのデコード開始要求を映像デコーダ４６に出力する処理などを実施する。

映像デコーダ４６は再生制御部４５から低解像度用符号化データのデコード開始要求を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに蓄積されているＲＴＰパケットに含まれている低解像度用符号化データを取り出して、その低解像度用符号化データをデコードし、再生制御部４５から中解像度用符号化データのデコード開始要求を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに蓄積されているＲＴＰパケットに含まれている低解像度用符号化データと中解像度パケット処理部４２の中解像度データバッファ４２ａに蓄積されているＲＴＰパケットに含まれている中解像度用符号化データのうち、タイムスタンプが同じ低解像度用符号化データと中解像度用符号化データを取り出して、一緒にデコードする処理を実施する。
また、映像デコーダ４６は再生制御部４５から高解像度用符号化データのデコード開始要求を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに蓄積されているＲＴＰパケットに含まれている低解像度用符号化データと中解像度パケット処理部４２の中解像度データバッファ４２ａに蓄積されているＲＴＰパケットに含まれている中解像度用符号化データと高解像度パケット処理部４４の高解像度データバッファ４４ａに蓄積されているＲＴＰパケットに含まれている高解像度用符号化データのうち、タイムスタンプが同じ低解像度用符号化データと中解像度用符号化データと高解像度用符号化データを取り出して、一緒にデコードする処理を実施する。
なお、再生制御部４５、映像デコーダ４６及び映像出力部３９から映像再生手段が構成されている。

次に動作について説明する。
この実施の形態２では、映像データ蓄積部２１により蓄積されている映像データが、低解像度、中解像度、高解像度の３つのレイヤに分割されている符号化データ（映像ストリームデータ）である例を説明する。
映像送信装置１が低解像度用符号化データをストリーム伝送し、映像受信装置３が低解像度用符号化データを復号して、低解像度の映像を再生する際の処理内容は、上記実施の形態１と同様であるため説明を省略する。
映像送信装置１が高解像度用符号化データ、中解像度用符号化データ及び低解像度用符号化データをストリーム伝送し、映像受信装置３が高解像度用符号化データ、中解像度用符号化データ及び低解像度用符号化データを復号して、高解像度の映像を再生する際の処理内容を説明する。

まず、映像受信装置３の解像度変更命令入力部３３は、解像度の変更命令の入力を受け付ける処理を実施する。
解像度変更命令送信部３４は、解像度変更命令入力部３３が解像度変更命令（拡大）の入力を受け付けると、上記実施の形態１と同様に、低解像度パケット処理部３２の低解像度データバッファ３２ａに格納されているＲＴＰパケットのうち、次に映像デコーダ４６に与えられるＲＴＰパケットのタイムスタンプ（次に処理するフレームのタイムスタンプ）を再生制御部４５に問い合わせる。

再生制御部４５は、解像度変更命令送信部３４から上記の問い合わせを受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに格納されているＲＴＰパケットを参照して、次に映像デコーダ４６に与えられるＲＴＰパケットを確認し、そのＲＴＰパケットのタイムスタンプを再生可能位置情報（送信開始タイムスタンプ）として解像度変更命令送信部３４に通知する。
解像度変更命令送信部３４は、再生制御部４５から送信開始タイムスタンプの通知を受けると、上記実施の形態１と同様に、その送信開始タイムスタンプと解像度変更命令（拡大）を解像度変更命令パケットに格納し、その解像度変更命令パケットを映像送信装置１に送信する。

映像送信装置１の解像度変更命令受信部１２は、映像受信装置３から送信された解像度変更命令パケットを受信すると、上記実施の形態１と同様に、その解像度変更命令パケットから送信開始タイムスタンプと解像度変更命令（拡大）を抽出して、その送信開始タイムスタンプと解像度変更命令（拡大）を送信制御部２２に出力する。
送信制御部２２は、解像度変更命令受信部１２から送信開始タイムスタンプと解像度変更命令（拡大）を受けると、その送信開始タイムスタンプをストリーム読込部２３に出力するとともに、倍速値Ｘ倍（この実施の形態２では、倍速値が通常の２倍速であるものとする）での中解像度用符号化データの読込をストリーム読込部２３に指示する。
また、送信制御部２２は、中解像度パケットの生成（中解像度パケットの送信）を２倍速で行う指示を中解像度パケット生成部２４に出力する。
ここで、ＲＴＰパケットのＲＴＰヘッダに格納するタイムスタンプと映像データ蓄積部２１に蓄積されている映像データのタイムスタンプは同一のものであるとする。

ストリーム読込部２３は、送信制御部２２から中解像度用符号化データを２倍速で読み込む指示を受けると、送信制御部２２から出力された送信開始タイムスタンプを中解像度用符号化データの読込開始位置に決定し、映像データ蓄積部２１に送信可能な中解像度用符号化データが蓄積されていれば、その映像データ蓄積部２１から、その送信開始タイムスタンプが付与されている中解像度用符号化データから順番に後続の中解像度用符号化データを２倍速で読み込み、それらの中解像度用符号化データを順番に中解像度パケット生成部２４に出力する。また、中解像度用符号化データを中解像度パケット生成部２４に出力する際、その中解像度用符号化データのタイムスタンプ及び次のフレームのタイムスタンプを中解像パケット生成部２４に出力する。
また、ストリーム読込部２３は、中解像度用符号化データの読込と平行して、映像データ蓄積部２１から、送信時間のタイミングで送信フレームの低解像度用符号化データの読込を行い、送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に、その低解像度用符号化データを低解像度パケット生成部１５に出力する。

中解像度パケット生成部２４は、送信制御部２２から中解像度パケットの生成を２倍速で行う指示を受けると、ストリーム読込部２３から出力された中解像度用符号化データをＲＴＰパケットに分割して格納する。
また、中解像度パケット生成部２４は、ストリーム読込部２３から出力された中解像度用符号化データのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを２倍速で中解像度パケット送信部２５に出力する。
ただし、中解像度パケット生成部２４は、各ＲＴＰパケットを中解像度パケット送信部２５に出力する際、中解像度パケット送信部２５から２倍速で送信される各ＲＴＰパケットが、次のフレームのタイムスタンプのタイミングまでに等間隔で送信されるように計算して、各ＲＴＰパケットを中解像度パケット送信部２５に出力する。

この実施の形態２では、ＪＰＥＧ２０００による伝送を例にしているため、中解像度用符号化データの読込開始位置が、送信制御部２２から出力された送信開始タイムスタンプが付与されている中解像度用符号化データとして問題を生じないが、例えば、ＭＰＥＧのように、フレーム間の情報を用いて符号化を行う符号化方式を用いて、ストリームを伝送する場合には、その送信開始タイムスタンプよりも時間的に後ろに位置するイントラフレームのデータから送信を開始する工夫を行う必要がある。
即ち、中解像度用符号化データの送信を開始するピクチャが先頭ピクチャである場合、フレーム内符号化方式で符号化されているイントラフレームの中解像度用符号化データを送信する必要がある。

中解像度パケット送信部２５は、中解像度パケット生成部２４からＲＴＰパケットを受けると、ＩＰ／ＵＤＰを使用して、そのＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する。
また、低解像度パケット送信部１６も、中解像度パケット送信部２５と平行に動作し、低解像度パケット生成部１５からＲＴＰパケットを受けると、ＩＰ／ＵＤＰを使用して、そのＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する。
これにより、ＲＴＰパケット（中解像度用符号化データのＲＴＰパケット又は低解像度用符号化データのＲＴＰパケット）を含むＩＰパケットがＩＰネットワーク２を通じて映像受信装置３に伝送される。

以後、中解像度パケット送信部２５が中解像度用符号化データのＲＴＰパケットの送信を２倍速で継続し、低解像度パケット送信部１６が低解像度用符号化データのＲＴＰパケットの送信を通常速度（１倍速）で継続する。
中解像度パケット生成部２４は、送信制御部２２から中解像度パケットの生成指示を受けた直後は、過去のタイムスタンプ（送信制御部２２から出力された送信開始タイムスタンプ）の中解像度用符号化データのＲＴＰパケットを生成しているため、低解像度パケット生成部１５により同時刻にＲＴＰパケットが生成されている低解像度用符号化データと比較すると、時間的に前のタイムスタンプが付与されている中解像度用符号化データのＲＴＰパケットを生成していることになる。
しかし、中解像度パケット生成部２４が２倍速でＲＴＰパケットを生成し、中解像度パケット送信部２５が２倍速でＲＴＰパケットを送信しているため、中解像度パケット送信部２５から送信されるＲＴＰパケットのタイムスタンプと、低解像度パケット送信部１６から送信されるＲＴＰパケットのタイムスタンプとの差分が徐々に縮小する。

送信制御部２２は、中解像度パケット生成部２４により生成されたＲＴＰパケットのタイムスタンプと、低解像度パケット生成部１５により生成されたＲＴＰパケットのタイムスタンプとを入手して、双方のタイムスタンプを比較する。
送信制御部２２は、双方のタイムスタンプが一致すると、中解像度用符号化データの伝送タイミングが、低解像度用符号化データの伝送タイミングに追いついたものと判断し、中解像度用符号化データの読込を通常の速度（１倍速）に下げる旨をストリーム読込部２３に出力するとともに、高解像度用符号化データの読込指示をストリーム読込部２３に出力する。
また、送信制御部２２は、中解像度パケットの生成（中解像度パケットの送信）を通常の速度（１倍速）に下げる旨を中解像度パケット生成部２４に出力するとともに、高解像度パケットの生成（高解像度パケットの送信）指示を高解像度パケット生成部２６に出力する。

この段階から、ストリーム読込部２３が読み込む中解像度用符号化データのタイムスタンプと、低解像度用符号化データのタイムスタンプが同じになり、中解像度パケット送信部２５から送信されるＲＴＰパケットのタイムスタンプと、低解像度パケット送信部１６から送信されるＲＴＰパケットのタイムスタンプが同じなる。
また、ストリーム読込部２３から低解像度用符号化データ及び中解像度用符号化データのタイムスタンプと同じタイムスタンプの高解像度用符号化データが読み込まれ、高解像度パケット送信部２７から送信される。
したがって、同じタイムスタンプが付与されている高解像度用符号化データ、中解像度用符号化データ及び低解像度用符号化データのＲＴＰパケットが、同じタイミングで映像受信装置３にストリーム伝送されることになる。

映像受信装置３の再生制御部４５は、解像度変更命令送信部３４から解像度変更命令（拡大）を含む解像度変更命令パケットが送信されると、中解像度用符号化データの再生開始通知を中解像度パケット処理部４２に出力し、高解像度用符号化データの再生開始通知を高解像度パケット処理部４４に出力する。
中解像度パケット処理部４２は、再生制御部４５から中解像度用符号化データの再生開始通知を受けると、ＩＰパケットの受信開始要求を中解像度パケット受信部４１に出力する。
中解像度パケット受信部４１は、中解像度パケット処理部４２からＩＰパケットの受信開始要求を受けると、予め設定されているポート番号のＩＰパケットの受信を開始して、そのＩＰパケットを中解像度パケット処理部４２に出力する。

高解像度パケット処理部４４は、再生制御部４５から高解像度用符号化データの再生開始通知を受けると、ＩＰパケットの受信開始要求を高解像度パケット受信部４３に出力する。
高解像度パケット受信部４３は、高解像度パケット処理部４４からＩＰパケットの受信開始要求を受けると、予め設定されているポート番号のＩＰパケットの受信を開始して、そのＩＰパケットを高解像度パケット処理部４４に出力する。
低解像度パケット受信部３１も、中解像度パケット受信部４１及び高解像度パケット受信部４３と平行に動作し、予め設定されているポート番号のＩＰパケットを受信して、そのＩＰパケットを低解像度パケット処理部３２に出力する。

中解像度パケット処理部４２は、中解像度パケット受信部４１からＩＰパケットを受けると、そのＩＰパケットからＲＴＰパケットを抽出して、そのＲＴＰパケットを内部の中解像度データバッファ４２ａに格納し、先頭フレーム分のＲＴＰパケットを中解像度データバッファ４２ａに蓄積すると、再生が可能である旨を再生制御部４５に通知する。
高解像度パケット処理部４４は、高解像度パケット受信部４３からＩＰパケットを受けると、そのＩＰパケットからＲＴＰパケットを抽出して、そのＲＴＰパケットを内部の高解像度データバッファ４４ａに格納し、一定時間のバッファリングが終了すると、再生が可能である旨を再生制御部４５に通知する。
低解像度パケット処理部３２は、低解像度パケット受信部３１からＩＰパケットを受けると、そのＩＰパケットからＲＴＰパケットを抽出し、そのＲＴＰパケットを内部の低解像度データバッファ３２ａに格納する。

再生制御部４５は、中解像度パケット処理部４２から再生可能通知を受けると、中解像度用符号化データのデコード開始要求を映像デコーダ４６に出力する。
また、高解像度パケット処理部４４から再生可能通知を受けると、高解像度用符号化データのデコード開始要求を映像デコーダ４６に出力する。
映像デコーダ４６は、既に低解像度用符号化データのデコードを開始しており、再生制御部４５から中解像度用符号化データのデコード開始要求を受けたのち、次のフレームのデコードタイミングになると、低解像度パケット処理部３２の低解像度データバッファ３２ａから次のフレームの低解像度用符号化データを取得する。
次に、映像デコーダ４６は、中解像度パケット処理部４２の中解像度データバッファ４２ａに１フレーム分以上の中解像度用符号化データが蓄積されていれば、中解像度データバッファ４２ａに蓄積されている先頭フレームのタイムスタンプを抽出する。

映像デコーダ４６は、中解像度データバッファ４２ａに蓄積されている先頭フレームのタイムスタンプと、次のフレームの低解像度用符号化データのタイムスタンプを比較して、同じタイムスタンプであれば、中解像度データバッファ４２ａに蓄積されている先頭フレームの中解像度用符号化データが、次にデコードする低解像度用符号化データと同一デコードタイミングのデータであると判断し、中解像度データバッファ４２ａから先頭フレームの中解像度用符号化データを取得する。

映像デコーダ４６は、先頭フレームの中解像度用符号化データを取得すると、その中解像度用符号化データと次にデコードする低解像度用符号化データを一緒にデコードする。
映像出力部３９は、映像デコーダ４６によるデコード後の映像データを映像信号としてモニタ４に出力することで、中解像度のビデオ映像をモニタ４上に再生する。
映像デコーダ４６は、中解像度データバッファ４２ａに蓄積されている先頭フレームのタイムスタンプが、次にデコードする低解像度用符号化データのタイムスタンプより新しい場合、あるいは、中解像度データバッファ４２ａに１フレーム分の中解像度用符号化データが蓄積されていない場合、次のフレームの低解像度用符号化データのみをデコードする。
映像出力部３９は、映像デコーダ４６によるデコード後の映像データを映像信号としてモニタ４に出力することで、低解像度のビデオ映像をモニタ４上に再生する。
なお、映像デコーダ４６は、中解像度データバッファ４２ａに蓄積されている先頭フレームのタイムスタンプが、次のフレームの低解像度用符号化データのタイムスタンプより古い場合、中解像度データバッファ４２ａに蓄積されている先頭フレームを廃棄する。送信側で送出する低解像度符号化データと中解像度符号化データのタイムスタンプが同一になった段階で、中解像度データの送信速度が１倍速になり、高解像度用符号化データの送出が開始される。

映像デコーダ４６は、再生制御部４５から高解像度用符号化データのデコード開始要求を受けると、次のフレームのデコードタイミングで、低解像度パケット処理部３２の低解像度データバッファ３２ａから次のフレームの低解像度用符号化データを取得するとともに、中解像度パケット処理部４２の中解像度データバッファ４２ａから次のフレームの中解像度用符号化データを取得し、高解像度パケット処理部４４の高解像度データバッファ４４ａから次のフレームの高解像度用符号化データを取得する。

映像デコーダ４６は、取得した低解像度用符号化データのタイムスタンプと、中解像度用符号化データのタイムスタンプと、高解像度用符号化データのタイムスタンプとを比較して、それらのタイムスタンプが一致していれば、その低解像度用符号化データと中解像度用符号化データと高解像度用符号化データを一緒にデコードする。
映像出力部３９は、映像デコーダ４６によるデコード後の映像データを映像信号としてモニタ４に出力することで、高解像度のビデオ映像をモニタ４上に再生する。

ここで、図１１は映像送信装置１と映像受信装置３間のストリーム伝送の一例を示す説明図である。
図１１において、＃と数字は映像のフレームＩＤを表している。タイムスタンプは各フレームに割り付けられており、低解像度用符号化データ、中解像度用符号化データ、高解像度符号化データの同一フレームＩＤに設定されているタイムスタンプは同一のタイムスタンプである。
図１１の例では、映像受信装置３から解像度変更命令（拡大）が送信される以前の区間Ｆでは、映像送信装置１が、低解像度用符号化データを＃１フレームから＃１５フレームまで送信している。
区間Ｇでは、映像受信装置３が解像度変更命令（拡大）を含む解像度変更命令パケットを映像送信装置１に送信している。
このとき、その解像度変更命令パケットに含まれている送信開始タイムスタンプが“＃１フレーム”を指し示しているものとする。
このため、区間Ｇでは、映像送信装置１が、低解像度用符号化データを＃１６フレームから＃２０フレームまで送信して、中解像度用符号化データを＃１フレームから＃１０フレームまで送信している。
ここでは、一定フレームレートで、中解像度用符号化データ及び低解像度用符号化データを送信しているものとする。

次の区間Ｈでは、映像送信装置１が低解像度用符号化データをフレーム＃２１からフレーム＃２５まで送信している間に、中解像度用符号化データをフレーム＃１１からフレーム＃２０まで送信している。
このように、中解像度用符号化データが２倍速（再生速度より速い伝送速度）で送信されるため、低解像度用符号化データと中解像度用符号化データのフレーム番号の差分が徐々に縮小される。
続いて区間Ｉでは、映像送信装置１が低解像度用符号化データをフレーム＃２６からフレーム＃３０まで送信している間に、中解像度用符号化データをフレーム＃２１からフレーム＃３０まで送信している。
これらのデータの送信が終了した時点で、低解像度用符号化データと中解像度用符号化データのフレーム番号が一致しているため、中解像度用符号化データの伝送速度が再生速度と同一に変更される。
そのため、区間Ｊでは、映像送信装置１により続けて送信される低解像度用符号化データのフレーム＃３１〜３５の番号と、中解像度用符号化データのフレーム＃３１〜３５の番号とが同じになり、高解像度用符号化データのフレーム＃３１〜３５の送信も開始されるため、以降、低解像度用符号化データと中解像度用符号化データと高解像度用符号化データとが同期して送信される。

図１２は映像受信装置３における低解像度パケット処理部３２の低解像度データバッファ３２ａと、中解像度パケット処理部４２の中解像度データバッファ４２ａと、高解像度パケット処理部４４の高解像度データバッファ４４ａの動作を示す説明図である。
図１２において、６０は低解像度用符号化データの＃１５フレームを受信した際の低解像度データバッファ３２ａを示し、６１は同時刻の中解像度データバッファ４２ａを示し、６２は同時刻の高解像度データバッファ４４ａを示している。
６３は低解像度用符号化データの＃１７フレームを受信する際の低解像度データバッファ３２ａを示し、６４は同時刻の中解像度データバッファ４２ａを示し、６５は同時刻の高解像度データバッファ４４ａを示している。
６６は低解像度用符号化データの＃３１フレームを受信する際の低解像度データバッファ３２ａを示し、６７は同時刻の中解像度データバッファ４２ａを示し、６８は同時刻の高解像度データバッファ４４ａを示している。
６９は低解像度用符号化データの＃４７フレームを受信する際の低解像度データバッファ３２ａを示し、６７は同時刻の中解像度データバッファ４２ａを示し、６８は同時刻の高解像度データバッファ４４ａを示している。

低解像度データバッファ６０、中解像度データバッファ６１及び高解像度データバッファ６２の状態は、図１１の区間Ｆにおける状態を示している。
この状態では、低解像度用符号化データのみを受信しており、中解像度用符号化データと高解像度用符号化データを受信していないため、中解像度データバッファ６１及び高解像度データバッファ６２には、中解像度用符号化データ及び高解像度用符号化データが格納されていない。
低解像度データバッファ６０では、低解像度用符号化データの＃１フレームから＃１５フレームまでがバッファリングされている。
低解像度用符号化データの受信時に、低解像度データバッファ６０では、一定時間分の低解像度用符号化データをバッファリングし、一定時間分の低解像度用符号化データが蓄積されたら、先頭のパケットからＲＴＰパケットのタイムスタンプのタイミングに合わせて映像デコーダ４６に出力される。

低解像度データバッファ６３、中解像度データバッファ６４及び高解像度データバッファ６５の状態は、図１１の区間Ｇにおける状態を示している。
この段階では、解像度変更命令（拡大）が映像受信装置３から映像送信装置１に送信され、映像送信装置１から中解像度用符号化データのストリーム伝送が開始されている。
解像度変更命令（拡大）は、低解像度データバッファ６０の状態で送信されているため、送信開始タイムスタンプとしては、＃１フレームのタイムスタンプが送信される。
その後、低解像度用符号化データに加え、新たに中解像度用符号化データが映像送信装置１からストリーム伝送される。
低解像度データバッファ６３の段階では、低解像度用符号化データの＃１７フレームを構成するＲＴＰパケットを受信中であり、低解像度用符号化データの＃１フレームを映像デコーダ４６に与えたところである。

中解像度用符号化データは映像送信装置１から再生速度の２倍の速度で送信されているため、低解像度用符号化データの＃１６フレームと＃１７フレームを構成するＲＴＰパケットを映像受信装置３が受信している間に、中解像度用符号化データの＃１，＃２，＃３，＃４フレームを構成するＲＴＰパケットを受信し、中解像度用符号化データの＃１フレームが揃い次第、映像デコーダ４６に取り込まれる。低解像度用符号化データと中解像度用符号化データの＃１フレームは、映像デコーダ３８が同時に取り込んだものとする。
中解像度データバッファ６４に格納されている継続するＲＴＰパケットは、＃１フレームが映像デコーダ４６に出力されたタイミングを起点に、後続する中解像度用符号化データのタイムスタンプのタイミングで映像デコーダ４６に取り込まれる。
ここからは、低解像度用符号化データと中解像度用符号化データが揃って映像デコーダ４６にデコードされ、中解像度の映像データが映像出力部３９に出力されてモニタ４に表示される。

低解像度データバッファ６６、中解像度データバッファ６７及び高解像度データバッファ６８の状態は、図１１の区間Ｉにおける状態を示している。
＃３０フレームを構成するＲＴＰパケットを受信する段階で、中解像度用符号化データの送信タイミングが低解像度用符号化データの送信タイミングに追いついているため、映像送信装置１が、＃３１フレームから中解像度用符号化データの送信速度を再生速度と同じ速度に落とし、高解像度用符号化データの送信を開始している。
高解像度データバッファ６８では、通常のバッファリング処理を行い、一定時間のＲＴＰパケットが到着するまでバッファリングを行う。
この段階では、まだ高解像度用符号化データを加えたデコードが行われていないので、デコードされた映像は中解像度のままである。

低解像度データバッファ６９、中解像度データバッファ７０及び高解像度データバッファ７１の状態は、図１１の区間Ｊにおける状態を示している。
この状態では、高解像度データバッファ７１にも規定量の高解像度用符号化データがバッファリングされているため、映像デコーダ４６から取り込みが開始されている。
この段階で、映像デコーダ４６が低解像度、中解像度及び高解像度の全てのデータをデコードするため、高解像度の映像を表示することが可能となる。

映像受信装置３から解像度変更命令（拡大）が映像送信装置１に送信された直後に、中解像度の拡大映像に切り替えることが可能であり、かつ、低解像度用符号化データと中解像度用符号化データと高解像度用符号化データのビットレートが同一であるとすると、映像送信装置１から映像受信装置３に送信されるストリームのビットレートは、解像度変更命令（拡大）が映像送信装置１に到着した時点から低解像度用符号化データと中解像度用符号化データと高解像度用符号化データを全て送信する一般的な方法と同一となる。
低解像度用符号化データと中解像度用符号化データと高解像度用符号化データのビットレートが同一でない場合でも、映像受信装置３から解像度変更命令（拡大）が映像送信装置１に送信された直後に、中解像度用符号化データのストリーム伝送速度を変更することにより、同様の効果を得ることが可能となる。

以上で明らかなように、この実施の形態２によれば、解像度変更命令受信部１２により解像度変更命令（拡大）が受信されると、映像データ蓄積部２１により蓄積されている中解像度用符号化データのうち、低解像度パケット送信部１６により現在ストリーム伝送されている低解像度用符号化データよりも復号するタイミングが時間的に前の中解像度用符号化データを映像受信装置３に送信し、その後、低解像度パケット送信部１６によりストリーム伝送される低解像度用符号化データと復号するタイミングが同一の中解像度用符号化データ及び高解像度用符号化データを映像受信装置３にストリーム伝送するように構成したので、上記実施の形態１と同様に、ネットワーク帯域の非効率な使用を招くことなく、高解像度の映像が再生されるまで要する時間を短縮することができる効果を奏する。
また、映像の解像度を低解像度から高解像度に切り替える際、いきなり高解像度用符号化データのストリーム伝送を開始せずに、先に中解像度用符号化データのストリーム伝送を開始するようにしているので、高解像度用符号化データを定常的に送信している場合の映像の伝送レートと比較して、解像度変更時の映像の伝送レートが増加する状態を抑えることができる効果を奏する。

実施の形態３．
図１３はこの発明の実施の形態３による映像送信装置１を示す構成図であり、図において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
可変フレームレート対応ストリーム読込部２８は図２のストリーム読込部１４と同様に、送信制御部１３から出力される読込指示にしたがって映像データ蓄積部１１から低解像度用符号化データや高解像度用符号化データを読み込む処理を実施するが、送信制御部１３から倍速値Ｘ倍（この実施の形態３では、倍速値が通常の２倍速であるものとする）での高解像度用符号化データの読込指示を受けている段階では、通常時のフレームレート（低解像度用符号化データだけをストリーム伝送しているときのフレームレート）よりフレームレートを削減し、低いフレームレートの低解像度用符号化データを低解像度パケット生成部１５に出力し、低いフレームレートの高解像度用符号化データを高解像度パケット生成部１７に出力する処理を実施する。
また、可変フレームレート対応ストリーム読込部２８は送信制御部１３から通常速度での高解像度用符号化データの読込指示を受ける段階になると、低解像度用符号化データ及び高解像度用符号化データのフレームレートを通常時のフレームレートに戻して、低解像度用符号化データ及び高解像度用符号化データを出力する処理を実施する。
なお、可変フレームレート対応ストリーム読込部２８は低レイヤ用符号化データ送信手段及び高レイヤ用符号化データ送信手段を構成している。

図１４はこの発明の実施の形態３による映像受信装置３を示す構成図であり、図において、図３と同一符号は同一又は相当部分を示すので説明を省略する。
可変フレームレート対応映像デコーダ４７は図３の映像デコーダ３８と同様に、再生制御部３７の指示の下、符号化データをデコードするが、高解像度用符号化データのデコード開始要求を受けている段階では、フレームレートを落としている関係上、低解像度用符号化データだけがデコード可能であっても、デコードを行わないようにしている。
なお、可変フレームレート対応映像デコーダ４７は映像再生手段を構成している。

次に動作について説明する。
ただし、可変フレームレート対応ストリーム読込部２８及び可変フレームレート対応映像デコーダ４７以外は、上記実施の形態１と同様であるため、可変フレームレート対応ストリーム読込部２８及び可変フレームレート対応映像デコーダ４７の処理内容を主に説明する。

送信制御部１３は、解像度変更命令受信部１２から送信開始タイムスタンプと解像度変更命令（拡大）を受けると、その送信開始タイムスタンプを可変フレームレート対応ストリーム読込部２８に出力するとともに、２倍速での高解像度用符号化データの読込を可変フレームレート対応ストリーム読込部２８に指示する。
可変フレームレート対応ストリーム読込部２８は、送信制御部１３から高解像度用符号化データを２倍速で読み込む指示を受けると、図２のストリーム読込部１４と同様に、送信制御部１３から出力された送信開始タイムスタンプを高解像度用符号化データの読込開始位置に決定し、その映像データ蓄積部１１から、その送信開始タイムスタンプが付与されている高解像度用符号化データから順番に後続の高解像度用符号化データを２倍速で読み込み、それらの高解像度用符号化データを順番に高解像パケット生成部１７に出力する。また、高解像度用符号化データを高解像パケット生成部１７に出力する際、その高解像度用符号化データのタイムスタンプ及び次のフレームのタイムスタンプを高解像パケット生成部１７に出力する。
また、可変フレームレート対応ストリーム読込部２８は、高解像度用符号化データの読込と平行して、映像データ蓄積部１１から、送信時間のタイミングで送信フレームの低解像度用符号化データの読込を行い、送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に、その低解像度用符号化データを低解像度パケット生成部１５に出力する。

ただし、可変フレームレート対応ストリーム読込部２８は、図２のストリーム読込部１４と異なり、送信制御部１３から２倍速での高解像度用符号化データの読込指示を受けている段階では、２倍速で高解像度用符号化データが伝送されることによるデータ量の増加分を相殺するために、通常時よりフレームレートを削減し、低いフレームレートの低解像度用符号化データを低解像度パケット生成部１５に出力し、低いフレームレートの高解像度用符号化データを高解像度パケット生成部１７に出力する。
具体的には、以下のようにして、フレームレートを削減する。

可変フレームレート対応ストリーム読込部２８は、伝送ストリームにおける低解像度用符号化データのビットレートと、高解像度用符号化データのビットレートの比率を知っており、通常の伝送速度で、低解像度用符号化データと高解像度用符号化データを伝送する場合のビットレートと、高解像度用符号化データを２倍の速度で伝送する場合の低解像度用符号化データと高解像度用符号化データのビットレートとの比率を計算する。
例えば、図４の符号化ストリームＡと符号化ストリームＢと符号化ストリームＣのビットレートが等しいとし、低解像度用符号化データを符号化ストリームＡとし、高解像度用符号化データを符号化ストリームＢと符号化ストリームＣとすると、低解像度用符号化データ（符号化ストリームＡ）のビットレートと、高解像度用符号化データ（符号化ストリームＢ＋符号化ストリームＣ）のビットレートは、１：２の比率となる。
高解像度用符号化データだけを２倍の伝送レートで送信するため、通常のビットレートで送信する場合と、高解像度用符号化データのみを２倍のビットレートで送信する場合との伝送量の比率は３：５となる。

したがって、各フレームが同一のビットレートで符号化されているとすると、フレームレートを五分の三に変更することで、通常のビットレートと同一のビットレートで送信が可能になる。
例えば、３０フレーム／秒の場合には、１８フレーム／秒となり、等間隔でフレームを送信するには、１５フレーム／秒で送信すればよいことになる。
このように、ビットレートの比率から計算されるフレームレートで、可変フレーム対応ストリーム読込部２８が低解像度用符号化データを低解像度パケット生成部１５に出力し、高解像度用符号化データを高解像度パケット生成部１７に出力する。

可変フレームレート対応ストリーム読込部２８は、その後、高解像度用符号化データのタイムスタンプが、低解像度用符号化データのタイムスタンプに追いついて、送信制御部１３から通常速度（１倍速）での高解像度用符号化データの読込指示を受ける段階になると、映像データ蓄積部１１から高解像度用符号化データの読込を通常速度に戻すとともに、低解像度用符号化データ及び高解像度用符号化データのフレームレートを通常時のフレームレートに戻して、その低解像度用符号化データ及び高解像度用符号化データを出力するようにする。

可変フレームレート対応映像デコーダ４７は、図３の映像デコーダ３８と同様に、再生制御部３７から高解像度用符号化データのデコード開始要求を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａから低解像度用符号化データを取得するとともに、高解像度パケット処理部３６の高解像度データバッファ３６ａから高解像度用符号化データを取得し、その低解像度用符号化データと高解像度用符号化データを一緒にデコードする。

このとき、図３の映像デコーダ３８は、高解像度データバッファ３６ａに１フレーム分の高解像度用符号化データが蓄積されていなければ、低解像度用符号化データだけをデコードするが（図６のステップＳＴ２５，ＳＴ３１を参照）、高解像度用符号化データのデコード開始要求を受けた当初は、フレームレートを落としている関係上、低解像符号化データは送信されているが、高解像度用符号化データは送信されていないフレームが存在する。
そこで、可変フレームレート対応映像デコーダ４７は、低解像度データと同フレームを構成する高解像データが高解像データバッファに存在しない場合には、低解像度用符号化データだけがデコード可能であっても、その低解像度用符号化データをデコードしないで破棄する。

以上で明らかなように、この実施の形態３によれば、映像受信装置３における映像の再生速度より速い伝送速度で高解像度用符号化データのストリーム伝送を行う段階では、通常時のフレームレートより低いフレームレートでストリーム伝送を行い、高解像度用符号化データの伝送速度を映像受信装置３における映像の再生速度と同一の速度に変更すると、フレームレートを通常時のフレームレートに戻してストリーム伝送を行うように構成したので、高解像度用符号化データを定常的に送信している場合の映像の伝送レートと比較して、解像度変更時の映像の伝送レートが増加する状態を抑えることができる効果を奏する。

実施の形態４．
図１５はこの発明の実施の形態４による映像送信装置１を示す構成図であり、図において、図９及び図１３と同一符号は同一又は相当部分を示すので説明を省略する。
解像度変更命令受信部８１は映像受信装置３から解像度変更命令パケットを受信し、その解像度変更命令パケットから送信開始タイムスタンプ、解像度変更命令（拡大）及び後述する優先度情報を抽出して、その送信開始タイムスタンプ、解像度変更命令（拡大）及び優先度情報を送信制御部８２に出力する処理を実施する。なお、解像度変更命令受信部８１は変更命令受信手段を構成している。

送信制御部８２は解像度変更命令受信部８１から出力された優先度情報が映像の動きを優先する旨を示す場合、図９の映像送信装置１と同じ動作を再現するために、可変フレームレート対応ストリーム読込部２８を図９のストリーム読込部２３と同じ動作をさせるようにする。
一方、解像度変更命令受信部８１から出力された優先度情報が映像の画質を優先する旨を示す場合、図１３の映像送信装置１と同じ動作を再現する。この場合、中解像度パケット生成部２４及び中解像度パケット送信部２５は動作せず、中解像度用符号化データは単独では送信せず、中解像度用符号化データは高解像度用符号化データとまとめて、高解像度用符号化データとして送信する。
なお、送信制御部８２は低レイヤ用符号化データ送信手段、中レイヤ用符号化データ送信手段及び高レイヤ用符号化データ送信手段を構成している。

図１６はこの発明の実施の形態４による映像受信装置３を示す構成図であり、図において、図１０及び図１４と同一符号は同一又は相当部分を示すので説明を省略する。
解像度変更命令入力部８３は解像度の変更命令の入力を受け付けるとともに、映像の画質を優先するのか、映像の動きを優先するのかを示す優先度情報の入力を受け付ける処理を実施する。

解像度変更命令送信部８４は解像度変更命令入力部８３により解像度変更命令（拡大）と優先度情報の入力が受け付けられた場合、低解像度パケット処理部３２の低解像度データバッファ３２ａに格納されているＲＴＰパケットのうち、次に可変フレームレート対応映像デコーダ４７に与えられるＲＴＰパケットのタイムスタンプを再生制御部８５に問い合わせて、そのタイムスタンプ、解像度変更命令（拡大）及び優先度情報を解像度変更命令パケットに格納し、その解像度変更命令パケットを映像送信装置１に送信する処理を実施する。
なお、解像度変更命令入力部８３及び解像度変更命令送信部８４から変更命令送信手段が構成されている。
再生制御部８５は解像度変更命令送信部８４から出力された優先度情報にしたがって図１０の再生制御部４５又は図１４の再生制御部３７と同様の処理を実施する。
なお、再生制御部８５は映像再生手段を構成している。

次に動作について説明する。
この実施の形態４では、映像の解像度を低解像度から高解像度に変更する際、ユーザが映像の画質を優先するのか、映像の動きを優先するのかを選択できるようにしている。
具体的には、以下の通りである。

映像受信装置３の解像度変更命令入力部８３は、図２の解像度変更命令入力部１２と同様に、解像度の変更命令の入力を受け付ける処理を実施する。
このとき、ユーザが解像度変更命令（拡大）を入力すると、解像度変更命令入力部８３が、映像の画質を優先するのか、映像の動きを優先するのかを示す優先度情報の入力を受け付けるようにする。
解像度変更命令送信部８４は、解像度変更命令入力部８３により解像度変更命令（拡大）と優先度情報の入力が受け付けられた場合、低解像度パケット処理部３２の低解像度データバッファ３２ａに格納されているＲＴＰパケットのうち、次に可変フレームレート対応映像デコーダ４７に与えられるＲＴＰパケットのタイムスタンプを再生制御部８５に問い合わせて、そのタイムスタンプ、解像度変更命令（拡大）及び優先度情報を解像度変更命令パケットに格納し、その解像度変更命令パケットを映像送信装置１に送信する。

映像送信装置１の解像度変更命令受信部８１は、映像受信装置３から解像度変更命令パケットを受信すると、その解像度変更命令パケットから送信開始タイムスタンプ、解像度変更命令（拡大）及び優先度情報を抽出し、その送信開始タイムスタンプ、解像度変更命令（拡大）及び優先度情報を送信制御部８２に出力する。
送信制御部８２は、解像度変更命令受信部８１から送信開始タイムスタンプ、解像度変更命令（拡大）及び優先度情報を受けると、その優先度情報を参照して、映像の画質を優先するのか、映像の動きを優先するのかを判別する。

送信制御部８２は、映像の動きを優先する場合、図９の映像送信装置１と同じ動作を再現するため、図９の送信制御部２２と同様の処理を実施するとともに、可変フレームレート対応ストリーム読込部２８を図９のストリーム読込部２３と同じ動作をさせるようにする。
これにより、中解像度用符号化データが２倍速でストリーム伝送が開始されたのち、中解像度用符号化データのタイムスタンプが低解像度用符号化データのタイムスタンプに追いつくと、高解像度用符号化データのストリーム伝送が開始されるようになる。

送信制御部８２は、映像の画質を優先する場合、図１３の映像送信装置１と同じ動作を再現するため、図１３の送信制御部１３と同様の処理を実施する。この場合、中解像度パケット生成部２４及び中解像度パケット送信部２５は動作せず、中解像度用符号化データは高解像度用符号化データと共に、高解像度パケット生成部２６でＲＴＰパケット化され、高解像度パケット送信部２７で送信される。
これにより、高解像度用符号化データを定常的に送信している場合の映像の伝送レートと比較して、解像度変更時の映像の伝送レートが増加する状態を抑えることができる。

映像受信装置３の再生制御部８５は、解像度変更命令送信部８２から出力された優先度情報が映像の動きを優先する旨を示す場合、図１０の映像受信装置３と同じ動作を再現するため、図１０の再生制御部４５と同様の処理を実施する。
一方、解像度変更命令送信部８２から出力された優先度情報が映像の画質を優先する旨を示す場合、図１４の映像受信装置３と同じ動作を再現するため、図１４の再生制御部３７と同様の処理を実施する。この場合、中解像度パケット受信部４１及び中解像度パケット処理部４２は動作しない

以上で明らかなように、この実施の形態４によれば、解像度変更命令（拡大）を映像送信装置１に送信する際、映像の画質を優先するのか、映像の動きを優先するのかを示す優先度情報を映像送信装置１に送信するように構成したので、映像の画質を優先する場合、画質を重視する方法で映像ストリームを伝送し、映像の動きを優先する場合、動きを重視する方法で映像ストリームを伝送することができる効果を奏する。

実施の形態５．
図１７はこの発明の実施の形態５による映像配信システムを示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
カメラ５は映像を撮影し、その映像の映像信号（例えば、ＮＴＳＣの信号）を映像送信装置１に出力する処理を実施する。
図１８はこの発明の実施の形態５による映像送信装置１を示す構成図であり、図において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
映像入力部９１はカメラ５から出力された映像信号をデジタルデータに変換する処理を実施する。
映像符号化部９２は映像入力部９１により変換されたデジタルデータを解像度スケーラブル符号化して、低解像度用符号化データと高解像度用符号化データからなる映像データを映像データ管理部９３に出力する処理を実施する。
なお、映像入力部９１及び映像符号化部９２から映像符号化手段が構成されている。

映像データ管理部９３は映像符号化部９２から出力された映像データに含まれている低解像度用符号化データを低解像度パケット生成部１５に出力し、その映像データに含まれている高解像度用符号化データを一定期間だけ映像データ蓄積部９４に蓄積させる処理を実施する。
また、映像データ管理部９３は送信制御部１３から高解像度用符号化データの読込指示を受けると、映像データ蓄積部９４から高解像度用符号化データを読み込んで、その高解像度用符号化データを高解像度パケット生成部１７に出力する処理を実施する。なお、映像データ管理部９３は映像データ管理手段を構成している。
映像データ蓄積部９４は高解像度用符号化データを一定期間だけ蓄積するハードディスクなどの記録媒体である。なお、映像データ蓄積部９４は映像データ蓄積手段を構成している。

次に動作について説明する。
この実施の形態５では、映像送信装置１がカメラ５により撮影された映像をライブ配信するものである。
カメラ５は、映像を撮影し、その映像の映像信号（例えば、ＮＴＳＣの信号）を映像送信装置１に出力する。

映像送信装置１の映像入力部９１は、カメラ５から映像信号を受けると、その映像信号をデジタルデータに変換する。
映像符号化部９２は、映像入力部９１からデジタルデータを受けると、そのデジタルデータを解像度スケーラブル符号化して、低解像度用符号化データと高解像度用符号化データからなる映像データを映像データ管理部９３に出力する。
例えば、低解像度用符号化データは図４（ａ）の符号化ストリームＡに相当し、高解像度用符号化データは図４（ａ）の符号化ストリームＢ，Ｃに相当する。
なお、低解像度用符号化データと高解像度用符号化データには、映像のデコード及び再生を行う際のタイミングを示すタイムスタンプが付与されているものとする。

映像データ管理部９３は、映像符号化部９２から映像データを受けると、その映像データに含まれている低解像度用符号化データを低解像度パケット生成部１５に出力するとともに、その低解像度用符号化データのタイムスタンプを低解像度パケット生成部１５に出力する。
また、映像データ管理部９３は、その映像データに含まれている高解像度用符号化データを一定期間だけ映像データ蓄積部９４に蓄積させる。

ここで、図１９は映像データ蓄積部９４における高解像度用符号化データの蓄積構造を示す説明図である。
映像データ蓄積部９４は、図１９に示すように、リングバッファ９４ａとインデックステーブル９４ｂから構成されている。
リングバッファ９４ａには、タイムスタンプ（１）〜（ｎ）の高解像度用符号化データが順番に格納されている。
インデックステーブル９４ｂには、タイムスタンプ（１）〜（ｎ）のポインタ（１）〜（ｎ）、タイムスタンプ（１）〜（ｎ）の高解像度用符号化データのデータ長（１）〜（ｎ）が格納されている。

したがって、映像データ管理部９３が映像符号化部９２から出力された映像データに含まれている高解像度用符号化データを映像データ蓄積部９４に書き込む場合、その高解像度用符号化データのタイムスタンプの値（例えば、“ｎ＋１”）をインデックステーブル９４ｂに書き込むとともに、リングバッファ９４ａにおける現在のライトポインタをタイムスタンプ（ｎ＋１）のポインタ（ｎ＋１）として、インデックステーブル９４ｂに書き込み、その高解像度用符号化データのデータ長（ｎ＋１）をインデックステーブル９４ｂに書き込む処理を行う。

そして、映像データ管理部９３は、リングバッファ９４ａにおける現在のライトポインタの位置から高解像度用符号化データを書き込み、その高解像度用符号化データの書き込みが終了すると、書込終了位置の次の位置にライトポインタを移動する。ライトポインタがリングバッファ９４ａの最終位置まで移動すると、ライトポインタはリングバッファ９４ａの先頭に戻る。
なお、新規の高解像度用符号化データを書き込む際に、ライトポインタが上書きをした高解像度用符号化データについては削除されたことになるため、インデクステーブル９４ｂから当該高解像度用符号化データに係るタイムスタンプ等を削除する。

映像データ管理部９３は、送信制御部１３から高解像度用符号化データを２倍速で読み込む指示と送信開始タイムスタンプを受けると、インデクステーブル９４ｂを参照して、その送信開始タイムスタンプと一致するタイムスタンプのポインタ及びデータ長を確認して、リングバッファ９４ａにおける当該ポインタの位置から当該データ長分の高解像度用符号化データを取得する。
映像データ管理部９３は、高解像度用符号化データを取得すると、その高解像度用符号化データを高解像パケット生成部１７に出力するとともに、その高解像度用符号化データのタイムスタンプ及び次のフレームのタイムスタンプを高解像パケット生成部１７に出力する。

以後、映像データ管理部９３は、送信開始タイムスタンプと一致するタイムスタンプの高解像度用符号化データの次のポインタの高解像度用符号化データから順番に後続の高解像度用符号化データを２倍速で読み込み、それらの高解像度用符号化データを順番に高解像パケット生成部１７に出力する。
また、高解像度用符号化データを高解像パケット生成部１７に出力する際、その高解像度用符号化データのタイムスタンプ及び次のフレームのタイムスタンプを高解像パケット生成部１７に出力する。

高解像度パケット生成部１７は、送信制御部１３から高解像度パケットの生成を２倍速で行う指示を受けると、上記実施の形態１と同様に、映像データ管理部９３から出力された高解像度用符号化データをＲＴＰパケットに分割して格納する。
また、高解像度パケット生成部１７は、映像データ管理部９３から出力された高解像度用符号化データのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを次のフレームを送信するまでに各ＲＴＰパケット均等に送信されるように計算したタイミングの２倍速で高解像度パケット送信部１８に出力する。
低解像度パケット生成部１５は、映像データ管理部９３から低解像度用符号化データとタイムスタンプを受けると、上記実施の形態１と同様に、その低解像度用符号化データをＲＴＰパケットに分割して格納する。
また、低解像度パケット生成部１５は、映像データ管理部９３から出力されたタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを低解像度パケット送信部１６に出力する。

高解像度パケット送信部１８は、高解像度パケット生成部１７からＲＴＰパケットを受けると、上記実施の形態１と同様に、ＩＰ／ＵＤＰを使用して、そのＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する。
また、低解像度パケット送信部１６も、高解像度パケット送信部１８と平行に動作し、低解像度パケット生成部１５からＲＴＰパケットを受けると、ＩＰ／ＵＤＰを使用して、そのＲＴＰパケットを予め設定されている映像受信装置３のＩＰアドレスの受信ポートに送信する。
これにより、ＲＴＰパケット（高解像度用符号化データのＲＴＰパケット又は低解像度用符号化データのＲＴＰパケット）を含むＩＰパケットがＩＰネットワーク２を通じて映像受信装置３に伝送される。

以後、高解像度パケット送信部１８が高解像度用符号化データのＲＴＰパケットの送信を２倍速で継続し、低解像度パケット送信部１６が低解像度用符号化データのＲＴＰパケットの送信を通常速度（１倍速）で継続する。
映像データ管理部９３は、高解像度用符号化データを映像データ蓄積部９４から読み出して、２倍速で送信しているので、ある段階で、送信すべき新しい高解像度用符号化データが映像データ蓄積部９４に存在しなくなる。この段階では、低解像度用符号化データの送信に追いついたことになるので、映像データ管理部９３から送信制御部１３に通知を行い、高解像度パケットの生成を通常の速度（１倍速）に下げる旨を高解像度パケット生成部１７に出力する

映像データ管理部９３は、映像データ蓄積部９４に蓄積されている高解像度用符号化データを送信することをやめ、映像符号化部９２からリアルタイムで受け取る高解像度用符号化データに切り替えて高解像度パケット生成部１７に出力する。
なお、映像データ管理部９３は、その高解像度用符号化データを高解像度パケット生成部１７に出力する処理と平行して、その高解像度用符号化データを映像データ蓄積部９４に蓄積する処理を行う。
以降の処理は、上記実施の形態１と同様であるため説明を省略する。

以上で明らかなように、この実施の形態５によれば、映像データ管理部９３が、映像符号化部９２から出力された映像データに含まれている低解像度用符号化データを低解像度パケット生成部１５に出力し、その映像データに含まれている高解像度用符号化データを一定期間だけ映像データ蓄積部９４に蓄積させるように構成したので、カメラ５により撮影された映像をライブ配信する場合でも、上記実施の形態１と同様の効果を奏することができる。

実施の形態６．
図２０はこの発明の実施の形態６による映像配信システムを示す構成図であり、図において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
図２０では、複数の映像受信装置３がＩＰネットワーク２に接続されており、映像送信装置１が映像受信装置３の再生速度と同一の速度で、常時、高解像度用符号化データと低解像度用符号化データをマルチキャストで複数の映像受信装置３にストリーム伝送している例を示している。

図２１はこの発明の実施の形態６による映像送信装置１を示す構成図であり、図において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
解像度変更命令受信部１０１は図２の解像度変更命令受信部１２と同様に、映像受信装置３から解像度変更命令パケットを受信し、その解像度変更命令パケットから送信開始タイムスタンプ及び解像度変更命令（拡大）を抽出して、その送信開始タイムスタンプ及び解像度変更命令（拡大）を送信制御部１０２に出力する処理を実施する。
また、解像度変更命令受信部１０１は送信制御部１０２から出力された過去の高解像度用符号化データ（送信開始タイムスタンプと一致するタイムスタンプが付与されている高解像度用符号化データから最新の高解像度用符号化データ（送信終了済みの高解像度用符号化データの中で最も新しい高解像度用符号化データ））を映像受信装置３にファイル送信する処理を実施する。
なお、解像度変更命令受信部１０１は変更命令受信手段及び高レイヤ用符号化データ送信手段を構成している。

送信制御部１０２は低解像度用符号化データ及び高解像度用符号化データの読込をストリーム読込部１０３に指示するとともに、低解像度パケットの生成を低解像度パケット生成部１５に指示し、また、高解像度パケットの生成を高解像度パケット生成部１０５に指示する処理を実施する。
また、送信制御部１０２は解像度変更命令受信部１０１から送信開始タイムスタンプ及び解像度変更命令（拡大）を受けると、過去の高解像度用符号化データの取り出しをストリーム読込部１０３に指示し、過去の高解像度用符号化データを解像度変更命令受信部１０１に出力する処理を実施する。

ストリーム読込部１０３は送信制御部１０２から低解像度用符号化データの読込指示を受けると、映像送信装置１内のクロックを参照して、映像データ蓄積部１１から、送信時間のタイミングで送信フレームの低解像度用符号化データを読み込み、その低解像度用符号化データを送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に低解像度パケット生成部１５に出力する処理を実施する。
また、ストリーム読込部１０３は送信制御部１０２から高解像度用符号化データの読込指示を受けると、映像送信装置１内のクロックを参照して、映像データ蓄積部１１から、送信時間のタイミングで送信フレームの高解像度用符号化データを読み込み、その高解像度用符号化データを送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に高解像度パケット生成部１０５に出力する処理を実施する。
また、ストリーム読込部１０３は送信制御部１０２から高解像度用符号化データの取出指示を受けると、映像データ蓄積部１１から過去の高解像度用符号化データを取り出し、過去の高解像度用符号化データを送信制御部１０２に出力する処理を実施する。

低解像度パケット送信部１０４はＩＰ／ＵＤＰを使用して、低解像度パケット生成部１５から出力された各ＲＴＰパケットを予め設定されているマルチキャストアドレスのポートに送信する処理を実施する。
なお、送信制御部１０２、ストリーム読込部１０３、低解像度パケット生成部１５及び低解像度パケット送信部１０４から低レイヤ用符号化データ送信手段が構成されている。

高解像度パケット生成部１０５はストリーム読込部１０３から出力された１フレーム分の高解像度用符号化データをＲＴＰパケットに分割して格納するとともに、そのフレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを高解像度パケット送信部１０６に出力する処理を実施する。なお、高解像度パケット生成部１０５では、高解像度パケット送信部１０６から各ＲＴＰパケットが、次のフレームのタイムスタンプのタイミングまでに等間隔で送信されるように計算して、各ＲＴＰパケットを高解像度パケット送信部１０６に出力する。
高解像度パケット送信部１０６はＩＰ／ＵＤＰを使用して、高解像度パケット生成部１０５から出力された各ＲＴＰパケットを予め設定されているマルチキャストアドレスのポートに送信する処理を実施する。
なお、送信制御部１０２、ストリーム読込部１０３、高解像度パケット生成部１０５及び高解像度パケット送信部１０６から高レイヤ用符号化データ送信手段が構成されている。

図２２はこの発明の実施の形態６による映像受信装置３を示す構成図であり、図において、図３と同一符号は同一又は相当部分を示すので説明を省略する。
低解像度パケット受信部１１１は予め設定されているマルチキャストアドレスのポートからＩＰパケットを受信して、そのＩＰパケットを低解像度パケット処理部３２に出力する処理を実施する。
なお、低解像度パケット受信部１１１は低レイヤ用符号化データ受信手段を構成している。
高解像度パケット受信部１１２は予め設定されているマルチキャストアドレスのポートからＩＰパケットを受信して、そのＩＰパケットを高解像度パケット処理部３６に出力する処理を実施する。
なお、高解像度パケット受信部１１２は高レイヤ用符号化データ受信手段を構成している。

解像度変更命令送信部１１３は図３の解像度変更命令送信部３４と同様に、送信開始タイムスタンプと解像度変更命令（拡大）を含む解像度変更命令パケットを映像送信装置１に送信する処理を実施する。
また、解像度変更命令送信部１１３は映像送信装置１からファイル送信された過去の高解像度用符号化データをファイル受信する処理を実施する。
なお、解像度変更命令送信部１１３は変更命令送信手段及び高レイヤ用符号化データ受信手段を構成している。

再生制御部１１４は解像度変更命令送信部１１３から解像度変更命令（拡大）が送信される前は、低解像度用符号化データのデコード開始要求を映像デコーダ１１５に出力し、その解像度変更命令（拡大）が送信された後は、解像度変更命令送信部１１３によりファイル受信された過去の高解像度用符号化データと高解像度用符号化データのデコード開始要求を映像デコーダ１１５に出力する処理などを実施する。

映像デコーダ１１５は再生制御部１１４から低解像度用符号化データのデコード開始要求を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに蓄積されているＲＴＰパケットに含まれている低解像度用符号化データを取り出して、その低解像度用符号化データをデコードし、再生制御部１１４から高解像度用符号化データのデコード開始要求を受けると、低解像度データバッファ３２ａから取り出した低解像度用符号化データとタイムスタンプが一致する高解像度用符号化データが高解像度データバッファ３６ａに蓄積されていなければ、再生制御部１１４から出力された過去の高解像度用符号化データを上記低解像度用符号化データと一緒にデコードする処理を実施する。
なお、再生制御部１１４、映像デコーダ１１５及び映像出力部３９から映像再生手段が構成されている。

次に動作について説明する。
映像送信装置１が低解像度用符号化データをストリーム伝送し、映像受信装置３が低解像度用符号化データを復号して、低解像度の映像を再生する際の処理内容は、上記実施の形態１と比較して、映像送信装置１がマルチキャストで低解像度用符号化データを複数の映像受信装置３にストリーム伝送する点以外は同様であるため、この処理内容については説明を省略する。

映像送信装置１がマルチキャストで高解像度用符号化データ及び低解像度用符号化データをストリーム伝送し、映像受信装置３が高解像度用符号化データ及び低解像度用符号化データを復号して、高解像度の映像を再生する際の処理内容を説明する。
まず、映像受信装置３の解像度変更命令入力部３３は、上記実施の形態１と同様に、解像度変更命令（拡大）の入力を受け付ける処理を実施する。
解像度変更命令送信部１１３は、図３の解像度変更命令送信部３４と同様に、解像度変更命令入力部３３から解像度変更命令（拡大）を受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに格納されているＲＴＰパケットのうち、次に映像デコーダ３８に与えられるＲＴＰパケットのタイムスタンプ（次に処理するフレームのタイムスタンプ）を再生制御部１１４に問い合わせる。

再生制御部１１４は、図３の再生制御部３７と同様に、解像度変更命令送信部１１３から上記の問い合わせを受けると、低解像度パケット処理部３２の低解像度データバッファ３２ａに格納されているＲＴＰパケットを参照して、次に映像デコーダ３８に与えられるＲＴＰパケットを確認し、そのＲＴＰパケットのタイムスタンプ（送信開始タイムスタンプ）を解像度変更命令送信部１１３に通知する。
また、再生制御部１１４は、高解像度用符号化データの再生開始要求を高解像度パケット処理部３６に出力し、高解像度パケット受信部１１２が高解像度用符号化データを受信し、高解像度パケット処理部３６の高解像度データバッファ３６ａにて一定時間のバッファリングを開始する。
解像度変更命令送信部１１３は、再生制御部１１４から送信開始タイムスタンプの通知を受けると、その送信開始タイムスタンプと解像度変更命令（拡大）を解像度変更命令パケットに格納し、その解像度変更命令パケットを映像送信装置１に送信する。

映像送信装置１の解像度変更命令受信部１０１は、図２の解像度変更命令受信部と同様に、映像受信装置３から送信された解像度変更命令パケットを受信すると、その解像度変更命令パケットから送信開始タイムスタンプと解像度変更命令（拡大）を抽出して、その送信開始タイムスタンプと解像度変更命令（拡大）を送信制御部１０２に出力する。
送信制御部１０２は、解像度変更命令受信部１０１から送信開始タイムスタンプと解像度変更命令（拡大）を受けると、過去の高解像度用符号化データの取り出しをストリーム読込部１０３に指示する。
なお、送信制御部１０２は、ストリーム読込部１０３に対する過去の高解像度用符号化データの取出指示とは別に、常に低解像度用符号化データ及び高解像度用符号化データの読込指示をストリーム読込部１０３に指示している。

ストリーム読込部１０３は、送信制御部１０２から低解像度用符号化データの読込指示を受けると、図２のストリーム読込部１４と同様に、映像データ蓄積部１１から、送信時間のタイミングで送信フレームの低解像度用符号化データを読み込み、その低解像度用符号化データを送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に低解像度パケット生成部１５に出力する処理を実施する。
また、ストリーム読込部１０３は、送信制御部１０２から高解像度用符号化データの読込指示を受けると、映像データ蓄積部１１から、送信時間のタイミングで送信フレームの高解像度用符号化データを読み込み、その高解像度用符号化データを送信フレームのタイムスタンプ及び次のフレームのタイムスタンプと一緒に高解像度パケット生成部１０５に出力する処理を実施する。

低解像度パケット生成部１５は、送信制御部１０２から低解像度パケットの生成指示を受けると、ストリーム読込部１０３から出力された１フレーム分の低解像度用符号化データをＲＴＰパケットに分割して格納する。
また、低解像度パケット生成部１５は、ストリーム読込部１０３から出力された送信フレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを低解像度パケット送信部１０４に出力する。

低解像度パケット送信部１０４は、低解像度パケット生成部１５からＲＴＰパケットを受けると、ＩＰ／ＵＤＰを使用して、そのＲＴＰパケットを予め設定されているマルチキャストアドレスのポートに送信する。
映像受信装置３の低解像度パケット受信部１１１は、予め設定されているマルチキャストアドレスのポートからＩＰパケットを受信して、そのＩＰパケットを低解像度パケット処理部３２に出力する。

映像送信装置１の高解像度パケット生成部１０５は、送信制御部１０２から高解像度パケットの生成指示を受けると、ストリーム読込部１０３から出力された１フレーム分の高解像度用符号化データをＲＴＰパケットに分割して格納する。
また、高解像度パケット生成部１０５は、ストリーム読込部１０３から出力された送信フレームのタイムスタンプを各ＲＴＰパケットのタイムスタンプに格納し、各ＲＴＰパケットを高解像度パケット送信部１０６に出力する。
高解像度パケット送信部１０６は、高解像度パケット生成部１０５からＲＴＰパケットを受けると、ＩＰ／ＵＤＰを使用して、そのＲＴＰパケットを予め設定されているマルチキャストアドレスのポートに送信する。
映像受信装置３の高解像度パケット受信部１１２は、予め設定されているマルチキャストアドレスのポートからＩＰパケットを受信して、そのＩＰパケットを高解像度パケット処理部３６に出力する。

ストリーム読込部１０３は、送信制御部１０２から高解像度用符号化データの取出指示を受けると、映像データ蓄積部１１から過去の高解像度用符号化データを取り出し、過去の高解像度用符号化データを送信制御部１０２に出力する。
即ち、ストリーム読込部１０３は、映像データ蓄積部１１により蓄積されている高解像度用符号化データの中から、送信制御部１０２から出力された送信開始タイムスタンプと一致するタイムスタンプが付与されている高解像度用符号化データを探索し、そのタイムスタンプが付与されている高解像度用符号化データから最新の高解像度用符号化データ（送信終了済みの高解像度用符号化データの中で最も新しい高解像度用符号化データ）までを送信制御部１０２に出力する。

ここで、図２３は映像送信装置１からファイル送信される高解像度用符号化データの形式を示す説明図である。
図２３では、タイムスタンプとデータ長と高解像度用符号化データがセットにされて送信される例を示している。
例えば、送信開始タイムスタンプと一致するタイムスタンプが付与されている高解像度用符号化データが高解像度用符号化データ＃ｉであり、最新の高解像度用符号化データが高解像度用符号化データ＃ｉ＋ｎである場合、ストリーム読込部１０３が高解像度用符号化データ＃ｉから高解像度用符号化データ＃ｉ＋ｎまでのｎ＋１個の高解像度用符号化データを取り出して送信制御部１０２に出力する。

送信制御部１０２は、ストリーム読込部１０３から過去の高解像度用符号化データを受けると、過去の高解像度用符号化データを解像度変更命令受信部１０１に出力する。
解像度変更命令受信部１０１は、送信制御部１０２から過去の高解像度用符号化データを受けると、解像度変更命令（拡大）の応答として、過去の高解像度用符号化データを映像受信装置３にファイル送信する。

映像受信装置３の解像度変更命令送信部１１３は、映像送信装置１からファイル送信された過去の高解像度用符号化データをファイル受信し、過去の高解像度用符号化データを再生制御部１１４に出力する。
再生制御部１１４は、解像度変更命令送信部１１３から過去の高解像度用符号化データを受けると、過去の高解像度用符号化データと高解像度用符号化データのデコード開始要求を映像デコーダ１１５に出力する。

映像デコーダ１１５は、再生制御部１１４から高解像度用符号化データのデコード開始要求を受けると、低解像度データバッファ３２ａから次に処理するフレームの低解像度用符号化データを取り出し、その低解像度用符号化データのタイムスタンプと同一のタイムスタンプが付与されている高解像度用符号化データが高解像度データバッファ３６ａに蓄積されているかを確認する。
映像デコーダ１１５は、タイムスタンプが一致する高解像度用符号化データが高解像度データバッファ３６ａに蓄積されていなければ、再生制御部１１４から出力された過去の高解像度用符号化データの中から、タイムスタンプが一致する高解像度用符号化データを取り出し、その高解像度用符号化データを上記低解像度用符号化データと一緒にデコードする。

なお、高解像度パケット処理部３６の高解像度データバッファ３６ａでは、一定時間のバッファリングが終了すると、高解像度データバッファ３６ａ内の先頭フレームの映像がデコード開始時間になり、デコード開始時間の高解像度用符号化データが映像デコーダ１１５に取り出される。
この段階で、映像デコーダ１１５では、デコード対象の高解像度用符号化データが、解像度変更命令（拡大）の応答で入手した過去の高解像度用符号化データから、高解像度パケット受信部１１２によりストリーム受信された高解像度用符号化データに切り替えられる。
このようにして、マルチキャストで低解像度用符号化データと高解像度用符号化データを配信している映像配信システムにおいても、映像受信装置３の解像度変更命令（拡大）の応答として、映像送信装置１が既に送信した過去の高解像度用符号化データの一部を映像受信装置３にファイル送信することにより、低遅延で映像の解像度を拡大することが可能となる。

１ 映像送信装置、２ ＩＰネットワーク、３ 映像受信装置、４ モニタ、５ カメラ、１１ 映像データ蓄積部（映像データ蓄積手段）、１２ 解像度変更命令受信部（変更命令受信手段）、１３ 送信制御部（低レイヤ用符号化データ送信手段、高レイヤ用符号化データ送信手段）、１４ ストリーム読込部（低レイヤ用符号化データ送信手段、高レイヤ用符号化データ送信手段）、１５ 低解像度パケット生成部（低レイヤ用符号化データ送信手段）、１６ 低解像度パケット送信部（低レイヤ用符号化データ送信手段）、１７ 高解像度パケット生成部（高レイヤ用符号化データ送信手段）、１８ 高解像度パケット送信部（高レイヤ用符号化データ送信手段）、２１ 映像データ蓄積部（映像データ蓄積手段）、２２ 送信制御部（低レイヤ用符号化データ送信手段、中レイヤ用符号化データ送信手段、高レイヤ用符号化データ送信手段）、２３ ストリーム読込部（低レイヤ用符号化データ送信手段、中レイヤ用符号化データ送信手段、高レイヤ用符号化データ送信手段）、２４ 中解像度パケット生成部（中レイヤ用符号化データ送信手段）、２５ 中解像度パケット送信部（中レイヤ用符号化データ送信手段）、２６ 高解像度パケット生成部（高レイヤ用符号化データ送信手段）、２７ 高解像度パケット送信部（高レイヤ用符号化データ送信手段）、２８ 可変フレームレート対応ストリーム読込部（低レイヤ用符号化データ送信手段、高レイヤ用符号化データ送信手段）、３１ 低解像度パケット受信部（低レイヤ用符号化データ受信手段）、３２ 低解像度パケット処理部（低レイヤ用符号化データ受信手段）、３２ａ 低解像度データバッファ、３３ 解像度変更命令入力部（変更命令送信手段）、３４ 解像度変更命令送信部（変更命令送信手段）、３５ 高解像度パケット受信部（高レイヤ用符号化データ受信手段）、３６ 高解像度パケット処理部（高レイヤ用符号化データ受信手段）、３６ａ 高解像度データバッファ、３７ 再生制御部（映像再生手段）、３８ 映像デコーダ（映像再生手段）、３９ 映像出力部（映像再生手段）、４１ 中解像度パケット受信部（中レイヤ用符号化データ受信手段）、４２ 中解像度パケット処理部（中レイヤ用符号化データ受信手段）、４３ 高解像度パケット受信部（高レイヤ用符号化データ受信手段）、４４ 高解像度パケット処理部（高レイヤ用符号化データ受信手段）、４５ 再生制御部（映像再生手段）、４６ 映像デコーダ（映像再生手段）、４７ 可変フレームレート対応映像デコーダ（映像再生手段）、８１ 解像度変更命令受信部（変更命令受信手段）、８２ 送信制御部（低レイヤ用符号化データ送信手段、中レイヤ用符号化データ送信手段、高レイヤ用符号化データ送信手段）、８３ 解像度変更命令入力部（変更命令送信手段）、８４ 解像度変更命令送信部（変更命令送信手段）、８５ 再生制御部（映像再生手段）、９１ 映像入力部（映像符号化手段）、９２ 映像符号化部（映像符号化手段）、９３ 映像データ管理部（映像データ管理手段）、９４ 映像データ蓄積部（映像データ蓄積手段）、９４ａ リングバッファ、９４ｂ インデックステーブル、１０１ 解像度変更命令受信部（変更命令受信手段、高レイヤ用符号化データ送信手段）、１０２ 送信制御部（高レイヤ用符号化データ送信手段、低レイヤ用符号化データ送信手段）、１０３ ストリーム読込部（高レイヤ用符号化データ送信手段、低レイヤ用符号化データ送信手段）、１０４ 低解像度パケット生成部（低レイヤ用符号化データ送信手段）、１０５ 高解像度パケット生成部（高レイヤ用符号化データ送信手段）、１０６ 高解像度パケット送信部（高レイヤ用符号化データ送信手段）、１１１ 低解像度パケット受信部（低レイヤ用符号化データ受信手段）、１１２ 高解像度パケット受信部（高レイヤ用符号化データ受信手段）、１１３ 解像度変更命令送信部（変更命令送信手段、高レイヤ用符号化データ受信手段）、１１４ 再生制御部（映像再生手段）、１１５ 映像デコーダ（映像再生手段）。

Claims (21)

1. 映像がスケーラブル符号化されている映像データであって、低レイヤの映像の復号が可能な低レイヤ用符号化データの他に、上記低レイヤ用符号化データと一緒に復号すれば、高レイヤの映像の復号が可能な高レイヤ用符号化データを含む映像データを蓄積する映像データ蓄積手段と、上記映像データ蓄積手段により蓄積されている低レイヤ用符号化データを映像受信装置にストリーム伝送する低レイヤ用符号化データ送信手段と、上記映像受信装置からレイヤの変更命令を受信する変更命令受信手段と、上記変更命令受信手段により受信された変更命令が低レイヤから高レイヤへの変更を指示する命令であれば、上記映像データ蓄積手段により蓄積されている高レイヤ用符号化データのうち、上記低レイヤ用符号化データ送信手段により現在ストリーム伝送されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の高レイヤ用符号化データを上記映像受信装置に送信し、その後、上記低レイヤ用符号化データ送信手段によりストリーム伝送される低レイヤ用符号化データと復号するタイミングが同一の高レイヤ用符号化データを上記映像受信装置にストリーム伝送する高レイヤ用符号化データ送信手段とを備えた映像送信装置。
2. 映像のスケーラブル符号化が解像度スケーラブル符号化であり、映像データ蓄積手段により蓄積されている映像データに含まれている低レイヤ用符号化データが低解像度用符号化データ、高レイヤ用符号化データが高解像度用符号化データであることを特徴とする請求項１記載の映像送信装置。
3. 高レイヤ用符号化データ送信手段は、低レイヤ用符号化データ送信手段により現在ストリーム伝送されている低解像度用符号化データよりも復号するタイミングが時間的に前の高解像度用符号化データを映像受信装置に送信する際、上記映像受信装置における映像の再生速度より速い伝送速度で上記高解像度用符号化データのストリーム伝送を開始し、これからストリーム伝送する高解像度用符号化データの復号タイミングが、これから上記低レイヤ用符号化データ送信手段によりストリーム伝送される低解像度用符号化データの復号タイミングに追いつくと、上記高解像度用符号化データの伝送速度を上記映像受信装置における映像の再生速度と同一の速度に変更することを特徴とする請求項２記載の映像送信装置。
4. 映像がスケーラブル符号化されている映像データであって、低レイヤの映像の復号が可能な低レイヤ用符号化データの他に、上記低レイヤ用符号化データと一緒に復号すれば、中レイヤの映像の復号が可能な中レイヤ用符号化データと、上記低レイヤ用符号化データ及び上記中レイヤ用符号化データと一緒に復号すれば、高レイヤの映像の復号が可能な高レイヤ用符号化データとを含む映像データを蓄積する映像データ蓄積手段と、上記映像データ蓄積手段により蓄積されている低レイヤ用符号化データを映像受信装置にストリーム伝送する低レイヤ用符号化データ送信手段と、上記映像受信装置からレイヤの変更命令を受信する変更命令受信手段と、上記変更命令受信手段により受信された変更命令が低レイヤから高レイヤへの変更を指示する命令であれば、上記映像データ蓄積手段により蓄積されている中レイヤ用符号化データのうち、上記低レイヤ用符号化データ送信手段により現在ストリーム伝送されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の中レイヤ用符号化データを上記映像受信装置に送信し、その後、上記低レイヤ用符号化データ送信手段によりストリーム伝送される低レイヤ用符号化データと復号するタイミングが同一の中レイヤ用符号化データを上記映像受信装置にストリーム伝送する中レイヤ用符号化データ送信手段と、上記中レイヤ用符号化データ送信手段によりストリーム伝送される中レイヤ用符号化データの復号タイミングが上記低レイヤ用符号化データ送信手段によりストリーム伝送される低レイヤ用符号化データの復号タイミングに追いついたタイミングで、上記映像データ蓄積手段により蓄積されている高レイヤ用符号化データのストリーム伝送を開始する高レイヤ用符号化データ送信手段とを備えた映像送信装置。
5. 映像のスケーラブル符号化が解像度スケーラブル符号化であり、映像データ蓄積手段により蓄積されている映像データに含まれている低レイヤ用符号化データが低解像度用符号化データ、中レイヤ用符号化データが中解像度用符号化データ、高レイヤ用符号化データが高解像度用符号化データであることを特徴とする請求項４記載の映像送信装置。
6. 中レイヤ用符号化データ送信手段は、低レイヤ用符号化データ送信手段により現在ストリーム伝送されている低解像度用符号化データよりも復号するタイミングが時間的に前の中解像度用符号化データを映像受信装置に送信する際、上記映像受信装置における映像の再生速度より速い伝送速度で上記中解像度用符号化データのストリーム伝送を開始し、これからストリーム伝送する中解像度用符号化データの復号タイミングが、これから上記低レイヤ用符号化データ送信手段によりストリーム伝送される低解像度用符号化データの復号タイミングに追いつくと、上記中解像度用符号化データの伝送速度を上記映像受信装置における映像の再生速度と同一の速度に変更することを特徴とする請求項５記載の映像送信装置。
7. 低レイヤ用符号化データ送信手段及び高レイヤ用符号化データ送信手段は、映像受信装置における映像の再生速度より速い伝送速度で高解像度用符号化データのストリーム伝送を行う段階では、通常時のフレームレートより低いフレームレートでストリーム伝送を行い、上記高解像度用符号化データの伝送速度を上記映像受信装置における映像の再生速度と同一の速度に変更すると、フレームレートを通常時のフレームレートに戻してストリーム伝送を行うことを特徴とする請求項３記載の映像送信装置。
8. フレーム間符号化方式で映像の解像度スケーラブル符号化が行われている場合、高解像度用符号化データの送信を開始する先頭ピクチャについては、フレーム内符号化方式で符号化されているイントラフレームを送信することを特徴とする請求項２または請求項５記載の映像送信装置。
9. カメラにより撮影された映像を解像度スケーラブル符号化する映像符号化手段と、上記映像符号化手段により解像度スケーラブル符号化された映像データに含まれている低解像度用符号化データを低レイヤ用符号化データ送信手段に出力し、上記低解像度用符号化データ以外の映像データを一定期間だけ映像データ蓄積手段に蓄積させる映像データ管理手段とを設けたことを特徴とする請求項２または請求項５記載の映像送信装置。
10. 高レイヤ用符号化データ送信手段は、低レイヤ用符号化データ送信手段により現在ストリーム伝送されている低解像度用符号化データよりも復号するタイミングが時間的に前の高解像度用符号化データを映像受信装置に送信する際、上記高解像度用符号化データを上記映像受信装置にファイル送信することを特徴とする請求項２記載の映像送信装置。
11. 映像がスケーラブル符号化されている映像データであって、低レイヤの映像の復号が可能な低レイヤ用符号化データの他に、上記低レイヤ用符号化データと一緒に復号すれば、高レイヤの映像の復号が可能な高レイヤ用符号化データを含む映像データを送信可能な映像送信装置から低レイヤ用符号化データをストリーム受信する低レイヤ用符号化データ受信手段と、低レイヤから高レイヤへの変更を指示する変更命令を上記映像送信装置に送信する変更命令送信手段と、上記変更命令送信手段から変更命令が送信されると、上記映像送信装置から、上記低レイヤ用符号化データ受信手段により現在ストリーム受信されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の高レイヤ用符号化データを受信し、その後、上記低レイヤ用符号化データ受信手段により受信される低レイヤ用符号化データと復号するタイミングが同一の高レイヤ用符号化データをストリーム受信する高レイヤ用符号化データ受信手段と、上記変更命令送信手段から変更命令が送信される前は、上記低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データを復号して低レイヤの映像を再生し、上記変更命令送信手段から変更命令が送信された後は、上記高レイヤ用符号化データ受信手段により受信された高レイヤ用符号化データと上記低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データのうち、復号するタイミングが同一の高レイヤ用符号化データと低レイヤ用符号化データを一緒に復号して高レイヤの映像を再生する映像再生手段とを備えた映像受信装置。
12. 映像のスケーラブル符号化が解像度スケーラブル符号化であり、低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データが低解像度用符号化データ、高レイヤ用符号化データ受信手段により受信された高レイヤ用符号化データが高解像度用符号化データであることを特徴とする請求項１１記載の映像受信装置。
13. 映像再生手段は、低解像度映像から高解像度映像に切り替えて再生する際、低レイヤ用符号化データ受信手段によりストリーム受信された低解像度用符号化データのバッファリング処理を実施する一方、高レイヤ用符号化データ受信手段により受信開始された高解像度用符号化データについてはバッファリング処理を実施せずに、直ちに、同一復号タイミングを有する上記高解像度用符号化データとバッファリング処理後の低解像度用符号化データを一緒に復号開始することを特徴とする請求項１２記載の映像受信装置。
14. 映像がスケーラブル符号化されている映像データであって、低レイヤの映像の復号が可能な低レイヤ用符号化データの他に、上記低レイヤ用符号化データと一緒に復号すれば、中レイヤの映像の復号が可能な中レイヤ用符号化データと、上記低レイヤ用符号化データ及び上記中レイヤ用符号化データと一緒に復号すれば、高レイヤの映像の復号が可能な高レイヤ用符号化データとを含む映像データを送信可能な映像送信装置から低レイヤ用符号化データをストリーム受信する低レイヤ用符号化データ受信手段と、低レイヤから高レイヤへの変更を指示する変更命令を上記映像送信装置に送信する変更命令送信手段と、上記変更命令送信手段から変更命令が送信されると、上記映像送信装置から、上記低レイヤ用符号化データ受信手段により現在ストリーム受信されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の中レイヤ用符号化データを受信し、その後、上記低レイヤ用符号化データ受信手段により受信される低レイヤ用符号化データと復号するタイミングが同一の中レイヤ用符号化データをストリーム受信する中レイヤ用符号化データ受信手段と、上記映像送信装置から、上記中レイヤ用符号化データ受信手段によりストリーム受信される中レイヤ用符号化データの復号タイミングが上記低レイヤ用符号化データ受信手段によりストリーム受信される低レイヤ用符号化データの復号タイミングに追いついてから高レイヤ用符号化データのストリーム受信を開始する高レイヤ用符号化データ受信手段と、上記変更命令送信手段から変更命令が送信される前は、上記低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データを復号して低レイヤの映像を再生し、上記変更命令送信手段から変更命令が送信された後は、上記中レイヤ用符号化データ受信手段により受信された中レイヤ用符号化データと上記低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データのうち、復号するタイミングが同一の中レイヤ用符号化データと低レイヤ用符号化データを一緒に復号して中レイヤの映像を再生し、上記高レイヤ用符号化データ受信手段により高レイヤ用符号化データのストリーム受信が開始された後は、復号するタイミングが同一の高レイヤ用符号化データ、中レイヤ用符号化データ及び低レイヤ用符号化データを一緒に復号して高レイヤの映像を再生する映像再生手段とを備えた映像受信装置。
15. 映像のスケーラブル符号化が解像度スケーラブル符号化であり、低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データが低解像度用符号化データ、中レイヤ用符号化データ受信手段によりストリーム受信された中レイヤ用符号化データが中解像度用符号化データ、高レイヤ用符号化データ受信手段により受信された高レイヤ用符号化データが高解像度用符号化データであることを特徴とする請求項１４記載の映像受信装置。
16. 映像再生手段は、低解像度映像から高解像度映像への切り替え時に中解像度の映像を再生する際、低レイヤ用符号化データ受信手段によりストリーム受信された低解像度用符号化データのバッファリング処理を実施する一方、中レイヤ用符号化データ受信手段により受信開始された中解像度用符号化データについてはバッファリング処理を実施せずに、直ちに、同一復号タイミングを有する上記中解像度用符号化データとバッファリング処理後の低解像度用符号化データを一緒に復号開始することを特徴とする請求項１５記載の映像受信装置。
17. 変更命令送信手段は、変更命令を映像送信装置に送信する際、低レイヤ用符号化データ受信手段により既にストリーム受信され、バッファリングされている低解像度用符号化データと一緒に復号することが可能な高解像度符号化データの位置を示す再生可能位置情報を上記映像送信装置に送信することを特徴とする請求項１２記載の映像受信装置。
18. 変更命令送信手段は、変更命令を映像送信装置に送信する際、映像の画質を優先するのか、映像の動きを優先するのかを示す優先度情報を上記映像送信装置に送信することを特徴とする請求項１２または請求項１５記載の映像受信装置。
19. 高レイヤ用符号化データ受信手段は、低レイヤ用符号化データ受信手段により現在ストリーム受信されている低解像度用符号化データよりも復号するタイミングが時間的に前の高解像度用符号化データを受信する際、映像送信装置から上記高解像度用符号化データをファイル受信することを特徴とする請求項１２記載の映像受信装置。
20. 映像がスケーラブル符号化されている映像データをストリーム伝送する映像送信装置と、上記映像送信装置から映像データをストリーム受信し、上記映像データを復号して映像を再生する映像受信装置とから構成されている映像配信システムにおいて、
    上記映像送信装置は、低レイヤの映像の復号が可能な低レイヤ用符号化データの他に、上記低レイヤ用符号化データと一緒に復号すれば、高レイヤの映像の復号が可能な高レイヤ用符号化データを含む映像データを蓄積する映像データ蓄積手段と、上記映像データ蓄積手段により蓄積されている低レイヤ用符号化データを上記映像受信装置にストリーム伝送する低レイヤ用符号化データ送信手段と、上記映像受信装置からレイヤの変更命令を受信する変更命令受信手段と、上記変更命令受信手段により受信された変更命令が低レイヤから高レイヤへの変更を指示する命令であれば、上記映像データ蓄積手段により蓄積されている高レイヤ用符号化データのうち、上記低レイヤ用符号化データ送信手段により現在ストリーム伝送されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の高レイヤ用符号化データを上記映像受信装置に送信し、その後、上記低レイヤ用符号化データ送信手段によりストリーム伝送される低レイヤ用符号化データと復号するタイミングが同一の高レイヤ用符号化データを上記映像受信装置にストリーム伝送する高レイヤ用符号化データ送信手段とを備えており、
    上記映像受信装置は、上記映像送信装置から低レイヤ用符号化データをストリーム受信する低レイヤ用符号化データ受信手段と、低レイヤから高レイヤへの変更を指示する変更命令を上記映像送信装置に送信する変更命令送信手段と、上記変更命令送信手段から変更命令が送信されると、上記映像送信装置から、上記低レイヤ用符号化データ受信手段により現在ストリーム受信されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の高レイヤ用符号化データを受信し、その後、上記低レイヤ用符号化データ受信手段により受信される低レイヤ用符号化データと復号するタイミングが同一の高レイヤ用符号化データをストリーム受信する高レイヤ用符号化データ受信手段と、上記変更命令送信手段から変更命令が送信される前は、上記低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データを復号して低レイヤの映像を再生し、上記変更命令送信手段から変更命令が送信された後は、上記高レイヤ用符号化データ受信手段により受信された高レイヤ用符号化データと上記低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データのうち、復号するタイミングが同一の高レイヤ用符号化データと低レイヤ用符号化データを一緒に復号して高レイヤの映像を再生する映像再生手段とを備えていることを特徴とする映像配信システム。
21. 映像がスケーラブル符号化されている映像データをストリーム伝送する映像送信装置と、上記映像送信装置から映像データをストリーム受信し、上記映像データを復号して映像を再生する映像受信装置とから構成されている映像配信システムにおいて、
    上記映像送信装置は、低レイヤの映像の復号が可能な低レイヤ用符号化データの他に、上記低レイヤ用符号化データと一緒に復号すれば、中レイヤの映像の復号が可能な中レイヤ用符号化データと、上記低レイヤ用符号化データ及び上記中レイヤ用符号化データと一緒に復号すれば、高レイヤの映像の復号が可能な高レイヤ用符号化データとを含む映像データを蓄積する映像データ蓄積手段と、上記映像データ蓄積手段により蓄積されている低レイヤ用符号化データを上記映像受信装置にストリーム伝送する低レイヤ用符号化データ送信手段と、上記映像受信装置からレイヤの変更命令を受信する変更命令受信手段と、上記変更命令受信手段により受信された変更命令が低レイヤから高レイヤへの変更を指示する命令であれば、上記映像データ蓄積手段により蓄積されている中レイヤ用符号化データのうち、上記低レイヤ用符号化データ送信手段により現在ストリーム伝送されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の中レイヤ用符号化データをを上記映像受信装置に送信し、その後、上記低レイヤ用符号化データ送信手段によりストリーム伝送される低レイヤ用符号化データと復号するタイミングが同一の中レイヤ用符号化データを上記映像受信装置にストリーム伝送する中レイヤ用符号化データ送信手段と、上記中レイヤ用符号化データ送信手段によりストリーム伝送される中レイヤ用符号化データの復号タイミングが上記低レイヤ用符号化データ送信手段によりストリーム伝送される低レイヤ用符号化データの復号タイミングに追いついたタイミングで、上記映像データ蓄積手段により蓄積されている高レイヤ用符号化データのストリーム伝送を開始する高レイヤ用符号化データ送信手段とを備えており、
    上記映像受信装置は、上記映像送信装置から低レイヤ用符号化データをストリーム受信する低レイヤ用符号化データ受信手段と、低レイヤから高レイヤへの変更を指示する変更命令を上記映像送信装置に送信する変更命令送信手段と、上記変更命令送信手段から変更命令が送信されると、上記映像送信装置から、上記低レイヤ用符号化データ受信手段により現在ストリーム受信されている低レイヤ用符号化データよりも復号するタイミングが時間的に前の中レイヤ用符号化データを受信し、その後、上記低レイヤ用符号化データ受信手段により受信される低レイヤ用符号化データと復号するタイミングが同一の中レイヤ用符号化データをストリーム受信する中レイヤ用符号化データ受信手段と、上記映像送信装置から、上記中レイヤ用符号化データ受信手段によりストリーム受信される中レイヤ用符号化データの復号タイミングが上記低レイヤ用符号化データ受信手段によりストリーム受信される低レイヤ用符号化データの復号タイミングに追いついてから高レイヤ用符号化データのストリーム受信を開始する高レイヤ用符号化データ受信手段と、上記変更命令送信手段から変更命令が送信される前は、上記低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データを復号して低レイヤの映像を再生し、上記変更命令送信手段から変更命令が送信された後は、上記中レイヤ用符号化データ受信手段により受信された中レイヤ用符号化データと上記低レイヤ用符号化データ受信手段によりストリーム受信された低レイヤ用符号化データのうち、復号するタイミングが同一の中レイヤ用符号化データと低レイヤ用符号化データを一緒に復号して中レイヤの映像を再生し、上記高レイヤ用符号化データ受信手段により高レイヤ用符号化データのストリーム受信が開始された後は、復号するタイミングが同一の高レイヤ用符号化データ、中レイヤ用符号化データ及び低レイヤ用符号化データを一緒に復号して高レイヤの映像を再生する映像再生手段とを備えていることを特徴とする映像配信システム。

Images