JP5550751B2 - 映像送信装置、その制御方法、および制御方法を実行するプログラム - Google Patents

Description

本発明は、フレーム間予測符号化によって複数の映像フレームを符号化し、符号化後の映像フレームを１つ以上含む映像フレーム群ごとに映像データを送信する映像送信装置に関する。

ネットワークの障害等が原因で映像送信の遅延や中断が発生した場合に、送信できなかった過去の映像フレーム群を破棄して、常に最新の映像フレーム群を送信して、遅延を少なくする技術がある（例えば、特許文献１参照）。

また、特許文献２には、フレーム間予測符号化された第一の映像データを生成する第一の符号化手段に加えて、フレーム内符号化された第二の映像データを生成する第二の符号化手段を設けている。そして、送信再開時に第二の映像データを第一の映像データの補完用として送信し、先に復号しておく。これにより、送信再開直後の部分がＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）の途中からであっても映像データを正しく復号、再生することが開示されている。

特開２００５−０８６３６２号公報 特開２００４−０５６８１９号公報

しかしながら、特許文献２のようなシステムでは、受信側に２つの映像データを受信して切り替えるための特別な機能を組み込む必要があり、受信側の装置において一般的な再生処理によって映像データを再生することが困難である。ここで、一般的な映像データの再生処理方法として、ＱｕｉｃｋＴｉｍｅ ＰｌａｙｅｒやＷｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ Ｐｌａｙｅｒなどのメディアプレーヤーがあげられる。さらに、送信側の装置に符号化方法の異なる複数の符号化部を必要とする。そのため、ハードウェア構成の複雑化やソフトウェア処理負荷の増大といった問題が生じる。

また、ＭＰ４ファイルフォーマットでは、送信単位であるムービーフラグメント（以後、フラグメントとする）として、以下のオプションがある。

（１） フレーム間予測を用いずに符号化される参照映像フレームから次の参照映像フレームの直前までの映像フレームまでのＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）をフラグメントとする。
（２） ＧＯＶをさらに複数に分割したそれぞれをフラグメントとする。

前者の場合、フラグメントは常にＩフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ ｆｒａｍｅ：フレーム内符号化された映像フレーム）から始まる。ところが後者の場合は、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ ｆｒａｍｅ：直前の映像フレームとの差分情報のみを保持する映像フレーム）などのＩフレーム以外の映像フレームから始まるフラグメントも存在する。

そのため、特許文献１で示すように単純に最新のフラグメントまでスキップして送信を再開する方法では、後者をフラグメントの単位とした場合、一般的な再生方法では、復号できずにエラーとなってしまう。

このような場合でも、Ｉフレームが欠落したフラグメントから次のＩフレームまでの映像フレームを無視する特別な機能を持つ復号部を受信側が備えることで、映像再生を継続することができる。しかしながら、一般的なネットワークメディアプレーヤーはこのような特別な機能を持つ復号部を備えず、こうした機能を持つ復号部を独自に受信側に搭載したとしても、複雑な処理を必要とするため、処理負荷が大きくなる。

また、ＧＯＶの長さ（フレーム数）が長い場合、Ｉフレームから始まるフラグメントの直後のＰフレームから始まるフラグメントから送信が再開された場合、次のＩフレームが現れるまで、長時間映像が停止することになる。

本発明はこうした課題を解決することを目的とする。

上述した目的を達成するために、映像フレームを符号化する符号化手段と、前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手段によって他の映像フレームのデータを用いて符号化された映像フレームとを記憶する記憶手段と、前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記記憶手段によって記憶された映像フレームを送信する送信手段と、前記記憶手段に記憶されており前記送信手段によって送信されていない映像フレームのフラグメントの数又は映像フレームの数が上限数を超えた時点以降に前記符号化手段によって映像フレーム内のデータを用いて符号化される第１の映像フレームより前の映像フレームに応じたフラグメントの送信を制限するように制御する制御手段と、を有することを特徴とする。
また上述した目的を達成するために、映像フレームを符号化する符号化手段と、前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手段によって他の映像フレームのデータを用いて符号化された映像フレームとを記憶する記憶手段と、前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記記憶手段によって記憶された映像フレームを送信する送信手段と、前記送信手段によって送信されていない前記フラグメントのうち、前記符号化手段によって映像フレーム内のデータを用いて符号化される映像フレームに応じたフラグメントを検出する検出手段と、前記記憶手段に記憶されており前記送信手段によって送信されていない映像フレームのフラグメントの数又は映像フレームの数が上限数を超えたことに応じて、前記検出手段が検出した前記フラグメントに応じた映像フレームより前の映像フレームに応じたフラグメントの送信を制限するように制御する制御手段と、を有することを特徴とする。

本発明によれば、フラグメントに含まれるフレーム数がＧＯＶに含まれるフレーム数より少ない場合でも、特別な再生処理をしなくても映像送信がどの時点で中断されてもリアルタイムに映像再生が継続されるようになる。

また、再生停止時間と再生遅延時間のバランスを考慮して、再生停止時間の短さを優先した映像送信と再生遅延時間の短さを優先した映像送信を選択的に実施し、ＧＯＶの長さが長い場合でも最大映像停止時間を短くすることも可能である。

本発明を適用した映像送信装置のブロック図 フラグメントの生成の流れを表すフローチャート 送信待ち行列が保持するフラグメント情報の具体例 フラグメントの送信の流れを表すフローチャート 映像送信の中断前後に映像送信装置から送信されるフラグメントと、外部装置で再生されるフラグメントの時間との関係を表した図

以下、添付の図面に沿って本発明の実施の形態を説明する。

なお、以下に説明するフラグメントは、ＧＯＶをさらに複数に分割したそれぞれをフラグメント（フレーム群）とすることを前提としている。ＧＯＶ（Ｇｒｏｕｐ Ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）は、フレーム間予測を用いずに符号化される映像フレーム（Ｉフレーム）から次の映像フレーム（Ｉフレーム）の直前までの映像フレームまでのフレーム群である。Ｉフレーム（Ｉｎｔｒａ−ｃｏｄｅｄ ｆｒａｍｅ）は、映像フレーム内のデータを用いて符号化処理された映像フレームとする。本実施の形態では、このＩフレームを参照フレームと称している。また、Ｐフレーム（Ｐｒｅｄｉｃｔｅｄ ｆｒａｍｅ）は、直前の映像フレームの差分の映像フレームであり、映像フレーム間のデータを用いて符号化されたフレームの１例である。本実施の形態では、Ｐフレームの代わりに映像フレーム間のデータを用いて符号化された映像フレームでもよい場合がある。

図１は、本実施形態の映像送信装置のブロック図である。

映像送信装置は、撮影部１−１，符号化部１−２，一時記憶部１−３，制御部１−４，および通信部１−５を有する。撮影部１−１は、撮像素子を有し、映像フレームを生成する。符号化部１−２は、生成された映像フレームをフレーム間予測符号化し、フレーム内予測符号化する処理を行う符号化回路である。一時記憶部１−３は、符号化後の映像フレームを一時的に保持するメモリを有する。制御部１−４は、映像送信装置全体を統括制御するものであり、制御部の処理を実行するためのプログラムを格納したコンピュータ可読メモリおよびこのプログラムに基づいて処理を実行するＣＰＵを有する。通信部１−５は、ネットワーク１−６を介して符号化された映像フレームの送信や外部装置からのリクエストを受信する通信回路である。ネットワーク１−６は例えばインターネットなどである。

本実施形態の映像送信装置の制御部１−４は、送信待ち行列１−４１の情報をメモリに保持し、この送信待ち行列によって各フラグメントの情報を管理することによりフラグメントの生成あるいは破棄を行う。

図２は、映像送信装置の制御部１−４によって実行されるフラグメントの生成の処理フローチャートである。

まず、ステップＳ２１において、ネットワーク１−６を介して外部装置からの映像送信のリクエストを通信部１−５が受信する。すると、このリクエストを受け、制御部１−４はフラグメントの生成処理を開始する。まず、制御部１−４は、符号化部１−２に映像フレームの符号化を実行させ、符号化された映像フレームを一時記憶部１−３に保持させる。

ステップＳ２２において、制御部１−４は、一時記憶部１−３に保持された映像フレームがあらかじめ定められたフレーム数に達しているかどうか判断する。保持されたフレーム数があらかじめ定められたフレーム数に達していない場合はステップＳ２１の処理を繰り返す。保持されたフレーム数があらかじめ定められたフレーム数に達した場合、ステップＳ２３の処理に進む。

ステップＳ２３において、制御部１−４は、保持された映像フレームがあらかじめ定められたフレーム数に達すると、これらの映像フレームをグループ化したフラグメントを生成する。

ステップＳ２４において、制御部１−４は、送信待ちのフラグメント情報を管理するためにフラグメントの送信待ち行列に関する情報１−４１を保持する。そして、制御部１−４は、保持されたフラグメントをリクエストした外部装置に順次送信する。制御部１−４は、送信が完了すると、一時記憶部１−３のメモリに保持された送信済のフラグメントの映像フレームのデータを消去する。また、制御部１−４は、送信待ち行列に関する情報１−４１を参照し、未送信のフラグメントの数を確認する。

ステップＳ２５において、制御部１−４は、未送信のフラグメントの数が上限数に達しているかどうかの確認を行う。未送信のフラグメントの数が上限数を超えている場合、送信中断状態になっているなどの理由で送信が行われていないと考えられる。

そのため、ステップＳ２６において、制御部１−４は、未送信のフラグメントの数が上限数を超えている場合、未送信のフラグメントのうち後述する所定のルールに基づいて選択されたフラグメントを破棄する。すなわち、一時記憶部１−３のメモリから選択されたフラグメントの映像フレームのデータを消去する。なお、ステップＳ２６では、フラグメントの数を基準としたが、映像フレームの数を基準としてもよく、フラグメントの送信状態に応じた基準であれば、フラグメントの数に代用することができる。

一方、未送信のフラグメントが上限数を超えていない場合、あるいはステップＳ２６において未送信のフラグメントの破棄が完了した場合は、ステップＳ２７に処理が進む。ステップＳ２７において、制御部１−４は、ステップＳ２３において新たに生成されたフラグメントが一時記憶部に保持されるとともに、送信待ち行列に新たに生成されたフラグメントの情報が追加される。

ステップＳ２８において、制御部１−４は、映像送信を継続する必要があるかどうかの判定を行うため、リクエストした外部装置との接続が継続しているかどうかの確認を行う。

ステップＳ２９において、リクエストした外部装置との接続が継続している場合はステップＳ２１の処理に戻ってフラグメントの生成処理が継続される。受信側からの接続が全て終了しており、映像送信を継続する必要がないと判断された場合、フラグメントの生成処理が終了する。

なお、ステップＳ２１における処理は符号化部１−２の映像フレームの出力間隔ごとに実行され、ステップＳ２２〜Ｓ２８における処理はネットワークの通信状態などに左右されない処理である。したがって、ネットワークの通信状態が同じような状態であって、かつ全てのフラグメントが送信できない状態が継続していれば、ステップＳ２６におけるフラグメントの破棄は、定期的に実行されることになる。なお、図４に示すようにフラグメントの送信処理は、フラグメントの生成処理とは独立して実行されるものとする。

図３は、送信待ち行列に関する情報１−４１の具体例である。

送信待ち行列に関する情報は、各フラグメントのフラグメントＩＤ，ポインタ，参照フレーム（Ｉフレーム）生成時刻，送信フラグ，および参照フレームの有無に関する情報である。

フラグメントＩＤは、フラグメントの識別番号であり、フラグメントが生成された順にＩＤが付与される。ポインタは、一時記憶部１−３のどの位置にフラグメントの実体が保持されているかを示すものである。参照フレーム生成時刻は、各フラグメントが属するＧＯＶの先頭の参照フレーム（Ｉフレーム）が生成された時刻を示す。送信フラグは、フラグメントが送信済みか未送信かを示すフラグである。参照フレームフラグは、対応するフラグメントが参照フレーム（Ｉフレーム）を有しているか否かを示すフラグである。フラグメントが参照フレームを有している場合はフラグが「１」であり、参照フレームを有していない場合はフラグが「０」となる。これらの情報は、随時現在の状態を反映して更新される。

なお、これらの情報はあくまでも一例であり、全ての情報が必ず必要と言うわけではない。例えば、送信待ち行列に関するが未送信のフラグメントに関する情報のみを保持するようにすれば、送信フラグは不要である。このような場合でも参照フレーム生成時刻から、フラグメントがどのＧＯＶに属するのかを判断することができるので問題ない。

図３に示す具体例では、フラグメントが３３３ミリ秒ごと、ＧＯＶが１０００ミリ秒ごとに生成され、ＧＯＶが３つのフラグメントで構成される設定になっている。また、ＩＤ＝１、ＩＤ＝４、ＩＤ＝７、ＩＤ＝１０のフラグメントが参照フレーム（Ｉフレーム）から始まるフラグメントになっている。ＩＤ＝１及びＩＤ＝２のフラグメントは既に送信済みであり、ＩＤ＝２のフラグメントを送信した直後に送信が中断されたため、ＩＤ＝３以降のフラグメントは未送信となっている。

ここで、未送信フラグメントの上限数が９に設定されている場合、新たにＩＤ＝１２に対応するフラグメントが生成されると、未送信フラグメントの数が１０となって上限数を超えることになる。そのため、図２のステップＳ２６におけるフラグメントの破棄が実行される。本実施形態においては、未送信のフラグメントのうち、最も古いフラグメントから、最も新しく符号化された参照フレーム（Ｉフレーム）の直前のフラグメントまでが破棄される。図３の場合、ＩＤ＝３〜９のフラグメントが破棄される。このとき、制御部１−４は、参照フレーム生成時刻が異なるフラグメントの映像フレームのデータを一時記憶部１−３のメモリから消去すればよい。また、制御部１−４は、フラグメントＩＤおよび参照フレームフラグを参照することによって最も新しい参照フレームを有しているフラグメントを検出してもよい。その場合、制御部１−４は、最も古いフラグメントから、検出されたフラグメントの直前のフラグメントまでを一時記憶部１−３のメモリから消去すすることになる。

なお、未送信フラグメントの上限数（基準）を調整することで、ステップＳ２６のフラグメント破棄のタイミングを変化させ、外部装置における映像の再生遅延時間と再生停止時間のいずれを優先するかを選択することができる。例えば、未送信フラグメントの上限数を９とした場合は、最大で９個分の過去に生成されたフラグメントが、送信中断後に直近に生成されたフラグメントの前に再生されることになる。このとき、最大再生遅延時間は９×３３３ミリ秒で３秒となる。上限数を３とした場合は、最大再生遅延時間は３×３３３ミリ秒で１秒となる。すなわち、上限数が９の場合に比べて最大再生遅延時間は２秒短くなる。この上限数は映像フレームの送信先の外部装置のリクエストに応じて制御部１−４によって変更できる。

ところが、再生停止時間は再生遅延時間とトレードオフの関係にあるので、逆に、未送信フラグメントの上限数が９の場合は、上限数が３の場合に比べて、最大再生停止時間を２秒短くすることができる。このように、未送信フラグメントの上限数を小さくするほど再生遅延時間優先、大きくするほど再生停止時間優先にすることができる。

さらに、まだ生成されていないフラグメントを送信済みとして送信待ち行列に追加しておくことで、再生遅延時間をより短くすることも可能である。具体的には、図３のＩＤ＝１１のフラグメントが生成された時点で、まず、ＩＤ＝３〜１１までのフラグメントを破棄する。それとともに、次のＩフレームから始まるＩＤ＝１３のフラグメントの直前までのまだ生成されていないフラグメント、つまりＩＤ＝１２のフラグメントを、送信フラグが１の状態で送信待ち行列に追加する。そして、ＩＤ＝１２のフラグメントが生成されても、既に送信フラグが１として送信待ち行列に登録されていれば、ＩＤ＝１２のフラグメントは送信されない。なお、このときＩＤ＝１２は破棄する必要がある。これにより、後述の図５における時刻Ｔ２の直前に生成されたＩフレームから始まるフラグメント１０７から再生を再開するだけでなく、時刻Ｔ２の直後に生成されるＩフレームから始まるフラグメント１１０から再生を再開できる。

図４は、映像送信装置の制御部１−４によって実行されるフラグメントの送信の処理フローチャートである。

フラグメントの送信処理は、図２で示したフラグメントの生成処理と同様に、ネットワーク１−６を介して外部装置からの映像送信のリクエストを受けて開始される。

ステップＳ４１において、制御部１−４は、送信待ち行列に未送信のフラグメントがあるかどうかを確認する。ステップＳ４２において、未送信のフラグメントが存在しないと判断された場合、ステップＳ４３に進み、制御部１−４は、フラグメントの生成間隔の時間分待機する。一方、ステップＳ４２において、未送信のフラグメントがあると判断された場合、ステップＳ４４に進む。

ステップＳ４２において、制御部１−４は、送信待ち行列の未送信フラグメントのうち、最も生成時刻が古いフラグメントを通信部１−５に送信させる。最も生成時刻が古いかどうかは、フラグメントＩＤが最も小さいかどうかで判断することができる。

ステップＳ４５において、制御部１−４は、映像送信を継続する必要があるかどうかの判定を行うため、リクエストした外部装置との接続が継続しているかどうかの確認を行う。

ステップＳ４６において、外部装置との接続が継続している場合はステップＳ４１に戻り、送信処理が継続される。一方、外部装置との接続が終了した場合、制御部１−４は、フラグメントの送信処理を終了する。

ここで、ステップＳ４４におけるフラグメントの送信は、通信状況によってすぐに送信できない可能性があるため、ステップＳ４１の処理を実行する間隔は長くなる恐れがある。ところが、フラグメントの送信処理と図２のフラグメントの生成処理とは独立して処理が実行されており、ステップＳ２６のフラグメントの破棄はフラグメントの生成間隔ごとに定期的に実行される。そのため、通信状況によってステップＳ４１の実行間隔が延びた場合でも、問題なく映像の送信がスキップされることになる。

図５は、映像送信の中断前後に映像送信装置から送信されるフラグメントと、外部装置において受信されるフラグメントとの関係を時系列に示した図である。

図５（ａ）は、一時記憶部１−３に保持されるフラグメント，図５（ｂ）は、通信部１−５から実際に送信されるフラグメント，図５（ｃ）は、外部装置が受信するフラグメントを示している。図５（ａ）〜（ｃ）の横軸は時間軸である。

フラグメント１０１〜１１０は、それぞれ３つの映像フレームで構成されるフラグメントである。そして、フラグメント１０１〜１０３、１０４〜１０６、１０７〜１０９がそれぞれ１つのＧＯＶを構成している。各ＧＯＶの先頭のフラグメント５−１０１、５−１０４、５−１０７は参照フレーム（Ｉフレーム）であり、他のフラグメントはＰフレームである。図５（ａ）〜（ｃ）間の各フラグメント間を結ぶ破線の両矢印は、それぞれ同一フラグメントを示している。なお、図５では、映像送信装置において、各フラグメントの生成及び送信に要する時間は、簡略化のために０と仮定している。

ここで、一時的に何らかのネットワークトラブルが発生したことにより時刻Ｔ１からＴ２の間にフラグメントを送信できなくなったとする。その場合、本実施形態の映像送信装置では、時刻Ｔ２以降に生成された最初のフラグメント１０８が属するＧＯＶの先頭であり、時刻Ｔ２以前に生成されたＩフレームが含まれるフラグメント５−１０７から送信する。すなわち、欠落するフラグメントはフラグメント１０３〜１０６となる。

なお、本実施形態の映像送信装置では、時刻Ｔ２以降に生成されたフラグメント１０３を、時刻Ｔ２以降に最初に送信するようにしてもよい。フラグメント１０３が属するＧＯＶのフラグメント１０１，１０２は外部装置で受信されているためである。その際、フラグメント１０３が受信されるまでフラグメント１０１，１０２は外部装置で保持する必要がある。このとき、図２のステップＳ２６のフラグメントの廃棄処理において、制御部１−４は、参照フレームを有するフラグメントのうち最も古いものより以前に生成されたフラグメントを廃棄せずに一時記憶部１−３のメモリに保持しておく。すなわち、欠落するフラグメントはフラグメント１０４〜１０６となる。

すなわち、本実施形態の映像送信装置では、図５に示したように、フラグメント１０３（１０４）〜１０６の映像フレームは、欠落するために再生されない。しかしながら、中断直後に送信されるフラグメントについては再生に必要な映像フレームが全て揃っているため、外部装置において問題なく再生できる。すなわち、外部装置が汎用的なネットワークメディアプレーヤーしか有していない場合であってもフラグメント単位での送信の中断に対応できる。従って、再生遅延を小さく保ったまま欠落する映像フレームを最小化することも可能になる。

なお、外部装置における通常の再生処理では、図５（ｃ）で示したように、フラグメントの送信が中断されている場合、送信中断前に送信されたフラグメント１０２の末尾の映像フレームが表示され続ける。そして、フラグメントの送信再開後はフラグメント１０３〜１０６の映像フレームの再生がスキップされてフラグメント１０７の映像フレームから再生される。また、欠落するフラグメントをフラグメント１０４〜１０６とした場合は、送信再開後はまず、フラグメント１０３の映像フレームが再生されてから、フラグメント１０７の映像フレームが再生されることになる。

このように、フラグメントに含まれるフレーム数がＧＯＶに含まれるフレーム数より少ない場合でも、特別な機能を持った復号部をなくても、映像送信がどの時点で中断されても映像再生が継続されるようになる。

１−１ 撮像部
１−２ 符号化部
１−３ 一時記憶部
１−４ 制御部
１−５ 通信部
１−６ ネットワーク

Claims (13)

1. 映像フレームを符号化する符号化手段と、
   前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手段によって他の映像フレームのデータを用いて符号化された映像フレームとを記憶する記憶手段と、
   前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記記憶手段によって記憶された映像フレームを送信する送信手段と、
   前記記憶手段に記憶されており前記送信手段によって送信されていない映像フレームのフラグメントの数又は映像フレームの数が上限数を超えた時点以降に前記符号化手段によって映像フレーム内のデータを用いて符号化される第１の映像フレームより前の映像フレームに応じたフラグメントの送信を制限するように制御する制御手段と、
   を有することを特徴とする映像送信装置。
2. 前記制御手段は、前記送信手段による前記フラグメントの送信を制限する場合、前記記憶手段に記憶されており前記送信手段によって送信されていない映像フレームのうち、フレーム内のデータを用いて符号化された映像フレームに応じた最も古い第１のフラグメントより古い映像フレームを送信し、前記第１のフラグメントから前記第１の映像フレームの直前の第２の映像フレームに応じたフラグメントまでの送信を制限するように制御すること
   を特徴とする請求項１に記載の映像送信装置。
3. 前記制御手段は、映像フレームの送信先の装置のリクエストに応じて前記上限数を変更することを特徴とする請求項１に記載の映像送信装置。
4. 映像フレームを符号化する符号化手段と、
   前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手段によって他の映像フレームのデータを用いて符号化された映像フレームとを記憶する記憶手段と、
   前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手段によって映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記記憶手段によって記憶された映像フレームを送信する送信手段と、
   前記送信手段によって送信されていない前記フラグメントのうち、前記符号化手段によって映像フレーム内のデータを用いて符号化される映像フレームに応じたフラグメントを検出する検出手段と、
   前記記憶手段に記憶されており前記送信手段によって送信されていない映像フレームのフラグメントの数又は映像フレームの数が上限数を超えたことに応じて、前記検出手段が検出した前記フラグメントに応じた映像フレームより前の映像フレームに応じたフラグメントの送信を制限するように制御する制御手段と、
   を有することを特徴とする映像送信装置。
5. 前記送信手段によって送信されていない前記フラグメントを示す情報を保持する保持手段を有し、
   前記検出手段は、前記保持手段に保持された前記情報が示す前記フラグメントのうち、前記符号化手段によって映像フレーム内のデータを用いて符号化される映像フレームに応じたフラグメントを検出することを特徴とする請求項４に記載の映像送信装置。
6. 映像フレームを符号化する符号化ステップと、
   前記符号化ステップにおいて映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化ステップにおいて他の映像フレームのデータを用いて符号化された映像フレームをメモリに記憶する記憶ステップと、
   前記符号化ステップにおいて、映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化ステップにおいて映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記メモリに記憶された映像フレームを送信する送信ステップと、
   前記メモリに記憶されており送信されていない映像フレームのフラグメントの数又は映像フレームの数が上限数を超えた時点以降に映像フレーム内のデータを用いて符号化される第１の映像フレームより前の映像フレームに応じたフラグメントの送信を制限するように制御する制御ステップと、
   を有することを特徴とする映像送信装置の制御方法。
7. 前記制御ステップにおいて前記フラグメントの送信を制限する場合、前記メモリに記憶されており前記送信ステップにおいて送信されていない映像フレームのうち、フレーム内のデータを用いて符号化された映像フレームに応じた最も古い第１のフラグメントより古い映像フレームを送信し、前記第１のフラグメントから前記第１の映像フレームの直前の第２の映像フレームに応じたフラグメントまでの送信を制限するように制御することを特徴とする請求項６に記載の映像送信装置の制御方法。
8. 映像フレームを符号化する符号化ステップと、
   前記符号化ステップにおいて映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化ステップにおいて他の映像フレームのデータを用いて符号化された映像フレームとをメモリに記憶する記憶ステップと、
   前記符号化ステップにおいて映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化ステップにおいて映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記メモリに記憶された映像フレームを送信する送信ステップと、
   前記送信ステップにおいて送信されていない前記フラグメントのうち、映像フレーム内のデータを用いて符号化される映像フレームに応じたフラグメントを検出する検出ステップと、
   前記メモリに記憶されており前記送信ステップにおいて送信されていない映像フレームのフラグメントの数又は映像フレームの数が上限数を超えたことに応じて、前記検出ステップにおいて検出した前記フラグメントに応じた映像フレームより前の映像フレームに応じたフラグメントの送信を制限するように制御する制御ステップと、
   を有することを特徴とする映像送信装置の制御方法。
9. 前記送信されていない前記フラグメントを示す情報を保持手段に保持する保持ステップを有し、
   前記検出ステップにおいて、前記保持手段に保持された前記情報が示す前記フラグメントのうち、前記符号化手段によって映像フレーム内のデータを用いて符号化される映像フレームに応じたフラグメントを検出することを特徴とする請求項８に記載の制御方法。
10. コンピュータに、
    映像フレームを符号化する符号化手順と、
    前記符号化手順において映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手順において他の映像フレームのデータを用いて符号化された映像フレームをメモリに記憶する記憶手順と、
    前記符号化手順において、映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手順において映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記メモリに記憶された映像フレームを送信する送信手順と、
    前記メモリに記憶されており送信されていない映像フレームのフラグメントの数又は映像フレームの数が上限数を超えた時点以降に映像フレーム内のデータを用いて符号化される第１の映像フレームより前の映像フレームに応じたフラグメントの送信を、制限するように制御する制御手順と、
    を実行させるためのプログラム。
11. 前記コンピュータに、
    前記制御手順において前記フラグメントの送信を制限する場合、前記メモリに記憶されており前記送信手順において送信されていない映像フレームのうち、フレーム内のデータを用いて符号化された映像フレームに応じた最も古い第１のフラグメントより古い映像フレームを送信し、前記第１のフラグメントから前記第１の映像フレームの直前の第２の映像フレームに応じたフラグメントまでの送信を制限するように制御する処理を実行させるための請求項１０に記載のプログラム。
12. コンピュータに、
    映像フレームを符号化する符号化手順と、
    前記符号化手順において映像フレーム内のデータを用いて符号化された映像フレームと、前記符号化手順において他の映像フレームのデータを用いて符号化された映像フレームとをメモリに記憶する記憶手順と、
    前記符号化手順において映像フレーム内のデータを用いて符号化された映像フレームから、新たに前記符号化手順において映像フレーム内のデータを用いて符号化された映像フレームの直前の映像フレームまでの映像フレーム群を複数に分割したフラグメントごとに、前記メモリに記憶された映像フレームを送信する送信手順と、
    前記送信手順において送信されていない前記フラグメントのうち、映像フレーム内のデータを用いて符号化される映像フレームに応じたフラグメントを検出する検出手順と、
    前記メモリに記憶されており前記送信手順において送信されていない映像フレームのフラグメントの数又は映像フレームの数が上限数を超えたことに応じて、前記検出手順において検出した前記フラグメントに応じた映像フレームより前の映像フレームに応じたフラグメントの送信を制限するように制御する制御手順と、
    を実行させるためのプログラム。
13. 前記コンピュータに、
    前記送信されていない前記フラグメントを示す情報を保持手段に保持する保持手順を実行させ、
    前記検出手順において、前記保持手段に保持された前記情報が示す前記フラグメントのうち、前記符号化手段によって映像フレーム内のデータを用いて符号化される映像フレームに応じたフラグメントを検出する処理を実行させるための請求項１２に記載のプログラム。

Images