JP4393955B2 - 送信装置、データ送信方法、プログラム、および、そのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、送信装置、データ送信方法、プログラム、および、そのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。特に、外部から逐次送信されるリアルタイム性を有するデータを取得して、該取得したデータを受信装置に送信する送信装置、データ送信方法、プログラム、および、そのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。

家庭内等の小規模の無線ＬＡＮ(Local Area Network)の規格であるＩＥＥＥ８０２．１１、および電力線通信（ＰＬＣ）の規格等では、動画像を含む映像データをパケット化して通信を行うことができる。これらの規格においては、一般的に、映像データを含むパケット（以下、データパケット）が受信側に正しく到着したことを送信側に知らせる受信確認応答パケット（以下、ＡＣＫパケット）を、受信側から送信側に対して返送する規定がある。さらに、上記規格では、データパケットが受信側に届かなかったり、あるいは、途中で通信エラーが発生して、ＡＣＫパケットが送信側に返送されなかった場合には、送信側で同じデータパケットを規定回数または規定時間送り直すといった再送の仕組みが規定されている。そして、これらの規格を採用した装置では、上記再送の仕組みを利用し、通信環境が悪化して通信帯域幅が狭くなった場合に、データパケットを再送することにより、データパケットを正しく受信側に伝送できる確率を高くすることができる。

また、同じく小規模の通信システムにおいて、通信環境の悪化に対応する方法として、通信帯域幅が狭くなったときには、その通信帯域に収まるように、トランスレーティングまたはトランスコーディングと呼ばれる処理を行って、本来送信すべき映像データの情報量を減らして送信する方法がある。また、これらの処理は、一般的には通信帯域を推定する機能と共に使用される。すなわち、例えば受信側におけるＣＮＲ（Carrier to Noise Ratio；搬送波と雑音の比）や受信電力値等のパラメータを送信側へ知らせることにより、送信側では、通信帯域幅が減少したと判断し、かつ、それ以降の映像データの情報量であるビットレートや解像度を減少させる。これにより、通信帯域幅に収まるように逐次制御が可能となり、その結果、送信側と受信側との間において通信エラーのない伝送を行なうことができる。

また、以上の再送による送信と、トランスコーディングを利用した送信とを組合せて用いることができ、その場合にはより一層の効果が期待できる。

さらに、通信環境の悪化に対応する他の技術としては、特許文献１が挙げられる。この技術は、放送局からブロードキャストされる映像データを車両が受信することを想定している。そして、上記技術では、車両がトンネル内に入って映像データの受信状態が不良になった後であって、車両がトンネルから出て映像データの受信状態が回復した際に、まず車両から受信補助センタにアクセスし、受信状態が不良であった時間帯を通知している。上記時間帯の情報を受け取った受信補助センタは、その時間帯に対応する映像データを間引いたりして車両に送信する。一方、車両は、上記受信補助センタより映像データを受信すると、該映像データを上記時間帯で示される時間よりも短い時間で再生する。さらに、車両は、上記映像データの再生が完了すると、本来の放送局からの映像データの受信に切り替える。

また、送信側から送信される映像データが送信側内部において蓄積されたデータである場合には、受信状態が回復したときに、受信状態が不良であった時間帯の情報を受信側から送信側にフィードバックすることによって、蓄積されている映像データを再度読み出し、受信側で正しく受信されなかった時間帯の全てのデータを送り直すこともできる。

一方、最近では、家庭内等における小規模な環境下で無線などを使用して以下の（ａ）から（ｄ）に示すような伝送を行い、送信側の機器が設置された部屋とは別の部屋にて、送信側から送信された映像データに基づく映像を視聴するケースが増えてきている。
（ａ）送信機が組み込まれたデジタル放送チューナから、受信機を備えたテレビへの伝送
（ｂ）送信機が組み込まれたＣＡＴＶチューナから、受信機を備えたテレビへの伝送
（ｃ）送信機が組み込まれたビデオカメラから、受信機を備えたテレビへの伝送
（ｄ）ＤＶＤ再生機、ＶＴＲ、またはＰＶＲとアナログ接続した送信機から、受信機を備えたテレビへの伝送
なお、テレビに関しては、必ずしも受信機を備えている必要はなく、受信機を介して映像データを取得する構成も挙げられる。

図２７は、上記の伝送を行う場合の通信システムの一例の概略構成図である。同図に示すとおり、通信システム８１は、アンテナ８２、送信装置８３、テレビ８４、および、外部映像機器８５を備えている。

アンテナ８２は、テレビ放送局から送信される、符号化されたデータ（符号化データ）を受信する。送信装置８３は、室内に配置されると共に、チューナ部８３ａと送信部８３ｂと符号化部８３ｃとを備えている。チューナ部８３ａは、アンテナ８２を介して上記符号化データを受信し、受信した符号化データを送信部８３ｂに出力する。送信部８３ｂは、チューナ部８３ａからの符号化データを取得すると共に、該符号化データを無線にてテレビ８４に送信する。符号化部８３ｃは、外部映像機器８５から送信装置８３に送られてくるアナログデータを符号化すると共に、該符号化したデータ（符号化データ）を送信部８３ｂに送信する。

テレビ８４は、室内に配置されると共に、受信機８４ａおよび映像復号化装置８４ｂが組み込まれている。テレビ８４においては、受信機８４ａで送信部８３ｂより送られてきた符号化データを受信する。そして、映像復号化装置８４ｂにより、受信機８４ａで受信した符号化データのうち、映像に関するデータ（映像データ）を復号化する。そして、テレビ８４では、この復号化した映像データを表示画面に表示する。なお、テレビ８４の代わりに、ＰＣ（パーソナルコンピュータ）でもよい。また、外部映像機器８５は、自装置で再生したアナログデータを、送信装置８３の符号化部８３ｃに対して送信する。

この通信システム８１では、送信装置８３だけをアンテナ８２に接続しておけば、テレビ８４をアンテナ設備のない他の部屋へ持ち運んでも放送される映像を見ることができる。したがって、通信システム８１では、テレビ８４の可搬性が増すといった利点がある。

また、送信装置８３は、上述したように、外部映像機器８５から入力されるアナログデータを符号化部８３ｃにおいて符号化し、かつ、該符号化したデータ（符号化データ）を受信側に送信する。したがって、例えば外部映像機器８５としてＤＶＤ再生機を送信装置８３に接続し、外部映像機器８５の映像出力信号と音声出力信号とを送信装置８３に送信することにより、送信装置８３が配置された部屋とは別の部屋においてＤＶＤに記録された映像を見ることができる。現在では、このようなシステムを構成する製品が既に商品化されており、需要が増えつつある。

図２８は、送信装置８３における送信部８３ｂの機能ブロック図である。なお、送信装置８３は、通信帯域に適応するように、入力される符号化データのうち映像に関するデータ（映像データ）のビットレートを変換する機能を有しているものとする。また、チューナ部８３ａおよび符号化部８３ｃから送信部８３ｂに入力される符号化データを、以下では、ＭＰＥＧ−２ＴＳ(MPEG-2 Transport Stream)パケット（以下、ＴＳパケットと称する）として説明する。

送信部８３ｂに入力されたＴＳパケットは、分離部９１において映像と音声との各ＰＥＳ（Packetized Elementary Stream）と呼ばれるパケットに分離される。また、分離された映像データはトランスコーダ９２に入力されると共に、分離された音声データは音声バッファ９４に入力される。このトランスコーダ９２を含む通信システム８１においては、受信側におけるＣＮＲ（Carrier to Noise Ratio；搬送波と雑音との比）や受信電力値等のパラメータを送信側へ知らせるようになっており、その情報はＭＡＣ(Media Access Controller)／ＰＨＹ(Physical Layer Device)９７を通して帯域幅推定部９８に入力される。

帯域幅推定部９８は、上記入力される情報に基づいて現時点の通信帯域幅を推定し、推定結果をレート制御部９９に送る。レート制御部９９では、上記推定結果から送信データのビットレートを決定し、決定したビットレートをトランスコーダ９２に送る。

ここで、通信帯域幅が狭くなった場合（つまり、送られてきたビットレートが現時点におけるビットレートよりも小さい場合）には、トランスコーダ９２は、上記決定したビットレートに収まるように、以後の映像データの符号化データを削減する。逆に、通信帯域幅が広くなった場合（つまり、送られてきたビットレートが現時点におけるビットレートよりも大きい場合）には、出力する映像データのビットレートを増やすことができる。したがって、受信側ではより美しい映像を再生することができる。

このように、送信装置８３では、トランスコーダ９２によって、帯域幅に適応するように、元の映像データのビットレートを上限として逐次ビットレートの変更が行われる。この結果、受信側での受信エラーを減少させることができる。また、通信帯域幅が狭いときは再生画質は低下するが、通信可能な状況であるため、通信エラーによる画像の一部が欠落や、画像の停止等の発生を抑えることができる。

ところで、以上のようなシステム構成であっても、無線通信の場合には、人が送受信機の間を通ることにより通信経路を遮ったりすると、通信環境が悪化する。そのため、伝送不良が生じるおそれがある。また、上述したＰＬＣの場合には、別のコンセントに接続された他の機器が動作してノイズが発生するなどして、伝送不良が生じるおそれがある。

また、以上で挙げた例（（ａ）〜（ｄ））は全て、送信側から送信される映像データがリアルタイムデータである。したがって、このような場合には、受信状態が不良であった時間帯における映像データを再度送り直すことはできない。つまり、上記時間帯における映像データは既に失われているため、この時間帯の映像データを再送できない。

さらに、外部映像機器８５であるＤＶＤ再生機などは、アナログデータを用いて送信装置８３と通信される。それゆえ、送信装置８３では、符号化部８３ｃで上記アナログデータに対して符号化を行った後、この符号化データをテレビ４に送信することが一般的である。したがって、送信装置８３では、送信部８３ｂからＤＶＤ再生機に対して、受信不良中のデータを再度読み出すことはできない。それゆえ、このようなＤＶＤ再生機等から出力されるアナログデータも、リアルタイムデータと同じ性質になる。なお、以下では、上記のようなアナログデータも、リアルタイムデータとして扱うこととする。
特開平１１−６８６８６号公報（公開日：平成１１年３月９日）

ところで、これらのリアルタイムデータに対して、上述した再送の仕組みやトランスコーディングといった処理を適用することが考えられる。この場合において、帯域幅が減少したとき、トランスコーディングの処理が効果的に作用し、通信エラーのない伝送を行なうことができる。

しかしながら、例えば無線通信において電波が一時的に遮断されて通信が完全に不可能になった場合には、上記再送の仕組やトランスコーディング処理では対応することができない。それゆえ、再送の規定回数または規定時間を超えたデータパケットは捨てられることになる。この結果、遮断中の期間の連続したデータパケットが失われてしまい、受信側で再生したときにその間の映像がまとめて欠落する。このため、ユーザは欠落した期間の映像の内容を推し量ることができないという問題があった。以下、図２９および図３０に基づいて、映像データのデータパケットが一定期間まとめて欠落する現象を説明する。

図２９は、映像データ（ピクチャデータを含むＰＥＳパケット）が映像バッファ９３に入力されて蓄積され、その後、映像バッファ９３から出力されて受信側で復号化および表示されるまでの時間変化を、ピクチャデータ毎に示した図である。同図中、一つの丸印が１枚のピクチャデータを示し、１枚のピクチャデータの時間経過をピクチャデータ毎に１本の線で結んで示している。３種類の丸印は模様ごとに、Ｉ、Ｐ、およびＢピクチャデータを示している。なお、多重化部９６での処理時間や、ＭＡＣ／ＰＨＹ部９７における処理時間はピクチャデータの符号化周期に比べて小さいため、この図ではこれらを無視して示している。また、Ｉ、Ｐ、およびＢピクチャデータについては、後述する。

また、同図では、時間経過に伴う、映像バッファ９３と受信側のバッファ部とのピクチャデータの蓄積状態も示している。なお、受信側のバッファ部にはピクチャデータだけでなく、ＴＳパケットに含まれる音声データやＰＣＲなどの制御情報等も蓄積されるが、ピクチャデータに比べて上記音声データ等のデータ量は十分少ないため、同図ではピクチャデータのみの量で示している。

さらに、同図では、符号化される前（符号化入力）のピクチャデータの順序と、テレビ８４における復号化したピクチャデータの表示（表示出力）の順序とについても示している。なお、符号化前後では、ピクチャデータの順序が入れ替わるため、符号化入力と映像バッファ入力とでピクチャデータの順序が異なっている。また、復号化前後においても、ピクチャデータの順序が入れ替わるため、受信側復号化入力と表示出力とでピクチャデータの順序が異なっている。

トランスコーダ９２から定期的に出力されるピクチャデータは、出力されるとすぐに映像バッファ９３に入力される。送信側と受信側との間の通信状態が良好な場合は、ピクチャデータの再送が不要である。したがって、ＭＡＣ（つまり、ＭＡＣ／ＰＨＹ９７におけるＭＡＣ）内部のバッファがすぐに空になり、トランスコーダ９２から映像バッファ９３に入力されたピクチャデータは、多重化部９６を経てＭＡＣ内部のバッファにすぐに入力される。そして、ＭＡＣ内部のバッファに入力されたデータは、トランスコーダ９２からの出力レートＶｓよりも速いレートＶｔで送信される。すなわち、映像バッファ９３の出力レートは入力レートよりも速いため、映像バッファ９３内にはデータが蓄積されない。このように、通信システム８１では、上記レートの差により再送用の帯域が確保されており、伝送路上での空き時間が存在することにより送信側よりピクチャデータの再送を行なうことができる。

同図に示す、送信側の映像バッファ９３および受信側のバッファ部の入出力に描かれた矢印の太さはこのレートの違いを表している。受信側のバッファ部の出力レートＶｒ（つまり、ピクチャの復号化レート）は、送信側のトランスコーダ９２からの出力レートＶｓ（つまり、ピクチャデータの符号化レート）に一致する。この結果、通信状態が良好な場合は、映像バッファ９３が空となる一方で、受信側のバッファ部は未処理のデータで満たされる。

一方、通信状態が悪化すると、上述したように、受信側からの情報により帯域幅推定部９８が通信帯域幅が狭くなったことを認識し、通信帯域幅の変化に応じてレート制御部９９がトランスコーダ９２のビットレートを低く設定する。この結果、映像バッファ９３を経て伝送されるピクチャあたりのデータ量は減り、狭くなった通信帯域幅に適応して送信を続けることができる。そして、通信が完全に遮断されると、受信側からのＡＣＫパケットが届かないため再送が繰り返される。

ところで、再送回数や再送時間の上限値は設定可能であり、図２９に示す例では十分長い時間同じデータの再送を行うように設定されている。ピクチャデータの再送が繰り返されるとＭＡＣ内部のバッファにはピクチャデータが残ったままとなり、映像バッファ９３のデータはＭＡＣへは出力されず、映像バッファ９３において蓄積され始める。この間、受信側では受信側のバッファ部に溜まっているデータを消費することで、Ｔｄ１（送信側の映像バッファ９３と受信側のバッファ部とを合わせたデータでの遅延時間）よりも短い期間の通信遮断であれば復号化を続けることができると共に、受信側のバッファ部が空になる前に再送が成功すればデータの欠落もなく、前記レートの違いにより双方のバッファは元の状態に戻る。

しかしながら、通信遮断期間がＴｄ１を超えると、受信側のバッファ部は空となり復号化できなくなる一方、送信側の映像バッファ９３は一杯となる。この状態においても、トランスコーダ９２からは定常的に映像バッファ９３にピクチャデータが入力され続けるため、ピクチャデータがＦＩＦＯ（First In First Out）方式で処理されるデータ構造（つまりキュー構造）を有する場合には、映像バッファ９３内の一番古いピクチャデータから、１ピクチャデータずつ押し出されて消滅することになる。

同図において、ピクチャ毎の時間経過を結ぶ線の終端の黒い丸印で示したピクチャデータは、それ以上存在できずに削除されるピクチャデータを表している。また、映像バッファ９３内で黒い丸印が発生した直後の状態では、そのピクチャデータが消滅して他のピクチャデータが一段下方向にシフトしていることを示している。そして、通信の遮断がさらに長時間発生すると、映像バッファ９３の入力のデータに×印を付けて示すように、元のピクチャデータが連続して受信側に届かずに、該ピクチャデータが失われることになる。

また、通信回復後には映像バッファ９３にピクチャデータが蓄積された状態で、しかも再送することなくピクチャデータが送信され続ける状態となり、ＭＡＣの内部バッファにはすぐに空きができる。この場合は、前述のレートの違い（Ｖｔ＞Ｖｓ）により、映像バッファ９３の内部データは減少し続け、最終的には映像バッファ９３は空となる。それゆえ、トランスコーダ９２から映像バッファ９３への入力速度と同じ速度で映像バッファ９３からピクチャデータが出力されることになり、通常の状態に戻る。このとき、送信装置８３の映像バッファ１３が空で、テレビ４のバッファ部が満たされた状態となる。なお、同図における映像バッファ内部を示した部分は、バッファのデータ入出力が発生する毎の状態を描いたものである。この部分の後半においてピクチャデータ間の時間間隔が狭くなっていることが、送信レートＶｔがＶｓよりも速いことを表している。

ここで、ＭＰＥＧ２符号化方式のピクチャフレーム構造を図３０に基づいて説明する。ＭＰＥＧ２符号化方式においては図３０に示すように、ＧＯＰ（Group Of Pictures）と呼ばれる単位で予測符号化を用いて符号化が行われる。そして、ピクチャデータは、上記予測における他のピクチャデータに対する参照形態により、Ｉピクチャデータ、Ｐピクチャデータ、Ｂピクチャデータの３種類に分けられる。なお、ＧＯＰ内部のピクチャ（ピクチャデータ）の枚数と、連続するＢピクチャの枚数は自由に設定することができるが、同図に示すように、１つのＧＯＰが１５枚のピクチャで構成され、かつ、Ｂピクチャデータが連続して２枚並ぶ構成が一般的である。なお、図２９においては、説明の簡略化のため、ＧＯＰ内のピクチャ枚数は９枚としている。

Ｉピクチャ（Intra-coded Picture）データは、他のピクチャデータを参照せずに自分自身の情報により符号化されるピクチャデータである。このため、Ｉピクチャデータは、復号化の際に、他のピクチャデータを参照する必要がない。

Ｐピクチャ（Predictive-coded Picture）データは、符号化の際に、過去のＩピクチャデータまたは過去のＰピクチャデータを参照するピクチャデータである。このため、Ｐピクチャデータを復号化するためには、上記過去のＩピクチャデータまたは上記過去のＰピクチャデータが必要となる。さらに、参照先が過去のＰピクチャデータの場合はさらに辿って大元となる、より過去のＩピクチャデータが必要となる。

Ｂピクチャ（Bidirectionally predictive-coded Picture）データは、符号化の際に、該Ｂピクチャデータの前後のＩピクチャデータおよびＰピクチャデータを参照、あるいは、該Ｂピクチャデータの前後のＰピクチャデータを参照するピクチャデータである。このため、Ｂピクチャデータを復号化するためには、参照先である、該Ｂピクチャデータの前後のＩピクチャデータおよびＰピクチャデータ、あるいは、該Ｂピクチャデータの前後のＰピクチャデータが必要となる。さらに参照先がＰピクチャデータの場合はさらに辿って大元となるＩピクチャデータが必要となる。

なお、自分自身で符号化および復号化できるピクチャデータ（Ｉピクチャデータ）を基本ピクチャデータと、符号化および復号化の際に、他のピクチャデータの参照が必要となるピクチャデータ（ＰまたはＢピクチャデータ）を参照ピクチャデータ（あるいは、従属ピクチャデータ）と称する。

このため、通信回復後も、ＭＰＥＧ２符号化のピクチャフレーム構造におけるＩピクチャデータが受信されるまでに受信されたピクチャデータは復号化することができず、失われることになる。図２９では、通信回復直後にＩピクチャデータＤ１００が表示される前の、点線の丸印で示す５つのピクチャデータは、参照先のピクチャデータが存在しないため、復号化できずに失われる。

それゆえ、図２９の場合には、黒い丸印で示した７個のピクチャデータと、上述した復号化できずに失われた５個のピクチャデータと、ＭＡＣ９７内部で再送処理が繰り返えされた１個のピクチャデータＤ１０１との計１３個が失われてしまう（同図では、符号化される前（符号化入力）のピクチャデータであって、失われるピクチャデータ１３個に×印を付している）。そして、復号化されて表示（表示出力）されるピクチャデータに関しては、同図に示すように、連続した１１個のピクチャデータが失われる。なお、ピクチャデータ１０１については、ＰＴＳ（Presentation Time Stamp）が更新されず、結果として失われる。

以上のように、再送やトランスコーダを含む方式においては、連続したピクチャデータが失われてしまい、通信遮断中の映像の内容を推し量ることはできないという問題があった。

一方、特許文献１では、通信が完全に遮断した場合にも遮断中の映像は見られるものの、特許文献１の構成を家庭内の通信システムに適用しようとすると、家庭内に別途補助センタを設ける必要がある。しかしながら、補助センタを設けるというのは現実的ではない。また、例え補助センタを設けたとしても、送信側のメモリ量に限界があるため、バッファからデータが溢れる場合がある。しかし、特許文献１には、このようにバッファからデータが溢れた場合の処理については開示されていない。このため、通信遮断の状況が長く続けば、通信遮断中の映像の内容を推し量ることはできなくなる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、受信側において通信遮断中のデータが示す内容を推し量ることが可能となる送信装置を提供することにある。

本発明に係る送信装置は、上記の課題を解決するために、リアルタイム性を有するデータを受信装置に逐次送信すると共に、前記受信装置が前記データを受信できなかった場合に、前記受信装置が受信できなかった送信済みのデータを前記受信装置に再送信する送信手段とを備えた送信装置において、前記受信装置に対して未送信のデータを蓄積する蓄積装置と、前記蓄積装置に蓄積される未送信のデータを圧縮する圧縮手段とを備え、前記送信手段は、前記再送信したデータが前記受信装置において受信可能となった場合に、前記蓄積装置に蓄積された未送信のデータを前記受信装置に送信することを特徴としている。

上記の構成によれば、受信装置との通信が遮断されて、送信手段が上記送信済みのデータを再送信している場合であっても、再送信を行っているデータに続いて送信すべきデータ、つまり未送信のデータを蓄積装置に蓄積することができる。

ところで、上記未送信のデータの容量が蓄積装置の容量を超えると、未送信のデータが蓄積装置から溢れてしまう。このような場合、新しい未送信のデータが蓄積装置から溢れてしまうことを防止するために、データの古い順に未送信のデータを蓄積装置から逐次削除すると、データがリアルタイム性を有するものであるために、上記削除された未送信のデータが示す内容を推し量ることができなくなる。

しかしながら、圧縮手段により蓄積装置に蓄積された未送信のデータを圧縮することで、圧縮対象となる未送信のデータが示す内容が完全に失われることがなくなる。また、通信状態が回復したときに、送信手段により、前記蓄積装置に蓄積された未送信のデータを受信装置に送信できる。

したがって、受信装置において、通信遮断中のデータが示す内容を推し量ることが可能となるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記蓄積装置における未送信のデータの蓄積量を判断する蓄積量判断手段を備え、前記蓄積量が所定の閾値を超えた場合、前記圧縮手段は前記未送信のデータを圧縮することを特徴としている。

上記の構成によれば、蓄積容量判断手段により、蓄積装置における未送信のデータの蓄積量が判断できる。また、圧縮手段は、蓄積量が所定の閾値を超えた場合、蓄積装置に蓄積された未送信のデータを圧縮する。

したがって、未送信のデータが蓄積装置から溢れてしまう前に、圧縮処理を行うことができるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記リアルタイム性を有するデータは、前記蓄積装置を介して、前記受信装置に送信されるものであって、前記蓄積装置からのデータの出力間隔が、前記蓄積装置へのデータの入力間隔よりも短いことを特徴としている。

上記の構成によれば、リアルタイム性を有するデータは、蓄積装置に入力される間隔もよりも短い間隔で、受信装置に出力（送信）される。

それゆえ、通信遮断が生じた場合には、圧縮された未送信のデータは、蓄積装置に新たに入力されるデータの入力間隔よりも、短い間隔で出力される。

したがって、受信装置に対し、圧縮したデータを速やかに送信することができるという効果を奏する。さらに、通信状態が回復した場合には、所定の時間が経過すると、蓄積装置に蓄積されるデータ量を略ゼロとすることができる。

また、本発明に係る送信装置は、上記の送信装置において、前記リアルタイム性を有するデータはピクチャデータを含むものであって、前記圧縮手段は、所定のピクチャデータを削除することを特徴としている。

上記の構成によれば、前記圧縮手段は、所定のピクチャデータを削除する。

したがって、蓄積手段に蓄積された未送信のデータを圧縮することができるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記ピクチャデータは、符号化された状態で前記受信装置に送信されると共に、前記ピクチャデータは、受信装置での復号化の際に他のピクチャデータの参照を要しない基本ピクチャデータと、前記基本ピクチャデータを直接的または間接的に参照することにより復号化を行う参照ピクチャデータとからなり、前記圧縮手段は、前記参照ピクチャデータから先に削除することを特徴としている。

なお、間接的に参照するとは、基本ピクチャデータを参照して復号化されたピクチャデータを参照することである。

上記の構成によれば、圧縮手段は、前記参照ピクチャデータを先に削除する。つまり、復号化に際して基本ピクチャデータを参照する必要のあるピクチャデータを優先して削除する。

それゆえ、基本ピクチャデータを残すことができ、受信装置での復号化を確実に行わせることができる。したがって、受信装置において、より多くのピクチャデータに基づいた表示を行わせることが可能となるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記参照ピクチャデータは、基本ピクチャデータに対する参照度合を有し、前記圧縮手段は、前記参照度合の高い参照ピクチャデータを先に削除することを特徴としている。

上記の構成によれば、圧縮手段は、参照度合の高いピクチャデータを先に削除する。

したがって、基本ピクチャデータおよび参照度合の低い参照ピクチャデータを残すことができる。それゆえ、受信装置にて、ピクチャデータの復号化を、高い確率で行なわせることができる。

また、本発明に係る送信装置は、上記の送信装置において、前記ピクチャデータは、前記受信装置における該ピクチャデータの表示時刻を指示する表示時刻情報と関連付けられており、前記圧縮手段は、前記参照度合の高い参照ピクチャデータのうち、削除を行う時点で前記表示時刻が最も古いピクチャデータを削除することを特徴としている。

上記の構成によれば、ピクチャデータは、前記受信装置における該ピクチャデータの表示時刻を指示する表示時刻情報と関連付けられている。また、圧縮手段により、前記参照度合の高い参照ピクチャデータのうち、削除を行う時点で前記表示時刻が古いピクチャデータを削除する。

ところで、ピクチャデータを削除した場合、この削除したピクチャデータよりも表示時刻が古いピクチャデータについては、表示時刻情報を変更しなければ、受信装置において全てのピクチャデータの表示を行うことができない。

それゆえ、削除を行う時点で前記表示時刻が最も古いピクチャデータを削除することにより、表示時刻情報を変更すべきピクチャデータの最小限にすることが可能となるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記ピクチャデータは、前記受信装置における該ピクチャデータの表示時刻を指示する表示時刻情報と関連付けられていると共に、前記参照ピクチャデータは、前記受信装置での復号化の際に、少なくとも、該参照ピクチャデータよりも表示時刻が古く、かつ、表示時刻が最も近い基本ピクチャデータを直接的または間接的に参照するものであって、前記基本ピクチャデータを一つ含み、かつ、前記基本ピクチャデータから前記表示時刻順に連続する所定の個数のピクチャデータを、一つのセットピクチャデータとした場合、前記圧縮手段は、前記セットピクチャデータを構成するピクチャデータ以外のピクチャデータを削除することを特徴としている。

上記の構成によれば、前記圧縮手段は、前記セットピクチャデータを構成するピクチャデータ以外のピクチャデータを削除する。このため、セットピクチャデータは、削除されない。また、グループピクチャ内で表示時刻が最も古いのは、基本ピクチャデータである。

それゆえ、グループピクチャ内の全てのピクチャデータの復号化を行える。

したがって、受信装置において、断片的ではあるが連続した映像を見ることができるという効果を奏する。なお、セットピクチャデータを、複数組設けた構成としてもよい。

また、本発明に係る送信装置は、上記の送信装置において、前記ピクチャデータは、前記受信装置における該ピクチャデータの表示時刻を指示する表示時刻情報と関連付けられていると共に、前記圧縮手段は、参照度合の高いピクチャデータに関して、前記表示時刻順に一定数おきに、前記参照度合の高いピクチャデータを削除することを特徴としている。

上記の構成によれば、圧縮手段は、参照度合の高いピクチャデータに関して、前記表示時刻順に一定数おきに、前記参照度合の高いピクチャデータを削除する。

それゆえ、バランスよく、参照度合の高いピクチャデータを削除することができる。したがって、受信装置において、視認性に優れた映像の早送り表示を行わせることが可能となるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記参照ピクチャデータは、基本ピクチャデータに対する参照度合を有し、前記所定の閾値は第１の閾値であって、さらに、前記第１の閾値よりも大きな閾値を第２の閾値とすると、前記蓄積量判断手段が、未送信のデータの蓄積量が前記第１の閾値以上かつ前記第２の閾値未満であると判断した場合には、前記圧縮手段は、参照度合の高い参照ピクチャデータに関して、前記表示時刻順に一定数おきに、前記参照度合の高い参照ピクチャデータを削除すると共に、前記蓄積量判断手段が、未送信のデータの蓄積量が前記第２閾値以上であると判断した場合には、前記圧縮手段は、前記参照度合の高い参照ピクチャデータを先に削除することを特徴としている。

上記の構成によれば、未送信のデータの蓄積量が前記第１の閾値以上かつ前記第２の閾値未満である場合には、バランスよく参照度合の高い参照ピクチャデータを削除できる。それゆえ、受信装置において、視認性に優れた映像の早送り表示を行わせることが可能となる。

ところで、上記のように、参照度合の高い参照ピクチャデータに関して、前記表示時刻順に一定数おきに、前記参照度合の高い参照ピクチャデータを削除すると、蓄積装置においてピクチャデータが溢れてしまう可能性もある。

したがって、未送信のデータの蓄積量が前記第２の閾値以上となる場合には、単に、前記参照度合の高い参照ピクチャデータを先に削除することにより、蓄積装置においてピクチャデータが溢れてしまうことを防止できるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記ピクチャデータは、前記受信装置における該ピクチャデータの表示時刻を指示する表示時刻情報と関連付けされ、前記参照ピクチャデータは、基本ピクチャデータに対する参照度合を有すると共に、前記受信装置での復号化の際に、少なくとも、該参照ピクチャデータよりも表示時刻が古く、かつ、表示時刻が最も近い基本ピクチャデータを直接的または間接的に参照するものであって、前記基本ピクチャデータを一つ含み、かつ、前記基本ピクチャデータから前記表示時刻順に連続する所定の個数のピクチャデータを、一つのセットピクチャデータとした場合、前記所定の閾値は第１の閾値であって、さらに、前記第１の閾値よりも大きな閾値を第２の閾値とすると、前記蓄積量判断手段が、未送信のデータの蓄積量が前記第１の閾値以上かつ前記第２の閾値未満であると判断した場合には、前記圧縮手段は、参照度合の高い参照ピクチャデータに関して、前記表示時刻順に一定数おきに、前記参照度合の高い参照ピクチャデータを削除すると共に、前記圧縮手段は、未送信のデータの蓄積量が前記第２の閾値以上となる場合には、前記セットピクチャデータを構成するピクチャデータ以外のピクチャデータを削除することを特徴としている。

上記の構成によれば、未送信のデータの蓄積量が前記第１の閾値以上かつ前記第２の閾値未満である場合には、バランスよく参照度合の高い参照ピクチャデータを削除できる。それゆえ、受信装置において、視認性に優れた映像の早送り表示を行わせることが可能となる。

ところで、上記のように、参照度合の高い参照ピクチャデータに関して、前記表示時刻順に一定数おきに、前記参照度合の高い参照ピクチャデータを削除すると、蓄積装置においてピクチャデータが溢れてしまう可能性もある。

したがって、未送信のデータの蓄積量が前記第２の閾値以上となる場合には、前記セットピクチャデータを構成するピクチャデータ以外のピクチャデータを削除することにより、蓄積装置においてピクチャデータが溢れてしまうことを防止できるという効果を奏する。

さらに、未送信のデータの蓄積量が前記第２の閾値以上となる場合には、前記圧縮手段は、前記セットピクチャデータを構成するピクチャデータ以外のピクチャデータを削除する。このため、セットピクチャデータは、削除されない。また、グループピクチャ内で表示時刻が最も古いのは、基本ピクチャデータである。それゆえ、グループピクチャ内の全てのピクチャデータの復号化を行える。したがって、受信装置において、断片的ではあるが連続した映像を見ることができるという効果も奏する。なお、セットピクチャデータを、複数組設けた構成としてもよい。

また、本発明に係る送信装置は、上記の送信装置において、前記ピクチャデータは、前記受信装置における該ピクチャデータの表示時刻を指示する表示時刻情報と関連付けられており、前記圧縮手段によるピクチャデータの削除に伴い、前記削除するピクチャデータに関する表示時刻よりも表示時刻が古いピクチャデータについての表示時刻を変更する変更手段を備えることを特徴としている。

上記の構成によれば、変更手段により、前記削除するピクチャデータに関する表示時刻よりも表示時刻が古いピクチャデータについての表示時刻情報を変更することができる。

したがって、本来の表示時刻が経過したピクチャデータであっても、受信装置で表示させることが可能となるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記変更手段は、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの前記表示時刻を、前記表示時刻が一つ新しいピクチャデータの表示時刻に変更することを特徴としている。

上記の構成によれば、変更手段が、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの前記表示時刻を、前記表示時刻が一つ新しいピクチャデータの表示時刻に変更する。

したがって、本来の表示時刻が経過したピクチャデータであっても、受信装置で表示させることが可能となるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記表示時刻が連続する２つのピクチャデータにおける前記表示時刻の差を、表示間隔とすると、前記変更手段は、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの表示時刻に対して前記表示間隔を加算することを特徴としている。

上記の構成によれば、変更手段が、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの表示時刻に対して前記表示間隔を加算する。

したがって、本来の表示時刻が経過したピクチャデータであっても、受信装置で表示させることが可能となるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記ピクチャデータは、前記受信装置における該ピクチャデータの復号化時刻を指示する復号化時刻情報と関連付けられており、前記変更手段は、前記圧縮手段によるピクチャデータの削除に伴い、前記削除するピクチャデータに関する復号化時刻よりも復号化時刻が古いピクチャデータについての復号化時刻を変更することを特徴としている。

上記の構成によれば、変更手段により、前記削除するピクチャデータに関する復号化時刻よりも復号化時刻が古いピクチャデータについての復号化時刻を変更することができる。

したがって、本来の復号化時刻が経過したピクチャデータであっても、受信装置で復号化させることが可能となるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記変更手段は、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの復号化時刻を、各ピクチャデータの直後に前記蓄積装置に蓄積されているピクチャデータの復号化時刻に変更することを特徴としている。

上記の構成によれば、変更手段が、１つのピクチャデータの削除が行われる毎に、削除するピクチャデータよりも以前に前記蓄積装置に蓄積された各ピクチャデータについての復号化時刻を、各ピクチャデータの直後に前記蓄積装置に蓄積されたピクチャデータの復号化時刻の値に変更する。

したがって、受信装置において、復号化時刻が変更された全てのピクチャデータを復号化させることができるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記蓄積装置に連続して入力される２つのピクチャデータにおける前記復号化時刻の差を、復号化間隔とすると、前記変更手段は、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの復号化時刻に対して前記復号化間隔を加算することを特徴としている。

上記の構成によれば、変更手段は、１つのピクチャデータの削除が行われる毎に、削除するピクチャデータよりも以前に前記蓄積装置に蓄積された各ピクチャデータの復号化時刻に対して、前記復号化間隔を加算する。

したがって、受信装置において、復号化時刻が変更された全てのピクチャデータを復号化させることができるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、前記蓄積装置は、前記未送信のデータをリスト構造により管理していることを特徴としている。

上記の構成によれば、ピクチャデータを削除する際に、削除したデータ以降に蓄積手段に蓄積されたピクチャデータを、蓄積手段内における他の蓄積領域に移動させる必要がない。

したがって、削除に伴う処理を簡略化でき、処理の高速化を図ることが可能となるという効果を奏する。

また、本発明に係る送信装置は、上記の送信装置において、通信帯域幅に応じて、前記リアルタイム性を有するデータについてのビットレートの変換を行うビットレート変換手段を備え、前記送信手段は、前記ビットレートを変換したデータを、前記蓄積装置を介して受信装置に送信することを特徴としている。

上記の構成によれば、ビットレート変換手段により、通信帯域幅が減少した場合、リアルタイム性を有するデータについてのビットレートを減少させることができる。また、送信手段により、ビットレートを変換したデータを、前記蓄積装置を介して受信装置に送信する。

したがって、通信帯域幅が減少した場合であっても、受信装置に対して、リアルタイム性を有するデータを送信することが可能となるという効果を奏する。

本発明に係るデータ送信方法は、上記の課題を解決するために、リアルタイム性を有するデータを受信装置に逐次送信すると共に、前記受信装置が前記データを受信できなかった場合に、前記受信装置が受信できなかった送信済みのデータを前記受信装置に再送信するデータ送信方法において、前記受信装置に対して未送信のデータを蓄積装置に蓄積する蓄積ステップと、前記蓄積装置に蓄積される未送信のデータを圧縮する圧縮ステップと、前記再送信したデータが前記受信装置において受信可能となった場合に、前記蓄積装置に蓄積された未送信のデータを受信装置に送信する送信ステップとを備えることを特徴としている。

上記の方法によれば、受信装置との通信状態が不良となって、上記送信済みのデータを再送信している場合であっても、再送信を行っているデータに続いて送信すべきデータ、つまり未送信のデータを蓄積装置に蓄積することができる。

ところで、上記未送信のデータの容量が蓄積装置の容量を超えると、未送信のデータが蓄積装置から溢れてしまう。このような場合、新しい未送信のデータが蓄積装置から溢れてしまうことを防止するために、データの古い順に未送信のデータを蓄積装置から逐次削除すると、データがリアルタイム性を有するものであるために、上記削除された未送信のデータが示す内容を推し量ることができなくなる。

しかしながら、蓄積装置に蓄積された未送信のデータを圧縮することで、圧縮対象となる未送信のデータが示す内容が完全に失われることがなくなる。また、通信状態が回復したときに、上記蓄積装置に蓄積された未送信のデータを受信装置に送信できる。

したがって、受信装置において、通信遮断中のデータが示す内容を推し量ることが可能となるという効果を奏する。

本発明に係るプログラムは、以上のように、上記送信装置の各手段としてコンピュータを機能させるためのプログラムである。

上記プログラムをコンピュータシステムにロードすることによって、上記送信装置をユーザに提供することが可能となるという効果を奏する。

本発明に係る記録媒体は、以上のように、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。

上記記録媒体に記録されているプログラムをコンピュータシステムにロードすることによって、上記送信装置をユーザに提供することが可能となるという効果を奏する。

本発明に係る送信装置は、以上のように、前記受信装置に対して未送信のデータを蓄積する蓄積装置と、前記蓄積装置に蓄積される未送信のデータを圧縮する圧縮手段とを備え、前記送信手段は、前記再送信したデータが前記受信装置において受信可能となった場合に、前記蓄積装置に蓄積された未送信のデータを前記受信装置に送信する構成である。

したがって、受信装置において、通信遮断中のデータが示す内容を推し量ることが可能となるという効果を奏する。

本発明に係るデータ送信方法は、以上のように、前記受信装置に対して未送信のデータを蓄積装置に蓄積する蓄積ステップと、前記蓄積装置に蓄積される未送信のデータを圧縮する圧縮ステップと、前記再送信したデータが前記受信装置において受信可能となった場合に、前記蓄積装置に蓄積された未送信のデータを受信装置に送信する送信ステップとを備える方法である。

したがって、受信装置において、通信遮断中のデータが示す内容を推し量ることが可能となるという効果を奏する。

本発明に係るプログラムは、以上のように、上記送信装置の各手段としてコンピュータを機能させるためのプログラムである。

上記プログラムをコンピュータシステムにロードすることによって、上記送信装置をユーザに提供することが可能となるという効果を奏する。

本発明に係る記録媒体は、以上のように、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。

上記記録媒体に記録されているプログラムをコンピュータシステムにロードすることによって、上記送信装置をユーザに提供することが可能となるという効果を奏する。

〔実施の形態１〕
本発明の一実施形態について図１ないし図１６に基づいて説明すると以下の通りである。

図２は、通信システム１についての概略構成図である。通信システム１は、同図に示すとおり、アンテナ２、送信装置３、テレビ４、および、外部映像機器５を備えている。また、送信装置３は、チューナ部３ａ、送信部３ｂ、および符号化部３ｃを備えている。さらに、テレビ４は、受信機４ａおよび映像復号化装置４ｂを備えている。

アンテナ２、チューナ部３ａ、符号化部３ｃ、テレビ４、および、外部映像機器５は、それぞれ、図２６に示した、アンテナ８２、チューナ部８３ａ、符号化部８３ｃ、テレビ８４、および、外部映像機器８５と同様の構成を有する。つまり、本実施の形態に係る通信システム１と図２６の通信システム８１とを比較すると、送信装置（３・８３）における送信部（３ｂ・８３ｂ）の構成が互いに異なっている。

図１は、送信部３ｂについての機能ブロック図である。送信部３ｂは、同図に示すとおり、分離部（取得手段）１１、トランスコーダ１２、映像バッファ（蓄積装置）１３、音声バッファ１４、基準時刻生成部１５、多重化部１６、ＭＡＣ／ＰＨＹ部（送信手段）１７、帯域幅推定部１８、レート制御部１９、および、バッファ制御部２０を備えている。また、バッファ制御部２０は、データ圧縮部（圧縮手段）２１、タイムスタンプ変更部（変更手段）２２、および、データ蓄積量判断部（蓄積量判断手段）２３を備えている。なお、送信部３ｂの構成は、一例であって、必ずしもこれに限定されるものではない。

また、分離部１１、トランスコーダ１２、映像バッファ１３、音声バッファ１４、基準時刻生成部１５、多重化部１６、ＭＡＣ／ＰＨＹ部１７、帯域幅推定部１８、および、レート制御部１９は、それぞれに、背景技術および解決しようとする課題において説明した、分離部９１、トランスコーダ９２、映像バッファ９３、音声バッファ９４、基準時刻生成部９５、多重化部９６、ＭＡＣ／ＰＨＹ９７、帯域幅推定部９８、レート制御部９９と基本的に同一の構成である。したがって、以下においては、上記各部材に関し、背景技術および解決しようとする課題において記載した内容については、基本的に説明を省略する。

アンテナ２では、デジタルテレビ放送等のリアルタイム性を有する符号化されたデータ（符号化データ）受信するものとする。チューナ部３ａは、アンテナ２を介して上記符号化データを受信し、受信した符号化データを送信部３ｂに出力する。

以下では、上記符号化されたデータとして、ＭＰＥＧ−２ ＴＳ(MPEG-2 Transport Stream)パケット（以下、ＴＳパケット）を例に挙げて説明する。ここで、ＴＳパケットとは、放送等の映像や音声のリアルタイム伝送に適した伝送形態において利用される、リアルタイム性を有するデータである。そして、このＴＳパケットを用いることで、送信装置３では、一つのストリーム中に複数のプログラム（放送番組など）を多重化したり、あるいは、映像と音声を同期をとりながら多重化することができる。このように、本実施の形態では、送信装置３に対して、外部から逐次、リアルタイム性を有するデータが入力される。

分離部１１は、上記ＴＳパケットを、チューナ部３ａあるいは符号化部３ｃより取得する。そして、分離部１１は、上記ＴＳパケットに含まれる映像データおよび音声データを、それぞれ別にパケット化したＰＥＳ（Packetized Elementary Stream）と呼ばれるパケット（以下、ＰＥＳパケット）に分離する。さらに、分離部１１は、映像データのＰＥＳをトランスコーダ１２に対して出力すると共に、音声データのＰＥＳパケットを音声バッファ１４に出力する。

また、ＰＥＳパケットには、映像と音声との同期をとるために、表示（再生）時刻を指定するタイムスタンプ（ＰＴＳ：Presentation Time Stamp）と、復号化時刻を指定するタイムスタンプ（ＤＴＳ：Decoding Time Stamp）とがパケットのヘッダ情報に含まれる場合がある。このＰＥＳパケットは可変長サイズのパケットであり、一般的に、映像データの場合は１枚分のピクチャを符号化したデータが一つのＰＥＳパケットに収められることが多い。そして、このような場合には、ＰＴＳ（表示時刻情報）が全てのＰＥＳパケットに含まれることになる。一方、ＤＴＳ（復号化時刻情報）は、復号化時刻と表示（再生）時刻が異なる場合に限ってヘッダ情報に付加される。

また、ＰＥＳパケットは、ヘッダ情報、画像のみを示すデータであるピクチャデータ、ポインタ等から構成されている。それゆえ、このＰＥＳパケットに基づいて作成されるＴＳパケットも、ピクチャデータを含んでいる。また、以下では、ピクチャデータを送受信（あるいは入出力）することは、パケットを送受信（あるいは入出力）することを表すものとする。

トランスコーダ１２は、分離部１１から上記映像データのＰＥＳを受け付けると共に、レート制御部１９からビットレート（１秒間に伝送するビット数）の設定指示を受け付ける。そして、トランスコーダ１２は、上記設定指示されたビットレートとなるように、入力された映像データ（映像符号化データ）を再符号化する。さらに、トランスコーダ１２は、該トランスコーダ１２に入力されたフォーマットと同じフォーマットにて、変換後のビットレートを有するＰＥＳパケットを映像バッファ１３に対して出力する。

より詳しくは、トランスコーダ１２は、該トランスコーダ１２内において映像データのＰＥＳパケットを分解して映像符号化データを抽出した後、ビットレート変換を行なう。また、上記ＰＥＳパケットのヘッダ情報に含まれるタイムスタンプ等は、ビットレート変換前に保存される。そして、ビットレート変換されたデータに対して、変換前と同じ内容のものが再度付加されて、再びＰＥＳパケットとして構成される。その後、平均してピクチャフレーム（映像フレーム）の周期（１／３０秒）で映像バッファ１３に出力される。

なお、一般的にトランスコーダとは、符号化方式自体を変換する場合を指すことがあるが、ビットレート変換のみを行う場合にも用いられ、本実施の形態では後者を意味している。

映像バッファ１３は、トランスコーダ１２からのＰＥＳパケットを取得する。そして、映像バッファ１３は、このＰＥＳパケット（映像データ）を蓄積可能な構成を有している。さらに、映像バッファ１３は、多重化部１６に対して、受け付けたＰＥＳパケットを送る。また、映像バッファ１３に入力されたデータは、基本的には、入力された順に、多重化部１６に対して出力される。つまり、映像バッファ１３は、ＰＥＳパケットがＦＩＦＯ（First In First Out）方式で処理されるデータ構造（つまりキュー構造）を有する。さらに、映像バッファ１３は、蓄積されるＰＥＳパケットをリスト構造で管理している。なお、映像バッファ１３は、例えば、半導体メモリにて構成することができる。

ここで、テレビ４との間の通信状態が良好な場合は、テレビ４に対するピクチャデータの再送が不要である。したがって、ＭＡＣ（つまり、ＭＡＣ／ＰＨＹ部１７におけるＭＡＣ）内部のバッファがすぐに空になり、トランスコーダ１２から映像バッファ１３に入力されたピクチャデータは、多重化部１６を経てＭＡＣ内部のバッファにすぐに入力される。そして、ＭＡＣ内部のバッファに入力されたデータは、トランスコーダ１２からの出力レートＶｓよりも速いレートＶｔで送信される。つまり、映像バッファ１３からのデータの出力間隔が、映像バッファ１３へのデータの入力間隔よりも短く設定されている。

このように、映像バッファ１３の出力レートは入力レートよりも速いため、映像バッファ１３内部にはデータが蓄積されない。したがって通信状態が良好な場合は、映像バッファ１３が空となる一方、テレビ４側バッファは未処理のデータで満たされる。

なお、通信システム１では、上記レートの差により再送用の帯域が確保されており、伝送路上での空き時間が存在することにより送信側よりピクチャデータの再送を行うことができる。

一方、テレビ４との間の通信状態が悪化すると、上述したように、受信側からの情報により帯域幅推定部９８は通信帯域幅が狭くなったことを認識し、通信帯域幅の変化に応じてレート制御部９９がトランスコーダ９２のビットレートを低く設定する。この結果、映像バッファ９３を経て伝送されるピクチャあたりのデータ量は減り、狭くなった通信帯域幅に適応して送信を続けることができる。このため、映像バッファ１３内部にはデータが蓄積されない。

また、テレビ４との間の通信が完全に遮断されると、受信側からのＡＣＫパケットが届かないため再送が繰り返えされる。このため、映像バッファ１３内部にはデータが蓄積されることとなる。

音声バッファ１４は、分離部１１から、音声データのＰＥＳパケットを取得する。そして、音声バッファ１４は、順次、上記ＰＥＳパケットを多重化部１６に送る。

基準時刻生成部１５は、ＴＳパケット中の断続的な時刻情報（ＰＣＲ：Program Clock Reference）に基づいて、連続的な基準時刻を生成する。そして、基準時刻生成部１５は、多重化部１６において再びＴＳパケットが生成される際に、再生成した基準時刻の情報を所定のタイミングにて、送信用のＰＣＲとしてＴＳパケットに挿入する。このように、ＴＳパケットに対してはＰＣＲを断続的に挿入することになっており、復号化側（つまり、受信側となるテレビ４）ではＰＣＲによりシステムクロックを校正する。すなわち、上記通信システム１においては、ＰＴＳおよびＤＴＳを生成するための基準時刻情報がＰＣＲとして伝送されると共に、復号化（テレビ４）側でもＰＣＲにより校正された時刻を基準にＰＴＳ・ＤＴＳを参照することになる。

ところで、上記のように、断続的な時刻情報から連続的な基準時刻を生成するには、図３に示すようなＰＬＬ（Phase Locked Loop）回路３１を用いればよい。以下、ＰＬＬ回路３１について説明する。なお、元のＰＣＲ（図１において、左端より入力されるＭＰＥＧ−２ＴＳパケットに含まれているＰＣＲ）はＴＳパケットを構成する際に付けられたものである。

ＰＬＬ回路３１は、同図に示すとおり、減算器３２、ループフィルタ３３、ＶＣＯ（Voltage Controlled Oscillator）３４、カウンタ３５、および、減算器３６を備えている。

減算器３２は、ＰＬＬ回路３１に入力されるＰＣＲと、カウンタ３５から出力されるカウンタ値との差分を求める。ここで、ＰＣＲよりもカウンタ値が小さい（つまり、カウンタ３５の出力が遅れている）場合には、減算器３２は、遅れた分に相当する値（電圧）をループフィルタ３３に対して出力する。一方、ＰＣＲよりもカウンタ値が大きい（つまり、カウンタ３５の出力が進んでいる）場合には、減算器３２は、進んだ分に相当する値（電圧）をループフィルタ３３に対して出力する。

ループフィルタ３３は、減算器３２から送られてくる電圧を平滑化する。さらに、ループフィルタ３３は、平滑化した後の電圧を、ＶＣＯ３４に対して出力する。

ＶＣＯ３４は、ループフィルタ３３から送られてきた電圧に応じて、該電圧の周波数を変化させる。ここで、ＰＣＲよりもカウンタ値が小さい場合には、ＶＣＯ３４により、上記電圧の周波数が高められる。一方、ＰＣＲよりもカウンタ値が大きい場合には、ＶＣＯ３４により、上記電圧の周波数が低められる。また、ＶＣＯ３４は、周波数を変化させた電圧を、カウンタ３５に対して出力する。

カウンタ３５は、ＶＣＯ３４から、上記周波数を変化させた電圧を取得する。そして、カウンタ３５は、ＶＣＯ３４により周波数が高められた場合にはカウントの速度を早くする一方、ＶＣＯ３４により周波数が低められた場合にはカウントの速度を遅くする。また、カウンタ３５は、カウント結果を、減算器３２と減算器３６とに出力する。このように、ＰＬＬ回路３１においては、断続的にＰＣＲが入力される毎に、カウンタ３５の出力は校正されることとなる。

減算器３６は、カウンタ３５の出力を取得し、この出力から定数Ｔｄを差し引く。そして、減算器３６は、上記定数Ｔｄを差し引いた値を基準時刻(ＳＴＣ：System Time Clock)とした上で、この基準時刻が多重化部１６において必要なタイミングでサンプリングされる。その後、サンプリングされた基準時刻が、送信用のＰＣＲとしてＴＳパケットに挿入される。

なお、上記定数Ｔｄは、後述するバッファにおける遅延時間（Ｔｄ１）と、トランスコーダ１２等における処理に伴う遅延時間とを合計した時間である。ここで、ＰＣＲに基づく基準時刻の情報は、トランスコーダ１２、映像バッファ１３、テレビ４のバッファを通さずに伝送されるのに対して、ＰＣＲを参照するＰＴＳおよびＤＴＳは、トランスコーダ１２、映像バッファ１３、および、テレビ４のバッファを通る。それゆえ、ＰＴＳおよびＤＴＳは、トランスコーダ１２での処理による遅延や、映像バッファ１３およびテレビ４のバッファでの遅延のため、基準時刻に対して遅延分であるＴｄをＰＣＲから差し引く必要がある。

多重化部１６は、映像バッファ１３から出力されたＰＥＳパケット（ピクチャデータ）、音声バッファ１４から出力されたＰＥＳパケット、および、その他の制御用のデータを多重化してＴＳパケットを構成する。また、多重化部１６は、ＴＳパケットを構成する際に、基準時刻生成部１５においてサンプリングされたＰＣＲを、ＴＳパケットのヘッダの中に挿入間隔が１００ｍｓ以下となるように定期的に挿入する。さらに、多重化部１６は、多重化されて構成されたＴＳパケットを、ＭＡＣ／ＰＨＹ部１７に対して送る。

なお、受信側のテレビ４がＴＳパケットを受信して、ＭＡＣ／ＰＨＹ部１７による送信が完了したときには、映像バッファ１３と音声バッファ１４とから次のＰＥＳパケットが出力され、多重化部１６においてＴＳパケットが構成される。

ＭＡＣ／ＰＨＹ部１７におけるＭＡＣ(Media Access Controller)は、テレビ４に対するＴＳパケットの再送を伴った通信制御を行い、ＭＡＣ／ＰＨＹ部１７におけるＰＨＹ(Physical Layer Device)は、無線や電力線等の特定の物理層に対応してデータの送受信を行なう機能を有している。

ここで、ＭＡＣ／ＰＨＹ部１７のＭＡＣにおける処理を、図４に基づいて説明する。なお、同図に示す処理は、ＭＡＣ内部の制御部（図示せず）により独立して行われる。ＭＡＣ内部には再送のためのバッファ（図示せず）が存在する。

まず、ＭＡＣに対して、ＴＳパケットの入力があるか否かが判断される（Ｓ１）。Ｓ１において、ＭＡＣに対して１ピクチャ分のＴＳパケットが入力されると、このＴＳパケットがＭＡＣ内部のバッファに一時保存されると共に、ＭＡＣの制御部により、該ＴＳパケットがＰＨＹを介してテレビ４に送信される（Ｓ２）。一方、Ｓ１において、ＭＡＣに対してＴＳパケットが入力されなかった場合、再度、Ｓ１の処理に戻る。

Ｓ２の後は、テレビ４に送信したＴＳパケットに対する応答信号（ＡＣＫパケット）を、送信装置３側で受信したか否かが、ＭＡＣの制御部により判断される（Ｓ３）。つまり、ＴＳパケットがテレビ４に送信されて、さらに、テレビ４から、上記ＴＳパケットを正常に受信できた旨の応答が送信装置３に対して行われたか否かが判断される。

ここで、Ｓ３において、上記応答信号が送信装置３に送られてきた場合には、再度、Ｓ１に戻る。なお、この場合には、ＴＳパケットの再送の必要がなくなるため、ＭＡＣ内部のバッファのデータは不要となる。そのため、ＭＡＣの制御部が、このデータを消去し、バッファに空き領域を形成する。一方、上記応答信号が送信装置３に送られてこない場合、つまり、テレビ４が正常にＴＳパケットを受信できなかった場合には、再度、Ｓ２に戻る。すなわち、ＭＡＣの制御部によりＴＳパケットがテレビ４に対して再送される（Ｓ２）。このように、上記ＴＳパケットの再送は、応答信号が戻ってくるまで行われる。

なお、上記ＴＳパケットの再送は、再送回数や再送処理を行う時間を予め規定しておき、この回数や時間を超えるまで再送処理を行う構成としてもよい。ただし、これらの構成を本実施の形態に適用する場合には、再送が、十分に長い時間連続して行われる構成としておく。

このように、本実施の形態においては、通信が遮断された場合には、テレビ４において正常に受信されていないＴＳパケットが、ＭＡＣのバッファに保存されつづけることとなる。

次に、映像バッファ１３からの出力処理について、図５に基づいて説明する。なお、同図に示す処理は、送信部３ｂのバッファ制御部２０により行われる。

まず、バッファ制御部２０が、映像バッファ１３に、ピクチャデータ（ＰＥＳパケット）が存在するか否かを判断する（Ｓ１１）。Ｓ１１において、ＰＥＳパケットが映像バッファ１３に存在しない場合、再度、Ｓ１１に戻る。一方、Ｓ１１において、ＰＥＳパケットが映像バッファ１３に存在する場合、バッファ制御部２０は、ＭＡＣ内部にＴＳパケットが存在するか否かを判断する（Ｓ１２）。

Ｓ１２において、ＭＡＣ内部にＴＳパケットが存在する場合には、再度、Ｓ１１に戻る。一方、Ｓ１２において、ＭＡＣ内部にＴＳパケットが存在しない場合には、映像バッファ１３から１ピクチャ分のＰＥＳパケットが多重化部１６に出力される。そして、多重化部１６にてＴＳパケットに構成され、ＭＡＣ内部のバッファに入力される（Ｓ１３）。なお、Ｓ１３に後は、Ｓ１１に戻る。

なお、上記においては、ＭＡＣ内部にＴＳパケットが存在するか否かの判断を、バッファ制御部２０が行う構成としたが、必ずしもこれに限定されず、上記の判断を行う部材を別途設けてもよい。

一方、音声データに関しては、映像データに比べてデータ量が大変少ない。それゆえ、映像データに関するＰＥＳパケットが出力される毎に、音声バッファ１４から音声データに関するＰＥＳパケットが出力されるわけではなく、映像データに関するＰＥＳパケットが複数回出力されるごとに１回出力される。なお、この音声データに関するＰＥＳパケットの出力は、音声バッファ１４内において、次に出力されるＰＥＳパケットのＰＴＳを、映像バッファ１３から出力されるＰＥＳパケットのＰＴＳと比較し、映像データのＰＴＳが音声データのＰＴＳを超えたことをトリガーとして行われる。

ところで、上記のような再送を前提とした通信システム１では、テレビ４は、通常、送信装置３の映像バッファ１３の容量と音声バッファ１４の容量とを合わせたものと同じ容量のバッファ部を備えている。ところで、ＴＳパケットの再送が行われると、テレビ４にＴＳパケットが届く時間間隔が不均一になり、ジッタが発生する。しかしながら、テレビ４のバッファ部に一旦受信したＴＳパケットを溜めておき、かつ、均一なクロックで該ＴＳパケットを読み出すことにより、ジッタを除去することができる。このように、テレビ４のバッファは、再送に伴うジッタを除去するために設けられる。

図６は、上記ジッタの除去を行う構成例（以下、ジッタ除去回路と称する）を示した図である。同図に示すとおり、ジッタ除去回路４１は、バッファ部４２、ＰＣＲ検出器４３、減算器４４、ループフィルタ４５、ＶＣＯ４６、カウンタ４７、および、分周器４８を備えている。

バッファ部４２は、送信装置３から受信したＴＳパケットを一時的に蓄積するバッファである。ＰＣＲ検出器４３は、上記受信したＴＳパケットのヘッダに含まれるＰＣＲを検出する。そして、ＰＣＲ検出器４３は、検出したＰＣＲを減算器４４に対して出力する。

ここで、減算器４４、ループフィルタ４５、ＶＣＯ４６、および、カウンタ４７で構成される回路部は、図３に示した、減算器３２、ループフィルタ３３、ＶＣＯ３４、および、カウンタ３５で構成される回路部と基本的に同じ構成および機能を有する。ただし、図６の場合には、ＶＣＯ４６からの出力が、分周器４８に入力される。このように、ＰＣＲから均一な時間間隔のＶＣＯ出力を得るためのＰＬＬの動作は、図３と同じである。このため、この回路部についての説明は省略する。

ここで、ループフィルタ４５の時定数を大きく設定することにより、大きく設定した分だけＴＳパケットの受信時刻のばらつきを吸収することができる。また、ＶＣＯ４６から出力されるクロックは、バッファ部４２からＴＳパケットを読み出す際には、バッファ部４２に蓄積される際のデータ幅に従って、分周器４８で最適な周波数に変換される。そして、変換後の周波数がバッファ部４２からのＴＳパケット読み出しクロックとなり、バッファ部４２では、均一な間隔でＴＳパケットが読み出される。そして、バッファ部４２から、ＭＰＥＧ−２ＴＳ用の復号化器に対して出力される。また、カウンタ４７からの出力も、復号化器に入力され、ＤＴＳやＰＴＳの基準時刻であるＳＴＣとなる。

このように、上記ジッタ除去回路４１では、受信したＴＳパケットに含まれるＰＣＲを使用し、ＰＬＬ回路により均一な時間間隔のクロックを生成することにより、バッファ部４２からジッタのないタイミングでＴＳパケットを読み出すことができる。

ところで、本実施の形態では、送信装置３に入力される前のＰＣＲから、テレビ４のバッファ部４２における遅延も含めた遅延量Ｔｄを差し引くことにより、送信装置３でのＰＣＲが作成される。このため、テレビ４では、ＳＴＣ（基準時刻）を生成する際には、バッファ部４２における遅延量を差し引く必要はない。なお、送信装置３においてＴｄの半分だけを差し引き、テレビ４ではバッファ部４２の遅延量に相当するＴｄの半分を差し引いくことにより、ＳＴＣを生成してもよい。

送信装置３の映像バッファ１３とテレビ４のバッファ部４２とを合わせたデータの遅延量は、図２９に示すとおり、一定値（Ｔｄ１）となる。したがって、これら２つのバッファ部（１３・４２）によって、送信装置３のトランスコーダ１２の出力から、テレビ４の映像復号化装置４ｂまで、常にジッタのない一定時間でデータが伝送されることとなる。

ここで、バッファ制御部２０について説明する。バッファ制御部２０は、映像バッファ１３におけるＰＥＳパケットの入出力を制御する。また、バッファ制御部２０のデータ圧縮部２１は、映像バッファ１３に蓄積されたＰＥＳパケットを、所定の条件の下、所定の手順で圧縮する。より詳しくは、映像バッファ１３に蓄積されたＰＥＳパケットの一部を削除する（つまり、一部のＰＥＳパケットを間引く）ことにより、映像バッファ１３に蓄積されたＰＥＳパケットを圧縮する。なお、上記所定の条件、および、所定の手順の具体的内容については、後述する。また、以下では、説明の便宜上、上記のＰＥＳパケットの圧縮を、ピクチャデータの圧縮として記載する。つまり、ピクチャデータを削除することは、このピクチャデータを含んだパケットを削除すること表すものとする。

バッファ制御部２０のタイムスタンプ変更部２２は、削除対象となったピクチャデータを削除する際に、所定のピクチャデータに関するタイムスタンプ（ＰＴＳ・ＤＴＳ）（つまり、該ピクチャデータを含むＰＥＳパケットにおけるヘッダ情報の一部）の値（表示時刻・復号化時刻）を変更する。なお、具体的な変更方法については、後述する。また、以下では、タイムスタンプ（ＰＴＳ・ＤＴＳ）の値を変更することを、単に、タイムスタンプ（ＰＴＳ・ＤＴＳ）を変更すると記載する。

データ蓄積量判断部２３は、映像バッファ１３に蓄積されたＰＥＳパケットの蓄積量を判断する。また、データ蓄積量判断部２３は、上記蓄積量が所定の閾値を超えた場合に、データ圧縮部２１に対して、ピクチャデータの圧縮を指示することを示す情報を送信する。

ところで、上述したように、映像バッファ１３が蓄積されるＰＥＳパケットをリスト構造で管理しているため、ピクチャデータが削除されても残りのピクチャデータの移動が必要ない。このため、蓄積量が上記所定の閾値を越えたか否かは、映像バッファ１３内のピクチャデータであって、かつ、映像バッファ１３に最も遅く入力されたピクチャデータに関するアドレスでは判断できない。

そこで、本実施の形態では、映像バッファ１３におけるＰＥＳパケットの蓄積量を表す変数を別途設ける。そして、映像バッファに対するＰＥＳパケットの入出力、および、ＰＥＳパケットの削除を行う毎に、バッファ制御部２０が上記変数を更新すると共に、データ蓄積量判断部２３が、更新された変数が所定の閾値を超えたか否かを判断する構成とする。なお、上記変数の更新のために必要となる各ＰＥＳパケットのデータ量は、ＰＥＳパケットのヘッダ情報より求める。

また、本実施の形態においては、映像バッファ１３で蓄積可能な容量より少し小さな値を、上記所定の閾値（閾値Ａ（第１の閾値））としている。なお、ＰＥＳパケットのサイズは、Ｉピクチャデータ（基本ピクチャデータ）、Ｐピクチャデータ（参照ピクチャデータ）、Ｂピクチャデータ（参照ピクチャデータ）ごとに異なり、Ｂピクチャデータが最も小さく、Ｉピクチャデータが最も大きい。このため、Ｉピクチャデータを含んだＰＥＳパケットが映像バッファ１３に入力されても映像バッファ１３が溢れないようにするため、映像バッファの蓄積可能な容量と、上記閾値Ａとの差が、Ｉピクチャを含んだＰＥＳパケットの容量よりも大きくなるように、上記閾値Ａを設定するのが好ましい。

映像バッファ１３は、ＰＥＳパケットがＦＩＦＯ方式で処理されるデータ構造（つまりキュー構造）を有するが、映像バッファ１３内のＰＥＳパケット（ピクチャデータ）の管理はリスト構造で行われている。

ここで、リストによるキューの構造を、図７（ａ）に示す。同図に示す構造では、リストの先頭（出力側であって一番古いピクチャデータ）とリストの末尾（入力側であって一番新しいピクチャデータ）とが、それぞれ、ポインタｐｈ、ポインタｐｔにより指し示されて管理されている。さらに、上記構造は、各ピクチャデータには、次の新しいピクチャデータを指し示すためのポインタが対応付けられている。なお、同図においては、Ｄ１、Ｄ２、Ｄ３、および、Ｄ４がピクチャデータを表し、Ｐ１、Ｐ２、Ｐ３、および、Ｐ４が次の新しいデータを示すポインタを表している。このような構造により、各ピクチャデータはポインタによって管理される。このため、ピクチャデータは映像バッファ１３内の何れの領域に配置されてもよい。なお、末尾のピクチャデータに対応づけられるポインタには、次にデータが存在しないことを示す”ｎｉｌ”という特別の値が設定される。

図７（ｂ）には、映像バッファ１３内の特定のピクチャデータを削除した場合における、キュー構造を示す図である。同図は、図７（ａ）の状態から、ピクチャデータＤ２を削除した場合である。ここでは、実際にはピクチャデータＤ１のポインタＰ１を、削除したポインタＰ２の値に変更するだけでよく、一般的なキュー構造で途中のピクチャデータを削除した場合のようにピクチャデータの移動を行なって空きスペースを詰める必要がない。この結果、ポインタＰ１がピクチャデータＤ３を指し示すことになり、ピクチャデータＤ２はどこからも指し示されなくなって実質的には削除されたことと同じになる。なお、指し示されなくなったピクチャデータＤ２については、実際に削除処理を行う構成としても、あるいは、このピクチャデータＤ２が記憶された領域に新たなピクチャデータを上書きする構成としてもよい。

また、出力するピクチャデータは、図７（ａ）（ｂ）に示すとおり、ポインタｐｈにより指し示されている。つまり、ピクチャデータＤ１が出力対象として指定されている。

図７（ｃ）には、映像バッファ１３の先頭（出力側）から１枚分（つまり、テレビ４で表示される一画面）のピクチャデータＤ１を出力した後の状態を示している。そして、出力後はピクチャデータＤ１の次の新しいピクチャデータがバッファ内の先頭データとなるため、ｐｈの値をＰ１の値に変更しておけばよい。

図７（ｄ）には、映像バッファ１３の末尾（入力側）に１枚分のピクチャデータＤ５が入力された後の状態を示している。ここで、ピクチャデータＤ５の入力の際には、まず、入力するピクチャデータＤ５を空き領域に書き込み、ポインタｐｔの値をＤ５のアドレスに変更する。さらに、末尾のピクチャデータに対応づけられたポインタＰ４の値をＤ５のアドレスに変更すると共に、ピクチャデータＤ５に対応づけられたポインタＰ５の値をｎｉｌにする。

そして、上記のようなリスト構造においては、新しいピクチャデータを映像バッファ１３に書き込む場合に、過去に削除や出力を行うことによって、どのポインタからも指定されなくなったピクチャデータの領域が実質的な空き領域となり、この領域に新たなピクチャデータを上書することができることとなる。また、映像バッファ１３における一番古いピクチャデータの先頭のアドレスから、一番新しいピクチャデータの最後のポインタ（ｎｉｌが入るポインタ）のアドレスまでが、映像バッファ１３内で現在使用中の領域となるため、空き領域はこれらの領域を除いた領域として簡単に見つけることができる。

なお、本実施の形態では、ピクチャデータがＩ、Ｐ、およびＢピクチャデータの何れであるかを識別するコード（ピクチャタイプ）に何度もアクセスすることになるため、ピクチャデータを映像バッファ１３に入力する際に、ピクチャデータからピクチャタイプを読み出して、ピクチャデータの最初に付加しておくことが好ましい。同様に、ＰＴＳやＤＴＳは、ＰＥＳパケットのヘッダ情報に含まれているため、これらを読み出してピクチャデータの最初に付加しておいてもよい。なお、ＭＰＥＧ２符号のデータは階層構造を有しており、上記ピクチャタイプはピクチャ層と呼ばれる層に存在している。

ここでＭＰＥＧ２符号化方式における、符号化および復号化の前後におけるピクチャデータの順序を、図８に基づいて説明する。同図中の一番上の行は、ＭＰＥＧ２符号化が行われる前のピクチャの順序を示している。この順序は、図２９に示した順序と同じであり、この順序でピクチャデータが符号化器（図示せず）に入力される。

また、同図中の真ん中の行は、送信装置３への入力となるＴＳパケットに含まれているピクチャデータの順序を示したものである。送信装置３においては、この順序でピクチャデータがトランスコーダ１２に入力され、かつ、この順序でトランスコーダ１２より出力される。さらに、この順序で、テレビ４の映像復号化装置４ｂに入力される。つまり、上記真ん中の行では、ピクチャデータが復号化時刻の順に並んでいる。

さらに、同図中の一番下の行は、テレビ４にて復号化された後のピクチャデータの順序を示している。このように、一番下の行でのピクチャデータの順序は、一番上の行でのピクチャデータの順序と同じになる。つまり、一番下の行でのピクチャデータは、表示時刻の順に並んでいる。なお、復号化される順序は、テレビ４の映像復号化装置４ｂに入力される順序である。それゆえ、トランスコーダ１２から出力された順序である、上記真ん中の行に示した順序にて、各ピクチャデータが映像バッファ１３に入力される。

ところで、図８に示すＢピクチャデータであるＢ１およびＢ２のそれぞれを、テレビ４の映像復号化装置４ｂにて復号化するためには、前後のＰピクチャデータであるＰ１およびＰ２が既に復号化されている必要がある。このため、ピクチャデータＢ１が表示（再生）される時刻Ｔ１においては、ピクチャデータＰ１およびＰ２を既に復号化させておく。

また、ＰピクチャデータであるピクチャデータＰ２は、復号化時よりも遅れた時刻Ｔ２にて表示される。さらに、次に復号化されるピクチャデータＢ３、Ｂ４のために必要とされるピクチャデータＰ３が、ピクチャデータＰ３を含んだＰＥＳパケットにおけるヘッダ情報中のＤＴＳ（以下、ピクチャデータＰ３のＤＴＳと称する）に従って、ピクチャデータＰ２の表示時刻と同時刻Ｔ２に復号化される。この例のように、ピクチャデータＰ３のＤＴＳとピクチャデータＰ２のＰＴＳ（つまり、ピクチャデータＰ２を含んだＰＥＳパケットにおけるヘッダ情報中のＰＴＳ）とは一致しているのが一般的である。つまり、あるピクチャデータに対応付けられたＤＴＳは、他のいずれかのピクチャデータに対応付けられたＰＴＳと一致しているのが一般的である。

また、同図における上記真ん中の行および上記一番下の行との関係からわかるように、Ｂピクチャデータは、復号化時刻と表示時刻とが一致しており、ＤＴＳの代わりにＰＴＳが復号化時刻も表している。このため、このようなＧＯＰ構成（図２９参照）においては、Ｂピクチャデータを含むＰＥＳパケットにはＤＴＳが存在しない。一方、１枚分のピクチャが一つのＰＥＳパケットに含まれる場合は、ＩピクチャデータまたはＰピクチャデータを含むＰＥＳパケットにはＤＴＳが含まれることになる。

次に、バッファ制御部２０による映像バッファ１３の制御について、図９に基づいて説明する。

まず、バッファ制御部２０が、映像バッファ１３に対してピクチャデータの入力があるか否かを判断する（Ｓ２１）。Ｓ２１において入力がない場合には、再度、Ｓ２１に戻る。一方、Ｓ２１において入力がある場合には、データ蓄積量判断部２３が、ＰＥＳパケットの蓄積量が上記閾値Ａを超えたか否かを判断する（Ｓ２２）。Ｓ２２において閾値Ａを超えていないと判断された場合、再度、Ｓ２１に戻る。一方、Ｓ２２において閾値Ａを超えたと判断された場合には、データ圧縮部２１により、特定のピクチャデータが削除される（Ｓ２３）。Ｓ２３の後は、再度、Ｓ２２に戻る。

ここで、Ｓ２３において蓄積量が閾値Ａを超えた場合、データ圧縮部２１により、映像バッファ１３内における何れのピクチャデータを削除するかについて、図１０および図１１に基づいて説明する。

上述したように、Ｐピクチャデータを復号化するためには、過去のＩピクチャデータまたは過去のＰピクチャデータが必要となる。また、Ｂピクチャデータを復号化するためには、参照先である前後のＩピクチャデータやＰピクチャデータが必要となる。つまり、他のピクチャデータを参照する度合い（以下、参照度合）については、Ｂピクチャデータの方がＰピクチャデータよりも高い。なお、Ｉピクチャデータについては、ＰピクチャデータやＢピクチャデータが必要ない。

そこで、本実施の形態では、このようなピクチャデータの性質を用い、復号化時に他のピクチャデータへの参照度合の高いピクチャデータ（つまり、Ｂピクチャデータ）であって、かつ、映像バッファ１３内におけるＰＴＳの値が最も小さい（つまり表示時刻が最も古い）ピクチャデータから先に削除する。以下、このような処理の詳細を、図１０に基づいて説明する。

まず、バッファ制御部２０は、リストの先頭を示すポインタｐｈから、ポインタを順にたどって、Ｂピクチャデータが存在するか否かを判断する（Ｓ３１）。

Ｓ３１においてＢピクチャデータが複数存在していると判断された場合には、最もＰＴＳの値が小さいＢピクチャデータを削除する（Ｓ３２）。なお、削除の具体的な方法については、図７に基づいて示したため、ここでは説明を省略する。また、Ｓ３２の後は、タイムスタンプ変更部２２により、タイムスタンプの変更が行われる（Ｓ３３）。なお、タイムスタンプの変更の詳細については、後述する。

また、Ｓ３３の後は、映像バッファ１３に蓄積されたＰＥＳパケットのデータ量が閾値Ａ未満であるか否かがデータ蓄積量判断部２３により判断される（Ｓ３４）。Ｓ３４において閾値Ａ未満であれば、ピクチャデータの削除処理を終了する。また、Ｓ３４において閾値Ａ以上であれば、再度、Ｓ３１に戻る。

一方、Ｓ３１においてＢピクチャデータが存在していないと判断された場合には、つまり、ポインタが最終のｎｉｌに達した場合には、バッファ制御部２０は、リストの先頭を示すポインタｐｈからポインタを順にたどって、連続するＰピクチャデータの集合が存在するか否かを判断する（Ｓ３５）。

Ｓ３５においてＰピクチャデータの集合が存在していると判断された場合には、この検索において最初に見つかったＰピクチャデータの集合が、映像バッファ１３内で最も古いＰピクチャデータの集合である。そこで、この集合の中、ポインタが一番進んだところのＰピクチャデータを削除する（Ｓ３６）。また、Ｓ３６の後は、タイムスタンプ変更部２２により、タイムスタンプの変更が行われる（Ｓ３７）。

また、Ｓ３７の後は、映像バッファ１３に蓄積されたＰＥＳパケット（ピクチャデータ）が閾値Ａ未満であるか否かがデータ蓄積量判断部２３により判断される（Ｓ３８）。Ｓ３８において閾値Ａ未満であれば、ピクチャデータの削除処理を終了する。一方、Ｓ３８において閾値Ａ以上であれば、再度、Ｓ３１に戻る。

一方、Ｓ３５において連続するＰピクチャが存在していないと判断された場合には、つまり、ポインタが最終のｎｉｌに達した場合には、バッファ制御部２０は、リストの先頭を示すポインタｐｈからポインタを順にたどって、Ｐピクチャデータが存在するか否かを判断する（Ｓ３９）。

Ｓ３９においてＰピクチャデータが存在していると判断された場合には、この検索において最初に見つかったＰピクチャデータが、映像バッファ１３内で最も古いＰピクチャデータであるため、該Ｐピクチャデータを削除する（Ｓ４０）。また、Ｓ４０の後は、タイムスタンプ変更部２２により、タイムスタンプの変更が行われる（Ｓ４１）。

また、Ｓ４１の後は、映像バッファ１３に蓄積されたＰＥＳパケットが閾値Ａ以下であるか否かがデータ蓄積量判断部２３により判断される（Ｓ４２）。Ｓ４２において閾値Ａ未満であれば、ピクチャデータの削除処理を終了する。一方、Ｓ４２において閾値Ａ以上であれば、再度、Ｓ３１に戻る。

一方、Ｓ３９においてＰピクチャデータが存在していないと判断された場合には、つまり、ポインタが最終のｎｉｌに達した場合には、バッファ制御部２０は、映像バッファ１３内古いＩピクチャデータを削除する（Ｓ４３）。そして、Ｓ４３の後は、タイムスタンプの変更を行う（Ｓ４４）。さらに、Ｓ４４の後は、映像バッファ１３に蓄積されたＰＥＳパケットが閾値Ａ未満であるか否かがデータ蓄積量判断部２３により判断される（Ｓ４５）。Ｓ４５において閾値Ａ未満であれば、ピクチャデータの削除処理を終了する。また、Ｓ４５において閾値Ａ以上であれば、再度、Ｓ３１に戻る。

ところで、上記のように、Ｉピクチャデータを削除する場合には、映像バッファ１３内は全てＩピクチャデータで満たされた状態となっている。したがって、このような状態場合は、従来のように長期間連続したピクチャが欠落することを防ぐために、前回に削除したピクチャデータに対応づけられたポインタ（つまり、連続するＩピクチャを指し示すポインタ）をバッファ制御部２０が別途記憶しておく。そして、データ圧縮部２１により、連続したＩピクチャデータが削除されないように、例えば古い方から１ピクチャデータおきに削除する等の処理を行なうことが好ましい。

図１１は、通信遮断中に映像バッファ１３内で新しいピクチャデータが入力される毎に蓄積量が閾値Ａを超え、ピクチャデータが削除されてゆく時間変化を順に示した図である。なお、同図では、一つの四角が一つのピクチャデータを表し、かつ、Ｉ、Ｐ、および、Ｂピクチャデータに対して、それぞれに種類の異なる模様を付している。

また、同図では、左側よりトランスコーダ１２からのピクチャデータが入力される一方、右側では、ＭＡＣ内部のバッファにデータが残っているために、映像バッファ１３からデータが出力されない状態を示している。さらに、同図では、映像バッファ１３にピクチャデータが入力されたことにより蓄積量が閾値Ａを超え、その結果として削除されるピクチャデータを×印で示している。

ここで、図１０に示したフローに従って処理を行うと、図１１に示すように、最初の段階では、削除されても他のピクチャが表示可能なＢピクチャが優先的に削除さる。そして、次の段階では、Ｐピクチャデータが、削除されても他のＰピクチャが表示できるように、古いＧＯＰ内のＰピクチャデータであって、かつ、このＧＯＰ内では新しいＰピクチャデータから削除される（図中の状態Ａ参照）。そして、他のピクチャデータがなくてもそれ自身で復号化が可能なＩピクチャデータが残ることになる（図中の状態Ｂ参照）。また、上述したように、Ｉピクチャデータを削除する際には、Ｉピクチャデータに関して１ピクチャデータおきに削除する（図中の状態Ｃ参照）。

また、以上のように、映像バッファ１３に入力された順序が基本的に古い順に、ピクチャデータを削除する理由は、後述するようにタイムスタンプの変更回数を減らすためである。

以上の処理により、通信遮断中のピクチャデータの一部を映像バッファ１３内に残すことができる。しかしながら、従来技術においては本来削除されるはずであったにもかかわらず、上記の処理により選択的に残されたピクチャデータを通信回復後に表示するためには、その残されたピクチャデータを遅れた時間に表示する必要がある。このため、本来削除されるはずであったピクチャデータに対して、そのタイムスタンプ（ＰＴＳおよびＤＴＳ）を変更する必要がある。以下、タイムスタンプの変更処理を、図１２および図１３に基づいて説明する。なお、タイムスタンプの変更は、復号化のためにＤＴＳを行い、表示のためにＰＴＳを変更する。

タイムスタンプの変更処理は、映像バッファ１３内でピクチャデータが一つ削除される毎に、タイムスタンプ変更部２２が、削除されたピクチャデータより一つ古いピクチャデータから、一番古いピクチャデータに対して行う。

ここで、映像バッファ１３内のピクチャデータを一つ削除すると、削除後は該ピクチャデータの復号化および表示の時刻が空く。したがって、例えば、そのピクチャデータよりも一つ古い（つまり過去の）ピクチャデータの復号化時刻および表示時刻を上記空いた時刻に割り当てることができる。また、そのピクチャデータよりも一つ古いピクチャデータの表示時刻が削除されたピクチャデータの表示時刻よりも新しい場合には、上記一つ古いピクチャデータの復号化時刻のみを上記空いた時刻に割り当てることもできる。

このため、上記一つ古いピクチャを、１ピクチャ分遅れて復号化および表示を行うこと、あるいは、１ピクチャ分遅れて復号化することができる。

さらに、このような復号化時刻および表示時刻（あるいは、復号化時刻）の割り当てのシフトを、映像バッファ１３における一番古いピクチャデータまで繰り返すことにより、空いた復号化時刻および表示時刻を埋めると共に、全てのピクチャデータを１ピクチャ分遅らせて表示させることができるようになる。

以上の一連の処理を、ピクチャデータを一つ削除するごとに繰り返せば、特定のピクチャデータを複数ピクチャ分遅らせて表示することができる。そのため、通信回復後において、上記特定のピクチャデータをテレビ４で表示することができる。

なお、上記において、映像バッファ１３内のピクチャデータを削除したときに、該削除したピクチャデータよりも古いＤＴＳを持つピクチャデータが存在すれば、それらのピクチャデータのＤＴＳを変更する。また、同様に、該削除したピクチャデータよりも古いＰＴＳを持つピクチャデータが存在すれば、それらのピクチャデータのＰＴＳを変更する。

ここで、ＤＴＳの変更処理について、図１２に基づいて説明する。なお、同図は、図１１の最初の部分を抽出した図である。また、図７中の×印は、新しく映像バッファ１３にピクチャデータが入力されたことにより蓄積量が閾値Ａを超えて、その結果削除対象となるピクチャデータを示している。

上から１段目は、映像バッファ１３内で最も古いＢピクチャが削除対象となった状態を示している。なお、このＢピクチャデータは、映像バッファ１３内でＰＴＳが最も古いピクチャデータである。この場合は、従来と同様に映像バッファ１３内で一番古いピクチャデータ（Ｂピクチャデータ）が削除される。また、削除されるピクチャデータのＤＴＳも最も古い値であるため、映像バッファ１３におけるＤＴＳの変更は必要ない。

また、同図中の２段目は、一段目と同様に、最も古いＢピクチャデータが削除対象となった状態を示している。しかしながら、この場合は、削除されたＢピクチャデータよりも古いピクチャデータ（Ｉピクチャデータ）Ｄ９がバッファ内に存在する。ここで、このピクチャデータＤ１が通信回復後まで映像バッファ１３に残って、かつ、受信側（つまりテレビ４）に届いて復号化される場合を考える。この場合には、ピクチャデータＤ１のＤＴＳが通信遮断中の時刻となるため、このＤＴＳを受信側の基準時刻であるＳＴＣと比較すると過去の時刻となってしまう。したがって、このままでは、ピクチャデータＤ１を復号化することができない。

そこで、本実施の形態においては、映像バッファ１３の一番古いピクチャデータから削除するピクチャデータまでのＤＴＳの値を順に、１ピクチャ分ずつ古いピクチャデータの方向へ移動する。これにより、一番古いＤＴＳの値は捨てられ、削除されたピクチャデータのＤＴＳの値が、削除が行われる毎に、順に他のピクチャデータに引き継がれる。これにより、新しい復号化時刻を残すことができることとなり、通信回復後に映像バッファ１３のピクチャデータに残ったピクチャデー全てを復号化できるようになる。

ここで、図１２から明らかなように、映像バッファ１３では、古いピクチャデータの方から削除したほうが新しいピクチャデータから削除するよりも、ＤＴＳの移動回数（変更回数）が少なくてすむ。このため、Ｂピクチャデータの削除は古い方から行なうことが好ましい。また、連続したＰピクチャデータの集合を含むＧＯＰが複数存在する場合には、ＧＯＰが古いものから行なう方が好ましく、かつ、このＧＯＰ内では、削除しても他のピクチャの復号化に影響しない最も新しいＰピクチャデータから削除するのが好ましい。

さらに、連続しないＰピクチャデータやＩピクチャデータの場合も同様に、古いピクチャデータの方から削除を行うことにより、ＤＴＳの移動回数を削減できる。なお、ＢピクチャデータにはＤＴＳが含まれないため、ＤＴＳを変更する必要はない。また、ＩピクチャデータあるいはＰピクチャに移動するべきＤＴＳを、Ｂピクチャから移動する場合は、ＤＴＳの代わりに、ＢピクチャデータにおいてＤＴＳの意味を併せ持つＰＴＳの値で代用する。

次に、ＰＴＳの変更処理について説明する。映像バッファ１３のリスト構造では、ピクチャデータが図８の真ん中の行に示すとおり、復号化される順序で並んでいる。このため、ＤＴＳの処理については、隣のピクチャデータ間でのＤＴＳの値の移動により行うことができた。

しかしながら、表示される順序は同図の一番下の行のような順序となり、ＰＴＳの値はリスト構造の順序どおりには並んでいない。このため、ＰＴＳの変更処理は別の方法で行う必要がある。そこで、まず、映像バッファ１３において一番古いピクチャデータから、削除するピクチャデータの一つ前（一つ分古いピクチャデータ）までのピクチャデータのＰＴＳを調べる。次に、調べた各ＰＴＳが、削除するピクチャデータのＰＴＳよりも小さいかをバッファ制御部２０が判断する。そして、タイムスタンプ変更部２２は、削除するピクチャデータのＰＴＳよりも小さい値（古い値）のピクチャデータに対してのみ、ＰＴＳの変更を行う。なお、ＰＴＳを調べている際に、削除するピクチャデータのＰＴＳよりも大きなＰＴＳを持つピクチャデータが存在した場合、ピクチャデータの表示順に関しては削除するピクチャデータの後であることを示すため、ＰＴＳの変更対象外となる。なお、上述したように、削除する際には、ＰＴＳの古いピクチャデータから順に削除する。

また、ＰＴＳの変更は、ピクチャデータが遅く表示されるように、１ピクチャ分の周期（１／２９．９７Ｈｚ）を加算することで行う。この加算値は、ＰＴＳの時間分解能が１／９０ｋＨｚであるため、３００３となる。

なお、上記ＤＴＳの変更においても、ＤＴＳの値をピクチャデータ間で移動する代わりに、一番古いピクチャデータから削除するピクチャデータの一つ前までのピクチャデータのＤＴＳに、３００３を加算することにより実現することもできる。

上記ＰＴＳの変更処理を、図１３に基づいて説明する。まず、タイムスタンプ変更部２２により、ピクチャデータを指し示すポインタ変数ｐにリストの先頭を示すポインタｐｈの値を代入して初期化を行う（Ｓ５１）。Ｓ５１の後は、ｐが削除しようとするピクチャデータを指すＲｄと一致するかどうかを判断する（Ｓ５２）。Ｓ５２において一致する場合には、ポインタｐが指すピクチャデータを削除する（Ｓ５３）。これにより、ピクチャデータの削除が終了する。

一方、Ｓ５２において一致しない場合には、ｐが指すピクチャデータにＤＴＳが含まれているか否かがタイムスタンプ変更部２２により判断される（Ｓ５４）。Ｓ５４においてＤＴＳが含まれる場合には、このＤＴＳに、次のピクチャデータに含まれるＤＴＳを代入する（Ｓ５５）。もし、次のピクチャデータがＤＴＳを含まないピクチャデータの場合には、ＰＴＳで代用する。

なお、同図においては、ｐが指すＤＴＳをＤＴＳ（ｐ）と表現している。また、ｎｅｘｔ（ｐ）という関数により、次のピクチャデータのアドレスを示している。これは、例えば図７（ａ）においては、ｐがピクチャデータＤ２を指す場合、ｎｅｘｔ（ｐ）はＤ３を指す値となる。

そして、Ｓ５５の後は、タイムスタンプ変更部２２が、次にｐが指すピクチャデータのＰＴＳが、削除しようとするピクチャデータのＰＴＳよりも大きいかどうかを判断する（Ｓ５６）。一方、Ｓ５４においてＤＴＳが含まれない場合には、Ｓ５５を経ずにＳ５６に進む。

Ｓ５６において、次にｐが指すピクチャデータのＰＴＳが、削除しようとするピクチャデータのＰＴＳよりも小さい場合には、タイムスタンプ変更部２２が、ｐが指すピクチャデータのＰＴＳを、３００３を加算することにより変更する（Ｓ５７）。そして、Ｓ５７の後は、ｐの値を次のピクチャデータのアドレスに変更する（Ｓ５８）。一方、Ｓ５６において、次にｐが指すピクチャデータのＰＴＳが、削除しようとするピクチャデータのＰＴＳよりも大きい場合には、Ｓ５７を経ずにＳ５８に進む。なお、同図では、ｐが指すＰＴＳをＰＴＳ（ｐ）と表現している。

Ｓ５８の後は、再度、Ｓ５２に戻り、ｐが削除対象のピクチャデータに到達するまで以上の処理を繰り返す。

この結果、ＤＴＳに関しては、図７の太い矢印で示すようにＤＴＳが順に移動する。なお、図７の一番下の段では、比較的新しいピクチャデータが削除されるため、この場合は一度に３個のＤＴＳをシフトして書き換えることになる。

図１４は、映像バッファ１３の入出力における、ピクチャデータの時間遷移を示した図である。より詳しくは、上記の処理により、符号化されたピクチャデータが映像バッファ１３に入力されて蓄積され、かつ、映像バッファ１３からピクチャデータが出力されて、該出力されたピクチャデータがテレビ４で復号化および表示されるまでのピクチャデータの時間変化をピクチャデータ毎に示す図である。同図においては、一つの丸が一つのピクチャデータを表し、かつ、Ｉ、Ｐ、および、Ｂピクチャデータに対して、それぞれに種類の異なる模様を付している。なお、模様の種類は、図１１および図１２と同じである。また、同図では、多重化部１６での処理時間や、ＭＡＣ／ＰＨＹ部１７における処理時間はピクチャデータの符号化周期に比べて小さいため、図２９と同様に、これらを無視して示している。

また、図２９と図１４とで示される相違点は、削除するピクチャデータが異なる点である。したがって、削除に関する点を除き、両図は同じ内容を示している。したがって、削除に関する点以外については、説明を省略する。

本実施の形態においては、図１４に示すとおり、上述したピクチャデータ削除処理により、映像バッファ１３において、Ｄ１２、Ｄ１４、Ｄ１５、Ｄ１７、Ｄ１８、Ｄ２０、および、Ｄ２１のピクチャデータが削除される。なお、Ｄ１１のピクチャデータに関しては、ＰＴＳが更新されず、結果として失われる。また、同図では、符号化される前（符号化入力）のピクチャデータであって、失われるピクチャデータに×印を付している
つまり、テレビ４との通信が遮断され。テレビ４より応答信号が送られてこない期間では、Ｄ１３、Ｄ１６、Ｄ１９、および、Ｄ２２が削除されずに残されて、表示されることとなる。

また、図１４に示すとおり、通信システム１においては、送信装置３の映像バッファ１３における遅延時間（Ｔｄ１）と、テレビ４のバッファにおける遅延時間（Ｔｄ１）を等しく設定している。

図１５は、図１４の映像停止期間（つまり、テレビ４側において一定間隔でピクチャデータの表示が行われない期間：ｔ１からｔ２の間）に映像バッファ１３において削除されずに残されたピクチャデータが、通信回復後にテレビ４で表示される場合における、表示時刻とピクチャデータとの関係を示す図である。また、図１５においては、横軸は表示時刻を示し、縦軸はピクチャデータに付けられていた変更前のＰＴＳの値を示している。なお、ピクチャデータは、それぞれのＰＴＳに従って対応する基準時刻に表示される。

ところで、通信状態が良好の場合には、削除されるピクチャデータはないため、ＰＴＳは変更されない。この場合には、同図に示すように、時刻０からｔ１までは輪郭を太線で表した丸、ｔ１からｔ３までは輪郭を細線で表した丸（ただし、ピクチャデータＤ１３およびＤ２２を含む）、および、ｔ３以降は輪郭を太線で表した丸で示すように、ピクチャデータが直線状に並ぶ。しかしながら、通信が遮断されると、輪郭を太線で表した丸のピクチャデータのみがテレビ４で表示されることとなる。

つまり、ｔ１からｔ２までは、ピクチャデータＤ１３の表示のみが行われ、ｔ２からｔ３の間で、Ｄ１６、Ｄ１９、および、Ｄ２２のピクチャデータが表示されることとなる。例えばピクチャデータＤ１６は、本来、ピクチャデータＤ２０が表示される時刻に、ピクチャデータＤ２０の代わりに表示される。また、ピクチャデータＤ１９は、本来、ピクチャデータＤ２１が表示される時刻に、ピクチャデータＤ２１の代わりに表示される。

これは、映像バッファ１３でタイムスタンプの変更を繰り返した結果、最終的にピクチャＤ１６およびＤ１９に付けられたＰＴＳの値が、それぞれ、もともとピクチャＤ２０およびＤ２１に付けられていたＰＴＳの値になったことを意味している。

この結果、図１５の点線による折れ線のようにピクチャが表示される。つまり、映像停止期間の後は、映像バッファ内に残ったピクチャデータは間引かれているため早送りのように表示される。その後は、図１４に示すように、映像バッファ１３内のピクチャデータが前述のＶｔとＶｓの違いにより次第に減ることによって、映像バッファ１３内で削除が行なわれなくなるとタイムスタンプの変更もなくなる。

そして、本来のタイムスタンプを持ったピクチャデータが映像バッファ１３から出力され、該タイムスタンプで示される表示時刻（通常表示時刻）に表示されるようになる。なお、図１５ではピクチャデータＤ２２の表示時刻が上記通常表示時刻に相当し、この時点で通信遮断中のピクチャデータの表示が完了して、本来の表示時刻に追い付くことになる。ここで、本来の表示時刻に追い付く理由は、上述したピクチャデータの削除およびタイムスタンプの変更を行うと共に、上述したように、映像バッファ１３における遅延時間（Ｔｄ１）と、テレビ４におけるバッファの遅延時間（Ｔｄ１）とを同じに設定しているためである。

なお、図１５におけるＤ１３のＰピクチャデータは、図１４において通信遮断の直前にテレビ４に送られ、かつ、復号化される。このため、該Ｐピクチャデータは、正しく表示される。しかしながら、図１５のＤ１３の直前の２つのＢピクチャデータ（Ｄ１１およびＤ１２）は、通信が遮断された後に、テレビ４に送られるデータであるため最終的に再生されない。

以上のように、本実施形態においては、ＭＰＥＧ２符号化方式の３種類のピクチャデータの特性を利用することにより、図２９と比較して、失われるピクチャデータが分散する。したがって、連続したピクチャデータの消失を避けることができ、通信回復後に通信遮断時の映像を断続的ではあるが万遍なく見ることができる。しかも、映像バッファ１３で削除されずに残った全てのピクチャデータには、復号化のために必要な他のピクチャデータが存在することになる。

ところで、従来においては、図２９の表示出力で示したように、ピクチャデータ１００の直前における５ピクチャ分のピクチャデータは、テレビ４での復号化の際に各ピクチャデータが参照するピクチャデータが受信されない。このため、テレビ４では、これら５ピクチャ分のピクチャデータは受信されるものの、これらピクチャデータを復号化することができない。ところが、本実施の形態に係る通信システム１では、映像バッファ１３内で削除されずに残った全てのデータには、復号化のために必要な他のピクチャデータが存在することになる。この結果、図２９と図１４とを比較すると分かるように、本実施の形態によれば、より多くのピクチャデータを表示させることができる。

図１６は図１５における映像停止期間がさらに長くなった場合における、表示時刻とピクチャデータとの関係を示した図である。つまり、図１６は、通信遮断期間（受信応答がない期間）が長くなり、映像停止期間が一層長くなった場合を示した図である。この場合には、映像バッファ１３内で削除されるピクチャデータが増加するため、通信回復直後の表示速度は図１５の場合よりも速くなる。しかしながら、図１５の場合と同様に、通信遮断中の画像の一部を断片的に見ることができる。

なお、音声データに関しては、本実施形態のようにデータを間引くと、音声が断続的になる。このため、かえって音声内容を把握することができない。このため、音声データは従来技術どおり遮断期間中のものが失われることになる。しかしながら、音声データは間引かれることはないため、通信回復後は連続的に再生される。それゆえ、通信回復直後は映像との同期はとれないものの、音声内容を把握することができる。

また、上記の説明においては、受信側の装置としてテレビ４を例に挙げたが、これに限定されるものではない。例えば、パーソナルコンピュータであってもよい。

また、上記においては、送信装置３がチューナ部３ａを備えた構成を示したが、これに限定されるものではない。送信装置３がチューナ部３ａを備えずに、送信装置３をチューナ部と接続可能な構成としてもよい。さらに、符号化部３ｃについても、チューナ部３ａと同様である。

ところで、分離部１１は、上記ＴＳパケットを、チューナ部３ａあるいは符号化部３ｃより取得した。したがって、送信装置３が、チューナ部３ａあるいは符号化部３ｃを備えない構成も含めると、分離部１１は、外部から逐次送信されるリアルタイム性を有するデータを取得する構成であると言える。

また、上記においては、外部から逐次送信されるリアルタイム性を有するデータを取得する分離部（取得手段）１１と、上記取得したデータをテレビ（受信装置）４に逐次送信すると共に、テレビ４が上記データを受信できなかった場合に、テレビ４が受信できなかった送信済みのデータをテレビ４に再送信するＭＡＣ／ＰＨＹ部（送信手段）１７とを備えた構成の送信装置３を挙げて説明したが、これに限定されるものではない。例えば、上記のように外部から取得されるデータだけではなく、データを蓄積可能な蓄積媒体に蓄積されたリアルタイム性を有するデータであってもよい。

つまり、ＭＰＥＧ−２ ＴＳフォーマットのデータは、放送局等より送信されてユーザの近くで受信される以外に、ユーザが保有するパーソナルコンピュータのハードディスク（蓄積媒体）等に記録されるものが存在する。例えば、放送局からのデータをパソコンで受信し、そのままのフォーマットでハードディスクに蓄積するような場合である。このデータにも、再生側の基準時刻を校正するＰＣＲや、再生時刻を指定するＰＴＳなどが全く同様に含まれている。

このように蓄積されたＭＰＥＧ−２ ＴＳのデータは、データの読み出しが開始された時点から、該データに含まれるＰＣＲに基づいた時間軸に沿って、蓄積媒体から規則的に読み出される（つまり、蓄積媒体から再読み出しなどができない）。このため、上記読み出されるデータは、読み出し対象となる蓄積媒体を起源とするリアルタイム性を有することとなる。このようなパーソナルコンピュータに、図２の送信装置３のような機能を組み込むことも可能である。さらに、別の実現手段として、図２の送信装置３に、このような蓄積媒体の記録・再生装置を追加することもできる。

つまり、外部から送信されるリアルタイム性データのみならず、蓄積媒体より順次読み出されるリアルタイム性を有するデータであってもよい。なお、これは、後述する各実施の形態でも同様である。

以上のように、上記送信装置３は、リアルタイム性を有するデータをテレビ（受信装置）４に逐次送信すると共に、テレビ４が上記データを受信できなかった場合に、テレビ４が受信できなかった送信済みのデータをテレビ４に再送信するＭＡＣ／ＰＨＹ部（送信手段）１７とを備えた送信装置であって、テレビ４に対して未送信のデータを蓄積する映像バッファ（蓄積装置）１３と、映像バッファ１３に蓄積される未送信のデータを圧縮するデータ圧縮部（圧縮手段）２１とを備え、ＭＡＣ／ＰＨＹ部１７は、上記再送信したデータが上記テレビ４において受信可能となった場合に、上記映像バッファ１３に蓄積された未送信のデータをテレビ４に送信する構成といえる。

この構成によれば、テレビ４との通信状態が不良となって、ＭＡＣ／ＰＨＹ部１７が上記送信済みのデータを再送信している場合であっても、再送信を行っているデータに続いて送信すべきデータ、つまり未送信のデータを映像バッファ１３に蓄積することができる。

ところで、上記未送信のデータの容量が映像バッファ１３の容量を超えると、未送信のデータが映像バッファ１３から溢れてしまう。このような場合、新しい未送信のデータが映像バッファ１３から溢れてしまうことを防止するために、データの古い順に未送信のデータを映像バッファ１３から逐次削除すると、データがリアルタイム性を有するものであるために、上記削除された未送信のデータが示す内容を推し量ることができなくなる。

しかしながら、データ圧縮部２１により映像バッファ１３に蓄積された未送信のデータを圧縮することで、圧縮対象となる未送信のデータが示す内容が完全に失われることがなくなる。また、通信状態が回復したときに、ＭＡＣ／ＰＨＹ部１７により、上記映像バッファ１３に蓄積された未送信のデータをテレビ４に送信できる。

したがって、テレビ４において、通信遮断中のデータが示す内容を推し量ることが可能となる。

なお、テレビ４に対してテレビ４が未受信のデータの再送は、テレビ４が前記データを受信したか否かを、テレビ４からの応答信号の受信の有無により判断し、前記応答信号を受信しなかった場合に行えばよい。

また、上記送信装置３は、映像バッファ１３における未送信のデータの蓄積量を判断するデータ蓄積量判断部（蓄積量判断手段）２３を備え、上記蓄積量が閾値Ａ（所定の閾値）を超えた場合、データ圧縮部２１は上記未送信のデータを圧縮する構成である。

この構成によれば、データ蓄積量判断部２３により、映像バッファ１３における未送信のデータの蓄積量が判断できる。また、データ圧縮部２１は、蓄積量が所定の閾値Ａを超えた場合、映像バッファ１３に蓄積された未送信のデータを圧縮する。したがって、未送信のデータが映像バッファ１３から溢れてしまう前に、圧縮処理を行うことができる。

このように、上記通信装置３は、映像バッファ１３における未送信のデータの蓄積量が閾値Ａを超えた場合には、通信回復後、ＭＡＣ／ＰＨＹ部１７は圧縮された未送信のデータをテレビ４に送る構成である。また、通信装置３は、通信回復時に上記未送信のデータの蓄積量が閾値Ａ以下の場合には、非圧縮のデータをテレビ４に送る構成でもある。

また、上記送信装置３は、上記外部から逐次送信されるリアルタイム性を有するデータは、映像バッファ（蓄積装置）１３を介して、テレビ（受信装置）４に送信されるものであって、映像バッファ１３からのデータの出力間隔が、映像バッファ１３へのデータの入力間隔よりも短い構成である。

この構成によれば、外部から取得したデータは、映像バッファ１３に入力される間隔もよりも短い間隔で、受信装置に出力（送信）される。それゆえ、通信遮断が生じた場合には、圧縮された未送信のデータは、映像バッファ１３に新たに入力されるデータの入力間隔よりも、短い間隔で出力される。したがって、テレビ４に対し、圧縮したデータを速やかに送信することができる。さらに、通信状態が回復した場合には、所定の時間が経過すると、映像バッファ１３に蓄積されるデータ量を略ゼロとすることができる。

〔実施の形態２〕
本発明の他の実施形態について、図１７ないし図１９に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

本実施の形態においては、映像バッファ１３内で削除されるピクチャデータの選び方が、上記実施の形態１の選び方と異なっている。つまり、バッファ制御部２０内のデータ圧縮部２１における、ピクチャデータの圧縮の仕方が上記実施の形態１とは異なっている。以下においては、実施の形態１と異なる点のみを説明する。

本実施の形態では、上記実施の形態１と同様に、映像バッファ１３にピクチャデータが入力されて、映像バッファ１３に蓄積されたピクチャデータの量が閾値Ａを越えると、映像バッファ１３内でデータ圧縮部２１がピクチャデータの削除を行う。この際、本実施の形態においては、一つのＧＯＰ内で任意のＰピクチャデータより後のデータを全て削除する。例えば、図１７において、ＩピクチャデータＤ３６から始まり、そのＧＯＰ内の任意のＰピクチャデータで終わる連続したピクチャデータの単位（ピクチャ単位）が残るように、ＧＯＰ内の他のピクチャデータを削除する。

このようにピクチャデータを削除することにより、映像バッファ１３内に蓄積されるピクチャデータが、復号化の際に他のピクチャデータを参照する必要のあるピクチャデータ（ＰやＢピクチャデータ（参照ピクチャデータ））であっても、映像バッファ１３内には復号化のために必要なピクチャデータ（Ｉピクチャデータ（基本ピクチャデータ））が存在することになる。

また、図１７は、映像停止期間に映像バッファ１３において削除されずに残されたピクチャデータが、通信回復後にテレビ４で表示される場合における、表示時刻とピクチャデータとの関係を示す図である。また、同図においては、横軸は表示時刻を示し、縦軸はピクチャデータに付けられていた変更前のＰＴＳの値を示している。なお、ピクチャデータは、それぞれのＰＴＳに従って対応する基準時刻に表示される。なお、同図においても、図１５と同様に、輪郭を太線で示した丸が、最終的に受信側であるテレビ４で表示（再生）されるデータとなる。

また、図１７においては、同図における通信遮断がない場合のピクチャデータの並びを、図１５における通信遮断がない場合のピクチャデータの並びと同じとした場合を示している。さらに、図１７に示すように、本実施の形態では、映像バッファ１３における遅延時間をＴｄ２とし、かつ、該映像バッファ１３における遅延時間（Ｔｄ２）と、テレビ４におけるバッファの遅延時間とを同じに設定している。
以下、図１７について、詳しく説明する。

本実施の形態においても、新しいピクチャデータが映像バッファ１３に入力されて、ピクチャデータの蓄積量が閾値Ａを越えるごとに、ピクチャデータの削除を行う。詳しくは、映像バッファ１３内でＰＴＳが一番古いＩピクチャデータＤ３６の直前まで、映像バッファ１３内におけるＰＴＳの古いピクチャデータより１ピクチャデータずつ削除する。削除が続けば、映像バッファ１３内においてＰＴＳが一番古いピクチャデータがＩピクチャデータＤ３６となる。同図においては、ピクチャデータＤ３６より表示時刻が古いピクチャデータ（図中左下方向のピクチャデータである、Ｄ３１、Ｄ３２、Ｄ３４、およびＤ３５）が削除される。

なお、ピクチャデータＤ３１に関しては、図１５のＤ１１と同様の理由で、結果として削除される。また、図１５におけるＤ１３のＰピクチャデータ同様、既に受信側であるテレビ４に送られたデータＤ３３は映像停止期間の途中でも再生されることになる。さらに、ピクチャデータを削除する際には、上記実施の形態１と同様に、ＰＴＳとＤＴＳとの移動（変更）を行う。

このように最初のまとまったＧＯＰ以前のピクチャデータ（Ｄ３１、Ｄ３２、Ｄ３４、およびＤ３５）（端数ピクチャデータ）を削除する理由は、端数ピクチャデータが例えばＢピクチャデータである場合、復号化する際に参照先のＰピクチャデータやＩピクチャデータが存在しない可能性があるためである。

図１８は、表示出力が図１７となる場合の映像バッファ１３の入出力における、ピクチャデータの時間遷移を示した図である。より詳しくは、図１８は、実施の形態１の図１４に対応する図であると共に、符号化されたピクチャデータが映像バッファ１３に入力されて蓄積され、かつ、映像バッファ１３からピクチャデータが出力されて、該出力されたピクチャデータがテレビ４で復号化および表示されるまでの、ピクチャデータの時間変化をピクチャデータ毎に示す図である。

図１８に示すとおり、映像バッファ１３内において一番古いＰＴＳを持つピクチャデータがＩピクチャデータとなった状態で、蓄積量が閾値Ａを越えた状態が続き、新しいＩピクチャデータＤ４５が映像バッファ１３に入力された後、次の２ピクチャ分のＢピクチャデータが入力された時点で、データ圧縮部２１は一度に５ピクチャ分のピクチャデータ（Ｄ４１〜Ｄ４５）を削除する。これにより、図１７にも示すとおり、Ｄ４１からＤ４５の５ピクチャデータが連続して再生されないことになる。

また、上記５ピクチャ分のピクチャデータの削除の際には、まとめてＰＴＳとＤＴＳとの移動（変更）を行なう。以下、ＰＴＳおよびＤＴＳの移動について説明する。

まず、ＤＴＳの移動について説明する。図１８にも示すとおり、ＩピクチャデータＤ３６が映像バッファ１３から出力されるまでに、映像バッファ１３内でＩピクチャデータＤ３６よりも新しいＤＴＳを有する７ピクチャ分のピクチャデータ（Ｄ３４、Ｄ３５、およびＤ４０〜Ｄ４４）が、データ圧縮部２１により削除される。このため、ＩピクチャデータＤ３６に関しては、７ピクチャ分のＤＴＳの移動が行なわれる。つまり、３００３×７の値をＩピクチャデータＤ３６のＤＴＳに加算する。これにより、ＩピクチャデータＤ３６は、受信側のテレビ４で７ピクチャ分だけ遅れて復号化される。

同様にＤ３７からＤ３９に関しては、これらのピクチャデータが映像バッファ１３から出力されるまでに、新しいＤＴＳを持つ他の５ピクチャ分のピクチャデータ（Ｄ４０〜Ｄ４４）が削除される。このため、ピクチャデータ（Ｄ３７〜Ｄ３９）の各ＤＴＳに３００３×５の値を加算する。これにより、ピクチャデータ（Ｄ３７〜Ｄ３９）は、受信側のテレビ４で５ピクチャ分だけ遅れて復号化される。

次に、ＰＴＳについて説明する。ピクチャデータＤ３６からＤ３９が映像バッファ１３から出力されるまでに、映像バッファ１３内でこれら４ピクチャデータよりも新しいＰＴＳを持つ他の５ピクチャ分のピクチャデータ（Ｄ４０〜Ｄ４４）がデータ圧縮部２１により削除される。このため、上記ピクチャデータ（Ｄ３６〜Ｄ３９）については、５ピクチャ分のＰＴＳの移動を行う。つまり、３００３×７の値をこれら４ピクチャ分のピクチャデータ（Ｄ３６〜Ｄ３９）のＰＴＳに加算する。この結果、図１７にも示すように、ピクチャＤ３６からＤ３９は、受信側のテレビ４で５ピクチャ分だけ遅れて再生される。

図１９は、映像停止期間が図１７の映像停止期間よりも長くなった場合であって、かつ、映像停止期間に映像バッファ１３において削除されずに残されたピクチャデータが、通信回復後にテレビ４で表示される場合における、表示時刻とピクチャデータとの関係を示す図である。

図１９に示すとおり、テレビ４においては、連続した４つのピクチャデータが４つのピクチャデータを１単位として断続的に表示される。このため、断片的ではあるが等速でまとまった単位で表示が行われる。

また、図１９に示した最後のピクチャデータＤ_Ｌが、通信遮断がない場合のピクチャデータの並びにおけるピクチャデータに重なる。このため、このピクチャデータのＰＴＳで示された時刻において、通信が遮断されなかった場合の表示時刻に追いつくことになる。

さらに、本実施の形態では、通信遮断中の一部の映像を通信回復後に、断片的にではあるが早送りではなく通常の速度で再生することができる。

なお、ＧＯＰ内部で削除するピクチャデータと削除しないピクチャデータとを分けずに、ＧＯＰ単位で削除するＧＯＰと残すＧＯＰとを分けてもよい。この場合は、削除されるＧＯＰが連続しないように、例えば１ＧＯＰおきに削除すると、長期間連続したピクチャデータが削除されるのを防ぐことができる。

以上のように、上記送信装置３は、ピクチャデータは、テレビ（受信装置）４における該ピクチャデータの表示時刻を指示する表示時刻情報（ＰＴＳ）と関連付けられていると共に、上記ＢおよびＰピクチャデータ（参照ピクチャデータ）は、テレビ４での復号化の際に、少なくとも、該参照ピクチャデータよりも表示時刻が古く、かつ、表示時刻が最も近いＩピクチャデータ（基本ピクチャデータ）を直接的または間接的に参照するものであって、上記Ｉピクチャデータを一つ含み、かつ、上記Ｉピクチャデータから上記表示時刻順に連続する所定の個数のピクチャデータを、一つのセットピクチャデータとした場合、データ圧縮部（圧縮手段）２１は、上記セットピクチャデータを構成するピクチャデータ以外のピクチャデータを削除する構成である。なお、Ｉピクチャデータを間接的に参照するとは、Ｉピクチャデータを参照して復号化されたピクチャデータ（Ｐピクチャデータ）を参照することである。

この構成によれば、データ圧縮部２１は、上記セットピクチャデータを構成するピクチャデータ以外のピクチャデータを削除する。このため、セットピクチャデータは、削除されない。また、グループピクチャ内で表示時刻が最も古いのは、Ｉピクチャデータである。それゆえ、グループピクチャ内の全てのピクチャデータの復号化を行える。したがって、テレビ４において、断片的ではあるが連続した映像を見ることができる。なお、セットピクチャデータを、複数組設けた構成としてもよい。

また、セットピクチャのピクチャ数を、ＧＯＰを構成するピクチャ数と等しくなるように設定し、映像バッファ１３から削除するセットピクチャと、映像バッファに残すセットピクチャとを、例えば交互に選択する構成としてもよい。

ここで、ピクチャデータＤ２９よりも再生順序が一つ分および二つ分早いピクチャデータを、それぞれ、ＢピクチャデータＤ２８およびＩピクチャデータＤ２７とし、ピクチャデータＤ_Ｌ（Ｄ６０）よりも再生順序が一つ分および二つ分遅いピクチャデータを、それぞれ、ＢピクチャデータＤ６１およびＢピクチャデータＤ６２とする（図１９参照。なお、ピクチャデータＤ２７、Ｄ２８、Ｄ６１、および、Ｄ６２は図示せず。）。

上記の構成の場合、例えば、ピクチャデータＤ３６〜Ｄ４４、および、ピクチャデータＤ５４〜Ｄ６２等のＧＯＰを映像バッファ１３に残し、かつ、ピクチャデータＤ２７〜Ｄ３５およびピクチャデータＤ４５〜Ｄ５３等のＧＯＰを映像バッファ１３から削除することになり、図１９における連続した部分が残り、それに引き続く連続した部分が削除されるという状態が繰り返されることになる。

〔実施の形態３〕
本発明の他の実施形態について、図２０ないし図２３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

本実施の形態においては、映像バッファ１３内で削除されるピクチャデータの選び方が、上記実施の形態１の選び方と異なっている。つまり、バッファ制御部２０内のデータ圧縮部２１における、ピクチャデータの圧縮の仕方が上記実施の形態１とは異なっている。さらに、本実施の形態においては、実施の形態１よりも映像バッファ１３の容量（サイズ）をより大きくし、閾値Ａを映像バッファの中ほどに設定している。以下においては、実施の形態１と異なる点のみを説明する。

図２０は、映像バッファ１３に対して行われる制御のフローを示すフローチャートである。以下では、この図に従って処理を説明する。なお、この処理はバッファ制御部２０により行われる。

トランスコーダ１２からピクチャデータが出力されたか否かが、バッファ制御部２０により判断される（Ｓ６１）。ここで、Ｓ６１においてピクチャデータの出力がないと判断された場合には、再度、Ｓ６１に戻る。一方、Ｓ６１においてピクチャデータの出力あると判断された場合には、バッファ制御部２０は、このピクチャデータについて、映像バッファ１３に対する入力を受け付ける（Ｓ６２）。

Ｓ６２の後は、データ蓄積量判断部２３によって、ピクチャデータの蓄積容量が閾値Ａを超えたか否かが判断される（Ｓ６３）。Ｓ６３において、ピクチャデータの蓄積容量が閾値Ａを超えていない場合には、最後に削除したピクチャデータを指していたポインタを記憶する変数Ｒｄを、リストの先頭を指すｐｈに初期化する（Ｓ６８）。そして、Ｓ６８の後は、再度、Ｓ６１に戻る。一方、Ｓ６３において、ピクチャデータの蓄積容量が閾値Ａを超えた場合には、映像バッファ１３内において、ＰＴＳが最も古いピクチャデータがＩピクチャデータか否かが判断される（Ｓ６４）。

Ｓ６４において、ＰＴＳが最も古いピクチャデータがＩピクチャデータである場合には、バッファ制御部２０が、Ｒｄの値を参照して、リスト上で前回削除されたピクチャデータからＰＴＳの並び順で３個目のＢピクチャデータが映像バッファ１３内に存在するか否かを判断する（Ｓ６５）。Ｓ６５において上記Ｂピクチャデータが存在する場合、バッファ制御部２０は、上記Ｂピクチャデータの先頭アドレスをＲｄに代入して、Ｒｄを更新する（Ｓ６６）。一方、Ｓ６５において上記Ｂピクチャデータが存在しない場合には、再度、Ｓ６１に戻る。

Ｓ６６の後は、Ｒｄを引数として上記Ｂピクチャデータ（ＰＴＳの並び順で３個目のＢピクチャデータ）を削除すると共に、タイムスタンプを実施形態１と同様に変更する（Ｓ６７）。そして、Ｓ６７の後は、再度、Ｓ６１に戻る。

一方、Ｓ６４において、ＰＴＳが最も古いピクチャデータがＩピクチャデータでない場合には、ＲＴＳが最も古いピクチャデータの先頭アドレスをＲｄに代入する（Ｓ６９）。そして、Ｓ６９の後は、Ｓ６７に進み、上記Ｒｄを引数として、上記ＲＴＳが最も古いピクチャデータの削除を行う。ここで、削除されるＲＴＳが最も古いピクチャデータは、過去のＧＯＰにおける最後のピクチャデータが映像バッファ１３内に残ったものである。このようなピクチャデータの削除を行う理由は、通信遮断が続いてテレビ４のバッファが空になると、テレビ４では復号化時にピクチャデータが不連続になり参照先のピクチャデータがなくなるためである。つまり、そのような参照先を必要とするピクチャデータを優先的に削除しておくためである。なお、Ｓ６９の処理は、蓄積量が閾値Ａを越えている間は、映像バッファ１３内において、ＰＴＳが一番古いピクチャデータがＩピクチャになるまで繰り返される。

図２１は、映像バッファ１３内のピクチャデータの時間的な遷移状態を示す図である。より詳しくは、同図は、実施の形態１の図１４に対応する図であると共に、符号化されたピクチャデータが映像バッファ１３に入力されて蓄積され、かつ、映像バッファ１３からピクチャデータが出力されて、該出力されたピクチャデータがテレビ４で復号化および表示されるまでの、ピクチャデータの時間変化をピクチャデータ毎に示す図である。

図２１の場合、上記実施の形態１よりも映像バッファ１３のバッファ容量を大きく設定しているため、映像バッファ１３へのピクチャデータの入力時点から受信側のテレビ４でピクチャデータが復号化されるまでの遅延時間がＴｄ１よりも大きな値（Ｔｄ３）となっている。なお、該映像バッファ１３における遅延時間（Ｔｄ３）と、テレビ４におけるバッファの遅延時間とを同じに設定している。

同図の前半部（時間が古い方）では、通信が遮断されて送信部３ｂのＭＡＣ内部のバッファに再送用のピクチャデータが残ったままとなる。このため、映像バッファ１３には徐々にトランスコーダ１２から入力されるピクチャデータが蓄積されてゆき、閾値Ａを越えた時点でＰＴＳの並び順でＢピクチャを３つおきに削除する処理が、データ圧縮部２１により開始される。同図においても、映像バッファ１３内で削除されるピクチャデータを黒い丸印を付けて示す。ここで、上記削除されるピクチャデータはＢピクチャデータであるため、復号化の際には他のピクチャデータから参照されない。したがって、上記ピクチャデータを削除しても、他のピクチャデータの復号化は行える。

同図の後半（時間が新しい方）では、通信が回復し、映像バッファ１３に蓄積されていたピクチャデータが映像バッファ１３の入力レートよりも速い速度で映像バッファ１３から出力される。このため、映像バッファ１３のピクチャデータの蓄積量は減少し始める。さらに、通信回復直後においても、ピクチャデータの蓄積量が閾値Ａを超えている期間では、引き続いて上記３つおきのピクチャデータの削除が行われる。

同図においては、最終的に受信側のテレビ４で復号化されずに失われるピクチャデータを、図の一番上のピクチャデータに対応させて×印で示している。これから明らかなように、本実施の形態においては、従来のように連続してピクチャデータが削除されることなく、Ｂピクチャが３つおきに削除される。

図２２は、図２１の映像停止期間に映像バッファ１３において削除されずに残されたピクチャデータが、通信回復後にテレビ４で表示される場合における、表示時刻とピクチャデータとの関係を示す図である。また、図２２においては、横軸は表示時刻を示し、縦軸はピクチャデータに付けられていた変更前のＰＴＳの値を示している。なお、ピクチャデータは、それぞれのＰＴＳに従って対応する基準時刻に表示される。

なお、同図においても、図１５と同様に、輪郭を太線で示した丸が、最終的に受信側であるテレビ４で表示（再生）されるデータとなる。また、図２２においては、同図における通信遮断がない場合のピクチャデータの並びを、図１５における通信遮断がない場合のピクチャデータの並びと同じとした場合を示している。

上述したピクチャデータの削除を実施することにより、図２２に示すように、映像停止期間が過ぎても、ゆっくりと本来の表示に追いつくように表示が行われる。このため、利用者に対して、通常の再生速度に近い速度で映像を提示できる。それゆえ、ピクチャデータを間引くことにより生じる、ユーザが抱く違和感を低減させることができる。

図２３は、映像停止期間が図２２の映像停止期間よりも長くなった場合であって、かつ、映像停止期間に映像バッファ１３において削除されずに残されたピクチャデータが、通信回復後にテレビ４で表示される場合における、表示時刻とピクチャデータとの関係を示す図である。

ここで、図２３における表示速度と、図２２における表示速度とを比較すると、両者の表示速度が同じである。このように、本実施の形態では、映像停止期間によらず、表示速度は一定であり、かつ、ピクチャデータの間引き率が小さい。このため、通常の表示に近い状態で、通信遮断中の映像を通信回復後に見ることができる。

以上のように、上述した実施の形態１では、通信遮断期間が長くなるほど通信回復直後の表示速度が速くなるのに対して、本実施の形態では、通信遮断期間が長くなっても通信回復直後の表示速度を通常速度より僅かに早くしながら、かつ、一定速度に保ったままで本来の再生に追い付くことができる。

ところで、本実施の形態では、Ｂピクチャデータを３つおきに削除するように設定した例を挙げて説明したがこれに限定されるものではない。バッファ制御部２０において、Ｂピクチャデータを何個おきに削除するかを設定（変更）可能する構成としておけばよい。例えば、この個数を大きくすれば通信回復直後の再生速度が通常の表示速度に近づく一方、該個数を小さくすれば早送りのように表示させることができる。このため、利用形態に応じて最適な値に設定することができる。

さらに、Ｂピクチャデータだけでなく、ＩピクチャデータおよびＰピクチャデータも含めて、Ｂピクチャデータから３つ目のピクチャデータを判断し、該３つ目のピクチャデータがＩピクチャデータまたはＰピクチャデータであれば、そのピクチャデータの次に現れるＢピクチャを削除する構成としてもよい。

以上のように、上記送信装置３は、ピクチャデータは、テレビ（受信装置）４における該ピクチャデータの表示時刻を指示する表示時刻情報（ＰＴＳ）と関連付けられていると共に、データ圧縮部（圧縮手段）２１は、Ｂピクチャデータ（参照度合の高いピクチャデータ）に関して、前記表示時刻順に一定数おきに、前記Ｂピクチャデータを削除する構成である。

この構成によれば、データ圧縮部２１は、Ｂピクチャデータに関して、前記表示時刻順に一定数おきに、前記Ｂピクチャデータを削除する。それゆえ、バランスよく、Ｂピクチャデータを削除することができる。したがって、テレビ４において、視認性に優れた映像の早送り表示を行わせることが可能となる。

〔実施の形態４〕
本発明の他の実施形態について、図２４に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

本実施の形態においては、映像バッファ１３内で削除されるピクチャデータの選び方が、上記実施の形態３の選び方と異なっている。つまり、バッファ制御部２０内のデータ圧縮部２１における、ピクチャデータの圧縮の仕方が上記実施の形態３とは異なっている。さらに、本実施の形態においては、実施の形態３で設定した閾値Ａに加えて、映像バッファ１３からピクチャデータが溢れることを防止するため閾値Ｂ（第２の閾値）を映像バッファ１３の蓄積容量の上限近くに設定している。以下においては、実施の形態１および３と異なる点のみを説明する。

図２４は、映像バッファ１３に対して行われる制御のフローを示すフローチャートである。以下では、この図に従って処理を説明する。なお、この処理はバッファ制御部２０により行われる。

同図のステップ（Ｓ７１〜Ｓ７３、Ｓ７５〜Ｓ７９、Ｓ８２）は、それぞれ、図２０のステップ（Ｓ６１〜Ｓ６９）と同一である。つまり、図２３では、Ｓ７４、Ｓ８０、およびＳ８１のステップが設けられている点において、図２０と異なる。したがって、以下では、上記異なるステップについて説明し、ステップ（Ｓ７１〜Ｓ７３、Ｓ７５〜Ｓ７９、Ｓ８２）については説明を省略する。

Ｓ７３においてピクチャデータの蓄積容量が閾値Ａを超えた場合には、データ蓄積量判断部２３によって、ピクチャデータの蓄積容量が閾値Ｂを超えたか否かが判断される（Ｓ７４）。Ｓ７４においてピクチャデータの蓄積容量が閾値Ｂを超えていない場合には、Ｓ７５に進む。一方、Ｓ７４においてピクチャデータの蓄積容量が閾値Ｂを超えた場合には、映像バッファ１３におけるピクチャデータの削除が、上記実施の形態１で示した手法で１ピクチャデータ毎に行われる（Ｓ８０）。

そして、Ｓ８０の後は、データ蓄積量判断部２３によって、ピクチャデータの蓄積容量が、未だ閾値Ｂを超えているか否かが判断される（Ｓ８１）。Ｓ８１において、ピクチャデータの蓄積容量が、未だ閾値Ｂを超えている場合には、再度、Ｓ８０に戻り、ピクチャデータの削除が続けられる。一方、ピクチャデータの蓄積容量が閾値Ｂ以下となった場合には、Ｓ７１に戻る。

以上の処理を行うことにより、本実施の形態では、閾値Ｂを超えない間は上記実施の形態３と同様の効果を得ることができ、さらに、通信遮断期間が長引いて映像バッファ１３からピクチャデータが溢れそうになった場合には、上記実施の形態１と同様の効果を得ることができる。

以上のように、上記送信装置３は、上記ＰおよびＢピクチャデータ（参照ピクチャデータ）は、Ｉピクチャデータ（基本ピクチャデータ）に対する参照度合を有し、上記閾値Ａ（第１の閾値）よりも大きな閾値を閾値Ｂ（第２の閾値）とすると、上記データ蓄積量判断部（蓄積量判断手段）２３が、未送信のデータの蓄積量が上記閾値Ａ以上かつ閾値Ｂ未満であると判断した場合には、データ圧縮部（圧縮手段）２１は、Ｂピクチャデータ（参照度合の高い参照ピクチャデータ）に関して、上記表示時刻順に一定数おきに、上記Ｂピクチャデータを削除すると共に、データ蓄積量判断部２３が、未送信のデータの蓄積量が上記閾値Ｂ以上であると判断した場合には、データ圧縮部２１は、上記Ｂピクチャデータを先に削除する構成である。

この構成によれば、未送信のデータの蓄積量が上記閾値Ａ以上かつ上記閾値Ｂ未満である場合には、バランスよくＢピクチャデータを削除できる。それゆえ、テレビ４において、視認性に優れた映像の早送り表示を行わせることが可能となる。

ところで、上記のように、Ｂピクチャデータに関して、上記表示時刻順に一定数おきに、上記Ｂピクチャデータを削除すると、映像バッファ１３においてピクチャデータが溢れてしまう可能性もある。したがって、未送信のデータの蓄積量が上記閾値Ｂ以上となる場合には、単に、上記Ｂピクチャデータを先に削除することにより、映像バッファ１３においてピクチャデータが溢れてしまうことを防止できる。

また、映像バッファ１３のピクチャデータの蓄積量が閾値Ｂ以上となった場合、上記実施の形態２において示した方法で、ピクチャデータの削除を行ってもよい。この場合も、実施の形態２で述べた効果に加えて、映像バッファ１３においてピクチャデータが溢れてしまうことを防止できるという効果が得られる。

〔実施の形態５〕
本発明の他の実施形態について、図２５および図２６に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、上記実施の形態１の図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。

図２５は、通信システム１′についての概略構成図である。通信システム１′は、同図に示すとおり、アンテナ２′、送信装置３′、テレビ４、および、外部映像機器５を備えている。また、送信装置３′は、チューナ部３ａおよび送信部３ｂ′を備えている。つまり、送信装置３′は、上述した送信装置３が備える符号化部３ｃを有しない構成である。

アンテナ２′は、テレビ放送局から送信される、アナログデータを受信する。送信装置３′のチューナ部３ａは、アンテナ２′を介して受信したアナログデータを送信部３ｂ′に送る。つまり、送信部３ｂ′にはアナログデータが入力される。また、送信部３ｂ′には、外部映像機器５からアナログデータが入力される。このように、本実施の形態では、送信部３ｂ′にＴＳパケットが入力される構成ではなく、送信部３ｂ′にアナログデータが入力される構成である。この点において、上記実施の形態１から４と本実施の形態とは異なっている。

図２６は、送信部３ｂ′についての機能ブロック図である。送信部３ｂ′は、同図に示すとおり、映像バッファ１３、音声バッファ１４、多重化部１６、ＭＡＣ／ＰＨＹ部１７、帯域幅推定部１８、レート制御部１９、バッファ制御部２０、Ａ／Ｄ変換部５１、Ａ／Ｄ変換部５２、局部基準時刻生成部５３、および、エンコーダ５４を備えている。なお、本実施の形態では、レート制御部１９からの出力は、エンコーダに送られる。

Ａ／Ｄ変換部５１は、アナログデータのうち映像に関するデータ（映像データ）をデジタルデータ化し、該デジタルデータをエンコーダ５４に送る。Ａ／Ｄ変換部５２は、アナログデータのうち音声に関するデータ（音声データ）をデジタル化し、該デジタルデータをエンコーダ５４に送る。

局部基準時刻生成部５３は、局部的に基準時刻ＳＴＣを生成し、該生成した時刻をエンコーダ５４および多重化部１６に送る。より詳しくは、局部基準時刻生成部５３は、発振器とタイマとを有しており、発振器が発する信号の周期に基づいて上記基準時刻ＳＴＣを生成する。なお、多重化部１６では、上記基準時刻ＳＴＣを定期的にサンプリングし、該サンプリングした値を、受信側に対する送信用ＰＣＲとしてＴＳパケットに挿入する。

エンコーダ５４は、各Ａ／Ｄ変換部（３１・３２）から送られてきた、映像データおよび音声データを同時にＭＰＥＧ２形式に符号化（ＭＰＥＧ２符号化）すると共に、レート制御部１９からの制御により、映像データに関する符号化データのビットレートを、図１におけるトランスコーダ１２と同様にダイナミックに変更する。さらに、エンコーダ５４は、映像データおよび音声データを、それぞれＰＥＳパケット化すると共に、局部基準時刻生成部５３からの出力である基準時刻ＳＴＣを参照し、ＰＴＳとＤＴＳをＰＥＳパケットのヘッダ情報に挿入する。そして、エンコーダ５４は、上記ＰＴＳとＤＴＳをヘッダ情報に挿入した、映像データに基づいたＰＥＳパケットを、映像バッファ１３に送る。さらに、エンコーダ５４は、上記ＰＴＳとＤＴＳをヘッダ情報に挿入した、音声データに基づいたＰＥＳパケットを、音声バッファ１４に送る。

ところで、上述した他の実施の形態１〜４の構成を示す図１においては、レート制御部１９からの制御により、トランスコーダ１２が、予めＭＰＥＧ２符号化されている映像データに関する符号データのビットレートを変更すると共に、トランスコーダが、映像バッファ１３に対して入力と同じＭＰＥＧ２符号化データの形式で出力した。一方、本実施の形態ではエンコーダ５４が、最初にＭＰＥＧ２符号化を行なう時点において、レート制御部１９からの制御により出力するデータのビットレートを変更する構成である。なお、エンコーダ５４から出力後の映像データおよび音声データに関する符号化データに対する処理は、叙述した他の実施の形態と同じである。ここで、映像バッファ１３内のピクチャデータの削除処理に関しては、上記実施の形態１〜４のそれぞれで説明した処理手法を用いることにより、上記実施の形態１〜４で示した各効果を得ることができる。

また、本実施の形態における送信部３ｂ′は、単体でＤＶＤ再生機などの外部映像機器にアナログ接続可能な送信アダプタとして使用することができる。

さらに、送信装置３′の構成を、送信部３ｂと送信部３ｂ′とを備える構成としてもよい。この場合には、アンテナ２′が符号化データとアナログデータとを受信可能な構成として（例えば、各データ毎にアンテナを設け）、符号化データを受信する場合には、送信部３ｂで処理を行い、アナログデータを受信する場合には、送信部３ｂ′で処理を行う構成とすればよい。また、この場合、送信部３ｂと送信部３ｂ′とで同一構成である部材（映像バッファ１３、音声バッファ１４、多重化部１６、ＭＡＣ／ＰＨＹ部１７、帯域幅推定部１８、レート制御部１９、および、バッファ制御部２０）に関しては、共用する構成としてもよい。このように送信装置３′を構成することにより、部材点数の増加を防ぐことができると共に、コストの低減を図ることが可能となる。

ところで、上記各実施の形態では、符号化されたデータとして、ＭＰＥＧ−２ＴＳ(MPEG-2 Transport Stream)パケット（以下、ＴＳパケット）を例に挙げて説明したが、これに限定されるものではない。ＭＰＥＧ１−ＴＳ、またはＭＰＥＧ４−ＴＳのように、ピクチャデータ間で予測を行う符号化方式であれば符号化形式は限定されない。

以上のように、上記送信装置（３・３′）により、放送チューナ（チューナ部）等からのリアルタイムの映像データを扱う場合であっても、家庭内等で送信機側から受信機（テレビ等）側に伝送する際に、受信機に特別な機能を備える必要がない。また、通信環境が悪化して通信が一時的に遮断されても、通信回復後に遮断中の映像の一部を受信機が受信して再生することができる。このため、通信遮断中の内容を推し量ることが可能となる。

また、送信装置（３・３′）は、ある局面（ある時間における状態）によれば、映像を含むデータを伝送する通信システムにおける送信装置であって、受信側からの正常受信確認応答がない場合に送信済みデータの再送を行う手段と、未送信のデータを蓄積する映像バッファと、自装置の特定の状態に起因して、前記映像バッファに蓄積された未送信のデータを所定のアルゴリズムに基づいて圧縮する圧縮機能と、前記圧縮されたデータを送信する手段とを備える構成であると言える。

この構成によれば、通信状況が悪くなると送信側からのデータが受信側に正しく届かないため、受信側は正常受信確認応答（ＡＣＫパケット）を送信側に返信しなくなり、再送が繰り返される。さらに、同時に、映像バッファからデータが出て行かないため、映像バッファが新しい映像データで溢れてくることになる。このような送信装置の状態のうち、特定の状態に起因して、映像バッファ内のデータを圧縮することにより、映像データの情報量は低下するものの、映像バッファには通信遮断中の一部の映像データが残る。そして、通信状況が回復したときには、映像バッファ内の一番古いデータから送信を行い、再送用に余分に確保されている帯域（時間）を使って映像バッファ内のデータを通常よりは速い速度で全て送信することにより、受信側では通常通り受信し再生を行えば、本来の再生時間に追い付くことができる。

また、上記特定の状態とは、前記映像バッファの蓄積量が所定の閾値を超えた状態であることが好ましい。

この構成によれば、所定の閾値を例えば映像バッファの上限近くに設定することにより、映像バッファを効率よく使用できると共に、データ圧縮することによりデータ蓄積量を減少させられる。これにより、映像バッファからデータが溢れることを避けることができる。

また、好ましくは、上記所定のアルゴリズムは、映像符号化および映像復号化の際に他のピクチャから参照される基本ピクチャと、基本ピクチャをもとに復元される従属ピクチャとを有するピクチャフレーム構造に基づいて、特定のピクチャデータを削除する。

この構成によれば、例えばＭＰＥＧ２符号化方式において、基本ピクチャ（Ｉピクチャ）と従属ピクチャ（ＰピクチャおよびＢピクチャ）とでは、符号化および復号化におけるデータの重要度が異なるため、重要度に適したピクチャデータの削除を行なうことができる。

また、ピクチャデータを削除する際に、映像バッファ内のピクチャデータのタイムスタンプを変更することが好ましい。

この構成によれば、通信遮断中のピクチャデータのタイムスタンプを、通信回復後の再生可能な時刻のタイムスタンプに変更することができる。それゆえ、通信が回復したときに受信側で再生を行なうことができる。

また、映像バッファ内の一番古いタイムスタンプを保持するピクチャデータから、削除するピクチャデータの一つ前のピクチャデータまでのタイムスタンプの値を変更することが好ましい。

この構成によれば、これらのピクチャデータのタイムスタンプだけを変更するだけで、通信が回復したときに受信側で表示させることができる。

また、タイムスタンプは、再生時刻を示すタイムスタンプであることが好ましい。

この構成によれば、送信装置の映像バッファに残ったピクチャデータの表示時刻を示すタイムスタンプの値を等間隔にすることができる。このため、通信遮断状態が回復したあとに、ピクチャデータを等間隔で連続して表示することができる。

また、タイムスタンプは、復号化時刻を示すタイムスタンプであることが好ましい。

上記の構成によれば、送信装置の映像バッファに残ったピクチャデータの復号化時刻を示すタイムスタンプの値を等間隔にすることができる。このため、通信遮断状態が回復したあとに、ピクチャデータを等間隔で連続して復号化することができる。

また、ピクチャデータを削除する際に、映像バッファ内の一番古いピクチャデータから、削除するピクチャデータに至るタイムスタンプの値を、古いピクチャデータの方向へ１ピクチャ分移動して書き換えることが好ましい。

この構成によれば、映像バッファ内で一番古いピクチャデータのタイムスタンプは本来古くなって再生できなくなるが、タイムスタンプを上記のように移動することにより削除されたピクチャデータが持っていた新しい時刻のタイムスタンプを引き継ぐことができる。これにより、通信が回復したときに受信側で表示させることができる。

また、ピクチャデータを削除する際に、映像バッファ内の一番古いピクチャデータから、削除するピクチャデータの一つ前のピクチャデータまでのタイムスタンプの値を、一定値を加算することにより書き換えることが好ましい。

この構成によれば、書き換える必要のあるピクチャデータのタイムスタンプに対して、定数の加算操作だけでタイムスタンプを新しい時刻に変更することができる。このため、結果的に通信が回復したときに受信側で再生を行なうことができる。

また、特定のピクチャデータを削除する方式は、他からの参照を必要としない独立した基本ピクチャに対して、参照度の最も深い従属ピクチャから、参照度の浅い従属ピクチャを経て基本ピクチャに至る順に、ピクチャデータを削除することが好ましい。

この構成によれば、例えばＭＰＥＧ２符号化方式において、Ｂピクチャ、Ｐピクチャ、Ｉピクチャの順に削除することにより、他への参照がないピクチャデータから削除することができ、参照先のないピクチャデータつまり復号化できないピクチャデータが映像バッファに残らないようにすることができる。

また、削除するピクチャデータは、削除する時点で前記映像バッファ内に存在する参照度の最も深い従属ピクチャのうち、再生時刻を表すタイプスタンプの値が最も古いピクチャデータであることが好ましい。

この構成によれば、前述のタイムスタンプを移動する回数を最も減らすことができる。すなわち、タイムスタンプを移動する対象となる、映像バッファ内の一番古いピクチャデータから、削除するピクチャデータまでの数が最も少なくなる。

また、特定のピクチャデータを削除する方式は、他からの参照を必要としない独立した基本ピクチャから始まる連続したピクチャデータを残し、それに続く連続したピクチャデータを削除することが好ましい。

この構成によれば、断片的ではあるものの、映像の動きを連続してまとまった単位で通信回復後に受信側のテレビにおいて表示させることができる。

また、特定のピクチャデータを削除する方式は、他からの参照を必要としない独立した基本ピクチャに対して、参照度の最も深い従属ピクチャデータの再生時刻を示すタイムスタンプの値の順に計数したもののうち、一定数毎のピクチャデータを削除することが好ましい。

この構成によれば、例えばＭＰＥＧ２符号化方式において、Ｂピクチャのみを削除対象とし、映像バッファ内の古いＢピクチャから計数して一定数毎に削除することになる。この結果、通信遮断中のピクチャデータの多くの部分が通信回復後に再生され、最終的には本来の符号化データに追い付く。それゆえ、遮断中の映像が欠落した印象をユーザに感じさせないようにすることができる。

また、所定の閾値として第１および第２の閾値を設定し、前記映像バッファの蓄積量が前記第１の閾値から前記第２の閾値の間に存在する間は、他から参照されない基本ピクチャに対して、参照度の最も深い従属ピクチャデータが前記映像バッファに入力される毎に計数したもののうち、一定数毎のピクチャデータを削除し、前記映像バッファの蓄積量が前記第２の閾値を越えた場合には、他から参照されない基本ピクチャに対して、参照度の最も深い従属ピクチャから参照度の浅い従属ピクチャを経て基本ピクチャに至る順に、ピクチャデータを削除するか、または、他からの参照を必要としない独立した基本ピクチャから始まる連続したピクチャデータを残し、それに続く連続したピクチャデータを削除することが好ましい。

この構成によれば、映像バッファ容量の許す限りは、遮断中の映像が欠落した印象をユーザに感じさせないように受信側で再生することができ、映像バッファが溢れかけたら優先度の低いデータまたは連続したデータを削除することで、映像バッファを効率的に使用することができる。

また、映像バッファ内のデータはリスト構造により管理されることが好ましい。

この構成によれば、映像バッファ内の１枚のピクチャデータを削除するときに、削除したデータ以降のデータを移動して空きエリアを詰める必要がなく、削除に伴う処理を簡略化かつ高速化することができる。

また、映像バッファに入力するデータは、通信帯域幅に適応してビットレート変換を行う、エンコーダまたはトランスコーダからの出力であることが好ましい。

この構成によれば、通信帯域幅が減少した場合、トランスコーダによる映像データ圧縮の効果と、映像バッファ内でのピクチャデータ削除の効果とにより、通信ビットレートを削減することができる。また、トランスコーダによる通信帯域への適応には限度があり、完全に通信が遮断されたときであっても、その間の映像データの一部を受信側で再生することができる。

また、以下に、背景技術で挙げた特許文献１の構成と、上記通信システム（１・１′）との対比について記載する。

特許文献１では、ＭＰＥＧ２等の効率のよい映像符号化方式で符号化されたデータに対して、効率のよいピクチャデータの間引き方等の示唆もない。さらに、特許文献１では、受信側において電波が遮断されたことを検知する処理や、本来の時刻に追い付いたかどうかを判断する処理が必要となる。加えて、上記処理した内容を送信側に知らせることが必要となる。

特に、デジタル放送では、ＭＰＥＧ−２ ＴＳパケット形式のデータを用いて放送されることが多い。なお、ＴＳパケットは、上述したとおり、放送を含むリアルタイム伝送に適した一般的なフォーマットであり、映像の符号化時においてピクチャデータごとに本来表示されるべき時刻のタイムスタンプ（ＰＴＳ）を含めてストリームを構成している。

ここで、特許文献１の構成において、ＴＳパケットを用いた通信方式を適用しようとした場合、特許文献１の段落番号〔００４６〕に示唆がある「放送時刻を示すデータ」をＰＴＳとして使用し、中継局においてＴＳパケットを構成することが考えられる。

このＰＴＳは、特許文献１に「放送局Ｂにより放送が行なわれた時刻」と記載があるため、中継局において、復号化の際にＰＴＳ用の基準時間を生成するような最適な基準時刻情報（ＰＣＲ：Program Clock Reference）を生成して、ＴＳパケットに該ＰＣＲを定期的に挿入すれば、本来表示されるべき時刻に正しく表示が行われる。

しかしながら、特許文献１に記載されているように早送りや所定期間の間引きを行うことを目的として特定のピクチャデータを削除したとしても、削除されずに残ったピクチャデータのＰＴＳは本来の表示時刻を示す。それゆえ、その時刻に表示が行われることになり、ＴＳパケットに対応した復号化システムにおいては早送りのようには表示されない。

すなわち、削除したピクチャデータおよび該ピクチャデータを参照するＢピクチャなどが表示されるべき時刻にて、ピクチャデータが表示されないか、あるいは、前回に正しく表示されたピクチャデータを繰り返し表示（例えば削除前のピクチャデータを再表示する）することとなる。

このため、表示速度は通常速度と同じ結果となり、本来の放送に追い付くことはできない。このように、特許文献１ではＴＳパケットを扱うことはできない。

一方、本通信システム（１・１′）では、各実施の形態で示したように、ＴＳパケットを取り扱うことができると共に、本来の放送に追い付くことができる。

ところで、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

なお、上記実施形態の送信装置（３ｂ・３ｂ′）の各部（１７から２３）やこれらに関する各処理ステップは、ＣＰＵなどの演算手段が、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶手段に記憶されたプログラムを実行し、キーボードなどの入力手段、ディスプレイなどの出力手段、あるいは、インターフェース回路などの通信手段を制御することにより実現することができる。したがって、これらの手段を有するコンピュータが、上記プログラムを記録した記録媒体を読み取り、当該プログラムを実行するだけで、本実施形態の送信装置（３ｂ・３ｂ′）の各部（１７から２３）の各種機能および各種処理を実現することができる。また、上記プログラムをリムーバブルな記録媒体に記録することにより、任意のコンピュータ上で上記の各種機能および各種処理を実現することができる。

この記録媒体としては、マイクロコンピュータで処理を行うために図示しないメモリ、例えばＲＯＭのようなものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読取り装置が設けられ、そこに記録媒体を挿入することにより読取り可能なプログラムメディアであっても良い。

また、何れの場合でも、格納されているプログラムは、マイクロプロセッサがアクセスして実行される構成であることが好ましい。さらに、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータのプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であることが好ましい。なお、このダウンロード用のプログラムは予め本体装置に格納されているものとする。

また、上記プログラムメディアとしては、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ／ＭＯ／ＭＤ／ＤＶＤ等のディスクのディスク系、ＩＣカード（メモリカードを含む）等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する記録媒体等がある。

また、インターネットを含む通信ネットワークを接続可能なシステム構成であれば、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する記録媒体であることが好ましい。

さらに、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであることが好ましい。

リアルタイムデータを受信側に送信する送信装置や、該送信装置を備える通信システムに適用可能である。

本実施の形態に係る通信装置における送信部についての機能ブロック図である。 上記通信装置を備える通信システムについての概略構成図である。 上記通信部が備えるＰＬＬ回路の概略構成を示した図である。 ＭＡＣ／ＰＨＹのＭＡＣにおける処理フローを示したフローチャートである。 上記送信部における映像バッファからの出力処理フローを示したフローチャートである。 ジッタ除去用の回路を示した図である。 （ａ）は、リストによるキューの構造を示した図である。（ｂ）は、映像バッファの特定のピクチャデータを削除した場合における、キュー構造を示す図である。（ｃ）は、映像バッファの先頭から１枚分のピクチャデータを出力した後の状態を示した図である。（ｄ）は、映像バッファの末尾に１枚分のピクチャデータが入力された後の状態を示した図である。 ＭＰＥＧ２符号化方式における、符号化および復号化の前後におけるピクチャデータの順序を示した図である。 バッファ制御部による映像バッファの制御フローを示したフローチャートである。 復号化時に他のピクチャへの参照度合の高いピクチャデータであって、かつ、映像バッファ１３内におけるＰＴＳの値が最も小さいピクチャデータから先に削除する処理フローを示したフローチャートである。 通信遮断中に映像バッファ内で新しいピクチャデータが入力される毎に蓄積量が閾値Ａを超え、ピクチャデータが削除されてゆく時間変化を順に示した図である。 ＤＴＳの変更処理を説明するための図である。 ＰＴＳの変更処理フローを示したフローチャートである。 映像バッファの入出力における、ピクチャデータの時間遷移を示した図である。 図１４の映像停止期間に映像バッファにおいて削除されずに残されたピクチャデータが、通信回復後にテレビで表示される場合における、表示時刻とピクチャデータとの関係を示す図である。 図１５における映像停止期間がさらに長くなった場合における、表示時刻とピクチャデータとの関係を示した図である。 本発明の他の実施の形態に係るピクチャデータの削除方式において、映像停止期間に映像バッファにおいて削除されずに残されたピクチャデータが、通信回復後にテレビで表示される場合における、表示時刻とピクチャデータとの関係を示す図である。 表示出力が図１７となる場合の映像バッファの入出力における、ピクチャデータの時間遷移を示した図である。 映像停止期間が図１７の映像停止期間よりも長くなった場合であって、かつ、映像停止期間に映像バッファにおいて削除されずに残されたピクチャデータが、通信回復後にテレビで表示される場合における、表示時刻とピクチャデータとの関係を示す図である。 さらに、他の実施の形態における、映像バッファに対して行われる制御フローを示すフローチャートである。 映像バッファ内のピクチャデータの時間的な遷移状態を示す図である 図２１の映像停止期間に映像バッファにおいて削除されずに残されたピクチャデータが、通信回復後にテレビで表示される場合における、表示時刻とピクチャデータとの関係を示す図である。 映像停止期間が図２２の映像停止期間よりも長くなった場合であって、かつ、映像停止期間に映像バッファにおいて削除されずに残されたピクチャデータが、通信回復後にテレビで表示される場合における、表示時刻とピクチャデータとの関係を示す図である。 さらに、他の実施の形態における、映像バッファに対して行われる制御のフローを示すフローチャートである。 他の通信システムについての概略構成図である。 上記通信システムにおける送信部についての機能ブロック図である。 従来の通信システムの概略構成図である 上記通信システムを構成する送信装置における送信部の機能ブロック図である。 映像データが映像バッファ９３に入力されて蓄積され、その後、映像バッファから出力されて受信側で復号化および表示されるまでの時間変化を、ピクチャデータ毎に示した図である。 ＭＰＥＧ２符号化方式のピクチャフレーム構造を示した図である。

符号の説明

１・１′ 通信システム
３ 送信装置
３ｂ 送信部
４ テレビ（受信装置）
５ 外部映像機器
１１ 分離部（取得手段）
１２ トランスコーダ
１３ 映像バッファ（蓄積装置）
１４ 音声バッファ
１５ 基準時刻生成部
１６ 多重化部
１７ ＭＡＣ／ＰＨＹ部（送信手段）
１８ 帯域幅推定部
１９ レート制御部
２０ バッファ制御部
２１ データ圧縮部（データ圧縮手段）
２２ タイムスタンプ変更部（変更手段）
２３ データ蓄積量判断部（蓄積量判断手段）
３１ ＰＬＬ回路
４１ ジッタ除去回路
５１・５２ Ａ／Ｄ変換部
５４ エンコーダ

Claims (9)

1. ピクチャデータを含むリアルタイム性を有するデータを受信装置に逐次送信すると共に、前記受信装置が前記データを受信できなかった場合に、前記受信装置が受信できなかった送信済みのデータを前記受信装置に再送信する送信手段とを備えた送信装置において、
   前記受信装置に対して未送信のデータであって、圧縮前の未送信のデータを蓄積する蓄積装置と、
   前記蓄積装置における未送信のデータの蓄積量を判断する蓄積量判断手段と、
   前記蓄積装置に蓄積されている未送信データの蓄積量が所定の閾値を超えた場合、該蓄積装置に蓄積されている圧縮前の未送信のデータを圧縮する圧縮手段とを備え、
   前記送信手段は、再送信したデータが前記受信装置において受信可能となった場合に、前記蓄積装置に蓄積された未送信のデータを前記受信装置に送信するものであり、
   前記ピクチャデータは、受信装置での復号化の際に他のピクチャデータの参照を要しない基本ピクチャデータと、前記基本ピクチャデータを直接的または間接的に参照することにより復号化を行う参照ピクチャデータとからなり、符号化された状態で前記受信装置に送信され、かつ、前記受信装置における該ピクチャデータの表示時刻を指示する表示時刻情報と関連付けられており、
   前記圧縮手段は、前記参照ピクチャデータから先に削除するものであり、
   前記圧縮手段によるピクチャデータの削除に伴い、削除される当該ピクチャデータに関する表示時刻よりも表示時刻が古いピクチャデータについての表示時刻を変更する変更手段であって、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの前記表示時刻を、前記表示時刻が一つ新しいピクチャデータの表示時刻に変更する変更手段をさらに備えていることを特徴とする送信装置。
2. ピクチャデータを含むリアルタイム性を有するデータを受信装置に逐次送信すると共に、前記受信装置が前記データを受信できなかった場合に、前記受信装置が受信できなかった送信済みのデータを前記受信装置に再送信する送信手段とを備えた送信装置において、
   前記受信装置に対して未送信のデータであって、圧縮前の未送信のデータを蓄積する蓄積装置と、
   前記蓄積装置における未送信のデータの蓄積量を判断する蓄積量判断手段と、
   前記蓄積装置に蓄積されている未送信データの蓄積量が所定の閾値を超えた場合、該蓄積装置に蓄積されている圧縮前の未送信のデータを圧縮する圧縮手段とを備え、
   前記送信手段は、再送信したデータが前記受信装置において受信可能となった場合に、前記蓄積装置に蓄積された未送信のデータを前記受信装置に送信するものであり、
   前記ピクチャデータは、受信装置での復号化の際に他のピクチャデータの参照を要しない基本ピクチャデータと、前記基本ピクチャデータを直接的または間接的に参照することにより復号化を行う参照ピクチャデータとからなり、符号化された状態で前記受信装置に送信され、かつ、前記受信装置における該ピクチャデータの表示時刻を指示する表示時刻情報と関連付けられており、
   前記圧縮手段は、前記参照ピクチャデータから先に削除するものであり、
   前記圧縮手段によるピクチャデータの削除に伴い、削除される当該ピクチャデータに関する表示時刻よりも表示時刻が古いピクチャデータについての表示時刻を変更する変更手段であって、前記表示時刻が連続する２つのピクチャデータにおける前記表示時刻の差を、表示間隔とすると、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの表示時刻に対して前記表示間隔を加算する変更手段をさらに備えていることを特徴とする送信装置。
3. ピクチャデータを含むリアルタイム性を有するデータを受信装置に逐次送信すると共に、前記受信装置が前記データを受信できなかった場合に、前記受信装置が受信できなかった送信済みのデータを前記受信装置に再送信する送信手段とを備えた送信装置において、
   前記受信装置に対して未送信のデータであって、圧縮前の未送信のデータを蓄積する蓄積装置と、
   前記蓄積装置における未送信のデータの蓄積量を判断する蓄積量判断手段と、
   前記蓄積装置に蓄積されている未送信データの蓄積量が所定の閾値を超えた場合、該蓄積装置に蓄積されている圧縮前の未送信のデータを圧縮する圧縮手段とを備え、
   前記送信手段は、再送信したデータが前記受信装置において受信可能となった場合に、前記蓄積装置に蓄積された未送信のデータを前記受信装置に送信し、
   前記ピクチャデータは、受信装置での復号化の際に他のピクチャデータの参照を要しない基本ピクチャデータと、前記基本ピクチャデータを直接的または間接的に参照することにより復号化を行う参照ピクチャデータとからなり、符号化された状態で前記受信装置に送信され、かつ、前記受信装置における該ピクチャデータの表示時刻を指示する表示時刻情報と関連付けられていると共に、前記受信装置における該ピクチャデータの復号化時刻を指示する復号化時刻情報と関連付けられており、
   前記圧縮手段は、前記参照ピクチャデータから先に削除するものであり、
   前記圧縮手段によるピクチャデータの削除に伴い、削除される当該ピクチャデータに関する表示時刻よりも表示時刻が古いピクチャデータについての表示時刻を変更する変更手段であって、前記削除するピクチャデータに関する復号化時刻よりも復号化時刻が古いピクチャデータについての復号化時刻を変更する変更手段をさらに備えていることを特徴とする送信装置。
4. 前記変更手段は、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの復号化時刻を、各ピクチャデータの直後に前記蓄積装置に蓄積されているピクチャデータの復号化時刻に変更することを特徴とする請求項３に記載の送信装置。
5. 前記蓄積装置に連続して入力される２つのピクチャデータにおける前記復号化時刻の差を、復号化間隔とすると、
   前記変更手段は、１つのピクチャデータの削除が行われる毎に、各ピクチャデータの復号化時刻に対して前記復号化間隔を加算することを特徴とする請求項３に記載の送信装置。
6. 前記蓄積装置は、前記未送信のデータをリスト構造により管理していることを特徴とする請求項１から５の何れか１項に記載の送信装置。
7. 通信帯域幅に応じて、前記リアルタイム性を有するデータについてのビットレートの変換を行うビットレート変換手段を備え、
   前記送信手段は、前記ビットレートを変換したデータを、前記蓄積装置を介して受信装置に送信することを特徴とする請求項１から６の何れか１項に記載の送信装置。
8. 請求項１から７の何れか１項に記載の送信装置の各手段としてコンピュータを機能させるためのプログラム。
9. 請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images