WO2004112420A1

WO2004112420A1 - メディア信号の受信装置、送信装置及び送受信システム

Info

Publication number: WO2004112420A1
Application number: PCT/JP2004/008034
Authority: WO
Inventors: Kazunori Ozawa
Original assignee: Nec Corporation
Priority date: 2003-06-11
Filing date: 2004-06-09
Publication date: 2004-12-23
Also published as: US20070115815A1; JPWO2004112420A1; CN1806456A; CA2528331A1; JP4909590B2; KR20060016809A; EP1633161A4; EP1633161A1

Abstract

　動画像データ、音声データなどのメディア信号を伝送する送受信システムは、メディア信号を伝送路に送信する送信装置と、伝送路を介してメディア信号を受信する受信装置と、を有する。受信装置は、送信装置からのメディア信号を一時的に格納するバッファと、バッファの蓄積量を監視する監視部と、蓄積量が、予め定められたしきい値を超えるか、またはしきい値を下回った場合に、制御信号を伝送路に出力する制御部と、を備える。送信装置は、少なくとも２種類の異なるビットレートのメディア信号を格納する蓄積部と、受信装置から伝送路に出力された制御信号を入力し、制御信号に基づき、ビットレートを切り替えて蓄積部からメディア信号を出力する出力部と、を備える。

Description

明細書

メディア信号の受信装置、送信装置及び送受信システム

技術分野

[0001] 本発明は、データの送信'受信技術に関し、特に、無線伝送路を介した、符号化された画像 ·音声データの配信に好適に適用される受信装置、送信装置及び送受信システムに関する。

背景技術

[0002] 近年、動画像データを効率良く伝送する方法として、高能率圧縮による符号化データを伝送する方法が多く用いられている。動画像圧縮符号化情報を、パケット交換方式を利用した IP (Internet Protocol)ネットワークへ配信する方法は多数ある。無線伝送路を用いた動画像の配信について、種々の試みがなされている。以下の説明において、動画像や音声のデータのことを、メディア信号とも呼んでいる。

[0003] 動画像データや音声データの配信を、無線伝送路を用いて行う場合、無線伝送路での無線誤りや損失が発生した際には、失われたデータの再送要求を行う方法が一般的である。また、無線伝送路での通信では、個々の受信者の無線受信環境に基づいた送受信電力制御等を行って、データの通信品質を確保し、受信データの安定ィ匕を図っている。

[0004] 無線伝送路上での通信において、基地局と移動局のそれぞれのバッファでのデータ蓄積量を計測し、データ蓄積量の各々が第 1、第 2のしきい値の間になるように無線回線の数量を増減させることで、データを効率よく送受信できるようにした無線通信システムが知られている。そのような無線システムは、日本国特許公開：特開 2001 —359153号公報 (JP， P2001-359153A)に開示されている。

[0005] 受信バッファの管理として、受信バッファに蓄積されるデータ量を監視し、蓄積データ量が上側のしきい値より大きくなつたとき、受信クロックの周波数を高くし、蓄積データ量が下側のしきレヽ値より小さくなつたとき、受信クロックの周波数を低く設定するようにした AV送受信システムも知られている。そのような AV送受信システムは、日本国特許公開：特開 2002-165148号公報 (JP, P2002-165148A)に開示されている。 [0006] パケット出力方式のパケット交換機であって、パケット蓄積量が予め定められたしきい値を越えたバッファメモリが発生すると、しきい値超過のバッファメモリの発生を知らせる情報を、蓄積量がしきい値以下になるまで送出し続けるものが、日本国特許公開：特開平 7—79252号公報 (JP， 7-79252, A)に開示されている。

[0007] ところで、無線伝送路を介して移動局である受信装置に動画像の配信を行う場合、その受信装置 (移動局）が、ある無線エリアあるいは無線セルを越えて、隣接の無線エリアに移動する際には、受信装置が接続する基地局の切り替えを行う必要が生じ、ハンドオーバが発生する。ハンドオーバの期間中は、受信装置において、データの受信が停止してしまうため、大量のデータの欠落が生じてしまう。受信が停止すると、受信装置のバッファには新たには受信データが蓄積されなレ、ものの、バッファに既に格納されているデータは復号のためなどに次々と取り出される。その結果、バッファ中に滞留しているデータ量がゼロになって、バッファが「枯渴」してしまレ、、その結果、動画像の場合では、画面が停止するあるいは画面がフリーズする等の問題が発生し、一方、音声信号の場合では、音が途切れる、あるいは音声が無音になってしまう等の問題が生じる。

[0008] このような動画像における画面の停止や音声における音の途切れは、ハンドオーバ時にのみ生じる問題でない。ベストエフオートネットワークにおいて、使用できる帯域幅が時間的に変動する場合にも、同様の問題が発生している。

[0009] さらに、受信側で欠落したデータを、送信側から受信側に、ただ単に再送した場合、本来の受信データと再送データとを受信装置で同時に受信するためには、ネットヮークリソースが不足してしまう。

発明の開示

[0010] 本発明の目的は、動画像や音声などのデータの配信に際して受信装置にハンドォーバが発生しても、受信品質の劣化を最小限に抑えることができる方法を提供することにある。

[0011] 本発明の別の目的は、動画像や音声などのデータの配信に際して受信装置にハンドオーバが発生しても、受信品質の劣化を最小限に抑えることができる装置を提供することにある。 [0012] 本発明のさらに別の目的は、ハンドオーバなどに起因する受信品質劣化を最小限に抑えることができるとともに、送信側及び受信側の双方における処理量を少なく抑えることができる方法及び装置を提供することにある。

[0013] 前記目的を達成する本発明によれば、受信装置は、受信側でメディア信号を格納するバッファの蓄積量を監視する監視手段と、蓄積量が予め定められたしきい値を超える力たは下回った場合に制御信号を伝送路に出力する制御手段とを有する。本発明の受信装置では、バッファからデータを取り出してデコードするデコーダを設け、バッファのデータが枯渴する前にデータが受信されるように制御することにより、デコードされるメディア信号の品質が維持される。

[0014] また、本発明の受信装置は、受信状況を監視する監視手段と、受信状況が予め定められた状況となった場合に制御信号を伝送路に出力する制御手段とを有する構成としてもよレ、。予め定められた状況としては、無線ハンドオーバが例示される。

[0015] 本発明の送信装置は、少なくとも 2種類の異なるビットレートのメディア信号を格納する蓄積部と、伝送路から制御信号を入力して、制御信号に基づき、メディア信号のビットレートを切り替えて蓄積部からメディア信号を出力する切替え部と、を有する。

[0016] あるいは送信装置は、少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも 2種類以上のファイルを格納する蓄積部と、伝送路力制御信号を入力し、制御信号に基づき、出力すべきファイルを切り替えて蓄積部から出力する出力部とを、備えていてもよい。

[0017] あるいは送信装置は、メディア信号が格納された蓄積部と、伝送路から制御信号を入力し、制御信号に基づき、蓄積部力メディア信号をビットレートを変換して出力する変換部と、を有する構成としてもよい。

[0018] あるいは送信装置は、蓄積部に格納されたメディア信号を、伝送路力も入力した制御信号により、メディア信号が符号化された時間間隔と異なる時間間隔で読み出して出力する構成としてもよい。

[0019] 本発明の送受信システムは、上述した受信装置と上述した送信装置とを有し、伝送路を介して送信装置から受信装置にメディア信号が送られ、受信装置から送信装置に制御信号が送られるようにしたものである。 [0020] 例えば本発明の送受信システムでは、受信装置は、メディア信号を格納するバッファの蓄積量を監視する監視手段と、蓄積量が予め定められたしきい値を超えるか、またはしきい値を下回った場合に制御信号を伝送路に出力する制御手段と、を有し、送信装置は、少なくとも 2種類の異なるビットレートのメディア信号を格納する蓄積部と、伝送路から制御信号を入力して、制御信号に基づき、ビットレートを切り替えて蓄積部からメディア信号を出力する手段と、を有する。この構成において、蓄積手段には、少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも 2種類以上のファイルを蓄積するようにし、出力手段は、伝送路から制御信号を入力し、制御信号に基づき、蓄積手段からファイルを切り替えて出力するようにしてもよい。あるいは送信装置は、メディア信号が格納された蓄積手段と、伝送路から制御信号を入力し、制御信号に基づいて、メディア信号を蓄積手段からビットレートを変換して出力する変換手段と、を備えてもよい。あるいは送信装置は、メディア信号が蓄積された蓄積手段と、伝送路から制御信号を入力し、制御信号に基づいて、メディア信号が符号化された時間間隔と異なる時間間隔で蓄積手段からメディア信号を読み出して出力する出力手段と、を備えてもよレ、。

[0021] 本発明の別の送受信システムでは、受信装置は、受信状況を監視する監視手段と、受信状況が予め定められた状況となった場合に制御信号を伝送路に出力する制御手段と、を備え、送信装置は、少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも 2種類のファイルを蓄積する蓄積手段と、伝送路力制御信号を入力し、制御信号に基づき、蓄積手段からファイルを切り替えて出力する手段と、を備える。あるいは送信装置は、メディア信号が格納された蓄積手段と、伝送路から制御信号を入力し、制御信号に基づき、蓄積手段力メディア信号をビットレートを変換して出力する変換手段とを有する。あるいは送信装置は、メディア信号が蓄積された蓄積手段と、伝送路から制御信号を入力し、制御信号に基づいて、メディア信号が符号化された時間間隔と異なる時間間隔で蓄積手段からメディア信号を読み出して出力する出力手段と、を備えてもよレ、。

[0022] 本発明によれば、動画像や音声の符号化されたデータを無線伝送路で配信するとき、無線ネットワーク帯域の変動や、画像及び/または音声データの受信装置が基地局間をハンドオーバすることによる受信品質の劣化、例えば画質や音質の乱れを最小限に抑えることができる。また、そのような効果を得るための送信側、受信側での追加の処理量を少なく抑えることができる。

図面の簡単な説明

[0023] [図 1]図 1は、本発明に基づく画像データ配信システムの構成を示すブロック図である

[図 2]図 2は、データ受信装置の第 1の例の構成を示すブロック図である。

[図 3]図 3は、データ受信装置の第 2の例の構成を示すブロック図である。

[図 4]図 4は、データ受信装置の第 3の例の構成を示すブロック図である。

[図 5]図 5は、画像データ送信装置の第 1の例の構成を示すブロック図である。

[図 6]図 6は、画像データ送信装置の第 2の例の構成を示すブロック図である。

[図 7]図 7は、画像データ送信装置の第 3の例の構成を示すブロック図である。

[図 8]図 8は、画像データ配信システムの第 1の例の構成を示すブロック図である。

[図 9]図 9は、画像データ配信システムの第 2の例の構成を示すブロック図である。

[図 10]図 10は、画像データ配信システムの第 3の例の構成を示すブロック図である。

[図 11]図 11は、画像データ配信システムの第 4の例の構成を示すブロック図である。

[図 12]図 12は、画像データ配信システムの第 5の例の構成を示すブロック図である。

[図 13]図 13は、画像データ配信システムの第 6の例の構成を示すブロック図である。

[図 14]図 14は、画像データ配信システムの第 7の例の構成を示すブロック図である。発明を実施するための最良の形態

[0024] 以下、本発明の好ましい実施の形態について、画像符号化データの送信及び受信に関連して説明するが、音声符号ィヒデータやオーディオ符号化データなどのリアルタイムメディア信号に対しても、以下で述べるものと同様の構成を用いて本発明を適用できることは、いうまでもない、

図 1に示す本発明の好ましい実施形態の画像データ配信システムは、伝送路 106 を介して、データ送信装置からデータ受信装置に、メディア信号として、画像データ信号及び/又は音声データ信号を配信するものである。ここでは、メディア信号は画像データ信号を含んでいるものとし、データ送信装置は画像データ送信装置 101であり、データ受信装置は画像データ受信装置 107であるものとする。

[0025] 無線ネットワークとして構成された伝送路 106では、無線物理層上に IP (Internet Protocol)網が構築されており、データは、プロトコルとして UDP (User Datagram ProtocoDZlPを用いて伝送されるものとする。すなわち伝送路 106は、無線 IP網である。画像データ送信装置 101は、無線 IP網に接続されるサーバであって、送信プロトコルとして UDPZIPを用レ、、画像符号化データを送信する。画像データ受信装置 107は、無線 IP網に接続されるクライアント端末であり、 UDPZIPを用いて画像符号化データを受信する。さらにこの配信システムは、画像データ受信装置 107から伝送路 106を介して画像データ送信装置 101に対して制御信号が送信されるように構成されており、画像データ送信装置 101は、後述するように、制御信号に応じて、ビットレートを切替えて画像符号化データを送信する。

[0026] まず、画像データ受信装置 107について説明する。

[0027] 図 2は、画像データ受信装置の第 1の例を示している。図 2に示した画像データ受信装置 107Aは、受信部 109、制御部 108、符号ィヒデータバッファ部 111、デコーダ 112を備えている。

[0028] 受信部 109は、伝送路 106から画像符号化データを受信し、符号化データバッファ部 111に蓄積する。符号ィ匕データバッファ部 111は、受信した画像符号化データを一時的に格納するものであって、伝送路 106でのパケットゆらぎや、パケットの遅着を吸収した上で、受信パケットをデコーダ 112へ出力する。

[0029] 制御部 108は、符号化データバッファ部 111のバッファの蓄積量を予め定められた時間間隔毎に計測する。ここでバッファの蓄積量とは、バッファ中に現在滞留しているデータの量を表すものである。制御部 108は、符号化データバッファ部 111のバッファが枯渴しそうになると、伝送路 106に対して制御信号を送出する。すなわち、バッファの蓄積量が予め定められたしきい値を下回る場合力、、このしきい値を越える場合に、制御部 108は、制御信号を伝送路 106を介してコンテンツデータを配信する側に送出する。配信する側は、一般的には、画像データ送信装置である。バッファの蓄積量がしきい値を下回る場合とは、ノノファ内の滞留データ量が少なくなつて、バッファが枯渴状態に近くなつている場合に対応する。ここで制御信号のフォーマットとしては、例えば、 IETF (Internet Engineering Task Force)において RFC (Request for Comments)として標準化されている RTCP (Real-time Transport Control Protocol)や、現在、 IETFで規格策定中の RTCPの拡張版や、 IETFにおいて RFCとして標準化されている RTSP (Real-time Streaming Protocol)などを用いることができる。制御信号に何を用いることができるかという点に関しては、以下の各例についても同様である。

[0030] 図 3は、画像データ受信装置の第 2の例を示している。図 3において、図 2と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。

[0031] 図 3に示す画像データ受信装置 107Bは、図 2に示した画像データ受信装置 107A に、無線状態判別部 110を追加したものである。無線状態判別部 110は、受信部 10 9とともに伝送路 106に接続され、その出力が制御部 108に接続されている。無線状態判別部 110は、画像データ受信装置 107Bにおける伝送路 106の無線受信状態を監視し、受信状況が予め定められた状況となった場合に、その旨を制御部 108に通知する。無線状態判別部 110からの通知を受けた制御部 108は、伝送路 106に対し、制御信号を出力する。

[0032] 図 4は、画像データ受信装置の第 3の例を示している。図 4において、図 2と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。

[0033] 図 4に示す画像データ受信装置 107Cは、図 2に示した画像データ受信装置 107 Aに、ハンドオーバ判別部 210を追加したものである。ハンドオーバ判別部 210は、伝送路 106の無線状態を監視し、無線状態に基づき、受信装置 107Cが所属すべき無線受信エリア（あるいはセル）が現在の無線受信エリアから隣接のエリアへの変更になったとき、すなわちハンドオーバとなった場合に、その旨を制御部 108に伝える。制御部 108は、ハンドオーバの通知を受けると、伝送路 106に対して、制御信号を出力する。この画像データ受信装置 107Cは、図 3に示す画像データ受信装置 107B において、無線状態判別部 110が判別する無線受信状態がハンドオーバである場合に対応する。 [0034] 次に、画像データ送信装置 101について説明する。

[0035] 図 5は、画像データ送信装置の第 1の例を示している。図 5に示した画像データ送信装置 101Aは、画像データ蓄積部 103と、画像符号化データ送信部 104と、制御部 102とを備えている。

[0036] 画像データ蓄積部 103は、少なくとも 2種類の異なるビットレート（例えば B1及び B2 )の画像データ信号を蓄積する。異なるビットレートの画像データ信号のそれぞれに対応して、画像データ蓄積部 103には、蓄積領域 121、 122を備えている。ここで、画像データは、（1)予め蓄積された画像データ、（2)リアルタイムで符号化して生成された画像データ、のいずれかであるものとする。

[0037] 制御部 102は、画像データ受信装置から伝送路 106に送信された制御信号を伝送路 106から入力し、その制御信号に基づき、画像データのビットレートを切り替えるための信号すなわちビットレート切り替え信号を出力する。

[0038] 画像符号化データ送信部 104は、制御部 102から出力されたビットレート切り替え信号に従い、画像データのビットレートを切り替えた上で、符号化し、伝送路 106に出力する。

[0039] 図 5に示した画像データ送信装置 101Aにおいては、異なるビットレート（B1及び B 2)の画像符号ィ匕データをそれぞれファイルとして画像データ蓄積部 103に格納しておき、画像符号ィ匕データ送信部 104は、伝送路 106からの制御信号に従い、フアイルを切り替えて伝送路 106に出力する構成としてもよい。この場合は、画像データ蓄積部 103において、ビットレートごとの蓄積領域を明示的に区別して設ける必要はなレ、。

[0040] 図 6は、画像データ送信装置の第 2の例を示している。図 6において、図 5と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。

[0041] 図 6に示す画像データ送信装置 101Bは、図 5に示した画像データ送信装置 101A に、画像トランスコーダ 205を備えて構成されたものである。画像トランスコーダ 205 は、画像符号ィ匕データを入力し、制御部 102から制御信号を入力し、制御信号に従レ、、入力した画像符号化データのビットレートをリアルタイムまたは非リアルタイムに変換して、画像符号化データ送信部 104に出力する。画像符号化データ送信部 104 は、ビットレート変換後の画像データを伝送路 106に出力する。

[0042] 図 7は、画像データ送信装置の第 3の例を示している。図 7において、図 5と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。

[0043] 図 7に示す画像データ送信装置 101Cは、図 5に示した画像データ送信装置 101 Aと同様のものであるが、画像符号ィ匕データ送信部の機能において異なっている。図 7に示す画像データ送信装置 101Cにおいて画像符号化データ送信部 204は、制御部 102から制御信号を入力し、制御信号に応じ、画像符号化データを、符号化の際に用いた時間間隔（またはクロック) Tとは異なる時間間隔（またはクロック) T'で読み出して、伝送路 106に出力する。

[0044] 以上、本実施形態の画像データ配信システムで用いられる画像データ受信装置と画像データ送信装置を説明した。次に、これらの画像データ受信装置と画像データ送信装置を組み合わせて構成される画像データ配信システムの具体的な例を説明する。

[0045] 図 8は、画像データ配信システムの第 1の例を示している。この画像データ配信システムは、図 2に示した画像データ受信装置 107Aと、図 5に示した構成の画像データ送信装置 101Aとを備えている。

[0046] この画像データ配信システムにおいて画像データ受信装置 107Aでは、画像符号化データ受信部 109が、伝送路 106から画像符号化データを受信し、符号化データバッファ部 111に蓄積する。符号ィ匕データバッファ部 111は、画像符号化データにおける伝送路 106でのパケットゆらぎやパケットの遅着を吸収した上で、画像符号化データをデコーダ 112へ出力する。制御部 108は、符号化データバッファ部 111のバッファの蓄積量を予め定められた時間間隔毎に計測し、バッファが枯渴しそうになると、すなわち、バッファの蓄積量が所定のしきい値を下回った場合に、伝送路 106に制御信号を送出する。

[0047] 画像データ送信装置 101Aは、少なくとも 2種類の異なるビットレート（例えば B1及び B2)の画像データ信号を画像データ蓄積部 103に蓄積している。ここで、画像データは、（1)予め蓄積された画像データ、（2)リアルタイムで符号化し生成された画像データのいずれかであるものとする。

[0048] 画像データ送信装置 101Aにおいて制御部 102は、伝送路 106から制御信号を入力し、制御信号に基づき、画像データのビットレートを切り替える信号を出力する。画像符号化データ送信部 104は、制御信号に従い、画像データ蓄積部 103に蓄積された画像符号化データのビットレートを切り替えて読み出し、伝送路 106に出力する

[0049] したがって、このシステムにおいて、伝送路 106を介して画像データ信号を受信する画像データ受信装置 107Aにおける処理は、

画像データを格納するバッファの蓄積量を制御部 108が監視するステップと、バッファの蓄積量が予め定められたしきい値を超える力たは下回った場合に、制御部 108が制御信号を伝送路 106に出力するステップと、を有する。

[0050] 同様に、画像データ送信装置 101Aにおける処理は、

少なくとも 2種類の異なるビットレートの画像データを画像データ蓄積部 103に格納するステップと、

伝送路 106から制御信号を入力し、制御信号に基づき、ビットレートを切り替えて画像データを画像データ蓄積部 103から出力するステップと、

画像データを符号化して伝送路 106に送信するステップと、を有する。

[0051] 図 8に示した画像データ配信システムにおいて、画像データ送信装置 101Aとして、画像データを異なるビットレート（B1及び B2)のファイルとして画像データ蓄積部 1 03に格納し、制御信号に従い画像符号ィ匕データ送信部 104がファイルを切り替えて伝送路 106に出力するものを使用することができる。そのような画像データ送信装置 101Aを用いた場合には、画像データ送信装置 101Aでの処理は、

少なくとも 2種類の異なるビットレートの画像データが格納された少なくとも 2種類以上のファイルを蓄積部 103に格納するステップと、

伝送路 106から制御信号を入力するステップと、

制御信号に基づき、ファイルを切り替えて蓄積部 103から出力するステップと、出力されたファイルの画像データを符号化して伝送路 106に送信するステップと、を有する。画像データ受信装置 107Aでの処理は上述と同様である。

[0052] 図 9は、画像データ配信システムの第 2の例を示している。この画像データ配信システムは、図 3に示した画像データ受信装置 107Bと、図 5に示した構成の画像データ送信装置 101Aとを備えている。図 9において、図 8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。

[0053] 画像データ受信装置 107Bの無線状態判別部 110は、伝送路 106の無線受信状態を監視し、受信状況が予め定められた状況となった場合にその旨を制御部 108に伝える。制御部 108は、伝送路 106に対し、制御信号を出力する。

[0054] したがって、伝送路 106を介して画像データ信号を受信する画像データ受信装置 1 07Bにおける処理は、

無線状態判別部 110が、伝送路 106での受信状況を監視するステップと、無線状態判別部 110での監視の結果、受信状況が予め定められた状況となった場合に、制御部 108が、制御信号を伝送路 106に出力するステップと、を有する。

[0055] 画像データ送信装置 101Aにおける処理は、

少なくとも 2種類の異なるビットレートの画像データが格納された少なくとも 2種類のファイルを蓄積部 103に蓄積するステップと、

伝送路 106から制御信号を入力するステップと、

制御信号に基づき、ファイルを切り替えて蓄積部 103から出力するステップと、出力されたファイルの画像データを符号化して伝送路 106に送信するステップと、を有する。

[0056] なお、図 9に示した画像データ配信システムにおいて、画像データ受信装置 107B の代わりに、図 4に示した画像データ受信装置 107Cを用いることができる。画像データ受信装置 107Cを用いたシステムの構成力第 3の例のシステムとして、図 10に示されている。画像データ受信装置 107Cを用いた場合には、無線受信状況がハンドオーバである場合に、制御信号が伝送路 106を介して画像データ送信装置 101A に送られることになる。したがって、このシステムにおいて画像データ受信装置 107C における処理は、

ハンドオーバ判別部 210が、伝送路 106での受信状況を監視するステップと、ハンドオーバ判別部 210での監視の結果、ハンドオーバとなった場合に、制御部 1 08が、制御信号を伝送路 106に出力するステップと、を有する。画像データ送信装置 101Aにおける処理は、図 9に示したシステムでの場合と同じである。

[0057] 図 11は、画像データ配信システムの第 4の例を示している。この画像データ配信システムは、図 2に示した画像データ受信装置 107Aと、図 6に示した構成の画像データ送信装置 101Bとを備えている。図 11において、図 8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。

[0058] 画像データ送信装置 101Bにおいて、画像トランスコーダ 205は、画像符号化データを入力し、制御部 102から制御信号を入力し、制御信号に従い、入力した画像符号化データのビットレートを変換して、画像符号化データ送信部 104に出力する。画像符号化データ送信部 104は、ビットレート変換後の画像符号化データを伝送路 10 6に出力する。

[0059] この配信システムにおける処理として、伝送路 106を介して画像データ信号を受信する画像データ受信装置 107Aでの処理は、

画像データを格納するバッファの蓄積量を監視するステップと、

バッファの蓄積量が予め定められたしきい値を超えるカまたは下回った場合に制御信号を伝送路 106に出力するステップと、を有する。

[0060] また画像データ送信装置 101Bでの処理は、

伝送路 106から制御信号を入力し、制御信号に基づき、画像データを格納する蓄積部から画像データをビットレートを変換して出力するステップと、

画像データを符号化して送信するステップと、を有する。

[0061] 図 12は、画像データ配信システムの第 5の例を示している。この画像データ配信システムは、図 3に示した画像データ受信装置 107Bと、図 6に示した構成の画像データ送信装置 101Bとを備えている。図 12において、図 8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。

[0062] 画像データ受信装置 107Bの無線状態判別部 110は、伝送路 106の無線受信状態を監視し、受信状況が予め定められた状況となった場合にその旨を制御部 108に伝える。制御部 108は、伝送路 106に対し、制御信号を出力する。画像データ送信装置 101Bの画像トランスコーダ 205は、画像符号化データを入力し、制御部 102から制御信号を入力し、制御信号に従い、蓄積部 103から入力した画像符号化データをそのビットレートを変換して、画像符号化データ送信部 104に出力する。画像符号化データ送信部 104は、ビットレート変換後の画像符号化データを伝送路 106に出力する。

[0063] この配信システムにおいて画像データ受信装置 107Bが実行する処理は、

伝送路 106での受信状況を監視するステップと、

受信状況が予め定められた状況となった場合に制御信号を伝送路 106に出力するステップと、を有する。

[0064] 画像データ送信装置 101Bが実行する処理は、

伝送路 106から制御信号を入力し、制御信号に基づき、画像データを格納する蓄積部 103から画像データをビットレートを変換して出力するステップを有する。

[0065] なお、図 12に示した画像データ配信システムにおいて、画像データ受信装置 107 Bの代わりに、図 4に示した画像データ受信装置 107Cを用いることができる。画像データ受信装置 107Cを用いた場合には、無線受信状況がハンドオーバである場合に、制御信号が伝送路 106を介して画像データ送信装置 101Bに送られることになる。

[0066] 図 13は、画像データ配信システムの第 6の例を示している。この画像データ配信システムは、図 2に示した画像データ受信装置 107Aと、図 7に示した構成の画像データ送信装置 101Cとを備えている。図 13において、図 8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。

[0067] 画像データ受信装置 107Aでは、画像符号化データ受信部 109が、伝送路 106から画像符号化データを受信し、符号化データバッファ部 111に蓄積する。符号化データバッファ部 111は、伝送路でのパケットゆらぎや、パケットの遅着を吸収した上で、画像符号化データをデコーダ 112へ出力する。制御部 108は、符号化データバッファ部 111のバッファの蓄積量を予め定められた時間間隔毎に計測し、バッファが枯渴しそうになると、伝送路 106に制御信号を送出する。

[0068] 画像データ送信装置 101Cの画像符号化データ送信部 204は、画像データ受信装置 107A力伝送路 106に送信された制御信号を制御部 102から入力し、画像符号化データを、符号化の際に用いた時間間隔ほたはクロック) Tとは異なる時間間隔 (またはクロック) T'で蓄積部 103から読み出して、伝送路 106に出力する。

[0069] この配信システムにおいて画像データ受信装置 107Aが実行する処理は、

バッファの蓄積量が予め定められたしきい値を超える力 \または下回った場合に制御信号を伝送路 106に出力するステップと、を有する。

[0070] 画像データ送信装置 101Cが実行する処理は、

伝送路から制御信号を入力し、蓄積部 103に格納された画像データを、制御信号により、画像データが符号化された時間間隔と異なる時間間隔で蓄積部 103から読み出して出力するステップを含む。

[0071] 図 14は、画像データ配信システムの第 7の例を示している。この画像データ配信システムは、図 3に示した画像データ受信装置 107Bと、図 7に示した構成の画像データ送信装置 101Cとを備えている。図 14において、図 8と同一の構成要素は、同一の参照符号が付されており、以下では、重複する説明は繰り返さない。

[0072] 画像データ受信装置 107Bの無線状態判別部 110は、伝送路 106の無線受信状態を監視し、受信状況が予め定められた状況となった場合に制御部 108に伝え、制御部 108は、伝送路 106に対し、制御信号を出力する。画像データ送信装置 101C の画像符号化データ送信部 204は、画像データ受信装置 107A力伝送路 106に送信された制御信号を制御部 102から入力し、画像符号化データを、符号化の際に用いた時間間隔ほたはクロック) Τとは異なる時間間隔（またはクロック) T'で蓄積部 103から読み出して、伝送路 106に出力する。

[0073] この配信システムにおいて画像データ受信装置 107Bが実行する処理は、

伝送路 106での受信状況を監視するステップと、

受信状況が予め定められた状況となった場合に制御信号を伝送路に出力するステップと、を有する。

[0074] 画像データ送信装置 101Cが実行する処理は、

伝送路 106から制御信号を入力し、蓄積部 103に格納された画像データを、制御信号により、画像データが符号化された時間間隔と異なる時間間隔で蓄積部 103から読み出して出力するステップを含む。

[0075] なお、図 14に示した画像データ配信システムにおいて、画像データ受信装置 107 Bの代わりに、図 4に示した画像データ受信装置 107Cを用いることができる。画像データ受信装置 107Cを用いた場合には、無線受信状況がハンドオーバである場合に、制御信号が伝送路 106を介して画像データ送信装置 101Cに送られることになる。

[0076] 以上説明した画像データ配信システムにおいて、画像データ受信装置及び画像データ送信装置は、いずれも、コンピュータを用いて実現することができる。すなわち、コンピュータ上でプログラムを実行することによって、上述した画像データ受信装置、画像データ送信装置での処理及び制御を実現できる。ここでレ、うコンピュータには、プロセッサやコントローラも含まれる。プログラムは、ネットワークを介して、あるいは、そのプログラムを格納した CD— ROMのような記録媒体を介して、コンピュータに読み込まれる。本発明は、このようなプログラムあるいはプログラムプロダクトあるいは記録媒体をも包含するものである。さらには、そのようなプログラムを伝送する媒体も、本発明の範疇に含まれる。

[0077] 以下、本発明に基づくプログラムの例を説明する。

[0078] 第 1のプログラムは、

伝送路から受信したメディア信号を格納するバッファの蓄積量を監視する処理と、前記監視の結果に基づき、前記蓄積量が予め定められたしきい値を超える力 \または下回ったときに、所定の制御信号を前記伝送路に出力し、前記バッファのデータが枯渴する前にデータが受信されるように制御する処理と、

を受信装置を構成するコンピュータに実行させるプログラムである。

[0079] 第 2のプログラムは、

伝送路からの受信状況を監視する処理と、

前記受信状況が予め定められた状況となった場合に、所定の制御信号を前記伝送路に出力する処理と、

[0080] 第 3のプログラムは、

伝送路からの受信状況を監視する処理と、前記受信状況が無線ハンドオーバとなった場合に、所定の制御信号を前記伝送路に出力する処理と、

[0081] 第 4のプログラムは、

少なくとも 2種類の異なるビットレートのメディア信号を蓄積部に格納しておく処理と伝送路から制御信号を入力して、前記制御信号に基づき、前記ビットレートを切り替えて前記メディア信号を前記蓄積部から出力する処理と、

前記出力されたメディア信号を符号化して前記伝送路に送信する処理と、を送信装置を構成するコンピュータに実行させるプログラムである。

[0082] 第 5のプログラムは、

少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも 2種類以上のファイルを蓄積部に蓄積しておく処理と、

伝送路から制御信号を入力し、前記制御信号に基づき、ファイルを切り替えて前記蓄積部から出力する処理と、

前記出力されたファイルのメディア信号を符号化して前記伝送路に送信する処理とを送信装置を構成するコンピュータに実行させるプログラム。

[0083] 第 6のプログラムは、

伝送路から制御信号を入力する処理と、

前記制御信号に基づき、蓄積部に格納されたメディア信号を、そのビットレートを変換して出力する処理と、

前記ビットレートが変換されたメディア信号を符号ィヒして前記伝送路に送信する処理と、

を送信装置を構成するコンピュータに実行させるプログラムである。

[0084] 第 7のプログラムは、

伝送路から制御信号を入力する処理と、

前記制御信号に基づき、入力信号が符号化された時間間隔と異なる時間間隔で、その入力信号を出力する処理と、

以上本発明を上記実施形態に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものでなぐ本発明の原理の範囲内で当業者であればなし得るであろう各種変形、修正を含むことはもちろんである。

Claims

請求の範囲

[1] 伝送路から受信したデータを一時的に格納するバッファと、

前記バッファにおける蓄積量を監視し、監視の結果に基づき、前記蓄積量が予め定められたしきい値を超えるカまたは前記しきい値を下回った場合に、所定の制御信号を前記伝送路に出力する制御手段と、

を備える、受信装置。

[2] 前記バッファからデータを取り出してデコードするデコーダを備え、

前記制御手段は、前記バッファのデータが枯渴する前に、データが受信されるように制御する、請求項 1に記載の受信装置。

[3] 伝送路からの受信状況を監視する監視手段と、

前記受信状況が予め定められた状況となった場合、所定の制御信号を前記伝送路に出力する制御手段と、

を備える、受信装置。

[4] 前記予め定められた状況が無線ハンドオーバである、請求項 3に記載の受信装置

[5] 少なくとも 2種類の異なるビットレートのメディア信号を格納する蓄積部と、

伝送路から制御信号を入力して、前記制御信号に基づき、前記メディア信号のビットレートを切り替えて前記蓄積部から前記メディア信号を出力する切替手段と、前記出力されたメディア信号を符号化して前記伝送路に送信する手段と、を備える、送信装置。

[6] 少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも 2種類以上のファイルを格納する蓄積部と、

伝送路から制御信号を入力し、前記制御信号に基づき、出力すべきファイルを切り替えて前記蓄積部から出力する手段と、

前記出力されたファイルのメディア信号を符号化して前記伝送路に送信する手段とを備える、送信装置。

[7] メディア信号を格納する蓄積部と、伝送路から制御信号を入力し、前記制御信号に基づき、前記蓄積部からビットレートを変換して前記メディア信号を出力する変換手段と、

前記変換手段から出力されたメディア信号を符号化して前記伝送路に送信する手段と、

を備える、送信装置。

[8] メディア信号を格納する蓄積部と、

伝送路から入力した制御信号に基づき、前記メディア信号が符号化された時間間隔と異なる時間間隔で、前記蓄積部から前記メディア信号を読み出して出力する手段と、

を備える、送信装置。

[9] メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、

前記受信装置は、

前記送信装置からのメディア信号を一時的に格納するバッファと、

前記バッファの蓄積量を監視する監視手段と、

前記蓄積量が、予め定められたしきい値を超えるカまたは前記しきい値を下回つた場合に、制御信号を前記伝送路に出力する制御手段と、

を備え、

前記送信装置は、

少なくとも 2種類の異なるビットレートのメディア信号を格納する蓄積手段と、前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記制御信号に基づき、ビットレートを切り替えて前記蓄積手段から前記メディア信号を出力する手段と、

を備える、送受信システム。

[10] メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、

前記受信装置は、

前記送信装置からのメディア信号を一時的に格納するバッファと、前記バッファの蓄積量を監視する監視手段と、

前記蓄積量が予め定められたしきい値を超える力 \または前記しきい値下回った場合に、制御信号を伝送路に出力する制御手段と、

を有し、

前記送信装置は、

少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも 2種類以上のファイルを格納する蓄積手段と、

前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記制御信号に基づき、読み出すファイルを切り替えて前記蓄積手段から出力する手段と、前記出力されたファイルのメディア信号を符号ィヒして前記伝送路に送信する手段とを備えている、ことを特徴とする送受信システム。

[11] メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、

前記受信装置は、

前記伝送路での受信状況を監視する監視手段と、

前記受信状況が予め定められた状況となった場合に制御信号を伝送路に出力する制御手段と、

を備え、

前記送信装置は、

少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも 2種類のファイルを格納する蓄積手段と、

前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記制御信号に基づき、読み出すファイルを切り替えて前記蓄積手段から出力する手段と、前記出力されたファイルのメディア信号を符号ィヒして前記伝送路に送信する手段とを備える、送受信システム。

[12] メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、

前記受信装置は、

メディア信号を格納するバッファの蓄積量を監視する監視手段と、

前記蓄積量が予め定められたしきい値を超える力、、または前記しきい値を下回った場合に制御信号を伝送路に出力する制御手段と、

を備え、

前記送信装置は、

メディア信号を格納する蓄積手段と、

前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記制御信号に基づき、ビットレートを変換して前記蓄積手段から前記メディア信号を出力する変換手段と、

出力されたメディア信号を符号化して前記伝送路に送信する手段と、を備える、送受信システム。

[13] メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、

前記受信装置は、

前記伝送路での受信状況を監視する監視手段と、

を備え、

前記送信装置は、

メディア信号を格納する蓄積手段と、

[14] メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、

前記受信装置は、

前記バッファの蓄積量が予め定められたしきい値を超える力 \または下回った場合に制御信号を伝送路に出力する制御手段と、

を備え、

前記送信装置は、

メディア信号を格納する蓄積手段と、

前記受信装置から前記伝送路に出力された前記制御信号を入力し、前記蓄積手段に格納されたメディア信号を、前記制御信号に基づき、前記メディア信号が符号化された時間間隔と異なる時間間隔で前記蓄積手段から読み出して出力する手段と、出力されたメディア信号を符号化して前記伝送路に送信する手段と、

を備える、送受信システム。

[15] メディア信号を伝送路に送信する送信装置と、前記送信装置から前記伝送路を介してメディア信号を受信する受信装置と、を有し、

前記受信装置は、

前記伝送路での受信状況を監視する監視手段と、

を備え、

前記送信装置は、

メディア信号を格納する蓄積手段と、

を備える、送受信システム。

[16] 伝送路から受信したメディア信号を格納するバッファの蓄積量を監視するステップと前記蓄積量が予め定められたしきい値を超える力、または前記しきい値を下回った場合に、所定の制御信号を前記伝送路に出力するステップと、

前記バッファのデータが枯渴する前にデータが受信されるように制御するステップとを有する、受信方法。

[17] 伝送路からの受信状況を監視するステップと、

前記受信状況が予め定められた状況となった場合に、所定の制御信号を前記伝送路に出力するステップと、

を有する、受信方法。

[18] 前記予め定められた状況が無線ハンドオーバである、請求項 17に記載の受信方法。

[19] 少なくとも 2種類の異なるビットレートのメディア信号を蓄積部に格納しておくステツプと、

伝送路から制御信号を入力して、前記制御信号に基づき、前記ビットレートを切り替えて前記蓄積部から前記メディア信号を出力するステップと、

前記出力されたメディア信号を符号化して前記伝送路に送信するステップと、を有する、送信方法。

[20] 少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも 2種類以上のファイルを蓄積部に蓄積しておくステップと、

伝送路から制御信号を入力し、前記制御信号に基づき、前記蓄積部からファイルを切り替えて出力するステップと、

前記出力されたファイルのメディア信号を符号ィヒして前記伝送路に送信するステツプと、

を有する、送信方法。

[21] 伝送路から制御信号を入力するステップと、

前記制御信号に基づき、蓄積部に格納されたメディア信号をビットレートを変換して出力するステップと、前記出力されたメディア信号を符号化して前記伝送路に送信するステップと、を有する、送信方法。

[22] 伝送路から制御信号を入力するステップと、

前記制御信号に基づき、メディア信号を蓄積する蓄積部から、前記メディア信号が符号化された時間間隔と異なる時間間隔で前記メディア信号を読み出して出力するステップと、

を有する、送信方法。

[23] 伝送路を介してメディア信号を受信する受信装置において、前記メディア信号を格納するバッファの蓄積量を監視するステップと、

前記蓄積量が予め定められたしきい値を超える力、、または前記しきい値を下回った場合に、前記受信装置から制御信号を前記伝送路に出力するステップと、

前記メディア信号を前記伝送路に送信する送信装置において、少なくとも 2種類の異なるビットレートのメディア信号を蓄積部に格納するステップと、

前記受信装置から前記伝送路に出力された前記制御信号が入力したときに、前記制御信号に基づき、前記蓄積部から前記メディア信号を前記ビットレートを切り替えて出力するステップと、

出力されたメディア信号を符号化して前記送信装置から前記伝送路に送信するステツプと、

を有する、送受信方法。

[24] 伝送路を介してメディア信号を受信する受信装置において、前記メディア信号を格納するバッファの蓄積量を監視するステップと、

前記バッファの蓄積量が予め定められたしきい値を超える力 \または前記しきい値を下回った場合に、前記受信装置から制御信号を伝送路に出力するステップと、前記メディア信号を前記伝送路に送信する送信装置において、少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも 2種類以上のファイルを蓄積部に格納するステップと、

前記受信装置から前記伝送路に出力された前記制御信号を前記送信装置に入力するステップと、前記制御信号に基づき、前記蓄積部からファイルを切り替えて出力するステップと前記出力されたファイルのメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、

を有する、送受信方法。

[25] 伝送路を介してメディア信号を受信する受信装置において、前記伝送路での受信状況を監視するステップと、

前記受信状況が予め定められた状況となった場合に制御信号を前記受信装置から伝送路に出力するステップと、

メディア信号を前記伝送路に送信する送信装置において、少なくとも 2種類の異なるビットレートのメディア信号が格納された少なくとも ₂種類のファイルを蓄積部に蓄積するステップと、

前記受信装置から前記伝送路に出力された前記制御信号を前記送信装置に入力するステップと、

前記制御信号に基づき、前記蓄積部からファイルを切り替えて出力するステップと前記出力されたファイルのメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、

を有する、送受信方法。

[26] 伝送路を介してメディア信号を受信する受信装置において、前記メディア信号を格納するバッファの蓄積量を監視するステップと、

前記バッファの蓄積量が予め定められたしきい値を超える力 \または前記しきい値を下回った場合に制御信号を前記受信装置から前記伝送路に出力するステップと、メディア信号を前記伝送路に送信する送信装置において、前記受信装置から前記伝送路に出力された前記制御信号を入力するステップと、

前記制御信号に基づき、前記送信装置においてメディア信号を格納する蓄積部から、ビットレートを変換して前記メディア信号を出力するステップと、

前記出力されたメディア信号を符号化して前記送信装置から前記伝送路に送信するステップと、

を有する、送受信方法。

[27] 伝送路を介してメディア信号を受信する受信装置において、前記伝送路での受信状況を監視するステップと、

前記受信状況が予め定められた状況となった場合に、制御信号を前記受信装置から前記伝送路に出力するステップと、

メディア信号を前記伝送路に送信する送信装置において、前記受信装置から前記伝送路に出力された前記制御信号を入力するステップと、

を有する、送受信方法。

[28] 伝送路を介してメディア信号を受信する受信装置において、前記メディア信号を格納するバッファの蓄積量を監視するステップと、

前記蓄積量が予め定められたしきい値を超える力、または前記しきい値を下回った場合に、制御信号を前記受信装置から前記伝送路に出力するステップと、

前記送信装置の蓄積部に格納されたメディア信号を、前記制御信号により、前記メディア信号が符号化された時間間隔と異なる時間間隔で前記蓄積手段から読み出して出力するステップと、

を有する、送受信方法。

[29] 伝送路を介してメディア信号を受信する受信装置において、前記伝送路での受信状況を監視するステップと、

前記受信状況が予め定められた状況となった場合に制御信号を前記受信装置から前記伝送路に出力するステップと、

前記メディア信号を前記伝送路に送信する送信装置において、前記受信装置から前記伝送路に出力された前記制御信号を入力するステップと、

を有する、送受信方法。