JP4008734B2 - Data reproducing apparatus and mobile phone - Google Patents

Data reproducing apparatus and mobile phone Download PDF

Info

Publication number
JP4008734B2
JP4008734B2 JP2002092538A JP2002092538A JP4008734B2 JP 4008734 B2 JP4008734 B2 JP 4008734B2 JP 2002092538 A JP2002092538 A JP 2002092538A JP 2002092538 A JP2002092538 A JP 2002092538A JP 4008734 B2 JP4008734 B2 JP 4008734B2
Authority
JP
Japan
Prior art keywords
data
video stream
unit
video
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002092538A
Other languages
Japanese (ja)
Other versions
JP2003032690A (en
Inventor
義徳 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2002092538A priority Critical patent/JP4008734B2/en
Publication of JP2003032690A publication Critical patent/JP2003032690A/en
Application granted granted Critical
Publication of JP4008734B2 publication Critical patent/JP4008734B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、データ再生装置及びデータ再生方法に関し、特に、画像データの受信側にて、ユーザの好みや伝送エラーの発生状況に応じて、受信側で取得する画像データの伝送エラー耐性及び映像品質を切替え可能とするデータ再生処理に関するものである。
【０００２】
【従来の技術】
近年、映像音声データの圧縮符号化方式に関する国際標準規格MPEG-4(Moving Picture Experts Group,Phase4,IS0/IEC14496)の制定に伴い、狭帯域における映像音声データの配信が可能になった。例えば、６４ｋbit/sの帯域幅を有する伝送路では、１画面の横方向の画素数が１７６個，縦方向の画素数が１４４個であり、かつフレームレートが５〜６フレーム／秒である映像データと、電話品質なみの音声データとを同時に伝送可能である。
【０００３】
上記ＭＰＥＧ−４ビデオ規格により規定されているシンプルプロファイルでは、１シーンを構成する個々の物体の画像であるＶＯＰ(video object plane)として、それぞれ符号化タイプが異なる、Ｉ−ＶＯＰ及びＰ−ＶＯＰが使用される。ここで、Ｉ−ＶＯＰは、その画像データの圧縮処理あるいは伸張処理に際して他のＶＯＰの画像データを参照しないものである。したがって、Ｉ−ＶＯＰに対する符号化処理あるいは復号化処理は、他のＶＯＰの画像データとは関係なく、単独で行うことが可能である。一方、Ｐ−ＶＯＰは、処理対象となるＰ−ＶＯＰの画像データの圧縮処理あるいは伸張処理を行う際、対象Ｐ−ＶＯＰの直前に位置するＩ−ＶＯＰあるいはＰ−ＶＯＰの画像データに基づいて予測して得られる予測データと、対象Ｐ−ＶＯＰの画像データとの差分成分を求め、該差分成分を符号化あるいは復号化するものである。
【０００４】
Ｉ−ＶＯＰの繰り返し周期は、広帯域を使用するデジタル衛星放送では、Ｉ−ＶＯＰが約0.5秒に1回現れる周期とすることが一般的である。つまり、日本のテレビ放送では１秒間のフレーム数は約３０であるから、１５フレーム毎にＩ−ＶＯＰが出現することになる。一方、狭帯域では、符号化された画像データ（符号化データ）の符号量の多いＩ−ＶＯＰの繰返し周期を長くし、符号化データの符号量の少ないＰ−ＶＯＰやＢ−ＶＯＰ（つまりその符号化あるいは復号化の際に他のＶＯＰの画像データを参照するもの）の出現頻度をできるだけ高くするほうが、Ｉ−ＶＯＰの出現頻度を高くするより、映像品質の改善効果が大きい。しかし、Ｉ−ＶＯＰの繰返し周期を長くする、つまりＩ−ＶＯＰの出現頻度を低くすることは、エラー耐性の面からは好ましいものではなく、パケットロスの発生時には画像の乱れが長期間続くことになる。なお、上述したＭＰＥＧ−４におけるＶＯＰは、ＭＰＥＧ−１,２におけるフレームに相当するものである。
【０００５】
また、無線網における受信端末の規格を定める国際標準化団体３ＧＰＰ(Third Generation Partnership Project、http://www.3gpp.org)は、サーバと受信端末の間でビデオデータを伝送するためのプロトコルとしてはRTP/UDP/IP(real time transport protocol/user datagram protocol/internet protocol)を使用し、また受信端末からサーバにデータを要求するためのプロトコルとしては、RTSP/TCP/IP(real time streaming protocol/transmission control protocol/ internet protocol)を使用することを規定している。さらに、３ＧＰＰの規格では、シーン記述言語として、SMIL(Synchronization Multimedia Markup Language, http://www.w3.org)が使用可能となっている。
【０００６】
図１８は、インターネットを利用して画像データを配信するための従来のデータ伝送システムを示している。
このデータ伝送システム２０は、上記符号化データであるビデオストリームをパケット化してパケットデータを送信するサーバ２０ａと、上記ビデオストリームを受信して、画像データを再生する受信端末２０ｂと、上記パケットデータを上記サーバ２０ａから受信端末２０ｂへ伝送するためのインターネットなどのネットワーク１１とを有している。
【０００７】
この通信システム２０では、まず、受信端末２０ｂとサーバ２０ａとの間で、サーバ２０ａに対するデータ要求を行うためのメッセージＭesの通信がRTSP/TCP/IPにより行われ、これにより、受信端末２０ｂからデータ要求信号Ｄauがサーバ２０ａへ送信される。すると、サーバ２０ａからは、ビデオストリームＤstrが、データ伝送プロトコルであるRTP/UDP/IPにより受信端末２０ｂに伝送される。受信端末２０ｂでは、受信したビデオストリームＤstrの復号化処理が行われ、画像データが再生される。
【０００８】
図１９は、MPEG規格に対応した符号化処理を行う従来の画像符号化装置を説明するための図であり、図１９(a)はその構成を示すブロック図である。
この画像符号化装置１００は、図１８に示すサーバ２０ａを構成するものであり、Ｉ−ＶＯＰの符号化時には原画像データＤｖをそのまま圧縮符号化し、Ｐ−ＶＯＰの符号化時には原画像データＤｖとその予測データＤｐとの差分データＤvdを圧縮符号化し、符号化データＤｅを出力する符号化器１０２と、該符号化器１０２にて原画像データＤｖ及び差分データＤvdの圧縮により得られた圧縮データＤｃ及び圧縮差分データＤcdを伸張して、Ｉ−ＶＯＰに対応する局所復号化データＤｄ及びＰ−ＶＯＰに対応する局所復号化差分データＤddを出力する復号化器１０３と、上記原画像データＤｖとその予測データＤｐとの減算処理により上記差分データＤvdを作成する減算器１０１とを有している。
【０００９】
上記画像符号化装置１００は、上記局所復号化差分データＤddに予測データＤｐを加算してＰ−ＶＯＰに対応する局所復号化データＤdpを作成する加算器１０４と、上記Ｉ−ＶＯＰに対応する局所復号化データＤｄ及び上記Ｐ−ＶＯＰに対応する局所復号化データＤdpを参照データとして記録するフレームメモリ１０５とを備え、該フレームメモリ１０５から読み出された画像データが、予測データＤｐとして上記減算器１０１及び加算器１０４に供給されるものである。
【００１０】
次に上記従来の画像符号化装置１００の動作について簡単に説明する。
画像符号化装置１００では、図１９(b)に示すように、外部から入力された原画像データＤｖがＶＯＰ毎に符号化される。
例えば、最初のＶＯＰデータＶ(1)はＩ−ＶＯＰとして符号化され、第２番目から第５番目のＶＯＰデータＶ(2)〜Ｖ(5)がＰ−ＶＯＰとして符号化され、第６番目のＶＯＰデータＶ(6)はＩ−ＶＯＰとして、第７番目から第１０番目のＶＯＰデータＶ(7)〜Ｖ(10)は、Ｐ−ＶＯＰとして符号化される。
【００１１】
符号化処理が開始されると、まず、最初のＶＯＰデータＶ（１）は、Ｉ−ＶＯＰとして符号化される。つまり、Ｉ−ＶＯＰに対応する原画像データＤｖは符号化器１０２にて圧縮符号化され、符号化データＤｅとして出力される。このとき、上記符号化器１０２からは、原画像データＤｖの圧縮により得られた圧縮データＤｃが復号化器１０３に出力される。すると、復号化器１０３では、圧縮データＤｃに対する伸張処理が行われてＩ−ＶＯＰの局所復号化データＤｄが生成される。そして、該復号化器１０３から出力された局所復号化データＤｄは、参照データとしてフレームメモリ１０５に格納される。
【００１２】
次に、第２番目のＶＯＰデータＶ(2)はＰ−ＶＯＰとして符号化される。つまり、Ｐ−ＶＯＰに対応する原画像データＤｖは上記符号化器１０２前段の減算器１０１に入力され、該減算器１０１では、上記フレームメモリ１０５から予測データＤｐとして読み出された画像データと、上記Ｐ−ＶＯＰに対応する原画像データＤｖとの差分データＤvdが生成される。そして、差分データＤvdは符号化器１０２にて圧縮符号化され、符号化データＤｅとして出力される。
【００１３】
また、このとき、上記符号化器１０２からは、差分データＤvdの圧縮により得られた圧縮差分データＤcdが復号化器１０３に出力される。すると、復号化器１０３では、圧縮差分データＤcdに対する伸張処理が行われて局所復号化差分データＤddが生成される。加算器１０４では、上記復号化器１０３から出力された局所復号化差分データＤddと、上記フレームメモリ１０５から読み出された画像データである予測データＤｐとの加算処理により、Ｐ−ＶＯＰに対応する局所復号化データＤdpが生成される。そして、加算器１０４から出力された局所復号化データＤdpは参照データとしてフレームメモリ１０５に格納される。
【００１４】
その後、上記第３番目〜第５番目のＶＯＰデータＶ(3)〜Ｖ(5)は、上記第２番目のＶＯＰデータと同様、Ｐ−ＶＯＰとして符号化される。さらに、上記第６番目のＶＯＰデータＶ(6)は第１番目のＶＯＰデータＶ(1)と同様、Ｉ−ＶＯＰとして符号化され、これに続く第７番目〜第１０番目のＶＯＰデータＶ(7)〜Ｖ(10)は、上記第２番目のＶＯＰデータＶ(2)と同様、Ｐ−ＶＯＰとして符号化される。
このように上記画像符号化装置１００では、原画像データＤｖに対する符号化処理がＩ−ＶＯＰの周期を５ＶＯＰとして行われる。
【００１５】
図２０は、従来の画像復号化装置を説明するためのブロック図である。
この画像復号化装置２００は、図１９(a)に示す画像符号化装置１００から出力された符号化データＤｅを復号化するものであり、上記データ伝送システム２０における受信端末２０ｂのデコード部を構成するものである。
つまり、この画像復号化装置２００は、上記画像符号化装置１００からの符号化データＤｅに対する伸張復号処理をＶＯＰ単位で行い、Ｉ−ＶＯＰの復号化時には原画像データＤｖに相当する復号化データＤｄを出力し、Ｐ−ＶＯＰの復号化時には、原画像データＤｖとその予測データＤｐとの差分データＤvdに相当する復号化差分データＤddを出力する復号化器２０１と、上記復号化差分データＤddに予測データＤｐを加算してＰ−ＶＯＰに対応する復号化データＤdecpを生成する加算器２０２と、上記Ｉ−ＶＯＰに対応する復号化データＤｄ及び上記Ｐ−ＶＯＰに対応する復号化データＤdecpを参照データとして記録するフレームメモリ２０３とを備え、該フレームメモリ２０３から上記予測データＤｐとして読み出された画像データが、上記加算器２０２に供給されるものである。
【００１６】
次に、従来の画像復号化装置２００の動作について簡単に説明する。
復号化処理が開始されると、この画像復号化装置２００では、上記画像符号化装置１００からの符号化データＤｅがＶＯＰ毎に復号化される。
【００１７】
つまり、Ｉ−ＶＯＰに対応する符号化データＤｅが復号化器２０１に入力されると、該復号化器２０１では、該符号化データＤｅに対する伸張復号化が行われて、原画像データＤｖに相当する復号化データＤｄが生成される。そして、該復号化データＤｄは、上記画像復号化装置２００から出力されるとともに、参照データとしてフレームメモリ２０３に格納される。
【００１８】
また、Ｐ−ＶＯＰに対応する符号化データＤｅが復号化器２０１に入力されると、該復号化器２０１では、該符号化データＤｅに対する伸張復号化が行われて、原画像データＤｖとその予測データＤｐとの差分データＤvdに相当する復号化差分データＤddが生成される。該復号化差分データＤddが加算器２０２に入力されると、該加算器２０２では、該復号化差分データＤddと、上記フレームメモリ２０３から予測データＤｐとして読み出された画像データとを加算する加算処理が行われて、Ｐ−ＶＯＰに対応する復号化データＤdecpが生成される。そして、該復号化データＤdecpは、上記画像復号化装置２００から出力されるとともに、参照データとしてフレームメモリ２０３に格納される。
【００１９】
【発明が解決しようとする課題】
ところが、図１８に示すような従来のデータ伝送システム２０では、以下のような問題があった。
つまり、RTP/UDP/IPを用いたデータの伝送では、プロトコルの特性によって、配信サーバから送出されたデータが受信端末に到着しないことがある。その要因の１つには、受信したパケット中にビット誤りが発生すると、ＵＤＰにおける誤り検出機構により、着信したパケットが破棄されることがあげられる。特に、サーバから受信端末までの伝送経路に無線伝送路が含まれる伝送システムでは、受信端末での電波強度が弱い場合、受信した伝送データを正しく復調できず、このような場合に、上記受信データのビット誤りが発生することとなる。
【００２０】
また、受信端末では、１フレーム（ＶＯＰ）分のデータ（ビデオストリーム）がそろわないと、その映像フレームに対する復号化処理を行うことができない。このため、伝送誤りが発生した場合の対応方法として、例えば、伝送誤りが発生したときには、正常にデータが受信されなかったフレーム（ＶＯＰ）のデータを破棄し、その後Ｉフレーム（Ｉ−ＶＯＰ）のデータが正常に受信されるまで、既にデータが正常に受信された映像フレームを表示し、そしてＩフレームのデータが正常に受信されたとき、このＩフレームから復号処理を再開するという方法が用いられる。この対応方法では、映像の乱れはないが、Ｉフレームを受信するまで表示画像の動きが止まることとなる。
【００２１】
さらに、伝送誤りが発生した場合のその他の方法として、正常にデータが受信されなかったフレーム（ＶＯＰ）のデータを、直前の正しく受信され復号化されたフレーム（ＶＯＰ）のデータで代用し、このフレームのデータを、以降のフレームの復号化に使用するという方法がある。この方法では、データが正常に受信されなかったフレーム以外のフレームでは、表示画像の動きが止まることがないため、スムーズな表示が行われる。しかしながら、復号化の対象となる対象フレームのデータは、符号化処理の際に参照したフレームとは異なるフレームを参照して復号化されるため、表示内容が大きく乱れる可能性がある。視聴者の嗜好にもよるが、一般的には、伝送誤りが発生したときには、対象フレームに対する、破棄された参照フレームのデータを、参照フレーム以外の他のフレームのデータに置き換える方法を用いるより、伝送誤りの発生後にＩフレームのデータが正常に受信されるまで、伝送誤りの発生直前のフレームを表示する方法を用いる方が、再生画像としては違和感は少ないものが得られる。
【００２２】
ところが、従来の受信端末は、伝送誤りが発生した場合の対応方法として、上記いずれかの方法を実行するように予め設定されており、このため、伝送誤りが発生した場合に表示される画像に対して、視聴者が大きな違和感を抱くことがあるという問題があった。
さらに、データ圧縮に伴う映像品質の劣化を抑えるには、Ｉフレーム（Ｉ−ＶＯＰ）の出現頻度をできる限り少なくするべきであるが、一方で、伝送エラーの発生により異常な状態となった復号化処理を、素早く正常な復号化処理に復帰させるという観点からすると、Ｉフレーム（Ｉ−ＶＯＰ）の出現頻度をあまり少なくすることはできないという問題もあった。
【００２３】
本発明は、上記のような課題を解決するためになされたもので、伝送誤りが発生した場合に表示される画像を、視聴者にとって違和感のほとんどないものとすることができるデータ再生装置，データ再生方法、及び該データ再生方法をソフトウエアにより行うためのプログラムを格納したデータ記録媒体を得ることを目的とする。
【００２４】
【課題を解決するための手段】
本発明に係るデータ再生装置は、画面内符号化された画像フレームを含むビデオストリームを、符号化された１枚の画像フレームについて１以上のパケットで受信する画像データ受信部と、画像データ受信部において受信されたビデオストリームを復号化して、画像フレームを出力する復号化部と、上記復号化部から出力された画像フレームを表示する表示部と、上記ビデオストリーム中の上記画面内符号化された画像フレームの出現間隔を取得し、上記出現間隔に応じてパケットの欠落による伝送エラー時の上記復号化部の動作モードを切り替える制御部と、を備え、上記制御部は、上記ビデオストリームに含まれる上記画面内符号化された画像フレームの出現間隔と予め設定された所定値とを比較し、上記復号化部を、（１）上記出現間隔が上記所定値以上の場合には、上記欠落したパケットにより構成される画像フレームのみ復号処理をスキップして、上記スキップされた画像フレーム以外の画像フレームを復号処理し、（２）上記出現間隔が上記所定値より小さい場合には、上記ビデオストリームの復号処理を画面内符号化された画像フレームを構成するパケットが受信されるまで一旦停止する、動作モードに設定することを特徴とするものである。
【００２５】
本発明は、上記データ再生装置が携帯電話機であることを特徴とするものである。
【００５１】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
（実施の形態１）
図１は、本発明の実施の形態１によるデータ伝送システムを説明するための図であり、図１(a)は該システムの構成を、図１(b)は、該システムでのデータ伝送処理を示している。
この実施の形態１のデータ伝送システム１０ａは、所定のビデオストリーム（画像符号化データ）を送出するサーバ１００ａと、該サーバ１００ａから送出されたビデオストリームを受信して映像データを再生する受信端末（クライアント端末）２００ａと、該ビデオストリームをサーバ１００ａから受信端末２００ａへ伝送するためのネットワーク１１とを有している。
【００５２】
ここで、上記サーバ１００ａは、同一の画像系列のデジタル映像信号を、異なる符号化条件でもって符号化して得られる複数のビデオストリームを格納するとともに、上記各ビデオストリームの属性が記述されたＳＭＩＬデータを格納したデータ格納部１２０と、該データ格納部１２０に格納されているデータを、ネットワーク１１上に送出するデータ送信部１１０ａとから構成されている。また、上記データ格納部１２０にはハードディクスなどの大容量記憶装置が用いられている。
【００５３】
また、この実施の形態１では、上記複数のビデオストリームは、上記同一の画像系列に対応するエラー耐性の異なる複数の画像データである。具体的には、複数のビデオストリームはそれぞれ、デジタル映像信号を画面内画素値相関を用いて符号化してなる符号量の大きい画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる符号量の少ない画面間符号化データとを含み、上記各画像データにおける画面内符号化データの出現間隔、言い換えるとＩフレーム（Ｉ−ＶＯＰ）の周期が異なるものである。
そして、上記ハードディスクなどのデータ格納部１２０には、Ｉフレームの周期が異なる、つまりＩフレームの周期が１０秒，５秒，２秒，１秒であるビデオストリームがビデオファイルＤｖ１〜Ｄｖ４として格納され、上記ＳＭＩＬデータＤａとしてＳＭＩＬファイルＦSD１が格納されている。
【００５４】
図２(a)は、このＳＭＩＬファイルＦSD１の記述内容を示している。
ＳＭＩＬファイルＦSD１の各行の先頭に記述される<smil>、</smil>、<body>、</body>、<switch>、</switch>、<video>等の文字列は、要素（エレメント）と呼ばれ、その要素に続く、記述の内容を宣言するものである。
例えば、smil要素７１０ａ及び/smil要素７１０ｂは、smil要素を含む行と/smil要素を含む行との間に位置する行が、ＳＭＩＬ規格に従って記述されたものであることを宣言するものである。
body要素７２０ａ及び/body要素７２０ｂは、body 要素を含む行と/body要素を含む行との間に位置する行では、再生されるビデオデータの属性，例えば所在場所を示す情報（ＵＲＬ），符号化パラメータ（Ｉフレームの周期）に関する情報などが記述されていることを宣言するものである。
【００５５】
switch要素７３０ａ及び/ switch 要素７３０ｂは、switch 要素を含む行と/switch要素を含む行との間に位置する複数のvideo要素はそのうちの１つが選択されるべきものであることを宣言するものである。video要素は、このvideo要素を含む行７０１〜７０４の記述により、動画像データが指定されることを宣言するものである。
例えば、ＳＭＩＬファイルＦSD１における各video要素の項目には、Ｉフレームの出現間隔（Ｉフレームの周期）が、i-frame-interval属性として記載されており、この属性に基づいて、ユーザ設定の内容に最も適合するvideo要素が選択される。i-frame-interval属性の具体値としては“1s”，“2s”，“5s”，“10s”があり、ビデオデータファイルは、具体的なi-frame-interval属性値が小さいものほど、エラー耐性強度の高いものとなっている。なお、ここではＩフレームの出現間隔が異なるビデオデータファイルを４つ示しているが、これは、２つでも３つでも、あるいは５つ以上でもあってもよいことは言うまでもない。
【００５６】
また、各video要素の項目に含まれる属性値は、i-frame-interval属性に限らず、エラー耐性強度を直接示すsystem-error-resilient-level属性であってもよい。
例えば、図５(a)は、ＳＭＩＬファイルの他の例として、エラー耐性強度が異なる４つのビデオデータファイルを示すＳＭＩＬファイルＦSD２を示している。
【００５７】
このＳＭＩＬファイルＦSD２は、switch 要素７３１ａを含む行と/switch要素７３１ｂを含む行との間に記述された、エラー耐性強度が異なる４つのvideo要素７１１〜７１４に関する項目を含んでいる。また、各video要素の項目には、エラー耐性強度が、system-error-resilient-level属性として記載されており、この属性に基づいて、ユーザ設定の内容に最も適合するvideo要素が選択される。
【００５８】
ここでは、上記各video要素７１１，７１２，７１３，７１４におけるsystem-error-resilient-level属性の具体値はそれぞれ、“1”，“2”，“3”，“4”である。
【００５９】
図３は上記システムを構成するサーバ１００ａ及びクライアント端末２００ａの詳細な構成を示す図である。
上記サーバ１００ａを構成するデータ送信部１１０ａは、クライアント端末２００ａからＨＴＴＰにより送信されたＳＭＩＬデータの要求メッセージＭdrを受け、該要求に従ってデータ格納部１２０からＳＭＩＬファイルＤａを読み出し、読み出したＳＭＩＬファイルＤａをＨＴＴＰによりＳＭＩＬデータＤsmとして送信するＨＴＴＰ送受信部１０１と、クライアント端末２００ａからＲＴＳＰにより送信されたデータ要求メッセージＭrtspを受け、要求されたビデオファイル名を示すデータ指定信号Ｓｃを出力するＲＴＳＰメッセージ送受信部１０２と、該データ指定信号Ｓｃを受け、該データ指定信号Ｓｃが示すビデオデータファイル名に相当するビデオストリームＤｅをデータ格納部１２０から読み出し、読み出したビデオストリームをＲＴＰによりＲＴＰデータＤrtpとして伝送するＲＴＰデータ送信部１０３とを有している。
【００６０】
また、上記クライアント端末２００ａは、ユーザの操作により種々のユーザ操作信号Ｓop1，Ｓop2，Ｓerrを出力するユーザ操作部２１３と、該ユーザ操作信号Ｓop1に基づいて上記ＳＭＩＬデータの要求メッセージＭdrをＨＴＴＰにより送信するとともに、上記サーバ１００ａからＨＴＴＰにより送信されたＳＭＩＬデータＤsmを受信するＨＴＴＰ送受信部２１１と、該ＳＭＩＬデータＤsmを解析するとともに、その解析結果、及び上記ユーザ操作により設定されたエラー耐性強度の具体的なレベル（数値）を示すレベル信号Ｓerrに基づいて、所定のデータを指定するデータ指定信号Ｓｃを出力するＳＭＩＬデータ解析部２１２とを有している。
【００６１】
ここで、ＳＭＩＬデータ解析部２１２は、上記レベル信号Ｓerrに基づいて、サーバ側に用意されている、Ｉフレームの周期が異なる複数のビデオデータのうちの所要のものを決定し、該決定されたビデオデータを指定する指定信号Ｓｃを出力するものである。
【００６２】
上記クライアント端末２００ａは、上記データ指定信号ＳｃをＲＴＳＰメッセージ信号Ｍrtspとして送信するとともに、該信号Ｍrtspの応答信号Ｓackを受信するＲＴＳＰメッセージ送受信部２１４と、上記サーバ１００ａから送信されたＲＴＰデータＤrtpを受信してビデオストリームＤｅを出力するＲＴＰデータ受信部２１６と、該ビデオストリームＤｅを復号化して画像データＤdecを出力するデコード部２１０と、該画像データＤdecに基づいて画像表示を行うとともに、上記ユーザ操作信号Ｓop２に応じた表示を行う表示部２１８とを有している。
【００６３】
以下、上記ユーザ操作部２１３における、上記エラー耐性の設定を行うための構成について具体的に説明する。
図４(a)は、受信端末２００ａにおける、取得すべき画像データのエラー耐性強度を設定するための画面（エラー耐性設定画面）を示している。なお、ここでは、上記受信端末２００ａは、携帯電話などの携帯端末２０１ａとする。
例えば、携帯端末２０１ａのボタン操作部２１の操作により、端末の初期メニューにおける複数の項目のうちの、各種の初期設定を行うための項目〔設定〕を選択し、さらに、より具体的な項目〔ストリーミング受信設定〕，項目〔エラー耐性強度設定〕の選択を順次行うと、図４(a)に示すエラー耐性設定画面２２ｂが、携帯電話の表示パネル２２の中央に表示される。
【００６４】
なお、図４(a)中、２２ａは、電波強度を示す画面、２２ｃは、操作の案内をする画面であり、画面２２ｃには、ボタン操作部２１の上下カーソルキー２１ａ，２１ｃの操作により、エラー耐性設定画面２２ｂに示されたエラー耐性強度のレベルを選択し、かつ、確定ボタン２１ｅの操作により、選択されたレベルを確定すべきことが示されている。
このエラー耐性設定画面２２ｂは、取得すべき画像データのエラー耐性強度のレベルとして、予め設定されたエラー耐性強度〔高レベル〕、あるいは予め設定されたエラー耐性強度〔低レベル〕のいずれかを設定する画面である。また、携帯端末２０１ａでは、エラー耐性強度〔高レベル〕，〔低レベル〕にはそれぞれ、エラー耐性強度値として、０〜１００の整数値のうちの８０，２０が対応付けられている。そして、ユーザ操作、つまりボタン操作部２１の上下カーソルキー２１ａ，２１ｃの操作により、エラー耐性強度〔高レベル〕及びエラー耐性強度〔低レベル〕のいずれかが選択され、確定ボタン２１ｅの操作により、選択されたレベルが確定されると、確定されたレベルに対応するエラー耐性強度値が、端末のエラー耐性強度値として保持される。
【００６５】
次に動作について説明する。
このデータ伝送システム１０ａでは、図１(b)に示すように、受信端末２００ａからサーバ１００ａへ、ＳＭＩＬデータを要求するＳＭＩＬ要求信号Ｓd1（図３に示すＳＭＩＬ要求メッセージＭrd）がＨＴＴＰにより送信され、その応答として、サーバ１００ａからＳＭＩＬデータＤsmがＨＴＴＰ信号Ｄsdにより受信端末２００ａに送信される。
その後、受信端末２００ａでは、ＳＭＩＬデータＤsmの解析結果及びユーザ設定の内容に基づいて、必要とするビデオストリームを指定するメッセージＭrtspをＲＴＳＰ信号Ｓd2としてサーバ１００ａへ送信する処理が行われる。そして、その応答信号Ｓackがサーバ１００ａからＲＴＳＰにより受信端末２００ａに送信された後、サーバ１００ａから、所定のビデオストリームＤstrがＲＴＰデータＤrtpとして受信端末２００ａに送信される。
【００６６】
以下、上記サーバ１００ａと受信端末２００ａとの間でのデータ伝送処理について詳述する。
まず、受信端末（クライアント端末）２００ａでは、所望の画像データに対応するＳＭＩＬデータの要求を行う前に、ユーザ操作部２１３に対するユーザの操作により種々の設定が行われる。
例えば、上記受信端末２００ａが図４(a)に示す携帯端末２０１ａである場合、ユーザは、携帯端末２０１ａのボタン操作部２１の操作により、端末の初期メニューにおける複数の項目のうちの、各種の初期設定を行うための項目〔設定〕を選択し、さらに、より具体的な項目〔ストリーミング受信設定〕，項目〔エラー耐性強度設定〕の選択を順次行う。すると、操作信号Ｓop2に応じて、表示部２１８，つまり携帯端末の表示パネル２２には、図４(a)に示すエラー耐性設定画面２２ｂが表示される。
【００６７】
このエラー耐性設定画面２２ｂには、取得すべき画像データのエラー耐性強度のレベル選択の候補として、エラー耐性強度〔高レベル〕及びエラー耐性強度〔低レベル〕が表示されている。
例えば、ユーザによる、ボタン操作部２１の上下カーソルキー２１ａ，２１ｃの操作により、エラー耐性強度〔低レベル〕が選択され、確定ボタン２１ｅの操作により、選択されたエラー耐性強度〔低レベル〕が確定されると、該エラー耐性強度〔低レベル〕に対応する整数値“２０”が、携帯端末のエラー耐性強度値として保持される。
【００６８】
そして、ユーザが、受信端末２００ａの表示部２１８に画像データ選択画面（図示せず）を表示させ、この画像データ選択画面にて、取得したい画像データを指定する操作を行うと、この操作に応じた操作信号Ｓop1がＨＴＴＰ送受信部２１１に入力され、ＨＴＴＰ送受信部２１１からは、指定した画像データに関連するＳＭＩＬデータを要求する信号Ｓd1（図３に示すＳＭＩＬ要求メッセージＭdr）（図１(b)参照）がサーバ１００ａに送信される。すると、サーバ１００ａでは、そのＨＴＴＰ送受信部１０１により、クライアント端末２００ａからのＳＭＩＬデータの要求信号Ｓd1が受信され、該ＨＴＴＰ送受信部１０１では、上記ＳＭＩＬデータ要求信号Ｓd1に応じて、データ格納部１２０からＳＭＩＬファイルＤａを読出し、これをＳＭＩＬデータＤsmとしてＨＴＴＰにより送信する処理が行われる。このＳＭＩＬデータＤsmはネットワーク１１を介して受信端末（クライアント端末）２００ａへ伝送され、そのＨＴＴＰ送受信部２１１にて受信される。
【００６９】
すると、受信端末２００ａでは、上記受信されたＳＭＩＬデータＤsmはＳＭＩＬデータ解析部２１２にて解析され、４つのビデオデータファイルのうち、ユーザ設定の内容に最も適合するものが選択され、選択されたビデオデータファイルを示す指定信号ＳｃがＲＴＳＰメッセージ送受信部２１４に出力される。該ＲＴＳＰメッセージ送受信部２１４では、指定信号ＳｃをＲＴＳＰによりＲＴＳＰメッセージ信号Ｍrtspとしてサーバ１００ａへ送信する処理が行われる。
【００７０】
以下、上記ＳＭＩＬデータ解析部２１２にて、ＳＭＩＬファイルに記述されている４つのビデオデータファイルから、ユーザにより設定されたエラー耐性レベルに対応するビデオデータファイルを選択する処理について、具体的に説明する。
まず、ＳＭＩＬデータ解析部２１２では、ＳＭＩＬファイルにおける各video要素７０１〜７０４を数値化する処理が行われる。
具体的には、Ｎ（Ｎ：自然数）個のvideo要素がＳＭＩＬファイルに記述されている場合、各video要素に対して、以下の計算式（１）に基づいて、数値化レベルＹ（Ｙ：０以上の整数）を付与する。
Ｙ＝１００・（ｎ−１）／（Ｎ−１） ・・・（１）
ここで、数値化レベルＹは、Ｎ個のvideo要素のうちで、対応するビデオデータファイルのエラー耐性強度が低い方から第ｎ番目であるvideo要素に付与される値である。
なお、上記計算式（１）により算出された計算値が、整数値でない場合には、数値化レベルＹは、該計算値以上で、これに最も近い整数値とされる。
ここでは、Ｎ＝４であるので、４つのvideo要素７０１〜７０４には、対応するエラー耐性強度の高い方から順に、整数値“１００”，“６７”，“３３”，“０”が付与される、つまり、video要素７０４には整数値Ｙv4（＝１００）が、video要素７０３には整数値Ｙv3（＝６７）が、video要素７０２には整数値Ｙv2（＝３３）が、video要素７０１には整数値Ｙv1（＝０）が付与される。
【００７１】
なお、Ｎ＝２である場合は、対応するエラー耐性強度の高い方のvideo要素には整数値“１００”が、対応するエラー耐性強度の低い方のvideo要素には整数値“０”が付与される。Ｎ＝３である場合は、３つのvideo要素には、対応するエラー耐性強度の高い方から順に、整数値“１００”，“５０”，“０”が付与され、Ｎ＝５である場合は、５つのvideo要素には、対応するエラー耐性強度の高い方から順に、整数値“１００”，“７５”，“５０”，“２５”，“０”が付与される。
【００７２】
そして、携帯端末にてユーザにより設定されている、取得すべき画像データのエラー耐性強度の値（ユーザ設定値）Ｘus１（＝２０）と、上記各video要素７０１〜７０４に対して付与された整数値とを比較する処理が行われ、エラー耐性強度のユーザ設定値Ｘus１（＝２０）に最も近い整数値Ｙv2（＝３３）が付与されているvideo要素７０２が、選択される（図２(b)参照）。
【００７３】
上記のようにして、受信端末２００ａにて、ＳＭＩＬファイルに示されているエラー耐性の異なるビデオデータファイルから、受信端末でのユーザ設定に応じたものが指定され、指定されたビデオデータファイルを示す指定信号ＳｃがＲＴＳＰメッセージ信号Ｍrtspとしてサーバ１００ａへ送信されると、サーバ１００ａでは、受信端末２００ａからのＲＴＳＰメッセージ信号ＭrtspはＲＴＳＰメッセージ送受信部１０２にて受信され、上記指定信号ＳｃがＲＴＰデータ送信部１０３に出力される。すると、該送信部１０３では、データ格納部１２０に格納されている複数のビデオファイルの中から、該指定信号Ｓｃに基づいて所定のビデオファイルを選択してＲＴＰデータＤrtpとして送信する処理が行われる。
【００７４】
そして、上記ＲＴＰデータＤrtpがネットワーク１１を介して受信端末２００ａに伝送されると、該受信端末２００ａでは、ＲＴＰデータＤrtpがＲＴＰデータ受信部２１６にて受信され、ビデオストリームＤｅがデコード部２１０に出力される。デコード部２１０ではビデオストリームＤｅの復号化処理により画像データＤdecが生成されて表示部２１８に出力される。表示部２１８では、画像データＤdecに基づいて画像表示が行われる。
【００７５】
このように本実施の形態１のデータ伝送システム１０ａでは、サーバ１００ａを、同一の画像系列に対応する画像データの符号化データとして、Ｉフレームの周期が異なる複数のビデオストリームを格納したデータ格納部１２０と、受信端末からの指定信号Ｓｃに応じて、該複数のビデオストリームのうちの所定のビデオストリームを送信するデータ送信部１１０とを有するものとし、受信端末２００ａを、ユーザの設定内容に基づいて、サーバ１００ａ側に用意されている複数のビデオストリームのうちの、所要のエラー耐性を有するものを指定する指定信号Ｓｃをサーバ１００ａへ送信するものとしたので、ユーザの好みに応じて、送信側から提供されるビデオストリームを、伝送エラーに対する耐性の高いものとするか、あるいは映像品質のよいものとするかを選択することができる。
【００７６】
なお、上記実施の形態１では、ＳＭＩＬデータにおける各ビデオファイルに関する記述を示す記述要素として<video>を用いているが、これは<ref>であってもよい。
また、上記実施の形態１では、データ要求を行うプロトコルとしてＲＴＳＰを用い、ビデオデータを伝送するプロトコルとしてＲＴＰを用いているが、これらは他のプロトコルであってもよい。
また、上記実施の形態１では、サーバに用意されている符号化条件の異なる複数のビデオストリームに関する情報をＳＭＩＬデータに含めて伝送する場合を示したが、上記複数のビデオストリームに関する情報は、ＳＤＰ（session description protocol）データやＭＰＥＧ−４Systemデータ（ＭＰＥＧ−４におけるシーン記述データ）などに含めて伝送するようにしてもよい。
【００７７】
さらに、上記実施の形態１では、ビデオストリームのエラー耐性強度をＩフレーム周期により示す場合について説明したが、ビデオストリームのエラー耐性強度は、Ｉフレーム周期以外の、MPEG-4映像符号化規格で規定されるさまざまなエラー耐性モードを記述するための情報により示すようにしてもよい。
例えば、ビデオストリームのエラー耐性モードを記述するための情報は、ビデオストリームにおけるビデオパケットのサイズを表す情報、あるいはＨＥＣ(Head Extension Code)の使用有無（つまりＶＯＰヘッダ情報がビデオパケットのヘッダに含まれているか否か）を示す情報であってもよく、さらに、データパーティショニング（つまり重要な情報をパケットの先頭に配置すること）の使用の有無やＲＶＬＣ（Reversible Variable Length Code）、つまりパケットの先頭だけでなく後端からも可変長符号の解読が可能なデータ構造の使用の有無を示す情報であってもよい。
【００７８】
また、上記実施の形態１では、各video要素の項目に含まれる属性として、i-frame-interval属性や、エラー耐性強度を直接示すsystem-error-resilient-level（error-protection-1eve1ともいう。）属性を示したが、これらの属性値は、予め、エラー耐性強度のレベルに比例した０〜１００の整数値に変換したものであってもよく、この場合は、上記実施の形態１のように、受信端末にて、エラー耐性強度に関する属性値を、０〜１００の整数値に対応付ける数値化を行う必要はない。
【００７９】
また、上記実施の形態１では、受信すべき画像データのエラー耐性強度のレベルを設定する方法として、エラー耐性強度〔高レベル〕及びエラー耐性強度〔低レベル〕のいずれかを選択する方法（図４(a)）について示したが、受信端末における、受信すべき画像データのエラー耐性強度のレベルを設定する方法は、一定範囲内のエラー耐性強度のレベルをスライドバーなどを用いて指定する方法であってもよい。
【００８０】
図４(b)は、スライドバーを用いてエラー耐性強度のレベルを設定する携帯端末２０１ｂを説明するための図であり、該携帯端末２０１ｂにおけるエラー耐性設定画面２２ｄを示している。なお、図４(b)中、図４(a)と同一符号は、実施の形態１の携帯端末２０１ａにおけるものと同一のものを示している。
例えば、携帯端末２０１ｂのボタン操作部２１の操作により、上記実施の形態１における携帯端末２０１ａでの操作と同様に、端末の初期メニューにおける複数の項目のうちの、各種の初期設定を行うための項目〔設定〕を選択し、さらに、より具体的な項目〔ストリーミング受信設定〕，項目〔エラー耐性強度設定〕の選択を順次行うと、図４(b)に示すエラー耐性設定画面２２ｄが、携帯端末の表示パネル２２の中央に表示され、エラー耐性設定画面２２ｄの下側には、操作の案内をする画面２２ｅが表示される。
【００８１】
ここで、上記エラー耐性設定画面２２ｄは、取得すべき画像データのエラー耐性強度のレベルを、スライドバー２２ｄ１により設定する画面である。また、このエラー耐性設定画面２２ｄでは、上記スライドバー２２ｄ１を左右方向に移動可能な範囲が示されており、この移動範囲２２ｄ２における左端位置Ｌｐ，右端位置Ｒｐがそれぞれ、エラー耐性強度〔最低レベル〕を指定する位置，エラー耐性強度〔最高レベル〕を指定する位置であり、上記左端位置Ｌｐ及び右端位置Ｒｐの中間点Ｍｐは、エラー耐性強度〔中レベル〕を指定する位置である。
【００８２】
そして、この携帯端末２０１ｂのユーザ操作部２１３では、スライドバーの位置に応じて、エラー耐性強度レベルとして、０〜１００の整数値が、下記の計算式（２）に基づいて、算出される。
Ｘ＝Ｌｓ・（１／Ｒｓ）・１００ ・・・（２）
ここで、Ｘはエラー耐性強度レベル、Ｒｓは上記スライド範囲２２ｄ２における左端位置Ｌｐ及び右端位置Ｒｐの間の距離（スライド長）、Ｌｓは上記スライドバー２２ｄ１の、上記左端位置Ｌｐからの距離（スライド距離）である。
例えば、上記スライド長Ｒｓが５０mm、スライドバー２２ｄ１のスライド距離Ｌｓが１５mmである場合、上記計算式（２）より、上記エラー耐性強度レベルＸは、Ｘus１（＝（１５／５０）・１００＝３０）となる。なお、計算式（２）より算出されたエラー耐性強度レベルの計算値が、整数値でない場合には、エラー耐性強度レベルは、該計算値以上でこれに最も近い整数値とされる。
【００８３】
また、上記画面２２ｅには、ボタン操作部２１の左右カーソルキー２１ｂ，２１ｄの操作により、エラー耐性設定画面２２ｅに示されたスライドバー２２ｄ１を移動させてエラー耐性強度のレベルを指定し、かつ、ボタン操作部２１の確定ボタン２１ｅの操作により、指定されたエラー耐性強度のレベルを確定すべきことが示されている。
そして、ユーザ操作、つまりボタン操作部２１の左，右カーソルキー２１ｂ，２１ｄにより、スライドバー２２ｄ１のスライド距離Ｌｓが指定され、確定ボタン２１ｅの操作により、指定されたスライド距離が確定されると、上記計算式（２）に基づいてエラー耐性強度が計算され、その計算値が、携帯端末のエラー耐性強度値として保持される。
【００８４】
また、この場合も、携帯端末にてユーザにより設定されている、取得すべき画像データのエラー耐性強度の値（ユーザ設定値）Ｘus１（＝３０）に基づいて、上記各video要素７１１〜７１４のうちの１つを決定する処理では、上記実施の形態１で示したように、エラー耐性強度のユーザ設定値Ｘus１に最も近い整数値Ｙv2（＝３３）が付与されているvideo要素７１２が選択される（図２(b)参照）。
【００８５】
なお、ユーザ設定値に基づいて、上記各video要素７１１〜７１４のうちの１つを決定する処理は、上記実施の形態１のように、ユーザ設定値Ｘus１に最も近い整数値が付与されているvideo要素が選択される処理に限らず、図５(b)に示すように、例えば、ユーザ設定値Ｘus２（＝４０）以上で、かつ該設定値に最も近い整数値Ｙv3(＝６７）が付与されているvideo要素７１３を選択するようにしてもよい。
【００８６】
また、上記実施の形態１では、ユーザが、受信端末にて、受信すべき画像データに対するエラー耐性強度を設定する場合について説明したが、受信端末は、受信すべき画像データに対するエラー耐性強度を、受信電波の状態に応じて自動的に設定するものであってもよい。
【００８７】
さらに、上記実施の形態１では、同一の画像系列に対応するエラー耐性の異なる複数の画像データとして、Ｉフレームに対応する符号化データの出現間隔の異なるものを示したが、これらのエラー耐性の異なる複数の画像データは、それぞれフレームレートが異なるもの、該各画像データに対する伝送プロトコルが異なるもの、あるいは、パケット化する際のデータ単位の大きさの異なるものであってもよい。
【００８８】
例えば、フレームレートが高い画像データは、フレームレートが低い画像データに比べてエラー耐性強度が高いものであり、再送や重複伝送を含む伝送プロトコルにより伝送される画像データは、再送や重複伝送を含まない伝送プロトコルにより伝送される画像データに比べて、エラー耐性強度が高いものである。また、パケット化の際のデータ単位が小さい画像データは、パケット化の際のデータ単位が大きい画像データに比べて、エラー耐性強度が高いものである。
【００８９】
以下、パケット化する際のデータ単位の大きさの異なる複数の画像データについて具体的に説明する。
図６は、同一の画像系列に対応するエラー耐性の異なる２つの画像データとして、デジタル映像信号Ｓdvを符号化してなる、パケット化する際のデータ単位の大きさの異なる第１及び第２の画像符号化データを示している。
【００９０】
すなわち、図６(a)に示す第１の画像符号化データＤ１は、各フレームＦ１〜Ｆ３に対応するデジタル映像信号を、符号化器Ｅncにて、１フレームの符号化データが１つのビデオパケットＶＰa1に格納されるよう符号化して得られた、エラー耐性強度の低いものである。このようなエラー耐性の低い第１の画像符号化データＤ１では、フレームＦ２に対応する符号化データの伝送中にて伝送エラーが発生した場合、エラー部Ｐerrを含むパケットＶＰa1の符号化データ、つまりフレームＦ２の符号化データがすべて復号化できなくなる。
【００９１】
また、図６(b)に示す第２の画像符号化データＤ２は、各フレームＦ１〜Ｆ３に対応するデジタル映像信号を、符号化器Ｅncにて、１フレームに対応する符号化データが、３つのビデオパケットＶＰb1〜ＶＰb3に分散して格納されるよう符号化して得られた、エラー耐性強度の高いものである。このようなエラー耐性の高い第２の画像符号化データＤ２では、フレームＦ２に対応する符号化データの伝送中に伝送エラーが発生しても、エラー部Ｐerrが含まれるパケットＶＰb3に対応する符号化データの復号化ができなくなるだけで、他のパケットＶＰb1及びＶＰb2に対応する符号化データの復号化は可能である。
なお、画像符号化データは、上記のように、フレーム毎に、あるいはフレームより小さいデータ単位毎にパケットされているものに限らず、フレームより大きいデータ単位毎にパケット化されているものであってもよい。
【００９２】
（実施の形態２）
図７は本発明の実施の形態２によるデータ伝送システムを説明するための図であり、該システムのサーバ及びクライアント端末の構成を示している。
この実施の形態２のデータ伝送システム１０ｂは、実施の形態１のシステム１０ａにおけるクライアント端末２００ａに代えて、ユーザにより設定された、受信すべき画像データのエラー耐性強度と、サーバ１００ａからのＲＴＰデータＤrtpの伝送エラーの発生率とに基づいて、最適なエラー耐性強度を有するビデオストリームを決定し、決定したビデオストリームを指定する指定信号Ｓｃをサーバ１００ａに送信するクライアント端末２００ｂを備えたものである。
【００９３】
つまり、この実施の形態２の受信端末２００ｂは、最初に受信する画像データを、ユーザにより設定されたエラー耐性強度に基づいて、ＳＭＩＬファイルに示される複数のビデオデータファイルから選択したものとし、受信開始後は、受信される画像データのエラー発生率に応じて、受信中の所定のエラー耐性強度を有する画像データを、ＳＭＩＬファイルに示される複数のビデオデータファイルから選択したものに切替えるものである。
【００９４】
以下、この実施の形態２のクライアント端末２００ｂについて詳述する。
このクライアント端末２００ｂは、クライアント端末２００ａにおけるＲＴＰデータ受信部２１６，及びＳＭＩＬデータ解析部２１２とは、それぞれ異なった動作を行うＲＴＰデータ受信部２１６ｂ，及びＳＭＩＬデータ解析部２１２ｂを有している。なお、このクライアント端末２００ｂにおけるＨＴＴＰ送受信部２１１，ＲＴＳＰメッセージ送受信部２１４，デコード部２１０，ユーザ操作部２１３，及び表示部２１８は、実施の形態１のクライアント端末２００ａにおけるものと同一のものである。
【００９５】
上記ＲＴＰデータ受信部２１６ｂは、ＲＴＰデータＤrtpを受信するとともに、ＲＴＰデータＤrtpにおけるＲＴＰパケットのタイムスタンプ情報Ｉtsを出力し、さらに該ＲＴＰデータの伝送エラーの発生率を検出して、このエラー発生率を示すエラー信号Ｒerrを出力するものである。また、上記ＳＭＩＬデータ解析部２１２ｂは、エラー信号Ｒerrが示すエラー発生率と、一定の閾値との比較結果に応じて、ＲＴＰデータとしてサーバから供給されるビデオストリームを、符号化条件（つまりエラー耐性強度）が異なる他のビデオストリームに切り換えるための指定信号ＳｃをＲＴＳＰメッセージ送受信部２１４に出力するものである。なお、上記一定の閾値は、この受信端末２００ｂに対して予め設定されている端末固有の基準値である。
【００９６】
ここで、上記ＲＴＰデータ受信部２１６ｂでは、ＲＴＰパケット（ＲＴＰデータ）のヘッダ部に含まれるシーケンス番号情報に基づいて上記パケットロス率がエラー発生率として計算される。また、ＳＭＩＬデータ解析部２１２ｂでは、パケットロス率が大きくなってきた時、Ｉフレーム周期の短いビデオストリームを選択し、一方、パケットロス率が低い時は、Ｉフレーム周期の長いビットストリームを選択するための指定信号Ｓｃが出力される。
【００９７】
以下、上記エラー発生率の計算を具体的に説明する。
上記ＲＴＰパケットには、そのヘッダ部に含まれるシーケンス番号情報が示す、パケット伝送順の連続したシーケンス番号が付与されている。ＲＴＰ受信部２１６ｂは、一定の単位時間毎に受信すべきＲＴＰパケットの総数Ｎａを、その単位時間の最初に受信したＲＴＰパケットのシーケンス番号と、該単位時間の最後に受信したＲＴＰパケットのシーケンス番号から算出するとともに、実際にこの単位時間内に受信されたＲＴＰパケットの総数Ｎｒをカウントし、その時点でのエラー発生率Ｅrateを、下記の計算式（３）により求める。
Ｅrate ＝ Ｎｒ／Ｎａ ・・・（３）
次に動作について説明する。
この実施の形態２のデータ伝送システム１０ｂの動作は、受信端末２００ｂのＳＭＩＬデータ解析部２１２ｂ及びＲＴＰデータ受信部２１６ｂの動作のみ、実施の形態１のデータ伝送システム１０ａの動作と異なっている。
つまり、受信端末２００ｂでは、実施の形態１の受信端末２００ａと同様、所望の画像データに対応するＳＭＩＬデータの要求を行う前に、ユーザ操作部２１３に対するユーザの操作により種々の設定が行われる。
つまり、ユーザは、図４(a)に示すエラー耐性設定画面２２ｂにて、受信すべき画像データのエラー耐性強度のレベルを設定する。そして、ユーザが、画像データ選択画面（図示せず）にて、取得したい画像データを指定する操作を行うと、この操作に応じた操作信号Ｓop1がＨＴＴＰ送受信部２１１に入力され、ＨＴＴＰ送受信部２１１からは、指定した画像データに関連するＳＭＩＬデータを要求する信号Ｓd1（ＳＭＩＬ要求メッセージＭdr）（図１(b)参照）がサーバ１００ａに送信される。
【００９８】
すると、サーバ１００ａでは、そのＨＴＴＰ送受信部１０１により、受信端末２００ｂからのＳＭＩＬデータの要求信号Ｓd1が受信され、該ＨＴＴＰ送受信部１０１では、上記ＳＭＩＬデータ要求信号Ｓd1に応じたＳＭＩＬファイルＤａを、データ格納部１２０から読出し、これをＳＭＩＬデータＤsmとしてＨＴＴＰにより送信する処理が行われる。このＳＭＩＬデータＤsmはネットワーク１１を介して受信端末２００ｂへ伝送され、そのＨＴＴＰ送受信部２１１にて受信される。
【００９９】
受信端末２００ｂでは、上記受信されたＳＭＩＬデータＤsmはＳＭＩＬデータ解析部２１２ｂにて解析され、４つのビデオデータファイルのうち、ユーザ設定の内容に最も適合するものが選択され、選択されたビデオデータファイルを示す指定信号ＳｃがＲＴＳＰメッセージ送受信部２１４に出力される。該ＲＴＳＰメッセージ送受信部２１４では、指定信号ＳｃがＲＴＳＰによりＲＴＳＰメッセージ信号Ｍrtspとしてサーバ１００ａへ送信する処理が行われる。
【０１００】
すると、サーバ１００ａでは、受信端末２００ｂからのＲＴＳＰメッセージ信号ＭrtspはＲＴＳＰメッセージ送受信部１０２にて受信され、上記指定信号ＳｃがＲＴＰデータ送信部１０３に出力される。すると、該送信部１０３では、データ格納部１２０に格納されている複数のビデオファイルの中から、該指定信号Ｓｃに基づいて所定のビデオファイルを選択してＲＴＰデータＤrtpとして送信する処理が行われる。
【０１０１】
そして、上記ＲＴＰデータＤrtpがネットワーク１１を介して受信端末２００ｂに伝送されると、該受信端末２００ｂでは、ＲＴＰデータＤrtpがＲＴＰデータ受信部２１６ｂにて受信され、ビデオストリームＤｅがデコード部２１０に出力される。デコード部２１０ではビデオストリームＤｅの復号化処理により画像データＤdecが生成されて表示部２１８に出力される。表示部２１８では、画像データＤdecに基づいて画像表示が行われる。
【０１０２】
このようにサーバ１００ａから受信端末２００ｂへＲＴＰデータＤrtpが伝送されている状態で、上記ＲＴＰデータ受信部２１６ｂにて、ＲＴＰデータＤrtpの伝送エラーの発生率が検出され、このエラー発生率を示すエラー信号Ｒerrが上記ＳＭＩＬデータ解析部２１２ｂに出力される。
【０１０３】
すると、ＳＭＩＬデータ解析部２１２ｂでは、エラー信号Ｒerrが示すエラー発生率と、この受信端末２００ｂ固有の基準値である一定の閾値との比較結果に基づいて、ＲＴＰデータとしてサーバ１００ａから供給されるビデオストリームを、符号化条件（つまりエラー耐性強度）が異なる他のビデオデータに切り換えるための指定信号ＳｃがＲＴＳＰメッセージ送受信部２１４に出力される。すると、ＲＴＳＰメッセージ送受信部２１４では、該指定信号ＳｃをＲＴＳＰによりＲＴＳＰメッセージ信号Ｍrtspとしてサーバ１００ａへ送信する処理が行われる。
【０１０４】
サーバ１００ａでは、受信端末２００ｂからのＲＴＳＰメッセージ信号ＭrtspがＲＴＳＰメッセージ送受信部１０２にて受信され、上記指定信号ＳｃがＲＴＰデータ送信部１０３に出力される。すると、該送信部１０３では、データ格納部１２０に格納されている複数のビデオファイルの中から、該指定信号Ｓｃにより示されるビデオファイルを選択してＲＴＰデータＤrtpとして送信する処理が行われる。
【０１０５】
以下、上記画像データの伝送中における、エラー発生率を計算する処理、並びに、算出されたエラー発生率に応じて、ストリームを切替える処理について、具体的に説明する。
上記ＳＭＩＬデータ解析部２１２ｂは、ＳＭＩＬファイルに記述されている各video要素に関する情報、及び該各video要素に対応する画像データ（ビデオストリーム）の受信状態を示す情報を記録するワークメモリ（図示せず）を有している。
【０１０６】
図８(a)は、このワークメモリに記録されている情報を示している。
ここで、上記ワークメモリには、図５(a)に示すＳＭＩＬファイルＦSD２における、video要素７１１〜７１４に関する情報が記録されており、このメモリに記録されている項目の数（エントリ数）は、ＳＭＩＬファイルＦSD２における、<switch>要素７３１ａ及び</switch>要素７３１ｂの間に記述されたエレメント数（つまりvideo要素の数）に一致している。
【０１０７】
各項目（エントリ）には、図８(a)に示すように、対応するビデオストリームのネットワーク上での所在場所を示すＵＲＬ（サーバアドレス）と、対応するビデオストリームが有するエラー耐性強度と、対応するビデオストリームが、受信されて再生されている受信（再生）状態であるか、受信も再生もされていない非受信（非再生）状態であるかを示す実行フラグと、対応するビデオストリームに関する、最新のタイムスタンプとが含まれている。
エントリ番号〔２〕の項目Ｅ２では、実行フラグの値が“１”となっており、これは、この項目Ｅ２に対応するビデオストリームが、現在、受信（再生）が行われていることを示している。また、エントリ番号〔１〕，〔３〕，〔４〕の項目Ｅ１，Ｅ３，Ｅ４では、実行フラグの値が“０”となっており、これは、これらの項目Ｅ１，Ｅ３，Ｅ４に対応するビデオストリームが、現在、受信（再生）が行われていないことを示している。
【０１０８】
また、各項目Ｅ１〜Ｅ４におけるエラー耐性強度の値は、“０”，“３３”，“６７”，“１００”となっており、これらの値は、実施の形態１で説明したように、計算式（１）を用いて、ＳＭＩＬファイルＦSD2における、system-error-resilient-level属性の値に基づいて算出されたものである。
【０１０９】
また、各項目Ｅ１〜Ｅ４における最新タイムスタンプは、受信した最新のRTPパケットのヘッダに付与されているタイムスタンプにより随時更新されるものであり、特定の項目に対応するビデオストリームを、他の項目に対応するビデオストリームに切り替える際、データ要求タイミングの決定に用いるものである。
図８(a)では、項目Ｅ１，Ｅ３，Ｅ４における最新タイムスタンプの値は“０”であり、この値“０”は、これらの項目に対応するビデオストリームはまだ受信されていないことを示している。また、項目Ｅ２における最新タイムスタンプの値は“3060000”である。ＭＰＥＧ-４では、タイムスタンプは９０ｋＨｚのクロックを用いて設定されているため、この値“3060000”は、３４秒に相当する。
【０１１０】
また、図８(b)は、受信端末２００ｂにおけるエラー発生率とエラー耐性強度との関連付けを示している。
この関連付けに関する情報は、ＳＭＩＬデータ解析部２１２ｂの情報記憶部（図示せず）に、受信端末固有のテーブル情報Ｒteとして記録されているものである。ここでは、エラー発生率（閾値）Ｅth（Ｅth＝０）パーセント，Ｅth（０＜Ｅth≦３）パーセント，Ｅth（３＜Ｅth≦６）パーセント，Ｅth（６＜Ｅth）パーセントはそれぞれ、エラー耐性強度が最低レベルであるビデオストリーム、エラー耐性強度の数値化レベルが“３０”であるビデオストリーム、エラー耐性強度の数値化レベルが“６０”であるビデオストリーム、エラー耐性強度が最高のビデオストリームに対応している。つまり、このテーブル情報では、エラー発生率０パーセント，３パーセント，６パーセントが、エラー発生率に応じてビデオストリームを切替える際の閾値となっている。
【０１１１】
次に、エラー発生率の変動に応じてビデオストリームの切替えを行う際のＳＭＩＬデータ解析部２１２ｂの動作について説明する。
なお、受信端末におけるエラー耐性強度の設定値Ｘus２は、図５(b)に示すように“４０”であり、また、ＳＭＩＬファイルＦSD２に示されている各video要素に対応するビデオストリームのうちで、そのエラー耐性強度の数値化レベルがエラー耐性強度の設定値Ｘus２に最も近いものを、受信すべきビデオストリームとして選択するものとする。また、ＳＭＩＬファイルＦSD２に示されている各video要素に付与されているエラー耐性強度の数値化レベルＹは、上記計算式（１）により算出されたものである。つまり、video要素７１４には整数値Ｙs4（＝１００）が、video要素７１３には整数値Ｙs3（＝６７）が、video要素７１２には整数値Ｙs2（＝３３）が、video要素７１１には整数値Ｙs1（＝０）が付与されている。従って、受信端末２００ｂは、最初に受信するビデオストリームとして、video要素７１２に対応する、エラー耐性強度の数値化レベルＹがＹs2（＝３３）であるビデオストリームを要求して、受信することとなる。
【０１１２】
まず、受信端末２００ｂのＳＭＩＬデータ解析部２１２ｂでは、ワークメモリに、エントリ〔２〕に対応する実行フラグの値“１”が書き込まれる。
そして、 受信端末２００ｂのＲＴＳＰメッセージ送受信部２１４では、エントリ〔２〕に対応するビデオストリーム、つまりvideo要素７１２に示されるビデオストリームを要求するデータ要求メッセージを、RTSPにより送信する処理が行われる。
【０１１３】
その後、受信端末２００ｂに、video要素７１２に対応するビデオストリームが入力されると、ＲＴＰデータ受信部２１６ｂでは、video要素７１２に対応するビデオストリームが受信され、該ビデオストリームに対応する最初に受信したＲＴＰパケットのタイムスタンプ情報Ｉtsが、ＳＭＩＬデータ解析部２１２ｂに出力される。
すると、ＳＭＩＬデータ解析部２１２ｂでは、ワークメモリに記録されている、エントリ〔２〕に対応するタイムスタンプの値が、順次最新の値に更新される。
【０１１４】
そして、ＲＴＰデータ受信部２１６ｂにて、一定時間（例えば10秒間）、受信状況を観測した結果、エラー発生率がゼロである場合、ＳＭＩＬデータ解析部２１２ｂでは、図８(b)に示すテーブル情報Ｒteに基づいて、ＳＭＩＬファイルに示されているビデオストリームのうちの、エラー耐性強度が最低のビデオストリームが選択され、このビデオストリームを、受信すべき画像データとして指定する指定信号が、ＲＴＳＰメッセージ送受信部２１４に出力される。
【０１１５】
このとき、ＳＭＩＬデータ解析部２１２ｂでは、エントリ〔２〕に対応する実行フラグの値を“０”に、エントリ〔１〕に対応する実行フラグの値を“１”にする変更する処理が行われる。
その後、ＲＴＳＰメッセージ送受信部２１４では、エントリ〔１〕に対応するＵＲＬ（サーバアドレス）に対して、ＲＴＳＰにより、データ要求が行われ、その際、エントリ〔２〕に対応する最新タイムスタンプに基づいて、要求するデータ（ビデオストリーム）の先頭位置が指定される。
【０１１６】
図９は、ＲＴＳＰによるシーケンス、つまりメッセージ交換の例を示す図である。
ビデオストリームの切替えを行う場合、まず、受信端末２００ｂのＲＴＳＰメッセージ送受信部２１４から、エントリ〔１〕に対応するＵＲＬ（サーバアドレス）に対して、ＲＴＳＰにより、video要素７１１が示すビデオストリームに対するDESCRIBE要求メッセージ（DESCRIBE rtsp://s.com/s1.mp4 RTSP/1.0）Ｓm1が送信される。すると、上記ＵＲＬに対応するサーバ１００ａのＲＴＳＰメッセージ送受信部１０２からは、上記DESCRIBE要求メッセージＳm1に対する応答メッセージ（RTSP/1.0 200 OK）Ｒm1が受信端末２００ｂに対して送信される。この応答メッセージＲm1には、video要素７１１が示すビデオストリームに対するＳＤＰデータＤsdが含まれている。
【０１１７】
続いて、受信端末２００ｂのＲＴＳＰメッセージ送受信部２１４から、エントリ〔１〕に対応するＵＲＬ（サーバアドレス）に対して、ＲＴＳＰにより、video要素７１１が示すビデオストリームに対する第１のSETUP要求メッセージ（SETUP rtsp://s.com/s1.mp4/trackID=1 RTSP/1.0）Ｓm2及び第２のSETUP要求メッセージ（SETUP rtsp://s.com/s1.mp4/trackID=2 RTSP/1.0）Ｓm3が送信される。すると、上記ＵＲＬに対応するサーバ１００ａのＲＴＳＰメッセージ送受信部１０２からは、上記第１，第２のSETUP要求メッセージＳm2，Ｓm3に対する応答メッセージ（RTSP/1.0 200 OK）Ｒm2，Ｒm3が受信端末２００ｂに対して送信される。
【０１１８】
その後、受信端末２００ｂのＲＴＳＰメッセージ送受信部２１４から、エントリ〔１〕に対応するＵＲＬ（サーバアドレス）に対して、ＲＴＳＰにより、video要素７１１が示すビデオストリームに対するＰＬＡＹ要求メッセージ（PLAY rtsp://s.com/s1.mp4 RTSP/1.0）Ｓm4が送信される。ＰＬＡＹ要求の際には、要求データの先頭位置を情報（Range:npt=37-）により指定する。現在受信中のビデオストリームに対する最新の受信ＲＴＰパケットのタイムスタンプ値は、ビデオストリームに対する表示時刻が３４秒であることを示しているため、要求データの先頭位置は、３４秒以降とする。ここでは、ビデオストリームの切替えに対する処理遅延時間を３秒程度と想定して、要求データの先頭位置を、表示時刻が３７秒である位置としている。
【０１１９】
上記ＰＬＡＹ要求メッセージＳm4に対しては、上記ＵＲＬに対応するサーバ１００ａのＲＴＳＰメッセージ送受信部１０２から、応答メッセージ（RTSP/1.0 200 OK）Ｒm4が受信端末２００ｂに対して送信される。このとき、同時に、上記サーバ１００ａのＲＴＰ送信部１０３では、ビデオストリーム（video要素７１１）のＲＴＰパケットをＲＴＰにより受信端末に送信する処理が開始され（時刻Ｔs2）、受信端末２００ａのＲＴＰデータ受信部２１６ｂでは、該ＲＴＰパケットを受信する処理が開始される（時刻Ｔr2）。
【０１２０】
また、ＲＴＳＰメッセージ送受信部２１４では、ＲＴＰデータ受信部２１６ｂにて受信された、エントリ〔１〕に対するＲＴＰパケットのタイムスタンプが、エントリ〔２〕に対するＲＴＰパケットのタイムスタンプの値以下であるか否かの判定が行われ、エントリ〔１〕に対するＲＴＰパケットのタイムスタンプが、エントリ〔２〕に対するＲＴＰパケットのタイムスタンプの値以下であれば、エントリ〔２〕に対するサーバに対して、TEARDOWN要求メッセージＳm5を発行する処理が行われる。同時に、エントリ〔２〕に対するＲＴＰパケットを受信する処理が停止される（時刻Ｔr3）。
【０１２１】
言いかえると、ビデオストリーム（s1.mp4）に対応する、最初に受信したＲＴＰパケットのタイムスタンプ値から計算される表示時刻（T1）が、ビデオストリーム（s2.mp4）に対応する、既に受信している最新のＲＴＰパケットのタイムスタンプ値から計算される表示時刻（T2）よりも小さい場合のみ、ＲＴＰデータ受信部２１６ｂは、ビデオストリーム（s1.mp4）に対応するＲＴＰパケットの受信を停止する。これにより、ビデオストリームの切替えの際に、切替え後のビデオストリームの再生が、切替えの前のビデオストリームの再生に続けて途切れなく行われることとなる。
【０１２２】
一方、エントリ〔２〕に対するサーバ１００ａでは、ＲＴＰデータ送信部１０３は上記TEARDOWN要求メッセージ（TEARDOWN rtsp://s.com/s2.mp4 RTSP/1.0）Ｓm5の受信により、エントリ〔２〕に対するＲＴＰパケットの送信を停止し（時刻Ｔs3）、TEARDOWN要求メッセージＳm5に対する応答メッセージＲm5を受信端末２００ｂに送信する処理が行われる。
【０１２３】
受信端末２００ｂのＲＴＰデータ受信部２１６ｂは、エントリ〔１〕に対するＲＴＰパケットのタイムスタンプと重なるタイムスタンプを持つ、エントリ〔２〕に対するＲＴＰパケットを破棄する。
一方、受信状況の観測結果、エラー発生率が５パーセントとなった場合は、図８(b)に示すテーブル情報Ｒteに基づいて、エラー耐性強度の数値化レベルが“６０”に近いものが選択され、受信中のビデオストリームを、エントリ〔３〕に対応するビデオストリームに切り替える処理が行われる。
なお、図９中、時刻Ｔs1は、ビデオストリーム（s2.mp4）の送信開始時刻、時刻Ｔs4は、ビデオストリーム（s1.mp4）の送信停止時刻、時刻Ｔr1は、ビデオストリーム（s2.mp4）の受信開始時刻、時刻Ｔr4は、ビデオストリーム（s1.mp4）の受信停止時刻である。
【０１２４】
図１０は、上記受信端末でのビデオストリームの切替処理を、具体的なＲＴＰパケットを例に挙げて説明するための図である。
図１０(a)は、ビデオストリーム（s2.mp4）に対応する受信バッファに格納されている、最後に受信した数個のＲＴＰパケットＰ２(k-s)〜Ｐ２(k+3)を示しており、図１０(b)は、ビデオストリーム（s1.mp4）に対応する受信バッファに格納されている、最初に受信した数個のＲＴＰパケットＰ１(j)〜Ｐ１(j+m)を示している。なお、ここで、ＲＴＰパケットＰ２(k)，Ｐ２(k+1)，Ｐ２(k+2)，Ｐ２(k+3)のタイムスタンプの値から計算される表示時刻Ｔ２(k)，Ｔ２(k+1)，Ｔ２(k+2)，Ｔ２(k+3)は、それぞれ、36.00（秒），36.50（秒），37.00（秒），37.50（秒）であり、ＲＴＰパケットＰ１(j)，Ｐ１(j+1)，Ｐ１(j+2)，Ｐ１(j+3) ，Ｐ１(j+4)のタイムスタンプの値から計算される表示時刻Ｔ１(j)，Ｔ１(j+1)，Ｔ１(j+2)，Ｔ１(j+3) ，Ｔ１(j+4)は、それぞれ、37.00（秒），37.25（秒），37.50（秒），37.75（秒），38.00（秒）である。
【０１２５】
具体的には、ＲＴＰデータ受信部２１６ｂは、ビデオストリーム（s1.mp4）の受信をＲＴＰパケットＰ１(j)から開始し、ビデオストリーム（s2.mp4）の受信を、ＲＴＰパケットＰ２(k+3)を受信した時点で終了する。そして、タイムスタンプ値（表示時刻）がビデオストリーム（s1.mp4）のものと重なる、ビデオストリーム（s2.mp4）に対応するＲＴＰパケットＰ２(k+2)，Ｐ２(k+3)は破棄する。
【０１２６】
図１１は、上記受信端末でのビデオストリームの切替処理のフローを示す図である。
ＳＭＩＬデータ解析部２１２ｂが、エラー発生率に基づいて、受信すべきビデオストリームをビデオストリーム（s2.mp4）からビデオストリーム（s1.mp4）に切り替えることを決定すると、図１１に示すビデオストリームの切替処理が開始される。
【０１２７】
まず、ＲＴＰデータ受信部２１６ｂでは、切替後のビデオストリーム（s1.mp4）に対応する、ＲＴＰパケットＰｓ１を受信する処理が行われるとともに、ＳＭＩＬデータ解析部２１２ｂでは、変数Ｔａに、最初に受信したＲＴＰパケットＰｓ１のタイムスタンプ値Ｔｓ１から算出される表示時刻（切替後データの表示時刻）が設定される（ステップＳ１）。
【０１２８】
次に、ＳＭＩＬデータ解析部２１２ｂでは、変数Ｔｂに、切替前のビデオストリーム（s2.mp4）に対応する、最後に受信したＲＴＰパケットＰｓ２のタイムスタンプ値Ｔｓ２から算出される表示時刻（切替前データの表示時刻の最大値）が設定される（ステップＳ２）。
次に、ＳＭＩＬデータ解析部２１２ｂでは、上記変数Ｔａ、つまり上記表示時刻（切替後データの表示時刻）が、上記変数Ｔｂ、つまり上記表示時刻（切替前データの表示時刻の最大値）以下であるか否かの判定が行われる（ステップＳ３）。
【０１２９】
上記ステップＳ３での判定の結果、上記変数Ｔａが上記変数Ｔｂ以下でないとき、さらに、切替前のビデオストリームに対応するＲＴＰパケットを受信したか否かの判定が行われる（ステップＳ４）。
上記ステップＳ４での判定の結果、切替前のビデオストリームに対応するＲＴＰパケットを受信していないときは、再度ステップＳ４での判定が行われる。
一方、上記ステップＳ４での判定の結果、切替前のビデオストリームに対応するＲＴＰパケットを受信したときは、ステップＳ２にて、上記変数Ｔｂに、最後に受信したＲＴＰパケットＰｓ２のタイムスタンプ値Ｔｓ２から得られる表示時刻を設定する処理が行われる。
【０１３０】
また、上記ステップ３での判定の結果、上記変数Ｔａが上記変数Ｔｂ以下であるときは、ＲＴＰデータ受信部２１６ｂでは、切替前のビデオストリーム（s2.mp4）に対応する、ＲＴＰパケットＰｓ２を受信する処理が停止され、かつ、切替前のビデオストリーム（s2.mp4）に対応する、タイムスタンプ値がビデオストリーム（s1.mp4）のものと重なるＲＴＰパケットＰｓ２を破棄する処理が行われ、さらにＲＴＳＰメッセージ送受信部２１４では、切替前のビデオストリーム（s2.mp4）に対応する、ＲＴＰパケットＰｓ２の送信を停止する要求メッセージの発行が行われる（ステップＳ５）。
【０１３１】
図１２は、上記ビデオストリームの切替時の、受信端末のＲＴＳＰメッセージ送受信部２１４及びＲＴＰデータ受信部２１６ｂでの処理を、表示時刻に従って具体的に説明する模式図である。
ＲＴＰデータ受信部２１６ｂのエラー発生率計算部２１６ｂ１では、ＲＴＰパケットの受信中、例えば、５秒に１回の間隔で、エラー発生率を計算する処理Ｐ１が行われる。
そして、例えば、エラー発生率の変動により、現在受信中のビデオストリーム（例えばs2.mp4）の他のビデオストリーム（例えばs1.mp4）への切替を決定する処理Ｐ２が行われると（時刻Ｔp2）、ＲＴＳＰメッセージ送受信部２１４では、ビデオストリーム（s1.mp4）に対するDESCRIBE要求メッセージ、SETUP要求メッセージ，PLAY要求メッセージを発行する処理Ｐ３が行われる。
【０１３２】
その後、ＲＴＰデータ受信部２１６ｂでは、ビデオストリーム（s1.mp4）に対するＲＴＰパケットＰ１(j)を受信すると、この最初に受信したＲＴＰパケットＰ１(j)のタイムスタンプ値に相当する表示時刻（37.00秒）を、切替え前のビデオストリーム（s2.mp4）に対する、この時点で受信している最新のＲＴＰパケットＰ２(k+2)のタイムスタンプ値に相当する表示時刻（37.00秒）と比較する処理Ｐ４が、図１１に示す処理フローに従って行われる（時刻Ｔp4）。
【０１３３】
この比較処理Ｐ４の結果、ビデオストリーム（s1.mp4）に対応する、最初に受信したＲＴＰパケットＰ１(j)のタイムスタンプ値と重なるタイムスタンプ値が付与されている、ビデオストリーム（s2.mp4）に対応するＲＴＰパケットが受信されている場合、ビデオストリーム（s2.mp4）に対応するＲＴＰパケットの受信を停止する処理Ｐ５が行われる（時刻Ｔp5）。このため、受信停止処理Ｐ５の後に送信されてくるＲＴＰパケットＰ２(k+4)〜Ｐ２(k+n)は、この受信端末では、受信されない。また、切替え前のビデオストリーム（s2.mp4）に対応する、受信されたＲＴＰパケットＰ２(k+2)及びＰ２(k+3)のタイムスタンプ値に相当する表示時刻は、切替え後のビデオストリーム（s1.mp4）に対応する、最初に受信したＲＴＰパケットＰ１(j)のタイムスタンプ値に相当する表示時刻より大きいので、これらのＲＴＰパケットＰ２(k+2)及びＰ２(k+3)は、ＲＴＰデータ受信部２１６ｂにて破棄される。
さらに、上記ＲＴＰデータ受信部２１６ｂでの受信停止処理Ｐ５と並行して、ＲＴＳＰメッセージ送受信部２１４では、ビデオストリーム（s2.mp4）に対するTEARDOWN要求メッセージを発行する処理Ｐ６が行われる。
【０１３４】
なお、図１２中、Ｐ２(k-r)は、ビデオストリーム（s2.mp4）に対応する先頭のＲＴＰパケットであり、Ｐ２(k-7)〜Ｐ２(k+3)は、受信停止処理Ｐ５の開始の数秒前から受信停止処理Ｐ５の開始直前までの間に受信したビデオストリーム（s2.mp4）に対応するＲＴＰパケットであり、これらのＲＴＰパケットＰ２(k-7)，Ｐ２(k-6)，Ｐ２(k-5)，Ｐ２(k-4)，Ｐ２(k-3)，Ｐ２(k-2)，Ｐ２(k-1)，Ｐ２(k)，Ｐ２(k+1)にはそれぞれ、表示時刻32.50（秒），33.00（秒），33.50（秒），34.00（秒），34.50（秒），35.00（秒），35.50（秒），36.00（秒），36.50（秒）に相当するタイムスタンプ値が付与されている。
【０１３５】
また、Ｐ１(j+1)〜Ｐ１(j+3)は、ビデオストリーム（s1.mp4）に対応する、最初に受信したＲＴＰパケットＰ１(j)に続くＲＴＰパケットであり、これらのＲＴＰパケットＰ１(j+1)〜Ｐ１(j+3)には、表示時刻37.25（秒），37.50（秒），37.75（秒）に相当するタイムスタンプ値が付与されている。また、Ｐ１(j+m)は、ビデオストリーム（s1.mp4）に対応する、最後に受信したＲＴＰパケットである。
【０１３６】
なお、ＲＴＰパケットのヘッダに書かれたタイムスタンプ値は、ＲＴＳＰによる送信メッセージにおけるRTP-Infoフィールドに記述されているtimestampにより、その初期値が与えられるものであるため、上記比較処理では、異なるビデオストリームに対応するＲＴＰパケットの間で、単純にタイムスタンプ値同士が比較されるのではなく、タイムスタンプ値に相当する表示時刻同士が比較される。
【０１３７】
また、上記表示時刻Ｔｄは、下記の計算式（４）により算出される。
Ｔｄ＝Ｔｈ＋（Ｐts−Ｐtsi）／Ｓts ・・・（４）
ここで、Ｔｈは、ＰＬＡＹ応答メッセージにおけるRangeフィールドに指定されている再生データの先頭位置を示す時刻であり、Ｐtsは、各パケットに付与されているタイムスタンプ（パケットタイムスタンプ）の値であり、Ｐtsiは、上記タイムスタンプの初期値であり、Ｓtsはタイムスケールであり、該タイムスケールは、DESCRIBE要求の応答としてサーバから返されるSDP情報中にて指定されている。
【０１３８】
このように本実施の形態２のデータ伝送システム１０ｂでは、実施の形態１の受信端末２００ａのＲＴＰデータ受信部２１６に代えて、サーバ１００ａからのＲＴＰデータＤrtpを受信するとともに、受信したＲＴＰパケットの解析により、受信端末におけるＲＴＰパケットのロス率（伝送エラー率）を示すエラー信号ＲerrをＳＭＩＬデータ解析部２１２ｂに出力するＲＴＰデータ受信部２１６ｂを備え、データ解析手段２１２ｂでは、該パケットのロス率の変動に応じて、サーバ１００ａから提供されるビデオストリームを、伝送エラー耐性の高いものあるいは映像品質の高いものに切り換えることをサーバに指令する信号（データ指定信号）Ｓｃを発生するので、受信端末２００ｂでは、伝送エラーの発生率が高いときには、サーバ側に用意されているビデオストリームのうちで、Ｉフレーム周期の短いエラー耐性の高いものを受信することができ、伝送エラーの発生率が低いときには、サーバ側に用意されているビデオストリームのうちで、Ｉフレーム周期の長い映像品質の高いものを受信することができる。
【０１３９】
なお、上記実施の形態２では、ＳＭＩＬファイルが、図５(a)に示す、エラー耐性強度が異なる４つのビデオデータファイルを示すもの（ＳＭＩＬファイルＦSD２）である場合について説明したが、ＳＭＩＬファイルは、図１３(a)に示すように、エラー耐性強度が異なる３つのvideo要素を示し、各video要素には、エラー耐性強度が、system-protocol属性として記載されているもの（ＳＭＩＬファイルＦSD３）であってもよい。
【０１４０】
すなわち、図１３(a)に示すＳＭＩＬファイルＦSD３は、switch 要素７３２ａを含む行と/switch要素７３２ｂを含む行との間に記述された、エラー耐性強度が異なる３つのvideo要素７２１〜７２３に関する項目を含んでいる。また、各video要素の項目には、エラー耐性強度が、system-protocol属性として記載されており、この属性に基づいて、ユーザ設定の内容に最も適合するvideo要素が選択される。
【０１４１】
ここでは、上記各video要素７２１，７２２，７２３におけるsystem-protocol属性の具体値はそれぞれ、“nop”，“ret”，“fec+ret”である。該属性値“nop"は、video要素７２１に対応するビデオストリーム（s1.mp4）は、通常のデータ伝送プロトコルであるＲＴＰにより伝送されるものであることを示している。また、上記属性値“ret"は、video要素７２２に対応するビデオストリーム（s2.mp4）は、通常のデータ伝送プロトコルであるＲＴＰに対してエラー耐性を持たせた再送（ret：retransmission）を行う方法により伝送されるものであることを示している。さらに、上記属性値“fec+ret" は、video要素７２３に対応するビデオストリーム（s3.mp4）は、上記エラー耐性を持たせた、再送（ret：retransmission）を行う伝送方法よりさらに高いエラー耐性を持たせた、再送、及び重複伝送（fec = forward error correction）を行う方法により伝送されるものであることを示している。
【０１４２】
つまり、system-protocol属性値“nop”が付与されているvideo要素７２１に対応するビデオストリーム（s1.mp4）は、再送も重複伝送も行われないものであるため、エラー耐性が上記３つのvideo要素に対応するビデオストリームのうちで最も弱いものである。
従って、受信端末にてエラー耐性強度が〔弱レベル〕に設定されている場合、受信すべきビデオストリームとして、上記video要素７２１に対応するものが選択される。また、受信端末におけるエラー耐性強度の設定がない場合には、最初に受信するビデオストリームとしては、該video要素７２１に対応するもの(s1．mp4)が選択され、該ビデオストリーム(s1．mp4)の受信後に、伝送エラーの発生率が増大した場合、受信中のビデオストリームが、system-protocol属性値“ret”あるいは“ret + fec”が付与されているvideo要素７２２，７２３に対応するビデオストリーム（s2.mp4）あるいは(s3．mp4)に切替えられる。
なお、上記video要素７２２に対応する、再送を行う伝送方法により伝送されるビデオストリーム（s2.mp4）は、重複伝送を行う伝送方法により伝送されるもの、つまりそのvideo要素のsystem-protocol属性値が“fec”であるものとしてもよい。
【０１４３】
また、ＳＭＩＬデータ解析部２１２ｂでは、上記図１３(a)に示すＳＭＩＬファイルＦSD３が入力された場合、該ＳＭＩＬファイルに基づいて、ＳＭＩＬファイルの記載情報を、図１３(b)に示すように、ワークメモリ（図示せず）に記憶する処理が行われる。
すなわち、上記ワークメモリには、図１３(a)に示すＳＭＩＬファイルＦSD３における、video要素７２１〜７２３に関する情報が記録される。ここで、該ワークメモリに記録される項目の数（エントリ数）は、ＳＭＩＬファイルＦSD３における、<switch>要素７３２ａ及び</switch>要素７３２ｂの間に記述されたエレメント数（つまりvideo要素の数）に一致している。
【０１４４】
各項目（エントリ）には、図１３(b)に示すように、対応するビデオストリームのネットワーク上での所在場所を示すＵＲＬ（サーバアドレス）と、対応するビデオストリームの伝送プロトコルと、対応するビデオストリームが、受信されて再生されている受信（再生）状態であるか、受信も再生もされていない非受信（非再生）状態であるかを示す実行フラグと、対応するビデオストリームに関する、最新のタイムスタンプとが含まれている。
【０１４５】
エントリ〔１〕の項目Ｅ１では、実行フラグの値が“１”となっており、これは、この項目Ｅ１に対応するビデオストリームが、現在、受信（再生）が行われていることを示している。また、エントリ〔２〕，〔３〕の項目Ｅ２，Ｅ３では、実行フラグの値が“０”となっており、これは、これらの項目Ｅ２，Ｅ３に対応するビデオストリームが、現在、受信（再生）が行われていないことを示している。
【０１４６】
また、各項目Ｅ１〜Ｅ３におけるプロトコル種別を示す具体的な値は、“nop”，“ret”，“fec + ret”となっており、これらの値は、上記ＳＭＩＬファイルＦSD３における、system-protocol属性の値と一致している。
また、各項目Ｅ１〜Ｅ３における最新タイムスタンプは、受信した最新のRTPパケットのヘッダに付与されているタイムスタンプにより随時更新されるものであり、特定項目に対応するビデオストリームを、他の項目に対応するビデオストリームに切り替える際、データ要求タイミングの決定に用いるものである。
【０１４７】
図１３(b)では、項目Ｅ２，Ｅ３における最新タイムスタンプの値は“０”であり、この値“０”は、これらの項目に対応するビデオストリームはまだ受信されていないことを示している。また、項目Ｅ１における最新タイムスタンプの値は“3060000”である。ＭＰＥＧ-４では、タイムスタンプは９０ｋＨｚのクロックを用いて設定されているため、この値“3060000”は、３４秒に相当する。
また、図１３(c)は、エラー発生率とプロトコルとの関連付けを示している。
【０１４８】
この関連付けに関する情報は、ＳＭＩＬデータ解析部２１２ｂの情報記憶部（図示せず）に、受信端末固有のテーブル情報Ｒtpとして記録されているものである。ここでは、エラー発生率Ｅth（Ｅth＝０）パーセント，Ｅth（０＜Ｅth≦３）パーセント，Ｅth（３＜Ｅth）パーセントはそれぞれ、nopプロトコルにより伝送されるビデオストリーム、retプロトコルにより伝送されるビデオストリーム、fec + retプロトコルにより伝送されるビデオストリームに対応している。つまり、このテーブル情報では、エラー発生率０パーセント，３パーセントが、エラー発生率に応じてビデオストリームを切替える際の閾値となっている。
【０１４９】
そして、ＳＭＩＬデータ解析部２１２ｂでは、エラー発生率の変動に応じたビデオストリームの切替えが、図１３(c)に示すエラー発生率とプロトコルとの関連付けに基づいて行われる。また、シームレスな再生を行うためのビデオストリームの切替えは、上記実施の形態２と同様、図９〜図１２により説明した処理と同様に行われる。
【０１５０】
また、上記実施の形態２では、受信端末として、同一の画像系列に対応するエラー耐性の異なる複数の画像データのうちの、最初に受信すべき画像データのエラー耐性強度をユーザが設定するものを示したが、最初に受信すべき画像データのエラー耐性強度は、受信端末固有のデフォルト値としてもよい。
【０１５１】
この場合、受信端末は、例えば、ＳＭＩＬファイルＦSD２により示された複数のvideo要素７１１〜７１４のうちの、エラー耐性強度のデフォルト値に適したvideo要素のビデオストリームを要求し、該ビデオストリームを受信することとなり、その後は、該受信端末では、ビデオストリームの受信中におけるエラー発生率に応じて、受信中のビデオストリームが適切なエラー耐性強度を有するビデオストリームに切替えられることとなる。
また、上記実施の形態２では、ビデオストリームの切替えを、受信中のビデオストリームに対するエラー発生率に応じて行うものを示したが、ビデオストリームの切替えを、受信中の電波強度に応じて行うようにしてもよい。
【０１５２】
（実施の形態３）
図１４は本発明の実施の形態３によるデータ伝送システムを説明するための図であり、該システムのサーバ及びクライアント端末の構成を示している。
なお、図１４中、図３と同一符号は実施の形態１のデータ伝送システム１０ａにおけるものと同一のものを示している。
【０１５３】
この実施の形態３のデータ伝送システム１０ｃは、上記実施の形態１のシステム１０ａにおけるクライアント端末２００ａに代えて、サーバからのＲＴＰデータ（ＲＴＰパケット）の伝送エラーの発生率やパケット到着時刻などの送信状況に関する情報Ｄrrをサーバ１００ｃに伝送するクライアント端末２００ｃを備え、さらに実施の形態１のシステム１０ａにおけるサーバ１００ａに代えて、クライアント端末２００ｃからの送信状況に関する情報Ｄrrに基づいて、ＲＴＰデータとしてサーバから供給されるビデオストリームを、符号化条件が異なる他のビデオストリームに切り換えるサーバ１００ｃを備えたものである。
【０１５４】
上記クライアント端末２００ｃは、クライアント端末２００ａにおけるＲＴＰデータ受信部２１６ａに代えて、ＲＴＰデータＤrtpを受信するとともに、該ＲＴＰデータの伝送エラーの発生率及びＲＴＰパケットの到着時刻などの送信状況を検出するＲＴＰデータ受信部２１６ｃを備えるとともに、この送信状況を示す情報Ｄrrをレシーバレポートとしてサーバ１００ｃに送信するＲＴＣＰレポート送受信部２１９を備えたものである。
【０１５５】
また、上記サーバ１００ｃは、サーバから送信したＲＴＰパケットの個数やシーケンス番号に関する情報Ｄsrをセンダーレポートとして受信端末２００ｃのＲＴＣＰレポート送受信部２１９へ送信するとともに、送受信部２１９からのレシーバレポートを受信するＲＴＣＰレポート送受信部１０４を備えるとともに、実施の形態１のサーバにおけるＲＴＰデータ送信部１０３に代えて、レシーバレポートとしての情報Ｄrrを受け、伝送エラーの発生頻度及びＲＴＰパケットの到着時刻などの送信状況に基づいて、ＲＴＰデータとして送信されるビデオストリームを、符号化条件が異なる他のビデオストリームに切り換えるＲＴＰデータ送信部１０３ｃを備えたものである。
【０１５６】
なお、上記ＲＴＣＰレポート送受信部１０４及び２１９は、上記センダーレポート及びレシーバレポートをＲＴＣＰ（real time control protocol）により送受信するものである。また、レシーバレポートは、配信サーバに例えば5秒毎など一定周期で通知される。また、サーバにてビデオストリームを切り換えるタイミングは、一般的にはＩフレームが出現するタイミングで行うことが好ましい。
【０１５７】
次に動作について説明する。
この実施の形態３のデータ伝送システム１０ｃの動作は、受信端末２００ｃかからのレシーバレポートに基づいて、サーバ１００ｃにて、ＲＴＰデータとして受信端末へ伝送されるビデオストリームを、符号化条件の異なるものに切り換える点のみ、実施の形態１のデータ送信システム１０ａの動作と異なっている。
【０１５８】
つまり、受信端末２００ｃのＲＴＰデータ受信部２１６ｃでは、受信されたＲＴＰデータＤrtpの伝送エラーの発生率が検出され、このエラー発生率を示すエラー信号Ｒerrが上記ＲＴＣＰレポート送受信部２１９に出力される。
上記ＲＴＣＰレポート送受信部２１９からは、レシーバレポートＤrrとして、伝送エラーの発生頻度及びＲＴＰパケットの到着時刻などに関する情報がサーバ１００ｃに送信される。
【０１５９】
すると、サーバ１００ｃのＲＴＣＰレポート送受信部１０４では、レシーバレポートＤrrとして受信した情報に基づいて、ＲＴＰデータＤrtpの伝送エラーの発生率及びパケットの到着遅延時間が検出され、このエラー発生率及び到着遅延時間を示す情報Ｄrrが、ＲＴＰデータ送信部１０３ｃに出力される。
【０１６０】
該ＲＴＰデータ送信部１０３ｃでは、エラー発生率及びパケット到着遅延時間の増減に応じて、データ格納部１２０に格納されている複数のビデオファイルの中から、所定のエラー耐性を有するビデオファイルが選択され、ＲＴＰデータＤrtpとして受信端末２００ｃに送信される。
【０１６１】
このように本実施の形態３のデータ伝送システム１０ｃでは、実施の形態１のシステム１０ａにおけるクライアント端末２００ａに代えて、サーバからのＲＴＰデータ（ＲＴＰパケット）の伝送エラーの発生率やパケット到着時刻などの送信状況に関する情報Ｄrrをサーバ１００ｃに伝送するクライアント端末２００ｃを備え、さらに実施の形態１のシステム１０ａにおけるサーバ１００ａに代えて、クライアント端末２００ｃからの送信状況に関する情報Ｄrrに基づいて、ＲＴＰデータとしてサーバから供給されるビデオストリームを、符号化条件が異なる他のビデオストリームに切り換えるサーバ１００ｃを備えたので、サーバ１００ｃでは、受信端末２００ｃからのレシーバレポートに基づいて、伝送エラーの発生率が高いときには、複数のビデオストリームのうちで、Ｉフレーム周期の短いエラー耐性の高いものを送信することができ、伝送エラーの発生率が低いときには、複数のビデオストリームのうちで、Ｉフレーム周期の長い映像品質の高いものを送信することができる。
【０１６２】
（実施の形態４）
図１５は本実施の形態４のデータ伝送システムを説明するための図であり、該システムのサーバ及びクライアント端末の構成を示している。
なお、図１５中、図３と同一符号は実施の形態１のデータ伝送システム１０ａにおけるものと同一のものを示している。
この実施の形態４のデータ伝送システム１０ｄは、実施の形態１のシステム１０ａにおけるクライアント端末２００ａに代えて、ユーザが設定した動作内容に応じて、復号処理及び表示処理を変更するクライアント端末２００ｄを備えたものである。
【０１６３】
つまり、このクライアント端末２００ｄは、実施の形態１のクライアント端末２００ａのデコード部２１０及び表示部２１８に代えて、制御信号Ｃ１に基づいて、ビデオストリームの復号処理を行う動作モードを変更するデコード部２１０ｄ、及び制御信号Ｃ２に基づいて画像データＤdecの表示処理を行う動作モードを変更する表示部２１８ｄを備え、ユーザの設定内容を示す設定信号Ｓerrに基づいてデコーダ部２１０ｄ及び表示部２１８ｄの動作モードを上記制御信号Ｃ１及びＣ２により制御する制御部２２０を備えたものである。
【０１６４】
次に動作について説明する。
この実施の形態４のデータ伝送システム１０ｄの動作は、受信端末２００ｄにてユーザの設定内容に応じて、ビデオストリームの復号化処理モード及び画像データの表示処理モードが変更される点のみ、実施の形態１のシステム１０ａの動作と異なっている。
【０１６５】
つまり、ユーザのユーザ操作部２１３に対する操作により、受信端末２００ｄで再生されるべきビデオストリームとして、Ｉフレーム周期が受信端末固有の一定の基準周期より小さいものが設定されている場合には、デコード部２１０ｄは、制御部２２０からの制御信号Ｃ１により、その動作モードが、伝送エラーの発生時にはＩフレームのビデオストリームが正常に受信されるまで復号処理を一旦停止する第１の復号動作モードに設定される。また、この場合、表示部２１８ｄは、制御部２２０からの制御信号Ｃ２により、その動作モードが、伝送エラーの発生時には次のＩフレームのビデオストリームが正常に受信されるまで、伝送エラーの発生の直前に復号化された画像データを表示する第１の表示動作モードに設定される。
【０１６６】
一方、ユーザのユーザ操作部２１３に対する操作により、受信端末２００ｄで再生されるべきビデオストリームとして、Ｉフレーム周期が受信端末固有の一定の基準周期以上のものが設定されている場合には、デコード部２１０ｄは、制御部２２０からの制御信号Ｃ１により、その動作モードが、伝送エラーの発生時には、伝送エラーによりデータが欠落したフレームの復号化処理のみスキップして、伝送エラーの発生後には正常にデータが受信されたフレームから復号化処理を行う第２の復号動作モードに設定される。この第２の復号動作モードでは、伝送エラーの発生後には正常にデータが受信されたフレームがＰフレームであるとき、伝送エラーの発生直前に復号化されたフレームを参照して復号化処理が行われる。また、この場合、表示部２１８ｄは、制御部２２０からの制御信号Ｃ２により、その動作モードが、伝送エラーの発生にかかわらずデータの復号化処理が行われたフレームをすべて表示する第２の表示動作モードに設定される。
【０１６７】
このように本実施の形態４のデータ伝送システム１０ｄでは、ユーザが受信端末にて設定した、受信端末で要求されるビデオストリームのエラー耐性に関する条件に応じて、受信端末におけるデコード部２１０ｄ及び表示部２１８ｄの動作モードを変更するようにした、つまり、受信端末で受信すべきビデオストリームを、Ｉフレームの周期が一定の基準値より短いビデオストリームとするという条件が設定されている場合には、伝送エラーの発生時にはＩフレームのビデオストリームが正常に受信されるまで、復号処理を一旦停止するとともに、伝送エラーの発生の直前に復号化された画像データを表示し、受信端末で受信すべきビデオストリームをＩフレームの周期が一定の基準値以上のビデオストリームとするという条件が設定されている場合には、伝送エラーによりデータが欠落したフレーム以外のフレームに対する復号化処理のみを行うとともに、データの復号化処理が行われたフレームをすべて表示するので、ユーザが設定した、受信すべきビデオストリームのエラー耐性（つまりＩフレームの間隔）に応じて、デコード部及び表示部の動作モードを、エラー発生時の表示画像の違和感が小さい動作モードとすることができる。
【０１６８】
なお、上記実施の形態４では、データ送信システムとして、受信端末側にてユーザが設定したビデオストリームに関する条件に応じて、受信端末における復号化処理モード及び表示処理モードを変更するものを示したが、データ送信システムは、サーバから通知される、サーバから送信されるビデオストリームに関するＩフレームの出現間隔（Ｉフレームの周期）に基づいて、受信端末にてデコード部２１０ｄ及び表示部２１８ｄの動作モードを変更するものであってもよい。この場合、Ｉフレームの出現間隔を示す情報は、ＳＭＩＬ，ＳＤＰ，ＲＴＳＰなどを使用してサーバから受信端末に送信することができる。
【０１６９】
また、上記実施の形態４では、デコード部２１０ｄの第２の復号動作モードとして、伝送エラーの発生時には、伝送エラーによりデータが欠落したフレームの復号化処理のみスキップして、伝送エラーの発生後には正常にデータが受信されたフレームから復号化処理を行う動作モードを示したが、上記第２の復号動作モードはこれに限るものではない。
【０１７０】
例えば、図６(b)に示すように、１フレームのビデオストリームが、複数のビデオパケットに分散して格納されている場合は、上記第２の復号動作モード、つまりＩフレーム周期が受信端末固有の一定の基準周期以上のものが設定されているときの復号動作モードは、伝送エラーによりデータが欠落したビデオパケット以外のパケットのデータに対する復号化処理のみを行うモードとしてもよい。
また、この場合、画像データの表示モードは、上記実施の形態４の第２の表示動作モードと同様、少なくともその一部のデータに対する復号化処理が行われたフレームはすべて表示するモードとしてもよい。
【０１７１】
さらに、上記実施の形態４では、制御部が、デコード部の動作モードを、受信端末でのユーザ設定に応じて、上記第１の復号動作モードから第２の復号動作モードに切替えるものを示したが、制御部によるデコード部の動作の制御は、これに限るものではなく、例えば、受信端末でのユーザ設定以外の条件に応じて行われるものであってもよい。
【０１７２】
例えば、伝送エラーが発生した時点では、次にＩフレームのビデオストリームが復号されるまでの時間は、Ｉフレームの周期が既知であることから算出可能である。このため、上記制御部は、伝送エラーが発生したとき、デコード部の復号動作を、伝送エラーの発生したフレームの復号時から、その後に復号化されるＩフレームの復号時までの時間差に応じて、例えば、伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの間は、復号処理を停止する復号動作と、伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの間は、画面間符号化データを、その伝送エラーの発生により復号不可能な部分を除いて復号化する復号動作のいずれとするかの判定を行い、デコード部を、伝送エラー発生後の復号動作が、この判定により決定された復号動作となるよう制御するものであってもよい。
【０１７３】
具体的には、上記制御部は、伝送エラーが発生した時、上記伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの時間差が、上記端末固有の既定値より小さいとき、デコード部の復号動作が、上記伝送エラーの発生したフレームの復号時からその後にＩフレームが復号されるまでの間は、画像データに対する復号処理を停止する動作となり、一方、上記伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの時間差が、上記端末固有の既定値以上であるとき、デコード部の復号動作が、上記伝送エラーの発生したフレームの復号時からその後にＩフレームが復号されるまでの間は、上記伝送エラーの発生したフレーム以外のフレームに対応する画像データのみを復号化する動作となるよう、デコード部を制御する。
【０１７４】
ここで、上記各フレームの画像データが、図６(b)に示すように、フレームより小さいデータ単位毎にパケット化されている場合は、上述した伝送エラーの発生したフレーム以外のフレームに対する復号処理のみを行う復号動作は、受信した画像データにおける、伝送エラーの発生したパケット以外のパケットに対する復号処理のみを行うものとしてもよい。
【０１７５】
また、上記各実施の形態では、ＲＴＳＰを使ってサーバに視聴者の表示画像に関する嗜好（Ｉフレームの周期の短いものがよいかＩフレームの周期の長いものがよいかなど）を通知してもよい。また、視聴者の嗜好を通知するためのプロトコルは、他の伝送プロトコルであるCC/PP（composite capability/preference profiles）を使ってもよい。このとき、サーバでは、ＳＭＩＬを使ってビデオストリームの侯補を受信端末へ通知するようにしてもよい。
【０１７６】
さらに、上記各実施の形態では、サーバから受信端末に伝送されるデータが映像データである場合について説明したが、上記伝送データは、音声データやテキストデータであってもよく、つまり、音声データやテキストデータをRTP/UDP/IPで伝送する場合にも、上記各実施の形態と同様の効果が得られる。
【０１７７】
例えば、同一のコンテンツに対応する、エラー耐性の異なる複数の音声データ、あるいは複数のテキストデータから、受信端末にてユーザにより設定された、あるいは受信端末のデフォルト値として設定された、受信すべきデータに対するエラー耐性強度に適したものが選択され、選択された音声データ，あるいはテキストデータが受信端末にて再生されることとなる。ここで、複数の音声データ（テキストデータ）が異なるエラー耐性を有する場合の一例としては、複数の音声データ（テキストデータ）の一つが、以前に復号処理が施された音声フレーム（テキストフレーム）のデータを参照して復号するフレームを利用し、他の１つがこのようなフレームを利用しない場合が挙げられる。
【０１７８】
また、上記同一のコンテンツに対応する、エラー耐性強度の異なる複数の音声データ、あるいは複数のテキストデータは、データ伝送プロトコルが異なるものであってもよい。そして、音声データあるいはテキストデータに関する伝送プロトコルの異なる一例としては、IETF（Internet Engineering Task Force）で定められているFEC（Forward Error Correction、RFC 2733）の冗長度が異なるものが挙げられる。
【０１７９】
（実施の形態５）
図２１は、本発明の実施の形態５によるデータ伝送システムを説明するための図であり、図２１(a)は該システムの構成を、図２１(b)は、該システムでのデータ伝送処理を示している。
この実施の形態５のデータ伝送システム１０ｅは、所定のビデオストリーム（画像符号化データ）を送出するサーバ１００ｅと、該サーバ１００ｅから送出されたビデオストリームを受信して映像データを再生する受信端末（クライアント端末）２００ｅと、該ビデオストリームをサーバ１００ｅから受信端末２００ｅへ伝送するためのネットワーク１１とを有している。
【０１８０】
ここで、上記サーバ１００ｅは、複数の画像系列のデジタル映像信号を、決められた符号化条件でもって符号化して得られる複数のビデオストリームを格納するとともに、対応するビデオストリームの属性が記述されたＳＭＩＬデータを格納したデータ格納部１２０ｅと、該データ格納部１２０ｅに格納されているデータを、ネットワーク１１上に送出するデータ送信部１１０ｅとから構成されている。また、上記データ格納部１２０ｅにはハードディクスなどの大容量記憶装置が用いられている。
【０１８１】
また、この実施の形態５では、上記複数のビデオストリームは、異なる画像系列に対応する、それぞれ決められたエラー耐性を有する画像データである。具体的には、複数のビデオストリームはそれぞれ、デジタル映像信号を画面内画素値相関を用いて符号化してなる符号量の大きい画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる符号量の少ない画面間符号化データとを含み、それぞれ決められた画面内符号化データの出現間隔、言い換えるとＩフレーム（Ｉ−ＶＯＰ）の周期を有するものである。
【０１８２】
そして、上記ハードディスクなどのデータ格納部１２０ｅには、例えば、Ｉフレームの周期が５秒，２秒であるビデオストリームがビデオファイルＤva，Ｄvbとして格納され、上記ＳＭＩＬデータＤaa，Ｄabとして、対応するビデオファイルＤva，Ｄvbの属性などを記述したＳＭＩＬファイルが格納されている。ここで、各ビデオストリーム（ビデオファイル）Ｄva，Ｄvbの属性であるＩフレーム（Ｉ−ＶＯＰ）の出現間隔は、それぞれ、５秒，２秒となっている。
【０１８３】
図２２は上記システムを構成するサーバ１００ｅ及びクライアント端末２００ｅの詳細な構成を示す図である。
上記サーバ１００ｅを構成するデータ送信部１１０ｅは、クライアント端末２００ｅからＨＴＴＰにより送信されたＳＭＩＬデータの要求メッセージＭdrを受け、該要求に従ってデータ格納部１２０ｅからＳＭＩＬファイルＤａを読み出し、読み出したＳＭＩＬファイルＤａをＨＴＴＰによりＳＭＩＬデータＤsmとして送信するＨＴＴＰ送受信部１０１と、クライアント端末２００ｅからＲＴＳＰにより送信されたデータ要求メッセージＭrtspを受け、その応答信号Ｓackを出力するとともに、要求されたビデオファイル名を示すデータ指定信号Ｓｃを出力するＲＴＳＰメッセージ送受信部１０２と、該データ指定信号Ｓｃを受け、該データ指定信号Ｓｃが示すビデオデータファイル名に相当するビデオストリームＤｅをデータ格納部１２０ｅから読み出し、読み出したビデオストリームをＲＴＰによりＲＴＰデータＤrtpとして伝送するＲＴＰデータ送信部１０３とを有している。なお、この実施の形態５のデータ送信部１１０ｅにおけるＨＴＴＰ送受信部１０１，ＲＴＳＰメッセージ送受信部１０２，及びＲＴＰデータ送信部１０３は、実施の形態１のデータ送信部１１０ａにおけるものと同一のものである。
【０１８４】
また、上記クライアント端末２００ｅは、ユーザの操作により種々のユーザ操作信号Ｓop1，Ｓop2，Ｓop3を出力するユーザ操作部２１３と、該ユーザ操作信号Ｓop1に基づいて、ユーザ指定のビデオデータに対応するＳＭＩＬデータの要求メッセージＭdrをＨＴＴＰにより送信するとともに、上記サーバ１００ｅからＨＴＴＰにより送信されたＳＭＩＬデータＤsmを受信するＨＴＴＰ送受信部２１１と、該ＳＭＩＬデータＤsmを解析するとともに、その解析結果に基づいて、ユーザ指定のビデオデータを指定するデータ指定信号Ｓｃを出力するＳＭＩＬデータ解析部２１２ｅとを有している。
【０１８５】
上記クライアント端末２００ｅは、上記データ指定信号ＳｃをＲＴＳＰメッセージ信号Ｍrtspとして送信するとともに、該信号Ｍrtspの応答信号Ｓackを受信するＲＴＳＰメッセージ送受信部２１４と、上記サーバ１００ｅから送信されたＲＴＰデータＤrtpを受信してビデオストリームＤｅを出力するＲＴＰデータ受信部２１６とを有している。
【０１８６】
さらに上記クライアント端末２００ｅは、該ビデオストリームＤｅを復号化して画像データＤdecを出力するとともに、制御信号Ｃ１に基づいて、ビデオストリームの復号処理を行う動作モードを変更するデコード部２１０ｅと、該画像データＤdecに基づいて画像表示を行うとともに、制御信号Ｃ２に基づいて画像データＤdecの表示処理を行う動作モードを変更する表示部２１８ｅと、デコーダ部２１０ｅ及び表示部２１８ｅの動作モードを上記制御信号Ｃ１及びＣ２により制御する制御部２２０ｅとを有している。なお、該表示部２１８ｅは、上記ユーザ操作信号Ｓop２に応じた表示も行うものである。
【０１８７】
また、このクライアント端末２００ｅでは、受信中の画像データにおける画面内符号化データの出現間隔と比較される既定値がデフォルト値として設定されており、エラー発生時には、受信中の画像データにおける画面内符号化データの出現間隔と上記既定値との比較結果に応じて、上記復号化部の動作モードが切替えられる。具体的には、上記画面内符号化データの出現間隔が、上記既定値より短い画像データを受信する場合、上記復号化部の動作モードは、伝送エラーの発生時に、その後画面内符号化データが正常に受信されるまで、復号処理を一旦停止する第１の復号モードとされ、上記画面内符号化データの出現間隔が、上記設定条件が示す既定値以上の画像データを受信する場合、上記復号化部の動作モードは、伝送エラーの発生時に、伝送エラーにより復号不可能となった部分を除いて復号化する第２の復号モードとされる。
【０１８８】
なお、受信端末は、上記受信中の画像データにおける画面内符号化データの出現間隔と比較される既定値をデフォルト値として有するものに限らず、上記受信端末は、該既定値を、ユーザ操作により設定可能なものであってもよい。
【０１８９】
次に動作について説明する。
このデータ伝送システム１０ｅでは、ユーザがユーザ操作部２１３ｅにて、所定のビデオファイルを要求する操作を行うと、この操作信号Ｓop1に基づいて、図２１(b)に示すように、受信端末２００ｅのＨＴＴＰ送受信部２１１からサーバ１００ｅへ、ユーザ指定のビデオファイルに対応するＳＭＩＬデータを要求するＳＭＩＬ要求信号Ｓd1（図２２に示すＳＭＩＬ要求メッセージＭrd）がＨＴＴＰにより送信され、その応答として、サーバ１００ｅのＨＴＴＰ送受信部１０１からＳＭＩＬデータＤsmがＨＴＴＰ信号Ｄsdにより受信端末２００ｅに送信される。なお、ユーザがユーザ操作部２１３ｅにて、所要の画像系列のビデオファイルを指定する操作は、図４(a)に示す携帯端末を用いて説明した操作と同様に行われる。
【０１９０】
その後、受信端末２００ｅでは、ＲＴＳＰメッセージ送受信部２１４が、ＳＭＩＬデータＤsmの解析結果に対応するデータ指定信号Ｓｃに基づいて、ユーザの必要とするビデオストリームを指定するメッセージＭrtspをＲＴＳＰ信号Ｓd2としてサーバ１００ｅへ送信する処理を行う。そして、その応答信号Ｓackがサーバ１００ｅのＲＴＳＰメッセージ送受信部１０２からＲＴＳＰにより受信端末２００ｅに送信された後、サーバ１００ｅからは、ＲＴＰデータ送信部１０３により、所定のビデオストリームＤstrがＲＴＰデータＤrtpとして受信端末２００ｅに送信される。
【０１９１】
このようにして、上記ＲＴＰデータＤrtpがネットワーク１１を介して受信端末２００ａに伝送されると、該受信端末２００ａでは、ＲＴＰデータＤrtpがＲＴＰデータ受信部２１６にて受信され、ビデオストリームＤｅがデコード部２１０ｅに出力される。デコード部２１０ｅではビデオストリームＤｅの復号化処理により画像データＤdecが生成されて表示部２１８ｅに出力される。表示部２１８ｅでは、画像データＤdecに基づいて画像表示が行われる。
【０１９２】
そして、この実施の形態４のデータ伝送システム１０ｅでは、上記ビデオストリームの伝送中にエラーが発生した場合は、受信端末２００ｅにて、デフォルト値として設定されている画面内符号化データの出現間隔（つまりＩフレームの周期）と、受信しているビデオストリームの属性値であるＩフレームの周期との比較結果に応じて、復号化部２１０ｅの動作モード及び表示部２１８ｅの動作モードが制御部２２０ｅからの制御信号Ｃ１，Ｃ２に基づいて変更される。
【０１９３】
つまり、受信端末２００ｅにて、Ｉフレーム周期（Ｉ−ＶＯＰの周期）が受信端末での既定値（一定の基準周期）より短いビデオストリームを受信している場合には、デコード部２１０ｅは、制御部２２０ｅからの制御信号Ｃ１により、その動作モードが、伝送エラーの発生時にはＩフレームのビデオストリームが正常に受信されるまで復号処理を一旦停止する第１の復号動作モードに設定される。また、この場合、表示部２１８ｅは、制御部２２０ｅからの制御信号Ｃ２により、その動作モードが、伝送エラーの発生時には次のＩフレームのビデオストリームが正常に受信されるまで、伝送エラーの発生の直前に復号化された画像データを表示する第１の表示動作モードに設定される。
【０１９４】
一方、受信端末２００ｅにて、Ｉフレーム周期が受信端末での既定値（一定の基準周期）以上のビデオストリームを受信している場合には、デコード部２１０ｅは、制御部２２０ｅからの制御信号Ｃ１により、その動作モードが、伝送エラーの発生時には、伝送エラーによりデータが欠落したフレームの復号化処理のみスキップして、伝送エラーの発生後には正常にデータが受信されたフレームから復号化処理を行う第２の復号動作モードに設定される。この第２の復号動作モードでは、伝送エラーの発生後には正常にデータが受信されたフレームがＰフレームであるとき、伝送エラーの発生直前に復号化されたフレームを参照して復号化処理が行われる。また、この場合、表示部２１８ｅは、制御部２２０ｅからの制御信号Ｃ２により、その動作モードが、伝送エラーの発生にかかわらずデータの復号化処理が行われたフレームをすべて表示する第２の表示動作モードに設定される。
【０１９５】
このように本実施の形態５のデータ伝送システム１０ｅでは、受信端末にデフォルト値として設定されているIフレーム周期の既定値と、受信しているビデオストリームのＩフレーム周期の値とに応じて、受信端末におけるデコード部２１０ｅ及び表示部２１８ｅの動作モードを変更するようにした、つまり、受信端末で受信するビデオストリームのＩフレーム周期の値が、受信端末にデフォルト値として設定されている既定値より短い場合には、伝送エラーの発生時にはＩフレームのビデオストリームが正常に受信されるまで、復号処理を一旦停止するとともに、伝送エラーの発生の直前に復号化された画像データを表示し、受信端末で受信するビデオストリームのＩフレーム周期の値が、受信端末にデフォルト値として設定されている既定値以上の場合には、伝送エラーによりデータが欠落したフレーム以外のフレームに対する復号化処理のみを行うとともに、データの復号化処理が行われたフレームをすべて表示するので、受信するビデオストリームのエラー耐性（つまりＩフレームの間隔）に応じて、デコード部及び表示部の動作モードを、エラー発生時の表示画像の違和感が小さいものとすることができる。
【０１９６】
なお、上記実施の形態５では、受信するビデオストリームの属性値であるＩフレームの出現間隔（Ｉフレームの周期）は、サーバ１００ｅから、ＳＭＩＬファイルとして受信端末へ供給される場合について示したが、受信するビデオストリームのＩフレームの出現間隔（Ｉフレームの周期）は、ＳＤＰやＲＴＳＰなどを使用してサーバから受信端末に送信するようにしてもよい。
【０１９７】
また、受信するビデオストリームのＩフレームの出現間隔（Ｉフレームの周期）は、サーバから端末へ送信する場合に限らず、例えば、受信端末２００ｅのＲＴＰデータ受信部２１６にて、受信したビデオストリームに含まれる情報から算出するようにしてもよい。
【０１９８】
また、上記実施の形態５では、デコード部２１０ｅの第２の復号動作モードとして、伝送エラーの発生時には、伝送エラーによりデータが欠落したフレームの復号化処理のみスキップして、伝送エラーの発生後には正常にデータが受信されたフレームから復号化処理を行う動作モードを示したが、上記第２の復号動作モードはこれに限るものではない。
【０１９９】
例えば、図６(b)に示すように、１フレームのビデオストリームが、複数のビデオパケットに分散して格納されている場合は、上記第２の復号動作モードは、伝送エラーによりデータが欠落したビデオパケット以外のパケットのデータに対する復号化処理のみを行うモードとしてもよい。
また、この場合、画像データの表示モードは、上記実施の形態５の第２の表示動作モードと同様、少なくともその一部のデータに対する復号化処理が行われたフレームはすべて表示するモードとしてもよい。
【０２００】
さらに、上記実施の形態５では、受信中のビデオストリームのＩフレームの出現間隔と、受信端末でのデフォルト値（既定値）との大小関係に応じて、エラー発生時におけるデコード部の動作モードを切替えるものを示したが、デコード部の動作モードの切替えは、これに限るものではない。
例えば、伝送エラーが発生した時点では、次にＩフレームのビデオストリームが復号されるまでの時間は、Ｉフレームの周期が既知であることから算出可能である。このため、上記制御部は、伝送エラーが発生したとき、デコード部の復号動作を、伝送エラーの発生したフレームの復号時から、その後に復号されるＩフレームの復号時までの時間差に応じて、例えば、伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの間は、復号処理を停止する復号動作と、伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの間は、画面間符号化データを、その伝送エラーの発生により復号不可能な部分を除いて復号化する復号動作のいずれとするかの判定を行い、デコード部を、伝送エラー発生後の復号動作が、この判定により決定された復号動作となるよう制御するものであってもよい。
【０２０１】
具体的には、上記制御部は、伝送エラーが発生したとき、上記伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの時間差が、上記受信端末でのデフォルト値（既定値）より小さい場合、上記復号化部の復号動作が、上記伝送エラーの発生したフレームの復号時からその後にＩフレームが復号されるまでの間は、画像データに対する復号処理を停止する動作となり、上記伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの時間差が、上記受信端末でのデフォルト値（既定値）以上である場合、上記復号化部の復号動作が、上記伝送エラーの発生したフレームの復号時からその後にＩフレームが復号されるまでの間は、画面間符号化データをその伝送エラーの発生により復号不可能となった部分を除いて復号化する動作となるよう、デコード部を制御する。
【０２０２】
ここで、画面間符号化データをその伝送エラーの発生により復号不可能となった部分を除いて復号化する復号動作は、伝送エラーの発生したフレーム以外のフレームに対する復号処理のみを行う復号動作である。
なお、上記各フレームの画像データが、図６(b)に示すように、フレームより小さいデータ単位毎にパケット化されている場合は、伝送エラーが発生したフレーム以外のフレームを復号化する復号動作は、受信した画像データにおける、伝送エラーの発生したパケット以外のパケットを復号化するものとしてもよい。
【０２０３】
さらに、上記実施の形態５では、サーバから受信端末に伝送されるデータが映像データである場合について説明したが、上記伝送データは、音声データやテキストデータであってもよく、つまり、音声データやテキストデータをRTP/UDP/IPで伝送する場合にも、上記実施の形態５と同様の効果が得られる。
【０２０４】
また、上記実施の形態２ないし４では、サーバに対して、端末でのユーザ設定に基づいて画像データを要求し、該要求に応じて送信された画像データを再生するデータ再生装置として、インターネットなどのネットワークを介してサーバに接続可能な受信端末を示し、実施の形態５では、受信された画像データのＩフレーム周期の値と、受信端末で設定されている既定値との大小関係に応じて、エラー発生時の復号動作を切替える受信端末を示したが、上記実施の形態２〜５の受信端末の具体的なものとしては、ＰＣ（パーソナルコンピュータ）や、上記実施の形態１で受信端末の具体例として示した携帯電話などが挙げられる。
【０２０５】
（実施の形態６）
以下、本発明の実施の形態６として、上記実施の形態２のデータ再生装置と同様に、サーバに対して、ユーザ設定により指定したエラー耐性強度を有する画像データを要求する携帯電話について説明する。
図１６は、この実施の形態６の携帯電話を説明するための図である。
この実施の形態５の携帯電話３００は、種々の信号処理を行う信号処理部３０２と、アンテナ３０１で受信された無線信号Ｎを受信信号として信号処理部３０２に出力するとともに、信号処理部３０２にて生成された送信信号を無線信号Ｎとしてアンテナ３０１から送信する無線通信部３０３とを有している。
【０２０６】
また、上記携帯電話３００は、画像表示を行う液晶パネル（ＬＣＤ）３０６と、音声の入力を行うためのマイク３０８と、音声信号を再生するスピーカ３０７と、上記信号処理部３０２にて処理された画像信号を受け、上記液晶表示部（ＬＣＤ）３０６を、画像信号に基づいて画像表示が行われるよう制御する表示制御部３０４と、マイク３０８からの入力音声信号を信号処理部３０２に出力するとともに、信号処理部３０２にて処理された音声信号をスピーカ３０７に出力する音声入出力部３０５とを有している。なお、ここでは説明の簡略化のため、携帯電話のボタン操作部は図示していない。
【０２０７】
ここで、上記信号処理部３０２は、上記実施の形態２のデータ再生装置２００ｂと同一のデータ再生処理を行うものである。つまり、上記信号処理部３０２は、実施の形態２の受信端末側における、ＨＴＴＰ送受信部２１１，ＲＴＳＰメッセージ送受信部２１４、ＳＭＩＬデータ解析部２１２ｂ、ＲＴＰデータ受信部２１６ｂ、デコード部２１０，及びユーザ操作部２１３に相当する部分を有している。また、この実施の形態６の携帯電話３００における表示制御部３０４及び液晶パネル（ＬＣＤ）３０６は、上記実施の形態２の表示部２１８に相当するものである。
【０２０８】
このような構成を有する携帯電話３００では、ユーザにより、受信すべき画像データに対するエラー耐性強度が設定され、特定のコンテンツに対応する画像データの再生を行うための操作が行われると、サーバからは、エラー耐性強度のユーザ設定値に適したビデオストリームがＲＴＰパケットにより順次送信され、携帯電話では、サーバからのビデオストリームの再生が行われるとともに、該ビデオストリームの受信中における伝送エラー発生率に応じて、ビデオストリームを切替える処理が行われる。
【０２０９】
なお、上記実施の形態６では、携帯電話として、上記実施の形態２のデータ再生装置と同一のデータ再生処理を行うものを示したが、この携帯電話は、上記実施の形態３ないし５のデータ伝送システムにおけるデータ再生装置（受信端末）２００ｃ，２００ｄ，２００ｅと同一のデータ再生処理を行うものであってもよい。
【０２１０】
さらに、上記各実施の形態では、データ再生装置（受信端末）あるいはデータ送信装置（サーバ）をハードウエアにより実現したものを示したが、これらの装置はソフトウエアにより実現してもよい。この場合、上記各実施の形態で示したデータ再生処理あるいはデータ送信処理を行うためのプログラムをフレキシブルディスク等のデータ記憶媒体に記録しておくことにより、上記データ再生装置（受信端末）及びデータ送信装置（サーバ）を、独立したコンピュータシステムにおいて構築することが可能となる。
【０２１１】
図１７は、上記各実施の形態のデータ再生処理あるいはデータ送信処理をソフトウエアにより行うためのプログラムを格納した記録媒体、及び該記録媒体を含むコンピュータシステムを説明するための図である。
図１７(a)は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスク本体を示し、図１７(b)は、該フレキシブルディスク本体の物理フォーマットの例を示している。
【０２１２】
上記フレキシブルディスクＦＤは、上記フレキシブルディスク本体ＤをフレキシブルディスクケースＦＣ内に収容した構造となっており、該フレキシブルディスク本体Ｄの表面には、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは円周方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤは、上記フレキシブルディスク本体Ｄの上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。
また、図１７(c)は、フレキシブルディスクＦＤに上記プログラムを記録するための構成、及びフレキシブルディスクＦＤに格納したプログラムを用いてソフトウエアによるデータ再生処理あるいはデータ送信処理を行うための構成を示している。
【０２１３】
上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フレキシブルディスクドライブＦDDを介してフレキシブルディスクＦＤに書き込む。また、フレキシブルディスクＦＤに記録されたプログラムにより、上記データ再生装置あるいはデータ送信装置をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦDDによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。
【０２１４】
なお、上記説明では、データ記録媒体としてフレキシブルディスクを示したが、データ記録媒体として光ディスクを用いてもよく、この場合も上記フレキシブルディスクの場合と同様にソフトウェアによるデータ再生処理あるいはデータ送信処理を行うことができる。さらに、上記データ記録媒体は上記光ディスクやフレキシブルディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればどのようなものでもよく、これらのデータ記録媒体を用いる場合でも、上記フレキシブルディスク等を用いる場合と同様にソフトウェアによるデータ再生処理あるいはデータ送信処理を実施することができる。
【０２１５】
【発明の効果】
以上のように、本発明に係るデータ再生装置によれば、画面内符号化された画像フレームを含むビデオストリームを、符号化された１枚の画像フレームについて１以上のパケットで受信する画像データ受信部と、画像データ受信部において受信されたビデオストリームを復号化して、画像フレームを出力する復号化部と、上記復号化部から出力された画像フレームを表示する表示部と、上記ビデオストリーム中の上記画面内符号化された画像フレームの出現間隔を取得し、上記出現間隔に応じてパケットの欠落による伝送エラー時の上記復号化部の動作モードを切り替える制御部と、を備え、上記制御部は、上記ビデオストリームに含まれる上記画面内符号化された画像フレームの出現間隔と予め設定された所定値とを比較し、上記復号化部を、（１）上記出現間隔が上記所定値以上の場合には、上記欠落したパケットにより構成される画像フレームのみ復号処理をスキップして、上記スキップされた画像フレーム以外の画像フレームを復号処理し、（２）上記出現間隔が上記所定値より小さい場合には、上記ビデオストリームの復号処理を画面内符号化された画像フレームを構成するパケットが受信されるまで一旦停止する、動作モードに設定することを特徴とするので、エラー発生時の復号動作を、動作条件の設定に応じた、表示画像の違和感の小さいものとできる。
【図面の簡単な説明】
【図１】本発明の実施の形態１によるデータ伝送システムを説明するための図であり、該システムの構成（図(a)）、及び該システムにおけるデータ送信処理（図(b)）を示している。
【図２】上記実施の形態１のデータ伝送システムにて用いられるＳＭＩＬファイルＦSD１の記述内容の一例を示す図である。
【図３】上記実施の形態１のデータ伝送システムを構成するサーバ１００ａ及びクライアント端末２００ａの詳細な構成を示す図である。
【図４】上記実施の形態１の受信端末２００ａにおける具体的なエラー耐性強度の設定方法を説明する図であり、２つのエラー耐性強度の一方を選択する方法（図(a)）と、スライドバーによりエラー耐性強度を指定する方法（図(b)）を示している。
【図５】上記実施の形態１のデータ伝送システムにて用いられる、図２に示すＳＭＩＬファイルとは異なるＳＭＩＬファイルＦSD２の記述内容（図(a)）、及びユーザ設定値Ｘus２に基づいたvideo要素の具体的な選択の方法（図(b))を示す図である。
【図６】上記実施の形態１におけるエラー耐性の異なる複数の画像データの他の例として、１フレームを１ビデオパケットとするビデオストリーム（図(a)）と、１フレームを３ビデオパケットとするビデオストリーム（図(b)）とを示す図である。
【図７】本発明の実施の形態２によるデータ伝送システムを説明するための図であり、上記システムを構成するサーバ及びクライアント端末の詳細な構成を示している。
【図８】上記実施の形態２で用いるＳＭＩＬファイルＦSD２の記述情報に対応する、ワークメモリにおける記憶内容（図(a)）、及びエラー発生率とエラー耐性強度とを関連付けるテーブル（図(b)）を示す図である。
【図９】上記実施の形態２にてビデオストリームの切替えを行う際の、ＲＴＳＰメッセージの交換の例を示す図である。
【図１０】上記実施の形態２にてビデオストリームの切替えを行う際、切替え前、及び切替え後のビデオストリームに対応する受信バッファに格納されるＲＴＰパケット（図(a)，(b)）を示す図である。
【図１１】上記実施の形態２における受信端末でのビデオストリームの切替処理のフローを示す図である。
【図１２】上記実施の形態２における、上記ビデオストリームの切替時に受信端末のＲＴＳＰメッセージ送受信部２１４及びパケットＲＴＰデータ受信部２１６ｂにて行われる処理を、表示時刻に従って具体的に示す模式図である。
【図１３】上記実施の形態２で用いられる、伝送プロトコルが異なるビデオストリームに関する情報を示すＳＭＩＬファイルの記述（図(a)）、該記述に対応する、ワークメモリにおける記憶内容（図(b)）、及びエラー発生率とプロトコルとを関連付けるテーブル（図(c)）を示す図である。
【図１４】本発明の実施の形態３によるデータ伝送システムを説明するための図であり、上記システムを構成するサーバ及びクライアント端末の詳細な構成を示している。
【図１５】本発明の実施の形態４によるデータ伝送システムを説明するための図であり、上記システムを構成するサーバ及びクライアント端末の詳細な構成を示している。
【図１６】本発明の実施の形態６によるデータ再生装置としての携帯電話を説明するための図である。
【図１７】上記各実施の形態のデータ再生処理及びデータ送信処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体（図(a)，(b)）、及び上記コンピュータシステム（図(c)）を説明するための図である。
【図１８】インターネットを利用して画像データを配信するための通信システムを説明するための図である。
【図１９】従来の画像符号化装置を説明するための図であり、該画像符号化装置の構成（図(a)）、及び該画像符号化装置におけるＶＯＰ単位の符号化処理（図(b)）を示している。
【図２０】従来の画像復号化装置を説明するためのブロック図である。
【図２１】本発明の実施の形態５によるデータ伝送システムを説明するための図であり、図２１(a)は該システムの構成を、図２１(b)は、該システムでのデータ伝送処理を示している。
【図２２】上記実施の形態５のシステムを構成するサーバ１００ｅ及びクライアント端末２００ｅの詳細な構成を示す図である。
【符号の説明】
１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅ ネットワークシステム
１１ ネットワーク
２１ ボタン操作部
２１ａ〜２１ｄ カーソルキー
２１ｅ 確定ボタン
２２ａ 電波強度表示画面
２２ｂ，２２ｄ エラー耐性設定画面
２２ｃ，２２ｅ 操作案内画面 １００ａ，１００ｃ サーバ
１０１ ＨＴＴＰ送信手段
１０２ ＲＴＳＰメッセージ受信手段
１０３ ＲＴＰデータ送信手段
１０４，２１９ ＲＴＣＰレポート送受信手段
１１０ａ，１１０ｃ，１００ｅ 送信装置
１２０ データ格納部
２００ａ，２００ｂ，２００ｃ，２００ｄ，２００ｅ 受信端末
２０１ａ，２０１ｂ 携帯端末
２１１ ＨＴＴＰ受信手段
２１２，２１２ｂ，２１２ｅ ＳＭＩＬデータ解析手段
２１３ ユーザ操作部
２１４ ＲＴＳＰメッセージ受信手段
２１６，２１６ｂ，２１６ｃ ＲＴＰデータ受信手段
２１０，２１０ｄ，２１０ｅ デコード部
２１８，２１８ｄ，２１８ｅ 表示部
２２０，２２０ｅ 制御部
３００ 携帯電話
３０１ アンテナ
３０２ 信号処理部
３０３ 無線通信部
３０４ 表示制御部
３０５ 音声入力出力部
３０６ 液晶パネル（ＬＣＤ）
３０７ スピーカ
３０８ マイク
Ｃｓ コンピュータ・システム
ＦＤ フレキシブルディスク
ＦDD フレキシブルディスクドライブ
ＦSD１〜ＦSD３ ＳＭＩＬファイル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data reproducing apparatus and a data reproducing method, and in particular, transmission error tolerance and video quality of image data acquired on the receiving side according to user preference and transmission error occurrence state on the receiving side of image data. Is related to data reproduction processing that enables switching between the two.
[0002]
[Prior art]
In recent years, with the establishment of the international standard MPEG-4 (Moving Picture Experts Group, Phase4, IS0 / IEC14496) relating to the compression and encoding method of video and audio data, it has become possible to distribute video and audio data in a narrow band. For example, in a transmission line having a bandwidth of 64 kbit / s, an image having one screen with 176 horizontal pixels, 144 vertical pixels, and a frame rate of 5 to 6 frames / second. Data and voice data as good as telephone quality can be transmitted simultaneously.
[0003]
In the simple profile defined by the MPEG-4 video standard, I-VOP and P-VOP, which have different encoding types, are used as VOP (video object plane) which is an image of each object constituting one scene. used. Here, the I-VOP does not refer to the image data of another VOP when the image data is compressed or expanded. Therefore, the encoding process or decoding process for the I-VOP can be performed independently regardless of the image data of other VOPs. On the other hand, the P-VOP is predicted based on the image data of the I-VOP or P-VOP located immediately before the target P-VOP when the compression process or the expansion process of the image data of the P-VOP to be processed is performed. The difference component between the prediction data obtained in this way and the image data of the target P-VOP is obtained, and the difference component is encoded or decoded.
[0004]
The repetition period of I-VOP is generally set to a period in which I-VOP appears once in about 0.5 seconds in digital satellite broadcasting using a wide band. That is, in Japanese television broadcasting, the number of frames per second is about 30, so an I-VOP appears every 15 frames. On the other hand, in the narrow band, the I-VOP repetition cycle with a large code amount of the encoded image data (encoded data) is lengthened, and the P-VOP or B-VOP with a small code amount of the encoded data (that is, its) Increasing the appearance frequency of those that refer to image data of other VOPs at the time of encoding or decoding has a greater effect of improving video quality than increasing the appearance frequency of I-VOPs. However, lengthening the I-VOP repetition period, that is, lowering the frequency of occurrence of I-VOP is not preferable from the viewpoint of error resistance, and image disturbance continues for a long time when packet loss occurs. Become. Note that the VOP in MPEG-4 described above corresponds to a frame in MPEG-1,2.
[0005]
In addition, the international standardization organization 3GPP (Third Generation Partnership Project, http://www.3gpp.org), which establishes standards for receiving terminals in wireless networks, is a protocol for transmitting video data between servers and receiving terminals. RTP / UDP / IP (real time transport protocol / user datagram protocol / internet protocol) is used, and RTSP / TCP / IP (real time streaming protocol / transmission) is a protocol for requesting data from the receiving terminal to the server. Control protocol / internet protocol) is specified. Further, in the 3GPP standard, SMIL (Synchronization Multimedia Markup Language, http://www.w3.org) can be used as a scene description language.
[0006]
FIG. 18 shows a conventional data transmission system for distributing image data using the Internet.
The data transmission system 20 includes a server 20a that packetizes a video stream that is the encoded data and transmits packet data, a receiving terminal 20b that receives the video stream and reproduces image data, and the packet data. And a network 11 such as the Internet for transmission from the server 20a to the receiving terminal 20b.
[0007]
In the communication system 20, first, communication of a message Mes for making a data request to the server 20a is performed between the receiving terminal 20b and the server 20a by RTSP / TCP / IP. Request signal Dau is transmitted to server 20a. Then, the video stream Dstr is transmitted from the server 20a to the receiving terminal 20b by RTP / UDP / IP which is a data transmission protocol. In the receiving terminal 20b, the received video stream Dstr is decoded, and the image data is reproduced.
[0008]
FIG. 19 is a diagram for explaining a conventional image encoding apparatus that performs an encoding process corresponding to the MPEG standard, and FIG. 19A is a block diagram showing the configuration thereof.
The image encoding apparatus 100 constitutes the server 20a shown in FIG. 18, and compresses and encodes the original image data Dv as it is when encoding I-VOP, and the original image data Dv when encoding P-VOP. The encoder 102 that compresses and encodes the difference data Dvd from the prediction data Dp and outputs the encoded data De, and the compressed data obtained by compressing the original image data Dv and the difference data Dvd by the encoder 102 A decoder 103 that decompresses Dc and compressed differential data Dcd and outputs local decoded data Dd corresponding to I-VOP and local decoded differential data Ddd corresponding to P-VOP; and the original image data Dv A subtractor 101 that creates the difference data Dvd by a subtraction process with the prediction data Dp.
[0009]
The image encoding apparatus 100 includes an adder 104 that adds the prediction data Dp to the local decoded differential data Ddd to generate local decoded data Ddp corresponding to P-VOP, and a local corresponding to the I-VOP. A frame memory 105 that records the decoded data Dd and the local decoded data Ddp corresponding to the P-VOP as reference data, and the image data read from the frame memory 105 is used as the prediction data Dp. 101 and the adder 104 are supplied.
[0010]
Next, the operation of the conventional image encoding apparatus 100 will be briefly described.
In the image encoding device 100, as shown in FIG. 19B, the original image data Dv input from the outside is encoded for each VOP.
For example, the first VOP data V (1) is encoded as I-VOP, the second to fifth VOP data V (2) to V (5) are encoded as P-VOP, and the sixth The VOP data V (6) is encoded as I-VOP, and the seventh to tenth VOP data V (7) to V (10) are encoded as P-VOP.
[0011]
When the encoding process is started, first, the first VOP data V (1) is encoded as I-VOP. That is, the original image data Dv corresponding to the I-VOP is compression-encoded by the encoder 102 and output as encoded data De. At this time, the encoder 102 outputs the compressed data Dc obtained by compressing the original image data Dv to the decoder 103. Then, the decoder 103 performs decompression processing on the compressed data Dc to generate I-VOP local decoded data Dd. The local decoded data Dd output from the decoder 103 is stored in the frame memory 105 as reference data.
[0012]
Next, the second VOP data V (2) is encoded as P-VOP. That is, the original image data Dv corresponding to the P-VOP is input to the subtracter 101 in the preceding stage of the encoder 102, and the subtractor 101 reads the image data read out as the predicted data Dp from the frame memory 105, and Difference data Dvd from the original image data Dv corresponding to the P-VOP is generated. Then, the difference data Dvd is compression-encoded by the encoder 102 and output as encoded data De.
[0013]
At this time, the encoder 102 outputs the compressed differential data Dcd obtained by compressing the differential data Dvd to the decoder 103. Then, the decoder 103 performs decompression processing on the compressed differential data Dcd to generate local decoded differential data Ddd. The adder 104 corresponds to P-VOP by adding the locally decoded differential data Ddd output from the decoder 103 and the prediction data Dp that is image data read from the frame memory 105. Local decoded data Ddp is generated. The locally decoded data Ddp output from the adder 104 is stored in the frame memory 105 as reference data.
[0014]
Thereafter, the third to fifth VOP data V (3) to V (5) are encoded as P-VOP, similar to the second VOP data. Further, the sixth VOP data V (6) is encoded as I-VOP, similar to the first VOP data V (1), and the seventh to tenth VOP data V ( Similarly to the second VOP data V (2), 7) to V (10) are encoded as P-VOP.
As described above, in the image encoding apparatus 100, the encoding process for the original image data Dv is performed with the I-VOP cycle being 5 VOPs.
[0015]
FIG. 20 is a block diagram for explaining a conventional image decoding apparatus.
The image decoding apparatus 200 decodes the encoded data De output from the image encoding apparatus 100 shown in FIG. 19A, and constitutes a decoding unit of the receiving terminal 20b in the data transmission system 20. To do.
That is, the image decoding apparatus 200 performs decompression decoding processing on the encoded data De from the image encoding apparatus 100 in units of VOPs, and decodes the decoded data Dd corresponding to the original image data Dv when decoding the I-VOP. When decoding the P-VOP, the decoder 201 that outputs the decoded difference data Ddd corresponding to the difference data Dvd between the original image data Dv and the prediction data Dp, and the decoded difference data Ddd Refer to the adder 202 that adds the prediction data Dp to generate the decoded data Ddecp corresponding to the P-VOP, the decoded data Dd corresponding to the I-VOP, and the decoded data Ddecp corresponding to the P-VOP. A frame memory 203 for recording as data, and image data read out from the frame memory 203 as the prediction data Dp is It is intended to be supplied to the adder 202.
[0016]
Next, the operation of the conventional image decoding apparatus 200 will be briefly described.
When the decoding process is started, the image decoding apparatus 200 decodes the encoded data De from the image encoding apparatus 100 for each VOP.
[0017]
That is, when encoded data De corresponding to I-VOP is input to the decoder 201, the decoder 201 performs decompression decoding on the encoded data De and corresponds to the original image data Dv. The decrypted data Dd to be generated is generated. The decoded data Dd is output from the image decoding apparatus 200 and stored in the frame memory 203 as reference data.
[0018]
Also, when the encoded data De corresponding to the P-VOP is input to the decoder 201, the decoder 201 performs decompression decoding on the encoded data De to obtain the original image data Dv and its image data Dv. Decoded differential data Ddd corresponding to differential data Dvd with the prediction data Dp is generated. When the decoded differential data Ddd is input to the adder 202, the adder 202 adds the decoded differential data Ddd and the image data read out as the predicted data Dp from the frame memory 203. Processing is performed to generate decoded data Ddecp corresponding to the P-VOP. The decoded data Ddecp is output from the image decoding apparatus 200 and stored in the frame memory 203 as reference data.
[0019]
[Problems to be solved by the invention]
However, the conventional data transmission system 20 as shown in FIG. 18 has the following problems.
In other words, in data transmission using RTP / UDP / IP, data sent from the distribution server may not arrive at the receiving terminal due to protocol characteristics. One of the factors is that when a bit error occurs in the received packet, the incoming packet is discarded by the error detection mechanism in UDP. In particular, in a transmission system in which a wireless transmission path is included in the transmission path from the server to the receiving terminal, the received transmission data cannot be correctly demodulated when the radio field intensity at the receiving terminal is weak. Bit errors will occur.
[0020]
In addition, the receiving terminal cannot perform the decoding process on the video frame unless the data (video stream) for one frame (VOP) is prepared. For this reason, as a countermeasure method when a transmission error occurs, for example, when a transmission error occurs, the data of the frame (VOP) in which data was not normally received is discarded, and then the I frame (I-VOP) A method is used in which a video frame in which data has been normally received is displayed until the data is normally received, and when the data in the I frame is normally received, the decoding process is resumed from this I frame. . With this handling method, there is no video disturbance, but the movement of the display image stops until an I frame is received.
[0021]
Furthermore, as another method when a transmission error occurs, the data of the frame (VOP) in which the data was not normally received is replaced with the data of the frame (VOP) that has been correctly received and decoded immediately before. There is a method of using frame data for decoding of subsequent frames. In this method, the display image does not stop moving in a frame other than the frame in which data is not normally received, so that smooth display is performed. However, since the data of the target frame to be decoded is decoded with reference to a frame different from the frame referred to in the encoding process, there is a possibility that the display content is greatly disturbed. Although depending on the viewer's preference, in general, when a transmission error occurs, rather than using a method of replacing the discarded reference frame data for the target frame with data of a frame other than the reference frame, By using the method of displaying the frame immediately before the occurrence of the transmission error until the I frame data is normally received after the occurrence of the transmission error, a reproduced image with less sense of incongruity can be obtained.
[0022]
However, the conventional receiving terminal is set in advance to execute any one of the above methods as a response method when a transmission error occurs. For this reason, an image displayed when a transmission error occurs is displayed. On the other hand, there was a problem that viewers sometimes felt a great sense of incongruity.
Furthermore, in order to suppress the degradation of video quality due to data compression, the appearance frequency of I frames (I-VOP) should be reduced as much as possible, but on the other hand, decoding that has become abnormal due to the occurrence of a transmission error From the standpoint of quickly returning the normalization process to the normal decoding process, there is also a problem that the frequency of appearance of the I frame (I-VOP) cannot be reduced very much.
[0023]
The present invention has been made in order to solve the above-described problems, and is a data reproducing apparatus and data that can make an image displayed when a transmission error occurs almost completely uncomfortable for a viewer. It is an object to obtain a data recording medium storing a reproduction method and a program for performing the data reproduction method by software.
[0024]
[Means for Solving the Problems]
The data reproducing apparatus according to the present invention is An image data receiving unit that receives a video stream including an intra-coded image frame in one or more packets for one coded image frame, and a video stream received by the image data receiving unit A decoding unit that outputs an image frame, a display unit that displays the image frame output from the decoding unit, and an appearance interval of the intra-frame encoded image frame in the video stream, A control unit that switches an operation mode of the decoding unit at the time of a transmission error due to a packet loss according to the appearance interval, and the control unit includes the intra-frame-encoded image frame included in the video stream. Is compared with a predetermined value set in advance, and the decoding unit determines that (1) when the appearance interval is equal to or greater than the predetermined value, Only the image frame constituted by the missing packet is skipped and the image frame other than the skipped image frame is decoded. (2) When the appearance interval is smaller than the predetermined value, The video stream decoding process is temporarily stopped until a packet constituting an intra-frame encoded image frame is received, and an operation mode is set. It is characterized by this.
[0025]
The present invention That the data reproducing device is a mobile phone It is a feature.
[0051]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below.
(Embodiment 1)
FIG. 1 is a diagram for explaining a data transmission system according to Embodiment 1 of the present invention. FIG. 1 (a) shows the configuration of the system, and FIG. 1 (b) shows data transmission processing in the system. Is shown.
The data transmission system 10a according to the first embodiment includes a server 100a that transmits a predetermined video stream (encoded image data), and a receiving terminal that receives the video stream transmitted from the server 100a and reproduces video data. Client terminal) 200a and a network 11 for transmitting the video stream from the server 100a to the receiving terminal 200a.
[0052]
Here, the server 100a stores a plurality of video streams obtained by encoding digital video signals of the same image sequence under different encoding conditions, and SMIL data in which attributes of the video streams are described. The data storage unit 120 stores the data stored in the data storage unit 120 and the data transmission unit 110 a that transmits the data stored in the data storage unit 120 to the network 11. The data storage unit 120 uses a mass storage device such as a hard disk.
[0053]
In the first embodiment, the plurality of video streams are a plurality of image data having different error tolerances corresponding to the same image series. Specifically, each of the plurality of video streams uses a large amount of intra-screen encoded data obtained by encoding a digital video signal using intra-screen pixel value correlation and a digital video signal using inter-screen pixel value correlation. The inter-frame encoded data with a small code amount is encoded, and the appearance interval of the intra-frame encoded data in each image data, in other words, the cycle of the I frame (I-VOP) is different.
The data storage unit 120 such as the hard disk stores video streams having different I frame periods, that is, I frame periods of 10 seconds, 5 seconds, 2 seconds, and 1 second, as video files Dv1 to Dv4. The SMIL file FSD1 is stored as the SMIL data Da.
[0054]
FIG. 2A shows the description content of the SMIL file FSD1.
Described at the beginning of each line of the SMIL file FSD1 <smil>, </ smil>, <body>, </ body>, <switch>, </ switch>, A character string such as <video> is called an element, and declares the content of the description that follows the element.
For example, the smil element 710a and the / smil element 710b declare that the line located between the line including the smil element and the line including the / smil element is described according to the SMIL standard.
The body element 720a and the / body element 720b are an attribute of video data to be played back, for example, information (URL) indicating a location, code, and the like in a line located between the line including the body element and the line including the / body element. It declares that information related to the initialization parameter (I frame period) is described.
[0055]
The switch element 730a and the / switch element 730b declare that one of a plurality of video elements positioned between the line including the switch element and the line including the / switch element is to be selected. is there. The video element declares that moving image data is designated by the description of lines 701 to 704 including the video element.
For example, in the item of each video element in the SMIL file FSD1, the appearance interval of the I frame (I frame period) is described as an i-frame-interval attribute. The best matching video element is selected. Specific values of the i-frame-interval attribute include “1s”, “2s”, “5s”, “10s”, and the smaller the specific i-frame-interval attribute value is, the more error the video data file has. It has high resistance strength. Here, four video data files having different I-frame appearance intervals are shown, but it goes without saying that it may be two, three, or five or more.
[0056]
In addition, the attribute value included in each video element item is not limited to the i-frame-interval attribute, and may be a system-error-resilient-level attribute that directly indicates error resilience strength.
For example, FIG. 5 (a) shows a SMIL file FSD2 indicating four video data files having different error resilience strengths as another example of the SMIL file.
[0057]
The SMIL file FSD2 includes items related to four video elements 711 to 714 having different error resilience strength described between a line including the switch element 731a and a line including the / switch element 731b. In addition, in each video element item, error resilience strength is described as a system-error-resilient-level attribute. Based on this attribute, the video element that best matches the content of the user setting is selected.
[0058]
Here, the specific values of the system-error-resilient-level attribute in each of the video elements 711, 712, 713, 714 are “1”, “2”, “3”, and “4”, respectively.
[0059]
FIG. 3 is a diagram showing a detailed configuration of the server 100a and the client terminal 200a constituting the system.
The data transmission unit 110a constituting the server 100a receives the SMIL data request message Mdr transmitted from the client terminal 200a by HTTP, reads the SMIL file Da from the data storage unit 120 according to the request, and reads the read SMIL file Da. An HTTP transmission / reception unit 101 that transmits HTTP as SMIL data Dsm, and an RTSP message transmission / reception unit 102 that receives a data request message Mrtsp transmitted from the client terminal 200a by RTSP and outputs a data designation signal Sc indicating the requested video file name. The data designation signal Sc is received, the video stream De corresponding to the video data file name indicated by the data designation signal Sc is read from the data storage unit 120, and the read video stream is And a RTP data transmission unit 103 for transmitting the RTP data Drtp by TP.
[0060]
In addition, the client terminal 200a transmits a user operation unit 213 that outputs various user operation signals Sop1, Sop2, and Serr according to a user operation, and transmits a request message Mdr of the SMIL data based on the user operation signal Sop1 by HTTP. In addition, the HTTP transmission / reception unit 211 that receives the SMIL data Dsm transmitted from the server 100a by HTTP, and the SMIL data Dsm are analyzed, and the analysis result and the error tolerance strength set by the user operation are specified. And a SMIL data analysis unit 212 for outputting a data designation signal Sc for designating predetermined data based on a level signal Serr indicating a typical level (numerical value).
[0061]
Here, based on the level signal Serr, the SMIL data analysis unit 212 determines necessary data out of a plurality of video data prepared on the server side and having different I-frame periods. A designation signal Sc for designating video data is output.
[0062]
The client terminal 200a transmits the data designation signal Sc as an RTSP message signal Mrtsp, receives an RTSP message transmission / reception unit 214 that receives a response signal Sack of the signal Mrtsp, and RTP data Drtp transmitted from the server 100a. The RTP data receiving unit 216 that outputs the video stream De, the decoding unit 210 that decodes the video stream De and outputs the image data Ddec, displays an image based on the image data Ddec, and performs the above user operation And a display unit 218 that performs display in accordance with the signal Sop2.
[0063]
Hereinafter, the configuration for setting the error tolerance in the user operation unit 213 will be specifically described.
FIG. 4A shows a screen (error tolerance setting screen) for setting the error tolerance strength of image data to be acquired in the receiving terminal 200a. Here, the receiving terminal 200a is assumed to be a mobile terminal 201a such as a mobile phone.
For example, by operating the button operation unit 21 of the mobile terminal 201a, an item [setting] for performing various initial settings is selected from among a plurality of items in the initial menu of the terminal, and more specific items [ When the streaming reception setting] and the item [error tolerance strength setting] are sequentially selected, an error tolerance setting screen 22b shown in FIG. 4A is displayed at the center of the display panel 22 of the mobile phone.
[0064]
In FIG. 4A, 22a is a screen showing the radio wave intensity, 22c is a screen for guiding the operation, and the screen 22c is operated by operating the up and down cursor keys 21a and 21c of the button operation unit 21. It is shown that the level of error resilience shown on the error resilience setting screen 22b is selected and the selected level should be confirmed by operating the confirm button 21e.
The error tolerance setting screen 22b sets either a preset error tolerance strength [high level] or a preset error tolerance strength [low level] as the error tolerance strength level of the image data to be acquired. It is a screen to do. Further, in the mobile terminal 201a, error tolerance strength [high level] and [low level] are associated with 80 and 20 out of integer values from 0 to 100 as error tolerance strength values, respectively. Then, either the error tolerance strength [high level] or the error tolerance strength [low level] is selected by the user operation, that is, the up / down cursor keys 21a, 21c of the button operation unit 21, and the confirmation button 21e is operated, When the selected level is confirmed, the error tolerance strength value corresponding to the established level is held as the error tolerance strength value of the terminal.
[0065]
Next, the operation will be described.
In this data transmission system 10a, as shown in FIG. 1B, a SMIL request signal Sd1 (SMIL request message Mrd shown in FIG. 3) for requesting SMIL data is transmitted from the receiving terminal 200a to the server 100a by HTTP. As a response, the SMIL data Dsm is transmitted from the server 100a to the receiving terminal 200a by the HTTP signal Dsd.
Thereafter, the receiving terminal 200a performs processing for transmitting a message Mrtsp specifying a required video stream to the server 100a as the RTSP signal Sd2 based on the analysis result of the SMIL data Dsm and the contents of the user setting. Then, after the response signal Sack is transmitted from the server 100a to the receiving terminal 200a by RTSP, a predetermined video stream Dstr is transmitted from the server 100a to the receiving terminal 200a as RTP data Drtp.
[0066]
Hereinafter, the data transmission process between the server 100a and the receiving terminal 200a will be described in detail.
First, in the receiving terminal (client terminal) 200a, various settings are performed by a user operation on the user operation unit 213 before requesting SMIL data corresponding to desired image data.
For example, when the receiving terminal 200a is the portable terminal 201a shown in FIG. 4 (a), the user operates various types of items in the initial menu of the terminal by operating the button operation unit 21 of the portable terminal 201a. An item [setting] for performing the initial setting is selected, and further more specific items [streaming reception setting] and item [error tolerance strength setting] are sequentially selected. Then, according to the operation signal Sop2, an error tolerance setting screen 22b shown in FIG. 4A is displayed on the display unit 218, that is, the display panel 22 of the portable terminal.
[0067]
On this error tolerance setting screen 22b, error tolerance strength [high level] and error tolerance strength [low level] are displayed as candidates for level selection of error tolerance strength of image data to be acquired.
For example, the error tolerance strength [low level] is selected by the user operating the up / down cursor keys 21a and 21c of the button operation unit 21, and the selected error tolerance strength [low level] is confirmed by operating the confirm button 21e. Then, an integer value “20” corresponding to the error tolerance strength [low level] is held as the error tolerance strength value of the mobile terminal.
[0068]
Then, when the user displays an image data selection screen (not shown) on the display unit 218 of the receiving terminal 200a and performs an operation of specifying the image data to be acquired on the image data selection screen, The operation signal Sop1 is input to the HTTP transmission / reception unit 211, and the HTTP transmission / reception unit 211 requests a signal Sd1 (SMIL request message Mdr shown in FIG. 3) for requesting SMIL data related to the designated image data (FIG. 1B). Is transmitted to the server 100a. Then, in the server 100a, the HTTP transmission / reception unit 101 receives the SMIL data request signal Sd1 from the client terminal 200a, and the HTTP transmission / reception unit 101 receives the SMIL data request signal Sd1 from the data storage unit 120. A process of reading the SMIL file Da and transmitting it as SMIL data Dsm by HTTP is performed. The SMIL data Dsm is transmitted to the receiving terminal (client terminal) 200a via the network 11, and is received by the HTTP transmitting / receiving unit 211.
[0069]
Then, in the receiving terminal 200a, the received SMIL data Dsm is analyzed by the SMIL data analysis unit 212, and one of the four video data files that best matches the contents set by the user is selected, and the selected video is selected. A designation signal Sc indicating a data file is output to the RTSP message transmission / reception unit 214. In the RTSP message transmission / reception unit 214, processing for transmitting the designation signal Sc to the server 100a as RTSP message signal Mrtsp by RTSP is performed.
[0070]
Hereinafter, the process of selecting the video data file corresponding to the error resilience level set by the user from the four video data files described in the SMIL file by the SMIL data analysis unit 212 will be specifically described. .
First, the SMIL data analysis unit 212 performs a process of digitizing each video element 701 to 704 in the SMIL file.
Specifically, when N (N: natural number) video elements are described in the SMIL file, the numerical value level Y (Y: Y: Y) is calculated for each video element based on the following calculation formula (1). An integer of 0 or more).
Y = 100 · (n−1) / (N−1) (1)
Here, the digitization level Y is a value given to the nth video element from the one with the lower error resistance strength of the corresponding video data file among the N video elements.
When the calculated value calculated by the above formula (1) is not an integer value, the numerical value level Y is set to an integer value that is equal to or larger than the calculated value and closest to the calculated value.
Here, since N = 4, the integer values “100”, “67”, “33”, and “0” are assigned to the four video elements 701 to 704 in order from the one with the highest error resistance strength. That is, the video element 704 has an integer value Yv4 (= 100), the video element 703 has an integer value Yv3 (= 67), the video element 702 has an integer value Yv2 (= 33), and the video element 701 Is assigned an integer value Yv1 (= 0).
[0071]
When N = 2, an integer value “100” is assigned to the corresponding video element with higher error tolerance strength, and an integer value “0” is assigned to the corresponding video element with lower error tolerance strength. Is done. When N = 3, the integer values “100”, “50”, and “0” are assigned to the three video elements in order from the higher error tolerance strength, and when N = 5, Integer values “100”, “75”, “50”, “25”, and “0” are assigned to the five video elements in order from the corresponding higher error tolerance strength.
[0072]
Then, the error tolerance strength value (user setting value) Xus1 (= 20) of the image data to be acquired, which is set by the user on the mobile terminal, and the adjustments given to each of the video elements 701 to 704 described above. The video element 702 to which the integer value Yv2 (= 33) closest to the user set value Xus1 (= 20) of the error resilience strength is assigned is selected (FIG. 2B). )reference).
[0073]
As described above, the receiving terminal 200a designates a video data file with different error tolerance indicated in the SMIL file according to the user setting at the receiving terminal, and indicates the designated video data file. When the designation signal Sc is transmitted to the server 100a as the RTSP message signal Mrtsp, in the server 100a, the RTSP message signal Mrtsp from the receiving terminal 200a is received by the RTSP message transmission / reception unit 102, and the designation signal Sc is received by the RTP data transmission unit. 103. Then, the transmission unit 103 performs a process of selecting a predetermined video file from a plurality of video files stored in the data storage unit 120 based on the designation signal Sc and transmitting it as RTP data Drtp. .
[0074]
When the RTP data Drtp is transmitted to the receiving terminal 200a via the network 11, the RTP data Drtp is received by the RTP data receiving unit 216, and the video stream De is output to the decoding unit 210. Is done. The decoding unit 210 generates image data Ddec by decoding the video stream De, and outputs it to the display unit 218. The display unit 218 performs image display based on the image data Ddec.
[0075]
As described above, in the data transmission system 10a according to the first embodiment, the server 100a stores a plurality of video streams having different I-frame periods as encoded data of image data corresponding to the same image series. 120 and a data transmission unit 110 that transmits a predetermined video stream of the plurality of video streams in response to a designation signal Sc from the reception terminal, and the reception terminal 200a is set based on the setting contents of the user. Thus, the designation signal Sc for designating one having a required error tolerance among the plurality of video streams prepared on the server 100a side is transmitted to the server 100a. Make the video stream provided by the site more resistant to transmission errors or video It is possible to choose a good quality.
[0076]
In the first embodiment, the description element indicating the description of each video file in the SMIL data is used. <video> is used, but this It may be <ref>.
In the first embodiment, RTSP is used as a protocol for requesting data, and RTP is used as a protocol for transmitting video data. However, other protocols may be used.
Further, in the first embodiment, the case has been described in which information relating to a plurality of video streams with different encoding conditions prepared in the server is included in SMIL data, but the information relating to the plurality of video streams is SDP. (Session description protocol) data, MPEG-4 System data (MPEG-4 scene description data), etc. may be transmitted.
[0077]
Further, in the first embodiment, the case where the error resilience strength of the video stream is indicated by the I frame period has been described. However, the error resilience strength of the video stream is defined by the MPEG-4 video coding standard other than the I frame period. It may be indicated by information for describing various error resilience modes.
For example, the information for describing the error resilience mode of the video stream includes information indicating the size of the video packet in the video stream, or whether or not HEC (Head Extension Code) is used (that is, VOP header information is included in the video packet header). Information, and whether or not data partitioning (that is, placing important information at the beginning of the packet) or RVLC (Reversible Variable Length Code), that is, the beginning of the packet. It may be information indicating whether or not a data structure capable of decoding a variable-length code is used not only from the rear end.
[0078]
In the first embodiment, as an attribute included in each video element item, an i-frame-interval attribute or a system-error-resilient-level (error-protection-1eve1) that directly indicates error resilience strength. ) Attributes are shown, but these attribute values may be converted in advance to integer values of 0 to 100 proportional to the level of error resilience strength. In this case, as in Embodiment 1 above In addition, it is not necessary to digitize the attribute value related to the error resilience strength with an integer value of 0 to 100 at the receiving terminal.
[0079]
Further, in the first embodiment, as a method for setting the level of error tolerance strength of image data to be received, a method of selecting either error tolerance strength [high level] or error tolerance strength [low level] (FIG. 4 (a)), the method of setting the error tolerance level of image data to be received at the receiving terminal is to specify the error tolerance strength level within a certain range using a slide bar or the like. It may be.
[0080]
FIG. 4B is a diagram for explaining the portable terminal 201b that sets the level of error resilience strength using a slide bar, and shows an error tolerance setting screen 22d in the portable terminal 201b. In FIG. 4B, the same reference numerals as those in FIG. 4A indicate the same reference numerals as those in the portable terminal 201a of the first embodiment.
For example, by operating the button operation unit 21 of the mobile terminal 201b, as with the operation on the mobile terminal 201a in the first embodiment, various initial settings among a plurality of items in the initial menu of the terminal are performed. When the item [setting] is selected, and further more specific items [streaming reception setting] and item [error resistance strength setting] are sequentially selected, an error tolerance setting screen 22d shown in FIG. Displayed in the center of the display panel 22 of the terminal, a screen 22e for guiding operation is displayed below the error tolerance setting screen 22d.
[0081]
Here, the error tolerance setting screen 22d is a screen for setting the level of error tolerance strength of the image data to be acquired by the slide bar 22d1. The error tolerance setting screen 22d shows a range in which the slide bar 22d1 can be moved in the left-right direction, and the left end position Lp and the right end position Rp in the movement range 22d2 are error tolerance strengths [minimum level]. , A position for designating error tolerance strength [highest level], and an intermediate point Mp between the left end position Lp and the right end position Rp is a position for designating error tolerance strength [medium level].
[0082]
And in the user operation part 213 of this portable terminal 201b, the integer value of 0-100 is calculated as an error tolerance strength level based on the following formula (2) according to the position of a slide bar.
X = Ls · (1 / Rs) · 100 (2)
Here, X is an error resistance strength level, Rs is a distance (slide length) between the left end position Lp and the right end position Rp in the slide range 22d2, and Ls is a distance (slide) of the slide bar 22d1 from the left end position Lp. Distance).
For example, when the slide length Rs is 50 mm and the slide distance Ls of the slide bar 22d1 is 15 mm, the error tolerance strength level X is Xus1 (= (15/50) · 100 = 30 from the calculation formula (2). ) If the calculated value of the error resilience level calculated from the calculation formula (2) is not an integer value, the error resilience strength level is set to an integer value that is equal to or greater than the calculated value.
[0083]
Further, on the screen 22e, by operating the left and right cursor keys 21b and 21d of the button operation unit 21, the slide bar 22d1 shown on the error resistance setting screen 22e is moved to specify the level of error resistance strength, and It is indicated that the level of the specified error resilience strength should be confirmed by operating the confirm button 21e of the button operation unit 21.
When the slide distance Ls of the slide bar 22d1 is designated by the user operation, that is, the left and right cursor keys 21b and 21d of the button operation unit 21, and the designated slide distance is confirmed by the operation of the confirm button 21e, The error tolerance strength is calculated based on the above formula (2), and the calculated value is held as the error tolerance strength value of the mobile terminal.
[0084]
Also in this case, the video elements 711 to 714 are based on the error tolerance strength value (user setting value) Xus1 (= 30) of the image data to be acquired, which is set by the user on the mobile terminal. In the process of determining one of them, as shown in the first embodiment, the video element 712 to which the integer value Yv2 (= 33) closest to the user setting value Xus1 of the error tolerance strength is assigned is selected. (See FIG. 2 (b)).
[0085]
Note that the process of determining one of the video elements 711 to 714 based on the user setting value is given an integer value closest to the user setting value Xus1 as in the first embodiment. Not only the process in which the video element is selected, but as shown in FIG. 5B, for example, an integer value Yv3 (= 67) that is equal to or larger than the user setting value Xus2 (= 40) and is set is added. The selected video element 713 may be selected.
[0086]
In the first embodiment, the case where the user sets the error tolerance strength for the image data to be received at the receiving terminal has been described. However, the receiving terminal sets the error tolerance strength for the image data to be received, It may be automatically set according to the state of the received radio wave.
[0087]
Further, in the first embodiment, the plurality of pieces of image data having different error tolerance corresponding to the same image series are shown having different appearance intervals of the encoded data corresponding to the I frame. The plurality of different image data may have different frame rates, may have different transmission protocols for the image data, or may have different data unit sizes when packetized.
[0088]
For example, image data with a high frame rate has higher error tolerance strength than image data with a low frame rate, and image data transmitted by a transmission protocol including retransmission and duplicate transmission includes retransmission and duplicate transmission. Compared to image data transmitted with no transmission protocol, the error tolerance strength is high. Also, image data with a small data unit at the time of packetization has higher error resistance strength than image data with a large data unit at the time of packetization.
[0089]
Hereinafter, a plurality of image data having different data unit sizes when packetized will be described in detail.
FIG. 6 shows first and second images having different data unit sizes when packetized, which is obtained by encoding a digital video signal Sdv as two image data having different error tolerance corresponding to the same image series. Encoded data is shown.
[0090]
That is, the first image encoded data D1 shown in FIG. 6A is a digital video signal corresponding to each of the frames F1 to F3. The encoder Enc converts one frame of encoded data into one video packet. The error tolerance strength obtained by encoding to be stored in VPa1 is low. In the first encoded image data D1 having low error tolerance, when a transmission error occurs during transmission of encoded data corresponding to the frame F2, encoded data of the packet VPa1 including the error part Perr, that is, All the encoded data of the frame F2 cannot be decoded.
[0091]
Also, the second image encoded data D2 shown in FIG. 6B is a digital video signal corresponding to each of the frames F1 to F3, and the encoded data corresponding to one frame is 3 by the encoder Enc. It is one with high error tolerance obtained by encoding so as to be distributed and stored in one video packet VPb1 to VPb3. In such second encoded image data D2 having high error tolerance, even if a transmission error occurs during transmission of encoded data corresponding to the frame F2, the encoding corresponding to the packet VPb3 including the error part Perr is performed. The encoded data corresponding to the other packets VPb1 and VPb2 can be decoded only by being unable to decode the data.
Note that the encoded image data is not limited to data that is packeted for each frame or data unit that is smaller than the frame as described above, but is data that is packetized for each data unit that is larger than the frame. Also good.
[0092]
(Embodiment 2)
FIG. 7 is a diagram for explaining a data transmission system according to the second embodiment of the present invention, and shows a configuration of a server and a client terminal of the system.
The data transmission system 10b according to the second embodiment replaces the client terminal 200a in the system 10a according to the first embodiment with the error tolerance strength of image data to be received and the RTP data from the server 100a set by the user. A client terminal 200b that determines a video stream having an optimal error resilience strength based on the rate of occurrence of a transmission error of Drtp and transmits a designation signal Sc that designates the determined video stream to the server 100a is provided. .
[0093]
That is, the receiving terminal 200b according to the second embodiment assumes that the image data received first is selected from a plurality of video data files indicated in the SMIL file based on the error tolerance strength set by the user. After the start, according to the error occurrence rate of the received image data, the image data having a predetermined error resilience strength being received is switched to one selected from a plurality of video data files indicated in the SMIL file. .
[0094]
Hereinafter, the client terminal 200b of the second embodiment will be described in detail.
The client terminal 200b includes an RTP data receiving unit 216b and an SMIL data analyzing unit 212b that perform different operations from the RTP data receiving unit 216 and the SMIL data analyzing unit 212 in the client terminal 200a. The HTTP transmission / reception unit 211, the RTSP message transmission / reception unit 214, the decoding unit 210, the user operation unit 213, and the display unit 218 in the client terminal 200b are the same as those in the client terminal 200a of the first embodiment.
[0095]
The RTP data receiving unit 216b receives the RTP data Drtp, outputs the time stamp information Its of the RTP packet in the RTP data Drtp, further detects the rate of occurrence of transmission errors of the RTP data, and this error rate Is output. Also, the SMIL data analysis unit 212b converts the video stream supplied from the server as RTP data according to the comparison result between the error occurrence rate indicated by the error signal Rerr and a certain threshold value, in accordance with the encoding condition (that is, error tolerance). A designation signal Sc for switching to another video stream having a different intensity is output to the RTSP message transmission / reception unit 214. The certain threshold is a terminal-specific reference value set in advance for the receiving terminal 200b.
[0096]
Here, the RTP data receiving unit 216b calculates the packet loss rate as an error occurrence rate based on the sequence number information included in the header portion of the RTP packet (RTP data). Also, the SMIL data analysis unit 212b selects a video stream with a short I frame period when the packet loss rate increases, and selects a bit stream with a long I frame period when the packet loss rate is low. A designation signal Sc for output is output.
[0097]
Hereinafter, the calculation of the error occurrence rate will be specifically described.
The RTP packets are given consecutive sequence numbers in the packet transmission order indicated by the sequence number information included in the header portion. The RTP receiving unit 216b displays the total number Na of RTP packets to be received every certain unit time, the sequence number of the RTP packet received at the beginning of the unit time, and the sequence number of the RTP packet received at the end of the unit time. And the total number Nr of RTP packets actually received within this unit time is counted, and the error occurrence rate Erate at that time is obtained by the following calculation formula (3).
Erate = Nr / Na (3)
Next, the operation will be described.
The operation of the data transmission system 10b of the second embodiment is different from the operation of the data transmission system 10a of the first embodiment only in the operations of the SMIL data analysis unit 212b and the RTP data reception unit 216b of the receiving terminal 200b.
That is, in the receiving terminal 200b, as in the receiving terminal 200a of the first embodiment, various settings are performed by a user operation on the user operation unit 213 before requesting SMIL data corresponding to desired image data.
That is, the user sets the level of the error tolerance strength of the image data to be received on the error tolerance setting screen 22b shown in FIG. When the user performs an operation of designating image data to be acquired on an image data selection screen (not shown), an operation signal Sop1 corresponding to this operation is input to the HTTP transmission / reception unit 211, and the HTTP transmission / reception unit 211 From the above, a signal Sd1 (SMIL request message Mdr) (see FIG. 1B) for requesting SMIL data related to the designated image data is transmitted to the server 100a.
[0098]
Then, in the server 100a, the HTTP transmission / reception unit 101 receives the SMIL data request signal Sd1 from the receiving terminal 200b, and the HTTP transmission / reception unit 101 stores the SMIL file Da corresponding to the SMIL data request signal Sd1 in the data A process of reading from the storage unit 120 and transmitting it as SMIL data Dsm by HTTP is performed. The SMIL data Dsm is transmitted to the receiving terminal 200b via the network 11, and is received by the HTTP transmitting / receiving unit 211.
[0099]
In the receiving terminal 200b, the received SMIL data Dsm is analyzed by the SMIL data analyzing unit 212b, and the best video data file selected from the four video data files is selected, and the selected video data file is selected. Is output to the RTSP message transmission / reception unit 214. The RTSP message transmission / reception unit 214 performs processing for transmitting the designation signal Sc to the server 100a as the RTSP message signal Mrtsp by RTSP.
[0100]
Then, in the server 100a, the RTSP message signal Mrtsp from the receiving terminal 200b is received by the RTSP message transmission / reception unit 102, and the designation signal Sc is output to the RTP data transmission unit 103. Then, the transmission unit 103 performs a process of selecting a predetermined video file from a plurality of video files stored in the data storage unit 120 based on the designation signal Sc and transmitting it as RTP data Drtp. .
[0101]
When the RTP data Drtp is transmitted to the receiving terminal 200b via the network 11, the RTP data Drtp is received by the RTP data receiving unit 216b and the video stream De is output to the decoding unit 210. Is done. The decoding unit 210 generates image data Ddec by decoding the video stream De, and outputs it to the display unit 218. The display unit 218 performs image display based on the image data Ddec.
[0102]
As described above, in the state where the RTP data Drtp is transmitted from the server 100a to the receiving terminal 200b, the RTP data receiving unit 216b detects the occurrence rate of the transmission error of the RTP data Drtp, and an error indicating the error occurrence rate The signal Rerr is output to the SMIL data analysis unit 212b.
[0103]
Then, in the SMIL data analysis unit 212b, the video supplied from the server 100a as RTP data based on the comparison result between the error occurrence rate indicated by the error signal Rerr and a certain threshold value that is a reference value unique to the receiving terminal 200b. A designation signal Sc for switching the stream to other video data having different encoding conditions (that is, error resilience strength) is output to the RTSP message transmission / reception unit 214. Then, the RTSP message transmission / reception unit 214 performs processing for transmitting the designation signal Sc to the server 100a as the RTSP message signal Mrtsp by RTSP.
[0104]
In the server 100 a, the RTSP message signal Mrtsp from the receiving terminal 200 b is received by the RTSP message transmitting / receiving unit 102, and the designation signal Sc is output to the RTP data transmitting unit 103. Then, the transmission unit 103 performs processing for selecting a video file indicated by the designation signal Sc from a plurality of video files stored in the data storage unit 120 and transmitting it as RTP data Drtp.
[0105]
Hereinafter, a process for calculating the error occurrence rate during the transmission of the image data and a process for switching the stream in accordance with the calculated error occurrence rate will be described in detail.
The SMIL data analysis unit 212b is a work memory (not shown) that records information about each video element described in the SMIL file and information indicating the reception state of image data (video stream) corresponding to each video element. )have.
[0106]
FIG. 8A shows information recorded in the work memory.
Here, in the work memory, information regarding the video elements 711 to 714 in the SMIL file FSD2 shown in FIG. 5A is recorded, and the number of items (number of entries) recorded in the memory is as follows. In SMIL file FSD2, <switch> element 731a and </ switch> matches the number of elements described between the elements 731b (that is, the number of video elements).
[0107]
As shown in FIG. 8A, each item (entry) has a URL (server address) indicating the location of the corresponding video stream on the network, an error resilience strength of the corresponding video stream, An execution flag indicating whether the video stream to be received is in a reception (playback) state that is received and played back, or a non-reception (non-playback) state in which neither reception nor playback is performed, and a corresponding video stream, Includes the latest timestamp.
In the item E2 of the entry number [2], the value of the execution flag is “1”, which indicates that the video stream corresponding to the item E2 is currently being received (reproduced). ing. Further, in the items E1, E3, E4 of the entry numbers [1], [3], [4], the value of the execution flag is “0”, which corresponds to these items E1, E3, E4. This indicates that the video stream to be received (reproduced) is not currently being performed.
[0108]
In addition, the error tolerance strength values in the items E1 to E4 are “0”, “33”, “67”, and “100”, and these values are as described in the first embodiment. This is calculated based on the value of the system-error-resilient-level attribute in the SMIL file FSD2 using the calculation formula (1).
[0109]
In addition, the latest time stamp in each item E1 to E4 is updated as needed by the time stamp given to the header of the latest received RTP packet, and the video stream corresponding to the specific item is changed to the other item. When switching to a video stream corresponding to, the data request timing is used.
In FIG. 8A, the latest time stamp value in the items E1, E3, and E4 is “0”, and this value “0” indicates that the video stream corresponding to these items has not been received yet. ing. The value of the latest time stamp in item E2 is “3060000”. In MPEG-4, since the time stamp is set using a clock of 90 kHz, this value “3060000” corresponds to 34 seconds.
[0110]
FIG. 8B shows the association between the error occurrence rate and the error tolerance strength in the receiving terminal 200b.
Information relating to this association is recorded as table information Rte unique to the receiving terminal in the information storage unit (not shown) of the SMIL data analysis unit 212b. Here, the error occurrence rate (threshold) Eth (Eth = 0) percent, Eth (0 <Eth ≦ 3) percent, Eth (3 <Eth ≦ 6) percent, and Eth (6 <Eth) percent are the error tolerance strengths, respectively. The video stream with the lowest error tolerance, the video stream with the error tolerance quantification level “30”, the video stream with the error tolerance quantification level “60”, and the video stream with the highest error tolerance strength is doing. That is, in this table information, the error occurrence rates of 0%, 3%, and 6% are threshold values for switching video streams according to the error occurrence rate.
[0111]
Next, the operation of the SMIL data analysis unit 212b when switching video streams according to fluctuations in the error rate will be described.
The setting value Xus2 of the error resilience strength at the receiving terminal is “40” as shown in FIG. 5B, and among the video streams corresponding to each video element shown in the SMIL file FSD2. Suppose that the error resilience strength digitization level closest to the error resilience strength setting value Xus2 is selected as the video stream to be received. The numerical level Y of error resilience strength given to each video element shown in the SMIL file FSD2 is calculated by the above formula (1). That is, the video element 714 has an integer value Ys4 (= 100), the video element 713 has an integer value Ys3 (= 67), the video element 712 has an integer value Ys2 (= 33), and the video element 711 has an integer value. Numerical value Ys1 (= 0) is given. Accordingly, the receiving terminal 200b requests and receives a video stream corresponding to the video element 712 and having a numerical value level Y of error resilience Ys2 (= 33) as the first received video stream. .
[0112]
First, the SMIL data analysis unit 212b of the receiving terminal 200b writes the execution flag value “1” corresponding to the entry [2] into the work memory.
Then, the RTSP message transmission / reception unit 214 of the receiving terminal 200b performs processing for transmitting the data request message for requesting the video stream corresponding to the entry [2], that is, the video stream indicated by the video element 712, by RTSP.
[0113]
Thereafter, when a video stream corresponding to the video element 712 is input to the receiving terminal 200b, the RTP data receiving unit 216b receives the video stream corresponding to the video element 712, and first receives the video stream corresponding to the video stream. The time stamp information Its of the RTP packet is output to the SMIL data analysis unit 212b.
Then, in the SMIL data analysis unit 212b, the time stamp value corresponding to the entry [2] recorded in the work memory is sequentially updated to the latest value.
[0114]
If the error occurrence rate is zero as a result of observing the reception status at the RTP data receiving unit 216b for a certain time (for example, 10 seconds), the SMIL data analyzing unit 212b displays the table information shown in FIG. Based on Rte, a video stream having the lowest error resilience strength is selected from the video streams indicated in the SMIL file, and a designation signal designating this video stream as image data to be received is transmitted and received by the RTSP message. Is output to the unit 214.
[0115]
At this time, the SMIL data analysis unit 212b performs a process of changing the value of the execution flag corresponding to the entry [2] to “0” and the value of the execution flag corresponding to the entry [1] to “1”. .
Thereafter, the RTSP message transmission / reception unit 214 makes a data request to the URL (server address) corresponding to the entry [1] by RTSP, and at this time, based on the latest time stamp corresponding to the entry [2]. The head position of the requested data (video stream) is designated.
[0116]
FIG. 9 is a diagram showing an example of a sequence by RTSP, that is, message exchange.
When switching video streams, first, the RTSP message transmission / reception unit 214 of the receiving terminal 200b receives a DESCRIBE request for the video stream indicated by the video element 711 by RTSP for the URL (server address) corresponding to the entry [1]. A message (DESCRIBE rtsp: //s.com/s1.mp4 RTSP / 1.0) Sm1 is transmitted. Then, a response message (RTSP / 1.0 200 OK) Rm1 to the DESCRIBE request message Sm1 is transmitted from the RTSP message transmitting / receiving unit 102 of the server 100a corresponding to the URL to the receiving terminal 200b. This response message Rm1 includes SDP data Dsd for the video stream indicated by the video element 711.
[0117]
Subsequently, from the RTSP message transmission / reception unit 214 of the receiving terminal 200b, the first SETUP request message (SETUP rtsp) for the video stream indicated by the video element 711 is received by RTSP for the URL (server address) corresponding to the entry [1]. : //s.com/s1.mp4/trackID=1 RTSP / 1.0) Sm2 and second SETUP request message (SETUP rtsp: //s.com/s1.mp4/trackID=2 RTSP / 1.0) Sm3 sent Is done. Then, the RTSP message transmitting / receiving unit 102 of the server 100a corresponding to the URL sends response messages (RTSP / 1.0 200 OK) Rm2, Rm3 to the first and second SETUP request messages Sm2, Sm3 to the receiving terminal 200b. Sent.
[0118]
Thereafter, from the RTSP message transmission / reception unit 214 of the receiving terminal 200b, a PLAY request message (PLAY rtsp: // s) for the video stream indicated by the video element 711 is received by RTSP for the URL (server address) corresponding to the entry [1]. .com / s1.mp4 RTSP / 1.0) Sm4 is transmitted. In the case of a PLAY request, the head position of the request data is designated by information (Range: npt = 37-). Since the time stamp value of the latest received RTP packet for the currently received video stream indicates that the display time for the video stream is 34 seconds, the start position of the request data is 34 seconds or later. Here, assuming that the processing delay time for switching the video stream is about 3 seconds, the head position of the request data is the position where the display time is 37 seconds.
[0119]
In response to the PLAY request message Sm4, a response message (RTSP / 1.0 200 OK) Rm4 is transmitted from the RTSP message transmitting / receiving unit 102 of the server 100a corresponding to the URL to the receiving terminal 200b. At the same time, the RTP transmitting unit 103 of the server 100a starts processing to transmit the RTP packet of the video stream (video element 711) to the receiving terminal by RTP (time Ts2), and the RTP data receiving unit of the receiving terminal 200a In 216b, processing for receiving the RTP packet is started (time Tr2).
[0120]
Also, in the RTSP message transmission / reception unit 214, whether or not the time stamp of the RTP packet for the entry [1] received by the RTP data reception unit 216b is equal to or smaller than the time stamp value of the RTP packet for the entry [2]. If the time stamp of the RTP packet for entry [1] is less than or equal to the time stamp value of the RTP packet for entry [2], a TEARDOWN request message Sm5 is sent to the server for entry [2]. Processing to issue is performed. At the same time, the process of receiving the RTP packet for entry [2] is stopped (time Tr3).
[0121]
In other words, the display time (T1) calculated from the time stamp value of the first received RTP packet corresponding to the video stream (s1.mp4) is already received corresponding to the video stream (s2.mp4). The RTP data receiving unit 216b stops receiving the RTP packet corresponding to the video stream (s1.mp4) only when it is smaller than the display time (T2) calculated from the time stamp value of the latest RTP packet. As a result, when the video stream is switched, the video stream after the switching is played back without interruption following the playback of the video stream before the switching.
[0122]
On the other hand, in the server 100a for the entry [2], the RTP data transmission unit 103 receives the TEARDOWN request message (TEARDOWN rtsp: //s.com/s2.mp4 RTSP / 1.0) Sm5 and receives the RTP packet for the entry [2]. Is stopped (time Ts3), and a response message Rm5 to the TEARDOWN request message Sm5 is transmitted to the receiving terminal 200b.
[0123]
The RTP data receiving unit 216b of the receiving terminal 200b discards the RTP packet for the entry [2] having a time stamp that overlaps the time stamp of the RTP packet for the entry [1].
On the other hand, when the error occurrence rate is 5% as a result of the observation of the reception status, the error tolerance strength quantification level close to “60” is selected based on the table information Rte shown in FIG. Then, the process of switching the video stream being received to the video stream corresponding to entry [3] is performed.
In FIG. 9, the time Ts1 is the transmission start time of the video stream (s2.mp4), the time Ts4 is the transmission stop time of the video stream (s1.mp4), and the time Tr1 is the video stream (s2.mp4). The reception start time, time Tr4, is the reception stop time of the video stream (s1.mp4).
[0124]
FIG. 10 is a diagram for explaining video stream switching processing at the receiving terminal, taking a specific RTP packet as an example.
FIG. 10 (a) shows the last received several RTP packets P2 (ks) to P2 (k + 3) stored in the reception buffer corresponding to the video stream (s2.mp4). FIG. 10B shows several RTP packets P1 (j) to P1 (j + m) received first, which are stored in the reception buffer corresponding to the video stream (s1.mp4). Here, the display times T2 (k), T2 () calculated from the time stamp values of the RTP packets P2 (k), P2 (k + 1), P2 (k + 2), P2 (k + 3). k + 1), T2 (k + 2), and T2 (k + 3) are 36.00 (seconds), 36.50 (seconds), 37.00 (seconds), and 37.50 (seconds), respectively, and the RTP packet P1 (j) , P1 (j + 1), P1 (j + 2), P1 (j + 3), and display time T1 (j), T1 (j + 1) calculated from the time stamp values of P1 (j + 4) , T1 (j + 2), T1 (j + 3), and T1 (j + 4) are 37.00 (seconds), 37.25 (seconds), 37.50 (seconds), 37.75 (seconds), and 38.00 (seconds), respectively. is there.
[0125]
Specifically, the RTP data receiving unit 216b starts receiving the video stream (s1.mp4) from the RTP packet P1 (j) and receives the video stream (s2.mp4) from the RTP packet P2 (k + 3 ) Ends when it is received. Then, RTP packets P2 (k + 2) and P2 (k + 3) corresponding to the video stream (s2.mp4) whose time stamp value (display time) overlaps that of the video stream (s1.mp4) are discarded. .
[0126]
FIG. 11 is a diagram showing a flow of video stream switching processing at the receiving terminal.
When the SMIL data analysis unit 212b determines to switch the video stream to be received from the video stream (s2.mp4) to the video stream (s1.mp4) based on the error occurrence rate, the video stream switching illustrated in FIG. Processing begins.
[0127]
First, the RTP data receiving unit 216b performs processing for receiving the RTP packet Ps1 corresponding to the switched video stream (s1.mp4), and the SMIL data analyzing unit 212b first receives the variable Ta. The display time calculated from the time stamp value Ts1 of the RTP packet Ps1 (the display time of the data after switching) is set (step S1).
[0128]
Next, in the SMIL data analysis unit 212b, the display time (data before switching) calculated from the time stamp value Ts2 of the last received RTP packet Ps2 corresponding to the video stream (s2.mp4) before switching is set as the variable Tb. Is set) (step S2).
Next, in the SMIL data analysis unit 212b, the variable Ta, that is, the display time (display time of data after switching) is equal to or less than the variable Tb, that is, the display time (maximum value of display time of data before switching). Whether or not is determined (step S3).
[0129]
If the result of determination in step S3 is that the variable Ta is not less than or equal to the variable Tb, it is further determined whether or not an RTP packet corresponding to the video stream before switching has been received (step S4).
As a result of the determination in step S4, when the RTP packet corresponding to the video stream before switching is not received, the determination in step S4 is performed again.
On the other hand, as a result of the determination in step S4, when an RTP packet corresponding to the video stream before switching is received, in step S2, the variable Tb is set to the time stamp value Ts2 of the last received RTP packet Ps2. Processing for setting the obtained display time is performed.
[0130]
If the variable Ta is equal to or smaller than the variable Tb as a result of the determination in step 3, the RTP data receiving unit 216b receives the RTP packet Ps2 corresponding to the video stream (s2.mp4) before switching. And the processing for discarding the RTP packet Ps2 corresponding to the video stream (s2.mp4) before switching and whose time stamp value overlaps that of the video stream (s1.mp4) is performed, and RTSP In the message transmission / reception unit 214, a request message for stopping transmission of the RTP packet Ps2 corresponding to the video stream (s2.mp4) before switching is issued (step S5).
[0131]
FIG. 12 is a schematic diagram specifically explaining the processing in the RTSP message transmission / reception unit 214 and the RTP data reception unit 216b of the receiving terminal when the video stream is switched according to the display time.
The error occurrence rate calculation unit 216b1 of the RTP data reception unit 216b performs processing P1 of calculating the error occurrence rate at intervals of, for example, once every 5 seconds during reception of the RTP packet.
Then, for example, when a process P2 for determining switching to the other video stream (for example, s1.mp4) of the currently received video stream (for example, s1.mp4) is performed due to a change in the error occurrence rate (time Tp2) The RTSP message transmission / reception unit 214 performs processing P3 for issuing a DESCRIBE request message, a SETUP request message, and a PLAY request message for the video stream (s1.mp4).
[0132]
Thereafter, when the RTP data receiving unit 216b receives the RTP packet P1 (j) for the video stream (s1.mp4), the display time (37.00 seconds) corresponding to the time stamp value of the RTP packet P1 (j) received first. ) Is compared with the display time (37.00 seconds) corresponding to the time stamp value of the latest RTP packet P2 (k + 2) received at this time for the video stream (s2.mp4) before switching. Is performed according to the processing flow shown in FIG. 11 (time Tp4).
[0133]
As a result of the comparison process P4, a video stream (s2.mp4) that has a time stamp value corresponding to the video stream (s1.mp4) and that overlaps with the time stamp value of the RTP packet P1 (j) received first. When the RTP packet corresponding to is received, the process P5 for stopping the reception of the RTP packet corresponding to the video stream (s2.mp4) is performed (time Tp5). For this reason, RTP packets P2 (k + 4) to P2 (k + n) transmitted after the reception stop process P5 are not received by this receiving terminal. The display time corresponding to the time stamp value of the received RTP packets P2 (k + 2) and P2 (k + 3) corresponding to the video stream before switching (s2.mp4) is the video stream after switching. Since it is larger than the display time corresponding to the time stamp value of the first received RTP packet P1 (j) corresponding to (s1.mp4), these RTP packets P2 (k + 2) and P2 (k + 3) The RTP data receiving unit 216b discards the data.
Further, in parallel with the reception stop process P5 in the RTP data reception unit 216b, the RTSP message transmission / reception unit 214 performs a process P6 for issuing a TEARDOWN request message for the video stream (s2.mp4).
[0134]
In FIG. 12, P2 (kr) is the head RTP packet corresponding to the video stream (s2.mp4), and P2 (k-7) to P2 (k + 3) are the start of the reception stop process P5. Are RTP packets corresponding to the video stream (s2.mp4) received between a few seconds before and immediately before the start of the reception stop process P5. These RTP packets P2 (k-7), P2 (k-6), P2 (k-5), P2 (k-4), P2 (k-3), P2 (k-2), P2 (k-1), P2 (k), P2 (k + 1) Time corresponding to display time 32.50 (seconds), 33.00 (seconds), 33.50 (seconds), 34.00 (seconds), 34.50 (seconds), 35.00 (seconds), 35.50 (seconds), 36.00 (seconds), 36.50 (seconds) A stamp value is assigned.
[0135]
P1 (j + 1) to P1 (j + 3) are RTP packets corresponding to the video stream (s1.mp4) following the first received RTP packet P1 (j), and these RTP packets P1 Time stamp values corresponding to display times 37.25 (seconds), 37.50 (seconds), and 37.75 (seconds) are assigned to (j + 1) to P1 (j + 3). P1 (j + m) is the last received RTP packet corresponding to the video stream (s1.mp4).
[0136]
Note that the timestamp value written in the header of the RTP packet is given its initial value by the timestamp described in the RTP-Info field in the RTSP transmission message. Time stamp values are not simply compared between RTP packets corresponding to streams, but display times corresponding to time stamp values are compared.
[0137]
The display time Td is calculated by the following calculation formula (4).
Td = Th + (Pts−Ptsi) / Sts (4)
Here, Th is a time indicating the start position of the reproduction data specified in the Range field in the PLAY response message, Pts is a value of a time stamp (packet time stamp) given to each packet, Ptsi is an initial value of the time stamp, Sts is a time scale, and the time scale is specified in the SDP information returned from the server as a response to the DESCRIBE request.
[0138]
As described above, in the data transmission system 10b according to the second embodiment, the RTP data Drtp from the server 100a is received instead of the RTP data receiving unit 216 of the receiving terminal 200a according to the first embodiment, and the received RTP packet An RTP data receiving unit 216b that outputs an error signal Rerr indicating the loss rate (transmission error rate) of the RTP packet at the receiving terminal to the SMIL data analyzing unit 212b by analysis is provided. The data analyzing unit 212b determines the loss rate of the packet. A signal (data designation signal) Sc for instructing the server to switch the video stream provided from the server 100a to one with high transmission error tolerance or video quality is generated in accordance with the change, so that the receiving terminal 200b Then, when the transmission error rate is high, use it on the server side. Can be received with a high error tolerance with a short I-frame period, and when the rate of occurrence of transmission errors is low, the I-frame among the video streams prepared on the server side A video with a long period and high image quality can be received.
[0139]
In the second embodiment, the case where the SMIL file is the one (SMIL file FSD2) shown in FIG. 5A that shows four video data files with different error tolerance strengths. As shown in FIG. 13 (a), three video elements having different error resilience strengths are shown, and each video element has an error resilience strength described as a system-protocol attribute (SMIL file FSD3). There may be.
[0140]
That is, the SMIL file FSD3 shown in FIG. 13A is an item related to three video elements 721 to 723 having different error resilience strengths described between a line including the switch element 732a and a line including the / switch element 732b. Is included. In addition, in each video element item, error resilience strength is described as a system-protocol attribute. Based on this attribute, the video element that best matches the contents of the user setting is selected.
[0141]
Here, the specific values of the system-protocol attribute in each of the video elements 721, 722, and 723 are “nop”, “ret”, and “fec + ret”, respectively. The attribute value “nop” indicates that the video stream (s1.mp4) corresponding to the video element 721 is transmitted by RTP which is a normal data transmission protocol. In addition, the attribute value “ret” causes the video stream (s2.mp4) corresponding to the video element 722 to be retransmitted (ret: retransmission) with error tolerance for RTP, which is a normal data transmission protocol. It is shown that it is transmitted by the method. Further, the attribute value “fec + ret” indicates that the video stream (s3.mp4) corresponding to the video element 723 has higher error resistance than the transmission method for performing retransmission (ret: retransmission) with the above error resistance. This indicates that the transmission is performed by a method of performing retransmission and duplicate transmission (fec = forward error correction).
[0142]
That is, since the video stream (s1.mp4) corresponding to the video element 721 to which the system-protocol attribute value “nop” is assigned is neither retransmitted nor duplicated, the error tolerance is the above three video. It is the weakest video stream corresponding to the element.
Accordingly, when the error tolerance strength is set to [weak level] at the receiving terminal, a video stream corresponding to the video element 721 is selected as a video stream to be received. If there is no setting of error resilience strength at the receiving terminal, the video stream (s1.mp4) corresponding to the video element 721 is selected as the first received video stream, and the video stream (s1.mp4) When the transmission error rate increases after reception of the video stream, the video stream being received corresponds to the video elements 722 and 723 to which the system-protocol attribute value “ret” or “ret + fec” is assigned. It is switched to (s2.mp4) or (s3.mp4).
Note that the video stream (s2.mp4) transmitted by the transmission method that performs retransmission corresponding to the video element 722 is transmitted by the transmission method that performs duplicate transmission, that is, the system-protocol attribute value of the video element May be “fec”.
[0143]
When the SMIL data analysis unit 212b receives the SMIL file FSD3 shown in FIG. 13 (a), the SMIL file description information is based on the SMIL file as shown in FIG. 13 (b). A process of storing in a work memory (not shown) is performed.
That is, information on the video elements 721 to 723 in the SMIL file FSD3 shown in FIG. Here, the number of items (number of entries) recorded in the work memory is the SMIL file FSD3. <switch> element 732a and </ switch> corresponds to the number of elements described in the element 732b (that is, the number of video elements).
[0144]
In each item (entry), as shown in FIG. 13B, the URL (server address) indicating the location of the corresponding video stream on the network, the transmission protocol of the corresponding video stream, and the corresponding video An execution flag indicating whether the stream is in a received (playback) state that has been received and played back, or a non-receive (non-playback) state that has not been received or played back, and the latest Includes a time stamp.
[0145]
In the item E1 of the entry [1], the value of the execution flag is “1”, which indicates that the video stream corresponding to the item E1 is currently being received (reproduced). Yes. In addition, in the items E2 and E3 of the entries [2] and [3], the value of the execution flag is “0”. This is because the video streams corresponding to these items E2 and E3 are currently received ( Replay) is not performed.
[0146]
Further, specific values indicating the protocol types in the items E1 to E3 are “nop”, “ret”, “fec + ret”, and these values are the system-protocol in the SMIL file FSD3. It matches the attribute value.
In addition, the latest time stamp in each item E1 to E3 is updated at any time by the time stamp given to the header of the latest received RTP packet, and the video stream corresponding to the specific item is changed to another item. When switching to the corresponding video stream, it is used to determine the data request timing.
[0147]
In FIG. 13B, the latest time stamp value in the items E2 and E3 is “0”, and this value “0” indicates that the video stream corresponding to these items has not been received yet. . Further, the value of the latest time stamp in the item E1 is “3060000”. In MPEG-4, since the time stamp is set using a clock of 90 kHz, this value “3060000” corresponds to 34 seconds.
FIG. 13C shows the association between the error occurrence rate and the protocol.
[0148]
Information relating to this association is recorded as table information Rtp specific to the receiving terminal in the information storage unit (not shown) of the SMIL data analysis unit 212b. Here, the error occurrence rates Eth (Eth = 0) percent, Eth (0 <Eth ≦ 3) percent, and Eth (3 <Eth) percent are the video stream transmitted by the nop protocol and the video transmitted by the ret protocol, respectively. Supports stream, video stream transmitted by fec + ret protocol. That is, in this table information, the error occurrence rates of 0% and 3% are threshold values for switching the video stream according to the error occurrence rate.
[0149]
Then, the SMIL data analysis unit 212b performs switching of the video stream according to the fluctuation of the error occurrence rate based on the association between the error occurrence rate and the protocol shown in FIG. Also, switching of video streams for seamless playback is performed in the same manner as the processing described with reference to FIGS.
[0150]
In the second embodiment, as the receiving terminal, the user sets the error tolerance strength of the image data to be received first among a plurality of pieces of image data having different error tolerance corresponding to the same image series. Although shown, the error tolerance strength of the image data to be received first may be a default value unique to the receiving terminal.
[0151]
In this case, for example, the receiving terminal requests the video stream of the video element suitable for the default value of the error resilience strength among the plurality of video elements 711 to 714 indicated by the SMIL file FSD2, and receives the video stream. Thereafter, in the receiving terminal, the video stream being received is switched to a video stream having an appropriate error resilience strength according to the error occurrence rate during the reception of the video stream.
In the second embodiment, the video stream is switched according to the error occurrence rate with respect to the video stream being received. However, the video stream is switched according to the radio wave intensity being received. It may be.
[0152]
(Embodiment 3)
FIG. 14 is a diagram for explaining the data transmission system according to the third embodiment of the present invention, and shows the configuration of the server and client terminal of the system.
In FIG. 14, the same reference numerals as those in FIG. 3 denote the same components as those in the data transmission system 10a of the first embodiment.
[0153]
In the data transmission system 10c of the third embodiment, instead of the client terminal 200a in the system 10a of the first embodiment, a transmission error rate of RTP data (RTP packet) from the server, packet arrival time, and the like are transmitted. A client terminal 200c that transmits information Drr relating to the situation to the server 100c is provided. Further, instead of the server 100a in the system 10a of the first embodiment, RTP data is sent from the server as RTP data based on the information Drr relating to the transmission situation from the client terminal 200c. The server 100c is provided that switches the supplied video stream to another video stream with different encoding conditions.
[0154]
The client terminal 200c receives RTP data Drtp instead of the RTP data receiving unit 216a in the client terminal 200a, and detects an RTP data transmission error occurrence rate, an RTP packet arrival time, and other transmission status A data receiving unit 216c is provided, and an RTCP report transmission / reception unit 219 that transmits information Drr indicating the transmission status to the server 100c as a receiver report is provided.
[0155]
The server 100c transmits information Dsr related to the number and sequence number of RTP packets transmitted from the server as a sender report to the RTCP report transmission / reception unit 219 of the reception terminal 200c and receives a receiver report from the transmission / reception unit 219. In addition to the report transmission / reception unit 104, it receives information Drr as a receiver report instead of the RTP data transmission unit 103 in the server of the first embodiment, and is based on the transmission status such as the frequency of occurrence of transmission errors and the arrival time of RTP packets. Thus, an RTP data transmission unit 103c that switches a video stream transmitted as RTP data to another video stream with different encoding conditions is provided.
[0156]
The RTCP report transmission / reception units 104 and 219 transmit / receive the sender report and the receiver report by RTCP (real time control protocol). In addition, the receiver report is notified to the distribution server at a constant cycle such as every 5 seconds. Moreover, it is preferable that the timing for switching the video stream at the server is generally the timing at which the I frame appears.
[0157]
Next, the operation will be described.
The operation of the data transmission system 10c according to the third embodiment is based on the receiver report from the receiving terminal 200c, and the video stream transmitted to the receiving terminal as RTP data in the server 100c has different encoding conditions. Only the operation is different from the operation of the data transmission system 10a of the first embodiment.
[0158]
That is, the RTP data receiving unit 216c of the receiving terminal 200c detects the transmission error occurrence rate of the received RTP data Drtp, and outputs an error signal Rerr indicating the error occurrence rate to the RTCP report transmission / reception unit 219.
From the RTCP report transmission / reception unit 219, information on the frequency of occurrence of transmission errors and the arrival time of the RTP packet is transmitted to the server 100c as a receiver report Drr.
[0159]
Then, the RTCP report transmission / reception unit 104 of the server 100c detects the transmission error occurrence rate and the packet arrival delay time of the RTP data Drtp based on the information received as the receiver report Drr. The error occurrence rate and the arrival delay time are detected. Is output to the RTP data transmitter 103c.
[0160]
In the RTP data transmission unit 103c, a video file having a predetermined error resistance is selected from a plurality of video files stored in the data storage unit 120 in accordance with the increase / decrease in the error occurrence rate and the packet arrival delay time. , RTP data Drtp is transmitted to the receiving terminal 200c.
[0161]
As described above, in the data transmission system 10c according to the third embodiment, instead of the client terminal 200a in the system 10a according to the first embodiment, the rate of occurrence of RTP data (RTP packet) transmission errors from the server, packet arrival time, etc. The client terminal 200c for transmitting information Drr relating to the transmission status of the client to the server 100c, and, instead of the server 100a in the system 10a of the first embodiment, based on the information Drr relating to the transmission status from the client terminal 200c, RTP data Since the server 100c is provided that switches the video stream supplied from the server to another video stream with different encoding conditions, the server 100c has a high transmission error rate based on the receiver report from the receiving terminal 200c. , Double Among a plurality of video streams, one with a high error tolerance with a short I frame period can be transmitted, and when the transmission error occurrence rate is low, a video quality with a long I frame period is selected from among a plurality of video streams. You can send something expensive.
[0162]
(Embodiment 4)
FIG. 15 is a diagram for explaining the data transmission system of the fourth embodiment, and shows the configuration of the server and client terminal of the system.
In FIG. 15, the same reference numerals as those in FIG. 3 denote the same components as those in the data transmission system 10a of the first embodiment.
The data transmission system 10d of the fourth embodiment includes a client terminal 200d that changes the decoding process and the display process according to the operation content set by the user, instead of the client terminal 200a in the system 10a of the first embodiment. It is a thing.
[0163]
That is, the client terminal 200d is a decoding unit 210d that changes an operation mode for performing a video stream decoding process based on the control signal C1, instead of the decoding unit 210 and the display unit 218 of the client terminal 200a of the first embodiment. And a display unit 218d for changing the operation mode for performing the display process of the image data Ddec based on the control signal C2, and the operation modes of the decoder unit 210d and the display unit 218d based on the setting signal Serr indicating the setting contents of the user. The controller 220 is controlled by the control signals C1 and C2.
[0164]
Next, the operation will be described.
The operation of the data transmission system 10d according to the fourth embodiment is performed only in that the decoding process mode of the video stream and the display process mode of the image data are changed according to the setting contents of the user at the receiving terminal 200d. This is different from the operation of the system 10a of the first embodiment.
[0165]
That is, when a video stream to be played back by the receiving terminal 200d is set by a user operation on the user operation unit 213, a decoding unit is set when the I frame cycle is smaller than a certain reference cycle specific to the receiving terminal. 210d is set by the control signal C1 from the control unit 220 to the first decoding operation mode in which the operation mode is temporarily stopped until the I-frame video stream is normally received when a transmission error occurs. The Further, in this case, the display unit 218d causes the transmission signal to be generated until the video stream of the next I frame is normally received by the control signal C2 from the control unit 220 when the operation mode is a transmission error. The first display operation mode for displaying the image data decoded immediately before is set.
[0166]
On the other hand, when a video stream to be played back by the receiving terminal 200d is set by a user operation on the user operation unit 213, a decoding unit is set when the I frame cycle is greater than or equal to a certain reference cycle unique to the receiving terminal. 210d is controlled by the control signal C1 from the control unit 220. When a transmission error occurs, 210d skips only the decoding process of the frame in which data is lost due to the transmission error, and after the transmission error occurs, the data is normally transmitted. Is set to the second decoding operation mode in which the decoding process is performed from the received frame. In the second decoding operation mode, when a frame in which data is normally received after the occurrence of a transmission error is a P frame, the decoding process is performed with reference to the frame decoded immediately before the occurrence of the transmission error. Is called. Further, in this case, the display unit 218d displays, based on the control signal C2 from the control unit 220, a second display in which all the frames in which the operation mode is subjected to the data decoding process regardless of the occurrence of the transmission error are displayed. The operation mode is set.
[0167]
As described above, in the data transmission system 10d according to the fourth embodiment, the decoding unit 210d and the display unit in the receiving terminal are set according to the conditions regarding the error resistance of the video stream requested by the receiving terminal set by the user at the receiving terminal. If the condition that the operation mode of 218d is changed, that is, the video stream to be received by the receiving terminal is set to a video stream whose I-frame period is shorter than a certain reference value is set, transmission is performed. When an error occurs, the decoding process is temporarily stopped until the I-frame video stream is normally received, the decoded image data is displayed immediately before the occurrence of the transmission error, and the video stream to be received by the receiving terminal Is set to be a video stream whose I frame period is equal to or greater than a certain reference value. In this case, only the decoding process for frames other than the frame in which data is lost due to a transmission error is performed, and all the frames subjected to the data decoding process are displayed. Depending on the error tolerance of the stream (that is, the interval between I frames), the operation mode of the decoding unit and the display unit can be set to an operation mode in which a sense of discomfort of the display image when an error occurs is small.
[0168]
In the fourth embodiment, the data transmission system has been described in which the decoding processing mode and the display processing mode in the receiving terminal are changed according to the conditions regarding the video stream set by the user on the receiving terminal side. The data transmission system determines the operation mode of the decoding unit 210d and the display unit 218d at the receiving terminal based on the appearance interval (I frame period) of the I frame related to the video stream transmitted from the server notified from the server. It may be changed. In this case, information indicating the appearance interval of the I frame can be transmitted from the server to the receiving terminal using SMIL, SDP, RTSP, or the like.
[0169]
In the fourth embodiment, as the second decoding operation mode of the decoding unit 210d, when a transmission error occurs, only the decoding process of the frame in which data is lost due to the transmission error is skipped, and after the transmission error occurs, Although an operation mode in which a decoding process is performed from a frame in which data is normally received is shown, the second decoding operation mode is not limited to this.
[0170]
For example, as shown in FIG. 6 (b), when a video stream of one frame is distributed and stored in a plurality of video packets, the second decoding operation mode, that is, the I frame period is unique to the receiving terminal. The decoding operation mode when a signal having a certain reference period or more is set may be a mode in which only decoding processing is performed on data of packets other than video packets in which data is lost due to a transmission error.
In this case, the display mode of the image data may be a mode in which all frames for which at least a part of the decoding process has been performed are displayed, as in the second display operation mode of the fourth embodiment. .
[0171]
Furthermore, in the fourth embodiment, the control unit switches the operation mode of the decoding unit from the first decoding operation mode to the second decoding operation mode according to the user setting at the receiving terminal. However, the control of the operation of the decoding unit by the control unit is not limited to this, and may be performed according to conditions other than user settings at the receiving terminal, for example.
[0172]
For example, when a transmission error occurs, the time until the next I-frame video stream is decoded can be calculated because the period of the I-frame is known. Therefore, when a transmission error occurs, the control unit performs the decoding operation of the decoding unit according to the time difference from the time of decoding of the frame in which the transmission error has occurred to the time of decoding of the I frame to be decoded thereafter. For example, between the time of decoding a frame in which a transmission error has occurred and the time of decoding of a subsequent I frame, a decoding operation for stopping the decoding process and a subsequent I frame from the time of decoding of a frame in which a transmission error has occurred Until the time of decoding, it is determined whether to decode the inter-screen encoded data by excluding the part that cannot be decoded due to the occurrence of the transmission error. Control may be performed so that the decoding operation after generation is the decoding operation determined by this determination.
[0173]
Specifically, when the transmission error occurs, the time difference between the decoding of the frame in which the transmission error has occurred and the subsequent decoding of the I frame is smaller than a predetermined value unique to the terminal. The decoding operation of the decoding unit stops the decoding process on the image data until the I frame is decoded after the frame in which the transmission error has occurred, while the transmission error has occurred. When the time difference between the decoded frame and the subsequent I frame is equal to or greater than the predetermined value specific to the terminal, the decoding operation of the decoding unit is performed after the decoding of the frame in which the transmission error has occurred. Until the I frame is decoded, only the image data corresponding to the frame other than the frame in which the transmission error has occurred is decoded. , Controls the decode unit.
[0174]
Here, when the image data of each frame is packetized for each data unit smaller than the frame, as shown in FIG. 6B, the decoding process for the frame other than the frame in which the transmission error has occurred. The decoding operation that performs only the decoding may be performed only on the received image data for packets other than the packet in which the transmission error has occurred.
[0175]
Further, in each of the above embodiments, the RTSP is used to notify the server of the viewer's preference regarding the display image (whether a shorter I-frame cycle is better or a longer I-frame cycle is better). Good. Further, CC / PP (composite capability / preference profiles), which is another transmission protocol, may be used as a protocol for notifying the viewer's preference. At this time, the server may notify the receiving terminal of the compensation of the video stream using SMIL.
[0176]
Further, in each of the embodiments described above, the case where the data transmitted from the server to the receiving terminal is video data has been described. However, the transmission data may be audio data or text data. Even when text data is transmitted by RTP / UDP / IP, the same effects as those of the above embodiments can be obtained.
[0177]
For example, data to be received corresponding to the same content, set by the user at the receiving terminal or set as the default value of the receiving terminal from a plurality of audio data with different error tolerances or a plurality of text data Is selected according to the error resistance strength against the selected data, and the selected voice data or text data is reproduced at the receiving terminal. Here, as an example in the case where a plurality of audio data (text data) has different error tolerances, one of the plurality of audio data (text data) is an audio frame (text frame) that has been previously decoded. There is a case where a frame that is decoded with reference to data is used and the other one does not use such a frame.
[0178]
Further, the plurality of audio data or the plurality of text data corresponding to the same content and having different error resistance strengths may have different data transmission protocols. As an example of different transmission protocols relating to voice data or text data, there are those in which the redundancy of FEC (Forward Error Correction, RFC 2733) defined by IETF (Internet Engineering Task Force) is different.
[0179]
(Embodiment 5)
FIG. 21 is a diagram for explaining a data transmission system according to the fifth embodiment of the present invention. FIG. 21 (a) shows the configuration of the system, and FIG. 21 (b) shows data transmission processing in the system. Is shown.
The data transmission system 10e according to the fifth embodiment includes a server 100e that transmits a predetermined video stream (image encoded data), and a receiving terminal that receives the video stream transmitted from the server 100e and reproduces video data ( Client terminal) 200e and a network 11 for transmitting the video stream from the server 100e to the receiving terminal 200e.
[0180]
Here, the server 100e stores a plurality of video streams obtained by encoding digital video signals of a plurality of image sequences under a predetermined encoding condition, and describes attributes of corresponding video streams. The data storage unit 120e stores SMIL data, and the data transmission unit 110e transmits the data stored in the data storage unit 120e to the network 11. The data storage unit 120e uses a mass storage device such as a hard disk.
[0181]
In the fifth embodiment, the plurality of video streams are image data corresponding to different image sequences and having determined error tolerances. Specifically, each of the plurality of video streams uses a large amount of intra-screen encoded data obtained by encoding a digital video signal using intra-screen pixel value correlation and a digital video signal using inter-screen pixel value correlation. And the inter-coded data with a small code amount, which is encoded, and has a predetermined appearance interval of the intra-coded data, in other words, a cycle of I frame (I-VOP).
[0182]
In the data storage unit 120e such as the hard disk, for example, a video stream having an I frame period of 5 seconds and 2 seconds is stored as video files Dva and Dvb, and the corresponding video is stored as the SMIL data Daa and Dab. SMIL files describing the attributes of the files Dva and Dvb are stored. Here, the appearance intervals of I frames (I-VOPs), which are the attributes of the video streams (video files) Dva and Dvb, are 5 seconds and 2 seconds, respectively.
[0183]
FIG. 22 is a diagram showing a detailed configuration of the server 100e and the client terminal 200e constituting the system.
The data transmission unit 110e constituting the server 100e receives the SMIL data request message Mdr transmitted from the client terminal 200e by HTTP, reads the SMIL file Da from the data storage unit 120e according to the request, and reads the read SMIL file Da. An HTTP transmission / reception unit 101 that transmits as SMIL data Dsm by HTTP, a data request message Mrtsp transmitted by RTSP from the client terminal 200e, receives a response signal Sack, and a data designation signal indicating the requested video file name The RTSP message transmission / reception unit 102 that outputs Sc and the data designation signal Sc, and the video stream De corresponding to the video data file name indicated by the data designation signal Sc Read, and a RTP data transmission unit 103 for transmitting the RTP data Drtp by the read video stream RTP. The HTTP transmission / reception unit 101, the RTSP message transmission / reception unit 102, and the RTP data transmission unit 103 in the data transmission unit 110e of the fifth embodiment are the same as those in the data transmission unit 110a of the first embodiment.
[0184]
In addition, the client terminal 200e includes a user operation unit 213 that outputs various user operation signals Sop1, Sop2, and Sop3 according to user operations, and SMIL data corresponding to user-specified video data based on the user operation signal Sop1. The HTTP request message Mdr is transmitted by HTTP, the SMIL data Dsm transmitted from the server 100e by HTTP is received, and the SMIL data Dsm is analyzed, and the user designation is made based on the analysis result. A SMIL data analysis unit 212e for outputting a data designation signal Sc for designating the video data.
[0185]
The client terminal 200e transmits the data designation signal Sc as an RTSP message signal Mrtsp, receives the RTSP message transmission / reception unit 214 that receives the response signal Sack of the signal Mrtsp, and the RTP data Drtp transmitted from the server 100e. And an RTP data receiving unit 216 that outputs the video stream De.
[0186]
Further, the client terminal 200e decodes the video stream De and outputs image data Ddec, and also, based on the control signal C1, a decoding unit 210e that changes an operation mode for performing decoding processing of the video stream, and the image data The display unit 218e that performs image display based on Ddec and changes the operation mode for performing display processing of the image data Ddec based on the control signal C2, and the operation modes of the decoder unit 210e and the display unit 218e are set to the control signal C1 and And a control unit 220e controlled by C2. The display unit 218e also performs display according to the user operation signal Sop2.
[0187]
Further, in this client terminal 200e, a default value to be compared with the appearance interval of the encoded image data in the received image data is set as a default value. When an error occurs, the in-screen code in the received image data is set. The operation mode of the decoding unit is switched in accordance with the comparison result between the appearance interval of the encoded data and the predetermined value. Specifically, when receiving image data in which the appearance interval of the intra-picture encoded data is shorter than the predetermined value, the operation mode of the decoding unit is such that when the transmission error occurs, the intra-picture encoded data is thereafter When the first decoding mode in which the decoding process is temporarily stopped until normal reception is received and image data in which the appearance interval of the in-screen encoded data is greater than or equal to a predetermined value indicated by the setting condition is received, the decoding is performed. The operation mode of the conversion unit is a second decoding mode in which, when a transmission error occurs, the decoding is performed except for the part that cannot be decoded due to the transmission error.
[0188]
Note that the receiving terminal is not limited to having a default value that is compared with the appearance interval of the intra-frame encoded data in the image data being received as a default value. It may be settable.
[0189]
Next, the operation will be described.
In this data transmission system 10e, when the user performs an operation for requesting a predetermined video file at the user operation unit 213e, based on the operation signal Sop1, as shown in FIG. A SMIL request signal Sd1 (SMIL request message Mrd shown in FIG. 22) for requesting SMIL data corresponding to a user-specified video file is transmitted from the HTTP transmission / reception unit 211 to the server 100e by HTTP, and as a response, the HTTP of the server 100e The SMIL data Dsm is transmitted from the transmitting / receiving unit 101 to the receiving terminal 200e by the HTTP signal Dsd. Note that the user's operation of designating a video file of a required image sequence on the user operation unit 213e is performed in the same manner as the operation described using the mobile terminal shown in FIG.
[0190]
Thereafter, in the receiving terminal 200e, the RTSP message transmission / reception unit 214 uses the server 100e as the RTSP signal Sd2 with the message Mrtsp specifying the video stream required by the user based on the data specifying signal Sc corresponding to the analysis result of the SMIL data Dsm. Process to send to. Then, after the response signal Sack is transmitted from the RTSP message transmitting / receiving unit 102 of the server 100e to the receiving terminal 200e by RTSP, the RTP data transmitting unit 103 receives a predetermined video stream Dstr as RTP data Drtp from the server 100e. It is transmitted to the terminal 200e.
[0191]
In this way, when the RTP data Drtp is transmitted to the receiving terminal 200a via the network 11, the RTP data Drtp is received by the RTP data receiving unit 216, and the video stream De is decoded by the decoding unit 200a. It is output to 210e. In the decoding unit 210e, image data Ddec is generated by decoding the video stream De and is output to the display unit 218e. The display unit 218e performs image display based on the image data Ddec.
[0192]
In the data transmission system 10e according to the fourth embodiment, when an error occurs during the transmission of the video stream, the reception terminal 200e has an appearance interval of intra-coded data set as a default value ( That is, the operation mode of the decoding unit 210e and the operation mode of the display unit 218e are changed from the control unit 220e according to the comparison result between the period of the I frame and the period of the I frame that is the attribute value of the received video stream. Is changed based on the control signals C1 and C2.
[0193]
That is, when the receiving terminal 200e receives a video stream having an I frame period (I-VOP period) shorter than a predetermined value (a constant reference period) at the receiving terminal, the decoding unit 210e performs control. The control signal C1 from the unit 220e sets the operation mode to a first decoding operation mode in which the decoding process is temporarily stopped until a video stream of I frame is normally received when a transmission error occurs. Also, in this case, the display unit 218e causes the transmission error to occur until the video stream of the next I frame is normally received by the control signal C2 from the control unit 220e. The first display operation mode for displaying the image data decoded immediately before is set.
[0194]
On the other hand, when the receiving terminal 200e receives a video stream whose I frame period is equal to or greater than a predetermined value (a constant reference period) at the receiving terminal, the decoding unit 210e receives the control signal C1 from the control unit 220e. Therefore, when a transmission error occurs, the operation mode skips only the decoding process of the frame in which data is lost due to the transmission error, and performs the decoding process from the frame in which the data is normally received after the transmission error occurs. The second decoding operation mode is set. In the second decoding operation mode, when a frame in which data is normally received after the occurrence of a transmission error is a P frame, the decoding process is performed with reference to the frame decoded immediately before the occurrence of the transmission error. Is called. Further, in this case, the display unit 218e is a second display that displays all the frames in which the operation mode is the data decoding process regardless of the occurrence of the transmission error by the control signal C2 from the control unit 220e. The operation mode is set.
[0195]
As described above, in the data transmission system 10e according to the fifth embodiment, according to the default value of the I frame period set as the default value in the receiving terminal and the value of the I frame period of the received video stream, The operation mode of the decoding unit 210e and the display unit 218e in the receiving terminal is changed, that is, the value of the I frame period of the video stream received by the receiving terminal is greater than the default value set as the default value in the receiving terminal. In a short case, when a transmission error occurs, the decoding process is temporarily stopped until the I-frame video stream is normally received, and the decoded image data is displayed immediately before the transmission error occurs. The I-frame period value of the video stream received at the default is set as the default value at the receiving terminal. If the value is greater than or equal to the value, only the decoding process is performed for frames other than the frame in which data is lost due to a transmission error, and all the frames that have been subjected to the data decoding process are displayed. In accordance with (that is, the interval of the I frame), the operation mode of the decoding unit and the display unit can be reduced in discomfort in the display image when an error occurs.
[0196]
In the fifth embodiment, the I frame appearance interval (I frame period), which is the attribute value of the received video stream, is shown as being supplied from the server 100e to the receiving terminal as a SMIL file. The I frame appearance interval (I frame period) of the received video stream may be transmitted from the server to the receiving terminal using SDP, RTSP, or the like.
[0197]
In addition, the I-frame appearance interval (I-frame period) of the received video stream is not limited to the case where the I-frame is transmitted from the server to the terminal. For example, the RTP data receiving unit 216 of the receiving terminal 200e You may make it calculate from the information contained.
[0198]
In the fifth embodiment, as the second decoding operation mode of the decoding unit 210e, when a transmission error occurs, only the decoding process of the frame in which data is lost due to the transmission error is skipped, and after the transmission error occurs, Although an operation mode in which a decoding process is performed from a frame in which data is normally received is shown, the second decoding operation mode is not limited to this.
[0199]
For example, as shown in FIG. 6B, when one frame of video stream is distributed and stored in a plurality of video packets, the second decoding operation mode has lost data due to a transmission error. A mode may be used in which only decoding processing is performed on data of packets other than video packets.
Further, in this case, the display mode of the image data may be a mode in which all the frames that have been subjected to the decoding process on at least a part of the data are displayed, as in the second display operation mode of the fifth embodiment. .
[0200]
Further, in the fifth embodiment, the operation mode of the decoding unit at the time of error occurrence is changed according to the magnitude relationship between the I-frame appearance interval of the video stream being received and the default value (default value) at the receiving terminal. Although what is switched is shown, the switching of the operation mode of the decoding unit is not limited to this.
For example, when a transmission error occurs, the time until the next I-frame video stream is decoded can be calculated because the period of the I-frame is known. For this reason, when a transmission error occurs, the control unit performs the decoding operation of the decoding unit according to the time difference from the time of decoding of the frame in which the transmission error has occurred to the time of decoding of the I frame to be decoded thereafter. For example, between the time of decoding a frame in which a transmission error has occurred and the time of decoding of the subsequent I frame, the decoding operation for stopping the decoding process and the time of decoding of the subsequent I frame from the time of decoding of the frame in which a transmission error has occurred Until the time of decoding, it is determined whether to decode the inter-frame encoded data except for the part that cannot be decoded due to the transmission error. The subsequent decoding operation may be controlled to be the decoding operation determined by this determination.
[0201]
Specifically, when a transmission error occurs, the control unit determines whether the time difference between the decoding of the frame in which the transmission error has occurred and the subsequent decoding of the I frame is a default value (default) at the receiving terminal. If the value is smaller than (value), the decoding operation of the decoding unit is an operation of stopping the decoding process on the image data from the time of decoding the frame in which the transmission error has occurred until the I frame is decoded thereafter, When the time difference from the time of decoding of the frame in which the transmission error has occurred to the time of decoding of the subsequent I frame is equal to or greater than the default value (default value) at the receiving terminal, the decoding operation of the decoding unit The inter-frame encoded data cannot be decoded due to the occurrence of the transmission error from the time of decoding of the frame in which the transmission error has occurred until the I frame is subsequently decoded. Operation and so as to decrypt except Tsu portion, controls the decode unit.
[0202]
Here, the decoding operation that decodes the inter-screen encoded data except for the portion that cannot be decoded due to the occurrence of the transmission error is a decoding operation that performs only the decoding processing for the frames other than the frame in which the transmission error has occurred. is there.
When the image data of each frame is packetized for each data unit smaller than the frame as shown in FIG. 6B, a decoding operation for decoding a frame other than the frame in which the transmission error has occurred. In the received image data, packets other than the packet in which the transmission error has occurred may be decoded.
[0203]
Furthermore, although the case where the data transmitted from the server to the receiving terminal is video data has been described in the fifth embodiment, the transmission data may be audio data or text data. Even when text data is transmitted by RTP / UDP / IP, the same effect as in the fifth embodiment can be obtained.
[0204]
In the second to fourth embodiments, as a data reproducing apparatus that requests image data from a server based on user settings at a terminal and reproduces image data transmitted in response to the request, the Internet or the like is used. In the fifth embodiment, in accordance with the magnitude relationship between the value of the I frame period of the received image data and the default value set in the receiving terminal, FIG. The receiving terminal that switches the decoding operation when an error occurs is shown. Specific examples of the receiving terminal according to the second to fifth embodiments include a PC (personal computer) and the receiving terminal according to the first embodiment. Specific examples include a cellular phone.
[0205]
(Embodiment 6)
Hereinafter, as a sixth embodiment of the present invention, a mobile phone that requests image data having error tolerance strength specified by a user setting from a server will be described as in the data reproduction device of the second embodiment.
FIG. 16 is a diagram for explaining the mobile phone according to the sixth embodiment.
The cellular phone 300 according to the fifth embodiment outputs a signal processing unit 302 that performs various signal processing and a radio signal N received by the antenna 301 to the signal processing unit 302 as a received signal, and And a wireless communication unit 303 that transmits the transmission signal generated in this way from the antenna 301 as a wireless signal N.
[0206]
The mobile phone 300 is processed by a liquid crystal panel (LCD) 306 for displaying an image, a microphone 308 for inputting audio, a speaker 307 for reproducing an audio signal, and the signal processing unit 302. Upon receiving the image signal, the liquid crystal display unit (LCD) 306 controls the display control unit 304 to perform image display based on the image signal, and outputs the input audio signal from the microphone 308 to the signal processing unit 302. And an audio input / output unit 305 that outputs the audio signal processed by the signal processing unit 302 to the speaker 307. Here, for simplicity of explanation, the button operation unit of the mobile phone is not shown.
[0207]
Here, the signal processing unit 302 performs the same data reproduction processing as that of the data reproduction device 200b of the second embodiment. That is, the signal processing unit 302 includes an HTTP transmission / reception unit 211, an RTSP message transmission / reception unit 214, an SMIL data analysis unit 212b, an RTP data reception unit 216b, a decoding unit 210, and a user operation unit on the receiving terminal side of the second embodiment. A portion corresponding to 213 is included. The display control unit 304 and the liquid crystal panel (LCD) 306 in the mobile phone 300 of the sixth embodiment correspond to the display unit 218 of the second embodiment.
[0208]
In the mobile phone 300 having such a configuration, when an error tolerance strength for image data to be received is set by the user and an operation for reproducing image data corresponding to specific content is performed, the server The video stream suitable for the user set value of the error resilience strength is sequentially transmitted by the RTP packet, and the cellular phone reproduces the video stream from the server and responds to the transmission error occurrence rate during reception of the video stream. Thus, processing for switching the video stream is performed.
[0209]
In the sixth embodiment, a mobile phone that performs the same data reproduction processing as that of the data reproduction device of the second embodiment has been described. However, this mobile phone uses the data of the third to fifth embodiments described above. The same data reproduction processing as the data reproduction devices (reception terminals) 200c, 200d, and 200e in the transmission system may be performed.
[0210]
Further, in each of the above embodiments, the data reproducing device (receiving terminal) or the data transmitting device (server) is realized by hardware. However, these devices may be realized by software. In this case, the data reproduction apparatus (reception terminal) and the data transmission are recorded by recording a program for performing the data reproduction process or the data transmission process described in the above embodiments in a data storage medium such as a flexible disk. A device (server) can be constructed in an independent computer system.
[0211]
FIG. 17 is a diagram for explaining a recording medium storing a program for performing data reproduction processing or data transmission processing according to the above-described embodiments by software, and a computer system including the recording medium.
FIG. 17A shows an external appearance, a cross-sectional structure, and a flexible disk main body of the flexible disk, and FIG. 17B shows an example of a physical format of the flexible disk main body.
[0212]
The flexible disk FD has a structure in which the flexible disk body D is accommodated in a flexible disk case FC, and a plurality of tracks Tr are concentrically formed on the surface of the flexible disk body D from the outer periphery toward the inner periphery. Each track Tr is divided into 16 sectors Se in the circumferential direction. Therefore, the flexible disk FD storing the program has data as the program recorded in an area (sector) Se allocated on the flexible disk main body D.
FIG. 17C shows a configuration for recording the program on the flexible disk FD and a configuration for performing data reproduction processing or data transmission processing by software using the program stored on the flexible disk FD. ing.
[0213]
When recording the program on the flexible disk FD, data as the program is written from the computer system Cs to the flexible disk FD via the flexible disk drive FDD. Further, when the data reproducing device or the data transmitting device is constructed in the computer system Cs by the program recorded on the flexible disk FD, the program is read from the flexible disk FD by the flexible disk drive FDD and loaded into the computer system Cs. .
[0214]
In the above description, a flexible disk is shown as the data recording medium. However, an optical disk may be used as the data recording medium, and in this case as well, data reproduction processing or data transmission processing by software is performed as in the case of the flexible disk. be able to. Furthermore, the data recording medium is not limited to the optical disk and the flexible disk, and any card can be used as long as it can record a program, such as an IC card or a ROM cassette. Even when these data recording media are used, Data reproduction processing or data transmission processing by software can be performed as in the case of using the flexible disk or the like.
[0215]
【The invention's effect】
As described above, according to the data reproducing apparatus of the present invention, An image data receiving unit that receives a video stream including an intra-coded image frame in one or more packets for one coded image frame, and a video stream received by the image data receiving unit A decoding unit that outputs an image frame, a display unit that displays the image frame output from the decoding unit, and an appearance interval of the intra-frame encoded image frame in the video stream, A control unit that switches an operation mode of the decoding unit at the time of a transmission error due to a packet loss according to the appearance interval, and the control unit includes the intra-frame-encoded image frame included in the video stream. Is compared with a predetermined value set in advance, and the decoding unit determines that (1) when the appearance interval is equal to or greater than the predetermined value, Only the image frame constituted by the missing packet is skipped and the image frame other than the skipped image frame is decoded. (2) When the appearance interval is smaller than the predetermined value, The video stream decoding process is temporarily stopped until a packet constituting an intra-frame encoded image frame is received, and an operation mode is set. Because it is characterized by The decoding operation when an error occurs is based on the setting of the operating conditions and the display image is less uncomfortable. it can.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a data transmission system according to a first embodiment of the present invention, showing a configuration of the system (FIG. (A)) and data transmission processing (FIG. (B)) in the system; ing.
FIG. 2 is a diagram showing an example of description contents of a SMIL file FSD1 used in the data transmission system of the first embodiment.
FIG. 3 is a diagram showing a detailed configuration of a server 100a and a client terminal 200a constituting the data transmission system of the first embodiment.
FIG. 4 is a diagram for explaining a specific method for setting error resilience strength in receiving terminal 200a according to the first embodiment, a method for selecting one of two error resilience strengths (FIG. (A)), and a slide; The method of specifying the error resilience strength by the bar (FIG. (B)) is shown.
5 is a video element based on the description content (FIG. (A)) of the SMIL file FSD2 different from the SMIL file shown in FIG. 2 and the user setting value Xus2 used in the data transmission system of the first embodiment. It is a figure which shows the specific selection method (FIG. (B)).
6 shows another example of a plurality of image data having different error tolerances in the first embodiment, a video stream (FIG. (A)) in which one frame is one video packet, and three video packets in one frame. FIG. It is a figure which shows a video stream (FIG. (B)).
FIG. 7 is a diagram for explaining a data transmission system according to a second embodiment of the present invention, and shows a detailed configuration of a server and a client terminal constituting the system.
FIG. 8 is a table (FIG. 8 (b)) that correlates the storage contents (FIG. (A)) in the work memory corresponding to the description information of the SMIL file FSD2 used in the second embodiment, and the error occurrence rate and the error tolerance strength. ).
FIG. 9 is a diagram illustrating an example of RTSP message exchange when switching video streams in the second embodiment.
FIG. 10 shows RTP packets (FIGS. (A) and (b)) stored in a reception buffer corresponding to a video stream before and after switching when switching video streams in the second embodiment. FIG.
FIG. 11 is a diagram showing a flow of video stream switching processing at the receiving terminal in the second embodiment.
FIG. 12 is a schematic diagram specifically showing processing performed by the RTSP message transmission / reception unit 214 and the packet RTP data reception unit 216b of the receiving terminal when the video stream is switched in the second embodiment. .
FIG. 13 is a description of a SMIL file (FIG. (A)) indicating information relating to a video stream having a different transmission protocol used in the second embodiment, and the contents stored in the work memory (FIG. (B)) corresponding to the description. ) And a table (FIG. (C)) associating the error occurrence rate with the protocol.
FIG. 14 is a diagram for explaining a data transmission system according to a third embodiment of the present invention, and shows a detailed configuration of a server and a client terminal constituting the system.
FIG. 15 is a diagram for explaining a data transmission system according to a fourth embodiment of the present invention, and shows a detailed configuration of a server and a client terminal constituting the system.
FIG. 16 is a diagram for explaining a mobile phone as a data reproducing apparatus according to a sixth embodiment of the present invention.
FIG. 17 shows a data storage medium (FIGS. (A) and (b)) storing a program for performing data reproduction processing and data transmission processing of each of the above embodiments by a computer system, and the computer system (FIG. (C )) Is a diagram for explaining.
FIG. 18 is a diagram for explaining a communication system for distributing image data using the Internet.
FIG. 19 is a diagram for explaining a conventional image encoding device, a configuration of the image encoding device (FIG. (A)), and encoding processing in units of VOPs in the image encoding device (FIG. (B); )).
FIG. 20 is a block diagram for explaining a conventional image decoding apparatus.
FIG. 21 is a diagram for explaining a data transmission system according to a fifth embodiment of the present invention, in which FIG. 21 (a) shows the configuration of the system, and FIG. 21 (b) shows data transmission processing in the system; Is shown.
FIG. 22 is a diagram showing a detailed configuration of a server 100e and a client terminal 200e constituting the system of the fifth embodiment.
[Explanation of symbols]
10a, 10b, 10c, 10d, 10e network system
11 Network
21 Button operation section
21a-21d cursor keys
21e Confirm button
22a Signal strength display screen
22b, 22d Error tolerance setting screen
22c, 22e Operation guidance screen 100a, 100c Server
101 HTTP transmission means
102 RTSP message receiving means
103 RTP data transmission means
104,219 RTCP report transmission / reception means
110a, 110c, 100e Transmitter
120 Data storage
200a, 200b, 200c, 200d, 200e Receiving terminal
201a, 201b portable terminal
211 HTTP receiving means
212, 212b, 212e SMIL data analysis means
213 User operation unit
214 RTSP message receiving means
216, 216b, 216c RTP data receiving means
210, 210d, 210e Decoding unit
218, 218d, 218e display unit
220, 220e control unit
300 mobile phone
301 Antenna
302 Signal processor
303 wireless communication unit
304 Display control unit
305 Audio input / output unit
306 Liquid crystal panel (LCD)
307 Speaker
308 Microphone
Cs computer system
FD flexible disk
FDD flexible disk drive
FSD1-FSD3 SMIL file

Claims (2)

画面内符号化された画像フレームを含むビデオストリームを、符号化された１枚の画像フレームについて１以上のパケットで受信する画像データ受信部と、
画像データ受信部において受信されたビデオストリームを復号化して、画像フレームを出力する復号化部と、
上記復号化部から出力された画像フレームを表示する表示部と、
上記ビデオストリーム中の上記画面内符号化された画像フレームの出現間隔を取得し、上記出現間隔に応じてパケットの欠落による伝送エラー時の上記復号化部の動作モードを切り替える制御部と、を備え、
上記制御部は、上記ビデオストリームに含まれる上記画面内符号化された画像フレームの出現間隔と予め設定された所定値とを比較し、
上記復号化部を、
（１）上記出現間隔が上記所定値以上の場合には、上記欠落したパケットにより構成される画像フレームのみ復号処理をスキップして、上記スキップされた画像フレーム以外の画像フレームを復号処理し、
（２）上記出現間隔が上記所定値より小さい場合には、上記ビデオストリームの復号処理を画面内符号化された画像フレームを構成するパケットが受信されるまで一旦停止する、
動作モードに設定する、
ことを特徴とするデータ再生装置。An image data receiving unit that receives a video stream including an image frame encoded in a screen in one or more packets for one encoded image frame ;
A decoding unit that decodes the video stream received by the image data receiving unit and outputs an image frame ;
A display unit for displaying an image frame output from the decoding unit;
A controller that obtains an appearance interval of the intra-frame-encoded image frame in the video stream, and switches an operation mode of the decoding unit when a transmission error occurs due to a packet loss according to the appearance interval. ,
The control unit compares the appearance interval of the intra-coded image frame included in the video stream with a predetermined value set in advance,
The decryption unit is
(1) When the appearance interval is equal to or greater than the predetermined value, only the image frame constituted by the missing packet is skipped, and the image frames other than the skipped image frame are decoded.
(2) When the appearance interval is smaller than the predetermined value, the video stream decoding process is temporarily stopped until a packet constituting an intra-frame encoded image frame is received.
Set to operation mode,
A data reproducing apparatus characterized by that. 請求項１に記載のデータ再生装置において、
上記データ再生装置は携帯電話機である、
ことを特徴とするデータ再生装置。The data reproducing apparatus according to claim 1, wherein
The data reproducing device is a mobile phone.
A data reproducing apparatus characterized by that.
JP2002092538A 2001-03-29 2002-03-28 Data reproducing apparatus and mobile phone Expired - Fee Related JP4008734B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002092538A JP4008734B2 (en) 2001-03-29 2002-03-28 Data reproducing apparatus and mobile phone

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001097023 2001-03-29
JP2001-97023 2001-03-29
JP2002092538A JP4008734B2 (en) 2001-03-29 2002-03-28 Data reproducing apparatus and mobile phone

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007119408A Division JP4544640B2 (en) 2001-03-29 2007-04-27 Data reproducing apparatus and data reproducing method

Publications (2)

Publication Number Publication Date
JP2003032690A JP2003032690A (en) 2003-01-31
JP4008734B2 true JP4008734B2 (en) 2007-11-14

Family

ID=26612610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002092538A Expired - Fee Related JP4008734B2 (en) 2001-03-29 2002-03-28 Data reproducing apparatus and mobile phone

Country Status (1)

Country Link
JP (1) JP4008734B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4116470B2 (en) * 2002-03-06 2008-07-09 ヒューレット・パッカード・カンパニー Media streaming distribution system
US8711923B2 (en) * 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
JP4497944B2 (en) * 2003-02-05 2010-07-07 キヤノン株式会社 Receiving apparatus and control method of receiving apparatus
JP4308555B2 (en) 2003-03-10 2009-08-05 パナソニック株式会社 Receiving device and information browsing method
WO2005050992A1 (en) * 2003-11-19 2005-06-02 Miwagi Inc. Intelligent broadcasting system for providing broadcasting services with multi-level quality
CN100562106C (en) * 2004-01-23 2009-11-18 日本电气株式会社 Moving picture communication device, motion picture communication system and moving picture communication method
US8731069B2 (en) 2005-08-25 2014-05-20 Canon Kabushiki Kaisha Remote display system and method
JP4794640B2 (en) * 2009-02-09 2011-10-19 パナソニック株式会社 Transmitting apparatus and media data transmitting method
KR102111572B1 (en) * 2015-02-13 2020-05-15 에스케이텔레콤 주식회사 Computer readable recording medium recorded program and apparatus for providing low delay real-time content

Also Published As

Publication number Publication date
JP2003032690A (en) 2003-01-31

Similar Documents

Publication Publication Date Title
KR100832189B1 (en) Data playback device and data playback method
US9426335B2 (en) Preserving synchronized playout of auxiliary audio transmission
US10938872B2 (en) Processing interactivity events for streaming media data
US8300667B2 (en) Buffer expansion and contraction over successive intervals for network devices
JP6105741B2 (en) Streaming with video orientation adjustment (CVO)
TWI358234B (en) Data transmission system, receiving apparatus, and
JP3925218B2 (en) Streaming system and streaming method, streaming server and data distribution method, client terminal and data decoding method, program and recording medium
CN101715046B (en) Electronic apparatus, content reproduction method
JP5524193B2 (en) Media stream processing
KR20020045571A (en) Data reproduction method, data receiving terminal and data receiving method
JP4008734B2 (en) Data reproducing apparatus and mobile phone
JP4544640B2 (en) Data reproducing apparatus and data reproducing method
US11184665B2 (en) Initialization set for network streaming of media data
JP2007028241A (en) Video image coding/transmitting device, video image coding/transmitting method, video image coding/transmitting program, and its record medium
US20060161676A1 (en) Apparatus for IP streaming capable of smoothing multimedia stream
KR101992533B1 (en) Channel switching system in real-time IPTV broadcasting
US11943501B2 (en) Dynamic resolution change hints for adaptive streaming
US20240098307A1 (en) Automatic generation of video content in response to network interruption
CN100518304C (en) Decoding method related to audio information packet loss
JP2007067826A (en) Audio and animation communication system and data communication terminal
JP2007081623A (en) Voice moving image communication system and data communication terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100907

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110907

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120907

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees