JP5724879B2 - 品質制御装置、動画送信システム、品質制御方法および記録媒体 - Google Patents
品質制御装置、動画送信システム、品質制御方法および記録媒体 Download PDFInfo
- Publication number
- JP5724879B2 JP5724879B2 JP2011543225A JP2011543225A JP5724879B2 JP 5724879 B2 JP5724879 B2 JP 5724879B2 JP 2011543225 A JP2011543225 A JP 2011543225A JP 2011543225 A JP2011543225 A JP 2011543225A JP 5724879 B2 JP5724879 B2 JP 5724879B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- bit rate
- quality control
- packet loss
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims description 285
- 238000003908 quality control method Methods 0.000 title claims description 173
- 238000000034 method Methods 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 3
- 239000006185 dispersion Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 17
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 125000004122 cyclic group Chemical group 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/20—Arrangements for detecting or preventing errors in the information received using signal quality detector
- H04L1/203—Details of error rate determination, e.g. BER, FER or WER
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
- H04L1/0017—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
- H04L1/0019—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy in which mode-switching is based on a statistical approach
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
- H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0823—Errors, e.g. transmission errors
- H04L43/0829—Packet loss
- H04L43/0835—One way packet loss
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0888—Throughput
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Description
本発明は、動画の品質制御方法に関する。
インターネットや移動体通信などのネットワーク帯域が確保されていないネットワークを用いた動画送信装置において、様々な原因で利用可能なネットワーク帯域が不安定となる。このネットワークを介して動画のような継続的かつ高スループットを要求されるコンテンツを送信する動画送信装置がある。この動画送信装置は、ネットワークの帯域が不足するという原因でコンテンツの再生が停止することがたびたび起こる。なお以下で動画とは、全て映像と音声のどちらか、あるいはその両方を含むものと定義されるものとする。
この分野における上記課題の一般的な解決方法の一つとして、動画送信装置が固定冗長度を持つ前方誤り訂正（ＦＥＣ：Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）技術を用いてパケットロス分のデータ補償を行う方法がある。あらかじめ動画送信に利用されるネットワークの特性が分かっている場合に、動画送信装置は、ＦＥＣを利用すれば簡易な方法でデータをリアルタイムに補償できる。しかし、あらかじめそのネットワークの特性から想定されるパケットロス率以上のパケットロスが発生した場合に、動画送信装置はその欠落パケットを回復できない。したがって動画送信装置は変動幅の大きなネットワークでＦＥＣを使いにくいという欠点がある。この問題を回避するために動画送信装置が大きな冗長度を割り当てることで最初から動画送信装置のサービスを運用することがある。この場合動画送信装置は問題の少ないネットワーク状態にある場合でも余計にパケットを送信してしまう。したがって、動画送信装置はネットワーク帯域を必要以上に消費してしまう。
この分野における上記課題の別の一般的な解決方法として、動画の受信装置が欠落分のデータを再送要求し、動画送信装置が要求されたデータを再送することでパケットロスに対する耐性をつける方法がある。この方法が用いられた場合、動画送信装置は欠落分のデータだけを再送するため、再送に必要なネットワーク帯域が少なくて済むという利点がある。しかし、この方法が用いられた場合、動画送信装置においてパケットロスが起こったことを動画送信装置が認識するまでの時間と、欠落分のデータの再送要求に必要な時間と、その欠落分のデータの再送に必要な時間とがかかる。したがって、この方法が用いられた場合に、動画送信装置はデータの最初の送信からそのデータの再生までの時間に、より大きな遅延が生じてしまい、リアルタイム性が失われていくという欠点がある。
上記方法のうち、ＦＥＣの欠点を補う方法として、非特許文献１ではＡｄａｐｔｉｖｅ ＦＥＣという方法が提案されている。Ａｄａｐｔｉｖｅ ＦＥＣを用いることで、動画送信装置はパケットロスが最小になるように冗長度を動的に変更する。したがって、変動幅がある程度あるようなネットワークを介した通信であっても、動画送信装置はパケットロスを抑えることができる。また、ネットワーク状態が良い場合に動画送信装置は、それほど大きな冗長度にせずに動画の配信ができ、ネットワーク帯域の無駄遣いを軽減できる。
しかし、非特許文献１の方法では、動画送信装置はネットワーク状態が悪くなった場合に冗長度を高めるので、冗長度に応じたデータ量のパケットを余計に送受信することになる。よって、非特許文献１の方法では動画送信装置がネットワーク状態をさらに悪化させるという悪循環に陥る可能性がある。これを改善する方法として、特許文献１に挙げられる方法がある。特許文献１では、動画送信装置は動画の本体のデータのパケットを減らし、動画の本体のデータのパケットとＦＥＣによる冗長分のパケットの合計がネットワーク帯域以下となるように動画のエンコードビットレートを決定する。これにより動画送信装置はネットワーク品質を悪化させない範囲での最上の動画品質を得ることができる。
さらに別の方法として、特許文献２では、ネットワーク状態が悪化している時に、動画送信装置は動画の本体のパケットを優先して送受信し、ＦＥＣによるパケットの送出を抑える。これにより、動画送信装置はネットワーク状態が急激に悪化した場合でも、動画送信装置が自身で送受信しているパケットでさらにそのネットワーク状態を悪化させないようにしている。
この分野における上記課題の一般的な解決方法の一つとして、動画送信装置が固定冗長度を持つ前方誤り訂正（ＦＥＣ：Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）技術を用いてパケットロス分のデータ補償を行う方法がある。あらかじめ動画送信に利用されるネットワークの特性が分かっている場合に、動画送信装置は、ＦＥＣを利用すれば簡易な方法でデータをリアルタイムに補償できる。しかし、あらかじめそのネットワークの特性から想定されるパケットロス率以上のパケットロスが発生した場合に、動画送信装置はその欠落パケットを回復できない。したがって動画送信装置は変動幅の大きなネットワークでＦＥＣを使いにくいという欠点がある。この問題を回避するために動画送信装置が大きな冗長度を割り当てることで最初から動画送信装置のサービスを運用することがある。この場合動画送信装置は問題の少ないネットワーク状態にある場合でも余計にパケットを送信してしまう。したがって、動画送信装置はネットワーク帯域を必要以上に消費してしまう。
この分野における上記課題の別の一般的な解決方法として、動画の受信装置が欠落分のデータを再送要求し、動画送信装置が要求されたデータを再送することでパケットロスに対する耐性をつける方法がある。この方法が用いられた場合、動画送信装置は欠落分のデータだけを再送するため、再送に必要なネットワーク帯域が少なくて済むという利点がある。しかし、この方法が用いられた場合、動画送信装置においてパケットロスが起こったことを動画送信装置が認識するまでの時間と、欠落分のデータの再送要求に必要な時間と、その欠落分のデータの再送に必要な時間とがかかる。したがって、この方法が用いられた場合に、動画送信装置はデータの最初の送信からそのデータの再生までの時間に、より大きな遅延が生じてしまい、リアルタイム性が失われていくという欠点がある。
上記方法のうち、ＦＥＣの欠点を補う方法として、非特許文献１ではＡｄａｐｔｉｖｅ ＦＥＣという方法が提案されている。Ａｄａｐｔｉｖｅ ＦＥＣを用いることで、動画送信装置はパケットロスが最小になるように冗長度を動的に変更する。したがって、変動幅がある程度あるようなネットワークを介した通信であっても、動画送信装置はパケットロスを抑えることができる。また、ネットワーク状態が良い場合に動画送信装置は、それほど大きな冗長度にせずに動画の配信ができ、ネットワーク帯域の無駄遣いを軽減できる。
しかし、非特許文献１の方法では、動画送信装置はネットワーク状態が悪くなった場合に冗長度を高めるので、冗長度に応じたデータ量のパケットを余計に送受信することになる。よって、非特許文献１の方法では動画送信装置がネットワーク状態をさらに悪化させるという悪循環に陥る可能性がある。これを改善する方法として、特許文献１に挙げられる方法がある。特許文献１では、動画送信装置は動画の本体のデータのパケットを減らし、動画の本体のデータのパケットとＦＥＣによる冗長分のパケットの合計がネットワーク帯域以下となるように動画のエンコードビットレートを決定する。これにより動画送信装置はネットワーク品質を悪化させない範囲での最上の動画品質を得ることができる。
さらに別の方法として、特許文献２では、ネットワーク状態が悪化している時に、動画送信装置は動画の本体のパケットを優先して送受信し、ＦＥＣによるパケットの送出を抑える。これにより、動画送信装置はネットワーク状態が急激に悪化した場合でも、動画送信装置が自身で送受信しているパケットでさらにそのネットワーク状態を悪化させないようにしている。
清水他「動的再構成可能システムによるＡｄａｐｔｉｖｅ ＦＥＣの実装」、情報処理学会 ＤＡシンポジウム ２００３、ｐｐ．２５−３０．２００３／７
上述した関連技術においては、動画送信装置が動画のエンコードビットレートとパケットロス率との相関に応じて冗長分の適切なパケット量を特定することができないという問題点がある。その理由は、それぞれ以下の通りである。非特許文献１の技術は、ネットワーク状態に基づいて冗長分のパケットの量を特定する。よって、非特許文献１の技術は、動画送信装置自身が送受信する冗長分のパケットにより、さらに輻輳が頻繁に起こり、パケットロス率が高まる可能性がある。特許文献１の技術は、動画送信装置が自身で利用可能なネットワーク帯域を使い切ることを想定しており、動画のエンコードビットレートを変化させることで生じるパケットロス率の変動を考慮していない。したがって動画送信装置とネットワークの競合する装置が複数ある場合、それら複数の装置が複数の動画を同時に送受信すると動画送信装置は自身が使用可能な適切なネットワーク帯域を見積もることが難しい。特許文献２の技術は、動画のエンコードビットレートを変化させることを考慮していない。したがって、特許文献２の技術では、動画送信装置がＦＥＣを適用することで付加されるパケットの送受信をしないことで、パケットロス率が低くなる場合ばかりではなく、パケットロスによる画質劣化がさらに進む可能性がある。
本発明の目的のひとつは、動画のエンコードビットレートとパケットロス率との相関に応じて冗長分の適切なパケット量を特定する品質制御装置を提供することである。
本発明の目的のひとつは、動画のエンコードビットレートとパケットロス率との相関に応じて冗長分の適切なパケット量を特定する品質制御装置を提供することである。
本発明の一形態における第１の品質制御装置は、ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信する状態情報受信部と、ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶する状態情報履歴蓄積装置と、動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記状態情報履歴蓄積装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する動画品質制御部と、を備える。
本発明の一形態における第１の動画送信システムは、動画送信装置と動画受信装置とを備え、前記動画送信装置は、所定の送信ビットレートで動画データを送信する送信部と、ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信する状態情報受信部と、ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶する状態情報履歴蓄積装置と、動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記状態情報履歴蓄積装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する動画品質制御部と、を備え、前記動画受信装置は、前記動画送信装置から動画データを受信するデータ受信部と、前記動画データのパケットロス率と前記動画データに含まれる各パケットが前記動画送信装置から送信された時刻を示す時刻情報とを前記動画送信装置に送信する状態情報送信部と、を備える。
本発明の一形態における第１の品質制御方法は、ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信し、ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶装置に記憶し、動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記記憶装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する。
本発明の一形態における第１のプログラムを記録した記録媒体は、コンピュータに、ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信する処理と、ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶装置に記憶する処理と、動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記記憶装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する処理と、を実行させるためのプログラムを記録する。
本発明の一形態における第１の動画送信システムは、動画送信装置と動画受信装置とを備え、前記動画送信装置は、所定の送信ビットレートで動画データを送信する送信部と、ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信する状態情報受信部と、ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶する状態情報履歴蓄積装置と、動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記状態情報履歴蓄積装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する動画品質制御部と、を備え、前記動画受信装置は、前記動画送信装置から動画データを受信するデータ受信部と、前記動画データのパケットロス率と前記動画データに含まれる各パケットが前記動画送信装置から送信された時刻を示す時刻情報とを前記動画送信装置に送信する状態情報送信部と、を備える。
本発明の一形態における第１の品質制御方法は、ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信し、ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶装置に記憶し、動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記記憶装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する。
本発明の一形態における第１のプログラムを記録した記録媒体は、コンピュータに、ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信する処理と、ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶装置に記憶する処理と、動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記記憶装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する処理と、を実行させるためのプログラムを記録する。
本発明の動画送信装置は動画のエンコードビットレートとパケットロス率との相関に応じて冗長分の適切なパケット量を特定することができる。
以下は、本発明を実施するための形態についての詳細な説明である。なお、各図面および本明細書記載の各実施の形態において、同様の機能を備える構成要素には同一の符号が与えられている。
［第１の実施の形態］
図１は本発明の第１の実施の形態における動画送信システム１の構成例を示すブロック図である。
動画送信システム１は動画送信装置１０１と動画受信装置１０２とを含む。動画送信装置１０１と動画受信装置１０２とは、ネットワーク１１３とネットワーク１１４とを介して接続されている。
＝＝＝動画送信装置１０１＝＝＝
動画送信装置１０１は、状態情報受信部１０３と、状態情報履歴蓄積装置１０４と、動画品質制御部１０５と、動画エンコード部１０６と、ＦＥＣエンコード部１０７と、データ送信部１０８とを備える。動画エンコード部１０６と、ＦＥＣエンコード部１０７と、データ送信部１０８とは、所定の送信ビットレートで動画データを送信する送信部を構成する。なお、その送信部の構成は、図１に示す構成に限らず、１つの送信回路としてＣＰＵの制御の元にプログラムに基づいて動作する回路であっても、他のハードウェア回路であってもよい。状態情報受信部１０３は状態情報履歴蓄積装置１０４と接続されている。状態情報履歴蓄積装置１０４は状態情報受信部１０３と動画品質制御部１０５とデータ送信部１０８と接続されている。動画品質制御部１０５は状態情報履歴蓄積装置１０４と動画エンコード部１０６とＦＥＣエンコード部１０７と接続されている。動画エンコード部１０６は動画品質制御部１０５とＦＥＣエンコード部１０７と接続されている。ＦＥＣエンコード部１０７は動画品質制御部１０５と動画エンコード部１０６とデータ送信部１０８と接続されている。データ送信部１０８は状態情報履歴蓄積装置１０４とＦＥＣエンコード部１０７と接続されている。
＜状態情報受信部１０３＞
状態情報受信部１０３は、ネットワーク１１４を介してネットワーク１１３のネットワーク状態情報を受信する。ネットワーク状態情報は、動画送信装置１０１が送信したパケットを示す情報を含んでもよい。またネットワーク状態情報は、ＦＥＣ復号前パケットロス率を示す情報、ＦＥＣ復号後パケットロス率を示す情報や巡回カウンタ値を含んでもよい。
動画送信装置１０１が送信したパケットを示す情報とは、例えばそのパケットの送信時刻を示すタイムスタンプ値でもよいし、動画配信開始時刻からの相対時間を示すタイムスタンプ値であってもよい。また、動画送信装置１０１が送信したパケットを示す情報とは、各パケットのシーケンス番号であってもよい。つまり、パケットを示す情報とは、おのおののパケットが動画送信装置１０１から送信された時刻を特定できる情報であればよい。時刻を特定できる情報は、時刻情報とも呼ばれる。
ＦＥＣ復号前パケットロス率を示す情報は、一定期間に動画受信装置１０２において受信できなかった（欠落した）データ数などであってもよい。またＦＥＣ復号前パケットロス率を示す情報は、動画受信装置１０２が正常に受信できなかったパケットの数を動画受信装置１０２が受信したパケットの総数で割ったパケットロス率であってもよい。例えば状態情報受信部１０３は、一定期間に動画送信装置１０１から送信されたデータ数とその一定期間に動画受信装置１０２において欠落したデータ数とを用いてＦＥＣ復号前パケットロス率を算出してもよい。
ＦＥＣ復号後パケットロス率を示す情報は、一定期間に動画受信装置１０２が受信したデータについてＦＥＣを適用しても復号できなかったデータ数であってもよい。また、ＦＥＣ復号後パケットロス率を示す情報は、動画受信装置１０２がＦＥＣを適用しても復号できなかったパケットの数を受信したパケットの総数で割ったパケットロス率であってもよい。例えば状態情報受信部１０３は、その一定期間に動画受信装置１０２が受信したデータ数とそのデータについてＦＥＣを用いても復号できなかったデータ数とに基づいてＦＥＣ復号後パケットロス率を算出してもよい。
巡回カウンタ値は、各パケットに与える所定の範囲のいずれかの値である。パケット順に連続してカウンタ値が各パケットに与えられる。カウンタ値が所定の範囲の一端に達した場合、次のパケットにはその所定の範囲の他端のカウンタ値が与えられる。後述のデータ送信部１０８がパケット毎に一の巡回カウンタ値を割り当てる構成としてもよい。
＜状態情報履歴蓄積装置１０４＞
状態情報履歴蓄積装置１０４は、状態情報受信部１０３からネットワーク状態情報を受け取る。また、状態情報履歴蓄積装置１０４はネットワーク状態履歴情報を記憶する。ネットワーク状態履歴情報とは、状態情報履歴蓄積装置１０４が受け取ったネットワーク状態情報とそのネットワーク状態情報に含まれるパケットを示す情報に対応する送信ビットレート情報とを対応付けた情報である。送信ビットレート情報とは、動画送信装置１０１が送信したデータの送信ビットレートとその送信ビットレートでデータを送信する時刻を示す情報とを対応付けた情報である。
この送信ビットレート情報は後述のデータ送信部１０８が状態情報履歴蓄積装置１０４に記憶させるものである。
＜動画品質制御部１０５＞
第１に、動画品質制御部１０５は、状態情報履歴蓄積装置１０４に記憶されているネットワーク状態履歴情報のうち、所定の期間内に動画送信装置１０１から送信されたパケットのネットワーク状態履歴情報を読み出す。具体的には動画品質制御部１０５は各ネットワーク状態履歴情報に含まれるパケットを示す情報によって特定される時刻が所定の期間内に含まれるか否かを判定する。そして動画品質制御部１０５は上述の時刻が所定の期間内に含まれるネットワーク状態履歴情報を動画品質制御部１０５が読み出すネットワーク状態履歴情報として特定する。パケットを示す情報がタイムスタンプ値の場合は、動画品質制御部１０５はそのタイムスタンプ値が示す時刻が所定の期間に含まれるか否かを判定すればよい。また、パケットを示す情報がシーケンス番号の場合には、動画品質制御部１０５は以下の方法でパケットを示す情報が所定の期間内に含まれるか否かを判定してもよい。まず各パケットのシーケンス番号とそのシーケンス番号のパケットが動画送信装置１０１から送信される時刻とを対応付けた情報をデータ送信部１０８が生成しておく。そして、動画品質制御部１０５は、データ送信部１０８が生成した情報に基づいてパケットを示す情報が所定の期間内に含まれるか否かを判定すればよい。
第２に、動画品質制御部１０５は、読み出したネットワーク状態履歴情報に基づいて、各ネットワーク状態履歴情報に含まれる送信ビットレートとパケットロス率との相関関係を特定し、第１の相関式を推定する。例えば、動画品質制御部１０５は、最小二乗法などによって第１の相関式を求めてもよい。
なお、本明細書において、単に「送信ビットレートとパケットロス率との相関」という場合、このパケットロス率は、ＦＥＣ復号前パケットロス率およびＦＥＣ復号後パケットロス率のいずれかを意味する。
動画品質制御部１０５は、推定した第１の相関式によって求められる送信ビットレートに基づいて、動画送信装置１０１が送信する動画のエンコードビットレートの想定値を求める。例えば、動画品質制御部１０５は、求められた送信ビットレートと、その送信ビットレートにおける動画データのヘッダサイズと、ＦＥＣのための冗長データであるＦＥＣデータのデータサイズとに基づいて動画のエンコードビットレートの想定値を求める。具体的には動画品質制御部１０５は、送信ビットレートからヘッダのデータサイズが占めるビットレートとＦＥＣデータのデータサイズが占めるビットレートとを引くことによって、動画のエンコードビットレートの想定値を求めてもよい。
第３に、動画品質制御部１０５は、求められた動画のエンコードビットレートの想定値とパケットロス率との相関関係を特定して、第２の相関式を推定する。例えば、動画品質制御部１０５は、最小二乗法などによって第２の相関式を求めてもよい。
そして、動画品質制御部１０５は、推定した第２の相関式に基づいて、その第２の相関式のグラフの傾き（つまり、その相関式の微分値）がゼロとなるパケットロス率を特定する。すなわち、動画品質制御部１０５は、動画のエンコードビットレートとパケットロス率との相関関係に基づいて、動画のエンコードビットレートが最大となるパケットロス率を特定する。そして、動画品質制御部１０５は、そのパケットロス率を元にＦＥＣの冗長度を決定する。
ここで、冗長度とはあるパケットを転送するために使われているビット数からそのパケットに含まれる実際のデータに必須なビット数を引いた値である。
ＦＥＣの冗長度を求める他の方法として、動画品質制御部１０５は、次の方法によってＦＥＣの冗長度を求めてもよい。動画品質制御部１０５は、パケットロス率とＦＥＣの冗長度とを対応付けたテーブルをあらかじめ記憶しておいてもよい。そして、動画品質制御部１０５は、そのテーブルに基づいてパケットロス率を元にＦＥＣの冗長度を決定する。また動画品質制御部１０５は、パケットロス率とＦＥＣの制御方法（例えばＦＥＣの周期を示す情報）とを対応付けたテーブルをあらかじめ記憶しておいてもよい。
動画品質制御部１０５は、特定したパケットロス率（動画のエンコードビットレートが最大となるパケットロス率）のときの動画のエンコードビットレートを、動画送信装置１０１が送信する動画のエンコードビットレートと最終的に特定する。
そして、第４に、動画品質制御部１０５は、特定した動画のエンコードビットレートとＦＥＣの冗長度とに基づいて動画の送信ビットレートを算出する。具体的には動画品質制御部１０５は、動画のエンコードビットレートに、ＦＥＣの冗長度に応じて必要となるデータ量に基づいて特定されるデータのビットレートを足すことで、動画の送信ビットレートを算出してもよい。
ここで、動画品質制御部１０５がＦＥＣの冗長度と動画のエンコードビットレートを特定する際に、動画品質制御部１０５は第２の相関式によって単純に求められた値を特定するのではなく、その値にある重みを付けた値である評価値を特定してもよい。現在のＦＥＣの冗長度または動画のエンコードビットレートの値と、新たに求められたＦＥＣの冗長度または動画のエンコードビットレートの値との差に応じて、重みの値が決定されてもよい。この場合、動画品質制御部１０５は、新たに求めた値に所定の重みの値を乗算して得られた評価値を、制御後のＦＥＣの冗長度と動画のエンコードビットレートとして特定してもよい。
一方、送信ビットレートとパケットロス率との相関度は、動画送信装置１０１から送信されるデータ量が、ネットワーク１１３に対してどの程度支配的であるかに影響される場合がある。例えば、ネットワーク１１３が十分に大きな帯域を持っている場合、動画送信装置１０１が送信するデータの送信ビットレートは、パケットロス率の変化による影響をほとんど受けないことがある。その場合、送信ビットレートとパケットロス率との相関度は小さいものとなりうる。すなわち、パケットロス率と送信ビットレートとの間に明確な相関関係がなくなる。このような場合、動画品質制御部１０５はパケットロス率を求めてもその求めた値への制御の反映度合いを小さくしてもよい。例えば、動画品質制御部１０５は、現在のパケットロス率と求められたパケットロス率との平均を新たなパケットロス率と特定する評価を行ってもよい。
逆に、ネットワーク１１３が小さな帯域を持っている場合、動画送信装置１０１が送信するデータの送信ビットレートは、パケットロス率の変化による影響を大きく受けて変化することがある。その場合、送信ビットレートとパケットロス率との相関度は大きいものとなりうる。すなわち、パケットロス率と送信ビットレートとの間に顕著な相関関係が現れる。このような場合、動画品質制御部１０５はパケットロス率を求め、その求めた値への制御の反映度合いを大きくしてもよい。例えば、動画品質制御部１０５は、現在のパケットロス率と求められたパケットロス率との差の２倍の値まで現在のパケットロス率から変化させた値を、新たなパケットロス率と特定する評価を行ってもよい。以上のような評価を追加することで、動画送信システム１はより状況に即した緻密な制御を行うことが可能となる。
また、動画品質制御部１０５は、算出される送信ビットレートと現在配信しているデータの送信ビットレートとに基づいて、状態情報履歴蓄積装置１０４に記憶させる送信ビットレートの値を調節してもよい。例えば、算出される送信ビットレートは現在から所定の期間かけて到達する目標値としてもよい。すなわち、動画品質制御部１０５は現在の送信ビットレートから所定の期間にかけて徐々に状態情報履歴蓄積装置１０４に記憶させる送信ビットレートの値を、算出される送信ビットレートの値に近づけるように調節してもよい。
前述の方法によれば、この目標値がある期間維持されたときには、実際にその後、状態情報履歴蓄積装置１０４に記憶させる送信ビットレートの値が算出される送信ビットレートになる。一方、この目標値がある期間中に変更された場合には、その都度状態情報履歴蓄積装置１０４に記憶させる送信ビットレートの値が新たな目標値へ徐々に近づくように調節される。
この制御により動画送信システム１は急激な画質変動を抑えることが可能となる。
＜動画エンコード部１０６＞
動画エンコード部１０６は、動画品質制御部１０５が特定したエンコードビットレートに基づいて動画を符号化し、動画データを生成する。
＜ＦＥＣエンコード部１０７＞
ＦＥＣエンコード部１０７は、動画エンコード部１０６が生成した動画データを元に、動画品質制御部１０５が決定したＦＥＣの冗長度でＦＥＣデータを生成する。ＦＥＣエンコード部１０７は、冗長符号エンコード部とも呼ばれる。
ここで、状態情報受信部１０３が受信するネットワーク状態情報に、ＦＥＣ復号後のパケットロス率を示す情報が含まれている場合がある。この場合、ＦＥＣを用いても復元できなかったデータがあるということは、この動画送信システム１が使用するネットワークは、連続したパケットロスが発生するネットワークである可能性がある。したがってこの場合には、ＦＥＣエンコード部１０７は、ＦＥＣ符号化の際に、より連続したパケットロスに強いアルゴリズムを選択するような工夫を行ってもよい。
＜データ送信部１０８＞
データ送信部１０８は、動画エンコード部１０６が生成した動画データとＦＥＣエンコード部１０７が生成したＦＥＣデータとを、ネットワーク１１３を介して送信可能なデータ形式にして送出する。データ送信部１０８は、各パケットにそのパケットを示す情報を含むようにその各パケットを送出する。さらにデータ送信部１０８は、各パケットを送出した際の送信ビットレートとその送信ビットレートでデータを送信した時刻を示す情報とを対応付けた情報である送信ビットレート情報を状態情報履歴蓄積装置１０４に記憶する。
データ送信部１０８は、送信するパケット毎に一の巡回カウンタ値を割り当てる構成としてもよい。
＝＝＝動画受信装置１０２＝＝＝
動画受信装置１０２は、データ受信部１０９と、ＦＥＣデコード部１１０と、動画デコード部１１１と、状態情報送信部１１２とを備える。
＜データ受信部１０９＞
データ受信部１０９は、動画データとＦＥＣデータとを受信し、ＦＥＣ復号前のパケットロス率を算出する。また、データ受信部１０９は受信したデータを含むパケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを後述する状態情報送信部１１２に渡す。ここで、パケットを示す情報は、データ受信部１０９が前回のパケットを示す情報を状態情報送信部１１２に通知してからの時間間隔を示す情報で代替されうる。また、動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報は、所定の時間に送信された動画データおよびＦＥＣデータのデータ量を示す情報で代替されうる。
ここで時間間隔を示す情報とは、例えば所定期間の長さを示す情報であってもよい。例えば時間間隔を示す情報とは、前回パケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを状態情報送信部１１２が外部に送信した時刻と、現在の時刻と、の差分であってもよい。
＜ＦＥＣデコード部１１０＞
ＦＥＣデコード部１１０は、データ受信部１０９が受信した動画データとＦＥＣデータとに基づいて、欠落したデータを復元して、欠落前の動画データを生成する。
また、ＦＥＣデコード部１１０は、ＦＥＣ復号後パケットロス率を示す情報を後述の状態情報送信部１１２に通知してもよい。
＜動画デコード部１１１＞
動画デコード部１１１はＦＥＣデコード部１１０が復元した動画データをデコードし、映像および音声を再生する。動画デコード部１１１は、映像と音声とでそれぞれデコードするために別々のデコード部を備え、それぞれのデコード部が映像と音声とをそれぞれデコードしてもよい。
＜状態情報送信部１１２＞
状態情報送信部１１２は、データ受信部１０９からパケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを受け取る。そして、状態情報送信部１１２は、そのパケットを示す情報とＦＥＣ復号前パケットロス率を示す情報とをネットワーク状態情報としてネットワーク１１４を介して外部に送信する。
ネットワーク状態情報は、ＦＥＣ復号後パケットロス率を示す情報を含んでもよい。
図２は、本発明の第１の実施の形態における動画送信装置１０１の動作の概要を示すフローチャートである。
動画送信装置１０１は、動作を開始する（ステップＳ２０１）。状態情報受信部１０３は、ネットワーク１１４を介して、ネットワーク１１３のネットワーク状態情報を取得する（ステップＳ２０２）。状態情報受信部１０３は、受信したネットワーク状態情報に含まれるパケットを示す情報に基づいて、そのパケットを示す情報に対応する時刻における動画の送信ビットレート情報を状態情報履歴蓄積装置１０４から読み出す。そして状態情報受信部１０３は、受信したネットワーク状態情報と読み出した送信ビットレート情報に含まれる送信ビットレートとを含むネットワーク状態履歴情報を、状態情報履歴蓄積装置１０４に記憶させる（ステップＳ２０３）。
動画品質制御部１０５は、状態情報履歴蓄積装置１０４からネットワーク状態履歴情報を読み出す（ステップＳ２０４）。動画品質制御部１０５は読み出したネットワーク状態履歴情報から、一定期間内での送信ビットレートとパケットロス率との相関を計算し、第１の相関式に表す（ステップＳ２０５）。動画品質制御部１０５は、第１の相関式から求められる送信ビットレートに基づいて、動画のエンコードビットレートとパケットロス率との相関を計算し、第２の相関式に表す（ステップＳ２０６）。
動画品質制御部１０５は、求めた第２の相関式の傾き（微分値）がゼロとなるパケットロス率を計算し、そのパケットロス率を元にＦＥＣの冗長度を特定する。また、動画品質制御部１０５は、特定したパケットロス率に対応するエンコードビットレートを元に、送信する動画のエンコードビットレートを特定する（ステップＳ２０７）。
動画エンコード部１０６は、ステップＳ２０７で特定されたエンコードビットレートで動画を符号化し、動画データを生成する（ステップＳ２０８）。
ＦＥＣエンコード部１０７は、動画エンコード部１０６が生成した動画データを元に、ステップＳ２０７で特定されたＦＥＣ冗長度でＦＥＣデータを生成する（ステップＳ２０９）。
データ送信部１０８は、動画エンコード部１０６が生成した動画データと、ＦＥＣエンコード部１０７が生成したＦＥＣデータとを、ネットワーク１１３を介して送信可能なデータ形式にして送信する。さらにデータ送信部１０８は、データを送信した際の送信ビットレートとその送信ビットレートでデータを送信した時刻を示す情報とを対応付けて状態情報履歴蓄積装置１０４に記憶する（ステップＳ２１０）。
送信する動画がまだ続くのであれば、動画送信装置１０１はステップＳ２０２から再び同じステップを繰り返す（ステップＳ２１１）。送信する動画が続かないのであれば動画送信装置１０１は動作を終了する（ステップＳ２１２）。
図３は、本発明の第１の実施の形態における動画受信装置１０２の動作の概要を示すフローチャートである。
動画受信装置１０２が動作を開始する（ステップＳ３０１）。データ受信部１０９は、ネットワーク１１３を介して、動画データとＦＥＣデータとを受信し、それらをＦＥＣデコード部１１０に渡す。また、データ受信部１０９は受信したデータを含むパケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを状態情報送信部１１２に通知する（ステップＳ３０２）。
ＦＥＣデコード部１１０は、データ受信部１０９から受け取った動画データとＦＥＣデータとから、欠落データを復元して、欠落前の動画データを生成する（ステップＳ３０３）。
動画デコード部１１１は、ＦＥＣデコード部１１０が生成した動画データをデコードし、映像および音声を再生する（ステップＳ３０４）。
状態情報送信部１１２は、ネットワーク１１４を介してネットワーク状態情報を外部に送信する（ステップＳ３０５）。ネットワーク状態情報はデータ受信部１０９から受け取ったパケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを含む。
データ受信部１０９でのその動画の受信がまだ続いているのであれば、動画受信装置１０２はステップＳ３０２から再び同じステップを繰り返す（ステップＳ３０６）。データ受信部１０９でのその動画の受信が続かないのであれば動画受信装置１０２は動作を終了する（ステップＳ３０７）。
第１の実施の形態によれば、動画送信システム１はデータの送信ビットレートとパケットロス率との相関関係に基づいて、動画のエンコードビットレートが最大となるパケットロス率を特定する。そして動画送信システム１は特定したパケットロス率に基づいて冗長符号の冗長度を特定する。よって、動画送信システム１は、ネットワーク１１３、ネットワーク１１４の状態を示すパケットロス率とデータの送信ビットレートとの相関関係に基づいて冗長分の適切なパケット量を特定することができるという顕著な効果が得られる。
［変形例の説明］
以下は、第１の実施の形態の変形例の説明である。
第１の実施の形態において、動画品質制御部１０５は第１の相関式を推定した際に、ネットワーク１１３、ネットワーク１１４内で観測されるパケットロスの発生状況を推定してもよい。さらに動画品質制御部１０５は推定したパケットロスの発生状況に応じて動作してもよい（第１の実施の形態の第１の変形例）。動画品質制御部１０５は、送信ビットレートとパケットロス率との相関関係に基づいてパケットロスの発生状況の分類を行う。具体的には動画品質制御部１０５は、送信ビットレートとパケットロス率とが満たす条件に応じてパケットロスの発生状況を推定する。そして、動画品質制御部１０５は発生状況に応じて制御後の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートの特定方法を変更する。
図４および図５は第１の実施の形態の第１の変形例における動画品質制御部１０５の動作を示すフローチャートである。動画品質制御部１０５が動作を開始する（ステップＳ８０１）。動画品質制御部１０５は送信ビットレートの分散とパケットロス率の分散とがそれぞれ所定の閾値以下であるか否か判定する（ステップＳ８０２）。送信ビットレートの分散とパケットロス率の分散とがそれぞれ所定の閾値以下である場合（ステップＳ８０２の“Ｙｅｓ”）、動画品質制御部１０５はネットワーク１１３、ネットワーク１１４の状態は安定していると判定する。この場合、動画品質制御部１０５は現状を維持してもかまわないと判定する。次に、動画品質制御部１０５は、パケットロス率の最大値が所定の閾値以下であるか否か判定する（ステップＳ８０３）。パケットロス率の最大値が所定の閾値以下である場合（ステップＳ８０３の“Ｙｅｓ”）、動画品質制御部１０５は、現状のネットワーク１１３、ネットワーク１１４の状態は問題がないと判定する。そして動画品質制御部１０５は現在の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートをそれぞれ制御後の送信ビットレート、ＦＥＣの冗長度および動画のエンコードビットレートと特定する（以上、ステップＳ８０４）。具体的には、動画品質制御部１０５は、現在のＦＥＣの冗長度を制御後のＦＥＣの冗長度と特定する（ステップＳ８０４−１）。動画品質制御部１０５は、現在の送信ビットレートを制御後の送信ビットレートと特定する（ステップＳ８０４−２）。動画品質制御部１０５は、現在の動画の送信ビットレートを動画のエンコードビットレートと特定する（ステップＳ８０４−３）。なお、この状態は、図６に示すように、送信ビットレートおよびパケットロス率の分散がそれぞれ小さい（閾値以下である）場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
パケットロス率の最大値が所定の閾値より大きい場合（ステップＳ８０３の“Ｎｏ”）、動画品質制御部１０５は、現状のネットワーク１１３、ネットワーク１１４の状態が不安定であると判定する。そして動画品質制御部１０５は、パケットロス率の最大値の場合であっても動画データを復元できるＦＥＣの冗長度を制御後のＦＥＣの冗長度と特定する（ステップＳ８０５−１）。また動画品質制御部１０５は現在の送信ビットレートを制御後の送信ビットレートと特定する（ステップＳ８０５−２）。動画品質制御部１０５は制御後のＦＥＣの冗長度と送信ビットレートとに基づいて制御後の動画のエンコードビットレートを特定する（ステップＳ８０５−３）。以上、ステップＳ８０５−１乃至ステップＳ８０５−３をあわせてステップＳ８０５とする。なお、この状態は、図７に示すように、送信ビットレートおよびパケットロス率の分散がそれぞれ大きい（閾値以上である）場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
送信ビットレートの分散とパケットロス率の分散とのいずれかが所定の閾値よりも大きい場合（ステップＳ８０２の“Ｎｏ”）、動画品質制御部１０５は送信ビットレートとパケットロス率との間に正の相関関係があるか否か判定する（ステップＳ８０６）。送信ビットレートとパケットロス率との間に正の相関関係がある場合（ステップＳ８０６の“Ｙｅｓ”）、動画品質制御部１０５は自己の通信に起因してパケットロスが発生していると判定する。この場合、動画品質制御部１０５が本発明の第１の実施の形態で示した品質制御を行うことで動画送信装置１０１は最良の動画品質の動画データを送信することができる。動画品質制御部１０５は上述の第１の実施の形態におけるステップＳ２０６およびステップＳ２０７の動作を行う（ステップＳ８０７−１およびステップＳ８０７−２）。そして動画品質制御部１０５は、前述の動作により制御後の送信ビットレート、ＦＥＣの冗長度および動画のエンコードビットレートを特定する（以上、ステップＳ８０７）。なお、この状態は、送信ビットレートおよびパケットロス率が図８に示すような場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
送信ビットレートとパケットロス率との間に正の相関関係がない場合（ステップＳ８０６の“Ｎｏ”）、動画品質制御部１０５は時刻とパケットロス率との間に相関関係があるか否かを判定する（ステップＳ８０８）。時刻とパケットロス率との間に相関関係がある場合（ステップＳ８０８の“Ｙｅｓ”）、動画品質制御部１０５は他の通信がパケットロスに影響を与えていると判断する。そして、動画品質制御部１０５は時刻とパケットロス率との相関式を作成し、所定の時間の経過後のパケットロス率を推定する（ステップＳ８０９−１）。そして動画品質制御部１０５はこのパケットロス率と第１の相関式とに基づいて、制御後の送信ビットレートを特定する（ステップＳ８０９−２）。また動画品質制御部１０５は推定したパケットロス率の場合であっても動画データを復元できるＦＥＣの冗長度を制御後のＦＥＣの冗長度と特定する（ステップＳ８０９−３）。さらに動画品質制御部１０５は制御後のＦＥＣの冗長度と送信ビットレートとに基づいて制御後の動画のエンコードビットレートを特定する（ステップＳ８０９−４）。以上、ステップＳ８０９−１乃至ステップＳ８０９−４をあわせてステップＳ８０９とする。なお、この状態は、送信ビットレートおよびパケットロス率が図９に示すような場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
時刻とパケットロス率との間に相関関係がない場合（ステップＳ８０８の“Ｎｏ”）、動画品質制御部１０５はパケットロスの発生状況を推定できないと判定する。この場合動画品質制御部１０５は制御を行わない。動画品質制御部１０５は、現在の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートをそれぞれ制御後の送信ビットレート、ＦＥＣの冗長度および動画のエンコードビットレートと特定する（ステップＳ８１０）。具体的には、動画品質制御部１０５は、現在のＦＥＣの冗長度を制御後のＦＥＣの冗長度と特定する（ステップＳ８１０−１）。動画品質制御部１０５は、現在の送信ビットレートを制御後の送信ビットレートと特定する（ステップＳ８１０−２）。動画品質制御部１０５は、現在の動画の送信ビットレートを動画のエンコードビットレートと特定する（ステップＳ８１０−３）。なお、この状態は、送信ビットレートおよびパケットロス率が図１０に示すような場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
なお、上述のフローチャートでは送信ビットレートとパケットロス率との値に応じて動画品質制御部１０５が単一の方法で制御後の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートを特定していた。動画品質制御部１０５は送信ビットレートとパケットロス率との値に応じて複数の方法で制御後の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートを特定してもよい。そして動画品質制御部１０５は前述の複数の方法によって求めたそれぞれの値についてそれぞれ重みをつけ、平均をとって所望の値を特定してもよい。
例えば動画品質制御部１０５は以下のようにして送信ビットレートを特定してもよい。上述のステップＳ８０５によって特定される送信ビットレートがＢ５、上述のステップＳ８０７によって特定される送信ビットレートがＢ７、上述のステップＳ８０９によって特定される送信ビットレートがＢ９とそれぞれ表されるとする。この場合、動画品質制御部１０５は以下の［数１］に基づいて送信ビットレートＢを特定してもよい。ただしα１、α２およびα３はそれぞれ所定の実数である。
ここでα１、α２およびα３はあらかじめ定められた値であってもよいし、学習によって定められてもよい。また、α１、α２およびα３は動画品質制御部１０５が推定するパケットロスの発生状況に応じて定められる値であってもよい。
第１の実施の形態の第１の変形例によれば、動画送信システム１はデータの送信ビットレートとパケットロス率との相関関係を特定する。そして、動画送信システム１は特定された送信ビットレートとパケットロス率との相関関係に基づき、パケットロスの発生状況を推定する。よって、動画送信システム１は、ネットワーク１１３、ネットワーク１１４の状態を示すパケットロス率とデータの送信ビットレートとの相関関係に基づいて冗長分の適切なパケット量を特定することができるという顕著な効果が得られる。
［第２の実施の形態］
図１１は本発明の第２の実施の形態における動画送信システム４の構成例を示すブロック図である。
動画送信システム４は動画送信サーバ４０１と動画受信端末４０２とを含む。動画送信サーバ４０１と動画受信端末４０２とは、インターネット４１３とインターネット４１４とを介して接続されている。ここでは第２の実施の形態の第１の実施の形態と異なる点のみを説明し、同様の構成については、同様の符号を付して説明を省略する。
動画送信サーバ４０１は、状態情報受信モジュール４０３と、状態情報履歴蓄積メモリ４０４と、動画品質制御モジュール４０５と、ＭＰＥＧ−２エンコーダ４０６と、ＦＥＣエンコーダ４０７と、ＵＤＰ送信モジュール４０８とを備える。
動画受信端末４０２は、ＵＤＰ受信モジュール４０９と、ＦＥＣデコーダ４１０と、ＭＰＥＧ−２デコーダ４１１と、状態情報送信モジュール４１２とを備える。
なお、ＦＥＣエンコーダ４０７とＦＥＣデコーダ４１０とは、ＦＥＣ方式としてＬＤＰＣ−ＦＥＣ（Ｌｏｗ Ｄｅｎｓｉｔｙ Ｐａｒｉｔｙ Ｃｈｅｃｋ Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）方式を利用するものとする。
図１２は、本発明の第２の実施の形態における動画送信サーバ４０１の動作の概要を示すシーケンス図である。
動画送信サーバ４０１が動作を開始する（ステップＳ５０１）。状態情報受信モジュール４０３が、インターネット４１４を介して、インターネット４１３のネットワーク状態情報を取得する（ステップＳ５０２）。ここで、ネットワーク状態情報は、各パケットが動画送信サーバ４０１から送信された時刻を示すタイムスタンプ値、巡回カウンタ値、ＦＥＣ復号前パケットロス率を示す情報、ＦＥＣ復号後パケットロス率を示す情報が含まれるものとする。状態情報受信モジュール４０３は、受信したネットワーク状態情報に含まれるタイムスタンプ値に基づいて、そのタイムスタンプ値に対応する時刻における動画の送信ビットレート情報を状態情報履歴蓄積メモリ４０４から読み出す。そして状態情報受信モジュール４０３は、ネットワーク状態履歴情報を状態情報履歴蓄積メモリ４０４に記憶させる（ステップＳ５０３）。ネットワーク状態履歴情報は状態情報受信モジュール４０３が受信したネットワーク状態情報と読み出した送信ビットレート情報に含まれる送信ビットレートとを含む。送信ビットレート情報は、過去のステップＳ５０７で状態情報履歴蓄積メモリ４０４に記憶されているものである。
動画品質制御モジュール４０５が状態情報履歴蓄積メモリ４０４から、ネットワーク状態履歴情報を読み出す（ステップＳ５０４）。動画品質制御モジュール４０５は読み出したネットワーク状態履歴情報から、一定期間内での送信ビットレートとパケットロス率との相関を計算し、第１の相関式に表す（ステップＳ５０５）。ここで、状態情報履歴蓄積メモリ４０４にはほぼ１秒間隔のネットワーク状態履歴情報が記憶されているものとする。そして動画品質制御モジュール４０５は過去５回分の履歴を取り出すものとする。この回数や取得方法は例示にすぎず、間隔がもっと長くとられてもよい。あるいは、動画品質制御モジュール４０５は、短期間の間隔で取得した履歴の情報と長期間の間隔で取得した履歴の情報とをそれぞれ重み付けして組み合わせて利用するようにしてもよい。
ここで、パケットロス率をｘ、送信ビットレートをｙとすると、第１の相関式は、５回分の履歴データを元に最小二乗法により、例えば図１３に表される近似式と推定されうる。このグラフの線形は以下のことを表している。つまり図１３は、送信ビットレートがある程度大きくなると、利用可能な帯域幅が減少しパケットロス率が増大してしまうこと、を表している。
例えば図１３に表される近似式をｘの一次式で近似すると仮定すると、第１の相関式は近似式ｙ＝ａｘ＋ｂ（ａとｂは最小二乗法により計算される定数）と推定される。また、例えば図１３に表される近似式をｘの対数を用いて表現すると、第１の相関式は近似式ｙ＝ａ＊（ｌｏｇ ｘ）＋ｂ（ａとｂは最小二乗法により計算される定数）と推定される。また、例えば図１３に表される近似式をｘの逆数で近似すると仮定すると、第１の相関式は近似式ｙ＝ａ（１−ｂ／ｘ）＋ｃ（ａ、ｂ、およびｃは最小二乗法により計算される定数）と推定される。
動画品質制御モジュール４０５は、算出した第１の相関式によって求められる送信ビットレートに基づいて動画品質制御モジュール４０５が送信する動画のエンコードビットレートを求める（ステップＳ５０６）。動画品質制御モジュール４０５は、求められた送信ビットレートと、その送信ビットレートにおける動画データのヘッダサイズと、ＦＥＣデータのデータサイズとに基づいて動画のエンコードビットレートを求める。具体的には動画品質制御モジュール４０５は、送信ビットレートからヘッダのデータサイズに占めるビットレートとＦＥＣデータのデータサイズに占めるビットレートとを引くことによって、動画のエンコードビットレートを求める。動画の形式として利用されるＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）のトランスポート形式は、映像と音声を混合して送信するためにＭＰＥＧ−２ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）であるとする。この場合、ヘッダのデータ量は、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ヘッダ、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）ヘッダおよびＭＰＥＧ−２ＴＳヘッダのデータ量の合計値となる。またそのときのＦＥＣデータのデータ量は、対象とするパケットロス率に対する十分な冗長度を持つ周期のＦＥＣパケット本体と、そのＦＥＣヘッダのデータ量の合計値となる。
動画品質制御モジュール４０５は、求めた動画のエンコードビットレートと第１の相関式に基づいて、動画のエンコードビットレートとパケットロス率との相関関係を示す第２の相関式を推定する。第２の相関式は、最小二乗法により、例えば図１４に表される近似式と推定されうる。このグラフの線形は以下のことを表している。つまり図１４は、所定のパケットロス率（第２の相関式の傾きがゼロとなるパケットロス率）において送信ビットレートが極大値を取りうること、を表している。また、図１４に表されるグラフの線形は、パケットロス率がある所定の値以上になると冗長符号が動画データの高い比重を占めるのでエンコードビットレートが下がり始める、ということを意味している。
例えばこの第２の相関式が２次式ｙ＝ａｘ＊ｘ＋ｂｘ＋ｃ（ｘ＊ｘはｘの二乗）で近似される場合には、この２次式の頂点で示されるパケットロス率が、相関式の傾きがゼロとなるパケットロス率である。そのパケットロス率の時に、エンコードビットレートが最大化する。動画品質制御モジュール４０５はこのエンコードビットレートを元に動画送信サーバ４０１が送信する動画データを符号化するエンコードビットレートを決定する。動画品質制御モジュール４０５は第２の相関式により、この動画データのエンコードビットレート時の予想されるパケットロス率を求める。そして動画品質制御モジュール４０５はそのパケットロス率でも復元可能なＦＥＣの冗長度を特定する。動画品質制御モジュール４０５はそのＦＥＣ冗長度に基づいて求められる送信ビットレートを、その送信ビットレートで送信する時刻を示す情報と共に状態情報履歴蓄積メモリ４０４に記録する（ステップＳ５０７）。
ＭＰＥＧ−２エンコーダ４０６は、ステップＳ５０７にて決定されたエンコードビットレートで動画を符号化し、ＭＰＥＧ−２ＴＳパケットを生成する（ステップＳ５０８）。
ＦＥＣエンコーダ４０７は、ＭＰＥＧ−２エンコーダ４０６で生成されたＭＰＥＧ−２ＴＳパケットを元に、ステップＳ５０７にて決定されたＦＥＣ冗長度でＦＥＣパケットを生成する（ステップＳ５０９）。また、状態情報受信モジュール４０３が受信するネットワーク状態情報に、ＦＥＣを用いても復元できなかったデータ量を示す情報が含まれている場合がある。この場合、動画品質制御モジュール４０５はインターネット４１３において想定よりも連続したパケットロスが発生していると判断する。そして動画品質制御モジュール４０５はより連続したパケット欠落に強いアルゴリズムを選択するために、ＦＥＣの周期を長くとったり、ＦＥＣストリームの本数を増やしたりする。ＦＥＣの周期とは冗長符号を付加する元となるデータのパケット数（フレーム長）である。ＦＥＣストリームの本数とは、複数のＦＥＣの周期でそれぞれ冗長符号を付加する場合のその周期の数である。
例えば、現在、動画品質制御モジュール４０５が２つの周期でＦＥＣ符号化している場合に、動画品質制御モジュール４０５は３つの周期でＦＥＣ符号化してもよい。あるいは動画品質制御モジュール４０５は２つの周期をより長くとれる組み合わせに変更してもよい。
ＵＤＰ送信モジュール４０８は、ステップＳ５０８にて生成されたＭＰＥＧ−２ＴＳパケットと、ステップＳ５０９にて生成されたＦＥＣパケットとを、インターネット４１３を通じてＵＤＰパケットとして送出する（ステップＳ５１０）。
動画送信サーバ４０１が送信停止命令などの動画受信端末４０２のユーザからのリクエストを受信していない場合に、動画送信サーバ４０１はステップＳ５０２から再び同じステップを繰り返す（ステップＳ５１１）。あるいは、動画送信サーバ４０１が送信する動画が最後まで達していない場合に、動画送信サーバ４０１はステップＳ５０２から再び同じステップを繰り返す（ステップＳ５１１）。その他の場合に動画送信サーバ４０１は終了する（ステップＳ５１２）。例えば動画送信サーバ４０１が特定の再生位置までジャンプするようリクエストを受信した場合に、動画送信サーバ４０１は、終了（ステップＳ５１２）せずに、送信する動画データの位置の変更を行い、そこから動画データの送信を続けてもよい。そして動画送信サーバ４０１はその後ステップＳ５１１以降の動作を行ってもよい。
図１５は、本発明の第２の実施の形態における動画受信端末４０２の動作の概要を示すシーケンス図である。
動画受信端末４０２が動作を開始する（ステップＳ６０１）と、ＵＤＰ受信モジュール４０９は、インターネット４１３を介して、ＭＰＥＧ−２ＴＳパケットとＦＥＣパケットとを受信する。このとき、ＵＤＰ受信モジュール４０９は受信パケットのタイムスタンプ値と巡回カウンタ値と動画受信端末４０２の受信時に欠落したパケット数を状態情報送信モジュール４１２に通知する（ステップＳ６０２）。
ＦＥＣデコーダ４１０は、ステップＳ６０２にてＵＤＰ受信モジュール４０９が受信したＭＰＥＧ−２ＴＳパケットとＦＥＣパケットとに基づいて、もし欠落パケットがあれば、欠落パケットを復元して、欠落前のＭＰＥＧ−２ＴＳパケットを生成する（ステップＳ６０３）。またＦＥＣデコーダ４１０はＦＥＣを用いても復元できなかったパケット数を状態情報送信モジュール４１２に通知する。
ＭＰＥＧ−２デコーダ４１１は、ステップＳ６０３にて復元されたＭＰＥＧ−２ＴＳパケットをデコードし、映像および音声を再生する（ステップＳ６０４）。
状態情報送信モジュール４１２は、タイマーにより約一秒毎に、インターネット４１４を介してネットワーク状態情報を外部に送信する（ステップＳ６０５）。ネットワーク状態情報はタイマーなどにより計測される期間中の最後の受信データのパケットのタイムスタンプ値、巡回カウンタ値およびその期間中の欠落パケット数を含む。
受信している動画がまだ続くのであれば、動画受信端末４０２はステップＳ６０２から再び同じステップを繰り返す（ステップＳ６０６）。受信している動画が続かないのであれば動画受信端末４０２は動作を終了する（ステップＳ６０７）。
なお上記一実施の形態においてインターネットとしたネットワークは、携帯電話網（３Ｇ、３．５Ｇ、３．９Ｇ、４Ｇ等）でもよいし、イントラネットでもよい。また、通信されるパケットは、ＭＰＥＧ−２ＴＳパケットの代わりにＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケットでもよいしその他のトランスポートが適用されたパケットでもよい。映像、音声形式は、特に制限はなく、映像であれば、ＭＰＥＧ−２の他、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等でもよいし、標準化されていないオリジナルの符号化方法による映像、音声形式であってもよい。音声形式は、特に制限はなく、音声であれば、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）でも、Ｇ．７１１、Ｇ．７２２でもよい。また、端末は携帯電話でも、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）でも、ＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）でも、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）でもよい。
第２の実施の形態によれば、動画送信システム４はデータの送信ビットレートとパケットロス率との相関関係に基づいて、動画のエンコードビットレートが最大となるパケットロス率を特定する。そして動画送信システム４は特定したパケットロス率に基づいて冗長符号の冗長度を特定する。よって、動画送信システム４は、インターネット４１３、インターネット４１４の状態を示すパケットロス率とデータの送信ビットレートの相関関係に基づいて冗長分の適切なパケット量を特定することができるという顕著な効果が得られる。
［変形例の説明］
以下は、第２の実施の形態の変形例の説明である。
図１６は、本発明の第２の実施の形態の変形例における動画送信システム７の構成例を示すブロック図である。
基本的な構成は図１１に示される動画送信システム４と同じである。図１６に示される動画送信システム７に含まれるテレビ会議端末７０１およびテレビ会議端末７０２は、図１６に示される動画送信サーバ４０１および動画受信端末４０２の機能を併せ持つ。
この動画送信システム７における動作は、送信および受信の機能をそれぞれの装置が備えることを除いて第２の実施の形態の動作と同様である。
［第３の実施の形態］
図１７は本発明の第３の実施の形態における品質制御装置９０１の構成例を示すブロック図である。
品質制御装置９０１は、状態情報受信部９０３と、状態情報履歴蓄積装置９０４と、動画品質制御部９０５とを含む。
品質制御装置９０１は、ネットワーク９１４を介して外部と接続されている。
状態情報受信部９０３は、所定の送信ビットレートで動画データを送信する送信部より送信された動画データのパケットを示す情報とパケットロス率を示す情報とを含むネットワーク状態情報を、ネットワーク９１４から受信する。
状態情報履歴蓄積装置９０４は、送信部から送信された動画データの送信ビットレートを含むビットレート情報を、状態情報受信部９０３が受信したネットワーク状態情報と対応付けて記憶する。
動画品質制御部９０５は、第１に、送信部より送信したパケットに対応するパケットロス率を示す情報とビットレート情報とを状態情報履歴蓄積装置９０４から読み出す。第２に、動画品質制御部９０５は、読み出したそれらの情報に基づいて、動画データのエンコードビットレートとパケットロス率との相関を推定する。第３に、動画品質制御部９０５は、推定した相関に基づき動画データのエンコードビットレートが最大となるパケットロス率を特定する。第４に、動画品質制御部９０５は、特定したパケットロス率に基づいて、動画データに対する冗長度を特定する。
図１７に示される品質制御装置９０１は本発明の第１の実施の形態に示された動画送信装置１０１と同様の動作を行う。品質制御装置９０１はデータの送信ビットレートとパケットロス率との相関関係に基づいて、動画のエンコードビットレートが最大となるパケットロス率を特定する。そして品質制御装置９０１は特定したパケットロス率に基づいて冗長符号の冗長度を特定する。したがって、本発明の第３の実施の形態の品質制御装置９０１は第１の実施の形態の動画送信装置１０１と同様の効果を奏することができる。
以上、実施の形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施の形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しえる様々な変更をすることができる。
この出願は、２００９年１１月２４日に出願された日本出願特願２００９−２６６０１８を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
［第１の実施の形態］
図１は本発明の第１の実施の形態における動画送信システム１の構成例を示すブロック図である。
動画送信システム１は動画送信装置１０１と動画受信装置１０２とを含む。動画送信装置１０１と動画受信装置１０２とは、ネットワーク１１３とネットワーク１１４とを介して接続されている。
＝＝＝動画送信装置１０１＝＝＝
動画送信装置１０１は、状態情報受信部１０３と、状態情報履歴蓄積装置１０４と、動画品質制御部１０５と、動画エンコード部１０６と、ＦＥＣエンコード部１０７と、データ送信部１０８とを備える。動画エンコード部１０６と、ＦＥＣエンコード部１０７と、データ送信部１０８とは、所定の送信ビットレートで動画データを送信する送信部を構成する。なお、その送信部の構成は、図１に示す構成に限らず、１つの送信回路としてＣＰＵの制御の元にプログラムに基づいて動作する回路であっても、他のハードウェア回路であってもよい。状態情報受信部１０３は状態情報履歴蓄積装置１０４と接続されている。状態情報履歴蓄積装置１０４は状態情報受信部１０３と動画品質制御部１０５とデータ送信部１０８と接続されている。動画品質制御部１０５は状態情報履歴蓄積装置１０４と動画エンコード部１０６とＦＥＣエンコード部１０７と接続されている。動画エンコード部１０６は動画品質制御部１０５とＦＥＣエンコード部１０７と接続されている。ＦＥＣエンコード部１０７は動画品質制御部１０５と動画エンコード部１０６とデータ送信部１０８と接続されている。データ送信部１０８は状態情報履歴蓄積装置１０４とＦＥＣエンコード部１０７と接続されている。
＜状態情報受信部１０３＞
状態情報受信部１０３は、ネットワーク１１４を介してネットワーク１１３のネットワーク状態情報を受信する。ネットワーク状態情報は、動画送信装置１０１が送信したパケットを示す情報を含んでもよい。またネットワーク状態情報は、ＦＥＣ復号前パケットロス率を示す情報、ＦＥＣ復号後パケットロス率を示す情報や巡回カウンタ値を含んでもよい。
動画送信装置１０１が送信したパケットを示す情報とは、例えばそのパケットの送信時刻を示すタイムスタンプ値でもよいし、動画配信開始時刻からの相対時間を示すタイムスタンプ値であってもよい。また、動画送信装置１０１が送信したパケットを示す情報とは、各パケットのシーケンス番号であってもよい。つまり、パケットを示す情報とは、おのおののパケットが動画送信装置１０１から送信された時刻を特定できる情報であればよい。時刻を特定できる情報は、時刻情報とも呼ばれる。
ＦＥＣ復号前パケットロス率を示す情報は、一定期間に動画受信装置１０２において受信できなかった（欠落した）データ数などであってもよい。またＦＥＣ復号前パケットロス率を示す情報は、動画受信装置１０２が正常に受信できなかったパケットの数を動画受信装置１０２が受信したパケットの総数で割ったパケットロス率であってもよい。例えば状態情報受信部１０３は、一定期間に動画送信装置１０１から送信されたデータ数とその一定期間に動画受信装置１０２において欠落したデータ数とを用いてＦＥＣ復号前パケットロス率を算出してもよい。
ＦＥＣ復号後パケットロス率を示す情報は、一定期間に動画受信装置１０２が受信したデータについてＦＥＣを適用しても復号できなかったデータ数であってもよい。また、ＦＥＣ復号後パケットロス率を示す情報は、動画受信装置１０２がＦＥＣを適用しても復号できなかったパケットの数を受信したパケットの総数で割ったパケットロス率であってもよい。例えば状態情報受信部１０３は、その一定期間に動画受信装置１０２が受信したデータ数とそのデータについてＦＥＣを用いても復号できなかったデータ数とに基づいてＦＥＣ復号後パケットロス率を算出してもよい。
巡回カウンタ値は、各パケットに与える所定の範囲のいずれかの値である。パケット順に連続してカウンタ値が各パケットに与えられる。カウンタ値が所定の範囲の一端に達した場合、次のパケットにはその所定の範囲の他端のカウンタ値が与えられる。後述のデータ送信部１０８がパケット毎に一の巡回カウンタ値を割り当てる構成としてもよい。
＜状態情報履歴蓄積装置１０４＞
状態情報履歴蓄積装置１０４は、状態情報受信部１０３からネットワーク状態情報を受け取る。また、状態情報履歴蓄積装置１０４はネットワーク状態履歴情報を記憶する。ネットワーク状態履歴情報とは、状態情報履歴蓄積装置１０４が受け取ったネットワーク状態情報とそのネットワーク状態情報に含まれるパケットを示す情報に対応する送信ビットレート情報とを対応付けた情報である。送信ビットレート情報とは、動画送信装置１０１が送信したデータの送信ビットレートとその送信ビットレートでデータを送信する時刻を示す情報とを対応付けた情報である。
この送信ビットレート情報は後述のデータ送信部１０８が状態情報履歴蓄積装置１０４に記憶させるものである。
＜動画品質制御部１０５＞
第１に、動画品質制御部１０５は、状態情報履歴蓄積装置１０４に記憶されているネットワーク状態履歴情報のうち、所定の期間内に動画送信装置１０１から送信されたパケットのネットワーク状態履歴情報を読み出す。具体的には動画品質制御部１０５は各ネットワーク状態履歴情報に含まれるパケットを示す情報によって特定される時刻が所定の期間内に含まれるか否かを判定する。そして動画品質制御部１０５は上述の時刻が所定の期間内に含まれるネットワーク状態履歴情報を動画品質制御部１０５が読み出すネットワーク状態履歴情報として特定する。パケットを示す情報がタイムスタンプ値の場合は、動画品質制御部１０５はそのタイムスタンプ値が示す時刻が所定の期間に含まれるか否かを判定すればよい。また、パケットを示す情報がシーケンス番号の場合には、動画品質制御部１０５は以下の方法でパケットを示す情報が所定の期間内に含まれるか否かを判定してもよい。まず各パケットのシーケンス番号とそのシーケンス番号のパケットが動画送信装置１０１から送信される時刻とを対応付けた情報をデータ送信部１０８が生成しておく。そして、動画品質制御部１０５は、データ送信部１０８が生成した情報に基づいてパケットを示す情報が所定の期間内に含まれるか否かを判定すればよい。
第２に、動画品質制御部１０５は、読み出したネットワーク状態履歴情報に基づいて、各ネットワーク状態履歴情報に含まれる送信ビットレートとパケットロス率との相関関係を特定し、第１の相関式を推定する。例えば、動画品質制御部１０５は、最小二乗法などによって第１の相関式を求めてもよい。
なお、本明細書において、単に「送信ビットレートとパケットロス率との相関」という場合、このパケットロス率は、ＦＥＣ復号前パケットロス率およびＦＥＣ復号後パケットロス率のいずれかを意味する。
動画品質制御部１０５は、推定した第１の相関式によって求められる送信ビットレートに基づいて、動画送信装置１０１が送信する動画のエンコードビットレートの想定値を求める。例えば、動画品質制御部１０５は、求められた送信ビットレートと、その送信ビットレートにおける動画データのヘッダサイズと、ＦＥＣのための冗長データであるＦＥＣデータのデータサイズとに基づいて動画のエンコードビットレートの想定値を求める。具体的には動画品質制御部１０５は、送信ビットレートからヘッダのデータサイズが占めるビットレートとＦＥＣデータのデータサイズが占めるビットレートとを引くことによって、動画のエンコードビットレートの想定値を求めてもよい。
第３に、動画品質制御部１０５は、求められた動画のエンコードビットレートの想定値とパケットロス率との相関関係を特定して、第２の相関式を推定する。例えば、動画品質制御部１０５は、最小二乗法などによって第２の相関式を求めてもよい。
そして、動画品質制御部１０５は、推定した第２の相関式に基づいて、その第２の相関式のグラフの傾き（つまり、その相関式の微分値）がゼロとなるパケットロス率を特定する。すなわち、動画品質制御部１０５は、動画のエンコードビットレートとパケットロス率との相関関係に基づいて、動画のエンコードビットレートが最大となるパケットロス率を特定する。そして、動画品質制御部１０５は、そのパケットロス率を元にＦＥＣの冗長度を決定する。
ここで、冗長度とはあるパケットを転送するために使われているビット数からそのパケットに含まれる実際のデータに必須なビット数を引いた値である。
ＦＥＣの冗長度を求める他の方法として、動画品質制御部１０５は、次の方法によってＦＥＣの冗長度を求めてもよい。動画品質制御部１０５は、パケットロス率とＦＥＣの冗長度とを対応付けたテーブルをあらかじめ記憶しておいてもよい。そして、動画品質制御部１０５は、そのテーブルに基づいてパケットロス率を元にＦＥＣの冗長度を決定する。また動画品質制御部１０５は、パケットロス率とＦＥＣの制御方法（例えばＦＥＣの周期を示す情報）とを対応付けたテーブルをあらかじめ記憶しておいてもよい。
動画品質制御部１０５は、特定したパケットロス率（動画のエンコードビットレートが最大となるパケットロス率）のときの動画のエンコードビットレートを、動画送信装置１０１が送信する動画のエンコードビットレートと最終的に特定する。
そして、第４に、動画品質制御部１０５は、特定した動画のエンコードビットレートとＦＥＣの冗長度とに基づいて動画の送信ビットレートを算出する。具体的には動画品質制御部１０５は、動画のエンコードビットレートに、ＦＥＣの冗長度に応じて必要となるデータ量に基づいて特定されるデータのビットレートを足すことで、動画の送信ビットレートを算出してもよい。
ここで、動画品質制御部１０５がＦＥＣの冗長度と動画のエンコードビットレートを特定する際に、動画品質制御部１０５は第２の相関式によって単純に求められた値を特定するのではなく、その値にある重みを付けた値である評価値を特定してもよい。現在のＦＥＣの冗長度または動画のエンコードビットレートの値と、新たに求められたＦＥＣの冗長度または動画のエンコードビットレートの値との差に応じて、重みの値が決定されてもよい。この場合、動画品質制御部１０５は、新たに求めた値に所定の重みの値を乗算して得られた評価値を、制御後のＦＥＣの冗長度と動画のエンコードビットレートとして特定してもよい。
一方、送信ビットレートとパケットロス率との相関度は、動画送信装置１０１から送信されるデータ量が、ネットワーク１１３に対してどの程度支配的であるかに影響される場合がある。例えば、ネットワーク１１３が十分に大きな帯域を持っている場合、動画送信装置１０１が送信するデータの送信ビットレートは、パケットロス率の変化による影響をほとんど受けないことがある。その場合、送信ビットレートとパケットロス率との相関度は小さいものとなりうる。すなわち、パケットロス率と送信ビットレートとの間に明確な相関関係がなくなる。このような場合、動画品質制御部１０５はパケットロス率を求めてもその求めた値への制御の反映度合いを小さくしてもよい。例えば、動画品質制御部１０５は、現在のパケットロス率と求められたパケットロス率との平均を新たなパケットロス率と特定する評価を行ってもよい。
逆に、ネットワーク１１３が小さな帯域を持っている場合、動画送信装置１０１が送信するデータの送信ビットレートは、パケットロス率の変化による影響を大きく受けて変化することがある。その場合、送信ビットレートとパケットロス率との相関度は大きいものとなりうる。すなわち、パケットロス率と送信ビットレートとの間に顕著な相関関係が現れる。このような場合、動画品質制御部１０５はパケットロス率を求め、その求めた値への制御の反映度合いを大きくしてもよい。例えば、動画品質制御部１０５は、現在のパケットロス率と求められたパケットロス率との差の２倍の値まで現在のパケットロス率から変化させた値を、新たなパケットロス率と特定する評価を行ってもよい。以上のような評価を追加することで、動画送信システム１はより状況に即した緻密な制御を行うことが可能となる。
また、動画品質制御部１０５は、算出される送信ビットレートと現在配信しているデータの送信ビットレートとに基づいて、状態情報履歴蓄積装置１０４に記憶させる送信ビットレートの値を調節してもよい。例えば、算出される送信ビットレートは現在から所定の期間かけて到達する目標値としてもよい。すなわち、動画品質制御部１０５は現在の送信ビットレートから所定の期間にかけて徐々に状態情報履歴蓄積装置１０４に記憶させる送信ビットレートの値を、算出される送信ビットレートの値に近づけるように調節してもよい。
前述の方法によれば、この目標値がある期間維持されたときには、実際にその後、状態情報履歴蓄積装置１０４に記憶させる送信ビットレートの値が算出される送信ビットレートになる。一方、この目標値がある期間中に変更された場合には、その都度状態情報履歴蓄積装置１０４に記憶させる送信ビットレートの値が新たな目標値へ徐々に近づくように調節される。
この制御により動画送信システム１は急激な画質変動を抑えることが可能となる。
＜動画エンコード部１０６＞
動画エンコード部１０６は、動画品質制御部１０５が特定したエンコードビットレートに基づいて動画を符号化し、動画データを生成する。
＜ＦＥＣエンコード部１０７＞
ＦＥＣエンコード部１０７は、動画エンコード部１０６が生成した動画データを元に、動画品質制御部１０５が決定したＦＥＣの冗長度でＦＥＣデータを生成する。ＦＥＣエンコード部１０７は、冗長符号エンコード部とも呼ばれる。
ここで、状態情報受信部１０３が受信するネットワーク状態情報に、ＦＥＣ復号後のパケットロス率を示す情報が含まれている場合がある。この場合、ＦＥＣを用いても復元できなかったデータがあるということは、この動画送信システム１が使用するネットワークは、連続したパケットロスが発生するネットワークである可能性がある。したがってこの場合には、ＦＥＣエンコード部１０７は、ＦＥＣ符号化の際に、より連続したパケットロスに強いアルゴリズムを選択するような工夫を行ってもよい。
＜データ送信部１０８＞
データ送信部１０８は、動画エンコード部１０６が生成した動画データとＦＥＣエンコード部１０７が生成したＦＥＣデータとを、ネットワーク１１３を介して送信可能なデータ形式にして送出する。データ送信部１０８は、各パケットにそのパケットを示す情報を含むようにその各パケットを送出する。さらにデータ送信部１０８は、各パケットを送出した際の送信ビットレートとその送信ビットレートでデータを送信した時刻を示す情報とを対応付けた情報である送信ビットレート情報を状態情報履歴蓄積装置１０４に記憶する。
データ送信部１０８は、送信するパケット毎に一の巡回カウンタ値を割り当てる構成としてもよい。
＝＝＝動画受信装置１０２＝＝＝
動画受信装置１０２は、データ受信部１０９と、ＦＥＣデコード部１１０と、動画デコード部１１１と、状態情報送信部１１２とを備える。
＜データ受信部１０９＞
データ受信部１０９は、動画データとＦＥＣデータとを受信し、ＦＥＣ復号前のパケットロス率を算出する。また、データ受信部１０９は受信したデータを含むパケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを後述する状態情報送信部１１２に渡す。ここで、パケットを示す情報は、データ受信部１０９が前回のパケットを示す情報を状態情報送信部１１２に通知してからの時間間隔を示す情報で代替されうる。また、動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報は、所定の時間に送信された動画データおよびＦＥＣデータのデータ量を示す情報で代替されうる。
ここで時間間隔を示す情報とは、例えば所定期間の長さを示す情報であってもよい。例えば時間間隔を示す情報とは、前回パケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを状態情報送信部１１２が外部に送信した時刻と、現在の時刻と、の差分であってもよい。
＜ＦＥＣデコード部１１０＞
ＦＥＣデコード部１１０は、データ受信部１０９が受信した動画データとＦＥＣデータとに基づいて、欠落したデータを復元して、欠落前の動画データを生成する。
また、ＦＥＣデコード部１１０は、ＦＥＣ復号後パケットロス率を示す情報を後述の状態情報送信部１１２に通知してもよい。
＜動画デコード部１１１＞
動画デコード部１１１はＦＥＣデコード部１１０が復元した動画データをデコードし、映像および音声を再生する。動画デコード部１１１は、映像と音声とでそれぞれデコードするために別々のデコード部を備え、それぞれのデコード部が映像と音声とをそれぞれデコードしてもよい。
＜状態情報送信部１１２＞
状態情報送信部１１２は、データ受信部１０９からパケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを受け取る。そして、状態情報送信部１１２は、そのパケットを示す情報とＦＥＣ復号前パケットロス率を示す情報とをネットワーク状態情報としてネットワーク１１４を介して外部に送信する。
ネットワーク状態情報は、ＦＥＣ復号後パケットロス率を示す情報を含んでもよい。
図２は、本発明の第１の実施の形態における動画送信装置１０１の動作の概要を示すフローチャートである。
動画送信装置１０１は、動作を開始する（ステップＳ２０１）。状態情報受信部１０３は、ネットワーク１１４を介して、ネットワーク１１３のネットワーク状態情報を取得する（ステップＳ２０２）。状態情報受信部１０３は、受信したネットワーク状態情報に含まれるパケットを示す情報に基づいて、そのパケットを示す情報に対応する時刻における動画の送信ビットレート情報を状態情報履歴蓄積装置１０４から読み出す。そして状態情報受信部１０３は、受信したネットワーク状態情報と読み出した送信ビットレート情報に含まれる送信ビットレートとを含むネットワーク状態履歴情報を、状態情報履歴蓄積装置１０４に記憶させる（ステップＳ２０３）。
動画品質制御部１０５は、状態情報履歴蓄積装置１０４からネットワーク状態履歴情報を読み出す（ステップＳ２０４）。動画品質制御部１０５は読み出したネットワーク状態履歴情報から、一定期間内での送信ビットレートとパケットロス率との相関を計算し、第１の相関式に表す（ステップＳ２０５）。動画品質制御部１０５は、第１の相関式から求められる送信ビットレートに基づいて、動画のエンコードビットレートとパケットロス率との相関を計算し、第２の相関式に表す（ステップＳ２０６）。
動画品質制御部１０５は、求めた第２の相関式の傾き（微分値）がゼロとなるパケットロス率を計算し、そのパケットロス率を元にＦＥＣの冗長度を特定する。また、動画品質制御部１０５は、特定したパケットロス率に対応するエンコードビットレートを元に、送信する動画のエンコードビットレートを特定する（ステップＳ２０７）。
動画エンコード部１０６は、ステップＳ２０７で特定されたエンコードビットレートで動画を符号化し、動画データを生成する（ステップＳ２０８）。
ＦＥＣエンコード部１０７は、動画エンコード部１０６が生成した動画データを元に、ステップＳ２０７で特定されたＦＥＣ冗長度でＦＥＣデータを生成する（ステップＳ２０９）。
データ送信部１０８は、動画エンコード部１０６が生成した動画データと、ＦＥＣエンコード部１０７が生成したＦＥＣデータとを、ネットワーク１１３を介して送信可能なデータ形式にして送信する。さらにデータ送信部１０８は、データを送信した際の送信ビットレートとその送信ビットレートでデータを送信した時刻を示す情報とを対応付けて状態情報履歴蓄積装置１０４に記憶する（ステップＳ２１０）。
送信する動画がまだ続くのであれば、動画送信装置１０１はステップＳ２０２から再び同じステップを繰り返す（ステップＳ２１１）。送信する動画が続かないのであれば動画送信装置１０１は動作を終了する（ステップＳ２１２）。
図３は、本発明の第１の実施の形態における動画受信装置１０２の動作の概要を示すフローチャートである。
動画受信装置１０２が動作を開始する（ステップＳ３０１）。データ受信部１０９は、ネットワーク１１３を介して、動画データとＦＥＣデータとを受信し、それらをＦＥＣデコード部１１０に渡す。また、データ受信部１０９は受信したデータを含むパケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを状態情報送信部１１２に通知する（ステップＳ３０２）。
ＦＥＣデコード部１１０は、データ受信部１０９から受け取った動画データとＦＥＣデータとから、欠落データを復元して、欠落前の動画データを生成する（ステップＳ３０３）。
動画デコード部１１１は、ＦＥＣデコード部１１０が生成した動画データをデコードし、映像および音声を再生する（ステップＳ３０４）。
状態情報送信部１１２は、ネットワーク１１４を介してネットワーク状態情報を外部に送信する（ステップＳ３０５）。ネットワーク状態情報はデータ受信部１０９から受け取ったパケットを示す情報と動画受信装置１０２におけるＦＥＣ復号前パケットロス率を示す情報とを含む。
データ受信部１０９でのその動画の受信がまだ続いているのであれば、動画受信装置１０２はステップＳ３０２から再び同じステップを繰り返す（ステップＳ３０６）。データ受信部１０９でのその動画の受信が続かないのであれば動画受信装置１０２は動作を終了する（ステップＳ３０７）。
第１の実施の形態によれば、動画送信システム１はデータの送信ビットレートとパケットロス率との相関関係に基づいて、動画のエンコードビットレートが最大となるパケットロス率を特定する。そして動画送信システム１は特定したパケットロス率に基づいて冗長符号の冗長度を特定する。よって、動画送信システム１は、ネットワーク１１３、ネットワーク１１４の状態を示すパケットロス率とデータの送信ビットレートとの相関関係に基づいて冗長分の適切なパケット量を特定することができるという顕著な効果が得られる。
［変形例の説明］
以下は、第１の実施の形態の変形例の説明である。
第１の実施の形態において、動画品質制御部１０５は第１の相関式を推定した際に、ネットワーク１１３、ネットワーク１１４内で観測されるパケットロスの発生状況を推定してもよい。さらに動画品質制御部１０５は推定したパケットロスの発生状況に応じて動作してもよい（第１の実施の形態の第１の変形例）。動画品質制御部１０５は、送信ビットレートとパケットロス率との相関関係に基づいてパケットロスの発生状況の分類を行う。具体的には動画品質制御部１０５は、送信ビットレートとパケットロス率とが満たす条件に応じてパケットロスの発生状況を推定する。そして、動画品質制御部１０５は発生状況に応じて制御後の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートの特定方法を変更する。
図４および図５は第１の実施の形態の第１の変形例における動画品質制御部１０５の動作を示すフローチャートである。動画品質制御部１０５が動作を開始する（ステップＳ８０１）。動画品質制御部１０５は送信ビットレートの分散とパケットロス率の分散とがそれぞれ所定の閾値以下であるか否か判定する（ステップＳ８０２）。送信ビットレートの分散とパケットロス率の分散とがそれぞれ所定の閾値以下である場合（ステップＳ８０２の“Ｙｅｓ”）、動画品質制御部１０５はネットワーク１１３、ネットワーク１１４の状態は安定していると判定する。この場合、動画品質制御部１０５は現状を維持してもかまわないと判定する。次に、動画品質制御部１０５は、パケットロス率の最大値が所定の閾値以下であるか否か判定する（ステップＳ８０３）。パケットロス率の最大値が所定の閾値以下である場合（ステップＳ８０３の“Ｙｅｓ”）、動画品質制御部１０５は、現状のネットワーク１１３、ネットワーク１１４の状態は問題がないと判定する。そして動画品質制御部１０５は現在の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートをそれぞれ制御後の送信ビットレート、ＦＥＣの冗長度および動画のエンコードビットレートと特定する（以上、ステップＳ８０４）。具体的には、動画品質制御部１０５は、現在のＦＥＣの冗長度を制御後のＦＥＣの冗長度と特定する（ステップＳ８０４−１）。動画品質制御部１０５は、現在の送信ビットレートを制御後の送信ビットレートと特定する（ステップＳ８０４−２）。動画品質制御部１０５は、現在の動画の送信ビットレートを動画のエンコードビットレートと特定する（ステップＳ８０４−３）。なお、この状態は、図６に示すように、送信ビットレートおよびパケットロス率の分散がそれぞれ小さい（閾値以下である）場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
パケットロス率の最大値が所定の閾値より大きい場合（ステップＳ８０３の“Ｎｏ”）、動画品質制御部１０５は、現状のネットワーク１１３、ネットワーク１１４の状態が不安定であると判定する。そして動画品質制御部１０５は、パケットロス率の最大値の場合であっても動画データを復元できるＦＥＣの冗長度を制御後のＦＥＣの冗長度と特定する（ステップＳ８０５−１）。また動画品質制御部１０５は現在の送信ビットレートを制御後の送信ビットレートと特定する（ステップＳ８０５−２）。動画品質制御部１０５は制御後のＦＥＣの冗長度と送信ビットレートとに基づいて制御後の動画のエンコードビットレートを特定する（ステップＳ８０５−３）。以上、ステップＳ８０５−１乃至ステップＳ８０５−３をあわせてステップＳ８０５とする。なお、この状態は、図７に示すように、送信ビットレートおよびパケットロス率の分散がそれぞれ大きい（閾値以上である）場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
送信ビットレートの分散とパケットロス率の分散とのいずれかが所定の閾値よりも大きい場合（ステップＳ８０２の“Ｎｏ”）、動画品質制御部１０５は送信ビットレートとパケットロス率との間に正の相関関係があるか否か判定する（ステップＳ８０６）。送信ビットレートとパケットロス率との間に正の相関関係がある場合（ステップＳ８０６の“Ｙｅｓ”）、動画品質制御部１０５は自己の通信に起因してパケットロスが発生していると判定する。この場合、動画品質制御部１０５が本発明の第１の実施の形態で示した品質制御を行うことで動画送信装置１０１は最良の動画品質の動画データを送信することができる。動画品質制御部１０５は上述の第１の実施の形態におけるステップＳ２０６およびステップＳ２０７の動作を行う（ステップＳ８０７−１およびステップＳ８０７−２）。そして動画品質制御部１０５は、前述の動作により制御後の送信ビットレート、ＦＥＣの冗長度および動画のエンコードビットレートを特定する（以上、ステップＳ８０７）。なお、この状態は、送信ビットレートおよびパケットロス率が図８に示すような場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
送信ビットレートとパケットロス率との間に正の相関関係がない場合（ステップＳ８０６の“Ｎｏ”）、動画品質制御部１０５は時刻とパケットロス率との間に相関関係があるか否かを判定する（ステップＳ８０８）。時刻とパケットロス率との間に相関関係がある場合（ステップＳ８０８の“Ｙｅｓ”）、動画品質制御部１０５は他の通信がパケットロスに影響を与えていると判断する。そして、動画品質制御部１０５は時刻とパケットロス率との相関式を作成し、所定の時間の経過後のパケットロス率を推定する（ステップＳ８０９−１）。そして動画品質制御部１０５はこのパケットロス率と第１の相関式とに基づいて、制御後の送信ビットレートを特定する（ステップＳ８０９−２）。また動画品質制御部１０５は推定したパケットロス率の場合であっても動画データを復元できるＦＥＣの冗長度を制御後のＦＥＣの冗長度と特定する（ステップＳ８０９−３）。さらに動画品質制御部１０５は制御後のＦＥＣの冗長度と送信ビットレートとに基づいて制御後の動画のエンコードビットレートを特定する（ステップＳ８０９−４）。以上、ステップＳ８０９−１乃至ステップＳ８０９−４をあわせてステップＳ８０９とする。なお、この状態は、送信ビットレートおよびパケットロス率が図９に示すような場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
時刻とパケットロス率との間に相関関係がない場合（ステップＳ８０８の“Ｎｏ”）、動画品質制御部１０５はパケットロスの発生状況を推定できないと判定する。この場合動画品質制御部１０５は制御を行わない。動画品質制御部１０５は、現在の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートをそれぞれ制御後の送信ビットレート、ＦＥＣの冗長度および動画のエンコードビットレートと特定する（ステップＳ８１０）。具体的には、動画品質制御部１０５は、現在のＦＥＣの冗長度を制御後のＦＥＣの冗長度と特定する（ステップＳ８１０−１）。動画品質制御部１０５は、現在の送信ビットレートを制御後の送信ビットレートと特定する（ステップＳ８１０−２）。動画品質制御部１０５は、現在の動画の送信ビットレートを動画のエンコードビットレートと特定する（ステップＳ８１０−３）。なお、この状態は、送信ビットレートおよびパケットロス率が図１０に示すような場合のときに該当する。そして、動画品質制御部１０５は動作を終了する（ステップＳ８１１）。
なお、上述のフローチャートでは送信ビットレートとパケットロス率との値に応じて動画品質制御部１０５が単一の方法で制御後の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートを特定していた。動画品質制御部１０５は送信ビットレートとパケットロス率との値に応じて複数の方法で制御後の送信ビットレート、ＦＥＣの冗長度および動画の送信ビットレートを特定してもよい。そして動画品質制御部１０５は前述の複数の方法によって求めたそれぞれの値についてそれぞれ重みをつけ、平均をとって所望の値を特定してもよい。
例えば動画品質制御部１０５は以下のようにして送信ビットレートを特定してもよい。上述のステップＳ８０５によって特定される送信ビットレートがＢ５、上述のステップＳ８０７によって特定される送信ビットレートがＢ７、上述のステップＳ８０９によって特定される送信ビットレートがＢ９とそれぞれ表されるとする。この場合、動画品質制御部１０５は以下の［数１］に基づいて送信ビットレートＢを特定してもよい。ただしα１、α２およびα３はそれぞれ所定の実数である。
第１の実施の形態の第１の変形例によれば、動画送信システム１はデータの送信ビットレートとパケットロス率との相関関係を特定する。そして、動画送信システム１は特定された送信ビットレートとパケットロス率との相関関係に基づき、パケットロスの発生状況を推定する。よって、動画送信システム１は、ネットワーク１１３、ネットワーク１１４の状態を示すパケットロス率とデータの送信ビットレートとの相関関係に基づいて冗長分の適切なパケット量を特定することができるという顕著な効果が得られる。
［第２の実施の形態］
図１１は本発明の第２の実施の形態における動画送信システム４の構成例を示すブロック図である。
動画送信システム４は動画送信サーバ４０１と動画受信端末４０２とを含む。動画送信サーバ４０１と動画受信端末４０２とは、インターネット４１３とインターネット４１４とを介して接続されている。ここでは第２の実施の形態の第１の実施の形態と異なる点のみを説明し、同様の構成については、同様の符号を付して説明を省略する。
動画送信サーバ４０１は、状態情報受信モジュール４０３と、状態情報履歴蓄積メモリ４０４と、動画品質制御モジュール４０５と、ＭＰＥＧ−２エンコーダ４０６と、ＦＥＣエンコーダ４０７と、ＵＤＰ送信モジュール４０８とを備える。
動画受信端末４０２は、ＵＤＰ受信モジュール４０９と、ＦＥＣデコーダ４１０と、ＭＰＥＧ−２デコーダ４１１と、状態情報送信モジュール４１２とを備える。
なお、ＦＥＣエンコーダ４０７とＦＥＣデコーダ４１０とは、ＦＥＣ方式としてＬＤＰＣ−ＦＥＣ（Ｌｏｗ Ｄｅｎｓｉｔｙ Ｐａｒｉｔｙ Ｃｈｅｃｋ Ｆｏｒｗａｒｄ Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ）方式を利用するものとする。
図１２は、本発明の第２の実施の形態における動画送信サーバ４０１の動作の概要を示すシーケンス図である。
動画送信サーバ４０１が動作を開始する（ステップＳ５０１）。状態情報受信モジュール４０３が、インターネット４１４を介して、インターネット４１３のネットワーク状態情報を取得する（ステップＳ５０２）。ここで、ネットワーク状態情報は、各パケットが動画送信サーバ４０１から送信された時刻を示すタイムスタンプ値、巡回カウンタ値、ＦＥＣ復号前パケットロス率を示す情報、ＦＥＣ復号後パケットロス率を示す情報が含まれるものとする。状態情報受信モジュール４０３は、受信したネットワーク状態情報に含まれるタイムスタンプ値に基づいて、そのタイムスタンプ値に対応する時刻における動画の送信ビットレート情報を状態情報履歴蓄積メモリ４０４から読み出す。そして状態情報受信モジュール４０３は、ネットワーク状態履歴情報を状態情報履歴蓄積メモリ４０４に記憶させる（ステップＳ５０３）。ネットワーク状態履歴情報は状態情報受信モジュール４０３が受信したネットワーク状態情報と読み出した送信ビットレート情報に含まれる送信ビットレートとを含む。送信ビットレート情報は、過去のステップＳ５０７で状態情報履歴蓄積メモリ４０４に記憶されているものである。
動画品質制御モジュール４０５が状態情報履歴蓄積メモリ４０４から、ネットワーク状態履歴情報を読み出す（ステップＳ５０４）。動画品質制御モジュール４０５は読み出したネットワーク状態履歴情報から、一定期間内での送信ビットレートとパケットロス率との相関を計算し、第１の相関式に表す（ステップＳ５０５）。ここで、状態情報履歴蓄積メモリ４０４にはほぼ１秒間隔のネットワーク状態履歴情報が記憶されているものとする。そして動画品質制御モジュール４０５は過去５回分の履歴を取り出すものとする。この回数や取得方法は例示にすぎず、間隔がもっと長くとられてもよい。あるいは、動画品質制御モジュール４０５は、短期間の間隔で取得した履歴の情報と長期間の間隔で取得した履歴の情報とをそれぞれ重み付けして組み合わせて利用するようにしてもよい。
ここで、パケットロス率をｘ、送信ビットレートをｙとすると、第１の相関式は、５回分の履歴データを元に最小二乗法により、例えば図１３に表される近似式と推定されうる。このグラフの線形は以下のことを表している。つまり図１３は、送信ビットレートがある程度大きくなると、利用可能な帯域幅が減少しパケットロス率が増大してしまうこと、を表している。
例えば図１３に表される近似式をｘの一次式で近似すると仮定すると、第１の相関式は近似式ｙ＝ａｘ＋ｂ（ａとｂは最小二乗法により計算される定数）と推定される。また、例えば図１３に表される近似式をｘの対数を用いて表現すると、第１の相関式は近似式ｙ＝ａ＊（ｌｏｇ ｘ）＋ｂ（ａとｂは最小二乗法により計算される定数）と推定される。また、例えば図１３に表される近似式をｘの逆数で近似すると仮定すると、第１の相関式は近似式ｙ＝ａ（１−ｂ／ｘ）＋ｃ（ａ、ｂ、およびｃは最小二乗法により計算される定数）と推定される。
動画品質制御モジュール４０５は、算出した第１の相関式によって求められる送信ビットレートに基づいて動画品質制御モジュール４０５が送信する動画のエンコードビットレートを求める（ステップＳ５０６）。動画品質制御モジュール４０５は、求められた送信ビットレートと、その送信ビットレートにおける動画データのヘッダサイズと、ＦＥＣデータのデータサイズとに基づいて動画のエンコードビットレートを求める。具体的には動画品質制御モジュール４０５は、送信ビットレートからヘッダのデータサイズに占めるビットレートとＦＥＣデータのデータサイズに占めるビットレートとを引くことによって、動画のエンコードビットレートを求める。動画の形式として利用されるＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）のトランスポート形式は、映像と音声を混合して送信するためにＭＰＥＧ−２ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）であるとする。この場合、ヘッダのデータ量は、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ヘッダ、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）ヘッダおよびＭＰＥＧ−２ＴＳヘッダのデータ量の合計値となる。またそのときのＦＥＣデータのデータ量は、対象とするパケットロス率に対する十分な冗長度を持つ周期のＦＥＣパケット本体と、そのＦＥＣヘッダのデータ量の合計値となる。
動画品質制御モジュール４０５は、求めた動画のエンコードビットレートと第１の相関式に基づいて、動画のエンコードビットレートとパケットロス率との相関関係を示す第２の相関式を推定する。第２の相関式は、最小二乗法により、例えば図１４に表される近似式と推定されうる。このグラフの線形は以下のことを表している。つまり図１４は、所定のパケットロス率（第２の相関式の傾きがゼロとなるパケットロス率）において送信ビットレートが極大値を取りうること、を表している。また、図１４に表されるグラフの線形は、パケットロス率がある所定の値以上になると冗長符号が動画データの高い比重を占めるのでエンコードビットレートが下がり始める、ということを意味している。
例えばこの第２の相関式が２次式ｙ＝ａｘ＊ｘ＋ｂｘ＋ｃ（ｘ＊ｘはｘの二乗）で近似される場合には、この２次式の頂点で示されるパケットロス率が、相関式の傾きがゼロとなるパケットロス率である。そのパケットロス率の時に、エンコードビットレートが最大化する。動画品質制御モジュール４０５はこのエンコードビットレートを元に動画送信サーバ４０１が送信する動画データを符号化するエンコードビットレートを決定する。動画品質制御モジュール４０５は第２の相関式により、この動画データのエンコードビットレート時の予想されるパケットロス率を求める。そして動画品質制御モジュール４０５はそのパケットロス率でも復元可能なＦＥＣの冗長度を特定する。動画品質制御モジュール４０５はそのＦＥＣ冗長度に基づいて求められる送信ビットレートを、その送信ビットレートで送信する時刻を示す情報と共に状態情報履歴蓄積メモリ４０４に記録する（ステップＳ５０７）。
ＭＰＥＧ−２エンコーダ４０６は、ステップＳ５０７にて決定されたエンコードビットレートで動画を符号化し、ＭＰＥＧ−２ＴＳパケットを生成する（ステップＳ５０８）。
ＦＥＣエンコーダ４０７は、ＭＰＥＧ−２エンコーダ４０６で生成されたＭＰＥＧ−２ＴＳパケットを元に、ステップＳ５０７にて決定されたＦＥＣ冗長度でＦＥＣパケットを生成する（ステップＳ５０９）。また、状態情報受信モジュール４０３が受信するネットワーク状態情報に、ＦＥＣを用いても復元できなかったデータ量を示す情報が含まれている場合がある。この場合、動画品質制御モジュール４０５はインターネット４１３において想定よりも連続したパケットロスが発生していると判断する。そして動画品質制御モジュール４０５はより連続したパケット欠落に強いアルゴリズムを選択するために、ＦＥＣの周期を長くとったり、ＦＥＣストリームの本数を増やしたりする。ＦＥＣの周期とは冗長符号を付加する元となるデータのパケット数（フレーム長）である。ＦＥＣストリームの本数とは、複数のＦＥＣの周期でそれぞれ冗長符号を付加する場合のその周期の数である。
例えば、現在、動画品質制御モジュール４０５が２つの周期でＦＥＣ符号化している場合に、動画品質制御モジュール４０５は３つの周期でＦＥＣ符号化してもよい。あるいは動画品質制御モジュール４０５は２つの周期をより長くとれる組み合わせに変更してもよい。
ＵＤＰ送信モジュール４０８は、ステップＳ５０８にて生成されたＭＰＥＧ−２ＴＳパケットと、ステップＳ５０９にて生成されたＦＥＣパケットとを、インターネット４１３を通じてＵＤＰパケットとして送出する（ステップＳ５１０）。
動画送信サーバ４０１が送信停止命令などの動画受信端末４０２のユーザからのリクエストを受信していない場合に、動画送信サーバ４０１はステップＳ５０２から再び同じステップを繰り返す（ステップＳ５１１）。あるいは、動画送信サーバ４０１が送信する動画が最後まで達していない場合に、動画送信サーバ４０１はステップＳ５０２から再び同じステップを繰り返す（ステップＳ５１１）。その他の場合に動画送信サーバ４０１は終了する（ステップＳ５１２）。例えば動画送信サーバ４０１が特定の再生位置までジャンプするようリクエストを受信した場合に、動画送信サーバ４０１は、終了（ステップＳ５１２）せずに、送信する動画データの位置の変更を行い、そこから動画データの送信を続けてもよい。そして動画送信サーバ４０１はその後ステップＳ５１１以降の動作を行ってもよい。
図１５は、本発明の第２の実施の形態における動画受信端末４０２の動作の概要を示すシーケンス図である。
動画受信端末４０２が動作を開始する（ステップＳ６０１）と、ＵＤＰ受信モジュール４０９は、インターネット４１３を介して、ＭＰＥＧ−２ＴＳパケットとＦＥＣパケットとを受信する。このとき、ＵＤＰ受信モジュール４０９は受信パケットのタイムスタンプ値と巡回カウンタ値と動画受信端末４０２の受信時に欠落したパケット数を状態情報送信モジュール４１２に通知する（ステップＳ６０２）。
ＦＥＣデコーダ４１０は、ステップＳ６０２にてＵＤＰ受信モジュール４０９が受信したＭＰＥＧ−２ＴＳパケットとＦＥＣパケットとに基づいて、もし欠落パケットがあれば、欠落パケットを復元して、欠落前のＭＰＥＧ−２ＴＳパケットを生成する（ステップＳ６０３）。またＦＥＣデコーダ４１０はＦＥＣを用いても復元できなかったパケット数を状態情報送信モジュール４１２に通知する。
ＭＰＥＧ−２デコーダ４１１は、ステップＳ６０３にて復元されたＭＰＥＧ−２ＴＳパケットをデコードし、映像および音声を再生する（ステップＳ６０４）。
状態情報送信モジュール４１２は、タイマーにより約一秒毎に、インターネット４１４を介してネットワーク状態情報を外部に送信する（ステップＳ６０５）。ネットワーク状態情報はタイマーなどにより計測される期間中の最後の受信データのパケットのタイムスタンプ値、巡回カウンタ値およびその期間中の欠落パケット数を含む。
受信している動画がまだ続くのであれば、動画受信端末４０２はステップＳ６０２から再び同じステップを繰り返す（ステップＳ６０６）。受信している動画が続かないのであれば動画受信端末４０２は動作を終了する（ステップＳ６０７）。
なお上記一実施の形態においてインターネットとしたネットワークは、携帯電話網（３Ｇ、３．５Ｇ、３．９Ｇ、４Ｇ等）でもよいし、イントラネットでもよい。また、通信されるパケットは、ＭＰＥＧ−２ＴＳパケットの代わりにＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケットでもよいしその他のトランスポートが適用されたパケットでもよい。映像、音声形式は、特に制限はなく、映像であれば、ＭＰＥＧ−２の他、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等でもよいし、標準化されていないオリジナルの符号化方法による映像、音声形式であってもよい。音声形式は、特に制限はなく、音声であれば、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）でも、Ｇ．７１１、Ｇ．７２２でもよい。また、端末は携帯電話でも、ＳＴＢ（Ｓｅｔ Ｔｏｐ Ｂｏｘ）でも、ＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）でも、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）でもよい。
第２の実施の形態によれば、動画送信システム４はデータの送信ビットレートとパケットロス率との相関関係に基づいて、動画のエンコードビットレートが最大となるパケットロス率を特定する。そして動画送信システム４は特定したパケットロス率に基づいて冗長符号の冗長度を特定する。よって、動画送信システム４は、インターネット４１３、インターネット４１４の状態を示すパケットロス率とデータの送信ビットレートの相関関係に基づいて冗長分の適切なパケット量を特定することができるという顕著な効果が得られる。
［変形例の説明］
以下は、第２の実施の形態の変形例の説明である。
図１６は、本発明の第２の実施の形態の変形例における動画送信システム７の構成例を示すブロック図である。
基本的な構成は図１１に示される動画送信システム４と同じである。図１６に示される動画送信システム７に含まれるテレビ会議端末７０１およびテレビ会議端末７０２は、図１６に示される動画送信サーバ４０１および動画受信端末４０２の機能を併せ持つ。
この動画送信システム７における動作は、送信および受信の機能をそれぞれの装置が備えることを除いて第２の実施の形態の動作と同様である。
［第３の実施の形態］
図１７は本発明の第３の実施の形態における品質制御装置９０１の構成例を示すブロック図である。
品質制御装置９０１は、状態情報受信部９０３と、状態情報履歴蓄積装置９０４と、動画品質制御部９０５とを含む。
品質制御装置９０１は、ネットワーク９１４を介して外部と接続されている。
状態情報受信部９０３は、所定の送信ビットレートで動画データを送信する送信部より送信された動画データのパケットを示す情報とパケットロス率を示す情報とを含むネットワーク状態情報を、ネットワーク９１４から受信する。
状態情報履歴蓄積装置９０４は、送信部から送信された動画データの送信ビットレートを含むビットレート情報を、状態情報受信部９０３が受信したネットワーク状態情報と対応付けて記憶する。
動画品質制御部９０５は、第１に、送信部より送信したパケットに対応するパケットロス率を示す情報とビットレート情報とを状態情報履歴蓄積装置９０４から読み出す。第２に、動画品質制御部９０５は、読み出したそれらの情報に基づいて、動画データのエンコードビットレートとパケットロス率との相関を推定する。第３に、動画品質制御部９０５は、推定した相関に基づき動画データのエンコードビットレートが最大となるパケットロス率を特定する。第４に、動画品質制御部９０５は、特定したパケットロス率に基づいて、動画データに対する冗長度を特定する。
図１７に示される品質制御装置９０１は本発明の第１の実施の形態に示された動画送信装置１０１と同様の動作を行う。品質制御装置９０１はデータの送信ビットレートとパケットロス率との相関関係に基づいて、動画のエンコードビットレートが最大となるパケットロス率を特定する。そして品質制御装置９０１は特定したパケットロス率に基づいて冗長符号の冗長度を特定する。したがって、本発明の第３の実施の形態の品質制御装置９０１は第１の実施の形態の動画送信装置１０１と同様の効果を奏することができる。
以上、実施の形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施の形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しえる様々な変更をすることができる。
この出願は、２００９年１１月２４日に出願された日本出願特願２００９−２６６０１８を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
本発明の動画送信装置は、不安定なネットワークを介した動画利用アプリケーションに適用されうる。動画利用アプリケーションは例えばテレビ電話、テレビ会議、放送、ＶｏＤ（Ｖｉｄｅｏ ｏｎ Ｄｅｍａｎｄ）、ｎＰＶＲ（ｎｅｔｗｏｒｋ Ｐｅｒｓｏｎａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）等である。
１ 動画送信システム
４ 動画送信システム
７ 動画送信システム
１０１ 動画送信装置
１０２ 動画受信装置
１０３ 状態情報受信部
１０４ 状態情報履歴蓄積装置
１０５ 動画品質制御部
１０６ 動画エンコード部
１０７ ＦＥＣエンコード部
１０８ データ送信部
１０９ データ受信部
１１０ ＦＥＣデコード部
１１１ 動画デコード部
１１２ 状態情報送信部
１１３ ネットワーク
１１４ ネットワーク
４０１ 動画送信サーバ
４０２ 動画受信端末
４０３ 状態情報受信モジュール
４０４ 状態情報履歴蓄積メモリ
４０５ 動画品質制御モジュール
４０６ ＭＰＥＧ−２エンコーダ
４０７ ＦＥＣエンコーダ
４０８ ＵＤＰ送信モジュール
４０９ ＵＤＰ受信モジュール
４１０ ＦＥＣデコーダ
４１１ ＭＰＥＧ−２デコーダ
４１２ 状態情報送信モジュール
４１３ インターネット
４１４ インターネット
７０１ テレビ会議端末
７０２ テレビ会議端末
９０１ 品質制御装置
９０３ 状態情報受信部
９０４ 状態情報履歴蓄積装置
９０５ 動画品質制御部
９１４ ネットワーク
４ 動画送信システム
７ 動画送信システム
１０１ 動画送信装置
１０２ 動画受信装置
１０３ 状態情報受信部
１０４ 状態情報履歴蓄積装置
１０５ 動画品質制御部
１０６ 動画エンコード部
１０７ ＦＥＣエンコード部
１０８ データ送信部
１０９ データ受信部
１１０ ＦＥＣデコード部
１１１ 動画デコード部
１１２ 状態情報送信部
１１３ ネットワーク
１１４ ネットワーク
４０１ 動画送信サーバ
４０２ 動画受信端末
４０３ 状態情報受信モジュール
４０４ 状態情報履歴蓄積メモリ
４０５ 動画品質制御モジュール
４０６ ＭＰＥＧ−２エンコーダ
４０７ ＦＥＣエンコーダ
４０８ ＵＤＰ送信モジュール
４０９ ＵＤＰ受信モジュール
４１０ ＦＥＣデコーダ
４１１ ＭＰＥＧ−２デコーダ
４１２ 状態情報送信モジュール
４１３ インターネット
４１４ インターネット
７０１ テレビ会議端末
７０２ テレビ会議端末
９０１ 品質制御装置
９０３ 状態情報受信部
９０４ 状態情報履歴蓄積装置
９０５ 動画品質制御部
９１４ ネットワーク
Claims (13)
- ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信する状態情報受信部と、
ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶する状態情報履歴蓄積装置と、
動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記状態情報履歴蓄積装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する動画品質制御部と、
を備える品質制御装置。 - 請求項１に記載の品質制御装置であって、
前記動画品質制御部は、前記状態情報履歴蓄積装置から読み出したパケットロス率を示す情報と送信ビットレートとに基づいて、送信ビットレートとパケットロス率との相関を表す第１の相関式を推定し、当該第１の相関式、および、当該第１の相関式上の各パケットロス率を示す情報に対応する送信ビットレートと当該送信ビットレートを含んでいたビットレート情報に含まれる時刻情報で示される時刻における前記動画データのパケットに基づいて特定される冗長符号の送信ビットレートとの差分に基づいて、動画データのエンコードビットレートとパケットロス率との相関を表す第２の相関式を推定し、当該第２の相関式に基づいて動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて、前記動画データに対するデータの冗長度を特定する、品質制御装置。 - 請求項１または２に記載の品質制御装置であって、
前記動画品質制御部は、前記品質制御装置が利用するネットワーク帯域の幅に基づいて、前記特定した冗長度を調節する、品質制御装置。 - 請求項１乃至３のいずれか１項に記載の品質制御装置であって、
前記動画品質制御部は、前記動画データの各パケットに含まれる時刻情報を含むビットレート情報に含まれる送信ビットレートと、前記最大となるエンコードビットレートおよび前記特定したデータの冗長度に基づいて特定される送信ビットレートと、の差分に基づいて前記特定した冗長度を調節する、品質制御装置。 - 請求項１乃至４のいずれか１項に記載の品質制御装置であって、
前記動画品質制御部は、前記動画データの各パケットに含まれる時刻情報を含むビットレート情報に含まれる送信ビットレートと、前記最大となるエンコードビットレートおよび前記特定したデータの冗長度に基づいて特定される送信ビットレートと、の間にある一の送信ビットレートを特定し、特定した送信ビットレートと前記最大となるエンコードビットレートとに基づいて新たな冗長度を特定する、品質制御装置。 - 請求項５に記載の品質制御装置であって、
前記動画品質制御部は、所定の期間経過後に、前記最大となるエンコードビットレートに対応するパケットロス率に基づいて特定された冗長度に、前記新たな冗長度を調節する、品質制御装置。 - 請求項１乃至６のいずれか１項に記載の品質制御装置であって、
前記動画品質制御部は、前記ネットワーク状態情報に含まれるパケットロス率の分散と前記ビットレート情報に含まれる送信ビットレートの分散と前記パケットロス率の最大値との少なくとも一つが所定の閾値以下であるか否かに基づいて、前記動画データに対する前記冗長度を調節するか否かを判定する、品質制御装置。 - 請求項１乃至７のいずれか１項に記載の品質制御装置であって、
前記動画品質制御部は、前記ネットワーク状態情報に含まれるパケットロス率と時刻情報との間に相関関係があるか否かに基づいて、前記動画データに対する前記冗長度を調節するか否かを判定する、品質制御装置。 - 請求項１乃至８のいずれか１項に記載の品質制御装置であって、
前記動画品質制御部が特定したまたは調節した冗長度に基づいて冗長符号を前記動画データに付加する冗長符号エンコード部を備え、
前記ネットワーク状態情報は、冗長符号による前記動画データの復号によっても復号できなかったデータの前記動画データに占める割合である復号後パケットロス率を示す情報を含み、
前記冗長符号エンコード部は、前記復号後パケットロス率を示す情報に基づき、冗長符号を生成するためのアルゴリズムを変更する、品質制御装置。 - 請求項９に記載の品質制御装置であって、
前記動画品質制御部が特定した前記パケットロス率に基づいて動画データをエンコードする動画エンコード部と、
前記冗長符号エンコード部が前記冗長符号を付加した動画データを送信するデータ送信部と、
を備え、
前記動画品質制御部は、前記動画データの最大のエンコードビットレートに基づいて特定される送信ビットレートと、その送信ビットレートにて当該動画データを送信する時刻の範囲を示す情報とを含むビットレート情報を前記状態情報履歴蓄積装置に記憶させる、品質制御装置。
- 動画送信システムであって、
動画送信装置と動画受信装置とを備え、
前記動画送信装置は、
所定の送信ビットレートで動画データを送信する送信部と、
ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信する状態情報受信部と、
ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶する状態情報履歴蓄積装置と、
動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記状態情報履歴蓄積装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する動画品質制御部と、
を備え、
前記動画受信装置は、
前記動画送信装置から動画データを受信するデータ受信部と、
前記動画データのパケットロス率と前記動画データに含まれる各パケットが前記動画送信装置から送信された時刻を示す時刻情報とを前記動画送信装置に送信する状態情報送信部と、
を備える動画送信システム。 - ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信し、
ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶装置に記憶し、
動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記記憶装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する、品質制御方法。 - コンピュータに、
ある時刻における動画データのパケットロス率と当該時刻を示す時刻情報とを含むネットワーク状態情報を受信する処理と、
ある時刻における当該動画データの送信ビットレートと当該時刻を示す時刻情報を含むビットレート情報を、当該時刻情報を含むネットワーク状態情報と対応付けて記憶装置に記憶する処理と、
動画データの各パケットに含まれる時刻情報に対応付けられている前記パケットロス率を示す情報と前記送信ビットレートとを前記記憶装置から読み出し、読み出した各情報に基づいて前記動画データのエンコードビットレートとパケットロス率との相関を推定し、その相関に基づき前記動画データのエンコードビットレートが最大となるパケットロス率を特定し、特定したパケットロス率に基づいて前記動画データに対するデータの冗長度を特定する処理と、
を実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011543225A JP5724879B2 (ja) | 2009-11-24 | 2010-11-15 | 品質制御装置、動画送信システム、品質制御方法および記録媒体 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009266018 | 2009-11-24 | ||
| JP2009266018 | 2009-11-24 | ||
| PCT/JP2010/070642 WO2011065294A1 (ja) | 2009-11-24 | 2010-11-15 | 品質制御装置、動画送信システム、品質制御方法および記録媒体 |
| JP2011543225A JP5724879B2 (ja) | 2009-11-24 | 2010-11-15 | 品質制御装置、動画送信システム、品質制御方法および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2011065294A1 JPWO2011065294A1 (ja) | 2013-04-11 |
| JP5724879B2 true JP5724879B2 (ja) | 2015-05-27 |
Family
ID=44066398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011543225A Active JP5724879B2 (ja) | 2009-11-24 | 2010-11-15 | 品質制御装置、動画送信システム、品質制御方法および記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8923151B2 (ja) |
| JP (1) | JP5724879B2 (ja) |
| WO (1) | WO2011065294A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8903911B2 (en) | 2011-12-05 | 2014-12-02 | International Business Machines Corporation | Using text summaries of images to conduct bandwidth sensitive status updates |
| US10051025B2 (en) * | 2012-12-31 | 2018-08-14 | DISH Technologies L.L.C. | Method and apparatus for estimating packet loss |
| GB2521441B (en) * | 2013-12-20 | 2016-04-20 | Imagination Tech Ltd | Packet loss mitigation |
| US9913167B2 (en) | 2015-02-02 | 2018-03-06 | Accelerated Media Technologies, Inc. | Systems and methods for assigning bit rate |
| JP6564694B2 (ja) * | 2015-11-25 | 2019-08-21 | 株式会社エヌ・ティ・ティ・データ | コンテンツ配信装置、コンテンツ配信システム、コンテンツ配信方法、およびプログラム |
| JP7056565B2 (ja) * | 2016-08-30 | 2022-04-19 | 日本電気株式会社 | 送信端末、送信方法および送信プログラム |
| US10397286B2 (en) | 2017-05-05 | 2019-08-27 | At&T Intellectual Property I, L.P. | Estimating network data streaming rate |
| US10382517B2 (en) | 2017-06-09 | 2019-08-13 | At&T Intellectual Property I, L.P. | Estimating network data encoding rate |
| JP7097138B2 (ja) * | 2018-02-26 | 2022-07-07 | 株式会社モバイルテクノ | 通信制御装置、通信制御プログラム及び通信制御方法 |
| CN113515584B (zh) * | 2021-07-13 | 2023-11-24 | 禾多阡陌科技(北京)有限公司 | 局部地图数据分发方法、装置、电子设备和介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004072720A (ja) * | 2002-06-14 | 2004-03-04 | Matsushita Electric Ind Co Ltd | メディア伝送方法並びにその送信装置及び受信装置 |
| JP2006054562A (ja) * | 2004-08-10 | 2006-02-23 | Sumitomo Electric Ind Ltd | パケット伝送システム |
| JP2007134836A (ja) * | 2005-11-09 | 2007-05-31 | Sony Corp | パケット送信装置、通信システム及びプログラム |
| JP2009124354A (ja) * | 2007-11-13 | 2009-06-04 | Fujitsu Ltd | 符号化装置 |
| JP2009159368A (ja) * | 2007-12-27 | 2009-07-16 | Mitsubishi Electric Corp | データ伝送装置及び伝送可能帯域推測方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3841256B2 (ja) * | 2000-02-15 | 2006-11-01 | 三菱電機株式会社 | 通信システム及び通信方法及び送信端末 |
| JP3757857B2 (ja) * | 2001-12-12 | 2006-03-22 | ソニー株式会社 | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
| JP2003179663A (ja) | 2001-12-12 | 2003-06-27 | Matsushita Electric Ind Co Ltd | Ａｖ配信システム |
| KR20030095995A (ko) | 2002-06-14 | 2003-12-24 | 마츠시타 덴끼 산교 가부시키가이샤 | 미디어 전송방법 및 그 송신장치 및 수신장치 |
| JP4061643B2 (ja) * | 2002-12-11 | 2008-03-19 | ソニー株式会社 | 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム |
| JP4349114B2 (ja) | 2003-12-10 | 2009-10-21 | ソニー株式会社 | 送信装置および方法、受信装置および方法、記録媒体、並びにプログラム |
| JP2006262288A (ja) | 2005-03-18 | 2006-09-28 | Nec Corp | 映像データの配信サーバおよび映像データ配信方法 |
| EP2018069B1 (en) * | 2006-05-09 | 2016-08-10 | Nippon Telegraph And Telephone Corporation | Video quality estimating device, method, and program |
| JP4840334B2 (ja) * | 2007-11-14 | 2011-12-21 | ブラザー工業株式会社 | 端末装置、通信システム、プログラム及び方法 |
| JP4883076B2 (ja) * | 2008-12-12 | 2012-02-22 | ソニー株式会社 | 情報処理装置および方法 |
-
2010
- 2010-11-15 US US13/509,754 patent/US8923151B2/en active Active
- 2010-11-15 JP JP2011543225A patent/JP5724879B2/ja active Active
- 2010-11-15 WO PCT/JP2010/070642 patent/WO2011065294A1/ja active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004072720A (ja) * | 2002-06-14 | 2004-03-04 | Matsushita Electric Ind Co Ltd | メディア伝送方法並びにその送信装置及び受信装置 |
| JP2006054562A (ja) * | 2004-08-10 | 2006-02-23 | Sumitomo Electric Ind Ltd | パケット伝送システム |
| JP2007134836A (ja) * | 2005-11-09 | 2007-05-31 | Sony Corp | パケット送信装置、通信システム及びプログラム |
| JP2009124354A (ja) * | 2007-11-13 | 2009-06-04 | Fujitsu Ltd | 符号化装置 |
| JP2009159368A (ja) * | 2007-12-27 | 2009-07-16 | Mitsubishi Electric Corp | データ伝送装置及び伝送可能帯域推測方法 |
Non-Patent Citations (3)
| Title |
|---|
| CSNG200800525013; 小田 周平 他: '利用可能な回線速度に追従する映像伝送装置の開発' 電子情報通信学会技術研究報告 Ｖｏｌ．１０８ Ｎｏ．３１, 200805, ｐ．８５-９０, 社団法人電子情報通信学会 * |
| CSNG201000475027; 落合 勝博 他: '動的レート制御による高品質リアルタイム動画通信方式' 電子情報通信学会技術研究報告 Ｖｏｌ．１０９ Ｎｏ．４６６, 201003, ｐ．１４１-１４６, 社団法人電子情報通信学会 * |
| JPN6014035280; 小田 周平 他: '利用可能な回線速度に追従する映像伝送装置の開発' 電子情報通信学会技術研究報告 Ｖｏｌ．１０８ Ｎｏ．３１, 200805, ｐ．８５-９０, 社団法人電子情報通信学会 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130003571A1 (en) | 2013-01-03 |
| JPWO2011065294A1 (ja) | 2013-04-11 |
| WO2011065294A1 (ja) | 2011-06-03 |
| US8923151B2 (en) | 2014-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5724879B2 (ja) | 品質制御装置、動画送信システム、品質制御方法および記録媒体 | |
| US8711929B2 (en) | Network-based dynamic encoding | |
| JP4690280B2 (ja) | メディアデータをストリーミングする方法、システム及びクライアント装置 | |
| CN103828324B (zh) | 用于自适应比特率管理的方法、设备和系统 | |
| US7668170B2 (en) | Adaptive packet transmission with explicit deadline adjustment | |
| JP4980567B2 (ja) | 動的なネットワーク損失状態に対する簡単な適応を備えたマルチメディアサーバ | |
| KR101125846B1 (ko) | 패킷 기반의 영상 프레임 전송 방법 및 장치 | |
| US7706384B2 (en) | Packet scheduling with quality-aware frame dropping for video streaming | |
| US8929443B2 (en) | Recovering from dropped frames in real-time transmission of video over IP networks | |
| EP3016395B1 (en) | Video encoding device and video encoding method | |
| US10944973B2 (en) | Estimation of video quality of experience on media servers | |
| JP5094546B2 (ja) | 通信装置、及び通信方法、プログラム | |
| JP5427238B2 (ja) | ビデオストリームの品質値を判定する方法及びシステム | |
| JP5084362B2 (ja) | データ送信装置、及びデータ送受信システム | |
| KR20060096044A (ko) | 미디어 신호의 송신 방법 및 수신 방법과 송수신 방법 및장치 | |
| KR20010033572A (ko) | 네트워크로의 데이터 출력 속도 제어 시스템 | |
| JP4604851B2 (ja) | 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム | |
| JP2005322995A (ja) | リアルタイム映像転送におけるバッファ制御方法、送信端末、受信端末、映像配信システム、およびプログラム | |
| JP2005033556A (ja) | データ送信装置、データ送信方法、データ受信装置、データ受信方法 | |
| JP2006339775A (ja) | スケーラブル動画像伝送システム | |
| JP5031230B2 (ja) | データ送信装置及び方法 | |
| JP2011172153A (ja) | メディア符号化伝送装置 | |
| JP4909590B2 (ja) | メディア信号の受信装置、送信装置及び送受信システム | |
| Weng et al. | Sliding‐window forward error correction using Reed‐Solomon code and unequal error protection for real‐time streaming video | |
| JP6565324B2 (ja) | 通信端末、データ送受信システム、通信方法、および通信用プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140919 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5724879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |