JP4327674B2 - Video quality control method and video quality control system - Google Patents
Video quality control method and video quality control system Download PDFInfo
- Publication number
- JP4327674B2 JP4327674B2 JP2004213138A JP2004213138A JP4327674B2 JP 4327674 B2 JP4327674 B2 JP 4327674B2 JP 2004213138 A JP2004213138 A JP 2004213138A JP 2004213138 A JP2004213138 A JP 2004213138A JP 4327674 B2 JP4327674 B2 JP 4327674B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- packet
- frame
- video quality
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003908 quality control method Methods 0.000 title claims 3
- 238000007726 management method Methods 0.000 claims description 64
- 230000006835 compression Effects 0.000 claims description 61
- 238000007906 compression Methods 0.000 claims description 61
- 230000015556 catabolic process Effects 0.000 claims description 49
- 238000006731 degradation reaction Methods 0.000 claims description 49
- 238000003326 Quality management system Methods 0.000 claims description 39
- 230000006866 deterioration Effects 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
この発明は、通信ネットワークを介する映像サービスの品質管理技術に関し、特に高能率圧縮符号化した映像信号をパケット列に変換しネットワークを介してユーザ端末へ送る際の映像品質管理方法および映像品質管理システムに関するものである。 The present invention relates to a quality management technique for video services via a communication network, and in particular, a video quality management method and a video quality management system for converting a video signal subjected to high-efficiency compression coding into a packet sequence and sending it to a user terminal via the network. It is about.
近年、インターネット網など通信ネットワークが広帯域化する中、映像配信サービスやテレビ会議などの映像系のサービス(映像アプリケーション)が普及しつつある。これらの映像系のサービスでは、映像信号を高能率圧縮符号化し、パケット列に変換して、ユーザ端末へ送るようにしている。 In recent years, video communication services (video applications) such as video distribution services and video conferencing are becoming widespread while communication networks such as the Internet have become broadband. In these video services, the video signal is compression-encoded with high efficiency, converted into a packet sequence, and sent to the user terminal.
例えば、フレーム間予測を用いずフレーム内で符号化処理を行うI(Intra Picture )フレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うP(Predictive Picture)フレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行う(Bidirectionally Predictive Picture)Bフレームという3種類のフレームにより映像信号を高能率圧縮符号化し、この高能率圧縮符号化した映像信号をパケット列に変換し、ネットワークを介してユーザ端末へ送るようにしている。 For example, an I (Intra Picture) frame that performs encoding processing within a frame without using inter-frame prediction, a P (Predictive Picture) frame that performs encoding processing by predicting the present from the past using motion compensation prediction, and bi-directional prediction Use forward and backward prediction and encode processing (Bidirectionally Predictive Picture) Video signal is highly efficient compression encoded by three types of frames called B frames, and this highly efficient compression encoded video signal is converted into a packet sequence The data is sent to the user terminal via the network.
この場合、例えば、ネットワークでパケット損失が生じると、ユーザ端末での復号に際し前後のフレーム情報を使うことから、1パケットの損失による映像品質の劣化が1映像フレームにとどまらず、複数の映像フレームに及ぶことがある。このような場合、次の映像フレームではパケット損失が生じていないにも拘わらず、復号された映像では品質劣化が生じており、ネットワーク上のパケット損失の発生状況(ネットワーク品質)と映像アプリケーションでの品質劣化の発生状況(アプリケーション品質)とは必ずしも一致しない。 In this case, for example, when packet loss occurs in the network, the frame information before and after is used for decoding at the user terminal. Therefore, the deterioration of the video quality due to the loss of one packet is not limited to one video frame, but a plurality of video frames. There may be. In such a case, although there is no packet loss in the next video frame, quality degradation occurs in the decoded video, and the occurrence of packet loss (network quality) on the network and the video application It does not necessarily match the occurrence of quality degradation (application quality).
そこで、特許文献1では、品質推定の精度向上を図るべく、動画符号の特定の一部の復号において、他の部分の復号値を参照する場合、この特定の一部の動画符号の復号値へ、他の部分の復号値の任意の異常が波及することを検出するようにし、映像フレーム毎に品質劣化の面積を算出するようにしている。 Therefore, in Patent Document 1, in order to improve the accuracy of quality estimation, in the decoding of a specific part of the moving picture code, when the decoded value of the other part is referred to, the decoding value of the specific part of the moving picture code is referred to. Then, it is detected that an arbitrary abnormality of the decoded value of the other part is spread, and the area of quality degradation is calculated for each video frame.
しかしながら、上述した特許文献1に示された技術では、復号器において、パケットの動画符号の状況を細かく追う必要があり、構成が複雑となる。 However, in the technique disclosed in Patent Document 1 described above, it is necessary to closely follow the status of the moving image code of the packet in the decoder, and the configuration becomes complicated.
本発明は、このような課題を解決するためになされたもので、その目的とするところは、簡単な構成で、品質推定の精度向上を図ることができる映像品質管理方法および映像品質管理システムを提供することにある。 The present invention has been made to solve such problems, and an object of the present invention is to provide a video quality management method and a video quality management system capable of improving the accuracy of quality estimation with a simple configuration. It is to provide.
このような目的を達成するために本発明は、映像信号を高能率圧縮符号化する第1ステップと、高能率圧縮符号化された映像信号をパケット列に変換する第2ステップと、パケット列に変換された映像信号をネットワークを介してユーザ端末に送る第3ステップと、ネットワークおよびユーザ端末における損失パケットを検出する第4ステップと、損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいてユーザ端末において復号される映像の品質を推定する第5ステップとを設けたものである。 In order to achieve such an object, the present invention provides a first step of high-efficiency compression encoding of a video signal, a second step of converting a high-efficiency compression-encoded video signal into a packet sequence, and a packet sequence. A third step of sending the converted video signal to the user terminal via the network, a fourth step of detecting a lost packet in the network and the user terminal, information for identifying the lost packet, and high efficiency compression coding to which the lost packet belongs And a fifth step of estimating the quality of the video decoded at the user terminal based on the time frame type and the frame generation rule.
この発明では、ネットワークやユーザ端末における損失パケットを特定する情報(例えば、損失パケットの生成番号)、損失パケットが属する高能率圧縮符号化時のフレーム種別(例えば、Iフレーム,Pフレーム,Bフレーム)およびフレーム発生規則(例えば、GOP(Group of pictures )のパラメータ:Iピクチャの繰り返し周期N、およびPまたはIの繰り返し周期M)に基づいて、ユーザ端末において復号される映像の品質(ユーザの体感品質に対応した品質(主観品質))が推定される。 In the present invention, information for identifying a lost packet in a network or user terminal (for example, generation number of lost packet), frame type (for example, I frame, P frame, B frame) at the time of high efficiency compression encoding to which the lost packet belongs And frame generation rules (for example, GOP (Group of pictures) parameters: I picture repetition period N and P or I repetition period M), the quality of the video decoded at the user terminal (user's quality of experience) (Quality (subjective quality)) corresponding to is estimated.
例えば、損失パケットを特定する情報から1映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定する。この場合、1映像フレーム内の品質劣化の度合いは、損失パケットを特定する情報から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から推定することが可能である。また、1映像フレームを構成する全映像パケット数に対する損失パケットの割合として求めることも可能である。また、映像品質劣化の継続時間長は、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から推定することが可能である。 For example, the degree or rate of quality degradation in one video frame is estimated from information identifying a lost packet, and the video quality degradation is continued from the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs. The time length is estimated, and the subjective quality of the video decoded at the user terminal is estimated based on the estimated degree of video quality degradation and the duration of the video quality degradation. In this case, the degree of quality degradation in one video frame is estimated from the information amount of the lost packet and the average information amount of one video frame by obtaining the number of lost packets in one video frame from the information specifying the lost packet. It is possible. It can also be obtained as a ratio of lost packets to the total number of video packets constituting one video frame. The duration of video quality degradation is estimated from the calculated number of video frames by calculating the number of video frames for which video quality degradation continues from the frame type and frame generation rules during high-efficiency compression encoding to which the lost packets belong. Is possible.
この発明において、損失パケットを特定する情報は、例えば損失パケットの生成番号である。この損失パケットの生成番号は、ネットワーク内で廃棄されたパケットの場合、そのパケットの生成番号としてネットワーク内で知ることができる。また、ネットワーク内で消失したパケットの場合、そのパケットの前後のパケットの生成番号から知ることができる。また、ユーザ端末内で廃棄されるパケットの場合、そのパケットの生成番号としてユーザ端末内で知ることができる。また、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則は、例えば次のような方式で知ることが可能である。 In the present invention, the information specifying the lost packet is, for example, the generation number of the lost packet. In the case of a packet discarded in the network, the generation number of the lost packet can be known in the network as the generation number of the packet. In the case of a packet lost in the network, it can be known from the generation numbers of the packets before and after the packet. Further, in the case of a packet discarded in the user terminal, the packet generation number can be known in the user terminal. Further, the frame type and the frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs can be known, for example, by the following method.
(1)方式1
ユーザ端末へ送るパケット(映像パケット)毎にそのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))埋め込む。この方式1では、ユーザ端末において、損失パケットに埋め込まれたフレーム種別およびフレーム発生規則から直接、あるいは損失パケットの前後の映像パケットに埋め込まれたフレーム種別およびフレーム発生規則から間接的に、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
(1) Method 1
For each packet (video packet) sent to the user terminal, the frame type (I, P, B) and the frame generation rule (GOP parameters (M, N)) at the time of high-efficiency compression encoding to which the packet belongs are embedded. In this method 1, at the user terminal, the lost packet is directly received from the frame type and the frame generation rule embedded in the lost packet or indirectly from the frame type and the frame generation rule embedded in the video packet before and after the lost packet. It is possible to know the frame type and the frame generation rule at the time of the high-efficiency compression encoding to which it belongs.
(2)方式2
ユーザ端末へ送るパケット(映像パケット)毎にそのパケットを特定する情報(パケットの生成番号)、そのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したテーブルを制御パケットに埋め込み、ネットワークを介してユーザ端末に送る。この方式2では、ユーザ端末において、ネットワークを介して送られてくる制御パケットに埋め込まれたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
(2)
Information for identifying each packet (video packet) to be sent to the user terminal (packet generation number), frame type (I, P, B) at the time of high-efficiency compression encoding to which the packet belongs, and frame generation rule (GOP) The table describing the parameters (M, N)) is embedded in the control packet and sent to the user terminal via the network. In
(3)方式3
ユーザ端末へ送るパケット(映像パケット)毎にそのパケットを特定する情報(パケットの生成番号)、そのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したテーブルを映像パケットの送信元の端末に記憶させる。損失パケットを特定する情報を埋め込んだ制御パケットをユーザ端末からネットワークを介して送信元の端末に送る。この方式3では、映像パケットの送信元の端末において、その送信元の端末に記憶されたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
(3)
Information for identifying each packet (video packet) to be sent to the user terminal (packet generation number), frame type (I, P, B) at the time of high-efficiency compression encoding to which the packet belongs, and frame generation rule (GOP) The table describing the parameters (M, N)) is stored in the terminal of the video packet transmission source. A control packet in which information for identifying a lost packet is embedded is sent from the user terminal to the transmission source terminal via the network. In
なお、本発明において、ネットワークにおける損失パケットは、ネットワーク内で廃棄されたり消失した映像パケットとして検出することが可能である。また、ユーザ端末における損失パケットは、ユーザ端末に到着したにも拘わらず、ユーザ端末のゆらぎ吸収バッファにおいて廃棄された映像パケットとして検出することが可能である。 In the present invention, a lost packet in the network can be detected as a video packet discarded or lost in the network. In addition, a lost packet in the user terminal can be detected as a discarded video packet in the fluctuation absorbing buffer of the user terminal although it arrives at the user terminal.
また、本発明は、上述した方法を適用した映像品質管理システムとしても実現することができる。この場合、品質推定手段は、ユーザ端末に設けてもよいし、ネットワークに接続された管理端末に設けてもよい。また、映像パケットの送信元の端末に設けてもよい。管理端末に設ける場合には、ユーザ端末からネットワークを介して管理端末へ、損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込んだ制御パケットを送るようにすればよい。送信元の端末に設ける場合には、例えば上述した方式3を採用し、損失パケットを特定する情報を埋め込んだ制御パケットをユーザ端末からネットワークを介して送信元の端末に送るようにすればよい。
The present invention can also be realized as a video quality management system to which the above-described method is applied. In this case, the quality estimation means may be provided in the user terminal or in a management terminal connected to the network. Further, it may be provided in the terminal that is the transmission source of the video packet. When the management terminal is provided, the control information in which the information identifying the lost packet, the frame type at the time of high-efficiency compression encoding to which the lost packet belongs, and the frame generation rule are sent from the user terminal to the management terminal via the network. What should I do? In the case of providing in the transmission source terminal, for example, the above-described
本発明によれば、ネットワークやユーザ端末における損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて、ユーザ端末において復号される映像の主観品質が推定されるものとなり、簡単な構成で、品質推定の精度向上を図ることができるようになる。 According to the present invention, the subjective quality of the video decoded at the user terminal is determined based on the information for identifying the lost packet in the network or the user terminal, the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs. Thus, the accuracy of quality estimation can be improved with a simple configuration.
以下、本発明を図面に基づいて詳細に説明する。
〔実施の形態1〕
図1は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの一例(実施の形態1)を示すブロック構成図である。
Hereinafter, the present invention will be described in detail with reference to the drawings.
[Embodiment 1]
FIG. 1 is a block diagram showing an example (Embodiment 1) of a video quality management system used to implement a video quality management method according to the present invention.
同図において、1はカメラや録画映像の再生装置などの映像入力装置、2は映像入力装置1からの映像信号を高能率圧縮符号化しパケット列に変換する映像符号化装置、3は映像符号化装置2から送られてくるパケット列に変換された映像信号をネットワーク(インターネット網)4を介してユーザ端末UTへ配信する映像配信サーバ、5は映像品質を管理する映像品質管理装置である。
In the figure, 1 is a video input device such as a camera or a playback device for recorded video, 2 is a video encoding device that performs high-efficiency compression encoding of a video signal from the video input device 1 and converts it into a packet sequence, and 3 is video encoding. A
このシステムにおいて、映像配信サーバ3は配信端末DTに設けられ、映像品質管理装置5は管理端末CTに設けられ、配信端末DTとユーザ端末UTと管理端末CTとはネットワーク4を介して相互に接続されている。ユーザ端末UTは、復号装置6と、品質情報通信装置7と、映像品質推定装置8とを備えている。
In this system, the
図2に映像符号化装置2の概略構成を示す。映像符号化装置2は、高能率圧縮符号化部21と、パケット変換部22と、情報埋込部23とを備えている。高能率圧縮符号化部21は、映像入力装置1からの映像信号をIフレーム、Pフレーム、Bフレームにより高能率圧縮符号化する。これら3種類のフレームは、規則性をもって生成され、符号化される。パケット変換部22は、高能率圧縮符号化部21により高能率圧縮符号化された映像信号をパケット列(パケットP1,P2,P3・・・・)に変換し、情報埋込部23へ送る。
FIG. 2 shows a schematic configuration of the
情報埋込部23は、パケット変換部22からのパケット(映像パケット)Pのそれぞれのヘッダ内のTOSビットもしくはペイロード内に、その映像パケットPが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。この実施の形態では、高能率圧縮符号化時のフレーム種別としてIフレーム、Pフレーム、Bフレームの種別(I,P,B)を、フレーム発生規則としてIフレーム、Pフレーム、Bフレームの発生規則であるGOPのパラメータを埋め込む。具体的には、Iピクチャの繰り返し周期N、およびPまたはIの繰り返し周期Mを映像パケットPに埋め込む。
The
なお、映像パケットPのヘッダ内には、その映像パケットPを特定する情報として、その映像パケットPの生成番号が書き込まれることは言うまでもない。また、この実施の形態では、パケット変換部22の後段に情報埋込部23を設けたが、パケット変換部22の前段に情報埋込部23を設けるようにしてもよい。すなわち、高能率圧縮符号化に際する各フレームの符号化データにフレーム種別やフレーム発生規則を付すことにより、各映像パケットにフレーム種別やフレーム発生規則が埋め込まれるようにしてもよい。
It goes without saying that the generation number of the video packet P is written in the header of the video packet P as information for specifying the video packet P. In this embodiment, the
情報埋込部23からの高能率圧縮符号化時のフレーム種別およびフレーム発生規則が埋め込まれた映像パケットPは映像配信サーバ3へ送られる。映像配信サーバ3は映像符号化装置2からの映像パケットPをネットワーク4を介してユーザ端末UTへ送る。ユーザ端末UTは映像配信サーバ3からの映像パケットPを復号装置6において受信する。復号装置6は、映像配信サーバ3からの映像パケットPを次々に受信し、その映像パケットPのデータを復号して行く。
The video packet P in which the frame type and the frame generation rule at the time of high-efficiency compression encoding are embedded from the
図3に復号装置6の内部構成の概略を示す。復号装置6にはゆらぎ吸収バッファ61とパケット復号部62と遅着パケット情報出力部63が設けられている。ゆらぎ吸収バッファ61は、遅着パケットを廃棄しながら、入力される映像パケットPを取り込む。例えば、映像パケットPがP1,P2,P3の順で入力された場合、映像パケットP3の入力タイミングが所定のタイミングよりも遅れて入力されると、この映像パケットP3を遅着パケットとして廃棄する。正常なタイミングで入力された映像パケットP1,P2は取り込む。
FIG. 3 shows an outline of the internal configuration of the
廃棄された映像パケットPは遅着パケット情報出力部63へ送られる。遅着パケット情報出力部63は、廃棄された映像パケットPの生成番号、廃棄された映像パケットPに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則を端末における損失パケット情報として品質情報通信装置7へ送る。
The discarded video packet P is sent to the late arrival packet information output unit 63. The late arrival packet information output unit 63 uses the generation number of the discarded video packet P, the frame type and the frame generation rule at the time of high-efficiency compression encoding embedded in the discarded video packet P as lost packet information in the terminal. It is sent to the quality
ゆらぎ吸収バッファ61に取り込まれた映像パケットPはパケット復号部62に送られる。パケット復号部62は、ゆらぎ吸収バッファ61からの映像パケットPを次々に受信し、その映像パケットPのデータを復号して行く。この際、パケット復号部62は、パケット損失により映像劣化となるフレームを検出し、そのフレーム情報を品質情報通信装置7へ送る。
The video packet P captured in the
品質情報通信装置7にはネットワークにおける損失パケット情報も与えられる。この場合、ネットワーク4内で廃棄されたパケットが損失パケットとされ、その損失パケットの生成番号、その損失パケットに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則が品質情報通信装置7へ与えられる。また、ネットワーク4内で消失したパケットが損失パケットとされ、その損失パケットの前後のパケットの生成番号から推測される損失パケットの生成番号、その損失パケットの前後のパケットに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則から推測される損失パケットの高能率圧縮符号化時のフレーム種別およびフレーム発生規則が品質情報通信装置7へ与えられる。
The quality
品質情報通信装置7は、パケット復号部62からの映像劣化となるフレーム情報と損失パケットとを対応づけ、復号装置6およびネットワーク4からの損失パケット情報(損失パケットの生成番号、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則)を品質推定装置8へ送る。図5にユーザ端末UT内の情報の流れを示す。
The quality
映像品質推定装置8は損失パケット情報収集部81と劣化範囲推定部82と主観品質データベース83と主観品質推定部84とを備えている。品質情報通信装置7からの損失パケット情報は損失パケット情報収集部81へ与えられる。損失パケット情報収集部81は、品質情報通信装置7からの損失パケット情報のうち損失パケットの生成番号を劣化範囲推定部82の劣化度合推定手段821へ送り、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を劣化継続時間長推定手段822へ送る。
The video
劣化度合推定手段821は、損失パケットの生成番号から1映像フレーム内の品質劣化の度合いを推定する。例えば、損失パケットの生成番号から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から1映像フレーム内の品質劣化の度合いを推定する。また、1映像フレームを構成する全映像パケット数に対する損失パケットの割合として求めるなどしてもよい。この場合、例えば、1映像フレームを構成する全映像パケット数が60パケット、損失パケットが20パケットであった場合、劣化度合いは20/60=1/3として求める。この劣化度合いにより、主観品質への影響が異なり、この劣化度合いと劣化現象との関係を予め実験で求めておき、設定しておくようにしてもよい。例えば、Iフレームについて、劣化度合いが1%まではブロック歪み、10%以上ならば映像停止(フリーズ)、Pフレームについて、劣化度合いが20%まではブロック歪み、20%以上ならば映像停止(フリーズ)、Bフレームについて、劣化度合いが30%まではブロック歪み、20%以上ならば映像停止(フリーズ)というように設定しておくようにしてもよい。 Deterioration degree estimation means 821 estimates the degree of quality deterioration in one video frame from the generation number of lost packets. For example, the number of lost packets in one video frame is obtained from the generation number of lost packets, and the degree of quality deterioration in one video frame is estimated from the information amount of the lost packet and the average information amount of one video frame. Alternatively, it may be determined as a ratio of lost packets to the total number of video packets constituting one video frame. In this case, for example, when the number of all video packets constituting one video frame is 60 packets and the number of lost packets is 20 packets, the degree of deterioration is determined as 20/60 = 1/3. The influence on the subjective quality differs depending on the degree of deterioration, and the relationship between the degree of deterioration and the deterioration phenomenon may be obtained in advance through experiments and set. For example, for I frames, the block distortion is 10% or more when the degree of deterioration is 1% or more, and the video stops (freezes) when the degree of deterioration is 20% or more. ) For the B frame, block distortion may be set when the degree of deterioration is up to 30%, and video stop (freeze) when the degree of deterioration is 20% or more.
劣化継続時間長推定手段822は、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定する。例えば、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定する。 Deterioration duration length estimation means 822 estimates the duration of video quality degradation from the frame type and frame generation rules at the time of high-efficiency compression encoding to which the lost packet belongs. For example, the number of video frames in which video quality degradation continues is calculated from the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs, and the duration of video quality degradation is estimated from the calculated number of video frames .
劣化範囲推定部82において推定された1映像フレーム内の品質劣化の度合いおよび映像品質劣化の継続時間長は主観品質推定部84へ送られる。なお、主観品質推定部84には、図示してはいないが、コンテンツの内容や帯域などの原画情報も与えられる。この原画情報は、予めユーザ端末UT内に設定しておくようにしてもよく、配信端末DTからユーザ端末UTへ送る制御パケットに挿入するなどして提供するようにしてもよい。また、主観品質データベース83には、予め実験などで得られた品質劣化の度合い、品質劣化の継続時間長および原画情報をパラメータとした主観品質の値が格納されている。
The degree of quality degradation in one video frame estimated by the degradation
主観品質推定部84は、劣化範囲推定部82より送られてくる1映像フレーム内の品質劣化の度合いおよび映像品質劣化の継続時間長と上述した原画情報とに基づいて、それに対応する主観品質の値を主観品質データベース83より得る。主観品質推定部84は、主観品質データベース83より取得した主観品質の値(主観品質の推定値)を品質情報通信装置7へ送る。品質情報通信装置7は、主観品質推定部84からの主観品質の推定値を制御パケットに埋め込み、この主観品質の推定値が埋め込まれた制御パケットをネットワーク4を介し、管理端末CTの映像品質管理装置5へ送る。
The subjective
なお、この実施の形態において、配信端末DTとユーザ端末UTとの間の制御パケットやユーザ端末UTと管理端末CTとの間の制御パケットなどにはRTCP(RTP Control Protocol)が用いられ、これら制御パケットはRTP(Real-time Transport Protocol)に基づいて送受信される。 In this embodiment, RTCP (RTP Control Protocol) is used for a control packet between the distribution terminal DT and the user terminal UT, a control packet between the user terminal UT and the management terminal CT, and the like. Packets are transmitted and received based on RTP (Real-time Transport Protocol).
映像品質管理装置5には、図4に示すように、映像品質管理目標値テーブル51と映像品質判定部52が設けられている。映像品質判定部52は、ユーザ端末UTから主観品質の推定値が埋め込まれた制御パケットが送られてくると、この制御パケットから主観品質の推定値を抽出する。そして、抽出した主観品質の推定値に対応する映像品質管理目標値を映像品質管理目標値テーブル51より取り出し、両者を比較することによって映像品質の劣化を判定し、その判定結果に応じた品質管理のアクションをとる。
As shown in FIG. 4, the video
なお、この実施の形態では、ユーザ端末UTへ送る映像パケット毎にその映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込むようにしたが、ユーザ端末UTへ送る映像パケット毎にその映像パケットの生成番号、その映像パケットPが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したテーブル(パケット情報テーブル)を制御パケットに埋め込み、ネットワーク4を介してユーザ端末UTに送るようにしてもよい。この場合、ユーザ端末UTでは、ネットワーク4を介して送られてくる制御パケットに埋め込まれたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
In this embodiment, for each video packet to be sent to the user terminal UT, the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the video packet belongs are embedded, but for each video packet to be sent to the user terminal UT. A table (packet) in which the generation number of the video packet, the frame type (I, P, B) and the frame generation rule (GOP parameters (M, N)) to which the video packet P belongs are recorded. An information table) may be embedded in the control packet and sent to the user terminal UT via the
〔実施の形態2〕
図6は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態2)を示すブロック構成図である。実施の形態1ではユーザ端末UTに映像品質推定装置8を設けていたが、実施の形態2では管理端末CTに映像品質推定装置8を設けている。このようにすると、ユーザ端末UTでの処理負担を軽減することができる。また、映像品質推定装置8を管理端末CTに設けることにより、主観品質の推定結果をネットワーク品質管理にすぐに役立てることができる。
[Embodiment 2]
FIG. 6 is a block diagram showing another example (Embodiment 2) of the video quality management system used for implementing the video quality management method according to the present invention. In the first embodiment, the video
図7に管理端末CT内の情報の流れを示す。この場合、ユーザ端末UTからネットワーク4を介して管理端末CTへ、損失パケットの生成番号、損失パケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を埋め込んだ制御パケットを送るようにする。これにより、実施の形態1と同様にして、映像品質推定装置8において主観品質の推定値が求められる。また、映像品質管理装置5において、映像品質の劣化の判定が行われる。この実施の形態2では、映像品質推定装置8と映像品質管理装置5とが同一の管理装置CT内に設けられるので、制御パケットによる情報の遣り取りは発生しない。
FIG. 7 shows a flow of information in the management terminal CT. In this case, from the user terminal UT to the management terminal CT via the
〔実施の形態3〕
図8は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態3)を示すブロック構成図である。実施の形態1ではユーザ端末UTに映像品質推定装置8を設け、管理端末CTに映像品質管理装置5を設けていたが、実施の形態3では映像品質推定装置8および映像品質管理装置5を配信端末DTに設けている。この構成例はサーバでの個別ユーザ管理に有用である。
[Embodiment 3]
FIG. 8 is a block diagram showing another example (Embodiment 3) of the video quality management system used for implementing the video quality management method according to the present invention. In the first embodiment, the video
図9に配信端末DT内の情報の流れを示す。この場合、配信端末DTでは、ユーザ端末UTへの映像パケット毎にその映像パケットの生成番号、その映像パケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したパケット情報テーブルTB1を作成し、メモリへ記憶させておく。また、損失パケットの生成番号を埋め込んだ制御パケットをユーザ端末UTからネットワーク4を介して配信端末DTに送るようにする。
FIG. 9 shows a flow of information in the distribution terminal DT. In this case, in the distribution terminal DT, for each video packet to the user terminal UT, the generation number of the video packet, the frame type (I, P, B) and the frame generation rule (high efficiency compression encoding to which the video packet belongs) A packet information table TB1 describing GOP parameters (M, N)) is created and stored in the memory. Further, the control packet in which the generation number of the lost packet is embedded is sent from the user terminal UT to the distribution terminal DT via the
配信端末DTにおいて、損失パケット情報収集部81は、ユーザ端末UTから送られてくる損失パケットの生成番号が埋め込まれた制御パケットを受信すると、その制御パケットから損失パケットの生成番号を抽出し、劣化度合推定手段821へ送る。また、抽出した損失パケットの生成番号を検索キーとしてパケット情報テーブルTB1にアクセスし、その損失パケットの高能率圧縮符号化時のフレーム種別およびフレーム発生規則を取得し、劣化継続時間長推定手段822へ送る。これにより、実施の形態1と同様にして、映像品質推定装置8において主観品質の推定値が求められる。また、映像品質管理装置5において、映像品質の劣化の判定が行われる。
In the distribution terminal DT, when the lost packet
〔実施の形態4〕
図10は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態4)を示すブロック構成図である。この実施の形態4は、テレビ会議のような双方向映像通信サービスの品質管理を行う場合の構成例であり、ネットワーク4にはユーザ端末UT1,UT2が接続されている。
[Embodiment 4]
FIG. 10 is a block diagram showing another example (Embodiment 4) of a video quality management system used for implementing a video quality management method according to the present invention. The fourth embodiment is a configuration example in the case of performing quality management of a bidirectional video communication service such as a video conference, and user terminals UT1 and UT2 are connected to the
ユーザ端末UT1は、映像符号化装置2−1と復号装置6−1と品質情報通信装置7−1と映像品質推定装置8−1とを有している。ユーザ端末UT2もユーザ端末UT1と同様に、映像符号化装置2−2と復号装置6−2と品質情報通信装置7−2と映像品質推定装置8−2とを有している。 The user terminal UT1 includes a video encoding device 2-1, a decoding device 6-1, a quality information communication device 7-1, and a video quality estimation device 8-1. Similarly to the user terminal UT1, the user terminal UT2 includes a video encoding device 2-2, a decoding device 6-2, a quality information communication device 7-2, and a video quality estimation device 8-2.
映像符号化装置2−1は、ユーザ端末UT2へ送る映像パケットに、その映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。映像符号化装置2−2は、ユーザ端末UT1へ送る映像パケットに、その映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。
The video encoding device 2-1 embeds a frame type and a frame generation rule at the time of high-efficiency compression encoding to which the video packet belongs in a video packet to be sent to the
映像品質推定装置8−1は、図1に示した映像品質推定装置8と同様にして主観品質の推定値を求め、この主観品質の推定値を埋め込んだ制御パケットを品質情報通信装置7−1を介して管理装置CT内の映像品質管理装置5に送る。映像品質推定装置8−2も、映像品質推定装置8−1と同様にして主観品質の推定値を求め、この主観品質の推定値を埋め込んだ制御パケットを管理装置CT内の映像品質管理装置5に送る。
The video quality estimation apparatus 8-1 obtains an estimated value of subjective quality in the same manner as the video
なお、上述した実施の形態1〜4では、映像品質管理装置5を管理端末CTや配信端末DTに設けるようにしたが、ユーザ端末UTに組み込むようにしてもよい。映像品質管理装置5をユーザ端末UTに組み込むようにすると、苦情時のユーザ端末の品質把握に素早く対応することが可能となる。
In Embodiments 1 to 4 described above, the video
以上の説明から明らかなように、本実施の形態の映像品質管理システムによれば、損失パケットの生成番号から1映像フレーム内の品質劣化の度合いが推定され、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長が推定され、この推定された映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質が推定されるものとなり、簡単な構成で、品質推定の精度向上を図ることができるようになる。 As is clear from the above description, according to the video quality management system of the present embodiment, the degree of quality degradation in one video frame is estimated from the generation number of the lost packet, and the high-efficiency compression encoding to which the lost packet belongs. The duration of the video quality degradation is estimated from the frame type and the frame generation rule at the time, and the subjective quality of the video decoded at the user terminal based on the estimated degree of the video quality degradation and the duration of the video quality degradation Therefore, the accuracy of quality estimation can be improved with a simple configuration.
また、本実施の形態の映像品質管理システムによれば、ネットワークにおける損失パケットだけではなく、ユーザ端末で生じるゆらぎ吸収バッファによるパケット廃棄の情報を復号装置で出力することにより、パケットとして廃棄される全ての品質情報を得ることができ、正確なパケット品質が把握できるようになる。これらの品質情報を制御パケットに搭載してリアルタイムで遣り取りすることにより、任意の場所における品質管理がリアルタイムかつユーザ毎に高精度に品質推定できることで高度な映像品質管理が可能となる。 Further, according to the video quality management system of the present embodiment, not only the lost packet in the network but also the packet discard information generated by the fluctuation absorbing buffer generated in the user terminal is output by the decoding device, and all the packets discarded as a packet Quality information can be obtained, and accurate packet quality can be grasped. By installing these quality information in the control packet and exchanging in real time, quality management at an arbitrary location can be performed in real time and with high accuracy for each user, so that advanced video quality management can be performed.
1…映像入力装置、2…映像符号化装置、21…高能率圧縮符号化部、22…パケット変換部、23…情報埋込部、3…映像配信サーバ、4…ネットワーク(インターネット網)、5…映像品質管理装置、51…映像品質管理目標値テーブル、52…映像品質判定部、6…復号装置、61…ゆらぎ吸収バッファ、62…パケット復号部、63…遅着パケット情報出力部、7…品質情報通信装置、8…映像品質推定装置、81…損失パケット情報収集部、82…劣化範囲推定部、821…劣化度合推定手段、822…劣化継続時間長推定手段、83…主観品質データベース、84…主観品質推定部、TB1…パケット情報テーブル、UT…ユーザ端末、CT…管理端末、DT…配信装置、P(P1,P2,P3)…映像パケット、UT1,UT2…ユーザ端末、2−1,2−2…映像復号化装置、6−1,6−2…復号装置、7−1,7−2…品質情報通信装置、8−1,8−2…映像品質推定装置。
DESCRIPTION OF SYMBOLS 1 ... Video input device, 2 ... Video encoding device, 21 ... High efficiency compression encoding part, 22 ... Packet conversion part, 23 ... Information embedding part, 3 ... Video distribution server, 4 ... Network (internet network), 5 ... Video quality management device, 51 ... Video quality management target value table, 52 ... Video quality judgment unit, 6 ... Decoding device, 61 ... Fluctuation absorption buffer, 62 ... Packet decoding unit, 63 ... Late arrival packet information output unit, 7 ... Quality information communication device, 8 ... Video quality estimation device, 81 ... Loss packet information collection unit, 82 ... Deterioration range estimation unit, 821 ... Deterioration degree estimation means, 822 ... Deterioration duration length estimation means, 83 ... Subjective quality database, 84 ... subjective quality estimation unit, TB1 ... packet information table, UT ... user terminal, CT ... management terminal, DT ... delivery device, P (P1, P2, P3) ... video packet, UT1, UT ... User terminals, 2-1, 2-2 ... Video decoding device, 6-1, 6-2 ... Decoding device, 7-1, 7-2 ... Quality information communication device, 8-1, 8-2 ... Video Quality estimation device.
Claims (19)
前記高能率圧縮符号化された映像信号をパケット列に変換する第2ステップと、
前記パケット列に変換された映像信号をネットワークを介してユーザ端末に送る第3ステップと、
前記ネットワークおよび前記ユーザ端末における損失パケットを検出する第4ステップと、
前記損失パケットを特定する情報、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて前記ユーザ端末において復号される映像の品質を推定する第5ステップと
を備えることを特徴とする映像品質管理方法。 A first step of highly efficient compression encoding of a video signal;
A second step of converting the high-efficiency compression-encoded video signal into a packet sequence;
A third step of sending the video signal converted into the packet sequence to a user terminal via a network;
A fourth step of detecting lost packets in the network and the user terminal;
And a fifth step of estimating the quality of video decoded at the user terminal based on information identifying the lost packet, a frame type and a frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs. A video quality control method characterized by
前記ユーザ端末へ送るパケット毎にそのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込むステップ
を備えることを特徴とする映像品質管理方法。 The video quality management method according to claim 1,
Embedding a frame type and a frame generation rule at the time of the high-efficiency compression encoding to which each packet to be sent to the user terminal belongs.
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを制御パケットに埋め込み、前記ネットワークを介して前記ユーザ端末に送るステップ
を備えることを特徴とする映像品質管理方法。 The video quality management method according to claim 1,
For each packet sent to the user terminal, information specifying the packet, a table describing the frame type and frame generation rule at the time of the high-efficiency compression encoding to which the packet belongs is embedded in a control packet, and the user is transmitted via the network. A video quality management method comprising: sending to a terminal.
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを前記パケットの送信元の端末に記憶させるステップと、
前記損失パケットを特定する情報を埋め込んだ制御パケットを前記ユーザ端末から前記ネットワークを介して前記パケットの送信元の端末に送るステップと
を備えることを特徴とする映像品質管理方法。 The video quality management method according to claim 1,
Storing information specifying the packet for each packet to be sent to the user terminal, a table describing a frame type and a frame generation rule at the time of the high-efficiency compression encoding to which the packet belongs, in a terminal that is a source of the packet; ,
Sending a control packet in which information specifying the lost packet is embedded from the user terminal to the terminal that is the transmission source of the packet via the network.
前記第5ステップは、
前記損失パケットを特定する情報から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理方法。 In the video quality management method according to any one of claims 1 to 4,
The fifth step includes
Estimating the degree of quality degradation in one video frame from the information specifying the lost packet, and estimating the duration of video quality degradation from the frame type and frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs And estimating the quality of the video decoded at the user terminal based on the estimated degree of video quality degradation and the duration of the video quality degradation.
前記第5ステップは、前記損失パケットを特定する情報から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理方法。 In the video quality management method according to any one of claims 1 to 4,
In the fifth step, the number of lost packets in one video frame is obtained from information specifying the lost packet, and the degree of quality degradation in one video frame from the information amount of the lost packet and the average information amount of one video frame. And calculating the number of video frames in which video quality degradation continues from the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs, and the duration of video quality degradation from the calculated number of video frames And estimating the quality of the video decoded at the user terminal based on the estimated degree of video quality degradation and the duration of the video quality degradation.
前記第4ステップは、
前記ユーザ端末のゆらぎ吸収バッファにおいて廃棄されたパケットを前記ユーザ端末における損失パケットとして検出する
ことを特徴とする映像品質管理方法。 In the video quality management method according to any one of claims 1 to 6,
The fourth step includes
A video quality management method, comprising: detecting a packet discarded in a fluctuation absorbing buffer of the user terminal as a lost packet in the user terminal.
前記高能率圧縮符号化時のフレーム種別は、
フレーム間予測を用いずフレーム内で符号化処理を行うIフレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うPフレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うBフレームの3種類であり、
前記フレーム発生規則は、
前記Iフレーム、Pフレーム、Bフレームの発生規則である
ことを特徴とする映像品質管理方法。 In the video quality management method according to any one of claims 1 to 7,
The frame type at the time of the high efficiency compression encoding is:
I frame that performs encoding processing within a frame without using inter-frame prediction, P frame that predicts current from the past using motion compensated prediction, and performs encoding processing with forward and backward prediction using bidirectional prediction There are three types of B frames to be processed,
The frame generation rule is:
A video quality management method, characterized by the generation rules of the I frame, P frame, and B frame.
前記高能率圧縮符号化された映像信号をパケット列に変換するパケット変換手段と、
前記パケット列に変換された映像信号をネットワークを介してユーザ端末に送る送信手段と、
前記ネットワークおよび前記ユーザ端末における損失パケットを検出する損失パケット検出手段と、
前記損失パケットを特定する情報、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて前記ユーザ端末において復号される映像の品質を推定する品質推定手段と
を備えることを特徴とする映像品質管理システム。 High-efficiency compression encoding means for high-efficiency compression encoding video signals;
Packet conversion means for converting the high-efficiency compression-encoded video signal into a packet sequence;
Transmitting means for sending the video signal converted into the packet sequence to a user terminal via a network;
Lost packet detecting means for detecting lost packets in the network and the user terminal;
Quality estimation means for estimating the quality of video decoded at the user terminal based on information identifying the lost packet, a frame type and a frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs A video quality management system characterized by
前記ユーザ端末へ送るパケット毎にそのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む手段
を備えることを特徴とする映像品質管理システム。 In the video quality management system according to claim 9,
A video quality management system comprising means for embedding a frame type and a frame generation rule at the time of the high-efficiency compression encoding to which each packet to be sent to the user terminal belongs.
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを制御パケットに埋め込み、前記ネットワークを介して前記ユーザ端末に送る手段
を備えることを特徴とする映像品質管理システム。 In the video quality management system according to claim 9,
For each packet sent to the user terminal, information specifying the packet, a table describing the frame type and frame generation rule at the time of the high-efficiency compression encoding to which the packet belongs is embedded in a control packet, and the user is transmitted via the network. A video quality management system comprising means for sending to a terminal.
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを前記パケットの送信元の端末に記憶させる手段と、
前記損失パケットを特定する情報を埋め込んだ制御パケットを前記ユーザ端末から前記ネットワークを介して前記パケットの送信元の端末に送る手段と
を備えることを特徴とする映像品質管理システム。 In the video quality management system according to claim 9,
Means for storing in the terminal that is the transmission source of the packet information for identifying each packet sent to the user terminal, a table describing the frame type and frame generation rule at the time of the high-efficiency compression encoding to which the packet belongs; ,
A video quality management system, comprising: a control packet in which information specifying the lost packet is embedded; and a means for sending the control packet from the user terminal to the terminal of the packet transmission source via the network.
前記品質推定手段は、
前記損失パケットを特定する情報から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理システム。 In the video quality management system according to any one of claims 9 to 12,
The quality estimation means includes
Estimating the degree of quality degradation in one video frame from the information specifying the lost packet, and estimating the duration of video quality degradation from the frame type and frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs Then, the quality of the video decoded at the user terminal is estimated based on the estimated degree of video quality degradation and the duration of the video quality degradation.
前記品質推定手段は、
前記損失パケットを特定する情報から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理システム。 In the video quality management system according to any one of claims 9 to 12,
The quality estimation means includes
The number of lost packets in one video frame is obtained from the information specifying the lost packet, the degree of quality deterioration in one video frame is estimated from the information amount of the lost packet and the average information amount of one video frame, and the loss Calculate the number of video frames for which video quality degradation continues from the frame type and frame generation rules at the time of high-efficiency compression encoding to which the packet belongs, and estimate the duration of video quality degradation from this calculated number of video frames. A video quality management system, wherein the quality of video decoded at the user terminal is estimated based on the degree of video quality degradation and the duration of video quality degradation.
前記損失パケット検出手段は、
前記ユーザ端末のゆらぎ吸収バッファにおいて廃棄されたパケットを前記ユーザ端末における損失パケットとして検出する
ことを特徴とする映像品質管理システム。 In the video quality management system according to any one of claims 9 to 14,
The lost packet detection means includes
A video quality management system, wherein a packet discarded in a fluctuation absorbing buffer of the user terminal is detected as a lost packet in the user terminal.
前記高能率圧縮符号化時のフレーム種別は、
フレーム間予測を用いずフレーム内で符号化処理を行うIフレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うPフレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うBフレームの3種類であり、
前記フレーム発生規則は、
前記Iフレーム、Pフレーム、Bフレームの発生規則である
ことを特徴とする映像品質管理システム。 In the video quality management system according to any one of claims 9 to 15,
The frame type at the time of the high efficiency compression encoding is:
I frame that performs encoding processing within a frame without using inter-frame prediction, P frame that predicts current from the past using motion compensated prediction, and performs encoding processing with forward and backward prediction using bidirectional prediction There are three types of B frames to be processed,
The frame generation rule is:
The video quality management system according to claim 1, wherein the rules are generation rules of the I frame, the P frame, and the B frame.
前記品質推定手段は、前記ユーザ端末に設けられていることを特徴とする映像品質管理システム。 In the video quality management system according to claim 9,
The video quality management system, wherein the quality estimation means is provided in the user terminal.
前記品質推定手段は、前記ネットワークに接続された管理端末に設けられていることを特徴とする映像品質管理システム。 In the video quality management system according to claim 9,
The video quality management system, wherein the quality estimation means is provided in a management terminal connected to the network.
前記品質推定手段は、前記ネットワークに接続された前記パケットの送信元の端末に設けられていることを特徴とする映像品質管理システム。
In the video quality management system according to claim 9,
The video quality management system, wherein the quality estimation means is provided in a terminal of a transmission source of the packet connected to the network.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004213138A JP4327674B2 (en) | 2004-07-21 | 2004-07-21 | Video quality control method and video quality control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004213138A JP4327674B2 (en) | 2004-07-21 | 2004-07-21 | Video quality control method and video quality control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006033722A JP2006033722A (en) | 2006-02-02 |
JP4327674B2 true JP4327674B2 (en) | 2009-09-09 |
Family
ID=35899481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004213138A Expired - Lifetime JP4327674B2 (en) | 2004-07-21 | 2004-07-21 | Video quality control method and video quality control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4327674B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103270765A (en) * | 2010-12-10 | 2013-08-28 | 德国电信股份有限公司 | Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2651061C (en) | 2006-05-05 | 2014-07-08 | Mariner Partners, Inc. | Transient video anomaly analysis and reporting system |
CN101151904B (en) * | 2006-05-09 | 2010-06-16 | 日本电信电话株式会社 | Video quality estimating device, method, and program |
US8154602B2 (en) | 2006-05-09 | 2012-04-10 | Nippon Telegraph And Telephone Corporation | Video quality estimation apparatus, method, and program |
US7965203B2 (en) | 2006-05-09 | 2011-06-21 | Nippon Telegraph And Telephone Corporation | Video quality estimation apparatus, method, and program |
US20100053300A1 (en) * | 2007-02-02 | 2010-03-04 | Einarsson Torbjoern | Method And Arrangement For Video Telephony Quality Assessment |
JP4733071B2 (en) * | 2007-05-30 | 2011-07-27 | 日本電信電話株式会社 | Video quality estimation method and apparatus |
CN101558657B (en) | 2007-08-22 | 2011-07-27 | 日本电信电话株式会社 | Video quality estimation device, video quality estimation method, frame type judgment method |
CN101626506B (en) * | 2008-07-10 | 2011-06-01 | 华为技术有限公司 | Method, device and system for evaluating quality of video code stream |
DK2347599T3 (en) * | 2008-11-04 | 2015-05-11 | Ericsson Telefon Ab L M | METHOD AND SYSTEM FOR DETERMINING A QUALITY VALUE OF A VIDEO FLOW |
JP5405915B2 (en) * | 2009-06-22 | 2014-02-05 | 日本電信電話株式会社 | Video quality estimation apparatus, video quality estimation method, and video quality estimation apparatus control program |
JP2011019127A (en) * | 2009-07-09 | 2011-01-27 | Nec Corp | Image quality evaluation device, image quality evaluation method, and program for them |
BR112012008605B1 (en) | 2009-10-22 | 2021-09-08 | Nippon Telegraph And Telephone Corporation | VIDEO QUALITY ESTIMATION APPARATUS AND METHOD |
JP2011114444A (en) | 2009-11-25 | 2011-06-09 | Fujitsu Ltd | Information processor, method of generating information, and program |
EP2413604B1 (en) | 2010-07-30 | 2014-09-10 | Deutsche Telekom AG | Assessing the quality of a video signal during encoding or compressing of the video signal |
PL2649801T3 (en) * | 2010-12-10 | 2015-08-31 | Deutsche Telekom Ag | Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility |
US9450845B2 (en) | 2011-04-11 | 2016-09-20 | Nokia Solutions And Networks Oy | Quality of experience |
-
2004
- 2004-07-21 JP JP2004213138A patent/JP4327674B2/en not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103270765A (en) * | 2010-12-10 | 2013-08-28 | 德国电信股份有限公司 | Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal |
CN103270765B (en) * | 2010-12-10 | 2016-08-10 | 德国电信股份有限公司 | For assessing the method and apparatus of video signal quality in video signal coding and transmitting procedure |
Also Published As
Publication number | Publication date |
---|---|
JP2006033722A (en) | 2006-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4327674B2 (en) | Video quality control method and video quality control system | |
JP4377357B2 (en) | Video quality estimation apparatus and video quality estimation method | |
CN100591124C (en) | Code rate control method for video coding and video data emission device | |
US9723329B2 (en) | Method and system for determining a quality value of a video stream | |
CN109068187B (en) | Real-time traffic delivery system and method | |
EP1385292A2 (en) | Method of generating transmission control parameters and method of selective retransmission according to packet characteristics | |
US8798150B2 (en) | Bi-directional video compression for real-time video streams during transport in a packet switched network | |
KR20140098248A (en) | Dynamic modification of video properties | |
CN109756789B (en) | Method and system for processing packet loss of audio and video data packet | |
CN112995214B (en) | Real-time video transmission system, method and computer readable storage medium | |
US8649277B2 (en) | Communication apparatus and method | |
JP2005322995A (en) | Buffer control method in real-time video image transfer, transmitting terminal, receiving terminal, video image distributing system and program | |
JP2008211579A (en) | Video equality estimating method and video communication system | |
US20230082211A1 (en) | Methods and devices for controlling a transmission of a video stream | |
JP2005033556A (en) | Data transmitter, data transmitting method, data receiver, data receiving method | |
JP4354962B2 (en) | Video quality estimation apparatus and video quality estimation method | |
US8811478B2 (en) | Data transmission method and apparatus | |
CN113905026A (en) | Streaming media video data processing method, device and storage medium | |
Nikzad et al. | Performance evaluation of error control schemes for distributed video coding over wireless multimedia sensor networks | |
Kwon et al. | A novel video quality impairment monitoring scheme over an ipty service with packet loss | |
Huszák et al. | TFRC-Based Selective Retransmission for Multimedia Applications. | |
Xiong et al. | An error resilience scheme on an end-to-end distortion analysis for video transmission over Internet | |
Chattopadhyay et al. | Adaptive rate control for H. 264 based video conferencing over a low bandwidth wired and wireless channel | |
Undheim et al. | Characterization of slice-based H. 264/AVC encoded video traffic | |
CN115643425A (en) | Video communication system and video transmission method based on long reference frame |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090611 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4327674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140619 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |