JP4327674B2 - Video quality control method and video quality control system - Google Patents

Video quality control method and video quality control system Download PDF

Info

Publication number
JP4327674B2
JP4327674B2 JP2004213138A JP2004213138A JP4327674B2 JP 4327674 B2 JP4327674 B2 JP 4327674B2 JP 2004213138 A JP2004213138 A JP 2004213138A JP 2004213138 A JP2004213138 A JP 2004213138A JP 4327674 B2 JP4327674 B2 JP 4327674B2
Authority
JP
Japan
Prior art keywords
video
packet
frame
video quality
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004213138A
Other languages
Japanese (ja)
Other versions
JP2006033722A (en
Inventor
聡子 富永
征貴 増田
孝典 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004213138A priority Critical patent/JP4327674B2/en
Publication of JP2006033722A publication Critical patent/JP2006033722A/en
Application granted granted Critical
Publication of JP4327674B2 publication Critical patent/JP4327674B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

この発明は、通信ネットワークを介する映像サービスの品質管理技術に関し、特に高能率圧縮符号化した映像信号をパケット列に変換しネットワークを介してユーザ端末へ送る際の映像品質管理方法および映像品質管理システムに関するものである。   The present invention relates to a quality management technique for video services via a communication network, and in particular, a video quality management method and a video quality management system for converting a video signal subjected to high-efficiency compression coding into a packet sequence and sending it to a user terminal via the network. It is about.

近年、インターネット網など通信ネットワークが広帯域化する中、映像配信サービスやテレビ会議などの映像系のサービス(映像アプリケーション)が普及しつつある。これらの映像系のサービスでは、映像信号を高能率圧縮符号化し、パケット列に変換して、ユーザ端末へ送るようにしている。   In recent years, video communication services (video applications) such as video distribution services and video conferencing are becoming widespread while communication networks such as the Internet have become broadband. In these video services, the video signal is compression-encoded with high efficiency, converted into a packet sequence, and sent to the user terminal.

例えば、フレーム間予測を用いずフレーム内で符号化処理を行うI(Intra Picture )フレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うP(Predictive Picture)フレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行う(Bidirectionally Predictive Picture)Bフレームという3種類のフレームにより映像信号を高能率圧縮符号化し、この高能率圧縮符号化した映像信号をパケット列に変換し、ネットワークを介してユーザ端末へ送るようにしている。   For example, an I (Intra Picture) frame that performs encoding processing within a frame without using inter-frame prediction, a P (Predictive Picture) frame that performs encoding processing by predicting the present from the past using motion compensation prediction, and bi-directional prediction Use forward and backward prediction and encode processing (Bidirectionally Predictive Picture) Video signal is highly efficient compression encoded by three types of frames called B frames, and this highly efficient compression encoded video signal is converted into a packet sequence The data is sent to the user terminal via the network.

この場合、例えば、ネットワークでパケット損失が生じると、ユーザ端末での復号に際し前後のフレーム情報を使うことから、1パケットの損失による映像品質の劣化が1映像フレームにとどまらず、複数の映像フレームに及ぶことがある。このような場合、次の映像フレームではパケット損失が生じていないにも拘わらず、復号された映像では品質劣化が生じており、ネットワーク上のパケット損失の発生状況(ネットワーク品質)と映像アプリケーションでの品質劣化の発生状況(アプリケーション品質)とは必ずしも一致しない。   In this case, for example, when packet loss occurs in the network, the frame information before and after is used for decoding at the user terminal. Therefore, the deterioration of the video quality due to the loss of one packet is not limited to one video frame, but a plurality of video frames. There may be. In such a case, although there is no packet loss in the next video frame, quality degradation occurs in the decoded video, and the occurrence of packet loss (network quality) on the network and the video application It does not necessarily match the occurrence of quality degradation (application quality).

そこで、特許文献1では、品質推定の精度向上を図るべく、動画符号の特定の一部の復号において、他の部分の復号値を参照する場合、この特定の一部の動画符号の復号値へ、他の部分の復号値の任意の異常が波及することを検出するようにし、映像フレーム毎に品質劣化の面積を算出するようにしている。   Therefore, in Patent Document 1, in order to improve the accuracy of quality estimation, in the decoding of a specific part of the moving picture code, when the decoded value of the other part is referred to, the decoding value of the specific part of the moving picture code is referred to. Then, it is detected that an arbitrary abnormality of the decoded value of the other part is spread, and the area of quality degradation is calculated for each video frame.

特開2000−341688号公報(段落〔0049〕、〔0083〕〜〔0089〕、〔0111〕などの記載参照)JP 2000-341688 (see paragraphs [0049], [0083] to [0089], [0111], etc.)

しかしながら、上述した特許文献1に示された技術では、復号器において、パケットの動画符号の状況を細かく追う必要があり、構成が複雑となる。   However, in the technique disclosed in Patent Document 1 described above, it is necessary to closely follow the status of the moving image code of the packet in the decoder, and the configuration becomes complicated.

本発明は、このような課題を解決するためになされたもので、その目的とするところは、簡単な構成で、品質推定の精度向上を図ることができる映像品質管理方法および映像品質管理システムを提供することにある。   The present invention has been made to solve such problems, and an object of the present invention is to provide a video quality management method and a video quality management system capable of improving the accuracy of quality estimation with a simple configuration. It is to provide.

このような目的を達成するために本発明は、映像信号を高能率圧縮符号化する第1ステップと、高能率圧縮符号化された映像信号をパケット列に変換する第2ステップと、パケット列に変換された映像信号をネットワークを介してユーザ端末に送る第3ステップと、ネットワークおよびユーザ端末における損失パケットを検出する第4ステップと、損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいてユーザ端末において復号される映像の品質を推定する第5ステップとを設けたものである。   In order to achieve such an object, the present invention provides a first step of high-efficiency compression encoding of a video signal, a second step of converting a high-efficiency compression-encoded video signal into a packet sequence, and a packet sequence. A third step of sending the converted video signal to the user terminal via the network, a fourth step of detecting a lost packet in the network and the user terminal, information for identifying the lost packet, and high efficiency compression coding to which the lost packet belongs And a fifth step of estimating the quality of the video decoded at the user terminal based on the time frame type and the frame generation rule.

この発明では、ネットワークやユーザ端末における損失パケットを特定する情報(例えば、損失パケットの生成番号)、損失パケットが属する高能率圧縮符号化時のフレーム種別(例えば、Iフレーム,Pフレーム,Bフレーム)およびフレーム発生規則(例えば、GOP(Group of pictures )のパラメータ:Iピクチャの繰り返し周期N、およびPまたはIの繰り返し周期M)に基づいて、ユーザ端末において復号される映像の品質(ユーザの体感品質に対応した品質(主観品質))が推定される。   In the present invention, information for identifying a lost packet in a network or user terminal (for example, generation number of lost packet), frame type (for example, I frame, P frame, B frame) at the time of high efficiency compression encoding to which the lost packet belongs And frame generation rules (for example, GOP (Group of pictures) parameters: I picture repetition period N and P or I repetition period M), the quality of the video decoded at the user terminal (user's quality of experience) (Quality (subjective quality)) corresponding to is estimated.

例えば、損失パケットを特定する情報から1映像フレーム内の品質劣化の程度や割合などの度合いを推定し、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質を推定する。この場合、1映像フレーム内の品質劣化の度合いは、損失パケットを特定する情報から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から推定することが可能である。また、1映像フレームを構成する全映像パケット数に対する損失パケットの割合として求めることも可能である。また、映像品質劣化の継続時間長は、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から推定することが可能である。   For example, the degree or rate of quality degradation in one video frame is estimated from information identifying a lost packet, and the video quality degradation is continued from the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs. The time length is estimated, and the subjective quality of the video decoded at the user terminal is estimated based on the estimated degree of video quality degradation and the duration of the video quality degradation. In this case, the degree of quality degradation in one video frame is estimated from the information amount of the lost packet and the average information amount of one video frame by obtaining the number of lost packets in one video frame from the information specifying the lost packet. It is possible. It can also be obtained as a ratio of lost packets to the total number of video packets constituting one video frame. The duration of video quality degradation is estimated from the calculated number of video frames by calculating the number of video frames for which video quality degradation continues from the frame type and frame generation rules during high-efficiency compression encoding to which the lost packets belong. Is possible.

この発明において、損失パケットを特定する情報は、例えば損失パケットの生成番号である。この損失パケットの生成番号は、ネットワーク内で廃棄されたパケットの場合、そのパケットの生成番号としてネットワーク内で知ることができる。また、ネットワーク内で消失したパケットの場合、そのパケットの前後のパケットの生成番号から知ることができる。また、ユーザ端末内で廃棄されるパケットの場合、そのパケットの生成番号としてユーザ端末内で知ることができる。また、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則は、例えば次のような方式で知ることが可能である。   In the present invention, the information specifying the lost packet is, for example, the generation number of the lost packet. In the case of a packet discarded in the network, the generation number of the lost packet can be known in the network as the generation number of the packet. In the case of a packet lost in the network, it can be known from the generation numbers of the packets before and after the packet. Further, in the case of a packet discarded in the user terminal, the packet generation number can be known in the user terminal. Further, the frame type and the frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs can be known, for example, by the following method.

(1)方式1
ユーザ端末へ送るパケット(映像パケット)毎にそのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))埋め込む。この方式1では、ユーザ端末において、損失パケットに埋め込まれたフレーム種別およびフレーム発生規則から直接、あるいは損失パケットの前後の映像パケットに埋め込まれたフレーム種別およびフレーム発生規則から間接的に、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
(1) Method 1
For each packet (video packet) sent to the user terminal, the frame type (I, P, B) and the frame generation rule (GOP parameters (M, N)) at the time of high-efficiency compression encoding to which the packet belongs are embedded. In this method 1, at the user terminal, the lost packet is directly received from the frame type and the frame generation rule embedded in the lost packet or indirectly from the frame type and the frame generation rule embedded in the video packet before and after the lost packet. It is possible to know the frame type and the frame generation rule at the time of the high-efficiency compression encoding to which it belongs.

(2)方式2
ユーザ端末へ送るパケット(映像パケット)毎にそのパケットを特定する情報(パケットの生成番号)、そのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したテーブルを制御パケットに埋め込み、ネットワークを介してユーザ端末に送る。この方式2では、ユーザ端末において、ネットワークを介して送られてくる制御パケットに埋め込まれたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
(2) Method 2
Information for identifying each packet (video packet) to be sent to the user terminal (packet generation number), frame type (I, P, B) at the time of high-efficiency compression encoding to which the packet belongs, and frame generation rule (GOP) The table describing the parameters (M, N)) is embedded in the control packet and sent to the user terminal via the network. In method 2, the user terminal knows the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs by referring to a table embedded in a control packet sent via the network. Can do.

(3)方式3
ユーザ端末へ送るパケット(映像パケット)毎にそのパケットを特定する情報(パケットの生成番号)、そのパケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したテーブルを映像パケットの送信元の端末に記憶させる。損失パケットを特定する情報を埋め込んだ制御パケットをユーザ端末からネットワークを介して送信元の端末に送る。この方式3では、映像パケットの送信元の端末において、その送信元の端末に記憶されたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。
(3) Method 3
Information for identifying each packet (video packet) to be sent to the user terminal (packet generation number), frame type (I, P, B) at the time of high-efficiency compression encoding to which the packet belongs, and frame generation rule (GOP) The table describing the parameters (M, N)) is stored in the terminal of the video packet transmission source. A control packet in which information for identifying a lost packet is embedded is sent from the user terminal to the transmission source terminal via the network. In method 3, the terminal of the video packet transmission source knows the frame type and the frame generation rule at the time of high-efficiency compression coding to which the lost packet belongs by referring to the table stored in the transmission source terminal. Can do.

なお、本発明において、ネットワークにおける損失パケットは、ネットワーク内で廃棄されたり消失した映像パケットとして検出することが可能である。また、ユーザ端末における損失パケットは、ユーザ端末に到着したにも拘わらず、ユーザ端末のゆらぎ吸収バッファにおいて廃棄された映像パケットとして検出することが可能である。   In the present invention, a lost packet in the network can be detected as a video packet discarded or lost in the network. In addition, a lost packet in the user terminal can be detected as a discarded video packet in the fluctuation absorbing buffer of the user terminal although it arrives at the user terminal.

また、本発明は、上述した方法を適用した映像品質管理システムとしても実現することができる。この場合、品質推定手段は、ユーザ端末に設けてもよいし、ネットワークに接続された管理端末に設けてもよい。また、映像パケットの送信元の端末に設けてもよい。管理端末に設ける場合には、ユーザ端末からネットワークを介して管理端末へ、損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込んだ制御パケットを送るようにすればよい。送信元の端末に設ける場合には、例えば上述した方式3を採用し、損失パケットを特定する情報を埋め込んだ制御パケットをユーザ端末からネットワークを介して送信元の端末に送るようにすればよい。   The present invention can also be realized as a video quality management system to which the above-described method is applied. In this case, the quality estimation means may be provided in the user terminal or in a management terminal connected to the network. Further, it may be provided in the terminal that is the transmission source of the video packet. When the management terminal is provided, the control information in which the information identifying the lost packet, the frame type at the time of high-efficiency compression encoding to which the lost packet belongs, and the frame generation rule are sent from the user terminal to the management terminal via the network. What should I do? In the case of providing in the transmission source terminal, for example, the above-described method 3 is adopted, and a control packet in which information specifying a lost packet is embedded may be transmitted from the user terminal to the transmission source terminal via the network.

本発明によれば、ネットワークやユーザ端末における損失パケットを特定する情報、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて、ユーザ端末において復号される映像の主観品質が推定されるものとなり、簡単な構成で、品質推定の精度向上を図ることができるようになる。   According to the present invention, the subjective quality of the video decoded at the user terminal is determined based on the information for identifying the lost packet in the network or the user terminal, the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs. Thus, the accuracy of quality estimation can be improved with a simple configuration.

以下、本発明を図面に基づいて詳細に説明する。
〔実施の形態1〕
図1は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの一例(実施の形態1)を示すブロック構成図である。
Hereinafter, the present invention will be described in detail with reference to the drawings.
[Embodiment 1]
FIG. 1 is a block diagram showing an example (Embodiment 1) of a video quality management system used to implement a video quality management method according to the present invention.

同図において、1はカメラや録画映像の再生装置などの映像入力装置、2は映像入力装置1からの映像信号を高能率圧縮符号化しパケット列に変換する映像符号化装置、3は映像符号化装置2から送られてくるパケット列に変換された映像信号をネットワーク(インターネット網)4を介してユーザ端末UTへ配信する映像配信サーバ、5は映像品質を管理する映像品質管理装置である。   In the figure, 1 is a video input device such as a camera or a playback device for recorded video, 2 is a video encoding device that performs high-efficiency compression encoding of a video signal from the video input device 1 and converts it into a packet sequence, and 3 is video encoding. A video distribution server 5 that distributes a video signal converted into a packet sequence sent from the device 2 to the user terminal UT via a network (Internet network) 4 is a video quality management device that manages video quality.

このシステムにおいて、映像配信サーバ3は配信端末DTに設けられ、映像品質管理装置5は管理端末CTに設けられ、配信端末DTとユーザ端末UTと管理端末CTとはネットワーク4を介して相互に接続されている。ユーザ端末UTは、復号装置6と、品質情報通信装置7と、映像品質推定装置8とを備えている。   In this system, the video distribution server 3 is provided in the distribution terminal DT, the video quality management device 5 is provided in the management terminal CT, and the distribution terminal DT, the user terminal UT, and the management terminal CT are connected to each other via the network 4. Has been. The user terminal UT includes a decoding device 6, a quality information communication device 7, and a video quality estimation device 8.

図2に映像符号化装置2の概略構成を示す。映像符号化装置2は、高能率圧縮符号化部21と、パケット変換部22と、情報埋込部23とを備えている。高能率圧縮符号化部21は、映像入力装置1からの映像信号をIフレーム、Pフレーム、Bフレームにより高能率圧縮符号化する。これら3種類のフレームは、規則性をもって生成され、符号化される。パケット変換部22は、高能率圧縮符号化部21により高能率圧縮符号化された映像信号をパケット列(パケットP1,P2,P3・・・・)に変換し、情報埋込部23へ送る。   FIG. 2 shows a schematic configuration of the video encoding device 2. The video encoding device 2 includes a high-efficiency compression encoding unit 21, a packet conversion unit 22, and an information embedding unit 23. The high-efficiency compression encoding unit 21 performs high-efficiency compression encoding on the video signal from the video input device 1 using I frames, P frames, and B frames. These three types of frames are generated with regularity and encoded. The packet converting unit 22 converts the video signal subjected to the high efficiency compression encoding by the high efficiency compression encoding unit 21 into a packet sequence (packets P1, P2, P3,...) And sends the packet to the information embedding unit 23.

情報埋込部23は、パケット変換部22からのパケット(映像パケット)Pのそれぞれのヘッダ内のTOSビットもしくはペイロード内に、その映像パケットPが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。この実施の形態では、高能率圧縮符号化時のフレーム種別としてIフレーム、Pフレーム、Bフレームの種別(I,P,B)を、フレーム発生規則としてIフレーム、Pフレーム、Bフレームの発生規則であるGOPのパラメータを埋め込む。具体的には、Iピクチャの繰り返し周期N、およびPまたはIの繰り返し周期Mを映像パケットPに埋め込む。   The information embedding unit 23 includes a frame type and frame generation at the time of high-efficiency compression encoding to which the video packet P belongs in the TOS bit or payload in each header of the packet (video packet) P from the packet conversion unit 22 Embed rules. In this embodiment, I frame, P frame, and B frame types (I, P, and B) are used as frame types at the time of high-efficiency compression encoding, and I frame, P frame, and B frame generation rules are used as frame generation rules. Embed GOP parameters. Specifically, the repetition period N of I picture and the repetition period M of P or I are embedded in the video packet P.

なお、映像パケットPのヘッダ内には、その映像パケットPを特定する情報として、その映像パケットPの生成番号が書き込まれることは言うまでもない。また、この実施の形態では、パケット変換部22の後段に情報埋込部23を設けたが、パケット変換部22の前段に情報埋込部23を設けるようにしてもよい。すなわち、高能率圧縮符号化に際する各フレームの符号化データにフレーム種別やフレーム発生規則を付すことにより、各映像パケットにフレーム種別やフレーム発生規則が埋め込まれるようにしてもよい。   It goes without saying that the generation number of the video packet P is written in the header of the video packet P as information for specifying the video packet P. In this embodiment, the information embedding unit 23 is provided at the subsequent stage of the packet converting unit 22, but the information embedding unit 23 may be provided at the preceding stage of the packet converting unit 22. That is, the frame type and the frame generation rule may be embedded in each video packet by attaching the frame type and the frame generation rule to the encoded data of each frame at the time of high-efficiency compression encoding.

情報埋込部23からの高能率圧縮符号化時のフレーム種別およびフレーム発生規則が埋め込まれた映像パケットPは映像配信サーバ3へ送られる。映像配信サーバ3は映像符号化装置2からの映像パケットPをネットワーク4を介してユーザ端末UTへ送る。ユーザ端末UTは映像配信サーバ3からの映像パケットPを復号装置6において受信する。復号装置6は、映像配信サーバ3からの映像パケットPを次々に受信し、その映像パケットPのデータを復号して行く。   The video packet P in which the frame type and the frame generation rule at the time of high-efficiency compression encoding are embedded from the information embedding unit 23 is sent to the video distribution server 3. The video distribution server 3 sends the video packet P from the video encoding device 2 to the user terminal UT via the network 4. The user terminal UT receives the video packet P from the video distribution server 3 at the decoding device 6. The decoding device 6 receives the video packets P from the video distribution server 3 one after another and decodes the data of the video packets P.

図3に復号装置6の内部構成の概略を示す。復号装置6にはゆらぎ吸収バッファ61とパケット復号部62と遅着パケット情報出力部63が設けられている。ゆらぎ吸収バッファ61は、遅着パケットを廃棄しながら、入力される映像パケットPを取り込む。例えば、映像パケットPがP1,P2,P3の順で入力された場合、映像パケットP3の入力タイミングが所定のタイミングよりも遅れて入力されると、この映像パケットP3を遅着パケットとして廃棄する。正常なタイミングで入力された映像パケットP1,P2は取り込む。   FIG. 3 shows an outline of the internal configuration of the decoding device 6. The decoding device 6 is provided with a fluctuation absorbing buffer 61, a packet decoding unit 62, and a late arrival packet information output unit 63. The fluctuation absorbing buffer 61 captures the input video packet P while discarding the late arrival packet. For example, when the video packet P is input in the order of P1, P2, and P3, if the input timing of the video packet P3 is input later than a predetermined timing, the video packet P3 is discarded as a late arrival packet. Video packets P1 and P2 input at normal timing are captured.

廃棄された映像パケットPは遅着パケット情報出力部63へ送られる。遅着パケット情報出力部63は、廃棄された映像パケットPの生成番号、廃棄された映像パケットPに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則を端末における損失パケット情報として品質情報通信装置7へ送る。   The discarded video packet P is sent to the late arrival packet information output unit 63. The late arrival packet information output unit 63 uses the generation number of the discarded video packet P, the frame type and the frame generation rule at the time of high-efficiency compression encoding embedded in the discarded video packet P as lost packet information in the terminal. It is sent to the quality information communication device 7.

ゆらぎ吸収バッファ61に取り込まれた映像パケットPはパケット復号部62に送られる。パケット復号部62は、ゆらぎ吸収バッファ61からの映像パケットPを次々に受信し、その映像パケットPのデータを復号して行く。この際、パケット復号部62は、パケット損失により映像劣化となるフレームを検出し、そのフレーム情報を品質情報通信装置7へ送る。   The video packet P captured in the fluctuation absorbing buffer 61 is sent to the packet decoding unit 62. The packet decoding unit 62 receives the video packets P from the fluctuation absorbing buffer 61 one after another, and decodes the data of the video packets P. At this time, the packet decoding unit 62 detects a frame that causes video degradation due to packet loss, and sends the frame information to the quality information communication device 7.

品質情報通信装置7にはネットワークにおける損失パケット情報も与えられる。この場合、ネットワーク4内で廃棄されたパケットが損失パケットとされ、その損失パケットの生成番号、その損失パケットに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則が品質情報通信装置7へ与えられる。また、ネットワーク4内で消失したパケットが損失パケットとされ、その損失パケットの前後のパケットの生成番号から推測される損失パケットの生成番号、その損失パケットの前後のパケットに埋め込まれている高能率圧縮符号化時のフレーム種別およびフレーム発生規則から推測される損失パケットの高能率圧縮符号化時のフレーム種別およびフレーム発生規則が品質情報通信装置7へ与えられる。   The quality information communication device 7 is also given lost packet information in the network. In this case, the packet discarded in the network 4 is regarded as a lost packet. The generation number of the lost packet, the frame type and the frame generation rule at the time of high efficiency compression encoding embedded in the lost packet are the quality information communication apparatus. 7 is given. In addition, a packet lost in the network 4 is regarded as a lost packet, the generation number of the lost packet estimated from the generation numbers of the packets before and after the lost packet, and high-efficiency compression embedded in the packets before and after the lost packet The quality information communication device 7 is provided with the frame type and the frame generation rule at the time of high-efficiency compression encoding of the lost packet estimated from the frame type and the frame generation rule at the time of encoding.

品質情報通信装置7は、パケット復号部62からの映像劣化となるフレーム情報と損失パケットとを対応づけ、復号装置6およびネットワーク4からの損失パケット情報(損失パケットの生成番号、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則)を品質推定装置8へ送る。図5にユーザ端末UT内の情報の流れを示す。   The quality information communication device 7 associates the frame information that causes the video degradation from the packet decoding unit 62 with the lost packet, and the lost packet information (the generation number of the lost packet, the high number to which the lost packet belongs) from the decoding device 6 and the network 4. The frame type and the frame generation rule at the time of efficient compression encoding are sent to the quality estimation device 8. FIG. 5 shows a flow of information in the user terminal UT.

映像品質推定装置8は損失パケット情報収集部81と劣化範囲推定部82と主観品質データベース83と主観品質推定部84とを備えている。品質情報通信装置7からの損失パケット情報は損失パケット情報収集部81へ与えられる。損失パケット情報収集部81は、品質情報通信装置7からの損失パケット情報のうち損失パケットの生成番号を劣化範囲推定部82の劣化度合推定手段821へ送り、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を劣化継続時間長推定手段822へ送る。   The video quality estimation apparatus 8 includes a lost packet information collection unit 81, a degradation range estimation unit 82, a subjective quality database 83, and a subjective quality estimation unit 84. Lost packet information from the quality information communication device 7 is given to the lost packet information collection unit 81. The lost packet information collection unit 81 sends the generation number of the lost packet among the lost packet information from the quality information communication device 7 to the deterioration degree estimation means 821 of the deterioration range estimation unit 82, and at the time of high efficiency compression encoding to which the lost packet belongs. The frame type and the frame generation rule are sent to the degradation duration length estimation means 822.

劣化度合推定手段821は、損失パケットの生成番号から1映像フレーム内の品質劣化の度合いを推定する。例えば、損失パケットの生成番号から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から1映像フレーム内の品質劣化の度合いを推定する。また、1映像フレームを構成する全映像パケット数に対する損失パケットの割合として求めるなどしてもよい。この場合、例えば、1映像フレームを構成する全映像パケット数が60パケット、損失パケットが20パケットであった場合、劣化度合いは20/60=1/3として求める。この劣化度合いにより、主観品質への影響が異なり、この劣化度合いと劣化現象との関係を予め実験で求めておき、設定しておくようにしてもよい。例えば、Iフレームについて、劣化度合いが1%まではブロック歪み、10%以上ならば映像停止(フリーズ)、Pフレームについて、劣化度合いが20%まではブロック歪み、20%以上ならば映像停止(フリーズ)、Bフレームについて、劣化度合いが30%まではブロック歪み、20%以上ならば映像停止(フリーズ)というように設定しておくようにしてもよい。   Deterioration degree estimation means 821 estimates the degree of quality deterioration in one video frame from the generation number of lost packets. For example, the number of lost packets in one video frame is obtained from the generation number of lost packets, and the degree of quality deterioration in one video frame is estimated from the information amount of the lost packet and the average information amount of one video frame. Alternatively, it may be determined as a ratio of lost packets to the total number of video packets constituting one video frame. In this case, for example, when the number of all video packets constituting one video frame is 60 packets and the number of lost packets is 20 packets, the degree of deterioration is determined as 20/60 = 1/3. The influence on the subjective quality differs depending on the degree of deterioration, and the relationship between the degree of deterioration and the deterioration phenomenon may be obtained in advance through experiments and set. For example, for I frames, the block distortion is 10% or more when the degree of deterioration is 1% or more, and the video stops (freezes) when the degree of deterioration is 20% or more. ) For the B frame, block distortion may be set when the degree of deterioration is up to 30%, and video stop (freeze) when the degree of deterioration is 20% or more.

劣化継続時間長推定手段822は、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定する。例えば、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定する。   Deterioration duration length estimation means 822 estimates the duration of video quality degradation from the frame type and frame generation rules at the time of high-efficiency compression encoding to which the lost packet belongs. For example, the number of video frames in which video quality degradation continues is calculated from the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs, and the duration of video quality degradation is estimated from the calculated number of video frames .

劣化範囲推定部82において推定された1映像フレーム内の品質劣化の度合いおよび映像品質劣化の継続時間長は主観品質推定部84へ送られる。なお、主観品質推定部84には、図示してはいないが、コンテンツの内容や帯域などの原画情報も与えられる。この原画情報は、予めユーザ端末UT内に設定しておくようにしてもよく、配信端末DTからユーザ端末UTへ送る制御パケットに挿入するなどして提供するようにしてもよい。また、主観品質データベース83には、予め実験などで得られた品質劣化の度合い、品質劣化の継続時間長および原画情報をパラメータとした主観品質の値が格納されている。   The degree of quality degradation in one video frame estimated by the degradation range estimation unit 82 and the duration of the video quality degradation are sent to the subjective quality estimation unit 84. Although not shown in the drawing, the subjective quality estimation unit 84 is also provided with original picture information such as the content and bandwidth. This original image information may be set in advance in the user terminal UT, or may be provided by inserting it into a control packet sent from the distribution terminal DT to the user terminal UT. The subjective quality database 83 stores subjective quality values using parameters of the degree of quality degradation, the duration of quality degradation, and the original image information obtained in advance through experiments or the like.

主観品質推定部84は、劣化範囲推定部82より送られてくる1映像フレーム内の品質劣化の度合いおよび映像品質劣化の継続時間長と上述した原画情報とに基づいて、それに対応する主観品質の値を主観品質データベース83より得る。主観品質推定部84は、主観品質データベース83より取得した主観品質の値(主観品質の推定値)を品質情報通信装置7へ送る。品質情報通信装置7は、主観品質推定部84からの主観品質の推定値を制御パケットに埋め込み、この主観品質の推定値が埋め込まれた制御パケットをネットワーク4を介し、管理端末CTの映像品質管理装置5へ送る。   The subjective quality estimation unit 84 is based on the degree of quality degradation in one video frame and the duration of the video quality degradation sent from the degradation range estimation unit 82 and the above-described original picture information. A value is obtained from the subjective quality database 83. The subjective quality estimation unit 84 sends the subjective quality value (subjective quality estimate value) acquired from the subjective quality database 83 to the quality information communication device 7. The quality information communication apparatus 7 embeds the subjective quality estimation value from the subjective quality estimation unit 84 in the control packet, and transmits the control packet in which the subjective quality estimation value is embedded via the network 4 to the video quality management of the management terminal CT. Send to device 5.

なお、この実施の形態において、配信端末DTとユーザ端末UTとの間の制御パケットやユーザ端末UTと管理端末CTとの間の制御パケットなどにはRTCP(RTP Control Protocol)が用いられ、これら制御パケットはRTP(Real-time Transport Protocol)に基づいて送受信される。   In this embodiment, RTCP (RTP Control Protocol) is used for a control packet between the distribution terminal DT and the user terminal UT, a control packet between the user terminal UT and the management terminal CT, and the like. Packets are transmitted and received based on RTP (Real-time Transport Protocol).

映像品質管理装置5には、図4に示すように、映像品質管理目標値テーブル51と映像品質判定部52が設けられている。映像品質判定部52は、ユーザ端末UTから主観品質の推定値が埋め込まれた制御パケットが送られてくると、この制御パケットから主観品質の推定値を抽出する。そして、抽出した主観品質の推定値に対応する映像品質管理目標値を映像品質管理目標値テーブル51より取り出し、両者を比較することによって映像品質の劣化を判定し、その判定結果に応じた品質管理のアクションをとる。   As shown in FIG. 4, the video quality management apparatus 5 is provided with a video quality management target value table 51 and a video quality determination unit 52. When a control packet in which an estimated value of subjective quality is embedded is sent from the user terminal UT, the video quality determination unit 52 extracts the estimated value of subjective quality from the control packet. Then, a video quality management target value corresponding to the extracted subjective quality estimation value is extracted from the video quality management target value table 51, and the two are compared to determine video quality degradation. Take action.

なお、この実施の形態では、ユーザ端末UTへ送る映像パケット毎にその映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込むようにしたが、ユーザ端末UTへ送る映像パケット毎にその映像パケットの生成番号、その映像パケットPが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したテーブル(パケット情報テーブル)を制御パケットに埋め込み、ネットワーク4を介してユーザ端末UTに送るようにしてもよい。この場合、ユーザ端末UTでは、ネットワーク4を介して送られてくる制御パケットに埋め込まれたテーブルを参照することにより、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を知ることができる。   In this embodiment, for each video packet to be sent to the user terminal UT, the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the video packet belongs are embedded, but for each video packet to be sent to the user terminal UT. A table (packet) in which the generation number of the video packet, the frame type (I, P, B) and the frame generation rule (GOP parameters (M, N)) to which the video packet P belongs are recorded. An information table) may be embedded in the control packet and sent to the user terminal UT via the network 4. In this case, the user terminal UT knows the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs by referring to the table embedded in the control packet sent via the network 4. Can do.

〔実施の形態2〕
図6は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態2)を示すブロック構成図である。実施の形態1ではユーザ端末UTに映像品質推定装置8を設けていたが、実施の形態2では管理端末CTに映像品質推定装置8を設けている。このようにすると、ユーザ端末UTでの処理負担を軽減することができる。また、映像品質推定装置8を管理端末CTに設けることにより、主観品質の推定結果をネットワーク品質管理にすぐに役立てることができる。
[Embodiment 2]
FIG. 6 is a block diagram showing another example (Embodiment 2) of the video quality management system used for implementing the video quality management method according to the present invention. In the first embodiment, the video quality estimation device 8 is provided in the user terminal UT. However, in the second embodiment, the video quality estimation device 8 is provided in the management terminal CT. In this way, the processing burden on the user terminal UT can be reduced. Further, by providing the video quality estimation device 8 in the management terminal CT, the subjective quality estimation result can be immediately used for network quality management.

図7に管理端末CT内の情報の流れを示す。この場合、ユーザ端末UTからネットワーク4を介して管理端末CTへ、損失パケットの生成番号、損失パケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を埋め込んだ制御パケットを送るようにする。これにより、実施の形態1と同様にして、映像品質推定装置8において主観品質の推定値が求められる。また、映像品質管理装置5において、映像品質の劣化の判定が行われる。この実施の形態2では、映像品質推定装置8と映像品質管理装置5とが同一の管理装置CT内に設けられるので、制御パケットによる情報の遣り取りは発生しない。   FIG. 7 shows a flow of information in the management terminal CT. In this case, from the user terminal UT to the management terminal CT via the network 4, the generation number of the lost packet, the frame type (I, P, B) at the time of high efficiency compression encoding to which the lost packet belongs and the frame generation rule (GOP) A control packet in which parameters (M, N)) are embedded is sent. Thereby, the estimated value of subjective quality is calculated | required in the video quality estimation apparatus 8 similarly to Embodiment 1. FIG. Further, the video quality management device 5 determines video quality degradation. In the second embodiment, since the video quality estimation device 8 and the video quality management device 5 are provided in the same management device CT, information exchange by the control packet does not occur.

〔実施の形態3〕
図8は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態3)を示すブロック構成図である。実施の形態1ではユーザ端末UTに映像品質推定装置8を設け、管理端末CTに映像品質管理装置5を設けていたが、実施の形態3では映像品質推定装置8および映像品質管理装置5を配信端末DTに設けている。この構成例はサーバでの個別ユーザ管理に有用である。
[Embodiment 3]
FIG. 8 is a block diagram showing another example (Embodiment 3) of the video quality management system used for implementing the video quality management method according to the present invention. In the first embodiment, the video quality estimation device 8 is provided in the user terminal UT and the video quality management device 5 is provided in the management terminal CT. However, in the third embodiment, the video quality estimation device 8 and the video quality management device 5 are distributed. The terminal DT is provided. This configuration example is useful for individual user management in the server.

図9に配信端末DT内の情報の流れを示す。この場合、配信端末DTでは、ユーザ端末UTへの映像パケット毎にその映像パケットの生成番号、その映像パケットが属する高能率圧縮符号化時のフレーム種別(I、P、B)およびフレーム発生規則(GOPのパラメータ(M,N))を記したパケット情報テーブルTB1を作成し、メモリへ記憶させておく。また、損失パケットの生成番号を埋め込んだ制御パケットをユーザ端末UTからネットワーク4を介して配信端末DTに送るようにする。   FIG. 9 shows a flow of information in the distribution terminal DT. In this case, in the distribution terminal DT, for each video packet to the user terminal UT, the generation number of the video packet, the frame type (I, P, B) and the frame generation rule (high efficiency compression encoding to which the video packet belongs) A packet information table TB1 describing GOP parameters (M, N)) is created and stored in the memory. Further, the control packet in which the generation number of the lost packet is embedded is sent from the user terminal UT to the distribution terminal DT via the network 4.

配信端末DTにおいて、損失パケット情報収集部81は、ユーザ端末UTから送られてくる損失パケットの生成番号が埋め込まれた制御パケットを受信すると、その制御パケットから損失パケットの生成番号を抽出し、劣化度合推定手段821へ送る。また、抽出した損失パケットの生成番号を検索キーとしてパケット情報テーブルTB1にアクセスし、その損失パケットの高能率圧縮符号化時のフレーム種別およびフレーム発生規則を取得し、劣化継続時間長推定手段822へ送る。これにより、実施の形態1と同様にして、映像品質推定装置8において主観品質の推定値が求められる。また、映像品質管理装置5において、映像品質の劣化の判定が行われる。   In the distribution terminal DT, when the lost packet information collection unit 81 receives the control packet in which the generation number of the lost packet sent from the user terminal UT is embedded, the lost packet information collection unit 81 extracts the generation number of the lost packet from the control packet and degrades it. This is sent to the degree estimating means 821. Also, the packet information table TB1 is accessed using the extracted generation number of the lost packet as a search key, the frame type and the frame generation rule at the time of high-efficiency compression encoding of the lost packet are acquired, and the deterioration duration length estimation means 822 is obtained. send. Thereby, the estimated value of subjective quality is calculated | required in the video quality estimation apparatus 8 similarly to Embodiment 1. FIG. Further, the video quality management device 5 determines video quality degradation.

〔実施の形態4〕
図10は本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態4)を示すブロック構成図である。この実施の形態4は、テレビ会議のような双方向映像通信サービスの品質管理を行う場合の構成例であり、ネットワーク4にはユーザ端末UT1,UT2が接続されている。
[Embodiment 4]
FIG. 10 is a block diagram showing another example (Embodiment 4) of a video quality management system used for implementing a video quality management method according to the present invention. The fourth embodiment is a configuration example in the case of performing quality management of a bidirectional video communication service such as a video conference, and user terminals UT1 and UT2 are connected to the network 4.

ユーザ端末UT1は、映像符号化装置2−1と復号装置6−1と品質情報通信装置7−1と映像品質推定装置8−1とを有している。ユーザ端末UT2もユーザ端末UT1と同様に、映像符号化装置2−2と復号装置6−2と品質情報通信装置7−2と映像品質推定装置8−2とを有している。   The user terminal UT1 includes a video encoding device 2-1, a decoding device 6-1, a quality information communication device 7-1, and a video quality estimation device 8-1. Similarly to the user terminal UT1, the user terminal UT2 includes a video encoding device 2-2, a decoding device 6-2, a quality information communication device 7-2, and a video quality estimation device 8-2.

映像符号化装置2−1は、ユーザ端末UT2へ送る映像パケットに、その映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。映像符号化装置2−2は、ユーザ端末UT1へ送る映像パケットに、その映像パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む。   The video encoding device 2-1 embeds a frame type and a frame generation rule at the time of high-efficiency compression encoding to which the video packet belongs in a video packet to be sent to the user terminal UT 2. The video encoding device 2-2 embeds a frame type and a frame generation rule at the time of high-efficiency compression encoding to which the video packet belongs in the video packet to be sent to the user terminal UT1.

映像品質推定装置8−1は、図1に示した映像品質推定装置8と同様にして主観品質の推定値を求め、この主観品質の推定値を埋め込んだ制御パケットを品質情報通信装置7−1を介して管理装置CT内の映像品質管理装置5に送る。映像品質推定装置8−2も、映像品質推定装置8−1と同様にして主観品質の推定値を求め、この主観品質の推定値を埋め込んだ制御パケットを管理装置CT内の映像品質管理装置5に送る。   The video quality estimation apparatus 8-1 obtains an estimated value of subjective quality in the same manner as the video quality estimation apparatus 8 shown in FIG. 1, and sends a control packet in which the estimated value of subjective quality is embedded to the quality information communication apparatus 7-1. To the video quality management device 5 in the management device CT. Similarly to the video quality estimation apparatus 8-1, the video quality estimation apparatus 8-2 also obtains an estimated value of subjective quality, and transmits a control packet in which the estimated value of subjective quality is embedded in the video quality management apparatus 5 in the management apparatus CT. Send to.

なお、上述した実施の形態1〜4では、映像品質管理装置5を管理端末CTや配信端末DTに設けるようにしたが、ユーザ端末UTに組み込むようにしてもよい。映像品質管理装置5をユーザ端末UTに組み込むようにすると、苦情時のユーザ端末の品質把握に素早く対応することが可能となる。   In Embodiments 1 to 4 described above, the video quality management device 5 is provided in the management terminal CT and the distribution terminal DT, but may be incorporated in the user terminal UT. If the video quality management device 5 is incorporated into the user terminal UT, it is possible to quickly cope with the quality grasp of the user terminal at the time of complaint.

以上の説明から明らかなように、本実施の形態の映像品質管理システムによれば、損失パケットの生成番号から1映像フレーム内の品質劣化の度合いが推定され、損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長が推定され、この推定された映像品質劣化の度合いと映像品質劣化の継続時間長に基づいてユーザ端末において復号される映像の主観品質が推定されるものとなり、簡単な構成で、品質推定の精度向上を図ることができるようになる。   As is clear from the above description, according to the video quality management system of the present embodiment, the degree of quality degradation in one video frame is estimated from the generation number of the lost packet, and the high-efficiency compression encoding to which the lost packet belongs. The duration of the video quality degradation is estimated from the frame type and the frame generation rule at the time, and the subjective quality of the video decoded at the user terminal based on the estimated degree of the video quality degradation and the duration of the video quality degradation Therefore, the accuracy of quality estimation can be improved with a simple configuration.

また、本実施の形態の映像品質管理システムによれば、ネットワークにおける損失パケットだけではなく、ユーザ端末で生じるゆらぎ吸収バッファによるパケット廃棄の情報を復号装置で出力することにより、パケットとして廃棄される全ての品質情報を得ることができ、正確なパケット品質が把握できるようになる。これらの品質情報を制御パケットに搭載してリアルタイムで遣り取りすることにより、任意の場所における品質管理がリアルタイムかつユーザ毎に高精度に品質推定できることで高度な映像品質管理が可能となる。   Further, according to the video quality management system of the present embodiment, not only the lost packet in the network but also the packet discard information generated by the fluctuation absorbing buffer generated in the user terminal is output by the decoding device, and all the packets discarded as a packet Quality information can be obtained, and accurate packet quality can be grasped. By installing these quality information in the control packet and exchanging in real time, quality management at an arbitrary location can be performed in real time and with high accuracy for each user, so that advanced video quality management can be performed.

本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの一例(実施の形態1)を示すブロック構成図である。It is a block block diagram which shows an example (Embodiment 1) of the video quality management system used for implementation of the video quality management method concerning this invention. この映像品質管理システムにおける映像符号化装置の概略構成を示す図である。It is a figure which shows schematic structure of the video coding apparatus in this video quality management system. この映像品質管理システムにおける復号装置の概略構成を示す図である。It is a figure which shows schematic structure of the decoding apparatus in this video quality management system. この映像品質管理システムにおける映像品質管理装置の概略構成を示す図である。It is a figure which shows schematic structure of the video quality management apparatus in this video quality management system. この映像品質管理システムにおけるユーザ端末内の情報の流れを示す図である。It is a figure which shows the flow of the information in the user terminal in this video quality management system. 本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態2)を示すブロック構成図である。It is a block block diagram which shows the other example (Embodiment 2) of the video quality management system used for implementation of the video quality management method concerning this invention. この映像品質管理システムにおける管理端末内の情報の流れを示す図である。It is a figure which shows the flow of the information in the management terminal in this video quality management system. 本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態3)を示すブロック構成図である。It is a block block diagram which shows the other example (Embodiment 3) of the video quality management system used for implementation of the video quality management method concerning this invention. この映像品質管理システムにおける配信端末内の情報の流れを示す図である。It is a figure which shows the flow of the information in the delivery terminal in this video quality management system. 本発明に係る映像品質管理方法の実施に用いる映像品質管理システムの他の例(実施の形態4)を示すブロック構成図である。It is a block block diagram which shows the other example (Embodiment 4) of the video quality management system used for implementation of the video quality management method concerning this invention.

符号の説明Explanation of symbols

1…映像入力装置、2…映像符号化装置、21…高能率圧縮符号化部、22…パケット変換部、23…情報埋込部、3…映像配信サーバ、4…ネットワーク(インターネット網)、5…映像品質管理装置、51…映像品質管理目標値テーブル、52…映像品質判定部、6…復号装置、61…ゆらぎ吸収バッファ、62…パケット復号部、63…遅着パケット情報出力部、7…品質情報通信装置、8…映像品質推定装置、81…損失パケット情報収集部、82…劣化範囲推定部、821…劣化度合推定手段、822…劣化継続時間長推定手段、83…主観品質データベース、84…主観品質推定部、TB1…パケット情報テーブル、UT…ユーザ端末、CT…管理端末、DT…配信装置、P(P1,P2,P3)…映像パケット、UT1,UT2…ユーザ端末、2−1,2−2…映像復号化装置、6−1,6−2…復号装置、7−1,7−2…品質情報通信装置、8−1,8−2…映像品質推定装置。
DESCRIPTION OF SYMBOLS 1 ... Video input device, 2 ... Video encoding device, 21 ... High efficiency compression encoding part, 22 ... Packet conversion part, 23 ... Information embedding part, 3 ... Video distribution server, 4 ... Network (internet network), 5 ... Video quality management device, 51 ... Video quality management target value table, 52 ... Video quality judgment unit, 6 ... Decoding device, 61 ... Fluctuation absorption buffer, 62 ... Packet decoding unit, 63 ... Late arrival packet information output unit, 7 ... Quality information communication device, 8 ... Video quality estimation device, 81 ... Loss packet information collection unit, 82 ... Deterioration range estimation unit, 821 ... Deterioration degree estimation means, 822 ... Deterioration duration length estimation means, 83 ... Subjective quality database, 84 ... subjective quality estimation unit, TB1 ... packet information table, UT ... user terminal, CT ... management terminal, DT ... delivery device, P (P1, P2, P3) ... video packet, UT1, UT ... User terminals, 2-1, 2-2 ... Video decoding device, 6-1, 6-2 ... Decoding device, 7-1, 7-2 ... Quality information communication device, 8-1, 8-2 ... Video Quality estimation device.

Claims (19)

映像信号を高能率圧縮符号化する第1ステップと、
前記高能率圧縮符号化された映像信号をパケット列に変換する第2ステップと、
前記パケット列に変換された映像信号をネットワークを介してユーザ端末に送る第3ステップと、
前記ネットワークおよび前記ユーザ端末における損失パケットを検出する第4ステップと、
前記損失パケットを特定する情報、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて前記ユーザ端末において復号される映像の品質を推定する第5ステップと
を備えることを特徴とする映像品質管理方法。
A first step of highly efficient compression encoding of a video signal;
A second step of converting the high-efficiency compression-encoded video signal into a packet sequence;
A third step of sending the video signal converted into the packet sequence to a user terminal via a network;
A fourth step of detecting lost packets in the network and the user terminal;
And a fifth step of estimating the quality of video decoded at the user terminal based on information identifying the lost packet, a frame type and a frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs. A video quality control method characterized by
請求項1に記載された映像品質管理方法において、
前記ユーザ端末へ送るパケット毎にそのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込むステップ
を備えることを特徴とする映像品質管理方法。
The video quality management method according to claim 1,
Embedding a frame type and a frame generation rule at the time of the high-efficiency compression encoding to which each packet to be sent to the user terminal belongs.
請求項1に記載された映像品質管理方法において、
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを制御パケットに埋め込み、前記ネットワークを介して前記ユーザ端末に送るステップ
を備えることを特徴とする映像品質管理方法。
The video quality management method according to claim 1,
For each packet sent to the user terminal, information specifying the packet, a table describing the frame type and frame generation rule at the time of the high-efficiency compression encoding to which the packet belongs is embedded in a control packet, and the user is transmitted via the network. A video quality management method comprising: sending to a terminal.
請求項1に記載された映像品質管理方法において、
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを前記パケットの送信元の端末に記憶させるステップと、
前記損失パケットを特定する情報を埋め込んだ制御パケットを前記ユーザ端末から前記ネットワークを介して前記パケットの送信元の端末に送るステップと
を備えることを特徴とする映像品質管理方法。
The video quality management method according to claim 1,
Storing information specifying the packet for each packet to be sent to the user terminal, a table describing a frame type and a frame generation rule at the time of the high-efficiency compression encoding to which the packet belongs, in a terminal that is a source of the packet; ,
Sending a control packet in which information specifying the lost packet is embedded from the user terminal to the terminal that is the transmission source of the packet via the network.
請求項1〜4の何れか1項に記載された映像品質管理方法において、
前記第5ステップは、
前記損失パケットを特定する情報から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理方法。
In the video quality management method according to any one of claims 1 to 4,
The fifth step includes
Estimating the degree of quality degradation in one video frame from the information specifying the lost packet, and estimating the duration of video quality degradation from the frame type and frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs And estimating the quality of the video decoded at the user terminal based on the estimated degree of video quality degradation and the duration of the video quality degradation.
請求項1〜4の何れか1項に記載された映像品質管理方法において、
前記第5ステップは、前記損失パケットを特定する情報から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理方法。
In the video quality management method according to any one of claims 1 to 4,
In the fifth step, the number of lost packets in one video frame is obtained from information specifying the lost packet, and the degree of quality degradation in one video frame from the information amount of the lost packet and the average information amount of one video frame. And calculating the number of video frames in which video quality degradation continues from the frame type and the frame generation rule at the time of high-efficiency compression encoding to which the lost packet belongs, and the duration of video quality degradation from the calculated number of video frames And estimating the quality of the video decoded at the user terminal based on the estimated degree of video quality degradation and the duration of the video quality degradation.
請求項1〜6の何れか1項に記載された映像品質管理方法において、
前記第4ステップは、
前記ユーザ端末のゆらぎ吸収バッファにおいて廃棄されたパケットを前記ユーザ端末における損失パケットとして検出する
ことを特徴とする映像品質管理方法。
In the video quality management method according to any one of claims 1 to 6,
The fourth step includes
A video quality management method, comprising: detecting a packet discarded in a fluctuation absorbing buffer of the user terminal as a lost packet in the user terminal.
請求項1〜7の何れか1項に記載された映像品質管理方法において、
前記高能率圧縮符号化時のフレーム種別は、
フレーム間予測を用いずフレーム内で符号化処理を行うIフレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うPフレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うBフレームの3種類であり、
前記フレーム発生規則は、
前記Iフレーム、Pフレーム、Bフレームの発生規則である
ことを特徴とする映像品質管理方法。
In the video quality management method according to any one of claims 1 to 7,
The frame type at the time of the high efficiency compression encoding is:
I frame that performs encoding processing within a frame without using inter-frame prediction, P frame that predicts current from the past using motion compensated prediction, and performs encoding processing with forward and backward prediction using bidirectional prediction There are three types of B frames to be processed,
The frame generation rule is:
A video quality management method, characterized by the generation rules of the I frame, P frame, and B frame.
映像信号を高能率圧縮符号化する高能率圧縮符号化手段と、
前記高能率圧縮符号化された映像信号をパケット列に変換するパケット変換手段と、
前記パケット列に変換された映像信号をネットワークを介してユーザ端末に送る送信手段と、
前記ネットワークおよび前記ユーザ端末における損失パケットを検出する損失パケット検出手段と、
前記損失パケットを特定する情報、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則に基づいて前記ユーザ端末において復号される映像の品質を推定する品質推定手段と
を備えることを特徴とする映像品質管理システム。
High-efficiency compression encoding means for high-efficiency compression encoding video signals;
Packet conversion means for converting the high-efficiency compression-encoded video signal into a packet sequence;
Transmitting means for sending the video signal converted into the packet sequence to a user terminal via a network;
Lost packet detecting means for detecting lost packets in the network and the user terminal;
Quality estimation means for estimating the quality of video decoded at the user terminal based on information identifying the lost packet, a frame type and a frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs A video quality management system characterized by
請求項9に記載された映像品質管理システムにおいて、
前記ユーザ端末へ送るパケット毎にそのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を埋め込む手段
を備えることを特徴とする映像品質管理システム。
In the video quality management system according to claim 9,
A video quality management system comprising means for embedding a frame type and a frame generation rule at the time of the high-efficiency compression encoding to which each packet to be sent to the user terminal belongs.
請求項9に記載された映像品質管理システムにおいて、
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを制御パケットに埋め込み、前記ネットワークを介して前記ユーザ端末に送る手段
を備えることを特徴とする映像品質管理システム。
In the video quality management system according to claim 9,
For each packet sent to the user terminal, information specifying the packet, a table describing the frame type and frame generation rule at the time of the high-efficiency compression encoding to which the packet belongs is embedded in a control packet, and the user is transmitted via the network. A video quality management system comprising means for sending to a terminal.
請求項9に記載された映像品質管理システムにおいて、
前記ユーザ端末へ送るパケット毎にそのパケットを特定する情報、そのパケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則を記したテーブルを前記パケットの送信元の端末に記憶させる手段と、
前記損失パケットを特定する情報を埋め込んだ制御パケットを前記ユーザ端末から前記ネットワークを介して前記パケットの送信元の端末に送る手段と
を備えることを特徴とする映像品質管理システム。
In the video quality management system according to claim 9,
Means for storing in the terminal that is the transmission source of the packet information for identifying each packet sent to the user terminal, a table describing the frame type and frame generation rule at the time of the high-efficiency compression encoding to which the packet belongs; ,
A video quality management system, comprising: a control packet in which information specifying the lost packet is embedded; and a means for sending the control packet from the user terminal to the terminal of the packet transmission source via the network.
請求項9〜12の何れか1項に記載された映像品質管理システムにおいて、
前記品質推定手段は、
前記損失パケットを特定する情報から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する前記高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理システム。
In the video quality management system according to any one of claims 9 to 12,
The quality estimation means includes
Estimating the degree of quality degradation in one video frame from the information specifying the lost packet, and estimating the duration of video quality degradation from the frame type and frame generation rule at the time of the high efficiency compression encoding to which the lost packet belongs Then, the quality of the video decoded at the user terminal is estimated based on the estimated degree of video quality degradation and the duration of the video quality degradation.
請求項9〜12の何れか1項に記載された映像品質管理システムにおいて、
前記品質推定手段は、
前記損失パケットを特定する情報から1映像フレーム内の損失パケットの数を求め、この損失パケットの情報量と1映像フレームの平均情報量から1映像フレーム内の品質劣化の度合いを推定し、前記損失パケットが属する高能率圧縮符号化時のフレーム種別およびフレーム発生規則から映像品質劣化が継続する映像フレーム数を算出し、この算出した映像フレーム数から映像品質劣化の継続時間長を推定し、この推定した映像品質劣化の度合いと映像品質劣化の継続時間長に基づいて前記ユーザ端末において復号される映像の品質を推定する
ことを特徴とする映像品質管理システム。
In the video quality management system according to any one of claims 9 to 12,
The quality estimation means includes
The number of lost packets in one video frame is obtained from the information specifying the lost packet, the degree of quality deterioration in one video frame is estimated from the information amount of the lost packet and the average information amount of one video frame, and the loss Calculate the number of video frames for which video quality degradation continues from the frame type and frame generation rules at the time of high-efficiency compression encoding to which the packet belongs, and estimate the duration of video quality degradation from this calculated number of video frames. A video quality management system, wherein the quality of video decoded at the user terminal is estimated based on the degree of video quality degradation and the duration of video quality degradation.
請求項9〜14の何れか1項に記載された映像品質管理システムにおいて、
前記損失パケット検出手段は、
前記ユーザ端末のゆらぎ吸収バッファにおいて廃棄されたパケットを前記ユーザ端末における損失パケットとして検出する
ことを特徴とする映像品質管理システム。
In the video quality management system according to any one of claims 9 to 14,
The lost packet detection means includes
A video quality management system, wherein a packet discarded in a fluctuation absorbing buffer of the user terminal is detected as a lost packet in the user terminal.
請求項9〜15の何れか1項に記載された映像品質管理システムにおいて、
前記高能率圧縮符号化時のフレーム種別は、
フレーム間予測を用いずフレーム内で符号化処理を行うIフレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うPフレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うBフレームの3種類であり、
前記フレーム発生規則は、
前記Iフレーム、Pフレーム、Bフレームの発生規則である
ことを特徴とする映像品質管理システム。
In the video quality management system according to any one of claims 9 to 15,
The frame type at the time of the high efficiency compression encoding is:
I frame that performs encoding processing within a frame without using inter-frame prediction, P frame that predicts current from the past using motion compensated prediction, and performs encoding processing with forward and backward prediction using bidirectional prediction There are three types of B frames to be processed,
The frame generation rule is:
The video quality management system according to claim 1, wherein the rules are generation rules of the I frame, the P frame, and the B frame.
請求項9に記載された映像品質管理システムにおいて、
前記品質推定手段は、前記ユーザ端末に設けられていることを特徴とする映像品質管理システム。
In the video quality management system according to claim 9,
The video quality management system, wherein the quality estimation means is provided in the user terminal.
請求項9に記載された映像品質管理システムにおいて、
前記品質推定手段は、前記ネットワークに接続された管理端末に設けられていることを特徴とする映像品質管理システム。
In the video quality management system according to claim 9,
The video quality management system, wherein the quality estimation means is provided in a management terminal connected to the network.
請求項9に記載された映像品質管理システムにおいて、
前記品質推定手段は、前記ネットワークに接続された前記パケットの送信元の端末に設けられていることを特徴とする映像品質管理システム。
In the video quality management system according to claim 9,
The video quality management system, wherein the quality estimation means is provided in a terminal of a transmission source of the packet connected to the network.
JP2004213138A 2004-07-21 2004-07-21 Video quality control method and video quality control system Expired - Lifetime JP4327674B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004213138A JP4327674B2 (en) 2004-07-21 2004-07-21 Video quality control method and video quality control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004213138A JP4327674B2 (en) 2004-07-21 2004-07-21 Video quality control method and video quality control system

Publications (2)

Publication Number Publication Date
JP2006033722A JP2006033722A (en) 2006-02-02
JP4327674B2 true JP4327674B2 (en) 2009-09-09

Family

ID=35899481

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004213138A Expired - Lifetime JP4327674B2 (en) 2004-07-21 2004-07-21 Video quality control method and video quality control system

Country Status (1)

Country Link
JP (1) JP4327674B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103270765A (en) * 2010-12-10 2013-08-28 德国电信股份有限公司 Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2651061C (en) 2006-05-05 2014-07-08 Mariner Partners, Inc. Transient video anomaly analysis and reporting system
CN101151904B (en) * 2006-05-09 2010-06-16 日本电信电话株式会社 Video quality estimating device, method, and program
US8154602B2 (en) 2006-05-09 2012-04-10 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, method, and program
US7965203B2 (en) 2006-05-09 2011-06-21 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, method, and program
US20100053300A1 (en) * 2007-02-02 2010-03-04 Einarsson Torbjoern Method And Arrangement For Video Telephony Quality Assessment
JP4733071B2 (en) * 2007-05-30 2011-07-27 日本電信電話株式会社 Video quality estimation method and apparatus
CN101558657B (en) 2007-08-22 2011-07-27 日本电信电话株式会社 Video quality estimation device, video quality estimation method, frame type judgment method
CN101626506B (en) * 2008-07-10 2011-06-01 华为技术有限公司 Method, device and system for evaluating quality of video code stream
DK2347599T3 (en) * 2008-11-04 2015-05-11 Ericsson Telefon Ab L M METHOD AND SYSTEM FOR DETERMINING A QUALITY VALUE OF A VIDEO FLOW
JP5405915B2 (en) * 2009-06-22 2014-02-05 日本電信電話株式会社 Video quality estimation apparatus, video quality estimation method, and video quality estimation apparatus control program
JP2011019127A (en) * 2009-07-09 2011-01-27 Nec Corp Image quality evaluation device, image quality evaluation method, and program for them
BR112012008605B1 (en) 2009-10-22 2021-09-08 Nippon Telegraph And Telephone Corporation VIDEO QUALITY ESTIMATION APPARATUS AND METHOD
JP2011114444A (en) 2009-11-25 2011-06-09 Fujitsu Ltd Information processor, method of generating information, and program
EP2413604B1 (en) 2010-07-30 2014-09-10 Deutsche Telekom AG Assessing the quality of a video signal during encoding or compressing of the video signal
PL2649801T3 (en) * 2010-12-10 2015-08-31 Deutsche Telekom Ag Method and apparatus for objective video quality assessment based on continuous estimates of packet loss visibility
US9450845B2 (en) 2011-04-11 2016-09-20 Nokia Solutions And Networks Oy Quality of experience

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103270765A (en) * 2010-12-10 2013-08-28 德国电信股份有限公司 Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal
CN103270765B (en) * 2010-12-10 2016-08-10 德国电信股份有限公司 For assessing the method and apparatus of video signal quality in video signal coding and transmitting procedure

Also Published As

Publication number Publication date
JP2006033722A (en) 2006-02-02

Similar Documents

Publication Publication Date Title
JP4327674B2 (en) Video quality control method and video quality control system
JP4377357B2 (en) Video quality estimation apparatus and video quality estimation method
CN100591124C (en) Code rate control method for video coding and video data emission device
US9723329B2 (en) Method and system for determining a quality value of a video stream
CN109068187B (en) Real-time traffic delivery system and method
EP1385292A2 (en) Method of generating transmission control parameters and method of selective retransmission according to packet characteristics
US8798150B2 (en) Bi-directional video compression for real-time video streams during transport in a packet switched network
KR20140098248A (en) Dynamic modification of video properties
CN109756789B (en) Method and system for processing packet loss of audio and video data packet
CN112995214B (en) Real-time video transmission system, method and computer readable storage medium
US8649277B2 (en) Communication apparatus and method
JP2005322995A (en) Buffer control method in real-time video image transfer, transmitting terminal, receiving terminal, video image distributing system and program
JP2008211579A (en) Video equality estimating method and video communication system
US20230082211A1 (en) Methods and devices for controlling a transmission of a video stream
JP2005033556A (en) Data transmitter, data transmitting method, data receiver, data receiving method
JP4354962B2 (en) Video quality estimation apparatus and video quality estimation method
US8811478B2 (en) Data transmission method and apparatus
CN113905026A (en) Streaming media video data processing method, device and storage medium
Nikzad et al. Performance evaluation of error control schemes for distributed video coding over wireless multimedia sensor networks
Kwon et al. A novel video quality impairment monitoring scheme over an ipty service with packet loss
Huszák et al. TFRC-Based Selective Retransmission for Multimedia Applications.
Xiong et al. An error resilience scheme on an end-to-end distortion analysis for video transmission over Internet
Chattopadhyay et al. Adaptive rate control for H. 264 based video conferencing over a low bandwidth wired and wireless channel
Undheim et al. Characterization of slice-based H. 264/AVC encoded video traffic
CN115643425A (en) Video communication system and video transmission method based on long reference frame

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090611

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4327674

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140619

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term