JP5405915B2 - 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム - Google Patents

映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム Download PDF

Info

Publication number
JP5405915B2
JP5405915B2 JP2009147953A JP2009147953A JP5405915B2 JP 5405915 B2 JP5405915 B2 JP 5405915B2 JP 2009147953 A JP2009147953 A JP 2009147953A JP 2009147953 A JP2009147953 A JP 2009147953A JP 5405915 B2 JP5405915 B2 JP 5405915B2
Authority
JP
Japan
Prior art keywords
packet
frame
video
unit
encoded video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009147953A
Other languages
English (en)
Other versions
JP2011004354A (ja
Inventor
和久 山岸
孝典 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009147953A priority Critical patent/JP5405915B2/ja
Publication of JP2011004354A publication Critical patent/JP2011004354A/ja
Application granted granted Critical
Publication of JP5405915B2 publication Critical patent/JP5405915B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本発明は、映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラムに関し、特にインターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービス、TV電話サービスなどの映像通信の映像品質値を推定する映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラムに関する。
インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像さらには音声を含む映像メディアを端末間あるいはサーバと端末との間で転送する映像通信サービスの普及が期待されている。
インターネットは、必ずしも通信品質が保証されていないネットワークであるため、音声および映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭かったり、回線が輻輳したりすると、音声や映像メディアなどに対してユーザが知覚する品質(ユーザ体感品質:QoS(Qualty of Experience))が劣化してしまう。
具体的には、映像を符号化すると、フレーム内の映像信号にブロック的な劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなり結果として、映像のぼけ、にじみ、モザイク上の歪み、ぎくしゃく感として知覚される。
上記のような映像通信サービスを良好な品質で提供するためには、サービス提供に先立ったアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理が重要となる。
したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便かつ効率的な映像品質評価技術が必要とされる。
従来、映像や音声の品質を評価する手法として、主観品質評価法(非特許文献1)や客観品質評価法(非特許文献2)がある。
主観品質評価法は、複数のユーザが実際に映像や音声を視聴し、感じた品質を5段階(9段階や11段階の場合もある)の品質尺度(非常に良い、良い、ふつう、悪い、非常に悪い)などにより評価し、全ユーザ数で各条件(例えば、パケット損失率0%でビットレートが20Mbps)の映像もしくは音声品質評価値を平均し、その値をMOS(Mean Opinion Score)値として定義している。
しかしながら、主観品質評価は、特別に機材等の評価環境の整備や、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。
そこで、映像の品質に影響を与える特徴量(例えば、ビットレートやパケット損失率など)を利用し、映像品質値を出力する客観品質評価法の開発が望まれている。
従来の客観品質推定法の1つに符号化による品質劣化を捉え、その個別映像品質値または平均映像品質値を推定するものがある(非特許文献2)。
ここで、個別映像品質値とは推定対象の映像コンテンツ1つずつの品質評価値を示し、1〜5で定義される値である(ただし、品質評価値は1〜9や0〜100などの他の範囲で規定されることもある。)。また、平均映像品質値とは、例えば、同じ条件下(例えば、パケット損失率0%でビットレートが20Mbpsの条件)で送信された映像の数種類(ここで、送信された映像をまとめて「映像部分集合」とする。)の個別映像品質値を映像数で割った値を平均映像品質値とし、1〜5で定義される値である(ただし、品質評価値は1〜9や0〜100などの他の範囲で規定されることもある。)。
従来の客観品質推定法の多くは、以上のようにパケットや映像信号(画素値)を用いて個別または平均映像品質値を推定するものであった。パケットのヘッダ情報のみから平均映像品質値を推定する技術としては、非特許文献2が挙げられる。
ところで、圧縮された映像フレームを伝送する際には、パケットの損失により劣化が生じる映像フレームの種別によって、映像品質に与える影響は異なってくる。
図7は、圧縮された映像フレームを伝送する際にパケット損失が発生した場合の劣化の伝搬の概念を示している。ただし、図7のGoP(Group of Pictures)構成は、M=3,N=15(Mは片方向予測の際のフレーム数の間隔を示し、NはIフレームの間隔を示す。)とする。すなわち、IフレームとPフレームの間およびPフレームとPフレームの間にBフレームが2フレーム挿入され、Iフレームの間隔が15フレームになっている。
Iフレームにパケット損失が発生した場合、後続のBフレームやPフレームがIフレームを参照し、さらにIフレームを参照したBフレームやPフレームを後続のフレームが参照するため、フレームの参照構造が途切れるまで劣化が伝搬する(図7の場合、劣化フレーム数は17フレームとなる。)。
Pフレームにパケット損失が発生した場合、Iフレーム同様に、フレームの参照構造が途切れるまで劣化が伝搬する(図7の場合、劣化フレーム数は11フレームとなる。)。
Bフレームにパケット損失が発生した場合は、IフレームやPフレームとは異なり、Bフレームを参照するフレームは存在しないため、フレームの劣化は伝搬せず、パケット損失の発生したBフレームのみが劣化する(図7の場合、劣化フレーム数は1フレームとなる。)。
ここで、圧縮された映像フレームの種別について簡単に説明する。圧縮された映像フレームにはIフレーム(Intra-frame)、Pフレーム(Predictive-frame)、Bフレーム(Bi-directional-frame)の3種類がある。Iフレームとは、前後の画面とは関係なくその画面内だけで独立して符号化された画面である。Pフレームとは、連続する画面の中で過去に存在する画面からの予測、すなわち、順方向予測によって符号化された画面である。Bピクチャとは、連続する画面の中で過去と未来の双方向に存在する画面からの予測によって符号化された画面である。
ITU−T 勧告 P.910 K. Yamagishi and T. Hayashi, "Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services," IEEE ICC 2008, CQ04-3, May 2008. DVB Document A001 Rev. 7(Specification for the use of Video and Audio Coding in Broadcasting Applications based on the MPEG-2 Transport Stream) IANSI/SCTE 128 2008(AVC Video Systems and Transport Constraints for CableTelevision)
しかしながら、非特許文献2に開示された技術は、パケットの損失回数を基に映像品質を推定する技術であり、パケットの損失により劣化したフレームの種別を考慮するものではない。例えば、Iフレームが劣化したときも、Bフレームが劣化したときも同じ劣化量であるという前提で平均映像品質を推定している。
また、従来はペイロード情報が暗号化されている場合、符号化映像における映像フレームの種別(Iフレーム,Bフレーム,Pフレーム)を示す情報は、ビットストリーム情報内、すなわち圧縮符号化された映像データ内に含まれるために、映像フレームの種別を特定できなかった。そのために、劣化を生じた映像フレームの種別を考慮して劣化フレーム数を計数できていなかった。
したがって、従来の客観品質推定法では、1つの映像フレームに生じた劣化が、他の映像フレームに与える影響、すなわち、映像フレームの損失伝搬長を考慮しないために、正確な映像品質推定ができないといった問題がある。
そこで本発明では、上述の問題を解決すべく、映像フレームの損失伝搬長を考慮して、より正確な映像品質推定を行う映像品質推定装置および映像品質の推定方法を提供することを目的とする。
上述の目的を達成するために、本発明は、入力されたパケットに含まれる符号化映像パケットの単位時間当たりのビット量であるビットレートと前記符号化映像パケットの損失によって劣化が発生する符号化映像フレームの数である劣化フレーム数とを導出して出力するパケット分析部と、符号化劣化によって影響を受ける符号化映像の品質を定量的に表した第1の映像品質値を、前記パケット分析部から出力されるビットレートに基づいて導出して出力する符号化品質推定部と、符号化およびパケット損失によって影響を受ける符号化映像の品質を定量的に表した第2の映像品質値を、前記パケット分析部から出力される劣化フレーム数と前記符号化品質推定部から出力される符号化劣化映像品質値とから導出する映像品質推定部とを備え、前記パケット分析部は、前記符号化映像フレームのうちIフレームの位置を示す情報と、前記符号化映像パケットの損失が発生している符号化映像フレームの位置を示す情報とから、前記符号化映像パケットの損失が発生した符号化映像フレームの種別を考慮して、前記劣化フレーム数を導出するフレーム劣化伝搬長導出部を備える
また、本発明の前記パケット分析部は、入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定部と、この映像パケット特定部により特定された符号化映像パケットの単位時間当たりのビット量で表されるビットレートを算出する符号量算出部と、前記映像パケット特定部により特定された符号化映像パケットから映像フレームの区切を示す情報を抽出するフレーム区切位置抽出部と、前記映像パケット特定部により特定された符号化映像パケットからIフレームの開始位置を示す情報を抽出する特定フレーム開始位置抽出部と、前記映像パケット特定部により特定された符号化映像パケットに発生しているパケット損失の位置を示す情報を前記パケットから抽出するパケット損失位置抽出部と、前記フレーム区切位置抽出部によって抽出された映像フレームの区切を示す情報と前記パケット損失位置抽出部によって抽出されたパケット損失位置を示す情報とから、パケット損失が発生している映像フレームの位置を示す情報を抽出するフレーム損失位置抽出部とをさらに備え、前記フレーム劣化伝搬長導出部は、前記特定フレーム開始位置抽出部によって抽出されたIフレームの開始位置を示す情報と前記フレーム損失位置抽出部によって導出されたパケット損失が発生している映像フレームの位置を示す情報とから、前記劣化フレーム数を導出する構成としても良い。
また、本発明の前記パケット分析部は、符号化映像パケットの損失によって劣化が発生する符号化映像フレームの数である劣化フレーム数を推定する劣化フレーム数推定部をさらに備え、この劣化フレーム数推定部は、入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定部と、前記映像パケット特定部により特定された符号化映像パケットから映像フレームの区切を示す情報を抽出するフレーム区切位置抽出部と、前記映像パケット特定部により特定された符号化映像パケットからIフレームの開始位置を示す情報を抽出する特定フレーム開始位置抽出部と、前記映像パケット特定部により特定された符号化映像パケットに発生しているパケット損失の位置を示す情報を前記パケットから抽出するパケット損失位置抽出部と、前記フレーム区切位置抽出部によって抽出された映像フレームの区切を示す情報と前記パケット損失位置抽出部によって抽出されたパケット損失位置を示す情報とから、パケット損失が発生している映像フレームの位置を示す情報を抽出するフレーム損失位置抽出部とを備え前記フレーム劣化伝搬長導出部は、前記特定フレーム開始位置抽出部によって抽出されたIフレームの開始位置を示す情報と前記フレーム損失位置抽出部によって導出されたパケット損失が発生している映像フレームの位置を示す情報とから、前記劣化フレーム数を導出する構成としても良い。
また、本発明の前記パケット分析部は、入力されたパケットに含まれる符号化映像パケットの単位時間当たりのビット量であるビットレートを推定するビットレート推定部をさらに備え、このビットレート推定部は、入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定部と、この映像パケット特定部により特定された符号化映像パケットの単位時間当たりのビット量で表されるビットレートを算出する符号量算出部とを備える構成としても良い。
本発明によれば、パケットから抽出したビットレートおよびパケットのヘッダ情報から映像フレーム種別を特定して映像フレーム種別毎に計数した劣化フレーム数に基づいて、映像通信サービスの映像品質値を導出することによって、この映像通信サービスにおける映像品質を推定することができる。
したがって、映像通信サービスの提供者は、提供中のサービスがユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
本発明の実施の形態にかかる映像品質推定装置の構成を示す図である。 本発明の実施の形態にかかる映像品質推定装置におけるパケット分析部の構成を示す図である。 本発明の実施の形態にかかる映像品質推定装置の動作を示すフローチャートである。 本発明の実施の形態にかかる映像品質推定装置に記憶されている品質特性のデータベース一例を示す図である(ビットレート対応)。 本発明の実施の形態にかかる映像品質推定装置に記憶されている品質特性のデータベースの一例を示す図である(劣化フレーム数対応)。 本発明の実施の形態にかかる映像品質推定装置に記憶されている品質特性係数のデータベースの一例を示す図である。 劣化フレームを概念的に説明する図である。 フレーム損失位置抽出を概念的に説明する図である。
以下、図面を用いて本発明の実施の形態を説明する。
本実施の形態にかかる映像品質推定装置は、映像通信にかかわる映像品質に影響を与えるビットレートやパケット損失などの特徴量を利用して映像品質を定量的に表した映像品質値を導出して客観的な映像品質評価を実現するものである。
例えば、本実施の形態においては、インターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービス、TV電話サービスなど映像通信におけるIPパケットに含まれる符号化映像パケットを分析し、これらの映像通信にかかわる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出して客観的な映像品質評価を実現する映像品質推定装置とする。
図1に示すように、本実施の形態にかかる映像品質推定装置1は、パケット分析部10と、符号化品質推定部11と、映像品質推定部12とから構成されている。
パケット分析部10は、入力されたIPパケットに含まれる符号化映像パケットのビットレートを推定するビットレート推定部10−1と、パケットの損失によって発生する符号化映像フレームの劣化フレーム数を推定する劣化フレーム数推定部10−2とから構成されており、ビットレート推定部10−1によって導出されたビットレートと劣化フレーム数推定部10−2によって導出された劣化フレーム数とを出力する。
符号化品質推定部11は、符号化劣化によって影響を受ける符号化映像の品質を定量的に表した第1の映像品質値を、パケット分析部10から出力されるビットレートに基づいて導出して出力する。
映像品質推定部12は、符号化およびパケット損失によって影響を受ける符号化映像の品質を定量的に表した第2の映像品質値を、パケット分析部10から出力される劣化フレーム数と符号化品質推定部11から出力される第1の映像品質値とから導出する。
このうち、パケット分析部10は、図2に示すように、映像パケット特定部101と、符号量算出部102と、フレーム区切位置抽出部103と、特定フレーム開始位置抽出部104と、パケット損失位置抽出部105と、フレーム損失位置抽出部106と、フレーム劣化伝搬長導出部107とから構成されており、ビットレート推定部10−1は、映像パケット特定部101と符号量算出部102とから構成され、劣化フレーム推定部10−2は、映像パケット特定部101と、フレーム区切位置抽出部103と、特定フレーム開始位置抽出部104と、パケット損失位置抽出部105と、フレーム損失位置抽出部106と、フレーム劣化伝搬長導出部107とから構成されている。
映像パケット特定部101は、入力されたIPパケットに含まれる任意の符号化映像パケットを、この符号化映像パケット固有のパケットID(PID)によって特定する。さらに、RTP(Real-time Transport Protocol)パケット内のRTPシーケンス番号、TS(Transport Stream)パケット内のCC(Continuity Counter:4ビットのカウンタ)を抽出する機能を同時に有することとしても良い。
符号量算出部102は、映像パケット特定部101によって特定される符号化映像パケットの単位時間当たりのビット量で表されるビットレートを算出する。
例えば、TSパケットのヘッダに記載されているPIDによって映像や音声の符号化データが識別され、映像データのPIDをもつTSパケット数を計数することにより、TSパケットのデータ長(一般には188バイト)を掛け合わせて単位時間当たりのビット量を算出し、ビットレートを導出する。
フレーム区切位置抽出部103は、映像パケット特定部101によって特定される符号化映像パケットから映像フレームの区切を示す情報を抽出する。
例えば、IPパケット内には、IPヘッダ,UDP(User Datagram Protocol)ヘッダ,TSヘッダ,PES(Packetized Elementary Stream)ヘッダ,ES(Elementary Stream)などの情報が存在する。このうち、TSヘッダ内にあるPayload_Unit_Start_indicator(以下、「PUSI」という。)は、PESヘッダの有無を示すフラグであり、1つのPESに1枚のフレームが含まれる場合は(TV放送内で利用される映像符号化では、1つのPESに1枚の映像フレームを格納することが多い。)、PUSIが映像フレームの開始を示す情報となる。
ここで、図8に示すフレーム損失位置抽出について概念的に説明する図を参照して、フレームの区切位置を示す情報について具体的に説明すると、図8(左列はRTPシーケンス番号を示し、左から2〜8列目はTSのCCの番号を示す。)に示すように、PUSIが含まれるTSがフレームの先頭位置を示す。フレームの区切位置を示す情報としては、フレームの先頭位置のRTPシーケンス番号や、分析区間の最初から数えて何個目のIPパケットであるか、またはPUSIを含むパケットが何フレーム目であるかを記憶すればよい。フレームのカウント方法は、分析区間のPUSIの数をカウントすればよい。
ただし、PESヘッダが利用可能であるときは、PTS(Presentation Time Stamp)やDTS(Decoding Time Stamp)がフレームの区切位置を示している情報となるので、上記のPUSIと同様の処理を実行する。
特定フレーム開始位置抽出部104は、映像パケット特定部101によって特定される符号化映像パケットから、特定の映像フレームの開始位置を示す情報を抽出する。
ここで、本実施の形態にかかる映像品質推定装置における特定フレーム開始位置抽出部104は、「Iフレーム」の開始位置を示す情報を抽出することを前提とする。
Iフレームの開始位置を示す情報としては、TSヘッダ内のRAI(Random_Access_Indicator)やESPI(Elementary_Stream_Priority_Indicator)が、IフレームやIDR(Instantaneous Decoder Refresh)フレームの開始位置を示しているフラグである(非特許文献3,4参照)。すなわち、RAIやESPIは、IフレームやIDRフレームの先頭位置を示す情報となるので、Iフレームの区切とその他のフレームの区切を識別できる。
仮に、RAIやESPIがIフレームやIDRフレームの開始位置を示していない場合でも、特定フレーム開始位置抽出部104は、フレーム区切位置抽出部103によって抽出されたフレームの開始位置を示すPUSIを利用して各フレームのデータ量を計算することによって、Iフレームの位置を特定することとする。すなわち、Iフレームの情報量は、他の映像フレームの情報量よりも多いという基本的な特徴から、IPパケット内の映像フレームにおいて、データ量の多い映像フレームをGoP長から換算してIフレームと特定する。
例えば、IPパケット内の映像フレーム数が300としてGoP長が15であるならば、Iフレームの数は20である。したがって、IPパケット内の映像フレームのうち、データ量の多い20の映像フレームをIフレームと特定することができる。
また、特定されたIフレームの位置を示すために、フレームの先頭位置のRTPシーケンス番号や、分析区間の最初から数えて何個目のIPパケットであるかを記憶する。
パケット損失位置抽出部105は、映像パケット特定部101により特定された符号化映像パケットに発生しているパケット損失の位置を示す情報を入力されたIPパケットから抽出する。ここで、符号化映像パケットにおけるパケットの損失は、TSパケット内のCCやRTPパケット内のRTPシーケンス番号の抜けによって識別することができる。
フレーム損失位置抽出部106は、フレーム区切位置抽出部103によって抽出された映像フレームの区切を示す情報とパケット損失位置抽出部105によって抽出されたパケット損失位置を示す情報とから、パケット損失が発生している映像フレームの位置を特定する。
具体的には、図8に示すように、フレーム区切位置抽出部103によってRTPシーケンス番号が10000,10100,10130などが入力されたとする。仮に、RTPシーケンス番号10002が損失した場合、上述のRTPシーケンス番号10000と10100との間であることから、劣化フレーム位置を抽出して、分析区間の何フレーム目が損失したのかを示す情報を抽出できる(この場合では、50フレーム目のIフレームとなる)。
フレーム劣化伝搬長導出部107は、特定フレーム開始位置抽出部104によって抽出されたIフレームの位置を示す情報(RTPシーケンス番号や分析区間の最初から数えて何個目のIPパケット(図8の場合、RTPシーケンス番号が10000)であるか、またはフレーム区切位置抽出部103によって抽出された各フレームのフレーム開始位置情報(図8の場合、RTPシーケンス番号が10000,10100,10130など)。)とフレーム損失位置抽出部によって導出されたパケット損失が発生している映像フレームの位置(パケット損失の発生したフレームの位置情報(図8の場合、RTPシーケンス番号が10002)。)を示す情報とから、パケット損失によって発生する映像フレームの劣化フレーム数を導出する。
例えば、フレーム劣化伝搬長導出部107は、Iフレームにパケット損失が発生している場合では、フレームの参照構造が途切れるまで劣化が伝搬するために、劣化フレーム数を的確に導出することができる。
BフレームやPフレームにパケット損失が発生している場合では、Bフレームにパケット損失が発生しているならば劣化フレーム数は常に1であり、Pフレームにパケット損失が発生しているならば、劣化フレーム数はパケット損失が発生しているPフレームの位置に依存する。
このために、フレーム劣化伝搬長導出部107は、Iフレーム以外にパケット損失が発生しているときは、Pフレームが損失したと仮定して見積もることができる劣化フレーム数と、Bフレームが損失したと仮定して見積もることができる劣化フレーム数とを平均した値を劣化フレーム数として導出する。
図7のケース2の例では、Pフレームにパケット損失が発生している場合の劣化フレーム数11フレーム(Pフレームにパケット損失あり)とBフレームにパケット損失が発生している場合の劣化フレーム数1フレーム(Bフレームにパケット損失あり)との平均値(11+1)/2=6と導出される。
また、フレーム劣化伝搬長導出部107は、GoP構造を利用してパケット損失が発生している映像フレームがBフレームまたはPフレームのいずれかであるかを確定させ、劣化フレーム数を導出しても良い。
図7の例のGoP構造は、M=3,N=15であるので、Iフレーム以降の映像フレームの種別毎の並びは、Bフレーム,Bフレーム,Pフレームという順番となる。このように、フレーム種別の並び順からパケット損失が発生している映像フレームの種別を特定することができる。
図7のケース2の例において、フレーム劣化伝搬長導出部107は、パケット損失が発生しているPフレームをGoP構造から特定すると、このPフレームから品質劣化の伝搬区間を計数して、劣化フレーム数「11」を導出し、ケース3の例においては、パケット損失が発生しているBフレームをGoP構造から特定すると、劣化フレーム数「1」を導出する。
また、フレーム劣化伝搬長導出部107は、Iフレーム以外の映像フレームを全てPフレームと仮定して、パケット損失が発生している映像フレームから次のIフレームまで後続する映像フレームの数を劣化フレーム数として導出するとしても良い。
なお、本実施の形態にかかる映像品質推定装置1は、CPU(中央演算装置)やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質推定装置1の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム(ソフトウェア)とが協働して実現される。
次に、図3を参照して、本実施の形態にかかる映像品質推定装置の動作について説明する。
図3に示すように、映像品質推定装置1のパケット分析部10は入力されたIPパケットをキャプチャする(S101)。キャプチャしたIPパケットから、パケット分析部10は符号化映像パケットのビットレートと劣化フレーム数を導出する(S102)。
パケット分析部10によって導出されたビットレートは符号化品質推定部11へ、劣化フレーム数は映像品質推定部12へ入力される。
[第1の映像品質値の導出]
符号化品質推定部11は、パケット分析部10によって導出されたビットレートに基づいて符号化劣化のみが加わった場合の第1の映像品質値を導出する(S103)。
符号化品質推定部11による第1の映像品質値の導出は、映像品質推定装置1の図示しない記憶部に保持されている符号化映像パケットのビットレートと第1の映像品質値とが対応して記述された品質特性のデータベースにアクセスして、該当する第1の映像品質値を導出するとしても良い。
ここで、ビットレートと第1の映像品質値とが対応して記述された品質特性のデータベースの一例を図4に示す。
映像品質は映像コーデックの実装に依存し、例えば、同じビットレートでH.264で符号化した映像と、MPEG2で符号化した映像とでは品質が異なる。同様に、映像フォーマットやフレームレートなども含めた前提条件に映像品質は依存する。図4に示す品質特性のデータベースは、この前提条件毎に第1の映像品質値と符号化映像パケットのビットレートとを対応して記述されたものである。
また、映像品質値には、ビットレートの増加とともに増加し、ある映像品質値に収束するという特性をもち、この特性を表した式(1)によって算出される1+Icを第1の映像品質値として導出するとしても良い。
qs≒Vqe=1+Ic
c=v1−v1/1+(BR/v2)v3 ・・・式(1)
0≦Ic≦4
ただし、Vqsは主観映像品質、Vqeは推定映像品質を示し、v1,…,v3は特性係数である。
また、Icは、以下のように指数関数を用いた式(2)によって算出することも可能である。
qs≒Vqe=1+Ic
c=v1+v2exp(BR/v3) ・・・式(2)
0≦Ic≦4
ただし、Vqsは主観映像品質、Vqeは推定映像品質を示し、v1,…,v3は特性係数である。
この特性係数は、映像品質推定装置1の図示しない記憶部にデータベース化された品質特性係数データベースから該当する特性係数を符号化品質推定部11によって選択される。この品質特性係数データベースの一例を図6に示す。品質特性係数データベースは、特性係数を前述した前提条件と対応して記述されたものである。
符号化品質推定部11は、導出した第1の映像品質値を映像品質推定部12に対して出力する。
[第2の映像品質値の導出]
映像品質推定部12は、パケット分析部10によって導出された劣化フレーム数と、符号化品質推定部11によって導出された第1の映像品質値とから符号化劣化およびパケット損失を考慮した第2の映像品質値を導出する(S104)。
映像品質推定部12による第2の映像品質値の導出は、映像品質推定装置1の図示しない記憶部に保持されている劣化フレーム数と第2の映像品質値とが対応して記述された品質特性のデータベースにアクセスして、該当する第2の映像品質値を導出するとしても良い。
ここで、劣化フレーム数と第2の映像品質値とが対応して記述された品質特性のデータベースの一例を図5に示す。図5に示す品質特性のデータベースは、前述した前提条件毎に、符号化映像パケットのビットレートと劣化フレーム数と第2の映像品質値とを対応させて記述されたものである。
また、映像品質値には、劣化フレーム数(IF)の増加とともに減少するという特性をもち、この特性を表した式(3)または式(4)によって算出されるIpを第2の映像品質値として導出するとしても良い。
qs≒Vqe=1+Icp
p=exp(−IF/v4) ・・・ 式(3)
0≦Ip≦1
ただし、Vqsは主観映像品質、Vqeは推定映像品質を示し、v4は特性係数である。
また、Ipは以下のように指数関数を複数個用いた式(4)によって算出することも可能である。
qs≒Vqe=1+Icp
p=v5exp(−IF/v4)+(1−v5)exp(−IF/v6) … 式(4)
0≦Ip≦1
ただし、v4,…,v6は特性係数であり、この特性係数は、映像品質推定装置1の図示しない記憶部にデータベース化された品質特性係数データベースから該当する特性係数を符号化品質推定部11によって選択される。
この品質特性係数データベースの一例を図6に示す。品質特性係数データベースは、特性係数を前述した前提条件と対応して記述されたものである。
このように、IPパケットから符号化映像パケットのビットレートと劣化フレーム数とを用いて、符号化劣化およびパケット損失を考慮した映像品質値を算出することができるため、従来よりも正確な客観品質推定法による映像品質推定が可能となる。
したがって、映像通信サービスの提供者は、提供中のサービスがユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
IPネットワーク経由で行うIPTVサービス、映像配信サービス、TV電話サービスなどの映像通信の映像品質値を推定する映像品質推定装置に利用できる。
1…映像品質推定装置、10…パケット分析部、10−1…ビットレート推定部、10−2…劣化フレーム数推定部、11…符号化品質推定部、12…映像品質推定部、101…映像パケット特定部、102…符号量算出部、103…フレーム区切位置抽出部、104…特定フレーム開始位置抽出部、105…パケット損失位置抽出部、106…フレーム損失位置抽出部、107…フレーム劣化伝搬長導出部。

Claims (9)

  1. 入力されたパケットに含まれる符号化映像パケットの単位時間当たりのビット量であるビットレートと前記符号化映像パケットの損失によって劣化が発生する符号化映像フレームの数である劣化フレーム数とを導出して出力するパケット分析部と、
    符号化劣化によって影響を受ける符号化映像の品質を定量的に表した第1の映像品質値を、前記パケット分析部から出力されるビットレートに基づいて導出して出力する符号化品質推定部と、
    符号化およびパケット損失によって影響を受ける符号化映像の品質を定量的に表した第2の映像品質値を、前記パケット分析部から出力される劣化フレーム数と前記符号化品質推定部から出力される第1の映像品質値とから導出する映像品質推定部と
    を備え
    前記パケット分析部は、
    前記符号化映像フレームのうちIフレームの位置を示す情報と、前記符号化映像パケットの損失が発生している符号化映像フレームの位置を示す情報とから、前記符号化映像パケットの損失が発生した符号化映像フレームの種別を考慮して、前記劣化フレーム数を導出するフレーム劣化伝搬長導出部を備える
    ことを特徴とする映像品質推定装置。
  2. 請求項1に記載の映像品質推定装置において、
    前記パケット分析部は、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定部と、
    この映像パケット特定部により特定された符号化映像パケットの単位時間当たりのビット量で表されるビットレートを算出する符号量算出部と、
    前記映像パケット特定部により特定された符号化映像パケットから映像フレームの区切を示す情報を抽出するフレーム区切位置抽出部と、
    前記映像パケット特定部により特定された符号化映像パケットからIフレームの開始位置を示す情報を抽出する特定フレーム開始位置抽出部と、
    前記映像パケット特定部により特定された符号化映像パケットに発生しているパケット損失の位置を示す情報を前記パケットから抽出するパケット損失位置抽出部と、
    前記フレーム区切位置抽出部によって抽出された映像フレームの区切を示す情報と前記パケット損失位置抽出部によって抽出されたパケット損失位置を示す情報とから、パケット損失が発生している映像フレームの位置を示す情報を抽出するフレーム損失位置抽出部と
    をさらに備え
    前記フレーム劣化伝搬長導出部は、
    前記特定フレーム開始位置抽出部によって抽出されたIフレームの開始位置を示す情報と前記フレーム損失位置抽出部によって導出されたパケット損失が発生している映像フレームの位置を示す情報とから、前記劣化フレーム数を導出す
    とを特徴とする映像品質推定装置。
  3. 請求項1に記載の映像品質推定装置において、
    前記パケット分析部は、
    符号化映像パケットの損失によって劣化が発生する符号化映像フレームの数である劣化フレーム数を推定する劣化フレーム数推定部をさらに備え、
    この劣化フレーム数推定部は、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定部と、
    前記映像パケット特定部により特定された符号化映像パケットから映像フレームの区切を示す情報を抽出するフレーム区切位置抽出部と、
    前記映像パケット特定部により特定された符号化映像パケットからIフレームの開始位置を示す情報を抽出する特定フレーム開始位置抽出部と、
    前記映像パケット特定部により特定された符号化映像パケットに発生しているパケット損失の位置を示す情報を前記パケットから抽出するパケット損失位置抽出部と、
    前記フレーム区切位置抽出部によって抽出された映像フレームの区切を示す情報と前記パケット損失位置抽出部によって抽出されたパケット損失位置を示す情報とから、パケット損失が発生している映像フレームの位置を示す情報を抽出するフレーム損失位置抽出部とを備え
    前記フレーム劣化伝搬長導出部は、
    前記特定フレーム開始位置抽出部によって抽出されたIフレームの開始位置を示す情報と前記フレーム損失位置抽出部によって導出されたパケット損失が発生している映像フレームの位置を示す情報とから、前記劣化フレーム数を導出す
    とを特徴とする映像品質推定装置。
  4. 請求項1に記載の映像品質推定装置において、
    前記パケット分析部は、
    入力されたパケットに含まれる符号化映像パケットの単位時間当たりのビット量であるビットレートを推定するビットレート推定部をさらに備え、
    このビットレート推定部は、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定部と、
    この映像パケット特定部により特定された符号化映像パケットの単位時間当たりのビット量で表されるビットレートを算出する符号量算出部と
    を備えることを特徴とする映像品質推定装置。
  5. 入力されたパケットに含まれる符号化映像パケットの単位時間当たりのビット量であるビットレートと前記符号化映像パケットの損失によって劣化が発生する符号化映像フレームの数である劣化フレーム数とを導出して出力するパケット分析ステップと、
    符号化劣化によって影響を受ける符号化映像の品質を定量的に表した第1の映像品質値を、前記パケット分析ステップから出力されるビットレートに基づいて導出して出力する符号化品質推定ステップと、
    符号化およびパケット損失によって影響を受ける符号化映像の品質を定量的に表した第2の映像品質値を、前記パケット分析ステップから出力される劣化フレーム数と前記符号化品質推定部から出力される第1の映像品質値とから導出する映像品質推定ステップと
    を有し、
    前記パケット分析ステップは、
    前記符号化映像フレームのうちIフレームの位置を示す情報と、前記符号化映像パケットの損失が発生している符号化映像フレームの位置を示す情報とから、前記符号化映像パケットの損失が発生した符号化映像フレームの種別を考慮して、前記劣化フレーム数を導出するフレーム劣化伝搬長導出ステップを備える
    することを特徴とする映像品質推定方法。
  6. 請求項5に記載の映像品質推定方法において、
    前記パケット分析ステップは、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定ステップと、
    この映像パケット特定ステップにより特定された符号化映像パケットの単位時間当たりのビット量で表されるビットレートを算出する符号量算出ステップと、
    前記映像パケット特定ステップにより特定された符号化映像パケットから映像フレームの区切を示す情報を抽出するフレーム区切位置抽出ステップと、
    前記映像パケット特定ステップにより特定された符号化映像パケットからIフレームの開始位置を示す情報を抽出する特定フレーム開始位置抽出ステップと、
    前記映像パケット特定ステップにより特定された符号化映像パケットに発生しているパケット損失の位置を示す情報を前記パケットから抽出するパケット損失位置抽出ステップと、
    前記フレーム区切位置抽出ステップによって抽出された映像フレームの区切を示す情報と前記パケット損失位置抽出ステップによって抽出されたパケット損失位置を示す情報とから、パケット損失が発生している映像フレームの位置を示す情報を抽出するフレーム損失位置抽出ステップと、
    をさらに有し
    前記フレーム劣化伝搬長導出ステップは、
    前記特定フレーム開始位置抽出ステップによって抽出されたIフレームの開始位置を示す情報と前記フレーム損失位置抽出ステップによって導出されたパケット損失が発生している映像フレームの位置を示す情報とから、前記劣化フレーム数を導出す
    とを特徴とする映像品質推定方法。
  7. 請求項5に記載の映像品質推定方法において、
    前記パケット分析ステップは、
    符号化映像パケットの損失によって劣化が発生する符号化映像フレームの数である劣化フレーム数を推定する劣化フレーム数推定ステップを有し、
    この劣化フレーム数推定ステップは、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定ステップと、
    この映像パケット特定ステップにより特定された符号化映像パケットの単位時間当たりのビット量で表されるビットレートを算出する符号量算出ステップと、
    前記映像パケット特定ステップにより特定された符号化映像パケットから映像フレームの区切を示す情報を抽出するフレーム区切位置抽出ステップと、
    前記映像パケット特定ステップにより特定された符号化映像パケットからIフレームの開始位置を示す情報を抽出する特定フレーム開始位置抽出ステップと、
    前記映像パケット特定ステップにより特定された符号化映像パケットに発生しているパケット損失の位置を示す情報を前記パケットから抽出するパケット損失位置抽出ステップと、
    前記フレーム区切位置抽出ステップによって抽出された映像フレームの区切を示す情報と前記パケット損失位置抽出ステップによって抽出されたパケット損失位置を示す情報とから、パケット損失が発生している映像フレームの位置を示す情報を抽出するフレーム損失位置抽出ステップと
    を有し
    前記フレーム劣化伝搬長導出ステップは、
    前記特定フレーム開始位置抽出ステップによって抽出されたIフレームの開始位置を示す情報と前記フレーム損失位置抽出ステップによって導出されたパケット損失が発生している映像フレームの位置を示す情報とから、前記劣化フレーム数を導出す
    とを特徴とする映像品質推定方法。
  8. 請求項5に記載の映像品質推定方法において、
    前記パケット分析ステップは、
    入力されたパケットに含まれる符号化映像パケットの単位時間当たりのビット量であるビットレートを推定するビットレート推定ステップを有し、
    このビットレート推定ステップは、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定ステップと、
    この映像パケット特定ステップにより特定された符号化映像パケットの単位時間当たりのビット量で表されるビットレートを算出する符号量算出ステップと
    を有することを特徴とする映像品質推定方法。
  9. 請求項5乃至8のいずれかに記載の映像品質推定方法をコンピュータに実行させることを特徴とする映像品質推定装置の制御プログラム。
JP2009147953A 2009-06-22 2009-06-22 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム Active JP5405915B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009147953A JP5405915B2 (ja) 2009-06-22 2009-06-22 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009147953A JP5405915B2 (ja) 2009-06-22 2009-06-22 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP2011004354A JP2011004354A (ja) 2011-01-06
JP5405915B2 true JP5405915B2 (ja) 2014-02-05

Family

ID=43561886

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009147953A Active JP5405915B2 (ja) 2009-06-22 2009-06-22 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム

Country Status (1)

Country Link
JP (1) JP5405915B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104780369B (zh) * 2012-08-21 2018-04-17 华为技术有限公司 一种获得视频编码压缩质量的方法及装置
CN103974057B (zh) * 2013-01-24 2016-09-28 华为技术有限公司 一种视频质量用户体验值测评方法、设备及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001359090A (ja) * 1996-08-30 2001-12-26 Matsushita Electric Ind Co Ltd デジタル放送装置、受信装置、デジタル放送システム、受信装置に適用するプログラム記録媒体
JP4327674B2 (ja) * 2004-07-21 2009-09-09 日本電信電話株式会社 映像品質管理方法および映像品質管理システム
JP4460506B2 (ja) * 2005-08-26 2010-05-12 日本電信電話株式会社 ユーザ体感品質推定装置、方法、およびプログラム
JP4354962B2 (ja) * 2006-03-22 2009-10-28 日本電信電話株式会社 映像品質推定装置および映像品質推定方法
JP4733071B2 (ja) * 2007-05-30 2011-07-27 日本電信電話株式会社 映像品質推定方法および装置
JP4796019B2 (ja) * 2007-08-08 2011-10-19 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム

Also Published As

Publication number Publication date
JP2011004354A (ja) 2011-01-06

Similar Documents

Publication Publication Date Title
JP5172440B2 (ja) 映像品質推定装置、方法およびプログラム
US7873727B2 (en) System and method for evaluating streaming multimedia quality
US9319670B2 (en) Video data quality assessment method and apparatus
US9723329B2 (en) Method and system for determining a quality value of a video stream
US20120201310A1 (en) Video quality estimation apparatus, video quality estimation method, and program
JP5302342B2 (ja) ビデオ符号ストリームの品質を評価する方法、装置およびシステム
JP6662905B2 (ja) オーディオビジュアル品質推定装置、オーディオビジュアル品質推定方法、及びプログラム
JP4802209B2 (ja) 映像品質推定方法、装置およびプログラム
WO2012013777A2 (en) Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
JP4787210B2 (ja) 映像品質推定方法、装置、およびプログラム
JP4914400B2 (ja) 品質推定方法、品質推定システム、ユーザ端末、品質管理端末およびプログラム
JP4861371B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4787303B2 (ja) 映像品質推定装置、方法、およびプログラム
JP5405915B2 (ja) 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム
US9723266B1 (en) Lightweight content aware bit stream video quality monitoring service
JP5335867B2 (ja) 基本GoP長を用いた映像品質推定装置及び方法及びプログラム
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
Chen et al. Impact of packet loss distribution on the perceived IPTV video quality

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20111109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131031

R150 Certificate of patent or registration of utility model

Ref document number: 5405915

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350