JP5519690B2 - 映像品質推定装置、映像品質推定方法およびプログラム - Google Patents

映像品質推定装置、映像品質推定方法およびプログラム Download PDF

Info

Publication number
JP5519690B2
JP5519690B2 JP2011537151A JP2011537151A JP5519690B2 JP 5519690 B2 JP5519690 B2 JP 5519690B2 JP 2011537151 A JP2011537151 A JP 2011537151A JP 2011537151 A JP2011537151 A JP 2011537151A JP 5519690 B2 JP5519690 B2 JP 5519690B2
Authority
JP
Japan
Prior art keywords
video
video quality
frame
derived
bit amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011537151A
Other languages
English (en)
Other versions
JPWO2011048829A1 (ja
Inventor
和久 山岸
孝典 林
淳 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011537151A priority Critical patent/JP5519690B2/ja
Publication of JPWO2011048829A1 publication Critical patent/JPWO2011048829A1/ja
Application granted granted Critical
Publication of JP5519690B2 publication Critical patent/JP5519690B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、映像品質推定装置、映像品質推定方法およびプログラムに関し、特にインターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービス、TV電話サービス等における符号化映像の映像品質を推定する映像品質推定装置、映像品質推定方法およびプログラムに関する。
インターネットアクセス回線の高速・広帯域化に伴い、インターネットを介して映像や音声を含む映像メディアを端末間あるいはサーバと端末との間で転送する映像通信サービスの普及が期待されている。
インターネットは、必ずしも通信品質が保証されるわけではないネットワークであるため、音声および映像メディアなどを用いて通信を行う場合、ユーザ端末間のネットワークの回線帯域が狭いことによるビットレートの低下、回線が輻輳することでパケット損失やパケット転送遅延が発生し、音声や映像メディアなどに対してユーザが知覚する品質(ユーザ体感品質:QoE(Quality of Experience))が劣化してしまう。
具体的には、映像を符号化すると、フレーム内の映像信号にブロック的な劣化が生じたり、映像信号の高周波成分が失われることにより、映像全体の精細感が低くなる。また、プロバイダから符号化した映像コンテンツをパケット化して送信した場合、ネットワーク内または宅内機器によりパケット損失やパケット転送遅延を発生させ、映像に意図しない劣化が生じる。
結果として、ユーザは受信した映像に、ぼけ、にじみ、モザイク状の歪み、映像フレームのフリーズ(映像のフレームが止まった状態)やスキップ(映像のフレームが数フレーム欠落してしまう状態)を知覚する。
上記のような映像通信サービスを良好な品質で提供していることを確認するためには、サービス提供中に、ユーザが体感する映像の品質を測定し、ユーザに対して提供される映像の品質を管理することが重要となる。
したがって、ユーザによって体感される映像の品質を適切に表現することができる映像品質評価技術が必要とされている。
従来、映像や音声の品質を評価する手法として、主観品質評価法(非特許文献1)や客観品質評価法(非特許文献2)がある。
主観品質評価法は、複数のユーザが実際に映像や音声を視聴し、体感した品質を5段階(9段階や11段階の場合もある)の品質尺度(非常に良い、良い、ふつう、悪い、非常に悪い)や妨害尺度(劣化が全く認められない、劣化が認められるが気にならない、劣化がわずかに気になる、劣化が気になる、劣化が非常に気になる)などにより評価し、全ユーザ数で各条件(例えば、パケット損失率0%でビットレートが20Mbps)の映像もしくは音声品質評価値を平均し、その値をMOS(Mean Opinipn Score)値やDMOS(Degradation Mean Opinion Score)値として定義している。
しかしながら、主観品質評価法は、特別な専用機材(モニタなど)、評価環境(室内照度や室内騒音など)を調整可能な評価施設を必要とするだけではなく、多数のユーザが実際に映像や音声を評価する必要がある。そのため、ユーザが実際に評価を完了するまでに時間がかかってしまい、品質をリアルタイムに評価する場合には不向きである。
そこで、映像の品質に影響を与える特徴量(例えば、ビットレートやフレーム単位のビット量、パケット損失情報など)を利用し、映像品質評価値を出力する客観品質評価法の開発が望まれている。
従来の客観品質評価法の1つに、映像の符号化による品質劣化を捉え、その映像の個別映像品質値または平均映像品質値を推定するものがある(非特許文献2)。
ここで、個別映像品質値とは、推定対象の映像コンテンツ1つずつの品質評価値を示し、1〜5で定義(1〜9や0〜100などの他の範囲で定義されることもある。)される値である。また、平均映像品質値とは複数の推定対象の映像コンテンツの個別映像品質値の総和を、推定対象の映像コンテンツ総数で除算した値であり、1〜5で定義(1〜9や0〜100などの他の範囲で定義されることもある。)される値である。
例えば、任意の映像コンテンツ(映像集合)において、同じ条件(パケット損失率0%でビットレートが20Mbps)で送信された複数の映像(ここで送信された複数の映像を「映像部分集合」という。)が8つの場合、映像部分集合に含まれる8つの映像のそれぞれの品質評価値が個別映像品質値であり、映像部分集合の個別映像品質値の総和を映像部分集合に含まれる映像数である8で除算した値が平均映像品質値である。
ここで、映像集合と映像部分集合の関係について概念的に説明した図を図8に示す。図8に示すように、映像部分集合とは、無数に存在する映像を全て包含する集合、すなわち、任意の映像の集合である映像集合のうち、映像の品質評価に利用された特定の映像の集合を意味する。
さらに、従来の客観品質評価法の1つに、映像の符号化やパケット損失劣化による品質劣化を捉え、その映像の映像品質評価値を推定するものが知られている(非特許文献3、特許文献1)。この映像品質評価値とは、推定対象の映像コンテンツ1つずつの品質評価値を示し、1〜5で定義される値である(ただし、主観品質評価法の説明で述べたように、9段階や11段階評価が用いられることもあり、品質評価値は1〜9や0〜100などの他の範囲で指定されることもある。)。
従来の客観品質評価法の多くは、上記のように、パケットや映像信号(画素値)を用いて映像品質評価値を推定するものであった。パケットのヘッダ情報のみから映像品質評価値を推定する技術としては非特許文献2および特許文献1が、映像信号から映像品質評価値を推定する技術としては非特許文献3が挙げられる。
ここで、圧縮された映像フレームを伝送する際の映像フレーム種別と符号化映像のGoP(Group of Picture)構成との関係に関する説明、および、映像フレーム種別と符号化映像の品質評価値との関係について説明をする。
<映像フレーム種別について>
圧縮された映像フレームには、Iフレーム(Intra-frame:Iフレーム)、Pフレーム(Predictive-frame:Pフレーム)、Bフレーム(Bi-directional-frame:Bフレーム)の3種類がある。
Iフレームとは、前後の画面とは関係なくその画面内だけで独立して符号化された画面である。Pフレームとは、連続する画面の中で過去に存在する画面からの予測、すなわち、順方向予測によって符号化された画面である。Bフレームとは、連続する画面の中で、過去と未来の双方向に存在する画面からの予測によって符号化された画面である。
<GoP構造と映像フレーム種別との関係について>
符号化映像のGoP構成は、上記した各映像フレーム種別の映像フレームが、どのような間隔で構成されているのかを示すものである。
例えば、図24にM=3,N=15(Mは片方向予測の際のフレーム数の間隔を示し、NはIフレームの間隔を示す。)で表されるGoP構成を概念的に説明する図を示す。
図24に示すようなGoP構成の符号化映像は、IフレームとPフレームとの間、およびPフレームとPフレームとの間にBフレームが2フレーム挿入され、Iフレームの間隔が15フレームとなっている。
<各映像フレーム種別毎のビット量について>
圧縮された映像フレームの各映像フレーム種別のビット量について説明する。
各映像フレーム種別毎の映像フレームのビット量を、Iフレームビット量(BitsI)、Pフレームビット量(BitsP)、Bフレームビット量(BitsB)と定義する。各映像フレーム種別のビット量とは、例えば、評価対象となる10秒間の映像コンテンツを符号化する際、各映像フレーム種別毎(I,B,Pフレーム)の使用ビット量を示す指標である。
具体的には、10秒間の映像コンテンツを30fps(frame/second)で符号化すると符号化映像の映像フレーム総数は300枚となり、Iフレームがこのフレーム総数300枚のフレーム中に20枚存在したとする。この20枚のIフレームを符号化するのに必要となったビット量が10000ビットだとすると、Iフレームビット量は、10000bits/20I-frameから、500bits/I-frameとなる。
同様に、Pフレームがフレーム総数300枚中に80枚存在し、この80枚のPフレームを符号化するのに必要となったビット量が8000ビットだとすると、Pフレームビット量は8000bits/80P-frameから、100bits/P-frameとなる。また、Bフレームはフレーム総数300枚中に200枚存在し、この200枚のBフレームを符号化するのに必要となったビット量が10000ビットだとすると、Bフレームビット量は50bits/B-frame(10000bits/200B-frame)となる。
なお、このときのビットレートは、10秒間の映像コンテンツ(フレーム総数300枚)を符号化する際に必要となったビット量28000ビットから、28000bits/10secondから、2800b/s(2.8kbps)となる。
<各映像フレーム種別におけるビット量の特性について>
各映像フレーム種別におけるビット量の特性を示す、フレーム最大ビット量、フレーム最小ビット量、フレーム平均ビット量について定義および説明をする。
複数の映像コンテンツ(例えば、8映像コンテンツの映像集合)のビットレート(BR)または損失映像フレーム数(DF)に対して、フレームビット量の最大値をフレーム最大ビット量、最小値をフレーム最小ビット量、平均値をフレーム平均ビット量とし、各映像フレーム種別に対応して、Iフレーム最大ビット量(BitsImax)、Iフレーム最小ビット量(BitsImin)、Iフレーム平均ビット量(BitsIave)、Pフレーム最大ビット量(BitsPmax)、Pフレーム最小ビット量(BitsPmin)、Pフレーム平均ビット量(BitsPave)、Bフレーム最大ビット量(BitsBmax)、Bフレーム最小ビット量(BitsBmin)、Bフレーム平均ビット量(BitsBave)で表す。
具体的には、例えば、同一ビットレートによって符号化された8つの映像コンテンツのIフレームビット量が、それぞれ「450bit」「460bit」「470bit」「480bit」「490bit」「500bit」「510bit」「520bit」であった場合、Iフレームビット量の最大値が「520bit」であることからIフレーム最大ビット量は「520」となり、Iフレームビット量の最小値が「450bit」であることからIフレーム最小ビット量は「450」となり、Iフレームビット量の平均値が「485bit」であることから、Iフレーム平均ビット量は「485」となる。
B,Pフレームに関するフレーム最大ビット量,フレーム最小ビット量,フレーム平均ビット量についても同様に、複数の映像コンテンツのビットレート(BR)や損失映像フレーム数(DF)に対して、各映像フレーム種別のフレームビット量の最大値、最小値、平均値をそれぞれフレーム最大ビット量、フレーム最小ビット量、フレーム平均ビット量とする。
<各映像フレーム種別のビット量と映像品質への影響について>
映像の符号化の際に映像フレーム種別毎へ割り当てられるビット量による映像品質への影響について、図を参照して説明する。
図9A〜図9Cに同一ビットレートで所定秒間の映像コンテンツを符号化した際(この例では、10Mbpsで10秒間の映像コンテンツであって映像フレーム数が300フレーム)、映像品質の推定対象である映像の各映像フレーム種別(I,P,Bフレーム)のビット量を横軸に、各映像コンテンツの映像品質値を縦軸に配した図を示す。
図9A〜図9Cに示すように、映像フレーム種別のビット量と映像品質評価値との関係は、同一ビットレートで比較した場合、Iフレームビット量が少ない映像コンテンツは映像品質評価値が低く、Iフレームビット量が多い映像コンテンツは映像品質評価値が高いことを示している。同様に、P,Bフレームビット量に関して同一ビットレートで比較した場合、P,Bフレームビット量が少ない映像コンテンツは映像品質評価値が高く、P,Bフレームビット量が多い映像コンテンツは映像品質評価値が低いことを示している。
したがって、同一ビットレートの映像においても、映像フレーム種別毎のビット量が映像品質に対して影響することを表している。
<各映像フレーム種別のビット量の特性と映像品質との関係について>
次に、映像部分集合における各映像のビットレートと各映像フレーム種別毎のフレームビット量との関係を概念的に示す図を図10A〜図10Bに示す。ただし、図10Bに示すビットレートとPフレームビット量との関係と、ビットレートとBフレームビット量との関係とは類似するため、ビットレートとBフレームビット量との関係を示す図は省略する。
図10A〜図10Bに示すように、映像によってフレームビット量が、同一ビットレートの映像においても、異なる特性を有していることがわかる。すなわち、フレーム最大ビット量とフレーム最小ビット量とフレーム平均ビット量との関係は、同一ビットレートの映像であるにも拘わらず、映像フレーム種別毎に違いを有していることを表している。
このような映像のビットレートと映像フレーム種別毎のフレームビット量との関係は、映像品質に対して影響を及ぼし、同一ビットレートの映像にも拘わらず映像品質の違いが発生することとなる。
上述したように、映像フレーム種別毎のビット量による映像品質への影響について概念的に説明する図を図11に示す。
図11は、ビットレートと映像品質値との関係を表している。また、映像部分集合における映像のうち、同一ビットレートの映像の映像品質値の中で最大のものを最大映像品質値(Vqmax)、最小のものを最小映像品質値(Vqmin)、映像品質値の総和を映像数で除算した値を平均映像品質値(Vqave)として、図11に丸印,三角印,四角印として示す。
図11に示すように、同一ビットレートの映像においても、映像品質値には最大映像品質値と最小映像品質値の間に生じる幅が存在する。すなわち、推定対象となる映像の映像品質値と、推定対象となる映像と同一ビットレートの映像における平均映像品質値とは必ずしも一致せず、映像品質値と平均映像品質値との差分が、推定対象である映像の映像フレーム種別毎に割り当てられたビット量に依存している。このような映像品質値と平均映像品質値との差分を差分映像品質値(dVq)とする。
したがって、同一ビットレートの映像において発生する差分映像品質値(dVq)は、その映像におけるビットレートと、映像フレーム種別毎に割り当てられたビット量の特性との関係に応じて発生する。
特開2006−033722号公報
ITU−T勧告P.910 K.Yamagisyi and T.Hayashi,"Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services",IEEE ICC 2008, CQ04-3, May 2008 ITU−T勧告J.247 DVD Document A001 Rev.7(Specification for the use of Video and Audio Coding in Broadcasting Applications based on the Mpeg-2 Transport Stream) ANSI/SCTE 128 2008 (AVC Video System and Transport Constraints for Cable Television) 牛木,林,"TSヘッダ情報を用いた映像フレーム種別推定方法の計算用低減",信学技報,CQ2008-32,Sept.2008
しかしながら、特許文献1や非特許文献2に開示された技術は、映像のビットレートやパケット損失劣化情報に基づいて映像品質を推定する技術であり、映像フレーム種別毎に割り当てられたビット量の大小を考慮して映像品質を推定する技術ではない。
したがって、第1の課題として、映像品質値は、映像フレーム種別(I,P,Bフレーム)毎のビット量の大小により影響を受けるため、特許文献1や非特許文献2に示すような従来の客観品質推定法では、ビットレートやパケット損失劣化情報に基づいた平均映像品質を推定することは可能であるが、映像フレーム種別毎に割り当てられたビット量の特性が異なる映像コンテンツ毎に映像品質値を推定することができないといった問題があった。
また、第2の課題として、非特許文献3に開示された技術は、ユーザが視聴する映像信号(画素値)から映像品質評価値を推定する技術であり、映像コンテンツ毎の映像品質評価値を導出することが可能であるが、符号化劣化やパケット損失のない原映像信号を用いるため、原映像信号を得ることが困難である環境、特に映像通信サービスを受けるユーザ宅内では、この技術の利用は困難であった。
さらに、映像信号を用いて映像品質評価値を推定する場合、映像フレームを構成する画素数の全てに対して演算処理を行うことが必要であり、すなわち、多量の画素数に対する演算処理を実行することによって演算処理コストが膨大になるといった問題があった。
そこで本発明では、上述の第1および第2の問題を解決すべく、映像フレーム種別毎のビット量を考慮することによって同一ビットレートの映像コンテンツであっても個々の映像コンテンツについて映像品質値の推定を演算処理コストを抑制して実行できる映像品質推定装置および映像品質の推定方法を提供することを目的とする。
上述の目的を達成するために、本発明は、入力された符号化映像パケットのビットレートを導出するとともに、複数の映像フレーム種別のうち少なくとも1つの映像フレーム種別毎に符号化映像のビット量を導出するパケット分析部と、このパケット分析部により導出される符号化映像パケットの前記ビットレートと前記映像フレーム種別毎の前記ビット量とに基づいて映像品質値を導出する符号化品質推定部とを映像品質推定装置に備えることを特徴とする。
本発明によれば、パケットから抽出したビットレートに加え、パケットのヘッダ情報から映像フレーム種別を特定して映像フレーム種別毎に導出したビット量に基づいて、映像通信サービスにおける映像コンテンツの個々の映像に対して映像品質値を推定することができる。
さらに、本発明によれば、入力されたパケットから抽出したビットレートおよび損失映像フレーム数に加え、映像フレーム種別を特定して映像フレーム種別毎に導出したビット量の双方を考慮した映像通信サービスにおける個々の映像に対する映像品質値を、入力されたパケットのヘッダ情報に基づいて推定することができる。
したがって、映像通信サービスの提供者は、本発明によりユーザが実際に視聴する映像通信サービスにおける個々の映像について映像品質値を監視可能となるため、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができる。
このため、映像通信サービスの提供者は、提供中のサービスの品質実態を従来より詳細に把握・管理することが可能となる。
さらに、本発明によれば、映像個々の映像品質値の導出に映像個々の映像フレームを構成する画素数全てに対して演算処理を行う必要がなく、すなわち、パケットヘッダ情報といった比較的少量の情報に対する演算処理を行うことで映像品質値の導出ができ、その結果、演算処理コストを抑制することができる。
図1は、本発明の第1の実施の形態にかかる映像品質推定装置の構成を示す図である。 図2は、本発明の第1の実施の形態にかかる映像品質推定装置におけるパケット分析部の構成を示す図である。 図3は、本発明の第1の実施の形態にかかる映像品質推定装置におけるフレーム特性推定部の構成を示す図である。 図4は、本発明の第1の実施の形態にかかる映像品質推定装置における符号化品質推定部の構成を示す図である。 図5は、本発明の第1の実施の形態にかかる映像品質推定装置の動作を示すフローチャートである。 図6は、本発明の第1の実施の形態にかかる映像品質推定装置に記憶されている品質特性係数のデータベースの一例を示す図である。 図7は、映像フレーム開始位置抽出を概念的に説明する図である。 図8は、映像集合と映像部分集合の関係を概念的に説明する図である。 図9Aは、Iフレームビット量と映像品質値の関係を概念的に説明する図である。 図9Bは、Pフレームビット量と映像品質値の関係を概念的に説明する図である。 図9Cは、Bフレームビット量と映像品質値の関係を概念的に説明する図である。 図10Aは、ビットレートとIフレーム平均ビット量、Iフレーム最大ビット量、Iフレーム最小ビット量との関係を概念的に説明する図である。 図10Aは、ビットレートとPフレーム平均ビット量、Pフレーム最大ビット量、Pフレーム最小ビット量との関係を概念的に説明する図である。 図11は、ビットレートと平均映像品質値、最大映像品質値、最小映像品質値の関係を概念的に説明する図である。 図12は、本発明の第2の実施の形態にかかる映像品質推定装置の構成を示す図である。 図13は、本発明の第2の実施の形態にかかる映像品質推定装置におけるパケット分析部の構成を示す図である。 図14は、本発明の第2の実施の形態にかかる映像品質推定装置における集合フレーム特性推定部の構成を示す図である。 図15は、本発明の第2の実施の形態にかかる映像品質推定装置における符号化品質推定部の構成を示す図である。 図16は、本発明の第2の実施の形態にかかる映像品質推定装置におけるパケット損失品質推定部の構成を示す図である。 図17は、本発明の第2の実施の形態にかかる映像品質推定装置の動作を示すフローチャート1である。 図18は、本発明の第2の実施の形態にかかる映像品質推定装置の動作を示すフローチャート2である。 図19は、本発明の第2の実施の形態にかかる映像品質推定装置に記憶されている品質特性係数のデータベースの一例を示す図である。 図20は、本発明の第3の実施の形態にかかる映像品質推定装置の構成を示す図である。 図21は、本発明の第3の実施の形態にかかる映像品質推定装置の動作を示すフローチャート1である。 図22は、本発明の第3の実施の形態にかかる映像品質推定装置の動作を示すフローチャート2である。 図23は、本発明の第3の実施の形態にかかる映像品質推定装置に記憶されている品質特性係数のデータベースの一例を示す図である。 図24は、符号化映像のGoP構成を概念的に示し、かつ、映像フレームにパケット損失が発生した際の劣化の伝搬について映像フレーム種別毎に説明する図である。 図25Aは、ビットレートとIフレーム(平均,最大,最小)ビット量との関係を概念的に説明する図である。 図25Bは、ビットレートとPフレーム(平均,最大,最小)ビット量との関係を概念的に説明する図である。 図25Cは、ビットレートとBフレーム(平均,最大,最小)ビット量との関係を概念的に説明する図である。 図26は、ビットレートと平均,最大,最小符号化映像品質評価値との関係を概念的に説明する図である。 図27は、損失映像フレーム数と平均,最大,最小映像品質評価値との関係を概念的に説明する図である。 図28Aは、パケット損失が発生した場合のIフレームビット量と映像品質評価値との関係を概念的に説明する図である。 図28Bは、パケット損失が発生した場合のPフレームビット量と映像品質評価値との関係を概念的に説明する図である。 図28Cは、パケット損失が発生した場合のBフレームビット量と映像品質評価値との関係を概念的に説明する図である。
以下、図面を用いて本発明の実施の形態を説明する。
[第1の実施の形態]
本発明の第1の本実施の形態にかかる映像品質推定装置は、映像通信に関わる映像品質に影響を与えるビットレートや映像フレーム種別毎のビット量を利用して映像品質を定量的に表した映像品質値を導出して客観的な映像品質評価を実現するものである。
例えば、本実施の形態においては、インターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービス、TV電話サービスなど映像通信における客観的な映像品質評価を実現するために、パケットに含まれる符号化映像パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質値を導出する。
図1に示すように、本実施の形態にかかる映像品質推定装置1は、パケット分析部10、フレーム特性推定部11、符号化品質推定部12とから構成されている。
パケット分析部10は、入力されたパケットに含まれる符号化映像パケットのビットレートを導出するビットレート算出部10−1と、映像フレーム種別毎のビット量を導出するビット量算出部10−2とから構成されており、ビットレート算出部10−1によって導出されたビットレートと、ビット量算出部10−2によって導出された映像フレーム種別毎のビット量とを出力する。
フレーム特性推定部11は、パケット分析部10より出力されたビットレートを入力として、フレーム種別毎のビット量の特性を示すフレーム特性を導出し、出力する。
符号化品質推定部12は、パケット分析部10より出力されたビットレートと映像種別毎のビット量と、フレーム特定推定部11から出力された映像フレーム種別毎のフレーム特性とに基づいて映像品質値を導出する。
本実施の形態にかかる映像品質推定装置1の各構成要素について、図2〜図4を参照し詳細に説明する。
図2に示すように、パケット分析部10は、映像パケット特定部101と、符号量算出部102と、フレーム区切位置抽出部103と、特定フレーム開始位置抽出部104と、映像フレームビット量算出部105と、映像フレーム種別ビット量算出部106とから構成されており、ビットレート算出部10−1は映像パケット特定部101と、符号量算出部102とから構成され、ビット量算出部10−2は、映像パケット特定部101と、フレーム区切位置抽出部103と、特定フレーム開始位置抽出部104と、映像フレームビット量算出部105と、映像フレーム種別ビット量算出部106とから構成されている。
映像パケット特定部101は、入力されたパケットに含まれる任意の符号化映像パケットを、この符号化映像パケット固有のパケットID(PID)によって特定する。
符号化映像パケットの特定には、例えば、RTP(Real-time Transport Protocol)パケット内のペイロードタイプ、TS(Transport Stream)パケット内のPID、PES(Packetized Elementally Stream)ヘッダ内のStreamIDを用いて特定することができる。さらに、RTPパケット内のRTPシーケンス番号、TSパケット内のCC(Continuity Counter:4ビットのカウンタ)を抽出する機能を同時に有することとしても良い。
符号量算出部102は、映像パケット特定部101によって特定される符号化映像パケットの単位時間当たりのビット量で表されるビットレートを導出する。
例えば、TSパケットのヘッダに記載されているPIDによって映像や音声の符号化データが識別され、映像データのPIDをもつTSパケット数を計数することにより、TSパケットのデータ長(一般には188バイト)を掛け合わせて単位時間当たりのビット量を算出し、ビットレート(BR)を導出する。
フレーム区切位置抽出部103は、映像パケット特定部101によって特定される符号化映像パケットから映像フレームの区切を示す情報を導出する。
例えば、パケット内には、IPヘッダ、UDP(User Datagram Protocol)ヘッダ、RTP、TSヘッダ、PESヘッダ、ES(Elementary Stream)などの情報が存在する。このうち、TSヘッダ内にあるPayload_Unit_Start_Indicator(以下「PUSI」という。)は、PESヘッダの有無を示すフラグであり、1つのPESに1枚のフレームが含まれる場合は(TV放送内で利用される映像符号化では、1つのPESに1枚の映像フレームを格納することが多い。)、PUSIが映像フレームの開始を示す情報となる。このようなパケット内に含まれる情報を抽出することにより、映像フレームの区切を示す情報を導出する。
ここで、映像フレーム開始位置の導出動作について、図7に示す映像フレーム開始位置抽出を概念的に説明する図を参照して具体的に説明する。
図7(左列はRTPシーケンス番号示し、左から2〜8列目はTSのCCの番号を示す。)に示すように、PUSIが含まれるTSがフレームの先頭位置を示す。フレームの区切位置を示す情報としては、フレームの先頭位置のRTPシーケンス番号や、分析区間の最初から数えて何個目のパケットであるか、またはPUSIを含むパケットが何フレーム目であるかを記憶すれば良い。フレームのカウント方法は、分析区間のPUSIの数をカウントすれば良い。
ただし、PESヘッダが利用可能であるときは、PTS(Presentation Time Stamp)やDTS(Decoding Time Stamp)がフレームの区切位置を示している情報となるので、上記のPUSIと同様の処理を実行する。同様に、ESが利用可能であるときは、ES内にフレームの情報が格納されているので、上記のPUSIと同様の処理を実行する。
特定フレーム開始位置抽出部104は、映像パケット特定部101によって特定される符号化映像パケットから、特定の映像フレームの開始位置を示す情報を導出する。
ここで、本実施の形態にかかる映像品質推定装置における特定フレーム開始位置抽出部104は、ESの情報が利用できる場合は、「Iフレーム」「Pフレーム」「Bフレーム」の開始位置を示す情報を導出することを前提とし、ESの情報が暗号化などにより利用できない場合は、「Iフレーム」の開始位置を示す情報を導出することを前提とする。
ESの情報が利用できる場合では、H.264やMPEG2のビット列の中にフレームの情報を示すビットが存在する(例えば、H.264の場合、Primary_pic_typeやSlice_typeがそれに当たる)。この情報が含まれるパケットのRTPのシーケンス番号や、分析区間の最初から数えて何個目のパケットであるかにより、「Iフレーム」「Pフレーム」「Bフレーム」のフレームの区切を識別できる。
ESの情報が利用できない場合では、Iフレームの開始位置を示す情報としては、TSヘッダ内のRAI(Random_Access_Indicator)やESPI(Elementary_Stream_Priority_Indicator)が、IフレームやIDR(Instantaneous Decoder Refresh)フレームの開始位置を示しているフラグである(非特許文献4,5参照)。
すなわち、RAIやESPIは、IフレームやIDRフレームの先頭位置を示す情報となるので、Iフレームの区切とその他のフレームの区切を識別できる。
仮に、RAIやESPIがIフレームやIDRフレームの開始位置を示していない場合でも、特定フレーム開始位置抽出部104は、フレーム区切位置抽出部103によって抽出されたフレーム開始位置を示すPUSIを利用して各フレームのデータ量を計算することにより、Iフレームの位置を特定することとする。
すなわち、Iフレームの情報量は、他の映像フレームの情報量よりも多いという基本的な特徴から、パケット内の映像フレームにおいてデータ量の多い映像フレームをGoP長(IフレームとIフレーム間のフレーム数)から換算してIフレームと特定する。
例えば、パケット内の映像フレーム数が300としてGoP長が15であるならば、Iフレームの数は20である。したがって、パケット内の映像フレームのうち、データ量の多い20の映像フレームをIフレームと特定することができる。
また特定されたIフレームの位置を示すために、フレームの先頭位置のRTPシーケンス番号や、分析区間の最初から数えて何個目のパケットであるかを記憶する。
また、ESの情報が利用できない、かつ、動的に映像フレーム種別が変更されない場合、Iフレームの開始位置をRAIやESPIに基づいて取得し、デフォルトのGoP構成(例えばM=3、N=15)からIフレームの開始位置を起点として、「Pフレーム」「Bフレーム」と順に決定しても良い。
さらに、「Iフレーム」「Pフレーム」「Bフレーム」のビット量の関係は、一般的に(BitsI)>(BitsP)>(BitsB)であるため、ビット量の多いものから映像フレーム種別を判定しても良い。
映像フレームビット量算出部105は、フレーム区切位置抽出部103によって抽出されたフレーム区切位置の間にある映像データのPIDをもつTSパケット数を計数することにより、TSパケットのデータ長(一般には188バイト)を掛け合わせて、映像フレーム毎のビット量を導出する。また、フレーム区切位置抽出部103で抽出されたフレーム区切位置(フレームの先頭位置のRTPシーケンス番号や、分析区間の最初から数えて何個目のパケットであるか、またはPUSIを含むパケットが何フレーム目であるかなどの情報)を映像フレーム毎のビット量と突き合わせ記憶する。
映像フレーム種別ビット量算出部106は、フレーム区切位置の情報と、映像フレームビット量算出部105により算出された映像フレーム毎のビット量と、特定フレーム開始位置抽出部104により特定された各映像フレームの位置とから、Iフレームビット量(BitsI)、Pフレームビット量(BitsP)、Bフレームビット量(BitsB)を導出する。
ここで、符号化映像のGoP構成における映像フレーム種別の構成は、符号化の状況に応じて異なる。例えば、Iフレームのみで構成される場合もあり、IとPで構成される場合もある。そのために、映像フレーム種別ビット量算出部106は、少なくとも1の映像フレーム種別における映像フレーム毎のビット量を導出することとする。
次に、本実施の形態にかかる映像品質推定装置1のフレーム特性推定部11は、図3に示すように、パケット分析部10より出力されたビットレートを入力とし、映像フレーム種別毎のビット量に関する特性(フレーム特性)である平均ビット量(Bits(I,P,B)ave)を導出する平均ビット量推定部11−1と、映像フレーム種別毎の最大ビット量(Bits(I,P,B)max)を導出する最大ビット量推定部11−2と、映像フレーム種別毎の最小ビット量(Bits(I,P,B)min)を導出する最小ビット量推定部11−3とから構成されている。
ただし、推定対象となる映像に含まれる映像フレーム種別の構成は、符号化の状況に依存し、Iフレームのみで構成される場合や、IフレームとPフレームで構成される場合や、Iフレーム,Pフレーム,Bフレームの全てのフレーム種別で構成される場合もあり、映像の符号化の状況により異なる。そのために、フレーム特性推定部11は、少なくとも1の映像フレーム種別のフレーム特性、すなわち一部もしくは全部の映像フレーム種別毎のフレーム特性を導出する。
例えば、Iフレームにおけるフレーム特性、すなわち、Iフレーム平均ビット量(BitsIave)とIフレーム最大ビット量(BitsImax)とIフレーム最小ビット量(BitsImin)とを導出する場合、平均ビット量推定部11−1と最大ビット量推定部11−2と最小ビット量推定部11−3とは、符号量算出部102によって導出されたビットレートを入力として、図10Aに示すようなビットレートとIフレームビット量との関係における特性から推定し、フレーム特性を導出する。
また、PフレームやBフレームにおけるフレーム特性を導出する場合についても同様に、符号量算出部102によって導出されたビットレートを入力として、図10Bに示すようなビットレートとPフレームビット量との関係(Bフレームビット量との関係に類似)における特性から推定し、フレーム特性を導出する。
次に、本実施の形態にかかる映像品質推定装置1の符号化品質推定部12は、図4に示すように、平均映像品質推定部121、最大映像品質推定部122、最小映像品質推定部123、差分映像品質推定部124、映像品質推定部125から構成されている。
平均映像品質推定部121と最大映像品質推定部122と最小映像品質推定部123とは、パケット分析部10から出力されたビットレートを入力として、図11に示すようなビットレートと映像品質値(Vq)との関係における特性を用いることによって、平均映像品質値(Vqave)と最大映像品質値(Vqmax)と最小映像品質値(Vqmin)とを導出する。
差分映像品質推定部124は、平均映像品質推定部121と最大映像品質推定部122と最小映像品質推定部123とによって導出された平均映像品質値(Vqave)と最大映像品質値(Vqmax)と最小映像品質値(Vqmin)と、ビット量算出部10−2によって導出されたフレーム種別毎のビット量(BitsI,BitsP,BitsB)と、フレーム特性推定部11によって導出されたフレーム特性(BitsIave,BitsImax,BitsImin,BitsPave,BitsPmax,BitsPmin,BitsBave,BitsBmax,BitsBmin)とを入力として、映像品質の推定対象である映像の映像品質値と平均映像品質値との差分である差分映像品質値(dVq)を導出する。
ここで、差分映像品質値(dVq)の導出方法について説明する。
例えば、図11に示す黒塗星印で示す値が推定対象の映像の映像品質値(Vq)であった場合、推定対象のI,P,Bフレームのフレームビット量は、図9A〜図9Cに示すような同一ビットレートにおけるフレームビット量と映像品質値との関係における特性から導くことができ、図10A〜図10Bに示すようなビットレートとフレームビット量との関係における特性から、各フレームの平均ビット量との差分の関係を導くことができ(図10A〜図10Bの黒塗星印)、これらの特性を用いて差分映像品質値を算出する。
具体的に説明すると、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)と同一で、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)と同一で、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)と同一であるならば、推定対象の映像の映像品質値(Vq)は平均映像品質値(Vqave)と同一となるため、差分映像品質値は発生しない。
また、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、図9Aに示す特性から、推定対象の映像品質値(Vq)は平均映像品質値(Vqave)より大きくなる。一方、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合は、推定対象の映像品質値(Vq)は平均映像品質値(Vqave)より小さくなる。
したがって、差分映像品質値(dVq)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、(Vqmax−Vqave)×(BitsI−BitsIave)/(BitsImax−BitsIave)と比例関係にあり、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合、(Vqmin−Vqave)・(BitsI−BitsIave)/(BitsImin−BitsIave)と比例関係にある。
また、P,Bフレームのフレームビット量(BitsP,BitsB)がP,Bフレーム平均ビット量(BitsPave,BitsBave)より大きい場合、図9B〜図9Cに示す特性から推定対象の映像品質値(Vq)は平均映像品質値(Vqave)より小さく、P,Bフレームビット量(BitsP,BitsB)がP,Bフレーム平均ビット量(BitsPave,BitsBave)より小さい場合は、推定対象の映像品質値(Vq)は平均映像品質値(Vqave)より大きくなる。
したがって、差分映像品質値(dVq)は、Pフレームを例とすると、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より大きい場合、(Vqmin−Vqave)×(BitsP−BitsPave)/(BitsImin−BitsPave)と比例関係にあり、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より小さい場合、(Vqmax−Vqave)・(BitsP−BitsPave)/(BitsPmax−BitsPave)と比例関係にある。
なお、Bフレームにおける差分映像品質値(dVq)の特性は、上記Pフレームにおける特性と同一のため、省略する。
このような映像フレーム種別毎の差分映像品質値(dVq)に関する特性を用いることにより、差分映像品質推定部124は、ビットレートと映像フレーム種別毎のビット量と映像フレーム種別毎のフレーム特性とを入力として差分映像品質値(dVq)を導出する。
映像品質推定部125は、平均映像品質推定部121によって導出された平均映像品質値(Vqave)と、差分映像品質推定部124によって導出された差分映像品質値(dVq)とを加算することにより、推定対象である映像の映像品質値(Vq)を導出する。
なお、本実施の形態にかかる映像品質推定装置1は、CPU(中央演算装置)やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質推定装置1の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム(ソフトウェア)とが協働して実現される。
次に、図5を参照して、本実施の形態にかかる映像品質推定装置1の動作について説明する。
図5に示すように、映像品質推定装置1のパケット分析部10は、入力されたパケットをキャプチャする(S101)。
パケット分析部10は、キャプチャしたパケットから符号化映像パケットのビットレート(BR)と映像フレーム種別毎のビット量(BitsI,BitsP,BitsB)とを導出する(S102)。
パケット分析部10によって導出されたビットレートを入力として、フレーム特性推定部11の平均ビット量推定部11−1は、Iフレーム平均ビット量を導出し(S103)、差分映像品質推定部124に対して出力する。
ここで、平均ビット量推定部11−1は、ビットレートの増加とともにIフレーム平均ビット量も増加するという特性を表した式(1)を用いることにより、Iフレーム平均ビット量を導出することができる。
(BitsIave)=v1+v2・exp(−BR/v3) ・・・式(1)
ただし、(BitsIave)はIフレーム平均ビット量、BRはビットレートを示し、v1,v2,v3は特性係数である。
平均ビット量推定部11−1によってIフレーム平均ビット量が導出されると、最大ビット量推定部11−2は、パケット分析部10によって導出されたビットレートを入力としてIフレーム最大ビット量を導出し(S104)、差分映像品質推定部124に対して出力する。
ここで、最大ビット量推定部11−2は、ビットレートの増加とともにIフレーム最大ビット量も増加するという特性を表した式(2)を用いることにより、Iフレーム最大ビット量を導出することができる。
(BitsImax)=v4+v5・exp(−BR/v6) ・・・式(2)
ただし、(BitsImax)はIフレーム最大ビット量、BRはビットレートを示し、v4,v5,v6は特性係数である。
最大ビット量推定部11−2によってIフレーム最大ビット量が導出されると、最小ビット量推定部11−3は、パケット分析部10によって導出されたビットレートを入力としてIフレーム最小ビット量を導出し(S105)、差分映像品質推定部124に対して出力する。
ここで、最小ビット量推定部11−3は、ビットレートの増加とともにIフレーム最小ビット量も増加するという特性を表した式(3)を用いることにより、Iフレーム最小ビット量を導出することができる。
(BitsImin)=v7+v8・exp(−BR/v9) ・・・式(3)
ただし、(BitsImin)はIフレーム最小ビット量、BRはビットレートを示し、v7,v8,v9は特性係数である。
フレーム特性推定部11の平均ビット量推定部11−1と最大ビット量推定部11−2と最小ビット量推定部11−3とは、Iフレームのフレーム特性を導出した後、PフレームとBフレームのフレーム特性を導出し(S106〜S111)、差分映像品質推定部124に対して出力する。
ここで、平均ビット量推定部11−1と最大ビット量推定部11−2と最小ビット量推定部11−3とによって導出されるPフレームおよびBフレームのフレーム特性は、ビットレートの増加とともに各フレーム特性のビット量も増加するといった関係を表した式(4)〜式(9)を用いることにより、PフレームおよびBフレームのフレーム特性を導出することができる。
(BitsPave)=v10+v11×(BR) ・・・式(4)
(BitsPmax)=v12+v13×(BR) ・・・式(5)
(BitsPmin)=v14+v15×(BR) ・・・式(6)
(BitsBave)=v16+v17×(BR) ・・・式(7)
(BitsBmax)=v18+v19×(BR) ・・・式(8)
(BitsBmin)=v20+v21×(BR) ・・・式(9)
ただし、(BitsPave)はPフレーム平均ビット量、(BitsPmax)はPフレーム最大ビット量、(BitsPmin)はPフレーム最小ビット量、(BitsBave)はBフレーム平均ビット量、(BitsBmax)はBフレーム最大ビット量、(BitsBmin)はBフレーム最小ビット量を、(BR)はビットレートを示し、v10〜v21は特性係数である。
フレーム特性推定部11によって映像フレーム種別におけるフレーム特性が導出されると、符号化品質推定部12の平均映像品質推定部121は、パケット分析部10によって導出されたビットレートを入力として平均映像品質値を導出し(S112)、差分映像品質推定部124、映像品質推定部125双方に対して出力する。
ここで、平均映像品質推定部121は、ビットレートの増加とともに平均映像品質値も高くなるという特性を表した式(10)を用いることにより、平均映像品質値を導出することができる。
(Vqave)=v22+v23・exp(−BR/v24) ・・・式(10)
ただし、(Vqave)は平均映像品質値、BRはビットレートを示し、v22,v23,v24は特性係数である。
平均映像品質推定部121によって平均映像品質値が導出されると、最大映像品質推定部122は、パケット分析部10によって導出されたビットレートを入力として最大映像品質値を導出し(S113)、差分映像品質推定部124に対して出力する。
ここで、最大映像品質推定部122は、ビットレートの増加とともに最大映像品質値も高くなるという特性を表した式(11)を用いることにより、最大映像品質値を導出することができる。
(Vqmax)=v25+v26・exp(−BR/v27) ・・・式(11)
ただし、(Vqmax)は最大映像品質値、BRはビットレートを示し、v25,v26,v27は特性係数である。
最大映像品質推定部122によって最大映像品質値が導出されると、最小映像品質推定部123は、パケット分析部10によって導出されたビットレートを入力として最小映像品質値を導出し(S114)、差分映像品質推定部124に対して出力する。
ここで、最小映像品質推定部123は、ビットレートの増加とともに最小映像品質値も高くなるという特性を表した式(12)を用いることにより、最小映像品質値を導出することができる。
(Vqmin)=v28+v29・exp(−BR/v30) ・・・式(12)
ただし、(Vqmin)は最小映像品質値、BRはビットレートを示し、v28,v29,v30は特性係数である。
最小映像品質推定部123によって最小映像品質値が導出されると、差分映像品質推定部124は、平均映像品質推定部121によって導出された平均映像品質値(Vqave)と、最大映像品質推定部122によって導出された最大映像品質値(Vqmax)と、最小映像品質推定部123によって導出された最小映像品質値(Vqmin)と、フレーム特性推定部11によって導出された映像フレーム種別毎のフレーム特性(BitsIave,BitsImax,BitsImin,BitsPave,BitsPmax,BitsPmin,BitsBave,BitsBmax,BitsBmin)と、パケット分析部10のビット量算出部によって導出された映像フレーム種別毎のビット量(BitsI,BitsP,BitsB)とを入力として、差分映像品質値を導出し(S115)、映像品質推定部125に対して出力する。
ここで、差分映像品質推定部124は、映像フレーム種別毎のフレームビット量と平均ビット量との関係に基づいた差分映像品質値(dVq)の特性を表す式(13)用いることによって導出することができる。
なお、映像フレーム種別毎のフレームビット量と平均ビット量とが同一の場合は、差分映像品質値dVqは発生しない。
(dVq)=v31+v32×X+v33×Y+v34×Z ・・・式(13)
ただし、(dVq)は差分映像品質値を、XはIフレームビット量の差分映像品質値への影響度を、YはPフレームビット量の差分映像品質値への影響度を、ZはBフレームビット量の差分映像品質値への影響度を示し、v31,v32,v33,v34は特性係数である。
ここで、式(13)のX,Y,Zは、映像フレーム種別毎のフレームビット量と平均ビット量との関係を表した式(14)〜(19)によって導出することができる。
[BitsI>BitsIaveの場合]
X=(Vqmax−Vqave)(BitsI−BitsIave)/(BitsImax−BitsIave) ・・・式(14)
[BitsI<BitsIaveの場合]
X=(Vqmin−Vqave)(BitsI−BitsIave)/(BitsImin−BitsIave) ・・・式(15)
[BitsP<BitsPaveの場合]
Y=(Vqmax−Vqave)(BitsP−BitsPave)/(BitsPmax−BitsPave) ・・・式(16)
[BitsP>BitsPaveの場合]
Y=(Vqmax−Vqave)(BitsB−BitsBave)/(BitsBmax−BitsBave) ・・・式(17)
[BitsB<BitsBaveの場合]
Z=(Vqmax−Vqave)(BitsB−BitsBave)/(BitsBmax−BitsBave) ・・・式(18)
[BitsB>BitsBaveの場合]
Z=(Vqmin−Vqave)(BitsB−BitsBave)/(BitsBmin−BitsBave) ・・・式(19)
式(1)〜式(13)において用いられた特性係数v1〜v34は、映像品質推定装置1の図示しない記憶部にデータベース化された品質特性係数データベースから該当する特性係数を選択する。この品質特性係数データベースの一例を図6に示す。品質特性データベースは、特性係数を前提条件に関連付けて記述されたデータベースである。
また、映像品質は映像コーデックの実装に依存し、例えば、同じビットレートでH.264で符号化した映像と、MPEG2で符号化した映像とでは、品質が異なる。同様に、映像フォーマットやフレームレートなども含めた前提条件に映像品質は依存する。図6に示す品質特性係数データベースの一例は、この前提条件毎に記述されたものである。
差分映像品質推定部124によって差分映像品質値(dVq)が導出されると、映像品質推定部125は、平均映像品質推定部121によって導出された平均映像品質値(Vqave)と、差分映像品質推定部124によって導出された差分映像品質値(dVq)とを入力として、これらを加算する(式(20))ことにより、映像品質の推定対象である映像コンテンツの映像品質値(Vq)を導出する(S116)。
(Vq)=(Vqave)+(dVq) ・・・式(20)
このように、本実施の形態によれば、パケットから符号化映像パケットのビットレートと映像フレーム種別毎のビット量とを用いて、符号化劣化を考慮した映像品質値を算出することができるため、従来よりも正確な客観品質推定法による映像品質推定が可能となる。
したがって、映像通信サービスの提供者は、提供中のサービスがユーザに対してある一定以上の品質を保っているか否かを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
[第2の実施の形態]
本発明の第2の実施の形態にかかる映像品質推定装置は、映像通信に関わる映像品質評価値に影響を与えるビットレートと損失映像フレーム、映像フレーム種別毎のビット量を利用して映像品質を定量的に表した映像品質評価値を導出して客観的な映像品質評価を実現するものである。
例えば、本実施の形態においては、インターネットのようなIPネットワーク経由で行うIPTVサービス、映像配信サービス、TV電話サービスなど映像通信におけるパケットに含まれる符号化映像パケットを分析し、これらの映像通信に関わる映像品質に影響を与える特徴量を定量的に表した映像品質評価値を導出する。
本実施の形態にかかる映像品質推定装置は、入力パケットから符号化映像のビットレート、符号化映像の映像フレームにおける各映像フレーム種別毎のビット量、損失映像フレーム数のそれぞれを考慮して映像品質評価値を導出することにより符号化映像の映像品質を推定するものである。
ここでは、符号化映像の映像フレーム種別毎に割り当てられたビット量と映像品質評価値との関係、および、ネットワーク内などで発生したパケット損失が映像の映像品質評価値に与える影響について説明する。
<各映像フレーム種別のビット量と映像品質評価値との関係について>
前述したように、図9A〜図9Cに示す映像フレーム種別のビット量と映像品質評価値との関係は、同一ビットレートの映像においても、映像フレーム種別毎のビット量が映像品質に対して影響を与えることを示している。
<各映像フレーム種別のビット量の特性と映像品質評価値との関係について>
符号化された複数の映像コンテンツの集合(以下、「映像集合」という。)に対しビットレートとフレームビット量との関係を各映像フレーム種別毎に示す図を図25A〜図25Cに、ビットレートと映像品質評価値との関係を図26に示す。
図25A〜図25Cに示すように、映像コンテンツによってIフレームビット量、Pフレームビット量、Bフレームビット量は同一ビットレートであるにも拘わらず、異なるビット量の特性を有していることを示している。
すなわち、同一ビットレートで符号化された異なる映像コンテンツは、それぞれの映像コンテンツに応じて各映像フレーム種別のビット量が異なることを示している。
また、図26に示すように、同一ビットレートの映像においても、符号化映像品質評価値には、最大と最小の符号化映像品質評価値が存在する。すなわち、同一ビットレートで符号化された映像コンテンツであるにも拘わらず、符号化映像品質評価値には最大符号化映像品質評価値と最小符号化映像品質評価値との間に生じる幅が存在していることを示している。
例えば、図26の黒塗星印で示す値が推定対象となる映像コンテンツの符号化映像品質評価値であった場合、この推定対象となる映像コンテンツの符号化映像品質評価値と、推定対象となる映像コンテンツと同一のビットレートの映像における平均符号化映像品質評価値とは必ずしも一致せず、符号化映像品質評価値と符号化平均映像品質評価値との差分が、推定対象である映像コンテンツの映像フレーム種別毎に割り当てられたビット量に依存している。
すなわち、映像コンテンツの映像フレーム種別毎のフレームビット量の特性が、符号化映像品質評価値の映像コンテンツ依存性となり、図26に示すように同一ビットレートで符号化された映像であるにも拘わらず符号化映像品質評価値の違いとなって現れている。
ここで、映像集合内の映像コンテンツで同一ビットレートで符号化された映像の品質評価値(符号化映像品質評価値:Vqc)について説明する。
映像集合内の任意の映像コンテンツを同一ビットレートで符号化した場合、この符号化された映像の符号化映像品質評価値(Vqc)の最大値を最大符号化映像品質評価値(Vcmax)、最小値を最小符号化映像品質評価値(Vcmin)、平均値を平均符号化映像品質評価値(Vcave)とする。
具体的には、例えば、ビットレート(BR)が10Mbpsで符号化された8の映像コンテンツそれぞれの符号化映像品質評価値Vcqが、「3.5」「3.6」「3.7」「3.8」「3.9」「4.0」「4.1」「4.2」であった場合、符号化映像品質評価値の最大値が「4.2」であることから最大符号化映像品質評価値Vcmaxは「4.2」となり、最小値が「3.5」であることから最小符号化映像品質評価値Vcminは「3.5」となり、平均値が「3.85」であることから平均符号化映像品質評価値Vcaveは「3.85」となる。
<パケット損失と映像品質評価値との関係について>
圧縮された映像フレームを伝送する際、ネットワーク内などで発生したパケット損失が映像の品質評価値に与える影響について説明する。
図27は、映像コンテンツをビットレート10Mbpsで符号化した際、パケット損失により損失した映像フレーム数(DF)を横軸に、映像品質評価値(Vq)を縦軸にプロットした図である。
また、図28A〜図28Cは、ビットレート(BR)が10Mbps、損失映像フレーム数(DF)が1である場合、映像品質評価値と映像フレーム種別(I,P,Bフレーム)毎のフレームビット量(BitsI,BitsP,BitsB)との関係を示した図である。
図27に示すように、同一の損失映像フレーム数(DF)で映像品質評価値を比較すると、映像品質評価値には、最大と最小の映像品質評価値が存在している。すなわち、損失映像フレーム数が同じであっても、映像コンテンツによって映像品質評価値が異なることを示している。
図28A〜図28Cに示すように、損失映像フレーム数(DF)が同一である場合、映像フレーム種別のビット量と映像品質評価値との関係は、Iフレームビット量が少ない映像コンテンツは映像品質評価値が低く、Iフレームビット量が多い映像コンテンツは、映像品質評価値が高いことを示している。同様に、P,Bフレームビット量に関して同一の損失映像フレーム数(DF)で比較した場合、P,Bフレームビット量が少ない映像コンテンツは映像品質評価値が高く、P,Bフレームビット量が多い映像コンテンツは映像品質評価値が低いことを示している。
したがって、同一の損失映像フレーム数(DF)の映像においても、映像フレーム種別毎のビット量が映像品質に対して影響することを表している。
例えば、図27の黒塗星印で示す値が推定対象となる映像コンテンツの映像品質評価値であった場合、この推定対象となる映像コンテンツの映像品質評価値と、推定対象となる映像コンテンツと同一の損失映像フレーム数の映像における平均映像品質評価値とは必ずしも一致せず、映像品質評価値と平均映像品質評価値との差分が、推定対象である映像コンテンツの映像フレーム種別毎に割り当てられたビット量に依存している。
すなわち、映像コンテンツの映像フレーム種別毎のフレームビット量の特性が、映像品質評価値の映像コンテンツ依存性となり、図27に示すように同一の損失映像フレーム数の映像であるにも拘わらず映像品質評価値の違いとなって現れている。
ここで、圧縮された映像の映像品質評価値(Vq)について説明する。
同一のビットレートで符号化され、かつ、同一の損失映像フレーム数の任意の映像において、映像品質評価値Vqの最大値を最大映像品質評価値(Vqmax)、最小値を最小映像品質評価値(Vqmin)、平均値を平均映像品質評価値(Vqave)とする。
具体的には、例えば、ビットレートが10Mbpsで損失映像フレーム数が1の8種類の映像コンテンツに対する映像品質評価値Vqが「3.5」「3.6」「3.7」「3.8」「3.9」「4.0」「4.1」「4.2」であった場合、映像品質評価値Vqの最大値が「4.2」であることから最大映像品質評価値(Vqmax)は「4.2」であり、最小値が「3.5」であることから最小映像品質評価値(Vqmin)は「3.5」である。また、8種類の映像コンテンツに対する映像品質評価値Vqの平均値が「3.85」であることから、平均映像品質評価値(Vqave)は「3.85」となる。
次に、本実施の形態にかかる映像品質推定装置2の構成および機能について説明する。 本実施の形態にかかる映像品質推定装置2は、図12に示すように、パケット分析部20、フレーム特性推定部21と、符号化品質推定部22、パケット損失品質推定部23とから構成されている。
このうち、パケット分析部20は、図13に示すように、映像パケット特定部201と、ビットレート算出部202と、フレーム区切位置抽出部203と、特定フレーム開始位置抽出部204と、映像フレームビット量算出部205、映像フレーム種別ビット量算出部206、パケット損失フレーム特定部207と、損失映像フレーム数算出部208とから構成されている。
映像パケット特定部201は、入力されたパケットに含まれる任意の符号化映像パケットを、この符号化映像パケット固有のパケットID(PID)によって特定する(例えば、RTP(Real-time Transport Protocol)パケット内のペイロードタイプ、TS(Transport Stream)パケット内のPID、PES(Packetized Elementally Stream)ヘッダ内のStream IDを用いて特定する。)。さらに、RTPパケット内のRTPシーケンス番号、TSパケット内のCC(Continuity Counter:4ビットのカウンタ)を抽出する機能を同時に有することとしても良い。
ビットレート算出部202は、映像パケット特定部201によって特定される符号化映像パケットの単位時間当たりのビット量で表されるビットレートを算出する。
例えば、TSパケットのヘッダに記載されているPIDによって映像や音声の符号化データが識別され、映像データのPIDをもつTSパケット数を計数することにより、TSパケットのデータ長(一般には188バイト)を掛け合わせて単位時間当たりのビット量を算出し、ビットレート(BR)を導出する。
フレーム区切位置抽出部203は、映像パケット特定部201によって特定される符号化映像パケットから映像フレームの区切を示す情報を抽出する。
例えば、パケット内には、IPヘッダ、UDP(User Datagram Protocol)ヘッダ、RTP、TSヘッダ、PESヘッダ、ES(Elementary Stream)の情報が存在する。このうち、TSヘッダ内にあるPayload_Unit_Start_indicator(以下、「PUSI」という。)は、PESヘッダの有無を示すフラグであり、1つのPESに1枚のフレームが含まれる場合は(TV放送内で利用される映像符号化では、1つのPESに1枚の映像フレームを格納することが多い。)、PUSIが映像フレームの開始を示す情報となる。
同様に、例えば、パケット内には、IPヘッダ、UDP(User Datagram Protocol)ヘッダ、RTP、ES(Elementary Stream)の情報が存在する。このうち、RTPヘッダ内にあるMarker_bit(以下、「MB」という。)は、映像フレームの終了位置を示す情報となる場合があり、その場合は、MBの有無でフレームの終了位置を抽出する。
ここで、フレームの区切位置を示す情報について、図7に示す映像フレーム開始位置抽出について概念的に説明する図を参照して具体的に説明する。
図7(左列はRTPシーケンス番号を示し、左から2〜8列目はTSのCCの番号を示す。)に示すように、PUSIが含まれるTSがフレームの先頭位置を示す。フレームの区切位置を示す情報としては、フレームの先頭位置のRTPシーケンス番号や、分析区間の最初から数えて何個目のパケットであるか、またはPUSIを含むパケットが何フレーム目であるかを記憶すれば良い。フレームのカウント方法は、分析区間のPUSIの数をカウントすれば良い。
ただし、PESヘッダが暗号化されていない場合などPESヘッダが利用可能であるときは、PTS(Presentation Time Stamp)やDTS(Decoding Time Stamp)がフレームの区切位置を示している情報となるので、上記のPUSIと同様の処理を実行する。同様に、ESが利用可能であるときは、ES内にフレームの情報が格納されているので、上記のPUSIと同様の処理を実行する。また、RTPでパケット化される場合も同様に、MBを参照することにより上記のPUSIと同様の処理を実行する。
特定フレーム開始位置抽出部204は、映像パケット特定部201によって特定される符号化映像パケットから、特定の映像フレームの開始位置を示す情報を抽出する。
ここで、本実施の形態にかかる映像品質推定装置における特定フレーム開始位置抽出部204は、ESの情報が利用できる場合は、「Iフレーム」、「Pフレーム」、「Bフレーム」の開始位置を示す情報を抽出することを前提とし、ESの情報が暗号化などにより利用できない場合は、「Iフレーム」の開始位置を示す情報を抽出することを前提とする。
ESの情報が利用できる場合、H.264やMPEG2のビット列の中にフレームの情報を示すビットが存在する(例えば、H.264の場合、Primary_pic_typeやSlice_typeがそれに当たる)。この情報により「Iフレーム」、「Pフレーム」、「Bフレーム」のフレームの区切を識別でき、さらに、映像フレーム種別識別情報を含むパケットのRTPシーケンス番号や、分析区間の最初から数えて何個目の映像フレームであるかを記憶することで、当該フレームが何番目の映像フレームであるか判別できる。
ESの情報が利用できない場合、Iフレームの開始位置を示す情報としては、TSヘッダ内のRAI(Random_Access_Indicator)やESPI(Elementary_Stream_Priority_Indicator)が、IフレームやIDR(Instantaneous Decoder Refresh)フレームの開始位置を示しているフラグである(非特許文献4,5参照)。すなわち、RAIやESPIは、IフレームやIDRフレームの先頭位置を示す情報となるので、Iフレームの区切とその他のフレームの区切を識別できる。また、RAIやESPIが含まれるパケットのRTPシーケンス番号や、分析区間の最初から数えて何個目の映像フレームであるかを記憶することで、当該フレームが何番目の映像フレームであるか判別できる。
仮に、RAIやESPIがIフレームやIDRフレームの開始位置を示していない場合は、特定フレーム開始位置抽出部204を後述する映像フレーム種別ビット量算出部206に内包し、特定フレーム開始位置抽出部204はフレーム区切位置抽出部203によって抽出されたフレームの開始位置を示すPUSIと、映像フレームビット量算出部205により算出された映像フレーム毎のビット量を利用して各フレームのデータ量を計算することによって、Iフレームの位置を特定することとする。
また、Iフレームの情報量は、他の映像フレームの情報量よりも多いという圧縮された映像フレーム種別における基本的な特徴から、パケット内の映像フレームにおいて、データ量の多い映像フレームを符号化映像のGoP長から換算してIフレームと特定することができる。
例えば、映像フレーム数が300としてGoP長が15であるならば、Iフレームの数は20である。したがって、パケット内の映像フレームのうち、データ量の多い20の映像フレームをIフレームと特定することができる。
その他の方法として、クラスタリングの基本である距離が最小のものを同一グループとする方法(最短距離法)を用いることもできる。
例えば、1秒間に映像フレームが12フレーム存在してI,B,B,P,B,B,I,B,B,P,B,B(映像フレーム種別のI,B,Pを示す)といった順番で並んでいる場合について説明する。この1秒間の映像コンテンツにおける各映像フレームのビット量が100,50,51,70,48,45,95,49,52,71,47,46ビットであったとすると、最短距離法を用いて、100,95ビットの映像フレームが最大のビット量のグループ、すなわち、Iフレームとして識別され、50,51,48,45,49,52,47,46ビットの映像フレームが最小のビット量のグループ、すなわち、Bフレームと識別され、その他の70,71ビットの映像フレームが中間のグループ、すなわち、Pフレームとして識別される。
また、特定されたIフレームの位置を示すために、フレームの先頭位置のRTPシーケンス番号や、分析区間の最初から数えて何個目のパケットであるかを記憶する。
仮に、ESの情報が利用できないかつ、動的に映像フレーム種別が変更されない場合、Iフレームの開始位置を前記の方法で取得し、デフォルトGoPパターン(例えば、M=3、N=15)からIフレームの開始位置を起点に、「Pフレーム」、「Bフレーム」と順に決定しても良い。
また、Iフレーム、Pフレーム、Bフレームのビット量には、一般的に、BitsI>BitsP>BitsBの関係があるため、ビット量の多いものから映像フレーム種別を判定しても良い。
映像フレームビット量算出部205は、フレーム区切位置抽出部203で抽出されたフレーム区切位置の間にある映像データのPIDをもつTSパケット数を計数することにより、TSパケットのデータ長(一般には188バイト)を掛け合わせて、映像フレーム毎のビット量を導出する。また、フレーム区切位置抽出部203で抽出されたフレーム区切位置(フレームの先頭位置のRTPシーケンス番号や、分析区間の最初から数えて何個目のパケットであるか、またはPUSIを含むパケットが何フレーム目であるかなどの情報)を映像フレーム毎のビット量と突合させ記憶する。
映像フレーム種別ビット量算出部206は、映像フレームビット量算出部205により算出された映像フレーム毎のビット量とフレーム区切位置の情報と、特定フレーム開始位置抽出部204により特定されたIフレーム、Pフレーム、Bフレームの位置から、Iフレームビット量(BitsI)、Pフレームビット量(BitsP)、Bフレームビット量(BitsB)を算出する。
ただし、推定対象となる映像に含まれる映像フレーム種別の構成は、符号化の状況に依存し、Iフレームのみで構成される場合や、IフレームとPフレームで構成される場合や、Iフレーム,Pフレーム,Bフレームの全ての映像フレーム種別で構成される場合もあり、映像の符号化の状況により異なる。そのために、映像フレーム種別ビット量算出部206は、少なくとも1の映像フレーム種別のフレームビット量、すなわち一部もしくは全部の映像フレーム種別のフレームビット量を導出する。
映像フレーム種別ビット量算出部206が、各映像フレーム種別を特定する方法は、以下のように決まる。
ESの情報が利用できる場合、前述のように、H.264やMPEG2のビット列の中にフレームの情報を示すビットが存在する(例えば、H.264の場合、Primary_pic_typeやSlice_typeがそれに当たる)。この情報より「Iフレーム」、「Pフレーム」、「Bフレーム」のフレームの区切を識別でき、パケットのRTPシーケンス番号や、分析区間の最初から数えて何個目のパケットであるかを突き合わせて記憶する。
ESの情報が利用できない場合、既に、特定されているIフレームの開始位置を起点とし、デフォルトGoPパターン(例えば、M=3、N=15)に基づき、「Pフレーム」、「Bフレーム」と順に決定しても良い。
また、Iフレーム、Pフレーム、Bフレームのビット量には、一般的に、BitsI>BitsP>BitsBの関係があるため、ビット量の多いものから映像フレーム種別を判定しても良い。
また、I、P、Bフレームのビット量の大小関係を用い、非特許文献6に示されるような方法を用いて映像フレーム種別を特定しても良い。
パケット損失フレーム特定部207は、フレーム区切位置抽出部203により抽出されたフレーム区切位置を示すPUSIやMBを含むIPパケットのRTPシーケンス番号やCCなどの情報を用いてパケット損失フレームを特定する。
例えば、図7に示すように、1フレーム目のRTPシーケンス番号が、10000から10002のパケットで構成され、RTPシーケンス番号が10001のパケットが損失した場合、1フレーム目が損失したと特定できる。この際、分析区間の最初から何フレーム目にパケット損失が発生しているかを記憶しても良い。
損失映像フレーム数算出部208は、映像フレーム種別ビット量算出部206から出力される分析区間内のフレーム番号および映像フレーム種別と、パケット損失フレーム特定部207から出力される分析区間内の損失フレーム番号から、損失映像フレーム数を算出する。
例えば、図7に示すように1フレーム目のRTPシーケンス番号が、10000から10002のパケットで構成され、RTPシーケンス番号が10001のパケットが損失した場合、パケット損失フレーム特定部207によってパケット損失が発生している映像フレーム位置は1フレーム目であることを示す情報が出力され、映像フレーム種別ビット量算出部206によって1フレーム目の映像フレーム種別はIフレームであることを示す情報が出力される。これらの情報から、損失映像フレーム数算出部208は、何番目のどの映像フレーム種別の映像フレームに損失が発生してたのかを特定することができる。
ここで、符号化映像の映像フレーム種別とパケット損失による符号化映像の劣化の伝搬との関係について、図24を参照して説明する。
図24に示すように、それぞれの映像フレーム種別の特性から、パケット損失が発生している映像フレームの映像フレーム種別によって、劣化の伝搬は異なっている。
具体的には、Iフレームにパケット損失が発生した場合、このパケット損失が発生しているIフレームに後続するB,PフレームはIフレームを参照し、さらにこのIフレームを参照したB,Pフレームを後続するB,Pフレームが参照するため、映像フレームの参照構造が途切れるまで劣化は伝搬する。図24に示す例では、劣化フレーム数は17フレームとなり、損失映像フレーム数算出部208によって導出される損失映像フレーム数は17となる。
また、Pフレームにパケット損失が発生した場合、図24に示すように、Iフレームにパケット損失が発生した場合と同様に映像フレームの参照構造が途切れるまで劣化は伝搬する。図24に示す例では、劣化フレーム数は11フレームとなり、損失映像フレーム数算出部208によって導出される損失映像フレーム数は11となる。
Bフレームにパケット損失が発生した場合では、上述したI,Pフレームにパケット損失が発生した場合とは異なり、Bフレームを参照する映像フレームは存在しないために劣化の伝搬は起こらず、パケット損失が発生したBフレームのみが劣化する。よって、損失映像フレーム数算出部208によって導出される損失映像フレーム数は1となる。
図14に示すように、フレーム特性推定部21は、Iフレーム平均ビット量を推定するIフレーム平均ビット量推定部211と、Iフレーム最大ビット量を推定するIフレーム最大ビット量推定部212と、Iフレーム最小ビット量を推定するIフレーム最小ビット量推定部213と、Pフレーム平均ビット量を推定するPフレーム平均ビット量推定部214と、Pフレーム最大ビット量を推定するPフレーム最大ビット量推定部215と、Pフレーム最小ビット量を推定するPフレーム最小ビット量推定部216と、Bフレーム平均ビット量を推定するBフレーム平均ビット量推定部217と、Bフレーム最大ビット量を推定するBフレーム最大ビット量推定部218と、Bフレーム最小ビット量を推定するBフレーム最小ビット量推定部219とから構成される。
ただし、推定対象となる映像に含まれる映像フレーム種別の構成は、符号化の状況に依存し、Iフレームのみで構成される場合や、IフレームとPフレームで構成される場合や、Iフレーム,Pフレーム,Bフレームの全ての映像フレーム種別で構成される場合もあり、映像の符号化の状況により異なる。そのために、フレーム特性推定部21は、少なくとも1の映像フレーム種別のフレーム特性、すなわち一部もしくは全部の映像フレーム種別毎のフレーム特性を導出する。
Iフレーム平均ビット量推定部211は、ビットレート算出部202より算出されたビットレートより、Iフレーム平均ビット量(BitsIave)を導出する。
なお、Iフレーム平均ビット量推定部211は、図25Aに示すようなIフレーム平均ビット量がビットレートの増加とともに増加する特性を用いて推定する。
Iフレーム最大ビット量推定部212は、ビットレート算出部202より算出されたビットレートより、Iフレーム最大ビット量(BitsImax)を導出する。
なお、Iフレーム最大ビット量推定部212は、図25Aに示すようなIフレーム最大ビット量がビットレートの増加とともに増加する特性を用いて推定する。
Iフレーム最小ビット量推定部213は、ビットレート算出部202より算出されたビットレートより、Iフレーム最小ビット量(BitsImin)を導出する。
なお、Iフレーム最小ビット量推定部213は、図25Aに示すようなIフレーム最小ビット量がビットレートの増加とともに増加する特性を用いて推定する。
Pフレーム平均ビット量推定部214は、ビットレート算出部202より算出されたビットレートより、Pフレーム平均ビット量(BitsPave)を導出する。
なお、Pフレーム平均ビット量推定部214は、図25Bに示すようなPフレーム平均ビット量がビットレートの増加とともに増加する特性を用いて推定する。
Pフレーム最大ビット量推定部215は、ビットレート算出部202より算出されたビットレートより、Pフレーム最大ビット量(BitsPmax)を導出する。
なお、Pフレーム最大ビット量推定部215は、図25Bに示すようなPフレーム最大ビット量がビットレートの増加とともに増加する特性を用いて推定する。
Pフレーム最小ビット量推定部216は、ビットレート算出部202より算出されたビットレートより、Pフレーム最小ビット量(BitsPmin)を導出する。
なお、Pフレーム最小ビット量推定部216は、図25Bに示すようなPフレーム最小ビット量がビットレートの増加とともに増加する特性を用いて推定する。
Bフレーム平均ビット量推定部217は、ビットレート算出部202より算出されたビットレートより、Bフレーム平均ビット量(BitsBave)を導出する。
なお、Bフレーム平均ビット量推定部217は、図25Cに示すようなBフレーム平均ビット量がビットレートの増加とともに増加する特性を用いて推定する。
Bフレーム最大ビット量推定部218は、ビットレート算出部202より算出されたビットレートより、Bフレーム最大ビット量(BitsBmax)を導出する。
なお、Bフレーム最大ビット量推定部218は、図25Cに示すようなBフレーム最大ビット量がビットレートの増加とともに増加する特性を用いて推定する。
Bフレーム最小ビット量推定部219は、ビットレート算出部202より算出されたビットレートより、Bフレーム最小ビット量(BitsBmin)を導出する。
なお、Bフレーム最小ビット量推定部219は、図25Cに示すようなBフレーム最小ビット量がビットレートの増加とともに増加する特性を用いて推定する。
図15に示すように、符号化品質推定部22は、平均符号化映像品質評価値を導出する平均符号化映像品質推定部221と、最大符号化映像品質評価値を導出する最大符号化映像品質推定部222と、最小符号化映像品質評価値を導出する最小符号化映像品質推定部223と、映像品質のコンテンツ依存性を示す差分符号化映像品質評価値を導出する差分符号化映像品質推定部224と、符号化劣化に関する符号化映像品質評価値を導出する符号化映像品質推定部225とから構成される。
平均符号化映像品質推定部221は、ビットレート算出部202より算出されたビットレートより、平均符号化映像品質評価値(Vqcave)を導出する。
なお、平均符号化映像品質推定部221は、図26に示すような平均符号化映像品質評価値がビットレートの増加とともに増加する特性を用いて推定する。
最大符号化映像品質推定部222は、ビットレート算出部202より算出されたビットレートより、最大符号化映像品質評価値(Vqcmax)を導出する。
なお、最大符号化映像品質推定部222は、図26に示すような最大符号化映像品質評価値がビットレートの増加とともに増加する特性を用いて推定する。
最小符号化映像品質推定部223は、ビットレート算出部202より算出されたビットレートより、最小符号化映像品質評価値(Vqcmin)を導出する。
なお、最小符号化映像品質推定部223は、図26に示すような最小符号化映像品質評価値がビットレートの増加とともに増加する特性を用いて推定する。
差分符号化映像品質推定部224は、平均符号化映像品質推定部221より算出した平均符号化映像品質評価値(Vqcave)と、最大符号化映像品質推定部222より算出した最大符号化映像品質評価値(Vqcmax)と、最小符号化映像品質推定部223より算出した最小符号化映像品質評価値(Vqcmin)と、映像フレーム種別ビット量算出部206より算出したIフレームビット量(BitsI)と、Pフレームビット量(BitsP)と、Bフレームビット量(BitsB)と、フレーム特性推定部21により導出された各映像フレーム種別毎の平均ビット量(Bits(I,P,B)ave)、最大ビット量(Bits(I,P,B)max)、最小ビット量(Bits(I,P,B)min)とから、差分符号化映像品質評価値(dVqc)を導出する。
差分符号化映像品質推定部224による差分符号化映像品質評価値(dVqc)の導出について、より具体的に説明する。
図9A〜図9Cに示すように、同一ビットレートで比較した場合(図9A〜図9Cの例は10Mbps)、Iフレームビット量が多い映像コンテンツは映像品質評価値が高く、Iフレームビット量が少ない映像コンテンツは映像品質評価値が低い。同様に、同一ビットレートで比較した場合、PやBフレームビット量が多い映像コンテンツは映像品質評価値が低く、PやBフレームビット量が少ない映像コンテンツは映像品質評価値が高い。
ここで、図26の黒塗星印で示す値が推定対象の映像コンテンツの符号化映像品質評価値(Vqc)であった場合、推定対象の映像コンテンツにおけるI,P,Bフレームビット量は、図25A〜図25Cの黒塗星印で示す値となる。つまり、推定対象の映像品質評価値を推定するためには、平均符号化映像品質評価値からのずれを示す差分符号化映像品質評価値(dVqc)をI,P,Bフレームビット量(BitsI,BitsP,BitsB)から算出すれば良いことになる。
また、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)と同一で、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)と同一で、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)と同一の場合、推定対象の映像コンテンツの符号化映像品質評価値(Vqc)は、平均符号化映像品質評価値(Vqcave)と同一となる。
また、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、推定対象の映像コンテンツの符号化映像品質評価値(Vqc)は平均符号化映像品質評価値(Vqcave)より大きい。逆に、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合、推定対象の映像コンテンツの符号化映像品質評価値(Vqc)は平均符号化映像品質評価値(Vqcave)より小さい。
つまり、差分符号化映像品質評価値(dVqc)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、(Vqcmax−Vqcave)・(BitsI−BitsIave)/(BitsImax−BitsIave)と比例関係にある。同様に、差分符号化映像品質評価値(dVqc)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合、(Vqcmin−Vqcave)・(BitsI−BitsIave)/(BitsImin−BitsIave)と比例関係にある。
また、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より大きい場合、推定対象の映像コンテンツの符号化映像品質評価値(Vqc)は平均符号化映像品質評価値(Vqcave)より小さい。同様に、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より小さい場合、推定対象の映像コンテンツの符号化映像品質評価値(Vqc)は平均符号化映像品質評価値(Vqcave)より大きい。
つまり、差分符号化映像品質評価値(dVq)は、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より大きい場合、(Vqcmin−Vqcave)・(BitsP−BitsPave)/(BitsPmin−BitsPave)と比例関係にある。同様に、差分映像品質評価値(dVq)は、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より小さい場合、(Vqcmax−Vqcave)・(BitsP−BitsPave)/(BitsPmax−BitsPave)と比例関係にある。
また、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より大きい場合、推定対象の映像コンテンツの符号化映像品質評価値(Vqc)は平均符号化映像品質評価値(Vqcave)より小さい。同様に、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より小さい場合、推定対象の映像コンテンツの符号化映像品質評価値(Vqc)は平均符号化映像品質評価値(Vqcave)より大きい。
つまり、差分符号化映像品質評価値(dVqc)は、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より大きい場合、(Vqcmin−Vqcave)・(BitsB−BitsBave)/(BitsBmin−BitsBave)と比例関係にある。同様に、差分符号化映像品質評価値(dVqc)は、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より小さい場合、(Vqcmax−Vqcave)・(BitsB−BitsBave)/(BitsBmax−BitsBave)と比例関係にある。
上記のような映像フレーム種別毎のビット量と映像品質評価値との特性に基づいて、差分符号化映像品質推定部224は、差分符号化映像品質評価値(dVqc)を推定する。
符号化映像品質推定部225は、平均符号化映像品質推定部221より算出された平均符号化映像品質評価値(Vqcave)と、差分符号化映像品質推定部224より算出された差分符号化映像品質評価値(dVqc)を加算することにより、推定対象の映像コンテンツの符号化映像品質評価値(Vqc)を推定する。
図16に示すように、パケット損失品質推定部23は、平均パケット損失映像品質評価値を導出する平均パケット損失映像品質推定部231と、最大パケット損失映像品質評価値を導出する最大パケット損失映像品質推定部232と、最小パケット損失映像品質評価値を導出する最小パケット損失映像品質推定部233と、映像品質のコンテンツ依存性を示す差分パケット損失映像品質評価値を導出する差分パケット損失映像品質推定部234と、所望の符号化劣化およびパケット損失劣化に関する映像品質評価値を導出する映像品質推定部235とから構成される。
平均パケット損失映像品質推定部231は、符号化品質推定部22より算出された符号化映像品質評価値(Vqc)と、パケット分析部20より算出された損失映像フレーム数(DF)より、平均パケット損失映像品質評価値(Vqave)を導出する。
なお、平均パケット損失映像品質推定部231は、図27に示すような平均パケット損失映像品質評価値が損失映像フレーム数の増加とともに減少する特性を用いて推定する。
最大パケット損失映像品質推定部232は、符号化品質推定部22より算出された符号化映像品質評価値(Vqc)と、パケット分析部20より算出された損失映像フレーム数(DF)より、最大パケット損失映像品質評価値(Vqmax)を導出する。
なお、最大パケット損失映像品質推定部232は、図27に示すような最大パケット損失映像品質評価値が損失映像フレーム数の増加とともに減少する特性を用いて推定する。
最小パケット損失映像品質推定部233は、符号化品質推定部22より算出された符号化映像品質評価値(Vqc)と、パケット分析部20より算出された損失映像フレーム数(DF)より、最小パケット損失映像品質評価値(Vqmin)を導出する。
なお、最小パケット損失映像品質推定部233は、図27に示すような最小パケット損失映像品質評価値が損失映像フレーム数の増加とともに減少する特性を用いて推定する。
差分パケット損失映像品質推定部234は、平均パケット損失映像品質推定部231より算出した平均パケット損失映像品質評価値(Vqave)と、最大パケット損失映像品質推定部232より算出した最大パケット損失映像品質評価値(Vqmax)と、最小パケット損失映像品質推定部233より算出した最小パケット損失映像品質評価値(Vqmin)と、映像フレーム種別ビット量算出部206より算出した映像フレーム種別毎のフレームビット量(Bits(I,P,B))と、フレーム特性推定部21により導出された映像フレーム種別毎の平均ビット量(Bits(I,P,Bave)、最大ビット量(Bits(I,P,B)max)、最小ビット量(Bits(I,P,B)min)とから、差分パケット損失映像品質評価値(dVq)を算出する。
さらに、差分パケット損失映像品質推定部234による差分パケット損失映像品質評価値(dVq)の導出について、具体的に説明する。
図28A〜図28Cに示すように、同一の損失フレーム数で比較した場合(図28A〜図28Cの例は損失フレーム数が1)、Iフレームビット量が多い映像コンテンツは映像品質評価値が高く、Iフレームビット量が少ない映像コンテンツは映像品質評価値が低い。一方、PやBフレームビット量が多い映像コンテンツは映像品質評価値が低く、PやBフレームビット量が少ない映像コンテンツは映像品質評価値が高い。
ここで、図27の黒塗星印で示す値が推定対象の映像コンテンツの映像品質評価値(Vq)であった場合、推定対象の映像コンテンツのI、P、Bフレームビット量は、図25A〜図25Cの黒塗星印で示す値となる。つまり、推定対象の映像コンテンツの映像品質評価値を推定するためには、平均パケット損失映像品質評価値(Vqave)からのずれを示す差分パケット損失映像品質評価値(dVq)をI,P,Bフレームビット量(BitsI,BitsP,BitsB)から算出すれば良いことになる。
また、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)と同一で、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)と同一で、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)と同一の場合、推定対象の映像コンテンツの映像品質評価値(Vq)は、平均パケット損失映像品質評価値(Vqave)と同一となる。
また、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、推定対象の映像コンテンツの映像品質評価値(Vq)は平均パケット損失映像品質評価値(Vqave)より大きい。逆に、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合、推定対象の映像コンテンツの映像品質評価値(Vq)は平均パケット損失映像品質評価値(Vqave)より小さい。
つまり、差分パケット損失映像品質評価値(dVq)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、(Vqmax−Vqave)・(BitsI−BitsIave)/(BitsImax−BitsIave)と比例関係にある。逆に、差分パケット損失映像品質評価値(dVq)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合、(Vqmin−Vqave)・(BitsI−BitsIave)/(BitsImin−BitsIave)と比例関係にある。
また、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より大きい場合、推定対象の映像コンテンツの映像品質評価値(Vq)は平均パケット損失映像品質評価値(Vqave)より小さい。逆に、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より小さい場合、推定対象の映像コンテンツの映像品質評価値(Vq)は平均パケット損失映像品質評価値(Vqave)より大きい。
つまり、差分パケット損失映像品質評価値(dVq)は、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より大きい場合、(Vqmin−Vqave)・(BitsP−BitsPave)/(BitsPmin−BitsPave)と比例関係にある。逆に、差分映像品質評価値(dVq)は、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より小さい場合、(Vqmax−Vqave)・(BitsP−BitsPave)/(BitsPmax−BitsPave)と比例関係にある。
また、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より大きい場合、推定対象の映像コンテンツの映像品質評価値(Vq)は平均パケット損失映像品質評価値(Vqave)より小さい。逆に、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より小さい場合、推定対象の映像コンテンツの映像品質評価値(Vq)は平均パケット損失映像品質評価値(Vqave)より大きい。
つまり、差分パケット損失映像品質評価値(dVqc)は、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より大きい場合、(Vqmin−Vqave)・(BitsB−BitsBave)/(BitsBmin−BitsBave)と比例関係にある。逆に、差分パケット損失映像品質評価値(dVq)は、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より小さい場合、(Vqmax−Vqave)・(BitsB−BitsBave)/(BitsBmax−BitsBave)と比例関係にある。
上記のような映像フレーム種別毎のビット量と映像品質評価値との特性に基づいて、差分パケット損失映像品質推定部234は、差分パケット損失映像品質評価値(dVq)を推定する。
映像品質推定部235は、平均パケット損失映像品質推定部231より算出された平均パケット損失映像品質評価値(Vqave)と、差分パケット損失映像品質推定部234より算出された差分パケット損失映像品質評価値(dVq)を加算することにより、推定対象の映像コンテンツの映像品質評価値(Vq)を推定する。
なお、本実施の形態にかかる映像品質推定装置2は、CPU(中央演算装置)やメモリ、インターフェースからなるコンピュータにコンピュータプログラムをインストールすることによって実現され、上述した映像品質推定装置2の各種機能は、上記コンピュータの各種ハードウェア資源と上記コンピュータプログラム(ソフトウェア)とが協働して実現される。
次に、図17および図18を参照して、本実施の形態にかかる映像品質推定装置の動作について説明する。
図17に示すように、映像品質推定装置2のパケット分析部20は、入力されたパケットをキャプチャし(S201)、キャプチャしたパケットから符号化映像パケットのビットレート(BR)と映像フレーム種別毎のビット量(BitsI,BitsP,BitsB)と損失映像フレーム数(DF)とを導出する(S202)。
パケット分析部20によって導出されたビットレート(BR)は、Iフレーム平均ビット量推定部211、Iフレーム最大ビット量推定部212、Iフレーム最小ビット量推定部213、Pフレーム平均ビット量推定部214、Pフレーム最大ビット量推定部215、Pフレーム最小ビット量推定部216、Bフレーム平均ビット量推定部217、Bフレーム最大ビット量推定部218、Bフレーム最小ビット量推定部219、平均符号化映像品質推定部221、最大符号化映像品質推定部222、最小符号化映像品質推定部223へ入力され、映像フレーム種別毎のビット量(BitsI,BitsP,BitsB)は、差分符号化映像品質推定部224、差分パケット損失映像品質推定部234へ入力され、損失映像フレーム数(DF)は、平均パケット損失映像品質推定部231、最大パケット損失映像品質推定部232、最小パケット損失映像品質推定部233へ入力される。
Iフレーム平均ビット量推定部211は、パケット分析部20によって導出されたビットレート(BR)に基づいてIフレーム平均ビット量(BitsIave)を導出する(S203)。
Iフレーム平均ビット量(BitsIave)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(21)によって導出するとしても良い。
BitsIave=u1+u2 exp(−BR/u3) ・・・式(21)
ただし、BitsIaveはIフレーム平均ビット量、BRはビットレートを示し、u1,…,u3は特性係数である。
Iフレーム平均ビット量推定部211は、導出したIフレーム平均ビット量(BitsIave)を差分符号化映像品質推定部224と、差分パケット損失映像品質推定部234に対して出力する。
Iフレーム最大ビット量推定部212は、パケット分析部20によって導出されたビットレート(BR)に基づいてIフレーム最大ビット量(BitsImax)を導出する(S204)。
Iフレーム最大ビット量(BitsImax)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(22)によって導出するとしても良い。
BitsImax=u4+u5 exp(−BR/u6) ・・・式(22)
ただし、BitsImaxはIフレーム最大ビット量、BRはビットレートを示し、u4,…,u6は特性係数である。
Iフレーム最大ビット量推定部212は、導出したIフレーム最大ビット量(BitsImax)を差分符号化映像品質推定部224と、差分パケット損失映像品質推定部234に対して出力する。
Iフレーム最小ビット量推定部213は、パケット分析部20によって導出されたビットレート(BR)に基づいてIフレーム最小ビット量(BitImin)を導出する(S205)。
Iフレーム最小ビット量(BitsImin)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(23)によって導出するとしても良い。
BitsImin=u7+u8 exp(−BR/u9) ・・・式(23)
ただし、BitsIminはIフレーム最小ビット量、BRはビットレートを示し、u7,…,u9は特性係数である。
Iフレーム最小ビット量推定部213は、導出したIフレーム最小ビット量(BitsImin)を差分符号化映像品質推定部224と、差分パケット損失映像品質推定部234に対して出力する。
Pフレーム平均ビット量推定部214は、パケット分析部20によって導出されたビットレート(BR)に基づいてPフレーム平均ビット量(BitsPave)を導出する(S206)。
Pフレーム平均ビット量(BitsPave)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(24)によって導出するとしても良い。
BitsPave=u10+u11・BR ・・・式(24)
ただし、BitsPaveはPフレーム平均ビット量、BRはビットレートを示し、u10,u11は特性係数である。
Pフレーム平均ビット量推定部214は、導出したPフレーム平均ビット量(BitsPave)を差分符号化映像品質推定部224と、差分パケット損失映像品質推定部234に対して出力する。
Pフレーム最大ビット量推定部215は、パケット分析部20によって導出されたビットレート(BR)に基づいてPフレーム最大ビット量(BitsPmax)を導出する(S207)。
Pフレーム最大ビット量(BitsPmax)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(25)によって導出するとしても良い。
BitsPmax=u12+u13・BR ・・・式(25)
ただし、BitsPmaxはPフレーム最大ビット量、BRはビットレートを示し、u12,u13は特性係数である。
Pフレーム最大ビット量推定部215は、導出したPフレーム最大ビット量(BitPmax)を差分符号化映像品質推定部224と、差分パケット損失映像品質推定部234に対して出力する。
Pフレーム最小ビット量推定部216は、パケット分析部20によって導出されたビットレート(BR)に基づいてPフレーム最小ビット量(BitsPmin)を導出する(S208)。
Pフレーム最小ビット量(BitsPmin)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(26)によって導出するとしても良い。
BitsPmin=u14+u15・BR ・・・式(26)
ただし、BitsPminはPフレーム最小ビット量、BRはビットレートを示し、u14,u15は特性係数である。
Pフレーム最小ビット量推定部216は、導出したPフレーム最小ビット量(BitsPmin)を差分符号化映像品質推定部224と、差分パケット損失映像品質推定部234に対して出力する。
Bフレーム平均ビット量推定部217は、パケット分析部20によって導出されたビットレート(BR)に基づいてBフレーム平均ビット量(BitsBave)を導出する(S209)。
Bフレーム平均ビット量(BitsBave)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(27)によって導出するとしても良い。
BitsBave=u16+u17・BR ・・・式(27)
ただし、BitsBaveはBフレーム平均ビット量、BRはビットレートを示し、u16,u17は特性係数である。
Bフレーム平均ビット量推定部217は、導出したBフレーム平均ビット量(BitsBave)を差分符号化映像品質推定部224と差分パケット損失映像品質推定部234に対して出力する。
Bフレーム最大ビット量推定部218は、パケット分析部20によって導出されたビットレート(BR)に基づいてBフレーム最大ビット量(BitsBmax)を導出する(S210)。
Bフレーム最大ビット量(BitsBmax)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(28)によって導出するとしても良い。
BitsBmax=u18+u19・BR ・・・式(28)
ただし、BitsBmaxはBフレーム最大ビット量、BRはビットレートを示し、u18,u19は特性係数である。
Bフレーム最大ビット量推定部218は、導出したBフレーム最大ビット量(BitsBmax)を差分符号化映像品質推定部224と、差分パケット損失映像品質推定部234に対して出力する。
Bフレーム最小ビット量推定部219は、パケット分析部20によって導出されたビットレート(BR)に基づいてBフレーム最小ビット量(BitsBmin)を導出する(S211)。
Bフレーム最小ビット量(BitsBmin)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(29)によって導出するとしても良い。
BitsBmin=u20+u21・BR ・・・式(29)
ただし、BitsBminはBフレーム最小ビット量、BRはビットレートを示し、u20,u21は特性係数である。
Bフレーム最小ビット量推定部219は、導出したBフレーム最小ビット量(BitsBmin)を差分符号化映像品質推定部224と、差分パケット損失映像品質推定部234に対して出力する。
平均符号化映像品質推定部221は、パケット分析部20によって導出されたビットレート(BR)に基づいて平均符号化映像品質評価値(Vqcave)を導出する(S212)。
平均符号化映像品質評価値(Vqcave)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(30)または式(31)によって導出するとしても良い。
Vqcave=u22+u23 exp(−BR/u24) ・・・式(30)
または
Vqcave=1+u22−u22/(1+(BR/u23)u24)・・・式(31)
ただし、Vqcaveは平均符号化映像品質評価値、BRはビットレートを示し、u22,…,u24は特性係数である。
平均符号化映像品質推定部221は、導出した平均符号化映像品質評価値(Vqcave)を符号化映像品質推定部225に対して出力する。
最大符号化映像品質推定部222は、パケット分析部20によって導出されたビットレート(BR)に基づいて最大符号化映像品質評価値(Vqcmax)を導出する(S213)。
最大符号化映像品質評価値(Vqcmax)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(32)または式(33)によって導出するとしても良い。
Vqcmax=u25+u26 exp(−BR/u27) ・・・式(32)
または
Vqcmax=1+u25−u25/(1+(BR/u26)u27)・・・式(33)
ただし、Vqcmaxは最大符号化映像品質評価値、BRはビットレートを示し、u25,…,u27は特性係数である。
最大符号化映像品質推定部222は、導出した最大符号化映像品質評価値(Vqcmax)を符号化映像品質推定部225に対して出力する。
最小符号化映像品質推定部223は、パケット分析部20によって導出されたビットレート(BR)に基づいて最小符号化映像品質評価値(Vqcmin)を導出する(S214)。
最小符号化映像品質評価値(Vqcmin)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(34)または式(35)によって導出するとしても良い。
Vqcmin=u28+u29 exp(−BR/u30) ・・・式(34)
または
Vqcmin=1+u28−u28/(1+(BR/u29)u30)・・・式(35)
ただし、Vqcminは最小符号化映像品質評価値、BRはビットレートを示し、u28,…,u30は特性係数である。
最小符号化映像品質推定部223は、導出した最小符号化映像品質評価値(Vqcmin)を符号化映像品質推定部225に対して出力する。
差分符号化映像品質推定部224は、平均符号化映像品質推定部221より算出した平均符号化映像品質評価値(Vqcave)と、最大符号化映像品質推定部222より算出した最大符号化映像品質評価値(Vqcmax)と、最小符号化映像品質推定部223より算出した最小符号化映像品質評価値(Vqcmin)と、映像フレーム種別ビット量算出部206より算出したIフレームビット量(BitsI)と、Pフレームビット量(BitsP)と、Bフレームビット量(BitsB)と、Iフレーム平均ビット量推定部211より算出したIフレーム平均ビット量(BitsIave)と、Iフレーム最大ビット量推定部212より算出したIフレーム最大ビット量(BitsImax)と、Iフレーム最小ビット量推定部213より算出したIフレーム最小ビット量(BitsImin)と、Pフレーム平均ビット量推定部214より算出したPフレーム平均ビット量(BitsPave)と、Pフレーム最大ビット量推定部215より算出したPフレーム最大ビット量(BitsPmax)と、Pフレーム最小ビット量推定部216より算出したPフレーム最小ビット量(BitsPmin)と、Bフレーム平均ビット量推定部217より算出したBフレーム平均ビット量(BitsBave)と、Bフレーム最大ビット量推定部218より算出したBフレーム最大ビット量(BitsBmax)と、Bフレーム最小ビット量推定部219より算出したBフレーム最小ビット量(BitsBmin)とに基づいて差分符号化映像品質評価値(dVqc)を導出する(S215)。
差分符号化映像品質評価値(dVqc)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、(Vqcmax−Vqcave)・(BitsI−BitsIave)/(BitsImax−BitsIave)と比例関係にある。逆に、差分符号化映像品質評価値(dVqc)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合、(Vqcmin−Vqcave)・(BitsI−BitsIave)/(BitsImin−BitsIave)と比例関係にある。
また、差分符号化映像品質評価値(dVqc)は、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より大きい場合、(Vqcmin−Vqcave)・(BitsP−BitsPave)/(BitsPmin−BitsPave)と比例関係にある。逆に、差分符号化映像品質評価値(dVqc)は、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より小さい場合、(Vqcmax−Vqcave)・(BitsP−BitsPave)/(BitsPmax−BitsPave)と比例関係にある。
また、差分符号化映像品質評価値(dVqc)は、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より大きい場合、(Vqcmin−Vqcave)・(BitsB−BitsBave)/(BitsBmin−BitsBave)と比例関係にある。逆に、差分符号化映像品質評価値(dVqc)は、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より小さい場合、(Vqcmax−Vqcave)・(BitsB−BitsBave)/(BitsBmax−BitsBave)と比例関係にある。
上記のような差分符号化映像品質評価値の特性を表した式(36)によって、差分符号化映像品質推定部224は、差分符号化映像品質評価値(dVqc)を導出するとしても良い。
dVqc=u31+u32・X+u33・Y+u34・Z ・・・式(36)
ただし、dVqcは差分符号化映像品質評価値、XはIフレームビット量の差分符号化映像品質評価値への影響度、YはPフレームビット量の差分符号化映像品質評価値への影響度、ZはBフレームビット量の差分符号化映像品質評価値への影響度を示し、u31,…,u34は特性係数である。
差分符号化映像品質推定部224は、導出した差分符号化映像品質評価値(dVqc)を符号化映像品質推定部225に対して出力する。
ここで、式(36)のX、Y、Zは、以下の式(37)によって導出しても良い。
[BitsI>BitsIaveの場合]
X=(Vqcmax−Vqcave)(BitsI−BitsIave)/(BitsImax−BitsIave)
[BitsI<BitsIaveの場合]
X=(Vqcmin−Vqcave)(BitsI−BitsIave)/(BitsImin−BitsIave)
[BitsP <BitsPaveの場合]
Y=(Vqcmax−Vqcave)(BitsP−BitsPave)/(BitsPmax−BitsPave)
[BitsP >BitsPaveの場合]
Y=(Vqcmin−Vqcave)(BitsP−BitsPave)/(BitsPmin−BitsPave)
[BitsB <BitsBaveの場合]
Z=(Vqcmax−Vqcave)(BitsB−BitsBave)/(BitsBmax−BitsBave)
[BitsB >BitsBaveの場合]
Z=(Vqcmin−Vqcave)(BitsB−BitsBave)/(BitsBmin−BitsBave)
・・・式(37)
符号化映像品質推定部225は、平均符号化映像品質推定部221より算出した平均符号化映像品質評価値(Vqcave)と、差分符号化映像品質推定部224より算出した差分符号化映像品質評価値(dVqc)を式(38)によって導出する(S216)。
Vqc=Vqcave+dVqc ・・・式(38)
符号化映像品質推定部225は、導出した符号化映像品質評価値(Vqc)を平均パケット損失映像品質推定部231、最大パケット損失映像品質推定部232、最小パケット損失映像品質推定部233に対し出力する。
図18に示すように、平均パケット損失映像品質推定部231は、パケット分析部20によって導出された損失映像フレーム数(DF)と、符号化映像品質推定部225によって導出された符号化映像品質評価値(Vqc)に基づいて平均パケット損失映像品質評価値(Vqave)を導出する(S217)。
平均パケット損失映像品質評価値(Vqave)には、損失映像フレーム数(DF)の増加とともに減少するという特性をもち、この特性を表した式(39)によって導出するとしても良い。
Vqave=1+(Vqc−1)((1−u35)exp(−DF/u36)+u35exp(−DF/u37)) ・・・式(39)
ただし、Vqcは符号化映像品質評価値、Vqaveは平均パケット損失映像品質評価値、DFは損失映像フレーム数を示し、u35,…,u37は特性係数である。
平均パケット損失映像品質推定部231は、導出した平均パケット損失映像品質評価値(Vqave)を映像品質推定部235に対して出力する。
最大パケット損失映像品質推定部232は、パケット分析部20によって導出された損失映像フレーム数(DF)と、符号化映像品質推定部225によって導出された符号化映像品質評価値(Vqc)に基づいて最大パケット損失映像品質評価値(Vqmax)を導出する(S218)。
最大パケット損失映像品質評価値(Vqmax)には、損失映像フレーム数(DF)の増加とともに減少するという特性をもち、この特性を表した式(40)によって導出するとしても良い。
Vqmax=1+(Vqc−1)((1−u38)exp(−DF/u39)+u39exp(−DF/u40)) ・・・式(40)
ただし、Vqcは符号化映像品質評価値、Vqmaxは最大パケット損失映像品質評価値、DFは損失映像フレーム数を示し、u38,…,u40は特性係数である。
最大パケット損失映像品質推定部232は、導出した最大パケット損失映像品質評価値(Vqmax)を映像品質推定部235に対して出力する。
最小パケット損失映像品質推定部233は、パケット分析部20によって導出された損失映像フレーム数(DF)と、符号化映像品質推定部225によって導出された符号化映像品質評価値(Vqc)に基づいて最小パケット損失映像品質評価値(Vqmin)を導出する(S219)。
最小パケット損失映像品質評価値(Vqmin)には、損失映像フレーム数(DF)の増加とともに減少するという特性をもち、この特性を表した式(41)によって導出するとしても良い。
Vqmin=1+(Vqc−1)((1−u41)exp(−DF/u42)+u41exp(−DF/u43)) ・・・式(41)
ただし、Vqcは符号化映像品質評価値、Vqminは最小パケット損失映像品質評価値、DFは損失映像フレーム数を示し、u41,…,u43は特性係数である。
最小パケット損失映像品質推定部233は、導出した最小パケット損失映像品質評価値(Vqmin)を映像品質推定部235に対して出力する。
差分パケット損失映像品質推定部234は、平均パケット損失映像品質推定部231より算出した平均パケット損失映像品質評価値(Vqave)と、最大パケット損失映像品質推定部232より算出した最大パケット損失映像品質評価値(Vqmax)と、最小パケット損失映像品質推定部233より算出した最小パケット損失映像品質評価値(Vqmin)と、映像フレーム種別ビット量算出部206より算出したIフレームビット量(BitsI)と、Pフレームビット量(BitsP)と、Bフレームビット量(BitsB)と、Iフレーム平均ビット量推定部211より算出したIフレーム平均ビット量(BitsIave)と、Iフレーム最大ビット量推定部212より算出したIフレーム最大ビット量(BitsImax)と、Iフレーム最小ビット量推定部213より算出したIフレーム最小ビット量(BitsImin)と、Pフレーム平均ビット量推定部214より算出したPフレーム平均ビット量(BitsPave)と、Pフレーム最大ビット量推定部215より算出したPフレーム最大ビット量(BitsPmax)と、Pフレーム最小ビット量推定部216より算出したPフレーム最小ビット量(BitsPmin)と、Bフレーム平均ビット量推定部217より算出したBフレーム平均ビット量(BitsBave)と、Bフレーム最大ビット量推定部218より算出したBフレーム最大ビット量(BitsBmax)と、Bフレーム最小ビット量推定部219より算出したBフレーム最小ビット量(BitsBmin)とに基づいて差分パケット損失映像品質評価値(dVq)を導出する(S220)。
差分パケット損失映像品質評価値(dVq)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、(Vqmax−Vqave)・(BitsI−BitsIave)/(BitsImax−BitsIave)と比例関係にある。逆に、差分パケット損失映像品質評価値(dVq)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合、(Vqmin−Vqave)・(BitsI−BitsIave)/(BitsImin−BitsIave)と比例関係にある。
また、差分パケット損失映像品質評価値(dVq)は、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より大きい場合、(Vqmin−Vqave)・(BitsP−BitsPave)/(BitsPmin−BitsPave)と比例関係にある。逆に、差分パケット損失映像品質評価値(dVq)は、Pフレームビット量(BitsP)がPフレーム平均ビット量(BitsPave)より小さい場合、(Vqmax−Vqave)・(BitsP−BitsPave)/(BitsPmax−BitsPave)と比例関係にある。
また、差分パケット損失映像品質評価値(dVq)は、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より大きい場合、(Vqmin−Vqave)・(BitsB−BitsBave)/(BitsBmin−BitsBave)と比例関係にある。逆に、差分パケット損失映像品質評価値(dVq)は、Bフレームビット量(BitsB)がBフレーム平均ビット量(BitsBave)より小さい場合、(Vqmax−Vqave)・(BitsB−BitsBave)/(BitsBmax−BitsBave)と比例関係にある。
上記のような差分パケット損失映像品質評価値の特性を表した式(42)によって、差分パケット損失映像品質推定部234は、差分パケット損失映像品質評価値(dVq)を導出するとしても良い。
dVq=u44+u45・S+u46・T+u47・U ・・・式(42)
ただし、dVqは差分パケット損失映像品質評価値、SはIフレームビット量の差分パケット損失映像品質評価値への影響度、TはPフレームビット量の差分パケット損失映像品質評価値への影響度、UはBフレームビット量の差分パケット損失映像品質評価値への影響度を示し、u44,…,u47は特性係数である。
差分パケット損失映像品質推定部234は、導出した差分パケット損失映像品質評価値(dVq)を映像品質推定部235に対して出力する。
ここで、式(42)のS、T、Uは、以下の式(43)によって導出しても良い。
[BitsI>BitsIaveの場合]
S=(Vqmax−Vqave)(BitsI−BitsIave)/(BitsImax−BitsIave)
[BitsI<BitsIaveの場合]
S=(Vqmin−Vqave)(BitsI−BitsIave)/(BitsImin−BitsIave)
[BitsP <BitsPaveの場合]
T=(Vqmax−Vqave)(BitsP−BitsPave)/(BitsPmax−BitsPave)
[BitsP >BitsPaveの場合]
T=(Vqmin−Vqave)(BitsP−BitsPave)/(BitsPmin−BitsPave)
[BitsB <BitsBaveの場合]
U=(Vqmax−Vqave)(BitsB−BitsBave)/(BitsBmax−BitsBave)
[BitsB >BitsBaveの場合]
U=(Vqmin−Vqave)(BitsB−BitsBave)/(BitsBmin−BitsBave)
・・・式(43)
差分パケット損失映像品質推定部234によって差分パケット損失映像品質評価値(dVq)が導出されると、映像品質推定部235は、平均パケット損失映像品質推定部231より算出した平均パケット損失映像品質評価値(Vqave)と、差分パケット損失映像品質推定部234より算出した差分パケット損失映像品質評価値(dVq)とを加算する(式(44))ことにより、映像品質の推定対象である映像コンテンツの映像品質値(Vq)を導出する(S221)。
Vq=Vqave+dVq ・・・式(44)
また、上述したような、各映像フレーム種別毎の平均ビット量、最大ビット量、最小ビット量、および、平均符号化映像品質評価値、最大符号化映像品質評価値、最小符号化映像品質評価値、差分符号化映像品質評価値、平均パケット損失映像品質評価値、最大パケット損失映像品質評価値、最小パケット損失映像品質評価値、差分パケット損失映像品質評価値のそれぞれを導出する際に用いられた特性係数(u1,…,u47)は、映像品質推定装置2の図示しない記憶部にデータベース化された品質特性係数データベースから該当する特性係数を選択する。
図19に示した上記の品質特性係数データベースの一例は、特性係数を映像コーデックの方式などの前提条件と対応して記述されたものである。
また、映像品質評価値は映像コーデックの実装に依存し、例えば、同じビットレートでH.264で符号化した映像コンテンツと、MPEG2で符号化した映像コンテンツとでは映像品質評価値が異なる。同様に、映像フォーマットやフレームレートなども含めた前提条件に映像品質評価値は依存する。図19に示す品質特性係数データベースは、この前提条件毎に記述されたものである。
このように、入力されたパケットから抽出したビットレート、映像フレーム種別を特定して映像フレーム種別毎に導出したビット量、損失映像フレーム数を用いて映像通信サービスにおける個々の映像に対する映像品質評価値を、入力されたパケットのヘッダ情報に基づいて推定することができる。このため、映像品質値の導出に映像フレームを構成する画素数の全てに対して演算処理を行う必要がなく、すなわち、パケットヘッダ情報といった比較的少量の情報に対する演算処理を行うことで映像品質値の導出ができ、その結果演算処理コストを抑制することができる。
したがって、映像通信サービスの提供者は、提供中のサービスがユーザに対してある一定以上の品質を保っているかどうかを容易に判断することができ、提供中のサービスの品質実態をリアルタイムで把握・管理することが可能となる。
[第3の実施の形態]
本発明の第3の実施の形態にかかる映像品質推定装置は、第2の実施の形態において説明した映像品質推定装置2と同一の構成を有する一方、特定の映像フレーム種別の特性を利用して映像品質を定量的に表した映像品質評価値を導出して客観的な映像品質評価を実現するものである。
ここでは、映像フレーム種別であるIフレーム,Pフレーム,Bフレームのうち、Iフレームにおける特性を用いて映像品質評価値を導出する映像品質推定装置として、以下に説明する。
図20に示すように、本実施の形態にかかる映像品質推定装置3は、入力されたパケットにおけるビットレートと損失映像フレームおよびIフレームのビット量を導出するパケット分析部20と、Iフレームにおけるフレーム特性を導出するフレーム特性推定部21と、ビットレートとIフレームのビット量とIフレームにおけるフレーム特性とから符号化映像品質評価値を導出する符号化品質推定部22と、損失映像フレーム数と符号化映像品質評価値とIフレームにおけるフレーム特性とから映像品質評価値を導出するパケット損失品質推定部23とから構成されている。
なお、本実施の形態にかかる映像品質推定装置3の上記した各構成要素は、第2の実施の形態において説明した映像品質推定装置2と同一の構成および機能を有するため、同一の符号を付し、その詳細な説明は省略する。
次に、本実施の形態にかかる映像品質推定装置3の映像品質評価値の導出動作について、図21および図22を参照して説明する。
図21に示すように、映像品質推定装置3のパケット分析部20は、入力されたパケットをキャプチャし(S301)、キャプチャしたパケットから符号化映像パケットのビットレート(BR)とIフレームのビット量(BitsI)と損失映像フレーム数(DF)とを導出する(S302)。
パケット分析部20によって導出されたビットレート(BR)は、フレーム特性推定部21、符号化品質推定部22へ入力され、Iフレームのビット量(BitsI)は、符号化品質推定部22、パケット損失品質推定部23へ入力され、損失映像フレーム数(DF)は、パケット損失品質推定部23へ入力される。
パケット分析部20によって導出されたビットレート(BR)がフレーム特性推定部21へ入力されると、フレーム特性推定部20のIフレーム平均ビット量推定部211は、この入力されたビットレート(BR)に基づいてIフレーム平均ビット量(BitsIave)を導出する(S303)。
Iフレーム平均ビット量(BitsIave)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(50)によって導出するとしても良い。
BitsIave=w1+w2exp(−BR/w3) ・・・式(50)
ただし、BitsIaveはIフレーム平均ビット量、BRはビットレートを示し、w1,…,w3は特性係数である。
Iフレーム平均ビット量推定部211は、導出したIフレーム平均ビット量(BitsIave)を符号化品質推定部22とパケット損失品質推定部23に対して出力する。
パケット分析部20によって導出されたビットレート(BR)がフレーム特性推定部21へ入力されると、フレーム特性推定部20のIフレーム最大ビット量推定部212は、この入力されたビットレート(BR)に基づいてIフレーム最大ビット量(BitsImax)を導出する(S304)。
Iフレーム最大ビット量(BitsImax)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(51)によって導出するとしても良い。
BitsImax=w4+w5exp(−BR/w6) ・・・式(51)
ただし、BitsImaxはIフレーム最大ビット量、BRはビットレートを示し、w4,…,w6は特性係数である。
Iフレーム最大ビット量推定部212は、導出したIフレーム最大ビット量(BitsImax)を符号化品質推定部22とパケット損失品質推定部23に対して出力する。
パケット分析部20によって導出されたビットレート(BR)がフレーム特性推定部21へ入力されると、フレーム特性推定部20のIフレーム最小ビット量推定部213は、この入力されたビットレート(BR)に基づいてIフレーム最小ビット量(BitsImin)を導出する(S305)。
Iフレーム最小ビット量(BitsImin)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(52)によって導出するとしても良い。
BitsImin=w7+w8exp(−BR/w9) ・・・式(52)
ただし、BitsIminはIフレーム最小ビット量、BRはビットレートを示し、w7,…,w9は特性係数である。
Iフレーム最小ビット量推定部213は、導出したIフレーム最小ビット量(BitsImin)を符号化品質推定部22とパケット損失品質推定部23に対して出力する。
パケット分析部20によって導出されたビットレート(BR)が符号化品質推定部22へ入力されると、符号化品質推定部22の平均符号化映像品質推定部221は、この入力されたビットレート(BR)に基づいて平均符号化映像品質評価値(Vqcave)を導出する(S306)。
平均符号化映像品質評価値(Vqcave)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(53)または(54)によって導出するとしても良い。
Vqcave=W10+W11exp(−BR/w12) ・・・式(53)
または
Vqcave=1+w10−w10/(1+(BR/w11)w12)・・・式(54)
ただし、Vqcaveは平均符号化映像品質評価値、BRはビットレートを示し、w10,…,w12は特性係数である。
平均符号化映像品質推定部221は、導出した平均符号化映像品質評価値(Vqcave)を符号化映像品質推定部225に対して出力する。
パケット分析部20によって導出されたビットレート(BR)が符号化品質推定部22へ入力されると、符号化品質推定部22の最大符号化映像品質推定部222は、この入力されたビットレート(BR)に基づいて最大符号化映像品質評価値(Vqcmax)を導出する(S307)。
最大符号化映像品質評価値(Vqcmax)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(55)または式(56)によって導出するとしても良い。
Vqcmax=w13+w14 exp(−BR/w15) ・・・式(55)
または
Vqcmax=1+w13−w14/(1+(BR/w14)w15)・・・式(56)
ただし、Vqcmaxは最大符号化映像品質評価値、BRはビットレートを示し、w14,…,w15は特性係数である。
最大符号化映像品質推定部222は、導出した最大符号化映像品質評価値(Vqcmax)を符号化映像品質推定部225に対して出力する。
パケット分析部20によって導出されたビットレート(BR)が符号化品質推定部22へ入力されると、符号化品質推定部22の最小符号化映像品質推定部223は、この入力されたビットレート(BR)に基づいて最小符号化映像品質評価値(Vqcmin)を導出する(S308)。
最小符号化映像品質評価値(Vqcmin)には、ビットレート(BR)の増加とともに増加するという特性をもち、この特性を表した式(57)または式(58)によって導出するとしても良い。
Vqcmin=w16+w17 exp(−BR/w18) ・・・式(57)
または
Vqcmin=1+w16−w16/(1+(BR/w17)w18)・・・式(58)
ただし、Vqcminは最小符号化映像品質評価値、BRはビットレートを示し、w16,…,w18は特性係数である。
最小符号化映像品質推定部223は、導出した最小符号化映像品質評価値(Vqcmin)を符号化映像品質推定部225に対して出力する。
符号化品質推定部22の差分符号化映像品質推定部224は、平均符号化映像品質推定部221より算出した平均符号化映像品質評価値(Vqcave)と、最大符号化映像品質推定部222より算出した最大符号化映像品質評価値(Vqcmax)と、最小符号化映像品質推定部223より算出した最小符号化映像品質評価値(Vqcmin)と、映像フレーム種別ビット量算出部206より算出したIフレームビット量(BitsI)と、Iフレーム平均ビット量推定部211より算出したIフレーム平均ビット量(BitsIave)と、Iフレーム最大ビット量推定部212より算出したIフレーム最大ビット量(BitsImax)と、Iフレーム最小ビット量推定部213より算出したIフレーム最小ビット量(BitsImin)とに基づいて、差分符号化映像品質評価理(dVqc)を導出する(S309)。
差分符号化映像品質評価値(dVqc)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、(Vqcmax−Vqcave)・(BitsI−BitsIave)/(BitsImax−BitsIave)と比例関係にある。
一方、差分符号化映像品質評価値(dVqc)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合、(Vqcmin−Vqcave)・(BitsI−BitsIave)/(BitsImin−BitsIave)と比例関係にある。
このような差分符号化映像品質評価値(dVqc)の特性を式(57)に示し、この式(57)を用いて差分符号化映像品質推定部224は、差分符号化映像品質評価値(dVqc)を導出するとしても良い。
dVqc=w19+w20・x ・・・式(57)
ただし、dVqcは差分符号化映像品質評価値、xはIフレームビット量の差分符号化映像品質評価値への影響度を示し、w19,w20は特性係数である。
差分符号化映像品質推定部224は、導出した差分符号化映像品質評価値(dVqc)を符号化映像品質推定部225に対して出力する。
ここで、式(57)のxは、以下に式(58)によって導出しても良い。
(BitsI>BitsIaveの場合)
x=(Vqcmax−Vqcave)・(BitsI−BitsIave)/(BitsImax−BitsIave)
(BitsI<BitsIaveの場合)
x=(Vqcmin−Vqcave)・(BitsI−BitsIave)/(BitsImin−BitsIave)
・・・式(58)
符号化映像品質推定部225は、平均符号化映像品質推定部221より算出した平均符号化映像品質評価値(Vqcave)と、差分符号化映像品質推定部224より算出した差分符号化映像品質評価値(dVqc)を式(59)によって導出する(S310)。
Vqc=Vqcave+dVqc ・・・式(59)
符号化映像品質推定部225は、導出した符号化映像品質評価値(Vqc)をパケット損失品質推定部23に対し出力する。
図22に示すように、符号化映像品質推定部225によって導出された符号化映像品質評価値(Vqc)がパケット損失品質推定部23に対して出力されると、パケット損失品質推定部23の平均パケット損失映像品質推定部231は、パケット分析部20によって導出された損失映像フレーム数(DF)と、符号化映像品質推定部225によって導出された符号化映像品質評価値(Vqc)に基づいて、平均パケット損失映像品質評価理(Vqave)を導出する(S311)。
平均パケット損失映像品質評価値(Vqave)には、損失映像フレーム数(DF)の増加とともに減少するという特性をもち、この特性を表した式(60)によって導出するとしても良い。
Vqave=1+(Vqc−1)・((1−w21)exp(−DF/w22)+w21exp(−DF/w23)) ・・・式(60)
ただし、Vqcは符号化映像品質評価値、Vqaveは平均パケット損失映像品質評価値、DFは損失映像フレーム数を示し、w21,…,w23は特性係数である。
平均パケット損失映像品質推定部231は、導出した平均パケット損失映像品質評価値(Vqave)を映像品質推定部235に対し出力する。
最大パケット損失映像品質推定部232は、パケット分析部20によって導出された損失映像フレーム数(DF)と、符号化映像品質推定部225によって導出された符号化映像品質評価値(Vqc)に基づいて、最大パケット損失映像品質評価値(Vqmax)を導出する(S312)。
最大パケット損失映像品質評価値(Vqmax)には、損失映像フレーム数(DF)の増加とともに減少するという特性をもち、この特性を表した式(61)によって導出するとしても良い。
Vqmax=1+(Vqc−1)・((1−w24)exp(−DF/w25)+w25exp(−DF/w26)) ・・・式(61)
ただし、Vqcは符号化映像品質評価値、Vqmaxは最大パケット損失映像品質評価値、DFは損失映像フレーム数を示し、w24,…,w26は特性係数である。
最大パケット損失映像品質推定部232は、導出した最大パケット損失映像品質評価値(Vqmax)を映像品質推定部235に対し出力する。
最小パケット損失映像品質推定部233は、パケット分析部20によって導出された損失映像フレーム数(DF)と、符号化映像品質推定部225によって導出された符号化映像品質評価値(Vqc)に基づいて、最小パケット損失映像品質評価値(Vqmin)を導出する(S313)。
最小パケット損失映像品質評価値(Vqmin)には、損失映像フレーム数(DF)の増加とともに減少するという特性をもち、この特性を表した式(62)によって導出するとしても良い。
Vqmin=1+(Vqc−1)・((1−w27)exp(−DF/w28)+w27exp(−DF/w29)) ・・・式(62)
ただし、Vqcは符号化映像品質評価値、Vqminは最小パケット損失映像品質評価値、DFは損失映像フレーム数を示し、w27,…,w29は特性係数である。
最小パケット損失映像品質推定部233は、導出した最小パケット損失映像品質評価値(Vqmin)を映像品質推定部235に対し出力する。
差分パケット損失映像品質推定部234は、平均パケット損失映像品質推定部231より算出した平均パケット損失映像品質評価値(Vqave)と、最大パケット損失映像品質推定部232より算出した最大パケット損失映像品質評価値(Vqmax)と、最小パケット損失映像品質推定部233より算出した最小パケット損失映像品質評価値(Vqmin)と、映像フレーム種別ビット量算出部206より算出したIフレームビット量(BitsI)と、Iフレーム平均ビット量推定部211より算出したIフレーム平均ビット量(BitsIave)と、Iフレーム最大ビット量推定部212より算出したIフレーム最大ビット量(BitsImax)と、Iフレーム最小ビット量推定部213より算出したIフレーム最小ビット量(BitsImin)とに基づいて、差分パケット損失映像品質評価値(dVq)を導出する(S314)。
差分パケット損失映像品質評価値(dVq)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より大きい場合、(Vqmax−Vqave)・(BitsI−BitsIave)/(BitsImax−BitsImax)と比例関係にある。
一方、差分パケット損失映像品質評価値(dVq)は、Iフレームビット量(BitsI)がIフレーム平均ビット量(BitsIave)より小さい場合、(Vqmin−Vqave)・(BitsI−BitsIave)/(BitsImin−BitsImax)と比例関係にある。
このような差分パケット損失映像品質評価値(dVq)の特性を式(63)に示し、この式(63)を用いて差分パケット損失映像品質推定部234は、差分パケット損失映像品質評価値(dVq)を導出するとしても良い。
dVq=w30+w31・s ・・・式(63)
ただし、dVqは差分パケット損失映像品質評価値、sはIフレームビット量の差分パケット損失映像品質評価値への影響度を示し、w30,w31は特性係数である。
差分パケット損失映像品質推定部234は、導出した差分パケット損失映像品質評価値(dVq)を映像品質推定部235に対して出力する。
ここで、式(63)のSは、以下の式(64)によって導出しても良い。
(BitsI>BitsIaveの場合)
s=(Vqmax−Vqave)・(BitsI−BitsIave)/(BitsImax−BitsIave)
(BitsI<BitsIaveの場合)
s=(Vqmin−Vqave)・(BitsI−BitsIave)/(BitsImin−BitsIave)
・・・式(64)
映像品質推定部235は、平均パケット損失映像品質推定部231より算出した平均パケット損失映像品質評価値(Vqave)と、差分パケット損失映像品質推定部234より算出した差分パケット損失映像品質評価値(dVq)とを加算する(式(65))ことにより、映像品質の推定対象である映像コンテンツの映像品質値(Vq)を導出する(S315)。
Vq=Vqave+dVq ・・・式(65)
また、上述したような、Iフレームの平均ビット量、最大ビット量、最小ビット量、および、平均符号化映像品質評価値、最大符号化映像品質評価値、最小符号化映像品質評価値、差分符号化映像品質評価値、平均パケット損失映像品質評価値、最大パケット損失映像品質評価値、最小パケット損失映像品質評価値、差分パケット損失映像品質評価値のそれぞれを導出する際に用いられた特性係数(w1,…,w31)は、映像品質推定装置3の図示しない記憶部にデータベース化された品質特性係数データベースから該当する特性係数を選択する。
図23に示した上記の品質特性係数データベースの一例は、特性係数を映像コーデックの方式などの前提条件と対応して記述されたものである。
また、映像品質評価値は映像コーデックの実装に依存し、例えば、同じビットレートでH.264で符号化した映像コンテンツと、MPEG2で符号化した映像コンテンツとでは映像品質評価値が異なる。同様に、映像フォーマットやフレームレートなども含めた前提条件に映像品質評価値は依存する。図23に示す品質特性係数データベースは、この前提条件毎に記述されたものである。
IPネットワーク経由で行うIPTVサービス、映像配信サービス、TV電話サービスなどの映像通信の映像品質値を推定する映像品質推定装置に利用できる。
1,2…映像品質推定装置、10,20…パケット分析部、11,21…フレーム特性推定部、12,22…符号化品質推定部、23…パケット損失品質推定部。

Claims (23)

  1. 入力された符号化映像パケットのビットレートを導出するとともに、複数の映像フレーム種別のうち少なくとも1つの映像フレーム種別毎に符号化映像のビット量を導出するパケット分析部と、
    このパケット分析部により導出される符号化映像パケットの前記ビットレートと前記映像フレーム種別毎の前記ビット量とに基づいて映像品質値を導出する符号化品質推定部と
    前記パケット分析部によって導出される前記ビットレートから前記映像フレーム種別毎のビット量の特性を示すフレーム特性を導出するフレーム特性推定部と
    を備え、
    前記符号化品質推定部は、前記パケット分析部により導出される符号化映像パケットの前記ビットレートと前記映像フレーム種別毎の前記ビット量と、前記フレーム特性推定部から導出される前記映像フレーム種別毎の前記フレーム特性とに基づいて映像品質値を導出する
    ことを特徴とする映像品質推定装置。
  2. 請求項に記載の映像品質推定装置において、
    前記パケット分析部は、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定部と、
    この映像パケット特定部により特定された符号化映像パケットのビットレートを導出する符号量算出部と、
    前記映像パケット特定部により特定された符号化映像パケットから映像フレームの区切を示す情報を導出するフレーム区切位置抽出部と、
    前記映像パケット特定部により特定された符号化映像パケットから特定の映像フレームの開始位置を示す情報を導出する特定フレーム開始位置抽出部と、
    前記フレーム区切位置抽出部により導出された映像フレームの区切を示す情報の間にあるビット量からその映像フレームのビット量を導出する映像フレームビット量算出部と、
    前記特定フレーム開始位置抽出部によって導出された特定の映像フレームの開始位置を示す情報と前記映像フレームビット量算出部によって導出された映像フレームのビット量とから、前記映像フレーム種別毎のビット量を導出する映像フレーム種別ビット量算出部と
    を備えることを特徴とする映像品質推定装置。
  3. 請求項に記載の映像品質推定装置において、
    前記フレーム特性推定部は、
    前記パケット分析部により導出される前記ビットレートから前記映像フレーム種別の平均ビット量を導出する平均ビット量推定部と、
    前記パケット分析部により導出される前記ビットレートから前記映像フレーム種別の最大ビット量を導出する最大ビット量推定部と、
    前記パケット分析部により導出される前記ビットレートから前記映像フレーム種別の最小ビット量を導出する最小ビット量推定部とを備え、
    前記平均ビット量推定部、前記最大ビット量推定部、前記最小ビット量推定部は、Iフレーム、Pフレーム、Bフレームのうち、少なくとも1の映像フレーム種別における平均ビット量、最大ビット量、最小ビット量を導出することを特徴とする映像品質推定装置。
  4. 請求項に記載の映像品質推定装置において、
    前記符号化品質推定部は、
    前記パケット分析部により導出される前記ビットレートから映像品質値のばらつきと代表値とを示す映像品質特性を導出する映像品質特性推定部と、
    前記パケット分析部により導出される前記映像フレーム種別毎のビット量と、前記フレーム特性推定部により導出される前記映像フレーム種別毎のビット量の特性を示すフレーム特性と、前記映像品質特性推定部により導出される前記映像品質値のばらつきと代表値とを示す映像品質特性とから、所望の映像品質値と前記映像品質値の代表値との差分値を示す差分映像品質値を導出する差分映像品質推定部と、
    この差分映像品質推定部により導出される前記差分映像品質値と、前記映像品質特性推定部により導出される前記映像品質値の代表値とを加算することにより所望の映像品質値を導出する映像品質推定部と
    を備えることを特徴とする映像品質推定装置。
  5. 請求項に記載の映像品質推定装置において、
    前記映像品質特性推定部は、
    前記パケット分析部により導出される前記ビットレートから映像品質値の平均値を示す平均映像品質値を導出する平均映像品質推定部と、
    前記パケット分析部により導出される前記ビットレートから映像品質値の最大値を示す最大映像品質値を導出する最大映像品質推定部と、
    前記パケット分析部により導出される前記ビットレートから映像品質値の最小値を示す最小映像品質値を導出する最小映像品質推定部と
    を備え、
    前記最大映像品質推定部によって導出される前記最大映像品質値と前記最小映像品質推定部によって導出される前記最小映像品質値とから前記映像品質値のばらつきを導出し、前記平均映像品質推定部によって導出される前記平均映像品質値を前記映像品質値の代表値として導出することを特徴とする映像品質推定装置。
  6. 請求項1に記載の映像品質推定装置において、
    さらに、前記符号化品質推定部により導出される符号化映像品質評価値と、前記パケット分析部により導出される前記映像フレーム種別毎の前記ビット量と映像フレーム損失数を表す損失映像フレーム数と、前記フレーム特性推定部により導出される前記映像フレーム種別毎の前記フレーム特性とに基づいて、パケット損失劣化によって影響を受ける符号化映像の品質を定量的に表した映像品質評価値を導出するパケット損失品質推定部を備えることを特徴とする映像品質推定装置。
  7. 請求項に記載の映像品質推定装置において、
    前記パケット分析部は、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定部と、
    この映像パケット特定部により特定された符号化映像パケットのビットレートを導出するビットレート算出部と、
    前記映像パケット特定部により特定された符号化パケットから映像フレームの区切を示す情報を導出するフレーム区切位置抽出部と、
    前記映像パケット特定部により特定された符号化映像パケットから特定の映像フレーム開始位置を示す情報を導出する特定フレーム開始位置抽出部と、
    前記フレーム区切位置抽出部により導出された映像フレームの区切を示す情報の間にあるビット量からその映像フレームのビット量を導出する映像フレームビット量算出部と、
    前記特定フレーム開始位置抽出部により導出される特定の映像フレームの開始位置を示す情報と、前記映像フレームビット量算出部により導出される映像フレームのビット量とから、前記映像フレーム種別毎のビット量を導出する映像フレーム種別ビット量算出部と、
    前記映像パケット特定部により特定される符号化映像パケットと、前記フレーム区切位置抽出部により導出される映像フレームの区切を示す情報とからパケット損失が発生したパケットを特定するパケット損失フレーム特定部と、
    前記映像フレーム種別ビット量算出部により導出される前記映像フレーム種別毎のビット量から定まる映像フレーム種別と映像フレーム位置を示す情報と、前記パケット損失フレーム特定部により特定されるパケット損失が発生したパケットとに基づいて、パケット損失によって損失した映像フレーム数を導出する損失映像フレーム数算出部と
    を備えることを特徴とする映像品質推定装置。
  8. 請求項に記載の映像品質推定装置において、
    前記フレーム特性推定部は、
    前記パケット分析部により導出される前記ビットレートから前記映像フレーム種別毎の平均ビット量の特性を導出する平均ビット量推定部と、
    前記パケット分析部により導出される前記ビットレートから前記映像フレーム種別毎の最大ビット量の特性を導出する最大ビット量推定部と、
    前記パケット分析部により導出される前記ビットレートから前記映像フレーム種別毎の最小ビット量の特性を導出する最小ビット量推定部とを備え、
    前記平均ビット量推定部、前記最大ビット量推定部、前記最小ビット量推定部は、Iフレーム、Pフレーム、Bフレームのうち、少なくとも1の映像フレーム種別における前記平均ビット量、前記最大ビット量、前記最小ビット量の特性を導出することを特徴とする映像品質推定装置。
  9. 請求項に記載の映像品質推定装置において、
    前記符号化品質推定部は、
    前記パケット分析部により導出される前記ビットレートから符号化映像品質評価値のばらつきと代表値とを示す符号化映像品質評価特性を導出する符号化映像品質特性推定部と、
    前記パケット分析部により導出される前記映像フレーム種別のビット量と、前記フレーム特性推定部により導出される前記映像フレーム種別のビット量の特性を示すフレーム特性と、前記符号化映像品質特性推定部により導出される前記符号化映像品質評価値のばらつきと代表値とを示す符号化映像品質評価特性とから、前記符号化映像品質評価値と前記符号化映像品質評価値の代表値との差分値を示す差分符号化映像品質評価値を導出する差分符号化映像品質推定部と、
    前記符号化映像品質特性推定部により導出される前記符号化映像品質評価値の代表値と、前記差分符号化映像品質推定部により導出される差分符号化映像品質評価値とを加算して符号化映像品質評価値を導出する符号化映像品質推定部と
    を備えることを特徴とする映像品質推定装置。
  10. 請求項に記載の映像品質推定装置において、
    前記符号化映像品質特性推定部は、
    前記パケット分析部により導出されるビットレートから符号化映像品質評価値の平均値を示す平均符号化映像品質評価値を導出する平均符号化映像品質推定部と、
    前記パケット分析部により導出されるビットレートから符号化映像品質評価値の最大値を示す最大符号化映像品質評価値を導出する最大符号化映像品質推定部と、
    前記パケット分析部により導出されるビットレートから符号化映像品質評価値の最小値を示す最小符号化映像品質評価値を導出する最小符号化映像品質推定部と
    を備え、
    前記最大符号化映像品質推定部によって導出される前記最大符号化映像品質評価値と前記最小符号化映像品質推定部によって導出される前記最小符号化映像品質評価値とから前記符号化映像品質評価値のばらつきを導出し、前記平均符号化映像品質推定部によって導出される前記平均符号化映像品質評価値を前記符号化映像品質評価値の代表値として導出することを特徴とする映像品質推定装置。
  11. 請求項6に記載の映像品質推定装置において、
    前記パケット損失品質推定部は、
    前記パケット分析部により導出される損失映像フレーム数と、前記符号化品質推定部により導出される符号化映像品質評価値とに基づいて映像品質評価値の平均値を示す平均パケット損失映像品質評価値を導出する平均パケット損失映像品質推定部と、
    前記パケット分析部により導出される損失映像フレーム数と、前記符号化品質推定部により導出される符号化映像品質評価値とに基づいて映像品質評価値の最大値を示す最大パケット損失映像品質評価値を導出する最大パケット損失映像品質推定部と、
    前記パケット分析部により導出される損失映像フレーム数と、前記符号化品質推定部により導出される符号化映像品質評価値とに基づいて映像品質評価値の最小値を示す最小パケット損失映像品質評価値を導出する最小パケット損失映像品質推定部と、
    前記パケット分析部により導出される前記映像フレーム種別毎のビット量と、前記フレーム特性推定部により導出される前記映像フレーム種別毎の平均ビット量、最大ビット量、最小ビット量と、前記平均パケット損失映像品質推定部により導出される平均パケット損失映像品質評価値と、前記最大パケット損失映像品質推定部により導出される最大パケット損失映像品質評価値と、前記最小パケット損失映像品質推定部により導出される最小パケット損失映像品質評価値とから所望の映像品質評価値と平均パケット損失映像品質評価値との差分値を示す差分パケット損失映像品質推定部と、
    前記平均パケット損失映像品質推定部により導出される平均パケット損失映像品質評価値と、前記差分パケット損失映像品質推定部により導出される差分パケット損失映像品質評価値を加算して所望の映像品質評価値を導出するパケット損失映像品質推定部と
    を備えることを特徴とする映像品質推定装置。
  12. 入力された符号化映像パケットのビットレートを導出するとともに、複数の映像フレーム種別のうち少なくとも1つの映像フレーム種別毎に符号化映像のビット量を導出するパケット分析ステップと、
    このパケット分析ステップにより導出される符号化映像パケットの前記ビットレートと前記映像フレーム種別毎の前記ビット量とに基づいて映像品質値を導出する符号化品質推定ステップと
    前記パケット分析ステップにより導出された前記ビットレートから前記映像フレーム種別毎のビット量の特性を示すフレーム特性を導出するフレーム特性推定ステップと
    を備え、
    前記符号化品質推定ステップは、
    前記パケット分析ステップにより導出される符号化映像パケットの前記ビットレートと前記映像フレーム種別毎の前記ビット量と、前記フレーム特性推定ステップにより導出される前記映像フレーム種別毎の前記フレーム特性とに基づいて映像品質値を導出する
    ことを特徴とする映像品質推定方法。
  13. 請求項12に記載の映像品質推定方法において、
    前記パケット分析ステップは、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定ステップと、
    この映像パケット特定ステップにより特定される符号化映像パケットのビットレートを導出する符号量算出ステップと、
    前記映像パケット特定ステップにより特定される符号化映像パケットから映像フレームの区切を示す情報を導出するフレーム区切位置抽出ステップと、
    前記映像パケット特定ステップにより特定される符号化映像パケットから特定の映像フレームの開始位置を示す情報を導出する特定フレーム開始位置抽出ステップと、
    前記フレーム区切位置抽出ステップにより導出される映像フレームの区切を示す情報の間にあるビット量からその映像フレームのビット量を導出する映像フレームビット量算出ステップと、
    前記特定フレーム開始位置抽出ステップによって導出される特定の映像フレームの開始位置を示す情報と前記映像フレームビット量算出ステップによって導出される映像フレームのビット量とから、前記映像フレーム種別毎のビット量を導出する映像フレーム種別ビット量算出ステップと
    を備えることを特徴とする映像品質推定方法。
  14. 請求項12に記載の映像品質推定方法において、
    前記フレーム特性推定ステップは、
    前記パケット分析ステップにより導出される前記ビットレートから映像フレーム種別の平均ビット量を導出する平均ビット量推定ステップと、
    前記パケット分析ステップにより導出される前記ビットレートから映像フレーム種別の最大ビット量を導出する最大ビット量推定ステップと、
    前記パケット分析ステップにより導出される前記ビットレートから映像フレーム種別の最小ビット量を導出する最小ビット量推定ステップとを備え、
    前記平均ビット量推定ステップ、前記最大ビット量推定ステップ、前記最小ビット量推定ステップは、Iフレーム、Pフレーム、Bフレームのうち、少なくとも1の映像フレーム種別における平均ビット量、最大ビット量、最小ビット量を導出することを特徴とする映像品質推定方法。
  15. 請求項12に記載の映像品質推定方法において、
    前記符号化品質推定ステップは、
    前記パケット分析ステップにより導出される前記ビットレートから映像品質値のばらつきと代表値とを示す映像品質特性を導出する映像品質特性推定ステップと、
    前記パケット分析ステップにより導出される前記映像フレーム種別毎のビット量と、前記フレーム特性推定ステップにより導出される前記映像フレーム種別毎のビット量の特性を示すフレーム特性と、前記映像品質特性推定ステップにより導出される前記映像品質値のばらつきと代表値とを示す映像品質特性とから、所望の映像品質値と前記映像品質値の代表値との差分値を示す差分映像品質値を導出する差分映像品質推定ステップと、
    この差分映像品質推定ステップにより導出される前記差分映像品質値と、前記映像品質特性推定ステップにより導出される前記映像品質値の代表値とを加算することにより所望の映像品質値を導出する映像品質推定ステップと
    を備えることを特徴とする映像品質推定方法。
  16. 請求項15に記載の映像品質推定方法において、
    前記映像品質特性推定ステップは、
    前記パケット分析ステップにより導出される前記ビットレートから映像品質値の平均値を示す平均映像品質値を導出する平均映像品質推定ステップと、
    前記パケット分析ステップにより導出される前記ビットレートから映像品質値の最大値を示す最大映像品質値を導出する最大映像品質推定ステップと、
    前記パケット分析ステップにより導出される前記ビットレートから映像品質値の最小値を示す最小映像品質値を導出する最小映像品質推定ステップとを備え、
    前記最大映像品質推定ステップによって導出される前記最大映像品質値と前記最小映像品質推定ステップによって導出される前記最小映像品質値とから前記映像品質値のばらつきを導出し、前記平均映像品質推定ステップによって導出される前記平均映像品質値を前記映像品質値の代表値として導出することを特徴とする映像品質推定方法。
  17. 請求項12に記載の映像品質推定方法において、
    前記符号化品質推定ステップにより導出される符号化映像品質評価値と、前記パケット分析ステップにより導出される前記映像フレーム種別毎の前記ビット量と映像フレーム損失数を表す損失映像フレーム数と、前記フレーム特性推定ステップにより導出される前記映像フレーム種別毎の前記フレーム特性とに基づいて、パケット損失劣化によって影響を受ける符号化映像の品質を定量的に表した映像品質評価値を導出するパケット損失品質推定ステップをさらに備えることを特徴とする映像品質推定方法。
  18. 請求項17に記載の映像品質推定方法において、
    前記パケット分析ステップは、
    入力されたパケットに含まれる任意の符号化映像パケットをこの符号化映像パケット固有のパケットIDによって特定する映像パケット特定ステップと、
    この映像パケット特定ステップにより特定された符号化映像パケットのビットレートを導出するビットレート算出ステップと、
    前記映像パケット特定ステップにより特定された符号化パケットから映像フレームの区切を示す情報を導出するフレーム区切位置抽出ステップと、
    前記映像パケット特定ステップにより特定された符号化映像パケットから特定の映像フレーム開始位置を示す情報を導出する特定フレーム開始位置抽出ステップと、
    前記フレーム区切位置抽出ステップにより導出された映像フレームの区切を示す情報の間にあるビット量からその映像フレームのビット量を導出する映像フレームビット量算出ステップと、
    前記特定フレーム開始位置抽出ステップにより導出される特定の映像フレームの開始位置を示す情報と、前記映像フレームビット量算出ステップにより導出される映像フレームのビット量とから、前記映像フレーム種別毎のビット量を導出する映像フレーム種別ビット量算出ステップと、
    前記映像パケット特定ステップにより特定される符号化映像パケットと、前記フレーム区切位置抽出ステップにより導出される映像フレームの区切を示す情報とから、パケット損失が発生したパケットを特定するパケット損失フレーム特定ステップと、
    前記映像フレーム種別ビット量算出ステップにより導出される前記映像フレーム種別毎のビット量から定まる映像フレーム種別と映像フレーム位置を示す情報と、前記パケット損失フレーム特定ステップにより特定されるパケット損失が発生したパケットとに基づいて、パケット損失によって損失した映像フレーム数を導出する損失映像フレーム数算出ステップと
    を備えることを特徴とする映像品質推定方法。
  19. 請求項17に記載の映像品質推定方法において、
    前記フレーム特性推定ステップは、
    前記パケット分析ステップにより導出される前記ビットレートから前記映像フレーム種別毎の平均ビット量の特性を導出する平均ビット量推定ステップと、
    前記パケット分析ステップにより導出される前記ビットレートから前記映像フレーム種別毎の最大ビット量の特性を導出する最大ビット量推定ステップと、
    前記パケット分析ステップにより導出される前記ビットレートから前記映像フレーム種別毎の最小ビット量の特性を導出する最小ビット量推定ステップとを備え、
    前記平均ビット量推定ステップ、前記最大ビット量推定ステップ、前記最小ビット量推定ステップは、Iフレーム、Pフレーム、Bフレームのうち、少なくとも1の映像フレーム種別における前記平均ビット量、前記最大ビット量、前記最小ビット量の特性を導出することを特徴とする映像品質推定方法。
  20. 請求項17に記載の映像品質推定方法において、
    前記符号化品質推定ステップは、
    前記パケット分析ステップにより導出される前記ビットレートから符号化映像品質評価値のばらつきと代表値とを示す符号化映像品質評価特性を導出する符号化映像品質特性推定ステップと、
    前記パケット分析ステップにより導出される前記映像フレーム種別毎のビット量と、前記フレーム特性推定ステップにより導出される前記映像フレーム種別毎のビット量の特性を示すフレーム特性と、前記符号化映像品質特性推定ステップにより導出される前記符号化映像品質評価値のばらつきと代表値とを示す符号化映像品質評価特性とから、前記符号化映像品質評価値と前記代表値との差分値を示す差分符号化映像品質評価値を導出する差分符号化映像品質推定ステップと、
    前記符号化映像品質特性推定ステップにより導出される前記符号化映像品質評価値の代表値と、前記差分符号化映像品質推定ステップにより導出される差分符号化映像品質評価値とを加算して符号化映像品質評価値を導出する符号化映像品質推定ステップと
    を備えることを特徴とする映像品質推定方法。
  21. 請求項20に記載の映像品質推定方法において、
    前記符号化映像品質特性推定ステップは、
    前記パケット分析ステップにより導出されるビットレートから符号化映像品質評価値の平均値を示す平均符号化映像品質評価値を導出する平均符号化映像品質推定ステップと、
    前記パケット分析ステップにより導出されるビットレートから符号化映像品質評価値の最大値を示す最大符号化映像品質評価値を導出する最大符号化映像品質推定ステップと、
    前記パケット分析ステップにより導出されるビットレートから符号化映像品質評価値の最小値を示す最小符号化映像品質評価値を導出する最小符号化映像品質推定ステップとを備え、
    前記最大符号化映像品質推定ステップによって導出される前記最大符号化映像品質評価値と前記最小符号化映像品質推定ステップによって導出される前記最小符号化映像品質評価値とから前記符号化映像品質評価値のばらつきを導出し、前記平均符号化映像品質推定ステップによって導出される前記平均符号化映像品質評価値を前記符号化映像品質評価値の代表値として導出することを特徴とする映像品質推定方法。
  22. 請求項17に記載の映像品質推定方法において、
    前記パケット損失品質推定ステップは、
    前記パケット分析ステップにより導出される損失映像フレーム数と、前記符号化品質推定ステップにより導出される符号化映像品質評価値とに基づいて映像品質評価値の平均値を示す平均パケット損失映像品質評価値を導出する平均パケット損失映像品質推定ステップと、
    前記パケット分析ステップにより導出される損失映像フレーム数と、前記符号化品質推定ステップにより導出される符号化映像品質評価値とに基づいて映像品質評価値の最大値を示す最大パケット損失映像品質評価値を導出する最大パケット損失映像品質推定ステップと、
    前記パケット分析ステップにより導出される損失映像フレーム数と、前記符号化品質推定ステップにより導出される符号化映像品質評価値とに基づいて映像品質評価値の最小値を示す最小パケット損失映像品質評価値を導出する最小パケット損失映像品質推定ステップと、
    前記パケット分析ステップにより導出される前記映像フレーム種別毎のビット量と、前記フレーム特性推定ステップにより導出される前記映像フレーム種別毎の平均ビット量、最大ビット量、最小ビット量と、前記平均パケット損失映像品質推定ステップにより導出される平均パケット損失映像品質評価値と、前記最大パケット損失映像品質推定ステップにより導出される最大パケット損失映像品質評価値と、前記最小パケット損失映像品質推定ステップにより導出される最小パケット損失映像品質評価値とから所望の映像品質評価値と平均パケット損失映像品質評価値との差分値を示す差分パケット損失映像品質推定ステップと、
    前記平均パケット損失映像品質推定ステップにより導出される平均パケット損失映像品質評価値と、前記差分パケット損失映像品質推定ステップにより導出される差分パケット損失映像品質評価値を加算して所望の映像品質評価値を導出するパケット損失映像品質推定ステップと
    を備えることを特徴とする映像品質推定方法。
  23. 入力された符号化映像パケットのビットレートを導出するとともに、複数の映像フレーム種別のうち少なくとも1つの映像フレーム種別毎に符号化映像のビット量を導出するパケット分析ステップと、
    このパケット分析ステップにより導出される符号化映像パケットの前記ビットレートと前記映像フレーム種別毎の前記ビット量とに基づいて映像品質値を導出する符号化品質推定ステップと、
    前記パケット分析ステップにより導出された前記ビットレートから前記映像フレーム種別毎のビット量の特性を示すフレーム特性を導出するフレーム特性推定ステップと、
    前記符号化品質推定ステップにより導出される符号化映像品質評価値と、前記パケット分析ステップにより導出される前記映像フレーム種別毎の前記ビット量と映像フレーム損失数を表す損失映像フレーム数と、前記フレーム特性推定ステップにより導出される前記映像フレーム種別毎の前記フレーム特性とに基づいて、パケット損失劣化によって影響を受ける符号化映像の品質を定量的に表した映像品質評価値を導出するパケット損失品質推定ステップと
    をコンピュータに実行させることを特徴とする映像品質推定プログラムであって、
    前記符号化品質推定ステップは、
    前記パケット分析ステップにより導出される符号化映像パケットの前記ビットレートと前記映像フレーム種別毎の前記ビット量と、前記フレーム特性推定ステップにより導出される前記映像フレーム種別毎の前記フレーム特性とに基づいて映像品質値を導出する
    ことを特徴とする映像品質推定プログラム。
JP2011537151A 2009-10-22 2010-03-25 映像品質推定装置、映像品質推定方法およびプログラム Active JP5519690B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011537151A JP5519690B2 (ja) 2009-10-22 2010-03-25 映像品質推定装置、映像品質推定方法およびプログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2009243236 2009-10-22
JP2009243236 2009-10-22
JP2009274238 2009-12-02
JP2009274238 2009-12-02
JP2011537151A JP5519690B2 (ja) 2009-10-22 2010-03-25 映像品質推定装置、映像品質推定方法およびプログラム
PCT/JP2010/055203 WO2011048829A1 (ja) 2009-10-22 2010-03-25 映像品質推定装置、映像品質推定方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2011048829A1 JPWO2011048829A1 (ja) 2013-03-07
JP5519690B2 true JP5519690B2 (ja) 2014-06-11

Family

ID=43900073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011537151A Active JP5519690B2 (ja) 2009-10-22 2010-03-25 映像品質推定装置、映像品質推定方法およびプログラム

Country Status (9)

Country Link
US (1) US9001897B2 (ja)
EP (1) EP2493205B1 (ja)
JP (1) JP5519690B2 (ja)
KR (1) KR101359722B1 (ja)
CN (1) CN102687517B (ja)
BR (1) BR112012008605B1 (ja)
CA (1) CA2776402C (ja)
ES (1) ES2537236T3 (ja)
WO (1) WO2011048829A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE039252T2 (hu) * 2010-12-10 2018-12-28 Deutsche Telekom Ag Eljárás és berendezés videojel minõségének megállapítására a videojel kódolása és átvitele folyamán
CN102651821B (zh) * 2011-02-28 2014-07-30 华为技术有限公司 一种视频质量评估方法及装置
JP5384586B2 (ja) * 2011-08-31 2014-01-08 日本電信電話株式会社 TimestampedTS(TTS)を用いた映像フレーム判別装置および方法およびプログラム、及びTTSを用いて判別した映像フレームを用いた映像品質推定装置及び方法及びプログラム
US9203708B2 (en) 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
WO2013048300A1 (en) * 2011-09-26 2013-04-04 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded video stream
CN104780369B (zh) * 2012-08-21 2018-04-17 华为技术有限公司 一种获得视频编码压缩质量的方法及装置
US9858656B2 (en) * 2013-03-13 2018-01-02 Raytheon Company Video interpretability and quality estimation
JP6061778B2 (ja) * 2013-05-17 2017-01-18 日本電信電話株式会社 映像品質評価装置、映像品質評価方法及びプログラム
US9674515B2 (en) * 2013-07-11 2017-06-06 Cisco Technology, Inc. Endpoint information for network VQM
GB2529446A (en) * 2014-07-17 2016-02-24 British Academy Of Film And Television Arts The Measurement of video quality
US20160142746A1 (en) * 2014-11-14 2016-05-19 Thales Avionics, Inc. Method of encrypting, streaming, and displaying video content using selective encryption
CN105791833B (zh) * 2014-12-17 2018-09-04 深圳Tcl数字技术有限公司 选择视频编解码硬件平台的方法及装置
US9538137B2 (en) 2015-04-09 2017-01-03 Microsoft Technology Licensing, Llc Mitigating loss in inter-operability scenarios for digital video
JP6215898B2 (ja) * 2015-11-16 2017-10-18 株式会社Pfu 映像処理装置、映像処理システム、および、映像処理方法
US10440087B2 (en) 2016-08-01 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) Estimation of losses in a video stream
US10721475B2 (en) * 2017-09-01 2020-07-21 Ittiam Systems (P) Ltd. K-nearest neighbor model-based content adaptive encoding parameters determination
CN110139167B (zh) * 2018-02-09 2022-02-25 华为技术有限公司 数据处理方法以及服务器
EP3573338A1 (en) 2018-05-25 2019-11-27 Carrier Corporation Video device and network quality evaluation/diagnostic tool
EP3706411A1 (en) * 2019-03-05 2020-09-09 Carrier Corporation Early video equipment failure detection system
CN110602555B (zh) * 2019-07-30 2021-01-01 华为技术有限公司 视频转码方法及装置
CN112954371A (zh) * 2019-12-10 2021-06-11 德科仕通信(上海)有限公司 直播内容es特征码提取方法及直播内容一致性比对方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129423A1 (ja) * 2006-05-09 2007-11-15 Nippon Telegraph And Telephone Corporation 映像品質推定装置、方法、およびプログラム
WO2009116666A1 (ja) * 2008-03-21 2009-09-24 日本電信電話株式会社 映像品質客観評価方法、映像品質客観評価装置、およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4327674B2 (ja) 2004-07-21 2009-09-09 日本電信電話株式会社 映像品質管理方法および映像品質管理システム
CA2632403C (en) * 2005-12-05 2015-05-26 British Telecommunications Public Limited Company Video quality measurement
US9544602B2 (en) * 2005-12-30 2017-01-10 Sharp Laboratories Of America, Inc. Wireless video transmission system
JP4451857B2 (ja) * 2006-05-09 2010-04-14 日本電信電話株式会社 映像品質パラメータ推定装置、方法、およびプログラム
CN101151904B (zh) 2006-05-09 2010-06-16 日本电信电话株式会社 视频品质评估设备、方法
CN101743753B (zh) * 2007-06-19 2014-05-21 万特里克斯公司 利用视频编码中的帧复杂性、缓冲水平和内部帧位置的基于缓冲的速率控制
EP2213000B1 (en) * 2007-07-16 2014-04-02 Telchemy, Incorporated Method and system for content estimation of packet video streams
US8320747B2 (en) 2007-08-22 2012-11-27 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, video quality estimation method, frame type determination method, and recording medium
JP5172440B2 (ja) * 2008-01-08 2013-03-27 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
US20100091841A1 (en) * 2008-10-07 2010-04-15 Motorola, Inc. System and method of optimized bit extraction for scalable video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129423A1 (ja) * 2006-05-09 2007-11-15 Nippon Telegraph And Telephone Corporation 映像品質推定装置、方法、およびプログラム
WO2009116666A1 (ja) * 2008-03-21 2009-09-24 日本電信電話株式会社 映像品質客観評価方法、映像品質客観評価装置、およびプログラム

Also Published As

Publication number Publication date
JPWO2011048829A1 (ja) 2013-03-07
KR101359722B1 (ko) 2014-02-05
US9001897B2 (en) 2015-04-07
EP2493205B1 (en) 2015-05-06
CN102687517B (zh) 2015-03-25
EP2493205A4 (en) 2012-12-26
WO2011048829A1 (ja) 2011-04-28
BR112012008605A2 (pt) 2016-04-05
ES2537236T3 (es) 2015-06-03
KR20120054092A (ko) 2012-05-29
US20120201310A1 (en) 2012-08-09
BR112012008605B1 (pt) 2021-09-08
EP2493205A1 (en) 2012-08-29
CN102687517A (zh) 2012-09-19
CA2776402C (en) 2016-05-24
CA2776402A1 (en) 2011-04-28

Similar Documents

Publication Publication Date Title
JP5519690B2 (ja) 映像品質推定装置、映像品質推定方法およびプログラム
Serral-Gracià et al. An overview of quality of experience measurement challenges for video applications in IP networks
JP5172440B2 (ja) 映像品質推定装置、方法およびプログラム
JP5168283B2 (ja) 映像品質監視方法及び配信サーバ及びクライアント
JP5302342B2 (ja) ビデオ符号ストリームの品質を評価する方法、装置およびシステム
US9723329B2 (en) Method and system for determining a quality value of a video stream
KR101783071B1 (ko) 비디오 신호의 인코딩 또는 압축 중에 비디오 신호의 품질을 평가하는 방법 및 장치
Adeyemi-Ejeye et al. Packet loss visibility across SD, HD, 3D, and UHD video streams
JP4787303B2 (ja) 映像品質推定装置、方法、およびプログラム
JP5335867B2 (ja) 基本GoP長を用いた映像品質推定装置及び方法及びプログラム
JP2009159462A (ja) 客観品質評価方法、客観品質評価装置およびプログラム
JP5405915B2 (ja) 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム
KR101373414B1 (ko) 무선망에서의 mpeg-2 ts 기반 h.264/avc 비디오 전송 품질 향상을 위한 패킷 기반 비디오 스트리밍 우선 전송 방법 및 시스템
Song et al. Real-time quality monitoring for networked H. 264/AVC video streaming
Reddy et al. Video packet priority assignment based on spatio-temporal perceptual importance
Menéndez et al. An approach to correlation of QoE/QoS metrics over IPTV using a Diffserv Network
Pace et al. Fast and accurate video PQoS estimation over wireless networks
Zoi et al. Extending an open media-streaming platform to support differentiated services.
JP2014229931A (ja) 映像品質評価装置、映像品質評価方法及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130730

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140401

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140403

R150 Certificate of patent or registration of utility model

Ref document number: 5519690

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150