JP5670551B2 - ビデオストリームの品質を評価する方法と装置 - Google Patents

ビデオストリームの品質を評価する方法と装置 Download PDF

Info

Publication number
JP5670551B2
JP5670551B2 JP2013506433A JP2013506433A JP5670551B2 JP 5670551 B2 JP5670551 B2 JP 5670551B2 JP 2013506433 A JP2013506433 A JP 2013506433A JP 2013506433 A JP2013506433 A JP 2013506433A JP 5670551 B2 JP5670551 B2 JP 5670551B2
Authority
JP
Japan
Prior art keywords
slice
level
parameter
video data
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013506433A
Other languages
English (en)
Other versions
JP2013527688A (ja
Inventor
リャオ，ニン
チェン，ジ・ボ
ワン，シアン・レイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2013527688A publication Critical patent/JP2013527688A/ja
Application granted granted Critical
Publication of JP5670551B2 publication Critical patent/JP5670551B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ビデオストリームの品質を評価する方法と装置に関する。また、本発明は、ビデオストリームの品質評価を可能にする方法と装置に関する。
インターネットプロトコル（ＩＰ）ネットワークの発展にともない、有線または無線のＩＰネットワークを介したビデオ通信（例えば、ＩＰＴＶサービス）がよく使われるようになった。従来のケーブルネットワークを介したビデオ伝送とは異なり、ＩＰネットワークを介したビデオ配信は信頼性が高くない。この状況は、無線ネットワーク環境ではより悪くなる。それに応じて、ビデオ品質モデリング（ＶＱＭ）に対し、ＩＰ伝送におけるパケットロスや遅延ジッタなどの機能障害（ビデオ圧縮により生じるものを除く）により生じる品質劣化を測ることが最近要求されている。最近の研究では、オーディオ／ビデオ・クオリティ・オブ・エクスペリエンス（ＱｏＥ）（非特許文献１参照）を推定する、メディアレイヤ又はパケットレイヤにおける客観的なビデオ品質アセスメントモデルが取り上げられている。通常、品質は、平均オピニオン評点（ＭＯＳ）値として表される。メディアレイヤモデルは、スピーチ波形やビデオピクセルデータなどのメディア信号を用いる。パケットレイヤモデルは、パケットヘッダ情報のみを用い、ユーザエクスペリエンスを保証する自動ネットワーク診断に役立つ。パケットレイヤモデルは、メディアレイヤモデルと比較して軽量モデルであり、リアルタイムのモニタリングに適しており、（ＳＴＢなどの）顧客装置での展開が容易である。現在知られている客観的パケットレイヤモデルは、パケット情報を、パケット喪失率、ＲＴＰヘッダのタイムスタンプ、及びパケットサイズなどの入力パラメータとして用いる。これらの入力パラメータはビデオコンテンツには依存しない。しかし、ビデオコンテンツの異なる部分が喪失すると、異なる知覚的劣化を喚起する。これは、既存のパケットレイヤＶＱＭの欠点であり、推定精度とロバストネス（robustness）の観点からその性能に影響を及ぼす。
既存モデルの別の問題は、エラー隠蔽（ＥＣ）の効果が完全には考慮されていないことである。表示品位に対する喪失したパケットのインパクトは、エンコーダ構成とともに、デコーダで用いられるエラー隠蔽方法に大きく依存する。既知のＶＱＭモデル（非特許文献２参照）は、用いるパケット喪失隠蔽スキームに応じて、２つのモデル係数を用いるが、２つのモデル係数ｂ０とｂ１は、スキームごとに固定されている。同様のモデルが、デコーダで用いられるＥＣスキームに対して固定されたＥＣ重みを用いる。ＥＣ重みの値は経験的に設定される。しかし、各デコーダに対して固定のＥＣ重みを設定することは、ＥＣの実際の効果を近似することとはまったく異なることだということが分かっている。
さらに、パケット基盤のネットワークでは、ビデオフレームの符号化ビットは、基盤ネットワークの最大転送単位（ＭＴＵ）サイズに応じて、ＲＴＰパケットなどの複数のパケットにカプセル化される。Ｈ．２６４エンコーダの場合、ビデオフレームは複数のスライスにエンコードされる。ＭＴＵサイズに応じて、転送のため、スライスのデータが複数のＲＴＰパケットにカプセル化され、または複数のスライスがＲＴＰパケットにカプセル化され、または１つのスライスがパケットごとに用いられる。このように、パケット喪失とＭＯＳの統計的特徴間の関係は安定していない。それゆえ、既存モデルは、パケット喪失とＭＯＳの統計的特徴のみを考慮するとの限界のため、安定的な性能を発揮できない。
Akira Takahashi: Framework and Standardization of Quality ofExperience (QoE) Design and Management for Audiovisual Communication Services,NTT Technical Review ４/２００９,www.ntt-review. jp/archive/２００９/２００９０４. html A. Raake, M.-N. Garcia, S. Moller J. Berger, F. Kling, P. List, J.Johann, C. Heidemann, T-V-MODEL: PARAMETER-BASED PREDICTION OF IPTV QUALITY,ICASSP ２００８ Nitin Suresh, Mean Time Between Visible Artefacts in VisualCommunications, PHD thesis, Georgia Inst, of Tech., August ２００７ W.Lin et al., "Visual Distortion Gauge Based on Discriminationof Noticeable Contrast Changes", IEEE Transactions On Circuit and Systemfor Video Tech., Vol.１５, No.７,Jul.２００５
デコーダにおいてスライスが異なれば違うＥＣ法が適用されるので、各デコーダに対して固定ＥＣ重みを設定するだけでは十分ではないことが分かった。それに加え、現実のアプリケーションでは、Ｈ．２６４符号化されたビデオフレームは複数のスライスにエンコードされ、喪失したスライスが異なれば、デコーダにおいてＥＣ後に程度がまったく異なる可視アーティファクトが生じる。よって、デコーダレベルで違うＥＣ重みを適用するアプローチがさらに改良されている。
本発明は、少なくとも上記の問題に対するソリューションを改良するものである。
ビデオデータのフレームのストリームの品質評価を可能にする方法を開示する。ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。本方法は、前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、前記一連のパケットから一組のパラメータを生成するステップであって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適であるステップと、前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入するステップとを有する。ビデオデータは少なくとも１つのスライスレベルを有し、生成された一組のパラメータはビデオのスライスレベルを個別に参照する少なくとも１つのパラメータを有する。
さらに、ビデオデータのフレームのストリームの品質を評価をする方法を開示する。ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。本方法は、前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、前記一連のパケットから一組のパラメータを抽出するステップと、前記一組のパラメータに基づき推定平均オピニオン評点を生成するステップとをする。ビデオデータは少なくとも１つのスライスレベルを有し、抽出された一組のパラメータはビデオのスライスレベルを個別に参照する少なくとも１つのパラメータを有する。
品質評価を可能にする方法を実施するのに適した装置が請求項１４に開示され、評価方法を実施するのに適した装置が請求項１５に開示されている。
さらに、本発明の一実施形態は、ビデオ品質推定装置のためのコンピュータ実行可能プログラムであって、前記装置のコンピュータに、前記品質評価を可能にする方法、及び／又は前記ストリームの品質を評価する方法を実行させるプログラムである。他の一実施形態は、前記コンピュータ実行可能プログラムに記録されたコンピュータ読み取り可能記録媒体である。
本発明の有利な実施形態は、従属項、以下の詳細な説明、及び図面に開示した。
添付した図面を参照して、本発明の実施形態例を説明する。
従来のパケットレイヤモデルの構成を示す図である。 本発明を示すブロック図である。 ビデオ品質評価を可能にする方法を示すフローチャートである。 ビデオ品質を評価する方法を示すフローチャートである。 ビデオ品質評価を可能にする装置を示すブロック図である。 ビデオ品質を評価する装置を示すブロック図である。
従来、図１に示したように、ビデオ品質評価モデルの入力は、パケットストリーム１４のパケットヘッダ情報と、エンコーダ構成情報１３とである。パケット情報分析１１の後、パケット喪失率ＰＬＲとバースト喪失頻度ＢＬＦなどの分析データは、マッピング１２に送られ、客観的ビデオ品質値１５になる。これは推定ビデオ品質評点（すなわち、平均オピニオン評点ＭＯＳ）である。エンコーダ構成情報１３は、仮定に、すなわちコーデックタイプ、グループ・オブ・ピクチャ構造、ビデオフォーマット（これらは転送パケットヘッダから得られる）、及び画素データなどのビデオ・コンテンツ・フィーチャに基づく。
上記の、既存のパケットレイヤＶＱＭモデルの問題に関して、本発明は、パケットレイヤＶＱＭモデルの正確性とロバストネスを改善でき、同時に低い計算の複雑性を維持できる。これはリアルタイムのビデオ品質モニタリングにとって有利である。
本発明を以下の実施形態に基づき例示して説明する。まず、各ビデオスライス、及び各グループ・オブ・ピクチャ（ＧＯＰ）または各シーングループもしくはスライスグループに対して、サイド情報シンタックスを定義する。「シーングループ」と「スライスグループ」との用語を以下に解釈する。第２に、図２に示したように、定義したサイド情報を、新規なパケットレイヤビデオ品質評価モデルの入力として用いる。結果として、定義されたサイド情報は、推定の正確性とロバストネスの観点でモデル性能の改善に寄与する。例えば、サイド情報を用いて、パケットレイヤＶＱＭにおけるＥＣ重み値とエラー伝搬（ＥＰ）重み値の設定をガイドする。これにより、上記の欠点が解消される。他方、サイド情報のオーバーヘッドはできるだけ小さくする。説明されるサイド情報を用いることにより、２・３レベルを伝送するだけでも、品質推定の正確性の重要な改善ができる。
上記の通り、入力に応じて、客観的ビデオ品質モデリングには大きく３つのカテゴリー、すなわちパケットレイヤモデル、ビットストリームレベルモデル、及びメディアレイヤモデルがある。メディアレイヤモデルは画素領域で機能する。パラメトリックパケットレイヤモデルは、パケットヘッダ情報、（帯域幅、パケット喪失率、遅延などの）ネットワークパラメータ、及びエンコーダ構成情報に基づく。ビットストリームレベルモデルは、半復号（half-decoded）ビデオビットストリーム情報とパケットヘッダ情報に基づくハイブリッドモデルである。例えばＩＴＵ標準ＩＴＵ−Ｔ Ｒｅｃ．Ｊ．２４６に対して、リデュースト・リファレンス（reduced-reference）メディアレイヤモデルが提案されている。しかし、パケットレイヤモデルに対しては、まだリデュースト・リファレンスモデルは存在しない。
本発明のスキームでは、コード化ビットストリーム中の各スライスに対して設定されたサイド情報、または各グループに対して設定されたサイド情報も入力として用いられる。モデルの出力はＭＯＳの値である。
本発明の（１パケットにカプセル化された）各ビデオスライスに対するサイド情報シンタックスと、各ビデオパケットの優先レベルとの違いについて触れておく。後者は、輻輳したネットワークが、エンドユーザにできるだけよいビデオ品質を提供するため、パケットをより合理的に（more smartly）破棄できるように、符号化フレームタイプ（例えば、ＩＤＲ／Ｉ／Ｐ／Ｂフレーム）の違いに応じてパケットの重要性を差別化する従来の方法である。提案されたサイド情報のタイプはフレームタイプとは異なり、情報はデコーダのＥＣ効果、ビジュアルな重要性（すなわち、関心領域ＲＯＩ）、ビデオスライスのエラー伝搬（ＥＰ）減衰率を反映する。この情報は、パケットレイヤＶＱＭの性能を大幅に改善でき、生じる伝送オーバーヘッドが非常に小さいので、パケットレイヤモデルの軽量性も維持できる。
図２は、本発明を示す機能ブロック図である。パケット情報分析ブロック２１は、ＲＴＰ／ＵＤＰヘッダ情報２５を用いて、各フレームのパラメータセットを求める。例えば、Ｈ．２６４／ＡＶＣエンコーダの場合、フレーム（例えば、インデックスｉを有するフレーム）ごとのパラメータセット２８は、全スライス数Ｎｉ，ｔｏｔａｌ、喪失スライス数Ｎｉ，ｌｏｓｔ、及びビデオフレーム中の喪失スライスのインデックスを含む。「パケット」情報ではなく、「スライス」情報の統計を用いることが重要である。フレームは、エンコーダ構成に応じて、１つ又は複数のスライスにエンコードされる。例えば、フレーム中の１つのマクロブロック（ＭＢ）行がスライスであってもよい。スライスは、サイズがＭＴＵサイズより大きくならないように設定される。スライスは独立復号単位である。現実の世界のビデオ伝送では、基盤ネットワークのＭＴＵサイズに応じて、スライスのデータは１つ又は複数のＲＴＰパケットにカプセル化される。他方、（ＲＦＣ３９８４に詳細に説明されているように）フレームの複数のスライスをアセンブルして、１つのＲＴＰパケットにすることも可能である。スライスのパケットが喪失すると、そのスライスが正しく復号できず、失われたものとみなされる。また、パケット喪失が検出される場合もあり、これはフレームの複数のスライスの喪失に対応する。ＲＦＣ３９８４に基づきＮＡＬＵヘッダを分析することにより、フレームごとのスライスが正しく受信されたか調べることができる。最後に、異なるフレームを識別するため、ＲＴＰパケットヘッダ中のタイムスタンプを用いる。
可視アーティファクト検出ブロック２２において、説明したスライスごとのサイド情報セット２７と、計算されたフレームごとのパラメータセット２８と、エンコーダ構成情報２９とを用いて、各フレームに対して「可視アーティファクトレベル」（ＬｏＶＡ）を計算する。ｉ番目のフレームに対して、ＬｏＶＡは式（１）により推定される。
Figure 0005670551
 提案されたサイド情報のトリプレット（triplet）は、｛ＥＣ重みレベル、ＲＯＩ重みレベル、及びＥＰ減衰レベル｝である。以下に説明するように、これらを用いて、式（１）中の３つの重み計数の設定をガイドする。
平均ＬｏＶＡ（ＭＬｏＶＡ）計算ブロック２３において、所与の時間、例えばｔ秒のシーケンスに対して、平均ＬｏＶＡ（すなわち、アベレージＬｏＶＡ）を計算する。以前の研究（非特許文献３参照）で知られているように、可視アーティファクト間の平均時間の単純なメトリック（metric）は、MOSと０．９４の平均的相関を有する。それゆえ、ここでは、時間的プーリング法として、単純な平均法を用いる。すなわち、
Figure 0005670551
 ここで、Mはｔ秒中のフレームの総数であり、ｆｒはビデオシーケンスの１秒あたりのフレームレートである。
マッピングブロック２４において、ＭＬｏＶＡは、例えば、最小二乗曲線当てはめ法などの曲線当てはめ法にを用いてトレーニングされた関数により、客観的ＭＯＳ値にマッピングされる。
式（１）において、失われたスライスに、そのフレーム内でのロケーションに応じて、異なる重み
＜外１＞
Figure 0005670551
を割り当てる。重みはＲＯＩレベルのサイド情報を考慮して設定できる。スライスには２つのＲＯＩレベルがあり、「１」（スライスがＲＯＩを含む）または「０」（スライスがＲＯＩを含まない）のタグが付されている。それに応じて、視覚的な影響を差別化するために、スライスがＲＯＩを含んでいれば、重み
＜外２＞
Figure 0005670551
を大きい値に設定し、含んでいなければ小さい値に設定する。実験では、ROI_levelが「１」の時、例えば
＜外３＞
Figure 0005670551
を２倍にすると都合がよいことが分かっている。
式（１）において、
＜外４＞
Figure 0005670551
は、失われたスライスの違いによるＥＣ効果の違いを反映するＥＣ重みである。失われたスライスのＥＣ効果が、デコーダにおいて利用されるＥＣ法とエンコーダにおいて利用されるスライス化モードだけでなく、空間的複雑性尺度ＳＩｉ，ｊと時間的複雑性尺度ＴＩｉ，ｊなどのスライスのビデオコンテンツフィーチャにも依存する。値
＜外５＞
Figure 0005670551
はＥＣレベルのサイド情報を考慮して設定される。すなわち、この値は、スライスの違いによるＥＣ効果の違いと、利用されるＥＣ法を反映して、小さな又は大きな値に設定される。我々の実験では、中間予測スライスの場合、例えば、EC_levelが０、１および２の場合、それに対応して
＜外６＞
Figure 0005670551
をそれぞれ０．０１、０．３および０．６に設定する。中間コード化スライスの場合、EC_levelが０または１のとき、それに対応して
＜外７＞
Figure 0005670551
を０．０１または２に設定する。
式（１）において、
＜外８＞
Figure 0005670551
は、伝搬エラーの減衰の程度を反映する。これは、フレーム中のイントラ符号化されたＭＢの割合と、予測残差情報の両に関する。
＜外９＞
Figure 0005670551
の値は、フレーム中のスライスのEP_levelを考慮して設定できる。スライス中のＭＢ総数に対するイントラＭＢの割合（ＩＲＲｉ，ｊで示す）は、EP_level値から求められる。我々の実施形態では、
＜外１０＞
Figure 0005670551
である。すなわち、
＜外１１＞
Figure 0005670551
は、エラーを伝搬しないようにするイントラＭＢの役割を反映して設定できる。
式（１）において、
＜外１２＞
Figure 0005670551
は、基準フレームから伝搬する可視アーティファクトの量を示す。この値は、エンコーダ構成情報に、すなわち基準フレーム数に大きく依存する。実験では、基準フレーム数は２であり、予測（Ｐ−）及び双方向予測（Ｂ−）フレームタイプが使われる。
＜外１３＞
Figure 0005670551
は
Figure 0005670551
 として計算できる。ここで、Ｅ１，ｊとＥ２，ｊは、２つの先行基準スライスのアーティファクト値を記憶したものである。ａとｂは異なる基準フレームから伝搬されたエラーの重みであり、ａ＋ｂ＝１であり、ａ，ｂ∈（０，１）である。実験では、ａとｂは、Ｐ−プレーンに対してａ＝０．９，ｂ＝０．１と設定し、Ｂ−プレーンに対してａ＝ｂ＝０．５と設定した。
以下、サイド情報伝送のためのシンタックス例を説明する。
表１に示すように、サイド情報シンタックスのセットを、エンコーディングスライスレベルで定義する。フレームはＨ．２６４／ＡＶＣの１つ又は複数のスライスにエンコードされる。エンコーディングスライスは、フレームのその他のスライスとは独立の復号単位である。フレームがエンコードされ複数のスライスになったとき、１つのスライスは例えばＭＢの１行を含む。
本発明では、サイド情報セットは、各ビデオスライスに対して、｛EC_level，ＲＯＩレベル，ＥＰ減衰レベル｝を示す。提案のサイド情報セットは、例えば、フレームのスライスに可変数のＭＢが含まれている場合、さらにパラメータsize_in_MBを含む。これは、例えば、Ｈ．２６４／ＡＶＣエンコーダが「スライスごとのバイト数が固定されている」スライスモードに設定されているときに生じる。
Figure 0005670551
 表１：スライスレベルのパラメータ例
EC_levelは「エラー隠蔽レベル」の値である。このパラメータは、スライスの動き及び／又はテクスチャの複雑さと、用いるＥＣ法とを反映する。カレントスライスが喪失した時にＥＣ効果を測定する役に立つ。通常、レベルは（２ビットに対応する）２つ又は３つで十分である。ROI_levelは「関心領域レベル」の値である。カレントスライスのコンテンツが、例えば目と口などの知覚的な関心領域であるかを反映する。これは１ビットで符号化できる。
EP_attenuation_levelは「エラー伝搬減衰レベル」の値である。このパラメータは、カレントスライス又はカレントフレームへ伝搬したエラーの減衰速度を反映している。エンコーダ構成（例えば、H.２６４におけるイントラリフレッシュレート）とビデオコンテンツ自体（例えば、予測符号化後の残差情報量）に関係している。このパラメータは、エンコーディングスライスごと、又はフレームごとに計算できる。通常は（１６レベルに対応する）４ビットで十分である。
size_in_Bは、カレントスライス中のMBの数である。このパラメータは、可変数のMBがフレームのスライスに含まれる場合には有用である。そのサイズはフレームサイズに依存し、通常は８ビットで十分である。
予備帯域幅が限定されている場合、スライスレベルパラメータは選択的に送信される。実験によって、EC_levelが最も大幅な性能の改善に資することが分かった。第２の重要な情報はROI_levelであり、第３はEP_level情報である。最後はsize_in_MBである。これは可変数のMBがフレームの複数のスライスに含まれる場合にのみ有用である。一実施形態では、スライスレベルのEC_levelパラメータのみが使われる。さらに、以下に示すように、このパラメータは、（必ずしもその必要はないが、）例えば、スライスの予測タイプ（イントラ又はインター）や用いる隠蔽タイプなどの基準に従って、スライスに応じて、異なる式により計算してもよい。
概して、隠蔽方法には、画素補間基盤法と動き推定基盤法の２つのタイプまたはカテゴリーがある。この２タイプの可視アーティファクトは異なる。したがって、２つの隠蔽タイプのEC効果を区別すると都合がよい。利用される隠蔽タイプは、例えば、JVT JMデコーダにおける予測タイプにも依存してもよい。
JVT JM非リアルタイムデコーダを除き、広く使われているリアルタイムデコーダはｆｆｍｐｅｇデコーダである。現在のバージョンでは、ｆｆｍｐｅｇデコーダは、失われたスライスをＪＶＴデコーダより非常によく回復できることが分かった。一実施形態では、このデコーダは、スライス失われたフレームがintra-more-likelyか否か、最初に判断する。そのフレームがintra-more-likelyであれば、次に、画素補間基盤方法が用いられる。そうでなければ、動き推定基盤方法が用いられる。intra-more-likelyフレームを判断する基準として考えられるものは、以下の通りである：
（１）基準としての先行フレームが無い場合、カレントフレームがintra-more-likelyフレームである；
（２）フレームがＩフレームであれば、カレントフレームの正しく受信されたＭＢに基づき、カレントフレームと直前のフレームとの間の絶対差分を計算する。絶対差分が大きければ、フレームは先行フレームと異なる可能性が高いので、イントラ画素補間基盤方法を用いる可能性が高くなる。一実施例では、フレームに対して変数is_intra_likeを定義し、それを絶対差分の値だけ増加させる。そうでなければ、すなわち、絶対差分が小さい場合、先行フレーム中の垂直に隣接したＭＢ間の絶対差分を計算する。差分が大きければ、先行フレームはリッチなテクスチャ（rich texture）を有する可能性がより高い。このカレントフレームの特徴は、カレントフレームと先行フレームとで同様であると仮定できるので、カレントフレームはリッチなテクスチャを有する可能性がより高い。この場合、カレントフレームを画素補間基盤方法で隠蔽すべきではない。画素補間基盤方法は滑らかな領域に適しているからである。この場合、変数is_intra_likeを絶対差分の値だけ減少させる。この手順はフレームのすべてのＭＢに対して繰り返される。最後に、is_intra_likeがゼロより大きい場合、フレームはintra-more-likelyであると判断され、画素補間基盤方法が用いられる。そうでなければ、動き推定基盤方法が用いられる。
（３）フレームがインター予測されたもの（すなわち、Ｐフレーム又はＢフレーム）である場合、正しく受信されたカレントフレームのＭＢに基づき、変数is_intra_likeを計算する。ＭＢがイントラ符号化されたものである場合、is_intra_likeをインクリメントし、ＭＢがインター符号化されたものである場合、is_intra_likeをデクリメントする。最終的にis_intra_likeがゼロより大きければ、フレームはintra-more-likelyであり、画素補間基盤方法が用いられる。言い換えると、イントラ符号化ＭＢの数がインター符号化ＭＢの数よりも大きければ、そのフレームはintra-more-likelyであると判断され、画素補間基盤方法を用いる。そうでなければ、動き推定基盤方法が用いられる。
他の一実施形態では、スライスレベルのROI_levelパラメータのみが使われる。
また、エンコーディングＧＯＰ又はシーングループレベルにおいて、第２のサイド情報シンタックスのセットを定義できる。シーングループは、隣接する２つのシーン変化間のグループ・オブ・ピクチャである。エンコーディングＧＯＰ構造は、シーングループとアライメント（aligned）されてもされなくてもよい。一般的に、シーングループ中のビデオコンテンツは、隣接するシーングループのビデオコンテンツとは非常に異なる特徴を有するが、グループ内では似た特徴を有する。フレームが複数のスライスにエンコードされている場合、例えば、１スライスがＭＢの１行を含む場合、グループ中のフレームの同じロケーションにあるスライスを、以後、スライスグループと呼ぶ。
一実施形態では、サイド情報セットも、各エンコーディングＧＯＰ又はシーングループの｛時間的複雑性レベル、空間的複雑性レベル｝を含む。提案のサイド情報セットは、フレームに複数のスライスがある場合、例えば、スライスごとに１ＭＢ行の場合、追加的に、ＲＯＩレベルパラメータgroup_ROI_Levelを含んでも良い。group_ROI_levelは各スライスグループに対して計算される。
Figure 0005670551
 表２：ＧＯＰレベル又はシーングループレベルのパラメータセット
temporal_complexity_levelは、ＧＯＰ／シーングループ又はスライスグループのコンテンツの全体的な動きのレベルを反映する。通常は４レベルで十分である。
spatial_complexity_levelは、ＧＯＰ／シーングループ又はスライスグループのコンテンツの全体的なテクスチャの複雑性のレベルを反映する。通常は４レベルで十分である。
group_ROI_levelは、スライスグループの「ＲＯＩレベル」の値である。このパラメータは、フレーム中に複数のスライスがある場合、例えばスライスごとに１つのＭＢ行の場合のみに計算される。group_ROI_levelはＧＯＰ又はシーングループの各スライスグループに対して計算される。
上記のサイド情報パラメータの計算は以下に説明する。
EC_level計算
エンコーディングスライスに対して、異なるＥＣ法により「EC_level」を計算できる。例えば、Ｈ．２６４基準デコーダ（ＪＶＴデコーダ又はＪＶＴ ＪＭモデルとも呼ばれる）では、インター予測したスライスとイントラ予測したスライスに対して、異なるＥＣ法を適用する。そのため、一実施形態では、２つのスライスタイプに対して、異なる計算方法を用いる。ＪＶＴデコーダでは、イントラ画素補間法を用いて、失われた「イントラ予測された」スライスのＭＢを隠蔽する；失われた「インター予測」スライスのＭＢには、時間領域動きベクトル推定基盤エラー隠蔽法を用いる。もう少し高度なデコーダでは、スライスタイプによってではなく、スライスのその他の特徴によって、２カテゴリーのＥＣ法が選択される。以下に例を挙げる。その他の、同様の計算方法を用いることもできる。
例えば、ＪＶＴデコーダにおいて、各インター予測スライスに対して、スライスを復号して、４×４サブブロックのＭＶを平均することにより、各ＭＢの平均動きベクトル（ＭＶ）を計算する。ＭＢがイントラ予測モードでエンコードされている場合、そのＭＶを最大動きサーチレンジのあたいｎい設定する。サブピクセルの精度ではなく、画素単位のＭＶを求める。これは、ＭＢのＭＶを求める方法としては複雑性が低い。代替的に、各ＭＢのＭＶは、既存の他の動きサーチ方法を用いて計算できる。第ｉ番目のＭＢをＭＶｉと記す。スライス中のＭＶｉを降順にソートすると：
＜外１４＞
Figure 0005670551
となる。ここで、Ｎはスライス中のＭＢの総数である。スライスの時間的複雑性は、
Figure 0005670551
 として、トップＭ個のＭＶを平均することにより計算する。
我々の実験では、Ｍ＝３またはＭ＝Ｎ／３である。スライスのEC_levelは
Figure 0005670551
 として計算する。
インター予測スライスのEC_level計算の論理的根拠は、ＥＣ効果は壊れたスライスの時間的複雑性により大きく異なるということである。静的なスライスの場合、感知できるアーティファクト無しで回復できる。しかし、動きが大きいスライスの場合、エラー隠蔽をするのは困難であり、通常は大きなエッジ歪みがあり、知覚的に非常に見にくくなる。
各イントラ予測スライスについて、それが失われ、隣接スライスが正しく受信されたものと仮定する。ＪＶＴデコーダにおいて使われる画素領域補間ＥＣ法を用いて、スライスコンテンツを再構成する。知覚的歪みは
Figure 0005670551
Figure 0005670551
 として計算する。
ここで、
＜外１５＞
Figure 0005670551
＜外１６＞
Figure 0005670551
は（ｊ，ｋ）としてインデックスされたエラー隠蔽されたＭＢの輝度成分であり、Ｍはスライス中のＭＢの総数であり、ＮはＭＢ中の画素の総数であり、
＜外１７＞
Figure 0005670551
はＭＢの可視性閾値（「丁度可知差異」）である。これは既知の方法を用いて計算できる（非特許文献４参照）。可視閾値は空間的コントラスト感度と輝度アダプテーションなどの効果により影響される。
ある実験において、我々は、輝度マスキング効果のみを考慮し、経験的式（非特許文献４参照）を少し修正して計算した：
Figure 0005670551
 ここで、Ｌｊ，ｋは（ｊ，ｋ）としてインデックスされたＭＢの背景輝度である。これは、復号したＭＢの画素の輝度値を平均することにより計算する。パラメータｆ、ｇ、ｈはｆ＝２２、ｇ＝２０、ｈ＝１０とした。スライスのＥＣレベルは
Figure 0005670551
 として計算できる。ここで、Ｔｈｒｄは定数であり、ゼロに近い小さい値、例えば０．０５に設定される。
イントラ符号化スライスのＥＣレベル計算の理論的根拠は、画素補間法でエラー隠蔽されたスライスの品質劣化は、特定の状況（例えば、非常に暗い又は明るい領域、又は一様なテクスチャ、又はテクスチャがリッチな領域）では知覚されないことである。インター符号化スライスのＥＣレベルは同様に計算できる。しかし、上記の方法は計算的に効率的かつ効果的である。
ROI_level計算
パラメータROI_levelは２つの値を取れる。「０」はスライスがＲＯＩでないことを示し、「１」はスライスがＲＯＩであることを示す。ＲＯＩを画定する方法は既知である。例えば、スライスが目及び／又は口などのattention-sensitive関心領域を含む場合、スライスのROI_levelは「１」である。そうでなければ、スライスのROI_levelは「０」である。ここでは既存の任意の（顕著性マッピングとしても知られている）ＲＯＩセグメンテーション方法を用いることができる。他の一実施形態では、エンコーダが「前景と背景」のＦＭＯスライスモードを用いるように構成され、前景がＲＯＩであり背景がそうでない場合、前景スライスはROI_levelが「１」であり、背景スライスはROI_levelが「０」である。
EP_level計算
例示として、エラー伝搬減衰（ＥＰ）レベルを次のように計算する。イントラ符号化スライスの場合、各スライスのＥＰレベルは「０」に設定される。すべてのＭＢはイントラ符号化されており、先行フレームから伝搬したエラーは無いからである。インター符号化スライスの場合、それを復号してイントラ符号化ＭＢの数を求め、スライスの全ＭＢに対するイントラＭＢの割合を計算し、これをＩＲＲと記す。各スライスのＥＰレベルはＩＲＲの値に応じて設定される。例えば、ＩＲＲを表すのに４ビット使われる場合、
＜外１８＞
Figure 0005670551
の１６レベルがある。スライスのＩＲＲレベルは、そのＩＲＲ値対応するＩＲＲレベルに丸めることにより決定される。フレームのＥＰレベルは同様の方法で決定できる。以下、グループレベルの上記サイド情報パラメータの計算を説明する。
グループTemporal_Complexity_Level計算
ＧＯＰ又はシーングループ又はスライスグループ（以下、集合的にグループと呼ぶ）について、時間的複雑性レベルは、グループの「ゼロＭＶ」比、グループの「平均（average mean）ＭＶサイズ」、及び／又はグループ中の「動きの一様性」から計算される。各ＭＢのＭＶは、スライスレベルに関して上で説明したのと同じ方法で求める。平均ゼロＭＶ比は、Ｚで示すが、グループ中の全ＭＶに対するゼロＭＶの数の比として計算される：
Figure 0005670551
 平均（average mean）ＭＶサイズは、Ｖで示すが、グループの１スライス／フレーム内の非ゼロＭＶの平均サイズの平均として計算される。閾値法を用いて、時間的複雑性を、例えば３つのレベル、すなわち静的（レベル０）、非常に大きな動き（レベル２）、その他／中くらい（レベル１）に分類する。
グループSpatial_Complexity_Level計算
ＧＯＰ又はシーングループの場合、空間的複雑性レベルは、最初に、グループの各フレーム／スライスにエッジ検出演算子（例えば、Ｓｏｂｅｌ演算子）を作用させることにより計算される。次に、エッジの強さを処理して、例えば、テクスチャが滑らかな領域（レベル０）又はテクスチャがリッチな領域（レベル２）などの、２ないし３レベルに分類する。さらに、第３のレベルはその他／中くらい（レベル１）であってもよい。
Group_ROI_level
Group_ROI_levelパラメータは、（上で定義した）スライスグループにのみ用いる。カレントスライスグループが目や口などのattention-sensitive領域を含む場合、ROI_levelは「１」であり、そうでなければ「０」である。
留意点として、上で説明した各パラメータは、別々に使っても、任意に組み合わせて使ってもよい。一般的にスライスレベルパラメータはグループ／ＧＯＰレベルパラメータより強い効果を有することが分かっているが、これは実施形態のアプリケーションに関連する状況に依存する。
説明した例によると、多くの有利な実施形態を作ることができる。以下の実施形態は組み合わせてもよい。特に、方法関係の実施形態は装置関係の実施形態にも展開できる。
図３は、ビデオ品質評価を可能にする方法３０を示すフローチャートである。ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。この方法は、ビデオデータのフレームのストリームに関連する一連のパケット３４を受け取るステップ３１と、前記一連のパケットから一組のパラメータを生成するステップ３２と、前記生成した一組のパラメータをサイド情報として前記フレームのストリームに挿入するステップ３３とを有する。ビデオデータは少なくとも１つのスライスレベルを有し、生成された一組のパラメータは前記ビデオのスライスレベルを個別に参照する（すなわち、他のスライスを参照するのではない）少なくとも１つのパラメータを有する。前記一組のパラメータは、ビデオデータのフレームのストリームの推定平均オピニオン評点（ＭＯＳ）を生成するのに適している。
図４は、ビデオ品質を評価する方法４０を示すフローチャートである。ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。このビデオデータのフレームのストリームの品質を評価する方法は、ビデオデータのフレームのストリームに関連する一連のパケット４４を受け取るステップ４１と、前記一連のパケットから一組のパラメータを抽出するステップ４２と、前記一組のパラメータに基づき推定平均オピニオン評点４５を生成するステップ４３とを有する。ビデオデータは少なくとも１つのスライスレベルを有し、抽出された一組のパラメータは前記ビデオのスライスレベルを個別に参照する（すなわち、他のスライスを参照するのではない）少なくとも１つのパラメータを有する。
すべての実施形態において、フレームが２つ以上のスライス（スライスレベルとして示す）を有する場合、前記一組のパラメータはビデオのあるスライス又はスライスレベルを個別に参照する（他のスライス／スライスレベルを参照するのではない）少なくとも１つのパラメータを有する。
一実施形態では、前記一組のパラメータは、さらに、ビデオのＧＯＰレベルまたはシーングループを個別に参照する少なくとも１つのパラメータを有する。
一実施形態では、第１のパラメータ（EC_level）は、スライスのエラー隠蔽レベルを示す。一実施形態では、第１のパラメータはスライスの動き及び／又はテクスチャの複雑性を反映し、パラメータが生成される場合には、第１のパラメータを生成するステップは、スライスがイントラ予測されたものである場合、第１のパラメータを生成する第１の計算方法３７ａ（図３参照）を用い、スライスがインター予測されたものである場合、第１のパラメータを生成する（第１の計算方法とは異なる）第２の計算方法３７ｂを用いる。さらに、ＥＣタイプを選択するために、区別又は選択するステップ３６が実行される。例えば、ＪＶＴ ＪＭデコーダのためにインター予測されたスライスからイントラ予測されたスライスを区別するステップが実行される。もっと高度なデコーダでは、スライスタイプによってではなく、スライスのその他の特徴によって、２カテゴリーのＥＣ法が選択される（３６）。EC_levelの計算は、失われたスライスのコンテンツにより生じるＥＣ効果と、失われたスライスを隠蔽するのに適用された異なるＥＣ法とを区別することを目的としている。上記の通り、第１の実施形態では、スライスがインターＭＢより多くのイントラＭＢを有する場合は第１の計算方法３７ａを用い、そうでなければ第２の計算方法３７ｂを用いる。
一実施形態では、第２のパラメータ（ROI_level）はスライスが関心領域（ＲＯＩ）を含むか示す。
一実施形態では、第３のパラメータ（EP_attenuation_level）は、スライスのエラー伝搬減衰レベルを示す。パラメータを生成する一実施形態では、前記生成された一組のパラメータのうちの前記第３のパラメータを生成するステップは、インター符号化されたスライスの場合、前記スライス中のイントラ符号化されたマクロブロックとマクロブロックの総数との比を計算するステップを有し、イントラ符号化されたスライスの場合、前記第３のパラメータはゼロに設定される。
一実施形態では、第４のパラメータ（size_in_MBs）は、スライス中のマクロブロック数を示す。
一実施形態では、第５のパラメータ（temporal_complexity_level）は、ＧＯＰまたはシーングループの時間的複雑性レベルを示す。図３に示した一実施形態では、パラメータを生成する場合、生成された一組のパラメータのうちの第５のパラメータを生成するステップは、ＧＯＰまたはシーングループのゼロ動きベクトルの比を決定するサブステップ３８ａと、ＧＯＰまたはシーングループを少なくとも３つの動きレベルの１つに分類するサブステップ３８ｂであって、前記動きレベルは少なくとも静的レベル、中くらいの動きレベル、及び批評に大きい動きレベルを有するサブステップ３８ｂと、前記ＧＯＰまたはシーングループの前記第５のパラメータを、それが分類された動きレベルに応じて生成するサブステップ３８ｃとを有する。
一実施形態において、第６のパラメータ（spatial_complexity_level）がＧＯＰまたはシーングループの空間的複雑性を示し、前記ＧＯＰまたはシーングループの各スライスまたはフレームにおいてエッジ検出が使われ、エッジ量に応じて前記ＧＯＰまたはシーングループが少なくとも２つの空間的複雑性レベルのうちの１つに分類され、前記レベルは滑らかなテクスチャとリッチなテクスチャとに対応する。
一実施形態において、第７のパラメータ（group_ROI_level）がＧＯＰまたはシーングループにおけるスライスグループのグループＲＯＩレベルを示し、前記ＧＯＰまたはシーングループ中の対応するスライスが関心領域（ＲＯＩ）を含むか否かを示す。
一実施形態において、図５に示すように、ビデオデータのフレームのストリームの品質評価を可能にする装置５０であって、前記ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表され、上記装置５０は、前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段５１と、前記一連のパケットから一組のパラメータを生成する計算手段５２であって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適である計算手段５２と、前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入する手段５３とを有する。ビデオデータは少なくとも１つのスライスレベルを有し、生成された一組のパラメータはビデオのスライスレベルを参照する少なくとも１つのパラメータを有する。受け取る手段５１は入力段、レシーバ、コネクタなどである。計算手段５２は（マイクロ）プロセッサ、ソフトウェア実行ユニット、計算ユニットなどである。挿入する手段５３はマルチプレクサ、アービタなどである。
図５は一実施形態を示し、該実施形態はさらに、インター符号化されたスライスとイントラ符号化されたスライスとを区別するユニット５６と、前記スライスがイントラ予測されたものであるとき、前記第１のパラメータの生成をする第１の計算ユニット５７ａと、前記スライスがインター予測されたものであるとき、前記第１のパラメータの生成をする第２の計算ユニット５７ｂとを有する。
さらに、図５に示した実施形態は、生成される一組のパラメータのうちの第５のパラメータを生成するために、ＧＯＰまたはシーングループのゼロ動きベクトルの比を決定する第１の決定手段５８ａと、ＧＯＰまたはシーングループを少なくとも３つの動きレベルの１つに分類する手段５８ｂであって、前記動きレベルは少なくとも静的レベル、中くらいの動きレベル、及び批評に大きい動きレベルを有する、分類する手段５８ｂと、前記ＧＯＰまたはシーングループの前記第５のパラメータを、それが分類された動きレベルに応じて生成する手段５８ｃとを有する。
一実施形態において、図６に示すように、ビデオデータのフレームのストリームの品質を評価する装置６０を開示する。ビデオデータ４４は、パケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表される。ビデオデータのフレームのストリームの品質を評価する装置６０は、前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段６１と、前記一連のパケットから一組のパラメータを抽出する手段６２と、前記一組のパラメータに基づき推定平均オピニオン評点を生成する計算手段６３とを有する。ビデオデータは少なくとも１つのスライスレベルを有し、抽出された一組のパラメータはビデオのスライスレベルを参照する少なくとも１つのパラメータを有する。
一実施形態において、装置のコンピュータに、請求項１ないし１３いずれか一項に記載の方法を実行させる、ビデオ品質推定装置のためのコンピュータ実行可能プログラムが提供される。一実施形態は、コンピュータ読み取り可能記録媒体に、前記コンピュータ実行可能プログラムが記録されている。
本発明は、パケット化されたビデオ信号の送信前または受信後に、パケットレイヤＶＱＭモデルで用いられ得る。サイド情報（すなわち、挿入されたパラメータ）のその他の使用は、ネットワークの輻輳時に、ルータなどのネットワーク要素が、エンドユーザの知覚するビデオ品質を最適化しつつ、これらのパラメータを用いて、エンドユーザ品質を推定し、どのパケットを破棄するか判断できる。
本発明の基本的かつ新規な特徴を好ましい実施形態に適用して図示し、説明し、指摘したが、言うまでもなく、本発明の精神から離れることなく、当業者は、説明した装置と方法における、開示した装置の形体や詳細事項、及びその動作の様々な省略、代替、変更を行うことができる。同じ結果を達成する実質的に同じ方法で実質的に同じ機能を実行するこれらの要素のすべての組み合わせは、本発明の範囲内にある。説明した一実施形態から他の実施形態への要素の置き換えも、完全に想定の範囲内である。
いうまでもなく、本発明を例示によって説明した。本発明の範囲から逸脱することなく細かい点で修正を加えることは可能である。
明細書、特許請求の範囲、及び図面に開示した各特徴は、独立に設けることもできるし、適切に組み合わせて設けることもできる。必要に応じて、ハードウェア、ソフトウェア、またはこれらの組み合わせで本発明の特徴を実現することができる。特許請求の範囲に示す参照符号は例示であり、請求項の範囲を限定するものではない。

Claims (22)

  1. ビデオデータのフレームのストリームの品質評価を可能にする方法であって、前記ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表され、前記方法は、
    前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、
    前記一連のパケットから一組のパラメータを生成するステップであって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適であるステップと、
    前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入するステップとを有し、
    前記ビデオデータはスライスレベルを有し、前記生成された一組のパラメータは前記ビデオのスライスレベルを個別に参照する少なくとも１つのパラメータを有し、前記少なくとも１つのパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性のうち一方であり、前記一組のパラメータは少なくとも喪失スライスの数と前記喪失スライスのインデックスとを含み、第１のパラメータはスライスのエラー隠蔽レベルを示す、
    方法。
  2. 前記一組のパラメータは、さらに、ビデオのＧＯＰレベルまたはシーングループの画像コンテンツを個別に参照する少なくとも１つのパラメータを有する、
    請求項１に記載の方法。
  3. 前記第１のパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性を反映し、
    前記生成された一組のパラメータのうちの第１のパラメータを生成するステップは、
    前記スライスがイントラ予測されたものか、インター予測されたものか判断するステップと、
    前記スライスがイントラ予測されたものであるとき、前記第１のパラメータの生成に第１の計算方法を用いるステップと、
    前記スライスがインター予測されたものであるとき、前記第１のパラメータの生成に異なる第２の計算方法を用いるステップと、を有する、
    請求項１に記載の方法。
  4. 第２のパラメータであるパラメータはスライスが関心領域を含むか示す、
    請求項１ないし３いずれか一項に記載の方法。
  5. 第３のパラメータはスライスのエラー伝搬減衰レベルを示す、
    請求項１ないし４いずれか一項に記載の方法。
  6. 前記生成された一組パラメータのうちの前記第３のパラメータを生成するステップは、インター符号化されたスライスの場合、前記スライス中のイントラ符号化されたマクロブロックとマクロブロックの総数との比を計算するステップを有し、イントラ符号化されたスライスの場合、前記第３のパラメータはゼロに設定される、
    請求項５に記載の方法。
  7. 第４のパラメータはスライス中のマクロブロック数を示す、
    請求項１ないし６いずれか一項に記載の方法。
  8. 第５のパラメータはＧＯＰまたはシーングループの時間的複雑性レベルを示す、請求項２ないし７いずれか一項に記載の方法。
  9. 前記生成された一組のパラメータのうちの前記第５のパラメータを生成するステップは、
    前記ＧＯＰまたはシーングループのゼロ動きベクトルの比を決定するステップと、
    前記ＧＯＰまたはシーングループを少なくとも３つの動きレベルの１つに分類するステップであって、前記動きレベルは少なくとも静的レベル、中くらいの動きレベル、及び批評に大きい動きレベルを有するステップと、
    前記ＧＯＰまたはシーングループの前記第５のパラメータを、それが分類された動きレベルに応じて生成するステップとを有する、
    請求項８に記載の方法。
  10. 第６のパラメータがＧＯＰまたはシーングループの空間的複雑性を示し、前記ＧＯＰまたはシーングループの各スライスまたはフレームにおいてエッジ検出が使われ、エッジ量に応じて前記ＧＯＰまたはシーングループが少なくとも２つの空間的複雑性レベルのうちの１つに分類され、前記レベルは滑らかなテクスチャとリッチなテクスチャとに対応する、
    請求項２ないし９いずれか一項に記載の方法。
  11. 第７のパラメータがＧＯＰまたはシーングループにおけるスライスグループのグループＲＯＩレベルを示し、前記ＧＯＰまたはシーングループ中の対応するスライスが関心領域（ＲＯＩ）を含むか否かを示す、
    請求項２ないし１０いずれか一項に記載の方法。
  12. ビデオデータのフレームのストリームの品質を評価する方法であって、前記ビデオデータはパケットネットワークを介して伝送され、ビデオデータの各フレームは可変数のパケットにより表され、前記方法は、
    前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取るステップと、
    前記一連のパケットから一組のパラメータを含むサイド情報を抽出するステップと、
    前記一組のパラメータに基づき推定平均オピニオン評点を生成するステップとを有し、
    前記ビデオデータはスライスレベルを有し、前記サイド情報は前記ビデオデータを前記パケットネットワークを介して送信する前に生成され、前記一連のパケットに挿入され、前記一組のパラメータは前記ビデオのスライスレベルを個別的に参照する少なくとも１つのパラメータを有し、前記少なくとも１つのパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性のうち一方であり、前記一組のパラメータは少なくとも喪失スライスの数と前記喪失スライスのインデックスとを含み、第１のパラメータはスライスのエラー隠蔽レベルを示す、
    方法。
  13. 前記一組のパラメータは、さらに、ビデオのＧＯＰレベルまたはシーングループの画像コンテンツを個別に参照する少なくとも１つのパラメータを有する、
    請求項１２に記載の方法。
  14. 前記第１のパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性を反映する、請求項１３に記載の方法。
  15. 第２のパラメータであるパラメータはスライスが関心領域を含むか示す、
    請求項１２ないし１４いずれか一項に記載の方法。
  16. 第３のパラメータはスライスのエラー伝搬減衰レベルを示す、
    請求項１２ないし１５いずれか一項に記載の方法。
  17. 第４のパラメータはスライス中のマクロブロック数を示す、
    請求項１２ないし１６いずれか一項に記載の方法。
  18. 第５のパラメータはＧＯＰまたはシーングループの時間的複雑性レベルを示す、請求項１２ないし１７いずれか一項に記載の方法。
  19. 第６のパラメータがＧＯＰまたはシーングループの空間的複雑性を示し、前記ＧＯＰまたはシーングループの各スライスまたはフレームにおいてエッジ検出が使われ、エッジ量に応じて前記ＧＯＰまたはシーングループが少なくとも２つの空間的複雑性レベルのうちの１つに分類され、前記レベルは滑らかなテクスチャとリッチなテクスチャとに対応する、
    請求項１３ないし１８いずれか一項に記載の方法。
  20. 第７のパラメータがＧＯＰまたはシーングループにおけるスライスグループのグループＲＯＩレベルを示し、前記ＧＯＰまたはシーングループ中の対応するスライスが関心領域（ＲＯＩ）を含むか否かを示す、
    請求項１３ないし１９いずれか一項に記載の方法。
  21. ビデオデータのフレームのストリームの品質評価を可能にする装置であって、前記ビデオデータはパケットネットワークを介して伝送され、前記ビデオデータの各フレームは可変数のパケットにより表され、上記装置は、
    前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段と、
    前記一連のパケットから一組のパラメータを生成する計算手段であって、前記一組のパラメータは前記ビデオデータのフレームのストリームの推定平均オピニオン評点を生成するのに好適である計算手段と、
    前記生成された一組のパラメータをサイド情報として前記フレームのストリームに挿入する手段とを有し、
    前記ビデオデータは少なくとも１つのスライスレベルを有し、前記生成された一組のパラメータは前記ビデオのスライスレベルを参照する少なくとも１つのパラメータを有し、前記少なくとも１つのパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性のうち一方であり、前記一組のパラメータは少なくとも喪失スライスの数と前記喪失スライスのインデックスとを含み、第１のパラメータはスライスのエラー隠蔽レベルを示す、
    装置。
  22. ビデオデータのフレームのストリームの品質を評価する装置であって、前記ビデオデータはパケットネットワークを介して伝送され、前記ビデオデータの各フレームは可変数のパケットにより表され、上記装置は、
    前記ビデオデータのフレームのストリームに関連する一連のパケットを受け取る手段と、
    前記一連のパケットから一組のパラメータを含むサイド情報を抽出する手段と、
    前記一組のパラメータに基づき推定平均オピニオン評点を生成する計算手段とを有し、
    前記ビデオデータはスライスレベルを有し、前記サイド情報は前記ビデオデータを前記パケットネットワークを介して送信する前に生成され、前記一連のパケットに挿入され、前記一組のパラメータは前記ビデオのスライスレベルを個別的に参照する少なくとも１つのパラメータを有し、前記少なくとも１つのパラメータは前記スライスの動きの複雑性又はテクスチャの複雑性のうち一方であり、前記一組のパラメータは少なくとも喪失スライスの数と前記喪失スライスのインデックスとを含み、第１のパラメータはスライスのエラー隠蔽レベルを示す、
    装置。
JP2013506433A 2010-04-30 2010-04-30 ビデオストリームの品質を評価する方法と装置 Expired - Fee Related JP5670551B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/000603 WO2011134113A1 (en) 2010-04-30 2010-04-30 Method and apparatus for assessing quality of video stream

Publications (2)

Publication Number Publication Date
JP2013527688A JP2013527688A (ja) 2013-06-27
JP5670551B2 true JP5670551B2 (ja) 2015-02-18

Family

ID=44860735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013506433A Expired - Fee Related JP5670551B2 (ja) 2010-04-30 2010-04-30 ビデオストリームの品質を評価する方法と装置

Country Status (6)

Country Link
US (1) US9288071B2 (ja)
EP (1) EP2564590B1 (ja)
JP (1) JP5670551B2 (ja)
KR (1) KR101414435B1 (ja)
CN (1) CN102959976B (ja)
WO (1) WO2011134113A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379769B2 (en) 2003-09-30 2008-05-27 Sunnybrook Health Sciences Center Hybrid imaging method to monitor medical device delivery and patient support for use in the method
US8155417B2 (en) 2007-03-27 2012-04-10 Hologic, Inc. Post-acquisition adaptive reconstruction of MRI data
EP2445413B1 (en) 2009-06-23 2020-02-12 Invivo Corporation Variable angle guide holder for a biopsy guide plug
EP3960075A1 (en) 2009-11-27 2022-03-02 Hologic, Inc. Systems and methods for tracking positions between imaging modalities and transforming a displayed three-dimensional image corresponding to a position and orientation of a probe
EP2413604B1 (en) * 2010-07-30 2014-09-10 Deutsche Telekom AG Assessing the quality of a video signal during encoding or compressing of the video signal
US9332926B2 (en) 2010-11-25 2016-05-10 Invivo Corporation MRI imaging probe
JP6022473B2 (ja) * 2010-12-10 2016-11-09 ドイッチェ テレコム アーゲー パケット損失可視性の連続的な推定値に基づく客観的映像品質評価のための方法および装置
US9203708B2 (en) 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
EP2745518B1 (en) * 2011-09-26 2017-06-14 Telefonaktiebolaget LM Ericsson (publ) Estimating user-perceived quality of an encoded video stream
KR101885852B1 (ko) 2011-09-29 2018-08-08 삼성전자주식회사 컨텐트 전송 및 수신 방법 및 장치
GB2497915B (en) * 2011-10-25 2015-09-09 Skype Estimating quality of a video signal
US9076246B2 (en) 2012-08-09 2015-07-07 Hologic, Inc. System and method of overlaying images of different modalities
PL2701397T3 (pl) * 2012-08-20 2015-03-31 Deutsche Telekom Ag Zależny od treści model jakości wideo dla usług strumieniowania wideo
US11159804B1 (en) * 2012-09-13 2021-10-26 Arris Enterprises Llc QoE feedback based intelligent video transport stream tuning
GB2513090B (en) * 2013-01-28 2019-12-11 Microsoft Technology Licensing Llc Conditional concealment of lost video data
EP2973217B1 (en) 2013-03-15 2023-10-25 Hologic, Inc. System and method for reviewing and analyzing cytological specimens
US20140355665A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Adaptive Video Reference Frame Compression with Control Elements
WO2014198062A1 (en) * 2013-06-14 2014-12-18 Thomson Licensing Method and apparatus for video quality measurement
CN104282309A (zh) 2013-07-05 2015-01-14 杜比实验室特许公司 丢包掩蔽装置和方法以及音频处理系统
US9674515B2 (en) * 2013-07-11 2017-06-06 Cisco Technology, Inc. Endpoint information for network VQM
CN103596012B (zh) * 2013-11-14 2017-05-10 山东电子职业技术学院 一种实时的基于avs的视频帧率转码中帧间宏块类型选择方法
CN103647963A (zh) * 2013-12-04 2014-03-19 北京邮电大学 基于GoP场景复杂度的视频质量评价方法
CN103646356B (zh) * 2013-12-18 2016-10-12 国家电网公司 一种特高压交流跨区电能交易中综合网损率的确定方法
CN103841412B (zh) * 2014-03-18 2016-03-02 北京邮电大学 一种网络视频用户体验质量测量方法和装置
US10021402B2 (en) * 2015-12-16 2018-07-10 Dialogic Corporation Estimation of video quality of experience on media servers
US10623744B2 (en) * 2017-10-04 2020-04-14 Apple Inc. Scene based rate control for video compression and video streaming
US20190238856A1 (en) * 2018-01-31 2019-08-01 Hewlett Packard Enterprise Development Lp Estimating video quality of experience
CN110401622B (zh) * 2018-04-25 2022-04-29 中国移动通信有限公司研究院 一种语音质量评估方法、装置、电子设备和存储介质
CN111737304B (zh) * 2020-07-31 2021-03-02 支付宝(杭州)信息技术有限公司 一种区块链数据的处理方法、装置及设备
CN112329515B (zh) * 2020-09-11 2024-03-29 博云视觉（北京）科技有限公司 一种高点视频监控拥堵事件检测方法
CN112367520B (zh) * 2020-11-11 2022-06-21 郑州师范学院 基于人工智能的视频质量诊断系统
CN115174897A (zh) * 2022-07-28 2022-10-11 北京达佳互联信息技术有限公司 视频质量预测方法、装置、电子设备、存储介质
CN118055234B (zh) * 2024-04-16 2024-07-12 腾讯科技（深圳）有限公司 视频帧编码方法、装置、设备、介质和计算机程序产品

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1640139A (zh) 2002-03-08 2005-07-13 皇家飞利浦电子股份有限公司 视频质量
US20060221942A1 (en) * 2005-03-31 2006-10-05 Frank Fruth Intelligent voice network monitoring
CN100459717C (zh) * 2005-04-20 2009-02-04 华为技术有限公司 基于h.264的压缩视频传输误码消除方法
EP1727375A1 (en) 2005-05-27 2006-11-29 Psytechnics Limited Assessment of perceived quality of a packetized video stream
EP2018069B1 (en) 2006-05-09 2016-08-10 Nippon Telegraph And Telephone Corporation Video quality estimating device, method, and program
KR20100014283A (ko) 2006-12-25 2010-02-10 톰슨 라이센싱 자동 이득 제어를 위한 방법 및 디바이스
WO2008081185A2 (en) 2007-01-04 2008-07-10 British Telecommunications Public Limited Company Video signal encoding with iterated re-encoding
US20100053300A1 (en) * 2007-02-02 2010-03-04 Einarsson Torbjoern Method And Arrangement For Video Telephony Quality Assessment
EP1995978B1 (en) 2007-05-25 2010-07-07 Psytechnics Ltd Video quality assessment
WO2009012302A1 (en) 2007-07-16 2009-01-22 Telchemy, Incorporated Method and system for viewer quality estimation of packet video streams
EP2077672B1 (en) 2007-08-22 2014-06-25 Nippon Telegraph and Telephone Corporation Video quality estimation device, video quality estimation method, frame type judgment method, and recording medium
JP4791443B2 (ja) 2007-12-27 2011-10-12 日本電信電話株式会社 客観品質評価方法、客観品質評価装置およびプログラム
EP2229786B1 (en) 2008-01-18 2012-07-25 Thomson Licensing Method for assessing perceptual quality
JP2009260940A (ja) 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
JP2009260941A (ja) 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、及びプログラム
EP2106154A1 (en) * 2008-03-28 2009-09-30 Deutsche Telekom AG Audio-visual quality estimation
EP2296379A4 (en) * 2008-07-21 2011-07-20 Huawei Tech Co Ltd METHOD, SYSTEM AND DEVICE FOR EVALUATING A VIDEO QUALITY
KR100938211B1 (ko) 2008-08-29 2010-01-22 성균관대학교산학협력단 동영상 화질 평가 시스템 및 방법

Also Published As

Publication number Publication date
US20130044224A1 (en) 2013-02-21
CN102959976A (zh) 2013-03-06
US9288071B2 (en) 2016-03-15
EP2564590A1 (en) 2013-03-06
EP2564590B1 (en) 2018-06-13
WO2011134113A1 (en) 2011-11-03
KR101414435B1 (ko) 2014-07-01
CN102959976B (zh) 2016-01-20
EP2564590A4 (en) 2015-01-21
JP2013527688A (ja) 2013-06-27
KR20130019435A (ko) 2013-02-26

Similar Documents

Publication Publication Date Title
JP5670551B2 (ja) ビデオストリームの品質を評価する方法と装置
US9723329B2 (en) Method and system for determining a quality value of a video stream
KR102059222B1 (ko) 비디오 스트리밍 서비스를 위한 컨텐트-의존 비디오 품질 모델
US20120212624A1 (en) Method, apparatus, and system for evaluating video quality
US9077972B2 (en) Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal
Garcia et al. Parametric packet-layer video quality model for IPTV
JP5911563B2 (ja) ビットストリームレベルで動画品質を推定する方法及び装置
JP4861371B2 (ja) 映像品質推定装置、方法、およびプログラム
Shmueli et al. Effects of an encoding scheme on perceived video quality transmitted over lossy internet protocol networks
US9723301B2 (en) Method and apparatus for context-based video quality assessment
EP2954677B1 (en) Method and apparatus for context-based video quality assessment
US9723266B1 (en) Lightweight content aware bit stream video quality monitoring service
Garcia et al. Frame-layer packet-based parametric video quality model for encrypted video in IPTV services
KR101083063B1 (ko) 비디오 체감 품질을 측정하는 방법 및 장치
Liao et al. A packet-layer video quality assessment model based on spatiotemporal complexity estimation
Laniewski et al. On the Impact of Burst Loss for QoE-Based Performance Evaluations for Video Streaming
Chen et al. Impact of packet loss distribution on the perceived IPTV video quality
CN104969548A (zh) 用于基于上下文的视频质量评估的方法和装置
CN104995914A (zh) 用于基于上下文的视频质量评估的方法和装置
Garcia et al. Video Quality Model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140806

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141217

R150 Certificate of patent or registration of utility model

Ref document number: 5670551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees