JP5427238B2 - ビデオストリームの品質値を判定する方法及びシステム - Google Patents

ビデオストリームの品質値を判定する方法及びシステム Download PDF

Info

Publication number
JP5427238B2
JP5427238B2 JP2011533548A JP2011533548A JP5427238B2 JP 5427238 B2 JP5427238 B2 JP 5427238B2 JP 2011533548 A JP2011533548 A JP 2011533548A JP 2011533548 A JP2011533548 A JP 2011533548A JP 5427238 B2 JP5427238 B2 JP 5427238B2
Authority
JP
Japan
Prior art keywords
frame
intra
distance
video stream
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011533548A
Other languages
English (en)
Other versions
JP2012507892A (ja
Inventor
イェルゲン グスタフソン,
デイヴィッド リンドグレン,
マルティン ペテルソン,
Original Assignee
テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エル エム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エル エム エリクソン(パブル)
Publication of JP2012507892A publication Critical patent/JP2012507892A/ja
Application granted granted Critical
Publication of JP5427238B2 publication Critical patent/JP5427238B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss
    • H04L43/0835One way packet loss
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、ビデオストリームの品質値を判定する方法、システム及びコンピュータ可読媒体に関する。
今日、新たな無線ネットワークは、ストリームドマルチメディア(ビデオ)コンテンツ及びモバイルTVなどのビットレートのより高いサービスを可能にした。同時に、固定通信ネットワークにおいては、TVオーバーインターネットプロトコル(IP)が普及している。この開発に伴って、この種の視覚通信サービスのビデオ品質をリアルタイムで評価することに重点が置かれることが多くなってきている。ビデオ品質評価の方法は主観的方法及び客観的方法を含む。通常、主観的方法では人の目でビデオ品質を評価する。評価する人はその主観的な感覚に基づいてビデオ品質のグレード又は点数を判定し、そのような主観的方法で得られたグレード又は点数を利用してビデオ品質を評価する。これに対し、客観的方法は人の目による評価を含まず、ビデオシーケンスから収集された情報のみを使用してビデオ品質を評価する。
客観的ビデオ品質評価方法は、完全な基準ビデオ情報を使う方法、不完全な基準ビデオ情報を使う方法及び基準ビデオ情報を使わない方法に更に分類できる。完全な基準ビデオ情報を使う方法による製品は市販されており、例えばOPTICOMのPerceptual Evaluation of Video Quality(知覚的ビデオ品質評価)、Genista社のOptimacyツール並びにPsytechnics社及びNational Telecommunications and Information Administrationの製品を含む。
ビデオ品質評価を実行するために、完全な基準ビデオ情報を使う方法及び不完全な基準ビデオ情報を使う方法は共にオリジナルビデオ(すなわち送信側から実際に送信されたビデオ)に関する基準情報を必要とするので、それら2つの方法は、使用中におけるリアルタイムビデオ品質評価には使用不可能である。これに対し、基準ビデオ情報を使わない方法はオリジナルビデオに関する情報を必要としない。基準ビデオ情報を使わない方法では、復号化ビデオ(すなわち受信後に受信側で復号化されたビデオ)に対する観測のみを実行し且つ観測された復号化ビデオの情報のみを使用してビデオ品質を推定する。
基準ビデオ情報を使わない方法のビデオ品質評価の場合、ビデオ品質劣化の2つの主な原因を考慮すべきである。第1の原因はビデオソースの符号化及び圧縮であり、第2の原因は、送信中、すなわちビデオコンテンツのストリーミング中のデータパケット損失である。ビデオ品質劣化の別の原因はいわゆるパケットジッタであろう。
IPネットワークにおいて、知覚されるビデオ品質の劣化の原因は通常データパケット損失である。パケット損失の大半はネットワークノードにおける輻輳によって起こる。これは、輻輳が起こった場合にIPネットワークのルータにより更に多くのパケットが損失し、その重症性が増すからである。無線通信ネットワークの場合、無線通信条件の悪化がパケット損失を引き起こす場合もある。リアルタイムビデオ送信(ストリーミングビデオ)では、パケット損失の影響は大きな問題である。送信中のパケット損失によって起こるビデオ品質劣化の測定値はパケット損失尺度と呼ばれる。
通常、ストリームドビデオは符号化され且つ符号化効率を改善するために時間予測符号化を利用するH.263、MPEG−4、H.264及びVC−1などのコーデックを使用することにより圧縮される。一般に、a)時間予測を使用せず且つビデオ再生フレームとして機能するイントラフレーム(Iフレーム)、b)予測フレーム(Pフレーム)及びc)1つ以上の基準フレームから予測される双方向予測フレーム(Bフレーム)という3種類のフレームが使用される。ここで、Iフレーム及びPフレームは通常基準フレームとして機能し、基準フレームの一部が損失した場合、その損失の結果発生するエラーは、次のIフレーム(又はPフレーム)がビデオをリフレッシュするまで時間の経過に伴って伝播することが多い。
従来より、パケット損失によるビデオ劣化を計算するいくつかの方法が提案されており、その1つはビデオストリームのフレームの種類ごとに損失マクロブロックの数を推定することに基づく。また、別の方法では、ビデオシーケンス中の2つの隣接するフレームの対応する領域の差を使用してビデオストリームの各画像の空間歪みを抽出する。ビデオの時間的動作に基づいて空間歪みは重み付けされ、シーケンス中の全画像の空間歪みを検出することによりビデオ品質が測定される。
しかし、ビデオ劣化を計算する上述の方法では、画像フレーム中のすべてのブロックの処理を必要とする。すなわち、上述の方法は非常に大規模な計算を必要とするので、多くのリアルタイムビデオ送信の用途で使用するには最適ではない。
以上の課題を考慮して、本発明の目的は、上述の方法及び従来の技術の改善を実現することである。特に、本発明の目的は、計算にほとんど労力を必要とせずにストリーミングビデオの品質を推定するパラメトリックな(基準を使わない)方法を提供することである。
従って、メディアプレーヤへ送信されるビデオストリームの品質値を判定する方法が提供される。方法は、ビデオストリームの測定間隔ごとに、ビデオストリームの少なくとも2つの損失データパケットを識別するステップと、ビデオストリームのイントラ符号化フレームを識別するステップと、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、損失データパケットの各々とその次に続く画質を維持している各イントラ符号化フレームとの距離を推定するステップと、距離に基づいて品質値を生成するステップと、を有する。
より詳細には、品質値は、パラメータとして設定可能な測定間隔に対して判定される。例えば、測定間隔は時間間隔又はビデオストリームの順次データパケットの数又は順次画像フレームの数であってもよい。「損失データパケット」は、それ自体は必ずしも損失していないが、データパケットの情報を完全には回収できない程度まで劣化してしまっている情報を含むデータパケットをすべて含む。
尚、本明細書で使用される用語「イントラ符号化フレーム」は、他のフレームの基準フレームとして使用されるフレームである。すなわち、ビデオは、復号化するために他のいくつかの画像フレームの事前の復号化を必要とするいくつかの画像フレームを含む圧縮ビデオである。当該技術において周知であるように、画像フレームを形成するデータはビデオストリームのデータパケットに含まれる。
ビデオストリームのデータパケット及びフレームは順次連続しており且つデータパケットをビデオフレームに連携することは可能であるので、損失パケットとイントラフレームとの距離は時間値又はデータパケットの数又は画像フレームの数により示され得る。これは、距離判定に必要とされる計算を極めて迅速且つ容易に実行できるという大きな利点、すなわち方法を実行するコンピュータ装置が計算にほとんど労力を必要としないという大きな利点を有する。
この場合、「維持された画質」を有するフレームは、搬送中に情報が損失しなかったフレームである。
品質値の生成は距離の重み付けを含んでもよい。ユーザが体験するビデオ品質と劣化データパケットからイントラ符号化フレームまでの距離との間に直線的関係が成り立つとは限らないことから、この方法には利点がある。重み付けは迅速に実行可能な演算であり且つ主観的により信頼性の高い品質値を生成可能であるので、重み付けを使用することにより、計算に必要とされる労力は既知の方法と比較して更に少なくて済む。
距離のうち長い距離に付加される重みは短い距離に付加される重みより高くてもよい。ユーザはある時間をおいて初めて、すなわち損失データパケットからイントラ符号化フレームまでの距離が長い場合に限ってビデオ品質の低下を認知する場合が多いので、重みに差をつけることにより更に信頼性の高い品質値が生成される。
長い距離及び短い距離は共通のイントラ符号化フレームに対して推定されてもよい。イントラ符号化フレームはビデオ画像をリフレッシュするので、これは特に適切である。
イントラ符号化フレームと関連する損失データパケットの推定距離に付加される重みは、ビデオストリームの予測画像フレームと関連する損失データパケットの推定距離に付加される重みより相対的に高くしてもよい。イントラ符号化フレームにおけるエラーは画質を維持している次のイントラ符号化フレームまで伝播するので、これにより更に信頼性の高い品質値が得られる。更に、シーン変化がある場合にイントラ符号化フレームが追加され且つシーン変化を伴うイントラ符号化フレームにおける品質低下は非常に目立つエラーを発生させるので、このような重み付けの方法はその意味でも有用である。
共通する画像フレームと関連する2つのデータパケットの距離に付加される重みは、異なる画像フレームと関連する2つのデータパケットの距離に付加される重みより高くてもよい。同一の画像フレームに多くの損失データパケットが関わっている場合、ユーザが主観的に体験するビデオ品質は著しく低下するので、この重み付けにより更に信頼性の高い品質値が得られる。
データパケットはマーカビットを含むリアルタイムトランスポートプロトコルにより定義されてもよく、且つ、ビデオストリームの画像フレームはその画像フレームのデータパケットのマーカビット値に依存してイントラ符号化フレームであると識別されてもよい。これにより、計算効率のよい画像識別処理が実行される。
ビデオストリームの画像フレームは、その画像フレームの画像サイズが平均画像フレームの画像サイズの所定倍よりも大きいか否かに従ってイントラ符号化フレームとして識別されてもよい。これにより、計算の観点から、方法の効率は向上する。
品質値の生成はデータパケット損失率に基づいてもよい。通常、データパケット損失率は、(測定間隔中の)損失データパケットの数と送信されるデータパケットの総数との関係である。
本発明の別の態様によれば、メディアプレーヤへ送信されるビデオストリームの品質値を判定するシステムが提供される。システムは、ビデオストリームの測定間隔ごとに、ビデオストリームの少なくとも2つの損失データパケットを識別し、ビデオストリームのイントラ符号化フレームを識別し、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定し、損失データパケットの各々とその次に続く画質を維持している各イントラ符号化フレームとの距離を推定し、距離に基づいて品質値を生成するように構成される。
また、本発明の更に別の態様によれば、コンピュータにおいて実行された場合、ビデオストリームの測定間隔ごとに、ビデオストリームの少なくとも2つの損失データパケットを識別するステップと、ビデオストリームのイントラ符号化フレームを識別するステップと、損失データパケットがイントラ符号化フレームと関連するか否かの推定に基づいて、イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、損失データパケットの各々とその次に続く画質を維持している各イントラ符号化フレームとの距離を推定するステップと、距離に基づいて品質値を生成するステップと、をコンピュータに実行させるソフトウェア命令を有するコンピュータプログラムが格納されているコンピュータ可読媒体が提供される。
本発明に係るシステム及びコンピュータ可読媒体は、本発明に係る方法と関連して先に説明した特徴のうちいずれかの特徴を実行するためのソフトウェア命令を含み、それらのソフトウェア命令を実行するように構成され且つ/又はそれらのソフトウェア命令を格納していてもよく、且つそれに対応する利点を有する。
添付の図面の概略図を参照して本発明の実施形態を例として説明する。
図1は、本発明を実現するシステムを示す図である。 図2は、メディアプレーヤを示す概略図である。 図3は、ビデオストリームを示す概略図である。 図4は、本発明に係る方法の一実施形態を示す流れ図である。
図1を参照すると、本発明を実現するシステムが示される。システムは、圧縮ビデオなどのメディアコンテンツが格納されるデータベース113に接続されたメディア(ビデオ)コンテンツサーバ112を具備する。メディアコンテンツサーバ112は、TV114、携帯電話115及びパーソナルコンピュータ116などのメディアプレーヤ又はビデオストリームを受信及び再生可能な他のあらゆる電子装置にネットワーク111を介して接続される。メディアコンテンツサーバ112は、ネットワーク111を介してメディアプレーヤ114、115、116へ圧縮ビデオストリームを送出するように構成される。メディアプレーヤ114、115、116は、メディアプレーヤ114、115、116によりビデオストリームのビデオコンテンツを再生できるようにビデオストリームを受信し且つ復号化するように構成されている。
送信、受信及び復号化は従来の方法で実行され且つ関連するすべての装置はビデオストリームを送出する適切な周知のネットワークプロトコルを実現する。
図2は、ネットワーク111を介してメディアコンテンツサーバ112に接続された(図示せず)メディアプレーヤ211を更に詳細に示す図である。メディアプレーヤ211はプロセッサ212を具備し、プロセッサ212は、本実施形態においてコンピュータプログラム214を格納しているハードディスク、ROM(読み取り専用メモリ)及びフラッシュメモリなどの形態をとるコンピュータ可読媒体213に接続される。コンピュータプログラム214は、メディアプレーヤ211で実行されることにより、メディアプレーヤ211に以下に説明される方法ステップを実行させるソフトウェア命令を含む。ネットワーク111を介するメディアコンテンツサーバ112との通信を実現するために、プロセッサ212に通信インタフェース215が更に接続されている。
メディアプレーヤ211は、ビデオストリームを受信し且つ復号化し、その後にビデオストリームのビデオコンテンツを再生するための手段及びソフトウェア命令(図示せず)を更に具備する。
前述のように、メディアコンテンツサーバ112及びメディアプレーヤ114、115、116、211は従来の周知の方法により互いに通信し且つ動作する。特に、これらの装置は、Request for Comment No.3550(RFC3550)に従って「RTP(リアルタイムアプリケーション向けトランスポートプロトコル)」を実現してもよい。本発明に係る方法及びシステムを実現する場合、例えばプロトコルMPEG2−TS及びMPEG4−TSなどの他のプロトコルを使用することも当然可能である。いずれの場合にも、それらのプロトコルを使用するということは、メディアプレーヤへ送出されるビデオストリームがビデオストリームのデータコンテンツを搬送するためのデータパケットを含むことを意味する。
前述のように、ビデオストリームは、H.263、MPEG−4、H.264及びVC−1のような圧縮コーデック(符号化−復号化スキーマ)により圧縮されたビデオを搬送する。すなわち、ビデオストリームの画像フレームは使用される圧縮コーデックに応じて異なるアルゴリズムを使用して圧縮される。
その結果、ビデオフレームに対する異なるアルゴリズムは、異なるビデオストリームの画像の種類又は異なるフレームの種類をもたらし、3つの主要な種類、すなわちIフレーム(イントラ符号化フレーム)、Pフレーム(予測フレーム)及びBフレーム(双方向予測フレーム)が使用される。当該技術において周知の通り、Iフレームは圧縮の程度が最も少ないフレームであり、復号化に際して他のビデオフレームを必要としない。Pフレームは伸張のために先行フレームからのデータを使用可能であり、Iフレームより更に圧縮可能である。これに対し、Bフレームはデータ参照のために先行フレーム及び後続フレームの双方を使用し、それにより更に多くの量のデータ圧縮が可能である。1つの種類のイントラ符号化フレーム(例えばIフレーム)及び1つの種類の予測画像フレーム(例えばPフレーム又はBフレーム)があるだけで十分であるのは言うまでもない。
図3を参照すると、ビデオストリームSの一部分が示される。この部分はビデオストリームSの測定間隔ΔTにより規定される。測定間隔ΔTは開始時間及び終了時間により規定され、従って、ビデオストリームSは開始時間から終了時間までにメディアプレーヤにより受信されたすべてのデータパケットを含む。なお、ビデオストリームSの後続データパケットの数又は後続画像フレームの数により測定間隔ΔTを規定することも可能である。
いずれにしても、本実施形態において、ビデオストリームの測定間隔ΔTは16個のデータパケット1〜16を含む。それらのパケット1〜16は、12個の画像フレームI1、P1、P2、I2、P3、P4、I3、P5、P6、I4、P7及びP8の形式のデータを含む。この場合、イントラ符号化フレームI1、I2、I3、I4は2つのデータパケットによって収容されるが、予測フレームP1、P2、P3、P4、P5、P6、P7、P8は1つのデータパケットに収容される。これは、フレームを作成するために必要とされるデータの量に関して、1つのイントラ符号化フレームが1つの予測フレームより通常はるかに大きいためである。データパケット1〜16は測定間隔ΔTにわたって分散され、フレームを形成するデータはデータパケットに含まれるので、フレームも測定間隔ΔTにわたって分散される。ストリーミング処理中に失われたデータパケット、すなわち本実施形態におけるデータパケット3、4、7、8、9は破線で示されている。
各データパケットは、a)ビデオストリーム中のそのデータパケットのシーケンス番号i、b)パケットが属する画像フレーム番号j(タイムスタンプから導き出される)及びc)そのデータパケットが画像フレームの最終パケットであるか否かに関する情報を含む。通常、データパケットがフレームの最終パケットであるか否かを示すのは、そのデータパケットのいわゆるマーカビット値(Mビット値)である。マーカビット値は、使用されるトランスポートフォーマットに応じて、データパケットがフレームの最初のパケットであるか否かを示してもよい。
従って、本実施例において、第1のデータパケット1のストリームシーケンス番号はiであり、第2のデータパケット2のストリームシーケンス番号はi+1であり、以下も同様である。データパケット1及び2は同一の画像フレームに属するので、それらのデータパケットはそれぞれ同一の画像フレーム番号jを有するが、データパケット3は次のフレームに属するのでフレーム番号j+1を有する。更に詳細には、データパケット3は損失されたので、フレーム番号j+1を有していたというほうが正しい。データパケット1は、データパケット1がフレームI1の最終パケットではないことを示す「0」のM値を有するが、データパケット2は、データパケット2がフレームI1の最終データパケットであることを示す「1」のM値を有する。要するに、データパケットは以下の表に示される情報を含む(又はパケットが失われていなければ含まれていたものである)。
Figure 0005427238
表にはバイト単位でデータパケットのサイズも含まれている。相対的に大きなパケットサイズを有するデータパケットはイントラ符号化フレームに属する確率が高いので、パケットがどの種類の画像フレームに属するかを推定する場合にパケットサイズを利用可能である。
パケットシーケンス番号のシーケンスがパケットの損失(シーケンスギャップ)を示す場合、先行パケット及び後続パケットの画像フレーム番号及びマーカビットを使用して、損失パケットがどのフレームに属するかを判定可能である。本実施形態においてパケット番号9が失われている。パケット8及びパケット10を見ると、それら2つのパケットは「1」に設定されたマーカビットを有する。これにより、パケット8及び10はフレームの最終パケットであることがわかる。従って、損失パケットは画像フレーム番号j+6に属し、パケットの数及び総パケットサイズを見ることにより、それがイントラ符号化パケットであると推定できる。
データパケットのタイムスタンプ値及び符号化フレームレート(画像クロック周波数)を使用することにより、データパケットの画像フレーム番号jは計算される。更に詳細には、以下の通りである。
画像フレーム番号SeqNo=1+(TimeStampSeqNo−StartTime)/frameTime
式中、frameTime=1/frameRateであり、第1のフレームシーケンス番号は1であるはずなので1が加算されており、StartTimeは第1のデータパケットのTimeStampである(StartTime=TimeStamp1)。
本実施形態において、TimeStampはデータごとにRTPヘッダに配置され、メディアプレーヤにおいてパケット(又はそのパケットが属する復号化フレーム)が再生されるべき時間である。
frameRateは、素材がサンプリングされるときの毎秒フレーム数であり、使用されるコーデックによって異なる。
データパケットはある間隔にわたって分散されているので、典型的には、データパケットの間隔はデータパケットシーケンス番号の差により規定され得る。画像フレームの間隔は、それらの画像フレームの最終データパケットのシーケンス番号の差により規定され、データパケットと画像フレームとの間隔は、データパケットシーケンス番号及びその画像フレームの最終データパケットのシーケンス番号により規定される。
図4を参照すると、本発明に係る方法が示される。方法は、ビデオストリームSの損失データパケット3、4、7、8、9を識別することを含む第1のステップ42を含む。損失データパケットの識別は、どのデータパケットシーケンス番号が欠落しているかを検査することにより実行され、シーケンス番号の欠落はデータパケットの欠落を意味する。
次に、ビデオストリームSのイントラ符号化フレームI1、I2、I3、I4を識別することを含む第2のステップ43が実行される。これは、注目画像フレームに属するパケットのデータビットサイズを注目画像フレームの周囲の画像フレームに属するすべてのパケットのデータビットサイズと比較することにより実行される。注目画像フレームが周囲のフレームの平均のx倍以上である場合、注目画像フレームはイントラ符号化画像フレームであると考えられる。標準H.264ベースラインストリームの場合、xの適切な値は通常2.5である。損失データパケットに対して平均データパケットサイズが使用される。
注目画像フレームに属するパケットのデータビットサイズを判定するために、この注目画像フレームに属する同じ画像フレーム番号(timestamp)を有するすべてのパケットのビットサイズが加算される。シーケンス番号が欠落している場合、パケットは損失している。従って、あるフレームに属するパケットの総サイズは画像フレームサイズを示す。
その後、第3のステップ44において、イントラ符号化フレームのうち画質を維持しているイントラ符号化フレームI4が判定される。この判定は、損失データパケット9がイントラ符号化フレームI3と関連するか否かを推定すること(45)により実行される。更に詳細には、同一の画像フレーム番号を有するデータパケットのシーケンス番号が連続している場合、欠落するデータパケットはなく、フレームは画質を維持している。
第4のステップ46は、損失データパケット3、4、7、8、9とその次に続く画質を維持しているイントラ符号化フレームI2、I4との距離D1、D2、D3、D4、D5の推定から成り、この推定は先に示した距離の定義に従って実行される。
最後に第5のステップ47において、距離D1、D2、D3、D4、D5に基づいて品質値Qが生成される。最も単純な形態では、品質値Qはそれらの距離の和である。従って、本実施形態において、QはD1+D2+D3+D4+D5=3+2+7+6+5=23となる。これは、異なる品質値がそれに対応する異なるビデオ品質値として知覚されるように、ビデオを視聴しているユーザの主観的評価により解釈され得る客観的品質値である。
知覚されるビデオ品質を更によく反映するために、距離に重み付けすることにより品質値が計算されてもよい。重み付けの1つの方法は、例えばQ=eD1+eD2+...のような指数公式を使用することにより、長い距離D1に短い距離D2より高い重みを付加することを含む。しかし、実際には更に高度な指数公式が使用されてもよい。更に品質値を改善するために、画質を維持している同一のイントラ符号化フレームに関連する距離に対して特にこの種の重み付けが実行される。
また、重み付けは、イントラ符号化フレームI3に属する距離D5に予測画像フレームP3に属する距離D3の重みより高い重みを付加することを含んでもよい。これは、例えば距離の加算前又は指数公式に距離値を代入する前にD5値に係数yを乗算することにより実行される。
更に、品質値はデータパケット損失率に依存してもよい。データパケット損失率自体は当該技術において一般的な方法により判定される。例えば、品質値を判定する場合、損失率に距離の和が乗算されてもよい。
本発明の種々の実施形態を説明し且つ図示したが、本発明はそれらに限定されず、添付の請求の範囲において定義される本発明の主題の範囲内で他の方法により実現されてもよい。特に、本発明は、どのデータパケットがどの画像フレームに属するかを判定する他の方法を使用することにより実現されてもよい。

Claims (19)

  1. メディアプレーヤへ送信されるビデオストリームの品質値を判定する方法であって、測定間隔ごとの前記ビデオストリームについて、
    前記ビデオストリームの少なくとも2つの損失データパケットを識別するステップと、
    前記ビデオストリームのイントラ符号化フレームを識別するステップと、
    損失データパケットがイントラ符号化フレームに属しているのかの推定に基づいて、前記イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、
    前記損失データパケットの各々と、それぞれに続く画質を維持している各イントラ符号化フレームとの距離を推定するステップと、
    前記距離に基づいて前記品質値を生成するステップと、を有することを特徴とする方法。
  2. 前記品質値を生成することは前記距離の重み付けを含むことを特徴とする請求項1に記載の方法。
  3. 前記距離のうち長い距離に付加される重みは前記距離のうち短い距離に付加される重みより高いことを特徴とする請求項2に記載の方法。
  4. 前記長い距離及び前記短い距離は共通のイントラ符号化フレームに対して推定されることを特徴とする請求項3に記載の方法。
  5. イントラ符号化フレームに属している損失データパケットについて推定された距離に付加される重みは、前記ビデオストリームの予測画像フレームに属している損失データパケットについて推定された距離に付加される重みより相対的に高いことを特徴とする請求項2から4のいずれか1項に記載の方法。
  6. 共通する画像フレームに属している2つのデータパケットの距離に付加される重みは、異なる画像フレームに属している2つのデータパケットの距離に付加される重みより高いことを特徴とする請求項2から5のいずれか1項に記載の方法。
  7. 前記データパケットはマーカビットを含むリアルタイムトランスポートプロトコルにより定義され、前記ビデオストリームの画像フレームは、前記画像フレームのデータパケットのマーカビット値に従ってイントラ符号化フレームとして識別されることを特徴とする請求項1から6のいずれか1項に記載の方法。
  8. 前記ビデオストリームの画像フレームは、前記画像フレームの画像サイズが平均画像フレームの画像サイズの所定倍よりも大きいか否かに従ってイントラ符号化フレームとして識別されることを特徴とする請求項1から7のいずれか1項に記載の方法。
  9. 前記品質値の生成はデータパケット損失率に基づくことを特徴とする請求項1から8のいずれか1項に記載の方法。
  10. メディアプレーヤへ送信されるビデオストリームの品質値を判定するシステムであって、測定間隔ごとの前記ビデオストリームについて、
    前記ビデオストリームの少なくとも2つの損失データパケットを識別し、
    前記ビデオストリームのイントラ符号化フレームを識別し、
    損失データパケットがイントラ符号化フレームに属しているのかの推定に基づいて、前記イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定し、
    前記損失データパケットの各々と、それぞれに続く画質を維持しているイントラ符号化フレームとの距離を推定し、
    前記距離に基づいて前記品質値を生成するように構成されることを特徴とするシステム。
  11. 前記距離に重み付けするように構成されることを特徴とする請求項10に記載のシステム。
  12. 前記距離のうち長い距離に前記距離のうち短い距離より高い重みを付加するように構成されることを特徴とする請求項11に記載のシステム。
  13. 前記長い距離及び前記短い距離は共通するイントラ符号化フレームに対して推定されることを特徴とする請求項12に記載のシステム。
  14. イントラ符号化フレームに属している損失データパケットについて推定された距離に、前記ビデオストリームの予測画像フレームに属している損失データパケットについて推定された距離より相対的に高い重みを付加するように構成されることを特徴とする請求項11から13のいずれか1項に記載のシステム。
  15. 共通する画像フレームに属している2つのデータパケットの距離に、異なる画像フレームに属している2つのデータパケットの距離よりも高い重みを付加するように構成されることを特徴とする請求項11から14のいずれか1項に記載のシステム。
  16. 前記データパケットはマーカビットを含むリアルタイムトランスポートプロトコルにより定義され、前記ビデオストリームの画像フレームは、前記画像フレームのデータパケットのマーカビット値に従ってイントラ符号化フレームとして識別されることを特徴とする請求項10から15のいずれか1項に記載のシステム。
  17. 前記ビデオストリームの画像フレームは、前記画像フレームの画像サイズが平均画像フレームの画像サイズより大きいファクターであるか否かに従ってイントラ符号化フレームとして識別されることを特徴とする請求項10から16のいずれか1項に記載のシステム。
  18. 前記品質値の生成はデータパケット損失率に基づくことを特徴とする請求項10から17のいずれか1項に記載のシステム
  19. コンピュータにおいて実行された時に、測定間隔ごとのビデオストリームについて、
    前記ビデオストリームの少なくとも2つの損失データパケットを識別するステップと、
    前記ビデオストリームのイントラ符号化フレームを識別するステップと、
    損失データパケットがイントラ符号化フレームに属しているかの推定に基づいて、前記イントラ符号化フレームのうちどのイントラ符号化フレームが画質を維持しているかを判定するステップと、
    前記損失データパケットの各々と、それぞれに続く画質を維持しているイントラ符号化フレームとの距離を推定するステップと、
    前記距離に基づいて品質値を生成するステップと、を前記コンピュータに実行させるソフトウェア命令を有するコンピュータプログラムが格納されているコンピュータ可読媒体。
JP2011533548A 2008-11-04 2008-11-04 ビデオストリームの品質値を判定する方法及びシステム Active JP5427238B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2008/064959 WO2010051834A1 (en) 2008-11-04 2008-11-04 Method and system for determining a quality value of a video stream

Publications (2)

Publication Number Publication Date
JP2012507892A JP2012507892A (ja) 2012-03-29
JP5427238B2 true JP5427238B2 (ja) 2014-02-26

Family

ID=40810500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011533548A Active JP5427238B2 (ja) 2008-11-04 2008-11-04 ビデオストリームの品質値を判定する方法及びシステム

Country Status (10)

Country Link
US (2) US8923411B2 (ja)
EP (3) EP2876881B1 (ja)
JP (1) JP5427238B2 (ja)
AR (1) AR075552A1 (ja)
CA (1) CA2742716C (ja)
DK (1) DK2347599T3 (ja)
ES (2) ES2592811T3 (ja)
HU (1) HUE025532T2 (ja)
PL (2) PL3122043T3 (ja)
WO (1) WO2010051834A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE039252T2 (hu) * 2010-12-10 2018-12-28 Deutsche Telekom Ag Eljárás és berendezés videojel minõségének megállapítására a videojel kódolása és átvitele folyamán
US20120297433A1 (en) * 2011-05-18 2012-11-22 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for supporting quality estimation of streamed video
CN103634698B (zh) 2012-08-21 2014-12-03 华为技术有限公司 视频流的帧类型检测、帧大小检测方法及装置
CN105052107B (zh) 2013-01-15 2019-04-12 华为技术有限公司 使用质量信息进行媒体内容自适应传输
KR101798741B1 (ko) 2013-04-19 2017-11-16 후아웨이 테크놀러지 컴퍼니 리미티드 하이퍼텍스트 전송 프로토콜을 통한 동적 적응 비디오 스트리밍에서의 미디어 품질 정보 시그널링
CN111212279B (zh) * 2018-11-21 2021-06-29 华为技术有限公司 一种视频质量的评估方法及装置
EP3829170A1 (en) * 2019-11-29 2021-06-02 Axis AB Encoding and transmitting image frames of a video stream
CN111953612B (zh) * 2020-07-21 2024-02-23 西安万像电子科技有限公司 数据传输控制方法及装置
US11380117B1 (en) * 2020-12-23 2022-07-05 Abbyy Development Inc. Zero-footprint image capture by mobile device
CN113191286B (zh) * 2021-05-08 2023-04-25 重庆紫光华山智安科技有限公司 图像数据质量检测调优方法、系统、设备及介质
CN115776601B (zh) * 2022-11-15 2024-08-23 深圳艾灵网络有限公司 视频流传输信息评估方法、装置、设备及存储介质
CN116886871B (zh) * 2023-07-26 2024-02-20 浙江安易信科技有限公司 一种网络数据信息管理方法、系统及计算机存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7539130B2 (en) * 2000-03-28 2009-05-26 Nokia Corporation Method and system for transmitting and receiving packets
US7418037B1 (en) * 2002-07-15 2008-08-26 Apple Inc. Method of performing rate control for a compression system
WO2004043074A1 (en) 2002-11-04 2004-05-21 Tandberg Telecom As Inter-network and inter-protocol video conference privacy method, apparatus and computer program product
JP4327674B2 (ja) * 2004-07-21 2009-09-09 日本電信電話株式会社 映像品質管理方法および映像品質管理システム
JP4377357B2 (ja) 2005-07-07 2009-12-02 日本電信電話株式会社 映像品質推定装置および映像品質推定方法
US8879635B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8839325B2 (en) 2007-02-14 2014-09-16 At&T Intellectual Property I, L.P. System and method of managing video content quality
US8630346B2 (en) * 2007-02-20 2014-01-14 Samsung Electronics Co., Ltd System and method for introducing virtual zero motion vector candidates in areas of a video sequence involving overlays

Also Published As

Publication number Publication date
EP3122043A1 (en) 2017-01-25
EP2347599B1 (en) 2015-02-25
CA2742716C (en) 2016-08-23
US20150215649A1 (en) 2015-07-30
HUE025532T2 (en) 2016-05-30
JP2012507892A (ja) 2012-03-29
EP2876881A1 (en) 2015-05-27
US8923411B2 (en) 2014-12-30
AR075552A1 (es) 2011-04-20
PL3122043T3 (pl) 2018-07-31
ES2536411T3 (es) 2015-05-25
ES2592811T3 (es) 2016-12-01
WO2010051834A1 (en) 2010-05-14
EP2347599A1 (en) 2011-07-27
CA2742716A1 (en) 2010-05-14
DK2347599T3 (en) 2015-05-11
US20110211629A1 (en) 2011-09-01
PL2347599T3 (pl) 2015-07-31
US20160330484A9 (en) 2016-11-10
EP3122043B1 (en) 2018-01-17
EP2876881B1 (en) 2016-07-06
US9723329B2 (en) 2017-08-01

Similar Documents

Publication Publication Date Title
JP5427238B2 (ja) ビデオストリームの品質値を判定する方法及びシステム
JP6104301B2 (ja) 映像品質推定技術
JP5172440B2 (ja) 映像品質推定装置、方法およびプログラム
US7873727B2 (en) System and method for evaluating streaming multimedia quality
KR101414435B1 (ko) 비디오 스트림 품질 평가 방법 및 장치
JP4377357B2 (ja) 映像品質推定装置および映像品質推定方法
WO2010009637A1 (zh) 一种视频质量评估方法、系统及装置
JP4802209B2 (ja) 映像品質推定方法、装置およびプログラム
JP4914400B2 (ja) 品質推定方法、品質推定システム、ユーザ端末、品質管理端末およびプログラム
JP2008301026A (ja) 映像品質推定方法、装置、およびプログラム
JP4861371B2 (ja) 映像品質推定装置、方法、およびプログラム
WO2021181681A1 (ja) 数理モデル導出装置、数理モデル導出方法及びプログラム
JP4787303B2 (ja) 映像品質推定装置、方法、およびプログラム
JP5405915B2 (ja) 映像品質推定装置、映像品質推定方法および映像品質推定装置の制御プログラム
JP2010063004A (ja) 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
JP5394991B2 (ja) 映像フレーム種別推定用調整係数算出方法、装置、およびプログラム
JP6061778B2 (ja) 映像品質評価装置、映像品質評価方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131129

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5427238

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250