JP7447262B2 - パラメトリックレベルモデルおよび画素レベルモデルを使用したビデオ品質評価方法 - Google Patents

パラメトリックレベルモデルおよび画素レベルモデルを使用したビデオ品質評価方法 Download PDF

Info

Publication number
JP7447262B2
JP7447262B2 JP2022530885A JP2022530885A JP7447262B2 JP 7447262 B2 JP7447262 B2 JP 7447262B2 JP 2022530885 A JP2022530885 A JP 2022530885A JP 2022530885 A JP2022530885 A JP 2022530885A JP 7447262 B2 JP7447262 B2 JP 7447262B2
Authority
JP
Japan
Prior art keywords
images
score
vqa
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022530885A
Other languages
English (en)
Other versions
JP2023507551A (ja
Inventor
シュイ，シアオジョォン
リ，シアン
リィウ，シャン
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2023507551A publication Critical patent/JP2023507551A/ja
Application granted granted Critical
Publication of JP7447262B2 publication Critical patent/JP7447262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

［関連出願の相互参照］
本願は、２０２０年８月１０日に米国特許商標庁に提出された米国仮特許出願第６３／０６３，７１２号、および２０２１年６月２９日に米国特許商標庁に提出された米国特許出願第１７／３６２，１４５号を基にして、またそれらの優先権を主張しており、その開示は参照により本明細書に組み込まれる。
本開示は、先進的なマルチメディア技術の分野に関し、特に、圧縮または非圧縮を有するビデオまたは画像の品質を評価するデバイスおよび方法に関する。
手頃な価格で信頼性の高い消費者向けキャプチャデバイスおよびソーシャルメディアプラットフォームの普及に伴い、ビデオおよび画像の撮影は、多くの人々の日常生活の一部になっている。カメラの改良により視覚データのサイズが大きくなるため、ビデオ圧縮は、一般的に、生の視覚データ（例えば、カメラによってキャプチャされた画像またはビデオ）に適用され、それにより、より速いレートで１つのデバイスから別のデバイスに伝送される。ただし、圧縮システムは、通常、生の視覚データの視覚品質に対してアーティファクト（ａｒｔｉｆａｃｔｓ）または劣化をもたらしてしまう。したがって、ビデオの品質を修正し改善するために、ビデオおよび画像における特定の圧縮アーティファクトまたは劣化の存在をすることが望ましいことがある。
圧縮アーティファクトまたは劣化を理解および識別するための１つのアプローチは、ビデオ品質評価（ＶＱＡ：ｖｉｄｅｏ ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ）を実行することによって実現される。ビデオまたは画像の品質を評価するために、人は、特定の環境およびテスト条件（例えば、光条件、距離など）下で、ビデオに対する視覚検査を実行し、また、例えば平均オピニオン評点（ＭＯＳ：ｍｅａｎ ｏｐｉｎｉｏｎ ｓｃｏｒｅ）などを使用してビデオを評価することができる。ただし、この手動操作の欠点は、テストスケールが広範囲になるとき、時間を消費してしまい、また大きなコストを招くことである。人間の目を利用しない場合の視覚データ品質への迅速かつ経済的評価を提供するために、客観的測定方法は、そのような手動操作の代わりに使用される。一般的に、ＶＱＡにおける客観的測定方法は、３つのカテゴリに分類され、即ち、（１）参照データを提供しない非参照ＶＱＡ、（２）グラウンドトゥルースデータ（ｇｒｏｕｎｄ ｔｒｕｔｈ ｄａｔａ）を提供する完全参照ＶＱＡ、および（３）全ての参照データでないが一部の参照データを提供する部分（縮小）参照ＶＱＡである。
非参照ＶＱＡにおいて、評価方法は、元の画像のいかなる知識なしに、復号された画像に純粋に基づくものである。復号された画像を評価するときに考慮されるいくつかの特徴には、鮮鋭度、勾配などが含まれ得る。スコアは、１つ以上の特徴の動作を数値、例えば０～１００の間にマッピングすることによって生成され得る。
完全ＶＱＡにおいて、評価方法は、テストデータと参照データとの間の差に基づくものである。テストデータと参照データとの間の差が大きいほど、圧縮の劣化が大きくなる。１つの例示的なメトリックは、ビデオマルチメソッド評価フュージョン（ＶＭＡＦ：Ｖｉｄｅｏ Ｍｕｌｔｉｍｅｔｈｏｄ Ａｓｓｅｓｓｍｅｎｔ Ｆｕｓｉｏｎ）であり得、その中で、対象となるビデオ品質が参照および歪んだビデオシーケンスに基づいて予測される。このメトリックは、異なるビデオエンコーダの品質を評価するために使用される。
部分参照ＶＱＡにおいて、参照データの部分情報のみがビデオ品質の評価に利用可能にされる。一例として、ビデオの品質を推定するために、ビットストリームのコーディングパラメータ（例えば、量子化パラメータ（ＱＰ：ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）、画像グループ（ＧＯＰ：ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）サイズ、フレームレート、解像度、ビットレートなど）を使用することが挙げられる。別の例として、元のビデオおよび／または画像のダウンサンプルバージョンなどのような、参照ビデオのサブセットを使用することが挙げられる。
一般に、ビデオおよび画像の主観的評価では、通常、低い計算複雑度および低いシステム遅延を伴うビデオ品質評価方法が好ましい。ただし、より集中的な計算を実行する必要がある場合、主観的評価の精度が低減される可能性がある。また、一部のアプリケーションは、非参照ＶＱＡが適用される場合でもビデオの品質を評価できるような、画素単位（ｐｉｘｅｌ－ｂｙ－ｐｉｘｅｌ）で集中的な計算をサポートできない場合がある。したがって、評価の信頼性を維持しながら、軽量化の品質評価を実現するための技術的解決手段が必要とされる。
一実施形態によれば、ビデオ品質評価（ＶＱＡ）を実行する方法が提供される。この方法は、ビデオの複数の画像を取得するステップであって、前記複数の画像が、１つ以上のグループに分けられるステップと、前記複数の画像から、パラメトリックベースのＶＱＡが適用される第１画像を決定するステップであって、前記第１画像が、前記複数の画像の全てであるステップと、前記パラメトリックベースのＶＱＡを前記第１画像のそれぞれに適用することに基づいて、第１スコアを決定するステップと、前記複数の画像から、サンプルベースのＶＱＡが適用される第２画像を決定するステップと、前記サンプルベースのＶＱＡを前記第２画像のそれぞれに適用することに基づいて、第２スコアを決定するステップと、前記第１スコアおよび前記第２スコアに基づいて、少なくとも１つの画像についての最終スコアを出力するステップと、を含む。
一実施形態によれば、ビデオ品質評価（ＶＱＡ）を実行する装置が提供される。この装置は、コンピュータプログラムコードを記憶している少なくとも１つのメモリと、前記少なくとも１つのメモリにアクセスし、前記コンピュータプログラムコードによって指示されたように動作するように構成される少なくとも１つのプロセッサと、を含む。前記コンピュータプログラムコードには、前記少なくとも１つのプロセッサに、ビデオの複数の画像を取得させるように構成される取得コードであって、前記複数の画像が、１つ以上のグループに分けられる取得コードと、前記少なくとも１つのプロセッサに、前記複数の画像から、パラメトリックベースのＶＱＡが適用される第１画像を決定させ、また、前記パラメトリックベースのＶＱＡを前記第１画像のそれぞれに適用することに基づいて、第１スコアを決定させるように構成される第１決定コードであって、前記第１画像が、前記複数の画像の全てである第１決定コードと、前記少なくとも１つのプロセッサに、前記複数の画像から、サンプルベースのＶＱＡが適用される第２画像を決定させ、また、前記サンプルベースのＶＱＡを前記第２画像のそれぞれに適用することに基づいて、第２スコアを決定させるように構成される第２決定コードと、前記少なくとも１つのプロセッサに、前記第１スコアおよび前記第２スコアに基づいて、少なくとも１つの画像についての最終スコアを出力させるように構成される出力コードと、が含まれる。
一実施形態によれば、コンピュータプログラムコードを記憶している非一時的なコンピュータ読み取り可能な記憶媒体が提供される。前記コンピュータプログラムが少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサは、ビデオの複数の画像を取得するステップであって、前記複数の画像が、１つ以上のグループに分けられるステップと、前記複数の画像から、パラメトリックベースのＶＱＡが適用される第１画像を決定し、また、前記パラメトリックベースのＶＱＡを前記第１画像のそれぞれに適用することに基づいて、第１スコアを決定するステップであって、前記第１画像が、前記複数の画像の全てであるステップと、前記複数の画像から、サンプルベースのＶＱＡが適用される第２画像を決定し、また、前記サンプルベースのＶＱＡを前記第２画像のそれぞれに適用することに基づいて、第２スコアを決定するステップと、前記第１スコアおよび前記第２スコアに基づいて、少なくとも１つの画像についての最終スコアを出力するステップと、を実行するように構成される。
以下の説明は、本開示の1つ以上の実施形態を説明する添付図面を簡単に紹介する。
一実施形態による、ビデオ品質評価デバイスを示す図である。 一実施形態による、ビデオ品質評価を実行する方法を示す図である。 一実施形態による、ビデオ品質評価の動作を示すフローチャートである。 一実施形態による、スコアの校正を含むビデオ品質評価を実行する方法を示す図である。 一実施形態による、スコアの校正を含むビデオ品質評価の動作を示すフローチャートである。 一実施形態による、ビデオの複雑度に基づくビデオ品質評価を実行する方法を示す図である。 一実施形態による、ビデオの複雑度に基づくビデオ品質評価の動作を示すフローチャートである。 一実施形態による、図３の方法を実行するためのコンピュータプログラムコードを示すブロック図である。 一実施形態による、図５の方法を実行するためのコンピュータプログラムコードを示すブロック図である。 一実施形態による、図７の方法を実行するためのコンピュータプログラムコードを示すブロック図である。
以下、添付図面を参照しながら例示的な実施形態を詳細に説明する。理解すべきものとして、本明細書に記載の本開示の１つ以上の実施形態は、例示的なものに過ぎず、本開示の範囲を限定するものとして解釈されるべきではない。
図１は、一実施形態による、ビデオ品質評価デバイスを示す図である。
図１を参照すると、ビデオ品質評価（ＶＱＳ）デバイス１００は、プロセッサ１１０、メモリ１２０、ストレージ１３０、入力インタフェース１４０、出力インタフェース１５０、通信インタフェース１６０、およびバス１７０を含み得る。ＶＱＳデバイス１００は、ビデオまたは画像の品質を評価するために、エンコーダおよび／またはデコーダの一部として実現され得る。しかしながら、１つ以上の実施形態は、これに限定されず、また、ＶＱＳデバイス１００は、エンコーダおよび／またはデコーダに接続され得るが、エンコーダおよび／またはデコーダから物理的に分離され得る。また、ＶＱＳデバイス１００は、メモリ１２０に記憶されており、メモリ１２０に接続されたプロセッサ１１０によって実行されるソフトウェアの形態のアルゴリズムであり得る。
プロセッサ１１０は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせで実現され得る。プロセッサ１１０は、中央処理ユニット（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、グラフィックス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、加速処理ユニット（ＡＰＵ：ａｃｃｅｌｅｒａｔｅｄ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、または別のタイプの処理コンポーネントであり得る。いくつかの実施形態では、プロセッサ１１０は、機能を実行するようにプログラミングされ得る１つ以上のプロセッサを含み得る。
メモリ１２０は、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読み出し専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、および／またはプロセッサ１１０によって使用される情報および／または命令を記憶している別のタイプの動的または静的記憶デバイス（例えば、フラッシュメモリ、磁気メモリ、および／または光学メモリ）を含み得る。
ストレージ１３０は、ＶＱＳデバイス１００の動作および使用に関連する情報および／またはソフトウェアを記憶している。例えば、ストレージ１３０は、対応するドライブと共に、ハードディスク（例えば、磁気ディスク、光学ディスク、光磁気ディスク、および／またはソリッドステートディスク）、コンパクトディスク（ＣＤ：ｃｏｍｐａｃｔ ｄｉｓｃ）、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、フロッピー（登録商標）ディスク、カートリッジ、磁気テープ、および／または別のタイプの非一時的なコンピュータ読み取り可能な媒体）を含み得る。
入力インタフェース１４０は、ＶＱＳデバイス１００が、例えばユーザ入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、および／またはマイクロフォン）などを介して情報を受信すること、を可能にするコンポーネントを含み得る。追加的にまたは代替的には、入力インタフェース１４０は、情報を検知するセンサ（例えば、全地球測位システム（ＧＰＳ：ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）コンポーネント、加速度計、ジャイロスコープ、および／またはアクチュエータ）を含み得る。
出力インタフェース１５０は、ＶＱＳデバイス１００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカー、および／または１つ以上の発光ダイオード（ＬＥＤ：ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅｓ））を含み得る。
通信インタフェース１６０は、ＶＱＳデバイス１００が、例えば有線接続、無線接続、または有線接続と無線接続の組み合わせなどを介して他のデバイスと通信すること、を可能にするトランシーバのようなコンポーネント（例えば、トランシーバおよび／または別個の受信機と送信機）を含む。通信インタフェース１６０は、ＶＱＳデバイス１００が、別のデバイスから情報を受信し、および／または、別のデバイスに情報を提供することを、可能にすることができる。例えば、通信インタフェース１６０は、イーサネット（登録商標）インタフェース、光学インタフェース、同軸インタフェース、赤外線インタフェース、無線周波数（ＲＦ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）インタフェース、ユニバーサルシリアルバス（ＵＢＳ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）インタフェース、Ｗｉ－Ｆｉインタフェース、セルラーネットワークインタフェースなどを含み得る。
バス１７０は、ＶＱＳデバイス１００のコンポーネント間の通信を可能にするコンポーネントを含む。
ＶＱＳデバイス１００は、本明細書に記載の１つ以上の動作を実行することができる。ＶＱＳデバイス１００は、プロセッサ１１０が、例えばメモリ１２０および／またはストレージ１３０などの非一時的なコンピュータ読み取り可能な媒体に記憶されているソフトウェア命令を実行することに応答して、上記の動作を実行することができる。コンピュータ読み取り可能な媒体は、本明細書では非一時的なメモリデバイスとして定義される。メモリデバイスには、単一の物理記憶デバイス内のメモリスペース、または複数の物理記憶デバイスにわたって分散されたメモリスペースが含まれる。
ソフトウェア命令は、通信インタフェース１６０を介して、別のコンピュータ読み取り可能な媒体から、または別のデバイスから、メモリ１２０および／またはストレージ１３０に読み込まれ得る。メモリ１２０および／またはストレージ１３０に記憶されているソフトウェア命令は、実行されると、プロセッサ１１０に、本明細書に記載の１つ以上のプロセスを実行させることができる。追加的にまたは代替的には、本明細書に記載の１つ以上のプロセスを実行するために、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードウェア回路が使用され得る。したがって、本明細書に記載の実施は、ハードウェア回路とソフトウェアの任意の特定の組み合わせに限定されない。
図１に示されているコンポーネントの数および配置は、例として提供される。実際には、ＶＱＳデバイス１００は、図１に示されているものよりも、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、または異なって配置されたコンポーネントを含み得る。追加的にまたは代替的には、ＶＱＳデバイス１００の一組のコンポーネント（例えば、１つ以上のコンポーネント）は、ＶＱＳデバイス１００の他組のコンポーネントによって実行されるものとして説明された１つ以上の機能を、実行することができる。
図２は、一実施形態による、ビデオ品質評価を実行する方法を示す図である。
図２を参照すると、ＶＱＡアルゴリズム２００は、パラメトリックベースのＶＱＡモデル２１０およびサンプルベースのＶＱＡモデル２２０を含み得る。パラメトリックベースのＶＱＡは、画素レベルの情報を必要とせず、ビットストリームレベルの情報のみを必要とするビデオ品質評価を参照することができる。例えば、画素レベルの情報は、画像における各画素の色および位置に関する情報を含み得、ビットストリームレベルの情報は、ビットレート、量子化パラメータ、フレームソリューション、フレームレートなどに関する情報を含み得る。サンプルベースのＶＱＡは、画素レベルの分析を必要とするビデオ品質評価を参照することができる。一般的に、サンプルベースのＶＱＡは、パラメトリックベースのＶＱＡよりも正確であるが、分析されるサンプルが多い場合、サンプルベースのＶＱＡは、より集中的な計算を必要とする。
一実施形態によれば、パラメトリックベースのＶＱＡモデル２１０およびサンプルベースのＶＱＡモデル２２０の両方は、１つ以上の画像の品質評価のために使用され得る。具体的には、ＶＱＡアルゴリズム２００は、サンプルベースのＶＱＡモデルよりも頻繁にパラメトリックベースのＶＱＡモデルを適用するように設計され得る。例えば、評価されるビデオは、第１グループ２３０ａの画像および第２グループ２３０ｂの画像を含み得る。第１グループ２３０ａは、画像Ａ、ＢおよびＣを含み得、第２グループ２３０ｂは、画像Ａ’、Ｂ’およびＣ’を含み得る。図２には２つのグループの画像のみが示されているが、３グループ以上の画像が存在し得る。
特定の例では、パラメトリックベースのＶＱＡモデル２１０は、各グループにおける各画像フレームに適用され得て、サンプルベースのＶＱＡモデル２２０は、各グループの第１画像フレームに適用され得る。具体的には、図２に示すように、パラメトリックベースのＶＱＡモデル２１０は、第１グループ２３０ａにおける画像Ａ、ＢおよびＣのそれぞれに、および第２グループ２３０ｂにおける画像Ａ’、Ｂ’、およびＣ’のそれぞれに適用される。これに対して、サンプルベースのＶＱＡモデル２２０は、第１グループ２３０ａにおける第１画像Ａおよび第２グループ２３０ｂにおける第１画像Ａ’に適用される。一部のアプリケーションが、品質評価のために画素単位での集中的な計算をサポートすることができない場合があるため、サンプルベースのＶＱＡモデル２２０は、ビデオにおける複数の画像のうちのいくつかに選択的に適用され得る。したがって、パラメトリックベースのＶＱＡモデル２１０とサンプルベースのＶＱＡモデル２２０の両方を使用してビデオの品質を評価するとき、処理負荷の負担は軽減される。しかしながら、１つ以上の実施形態は、これに限定されない。例えば、パラメトリックベースのＶＱＡモデル２１０は、ビデオにおける複数の画像のそれぞれに適用され得て、サンプルベースのＶＱＡモデル２２０は、１秒ごとに１つ、３０フレームごとに１つなどのように、画像のサブセットにのみ適用される。言い換えれば、サンプルベースのＶＱＡ２２０は、所定の時間間隔または所定のフレーム間隔で選択された画像に適用され得る。
一実施形態によれば、パラメトリックベースのＶＱＡモデル２１０は、ビデオの各画像フレームに適用され得て、サンプルベースのＶＱＡモデル２２０は、低減された解像度を有する画像にのみ適用され得る。例えば、サンプルベースのＶＱＡモデル２２０は、１：４サブサンプリングされた画像に適用され得る。
一実施形態によれば、パラメトリックベースのＶＱＡモデル２１０は、ビデオの各画像フレームに適用され得て、サンプルベースのＶＱＡモデル２２０は、１つ以上の画像内の一組の領域にのみ適用され得る。例えば、ターゲット関心領域（ＲＯＩ：ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）は、ユーザ入力に従って画像から識別され得ており、サンプルベースのＶＱＡモデル２２０は、画像におけるターゲットＲＯＩにのみ適用され得る。ターゲットＲＯＩがユーザ入力に従って識別され得るということは記載されたが、１つ以上の実施形態は、これに限定されない。例えば、スクリーンの中央が、画像やビデオを見るときに人間の視線が一般に指向または集中する場所であるため、ターゲットＲＯＩは、スクリーンの中央にあるように予め決定され得る。また、ターゲットＲＯＩは、動きベクトルに基づいて決定され得る。すなわち、一領域の動きベクトルの値が、連続する画像フレーム間で所定の値よりも大きいレートで変化する場合、当該領域は、ターゲットＲＯＩとして決定され得る。ここで、連続する画像フレーム間で所定の値よりも大きいレートで変化する動きベクトルは、画像フレームにおいて多くの動きが存在していることを意味し得る。
図３は、一実施形態による、ビデオ品質評価の動作を示すフローチャートである。
図３を参照すると、一実施形態による、ビデオ品質評価を実行する方法３００が示されている。
Ｓ３１０では、方法３００は、分析されるビデオの画像を取得することを含み得る。ここで、ビデオの画像は、図２を参照して以上に説明したように、１つ以上のグループにグループ化され得る。
Ｓ３２０では、方法３００は、パラメトリックベースのＶＱＡが適用されるべき第１画像を決定することを含み得る。一実施形態によれば、第１画像は、ビデオにおける複数の画像の全てであり得る。言い換えれば、パラメトリックベースのＶＱＡは、ビデオにおける複数の画像のそれぞれに適用され得る。例えば、図２を再び参照すると、第１画像は、画像Ａ、Ａ’、Ｂ、Ｂ’、ＣおよびＣ’であり得る。しかしながら、１つ以上の実施形態は、これに限定されず、パラメトリックベースのＶＱＡは、ビデオの複数の画像のうちのいくつかに選択的に適用され得る。
Ｓ３３０では、方法３００は、パラメトリックベースのＶＱＡを第１画像のそれぞれに適用することに基づいて第１スコアを決定することを含み得る。以下、この動作は、図４を参照して以下により詳細に説明される。
Ｓ３４０では、方法３００は、サンプルベースのＶＱＡが適用されるべき第２画像を決定することを含み得る。上記のように、第２画像は、サンプルベースのＶＱＡがグループにおける画像に選択的に適用されるように決定され得る。ここで、第２画像は、ビデオにおける複数の画像のうちのいくつかの第１画像と重複し得る。例えば、再び図２を参照すると、第１画像は、画像Ａ、Ａ’、Ｂ、Ｂ’、ＣおよびＣ’であり得て、第２画像は、画像ＡとＡ’であり得る。パラメトリックベースのＶＱＡとサンプルベースのＶＱＡの両方は、第１画像と第２画像に含まれる画像ＡとＡ’に適用される。また、第２画像は、図２を参照して以上に説明したように、時間、フレームのシーケンス、画像の解像度および関心領域に従って決定され得る。
Ｓ３５０では、方法３００は、サンプルベースのＶＱＡを第２画像のそれぞれに適用することに基づいて第２スコアを決定することを含み得る。以下、この動作は、図４を参照して以下により詳細に説明される。
Ｓ３６０では、方法３００は、決定された第１スコアおよび第２スコアに基づいて、少なくとも１つの画像についての最終スコアを出力することを含み得る。以下、この動作は、図４を参照して以下により詳細に説明される。
図４は、一実施形態による、スコアの校正を含むビデオ品質評価を実行する方法を示す図である。ビデオ品質評価を実行する方法のいくつかの特徴または動作は、図２および図３を参照して上記のように説明される。したがって、それらの重複する説明は省略され得る。
図４を参照すると、ＶＱＡアルゴリズム４００は、パラメトリックベースのＶＱＡモデル４１０およびサンプルベースのＶＱＡモデル４２０を含み得る。ここで、パラメトリックベースのＶＱＡモデル４１０およびサンプルベースのＶＱＡモデル４２０の両方が、１つ以上の画像の品質を評価するために使用され得る。具体的には、パラメトリックベースのＶＱＡモデル４１０は、第１グループ４３０ａにおける画像Ａ、ＢおよびＣのそれぞれ、および第２グループ４３０ｂにおける画像Ａ’、Ｂ’、およびＣ’のそれぞれに適用される。サンプルベースのＶＱＡモデル４２０は、第１グループ４３０ａにおける第１画像Ａおよび第２グループ４３０ｂにおける第１画像Ａ’に適用される。
パラメトリックベースのＶＱＡモデル４１０は、画像Ａ、Ａ’、Ｂ、Ｂ’、Ｃ、およびＣ’に対してパラメトリックベースのＶＱＡを実行することに基づいて、第１スコア４４０を出力することできる。サンプルベースのＶＱＡモデル４２０は、画像ＡおよびＡ’に対してサンプルベースのＶＱＡを実行することに基づいて、第２スコア４５０を出力することができる。理解すべきものとして、第１スコア４４０は、一組の画像についての２つ以上のスコアを含み得て、第２スコア４５０は、他組の画像についての２つ以上のスコアを含み得る。
一実施形態によれば、第２スコア４５０がサンプルベースのＶＱＡモデル４２０から出力されるとき、当該第２スコア４５０は、パラメトリックベースのＶＱＡモデル４１０から導出された第１スコアを校正するために使用され得る。より具体的には、サンプルベースのＶＱＡの関数は、パラメトリックベースのＶＱＡモデル４１０から導出された第１スコア４４０に第２スコア４５０を加算することで最終スコア４６０を生成することができる。しかしながら、第２スコア４５０が、ビデオにおける複数の画像のうちの少なくとも１つに対して利用可能ではない場合、ビデオにおける前の画像についてのサンプルベースのＶＱＡスコアが使用され得る。例えば、第２スコア４５０が第１グループ４３０ａにおける画像Ｃに対して利用可能ではない場合、第１グループ４３０ａにおける画像ＢについてのサンプルベースのＶＱＡスコアが第２スコア４５０として使用され得る。また、第２スコア４５０がビデオシーケンスにおける複数の画像のうちの少なくとも１つに対して利用可能ではない場合、関数は、ビデオシーケンスにおけるいくつかの前の画像についてのＮ個のサンプルベースのＶＱＡスコアに適用され得る。関数には、Ｎ個のサンプルベースのＶＱＡスコアの平均値、Ｎ個のサンプルベースのＶＱＡスコアの中央値、およびＮ個のサンプルベースのＶＱＡスコアの最小値と最大値などが含まれてもよく、ここで、Ｎは、正の整数である。例えば、第２スコア４５０が第１グループ４３０における画像Ｃに対して利用可能ではない場合、第１グループ４３０における画像Ａおよび画像Ｂについての２つのサンプルベースのＶＱＡスコアの平均値は、使用され得る。
最終スコア４６０は、２つの構成要素、即ち、ベーススコアおよびデルタスコアに基づいて決定され得る。ベーススコアは、サンプルベースのＶＱＡスコアが利用可能な場合、全体的または部分的にサンプルベースのＶＱＡに基づくものであり得る。言い換えれば、ベーススコアは、サンプルベースのＶＱＡモデル４２０によって出力される第２スコア４５０に依存している。デルタスコアは、パラメトリックベースのＶＱＡに基づくものである。つまり、デルタスコアは、パラメトリックベースのＶＱＡモデル４１０によって出力される第１スコア４４０であり得る。
一実施形態によれば、パラメトリックベースのＶＱＡモデル４１０から導出された画像Ａについての第１スコア４４０がＳｐ（Ａ）として示され、サンプルベースのＶＱＡモデル４２０から導出された画像Ａについての第２スコア４５０は、Ｓｓ（Ａ）として示されると仮定する。パラメトリックベースのＶＱＡモデル４１０とサンプルベースのＶＱＡモデル４２０が同じスコアリングシステムを使用してスコアを生成することを考えると、画像Ａについての最終スコアは、Ｓｓ（Ａ）であり得る。つまり、パラメトリックベースのＶＱＡモデル４１０とサンプルベースのＶＱＡモデル４２０が同じ範囲のスコアリングスケール（例えば、１から１０の範囲のスコア）を使用する場合、最終スコア４６０は、サンプルベースのＶＱＡモデルから出力される第２スコア４５０であり得る。言い換えれば、画像のサンプルベースのモデル４２０に基づく第２スコア４５０が画像に対して決定されるとき、スコアの範囲が両方のモデルで同じであることを考えると、第２スコア４５０は、第１スコア４４０よりも優先度が高くて、最終スコア４６０として使用される。しかしながら、１つ以上の実施形態は、これに限定されず、最終スコア４６０は、様々な計算方法に従って導出され得る。
さらに、ビデオシーケンスにおける画像Ａに続く画像Ｂは、サンプルベースのＶＱＡモデル４２０を使用せずに評価され得る。例えば、パラメトリックベースのＶＱＡモデル４１０から導出された画像Ｂについての第１スコア４４０は、Ｓｐ（Ｂ）として示される。パラメトリックベースのＶＱＡモデル４１０のスコアリングシステムとサンプルベースのＶＱＡモデル４２０のスコアリングシステムが互いに異なる場合、画像Ｂの最終スコア４６０は、以下の式に従って計算され得る。
［式１］
最終スコア（画像Ｂ）＝Ｓｐ（Ｂ）＋ｗ×（Ｓｓ（Ａ）－Ｓｐ（Ａ））＋Ｏｆｆｓｅｔ
ただし、「ｗ」は、重みであり、それが、固定であってもよく、画像タイプおよび量子化情報などの復号情報から取得されてもよい。重みｗは、１以下、例えば、０．８であり得る。オフセットは、２つのモデルのスコアリングシステムのバランスを取るための定数値である。オフセットの値は、０または非０の値であり得る。
式（１）によれば、サンプルベースのＶＱＡモデル４２０からの画像Ｂについてのスコアが存在しない場合、ＶＱＡアルゴリズム４００は、最終スコア４６０を計算することができる。具体的には、２つのモデルのスコアリングシステムの差は、画像Ａに基づいて計算され、即ち、Ｓｓ（Ａ）－Ｓｐ（Ａ）になり、次に、当該差は、画像Ｂでスコアリングシステム間の差を推定するために使用され、ここで、パラメトリックＶＱＡモデル４１０からの画像Ｂについての第１スコア４４０のみが利用可能である。したがって、サンプルベースのＶＱＡモデルからのスコアなしでＶＱＡアルゴリズム４００によって最終スコアを計算する場合、パラメトリックベースのＶＱＡモデルとサンプルベースのＶＱＡモデルのスコアリングシステム間の差が校正され得て、これにより、計算負荷を減少させながら、ビデオの品質のより正確な評価が提供され得る。
別の例として、画像Ｂの最終スコア４６０は、以下の式に従って導出される。
［式２］
最終スコア（画像Ｂ）＝ｗ０×Ｓｓ（Ａ）＋ｗ１×Ｓｐ（Ｂ）－ｗ２×Ｓｐ（Ａ）＋Ｏｆｆｓｅｔ
ここで、ｗ０、ｗ１、およびｗ２は、重みであり、それが、固定であってもよく、画像タイプおよび量子化情報などの復号情報から取得されてもよい。オフセットは、２つのモデルのスコアリングシステム間の差のバランスを取るための定数値であり得る。オフセットの値を、０または非０の値であり得る。
図５は、一実施形態による、スコアの校正を含むビデオ品質評価の動作を示すフローチャートである。ビデオ品質評価を実行する方法のいくつかの特徴または動作は、図２および図３を参照して上記のように説明される。図５のＳ５１０～Ｓ５５０およびＳ５７０の動作は、それぞれ、図３のＳ３１０～Ｓ３５０およびＳ３６０の動作に対応し得る。したがって、それらの重複する説明は省略され得る。
図５を参照すると、Ｓ５６０で、方法５００は、サンプルベースのＶＱＡモデルからの第２スコアに基づいて、パラメトリックベースのＶＱＡモデルからの第１スコアを校正することを含み得る。サンプルベースのＶＱＡには画像の画素単位解析が含まれるため、それは、より集中的な計算を必要とする。したがって、図４を参照して以上に説明したように、サンプルベースのＶＱＡモデルは、ビデオの複数の画像のうちのいくつかにのみ適用され、一方、パラメトリックベースのＶＱＡモデルは、ビデオの複数の画像のそれぞれに適用される。しかしながら、サンプルベースのＶＱＡモデルとパラメトリックベースのＶＱＡモデルのスコアリングシステム間の差が存在している場合、パラメトリックベースのＶＱＡモデルから取得された第１スコアとサンプルベースのＶＱＡモデルから取得された第２スコアとの間には不一致が存在する可能性があり、これにより、ビデオ品質評価の精度が低下になる。
そのため、画像についての第２スコアは、サンプルベースのＶＱＡモデルから提供され得ない場合、パラメトリックベースのＶＱＡモデルからの第１スコアは、パラメトリックベースのＶＱＡモデルからの第１スコアとサンプルベースのＶＱＡモデルからの第２スコアとの両方が利用可能な前の画像フレームから計算された、スコアリングシステム間の差に基づいて校正され得る。言い換えると、再び図４を参照すると、画像Ｂについての、サンプルベースのＶＱＡモデル４２０からのスコアが存在しない場合、スコアリングシステム間の差は、パラメトリックベースのＶＱＡモデル４１０からの第１スコア４４０およびサンプルベースのＶＱＡモデル４２０からの第２スコア４５０が利用可能な画像Ａから決定され得る。２つのモデルのスコアリングシステム間の差を決定することに基づいて、パラメトリックベースのＶＱＡモデル４１０からの画像Ｂの第１スコア４４０は、最終スコア４６０を得るために校正され得る。
図６は、一実施形態による、ビデオの複雑度に基づくビデオ品質評価を実行する方法を示す図である。ビデオ品質評価を実行する方法のいくつかの特徴または動作は、図４および図５を参照して上記のように説明される。したがって、それらの重複する説明は省略され得る。
図６を参照すると、ＶＱＡアルゴリズム６００は、複数の画像６３０の評価に基づいて、第１スコア６４０を出力するパラメトリックベースのＶＱＡモデル６１０と、第２スコア６５０を出力するサンプルベースのＶＱＡモデル６２０とを含み得る。
ＶＱＡアルゴリズム６００は、一実施形態による、パラメトリックベースのＶＱＡモデル６１０によって受信される複雑度メタデータ６７０をさらに含み得る。複雑度メタデータ６７０は、空間的テキスト複雑度、時間的動き複雑度など、ビデオの複雑度に関する情報を含み得る。ビデオの複雑度は、エンコーダによって評価され得て、エンコーダからデコーダに伝送されるビデオビットストリームに含まれ得る。メタデータ６７０は、復号を実行するためにデコーダによって必要とされない可能性がある。しかしながら、１つ以上の実施形態は、これに限定されず、複雑度メタデータは、ネットワークを介して、ビデオビットストリームとは別個にデコーダに伝送され得る。また、メタデータの代わりに、ビデオの複雑度に関する情報が、デコーダによって復号を実行する必要のない補足強化情報（ＳＥＩ：Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを介して配信され得る。
ビデオの複雑度に関する情報を含む複雑度メタデータを受信することに基づいて、パラメトリックベースのＶＱＡモデル６１０は、ビデオの複雑度に関する情報に基づいて第１スコア６４０を調整することができる。例えば、ビデオの複雑度が高い場合、パラメトリックベースのＶＱＡモデル６１０から出力される第１スコア６４０は、低くなるように調整され得る。あるいは、ビデオの複雑度が低い場合、パラメトリックベースのＶＱＡモデル６１０から出力される第１スコア６４０は、高くなるように調整され得る。
図７は、一実施形態による、ビデオの複雑度に基づくビデオ品質評価の動作を示すフローチャートである。ビデオ品質評価を実行する方法のいくつかの特徴または動作は、図４および図５を参照して上記のように説明される。図７のＳ７１０～Ｓ７５０およびＳ７７０の動作は、それぞれ、図５のＳ５１０～Ｓ５５０およびＳ５７０の動作に対応し得る。したがって、それらの重複する説明は省略され得る。
図７を参照すると、Ｓ７６０で、方法７００は、ビデオの複雑度に関する情報に基づいて第１スコアを調整することをさらに含み得る。ビデオの複雑度に関する情報には、空間的テキスト複雑度、時間的動き複雑度などの情報が含まれ得る。ビデオの複雑度は、エンコーダによって評価され得て、エンコーダからデコーダに伝送されるビデオビットストリームに含まれ得る。また、メタデータの代わりに、ビデオの複雑度に関する情報が、デコーダによって復号を実行する必要のないＳＥＩメッセージを介して配信され得る。
ビデオの複雑度情報を受信することに基づいて、パラメトリックベースのＶＱＡモデルの第１スコアは、ビデオの複雑度に関する情報に基づいて調整され得る。例えば、再び図６を参照すると、ビデオの複雑度が高い場合、パラメトリックベースのＶＱＡモデル６１０から出力される第１スコア６４０は、低くなるように調整され得る。あるいは、ビデオの複雑度が低い場合、パラメトリックベースのＶＱＡモデル６１０から出力される第１スコア６４０は、高くなるように調整され得る。ここで、第１スコアは、所定の閾値に基づいて調整され得る。例えば、ビデオの時間的動き複雑度が所定の閾値よりも高い場合、第１スコアは、低くなるように調整され得る。
図８は、一実施形態による、図３の方法を実行するためのコンピュータプログラムコードを示すブロック図である。図８のコンピュータプログラムコードは、メモリに記憶され得ており、記憶されているコンピュータプログラムコードを実行するために少なくとも1つのプロセッサによってアクセスされ得る。ｃ。
コンピュータプログラムコード８００は、取得コード８１０、第１決定コード８２０、第２決定コード８３０および出力コード８４０を含み得る。
取得コード８１０は、分析されるビデオの画像を取得するように構成され得る。
第１決定コード８２０は、パラメトリックベースのＶＱＡが適用されるべき第１画像を決定するように構成され得る。第１画像は、ビデオにおける複数の画像の全てであり得る。例えば、第１画像は、図２における画像Ａ、Ａ’、Ｂ、Ｂ’、ＣおよびＣ’であり得る。しかしながら、１つ以上の実施形態は、これに限定されず、パラメトリックベースのＶＱＡを複数の画像のうちのいくつかに選択的に適用することができる。第１決定コード８２０は、パラメトリックベースのＶＱＡを第１画像に適用することに基づいて第１スコアを決定するように構成され得る。
第２決定コード８３０は、パラメトリックベースのＶＱＡが適用されるべき第２画像を決定するように構成され得る。第２画像は、サンプルベースのＶＱＡが複数の画像のうちの１つまたは複数に選択的に適用されるように決定され得る。例えば、第２画像は、図２における第１グループ２３０ａおよび第２グループ２３０ｂのそれぞれにおける画像ＡおよびＡ’であり得る。第２決定コード８３０は、サンプルベースのＶＱＡを第２画像に適用することに基づいて第２スコアを決定するように構成され得る。
出力コード８４０は、決定された第１スコアおよび決定された第２スコアに基づいて最終スコアを出力するように構成され得る。
図９は、一実施形態による、図５の方法を実行するためのコンピュータプログラムコードを示すブロック図である。図９のコンピュータプログラムコードは、メモリに記憶されており、記憶されているコンピュータプログラムコードを実行するために少なくとも1つのプロセッサによってアクセスされ得る。ビデオ品質評価を実行する方法のいくつかの特徴または動作は、図４および図５を参照して上記のように説明される。したがって、それらの重複する説明は省略され得る。
コンピュータプログラムコード９００は、取得コード９１０、第１決定コード９２０、第２決定コード９３０、校正コード９４０および出力コード９５０を含み得る。
取得コード９１０は、分析されるビデオの画像を取得するように構成され得る。
第１決定コード９２０は、パラメトリックベースのＶＱＡが適用されるべき第１画像を決定するように構成され得る。第１画像は、ビデオにおける複数の画像の全てであり得る。例えば、第１画像は、図２における画像Ａ、Ａ’、Ｂ、Ｂ’、ＣおよびＣ’であり得る。しかしながら、１つ以上の実施形態は、これに限定されず、パラメトリックベースのＶＱＡを複数の画像のうちのいくつかに選択的に適用することができる。第１決定コード９２０は、パラメトリックベースのＶＱＡを第１画像に適用することに基づいて第１スコアを決定するように構成され得る。
第２決定コード９３０は、パラメトリックベースのＶＱＡが適用されるべき第２画像を決定するように構成され得る。第２画像は、サンプルベースのＶＱＡが複数の画像のうちの１つまたは複数に選択的に適用されるように決定され得る。例えば、第２画像は、図２における第１グループ２３０ａおよび第２グループ２３０ｂのそれぞれにおける画像ＡおよびＡ’であり得る。第２決定コード９３０は、サンプルベースのＶＱＡを第２画像に適用することに基づいて第２スコアを決定するように構成され得る。
校正コード９４０は、サンプルベースのＶＱＡモデルからの第２スコアに基づいて、パラメータベースのＶＱＡモデルからの第１スコアを校正するように構成され得る。
出力コード９５０は、決定された第１スコアおよび決定された第２スコアに基づいて最終スコアを出力するように構成され得る。
図１０は、一実施形態による、図７の方法を実行するためのコンピュータプログラムコードを示すブロック図である。図９のコンピュータプログラムコードは、メモリに記憶され得ており、記憶されているコンピュータプログラムコードを実行するために少なくとも1つのプロセッサによってアクセスされ得る。ビデオ品質評価を実行する方法のいくつかの特徴または動作は、図６および図７を参照して上記のように説明される。したがって、それらの重複する説明は省略され得る。
コンピュータプログラムコード１０００は、第１取得コード１０１０、第２取得コード１０２０、第１決定コード１０３０、第２決定コード１０４０、調整コード１０５０および出力コード１０６０を含み得る。
第１取得コード１０１０は、分析されるビデオの画像を取得するように構成され得る。
第２取得コード１０２０は、分析されるビデオの複雑度に関する情報を取得するように構成され得る。ビデオの複雑度に関する情報には、空間的テキスト複雑度、時間的動き複雑度などの情報が含まれ得る。ビデオの複雑度は、エンコーダによって評価され得て、エンコーダからデコーダに伝送されるビデオビットストリームに含まれ得る。また、ビデオの複雑度に関する情報は、デコーダによって復号を実行する必要がないメタデータまたはＳＥＩメッセージを介して配信され得る。
第１決定コード１０３０は、パラメトリックベースのＶＱＡが適用されるべき第１画像を決定するように構成され得る。第１画像は、ビデオにおける複数の画像の全てであり得る。例えば、第１画像は、図２における画像Ａ、Ａ’、Ｂ、Ｂ’、ＣおよびＣ’であり得る。しかしながら、１つ以上の実施形態は、これに限定されず、パラメトリックベースのＶＱＡを複数の画像のうちのいくつかに選択的に適用することができる。第１決定コード１０３０は、パラメトリックベースのＶＱＡを第１画像に適用することに基づいて第１スコアを決定するように構成され得る。
第２決定コード１０４０は、パラメトリックベースのＶＱＡが適用されるべき第２画像を決定するように構成され得る。第２画像は、サンプルベースのＶＱＡが複数の画像のうちの１つまたは複数に選択的に適用されるように決定され得る。例えば、第２画像は、図２における第１グループ２３０ａおよび第２グループ２３０ｂのそれぞれにおける画像ＡおよびＡ’であり得る。第２決定コード１０４０は、サンプルベースのＶＱＡを第２画像に適用することに基づいて第２スコアを決定するように構成され得る。
調整コード１０５０は、ビデオの複雑度に関する情報に基づいて第１スコアを調整するように構成され得る。
出力コード１０６０は、決定された第１スコアおよび決定された第２スコアに基づいて最終スコアを出力するように構成され得る。
本開示のいくつかの実施形態がすでに以上に示され説明された。しかしながら、本開示の1つ以上の実施形態は、前述の特定の実施形態に限定されない。本開示の精神および範囲から逸脱することなく、それらの様々な修正、置換、改良および均等物を作ることができることを理解されたい。そのようなそれらの修正、置換、改良および均等物は、本開示の保護範囲内に含まれなければならず、本開示の発明概念または見込みから独立して解釈すべきではないことを理解されたい。

Claims (16)

  1. 端末が実行するビデオ品質評価ＶＱＡを実行する方法であって、
    ビデオの複数の画像を取得するステップであって、前記複数の画像が、１つ以上のグループに分けられるステップと、
    前記複数の画像から、パラメトリックベースのＶＱＡが適用される第１画像を決定するステップであって、前記第１画像が、前記複数の画像の全てであるステップと、
    前記パラメトリックベースのＶＱＡを前記第１画像のそれぞれに適用することに基づいて、第１スコアを決定するステップと、
    前記複数の画像から、サンプルベースのＶＱＡが適用される第２画像を決定するステップと、
    前記サンプルベースのＶＱＡを前記第２画像のそれぞれに適用することに基づいて、第２スコアを決定するステップと、
    前記第１スコアおよび前記第２スコアに基づいて、少なくとも１つの画像についての最終スコアを出力するステップと、
    前記第２スコアが前記第１画像のうちの少なくとも１つのために利用可能ではないと決定することに基づいて、前記第１スコアを校正するステップと、
    を含むことを特徴とする方法。
  2. 前記第２画像を決定する前記ステップは、
    前記１つ以上のグループのそれぞれにおける少なくとも１つの画像を選択するステップ、を含む、
    ことを特徴とする請求項１に記載の方法。
  3. 前記第２画像を決定する前記ステップは、
    前記複数の画像から、所定の時間間隔または所定のフレーム間隔で画像を選択するステップを含む、
    ことを特徴とする請求項１に記載の方法。
  4. 前記第１スコアを校正する前記ステップは、
    復号順序でシーケンスにおける前記第１画像のうちの前記少なくとも１つよりも前の１つ以上の第１画像を取得するステップと、
    前記１つ以上の第１画像に対応する１つ以上の第２画像を取得するステップと、
    前記１つ以上の第１画像の前記第１スコアおよび前記１つ以上の第２画像の前記第２スコアに基づいて、前記パラメトリックベースのＶＱＡの第１スコアリングシステムと前記サンプルベースのＶＱＡの第２スコアリングシステムとの間の差を計算するステップと、
    前記第１スコアリングシステムと前記第２スコアリングシステムとの間の差に基づいて、前記第１スコアを校正するステップと、を含む、
    ことを特徴とする請求項１に記載の方法。
  5. 前記方法は、さらに、
    前記ビデオの複雑度に関する情報を受信するステップと、
    前記ビデオの複雑度に関する情報に基づいて、前記第１スコアを調整するステップと、を含む、
    ことを特徴とする請求項１に記載の方法。
  6. 前記ビデオの複雑度に関する情報には、前記ビデオの空間的テキスト情報、前記ビデオの時間的動き情報、および前記ビデオの解像度のうちの少なくとも１つが含まれる、
    ことを特徴とする請求項５に記載の方法。
  7. 前記ビデオの複雑度に関する情報には、メタデータおよび補足強化情報ＳＥＩメッセージのうちの少なくとも１つが含まれる、
    ことを特徴とする請求項５に記載の方法。
  8. 前記第１画像のうちの少なくとも１つと前記第２画像のうちの少なくとも１つは、同じである、
    ことを特徴とする請求項１に記載の方法。
  9. ビデオ品質評価ＶＱＡを実行する装置であって、
    コンピュータプログラムコードを記憶している少なくとも１つのメモリと、
    前記少なくとも１つのメモリにアクセスし、前記コンピュータプログラムコードによって指示されたように動作するように構成される少なくとも１つのプロセッサと、を含み、
    前記コンピュータプログラムコードには、
    前記少なくとも１つのプロセッサに、ビデオの複数の画像を取得させるように構成される取得コードであって、前記複数の画像が、１つ以上のグループに分けられる取得コードと、
    前記少なくとも１つのプロセッサに、前記複数の画像から、パラメトリックベースのＶＱＡが適用される第１画像を決定させ、また、前記パラメトリックベースのＶＱＡを前記第１画像のそれぞれに適用することに基づいて、第１スコアを決定させるように構成される第１決定コードであって、前記第１画像が、前記複数の画像の全てである第１決定コードと、
    前記少なくとも１つのプロセッサに、前記複数の画像から、サンプルベースのＶＱＡが適用される第２画像を決定させ、また、前記サンプルベースのＶＱＡを前記第２画像のそれぞれに適用することに基づいて、第２スコアを決定させるように構成される第２決定コードと、
    前記少なくとも１つのプロセッサに、前記第１スコアおよび前記第２スコアに基づいて、少なくとも１つの画像についての最終スコアを出力させるように構成される出力コードと、
    前記少なくとも１つのプロセッサに、前記第２スコアが前記第１画像のうちの少なくとも１つのために利用可能ではないと決定することに基づいて、前記第１スコアを校正させるように構成される校正コードと、が含まれる、
    ことを特徴とする装置。
  10. 前記第２決定コードは、さらに、
    前記少なくとも１つのプロセッサに、前記１つ以上のグループのそれぞれにおける少なくとも１つの画像を選択させるように構成される、
    ことを特徴とする請求項９に記載の装置。
  11. 前記第２決定コードは、さらに、
    前記少なくとも１つのプロセッサに、前記複数の画像から、所定の時間間隔または所定のフレーム間隔で画像を選択させるように構成される、
    ことを特徴とする請求項９に記載の装置。
  12. 前記校正コードは、さらに、前記少なくとも１つのプロセッサに、
    復号順序でシーケンスにおける前記第１画像のうちの前記少なくとも１つよりも前の１つ以上の第１画像を取得するステップと、
    前記１つ以上の第１画像に対応する１つ以上の第２画像を取得するステップと、
    前記１つ以上の第１画像の前記第１スコアおよび前記１つ以上の第２画像の前記第２スコアに基づいて、前記パラメトリックベースのＶＱＡの第１スコアリングシステムと前記サンプルベースのＶＱＡの第２スコアリングシステムとの間の差を計算するステップと、
    前記第１スコアリングシステムと前記第２スコアリングシステムとの間の差に基づいて、前記第１スコアを校正するステップと、を実行させるように構成される、
    ことを特徴とする請求項９に記載の装置。
  13. 前記コンピュータプログラムコードには、さらに、
    前記少なくとも１つのプロセッサに、
    前記ビデオの複雑度に関する情報を受信するステップと、
    前記ビデオの複雑度に関する情報に基づいて、前記第１スコアを調整するステップと、を実行させるように構成される調整コード、が含まれる、
    ことを特徴とする請求項９に記載の装置。
  14. 前記ビデオの複雑度に関する情報には、前記ビデオの空間的テキスト情報、前記ビデオの時間的動き情報、および前記ビデオの解像度のうちの少なくとも１つが含まれる、
    ことを特徴とする請求項１３に記載の装置。
  15. 前記ビデオの複雑度に関する情報には、メタデータおよび補足強化情報ＳＥＩメッセージのうちの少なくとも１つが含まれる、
    ことを特徴とする請求項１３に記載の装置。
  16. コンピュータプログラムであって、
    請求項１～８のいずれか１項に記載の方法を、端末に実行させる、
    ことを特徴とするコンピュータプログラム。
JP2022530885A 2020-08-10 2021-07-12 パラメトリックレベルモデルおよび画素レベルモデルを使用したビデオ品質評価方法 Active JP7447262B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063063712P 2020-08-10 2020-08-10
US63/063,712 2020-08-10
US17/362,145 2021-06-29
US17/362,145 US11875495B2 (en) 2020-08-10 2021-06-29 Methods of video quality assessment using parametric and pixel level models
PCT/US2021/041249 WO2022035532A1 (en) 2020-08-10 2021-07-12 Methods of video quality assessment using parametric and pixel level models

Publications (2)

Publication Number Publication Date
JP2023507551A JP2023507551A (ja) 2023-02-24
JP7447262B2 true JP7447262B2 (ja) 2024-03-11

Family

ID=80113946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022530885A Active JP7447262B2 (ja) 2020-08-10 2021-07-12 パラメトリックレベルモデルおよび画素レベルモデルを使用したビデオ品質評価方法

Country Status (6)

Country Link
US (1) US11875495B2 (ja)
EP (1) EP4042325A4 (ja)
JP (1) JP7447262B2 (ja)
KR (1) KR20220084154A (ja)
CN (1) CN114600158A (ja)
WO (1) WO2022035532A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009044393A (ja) 2007-08-08 2009-02-26 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
JP2009518915A (ja) 2005-12-05 2009-05-07 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 映像品質測定
JP2013516870A (ja) 2010-01-11 2013-05-13 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 映像品質推定技術

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2123047A2 (en) 2007-01-04 2009-11-25 BRITISH TELECOMMUNICATIONS public limited company Video signal encoding
EP2213000B1 (en) 2007-07-16 2014-04-02 Telchemy, Incorporated Method and system for content estimation of packet video streams
US20120057629A1 (en) * 2010-09-02 2012-03-08 Fang Shi Rho-domain Metrics
JP5714298B2 (ja) * 2010-10-29 2015-05-07 株式会社キーエンス 画像処理装置、画像処理方法および画像処理プログラム
US9609329B2 (en) * 2013-06-25 2017-03-28 Samsung Electronics Co., Ltd Dynamic voltage/frequency scaling for video processing using embedded complexity metrics
US9794574B2 (en) * 2016-01-11 2017-10-17 Google Inc. Adaptive tile data size coding for video and image compression
CN107888905B (zh) * 2017-10-27 2019-09-06 中国矿业大学 一种基于GoP显著性加权的视频质量评价方法
US11616988B2 (en) * 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
CN109286825B (zh) 2018-12-14 2021-04-30 北京百度网讯科技有限公司 用于处理视频的方法和装置
EP4029246A1 (en) * 2019-09-12 2022-07-20 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decodin 3 with wavefront-based gradual random access
CN110719457B (zh) 2019-09-17 2020-10-30 北京达佳互联信息技术有限公司 一种视频编码方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518915A (ja) 2005-12-05 2009-05-07 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 映像品質測定
JP2009044393A (ja) 2007-08-08 2009-02-26 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
JP2013516870A (ja) 2010-01-11 2013-05-13 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 映像品質推定技術

Also Published As

Publication number Publication date
KR20220084154A (ko) 2022-06-21
WO2022035532A1 (en) 2022-02-17
CN114600158A (zh) 2022-06-07
JP2023507551A (ja) 2023-02-24
EP4042325A4 (en) 2022-11-30
US11875495B2 (en) 2024-01-16
EP4042325A1 (en) 2022-08-17
US20220044385A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
US11423942B2 (en) Reference and non-reference video quality evaluation
US10529066B2 (en) Assessing quality of images or videos using a two-stage quality assessment
CA2958720C (en) Method and system for objective perceptual video quality assessment
CN111193923B (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
CA2825562C (en) Method and system for increasing robustness of visual quality metrics using spatial shifting
US8736719B2 (en) Image processing apparatus and control method for the same
CN110366001B (zh) 视频清晰度的确定方法和装置、存储介质、电子装置
KR20070049833A (ko) 화질 평가 방법 및 시스템
US11055816B2 (en) Image processing device, image processing method, and image processing program
US11451790B2 (en) Method and apparatus in video coding for machines
US20150187051A1 (en) Method and apparatus for estimating image noise
WO2018153161A1 (zh) 一种视频质量评价方法及装置、设备、存储介质
Madhusudana et al. High frame rate video quality assessment using VMAF and entropic differences
JP7447262B2 (ja) パラメトリックレベルモデルおよび画素レベルモデルを使用したビデオ品質評価方法
WO2010103112A1 (en) Method and apparatus for video quality measurement without reference
KR20200099923A (ko) 영상 왜곡 측정 방법, 영상 왜곡 측정 방법에 의해 측정된 영상 왜곡을 사용한 인지적 화질 평가 방법, 및 상기 방법을 수행하는 장치
JP2006201983A (ja) 画質評価装置および画質評価方法
Mendi et al. A video quality metric based on frame differencing
WO2024226026A1 (en) Bitrate based exposure factorization for image and video processing
CN116935767A (zh) 视觉系统的准确度确定方法、装置、计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R150 Certificate of patent or registration of utility model

Ref document number: 7447262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150