JP6707563B2 - 知覚的ビデオ品質を予測する技術 - Google Patents

知覚的ビデオ品質を予測する技術 Download PDF

Info

Publication number
JP6707563B2
JP6707563B2 JP2017559335A JP2017559335A JP6707563B2 JP 6707563 B2 JP6707563 B2 JP 6707563B2 JP 2017559335 A JP2017559335 A JP 2017559335A JP 2017559335 A JP2017559335 A JP 2017559335A JP 6707563 B2 JP6707563 B2 JP 6707563B2
Authority
JP
Japan
Prior art keywords
video
perceptual
value
training
objective
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017559335A
Other languages
English (en)
Other versions
JP2018522448A (ja
Inventor
アーロン，アン
キム，ダエ
リン，ユィ−チェイ
ロンカ，デイヴィッド
シュラー，アンディー
ツァオ，クゥイエン
ウー，チー−ハオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netflix Inc
Original Assignee
Netflix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netflix Inc filed Critical Netflix Inc
Publication of JP2018522448A publication Critical patent/JP2018522448A/ja
Application granted granted Critical
Publication of JP6707563B2 publication Critical patent/JP6707563B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Description

関連出願への相互参照
本願は、２０１５年５月１１日に出願された米国特許出願第１４／７０９，２３０号による利益を主張するものであり、これを参照して本明細書に組み込む。
本発明の実施形態は、一般的に、コンピュータサイエンスに関し、より具体的には、知覚的ビデオ品質を予測する技術に関する。
ソースビデオを効率的且つ正確に符号化することは、ビデオコンテンツのリアルタイム配信のために不可欠である。符号化されたビデオコンテンツの受信後、ソースビデオは復号化され、視聴または別様で操作される。幾つかの符号化処理は、ソースの正確な複製を可能にするために、例えばハフマン符号化等の無損失圧縮アルゴリズムを用いている。一方、符号化されたビデオコンテンツの圧縮率を高めるため、および／または、サイズを小さくするために、他の符号化処理は、選択された情報を消去して、典型的にはソースのおおよその再構築のみを可能にする、損失の多いデータ圧縮技術を利用している。ビデオが、ディスプレイ装置の寸法に一致するよう、より大きい解像度に拡大されるサイズ変更処理中には、更なる歪みが生じ得る。
配信されるビデオの品質を手作業で確かめることは、不可能なほど時間を消費する。従って、許容可能なビデオ視聴体験を確実にするために、配信されるビデオの品質を効率的且つ正確に予測することが望ましい。従って、自動化されたビデオ品質評価は、しばしば、ビデオ品質を維持するための様々な処理（エンコーダの評価およびストリーミングビットレートの微調整等）において用いられる、符号化およびストリーミングインフラに統合されている。
符号化されたビデオの品質を評価するための１つの手法において、ソースビデオを符号化されたビデオと比較するために、例えば、ピークＳ／Ｎ比（ＰＳＮＲ）等のフルリファレンス型（ＦＲ型）品質測定指標が用いられる。しかし、そのような測定指標は、信号忠実度（即ち、ソースビデオに対する符号化されたビデオの忠実さ）は正確に反映するものの、これらの測定指標は、人間による品質の知覚を高信頼度で予測するものではない。例えば、忠実度の測定は、典型的には、静止したシーンにおける視覚的アーチファクトが、速いモーションのシーンにおける視覚的アーチファクトよりも、視聴体験を顕著に劣化させる傾向があることを反映していない。更に、そのような知覚的な効果に起因して、そのような忠実度測定指標はコンテンツに依存し、従って、異なるタイプのビデオデータにわたっては一貫していない。例えば、主に速いモーションシーンで構成されるアクション映画における忠実度の劣化は、ゆっくりとしたドキュメンタリーにおける忠実度の劣化ほど顕著ではない。
上記で示したように、当該技術分野においては、知覚されるビデオ品質を予測するためのより効果的な技術が必要である。
本発明の一実施形態は、コンピュータによって実装される、知覚的なビデオ品質を推定する方法を述べる。本方法は、複数の決定論的なビデオ特性を表す１組の客観的測定指標を選択する工程と、１組の訓練用ビデオに含まれる各訓練用ビデオについて、該訓練用ビデオを記述する、知覚的ビデオ品質測定指標についての主観的な値と、前記１組の客観的測定指標についての１組の客観的な値とを受信する工程と、主観的な値、１組の客観的な値、および１組の訓練用ビデオの少なくとも１つにおける画素のモーションの測定の間の相関に基づいて、知覚的ビデオ品質測定指標に対する１組の訓練用ビデオの少なくとも１つのための寄与を定める複合的関係を導出する工程と、ターゲットビデオについて、１組の客観的測定指標についての第１の１組の値を算出する工程と、知覚的ビデオ品質測定指標についての出力値を生成するために、複合的関係を第１の１組の値に適用する工程とを含む。
本開示の知覚的なビデオ品質を推定する技術の１つの長所は、知覚的ビデオ品質測定指標を定める複合的関係が、客観的測定指標を、直接的な人間による観察に基づいて融合させることである。より具体的には、１組の訓練用ビデオについての人間によるフィードバックが、各客観的測定指標の寄与のガイドとなるので、複合的関係をターゲットビデオに適用することは、人間のフィードバックを一般化する。その結果、知覚的ビデオ品質測定指標は、知覚されるビデオ品質を高信頼度で予測する。それとは対照的に、従来の品質測定指標は、典型的には、人間の視覚系によって知覚されるビデオ品質を必ずしも追跡しない特性である、信号の忠実度を測定するものである。
本発明の１以上の態様を実装するよう構成されたシステムの概念図 本発明の一実施形態による、図１の客観的測定指標生成サブシステムおよび知覚的品質訓練器を示すブロック図 本発明の一実施形態による、図１の客観的測定指標生成サブシステムおよび知覚的品質計算器を示すブロック図 本発明の一実施形態による、知覚的な視覚的品質を予測する方法のステップのフロー図 本発明の一実施形態による、経験的に訓練されたモデルに基づいて、知覚的な視覚的品質スコアの値を算出する方法のステップのフロー図
本発明の上記の特徴を詳細に理解できるように、上記で簡潔に要約した本発明を、実施形態を参照してより具体的に説明する。実施形態の幾つかが、添付の図面に示されている。しかし、添付の図面は、本発明の典型的な実施形態のみを示すものであり、本発明の範囲を限定するものとは見なされず、本発明は、他の等しく効果的な実施形態を認め得ることを留意されたい。
以下の説明において、本発明のより完全な理解を提供するために、多くの具体的な詳細が述べられる。しかし、当業者には、これらの具体的な詳細の１以上を含まずとも本発明が実施され得ることが自明である。
システムの概観
図１は、本発明の１以上の態様を実装するよう構成されたシステム１００の概念図である。図示されるように、システム１００は、入力データの送信機能および／またはビデオの表示機能がある様々な装置に接続された仮想プライベートクラウド（即ち、カプセル化された共有リソース、ソフトウェア、データ等）１０２を含む。そのような装置は、デスクトップコンピュータ１０８、スマートフォン１０４、およびラップトップ１０６を含むが、それらに限定されない。別の実施形態では、システム１００は、任意の数および／またはタイプの入力装置、出力装置、および／または入出力装置を任意の組合せで含み得る。
仮想プライベートクラウド（ＶＰＣ）１００は、任意の数およびタイプのコンピュートインスタンス１１０を含むが、それらに限定されない。ＶＰＣ１０２は、入力装置（例えば、ラップトップ１０６）からの入力ユーザ情報を受信し、１以上のコンピュータインスタンス１１０は、ユーザ情報に対する操作を行い、ＶＰＣ１０２は、処理された情報をユーザに送信する。ＶＰＣ１０２は、任意の数の装置（例えば、従来のＣＲＴ、液晶ディスプレイ、発光ダイオード等）の表示機能を介して、出力情報をユーザに伝達する。
別の実施形態では、ＶＰＣ１０２は、任意のタイプのクラウドコンピューティング環境（例えば、パブリッククラウドまたはハイブリッドクラウド等）と置き換えられ得る。他の実施形態では、システム１００は、ＶＰＣ１０２の代わりに、任意の分散型コンピュータシステムを含み得る。更に別の実施形態では、システム１００はＶＰＣ１０２を含まず、その代わりに、システム１００は、複数の処理装置（例えば、任意の組合せの中央処理装置および／またはグラフィック処理装置）を実装する単一のコンピューティング装置を含む。
コンピュートインスタンス１１００について図示されているように、各コンピュートインスタンス１１０は、中央処理装置（ＣＰＵ）１１２、グラフィック処理装置（ＧＰＵ）１１４、およびメモリ１１６を含む。動作において、ＣＰＵ１１２は、コンピュートインスタンス１１０のマスタープロセッサであり、コンピュートインスタンス１１０に含まれる他の構成要素の動作を制御し調和させる。具体的には、ＣＰＵ１１２は、ＧＰＵ１１４の動作を制御するコマンドを発行する。ＧＰＵ１１４には、グラフィックおよびビデオ処理のために最適化された回路（例えば、ビデオ出力回路を含む）が組み込まれている。様々な実施形態において、ＧＰＵ１１４には、コンピュートインスタンス１１０の他の要素の１以上が統合され得る。メモリ１１６は、コンピュートインスタンス１１０のＣＰＵ１１２およびＧＰＵ１１４が用いるためのコンテンツ（例えばソフトウェアアプリケーションおよびデータ等）を格納する。
一般的に、ＶＰＣ１０２に含まれるコンピュートインスタンス１１０は、１以上のアプリケーションを実装するよう構成される。図示されるように、コンピュートインスタンス１１０１〜１１０Ｎはエンコーダ１２０として構成されている。エンコーダ１２０は、当該技術分野において知られている任意のタイプのデータ圧縮技術を任意の技術的に実行可能な方法で実装する。一部の実施形態では、エンコーダ１２０は、ソースデータを複数のチャンクに分割して、次に、それらのチャンクに対して並列にデータ圧縮技術を行う並列チャンクエンコーダである。
例えば、符号化されたデータのサイズ制限および使用可能なストリーミング帯域幅等のリソースの制約に従うために、エンコーダ１２０は、選択された情報を消去する損失の多いデータ圧縮技術を実装する。エンコーダ１２０は、情報を消去することによって、ソースデータが再構築された際に歪みを生じる「圧縮」アーチファクトを生じる。再構築されたソースデータの視覚的品質は、しばしば、コード変換パイプライン（即ち、或る形式のソースデータを別の形式の再構築されたデータに変換するアプリケーション）に含まれる他の要素によって更に損なわれる。例えば、ソースデータを縮小して符号化し、次に、ディスプレイ装置において、復号化されたデータをソースの解像度に拡大する処理の間に、「スケール変換」アーチファクトが生じ得る。
許容可能な視聴体験を確実にするために、再構築されたデータの品質および、間接的に、コード変換パイプラインに含まれる要素の性能が、設計および配信処理における様々な点で、品質測定指標を用いて評価されるのが典型的である。次に、これらの品質測定指標の値は、アプリケーション（例えば、エンコーダ）の開発、およびコンテンツ配信のリアルタイムの最適化（例えば、品質を意識したストリーム切り替えアルゴリズム等）のガイドとして用いられる。
多くの広く適用されている品質測定指標（例えば、二乗平均誤差（ＭＳＥ）およびピークＳ／Ｎ比（ＰＳＲＮ））は、忠実度（ソースデータに対する再構築されたデータの忠実さ）を測定するものである。しかし、忠実度の測定は、人間の視覚系（ＨＶＳ）に影響する心理的な視覚的現象（例えば、マスキング、コントラスト感度、または自然画像中の高度に構造化されたコンテンツ等）を反映しない。更に、そのような不完全に反映された知覚的な効果に起因して、そのような忠実度測定指標はコンテンツに依存し、それらの値は、異なるタイプのビデオデータにわたって比較できるものではない。例えば、粒状ノイズを有するビデオは、ＰＳＮＲにおいては比較的重くペナルティを課されるが、人間の視聴者によって検出可能な視覚的影響は比較的低い。一般的に、従来の品質測定指標は、人間によって知覚される視覚的品質の信頼できる指標ではなく、従って、視聴体験の許容可能性の信頼できる指標ではない。
この理由から、ＶＰＣ１０２内のコンピュートインスタンス１１０のうちの１以上は、知覚的品質の一貫した測定指標を設けるために、機械学習技術を実装する。特に、知覚的品質スコア１６５（即ち、知覚的品質測定指標の値）は、ビデオコンテンツのタイプに関係なく、主観的な人間の視覚的体験に普遍的に相関する。知覚的品質の一貫した測定指標を実装するために、当該技術分野において知られている任意のタイプの学習アルゴリズムが利用され得る。一部の実施形態では、サポートベクターマシン（ＳＶＭ）は、知覚的品質の一貫した測定指標のための枠組みを提供する。他の実施形態では、ニューラルネットワークが、知覚的品質の一貫した測定指標を確立するためのアルゴリズムを実装する。
図１に破線で示されている訓練フェーズにおいて、知覚的品質訓練器１５０は、知覚的品質モデル１５５を生成する。知覚的品質モデル１５５は、訓練用データの視聴中に割り当てられる主観的測定指標１３５の値を最適に追跡するよう客観的測定指標１４５を組み合わせる、教師つき学習モデルである。客観的測定指標サブシステム１４０は、訓練用データとそれに対応する符号化された訓練用データとの比較処理に基づいて、客観的測定指標１４５を生成する。そのような客観的測定指標１４５は、フルリファレンス型の品質指標として参照され、任意の技術的に実行可能な方法で生成され得る。デコーダ１２５が、符号化された訓練用データから、再構築された訓練用データを生成した後、視聴者１１０は、再構築されたデータをディスプレイ装置上（例えば、ラップトップ１０６の画面等）で見て、視覚的品質を個人的に評価する（主観的測定指標１３５に対する値を割り当てる）。
知覚的品質訓練器１５０は、算出された客観的測定指標１４５の値、および人間によって割り当てられた主観的測定指標１３５の値を受信する。次に、知覚的品質訓練器１５０は、これらの測定指標に基づいて、知覚的品質モデル１５５を訓練する。より具体的には、知覚的品質訓練器１５０は、客観的測定指標１４５と主観的測定指標１３５との間のパターンを認識する学習アルゴリズムを実行する。次に、知覚的品質訓練器１５０は、知覚的品質スコア１６５（これは、主観的測定指標１３５の値を反映しており、その結果、視聴者１１の体験を反映している）に客観的測定指標１４５の値を融合させるために、知覚的品質モデル１５５を構成する。
図１に実線で示されている採点フェーズにおいて、知覚的品質計算器１６０は、知覚的品質モデル１５５と、ターゲットデータについての客観的測定指標１４５の値とを受信する。知覚的品質計算器１６０は、客観的測定指標１４５の値に知覚的品質モデル１５５を適用して、ターゲットデータについての知覚的品質スコア１６５を生成する。客観的測定指標１４５の値は、任意の技術的に実行可能な方法で生成され得る。例えば、客観的測定指標サブシステム１４０は、客観的測定指標１４５の値を算出するために、任意の基準データ（例えば、ソースデータ）を、任意の得られたターゲットデータ（例えば、符号化されたソースデータ）と比較し得る。
訓練フェーズ
図２は、本発明の一実施形態による、図１の客観的測定指標生成サブシステム１４０および知覚的品質訓練器１５０を示すブロック図である。客観的測定指標生成サブシステム１４０は、任意の技術的に実行可能な方法で実装され、任意の数の客観的測定指標１４５の値を各々が生成する任意の数の別個のアプリケーションを含み得る。知覚的品質訓練器１５０は、サポートベクターマシン（ＳＶＭ）モデル生成器２４０および時間的調節識別器２５０（それらに限定されない）を含む。
１組の訓練用ビデオについての訓練用データ２０５および符号化された訓練用データ２９５を受信すると、客観的測定指標生成サブシステム１４０は、客観的測定指標１４５の値を計算する。訓練用ビデオは、知覚的品質スコア１６５によって表されるビデオタイプの範囲を代表する任意の数および長さのビデオクリップを含み得る。例えば、一実施形態において、１組の訓練用ビデオ内のビデオクリップは、多岐にわたる範囲の高レベルの特徴（例えば、アニメーション、スポーツ、インドア、カメラモーション、顔のクローズアップ、人々、水、明らかな顕著な特徴、オブジェクト数）および低レベルの特性（例えば、フィルムの粒状ノイズ、輝度、コントラスト、テクスチャ、モーション、色の変化、色の豊富さ、鮮鋭度）にわたるものである。
一部の実施形態では、１組の訓練用ビデオは、南カリフォルニア大学から公開されているビデオクリップのＭＣＬ−Ｖビデオデータベースである。他の実施形態では、１組の訓練用ビデオの多様性およびロバスト性を高めるために、ビデオクリップのＭＬ−Ｖビデオデータベースに、選択された高フィルム粒状性クリップおよびアニメーションタイトルが補われる。訓練用データ２０５は訓練用ビデオを含み、符号化された訓練用データ２９５は、訓練用データ２０５から得られる。より具体的には、訓練用データ２０５に含まれる各クリップについて、エンコーダ１５０は、クリップを様々な異なる解像度および／または品質レベル（即ち、ビットレート）で繰り返し符号化するよう構成される。このようにして、１組の訓練用ビデオ内の各ビデオクリップから、所定の数の符号化されたクリップが生成され、これらの符号化されたクリップが、符号化された訓練用データ２９５を構成する。
一般的に、各ビデオ品質測定指標は、強みと弱みとの両方を示す。強みを利用して、弱みを軽減するために、客観的測定指標生成サブシステム１４０は、符号化された訓練用データ２９５の範囲にわたる視覚的品質に対する価値ある洞察を提供する１組の客観的測定指標１４５を算出するよう構成される。客観的測定指標１４５の選択は、任意の数の予期されるアーチファクトに対応するよう、任意の技術的に実行可能な方法で行われ得る。例えば、一部の実施形態では、客観的測定指標１４５は、圧縮によって生じる劣化（即ち、ブロック感）およびスケール変換によって生じる劣化（即ち、ぼやけ感）を評価するために経験的に選択される。
図示されるように、客観的測定指標１４５は、詳細の損失の程度（ＤＬＭ）２４２、視覚情報忠実度（ＶＩＦ）２４４、およびアンチノイズＳ／Ｎ比（ＡＮＳＮＲ）２４６を含む。ＤＬＭ２４２は、信号のぼやけ感成分を識別するために、ウェーブレット分解を適用することに基づいている。ＤＬＭ２４２は、中間の品質範囲において、ぼやけ感を検出することにおいては比較的良好であるが、より高い品質範囲において、品質を区別することにおいては比較的劣る。ＶＩＦ２４４は、周波数領域における信号解析のためにウェーブレット変換を適用することに基づいている。ＶＩＦ２４４は、僅かなぼやけ感アーチファクトを検出することにおいては比較的良好であるが、ブロック感アーチファクトを検出することにおいては比較的劣る。
ＡＮＳＮＲ２４６は、フィルムコンテンツについて、ＳＮＲの幾つかの短所を軽減するよう設計されている。ＳＮＲ計算を行う前に、客観的測定指標生成サブシステム１４０は、訓練用データ２０５に弱いローパスフィルタを適用し、符号化された訓練用データ２９５により強いローパスフィルタを適用する。ＡＮＳＮＲ２４６は、比較的速く計算でき、圧縮アーチファクトおよび強いスケール変換アーチファクトの検出についは良好である。しかし、ＡＮＳＮＲ２４６は、僅かなぼやけ感アーチファクトを無視するので、高い品質範囲における小さい品質の変化に感度を持たない。
更なる最適化として、人間の視覚系は、高モーションの期間中の劣化に対する感度は低いので、客観的測定指標生成サブシステム１４０はモーション値２４８を計算する。各フレームについて、オブジェクト測定指標生成サブシステム１４０は、前のフレームに対するそのフレームの同じ位置にある画素の差分の平均値として、モーション値２４８を計算する。特に、ノイズが誤ってモーションとして解釈される可能性を低減するために、オブジェクト測定指標生成サブシステム１４０は、差分計算を行う前に、ローパスフィルタを適用する。
主観的測定指標１３５の値は、視聴者１１０によって、任意の数およびタイプのディスプレイ装置上で訓練用データ２０５および符号化された訓練用データの復号化されたバージョン２９５（本明細書においては再構築された訓練用データとして参照される）を見た後に、割り当てられる。一実施形態において、各視聴者１１０は、並べられた各訓練用クリップと各再構築された訓練用クリップとを見て、主観的測定指標１３５に値を割り当てる。主観的測定指標１３５の値は、知覚される視覚的品質を示す絶対値である。例えば、一実施形態において、主観的測定指標１３５の値は、０〜１００までの範囲で様々であり得る。１００のスコアは、再構築された訓練用クリップが、訓練用クリップと同一に見えることを示す。２０未満のスコアは、再構築された訓練用クリップが、かなりのシーン構造を失っており、訓練用クリップと比較してかなりのぼやけ感を示していることを示す。
次に、ＳＶＭモデル生成器２４０は、符号化された訓練用データ２９５についての、モーション値２４８、客観的測定指標１４５の値、および主観的測定指標１３５の値を受信する。次に、ＳＶＭモデル生成器２４０は、知覚的品質モデル１５５を訓練するために、学習アルゴリズムを適用する。符号化された訓練用データ２９５について、ＳＶＭモデル生成器２４０は、観察された主観的測定指標１３５の値と、算出された客観的測定指標１４５の値およびモーション値２４８との間の相関を識別する。次に、ＳＶＭモデル生成器２４０は、知覚的品質モデル１５５（主観的測定指標１３５を推定する客観的測定指標１３５とモーション値２４８との融合）を生成する。ＳＶＭモデル生成器２４０は、任意のタイプのモデルを生成するために、多くの学習アルゴリズムのうちの任意のものを実装し得ることが当業者には認識されよう。別の実施形態では、ＳＶＭモデル生成器２４０は、任意のタイプの学習アルゴリズム（例えば、ニューラルネットワーク等）を実装する任意の処理装置と置き換えられてもよい。
時間的調節識別器２５０は、知覚的品質モデル１５５をコーナーケースに合わせて調整するよう構成される。特に、非常に高いモーション（即ち、高いモーション値２４８）のシーンについては、知覚的品質モデル１５５は、時間的なマスキング効果を適切に表さない場合がある。従って、時間的調節識別器２５０は、そのようなシーンについて知覚的品質モデル１５５に適用される時間的調節２５５を生成する。一部の実施形態では、時間的調節２５５は、閾値およびパーセンテージを含む。時間的調節２５５は、知覚的品質モデル１５５に関して適用されるものであり、知覚的品質モデル１５５を介して計算される知覚的品質スコア１６５をそのパーセンテージだけ高くする。
採点フェーズ
図３は、本発明の一実施形態による、図１の客観的測定指標生成サブシステム１４０および知覚的品質計算器１６０を示すブロック図である。図示されるように、知覚的品質計算器１５０は、サポートベクターマシン（ＳＶＭ）マッピング器３６０、および時間的調節器３７０（それらに限定されない）を含む。知覚的品質計算器１５０は、採点フェーズ中に動作して、「訓練された」知覚的品質モデル１５５および時間的調節２５５に基づいて、ソースデータ１０５から得られた符号化されたデータ１９５についての知覚的品質スコア１６５を計算する。
ＳＶＭマッピング器３６０は、任意の数の訓練用データ１０５に対応する任意の数の知覚的品質モデル１５５および時間的調節２５５で構成され得る。一部の実施形態では、モデル選択モジュール（図示せず）が、類似のコンテンツの訓練用データ１０５を複数のグループに分類し、次に、評価対象の符号化されたデータ１９５のコンテンツに基づいて、知覚的品質モデル１５５を割り当てる。例えば、或る１組の訓練用データ１０５は、比較的高い品質のビデオを含んでもよく、従って、それに対応する知覚的品質モデル１５５は、高い品質の符号化されたデータ１９５についての知覚的品質スコア１６５を決定するために最適化される。それとは対照的に、別の１組の訓練用データ１０５は、比較的低い品質のビデオを含んでもよく、従って、それに対応する知覚的品質モデル１５５は、低い品質の符号化されたデータ１９５についての知覚的品質スコア１６５を決定するために最適化される。
ソースデータ１０５およびソースデータ１０５から得られた符号化されたデータ１９５を受信したら、客観的測定指標生成サブシステム１４０は、客観的測定指標１４５の値およびモーション値２４８を計算する。一般的に、客観的測定指標１４５の値およびモーション値２４８は、任意の技術的に実行可能な方法で決定され得る。例えば、一部の実施形態は、複数の客観的測定指標計算器を含み、各客観的測定指標計算器は、それぞれ異なる客観的測定指標を構成する。
ＳＶＭマッピング器３６０は、知覚的品質モデル１５５を客観的測定指標１４５およびモーション値２４８に適用して、知覚的品質スコア１６５を生成する。次に、時間的調節器３７０は、コーナーケースの微調整のために、知覚的品質スコア１６５に時間的調節２５５を選択的に適用する。一実施形態において、時間的調節器３７０は、モーション値２４０を、時間的調節２５５に含まれる閾値と比較する。モーション値２４０が閾値を超える場合には、時間的調節器３７０は、高モーションシーンについての知覚的品質モデル１５５の固有の悲観主義を反映するために、知覚的品質スコア１６５を、時間的調節２５５に含まれるパーセンテージだけ高くする。知覚的品質モデル１５５および時間的調節２５５は、視聴者１１０によって観察された品質を追跡するので、知覚的品質スコア１６５は、人間が見た際の符号化されたデータ１８５の品質を反映する。
なお、本明細書に記載される技術は、本発明を限定するものではなく説明するものであり、本発明のより広い趣旨および範囲から逸脱することなく改変され得る。特に、知覚的品質訓練器１５０は、実験において観察された視覚的品質を追跡するよう、複数の客観的に算出された値を融合するモデルを生成するための、任意の数の機械学習処理を実装する任意のモジュールと置き換えられ得る。それに対応して、知覚的品質計算器１６０は、一貫した方法でモデルを適用する任意のモジュールと置き換えられ得る。更に、知覚的品質訓練器１５０は、生成されたモデルを微調整するよう設計された任意の数の調節識別モジュールを含み得るものであり、知覚的品質計算器１６０は、識別された調節を適用する任意の数の調節計算器を含み得る。
訓練用データ１０５、客観的測定指標１４５、主観的測定指標１３５、およびモーション値２４８の粒度（例えば、フレーム毎、シーン毎、ショット毎、６分間のクリップ毎等）は、実装例内および実装例間で様々であり得る。測定単位の一貫性を確実にするために、客観的測定指標１４５、主観的測定指標１３５、および／またはモーション値２４８に、従来の数学的技術（例えば、平均、外挿、補間、最大化等）が任意の組合せで適用され得ることが当業者には認識されよう。更に、知覚的品質訓練器１５０および知覚的品質計算器１６０は、知覚的品質モデル１５５、時間的調節２５５、および／または知覚的品質スコア１６０を任意の粒度で決定するよう構成され得る。
人間によって知覚される品質の予測
図４は、本発明の一実施形態による、知覚的な視覚的品質を予測する方法のステップのフロー図である。この方法のステップは、図１〜図３のシステムを参照して説明されるが、この方法ステップを任意の順序で実装するよう構成された任意のシステムが本発明の範囲に含まれることが当業者には理解されよう。
図示されるように、方法４００はステップ４０４において開始し、ここで、知覚的品質訓練器１５０は訓練用データ２０５を受信する。訓練用データ２０５は、任意の数および長さのビデオクリップを含み得る。例えば、一実施形態において、訓練用データ２０５は、１６本の６分間のクリップを含む。ステップ４０６において、エンコーダ１２０は、訓練用データ２０５から、任意の数の解像度およびビットレートの組合せについての符号化されたテストデータ２９５を得る。一般的に、解像度およびビットレートは、視聴用装置および／またはストリーミング帯域幅についての、ターゲットとするサポート範囲を反映するよう選択される。
ステップ４０８において、知覚的品質訓練器１５０は、符号化された訓練用データ２９５から得られた（即ち、復号化された、スケール変換された等）再構築されたビデオクリップについての主観的測定指標１３５の値を受信する。知覚的品質訓練器１５０は、任意の形態の主観的測定指標１３５の値を取得して、任意の数の後処理（例えば、平均、外れ値となるデータ点の除去等）を行い得る。別の実施形態では、知覚的品質訓練器１５０は、任意の技術的に実行可能な方法で、任意の数の主観的測定指標１３５に対応するデータを受信して処理し得る。
例えば、一部の実施形態では、知覚的品質訓練器１５０は、訓練用データ２０５と、符号化された訓練用データ２９５から得られた（即ち、復号化された、スケール変換された等）再構築されたビデオクリップとを並べての、人間による（例えば、視聴者１００による）一連の比較中に生成されたフィードバックを受信する。各再構築されたビデオクリップについて、フィードバックは、対応する符号化されたテストデータ２９５についての主観的測定指標１３５の値を含む。主観的測定指標１３５の値は、絶対的な所定の品質の尺度（例えば、０〜１００であり、１００は顕著なアーチファクトがないことを表す）に基づく、観察された視覚的品質の平均を反映する。
ステップ４１０において、客観的測定指標生成サブシステム１４０は、符号化されたテストデータ２９５および訓練用データ２０５の両方に基づいて、符号化されたテストデータ２９５についての客観的測定指標１４５の値を計算する。客観的測定指標生成サブシステム１４０は、任意の技術的に実行可能な方法で、客観的測定指標１４５を選択し、次に、客観的測定指標１４５の値を計算し得る。例えば、一部の実施形態では、客観的測定指標生成サブシステム１４０は、詳細の損失の程度（ＤＬＭ）２４２、視覚情報忠実度（ＶＩＦ）２４４、およびアンチノイズＳ／Ｎ比（ＡＮＳＮＲ）２４６の値を計算するよう構成される。
ステップ４１０の一部として、客観的測定指標生成サブシステム１４０は、符号化されたテストデータ２９５と関連づけられた他の任意のタイプの空間的または時間的データも計算し得る。具体的には、客観的測定指標生成サブシステム１４０は、符号化されたテストデータ２９５に含まれる各フレームについてのモーション値（時間的な視覚的差分）２４８を算出する。
ステップ４１２において、サポートベクターマシン（ＳＶＭ）モデル生成器２４０は、機械学習処理を行い、知覚的品質モデル１５５を、客観的測定指標１４５の値とモーション値２４８との融合に基づいて、主観的測定指標１３５の値を追跡するよう訓練する。ステップ４１４において、知覚的品質訓練器１５０は、知覚的品質モデル１５５が高モーションの期間中の主観的測定指標１３５の値を正確に追跡しているか否かを決定する。ステップ４１４において、知覚的品質訓練器１５０が、知覚的品質モデル１５５の精度が許容可能であることを決定した場合には、本方法は直接ステップ４１８に進む。
ステップ４１４において、知覚的品質訓練器１５０が、知覚的品質モデル１５５の精度が許容できないものであることを決定した場合には、本方法はステップ４１６に進む。ステップ４１６において、時間的調節識別器２５０は、知覚的品質モデル１５５に基づいて計算された知覚的品質スコア１６５が許容できないほど悲観的であると判断するための閾値を決定する。時間的調節識別器２５０は、知覚的品質モデル１５５に基づいて計算された知覚的品質スコア１６５に適用された際に知覚的品質スコア１６５の精度を改善する、増加率のパーセンテージも決定する。閾値および増加率のパーセンテージは共に、時間的調節２５５を構成する。
ステップ４１８において、知覚的品質計算器１６０は、知覚的品質モデル１６５と時間的調節２５５（存在する場合）とに基づいて、符号化されたデータ１９５についての知覚的品質スコア１６５を算出する。一般的に、知覚的品質計算器１６０は、任意の技術的に実行可能な方法で、知覚的品質モデル１５５を、符号化されたデータ１９５についての客観的測定指標の値１５５およびモーション値２４８に適用することによって、知覚的品質スコア１６５を計算する。
例えば、一部の実施形態では、知覚的品質計算器１５０は、図５に関して以下に概要を述べる方法のステップを行い、訓練された知覚的品質モデル１５５を利用して、知覚的品質スコア１６５（即ち、主観的測定指標１３５の値）を取得する。特に、訓練フェーズ中に、知覚的品質モデル１６５は、訓練用データ２０５についての人間によるフィードバックを直接組み込む。次に、採点フェーズ中に、訓練された知覚的品質モデル１６５は、この人間によるフィードバックを、任意の数およびタイプのソースデータ１０５に対して一般化することを可能にする。
図５は、本発明の一実施形態による、経験的に訓練されたモデルに基づいて、知覚的な視覚的品質スコアの値を算出する方法のステップのフロー図である。方法のステップは、図１〜図３のシステムを参照して説明されるが、この方法ステップを任意の順序で実装するよう構成された任意のシステムが本発明の範囲に含まれることが当業者には理解されよう。
図示されるように、方法５００はステップ５１６において開始し、ここで、知覚的品質計算器１６０は、知覚的品質モデル１５５および時間的調節２５５を受信する。別の実施形態では、時間的調節２５５は省略され得る。他の実施形態では、時間的調節２５５は、知覚的品質スコア１６５を微調整するよう設計された任意の数の他の調節と置き換えられる。知覚的品質モデル１５５は、任意の技術的に実行可能な方法で生成され得る。例えば、一部の実施形態では、知覚的品質訓練器１４０は、図４に概要を示す方法のステップ４０６〜４１６を行う。
ステップ５１８において、知覚的品質計算器１６０はソースデータ１０５を受信する。ステップ５２０において、エンコーダ１２０は、ソースデータ２０５から、ターゲットの解像度および／またはビットレートについての符号化されたデータ１９５を得る。ステップ５２２において、客観的測定指標生成サブシステム１４０は、符号化されたデータ１９５に基づいて、符号化されたデータ１９５についての（および、必要に応じて、ソースデータ１０５についての）客観的測定指標１４５の値を計算する。客観的測定指標生成サブシステム１４０は、符号化されたデータ１９５の各フレームについてのモーション値２４８も計算する。一般的に、知覚的品質計算器１６０は、知覚的品質モデル１５５における独立変数の値を計算するよう構成される。
ステップ５２４において、サポートベクターマシン（ＳＶＭ）マッピング器３６０は、知覚的品質モデル１５５を、符号化されたデータ１９５についての客観的測定指標１４５の値およびモーション値２４８に適用して、知覚的品質スコア１６５を生成する。ステップ５２６において、時間的調節器３７０は、１以上のフレームのモーション値２４８が、時間的調節２５５において特定されている閾値を超えるか否かを決定する。ステップ５２６において、時間的調節器３７０が、閾値を超えるモーション値２４８はないことを決定した場合には、知覚的品質計算器１６０は、期待される視聴体験を正確に予測するために知覚的品質スコア１６５を考慮し、方法５００は終了する。
ステップ５２６において、時間的調節器３７０が、モーション値２４８のいずれかが閾値を超えていることを決定した場合には、時間的調節器３７０は、高モーションの期間を反映するためにそのフレームを考慮し、方法５００はステップ５２６に進む。ステップ５２６において、時間的調節器３７０は、高モーション期間中の知覚的品質モデル１５５の悲観主義を補償するために、（時間的調節２５５において特定されている）閾値のパーセンテージだけ、知覚的品質スコア１６５を増加させ、方法５００は終了する。
要約すると、本開示の技術は、知覚的ビデオ品質を効率的且つ高信頼度で予測するために用いられ得る。知覚的品質訓練器は、知覚的品質モデルを生成するために、サポートベクターマシン（ＳＶＭ）を実装する。特に、１組の訓練用ビデオについて、ＳＶＭは、１組の客観的測定指標の値と時間的モーションとを、知覚的品質スコア（人間によるビデオ視聴フィードバックに基づく主観的な視覚的品質スコア）に融合させるよう構成される。次に、知覚的品質計算器は、知覚的品質モデルを、ターゲットビデオについての客観的測定指標の値および時間的モーションに適用して、それに対応する知覚的品質測定指標の値（即ち、視覚的品質スコア）を生成する。
人間の視覚系による直接的な観察を用いて、知覚的品質モデルを訓練することは、知覚的品質計算器が、知覚されるビデオ品質を絶対的な方法で高信頼度で予測する品質スコアを効率的に算出することを可能にするので、有利である。それとは対照的に、従来の品質測定指標は、典型的には、現実世界の視聴評価の、コンテンツに依存する一貫しない信頼性の低い指標である、信号忠実度を測定する。更に、最初の、経験に基づく訓練フェーズを、次の、ビデオ毎の決定論的な計算フェーズから分けることにより、本開示の技術は迅速且つ拡張可能なものである。その結果、知覚的品質モデルは、エンコーダの開発および正確な評価に要する時間を低減すると共に、時間的制約がある符号化アプリケーション（例えば、品質を意識したリアルタイムのストリーム切り替え等）を可能にする。
説明の目的で、様々な実施形態の説明を示したが、これらは網羅的であることを意図したものではなく、開示された実施形態に限定することは意図しない。当業者には、記載された実施形態の範囲および趣旨から逸脱することなく、多くの修正および変形が自明である。
本実施形態の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。従って、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウエア、常駐ソフトウェア、マイクロコード等を含む）、または、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形態をとり得るものであり、それらの全てを、本明細書においては一般的に「回路」、「モジュール」、または「システム」と称する。更に、本開示の態様は、具現化されたコンピュータ可読プログラムコードを有する１以上のコンピュータ可読媒体において具現化されたコンピュータプログラム製品の形態をとり得る。
１以上のコンピュータ可読媒体の任意の組合せが用いられ得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、電子、磁気、光、電磁、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、またはそれらの任意の適切な組合せであり得るが、それらに限定されない。コンピュータ可読記憶媒体のより具体的な例（網羅的ではないリスト）としては、１以上のワイヤを有する電気的接続、ポータブルコンピュータのディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光ストレージ装置、磁気ストレージ装置、またはそれらの任意の適切な組合せが挙げられる。本明細書の文脈において、コンピュータ可読記憶媒体は、指示を実行するシステム、装置、またはデバイスによって用いられる、またはそれらに関連して用いられるためのプログラムを収容または格納可能な、任意の有体の媒体であり得る。
上記において、本開示の態様を、本開示の実施形態による方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して説明した。フローチャートおよび／またはブロック図の各ブロック、並びに、フローチャートおよび／またはブロック図のブロックの組合せは、コンピュータプログラムの指示によって実装され得ることが理解されよう。これらのコンピュータプログラム指示は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに供給されてマシンを生成し得るものであり、そのコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される指示が、フローチャートおよび／またはブロック図の１または複数のブロックにおいて指定されている機能／動作の実装を可能にするようになっている。そのようなプロセッサは、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ、またはフィールドプログラマブルであり得るが、それらに限定されない。
図面中のフローチャートおよびブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および処理を示すものである。この点に関して、フローチャートまたはブロック図の各ブロックは、指定されている論理的機能を実装するための１以上の実行可能な指示を含むモジュール、セグメント、またはコードの一部を表し得る。なお、幾つかの別の実装例においては、ブロック内に記されている機能が、図面に記されている順序から外れて生じ得る。例えば、続けて示されている２つのブロックが、含まれる機能に応じて、実際には略並列に実行される場合もあり、または、それらのブロックが逆の順序で実行される場合もある。また、ブロック図および／またはフローチャートの各ブロック、並びに、ブロック図および／またはフローチャートのブロックの組合せは、指定された機能もしくは動作を行う専用ハードウェアに基づくシステムによって、または、専用ハードウェアとコンピュータ指示との組合せによって実装され得る。
上記は本開示の実施形態に向けられているが、本開示の基本的な範囲から逸脱することなく、本開示の他のおよび更なる実施形態も考案され得るものであり、本開示の範囲は添付の特許請求によって決定される。
以下、本発明の好ましい実施形態を項分け記載する。
実施形態１
コンピュータによって実装される、知覚的ビデオ品質を推定する方法において、
複数の決定論的なビデオ特性を表す１組の客観的測定指標を選択する工程と、
１組の訓練用ビデオに含まれる各訓練用ビデオについて、該訓練用ビデオを記述するデータセットであって、知覚的ビデオ品質測定指標についての主観的な値と、前記１組の客観的測定指標についての１組の客観的な値とを含むデータセットを受信する工程と、
前記データセットから、前記１組の客観的測定指標についての１組の値に基づいて、前記知覚的ビデオ品質測定指標の値を決定する複合的関係を導出する工程と、
ターゲットビデオについて、前記１組の客観的測定指標についての第１の１組の値を算出する工程と、
前記知覚的ビデオ品質測定指標についての出力値を生成するために、前記第１の１組の値に前記複合的関係を適用する工程と
を含むことを特徴とする方法。
実施形態２
前記複合的関係を導出する前記工程が、前記データセットについての１以上の訓練処理を行うことを含む、実施形態１に記載のコンピュータによって実装される方法。
実施形態３
所与のデータセットについての１以上の訓練処理を行う工程が、前記データセットに含まれる前記１組の客観的な値に対して、サポートベクターマシンアルゴリズムまたは人工ニューラルネットワークアルゴリズムを適用することを含む、実施形態２に記載のコンピュータによって実装される方法。
実施形態４
前記第１の１組の値に含まれる値が所定の閾値を超えていることを決定する工程と、
前記知覚的品質測定指標についての前記出力値を、調整係数に基づいて修正する工程と
を更に含む、実施形態１に記載のコンピュータによって実装される方法。
実施形態５
前記ターゲットビデオの２つの連続したフレーム間の画素差分に基づいてモーション値を計算する工程と、
前記モーション値が所定の閾値を超えていることを決定する工程と、
前記知覚的品質測定指標についての前記出力値を所定の量だけ増加させる工程と
を更に含む、実施形態１に記載のコンピュータによって実装される方法。
実施形態６
前記１組の客観的測定指標が、詳細の損失の程度および視覚情報忠実度のうちの少なくとも一方を含む、実施形態１に記載のコンピュータによって実装される方法。
実施形態７
前記１組の客観的測定指標がアンチノイズＳ／Ｎ比を含み、前記ターゲットビデオがソースビデオから得られ、前記アンチノイズＳ／Ｎ比についての第１の値を算出する工程が、
前記ソースビデオに第１のローパスフィルタを適用する工程と、
前記ターゲットビデオに前記第１のローパスフィルタより強い第２のローパスフィルタを適用する工程と、
前記フィルタリングされたソースビデオおよび前記フィルタリングされたターゲットビデオに基づいて、１以上のＳ／Ｎ比計算を行う工程と
を含む、実施形態１に記載のコンピュータによって実装される方法。
実施形態８
前記１組の訓練用ビデオに含まれる第１の訓練用ビデオが、圧縮されたデータおよびスケール変換されたデータのうちの少なくとも一方を含む、実施形態１に記載のコンピュータによって実装される方法。
実施形態９
前記知覚的ビデオ品質測定指標についての第１の主観的な値が、前記第１の訓練用ビデオから得られた再構築されたビデオの視覚的品質についての人間の観察によるスコアである、実施形態１に記載のコンピュータによって実装される方法。
実施形態１０
処理装置によって実行された際に、該処理装置に知覚的ビデオ品質を推定させる指示を含むコンピュータ可読記憶媒体において、前記指示が、前記処理装置に、
複数の決定論的なビデオ特性を表す１組の客観的測定指標を選択する工程と、
１組の訓練用ビデオに含まれる各訓練用ビデオについて、該訓練用ビデオを記述するデータセットであって、知覚的ビデオ品質測定指標についての主観的な値と、前記１組の客観的測定指標についての１組の客観的な値とを含むデータセットを受信する工程と、
前記データセットから、前記１組の客観的測定指標についての１組の値に基づいて、前記知覚的ビデオ品質測定指標の値を決定する複合的関係を導出する工程と、
ターゲットビデオについて、前記１組の客観的測定指標についての第１の１組の値を算出する工程と、
前記知覚的ビデオ品質測定指標についての出力値を生成するために、前記第１の１組の値に前記複合的関係を適用する工程と
を行うことによって知覚的ビデオ品質を推定させることを特徴とする、コンピュータ可読記憶媒体。
実施形態１１
前記複合的関係を導出する前記工程が、前記データセットについての１以上の訓練処理を行うことを含む、実施形態１０に記載のコンピュータ可読記憶媒体。
実施形態１２
前記ターゲットビデオの２つの連続したフレーム間の画素差分に基づいてモーション値を計算する工程と、
前記モーション値が所定の閾値を超えていることを決定する工程と、
前記知覚的品質測定指標についての前記出力値を所定の量だけ増加させる工程と
を更に含む、実施形態１０に記載のコンピュータ可読記憶媒体。
実施形態１３
前記１組の訓練用ビデオに含まれる第１の訓練用ビデオが、第１のオリジナルビデオから得られた圧縮されたデータを含む、実施形態１０に記載のコンピュータ可読記憶媒体。
実施形態１４
前記知覚的ビデオ品質測定指標についての第１の主観的な値が、前記第１のオリジナルビデオの視覚的品質と、前記第１の訓練用ビデオから１以上の伸長処理に基づいて得られた再構築された訓練用ビデオの視覚的品質との間の変化量を示す、実施形態１３に記載のコンピュータ可読記憶媒体。
実施形態１５
前記知覚的ビデオ品質測定指標についての第１の主観的な値が、前記第１の訓練用ビデオから１以上の伸長処理に基づいて得られたビデオの視覚的品質についての人間の観察によるスコアである、実施形態１３に記載のコンピュータ可読記憶媒体。
実施形態１６
前記１組の客観的測定指標がアンチノイズＳ／Ｎ比を含み、前記ターゲットビデオがソースビデオから得られ、前記アンチノイズＳ／Ｎ比についての第１の値を算出する工程が、
前記ソースビデオに第１のローパスフィルタを適用する工程と、
前記ターゲットビデオに前記第１のローパスフィルタより強い第２のローパスフィルタを適用する工程と、
前記フィルタリングされたソースビデオおよび前記フィルタリングされたターゲットビデオに基づいて、１以上のＳ／Ｎ比計算を行う工程と
を含む、実施形態１０に記載のコンピュータ可読記憶媒体。
実施形態１７
前記複合的関係が方程式である、実施形態１０に記載のコンピュータ可読記憶媒体。
実施形態１８
前記第１の１組の値に前記複合的関係を適用する前記工程が、前記方程式を、前記第１の１組の値に含まれる値について解くことを含む、実施形態１７に記載のコンピュータ可読記憶媒体。
実施形態１９
複数の決定論的なビデオ特性を表す１組の客観的測定指標に基づいて、知覚的ビデオ品質を推定するよう構成されたシステムにおいて、
複数のオリジナルビデオから１組の訓練用ビデオを生成するよう構成されたエンコーダと、
知覚的品質訓練器であって、
前記１組の訓練用ビデオに含まれる各訓練用ビデオについて、該訓練用ビデオを記述するデータセットであって、知覚的ビデオ品質測定指標についての主観的な値と、前記１組の客観的測定指標についての１組の客観的な値とを含むデータセットを受信し、
前記データセットから、前記１組の客観的測定指標についての１組の値に基づいて、前記知覚的ビデオ品質測定指標の値を決定する複合的関係を導出する
よう構成された知覚的品質訓練器と、
知覚的品質計算器であって、
ターゲットビデオについて、前記１組の客観的測定指標についての第１の１組の値を算出し、
前記知覚的ビデオ品質測定指標についての出力値を生成するために、前記第１の１組の値に前記複合的関係を適用する
よう構成された知覚的品質計算器と
を含むことを特徴とするシステム。
実施形態２０
前記複合的関係を導出することが、前記データセットについての１以上の訓練処理を行うことを含む、実施形態１９に記載のシステム。
実施形態２１
コンピュータによって実装される、知覚的なビデオ品質を推定する方法において、
１組の訓練用ビデオに含まれる各訓練用ビデオについて、該訓練用ビデオを記述するデータセットであって、知覚的ビデオ品質測定指標についての主観的な値、モーションについての１組の客観的な値、並びに、アンチノイズＳ／Ｎ比、詳細の損失の程度、および視覚情報忠実度を含む１組の客観的測定指標についての１組の客観的な値を含むデータセットを受信する工程と、
前記データセットから、前記モーションについての１組の値および前記１組の客観的測定指標についての１組の値に基づいて、前記知覚的ビデオ品質測定指標の値を決定する複合的関係を導出する工程と、
ターゲットビデオについて、前記モーションについての第１の１組の値および前記１組の客観的測定指標についての第１の１組の値を算出する工程と、
前記知覚的ビデオ品質測定指標についての出力値を生成するために、前記モーションについての前記第１の１組の値および前記１組の客観的測定指標についての前記第１の１組の値に、前記複合的関係を適用する工程と、
前記モーションについての前記第１の１組の値に含まれる第１のモーション値が所定の閾値を超えていることを決定する工程と、
前記知覚的品質測定指標についての前記出力値を、前記モーションと関連づけられた調整係数に基づいて修正する工程と
を含むことを特徴とする方法。
１００ システム
１０２ 仮想プライベートクラウド
１０５ 訓練用データ（ソースデータ）
１２０ エンコーダ
１２５ デコーダ
１３５ 主観的測定指標
１４０ 客観的測定指標生成サブシステム
１４５ 客観的測定指標
１５０ 知覚的品質訓練器
１５５ 知覚的品質モデル
１６０ 知覚的品質計算器
１６５ 知覚的品質スコア
１９５ 符号化されたデータ
２０５ 訓練用データ
２４０ ＳＶＭモデル生成器
２４８ モーション値
２５０ 時間的調節識別器
２５５ 時間的調節
２９５ 符号化された訓練用データ
３６０ サポートベクターマシン（ＳＶＭ）マッピング器
３７０ 時間的調節器

Claims (21)

  1. コンピュータによって実装される、知覚的ビデオ品質を推定する方法において、
    複数の決定論的なビデオ特性を表す１組の客観的測定指標を選択する工程と、
    １組の訓練用ビデオに含まれる各訓練用ビデオについて、該訓練用ビデオを記述する、知覚的ビデオ品質測定指標についての主観的な値と、前記１組の客観的測定指標についての１組の客観的な値とを受信する工程と、
    前記主観的な値、前記１組の客観的な値、および前記１組の訓練用ビデオの少なくとも１つにおける画素のモーションの測定値の間の相関に基づいて、前記知覚的ビデオ品質測定指標に対する前記１組の訓練用ビデオの少なくとも１つのための寄与を定める複合的関係を導出する工程と、
    ターゲットビデオについて、前記１組の客観的測定指標についての第１の１組の値を算出する工程と、
    前記知覚的ビデオ品質測定指標についての出力値を生成するために、前記第１の１組の値に前記複合的関係を適用する工程と
    を含むことを特徴とする方法。
  2. 前記複合的関係を導出する前記工程が、前記主観的な値および前記１組の客観的な値についての１以上の訓練処理を行うことを含む、請求項１記載のコンピュータによって実装される方法。
  3. 所与の主観的な値および１組の客観的な値についての１以上の訓練処理を行う工程が、前記１組の客観的な値に対して、サポートベクターマシンアルゴリズムまたは人工ニューラルネットワークアルゴリズムを適用することを含む、請求項２記載のコンピュータによって実装される方法。
  4. 前記第１の１組の値に含まれる値が所定の閾値を超えていることを決定する工程と、
    前記知覚的ビデオ品質測定指標についての前記出力値を、調整係数に基づいて修正する工程と
    を更に含む、請求項１記載のコンピュータによって実装される方法。
  5. 前記ターゲットビデオの２つの連続したフレーム間の画素差分に基づいてモーション値を計算する工程と、
    前記モーション値が所定の閾値を超えていることを決定する工程と、
    前記知覚的品質測定指標についての前記出力値を所定の量だけ増加させる工程と
    を更に含む、請求項１記載のコンピュータによって実装される方法。
  6. 前記１組の客観的測定指標が、詳細の損失の程度および視覚情報忠実度のうちの少なくとも一方を含む、請求項１記載のコンピュータによって実装される方法。
  7. 前記１組の客観的測定指標がアンチノイズＳ／Ｎ比を含み、前記ターゲットビデオがソースビデオから得られ、前記アンチノイズＳ／Ｎ比についての第１の値を算出する工程が、
    前記ソースビデオに第１のローパスフィルタを適用する工程と、
    前記ターゲットビデオに前記第１のローパスフィルタより強い第２のローパスフィルタを適用する工程と、
    前記フィルタを適用されたソースビデオおよび前記フィルタを適用されたターゲットビデオに基づいて、１以上のＳ／Ｎ比計算を行う工程と
    を含む、請求項１記載のコンピュータによって実装される方法。
  8. 前記１組の訓練用ビデオに含まれる第１の訓練用ビデオが、圧縮されたデータおよびスケール変換されたデータのうちの少なくとも一方を含む、請求項１記載のコンピュータによって実装される方法。
  9. 前記知覚的ビデオ品質測定指標についての第１の主観的な値が、前記１組の訓練用ビデオに含まれる第１の訓練用ビデオから得られた再構築されたビデオの視覚的品質についての人間の観察によるスコアである、請求項１記載のコンピュータによって実装される方法。
  10. 処理装置によって実行された際に、該処理装置に知覚的ビデオ品質を推定させる指示を含むコンピュータ可読記憶媒体において、前記指示が、前記処理装置に、
    複数の決定論的なビデオ特性を表す１組の客観的測定指標を選択する工程と、
    １組の訓練用ビデオに含まれる各訓練用ビデオについて、該訓練用ビデオを記述する、知覚的ビデオ品質測定指標についての主観的な値と、前記１組の客観的測定指標についての１組の客観的な値とを受信する工程と、
    前記主観的な値、前記１組の客観的な値、および前記１組の訓練用ビデオの少なくとも１つにおける画素のモーションの測定値の間の相関に基づいて、前記知覚的ビデオ品質測定指標の値に対する前記１組の訓練用ビデオの少なくとも１つのための寄与を定める複合的関係を導出する工程と、
    ターゲットビデオについて、前記１組の客観的測定指標についての第１の１組の値を算出する工程と、
    前記知覚的ビデオ品質測定指標についての出力値を生成するために、前記第１の１組の値に前記複合的関係を適用する工程と
    を行うことによって知覚的ビデオ品質を推定させることを特徴とする、コンピュータ可読記憶媒体。
  11. 前記複合的関係を導出する前記工程が、前記主観的な値および前記１組の客観的な値についての１以上の訓練処理を行うことを含む、請求項１０記載のコンピュータ可読記憶媒体。
  12. 前記ターゲットビデオの２つの連続したフレーム間の画素差分に基づいてモーション値を計算する工程と、
    前記モーション値が所定の閾値を超えていることを決定する工程と、
    前記知覚的ビデオ品質測定指標についての前記出力値を所定の量だけ増加させる工程と
    を更に含む、請求項１０記載のコンピュータ可読記憶媒体。
  13. 前記１組の訓練用ビデオに含まれる第１の訓練用ビデオが、第１のオリジナルビデオから得られた圧縮されたデータを含む、請求項１０記載のコンピュータ可読記憶媒体。
  14. 前記知覚的ビデオ品質測定指標についての第１の主観的な値が、前記第１のオリジナルビデオの視覚的品質と、前記第１の訓練用ビデオから１以上の伸長処理に基づいて得られた再構築された訓練用ビデオの視覚的品質との間の変化量を示す、請求項１３記載のコンピュータ可読記憶媒体。
  15. 前記知覚的ビデオ品質測定指標についての第１の主観的な値が、前記第１の訓練用ビデオから１以上の伸長処理に基づいて得られたビデオの視覚的品質についての人間の観察によるスコアである、請求項１３記載のコンピュータ可読記憶媒体。
  16. 前記１組の客観的測定指標がアンチノイズＳ／Ｎ比を含み、前記ターゲットビデオがソースビデオから得られ、前記アンチノイズＳ／Ｎ比についての第１の値を算出する工程が、
    前記ソースビデオに第１のローパスフィルタを適用する工程と、
    前記ターゲットビデオに前記第１のローパスフィルタより強い第２のローパスフィルタを適用する工程と、
    前記フィルタを適用されたソースビデオおよび前記フィルタを適用されたターゲットビデオに基づいて、１以上のＳ／Ｎ比計算を行う工程と
    を含む、請求項１０記載のコンピュータ可読記憶媒体。
  17. 前記複合的関係が方程式である、請求項１０記載のコンピュータ可読記憶媒体。
  18. 前記第１の１組の値に前記複合的関係を適用する前記工程が、前記方程式を、前記第１の１組の値に含まれる値について解くことを含む、請求項１７記載のコンピュータ可読記憶媒体。
  19. 複数の決定論的なビデオ特性を表す１組の客観的測定指標に基づいて、知覚的ビデオ品質を推定するよう構成されたシステムにおいて、
    複数のオリジナルビデオから１組の訓練用ビデオを生成するよう構成されたエンコーダと、
    知覚的品質訓練器であって、
    前記１組の訓練用ビデオに含まれる各訓練用ビデオについて、該訓練用ビデオを記述する、知覚的ビデオ品質測定指標についての主観的な値と、前記１組の客観的測定指標についての１組の客観的な値とを受信し、
    前記主観的な値、前記１組の客観的な値、および前記１組の訓練用ビデオの少なくとも１つにおける画素のモーションの測定値の間の相関に基づいて、前記知覚的ビデオ品質測定指標の値に対する前記１組の訓練用ビデオの少なくとも１つのための寄与を定める複合的関係を導出する
    よう構成された知覚的品質訓練器と、
    知覚的品質計算器であって、
    ターゲットビデオについて、前記１組の客観的測定指標についての第１の１組の値を算出し、
    前記知覚的ビデオ品質測定指標についての出力値を生成するために、前記第１の１組の値に前記複合的関係を適用する
    よう構成された知覚的品質計算器と
    を含むことを特徴とするシステム。
  20. 前記複合的関係を導出することが、前記主観的な値および前記１組の客観的な値についての１以上の訓練処理を行うことを含む、請求項１９記載のシステム。
  21. コンピュータによって実装される、知覚的なビデオ品質を推定する方法において、
    １組の訓練用ビデオに含まれる各訓練用ビデオについて、該訓練用ビデオを記述するデータセットであって、知覚的ビデオ品質測定指標についての主観的な値、前記訓練用ビデオ内における画素のモーションの測定値、モーションについての１組の客観的な値、並びに、アンチノイズＳ／Ｎ比、ディテールの損失の程度、および視覚情報忠実度を含む１組の客観的測定指標についての１組の客観的な値を含むデータセットを受信する工程と、
    前記データセットから、前記主観的な値、前記１組の客観的な値、および前記画素のモーションの測定値の間の相関に基づいて、前記知覚的ビデオ品質測定指標の値を決定する複合的関係を導出する工程と、
    ターゲットビデオについて、前記モーションについての第１の１組の値および前記１組の客観的測定指標についての第１の１組の値を算出する工程と、
    前記知覚的ビデオ品質測定指標についての出力値を生成するために、前記モーションについての前記第１の１組の値および前記１組の客観的測定指標についての前記第１の１組の値に、前記複合的関係を適用する工程と、
    前記モーションについての前記第１の１組の値に含まれる第１のモーション値が所定の閾値を超えていることを決定する工程と、
    前記知覚的品質測定指標についての前記出力値を、前記モーションと関連づけられた調整係数に基づいて修正する工程と
    を含むことを特徴とする方法。
JP2017559335A 2015-05-11 2016-05-09 知覚的ビデオ品質を予測する技術 Active JP6707563B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/709,230 US10007977B2 (en) 2015-05-11 2015-05-11 Techniques for predicting perceptual video quality
US14/709,230 2015-05-11
PCT/US2016/031477 WO2016183011A1 (en) 2015-05-11 2016-05-09 Techniques for predicting perceptual video quality

Publications (2)

Publication Number Publication Date
JP2018522448A JP2018522448A (ja) 2018-08-09
JP6707563B2 true JP6707563B2 (ja) 2020-06-10

Family

ID=56072434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017559335A Active JP6707563B2 (ja) 2015-05-11 2016-05-09 知覚的ビデオ品質を予測する技術

Country Status (9)

Country Link
US (2) US10007977B2 (ja)
EP (1) EP3295669A1 (ja)
JP (1) JP6707563B2 (ja)
KR (1) KR102110022B1 (ja)
CN (1) CN107852496B (ja)
AU (2) AU2016259613B2 (ja)
CA (1) CA2985771C (ja)
MX (1) MX370014B (ja)
WO (1) WO2016183011A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9532080B2 (en) 2012-05-31 2016-12-27 Sonic Ip, Inc. Systems and methods for the reuse of encoding information in encoding alternative streams of video data
US9357210B2 (en) 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
US9922411B2 (en) * 2015-11-30 2018-03-20 Disney Enterprises, Inc. Saliency-weighted video quality assessment
US10798387B2 (en) 2016-12-12 2020-10-06 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
WO2019009449A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10587669B2 (en) * 2017-12-20 2020-03-10 Facebook, Inc. Visual quality metrics
US10721477B2 (en) * 2018-02-07 2020-07-21 Netflix, Inc. Techniques for predicting perceptual video quality based on complementary perceptual quality models
US10887602B2 (en) * 2018-02-07 2021-01-05 Netflix, Inc. Techniques for modeling temporal distortions when predicting perceptual video quality
US11361416B2 (en) * 2018-03-20 2022-06-14 Netflix, Inc. Quantifying encoding comparison metric uncertainty via bootstrapping
CN108401150B (zh) * 2018-03-22 2019-08-27 浙江科技学院 一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法
WO2019209006A1 (ko) * 2018-04-24 2019-10-31 주식회사 지디에프랩 스트리밍 파일의 해상도 개선 방법
US11200591B2 (en) * 2018-05-30 2021-12-14 Paypal, Inc. Electronic content based on neural networks
US20200021815A1 (en) 2018-07-10 2020-01-16 Fastvdo Llc Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (vqa)
US20200050710A1 (en) * 2018-08-09 2020-02-13 Autodesk, Inc. Techniques for generating designs that reflect stylistic preferences
EP3808086A1 (en) * 2018-08-14 2021-04-21 Huawei Technologies Co., Ltd. Machine-learning-based adaptation of coding parameters for video encoding using motion and object detection
US11302288B2 (en) 2018-09-28 2022-04-12 Apple Inc. Ambient saturation adaptation
US11024260B2 (en) 2018-09-28 2021-06-01 Apple Inc. Adaptive transfer functions
US10672363B2 (en) 2018-09-28 2020-06-02 Apple Inc. Color rendering for images in extended dynamic range mode
KR102212442B1 (ko) * 2018-12-13 2021-02-04 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
KR102192980B1 (ko) * 2018-12-13 2020-12-18 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
WO2020158095A1 (ja) * 2019-02-01 2020-08-06 株式会社Ｎｔｔドコモ 評価装置
JP7033097B2 (ja) * 2019-03-18 2022-03-09 Kddi株式会社 ネットワーク監視システムおよび方法
CN110121110B (zh) * 2019-05-07 2021-05-25 北京奇艺世纪科技有限公司 视频质量评估方法、设备、视频处理设备及介质
CN110248189B (zh) * 2019-06-14 2021-07-27 北京字节跳动网络技术有限公司 一种视频质量预测方法、装置、介质和电子设备
CN110139169B (zh) * 2019-06-21 2020-11-24 上海摩象网络科技有限公司 视频流的质量评估方法及其装置、视频拍摄系统
EP3800882A1 (en) 2019-10-02 2021-04-07 Deutsche Telekom AG Information-adaptive mixed deterministic/machine-learning-based bit stream video-quality model
KR102395038B1 (ko) 2019-11-20 2022-05-09 한국전자통신연구원 기계 학습 기반 특징과 지식 기반 특징을 이용한 비디오 화질 자동 측정 방법 및 이를 위한 장치
EP3826311A1 (en) 2019-11-22 2021-05-26 MK Systems USA Inc. Systems and methods for measuring visual quality degradation in digital content
US20230054130A1 (en) 2019-12-31 2023-02-23 Google Llc Optimal format selection for video players based on predicted visual quality using machine learning
AU2021200417A1 (en) * 2020-01-23 2021-08-12 Modaviti Emarketing Pvt Ltd Artificial Intelligence Based Perceptual Video Quality Assessment System
US20210233259A1 (en) * 2020-01-28 2021-07-29 Ssimwave Inc. No-reference visual media assessment combining deep neural networks and models of human visual system and video content/distortion analysis
US11527019B2 (en) * 2020-05-15 2022-12-13 Amazon Technologies, Inc. Iterative media object compression algorithm optimization using decoupled calibration of perceptual quality algorithms
KR20220043764A (ko) * 2020-09-29 2022-04-05 삼성전자주식회사 비디오 품질 평가 방법 및 장치
US11451847B2 (en) 2020-11-06 2022-09-20 Samsung Electronics Co., Ltd. Methods and systems for generating personalized data-streaming for a multimedia playback device
CN112529048B (zh) * 2020-11-23 2022-12-06 浙江大学 一种基于感知体验的产品展示视频辅助设计方法和装置
CN113011315B (zh) * 2021-03-16 2022-12-16 华南理工大学 一种基于超快速结构感知深度网络的地铁轨道识别方法
US11533427B2 (en) * 2021-03-22 2022-12-20 International Business Machines Corporation Multimedia quality evaluation
US11483472B2 (en) 2021-03-22 2022-10-25 International Business Machines Corporation Enhancing quality of multimedia
US11716531B2 (en) 2021-03-22 2023-08-01 International Business Machines Corporation Quality of multimedia
KR20220135724A (ko) * 2021-03-31 2022-10-07 서울대학교산학협력단 통계적 분포를 따르는 데이터의 처리 방법 및 장치
CN113315995B (zh) * 2021-05-06 2023-04-14 北京智通东方软件科技有限公司 提高视频质量的方法、装置、可读存储介质及电子设备
CN113891069A (zh) * 2021-10-21 2022-01-04 咪咕文化科技有限公司 一种视频质量的评估方法、装置及设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11341526A (ja) * 1998-05-22 1999-12-10 Matsushita Electric Ind Co Ltd 画質測定装置
US6876381B2 (en) * 2001-01-10 2005-04-05 Koninklijke Philips Electronics N.V. System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics
CN1157059C (zh) * 2002-01-29 2004-07-07 北京工业大学 一种结合运动特征的视频质量评价方法
US7733372B2 (en) * 2003-12-02 2010-06-08 Agency For Science, Technology And Research Method and system for video quality measurements
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
WO2006099743A1 (en) * 2005-03-25 2006-09-28 Algolith Inc. Apparatus and method for objective assessment of dct-coded video quality with or without an original video sequence
CN100469153C (zh) * 2005-09-29 2009-03-11 深圳清华大学研究院 视频场景切换检测方法
KR101316699B1 (ko) * 2009-11-24 2013-10-10 연세대학교 산학협력단 동영상 화질평가 시스템, 동영상 송신장치, 동영상 수신장치 및 그의 방법
US8494283B2 (en) * 2010-12-21 2013-07-23 Microsoft Corporation Image quality assessment
US8787454B1 (en) * 2011-07-13 2014-07-22 Google Inc. Method and apparatus for data compression using content-based features
US8804815B2 (en) 2011-07-29 2014-08-12 Dialogic (Us) Inc. Support vector regression based video quality prediction
WO2013025220A1 (en) * 2011-08-18 2013-02-21 Nikon Corporation Image sharpness classification system
JP2014130427A (ja) * 2012-12-28 2014-07-10 Samsung R&D Institute Japan Co Ltd 画質推定装置、画質推定方法および画質推定プログラム
JP6506957B2 (ja) * 2014-12-04 2019-04-24 日本放送協会 客観画質評価装置及びプログラム

Also Published As

Publication number Publication date
CN107852496A (zh) 2018-03-27
AU2016259613A1 (en) 2017-11-30
US20180300869A1 (en) 2018-10-18
US20160335754A1 (en) 2016-11-17
CA2985771C (en) 2020-05-26
AU2016259613B2 (en) 2019-07-18
CN107852496B (zh) 2021-06-15
MX2017014482A (es) 2018-09-06
CA2985771A1 (en) 2016-11-17
AU2019250226A1 (en) 2019-11-07
US10475172B2 (en) 2019-11-12
EP3295669A1 (en) 2018-03-21
JP2018522448A (ja) 2018-08-09
MX370014B (es) 2019-11-28
KR20180003609A (ko) 2018-01-09
KR102110022B1 (ko) 2020-05-12
US10007977B2 (en) 2018-06-26
WO2016183011A1 (en) 2016-11-17

Similar Documents

Publication Publication Date Title
JP6707563B2 (ja) 知覚的ビデオ品質を予測する技術
AU2020203139B2 (en) Techniques for robustly predicting perceptual video quality
KR102523149B1 (ko) 부트스트래핑을 통한 지각 품질 모델 불확실성의 정량화
CN111684800B (zh) 用于预测感知视频质量的方法和系统
US11700383B2 (en) Techniques for modeling temporal distortions when predicting perceptual video quality
AU2017355533B2 (en) Techniques for improving the quality of subjective data
US11557025B2 (en) Techniques for training a perceptual quality model to account for brightness and color distortions in reconstructed videos
US11532077B2 (en) Techniques for computing perceptual video quality based on brightness and color components

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200520

R150 Certificate of patent or registration of utility model

Ref document number: 6707563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250