JP4494649B2 - 基準映像を用いることなくデジタル映像の品質を推定する方法と装置 - Google Patents

Description

【０００１】
本出願は、１９９９年４月１３日に出願された米国仮出願６０／１２９，１３２の利益を主張することを請求するものであり、その出願の内容は本明細書に援用されている。
【０００２】
本発明は映像処理システムに関し、特に、本発明はデジタル映像の品質を推定する方法と装置に関する。
【０００３】
開示の背景
デジタル映像業界では、知覚できる映像信号の生成とエンコーディングと転送と記憶と表示を行う様々な場面でその信号の品質を確実に維持することが強く要求されている。映像品質を維持することによって、この品質を確実に素早く繰返し測定する必要がある。エンドユーザに対する品質を確実に維持し、エラー源を識別するための品質推定が必要であって、現実には人間の観察者が表示される映像の品質を評価しているが、人間が映像処理や転送を行うために利用する複雑なネットワークの中心を調査することは現実的ではない。従って、映像処理／転送システムのどの場面でも映像品質を自動的に推定する必要がある。
【０００４】
１９９８年４月３日に出願された米国特許出願０９／０５５，０７６は、オートメーション化された映像品質推定の１つのアプローチを開示している。このアプローチでは、検査中の信号（映像シーケンス）が同じ信号の基準と比較されて、顕著な差（Ｊｕｓｔ Ｎｏｔｉｃｅａｂｌｅ Ｄｉｆｆｅｒｅｎｃｅｓ（ＪＮＤｓ））の心理物理学的単位でこれらの２つの信号を区別する可能性が求められる。
【０００５】
広範囲の種類の歪みと意図する信号に対する人間の主観的な映像品質の格付けを予測する際に映像品質を評価するための基準に基づくアプローチは正確でロバストであることがわかっている。しかしながら、直接放送衛星（ＤＢＳ）とケーブルとインターネット伝送等のアプリケーション用デジタル映像ネットワークでは、処理／送信された信号と比較するために意図される信号（「基準」）は決して利用されないか、もしくは、ほとんど利用されない。そのため、これらのアプリケーションで本技術を使用することは実践的でない。
【０００６】
従って、基準信号が得られない状況でデジタル映像ピクチャ品質値を信頼してアクセスできる技術が必要である。
【０００７】
発明の概要
映像信号の品質を評価する本技術のデメリットは、基準映像信号の利用、もしくは、その利用可能性のない画像品質評価方法と装置によって克服される。本装置は、ビジョンプリプロセッサと仮想基準生成部と仮想歪み生成部と画像品質測定基準生成部を備える。ビジョンプリプロセッサは、入力映像シーケンスに対してビジョンに適した変換を施して、ビジョンエネルギーマップを生成する。仮想基準生成部はビジョンエネルギーマップに関する処理を行って仮想基準を生成するが、仮想歪み生成部は、仮想基準を生成する仮想基準生成部で用いられる歪み推定値を生成する。画像品質測定基準生成部では仮想歪みと仮想基準を用いて、基準画像シーケンスを用いることなく入力映像シーケンスに対する画像品質測定基準を生成する。
【０００８】
添付の図面と共に以下の詳細な説明を検討することによって、本発明の教唆するところを理解することができる。
【０００９】
理解を容易にするために、できる限り複数の図面で共通の同要素を示すために同じ参照番号を用いている。
【００１０】
詳細な説明
本発明は、以下の３つの対話的処理を必要とするロバストなアプローチを基準無映像品質推定部に提供する。
【００１１】
１．（映像ストリームとも呼ばれる）映像シーケンス内のもっともらしい(likely)信号成分の特徴づけ
２．もっともらしい歪みの位置と物理的大きさの推定
３．各信号に対する歪みの主観的な大きさの予測
一般的に、基準を用いないシステムはシングルエンドと呼ばれる。即ち、画像品質監視システムは、シングルエンド画像品質監視システムである。対照的に、基準を用いるシステムは、ダブルエンドシステムと一般的に呼ばれる。
【００１２】
図１は、前述の３つのプロセスを備える基準無映像品質推定プロセス１００（即ち、シングルエンドプロセス）を示す高レベルのフロー図を示す。工程１０２では、もっともらしい信号を特徴づけることによって、画像が乱れているかどうかを人間が確認する支援を行う「内部基準」と同様の仮想基準が提供される。工程１０４では、入力映像データに関して処理する歪み推定部は、「ノイズ」、即ち、エンコードや転送やその他の原因で発生する映像ストリーム歪みの物理的な大きさとその位置の量的な推定値を提供する。加算器１０８によって仮想歪み（ノイズ）は仮想基準に追加され、「信号＋ノイズ」が生成される。次に、その信号単独（仮想基準）と信号＋ノイズの推定値は、既知のＪＮＤビジョンモデルのオペレーションを一般化して、信号単独のシーケンスと信号＋ノイズシーケンス間で画素に基づく比較を行うのではなく、領域に基づく比較ができる工程１０６の顕著な差（ＪＮＤ）プロセスに与えられる。既知のＪＮＤビジョンモデルは１９９８年４月３日に出願された米国特許出願０９／０５５，０７６に開示されている。「局所領域ＪＮＤモデル」によって、信号やノイズの正確な知識が不要で視覚的歪みの主観的な大きさを推定することができる。
【００１３】
仮想基準の特徴付けプロセスの１つの特徴は、特定の信号成分を示すために求められる映像特徴（例えば、移動エッジ）を複数の映像フレームに渡って追跡する光フロー計算にある。映像シーケンスで同じ特徴をもつノイズを含む多数のサンプルを追跡することによって、それらのサンプルからもっともらしい一定の信号を統計的に抽出することができる。次に、この仮想基準の１つを同じ映像領域内で検出された歪み（例えば、ＤＣＴ量子化によるアーチファクト（ａｒｔｉｆａｃｔｓ）とエッジリンギング）と比較することができる。
【００１４】
また、局所領域ＪＮＤモデルは、現在のやり方から著しく進歩したものである。信号単独と信号＋ノイズを画素毎に比較する代りに、局所領域ＪＮＤモデルでは、映像ストリームのマルチフレーム領域とマルチ画素領域に蓄積された信号とノイズの領域に基づくローカルエリア統計量が用いられる。ここでは局所領域ＪＮＤモデルが必要である。何故ならば、基準無しのアプリケーションでは、基準の画素解像度情報を確実に利用できないからである。しかしながら、以下で議論されるが、局所領域ＪＮＤアーキテクチャでは、映像ストリームの重いテクスチャ領域の歪みの可視性を正確に予測する等の際に一般的に複数の重要なメリットがある。
【００１５】
また、基準／歪み推定プロセスの確実性を改善するために、本発明は、（矢印１１０で示される）歪み推定部のオペレーションと仮想基準生成部のオペレーション間の緩和的相互作用と、注入された既知の歪みを含む既知の基準シーケンスを用いて、検査済みの基準に基づくモデルに関して基準無推定部のパラメータを調整する校正手続を提供する。
【００１６】
図２に示されるように、図１の推定部１００は、一般的に、汎用コンピュータ２０２で実行されるソフトウエアルーチン、即ち、ルーチン２００で実現される。汎用コンピュータ２０２は、中央処理装置（ＣＰＵ）２０４とメモリ２０６と入力／出力回路２０８と、各種の周知の支援回路２１０、例えば、クロックとキャッシュと電源等を備える。汎用コンピュータ２０２は、複数のルーチンを実行するまで、それらのルーチンをメモリ２０６、例えば、ランダムアクセスメモリとリードオンリーメモリとディスクドライブ等に記憶させる。ルーチン２００の実行によって、汎用コンピュータ２０２は、基準無品質推定部１００として動作する特定用途向コンピュータに変わる。推定部１００の機能は、ハードウエアやソフトウエアやハードウエアとソフトウエアの組み合わせで実現可能である。その上、推定部の機能は、特定用途向集積回路（ＡＳＩＣ）で実現可能である。
【００１７】
図３は、推定部１００の機能ブロック図を示す。推定部１００は、ビジョンプリプロセッサ３００と仮想基準生成部３０２と映像品質測定基準生成部３０８を備える。推定部１００の各要素については以下で議論される。
【００１８】
入力映像ストリームは、画素毎にビジョンと同様な変換を映像に対して施すビジョンプリプロセッサ３００（ＶＰＰ）に入力される。この変換によって、様々な時空間周波数と時空間の方向に対してヒューマンビジュアルシステムの基礎感度が得られる。特に、この変換によって、固定エッジとフリッカーフィールドに対する応答だけでなく移動エッジに対する応答も得られる。また、それはこれらの画素のビジョンチャネル形式への一から多への変換である。
【００１９】
ＶＰＰは、１９９８年４月３日に出願された米国特許出願０９／０５５，０７６の既存の基準に基づくＪＮＤモデルに基づくものであるが、（動きに対して敏感なフィルタを含む）一般化された時空間チャネルを用いている。公開された既知の心理物理学的検出データを用いてＶＰＰの校正が実行される。そのモデルの出力、即ち、局所的／心理物理学的に重み付けられた空間−時間コントラストは、基準に基づくモデルと同じＪＮＤ単位をもつ。特定の時点でのＶＰＰの出力はビジョンエネルギーマップ（ＶＥＭ）であって、これらのマップの時間シーケンスによってＶＥＭストリームが形成される。マップの個々の値は、ビジョンエネルギー（ＶＥ）、即ち、一つの空間位置で方向付けられた応答を示す。この値のマップ内の位置（チャネルと空間的位置）はビジョンマップロケーション（ＶＭＬ）である。
【００２０】
各ＶＥＭは、仮想基準生成部３０２内の信号推定生成部３０４と歪み推定生成部３０６に同時に与えられる。これらの生成部の各々によって実行されたプロセスは、ＶＥＭ内の様々な信号の特徴をもつ態様と歪みの特徴をもつ態様を独立に探索するための少数（〜１０）のオペレータからなる。この各オペレータの出力は、各ＶＭＬの重み値セットである。各重み値（０と１の間の数）は、その位置での一部エネルギーのオペレータによる推定値を示し、それはオペレータが検出するように設計された信号源や歪み源に基づくものである。各オペレータでは重み値のほとんどがゼロであり、ＶＥＭストリームの比較的小さな時空間領域では非ゼロの重み値が与えられる。従って、全てのＶＭＬ上のオペレータの出力は、自然なセグメンテーション、即ち、入力されたＶＥＭストリームがそのオペレータの特徴を含みそうな領域にクラスタリングされると考えられる。「信号セグメントｋ」（ＳＳ_k）は、信号オペレータｋがＶＥＭストリームに割り当てる複数の値のアレイである。同様に、「歪みセグメントｋ」（ＤＳ_k）は、歪みオペレータｋがＶＥＭストリームに割り当てる複数の値のアレイである。
【００２１】
（仮想基準に寄与する）信号推定プロセス３１０では、オペレータの出力は、ビジュアルシーンの同じ種類のオブジェクト、即ち、特徴に起因すると予測される低レベル特徴のクラスタを示す。これらのオペレータのうちの幾つかには、光フロー分析と固定エッジ検出とテクスチャ検出と平滑領域検出が含まれる。例えば、光フロー分析によって時間に対するクラスタが生成される。尚、各クラスタは、連続するＶＥＭの個々の画像特徴の予測時空間パスに対応する。他方、テクスチャセグメンテーションから得られるクラスタの比較的広い空間領域内には多数のＶＭＬが含まれる。尚、この各クラスタは、知覚的に密集した局所テクスチャに対応する。これらの例が示すように、移動エッジと重いテクスチャ領域と、広く均一に、即ち、ゆっくり変化する背景等の様々な種類の知覚的に目立つ特徴からおそらく得られた複数の部分に映像ストリームをセグメント化するように信号推定プロセス３１０が設計される。この計算の重要な面は、セグメンテーションが必ずしも完璧ではないことである。即ち、信号の種類が確実に推定されないＶＭＬを考慮に入れると、分類を決定する試みはなされない。このことは、信号と歪み特性を確実に推定できる映像ストリーム領域内だけで知覚できる歪みの大きさを以下で説明されるＪＮＤ処理で推定できることを確実にする。
【００２２】
信号推定プロセス３１０は、現実の世界でもっともらしい信号の知識を当てにしている。例えば、複数のオブジェクトが密集して、時間と空間中を滑らかに動く傾向があるという事実は、光フロー、即ち、時間の点間の対応の計算に対してかなりの拘束条件となる。周知のピラミッドベース（マルチ解像度）の光フロー計算を行って、時間と空間上のＶＭＬをクラスタリングすることができる。このクラスタリングによって、クラスタ内の複数のＶＭＬの平均を取ることによって、もっともらしい信号を抽出することができる。この平均化プロセスを使って仮想基準を抽出することができ、それに対する様々な歪みの知覚可能性をアクセスすることができる。
【００２３】
信号推定プロセスと共に、複数のＶＥＭに歪み推定プロセス３１８の処理を施す。この中で、オペレータは様々なエンコーダと転送システムから予想される歪み（例えば、ＭＰＥＧ−２の濃淡ムラやウェーブレットのエッジリンギング）と一般的な種類の歪み（例えば、ノイズとぼけ）に対応する。もっともらしい信号特性（例えば、光フロー分析を行う際での、密集したオブジェクトに関する滑らかな動きに対する拘束条件）を考慮に入れて信号オペレータを設計でき、また、設計すべきである一方で、歪みオペレータは既知の歪み態様にフィルタを合わせる単純な標準画像処理技術に基づくと期待できることに注目されたい。また、信号オペレータと同じように、ＶＥＭストリームを完全にカバーするためには歪みオペレータは必要ない。例えば、非常に高品質の映像では、非ゼロの歪みオペレータの重み値がないＶＭＬがたくさんあるはずである。
【００２４】
歪み推定プロセス３０６には、もっともらしい歪みに一致するフィルタに適したオペレータが含まれる。特定の技術には以下のものが含まれる。
【００２５】
・（追加されたＪＰＥＧ準拠の濃淡ムラをもつ広く均一な領域があるかどうかを決定するために役立つ）コードブロックの周期性のあるアマダール変換での低振幅ピークの抽出
・移動エッジの近傍にありそうなアーチファクトを決定するために役立つシンチレーション検出
・マクロブロックのアーチファクト（ＭＰＥＧ−２）とウェーブレットのリンギング（ＭＰＥＧ−４）を明らかにするための信号のピラミッド／フーリエ分析
【００２６】
信号と歪み推定生成部３０４、３０６では、様々なオペレータの出力が互いに独立に得られ、信号分類部３１２と歪み分類部３２０に与えられる。歪み分類部３２０と信号分類部３１０では、独立な推定値には緩和プロセスの処理が施されて、強い信号の重み値によって歪みの重み値が変調され、また、互いに変調され、同様に、強い歪みの重み値によって信号の重み値が変調され、また、互いに変調される。もし信号オペレータによってシンチレーティング領域が移動エッジとして識別されると、例えば、画像のシンチレーションには、大きな歪みオペレータの重み値が与えられる。歪み分類部３２０の出力は、（修正された歪みセグメントｋ、即ち、ＲＤＳ_Kを備える）歪みオペレータ出力上で修正された重み値のセットである。同様に、初期歪みの重み値ＤＳ_Kによって、信号オペレータ出力を修正する（修正された信号セグメントＲＳＳ_Kを生成する）信号分類部３１２を制御するための信号オペレータの重み値ＳＳ_Kが変調される。例えば、（信号オペレータによって決定される）均一な映像領域で検出された濃淡ムラには追加の重み値が与えられる。そして、修正された信号とノイズの重み値には再重み付けプロセスの処理が再び施される。この緩和プロセスは、信号と歪みに対する不変の重み値のセットが得られるまで、即ち、別の停止基準に達するまで続く（パス３１３、３２１によって表される）。計算速度を保障するために、一般的に２，３回以下の緩和処理が可能である。
【００２７】
また、この段階では、得られた信号や歪み領域内のＶＥＭストリームの個別の種類、即ち、チャネル（例えば、特定の時空間周波数で方向づけられたエッジ）に対する重み値を各チャネルに対する領域平均値と取りかえることができる。特に、テクスチャ領域では、特定の時空間位置の特定エネルギーによるのではなく、その領域内のチャネルのエネルギーの全統計値によって知覚対象の大部分が決定される。従って、領域の平均値によって、各領域内で知覚可能な歪みの推定値が確実に生成される。
【００２８】
各ＶＭＬでは、分類部の出力ＲＳＳ_K、ＲＤＳ_Kはそれぞれ、信号重み値正規化部３１４と歪み重み値正規化部３２２に与えられる。（信号や歪みが確実に検出されない所を除いて）これらの重み値の合計が単位元となるように分類部の出力が正規化されて、全ての信号と歪みオペレータに対する一連の重み値が構成される。これらの重み値には、信号／歪みプロセス３１０、３１８が敏感に反応する信号と歪みの各々が原因である各ＶＥＭ内のエネルギーの一部の推定値が含まれる。
【００２９】
次に、各ＶＥＭに対して信号重み値ＲＳＳ_Kの全てがｋに関して合計されて、信号重み値アレイＲＳＳが生成され、推定された各ＶＭＬのエネルギーの一部はある種の信号によるものであることが示される。同様に、全歪み重み値ＲＤＳ_Kがｋに関して合計されて、歪みによる各ＶＭＬのエネルギーの一部のアレイＲＤＳが生成される。次に、（マルチプライヤ３１６を用いて）重み値ＲＳＳに、全ＶＭＬ_S上の成分に関するＶＥＭが乗算されて、信号（信号エネルギー、即ち、ＳＥ）によるＶＥＭのエネルギーを表すアレイが生成される。このアレイは仮想基準と呼ばれる。仮想基準は、実際の基準画像シーケンスを置き換えるものである。同様に、マルチプライヤ３２４でＲＤＳとＶＥＭを乗算することによって、歪みエネルギーＤＥを表す個別アレイが計算される。加算器３２６で２つのアレイ５Ｅ、ＤＥを単純に加算することによって、信号＋歪みによるＶＥＭエネルギーの推定値が生成される。この信号は仮想テスト値と呼ばれる。多くの場合（即ち、信号も歪みも確実に推定されなかった領域を除いて）、どのＶＭＬでのＳＥ＋ＤＥの値もＶＭＬの総エネルギーに等しいことに注意されたい。
【００３０】
図４は、特有な信号と歪みの推定部では入力映像ストリームから仮想基準と仮想テスト値を抽出するプロセスの一例を模式的に示す。この例では、信号推定プロセスでの光フロー分析では、映像４００の３つのフレームから移動する立方体を追跡し、源映像４００の３フレームから意図する信号４０２を抽出する。同時に、濃淡ムラ歪み推定部は、１フレームの映像（フレームｔ）内のブロック状歪み４０４を識別する。次に、図の乗算ポイント４０６で示されるように、信号推定部と歪み推定部では独立に、ビジョンプリプロセッサ３００によって生成されるＶＥＭストリームから個々のＶＭＬ_Sのエネルギーに重み付けし、加算器４００で仮想基準に加算される歪み成分と仮想基準を生成して仮想テスト値を生成する。
【００３１】
この図では１つの信号推定部と１つの歪み推定部だけのオペレーションが示されていることに注意されたい。実際に実行するには、多数の信号／歪み推定部が同時に動作し、それらの推定値は図３に示され上述された信号／歪み分類部によって改善される。また、図４のダッシュ線は映像ストリームを直接処理する信号／歪み推定部を示すが、これは図示する目的だけのものであって、実際に実行する場合は、これらのオペレータは映像から直接ではなく、ＶＥＭストリームから入力することに注意されたい。
【００３２】
図３に戻って、映像ストリームの各領域から信号と歪みエネルギーを抽出した後で、推定部１００は、映像品質測定基準生成部３０８を利用して信号エネルギーと信号＋歪みエネルギーを比較することによって、視覚的品質の測定基準を計算する。前ビジョンのモデリング後にその比較自体での測定基準がパターン化され、ビジョンプリプロセッサ３００は人間の時空間周波数の感度等の低レベルの視覚的拘束条件を獲得する。実際には、２つのビジョンモデル要素、即ち、そのアルゴリズムを単純な心理物理学的実験と一貫性のあるものにする低レベルビジョン（例えば、ＶＥＭの計算）と、特徴ベクトル要素を合成して信号品質の判定を行うための高レベルの視覚的な比較との間に、信号／歪み推定計算がサンドイッチされる。
【００３３】
その処理でのこの観点から、１９９８年４月３日に出願された米国特許出願０９／０５５，０７６で開示されたＪＮＤアーキテクチャを利用することができる。各ＶＭＬに対する信号単独と信号＋歪みエネルギーの個々の値は、基準ベースのＪＮＤモデルの各フロントエンド部で計算された基準と基準＋テストの個々の値に対応する。基準に基づくモデルでは、これらの２つのエネルギーには成分毎にインチャネルマスキング３２８Ａ、３２８Ｂと呼ばれる非線形変換が施される。このマスキングによって、エネルギーの中程度の変化量を強調し、エネルギー値が非常に大きいときにはエネルギーの変化をあまり強調しないように各エネルギーに測定基準が課される。この変換では、信号（もしくは、ノイズ）成分の変化が特定の強度に達したときにはあまり強調しない。
【００３４】
インチャネルマスキングの次にはクロスマスキング３３０Ａ、３３３Ｂがあるので、異なるＶＭＬからのエネルギーは互いに打ち消される。本オペレーションの１つの目的は、にぎやかな背景中での変化はほとんど知覚できないという知覚現象をシミュレートすることである。
【００３５】
最後に、変換されたＶＥＭ_Sは知覚の歪み測定基準３３２と比較されて、その結果は品質格付けの推定値となる。抽出された信号と信号＋歪みを比較することは、入力映像ストリームと仮想基準を比較することと等価である。しかしながら、それは厳密にはノイズ消去プロセスではない。何故ならば、信号推定プロセスと分類プロセスから得られる不完全な信号の統計量からノイズが消去された映像を検索できないからである。
【００３６】
実験データの代わりに基準ベースのビジョンモデルを用いることで、基準無モデル（実映像の基礎的で心理物理学的な格付けと主観的な格付けの両方）を校正するために必要とされる実験の多くをなくすことができる。この努力を合理的にすることは可能である。何故ならば、実データの信頼できる代わりとなるもので基準ベースのモデルが検査されているからである。このモデルベースの校正を行うことによって、歪みのある一連の映像を選択し、基準ベースのモデルを用いて歪みのない対応物と比較し、歪みのある映像だけを基準無モデルに対する入力情報として用い、そのモデルのパラメータを設定して基準無の出力と基準ベースの出力の間で最高の相関関係を作ることができる。この校正によって、基準無モデルは基準ベースのモデルの基礎的ビジョン属性を継承したものになる。従って、基準無モデルのロバスト性が改善される。
【００３７】
４つのポイントで、推定部ｌ００は、現実の格付けデータと比較して、もしくは、信頼できる基準ベースのビジョンモデルを用いてその代わりとなるものと比較することによって検査される。
１．）基準ベースのビジョンモデルで対応する要素と比較することによって、ビジョンプリプロセッサ３００が検査されて、基準モデルが校正されたことが確かめられる。また、正確さについてさらに保証するために、心理物理学的検出データと比較してＶＰＰを校正する。
２．）テスト映像の信号と歪みへの分離（信号と歪み）については以下のように検査される。
（ａ）歪みの大きい映像を基準ベースのビジョンモデルに与えて、歪みの特徴成分が大きくて信号成分が小さいことを検査し、
（ｂ）歪みのない映像をモデルに与え、歪み成分が小さく信号成分が大きいことを検査する。また、そのモデルを用いて、特定の信号と歪みを割り当てる映像の複数の場所を検査することによってきめ細かい評価が行われる。
３．）２つの測定基準を比較することによって、信号と歪みの特徴が計算された後に行われるマスキングが検査される。即ち、歪みのある映像単独から出力された基準無モデルと、歪みのある映像とそれに対応する歪みのない映像の両方から出力された基準ベースのモデルである。同じ映像のシングルスティミュラス格付けとダブルスティミュラス継続的品質スケール（ＤＳＣＱＳ）を比較することによって、十分な一致が得られるための評価基準が指示される。
４．）モデル全体の出力と新しい基準無し格付けデータを比較することによって、基準の無いアルゴリズムの最終検査が行われる。選ばれた歪みモードと代表的な種類の画像を含む歪みのある映像のデータベースを利用して格付けデータが得られる。その映像には、草とカーペットと、移動エッジと固定エッジと、幅広く均一な領域等の一般的なテクスチャが含まれる。歪みには、点のようなノイズを追加したり、ＭＰＥＧ−２やＭＰＥＧ−４を用いて映像を圧縮したり、かすみやフリッカーを起こすものがある。格付けスケールは、ＩＴＵ資料５００−Ｂで記録されているＤＳＣＱＳのシングルスティミュラスと同等のものである。シングル歪みのある映像（評価実験で用いられるものと同じもの）は推定部を経て、また、推定された品質格付けは報告された主観的な格付けと比較される。
【００３８】
一旦校正されると、基準無推定部１００を用いて基準映像が利用できないアプリケーションでの画像品質を推定することができる。そのため、映像転送システムやデジタル映像スタジオの内部映像処理要素が映像品質に与える影響を検査することができる。
【００３９】
本発明の教唆を取り入れた様々な実施形態を示してその詳細を説明してきたが、当業者であれば、それらの教唆を取り入れたその他の多くの変更された実施形態を簡単に考案することができる。
【図面の簡単な説明】
【図１】 図１は、本発明の基準無視覚的品質推定部の処理を示す高レベルのフロー図を示す。
【図２】 図２は、本発明を実施するために利用できる汎用コンピュータのブロック図である。
【図３】 図３は、本発明の基準無視覚的品質推定部の詳細な機能ブロック図である。
【図４】 図４は、図１の推定部で用いられる仮想的基準を生成する処理のフロー図を示す。
【符号の説明】
３００ ビジョンプリプロセッサ
３１０ 信号推定プロセス
３１２ 信号分類部
３１４ 信号重み値正規化部
３０４ 仮想基準
３１８ 歪み推定プロセス
３２０ 歪み分類部
３２２ 歪み重み値正規化部
３０６ 仮想歪み
３２８Ａ インチャネルマスキング
３３０Ａ クロスチャネルマスキング
３２８Ｂ インチャネルマスキング
３３０Ｂ クロスチャネルマスキング
３３２ 歪み測定基準

Claims (19)

1. シングルエンドの入力画像映像ストリームにおいてピクチャ品質の人間の主観的評価の推定値を提供する装置であって、シングルエンドの画像品質監視システム（１００）を備え、
   前記シングルエンドの画像品質監視システムは、
   ビジョンプリプロセッサ（３００）と、
   前記ビジョンプリプロセッサに接続された仮想基準生成部（３０４）と、
   前記仮想基準生成部に接続された画像品質測定基準生成部（３０８）と、
   を有する装置。
2. 前記ビジョンプリプロセッサ（３００）は、前記入力映像ストリームを受け、前記入力映像ストリームに対してビジョンに適した変換を行ってビジョンエネルギーマップ出力ストリームを生成する、請求項１に記載の装置。
3. 前記仮想基準生成部（３０４）は、前記ビジョンプリプロセッサ（３００）から前記ビジョンエネルギーマップ出力ストリームを受け、
   （ａ）複数の特徴オペレータを使用して（３１０、３１２、３１４）、前記ビジョンエネルギーマップにおいて所定の様々な種類の知覚的に目立つ特徴を探索し、前記歪みオペレータの各々に関連する前記歪みに基づいて前記エネルギーの前記オペレータ推定値を示す特徴重み値（ＤＳ _ｋ 、ＲＤＳ _ｋ ）を生成し、
   （ｂ）前記ビジョンエネルギーマップを前記歪み重み値によって重みづけを行う（３２４）、
   請求項１に記載の装置。
4. 前記シングルエンドの画像品質監視システム（１００）は、歪み推定生成部（３０６）を備える、請求項１に記載の装置。
5. 前記歪み推定生成部（３０６）は、前記ビジョンプリプロセッサ（３０６）から前記ビジョンエネルギーマップ出力ストリームを受け、
   （ａ）複数の歪みオペレータを使用して（３１８、３２０、３２２）、所定の様々な種類の歪みを探索し、前記歪みオペレータの各々に関連する前記歪みに基づいて前記エネルギーの前記オペレータの推定値を示す歪み重み値（ＤＳ _ｋ 、ＲＤＳ _ｋ ）を生成し、
   （ｂ）前記ビジョンエネルギーマップを前記歪み重み値によって重みづけする（３２４）、
   請求項４に記載の装置。
6. 前記画像品質測定基準生成部（３０８）は、実際の基準画像を使用する代わりに、前記仮想基準生成部（３０２）からの出力を使用することによって推定された前記シングルエンドの画像品質を提供し、
   前記信号推定生成部（３０４）の前記出力は、前記画像品質測定基準生成部（３０８）に直接加えられており、
   前記歪み推定生成部（３０６）の前記出力は、前記信号推定生成部（３０４）の前記出力が加えられる加算器（３２６）を通して前記画像品質測定基準生成部（３０８）に加えられており、
   前記画像品質測定基準生成部（３０８）は、前記信号推定生成部（３０４）の前記出力と前記加算器（３２６）の前記出力とを比較し（３２２）、前記画像品質の推定値を提供する、請求項１に記載の装置。
7. 前記ビジョンプリプロセッサによって実行される前記ビジョンに適した変換によって、様々な時空間周波数と時空間の方向とに対して前記ヒューマンビジュアルシステムの前記基礎感度を得る、請求項１に記載の装置。
8. 前記仮想基準生成部（３０４）は、
   前記ビジョンプリプロセッサ（３００）の前記出力に接続されており、前記オペレータを使用して、前記知覚的に目立つ特徴を探索し、前記特徴重み値（ＳＳ _ｋ ）を生成する信号推定プロセッサ（３１０）と、
   前記信号推定プロセッサ（３１０）の出力に接続されており、前記特徴重み値（ＳＳ _ｋ ）を変調する信号分類部（３１２）と、
   前記変調された特徴重み値（ＲＳ _ｋ ）を正規化する信号重み値正規化部と、
   を備える請求項１又は７に記載の装置。
9. 前記仮想基準生成部は、前記ビジョンエネルギーマップを前記正規化された重み値によって重み付けを行い前記仮想基準を生成するマルチプライヤ（３１６）を更に備える、請求項８に記載の装置。
10. 前記歪み推定生成部（３０６）は、
    前記ビジョンプリプロセッサ（３００）の前記出力の前記出力に接続されており、前記歪みオペレータを使用して、前記様々な種類の歪みを探索し前記歪み重み値（ＤＳ _ｋ ）を生成する歪み推定プロセッサ（３１８）と、
    前記歪み推定プロセッサ（３１８）の前記出力に接続され、前記歪み重み値（ＤＳ _ｋ ）を変調する歪み分類部（３２０）と、
    前記変調された歪み重み値を正規化する歪み重み値正規化部と、
    を備える請求項１及び７〜９のいずれか一項に記載の装置。
11. 前記歪み推定生成部は、前記ビジョンエネルギーマップを前記正規化された歪み重み値によって重み付けを行うマルチプライヤ（３２４）を更に備える、請求項１０に記載の装置。
12. 前記歪みは、エンコーダ及び転送システムからの歪みに対応する、請求項１〜１１のいずれか一項に記載の装置。
13. 前記特徴重み値は前記歪み重み値を変調し、前記歪み重み値は前記特徴重み値を変調する、前記請求項８又は９に従属する請求項１０又は請求項１１に記載の装置。
14. 画像シーケンスの画像品質の人間の主観的評価を推定する方法であって、
    前記画像シーケンスをビジョンに適した変換を用いて前処理し、ビジョンエネルギーマップを生成するステップと、
    前記ビジョンエネルギーマップ出力ストリームを受けるステップと、
    （ａ）複数のオペレータを使用して、前記ビジョンエネルギーマップにおいて所定の種類の知覚的に目立つ特徴を探索し、前記オペレータの各々に関連する前記特徴に基づいて前記エネルギーの前記オペレータ推定値を示す特徴重み値を生成する、ステップと、
    （ｂ）前記ビジョンエネルギーマップを前記特徴重み値によって重み付けを行って仮想基準を生成し、複数の歪みオペレータを使用して所定の種類の歪みを探索するとともに前記歪みオペレータの各々に関連する前記歪みに基づいて前記エネルギーの前記オペレータ推定値を示す歪み重み値を生成する、ステップと、
    前記ビジョンエネルギーマップを前記歪み重み値によって重み付けを行うステップと、
    前記仮想基準から画像品質測定基準を生成するステップであって、該画像品質測定基準は実際の基準画像の代わりに前記仮想基準を用いることによってシングルエンド化されているステップと、
    を備え、
    前記画像品質測定基準を生成するステップは、前記歪み重み値によって重み付けされた前記ビジョンエネルギーマップと前記仮想基準との前記合計と、前記仮想基準と比較する工程を含む方法。
15. 前記仮想基準を生成するステップは、
    前記特徴オペレータを使用して、前記知覚的に目立つ特徴を探索するとともに前記重み値（ＳＳ _ｋ ）を生成する工程と、
    信号分類ステップにおいて前記特徴重み値を変調する工程と、
    信号重み値正規化ステップにおいて前記変調された重み値を正規化する工程と、
    を含む、請求項１４に記載の方法。
16. 前記ビジョンエネルギーマップを前記特徴重み値によって重み付けを行って前記仮想基準を生成するステップは、前記ビジョンエネルギーマップを前記正規化された重み値によって重み付けする工程を含む、請求項１５に記載の方法。
17. 前記歪みを推定するステップは、
    前記歪みオペレータを使用して、前記様々な種類の歪みを探索するとともに前記歪み重み値を生成する推定工程と、
    前記歪み重み値を変調する歪み分類工程と、
    前記変調された歪み重み値を正規化する歪み重み値正規化工程と、
    を備える、請求項１４〜１６のいずれか一項に記載の方法。
18. 前記ビジョンエネルギーマップを前記歪み重み値によって重み付けを行うステップは、前記ビジョンエネルギーマップを前記正規化された歪み重み値によって乗算する工程を含む、請求項１７に記載の方法。
19. 前記信号分類ステップ及び前記歪み分類工程は、前記特徴重み値を前記歪み重み値によって変調し、前記歪み重み値を前記特徴重み値によって変調する、請求項５又は６に従属する請求項１７又は１８に記載の方法。

Images