JP5453242B2 - 映像品質評価方法およびシステム - Google Patents

Description

本発明は、映像信号の品質を評価する方法およびシステム、特に、映像信号品質に対する反復フレームの影響を評価する方法およびシステムに関する。

映像品質検査が長年にわたって行なわれてきた。映像のためのデジタル圧縮技術の到来に先立って、正式な主観的試験が、比較的安定な、一連の規格による方法と共に使用されていた。簡単に言えば、多くの素人の観察者が選ばれ、視覚的な能力に関して検査され、制御された環境において約１０乃至３０分間、一連の試験場面を示され、様々なやり方のうちの１つで場面の品質を評価するように依頼される。通常、フル・リファレンス型試験については、まず、基準シーケンスが示され、試験中のシーケンスが続き、観者は基準シーケンスとの比較で試験中のシーケンスを評価するように依頼される。主観的測定値のさらなる詳細は関連する規格ＩＴＵ−Ｒ ＢＴ．５００「Methodology for the Subjective Assessment of the Quality of Television Picture」において見つかる。この規格は、１９７４年に最初に発行されＣＣＩＲのＲｅｃ．５００として正式に知られている。また、この書類のバージョン７は、主観型試験に対して過去に提案された方法を包含している。

人間の観者を使用する主観型試験には、有効な結果が従来のテレビジョン・システムおよび圧縮されたテレビジョン・システムの両方向けに生成され得るという点、および、広範囲の静止画および動画アプリケーションに亘ってうまく機能するという点で、幾つかの利点がある。しかしながら、試験の正確な設定が得られる結果に影響する場合があり、綿密な設定および制御が必要で、統計的に意味ある結果を得るために、多くの人間の観者が選択され、選り分けられねばならないという点で、はっきりとした不利な点がある。これらの不利な点は主観型試験を複雑で時間のかかるものにし、その結果、主観型試験が開発目的では適用可能かもしれない一方、運用上のモニタリング、生産ライン試験等に向いていない。

したがって、上記の人間の主観型試験の不利な点を克服するために、本技術分野で、自動化されまた通常コンピュータに基づいた映像比較技術を用いた映像品質の自動化された評価を提供することも知られている。自動で画像品質分析を行なう先行技術システムは、アメリカ合衆国、オレゴン州９７０７７、ビーヴァートン、私書箱５００、１４２００ＳＷカール・ブラウンのテクトロニクス社のＰＱＡ３００システムである。ＰＱＡ３００は、５秒の映像試験シーケンスの２秒の部分を測定することによって機能する。映像試験シーケンスはＣＤ ＲＯＭからダウンロードされるか映像から記録され、試験中のシステムに対して再生される。次に、試験中のシステムの出力が格納され、ＤＳＰで加速された（DSP accelerated）ハードウェアを用いて解析が２秒のシーケンスに対して行なわれる。その測定は、「画像品質評価」と呼ばれる画像品質の１つの数値という結果になる。ＰＱＡ３００は、JND Metrixという人間の視覚システム・モデルを使用して、映像情報の３つの異なる種類の分析（空間的分析、時間的分析、およびフルカラー分析）を行なって画像品質評価を生成する。さらに、ＰＱＡ３００は、基準画像と試験画像との間のＰＳＮＲ差分とその強度に関する、アニメ化された図の形態で表示されるＰＳＮＲ値をもたらす。したがって、要約すれば、ＰＱＡ３００は、映像品質値を生成するために、ＰＳＮＲ測定値だけでなく試験および基準映像シーケンスを分析することができる。

しかしながら、問題が、上記の品質メトリックを生成する試験シーケンスと基準シーケンスとの直接的な比較に関して発生し得る。例えば、映像信号中の知覚可能な品質劣化の重大な源は時間的な人為的影響、すなわち失われた元のフレームに代えてフレームが繰り返されることに由来する。フレーム反復の１つの源は伝送エラーである。伝送エラーは映像信号を不定の期間にわたって固まらせることがある。バッファ・オーバーフローおよびアンダフローは同様の結果につながり得る。しかしながら、より低い帯域幅のシステム（例えば：携帯電話での映像ストリーミング）用に設計された送信技術の到来で、新たな一連の時間的人為的影響が現われた。これらは、送信のために情報全体を縮小するために、時間的な副サンプリングを使用することによって作成される。映像ストリームに対する影響は、基準信号を劣化した信号と比較すると明らかになる周期的なフレーム消失、または通常のフレームの反復として記述され得る。多くの場合ユーザに感知できないが、それらが一連の誤りバーストを作成するので、これらの規則的に繰り返されるフレームは品質評価システムにとって問題である。また、これらの反復フレームのパターンは複雑であり得る。最後に、上記のように、時間的な副サンプリングの影響は、実際の伝送エラーとオーバーラップする。

本発明は、時間的な人為的影響が特定され、時間的な副サンプリングの規則的なフレーム反復特性と誤動作の不規則なフレーム反復特性を区別することを可能にする自動化された映像品質評価のための方法およびシステムをもたらすことによって、上記の特定された問題に取り組む。

より詳しくは、本発明は、複数の映像フレームを具備する映像信号を評価する方法であって、
１）前記複数の映像フレームにおいて、あるフレームから次のフレームで変化している画素の個数を分析するステップと、
２）現フレーム内に存在する前記画素のセット割合が前フレーム内に存在する前記画素と一致する場合、フレームを反復であると特定するステップと、
３）前記映像信号内の反復フレームのパターンを記録するステップと、
４）前記パターンを走査して所与の反復フレームが時間的反復パターンの一部であるかを判断するステップと、
５）前記時間的反復パターンの一部であると判断されていない反復フレームを特定することによって品質の指標を生成するステップと、
を具備する方法を提供する。

好ましい実施形態では、本方法は、
６）参照される複数フレームの第１ウィンドウを前記パターン内で第１フレームに対して定め、前記パターン内で同サイズの第２ウィンドウを定めることによって、前記パターンを走査するステップと、
７）前記第２ウィンドウを、前記第１ウィンドウに対するオフセットで配置するステップと、
８）前記第１および第２ウィンドウ内の反復フレームのパターンを比較し、前記パターン間の不一致の数を記録するステップと、
９）前記比較を一連のオフセットにわたってオフセットの各値について反復し、結果を記録するステップと、
１０）前記第１および第２ウィンドウについてのウィンドウ・サイズの新しい値を選択し、前記比較を前記一連のオフセット値にわたって繰り返すステップと、
１１）前記一連のオフセット値にわたって不一致値に関して最小のばらつきをもたらす標的ウィンドウ・サイズを決定するステップと、
を含む。

本方法は、好ましくは、前記標的ウィンドウ・サイズによってサイズが決定された第１部分内の反復フレームのパターンを同サイズの複数の第２部分内の反復フレームのパターンと比較し、かつ前記第１部分内の前記パターンと前記複数の第２部分の各々における前記パターンとの不一致が生じている個数を記録することによって、前記品質の指標を生成するステップをさらに具備する。

好ましくは、本方法は、前記品質の指標を品質の１つ以上の既知の指標と組み合わせて知覚された平均オピニオン評点を生成するステップを含む。

本発明の実施形態において、前記分析することは各フレームの一部に対して行なわれ、前記部分は前記フレームのエッジを除く。本発明の態様として、各フレームは複数の画素を具備する。好ましい実施形態において、隣接する複数フレームからの２つの画素は、前記第１フレーム内の画素が前記第２フレーム内の対応する画素の所定の閾値内にある場合に、一致していると特定される。

本発明の実施形態において、決定機構は画素に対して閾値を使用し、あるフレーム内の全画素が前フレーム内の対応する画素の所定の閾値内にある場合、該フレームが反復であると識別される。

また、さらなる側面から、本発明は、また、コンピュータ・システムによって実行されると該システムに請求項のいずれかの方法を実行させるように設計されているコンピュータ・プログラムまたは１組のプログラムを提供する。

本発明は、また、複数の映像フレームを具備する映像信号評価システムであって、あるフレームから次のフレームで変化している画素の個数を分析することによって反復フレームを検出し、反復フレームのパターンを記録する手段と、前記パターンを走査する手段であって、前記パターンを走査して所与の反復フレームが時間的反復パターンの一部であるかを判断し、かつ前記時間的反復パターンの一部であると判断されていない反復フレームを特定することによって品質の指標を生成する手段と、を具備するシステムを提供する。

好ましくは、前記走査する手段は、参照される複数フレームの第１ウィンドウを前記パターン内で第１フレームに対して定め、かつ前記パターン内で同サイズの第２ウィンドウを定めるための手段であって、前記第２ウィンドウは前記第１ウィンドウに対するオフセットで配置されている手段と、前記第１および第２ウィンドウ内の反復フレームのパターンを比較し、前記パターン間の不一致の数を記録する手段と、前記比較を一連のオフセットにわたってオフセットの各値について反復し、結果を記録する手段と、前記第１および第２ウィンドウについてのウィンドウ・サイズの新しい値を選択し、前記比較を前記一連のオフセット値にわたって繰り返す手段と、前記一連のオフセット値にわたって不一致値に関して最小のばらつきをもたらす標的ウィンドウ・サイズを決定する手段と、を具備する。

本発明のさらなる特徴および利点は、その実施形態（これらは、例のみとして提供されている）の次の記述から、また添付図面を参照することによって、明らかになるだろう。図面において、類似の参照数字は類似の部分を指している。

本発明のシステムの全体的なブロック図。 図１のシステムをより詳しく示すブロック図。 本発明の実施形態への入力のためのダウン・サンプリング後の映像信号を示す図。 本発明の実施形態によるタグの連なりの分析を示す図。 本発明の分析器の個々の部分を示すシステム・ブロック線図 本発明の実施形態の統合器によって行なわれるステップを図示するフローチャート。 本発明の第２の、ソフトウェアに基づいた実施形態を示す図。

図１は、発明の実施例の一般的な配置の全体的なシステム・ブロック図を示している。図１において、基準シーケンス・フィールド／フレームを具備する基準シーケンス８が、検出器モジュール２へ入力される。同様に、試験シーケンスまたは映像フィールド／フレームの劣化したシーケンス６も、検出器モジュール２へ入力される。試験シーケンスは、検査されるシステム（録画機器、放送システム、または、例えば映像コーデック等）へ基準シーケンスを入力し次いで試験中のシステムの出力を試験シーケンスとして取得することによって得られる。検出器モジュール２は入力基準フィールド／フレームおよび試験映像フィールド／フレームの様々な映像特性を検出するように動き、映像特性値を生成する。映像特性値は、次いで、統合モジュール４に出力される。統合モジュール４は、複数の映像特性値を統合して予測される映像品質値１０を与える。映像品質値１０は、そこから出力される。

図２に示されていように、劣化した映像シーケンス６は多くの分析器２２乃至２８の劣化シーケンス入力へ入力される。使用される分析器の選択は適用形態に依存し得る。既知の分析器は、空間周波数分析器と、輝度およびクロミナンス・ピーク信号対雑音比（ＰＳＮＲ）分析器と、エッジ検出器分析器と、テクスチャ分析器と、を含む。これらの既知の分析器の目的および動作は、後に簡潔に概説される。しかしながら、詳細な記述は特許公表ＥＰ １６３６７５５において利用可能である。本発明は、有利なことに、後に詳細に記述される時間的規則性分析器の形態の、分析のさらなる形態をもたらす。ある分析器が省略され得る適用形態の一例は携帯電話の信号のリアルタイム評価である。現在の携帯用ハンドセットの限定により、テクスチャ分析のようないくつかのプロセッサに集中する動作は省略され得る。

既知の分析器モジュールの上記の種類のうち、空間周波数分析器は入力の試験映像フィールド／フレームおよび基準映像フィールド／フレームを分析するように動き、ピラミッドＳＮＲ値ＰｙＳＮＲ（ａ、ｂ）を入力基準フィールド／フレームおよび試験フィールドのピラミッド分析から生成する。さらに、輝度およびクロミナンスＰＮＳＲ分析器は、入力基準フィールドおよび入力試験フィールドを比較して、輝度およびクロミナンスＰＮＳＲ値を生成する。その後、輝度およびクロミナンスＰＮＳＲ値は出力される。同様に、エッジ検出器分析器は入力基準フィールドおよび入力試験フィールドを分析し、１つのエッジ検出器値ＥＤｉｆを出力する。最後に、テクスチャ分析器は、試験フィールドを分析してフレーム内のテクスチャを示すパラメータＴｅｘｔｕｒｅＤｅｇを計算する。これらの既知の分析器（すなわち空間周波数分析器、輝度およびクロミナンス・ピーク信号対雑音比分析器、エッジ検出器分析器）の各々の動作およびテクスチャ分析器は、特許公表ＥＰ １６３６７５５に、より詳細に記述されている。

図３は、時間的にダウン・サンプリングされた（帯域幅を縮小された）映像信号内のフレームのシーケンスを示す。水平軸は時間に相当し、他方、垂直軸はフレームの存在または不在を示している。フレームの存在は、時間軸上の適切な点において垂直方向の矢印によって示され、欠けているフレームは適切な点において垂直方向の矢印によって示されていない。ダウン・サンプリングは一定間隔で映像シーケンスからフレームを取り除くことによって機能する。これによって、映像信号によって運ばれる毎秒フレーム数を減じる。このダウン・サンプリングの影響は、図３の例において、時刻ｔ１、ｔ３、ｔ５、ｔ７、ｔ９等でのフレームの除去である。フレームが時刻ｔ８で欠けていることが分かるであろう。時刻ｔ８で欠けているフレームは、ダウン・サンプリングに起因する失われたフレームの規則的なシーケンスの一部を形成せず、確率的誤差の結果である。この発明の目的は、この種のランダムに欠けているフレームを、ダウン・サンプリングが原因のフレームの規則的な消失とは別の出来事と見分けることである。本発明を活用した、品質評価の次のステップは、これらの時間的な２つの人為的影響を、明確な異なる主観的な意義のものとして処理することだろう。

本アルゴリズムにおける最初のステップは、映像シーケンスの各タイム・スロットについてフレームが前のフレームの反復かどうかを示す時間記録（これはバッファに格納されている）を作成することである。反復は、現フレームが新たな視覚的コンテンツを有するのか前フレームに類似のコンテンツを有するのかに基づいて判断される。これは、あるフレームから次のフレームで変化している画素の個数の分析によって行われる。好ましい実施形態によれば、この分析は、フレームの境界でのあらゆる外来の情報をも無視するためにフレーム全体の一部（アクティブ・フレームと呼ばれる）に対して行なわれる。運用上の理由で、追加の情報（タイム・コード情報等）を映像コンテンツと関連しないフレーム境界に含めることが知られている。分析をアクティブ・フレームに制限することは、この外来の情報によって引き起こされる偽の結果を回避する。現在のアクティブ・フレーム（ｔ１）内の全画素が前フレーム内の画素と同一の場合、現フレームは反復であるとタグ付けされる。

映像処理チェーンがアナログ要素を含んでいる場合、該決定機構は各画素についての閾値を定めることによって改善されることが可能である。各画素値が前フレーム中の対応する画素の値の閾値内にある場合、フレームは反復であるとタグ付けされる。したがって、タグの連なり（１フレーム当たり１つ）を生成する。タグは、列状に順に並べられ、複数の反復フレームの存在を示す。

次のステップは、所与の反復フレームがある周期の一部である（例えば、ダウン・サンプリングに起因している）か別の影響によって生成されたかどうか判断することである。これを達成するために、まず、タグの連なりが分析されて、フレーム消失の時間的反復パターンを捜す。時間的反復パターンが特定されると、次に、このパターンの一部を形成しない残りの反復フレームは、誤動作に起因するものと特定される。本発明の実施例によれば、以下のアルゴリズムが繰り返されてこれらのタグを処理する。

本発明によるタグの連なりの分析が、次に図４（ａ）を参照して記述される。図４（ａ）は、１および０によって、それぞれ反復であるか新規であるかを示すタグの列７０を示している。図では、規則的なパターンの反復フレーム（映像信号のダウン・サンプリングによって引き起こされ得るようなもの）は、太字の１によって示されている。タグ（１および０）のストリング（７０）によって図において表わされている）の連なりを分析するために、基準分析ウィンドウ７４が、初期サイズＸ（これはＸｍａｘタグと等しい）で位置ｔにセットされる（各タグが１フレームを表わされている）。第２のオフセット分析ウィンドウ７６がタグの連なり内の初期位置ｔ−ａにセットされる。ここで、ａは時間的なオフセットである。オフセット分析ウィンドウ７６は、Ｘｍａｘタグの基準ウィンドウ７４サイズと同一の初期のサイズＸで設定される。

タグの連なりの中の位置ｔの基準ウィンドウ７４内にある「反復タグ」（すなわちシーケンス内の反復フレームを示すタグ）のパターンが記録され、位置ｔ−ａのオフセット・ウィンドウ７６内にある反復タグのパターンと比較される。図４（ａ）において図示されているタグのシーケンスに関して、例を挙げることが役に立つかもしれない。１が反復フレームを示して０が新フレームを示すと１および０を解釈すると、基準ウィンドウ７４内の反復タグの数は４であり、ａ´に等しいオフセット値ａでのオフセット・ウィンドウ７６内の数も４である。次にこれらのタグのパターンを観察すると、下記が分かる。

位置ｔの基準ウィンドウ７４ ０ １ １ ０ １ ０ ０ １ ０
位置ｔ−ａ´のオフセット・ウィンドウ７６ ０ １ ０ １ １ ０ １ ０ ０
一致：基準対オフセット？ Ｙ Ｙ Ｎ Ｎ Ｙ Ｙ Ｎ Ｎ Ｙ
従って、ウィンドウ・サイズがＸ、およびオフセットがａ´について、オフセット・ウィンドウ７６内の５つのタグが基準ウィンドウ４４内の対応するタグと一致することが分かる。次に、オフセット値ａが連続的にインクリメントされ、基準ウィンドウとオフセット・ウィンドウのタグ・パターンの比較が、オフセットａが所定の極大値ａｍａｘに達するまで、繰り返される。図４（ｂ）は、オフセットａの値が値ａ´´までインクリメントされており、オフセット・ウィンドウ７６が３つの反復フレーム・タグを含んでいる中間段階を示す。ａ´´のオフセットについてこれらのタグのパターンを観察すると、以下が分かる。

位置ｔの基準ウィンドウ７４ ０ １ １ ０ １ ０ ０ １ ０
位置ｔ−ａ´´のオフセット・ウィンドウ７６ ０ １ ０ １ ０ ０ ０ １ ０
一致：基準対オフセット？ Ｙ Ｙ Ｎ Ｎ Ｎ Ｙ Ｙ Ｙ Ｙ
従って、ウィンドウ・サイズがＸ、およびオフセットがａ´´について、オフセット・ウィンドウ７６内の６つのタグが基準ウィンドウ４４内の対応するタグと一致することが分かる。

比較の結果はオフセットａの各値について、アキュムレータに格納される。オフセット・ウィンドウが範囲の端に達する（すなわち、オフセットａが極大値とａｍａｘに達する）と、動作は、の初期のオフセット値がａ´で基準ウィンドウおよびオフセット・ウィンドウのサイズＸがＸｍａｘ−１へとディクリメントされたのを始点として繰り返される。比較の結果はウィンドウ・サイズＸの各値のためのアキュムレータ列に格納される。時間的オフセットａの最大値は、分析されるデータに依存して選択され、高品質の映像については１秒程度の値、およびより低いフレーム・レートおよびより高い複雑性（例えばモバイルのための映像信号向け）については約１０秒を含む様々な値を取り得る。

このループは、ウィンドウ・サイズＸが最小値Ｘｍｉｎに達するまで繰り返される。この時点で、アキュムレータは、以下のような、データの２次元の列、ウィンドウ・サイズＸの各値についての基準ウィンドウおよびオフセット・ウィンドウ内の反復フレームのパターンが様々なオフセット値ａにわたって（すなわち、フレームのサンプルにわたって）どのように一致するかの指標、を含んでいる。分析は、このデータの処理へと続き、Ｘの最良値が何であるか、および、これに固有の、周期的なフレーム消失パターンの最も可能性の高い長さが何であるかを割り出す。

ウィンドウ・サイズＸの各値について、アキュムレータ列は規則性があるかをチェックされる。Ｘの所与の値について、カウンタが、基準フレーム内の反復フレームとオフセット・フレーム内の反復フレームのパターンとに違いがある度に、インクリメントされる。次に、ウィンドウ・サイズの最良値Ｘ´が、不一致の最小の個数に基づいて選ばれる。この基準に基づいて、同等に良好な点数を獲得するＸについての２つ以上の値がある場合、最大の値が選択される。選ばれた値Ｘ´は、消失したフレームの反復パターンの予測されるサイズを与える。

消失したフレームの反復パターンのサイズについてのこの値が割り出されると、これは、タグ列内の自己相関を計算するのに使用され、上記のように、どのフレームが反復であって、どれが新規であるかを表示する。この相関の結果は、次の段階での使用のためのエラー・インジケータを提供する。

より詳しくは、上記の操作によって決定されたウィンドウ・サイズの値Ｘ´は、規則的なフレームの反復と不規則的なフレームの反復を識別するために、以下のように利用される。タグ列７０は、選択されたウィンドウ・サイズＸ´を使用して、さらなる段階において分析される。図４（ｃ）に示されているように、分析のこの段階によれば、タグ列７０内の長さＸ´の第１部分７７に含まれている反復フレームのパターンが、同様の長さの隣接の部分７８内のパターンと比較される。図４（ｃ）の例示的な列では、これは、部分７７から始まって時間に関して後方へ（図中の左方へ）移動して、次のパターンを与える。

基準部分７７ １０１００１
第１部分７８ ０００１０１
第２部分７８ ０１０１０１
第３部分７８ ０１０００１
第４部分７８ １０１００１
第５部分７８ ００１１０１
上記の例の部分に上記の比較を適用すると、以下が分かる。第１部分７８は基準部分７７と３つの不一致を含んでいる。第２部分７８は、基準部分７７と４つの不一致を含んでいる。第３部分７８は、基準部分７７と３つの不一致を含んでいる。第４部分７８は、基準部分７７との不一致を含んでいない。第５部分７８は、基準部分７７と２つの不一致を含んでいる。各部分中の最後尾の１が揃っており、対応する規則的な反復フレームが計算から消えることが分かるであろう。

次に、基準部分７７と他の部分７８の間の不一致のフレームの数が合計される。この合計の結果は、次の段階で使用されるエラー値を提供する。図４ｃの例にもう一度戻ると、エラー値が計１２個であることが分かり、これが基準部分７７と他の部分７８と間の不一致の和である。この和のサイズは信号品質の指標であり、低い値がより良い品質を示す。

上記の分析から導出されたデータが、反復フレームの影響が考慮に入れられることを可能にし、選択されたウィンドウ・サイズによって予測される規則的反復フレームが無視されることによって利用されて統合機能４の性能を改善し得る。そして、分析の後続のステップは、劣化した知覚された映像品質の指標として非周期的または不規則的なフレーム反復に集中することができる。

本発明に従って抽出された値は、モデルの第２段階に送られる。そこにおいて、その統合機能は平均オピニオン評点（ＭＯＳ）の評価においてこの情報を使用する。これらの値は、選択されたウィンドウ・サイズＸ´、エラー値、エラー・インジケータ、およびウィンドウ・サイズＸ´の選択された値のためのアキュムレータ列に含まれているマッチング値を具備する。マッチング値の変化は、フレームのパターンにおける異常な変化があることを第２段階に示す。

本発明の好ましい実施例によれば、各比較の関連性は、基準部分７７と部分７８のうちのより古いものとの間の比較の重みが、基準部分７７と部分７８のうちのより新しいものとの間の比較の重みより小さくなるように、古さに従って加重される。

図２の時間的規則性分析器２６が、図５に、より詳細に示されている。ここに示されているように、時間的規則性分析器２６は、差分分析器６０、分析器／加算器６２および最小値セレクタ６４を含む、タグ列を分析するための多くの機能ブロックから構成される。図２との関連で記述したように、時間的規則性分析器２６は２つの入力、すなわち基準映像シーケンス８および劣化した映像シーケンス６を受け取る。差分分析器６０では、タグ列が生成され、入力映像信号６、８内の反復フレームの場所を示す。分析器／加算器６２では、タグ列が様々なサイズのウィンドウを使用して分析され、該列にわたる不一致の累計がウィンドウ・サイズごとに割り出される。最小値セレクタ６４では、分析器／加算器６２における合計動作からの結果が比較され、最小値に相当するウィンドウ・サイズが選択される。その結果は矢印６４で示されるように統合器４に転送される。

この発明の目的は、欠けているフレームをダウン・サンプリングが原因の新フレームの規則的な消失とは別の出来事であると見分けることである。映像信号の上記の分析の結果として、品質評価における次の段階は、２つの種類の時間的な人為的影響を別々に扱い、その結果、ほとんど目に見えない規則的なフレーム消失および視覚的に邪魔をする不規則的なフレーム消失を識別することができる。

本発明を統合機能に適用することが、次に図２を参照して記述される。再び図２を参照すると、検出器モジュール２内の分析器２２乃至２８からの様々な出力が統合段階４に供給され、統合段階においてこの様々な値がともに統合されて映像品質値１０を与えることが分かる。次に、統合段階４の動作が図６に関して記述される。

概して、統合段階は、分析器２２乃至２８（これは、本発明の時間的規則性分析器を含んでいる）によって生成された映像の特性パラメータ値の選択に適切に加重することによって、試験映像シーケンスの知覚された映像品質の評価を生成するように動作する。使用されるパラメータ値の具体的な組および対応する加重計数の値は、検査されている具体的な種類の映像に依存し、事前の測定によって前もって決定される。較正は、主観的な点数を知得しておりかつ好ましくは検査される劣化したシーケンスに類似の特性を有する多くの映像シーケンスの組に対して行なわれる。

統合手順の一般形態は、まずフィールド検出パラメータによってフィールドを時間加重し、次に、時間加重平均値を結合して、予想される品質得点（これは、全体的な映像品質値である）を与える。これを達成する工程は、図６に示されている。

まず、統合段階４はステップ１３．２で様々な検出器および分析器からパラメータ値出力を受け取り、それらを格納する。様々な分析器が異なるパラメータを出力する。具体的な試験映像フィールドに関するどのようなパラメータおよび値がより前の段階の各々によって出力されようとも、統合段階はその出力情報を受け取り、それを格納する。

次に、ステップ１３．４において、統合段階は映像タイプを選択し、その結果、映像タイプに応じて１組の統合パラメータを選択する。

記述されているように、様々な加重計数の正確な値は測定によって前もって決定される。また、統合パラメータの組は各々基準テーブル等において統合段階４内に格納されている。

映像タイプを選択し、格納されている参照テーブルからの統合パラメータを設定すると、ステップ１３．６において、各統合パラメータ・タイプｋを、０乃至Ｋ−１の範囲で処理するために処理ループが開始される。ここで、パラメータ（ｋ）は各々、様々な分析器から受け取られたパラメータの具体的な１つである。処理ループにおいて、ステップ１３．８で、まずパラメータ値の時間加重平均ＡｖＤ（ｋ）が以下に従って算出される。

ここで、Ｎはフィールドの数であり、Ｄ（ｋ，ｎ）はｋ´番目の検出パラメータのｎ´番目のフィールドであり、ｍｎｋは加重計数である。次に、ステップ１３．１０において、時間加重平均値ＡｖＤ（ｋ）が適切な加重計数ｗ（ｋ）で乗じられる。そして、その積は格納される。適切な加重計数ｗ（ｋ）は、統合段階４に格納されている映像タイプについての適切なルックアップ表から読まれる。

ステップ１３．１２において、評価が行なわれて全ての統合パラメータが（ｋ）処理されたかどうかを判断する。されていなければ、ステップ１３．６の処理ループが、全てのパラメータが処理されるまで、再び行なわれる。全てのパラメータが処理されると、適切に加重された時間加重平均値が各タイプのパラメータｋについて利用可能になる。次いで、それらは、ステップ１３．１４においてオフセット値とともに以下のように合計される。

ここで、Ｋは統合において使用されるパラメータの数と等しい。これは最終的な映像品質値ＰＤＭＯＳを与える。これは、次にステップ１３．１６で出力される。

出力映像品質値ＰＤＭＯＳは、本発明に従って反復フレームにつながる時間的な人為的影響を含む人間の観察者によって実質的に知覚上検出不能な試験映像信号内の歪みおよびエラーを考慮に入れて生成されたという点で、人間の観察者を使用する主観的試験によって生成された評価と等価である。この特性を考慮して、映像品質値ＰＤＭＯＳは多くの用途に置かれ得る。特に、それは品質が適切であることを保証する既存の映像サービスの品質を評価するために使用され得る。または、それは異なる映像コーデックの性能を検査するために使用され得る。さらに、映像品質値はインターネット上の広帯域スタイルの映像サービスのような新しい映像サービスの性能を評価するために使用され得る。この点で、映像品質値ＰＤＭＯＳは、この値が、時間的な人為的影響を考慮に入れている故に、以前に先行技術の自動映像品質評価手法での場合よりも主観型試験中に人間の観者によって生成された映像品質値を表わす可能性がはるかに高いという違いを持って、先行技術によって生成される自動品質評価の値に類似のあらゆる用途に供され得る。

図７は、ソフトウェアにおいて実現される、本発明の第２実施形態を示している。ここで、本発明によってもたらされる様々な工程は、コンピュータ４０によって行なわれる。コンピュータ４０は、基準映像シーケンスおよび試験映像シーケンスの両方を受け取るように設計されている。コンピュータ４０には、ハードディスク・ドライブ、書き込み可能なＣＤまたはＤＶＤ、メモリ等のプログラム記憶装置が設けられている。その中には、コンピュータ４０によって実行されるとコンピュータに本発明を行なわせる命令を含んだ様々なコンピュータ・プログラムが格納されている。より具体的には、実行されると、コンピュータのユーザが本発明に従って試験および基準映像シーケンスの処理を開始すること、およびコンピュータが試験結果を画面上でユーザに出力することを可能にすること、を可能にするコンピュータを制御する制御およびインターフェース・プログラム４８が設けられている。そのような制御およびインターフェース・プログラムは好ましくはグラフィック方式であり、そのようなプログラムの設計は当業者にとって明らかだろう。

さらに、統合器プログラム４４、テクスチャ分析プログラム１５０、空間周波数分析プログラム１５６、信号対雑音比算出プログラム１５８、エッジ分析プログラム５４、および本発明に従った時間的規則性分析プログラム１５２が設けられている。これらのプログラムの各々の動作は、例示的動作情況の中で以下に簡潔に論じられる。

汎用計算機４０のユーザが映像シーケンスを試験することを望んでいるとする。ユーザはまず制御およびインターフェース・プログラム４８を開始する。このことは、ユーザが処理される試験および基準映像シーケンスを指定することを可能にする制御権をユーザに提供する。次に、ユーザが制御およびインターフェース・プログラム４８によって処理を始めるようにコンピュータ４０に命じると、制御およびインターフェース・プログラム４８は、他のプログラムが実行されまたプログラムに適切にデータを処理させることによってコンピュータ４０に処理を始めさせる。したがって、処理を始めるためにユーザから命令を受けると、制御およびインターフェース・プログラム４８は、まず空間周波数分析プログラム１５６によって処理を始める。空間周波数分析プログラム１５６は、上記の空間周波数分析器と全く同じ方法で基準フレームおよび試験フレームに対して空間周波数分析を行なって映像特性値を生成するように動作する。映像特性値は、次いで、記憶装置４２の作業データ部分４６に格納される。

次に、制御およびインターフェース・プログラム４８は信号対雑音比算出プログラム１５８を始動する。次いで、信号対雑音比算出プログラム１５８は、作業データ部分４６内の試験映像フィールド／フレームおよび基準映像フレームにアクセスし、上記の方法で輝度および色信号対雑音比を計算する。すなわち、信号対雑音比算出プログラム１５８は、輝度およびクロミナンス・ピーク信号対雑音比分析器と上記と同一の方法で作動する。信号対雑音比算出プログラム１５８によって算出された結果得る輝度およびクロミナス信号対雑音比は、記憶装置の作業データ領域４６に格納される。

次に、制御およびインターフェース・プログラム４８はテクスチャ分析プログラム１５０を始動する。次に、テクスチャ分析プログラム１５０は作業データ領域４６から試験映像フレームにアクセスし、テクスチャ分析器に関して既に記述されているのと同じ方法で映像テクスチャ品質パラメータを算出するように作動する。

次に、テクスチャ分析プログラム１５０の動作に続いて、制御およびインターフェース・プログラム４８はエッジ分析プログラム１６０を始動する。エッジ分析プログラムは、試験映像フレームと同様に、記憶装置４２の作業データ領域４６内の基準フレームにアクセスするように作動する。次に、エッジ分析プログラム５４は、エッジ分析器に関して既に記述されているのと実質的に同様に作動する。エッジ分析プログラムの出力パラメータは作業領域４６に格納される。

次に、エッジ分析プログラム１６０の動作に続いて、制御およびインターフェース・プログラム４８は時間的規則性プログラム１５２を始動する。時間的規則性プログラムは、試験映像フレームと同様に、記憶装置４２の作業データ領域４６内の基準フレームにアクセスするように作動する。次に、時間的規則性プログラムは図４（ａ）および図４（ｂ）を参照して上に記述されているのと同様の方法で規則的な時間的パターン（これらは様々なレベルの複雑性を備えている）と不規則な時間的人為的影響とを識別するように作動する。

第２実施形態の動作内のこの段階では、各分析プログラムが実行され、したがって、作業領域４６は、入力として統合器に使用され得る映像の特性パラメータ値を全て含んでいる。したがって、次の動作は、制御およびインターフェース・プログラム４８が統合器プログラム４４を始動するということである。統合器プログラム４４は、必要に応じて作業領域４６にアクセスして特性パラメータ値を読み出し、かつこのパラメータ同士を統合して最終的な映像品質値ＰＤＭＯＳを生成するように作動する。統合器プログラム４４の動作は、既に記述されているような統合器段階４のそれと実質的に同一である。したがって、既に記述されているように、統合器プログラム４４は図６のフローチャートに実質的に従って作動する。

したがって、発明の第２実施例はソフトウェア実施例をもたらす。ソフトウェア実施例は第１実施例に関して既に記述されているのと実質的に同じ方法で映像品質値を生成するように作動する。しかしながら、記述されているような第１実施形態もソフトウェアで実現され得、またはハードウェア要素またはソフトウェアとハードウェアの両方の混合体で実現され得ることがここで注目されるべきである。この点で、第１実施形態は第２実施形態より一般的な実施形態であると考えられるべきである。

当業者は、発明の上記の実施例が簡素化されることを認識するだろう。当業者は、各実施形態に記述されている特徴の幾つかの等価物が存在し、ある実施形態の特徴を他の実施形態に組み入れることが可能であることをさらに認識するだろう。既知の等価物が実施形態の機能要素に対して存在する場合、これらは、明確に放棄されない限り、暗黙に本明細書において開示されていると考えられる。従って、本発明の思想および範囲は、本記述において限定されている具体的な要素に制限されないことになっており、代わりに、当業者の共通的な一般知識に留意しながら本記述での状況において解釈されたとき、請求項の範囲によって決定されることになっている。

状況が明らかなにそうではないことを要求しない限り、本記述と請求項の全体にわたって、文言「具備する」等は、排他的または網羅的な意味に対立する包括的に解釈されることになっている。すなわち、「…を含み、これに限定されない」という意味で解釈される。

また、疑義の回避のため、先行する文書に対する参照がなされている場合、その中身は、全体またはその一部に限らず、当業者である意図した読み手による本発明の実施形態のうちのいずれかの動作または実現形態についての理解に必要である。そして、該中身は、該参照によって本明細書に組込まれると理解されるべきである。

添付の要約の中身は以下のように本明細書において組込まれる。複数の映像フレームを具備する映像信号を評価するシステムおよび方法。複数の映像フレームにおいて、あるフレームから次のフレームで変化している画素の個数が分析され、各フレームは、現フレーム内に存在する画素のセット割合が前フレーム内に存在する画素と一致する場合に、反復であると特定される。結果得た、映像信号内のパターンの反復フレームが記録される。次に、結果得たパターンが走査されて所与の反復フレームが時間的反復パターンの一部であるかを判断し、時間的反復パターンの一部であると判断されていない反復フレームが特定される。上記の結果として、映像品質評価は、２つの種類の時間的な人為的影響を別々に扱い、その結果、ほとんど目に見えない規則的なフレーム消失および視覚的に邪魔をする不規則的なフレーム消失を識別することができる。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］複数の映像フレームを具備する映像信号を評価する方法であって、
（ａ）前記複数の映像フレームにおいて、あるフレームから次のフレームで変化している画素の個数を分析するステップと、
（ｂ）現フレーム内に存在する前記画素のセット割合が前フレーム内に存在する前記画素と一致する場合、フレームを反復であると特定するステップと、
（ｃ）前記映像信号内の反復フレームのパターンを記録するステップと、
（ｄ）前記パターンを走査して所与の反復フレームが時間的反復パターンの一部であるかを判断するステップと、
（ｅ）前記時間的反復パターンの一部であると判断されていない反復フレームを特定することによって品質の指標を生成するステップと、
を具備する方法。
［２］（ｆ）参照される複数フレームの第１ウィンドウを前記パターン内で第１フレームに対して定め、前記パターン内で同サイズの第２ウィンドウを定めることによって、前記パターンを走査するステップと、
（ｇ）前記第２ウィンドウを、前記第１ウィンドウに対するオフセットで配置するステップと、
（ｈ）前記第１および第２ウィンドウ内の反復フレームのパターンを比較し、前記パターン間の不一致の数を記録するステップと、
（ｉ）前記比較を一連のオフセットにわたってオフセットの各値について反復し、結果を記録するステップと、
（ｊ）前記第１および第２ウィンドウについてのウィンドウ・サイズの新しい値を選択し、前記比較を前記一連のオフセット値にわたって繰り返すステップと、
（ｋ）前記一連のオフセット値にわたって不一致値に関して最小のばらつきをもたらす標的ウィンドウ・サイズを決定するステップと、
を含む、［１］の方法。
［３］前記標的ウィンドウ・サイズによってサイズが決定された第１部分内の反復フレームのパターンを同サイズの複数の第２部分内の反復フレームのパターンと比較し、かつ前記第１部分内の前記パターンと前記複数の第２部分の各々における前記パターンとの不一致が生じている個数を記録することによって、前記品質の指標が生成される、
［２］の方法。
［４］前記品質の指標を品質の１つ以上の既知の指標と組み合わせて知覚された平均オピニオン評点を生成するステップを含む、
［１］乃至［３］のいずれかの方法。
［５］前記分析することが各フレームの一部に対して行なわれる、
［１］乃至［４］のいずれかの方法。
［６］前記一部が前記フレームのエッジを除く、
［５］の方法。
［７］各フレームが複数の画素を具備し、
隣接する複数フレームからの２つの画素が、前記第１フレーム内の画素が前記第２フレーム内の対応する画素の所定の閾値内にある場合に、一致していると特定される、
［１］乃至［６］のいずれかの方法。
［８］決定機構が各画素に対して閾値を使用し、
あるフレーム内の全画素が前フレーム内の対応する画素の所定の閾値内にある場合、該フレームが反復であると識別される、
［１］乃至［７］のいずれかの方法。
［９］コンピュータ・システムによって実行されると該システムに［１］乃至［８］の方法を実行させるように設計されているコンピュータ・プログラムまたは１組のプログラム。
［１０］複数の映像フレームを具備する映像信号評価システムであって、前記システムは、
あるフレームから次のフレームで変化している画素の個数を分析することによって反復フレームを検出し、反復フレームのパターンを記録する手段と、
前記パターンを走査する手段であって、前記パターンを走査して所与の反復フレームが時間的反復パターンの一部であるかを判断し、かつ前記時間的反復パターンの一部であると判断されていない反復フレームを特定することによって品質の指標を生成する手段と、
を具備するシステム。
［１１］前記走査する手段が、
参照される複数フレームの第１ウィンドウを前記パターン内で第１フレームに対して定め、かつ前記パターン内で同サイズの第２ウィンドウを定めるための手段であって、前記第２ウィンドウは前記第１ウィンドウに対するオフセットで配置されている手段と、
前記第１および第２ウィンドウ内の反復フレームのパターンを比較し、前記パターン間の不一致の数を記録する手段と、
前記比較を一連のオフセットにわたってオフセットの各値について反復し、結果を記録する手段と、
前記第１および第２ウィンドウについてのウィンドウ・サイズの新しい値を選択し、前記比較を前記一連のオフセット値にわたって繰り返す手段と、
前記一連のオフセット値にわたって不一致値に関して最小のばらつきをもたらす標的ウィンドウ・サイズを決定する手段と、
を具備する、
［１０］のシステム。
［１２］前記標的ウィンドウ・サイズによってサイズが決定された第１部分内の反復フレームのパターンを同サイズの複数の第２部分内の反復フレームのパターンと比較し、かつ前記第１部分内の前記パターンと前記複数の第２部分の各々における前記パターンとの不一致が生じている個数を記録することによって、前記品質の指標を生成する手段を具備する、
［１１］のシステム。
［１３］前記品質の指標を品質の１つ以上の既知の指標と組み合わせて知覚された平均オピニオン評点を生成する手段を具備する、
［１０］乃至［１２］のいずれかのシステム。
［１４］前記分析することが各フレームの一部に対して行なわれる、
［１０］乃至［１３］のいずれかのシステム。
［１５］前記一部が前記フレームのエッジを除く、
［１４］のシステム。
［１６］各フレームが複数の画素を具備し、
隣接する複数フレームからの２つの画素が、前記第１フレーム内の画素が前記第２フレーム内の対応する画素の所定の閾値内にある場合に、一致していると特定される、
［１０］乃至［１５］のいずれかのシステム。
［１７］決定機構が各画素に対して閾値を使用し、
あるフレーム内の全画素が前フレーム内の対応する画素の所定の閾値内にある場合、該フレームが反復であると識別される、
［１０］乃至［１６］のいずれかのシステム。

Claims (15)

1. 複数の映像フレームを具備する映像信号を評価する方法であって、
   （ａ）演算装置によって、前記複数の映像フレームにおいて、あるフレームから次のフレームで変化している画素の個数を分析するステップと、
   （ｂ）演算装置によって、現フレーム内に存在する前記画素のセット割合が前フレーム内に存在する前記画素と一致する場合、フレームを反復であると特定するステップと、
   （ｃ）演算装置によって、前記映像信号内の反復フレームのパターンを記録するステップと、
   （ｄ）演算装置によって、前記パターンを走査して所与の反復フレームが時間的反復パターンの一部であるかを判断し、前記時間的反復パターンの一部であると判断されていない反復フレームを特定することによって品質の指標を生成するステップと、
   （ｅ）演算装置によって、参照される複数フレームの第１ウィンドウを前記パターン内で第１フレームに対して定め、前記パターン内で同サイズの第２ウィンドウを定めることによって、前記パターンを走査するステップと、
   （ｆ）演算装置によって、前記第２ウィンドウを、前記第１ウィンドウに対するオフセットで配置するステップと、
   （ｇ）演算装置によって、前記第１および第２ウィンドウ内の反復フレームのパターンを比較し、前記パターン間の不一致の数を記録するステップと、
   （ｈ）演算装置によって、前記比較を一連のオフセットにわたってオフセットの各値について反復し、結果を記録するステップと、
   （ｉ）演算装置によって、前記第１および第２ウィンドウについてのウィンドウ・サイズの新しい値を選択し、前記比較を前記一連のオフセット値にわたって繰り返すステップと、
   （ｊ）演算装置によって、前記一連のオフセット値にわたって不一致値に関して最小のばらつきをもたらす標的ウィンドウ・サイズを決定するステップと、
   を具備する方法。
2. 前記標的ウィンドウ・サイズによってサイズが決定された第１部分内の反復フレームのパターンを同サイズの複数の第２部分内の反復フレームのパターンと比較し、かつ前記第１部分内の前記パターンと前記複数の第２部分の各々における前記パターンとの不一致が生じている個数を記録することによって、前記品質の指標が生成される、
   請求項１の方法。
3. 演算装置によって、前記品質の指標を品質の１つ以上の既知の指標と組み合わせて知覚された平均オピニオン評点を生成するステップを含む、
   請求項１または２の方法。
4. 前記分析することが各フレームの一部に対して行なわれる、
   請求項１乃至３のいずれかの方法。
5. 前記一部が前記フレームのエッジを除く、
   請求項４の方法。
6. 各フレームが複数の画素を具備し、
   隣接する複数フレームからの２つの画素が、前記隣接する複数フレームのうちの第１フレーム内の画素が前記隣接する複数フレームのうちの第２フレーム内の対応する画素の所定の閾値内にある場合に、一致していると特定される、
   請求項１乃至５のいずれかの方法。
7. 決定機構が各画素に対して閾値を使用し、
   あるフレーム内の全画素が前フレーム内の対応する画素の所定の閾値内にある場合、該フレームが反復であると識別される、
   請求項１乃至６のいずれかの方法。
8. コンピュータ・システムによって実行されると該システムに請求項１乃至７の方法を実行させるように設計されているコンピュータ・プログラムまたは１組のプログラム。
9. 複数の映像フレームを具備する映像信号評価システムであって、前記システムは、
   あるフレームから次のフレームで変化している画素の個数を分析することによって反復フレームを検出し、反復フレームのパターンを記録する手段と、
   前記パターンを走査する手段であって、前記パターンを走査して所与の反復フレームが時間的反復パターンの一部であるかを判断し、かつ前記時間的反復パターンの一部であると判断されていない反復フレームを特定することによって品質の指標を生成する手段と、
   を具備し、
   前記走査する手段が、
   参照される複数フレームの第１ウィンドウを前記パターン内で第１フレームに対して定め、かつ前記パターン内で同サイズの第２ウィンドウを定めるための手段であって、前記第２ウィンドウは前記第１ウィンドウに対するオフセットで配置されている手段と、
   前記第１および第２ウィンドウ内の反復フレームのパターンを比較し、前記パターン間の不一致の数を記録する手段と、
   前記比較を一連のオフセットにわたってオフセットの各値について反復し、結果を記録する手段と、
   前記第１および第２ウィンドウについてのウィンドウ・サイズの新しい値を選択し、前記比較を前記一連のオフセット値にわたって繰り返す手段と、
   前記一連のオフセット値にわたって不一致値に関して最小のばらつきをもたらす標的ウィンドウ・サイズを決定する手段と、
   を具備するシステム。
10. 前記標的ウィンドウ・サイズによってサイズが決定された第１部分内の反復フレームのパターンを同サイズの複数の第２部分内の反復フレームのパターンと比較し、かつ前記第１部分内の前記パターンと前記複数の第２部分の各々における前記パターンとの不一致が生じている個数を記録することによって、前記品質の指標を生成する手段を具備する、
    請求項９のシステム。
11. 前記品質の指標を品質の１つ以上の既知の指標と組み合わせて知覚された平均オピニオン評点を生成する手段を具備する、
    請求項９または１０のシステム。
12. 前記分析することが各フレームの一部に対して行なわれる、
    請求項９乃至１１のいずれかのシステム。
13. 前記一部が前記フレームのエッジを除く、
    請求項１２のシステム。
14. 各フレームが複数の画素を具備し、
    隣接する複数フレームからの２つの画素が、前記隣接する複数フレームのうちの第１フレーム内の画素が前記隣接する複数フレームのうちの第２フレーム内の対応する画素の所定の閾値内にある場合に、一致していると特定される、
    請求項９乃至１３のいずれかのシステム。
15. 決定機構が各画素に対して閾値を使用し、
    あるフレーム内の全画素が前フレーム内の対応する画素の所定の閾値内にある場合、該フレームが反復であると識別される、
    請求項９乃至１４のいずれかのシステム。

Images