JP4955302B2 - ビデオ信号品質測定装置 - Google Patents

Description

本発明は、一般に、ビデオ品質測定に関し、特に、ビデオ品質を自動的に測定し、選択したビデオ・クリップを受信した際にモニタすると共に記録する実時間でビデオ品質を測定する測定装置に関する。

最近のデジタル・ビデオ装置は、圧縮、コード変換、伝送エラー、アナログ歪などの多くの異なる理由により、ビデオ・イメージに歪が生じる。画像レベルでのビデオの品質、即ち、最終的にデコードした画像の品質を測定するために、次のいずれかが必要である。
・装置の合格／不合格を、ビデオ品質を判断する人間により主観的試験により判断する。
・テクトロニクス社製ＰＱＭ３００型画像品質モニタの如きシングル・エンド（単一入力）ビデオ測定装置を用いる。これは、基準シーケンスを使用しないので、多くの形式のエラーを正確に検出できない。または、
・テクトロニクス社製ＰＱＭ３００型画像品質モニタの如きビデオ品質測定装置を用いてオフラインでビデオを測定する（米国特許第５８１８５２０号明細書（特開平９−２３３５０２号公報に対応）を参照のこと）。これには、シーケンス長が制限されている点、アライメントを達成するためのビデオ内容を変調する点、実時間でない動作である点などの多くの制限がある。

多くのアプリケーションにおいて、アライメントを達成するために、ビデオ内容を何らかの方法で制限したり、変更したりできない。品質測定装置は、試験ビデオ内容が変化した際に、迅速にアライメントをなくしたりとったり必要があり、測定を行って、エラー・マップや、グラフを作成するか又は合格／不合格を判定する必要がある。この問題を適切に解決する別の手段が提案されていないので、一般的には、人間の操作者により品質測定作業を行ってきた。人間の操作者による判断結果は、客観的でないし、再現性がないので、上述の従来技術は、エラーを含む傾向にあり、また高価であるため望ましくない。

特開平９−２３３５０２号公報

そこで、任意のビデオ内容を受け入れ；このビデオ内容を変更（変調）せず；試験ビデオが基準ビデオにマッチしたときに時間的及び空間的なアライメントを迅速に達成し；試験ビデオが基準ビデオとマッチしないとアライメントを迅速になくし；非常に長いシーケンスに対しても動作し；合格／不合格しきい値の設定、品質計算用の関心領域の選択、及び異なるチャネルの測定を含むプログラマブル・ビデオ品質測定を可能にし；総ての結果を記録すると共に、特定の基準クリップが再生されたときの記録を維持して、特定のクリップが示された際の時間、周波数及び品質をユーザが追跡でき、単一入力動作及びダブル入力（２入力）動作の両方が可能であり；実時間で動作するビデオ品質測定装置が望まれている。

本発明の実時間ビデオ信号品質測定装置は、基準ビデオ信号と、この基準ビデオ信号用のシグネチャと、所望品質測定処理を示す設定情報とを蓄積する蓄積手段（１２）と；入力する試験ビデオ信号用のシグネチャを計算する手段（１４）と；基準ビデオ信号用のシグネチャ及び試験ビデオ信号用のシグネチャに応じて試験ビデオ信号を基準ビデオ信号に空間的且つ時間的にアライメントさせるアライメント手段（１６）と；試験ビデオ信号及び基準ビデオ信号に所望品質測定を実行して、ビデオ品質結果を提供する品質測定手段（２０）とを具え；アライメント手段により試験ビデオ信号のフレームが基準ビデオ信号のフレームにアライメントした場合（１８でイエス）に、品質測定手段は、試験ビデオ信号及び基準ビデオ信号のアライメントされたフレームに所望品質測定を実時間で実行し；アライメント手段により試験ビデオ信号のフレームが基準ビデオ信号のフレームにアライメントしない場合（１８でノー）に、試験ビデオ信号を蓄積手段（２４）にバッファし、アライメント手段により試験ビデオ信号のフレームが基準ビデオ信号のフレームにアライメントした後に、品質測定手段は、蓄積手段にバッファされた試験ビデオ信号に対して所望品質測定を実行することを特徴とする。

よって、本発明は、ダブル・エンド（ダブル入力、即ち、２入力）及びシングル・エンド（単一入力）の両方で動作するように構成された実時間ビデオ品質測定装置を提供するものである。ダブル・エンド動作では、基準ビデオ信号（以下、単に基準ビデオと呼ぶこともある）及び試験ビデオ信号（以下、単に試験ビデオと呼ぶこともある）を夫々のバッファに蓄積し、空間的／時間的にアライメント（整列）させる。蓄積した設定命令に応じて、試験ビデオ信号及び基準ビデオ信号のアライメントされたフレームに対して、所望の品質測定を実行する。シングル・エンド動作では、基準ビデオ信号とこの基準ビデオ信号のシグネチャとを予め蓄積しておき、基準ビデオ信号のフレームに対する所望の品質測定を行う。次に、試験ビデオ信号を受信し、シグネチャを求め、これらシグネチャを用いて、試験ビデオ信号及び基準ビデオ信号をアライメントさせる。そして、試験ビデオ信号及び基準ビデオ信号のアライメントしたフレームについて所望の品質測定を実行する。

本発明の目的、利点及び新規な特徴は、添付図を参照した以下の説明から一層明らかになろう。

図１は、本発明によるビデオ品質測定装置におけるアライメントの必要条件の一例を示す。シングル入力動作の例の場合、基準ビデオは、捕獲され、ディスクの如きメモリ装置に蓄積されるが、多くの異なるビデオ・クリップ（１、２、・・・ｎ）を含んでいる。これらクリップの長さは、２〜３秒から数分にまで変化するので、基準ビデオの全体の長さは、数時間かもしれない。試験ビデオは、実時間で流れ、基準ビデオのクリップとマッチする１つ以上の異なるクリップを含んでいる。時間的アライメント処理の開始に際し、試験ビデオが基準ビデオにマッチ（一致）すると、即ち、図１の点Ａ及びＢにて、直ちにアライメントを迅速に達成し、試験ビデオの内容が基準ビデオの内容にマッチしない間、即ち、図１の点Ａの前、点Ｂ及びＣの間、及び点Ｄの後、アライメントされない状態に留まる。基準ビデオ及び試験ビデオがアライメント（整列）されると、ビデオ品質測定アルゴリズムを用いて、アライメントされたビデオ・クリップの間で、試験ビデオの品質を求める。各ビデオ・クリップは異なっているので、夫々には、異なる品質条件がある。この条件は、異なる合格／不合格しきい値、関心領域、又は異なるビデオ品質評価アルゴリズムである。ビデオ品質に関する情報を提供するのはもとより、各ビデオ・クリップが示された時刻と、それが生じる頻度とを記録する機能が非常に重要である。

実時間ビデオ品質測定装置は、単一入力又はダブル入力の２つの異なる方法で、動作環境に応じて構成される。単一入力動作は、如何なるときでも、単一のビデオシーケンスのみに対して動作する。したがって、基準ビデオ及び試験ビデオを比較するために、基準ビデオを先ず捕獲し、測定装置に蓄積する。この処理を図２に示す。基準ビデオが測定装置１０に入力し、ディスクなどの蓄積装置（蓄積手段）１２内にセーブ（蓄積）される。基準ビデオは、また、シグネチャ・モジュール（シグネチャ・プロセッサ）１４により処理されて、基準ビデオの各フレームに対するシグネチャを計算する。これらシグネチャも蓄積装置１２にセーブされる。これらシグネチャは、多くの異なる方法で計算することができ、例えば、各フレームの平均、フレーム間の平均の差、各フレームの標準偏差、又はフレーム間相関（米国特許第６７５１３６０号明細書参照）などでシグネチャが求まる。これらシグネチャを用いて、基準ビデオ及び試験ビデオの時間的アライメントをとる。初期設定情報も、シグネチャと共に蓄積装置１２にセーブされる。設定情報を用いて、ビデオ品質測定処理を制御する。この設定情報は、ユーザが変更してもよく、測定処理を所望の方法で行える。設定情報には、基準ビデオ内のビデオ・クリップの数と基準シーケンス（インデックス）内のそれらの位置；各ビデオ・クリップで実行すべきビデオ品質測定の形式；各ビデオ・クリップの関心のある空間領域；各ビデオ・クリップでの測定にどのルミナンス及びクロミナンス・チャネルを選択するか；合格／不合格の条件、利得／レベル・シフトの許容差などの各ビデオ・クリップの品質測定のしきい値；どのビデオ・クリップを測定に用いるかがある。ユーザの特定条件に合うように設定条件を調整すると、測定装置１０は、測定実行の準備ができる。

測定処理を図３に示す。試験ビデオを測定装置１０に入力して、シグネチャ・プロセッサ１４で処理して、基準ビデオのシグネチャを計算したのと同じ方法で、試験ビデオのシグネチャを計算する。蓄積装置１２からの基準ビデオ・シグネチャとシグネチャ・プロセッサ１４からの試験ビデオ・シグネチャとを空間的／時間的アライメント・プロセッサ（アライメントさせる手段）１６に入力して、これらシグネチャを比較して、アライメントが可能かを判断する。米国特許第６２５９４７７号明細書（特開２０００−３２４９６号公報に対応）は、空間／時間的アライメント処理の１つの形式を記載している。アライメントが達成可能で、対応基準フレーム用に蓄積装置１２から取り出した設定情報を用いて、測定する現在の試験フレームを選択すると（判断ステップ１８の判断結果がイエスになると）、測定アルゴリズム・プロセッサ（品質測定実行手段）２０がアクセスされ、設定情報により決まる適切な測定アルゴリズムを実行して、現在の試験フレームと蓄積装置からの対応する基準フレームとを用いて、これらを比較することによりビデオ品質を測定する。アプリケーション及び利用可能な処理能力に応じて、多くの異なるビデオ品質測定規準をこの目的に用いることができる。実時間動作を妨げるほどに計算が過度でない限り、ＰＳＮＲ（ピーク信号対雑音比）及びＭＳＥ（平均平方誤差）の如き簡単な測定規準、又は人間の視覚系（ＨＶＳ）に基づいた一層複雑なモデルを同様に用いる。測定すべき特定のビデオ・クリップに関連した任意のパラメータ又はしきい値と、用いる測定規準との選択は、設定情報にて特定されている。品質測定アルゴリズム・プロセッサ２０は、出力２２、例えば、エラー・マップ、グラフ又は合格／不合格判断を供給して、これらを更に処理するか、又は測定装置１０に表示する。なお、アライメント・プロセッサ１６と、このプロセッサの判断で蓄積装置１２からビデオを読み出すことが、試験ビデオ信号を基準ビデオ信号に空間的且つ時間的にアライメントさせる手段に対応する。

アライメントが不可能な場合、又は、現在の試験フレームが、対応する基準フレームの設定情報に応じて測定するように要求されていない場合、試験フレームに対して測定を行わない。アライメントが達成されないと（判断ステップ１８でノーの場合）、現在の試験フレームをバッファ２４に蓄積する（ステップ２５）。このバッファ２４は、最新のＮ個のフレームを蓄積する。ここで、Ｎは、時間的アライメントを行うのに必要な試験フレームの最大数であり、典型的には、ビデオの数秒である。アライメントを達成するのにかかる時間のために取り逃がす試験フレームがないことが要求される場合、上述のステップを行う。例えば、再び図１を参照し、点Ａの後に、アライメントを実際に達成し、ビデオ品質結果が出力されるまで、いくつかの試験フレームを用いる。ビデオ品質測定の結果を求めるのに、これら試験フレームに必要ならば、即ち、点Ａと、アライメントを達成する時点との間のフレームが必要ならば、試験蓄積バッファ２４を用いて、これらのフレームを蓄積する。アライメントを達成すると、プロセッサの空き時間、又は、現在のビデオ・クリップの測定が終わった後に、これら取り逃がしたフレームについて品質測定を実行できる。このように、対応するビデオをずらすことも、試験ビデオ信号を基準ビデオ信号に空間的且つ時間的にアライメントさせる手段に対応する。

測定装置１０の別な構成では、図４に示すように、ダブル入力シナリオを用いることができる。この場合、基準ビデオ及び試験ビデオの両方が測定装置１０に同時に入力する。基準ビデオは、ビデオ・ソース（信号源）２６から直接入力する一方、試験ビデオは、ビデオ処理／伝送経路２８を経由して入力する。測定装置は、時間的アライメント及び空間的アライメントを達成するので、基準ビデオ及び試験ビデオが測定装置１０に入力する際にアライメントをとる必要がない。なお、ビデオ・ソース２６は、ブロック２８にもビデオ信号を供給する。

ダブル入力測定装置としての測定装置１０の動作を図５に示す。基準ビデオ及び試験ビデオの両方の最新のＭフレームを蓄積装置１２にセーブする。ここで、Ｍは、基準ビデオ及び試験ビデオの間で可能な時間的オフセットの最大である。基準ビデオ及び試験ビデオの間の時間的及び空間的なアライメントは、アライメント・プロセッサ１６が計算する。判断１８’にてアライメントが達成されていれば（真ならば、即ち、イエスならば）、セーブされた基準ビデオ又は試験ビデオからの適切なフレームを、蓄積装置１２内の関連設定情報と、現在の試験又は基準フレームと共に、ビデオ品質測定プロセッサ（測定アルゴリズム・プロセッサ）２０に入力する。ここで、アライメント・プロセッサ１６と、その計算結果によりアライメントが達成されていて、ビデオ品質測定プロセッサ２０に進むことが、試験ビデオ信号を基準ビデオ信号に空間的且つ時間的にアライメントさせる手段に対応する。判断１８’にてアライメントが達成されていなければ（ノーの場合）、アライメント処理は、次のフレームを待つ（ステップ３０）。例えば、現在の試験フレームが、以前の５フレーム、即ち、時間オフセットが５フレームである基準フレームとマッチしていることがわかると、現在の試験フレームが、以前の５フレームである基準フレームと共に品質測定プロセッサ２０に渡される。このように、以前のフレームを渡すことも、試験ビデオ信号を基準ビデオ信号に空間的且つ時間的にアライメントさせる手段に対応する。基準ビデオ及び試験ビデオの間の時間的及び空間的なオフセットを測定装置１０が出力する。これは、多くのアプリケーションにとって有用である。単一入力構成と同様に、ビデオ品質測定プロセッサ２０にてどのビデオ品質測定規準を用いるかの選択は、測定装置１０の計算能力の限界及び特定アプリケーションの条件に応じて決まる。品質測定のしきい値及びパラメータを設定情報から取り出す。測定装置１０は、品質計算により求めた結果を、エラー・マップ、グラフ及び合格／不合格判断の形式で発生する。エラーが特定しきい値を超えた場合に、エラー・マップを蓄積できるので、重要なエラーを識別し、後で診断を行える。ダブル・エンド・シナリオにおいては、図１に示すシグネチャ（計算）モジュール１４をバイパスすることに留意されたい。

空間的／時間的アルゴリズムでは、一般に、（ｉ）試験フレームを基準フレームに時間的にアライメントさせ、次に、（ｉｉ）試験フレームを、対応する基準フレームに空間的にアライメントさせる。実時間品質アルゴリズムの大きな特徴は、空間的／時間的アライメントを実時間よりも大幅に高速に実行できることなので、プロセッサ（２０）の充分な時間を所望の実時間品質測定の実行に利用できる。

よって、本発明の実時間ビデオ品質測定装置によれば、単一入力及びダブル入力のビデオ品質測定機能を提供でき、基準ビデオ及び試験ビデオ間の時間的及び空間的アライメントを実時間で提供でき、基準ビデオの各ビデオ・クリップ用の設定情報と特定アプリケーション用の測定装置の処理能力とにより決まるが、選択フレームの画像品質測定規準を実時間で計算できる。

本発明により迅速なアライメントが必要な基準ビデオ及び試験ビデオを示す図である。 本発明により基準ビデオを捕獲するためのブロック図である。 本発明により実時間ビデオ品質測定を行うシングル・エンド測定装置のブロック図である。 本発明によるダブル入力測定装置用のシナリオを示す図ある。 本発明により実時間ビデオ品質測定を行うダブル入力測定装置のブロック図である。

符号の説明

１０ 測定装置
１２ 蓄積装置
１４ シグネチャ・モジュール（プロセッサ）
１６ アライメント・プロセッサ
１８ 判断ステップ
２０ ビデオ品質測定プロセッサ（測定アルゴリズム・プロセッサ）
２２ 出力
２４ バッファ
２６ ビデオ・ソース

Claims (1)

1. 基準ビデオ信号と、該基準ビデオ信号用のシグネチャと、所望品質測定処理を示す設定情報とを蓄積する蓄積手段と、
   入力する試験ビデオ信号用のシグネチャを計算する手段と、
   上記基準ビデオ信号用のシグネチャ及び上記試験ビデオ信号用のシグネチャに応じて上記試験ビデオ信号を上記基準ビデオ信号に空間的且つ時間的にアライメントさせるアライメント手段と、
   上記試験ビデオ信号及び上記基準ビデオ信号に上記所望品質測定を実行して、ビデオ品質結果を提供する品質測定手段とを具え、
   上記アライメント手段により上記試験ビデオ信号のフレームが上記基準ビデオ信号のフレームにアライメントした場合に、上記品質測定手段は、上記試験ビデオ信号及び上記基準ビデオ信号のアライメントされたフレームに上記所望品質測定を実時間で実行し、
   上記アライメント手段により上記試験ビデオ信号のフレームが上記基準ビデオ信号のフレームにアライメントしない場合に、上記試験ビデオ信号を上記蓄積手段にバッファし、上記アライメント手段により上記試験ビデオ信号のフレームが上記基準ビデオ信号のフレームにアライメントした後に、上記品質測定手段は、上記蓄積手段にバッファされた上記試験ビデオ信号に対して上記所望品質測定を実行することを特徴とするビデオ信号品質測定装置。

Images