JP4482031B2 - 映像整合装置、方法、およびプログラム - Google Patents

Description

本発明は、映像処理技術に関し、特に映像の主観品質評価に用いる基準映像と劣化映像を時間的および空間的に整合させる映像整合技術に関する。

時間軸に沿って並べられた複数の映像フレーム（静止画）からなる映像信号の物理的な特徴量を用いて主観品質を推定する客観品質評価法には、基準映像と劣化映像とを用いて、所望の評価対象に対する主観品質評価値を推定する技術がある。劣化映像とは、基準映像に対する符号化やネットワーク伝送などの信号処理すなわち評価対象での損失によって劣化した映像をいう。
このような技術では、基準映像と劣化映像の間に時間方向や空間方向のずれがある場合、精度良く主観品質評価値を推定できないため、基準映像と劣化映像を適切に整合させることが重要となる。

従来より提案されている、基準映像と劣化映像を用いて主観品質評価値を推定する技術（例えば、特開２００４−０８０１７７号公報、USP5,446,492、USP6,704,451など参照）は、ＴＶ放送を想定しており、厳密に同期している信号あるいは同一の映像サイズ・フレームレートの信号については適切に主観品質評価値を推定することができる。したがって、これら技術は、予め整合している基準映像と劣化映像を用いること、あるいは映像の開始時点で簡易的に整合させた基準映像と劣化映像を用いることを前提とするものである。

しかし、近年普及し始めている、インターネットなどのＩＰネットワークを用いた映像配信サービスや映像コミュニケーションサービスでは、パーソナルコンピュータ（ＰＣ）端末で映像を受信するため、基準映像と劣化映像のサイズやアスペクト比が異なっていたり、ネットワーク性能に起因した映像品質の劣化が大きく、基準映像と劣化映像の空間的や時間的な位置の整合は取れていない。したがって、上記技術では適切に主観品質評価値を推定することはできない。

これに対して、発明者らは、基準映像と劣化映像の信号フォーマットを揃えるとともに、これら映像信号に対するマクロ的やよびミクロ的な整合処理をフレームごとに行うことにより、基準映像と劣化映像の時間方向や空間方向の整合をとって客観評価結果を得る技術を提案した（例えば、ＷＯ２００５／０２０５９２Ａ１など参照）。

しかしながら、この従来技術では、基準映像と劣化映像が、例えば画素数について整数倍に伸縮・変形している場合には適切に整合をとることができるものの、単に数画素だけ伸縮・変形している場合、完全には対応できていない。
特に、評価対象となる映像符号化や伝送システムなどの信号処理によっては、映像自体を数画素だけ伸縮・変形していたり、基準映像自体が元々ぼやけていたり、劣化の程度が大きいこともある。このような映像信号については、部分的には整合が取れるが、それ以外の多くの領域では整合が取れなくなり、基準映像と劣化映像の整合を最適化できない場合がある。

このため、客観品質評価値を得る際には映像整合が適切かどうかについて専門知識を持つ評価者が経験的に判断する必要がある。したがって、専門知識を持つ評価者がいない場合には、客観品質評価を得る際の映像整合が適切かどうかを判断できず、結果として適切な主観品質評価値を推定することはできないという問題点があった。
本発明はこのような課題を解決するためのものであり、専門知識を持つ評価者が経験的に判断することなく、客観品質評価を得る際の映像整合が適切かどうかを判断できる映像整合装置、方法、およびプログラムを提供することを目的としている。

このような目的を達成するために、本発明にかかる映像整合装置は、時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレームからなる劣化映像とを入力とし、劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出手段と、整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出手段と、整合状態に基づき整合された基準映像および劣化映像と整合度とを出力する整合情報出力手段と、任意の２つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出部とを備え、整合度導出手段により、劣化量導出部を制御して、整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量とを取得し、これら第１の劣化量と第２の劣化量の比に基づき整合度を算出するようにしたものである。

また、本発明にかかる映像整合方法は、 整合状態検出手段により、時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレームからなる劣化映像とを入力とし、劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出ステップと、整合度導出手段により、整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出ステップと、整合情報出力手段により、整合状態に基づき整合された基準映像および劣化映像と整合度とを出力する整合情報出力ステップと、劣化量導出部により、任意の２つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出ステップとを備え、整合度導出ステップは、劣化量導出ステップを用いて、整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量とを取得するステップと、これら第１の劣化量と第２の劣化量の比に基づき整合度を算出するステップとからなる。

また、本発明にかかるプログラムは、 時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレームからなる劣化映像とを入力とし、これら基準映像と劣化映像を空間的および時間的に整合させて出力する映像整合装置のコンピュータに、整合状態検出手段により、時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレームからなる劣化映像とを入力とし、劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出ステップと、整合度導出手段により、整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出ステップと、整合情報出力手段により、整合状態に基づき整合された基準映像および劣化映像と整合度とを出力する整合情報出力ステップと、劣化量導出部により、任意の２つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出ステップとを実行させ、整合度導出ステップとして、劣化量導出ステップを用いて、整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量とを取得するステップと、これら第１の劣化量と第２の劣化量の比に基づき整合度を算出するステップとを実行させる。

本発明によれば、基準映像と劣化映像が空間的および時間的に最も整合した整合状態にあるときの、基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、整合状態から所定画素数だけずれた状態の、基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量との比に基づき、整合の度合いを示す整合度が算出されるため、映像整合の最適化具合を示す指標として整合度を算出できる。
したがって、専門知識を持つ評価者が経験的に判断することなく、客観品質評価値を得る際の映像整合が適切かどうかを判断することが可能となる。これにより、適切な主観品質評価値を容易に推定することができ、最終的には、映像サービスにおいて品質を考慮した開発やサービス提供を実現することができる。

図１は、本発明の一実施の形態にかかる映像整合装置の構成を示すブロック図である。 図２は、本実施の形態にかかる映像整合装置の映像整合処理を示すフローチャートである。 図３は、フォーマット変換確認用の基準テスト映像例を示す説明図である。 図４は、位置整合・整合範囲確認用の基準テスト映像例を示す説明図である。 図５は、局所変形処理可能範囲確認用の基準テスト映像例を示す説明図である。 図６は、輝度・色出現分布確認用の基準テスト映像例を示す説明図である。 図７は、表示タイミングの整合例を示す説明図である。 図８は、表示タイミングの他の整合例を示す説明図である。 図９は、表示タイミングの他の整合例を示す説明図である。 図１０は、時間方向のマクロ同期処理例を示す説明図である。 図１１は、時間方向のミクロ同期処理例を示す説明図である。 図１２は、整合状態検出処理における劣化量とフレーム間差分値の算出例を示す説明図である。 図１３は、整合状態による整合特性の変化を示す説明図である。 図１４は、基準映像の精細度による整合特性の変化を示す説明図である。 図１５は、画素ずれを示す説明図である。 図１６は、本発明の他の実施の形態にかかる映像整合装置の構成を示すブロック図である。

次に、本発明の実施の形態について図面を参照して説明する。
［映像整合装置］
まず、図１を参照して、本発明の一実施の形態にかかる映像整合装置について説明する。図１は、本発明の一実施の形態にかかる映像整合装置の構成を示すブロック図である。

映像整合装置１００は、入力信号に対して任意の演算処理を行って所望の出力信号を得る信号処理装置からなり、時間軸に沿って並べられた複数の映像フレーム（静止画）からなる任意の基準映像１と、この基準映像１が符号化信号処理やネットワーク伝送などの任意の評価対象により劣化した劣化映像２とを入力とし、基準映像１に対して劣化映像２を空間的および時間的に整合させた映像および整合処理に関する各種整合処理情報を出力する装置である。

本実施の形態は、基準映像と劣化映像が空間的および時間的に最も整合した整合状態にあるときの、基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、整合状態から所定画素数だけずれた状態の、基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量との比に基づき、整合の度合いを示す整合度を算出出力するようにしたものである。

この映像整合装置１００には、フォーマット変換部１０、表示タイミング整合部２０、映像整合部３０、劣化量導出部４０、および整合パラメータ導出部５０が設けられている。
これら機能部は、信号処理回路部や演算処理部、さらには記憶部により実現される。このうち、演算処理部はＣＰＵやＤＳＰなどのマイクロプロセッサとその周辺回路を有し、マイクロプロセッサ内部や周辺回路のメモリあるいは記憶部からプログラムを読み込んで実行することにより各種機能部を実現する。また、記憶部はハードディスクやメモリなどの記憶装置からなり、信号処理回路部や演算処理部で用いる各種処理情報、基準映像や劣化映像の映像データ、さらにはプログラムを記憶する。

フォーマット変換部１０は、信号処理回路や演算処理部からなり、劣化映像２の信号フォーマットを基準映像１の信号フォーマットに変換する機能と、このフォーマット変換により得られたフォーマット変換後の劣化映像２Ａを出力する機能とを有している。

表示タイミング整合部２０は、信号処理回路や演算処理部からなり、フォーマット変換後の劣化映像２Ａの映像フレーム数とその表示タイミングを基準映像１に整合させる機能と、この整合により得られたタイミング整合後の劣化映像２Ｂを出力する機能とを有している。

映像整合部３０は、信号処理回路や演算処理部からなり、入力された基準映像１と劣化映像２Ｂとをそれぞれの映像フレームについて整合処理を行い、整合後の基準映像や劣化映像さらにはその整合度など、映像整合処理に関する各種整合情報を出力する機能を有している。
この映像整合部３０には、具体的な機能手段として、マクロ同期手段３１、ミクロ同期手段３２、整合状態検出手段３３、整合度導出手段３４、および整合情報出力手段３５が設けられている。

マクロ同期手段３１は、入力された基準映像１と劣化映像２Ｂからそれぞれ抽出した所定の映像特徴量の推移を比較することにより、基準映像１と劣化映像２Ｂのマクロフレーム差を導出する機能を有している。

ミクロ同期手段３２は、マクロ同期手段３１によりマクロ同期させた基準映像１と劣化映像２Ｂから任意の劣化映像フレームと当該劣化映像フレームに対し所定フレーム数以内の時間的ずれを有する複数の基準映像フレームとのフレームペアを選択し、劣化量導出部４０を制御してこれらフレームペアの劣化量を取得する機能と、これらフレームペアのうち劣化量が最小となるフレームペアに基づき基準映像１と劣化映像２Ｂとのミクロフレーム差を導出する機能とを有している。

整合状態検出手段３３は、マクロフレーム差およびミクロフレーム差により同期させた基準映像１と劣化映像２Ｂについて、劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する機能を有している。

整合度導出手段３４は、整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する機能を有している。より具体的には、劣化量導出部４０を制御して、整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量とを取得し、これら第１の劣化量と第２の劣化量の比に基づき整合度を算出する。この際、ITU-T P.910の規定に基づき算出した基準映像の空間的特徴量(SI)を上記比に乗算して整合度を算出してもよい。
整合情報出力手段３５は、劣化映像フレームごとの整合度を含む、これら映像整合処理に関する整合情報を出力する機能を有している。

劣化量導出部４０は、信号処理回路や演算処理部からなり、任意の２つの映像フレームの間の信号対雑音比を劣化量として導出する機能と、任意の２つの映像フレームの間の各画素値差分の平均値をフレーム間差分値として導出する機能と、これら劣化量およびフレーム間差分値を映像整合部３０へ出力する機能とを有している。

具体的には、劣化量導出部４０は、整合度導出手段３４からの指示に応じて、基準映像映像フレームと劣化映像フレームとの間の信号対雑音比を第１の劣化量として算出する。また、整合度導出手段３４からの指示に応じて、整合状態にある基準映像フレームと、整合状態から所定画素数だけ横方向、縦方向、および縦横両方向にそれぞれずれた状態にある複数の劣化映像フレームとの間の平均信号対雑音比を第２の劣化量として算出する。また、整合状態検出手段３３からの指示に応じて、基準映像映像フレームと劣化映像フレームとの間の信号対雑音比を劣化量として算出する。

整合パラメータ導出部５０は、信号処理回路や演算処理部からなり、所定の基準テスト映像３とこの基準テスト映像３が評価対象により劣化した劣化テスト映像４とを比較する機能と、映像整合処理に用いる各種整合パラメータを導出する機能とを有している。

［映像整合装置の動作］
次に、図２を参照して、本実施の形態にかかる映像整合装置の動作について説明する。図２は、本実施の形態にかかる映像整合装置の映像整合処理を示すフローチャートである。なお、ここでは、基準映像１および劣化映像２にはフレームレート情報あるいはフレーム表示時刻／取込時刻情報が含まれているものとし、基準映像および劣化映像は処理対象となるフレーム前後の複数フレーム分を記憶部に蓄積しながら非リアルタイムに処理を進めるものとする。

映像整合装置１００は、基準映像１と劣化映像２の整合に先だって、整合パラメータ導出部５０により、基準テスト映像３および劣化テスト映像４とを比較して各種整合パラメータを導出する（ステップ１００）。

この際、映像整合装置１００に予め格納されている基準テスト映像３を評価対象に入力しその出力である劣化テスト映像４を受け取るようにしてもよい。これら基準テスト映像３および劣化テスト映像４は、実際の信号であってもよく信号値を示すデータ列からなるデータファイルであってもよい。
ただし、劣化テスト映像４の信号形式やサイズが基準テスト映像３と異なることが入力データファイルのヘッダ情報などで事前に認識できる場合、フォーマット変換部１０と同様の処理方法を用いて劣化テスト映像４を基準テスト映像３と同等の形式にしてから整合パラメータを導出するものとする。

整合パラメータ導出部５０では、ステップ１００で整合パラメータを導出する際、図３〜図６に示すような基準テスト映像を用いて、各種整合パラメータを導出する。

図３は、フォーマット変換確認用の基準テスト映像例である。この基準テスト映像３Ａは、市松模様など、同じ形状の模様の輝度（色も含む）を最大と最小にしたテスト映像である。
このような基準テスト映像３Ａを用いれば、模様位置関係やサイズの違いから、整合パラメータとして基準テスト映像３と劣化テスト映像４の映像拡大縮小率５Ａを導出できる。また基準テスト映像３Ａを用いれば、基準映像と劣化映像の最大・最小の輝度値（色も含む）から、整合パラメータとして基準テスト映像３と劣化テスト映像４における輝度出現範囲５Ｂを導出できる。

図４は、位置整合・整合範囲確認用の基準テスト映像例である。この基準テスト映像３Ｂは、映像のうち広い範囲に点在する複数地点にピンポイントでその位置を示すマーカーの入ったテスト映像であり、特定のポイントが劣化して分かりにくくなっても周りの模様からそのポイントを推定可能な映像である。
このような基準テスト映像３Ｂを用いれば、基準映像と劣化映像における空間方向のずれ量５Ｃと、映像フレーム内で対応が取れている空間方向のずれ対応範囲５Ｄとを整合パラメータとして導出できる。

図５は、局所変形処理可能範囲確認用の基準テスト映像例である。この基準テスト映像３Ｃは、例えば１画素ごとなどの一定画素数ごとに白黒の枠を交互に入れたテスト画像である。
このような基準テスト映像３Ｃを用いれば、基準テスト映像３Ｃに対する劣化テスト映像の部分的な映像変形領域範囲５Ｅや、評価映像として有効に使える有効領域範囲５Ｆを整合パラメータとして導出できる。

図６は、輝度・色出現分布確認用の基準テスト映像例である。この基準テスト映像３Ｄは、画面内の輝度を最小値（例えば０）から最大値（例えば２５５）まで段階的な変化を繰り返す画像（グレー画像）や、同様に色を変化させる基準色ごとの画像（赤画像、緑画像、青画像）からなるテスト画像である。
このような基準テスト映像３Ｄを用いれば、劣化テスト映像４における輝度や色の出現分布５Ｇ（平均値や分散、階調数）を整合パラメータとして導出できる。

次に、フォーマット変換部１０は、基準映像１と劣化映像２について、信号形式、サイズ、アスペクト比、信号の出現範囲が異なる場合、整合パラメータ導出部５０で導出された映像拡大縮小率５Ａや輝度出現範囲５Ｂからなる整合パラメータ５１に基づき劣化映像２の信号形式の変換を行い、フォーマット変換後の劣化映像２Ａを出力する（ステップ１０１）。

この際、基準映像１が非圧縮のＹＵＶ形式であり、劣化映像のデータ形式が非圧縮のＲＧＢ形式であれば、例えばRec. ITU-R BT.601 "STUDIO ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE-SCREEN 16:9 ASPECT RATIOS"の変換式を用いて劣化映像２を変換する。

なお、劣化映像２が圧縮形式の場合は事前に非圧縮形式に変換しておく。また、サイズやアスペクト比が異なる場合は、それが同一となるように変換する。例えば単純に整数倍として計算できる場合があるが、それで済まない場合は任意のサイズに変換する必要があり、例えば「よくわかるディジタル画像処理」ＣＱ出版の第７章「画像の解像度変換」のように、任意のサイズへの変換を行う。その上で基準映像と変換した劣化映像２Ａを表示タイミング整合部２０に渡す。

特に、事前に映像フォーマットを正確に把握していない場合、あるいはヘッダなどに映像フォーマットの情報が存在していない場合には、整合パラメータ導出部５０で導出された映像拡大縮小率５Ａに基づき映像の拡大縮小の変換を行う。また、輝度出現範囲５Ｂに基づいて画素の出現範囲が規格の違いによるものである場合、輝度値の線形変換を用いて出現範囲を合わせる変換を行うものとする。

続いて、表示タイミング整合部２０は、フォーマット変換部１０でフォーマット変換された劣化映像２Ａを基準映像１の表示タイミングに合わせるため、フレーム補間などの処理を行い、タイミング整合後の劣化映像２Ｂを出力する（ステップ１０２）。図７〜図９は、表示タイミングの整合例である。

具体的には、図７のように、基準映像１の表示間隔よりフォーマット変換後の劣化映像２Ａの表示間隔が定常的に長い場合、劣化映像２Ａについて直前フレームを補間することにより映像を補う。
また、図８のように、劣化映像の表示間隔が揺らぐ場合、基準映像１の表示タイミングに表示している映像あるいは時間的に基準映像１の表示タイミングに近い映像を用いて劣化映像２Ａを補間する。
さらに、図９のように、基準映像１自体が一定のフレームレートでない場合、基準映像１と劣化映像２Ａを、これらとは別の正確な時間間隔で表示されるように補間する。

次に、映像整合部３０は、整合パラメータ導出部５０で得られた、映像拡大縮小率５Ａ、輝度出現範囲５Ｂ、空間方向のずれ量５Ｃ、対応範囲５Ｄ、映像変形領域範囲５Ｅ、あるいは出現分布５Ｇなどの整合パラメータ５２を用いて、３つの動作の状態、すなわち評価開始状態、同期状態、およびフリーズ状態を遷移しながら、基準映像１とタイミング整合後の劣化映像２Ｂの映像整合処理を行う（ステップ１１０〜１３５）。

まず、評価開始状態において、映像整合部３０は、時間方向の大まかな同期をとるために、マクロ同期手段３１により、マクロ同期処理を行う（ステップ１１０）。このマクロ同期処理において、マクロ同期手段３１は、一定時間の基準映像１と劣化映像２Ｂに関する、１フレームごとや特定領域の信号の輝度／色差／ＲＧＢ値の平均値のような、映像特徴量の推移を比較し、両者間の整合性が最も高くなったときのフレーム差を、マクロな時間方向のずれ、すなわちマクロフレーム差として導出する。

図１０は、時間方向のマクロ同期処理例である。具体的には、図１０に示すように、平均輝度値などの特徴量を時間方向にずらして各時系列値の差分が最小になる条件、あるいは相互相関係数が最大になる条件から時間方向のずれ、すなわちマクロフレーム差を導出する。

続いて、映像整合部３０は、ミクロ同期手段３２により得たマクロフレーム差でマクロ同期をとった後の基準映像１と劣化映像２Ｂについて、さらに時間方向と空間方向における詳細な同期をとるため、ミクロ同期処理を行う（ステップ１１１）。図１１は、ミクロ同期処理例を示す説明図である。

このミクロ同期処理において、ミクロ同期手段３２は、マクロ同期後の基準映像１と劣化映像２Ｂの任意のフレームペア、例えば劣化映像２Ｂの先頭フレームと、これに対応する基準映像１のフレームおよび当該フレームから所定フレーム数以内の時間ずれを有するフレームからなる検索対象フレームと、からなる各フレームペアについて、図１１で示すように、整合パラメータ導出部５０で得られた空間方向のずれ量５Ｃ（上下左右の位置）だけ両者間の画素位置を補正したときの劣化量の算出を劣化量導出部４０に指示する。これに応じて、劣化量導出部４０は、これら両フレーム間の劣化量として後述の式１を利用して信号対雑音比ＰＳＮＲ(Peak Signal to Noise Ratio)をそれぞれ算出する。

ミクロ同期手段３２は、劣化量導出部４０で算出されたこれら信号対雑音比ＰＳＮＲが最大である、すなわち劣化量が最小であるフレームペアを選択することにより、基準映像１と劣化映像２Ｂの最も整合がとれたフレーム対応関係を求め、このフレーム差をミクロフレーム差として導出する。これにより時間方向のミクロな整合をとることが可能となる。以下では、このような基準映像１と劣化映像２Ｂのフレーム対応関係を同期状態という。
また、このような基準映像１と劣化映像２Ｂのフレーム対応関係にあるフレームペアが、その劣化量が最小となる空間的な位置関係、具体的には信号雑音比ＰＳＮＲが最大となる位置関係にある状態を、基準映像１と劣化映像２Ｂが時間的および空間的に最も整合している整合状態という。

次に、映像整合部３０は、基準映像１およびタイミング整合後の劣化映像２Ｂのいずれかが最後の映像フレームとなるまで、同期状態のフレーム対応関係にある基準映像１と劣化映像２Ｂから、基準映像対象フレームと劣化映像対象フレームを順次選択し、これら基準映像対象フレームと劣化映像対象フレームについて、以下のような同期状態およびフリーズ状態での処理ループを開始する（ステップ１１２，１１４）。

なお、図２において、変数ｉ，ｊはそれぞれ基準映像対象フレーム番号および劣化映像対象フレーム番号を示し、変数Ｎ，Ｍはそれぞれ基準映像最終フレーム番号および劣化映像最終フレーム番号を示す。また、フラグＦ１は空間方向における両映像の同期状態（０），非同期状態（１）を示し、フラグＦ２は時間方向における両映像の同期（０），コマ飛び（１），その他（２：コマ戻状態）を示す。変数Ｃｏｕｎｔは劣化映像のフリーズ回数である。

まず、フラグＦ１が０を示す同期状態の場合（ステップ１１３：ＮＯ）、映像整合部３０は、整合状態検出手段３３により、整合パラメータ導出部５０で得られた時間空間方向のずれ量５Ｃや輝度および色情報５Ｂ，５Ｇに基づき劣化映像２Ｂを補正した整合劣化映像を生成し、後述する整合状態検出処理により、基準映像との間の劣化量およびフレーム間差分値を算出する（ステップ１２０）。
この際、整合状態検出手段３３は、劣化量導出部４０に対して、これら劣化映像と基準映像の処理対象フレームをそれぞれ渡すことにより、劣化量導出部４０からこれらフレームに関する劣化量およびフレーム間差分値を取得する。

図１２は、整合状態検出処理における劣化量とフレーム間差分値の算出例を示す説明図である。劣化量導出部４０は、図１２に示すように、整合状態検出手段３３から受け取った、劣化映像２Ｂの劣化映像対象フレーム（ｊ）と、これに対応する基準映像１の基準映像対象フレーム（ｉ）および当該基準映像対象フレーム（ｉ）から所定フレーム数以内の時間ずれを有する基準映像フレームからなる検索対象フレームと、からなる各フレームペア間について劣化量をそれぞれ導出する。そして、これらフレームペアのうち劣化量が最小で整合状態にあるフレームペアを選択し、その基準映像フレームのフレーム番号を導出する。

また、劣化量導出部４０は、上記フレームペアの基準映像フレームと劣化映像フレームについて、後述の式２を用いて、それぞれの直前フレームとのフレーム間差分値を導出する。この際、劣化量導出部４０は、両映像フレームの画素ごとに画素値の差分値を算出し、当該映像フレーム全体の画素の平均差分値をフレーム間差分値として算出する。

映像整合部３０は、整合状態検出手段３３により、劣化量導出部４０により導出された各対象フレームのフレーム間差分値に基づいて劣化映像のフリーズ有無を判断する（ステップ１２１）。すなわち、基準映像についての差分値がある値を示しているのに対し、劣化映像のそれがほとんど０を示していれば、劣化映像に変化がないフリーズ状態であると判断する。
ここで、劣化映像がフリーズ状態の場合（ステップ１２１：ＹＥＳ）、映像整合部３０は、フラグＦ１を非同期状態（１）に設定するとともに、フリーズ数Ｃｏｕｎｔを１に設定して（ステップ１２８）、処理ループのステップ１１４へ移行する。

一方、劣化映像がフリーズ状態ではない場合（ステップ１２１：ＮＯ）、整合状態検出手段３３は、ステップ１２０の整合状態検出処理により得られた、劣化映像対象フレームと基準映像フレームとの間の劣化量が、最小か否か判断し（ステップ１２２）、最小の場合は（ステップ１２２：ＹＥＳ）、同期状態（Ｆ２＝０）と設定する（ステップ１２４）。
最小でない場合は（ステップ１２２：ＮＯ）、フレームずれ状態（コマ飛び状態，コマ戻り状態など）であると判定し、検索対象フレームのうち劣化量が最小で整合状態にある基準映像フレームの番号をｉに設定し、コマ飛びならフラグＦ２＝１に設定し、それ以外ならフラグＦ２＝２と設定し、そのときのコマ（フレーム）のずれ数をＣｏｕｎｔに設定する（ステップ１２３）。

続いて、映像整合部３０は、整合度導出手段３４により、後述する整合度算出処理を実行して、整合状態にある基準映像フレームと劣化映像フレームの整合の度合いを示す整合度の計算を行う（ステップ１２５）。続いて、整合情報出力手段３５により、上記整合状態に基づき整合された基準映像や劣化映像からなる整合基準映像や整合劣化映像、整合度、整合パラメータ（５Ａ〜５Ｇ）、同期情報（Ｆ２）、およびフリーズ数（Ｃｏｕｎｔ）などの整合情報を出力する（ステップ１２６）。そして、Ｃｏｕｎｔを０にリセットした後（ステップ１２７）、ステップ１１４へ移行する。

また、フラグＦ１が１を示す非同期状態の場合（ステップ１１３：ＹＥＳ）、映像整合部３０は、ステップ１２０と同様にして整合状態検出手段３３で整合状態検出処理を実行し（ステップ１３０）、ステップ１２１と同様の劣化映像のフリーズ有無を判断する（ステップ１３１）。
ここで、劣化映像がフリーズ状態の場合（ステップ１３１：ＹＥＳ）、整合状態検出手段３３は、フリーズ数Ｃｏｕｎｔをインクリメント（＋１）して（ステップ１３５）、処理ループのステップ１１４へ移行する。

一方、劣化映像がフリーズ状態ではない場合（ステップ１３１：ＮＯ）、映像整合部３０は、ステップ１１０と同様のマクロ同期処理を行い（ステップ１３２）、整合情報出力手段３５により、フリーズ数Ｃｏｕｎｔを出力する（ステップ１３３）。そして、フラグＦ１およびＣｏｕｎｔを０にリセットし（ステップ１３４）、処理ループのステップ１１４へ移行する。

ステップ１１４では、基準映像対象フレーム番号ｉおよび劣化映像対象フレーム番号ｊをそれぞれインクリメントし、ｉ＜Ｎまたはｊ＜Ｍが成立する場合は、ステップ１１２との間のループ処理を繰り返す。また、ｉ，ｊがともにＮ，Ｍに達した時点で、一連の映像整合処理を終了する。

なお、上記映像整合処理では、常に基準映像と劣化映像について、１フレーム全体または特定領域の信号の輝度／色差／ＲＧＢ値の平均値のような特徴量を蓄積しているものとする。また、何らかの事情で同期が取れなくなったとき、例えば対象となるフレームにおける特徴量が一定期間の平均値からある閾値（３σのように標準偏差の定数倍）以上に開きが生じた場合には、評価初期状態に入ることとし、ステップ１１０からの処理が再開される。

［整合度算出動作］
次に、図１３〜図１５を参照して、本実施の形態にかかる整合度算出動作について説明する。図１３は、整合状態による整合特性の変化を示す説明図である。図１４は、基準映像の精細度による整合特性の変化を示す説明図である。図１５は、画素ずれを示す説明図である。

整合度は、次の２つの特徴を利用して導出する。第１の特徴は、図１３に示すように、整合が最適化されている場合には、その整合状態における基準映像と劣化映像のフレーム間の信号対雑音比と、整合状態から１画素だけでもずれた状態の信号対雑音比の差が大きく、整合が最適化されていない場合には、整合状態から１画素でもずれた状態の信号対雑音比の差が小さいこと、である。第２の特徴は、整合が最適化されている場合の特性は、図１４に示すように基準映像の絵柄が細かく、精細度が高い映像ほど顕著な傾向があること、である。

整合度導出手段３４による具体的な整合度の算出処理については、まず、基準映像と劣化映像の間で時間・空間的に最も整合していると判断された整合状態での劣化量（第１の劣化量）として、式１の信号対雑音比ＰＳＮＲ(Peak Signal to Noise Ratio)に示すように、ピーク輝度（２５５）に対して基準映像と劣化映像の画素差分値、すなわち式２に示すＭＳＥとの対数比を計算する。
ただし、式２において、Ｙｉｎ，Ｙｏｕｔは基準映像／劣化映像であり、Ｎは画素数、Ｙ(ｘ，ｙ，ｉ）は第ｉフレーム目の位置(ｘ，ｙ)における画素値を示す。

次に、その整合状態から所定画素数だけずれた状態（整合近傍状態）についても同様にその信号対雑音比ＰＳＮＲを計算し、その平均値を劣化量（第２の劣化量）として導出する。ここでは、図１５に示すように、整合状態から１画素隣りにずれた８つの状態または２画素隣りにずれた１８個の状態を用いることとする。
そして、基準映像の空間的特徴量として、ITU-T P.910("Subjective video quality assessment methods for multimedia applications," Aug.1996.)に規定される空間的特徴量であるＳＩ値(Spatial Information)を計算し、これら値を利用して式３により整合度を導出する。ただし、αは整合度を正規化するための係数である。
整合度＝α×基準映像のSI値×（整合状態のPSNR／整合近傍状態のPSNRの平均値）…(3)

このように、本実施の形態では、基準映像と劣化映像が空間的および時間的に最も整合した整合状態にあるときの、基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、整合状態から所定画素数だけずれた状態の、基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量との比に基づき、整合の度合いを示す整合度を算出出力するようにしたので、映像整合の最適化具合を示す指標として整合度を算出できる。
したがって、専門知識を持つ評価者が経験的に判断することなく、客観品質評価を得る際の映像整合が適切かどうかを判断することが可能となる。これにより最終的には、映像サービスにおいて品質を考慮した開発やサービス提供を実現することができる。

また、ITU-T P.910の規定に基づき算出した基準映像の空間的特徴量(SI)を劣化量の比に乗算して整合度を算出するようにしたので、基準映像の特徴量で重み付けを行うことができる。
また、劣化量として、劣化量算出対象となる画素から算出した基準映像と劣化映像の信号対雑音比を用いるようにしたので、安定的かつ汎用的に整合度を算出できる。なお、本実施の形態では、劣化量として信号対雑音比ＰＳＮＲを用いた場合を例として説明したが、これに限定されるものではなく、画素値の平均差分値を用いてもよい。また、信号雑音比を用いる場合でもＰＳＮＲ以外の公知の信号対雑音比を用いてもよい。

［実施の形態の拡張］
本実施の形態では、図１に示すように、映像整合部３０と劣化量導出部４０とを別個の機能部により実現した場合を例として説明したが、これら両機能部は、ともに信号処理回路部や演算処理部で実現される。したがって、図１６に示すように、劣化量導出部４０を映像整合部３０と同一機能部で実現してもよい。これにより、映像整合部３０の各機能手段と劣化量導出部４０との間で、各種データを極めて容易にやり取りすることができ、処理所要時間の短縮やハードウェア資源の削減を実現できる。また、このことはフォーマット変換部１０、表示タイミング整合部２０、あるいは整合パラメータ導出部５０と映像整合部３０との関係についても同様に適応できる。

また、本実施の形態では、ステップ１１１のミクロ同期処理において、劣化映像フレームを固定して、複数の基準映像フレームとフレームペアを構成する場合を例として説明したが、これに限定されるものではない。例えば、基準映像フレームを固定し、これに対応する劣化映像フレームおよび当該劣化映像フレームと所定フレーム数以内の時間ずれを有する複数の劣化映像フレームとフレームペアを構成してもよく、前述と同様のミクロ同期処理を実行できる。

また、本実施の形態では、ミクロ同期手段３２と整合状態検出手段３３が別個の機能手段から実現されている場合を例として説明したが、これに限定されるものではない。前述したように、これらミクロ同期手段３２と整合状態検出手段３３は、ともに劣化量導出部４０を制御して、複数のフレームペアの劣化量を取得し、最も劣化量の小さいフレームペアを選択する機能を有している。したがって、これらを同一の機能手段で実現してもよい。

また、本実施の形態において、整合情報出力手段３５により、整合後の映像を出力する際、整合度算出に用いた基準映像フレームや劣化映像フレームを、それぞれ整合基準映像や整合劣化映像として出力してもよい。
また、本実施の形態では、外部から入力された基準映像１を映像整合部３０での映像整合処理に用いる場合を例として説明したが、これに限定されるものではない。例えば図９に示したように、表示タイミング整合部２０により基準映像１のフレームレートを補間した場合は、この補間後の基準映像１を用いて映像整合処理を行ってもよい。

また、本実施の形態では、整合パラメータ導出部５０を設けた場合を例として説明したが、整合パラメータ導出部５０を設けず、図２の処理内で必要なパラメータを導出するようにしてもよい。
例えば、ステップ１１１のミクロ同期処理において、劣化映像２Ｂの劣化映像対象フレームとこれに対応する基準映像１側の各基準処理対象フレームとについて、それぞれのフレームペア間で劣化量を算出する際、フレームペア間の空間方向の画素位置すなわちずれ量を変えていくつかの信号対雑音比ＰＳＮＲを劣化量導出部４０により算出しておき、その信号対雑音比ＰＳＮＲが最大となったときのずれ量を空間方向のずれ量５Ｃとして導出すればよい。

また、ミクロ同期がとれた時点のフレームペアに基づき、その基準映像フレームと劣化映像フレームの最大・最小の輝度値（色も含む）から、整合パラメータとして輝度出現範囲５Ｂを導出してもよく、輝度や色の出現分布５Ｇ（平均値や分散、階調数）を導出してもよい。

また、本実施の形態では、整合パラメータ導出部５０を設けて、所定のテスト用基準映像と評価対象によりテスト用基準映像から得られたテスト用劣化映像とを比較して、基準映像と劣化映像を整合するのに用いる各種整合パラメータを導出するようにしたので、前述のように通常の基準映像や劣化映像を用いた場合と比較して、評価対象の劣化特性を顕著に表す整合パラメータを導出できる。さらに、この整合パラメータに基づき整合処理を行うようにしたので、基準映像や劣化映像がぼやけている場合や、評価対象で生じている劣化が大きい場合でも、適切な映像整合を行うことができる。

なお、前述した映像整合方法においては、映像整合部３０から基準映像と整合映像とその整合情報（時間方向の状態）を出力したものを客観評価装置に入力することを想定しているが、ミクロ同期処理において劣化量導出部４０から劣化量ではなく客観評価値を受け取り、映像整合部３０よりその結果を出力すれば、映像整合装置１００を客観評価装置として利用することもできる。

本発明にかかる映像整合装置は、インターネットなどのＩＰネットワークを用いた映像配信サービスや映像コミュニケーションサービスの品質管理において、受信側端末で再生される映像の品質を客観評価する際、その基準映像と劣化映像を時間的および空間的に整合させる装置として有用である。

Claims (12)

1. 時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレームからなる劣化映像とを入力とし、前記劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出手段と、
   前記整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出手段と、
   前記整合状態に基づき整合された基準映像および劣化映像と前記整合度とを出力する整合情報出力手段と、
   任意の２つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出部と
   を備え、
   前記整合度導出手段は、前記劣化量導出部を制御して、前記整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、前記整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量とを取得し、これら第１の劣化量と第２の劣化量の比に基づき前記整合度を算出する
   ことを特徴とする映像整合装置。
2. 請求項１に記載の映像整合装置において、
   前記劣化量導出部は、前記整合度導出手段の制御に応じて、前記基準映像フレームと前記劣化映像フレームとの間の信号対雑音比を前記第１の劣化量として算出することを特徴とする映像整合装置。
3. 請求項１に記載の映像整合装置において、
   前記劣化量導出部は、前記整合度導出手段の制御に応じて、前記整合状態にある前記基準映像フレームと、前記整合状態から所定画素数だけ横方向、縦方向、および縦横方向にそれぞれずれた状態にある前記劣化映像の各映像フレームとの間の平均信号対雑音比を前記第２の劣化量として算出することを特徴とする映像整合装置。
4. 請求項１に記載の映像整合装置において、
   前記整合度導出手段は、ITU-T P.910の規定に基づき算出した前記基準映像の空間的特徴量(SI)を前記比に乗算して前記整合度を算出することを特徴とする映像整合装置。
5. 請求項１に記載の映像整合装置において、
   前記劣化映像の信号フォーマットを前記基準映像の信号フォーマットに変換して出力するフォーマット変換部と、前記基準映像および前記フォーマット変換後の劣化映像に含まれる映像フレーム数とその表示タイミングを整合させて出力する表示タイミング整合部とをさらに備え、
   前記整合状態検出手段は、前記表示タイミング整合部により表示タイミングを整合させた基準映像と劣化映像を入力とする
   ことを特徴とする映像整合装置。
6. 請求項５に記載の映像整合装置において、
   所定の基準テスト映像とこの基準テスト映像が前記評価対象により劣化した劣化テスト映像とを比較して、前記基準テスト映像の映像フレームと前記劣化テスト映像の映像フレームの大きさに関する拡大縮小率と、前記基準テスト映像と前記劣化テスト映像で用いられる輝度範囲とを、整合パラメータとして導出する整合パラメータ導出部をさらに備え、
   前記フォーマット変換部は、前記拡大縮小率と前記輝度範囲に基づき前記フォーマット変換を行う
   ことを特徴とする映像整合装置。
7. 請求項１に記載の映像整合装置において、
   前記整合状態検出手段は、前記劣化量導出部を制御して、当該劣化映像フレームについて検索対象となる各基準映像フレームとのフレームペアごとに劣化量を取得し、これらフレームペアのうち劣化量が最小となるフレームペアを整合状態にあると判断することを特徴とする映像整合装置。
8. 請求項７に記載の映像整合装置において、
   前記劣化量導出部は、前記整合状態検出手段からの指示に応じて、前記基準映像映像フレームと前記劣化映像フレームとの間の信号対雑音比を前記劣化量として算出することを特徴とする映像整合装置。
9. 請求項１に記載の映像整合装置において、
   入力された前記基準映像の各基準映像フレームと入力された前記劣化映像の各劣化映像フレームからそれぞれ抽出した所定の映像特徴量の推移を比較することにより、前記基準映像と前記劣化映像のマクロフレーム差を導出するマクロ同期手段をさらに備え、
   前記整合状態検出手段は、前記マクロフレーム差に基づき時間的に同期させた基準映像と劣化映像を入力とする
   ことを特徴とする映像整合装置。
10. 請求項９に記載の映像整合装置において、
    前記マクロフレーム差によりマクロ同期させた基準映像と劣化映像から任意の劣化映像フレームと当該劣化映像フレームに対し所定フレーム数以内の時間的ずれを有する複数の基準映像フレームとのフレームペアを選択し、前記劣化量導出部を制御してこれらフレームペアごとに劣化量を取得し、これらフレームペアのうち劣化量が最小となるフレームペアに基づき前記基準映像と前記劣化映像のミクロフレーム差を導出するミクロ同期手段をさらに備え、
    前記整合状態検出手段は、前記マクロフレーム差および前記ミクロフレーム差に基づき時間的に同期させた基準映像と劣化映像を入力とする
    ことを特徴とする映像整合装置。
11. 整合状態検出手段により、時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレームからなる劣化映像とを入力とし、前記劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出ステップと、
    整合度導出手段により、前記整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出ステップと、
    整合情報出力手段により、前記整合状態に基づき整合された基準映像および劣化映像と前記整合度とを出力する整合情報出力ステップと、
    劣化量導出部により、任意の２つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出ステップと
    を備え、
    前記整合度導出ステップは、前記劣化量導出ステップを用いて、前記整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、前記整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量とを取得するステップと、これら第１の劣化量と第２の劣化量の比に基づき前記整合度を算出するステップとからなる
    ことを特徴とする映像整合方法。
12. 時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレームからなる劣化映像とを入力とし、これら基準映像と劣化映像を空間的および時間的に整合させて出力する映像整合装置のコンピュータに、
    整合状態検出手段により、時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレームからなる劣化映像とを入力とし、前記劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出ステップと、
    整合度導出手段により、前記整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出ステップと、
    整合情報出力手段により、前記整合状態に基づき整合された基準映像および劣化映像と前記整合度とを出力する整合情報出力ステップと、
    劣化量導出部により、任意の２つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出ステップと
    を実行させ、
    前記整合度導出ステップとして、前記劣化量導出ステップを用いて、前記整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、前記整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量とを取得するステップと、これら第１の劣化量と第２の劣化量の比に基づき前記整合度を算出するステップと
    を実行させるプログラム。

Images