WO2007007750A1

WO2007007750A1 - 映像整合装置、方法、およびプログラム

Info

Publication number: WO2007007750A1
Application number: PCT/JP2006/313765
Authority: WO
Inventors: Jun Okamoto; Takaaki Kurita
Original assignee: Nippon Telegraph And Telephone Corporation
Priority date: 2005-07-11
Filing date: 2006-07-11
Publication date: 2007-01-18
Also published as: EP1903809A1; CA2611397A1; US8094196B2; EP1903809B1; CA2611397C; US20090040311A1; JP4482031B2; JPWO2007007750A1; KR20080012354A; EP1903809A4; CN101199211A; CN101199211B; KR100963614B1

Abstract

　映像整合装置(100)の整合状態検出手段(33)により、基準映像(1)と劣化映像(2B)の各映像フレームのうち劣化映像フレームごとに空間的および時間的に整合した整合状態にある基準映像フレームを検出し、整合度導出手段(34)により、劣化量導出部(40)を制御して、整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第１の劣化量と、整合状態から所定画素数だけずれた状態の、基準映像フレームと劣化映像フレームとの間の劣化量を示す第２の劣化量とを取得し、これら第１の劣化量と第２の劣化量の比に基づき整合度を算出し、整合情報出力手段(35)により、整合後の基準映像および劣化映像と整合度とを出力する。

Description

映像整合装置、方法、およびプログラム

技術分野

[0001] 本発明は、映像処理技術に関し、特に映像の主観品質評価に用いる基準映像と劣化映像を時間的および空間的に整合させる映像整合技術に関する。

背景技術

[0002] 時間軸に沿って並べられた複数の映像フレーム (静止画)力なる映像信号の物理的な特徴量を用いて主観品質を推定する客観品質評価法には、基準映像と劣化映像とを用いて、所望の評価対象に対する主観品質評価値を推定する技術がある。劣化映像とは、基準映像に対する符号化やネットワーク伝送などの信号処理すなわち評価対象での損失によって劣化した映像を!ヽぅ。

このような技術では、基準映像と劣化映像の間に時間方向や空間方向のずれがある場合、精度良く主観品質評価値を推定できないため、基準映像と劣化映像を適切に整合させることが重要となる。

[0003] 従来より提案されている、基準映像と劣化映像を用いて主観品質評価値を推定する技術（例えば、特開 2004— 080177号公報、 USP5,446,492、 USP6,704,451など参照）は、 TV放送を想定しており、厳密に同期している信号あるいは同一の映像サイズ.フレームレートの信号については適切に主観品質評価値を推定することができる

。したがって、これら技術は、予め整合している基準映像と劣化映像を用いること、あるいは映像の開始時点で簡易的に整合させた基準映像と劣化映像を用いることを前提とするちのである。

[0004] しかし、近年普及し始めて!/、る、インターネットなどの IPネットワークを用いた映像配信サービスや映像コミュニケーションサービスでは、パーソナルコンピュータ（PC)端末で映像を受信するため、基準映像と劣化映像のサイズやアスペクト比が異なっていたり、ネットワーク性能に起因した映像品質の劣化が大きぐ基準映像と劣化映像の空間的や時間的な位置の整合は取れていない。したがって、上記技術では適切に主観品質評価値を推定することはできな、。 [0005] これに対して、発明者らは、基準映像と劣化映像の信号フォーマットを揃えるとともに、これら映像信号に対するマクロ的やよびミクロ的な整合処理をフレームごとに行うことにより、基準映像と劣化映像の時間方向や空間方向の整合をとつて客観評価結果を得る技術を提案した (例えば、 WO2005Z020592A1など参照)。

発明の開示

発明が解決しょうとする課題

[0006] し力しながら、この従来技術では、基準映像と劣化映像が、例えば画素数について整数倍に伸縮'変形している場合には適切に整合をとることができるものの、単に数画素だけ伸縮'変形して!/、る場合、完全には対応できて、な、。

特に、評価対象となる映像符号化や伝送システムなどの信号処理によっては、映像自体を数画素だけ伸縮'変形して、たり、基準映像自体が元々ぼやけて、たり、劣化の程度が大きいこともある。このような映像信号については、部分的には整合が取れるが、それ以外の多くの領域では整合が取れなくなり、基準映像と劣化映像の整合を最適化できなヽ場合がある。

[0007] このため、客観品質評価値を得る際には映像整合が適切力どうかについて専門知識を持つ評価者が経験的に判断する必要がある。したがって、専門知識を持つ評価者がいない場合には、客観品質評価を得る際の映像整合が適切カゝどうかを判断できず、結果として適切な主観品質評価値を推定することはできな、と、う問題点があつた。

本発明はこのような課題を解決するためのものであり、専門知識を持つ評価者が経験的に判断することなぐ客観品質評価を得る際の映像整合が適切かどうかを判断できる映像整合装置、方法、およびプログラムを提供することを目的としている。課題を解決するための手段

[0008] このような目的を達成するために、本発明にかかる映像整合装置は、時間軸に沿つて並べられた複数の基準映像フレーム力なる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレーム力なる劣化映像とを入力とし、劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出手段と、整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出手段と、整合状態に基づき整合された基準映像および劣化映像と整合度とを出力する整合情報出力手段と、任意の 2つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出部とを備え、整合度導出手段により、劣化量導出部を制御して、整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1の劣化量と、整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量とを取得し、これら第 1の劣化量と第 2の劣化量の比に基づき整合度を算出するようにしたものである。

[0009] また、本発明にかかる映像整合方法は、整合状態検出手段により、時間軸に沿つて並べられた複数の基準映像フレーム力なる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレーム力なる劣化映像とを入力とし、劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出ステップと、整合度導出手段により、整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出ステップと、整合情報出力手段により、整合状態に基づき整合された基準映像および劣化映像と整合度とを出力する整合情報出力ステップと、劣化量導出部により、任意の 2つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出ステップとを備え、整合度導出ステップは、劣化量導出ステップを用いて、整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1の劣化量と、整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量とを取得するステップと、これら第 1の劣化量と第 2の劣化量の比に基づき整合度を算出するステップとからなる。

[0010] また、本発明にかかるプログラムは、時間軸に沿って並べられた複数の基準映像フレーム力なる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレーム力なる劣化映像とを入力とし、これら基準映像と劣化映像を空間的および時間的に整合させて出力する映像整合装置のコンピュータに、整合状態検出手段により、時間軸に沿って並べられた複数の基準映像フレーム力なる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレーム力なる劣化映像とを入力とし、劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出ステップと、整合度導出手段により、整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出ステップと、整合情報出力手段により、整合状態に基づき整合された基準映像および劣化映像と整合度とを出力する整合情報出力ステップと、劣化量導出部により、任意の 2つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出ステップとを実行させ、整合度導出ステップとして、劣化量導出ステツプを用いて、整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1の劣化量と、整合状態力所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量とを取得するステップと、これら第 1の劣化量と第 2の劣化量の比に基づき整合度を算出するステップとを実行させる。

発明の効果

本発明によれば、基準映像と劣化映像が空間的および時間的に最も整合した整合状態にあるときの、基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1 の劣化量と、整合状態から所定画素数だけずれた状態の、基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量との比に基づき、整合の度合いを示す整合度が算出されるため、映像整合の最適化具合を示す指標として整合度を算出できる。

したがって、専門知識を持つ評価者が経験的に判断することなぐ客観品質評価値を得る際の映像整合が適切力どうかを判断することが可能となる。これにより、適切な主観品質評価値を容易に推定することができ、最終的には、映像サービスにおいて品質を考慮した開発やサービス提供を実現することができる。

図面の簡単な説明

[0012] [図 1]図 1は、本発明の一実施の形態にカゝかる映像整合装置の構成を示すブロック図である。

[図 2]図 2は、本実施の形態にかかる映像整合装置の映像整合処理を示すフローチヤートである。

[図 3]図 3は、フォーマット変換確認用の基準テスト映像例を示す説明図である。

[図 4]図 4は、位置整合'整合範囲確認用の基準テスト映像例を示す説明図である。

[図 5]図 5は、局所変形処理可能範囲確認用の基準テスト映像例を示す説明図である。

[図 6]図 6は、輝度，色出現分布確認用の基準テスト映像例を示す説明図である。

[図 7]図 7は、表示タイミングの整合例を示す説明図である。

[図 8]図 8は、表示タイミングの他の整合例を示す説明図である。

[図 9]図 9は、表示タイミングの他の整合例を示す説明図である。

[図 10]図 10は、時間方向のマクロ同期処理例を示す説明図である。

[図 11]図 11は、時間方向のミクロ同期処理例を示す説明図である。

[図 12]図 12は、整合状態検出処理における劣化量とフレーム間差分値の算出例を示す説明図である。

[図 13]図 13は、整合状態による整合特性の変化を示す説明図である。

[図 14]図 14は、基準映像の精細度による整合特性の変化を示す説明図である。

[図 15]図 15は、画素ずれを示す説明図である。

[図 16]図 16は、本発明の他の実施の形態にカゝかる映像整合装置の構成を示すプロック図である。

発明を実施するための最良の形態

[0013] 次に、本発明の実施の形態について図面を参照して説明する。

[映像整合装置]

まず、図 1を参照して、本発明の一実施の形態に力かる映像整合装置について説明する。図 1は、本発明の一実施の形態にカゝかる映像整合装置の構成を示すブロック図である。

[0014] 映像整合装置 100は、入力信号に対して任意の演算処理を行って所望の出力信号を得る信号処理装置からなり、時間軸に沿って並べられた複数の映像フレーム (静止画)力なる任意の基準映像 1と、この基準映像 1が符号ィ匕信号処理やネットワーク伝送などの任意の評価対象により劣化した劣化映像 2とを入力とし、基準映像 1に対して劣化映像 2を空間的および時間的に整合させた映像および整合処理に関する各種整合処理情報を出力する装置である。

[0015] 本実施の形態は、基準映像と劣化映像が空間的および時間的に最も整合した整合状態にあるときの、基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1の劣化量と、整合状態から所定画素数だけずれた状態の、基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量との比に基づき、整合の度合いを示す整合度を算出出力するようにしたものである。

[0016] この映像整合装置 100には、フォーマット変換部 10、表示タイミング整合部 20、映像整合部 30、劣化量導出部 40、および整合パラメータ導出部 50が設けられているこれら機能部は、信号処理回路部や演算処理部、さらには記憶部により実現される。このうち、演算処理部は CPUや DSPなどのマイクロプロセッサとその周辺回路を有し、マイクロプロセッサ内部や周辺回路のメモリあるいは記憶部からプログラムを読み込んで実行することにより各種機能部を実現する。また、記憶部はハードディスクゃメモリなどの記憶装置からなり、信号処理回路部や演算処理部で用いる各種処理情報、基準映像や劣化映像の映像データ、さらにはプログラムを記憶する。

[0017] フォーマット変換部 10は、信号処理回路や演算処理部からなり、劣化映像 2の信号フォーマットを基準映像 1の信号フォーマットに変換する機能と、このフォーマット変換により得られたフォーマット変換後の劣化映像 2Aを出力する機能とを有している。

[0018] 表示タイミング整合部 20は、信号処理回路や演算処理部からなり、フォーマット変換後の劣化映像 2Aの映像フレーム数とその表示タイミングを基準映像 1に整合させる機能と、この整合により得られたタイミング整合後の劣化映像 2Bを出力する機能とを有している。 [0019] 映像整合部 30は、信号処理回路や演算処理部からなり、入力された基準映像 1と劣化映像 2Bとをそれぞれの映像フレームについて整合処理を行い、整合後の基準映像や劣化映像さらにはその整合度など、映像整合処理に関する各種整合情報を出力する機能を有している。

この映像整合部 30には、具体的な機能手段として、マクロ同期手段 31、ミクロ同期手段 32、整合状態検出手段 33、整合度導出手段 34、および整合情報出力手段 35 が設けられている。

[0020] マクロ同期手段 31は、入力された基準映像 1と劣化映像 2Bからそれぞれ抽出した所定の映像特徴量の推移を比較することにより、基準映像 1と劣化映像 2Bのマクロフレーム差を導出する機能を有して、る。

[0021] ミクロ同期手段 32は、マクロ同期手段 31によりマクロ同期させた基準映像 1と劣化映像 2Bから任意の劣化映像フレームと当該劣化映像フレームに対し所定フレーム数以内の時間的ずれを有する複数の基準映像フレームとのフレームペアを選択し、劣化量導出部 40を制御してこれらフレームペアの劣化量を取得する機能と、これらフレームペアのうち劣化量が最小となるフレームペアに基づき基準映像 1と劣化映像 2Bとのミクロフレーム差を導出する機能とを有して、る。

[0022] 整合状態検出手段 33は、マクロフレーム差およびミクロフレーム差により同期させた基準映像 1と劣化映像 2Bについて、劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する機能を有して、る。

[0023] 整合度導出手段 34は、整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する機能を有している。より具体的には、劣化量導出部 40を制御して、整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1の劣化量と、整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量とを取得し、これら第 1の劣化量と第 2の劣化量の比に基づき整合度を算出する。この際、 ITU-T P. 910の規定に基づき算出した基準映像の空間的特徴量 (SI)を上記比に乗算して整合度を算出してもよい。

整合情報出力手段 35は、劣化映像フレームごとの整合度を含む、これら映像整合処理に関する整合情報を出力する機能を有している。

[0024] 劣化量導出部 40は、信号処理回路や演算処理部からなり、任意の 2つの映像フレームの間の信号対雑音比を劣化量として導出する機能と、任意の 2つの映像フレームの間の各画素値差分の平均値をフレーム間差分値として導出する機能と、これら劣化量およびフレーム間差分値を映像整合部 30へ出力する機能とを有している。

[0025] 具体的には、劣化量導出部 40は、整合度導出手段 34からの指示に応じて、基準映像映像フレームと劣化映像フレームとの間の信号対雑音比を第 1の劣化量として算出する。また、整合度導出手段 34からの指示に応じて、整合状態にある基準映像フレームと、整合状態から所定画素数だけ横方向、縦方向、および縦横両方向にそれぞれずれた状態にある複数の劣化映像フレームとの間の平均信号対雑音比を第 2の劣化量として算出する。また、整合状態検出手段 33からの指示に応じて、基準映像映像フレームと劣化映像フレームとの間の信号対雑音比を劣化量として算出する。

[0026] 整合パラメータ導出部 50は、信号処理回路や演算処理部からなり、所定の基準テスト映像 3とこの基準テスト映像 3が評価対象により劣化した劣化テスト映像 4とを比較する機能と、映像整合処理に用いる各種整合パラメータを導出する機能とを有している。

[0027] [映像整合装置の動作]

次に、図 2を参照して、本実施の形態に力かる映像整合装置の動作について説明する。図 2は、本実施の形態にカゝかる映像整合装置の映像整合処理を示すフローチヤートである。なお、ここでは、基準映像 1および劣化映像 2にはフレームレート情報あるいはフレーム表示時刻 Z取込時刻情報が含まれているものとし、基準映像および劣化映像は処理対象となるフレーム前後の複数フレーム分を記憶部に蓄積しながら非リアルタイムに処理を進めるものとする。

[0028] 映像整合装置 100は、基準映像 1と劣化映像 2の整合に先だって、整合パラメータ導出部 50により、基準テスト映像 3および劣化テスト映像 4とを比較して各種整合パラメータを導出する (ステップ 100)。

[0029] この際、映像整合装置 100に予め格納されている基準テスト映像 3を評価対象に入力しその出力である劣化テスト映像 4を受け取るようにしてもよい。これら基準テスト映像 3および劣化テスト映像 4は、実際の信号であってもよく信号値を示すデータ列からなるデータファイルであってもよ、。

ただし、劣化テスト映像 4の信号形式やサイズが基準テスト映像 3と異なることが入力データファイルのヘッダ情報などで事前に認識できる場合、フォーマット変換部 10 と同様の処理方法を用いて劣化テスト映像 4を基準テスト映像 3と同等の形式にしてから整合パラメータを導出するものとする。

[0030] 整合パラメータ導出部 50では、ステップ 100で整合パラメータを導出する際、図 3

〜図 6に示すような基準テスト映像を用いて、各種整合パラメータを導出する。

[0031] 図 3は、フォーマット変換確認用の基準テスト映像例である。この基準テスト映像 3A は、市松模様など、同じ形状の模様の輝度 (色も含む)を最大と最小にしたテスト映像である。

このような基準テスト映像 3Aを用いれば、模様位置関係やサイズの違いから、整合ノメータとして基準テスト映像 3と劣化テスト映像 4の映像拡大縮小率 5Aを導出できる。また基準テスト映像 3Aを用いれば、基準映像と劣化映像の最大'最小の輝度値 (色も含む)から、整合パラメータとして基準テスト映像 3と劣化テスト映像 4における輝度出現範囲 5Bを導出できる。

[0032] 図 4は、位置整合'整合範囲確認用の基準テスト映像例である。この基準テスト映像 3Bは、映像のうち広い範囲に点在する複数地点にピンポイントでその位置を示すマーカーの入ったテスト映像であり、特定のポイントが劣化して分力りにくくなつても周りの模様力もそのポイントを推定可能な映像である。

このような基準テスト映像 3Bを用いれば、基準映像と劣化映像における空間方向のずれ量 5Cと、映像フレーム内で対応が取れている空間方向のずれ対応範囲 5Dとを整合パラメータとして導出できる。

[0033] 図 5は、局所変形処理可能範囲確認用の基準テスト映像例である。この基準テスト映像 3Cは、例えば 1画素ごとなどの一定画素数ごとに白黒の枠を交互に入れたテスト画像である。

このような基準テスト映像 3Cを用いれば、基準テスト映像 3Cに対する劣化テスト映像の部分的な映像変形領域範囲 5Eや、評価映像として有効に使える有効領域範囲 5Fを整合パラメータとして導出できる。

[0034] 図 6は、輝度 ·色出現分布確認用の基準テスト映像例である。この基準テスト映像 3 Dは、画面内の輝度を最小値 (例えば 0)から最大値 (例えば 255)まで段階的な変化を繰り返す画像 (グレー画像)や、同様に色を変化させる基準色ごとの画像 (赤画像、緑画像、青画像）からなるテスト画像である。

このような基準テスト映像 3Dを用いれば、劣化テスト映像 4における輝度や色の出現分布 5G (平均値や分散、階調数)を整合パラメータとして導出できる。

[0035] 次に、フォーマット変換部 10は、基準映像 1と劣化映像 2について、信号形式、サイズ、アスペクト比、信号の出現範囲が異なる場合、整合パラメータ導出部 50で導出された映像拡大縮小率 5Aや輝度出現範囲 5Bからなる整合パラメータ 51に基づき劣化映像 2の信号形式の変換を行い、フォーマット変換後の劣化映像 2Aを出力する（ステップ 101)。

[0036] この際、基準映像 1が非圧縮の YUV形式であり、劣化映像のデータ形式が非圧縮の RGB形式であれば、例えば Rec. ITU- R BT.601 "STUDIO ENCODING PARAME TERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE-SCREEN 16:9 ASPECT RATIOS〃の変換式を用いて劣化映像 2を変換する。

[0037] なお、劣化映像 2が圧縮形式の場合は事前に非圧縮形式に変換しておく。また、サィズゃアスペクト比が異なる場合は、それが同一となるように変換する。例えば単純に整数倍として計算できる場合があるが、それで済まな!/ヽ場合は任意のサイズに変換する必要があり、例えば「よくわ力るディジタル画像処理」 CQ出版の第 7章「画像の解像度変換」のように、任意のサイズへの変換を行う。その上で基準映像と変換した劣化映像 2Aを表示タイミング整合部 20に渡す。

[0038] 特に、事前に映像フォーマットを正確に把握していない場合、あるいはヘッダなどに映像フォーマットの情報が存在して、な、場合には、整合パラメータ導出部 50で導出された映像拡大縮小率 5Aに基づき映像の拡大縮小の変換を行う。また、輝度出現範囲 5Bに基づいて画素の出現範囲が規格の違いによるものである場合、輝度値の線形変換を用いて出現範囲を合わせる変換を行うものとする。

[0039] 続いて、表示タイミング整合部 20は、フォーマット変換部 10でフォーマット変換された劣化映像 2Aを基準映像 1の表示タイミングに合わせるため、フレーム補間などの処理を行い、タイミング整合後の劣化映像 2Bを出力する (ステップ 102)。図 7〜図 9 は、表示タイミングの整合例である。

[0040] 具体的には、図 7のように、基準映像 1の表示間隔よりフォーマット変換後の劣化映像 2Aの表示間隔が定常的に長い場合、劣化映像 2Aについて直前フレームを補間することにより映像を補う。

また、図 8のように、劣化映像の表示間隔が揺らぐ場合、基準映像 1の表示タイミングに表示している映像あるいは時間的に基準映像 1の表示タイミングに近い映像を用いて劣化映像 2Aを補間する。

さらに、図 9のように、基準映像 1自体が一定のフレームレートでない場合、基準映像 1と劣化映像 2Aを、これらとは別の正確な時間間隔で表示されるように補間する。

[0041] 次に、映像整合部 30は、整合パラメータ導出部 50で得られた、映像拡大縮小率 5 A、輝度出現範囲 5B、空間方向のずれ量 5C、対応範囲 5D、映像変形領域範囲 5E 、あるいは出現分布 5Gなどの整合パラメータ 52を用いて、 3つの動作の状態、すなわち評価開始状態、同期状態、およびフリーズ状態を遷移しながら、基準映像 1とタイミング整合後の劣化映像 2Bの映像整合処理を行う（ステップ 110〜135)。

[0042] まず、評価開始状態において、映像整合部 30は、時間方向の大まかな同期をとるために、マクロ同期手段 31により、マクロ同期処理を行う（ステップ 110)。このマクロ同期処理において、マクロ同期手段 31は、一定時間の基準映像 1と劣化映像 2Bに関する、 1フレームごとや特定領域の信号の輝度 Z色差 ZRGB値の平均値のような、映像特徴量の推移を比較し、両者間の整合性が最も高くなつたときのフレーム差を、マクロな時間方向のずれ、すなわちマクロフレーム差として導出する。

[0043] 図 10は、時間方向のマクロ同期処理例である。具体的には、図 10に示すように、平均輝度値などの特徴量を時間方向にずらして各時系列値の差分が最小になる条件、あるいは相互相関係数が最大になる条件から時間方向のずれ、すなわちマクロフレーム差を導出する。

[0044] 続いて、映像整合部 30は、ミクロ同期手段 32により得たマクロフレーム差でマクロ同期をとつた後の基準映像 1と劣化映像 2Bについて、さらに時間方向と空間方向における詳細な同期をとるため、ミクロ同期処理を行う（ステップ 111)。図 11は、ミクロ同期処理例を示す説明図である。

[0045] このミクロ同期処理において、ミクロ同期手段 32は、マクロ同期後の基準映像 1と劣化映像 2Bの任意のフレームペア、例えば劣化映像 2Bの先頭フレームと、これに対応する基準映像 1のフレームおよび当該フレーム力所定フレーム数以内の時間ずれを有するフレームからなる検索対象フレームと、力なる各フレームペアにっ、て、図 11で示すように、整合パラメータ導出部 50で得られた空間方向のずれ量 5C (上下左右の位置)だけ両者間の画素位置を補正したときの劣化量の算出を劣化量導出部 40に指示する。これに応じて、劣化量導出部 40は、これら両フレーム間の劣化量として後述の式 1を利用して信号対雑音比 PSNR(Peak Signal to Noise Ratio)をそれぞれ算出する。

[0046] ミクロ同期手段 32は、劣化量導出部 40で算出されたこれら信号対雑音比 PSNRが最大である、すなわち劣化量が最小であるフレームペアを選択することにより、基準映像 1と劣化映像 2Bの最も整合がとれたフレーム対応関係を求め、このフレーム差をミクロフレーム差として導出する。これにより時間方向のミクロな整合をとることが可能となる。以下では、このような基準映像 1と劣化映像 2Bのフレーム対応関係を同期状態という。

また、このような基準映像 1と劣化映像 2Bのフレーム対応関係にあるフレームペア力その劣化量が最小となる空間的な位置関係、具体的には信号雑音比 PSNRが最大となる位置関係にある状態を、基準映像 1と劣化映像 2Bが時間的および空間的に最も整合して、る整合状態と、う。

[0047] 次に、映像整合部 30は、基準映像 1およびタイミング整合後の劣化映像 2Bのいずれかが最後の映像フレームとなるまで、同期状態のフレーム対応関係にある基準映像 1と劣化映像 2Bから、基準映像対象フレームと劣化映像対象フレームを順次選択し、これら基準映像対象フレームと劣化映像対象フレームについて、以下のような同期状態およびフリーズ状態での処理ループを開始する (ステップ 112, 114)。

[0048] なお、図 2において、変数 i, jはそれぞれ基準映像対象フレーム番号および劣化映像対象フレーム番号を示し、変数 N, Mはそれぞれ基準映像最終フレーム番号および劣化映像最終フレーム番号を示す。また、フラグ F1は空間方向における両映像の同期状態 (0) ,非同期状態（1)を示し、フラグ F2は時間方向における両映像の同期 (0) ,コマ飛び（1) ,その他（2 :コマ戻状態）を示す。変数 Countは劣化映像のフリーズ回数である。

[0049] まず、フラグ F1が 0を示す同期状態の場合 (ステップ 113 : NO)、映像整合部 30は、整合状態検出手段 33により、整合パラメータ導出部 50で得られた時間空間方向のずれ量 5Cや輝度および色情報 5B, 5Gに基づき劣化映像 2Bを補正した整合劣化映像を生成し、後述する整合状態検出処理により、基準映像との間の劣化量およびフレーム間差分値を算出する (ステップ 120)。

この際、整合状態検出手段 33は、劣化量導出部 40に対して、これら劣化映像と基準映像の処理対象フレームをそれぞれ渡すことにより、劣化量導出部 40からこれらフレームに関する劣化量およびフレーム間差分値を取得する。

[0050] 図 12は、整合状態検出処理における劣化量とフレーム間差分値の算出例を示す説明図である。劣化量導出部 40は、図 12に示すように、整合状態検出手段 33から受け取った、劣化映像 2Bの劣化映像対象フレーム (j)と、これに対応する基準映像 1 の基準映像対象フレーム (i)および当該基準映像対象フレーム (i)力所定フレーム数以内の時間ずれを有する基準映像フレーム力なる検索対象フレームと、力なる各フレームペア間について劣化量をそれぞれ導出する。そして、これらフレームペアのうち劣化量が最小で整合状態にあるフレームペアを選択し、その基準映像フレームのフレーム番号を導出する。

[0051] また、劣化量導出部 40は、上記フレームペアの基準映像フレームと劣化映像フレームについて、後述の式 2を用いて、それぞれの直前フレームとのフレーム間差分値を導出する。この際、劣化量導出部 40は、両映像フレームの画素ごとに画素値の差分値を算出し、当該映像フレーム全体の画素の平均差分値をフレーム間差分値として算出する。 [0052] 映像整合部 30は、整合状態検出手段 33により、劣化量導出部 40により導出された各対象フレームのフレーム間差分値に基づいて劣化映像のフリーズ有無を判断する（ステップ 121)。すなわち、基準映像についての差分値がある値を示しているのに対し、劣化映像のそれがほとんど 0を示していれば、劣化映像に変化がないフリーズ状態であると判断する。

ここで、劣化映像がフリーズ状態の場合 (ステップ 121 : YES)、映像整合部 30は、フラグ F1を非同期状態（1)に設定するとともに、フリーズ数 Countを 1に設定して (ステツプ 128)、処理ループのステップ 114へ移行する。

[0053] 一方、劣化映像がフリーズ状態ではない場合 (ステップ 121 :NO)、整合状態検出手段 33は、ステップ 120の整合状態検出処理により得られた、劣化映像対象フレームと基準映像フレームとの間の劣化量力最小か否力判断し (ステップ 122)、最小の場合は (ステップ 122 : YES)、同期状態 (F2 = 0)と設定する (ステップ 124)。

最小でない場合は (ステップ 122 : NO)、フレームずれ状態 (コマ飛び状態，コマ戻り状態など)であると判定し、検索対象フレームのうち劣化量が最小で整合状態にある基準映像フレームの番号を iに設定し、コマ飛びならフラグ F2= lに設定し、それ以外ならフラグ F2 = 2と設定し、そのときのコマ（フレーム）のずれ数を Countに設定する（ステップ 123)。

[0054] 続いて、映像整合部 30は、整合度導出手段 34により、後述する整合度算出処理を実行して、整合状態にある基準映像フレームと劣化映像フレームの整合の度合ヽを示す整合度の計算を行う (ステップ 125)。続いて、整合情報出力手段 35により、上記整合状態に基づき整合された基準映像や劣化映像からなる整合基準映像や整合劣化映像、整合度、整合パラメータ（5A〜5G)、同期情報 (F2)、およびフリーズ数 (Count)などの整合情報を出力する（ステップ 126)。そして、 Countを 0にリセットした後（ステップ 127)、ステップ 114へ移行する。

[0055] また、フラグ F1が 1を示す非同期状態の場合 (ステップ 113 :YES)、映像整合部 3 0は、ステップ 120と同様にして整合状態検出手段 33で整合状態検出処理を実行し (ステップ 130)、ステップ 121と同様の劣化映像のフリーズ有無を判断する (ステップ 131)。ここで、劣化映像がフリーズ状態の場合 (ステップ 131 : YES)、整合状態検出手段 33は、フリーズ数 Countをインクリメント（ + 1)して（ステップ 135)、処理ループのステツプ 114へ移行する。

[0056] 一方、劣化映像がフリーズ状態ではない場合 (ステップ 131 :NO)、映像整合部 30 は、ステップ 110と同様のマクロ同期処理を行い (ステップ 132)、整合情報出力手段 35により、フリーズ数 Countを出力する（ステップ 133)。そして、フラグ F1および Co untを 0にリセットし (ステップ 134)、処理ループのステップ 114へ移行する。

[0057] ステップ 114では、基準映像対象フレーム番号 iおよび劣化映像対象フレーム番号 j をそれぞれインクリメントし、 iく Nまたは; j< Mが成立する場合は、ステップ 112との間のループ処理を繰り返す。また、 i, jがともに N, Mに達した時点で、一連の映像整合処理を終了する。

[0058] なお、上記映像整合処理では、常に基準映像と劣化映像について、 1フレーム全体または特定領域の信号の輝度 Z色差 ZRGB値の平均値のような特徴量を蓄積しているものとする。また、何らかの事情で同期が取れなくなったとき、例えば対象となるフレームにおける特徴量が一定期間の平均値力ある閾値（3 σのように標準偏差の定数倍)以上に開きが生じた場合には、評価初期状態に入ることとし、ステップ 11 0からの処理が再開される。

[0059] [整合度算出動作]

次に、図 13〜図 15を参照して、本実施の形態に力かる整合度算出動作について説明する。図 13は、整合状態による整合特性の変化を示す説明図である。図 14は、基準映像の精細度による整合特性の変化を示す説明図である。図 15は、画素ずれを示す説明図である。

[0060] 整合度は、次の 2つの特徴を利用して導出する。第 1の特徴は、図 13に示すように、整合が最適化されている場合には、その整合状態における基準映像と劣化映像のフレーム間の信号対雑音比と、整合状態から 1画素だけでもずれた状態の信号対雑音比の差が大きぐ整合が最適化されていない場合には、整合状態から 1画素でもずれた状態の信号対雑音比の差が小さいこと、である。第 2の特徴は、整合が最適化されている場合の特性は、図 14に示すように基準映像の絵柄が細かぐ精細度が高い映像ほど顕著な傾向があること、である。

[0061] 整合度導出手段 34による具体的な整合度の算出処理については、まず、基準映像と劣化映像の間で時間'空間的に最も整合していると判断された整合状態での劣ィ匕量（第 1の劣化量）として、式 1の信号対雑音比 PSNR(Peak Signal to Noise Ratio) に示すように、ピーク輝度（255)に対して基準映像と劣化映像の画素差分値、すなわち式 2に示す MSEとの対数比を計算する。

ただし、式 2において、 Yin, Youtは基準映像 Z劣化映像であり、 Nは画素数、 Y( X, y, i)は第 iフレーム目の位置 (x, y)における画素値を示す。

[0062] [数 1]

^MSE = ^∑ { ^，ヌ ' )― ( ,ヌ , 4:

[0063] 次に、その整合状態から所定画素数だけずれた状態 (整合近傍状態）につ、ても同様にその信号対雑音比 PSNRを計算し、その平均値を劣化量 (第 2の劣化量)として導出する。ここでは、図 15に示すように、整合状態から 1画素隣りにずれた 8つの状態または 2画素隣りにずれた 18個の状態を用いることとする。

そして、基準映像の空間的特徴量として、 ITU-T P.910("Subjective video quality a ssessment methods for multimedia applications," Aug.1996.)に規疋れる空間的特徴量である SI値 (Spatial Information)を計算し、これら値を利用して式 3により整合度を導出する。ただし、 _αは整合度を正規ィ匕するための係数である。

整合度 = a X基準映像の SI値 X (整合状態の PSNRZ整合近傍状態の PSNRの平均値)… (3)

[0064] このように、本実施の形態では、基準映像と劣化映像が空間的および時間的に最も整合した整合状態にあるときの、基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1の劣化量と、整合状態から所定画素数だけずれた状態の、基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量との比に基づき、整合の度合ヽを示す整合度を算出出力するようにしたので、映像整合の最適化具合を示す指標として整合度を算出できる。

したがって、専門知識を持つ評価者が経験的に判断することなぐ客観品質評価を得る際の映像整合が適切力どうかを判断することが可能となる。これにより最終的には、映像サービスにおいて品質を考慮した開発やサービス提供を実現することができる。

[0065] また、 ITU-T P.910の規定に基づき算出した基準映像の空間的特徴量 (SI)を劣化量の比に乗算して整合度を算出するようにしたので、基準映像の特徴量で重み付けを行うことができる。

また、劣化量として、劣化量算出対象となる画素力算出した基準映像と劣化映像の信号対雑音比を用いるようにしたので、安定的かつ汎用的に整合度を算出できる。なお、本実施の形態では、劣化量として信号対雑音比 PSNRを用いた場合を例として説明したが、これに限定されるものではなぐ画素値の平均差分値を用いてもよい。また、信号雑音比を用いる場合でも PSNR以外の公知の信号対雑音比を用いてちょい。

[0066] [実施の形態の拡張]

本実施の形態では、図 1に示すように、映像整合部 30と劣化量導出部 40とを別個の機能部により実現した場合を例として説明したが、これら両機能部は、ともに信号処理回路部や演算処理部で実現される。したがって、図 16に示すように、劣化量導出部 40を映像整合部 30と同一機能部で実現してもよい。これにより、映像整合部 30 の各機能手段と劣化量導出部 40との間で、各種データを極めて容易にやり取りすることができ、処理所要時間の短縮ゃノ、一ドウア資源の削減を実現できる。また、このことはフォーマット変換部 10、表示タイミング整合部 20、あるいは整合パラメータ導出部 50と映像整合部 30との関係についても同様に適応できる。

[0067] また、本実施の形態では、ステップ 111のミクロ同期処理において、劣化映像フレームを固定して、複数の基準映像フレームとフレームペアを構成する場合を例として説明したが、これに限定されるものではない。例えば、基準映像フレームを固定し、これに対応する劣化映像フレームおよび当該劣化映像フレームと所定フレーム数以内の時間ずれを有する複数の劣化映像フレームとフレームペアを構成してもよぐ前述と同様のミクロ同期処理を実行できる。

[0068] また、本実施の形態では、ミクロ同期手段 32と整合状態検出手段 33が別個の機能手段から実現されている場合を例として説明した力これに限定されるものではない。前述したように、これらミクロ同期手段 32と整合状態検出手段 33は、ともに劣化量導出部 40を制御して、複数のフレームペアの劣化量を取得し、最も劣化量の小さいフレームペアを選択する機能を有している。したがって、これらを同一の機能手段で実現してちょい。

[0069] また、本実施の形態において、整合情報出力手段 35により、整合後の映像を出力する際、整合度算出に用いた基準映像フレームや劣化映像フレームを、それぞれ整合基準映像や整合劣化映像として出力してもよい。

また、本実施の形態では、外部から入力された基準映像 1を映像整合部 30での映像整合処理に用いる場合を例として説明したが、これに限定されるものではない。例えば図 9に示したように、表示タイミング整合部 20により基準映像 1のフレームレートを補間した場合は、この補間後の基準映像 1を用いて映像整合処理を行ってもよい。

[0070] また、本実施の形態では、整合パラメータ導出部 50を設けた場合を例として説明したが、整合パラメータ導出部 50を設けず、図 2の処理内で必要なパラメータを導出するようにしてちょい。

例えば、ステップ 111のミクロ同期処理において、劣化映像 2Bの劣化映像対象フレームとこれに対応する基準映像 1側の各基準処理対象フレームとにつ、て、それぞれのフレームペア間で劣化量を算出する際、フレームペア間の空間方向の画素位置すなわちずれ量を変えていくつかの信号対雑音比 PSNRを劣化量導出部 40により算出しておき、その信号対雑音比 PSNRが最大となったときのずれ量を空間方向のずれ量 5Cとして導出すればょ、。

[0071] また、ミクロ同期がとれた時点のフレームペアに基づき、その基準映像フレームと劣化映像フレームの最大'最小の輝度値 (色も含む)から、整合パラメータとして輝度出現範囲 5Bを導出してもよぐ輝度や色の出現分布 5G (平均値や分散、階調数)を導出してもよい。

[0072] また、本実施の形態では、整合パラメータ導出部 50を設けて、所定のテスト用基準映像と評価対象によりテスト用基準映像カゝら得られたテスト用劣化映像とを比較して、基準映像と劣化映像を整合するのに用いる各種整合パラメータを導出するようにしたので、前述のように通常の基準映像や劣化映像を用いた場合と比較して、評価対象の劣化特性を顕著に表す整合パラメータを導出できる。さらに、この整合パラメ一タに基づき整合処理を行うようにしたので、基準映像や劣化映像がぼやけて、る場合や、評価対象で生じている劣化が大きい場合でも、適切な映像整合を行うことができる。

[0073] なお、前述した映像整合方法においては、映像整合部 30から基準映像と整合映像とその整合情報 (時間方向の状態)を出力したものを客観評価装置に入力することを想定している力ミクロ同期処理において劣化量導出部 40から劣化量ではなく客観評価値を受け取り、映像整合部 30よりその結果を出力すれば、映像整合装置 10 0を客観評価装置として利用することもできる。

産業上の利用可能性

[0074] 本発明に力かる映像整合装置は、インターネットなどの IPネットワークを用いた映像配信サービスや映像コミュニケーションサービスの品質管理にお、て、受信側端末で再生される映像の品質を客観評価する際、その基準映像と劣化映像を時間的および空間的に整合させる装置として有用である。

Claims

請求の範囲

[1] 時間軸に沿って並べられた複数の基準映像フレーム力なる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレーム力なる劣化映像とを入力とし、前記劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出手段と、

前記整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出手段と、

前記整合状態に基づき整合された基準映像および劣化映像と前記整合度とを出力する整合情報出力手段と、

任意の 2つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出部と

を備え、

前記整合度導出手段は、前記劣化量導出部を制御して、前記整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1の劣化量と、前記整合状態力所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量とを取得し、これら第 1の劣化量と第 2の劣化量の比に基づき前記整合度を算出する

ことを特徴とする映像整合装置。

[2] 請求項 1に記載の映像整合装置において、

前記劣化量導出部は、前記整合度導出手段の制御に応じて、前記基準映像フレームと前記劣化映像フレームとの間の信号対雑音比を前記第 1の劣化量として算出することを特徴とする映像整合装置。

[3] 請求項 1に記載の映像整合装置において、

前記劣化量導出部は、前記整合度導出手段の制御に応じて、前記整合状態にある前記基準映像フレームと、前記整合状態から所定画素数だけ横方向、縦方向、および縦横方向にそれぞれずれた状態にある前記劣化映像の各映像フレームとの間の平均信号対雑音比を前記第 2の劣化量として算出することを特徴とする映像整合装置。

[4] 請求項 1に記載の映像整合装置において、

前記整合度導出手段は、 ITU-T P.910の規定に基づき算出した前記基準映像の空間的特徴量 (SI)を前記比に乗算して前記整合度を算出することを特徴とする映像整合装置。

[5] 請求項 1に記載の映像整合装置において、

前記劣化映像の信号フォーマットを前記基準映像の信号フォーマットに変換して出力するフォーマット変換部と、前記基準映像および前記フォーマット変換後の劣化映像に含まれる映像フレーム数とその表示タイミングを整合させて出力する表示タイミング整合部とをさらに備え、

前記整合状態検出手段は、前記表示タイミング整合部により表示タイミングを整合させた基準映像と劣化映像を入力とする

ことを特徴とする映像整合装置。

[6] 請求項 5に記載の映像整合装置において、

所定の基準テスト映像とこの基準テスト映像が前記評価対象により劣化した劣化テスト映像とを比較して、前記基準テスト映像の映像フレームと前記劣化テスト映像の映像フレームの大きさに関する拡大縮小率と、前記基準テスト映像と前記劣化テスト映像で用いられる輝度範囲とを、整合パラメータとして導出する整合パラメータ導出部をさらに備え、

前記フォーマット変換部は、前記拡大縮小率と前記輝度範囲に基づき前記フォーマット変換を行う

ことを特徴とする映像整合装置。

[7] 請求項 1に記載の映像整合装置において、

前記整合状態検出手段は、前記劣化量導出部を制御して、当該劣化映像フレームについて検索対象となる各基準映像フレームとのフレームペアごとに劣化量を取得し、これらフレームペアのうち劣化量が最小となるフレームペアを整合状態にあると判断することを特徴とする映像整合装置。

[8] 請求項 7に記載の映像整合装置において、

前記劣化量導出部は、前記整合状態検出手段からの指示に応じて、前記基準映像映像フレームと前記劣化映像フレームとの間の信号対雑音比を前記劣化量として算出することを特徴とする映像整合装置。

[9] 請求項 1に記載の映像整合装置において、

入力された前記基準映像の各基準映像フレームと入力された前記劣化映像の各劣化映像フレームカゝらそれぞれ抽出した所定の映像特徴量の推移を比較することにより、前記基準映像と前記劣化映像のマクロフレーム差を導出するマクロ同期手段をさらに備え、

前記整合状態検出手段は、前記マクロフレーム差に基づき時間的に同期させた基準映像と劣化映像を入力とする

ことを特徴とする映像整合装置。

[10] 請求項 9に記載の映像整合装置において、

前記マクロフレーム差によりマクロ同期させた基準映像と劣化映像から任意の劣化映像フレームと当該劣化映像フレームに対し所定フレーム数以内の時間的ずれを有する複数の基準映像フレームとのフレームペアを選択し、前記劣化量導出部を制御してこれらフレームペアごとに劣化量を取得し、これらフレームペアのうち劣化量が最小となるフレームペアに基づき前記基準映像と前記劣化映像のミクロフレーム差を導出するミクロ同期手段をさらに備え、

前記整合状態検出手段は、前記マクロフレーム差および前記ミクロフレーム差に基づき時間的に同期させた基準映像と劣化映像を入力とする

ことを特徴とする映像整合装置。

[11] 整合状態検出手段により、時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレーム力なる劣化映像とを入力とし、前記劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出ステップと、整合度導出手段により、前記整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出ステップと、

整合情報出力手段により、前記整合状態に基づき整合された基準映像および劣化映像と前記整合度とを出力する整合情報出力ステップと、

劣化量導出部により、任意の 2つの映像フレームの間の劣化度合いを示す劣化量を導出する劣化量導出ステップと

を備え、

前記整合度導出ステップは、前記劣化量導出ステップを用いて、前記整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1の劣化量と、前記整合状態力所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量とを取得するステップと、これら第 1の劣化量と第 2の劣化量の比に基づき前記整合度を算出するステップとからなる

ことを特徴とする映像整合方法。

[12] 時間軸に沿って並べられた複数の基準映像フレーム力なる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレーム力なる劣化映像とを入力とし、これら基準映像と劣化映像を空間的および時間的に整合させて出力する映像整合装置のコンピュータに、

整合状態検出手段により、時間軸に沿って並べられた複数の基準映像フレームからなる任意の基準映像とこれら基準映像フレームが任意の評価対象により劣化した劣化映像フレーム力なる劣化映像とを入力とし、前記劣化映像フレームごとに当該劣化映像フレームと所定フレーム数以内の時間的ずれを有する複数の基準映像フレームのうちから当該劣化映像フレームと空間的および時間的に整合した整合状態にある基準映像フレームを検出する整合状態検出ステップと、

整合度導出手段により、前記整合状態にある基準映像フレームと劣化映像フレームの間の整合度合いを示す整合度を導出する整合度導出ステップと、

を実行させ、

前記整合度導出ステップとして、前記劣化量導出ステップを用いて、前記整合状態にある基準映像フレームと劣化映像フレームとの間の劣化量を示す第 1の劣化量と、前記整合状態から所定画素数だけずれた状態の基準映像フレームと劣化映像フレームとの間の劣化量を示す第 2の劣化量とを取得するステップと、これら第 1の劣化量と第 2の劣化量の比に基づき前記整合度を算出するステップと

を実行させるプログラム。