JP4257333B2 - 映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラム - Google Patents

Description

本発明は、人間が実際の映像を見てその品質を評価する主観品質評価試験を行うことなく、映像信号の物理的特徴量の測定から主観品質を推定する映像品質評価装置、映像品質評価方法及び映像品質評価プログラムに関する。

また、映像品質評価装置、映像品質評価方法及び映像品質評価プログラムにおいて、基準映像信号と符号化やネットワーク伝送等を経ることにより、その品質が劣化した劣化映像信号との空間的及び時間的な位置の整合を行う映像整合装置、映像整合方法及び映像整合プログラムに関する。

映像情報は、何らかの処理、例えば、符号化やネットワーク伝送を経ることにより、その品質が劣化するのが一般的である。かかる劣化した映像について、人間が実際に見て感じる劣化の程度を主観品質という。

従来、その主観品質を評価する方法としては、人間が実際に映像をみることによる主観品質評価試験が行われていた。しかしながら、人間が実際に映像を見てその映像の品質を評価するのは、手間がかかり映像の品質評価に時間がかかるという問題がある。また、映像の品質評価に精通している者とその初心者では、評価が異なることが多い。

そこで、物理測定から映像の主観品質を推定する方法として、基準映像信号と劣化した劣化映像信号との物理的特徴量の差分に基づいて、あるいは劣化映像信号の物理的特徴量のみから求められる劣化量に基づいて、客観的に品質の劣化の程度を評価する方法がある。

しかしながら、映像の主観品質は、映像を限定すれば精度良く主観評価値を推定できる場合があるが（例えば、ＡＮＳＩ Ｔ１．８０１．０３−１９９６，“Ｄｉｇｉｔａｌ Ｔｒａｎｓｐｏｒｔ ｏｆ Ｏｎｅ−Ｗａｙ Ｖｉｄｅｏ Ｓｉｇｎａｌｓ Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｏｂｊｅｃｔｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅ Ａｓｓｅｓｓｍｅｎｔ”；岡本、高橋、“映像品質客観評価技術の適用法に関する一検討”、信学ソ大、Ｓｅｐ．２００２．；岡本、栗田、高橋、“映像品質客観評価の性能向上に関する一検討”、信学ソ大、Ｍａｒ．２００３．参照）、任意の映像に対しては映像の性質に大きく依存することから、劣化量の程度が同じ場合でも結果として判断される主観品質は異なることが多い。

かかる理由から、映像主観品質を求める場合には、やはり、人間がその映像を実際に見て、その品質を評価するという主観評価試験を行うことも多い、という技術状況が続いていた。

そのような状況において、主観品質を、人間が見た場合と近いように評価できるようにすることを目的として、映像のエッジ領域に着目し、映像信号にＳｏｂｅｌフィルタを適用してその劣化量を計算する客観評価法が提案された（ＰＣＴ Ｐｕｂ．Ｎｏ．：ＷＯ９９／４５７１５参照）。

しかしながら、かかる特徴量だけでは、やはり実際の主観評価を置き換えるに充分な評価精度は得られない。

一方、映像の主観品質を推定する方法において、基準映像信号と劣化した劣化映像信号との物理的特徴量を比較する前提として、基準映像信号と劣化映像信号との空間的及び時間的な位置が整合している必要がある。つまり、基準映像信号と劣化映像信号との間で、時間方向のずれや空間位置のずれが整合している必要がある。

元々、かかる整合処理は、手動で行われていた。しかし、やがて、整合処理を自動で行う手法を提案された。例えば、米国特許５，４４６，４９２号においては、客観評価の前処理として時間整合処理に際して遅延が発生した場合にそれに対応できるようになっている。

この文献の技術によれば、ＴＶ放送のように、同じサイズかつ同じフレームレートの信号が対象であれば、一旦同期がとれれば、以降良好に同期を取らせることができる。

しかしながら、近年普及し始めたインターネットなどのＩＰネットワークを経由した映像配信や映像コミュニケーションサービスでは、パーソナルコンピュータ（ＰＣ）端末において映像を受信するため、受け取る映像のサイズやアスペクト比がさまざまである。また、パケットのようにある程度まとまった情報が損失することもある。故に、基準映像信号と劣化映像信号の空間的な位置の対応がとり難い。一方、ＩＰパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングずれや映像表示タイミングのゆらぎやフリーズという、従来存在しなかった現象が生じることとなった。したがって、基準映像信号と劣化映像信号との間のかかる時間的なずれの整合をとる手法はなかった。

映像の主観品質を推定する方法において、基準映像信号と劣化映像信号との空間的及び時間的な位置の整合がこのように十分にとれないのであれば、そもそも映像の主観品質の推定は不可能であり、できたとしてもその精度は低い。

尚、先のＰＣＴ Ｐｕｂ．Ｎｏ．：ＷＯ９９／４５７１５においては、時間的整合処理の一例が記述された文献として、ＩＴＵ−Ｔ Ｃｏｎｔｒｉｂｕｔｉｏｎ ＣＯＭ−１２−２９“Ｄｒａｆｔ ｎｅｗ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ｏｎ ｍｕｌｔｉｍｅｄｉａ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｄｅｌａｙ，ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ，ａｎｄ ｆｒａｍｅｒａｔｅ ｍｅａｓｕｒｅｍｅｎｔ”，Ｄｅｃｅｍｂｅｒ １９９７が挙げられている。

本発明は、上述した従来の技術に鑑み、任意の映像に対して精度良く統一的な主観品質を推定することができる映像品質評価装置、映像品質評価方法及び映像品質評価プログラムを提供することを目的とする。

上記目的を達成するため、第１の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部と、前記主観品質を補正するための補正情報として補正係数を、映像信号特徴量としての、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報に対応して格納している補正情報格納部と、前記基準映像信号の前記映像信号特徴量を入力し、入力した映像信号特徴量に対応した補正情報を前記補正情報格納部から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部と、を備える映像品質評価装置を要旨とする。

第２の態様に係る発明は、第１の態様に係る発明において、前記主観品質推定部は、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報の少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて、前記主観品質を推定することを要旨とする。

第３の態様に係る発明は、第２の態様に係る発明において、前記主観品質推定部は、前記劣化映像信号と前記基準映像信号間の前記映像信号特徴量の差分として、映像信号に含まれる映像の各フレーム内での劣化量を示すエッジ電力量（Ｅ）、及び、フレーム間での劣化量を示す動き電力量（Ｍ）の少なくとも一方を算出することを要旨とする。

第４の態様に係る発明は、第２の態様に係る発明において、前記主観品質推定部は、ＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｐ．９１０に規定されているｓｐａｔｉａｌ ｉｎｆｏｒｍａｔｉｏｎ及びｔｅｍｐｏｒａｌ ｉｎｆｏｒｍａｔｉｏｎの少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて前記主観品質を推定することを要旨とする。

第５の態様に係る発明は、第１の態様に係る発明において、前記主観品質推定部は、前記基準映像信号と前記劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部と、前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する推定部と、を備えることを要旨とする。

また、上記目的を達成するため、第６の態様に係る発明は、劣化していない映像信号である基準映像信号が劣化した劣化映像信号の推定された主観品質を補正するための補正情報を、映像信号特徴量としての、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報に対応して格納している補正情報格納部を備え、前記劣化映像信号の主観品質を推定する映像品質評価装置における映像品質評価方法であって、前記基準映像信号と前記劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の前記主観品質を推定し、算出された前記基準映像信号の映像信号特徴量に対応した補正情報を前記補正情報格納部から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する映像品質評価方法を要旨とする。

また、上記目的を達成するため、第７の態様に係る発明は、コンピュータを、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定手段と、前記主観品質を補正するための補正情報を、映像信号特徴量としての、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報に対応して格納する補正情報格納手段と、算出された前記基準映像信号の映像信号特徴量に対応した補正情報を前記補正情報格納手段から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する主観品質補正手段として機能させるための映像品質評価プログラムを要旨とする。

図１は、本発明の映像品質評価装置に係る第１の実施形態の構成を示すブロック図である。 図２は、図１の補正情報データベースに格納されている補正情報を示す図である。 図３は、一次推定主観品質ＳＱに対する補正式による補正後の最終推定主観品質Ｑと、実測した主観品質と、の関係を示す図である。 図４は、本発明の映像品質評価装置に係る第２の実施形態の構成を示すブロック図である。 図５は、図４の空間特徴量算出部で使用される水平垂直エッジ量を計算するための図である。 図６は、本発明の映像品質評価装置に係る第３の実施形態の構成を示すブロック図である。 図７は、図６の重み付け係数データベースに格納されている複数の条件及び条件に対応する重み付け係数を示す図である。 図８は、本発明の実施形態の検証に使用した標準映像データを、学習データと検証データに分類して列挙した図である。 図９は、図８の学習データ及び検証データにより計算したＳＩ（空間情報）値とＴＩ（時間情報）値の分布図である。 図１０は、従来のピークＳＮ比（ＰＳＮＲ）による学習データの推定結果を示す図である。 図１１は、従来のエッジ電力量（Ａｖｅ＿ＥＥ）による学習データの推定結果を示す図である。 図１２は、本発明の第２及び第３の実施形態の映像品質評価装置による学習データの推定結果を示す図である。 図１３は、本発明の第２及び第３の実施形態の映像品質評価装置による検証データの推定結果を示す図である。 図１４は、従来のエッジ電力量（Ａｖｅ＿ＥＥ）のみによる学習データの推定結果を示す図である。 図１５は、水平垂直エッジ量の最小値（Ｍｉｎ＿ＨＶ）と主観評価値の関係を示す図である。 図１６は、ブロック平均動き電力量（Ａｖｅ＿ＭＥＢ）と主観評価値の関係を示す図である。 図１７は、本発明の映像整合装置に係る実施形態の構成を示すブロック図である。 図１８は、本発明の映像整合装置の実施形態の動作手順を示すフローチャートである。 図１９は、表示タイミング整合部における処理を説明するための図である。 図２０は、同期／位置整合部におけるマクロ時刻同期処理を説明するための図である。 図２１は、同期／位置整合部におけるミクロ同期／位置導出処理を説明するための図である。

以下、図面を参照して、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラムに係る実施の形態を詳細に説明する。なお、第１乃至第３の実施形態は映像品質評価装置、映像品質評価方法及び映像品質評価プログラムの発明に係る実施形態であり、第４の実施形態は映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態である。

＜第１の実施形態＞
本発明の映像品質評価装置に係る第１の実施形態の各装置部分を図１を参照して説明する。図１は、本発明の映像品質評価装置に係る第１の実施形態の構成を示すブロック図である。

第１の実施形態の映像品質評価装置は、主観品質推定部１１、特徴量算出部１２、補正情報データベース１３、補正計算部１４、及び補正部１５を少なくとも備えている。

主観品質推定部１１は、基準映像信号ＲＩと劣化映像信号ＰＩを入力する。基準映像信号ＲＩは劣化する以前の映像信号であり、一方、劣化映像信号ＰＩは、基準映像信号ＲＩが、例えば符号化されたり、ネットワークを経由したりして劣化した映像信号である。

次に、主観品質推定部１１は、基準映像信号ＲＩ及び劣化映像信号ＰＩに関し、物理的特徴量であるそれぞれの映像信号特徴量の差分を計算する。映像信号特徴量には、例えば、映像信号に含まれている映像のあるフレームでの映像状態を示す空間情報（ＳＩ）、及び、映像信号に含まれている映像のあるフレーム間での映像変化を示す時間情報（ＴＩ）がある。これら空間情報ＳＩ及び時間情報ＴＩとしては、例えば、ＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｐ．９１０の“Ｓｕｂｊｅｃｔｉｖｅ Ｖｉｄｅｏ Ｑｕａｌｉｔｙ Ａｓｓｅｓｓｍｅｎｔ Ｍｅｔｈｏｄｓ ｆｏｒ Ｍｕｌｔｉｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎｓ”のＡｐｐｅｎｄｉｘ Ａに規定されている、Ｓｐａｔｉａｌ Ｉｎｆｏｒｍａｔｉｏｎ及びＴｅｍｐｏｒａｌ Ｉｎｆｏｒｍａｔｉｏｎがある。

そして、主観品質推定部１１は、計算された映像信号特徴量の差分から劣化映像信号ＰＩの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。すなわち、主観品質推定部１１は、基準映像信号ＲＩと劣化映像信号ＰＩから劣化映像信号ＰＩの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。推定された主観品質は、主観品質推定部１１から一次推定主観品質ＳＱとして出力される。一次推定主観品質ＳＱは、例えば、エッジ電力量（Ｅ）と動き電力量（Ｍ）によって定まるとすれば、一般的に、次の式（１）で示される関数で表される。

ＳＱ＝Ｆ（Ｍ，Ｅ） ・・・（１）
この関数Ｆは、予め主観評価実験により求めておくものである。また、エッジ電力量（Ｅ）と動き電力量（Ｍ）は、米国ＡＮＳＩが規定する映像品質客観評価尺度（ＡＮＳＩ Ｔ１．８０１．０３−１９９６，“Ｄｉｇｉｔａｌ Ｔｒａｎｓｐｏｒｔ ｏｆ Ｏｎｅ−Ｗａｙ Ｖｉｄｅｏ Ｓｉｇｎａｌｓ Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｏｂｊｅｃｔｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅ Ａｓｓｅｓｓｍｅｎｔ”）に規定されている。

特徴量算出部１２は、基準映像信号ＲＩを入力して、この基準映像信号ＲＩに基づいて映像信号特徴量ＦＩを算出する。この映像信号特徴量ＦＩとしても上述したように例えば空間情報ＳＩや時間情報ＴＩがある。特徴量算出部１２は、例えば、空間情報ＳＩ及び時間情報ＴＩの少なくともいずれかを特定してその特徴量を定量的に算出する。

補正情報データベース１３は、映像信号特徴量に対応して補正情報を格納している。映像信号特徴量は、上述のように例えば空間情報ＳＩや時間情報ＴＩである。補正情報は、主観品質推定部１１の出力である一次推定主観品質ＳＱを補正するための補正式や補正係数である。後に、これら補正情報は図２を参照して詳細に説明する。これらの補正式や補正係数は、予め実験によって決定されて、補正情報データベース１３に格納される。映像信号特徴量ＦＩを有する映像に劣化が加わった場合、人間がその映像を見て主観的にどの程度の劣化として感じられるかという特性を予め主観評価実験によって統一的に算出し、この特性に基づいて映像信号特徴量ＦＩに対応する補正式及び補正係数を算出する。

すなわち、基準映像信号ＲＩの物理的特徴量とその特徴を持つ映像に劣化が加わった時の主観評価特性とを予め主観評価実験によって統一的に算出し、この算出された物理的特徴量と主観評価特性との対応関係により、基準映像信号ＲＩの映像信号特徴量から主観品質推定部１１で導出される一次推定主観品質ＳＱを補正し、精度良く統一的な客観評価値への変換を可能にする。

補正計算部１４は、特徴量算出部１２から映像信号特徴量ＦＩを入力して、この映像信号特徴量ＦＩに対応する補正式及び補正係数を補正情報データベース１３から抽出する。すなわち、補正計算部１４は、映像信号特徴量ＦＩに対応する補正式及び補正係数を補正情報データベース１３で検索し、該当する補正式及び補正係数を補正情報データベース１３から抽出する。そして、補正計算部１４は、これら補正式及び補正係数を補正情報ＣＩとして出力する。

補正部１５は、主観品質推定部１１から一次推定主観品質ＳＱを入力し、補正計算部１４から補正情報ＣＩを入力する。そして、補正部１５は、一次推定主観品質ＳＱを補正情報ＣＩに含まれている補正係数を伴う補正式に代入して、補正された一次推定主観品質ＳＱを最終推定主観品質Ｑとして出力する。最終推定主観品質Ｑは、劣化映像信号ＰＩの主観品質を定量的に示した一次推定主観品質ＳＱを補正したものである。

次に、補正情報データベース１３が格納している、映像信号特徴量に対応する補正情報を図２を参照して説明する。図２は、図１の補正情報データベース１３に格納されている補正情報を示す図である。

図２に示すように、補正情報データベース１３では、映像信号特徴量のそれぞれの値に対応して、複数の補正係数がデータベース化されている。図２によると、例えば、基準映像信号ＲＩの映像信号特徴量（空間情報ＳＩ及び時間情報ＴＩ）が特徴量算出部１２によって（ＳＩ，ＴＩ）＝（７５，３０）と算出された場合、この映像信号特徴量に対応する補正係数は（α，β）＝（α２，β２）である。実際には、補正計算部１４が特徴量算出部１２から映像信号特徴量ＦＩを入力し、この映像信号特徴量ＦＩに対応する補正係数を補正情報データベース１３のデータベースから補正式と共に抽出する。さらに、映像信号特徴量に応じて補正式も変化する場合は、補正情報データベース１３には、補正係数だけでなく、映像信号特徴量に対応した補正式もデータベース化されている。

最後に、補正部１５が一次推定主観品質ＳＱを補正して出力した最終推定主観品質Ｑについて図３を参照して説明する。図３は、一次推定主観品質ＳＱに対する補正式による補正後の最終推定主観品質Ｑと、実測した主観品質と、の関係を示す図である。

第１の実施形態では、補正式は、次の式（２）としている。

最終推定主観品質Ｑ＝α×一次推定主観品質ＳＱ＋β ・・・（２）
ここで、α及びβは補正係数である。図３は、映像品質評価装置に入力された３種類の入力映像信号に対して計算された３つの補正式によるグラフを示している。横軸は主観品質推定部１１の出力である一次推定主観品質ＳＱを示し、縦軸は一次推定主観品質ＳＱに対して人間が入力映像信号による映像を実際に見てその品質を評価する主観評価品質試験によって算出した主観品質を示す。図３中の丸印、四角印、三角印でそれぞれ示したものは、入力映像信号ごとに、一次推定主観品質ＳＱに対する主観品質の評点を示している。一方、３本の線分は、それぞれ３種類の入力映像信号に対応する本実施形態による補正式であり、本実施形態により一次推定主観品質ＳＱは、このように映像ごとに対応した補正式で補正される。

このように、第１の実施形態によれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を推定できるようになる。

尚、上述の実施形態においては、基準映像信号ＲＩの映像信号特徴量を算出する構成を特徴量算出部１２として論理的に別体として設けたが、かかる特徴量算出部１２を特別に設けることなく、主観品質推定部１１で導かれた基準映像信号ＲＩの映像信号特徴量をそのまま利用してもよい。

また、補正計算部１４と補正部１５とは物理的のみならず論理的にも一体であってもよい。即ち、補正部１５が直接、基準映像信号ＲＩの映像信号特徴量を入力すると共に、補正部１５がその映像信号特徴量に対応した補正情報を補正情報データベースから入力するようにしてもよい。

＜第２の実施形態＞
本発明の映像品質評価装置に係る第２の実施形態の各装置部分を図４を参照して説明する。図４は、本発明の映像品質評価装置に係る第２の実施形態の構成を示すブロック図である。

第２の実施形態の映像品質評価装置は、図４に示すように、アライメント情報生成部２１、空間特徴量算出部２２、時間特徴量算出部２３、及び、主観品質推定部２４を備えている。

アライメント情報生成部２１は、基準映像信号ＲＩと劣化映像信号ＰＩを入力して、基準映像信号ＲＩから基準映像フレームを、劣化映像信号ＰＩから劣化映像フレームをそれぞれ受け取り、基準映像フレームと劣化映像フレームの時間的及び空間的なフレームのずれを検出し、これらの時間的及び空間的なフレームのずれに関するアライメント情報を生成する。

基準映像フレームと劣化映像フレームが時間的にずれているとは、アライメント情報生成部２１がある時刻に受け取った基準映像フレームと劣化映像フレームの映像が時間的にずれていることである。例えば、アライメント情報生成部２１がある時刻に基準映像フレームではある映像Ａのフレームを受け取り、この時刻に劣化映像フレームではその映像Ａのフレームよりも３フレーム前のフレームを受け取った場合には、アライメント情報生成部２１は基準映像フレームに対して劣化映像フレームが３フレーム遅れていることを検出し、この情報をアライメント情報として生成する。

また、基準映像フレームと劣化映像フレームが空間的にずれているとは、アライメント情報生成部２１がある時刻に受け取った映像の空間的位置がずれていることである。例えば、基準映像フレームと劣化映像フレームのフレームが時間的にずれていない場合に、アライメント情報生成部２１がある時刻に基準映像フレームでは映像の中心にボールの中心が映っているフレームを受け取り、この時刻に劣化映像フレームでは映像の中心から右に１画素、上に２画素ずれている位置にボールの中心が映っているフレームを受け取った場合には、アライメント情報生成部２１は基準映像フレームに対して劣化映像フレームが右に１画素、上に２画素ずれていることを検出し、この情報をアライメント情報として生成する。

空間特徴量算出部２２は、基準映像信号ＲＩと劣化映像信号ＰＩとアライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号ＲＩと劣化映像信号ＰＩに基づいて空間特徴量を計算する。この第２の実施形態では、この空間特徴量として、以下に詳述するエッジ電力量（Ａｖｅ＿ＥＥ）と水平垂直エッジ量の最小値（Ｍｉｎ＿ＨＶ）の指標を使用する。

エッジ電力量（Ａｖｅ＿ＥＥ）：
この指標は、基準映像信号ＲＩと劣化映像信号ＰＩに基づいてフレーム内で輝度値が急激に変化する境界（エッジと呼ばれる）に発生する劣化（例えば、ぼやけ具合）を定量化するものである。第２の実施形態では、一例として、Ｓｏｂｅｌフィルタを使用して画素の輝度値からエッジを強調させることによって、エッジ上の劣化を定量化する。また、ここで定量化するエッジ電力量（Ａｖｅ＿ＥＥ）は、ＡＮＳＩ Ｔ１．８０１．０３−１９９６，“Ｄｉｇｉｔａｌ Ｔｒａｎｓｐｏｒｔ ｏｆ Ｏｎｅ−Ｗａｙ Ｖｉｄｅｏ Ｓｉｇｎａｌｓ Ｐａｒａｍｅｔｅｒｓ ｆｏｒ Ｏｂｊｅｃｔｉｖｅ Ｐｅｒｆｏｒｍａｎｃｅ Ａｓｓｅｓｓｍｅｎｔ”に規定されている。

エッジ電力量（Ａｖｅ＿ＥＥ）は、式（３）で定量化される。

ここで、ＳＩ_μ（ｍ）（μ＝ｉｎ ｏｒ ｏｕｔ）は、式（４）で与えられる。

また、ここで、ＳＩ_ｈ＿μ（ｉ，ｊ，ｍ）、ＳＩ_ｖ＿μ（ｉ，ｊ，ｍ）は、それぞれ第ｍフレームの位置（ｉ，ｊ）におけるＳｏｂｅｌフィルタを表しており、それぞれ（５）式及び（６）式で与えられる。

ＳＩ_ｈ＿μ（ｉ，ｊ，ｍ）＝｛−Ｙ_μ（ｉ−１，ｊ−１，ｍ）−２Ｙ_μ（ｉ，ｊ−１，ｍ）−Ｙ_μ（ｉ＋１，ｊ−１，ｍ）＋Ｙ_μ（ｉ−１，ｊ＋１，ｍ）＋２Ｙ_μ（ｉ，ｊ＋１，ｍ）＋Ｙ_μ（ｉ＋１，ｊ＋１，ｍ）｝
・・・（５）
ＳＩ_ｖ＿μ（ｉ，ｊ，ｍ）＝｛−Ｙ_μ（ｉ−１，ｊ−１，ｍ）＋Ｙ_μ（ｉ＋１，ｊ−１，ｍ）−２Ｙ_μ（ｉ−１，ｊ，ｍ）
＋２Ｙ_μ（ｉ＋１，ｊ，ｍ）−Ｙ_μ（ｉ−１，ｊ＋１，ｍ）＋Ｙ_μ（ｉ＋１，ｊ＋１，ｍ）｝
・・・（６）
ここで、Ｙ_ｉｎ（ｉ，ｊ，ｍ）は、基準映像フレームの第ｍフレームの位置（ｉ，ｊ）における画素の輝度値（０から２５５まで）を表し、Ｙ_ｏｕｔ（ｉ，ｊ，ｍ）は、劣化映像フレームの第ｍフレームの位置（ｉ，ｊ）における画素の輝度値（０から２５５まで）を表している。

尚、このエッジ電力量（Ａｖｅ＿ＥＥ）のみで推定した場合の結果を図とともに後述するが、客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化する映像が存在し、このエッジ電力量（Ａｖｅ＿ＥＥ）のみではこれらの映像に発生する劣化を捉えきれない。

水平垂直エッジ量の最小値（Ｍｉｎ＿ＨＶ）：
この指標は、基準映像フレームと比較して、この基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界（エッジ）が水平垂直方向に発生している度合いを定量化するものである。この第２の実施形態では、一例として、フレームの水平／垂直方向の場所に発生した水平垂直エッジ量とそれ以外の方向の場所に発生するエッジ量の比から歪量を捕らえる特徴量（Ｍｉｎ＿ＨＶ）によって、水平垂直方向にエッジが発生している度合いを定量化する。この度合いは、図５に示したように定数ｒ０＝２０とΔθ＝０．０５２３６によって決まる水平／垂直方向領域に入るドット部分のエッジ量（ＨＶ）とそれ以外の領域に入るエッジ量（ＨＶバー）との比を入力映像と劣化映像によって求めるものである。かかる指標を採用した理由は、映像情報はブロック単位で符号化されることが多く、かかる符号化におけるいわゆるブロック歪みを的確に反映させるためである。

水平垂直エッジ量の最小値（Ｍｉｎ＿ＨＶ）は、式（７）で定量化される。

ここで、ＨＶＲ_μ（ｍ）（μ＝ｉｎ ｏｒ ｏｕｔ）は、式（８）で与えられる。

また、ここで、式（９）に示す定義がある。

ただし、条件として、式（１０）及び式（１１）を満たしている。

ＳＩ_ｒ−μ（ｉ，ｊ，ｍ）≧ｒ_ｍｉｎ＞０ ・・・（１０）
ｋ_ＩＩ／２−Δθ＜ＳＩ_θ−μ（ｉ，ｊ，ｍ）＜ｋ_ＩＩ／２＋Δθ（ｋ＝０，１，２，３）
・・・（１１）
ここで、ＳＩ_θ−μ（ｉ，ｊ，ｍ）＝ｔａｎ^−１［ＳＩ_ｖ−μ（ｉ，ｊ，ｍ）／ＳＩ_ｈ−μ（ｉ，ｊ，ｍ）］である。

また、式（９）のＰは、図５の影がついている範囲の画素数である。

一方、式（１２）に示す定義がある。

ただし、条件として、式（１３）及び式（１４）を満たしている。

ＳＩ_ｒ＿μ（ｉ，ｊ，ｍ）ｒ_ｍｉｎ＞０ ・・・（１３）
ｋ_ＩＩ／２＋Δθ＜ＳＩ_θ＿μ（ｉ，ｊ，ｍ）＜（ｋ＋１）_ＩＩ／２−Δθ（ｋ＝０，１，２，３）
・・・（１４）
また、式（１２）のＰは、式（１３）及び式（１４）を満たす範囲の画素数である。

水平垂直エッジ量の最小値（Ｍｉｎ＿ＨＶ）は、エッジ電力量（Ａｖｅ＿ＥＥ）では捉えきれなかった劣化、具体的にはブロック歪により新たに生じたエッジを捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、ＡＮＳＩに規定された指標をベースとしているが、式（７）に示すように、最小値を用いることで新たなエッジの発生分のみを感度良く捉えるよう独自に改良したものである。

ところで、時間特徴量算出部２３は、基準映像信号ＲＩと劣化映像信号ＰＩとアライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号ＲＩと劣化映像信号ＰＩに基づいて時間特徴量を計算する。この第２の実施形態ではこの時間特徴量として、以下に詳述するＴＩ（時間情報）値の差分に基づく指標であるブロック平均動き電力量（Ａｖｅ＿ＭＥＢ）を使用する。ＴＩ値は映像フレーム間の画素の輝度値の差分であり、ＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｐ．９１０に規定されているものである。

このブロック平均動き電力量（Ａｖｅ＿ＭＥＢ）：
この指標は、フレーム内の幾つかの画素の集まりであるブロックごとに基準映像フレームと劣化映像フレームのＴＩ値の差分を導出し、この差分を基準映像フレームのブロックごとのＴＩ値によって正規化を行ったものである。

すなわち、ブロック平均動き電力量（Ａｖｅ＿ＭＥＢ）は、式（１５）で表される。

ここで、ＴＩ_ｂ＿μ（ｋ，ｌ，ｍ）は、式（１６）で表される。

ブロック平均動き電力量（Ａｖｅ＿ＭＥＢ）は、エッジ電力量（Ａｖｅ＿ＥＥ）では捉えきれなかった劣化、具体的には領域毎の動きによる劣化の発生を捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、領域毎の動きを捉えるためブロック毎のＴＩ値を導出し、さらに基準映像の値で正規化することにより感度良くさせた独自の尺度である。

主観品質推定部２４は、空間特徴量算出部２２で計算された空間特徴量と時間特徴量算出部２３で計算された時間特徴量とを入力して、基準映像信号ＲＩに対する劣化映像信号ＰＩの主観品質である主観評価値を推定する。この主観評価値（Ｙ）は、式（１７）で算出される。

Ｙ＝αＸ_１＋βＸ_２＋γＸ_３＋δ ・・・（１７）
ここで、Ｘ_１＝Ａｖｅ＿ＥＥ、Ｘ_２＝Ｍｉｎ＿ＨＶ、Ｘ_３＝Ａｖｅ＿ＭＥＢである。

この主観評価値が最終的に得られる値である。

ここで、α，β，γ，δは主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を決定するために予め求めた重み付け係数である。また、α，β，γ，δは、例えば、劣化映像信号ＰＩの信号形式、劣化映像信号ＰＩにより送られてくる劣化映像の情報量（サイズ）、及び、劣化映像信号の符号化方式に基づいて決定される。したがって、劣化映像信号ＰＩの信号形式、劣化映像信号ＰＩにより送られてくる劣化映像の情報量（サイズ）、及び、劣化映像信号の符号化方式から予めα，β，γ，δを計算しておくことができる。

以上に説明した第２の実施形態の映像品質評価装置によれば、任意の映像に対して統一的に主観品質を推定することができる。この第２の実施形態の映像品質評価装置が従来の映像品質評価装置に対して、どの程度精度が上がるかについては後に図面を参照して詳細に説明する。

尚、第２の実施形態で説明した図４に示した映像品質評価装置は、図１に示した映像品質評価装置の主観品質推定部１１に組み込まれ、図１に示した映像品質評価装置が使用されることも可能である。すなわち、図４に示した映像品質評価装置が基準映像信号ＲＩ及び劣化映像信号ＰＩを入力して、主観品質推定部２４が出力した値を一次推定主観品質ＳＱとして補正部１５に出力する。補正部１５は、補正計算部１４から補正情報Ｃ１を受け取り、一次推定主観品質ＳＱを入力して最終推定主観品質Ｑを計算する。

＜第３の実施形態＞
本発明の映像品質評価装置に係る第３の実施形態の各装置部分を図６を参照して説明する。図６は、本発明の映像品質評価装置に係る第３の実施形態の構成を示すブロック図である。

第３の実施形態の映像品質評価装置は、第２の実施形態の映像品質評価装置と比較して、装置に入力され基準映像信号ＲＩと劣化映像信号ＰＩとがそれぞれ互いに異なるファイル形式から入力される場合であり、さらに、劣化映像信号ＰＩの信号形式、劣化映像信号ＰＩにより送られてくる劣化映像の情報量（サイズ）、及び、劣化映像信号の符号化方式が未知の場合であることが異なる。したがって、第２の実施形態の映像品質評価装置と同様な部分は同一符号を付して説明を省略する。

第３の実施形態の映像品質評価装置は、図６に示すように、フォーマット変換部３５、アライメント情報生成部２１、空間特徴量算出部２２、時間特徴量算出部２３、主観品質推定部３４、及び、重み付け係数データベース３６を備えている。

フォーマット変換部３５は、基準映像ファイルと劣化映像ファイルを入力して、劣化映像ファイルのファイル形式が基準映像ファイルのファイル形式と異なる場合に、劣化映像ファイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。より詳細には、例えば、劣化映像ファイルの信号形式、色分布、サイズ、アスペクト比、及び、符号化方式が基準映像ファイルのものと異なる場合に、劣化映像ファイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。そして、フォーマット変換部３５は基準映像ファイルと同じファイル形式に変換された劣化映像ファイルから劣化映像信号ＰＩを出力する。フォーマット変換部３５からの劣化映像信号ＰＩはアライメント情報生成部２１、空間特徴量算出部２２、及び、時間特徴量算出部２３に出力される。

より具体的には、フォーマット変換部３５は、例えば、基準映像がＶＧＡサイズのＹＵＶ形式基準映像を想定し、基準映像と劣化映像のカラーフォーマットが異なる場合、劣化映像がＲＧＢ形式であればこの映像をＲｅｃ．ＩＵＴ−Ｒ ＢＴ．６０１“ＳＴＵＤＩＯ ＥＮＣＯＤＩＮＧ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＤＩＧＩＴＡＬ ＴＥＬＥＶＩＳＩＯＮ ＦＯＲ ＳＴＡＮＤＡＲＤ ４：３ ＡＮＤ ＷＩＤＥ−ＳＣＲＥＥＮ １６：９ ＡＳＰＥＣＴ ＲＡＴＩＯＳ”などに載っている変換式を用いて変換する。また、フォーマット変換部３５が基準映像と劣化映像のサイズやアスペクト比をこれらが同一となるように変換する場合に、単純に整数倍として計算できる場合があるが、それで済まない場合は任意のサイズに変換する必要がある。この場合、公知の方法により任意のサイズへの変換を行う（例えば、Ｍｕｒａｍａｔｓｕ Ｓ．ａｎｄ Ｋｉｙａ Ｈ．：″Ｓｃａｌｅ Ｆａｃｔｏｒ ｏｆ Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｓｉｏｎ Ｂａｓｅｄ ｏｎ Ｏｒｔｈｏｇｏｎａｌ Ｔｒａｎｓｆｏｒｍｓ，″ＩＥＩＣＥ Ｔｒａｎｓ．Ｆｕｎｄａｍｅｎｔａｌｓ．，Ｅ７６−Ａ，７，ｐｐ．１１５０−１１５３（Ｊｕｌｙ １９９３）や、松村正吾、貴家仁志、“変化符号化された画像に対する任意の有理数倍率の解像度変換法”電子情報通信学会論文誌Ａ，Ｖｏｌ．７７−Ａ，Ｎｏ．３，ｐｐ．３６９−３７８，Ｍａｒｃｈ １９９４．、参照）。また、映像信号が圧縮されている場合、予め非圧縮形式に変換する。

さらに、映像符号化や伝送システムの特性や国による規格の違いにより劣化映像の色や明るさの分布が異なることにより、客観評価値にバイアスがかかることを避けるため、基準映像と劣化映像の輝度値などの分布を正規化する。つまり、基準映像と劣化映像の両者に対して、輝度、色差信号、又はＲＧＢ値毎に、特定フレームの画素値の分布からその最大値、最小値、平均値、分散のような統計量を導出し、その分布が同じになるよう、例えば平均値のずれた分だけ劣化映像の全画素値をシフトさせることにより、又は基準映像と劣化映像の最小値と最大値の範囲をそろえるため式（１８）に示す変換式で変換することにより、基準映像と劣化映像の分布を正規化する。

フォーマット変換部３５は、変換された劣化映像信号ＰＩのファイル形式、すなわち基準映像信号ＲＩと同様なファイル形式に関連する情報を主観品質推定部３４に出力する。このファイル形式に関連する情報は、例えば、劣化映像ファイルの信号形式、色分布、サイズ、アスペクト比、及び、符号化方式であるが、この第３の実施形態では、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を主観品質推定部３４に出力する。

重み付け係数データベース３６は、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を一組の条件として、この条件を複数格納しており、各条件に対応して重み付け係数α，β，γ，δが予め設定されている。これらの重み付け係数は、主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を予め求めてあるものである。図７は、重み付け係数データベース３６が格納している複数の条件及びこれら条件に対応する重み付け係数を示している。

主観品質推定部３４は、フォーマット変換部３５から入力する劣化映像ファイルの信号形式、サイズ、及び、符号化方式に応じて、重み付け係数α，β，γ，δを重み付け係数データベース３６から取得することが、第２の実施形態の主観品質推定部２４と異なる。他は主観品質推定部２４と同様である。

尚、図６では、フォーマット変換部３５とアライメント情報生成部２１が別個に配置されているが、フォーマット変換部３５とアライメント情報生成部２１が１つの構成部として図６の映像品質評価装置に組み込まれていてもよい。

以上に説明した第３の本実施形態によれば、劣化映像ファイルのファイル形式が基準映像ファイルと異なった場合でも劣化映像の主観品質を推定することができる。さらに、劣化映像ファイルの信号形式、サイズ、及び、符号化方式等に関し、多くのパターンに対応することができるため、様々な劣化映像ファイルの主観品質を推定することが可能となる。

以下に、第２及び３の実施形態の映像品質評価装置が推定した映像品質評価値の推定精度についての実際の結果を、従来の映像品質評価装置と比較しつつ、図８から図１６を参照して説明する。

最初に、推定精度の検証及び重み付け係数データベース３６に格納する重み付け係数を導出するために用いる主観評価データについて説明する。主観評価データは図８に示すＩＴＵ−Ｒで選定されている標準映像（図８の映像シーケンス名）（ＩＴＵ−ＲＢＴ．８０２−１，“Ｔｅｓｔ Ｐｉｃｔｕｒｅｓ ａｎｄ Ｓｅｑｕｅｎｃｅｓ ｆｏｒ Ｓｕｂｊｅｃｔｉｖｅ Ａｓｓｅｓｓｍｅｎｔｓ ｏｆ Ｄｉｇｉｔａｌ Ｃｏｄｅｃｓ Ｃｏｎｖｅｙｉｎｇ Ｓｉｇｎａｌｓ Ｐｒｏｄｕｃｅｄ Ａｃｃｏｒｄｉｎｇ ｔｏ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−ＲＢＴ．６０１，”１９９４、及び、ＩＴＵ−Ｒ ＢＴ．１２０１−２，“Ｔｅｓｔ ｍａｔｅｒｉａｌｓ ｔｏ ｂｅ ｕｓｅｄ ｉｎ ｓｕｂｊｅｃｔｉｖｅ ａｓｓｅｓｓｍｅｎｔ，”２００１を参照）の３６種類を基準映像とし、図８に示したように標準映像を映像品質評価値の推定精度を検証するための検証データと予め係数導出に用いるデータである学習データに分ける。

推定精度を検証するために用いる主観評価データは、基準映像の特性の偏りによる影響を少なくするように選択される。すなわち、ＩＴＵ−ＴＰ．９１０（ＩＴＵ−Ｔ Ｐ．９１０，“Ｓｕｂｊｅｃｔｉｖｅ ｖｉｄｅｏ ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ ｍｅｔｈｏｄｓ ｆｏｒ ｍｕｌｔｉｍｅｄｉａ ａｐｐｌｉｃａｔｉｏｎｓ”Ａｕｇ．１９９６．を参考）で示されている空間情報（ＳＩ）、時間情報（ＴＩ）の分布を考慮し、図９の領域Ａから領域Ｄまで同数の映像を選定する。これにより、様々なＳＩ値及びＴＩ値を有する映像を基準映像とすることができる。また、これらの基準映像に対しＭＰＥＧ４をベースとした符号化劣化を用いて２５６ｋｂｐｓ〜８Ｍｂｐｓ範囲内で４段階に割り振り劣化映像とした。

主観品質評価法は、ＭＰＥＧのベリフィケーションなどコーデックの性能評価試験でよく使われているＤＳＣＱＳ法（ＩＴＵ−Ｒ ＢＴ．５００−１０，“Ｍｅｔｈｏｄｏｌｏｇｙ ｆｏｒ ｔｈｅ ｓｕｂｊｅｃｔｉｖｅ ａｓｓｅｓｓｍｅｎｔ ｏｆ ｔｈｅ ｑｕａｌｉｔｙ ｏｆ ｔｅｌｅｖｉｓｉｏｎ ｐｉｃｔｕｒｅｓ”Ｍａｒｃｈ ２０００．を参考）を用い、被験者数は１８歳から４０歳までの一般人の男女２４名である。

映像品質評価装置の目標推定精度は、主観評価における評点のばらつきの程度と同等とすることが適切である。主観評価値のばらつきの程度を片側９５％信頼区間として導出したところ、全データにおいて７．２４であった。そこで、映像品質評価装置の目標推定精度として平均二乗誤差（ＲＭＳＥ）がこの値を超えないことが目標となる。

従来の映像品質評価装置では、一般的に使用される、ＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ Ｎｏｉｓｅ Ｒａｔｉｏ：ピークＳＮ比）と、ＡＮＳＩのパラメータとして知られているエッジ電力量（Ａｖｅ＿ＥＥ）とを用いたものを使用して、学習データに対して推定した結果をそれぞれ図１０及び図１１に示す。図１０がＰＳＮＲを使用した場合で、図１１がエッジ電力量（Ａｖｅ＿ＥＥ）を使用した場合の推定結果である。図１０及び図１１によれば、ＰＳＮＲでのＲＭＳＥは９．５７で、エッジ電力量（Ａｖｅ＿ＥＥ）でのＲＭＳＥは７．４７であり、ＰＳＮＲに比べてエッジ電力量（Ａｖｅ＿ＥＥ）のほうが良好な特性を示すが、ＲＭＳＥは目標値を超えており推定精度は不十分である。

次に、エッジ電力量（Ａｖｅ＿ＥＥ）、水平垂直エッジ量の最小値（Ｍｉｎ＿ＨＶ）、Ａｖｅ＿ＭＥＢ全てを用いた第２及び第３の実施形態の映像品質評価装置を使用して、学習データ、検証データに対する推定結果を図１２及び図１３に示す。図１２及び図１３によれば、学習データでのＲＭＳＥは６．４３であり、検証データでのＲＭＳＥは６．４９であるので、学習データだけではなく、非学習データである検証データに対しても目標とする推定精度を十分クリアしている。したがって、第２及び第３の実施形態の映像品質評価装置は、人間が実際の映像を見てその品質を評価する主観評価品質試験に代えて使用することができる推定精度を持ち、実用的に使えるレベルであることがわかる。

また、図１４は、エッジ電力量（Ａｖｅ＿ＥＥ）のみによる学習データの一部の推定結果を示す図である。図１４に示すように、入力映像［３］、［６］、［７］、［９］において評点の傾きが大きく、客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化しており、このエッジ電力量（Ａｖｅ＿ＥＥ）のみではこれらの映像に発生する劣化を捉えきれていないことが分かる。

また、図１５は、水平垂直エッジ量の最小値（Ｍｉｎ＿ＨＶ）と主観評価値の関係を示す図である。図１５に示すように、水平垂直エッジ量の最小値（Ｍｉｎ＿ＨＶ）によれば、入力映像［３］、［７］において、敏感にその劣化を捉えていることが分かる。

また、図１６は、ブロック平均動き電力量（Ａｖｅ＿ＭＥＢ）と主観評価値の関係を示す図である。図１６に示すように、ブロック平均動き電力量（Ａｖｅ＿ＭＥＢ）によれば、入力映像［６］、［９］において、敏感にその劣化を捉えていることが分かる。

以上のように、本発明の第２及び第３実施形態によれば、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメータに加え、精度不足を補う２つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。

＜第４の実施形態＞
次に、映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態について説明する。

図１７は、本発明の映像整合装置に係る実施形態の構成を示すブロック図である。

第４の実施形態の映像整合装置は、フォーマット変換部４１、表示タイミング整合部４２、同期／位置整合部４３、輝度／色補正部４４、及び劣化量導出部４５を少なくとも備えている。

フォーマット変換部４１は、符号化やネットワークでの損失によって劣化した劣化映像信号に含まれるファイル形式を、基準映像信号に含まれる基準映像のファイル形式に合わせる。表示タイミング整合部４２は、基準映像信号と劣化映像信号の映像表示のタイミングを合わせる。同期／位置整合部４３は、劣化量導出部４５から劣化量や同期ずれ情報を取得しつつ、基準映像信号と劣化映像信号の時間空間方向の整合をとる。また、必要に応じて、輝度／色整合部４４は、基準映像信号と劣化映像信号の輝度や色分布の違いについて補正を行う。

尚、この実施形態においては、基準映像信号及び劣化映像信号には、フレームレート情報又はフレーム表示時刻／取込時刻情報が含まれている。また、必要に応じて、信号フォーマット情報も含まれる。それにより、当該映像整合装置は、基準映像及び劣化映像について、対象フレームとその前後数フレーム分をメモリに蓄積しながら非リアルタイムに処理を進めるものとする。

図１８は、本発明の映像整合装置の実施形態の動作手順を示すフローチャートである。

先ず、フォーマット変換部４１は、基準映像と劣化映像の信号形式、サイズ、アスペクト比が異なる場合に、劣化映像の信号形式の変換を行う（ステップＳ１）。例えば、基準映像のデータ形式が非圧縮のＹＵＶ形式であり、劣化映像のデータ形式が非圧縮のＲＧＢ形式であれば、劣化映像を、Ｒｅｃ．ＩＵＴ−Ｒ ＢＴ．６０１“ＳＴＵＤＩＯ ＥＮＣＯＤＩＮＧ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＤＩＧＩＴＡＬ ＴＥＬＥＶＩＳＩＯＮ ＦＯＲ ＳＴＡＮＤＡＲＤ ４：３ ＡＮＤ ＷＩＤＥ−ＳＣＲＥＥＮ １６：９ ＡＳＰＥＣＴ ＲＡＴＩＯＳ”の変換式を用いて変換する。また、フォーマット変換部４１は、そもそも劣化映像が圧縮形式の場合は事前に非圧縮形式に変換する。さらに、フォーマット変換部４１は、サイズやアスペクト比が異なる場合は、それが同一となるように変換する。ここで、例えば単純に整数倍として計算できる場合があるが、それだけでは不十分の場合は任意のサイズに変換する必要があり、この場合、公知の方法により任意のサイズへの変換を行う（例えば、Ｍｕｒａｍａｔｓｕ Ｓ．ａｎｄ Ｋｉｙａ Ｈ．：″Ｓｃａｌｅ Ｆａｃｔｏｒ ｏｆ Ｒｅｓｏｌｕｔｉｏｎ Ｃｏｎｖｅｒｓｉｏｎ Ｂａｓｅｄ ｏｎ Ｏｒｔｈｏｇｏｎａｌ Ｔｒａｎｓｆｏｒｍｓ，″ＩＥＩＣＥ Ｔｒａｎｓ．Ｆｕｎｄａｍｅｎｔａｌｓ．，Ｅ７６−Ａ，７，ｐｐ．１１５０−１１５３（Ｊｕｌｙ １９９３）や、松村正吾、貴家仁志、“変化符号化された画像に対する任意の有理数倍率の解像度変換法”電子情報通信学会論文誌Ａ，Ｖｏｌ．７７−Ａ，Ｎｏ．３，ｐｐ．３６９−３７８，Ｍａｒｃｈ １９９４．、参照）。その後、フォーマット変換部４１は、基準映像信号と変換した劣化映像信号を表示タイミング整合部４２に渡す。

次に、表示タイミング整合部４２は、フォーマット変換部４１でフォーマット変換された劣化映像信号を基準映像信号の表示タイミングに合わせるため、フレームの補完などの処理を行う（ステップＳ２）。

具体的には、図１９の（ａ）に示すように劣化映像の表示間隔が基準映像の表示間隔より定常的に長い場合には、表示タイミング整合部４２は、図１９の（ｂ）の下段に示すように、全フレームを補完することにより劣化映像に対して映像を補う。

また、図１９の（ｂ）に示すように劣化映像の表示間隔が揺らぐ場合には、表示タイミング整合部４２は、図１９の（ｂ）の下段に示すように、基準映像と同期しているタイミングで、劣化映像の直前の映像で劣化映像を補う。尚、このとき、劣化映像の直前の映像で補うのではなく、劣化映像のうち時間的に近い映像で補いようにすることもできる。即ち、例えば、図１９の（ｂ）の場合、変換劣化映像の２番目のフレームとしてフレームＩが充てられているが、劣化映像のうち時間的に近い映像で補うとするならば、フレームＩＩが充てられることとなる。

さらに、図１９の（ｃ）に示すように基準映像信号自体が一定のフレームレートでない場合は、基準映像信号と劣化映像信号をそれらとは別の正確な時間間隔で表示されるように補完することとする。

その後、表示タイミング整合部４２は、基準映像信号と劣化映像信号を同期／位置整合部４３に渡す。

同期／位置整合部４３は、（１）評価開始状態、（２）同期状態、（３）フリーズ状態の３つの状態を想定して、その動作を規定している。

（１）先ず、評価開始状態においては、同期／位置整合部４３は、時間方向のマクロな整合をとるために、一定時間の基準映像信号と劣化映像信号に対する１フレーム全体やその特定領域の信号の輝度／色差／ＲＧＢ値の平均値のような特徴量の推移を比較して整合性の最も高くなるフレーム情報を取得し、それによりマクロな時間方向のずれを導出する（ステップＳ３）。具体的には、図２０に示すように特徴量を時間方向にずらして各時系列値の差分が最小、または相互相関係数が最大になる条件から時間方向のずれ（フレーム差）を導出する。

また、同期／位置整合部４３は、ミクロな時間空間方向の整合をとるために、劣化量導出部４５より基準映像において整合がとれた映像の前後数フレームに対して図２１に示すように劣化映像を上下左右に画素を動かし、差分値の最小である位置を最も整合がとれたところとして画素位置情報として受け取る（ステップＳ４）。

さらに、同期／位置整合部４３は、輝度／色補正を行うために整合がとられた基準映像と劣化映像を輝度／色補正部４４に渡す。輝度／色補正部４４は、劣化映像の輝度及び色情報の平均値、最小値及び最大値並びにそれらの分布を、基準映像のそれらと整合をとる。例えば、基準映像と劣化映像の輝度分布が異なる場合には、輝度／色補正部４４は、基準映像と劣化映像の輝度分布のそれぞれの平均値と分散値に基づき、基準映像と劣化映像の輝度分布に対し線形正規化を施し、その線形正規化を行うための変換式に係る情報を補正情報として同期／位置整合部４３に渡す。同期／位置整合部４３は、その補正情報を受け取り、受け取った補正情報に基づいて輝度／色補正処理を行う（ステップＳ５）。

以下、（２）同期状態及び（３）フリーズ状態における処理として、同期／位置整合部４３は、図１８に示したステップＳ６乃至ステップＳ２２の処理を行う。

基準映像対象フレーム番号ｉが基準映像最終フレーム数Ｎより小さいか、または劣化映像対象フレーム番号ｊが劣化映像最終フレーム数Ｍより小さい間は、以下のステップＳ７乃至ステップＳ２２の処理を行う（ステップＳ６）。

そこで、先ず、Ｆ１が“１”か否か、即ち基準映像と劣化映像とが非同期状態にあるか否かを判断する（ステップＳ７）。基準映像と劣化映像とが同期状態にある場合は（Ｆ１＝０）、ステップＳ８に移行し、基準映像と劣化映像とが非同期状態にある場合は（Ｆ１＝１）、ステップＳ１６に移行する。

先ず、基準映像と劣化映像とが同期状態にある場合（Ｆ１＝０）について以下説明する。

同期／位置整合部４３は、前述の評価開始状態で得られた、時間空間方向のずれや、輝度／色情報を補正した劣化映像と、基準映像とを劣化量導出部４５に渡す。劣化量導出部４５は、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象にミクロ同期処理を行い（図２１参照）、それにより得られる劣化量を導出すると共に、基準映像と劣化映像各々の１つ前のフレームとの間のフレーム間の差分値を劣化量として導出する（ステップＳ８）。同期／位置整合部４３は、劣化量導出部４５により導出されたそれらの劣化量を受け取り、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否かを判断する（ステップＳ９）。即ち、基準映像についての差分値がある値を示しているのに対し、劣化映像のそれが殆ど０を示していれば、同期／位置整合部４３は、劣化映像がフリーズ状態であると判断する。

劣化映像がフリーズ状態のときは、同期／位置整合部４３は、非同期状態（Ｆ１＝１）と設定すると共に、フリーズ数を“１”（Ｃｏｕｎｔ＝１）として（ステップＳ１０）、ステップＳ２２に移行する。

一方、劣化映像がフリーズ状態ではないときは、次に、同期／位置整合部４３は、ステップＳ８において劣化量導出部４５のミクロ同期処理により得られた、劣化映像の対象フレームの劣化量が、最小か否かを判断する（ステップＳ１１）。劣化映像の対象フレームの劣化量が最小であるときは、同期状態（Ｆ２＝０）と設定し（ステップＳ１２）、ステップＳ１４に移行する。一方、劣化映像の対象フレームの劣化量が最小でないときは、フレームずれ状態（コマ飛び状態、コマ戻り状態等）であると判定してステップＳ１３に移行し、劣化量が最小であるフレーム番号をｊ値に設定し、コマ飛びならＦ２＝１と設定し、それ以外（コマ戻り状態等）ならＦ２＝２と設定し、そのときのコマ（フレーム）のずれ数をＣｏｕｎｔ値に設定する。

ステップＳ１４においては、基準映像及び劣化映像を出力すると共にＦ２値及びＣｏｕｎｔ値を出力する。その後、Ｃｏｕｎｔ値を０にリセットし、ステップＳ２２に移行する。

次に、ステップＳ７において、基準映像と劣化映像とが非同期状態にある（Ｆ１＝１）と判断された場合について以下説明する。

同期／位置整合部４３は、ステップＳ１６において、ステップＳ８と同様、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象に行われたミクロ同期処理により得られた劣化量を劣化量導出部４５から受け取ると共に、基準映像と劣化映像各々の１つ前のフレームとの間のフレーム間の差分値を劣化量として受け取る。同期／位置整合部４３は、ステップＳ９と同様、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否かを判断する（ステップＳ１７）。

劣化映像がフリーズ状態のときは、同期／位置整合部４３は、フリーズ数（Ｃｏｕｎｔ値）をインクリメントして（ステップＳ１８）、ステップＳ２２に移行する。

一方、劣化映像がフリーズ状態ではないときは、同期／位置整合部４３は、フリーズ状態が終了したと判断し、ステップＳ３と同様のマクロ時刻同期処理を行い、（ステップＳ１９）、フリーズ数（Ｃｏｕｎｔ値）を出力する（ステップＳ２０）。その後、Ｆ１値及びＣｏｕｎｔ値を０にリセットし、ステップＳ２２に移行する。

ステップＳ２２においては、基準映像対象フレーム番号ｉ及び劣化映像対象フレーム番号ｊをインクリメントし、そのｉ値が基準映像最終フレーム数Ｎに達し、かつ、そのｊ値が劣化映像最終フレーム数Ｍに達した場合には、処理を終了する。

尚、常に一定時間、基準映像信号と劣化映像信号について、１フレーム全体または特定領域の信号の輝度／色差／ＲＧＢ値の平均値のような特徴量を蓄積していることとし、何らかの事情で同期が取れなくなったとき、例えば対象となるフレームにおける特徴量が一定期間の平均値からある閾値（３σのように標準偏差の定数倍）以上に開きが生じた場合には、（１）の評価初期状態に入ることとし、ステップＳ３から処理が再開される。

以上が本発明の実施形態における映像整合処理の詳細である。

本実施形態によれば、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末において映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更にＩＰパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。

ところで、本発明の映像整合方法においては、同期／位置整合部４３から出力した基準映像と劣化映像とその付属情報（時間方向の状態）を映像品質評価装置に入力することを想定している（例えば、第１の実施形態の映像品質評価装置の主観品質推定部１１に入力される）が、劣化量導出部４５において劣化量ではなく客観評価値を導出することとし、同期／位置整合部４３よりその結果を出力すれば映像品質評価装置として利用するともできる。

尚、以上に説明してきた各実施形態において、その処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、この汎用計算機システムを映像品質評価装置及び映像整合装置として機能させることができる。上述の各実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、コンピュータが上述した実施形態の映像品質評価装置及び映像整合装置として動作する。

尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、未知の基準映像であっても、任意の映像に対して精度良く統一的な主観品質を推定することができる。

具体的には、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を導出できるようになる。

また、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメータに加え、精度不足を補う２つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。

本発明の映像整合装置、映像整合方法及び映像整合プログラムによれば、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる。

具体的には、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末において映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更にＩＰパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。

したがって、かかる映像整合装置及び方法を前提とした映像品質評価装置及び方法によれば、上述の各場合でも映像品質客観評価が可能となったり、その精度を向上させることができる。

Claims (7)

1. 劣化していない映像信号である基準映像信号（ＲＩ）とその基準映像信号が劣化した劣化映像信号（ＰＩ）とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部（１１）と、
   前記主観品質を補正するための補正情報として補正係数（α，β）を、映像信号特徴量としての、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報（ＳＩ）及びフレーム間での映像変化を示す時間情報（ＴＩ）に対応して格納している補正情報格納部（１３）と、
   前記基準映像信号の前記映像信号特徴量を入力し、入力した映像信号特徴量に対応した補正情報を前記補正情報格納部（１３）から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部（１２，１４，１５）と、
   を備えることを特徴とする映像品質評価装置。
2. 前記主観品質推定部（１１）は、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報（ＳＩ）及びフレーム間での映像変化を示す時間情報（ＴＩ）の少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて、前記主観品質を推定することを特徴とする請求の範囲第１項に記載の映像品質評価装置。
3. 前記主観品質推定部（１１）は、前記劣化映像信号と前記基準映像信号間の前記映像信号特徴量の差分として、映像信号に含まれる映像の各フレーム内での劣化量を示すエッジ電力量（Ｅ）、及び、フレーム間での劣化量を示す動き電力量（Ｍ）の少なくとも一方を算出することを特徴とする請求の範囲第２項に記載の映像品質評価装置。
4. 前記主観品質推定部（１１）は、ＩＴＵ−Ｒ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｐ．９１０に規定されているｓｐａｔｉａｌ ｉｎｆｏｒｍａｔｉｏｎ及びｔｅｍｐｏｒａｌ ｉｎｆｏｒｍａｔｉｏｎの少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて前記主観品質を推定することを特徴とする請求の範囲第２項に記載の映像品質評価装置。
5. 前記主観品質推定部（１１）は、
   前記基準映像信号（ＲＩ）と前記劣化映像信号（ＰＩ）とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するアライメント情報を生成するアライメント情報生成部（２１）と、
   前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部（２２）と、
   前記アライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部（２３）と、
   前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する推定部（２４）と、
   を備えることを特徴とする請求の範囲第１項に記載の映像品質評価装置。
6. 劣化していない映像信号である基準映像信号（ＲＩ）が劣化した劣化映像信号（ＰＩ）の推定された主観品質を補正するための補正情報（α，β）を、映像信号特徴量としての、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報（ＳＩ）及びフレーム間での映像変化を示す時間情報（ＴＩ）に対応して格納している補正情報格納部（１３）を備え、前記劣化映像信号の主観品質を推定する映像品質評価装置における映像品質評価方法であって、
   前記基準映像信号と前記劣化映像信号とを入力し、
   両信号の映像信号特徴量を算出し、
   算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の前記主観品質を推定し、
   算出された前記基準映像信号の映像信号特徴量に対応した補正情報（α，β）を前記補正情報格納部（１３）から取得し、
   取得された補正情報（α，β）に基づいて前記推定された主観品質を補正することを特徴とする映像品質評価方法。
7. コンピュータを、
   劣化していない映像信号である基準映像信号（ＲＩ）とその基準映像信号が劣化した劣化映像信号（ＰＩ）とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定手段（１１）と、
   前記主観品質を補正するための補正情報（α，β）を、映像信号特徴量としての、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報（ＳＩ）及びフレーム間での映像変化を示す時間情報（ＴＩ）に対応して格納する補正情報格納手段（１３）と、
   算出された前記基準映像信号の映像信号特徴量に対応した補正情報（α，β）を前記補正情報格納手段（１３）から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する主観品質補正手段（１２，１４，１５）として機能させるための映像品質評価プログラム。

Images