WO2005020592A1

WO2005020592A1 - 映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラム

Info

Publication number: WO2005020592A1
Application number: PCT/JP2004/011992
Authority: WO
Inventors: Jun Okamoto; Takaaki Kurita
Original assignee: Nippon Telegraph And Telephone Corporation
Priority date: 2003-08-22
Filing date: 2004-08-20
Publication date: 2005-03-03
Also published as: US20060276983A1; JP4257333B2; CA2646805A1; JP2012060672A; CA2525812C; JP2009095046A; CA2646805C; US8253803B2; EP1622395A1; KR100798834B1; US7705881B2; JP4901848B2; CA2525812A1; US20100157144A1; JP2009077433A; CA2646808C; JPWO2005020592A1; EP1622395B1; JP4800376B2; EP1622395A4

Abstract

　主観品質推定部（１１）は、劣化していない映像信号である基準映像信号（ＲＩ）とその基準映像信号が劣化した劣化映像信号（ＰＩ）とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、劣化映像信号の主観品質を推定する。特徴量算出部（１２）は、基準映像信号の映像信号特徴量を算出する。補正情報格納部（１３）には、主観品質を補正するための補正情報が、映像信号特徴量に対応して格納されている。補正計算部（１４）は、特徴量算出部（１２）から入力した基準映像信号の映像信号特徴量に対応した補正情報を、補正情報格納部（１３）から取得し、補正部（１５）に渡す。補正部（１５）は、渡された補正情報に基づいて、主観品質推定部（１１）で推定された劣化映像信号の主観品質を補正する。

Description

明細書

映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プログラム

技術分野

[0001] 本発明は、人間が実際の映像を見てその品質を評価する主観品質評価試験を行うことなぐ映像信号の物理的特徴量の測定から主観品質を推定する映像品質評価装置、映像品質評価方法及び映像品質評価プログラムに関する。

[0002] また、映像品質評価装置、映像品質評価方法及び映像品質評価プログラムにおいて、基準映像信号と符号ィ匕ゃネットワーク伝送等を経ることにより、その品質が劣化した劣化映像信号との空間的及び時間的な位置の整合を行う映像整合装置、映像整合方法及び映像整合プログラムに関する。

背景技術

[0003] 映像情報は、何らかの処理、例えば、符号化やネットワーク伝送を経ることにより、その品質が劣化するのが一般的である。かかる劣化した映像について、人間が実際に見て感じる劣化の程度を主観品質とレ、う。

[0004] 従来、その主観品質を評価する方法としては、人間が実際に映像をみることによる主観品質評価試験が行われていた。しかしながら、人間が実際に映像を見てその映像の品質を評価するのは、手間がかかり映像の品質評価に時間がかかるという問題力 Sある。また、映像の品質評価に精通している者とその初心者では、評価が異なることが多い。

[0005] そこで、物理測定から映像の主観品質を推定する方法として、基準映像信号と劣化した劣化映像信号との物理的特徴量の差分に基づいて、あるいは劣化映像信号の物理的特徴量のみから求められる劣化量に基づいて、客観的に品質の劣化の程度を評価する方法がある。

[0006] しかしながら、映像の主観品質は、映像を限定すれば精度良く主観評価値を推定できる場合がある力例えば、 ANSI T1.801.03-1996, "Digital Transport of One-Way Video Signals Parameters ror Objective Performance Assessment ；岡本、尚橋、映像品質客観評価技術の適用法に関する一検討"、信学ソ大、 Sep. 2002.；岡本、栗田、高橋、 "映像品質客観評価の性能向上に関する一検討"、信学ソ大、 Mar. 2003. 参照）、任意の映像に対しては映像の性質に大きく依存することから、劣化量の程度が同じ場合でも結果として判断される主観品質は異なることが多い。

[0007] かかる理由から、映像主観品質を求める場合には、やはり、人間がその映像を実際に見て、その品質を評価するという主観評価試験を行うことも多い、という技術状況が続いていた。

[0008] そのような状況において、主観品質を、人間が見た場合と近いように評価できるようにすることを目的として、映像のエッジ領域に着目し、映像信号に Sobelフィルタを適用してその劣化量を計算する客観評価法が提案された（PCT Pub. No. ： W〇99 /45715参照）。

[0009] し力、しながら、かかる特徴量だけでは、やはり実際の主観評価を置き換えるに充分な評価精度は得られない。

[0010] 一方、映像の主観品質を推定する方法において、基準映像信号と劣化した劣化映像信号との物理的特徴量を比較する前提として、基準映像信号と劣化映像信号との空間的及び時間的な位置が整合している必要がある。つまり、基準映像信号と劣化映像信号との間で、時間方向のずれや空間位置のずれが整合している必要がある。

[0011] 元々、力かる整合処理は、手動で行われていた。し力し、やがて、整合処理を自動で行う手法を提案された。例えば、米国特許 5, 446, 492号においては、客観評価の前処理として時間整合処理に際して遅延が発生した場合にそれに対応できるようになっている。

[0012] この文献の技術によれば、 TV放送のように、同じサイズかつ同じフレームレートの信号が対象であれば、一旦同期がとれれば、以降良好に同期を取らせることができる。

[0013] し力、しながら、近年普及し始めたインターネットなどの IPネットワークを経由した映像配信や映像コミュニケーションサービスでは、パーソナルコンピュータ（PC)端末において映像を受信するため、受け取る映像のサイズやアスペクト比がさまざまである。また、パケットのようにある程度まとまった情報が損失することもある。故に、基準映像信号と劣化映像信号の空間的な位置の対応がとり難い。一方、 IPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングずれや映像表示タイミングのゆらぎやフリーズという、従来存在しなかった現象が生じることとなった。したがって、基準映像信号と劣化映像信号との間のかかる時間的なずれの整合をとる手法はなかった。

[0014] 映像の主観品質を推定する方法において、基準映像信号と劣化映像信号との空間的及び時間的な位置の整合がこのように十分にとれないのであれば、そもそも映像の主観品質の推定は不可能であり、できたとしてもその精度は低い。

[0015] 尚、先の PCT Pub. No. : W〇99Z45715においては、時間的整合処理の一例が記述された文献として、 ITU-T Contribution COM-12-29 "Draft new recommendation on multimedia communication delay, synchronization, and frame rate measurement", December 1997力げられてレヽる。

発明の開示

[0016] 本発明は、上述した従来の技術に鑑み、任意の映像に対して精度良く統一的な主観品質を推定することができる映像品質評価装置、映像品質評価方法及び映像品質評価プログラムを提供することを目的とする。

[0017] また、本発明は、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる映像整合装置、映像整合方法及び映像整合プログラムを提供することを目的とする。

[0018] 上記目的を達成するため、第 1の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部と、前記主観品質を補正するための補正情報を、映像信号特徴量に対応して格納している補正情報格納部と、前記基準映像信号の前記映像信号特徴量を入力し、入力した映像信号特徴量に対応した補正情報を前記補正情報格納部から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部と、を備える映像品質評価装置を要旨とする。

[0019] 第 2の態様に係る発明は、第 1の態様に係る発明において、前記主観品質推定部は、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報の少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて、前記主観品質を推定することを要旨とする。

[0020] 第 3の態様に係る発明は、第 2の態様に係る発明において、前記主観品質推定部は、前記劣化映像信号と前記基準映像信号間の前記映像信号特徴量の差分として、映像信号に含まれる映像の各フレーム内での劣化量を示すエッジ電力量 (E)、及び、フレーム間での劣化量を示す動き電力量 (M)の少なくとも一方を算出することを要旨とする。

[0021] 第 4の態様に係る発明は、第 2の態様に係る発明において、前記主観品質推定部は、 ITU-R Recommendation P.910に夫見疋れ又いる spatial information及び temporal informationの少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて前記主観品質を推定することを要旨とする。

[0022] 第 5の態様に係る発明は、第 1の態様に係る発明において、補正情報格納部は、前記主観品質を補正するための補正情報として、補正係数を、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報及びフレーム間での映像変化を示す時間情報に対応して格納してレ、ることを要旨とする。

[0023] 第 6の態様に係る発明は、第 1の態様に係る発明において、前記主観品質推定部は、前記基準映像信号と前記劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと

、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成するァライメント情報生成部と、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部と、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する推定部と、を備えることを要旨とする。

[0024] また、上記目的を達成するため、第 7の態様に係る発明は、劣化していない映像信号である基準映像信号が劣化した劣化映像信号の推定された主観品質を補正するための補正情報を、映像信号特徴量に対応して格納してレ、る補正情報格納部を備え、前記劣化映像信号の主観品質を推定する映像品質評価装置における映像品質評価方法であって、前記基準映像信号と前記劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の前記主観品質を推定し、算出された前記基準映像信号の映像信号特徴量に対応した補正情報を前記補正情報格納部から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する映像品質評価方法を要旨とする。

[0025] また、上記目的を達成するため、第 8の態様に係る発明は、コンピュータを、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定手段と、前記主観品質を補正するための補正情報を、映像信号特徴量に対応して格納する補正情報格納手段と、算出された前記基準映像信号の映像信号特徴量に対応した補正情報を前記補正情報格納手段から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する主観品質補正手段として機能させるための映像品質評価プログラムを要旨とする。

[0026] また、上記目的を達成するため、第 9の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成するァライメント情報生成部と、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づレ、てそれぞれの空間特徴量を算出する空間特徴量算出部と、前記ァライメント情報に基づレ、て前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定部と、を備える映像品質評価装置を要旨とする。

[0027] 第 10の態様に係る発明は、第 9の態様に係る発明において、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換部と、前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数を格納している補正係数格納部と、を更に備え、前記主観品質推定部は、前記形式変換部から入力した前記統一されたファィル形式に関連した情報に対応した前記係数を前記補正係数格納部から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを要旨とする。

[0028] 第 11の態様に係る発明は、第 10の態様に係る発明において、前記形式変換部は、前記統一されたファイル形式に関連した情報として、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかを出力し、前記補正係数格納部は、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号ィ匕方式の少なくともいずれかに対応させて、最適な係数を格納してレ、ることを要旨とする。

[0029] 第 12の態様に係る発明は、第 9または第 10の態様に係る発明において、前記空間特徴量算出部は、前記基準映像信号と前記劣化映像信号に基づいて、フレーム内で輝度値が急激に変化する境界に発生する劣化を定量化する指標を前記空間特徴量として算出することを要旨とする。

[0030] 第 13の態様に係る発明は、第 12の態様に係る発明において、前記空間特徴量算出部は、前記基準映像信号と前記劣化映像信号に基づいて、 ANSI T1.801.03-1995 で規定されているエッジ電力量を空間特徴量として算出することを要旨とする。

[0031] 第 14の態様に係る発明は、第 9、第 10、または第 12の態様に係る発明において、前記空間特徴量算出部は、前記基準映像フレームと比較して、該基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界が水平垂直方向に発生している度合いを定量化する指標を前記空間特徴量として算出することを要旨とする。

[0032] 第 15の態様に係る発明は、第 9、第 10、第 12、または第 14の態様に係る発明において、前記時間特徴量算出部は、フレーム内の 1画素以上の集合であるブロックごとに基準映像の ITU-R Recommendation P.910に規定されている Temporal

Information値と劣化映像の ITU-R Recommendation P.910に規定されている

Temporal Information値の差分に基づいて映像のフレーム間での変化量を前記時間特徴量として算出することを要旨とする。

[0033] 第 16の態様に係る発明は、第 9または第 10の態様に係る発明において、前記主観品質を補正するための補正情報を、空間特徴量及び時間特徴量に対応して格納している補正情報格納部と、前記基準映像信号の前記空間特徴量及び前記時間特徴量を入力し、入力した空間特徴量及び時間特徴量に対応した補正情報を前記補正情報格納部から取得し、取得した補正情報に基づレ、て前記推定された主観品質を補正する主観品質補正部と、を更に備えることを要旨とする。

[0034] また、上記目的を達成するため、第 17の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成し、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づレ、てそれぞれの時間特徴量を算出し、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する映像品質評価方法を要旨とする。

[0035] また、上記目的を達成するため、第 18の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、その統一されたファイル形式に関連した情報を生成し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からのファイル形式が変換された劣化映像の劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成し、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、前記空間特徴量と、前記時間特徴量と、前記統一したファイル形式に関連した情報に対応した、主観品質推定のための係数と、に基づいて、前記劣化映像信号の主観品質を推定する映像品質評価方法を要旨とする。

[0036] また、上記目的を達成するため、第 19の態様に係る発明は、コンピュータを、劣化してレ、なレ、映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成するァライメント情報生成手段と、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出手段と、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出手段と、前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定手段として機能させるための映像品質評価プログラムを要旨とする。

[0037] 第 20の態様に係る発明は、第 19の態様に係る発明において、前記コンピュータを、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換手段と、前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数を格納している補正係数格納手段として更に機能させ、前記主観品質推定手段は、前記形式変換手段から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納手段から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを要旨とする。

[0038] また、上記目的を達成するため、第 21の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期 Z位置整合部と、を備える映像整合装置を要旨とする。

[0039] 第 22の態様に係る発明は、第 21の態様に係る発明において、前記形式変換部は、前記劣化映像のデータ形式、サイズ、アスペクト比の少なくとも 1つを変換して前記基準映像と合わせることを要旨とする。 [0040] 第 23の態様に係る発明は、第 21の態様に係る発明において、前記表示タイミング整合部は、前記基準映像フレームと前記劣化映像フレームのフレームレートが異なる場合には、前記劣化映像フレームを補間または削除することにより、前記基準映像フレームと前記劣化映像フレームのフレームレートを合わせることを要旨とする。

[0041] 第 24の態様に係る発明は、第 21の態様に係る発明において、前記表示タイミング整合部は、前記基準映像フレームの表示タイミングに対して前記劣化映像フレームの表示タイミングを合わせることを要旨とする。

[0042] 第 25の態様に係る発明は、第 21の態様に係る発明において、前記表示タイミング整合部は、前記基準映像フレームの表示タイミングが一定でない場合には、前記基準映像フレーム及び前記劣化映像フレーム双方の表示タイミングを予め定めた時間間隔とすることを要旨とする。

[0043] 第 26の態様に係る発明は、第 21の態様に係る発明において、前記同期/位置整合部は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームにつレ、て、フレーム全体またはその特定領域のそれぞれの特徴量の推移を比較し、前記特徴量のずれが最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係を決定するマクロ同期処理を行うことを要旨とする。

[0044] 第 27の態様に係る発明は、第 26の態様に係る発明において、前記同期/位置整合部は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係をずらしつつ、フレーム全体またはその特定領域のそれぞれの特徴量を比較し、前記特徴量の差異が最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係を決定するミクロ同期/位置整合処理を行うことを要旨とする。

[0045] 第 28の態様に係る発明は、第 27の態様に係る発明において、前記同期/位置整合部は、初期的に、前記マクロ同期処理及び前記ミクロ同期/位置整合処理を行うことを要旨とする。

[0046] 第 29の態様に係る発明は、第 28の態様に係る発明において、前記同期/位置整合部は、前記劣化映像フレームがフリーズ状態に陥った場合、フレーム数を計数することにより前記フリーズ状態の継続時間を計ることを要旨とする。

[0047] 第 30の態様に係る発明は、第 29の態様に係る発明において、前記同期/位置整合部は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体のそれぞれの特徴量を導出し、前記基準映像フレームの特徴量が時間的に変化しているのに対して前記劣化映像フレームの特徴量が時間的に変化していないときに、前記劣化映像フレームがフリーズ状態に陥ったと判定することを要旨とする。

[0048] 第 31の態様に係る発明は、第 28の態様に係る発明において、前記同期/位置整合部は、前記劣化映像フレームが、フリーズ状態に陥った場合、または前記基準映像フレームと同期が取れなくなった場合に、再度、前記マクロ同期処理を行うことを要旨とする。

[0049] 第 32の態様に係る発明は、第 28の態様に係る発明において、前記同期/位置整合部は、前記劣化映像フレームがフレームずれ状態に陥った場合、フレームのずれ数を出力することを要旨とする。

[0050] 第 33の態様に係る発明は、第 21の態様に係る発明において、前記同期/位置整合部から前記基準映像信号及び前記劣化映像信号を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部に戻す輝度/色補正部を更に備えることを要旨とする。

[0051] また、上記目的を達成するため、第 34の態様に係る発明は、劣化していない映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させ、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる映像整合方法を要旨とする。 [0052] また、上記目的を達成するため、第 35の態様に係る発明は、コンピュータを、劣化してレ、なレ、映像信号である基準映像信号とその基準映像信号が劣化した劣化映像信号とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換手段と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合手段と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期 Z位置整合手段として機能させるための映像整合プログラムを要旨とする。

[0053] また、上記目的を達成するため、第 36の態様に係る発明は、劣化していない映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部 (41)と、前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部（42)と、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部 (43)と、前記同期/位置整合部 (43)により整合がとられた前記基準映像信号 (RI)及びそ前記劣化映像信号 (PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部（ 11)と、を備える映像品質評価装置を要旨とする。

図面の簡単な説明

[0054] [図 1]図 1は、本発明の映像品質評価装置に係る第 1の実施形態の構成を示すブロック図である。園 2]図 2は、図 1の補正情報データベースに格納されている補正情報を示す図である。

[図 3]図 3は、一次推定主観品質 SQに対する補正式による補正後の最終推定主観品質 Qと、実測した主観品質と、の関係を示す図である。

[図 4]図 4は、本発明の映像品質評価装置に係る第 2の実施形態の構成を示すブロック図である。

園 5]図 5は、図 4の空間特徴量算出部で使用される水平垂直エッジ量を計算するための図である。

[図 6]図 6は、本発明の映像品質評価装置に係る第 3の実施形態の構成を示すブロック図である。

[図 7]図 7は、図 6の重み付け係数データベースに格納されている複数の条件及び条件に対応する重み付け係数を示す図である。

園 8]図 8は、本発明の実施形態の検証に使用した標準映像データを、学習データと検証データに分類して列挙した図である。

園 9]図 9は、図 8の学習データ及び検証データにより計算した SI (空間情報)値と TI ( 時間情報)値の分布図である。

[図 10]図 10は、従来のピーク SN比（PSNR)による学習データの推定結果を示す図である。

[図 11]図 11は、従来のエッジ電力量 (Ave— EE)による学習データの推定結果を示す図である。

[図 12]図 12は、本発明の第 2及び第 3の実施形態の映像品質評価装置による学習データの推定結果を示す図である。

[図 13]図 13は、本発明の第 2及び第 3の実施形態の映像品質評価装置による検証データの推定結果を示す図である。

[図 14]図 14は、従来のエッジ電力量 (Ave_EE)のみによる学習データの推定結果を示す図である。

[図 15]図 15は、水平垂直エッジ量の最小値 (Min_HV)と主観評価値の関係を示す図である。 [図 16]図 16は、ブロック平均動き電力量 (Ave— MEB)と主観評価値の関係を示す図である。

[図 17]図 17は、本発明の映像整合装置に係る実施形態の構成を示すブロック図である。

[図 18]図 18は、本発明の映像整合装置の実施形態の動作手順を示すフローチヤ一トである。

[図 19]図 19は、表示タイミング整合部における処理を説明するための図である。

[図 20]図 20は、同期/位置整合部におけるマクロ時刻同期処理を説明するための図である。

[図 21]図 21は、同期/位置整合部におけるミクロ同期 Z位置導出処理を説明するための図である。

発明を実施するための最良の形態

[0055] 以下、図面を参照して、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラム、並びに映像整合装置、映像整合方法及び映像整合プロダラムに係る実施の形態を詳細に説明する。なお、第 1乃至第 3の実施形態は映像品質評価装置、映像品質評価方法及び映像品質評価プログラムの発明に係る実施形態であり、第 4の実施形態は映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態である。

[0056] ぐ第 1の実施形態 >

本発明の映像品質評価装置に係る第 1の実施形態の各装置部分を図 1を参照して説明する。図 1は、本発明の映像品質評価装置に係る第 1の実施形態の構成を示すブロック図である。

[0057] 第 1の実施形態の映像品質評価装置は、主観品質推定部 11、特徴量算出部 12、補正情報データベース 13、補正計算部 14、及び補正部 15を少なくとも備えている。

[0058] 主観品質推定部 11は、基準映像信号 RIと劣化映像信号 PIを入力する。基準映像信号 RIは劣化する以前の映像信号であり、一方、劣化映像信号 PIは、基準映像信号 RIが、例えば符号化されたり、ネットワークを経由したりして劣化した映像信号である。 [0059] 次に、主観品質推定部 11は、基準映像信号 RI及び劣化映像信号 PIに関し、物理的特徴量であるそれぞれの映像信号特徴量の差分を計算する。映像信号特徴量には、例えば、映像信号に含まれている映像のあるフレームでの映像状態を示す空間情報（SI)、及び、映像信号に含まれている映像のあるフレーム間での映像変化を示す時間情報 (TI)がある。これら空間情報 SI及び時間情報 TIとしては、例えば、 iTU-R Recommendation P.910の subjective Video Quality Assessment Methods for Multimedia Applications の Appendix Aに夫見疋 'されてレヽる、 Spatial Information及び Temporal Inrormat腹力⁵¹ある。

[0060] そして、主観品質推定部 11は、計算された映像信号特徴量の差分から劣化映像信号 PIの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。すなわち、主観品質推定部 11は、基準映像信号 RIと劣化映像信号 PIから劣化映像信号 PIの劣化を定量化し、その定量化された劣化に基づいて主観品質を推定する。推定された主観品質は、主観品質推定部 11から一次推定主観品質 SQとして出力される。一次推定主観品質 SQは、例えば、エッジ電力量 (E)と動き電力量 (M)によつて定まるとすれば、一般的に、次の式（1)で示される関数で表される。

[0061] SQ = F (M, E) · · · (1)

この関数 Fは、予め主観評価実験により求めておくものである。また、エッジ電力量 (E)と動き電力量 (M)は、米国 ANSIが規定する映像品質客観評価尺度 (ANSI T1.80丄.03—1996, Digital Transport of une-Way Video Signals Parameters for Objective Performance Assessment")に夫兄疋 'されている。

[0062] 特徴量算出部 12は、基準映像信号 RIを入力して、この基準映像信号 RIに基づいて映像信号特徴量 FIを算出する。この映像信号特徴量 FIとしても上述したように例えば空間情報 SIや時間情報 TIがある。特徴量算出部 12は、例えば、空間情報 SI及び時間情報 TIの少なくともいずれ力 ^特定してその特徴量を定量的に算出する。

[0063] 補正情報データベース 13は、映像信号特徴量に対応して補正情報を格納している。映像信号特徴量は、上述のように例えば空間情報 SIや時間情報 TIである。補正情報は、主観品質推定部 11の出力である一次推定主観品質 SQを補正するための補正式や補正係数である。後に、これら補正情報は図 2を参照して詳細に説明する。これらの補正式や補正係数は、予め実験によって決定されて、補正情報データべ一ス 13に格納される。映像信号特徴量 FIを有する映像に劣化が加わった場合、人間がその映像を見て主観的にどの程度の劣化として感じられるかという特性を予め主観評価実験によって統一的に算出し、この特性に基づいて映像信号特徴量 FIに対応する補正式及び補正係数を算出する。

[0064] すなわち、基準映像信号 RIの物理的特徴量とその特徴を持つ映像に劣化が加わつた時の主観評価特性とを予め主観評価実験によって統一的に算出し、この算出された物理的特徴量と主観評価特性との対応関係により、基準映像信号 RIの映像信号特徴量から主観品質推定部 11で導出される一次推定主観品質 SQを補正し、精度良く統一的な客観評価値への変換を可能にする。

[0065] 補正計算部 14は、特徴量算出部 12から映像信号特徴量 FIを入力して、この映像信号特徴量 FIに対応する補正式及び補正係数を補正情報データベース 13から抽出する。すなわち、補正計算部 14は、映像信号特徴量 FIに対応する補正式及び補正係数を補正情報データベース 13で検索し、該当する補正式及び補正係数を補正情報データベース 13から抽出する。そして、補正計算部 14は、これら補正式及び補正係数を補正情報 CIとして出力する。

[0066] 補正部 15は、主観品質推定部 11から一次推定主観品質 SQを入力し、補正計算部 14から補正情報 CIを入力する。そして、補正部 15は、一次推定主観品質 SQを補正情報 CIに含まれている補正係数を伴う補正式に代入して、補正された一次推定主観品質 SQを最終推定主観品質 Qとして出力する。最終推定主観品質 Qは、劣化映像信号 PIの主観品質を定量的に示した一次推定主観品質 SQを補正したものである

[0067] 次に、補正情報データベース 13が格納している、映像信号特徴量に対応する補正情報を図 2を参照して説明する。図 2は、図 1の補正情報データベース 13に格納されてレ、る補正情報を示す図である。

[0068] 図 2に示すように、補正情報データベース 13では、映像信号特徴量のそれぞれの値に対応して、複数の補正係数がデータベース化されている。図 2によると、例えば、基準映像信号 RIの映像信号特徴量 (空間情報 SI及び時間情報 TI)が特徴量算出部 1 2によって（SI, TI) = ( 75 , 30)と算出された場合、この映像信号特徴量に対応する補正係数は（ひ， β ) = ( α 2 , 2)である。実際には、補正計算部 14が特徴量算出部 1 2から映像信号特徴量 FIを入力し、この映像信号特徴量 FIに対応する補正係数を補正情報データベース 1 3のデータベースから補正式と共に抽出する。さらに、映像信号特徴量に応じて補正式も変化する場合は、補正情報データベース 13には、補正係数だけでなぐ映像信号特徴量に対応した補正式もデータベース化されている。

[0069] 最後に、補正部 1 5がー次推定主観品質 SQを補正して出力した最終推定主観品質 Qについて図 3を参照して説明する。図 3は、一次推定主観品質 SQに対する補正式による補正後の最終推定主観品質 Qと、実測した主観品質と、の関係を示す図である。

[0070] 第 1の実施形態では、補正式は、次の式（2)としている。

[0071] 最終推定主観品質 Q = α X—次推定主観品質 SQ + - - - (2)

ここで、 α及びは補正係数である。図 3は、映像品質評価装置に入力された 3種類の入力映像信号に対して計算された 3つの補正式によるグラフを示している。横軸は主観品質推定部 1 1の出力である一次推定主観品質 SQを示し、縦軸は一次推定主観品質 SQに対して人間が入力映像信号による映像を実際に見てその品質を評価する主観評価品質試験によって算出した主観品質を示す。図 3中の丸印、四角印、三角印でそれぞれ示したものは、入力映像信号ごとに、一次推定主観品質 SQに対する主観品質の評点を示している。一方、 3本の線分は、それぞれ 3種類の入力映像信号に対応する本実施形態による補正式であり、本実施形態により一次推定主観品質 SQは、このように映像ごとに対応した補正式で補正される。

[0072] このように、第 1の実施形態によれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を推定できるようになる。

[0073] 尚、上述の実施形態においては、基準映像信号 RIの映像信号特徴量を算出する構成を特徴量算出部 12として論理的に別体として設けたが、力かる特徴量算出部 1

2を特別に設けることなぐ主観品質推定部 11で導かれた基準映像信号 RIの映像信号特徴量をそのまま利用してもよい。

[0074] また、補正計算部 14と補正部 15とは物理的のみならず論理的にも一体であってもよい。即ち、補正部 15が直接、基準映像信号 RIの映像信号特徴量を入力すると共に、補正部 15がその映像信号特徴量に対応した補正情報を補正情報データベースから入力するようにしてもよい。

[0075] ぐ第 2の実施形態 >

本発明の映像品質評価装置に係る第 2の実施形態の各装置部分を図 4を参照して説明する。図 4は、本発明の映像品質評価装置に係る第 2の実施形態の構成を示すブロック図である。

[0076] 第 2の実施形態の映像品質評価装置は、図 4に示すように、ァライメント情報生成部

21、空間特徴量算出部 22、時間特徴量算出部 23、及び、主観品質推定部 24を備えている。

[0077] ァライメント情報生成部 21は、基準映像信号 RIと劣化映像信号 PIを入力して、基準映像信号 RIから基準映像フレームを、劣化映像信号 PIから劣化映像フレームをそれぞれ受け取り、基準映像フレームと劣化映像フレームの時間的及び空間的なフレームのずれを検出し、これらの時間的及び空間的なフレームのずれに関するァラィメント情報を生成する。

[0078] 基準映像フレームと劣化映像フレームが時間的にずれているとは、ァライメント情報生成部 21がある時刻に受け取った基準映像フレームと劣化映像フレームの映像が時間的にずれていることである。例えば、ァライメント情報生成部 21がある時刻に基準映像フレームではある映像 Aのフレームを受け取り、この時刻に劣化映像フレームではその映像 Aのフレームよりも 3フレーム前のフレームを受け取った場合には、ァラィメント情報生成部 21は基準映像フレームに対して劣化映像フレームが 3フレーム遅れていることを検出し、この情報をァライメント情報として生成する。

[0079] また、基準映像フレームと劣化映像フレームが空間的にずれているとは、ァライメント情報生成部 21がある時刻に受け取った映像の空間的位置がずれていることである。例えば、基準映像フレームと劣化映像フレームのフレームが時間的にずれていない場合に、ァライメント情報生成部 21がある時刻に基準映像フレームでは映像の中心にボールの中心が映っているフレームを受け取り、この時刻に劣化映像フレームでは映像の中心力、ら右に 1画素、上に 2画素ずれている位置にボールの中心が映つているフレームを受け取った場合には、ァライメント情報生成部 21は基準映像フレームに対して劣化映像フレームが右に 1画素、上に 2画素ずれていることを検出し、この情報をァライメント情報として生成する。

[0080] 空間特徴量算出部 22は、基準映像信号 RIと劣化映像信号 PIとァライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号 RIと劣化映像信号 PIに基づいて空間特徴量を計算する。この第 2の実施形態では、この空間特徴量として、以下に詳述するエッジ電力量 (Ave_EE)と水平垂直エッジ量の最小値 (Min_HV)の指標を使用する。

[0081] エッジ電力量（Ave_EE)：

この指標は、基準映像信号 RIと劣化映像信号 PIに基づレ、てフレーム内で輝度値が急激に変化する境界 (エッジと呼ばれる）に発生する劣化 (例えば、ぼやけ具合)を定量化するものである。第 2の実施形態では、一例として、 Sobelフィルタを使用して画素の輝度値からエッジを強調させることによって、エッジ上の劣化を定量化する。また、ここで定量化するエッジ電力量 (Ave— EE)は、 ANSI Tl.801.03-1996, "Digital Ί ransport of One-Way Video Signals Parameters for Objective Performance Assessment"に規定されてレ、る。

[0082] エッジ電力量 (Ave_EE)は、式（3)で定量化される。

[数 1]

[0083] 二で、 SI (m) ( z =in or out)は、式（4)で与えられる。

[数 2] S (m)

一 I ― /CT2 ( ； _m\ - CT2 ( _m

N _fi J , v_ ^J 'J , ノ

…（4)

II = in or out

[0084] また、ここで、 SI (ijm)、 SI Gjm)は、それぞれ第 mフレームの位置（i j)における Sobelフィルタを表しており、それぞれ（5)式及び（6)式で与えられる。

[0085] SI (i,j,m)={-Y (i- 1 J- l,m)_2Y (ij_l m)- Y (i+lj- l,m)

+Y (i-l,j+l,m)+2Y (i,j+l,m)+Y (i+lj+l m)}

•••(5)

SI (ijm)={-Y (i-l,j-l,m)+Y (i+lj— l,m)_2Y (ト l,jm)

v_M μ

+2Y (i+ljm)- Y (i-l,j+l,m)+Y (i+lj+l m)}

•••(6)

ここで、 Υ (ijm)は、基準映像フレームの第 mフレームの位置（i, j)における画素の

in

輝度値（0力 255まで）を表し、 Y (i,jm)は、劣化映像フレームの第 mフレームの位

out

置（i, j)における画素の輝度値（0から 255まで）を表している。

[0086] 尚、このエッジ電力量 (Ave— EE)のみで推定した場合の結果を図とともに後述する力客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化する映像が存在し、このエッジ電力量 (Ave— EE)のみではこれらの映像に発生する劣化を捉えきれない。

[0087] 水平垂直エッジ量の最小値（Min— HV)

この指標は、基準映像フレームと比較して、この基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界 (エッジ）が水平垂直方向に発生している度合いを定量ィ匕するものである。この第 2の実施形態では、一例として、フレームの水平 Z垂直方向の場所に発生した水平垂直エッジ量とそれ以外の方向の場所に発生するエッジ量の比から歪量を捕らえる特徴量 (Min_HV)によって、水平垂直方向にエッジが発生している度合いを定量化する。この度合いは、図 5に示したように定数 r0 = 20と Δ θ = 0. 05236によって決まる水平/垂直方向領域に入るドット部分のエッジ量 (HV)とそれ以外の領域に入るエッジ量 (HVバー）との比を入力映像と劣化映像によって求めるものである。力かる指標を採用した理由は、映像情報はブロック単位で符号化されることが多ぐ力、かる符号化におけるいわゆるブロック歪みを的確に反映させるためである。

[0088] 水平垂直エッジ量の最小値（Min_HV)は、式（7)で定量化される。

[数 3]

HV _in (m) - HVRput (m)

Mm _ HV = mm

m 賺 in (m)

[0089] ここで、 HVR (m) ( μ =in or out)は、式（8)で与えられる。

[数 4]

2 = in or out

[0090] また、ここで、式（9)に示す定義がある。

[数 5]

}i = or out

[0091] ただし、条件として、式（10)及び式（1 1)を満たしている。

[0092] SI (i,j,m) ≥ r > 0 · · · (10)

r— min

k /2- Δ Θ く SI (i，j，m) く k /2+ Δ Θ (k=0，l，2，3)

Π θ _ιι Π

•••(11)

ここで、 SI (i,j,m) = tan— 1 (i,j,m)/SI (i，j,m)]である。

[0093] また、式（9)の Pは、図 5の影がついている範囲の画素数である _c

[0094] 一方、式（12)に示す定義がある。

[数 6] HV (_rmin , Δ 9 , m) = _T ^ SI _r_ ^ (i , j , m) · ■ - ( 1 2) = m or out

[0095] ただし、条件として、式（13)及び式（14)を満たしている。

[0096] SI (i,j，m) ≥ r > 0 · · · (13)

r— min

k /2+ Δ Θ く SI (i，j，m) く (k+1) /2- Δ Θ (k=0, 1,2,3)

Π θ— μ Π

•••(14)

また、式（12)の Pは、式（13)及び式（14)を満たす範囲の画素数である。

[0097] 水平垂直エッジ量の最小値（Min_HV)は、エッジ電力量 (Ave— EE)では捉えきれなかった劣化、具体的にはブロック歪により新たに生じたエッジを捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、 ANSIに規定された指標をベースとしている力式（7)に示すように、最小値を用いることで新たなエッジの発生分のみを感度良く捉えるよう独自に改良したものである。

[0098] ところで、時間特徴量算出部 23は、基準映像信号 RIと劣化映像信号 PIとァライメント情報を入力して、基準映像フレームと劣化映像フレームとの空間的なずれ及び時間的なずれをなくし、その後、基準映像信号 RIと劣化映像信号 PIに基づいて時間特徴量を計算する。この第 2の実施形態ではこの時間特徴量として、以下に詳述する TI (時間情報)値の差分に基づく指標であるブロック平均動き電力量 (Ave_MEB )を使用する。 TI値は映像フレーム間の画素の輝度値の差分であり、 ITU-R

Recommendation P.910に規定されているものである。

[0099] このブロック平均動き電力量（Ave— MEB)：

この指標は、フレーム内の幾つかの画素の集まりであるブロックごとに基準映像フレームと劣化映像フレームの TI値の差分を導出し、この差分を基準映像フレームのブロックごとの TI値によって正規化を行ったものである。

[0100] すなわち、ブロック平均動き電力量 (Ave— MEB)は、式（15)で表される。

[数 7]

• · * (15)

[0101] ここで、 TI (k，l,m)は、式（16)で表される。

b

[数 8]

ΤΙ^^Ο^Ι,π)-^∑(Y_M(8k + i,81+j,m)-Y_/ (8k + i_!81+j_Jm-l))²

. - .(16)

[0102] ブロック平均動き電力量 (Ave— MEB)は、エッジ電力量 (Ave— EE)では捉えきれなかった劣化、具体的には領域毎の動きによる劣化の発生を捉える特徴量である。図を参照して後述するが、この指標によりその劣化は敏感に捉えられる。この指標は、領域毎の動きを捉えるためブロック毎の TI値を導出し、さらに基準映像の値で正規化することにより感度良くさせた独自の尺度である。

[0103] 主観品質推定部 24は、空間特徴量算出部 22で計算された空間特徴量と時間特徴量算出部 23で計算された時間特徴量とを入力して、基準映像信号 RIに対する劣化映像信号 PIの主観品質である主観評価値を推定する。この主観評価値 (Y)は、式 (17)で算出される。

[0104] Υ=αΧ + βΧ + y X + δ · · · (17)

1 2 3

ここで、 X =Ave EE、 X =Min HV、 X =Ave_MEBである。

1 ― 2 ― 3 ―

[0105] この主観評価値が最終的に得られる値である。

[0106] ここで、ひ， β , y , δは主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を決定するために予め求めた重み付け係数である。また、ひ， β , y , δは、例えば、劣化映像信号 ΡΙの信号形式、劣化映像信号 ΡΙにより送られてくる劣化映像の情報量 (サイズ)、及び、劣化映像信号の符号化方式に基づいて決定される。したがつて、劣化映像信号 ΡΙの信号形式、劣化映像信号 ΡΙにより送られてくる劣化映像の情報量 (サイズ)、及び、劣化映像信号の符号化方式から予め _α， β , y , δを計算しておくことができる。

[0107] 以上に説明した第 2の実施形態の映像品質評価装置によれば、任意の映像に対して統一的に主観品質を推定することができる。この第 2の実施形態の映像品質評価装置が従来の映像品質評価装置に対して、どの程度精度が上がるかについては後に図面を参照して詳細に説明する。

[0108] 尚、第 2の実施形態で説明した図 4に示した映像品質評価装置は、図 1に示した映像品質評価装置の主観品質推定部 11に組み込まれ、図 1に示した映像品質評価装置が使用されることも可能である。すなわち、図 4に示した映像品質評価装置が基準映像信号 RI及び劣化映像信号 PIを入力して、主観品質推定部 24が出力した値を一次推定主観品質 SQとして補正部 15に出力する。補正部 15は、補正計算部 14から補正情報 C1を受け取り、一次推定主観品質 SQを入力して最終推定主観品質 Qを計算する。

[0109] <第 3の実施形態 >

本発明の映像品質評価装置に係る第 3の実施形態の各装置部分を図 6を参照して説明する。図 6は、本発明の映像品質評価装置に係る第 3の実施形態の構成を示すブロック図である。

[0110] 第 3の実施形態の映像品質評価装置は、第 2の実施形態の映像品質評価装置と比較して、装置に入力され基準映像信号 RIと劣化映像信号 PIとがそれぞれ互いに異なるファイル形式から入力される場合であり、さらに、劣化映像信号 PIの信号形式、劣化映像信号 PIにより送られてくる劣化映像の情報量 (サイズ）、及び、劣化映像信号の符号ィ匕方式が未知の場合であることが異なる。したがって、第 2の実施形態の映像品質評価装置と同様な部分は同一符号を付して説明を省略する。

[0111] 第 3の実施形態の映像品質評価装置は、図 6に示すように、フォーマット変換部 35 、ァライメント情報生成部 21、空間特徴量算出部 22、時間特徴量算出部 23、主観品質推定部 34、及び、重み付け係数データベース 36を備えている。

[0112] フォーマット変換部 35は、基準映像ファイルと劣化映像ファイルを入力して、劣化映像ファイルのファイル形式が基準映像ファイルのファイル形式と異なる場合に、劣化映像ファイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。より詳細には、例えば、劣化映像ファイルの信号形式、色分布、サイズ、ァスぺクト比、及び、符号化方式が基準映像ファイルのものと異なる場合に、劣化映像フアイルのファイル形式を基準映像ファイルのファイル形式と同様な形式に変換する。そして、フォーマット変換部 35は基準映像ファイルと同じファイル形式に変換された劣化映像ファイルから劣化映像信号 PIを出力する。フォーマット変換部 35からの劣化映像信号 PIはァライメント情報生成部 21、空間特徴量算出部 22、及び、時間特徴量算出部 23に出力される。

[0113] より具体的には、フォーマット変換部 35は、例えば、基準映像が VGAサイズの YU V形式基準映像を想定し、基準映像と劣化映像のカラーフォーマットが異なる場合、劣化映像が RGB形式であればこの映像を Rec. IUT-R BT. 601 "STUDIO

ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND WIDE-SCREEN 16:9 ASPECT RATIOS"などに載っている変換式を用いて変換する。また、フォーマット変換部 35が基準映像と劣化映像のサイズやアスペクト比をこれら力 S同一となるように変換する場合に、単純に整数倍として計算できる場合があるが、それで済まない場合は任意のサイズに変換する必要がある。この場合、公知の方法により任意のサイズへの変換を行う（例えば、 Muramatsu S. and Kiya Η· : "Scale Factor of Resolution Conversion Based on Orthogonal Transforms," IEICt!, lYans. Fundamentals. , E76-A, 7， pp.1150-1153 (July 1993)や、松村正吾、貴家仁志、 "変化符号化された画像に対する任意の有理数倍率の解像度変換法" 電子情報通信学会論文誌 A， Vol.77- A， No.3， pp.369-378, March 1994·、参照）。また、映像信号が圧縮されている場合、予め非圧縮形式に変換する。

[0114] さらに、映像符号化や伝送システムの特性や国による規格の違いにより劣化映像の色や明るさの分布が異なることにより、客観評価値にバイアス力 Sかかることを避けるため、基準映像と劣化映像の輝度値などの分布を正規化する。つまり、基準映像と劣化映像の両者に対して、輝度、色差信号、又は RGB値毎に、特定フレームの画素値の分布からその最大値、最小値、平均値、分散のような統計量を導出し、その分布が同じになるよう、例えば平均値のずれた分だけ劣化映像の全画素値をシフトさせることにより、又は基準映像と劣化映像の最小値と最大値の範囲をそろえるため式（18 )に示す変換式で変換することにより、基準映像と劣化映像の分布を正規化する。

[数 9] τ_τ—(基準映像の最大画素値一最小画素値）

—(劣化映像の最大画素値一最小画素値）（ ⁾ 但し Υ:変換後の劣化映像の画素値

X：変換前の劣化映像の画素値

[0115] フォーマット変換部 35は、変換された劣化映像信号 ΡΙのファイル形式、すなわち基準映像信号 RIと同様なファイル形式に関連する情報を主観品質推定部 34に出力する。このファイル形式に関連する情報は、例えば、劣化映像ファイルの信号形式、色分布、サイズ、アスペクト比、及び、符号ィ匕方式であるが、この第 3の実施形態では、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を主観品質推定部 34に出力する。

[0116] 重み付け係数データベース 36は、劣化映像ファイルの信号形式、サイズ、及び、符号化方式を一組の条件として、この条件を複数格納しており、各条件に対応して重み付け係数ひ， β , y , δが予め設定されている。これらの重み付け係数は、主観評価実験によって求められた劣化映像に対する主観評価値との関係から、時間特徴量及び空間特徴量に対して主観評価値との対応関係を予め求めてあるものである。図 7は、重み付け係数データベース 36が格納している複数の条件及びこれら条件に対応する重み付け係数を示してレヽる。

[0117] 主観品質推定部 34は、フォーマット変換部 35から入力する劣化映像ファイルの信号形式、サイズ、及び、符号化方式に応じて、重み付け係数 a , β , γ , δを重み付け係数データベース 36から取得することが、第 2の実施形態の主観品質推定部 24と異なる。他は主観品質推定部 24と同様である。

[0118] 尚、図 6では、フォーマット変換部 35とァライメント情報生成部 21が別個に配置されているが、フォーマット変換部 35とァライメント情報生成部 21が 1つの構成部として図 6の映像品質評価装置に組み込まれていてもよい。

[0119] 以上に説明した第 3の本実施形態によれば、劣化映像ファイルのファイル形式が基準映像ファイルと異なった場合でも劣化映像の主観品質を推定することができる。さらに、劣化映像ファイルの信号形式、サイズ、及び、符号化方式等に関し、多くのパターンに対応することができるため、様々な劣化映像ファイルの主観品質を推定することが可能となる。

[0120] 以下に、第 2及び 3の実施形態の映像品質評価装置が推定した映像品質評価値の推定精度についての実際の結果を、従来の映像品質評価装置と比較しつつ、図 8 力図 16を参照して説明する。

[0121] 最初に、推定精度の検証及び重み付け係数データベース 36に格納する重み付け係数を導出するために用いる主観評価データについて説明する。主観評価データは図 8に示す ITU— Rで選定されている標準映像（図 8の映像シーケンス名）（ITU-R BT. 802—1, Test Pictures and sequences for suojective Assessments or Digital し odecs Conveying Signals Produced According to Recommendation ITU-RBT. 601, " 1994、及び、 ITU-R BT. 1201-2, "Test materials to be used in subjective assessment," 2001を参照）の 36種類を基準映像とし、図 8に示したように標準映像を映像品質評価値の推定精度を検証するための検証データと予め係数導出に用いるデータである学習データに分ける。

[0122] 推定精度を検証するために用いる主観評価データは、基準映像の特性の偏りによる影響を少なくするように選択される。すなわち、 ITU-TP.910 (ITU-T P. 910, " subjective viaeo quality assessment metnods for multimedia applications Aug. 1996.を参考）で示されている空間情報（SI)、時間情報 (TI)の分布を考慮し、図 9の領域 Aから領域 Dまで同数の映像を選定する。これにより、様々な SI値及び TI値を有する映像を基準映像とすることができる。また、これらの基準映像に対し MPEG4 をベースとした符号化劣化を用いて 256kbps— 8Mbps範囲内で 4段階に割り振り劣化映像とした。

[0123] 主観品質評価法は、 MPEGのベリフィケーシヨンなどコーデックの性能評価試験でよく使われている DSCQS法（ITU- R BT. 500-10, "Methodology for the subjective assessment or the quality of television pictures March 2000. ¾r参 ¾ jを用レヽ、被'！^ 者数は 18歳から 40歳までの一般人の男女 24名である。 [0124] 映像品質評価装置の目標推定精度は、主観評価における評点のばらつきの程度と同等とすることが適切である。主観評価値のばらつきの程度を片側 95%信頼区間として導出したところ、全データにおいて 7. 24であった。そこで、映像品質評価装置の目標推定精度として平均二乗誤差 (RMSE)がこの値を超えないことが目標となる

[0125] 従来の映像品質評価装置では、一般的に使用される、 PSNR (Peak Signal Noise Ratio :ピーク SN比）と、 ANSIのパラメータとして知られているエッジ電力量 (Ave_E E)とを用いたものを使用して、学習データに対して推定した結果をそれぞれ図 10及び図 11に示す。図 10が PSNRを使用した場合で、図 11がエッジ電力量 (Ave_EE )を使用した場合の推定結果である。図 10及び図 11によれば、 PSNRでの RMSE は 9. 57で、エッジ電力量（Ave_EE)での RMSEは 7. 47であり、 PSNRに比べてエッジ電力量 (Ave_EE)のほうが良好な特性を示すが、 RMSEは目標値を超えており推定精度は不十分である。

[0126] 次に、エッジ電力量（Ave— EE)、水平垂直エッジ量の最小値（Min— HV)、 Ave —MEB全てを用いた第 2及び第 3の実施形態の映像品質評価装置を使用して、学習データ、検証データに対する推定結果を図 12及び図 13に示す。図 12及び図 13 によれば、学習データでの RMSEは 6. 43であり、検証データでの RMSEは 6. 49 であるので、学習データだけではなぐ非学習データである検証データに対しても目標とする推定精度を十分クリアしている。したがって、第 2及び第 3の実施形態の映像品質評価装置は、人間が実際の映像を見てその品質を評価する主観評価品質試験に代えて使用することができる推定精度を持ち、実用的に使えるレベルであることがわ力る。

[0127] また、図 14は、エッジ電力量 (Ave_EE)のみによる学習データの一部の推定結果を示す図である。図 14に示すように、入力映像 [3]、 [6コ、 [7コ、 [9]において評点の傾きが大きぐ客観評価値はほとんど変わらないにも関わらず主観評価値は大きく変化しており、このエッジ電力量 (Ave_EE)のみではこれらの映像に発生する劣化を捉えきれてレ、なレ、ことが分かる。

[0128] また、図 15は、水平垂直エッジ量の最小値（Min HV)と主観評価値の関係を示す図である。図 15に示すように、水平垂直エッジ量の最小値（Min_HV)によれば、入力映像 [3]、 [7]において、敏感にその劣化を捉えていることが分かる。

[0129] また、図 16は、ブロック平均動き電力量 (Ave— MEB)と主観評価値の関係を示す図である。図 16に示すように、ブロック平均動き電力量 (Ave_MEB)によれば、入力映像 [6]、 [9]において、敏感にその劣化を捉えていることが分かる。

[0130] 以上のように、本発明の第 2及び第 3実施形態によれば、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメータに加え、精度不足を補う 2つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。

[0131] <第 4の実施形態 >

次に、映像整合装置、映像整合方法及び映像整合プログラムの発明に係る実施形態について説明する。

[0132] 図 17は、本発明の映像整合装置に係る実施形態の構成を示すブロック図である。

[0133] 第 4の実施形態の映像整合装置は、フォーマット変換部 41、表示タイミング整合部

42、同期/位置整合部 43、輝度/色補正部 44、及び劣化量導出部 45を少なくとも備えている。

[0134] フォーマット変換部 41は、符号化やネットワークでの損失によって劣化した劣化映像信号に含まれるファイル形式を、基準映像信号に含まれる基準映像のファイル形式に合わせる。表示タイミング整合部 42は、基準映像信号と劣化映像信号の映像表示のタイミングを合わせる。同期/位置整合部 43は、劣化量導出部 45から劣化量や同期ずれ情報を取得しつつ、基準映像信号と劣化映像信号の時間空間方向の整合をとる。また、必要に応じて、輝度/色整合部 44は、基準映像信号と劣化映像信号の輝度や色分布の違いにっレ、て補正を行う。

[0135] 尚、この実施形態においては、基準映像信号及び劣化映像信号には、フレームレート情報又はフレーム表示時刻 Z取込時刻情報が含まれている。また、必要に応じて、信号フォーマット情報も含まれる。それにより、当該映像整合装置は、基準映像及び劣化映像について、対象フレームとその前後数フレーム分をメモリに蓄積しながら非リアルタイムに処理を進めるものとする。 [0136] 図 18は、本発明の映像整合装置の実施形態の動作手順を示すフローチャートである。

[0137] 先ず、フォーマット変換部 41は、基準映像と劣化映像の信号形式、サイズ、ァスぺタト比が異なる場合に、劣化映像の信号形式の変換を行う（ステップ Sl)。例えば、基準映像のデータ形式が非圧縮の YUV形式であり、劣化映像のデータ形式が非圧縮の RGB形式であれば、劣化映像を、 Rec.IUT-R BT.601 "STUDIO ENCODING PARAMETERS OF DIGITAL TELEVISION FOR STANDARD 4:3 AND

WIDE-SCREEN 16:9 ASPECT RATIOS"の変換式を用いて変換する。また、フォーマット変換部 41は、そもそも劣化映像が圧縮形式の場合は事前に非圧縮形式に変換する。さらに、フォーマット変換部 41は、サイズやアスペクト比が異なる場合は、それが同一となるように変換する。ここで、例えば単純に整数倍として計算できる場合があるが、それだけでは不十分の場合は任意のサイズに変換する必要があり、この場合、公知の方法により任意のサイズへの変換を行う（例えば、 Muramatsu S. and Kiya ri.: Scale r actor of Resolution uonversion Based on Orthogonal Transforms, IEICE Trans. Fundamentals., E76- A， 7， pp.1150- 1153 (July 1993)や、松村正吾、貴家仁志、 "変化符号化された画像に対する任意の有理数倍率の解像度変換法" 電子情報通信学会論文誌 A， Vol.77-A， No.3, pp.369-378, March 1994.、参照）。その後、フォーマット変換部 41は、基準映像信号と変換した劣化映像信号を表示タイミング整合部 42に渡す。

[0138] 次に、表示タイミング整合部 42は、フォーマット変換部 41でフォーマット変換された劣化映像信号を基準映像信号の表示タイミングに合わせるため、フレームの補完などの処理を行う（ステップ S 2)。

[0139] 具体的には、図 19の（a)に示すように劣化映像の表示間隔が基準映像の表示間隔より定常的に長い場合には、表示タイミング整合部 42は、図 19の（b)の下段に示すように、全フレームを補完することにより劣化映像に対して映像を補う。

[0140] また、図 19の（b)に示すように劣化映像の表示間隔が揺らぐ場合には、表示タイミング整合部 42は、図 19の（b)の下段に示すように、基準映像と同期しているタイミングで、劣化映像の直前の映像で劣化映像を補う。尚、このとき、劣化映像の直前の映像で補うのではなぐ劣化映像のうち時間的に近い映像で補いようにすることもできる

。即ち、例えば、図 19の（b)の場合、変換劣化映像の 2番目のフレームとしてフレーム Iが充てられているが、劣化映像のうち時間的に近い映像で補うとするならば、フレーム IIが充てられることとなる。

[0141] さらに、図 19の（c)に示すように基準映像信号自体が一定のフレームレートでない場合は、基準映像信号と劣化映像信号をそれらとは別の正確な時間間隔で表示されるように補完することとする。

[0142] その後、表示タイミング整合部 42は、基準映像信号と劣化映像信号を同期/位置整合部 43に渡す。

[0143] 同期/位置整合部 43は、（1)評価開始状態、（2)同期状態、（3)フリーズ状態の 3 つの状態を想定して、その動作を規定している。

[0144] (1)先ず、評価開始状態においては、同期/位置整合部 43は、時間方向のマクロな整合をとるために、一定時間の基準映像信号と劣化映像信号に対する 1フレーム全体やその特定領域の信号の輝度/色差/ RGB値の平均値のような特徴量の推移を比較して整合性の最も高くなるフレーム情報を取得し、それによりマクロな時間方向のずれを導出する (ステップ S3)。具体的には、図 20に示すように特徴量を時間方向にずらして各時系列値の差分が最小、または相互相関係数が最大になる条件から時間方向のずれ (フレーム差)を導出する。

[0145] また、同期/位置整合部 43は、ミクロな時間空間方向の整合をとるために、劣化量導出部 45より基準映像において整合がとれた映像の前後数フレームに対して図 21 に示すように劣化映像を上下左右に画素を動かし、差分値の最小である位置を最も整合がとれたところとして画素位置情報として受け取る（ステップ S4)。

[0146] さらに、同期 Z位置整合部 43は、輝度 Z色補正を行うために整合がとられた基準映像と劣化映像を輝度/色補正部 44に渡す。輝度 Z色補正部 44は、劣化映像の輝度及び色情報の平均値、最小値及び最大値並びにそれらの分布を、基準映像のそれらと整合をとる。例えば、基準映像と劣化映像の輝度分布が異なる場合には、輝度/色補正部 44は、基準映像と劣化映像の輝度分布のそれぞれの平均値と分散値に基づき、基準映像と劣化映像の輝度分布に対し線形正規化を施し、その線形正規化を行うための変換式に係る情報を補正情報として同期/位置整合部 43に渡す

。同期/位置整合部 43は、その補正情報を受け取り、受け取った補正情報に基づいて輝度/色補正処理を行う（ステップ S5)。

[0147] 以下、 (2)同期状態及び（3)フリーズ状態における処理として、同期/位置整合部

43は、図 18に示したステップ S6乃至ステップ S22の処理を行う。

[0148] 基準映像対象フレーム番号 iが基準映像最終フレーム数 Nより小さいか、または劣化映像対象フレーム番号 jが劣化映像最終フレーム数 Mより小さい間は、以下のステップ S7乃至ステップ S22の処理を行う（ステップ S6)。

[0149] そこで、先ず、 F1が "1"か否か、即ち基準映像と劣化映像とが非同期状態にあるか否力、を判断する (ステップ S7)。基準映像と劣化映像とが同期状態にある場合は (F1

= 0)、ステップ S8に移行し、基準映像と劣化映像とが非同期状態にある場合は (F1

= 1)、ステップ S 16に移行する。

[0150] 先ず、基準映像と劣化映像とが同期状態にある場合 (F1 = 0)について以下説明する。

[0151] 同期/位置整合部 43は、前述の評価開始状態で得られた、時間空間方向のずれや、輝度/色情報を補正した劣化映像と、基準映像とを劣化量導出部 45に渡す。劣化量導出部 45は、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象にミクロ同期処理を行い（図 21参照）、それにより得られる劣化量を導出すると共に、基準映像と劣化映像各々の 1つ前のフレームとの間のフレーム間の差分値を劣化量として導出する (ステップ S8)。同期/位置整合部 4 3は、劣化量導出部 45により導出されたそれらの劣化量を受け取り、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否力、を判断する（ステップ S9)。即ち、基準映像についての差分値がある値を示しているのに対し、劣化映像のそれが殆ど 0を示していれば、同期/位置整合部 43は、劣化映像がフリーズ状態であると判断する。

[0152] 劣化映像がフリーズ状態のときは、同期/位置整合部 43は、非同期状態 (Fl = l) と設定すると共に、フリーズ数を' T' (Count= l)として（ステップ S10)、ステップ S22 に移行する。 [0153] 一方、劣化映像がフリーズ状態ではないときは、次に、同期/位置整合部 43は、ステツプ S8において劣化量導出部 45のミクロ同期処理により得られた、劣化映像の対象フレームの劣化量力最小か否かを判断する（ステップ Sl l)。劣化映像の対象フレームの劣化量が最小であるときは、同期状態（F2 = 0)と設定し (ステップ S 12)、ステツプ S14に移行する。一方、劣化映像の対象フレームの劣化量が最小でないときは、フレームずれ状態（コマ飛び状態、コマ戻り状態等）であると判定してステップ S1 3に移行し、劣化量が最小であるフレーム番号を j値に設定し、コマ飛びなら F2 = lと設定し、それ以外（コマ戻り状態等）なら F2 = 2と設定し、そのときのコマ（フレーム）のずれ数を Count値に設定する。

[0154] ステップ S14においては、基準映像及び劣化映像を出力すると共に F2値及び Co tint値を出力する。その後、 Count値を 0にリセットし、ステップ S22に移行する。

[0155] 次に、ステップ S7において、基準映像と劣化映像とが非同期状態にある（Fl = l) と判断された場合について以下説明する。

[0156] 同期/位置整合部 43は、ステップ S16において、ステップ S8と同様、劣化映像の対象フレームについて、対応する基準映像のフレームとその前後数フレームを対象に行われたミクロ同期処理により得られた劣化量を劣化量導出部 45から受け取ると共に、基準映像と劣化映像各々の 1つ前のフレームとの間のフレーム間の差分値を劣化量として受け取る。同期/位置整合部 43は、ステップ S9と同様、それらの劣化量のうち、フレーム間差分値に基づいて、劣化映像がフリーズ状態か否かを判断する（ステップ S 17)。

[0157] 劣化映像がフリーズ状態のときは、同期/位置整合部 43は、フリーズ数（Count値 )をインクリメントして（ステップ S18)、ステップ S22に移行する。

[0158] 一方、劣化映像がフリーズ状態ではないときは、同期/位置整合部 43は、フリーズ状態が終了したと判断し、ステップ S3と同様のマクロ時刻同期処理を行レ、、（ステツプ S19)、フリーズ数（Count値）を出力する（ステップ S20)。その後、 F1値及び Cou nt値を 0にリセットし、ステップ S22に移行する。

[0159] ステップ S22においては、基準映像対象フレーム番号 i及び劣化映像対象フレーム番号 jをインクリメントし、その i値が基準映像最終フレーム数 Nに達し、かつ、その j値が劣化映像最終フレーム数 Mに達した場合には、処理を終了する。

[0160] 尚、常に一定時間、基準映像信号と劣化映像信号について、 1フレーム全体または特定領域の信号の輝度/色差/ RGB値の平均値のような特徴量を蓄積していることとし、何らかの事情で同期が取れなくなったとき、例えば対象となるフレームにおける特徴量が一定期間の平均値力ある閾値 (3 σのように標準偏差の定数倍)以上に開きが生じた場合には、（1)の評価初期状態に入ることとし、ステップ S3から処理が再開される。

[0161] 以上が本発明の実施形態における映像整合処理の詳細である。

[0162] 本実施形態によれば、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末において映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更に IPパケット到着間隔のゆらぎやパケット損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。

[0163] ところで、本発明の映像整合方法においては、同期/位置整合部 43から出力した基準映像と劣化映像とその付属情報 (時間方向の状態）を映像品質評価装置に入力することを想定している (例えば、第 1の実施形態の映像品質評価装置の主観品質推定部 11に入力される）が、劣化量導出部 45において劣化量ではなく客観評価値を導出することとし、同期/位置整合部 43よりその結果を出力すれば映像品質評価装置として利用するともできる。

[0164] 尚、以上に説明してきた各実施形態において、その処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、この汎用計算機システムを映像品質評価装置及び映像整合装置として機能させること力 Sできる。上述の各実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（CD— ROM、 CD-R, CD-RW, DVD-ROM, DVD±R、 DVD土 RW など）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示を CPUで実行させれば、コンピュータが上述した実施形態の映像品質評価装置及び映像整合装置として動作する。

[0165] 尚、本発明は上記実施形態そのままに限定されるものではなぐ実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよレ、。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

産業上の利用可能性

[0166] 本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、未知の基準映像であっても、任意の映像に対して精度良く統一的な主観品質を推定することができる。

[0167] 具体的には、本発明の映像品質評価装置、映像品質評価方法及び映像品質評価プログラムによれば、基準映像の物理的な特徴量からこの映像に対する人間の視覚的な特性を求め、基準映像の特徴量に対する補正情報としてデータベース化し、基準映像と劣化映像の物理的特徴量の差分から導出した推定主観品質に、その補正情報で重みを付けることにより、任意の映像に対して従来法である主観評価法と同等な精度で統一的に主観品質を導出できるようになる。

[0168] また、映像の物理的な特徴量として、エッジ領域に発生する劣化を捉えるパラメ一タに加え、精度不足を補う 2つの独自パラメータを追加することにより、特定の映像で推定精度を保てる技術を任意の映像に拡張できるようにした。

[0169] 本発明の映像整合装置、映像整合方法及び映像整合プログラムによれば、主観品質の推定において基準映像信号と劣化映像信号との物理的特徴量を比較するに際し、確実にそれらの空間的及び時間的な位置の整合をとることができる。

[0170] 具体的には、映像のフォーマット変換を行うと共に、マクロな整合処理とミクロな整合処理をベースに同期整合を常時行うことにより、パーソナルコンピュータ端末におレ、て映像を受信する際に受け取る映像のサイズやアスペクト比が異なる場合や、パケット損失のようにある程度まとまった情報が損失することにより基準映像と劣化映像の空間的な位置の対応が取れない場合や、更に IPパケット到着間隔のゆらぎやバケツト損失の発生により、時間軸での映像表示のタイミングのずれや映像表示タイミングのゆらぎやフリーズという従来存在しなかった現象が生じる場合であっても、基準映像と劣化映像の時間方向と空間方向の整合を適切にとることができる。

したがって、かかる映像整合装置及び方法を前提とした映像品質評価装置及び方法によれば、上述の各場合でも映像品質客観評価が可能となったり、その精度を向上させることができる。

Claims

請求の範囲

[1] 劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部（11)と、

前記主観品質を補正するための補正情報を、映像信号特徴量に対応して格納してレ、る補正情報格納部（13)と、

前記基準映像信号の前記映像信号特徴量を入力し、入力した映像信号特徴量に対応した補正情報を前記補正情報格納部（13)から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部（12, 14， 15)と、を備えることを特徴とする映像品質評価装置。

[2] 前記主観品質推定部（11)は、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報 (SI)及びフレーム間での映像変化を示す時間情報 (TI)の少なくともいずれかの、劣化映像信号と基準映像信号間の差分に基づいて、前記主観品質を推定することを特徴とする請求の範囲第 1項に記載の映像品質評価装置。

[3] 前記主観品質推定部（11)は、前記劣化映像信号と前記基準映像信号間の前記映像信号特徴量の差分として、映像信号に含まれる映像の各フレーム内での劣化量を示すエッジ電力量 (E)、及び、フレーム間での劣化量を示す動き電力量 (M)の少なくとも一方を算出することを特徴とする請求の範囲第 2項に記載の映像品質評価装置。

[4] 前記主観品質推定部（11)は、 ITU-R Recommendation P.910に規定されていると基準映像信号間の差分に基づいて前記主観品質を推定することを特徴とする請求の範囲第 2項に記載の映像品質評価装置。

[5] 補正情報格納部（13)は、前記主観品質を補正するための補正情報として、補正係数（ α , β )を、映像信号に含まれる映像の各フレーム内での映像状態を示す空間情報（SI)及びフレーム間での映像変化を示す時間情報 (ΤΙ)に対応して格納してレ、ることを特徴とする請求の範囲第 1項に記載の映像品質評価装置。 [6] 前記主観品質推定部（11)は、

前記基準映像信号 (RI)と前記劣化映像信号 (PI)とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成するァライメント情報生成部（21)と、

前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出部（22)と、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出部（23)と、

前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する推定部（24)と、

を備えることを特徴とする請求の範囲第 1項に記載の映像品質評価装置。

[7] 劣化してレ、なレ、映像信号である基準映像信号 (RI)が劣化した劣化映像信号 (PI)の推定された主観品質を補正するための補正情報（《，）を、映像信号特徴量に対応して格納している補正情報格納部（13)を備え、前記劣化映像信号の主観品質を推定する映像品質評価装置における映像品質評価方法であって、

前記基準映像信号と前記劣化映像信号とを入力し、

両信号の映像信号特徴量を算出し、

算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の前記主観品質を推定し、

算出された前記基準映像信号の映像信号特徴量に対応した補正情報（ α , ）を前記補正情報格納部（13)から取得し、

取得された補正情報（ひ，）に基づレ、て前記推定された主観品質を補正することを特徴とする映像品質評価方法。

[8] コンピュータを、劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定手段（11)と、

前記主観品質を補正するための補正情報（ひ， /3 )を、映像信号特徴量に対応して格納する補正情報格納手段（13)と、

算出された前記基準映像信号の映像信号特徴量に対応した補正情報（ α , ）を前記補正情報格納手段（13)から取得し、取得された補正情報に基づいて前記推定された主観品質を補正する主観品質補正手段（12， 14， 15)として機能させるための映像品質評価プログラム。

[9] 劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (ΡΙ)とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成するァラィメント情報生成部（21)と、

前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定部（24)と、

を備えることを特徴とする映像品質評価装置。

[10] 前記劣化映像信号 (ΡΙ)に含まれる劣化映像のファイル形式を、対応する前記基準映像信号 (RI)に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換部（35)と、前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数（α , β , γ , δ )を格納している補正係数格納部（36)と、を更に備え、

前記主観品質推定部（34)は、前記形式変換部（35)から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納部（36)から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを特徴とする請求の範囲第 9項に記載の映像品質評価装置。

[11] 前記形式変換部（35)は、前記統一されたファイル形式に関連した情報として、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかを出力し、前記補正係数格納部は、前記劣化映像信号の信号形式、前記劣化映像信号により送られてくる劣化映像の情報量、及び、前記劣化映像信号の符号化方式の少なくともいずれかに対応させて、最適な係数（ひ， β , γ , δ )を格納していることを特徴とする請求の範囲第 10項に記載の映像品質評価装置。

[12] 前記空間特徴量算出部（22)は、前記基準映像信号と前記劣化映像信号に基づいて、フレーム内で輝度値が急激に変化する境界に発生する劣化を定量ィヒする指標を前記空間特徴量として算出することを特徴とする請求の範囲第 9項または第 10項に記載の映像品質評価装置。

[13] 前記空間特徴量算出部（22)は、前記基準映像信号と前記劣化映像信号に基づいて、 ANSI T1.801.03-1995で規定されているエッジ電力量 (Ave— EE)を空間特徴量として算出することを特徴とする請求の範囲第 12項に記載の映像品質評価装置。

[14] 前記空間特徴量算出部（22)は、前記基準映像フレームと比較して、該基準映像フレームに対応する前記劣化映像フレームで輝度値が急激に変化する境界が水平垂直方向に発生している度合いを定量化する指標（Min_HV)を前記空間特徴量として算出することを特徴とする請求の範囲第 9項、第 10項、または第 12項に記載の映像品質評価装置。

[15] 前記時間特徴量算出部（23)は、フレーム内の 1画素以上の集合であるブロックごとに基準映像の ITU-R Recommendation P.910に規定されている Temporal

Temporal Information値の差分に基づいて映像のフレーム間での変化量（Ave— M EB)を前記時間特徴量として算出することを特徴とする請求の範囲第 9項、第 10項、第 12項、または第 14項に記載の映像品質評価装置。

前記主観品質を補正するための補正情報を、空間特徴量及び時間特徴量に対応して格納している補正情報格納部（13)と、

前記基準映像信号 (RI)の前記空間特徴量及び前記時間特徴量を入力し、入力した空間特徴量及び時間特徴量に対応した補正情報 , β )を前記補正情報格納部（13)から取得し、取得した補正情報に基づいて前記推定された主観品質を補正する主観品質補正部（12， 14, 15)と、

を更に備えることを特徴とする請求の範囲第 9項または第 10項に記載の映像品質評価装置。

劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (ΡΙ)とを入力し、

前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成し、

前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出し、

前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出し、

前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定することを特徴とする映像品質評価方法。

劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (PI)とを入力し、

前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し、

その統一されたファイル形式に関連した情報を生成し、

前記基準映像信号からの基準映像フレームと前記劣化映像信号からのファイル形式が変換された劣化映像の劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成し、

前記空間特徴量と、前記時間特徴量と、前記統一したファイル形式に関連した情報に対応した、主観品質推定のための係数（ α， β , y , δ )と、に基づいて、前記劣化映像信号の主観品質を推定することを特徴とする映像品質評価方法。

コンピュータを、

劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (ΡΙ)とを入力し、前記基準映像信号からの基準映像フレームと前記劣化映像信号からの劣化映像フレームとの時間的なずれと、前記基準映像フレームと前記劣化映像フレームとの空間的なずれとに関するァライメント情報を生成するァライメント情報生成手段（21)と、

前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームの映像状態を示す空間情報に基づいてそれぞれの空間特徴量を算出する空間特徴量算出手段（22)と、前記ァライメント情報に基づいて前記空間的なずれ及び前記時間的なずれをなくした上で、前記基準映像フレーム及び前記劣化映像フレームについて、それぞれのフレーム間での映像変化を示す時間情報に基づいてそれぞれの時間特徴量を算出する時間特徴量算出手段（23)と、

前記空間特徴量及び前記時間特徴量に基づいて前記劣化映像信号の主観品質を推定する主観品質推定手段（24)として機能させるための映像品質評価プログラム

[20] 前記コンピュータを、

前記劣化映像信号 (PI)に含まれる劣化映像のファイル形式を、対応する前記基準映像信号 (RI)に含まれる基準映像のファイル形式に変換すると共に、その統一されたファイル形式に関連した情報を出力する形式変換手段（35)と、

前記ファイル形式に関連した情報に対応させて、前記劣化映像信号の主観品質を推定するための係数（ひ， β , y , δ )を格納している補正係数格納手段（36)として更に機能させ、

前記主観品質推定手段（34)は、前記形式変換手段（35)から入力した前記統一されたファイル形式に関連した情報に対応した前記係数を前記補正係数格納手段（3 6)から取得し、前記空間特徴量、前記時間特徴量、及び、前記取得した係数に基づいて、前記劣化映像信号の主観品質を推定することを特徴とする請求の範囲第 19 項に記載の映像品質評価プログラム。

[21] 劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (ΡΙ)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部 (41)と、

前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合部（42)と前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合部 (43)と、

を備えることを特徴とする映像整合装置。

[22] 前記形式変換部（41)は、前記劣化映像のデータ形式、サイズ、アスペクト比の少なくとも 1つを変換して前記基準映像と合わせることを特徴とする請求の範囲第 21項に記載の映像整合装置。

[23] 前記表示タイミング整合部（42)は、前記基準映像フレームと前記劣化映像フレームのフレームレートが異なる場合には、前記劣化映像フレームを補間または削除することにより、前記基準映像フレームと前記劣化映像フレームのフレームレートを合わせることを特徴とする請求の範囲第 21項に記載の映像整合装置。

[24] 前記表示タイミング整合部（42)は、前記基準映像フレームの表示タイミングに対して前記劣化映像フレームの表示タイミングを合わせることを特徴とする請求の範囲第 2 1項に記載の映像整合装置。

[25] 前記表示タイミング整合部（42)は、前記基準映像フレームの表示タイミングが一定でない場合には、前記基準映像フレーム及び前記劣化映像フレーム双方の表示タイミングを予め定めた時間間隔とすることを特徴とする請求の範囲第 21項に記載の映像整合装置。

[26] 前記同期/位置整合部（43)は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体またはその特定領域のそれぞれの特徴量の推移を比較し、前記特徴量のずれが最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係を決定するマクロ同期処理を行うことを特徴とする請求の範囲第 21項に記載の映像整合装置。

[27] 前記同期/位置整合部（43)は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係をずらしつつ、フレーム全体またはその特定領域のそれぞれの特徴量を比較し、前記特徴量の差異が最も小さくなる前記基準映像フレームと前記劣化映像フレームの時間的対応関係及び画素対応関係を決定するミクロ同期/位置整合処理を行うことを特徴とする請求の範囲第 26 項に記載の映像整合装置。 [28] 前記同期/位置整合部 (43)は、初期的に、前記マクロ同期処理及び前記ミクロ同期/位置整合処理を行うことを特徴とする請求の範囲第 27項に記載の映像整合装置。

[29] 前記同期/位置整合部 (43)は、前記劣化映像フレームがフリーズ状態に陥った場合、フレーム数を計数することにより前記フリーズ状態の継続時間を計ることを特徴とする請求の範囲第 28項に記載の映像整合装置。

[30] 前記同期/位置整合部（43)は、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、フレーム全体のそれぞれの特徴量を導出し、前記基準映像フレームの特徴量が時間的に変化しているのに対して前記劣化映像フレームの特徴量が時間的に変化していないときに、前記劣化映像フレームがフリーズ状態に陥ったと判定することを特徴とする請求の範囲第 29項に記載の映像整合装置。

[31] 前記同期/位置整合部 (43)は、前記劣化映像フレームが、フリーズ状態に陥った場合、または前記基準映像フレームと同期が取れなくなった場合に、再度、前記マク口同期処理を行うことを特徴とする請求の範囲第 28項に記載の映像整合装置。

[32] 前記同期/位置整合部 (43)は、前記劣化映像フレームがフレームずれ状態に陥つた場合、フレームのずれ数を出力することを特徴とする請求の範囲第 28項に記載の映像整合装置。

[33] 前記同期/位置整合部 (43)から前記基準映像信号 (RI)及び前記劣化映像信号（ PI)を入力し、前記劣化映像の輝度及び色情報を前記基準映像と合わせ、前記輝度及び色情報が合わされた劣化映像を前記同期/位置整合部 (43)に戻す輝度/色補正部（44)を更に備えることを特徴とする請求の範囲第 21項に記載の映像整合装置。

[34] 劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (PI)とを入力し、

前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換し (ステップ S1)、

前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させ (ステップ S 2)、前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる (ステップ S3— S22)ことを特徴とする映像整合方法。

[35] コンピュータを、

劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換手段 (41)と、

前記基準映像信号に含まれる基準映像フレームと前記劣化映像信号に含まれる劣化映像フレームの数及び表示タイミングを整合させる表示タイミング整合手段 (42 )と、

前記基準映像フレーム及び前記劣化映像フレームの対象フレーム及びその前後数フレームについて、前記基準映像フレームと前記劣化映像フレームとの間のフレームのずれや前記劣化映像のフリーズ状態を監視しつつ、フレーム間の対応関係及び画素間の対応関係の整合をとる同期/位置整合手段 (43)として機能させるための映像整合プログラム。

[36] 劣化してレ、なレ、映像信号である基準映像信号 (RI)とその基準映像信号が劣化した劣化映像信号 (PI)とを入力し、前記劣化映像信号に含まれる劣化映像のファイル形式を、対応する前記基準映像信号に含まれる基準映像のファイル形式に変換する形式変換部 (41)と、

前記同期/位置整合部 (43)により整合がとられた前記基準映像信号 (RI)及びそ前記劣化映像信号 (PI)とを入力し、両信号の映像信号特徴量を算出し、算出された両信号の映像信号特徴量の差分に基づいて、前記劣化映像信号の主観品質を推定する主観品質推定部（11)と、

を備えることを特徴とする映像品質評価装置。