JP4209201B2

JP4209201B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP4209201B2
Application number: JP2002586516A
Authority: JP
Inventors: ワリッド，アリ; ゾンキーズ，ヴァン
Original assignee: フィリップスエレクトロニクスノースアメリカコーポレイション
Priority date: 2001-05-01
Filing date: 2002-05-01
Publication date: 2009-01-14
Anticipated expiration: 2022-05-01
Also published as: KR100871576B1; KR20040004353A; JP2004533757A; EP1435138A2; CN1698281A; WO2002089344A3; WO2002089344A2; US20040190633A1; EP1435138A4

Description

【技術分野】
【０００１】
本発明は、音声又は映像情報信号の客観的品質測定の分野に関連する。本発明は、そのような客観的品質測定に応じた情報圧縮の分野にも関連する。本発明は、そのような客観的品質測定に応じる情報信号レコーダ及び送信機、並びにそのような客観的品質測定に応答して、送信を制御するための制御信号を送信機に与える映像受信機にも関連する。
【背景技術】
【０００２】
ここに提示される説明を簡単にするために、「視聴者（ｖｉｅｗｅｒｓ）」なる語は、映像の鑑賞者及び／又は音声の聴者を意味し、映像は包括的に画像及び／又は音声を意味するものとする。
【０００３】
映像品質の主観的テスト（ｓｕｂｊｅｃｔｉｖｅｔｅｓｔｉｎｇ）は、音声及び映像処理システムを評価する場合の最終的な判断である。結果の品質の評価は、視聴者の意見をポーリング（ｐｏｌｌｉｎｇ）することで行なわれる。更に、主観的なスコアは、視聴者の間で広範に変化する、人々の趣向を当てにしている（専門家の評価は、初心者的な視聴者とは非常に異なる。）。更に、視聴者の趣向は、テストが繰り返される場合でさえ変化する。主観的評価の非決定性（ｎｏｎ−ｄｅｔｅｒｍｉｎｉｓｔｉｃｎａｔｕｒｅ）に加えて、自動映像処理にそれを利用できないこと（例えば、サービス品質ＱｏＳを監視することは、自動化形式でのみ実行され得る）は、画像品質を自動的に評価するロバストな客観的方法（ｏｂｊｅｃｔｉｖｅｍｅｔｈｏｄ）及び装置のニーズを要請する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
様々な客観的方法が提案されている。それらは実効性及び複雑性に関して変化に富む。しかしながら、どの装置も広範な環境の下で卓越するものではなく、ある所定の条件の下での主観的評価に高度の相関性（ハイパフォーマンス）を有し、別の環境での主観的モデルには非常に低い相関性を有するに過ぎない。
【０００５】
当業者は以下の文献に目を向けることが有益であり：
１．アリ（Ａｌｉ）等による米国特許出願番号第０９／７３４，８２３号
この文献は本願の参考に供せられる。
【課題を解決するための手段】
【０００６】
本発明は、映像及び／又は音声信号のようなディジタル情報信号の客観的品質測定のための方法及び装置である。映像シーケンス品質を評価するために、いくつかの異なる客観的メトリック（ｍｅｔｒｉｃ）が選択される。各メトリックは、映像品質を判定する様々な自動化方法であり、各メトリックは、その情報信号の品質に関する何らかの様相又はアスペクト（ａｓｐｅｃｔ）を表現する客観的結果を与える。各メトリックは、信号品質の様々な様相を測定する。好ましくは、メトリックは可能な限り独立であるように選択されるべきであるが、いくらかのオーバーラップが生じる傾向がある。メトリックは、以下に説明されるような統計的方法に基づいて選択される。例えば、ＭＰＥＧ映像信号については、ノイズの測定値がクリッピング（ｃｌｉｐｐｉｎｇ）の測定値に部分的に関連する（相関性を持つ）傾向にあるが、クリッピングの測定値に部分的に独立でもある。
【０００７】
選択されたメトリックの客観的結果は、情報信号に対する複合的（ｃｏｍｐｏｓｉｔｅ）客観的品質測定値を判定するために、相関結果（ｃｏｒｒｅｌａｔｉｏｎｒｅｓｕｌｔ）と組み合わせられる。好ましくは、各メトリックは単独の各自の測定値を与え、その相関結果が各自各々の測定値に関する単独の重み因子を含み、複合的客観的品質測定値が、メトリック測定値にそれら各自の重み因子を乗算したものの総和である。
【０００８】
相関結果は、複数の人的視聴者により与えられる品質評価又は格付けの間での相関性と、選択された一群のメトリックに基づく複合的客観的品質測定値とを最大にするように統計的に決定される。統計的な決定は、ピエールソン（Ｐｉｅｒｓｏｎ）分析又はより好ましくはスペールマン（Ｓｐｅａｒｍａｎ）ランク次数相関分析のような回帰分析を利用して実行され得る。相関結果は、客観的品質結果、及び類似する映像シーケンスを利用する主観的映像品質評価に準拠する。映像シーケンス間の類似性（ｓｉｍｉｌａｒｒｉｔｙ）は、それらが客観的品質メトリックに関して近似的に同一の結果を有することを少なくとも包含する。好ましくは、厳密に同じ映像シーケンスが、その客観的及び主観的品質測定に使用される。
【０００９】
メトリックは、映像シーケンスのメトリックに関連する既知の品質から選択される。その選択は、複合的客観的品質測定値及び主観的結果の間の相関性を最大化する要請と、それと同時に複合的客観的品質測定を決定するコストを最小化する要請との間でバランスをとるようになされる。すなわち、既知のメトリックが選択されるのは、その利用が複合的客観的品質測定値及び主観的品質評価の間で相関を顕著に増加させ、過剰の多くのコストを付加せず、システムの複雑性又は処理時間のようなシステムコスト要因に関して必要とされる制限を超えない場合である。
【００１０】
主観的品質評価は、所定の範囲における品質スコアである。テスト方法論では、評価に参加する様々な人的視聴者数は、複合的客観的映像測定に関する所定の統計的安定性を与える程度に充分に大きい。ポスト（ｐｏｓｔ）評価統計分析は、視聴者のあるグループから別のグループまでの結果の一貫性を改善するために実行される。例えば、同じ映像信号の何ら圧縮しないものと高度に圧縮したものとの間で一貫して合理的に識別することに失敗した視聴者のスコアは、削除される。
【００１１】
好ましくは、各メトリックは単独の測定値を与え、その相関結果は、単独の測定値各々についての単独の相関重み付け因子である。客観的品質測定値は、単独の測定値各々に、各自の相関重み付け因子を乗じたものの単なる総和である。この場合に、当該方法は以下のように、より明確に数学的に表現され得る。
【００１２】
所望の実効性又はパフォーマンスレベル及び許容される複雑さ並びに処理時間に依存して、客観的メトリックであるメトリック１，メトリック２，．．．，メトリックｎの集合が選択される。各メトリックは、各自の性能指数（ｆｉｇｕｒｅｏｆｍｅｒｉｔ）ｆ_１，ｆ_２，．．．，ｆ_ｎを判定するために使用される。各性能指数ｆ_ｉに関する重みｗ_ｉ（１≦ｉ≦ｎ）は、複合的客観的品質測定値Ｆ及び同一の情報信号シーケンスに対する主観的評価Ｓの間の相関Ｒを最大化するように統計分析によって決定される。
【００１３】
【数９】

相関因子Ｒは、スペールマンランク次数相関分析を利用して算出される。スペールマン相関係数の主な利点は、主観的及び客観的評価の関係に何らの関数形も仮定せず、単に単調な関係を想定するに過ぎないことである。相関係数は：
【００１４】
【数１０】

として定義され、ここで、Ｘ及びＹは、主観的及び客観的データ集合であり、その総和はｎ個の対にわたって行なわれる；
複合的客観的映像品質測定値は、映像シーケンスに使用するあるコスト関連アスペクト（ａｓｐｅｃｔ）を調整するために使用される。情報信号についてのコスト関連アスペクトは、例えば、圧縮比率、帯域、配信時間、処理時間、格納スペース、遅延時間等を含む。ディジタル信号についての更なるコスト関連アスペクトは、画素数、エッジクリッピングの範囲、輝度数及びカラービット数を包含し、その輝度数及びカラービット数は、グレイレベル（ｇｒａｙｌｅｖｅｌ）数及び表現される色彩の影を決定する。音声信号についての更なるコスト関連アスペクトは、音声チャネルの数及び独立性（ｉｎｄｅｐｅｎｄｅｎｃｅ）、最大及び／又は最少周波数、サンプリングレート等を包含する。先ず、客観的映像品質測定についての品質判断基準が選択され、次に映像シーケンスのコスト関連アスペクトを調整するために映像シーケンスが修正され、処理された映像シーケンスの客観的映像品質測定値が、客観的映像品質についてのその判断基準に合うようにする。品質判断基準は、単一の閾値とすることが可能であり、その客観的映像品質測定値はそれに等しい又はそれを上回る必要がある。例えば、ＭＰＥＧ符号化マルチメディアシーケンスの圧縮は、最少の客観的映像品質が維持されるように制御され得る。
【００１５】
好ましくは、映像信号についての客観的品質メトリックは、ブロックエッジ損傷（ｂｌｏｃｋ−ｅｄｇｅｉｍｐａｉｒｍｅｎｔ）メトリック、ノイズメトリック、クリッピング測定メトリック、及びコントラスト測定メトリック等を包含する。これら周知のメトリックは、それらの相対的な独立性、簡潔性、及び処理の高速性に関して、それらが映像エンコーダでリアルタイムに実行され得るように選択される。これらメトリック例の各々は、それ自体は当該技術分野で既知であるが、本発明は、以下に説明されるこれらメトリックの特殊な利用を含む。処理がオフラインで実行される場合には、より大きな処理時間メトリックによるより複雑なメトリックも包含され得る。
【００１６】
ノイズメトリックは、以下の事項を含む：画像を多数の正方形又は長方形ブロックに分割すること；人間の視覚特性に近似的に従う複数のフィルタを通じて、決定されたブロック各々における複数画素内の変化をフィルタ処理すること；それら画素各々においてフィルタの各々と画素との畳込みを行ない、知覚的に重要なノイズの推定値を得ること；下限の人的知覚閾値ｌｏｗＨＰＴ及び上限の人的知覚閾値ｈｉｇｈＨＰＴに依存して、その知覚的な推定値をクリッピングし、知覚可能なノイズのみが包含されるようにすること；画像に関する小さな正方形又は長方形領域にわたってクリップされた応答を平均化すること；最少の平均的クリップ済み応答を有するｍ（ｍは１より大きい）個のブロックを選択すること；及びノイズ測定が、ｍ個の選択されたブロックについての平均クリップ済み応答であること。
【００１７】
ノイズメトリックに関するクリップ関数は：
【００１８】
【数１１】

であり、上限の人的知覚閾値ｈｉｇｈＨＰＴ及び下限の人的知覚閾値ｌｏｗＨＰＴは：
【００１９】
【数１２】

であるモデルに準拠し、Ｓ（ｆ’）はフィルタの空間的スペクトル応答であり、ｆ’は視聴する距離を補償するための空間的周波数の規格化された形式のものである。
【００２０】
クリッピングメトリックは、映像シーケンスにおける輝度信号がその最大許容値に至る回数、及び／又は輝度信号がその最小許容値に至る回数に依存して測定値を決定する。
【００２１】
コントラストメトリックは測定値を決定し、その測定値は、全エネルギの内の第１の所定部分を包含する低位輝度ヒストグラム部分と、そのヒストグラムのエネルギの内の第２の所定部分を含む上位輝度ヒストグラム部分との間の規格化された差分に依存し、そのヒストグラムは、映像シーケンスの複数画像の時間にわたる輝度の測定値である。好ましくは、第１及び第２の所定部分は、輝度エネルギの上位５％及び下位５％である。
【００２２】
ブロックエッジ損傷メトリックＭ_ｈは、画像のブロック境界における差分の二乗を加算したものに準拠する。前記ブロックエッジ損傷メトリックＭ_ｈは：
【００２３】
【数１３】

として定義され、ここで、ｆは画像であり、Ｄ_Ｃは列に関する差分演算子（ｄｉｆｆｅｒｅｎｔｉａｌｏｐｅｒａｔｏｒ）であり、Ｗは視覚的に顕著な遮蔽効果により規定される重み行列であり、Ｗ_ｉは、（ｉ，ｊ）及び（ｉ，ｊ＋１）での画素の差分に関する画像列ｆ_Ｃの画素に対応する重みベクトルであり、重みＷ_ｉｊは：
【００２４】
【数１４】

として定義され、μ_ｉｊは前記差分に関する一方の画素の１列分の平均値であり、σ_ｉｊは標準偏差であり、μ_ｉｊは画像のその部分の平均輝度の測定値であり、σ_ｉｊは、強度変化の測定値であり、前記重みの分母に使用され；及び規格化因子Ｅは：
【００２５】
【数１５】

として定義され、ここで、Ｓ_ｋは：
【００２６】
【数１６】

により定義される。
【００２７】
好ましくは、複合映像品質メトリックも、主観的評価の結果と、付加的な客観的品質メトリックの結果との相関、及び主観的評価と同様なシーケンスに関する２以上の線形に関連する客観的品質メトリックとの相関結果との相関に対する第２統計分析を含む。付加的な客観的品質メトリックは、２つ又はそれ以上の客観的品質メトリックと線形に関連しない。この場合に、第２統計分析に使用される分析のタイプは、第１統計分析に使用された分析のタイプと同じであり得る。好ましくは、付加的な客観的映像品質は、急峻性（ｓｈａｒｐｎｅｓｓ）メトリックであり、それは例えば高周波分析を利用して決定され得る。
【００２８】
本発明に関するこれら及び他の対象並びに利点は、添付図面を参照しながら以下の詳細な説明に目を通すことで当業者に一層明瞭になるであろう。
【発明を実施するための最良の形態】
【００２９】
図１は、本発明による複合的客観的測定装置１００を示す。複数の個別の第１客観的品質判定装置１０２−１０８は、情報信号を受信し、各自の客観的品質メトリックに基づいて、各自の客観的品質測定値を判定する。各メトリックは、自動的に、相対的に独立な客観的品質測定値を提供し、且つ自動的に実行される。映像信号に関し、個々の第１客観的品質判定装置は、本実施例では、ノイズメトリック、クリッピングメトリック、コントラストメトリック、ブロックエッジ損傷メトリックを包含する。第１相関装置１１２は、以下に説明される相関結果を与える。第１結合装置１１４は、第１メトリック判定装置の個々の客観的品質測定値を、第１相関装置の相関結果と結合し、第１の複合的客観的品質測定値１１６を形成する。
【００３０】
例えば、個々の客観的品質測定値各々は単独の測定値であり、相関結果は単独の測定値各々についての単独の重み付け因子であり、その結合は各測定値に各自の重み付け因子を乗算したものの総和とすることが可能である。当然に、メトリックが線形に関連しないならば、より複雑な結合手法が必要とされる。
【００３１】
相関結果は、多数の人的視聴者から得られた主観的品質評価と、個々の客観的品質測定値及び相関結果を結合することで形成された第１の複合的客観的映像品質測定値との間の相関を最大にするような統計分析から決定される。好ましくは、統計分析は、ピエールソン回帰分析のような回帰分析や、より好ましくはスペールマンランク次数相関分析を含む。統計分析は、第１映像信号に関する主観的品質評価、及び類似する映像信号の客観的品質評価に基づいて実行される。第１及び第２映像信号間の類似性は、個々の客観的品質測定値が類似する信号に関して同様であり、好ましくは類似する信号が実際に同じ信号であることを少なくとも含む。好ましくは、主観的評価を求める手順は、高レベルの合理的統計精度及び様々な人的視聴者についての再現性（ｒｅｐｅａｔａｂｉｌｉｔｙ）を与えるように注意深く設定及び制御される。例えば、ある類似する視聴者グループから他までに、相関における１０％の標準偏差（主観的品質評価及び複合的客観的品質測定値の間）又は相関結果（例えば、メトリック各々についての重み（ウエイト））における１０％の標準偏差となる。
【００３２】
メトリックは、既知の客観的品質メトリックから選択される。付加的な客観的品質メトリックが開発されると、それらは本発明に統合するために評価され得る。非合理的な複雑性又はシステム（即ち、複合的客観的映像測定装置）における処理時間なしに、主観的品質評価及び複合的客観的映像測定値の間で最高の相関を与えるように、メトリックが選択される。第１メトリック１０２−１０８総てのメトリック結果は、結合装置に必要な複雑さ及び計算時間を少なくする観点から、線形に関連付けられるべきである。１つ又はそれ以上の選択されたメトリックがそれら第１メトリックに線形に関連付けられないならば、以下に説明されるように、第２メトリックに関する付加的な処理を行なうことが望ましい。ノイズ、クリッピング、コントラスト及びブロックエッジ損傷に関するメトリックが選択されるのは、複合的客観的品質測定値及び主観的結果の間でそれらが共に高い相関性を与え、それらが簡潔であり、ＭＰＥＧ映像エンコーダでのコスト関連因子のリアルタイム制御を可能にする程度に充分高速に処理され得るからである。映像処理がオフラインで実行される場合又は音声処理が実行される場合には、他のメトリックが選択され得る。
【００３３】
客観的品質判定装置１０２−１０６で使用される品質メトリックは、総てシングルエンド（ｓｉｎｇｌｅｅｎｄｅｄ）メトリックであり（即ち、それらは当初の（オリジナル）信号へのアクセスを要しない）、修正された信号のみがそれらの装置に与えられる。図示されるように、客観的品質判定装置１０８に対する品質メトリックは、ダブルエンド（ｄｏｕｂｌｅｅｎｄｅｄ）メトリックであり（即ち、当初の及び修正後の信号双方の入力を要するメトリック）、当初の映像信号の入力がそのメトリックに示されている。映像信号に関して望ましいメトリックは、ノイズメトリック、クリッピングメトリック、コントラストメトリック、及びブロックエッジ損傷メトリックであり、これらのメトリック総てはシングルエンドメトリックであり、好適な映像の実施例では、装置１０８への当初の映像信号の入力は必要とされない。
【００３４】
１つ又はそれ以上の選択されたメトリックが線形に関連付けられない場合には、好ましくは、選択されたメトリックは、１つ又はそれ以上の線形に関連するメトリックのグループに分割される。そして、メトリックに関する以後のグループ各々について、付加的な処理ステップが使用される。好ましくは、第１処理段階についてのメトリックのグループは、複数のメトリックを包含する。以後の各グループ処理段階では、以後のグループのメトリック結果及び以前のグループの複合的客観的品質測定値は、付加的な相関結果に結合され、以後の評価と以後のグループに与えられる複合的客観的品質測定との間の相関を最大化する。例えば、以後の段階に関し、グループの各メトリックは単独の測定値を与え、そのグループに関する相関結果は、そのグループの各メトリックに関する単独の重み因子プラス以前のグループの複合的客観的品質測定値に関する単独の重み因子を含み得る。この場合に、この結合は、先行するグループの複合的客観的品質測定値に各自の重み因子を乗じたものプラスそのグループ内の各メトリックの結果の測定値に各自の重み因子を乗じたものの総和により実行され得る。
【００３５】
以後の付加的な処理段階の各々は、主観的な品質評価と、以後の客観的品質メトリックの結果との、及び以前の処理段階の複合的客観的品質測定値との相関をとり、相関結果を予測するために付加的な統計分析を必要とする（例えば、単独の重み付け因子）。好ましくは、各処理段階に対する相関結果を判定するのに使用される統計分析法は、第１処理段階に関する上述のものに類似する。
【００３６】
本実施例における第２段階は、１つ又はそれ以上の第２客観的品質判定装置１２０−１２２を有し、それら各々は個別の客観的品質測定値を与える。第２相関装置１２２は、主観的評価（上述）及び第２の複合的客観的品質測定値の間の相関を最大化する相関結果を与える。第２結合装置１２４は、その相関結果を、第２の個々の客観的品質測定値及び以前の段階の複合的客観的品質測定値と結合し、第２の複合的客観的品質測定値１２６を導出する。
【００３７】
映像信号に関し、好ましくは、メトリックの第２グループ中のメトリックのみが急峻性メトリックである。他の第２メトリックも選択され得るが、第１メトリックと同様に、第２メトリック判定装置の総てのメトリック結果は線形に関連付けられることが望ましい。
【００３８】
上述したように、映像信号に関する客観的品質メトリックは、好ましくはノイズメトリックを包含する。ノイズメトリックの場合には、画像は多数の正方形又は長方形ブロックに分割され；及び判定されるブロック各々における複数画素中の変化が、人間の視覚特性に近似的に従う複数のフィルタを通じて濾波される。その画像は、フィルタ各々を利用して各画素にて畳込みがなされ、知覚的に重要なノイズの推定値を求める。視覚的な推定値は、下限の人的知覚閾値ｌｏｗＨＰＴ及び上限の人的視覚閾値ｈｉｇｈＨＰＴに依存して切り取られ（クリッピングされ）、知覚可能なノイズのみが含まれるようにする。
【００３９】
クリップされた応答（ｒｅｓｐｏｎｓｅ）は、画像の小さな正方形又は長方形領域にわたって平均化される。最少の平均クリップ応答を有するｍブロックが選択され、ここでｍは１以上であり；及びノイズメトリックは、近似的に、ｍ個の選択されたブロックの平均クリップ応答である。ｍの数値は所定数とすることが可能であり、又は所定の方法で各画像について決定されることも可能である。
【００４０】
より具体的には、クリッピング関数は：
【００４１】
【数１７】

であり、上限の人的視覚閾値ｈｉｇｈＨＰＴ及び下限の人的視覚閾値ｌｏｗＨＰＴは：
【００４２】
【数１８】

のモデルに準拠する。Ｓ（ｆ’）はフィルタの空間的スペクトル応答であり、ｆ’は視聴する距離を補償するための空間周波数（ｓｐａｔｉａｌｆｒｅｑｕｅｎｃｙ）ｆの規格化された形式のものである。
【００４３】
上述したように、客観的品質測定値は：輝度信号がその最大値に至る回数及び輝度信号がその許容最小値に至る回数の一方又は双方に依存するクリップメトリックを包含する。
【００４４】
また、上述したように、映像信号についての客観的品質メトリックは、全エネルギの第１の所定部分を含む低輝度ヒストグラム部分と、ヒストグラムのエネルギの第２の所定部分を含む高輝度ヒストグラム部分の間の幅での規格化された差分に依存するコントラストメトリックを含み、そのヒストグラムは、映像信号の複数画像の時間にわたる輝度の測定値である。
【００４５】
上述したように、映像信号に対する客観的品質メトリックは、ある画像のブロック境界にわたって差分の二乗を加算することに基づくブロックエッジ損傷メトリックをも包含する。ブロックエッジ損傷メトリックＭ_ｈは：
【００４６】
【数１９】

として定義される。ここで、ｆは画像であり、Ｄ_Ｃは列にわたる差分演算子であり、Ｗは遮蔽効果（ｂｌｏｃｋｉｎｇｅｆｆｅｃｔ）の視覚的な顕著性により定義される重み行列であり、ｗ_ｉは（ｉ，ｊ）及び（ｉ，ｊ＋１）の差分に関する画像列ｆ_Ｃの画素に対応する重みベクトルであり、重みｗ_ｉｊは：
【００４７】
【数２０】

として定義され、ここでμ_ｉｊはその差分の一方端における画素１行分の平均であり、σ_ｉｊはそれらの標準偏差であり、μ_ｉｊはその画像部分の平均輝度の測定値であり、σ_ｉｊは強度変化の測定値であり、重みの分母に使用され；規格化因子Ｅは：
【００４８】
【数２１】

として定義され、ここでＳｋは
【００４９】
【数２２】

である。
【００５０】
音声信号に関し、選択される客観的品質メトリックは、ノイズメトリック並びに高及び低周波数クリップメトリックを包含し得る。
【００５１】
図２は、本発明による情報信号圧縮装置１４０の例を示す。情報圧縮装置は、複合的客観的品質測定値１２６を与えるための図１の複合的客観的品質判定装置１００を含む。損失性（ｌｏｓｓｙ）圧縮装置１４２は、入力情報信号１４６に依存して、損失性の圧縮された情報信号１４４を与える。損失性圧縮解除装置１４８は、損失性圧縮情報信号１４４に基づいて損失性圧縮解除信号を、複合的客観的品質判定装置１００に与える。場合によっては、圧縮された信号に直接的に作用するようにメトリックが設定されることも可能であり、その場合には、損失性圧縮解除装置１４８は排除される。品質基準部１５２及び複合的客観的品質測定値１２６は、圧縮制御信号１５６を損失性圧縮装置１４２に与えるところの圧縮制御装置１５４に与えられる。損失性圧縮装置１４２の圧縮は、品質基準１５２及び複合的客観的品質測定値１２６に依存して制御され、損失性圧縮解除装置１４４において、複合的客観的品質測定値が品質基準に実質的に合うようにする。
【００５２】
映像信号に関しては、損失性圧縮はその映像に関するＭＰＥＧ圧縮であり得る。
【００５３】
品質基準は、単に、複合的客観的品質測定値が所定の閾値以上に留まるものとすること、若しくは閾値が時間に関する少なくとも所定の割合に合致することを要求すること、又は更に複雑にすることが可能である。
【００５４】
図３は、図１の複合的客観的品質判定装置１００を含む本発明による情報信号レコーダ１７０を示す。レコーダ装置１７２は信号１７４を媒体又はメディア１７６に記録する。
【００５５】
信号１７４は、損失性圧縮情報信号１４４を含むが、チャネル符号化のような他の形式でもあり得るし、誤り訂正情報のような付加的な情報を包含することも可能である。記録される信号１７４に含まれる損失性圧縮信号１４４に関する複合的客観的品質測定値は、品質基準１５２に実質的に合致する。図示の装置の残余の動作は、他の図に関して既に述べたものと同様である。媒体は、環状又は螺旋状トラックに記録される損失性圧縮情報信号と共に、ＤＶＤやＣＤディスクのような光学的ディスクであり得る。
【００５６】
図４は、図１の複合的客観的品質判定装置１００を包含する本発明による情報信号送信装置２００を示す。送信部２０２は送信媒体２０６を通じて信号２０４を送信する。
【００５７】
信号２０４は、損失性圧縮情報信号１４４を包含するが、チャネルエンコードされるような他の形式でもあり得るし、誤り訂正情報のような付加的な情報をも包含し得る。送信される信号１７４に包含される損失性圧縮情報信号１４４に関する複合的客観的品質測定値は、品質基準１５２に実質的に合致する。図示の装置の残余の動作は、他の図に関して既に述べたものと同様である。
【００５８】
送信媒体は、光伝送信号に対しては光ファイバであり、又は送信媒体は電気伝送信号に対しては導電体であり、又は送信媒体は電磁波伝送信号に対しては解放空間であり、又は送信媒体は磁気的に格納された、光学的に格納された若しくは半導体の状態で格納された信号に対しては記録担体又はレコードキャリアであり得る。
【００５９】
図５は、図４の送信システムの要素を包含する、本発明による情報信号配信ネットワーク２２０を示す。受信機２２２は受信装置２２４を有し、その受信装置は、送信された情報信号２０４から損失性の圧縮された情報信号１４４を復元する。圧縮制御装置１５４は、信号送信装置２２６を制御するために圧縮制御信号１５６を提供し、その信号送信装置は送信される制御信号２２８を送信媒体２０６を通じて送信する。制御信号受信装置２３０は、送信される制御信号２２８から圧縮制御信号１５６を復元し、それは損失性圧縮装置１４２に与えられる。複合的客観的品質判定装置２３２は、その動作が当初の情報信号と図１の修正された情報信号との組み合わせに依存しない点を除いて、図１の装置と同様である。図示の装置の残余の動作は、他の図に関して既に述べたものと同様である。
【００６０】
図６は、図４の送信システムの要素及び図５の複合的客観的品質判定装置を備える本発明によるビデオカメラ２５０を示す。入射光２５２は、光学システム２５４により画像処理システム２５６に絞り込まれる。画像システムに到達する光の強度は、アイリス（ｉｒｉｓ）２５８により少なくとも部分的に規制される。アイリス２５８はアイリス制御装置２６４によって調整され、増幅器２６０の利得は利得制御装置２６６によって調整される。好ましくは、アイリス制御装置及び利得制御装置は、品質基準部１５２及び複合的客観的品質測定部１２６に応答して動作する。図示の装置の残余の動作は他の図に関して既に述べたものと同様である。
【００６１】
入力情報信号１４６は映像信号であり、損失性圧縮装置１４２は好ましくはＭＰＥＧエンコーダであり、損失性圧縮解除装置１４８がＭＰＥＧデコーダであるようにする。
【００６２】
本発明は、当業者が本発明を生産及び使用し得るように、及び本発明を実現するのに最良の形態と考えられるものを説明するように、特定の好適実施例を参照しながら説明されてきた。本発明の精神から逸脱することなしに、当業者は、これらの実施例を修正する若しくは付加する又は他の実施例を与えることが可能である。即ち、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。
【図面の簡単な説明】
【００６３】
【図１】本発明による複合的客観的品質判定装置の例を示す図である。
【図２】図１の複合的客観的品質判定装置を含む本発明による情報信号圧縮装置を示す図である。
【図３】図１の複合的客観的品質判定装置を含む本発明による情報信号レコーダを示す図である。
【図４】図１の複合的客観的品質判定装置を含む本発明による情報信号送信機を示す図である。
【図５】図１の複合的客観的品質判定装置を含む本発明による情報信号受信機と共に、本発明による情報信号分散ネットワークを示す図である。
【図６】図５の複合的客観的品質判定装置を含む本発明による映像送信機と共に、本発明による映像カメラを示す図である。
【符号の説明】
Ｍ１−Ｍ６メトリック１−６
ＣＯＭＢ１第１結合装置
ＣＯＭＢ２第２結合装置
ＣＯＲＲ１第１相関装置
ＣＯＲＲ２第２相関装置
ＬＣＯＭＰ損失性圧縮装置
ＬＤＥＣＯＭＰ損失性圧縮解除装置
ＱＤ図１の複合的客観的品質判定装置
ＣＣ圧縮制御装置
Ｑ品質基準部
ＲＥＣ記録装置
ＴＸ送信装置
ＲＸ受信装置
ＣＳＴＸ制御信号送信装置
ＣＳＲＸ制御信号受信装置
ＩＣアイリス制御装置
ＧＣゲイン制御装置

Claims

２つ又はそれ以上の各自異なる個々の客観的メトリックに基づく類似する情報信号の品質の客観的測定値と情報信号の品質の主観的評価とを相関させる第１統計分析に基づいて、情報信号の品質を判定するための複合的客観的品質メトリックを判定するステップ；
前記複合的客観的品質メトリックに基づいて、他の情報信号に関する複合的客観的品質測定値用の品質判断基準を選択するステップ；
前記複合的客観的品質測定値が前記品質判断基準の条件に合致するように、前記他の情報信号のコスト関連アスペクトを修正するステップ；
を有し、前記２つ又はそれ以上の各自異なる各々の客観的メトリックがクリッピングメトリックを含み、前記情報信号が映像信号であり、前記クリッピングメトリックの結果は、許容される最大値に輝度信号が到達する回数及び許容される最小値に輝度信号が到達する回数の一方又は双方に依存するようにした方法。
前記２つ又はそれ以上の各自異なる個々の客観的メトリックの各々が、各自単独の測定値を生成し、該相関が重み因子になり、前記複合的客観的品質測定値が、測定値に各自の重み因子を乗算したものの総和であり；
前記２つ又はそれ以上の各自異なる個々の客観的メトリックの総てが線形に関連し；
前記第１統計分析が回帰分析を含み、前記回帰分析がスペールマンランク次数相関分析であり；
前記情報信号が映像信号であり；
前記映像信号のコスト関連アスペクトが、圧縮率、帯域幅、配信時間、格納スペース、画素数の内の１つ又はそれ以上から選択されたものであり；
前記類似する情報信号が、２つ又はそれ以上の各自異なる個々の客観的メトリックに関する品質の少なくとも近似的に等しい客観的測定値を有し；
前記類似する情報信号が、同一の情報信号であり；
前記品質の主観的評価が、所定の範囲内及びテスト方法論における品質スコアに基づき、異なる人的品質評価の数が、複合的客観的品質メトリックに関する所定の統計的安定性を与える程度に充分大きく；
前記２つ又はそれ以上の各自異なる個々の客観的メトリックが、ノイズメトリック、クリッピングメトリック、コントラストメトリック、及びブロックエッジ損傷メトリックを含む；
ようにした請求項１記載の方法。
２つ又はそれ以上の個々の客観的メトリックであるメトリック１，メトリック２，．．．，メトリックｎの集合が選択され；
各メトリックが、各自の性能指数ｆ_１，ｆ_２，．．．，ｆ_ｎを判定するために使用され；
各性能指数ｆ_ｉに関する重みｗ_ｉ（１≦ｉ≦ｎ）が、複合的客観的品質測定値Ｆ及び同一の情報信号シーケンスに対する主観的評価Ｓの間の相関Ｒを最大化するように統計分析によって決定され；

相関因子Ｒが、スペールマンランク次数相関分析を利用して算出され；
相関係数が

として定義され；
Ｘ及びＹが、主観的及び客観的データ集合であり、その総和はｎ個の対にわたって行なわれる；
ようにした請求項１記載の方法。
前記情報信号が映像信号であり、２つ又はそれ以上の各自異なる個々の客観的メトリックがノイズメトリックを含み：
画像を複数の正方形又は長方形のブロックに分割し；
判定されたブロック各々における複数の画素における変分が、人間の知覚特性に近い複数のフィルタにより濾波され；
知覚的に重要なノイズの推定値を得るために、前記の各フィルタにより画素の各々における画像が畳み込まれ；
知覚され得るノイズのみが包含されるように、知覚に関する推定値が、下限の人的知覚閾値ｌｏｗＨＰＴ及び上限の人的知覚閾値ｈｉｇｈＨＰＴに依存するクリップ関数により切り取られ；
画像の微小正方形又は長方形領域にわたって、クリップ応答が平均化され；
最少の平均クリップ応答を有するｍ個（ｍは１より大きい）のブロックが選択され；及び
前記ノイズメトリックが、近似的に、ｍ個の選択されたブロックの平均クリップ応答である；
ようにした請求項１記載の方法。
前記クリップ関数が：

であり、上限の人的知覚閾値ｈｉｇｈＨＰＴ及び下限の人的知覚閾値ｌｏｗＨＰＴが：

であるモデルに基づき、Ｓ（ｆ’）はフィルタの空間的スペクトル応答であり、ｆ’は視聴する距離を補償するための空間的周波数の規格化された形式のものである請求項４記載の方法。
前記情報信号が映像信号であり、２つ又はそれ以上の各自異なる個々の客観的メトリックが、全エネルギの所定の第１部分を含む低位輝度ヒストグラム部分と、ヒストグラムのエネルギの所定の第２部分を含む上位輝度ヒストグラム部分との幅の間の規格化された差分に依存するコントラストメトリックを含み、前記ヒストグラムは前記情報信号の複数の画像にわたる時間に関する輝度の測定値である請求項１記載の方法。
前記情報信号がブロック符号化映像信号であり、２つ又はそれ以上の各自異なる個々の客観的メトリックが、画像のブロック境界にわたる差分の二乗の総和に基づくブロックエッジ損傷メトリックを含む請求項１記載の方法。
前記ブロックエッジ損傷メトリックＭ_ｈが：

として定義され、ｆは画像であり、Ｄ_Ｃは列に関する差分演算子であり、Ｗは視覚的に顕著な遮蔽効果により規定される重み行列であり、w _ｉは、（ｉ，ｊ）及び（ｉ，ｊ＋１）での画素の差分に関する画像列ｆ_Ｃの画素に対応する重みベクトルであり、重みw _ｉｊは：

として定義され、μ_ｉｊは前記差分に関する一方の画素の１列分の平均値であり、σ_ｉｊは標準偏差であり、μ_ｉｊは画像のその部分の平均輝度の測定値であり、σ_ｉｊは、強度変化の測定値であり、前記重みの分母に使用され；及び規格化因子Ｅは：

として定義され、Ｓ_ｋは：

により定義される請求項７記載の方法。
複合的客観的品質メトリックが、情報信号の品質の主観的評価と、複合的客観的品質測定値、及び少なくとも１つの付加的な個々の客観的品質メトリックに基づく類似する情報信号の品質に関する付加的な客観的測定値双方との相関をとる第２統計分析に基づき、前記少なくとも１つの付加的な個々の客観的品質メトリックが、２つ又はそれ以上の各自異なる個々の客観的メトリックと線形に関連付けられない請求項１記載の方法。
前記第２統計分析に使用される統計分析法が、前記第１統計分析に使用される統計分析法に類似する請求項９記載の方法。
前記少なくとも１つの付加的な個々の客観的品質メトリックが、急峻性メトリックである請求項９記載の方法。
複数の客観的品質判定装置であって、該客観的品質判定装置の各々は各自異なる個々の客観的品質メトリックを利用し、入力情報信号に依存する個々の客観的品質測定値を提供するようにした複数の客観的品質判定装置；
個々の客観的品質測定値の各々について相関結果を与える相関装置；
前記客観的品質測定値を個々の相関結果と結合し、複合的客観的品質測定値を導出する結合装置；
を有し、前記各自異なる個々の客観的品質メトリックがクリッピングメトリックを含み、前記情報信号が映像信号であり、前記クリッピングメトリックの結果は、許容される最大値に輝度信号が到達する回数及び許容される最小値に輝度信号が到達する回数の一方又は双方に依存するようにした複合的客観的品質判定装置。
複合的客観的品質測定値及び所定の品質基準に依存する変化量だけ入力情報信号を修正し、修正された情報信号を提供する情報信号修正部；
複合的客観的品質判定部；
を有し、前記複合的客観的品質判定部が：
各々が各自異なる個々の客観的品質メトリックを利用し、修正された情報信号に依存する個々の客観的品質測定値を提供する複数の客観的品質判定装置；
個々の客観的品質測定値の各々について相関結果を与える相関装置；
前記客観的品質測定値を個々の相関結果と結合し、複合的客観的品質測定値を導出する結合装置；
を有し、前記各自異なる個々の客観的品質メトリックがクリッピングメトリックを含み、前記情報信号が映像信号であり、前記クリッピングメトリックの結果は、許容される最大値に輝度信号が到達する回数及び許容される最小値に輝度信号が到達する回数の一方又は双方に依存するようにした情報信号修正装置。
前記情報信号修正部が、情報信号圧縮装置であり；
前記情報信号修正部が、更に、複合的客観的品質測定値及び所定の品質基準に依存して、修正制御信号を与える修正制御装置を有し；
前記情報信号修正部が、複合的客観的品質測定値及び所定の品質基準に依存するように、修正制御信号に依存して修正内容を変更する；
ようにした請求項１３記載の情報信号修正装置。
前記信号修正部が損失性情報信号圧縮装置であり、修正された情報信号が損失性の圧縮された情報信号であり；
前記情報信号修正部が、更に、損失性圧縮情報信号に依存して損失性の圧縮解除された情報信号を与える損失性情報信号圧縮解除装置を有し；及び
客観的品質判定装置が、損失性圧縮情報信号に依存して各自の客観的品質測定値を与える；
ようにした請求項１３記載の情報信号修正装置。
複合的客観的品質測定値及び所定の品質基準に依存する変化量だけ入力情報信号を修正し、修正された情報信号を提供する情報信号修正部；
修正された情報信号を記録媒体に記録する記録装置；
複合的客観的品質判定部；
を有し、前記複合的客観的品質判定部が：
各々が各自異なる個々の客観的品質メトリックを利用し、修正された情報信号に依存する個々の客観的品質測定値を提供する複数の客観的品質判定装置；
個々の客観的品質測定値の各々について相関結果を与える相関装置；
前記客観的品質測定値を個々の相関結果と結合し、複合的客観的品質測定値を導出する結合装置；
を有し、前記各自異なる個々の客観的品質メトリックがクリッピングメトリックを含み、前記情報信号が映像信号であり、前記クリッピングメトリックの結果は、許容される最大値に輝度信号が到達する回数及び許容される最小値に輝度信号が到達する回数の一方又は双方に依存するようにした情報信号レコーダ。
複合的客観的品質測定値及び所定の品質基準に依存する変化量だけ入力情報信号を修正し、修正された情報信号を提供する情報信号修正部；
修正された情報信号を送信媒体に送信する送信装置；
複合的客観的品質判定部；
を有し、前記複合的客観的品質判定部が：
各々が各自異なる個々のメトリックを利用し、修正された情報信号に依存する個々の客観的品質測定値を提供する複数の客観的品質判定装置；
個々の客観的品質測定値の各々について相関結果を与える相関装置；
各前記客観的品質測定値を個々の相関結果と結合し、複合的客観的品質測定値を導出する結合装置；
を有し、前記各自異なる個々のメトリックがクリッピングメトリックを含み、前記情報信号が映像信号であり、前記クリッピングメトリックの結果は、許容される最大値に輝度信号が到達する回数及び許容される最小値に輝度信号が到達する回数の一方又は双方に依存するようにした情報信号送信装置。
入射光に依存してディジタル映像信号を与える画像処理システム；
画像システムに入射光を絞り込む光学システム；
複合的客観的品質測定値及び所定の品質基準に依存する変化量だけ映像信号を修正し、修正された情報信号を提供する映像信号修正部；
修正された映像信号を媒体に送信する送信装置；
複合的客観的品質判定部；
を有し、前記複合的客観的品質判定部が：
各々が各自異なる客観的メトリックを利用し、修正された映像信号に依存する個々の客観的品質測定値を提供する複数の客観的品質判定装置；
個々の客観的品質測定値の各々について相関結果を与える相関装置；
前記客観的品質測定値を個々の相関結果と結合し、複合的客観的品質測定値を導出する結合装置；
を有し、前記各自異なる客観的メトリックがクリッピングメトリックを含み、前記情報信号が映像信号であり、前記クリッピングメトリックの結果は、許容される最大値に輝度信号が到達する回数及び許容される最小値に輝度信号が到達する回数の一方又は双方に依存するようにした映像カメラ。
前記媒体が、光学的記録担体である請求項１８記載の映像カメラ。
修正された情報信号を送信媒体から復元する受信装置；
前記修正された情報信号の圧縮化を解除し、損失性の圧縮解除された情報信号を与える圧縮解除装置；
複合的客観的品質測定値及び所定の品質基準に依存する圧縮制御信号を与える圧縮制御装置；
複合的客観的品質判定装置；
を有し、前記複合的客観的品質判定装置が：
各々が各自異なる客観的メトリックを利用し、損失性の圧縮解除された情報信号に依存する個々の客観的品質測定値を提供する複数のメトリック判定装置；
個々の客観的品質測定値の各々について相関結果を与える相関装置；
前記客観的品質測定値を個々の相関結果と結合し、複合的客観的品質測定値を導出する結合装置；
を有し、前記各自異なる客観的メトリックがクリッピングメトリックを含み、前記情報信号が映像信号であり、前記クリッピングメトリックの結果は、許容される最大値に輝度信号が到達する回数及び許容される最小値に輝度信号が到達する回数の一方又は双方に依存するようにした情報信号受信装置。
圧縮制御信号に依存する変化量により入力情報信号を圧縮する情報信号修正装置；
修正された情報信号を送信媒体に送信する送信装置；
修正された情報信号を送信媒体から復元する受信装置；
修正された情報信号の圧縮化を解除し、損失性の圧縮解除された情報信号を与える圧縮解除装置；
複合的客観的品質測定値及び所定の品質基準に依存する圧縮制御信号を与える圧縮制御装置；
圧縮制御装置からの圧縮制御信号を送信媒体に送信する制御信号送信装置；
送信媒体からの圧縮制御信号を復元し、圧縮制御信号を情報信号修正部に与えて通知する制御信号受信装置；
複合的客観的品質判定装置；
を有し、前記複合的客観的品質判定装置が：
各々が各自異なる客観的メトリックを利用して、損失性の圧縮解除された情報信号に依存する個々の客観的品質測定値を与える複数のメトリック判定装置；
個々の客観的品質測定値の各々について相関結果を与える相関装置；
前記客観的品質測定値を個々の相関結果と結合し、複合的客観的品質測定値を導出する結合装置；
を有し、前記各自異なる客観的メトリックがクリッピングメトリックを含み、前記情報信号が映像信号であり、前記クリッピングメトリックの結果は、許容される最大値に輝度信号が到達する回数及び許容される最小値に輝度信号が到達する回数の一方又は双方に依存するようにした情報信号ネットワーク。