JP4519323B2

JP4519323B2 - ビデオ信号品質の解析

Info

Publication number: JP4519323B2
Application number: JP2000599218A
Authority: JP
Inventors: ホリアー、マイケル・ピーター; ブーレ、アレクサンドル
Original assignee: British Telecommunications PLC
Current assignee: British Telecommunications PLC
Priority date: 1999-02-11
Filing date: 2000-01-24
Publication date: 2010-08-04
Anticipated expiration: 2020-01-24
Also published as: US7715592B1; DE60005798D1; JP2003536281A; WO2000048407A1; CA2371998C; ATE251830T1; EP1151618A1; DE60005798T2; CA2371998A1; EP1151618B1

Description

【０００１】
発明の属する技術分野
本発明は、ビデオ信号品質の解析に関する。本発明は開発中、製造中、または稼働中にビデオ伝送装置の振舞い、性能を監視する多数の応用がある。
【０００２】
従来の技術
通信システムが複雑さを増すにしたがって、その振舞い、性能を客観的に計測することが益々困難になってきている。現代の通信リンクは、データ圧縮技術を頻繁に使用して、伝送に必要な帯域幅を低減している。より効果的な伝送のために信号が圧縮されるとき、従来の工学測度、例えば信号対雑音比またはビットエラーレートは、最終的に信号を受取る人間によって体験される性能についての信頼できる指標ではない。例えば、ビットエラーレートがほぼ同じ２つのシステムは、どのディジタルビットが失われたかに依存して、エンドユーザに送られるデータ（サウンドまたは映像）品質に著しく異なった効果をもたらす。エコーキャンセルのような他の非線形プロセスも益々一般的になってきている。現在の通信システムが複雑であるために、従来の信号処理技術を使用する解析はこれらの他の非線形プロセスには不適切になってきた。ネットワーク品質についての２点間評価は、顧客が聞いり、見たりしたもの、あるいは聞いたり見たりしてきたものに依存しなければならない。
【０００３】
観察者の意見の主要な基準は国際電気通信連合（ＩＴＵ）規格に対して実行された主観的試験である（文献（“Methods for subjective determination of transmission quality”, P.800, 1996）および（“Subjective audiovisual quality assessment methods for multimedia applications”, P.911, 1998）参照）。これらは、何人かの人間の被験者が各被験者信号を聞かされるといった制御された主観的実験において、知覚された品質を測定する。これは、ネットワークの継続的な実験において使用するのには非実際的であり、さらに呼が監視されることで当事者のプライバシーを損ってしまう。これらの問題を解決するために、聴覚の知覚モデル、例えば本発明の発明者の国際特許明細書第WO 94/00922号、第WO 95/01011号、第WO 95/15035号、第WO 97/05730号、第WO 97/32428号、第WO 98/53589号、および第WO 98/53590号は、電話ネットワーク品質を測定するために開発された。これらは、客観的な性能の測度であるが、人間の被験者によって報告された品質評点とほぼ同じものを生成することによって、知覚された信号品質に対して直接に関係するように設計されている。
【０００４】
上述の従来技術のシステムは、サウンド（オーディオ）信号の品質を測定する。本発明は、類似した原理のビデオ信号への応用に関する。人間の知覚システム（この場合は、耳／脳システムではなく、目／脳システム）をエミュレートする基本的な原理は依然として使用されるが、ビデオ信号および人間の視覚知覚システムは両者とも相当により複雑であり、新しい問題を提起する。
【０００５】
ヒアリングに関して、人間の視覚の知覚システムは、視覚的刺激の中にあるいくつかの特徴（フィーチャ）の存在を知覚するのを非常に困難にするか不可能にする生理学的性質を有する。例えば、ＪＰＥＧ（Joint Pictures Expert Group）およびＭＰＥＧ（Motion Pictures Expert Group）によって確立された圧縮プロセスは、ビデオ信号（動画または静止画）で送られる情報量を低減するためにこれらの性質に依存している。２つの圧縮方式は、同じ様に情報を失うが、与えられた圧縮形画像の知覚される品質は、何れの方式が使用されるかによって非常に異なっている。したがって生成された画像品質は元の信号と最後の信号の簡単な比較によって評価できない。人間の視覚の特性は、知覚された品質の評価に含まれなくてはならない。
【０００６】
画素値の数学的処理によって画像からの情報について試行をし、およびそれを位置付けることには問題がある。画素の強度レベルは、人間という主体による対称物および形状の視覚的知識によって処理されるときのみ重要で意味をもつものになる。本発明では、数学的解法を使用して、耳−脳システムによって使用される情報に可能な限り近い類似の情報を抽出する。
【０００７】
視覚的モデリング（モデル形成）についての多数の異なるアプローチ（やり方）が報告されている。これらは個々のアプリケーション（応用）、または個々のタイプのビデオの歪に対して特定されている。例えば、ＭＰＥＧ圧縮システムでは、連続するフレーム間の差をコード化しようとする。オーバーロードの期間で、連続するフレーム間に多くの差があるときには、このプロセスは画素の分解能を低減し、均一のカラー（色彩）およびルミナンス（輝度）のブロックを生じさせる。Karunasekera,A.S.およびKingsbury,N.G.は文献（“A distortion measure for blocking artifacts in images based on human visual sensitivity”, IEEE Transactions on Image Processing, Vol.4, No.6, pages 713-724, June 1995）において、この種の“blockiness（ブロックがある状態の度合い）”を検出するようにとくに設計されたモデルを提案している。しかしながらこのようなblockinessは、常にエラーを示す訳ではなく、例えばその効果は画像の作成者によって意図的にわざと導入されてよく、視覚効果を与えたり、または身元を隠すことが望まれている人の顔の特徴（フィーチャ）のような細部を消すことの何れかにあてられる。（訳者注：blockiness:ピクセル分解能と低減された画像の視覚上の現われ方を指し、ピクセル分解能の低減度を表わす。画素を方形ブロックとして画像を画定することに関係している）。
【０００８】
幅広い範囲の、すなわち高解像度（高鮮明度）のテレビジョンからビデオ会議までの応用についての要求が満たされると、より複雑なアーキテクチャ（構造）を使用しなければならない。
【０００９】
ある種の既存の視覚モデルは、ここでは“知覚ステージ（perceptual stage）”と呼ばれている知覚の特徴についての基本的なエミュレーションを備えている。既に記載したKarunasekeraの参考文献、およびLukas,X.J.とBudrikis,Z.L.とによる文献（“Picture Quality Prediction Based on a Visual Model”, IEEE Transactions on Communications, vol. com-30, No.7, pp.1679-1692, July 1982）にはその例が記載されており、簡単な知覚ステージは、大きいエラーが主観性を支配するという基本的な原理で設計されている。他の手法も検討されており、例えばTan,K.T.、 Ghanbari,M.、およびPearson,D.E.による文献（ “A video distortion meter”, Informationstechnische Gesellschaft, Picture Coding Symposium, Berlin, September 1997）には時間的な広がりをもつエラーの集合モデルが記載されている。しかしながらこれらのアプローチ（手法）の何れも、画像内に存在する全てのエラーの相対的な重要度に対処していない。
【００１０】
本明細書の目的の上では、画素の“色彩（カラー）”は、画素における原色（赤、緑、および青、すなわちＲ、Ｇ、Ｂ）の割合として規定される。“輝度（ルミナンス）”は３原色の全体的な強度である。とくに、グレースケールにおける種々の影は輝度の変化によって生じる。
【００１１】
発明が解決しようとする課題
本発明の第１の態様にしたがって、第１のビデオ信号と第２のビデオ信号との間の差を測定する方法であって：
各ビデオ信号の情報内容を解析して、その中に示されているビデオ画像の知覚上関連する境界を識別する段階と；
第１の信号の画定された境界と第２の信号の画定された境界とを比較し；この比較には、第１の画像において画定された境界の特性が第２の画像内に保存される範囲を判断することを含んでいるものとする比較する段階と；
第１の信号と第２の信号との間の知覚の差を示す出力を生成する段階とを含む方法を提供する。
【００１２】
本発明の第２の態様にしたがって、第１のビデオ信号と第２のビデオ信号との間の差を測定する装置であって：
各ビデオ信号の情報内容について、その中に示されたビデオ画像の知覚上関連する境界を識別するようにされている解析手段と；
第１の信号の画定された境界と第２の信号の画定された境界とを比較し；この比較に、元の画像において画定された境界の特性が第２の画像内に保存される範囲を判断することを含む比較手段と；
第１と第２の信号間の知覚の差を示す出力を生成する手段とを含む装置を提供する。
【００１３】
画像の主要な要素間の境界は、人間の知覚システムによって使用されて、このような要素を区別する測定可能な特性によって識別することができる。これらの要素には色彩、輝度、いわゆる“ハード”エッジ（色彩または輝度にコントラストを付け、輪郭または他の境界を画定する細い線であり、このような線は高空間周波数の領域として画像解析において識別可能である）、およびその他の後で記載するものを含むが、これらに制限されない。
【００１４】
比較のもととなっている境界の特性は、このような境界を画定している特徴を含む。とくに、境界が所定の特徴によって画定され、その特徴が劣化した画像内で失われているときは、その画像要素の知覚される劣化度は、元の境界が知覚上どの程度重要であったかに依存する。この境界によって画定された要素が別の特徴によって画定された境界によって、劣化された画像内でやはり識別できるとすると、比較はこのような置換境界が知覚上どの程度重大で意味あるものか、およびその位置が元の失われた境界にどの程度近いかをも検討する。
【００１５】
本発明は、画像内に存在する要素の重要度が等しくないことに基いている。エラーが画像の本質的な特徴の１つの形状を乱すとき、このエラーはより知覚可能なものとなる。例えばテクスチャード（テクスチャー状態とされた）領域の真ん中のエッジ上に存在する歪みは、独立のエッジ上の同じエラーよりも知覚され難い。その理由は、テクスチャの一部を形成しているエッジは独立のエッジよりも少ない情報を保持しているからであり、これはRan, X.およびFavardin, N.による文献（“A Perceptually Motivated Three-Component Image Model-Part II: Application to Image Compression”, IEEE Transactions on Image Processing, Vol.4, No.4, pp.713-724, April 1995）に記載されている。しかしながら、テクスチャード区域が境界を画定するときは、このテクスチャード区域全体でテクスチャの特性を変えるエラーは、このエラーによってこの区域のテクスチャード特徴が失われるときは、独立のエッジ上のエラーと同じくらい重要になる。本発明は、各境界の知覚のレレバンス（関連性、検索能力）、およびこのレレバンスが保存される程度を調べる。
【００１６】
このプロセスは、画像の主要な要素間の境界である最大の知覚上のレレバンスの要素を識別する。境界によって画定される領域内の性質についての小さい変化は、境界がその形状を変えることになるエラーよりもレレバンスが小さい。（訳者注：知覚のレレバンス（cognitive relevance）は画像間の差を認識する際の特徴の相対的な重要度を指す。図３の参照番号36で識別されるプロセスはある特徴の識別に依存して、重み付けファクタＷを適用している）。
【００１７】
さらに、このプロセスでは、画像の主要な要素がどのように識別されるかについて独立して個々にこの情報を比較することができる。人間の知覚システムは、多くの異なる様式で画像の異なる領域を識別することができる。例えば“ハードエッジ（hard edge）”がないことは、このエッジによって分割される領域がほぼ同じ色をもつときに、対比色（コントラストのある色彩）であるときよりも、知覚の劣化をより大きくする。色彩のコントラストはそれでもなお境界の知覚を可能にするからである。変化がより急峻になると、境界の知覚の重要度はより大きくなる。
【００１８】
画像内で画定される境界を解析することによって、さらに進んだ別の開発が数多く可能になる。
【００１９】
境界は、各画像内の主要な要素および相対的な位置における差を識別することによって、基準のフレームとして使用することができる。絶対的な位置とは対照的に、相対的な位置における差を使用することによって、画像内の知覚上重要でない差は、観察者によって知覚される結果的に生成された画像の品質に影響を与えないので、これを無視することができる。とくに、一方の画像が他方の画像に対してオフセットしているとき、一方の画像の個々の画素と他方の画像の対応する画素との間には多くの差があるが、境界が同じ相対的な位置にあるときは、これらの差は知覚的にレレバントではない。絶対的な（画素の座標の）基準フレームではなく、画像の主要な境界を参照することによって、オフセットを補償することができる。
【００２０】
解析はまた、これらの境界をどのように画定するかではなく、識別される境界の形状によって再び識別される、知覚上の重大な意味のある画像の特徴の識別を含んでもよい。第１と第２の信号間の知覚の差を示す出力は、このような画像の特徴の知覚の重大度にしたがって重み付けされることができる。重大な特徴は、人間の顔をメイクアップする種々の特徴を含み、この特徴は、とくに視覚言語のキュー（ビジュアルスピーチキュー）を用意する際に重要である。このような特徴は人間の認知システムにとってとくに重大な意味のあるものであり、したがってスプリアスの要素が、歪むこと、存在しないこと、存在すること、または相対的位置の変化といったエラーは、フィーチャ（特徴）における知覚上のレレバンスが他におけるよりも大きいものである。
【００２１】
テキストを含む画像では、書体（タイプフェース）の1つの特徴を他と区別するフィーチャ（例えば、文字“Ｇ”はセリフによって“Ｃ”と区別される）は知覚において重要な意味をもつものである。
【００２２】
ここで本発明の実施形態を、例示的に添付の図面を参照して記載することにする。
【００２３】
発明の実施の形態
この実施形態では、測定プロセスは２つのステージを含んでおり、それぞれ図１および３に示した。第１の感覚（sensory）エミュレーションステージでは、所定の刺激に対する人間の視覚システムの物理的感度を説明している。第２の知覚（perceptual）ステージでは、残っている可視エラーによって生じる主観的な侵入（subjective intrusion）を評価する。図１および３に示した種々の機能要素は、汎用コンピュータ上で実行されるソフトウエアとして実現することができる。
【００２４】
感覚ステージ（図１参照）は感覚機構の全体的な精神物理学、すなわち：
（ｉ）人間の視覚フィルタとして知られている時空的感度と、
（ii）空間周波数、方向および時間周波数によるマスキングとを再生する。
【００２５】
図１は、人間の視覚システムの物理的な特性をエミュレートする感覚ステージの表示を与える。同じプロセスは元の信号と劣化した信号の両者に適用される：これらは並列処理ユニットによって同時に実行されるか、または同じ処理ユニットを使用して各信号毎に順に実行される。
感覚ステージは、細部が物理的に知覚可能であるか否かを識別し、視覚システムが細部を感知する程度を識別する。このために、感覚ステージでは、視覚的刺激の物理的な知覚可能度（physical perceptibility）に影響を与える視覚システムの２つの主要な特徴：すなわち、
・目／脳システムの感度
・マスキング効果−すなわち、１つの刺激の知覚の重要度の変化。他の刺激の存在にしたがって変化する。
【００２６】
これらの特徴の各々は、これから記載するように、時間と空間の次元の両者を有する。
【００２７】
各信号は、最初にフィルタ12によって時間および空間周波数においてフィルタ処理されて、フィルタ処理されたシーケンスを生成する。フィルタ12において使用される値は、図２に関係して既に記載したように、人間の視覚応答をエミュレートするように選択される。このフィルタは、人間の視覚（目／脳）システムには、見えない細部を取除くことができ、したがってエラーとして計数されず、その一方で他の空間および時間周波数における細部の知覚可能度はこれらの周波数における人間の感覚システムのより高い感度によって増大される。これは、視覚の鋭敏さ（visual acuity）にしたがい信号が含む情報に重み付けをする効果がある。
【００２８】
人間の視覚システムでは、一部の空間および時間周波数が他よりもより高感度である。日々の経験から、我々は一定の大きさよりも小さい細部を見ることができないことが分かる。空間分解能は、空間周波数という項目を基準としており、これは目で範囲を定められた角度について存在するシヌソイドパターンのサイクル数を計数することによって規定される。間隔が密接している線（微細部）は高い空間周波数に対応し、一方で大きいパターンは低い空間周波数に対応する。この概念が取入れられると、人間の視覚（ビジョン）は、約８サイクル／度の空間周波数のピーク（中域）感度および高周波数（６０サイクル／度以上）の不感度について、フィルタと比較される。類似のフィルタの特性は時間の領域に応用できるが、目は約５０ヘルツより速いちらつきを知覚できない。空間および時間の両周波数についての全体的なフィルタ特徴は、図２に示したように表面として表わすことができ、なお図２において軸は（サイクル／度およびヘルツでそれぞれ測定された）空間および時間周波数である。垂直方向の軸は感度であり、単位は最大感度が１に等しくなるように正規化されている。
【００２９】
感覚ステージによってモデル化されている視覚の第２の態様は、“マスキング”として知られており、より大きい空間的な活動（アクティビティ）が行われる画像領域内におけるエラー知覚度は低減し、この効果の時間的な対応部分は、動きのレートが増加するにしたがって細部の可視度が低減する。マスキングは、主要な皮質（primary cortex）の組織を考慮することによって、視覚的処理を担当している脳の第１のステージを理解することができる。皮質の各部分は網膜（レチナ）の一定の領域に対して感度がよい。到来する画像流は空間周波数、時間周波数、および方向の（チャンネルとして知られている）グループに分割される。脳の“次のステージ”は画像流を1組のチャンネルとして処理し、各チャンネルは網膜の対応する領域における空間／時間周波数および方向の組合せを考慮し、説明している。所定のチャンネルが励起されると、このチャンネルは隣りのチャンネルを抑止して、近接している空間または時間周波数あるいは方向の他の細部を検出するのをより困難にする傾向がある。
【００３０】
マスキングは、チャンネルが隣接するチャンネルに対して行う抑止量の測度である。この情報は、チャンネルの代表的なサンプルによって生成されるマスキングを調べることによって、空間／時間周波数および方向の特性という項目について得られる。活動のマスキング（アクティビティマスキング）をシミュレートするための感知ステージでは、画像内の空間周波数と方向との各組み合わせの中に存在する活動量を知ることが必要である。この計算は、ガボール関数（Gabor function）、すなわちバンドパスフィルタのフレキシブルな形態を使用して実行でき、各信号の内容が空間周波数および方向によって分けられている各出力14を生成する。一般的に、各出力信号において、４つの空間的方向（垂直、水平、および２つの対角線方向）および４つの空間的周波数とを含む１６の出力チャンネルが使用される。結果的に生成されたチャンネルはマスキング計算器15によって解析される。この計算器は、他のチャンネルのマスキング効果に合わせて各チャンネルを変更し；例えば、低空間周波数の事象の知覚重要度は、より高い周波数の空間的事象と共に存在するときには低減される。マスキングは時間的な感覚においても発生し−他の効果が短い時間内で発生するときには、あるフィーチャは人間の観察者にとってより知覚し難い。
【００３１】
このマスキングモデルの校正には、所定の方向の空間／時間周波数が別の刺激の可視度をどのように低減するかを記載したデータが必要である。この情報は、組み合わせの数が非常に大きいときは、完全な記述として得ることができない。したがって、各パラメータの別々の影響が測定される。最初に刺激に対する背景のマスキング効果が、２つの間の相対的方向にしたがって測定される。次にマスカー（masker、マスクがけをするもの）と刺激との間の空間および時間周波数の効果が測定される。（訳者注：この文章は画像の第1の特徴（刺激）が第２の特徴（masker）によって抑制されているかを示しておる。「次に、空間周波数の差の効果と、時間周波数の差の効果とが測定される。」と置き換えて表現できる。）最後に２つの特性が共通の測定された点を内挿することによって組み合される。
【００３２】
元のフレームと劣化されたフレームとの間の簡単な比較では、水平方向／垂直方向のシフト（移動）のような一定のタイプのエラーは全フレーム上に多くの量のエラーを生成するが、ユーザには気付かれることはない。この問題は、文献（ITU-T “Draft new recommendation on multimedia communication delay, synchronisation, and frame rate measurement”, COM 12-29-E, December 1997）に特定されているように、フレームの再整列を採用することによって対処することができる。しかしながら、この簡単な方法は、圧縮されたシーケンスにおける要素の劣化のような、他の普通の欠点については許されていないので、エラーの主観性について完全に説明責任を果たしていない。
【００３３】
感知ステージの次には、画像内の構造に関してエラーの重要度にしたがって、画像は知覚ステージによってエラーの主観性の計算を可能にするように分解される（図３参照）。可視エラーがエッジのような画像の肝要なフィーチャと一致するときは、もっと主観的に邪魔なものである。人間の観察者が画像の内容を知覚できるようにする基本的な画像の要素は、１組の抽象化された境界として考えることができる。これらの境界は、色彩および輝度の差、テクスチャの変化と動き、およびエッジによって形成することができ、分解された画像内で識別される。実際に何も存在していないところで境界を知覚するようにさせるいくつかの“Gestalt”効果（訳者注：ドイツ語起源の語）でさえも、アルゴリズムで測定されて適切な重み付けを可能にする。
【００３４】
これらの境界は、画像の内容を知覚するために要求されるのであり、これこそが、例えばその形状を不明確にするかまたは変更することによって、これらの境界を劣化する可視エラーは、そのようにされていないものよりも大きな主観的に重大な意味をもっている理由である。知覚ステージからの出力は、種々の意見の基準をマップするために異なって重み付けすることができる1組の情況感知エラー（context-sensitive error）の記述子である。
【００３５】
いくつかの例では、例えば“ゴースト”画像がマルチパス反射によって形成されるときに、境界は全く存在しないか、またはスプリアスの境界が存在する。この場合に、境界自体が存在しても、またはしなくてもエラーである。
【００３６】
図３は、画像のシーケンス内に存在するエラーの主観的な重大度を測定する知覚ステージを表わしている。元の信号16および劣化した信号16ｄは、各々が図１を参照して記載したようにフィルタ処理およびマスク処理をされていて、最初に成分抽出プロセス31において各々が（並列または直列に）解析されて、各画像の主要な成分のエッジまたは境界の特性を識別する。これらの特性は入力32、32ｄとして比較プロセス33へ供給され、比較プロセス33は元の画像に対して劣化された画像の全体的な知覚の劣化を示す出力38を生成する。
【００３７】
抽出プロセス31によって識別される成分は、次に記載するものによって区別することができる：
・輝度（図４参照）および色彩、
・強いエッジ（図５参照）、
・エンクロージャエフェクト（閉鎖効果）（図６参照）、
・テクスチャ（図７参照）、
・移動（動き）、
・（立体）双眼視の不同（Binocular (Stereoscopic) Disparities）。
【００３８】
これらの最後の２つの効果は、印刷されたページ上に容易に示されない移動および立体視に関係する事象に依存する。同様の理由で、色彩の差ではなく、輝度の差のみを図４に示した。
【００３９】
図４ないし７には全て、円と正方形が示されており、正方形は円の一部を隠蔽している。各場合とも、２つの要素間の境界は容易に知覚されるが、２つの要素は異なる様式で表わされている。図４において、円および正方形は異なる輝度を有し−円は黒で、正方形は白である。境界は、この特性が変化する位置において知覚される。図５、６、および７にも、輝度が変化する位置（例えば、図７における各個々のストライプ間の境界）があるが、これらは画像の主要な境界として知覚されないことに注意すべきである。
【００４０】
図５は、エッジによって画定される境界を示している。“強いエッジ（ストロングエッジ）”、もしくは輪郭（アウトライン）は、色彩または輝度の狭い線形のフィーチャであり、その何れかの側部上の領域とコントラストを付けている。観察者は、この線形のフィーチャを１つの本来的な成分として主として知覚するのではなく、その成分の何れかの側部の成分を分けている境界として知覚する。この画像の解析においては、このようなエッジは、フィルタ処理された信号における局所的な高周波数要素によって識別することができる。エッジを識別する適切なプロセスが生成され、例えばS M SmithおよびJ M Bradyによる文献（“SUSAN-A new approach to low-level image processing”, Technical Report TR95SMC1c, Oxford Centre for Functional magnetic Resonance Imaging of the Brain, 1995）に記載されているエッジ抽出プロセスがある。
【００４１】
多くの環境において、観察者は、連続する実線が存在しないエッジを知覚することができる。例示的に、図６には線が不連続の点線であるものを示した。人間の知覚システムは、“閉鎖（closure）”として知られているプロセスを実行し、これは、このような部分的なエッジを完成する傾向がある。（図４ないし７の何れも実際には完全な円を示していないために、別の例を示す観察者は、各図に実際に示した４つのレンズ形領域から円の存在を推測する）。人間の知覚システムによって実行される閉鎖プロセスをエミュレートするために種々のプロセスが展開される。１つのこのようなプロセスは、Kass M.、Witkin A.、およびTerzopoulos D.によって文献（“Snakes: Active Boundary Models”, the Proceedings of First International Conference on Computer Vision 1987, pages 259-269）に記載されている。
【００４２】
“テクスチャ”は、既に記載した性質が一定していない多くの領域において識別することができる。例えば、背景に対してコントラストをつけている色彩または輝度の平行線によって占有されている領域では、各線の個々の位置は大きい知覚の重要度をもたない。しかしながら、線が領域の異なる部分において異なる方向をもつときには、観察者は、方向が変わる境界を知覚する。この性質は、例えばペンキ塗装の刷毛使いの方向において見出される。図７に示した例では、円および正方形は、２つの一連の並行するバーを直交させることによって画定されている。画像が拡大され、角度のついた縞の分かれ目は図２に示したピークにより近付き、正方形および円の寸法がこのピーク値から離れるとすると、個々のストライプは、正方形および円の代わりに、支配的なフィーチャになることに注意すべきである。バーの方向が異なるときは、正方形と円との間の境界は曖昧になることが明らかになる。画像の領域のテクスチャの内容を識別するために、ガボールフィルタ13から出力された各チャンネル内のエネルギー内容が使用される。各チャンネルは、所定の空間周波数および方向を表わしている。所定のチャンネルが高いエネルギー内容をもつときに領域を識別することによって、同様のテクスチャの領域を識別することができる。
【００４３】
添付の図面に示されていない他の様式では、人間の知覚システムによって形状を認識することができる。とくに、関係する画像間の不同、例えば立体視において使用される画像フレームの対、または映画における連続する画像フレームは、単一フレームの検査では明らかでない画像要素を識別することができる。例えば、２つの別々の類似の画像があって、個々の画像内に認識可能な構造をもたないとし、一方の画像内で変位されている領域を他方の画像内の位置との間で含むとすると、その領域の境界は、２つの画像が同時に観察されるときには、各々の目によって１つを認識することができる。同様に、明らかにランダムな画素の領域が動く画像内の別のこのような領域をコヒーレントに移動するとき、シーケンスから取った個々のフレーム内に認識できる形状がなくても、観察者はこの領域を認識できる。この現象は自然界で確認でき−すなわち、カレイ類のような生物は環境とほぼ同じ色をしていて、移動するときのみ気付いて認めることができる。
【００４４】
構成要素（成分）抽出プロセスは、元の信号と劣化された信号の両方の主要な要素の境界を識別する。各境界の知覚の重要度は多数の要素、例えばその性質（エッジ、色彩の変化、テクスチャ、など）、関係するコントラストの度合い、およびそのコンテキスト（情況）のような多数の要因に依存する。この最後のカテゴリでは、フィルタ処理され、マスク処理された信号の高周波数の構成要素は、画像のその領域内に存在する多数の個々のエッジがあることを知らせる。これは−このようなエッジを数個もつ図５、およびこのようなエッジを多数もつ図７と比較してみれば−各個々のエッジの重大度である意味付けを減している。
【００４５】
構成要素分割段階31において実行される各個々の抽出プロセスは、それ自体では、一般に、比較的貧弱に振舞い、それらの全てが偽の境界を生成して、他を検出するのに失敗することが原因となっている。しかしながら異なるプロセスの組み合わせは、結果の品質を高めて、視覚の対象物はしばしば多くの知覚境界によって画定され、これはScassellati B.M.による文献（“High-level perceptual contours from a variety of low-level physical features”, (Master Thesis, Massachusetts Institute of Technology, May 1995)に記載されている。したがって比較プロセス33は、単一の集合した出力38を生成するために、全ての境界を一緒に比較し、これが知覚の重大度に影響を与えてきたかを除けば、全ての境界がどのように画定されているかには関わらないようにしている。
【００４６】
比較解析31の結果32、32ｄは比較プロセス33へ送られ、比較プロセス33では各信号内で識別された構成要素の境界が比較される。画像内の全ての境界のタイプの知覚のレレバンスを比較することによって、信号の劣化の全体的な知覚の重大度の測度が判断でき、出力38として与えることができる。劣化した信号におけるエラーの知覚の重大度は、それらが発生するコンテキストに依存する。例えば、図７における斜線（エッジ）の利得の損失は、観察者の画像の知覚にほとんど影響を与えないが、同じエラーは、図５に適用されるとき、相当に大きい重大度（意味付け）をもっている。同様に、ランダムな濃い斑点は読取り易さ（legibility）について図４よりも図６に相当に大きい影響を与える。
【００４７】
より詳しく述べると、比較プロセス33は多数の個々の構成要素から構成されている。第１の要素は、２つの画像34内の境界の配置間の密接な整合を識別し（34）、これを使用して、これらの境界が対応するように、一方の画像を他方の画像にバルク変換する（35）。
【００４８】
次のプロセス36は、人間の認識システムの感度が最も高いフィーチャ（特徴）を識別し、このような特徴について重み付けファクタＷを生成する。一定の顔の特徴は主として視覚言語のキューに責務を負うことが分かっているので、例えば、目視可能な（ビジュアル）言語キューについて責務を負っているような、肝要な画像要素の認識に基いた検索能力（cognitive relevance）に重み付けすることができる。例えば、Rosenblum, L.D.およびSaldana,H.M.による文献（“An audiovisual test of kinematic primitives for visual speech perception”, Journal of Experimental Psychology: Human Perception and Performance”, vol.22, pages 318-331, 1996）、並びにJordan,T.R.およびThomas,S.M.による文献（“Anatomically guided construction of point-light facial images”, Technical report, Human Perception and Communication Research Group, University of Nottingham, Nottingham, U.K, 1998）を参照されたい。
【００４９】
したがって顔は、パターン認識を使用するか、または画像配信サービスの性質によって存在すると推測することができる。
【００５０】
１つの画像における各境界の知覚の重大度は、（もしあれば）他の画像内の対応する境界として比較され（37）、出力はこのような知覚の重要度および既に判断した重み付けＷにおける差の度合いにしたがって生成される（38）。境界がどのように画定されているか（ハードエッジ、色彩の差、など）における相違は、境界の知覚の重大度に必ずしも影響を与えないが、全ての境界は画定され、一緒に比較されることに注意すべきである。さらに、スプリアスの境界の存在は、真の境界が存在しないときに知覚において重大な意味をもつものであるので、判断される知覚可能性は絶対的な差がある。
【００５１】
信号の劣化は、例えばエッジによって画定される境界を消すが、境界は、他の差、例えば色彩、輝度、またはテクスチャのために依然として認識可能であることに注意すべきである。確立されたモデル（フィルタ処理され、マスク処理されたノイズ）によって生成されたエラー画像は画像の目に見える劣化の指標を与える。比較プロセス37は、本質的な内容が維持されている範囲の測度を含み、画像了解度の向上した測度を与える。境界の比較（段階37）において、所定の境界の知覚の重大な意味付けはその本質に依存する。異なるテクスチャ間の境界は、エッジによって画定された境界ほど適切に画定されておらず、このような低減した境界の知覚可能性は出力を生成する際に検討される。
【００５２】
このプロセスは、大部分のビデオ品質評価応用に適しており、知覚境界の識別および比較が必要である。良好な例は非常に低いバンド幅システムによって与えられ、顔はアルゴリズムによって再構成される。したがって既に知られている視覚モデルの多くは適切にアクセスすることができない。知覚境界の比較はさらに、アニメーション化された話をしている顔のような画像の合成表示の評価も可能にし、ここでは顔として次の認知の解釈を容易にする画像のフィーチャ（特徴）が最も重要である。
【図面の簡単な説明】
【図１】システムの第１の感覚エミュレーションステージを模式的に示す図。
【図２】感覚エミュレーションステージにおいて使用されるフィルタパラメータを示す図。
【図３】システムの第２の知覚ステージを模式的に示す図。
【図４】境界を知覚する４つの様式を示す図。
【図５】境界を知覚する４つの様式を示す図。
【図６】境界を知覚する４つの様式を示す図。
【図７】境界を知覚する４つの様式を示す図。

Claims

第１のビデオ信号（16）と第２のビデオ信号（16ｄ）との間の差を測定する方法であって：
各ビデオ信号の情報内容を解析して、その中に示されているビデオ画像の知覚上関連する境界を識別する段階（31）と；
第１の信号の画定された境界と第２の信号の画定された境界とを比較し；この比較には、第１の画像において画定された境界の特性が第２の画像内に保存される範囲を判断することを含む比較する段階（33）と；
第１の信号と第２の信号との間の知覚の差を示す出力を生成する段階（38）とを含む方法。
境界を識別する複数の特徴（32，32ｄ）について情報内容を解析し、比較（37）の基礎となっている境界の特性が、各信号中にこのような境界を画定している特徴を含む請求項１記載の方法。
特徴がエッジの存在を含む請求項２記載の方法。
特徴が、同じ信号のフレーム間の不同の存在を含む請求項２または３記載の方法。
特徴が、輝度、色彩、またはテクスチャのような特性の少なくとも1つにおける変化を含む請求項２ないし４の何れか１項記載の方法。
比較が、第１および第２の信号において識別された対応する境界の知覚可能性の比較を含む請求項１ないし５の何れか１項記載の方法。
画像の比較が、
各画像内の主要な要素の識別段階（34）と、
前記主要な要素の相対的な位置における差についての補償段階（35）とを含む請求項１ないし６の何れか１項記載の方法。
解析が知覚上、意味のある画像の特徴の識別を含み、また、第１と第２の信号間の知覚上の差を示す出力（38）がこのような画像の特徴の認識に基いたレレバンスにしたがって重み付けされる（36）請求項１ないし７の何れか１項記載の方法。
知覚上、意味のある画像の特徴が、人間の顔の特徴である請求項８記載の方法。
重み付けが、目視可能なキューを言語に与える際の特徴をもつ重大度にしたがって出力される請求項９記載の方法。
知覚上意味のある画像の特徴が、個々のテキストの特徴を識別するものである請求項８記載の方法。
第１のビデオ信号（16）と第２のビデオ信号（16ｄ）との間の差を測定する装置であって：
各ビデオ信号の情報内容について、その中に示されたビデオ画像の知覚上関連する境界を識別する解析手段（31）と；
第１の信号（16）の画定された境界と第２の信号（16ｄ）の画定された境界とを比較し；この比較に、第１の画像において画定された境界の特性が第２の画像内に保存される範囲を判断することを含む比較手段（33）と；
第１と第２の信号（16，16ｄ）間の知覚の差を示す出力を生成する手段（38）とを含む装置。
解析手段（31）が、境界を識別する複数の特徴（32，32ｄ）について信号（16，16ｄ）内の情報内容を解析するようにされており、比較手段（33）が、各信号においてこのような境界を画定する特徴を比較するようにされている請求項１２記載の装置。
解析手段（31）が、エッジの存在を識別する手段を含む請求項１３記載の装置。
解析手段（33）が、同じ信号のフレーム間の不同の存在を識別する手段を含む請求項１３または１４記載の装置。
解析手段（33）が、特性、すなわち輝度、色彩、テクスチャの少なくとも１つにおける差を識別する手段を含む請求項１３ないし１５の何れか１項記載の装置。
比較手段（33）が、第１および第２の信号において識別された境界の知覚可能性を判断する手段を含む請求項１２ないし１６の何れか１項記載の装置。
比較手段（33）が、各画像および並進手段（35）内の主要な要素を識別するための画像整合手段（34）と、第１および第２の画像内のこのような要素の相対的な位置についての差を補償するために１つの画像（16ｄ）の並進を実行するための並進手段（35）とを含む請求項１２ないし１７の何れか１項記載の装置。
比較手段（33）が、比較（32，32ｄ）において知覚上意味のある画像の特徴を識別し、このような画像の特徴の認識に基いたレレバンスにしたがって出力（38）を重み付けするための重み付け手段（36）を含む請求項１２ないし１８の何れか1項記載の装置。
元の入力信号（11）を処理して、人間の視覚システムの応答をエミュレートして、解析手段（31）へ入力するための変更された入力信号（16，16ｄ）を生成する請求項１２ないし１９の何れか１項記載の装置。