JP4450516B2 - ２つの信号配列間の視程差を評価するための方法及び装置 - Google Patents

Description

【０００１】
本出願は、１９９９年２月２５日に出願され且つ参照することによって本願に組み入れられる米国仮出願第６０／１２１，５４３号の利益を主張する。また、本出願は、参照することによって本願に組み入れられる１９９７年４月４日に出願された米国仮出願第６０／０４３，０５０号及び１９９８年２月２日に出願された米国仮出願第６０／０７３，４３５号の利益を主張する１９９８年４月３日に出願された米国特許出願第０９／０５５，０７６号の一部継続出願である。
【０００２】
本発明は、信号処理システムの性能を評価して向上させるための装置及びそれに付随する方法に関する。より詳細には、本発明は、２つの信号配列間の視程差を評価するための方法及び装置に関する。
【０００３】
（発明の分野）
画像システム等の信号処理システムの設計者は、しばしば、コントラスト、解像度、圧縮／非圧縮（ｃｏｄｅｃ）プロセスにおけるビットレート効率といった物理的なパラメータに関して、その設計の性能を評価する。これらのパラメータは、簡単に測定することができるが、性能を評価するための正確な基準ではない場合がある。その理由は、一般に、画像システムのエンドユーザは、アーチファクトもしくは歪みの視認性といった主観的な視覚性能や、ある場合には、ＭＲＩ（磁気共鳴イメージング）画像やＣＡＴ（コンピュータ支援断層影像）走査画像等の画像内の膨らみの存在といった情報を示すこれらの画像特徴の増加に対して非常に関心があるからである。
【０００４】
例えば、２つの異なるｃｏｄｅｃ画像を形成するために、２つの異なるｃｏｄｅｃアルゴリズムを使用して、入力画像を処理することができる。人間の視力の心理物理的な特性を考慮することなく、両方のｃｏｄｅｃ画像に平均２乗誤差（ＭＳＥ）演算を行なうといったように、ｃｏｄｅｃ画像の信頼性の尺度がパラメータのみに基づいている場合には、低いＭＳＥ値を有する、ｃｏｄｅｃ画像は、実際には、高いＭＳＥ値を有するｃｏｄｅｃ画像の視認可能歪みよりも多い視認可能歪みを含んでいる場合がある。
【０００５】
従って、この技術分野においては、画像システム等の信号処理システムの主観的な性能における物理的なパラメータの効果を評価する方法及び装置が必要である。すなわち、経時変化する視覚画像の２つの配列間の視程差を評価する方法及び装置の存在が要求される。
【０００６】
（発明の開示）
本発明は、画像配列等の２つの信号配列間の視程差を評価するための装置及び方法である。装置は、入力信号処理部と、輝度処理部と、クロミナンス処理部と、知覚距離形成部とを有する知覚距離ジェネレータを備えている。
【０００７】
入力信号処理部は、入力信号を、心理物理的に規定された量、例えば輝度成分及びクロミナンス成分に変換する。輝度処理部は、輝度成分を輝度知覚距離へと処理し、一方、クロミナンス処理部は、クロミナンス成分をクロミナンス知覚距離へと処理する。また、知覚距離形成部は、輝度知覚距離をクロミナンス知覚距離と関連付けて、統合された知覚画像距離、例えば最小可知差異（ＪＮＤ）マップにする。
【０００８】
入力信号を処理するために、ＪＮＤマップは、独立の空間及び時間チャンネルを使用して形成される。装置の性能を高めるため、空間−時間フィルタを有するチャンネルが使用されて、信号内の点もしくラインのフリッカーに応答する。すなわち、純空間もしくは純時間信号に対する応答を変更することなく、ラインフリッカーに対する視覚応答をシミュレートするために、複数の画像領域にわたってフィルタリングが行なわれる。
【０００９】
本発明の技術は、添付図面を参照しながら以下の詳細な説明を考慮することによって容易に理解できる。
【００１０】
（詳細な説明）
図１は、本発明を利用する信号処理システム１００を示している。信号処理システムは、信号受信部１３０と、信号処理部１１０と、入／出力装置１２０と、試験用システム１４０とから成る。
【００１１】
信号受信部１３０は、画像装置からの一連の画像、あるいは、マイクロフォンや記録媒体からの音声信号のように時間に伴なって変化する信号のような入力データ信号を受けるようになっている。従って、以下、画像に関して本発明を説明するが、本発明は前述するような他の入力信号に適用できることは言うまでもない。
【００１２】
信号受信部１３０は、データ受信部１３２と、データ記憶部１３４とを有している。データ受信部１３０は、モデムやＡＤ変換器といった多くの装置を有していてもよい。モデムは、ＡＤ変換器がアナルグ信号をデジタル信号に変換している間に、バイナリ・データを電話線あるいは他の通信チャンネルを通じて送受信するための変調装置及び復調装置を備える良く知られた装置である。従って、信号受信部１３０は、入力信号を「オンライン」で受信しても良く、あるいは、「リアルタイム」で受信しても良く、また、必要に応じて、これらをデジタル形式に変換してもよい。この場合、受信部１３０は、コンピュータ、カメラ、ビデオ、様々な医療画像装置のような１又は複数の装置から信号を受けることができる。
【００１３】
データ記憶部１３４は、データ受信部１３２から受けた入力信号を格納するように作用する。データ記憶部１３４は、ディスクドライブ、半導体メモリ、他の記憶媒体といった１又は複数の装置を有している。これらの記憶装置は、入力信号に遅延を付与するための手段、あるいは、次の処理のために入力信号を単に記憶するための手段を与える。
【００１４】
好ましい実施形態において、信号処理部１１０は多目的コンピュータを備えており、この多目的コンピュータは、画像処理を容易にするため、知覚距離ジェネレータ（あるいは、視覚差異測定器（ＶＤＭ）として知られている）１１２と、中央演算処理装置（ＣＰＵ）１１４と、メモリ１１６とを有している。知覚距離ジェネレータ１１２は、各種のフィルタあるいは通信チャンネルを通じてＣＰＵに接続されるプロセッサによって構成された物理装置であってもよい。また、知覚距離ジェネレータ１１２は、入／出力装置１２０もしくはメモリ１１６から呼び出され且つ信号処理部のＣＰＵによって実行されるソフトウェアアプリケーションとして実現することもできる。この場合、本発明の知覚距離ジェネレータは、コンピュータで読み取ることができる媒体に記憶することができる。
また、信号処理部１１０は、キーボード、マウス、ビデオモニタ、あるいは、ハードディスクドライブやコンパクトディスクドライブ等の磁気光学ドライブやディスケットもしくはテープを含むがこれらに限定されない記憶装置といった複数の入／出力装置１２０に接続される。入力装置は、入力画像を処理するための信号処理部に入力（制御信号及びデータ）を与えるようになっており、一方、出力装置は、その結果を表示もしくは記録するようになっている。例えば、出力装置は、知覚距離をディスプレイ上に表示する。
【００１５】
知覚距離ジェネレータ１１２を使用する信号処理システム１００は、人間の被験者が２つの信号配列に対して割り当てる知覚率、例えば劣化していないカラー画像配列に対する劣化したカラー画像配列の比率を予測することができる。知覚距離ジェネレータ１１２は、入力画像の２つの配列すなわちストリーム間の視程差を評価すると共に、配列間の知覚差の信号距離を含む複数の異なる評価を形成する。これらの差は、モデルにされた人間の最小可知差異（ＪＮＤ）距離の単位で定量化される。この距離は、ＪＮＤ値や、ＪＮＤマップすなわち確率予測として表わすことができる。続いて、ＣＰＵ１１４は、ＪＮＤ画像距離を使用して、デジタル画像圧縮、画質測定、目標検知を含むがこれらに限定されない各種の処理を最適化することができる。
【００１６】
例えば、入力画像配列は、２つの異なる経路もしくはチャンネルを通じて信号処理システム１００に送られる。入力画像配列は、処理されることなく信号処理部に直接に送られる一方の経路を通る（基準チャンネル又は基準画像配列）と共に、画像配列を幾つかの形式で処理する試験用システム１４０を通じて送られる他の経路も通る（チャンネル試験又は試験画像配列）。信号処理システム１００は、２つの画像配列間の差異を示す知覚距離を形成する。試験用システム１４０によって形成される歪みは、しばしば、経済的な理由に直面する。例えば、試験用システム１４０は、オーディオエンコーダもしくはビデオエンコーダになり得る。実際に、試験用システム１４０は、任意の数の装置もしくはシステム、例えばデコーダ、送信チャンネルそれ自信、オーディオもしくはビデオレコーダ、スキャナ、ディスプレイ、トランスミッタになり得る。このように、信号処理システム１００は、基準画像配列に対する試験画像配列の主観的な質を評価し、これによって、エンコード処理、デコード処理、送信チャンネルもしくは「試験用システム」の歪みに関する情報を与えるために使用することができる。知覚距離ジェネレータ１１２を使用することにより、人間の観察者を使用することなく、基準画像配列に対する試験画像配列の主観的な質を評価することができる。
【００１７】
また、知覚距離は、経路１５０を介して試験用システムのパラメータを修正もしくは制御するために使用できる。改良された知覚率、例えば、エンコードされた画像がデコードされる時には殆ど目立たない歪みを有するエンコードされた画像を形成するために、エンコーダのパラメータを修正することができる。また、試験用システム１４０は別個の装置として図示されているが、当業者であれば分かるように、試験用システムは、信号処理部のメモリ１１６内に存在するソフトウェアとして、例えばビデオエンコード法として実現することもできる。
【００１８】
図２は、知覚距離ジェネレータ１１２の概略的なブロック図を示している。好ましい実施形態において、知覚距離ジェネレータは、入力信号処理部２１０と、輝度処理部２２０と、クロミナンス処理部２３０と、輝度距離形成部２４０と、クロミナンス距離形成部２５０と、知覚距離形成部２６０とを備えている。
【００１９】
入力信号処理部は、入力信号２５０を、心理物理的に規定された量、例えば画像信号に関する輝度成分及びクロミナンス成分に変換する。入力信号は、任意の長さを有する２つの画像配列である。図２には入力信号が１つだけ図示されているが、入力信号処理部が２つ以上の入力信号を同時に処理できることは言うまでもない。入力信号処理部２１０の目的は、入力画像信号を複数の光出力に変換し、その後、これらの光出力を、輝度及びクロミナンスを別個に特徴付ける心理物理的に規定された量に変換することである。
【００２０】
より詳細には、各入力配列の各領域に関し、例えばＤ１テープから得られるＹ’，Ｃ_b’，Ｃ_r’と名付けられた３つのデータセットが図２の上側に示されている。続いて、Ｙ，Ｃ_b，Ｃ_rデータは、表示されたピクセル値を生じる電子銃電圧Ｒ’，Ｇ’，Ｂ’に変換される。入力信号処理部内において、Ｒ’，Ｇ’，Ｂ’電圧は、更に処理を受けて、次の処理段階又は処理部に送られる１つの輝度及び２つのクロミナンス画像に変換される。
【００２１】
輝度処理部２２０は、ディスプレイの最大輝度の一部として表わされる輝度Ｙの２つの画像（試験画像及び基準画像）を受け入れる。これらの出力は、輝度ＪＮＤマップを形成する輝度距離形成部２４０に送られる。ＪＮＤマップは、対応するピクセル位置での試験画像と基準画像との間のＪＮＤ数に対して階調が比例する画像である。
【００２２】
同様に、クロミナンス処理部２３０は、入力信号のクロミナンス成分をクロミナンス知覚距離へと処理する。より詳細には、クロミナンス処理部２３０は、ＣＩＥＬ^*ｕ^*ｖ^*均等色空間（各クロミナンス画像ｕ^*及びｖ^*に関して生じる）に基づき且つディスプレイの最大クロミナンスの一部として表わされるクロミナンスの２つの画像（試験画像及び基準画像）を受け入れる。次に、クロミナンスＪＮＢマップを形成するために、ｕ^*及びｖ^*処理の出力は、クロミナンス距離形成部２５０によって受けられて合成される。
【００２３】
また、クロミナンス及び輝度の両方の処理は、輝度画像の構造に依存するある程度視認可能な知覚差を伝える経路２２５を介して輝度チャンネルから送られる「マスキング」と呼ばれる入力によって影響される。マスキング（セルフ又はクロス）は、１つのチャンネル又は隣接するチャンネル内に存在する情報における感度の低下を示す。
【００２４】
クロミナンス、輝度、合成されたルマ−クロマのＪＮＤマップはそれぞれ、これらのマップから得られる僅かな数のサマリーメジャーと共に、知覚距離形成部２６０への出力として利用可能である。１つのＪＮＤ値（ＪＮＤサマリー）出力は、試験配列における観察者の総歪み率を形成するために使用されるが、ＪＮＤマップは、アーチファクトの位置及び強度のより詳細なビューを与える。続いて、知覚距離形成部２６０は、輝度知覚距離とクロミナンス知覚距離とを関係付けて、統合された知覚画像距離、例えば総最小可知差異（ＪＮＤ）マップを形成する。
【００２５】
２つの基本的な仮定が本発明の根底にあることに注意する必要がある。第１に、各ピクセルは、「正方形」であり、０．０３°の視角の範囲を定める。この数は、４８０個のピクセルの画面高さ及び４つの画面高さの観察距離（“Ｒｅｃ．５００”規格によって規定される最も近い観察距離）から得られた。４つの画面高さよりも長い観察距離で、知覚距離ジェネレータが人間の近くと比較される場合、知覚距離ジェネレータは、空間的な詳細内容に対する人間の感度を過大評価する場合がある。従って、観察距離に関する厳しい制約が無い場合、知覚距離ジェネレータは、“Ｒｅｃ．５００”の推奨値内で、できるだけ感度が良くなるように調整される。しかしながら、知覚距離ジェネレータの感度は、特定の用途のために調整可能である。
【００２６】
第２に、知覚距離ジェネレータは、０．０１〜１００ｆｔ−Ｌ（全感度が較正された）の画面輝度に適用されるが、最大でも２０ｆｔ−Ｌ（時空的な周波数が較正された）の精度である。また、全ての時空的な周波数で輝度変化が比例感度の変化を招くことを前提としており、この前提は、別の較正が生じる２０ｆｔ−Ｌの近傍ではあまり重要ではない。較正及び実験データを以下に示す。
【００２７】
以下、図３、４、５、６，及び図７を参照しながら、図２に示された処理部について詳細に説明する。
【００２８】
図３は、入力信号処理部２１０のブロック図を示している。好ましい実施形態において、各入力信号は、４つの領域から成るセット３０５内で処理される。図３の上側においでＹ’，Ｃ_b’，Ｃ_r’と名付けられた４つの領域から成るスタックは、試験画像配列もしくは基準画像配列からの４つの連続する領域のセットを示している。しかしながら、本発明は、そのような形態に限定されず、他の領域をグループ化する方法を使用することもできる。
【００２９】
入力信号処理部２１０には、複数の変換が含まれている。簡単に言えば、入力信号処理部２１０は、Ｙ’，Ｃ_b’，Ｃ_r’ビデオ入力信号を、最初に電子銃電圧に変換し、その後、３つの蛍光体の輝度値に変換し、最後に、輝度成分とクロミナンス成分とに分離する心理物理的な変数に変換する。以下に演算される三刺激値Ｙは、クロミナンス処理前に使用される「モデル強度値」を置換する。また、クロミナンス成分ｕ^*及びｖ^*は、ＣＩＥ均等色仕様に従って、１ピクセル毎に形成される。
【００３０】
入力信号が既に容認できる均等色空間内にある場合には、入力信号処理部２１０は随意的に実施することができる。例えば、入力信号は、予め適当な形式に処理されて磁気もしくは光学ドライバ及びディスク等の記憶装置に記憶されてもよい。また、本発明は、国際標準均等色空間ＣＩＥＬＵＶにマッピングされたピクセルを用いて実行されるが、本発明は、他の空間にマッピングされる入力信号を処理するようになっていてもよい。
【００３１】
第１の処理段階３１０は、Ｙ’，Ｃ_b’，Ｃ_r’データをＲ’，Ｇ’，Ｂ’銃電圧に変換する。より詳細には、以下に概略的に示されるステップは、Ｙ’，Ｃ_b’，Ｃ_r’画像フレームからＣＲＴディスプレイを駆動するＲ’，Ｇ’，Ｂ’電圧信号への変換を示している。ここで、アポストロフィは、入力信号がエンコーダで予めガンマ補正されたことを示している。すなわち、これらの信号は、変換後、電圧―電流変換関数をガンマ非線形化によって概算できるＣＲＴディスプレイ装置を駆動することができる。
【００３２】
入力デジタル画像は４：２：２のフォーマットであることを前提としている。すなわち、輝度に関する全解像度がＹ’の相互関係を示し、クロミナンスに関する水平半解像度がＣ_b’及びＣ_r’の相互関係を示す。この場合、Ｙ’，Ｃ_b’，Ｃ_r’データは、ＡＮＳＩ／ＳＭＰＴＥ Ｓｔ_d．１２５Ｍ−１９９２で指定された順序で記憶されることを前提としている。すなわち、
C’_b0,Y’₀,C’_r0,Y’₁,C’_b1,Y’₂,C’_r1,Y’₃,…,C’_bn/2-1,Y’_n-1,C’_{rn/2- 1},Y’_n-2,…
以下に列挙されたステップには、クロミナンスアップサンプリングに関する２つの実施形態すなわち選択肢と、Ｙ’，Ｃ_b’，Ｃ_r’からＲ’，Ｇ’，Ｂ’へのマトリクス変換に関する３つの実施形態すなわち選択肢とが存在する。これらの選択肢は、様々な共通の条件、例えば様々な用途で遭遇するデコード条件を網羅する。
【００３３】
すなわち、クロミナンスアップサンプリングの第１の実施形態においては、１つのフレームからのＹ’，Ｃ_b’，Ｃ_r’配列が受けられる。この場合、Ｃ_b’，Ｃ_r’配列はＹ’画像の全解像度へ拡張される。Ｃ_b’，Ｃ_r’配列は、初めに、水平半解像度であり、その後、全解像度領域を形成するためにアップサンプルされる。すなわち、列内のＣ_b’，Ｃ_r’ピクセルは、データストリーム内の偶数Ｙ’_iに割り当てられる。その後、偶数Ｙ’_iに関連付けられたＣ_b’，Ｃ_r’の対は、（i）複製によって、あるいは、（ii）その隣りと加算平均される
ことによって、演算される。
【００３４】
クロミナンスアップサンプリングの第２の実施形態においては、全解像度Ｙ’，Ｃ_b’，Ｃ_r’配列が２つの領域に分配される。Ｙ’の場合、第１の領域はＹ’配列の奇数ラインを含んでおり、第２の領域はＹ’配列の偶数ラインを含んでいる。第１及び第２のＣ_b’，Ｃ_r’領域を形成するために、Ｃ_b’，Ｃ_r’に関して同一の処理が行なわれる。
【００３５】
Ｙ’，Ｃ_b’，Ｃ_r’からＲ’，Ｇ’，Ｂ’へのマトリクス変換において、対応するＹ’，Ｃ_b’，Ｃ_r’値は、２つの領域のそれぞれの各ピクセルのための銃入力値Ｒ’，Ｇ’，Ｂ’に変換される。Ｙ’，Ｃ_b’，Ｃ_r’値は、以下の３つの選択的な方程式のうちの１つによって、Ｒ’，Ｇ’，Ｂ’値に関連付けられるように得られる。最初の２つの方程式は、１９９６年のサンディエゴのハイテキスト、ケースジャックによるV _i deo Demystified（第３章、４０〜４２頁）に記載されている。方程式（３）は、１９９６年のＣ．Ａ．ポイントンによるA Technical Introduction to D _i gital V _i deoの１７６頁にある方程式９．９に対応している（ＵをＣ_bに置き換えると共に、ＶをＣ_rに置き換えた）。好ましい実施形態において、方程式（２）は、対象のディスプレイの大きさが他を表示しない場合に使用されるべき初期値として選択される。
【００３６】
【式３】

【００３７】
Ｒ’，Ｇ’，Ｂ’配列は、その後、入力信号処理部２１０内の第２の処理段階３２０によって受けられる。第２の処理段階３２０は、各Ｒ’，Ｇ’，Ｂ’画像に対して点非線形化を適用する。この第２の処理段階は、Ｒ’，Ｇ’，Ｂ’銃電圧をディスプレイ（最大輝度の一部）の強度（Ｒ，Ｇ，Ｂ）に変換する。また、非線形化は、ディスプレイによって各面内の低い輝度でクリッピングを行なう。
【００３８】
すなわち、（Ｒ’，Ｇ’，Ｂ’）と（Ｒ，Ｇ，Ｂ）との間の変換は、２つの部分を含んでいる。そのうちの１つは、各ピクセル値を独立に変換し、他の１つは、変換されたピクセル値に関して空間的なフィルタリングを行なう。以下、これらの２つの部分について説明する。
【００３９】
ピクセル値変換
最初に、入力Ｒ’に対応する最大輝度Ｒの一部が各ピクセルに関して演算される。同様に、部分輝度Ｇ，Ｂが入力Ｇ’，Ｂ’から演算される。各銃からの最大輝度は、入力値２５５に一致すると仮定する。以下の方程式は、（Ｒ’，Ｇ’，Ｂ’）から（Ｒ，Ｇ，Ｂ）への変換を示している。
【００４０】
【式４】

【００４１】
初期値閾値ｔ_dは、ディスプレイの黒色レベルと一致するように１６に選択される。また、γは２．５に初期設定される。
【００４２】
ｔ_dに関する値１６は、約１０００：１である（２５５／１６）^2.5のダイナミックレンジをディスプレイに与えるために選択される。このダイナミックレンジは、比較的大きく、周囲の輝度が最大表示白色の約１％である場合には必ずしも必要ない。従って、知覚ジェネレータが黒色レベルとして値１６の代わりに１００：１のダイナミックレンジを与える値４０を使用する場合であっても、物理的な信頼性が維持される。実際に、低いダイナミックレンジは、演算サイクルを節約できる。例えば、処理中、１つ又は２つのビットを節約できる。
【００４３】
ディスプレイについての２つの所見について以下に説明する。第１の所見は、絶対画面輝度への依存を含んでいる。知覚距離ジェネレータの予測は、知覚距離ジェネレータが較正された輝度レベルだけに暗に適用される。
【００４４】
典型的な較正データ(J.J.Koenderink and A.J.van Doorn,"Spatiot_emporal contrast det_ection threshold is bimodal."Optics Lett _e rs 4,32-34(1979))に関し、直径２ｍｍの初期設定の瞳孔を使用して、網膜輝度は２００トロランドであった。これは、６３．６６ｃｄ／ｍ²すなわち１８．５８ｆｔ−Ｌの画面輝度を示している。較正輝度は、主観的な評価テストで使用されるディスプレイの輝度と比較できる。例えば、２つの実験の最大白色輝度は７１及び９７ｆｔ−Ｌであったが、ピクセル値１２８での輝度はそれぞれ１５及び２１ｆｔ−Ｌであった。これらの値を考慮し、また、知覚距離ジェネレータの全感度が０．０１ｆｔ−Ｌから１００ｆｔ−Ｌに較正(F.L.van Nes, J.J.Koenderink, H.Nas, andM.A.Bouman,."Spatiot_emporal modulation transfer in the human eye," J.Opt.Soc.Am.57,1082-1088(1967)のデータを使用して）された事実を考慮すると、知覚距離ジェネレータが約２０〜１００ｆｔ−Ｌの画面輝度に適用されると言える。
【００４５】
第２の所見は、方程式（４）と他のモデルとの関係を含んでいる。オフセット電圧ｔ_d（例えば、陰極とＴＶ画面との間のグリッド設定からのオフセット電圧）は、方程式（４）をポイントン(C.A.Poynton, "Gamma" and its disguises: The nonlinear mapping of int_ensity in perception,CRTs, Film, and V_ideo,SMPTE Journal, December 1993,pp1099-1108)によって提案されたモデルに変換するために使用できる。ここで、Ｒ＝ｋ［Ｒ’＋ｂ］^γ（Ｇ及びＢも同様）である。新しい電圧Ｒ’’＝Ｒ’−ｔ_dを規定することによってポイントンのモデルが得られる。従って、Ｒ＝ｋ［Ｒ’’＋ｔ_d］^γであり、Ｇ及びＢも同様である。ポイントンの方程式ではなく、方程式（４）を書くことによって、オフセット電圧が−ｔ_dであると仮定する。また、周囲に照度が無いと仮定する。
【００４６】
周囲に照度ｃが存在する場合、電圧オフセットを無視することができ、方程式（４）は、マイヤーによって提案されたモデル("The importance of gun balancing in monitor calibration," in Perceiving, Measuring, and Using Color (M.Brill,ed.),Proc.SPI,Vol.1250,pp.69-79(1990))と略等しくなる。すなわち、Ｒ＝ｋＲ’^γ＋ｃとなる。同様の式がＧ及びＢに適用される。周囲に照度が存在する場合には、方程式（４）はマイヤーのモデルに取って代えることができる。この場合、ｋ＝（１／２５５）^γであり、ｃ＝０．０１である。
【００４７】
知覚距離ジェネレータは、各フレーム（連続画像内の）と奇数及び偶数領域（組合せ画像（インターレース画像）内の）とに関し、（Ｒ，Ｇ，Ｂ）画像の垂直表示を特定するために３つの選択を与える。
【００４８】
選択１．フレーム
画像は、全高さであり、漸次走査される１つの画像を含む。
【００４９】
選択２．全高組合せ（全高インターレース）
全高画像は、空白ラインで撒き散らされ、組み合わされた画像内にある時に全高さとなる。空白ラインは、後述するように、内挿法によって実質的に満たされる。
【００５０】
選択３．半高組み合わせ（半高インターレース）
半分の高さの半高画像が直接に処理される。
【００５１】
最初の２つの選択は、ビデオ画像構造に対して非常に信頼性がある。これに対し、３番目の選択は、処理時間及び記憶条件を５０％低減できる利点がある。輝度及びクロミナンス処理は、全高画像上で演算するため、選択１及び選択２に関しては同じである。以下、これらの３つの選択について詳述する。
【００５２】
空間的なプレフィルタリング
空間的な予備処理は、選択１及び選択３においては不要である。しかしながら、全高組合せの選択２に関しては、空間的なプレフィルタリングが存在する。
【００５３】
１つの領域内でラインからライン間のピクセルへの光の広がりに対応するため、Ｒ，Ｇ，Ｂ領域画像にライン内挿（補間）処理が施される。４つの異なる内挿法が以下に示されているが、本発明はこれらの内挿法に限定されない。各方法においては、全てのフレームが読み取られ、その後、不活性領域に属するライン上の各ピクセルは、直ぐ上下のピクセルから演算される値に取って代えられる。方法（３）（４）においては、不活性領域からのピクセル値を使用して演算がなされる。
【００５４】
Ｐ_inactiveは、内挿される不活性ラインピクセルを示し、Ｐ_above及びＰ_belowは、活性ラインピクセルの上下のＰ_inactiveをそれぞれ示している。４つの方法は、
（１）平均
【００５５】
【式５】

（２）いずれか一方
【００５６】
【式６】

（３）ハイブリッド平均
【００５７】
【式７】

（４）中間値
【００５８】
【式８】

【００５９】
方法（１）の平均は初期値である。
【００６０】
図３に戻ると、非線形処理に続いて、第３の処理段階３３０は、領域Ｒ，Ｇ，Ｂ内のライン間の値を上下から挿入された値で置き換えることにより、ライン間の位置に広がる垂直な電子ビームスポットを形成する。その後、領域内の各ピクセルのベクトル（Ｒ，Ｇ，Ｂ）は、ＣＩＥ１９３１三刺激座標（Ｘ，Ｙ，Ｚ）に線形変換（ディスプレイ蛍光体に依存する）される。このベクトルの輝度成分Ｙは、前述したように、輝度処理部２２０に送られる。
【００６１】
すなわち、部分輝度値Ｒ，Ｇ，Ｂが与えられると、各ピクセルに関してＣＩＥ１９３１三刺激値Ｘ，Ｙ，Ｚが演算される。この処理は、ディスプレイ装置に依存する次の入力、すなわち、３つの蛍光体の色度座標（ｘ_r，ｙ_r），（ｘ_g，ｙ_g），（ｘ_b，ｙ_b）及びモニタ白色点（ｘ_w，ｙ_w）の色度を必要とする。
【００６２】
白色点は、（ｘ_w，ｙ_w）＝（０．３１２８，０．３２９２）(G.Wyszecki and W.S.Stiles,Color Science,2nded.,Wiley,1982,p.761を参照）となるような発光体Ｄ６５に対応するものとして選択される。赤、緑、青のそれぞれの蛍光体に関する値（ｘ_r，ｙ_r）＝（０．６２４５，０．３５８１）、（ｘ_g，ｙ_g）＝（０．２０３２，０．７１６）、（ｘ_b，ｙ_b）＝（０．１４６５，０．０５４９）は、ＮＴＳＣ蛍光体に非常に近似する現在入手可能な蛍光体に対応している。しかしながら、以下の表１は、他のディスプレイ蛍光体座標（蛍光体の主色度）の選択を示している。ＩＴＵ―Ｒ ＢＴ．７０９（Ｒｅｃ．７０９）は初期値である。
【００６３】
【表１】

表１ ディスプレイ蛍光体座標オプション
【００６４】
上記パラメータ値を使用すると、ピクセルの値Ｘ，Ｙ，Ｚは、以下の方程式によって与えられる。
【００６５】
【式９】

【００６６】
ここで、ｚｒ＝（１−ｘ_r−ｙ_r），ｚｇ＝（１−ｘ_g−ｙ_g），ｚｂ＝（１−ｘ_b−ｙ_b）であり、Ｙ_0r，Ｙ_0g，Ｙ_0bは以下の方程式によって与えられる。
【００６７】
【式１０】

ここで、ｚｗ＝（１−ｘ_w−ｙ）(D. Post, Colorimetric measurement, calibration, and charact_erization of self-luminous displays, in Color in Electronic D_isplays, H. Widdel and D. L. Post(eds), Plenum Press,1992,p.306を参照)である。
【００６８】
装置の白色点の三刺激値Ｘ_n，Ｙ_n，Ｚ_nも必要である。これらの値は、色度（ｘ_w，ｙ_w）に対応しており、全ての蛍光体が活性の時（Ｒ’＝Ｇ’＝Ｂ’＝２５５）にＹ＝１である。従って、白色点の三刺激値（Ｘ_n，Ｙ_n，Ｚ_n）＝（ｘ_w／ｙ_w，１，ｚｗ／ｙ_w）となる。
【００６９】
値Ｘ，Ｙ，Ｚを得る随意的な最後の段階では、ディスプレイの画面からの光幕反射に依存する想定される周囲の光に対応するように調整することができる。この調整は以下の式を利用する。
【００７０】
【式１１】

ここで、ユーザーが指定できる２つのパラメータＬ_max及びＬ_dは、導入されて割り当てられるデフォルト値である。ディスプレイの最大輝度Ｌ_maxは、市販のディスプレイに対応するように１００ｃｄ／ｍ²に設定される。水による光の消散Ｌ_dは、Ｒｅｃ５００状態で測定される画面値に一致する５ｃｄ／ｍ²に設定される。
周囲の光の色度は、ディスプレイの白色点のそれと同じであると仮定する。中点（Ｘ_n，Ｙ_n，Ｚ_n）を演算しない輝度のみの実施選択においては、方程式（６ａ）の代わりに、以下の調整がなされる。
【００７１】
【式１２】

これは、Ｙ_nが常に１であるため、方程式（６ａ）のＹ成分と等しい。また、量Ｌ_max ^*Ｙは、ディスプレイの輝度（ｃｄ／ｍ²）である。
【００７２】
図３に戻ると、等発光色差(isoluminant color difference)に対する色空間のおおよその知覚均一性を（各ピクセルで）確保するため、第４の処理段階３４０において、個々のピクセルが国際標準均等色空間ＣＩＥＬＵＶ(Wyszecki and Stiles,1982を参照）にマッピングされる。この空間のクロミナンス成分ｕ^*，ｖ^*は、クロミナンス処理部２３０に送られる。
【００７３】
すなわち、Ｘ，Ｙ，Ｚ値は、ピクセル毎に、１９７６ＣＩＥＬＵＶ均等色システム(Wyszecki and Stiles,1982,p.165)に送られる。すなわち、
【００７４】
【式１３】

【００７５】
【式１４】

【００７６】
座標Ｌ^*は輝度処理部２２０に送られない。Ｌ^*は、クロミナンス座標ｕ^*及びｖ^*を演算する時だけに使用される。その結果、ｕ^*画像及びｖ^*画像だけが更なる処理のために記憶される。
【００７７】
図４は、輝度処理部２２０のブロック図を示している。図４は、輝度処理段階のフローチャートとして、あるいは、そのような輝度処理段階を実行するためのフィルタ等の複数のハードウェア部品、各種の回路部品、特定用途向け集積回路（ＡＳＩＣ）のブロック図として理解することができる。
【００７８】
図４に示されるように、心理物理的及び生理学的に観察される入力視角信号の異なる空間的な周波数帯域４１２〜４１８への分解を形成するために、各輝度領域は、フィルタを通って、４つのレベルのガウスピラミッド４１０内にダウンサンプリングされる。分解後、次の随意的な処理が実行される。例えば、各ピラミッドレベルに適用される方向付けられたフィルタリングが行なわれる。
【００７９】
次に、非線形化演算４３０がピラミッド分解の直後に行なわれる。この段階は、最も粗いピラミッドレベル内における最大輝度の（領域にわたる）時間に依存するウインドウ平均に基づいたゲイン（増幅率）設定操作（正規化）である。この正規化は、知覚距離ジェネレータの全てのゲインを設定し、明るいシーンから暗いシーンへの移行後の視覚感度損失といった効果を形成する。
【００８０】
中間の正規化処理４２０は、中間値Ｉ_normを得るために実行される。Ｉ_norm値は、後述するように、４つの各ピラミッドレベルを縮尺するために使用される。
【００８１】
正規化後、解像度が最も低いピラミッド画像４１８は、時間フィルタリング・コントラスト演算４５０を受ける。他の３つのレベル４１２〜４１６は、空間フィルタリング・コントラスト演算４４０を受ける。それぞれの場合、コントラストは、適切に縮尺された局所的な総和によって分割されるピクセル値の局所的な差異である。知覚距離ジェネレータの定式化において、これは、知覚距離ジェネレータの次の段階に進められる“１ＪＮＤ”の定義を定めた（後述する中間の知覚距離ジェネレータ段階で、較正が１−ＪＮＤの解釈を反復的に修正する）。それぞれの場合、コントラストエネルギとして知られているものを形成するために、コントラストが二乗される。コントラストの算術符号は、画像比較（ＪＮＤマップ演算）の直前の再付与のために保たれる。
【００８２】
次の段階４６０，４７０（コントラストエネルギマスキング）は、更なるゲイン設定操作を構成する。このゲイン設定操作では、方向付けられた各応答（コントラストエネルギ）が全てのコントラストエネルギの関数によって割られる。他の局所定な応答による各応答のこの複合減衰は、“ビジー”画像領域内の歪みに対する感度の減少といった視覚的な“マスキング”効果を形成するために含まれている。知覚距離ジェネレータのこの段階では、空間的な差異をマスクするために時間的な構造が形成される。また、時間的な差異をマスクするために空間的な構造が形成される。また、後述するように、輝度マスキングはクロミナンス側にも適用される。
【００８３】
マスクされたコントラストエネルギ（コントラストサインと共に）は、輝度ＪＮＤマップ４８０を形成するために使用される。簡単に言うと、輝度ＪＮＤマップは、１）各画像をプラス成分及びマイナス成分に分割する（半波長調整）ことによって、２）局所的なプーリングを行なう（心理物理的な実験で観察される局所空間的な合計（サム）を形成するために、加算平均及びダウンサンプリングする）ことによって、３）チャンネル毎に絶対画像差を評価することによって、４）閾値を設定する（コアリング）ことによって、５）コアリングされた画像差を電力へと引き上げることによって、６）同じ解像度（プーリング段階に起因して、原画像の解像度の半分である）までアップサンプリングすることによって形成される。
【００８４】
図１９は、輝度処理部２２０の他の実施形態を示している。より詳細には、図４の正規化段階４２０，４３０が輝度圧縮段階１９００に取って代えられている。簡単に言うと、入力信号における各輝度値は、最初に、後述するように圧縮非線形化される。図１９の他の段階は図４のそれと同様である。従って、これらの同様の段階については既に前述した。以下、異なる段階である図１９の輝度処理部について、図２０を参照しながら詳細に説明する。
【００８５】
一般に言って、図１９の輝度処理部は好ましい実施形態である。しかしながら、これらの２つの実施形態は、異なる特性を示すため、異なる用途においてはその性能が異なる場合がある。例えば、図４の輝度処理部は、低いダイナミックレンジと比較して、高いダイナミックレンジで、例えば１０ビット入力画像で、良好に機能することが分かった。
【００８６】
図５は、クロミナンス処理部２３０のブロック図を示している。図５は、クロミナンス処理段階のフローチャートとして、あるいは、そのようなクロミナンス処理段階を実行するためのフィルタ等の複数のハードウェア部品、各種の回路部品、特定用途向け集積回路（ＡＳＩＣ）のブロック図として理解することができる。幾つかの局面において、クロミナンス処理は輝度処理と平行する。ＣＩＥＬＵＶ空間のクロミナンスの画像（ｕ^*５０２及びｖ^*５０４）間の差異は、クロミナンス演算のための検出閾値を規定するために使用される。その方法に類似して、マイケルソンコントラスト（及びウェーバの法則）は、輝度処理部内で検出閾値を規定するために使用される。また、輝度演算と同様に、ｕ^*とｖ^*との差によって規定される有色の“コントラスト”には、マスキング演算が成される。トランスデューサ非線形化は、２つの画像に共通するコントラストエネルギに依存する、一方の画像と他方の画像との間のコントラスト増の差異を形成する。
【００８７】
より詳細には、図５は、輝度処理部と同様に、ピラミッド分解処理５１０が成される各クロミナンス成分ｕ^*５０２及びｖ^*５０４を示している。しかしながら、好ましい実施形態においては、輝度処理が４つのピラミッドレベル分解を成していたが、クロミナンス処理は７つのレベルで行なわれる。このような実行は、クロミナンスチャンネルが輝度チャンネルよりも非常に低い空間周波数に対して感度がよい(K.T. Mullen, "The contrast sensitivity of human colour vision to red-green and blue-yellow chromatic grating," J. Physiol. 359,381-400,1985)という経験的な事実を示している。また、そのような分解は、広い均一な領域で色差を観察できるという直感的な事実を考慮に入れている。
【００８８】
次に、フリッカーに対するクロミナンスチャンネルの固有の無感覚を反映するために、４つの画像領域にわたって加算平均することによって、時間的な処理５２０が成される。
【００８９】
その後、ｕ^*及びｖ^*に関して、ラプラスカーネルによる空間フィルタリング５３０が行なわれる。この演算は、最小可知色差と計量的に関連する（均等色空間によって）ｕ^*，ｖ^*内に色差を形成する。この段階の値１は、ウェーバの法則を基本とする輝度チャンネル内のコントラストの役割と同様に１つのＪＮＤが達成されることを意味するために必要である（輝度処理の場合と同様に、１―ＪＮＤクロミナンス単位（ユニット）は、較正中において、再解釈されなければならない）。
【００９０】
この色差値は、加重され、二乗されて、（コントラスト算術符号を用いて）コントラストエネルギマスキング段階５４０に送られる。このマスキング段階は、輝度処理部の場合と同じ機能を果たす。演算は、輝度チャンネル及び差異が評価されるクロミナンスチャンネルからだけ入力を受けるため、幾分簡単である。また、段階５５０でクロミナンスＪＮＤマップを形成するために、マスクされたコントラストエネルギは、輝度処理部と同様に送られる。
【００９１】
ビデオ配列内の各領域の比較において、輝度及びクロミナンスＪＮＤマップは、最初に、１つの番号のサマリー、すなわち、輝度及びクロミナンスＪＮＤ値まで減少される。それぞれの場合、マップから番号への減少は、ミンコフスキー加算によって全てのピクセル値を加算することによって行なわれる。その後、知覚距離形成部２６０によって処理される領域のためのＪＮＤ評価を形成するために、輝度及びクロミナンスＪＮＤ番号は、ミンコフスキー加算によって再び組み合わされる。ミンコフスキー感覚で、各領域に関するＪＮＤ評価を加算することによって、ビデオ配列の多くの領域のための１つの性能指標２７０が決定される。
【００９２】
図６は、図４の輝度処理部２２０の詳細なブロック図を示している。入力する試験領域画像及び基準領域画像がそれぞれＩ_ｋ及びＩ^ref _ｋで示されている（ｋ＝０，１，２，３）。Ｉ_ｋ及びＩ^ref _ｋのピクセル値はそれぞれ、Ｉ_ｋ（ｉ，ｊ）及びＩ^ref _ｋ（ｉ，ｊ）によって示されている。これらの値は、入力信号処理部２１０で演算された三刺激値Ｙ６０５である。Ｉ^ref _ｋの処理は同一であるため、以下、領域Ｉ_ｋについてのみ説明する。Ｋ＝３は、４領域配列内の最も新しい領域を示している。
【００９３】
４つの分解レベルでの空間分割は、連続的に粗い解像度のレベルでそれぞれ２因子だけ画像を不鮮明にしてダウンサンプリングするピラミッド処理もしくはピラミッド分解と呼ばれる効率的な計算方法によって行なわれる。初期の全解像度画像は、ピラミッドの０レベル（レベル０）Ｇ₀＝Ｉ_j（ｉ，ｊ）と呼ばれる。低い解像度での次のレベルは、ＲＥＤＵＣＥと呼ばれる演算によって得られる。すなわち、不鮮明な画像を形成するために、加重（１，２，１）／４を有する３タップの低域フィルタ６１０が画像の各方向で連続的にＧ₀に適用される。その結果得られた画像は、その後、（他のピクセルが除去される度に）２因子だけサブサンプルされて、次のレベルＧ₁が形成される。
【００９４】
１つのピラミッドレベルによってフィルタリング及びダウンサンプリングする演算をｆｄｓ１（）で表わすと、ＲＥＤＵＣＥ処理は以下のように表わすことができる。
【００９５】
【式１５】

【００９６】
ＲＥＤＵＣＥ処理は、新しい各レベルに対して帰納的に適用される(P. J. Burt and E. H. Adelson, "The Laplacian py_ramid as a compact image code," IEEE Transactions on Communications, COM-31,532-540(1983)によって開示されているように適用される）。
【００９７】
逆に、アップサンプルしてフィルタをかける演算ＥＸＰＡＮＤは、同じ３×３カーネルによって規定される。この演算は、ｕｓｆ１（）によって示され、以下のように行なわれる。
【００９８】
各方向（水平及び垂直）におけるｆｄｓ１及びｕｓｆ１フィルタカーネルはそれぞれ、ｋ_d｛１，２，１｝及びｋ_u｛１，２，１｝である。ここで、ｋ_d及びｋ_uは、均一領域値が格納されるように選択される。ｆｄｓ１に関して、定数はｋ_d＝０．２５であり、ｕｓｆ１に関して、定数はｋ_u＝０．５（アップサンプルされた画像内の複数の０のため）。インプレース演算（in-place operation)としてｕｓｆ１を実行するために、カーネルが等価な内挿法によって取って代えられ、０を置換する。しかしながら、概念的な簡素化のため、それを“アップサンプルフィルタ”と称することができる。
【００９９】
次に、正規化が成される。この場合、中間値（Ｉ_[v]3によって示される）は、４つの値、すなわち、各領域（ｋ＝０，１，２，３）におけるレベル３画像内の最大ピクセル値を加重平均することによって演算される。このステップは、ピラミッド分解処理固有のスムージングによって、全解像度（レベル０）画像におけるアウトライアー効果を和らげる。その後、Ｉ_[v]3は、先のエポック（ｋ＝２）で使用された正規化因子Ｉ_normの減少された値と比較される。現在のエポック（ｋ＝３）におけるＩ_normは、これら２つの値のうちの大きい方と等しく設定される。最新の領域における４つの全てのピラミッドレベルに関する画像は、その後、この新しい値Ｉ_normを使用することによって縮尺され、飽和非線形化(saturating nonlinearity)がなされる。
【０１００】
以下の方程式はこのプロセスを示している。上からのピラミッドレベルがＩ_M（ｉ，ｊ）である場合には、
【０１０１】
【式１６】

【０１０２】
ここで、３及び１は、最新の領域及びピラミッドレベルをそれぞれ示している。Ｉ_carm＝[μＩ_carm・Ｉ]６１５であり、Ｉ_carmは、領域の３つのピラミッドレベルを正規化するために先のエポックで使用されたＩ_carmの値である。ｍは２に初期設定する。
【０１０３】
【式１７】

【０１０４】
Δｔは領域周波数の逆数であり、ｔ_half＝１／２は、明るい刺激を除去した後の人間視覚システムの順応速度に関連付けられる。５０Ｈｚ及び６０Ｈｚにおける値はそれぞれ０．９７２７、０．９７７２である。定数Ｌ_Dは、光の非存在下で存在する残留視覚応答（ノイズ）を示しており、０．０１の値に初期設定される。方程式（１４）における飽和非線形化は、生理学に基づくモデル(Shapley and Enroth-Cugell,1884を参照)から得られる。
【０１０５】
方向付けられた空間フィルタ（中心及び周囲）は、領域３におけるレベル０，１，２の画像に適用される。逆に、時間フィルタは、最も低い解像度レベル（レベル３）に適用される。すなわち、最初及び最後の領域対は、Ｅａｒｌｙ画像及びＬａｔｅ画像へとそれぞれ線形に組み合わされる。
【０１０６】
中心及び周囲のフィルタ６２５，６２７は、別個の３×３フィルタであり、方向の全ての組合せ、すなわち、中心垂直（ＣＶ）、中心水平（ＣＨ）、周囲垂直（ＳＶ）、周囲水平（ＳＨ）を形成する。フィルタカーネルは以下の通りである。
【０１０７】
【式１８】

【０１０８】
レベル３のＥａｒｌｙ画像６３０及びＬａｔｅ画像６３２はそれぞれ以下の通りである。
【０１０９】
【式１９】

【０１１０】
６０Ｈｚにおける定数ｔ₀及びｔ₁はそれぞれ、０．５１６１、０．４８４８であり、５０Ｈｚにおける定数ｔ₀及びｔ₁はそれぞれ、０．７０、０．３０である。
【０１１１】
コントラスト演算における入力は、中心画像及び周囲画像ＣＶ_i，ＣＨ_i，ＳＶ_i，ＳＨ_i（ピラミッドレベル０，１，２に関してｉ＝０，１，２）及びＥａｒｌｙ画像Ｅ₃及びＬａｔｅ画像Ｌ₃（ピラミッドレベル３に関して）である。コントラスト比を演算するために使用される方程式は、マイケルソンコントラストに類似している。垂直方向及び水平方向において、ピクセル毎のコントラストはそれぞれ以下の通りである。
【０１１２】
【式２０】

【０１１３】
同様に、時間成分におけるコントラスト比は以下の通りである
【０１１４】
【式２１】

【０１１５】
生理学的な試験データを用いて較正することによって決定されるように、ｉ＝０，１，２，３におけるｗ_iの値はそれぞれ、０．００１５，０．００２２、０．００１５、０．００３である。
【０１１６】
水平及び垂直のコントラストエネルギ画像６４０，６４２は、先の２つの方程式によって規定されるピクセル値を二乗することによって以下のように演算されて得られる。
【０１１７】
【式２２】

【０１１８】
同様に、時間コントラストエネルギ画像６５０は、ピクセル値を二乗することによって以下のように得られる。
【０１１９】
【式２３】

【０１２０】
二乗する前の各コントラスト比ピクセル値の算術符号は、後の使用のために保持される。
【０１２１】
コントラストエネルギマスキングは、方程式（２１）（２２）を用いて演算される各コントラストエネルギすなわち画像に適用される。マスキング演算は、試験画像配列における歪みの差異に関し、基準画像配列内に時空的構造の効果を形成する。
【０１２２】
例えば、試験画像及び基準画像は、振幅が小さい空間的な正弦波によって異なる。この差異は、両方の画像が均一の領域を有している場合よりも、両方の画像が共通に同じ空間周波数の中間コントラストの正弦波を有している時の方が良く視認できる、ことは知られている(Nachmias and Sansbury,1974)。しかしながら、共通の正弦波のコントラストが非常に大きい場合には、画像差を殆ど視認できなくなる。それは、他の空間周波数を有する正弦波が、コントラスト差の可視性に影響を及ぼすことができる場合である。このような性質は、低いコントラストエネルギではＳ字状を成す非線形化によって形成することができ、また、高いコントラストエネルギにおいては増大するべき関数によって形成することができる。また、以下の基準は、おおよそ人間の視力で観察することができる。各チャンネルはそれ自体をマスクし、高い空間周波数は低い空間周波数をマスクし（しかし、その逆ではない）、時間フリッカーは、空間的なコントラスト感度をマスクする（これは逆もあり得る）。前述した空間フィルタリングは、純空間画像もしくは純時間画像に対する応答を乱すことなく、複数の画像（例えば２つの画像領域）からの情報を処理することによって点もしくは線のフリッカーに対して応答できるように、高められ得る。
【０１２３】
方程式（１９）を一般化すると、本発明は、方程式（１６）によって規定されたカーネルＣＨ，ＳＨ，ＣＶ，ＳＶをそれぞれ領域２における画像ピラミッドに適用する結果として、ピラミッドＣＨ２，ＳＨ２，ＣＶ２，ＳＶ２を規定すると共に、方程式（１６）によって規定されたカーネルＣＨ，ＳＨ，ＣＶ，ＳＶをそれぞれ領域３における画像ピラミッドに適用する結果として、ピラミッドＣＨ３，ＳＨ３，ＣＶ３，ＳＶ３を規定する。
【０１２４】
図２８のブロック図に示されるように、本発明は、これら全ての演算子を、例えば４領域画像配列の最後の２つの領域（ピラミッドとして記憶されている）に適用する。演算子を適用する前に、ダウンサンプラー２８０２を使用して画像配列がダウンサンプリングされる。その後、ピラミッドレベルは、領域２及び領域３の情報が別個に形成される２８０４のような画像領域プロセッサ内で処理される。各領域はそれぞれ、領域２フィルタ２８０６及び領域３フィルタ２８０８に通される。すなわち、図６に関して説明したように、フィルタ６２５，６２７を使用して、前述した演算子が適用される。
【０１２５】
より詳細には、他の実施形態２８００は、方程式（１９）と全く同じ形態で、ピラミッドレベルｉ＝０，１，２に関し、コントラストコンピュータ２８１０を使用して、以下の方向付けられたコントラストを規定することによって２つの領域からの情報を使用してコントラスト比較を行なう。
【０１２６】
【式２４】

【０１２７】
更に、コントラスト情報は、非線形プロセッサ２８１２によって送られる。プロセッサ２８１２は、時間フィルタ２８１４（図６において説明したと同様に演算する）の出力及びコントラスト情報の両者を処理して、輝度ＪＮＤマップ２８１６を形成するために使用される情報を形成する。以下、ＪＮＤマップを形成するために使用される処理について説明する。
【０１２８】
新しい係数ｗＳＴ^γを見出すために、複数の領域プロセスは、Koenderink and van Doorn(1979)のデータに関して較正される。これらの全てのコントラストは、純空間変動もしくは純時間変動を有する任意の刺激において０である。
【０１２９】
最後に、本発明は、他の空間チャンネルに関して既に使用されたと同じマスキング形式を組み込んでいる。
【０１３０】
人間の視力の特性に応じて、非線形化（ピクセル毎に適用される）６６０の以下の式が適用される。
【０１３１】
【式２５】

ここで、ｙはマスクされるコントラストエネルギ、すなわち、空間Ｈ_i又はＶ_i（方程式（２１））あるいは時間（Ｔ）（方程式（２２））である。量Ｄ_iは、ｙが属するピラミッドレベルｉに依存する画像を示している（ピクセル毎に）。量β，σ，ａ，ｃは、知覚距離ジェネレータ較正によって見出され、それぞれ、１．１７、１．００、０．０７５７、０．４７５３であった。また、ｄ_yは、それが二乗される前のコントラストｙに固有の算術符号である。
【０１３２】
Ｄ_iの演算は、ピラミッド構成（フィルタリング及びダウンサンプリング）及びピラミッド再構成（フィルタリング及びアップサンプリング）の両方を必要とする。Ｄ_iのこの演算が図６に示されている。最初に、Ｈ₀及びＶ₀の合計（サム）としてＥ₀が演算される。この合計（サム）は、段階６２５によってフィルタに通されてダウンサンプリングされ、Ｅ₁を与えるためにＨ₁＋Ｖ₁に加えられる。次に、Ｅ₁は、更に、フィルタに通されてダウンサンプリングされ、Ｅ₁を与えるためにＨ₂＋Ｖ₂に加えられる。続いて、Ｅ₂がフィルタに通されてダウンサンプリングされ、Ｅ₃が与えられる。一方、時間コントラストＴ₃の画像は、ｍが掛け合わされて、ｍ_ｆｔ Ｅ₃に加えられ、これによって、Ｄ₃で示される合計（サム）が形成される。
【０１３３】
続いて、Ｔ₂，Ｔ₁，Ｔ^γを形成するために、Ｄ₃は、段階６５４によって、繰り返しアップサンプリングされてフィルタに通される。最後に、画像Ｄ_iは、Ｄ_i＝ｍ_iＥ_i＋Ｔ_i，ｉ＝０，１，２として規定される。ここで、ｍ_ｆは、０．００１と等しくなるように較正によって決定される。ｍ_ｆｔは０．０００５と等しく設定され、ｍ_ｆは０，０５と等しく設定される。フィルタリングステップ、ダウンサンプリングステップ、アップサンプリングステップは、先に説明したものと同じである。
【０１３４】
前述したプロセスは、高い空間周波数が低い空間周波数をマスクし（なぜなら、Ｄ_iは、ｉ以下のピラミッドレベルによって影響されるからである）、時間チャンネルが全ての空間チャンネルによってマスクされることを示している。このマスキング演算は、一般に、心理物理的観察と一致している。また、量Ｄ_i，ｉ＝０，１，２は、クロミナンスコントラストを以下のようにマスクする（逆ではない）。
【０１３５】
図２０は、図１９の輝度処理部の他の実施形態の詳細なブロック図を示している。図１９の輝度処理部は図６の輝度処理部の段階と同様の多くの段階を含んでいるため、以下、異なる段階についてのみ説明する。
【０１３６】
１つの重要な違いは、図６の正規化段階が図２０では輝度圧縮（圧縮非線形化）段階２０００に置き換わっている点である。すなわち、非線形化は、定数によってオフセットされた減少するべき関数を備えている。最後の領域からの相対輝度配列をＹ₃（ｉ，ｊ）とすると、以下のようになる。
【０１３７】
【式２６】

ここで、３は最後の領域を示している。ディスプレイの最大輝度Ｌ_maxは、１００ｃｄ／ｍ²に設定される。従って、調整可能なパラメータｍ及びＬ_Dは、それぞれ０．６５及び７．５ｃｄ／ｍ²となる。すなわち、Ｌｄ及びｍの値は、０．０１〜１００ｆｔ−Ｌの輝度レベルでコントラスト検出データと一致するように選択された(van Nes and Bouman,1967)。言い換えると、方程式（２３ａ）により、絶対輝度に対して較正することが可能になる。例えば、ディスプレイの最大輝度の変化は、全輝度出力に影響を与える。方程式（２３ａ）を他の方向から眺めると、この方程式によって、知覚距離ジェネレータは、輝度に依存するコントラスト感度関数を組み込むことができる。
【０１３８】
また、別の輝度圧縮段階２０００（図２０に破線で示されている）を各ピラミッドレベルに挿入して、知覚距離ジェネレータが輝度及び空間周波数の両方に応じてコントラスト感度を形成できるようにしてもよい。そうしないと、他の空間周波数を形成する場合に、２つのパラメータだけを用いた輝度圧縮段階２０００の実行では不充分となる。
【０１３９】
より詳細には、各輝度画像のピラミッド分解後に、非線形化が各ピラミッドレベルｋに適用される。その後、ピラミッドレベルｋに関して、以下の式によって圧縮非線形化が与えられる。
【０１４０】
【式２７】

【０１４１】
ここで、再び、ｍ（ｋ）及びＬ_D（ｋ）は、０．０１〜１００ｆｔ−Ｌの輝度レベルでコントラスト検出データと一致するように選択される（ｖａｎ Ｎｅｓ ａｎｄ Ｂｏｕｍａｎ，１９６７）。値Ｌａは、周囲の画面輝度におけるオフセットである（画面の大きさに基づいて５ｃｄ／ｍ²に設定される）。また、Ｌ_maxは、ディスプレイの最大輝度である（一般に、約１００ｃｄ／ｍ²である）。
【０１４２】
方程式（２３ｂ）を較正するためのデータは、以下のように、表にされている。
【０１４３】
【表１】

【０１４４】
【表２】

【０１４５】
上記表における各コントラスト変調Ｃ_ｍは、空間周波数ｆ_sと網膜輝度Ｉ₀とから成る正弦波の最小識別可能コントラストになる実験値である。２ｍｍの人工瞳孔が較正に使用されるため、網膜輝度（Ｉ₀トロランド）は、輝度値（Ｌｃｄ／ｍ²）を検索するように・で掛け合わされる。較正における良好な開始点は、全てのｍ（ｋ）及びＬ_D（ｋ）に関して、８ｃ／ｄｅｇ正弦波検出における初期値を使用することである。この場合、適当な指数ｍは０．６５であり、適当なＬ_Dの値は７．５ｃｄ／ｍ²である。
【０１４６】
輝度の空間及び時間フィルタリングは、図６及び図２０の知覚距離ジェネレータの場合と同様である。しかしながら、図２０の知覚距離ジェネレータにおける輝度コントラスト演算は、二乗演算することなく達成される。段階６４０，６４２，６５０は、図２０では、段階２０４０，２０４２，２０５０に取って代えられている。
【０１４７】
より詳細には、コントラスト応答画像は、前記方程式（１９）（２０）によって規定される量の絶対値の短縮バージョンとして演算される。
【０１４８】
【式２８】

【０１４９】
絶対値演算の前における各コントラスト比ピクセル値の算術符号もまた、その後の使用のために保持しなければならない。
【０１５０】
図６の知覚距離ジェネレータと図２０の知覚距離ジェネレータとの間の他の相違は、コントラストエネルギマスキングの実施である。図６と異なり、図２０の知覚距離ジェネレータは、２つの別個の段階で、すなわち、水平チャンネル及び垂直チャンネルのそれぞれにおけるクロスマスキング段階とセルフマスキング段階とで、コントラストエネルギマスキング２０６０を実行する（図２０参照）。セルフマスキングは、現在のチャンネル内の情報の存在下で、感度を減少する。一方、クロスマスキングは、隣りのチャンネル内の情報の存在下で、感度を減少する。実際に、これら２つの別個のマスキング段階の順序は逆であってもよい。これらのコントラストエネルギマスキングは、以下の形態を有している。
【０１５１】
【式２９】

【０１５２】
この場合、
【０１５３】
【式３０】

【０１５４】
ここで、ｙはマスクされるコントラストエネルギ、すなわち、空間Ｈ_i又はＶ_i（方程式（２３ｃ））あるいは時間（Ｔ₃）（方程式（２４ｄ））である。量Ｄ_iは、ｙが属するピラミッドレベルｉに依存する画像を示している（ピクセル毎に）。量ｂ，ａ，ｃ，ｍ_ｆ,ｍ_ｔは、モデル較正によって見出され、それぞれ、１．４、３／３２、５／３２、１０／１０２４、５０である。また、ｄ_yは、絶対値を得る前に記憶されるコントラストｙの算術符号である。
Ｄ_iの演算は、前述した図６のそれと同じである。すなわち、ｆｄｓ１（）は、３×３フィルタリング後に１つのピラミッドレベルでダウンサンプリングすることを示しており、ｕｓｆ１（）は、１つのピラミッドレベルでアップサンプリングした後に３×３フィルタリングを行なうことを示している。最初に、以下のようにしてＥ₀が演算される。
【０１５５】
【式３１】

【０１５６】
次に、１，２に対してアレイＥ_ｉが各々演算される。
【０１５７】
【式３２】

【０１５８】
配列Ｅ_ｉは、その後、以下のようなコントラスト分母配列Ｄ_iを与えるために、時間コントラスト画像Ｔ₃及び画像Ｔ_ｉと組み合せられる。
【０１５９】
【式３３】

【０１６０】
ここで、パラメータｍ_ft＝３／６４は、時間（フリッカー）輝度チャンネルが全ての空間輝度チャンネルによってマスクされる強度を調整する。また、パラメータｍ_ｔ＝５０は、各空間輝度チャンネルが時間（フリッカー）輝度チャンネルによってマスクされる強度を調整する。
【０１６１】
図７は、輝度距離形成部２４０の詳細なブロック図である。また、図７は、輝度距離形成ステップのフローチャートとして、あるいは、そのような輝度距離形成ステップを実行するためのフィルタ等の複数のハードウェア部品、各種の回路部品、特定用途向け集積回路（ＡＳＩＣ）のブロック図として理解することができる。以下に示す構成は、図６で形成されてマスクされた全てのコントラスト画像、すなわち、ピラミッドＨ，Ｖの画像（すなわち、画像Ｈ₀，Ｖ₀，Ｈ₁，Ｖ₁，Ｈ₂，Ｖ₂）、画像Ｔ３（レベル３の解像度を有する）、基準配列から得られる対応する画像（図６及び図７において上付き文字ｒｅｆで示される）に適用される。
【０１６２】
以下のプロセスにおける最初の４つのステップは、前記画像に個別に適用される。また、以下の説明において、Ｘは、試験配列から得られるこれらの画像のうちの任意の画像を示しており、Ｘ^refは、基準配列から得られる対応する画像を示している。これらの表記を用いて、以下、ステップを説明する。
【０１６３】
ステップ（又は、段階）７１０では、画像Ｘが２つの半波長調整画像に分離される。これら２つの画像の一方はプラスのコントラスト７１２に関するものであり、他方はマイナスのコントラスト７１４に関するものである。プラスコントラスト画像（Ｘ₊と称する）においては、Ｘコントラストからのサイン（前述したように、別個に記憶される）は、マイナスのコントラストを有するＸ₊内の全てのピクセルに０を割り当てるために使用される。逆の演算がマイナスコントラスト画像Ｘ_-に対しても行なわれる。
【０１６４】
ステップ（又は、段階）７２０では、各画像Ｘ₊，Ｘ_-に関し、３×３フィルタを適用することによって局所的なプーリング演算が行なわれ、これにより、０．２５（１，２，１）のフィルタカーネルが画像に水平及び垂直に絡み付けられる。
【０１６５】
また、ステップ７２０では、その結果生じた画像が各方向で２因子だけダウンサンプリングされ、プーリング演算から生じた冗長部分が除去される。Ｘに適用された処理と同じ処理が、対応する基準画像Ｘ^refに関して行なわれる。
【０１６６】
ステップ（又は、段階）７３０では、絶対差画像｜Ｘ₊−Ｘ₊ ^ref｜及び｜Ｘ₋−Ｘ_- ^ref｜がピクセル毎に演算される。その結果生じた画像がＪＮＤマップである。
【０１６７】
ステップ（又は、段階）７４０では、コアリング演算がＪＮＤマップに関して行なわれる。すなわち、閾値ｔ_cよりも小さい全ての値が０に設定される。好ましい実施形態において、ｔ_cは値０．５に初期設定される。
【０１６８】
ステップ（又は、段階）７５０では、これらの画像のＱ番目の電力が決定される。好ましい実施形態において、Ｑは、値２に初期設定する正の整数である。
【０１６９】
この処理が全てのＸ₊，Ｘ₊ ^ref対に関して完了すると、アップサンプリングとフィルタリングとを繰り返して、全ての画像を所望のレベルまで加算することにより、サマリーメジャーが決定される。これは、以下のようにして行なわれる。
【０１７０】
すなわち、まず、ステップ（又は、段階）７６０では、レベル２の画像を得るために、Ｔ₃，Ｔ₃ ^refから得られたレベル３の画像にアップサンプリングとフィルタリングとが適用される。
【０１７１】
ステップ（又は、段階）７６１では、ステップ７６０からのレベル２の画像と、Ｈ₂，Ｈ₂ ^ref，Ｖ₂，Ｖ₂ ^refから得られたレベル２の画像の合計に対してアップサンプリングとフィルタリングとが適用される。
【０１７２】
ステップ（又は、段階）７６２では、ステップ７６１からのレベル２の画像と、Ｈ₁，Ｈ₁ ^ref，Ｖ₁，Ｖ₁ ^refから得られたレベル２の画像の合計に対してアップサンプリングとフィルタリングとが適用される。
【０１７３】
ステップ（又は、段階）７６３では、ステップ７６２からのレベル２の画像と、Ｈ₀，Ｈ₀ ^ref，Ｖ₀，Ｖ₀ ^refから得られたレベル２の画像の合計に対してアップサンプリングとフィルタリングとが適用される。ステップ（又は、段階）７６３から延びる経路７６５上の出力は、輝度ＪＮＤマップである。
【０１７４】
最後のステップ７６３の前において、結果として生じた画像の解像度は、オリジナル画像（初期の画像）の解像度の半分である。同様に、この処理部内の各ピラミッドのレベル指数は、それが初期に得られたピラミッドレベル、すなわち、フィルタリング／ダウンサンプリング後のレベルに関する解像度の２倍を示している。
【０１７５】
前述のように、アップサンプリングとフィルタリングとを繰り返して処理を加重することによって形成される画像は、Ｑ番目の電力ＪＮＤ画像である。レベル０の画像は、それが経路７６４上のサマリー処理に直接に送られる際、あるいは、表示目的のためにアップサンプリング及びフィルタリングが成されて初期の画像解像度を得る際の２つの局面で使用される。
【０１７６】
図２１は、輝度距離形成部２４０の他の実施形態の詳細なブロック図である。図２１の輝度距離形成部は、図７の輝度距離形成部と同じ多くの段階を含んでいるため、以下、異なる段階についてのみ説明する。
【０１７７】
すなわち、“コアリング”段階７４０及び“Ｑ番目の電力への引き上げ”段階７５０が、チャンネル出力の実行合計及び実行最大を維持する複数のマックス・サム段階に取って代えられている。図２１に示される処理は、段階７３０までは図７と同じであるため、以下、絶対差画像｜Ｘ₊−Ｘ₊ ^ref｜及び｜Ｘ₋−Ｘ_- ^ref｜が決定される部分から説明を始めることにする。
【０１７８】
次に、処理が全てのＸ₊，Ｘ₊ ^ref対に関して完了すると、実行合計画像は、段階２１４０において、Ｔ₃，Ｔ₃ ^refから得られるレベル３の画像の合計を含むように初期化される。同様に、実行最大画像は、段階２１４２において、｜Ｘ₊−Ｘ₊ ^ref｜及び｜Ｘ_――Ｘ_- ^ref｜のポイント毎の最大として実行最大画像を含むように初期化される。
【０１７９】
次に、実行合計画像及び実行最大画像は、段階２１４０ａ及び段階２１４２ａにおいてそれぞれ、２つのレベル２の画像を備えるようにアップサンプリング及びフィルタリングが施される。その後、実行合計画像は、段階２１４４において、Ｈ₂，Ｈ₂ ^ref，Ｖ₂，Ｖ₂ ^refから得られるレベル２の画像が加えられることによって更新される。同様に、実行最大画像は、段階２１４６において、Ｈ₂，Ｈ₂ ^ref，Ｖ₂，Ｖ₂ ^refから得られるレベル２の画像と比較されることによって更新される。
【０１８０】
次に、実行合計画像及び実行最大画像は、段階２１４４ａ及び段階２１４６ａにおいてそれぞれ、レベル１の画像を備えるようにアップサンプリング及びフィルタリングが施される。その後、実行合計画像は、段階２１４８において、Ｈ₁，Ｈ₁ ^ref，Ｖ₁，Ｖ₁ ^refから得られるレベル１の画像が加えられることによって更新される。同様に、実行最大画像は、段階２１５０において、Ｈ₁，Ｈ₁ ^ref，Ｖ₁，Ｖ₁ ^refから得られるレベル１の画像と比較されることによって更新される。
【０１８１】
次に、実行合計画像及び実行最大画像は、段階２１４８ａ及び段階２１４８ａにおいてそれぞれ、レベル０の画像を備えるようにアップサンプリング及びフィルタリングが施される。その後、実行合計画像は、段階２１５２において、Ｈ₀，Ｈ₀ ^ref，Ｖ₀，Ｖ₀ ^refから得られるレベル０の画像が加えられることによって更新される。同様に、実行最大画像は、段階２１５４において、Ｈ₀，Ｈ₀ ^ref，Ｖ₀，Ｖ₀ ^refから得られるレベル０の画像と比較されることによって更新される。
【０１８２】
最後に、段階２１６０において、実行合計画像及び実行最大画像のポイント毎の線形結合（一次結合）が行なわれる。これにより、以下の式に従う輝度ＪＮＤマップが形成される。
【０１８３】
【式３４】

【０１８４】
ここで、ｋ_L＝０．７８３である。ｋの値は、ミンコフスキーのＱ基準に近似させることによって決定される。Ｑの値及び得られる多くの画像Ｎが共に与えられると、比較された全てのエントリ（１つのピクセルで）が同じである場合、また、０でないエントリが１つだけ存在する場合に、値ｋ_L＝［Ｎ−Ｎ^1/Q］／［Ｎ−１］によって、おおよその大きさがＱ基準と一致する。この場合、Ｎ＝１４（チャンネルの数）であり、Ｑ＝２である。
【０１８５】
この処理後において、結果として生じた画像の解像度は、オリジナル画像（初期の画像）の解像度の半分である。同様に、この処理における各ピラミッドのレベル指数は、それが初期に得られたピラミッドレベル、すなわち、フィルタリング／ダウンサンプリング後のレベルに関する解像度の２倍を示している。
【０１８６】
最後に、フィルタリング／ダウンサンプリングを繰り返し且つ加重／最大化処理を行なうことによって形成された全ての画像には、加重（重み）ｋ_L，１−ｋ_Lが加えられ、これによって、ＪＮＤ画像を形成することができる。レベル０の画像は、それが経路２１６１によってＪＮＤサマリー処理に直接に送られる際、あるいは、表示目的のために段階２１７０でアップサンプリング及びフィルタリングが成されて初期の画像解像度を得る際の２つの局面で処理することができる。
【０１８７】
一般に言って、図２１の輝度距離形成部は好ましい実施形態であるのに対して、図７の輝度距離形成部は他の実施形態である。その理由の１つは、マックス・サム法は、演算的に安価だからである。従って、整数のダイナミックレンジの実施が望ましい場合には、図２１の輝度距離形成部が望ましい。一方、浮動小数点プロセッサが使用される場合には、図７の輝度距離形成部が望ましい。
【０１８８】
半高輝度処理
記憶条件及び演算サイクルは重要な処理問題であるため、本発明は、例えばインターレース画像の上部領域及び底部領域といった半高画像を処理することができる知覚距離ジェネレータの他の実施形態を提供する。この実施形態によれば、全高画像を記憶するために必要な記憶スペースの量を減らすことができると共に、演算サイクルの数を減らすことができる。
【０１８９】
半高画像が直接にゼロ化することなく真の画像高さまで通過される場合には、固有の垂直解像度が固有の水平解像度のたった半分であることを示すように前述した輝度処理部２２０を変更しなければならない。図２２及び図２３は、半高画像を処理するための輝度距離形成部及び輝度処理部のブロック図である。
【０１９０】
これらの図（図２２及び図２３）及び全高インターレース画像に関する対応する図（図２０及び図２１）から明らかなように、多くの段階が同じである。従って、図２２及び図２３の以下の説明では、これら２つの実施形態の異なる点についてのみ説明する。
【０１９１】
まず、解像度が最も高い水平チャンネルＨ₀が除去される。次に、加重（１／８，３／４，１／８）を有する３×１“ケル（Ｋｅｌｌ）”フィルタ（垂直フィルタ）２２１０を用いて、解像度が最も高い画像が低域フィルタに垂直に通される（すなわち、縦列）。このフィルタは、垂直寸法で半分の空間周波数でラインがサンプリングされるという事実に起因する効果を除去するためのアンチエイリアシングフィルタである。すなわち、これは、垂直方向で不鮮明にする低域フィルタである。垂直にフィルタに通されることによって生じた画像Ｌ₀は、その後、１×３フィルタ２２２０（カーネル０．２５［１，２，１］）を用いて水平にフィルタリングされる。その結果生じた画像ＬＰ₀は、低域フィルタに水平に通されたＬ₀のバージョンである。
【０１９２】
次に、Ｌ₀及びＬＰ₀は、方向付けられた他のチャンネルの（Ｓ−Ｃ）／（Ｓ＋Ｃ）応答に類似する、バンドパス（ＬＰ₀−Ｌ₀）をローパス（ＬＰ₀）で割って成る方向付けられた応答を形成する。
【０１９３】
続いて、段階２２００において、画像ＬＰ０（７２０×２４０ピクセルの半高画像）が、全高半解像度画像（３６０×２４０）へと水平にダウンサンプリングされる。この時点で、アスペクト比は、この画像上及び残る３つのピラミッドレベルの全体にわたる処理を全高の場合と同様に続けることができるような値である。
【０１９４】
次に、段階２２３２での１×３フィルタリング／水平ダウンサンプリング（１×３filter ＆ ｄ．ｓ．と名付けられている）及び段階２２３４での水平アップサンプリング（ｈ．ｕ．ｓ．）／１×３フィルタリングをそれぞれ用いて、レベル０からの半高画像とレベル１の全高画像との間で、ダウンサンプリング及びアップサンプリングが行なわれる。水平ダウンサンプリングは、水平の寸法で２因子分の破壊を適用する。すなわち、他の縦列画像の全てを廃棄する。水平アップサンプリングは、存在する画像の２つの縦列間に０の縦列を挿入する。アップサンプリング後のフィルタカーネルは、前述した理由から、０．５［１，２，１］によって規定される。
【０１９５】
図２３は、半高画像を処理するための輝度距離形成部を示している。最初に、解像度が最も高いチャンネルＨ₀は存在しない。Ｖ₀チャンネルに関しては、３×３フィルタリング・ダウンサンプリング段階を他のチャンネルで使用されるように置き換えるために、１×３フィルタリング・水平ダウンサンプリング段階２３００が与えられる。
【０１９６】
Ｈ₀チャンネルが存在しないため、様々なパラメータ及び実行最大及び実行合計の「経路」が変更される。例えば、ｋを決定する値Ｎが１２から４に変更される。全高及び半高の両方の処理に関しては、同じ値ｋ＝０．７８３が使用される。この値は、前述した方程式から演算される全高及び半高の定数の平均である。
【０１９７】
最後に、全高の実施形態と同様、サマリーメジャーに関する輝度マップを全画像解像度に対してその表示前に適用しなければならない。段階２３１０において、アップサンプリングした後、１×３フィルタリング（カーネル０．５［１，２，１］）を施すことによって、表示の直前に、最後のＪＮＤマップが水平方向で全解像度に適用される。垂直方向では、段階２３２０で、ライン・ダブリングが行なわれる。
【０１９８】
各空間フィルタは水平及び垂直の空間に依存しており、また、半高の実施形態には、全高の実施形態と比較して、幾つかの相違点がある。しかしながら、半高の実施形態は、主観的な評価に関して、僅かな摂動を示すにすぎない。従って、インターレースの実施形態の他の実施形態として、実行可能で且つ時間を節約できる非インターレースの実施形態を使用することもできる。
【０１９９】
図８は、クロミナンス処理部２３０の詳細なブロック図を示している。また、図８は、クロミナンス処理ステップのフローチャートとして、あるいは、そのようなクロミナンス処理ステップを実行するためのフィルタ等の複数のハードウェア部品、各種の回路部品、特定用途向け集積回路（ＡＳＩＣ）を有するクロミナンス処理部のブロック図として理解することができる。レベル０，１，２を有するピラミッドの他、クロミナンス処理部２３０は、ｕ^*８０２及びｖ^*８０４に関し、レベル０，１…６を有するピラミッドを演算する。
【０２００】
解像度は、レセプタ間の距離によってではなく、ピクセル間の距離によって駆動されるため、クロミナンスチャンネルの空間解像度（すなわち、ピラミッドレベルが最も高い解像度）は、輝度のそれと等しくなるように選択される。レセプタ間の距離は視角の０．００７°であり、ピクセル間の距離は、その高さ内に４８０個のピクセルを有する画面からその高さの４倍で見て得られる０．０３°である。一方、Mogan and Aiba(1985) は、赤−緑バーニア明瞭度が、等輝度で、３因子だけ、すなわち、他の種類の明瞭度におけるレセプタ間距離の３倍に等しい因子だけ、低下することを見出した。また、視角２’（すなわち、０．０３３°）よりも小さい範囲を定める光において視覚システムが第３色盲（青盲目）となるという事実(Wyszecki and Stiles. 1982. p.571を参照）によって、青−黄の有色チャンネルの解像度が制限される。視角０．０３°のピクセル解像度は、これらの値のうち最も大きい値に非常に近い。その結果、輝度チャンネルのピクセル解像度とクロミナンスチャンネルのピクセル解像度とを同一視することが適当である。
【０２０１】
クロミナンスピラミッドはレベル６にまで達する。これは、大きな空間的に均一な色領域間の差異に観察者が気付くという証拠を裏付ける。この効果は、空間的に広げられたＪＮＤマップを使用することによって扱うことができる。そのような低い空間周波数によるＪＮＤへの寄与度に関する量的な証拠は、Ｍｕｌｌｅｎ（１９８５）によって与えられている。
【０２０２】
図８に戻ると、輝度処理と同様に、７つの解像度レベルでの空間的な分解は、連続的に非常に粗い解像度レベルのそれぞれで２因子だけ画像を不鮮明にしてダウンサンプリングするピラミッド分解によって達成される。初期の全解像度画像は、０レベル（レベル０）のピラミッドと称される。次に低い解像度レベルは、ＲＥＤＵＣＥと呼ばれる演算によって得られる。すなわち、不鮮明画像を形成するために、加重（１，２，１）／４を有する３タップ低域フィルタ８０５が画像の各方向で０レベルに連続的に適用される。その結果生じた画像は、その後、次のレベルであるレベル１を形成するために、２因子だけサブサンプリングされる（他のピクセルが除去される度に）。
【０２０３】
ステップ（又は、段階）８１０では、各解像度レベルに関してｕ^*画像上で、また、タップ加重（０．２５，０．２５，０．２５，０．２５）を有するｖ＊画像上で、以下のような４領域平均が実行される。
【０２０４】
【式３５】

【０２０５】
ここで、ｊは領域の指標である。この平均演算は、有色チャンネルの固有の低域時間フィルタリングを反映しており、時間輝度チャンネルの“ｅａｒｌｙ−Ｌａｔｅ”処理に取って代わる。
【０２０６】
ステップ（又は、段階）８２０では、方向付けられていないラプラス空間フィルタ８２０がｕ^*画像及びｖ^*画像のそれぞれに適用される。フィルタは以下の３×３カーネルを有している。
【０２０７】
【式３６】

【０２０８】
このカーネルは、全加重０を有し、且つ、単位（ユニット）の値に差がある２つの均一領域間の任意のストレート・エッジに最大強度１をもって応答するように、選択される（最大応答は、水平エッジ又は垂直エッジによって達成される）。これによって、均一カラー空間（ＪＮＤ）ユニットで評価されたクロミナンス差のマップにＵ^*画像とＶ^*画像が組み込まれる。
【０２０９】
ステップ（又は、段階）８３０では、輝度処理部で演算されたマイケルソンコントラストと類似に解釈されるクロミナンスコントラストピラミッドとして、ステップ８２０から生じたｕ^*画像及びｖ^*画像に関して直接にコントラスト演算が行なわれる。輝度コントラストと同様に、クロミナンスコントラストは、ラプラスピラミッドによってもたらされる画像間比較によって演算される。空間平均で割られるラプラス差は、ウェーバの法則により１−ＪＮＤレベル（検出閾値）で一定値と見なされるマイケルソンコントラストを示しているため、ｕ^*画像及びｖ^*画像に関するラプラスピラミッド演算は、１−ＪＮＤ解釈を有している。同様に、この解釈は、較正中に変更される。変更は、本発明の全ての部分の相互作用を反映していると共に、知覚距離ジェネレータに関しては１−ＪＮＤ応答を引き出す刺激が簡単ではないという事実を反映している。
【０２１０】
また、ステップ（又は、段階）８３０では、レベル毎のコントラストピラミッド画像が７つの定数ｑ_ｉ（ｉ＝０，…，６）で割られる。これらの定数の値は、較正によって決定され、それぞれ、１０００、１２５、４０、１２．５、１０、１０、１０となる。これらの定数は、輝度処理部における量ｗ_i（ｉ＝０，…，３）に類似している。
【０２１１】
ステップ（又は、段階）８４０では、ｕ^*コントラスト及びｖ^*コントラストの全ての二乗が決定されるが、この場合も、算術符号はその後の使用のために維持される。このように、算術符号を維持すると、二乗演算での曖昧な符号の損失によって２つの異なる画像間で複数の０ＪＮＤを記録してしまうといった可能性を防止することができる。これによって、２つのクロミナンス二乗コントラストピラミッドＣｕ，Ｃｖが生じる。
【０２１２】
ステップ（又は、段階）８５０では、コントラストエネルギマスキングが行なわれる。最初に、分母ピラミッドレベルＤ_ｍ（ｍ＝０，１，２）は、更に変更することなく、輝度処理部２２０からそのまま採用される。しかしながら、レベル３，…，６に関しては、輝度処理と同様の方法を使用して、Ｄ₂が連続的にフィルタリングされてダウンサンプリングされる。しかし、新たな項は加えられない。輝度はＪＮＤの非常に重要な決定子であるため、クロミナンスにおける輝度の効果の方が、輝度におけるクロミナンスの効果よりも重要であるという意味において、これらのＤ_ｍ値は、摂動論の精神により、ステップ８４０で使用される。すなわち、大抵の場合、輝度効果は、クロミナンス効果よりも優勢であることが期待され、クロミナンス処理部は、輝度処理部における一次摂動と見なすことができる。従って、輝度の効果（Ｄ_ｍ）は、クロミナンスをマスクするように形成され、その逆ではない。
【０２１３】
全てのピラミッドレベルｍ＝０，１，２に関し、マスクされたクロミナンスコントラストピラミッドは、輝度チャンネル分母ピラミッドＤ_ｍと、クロミナンス二乗コントラストピラミッドをマスクするために輝度トランスデューサのために使用される同じ関数式とを使用して、以下のように形成される。
【０２１４】
【式３７】

【０２１５】
ステップ８３０で除去される算術符号は、因子ｓ_um，ｓ_vmによって再び付与される。この演算は、ｕ^*，ｖ^*のためのマスクされたコントラストピラミッドを形成する。較正によって、値ａ_c＝０．１５，ｃ_c＝０．３，ｋ＝０．７，σ_c＝１．０，ρ_c＝１．１７が決定される。また、ｍ_cを値１に設定すると、較正及び予測の全てにおいて十分な性能が得られた。
【０２１６】
図２４は、クロミナンス処理部２３０の他の実施形態の詳細なブロック図である。図２４のクロミナンス処理部は、図８のクロミナンス処理部の段階と類似する多くの段階を含んでいるため、以下、異なる段階についてのみ説明する。
【０２１７】
クロミナンスの空間及び時間フィルタリングは、図８及び図２４の両方の知覚距離ジェネレータの場合と同様である。しかしながら、図２４の知覚距離ジェネレータにおけるクロミナンスコントラスト演算は、二乗演算を行なうことなく達成される。すなわち、段階８３０は、図２４においては、段階２４００に取って代えられている。
【０２１８】
より詳細には、ステップ（又は、段階）８３０では、レベル毎のコントラストピラミッド画像が７つの定数ｑ_ｉ（ｉ＝０，…，６）で割られる。これらの定数は図８の定数と異なっていることに留意すべきである。これらの定数の値は、較正によって決定され、それぞれ、３８４、６０、２４、６、４、３、３となる。これらの定数は、輝度処理部における量ｗ_i（ｉ＝０，…，３）に類似している。
【０２１９】
次に、ｕ^*コントラスト及びｖ^*コントラストの全ての短縮された絶対値が演算される（ｃｌｉｐ（ｘ）＝ｍａｘ（０，ｘ−ｅ））。この場合、ｅ＝０．７５である。この場合も、算術符号は、その後の使用のために、維持されて再び付与される。これによって、絶対値演算での曖昧な符号の損失によって２つの異なる画像間で複数の０ＪＮＤを記録してしまうといった可能性を防止することができる。これによって、２つのクロミナンスコントラストピラミッドＣｕ，Ｃｖが生じる。
【０２２０】
図８の知覚距離ジェネレータと図２４の知覚距離ジェネレータとの間の他の重要な差異は、コントラストエネルギマスキングの実施である。図８と異なり、図２４の知覚距離ジェネレータは、２つの別個の段階で、すなわち、水平チャンネル及び垂直チャンネルのそれぞれにおけるクロスマスキング段階とセルフマスキング段階とで、コントラストエネルギマスキング２４１０を実行する（図２４参照）。セルフマスキングは、現在のチャンネル内の情報の存在下で、感度を減少する。一方、クロスマスキングは、隣りのチャンネル内の情報の存在下で、感度を減少する。実際に、これら２つの別個のマスキング段階の順序は逆であってもよい。
【０２２１】
全てのピラミッドレベルＤ_m＝０，…，６に関し、輝度チャンネル分母ピラミッドＤ_ｍと、クロミナンスコントラストピラミッドをマスクするために輝度トランスデューサのために使用される同じ関数式とを使用すると、
【０２２２】
【式３８】

【０２２３】
ｉ＞２の時、Ｄ_iは、Ｄ₂のフィルタリングされてダウンサンプリングされたバージョンである。同様に、
【０２２４】
【式３９】

【０２２５】
前記除去された算術符号は、因子ｓ_um，ｓ_vmによって再び付与される。この演算は、ｕ_i，ｖ_iのためのマスクされたコントラストピラミッドを形成する。較正によって、値ａ_c＝１／２，ｃ_c＝１／２，ρ_c＝１．４，ｍ_c＝ｍ_i＝１０／１０２４が決定される。一般的に言って、図２４のクロミナンス処理部は好ましい実施形態であるのに対して、図８のクロミナンス処理部は他の実施形態である。
【０２２６】
図９は、クロミナンス距離形成部２５０のブロック図を示している。この場合も、図９は、クロミナンス距離形成ステップのフローチャートとして、あるいは、そのようなクロミナンス距離形成ステップを実行するためのフィルタ等の複数のハードウェア部品、各種の回路部品、特定用途向け集積回路（ＡＳＩＣ）を有するクロミナンス距離形成部のブロック図として理解することができる。クロミナンスＪＮＤマップの構成は、図７に関して前述した輝度ＪＮＤマップの構成と類似している。クロミナンスの場合、プロセスは、前述した段階８４０で形成されるマスクされたコントラストクロミナンス画像の全て、すなわち、画像Ｃ_u0，Ｃ_v0，…，Ｃ_u6，Ｃ_v6及び、基準配列から得られる対応画像（図８及び図９に、上付き文字ｒｅｆで示されている）に適用される。
【０２２７】
以下のプロセスにおける最初の４つのステップは、前記画像に個別に適用される。また、以下の説明において、Ｘは、試験配列から得られるこれらの画像のうちの任意の画像を示しており、Ｘ^refは、基準配列から得られる対応する画像を示している。これらの表記を用いて、以下、ステップを説明する。
【０２２８】
ステップ（又は、段階）９１０では、画像Ｘが２つの半波長調整画像に分離される。これら２つの画像の一方はプラスのコントラスト９１２に関するものであり、他方はマイナスのコントラスト９１４に関するものである。プラスコントラスト画像（Ｘ₊と称する）においては、Ｘコントラストからのサイン（前述したように、別個に記憶される）は、マイナスのコントラストを有するＸ₊内の全てのピクセルに０を割り当てるために使用される。逆の演算がマイナスコントラスト画像Ｘ_-に対しても行なわれる。
【０２２９】
ステップ（又は、段階）９２０では、各画像Ｘ₊，Ｘ_-に関し、３×３フィルタを適用することによって局所的なプーリング演算が行なわれ、これにより、０．５（１，２，１）のフィルタカーネルが画像に水平及び垂直に絡み付けられる。
【０２３０】
また、ステップ９２０では、その結果生じた画像が各方向で２因子だけダウンサンプリングされ、プーリング演算から生じた冗長部分が除去される。Ｘに適用された処理と同じ処理が、対応する基準画像Ｘ^refに関して行なわれる。
【０２３１】
ステップ（又は、段階）９３０では、絶対差画像｜Ｘ₊−Ｘ₊ ^ref｜及び｜Ｘ_――Ｘ_- ^ref｜がピクセル毎に演算される。その結果生じた画像がＪＮＤマップである。
【０２３２】
ステップ（又は、段階）９４０では、コアリング演算がＪＮＤマップに関して行なわれる。すなわち、閾値ｔ_cよりも小さい全ての値が０に設定される。好ましい実施形態において、ｔ_cは値０．５に初期設定される。
【０２３３】
ステップ（又は、段階）９５０では、これらの画像のＱ番目の電力が決定される。好ましい実施形態において、Ｑは、値２に初期設定する正の整数である。
【０２３４】
この処理が全てのＸ₊，Ｘ₊ ^ref対に関して完了すると、アップサンプリングとフィルタリングとを繰り返して、全ての画像を所望のレベルまで加算することにより、サマリーメジャーが決定される。これは、以下のようにして行なわれる。
【０２３５】
すなわち、まず、ステップ（又は、段階）９６０では、レベル５の画像を得るために、Ｃ_u6，Ｃ_u6 ^ref，Ｃ_v6，Ｃ_v6 ^refから得られたレベル６の画像にアップサンプリングとフィルタリングとが適用される。
【０２３６】
次のステップ（又は、段階）では、ステップ９６０からのレベル５の画像と、Ｃ_u5，Ｃ_u5 ^ref，Ｃ_v5，Ｃ_v5 ^refから得られたレベル５の画像の合計に対してアップサンプリングとフィルタリングとが適用される。このプロセスはレベル０まで続けられる。
【０２３７】
輝度処理と同様に、最後の処理段階９６３の前において、結果として生じた画像の解像度は、オリジナル画像（初期の画像）の解像度の半分である。同様に、この処理部内の各ピラミッドのレベル指数は、それが初期に得られたピラミッドレベル、すなわち、フィルタリング／ダウンサンプリング後のレベルに関する解像度の２倍を示している。
【０２３８】
前述のように、アップサンプリングとフィルタリングとを繰り返して処理を加重することによって形成される画像は、Ｑ番目の電力ＪＮＤ画像である。レベル０の画像は、それが経路９６４上のサマリー処理に直接に送られる際、あるいは、表示目的のために段階９６３でアップサンプリング及びフィルタリングが成されて初期の画像解像度を得る際の２つの局面で使用される。
【０２３９】
前述したように、出力サマリーステップに送られる輝度及びクロミナンスのＪＮＤマップは、Ｑ番目の電力ＪＮＤ画像であり、オリジナル画像（初期の画像）の解像度の半分の解像度を示す。これは、各マスクコントラスト段階で行なわれるプーリングが有する固有の冗長部分を利用する。以下のミンコフスキー加重によって全てのピクセルを加重平均することにより、これらの半解像度画像のそれぞれを１つのＪＮＤ性能水準まで低下することができる。
【０２４０】
【式４０】

【０２４１】
ＮＰは、ＪＮＤマップ及びＪＮＤ_luminanceのそれぞれの数であり、ＪＮＤ_chrominanceは、サマリーメジャーである。また、Ｌ_JND ^Q及びＣ_JND ^Qは、輝度及びクロミナンスマップ構成からの半解像度マップである。それぞれの場合、合計は、画像内の全てのピクセルを超える。前述したように、ミンコフスキー指数Ｑの値は、２に初期設定される。
【０２４２】
輝度及びクロミナンスのサマリーメジャーから、１つの領域における１つの性能水準が、以下のミンコフスキー加重によって演算される。
【０２４３】
【式４１】

【０２４４】
ここで、Ｑは２に初期設定される。
【０２４５】
ミンコフスキーの意味において、各領域のためのＪＮＤ値を加重することにより、ビデオ配列のＮ個の領域に関する１つの性能水準は、以下の通りである。Ｑは２に初期設定される。
【０２４６】
【式４２】

【０２４７】
図２５は、クロミナンス距離形成部２５０の他の実施形態の詳細なブロック図である。図２５のクロミナンス距離形成部は、図９のクロミナンス距離形成部と同じ多くの段階を含んでいるため、以下、異なる段階についてのみ説明する。
【０２４８】
すなわち、“コアリング”段階９４０及び“Ｑ番目の電力への引き上げ”段階９５０が、チャンネル出力の実行合計及び実行最大を維持する複数のマックス・サム段階に取って代えられている。図２５に示される処理は、段階９３０までは図９と同じであるため、以下、絶対差画像｜Ｘ₊−Ｘ₊ ^ref｜及び｜Ｘ_――Ｘ_- ^ref｜が決定される部分から説明を始めることにする。
【０２４９】
次に、処理が全てのＸ₊，Ｘ₊ ^ref対に関して完了すると、実行合計画像は、段階２５４０において、Ｃ_u6，Ｃ_u6 ^ref，Ｃ_v6，Ｃ_v6 ^refから得られるレベル６の画像の合計を含むように初期化される。同様に、実行最大画像は、段階２５４２において、｜Ｘ₊−Ｘ₊ ^ref｜及び｜Ｘ_――Ｘ_- ^ref｜のポイント毎の最大として初期化される。
【０２５０】
次に、実行合計画像及び実行最大画像は、段階２５４０ａ及び段階２５４２ａにおいてそれぞれ、２つのレベル５の画像を備えるようにアップサンプリング及びフィルタリングが施される。その後、実行合計画像は、段階２５４４において、Ｃ_u5，Ｃ_u5 ^ref，Ｃ_v5，Ｃ_v5 ^refから得られるレベル５の画像が加えられることによって更新される。同様に、実行最大画像は、段階２５４６において、Ｃ_u5，Ｃ_u5 ^ref，Ｃ_v5，Ｃ_v5 ^refから得られるレベル５の画像と比較されることによって更新される。このプロセスはレベル０まで続けられる。
【０２５１】
最後に、前述したステップが行なわれると、実行合計画像及び実行最大画像のポイント毎の線形結合（一次結合）が行なわれる。これにより、以下の式に従うクロミナンスＪＮＤマップが形成される。
【０２５２】
【式４３】

【０２５３】
ここで、ｋ_c＝０．８３６である。ｋ_cの値は、ミンコフスキーのＱ基準に近似させることによって決定される。Ｑの値及び得られる多くの画像Ｎが共に与えられると、比較された全てのエントリ（１つのピクセルで）が同じである場合、また、０でないエントリが１つだけ存在する場合に、値ｋ_c＝［Ｎ−Ｎ^1/Q］／［Ｎ−１］によって、おおよその大きさがＱ基準と一致する。この場合、Ｎ＝２８（チャンネルの数）であり、Ｑ＝２である。
【０２５４】
輝度処理と同様、この処理後において、結果として生じた画像の解像度は、オリジナル画像（初期の画像）の解像度の半分である。この処理における各ピラミッドのレベル指数は、それが初期に得られたピラミッドレベル、すなわち、フィルタリング／ダウンサンプリング後のレベルに関する解像度の２倍を示している。
【０２５５】
フィルタリング／ダウンサンプリングを繰り返し且つ加重／最大化処理を行なうことによって形成された全ての画像には、加重（重み）ｋ_c，１−ｋ_cが加えられ、これによって、ＪＮＤ画像を形成することができる。レベル０の画像は、それがサマリー処理に直接に送られる際、あるいは、表示目的のために初期の画像解像度へとアップサンプリングされてフィルタリングされる際の２つの局面で処理することができる。
【０２５６】
一般に言って、図２５のクロミナンス距離形成部は好ましい実施形態であるのに対して、図９の輝度距離形成部は他の実施形態である。その理由の１つは、マックス・サム法は、演算的に安価だからである。従って、整数のダイナミックレンジの実施が望ましい場合には、図２５のクロミナンス距離形成部が望ましい。一方、浮動小数点プロセッサが使用される場合には、図９の輝度距離形成部が望ましい。
【０２５７】
半高クロミナンス処理
半高画像が直接にゼロ化することなく真の画像高さまで通過される場合には、固有の垂直解像度が固有の水平解像度のたった半分であることを示すように前述したクロミナンス処理部２３０を変更しなければならない。図２６及び図２７は、半高画像を処理するためのクロミナンス距離形成部及びクロミナンス処理部のブロック図である。
【０２５８】
これらの図（図２６及び図２７）及び全高インターレース画像に関する対応する図（図２４及び図２５）から明らかなように、多くの段階が同じである。従って、図２６及び図２７の以下の説明では、これら２つの実施形態の異なる点についてのみ説明する。
【０２５９】
第１に、解像度が最も高いクロミナンスチャンネルｕ₀ ^*，ｖ₀ ^*が除去される。一般に、クロミナンス感度は高い空間周波数で低いため、これらのチャンネルの損失は重要ではない。
【０２６０】
第２に、解像度が次に最も高いクロミナンス画像ｕ₁ ^*，ｖ₁ ^*を形成するために、加重が（１／８，３／４，１／８）のカーネルを有する低域“ケル”フィルタ２６００が垂直（すなわち、縦列に沿って）に適用される。この演算は、全高の実施形態の３×３フィルタの垂直成分によって行なわれるフィルタリングと、想定された非インターレースフィルタのフィルタリングとのジョイントフィルタリングに対応している。その結果生じた垂直にフィルタリングされた画像は、その後、加重０．２５（１，２，１）のカーネルを有する１×３フィルタ２６１０を用いて水平にフィルタに通される。ｕ^*，ｖ^*画像のこのフィルタリングは、等方性解像度の半高画像を形成する。その解像度は、レベル１の全高ピラミッドの解像度である。
【０２６１】
図２７は、半高画像を処理するためのクロミナンス距離形成部を示している。最初に、０レベルは存在しない。従って、各種のパラメータと、実行最大及び実行合計の「経路」とが変更される。例えば、ｋを決定する値Ｎが２８から２４に変更される。全高処理及び半高処理の両方には同じ値ｋ＝０．８３６が使用され、この値は、先に与えられた式から演算される全高定数と半高定数の平均である。
【０２６２】
クロミナンスの実施形態においては、ピラミッドレベル１で、最大ストリーム及び合計ストリームが全て累積されるため、サマリーメジャーに関するクロミナンスＪＮＤマップは、全累積された輝度マップのたった半分のサイズ（水平及び垂直の両方で）である。従って、全ＪＮＤマップを形成するためにクロミナンスマップと輝度マップとを組み合せる前に、まず、クロミナンスマップを輝度マップと同じ解像度にしなければならない。この目的を果たすために、その後に３×３フィルタ２７０５を伴うアップサンプリングが行なわれ、サマリーメジャーに関するクロミナンスＪＮＤマップが形成される。
【０２６３】
全高の実施形態と同様、サマリーメジャーに関するクロミナンスマップを、それが表示される前に、全画像解像度にしなければならない。輝度マップにおける類似する演算と一致させるため、段階２７１０でアップサンプリングを行なった後に１×３フィルタリング（カーネル０．５ｌ１，２，１ｌ）を行なうことにより、クロミナンスマップが水平方向で全解像度にされる。垂直方向では、段階２７２０において、ライン・ダブリングが行なわれる。
【０２６４】
ＪＮＤ出力サマリー
前述したように、出力サマリーステップに送られた輝度及びクロミナンスＪＮＤマップは、ＪＮＤ画像であり、オリジナル画像（初期の画像）の解像度の半分の解像度を示す。これは、各マスクコントラスト段階で行なわれるプーリングに固有の冗長部分を利用する。
【０２６５】
次に、輝度及びクロミナンスＪＮＤマップＪＮＤ_L，ＪＮＤ_Cは、１つの全領域ＪＮＤマップＪＮＤ_Tへと組み合わされる。この組合せは、マップＪＮＤ_L，ＪＮＤ_Cを形成するためにチャンネルを組み合せるのに類似する以下のミンコフスキー加重を用いて達成される。
【０２６６】
【式４４】

【０２６７】
ここで、ｋ_T＝０．５８６である。ｋ_Tの選択は、ミンコフスキーＱ基準を近似することによって決定される。この場合、最大／合計に関して２つの項が存在し、Ｑ＝２である。
【０２６８】
続いて、各半解像度ＪＮＤ画像（各領域に関して３つ、すなわち、輝度、クロミナンス、全領域）は、以下のヒストグラム処理により、ＪＡＭと呼ばれる１つのＪＮＤ性能メジャーへと減少される。
【０２６９】
第１に、ＪＮＤ値（ビンサイズ１／８ＪＮＤを有する）のヒストグラムが形成されるが、閾値レベルｔ_c＝１／２よりも低い値は含まれていない。１００ＪＮＤ’ｓよりも大きい全ての値は、１００ＪＮＤ’ｓとして記録される。
【０２７０】
第２に、ＪＡＭは、前記短縮されたヒストグラムからのＪＮＤスコアの９０番目の百分率として採用される。この形態では、３つの値ＪＡＭ_luma，ＪＡＭ_chroma，ＪＡＭ_totalが、ＪＮＤ_L，ＪＮＤ_C，ＪＮＤ_Tにそれぞれ対応するサマリーメジャーに関して演算される。これは、ビデオ配列内の各領域に関して行なわれる。
【０２７１】
ビデオ配列内のＮ個の１領域ＪＡＭ_field値から、配列の長さに依存する２つの形態のうちの一方で、１つの性能メジャーＪＡＭ_Nが演算される。
Ｎ＞１０に関し
ＪＡＭ_Nは、ＪＡＭ_field値のヒストグラムの９０番目の百分率に等しい。
Ｎ・１０に関し
ＪＡＭ_Nは、Ｎが増大する際の連続度を与える以下のプロセスによって決定される。より詳細には、第１に、ＪＡＭ_field値のヒストグラムが形成される。第２に、このヒストグラムは、真のヒストグラムと同じ最大、最小、平均を有するが最小値もしくは最大値のいずれかで１つのビンピークを有する定数から成る“偽ヒストグラム”によって近似される。
【０２７２】
第３に、前記偽ヒストグラムからのＪＡＭ_fieldスコアの９０番目の百分率として、Ｎ領域ＪＡＭが採用される。
【０２７３】
主観的な評価データ（１／２秒よりも短い、あるいは、１５フレームよりも短い）は、短いビデオ配列においては、ノイズであり、信頼できない。従って、ＪＡＭ評価は、短い配列に関しては、主観的な評価と関連付ける必要はあまりない。
【０２７４】
画像ボーダー処理
この知覚距離ジェネレータにおいては、各段階でのボーダー反射によって輝度及びクロミナンスＪＮＤマップ内にアーチファクトが伝搬されるため、これらのアーチファクトによってＪＮＤマップが汚染されないようにクロッピングする必要がある。このような問題を扱うため、方法を発展させて、画面の縁を計り知れない程度の灰色ベゼル（表縁）で置き換えた。しかし、サイドの６つ以上のピクセルによって真の画像サイズを高めることなく操作する。この「仮想ベセル」を使用すると、ボーダーのアーチファクトを避けるためにＪＮＤマップをクロッピングすることが不要になる。無限グレイベゼルは視覚状態をモデル化し、従って、非アーチファクトであると思われる。このような考え方により、全ＪＮＤマップは、アーチファクトによって汚染されず、画質分析器によって表示できる。
【０２７５】
以下の説明において、全てのサイドの６ピクセルで埋め込まれる（パッドされる）画像を「パッド画像」と称し、また、パッドされない画像あるいはパット画像内のその場所を「画像プロパー」と称する。
【０２７６】
画像演算は局所的であるため、仮想的に無限のベゼルを効果的に実施できる。画像プロパーの外側に十分離れると、無限ベゼルは、与えられた任意の段階で同一の一定値のセットになる。この一定領域で行なわれるフィルタリング等の画像演算の効果は、推測的に演算される。従って、狭いボーダー（この実施形態では、６ピクセル）は、画像プロパーから無限ベゼルへの適切な移行を与えることができる。
【０２７７】
入力で、ベゼルには、値Ｙ’＝９０，Ｕ’＝Ｖ’＝０が与えられる（Ｙ’＝９０の値は、最大画面輝度の１５％のＲｅｃ５００バックグラウンド値と一致する）。しかしながら、ベゼルは、フロントエンド処理後まで必要とされない。なぜなら、画像ボーダーを超えて延びる空間的な相互作用がこの段階後まで生じないからである。輝度チャンネルにおいては、輝度圧縮後までボーダー（従って、ベゼル値も）が画像に付加されない。クロミナンスチャンネルにおいては、フロントエンド処理後にボーダーが付加される。
【０２７８】
輝度チャンネルにおいて、輝度圧縮後の最初のベゼル値は以下の通りである。
【０２７９】
【式４５】

【０２８０】
ｕ^*，ｖ^*チャンネルにおいて、最初のベゼル値は両方共に０である。
【０２８１】
これらの値は、次の処理段階で、以下の３つの方法により送られる。
【０２８２】
１）新しいベゼル値を形成するために、ピクセル毎の関数が古いベゼル値を演算する。例えば、１．４べき関数から生じるベゼル値は、以下の通りである。
【０２８３】
【式４６】

【０２８４】
２）その縦列及び横列の合計がＰである３×３空間フィルタは、出力ベゼル値を入力ベゼル×Ｐに設定する。
【０２８５】
３）コントラスト関数計算機及び４領域タイムフィルタ（０のタップ合計を有する）は、出力ベゼル値を０に設定する。
【０２８６】
コントラス段階では、次に、輝度及びクロミナンスチャンネル、すなわち、空間的に一定の配列における０合計線形カーネルを用いた演算の論理結果において、ベゼルに値０が与えられる。
【０２８７】
仮想ベゼルを形成するこの方法は、１９９７年１２月２３日に出願され且つ「画像ピラミッドボーダーを形成するための方法」と題された米国特許出願第０８／９９７，２６７号に開示されている。この米国特許出願第０８／９９７，２６７号は、これを参照することによって本願に組み込まれる。
【０２８８】
画像及びベゼルの一体化
モデルのピラミッド段階から始めると、ボーダーが供給される必要がある。Ｎ−ｂｙ−Ｍ入力画像における最初のボーダー演算は、適当なベゼル値（圧縮された輝度画像に関しては第１輝度ベゼルであり、ｕ^*及びｖ^*画像に関しては０）を有する６ピクセル（至る所の（全てのサイドの））で画像をパッドすることである。パッド画像は、寸法（Ｎ＋１２）×（Ｍ＋１２）を有している。ｋ番目のピラミッドレベル（ｋは０〜７の範囲をとることができる）に関して、パッド画像は、寸法（［Ｎ／２^k］＋１２）ｘ（［Ｍ／２^k］＋１２）を有している。この場合、“｛ｘ｝”は、ｘの中で最も大きい整数を示している。
【０２８９】
全てのピラミッドレベルにおける画像は、画像プロパーの左上側の隅で、互いに対して記録される。画像プロパーのインデックスは、０・ｙ・高さ、０・ｘ・幅から続いている。画像プロパーの左上側の隅は、常に、インデックス（０，０）を有している。ベゼルピクセルのインデックスは、高さ及び幅において、０よりも小さい値をとる。例えば、左上側のベゼルピクセルは（−６，−６）である。幅ｗ（画像＋ベゼル幅ｗ＋１２）の画像に関して、左縁部からｘ寸法に沿って見ると、ベゼルピクセルは、ｘ＝（−６，−５，…，−１）でインデックスが付与され、真の画像は、（０，１，…，ｗ−１）でインデックスが付与され、右側のベゼルインデックスは（ｗ，ｗ＋１，…，ｗ＋５）である。
【０２９０】
パッド画像が与えられると、次の処理段階に依存して起こり得る４つの事柄が存在する。これらの以下の演算の説明においては、空間処理（垂直方向で類似のイベントが起こることを理解して）を要約するために、１つの画像ラインを使用する。
【０２９１】
（ａ）ピクセル毎の演算。次の演算がピクセル毎に演算（例えば、非線形で）することである場合、パッド画像は単に演算を経るだけであり、出力画像の寸法は、入力画像の寸法と同じである。異なる領域もしくは異なるカラーバンド内の対応するピクセル間での演算の場合にも、同じことが起こる。
【０２９２】
（ｂ）３×３空間フィルタ。パッドされていない入力画像が寸法Ｎ_kを有していると仮定する（１次元で）。また、パッド入力画像が寸法Ｎ_k＋１２を有し、パッド出力画像が寸法Ｎ_k＋１２を有している。出力ベゼル値は、最初に演算され、次の画像演算によって満たされない限り、少なくともこれらのベゼルピクセル内に書き込まれる。その後、パッド入力画像の左縁部から離れた１つのピクセルから始まって、３×３カーネルは、入力画像を演算し始めると共に、出力画像のベゼル値を上書きし、画像の右（又は、底部）縁部から離れた１つのピクセル（初期のベゼル値が残存する場所）で停止する。ベゼル値が予め書かれていれば、これらの値を演算するためにカーネル演算が初期の（パッドされた）画像の外側に達することはそもそも不要となる。
【０２９３】
（ｃ）ＲＥＤＵＣＥにおけるフィルタリング及びダウンサンプリング。寸法Ｎ_k＋１２を有する入力パッド画像が与えられると、出力配列は、寸法［Ｎ_k／２］＋１２をもって割り当てられる。ベゼル値は、次のフィルタリング及びダウンサンプリング演算で満たされない限り、少なくともこれらのベゼルピクセル内に書き込まれる。その後、入力画像は、前記（ｂ）にしたがってフィルタリングされる。しかし、フィルタは、入力画像が使い尽くされるまで、ピクセル−４，−２，０，２，４に適用される。また、出力値は、出力画像内にそれらのための更なる場所がなくなるまで、連続するピクセル−２，−１，０，１，２，…内に書き込まれる。新しい画像内におけるピクセル０の位置は、新しい画像の左端から７ピクセルである。フィルタの最後のピクセルの適用は、Ｎ_kが奇数の場合、入力ピクセルＮ_k＋３を出力ピクセル［Ｎ_k／２］＋２とし、Ｎ_kが偶数の場合、入力ピクセルＮ_k＋４を出力ピクセル［Ｎ_k／２］＋２とする（ここで、フィルタの入力ピクセルを、３ピクセルカーネルの中心に対応するピクセルと称する）。
【０２９４】
輝度の較正及び予測
心理物理的データは、２つの目的、すなわち、１）輝度処理部を較正するために（すなわち、特定の処理パラメータを決定するために）、また、２）輝度処理部が較正された後直ぐに輝度処理部の予測値を確かめるために、使用された。全ての場合において、輝度処理の直前に、知覚距離ジェネレータに刺激がＹ値画像として投入された。
【０２９５】
較正
輝度処理部２２０は、２つのデータセットを使用して、繰り返し較正することができる。一方のデータセットは、輝度処理部のステップ６４０，６４２，６５０において、プレマスキング定数（ｗ_i，ｔ_e，ｔｌ）を調整するために使用される。他方のデータセットは、輝度処理部のステップ６６０において、マスキング段階定数σ，β，ａ，ｃを調整するために使用される。段階６６０の後にＪＮＤ値が常に評価されるため、第２のデータセットを用いたステップ６６０での定数の調整は、第１のデータセットを用いたステップ６４０，６４２，６５０での定数の再調整を必要とした。これらの定数の再調整は、１つの繰り返しから次の繰り返しで更なる変化が生じなくなるまで続けられた。前述した繰り返しプロセスは、マスクされないコントラスト（ステップ６４０，６４２，６５０）の単位（ユニット）値を、視覚出力の１つのＪＮＤとして解釈することにより始まるが、マスキングプロセスは、この解釈を混乱させる。調整の詳細については以下の小節で説明する。
【０２９６】
コントラスト正規化定数の調整（ステップ６４０，６４２，６５０）
マスキング前の空間及び時間コントラスト感度に関する知覚距離ジェネレータの予測は、Koenderink and Van Doorn(1979)によって与えられた正弦波に関するコントラスト感度データと一致した。知覚距離ジェネレータを基本とする曲線上に点を形成するため、知覚距離ジェネレータに対して低振幅の正弦波が試験画像として与えられた（空間的及び時間的に）。そして、１ＪＮＤ出力のためのコントラスト閾値が評価された。それぞれの場合において、基準画像は、同じ平均輝度を有する均一領域を試験領域として有していた。
【０２９７】
データに対する空間コントラスト感度の一致（最後の一致に関しては図１０を参照）は、知覚距離ジェネレータのステップ６４０，６４２，６５０において、コントラストピラミッド感度パラメータｗ０．ｗ１，ｗ２を調整するために使用された。図１０の破線は、全感度（実線）を備えた別個のピラミッドチャンネルの感度を示している。図１０の空間モデルの一致は、１５ｃｙｃｌｅｓ／ｄｅｇを超えて延びず、前述した観察距離制限すなわち４つの画面高さの観察距離と一致する。僅かに異なる観察距離に対応するために、ｗ０．ｗ１，ｗ２の同様の調整を行なうことができる。すなわち、非常に大きな観察距離は、低解像度のピラミッドレベルを必要とし、これらは、低い計算費で容易に組み込むことができる。
【０２９８】
データに対する時間コントラスト感度の一致（最後の一致に関しては図１１を参照）は、時間フィルタタップパラメータｔ_e，ｔｌ及びコントラストピラミッド感度パラメータｗ₃を調整するために使用される。これらのパラメータを一致させるために使用される方法は、空間コントラスト較正と類似する。様々な時間周波数でのKoenderink and Van Doornの最も低い周波数データは、空間的に均一な時間正弦波に関して演算された感度に対して一致する。それぞれの場合、視覚モデル領域評価は５０Ｈｚ及び６０Ｈｚで時間正弦波をサンプリングした。また、これは、前述した別個のパラメータ値を生じさせた。
【０２９９】
コントラストのマスキングの調整（ステップ６６０）
マスクされたコントラストの差異を、Carlson and Cohen(1978)によって得られたデータと比較することにより、マスキングパラメータ値σ，β，ａ，ｃ（知覚距離ジェネレータのステップ６６０）は一致された。最後の一致比較の結果が図１２に示されている。Carlson-Cohenの調査から、一人の観察者のデータは、代表的で且つ十分なデータ点を有する基準に従って選択された。この場合、知覚距離ジェネレータの刺激は、試験領域及び基準領域内の所定のペデスタルコントラストの空間正弦波、及び、試験領域正弦波のコントラスト増分から成っていた。１ＪＮＤを達成するために必要なコントラスト増分は、各コントラストペデスタル値に関して知覚距離ジェネレータから決定され、その後、図１２にプロットされた。
【０３００】
予測
知覚距離ジェネレータの較正後、知覚距離ジェネレータの予測は、正弦波ではない刺激からの検出及び識別（差異）データと比較される。これは、より一般的な刺激に対する正弦波結果の伝達性をチェックするために行なわれる。公称空間周波数約１０ｃｙｃｌｅ／ｄｅｇを有するパターンに予測が提供されなかったことが図１３，１４，１５から分かる。そのようなパターンは、空間周波数約１５ｃｙｃｌｅ／ｄｅｇでかなりのエネルギを有しており、ピクセルサンプリングレート（前述したように、１度につき３０サンプル）を有するエイリアスを有している。
【０３０１】
第１の調査（図１３）においては、試験領域内の低コントラストディスクが均一な基準領域に対して検知された。実験データはBlackwell and Blackwell(1971)からのものである。この特定の調査に関して知覚距離ジェネレータを実行する場合には、空間Ｑ基準サマリーメジャーを最大値に取って代えることが必要であった。ＪＮＤ結果は、ディスクのバックグラウンドのサイズ（すなわち、画像サイズ）に対して敏感であった。
【０３０２】
第２の調査である低振幅のチェッカーボードの検知（図１４）において、データは、未公表のSarnoffの調査で取得された。
【０３０３】
第３の調査（Carlson and Cohen,1980からのデータ）は、最初の２つと若干異なっていた。ｅｒｆ（ａｘ）によって与えられる不鮮明なエッジが基準画像内に現われた。また、試験画像内でｅｒｆ（ａ’ｘ）によって与えられるエッジに対して識別が試みられた。ここで、ｘは、視度ａ＝πｆ／｛ｌｎ（２）｝^0.5，ａ’＝π（ｆ＋Δｆ）／｛ｌｎ（２）｝^0.5内の網膜距離である。また、ｆの単位はｃｙｃｌｅ／ｄｅｇである。また、Δｆｈａ，１つのＪＮＤに必要なｆの変化である。図１５のプロットは、Δｆ／ｆ対ｆである。
【０３０４】
４つの画面高さ観察距離での表示の空間周波数特性の範囲に関し、知覚距離ジェネレータの予測はデータと良く一致する。
【０３０５】
クロミナンス較正
輝度パラメータ較正と同様に、心理物理的データは、クロミナンスパラメータを較正するため（すなわち、ベストなモデル一致に関してそれらの値を調整するため）に使用された。全ての場合において、刺激は、４つの等しい領域であり、ＣＩＥＬＵＶへの変換直前にＣＩＥ Ｘ，Ｙ，Ｚの画像として知覚距離ジェネレータ内に投入された。
【０３０６】
コントラスト正規化定数の調整（ステップ８３０）
マスキング前の有色コントラスト感度に関する知覚距離ジェネレータの予測は、Ｍｕｌｌｅｎ（１９８５）によって与えられたコントラスト感度データと一致した。使用された試験配列は４つの等しい領域であり、各領域は、（Ｘ，Ｙ，Ｚ）値として投入される水平に変化する空間正弦波グレーティングを有している。較正に使用されるデータは、Ｍｕｌｌｅｎの図６からのものであり、各試験画像のどれが赤−緑等輝度正弦波であるかに対応していた。
【０３０７】
ピクセルｉにおいて、試験画像正弦波は、以下によって与えられる三刺激値を有していた。
【０３０８】
【式４７】

【０３０９】
ここで、Δｍは閾値増分識別コントラストであり、（ｘ_r，ｙ_r）＝（０．６３６，０．３６４）は、赤干渉フィルタ（６０２ｎｍ）の色度であり、（ｘ_g，ｙ_g）＝（０．１２２，０．８２３）は、緑干渉フィルタ（５２６ｎｍ）の色度であり、ｚ_r＝１−ｘ_r−ｙ_r，ｚ_g＝１−ｘ_g−ｙ_g，ａ＝０．０３ｄｅｇ／ｐｉｘｅｌである。基準画像は、方程式（２８）によって表わされる均一な領域であるが、Δｍ＝０である。知覚距離ジェネレータのため、Ｙ₀＝１を設定すれば十分である。
【０３１０】
モデルを基本とする曲線上に点を形成するため、前述の刺激が様々な値ｆで与えられた。１ＪＮＤ出力に関するコントラスト閾値Δｍが評価された。形成された有色コントラスト感度のデータに対する一致（最後の一致に関しては図１６を参照）は、知覚距離ジェネレータ内でパラメータｑ_ｉ（ｉ＝０，・・・，６）を調整するために使用された。
【０３１１】
マスキング定数の調整（ステップ８４０）
クロミナンスマスキングに関する知覚距離ジェネレータの予測は、Ｓｗ_iｔｋｅｓ．ｅｔ ａｌ．（１９８８）によって与えられたデータと一致した。使用された試験配列は４つの等しい領域であり、各領域は、（Ｘ，Ｙ，Ｚ）値として投入される水平に変化する空間正弦波グレーティングを有している。その研究（クロミナンスのクロミナンスマスキング）の図４と一致させるため、ピクセルｉにおいて、試験画像正弦波は、以下によって与えられる三刺激値を有していた。
【０３１２】
【式４８】

【０３１３】
ここで、Δｍは閾値増分識別コントラストであり、（ｘ_r，ｙ_r）＝（０．５８０，０．３６２）は、赤蛍光体の色度であり、（ｘ_g，ｙ_g）＝（０．３０１，０．５８９）は、緑蛍光体の色度であり、ｚ_r＝１−ｘ_r−ｙ_r，ｚ_g＝１−ｘ_g−ｙ_g，ｆａ＝２ｃ／ｄｅｇ＊．０３ｄｅｇ／ｐｉｘｅｌ＝．０６である。基準画像正弦波は、試験画像正弦波と同じであるが、Δｍ＝０である。知覚距離ジェネレータのため、Ｙ₀＝１を設定すれば十分である。
【０３１４】
モデルを基本とする曲線上に点を形成するため、前述の刺激が様々なマスクコントラストの値ｍで与えられた。１ＪＮＤ出力に関するコントラスト閾値Δｍが評価された。形成された有色コントラスト感度のデータに対する一致（最後の一致に関しては図１７を参照）は、知覚距離ジェネレータ内でパラメータσ_c，β_c，ａ_c，ｃ_c，ｋを調整するために使用された。
【０３１５】
評価データとの比較
それぞれが様々な歪み度を有する４つの画像配列は、知覚距離ジェネレータをＤＳＣＱＳ評価データと比較するために使用された。その結果が図１８にプロットされている。この結果は、知覚距離ジェネレータとデータとの間の相互関係０．９４７４を示している。各配列に関し、知覚距離ジェネレータは３０領域を処理した（先のリリースを試験するために使用された４つの領域とは対照的に）。
【０３１６】
先のリリースで存在したプロットから複数のデータ点が除去された。これらの点は、以下の２つの理由により削除された。
【０３１７】
（１）全ての対象に関する「ウォームアップ」試験に対応した５つの点が削除された。配列内の最初の５つの試験は、それらが対象の判断の安定化を示すため、削除されるべきであることを、Ｒｅｃ５００は暗示している。
【０３１８】
（２）“グエン”配列のうちの１つに関しては、試験と基準との間でフォアグラウンドが正確に位置合わせされた場合であっても、バックグラウンド内の３つの画像間で生じる基準配列に関して試験配列の僅かな変化が存在する。この特定の場合に時間位置合わせエラーを有する青画面ビデオが、試験及び基準に関して別個に導入された。
【０３１９】
ＪＮＤマップ解釈
ＪＮＤマップは、任意の空間もしくは時間ウインドウ内で複数のＪＮＤを決定する次の処理に適した形式である。前述したように、マップ内の値はＱ番目の電力まで引き上げられたＪＮＤのユニットであり、単純なＪＮＤユニットではない。ビデオストリームの任意の空間−時間領域に関する１つのＪＮＤ値を得るためには、その領域内のＪＮＤマップからの値を合計した後にＱ番目のルート（ｒｏｏｔ）をとるだけでよい。
【０３２０】
一対の例がこの処理を明確にする。各ピクセルに関して１ＪＮＤ値（大抵の場合、最も一般的に望ましい出力）を検索するため、ＪＮＤマップ内の各ピクセルのＱ番目のルートをとる。
【０３２１】
しかしながら、一般的なＭＰＥＧ−２エンコーダ解析の適用においては、各ピクセルに関してではなく、各１６×１６ピクセルマクロブロックに関する１つのＪＮＤ値を有していることが有用である。マクロブロック毎にＪＮＤを得るために、最初に、各マクロブロック内のＪＮＤマップ出力の全てを合計し、その後、Ｑ番目のルートをとる。その結果は、ＪＮＤ値のマクロブロック解像度マップとなる。
【０３２２】
ピラミッド構成：画像サイズ及びボーダー条件
大きな画像寸法Ｎ及び小さな画像寸法Ｍが以下の条件を満たしている場合には、ピラミッド方法の本実施形態は、画像寸法の問題に直面しない。
【０３２３】
１）Ｍは、少なくとも１２８である。
【０３２４】
２）Ｍは、商が６４よりも小さくなるように、２で多数回（Ｐ回）割れる。
【０３２５】
３）Ｎは、２でＰ回割れる。
【０３２６】
知覚距離ジェネレータは、これらの条件を満たさない任意の画像を不正画像と見なす。これらのルールがどのようにして働くかの一例として、画像寸法Ｎ＝７２０、Ｍ＝４８０を考える。Ｍ＞１２８であるため、条件（ａ）は満たしている。Ｍは２で３回割れ、且つ、３度の割り算で商が６４よりも小さくなるため、条件（ｂ）を満たす。最後に、Ｎは２で３回割れて整数になるため、条件（ｃ）を満たす。
【０３２７】
インターレースの検討
以下の説明の目的は、本知覚距離ジェネレータでの領域インターレース（より詳細には、ライン間の空間）の扱いを明確にすることである。ライン間の空間は、ディスプレイを観察する人間によって視認できないが、それらがモデル形成された黒色値である場合には知覚距離ジェネレータ内で顕著な効果を形成する。知覚距離ジェネレータによる可視性の結果、任意の空間周波数での垂直な画像歪みが、高い周波数のライン構造によってマスクされる。また、ライン構造の可視性は、インターレースされた配列がインターレースされていない配列と比較される際に、ＪＮＤアーチファクトの主な原因となる。
【０３２８】
この問題に対する解決策は、ディスプレイモデルを変更して、ディスプレイそれ自身内で生じる空間及び時間における既知の加重平均を組み込むことである。そのような加重平均は、ライン間の空間を殆ど見えなくする。最初のステップは、これらの効果の大きさを規定して適当なモデルを決定することである。
【０３２９】
蛍光体は有限の減衰期間を有しているため、ディスプレイ内では時間加重平均が生じる。従って、例えば、領域Ｎからの偶数のラインからの初期の放射時に、領域Ｎ−１からの奇数のラインの減衰する残留物が常に存在する。しかしながら、領域間の間隔(１６５００×１０^-6秒)と比較すると、蛍光体の減衰期間は、一般に極めて短く、例えば、青蛍光体で７０×１０^-6秒、緑蛍光体で１００×１０^-6秒、赤蛍光体で７００×１０^-6秒である。従って、ディスプレイモデルにおける時間加重平均は、ライン間のスムージングにそれほど寄与しない。
【０３３０】
ピクセルからの放射は公称ピクセル境界を越えて広がるため、ディスプレイ内では空間加重平均が生じる。インターレースされた表示において、電子ビームスポット構造は、インターレースアーキテクチャと共に設計された。その結果、ピクセルの広がりは、垂直方向で更に著しくなるように設計された。これにより、ライン間の空間を満たし、ライン間の空間を見えなくした。この広がりは、高い輝度値すなわち画像の最も目立つ部分に対応する高いビーム電流で特に顕著である。従って、ディスプレイ視野から、空間加重平均は、ライン間のスムージングに関して良好な物理モデルである。
【０３３１】
また、幾つかの時間加重平均は、ライン間のスムージングを達成するために使用できる。視覚システムそれ自体は、ライン間の空間を見えなくするのに十分な時間加重平均を達成するように見える。しかしながら、以下の説明から明らかなように、本知覚距離ジェネレータにおける眼球運動の欠如によって、知覚距離ジェネレータは、存在すべき時間加重平均的な動きから逸脱される。
【０３３２】
人間の視力は、空間−時間応答の２つの別個のクラス、すなわち、高い空間解像度を有するが低い時間解像度を有する「持続性（ｓｕｓｔａｉｎｅｄ）」と、高い時間解像度を有するが低い空間解像度を有する「一時性（ｔｒａｎｓｉｅｎｔ）」とを有するミカニズムによって促進される。
【０３３３】
この知覚距離ジェネレータの１つの実施形態は、分離可能な空間／時間フィルタを使用して、２つのチャンネルの応答を形成する。このモデリング選択の直接の結果は、ディスプレイには一般的な６０Ｈｚの時間サンプリングレートと比較すると時間的に低域である持続性チャンネルにおける時間フィルタである。一時性応答であっても、６０Ｈｚのサンプリングレートに対して敏感ではない。しかしながら、持続性／一時性モデルを受け入れない１つの要素は、眼球運動の効果、特に、画像内の動作対象物を追跡する眼の能力の効果である。この追跡は、ある意味では制約された刺激を伴う心理物理的な実験に対して信頼できる知覚距離ジェネレータフィルタによって捕らえられない前記対象物における詳細に対する視覚感度を高める。
【０３３４】
画像配列内の歪み測定に関する動きの効果は重要となり得る。眼が画像内で動く対象物を追跡しなかった場合には、持続性時間応答から生じる画像のぼけが、多くの時間加重平均を１つのチャンネル内に有する知覚距離ジェネレータにおいて正確に反映される。しかしながら、眼は動く対象物を追跡するため、画像は不鮮明な動きではない。時間的な視覚応答を定量化したと称する知覚距離ジェネレータは、動く対象物を追跡する能力無くして、動きの不鮮明さを表示しなければならない。しかしながら、そのような不鮮明さは、正確なＪＮＤマップの形成を妨げる。
【０３３５】
モデルを追跡することなくこの困難性を解決するために、妥協案として、領域の長い時間にわたる平均に関する演算としてではなく、最後の領域に関する演算として空間チャンネル（空間的な詳細に敏感な「持続性」チャンネルの役割を取得する）を示すことにした。このアプローチの結果、空間チャンネルは、画像配列内の対象物の動きを追跡した眼の場合のように、焦点が良く合ったＪＮＤマップを示す。
【０３３６】
前記妥協案の精神に沿って、２つの領域すなわち１フレームにわたって平均化するように、空間チャンネルの「見かけのよい存在」性質を緩和することができる。この測定は、インターレースされた領域内の空白ラインの視認性を低下させ、「見かけのよい存在」解決策よりも物理的及び生理学的にもっともらしく見える。しかしながら、１つのアーチファクトは、２つの領域の時間加重平均をかわし、それは、滑らかな動作エッジがある「櫛」の出現である。
【０３３７】
２つの領域加重平均を有するモデル内に櫛が出現する理由を理解するためには、偶数領域（領域Ｎと称する）と奇数領域（領域Ｎ＋１と称する）との間を所定の時間間隔で動く対象物を思い浮かべれば十分である。領域間で水平に５ピクセルを動かす垂直エッジを対象物が有していると仮定する。また、対象物のエッジが領域Ｎの偶数ラインのピクセルｎにいると仮定する。その場合、このエッジは、領域Ｎ＋１の奇数ラインのピクセルｎ＋５に出現する。特定の領域のラスターライン間に「埋まり」が存在する場合、領域Ｎ及び領域Ｎ＋１を加重平均すると、ピクセルｎとピクセルｎ＋５との間に居るもはや垂直ではないエッジが形成される。これが「櫛」効果である。
【０３３８】
実際の視覚システムがこの櫛効果を見ない理由を理解するため、眼が対象物を正確に追跡できるのに十分に対象物が興味深いと仮定する。それは、対象物が網膜上で静止していることを意味する。なぜなら、網膜は、次の領域内への対象物の動きを予期するからである。眼の対象物追跡は殆ど完璧であるため、対象物のエッジは、領域Ｎの偶数ラインのピクセルｎにある場合、また、領域Ｎ＋１の奇数ラインのピクセルｎにもある。
【０３３９】
櫛及び他のインターレースアーチファクトを回避するため、知覚距離ジェネレータは、ディスプレイ内の各領域のライン間で空間的な埋め込みを行なってもよい。この垂直な加重平均によって、櫛効果を避けることができる。なぜなら、垂直な加重平均は、瞬間的な空間エッジの翻訳を提供するからである（時間的な加重平均ではない）。また、垂直な加重平均は、それが電子ビームスポット構造の既知の空間的広がりと矛盾しないという意味において、インターレースライン構造の視認性に関する初期の問題を解決する。
【０３４０】
以上、画像信頼性及び視対象適用を向上するため、２つの入力画像配列間の視程差を評価する新規な方法及び装置について説明したが、当業者であれば分かるように、本発明は、その明細書及びその実施形態を開示する添付図面を考慮すれば、多くの変更、修正、変形、他の使用及び用途が可能である。
【図面の簡単な説明】
【図１】 本発明の信号処理システムのブロック図である。
【図２】 知覚距離ジェネレータのブロック図である。
【図３】 入力信号処理部のブロック図である。
【図４】 輝度処理部のブロック図である。
【図５】 クロミナンス処理部のブロック図である。
【図６Ａ】 輝度処理部の詳細なブロック図である。
【図６Ｂ】 輝度処理部の詳細なブロック図である。
【図７】 輝度距離形成部のブロック図である。
【図８】 クロミナンス処理部の詳細なブロック図である。
【図９】 クロミナンス距離形成部のブロック図である。
【図１０】 輝度空間感度データを示すグラフである。
【図１１】 輝度時間感度データを示すグラフである。
【図１２】 輝度コントラスト識別データを示すグラフである。
【図１３】 ディスク検出データを示すグラフである。
【図１４】 チェッカーボード検出データを示すグラフである。
【図１５】 エッジ鮮明度識別データを示すグラフである。
【図１６】 クロミナンス空間感度データを示すグラフである。
【図１７】 クロミナンスコントラスト識別データを示すグラフである。
【図１８】 評価予測データを示すグラフである。
【図１９】 輝度処理部の他の実施形態のブロック図である。
【図２０Ａ】 図１９の輝度処理部の他の実施形態の詳細なブロック図である。
【図２０Ｂ】 図１９の輝度処理部の他の実施形態の詳細なブロック図である。
【図２１】 輝度距離形成部の他の実施形態の詳細なブロック図である。
【図２２Ａ】 半高画像を処理するための輝度処理部のブロック図である。
【図２２Ｂ】 半高画像を処理するための輝度処理部のブロック図である。
【図２３】 半高画像を処理するための輝度距離形成部のブロック図である。
【図２４】 クロミナンス処理部の他の実施形態の詳細なブロック図である。
【図２５】 クロミナンス距離形成部の他の実施形態の詳細なブロック図である。
【図２６】 半高画像を処理するためのクロミナンス処理部のブロック図である。
【図２７】 半高画像を処理するためのクロミナンス距離形成部のブロック図である。
【図２８】 輝度処理部の他の実施形態のブロック図である。
【符号の説明】
１１０ 信号処理部
１１２ 知覚距離ジェネレータ
１１４ ＣＰＵ
１１６ メモリ
１２０ 入／出力装置
１３０ 信号受信部
１３２ データ受信部
１３４ データ記憶部
１４０ 試験用システム
２１０ 入力信号処理部
２２０ 輝度処理部
２３０ クロミナンス処理部
２４０ 輝度距離（ＪＮＤマップ）形成部
２５０ クロミナンス距離（ＪＮＤマップ）形成部
２６０ 知覚距離形成部
４１０ ピラミッド分解（４レベル）
４２０ 正規化演算
４３０ ピラミッド画像の正規化
４４０ 空間フィルタリング及びコントラスト演算
４５０ 時間フィルタリング及びコントラスト演算
４６０，４７０ コントラストエネルギマスキング
４８０ 輝度ＪＮＤマップ
５１０ ピラミッド分解（７レベル）
５２０ 時間処理
５３０ 空間フィルタリング及びコントラスト演算
５４０ コントラストエネルギマスキング
５５０ クロミナンスＪＮＤマップ
９１０ 調整（半波長）
９２０ ３×３フィルタ及びダウンサンプリング
９５０ Ｑ番目の電力への引き下げ
９６３ アップサンプリング＆３×３フィルタ
２８０２ ダウンサンプリング
２８０４ 画像処理プロセッサ
２８１４ 時間フィルタ
２８１０ コントラストコンピュータ
２８１２ 非線形プロセッサ
２８１６ 輝度ＪＮＤマップ。

Claims (5)

1. ２つの信号配列間の視程差を評価するための装置において、
   輝度処理部と、
   クロミナンス処理部と、
   前記２つの処理部に接続され、画像距離を形成するための知覚距離形成部と、 を備え、
   前記輝度処理部は、ダウンサンプラーと、画像領域プロセッサと、複数の画像領域フィルタと、コントラストコンピュータと、非線形プロセッサとを備えており、
   前記画像領域フィルタが空間フィルタであり、
   前記空間フィルタは、２つの連続画像領域内の情報をフィルタリングすると共に、以下の制約下で３×３行列を有する中心フィルタ及び周辺フィルタである４つの空間フィルタ（ＣＨ，ＳＨ，ＣＶ，ＳＶ）を備え、前記制約において、
   ＣＨは、中心水平フィルタリングを行なうフィルタカーネルが３×３行列の横列１，３内に全て０を有し且つ横列２内にプラスの数を有していることを示し、
   ＳＨは、周辺水平フィルタリングを行なうフィルタカーネルが３×３行列の横列２内に全て０を有し、横列１内にプラスの数を有し、横列３が横列１と同じであることを示し、
   ＣＶは、中心垂直フィルタリングを行なうフィルタカーネルが３×３行列のＣＨの転置行列であることを示し、
   ＳＶは、周辺垂直フィルタリングを行なうフィルタカーネルが３×３行列のＳＨの転置行列であることを示しており、
   前記コントラストコンピュータは、以下の演算を行ない、
   

   

   この場合、ｉはダウンサンプリングされた画像のピラミッドレベルであり、２及び３は、ダウンサンプリングされた画像がカーネルＳＨ，ＣＨ，ＳＶ，ＣＶを使用するフィルタリングによって得られる連続画像領域を示し、ｗＳＴは較正因子である装置。
2. 前記空間フィルタが中心フィルタ及び周辺フィルタであることを特徴とする請求項１に記載の装置。
3. 請求項１に記載の装置によって、２つの信号配列間の視程差を評価するための方法において、
   前記装置に含まれるダウンサンプラーによって、画像配列をダウンサンプリングして、ピラミッドレベルを有するダウンサンプリングされた画像を形成し、
   前記装置に含まれる画像領域プロセッサによって、ダウンサンプリングされた画像内の少なくとも２つの画像からの画像領域情報を処理し、
   前記装置に含まれる複数の画像領域フィルタによって、少なくとも２つの画像領域フィルタを使用して前記画像領域情報をフィルタリングして、フィルタリング画像を形成し、
   前記装置に含まれるコントラストコンピュータによって、前記フィルタリング画像に関するコントラスト情報を演算し、
   前記装置に含まれる非線形プロセッサによって、非線形処理を使用して前記コントラスト情報を処理し、
   空間フィルタが中心フィルタ及び周辺フィルタであり、
   前記演算するステップは、以下の演算を行ない、
   

   

   この場合、ｉはダウンサンプリングされた画像のピラミッドレベルであり、２及び３は、ダウンサンプリングされた画像がカーネルＳＨ，ＣＨ，ＳＶ，ＣＶを使用するフィルタリングによって得られる連続画像領域を示し、ｗＳＴは較正因子である方法。
4. 画像領域フィルタが空間フィルタである請求項３に記載の方法。
5. 空間フィルタは、２つの連続画像領域内の情報をフィルタリングすると共に、以下の制約下で３×３行列を有する中心フィルタ及び周辺フィルタである４つの空間フィルタ（ＣＨ，ＳＨ，ＣＶ，ＳＶ）を備え、前記制約において、
   ＣＨは、中心水平フィルタリングを行なうフィルタカーネルが３×３行列の横列１，３内に全て０を有し且つ横列２内にプラスの数を有していることを示し；
   ＳＨは、周辺水平フィルタリングを行なうフィルタカーネルが３×３行列の横列２内に全て０を有し、横列１内にプラスの数を有し、横列３が横列１と同じであることを示し；
   ＣＶは、中心垂直フィルタリングを行なうフィルタカーネルが３×３行列のＣＨの転置行列であることを示し；
   ＳＶは、周辺垂直フィルタリングを行なうフィルタカーネルが３×３行列のＳＨの転置行列であることを示している請求項４に記載の方法。

Images