JP3663465B2 - Pixel digital precision intensity processing method to enhance image information - Google Patents

Abstract

Two smoothed images, each processed with a different smoothing factor, can be subtracted providing the information difference between the least smoothed and the most smoothed data set. The smoothing technique of this invention comprises a two-dimensional digital hysteresis filter utilizing a "two-dimensional automatically adjusting variable mask". As a result, the filter is independent of the image size and content and cannot alter the size of any significant intensity features. The two-dimensional hysteresis smoothing technique of this invention calculates the intensity value of smoothed pixels using a set of one-dimensional hysteresis lines at various angles running through each pixel in an image. These one-dimensional hysteresis values are added together and divided by the number of hysteresis lines to get the output value for the pixel. The intensity processing technique provides the basis for a separation of the image information into basic information groups.

Description

プログラムは８個の角度グループのそれぞれについて入力画像を１回通過し、そのグループ内のすべてのヒステリシス線について計算を行う。グループ処理のフローを図３に示す。プログラムは表２の立ち上がりから始まる画像行を順番に処理する。立ち上がりが右または左の時、入力画像と出力画像は通過の前後で置き換えられ、プログラムはそのメモリアドレスを加減させて各画像行を処理する。各行を順番に読み取り、そのグループ内の各ヒステリシス線をそれに当てはめる。ヒステリシス中心点は条件に従って右または左隣のPEにシフトされ、ヒステリシス線の角度を正確に保ち、次の線に処理が繰り返される。この条件付きシフトはスケーラーメモリに記録した線パターンに従って行われる。
ヒステリシス計算は次のように行われる。入力ピクセル値が現在のカーソル中心点からカーソル幅の半分を引いた値より小さい時は、中心点は入力ピクセル値にカーソル幅の半分を加えた値に変更され、入力ピクセル値が現在のカーソル中心点にカーソル幅の半分を加えた値より大きい時は、中心点は入力ピクセル値からカーソル幅の半分を引いた値に変更される。ピクセルの出力値はカーソル中心点の値になる。これが同じピクセルに関する他のヒステリシス線の中心線に加算される。立ち上がりにおいてカーソル中心点は入力ピクセル値に初期化される。カーソル中心点が画像のエッジ部を超えて移動した場合、それらはエッジ部の入力ピクセル値で再び初期化される。初期化されたカーソル中心点は最小可能ピクセル値にカーソル幅の半分を加えた値から最大可能ピクセル値からカーソル幅の半分を減じた値までの有効範囲に固定される。
入力画像および出力画像は大容量オフチップPEメモリに保存される。各PEは図４のように画像の１列を保存する。PEの個数は処理する画像の列数と等しく、各PEには各行の１列が保存される。列数よりPEが多い場合は、余ったPEは使用されず、計算にも機能しない。PEよりも列数が多い場合は、すべてのPEが処理を行い、複数の列を保存する。処理中は各出力ピクセルにはそのピクセルを通過するヒステリシス線によって計算された数値の合計が保存される。最終出力画像はピクセル合計値をヒステリシス線数で割って求められる。
各オンチップPEデータメモリには現時点の角度グループ内のピクセルを通過するすべてのヒステリシス線のカーソル中心点が保存される。また一時的に処理中の各入力行を保存し、その行内のピクセルの出力値を保存する。
スケーラーメモリにはヒステリシス線８本のセットの線パターンが保存される。一つの線パターンは８本のヒステリシス線を表し、そのそれらの角度は45゜の増分でオフセットされる。このパターンは各グリッドの垂直／水平／対角ステップについてのヒステリシス線角度を表す。これがヒステリシス処理においてカーソル中心点の条件付きプロセッサ間シフトの制御に使用される。
最適反復回数（生成物の抑制に要する）は生データセットおよび／またはカーソル幅に左右される。平均処理が不十分であると読み取り方向に沿ってコントラストが飛んでしまい視覚的に見にくい。これは直線（ラジアル）読み取り方向や、非直線構成の特性を持つ画像によく見られる。８から32の異なる直線読み取り方向であれば、生成直線バックグラウンド強度ふらつきを減少するのに十分であり、コントラストの強い小さい物体を表示しても平均画像のコントラスト分析によっても認識不可能である。さらに、まれにストリークが強く残存する場合では、64から256（あるいはそれ以上）回反復が行われる。必要反復回数は選んだカーソル幅より効果の半実験的評価に従って自動的に設定されるか、または選んだカーソル幅と画像のコントラスト特性を使用した計算によって設定される。しかしバックグラウンド強度ふらつきが視覚的に認識されないように分布させるために、その他の非直線読み取り方向を設定することもある。そのような非直線手法は、直線手法の結果が満足でない場合に、バックグラウンド強度ふらつきを視覚的に認識されないような、またはばらつかないパターンになるように、再分布させるために使用される。
II. 画像情報強調技術
A.デジタルフルフレーム画像の情報内容
図５について、デジタルフルフレーム画像の情報内容はフィーチャーおよびディテールの非ランダム（構造）クラスに分類され、ノイズのランダムクラスに分類される。フィーチャーは視覚パターン認識に使用できる画像成分で、そのサイズはピクチャー幅の−10％より大きく、視覚強調範囲の−５％を超えるコントラスト範囲を持ち、パターンとして認識されるため15から20の強調レベル内におさまる必要がある。他の画像成分はすべてディテールとされる。他の視覚パターン分類を使用すると、小さな高コントラスト成分（＜10％PW,＞５％BW）は、空間ディテールとして、また各サイズの低コントラスト成分（＜５％BW）は強度ディテールとして特性付けられる。さらに、デジタル画像には多様な発生源のノイズが含まれる。数ピクセルのレベルの高周波ノイズ成分のみがランダム強度ふらつきとして視覚的に認識可能である。その他の低周波ノイズ成分は強度ディテールの特性を持ち、高周波ノイズ成分を取り除いた後（平均処理、スムージング）に認識可能となる。数種の特性によってノイズの取扱いおよび減少が困難になる。各ピクセルレベルの単一データセットでは、明確なパターンを欠いている小さな空間ディテールと区別するのは不可能である。ノイズは大きな成分の完成度をその強度に比例して破壊する。そのため、視覚的に破壊的なノイズ成分をスムージングで減少させれば、ディテールがいくらか消失する。さらに、ノイズがガウス特性を持つ場合には、極度の強度のノイズピクセルは、低周波ノイズ成分とともに残留する。
顕微鏡検査，放射線、その他の類似のデータの画像評価では、全体画像の中でディテールとの空間的な関係を保ちながら、視覚パターン認識により認識できるようにすべての画像ディテールを処理することが必要である。これは低強度ディテールではコントラストを10〜100の係数で強調し、最小空間ディテールは10〜20の係数で拡大する必要があることを意味する。しかし、相関的画像成分評価では、次の３つの画像処理作業のみが必要となる。
1.フルフレーム画像でのディテールコントラスト強調
2.デジタル拡大
3.ノイズ管理
一般的に、画像情報内容の評価は画像処理ステップシーケンスを要する。まず、コントラスト強調後のフルフレーム画像では、ディテールが認識され画像フィーチャーとの相関が図られる。次に、強調したディテールを拡大、分析する。最後に、ノイズを減少させる。画像が高いノイズレベルを持つ場合は、まずノイズをディテール情報が認識できるレベルまで減少させる。しかしこうした画像処理を効果的で現実的に行うためには、きびしい条件を満足しなければならない。空間およびほとんどの強調特性ディテールを歪ませる一般的な画像強調手順に関係する生成物の処理は避けなければならない。ピクセルに正確な強調技術だけが、デジタル拡大によるより細かい視覚的検査を促進する。さらに、処理速度はリアルタイムに近く、視覚パターン認識を妨げない十分な速さであり、画像のサイズ、深さ、内容に関わらずすべての画像を取り込み、ディテールを紛失しないよう徹底的で客観的であり、単純で単一の要因、すなわち「視認性強調係数」以外の入力なしで処理できなければならない。
ピクセル精度に基づき、本発明に従ったデジタル画像処理によって、強調定義された画像情報クラスを抽出および画像化することによって、計器的画像分解のレベルで、取得したデジタル画像データに対して視覚的アクセスを与える。このデータ低減により視覚パターン認識が促進される。しかし、デジタル画像処理による情報の表示は、以前は常に見られたり利用されたりした情報ではないので、人間の視覚の一部でなくまた特定の用途におけるパターン経験にも当てはまらないため、そのようなデータの視覚的見やすさとコミュニケーションのための新しい手段を導入する必要がある。画像ディテール情報は一般的な視覚レパートリーに類似する視覚的パターンを供給するもので、それが既知の計器コントラストメカニズムの各ピクセルとの相関において、強度成分を伴って関係付けられるので、このパターンの解釈は驚くほど簡単である。このため新しい視覚画像評価手段では、データを以前に収集したその他の情報のすべて（サンプル特性、顕微鏡または計器の性能、コントラストメカニズム）と直接関係付け、最小の情報ディテールさえも活用する。
デジタル画像データセットは二次元ピクセル配列の各ピクセルにおける強度を示す強度マップである。図６により、強度輪郭値を用いてピクセル線に沿って強度をグラフ化し（図６の右上）、一連の強度値で３次元グラフをｘ−ｙ方向のデータの３次元「強度輪郭値」で作成する。強度表面の高さと空間規模は、画像成分の空間および強度特性に従って変化する。４つの異なる画像成分は視覚的パターンに合っているため識別が可能である。最小距離（単一ピクセル）のランダム強度ふらつきは、ノイズの特性を示す。（図６の左下）。３次元強度輪郭面ではノイズピクセルは細いスパイクのように表示されるかまたはより大きい強度成分をカバーする穴として表示される。ノイズの平均強度変化（ガウス形ノイズ＋／−２標準偏差（SD）アナログノイズの帯域表示と同様）は、均等厚の外部層として、強度輪郭面の中に広がる重要な強度帯域（IRs）を占める。高品質データでは、ノイズの全強度帯域に占める割合は数パーセント（＜10％）であり、視認不可能である。しかしノイズ成分とコントラストを抽出し（図６の左下、上部強度輪郭値）それを全視覚帯域に拡大すると、ノイズピクセルが可視化され空間ランダム分布によって識別可能になる（図６左下、下部強度輪郭とマップ）。顕微鏡データセットでは、たとえば少量の画像処理や高拡大率画像処理などでは、ノイズは常に強い。コントラストが不足すると高品質データの取得ができなくなり、データ品質は低下する（ノイズIRs＞20％）。
多数のピクセルのエリアでの均質な強度変化は非ランダムであり、データの空間情報を示す。サイズと強度特性によって、３つの主な視覚パターンタイプが識別できる。小さく低いコントラスト成分は空間ディテールとしてまとめられる（図６、下中）。成分が均一であれば、バックグラウンド強度を超える同等の重要強度範囲（IRs）を占める。３次元強度輪郭値では、空間ディテールは正確に定義された小さな「でこぼこ」や「重なり」として表される。抽出およびコントラスト伸長はこれらのディテールと分布パターンの認識を容易にする。画像データセットではほとんど、空間ディテールは全強度範囲のわずかな割合（IRs＝２−20％）を占めるだけである。低倍率データでは、空間ディテールがコントラスト成分の最大のものであろう。
一般に、小さい強度変化は（重要強度範囲の５％未満）は縒り大きな範囲に拡張できる（図６、右下）。これらの成分は強度ディテールを表し、それはあるデータでは強度範囲のわずかの部分しか占めない。３次元強度輪郭値では強度ディテールは大きな画像成分（フィーチャー）の輪郭に沿った平らな立面として認識できる。多くの弱いコントラストメカニズムでは強度ディテールを生成し、その認識は顕微鏡その他の画像サービスの重要な部分である。強度ディテールはアナログ画像処理ではアクセスが最もできないもので、これは視覚器官が大きな低コントラスト成分を、形状のエッジ部を表示しないため認識しにくいからである。しかし、生データから抽出しコントラストを強調すれば、エッジ部のコントラストがはっきりするため画像評価に利用できる。直接コントラスト伸長は強度ディテール間の比率を維持するので、理解が容易になる。
最後に、画像データはフルフレーム画像を占める大きなフィーチャーを持つものが多い（図６、右上）。これはデータ強度範囲をほとんど占めていることによる。ほぼ常時、他のディテールとノイズはフィーチャーの強調によって小さくされ、強度ステップが不足するため視覚不能になる。これらの圧縮ディテールを抽出しても強度レベルを回復することはほとんどできず、直線コントラスト伸長によって全視覚範囲に均一にレベル化し、視覚、パターン認識、データ認識を促進する。その他の画像は、データの強度範囲の大部分を占める強度情報なしに、大きな強度バックグラウンドを持つ。バックグラウンドレベルは画像情報コントラストを減少させる。
B.画像情報強度技術の実行
本発明の情報抽出プログラムは２つのスムージングした入力画像（または元データセットと１つのスムージングした画像）から１つの出力画像を生成する。スムージングした画像は上記の二次元ヒステリシススムージングプログラムにより、２つの異なるカーソル幅を用いて（または異なるピクセル精度の高いスムージング技術により）生成される。２つの入力画像の行数と列数は等しくなければならない。ディテール抽出では最もスムーズな画像を最もスムーズでない画像から減算し、その結果で直線コントラスト伸長を行う。好ましい使用例では、本発明を実行するコンピュータプログラムを前述のAPx用アセンブリ言語で作成した。APxはVisionary Systems Inc.が製造したデスクトップ型パラレルプロセッサである。その由来はPC−AT互換機で走るＣ言語サブルーチンにある。PC−ATとAPxのソースコードを表３に示す（スムージング処理のソースコードは表１に示す）。APxパラレルプロセッサは最大256個の16ビット処理要素（PE's）を持ち、それらはメッシュ状に接続されている。各PEは高速256ワードのオンチップデータメモリと65536ワードのオフチップデータメモリを備える。各PEは共用スケーラデータメモリと共用プログラムメモリにアクセスする。１つのプログラムがすべてのPEでSIMD処理によって実行される。APxはPC−AT互換機をホストとし、APxのオフチップPEメモリはホストのアドレススペースにメモリーマップされる。
画像サブルーチンは２つのスムージングした画像を１回通過する間に実行される。直線コントラスト伸長は画像減算出力を２回通過する間に実行される。最初の通過で画像中の最大および最小ピクセル値を検出し、２回目の通過で出力ピクセル値を、次の式で再演算する。
ｑ（x,y）＝（ｐ（x,y）−minpix）^＊maxval/（maxpix−minpix）
ここでｐ（x,y）は初期ピクセル値、ｑ（x,y）は最終出力ピクセル値、minpixは画像の最小ピクセル値、maxpixは画像の最大ピクセル値、maxvalは最大ピクセル値である。maxpixとminpixが等しい時は、ｑ（x,y）はゼロになる。
本発明のディテール強調技術の重要な特徴は、通常よく起こる処理生成物を避ける二次元ヒステリシススムージングのために前述の処理を使用することである。スムージングはノイズ低減に使用され、そのピクセル精度の高い設計によって、スムージングした画像の空間情報を維持する。スムージングした画像から取り除いた画像ディテールは、ディテールのピクセル精度を失うことなく元画像から回復される。抽出ディテールのコントラスト範囲はスムージングに使用するカーソル幅に当てはまるので、ディテール情報のコントラスト強調は予測できる。これは画像ディテールの範囲の抽出と強調が可能なので、重要な利点である。
ディテールの抽出と強調技術の第二の重要かつ新規の特徴は、それがディテールを選択的に抽出するだけでなく、より大きな画像フィーチャーのコントラストをそのカーソル幅まで抽出することにある。これは本発明の定義がフルフレーム画像でのディテール強調にあることを説明する。なぜならスムージングによって除去される画像情報にはディテールとフィーチャーの両情報が含まれるからである。フィーチャー情報の部分はカーソル幅に比例する。この点で、スムージング後に回復される画像情報は（元画像からスムージングした画像を減算する）、直線コントラスト伸長１ステップ分だけコントラスト強調され、原則としてすべての画像情報を維持する。そこで、ディテールコントラストは最初に選択的に低減されるフィーチャーコントラストよりさらに強調される。本発明のもうひとつの新規の特徴は、全抽出情報のコントラスト範囲（強調以前の）が正確に知られている（画像の強度範囲からカーソル幅を減算したもの）ので、コントラスト強調係数を予測することができ設定が簡単であることである。
抽出情報のコントラスト範囲の定義は、本発明の第三の特徴であるディテール強度技術「強度スライシング」を生み出す。２つの異なるカーソルサイズで元データをスムージングすると、２つのスムージングした画像情報の間の相違が抽出される。この強度スライスは抽出ディテールに等しい特性を持ち、その重要強度範囲は既知で、適用したカーソルサイズに従うフィーチャー情報部分を含む。このため強度スライスに含まれる情報は直線コントラスト伸長処理後に表示することができる。図６に関して、この新しい処理の開発はデジタル画像の情報内容に固有の定義（４種類の強度定義内容、すなわちノイズ、空間ディテール、強度ディテール、画像フィーチャー、バックグラウンド）を与え、これは画像コミュニケーション、画像分析、パターン認識、画像定量化に大きな衝撃を与える。個々の強度情報クラスまでデータ縮小を行うことは、画像情報、画像情報内容の定量化、画質の分析に新しいユニークなツールをもたらす。このツールをデジタル画像処理に使用することは画像化装置の既知のすべてのコントラストメカニズム（顕微鏡、望遠鏡、写真機、ビデオカメラ、医療用画像処理技術など）は、デジタル画像の構成クラスとして知られる３つの基本的強度のうち１つを確定することがわかる。原則としては、画像情報はすべて（構造成分）画像成分とその周囲との固有強度差を生成するコントラストメカニズムによって取得および記録される必要がある。コントラストは完全構造成分、一部の成分（相コントラスト、回折コントラスト）あるいは無成分を直接画像化し、完全な空間再構築（ホログラムの干渉コントラスト）を必要とする。これらの個々の画像コントラスト形式は３種類の非ランダム情報クラスのひとつとして、データセットに確立することができる。このためここで説明するディテール強調技術によって、画像データに異なるコントラスト形式で分離し抽出することができ、固有のコントラスト情報を生成することができる。これは容易に視認でき、その重要強度範囲に従って客観的に定量化できる。コントラスト形式は視覚と認識パラメータにマッチするので、抽出コントラスト情報は容易に可視化できる。接続的視覚定量化は限定的、主観的方法でのみ可能である。しかし、画像コントラスト定量化は各コントラスト形式の重要強度範囲を測定することで現在は可能である。定量化は各コントラスト形式の強度割合を、ノイズと強度バックグラウンドを含む他の画像強度成分とともに確立することができる。この手順では画像強度成分の割合と程度を明確にする画質評価の初めての客観的方法が与えられる。「情報キューブ」内の各画像成分の強度範囲のグラフィック表示は（図23）により、画質を容易に視認することができる。一般に、各ディテール情報コントラストは全強度範囲の数パーセントにすぎない強度範囲を持ち、そのディテールは10〜16ビット精度の高精度生データから抽出でき、生データの妥協なしに８ビットレベルで視覚表示できる。本発明の新情報強調技術はこのようにして画像情報の定量化を可能にし、画質評価の客観的基準を与える。正確なデータ縮小によって歪みや生成物なく画像情報をクリアに表示できるため、電子ネットワークを通した「高速ハイウェイ」上の客観的画像コミュニケーションが可能になる。高精度の生データから、10〜16ビットのデータで強調情報（コントラスト形式）を可視化できる。
本発明のディテール強調技術は、画像ディテールの正確な強調に必要とされ、また技術のノイズ管理用途または通常使用される処理技術によって必要とされるものではない、数種類の固有な強調目的のために、二次元ヒステリシス処理を利用し、定義および限定された強度範囲の空間ディテールの高ピクセル精度の抽出、ディテール強調の高画像精度スケーリング、相互作用で定義される単一の強調用出力パラメータの決定を行う。この高画像精度の強調パラメータは画像内容とは関係なく、希望のディテール強調程度にのみ関連して選択される。ディテール強調フィルタは、異なる高ピクセル精度の強調処理原理を使用して選択、抽出、強調を、画像内容とは関係なく行うので、従来の空間処理原理（Oho,Sobel,または準同形フィルタ）にくらべて有利である。
III. 実施例
以下の例は本発明の二次元ヒステリシススムージングとディテール強調デジタル画像処理技術をさらに説明するものである。
A.システムハードウェア
画像処理に使用したハードウェアは486/66MHz PC−ATホストCPUで、高度PCベースのAPx並列処理技術を用いた高速処理を行った。アレイプロセッサ（AP）技術は単一命令／複数データ（SIMD）構成に基づき、ピーク命令レート800−3200MIPsの16ビットプロセッサを64〜256個使用する拡張システム形式である。各プロセッサは16ビットRISCプロセッサで、ソフトウェアで32ビットモードに構成することができる。IEEEフォーマットの単精度浮動小数点演算は32ビットモードでピーク命令レート40−160MFLOPsでサポートされる。VLSI技術で32ビット数の高速１サイクル交信が可能である。APxプロセッサボードはPCバススロットに装着し、スーパーコンピュータ並の性能を発揮する。この形式のワークステーションはコネチカット州ニューヘブンにあるVisionary Systems Inc.が製造している。標準画像フォーマットは正方形で、画像は簡単なメニューとともに解像度1280x1024ピクセル、リフレッシュレート120Hzの20インチモニタに表示される（日立製CM2085MU SuperScan20モニタでStereographics CrystalEyes Systemによるステレオ表示可能）。モニタには耐磁性Nu金属シールドを取り付けた。
高品質画像（1Kx1K,8−16ビット）の画像強調は3000mipsの速度を必要とする。これはスーパーコンピュータの処理速度である。コスト効率、使いやすさ、持ち運びを考え、前述のAPxシステムのようなPCベースの並列処理システムが本発明の重要な要素を形成する。前述のAPxシステムの処理速度は1600mipsであり、１画像当たりの処理速度は２秒である。アレイを大型にすればさらに高速にできる。通常の画像（512ピクセル、８ビット）では１秒以下で処理できる。このようなリアルタイムに近い処理速度は並列処理でのみ可能である。
B.ノイズテストパターン例
本発明のデジタル画像処理によるノイズスムージング能力は、次のガウス形式のノイズのテストパターンを使用して実行できる。＋／−４標準偏差（SD）幅（1024x1024x8ビット、平均ピクセル値127、最小、最大ピクセル値43および211、標準偏差21、クリッピング精度0.0001％）（図7A）。重ね合わせた空間テストパターンは１ピクセル幅、つまり強度０と255の二重垂直線２本、および強度＋／−2SD（上半分）または＋／−3SD（下半分）の小十字形２セット（図7B、直近のズームx16倍に拡大）で構成した。完全テストパターンをノイズに重ね（図7C）、本発明のスムージング技術（図7D−Ｆ）を用いた処理は、重要な空間フィーチャーをすべて保持し、バックグラウンドを要求処理レベルに応じて設定される増加重要度係数（カーソル幅）でスムージングした。強度レベル＋／−1SDの処理では、すべてのフィーチャー（十字形、二重線）および高／低値の強度値のノイズピクセルは、空間完成度に歪みを生じることなく維持された（図7D）。低周波ノイズ成分は維持され、点状のパターンで認識された。＋／−2SDのスムージングでは＋／−2SDの十字形だけが除去され、その重要強度範囲のピクセルは（図7E）すべてそのS/N比が10倍向上した。最後に、＋／−3SDレベルの（図7F）ディテール強調処理では、すべてのノイズと十字形が除去され、二重線フィーチャーだけが残った。後者の２つの処理例では（画像がメジアン強度バックグラウンドを持つので）処理前にノイズ画像をランダム化し、後で非ランダム化した。本発明による強度PAIP処理だけが重要画像内容を維持でき、従来技術による空間処理ではランダム化データを破壊し、空間フィーチャーを維持できない（図7A−Ｈ）。従来の平均処理（図7G 3x3マスク、中心重み１）や従来のメジアンフィルタ処理（図7H 3x3マスク）では、テストフィーチャーの空間完成度を維持できない。一般に、ノイズ低減アルゴリズムは空間マスクを利用し（空間ドメインやフーリエフィルタにて）、マスクまたはフィルタサイズで設定される最高レベルで画像ディテールの空間歪みを生成する。本発明のPAIP技術では、生データの精度と同じレベル（ピクセルレベル）で画像ディテールの空間完成度を維持できるので、顕微鏡、放射線、天文、その他ディテールの獲得と評価を主目的とする技術分野での画像処理に適している。
C.顕微鏡検査
顕微鏡データ評価は試料の物性を推論するためのコントラストメカニズムの認識に関係する。生データは空間強度変化などのコントラストを、特徴的重要強度範囲と空間分布で表示する。場合によって、コントラストを直接視覚的に解釈することが可能であり、また、空間物性を再構築することが必要な場合もある。本発明の新しい強度処理技術による顕微鏡分析データでは、関係コントラスト情報は全データ強度範囲のうちわずか１〜10％の狭い重要強度範囲にだけ発生する。生データの大部分は高精度コントラストに等しいかそれ以上の高ノイズ成分を含んだので、関係空間データからノイズを分離するために強度スライシングが必要であった。関係するデータが強度輪郭値の奥に隠れてしまうこともあった。他の画像処理技術ではこの情報を自動で除去できず、空間あるいは比例強度歪みを発生させずに完全な画像を生成することはできない。
1.走査電子顕微鏡検査
顕微鏡データセットでは大きな画像フィーチャーを含み、それが画像強度範囲の大半を占めて、計器精度レベル（単ピクセル）の画像ディテールのコントラストをおさめる場所がないことが多い。これは低倍率の走査電子顕微鏡検査（SEM）の場合特にあてはまる。SEMの特徴は大きな試料を深い視野深度で低倍率で画像化することである。しかし低倍率（x1000未満）では大きな物体で信号回収効率コントラストが強く発生し、これが局部的に電子線と試料の相互作用に関係する場合がある。これらの検出器によるコントラストメカニズムの存在はよく知られており、これを画像作成に利用することはマルチ検出器システムで完成されている。しかしその程度は定量的に評価されていない。さらに一般にディテールコントラストを欠いている低倍率画像は、大きな画像フィーチャーのコミュニケーションにのみ使用されていた。電子線と試料の相互作用によって発生する局部的な小さなコントラストは、回収効率コントラストが、画質（S/N比）を低下させる空間情報のない信号バックグラウンドを発生する高倍率でのみ利用された。PAIP画像強調では局部的コントラストはすべて低倍率、高倍率の両方で発生、回収されるが、ディテールコントラストはフィーチャーコントラストまたはバックグラウンドレベルの程度に反比例して圧縮されることがわかった。さらに、局部的な強度の小変化を視認することは、広帯域の強度変化に極めて近似して減少した。本発明のPAIP画像強調では、ディテール、フィーチャー、バックグラウンドの強度範囲割合を、相互作用的に後者を減少して視覚的に効果を評価することで、容易に速く調節できる。
（ａ）従来の走査電子顕微鏡検査（SEM）
蟻の頭部の従来のSEM画像（図8A）では強度範囲をすべて占め（IR＝0.255）局部的な電子線と試料の相互作用によって発生するディテールコントラストには余地がほとんどない。この高精度電子線情報は全データ強度範囲のうちわずか14％の重要強度範囲（IR＝１〜35）に空間ディテール情報として（図8B）含まれていた。コントラストは２つの発生源を持つ信号回収効率コントラストによって構成され、歪みを受け、減少されていた。まず、局部的な試料により発生するチャージ現象が、チャージングコントラストとしてまとめられる（図8C）試料表面での強度変化をもたらす信号生成を変化させ、強度ディテールスライス（IR＝35〜71）に画像化された。次に、局部的な検出器により発生する検出器コントラスト（図8D）が大きなフィーチャー（IR＝71〜256）の全体の形状的アスペクトを発生した。後者の信号成分は顕微鏡の電極で後方散乱した電子により生成され、従来のSEMにおける低倍率画像アスペクトを発生するという特徴を持っている。しかし回収効率コントラストはディテールコントラストを減少させ、中間グレイレベルのバックグラウンドでのみ認識可能で、フィーチャー（蟻の頭部）の飽和高低強度範囲ではまったく見られなかった。
重要強度範囲を段階的に減少させる画像強調ではフィーチャーコントラストが減少し、ディテールコントラストが反比例して増加した。50％以上の減少（図8E）では主要なフィーチャーコントラストは維持されたが、画像全体の中でははるかに小さいディテールコントラストが、画像フィーチャーの全体的特徴を維持しつつ増加さし、また画像ディテール（IR＝１〜100）のほとんどを強調した。特に、信号回収効率コントラストは減少し、電子プローブ誘導コントラストはいくぶん強調された。重要強度範囲を全画像強度範囲（IR＝１〜15）の６％まで減少すると、局部的電子線散乱コントラストが強調された（図8F）。電子線誘導コントラストメカニズムが可視化すると、画質が大きく変化した。特に試料サポートの強度ディテール（微小粗さ）コントラストと、空間ディテール（試料の体、細かな毛、ひげを覆っているキチン質板のエッジ部）が強調された。強調画像は、他のメカニズムによって生成された強いコントラスト範囲があっても、電子プローブによるディテール画像化は可能であることを証明した。全強度または強度スライスの中の重要強度範囲ですばやい調整が、電子プローブが発生する信号を見るために不可欠であり、それがコントラスト解釈を促進した。
画像の強度範囲を支配的なコントラストサイズに適正に合わせることによって、デジタル拡大によるディテール評価を促進することができた。生データはほぼノイズフリー（１％未満のIR）で、比較的広い強度範囲に空間ディテールを含んでいたため、ディテール評価はIR＝１〜15の強度スライスで実施された（図8F）。図8G−Ｈに生データのディテール（目のすぐ下）のデジタル拡大画像（各ピクセル可視化のための最近のズームx16）と選択した強度範囲（IR＝０〜15）を示す。強調によって、走査電子顕微鏡画像から走査した電子プローブ顕微鏡画像に拡張された試料面上の電子プローブによって生成された正しい（ピクセルに正確な）構成とくわしいコントラストが明らかになった。空間情報は除いて、小さな形状的コントラスト（レリーフコントラスト）が識別可能になった。構造的ディテールの解釈について生データと強度データを比較することは、キーボードのキー１つを操作するだけでできる。これによると10倍〜20倍の拡大率でも、空間的あるいは強度的生成物は確認できなかった。強調画像に見られるディテールは元のデータセットにも存在したがそのコントラストはもっと低かった。
（ｂ）中間倍率電界放出SEM（FSEM）
中間倍率におけるSEMでは、可能な低倍率フィーチャーコントラストは、大きなフィーチャーのそれに類似する逆特性を持つ空バックグラウンド信号に変換される。すなわち、試料に固有の顕微鏡コントラストをそのサイズに反比例して圧縮する。高精度の空間情報がないと、重要な分野でSEMの最適化が制限され、産業Ｒ＆Ｄや半導体での故障などにその例が見られる。
ポリプロピレンフィルターの有孔率の評価には、薄い金属膜（3nm,Pt）、高加速電圧（30keV）、倍率20000倍が必要である。S/N比および画像コントラストは弱い（図9A）。わずか２％幅の（IR＝21〜27）強度ディテール内の強度スライスでノイズ成分を効果的に減少させ、物質コントラストを強調し（図9B）たので、孔の体積は容易に定量化できた。このコントラストを選択的に抽出することで、ノイズとチャージングコントラストを低減し、この難しいサンプル上で電子の問題によって発生した空間高精度情報をすべて回復できた。
半導体業界での故障分析における中間倍率画像化でも、同様の制限がある。この用途では、デバイスの断面を研磨し、わずかにエッチング処理し、3nmのCrでコーティングする。高性能状態（30kV,電界放出電子源）での画像化では、デバイスの構造を認識できないような弱いディテールコントラスト（図10A,2xバイキュービックズーム）しか発生できなかった。わずか４強度ステップ（IR＝７〜11）のノイズ成分の下の強度スライスが、生データのすべての空間ディテールを含み、電子ビームの精度レベル（各ピクセル）における小範囲コントラストの断面の形状的特徴を明らかにした（図10B）。このような強調は日常のFSEM運用には大変貴重である。
（ｃ）低電圧電界放出SEM（LVFSEM）
半導体の製造のオンライン生産管理では断面線幅測定が低電圧電界放出走査電子顕微鏡検査（LVFSEM）でルーチンで行われる。これは不導体の画像処理を全コントラストを増大させて行うことができるからである。しかし、その結果の高倍率画像は、飛躍的に増大した広範囲信号（図11A,2xバイキュービックズーム）によって減少した、低い高解像度（小範囲）のコントラストが生成されただけである。ポリシリコン断面に対して、抵抗線の上部と基部の関係ディテールは明確でない。高ノイズレベルにも関わらず、詳しい構造ディテールがノイズ成分を除いた全強度範囲（IR＝13〜25）の５％から回復された（図11B）。ディテール強調はピクセルに忠実であるため、さらに画像処理を行わなくても線幅の直接手動または自動測定が可能になった。
（ｄ）環境SEM（SEM）
新規の低真空SEM技法では、共に、しばしば低質量密度および低信号イールドを有するサンプルから成る、不導体および湿潤表面が撮影される。したがって、高倍率画像は、共通の大きな信号バックグラウンド成分だけでなく非常に大きな雑音成分によって制限される。中間倍率（20000倍および20kV）では、完全に水和されたプラスチック・フィルタ上のラテックス球が、弱いコントラスト（第12A図、２倍ズーム）のみと共に撮影され、球とフィルタの孔との相互作用はあいまいであった。狭い強度スライス（IR_S＝13ないし23）および追加のディジタル・ズーム（画像右下隅）を使用して、フィルタ特性を評価することができた（第12B図:4倍ズーム）。フィルタの孔の超微細構造ディテールを維持するには（ダブル・ゾーン）、ある種の高強度雑音成分を、抽出されるコントラスト情報に含める必要があった。
（ｅ）高解像度電界放出SEM（HRFSEM）
新規の超高解像度FSEM計器は、0.5nmプローブ直径を備え、高理論解像度を使用するために倍率100000倍ないし1000000倍で動作することができる。実際には、コントラスト品質によって高倍率での制限が課される。高倍率では、このようなインレンズ顕微鏡でも、大きな信号バックグラウンドが生成され、高密度ショートレンジ・コントラスト（空間ディテール情報）を圧縮する。1nmの連続Crフィルムで陰影付けされた薄いＣフィルム（厚さ2nm）上の分子試料の高倍率凍結撮影（100000倍、30kV、サンプル温度−120℃）では、残念なことに低コントラストしか得られず、分子のディテールは目に見えなかった（第13A図）。雑音成分の下方でのディジタル・ズームおよび強度スライシングの後、予期されるすべての高精度コントラストが得られ（IR_S＝５ないし15）、すなわち、目標とするSE−Ｉ信号成分の高解像度コントラストのために生成される明確な陰影によってすべての小さな構造（2nmないし5nmの寸法）が撮影された。SE−Ｉコントラストの小さな寸法は、予期されないものであったが、最適撮影条件（非常に薄い試料、低Ｚ金属コーティング、汚染低減のための凍結撮影）の下でもバックグラウンドが発生したことを示唆している。
2.透過電子顕微鏡検査画像
TEMコントラストは、様々なコントラスト機構の重ね合わせと、空間領域（画像）での視覚コントラスト情報の解釈の困難さの好例である。最小構造ディテールレベルでのTEMでは、位相コントラストと散乱コントラストが共に発生し、重ね合わせられる。位相コントラストは、光学系の伝達関数と顕微鏡撮影パラメータを使用して、容易に分析しフーリエ領域で再構築することができる。ビームの影響を受けやすい材料では低線量撮影が必須条件であるが、雑音が増大し、かつコントラストがないので、獲得した生データをただちに評価することは困難になる。ビームの損傷、線量が不十分であること、およびその他の要因（汚染、不安定さなど）によっても画質は不明瞭なものになる。
（ａ）クリオ透過電子顕微鏡検査（クリオTEM）
クリオTEMは、生医学電子顕微鏡検査で最も重要なものである。クリオTEMは、細胞および組織の超微細構造を撮影するために選択すべき高解像度顕微鏡である。さらに、当該のコントラストを不明瞭にし圧縮する信号バックグラウンドを低減させるためにエネルギー・フィルタリングが適用される。ガラス化され切片化された材料上のクリオTEMでは、染色が施されず、高解像度情報を得るために利用できるのは弱い位相コントラストだけである。しかし、このコントラストは、コヒーレント空間情報を提供せず、特定の撮影条件（レンズ収差、照明、およびディフォーカシング）の伝達関数に従って正のコントラストで空間周波数の画像部分を提示し負のコントラストでその他の部分を提示する。位相コントラスト伝達関数は、特定の強度特性を各空間周波数に関係付ける。TEMコントラストのこの固有の強度特性は、本出願に記載され、生データの既存の特定の各空間周波数の分離および撮影に使用される処理技法によって求めることができる。位相コントラストが高められたデータ・セットを生成するためにエネルギー・フィルタリングを適用する場合でも、同じエネルギー範囲を有する他の信号成分が含められ、大きなバックグラウンド信号（本明細書で分かるように総信号の最大80％）を生成する。強度スライシングを介して強度バックグラウンドを低減することによって、データの空間特性が維持され、ある種の空間周波数が増大された位相コントラストが高められた画像が生成される。この撮影技法は、高解像度クリオTEMでは、冷凍水和された生体材料上の位相コントラストで特に重要である。リンゴの葉の冷凍水和済み非染色凍結切片の最初の低線量エネルギー・フィルタリング済みTEM生データセット（25000倍計器倍率）により、大きなバックグラウンド信号によって示される不均一なコントラスト分布が得られた（第14A図）。強度範囲（IR＝０ないし232）の大部分は、大きな画像微細形状の散乱コントラストで占有された。小さな構造ディテールは、低位相コントラストを有し、ほとんど目に見えず、雑音中に埋め込まれた。コントラストがないので、画質評価は困難であった。ヒストグラム等化による従来型のコントラスト拡張では、コントラスト画質は向上しなかった。なぜなら、それによって、他のすべての強度変動も非空間的に拡張され、ディテール成分が分解し、あるいは強度ディテールが失われ、すなわち、特に不適切な強度レベルのビンに合計して入れたある種の強度値が失われるからである。
いくつかの異なる連続強度スライス中で異なる空間位相コントラスト成分を増大させ、強度プロファイルのコヒーレンスを証明し、新規の画像情報処理技法を検証した。対話型視覚制御によって、雑音の低減および微細構造ディテールの維持が最適化される有意強度レベルを求めるのが容易になった。雑音成分のすぐ下の強度スライシング（IR_S＝25ないし35）によって、最小空間位相コントラスト成分が得られ（第14B図）、連続スライシング（IR_S＝35ないし45）によって、より大きな空間位相コントラスト成分が抽出された（第14C図）。最後に、このデータセットの最大空間周波数が、強度プロファイルのかなり深い部分（IR_S＝55ないし75）に埋め込まれることが判明した。この成分には、氷の結晶の汚染と共に（凍結切片化によって発生する）ナイフ・マークが含まれていた。位相コントラストまたはその様々な成分を分離すると、試料の超微細構造を再構築するのが容易になるであろう。
（ｂ）高電圧TEM（HVTEM）
高電圧顕微鏡検査は、高解像度を与えるが、画像コントラストが低減されるために制限される。したがって、暗視野顕微鏡検査を使用してある種の低コントラスト成分を回復することが多い。そのような高精度データ中の収集される微細構造情報の範囲は不明であったが、強度スライシングを介して推定することができる。表面活性剤を塗布された無機血小板の300kV TEM画像（暗視野照明で60000倍）では、薄層間のいくつかのより暗い領域（薄層間に形成された厚さ5nmないし10nmの表面活性剤二重層の穴）で見られる小数の微細構造ディテール（第15A図、２倍ズーム）が得られる。狭い強度スライス（IR_S＝３ないし15）では、薄層間と薄層の頂部（表面活性剤単層）で表面活性剤二重層によって生成されるすべてのコントラストが雑音成分の下方に得られた。大部分の強度データは、無機薄層および信号バックグラウンドからの散乱コントラストで占有された。肉眼では見えなかったが、高電圧TEMによって得られる非常に高い精度が、生データ中に存在していた。この結果によって、このような高価な研究ツールの応用が大幅に向上するであろう。
（ｃ）高解像度TEM（HRTEM）
最高の原子解像度は、非常に薄い試料に対する非常に高い加速電圧での高電圧TEMで達成することができる。しかし、位相コントラストと散乱コントラストが常に重なり合い、所望の高解像度情報を不明瞭にする。5000000倍の倍率での蒸着金アイランド試料では、支持体と共に金の原子が撮影されたが、サンプルの質量非均一性のために不明瞭であった（第16A図）。位相コントラストの強度スライシング（IR_S＝３ないし35）では、サンプルの原子超微細構造のコヒーレント画像が得られた（第16B図）。ディジタル・ズーム（インサート:4倍）によって、画質の最初の評価が容易になった。最高の精度の空間データ出力を得るには、このデータを再構成する必要がある。
3.走査透過電子顕微鏡検査画像
走査透過電子顕微鏡は、超高分解能機能を有し、フィールド深度が高く、試料の要件が限られているため、研究開発において重要な計器である。しかし、この計器の撮影機能は、高精度ショート・レンジ・コントラストとその強度バックグラウンドの比率のために他の顕微鏡検査と同様に限られている。
（ａ）走査透過電子顕微鏡検査（STEM）
低Ｚ−マトリックスの高Ｚ金属の小さな（数nm）粒子のSTEMデータ（倍率2300000倍）（第17A図:2倍ズーム）の分析は、サンプルの厚さが不均一であるために制限された（バックグラウンド信号が生成された）。高精度コントラスト情報は、狭い強度スライス（IR_S＝５ないし35）に見られた。拡張データでは、すべての粒子が存在し、粒子の数量化が容易であった。強度バックグランドは、サンプルのより厚い部分での広範囲な電子散乱によって生成された。しかし、従来型のバックグラウンド強度補償は、粒子の差分コントラストを維持するうえで有効ではなかった。粒子の差分コントラストを画像全体にわたって（ひずみなしで）均一に高く表すことができるのは、本出願に記載された強度スライシングだけである。
4.走査プローブ顕微鏡検査画像
新規の走査プローブ顕微鏡では、すべての試料から高精度データが得られることが約束されたが、実際の応用例では、予期される精度レベルでのコントラストがなくなるため、走査プローブ顕微鏡の使用法は限られている。実際には、この顕微鏡の精度は、表面顕微鏡として利用できるものとしては最高であり、１オングストロームの数分の１の単位での測定が可能であるが、そのようなショートレンジ・コントラスト情報は、通常の応用例に存在する粗表面の画像では肉眼で見えない。
（ａ）アトミック・フォース顕微鏡（AFM）
典型的なデータセットは、テフロン表面上の20nmの小さく平坦な粒子で形成されたポリマー・コーティング・フィルムによって提供される（800000倍）（第18A図:2倍ズーム）。生データでは膜表面の高さ数オングストロームの超微細構造はほとんど認識できなかった。AFMコントラストは、画像成分の高さに比例するので、フィルム表面全体を覆う粒子下部構造コントラストは、数強度レベルに圧縮された。雑音の下方の強度スライシング（IR_S＝７ないし13）によって、小さな高精度コントラストがわずか17強度レベル以内で得られ、予期されるAFM画質を適切に表す詳細な画像が生成された。
5.光顕微鏡画像
光顕微鏡コントラストには常に、非均一サンプル中で散乱する光から導かれる大きなバックグラウンド成分が含まれた。共焦LMを介してバックグラウンドを制限するこのコントラストの低減方法を導入した。しかし、CFLMデータでも、雑音が全体的に制限され、ショート・レンジ・コントラストの強度範囲が小さい。
（ａ）光顕微鏡（LM）
水中にぶら下げられた紙繊維の中間倍率（400倍）での明視野画像は、吸着コントラストによって支配され、光学特性の結果として得られるショート・レンジ・コントラストは、ほとんど見えなかった（第19A図）。この高精度情報のコントラスト拡張は、完全な強度範囲（IR_S＝７ないし23）の10％での雑音成分の下方の簡単な強度スライスによって容易に達成された。この処理を介して、すべての予期される屈折コントラスト、回折コントラスト、および偏光コントラストが見えるようになった（第19B図）。ただし、この精度情報はある種の環境でしか得られないと思われる。
（ｂ）共焦レーザ光顕微鏡検査（CFLM）
共焦レーザ光撮影技法は、サンプルによる光散乱から生成される信号バックグラウンドを低減することを目的とするものである。しかし、CFLMデータでは低信号イールドおよび高雑音レベルが特徴的である。他の顕微鏡検査データの場合と同様に、雑音管理は、重要であり、強度スライシングを介して容易にすることができる。というのは、無作為情報および作為（構造）情報を容易に視覚的に認識し評価することができるからである。生きている光摂受体細胞に蛍光脂質色素を注入した画像ではディ テールはほとんど得られなかった（第20A図）。画像雑音成分の範囲、すなわち、第20B図の上部雑音成分（IR_S＝１ないし17）および第20C図の中間雑音成分（IR_S＝17ないし37）は、いくつかの強度スライスによって迅速に求められた。すべての構造データ（第20D図）は、わずか15強度レベル以内で（IR_S＝57ないし72）大きな雑音成分（IR_S＝１ないし57:22％IR）の下方に存在した。データ・スライスは、強度プロファイルをスライシングして無作為情報と作為情報の比率を各スライスで評価することによって容易に求められた。雑音成分を「見つけて」その雑音成分の微細構造データへの浸透度を評価する能力は顕微鏡検査では最も重要である。なぜなら、それによって、ディテール情報の喪失を最小限に抑えて雑音と構造情報を分離する実際的な強度しきい値を視覚的に推定できるからである。
D.医療撮影
医療画像データの評価に関するディジタル画像拡張には特別な関心が抱かれている。Ｘ線技師は、写真フィルム上に写し出された像の視覚的評価に関して十分に訓練されているが、ディテールおよびパターンの認識および評価は、個々の視覚能力と、視覚限界を超える過度のデータのために制限される。新規のディジタル医療画像センサは、12ビットまたは16ビット・レベルおよびフィルムよりも高い解像度で画像を得る。新規のディジタル・マンモグラムは、10Kx12Kx12ビット−データを提供する（PrimeX、カリフォルニア州Carisbad）。獲得時の精度レベルでのそのような大きなデータの視覚的評価は不可能であり、それにはディジタル画像処理技法が必要である。前述の強度スライシング技法では、精度を損なわずにデータ情報を評価する方法しか与えられない。下記の２つの例はフィルムからディジタル化されたものである。
1.マンモグラフィ
マンモグラム評価では、乳腺の組織構造が評価される。腫瘍成長パターンの２つの段階を区別することができる。1.初期徴候は、腺管の広がりと、小さく高いコントラスト堆積物群から成る微石灰化に見られる。2.後期の徴候は、高いコントラストの丸い領域中の組織塊の成長（密度の高い細胞蓄積による水分含有量の増加）に見られる。構造診断基準は、画像ディテールの２つの基本画像情報クラス、すなわち空間ディテール（繊維および微石灰化に見られる最小のコントラスト変動）および強度ディテール（組織成分および変質部に見られる広範囲のコントラスト）に分類される。マンモグラフ評価の問題は、過度の組織密度とそれに付随するコントラストの重なり合いから発生する。ディジタルPAIP画像情報拡張によって密度の高いマンモグラフ（第21A図）を評価した。最初の生データ画像ではディテールはほとんど見えなかった。前のデータセットの場合と同様に、わずか12％の小さな有意強度範囲以内ですべてのディテール情報が撮影された。ライト・テーブルでのＸ線フィルムの通常のスクリーニングでは、アナログ画像評価を1.5分よりも短い時間内に完了しなければならない。複合ディテール画像（第21B図:IR_S＝１ないし21）によって、空間ディテール（第21C図:1ないし11）と強度ディテール（第21D図:IR_S＝11ないし21）の２つのディテール情報を共に補正することができた。空間ディテール画像では、組織繊維と個別微石灰化群を容易に認識することができた（第21C図：円）。他の高強度ディテールは、容易に識別できる繊維成分を重ね合わせることによって得られる。強度ディテール画像では、脂肪の堆積を示すコントラストの低い腺管および丸い領域（水分の含有量が少ない）が得られた。ほぼすべての腺管は、その出発点（乳頭）までたどることができる。いくつかの管は、幅が大幅に増加していることが判明した（第21D図：円）。
しかし、従来型のマンモグラフでは、構造的重なり合いのためにディテール情報にアクセスすることはできない。この減少は、立体三次元（３−Ｄ）撮影を介して軽減することができる。新規の高感度ディジタル・マンモグラム・センサでは、過度のＸ線被爆の可能性をそれほど増大させずに、修正された画角（立体角度４゜ないし６゜）で２回の組織照射を行うことができる。本発明のPAIPフィルタは、拡張された画像ディテールの立体撮影を行うことができるように完全に装備されている。本発明のPAIPフィルタは、組織ディテールの画像を高コントラストおよび高エッジ鮮鋭度で生成するので、立体画像に理想的なほど適している。
PAIPによる空間ディテールおよび強度ディテールの評価は、自動グリッド探索モードで倍率４倍で１分未満しかかからない。この評価は、画像情報が最適な形で視覚的に提供されるので、（ルーペの助けを得る）アナログ画像評価よりもずっと目が疲れない。すべてのディテール情報を容易に認識することができるので、データの解釈はもはや、データに視覚的にアクセスできないことによる制限は受けず、データ品質または調査者の診断経験の制限しか受けない。この診断経験の制限は現在、電子ネットワークを介する画像通信によって補足することができる。
2.胸部Ｘ線
多数の医療データセットには、画像強度帯域幅の大部分を占有し、画像ディテールのコントラストの余地をほとんど残さない大きな主画像微細形状が含まれる。これは、骨と組織を共に撮影する胸部およびその他のＸ線で特にそうである。局部コントラストは、画像強度範囲の数パーセント以内に制限される。本発明によるPAIP画像拡張では、予期されるすべての局部コントラストが生成され収集されたが、ディテール情報コントラストはバックグラウンド・コントラストの範囲に反比例して圧縮された。また、局部の小さな強度変動の視覚認識は、大きな強度変動の近くでは困難であった。
PAIP画像拡張により、微細形状強度範囲を対話的に低減させ、同時に処理効果を視覚的に評価することによって、ディテール強度情報と微細形状強度範囲の比率を調整する容易で迅速な手順が与えられた。胸部Ｘ線画像（第22A図）は、完全な強度範囲を占有し、有意強度範囲がわずか５％のディテールコントラストの余地をほとんど残さなかった。ディテールコントラストは、柔らかい組織バックグラウンド内では部分的にしか認識できず、Ｘ線の高強度領域および低強度領域にはまったく存在しなかった。有意強度範囲を段階的に減少させることによるディテール拡張によって、微細形状強度範囲が減少し、これに反比例してディテールコントラストが増加した。90％を超える低減（第22B図:IR_S＝１ないし10）では、依然として主要微細形状コントラストが維持されたが、画像全体内のずっと小さなディテールコントラストが肉眼で分かる程度に増加した。有意強度範囲をさらに画像強度範囲全体の５％に減少させることによって最終的に、局部コントラストが支配的になった（第22C図:IR_S＝１ないし５）。影響を受けやすい小さなＸ線吸着コントラストを視覚化した後、画質が大幅に変化した。１％有意強度レベルの高強度領域では、主として雑音が撮影された（第22D図:IR_S＝１ないし３）が、最も微細な空間ディテールは黒い領域に維持された。そのような典型的な非線形雑音成分は、非線形拡張を使用する処理を介して容易に減少させることができる。
E.ディジタル画像情報の数量化
定義済みコントラスト・クラスのPAIPを介して任意の実物および内容のディジタル画像を定義することと、このようなクラスを数量化することによって、画質数量化のユニークで新規のツールが提供される。４つの強度情報クラスは、画像上（ｘ座標およびｙ座標）の相対有意強度（ｘ座標）を示す情報キューブ（第23図）で体系的に表すことができる。各情報クラスは、簡単な三次元強度プロファイルによって提示され、PAIP処理によるアクセス順に相互に積み重ねられる。すなわち、１番上が画像の雑音であり、その後に空間ディテール、強度ディテー ルが続き、１番下は画像微細形状バックグラウンドである。画像微細形状バックグラウンドは、その空間情報が限られ（明るいグレー）、あるいは存在しない（バックグラウンド：暗いグレー）場合は陰影付けされる。第23図に、第８ないし20図に示したいくつかの顕微鏡検査データセットの情報キューブが提示されている。追加情報として、情報クラスが左垂直軸に沿った記号でラベル付けされ、データセットの総強度範囲（IR）が左下隅に示され、各情報クラスのファイル名および比率範囲が、その情報クラスがデータ中で現れる箇所に順次与えられている。各画像がその情報成分の個々の比率を示すが、微細形状成分の比率が最大相対有意範囲の50％よりも多いときには視覚的に知覚できる「画質」の低減がすべての画像に共通することは明白である。第23図で、データは画質の低減に応じて並べられている。画質推定の他の応用例は、獲得時の画像評価に見られる。これは、絶えず変動するコントラスト条件と顕微鏡検査時の試料の劣化によって視覚的データ評価が抑制される顕微鏡検査では重要である。第23図の１番下に、低画質データの獲得と、それに続く顕微鏡パラメータの調整を介する画質の向上に関する２つの画像データ特性が示されている。雑音成分の寸法はほぼ変化しなかったが、空間ディテールと強度ディテールの比率は係数４ないし10と大幅に変化し、両方の画像情報成分に異なる影響を与えた。この例は、強度処理特性、精度、客観性、およびオートメーション機能のためにすべての可能なディジタル・イメージ応用例に適用できる本発明の新規のディジタル画像処理技法の能力を示すものである。
他の実施例によれば、画像ディテールコントラストの拡張は、差分ヒステリシス・パターンをディジタル画像に追加することによって行われる。前述の差分ヒステリシス画像処理は、データの減少および画像ディテールコントラスト拡張の手段として強度変動の持続（すなわち、ヒステリシス）を使用する。画像ヒステリシスは、対話的に選択されたヒステリシス範囲のヒステリシス・カーソルによって求められる。カーソルは、画像を１画素ずつ進み、隣接する画素間の強度変動を評価する。カーソルの強度位置は、差分強度値が範囲内に収まったときは維持されるが、値が範囲外であるときはデータに従う。処理は、様々な角度の連続線上で二方向に進み、各画素中のカーソル位置の平均値によってヒステリシス画像が生成される。ヒステリシス画像は、維持される入力データのヒステリシスなし領域と、修正済み入力データの連続的に合体されたヒステリシス領域とを含み、そのため、入力強度変動が局部ヒステリシス値で置換され、あるいは、入力強度変動の強度範囲が、局部ヒステリシス特性に比例して、最大でヒステリシス範囲の２分の１だけ減少する。画像は、すべての残りのコントラスト成分の空間位置と共に完全な一体性を維持する。このような特性のために、入力画像からヒステリシス画像を減じ、あるいは、それぞれ異なるヒステリシス範囲で処理された２つのヒステリシス画像どうしを減算することによるヒステリシス処理によって加えられた強度変動をアーティファクトなしで回復することができる。
重要なこととして、結果的に得られる差分画像を完全な表示強度範囲にスケーリングすることにより、固有の特性を有する差分ヒステリシス画像が生成され、すなわち、そのような範囲は、追加特性の視覚的に離散的な差分強度パターンを表す。実物にはかかわらず、データ、たとえば、CCD（充電結合装置）ビデオ・ポートレート画像、たとえば14ビット範囲でデータを提供するアトミック・フォース顕微鏡検査画像、たとえば11ビット範囲でデータを提供するCT画像（コンピュータ化断層撮影法）、たとえば12ビット範囲でデータを提供するラジオグラムなどに存在するすべてのコントラスト情報を表す、限られた数の基本視覚パターンのみを大部分の画像から抽出することができる。
最大コントラスト解像度の大部分の計器密度情報は、データの強度範囲の一部にしか存在せず、少なすぎて視覚的に認識できないことが多い。この関連情報は、異なる拡張画像として目に見えるようにすることも、あるいは、抽出された差分ヒステリシス・パターン成分を最初の画像に追加することによって最初の画像内でコントラスト拡張することもできる。この拡張では、撮影計器の画像解像度を大幅に向上し、画像評価時の最大効果が保証された。本発明は、初めて、かつディジタル画像処理またはコンピュータ動作の特殊知識を必要とせずに、１つのパラメータ（すなわち、差分ヒステリシス範囲）しか使用せずに最大センサ解像度を含め画像分解能のレベルにリアルタイムで客観的・網羅的かつ視覚的にアクセスするための対話型方法を提供する。重要なこととして、このプロセスでは、目でなく画像センサの解像度レベルで画像を視覚化し、「視覚認識レベル」を撮影装置獲得レベルに拡張することができる。
現行の撮影センサは、10ビットないし16ビット範囲（すなわち、1024レベルないし65536レベル）でデータを提供するが、視覚システム（すなわち、人間の目）はそのデータの一部しか「見る」ことができない。というのは、視覚システムは、「知覚」がほぼ８ビット範囲（すなわち、256強度レベル）に限られ、パターン「認識」が４ビットないし５ビット範囲（すなわち、16強度レベルないし32強度レベル）に限られるからである。このように視覚画像の情報内容が限られているので、センサ情報の知覚不能または認識不能な部分を認識可能な画像として変換する一般的な機構を見つけるディジタル画像処理が必要である。すなわち、完全な視覚知覚範囲にわたって広がる限られた数の強度刻みを画像データディテー ルパターンに提供すべきである。たとえば、高精度顕微鏡は、アトミック・フォース顕微鏡（AFM）で分かるように、人間の目が受け入れられるよりもずっと多くの画像データ（たとえば、12ビットないし16ビット範囲）をディジタル的に得て、データ提示は、空間解像度でもコントラスト解像度でもなく限定要因となる。同様な問題は、センサによって得られる他の画像、たとえば、医療撮影、衛星データ、非破壊試験でも経験される。したがって、次元が多Ｋバイトで深さが16ビットである大きなデータセットは、非常に短い時間でかつ過酷な精度で視覚的に分析する必要がある。
センサと視覚解像度の間のギャップが周知であり、当技術分野で、データの低減が画像の空間情報のレベルで広く追求されていることが理解されよう。しかし、画像が複雑で多様であるために、従来型の画像処理では、複雑な適応近隣処理を空間領域での一定サイズのマスクまたはフーリエ領域でのフィルタと共に使用して、処理パラメータまたはフィルタを空間画像内容に一致させなければならない。この種の画像拡張では、処理点から、マスクが広くなるにつれてデータ内へ入り込む重大なアーティファクトが作成される。そのようなアーティファクトを低減するために、処理パラメータはコントラストおよび空間情報の二重性を維持しなければならない。なぜなら、いずれも他方なしでは視覚化できないからである。
空間情報は、局部バックグラウンドに対する強度変動として提示され、そのような画像成分を介する線走査で見ることができる。目には、制約なしに視覚化できる高コントラストの大きな画像微細形状だけでなく、小さな低いコントラスト成分を認識する感度もない。画像ディテ ール成分には、低コントラストの小さな構造成分、すなわち空間ディテールと、高コントラストの大きな成分、すなわち強度ディテールを含めることができる。２つのディテール成分は共に、画像拡張によって維持することが好ましい。このような制限を克服する１つの手法は、局部空間成分ではなく局部強度成分を処理することである。強度変動は、強度処理によってアクセスすることができ、従来型の空間画像処理の代替策を提供するヒステリシス特性によって特徴付けることができる。ヒステリシス処理は、線形スペクトル・データに使用されており、その場合、近隣ピクセル間の強度変動が、可動「一次元」カーソルを使用してピクセル強度値を順次読み取る簡単な２進ヒステリシス評価によって比較され、すなわち、連続読取り間の強度差が所与のヒステリシス範囲に収まるかどうかが判定された。Ledley RS,Rotolo LS,Golab TJ,Jacobson JD,Ginsberg MD,Wilson JB著“FIDAC:Film input to digital automatic computer and associated syntax−directed pattern−recognition programming systems,Optical and Electro−Optical Information Processing"（1965年、Tippett JT編、MIT Press、マサチューセッツ州、591ページないし613ページ）を参照されたい。信号ピクセル用の二次元近隣推定は、前述のように周囲の各ピクセルヒステリシス応答の放射処理判定によって実行することができる。ヒステリシス領域は、事前に選択されたヒステリシス範囲（すなわちカーソル範囲）内に収まり、除去されない強度変動によって画定され、所与の範囲の外部にある他の強度変動領域は、局部ヒステリシス応答に比例して維持される。したがって、特定のデータのヒステリシス特性によって、両方の領域が連続ヒステリシス画像として合体される。ヒステリシス画像は、容易に認識できる大きな強度変動しか維持しないので視覚的にはそれほど有効ではない。しかし、ヒステリシス画像の固有の特性を使用して、最初の画像データ（単体ヒステリシスのヒステリシス画像を表すとみなすことができる）を含み、単一の処理パラメータ、すなわち差分ヒステリシス範囲によってのみ特徴付けられるヒステリシス画像間の差を視覚化することができる。差分ヒステリシス画像は、完全な視覚的知覚範囲にスケーリングされるが、空間ディテールと強度デ ィテールを共に含み、したがって、画像ディテール拡張用の効率的なツールを提供する。
第24図を参照すると分かるように、ヒステリシス・ライン処理によって、事前に選択された範囲（すなわち、ヒステリシス・カーソル範囲）を有するヒステリシス・カーソルを使用してライン中の画像データが読み取られる。カーソルは、ラインに沿って１ピクセルずつ移動され、その間に、カーソルの中点が出力データとして読み取られる。カーソルは、次のピクセル値が現カーソル値の外側にある場合はカーソルの一端によって入力データに従い、次のピクセル値がカーソル値の内側にある場合はそのまま変化しない。カーソルは、その中点を入力データ点に位置決めすることによってラインの読取りを開始する。ヒステリシスの方向ラグは、入力ラインに２度目の逆方向の処理を施し、次いで、両方のカーソル出力値を処理し最終ヒステリシス・ラインを生成することによって補償される。このヒステリシス・ラインは、ヒステリシス画像処理に必須のいくつかの重要な特性を有する。すなわち、（１）ヒステリシス範囲よりも小さな強度変動が削除され、最後に読み取られたヒステリシスのないデータ点を表すヒステリシス値で置換され、その結果、ヒステリシス値は、従来型の平均フィルタ値または中央フィルタ値とは異なる特性を有する。というのは、これによって、出力データ値が、置換されたデータ部分ではなく、維持されたデータ部分に関係付けられるからである。（２）カーソル範囲よりも大きな入力データ最大値および最小値の強度は、その特定の強度値あるいは高さまたは深さとは独立に一様にカーソル範囲の２分の１だけ減少され、カーソル範囲よりも小さな強度変動は、局部ヒステリシス特性に比例して低減される。（３）ヒステリシス・ラインの各部は、維持される入力データであり、そのため、これらのデータ点は、ヒステリシス処理によって修正されたデータ領域どうしを結合する。（４）方向ヒステリシス処理は、カーソル移動の順方向で、カーソル範囲よりも大きな強度プロファイルの１番上と１番下にストリークを生成する。このストリークは、減少された強度最大値および最小値と入力データ点の間に線形平均遷移をもたらすので重要である。
連続的に読み取られる各ラインは、読取り方向に沿った一次元近隣のみを反映するライン自体の特定のヒステリシス特性を有する。１組のヒステリシス・ラインから成る画像では、ヒステリシス特性のために読取り方向に縞条パターンが生成される。各画素の二次元近隣を確認するには、放射処理が好ましい。
この２ステップ処理は、画像境界以外の空間制限なしですべての方向で、近隣ピクセルのラインに沿って進み、各ピクセルごとに、その局部環境のヒステリシス特性を平均する。選択された強度範囲のヒステリシス・カーソル（すなわち、ヒステリシス・カーソル範囲）は、次のピクセルの強度値が現カーソルのエンドポイント値の外側にある場合はカーソルの一端によって入力データに従う。カーソルの中点は、出力データを与える（すなわち、第24図中の実線の出力データ）。次のピクセルの強度がカーソルの実際の端点値の内側にある場合（第24図の陰影線の出力）、カーソル出力値はそのまま変化しない。各ラインは、両方向で読み取られ、数学的平均によって最終ヒステリシス・ラインが与えられる。このヒステリシス・ラインは、入力値の未変更の強度変更（たとえば、両方向で読み取られたとき）、低減された強度変動（たとえば、１方向でのみ読み取られたとき）、または削除された変動（たとえば、どちらの方向でも読み取られなかったとき）を表すセグメントを含む。維持される入力強度の空間位置と、低減された強度のピークおよび谷の空間位置は変更されず、そのため、ヒステリシス処理の高精度または「ピクセル精度」がもたらされる。
第25図を参照すると、前述のような放射ヒステリシス・ラインが、多数の方向に形成され、各ピクセルで数学的に平均されている。この処理では、最終ヒステリシス画像を生成するのに２分の１サイクル当たり100ないし200個以上の異なる角度が必要である。データセット内では、ヒステリシス・ラインは、多数の方向に生成され、次いで各ピクセルで平均される。このために、入力ラインの読取り方向は、２分の１サイクル内で対称的に変更され、新しい各方向ごとに、完全な新規のデータセットが形成され、前のヒステリシス処理済みデータと共に平均される。この結果得られる平均データは、ヒステリシス画像を表す。ヒステリシス画像でフレームを完全に表示する場合、４つないし８つの読取り方向（すなわち、各読取り方向間に45゜ないし22.5゜のオフセット角度）だけで、認識できる場合は局部ヒステリシス補正がなされていないことを示す大きなヒステリシス・ストリーキングを抑制することができる。読取り方向の数が少ないとき、ストリークが観測されるのは、大きなヒステリシス・カーソル範囲（たとえば、＞データの強度範囲の−５％）を使用し、あるいは、高コントラスト画像成分を処理し、あるいは、ヒステリシスが、平均に含めた面積よりもずっと広い面積にわたって持続すると仮定して画像境界を検討したときである。あるピクセルの近隣がそのピクセルの位置から離れれば離れるほど、多くのヒステリシス・ライン角度がヒステリシス平均に必要となる。100ないし200以上の方向の大規模な処理を施すと、ストリーキングを非妨害レベルまで低減することができる。そのような大規模な処理を施されたヒステリシス画像は、画像の内容、カーソル範囲、および画像の境界、寸法、または深さに対する依存をもはや示さないような精度を有する。この精度レベルは、本発明のサブコントラクトヒステリシス撮影にとって重要である。
第26図を参照すると、高精度ヒステリシス画像は、空間位置および強度特性を維持するが、個別の最大強度範囲をカーソル範囲の２分の１だけ減少させることによって、ヒステリシス・ラインのすべての特性、すなわち、ヒステリシス範囲よりも大きな維持された強度成分の「ピクセル精度」を維持している。また、ヒステリシス範囲よりも小さな削除される強度成分は、境界維持データによって決定されるベース強度レベルで置換される（第26図の“a"を参照されたい）。差分ヒステリシス処理は、ヒステリシス画像を入力画像から減じることによって、ヒステリシス画像処理の後になくなった強度成分を回復する。最初の画像（すなわち、生データ）は、１に等しいヒステリシス・カーソル範囲（すなわち、１番上の値および１番下の値と読取り点が、すべて１である）のヒステリシス画像として解釈されるので、差分画像は、両方のヒステリシス範囲の１番下の値に等しい差分ヒステリシス範囲で処理されたものと記述することができる。その場合、差分画像は、差分ヒステリシス範囲に等しい最大強度範囲を有し、ヒステリシス画像処理によって最初の画像から削除されたすべての強度成分を含む。これには、差分ヒステリシス範囲の１番上の値よりも大きな最初の画像のすべての小強度成分と、差分ヒステリシス範囲の１番下の値よりも小さなすべての最初の大強度成分の表現が含まれる。さらに重要なこととして、差分画像には、差分ヒステリシス範囲に含める限り強度ディテールだけでなく空間ディテールを含めることができる（第26図の“a"を参照されたい）。差分画像の限られた強度範囲のために、８ビット範囲へのスケーリングを行い、最終ヒステリシス画像を生成することができる。一般に、この画像は、平衡コントラスト範囲を有するので、さらに画像処理を施す必要はない。
ヒステリシス処理では、差分ヒステリシス範囲値が減少されるので、差分画像の強度範囲が縮小され、スケーリング済みヒステリシス画像中の情報内容のコントラスト拡張がより強力になる（第26図の“b"を参照されたい）。より小さな差分ヒステリシス範囲では、より大きな強度範囲の画像成分が削除される。両方のディテール成分が存在する（すなわち、強度ディテールと、強度デ ィテールよりも小さな強度範囲の空間ディテール）画像中のある最小差分ヒステリシス範囲では、強度ディテー ルは、ヒステリシス画像に維持されるので差分ヒステリシス画像から削除される。このパターン抽出は、定義された最小強度変動および最大強度変動の差分ヒステリシス・パターンを最初の画像から分離できるので、強力な新規のデータ低減方法を提供する。差分ヒステリシス範囲の１番上の値に空間ディテールがなく、１番下の値が強度ディテールを含む場合、強度ディテールを抽出して画像を離散差分ヒステリシス画像として８ビット範囲にスケーリングすることができる（第26図の“c"を参照されたい）。したがって、差分ヒステリシス撮影では、所与の最大・最小範囲のコントラスト・レベルを差分ヒステリシス・パターンとして抽出し表示することができることが理解されよう。
ヒステリシス画像（第26図）の特定の「ピクセル精度」のために、ヒステリシス処理によって画像（最初の画像またはヒステリシス画像）から削除された強度変動を回復することができる。ヒステリシス画像を最初の画像から減じると、ヒステリシス画像を生成するために使用されたヒステリシス・カーソル範囲に等しい強度範囲の差分画像が生成される。差分画像の強度範囲は縮小されているので、差分画像を完全な強度範囲に線形的にスケーリングし、ディテール、すなわち、適用するヒステリシス範囲に応じて空間ディテールおよび強度ディテールのすべてのコントラストをそれに比例して高めることができる。ヒステリシス範囲よりも大きなコントラストの画像微細形状は、最大カーソル範囲に等しいコントラストでのみ維持され、したがって、差分画像では、減少されたコントラスト寄与率で撮影される。ヒステリシス・カーソル範囲を縮小すると、カーソル範囲よりも小さな強度変動のコントラスト拡張が強化される。このように、最小空間ヒステリシスディテールを最初の画像から抽出することができる。それぞれ、異なるヒステリシス範囲で処理された、２つのヒステリシス画像間で差分ヒステリシス画像を形成することもできる。より小さなヒステリシス範囲よりも大きく、より大きなヒステリシス範囲よりも小さなコントラストの最初の画像成分は、抽出され、差分ヒステリシス範囲に比例してコントラスト拡張される。このように、ヒステリシス・パターンを最初の画像から抽出し、離散画像、すなわち、強度ヒステリシスディテール成分として表示することができる。重要なこととして、ヒステリシス・パターンは、離散・アディティブ特性のものなのでデータ分析用の強力なツールである。
第27AないしＦ図を参照すると分かるように、画像拡張の客観的視覚評価は、知覚および認識の主観性と、画像内容に対する慣れのために制限される。差分ヒステリシス撮影プロセスについて説明するために、共通の視覚パターン、たとえば、人間の顔を使用することによって、このような制限を考慮に入れる。CCDカメラで1024x1024x8ビット解像度でポートレート画像を得た。256強度刻み範囲全体にわたって入力強度および出力強度はほぼ線形であった。一般的な画像パターンは見慣れたものであり、画像ディテールはやや見慣れないものであるが、画像ディテールを客観的かつ定量的にアクセスし提示することができた。
生画像（raw image）（第27A図）は、８ビット強度範囲のビデオ・ポートレート（1024ピクセルx1024ピクセ ル）を表すものであり、これには、ある種の飽和ハイ・ライトが含まれていた（すなわち、白い領域）。第27B図は、１強度刻み（すなわち、生データ画像）ないし９強度刻み（DHR1ないし９で示される）の差分ヒステリシス範囲内の最小強度変動が、ヒステリシス雑音パターンを表すものであったことを示す。大部分の画像は、ある種の作為成分（たとえば、非線形雑音の場合）を含むことができる構造的に無作為のパターンとしてヒステリシス雑音成分を示す。第27C図は、ヒステリシス値を増加させることによる連続差分ヒステリシス分析によって、空間ヒステリシスディテールパターンが得られることを示す。この成分は、視覚的に有用なコヒーレント画像を生成する最小作為コントラストを表すものであった。一般に、すべての画像データで、この成分には、コントラスト解像度のレベルでの撮影システムの高精度コントラストが含まれていた。このパターンは、最小空間画像成分を表す短い距離にわたってのみ延びることが多かった。この特定の画像では、顔および衣服上の光の吸収および反射の小さな変動において見られた。第27D図は、ヒステリシスディテールパターンの下方に、より大きなコントラストのパターン、すなわち、強度ヒステリシスディテールパターンが存在したことを示す。このパターンは、空間ディテールよりも大きな面積にわたって延びるコントラストを表すことが多かった。このデータセットでは、この成分は、方向照明と顔の特徴からの陰影を表すものであった。第27E図は、最大コントラストがしばしば、画像の主要な構造微細形状を表すものであったことを示す。このヒステリシス画像微細形状パターンは、ヒステリシスディテールデータには存在しなかった。このパターンにはこの場合、主要な構成ポートレート成分が含まれていた。第27F図は、ヒステリシス・パターン自体が生データ中で見つけられたとき、およびその結果得られた複合ヒステリシス・パターンが、最初の画像（第27A図）と区別できる画像を生成したときの比率で合計されたすべてのヒステリシス・パターンを示す。離散差分ヒステリシス・パターンのアディティブ特性によって、すべての利用可能なデータ情報を拡張画像として客観的に視覚表示するための基礎が与えられた。
第28AないしＤ図を参照すると分かるように、高精度詳細情報の８ビット・ビデオ画像でのサブヒステリシス拡張表示は、前に抽出された差分ヒステリシス・パターンを画像に追加することによって生成される。第28A図は、第27A図と同じものであり、最初の画像には、CCDカメラがその高感度および高解像度のために捕捉したが、最終画像ではコントラスト範囲のために視覚認識限界以下である多数の画像ディテールが写らないことを示す。第28B図は、画像データに存在するすべての差分システムディテール（DHR9ないし65、９強度刻みないし65強度刻みの差分ヒステリシス範囲）が、ヒステリシスディテ ールパターンの一部を最初の画像（第28A図）に追加することによって視覚的に拡張されたことを示す。しかし、この場合も、最小高精度コントラストは容易には見えなかった。選択されたコントラスト拡張ディテールパターンを最初の画像に追加してさらに増幅を施す必要があった。第28C図は、明確に認識できるような比率（すなわち、40％）で、選択された強度ヒステリシスディテ ール（縮小されたDHR35ないし37によってコントラスト拡張したもの、すなわち、35強度刻みないし37強度刻みの差分ヒステリシス範囲）を最初の画像（第28A図）に対話的に追加したことを示す。最初の画像に高コントラストディテールを加えることによって、低コントラストディテールからの干渉なしで高コントラストディテールの画像全体との関係が明確に示された。第28D図は、選択された空間ヒステリシスディテール（15ないし17の狭いDHRによってコントラスト拡張されたもの、すなわち、15強度刻みないし17強度刻みの差分ヒステリシス範囲）を最初の画像（第28A図）に加えたことを示す。８ビット画像データをこのように表すことによって、高精度コントラストが視覚化され、同時に、より大きなコントラスト範囲の他のすべてのコントラスト成分を含めることによって画像全体の一体性が維持される。最も重要なこととして、本発明では、ディジタル・カメラのコントラスト解像度レベルで画像データを「見る」ことができる。
アトミック・フォース顕微鏡は、人間の目の250倍高いコントラスト解像度（すなわち、16ビット対８ビット）を有する高精度顕微鏡である。第29AないしＦ図を参照すると分かるように、差分ヒステリシス撮影では、スケーリング済み生データ画像に精密コントラスト・パターンを加えることによって計器精度撮影機能に視覚的にアクセスすることができる。第29A図は、対向縁部の高さの差が100nmになるように傾斜されたプラスチックを埋め込れた網膜組織の超薄切片の画像のスケーリング済み生データ（強度範囲（IR）１ないし9603）を示す（1nm＝10Å＝96強度刻み）。微小表面コントラストを、この低解像度コントラスト・バックグラウンド（DHR64ないし9603）によって比率38:1で圧縮し、したがって、減少させ、あるいは画像から削除した。第29E図は、このデータセットの主要な形状ディテールが、−５Å（DHR＝１ないし65）コントラスト範囲の差分ヒステリシス・パターンとして撮影され、すべての微細形状が得られたことを示す。この精密情報は、スケーリング済み８ビット画像中で２強度刻みに圧縮され、したがって、主要形状情報（すなわち、傾斜表面）を含んでいなかった。第29C図は、各成分の８ビットスケーリング済み画像を混合することによって（80％DHR1ないし9603＋20％DHR1ないし65）マイクロ形状とマクロ形状を共に表示したことを示す。第29D図は、最高コントラスト解像度が、0.3Åの高さ情報を表す差分ヒステリシス・パターン（DHR1ないし３）に存在したことを示す。減少された空間解像度のために制限されたが、顕微鏡データには、低倍率で、予期された多数の形状詳細が十分な完全なコントラスト解像度で驚くほど低レベルの雑音で写し出された。第29E図は、大きな傾斜のコントラストと微小な表面粗さのコントラストを共に与えるヒステリシスディテールパターン追加（15％DHR1ないし３＋85％DHR1ないし9603）によって最大精度撮影機能を14ビット・レベルで検証することができることを示す。第29F図は、抽出されたヒステリシスディテール画像を６ビット・レベルでより近くで目視検査しても、視覚が限られているために精密情報を拡張する必要があった（40％DHR1ないし３＋60％DHR1ないし65）ことを示す。したがって、高精度顕微鏡写真中のすべての画像情報を視覚的に知覚し認識するには、コントラスト・パターンの拡張を刻みごとに増大させる必要があった。
第30AないしＦ図を参照すると、従来型のコンピュータ化断層撮影（CT）ディスプレイが、微細構造情報を区別するように示されており、組織固有のセンサ・データを抽出するために窓（すなわち、撮影されたピクセルの選択された強度範囲）が使用されている。この減少データは、バルク材料に関する吸収係数に基づくものであったが、同じ材料の厚さコントラストが存在する可能性があるが、窓によって削除されることを無視したものである。非窓生データでの差分ヒステリシス撮影を介してすべての利用可能なセンサ・コントラストを見えるようにすることができ、精密差分ヒステリシス・パターンをデータに加えることによって視覚パターン認識を高めることができる。第30A図は、８ビット画像にスケーリングされたCT断面（IR1ないし2048）ではデータがほとんど得られなかったことを示す。第30B図は、８ビットの大きな差分ヒステリシス範囲の差分ヒステリシス画像によって全体的な構造コントラストが向上したことを示す。第30C図は、拡張ヒステリシス強度ディテールですべての組織ディテールが得られ、すなわち、肝臓領域で微細構造が大幅に増加したこと示す。第30D図は、選択された強度ディテールを増大させる（40％DHR27ないし35＋60％DHR1ないし256）ことによって画像が向上したことを示す。第30E図は、最高コントラスト解像度ヒステリシスディテールパターン（DHR21ないし23）が比較的小さな雑音成分（１％IR）の下方で見つかったことを示す。雑音は存在したが、肝臓微細構造は、単一細管および小胞のレベルでゾーニング構造および超微小構造を示した。第30F図は、空間ヒステリシス詳細を増大させることによって改良された画像が得られたことを示す。差分ヒステリシス拡張によって、CTデータ獲得システムの驚くほど高い空間解像度を使用するのに空間詳細の信号雑音比が不十分であることが判明した。差分ヒステリシス撮影によって画像解像度を高めると、撮影装置を最適化する強力なツールが提供される。
第31AないしＤ図を参照すると分かるように、画像データセットの重要なコントラストは、「リアルタイム・ウィンドウ」で差分ヒステリシス・フィルタおよびパターン拡張を適用することによって、コンピュータ・マウスの制御下で対話的に容易に見つけることができる。第31A図は、ディテールがそれほど写し出されていない、極端なディジタル・フジ・プレート画像（すなわち、生データ884x947x10ビット:IR−１ないし1024）を示す。第１のステップで、データを、受け入れられる画像として見るために、全体的なディテールコントラストに関する調整を実行した。リアルタイム・ウィンドウを、鮮明に写りにくいと思われる領域の上方に置き、差分ヒステリシス範囲を、その最大値（DHR1ないし1024）から、画像コントラストがわずかに、馴染みのあるレベル（DHR1ないし256）に増加される範囲に減少させた。次いで、調整された画像を生成する求められた差分ヒステリシス範囲で画像全体を処理した。第31B図は、第２のステップで、調整された画像内で当該の領域を画定し、診断上重要なコントラストを判定し拡張したことを示す。この場合、ヒステリシス雑音成分を削除されているが、空間精密情報を含む狭い差分ヒステリシス範囲を使用して軟質組織と硬質組織を分析した（DHR9ないし15）。第31C図は、リアルタイム・ウィンドウを使用して、調整されたデータに、診断上重要なコントラストを適当な比率（25％DHR9ないし15および75％DHR1ないし64）で加えたことを示す。第31D図は、センサ・データを拡張画像として視覚化し組み合わせて、コントラスト解像度を目の解像度からセンサの解像度に高めることができたことを示す。高コントラスト解像度がIRのわずか0.5％以内で得られ、ディジタル化フィルム・ラジオグラムのコントラスト解像度と比べてこの撮影プレートのコントラスト解像度が非常に低いことが分かった。空間差分ヒステリシス・パターンの差分ヒステリシス範囲は、獲得パラメータを最適化する数量化ツールとして使用することができる。Part of what is disclosed in this patent publication contains content that is subject to copyright protection. The copyright owner cannot object to the copying of this patent publication or the disclosure of this patent by any person, as found in patent files and records at the Patent and Trademark Office, Retain copyright.
Background of the invention:
The present invention generally relates to digital image data processing. More particularly, the present invention relates to image data processing using digital techniques for enhancing and enlarging images.
As a result of technological advances in image reception and image transfer, digital image processing has become more and more important, compared to traditional analog image information processing, such as “raw data sets”. Can provide a number of advantages such as noise-free access, objective image evaluation, quantitative analysis of image information, reduced cost and significant improvement in flexibility in image data processing. Although complex basic structure networks have replaced high-speed image transfer with local, national, or inter-country access, the common use of digital image processing is a universal standard for identifying image information. Is hampered by the lack of Unfortunately, visual perception of images varies from individual to individual and depends heavily on their ability to perceive images and recognize patterns. For this reason, the same image is perceived as different by a plurality of people. Of course, the lack of uniformity in the analysis and display of image information is a very big problem and raises serious concerns about image evaluation.
There are various types of information contained in an image, but only a few are important in image transfer. In other words, it is detail-oriented (images related to science, technology, medicine), composition-oriented (art, material science), information-oriented (binary and CAD, drawings using computers), and the like. Most important is an image with details, such as describing a two-dimensional or three-dimensional data set that deals with special features. At this point, the transfer of the image is due to the lack of proper pixel precision equipment to objectively describe the image details as well as the imperfect image parts (noise) created by reception and transfer. Limited to information-oriented content.
When analyzing images (eg, microscopic images derived by SEM or TEM; medical images such as mammography and x-rays), image analysts are often concerned with image perception and pattern recognition. In this case, it is limited by its own visual system (for example, human eyes). This is because most modern imaging devices (eg, microscopes, x-ray devices, mammography devices) provide data that exceeds the processing capabilities of the human eye. In general, such data is special information that has been reproduced by some sort of contrast technique and converted into an image. Regardless of the type of imaging technique used, the imaging information must be transferred to the visual system in order to evaluate the information content at the level of contrast resolution simultaneously with the spatial resolution of the imaging equipment. Visual perception is limited in intensity to 100-200 intensity levels (7-8 bits in video monitor auto-illuminated images) and in terms of resolution limited to 500-1000 pixels per screen width (PW) As a result, the full frame image information of the imaging device must often be compressed to be within the above range. Image evaluation is first a pattern recognition process that is performed at a much lower information density than the eye can perceive. Only large image component patterns with high contrast, high freshness and a few intensity levels (4 bits) are recognized. All other detailed information can only be partially recognized and is therefore commonly generalized as the background or background of the image. However, in the scientific field that requires the use of microscopes, radiology, X-rays and other imaging, such backgrounds contain a wealth of information about the received digital image data. Are lost without exception in visual analog evaluation. Simply increasing the magnification of the image during reception will not give you full access to these details due to visual limitations or instrument limitations (such as low contrast, sample or instrument instability). . The ability of digital image processing makes these details visually accessible (detail enhancement) in already received images and provides a simple tool for evaluating, quantifying and transferring them. This makes such processing an important and indispensable tool for image evaluation. Unfortunately. As will be explained below, known digital processing techniques currently available are far from providing the required detail enhancement and involve severe noise and omissions.
In a single digital image, intensity variations caused by random noise and image details of (spatial) small structures consisting of only a few pixels cannot be identified. This is because no information other than the pixel intensity can be used in a single data set. However, digital image processing methods can be applied to separate image content based on some intensity criterion. The separation of noise and detailed structure can be defined by the threshold of intensity change. Below this threshold, spatial changes are considered to indicate noise and are eliminated (or smoothed), but above this threshold, intensity changes are significant and are maintained as they are. . Traditional image processing methods apply spatially expanded processing masks or Fourier filters to determine local intensity changes (in either the spatial domain or the Fourier domain) to determine intensity thresholds. Therefore, various methods are used. The pixel area used (mask) and the weighting factors used for local intensity distribution within the mask move the spatial boundary between the (smoothed) background and the (maintained) detail. , Change the spatial dimensions in detail. Using this technique, severe spatial artifacts are generated when the structural features are similar in size and are smaller than the effective spatial filter area. This problem occurs in all conventional processing methods using spatial kernels, Fourier filters, and statistical approaches. In addition, some significant spatial intensity distributions (significant structure patterns) can be severely altered by deleting or adding structures, which strongly imposes information content on the processing results. Shows dependency. If the spatial content of the original image (raw data set) is changed in this way, all the conventional noises in structural characterization and quantification are important when the structural integrity of the image data is important. This will severely limit the filter. The range of spatial artifacts in the conventional G7 processing method depends on the content of information. Therefore, in order to reduce artifacts in processing, it is necessary to determine the optimal processing parameters for each image over time in a complex manner. Also, since the conventional image processing speed is very slow, visual control of intensity threshold adjustment and recognition of artifacts in processing are significantly hindered. Thus, conventional noise smoothing techniques are strictly applied to full frame images, thereby reducing the visualization and recognition of generated artifacts.
Summary of invention:
The problems discussed above and other problems, as well as the prior art deficiencies, are overcome and overcome by the digital image processing method and system according to the present invention. In accordance with the present invention, new “smoothing” and “detail enhancement” techniques for processing digital images create a new type of image perception (centering for enhancement in objective image information), It is generally applied widely in the field of image enhancement, especially in the field of microscopy, radiology, remote sensing technology, space engineering, robotics, machine video, and general image transfer. . The new image processing technique according to the present invention separates image information and has three distinct groups of intensity, objective, clear and non-random: "large image features", small "spatial details" and "intensity details" It can be sorted into one group consisting of random intensity information relating to “image noise”. “Smoothing” allows the removal of image components of fixed intensity, and the attendant reduction in image contrast can be maintained by linearly stretching the contrast of the smoothed image. "DetailedEmphasis”Makes it possible to restore an image component with a determined intensity deleted by the smoothing process by subtracting the smoothed image from the original image. The overall contrast range of the recovered information is equal to the applied smoothing factor and can be brought to the full visual intensity range by linear contrast stretching. This has the advantage of maintaining a fine contrast ratio that closely reflects the characteristics of the raw data. If high pixel precision processing is provided, "detail slicing" is possible. The two smoothed images are each processed with a different smoothing factor, but can be subtracted, presenting the difference in information between the least smoothed data set and the most smoothed data set. Again, precise and linear contrast stretching makes it possible to present the extracted information in the full visual intensity range.
The smoothing technique according to the present invention comprises a two-dimensional digital hysteresis filter that utilizes a variable and self-adjusting “two-dimensional mask”. As a result, the filter is independent of the dimensions and content of the image, and the dimensions cannot be changed, even if the structural (significant intensity) feature is only the size of one pixel. In one embodiment of the present technique, the two-dimensional hysteresis smoothing technique of the present invention uses a series of one-dimensional hysteresis lines at various angles that run through each pixel in an image, thereby smoothing pixels. Is calculated. Each one-dimensional hysteresis line computes a new value for each pixel in an image. These one-dimensional hysteresis values are all added and multiplied by the number of hysteresis lines to obtain the output value for the pixel. This task requires complex processing and is preferably a high-capacity parallel that allows near real-time, full-open processing speeds in 1K x 1K images that require billions of instructions per record Realized by a processing placement processor. The technique of the present invention is preferably implemented on a desktop high-capacity parallel processor having a number of 16-bit processing elements (PE's) connected in a ring. Each PE has a small and high-speed on-chip data memory and a large on-chip data memory. All PEs have shared scaler data memory and shared program memory. One program is executed in lock step by all PEs (SIMD process).
As used herein, “smoothing” thus constitutes a method for reducing or smoothing selected intensities in a digitized image data arrangement that forms a matrix of pixels arranged vertically and horizontally, It includes the following steps:
(A) The intensity value of the selected pixel relative to the intensity value of the adjacent pixel falls within a preselected significant intensity range or within a cursor width equal to a two-dimensional mask of one pixel size. Determining whether or not;
(B) maintaining the relative intensity value of the selected pixel if the cursor width is exceeded;
(C) changing the relative intensity value of the selected pixel to an intermediate value if it falls within the cursor width;
(D) repeating steps (a) to (c) for at least some of the other pixels in at least a portion of the matrix to define a smoothed and digitized image data arrangement;
Is included.
The somewhat different smoothing technique of the present invention constitutes a method for reducing or smoothing selected intensities in a digitized image data arrangement comprising a matrix of pixels arranged vertically and horizontally, which comprises the following steps: I.e.
(A) determining whether the intensity value of the selected pixel relative to the intensity value of adjacent pixels falls within a preselected significant intensity range or cursor width;
(B) maintaining the relative intensity value of the selected pixel if the cursor width is exceeded;
(C) if within the cursor width, the intensity value of the selected pixel relative to the intensity value of the adjacent pixel is an intermediate that is the average of the selected pixels relative to the intensity value of the adjacent pixel Changing to a value and determining the average value using a series of one-dimensional hysteresis lines;
(D) determining a region of the pixel matrix that contributes to the final intermediate value of the pixel;
Where this region changes for each pixel and is defined only by the intensity characteristics of the image. This region is automatically generated by a one-dimensional mask, but shows a two-dimensional variable mask that does not necessarily match the final smoothed region of the pixel matrix. The method also includes
(E) repeating steps (a) through (c) for at least some of the other pixels in at least a portion of the matrix to define a smoothed and digitized image data arrangement. It is out.
Preferably, the hysteresis line consists of spatially adjacent pixels. More preferably, the hysteresis line is a straight line extending radially through the selected pixel at a preselected angle.
The smoothing technique according to the present invention that utilizes a “two-dimensional hysteresis filter” offers many features and advantages over conventional digital imaging techniques. For example, conventional image enhancement using a fixed small processing mask (nuclear or Fourier filter in the spatial domain) would not be accurate (as in the technique according to the invention). Spatial artifacts can be as large as the mask dimensions and are highly dependent on the content of the image. In order to reduce such artifacts, processing parameters must be optimized for each image. However, if the image itself is used to define a local processing mask (as in the present invention), such spatial artifacts can be deleted, and the processing result will be the contents of the image. It becomes independent. As in conventional masking, a processed pixel must be associated with all other pixels in the “mask” by evaluating the spatial significance of the intensity difference by means of a smoothing factor. By using “variable and self-adjusting local masks”, the same processing characteristics as point processing are produced. This is because each processed point has a specially adjusted spatial mask. Ultra-precision processing reduces artifacts in processing to a level that cannot be seen on the highlighted screen.
In general, “detail enhancement” relates to enhancement of image detail contrast and must have spatial detail as well as intensity detail to maintain image quality (image accuracy). “Spatial detail” constitutes a change in intensity over a short distance (2,3 pixels long), and “intensity detail” starts from a few intensity steps, regardless of its spatial extent. Constitutes a change in strength. Furthermore, the desired enhancement process must maintain the possibility of unlimited quantification of images not only for spatial content but also for intensity content. That is, image processing techniques must maintain image accuracy at the level of individual pixel intensity. Precise processing of pixel intensities (PAIP) to enhance the image is not possible with any conventional technique, but can be achieved by using the detail enhancement technique according to the present invention. Is. The present invention can satisfy the above-described requirements, and is appropriate (reliable) for application to science and medicine for generations. The basis for that spatial accuracy is to use the correct intensity processing of the pixels, preferably using the “smoothing” technique described above. Its processing accuracy is based on the ability to select “intensity information” from all images at two levels of “enhancement parameters” (significant intensity range): spatial detail and intensity detail. It is. Its applicability has made the spatial and intensity changes of selected information as visually as possible as easy as possible by extending the linear contrast to the full intensity range of human visual perception, “Near real-time”, providing selected information at a time interval close to or equal to the speed of human visual recognition, making full use of the visual ability to evaluate and transfer images It is based on the ability to carry out emphasis.
The new PAIP detail emphasis filter according to the present invention operates as follows. First, based on the intensity change defined by a single processing parameter consisting of “cursor width”, the detailed content of the image is based on the two-dimensional hysteresis smoothing technique (or any other “pixel By using “accurate” smoothing techniques). In this embodiment, a cursor width that is significantly larger than that of conventional noise management is used. This is because the image content must not be maintained and must be reduced. A detail image is then generated by subtracting the smoothed image from the original image (or from another smoothed image). The maximum intensity difference in the detail image between each point is equal to the applied cursor width (or the difference as a result of subtracting the smaller cursor width from the larger cursor width). In addition, the detail image contrast range is linearly contrasted with the maximum enhancement obtained by utilizing the full width with an intensity range available for visual perception (typically 8 bits). The emphasis is made by stretching. If the process is performed "in a state close to real time" (within 1 second), the evaluation of the process result is remarkably enhanced, and as a result, the process parameters can be mutually changed. This enhances the correlation between the perception of image details and the original image of this part.
As used herein, “detail enhancement” thus constitutes a method of enhancing details in a digitized image data arrangement that forms a matrix of pixels arranged vertically and horizontally, which includes the following steps: That is,
(A) generating an accurate two image data arrangement of pixels, such that at least one of the image data arrangements is smoothed;
(B) subtracting one of the exact placements of the pixels from the precise placement of the other pixels to define a difference image having the selected intensity range;
(C) enhancing the contrast of the difference image by extending the contrast.
Recognizing specific image details is a new visual task for evaluating and transferring images, but this has traditionally required a long-term visual experience. “Near real-time” processing facilitates rapid and realistic training of a visual system (eg, the human eye) to work with a complete image data set. Processing without artifacts is essential for such extensions of visual perception that cannot be achieved with conventional image processing techniques.
The digital enhancement technique according to the present invention provides many features and advantages over conventional digital imaging techniques. For example, the detail enhancement filter is in principle the other detail filter that has been used in the past, for example, Oho E, SEM image online digital image processing and automatic contrast adjustment for detail recognition in scanning 14; 335-334 (1992 The action is different from the Oho filter as described in). The Oho filter is a highlight filter for enhancing only spatial image details. (In particular, it suppresses the emphasis on intense details). It draws small area intensity changes (highlights) from the original image by using a fixed large mask size intermediate filter (19 x 19 for 1K x 1K images). The use of intermediate filters has many limitations. The most important are the following three aspects. First, the filter maintains local intensity changes, and when the middle part is subtracted from the original image, the intensity detail is removed from the fully selected detail data. Second, the filter cannot select a specific intensity range. This has a serious implication that the detail image depends entirely on the content of the image. Thus, only histogram equalization can be used to enhance the contrast of filtered details that can cause spatial contrast artifacts. Third, the Oho filter erodes the fine structure at the edge and the level of mask dimensions at multiple small intensity changes. As a result, the enhanced detail image must be added to the intermediate filtered image to (partially) restore the eroded microstructure. However, since the enhancement of the contrast of the detail image is performed by homogenizing the non-uniform histogram, the image quality of all spatial details is not enhanced in proportion to the intensity of the original image. On the other hand, the new PAIP detail enhancement filter according to the present invention generates completely different information from that obtained by the Oho filter and provides all image information thoroughly by linear contrast enhancement. .
This new detail filter produces a detail image that characterizes the intensity distribution within an image. It is intended to analyze and classify image information based on the concept that every image conveys information only through image contrast, which is a change in intensity between certain pixel locations within the entire data matrix. A tool for new ways. A region of contrast is defined by the difference between its average intensity and the surrounding intensity, regardless of the overall intensity change (background). The new detail filter according to the present invention is the only one that makes such local intensity changes an intensity range (equal to the cursor width or significant intensity range) independent of other intensity changes in the entire data matrix. The parameter provides the only tool available for selection. The application of filters with increasing intensity ranges selects from the image contrast component of a particular visual information content in a well-defined principle manner that fits the mechanism of visual pattern recognition. In general, a digital image shows a two-dimensional (or three-dimensional) intensity map that characterizes the spatial x / y (/ z) position of all contrast information. The continuous smoothing of increasing intensity maps, the extraction of intensity changes between smoothed maps and the enhancement of contrast are critically different visuals to define specific distinctive information classes A contrast pattern having an impact is generated. Only three different non-random intensity changes are evident in any image, which is (1) a high-contrast spatial image component (feature) and (2) spatial (spatial detail) or (3) It characterizes small changes in strength characteristics (strength details). In addition, smaller and more random intensity changes are perceived (noise). What is not visually perceptible is the stationary background intensity level (background), which has no spatial information due to the lack of contrast. New definitions of these discontinuous image intensity components are important. Because they are not limited to spatially specific image content, they can be used to characterize all the spatial information of any image with the highest spatial accuracy (including 1 pixel wide features). Because you can. Intensity classes defined in this way conform to the principles of visual information recognition and are therefore useful for analyzing information in images generated by scientific or microscopic, medical and industrial techniques. Are suitable. These techniques convey specific information through a variety of contrast mechanisms, which are often non-visual and of purely scientific nature (phase transitions, diffraction and adsorption). , Some other way to distinguish electron spin changes, as well as spatially related features from each other). However, when information content is displayed as visual images, they must be transferred to intensity maps that can be recognized by the visual system. Since the detail filter according to the present invention described above generates all basic visual information classes, it is suitable for analyzing, quantifying and communicating information of such technical images.
The ability to categorize and quantify image information provides a tool for objectively measuring image quality. For this purpose, the intensity range (significant intensity range) of each image intensity class is in the order in which it is generated and displayed by the detail filter within the total intensity range of the raw data, ie first noise, then spatial. Evenly distributed in order of detail, then intensity detail, and image features / background. The graphic display of the image information component and the ratio within the intensity range make it easy to evaluate the visual image quality as an illustrative intensity map in the “information cube” (see FIG. 16). The ratio of noise components to adjacent intensity information of arbitrary width, or the relationship of arbitrary components to any other intensity range or the entire intensity range, provides an objective tool for categorizing images and image quality. . Such graphic representation of image information content facilitates image analysis and transmission.
Based on the foregoing, it may be preferred that important features of the smoothing technique of the present invention include the following. Ie:
(1) store the original dimensions (measured in pixels) with the smallest detail with the accuracy of each pixel (exact pixel);
(2) Independent of image content and image dimensions;
(3) Use only one simple numeric parameter to describe the intensity threshold for the filter;
(4) Minimize processing artifacts;
(5) It would be preferable to include being able to run "in near real time" to overcome the limitations of conventional image evaluation.
Similarly, the digital intensity enhancement technique according to the present invention is as follows:
(1) Image accuracy (spatial and strong details are stored)
(2) Pixel accuracy (does not change spatial dimensions at a single pixel level and maintains the linear relationship of image intensity required for quantification and pattern recognition); accurate pixel intensity processing (PAIP).
(3) Independence from image content (applies to all images);
(4) Single “processing parameter” (significant intensity range) with simple visual control through “near real time” processing
(5) Objective definition from image information class intensity change features, including a) image features, b) spatial details, c) intensity details, and a random class of image noise.
(6) Objective quantification of image information and image quality by using the ratio of each information class to the entire image intensity range
(7) Includes graphic display of image characteristics with an “information cube” that graphically shows the range and ratio within the image intensity range of the information class appearing in the image.
According to another embodiment, enhancement of image detail contrast is achieved by adding a differential hysteresis pattern to the digital image. The image processing by differential hysteresis described above uses the stability of intensity change (ie, hysteresis) as a means for reducing data and making image detail contrast constant. Image hysteresis is determined by a hysteresis cursor of an interactively selected hysteresis range as described in connection with the above example.
The advantages discussed above and other advantages of the present invention will be appreciated and understood by those skilled in the art from the following detailed description and drawings.
[Brief description of the drawings]
Referring now to the drawings, it is noted that in some drawings the same elements are numbered the same.
FIG. 1A is a block diagram illustrating the process of the present invention;
1B is a block diagram of a system according to the present invention;
FIG. 1C is a flowchart illustrating a smoothing technique according to the present invention that utilizes a two-dimensional hysteresis filter for noise reduction;
FIG. 2 illustrates an example of a 45 ° hysteresis line covering the image;
FIG. 3 is a flowchart of the “group” processing steps used in the smoothing technique according to the present invention;
FIG. 4 illustrates the data structure used in the smoothing technique of the present invention;
FIG. 5 is a graph showing the relationship between digital image information and visual pattern recognition parameters;
FIG. 6 shows a principle approach for extracting intensity information in the “A” part, and “noise”, “spatial detail”, and “intensity detail” included in the digital information in the “B” part. , And a series of graphs showing different types of intensity-defined information, including “feature / background”, with the “C” part showing the intensity range of various information groups;
FIGS. 7A-F show Gaussian noise test patterns processed by utilizing the noise smoothing technique according to the present invention, with or without randomizing the image in advance;
FIGS. 7G-H show a Gaussian noise test pattern and conventional noise reduction techniques; FIGS. 8A-H show information classes and pixel accuracy for detail enhancement using the detail enhancement technique according to the present invention. An image of the low magnification SEM data shown;
9A-B are images of high magnification SEM data processed using the detail enhancement technique according to the present invention;
10A-B are images of high magnification region output SEM data processed using the detail enhancement technique according to the present invention;
FIGS. 11A-B are low voltage domain output SEM data processed using the detail enhancement technique according to the present invention;
12A-B are peripheral SEM data processed using the detail enhancement technique according to the present invention;
FIGS. 13A-B are high resolution region output SEM data processed using the detail enhancement technique according to the present invention;
14A-D are cold TEM energy filtered phase contrasts processed using the detail enhancement technique according to the present invention;
15A-B are high voltage dark area TEM data processed using the detail enhancement technique according to the present invention;
16A-B are high resolution TEM data processed using the detail enhancement technique according to the present invention;
17A-B are high magnification scan transfer electron microscope data processed using the detail enhancement technique according to the present invention;
18A-B are atomic force microscope data or AFM data processed using the smoothing and detail enhancement techniques according to the present invention;
19A-B are images of optical microscope data processed using the detail enhancement technique according to the present invention;
20A-D are images of optical microscope data of confocal lasers processed using noise smoothing and detail enhancement techniques according to the present invention;
FIGS. 21A-D are images of mammographic data processed using noise smoothing and detail enhancement techniques according to the present invention;
22A-D are images of chest x-ray data processed using noise smoothing and detail enhancement techniques according to the present invention;
FIG. 23 is a series of graphs illustrating quantification of image data “information cubes” by using smoothing and detail enhancement techniques according to the present invention;
FIG. 24 is a series of plots that schematically illustrate hysteresis line processing;
FIG. 25 is a plot that schematically illustrates hysteresis image processing in each pixel emission direction;
FIG. 26 is a block diagram illustrating the differential hysteresis image processing of the present invention;
FIG. 27A is an original image of a human face;
FIG. 27B is an excerpted hysteresis noise pattern obtained from the original image of FIG. 27A;
FIG. 27C is an excerpted spatial hysteresis detail image obtained from the original image of FIG. 27A;
FIG. 27D is an excerpted intensity hysteresis detail image obtained from the original image of FIG. 27A;
FIG. 27E is an excerpted hysteresis image feature obtained from the original image of FIG. 27A;
FIG. 27F is an image of a composite hysteresis pattern obtained from the images of FIGS. 27B-E;
FIG. 28A is an original image of a human face;
FIG. 28B is an image highlighting the hysteresis detail of the image of FIG. 28A;
FIG. 28C is an image with enhanced intensity hysteresis detail of the image of FIG. 28A;
FIG. 28D is an image of FIG. 28A with an emphasis on spatial hysteresis detail;
FIG. 29A is a retinal tissue embedded with plastic;
FIG. 29B is a differential hysteresis pattern image of the contrast range of DHR1-65 of the image of FIG. 29A;
FIG. 29C is a differential hysteresis pattern image of the image of FIG. 29A with a DHR1-64 contrast range of 20% and a DHR1-9603 contrast range of 80%;
FIG. 29D is a differential hysteresis pattern image of the contrast range of DHR1-3 of the image of FIG. 29A;
FIG. 29E is a differential hysteresis pattern image of the image of FIG. 29A with a DHR1-3 contrast range of 15% and a DHR1-9603 contrast range of 85%;
FIG. 29F is a differential hysteresis pattern image of the image of FIG. 29A with a DHR1-3 contrast range of 40% and a DHR1-64 contrast range of 60%;
FIG. 30A is a cross-sectional image of a computerized x-ray tomography;
FIG. 30B is an image of the differential hysteresis pattern of the image of FIG. 30A in the contrast range of DHR1-256;
FIG. 30C is an image of the differential hysteresis pattern of the image of FIG. 30A in the contrast range of DHR27-35;
30D is a differential hysteresis pattern image of the image of FIG. 30A with a DHR27-35 contrast range of 40% and a DHR1-256 contrast range of 60%;
FIG. 30E is a differential hysteresis pattern image of the contrast range of DHR21-23 of the image of FIG. 30A;
FIG. 30F is a differential hysteresis pattern image of the image of FIG. 30A with a DHR21-23 contrast range of 40% and a DHR1-256 contrast range of 60%;
FIG. 31A is a digital, image of a Fugi plate;
FIG. 31B is a differential hysteresis pattern image of the DHR1-256 contrast range of the image of FIG. 31A;
FIG. 31C is a differential hysteresis pattern image of the contrast range of DHR9-15 of the image of FIG. 31A;
FIG. 31D is a differential hysteresis pattern image in which the contrast range of DHR9-15 is 25% and the contrast range of DHR1-256 is 75% of the image of FIG. 31A.
DESCRIPTION OF PREFERRED EMBODIMENTS
The present invention is a new “smoothing” or “data reduction” technique that utilizes a two-dimensional hysteresis filter for noise reduction, and is “smoothed” or “reduced” for selected spatial details and intensity levels. It consists of a number of related digital image processing techniques, including a new “intensity enhancement” technique that emphasizes the quality of the data. A new “smoothing” technique (which can also be used in the “detail enhancement” technique) will be described first.
1. Two-dimensional hysteresis smoothing
A. Prior art-one-dimensional hysteresis
Erich, RW (1978), “Symmetric Hysteresis Smoothing Algorithm Preserving Key Features, Computer Graphics and Image Processing, 8: 2-126”, “Linear Hysteresis Smoothing Procedure”, “Minimum One-Dimensional Mask” Is proposed. These techniques were developed for linear (one-dimensional) spectral data, ie I / x (I = intensity at point x in the x direction). This prior art linear technique uses a cursor that has a constant intensity height (cursor width) and moves along the data set. A reference point on the cursor (usually the center point) is used to determine the intensity, i.e. a new intensity value for a point in the x direction. The intensity of the original data is compared with the maximum and minimum values of the cursor to determine whether it is outside, inside, or equal to the cursor width. In the case of the outside, the cursor position moves, and the data is followed with the final point until the intensity becomes inside the cursor width. If the value is inside or equal, the cursor strength position does not change until the numerical value is outside the cursor value, contributing to the smoothing effect.
This one-dimensional procedure produces a new linear data set with reduced contrast where the overall intensity has been reduced to half the maximum cursor width (between the smoothed portion and the remaining data). However, it contains the entire sequence of the original data set where the data value exceeded the cursor width. Between these ranges, a new constant value is replaced if the intensity fluctuation does not exceed the cursor width. There is a constant intensity value that does not change in these smoothed ranges, and it depends only on the previous intensity obtained from the raw data set, regardless of the values of the smoothed range before and after it. This causes the procedure to generate a linear “streak” of various intensity values. In addition to high intensity (upper cursor), top streaks are generated along with bottom streaks at the level of low intensity fluctuation (cursor bottom). The length of these streaks depends on the linear characteristics of the data set. In order to recover unclear raw data at the beginning of both streaks (both top and bottom streaks), the conventional linear smoothing (for example, one-dimensional) technology uses the double swing method, and both new data sets are in their mutual registration state. While maintaining the arithmetic average.
Prior art two-way processing has significant advantages and disadvantages. Since the maximum strength of the structure (top and bottom) is maintained when reading in both directions, the height and position of the structure is maintained with the average processed data (increase or decrease from the raw strength by the value of the cursor reference point). At both shoulders of the structure, within the streak, the slope of the raw data set is modified along the streak and continues until the raw data is read again to continue the smoothed data set. In a certain range, the streak intensity is different in both directions, and an averaged background intensity is generated. To minimize the product at the beginning and end of the linear data set, the cursor reference point is set to the original data value at the start of reading. If this procedure sets the cursor reference point outside the full intensity range, the cursor is positioned at the highest or lowest intensity value of the raw data. The disadvantage of this procedure is that the background streaks do not have a common criterion and are determined by the linearity of the streaks regardless of the intensity value. This is not a problem for one-dimensional data. This is because the visual organ can easily evaluate the overall long-term trend and put all flat ranges into a common variable background.
Attempts have been made to apply this one-dimensional smoothing technique to image processing, read each image data set, and replace the intensity value obtained by averaging raw data. This procedure reveals shortcomings and problems, and produces terrible reconstructed images that cannot be reduced even if a two-dimensional data set is read in zigzag format as a series of one-dimensional data sets (Duda & Hart, 1973). As a result, there are many wide streaks in the image, and the two-dimensional data cannot be visually recognized.
B. The present invention-two-dimensional hysteresis
In the present invention, the latest digital processing technology is used to minimize “streak images” caused by one-dimensional processing of image data. This preserves all the advantages of the one-dimensional hysteresis method, and it is used for two-dimensional data, ie I / x, y (I = intensity (or other) value, x, y value = coordinate value in xy plane) This has been made possible by developing an automatic “two-dimensional processing” routine that extends to processing.
Since the intensity values of the top and bottom streaks are determined by the final low intensity point of the raw data, and this value varies greatly due to noise, many different raw data end points need to be generated and averaged. This is not possible with a one-dimensional data set that has no correlation of data other than a one-way sequence. However, two-dimensional data can generate many spatial correlations in an image area defined in two directions. One of the correlations can be an image data reading direction, that is, an angle between the data axis and the reading direction. It is also possible to define all image points and maintain their spatial correlation by setting spiral reading frame, longitudinal reading repeatedly, and any other direction in the two-dimensional image. If there is little or no sequential spatial correlation, the smoothing effect of the procedure is reduced. Variable background level images after randomization and non-randomization processing of processing products have no smoothing effect, but equal to effective cursor width presenting requirements for spatial continuity of data and high sensitivity of image content Therefore, the contrast is lowered.
C. Implementation of two-dimensional hysteresis smoothing technology
In the preferred embodiment, the two-dimensional hysteresis smoothing technique of the present invention computes a smoothed pixel using a set of one-dimensional hysteresis lines that pass through each pixel in the image at various angles. This requires two parameters: the input image, (1) the number of hysteresis lines per pixel, and (2) the cursor width for the hysteresis algorithm. The program calculates an output image that is the same size as the input image. In actually using this invention, a program was created in the assembly language for APx. APx is a desktop parallel processor manufactured by Visionary Systems Inc. in New Haven, Connecticut, details of which were held in Fairfax, Virginia, October 10-12, 1988, published by the IEEE Computer Association. "2nd Symposium on the frontiers of Massively Parallel Computation”(2nd Massive Parallel Processing Frontline Meeting), described in“ APx Accelerator ”by E.Abreu et al. Its origin is in a C language subroutine that runs on a PC-AT compatible machine. Table 1 shows the source code of PC-AT and APx. APx parallel processors have up to 256 16-bit processing elements (PE's), which are connected in a mesh. Each PE has a high-speed 256-word on-chip data memory and a 65536-word off-chip data memory. Each PE accesses the shared scaler data memory and the shared program memory. One program is executed by SIMD processing in all PEs. APx is hosted on a PC-AT compatible machine, and the APx off-chip PE memory is memory mapped to the host address space.
The overall flow of the two-dimensional hysteresis smoothing program of the present invention is shown in FIG. There are 8 passes on the input image, each pass corresponding to the number of hysteresis lines within a particular angular range. Table 2 shows the characteristics of each angle range. The actual hysteresis line is at an angle arranged around a 360 ° circle at regular intervals. For example, if there are 16 hysteresis lines, they are located at 0 °, 22.5 °, 45 °, 67.5 °, 90 °, 112.5 °, ,,, 270 °, 292.5 °. Divided into two angle groups. FIG. 2 shows an example in which the 45 ° hysteresis line covers the image. Each hysteresis line calculates the output value of each pixel in the image. The last output value for a pixel is the average of all output values for that pixel.

The program passes the input image once for each of the eight angle groups and performs the calculation for all hysteresis lines in that group. The flow of group processing is shown in FIG. The program processes the image rows starting from the rising edge of Table 2 in order. When the rising edge is right or left, the input image and the output image are replaced before and after passage, and the program processes each image row by adjusting its memory address. Read each row in turn and fit each hysteresis line in the group to it. The hysteresis center point is shifted to the right or left adjacent PE according to the condition, the angle of the hysteresis line is kept accurate, and the process is repeated on the next line. This conditional shift is performed according to the line pattern recorded in the scaler memory.
The hysteresis calculation is performed as follows. If the input pixel value is less than the current cursor center point minus half the cursor width, the center point is changed to the input pixel value plus half the cursor width, and the input pixel value is the current cursor center. When the point is greater than half the cursor width, the center point is changed to the input pixel value minus half the cursor width. The output value of the pixel is the value at the cursor center point. This is added to the center line of the other hysteresis lines for the same pixel. At the rising edge, the cursor center point is initialized to the input pixel value. If the cursor center point moves beyond the edge of the image, they are reinitialized with the input pixel value of the edge. The initialized cursor center point is fixed to the effective range from the minimum possible pixel value plus half the cursor width to the maximum possible pixel value minus half the cursor width.
Input and output images are stored in a large capacity off-chip PE memory. Each PE stores one row of images as shown in FIG. The number of PEs is equal to the number of columns of the image to be processed, and one column of each row is stored in each PE. If there are more PEs than the number of columns, the extra PEs are not used and do not work for calculations. If there are more columns than PEs, all PEs will process and store multiple columns. During processing, each output pixelThatThe sum of the numbers calculated by the hysteresis line passing through the pixel is stored. The final output image is obtained by dividing the total pixel value by the number of hysteresis lines.
Each on-chip PE data memory stores the cursor center point of all hysteresis lines that pass through pixels in the current angle group. Also, each input line being processed is temporarily saved, and the output value of the pixel in the line is saved.
The scaler memory stores a line pattern of a set of eight hysteresis lines. One line pattern represents 8 hysteresis lines whose angles are offset in 45 ° increments. This pattern represents the hysteresis line angle for the vertical / horizontal / diagonal steps of each grid. This is used to control the conditional interprocessor shift of the cursor center point in the hysteresis processing.
The optimal number of iterations (required for product suppression) depends on the raw data set and / or cursor width. If the averaging process is insufficient, the contrast will jump along the reading direction, making it difficult to see visually. This is often seen in images with straight (radial) reading direction and non-linear characteristics. A different straight line reading direction of 8 to 32 is sufficient to reduce the generated straight line background intensity fluctuations, and even a small object with high contrast cannot be recognized by contrast analysis of the average image. Furthermore, in the rare case where the streak remains strongly, the iteration is performed 64 to 256 (or more) times. The required number of iterations is automatically set according to the semi-empirical evaluation of the effect from the selected cursor width, or by calculation using the selected cursor width and the contrast characteristics of the image. However, other non-linear reading directions may be set in order to distribute the background intensity fluctuation so that it is not visually recognized. Such a non-linear technique is used to redistribute the background intensity fluctuations so that they are in a pattern that is not visually perceived or does not vary if the results of the linear technique are not satisfactory.
II. Image information enhancement technology
A. Information content of digital full frame images
With respect to FIG. 5, the information content of a digital full frame image is classified into a non-random (structural) class of features and details and into a random class of noise. A feature is an image component that can be used for visual pattern recognition, whose size is greater than -10% of the picture width, has a contrast range that exceeds -5% of the visual enhancement range, and is recognized as a pattern, so that the enhancement level is 15 to 20 It needs to fit inside. All other image components are considered to be detail. Using other visual pattern classifications, small high-contrast components (<10% PW,> 5% BW) are characterized as spatial details and low-contrast components of each size (<5% BW) are characterized as intensity details. . In addition, digital images contain noise from various sources. Only high frequency noise components at a level of several pixels can be visually recognized as random intensity fluctuations. Other low-frequency noise components have intensity detail characteristics and can be recognized after removing the high-frequency noise components (average processing, smoothing). Several characteristics make it difficult to handle and reduce noise. A single data set at each pixel level is indistinguishable from small spatial details that lack a distinct pattern. Noise destroys the completeness of large components in proportion to their strength. Therefore, if the visually destructive noise component is reduced by smoothing, some details disappear. Furthermore, if the noise has a Gaussian characteristic, extremely intense noise pixels remain with the low frequency noise component.
Image evaluation of microscopy, radiation, and other similar data requires that all image details be processed so that they can be recognized by visual pattern recognition while maintaining a spatial relationship with the details in the overall image. is there. This means that for low-intensity details the contrast should be enhanced by a factor of 10-100 and the minimum spatial detail should be expanded by a factor of 10-20. However, in the correlation image component evaluation, only the following three image processing operations are required.
1. Detail contrast enhancement in full frame images
2.Digital expansion
3. Noise management
In general, evaluation of image information content requires an image processing step sequence. First, in a full frame image after contrast enhancement, details are recognized and correlation with image features is achieved. Next, expand and analyze the emphasized details. Finally, reduce the noise. If the image has a high noise level, the noise is first reduced to a level where the detail information can be recognized. However, in order to perform such image processing effectively and realistically, severe conditions must be satisfied. Processing of products related to general image enhancement procedures that distort space and most enhancement feature details must be avoided. Only pixel accurate enhancement techniques facilitate finer visual inspection with digital magnification. In addition, the processing speed is close to real time, fast enough not to interfere with visual pattern recognition, and is thorough and objective to capture all images regardless of image size, depth, and content, and not to lose details. Yes, it must be able to be processed without any input other than a simple, single factor, namely the “visibility enhancement factor”.
Visual access to acquired digital image data at the level of instrumental image decomposition by extracting and imaging enhanced defined image information classes by digital image processing according to the present invention based on pixel accuracy give. This data reduction facilitates visual pattern recognition. However, the display of information by digital image processing is not always seen or used before, so it is not part of human vision and does not apply to pattern experience in specific applications. There is a need to introduce new means for visual visibility and communication of data. Image detail information provides a visual pattern similar to the general visual repertoire, which is correlated with the intensity component in the correlation with each pixel of the known instrument contrast mechanism, so the interpretation of this pattern Is surprisingly simple. For this reason, new visual image assessment tools directly relate the data to all other previously collected information (sample characteristics, microscope or instrument performance, contrast mechanism), and take advantage of even the smallest information detail.
The digital image data set is an intensity map showing the intensity at each pixel of the two-dimensional pixel array. In FIG. 6, the intensity is graphed along the pixel line using the intensity contour value (upper right of FIG. 6), and a three-dimensional graph with a series of intensity values is represented by the three-dimensional “intensity contour value” of data in the xy direction create. The height and spatial scale of the intensity surface varies according to the spatial and intensity characteristics of the image components. Four different image components can be distinguished because they match the visual pattern. Random intensity wander at the minimum distance (single pixel) is characteristic of noise. (Bottom left of FIG. 6). On the 3D intensity contour, the noise pixels are displayed as thin spikes or as holes that cover a larger intensity component. The average intensity change of noise (similar to the Gaussian noise +/- 2 standard deviation (SD) analog noise band display) is the outer layer of uniform thickness, and the important intensity bands (IRs) spreading in the intensity contour surface Occupy. In high-quality data, the ratio of noise to the total intensity band is several percent (<10%) and is not visible. However, when noise components and contrast are extracted (lower left in FIG. 6, upper intensity contour value) and expanded to the entire visual band, noise pixels are visualized and can be identified by spatial random distribution (lower left contour in FIG. 6 and lower intensity contour). map). In a microscope data set, noise is always strong, for example, in a small amount of image processing or high magnification image processing. If the contrast is insufficient, high-quality data cannot be acquired and the data quality deteriorates (noise IRs> 20%).
Homogeneous intensity changes in multiple pixel areas are non-random and indicate spatial information in the data. Three main visual pattern types can be distinguished by size and intensity characteristics. Small and low contrast components are summarized as spatial details (FIG. 6, bottom middle). If the components are uniform, they occupy an equivalent critical intensity range (IRs) that exceeds the background intensity. In the 3D intensity contour value, the spatial details are represented as precisely defined small “bumps” and “overlaps”. Extraction and contrast stretching facilitate the recognition of these details and distribution patterns. In most image data sets, spatial detail accounts for only a small percentage of the total intensity range (IRs = 2-20%). For low magnification data, the spatial detail will be the largest of the contrast components.
In general, small intensity changes (less than 5% of the critical intensity range) can be extended to a larger range (FIG. 6, lower right). These components represent intensity details, which occupy only a small portion of the intensity range in some data. In the three-dimensional intensity contour value, the intensity detail can be recognized as a flat elevation along the outline of a large image component (feature). Many weak contrast mechanisms generate intensity details, the recognition of which is an important part of microscopes and other imaging services. Intensity detail is the least accessible with analog image processing because the visual organs are not likely to recognize large low-contrast components because they do not display the edge of the shape. However, if the contrast is enhanced by extracting from the raw data, the contrast of the edge portion becomes clear, which can be used for image evaluation. Direct contrast stretching is easy to understand because it maintains the ratio between intensity details.
Finally, the image data is large enough to occupy a full frame image.NaMany have features (Figure 6, top right). This is due to the fact that it occupies most of the data intensity range. Almost always other details and noise are reduced by feature enhancement and become invisible due to lack of intensity steps. Extracting these compressed details rarely restores the intensity level, and leveling uniformly over the entire visual range by linear contrast expansion promotes vision, pattern recognition, and data recognition. Other images have a large intensity background without intensity information that occupies most of the intensity range of the data. The background level reduces the image information contrast.
B. Implementation of image information intensity technology
The information extraction program of the present invention generates one output image from two smoothed input images (or an original data set and one smoothed image). The smoothed image is generated by the above two-dimensional hysteresis smoothing program using two different cursor widths (or by different pixel-accurate smoothing techniques). The number of rows and columns of the two input images must be equal. In detail extraction, the smoothest image is subtracted from the least smooth image, and the result is linear contrast expansion. In a preferred example of use, a computer program for executing the present invention was created in the aforementioned APx assembly language. APx is a desktop parallel processor manufactured by Visionary Systems Inc. Its origin is in a C language subroutine that runs on a PC-AT compatible machine. Table 3 shows the source codes of PC-AT and APx (the source code of the smoothing process is shown in Table 1). APx parallel processors have up to 256 16-bit processing elements (PE's), which are connected in a mesh. Each PE has a high-speed 256-word on-chip data memory and a 65536-word off-chip data memory. Each PE accesses the shared scaler data memory and the shared program memory. One program is executed by SIMD processing in all PEs. APx is hosted on a PC-AT compatible machine, and the APx off-chip PE memory is memory mapped to the host address space.
The image subroutine is executed while passing two smoothed images once. Linear contrast stretching is performed while passing through the image subtraction output twice. In the first pass, the maximum and minimum pixel values in the image are detected, and in the second pass, the output pixel value is recalculated with the following equation.
q (x, y) = (p (x, y)−minpix)^*maxval / (maxpix−minpix)
Here, p (x, y) is the initial pixel value, q (x, y) is the final output pixel value, minpix is the minimum pixel value of the image, maxpix is the maximum pixel value of the image, and maxval is the maximum pixel value. When maxpix and minpix are equal, q (x, y) is zero.
An important feature of the detail enhancement technique of the present invention is the use of the process described above for two-dimensional hysteresis smoothing that avoids commonly encountered process products. Smoothing is used for noise reduction, and its pixel-accurate design maintains the spatial information of the smoothed image. Image details removed from the smoothed image are recovered from the original image without losing detail pixel accuracy. Since the contrast range of the extracted detail applies to the cursor width used for smoothing, the contrast enhancement of the detail information can be predicted. This is an important advantage because it allows the extraction and enhancement of image detail ranges.
The second important and novel feature of the detail extraction and enhancement technique is that it not only selectively extracts the details, but also extracts the contrast of the larger image feature to its cursor width. This explains that the definition of the present invention is detail enhancement in full frame images. This is because the image information removed by smoothing includes both detail and feature information. The feature information part is proportional to the cursor width. At this point, the image information recovered after smoothing (subtracting the smoothed image from the original image) is contrast enhanced by one step of linear contrast expansion, and in principle maintains all image information. Therefore, the detail contrast is further enhanced than the feature contrast that is selectively reduced first. Another novel feature of the present invention predicts the contrast enhancement factor since the contrast range (before enhancement) of all extracted information is accurately known (subtracting the cursor width from the image intensity range). It is easy to set up.
The definition of the contrast range of the extracted information creates the detail intensity technique “intensity slicing”, which is the third feature of the present invention. When the original data is smoothed with two different cursor sizes, the difference between the two smoothed image information is extracted. This intensity slice has characteristics equal to the extracted detail, its critical intensity range is known, and it includes a feature information portion according to the applied cursor size. Therefore, the information included in the intensity slice can be displayed after the linear contrast expansion process. With respect to FIG. 6, the development of this new process gives a definition specific to the information content of the digital image (four types of intensity definition content: noise, spatial detail, intensity detail, image feature, background), which is image communication, It has a big impact on image analysis, pattern recognition, and image quantification. Data reduction to individual intensity information classes provides new and unique tools for image information, quantification of image information content, and image quality analysis. Using this tool for digital image processing makes all known contrast mechanisms of imaging devices (microscopes, telescopes, cameras, video cameras, medical image processing technology, etc.) known as the construction class of digital images3 It can be seen that one of the two basic intensities is determined. As a rule, all image information needs to be acquired and recorded by a contrast mechanism that generates an intrinsic intensity difference between the (structural component) image component and its surroundings. Contrast directly images complete structural components, some components (phase contrast, diffraction contrast) or no components and requires complete spatial reconstruction (hologram interference contrast). These individual image contrast formats can be established in the data set as one of three non-random information classes. For this reason, the detail enhancement technique described here enables image data to be separated and extracted in different contrast formats, and unique contrast information can be generated. This is easily visible and can be objectively quantified according to its critical intensity range. Since the contrast format matches the vision and recognition parameters, the extracted contrast information can be easily visualized. Connective visual quantification is possible only in a limited and subjective way. However, image contrast quantification is currently possible by measuring the critical intensity range of each contrast type. Quantification can establish intensity ratios for each contrast type along with other image intensity components including noise and intensity background. This procedure provides the first objective method of image quality evaluation that clarifies the proportion and degree of image intensity components. The graphic display of the intensity range of each image component in the “information cube” (FIG. 23) makes it easy to visually recognize the image quality. In general, each detail information contrast has an intensity range that is only a few percent of the total intensity range, and the details can be extracted from high-precision raw data with 10 to 16-bit precision and displayed visually at 8-bit level without compromising the raw data. it can. The new information enhancement technique of the present invention thus enables quantification of image information and provides an objective standard for image quality evaluation. Since image information can be clearly displayed without distortion or products by accurate data reduction, objective image communication on a “high-speed highway” through an electronic network becomes possible. Emphasis information (contrast format) can be visualized from 10 to 16-bit data from high-precision raw data.
The detail enhancement technique of the present invention is required for accurate enhancement of image details and for several unique enhancement purposes that are not required by the technology's noise management applications or commonly used processing techniques. Utilize two-dimensional hysteresis processing to extract high pixel accuracy of spatial detail in defined and limited intensity ranges, high image accuracy scaling of detail enhancement, and determination of single enhancement output parameters defined by interaction Do. This high image accuracy enhancement parameter is selected only in relation to the desired detail enhancement level, regardless of the image content. The detail enhancement filter uses different high pixel accuracy enhancement principles to select, extract, and enhance regardless of the image content, so it is comparable to traditional spatial processing principles (Oho, Sobel, or homomorphic filters). It is advantageous.
III. Examples
The following examples further illustrate the two-dimensional hysteresis smoothing and detail enhanced digital image processing techniques of the present invention.
A. System hardware
The hardware used for image processing was a 486 / 66MHz PC-AT host CPU, which performed high-speed processing using advanced PC-based APx parallel processing technology. Array processor (AP) technology is based on a single instruction / multiple data (SIMD) configuration and is an extended system type that uses 64-256 16-bit processors with peak instruction rates of 800-3200 MIPs. Each processor is a 16-bit RISC processor and can be configured in software to 32-bit mode. IEEE format single precision floating point operations are supported in 32-bit mode with peak instruction rates of 40-160 MFLOPs. High-speed 1-cycle communication with 32 bits is possible with VLSI technology. The APx processor board is installed in the PC bus slot and demonstrates the performance of a supercomputer. This type of workstation is manufactured by Visionary Systems Inc. in New Haven, Connecticut. The standard image format is square, and the image is displayed on a 20-inch monitor with a resolution of 1280 x 1024 pixels and a refresh rate of 120 Hz along with a simple menu. The monitor was equipped with a magnetic-resistant Nu metal shield.
Image enhancement of high quality images (1Kx1K, 8-16 bits) requires a speed of 3000mips. This is the processing speed of the supercomputer. Considering cost efficiency, ease of use, and portability, a PC-based parallel processing system such as the aforementioned APx system forms an important element of the present invention. The processing speed of the aforementioned APx system is 1600 mips, and the processing speed per image is 2 seconds. Higher speed can be achieved by making the array larger. A normal image (512 pixels, 8 bits) can be processed in 1 second or less. Such processing speed close to real time is possible only by parallel processing.
B. Noise test pattern example
The noise smoothing capability by digital image processing of the present invention can be implemented using the following Gaussian noise test pattern. +/− 4 standard deviation (SD) width (1024 × 1024 × 8 bits, average pixel value 127, minimum, maximum pixel values 43 and 211, standard deviation 21, clipping accuracy 0.0001%) (FIG. 7A). The superimposed spatial test pattern is 1 pixel wide, that is, two double vertical lines with 0 and 255 intensities, and 2 sets of small crosses with intensities +/- 2SD (upper half) or +/- 3SD (lower half) ( Fig. 7B, the latest zoom x16 magnification). The process using the smoothing technique of the present invention (Figures 7D-F) with the complete test pattern superimposed on the noise (Figure 7D-F) retains all the important spatial features and the background is set according to the required processing level. Smoothed with increasing importance factor (cursor width). In intensity level +/- 1 SD processing, all features (crosshairs, double lines) and noise pixels with high / low intensity values were maintained without distortion in spatial perfection (Figure 7D) . The low frequency noise component was maintained and recognized as a dot pattern. With +/− 2SD smoothing, only the +/− 2SD cross was removed, and all pixels in the critical intensity range (FIG. 7E) improved their S / N ratio by a factor of 10. Finally, the +/− 3SD level (FIG. 7F) detail enhancement process removed all noise and cruciforms, leaving only double line features. In the latter two processing examples (because the image has a median intensity background), the noise image was randomized before processing and later non-randomized. Only intensity PAIP processing according to the present invention can maintain important image content, and spatial processing according to the prior art destroys randomized data and cannot maintain spatial features (FIGS. 7A-H). Conventional average processing (Fig. 7G 3x3 mask, center weight 1) and conventional median filter processing (Fig. 7H 3x3 mask) cannot maintain the spatial perfection of test features. In general, noise reduction algorithms use a spatial mask (in the spatial domain or Fourier filter) to generate spatial distortion of image details at the highest level set by the mask or filter size. Since the PAIP technology of the present invention can maintain the spatial perfection of image details at the same level (pixel level) as the accuracy of raw data, it is a technical field whose main purpose is to acquire and evaluate microscopes, radiation, astronomy, and other details. Suitable for image processing.
C. Microscopic inspection
Microscopic data evaluation is related to the recognition of contrast mechanisms to infer the physical properties of samples. The raw data displays the contrast, such as changes in spatial intensity, in the characteristic important intensity range and spatial distribution. In some cases, it is possible to interpret the contrast directly visually, and it may be necessary to reconstruct the spatial properties. In microscopic analysis data with the new intensity processing technique of the present invention, the relevant contrast information occurs only in a narrow critical intensity range of only 1-10% of the total data intensity range. Since most of the raw data contained high noise components equal to or greater than high precision contrast, intensity slicing was necessary to separate the noise from the relational space data. Related data may be hidden behind the intensity contour value. Other image processing techniques cannot remove this information automatically and cannot produce a complete image without generating spatial or proportional intensity distortion.
1. Scanning electron microscopy
Microscope datasets often contain large image features, which occupy the majority of the image intensity range and have no place to contrast the image detail of instrument accuracy level (single pixel). This is especially true for low magnification scanning electron microscopy (SEM). A feature of SEM is that a large sample is imaged at a low magnification with a deep depth of field. However, at low magnification (less than x1000), a large object has a strong signal recovery efficiency contrast, which may be locally related to the interaction between the electron beam and the sample. The existence of a contrast mechanism with these detectors is well known and its use for image creation has been completed in a multi-detector system. However, the degree has not been evaluated quantitatively. In addition, low magnification images that generally lack detail contrast have been used only for communication of large image features. The small local contrast generated by the interaction between the electron beam and the sample was used only at high magnifications where the recovery efficiency contrast generated a signal background without spatial information that reduced image quality (S / N ratio). It was found that in PAIP image enhancement, all local contrast occurs and is recovered at both low and high magnifications, but the detail contrast is compressed inversely proportional to the degree of feature contrast or background level. Furthermore, viewing small local intensity changes decreased very closely to broadband intensity changes. In the PAIP image enhancement of the present invention, the intensity range ratio of detail, feature, and background can be adjusted easily and quickly by interactively reducing the latter and visually evaluating the effect.
(A) Conventional scanning electron microscopy (SEM)
A conventional SEM image of an ant's head (Figure 8A) occupies the entire intensity range (IR = 0.255) and there is little room for detail contrast generated by the interaction between the local electron beam and the sample. This high-accuracy electron beam information was included as spatial detail information (FIG. 8B) in an important intensity range (IR = 1 to 35) of only 14% of the entire data intensity range. The contrast was constituted by a signal recovery efficiency contrast with two sources, and was distorted and reduced. First, the charging phenomenon generated by the local sample is summarized as charging contrast (Fig. 8C). The signal generation that causes the intensity change on the sample surface is changed and imaged into intensity detail slices (IR = 35-71). It was done. Next, the overall geometric aspect of the feature (IR = 71-256) with large detector contrast (FIG. 8D) generated by the local detector was generated. The latter signal component is generated by electrons backscattered by the electrodes of the microscope, and has the feature of generating a low magnification image aspect in conventional SEM. However, the recovery efficiency contrast reduced the detail contrast and was only recognizable in the middle gray level background and was not seen at all in the saturated high and low intensity range of the feature (ant's head).
Image enhancement that reduces the intensity range step by step reduced feature contrast and increased detail contrast inversely. With a reduction of more than 50% (Figure 8E), the main feature contrast was maintained, but a much smaller detail contrast in the entire image increased while maintaining the overall feature of the image feature, and the image detail ( Most of IR = 1-100 were emphasized. In particular, the signal recovery efficiency contrast was reduced and the electron probe induced contrast was somewhat enhanced. When the critical intensity range was reduced to 6% of the total image intensity range (IR = 1-15), local electron scattering contrast was enhanced (FIG. 8F). When the electron beam induced contrast mechanism was visualized, the image quality changed greatly. In particular, the intensity detail (micro roughness) contrast of the sample support and the spatial detail (edge of the chitin board covering the sample body, fine hair, and whiskers) were emphasized. Enhanced images have proved that detail imaging with an electronic probe is possible even with strong contrast ranges generated by other mechanisms. Quick adjustment of the full intensity or critical intensity range within the intensity slice is essential to see the signal generated by the electronic probe, which facilitated contrast interpretation.
By appropriately matching the intensity range of the image to the dominant contrast size, it was possible to facilitate detail evaluation by digital magnification. Since the raw data was almost noise free (IR less than 1%) and included spatial detail in a relatively wide intensity range, detail evaluation was performed on intensity slices with IR = 1-15 (FIG. 8F). Figures 8G-H show a digital magnified image (recent zoom x16 for each pixel visualization) of raw data detail (just below the eye) and selected intensity range (IR = 0-15). The enhancement revealed the correct (pixel accurate) configuration and good contrast produced by the electron probe on the sample surface extended from the scanning electron microscope image to the scanned electron probe microscope image. Except for spatial information, small geometric contrast (relief contrast) can be identified. Comparing raw and intensity data for interpretation of structural details can be done with just one key on the keyboard. According to this, no spatial or strength product could be confirmed even at magnifications of 10 to 20 times. The detail seen in the enhanced image was present in the original data set, but the contrast was much lower.
(B) Intermediate magnification field emission SEM (FSEM)
In SEM at intermediate magnification, the possible low magnification feature contrast is converted to an empty background signal with inverse characteristics similar to that of a large feature. That is, the microscope contrast inherent to the sample is compressed in inverse proportion to its size. Without high-precision spatial information, SEM optimization is limited in important fields, and examples include industrial R & D and semiconductor failures.
In order to evaluate the porosity of a polypropylene filter, a thin metal film (3 nm, Pt), a high acceleration voltage (30 keV), and a magnification of 20000 times are required. S / N ratio and image contrast are weak (Figure 9A). The pore volume was easily quantified because the noise slice was effectively reduced and the material contrast was enhanced (Figure 9B) with an intensity slice within only 2% (IR = 21-27) intensity detail. . By selectively extracting this contrast, we were able to reduce noise and charging contrast and recover all the high-precision spatial information generated by the electronic problem on this difficult sample.
Similar limitations exist for intermediate magnification imaging in failure analysis in the semiconductor industry. In this application, the device cross-section is polished, slightly etched, and coated with 3 nm of Cr. Imaging in the high performance state (30kV, field emission electron source) could only produce weak detail contrast (Figure 10A, 2x bicubic zoom) that could not recognize the device structure. An intensity slice under a noise component of only 4 intensity steps (IR = 7-11) contains all the spatial details of the raw data, and the geometrical features of the small-range contrast cross section at the electron beam accuracy level (each pixel) (Figure 10B). Such emphasis is very valuable for daily FSEM operations.
(C) Low voltage field emission SEM (LVFSEM)
In on-line production management of semiconductor manufacturing, cross-sectional line width measurements are routinely performed with low voltage field emission scanning electron microscopy (LVFSEM). This is because non-conductor image processing can be performed with increased total contrast. However, the resulting high magnification image only produced a low high resolution (small range) contrast that was reduced by the dramatically increased wide range signal (FIG. 11A, 2x bicubic zoom). The details of the relationship between the top and base of the resistance line are not clear for the polysilicon cross section. Despite the high noise level, detailed structural details were recovered from 5% of the full intensity range excluding noise components (IR = 13-25) (FIG. 11B). Detail emphasis is true to the pixels, allowing direct manual or automatic measurement of line width without further image processing.
(D) Environmental SEM (SEM)
New low-vacuum SEM techniques both image non-conductive and wet surfaces, often consisting of samples with low mass density and low signal yield. Thus, high magnification images are limited by very large noise components as well as common large signal background components. At medium magnification (20000x and 20kV), latex spheres on a fully hydrated plastic filter were photographed with only weak contrast (Fig. 12A, 2x zoom), and the interaction between the sphere and the filter aperture Was ambiguous. Narrow intensity slice (IR_S= 13 to 23) and an additional digital zoom (lower right corner of the image) could be used to evaluate the filter characteristics (Figure 12B: 4x zoom). Ultrafine structure of filter poresdetailIn order to maintain (double zone), some high-intensity noise components had to be included in the extracted contrast information.
(E) High resolution field emission SEM (HRFSEM)
The new ultra-high resolution FSEM instrument has a 0.5 nm probe diameter and can operate at magnifications of 100000 to 1000000 times to use high theoretical resolution. In practice, high contrast is imposed by the contrast quality. At high magnification, such an in-lens microscope produces a large signal background, high density short range contrast (spacedetailInformation). Unfortunately, high-magnification freezing (100,000 times, 30 kV, sample temperature -120 ° C) of a molecular sample on a thin C film (thickness 2 nm) shaded by a 1 nm continuous Cr film yields only low contrast. The moleculardetailWas not visible (Figure 13A). After digital zoom and intensity slicing below the noise component, all the expected high precision contrast is obtained (IR_S= 5 to 15), ie all small structures (dimensions of 2 nm to 5 nm) were photographed with clear shading generated for high resolution contrast of the target SE-I signal component. The small dimensions of the SE-I contrast were unexpected, suggesting that the background occurred even under optimal imaging conditions (very thin samples, low-Z metal coating, cryography to reduce contamination) doing.
2.Transmission electron microscope image
TEM contrast is a good example of the difficulty of interpreting visual contrast information in a spatial domain (image), with the overlay of various contrast mechanisms. Minimum structuredetailIn TEM at the level, both phase contrast and scattering contrast occur and are superimposed. The phase contrast can be easily analyzed and reconstructed in the Fourier domain using the transfer function of the optical system and the microscopic parameters. Low-dose imaging is an essential requirement for materials that are sensitive to the beam, but because of the increased noise and lack of contrast, it is difficult to evaluate the acquired raw data immediately. Damage to the beam, insufficient dose, and other factors (contamination, instability, etc.) can also obscure the image quality.
(A) Cryo transmission electron microscopy (cryo TEM)
Cryo TEM is the most important in biomedical electron microscopy. Cryo TEM is a high-resolution microscope that should be selected for imaging ultrastructure of cells and tissues. In addition, energy filtering is applied to reduce the signal background that obscure and compress the relevant contrast. Cryo TEM on vitrified and sectioned material is not stained and only weak phase contrast is available to obtain high resolution information. However, this contrast does not provide coherent spatial information and presents the image portion of the spatial frequency with positive contrast according to the transfer function of specific imaging conditions (lens aberration, illumination, and defocusing) and other contrast with negative contrast Present the part. The phase contrast transfer function relates a specific intensity characteristic to each spatial frequency. This inherent intensity characteristic of TEM contrast can be determined by the processing techniques described in this application and used for the separation and imaging of each existing specific spatial frequency of the raw data. Even when energy filtering is applied to generate a data set with an increased phase contrast, other signal components with the same energy range are included and a large background signal (as shown here, the total signal Up to 80%). By reducing the intensity background through intensity slicing, an image is generated that maintains the spatial characteristics of the data and increases the phase contrast with certain spatial frequencies increased. This imaging technique is particularly important in high-resolution cryo-TEM with phase contrast on freeze-hydrated biomaterials. The first low-dose energy-filtered TEM raw data set (25000 times instrument magnification) of frozen hydrated unstained frozen sections of apple leaves resulted in a non-uniform contrast distribution indicated by a large background signal ( FIG. 14A). The majority of the intensity range (IR = 0 to 232) was occupied by a large image fine shape scattering contrast. Small structuredetailHad a low phase contrast, was almost invisible, and was embedded in the noise. Since there was no contrast, image quality evaluation was difficult. Conventional contrast enhancement by histogram equalization did not improve contrast image quality. Because it extends all other intensity variations non-spatially,detailDecomposes or strengthdetailThis is because certain intensity values totaled in bins of particularly inadequate intensity levels are lost.
We increased the different spatial phase contrast components in several different continuous intensity slices, proved the coherence of the intensity profile, and verified the novel image information processing technique. Interactive visual control reduces noise and fine structuredetailIt became easier to find a significant intensity level that optimizes maintenance of Intensity slicing just below the noise component (IR_S= 25 to 35) gives the smallest spatial phase contrast component (Fig. 14B) and continuous slicing (IR_S= 35 to 45), a larger spatial phase contrast component was extracted (FIG. 14C). Finally, the maximum spatial frequency of this dataset is a fairly deep part of the intensity profile (IR_S= 55 to 75). This component included a knife mark (generated by cryosectioning) along with contamination of ice crystals. Separating the phase contrast or its various components will make it easier to reconstruct the ultrastructure of the sample.
(B) High voltage TEM (HVTEM)
High voltage microscopy provides high resolution but is limited because image contrast is reduced. Therefore, dark field microscopy is often used to recover certain low contrast components. The range of fine structure information collected in such high precision data was unknown, but can be estimated via intensity slicing. In a 300kV TEM image of inorganic platelets coated with surfactant (60000x with dark field illumination), several darker regions between thin layers (surfactant with a thickness of 5nm to 10nm formed between thin layers) A small number of microstructures found in double layer holes)detail(FIG. 15A, 2 × zoom) is obtained. Narrow intensity slice (IR_S= 3 to 15) all the contrast produced by the surfactant bilayer at the top of the thin layer and at the top of the thin layer (surfactant monolayer) was obtained below the noise component. Most of the intensity data was occupied by scattering contrast from inorganic thin layers and signal background. Although not visible to the naked eye, the very high accuracy obtained by high-voltage TEM was present in the raw data. This result will greatly improve the application of such expensive research tools.
(C) High resolution TEM (HRTEM)
The highest atomic resolution can be achieved with a high voltage TEM with a very high acceleration voltage for very thin samples. However, phase contrast and scattering contrast always overlap, obscure the desired high resolution information. In the vaporized gold island sample at a magnification of 5000000x, gold atoms were photographed with the support, but were unclear due to the sample's mass non-uniformity (Figure 16A). Phase contrast intensity slicing (IR_S= 3 to 35), a coherent image of the atomic hyperfine structure of the sample was obtained (Fig. 16B). Digital zoom (insert: 4x) facilitates initial assessment of image quality. This data must be reconstructed to obtain the highest accuracy spatial data output.
3. Scanning transmission electron microscopy image
The scanning transmission electron microscope is an important instrument in research and development because it has an ultra-high resolution function, a high field depth, and limited sample requirements. However, the instrument's imaging function is limited, as with other microscopic examinations, due to the high precision short range contrast and its intensity background ratio.
(A) Scanning transmission electron microscopy (STEM)
The analysis of STEM data (magnification 2300000 times) of small (several nm) particles of low Z-matrix high Z metal (Figure 17A: 2x zoom) was limited due to non-uniform sample thickness (A background signal was generated). High-precision contrast information can be obtained from narrow intensity slices (IR_S= 5 to 35). In the extended data, all particles were present and particle quantification was easy. The intensity background was generated by extensive electron scattering on the thicker part of the sample. However, conventional background intensity compensation has not been effective in maintaining particle differential contrast. It is only the intensity slicing described in this application that the differential contrast of the particles can be expressed uniformly high (without distortion) throughout the image.
4. Scanning probe microscopy image
The new scanning probe microscope promises to obtain high accuracy data from all samples, but in practical applications, the contrast at the expected level of accuracy is lost, so the use of the scanning probe microscope is limited. It has been. Actually, the accuracy of this microscope is the highest that can be used as a surface microscope, and it is possible to measure in a unit of a fraction of 1 angstrom, but such short range contrast information is A rough surface image present in a typical application is invisible to the naked eye.
(A) Atomic force microscope (AFM)
A typical data set is provided by a polymer coating film formed of 20 nm small flat particles on a Teflon surface (800,000x) (Figure 18A: 2x zoom). The raw data hardly recognized the ultrafine structure of several angstroms high on the film surface. Since AFM contrast is proportional to the height of the image component, the grain substructure contrast covering the entire film surface was compressed to several intensity levels. Intensity slicing below the noise (IR_S= 7 to 13) resulted in small high-precision contrasts within only 17 intensity levels, producing detailed images that adequately represent the expected AFM image quality.
5. Light microscope image
The light microscope contrast always included a large background component derived from light scattered in the non-uniform sample. This contrast reduction method is introduced to limit the background via confocal LM. However, even with CFLM data, noise is generally limited, and the short range and contrast intensity range is small.
(A) Light microscope (LM)
Bright field images at intermediate magnification (400x) of paper fibers suspended in water are dominated by adsorption contrast, and the short range contrast resulting from the optical properties is almost invisible (Figure 19A). . This high-precision information contrast expansion is based on the full intensity range (IR_S= 7 to 23) was easily achieved by a simple intensity slice below the noise component at 10%. Through this process, all expected refractive contrast, diffraction contrast, and polarization contrast became visible (FIG. 19B). However, this accuracy information is only available in certain environments.
(b) Confocal laser light microscopy (CFLM)
Confocal laser light imaging techniques aim to reduce the signal background generated from light scattering by a sample. However, CFLM data is characterized by low signal yield and high noise level. As with other microscopy data, noise management is important and can be facilitated via intensity slicing. This is because random information and random (structure) information can be easily visually recognized and evaluated. In an image in which a fluorescent lipid dye is injected into a living light receptor cellDi TailWas hardly obtained (FIG. 20A). Image noise component range, ie, the upper noise component (IR_S= 1 to 17) and the intermediate noise component (IR) of FIG. 20C_S= 17 to 37) was quickly determined by several intensity slices. All structural data (Figure 20D) is within 15 intensity levels (IR_S= 57 to 72) Large noise component (IR_S= 1 to 57: 22% IR). Data slices were easily determined by slicing the intensity profile and evaluating the ratio of random information to random information at each slice. The ability to “find” a noise component and assess its penetration into fine structure data is of paramount importance in microscopy. Because itdetailThis is because it is possible to visually estimate a practical intensity threshold that separates noise and structural information with minimal loss of information.
D. Medical photography
There is particular interest in digital image enhancement for the evaluation of medical image data. X-ray technicians are well trained in the visual assessment of images projected on photographic film,detailAnd pattern recognition and evaluation is limited due to individual visual capabilities and excessive data beyond visual limits. New digital medical image sensors obtain images at 12-bit or 16-bit levels and higher resolution than film. The new digital mammogram provides 10Kx12Kx12 bit-data (PrimeX, Carisbad, CA). Visual evaluation of such large data at the level of accuracy at the time of acquisition is not possible, which requires digital image processing techniques. The above-described intensity slicing technique provides only a method for evaluating data information without losing accuracy. The following two examples are digitized from film.
1. Mammography
In mammogram evaluation, the tissue structure of the mammary gland is evaluated. Two stages of the tumor growth pattern can be distinguished. 1. Early signs are seen in glandular tract spreading and microcalcifications consisting of small and high contrast deposits. 2. Late signs are seen in tissue mass growth (increased water content due to dense cell accumulation) in high contrast round areas. Structural diagnostic criteria imagedetailTwo basic image information classes, namely spacedetail(Minimum contrast variation seen in fibers and microcalcifications) and strengthdetail(A wide range of contrasts found in tissue components and alterations). Mammographic assessment problems arise from excessive tissue density and the accompanying contrast overlap. A dense mammograph (Fig. 21A) was evaluated by digital PAIP image information extension. In the first raw data imagedetailWas hardly visible. As with the previous dataset, all within a small significance range of only 12%Detail informationWas filmed. For normal screening of X-ray film at a light table, the analog image evaluation must be completed in less than 1.5 minutes. Composite detailimage(Figure 21B: IR_S= 1 to 21), spacedetail(Fig. 21C: 1 to 11) and strengthdetail(Figure 21D: IR_S= 11 to 21)detailThe information could be corrected together. spacedetailIn the image, tissue fibers and individual microcalcification groups could be easily recognized (Fig. 21C: circle). Other high strengthDetail isIt is obtained by superimposing fiber components that can be easily identified. StrengthdetailIn the image, low contrast gland ducts and round areas (low water content) indicating fat accumulation were obtained. Almost all gland ducts can be traced to their starting point (papillae). Some tubes were found to have a significant increase in width (Figure 21D: circle).
However, in conventional mammographs, due to structural overlapdetailThere is no access to information. This reduction can be mitigated through stereoscopic 3D (3-D) imaging. The new high sensitivity digital mammogram sensor can perform two tissue irradiations with a modified angle of view (solid angle 4 ° to 6 °) without significantly increasing the possibility of excessive X-ray exposure. it can. The PAIP filter of the present invention is an expanded image.detailFully equipped for 3D photography. The PAIP filter of the present inventiondetailAre ideally suited for stereoscopic images because they are generated with high contrast and high edge sharpness.
Space by PAIPdetailAnd strengthdetailThe evaluation takes less than 1 minute at a magnification of 4 in the automatic grid search mode. This evaluation is much less tiring than an analog image evaluation (with the help of a loupe), since the image information is provided visually in an optimal manner. AlldetailBecause the information can be easily recognized, the interpretation of the data is no longer limited by the lack of visual access to the data, limited only by the data quality or the investigator's diagnostic experience. This limited diagnostic experience can now be supplemented by image communication over electronic networks.
2. Chest X-ray
Many medical datasets occupy most of the image intensity bandwidth anddetailLarge main image fine shapes that leave little room for contrast are included. This is especially true for chest and other x-rays that image bone and tissue together. Local contrast is limited to within a few percent of the image intensity range. In the PAIP image enhancement according to the present invention, all the expected local contrast was generated and collected,detailInformation contrast was compressed inversely proportional to the range of background contrast. Also, visual recognition of small local intensity fluctuations was difficult near large intensity fluctuations.
By PAIP image expansion, the fine shape intensity range is interactively reduced, and at the same time, the processing effect is visually evaluated,detailAn easy and quick procedure to adjust the ratio of strength information and fine shape strength range was given. Chest X-ray image (Figure 22A) occupies the full intensity range, with a significant intensity range of only 5%detailThere was little room for contrast.detailContrast was only partially recognized within the soft tissue background and was not present at all in the high and low intensity regions of the X-ray. By gradually reducing the significance intensity rangedetailExpansion reduces the fine shape strength range, inversely proportional to thisdetailContrast increased. Reduction exceeding 90% (Figure 22B: IR_S= 1 to 10), the main fine shape contrast was still maintained, but much smaller in the whole imagedetailThe contrast increased to the extent that it can be seen with the naked eye. Ultimately the local contrast became dominant by further reducing the significance intensity range to 5% of the total image intensity range (Figure 22C: IR_S= 1 to 5). After visualizing the sensitive X-ray adsorption contrast, the image quality changed significantly. In the high intensity region at the 1% significance level, noise was mainly imaged (Figure 22D: IR_S= 1 to 3) is the finestSpatial detailWas maintained in the black area. Such typical non-linear noise components can be easily reduced through a process using non-linear expansion.
E. Quantification of digital image information
Defining a digital image of any real and content via a predefined contrast class PAIP and quantifying such a class provides a unique and new tool for image quality quantification. The four intensity information classes can be systematically represented by an information cube (FIG. 23) indicating the relative significant intensity (x coordinate) on the image (x coordinate and y coordinate). Each information class is presented by a simple three-dimensional intensity profile and stacked on top of each other in the order of access by PAIP processing. In other words, the top is image noise, followed by spacedetail,StrengthDetail LeThe bottom is the image fine shape background. The image fine shape background is shaded when its spatial information is limited (light gray) or does not exist (background: dark gray). FIG. 23 presents information cubes for some of the microscopy data sets shown in FIGS. For additional information, the information class is labeled with a symbol along the left vertical axis, the total intensity range (IR) of the data set is shown in the lower left corner, and the file name and ratio range for each information class is the information class It is given sequentially to the places that appear in the data. Each image shows an individual proportion of its information component, but the visual perceptible reduction in "image quality" is common to all images when the proportion of fine shape components is greater than 50% of the maximum relative significance range. It is obvious. In FIG. 23, the data is arranged according to the reduction in image quality. Another application of image quality estimation is found in image evaluation at the time of acquisition. This is important in microscopy where visual data evaluation is suppressed by constantly changing contrast conditions and sample degradation during microscopy. At the bottom of FIG. 23, two image data characteristics relating to acquisition of low image quality data and subsequent improvement of image quality through adjustment of microscope parameters are shown. The size of the noise component remained almost unchanged, but the spacedetailAnd strengthdetailThe ratio of 4 varied significantly from 4 to 10 and had different effects on both image information components. This example demonstrates the ability of the novel digital image processing technique of the present invention to be applied to all possible digital image applications for intensity processing characteristics, accuracy, objectivity, and automation functions.
According to another embodiment, the imagedetailThe contrast enhancement is done by adding a differential hysteresis pattern to the digital image. The differential hysteresis image processing described above reduces data and imagesdetailUse persistence of intensity variation (ie, hysteresis) as a means of contrast enhancement. Image hysteresis is determined by a hysteresis cursor in an interactively selected hysteresis range. The cursor advances the image one pixel at a time and evaluates the intensity variation between adjacent pixels. The cursor intensity position is maintained when the difference intensity value falls within the range, but follows the data when the value is out of range. Processing proceeds in two directions on a continuous line at various angles, and a hysteresis image is generated by the average value of the cursor position in each pixel. Hysteresis image includes a region of no hysteresis in the input data to be maintained and a continuously merged hysteresis region of the modified input data, so that the input strength variation is replaced with a local hysteresis value or the input strength variation The intensity range decreases by a maximum of one-half of the hysteresis range in proportion to the local hysteresis characteristics. The image maintains perfect integrity with the spatial position of all remaining contrast components. Because of these characteristics, the hysteresis image is recovered without artifacts by subtracting the hysteresis image from the input image or subtracting two hysteresis images each processed with a different hysteresis range. be able to.
Importantly, by scaling the resulting difference image to the full display intensity range, a differential hysteresis image with unique characteristics is generated, i.e. such a range is visually added to the additional characteristics. Represents a discrete differential intensity pattern. Regardless of the actual data, for example, a CCD (Charge Coupled Device) video portrait image, for example, an atomic force microscopy image that provides data in the 14-bit range, for example, a CT image that provides data in the 11-bit range ( Only a limited number of basic visual patterns representing all the contrast information present in computerized tomography (eg radiograms providing data in the 12-bit range) can be extracted from most images.
Most instrument density information for maximum contrast resolution exists only in part of the intensity range of the data and is often too small to be visually recognized. This related information can be visible as a different extended image, or it can be contrast-extended in the initial image by adding the extracted differential hysteresis pattern component to the initial image. This expansion significantly improved the image resolution of the photographic instrument and guaranteed the maximum effect during image evaluation. The present invention is the first and objective in real time to the level of image resolution, including maximum sensor resolution, using only one parameter (ie, the differential hysteresis range) without requiring special knowledge of digital image processing or computer operation. Provide interactive methods for comprehensive, comprehensive and visual access. Importantly, this process allows the image to be visualized at the resolution level of the image sensor, not the eyes, and the “visual recognition level” can be extended to the acquisition level.
Current imaging sensors provide data in the 10-bit to 16-bit range (ie, 1024 to 65536 levels), but the vision system (ie, the human eye) can only “see” a portion of that data . This is because the visual system is limited to “perception” in the approximate 8-bit range (ie, 256 intensity levels) and the pattern “recognition” in the 4 to 5 bit range (ie, 16 to 32 intensity levels). Because it is limited. Since the information content of the visual image is limited in this way, digital image processing is required to find a general mechanism for converting an insensitive or unrecognizable portion of sensor information into a recognizable image. In other words, a limited number of intensity steps spread over the complete visual perception range.Detail LeShould be provided for the pattern. For example, a high-precision microscope, as can be seen with an atomic force microscope (AFM), digitally obtains much more image data (eg in the 12-bit to 16-bit range) than the human eye can accept, Presentation is not a spatial resolution or a contrast resolution and is a limiting factor. Similar problems are experienced with other images obtained by sensors, such as medical imaging, satellite data, and non-destructive testing. Therefore, a large data set with dimensions of many kilobytes and a depth of 16 bits needs to be visually analyzed in a very short time and with strict accuracy.
It will be appreciated that the gap between sensors and visual resolution is well known, and in the art, data reduction is widely pursued at the level of spatial information in images. However, due to the complexity and variety of images, traditional image processing uses complex adaptive neighborhood processing with a fixed-size mask in the spatial domain or a filter in the Fourier domain to process parameters or filters spatially. Must match the image content. This type of image expansion creates significant artifacts from the processing point that penetrate into the data as the mask becomes wider. In order to reduce such artifacts, the processing parameters must maintain duality of contrast and spatial information. Because neither can be visualized without the other.
Spatial information is presented as intensity variations relative to the local background and can be viewed with a line scan through such image components. The eye is not sensitive to recognizing small, low contrast components, as well as large high-contrast image fine shapes that can be visualized without constraints. imageDete TheComponents include small structural components with low contrast, ie spacedetailAnd high contrast component, ie intensitydetailCan be included. TwodetailBoth components are preferably maintained by image expansion. One approach to overcoming such limitations is to process local intensity components rather than local spatial components. Intensity variations can be accessed by intensity processing and can be characterized by hysteresis characteristics that provide an alternative to conventional aerial image processing. Hysteresis is used for linear spectral data, in which case the neighborhoodpixelIntensity variation between, using the movable “one-dimensional” cursorpixelThe intensity values were compared by a simple binary hysteresis evaluation that sequentially reads, i.e., it was determined whether the intensity difference between successive readings was within a given hysteresis range. "FIDAC: Film input to digital automatic computer and associated syntax-directed pattern-recognition programming systems, Optical and Electro-Optical Information Processing" (1965, Ledley RS, Rotolo LS, Golab TJ, Jacobson JD, Ginsberg MD, Wilson JB (See Tippett JT, MIT Press, Massachusetts, pages 591 to 613). signalpixel2D neighbor estimation for each surroundingpixelIt can be executed by the radiation processing determination of the hysteresis response. The hysteresis region is defined by intensity fluctuations that fall within the preselected hysteresis range (ie, the cursor range) and are not removed, and other intensity fluctuation regions outside the given range are proportional to the local hysteresis response. Maintained. Thus, both regions are merged as a continuous hysteresis image due to the hysteresis characteristics of the particular data. Hysteresis images are not very effective visually because they maintain only large intensity fluctuations that can be easily recognized. However, using the inherent properties of the hysteresis image, it contains the initial image data (which can be considered to represent a single hysteresis image) and is characterized by only a single processing parameter, the differential hysteresis range Differences between images can be visualized. Differential hysteresis images are scaled to the full visual perception range, but spatialdetailAnd strengthDe DetailTogether, thus the imagedetailProvide efficient tools for expansion.
As can be seen with reference to FIG. 24, hysteresis line processing reads image data in a line using a hysteresis cursor having a preselected range (ie, hysteresis cursor range). The cursor is 1 along the linepixelDuring this time, the middle point of the cursor is read as output data. The cursor is nextpixelIf the value is outside the current cursor value, the end of the cursor follows the input data andpixelIf the value is inside the cursor value, it remains unchanged. The cursor begins reading the line by positioning its midpoint at the input data point. Hysteresis direction lag is compensated by subjecting the input line to a second reverse processing and then processing both cursor output values to produce the final hysteresis line. This hysteresis line has several important characteristics that are essential for hysteresis image processing. (1) Intensity fluctuations smaller than the hysteresis range are deleted and replaced with a hysteresis value representing the last read data point without hysteresis, so that the hysteresis value is the conventional average filter value or the central filter value. It has a characteristic different from the value. This is because the output data value is related to the maintained data portion, not the replaced data portion. (2) The intensity of the input data maximum value and minimum value larger than the cursor range is uniformly reduced by half of the cursor range independently of the specific intensity value or height or depth. Even small intensity fluctuations are reduced in proportion to the local hysteresis characteristics. (3) Each part of the hysteresis line is the input data that is maintained, so these data points join together the data areas modified by the hysteresis process. (4) Direction hysteresis processing generates streaks at the top and bottom of the intensity profile larger than the cursor range in the forward direction of cursor movement. This streak is important because it causes a linear mean transition between the reduced intensity maximum and minimum values and the input data points.
Each line that is read sequentially has its own specific hysteresis characteristics that reflect only the one-dimensional neighborhood along the reading direction. In an image consisting of a set of hysteresis lines, a stripe pattern is generated in the reading direction due to hysteresis characteristics. Radiation processing is preferable to confirm the two-dimensional neighborhood of each pixel.
This two-step process is a neighbor in all directions with no space restrictions other than image boundaries.pixelFollow the lines of eachpixelEach time, the hysteresis characteristic of the local environment is averaged. The hysteresis cursor for the selected intensity range (ie, the hysteresis cursor range) ispixelIf the intensity value is outside the endpoint value of the current cursor, the input data is followed by one end of the cursor. The middle point of the cursor gives output data (that is, output data with a solid line in FIG. 24). nextpixelWhen the intensity of is within the actual endpoint value of the cursor (shaded line output in FIG. 24), the cursor output value remains unchanged. Each line is read in both directions, and a mathematical average gives the final hysteresis line. This hysteresis line may be an unmodified intensity change of the input value (eg when read in both directions), reduced intensity fluctuation (eg when read in only one direction) or deleted fluctuation (eg. , When not read in either direction). The spatial position of the input intensity that is maintained and the spatial positions of the reduced intensity peaks and troughs are not changed, so high accuracy of hysteresis processing or “pixelAccuracy ".
Referring to FIG. 25, radiation hysteresis lines as described above are formed in a number of directions,pixelIs mathematically averaged. This process requires 100 to 200 or more different angles per half cycle to generate the final hysteresis image. Within the data set, hysteresis lines are generated in a number of directions, then eachpixelIs averaged. To this end, the input line read direction is changed symmetrically within a half cycle, and for each new direction a complete new data set is formed and averaged with the previous hysteresis processed data. . The average data obtained as a result represents a hysteresis image. When displaying a frame completely with a hysteresis image, if there is only 4 to 8 reading directions (ie 45 ° to 22.5 ° offset angle between each reading direction) and it can be recognized, no local hysteresis correction has been made. It is possible to suppress large hysteresis streaking. When the number of reading directions is small, streaks are observed using a large hysteresis cursor range (eg,> -5% of the data intensity range), processing high contrast image components, or This is when the image boundary is considered assuming that the hysteresis persists over a much larger area than the area included in the average. is therepixelThe neighborhood of thatpixelThe further away from the position, the more hysteresis line angles are required for hysteresis averaging. Applying large scale processing in the direction of 100 to 200 or more can reduce streaking to a non-disturbing level. Such massively processed hysteresis images have such an accuracy that they no longer show a dependency on the image content, cursor range, and image boundaries, dimensions, or depth. This level of accuracy is important for the subcontract hysteresis imaging of the present invention.
Referring to FIG. 26, the high-precision hysteresis image maintains the spatial position and intensity characteristics, but reduces all individual characteristics of the hysteresis line by reducing the individual maximum intensity range by one-half of the cursor range, That is, the maintained strength component “greater than the hysteresis range”pixel"Accuracy" is maintained. Also, deleted intensity components that are smaller than the hysteresis range are replaced with the base intensity level determined by the boundary maintenance data (see “a” in FIG. 26). The differential hysteresis process recovers intensity components that have disappeared after the hysteresis image process by subtracting the hysteresis image from the input image. Because the first image (ie, raw data) is interpreted as a hysteresis image of the hysteresis cursor range equal to 1 (ie, the top and bottom values and reading points are all 1) The difference image can be described as processed with a difference hysteresis range equal to the lowest value of both hysteresis ranges. In that case, the difference image has a maximum intensity range equal to the difference hysteresis range and includes all intensity components deleted from the first image by hysteresis image processing. This includes a representation of all the small intensity components of the first image that are larger than the top value of the differential hysteresis range and all the first high intensity components that are smaller than the bottom value of the differential hysteresis range. It is. More importantly, the difference image has an intensity as long as it is included in the difference hysteresis range.detailNot only spacedetail(See “a” in FIG. 26). Due to the limited intensity range of the difference image, scaling to an 8-bit range can be performed to generate the final hysteresis image. In general, this image has an equilibrium contrast range, so no further image processing is required.
In hysteresis processing, the differential hysteresis range value is reduced, soDifferenceThe intensity range of the image is reduced and the contrast enhancement of the information content in the scaled hysteresis image is more powerful (see “b” in FIG. 26). In a smaller differential hysteresis range, image components in a larger intensity range are deleted. BothdetailIngredients are present (ie strengthdetailAnd strengthDe DetailSpace with a smaller intensity rangedetail) In some minimum differential hysteresis range in the image, the intensityDetail LeIs deleted from the differential hysteresis image because it is maintained in the hysteresis image. This pattern extraction provides a powerful new data reduction method because the differential hysteresis pattern of defined minimum intensity variation and maximum intensity variation can be separated from the initial image. Space in top value of differential hysteresis rangedetailThere is no, the lowest value is strengthdetailIncluding strengthdetailAnd the image can be scaled to a 8-bit range as a discrete difference hysteresis image (see “c” in FIG. 26). Therefore, it will be understood that, in differential hysteresis imaging, a given maximum / minimum range of contrast levels can be extracted and displayed as a differential hysteresis pattern.
Specific "" in the hysteresis image (Figure 26)pixelFor "accuracy", the intensity variation deleted from the image (initial image or hysteresis image) can be recovered by hysteresis processing. Subtracting the hysteresis image from the initial image produces a difference image with an intensity range equal to the hysteresis cursor range used to generate the hysteresis image. Since the intensity range of the difference image has been reduced, the difference image is linearly scaled to the full intensity range,detailI.e. space depending on the hysteresis range to be applieddetailAnd strengthdetailAll of the contrast can be increased proportionally. An image fine shape with a contrast greater than the hysteresis range is maintained only at a contrast equal to the maximum cursor range, and therefore the difference image is taken with a reduced contrast contribution. Shrinking the hysteretic cursor range enhances contrast expansion for intensity fluctuations smaller than the cursor range. Thus, the minimum spatial hysteresisdetailCan be extracted from the first image. A differential hysteresis image can also be formed between two hysteresis images, each processed with a different hysteresis range. The first image component with a contrast greater than the smaller hysteresis range and less than the larger hysteresis range is extracted and contrast expanded in proportion to the differential hysteresis range. In this way, a hysteresis pattern is extracted from the first image and a discrete image, i.e. intensity hysteresisdetailIt can be displayed as a component. Importantly, the hysteresis pattern is a powerful tool for data analysis because it is discrete and additive in nature.
As can be seen with reference to FIGS. 27A-F, objective visual assessment of image enhancement is limited due to subjectivity of perception and recognition and familiarity with image content. In order to describe the differential hysteresis imaging process, such limitations are taken into account by using a common visual pattern, eg, a human face. Portrait images were obtained with a CCD camera at 1024x1024x8-bit resolution. The input and output intensities were nearly linear over the 256 intensity step range. The general image pattern is familiar and the imagedetailSlightly unfamiliar, but imagedetailCould be accessed and presented objectively and quantitatively.
The raw image (Figure 27A) is a video portrait (1024pixelx1024Pixe Le), Which included some kind of saturated highlights (ie, white areas). FIG. 27B shows that the minimum intensity variation within the differential hysteresis range from 1 intensity step (ie raw data image) to 9 intensity steps (denoted DHR1 to 9) represented the hysteresis noise pattern. . Most images show the hysteresis noise component as a structurally random pattern that can include some type of random component (eg, in the case of nonlinear noise). Figure 27C shows the spatial hysteresis by continuous differential hysteresis analysis by increasing the hysteresis value.detailIndicates that a pattern is obtained. This component represented the minimum artifact contrast that produced a visually useful coherent image. In general, for all image data, this component included the high precision contrast of the imaging system at the level of contrast resolution. This pattern often extended only over a short distance representing the smallest spatial image component. In this particular image, it was seen in small variations in light absorption and reflection on the face and clothes. Figure 27D shows hysteresisdetailBelow the pattern, a pattern with greater contrast, i.e. intensity hysteresisdetailIndicates that a pattern existed. This pattern is a spacedetailOften represented a contrast extending over a larger area. In this dataset, this component represented directional lighting and shadows from facial features. FIG. 27E shows that the maximum contrast was often representative of the main structural fine features of the image. This hysteresis image fine shape patterndetailIt was not present in the data. This pattern in this case contained the main constituent portrait components. Figure 27F shows the ratio when the hysteresis pattern itself was found in the raw data and the resulting composite hysteresis pattern produced an image that could be distinguished from the first image (Figure 27A). Shows all hysteresis patterns summed. The additive characteristic of the discrete difference hysteresis pattern provided the basis for objective visual display of all available data information as extended images.
As can be seen with reference to FIGS. 28A-D, the sub-hysteresis extended representation in the 8-bit video image of high-precision details is generated by adding a previously extracted differential hysteresis pattern to the image. Figure 28A is the same as Figure 27A, with the first image captured by the CCD camera due to its high sensitivity and high resolution, but the final image is below the visual recognition limit due to the contrast range Many imagesdetailIndicates that is not visible. Figure 28B shows all difference systems present in the image data.detail(DHR9 to 65, differential hysteresis range of 9 intensity steps to 65 intensity steps) is hysteresisDete TheIt shows that it has been visually expanded by adding a part of the pattern to the first image (FIG. 28A). However, even in this case, the minimum high-precision contrast was not easily seen. Selected contrast enhancementdetailThe pattern had to be added to the first image for further amplification. Figure 28C shows the intensity hysteresis selected at a clearly recognizable ratio (ie 40%)Dete TheIt is shown that the contrast expansion with reduced DHR 35 to 37, ie, the differential hysteresis range of 35 intensity steps to 37 intensity steps, was interactively added to the first image (FIG. 28A). High contrast on the first imagedetailBy adding low contrastdetailHigh contrast without interference fromdetailThe relationship with the whole image was clearly shown. Figure 28D shows the selected spatial hysteresisdetailIt shows that the contrast extended by a narrow DHR of 15 to 17, ie a differential hysteresis range of 15 intensity steps to 17 intensity steps, was added to the first image (FIG. 28A). By representing the 8-bit image data in this way, high-precision contrast is visualized, while maintaining the integrity of the entire image by including all other contrast components in the larger contrast range. Most importantly, the present invention allows "viewing" image data at the contrast resolution level of a digital camera.
An atomic force microscope is a high precision microscope with a contrast resolution (ie, 16 bit versus 8 bit) 250 times higher than the human eye. As can be seen with reference to FIGS. 29A-F, differential hysteresis imaging allows visual access to the instrument accuracy imaging function by adding a precision contrast pattern to the scaled raw data image. Figure 29A shows scaled raw data (intensity range (IR) 1 to 9603) of images of ultrathin sections of retinal tissue embedded with plastic tilted so that the height difference between the opposing edges is 100 nm. ) (1 nm = 10 強度 = 96 intensity steps). The micro surface contrast was compressed at a ratio of 38: 1 by this low resolution contrast background (DHR64-9603) and thus reduced or eliminated from the image. Figure 29E shows the main shape of this datasetdetailIs taken as a differential hysteresis pattern in the -5− (DHR = 1 to 65) contrast range, indicating that all fine shapes have been obtained. This fine information was compressed in 2 intensity steps in the scaled 8-bit image and therefore did not contain the main shape information (ie, the slanted surface). FIG. 29C shows that both the micro and macro shapes were displayed by mixing the 8-bit scaled images of each component (80% DHR1 to 9603 + 20% DHR1 to 65). FIG. 29D shows that the highest contrast resolution was present in the differential hysteresis pattern (DHR 1 to 3) representing the height information of 0.3 mm. Although limited due to the reduced spatial resolution, the microscope data projected many of the expected shape details at a surprisingly low level of noise at sufficient full contrast resolution at low magnification. Figure 29E shows hysteresis that provides both high slope contrast and minute surface roughness contrast.detailIt shows that the maximum accuracy shooting function can be verified at the 14-bit level by adding a pattern (15% DHR1 to 3 + 85% DHR1 to 9603). Figure 29F shows the extracted hysteresisdetailEven closer visual inspection of the image at the 6-bit level shows that it was necessary to expand precision information due to limited vision (40% DHR1 to 3 + 60% DHR1 to 65). Therefore, in order to visually perceive and recognize all image information in a high-precision photomicrograph, it was necessary to increase the expansion of the contrast pattern from step to step.
Referring to FIGS. 30A-F, a conventional computerized tomography (CT) display is shown to distinguish fine structure information and a window (ie, to extract tissue specific sensor data). FilmedpixelSelected intensity range) is used. This reduced data was based on the absorption coefficient for the bulk material but neglected to be deleted by the window, although the same material thickness contrast may exist. All available sensor contrast can be made visible through differential hysteresis imaging with non-window raw data, and visual pattern recognition can be enhanced by adding a precision differential hysteresis pattern to the data. FIG. 30A shows that little data was obtained on CT sections (IR1 to 2048) scaled to 8-bit images. FIG. 30B shows that the overall structural contrast is improved by the differential hysteresis image in the 8-bit large differential hysteresis range. Figure 30C shows the extended hysteresis strengthdetailIn all organizationsdetailIs obtained, i.e., the microstructure is significantly increased in the liver region. Figure 30D shows the selected intensitydetail(40% DHR27 to 35 + 60% DHR1 to 256) indicates that the image is improved. Figure 30E shows the highest contrast resolution hysteresisdetailIndicates that the pattern (DHR21 to 23) was found below a relatively small noise component (1% IR). Although noise was present, liver microstructure showed zoning and ultrastructure at the level of single tubules and vesicles. FIG. 30F shows that an improved image was obtained by increasing the spatial hysteresis details. The differential hysteresis extension has proved that the signal-to-noise ratio of the spatial details is insufficient to use the surprisingly high spatial resolution of the CT data acquisition system. Increasing the image resolution through differential hysteresis imaging provides a powerful tool to optimize the imaging device.
As can be seen with reference to FIGS. 31A-D, the important contrast of the image dataset can be interactively controlled under the control of a computer mouse by applying a differential hysteresis filter and pattern expansion in a “real-time window”. Can be easily found. Figure 31A showsdetailShows an extreme digital Fuji plate image (i.e., raw data 884x947x10 bits: IR-1 to 1024) that is not so projected. In the first step, to view the data as an acceptable image,detailAdjusted for contrast. Place the real-time window above the area where it seems difficult to see clearly, and increase the differential hysteresis range from its maximum value (DHR1 to 1024) to a slightly familiar level (DHR1 to 256). Reduced to the range to be. The entire image was then processed with the determined differential hysteresis range to produce an adjusted image. FIG. 31B shows that in the second step, the region of interest was defined in the adjusted image to determine and expand diagnostically important contrast. In this case, the hysteresis noise component has been removed, but soft and hard tissues were analyzed using a narrow differential hysteresis range containing spatial precision information (DHR 9-15). FIG. 31C shows that a diagnostically important contrast was added to the adjusted data in appropriate proportions (25% DHR 9-15 and 75% DHR 1-64) using the real time window. FIG. 31D shows that the sensor data could be visualized and combined as an extended image to increase the contrast resolution from the eye resolution to the sensor resolution. A high contrast resolution was obtained within only 0.5% of the IR, and the contrast resolution of this photographic plate was found to be very low compared to the contrast resolution of the digitized film radiogram. The differential hysteresis range of the spatial differential hysteresis pattern can be used as a quantification tool to optimize acquisition parameters.

Claims (3)

A method of enhancing a digital image of a digital input image data array including a pixel matrix, comprising the following steps:
(1) Regarding a digitized input image data array in which pixels arranged vertically and horizontally form a matrix, a copy of the input image data array and an input image data array obtained by performing a smoothing process on the input image data array Generating two input image data arrays in which the positions of the pixels exactly overlap each other;
(2) The smoothing process applied to the input image data array includes the following steps (a) to (e):
(A) determining whether the intensity value of the selected pixel along the line belongs within a predetermined cursor width in relation to the adjacent intensity;
(B) generating a first processing line in a first direction,
(I) if outside the cursor width, maintaining a relative intensity value of the selected pixel;
(Ii) if within the cursor width, changing the intensity value of the selected pixel to an intermediate value approximately equal to the intensity of the last maintained value;
Including steps;
(C) generating a second processing line in the second direction,
(I) maintaining a relative intensity value of the selected pixel if outside the cursor width;
(Ii) if within the cursor width, changing the intensity value of the selected pixel to an intermediate value approximately equal to the intensity of the last maintained value;
Including steps;
(D) averaging the first and second processing lines bidirectionally to generate a one-dimensional hysteresis line;
(E) repeating the steps (a) to (d) for at least some other pixels of at least a portion of the matrix to define a processed digital image data array;
(3) For each input image data array selected from the data group to define at least one difference image selected from the image group consisting of spatial detail, intensity detail and image noise, from the input image data array Subtracting the smoothed image of the input image data array. A method for enhancing a digital input image, comprising the steps of:
(1) generating, from a digitized input image data array in which pixels arranged vertically and horizontally form a matrix, two image data arrays in which the positions of the pixels exactly overlap each other;
(2) In order to create a differential hysteresis image, the step of performing differential hysteresis processing on the input image data includes performing smoothing processing on each pixel of the input image data according to steps (a) to (e) according to claim 1. Step;
(3) subtracting the hysteresis image data from the input image data to define the differential hysteresis image data;
(4) adding the differential hysteresis image data to the input image data in order to create enhanced image data. A step of determining a minimum pixel value and a maximum pixel value of the image data array subjected to hysteresis processing, and a step of recalculating the output pixel value using the following equation: q (x, y) = (p (x, y) −minpix) ^* maxval / (maxpix−minpix)
(Where p (x, y) is the initial pixel value, q (x, y) is the final output pixel value, minpix is the minimum pixel value of the image, maxpix is the maximum pixel value of the image, and maxval is the maximum pixel value. (When maxpix and minpix are equal, q (x, y) is zero.)
The method of enhancing detail information of a digitized image data array according to claim 1, comprising:

Images