JPH10501080A - データマトリックスの処理を高速化する装置および方法、および高速化された基準で処理されたデータマトリックス - Google Patents

データマトリックスの処理を高速化する装置および方法、および高速化された基準で処理されたデータマトリックス

Info

Publication number
JPH10501080A
JPH10501080A JP7530350A JP53035095A JPH10501080A JP H10501080 A JPH10501080 A JP H10501080A JP 7530350 A JP7530350 A JP 7530350A JP 53035095 A JP53035095 A JP 53035095A JP H10501080 A JPH10501080 A JP H10501080A
Authority
JP
Japan
Prior art keywords
data
processing
matrix
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7530350A
Other languages
English (en)
Inventor
ユージーン エヌ ツイカロブ,
ジエームズ カービー スミス,
Original Assignee
イメージング リソース テクノロジーズインコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イメージング リソース テクノロジーズインコーポレイテッド filed Critical イメージング リソース テクノロジーズインコーポレイテッド
Publication of JPH10501080A publication Critical patent/JPH10501080A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 本発明は、データにアクセスし、データをムーブ(移動)し、およびデータを計算処理するのに必要なステップ数を大幅に減らす繰返し手順を用いることによって、データ・マトリックスを高速処理し、演算効率を大幅に改善したシステムに関する。そのような高速化は、データ集合体の処理に適用することができ、またデータ集合体との関連において、集合データの空間的濾波と時間的濾波(24)の双方を実行する場合や、一旦捕捉されたデータを処理する場合に有用である。これは、一般的にはデータの処理に用いる手順(即ち、ルーチン)を最適化することによって実現され、信号対ノイズ比および全体の処理速度が大幅に増加する。このような最適化は、手順上(メモリ動作と計算ステップの観点で)集中的に用いられるルーチンを、互いに同じ結果が得られるように構成したより効率的ルーチンで置換えることによって達成される。

Description

【発明の詳細な説明】 データマトリックスの処理を高速化する装置および方法、および 高速化された基準で処理されたデータマトリックス 発明の背景 この発明は、一般的には各種の実際のアプリケーションを実行するためのデー タマトリックスの処理を含む各種のデータマトリックスの処理に関するものであ る。 各種の実際のアプリケーションを実行するためには、集合化(アセンブル)さ れたデータのマトリックスを継続進行的(オンゴーイング:ongoing)な基準( ベース)で処理しなければならない。以下では説明の都合上、データ受信“マト リックス”は、メモリでの蓄積あるいは他の処理のために適当な信号源からのデ ータ入力を受信するように構成された任意のアレイを含むものと定義する。基本 的には、本発明による改良点について、マトリックス形式のビデオイメージ(ま たはビデオイメージを表わす信号)の処理に関して説明する。しかしながら、同 じように処理される他のマトリックスも同様に本発明に係る改良により効果が得 られるものであり、また本発明の改良の一部をなすと考えられることを理解すべ きである。 このようなイメージの構成に当たって、通常信号は適当なトランスジューサ( 例えば、CCD、赤外線カメラあるいは他のカメラ)から取り出され、捕捉され たイメージは、通常、点(ポイント)あるいは素子(すなわち、ピクセル)の規 則的な配列(アレイ)として定義されるデータのマトリックスに変換される。次 いで、捕捉されたイメージを特定の処理あるいは試みに有効なフォーマットで表 示させるために何らかの形式の処理が必要になる。従来はこれには捕捉されたイ メージを処理することができるようにこの捕捉されたイメージを記憶するための かなりの量のメモリを必要とし、また所望の情報を伝達するのに有効な認識可能 なイメージを生成するために(データのアクセス、ムーブ(移動)および処理を 含む)かなりの量の処理を必要とした。一例として、比較的基本的な白黒のモニ タ上に表示されるイメージは、10,240個(128×80個)のピクセルか らなるマトリックスとして表わされ、この場合各ピクセルは256の可能な輝度 レベルの1つで表わされる。より大きなマトリックスを使用した場合、あるいは さらに多くの輝度レベル(またはカラー表示)を使用した場合は、さらに複雑に なる可能性がある。 市販の入手可能な装置で捕捉されたイメージの本質的な部分はある程度の“ノ イズ”(すなわち、処理されるイメージ中のスプリアス信号)である。イメージ の強度(明るさ)が低下すると、このようなノイズは得られる有効イメージに比 して重要性を増してくる。その結果、システムの感度、すなわち信号とノイズを 識別する能力は重要になり、しばしば評価の要因を制限することになる。受信信 号と背景ノイズとの比(すなわち、信号−ノイズ比)を増大させることによって 入手可能なイメージ捕捉システムの感度を高くするために各種のステップが試み られてきた。その結果、通常は容量(メモリおよび/または時間)を犠牲にして 分析および表示のために改善されたイメージを得ていた。 感度を改善し、イメージの信号−ノイズ比を改善するために、捕捉されたイメ ージをデジタル処理するのが一般的なやりかたである。これは捕捉された各イメ ージの各ピクセルについて各種の数学的処理を施すことによって行われる。一般 的には、空間的濾波と時間的濾波を含むこのような2つの方法が使用される。空 間的濾波は、各ピクセルを指定されたマトリックスの選択された数の隣接する( 最も近い)素子から引き出された平均値と置換することによって達成される。時 間的濾波は、各ピクセルを所定のピクセル(同じ座標を持っている)に対して引 き出された時間的平均と置換することによって達成される。いずれの場合も実行 される平均化処理では、データを保存し且つノイズの影響を減少させるように演 算が実行され、システムの信号−ノイズ比を増大させ、従ってシステムの感度を 向上させることができる。 しかしながら、前述のようにこのような処理には(捕捉されたデータの蓄積お よびムーブ(移動)を含む)メモリに関して制限を受け、また(各種の数学的演 算を含む)必要とする平均化を実行するのに要する時間長に関して制限を受ける 。システムの感度を向上させるためにサンプリング点(N)の数を増加させると 、データのアクセス、ムーブおよび計算処理に要する処理ステップ数が急速に桁 外れに増加する。これはしばしばこのようなデータのマトリックスの処理におけ る制限要因となる。 このような理由により、また実際のアプリケーション(応用例)では益々要求 が厳しくなってきたことにより、このようなデータに適合するように開発されシ ステムは、そのサイズおよびその全処理能力の双方の点でそれ相当に複雑になっ てきた。このことは、今日の要求が、最も複雑で、それ故に高価な装置以外の装 置への適用を制限する程にまでなってきた。別の方法は、しばしば速度と感度の いずれかの犠牲、あるいは時にはその両方の犠牲を伴うものであった。その結果 、多くのアプリケーションでは設備が途方もない規模となり、コストも上がり、 その汎用性を制限している。ある場合には、このことにより、潜在的に有効なア プリケーションを妥当な規模で構成するのを阻止することさえある。従って、こ のような制限を受けないシステムを構成することが依然として課題として残され ている。 発明の概要 従って、本発明の主たる目的はデータのマトリックスを処理するための改良さ れたシステムを提供することにある。 本発明の目的は、また、時間を短縮し且つ演算数を少なくしてデータのマトリ ックスを処理する改良されたシステムを提供することにある。 本発明の目的は、また、リアルタイムでデータのマトリックスを処理するシス テムを提供することにある。 本発明の目的は、また、データのマトリックスを改善された感度でもって処理 する改良されたシステムを提供することにある。 本発明の目的は、また、従来の市販の装置を使用して、改善された感度でもっ てリアルタイムでデータのマトリックスを処理することができ、それによって比 較的高価な特定の目的の装置を必要としない改良されたシステムを提供すること を目的とする。 本発明の目的は、また、汎用の計算装置と関連して使用するために、ソフトウ エアに組み込むことのできる、感度が改善され且つリアルタイムでデータのマト リックスを処理することができる改良されたシステムを提供することにある。 本発明の目的は、また、感度が改善され且つリアルタイムでデータのマトリッ クスを処理するシステムを、このような改良によって効果を奏することができる 各種のアプリケーションに適用して、最終的に実施者がそれを容易に使用するこ とができる改良された特性を示すシステムを得ることにある。 本発明によれば、データのアクセス、ムーブおよび計算処理に必要とされるス テップ数を著しく減少させることができる反復処理を採用することによって高速 化された基準でデータのマトリックスを処理し、動作効率を大幅に改善すること ができるシステムを提供することにより、上記の目的および他の目的を達成でき ることが明らかになる。 このような高速化は、アセンブルされたデータの空間的濾波および時間的濾波 の双方を実行するに当たって、また一旦捕捉されたデータの処理に当たって、デ ータのアセンブルに適用することができ、またデータのアセンブルに関連して有 効である。一般にこのことはデータを処理するために使用される手順(すなわち 、ルーチン)を最適化することによって達成され、それによって信号−ノイズ比 を増大させ、全体の処理速度を向上させることができる。このような最適化は、 手順上集中的ルーチン(メモリ動作と計算ステップに関して)を同じ結果が得ら れるように構成されたより効率的なルーチンと置換することによって達成される 。 以前は、通常のやり方はマトリックス中の各ピクセルに関して別々に演算して おり、このため複雑さおよび時間依存性が増大する一方であった。このことによ り、関連する精巧で複雑なアプリケーションに適合するように、益々精巧で複雑 な装置を使用する必要があった。従来よりサイズが大きくなったマトリックスに 適合させるために、高速フーリエ変換(FFT)のような演算−集中的(operat ion intensive)処理を使用してこれを行っていた。しかしながら、これらの尺 度はより大きなマトリックス(例えば、7×7マトリックスあるいはそれ以上) を処理するのに満足できる状態以下であるにも拘らず、大抵の場合通常の計算機 の実際の容量を超過すると考えられる。 本発明によれば、このような手順上の集中的演算は、通常のマトリックスにお ける隣接するピクセル間の特定可能な関係に依存するより効率的な手順と置換す ることができることが判った。また、意外にもマトリックス中の各ピクセルにつ いての各別の処理はもはや必要としないことが判った。さらに、通常のマトリッ クスにおける隣接するピクセル間の特定可能な関係を利用することにより、デー タのアクセス、データの所望のムーブ(移動)の実行、およびデータの計算上の 処理に要する時間を著しく短縮できることが判った。意外にもこのようにして得 られた処理は従来システムの制限を受けることがほとんどなく、特に処理される べきサンプリング点の数(N)が市販の通常のマトリックス処理システムで従来 実行可能と考えられていた数以上に増大することが判った。 データを捕捉するための市販の装置、および捕捉されたデータを有効なマトリ ックスに構成するための通常の装置と組み合わせると、実用的なアプリケーショ ン数が可能であることが判った。第1に、このことは本発明のデータ処理システ ムは、複雑なマトリックスを従来は得られなかった高感度でもってリアルタイム で処理するために使用することができることによる。一例として、規則的なマト リックスに構成されたビデオイメージをリアルタイムで処理し、表示することが できるので、従来のシステムでは達成できなかったこのようなイメージの利用が 可能になった。これは従来のシステムでは必要な処理を行なうことができるよう にデータをバッファする必要があったが、本発明のシステムではこのようなバッ ファを行うことなく処理することができるからである。その上、より大きなマト リックス(複雑さが増し、多数(N)のサンプリング点を含む)の処理を促進す ることによって、感度および信号−ノイズ比がさらに改善され、たとえ通常の市 販のトランスジューサにより捕捉されたものでも、処理されたイメージから引出 される情報量を増すことができる。本発明により改善されたシステムによって、 多くの如何なるアプリケーションにおいても効果のあることが判った。また、本 発明により改善されたシステムによって多くのアプリケーションが始めて可能に なることが判った。 本発明のデータ処理システムならびにその実際のアプリケーションについて、 次の図面を参照して以下に詳細に説明する。 図面の簡単な説明 図1はデータの捕捉とその有効な形の表示との間の全体の関係を示す概略ブロ ック図である。 図2Aおよび図2Bは従来の方法によるイメージの捕捉と本発明によるイメー ジの捕捉とを比較して示した図である。 図3は本発明による、捕捉されたイメージを表わすデータの捕捉と処理を説明 するフローチャートである。 図4は従来のデータ捕捉システムと本発明による改良が施されたデータ捕捉シ ステムに対する所定の性能パラメータの比較テーブルを示す図である。 好ましい実施例の詳細な説明 図1には実際の使用目的でデータを捕捉する態様が最も簡単な形で概略的に示 されている。データ1(図示の例では所望のイメージ)がブロック2で捕捉され 、このデータは次にデータ処理システム3に供給される。データ処理システム3 において、捕捉されたデータを適当に処理するための幾つかのステップがとられ る。このステップには、データの捕捉、データの異なる各種の位置へのムーヴ( 移動)、これらの異なる各種の位置相互間におけるムーブに含まれる幾つかの実 際の演算、データの最終処理へ向かうのに必要な幾つかの計算ステップが含まれ ている。この操作(演算)の一部として、通常捕捉されたデータおよび捕捉され たデータから引き出されたデータを蓄積するためのメモリ4が設けられている。 また、有効な作業を実行するためにそのデータを使用できるようにするための適 当なトランスジューサ5が設けられている。 データ処理システム3の演算は、好ましくない時間遅れを伴うことなく有効な データを供給するために、データ処理システム3はリアルタイム(すなわち、実 際に起こる操作(演算)として)で行われる点が本発明の特に好ましい特徴であ る。以下の説明では、本発明の改善されたシステムを主として実用上の目的で適 切に表示するのに適したイメージを表わすマトリックスに関して述べる。本発明 の改善されたシステムはこのような目的に特に適しているが、本発明の改善され たシステムは他のマトリックスの処理、本発明のデータ処理システム3によって 達成される高速化された処理により、また感度が向上したことにより、実用上の 効果を得ることのできる他のデータフォーマットにも適用できることは明らかで ある。本発明の改善されたシステムを用いた実際のアプリケーション(応用例) を以下に説明する。 本発明の改善されたシステムに寄与するキーとなる要素は、マトリックス中の データは相互に関連しており、またマトリックスの各素子についてもはや各別に 計算する必要なしに反復技法によって引き出すことができるということを認識し た点である。これを説明するために、次の定義を使用する。 I(i)=I(1),I(2),I(3),・・・I(N) =入力データのN値のシーケンス、 V(i)=V(1),V(2),V(3),・・・V(N) =出力データのN値のシーケンス、 F(・・・,I(i−1),I(i),I(i+1),・・・)は入力データ の隣接するピクセルの値に基づいて処理された値を計算するデータ処理関数、 Kは実行される演算回数の比に基づく、従来技術によるデータの処理と比較し た本発明によるデータの高速化された処理の効率(速度比)を表わす値、 Nは処理されるデータのピクセル数である。 これをマトリックスの解析に適用すると、定義された処理関数F(・・・)を 採用し且つN個の隣接する入力ピクセル(・・・I(i−1),I(i),I( i+1),・・・)の値に基づく第1ピクセルV(i)の出力値は、次の(1) 式によって表わされる。 V(i)=F(・・・,I(i−2),I(i−1),I(i), I(I+1),I(i+2),・・・) (1) 同様にV(i+1)に対するピクセル値は次の(2)式によって表わされる。 V(i+1)=F(・・・,I(i−1),I(i),I(i+1), I(I+2),I(i+3),・・・) (2) (1)式および(2)式の関数F(・・・)はデータ処理に対する従来のすべ ての処理関数を表わす。各出力ピクセルについて、N個の入力ピクセルに関して 関数F(・・・)によって決定される数の演算を実行する必要のあることが判る 。 本発明によれば、値V(i+1)は次の(3)式によって表わされる。 V(i+1)=V(i)+ΔV(i) (3) ここでΔV(i)はピクセル(i+1)と(i)に対する処理された値の差( あるいはこれらの値の導関数)である。ΔV(i)の値は(1)式および(2) 式からも表わすことができ、次の(4)式によって表わされる。 ΔV(i)=V(i+1)−V(i)=F(・・・,I(i+1),・・・) −F(・・・,I(i),・・・) (4) あるいは、 ΔV(i)=ΔF(i) ここで、 ΔF(i)=F(・・・,I(i+1),・・・)−F(・・・,I(i), ・・・) (5) (3)式はまた次の(6)式の形に表わすことができる。 V(i+1)=V(i)+ΔF(i) (6) (2)式と(6)式を比較すると、その各々は処理されたピクセルに対する値 を決定し、その決定法の重要な違いを表わしている。(2)式は処理された出力 値に対する値を決定するために通常の関数F(・・・,I(i),・・・)を採 用している。本発明によると、(6)式は差ΔF(1)を使用することによって 同じ結果が得られる。その結果、(6)式の関数は、(5)式によって表わされ る処理関数ΔF(i)の導関数を決定するより簡単でより速い方法を提供するこ とができる。本発明で採用されている処理を開始するに当たって、第1のピクセ ルに対する値は従来通り決定しなければならない。その後、後続するピクセルに 対する値は、各先行するピクセルに対する値と各後続するピクセルに対する計算 された値ΔF(i)((5)式から引出される)を使用して(6)式によって導 き出される。 多くの形式のデータ処理関数について、ΔF(i)の計算はF(・・・)の計 算に比してより簡単でしかも速い。処理関数F(・・・)は1−、2−、3−、 あるいはN−次元データを処理するための一般的な手段として示されているが、 必要に応じて処理関数F(・・・)は入力値の線形あるいは非線形(例えば、統 計学的)関数とすることもできる。異なる形式の関数に対しては、処理関数の導 関数は別の意味を持つ。空間あるいは時間領域ではΔF(i)は処理関数の空間 あるいは時間導関数に相似である。(式によって表わすことはできないが、1組 の規則(ルール)によってのみ表わすことができる)解析的でない処理関数に対 しては、ΔF(i)の決定には隣接するピクセルの処理から引き出された異なる 処理手順(あるいはルール)を必要とする。いずれの場合も、ΔF(i)がF( ・・・)よりも簡単な場合に効果がある。 上述の点をフラット(平坦)カーネル・マトリックス(flat kernel matrix) における非重み付け移動窓の解析に於いて考察する。先ず最初に説明すべきこと は1次元のたたみこみ(convolution)であり、これは時間領域における時間的 濾波あるいは1次元における空間たたみこみに相当する。前述のように、第1ス テップとして通常の方法で第1ピクセルI(i)に対する値を引き出す必要があ る。次に残りのピクセルに対する値を、前述のように処理関数ΔF(i)の導関 数を見つけることにより引き出す。 一例として、カーネル・マトリックスにおける5個のピクセル(N=5)の場 合について考察する。1次元におけるたたみこみに対しては、適当な処理関数は 次の(7)式によって表わすことができる。 V(i)=I*I(i−2)+I*I(i−1)+I*I(i) +I*I(i+1)+I*I(i+2) (7) この式は等しい重みをもった5個の隣接するピクセル全体についての、最後に 5で割ることなく平均化された出力ピクセルを表わす(これの利点については以 下で詳細に説明する)。 ΔF(i)を見出すために、2個の連続する出力ピクセルに対するカーネル・ マトリックス係数(およびこれらの差)を次の表の形で示す。 その結果、処理関数ΔF(i)の導関数は次の(8)式によって表わされる。 ΔF(i)=I(i+3)−I(i−2) (8) また、(6)式から連続する出力ピクセルに対する値は次の(9)式によって 表わされる。 V(i+1)=V(i)+I(i+3)−I(i−2) (9) 一般に、カーネル・マトリックス中のピクセルのすべての奇数(N)について は次の(10)式が適用される。 V(i+1)=V(i)+I(i+n1)−I(i−n2) (10) ここで、n1=N/2 +1 n2=N/2 −1 (10)式から明らかなように、前述の結果として、従来の方法により引き出 さなければならない初期値に後続する任意の所定値Nに対して、必要なことは平 均化窓において最新のピクセル値の加算と最も古いピクセル値の減算のみである から、2回の演算を必要とするにすぎないということが判る。従来の処理技法を 用いて同じ結果を引出す場合は前述のようにNに依存していたが、このような本 発明の処理に要求される演算回数はNに依存せず、必要とする演算回数は常に2 に等しい。従って、このような処理によって得られる効率(K)は、K=N/2 になる(すなわち、N=4の場合は2倍速くなり、N=32の 合は16倍速く なる、等)。 次に2次元空間領域における空間的濾波に相当する2次元たたみこみについて 考察する。一例として、次のように表わすことができる3×3ピクセル、フラッ ト・カーネル・マトリックスをもった2次元たたみこみの処理について考察する 。 このようなマトリックスの処理には、ピクセルのアレイ(例えば、2次元イメ ージ)のすべてのピクセルを9個の隣接するピクセル全体について得られた平均 値と置換する必要がある。従来の処理では、これには9回の平均化演算を必要と した。本発明によれば、先ず“X”元中の3個の素子を用いて1次元たたみこみ 処理を実行し、これに続いて“Y”元中の3個の素子を用いて最初の演算結果に 対して1次元たたみこみを実行することによって同じ結果が得られる。 その結果、所望の2次元たたみこみを、各々が2回の1次元たたみこみを含む わずか2回の演算で実行できる。さらに、本発明によれば、各たたみこみを前述 の(10)式を用いて実行することができる。各次元におけるたたみこみ当たり の演算回数は2で、そのため2次元たたみこみに対するピクセル当たりの演算回 数は4で、Nに依存しない。これに対して、従来の処理に要する演算回数はN* Nである。このような本発明の処理により得られる効率(K)は、K=N*N/ 4である(すなわち、N=3の場合は2.25倍速くなり、N=7の場合は12 .25倍速くなる)。 次に3次元空間領域における空間的濾波に対応する3次元のたたみこみについ て考察する。上述の点を足場として、本発明によれば、(サイズがN×N×Nの )フラット・カーネル・マトリックスをもった3次元たたみこみは、各次元につ いて1回の合計3回のたたみこみを実行することによって引き出すことができ、 連続する各たたみこみは(2次元たたみこみ関して説明した前述のやり方と同様 に)入力として直前のたたみこみの結果を利用して実行される。従って、3次元 たたみこみに対するピクセル当たりの演算回数は6に等しくなり(3次元の各次 元に対して2回の演算)、演算回数はNに依存しない。これに対して、従来の処 理法ではN*N*N回の演算を必要とした。このような本発明による処理法の効 率(K)は、K=N*N*N/6(すなわち、N=3の場合は4.5倍速くなり 、N=7の場合は57.1倍速くなる、等)。 最後にM次元の空間領域における空間的濾波に対応するM次元のたたみこみに ついて考察する。本発明によれば、(サイズがN×N×N×N×・・・×N:M 倍の)このようなフラット・カーネル・マトリックスのたたみこみは、各次元に ついて1回の、合計M回の1次元たたみこみを実行することによって引き出すこ とができ、連続する各たたみこみは入力として先行するたたみこみの結果を利用 して実行される。従って、このようなたたみこみに対するピクセル当たりの演算 回数は2*M(M次元の各次元に対して2回の演算)で、Nに依存しない。これ に対して、従来の処理に要する演算回数はN*N*N*・・・*N(M倍)回、 すなわちNM回である。よって、このような本発明による処理により得られる効 率(K)は、K=NM/(2*M)(すなわち、M=4で、N=3の場合は10 .1倍速くなり、N=5の場合は78.1倍速くなる、等)である。 以上、フラット・カーネル・マトリックスにおける非重み付け移動窓の解析に ついて説明したが、次に1組の重み付けられたピラミッド形係数の解析について 考察する。ここで再びカーネル・マトリックスにおける5個のピクセル(N=5 )の場合について考察する。1組の重み付けられたピラミッド形係数の1次元た たみこみに対する処理関数は次の(12)式によって表わされる。 V(i)=1*I(i−2)+2*I(i−1)+3*I(i) +2*I(i+1)+1*I(i+2) (12) この式は、5個の隣接するピクセル全体にわたる各出力ピクセルの重み付けら れた平均(異なる重み1、2、3、2、1を有する)を表わしている。 ΔF(i)を見つけるために2個の連続する出力ピクセル(およびそれらの差 )に対するカーネル・マトリックス係数が次に示す表の形で表わされる。 その結果、処理関数ΔF(i)の導関数は次の(13)式によって与えられる 。 ΔF(i)=−I(i−2)−I(i−1)−I(i)+I(i+1) +I(i+2)+I(i+3) (13) また、連続する出力ピクセルに対する値は次の(14)式によって表わされる 。 V(i+1)=V(i)−I(i−2)−I(i−1)−I(i) +I(i+1)+I(i+2)+I(i+3) (14) このような計算におけるすべての乗算は加算と置換されていることに注目する 必要がある。これによると、通常の中央処理装置の能力を活用して整数加算を整 数乗算の最大10倍の速さで実行することができる。 次に説明するように、2つの部分における差処理関数((14)式)を考慮す るとることにより上記の点をさらに改善することができる。ΔF(i)はフラッ ト・マトリックス係数をもった2組のデータピクセル(フラット・マトリックス のたたみこみに相当する)を含んでいるので、その第1の部分(I(i+1)+ I(i+2)+I(i+3))は1次元たたみこみとして取扱うことができ(前 述のように2回の演算を行なう)、(−I(i−2)−I(i−1)−I(i) )は予め(+I(i−2)+I(i−1)+I(i)として)計算され、従って 、全体として符号の変化(−)をもたせて(1回だけの演算を行って)実行する ことが可能になる。よって 、所望のたたみこみは次の(15)式によって表わ される。 V(i+1)=V(i)+(計算された1次元フラット・たたみこみ) −(先きの1次元たたみこみの結果) (15) その結果、(15)式を実行するのに要する全演算回数は4(フラット・マト リックスをもった1次元たたみこみについて2回の演算、先に計算された1次元 たたみこみの減算、V(i)への加算)に等しくなる。前述と同様に、全演算回 数はN(たたみこみマトリックスのサイズ)に依存せず、任意のNに対して常に 4になる。これに対して従来の処理法を用いて同じ結果を引出すのに従来必要と した演算回数は2*N・・・・10*N(乗算が実行される態様に依存する)に なる。従って、本発明によるこのような処理により得られる効率(K)は、K= 2*N/5・・・10*N/5(すなわち、N=5の場合、2倍乃至10倍にな る)。 次に、カーネル・マトリックスにおける5個のピクセル(N=5)を有する場 合の、1組の重み付けられたピラミッド形係数の2次元たたみこみについて考察 すると次のようになる。 動作において、ピクセルの2次元アレイ(2次元イメージ)における各ピクセ ルは、適当な重みをもった25個の隣接するピクセル全体について得られた平均 値と置換される。1組のピラミッド形係数をもったたたみこみは、同じサイズの フラット・マトリックスをもったたたみこみに比して信号のノイズを減少させる という点でより有効である。しかしながら、従来の通常の計算は計算上あまりに も集中的(あるいは集約的(intensive))で、多くの応用例に対して非実用的 である。 本発明によると、このようなたたみこみはXおよびY方向のピラミッド形係数 (1、2、3、2、1)を用いて2個の1次元たたみこみとして実行することが でき、この場合最初のたたみこみの結果は後続するたたみこみに対する入力とな る。その結果、このような処理に要する全体の演算回数は8(各次元について4 回)で、N(すなわち、カーネル・マトリックスのサイズ)に依存しない。これ に対して従来の通常の処理に対して必要とされる演算回数は2*N2・・・・1 0*N2である。その結果、本発明のこのような処理の効率(K)は、K=2* N2/8・・・・10*N2/8(すなわち、N=5の場合6.25倍乃至31. 25倍速くなる)。 1次元、2次元、3次元、あるいはそれ以上の次元のマトリックスについて、 フラット・およびピラミッド形の係数組の任意の組合わせを高速化された基準で 同様に処理できることが判る。これは、マトリックスを簡単な成分に変形し、( 先のたたみこみを次のたたみこみの入力として使用して)より簡単なマトリック スに関して前述のように必要なたたみこみを実行することによって達成される。 一例として、1次元マトリックス(1 3 4 3 1)を考えると、これはマ トリックス(1 2 1)と(1 1 1)とに減少(あるいは)変形される。 いずれの場合も、先のたたみこみの結果は次のたたみこみの入力として使用され る。 のような2次元マトリックスに対しては、その解析は次の2個のマトリックスの 連続たたみこみによって実行することができる。 このような演算は、要求されるマトリックスの解析を達成するために、必要に 応じて自由に反復され、組み合わされる。 任意の源からの2次元イメージ(スチールおよび動画)からホワイトノイズを 効果的に取り除くために使用することができる適応反復(adaptive iterative) たたみこみを使用して本発明のシステムをさらに改善することができる。その結 果として、イメージ構造の端縁部のシャープさを保存しつゝ高周波ノイズを除去 し、またイメージ構造の階調を保存しつゝ低周波ノイズを除去することができる という特徴が得られる。 適応反復たたみこみは非線形で且つ再帰的で、局部イメージの特性を基準とし ている(ベースとしている)。このようなたたみこみはイメージのあらゆるピク セルに供給され、あらゆるピクセルにおいて得られた条件を基準としている。得 られた値は必要に応じて予め定められた方法で変更することができるし、変更し ないままにすることもできる。このような処理は(最終イメージ用として好まし い品質に基づいて)ノイズの全部または一部が除去されるまで再帰的に反復され る。もし必要があれば、適応反復たたみこみを、高速化、感度の向上、繰返し処 理されたイメージの集中等(これに限定されるものではないが)を含む特定の目 的のために変更することもできる。 適応反復たたみこみを計算上有効なものにするために2つの特徴が組合わされ る。第1に、イメージの端縁部を保存するために端縁部の検出は実行されない。 端縁部の検出と保存はたたみこみの固有の特性で、処理されたイメージのピクセ ルの各々に適用される処理ステップにより自動的に行われえる。第2に、適応反 復たたみこみは、イメージに対する局所ランク付け統計学(local rank statist ics)(処理されたピクセルを取り巻くピクセルに対するすべての値のランク付 けと分類)の計算に基づくものではない。 適応反復たたみこみは次の処理ステップによって充分に決定される。第1に、 イメージの境界線上のピクセルがなければ、イメージ中のすべてのピクセルに対 しては、処理されたピクセルに対する値はすべての隣接ピクセル(例えば、3× 3マトリックス中の8個のすべての隣接ピクセル)に対する値に比して連続的で ある。これは次のマトリックスを参照して説明することができる。 上記のマトリックスで、点(・)は2次元イメージアレイ中のピクセルを表わ し、iは処理されつつあるピクセルの位置を表わし、数字1〜8はピクセル(i )の処理中に含まれる隣接ピクセルのすべての位置を表わす。 第2に、比較に基づいて行われ、次の処理ステップが実行される。 1.処理されたピクセルの値V(i)が最大でなければ、その値は変更され ず、次のステップが実行される。 2.処理されたピクセルの値V(i)が最小でなければ、その値は変更され ず、次のステップが行われる。 要約すれば、処理されたピクセルの値V(i)が最大あるいは最小でなければ 、この値は変更されない。 3.処理されたピクセルに対する値が最大(V(i)≧他の隣接ピクセルに 対する値)であれば、その値は上述の第1のステップ期間中に決定された最大値 から減算され(一般の場合、その値はdVで、dV>0)、その結果は(すべて の)隣接ピクセルに対する値と(処理されたピクセルに対して)比較される。新 しい値が隣接ピクセルに対する値よりも大きいかあるいは等しい値であれば、先 の減算および比較ステップが繰り返される。新しい値が隣接ピクセルの少なくと も1つの値に対する値よりも小さくなると、この新しい値が処理されたピクセル に対する得られた値として保持(保存)される。次いで、アレイ中の次のピクセ ルを処理するステップが行われる。換言すれば、処理されたピクセルに対する値 が局在最大値であれば、この値はアレイ中の隣接する少なくとも1個に対する値 (すなわち、処理されたピクセルに対する第2の値)よりも小さくなるまで最大 値(あるいはdV、dV>0)から繰返し減算される。計算された値は処理され たピクセルに対する新しい値として保持(保存)される。 4.処理されたピクセルに対する値が最小値(V(i)≦他の隣接ピクセル に対する値)であれば、その値は上述の第2のステップの期間中に決定される最 小値に加算され(あるいは値dV、dV>0)、その結果は(すべての)隣接す るピクセルに対する値と(処理されたピクセルに対して)比較される。新しい値 が隣接するピクセルに対する値よりも小さいかあるいはその値に等しいと、前の 加算あるいは減算ステップが繰り返される。新しい値が隣接するピクセルの少な くとも1個に対する値よりも大きくなると、この新しい値が処理されたピクセル に対する得られた値として保存される。次にアレイ中の新しい値を処理するため に行われる。換言すれば、処理されたピクセルに対する値が局在最小値であれば 、この値はアレイ中の隣接する少なくとも1個に対する値(すなわち、処理され たピクセルに対する第2の値)よりも大きくなるまで最小値(あるいはdV、d V>0)に繰返し加算される。計算された値は処理されたピクセルに対する新し い値として保持(保存)される。 5.(境界がなければ)イメージに対するすべての値がステップ1〜4に従っ て処理され、捕捉されたイメージは処理されたイメージのその時の反復として保 存される。 6.このような反復処理は、予め定められた基準に適合するまで(例えば、所 定の反復数、処理時間、イメージの集中、ノイズレベルが得られるまで、等)、 繰り返される。 特定の要求に適合するように適応反復たたみこみが修正される。例えば、最初 の数サイクルの期間中処理を高速化することが必要であれば、値dVを増大させ ることができる。これを行なうと、処理されたイメージ中の最終ノイズレベルを 増加させる傾向がある。値dVを動的に(ダイナミックに)変化させることによ り(例えば、ノイズレベルの減少により減少させる)最適の結果を得ることがで きる。 ある場合は、適応反復たたみこみは最終イメージに集中しない。その代わりに 反復の最終回(約n/2ステップ、ここでn=ノイズレベル)に続いて、イメー ジ(すなわち、小さな振幅の端縁部)から有効情報を“除去(ウオッシュアウト )”するためにたたみこみが開始される。このような場合、適当な修正により適 応反復たたみこみをより集中させることができる。このため、上述の第1ステッ プを実行する前に、処理されたピクセルの値がすべての隣接するピクセルの値に 等しいと、その値は変更されないままにされ、次のピクセルが処理される。換言 すれば、処理されたピクセルに対する値が最大でなくまた最小でもなければ、あ るいは隣接するピクセルに対するすべての値が処理されたピクセルに対する値と 同じであれば、処理されたピクセルの値は変更されないままにされる。 集中適応反復(converging adaptive iterative)たたみこみにより、集中が 達成された後、全反復数(奇数あるいは偶数)に基づいて僅かに異なる結果が得 られる。処理されたイメージの解像度(感度)を向上させるために、2回の集中 適応反復を実行し、処理されたイメージの奇数回反復および偶数回反復を平均化 するステップがとられる(それによって奇数回反復および偶数回反復から得られ た結果を保存する)。この処理は必要な回数だけ繰り返され、各処理毎に2回の 反復と2回の反復の平均が行われる。 集中適応反復たたみこみは増大するノイズ(振幅が信号のレベルに比例するノ イズ)を除去するのに有効である。これは、このようなたたみこみはノイズが除 去された(集中した)領域では自動的に停止し、ノイズが依然として存在する領 域では集中を継続することによる。 上述のようなマトリックス解析の改善により、各種のデータ処理関数が容易に なるということが判った。一例として、イメージ処理に対するコンピュータによ る実現化について考察する。一般的に言って、このようなコンピュータによる実 現化はデータの移動(メモリから中央処理ユニット(CPU)へ、あるいはその 逆)および数学的演算(加算、減算、除算、乗算)の2つの主たるカテゴリを必 要とする。本発明によれば、リアルタイムによる動的(ダイナミック)イメージ の処理は、短縮された時間で処理できる改良されたイメージの捕捉に有効な各種 の改良によって可能で、それによって改善された(イメージ処理の)最終的な結 果を得ることができるということが判った。 この際、イメージング・ルーチンにより、イメージの捕捉時間が短縮され、さ らに改善された最終結果が得られることが判った。通常のイメージ処理は各点( すなわち、ピクセル)に対する値の加算、加算された値の数による除算(すなわ ち、平均化)を含むたたみこみを必要とする。各値の必要な加算は上述のマトリ ックス解析を用いて実行することができ、(ステップ数および時間の双方におい て)必要な処理を大幅に減ずることができる。加算が選択された処理精度のレベ ルについて設定された範囲を超過するのを防止するために、一般に必要であると 考えられていた最終除算を省略することによりさらに改善できることが判った。 本発明によれば、この最終除算は加算を適当な範囲に維持するための他のステッ プをとることによって省略することができる。これは、捕捉された一連のイメー ジの時間導関数を計算することによって、あるいは最初低強度のイメージをとる ことによって、捕捉されたイメージから背景イメージを減算することによって達 成される。 説明の都合上、256レベルの8ビットイメージからなるアレイについて考え る。加算および除算の演算を含む通常の処理は、N(すなわち、各ピクセルにお ける加算数)の平方根に相当する倍数だけ信号−ノイズ比を向上させるように作 用し、元の256レベルに等価な精度が得られる。しかしながら、本発明によれ ば、通常の平均化技法(すなわち、領域中の各点に対する値を保持するために、 イメージの特徴中の比較的小さな変化のみがモニタされる)によっては解像(分 解)できなかった各イメージ点(すなわち、ピクセル)中の小さな変化を検出す ることによって同じ結果を得ることができる。このような場合、たとえ(Nによ る)最終除算を省略しても、信号−ノイズ比はNの平方根に維持される。しかし ながら、それにも拘らず解像度を“仮想的に”増大させることによって、元の解 像度の1レベル以下の値をノイズを多く含む信号から抽出することができる。こ れによって、解像度の全増加数は含まれる加算数、Nに等しくなる。 一例として、イメージ中の所定の点に対する正確な値を4.33と仮定する。 さらにその点を囲む3個の連続する値を(イメージの整数表示の256レベルと 存在するノイズレベルによって決定される)4、4および5と仮定する。次に通 常の平均化、すなわち(4+4+5)/3の計算を行い、その結果は四捨五入さ れて(まるめられた)4になる(整数で表わされる精度は中間値を作らないため )。(最後の除算を行わない)本発明による処理によって、正確な値の3倍(4 .33*3=12.99)に極めて近い値である13(=4+4+5)の値を生 成する。ノイズが普通に分布していると、この値によって得られた値は常に加算 数によって逓倍された真の値に常に近似しており、次いで解像度を所望のレベル に仮想的に向上させることができる。 上述の改良を次のような例に適用した場合に最大の効果が得られる。 1)元のイメージが比較的ノイズを伴う場合。 2)イメージの背景を減算するために装置が構成される場合。 3)低強度のイメージ(このようなイメージの性質あるいは背景の減算によ る)用に装置が構成される場合。 4)計算に関する設備が浮動点計算ではなく整数を用いている場合。 信号中のノイズの存在は有効な動作を実行する上で重要である。それは、ノイ ズの振幅を有効に解像するためには、ノイズレベルはイメージの精度よりも1ビ ット以上超過しなければならないからである。無視し得るノイズを呈するイメー ジの精度は上述のイメージング・ルーチンによって実質的に影響を受けない。動 的(ダイナミック)イメージ中の比較的小さい変化が目に見えるようにするため には背景の減算は重要である。もし背景の減算がなければ上記の比較的小さい変 化はイメージ中の非均一性によって隠蔽されてしまう。また、前述の本発明の改 善されたシステムにより、背景を減算するとイメージをより高い解像度で可視化 するためのシステムの要求を減少させることができる。浮動点あるいは整数技法 のいずれかによっても同様な精度が得られる。しかしながら、浮動点技法を用い ると速度が著しく低下する傾向があり(すなわち、Intel“80386”および“8048 6”の各プロセッサ(処理装置)では、速度は通常の速度の10分の1に低下し )、また必要とするメモリは増加する(すなわち、4乃至10倍)という欠点が ある。代替法として、(浮動点処理に要する速度を適当に速めるために)浮動点 イメージ処理用の専用のハードウエアを使用することもできる。しかしながら、 これを実現するためには必然的にコストが相当に高くなる。 イメージング・ルーチンは一般に次の一連のステップからなる。第1に、適当 な値についてのすべての必要な加算は、実行された加算回数による対応する除算 なしに、空間領域および時間領域において捕捉されたイメージの各点について引 出される。第2に、背景イメージの減算が行われ、あるいは導関数が求められる 。より良好な結果を得るためには、減算ステップに先立って空間領域および時間 領域の双方において同じ処理を施す必要があり、この処理の結果として背景イメ ージからノイズが除去される。第3に、必要に応じて最終イメージの範囲を調整 するためのステップがとられる。 最終イメージの範囲の調整はすべての場合に必要というわけではない。しかし ながら、適切であると考えられる場合は、このような調整は一般に通常の値Nよ りも小さい選択された値で得られた加算値を除算することによって達成される。 最終イメージの範囲を調整するために使用される値は、現在の(中間の)範囲を とるように選択され、それを有効なイメージの範囲に逓降する(例えば、10ビ ットイメージは4による除算を実行することによって8ビットイメージに逓降す る)。しかしながら、背景イメージの減算あるいは導関数を得ることは、一般に このような調整が不要になるように充分に小さい加算値を生成する。背景の減算 によってイメージの範囲が好ましくない低レベルに減少することがある。このよ うな場合は、より高いNの値が必要であれば、イメージング・ルーチンは範囲を 拡大するように動作することができる。 次に説明するように、改良された時間的濾波のために、捕捉されたイメージの 減算のための時間的濾波ルーチンが設けられている。動的(ダイナミック)イメ ージの通常の時間的濾波はN個の連続するイメージに対して次の式に従って行わ れる。 V(i)=(ΣI(i−N−k))/N (16) ここで、kは0からNまで変化する値。 iはその時のイメージに対する連続するイメージのインデックス( 指標)(得られたV(i)は表示されるべきその時の平均化されたイメージであ る)。 I(i)はフレーム・グラバ(frame grabber)から受信された、 あるいはバッファ中に蓄積されたイメージである。 一例として、本発明による時間的濾波についてはN=4の場合について説明す る。これは、次の(17)式に従って処理される通常の時間的濾波と比較される 。 V(i)=(I(i)+I(i−1)+I(i−2) +I(i−3))/4 (17) このような式のコンピュータによる実現には4回のメモリ移動と4回の数学的 演算(3回の加算と1回の除算)を必要とする。 本発明によれば、既存の情報を利用して簡単化され、メモリの移動回数および このような計算に要する数学的演算回数を減少させることができる。一例として Nの次の値、すなわちV(i+1)に対する時間的濾波はI(i)+I(i−1 )+I(i−2)を含む既存のパラメータに基づいて行われる。その結果、後続 する値の計算は先に存在するデータによって促進される。また、Nにより最後に 行われる(平均化を完結するための)除算を、時には省略することができること について検討する。従って、本発明による時間的濾波は次の(18)式によって 行われる。 V(i+1)=V(i)+I(i+1)−I(i−3) (18) このことから明らかなように、V(i+1)を決定するためには、その時の( 最新の)値の加算と、V(i)の先の計算から引き出された最も古い(最も新し くない)値の減算のみを必要とするにすぎない。これには2回あるいは3回のメ モリの移動(先行する結果がCPUレジスタに蓄積されておれば2回)と2回の 数学的演算を必要とするにすぎない。(18)式は任意の数Nに対して有効であ り、その結果としてメモリ移動数および数学的演算数はNに依存しない(通常の 計算に対しては、この数はNに比例する)。Intel“80386”および“80486”の ような市販の汎用のプロセッサは、一般にこのような加算あるいは減算のような 数学的演算を行なうのに必要なメモリの移動の少なくとも2倍のメモリ移動を必 要とする。このことを考慮すると、本発明による時間的濾波に対する従来の時間 的濾波の効率(K)は、同じ結果を得るのに必要な時間の比として計算すること ができ、次の(19)式によって表わされる。 K=(2N+N)/(2×2+2)=N/2 (19) ここで、2Nはメモリ移動に必要な時間の単位(ユニット)数を表わし、Nは 数学的演算に必要な時間の単位(ユニット)数を表わす。その結果、本発明によ る時間的濾波に対しては、メモリの移動に4回の単位を必要とし、数学的演算に 2回の単位を必要とする(すなわち、N=4の場合は効率は2倍以上になり、N =32の場合は16倍以上の効率が得られる。 1組の動的(ダイナミック)イメージに対して、捕捉されたイメージから背景 を減算するために背景ルーチンが設けられており、この背景ルーチンは(規格化 のために)先行するイメージあるいはその組の選択されたイメージのいずれかの 減算を含むことができる。通常の背景の減算は次の(20)式に従って実行され る。 V(1)=I(i)+SHIFT−I(0) (20) ここで、 V(i)は減算後のその時のイメージを表わし、 I(i)はフレーム・グラバからのその時のイメージを表わし、 SHIFTは(可視点に対する)減算の結果に加算される定数を表わす。この 場合、I(0)>I(i)である。 このような計算をコンピュータで実現するためには、3回のメモリの移動と、 2回の数学的演算(加算)を必要とする。次いで、これには8時間単位(3×3 +2)を必要とする。 本発明によれば、背景の減算は、時間的濾波が行われた時、および各メモリの 移動に対して、その時間的濾波のその時の結果(すなわち、(18)式の値V( i))がバッファ中に存在するということの認識に基づいて実行される。その結 果、このバッファ中の内容に対して1回だけ次の(21)式の値を加算する必要 がある。 N*(SHIFT−I(0)) (21) これは捕捉されたイメージの各点に対する定数である。従って、その結果生じ た増分値は捕捉されたすべてのイメージの定数成分であり、(シーケンス中の最 初のイメージに対する)ルーチンの初期設定期間中に都合よく導入される。その 結果、(初期設定に後続する)ただ1回の演算さえも必要とせず、各イメージに 関して自動的に背景の減算を行うことができる。その代わりとして、V(i)を 引き出すために所望の値SHIFT−I(0)が(18)式中に導入される。本 発明による捕捉されたイメージからの背景の減算が、先ず時間濾波を実行し、次 いで引き出された一定値、すなわちN*(SHIFT−I(0))をバッファが 含むV(i)のその時の値に加算することによって行われる時に特に有効である 。 ある点において、もとのイメージを可視化するために背景の減算を行わずに処 理を継続する必要のある時は、その時V(i)を含むバッファから値N*(SH IFT−I(0))を減算することによって上記の処理を行うことができる。 イメージに対してたたみこみを実行するために空間的濾波ルーチンがもうけら れている(この場合、N×N素子のフラット・カーネル・マトリックスである) 。このために、イメージ中の各点に対する絶対値は引き出された平均値(近傍の 点を用いたたたみこみ)と置換される。一例として次の3×3(N=3)のマト リックスに対するイメージ素子I(2,2)のたたみこみについて考察する。 次の(23)式に従って通常のたたみこみが実行される。 V(2,2)=〔I(1,1)+I(1,2)+I(1,3) +I(2,1)+I(2,2)+I(2,3) +I(3,1)+I(3,2)+I(3,3)〕/9 (23) あるいは、一般的な形で表わせば、 V(i,j)=(ΣI(k,l)/9) (24) ここで、k=i−1、・・・i+1、 l=j−1、・・・j+1、 各素子のたたみこみのために、このような式をコンピュータで実行するには、 9回のメモリの移動と9回の数学的演算(8回の加算と1回の除算)を必要とし 、完結するのに40時間単位(9×2+8+14)必要とする。2の幕乗でない 整数による除算には、汎用の Intel“80386”プロセッサでは14時間単位を必 要とする。 本発明によれば、空間的濾波ルーチンは、これが点のデータではなく(各点に 対する)イメージデータの列に適用されることを除いて時間的濾波と同様である 。空間的濾波ルーチンは、(3×3マトリックスに対して)先行する点V(i, j)用に引き出されたたたみこみは、既に次の点のたたみこみに必要な((22 )式のマトリックスの第2および第3の列によって表わされる)6個の点加算を 含んでいるという事実を利用している。 説明のために隣接する点V(2,3)のたたみこみを考えると、次のマトリッ クスで表わされる。 V(2,2)とV(2,3)に対するマトリックス中に含まれるデータの点相 互間の相関性は(22)式と(25)式に示すマトリックスの比較から明らかで ある。本発明によれば、空間濾波ルーチンは先のたたみこみの結果を利用してお り、次の(26)式を使用して次の点の値を計算する。 V(i,j+1)=V(i,j)+ΣV(k,j+1) −ΣV(i.j−1) (26) ここで、k=i−1、・・・i+1 加算においては、空間濾波ルーチンは、その時のデータ点に対する値に新しい 列のデータ加算し、またその時のデータの点に対する値から最も古い列のデータ を減算するように演算する。この場合も、このルーチンの部分としてNによる除 算は必要でない。その結果、所望のたたみこみを得るために6回のメモリの移動 と6回の数学的演算を必要とするに過ぎず、完結にわずか18時間単位を必要と するにすぎない。3×3マトリックスについての通常の空間的濾波に対する得ら れた効率(K)は、K=40/9、すなわち2.2である。N×Nマトリックス についての効率は次の(27)式によって引出される。 K=(2×N×N+N×N−1+14)/(2×2N+2N) =N/2+13/6N (27) Nの代表的な値に対して、得られた効率(K)は、N=3の時は、2.22、 N=5の時は、N=7の時は、3.8である。 捕捉されたデータをリアルタイムで処理することができる本発明による改善さ れたシステムは、上述の改善されたシステムだけでなく、使用された幾つかのル ーチンの改善されたシーケンスの結果を含む。説明のために図2(図2Aおよび 図2B)を参照すると、これには通常の基準でデータのフレームを処理する時間 (図2A)と本発明による処理時間との比較が示されている。また、本発明のル ーチンを構成するフローチャートが示された図3を参照する。 (図1のデータ処理システム3の部分を構成する)通常のビデオ処理は、時間 全体にわたってイメージ(すなわち、フレーム)を順次に捕捉するために、ビデ オ信号源(図1のイメージ1)に関連あるいは連結しているフレーム・グラバ1 0使用している。フレーム・グラバは、その時のイメージを受信するために自動 的に切り換えられる対をなす独立したフレーム・バッファ11、12と結合して いる。このような切換えはフレーム・グラバを具えた駆動回路(図示せず)によ って実行され、適当な制御プログラムにより調整される。図2Aを参照すると、 制御プログラムは2個の独立したフレーム・バッファの第1のもの11における 入力14で開始され、次いでこの動作が完結するまで休止する。これに次いで、 満たされた(第1の)バッファは15においてプログラム13によってアクセス され、その内容は処理される。この期間中フレーム・グラバ10は、捕捉された 次のフレームの開始時に生ずるビデオ同期信号を受信するのを待つ。次いで、次 のフレーム16は2個の独立したフレーム・バッファの第2のもの12に対する 入力として供給される。これに引き続いて17において満たされた第2のバッフ ァの内容が処理される。この処理は本来実質的にシーケンシャルで、全体の処理 速度(処理率)はイメージの入力に要する時間と入力イメージの処理に要する時 間の和(すなわち、T(1)+T(2))によって特定(制限)される。 本発明によれば、図2Bを参照すると、イメージの処理は、可能にされ且つ上 述の処理ルーチンによって与えられた改善された速度(処理速度)によって実際 に支持された演算サイクルの有効部分期間中に遂行される。このため、2個の独 立したフレーム・バッファの一方に存在するデータ(フレーム18)は、11′ におけるその時のフレーム・バッファへの入力に対する後続フレームの受信を待 つ間に処理される。この期間中、プロセッサ13は(フレーム・バッファ11′ 、12′から)現在のデータをアクセスし、次のフレーム19が12′の残りの フレーム・バッファに蓄積されている間に、先の演算サイクル中に蓄積されたフ レームを処理する。次いで、プロセッサ13は、元のフレーム・バッファ11′ が次のフレームで満たされている間にフレーム19に関して動作し、以下同様の 動作が繰り返される。 これによって行われる処理は部分的に並列で、イメージ処理速度(処理率)は 捕捉されたフレーム(イメージ)を処理するために必要とされる時間、すなわち 時間T(2)のみによって制限される。その結果効率(K)は次の(28)式に よって与えられる。 K=(T(1)+T(2))/T(2)=1+T(1)/T(2) (28) ここで、T(1)は1フレームの入力に要する時間、T(2)はそのフレーム を処理するのに要する時間である。 現在の大抵のアプリケーションでは、一般にT(1)は1/60秒、T(2) は1/30で、その結果効率(K)は1.5程度である。第2のフレームが処理 される毎に毎秒30フレームの割合で可視化される。その結果、(T(2)がT (1)に等しいかこれよりも小の時)最大効率K=2が得られる。このことによ り、捕捉されたイメージは毎秒60フレームの割合でリアルタイムで処理される 。実際の速度(率)は期間T(1)によってのみ決定される。システムの能力を 超過した場合は、後続する同期信号はビデオプロセッサによって遅延される。し かしながら、この遅延は、本発明によって達成される増強された動作速度により 実際には不必要である。 コンピュータを基礎とするイメージ処理のうちで、とりわけ最も時間を必要と する事項は各イメージを構成する2次元アレイの反復処理を制御するために使用 されるプログラム“ループ”であるという点に注目する必要がある。必要な数学 的演算およびメモリの移動に加えて、各ループはさらに、点(ポイント)インデ ックス・カウンタの増加、その時の点インデックスと許容された最大値との比較 、ループの開始点へのジャンプを含む少なくとも3回の補助演算を含んでいる。 汎用のIntel“80386”プロセッサでは、これらの演算に少なくとも11時間単位 (2+2+7)を必要とする。(点(ポイント)当たりの)補助演算数は、前述 のように、全イメージ処理ルーチンのかなりの部分を表わす時間的濾波(6単位 )と空間的濾波(18単位)に必要とする演算数に匹敵する。 次に図3を参照して説明するように、本発明によれば、時間的濾波、空間的濾 波、および新しく入力したイメージの同じループ中のバッファへの移動を組み合 わせることによってループ演算の総数を減少させることができることが判った。 この際、フレーム・グラバ(図2の参照番号10)とフレーム・バッファ(図2 の参照番号11、12)はステップ20において初期設定される。バッファが満 たされると、捕捉されるべき最後のフレームはステップ21において適当なフレ ーム・バッファ(例えば、バッファ11)から時間的アレイIM1に移動させら れる。捕捉されるべき次のフレームはステップ22において適当なフレーム・バ ッファ(例えば、バッファ12)から自由アレイ(freed array)IM2に移動 させられ、またステップ23において新しいフレームがフレーム・グラバ10に 導入される。このようにして得られたデータを処理するための次のステップ24 がとられる。すべてのステップは単一のループ(すなわち、ループは26、28 に復帰することに注目する必要がある)で実行される。初期設定期間中、このよ うな処理は(差IM1−1M2を用いて)最初の2本のデータラインの通常の時 間的濾波を含んでいる。最後から3本目のデータラインについては、このような 処理はライン(i+1)の時間的濾波、ライン(i)の空間的濾波、および処理 されたフレームを得られたバッファへ移動することを含む。ライン番号(i)は 増加され、ステップ24における組合わせ処理は完結する。 ステップ24における処理に続いて、得られたバッファは、ステップ25にお いて表示のためあるいは処理されたデータを利用するために適当なトランスジュ ーサ(例えば、VGAスクリーン)へ移動させられる。もし継続する処理が必要 であれば、フレーム・グラバ10から受信した次の同期信号(ステップ27で検 出される)に応答して、処理は26で指定されたループの捕捉部分へ戻る。もし 、フレーム・バッファ11、12の再構成が必要であれば(例えば、異なるイメ ージを受信する)、処理は28で指定されたループの捕捉部分に戻る。この場合 、このような結果をステップ30を実行するためのコマンドキーの付勢に応答し て、バッファの再構成がステップ29において可能になる。いずれの場合も1つ のループのみが指定される。 従来の処理では時間的濾波と空間的濾波とを別々のループで実行していた。こ れは、時間的濾波の結果を空間的濾波の入力として作用するので、上記時間的濾 波を予め計算しておく必要があるからである。これは、イメージ中の各所定のポ イント(点)に対して、通常のルーチンでは先行するラインと後続するライン( 例えば、N=3に対して、(23)式を参照)の双方からのデータを捕捉する必 要があるからである。これに反して、本発明による処理用としては、イメージの 最初の2本の線のみが別のループで時間的濾波(すなわち、初期設定(initiali zation)のような)を受けるにすぎない。その後、捕捉されたイメージの最後か ら3本目のラインの処理には、先ず時間的濾波を用いて次のラインに関する演算 を行い、次いでその時のラインの空間的濾波用に先に計算された(この場合3本 の)ラインを使用することにより、時間的濾波と空間的濾波の双方が同じ(主) ループで実行される。このような処理により得られる効率(K)は次の(29) 式によって表わされる。 K=(2*X*T*n)/((N−1)*X*n+(Y−N+1)*X*n) =2 (29) ここで、XおよびYはイメージ中の水平および垂直のポイント(点)の数を 表わす。 N=空間濾波用マトリックスのサイズであり、 n=各ポイント(点)用の補助ループの演算数であり、 2=2個の別々のループ中の補助演算用の係数である。 上記の効率は、捕捉されるべきイメージのサイズ、確立された空間的濾波マト リックスのサイズのいずれにも依存しない。いずれの場合も、同じループにおけ る時間的濾波と空間的濾波を処理する効率は常にK=2である。 全体の効率および改善された処理速度(率)を表わす指標として、本発明によ りイメージを処理するために必要とする全時間単位を計算することができる。こ れには、時間的濾波、背景の減算、空間的濾波および補助ループの演算用の各時 間単位数が含まれている。2の羃乗の数に基づく通常の方法における処理に対し ては、その結果は次の(30)式で表わされる。 N1=(8+4)+(6+2)+(18+9)+(22) =69 (30) 補助整数による除算を用いた通常の処理に対しては、その結果は次の(31) 式で表わされる。 N2=(8+3+14)+(6+2)+(18+8+14) +(22)=95 (31) 本発明の処理に対しては、次の(32)式によって表わされる。 N3=(4+2)+(0)+(12+6)+(11)=35 (32) これらの数値は(N=4に対する)時間的濾波、および3×3マトリックスの 空間的濾波の特性である。このような処理により得られる効率(K)は、1.9 7対2.71である。 一般には、本発明によるイメージ処理に要するコンピュータによる演算数の節 約は次の(33)式によって表わされる。 S=X*Y*F*n (33) ここで、XおよびYはイメージの寸法を表わし、 F=要求されるフレーム速度(率)であり n=節約された演算数である。 毎秒30フレームにおける128×80の特性イメージで、n=34に対して は、これにより10.2Mop/s(毎秒当たりの動作数を100万単位で表わ したもの)の節約率(S)が得られる。nの値をn=60に増加させると、18 .0Mop/sの節約率(S)が得られる。これらのパラメータは、本発明によ り省略することができるイメージ処理タスクの部分を形成するコンピュータの演 算数を表わす。 このような改良を施して得られた全体の性能データ(performance data)と改 良を施さないで得られた全体の性能データとを比較することにより、達成可能な 改良についてさらに明確に説明することができる。図4は、現在市販されている 3個の装置と、本発明によるシステムの2つの各別の実施例(製品501MはIn tel“40486/66”プロセッサを用いて構成されたソフトウエアを基準とした(sof tware-based)製品であり、製品1001MDは同様な改良を施すために提案さ れたハードウエアを基準とした(hardware-based)製品である)を含む各種の1 6ビット・プロセッサボードの性能を比較した表を示す。この表から明らかなよ うに、本発明によれば、個々の性能、特に組合わせにおいてが全体の性能が著し く改善されていることが判る。 上述の点を実証するために、試験装置において、汎用フレーム・グラバ(制御 ビジョン・モデル CV−512)を Intel“80486/66”プロセッサに結合して 、ビデオイメージをリアルタイムで処理した。その際、128×80のピクセル ・イメージは、イメージ(256×80のピクセルのアレイとして)ディジタル 化され、フレーム・グラバからメモリへと転送された。その際、各ライン上の隣 接した2つのピクセル毎に平均化処理することによってイメージが128×80 に圧縮された。各イメージから背景(予め記憶されたイメージ)を減算した後で 、フラット・カーネル・マトリックス(またはピラミッド形マトリックス、1、 2、3、2、1)で時間的フレーム平均化処理(2、4、8、32のイメージ) を実行して、3×3のフラット・カーネル・マトリックスの形で空間的たたみ込 みを実行した。その結果得られたイメージは、解像度128×80のVGAスク リーンに表示された(または、イメージを256×160にズーミングしてVG Aスクリーンに表示された)。上述の機能のすべてを組み合わせて、33ミリ秒 /フレーム以下(30フレーム/秒以上)で実行された。同じ試験装置を用いて 、256×160のピクセルのビデオイメージを処理した。イメージをディジタ ル化し、フレーム・グラバから主メモリへ転送した後、各イメージから背景(予 め記憶されたイメージ)を減算した。フラット・カーネル・マトリックスで時間 的フレーム平均化処理(2、4、8のイメージ)を実行して、3×3のフラット ・カーネル・マトリックスの形で空間的たたみ込みを実行した。その結果得られ たイメージがSVGAスクリーン(256×160のピクセル)に表示された。 上述の機能の全てを組み合わせて、40ミリ秒/フレーム以下(25フレーム/ 秒以上)で実行された。 次の表3は本発明によって達成できるイメージ処理の改善状況を定量的に示し たものである。例えば、上述のルーチンを実行するとき、処理速度が次のように 増大することがIntel“80486”プロセッサで実証された。 同じプロセッサを用いたところ、次の結果が得られ、種々のイメージ処理タス クの実行期間中、ピクセル当たりの演算数が減るという形で達成された計算効率 の改善が実証された。 各種の如何なるアプリケーション(応用例)においても本発明により改善され たシステムにより効果が得られる。しかしながら、特に注目しなけらばならない 1つの応用例は、イメージの圧縮(compression)/反圧縮(decompression)ルーチ ンの改善であり、これは上述の改善されたシステムに対する潜在的なアプリケー ションのみならず、改善されたルーチンをさらに他のアプリケーションにも容易 に適用することができる。一般的に言って、既存のイメージ圧縮(compression) /反圧縮(decompression)(CODCE)ルーチンはノイズからイメージを回復 するための本発明のイメージ処理ルーチンの特性によって効果を発することがで きる。 このために、本発明によれば、まず第1に、特定レベルのノイズ(すなわち、 ディザリング(dithering)マトリックス中の反復パターンによって発生されるラ ンダム・ノイズあるいは疑似ノイズ(pseudonoise)の予め定められたマトリック ス)を、圧縮を受けるイメージに加算するステップがとられる。このような目的 に必要なノイズの振幅は達成される圧縮レベルに基づく除算係数(N)によって 決定され、またNで除算された後のこのようなノイズの最大値が強度の約1.0 乃至1.3単位であるべきであるという要求に応答する。 次に、加算されたノイズをもったイメージは除算係数N(例えば、8、16、 32、128・・・)で除算される。その結果、元のイメージ(例えば、8ビッ トの精度を有する)はビット/ピクセル比が減少した(例えば、ピクセル当たり 5ビット、4ビット、3ビット、2ビット、あるいは1ビット)イメージに変換 される。その結果得られたイメージはこのような処理によって高度な圧縮が可能 である。 最後に、除算によってゼロにセットされたすべてのビットを除去するために隣 接するバイトをスクイーズあるいは圧搾(squeezing)することにより得られたイ メージを複数のステップで圧縮する。その結果として、得られるイメージ(1ビ ット、2ビット、4ビット)の精度に対して、1次圧縮は8、4、2になる。さ らに圧縮が必要な場合は、得られた結果に対して周知の通常の圧縮が施される。 これは、ランレングス符号化(RLE)圧縮、繰返しバイトの群をそのバイトの 値およびその群中の同じバイトの計数値と置換すること、あるいはLZW(Lempe l、Ziv、Welch)圧縮を含むことができる。 上記の圧縮ルーチンを構成するのに必要な演算数は、加算ステップ用のピクセ ル当たり1回の演算、後続する除算用のピクセル当たり1回の演算、および隣接 ピクセルのスクイーズ用のピクセル当たり約2回の演算を含む。RLEおよびL ZW用のピクセル当たりの演算数は1よりも相当に大である。しかしながら、処 理されるピクセルの総数は次の1次圧縮より遙かに小さくなる(例えば、2倍も 、4倍も、あるいは8倍も小さくなる)。その結果、最大8倍の圧縮比に対して は、ピクセル当たりの総演算数は4になる。通常の Intel“80486/66”プロセッ サに適用すると、256×160ピクセルかなる8ビット・ビデオイメージの圧 縮においてフレーム当たり5ミリ秒(5ミリ秒/フレーム)の圧縮率が得られた 。 同様にイメージの反圧縮(decompression)も行うことができる。通常の反圧縮 ルーチンを反対の順序で使用して(例えば、使用するならば、LZE、REL) イメージを圧縮する。次いで、(圧縮期間中のイメージのスクイーズと反対の態 様で)より高いビットをゼロにセットすることにより拡大される(例えば、8バ イトに)。最後に、カーネル・マトリックス(例えば、非圧縮イメージに対する 所望の最終解像度に基づいて、3×3、4×4、あるいは5×5)において、( 除算なしに)たたみこみが実行される。反圧縮に必要な総演算数は6で、8バイ トに拡大するためのピクセル当たり2回の演算、たたみこみを実行するためのピ クセル当たり4回の演算をふくむ。通常の Intel“80486/66”プロセッサに適用 すると、256×160ピクセルからなる8ビット・ビデオイメージの反圧縮に おいてフレーム当たり13ミリ秒(13ミリ秒/フレーム)の圧縮速度が得られ た。 上述の改善されたシステムは、各種のハードウエア/ソウトウエアに適応され る技術によって、および各種のデータ源から得られるN次元アレイ(マトリック ス)のディジタル処理を改善するのに有効である。本発明の処理ルーチンは、ソ ース信号の分光特性(spectral characteristic)および寸法上の特性(dimensio nal characteristic)により、あるいは使用される信号捕捉ハードウエアの特性 により制限されることはないので、上述のルーチンは、ディジタル信号処理が科 学、薬品、工業、遠距離通信、商業、および娯楽(これらに限定されないことは 云うまでもない)を含む役割を演ずるような応用例を含んでいる。さらに、上述 の処理ルーチンの能力により、コスト、時間、電力要求は勿論、より高い解像度 、特に薬品の分野において低い危険性等に関する問題を含む各種の応用分野にお ける信号処理に共通する問題を取り上げ、これを解決するに当たって大きな効果 が得られる。 その結果、ノイズを多く含む音声信号の処理のような第1の分野において、ま た、静止および動的の双方の(ビデオ)2次元イメージの処理のような第2の分 野において特徴を発揮することができる応用例を含む各種の信号処理分野におい て、本発明により改善されたシステムは非常に有効であることが判った。特に後 者の分野では、特に注目されるマルチメディアによる遠距離通信分野、遠隔会議 、インタラクティブ・ビデオ(interactive video)においてその有効性が認めら れた。本発明により改善されたシステムが適用できる他の信号処理の応用例とし て、2次元で、低照度の赤外線イメージの処理を含むモニタや安全保証の適用例 のあることが判った。このことを実証するものとして、(例えば、モニタ用の) 低レベルで動的イメージを捕捉するために市販のCCDビデオ・カメラを使用し た。この際、イメージの表示精度が8ビット、256グレースケールから3乃至 5ビット、32グレースケールに低下するようなかなり薄暗い周囲光の下でイメ ージが捕捉された。これらのイメージは8ビット、256グレーレベルに回復さ れ、解像度は10倍乃至30倍に改善され。赤外線イメージの処理の適用例には 、臨床および研究の分野での使用のような生理学上のパラメータの遠隔モニタに おける緊急の用途が含まれる。また、応用例には医学上のイメージ捕捉(MRT 、PET、超音波)、工業用イメージ捕捉(ロボットによるモニタ、機械による モニタ、動き検出、および非破壊試験)が含まれている。本発明の処理ルーチン を使用することにより得られる解像度の改善、速度の向上、さらに改善された圧 縮性により、上記のようなすべての応用例において改善された効果の得られるこ とが判った。一般的に云えば、感度は、静止イメージの場合は10倍乃至30倍 向上し、動的(ダイナミック)イメージの場合は10倍乃至100倍向上した。 本発明の改善されたシステムによって得られ、その改善が実証されるその他の 応用例として、市販されているCCDビデオカメラと静止イメージと同じ通常の 特性をもったX線フイルムを使用したX線イメージャがある。X線放射の減少を シミュレートするために、CCDカメラの絞りを閉じた(イメージの強度は10 倍乃至25倍に低下し、解像度は256グレーレベルから10乃至25グレーレ ベルに低下した)。ディジタル化されたX線イメージを256のグレーレベルに 回復するステップをとることにより、(それぞれ3×3および5×5マトリック スのたたみこみを用いて)解像度は10倍乃至25倍改善された。 本発明により改善されたシステムに適した重要な応用例としてリアルタイム、 高解像度、赤外線イメージングのインプリメンテーシン(構成)がある。本発明 の改善されたシステムを市販の赤外線ビデオカメラ(例えば、モデル522L、 760L、およびインフラカム(Infracam)を含むインフラメトリックス(Infra metrics)IRカメラ)と組み合わせることにより、空間的に分布した0.001 ℃というような小さな温度変化を分解する分解能を発揮し、感度は従来の技術を 用いて通常達成可能な値(一般に0.1℃)から大幅に(すなわち、10倍乃至 100倍)向上することが確かめられた。イメージの表示および記録に関して云 えば、このような解像度は毎秒30フレームあるいはそれ以上の大きさでリアル タイムで達成可能である。このような本発明による改善されたシステムは各種の 実際の応用例に適用することができる。このような応用例はすべて人間や動物の 皮膚の表面温度や微小循環(microcirculation)のパターンの急速な変化を連続 的に且つリアルタイムでモニタするのにより必要な能力を具えた臨床医薬を提供 することができるという特有の有効性を具えている。これに対して従来は、臨床 医薬だけでなく製薬工業においてもその処理において本発明と同等なリアルタイ ムによるモニタ能力を実現することができなかった。上記の能力を具えた本発明 の特に重要な応用例として各種の薬剤に対する比較生理学上の反応の測定がある 。これらの応用例には、関節炎、レイノー症候群(Raynaud's syndrome)のよう な循環系の問題、さらに表面の血行力学の不調とそれに伴う温度パターンの不調 によってもたらされる各種のANSおよびCNSに対する薬剤の反応のモニタが ある。 上述の点を実証するに当たって、市販の赤外線ビデオ・カメラを薬剤の試験 で使用して、実験用ラットでの薬剤に対する脳血液の流れおよび新陳代謝の反応 をモニタするに時に本発明の処理ルーチンを使用すれば、高感度が得られるとい う効果のあることが証明された。試験された応用例には、ペニシリン結晶を局部 的に投与して癲癇に似た作用を誘発させ、ネンブタール(Nembutal)およびフエ ノバルビタル(Phenobarbital)のような薬剤を投与した後の昏睡状態の変化を モニタすることを含んでいる。このような応用例においては、本発明による時間 的および空間的に改善されたシステムにより、投薬に対する(大脳)皮質の連続 する反応の変化のリアルタイムの観察が可能になり、また温度の分解能が従来の システムの能力に比して10倍乃至100倍向上した。 同様に、上述の改善されたシステムにより、1あるいはそれ以上の接触点から 取出された温度を測定していたのとは異なり、連続的に分布された表面温度のパ ターンを非接触でモニタすることにより、高分解能(0.001℃)が可能にな った。本発明のシステムの各能力を組み合わせることにより、循環および温度の 不安定(例えば、レイノー(Raynaud's)病:偏頭痛)を含む各種の障害に対する 有効な生物フィードバック療法に対する新しい基礎を与えることができる。この ことに関しては、本発明によれば、上述のリアルタイムの観察により得られる効 果、生物フィードバックにおいて特に重要な能力により得られる効果のすべてを 利用することができ、治療効果がさらに向上する。 リアルタイムでしかも高解像度でモニタすることができるという本発明の能力 を用いて始めて実現することができる、市販の赤外線ビデオ装置による対象物を (非接触的に)遠隔的にモニタすることが可能であるという点は、上述の効果を 得る上で非常に重要である。次に、体内の温度や微小循環(microcirculation) の変化を連続的にモニタする本発明のこのような技術のアプリケーション(応用 例)について示すが、アプリケーション(応用例)は以下に示すものに限定され ないことは云うまでもない。 このような応用例の1つに体温低下補助を伴う心臓手術中に脳の温度をモニタ する場合がある。この応用例では、(大脳)皮質の温度((大脳)皮質の完全な 回復のために予め定められたレベル以上に上昇することは許されない)を、非接 触状態でしかも高分解能で連続的にモニタすることが可能になる。従来は、この ような機能を達成する唯一の手段としてサーミスタ・プローブを使用するしかな かったが、サーミスタ・プローブは組織の表面に直接接触させなければならなか った。このような直接接触プローブは不便で医学的に危険であるばかりでなく、 接触用リード線が外科的処置の妨げになる可能性があった。さらに、各サーミス タは、それが直接接触している組織に対してのみ温度測定が可能である。これに 対して本発明による改善されたシステムを使用すると、頭部全体の温度の高解像 度イメージを得ることができ、また子豚のモデルを使って心臓手術を行っている 間にその脳から得られるイメージを処理する機能をもった市販の赤外線カメラを 使用した実例では、非処理イメージに比して感度が10倍乃至20倍向上したこ とが確かめられた。 さらに別の応用例として重体患者の保護観察やその他の広範囲の患者の保護観 察施設において、生理学上のパラメータを連続的に且つ遠隔モニタする場合があ る。本発明のシステムによれば、身体表面の赤外線イメージを高分解能を持って モニタすることができるから、実質的に任意の周囲光レベル(完全な暗黒を含む )においても各種の非常に重要な患部の生理学的パラメータを遠隔的に且つ非侵 入的にアクセスすることができる。とりわけ、これらの測定項目には顔面や手足 の反応、呼吸、心拍数、および頭部の温度および/または微小循環パターンがあ る。予備研究の結果、後者の現象は食物の摂取や睡眠のような生理学的状態の違 いを反映することが判った。さらに他の現象についての研究によって、黒色腫あ るいはこれに類似したものの非接触イメージング、幼児期における非接触生理心 理学的モニタ、およびリューマチ性関節炎のリアルタイム赤外線モニタを含む応 用例においても、本発明による改善されたシステムにより同様な効果が期待でき る。さらに、ラパロシコピー(腹腔鏡検査)、硬質および軟質組織のコンピュー タ補助イメージング、他の外科的補助モードを含む各種の試験処理にこのような 技術を適用できる可能性のあることが期待される。上述の点を実証するために、 市販の赤外線ビデオカメラを集中治療状態における幼児の呼吸の速さをモニタす るために使用した。鼻孔から吐き出された空気の温度変化をモニタするためにカ メラを幼児から多少離して設置した。その結果、カメラの感度の限界は0.1℃ から0.01℃乃至0.005℃に向上した。つまり、カメラの感度は10倍乃 至20倍向上した。 本発明の改善されたシステムは医療分野以外の各種の分野にも適用することが できる。本発明のシステムは、例えば、各種の工業分野における非破壊試験、負 荷がかかった状態で印刷回路基板や集積回路中の欠陥のある接合部および欠陥の ある素子から放射される放射線あるいは熱のパターンのモニタ、従来は得られな かったイメージを印刷回路基板や集積回路の製造期間中の品質制御において有効 にするための赤外線顕微鏡システムの拡大、各種の電機製品の製造中に、正規の 動作温度パターンからのずれを連続的にモニタすることにより所謂“焼き付け( burn-in”等にも応用することができる。本発明によるシステムは、既存の装置 は勿論のこと、将来作りだされる装置にも適用できることは、当業者には明らか である。 従って、本発明の特徴を説明するためにここ記載し且つ説明したシステムの細 部、部品の材料および配置については、請求の範囲に記載された本発明の原理、 範囲内で変更可能なことは当業者には明らかである。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 スミス, ジエームズ カービー アメリカ合衆国 ペンシルベニア州 19129 フイラデルフイア ウエスト・コ ウルター・ストリート 3117

Claims (1)

  1. 【特許請求の範囲】 1.マトリックスに複数のデータ点が含まれているマトリックス形式のデータを 高速処理する方法であって、 第1のデータ点に対して実行された通常の処理ステップによって上記マトリッ クにおける上記第1のデータ点を分析して第1の値を生成するステップと、 上記マトリックスの隣接データ点に関する処理関数に依存する微分値を導出す るステップと、 上記マトリックスの隣接データ点に関する処理関数に依存した微分値を上記第 1の値に加えることによって、上記第1のデータ点に続いて第2のデータ点を分 析するステップと、 現在の各データ点に続く各データ点に関する上記処理関数に依存する微分値を 導出するステップと、 現在の各データ点に続く各データ点に関する処理関数に依存した微分値を現在 のデータ点に対する現在の値に加えることによって、後続するデータ点を分析す るステップと、 を含む、マトリックス形式のデータを高速処理する方法。 2.マトリックス形式のデータを、同じ結果を得ることができる通常の処理関数 に比して高速化された基準で処理することができる増強された処理関数を生成す る方法であって、 上記マトリックスに存在する隣接データ点に関する処理関数を特定するステッ プと、 増強された処理関数の効率と通常の処理関数の効率を決定するステップと、 増強された処理関数の効率と通常の処理関数の効率とを比較して、増強された 処理関数の効率が通常の処理関数の効率を超えると、マトリックス中のデータ点 を処理するステップと、 第1のデータ点に関して通常の処理関数を使用してマトリックス中の第1のデ ータ点を分析して第1の値を生成するステップと、 マトリックスの隣接データ点に関する増強された処理関数に依存する微分値を 特定するステップと、 マトリックスの隣接データ点に関する増強された処理関数に依存する上記微分 値を上記第1の値に加算して第1のデータ点に続く第2のデータ点を分析するス テップと、 現在の各データ点に続く各データ点に関する上記増強された処理関数に依存し た微分値を特定するステップと、 現在の各データ点に続く各データ点に関する上記増強された処理関数に依存し た微分値を現在のデータ点に対する現在の値に加算することによってマトリック ス中の後続するデータ点を分析するステップと、 を含む、マトリックス形式のデータを処理することができる増強された処理関数 を生成する方法。
JP7530350A 1994-05-20 1995-05-22 データマトリックスの処理を高速化する装置および方法、および高速化された基準で処理されたデータマトリックス Pending JPH10501080A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US24684994A 1994-05-20 1994-05-20
US08/246,849 1994-05-20
PCT/US1995/006026 WO1995032484A1 (en) 1994-05-20 1995-05-22 Apparatus and method for accelerating the processing of data matrices, and data matrices processed on an accelerated basis

Publications (1)

Publication Number Publication Date
JPH10501080A true JPH10501080A (ja) 1998-01-27

Family

ID=22932495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7530350A Pending JPH10501080A (ja) 1994-05-20 1995-05-22 データマトリックスの処理を高速化する装置および方法、および高速化された基準で処理されたデータマトリックス

Country Status (5)

Country Link
US (1) US5881178A (ja)
EP (1) EP0764309A4 (ja)
JP (1) JPH10501080A (ja)
CA (1) CA2190840A1 (ja)
WO (1) WO1995032484A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US6208762B1 (en) * 1998-04-08 2001-03-27 Canon Kabushiki Kaisha Optimized enhancement of digital images
JP3841132B2 (ja) * 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
US6421048B1 (en) * 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
WO2000062128A2 (en) * 1999-04-13 2000-10-19 Rochester Institute Of Technology Method and system for reducing noise in a digital image and apparatus thereof
US7324143B1 (en) 1999-04-13 2008-01-29 Rochester Institute Of Technology Method and system for reducing noise in a digital image and apparatus thereof
GB9924425D0 (en) * 1999-10-16 1999-12-15 British Aerospace Material analysis
US6594715B1 (en) * 1999-11-03 2003-07-15 Lucent Technologies Inc. Method and apparatus for interfacing asymmetric digital subscriber lines to a codec
TW403857B (en) * 1999-12-13 2000-09-01 Myson Technology Inc An image dithering device used in both time domain and space domain
US6701028B1 (en) * 2000-01-11 2004-03-02 Applied Materials, Inc. Method and apparatus for fast signal convolution using spline kernel
US6867770B2 (en) * 2000-12-14 2005-03-15 Sensable Technologies, Inc. Systems and methods for voxel warping
US6958752B2 (en) 2001-01-08 2005-10-25 Sensable Technologies, Inc. Systems and methods for three-dimensional modeling
FR2846830B1 (fr) * 2002-10-31 2005-01-21 Ge Med Sys Global Tech Co Llc Procede de filtrage spatio-temporel du bruit fluoroscopique
US6987270B2 (en) * 2003-05-07 2006-01-17 General Electric Company Method to account for event losses due to positron range in positron emission tomography and assay of positron-emitting isotopes
US7382378B2 (en) 2003-10-30 2008-06-03 Sensable Technologies, Inc. Apparatus and methods for stenciling an image
US7889209B2 (en) * 2003-12-10 2011-02-15 Sensable Technologies, Inc. Apparatus and methods for wrapping texture onto the surface of a virtual object
US7626589B2 (en) * 2003-12-10 2009-12-01 Sensable Technologies, Inc. Haptic graphical user interface for adjusting mapped texture
US7149596B2 (en) * 2004-01-13 2006-12-12 Sensable Technologies, Inc. Apparatus and methods for modifying a model of an object to enforce compliance with a manufacturing constraint
WO2006122009A2 (en) 2005-05-09 2006-11-16 Lockheed Martin Corporation Continuous extended range image processing
JP4442644B2 (ja) * 2007-06-15 2010-03-31 株式会社デンソー パイプライン演算装置
EP2143384A1 (en) * 2008-07-09 2010-01-13 Medison Co., Ltd. Enhanced ultrasound data processing in an ultrasound system
US20120031405A1 (en) * 2010-06-07 2012-02-09 Cva Technologies, Llc Methods and systems for cerebral cooling
JP5582920B2 (ja) * 2010-08-23 2014-09-03 三菱電機株式会社 画像処理装置
US9802364B2 (en) 2011-10-18 2017-10-31 3D Systems, Inc. Systems and methods for construction of an instruction set for three-dimensional printing of a user-customizableimage of a three-dimensional structure
CN111770740A (zh) 2018-01-08 2020-10-13 维沃尼克斯股份有限公司 用于冷却人体的大脑的系统和方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4330833A (en) * 1978-05-26 1982-05-18 Vicom Systems, Inc. Method and apparatus for improved digital image processing
US4736448A (en) * 1984-03-31 1988-04-05 Kabushiki Kaisha Toshiba Spatial filter
JPS62274471A (ja) * 1986-05-23 1987-11-28 Fanuc Ltd 画像処理装置
US4918742A (en) * 1988-04-22 1990-04-17 The Boeing Company Image processing using multi-pass convolution with small kernels
FR2666670B1 (fr) * 1990-09-11 1994-07-01 Lawson Jean Christophe Coprocesseur de calcul parallele optimise pour les traitements a base de matrices creuses.

Also Published As

Publication number Publication date
EP0764309A4 (en) 1997-08-20
WO1995032484A1 (en) 1995-11-30
CA2190840A1 (en) 1995-11-30
US5881178A (en) 1999-03-09
EP0764309A1 (en) 1997-03-26

Similar Documents

Publication Publication Date Title
JPH10501080A (ja) データマトリックスの処理を高速化する装置および方法、および高速化された基準で処理されたデータマトリックス
Schrumpf et al. Assessment of deep learning based blood pressure prediction from PPG and rPPG signals
Alinovi et al. Respiratory rate monitoring by video processing using local motion magnification
Pham et al. Spatial-dependence recurrence sample entropy
Zaunseder et al. Signal-to-noise ratio is more important than sampling rate in beat-to-beat interval estimation from optical sensors
Chwyl et al. SAPPHIRE: Stochastically acquired photoplethysmogram for heart rate inference in realistic environments
Eckstein et al. Effect of image compression in model and human performance
Shahadi et al. Eulerian video magnification: a review
Shin Deep convolutional neural network-based signal quality assessment for photoplethysmogram
Rubīns et al. Photoplethysmography imaging algorithm for continuous monitoring of regional anesthesia
Alzahrani et al. Reducing motion impact on video magnification using wavelet transform and principal component analysis for heart rate estimation
KR20100035285A (ko) 초음파 데이터 처리 장치 및 방법
Lin et al. A Contactless Healthcare System with Face Recognition
WO2017051415A1 (en) A system and method for remotely obtaining physiological parameter of a subject
Shahadi et al. Efficient denoising approach based Eulerian video magnification for colour and motion variations.
Cheng et al. Motion-robust anterior–posterior imaging ballistocardiography for non-contact heart rate measurements
Han et al. Noncontact blood pressure estimation using BP-related cardiovascular knowledge: An uncalibrated method based on consumer-level camera
Kayani et al. Pulse rate extraction based on local-area motion magnification
JP2010157061A (ja) 多次元時系列データ分析装置及びコンピュータプログラム
Yang et al. A novel video magnification method for revealing subtle signals based on adaptive Laplacian pyramid
Rizal et al. Multiscale tsallis entropy for pulmonary crackle detection
Lohani et al. Extraction of vital signs using real time video analysis for neonatal monitoring
Li et al. ECG signal reconstruction based on facial videos via combined explicit and implicit supervision
CN113842128B (zh) 一种基于多重滤波与混合放大的非接触心率检测装置
Heravi et al. EXTRACTING FEATURES OF THE HUMAN FACE FROM RGB-D IMAGES TO PLAN FACIAL SURGERIES