JP4197844B2 - パターン認識に関する改良 - Google Patents

パターン認識に関する改良 Download PDF

Info

Publication number
JP4197844B2
JP4197844B2 JP2000571399A JP2000571399A JP4197844B2 JP 4197844 B2 JP4197844 B2 JP 4197844B2 JP 2000571399 A JP2000571399 A JP 2000571399A JP 2000571399 A JP2000571399 A JP 2000571399A JP 4197844 B2 JP4197844 B2 JP 4197844B2
Authority
JP
Japan
Prior art keywords
pattern
light
slm
scene
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000571399A
Other languages
English (en)
Other versions
JP2002525762A5 (ja
JP2002525762A (ja
Inventor
マイリオン フランシス ルイス
レベッカ アン ウィルソン
ブライアン シンクレア ロウアンズ
ルパート チャールズ ディヴィッド ヤング
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinetiq Ltd
Original Assignee
Qinetiq Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinetiq Ltd filed Critical Qinetiq Ltd
Publication of JP2002525762A publication Critical patent/JP2002525762A/ja
Publication of JP2002525762A5 publication Critical patent/JP2002525762A5/ja
Application granted granted Critical
Publication of JP4197844B2 publication Critical patent/JP4197844B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/106Scanning systems having diffraction gratings as scanning elements, e.g. holographic scanners
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Holo Graphy (AREA)
  • Wire Bonding (AREA)
  • Studio Devices (AREA)
  • Eyeglasses (AREA)
  • Microscoopes, Condenser (AREA)
  • Prostheses (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
  • Character Discrimination (AREA)
  • Optical Couplings Of Light Guides (AREA)
  • Lenses (AREA)

Description

【0001】
【産業上の利用分野
この発明はパターン認識の方法及び装置における改良に関し、さらに詳細にはある光景(場面における基準(参照対象の存在及び位置またはそのいずれかを検出する改良された方法及び装置に関するものである。それはその他の発明にも関連する。
【0002】
【従来技術】
パターン認識は、例えば産業界において、アプリケーションを広く変化させている。パターン認識機構が要求される状況の例は混雑している街路の自動車の形式及び位置の検出である。他の例は、産業の流れ作業、安全システム、車両確認、指紋及び顔の認識などである。自動車の形式を識別する表や街路の明確な景色(眺め)が提供されている場合には、そのような処理は人間にとって些細なことである。しかし、光景を見るためのカメラコンピュータパターン認識を設けることによって処理を自動化することは、照明が変わりやすく、及び/又は、車両の一部が隠れているような場合には、特に複雑な処理となる。
【0003】
ある光景の画像内の所定対象の存在を検出するひとつの方法は、対象と景色間の相互関係を探すことである。これは対象及び画像を直接使用して達成されるが、多くの場合フーリエ変換ドメインで、即ち、対象と画像の空間周波数構成要素の処理によって関係したデータを処理することがより効率的である。数学的に、これらのプロセスは、「回旋定理」を介して関連づけられる「参照資料1: J W Goodman」。上記例において、基準対象(本明細書において、画像と同じように対象と景色を常に基準と呼ぶ)は明るい背景に対して設定された自動車のそれ、または充填ラインのボトルの形状などであってもよい。これらの例では、景色はそれぞれ通行車の列または充填ラインをそれぞれ有する可能性がある。
【0004】
日常の応用で有益であるためには、多数の基準対象、例えば、異なるモデルの自動車を含むことが必要とされることがしばしばである。さらに、すべての可能な様相を網羅するため基準対象のいくつかの角度をもった向きや尺度を使用する必要がありうる。
【0005】
従来技術では、光学システムを使用して対象と画像間の相互関係付けプロセスを行うことが提案されてきた。これは1960年代にA Vander Lugtによって最初に提案された「参照資料2」。このシステムはレンズ固有のフーリエ変換特性を活用している。
【0006】
代表的な光学的Vander Lugt機構を添付図面の図1に示す。システムは入力された光景の画像を取り込み空間光変調器SLM2を駆動して取り込んだ画像に対応するマスクを表示する光学カメラlを含んでいる。この特許では、述語「マスク」はSLMに表示されたパターンを描写するため使用されるが、パターンには一般に振幅情報及び位相情報またはそのいずれかが含まれる。コヒーレントレーザビームは適当なビームエキスパンダを通過してSLM2を通って伝搬するコヒーレント光の幅広いビームを生成する。最初のVander Lugtの研究ではその時は利用不可能だったSLMではなくて固定式ホログラムが採用された。
【0007】
レンズの前方焦点面に配置されるSLM2の出力はレンズを通って伝搬しかつそれが第2SLM4に当たる場合のレンズの後方焦点面にマスクのフーリエ変換を形成する。
【0008】
景色を基準対象と相関させるため、SLM4によって形成されたマスクは基準対象のフーリエ変換の位相共役を含む。第2SLMを通して伝搬する光は、それが出力カメラ6によって取り込まれる場合のレンズの後方焦点面に第2レンズ5によってフーリエ変換される。「数学的には、レンズ5は逆フーリエ変換を理想的に実行するはずであるが、この差は実用上重要ではない」。画像と基準対象間に強い相関がある場合、鋭い明るいピークがレンズ5の後方焦点面にパターン状態で生成される。このピークの位置は光景画像における基準対象の位置によって決定される。画像と基準対象の組合せフーリエ変換パターンのDC空間周波数構成要素(即ち、全体的強度)及びSLMの相互画素ギャップを通る非変調光の漏れまたはそのいずれかにより、焦点面の最初の大きなピークも通常観察される。
【0009】
上記古典的な光学式Vander Lugt機構に対する固有の欠点が存在する。2つのレンズ及びSLMの光学的位置合わせは極めて重要であって、システムは振動に対して高感度を有している。さらに、光経路長は相当長く、その結果として嵩ばりかつ費用のかかるシステムとなってしまう。さらに、上記したようなシステムは実用的システムでしばしば所望されるようには類似の対象を判別していない。例えば、そのシステムは「E」と「F」を容易には区別しな
【0010】
Vander Lugtの最初の公開以来、Vander Lugt機構に関する多くの変化が考案されかつ公開されている。
【0011】
【発明の目的】
この発明の目的は従来技術のパターン認識機構に存在する問題のいくつかを改良することである。
この出願で使用されているいくつかの術語について説明することが役に立つと思われる。この出願の一部として巻末に付けた付録1でいくつかの術語を検討する。
【0012】
【発明の構成】
第1の見地によれば、この発明は光景に対応する取込んだ光景画像を生成するのに適合する手段と;
取込んだ光景画像データセットの少なくとも一部を処理して光景画像の少なくとも一部のフーリエ変換に対応する光景パターンを生成するのに適合する第1電子式処理手段と、1個又は多数の基準パターンを格納(保存)するのに適合する格納手段であって、各基準パターンがそれぞれの基準画像のフーリエ変換を含む格納手段と、光景パターンを基準パターンの1つに電子的に組合せて組合せパターンを生成するのに適合する第2電子式処理手段と、を有するディジタル入力手段と、
組合せパターンから誘導される光のビームを生成するのに適合する光学式出力手段;を有することを特徴とする光景の既知の所定種類の1個又は多数の対象(対象物)の存在を検出する装置を提供する。
【0013】
第1及び第2処理手段は共通のプロセッサであってもよい。
【0014】
別の見地によれば、この発明は、
電子式組合せプロセッサと;
光景パターンのディジタル信号標本を組合せプロセッサに入力するのに適合するディジタル光景入力手段と;
基準パターンのディジタル信号標本を組合せプロセッサに入力するのに適合するディジタル基準パターン入力手段と;
光学式出力手段と;
光学式変換手段と;を有する画像またはパターン認識装置であって、組合せ手段が入力光景及び基準パターンを組合せるのに適合して組合せパターンをディジタル的に生成しかつ組合せパターンに依存する出力を発生するのに適合する光学式出力手段へ信号を送信するのに適合し、出力が組合せパターンをフーリエ変換、または逆フーリエ変換するのに適合する光学式変換手段へ送られることを特徴とする画像またはパターン認識装置である。
【0015】
この段階で、後に取り入れられることになる、とある述語が記された図15について触れることは役に立つ。「画像」は、実際のもの、光景画像、基準画像10である(それらはシステムに設けられていなくても良い)。「パターン」はフーリエ変換(またはフーリエ変換と同様の変換)、例えば、光景パターン及び基準パターンである。画像パターン及び基準パターンの乗算は「組合せパターン」と呼ばれる。
【0016】
基準パターンは合成区別機能であってよい。
【0017】
光学式出力手段は組合せパターン及び空間光変調器によって変調される光ビームを生成するのに適合する光源に依存するマスクを生成するのに適合する空間光変調器含んでも良い
【0018】
装置は空間光変調器によって変調されている光の空間パターンに依存する出力信号を生成するのに適合する第2電子式変換手段に対する第2光学装置も含んでも良い。この変調光は続いてレンズによってフーリエ変換されてもよい。
【0019】
従って、第1の好ましいバージョンによる装置はVander Lugt機構で光学的に実行されることになるフーリエ変換の第1段階を実行するディジタル入力手段及び二次フーリエ変換を実行する光学式出力手段とを含む。
基準パターンが電子式、光学的、または磁気的にまたは別の方法のいずれかでディジタル的に格納されることが好ましい。それらは、例えば、異なるデータを表すと同時に異なる「形状」パターン及び異なる寸法であってよい。
【0020】
取込んだ光景パターンは一組の基準パターン(または一組の基準パターンの部分セット)と組み合わされてもよい。「組」には認識されるべき特定物体に関連する格納された基準パターンのすべてが含まれる可能性がある。
【0021】
光景画像は視覚画像を含んでよく、または別の入力からの、例えば、X線望遠鏡から得られたデータ、または何らかのセンサまたはセンサアレイ(例えば、非視覚の電磁スペクトル、または音響または超音波ででも)によって検出された二次元アレイの信号を含んでいてもよい。「光景」はその他のより多くの一般的なデータ(必ずしもピクチャーである必要はない)を含んでもよく、二次元でなくてもよく、かつ例えば、コンピュータまたは通信システムによって発生したものまたはある場合ではメモリからのなどのデータストリングであってもよい。各場合において、術語「画像」の意味はそれに従って変化することになる。
【0022】
装置はリアルタイムである光景における参照対象の存在を検出するのに適合するものである。例えば、これは、光景画像を取り込む瞬間に出力を生成して、その結果オペレータが遅れに気付かないことを意味する。
【0023】
1秒当たり5000以上の相互関係付けを実行しうる。それはまた、1秒当たり10,000、または20,000,40,000,60,000,80,000,100,000以上の相互関係付けを実行でき、かつそれは上記数値の何れで上端及び下端またはそのいずれかで描写される速度の範囲で1秒当たり多数の相互関係付けを実行する可能性がある。
二次元ディジタル及び光学的処理の混成組合せがVander Lugt相関器全体にわたっていくつかの利点を提供する。勿論、Vander Lugt機構が静的機構であるのに対して、新システムは典型的に動的である、即ち、使用される光景及び基準データの両方が時間通りに非常に高速に変化する。フーリエ変換データの乗算が光学的にではなくて電子式に実行されるため、新システムではVander Lugt機構に存在する光学的位置合わせ及び安定性の困難さが削除される。従って、光景からの入力と基準入力間の「位置合わせ」は本質的に完全である。第2に、画像と基準パターンの処理における非常に大きな柔軟さのため、例えば、組合せを任意のビット精度で実行できるようになる。第3に、光学的構成要素の数がかなり低減される。これはデバイスの長さ/寸法を低減させ、かつ堅牢性を向上させる。さらに、画像及び基準パターンは振幅及び位相またはそのいずれかの観点から完全に一致するように発生させることができる。
【0024】
この方法では、良好な性能を与えるに十分急速なゲート論理回路を使用してフーリエ変換パターンの乗算が実行され、その後、ユーザがそれを重要な遅れなくリアルタイムとして着目するような比率で数百の基準パターンを各入力フレーム(光景パターン)とディジタル的に比較するのに十分急速に動作が実行されない光学フーリエ変換(逆フーリエ変換)を使用する。
取り込まれた光景画像、光景パターン及び基準パターンは8ビットの精度でディジタル化される。この特許で追って説明するように、2値の位相のみのデータを含む多少精度の良いディジタル化が使用される。
【0025】
取込み手段(入力カメラ)はCCDカメラなどの電荷結合デバイスまたはCMOSデバイスを有してもよい。これは100,000以上の画素、例えば、512*512以上の画素のアレイを有してもよく、かつ(少なくとも一時的に)格納可能な一組のディジタルデータを含む取り込まれた画像(フレーム)を生成する。手段はフレーム(即ち、全体及び場合によっては全体より著しく少ない、例えば、フレームの1/2,1/4,1/10以下)の全体または選択された一部を選択して取り込まれた光景画像を形成するため設けられる。代表的には、FFTを容易にするため128*128,256*256,512*512を処理することがより好ましい。カメラが25から60Hz、即ち、工業用標準ビデオキャプチャレートの比率で画像を生成することが好ましい。これらの周波数で動作するデバイスが広く利用可能でありかつ規模の経済的側面のため比較的低価格であるため、これは費用の節約をもたらす。ただし,その他の周波数を使用してもよい。
【0026】
検出された入射光パターンを読み出すためのそれに関連する手段を有する検出器の各ラインを備えた状態で検出器の複数の離散的ラインを含む検出器アレイによって相関パターンを取込んでもよい。検出器アレイは出力カメラの一部であってもよい。検出器の単一ラインからのこの読出しは行数全体にわたって走査を行わなければならない通常のカメラを基盤とする読出し機構より高速である。アレイは、アレイの各ラインが交互方向に読み出されるよう適合されている。
【0027】
第1及び第2処理手段は1個又は多数のディジタル信号処理基板を有してもよく、かつディジタル回路またはコンピュータプログラムなどの単一処理手段に組合っていてもよい。それらは1つの装置に、取込んだ光景画像のフーリエ変換を実行するため必要なソフトウエアを含むトランスピュータ及びパーソナルコンピュータを有してもよい。
【0028】
空間光変調器(SLM)は本発明者の先行公告(参照番号7及び8を参照)に記載されている高速ビット平面空間光変調器(FBPSLM)などの高速光変調アレイを有してもよい。それは基板に設けられるフェロエレクトリック・リクイッドクリスタル・マテリアルのアレイを有してもよい。
変調ビームによって生成された出力パターンは二次元出力パターンの(x,y)位置が取込んだ光景画像における対象の位置によって決定される各基準パターンの少なくとも1つの強度のピークを含むことになる。
SLMは、第1方法で変調されるエレメントホイッスルを光が通過する少なくとも第1状態と素子を通過する光が第2の異なる方法で変調される第2状態との間で切換えることができる画素または素子のアレイを有してもよい。各々の場合において、光は遅延されるか、または振幅変調されるか、またはその両方が行われる。各素子が液晶画素を有することが好ましい。SLMの動作は透過または反射のいずれかである。第2状態の画素と相互作用する光と比較した第1状態の画素と相互作用した光の間にほぼ180°の位相差があってもよい。
【0029】
SLMは微小加工された機構デバイス(電子的に制御される光を反射する可動部材)などの液晶、または反射デバイスなどの伝送デバイスであってもよい。いくつかの反射型デバイスについては、光がそれを「通過」せず(しかし、その他に対しては、光は通過する、例えば、ミラーにLCを加えたもの)、かつより一般的な言い方は光がデバイスの領域の状態に依存するデバイスと複数の方法で相互作用するということであるはずである。
【0030】
出力段階は電子式変換手段(例えば、出力カメラ)に対してSLMと第2光学装置との間またはSLMの前だが光源の後に設けられる光学レンズをさらに有してもよい。
【0031】
さらに工夫をこらした状態では、レンズはSLM自身と一体にあってもよい。これは、ディジタルSLMを駆動するため使用した組合せパターンを処理して組合せパターンでおおわれたゾーンプレートレンズをまねることにより達成することができるはずである。それ故、物理的ガラスまたはSLMとは別個の透明媒体の光学レンズであってはならない。あるいはまた、リアル及びゾーンプレートレンズの組合せを使用してもよい。
【0032】
これらの環境では、出力カメラの最適の位置は、ゾーンプレートレンズ及びリアルレンズまたはそのいずれかの焦点距離によって決定される。電子式変換手段に対して第2光学装置を設けてもよく、取込みカメラに類似の電荷結合デバイスを有してもよい。これはリアル光学レンズの焦点面に配置してもよい。それは、二次元データセットまたは組合せパターン、レンズの後方焦点面に変調光によって形成されたパターンの代表物を含む出力信号を生成するのに適合してもよい。このパターンは基準対象と入力光景画像の間の相関に依存する。
【0033】
光学空間フィルタはSLMに近接して、例えば、ディジタルコンバータに対してSLMと第2光学装置との間に設けられてもよい。これは空間周波数スペクトルを、例えば、空間周波数の高部、低部または何れかの組合せを低下させることにより変調するのに適合する空間フィルタを有してもよい。非常に高い及び非常に低い空間周波数構成要素を低下させるガウスフィルタの差(DOG)を使用してもよい。その他のフィルタ、例えば、ガウスフィルタを使用してもよい。後者は多くのレーザ出力ビームの本質的な強度プロファイル全体を通して取り入れてもよい。
【0034】
「スマート」空間光変調器を設けてもよい。適当な配置では、これは例えば、「組合せた」後、カメラ表面または中間画像面で第2電子式変換手段にSLMと光学装置を「組合せる」間であってもよい。スマートSLMは、強い相関ピークのみを通過させる、光が減衰される以下の振幅しきい値を有する変調器を有してもよい。スマートSLMは多重量子井戸(MQW)デバイスを有してもよい。1から3kW/cm2の飽和強度を有するデバイスは当業界では既知であり(参照番号4を参照)、デバイスは100mWレーザ光源及び10ミクロン程度の画素寸法を有するサイズ有するSLMと共に使用されるはずである。スマートSLMはそれへの入射光の強度に反応するという意味において賢明である。それが電子制御による透過または反射応答性を有することは好都合なことである。
【0035】
あるいはまた、スマートSLMはしきい値強度以下の光だけを通過してもよい。リミッタとしてスマートSLMを使用すると、入力カメラとしてまたは場合によっては相関器の出力カメラに有益であ得る。
【0036】
スマートSLMは、その画素または領域(「明るい」と「暗い」)の単に2つの状態を有していればよいが、それよりむしろ入射光強度に依存する制御可能な変数応答性を与えるグレイスケール数の設定値を有してもよい。
【0037】
装置には、光景画像を周期的に取り込む手段、各取り込まれた光景パターンを多数の基準パターンと順々に組合せる手段、及び各画像光景の取込みの間に各組合せパターンに応答してSLMを設定する手段が含まれてもよい。これには、光景画像取り込み比率より高い比率(しばしば非常により高い割合、おそらく数百または数千倍高い)でいくつかの基準パターンと比較されるべき光景画像から導出された光景パターンが必要とされる。
これは、各々の取込んだ光景画像が光景パターン、予め計算されている変換を有する基準パターン、及びほとんど瞬時に生じる、代表的には多くの、光学的変換を生成するためただひとつのディジタル変換があればよい。
【0038】
LC SLMについては、それらが1個又は多数の組合せパターンを表示するように設定された後、それらは組合せパターンまたは(複数の)パターンの逆の状態で駆動されほぼ一定の電圧バイアスレベルが変調器に平均して印可されて液晶材料の劣化を回避するのを(かつ長期の平均電圧バイアスレベルが好ましくはほぼ0ボルトになることを)確実にするようにしてもよい。
装置にはパーソナルコンピュータまたはフーリエ変換ステップを実行するのに適合する専用信号処理基板を含まれてもよい。1個又は多数の基準パターンを格納するための、好ましくは100個の基準対象変換(パターン)を超えて保持可能な専用メモリが設けられてもよく、かつある実施の形態で、本発明は既知の種類の物体に関連する組の400あるいは500の基準パターンを有することを想定している。
【0039】
新相関技術は組合せ走査に大量の画素/大きな寸法を持たせることができ、従ってそれは大きな寸法のカメラを持っているだけの価値がある。カメラからの入力フレーム(またはその使用部分)は、例えば、1,000画素、または10,000画素またはl00.000画素の程度のものを有してもよい。好都合なことに、しかし本質的なものではないが、カメラアレイは128xl28画素,または256*256、または5l2x512である。カメラアレイは平方状のものである必要はなく、例えば、128*512でもよい。アレイ方向には2進数の画素は必要ではない。フレームのため10.000、20,000、50.000、100,000、150.000、200,000、250,000(または上記ポイントの上方端及び下方端で定義された範囲に入力画素)以上の画素の入力を可能にし、ビデオフレームレート(25から60Hz)で動作させ、かつ
各フレーム及びフレーム(光景)の数百の基準パターン相関をフーリエ変換することを可能にする相関器を有しているため、変換は新しい混成相関技術で可能である。
【0040】
さらに工夫をこらした状態では、装置は少なくとも2つの部分、即ち、光学的入力デバイスを有する第1部分と、光学的入力デバイスに光学的に接続される第2部分であって、フーリエ変換を実行するのに適合しかつ空間光変調器を含んでもよい基本ユニットを有する第2部分、に物理的に分割してもよい。
【0041】
装置を光学的に接続された2つの部分に分割することにより、第1部分を危険または災害の可能性がある場所に配置できる一方、比較的費用のかかるフーリエ変換及び空間光変調器用コンピュータを別の場所へ配置できる。共通の第2部分に入力するひとつ以上の第1部分を有することも可能である。
【0042】
第1及び第2部分を1個又は多数の光学ファイバまたはファイバ束を介して接続することが好ましい。第1部分で得られた取込んだ画像データはこれらの光学ファイバに沿って伝送される。利点は光学ファイバが電磁干渉を射出せずかつ概して電磁干渉からの免疫性を有していることである。
【0043】
第1部分が1個又は多数の光学ファイバまたは電気ケーブルを介してコンピュータまたはその他の電子式デバイスに接続された光学的入力デバイスを有することが好ましい。
【0044】
勿論、装置を離散副次部分にさらに分割することもできることになっている。それらの部分をより小型にすることにより、要望があれば、装置を包装しかつ搬送することがより容易になる。
【0045】
第2の方見地によれば、この発明は
光景の少なくとも一部に対応する取込んだ光景画像を生成するステップと;
取込んだ光景画像の少なくとも一部を処理して取込んだ光景画像のフーリエ変換に対応する光景パターンを生成するステップと;
光景パターンを基準対象に対応する少なくとも1つの基準パターンと電子的に組合せるステップと;
組合せパターンに対応する変調ビームを生成するステップと;を有することを特徴とする光景の1個又は多数の基準画像の存在を検出する方法を提供する。
本方法にはビームで空間光変調器を照明してこの変調光を出力面に伝搬させることによりコヒーレント光のビームを変調するステップ;かつ変調ビームによって形成された光のパターンを監視または表示するステップを含んでもよい。
【0046】
したがって、本方法はヴァンデルラフトスキーム(Vander Lugt scheme)で任意に実行される一次フーリエ変換を実行するためにキャプチャされた背景画像をディジタル処理する工程と、2次フーリエ変換操作を形成するために背景パターンの結合パターンと基準パターンとを任意に処理する工程とから構成される。2次フーリエ変換は好ましくはSLMの出力をレンズに通すことによって出力面にオプティカルフィールドを形成する。
【0047】
我々はキャプチャされた背景画像に対してフーリエ変換を実行し、得られた(転換した)背景パターンを処理することで、フェーズオンリー情報を含む背景パターンが生成される。このことは、完全フーリエ変換とは異なるもので、増幅及びフェーズ情報が生成される。フーリエ変換おける増幅情報の拒否は、多かれ少なかれエッジ検出又はエッジエンハンスメントの実行と等価であり、相関器(参照文献5)の弁別を改善することが知られている。もちろん、各々が精度よく選択されるために増幅及びフェーズ情報共に変換されたパターンに保持されてもよい。しかし、フーリエ変換データは好ましくはバイナリ関連変換(現実又は仮想−増幅又はフェーズ)を生成することによって複雑さを好ましくは減少するもので、結合パターンを形成するために必要な乗算プロセスをスピードアップすることで相関器を速くする。極端なものとして、しかしそれでも有用であるが、例えばデータが1ビットフェーズデータ(バイナリフェーズデータとも呼ばれる)に減少されるならば、背景パターン及び基準パターンの乗算が減少してXOR関数として周知の単純論理操作を減少させる。完全性のために、結合パターンは画像(背景パターン)のフーリエ変換の複素共役によって基準対象基準パターン)のフーリエ変換の乗算を必要とするか、もしくは必要であることについて述べる。フェーズオンリーデータの場合、これは計算を単純化させ、基準及び背景パターンのフェーズを加算するようになる。フェーズオンリーデータの使用もまたSLM要求を単純化させ、バイナリフェーズオンリーデータの場合ではSLMはうまい具合に強誘電体液晶デバイスのかたちで実現することができる。もちろん、我々は基準パターンをバイナリパターンとして格納することができる。
【0048】
最も好ましくは、フーリエ変換情報は、バイナリ情報のみから構成される背景パターンを生成するために処理される。したがって、既に説明したようなフェーズオンリー情報の場合、背景パターンは(任意の)基準フェーズを基準にして0°乃至180°の範囲にわたるフェーズをコードしている第1の論理値と180°乃至360°の範囲にわたるフェーズの第2の論理値と言うことによってバイナリデータのみから構成される。
【0049】
背景パターンがキャプチャされた背景画像のフーリエ変換に含まれたフェーズ情報のみのバイナリ表現を含むものである場合、基準パターンは同様に基準画像のバイナリ・フェーズ・オンリー・フーリエ変換を含む。しかし、基準及び背景パターンが同一のフォーマットであることはインペラティブではない。
【0050】
方法は、1つ以上の論理素子を用いる基準パターンによって背景パターンを結合する工程から構成されるものであってもよい。排他的ORゲート(XOR)を使用してもよく、我々は代わりに比較器を使用してもよいと考える(しかし、XORが好ましい)。背景パターンの各素子を、対応する素子を第2の結合パターンに生成するために基準パターンにある対応素子によって結合させることができる。したがって、512x512画像、512*512XOR操作は結合パターン生成で実行してもよい。もちろん、その代わりとして、マルチビット背景パターンをマルチビット基準パターンと組み合わせても良く、任意に結合した後にバイナリ化してもよい。全ての場合において、計算はディジタルに実行されるので、小さな機械的動きが光学アライメントを破壊するヴァンデルラフトスキーム(Vander Lugt scheme)よりも優位な2つのパターンの完全なアライメントが保持される。
【0051】
方法はさらに、FFT技術を用いて1つ以上の(変換された)基準パターンを生成するために1つ以上の基準画像を処理する予備工程を含む。
【0052】
キャプチャされた背景画像のフーリエ変換は、1次フーリエ変換又はFFTアルゴリズムを用いて生成してもよい。なぜなら、バイナリ化されたフェーズオンリー情報のみが必要であることから、それは180°の範囲にわたるフェーズ表示を提供する完全FFTの実成分の符号をモニタすることによって都合よく生成可能である。あるいはフーリエ変換されたデータセットの仮想部分の符号をフェーズ決定に使用することが可能である。
【0053】
結合パターンに一致するマスクは、バイナリ空間光変変調器、すなわち結合パターンを生成するために背景パターンと基準パターンとを乗算する乗算器からの信号に応答して2つの状態を切り換えることができる複数の画素からなるアレイから構成される変調器を用いて生成することができる。画素は液晶画素から構成されるものであってもよく、あるいはマイクロマシン技術を用いて形成されるマイクロミラーの配列等、マイクロマシン加工されデバイスを含むものであってもよい。もちろん、我々はその変調媒体の状態を2つ以上持つSLMを用いることができる。
【0054】
空間光変調器はコヒーレントな光線を変調する。SLMは少なくとも2つの状態、例えばフェーズが180°異なる状態間を切り換えることができる素子の配列から構成されるもであってもよい。一般に、SLMは増幅/又はフェーズを変調するもの、また伝送又は反射のいずれか一方で作動するものであってもよい。
【0055】
SLMによって変調される光線は、レーザ又はレーザダイオードを用いて生成することができる。光線はSLMに達する前にビーム拡大器に通してもよい。
【0056】
SLMによって変調される光は、カメラ等の光学電子的手段へ例えばレンズを介して伝播してもよい。
【0057】
光は、レーザトレランスに対してコヒーレントでなければならない必要はない。光は空間的にコヒーレントであることが重要ではあるが、一時的にコヒーレントである必要はないと思われる。システムは、LED等の非レーザ光源によって動作することが可能である。レーザは安価で容易に入手可能であり、かつ効率的でコヒーレントであるから一般にレーザが使用されると考えられるが、もし他の光源が働くならばこの種の光源に制限されるものではない。実際一時的インコヒーレント源を用いる点で有利であり、インコヒーレントイメージングの場合のように、議論した発明がコヒーレントイメージングに限定される必要がないことが容易に理解されよう。
【0058】
改良では、変調された光線がSLMそれ自身にレンズを取り込む工程によって集束してもよい。考えられる方法は、ゾーンプレートレンズの回析パターンを取り込む又はオーバレイするためにディジタル信号処理を用いて結合パターンを事前処理する工程が含まれる。したがって、所定の既知の基準画像に対応する格納データは、該基準画像のみの正しいデータに修飾されずに、ゾーンプレートレンズのオーバレイによって修飾されるようなデータであり、該変調されたデータは基準画像又はパターンに対応するメモリに格納される。
【0059】
さらに別の任意の工程では、フィルタをSLMに近接させて光学システムに設けてもよい。それはSLMに先だって、またはその後であってもよい。これは異なる空間周波数成分の相対的重要性を修飾する。例えば、ガウス又はガウス差(DOG)フィルタを設けてもよい。このフィルタは固定、又はプログラム可能なもの、例えば増幅SLMの形態であってもよい。プログラム性能は例えば、基準画像に類似はするが同一ではない背景画像に対して異なる時間で多かれ少なかれディスクリミネートすることによって、全体的なプロセッサのフレキシビリティを与える。パターン認識相関器を減少ディスクリミネーションモードで走らせることが可能であり、空間フィルタを「コアース」にセットすることで、また少なくとも近似的な一致が見出されることが確立した後に、背景の何かが、強化されたディスクリミネーションを持つために「ファイン」モードで相関器がセットされ、再び相関器を走らせる。このことはプログラムフィルタを可変空間フィルタとして制御することで達成できる。ガウスフィルタは、例えば、結合SLMの前に設けることができる。DOGフィルタは、フーリエ平面出力カメラに近接してSLMの後に設けてもよい。
【0060】
改善点において、1つ以上の結合パターンが一度に1つのSLM上で表示可能である。例えば、4つの結合パターンをSLMの各々のカドラントに「タイル貼り」してもよい。これらは、4つの相関パターンが出力面で同時に生成されることを可能とする。1つ以上の基準パターンによる背景パターンの結合、又は背景パターンによる複数の基準パターンの結合、又は複数の基準パターンによる複数の背景パターンの結合に関連するものであってもよい。
【0061】
レンズ又は複数のレンズの焦点面である出力面のパターンは、カメラを設けることによって監視することができる。
【0062】
さらに別の工程では、方法は出力カメラ(又は他の検出器)に到達する光の強度を制御する工程を含む。このことはSLMとカメラとの間にスマート空間光変調器を設けることによって達成することができる。光は閾値を決めて実質的に所定の強度前後の光のみがカメラに達することができるか、あるいは閾値の上限と下限との間の光のみが実質的に通過するようにすることもできる。別の構成では、SLMは光リミッタとして、またはスレッショルダとして機能することができる。SLM、又は複数のSLMを備えて光制限及び光閾値化の両方を提供することが可能である。相関器でスレッショルダとして機能するSLMを備えることが好ましい。
【0063】
バイナリ・フェーズ・オンリー・情報の使用による問題は、2つの相関ピークがレンズの焦点面でパターンに生成される。2つのピークは、相関パターンの原点について対称となろう。さらに、原点における大きなDCピークが一般に生成され、基準画像がキャプチャされた背景画像の中心に近接している場合に相関ピークを圧倒することができる。
【0064】
二重ピークの問題は、バイナリスキームにとって独特なものであると信じられている。ピークが2つ存在することによって、背景画像における認識された対象の位置の検出において不明瞭性を生ずる。
【0065】
二重ピークの存在は、背景において認識された対象を追跡するために利用することができる。キャプチャ手段(すなわち、カメラ等の電子変換器に対する最初の光学手段)は、背景において基準対象に対して直接向けられる場合、2つのピークが生成される。完全に向けられる場合、単一のより高いピークが生成される。したがって、最高ピーク出力を維持するために第1の光電子変換器の配向を調整することで、移動対象が正確に追跡され、さらに/又は対象を入力カメラ/背景入力手段に集束することができる。
【0066】
この効果を使用することで、配置すべき基準対象の最も必要とする部分が基準パターンを形成するために使用された基準画像の中心に常にあるように配置(例えば、車番号プレート又はコンポーネントのボルト穴)することが可能となる。次に、システムがコンポーネント及びそのボルト穴の場所を定める(又は番号プレートを被写体にする)ために使用される時、2つのピークはコンポーネントがキャプチャされた画像にある場合に生成される。カメラが正確にボルト穴に向けられている場合、2つのピークは相関パターンの中心で重なる。したがって、カメラを2つの相関ピークが重なる間で動かすことでカメラ及び/又は任意の他のデバイス(例えばボルト穴に挿入するためのボルトを持つアーム)を向けることが可能である。
【0067】
さらに別の態様では、本発明は背景画像をキャプチャし、該背景画像を処理することで背景画像のフーリエ変換を表す背景パターンを生成するのに適した手段と、背景画像によって相関される複数の基準パターンを格納するのに適したメモリと、基準画像に集められた基準対象を持つ基準のフーリエ変換である基準パターンとを有し、背景における基準画像の存在及び/又は位置を検出するための装置から構成される。
【0068】
最も好ましくは、基準対象の最も重要な部分は、設定内で各基準パターンを生成する場合に基準画像の中心に位置する。
【0069】
好ましいシステムでは、基準パターンは基準画像の代わりに格納され、各基準パターンは基準画像のフーリエ変換に対応する。
【0070】
常に基準画像の中心にある対象の最も重要な特徴をアレンジする原理は、このパターン認識装置よりもより幅広く適用可能なものであり、また単一相関ピークが出力面で生成されるシステムの利点も利用することができるということである。このことは、システムがスマートSLMを介して全ての出力を合計することを可能とすることから有用であり、それによってピークが背景における基準点の位置及び存在を同定する。
【0071】
さらに別の改良では、方法はマスクを生成するためにSLMに渡される結合パターンのスペクトルに対してチャープコード化パターンを適用する工程をさらに有する。チャープパターンは、DCコンポーネント及び2つの相関ピークの各々が異なる焦点面に集中するようにレンズによって形成されたパターンの焦点部分に適応させてもよい。方法は、さらに相関ピークのたった1つに対応する焦点面に形成されたパターンを監視する工程をさらに有する。カメラ又は他のモニタは、たったの1つ、又は全てではない相関ピークが焦点にある焦点面に設けられることが可能である。DCコンポーネント及び他の相関ピークが焦点からはずれていることから、それらはぼやけており、また明瞭なものとしては出現しない。それらはまた、もし存在するならば、スマート空間光変調器によって取り除かれるだろう。
【0072】
チャープパターンをバイナリ化に先立って計算し各基準パターンに加えることができる。次に、チャープされた基準をバイナリ化の後にキャプチャされた背景パターンと結合することができる。
【0073】
チャープを導入し、かつバイナリフェーズSLMに適用されるデータをバイナリ化する種々の方法が存在する。例えば、チャープはキャプチャされた像データセットと結合することができる。あるいは、チャープコード化パターンはバイナリパターンとして計算され、バイナリ化した基準パターン又は背景パターンと結合することができる。この場合、両相関ピークは同一面に集束し、一方DC信号は脱集束する。
【0074】
複数のチャープコード化パターンを用途に応じて使用することができる。
【0075】
相関ピーク及びDC署名が異なる平面に集束する。このことは、DCピークをブロックするために空間フィルタの導入を可能とする。
【0076】
方法は、さらに周期的に背景画像をキャプチャする工程と、各対応する背景パターンを順次に各背景画像のキャプチャ間の複数の基準パターンと結合する工程と、背景画像のキャプチャ間の各得られた結合パターンによってSLMを駆動する工程とをさらに有する。このことは、背景画像のキャプチャ速度でいくつかの基準(又はより多くの複数の基準)と背景画像が比較されるのを可能とする。このことは、1つのディジタル変換が各キャプチャ画像にとって必要であることから、基準パターンは事前に計算され、光学変換は瞬時に起こる。基準パターンを事前に計算することは、リアルタイムに計算される時間消費フーリエ変換の必要性を取り除く。
【0077】
出力信号は、CCDカメラからの出力から構成されるものであってもよい。それを閾値検出器を用いて、またSLMを閾値化することによって処理してもよい。もし所定の閾値を上回る強度を持つスポットが検出されるならば、基準画像はキャプチャされた背景に存在すると仮定され、かつ出力信号が送られる。もし強度が閾値を下回るものであるならば、信号は一切送られない。このことによって、バックグラウンドノイズが取り除かれる。このことは、もし結合パターンの逆フーリエ変換が検出器に達する前に統合されるならば、大変有用であるに違いない。例えば、もし送られた信号が閾値化されているならば、任意の相関出力検出器システム(閾値無しで再設定を必要とするか、また統合されたバックグラウンド信号の構築による誤った一致が生ずる)で何が起こるか心配することなく何百という閾値相関を実行することが可能であると思われる。このことは、もし統合がなければシステムがより速く一致していないものを処理することが可能となる。共通の相関器によって処理された複数のシーンキャプチャデバイスからの入力を持つことが可能である。スパートSLMは上記のことを実行する好ましい方法である。
【0078】
別の態様によれば、本発明はスマート空間光変調器を提供するもので、該変調器は各々が光検出器を有する複数の光変調デバイスからなるアレイと、変調媒体の少なくとも1つの画素とを有し、光検出器は出力信号を生成するために入力光の強度を測定するのに適しており、また出力信号は変調媒体の状態を制御するのに適している。
【0079】
「画素」は、本来画素を有すること(アレイに与えられた制御可能な領域をディスクリートする)を意味するが、非画素化デバイス(真に画素化してない)、例えば光伝導体又は他のフォトセンサを取り込む光学的アドレス指定SLMを覆うほど十分に広く解釈される。
【0080】
スマートSLMは変調媒体の状態を制御するのに適した制御信号を生成するために入力信号を生成するのに適したプロセッサ手段を含むか、あるいは含まないものであってもよい。各画素は一般にそれ自身の電気的アドレス指定回路を有するであろう。
【0081】
変調媒体は、例えば液晶材料、又はマイクロマシン加工したデバイス又は他の増幅変調手段の可動部分を含むものであってもよい。
【0082】
各画素又は複数の画素からなる群に関連した光検出素子は、入力光の強度に応じて増加(又は減少)する出力信号を生成するものであってもよい。
【0083】
プロセッサ手段は比較器を有するものであってもよい。比較器の1つの入力が基準信号に接続されていてもよく、一方で他の入力が光検出素子の出力に接続される。このことは入力信号が所定の閾値よりも上回るか、或いは所定の閾値レベルを下回る場合に伝送状態に液晶を切り換えるのに必要な制御信号を生成するのに適している。
【0084】
この配列は、所定の閾値レベルを下回る光のみを伝送することに適したSLMの一形態を提供するものであってもよい。閾値それ自体は、例えば光線の変化した光レベルに応答して、外部的に制御されるものであってもよい。このことは自動的に行われてもよい。或いは、SLMはもし所定の閾値強度レベルを上回る場合に光りのみを伝送するのに適応したものであってもよい。このことは、例えば画像の低レベルバックグラウンド光を取り除く点で有用である。
【0085】
異なる用途で、プロセッサ手段は、入力が閾値を上回る場合に全体的又は部分的消光状態に液晶(又は他の変調媒体)の状態が変化することを必要とした制御信号を生成するのに適したものであってもよい。伝送された光の強度を制限するこのデバイスでは、光検出素子は画素の後ろ又は一面に設けてもよい。もし一面に設けるならば、検出器に対する光の強度は画素の状態とは独立している。もし検出器が画素の後ろに設けられるならば、検出器に到達する光は画素の作用によって最初に変調され、フィードバックループが形成される。
【0086】
最も単純な形態では、スマート空間光変調器は、複数の同一光変調器からなる普通の2次元アレイから構成されるものであってもよい。各光変調器は、伝導電極構造を介してバッテリ等の単一電圧供給源から直接電力が供給されるものであってもよい。これは基板上で形成可能である。金属製、又はインジウムスズ酸化物(ITO)から形成されるものであってもよい。よりシンプルな配置では、変調器は検出器出力によって直接駆動可能なものであってもよい。画素は光検出器によって生成され、かつ直接、たぶんレジスタを介して印加された信号によって制御されるものであってもよい。複数の画素、例えば複数の画素からなるライン、又は複数の画素からなるアレイが光電性信号によって駆動されるものであってもよい。共通の電力供給源は、電力を、一般に共通の電圧で、画素への各フォトセンサ制御入力に対して供給するものであってもよい。
【0087】
好ましくは、検出器及び処理手段は、関連した1つの画素又は複数の画素と比較して相対的に小さな領域に制限される。それらは基板上の変調媒体と一体的に形成されるものであってもよい。
【0088】
スマート空間光変調器は、シリコン・オン・サファイア基板又はシリコン・オン・スピネル基板を用いて生産されるものであってもよい。
【0089】
さらに別の態様によれば、本発明は光線を変調する方法を提供するもので、該方法は光線の経路に少なくとも1つの検出器を設ける工程と、光線の経路に変調媒体の少なくとも1つの画素を設ける工程とを有し、さらに検出器の出力が所定の条件に合致した場合に光線の一部分を減衰させるために画素の変調状態を変える工程と有する。
【0090】
検出器及び画素は単一のデバイスで提供されるものであってもよく、さらに検出器の出力を処理するのに適したプロセッサ手段を含むものであってもよい。
【0091】
リミッタの場合、好ましくは方法は検出器と画素とがフィードバックループを形成するように該画素の背後に検出器を設ける工程をさらに有する。このことは制御される画素によって通過した光の量を画素安定レベルに変える。
【0092】
方法は、画素の制御に先だって検出器によって生成された信号を処理する工程をさらに含む。このことは、任意の既知のディジタル論理又はアナログ処理技術を用いて実行することが可能である。
【0093】
所定の条件は、検出器に入力される信号が所定の閾値以下である場合に、又は検出器に入力される信号が所定の閾値を上回った場合に、満たされる。
【0094】
再び、方法は既知のディジタル論理又はアナログ処理技術を用いて検出器の出力を処理する工程を含むものであってもよい。
【0095】
方法は、CCDカメラ(又は他の画素か検出器)を1つ以上の画素の背後に設けることによって改良されたものであってもよい。この場合、画素はCCDカメラの前面にあるアレイに配置することができる。
【0096】
カメラの各画素は、SLMの対応する画素と位置合わせされるものであってもよい。このことは、全ての画素が光を遮るように変調された場合に光がCCDカメラに到達しないことを確実にする。例えば、このことは、もし光線の光全てが閾値を超える場合(又は越えない場合)に生ずる。
【0097】
別の態様によれば、本発明は光パターン認識及び/又は配置の方法を提供するもので、該方法は、
チャープ結合パターン(基準及び/又は背景パターンがチャープ信号と結合されている)を生成するために背景画像を表す背景パターンを基準画像を表す基準パターンと結合させる工程と、
空間光変調器上にチャープ結合パターンを表示する工程と、
空間光変調器によって変調される光線を生成する工程と、
キャプチャされた背景画像における基準画像の存在及び/又は配置を検出するために変調光線を監視する工程と、を有する。
【0098】
方法は、基準画像のバイナリ・フェーズ・オンリー・フーリエ変換(パターン)と1つの画像のバイナリフェーズ・オンリー・フーリエ変換から構成される背景パターンとを結合する工程をさらに有する。この場合、2つの相関ピークが生成されるので、チャープはこれら2つのピークを別々の平面に集束させて対象位置が不明瞭であるという問題を克服又は改善することができる。
【0099】
方法は、SLMに隣接させて、例えばSLMと第2の光電子手段との間に光学レンズを設ける工程をさらに有するものであってもよい。或いは、ゾーンプレートレンズを加えることができる。チャープ及び/又はゾーンプレートレンズの使用は、例えば光学レンズの必要性を取り除くことで、相関器をよりいっそうコンパクトなものにするであろう。
【0100】
背景画像又はパターン、基準画像又はパターン、及びチャープ結合パターンはディジタルデータを含むものであってもよい。
【0101】
示されている他の利点は、チャープ信号の印加によって、使用可能な相関パターンを生成している一方で使用される非平面SLMを僅かに可能とすることである。そのような非平面SLMは製造プロセスにおける欠点を介して生ずることができ、また生産量が少ない光学的にフラットなSLMよりもかなり安価である。
【0102】
さらに別の態様によれば、本発明は光学的パターン認識及び/又は配置装置を提供するもので、該装置は結合パターンを生成するために、背景画像のフーリエ変換を表す背景パターンと基準画像のフーリエ変換を表す基準パターンとを結合するための手段と、結合パターンをチャープ信号と結合してチャープ結合パターンを生成する手段と、結合パターンを表示するのに適した空間光変調器と、該空間光変調器によって修飾される光線を出射するのに適した光源と、背景画像における基準画像の存在及び/又は配置を検出するために変調器光線を監視するのに適した監視手段とを有する。
【0103】
本発明の別の態様によれば、本発明は位置合わせ可能な部材と所望の背景対象との位置合わせを制御する方法から構成される。この方法は、対象を含む背景画像を取る工程と、バイナリ化したフーリエ変換背景パターンを得るために背景画像を変換する工程と、バイナリ化された結合パターンを生成するために背景パターンを背景対象に一致するフーリエ変換背景パターンと結合する工程と、少なくとも2つの相関ピークを持つ相関出力を生成するためにバイナリ結合パターンを逆フーリエ変換する工程と、互いに関する相関ピークをもたらすように、好ましくは実質的に一致するように、位置合わせ可能な部材と光景対象との位置合わせを制御する工程とを有する。
【0104】
好ましくは位置合わせ可能な部材の動きが制御手段によって自動的に制御される。
【0105】
何らかのものを位置合わせするために相関ピークの位置合わせを用いる概念が用途を持つ領域は、アセンブリライン(例えば、ドリルを骨に位置合わせしたり、又は医学用レーザを腫瘍に対して位置合わせ)、又はカメラを何かに位置合わせしたり、又は面又は番号プレートを位置合わせすることが含まれる。
【0106】
別の態様によれば、本発明光学的パターン認識装置を提供するもので、該装置は本発明の任意の別の態様にもとづいてスマート空間光変調器を取り込む光学的パターン認識装置を提供する。
【0107】
パターン認識装置は、本発明の第1の態様にもとづくものであってもよく、この場合、スマート空間光変調器は第2の光電子変換手段の前面に設けられてもよい。パターン認識装置は、あるいは標準的なヴァンデルラフト(Vander Lugt)光学システム又はその多くの変異の1つ、例えば図1を有するものであってもよい。
【0108】
スマート空間光変調器は、相関パターンの検出に光電子変換手段の画像面に可能な限り近接して配置可能である。このことは、CCDカメラであってもよい。好ましくは、スマート空間光変調器の複数の画素の画素間隙間が好ましくはCCDカメラの画素と一致又は少なくともおおよそ一致する(例えば、カメラ画素はSLM画素に対して重ね合わせられるように)。このことによって、スマート空間光変調器内の画素間ギャップに対するシステムの感度を低くすることができる。また、SLM、飽和性吸収体、又は同様の機能を持つ媒体を「結合している」SLMと出力光電子変換器(もし設置されているならば)との間の中間画像面に配置することが可能である。
【0109】
スマート光変調器は、所定の閾値を上回る光のみを通すのに適応したものであってもよい。このことによって、CCDアレイによって検出されるパターンの処理をかなり単純化することが可能となる。高レベルの信号コンポーネントのみが通過するので、各通過した信号が相関ピークと一致すると見なすことができる。そのようなピークは、ある期間にわたって、例えば第1の光電子変換器の一フレーム時間(何百という相関プロセス/結合パターン)内で実行されたいくつかの、又は全ての相関プロセスにわたって、カメラ出力を統合することによって検出することができる。スマート空間光変調器が無い場合は、そのような統合が意味ある結果を生じないと思われる。なぜなら、各画素で多くの低レベルの信号が統合されるからである。もちろん、このことはもしカメラが超高速読み出しに利用可能であるらば必要ないと思われる。
【0110】
統合化の欠点は、いくつかの情報が失われるということではあるが、このことは多くの用途で許容される。情報は、相関ピークを生ずる正確な基準パターン上で失われる。しかし、このことは、特にもし基準パターンが同一基準対象に言及するものであるならば、異なるスケール及び配向で許容可能である。例えば、その距離又は正確な配向にかかわらずある種の車のモデルの存在及びおおよその配置を検出するのに必要となろう。もし基準上の一定の重要な点が既に述べたように常に中心にある場合はよりいっそう許容され、それによって我々は基準上のその点を検出する。
【0111】
パターン認識システムに対する別の用途では、SLMはCCDカメラに達する光の強度を制限するのに適応したものであってもよい。このことは、カメラ又は任意の他のタイプの検出器を飽和する高強度コンポーネントによって生じた不要なブルーミングを防ぐ手助けとなる。そのようなデバイスの商業的用途は、明るい日差しによる過剰に露出された写真を防ぐ「ポイント・アンド・クリック」カメラ、又はビデオカメラ、又は他の画像システムであろう。多の用途はヘッドライトを装着している場合に夜間に車の番号プレートを写真に撮ることである。そのようなカメラはパターン認識システムの入力カメラであってもよい。
【0112】
したがって、さらに別の態様では、本発明は本発明の別の態様のいずれかにもとづいたスマート空間光変調器を含むカメラを有する。
【0113】
スマートSLMはカメラのレンズに付属品として取り付けられるものとして設けたり、レンズとスマートSLMを含むレンズユニットとして組み込んだり、又はレンズの背後のカメラ内部に設けたりしてもよい。
【0114】
スマートSLMの各比較器に印加された基準信号は、全体的な入力画像、例えばパターン認識装置のパターンにおける平均光強度の測定に応じて設定することができる。このことによって、達成されるバックグラウンド光源レベルの変化を自動的に補正することが可能となる。
【0115】
さらに別の態様では、本発明は光学アセンブリを提供するもので、該光学アセンブリは、
レンズ及び該レンズの光軸を基準にして異なる位置で互いに離間して設けられた2つの発光装置と、
該発光装置とレンズとの間に設けられた空間光変調器と、
SLMによって変調された光の受信に適応した出力検出器アレイと、
を備える。
【0116】
光学アセンブリはパターン認識装置の一部を形成するように適応したものであってもよい。
【0117】
「発光装置とレンズとの間」とは、光エミッタから発した光がレンズに到達するまでの光学的経路を意味する。
【0118】
発光装置は空間コヒーレンス、例えば各々が発散又は平行な光線を放出するに適したものであってもよい。
【0119】
高速パターン認識システムでは、処理速度は相関パターンがリアルタイムで高速で例えば最大で1秒あたり約10,000相関で、生成されることを可能とするものであってもよく、またそれ以上の速度も可能と思われる。このことは、得られる相関パターンの分析に使用される光学的検出回路の速度に対して負担をかける。良好な結果は、閾値技術と組み合わせたCCDカメラを用いて達成することができる。しかし、CCDカメラは専用信号検出器又は線形検出器アレイ、特に画素数が大きいCCDで得ることができる高読取速度に達することができない。光学装置は、出力カメラで線形検出器アレイを用いることで得られる利益を利用する。線形検出アレイは非常に速く読み取りするもので、クロック速度のみによって制限されるものと思われる。結合パターンのみを出力(コンピュータ的に集中したプロセスを実行するよりはむしろ)ことのみが求められていることから、非常に速い読み取り用の配置、例えば線形アレイの使用が有利である。
【0120】
一実施形態にもとづく装置は、効果的に光源を「動かす」ことで検出アレイを越える空間光変調器によるレンズの焦点面に形成された2次元出力パターンをステッピングすることで作動する。
【0121】
検出器アレイは、1つのライン上に置かれた複数の検出器、又は2以上の平行なライン上に置かれた複数の検出器から構成されるものであってもよい。各ラインは、2つ以上の検出器、場合によっては数十、数百、数千、又はそれ以上の数の検出器から構成されるものであってもよい。
【0122】
最も好ましい配置では、少なくとも3つ以上の発光装置からなるアレイが設けられる。これは空間光変調器及びレンズの中心を通る光軸に対して実質的に直交配置した2つ以上の発光装置から構成されるものであってもよい。発光装置からなるアレイは検出器のアレイに対して直交して配置されたものであってもよい。発光装置は、数十、周百、数千、又はそれ以上の数であってもよい。
平行化レンズ(又はコリメータレンズ)は発光装置及びSLMの間に設けられ得る。単一平行化レンズは全装置に対して設けられ得る。偏光器も発光装置及びSLMの間に設けられ得る。この偏光器はSLMの一部を形成し得る。
【0123】
フーリエ変換レンズは好ましくは設けられ得るが、必ずしもSLM及び検出アレイの間ではない。代替的には、SLMの一部を形成し得る。フーリエ変換レンズは輪帯回折板レンズ機能をSLMによって作り出されたマスク・パターンに組み入れることによって生成された仮想レンズを含み得る。
【0124】
発光装置はコヒーレント光の源を作り出すことができるレーザ或はレーザ・ダイオードを含み得る。好ましくは、ただ1つの発光装置がいつでも光ビームを発するように構成されるか或は制御される。
【0125】
装置のアレイはVCSELアレイを含み得る。
【0126】
SLM上に表示される512×512画素マスクに対して、対象の出力視野も全解像度で512*512点を含み、512要素を有するVCSELアレイと512要素検出器とが設けられ得る。このようにして、もし制御手段がVCSELの各要素をターン・オンして2−Dパターンを512段階でスキャンすれば、情報の損失が生ずる必要性がない。しかしながら、出力を全解像度で読取る必要性は必ずしもなく、SLM画素よりも少数の検出器画素が提供され得る。限界において、スマートSLM或は飽和可能な吸収体は単一の大きな領域の検出器で追従され得る。
【0127】
並列に配列された多数の検出器アレイが使用され得る。この場合、最適結果に対して要求されるVCSELアレイの数は、RをSLM内における行数(或は列数)とし、Nを検出器アレイの数とすれば、R/Nまで低減される。勿論、理解して頂けるように、最も極端な場合、1つのみの発光アレイ及びR検出器アレイとが使用可能である。
【0128】
更なる局面に従えば、本発明は少なくとも2つの発光装置と、前記装置及び空間光変調器の間のレンズとを提供することによって光ビームが前記空間光変調器を通過する際、作り出される2次元光学的パターンをモニタする方法を提供し、前記少なくとも2つの装置が前記レンズの光軸に対して異なる位置であり、前記装置を制御して、各装置が順次照射されて、前記光ビーム源を効果的に移動する段階と、少なくとも1つの検出器手段をモニタされることになる前記光学的パターンを含む平面内に提供し、それによって前記装置を制御して前記検出器手段にわたって前記2次元パターンをスキャンする段階との諸段階を含む。
【0129】
各光源を順に照明することによって、2次元パターンが検出器にわたって移動される。実際上、相関用途において、検出器アレイからの出力は、それが出現して存在する任意の相関ピークを検出すると典型的には閾値となる。また、閾値相関信号を時間にわたって積分することができる。
【0130】
本方法は、3つ、4つ、或は、それ以上の発光装置と2つ以上の検出器を提供する段階を含む。
【0131】
光源はレンズ及びSLMの光軸に直交する線上に配置され得る。検出器手段も複数の検出器から線を含むことができる。これはレンズの光軸の配向と発光装置の線とに直交するように配列され得る。
【0132】
本方法は、1つ或はそれ以上の発光装置とSLMとの間に集束レンズを提供することを更に含み得る。
【0133】
発光装置は、好ましくはレーザ・ダイオードを含む。
【0134】
光学的アセンブリは本発明の第1局面に従ったパターン認識装置に組み込まれ得る。そのアセンブリは、本発明の第2局面の方法の一部を具現化するためにも使用され得る。何れの場合にも、SLMは画像及び基準の各フーリエ変換の少なくとも1つの組み合わせに対応するパターンを表示すべく駆動され得る。SLM後の光学レンズは光学フーリエ変換として作用し、2次元相関パターンは検出器アレイにわたってスキャンされ得る。
【0135】
また理解していただけるように、ここで議論された幾つかの発明はパターン認識の分野以外の数多くの用途を見出すことができ、その分野に制限されることがない。
【0136】
更なる局面に従えば、本発明は光景内における基準対象の存在及び/或は配置を検出する方法を提供し、該方法は、
電磁輻射の少なくとも1つのパルスで伝送することによって前記光景を照射する段階と、
前記輻射パルスが伝送された後の所定時間に受け取った反射輻射に対応する取り込み光景画像を作り出す段階と、
前記取り込み光景画像のフーリエ変換に対応する光景パターンを作り出すべく前記取り込み光景画像の少なくとも一部を処理する段階と、
前記光景画像を基準画像のフーリエ変換に対応する少なくとも1つの基準パターンと電子的に組み合わせて、組み合わせパターンを作り出す段階と、
の諸段階を含む。
【0137】
輻射は紫外線、可視光若しくは赤外線光、或は他の波長を含み得る。
【0138】
好適な構成において、本方法は、
空間光変調器を用いて前記組合わせパターンに対応するマスクを作り出す段階と、
前記空間光変調器によってコヒーレント光のビームを変調する段階と、
前記空間光変調器による変調後に形成される光のパターンをモニタする段階と、
の更なる段階を含む。
【0139】
光等の輻射のパルスを伝送することによって、所定遅延時間に前記光景画像を取り込むことができ、該遅延が、前記取り込み光景画像が所定距離を移動した光と対応することを保証する。霧或は煙が前記装置及び前記光景の間に存在して前記光景の画像を圧倒し得る際、この光は前記画像が取り込まれる前に反射されることになる。同様に、壁或は木々等のバックグランド・オブジェクトが、それらから反射された前記光が到達するに余りにも遅いので、拒絶され得ることになる。検出器から遠ざかった所定距離間のオブジェクトからの反射は、それ故に、絶縁され得る。これは、関連データの量が低減され得るのでパターン認識を相当より容易に為し得る。これは、たぶん、スピード違反車両を識別する速度検出器システムの一部として、例えば、車両が霧の中を高速でドライブしている際に車両ナンバープレートの写真を撮る点に関して非常に有用であり得る。
【0140】
輻射パルスはレーザを用いて作り出され得る。
【0141】
好ましくは、本方法は幾つかの異なる時間遅延に対応する光景画像を取り込む段階を含み得る。これは、パターン認識技術がある時に光景をスライス(視野方向の深さにおいてスライスされたもの)で見ることによって3次元で実行されることを可能とする。これはパターン認識プロセスを補助し、ここで記載されたプロセッサの大きな速度を利用する。本方法は、それ故に、異なる距離である光景におけるオブジェクトの各種部分から反射された光に対応する少なくとも2つの光景画像を取り込むことを含み得る。これら2つの画像から、基準オブジェクト介しての「スライス」に対応する基準パターンを用いての空間分析を実行することによってオブジェクトが識別され得る(即ち、2次元で同様に見える2つのオブジェクトは3次元情報で識別され得る)。
【0142】
パルス期間は1ns台、10nsまで、或は、それ以上であり得る。受け取られた光は光学的増強器を通過させられ得る。これは、用途に応じて、典型的には、50psecsから10nsの期間でパルス化され得る。
【0143】
勿論、容易に理解されるように、本発明のこの局面は本発明の他の局面の任意の特徴と組み合わせることが可能で有り、そして本質的にはパターン認識に対する改善である。実際上、本明細書に開示された様々な特徴及び発明は、いずれも、本明細書に開示された他の発明や特徴とどのように組み合わせても使用できる。
【0144】
照明パルスは同一点或は実質的に同一点から誘導され得て、該同一点から画像が取り込まれる。代替的には異なる場所から誘導され得る。
【0145】
本技術は、認識されたクラスのオブジェクトの初期的な存在がパターン認識方式を用いて識別された後の画像識別に対する改善として使用される。本方法は本発明の先行する種々の局面の装置或は方法の任意のものと組み合わせることができる。好適方法において、物品の位置は空間的相関を用いて先ず決定される。次いで、2つ(或はそれ以上)の光景画像は取り込まれ、認識を補助すべく異なる距離での該オブジェクトの異なる部分に対応している。
【0146】
パルス化時間/範囲ゲート化検出器システムは、先に議論されたより高速の相関器技術との組み合わせの点で特に有用であり、理由としては、これが光景の3次元スライス写真を利用するに充分高速である第1相関器であり得るからである。
【0147】
別の局面に従えば、本発明は光景内の基準オブジェクトの存在及び/或は位置を検出する装置を提供することであり、該装置は、少なくとも2つの組み合わせパターン・マークの作成に適合する手段であり、少なくとも1つの光景パターン及び少なくとも1つの基準パターンとの組み合わせに適合して、第1組み合わせパターン・マスクを作り出す手段と、第2組み合わせパターンを作り出すべく、少なくとも1つの光景パターンと少なくとも1つの基準パターンとの組み合わせに適合する手段と、前記少なくとも2つの組み合わせパターン・マスクを空間光変調器上に同時に表示することに適合するディスプレイ手段とを含む。
【0148】
組み合わせパターン・マスクは、好ましくは、ディスプレイ手段上に相互に重畳されない。
【0149】
本発明の更なる局面に従えば、光景内に基準オブジェクトの存在及び/或は位置を検出する方法であって、
少なくとも1つの光景画像を少なくとも1つの基準画像と組み合わせることで少なくとも2つの中間マスク(組み合わせパターン)を作り出す段階と、
前記少なくとも2つのマスクを空間光変調器上に同時に表示する段階と、
の諸段階を含む。
【0150】
2つの中間マスク(組み合わせパターン)は、双方とも、光ビームによって同時に照明され得る。レンズが設けられて、SLMによって変調された光ビームのその部分を焦点平面内に合焦する。
【0151】
このようにして、2つの相関パターンは同時に作り出され得る。
【0152】
勿論、3つ、4つ、或は、それ以上の中間マスクが任意の時間にSLM上に同時に表示され得る。各中間マスクは各相関パターンを作り出すことができる。
【0153】
中間マスクはSLM上に「タイル」張りされ得る。中間マスクは相互に隣接してタイル張りされ得る。一例としては、4つの中間マスクがSLMの各4分円を占有する1マスクで表示され得る。
【0154】
中間マスクは、検出画像に依存するフーリエ変換データセット(光景パターン)を基準オブジェクトのフーリエ変換データセット(基準パターン)と電子的に組み合わせることによって作り出され得る。双方は二進位相専用データを含み得る。
【0155】
更なる局面に従えば、本発明はSLMの各画素に横切る正味ゼロ電圧を維持するために必要な時間を低減して、液晶分子の解離、画素の変調状態を変更する電圧における変化を防止する方法を提供するものであり、該方法は、
前記空間光変調器への少なくとも1つの表示されたマスク入力に対応する前記空間光変調器の各画素に印加される電圧を負荷するか或は設定する段階と、
前記必要とされる電圧を各画素に、前記電圧の合計に対する符号に関して反対である時間長にわたって印加する段階と、
の諸段階を含む。
【0156】
これは2つ以上のマスクを必要とし得る。
【0157】
例えば各マスクが表示された後に正味ゼロ電圧を維持すべく使用される先行技術における数多くの方式があり、「負」マスクが表示される。しかしながら、これは負マスクを表示すべく繰り返される利用可能な表示時間の50%となり、これは通常望ましいものではない。
【0158】
本方法において、連続的マスクが反対の符号の電圧を用いて印加される。好ましくは、マスクは正電圧で表示され、それが負電圧での異なるマスクで追従され、次いで正電圧での第3マスクの追従等々となる。これは、各画素が時間に関して無作為である順次的な値に対してゼロへ向かいやすい時間にわたって異なる平均電圧を有する効果である。
【0159】
好ましくは、各画素に印加される電圧の合計は格納される。次いでこのデータは考慮されて、SLM上の各画素に対して必要とされる正しい正及び負の電圧を作り出して、正味ゼロ電圧を経時的に達成する。
【0160】
所定期間にわたって変調器へ付与されるパターンは予備計算され得る。関連解除の効果を低減すべく印加されなければならない各画素に対する電圧は、次いで、その予備計算されたパターンから個々別々に計算され得る(実際の電圧測定の代わりに)。よって、印加されるべきパターンのシーケンスから、略ゼロの正味電圧を得るために印加されなければならない正電圧パターン及び負電圧パターンの最適組み合わせが計算可能である。もし必要であれば、単一「補償」画像が、例えば、2つ或はそれ以上のパターンの後に表示可能であって、ゼロ平均電圧を維持する。事実上、数十そしてより好ましくは数百のパターンが表示された後に「補償」画像を表示することだけを想定している。
【0161】
よって、パターン・ベースによって、パターン上にSLMの画素を「補償」する代わりに、パターン・バッチが表示された後だけ補償する。SLM上の欲せられたパターンの表示は、それ故に、実際上、先行技術方法と比べて2倍高速であり得る。
【0162】
また更なる局面に従えば、本発明は光学的システムを提供し、それが空間光変調器(SLM)上の各画素にわたって正味ゼロの電圧を維持するために必要とされる時間を低減することに適合した空間光変調器(SLM)を組み入れており、SLM上に表示されるべき多数のパターン(パターン・リスト)を生成することに適合した生成手段と、前記パターン・リストを表示することによって作り出されるSLMの各画素上に正味の積分された電圧バイアス効果を設定することに適合する手段と、各画素に対して、略同一の大きさの反対リスト修正電圧を印加することか、或は、集積電圧の後に各画素に印加される正味集積電圧が略ゼロとなるようにパターン・セットを表示することによってそのレベルまで印加された集積電圧を印加することに適合した手段とを含む。
【0163】
理解して頂けるように、光景パターン及び基準パターンを組み合わせるために使用される組み合わせユニット/増倍化ユニットが、典型的には、請求項1の構成で使用される電気的/ディジタル式コンバイナとなるが、本発明の他の局面或は様々な好適特徴に対して、そのコンバイナはディジタル装置である必要性がなく、任意の適切なコンバイナであることが可能である。
【0164】
【実施形態】
次に、例示的目的だけで、本発明の幾つかの実施例が添付図面を参照して説明される。
【0165】
本発明の少なくとも一局面に従ったパターン認識装置の概略が添付図面中の図2に示されている。試験所での原型装置を構築するために使用された主要な構成要素パーツを図示している代替図が図3に示されている。
【0166】
この装置は、処理の一部がディジタル・エレクトロニクスによって実行され、そして処理の一部が光学的に実行されているハイブリッド・システムである。情報は、2つの光電変換手段と1つの電光変換手段の補助で、電子から光子へ変換されそして逆の場合も同じである。
【0167】
例証応用は通り光景内における車の存在の検出である。このシステムは車の特定タイプ(例えばモデル)が基準データ内に保持された情報から存在するか否かを識別するために使用可能である。また、少なくとも1つのモード動作で、その光景での車の場所を識別することにも適用できる。
【0168】
先行する段落で記載された例において、その光景の画像がCCDカメラ等の電荷結合装置10を用いて取り込まれる(又はキャプチャ)される。試験所において、718×512画素カメラが使用された。選択されたこのカメラは可視光に感度を有するが、このカメラによって記録される波長の実用的な範囲については前提が何等設けられていない。赤外線における動作は、カメラが日中或は夜に動作するのでしばしば好適である。事実上、カメラは省略され得て、このシステムが2次元アレイで配列され得る他のタイプの画像或はより抽象的なデータを処理するために使用されることが予見される。
【0169】
別の例証は、図20に示されるように、顔の写真から人の目を識別することである。
【0170】
カメラは1/25秒毎に512×512画素の1つの固定光景画像を作り出す。取り込まれた光景画像(或は選択された複数画像)の各々は一時格納のためにディジタル・メモリ11内にダウンロードされる。
【0171】
ディジタル・メモリ11(或は別体のメモリ)も一式(1セット)の基準パターンを格納している。この例証において各パターンは、異なるタイプの車画像のフーリエ変換、異なる角度から見た車、様々な異なる角度及び/或は多数の異なる距離から見た場合の異なる車の何れかに対応し得る。
【0172】
ディジタル・メモリはパーソナルコンピュータ(図3に示されるような)の一部として提供される。これは、専用画像取得ボード13を用いたビデオ率でCCDから光景画像を取り込む。
【0173】
メモリに格納された取り込み光景画像のデータセットは専用トランスピュータ14(現行動作しているようなバージョンであるが、トランスピュータは必須的なものとは考えられない)へ送られ、それは取り込み光景画像のフーリエ変換に対応する光景パターンを生成する。フーリエ変換は画像取得ボードの取り込み率で実行される。
【0174】
その光景パターンを構築するために使用される実際のフーリエ変換データは、FFTルーチンを用いた取り込み画像データセットの複素数2次元フーリエ変換を先ず計算することによって算出される。次に、トランスピュータその複素数データ内にコード化された情報の幾つかを無視し、二進位相専用データを含む光景パターンを形成する。勿論、これは非複素数データである。
【0175】
基準パターンも、基準画像或はオブジェクトのフーリエ変換から生成される二進位相専用データとしてコード化される。これはマルチビット・データと比べてメモリを節約する。システムができる限り高速で動作することを保証するために、これら基準フーリエ変換はシステムの使用に先行して計算され、メモリに格納される。もし生基準オブジェクト・データだけが格納されたならば、基準の各フーリエ変換はリアルタイムで計算されなければならない。これはシステム・ボトルネックを生ずることになる。基準メモリはユーザの制御下でプログラム可能であり得る(潜在的には、アクティブである「ライブ」のメモリに格納された基準パターンを変更する)。
【0176】
取り込み光景画像内において基準画像の認識及び/或は捜し出すために、基準パターンは取り込み光景パターンと比較されなければならない。例えば、各取り込み光景パターンと比較される4百の基準パターンに対して、これらパターンの組み合わせプロセスが、もしシステムがビデオ取り込み率でリアルタイムに動作しようとすれば、1/25秒以内での4百組み合わせの率又は速度で実行されなければならない。
【0177】
取り込み光景画像は、二進位相専用データを光景パターン内に作り出すべく処理される。これは画像に対して低減された複素数フーリエ変換パターンを表現する。基準パターンも二進位相専用データの形態であるので、これら2つのパターンは排他的論理和ゲート等の高速で簡単な論理回路を用いて組み合わせ可能である。組み合わせられた画像パターン及び基準パターンは、コントローラ15aによって駆動される空間光変調器(SLM)15上に表示される組み合わせパターンを形成する。
【0178】
試験所の原型において使用されたSLM15は、高速ビット平面空間光変調器(FBSLM)を備え、それは本出願人と英国のケンブリッジ大学との間での合同の共同製作の一部として開発された。
【0179】
その装置にはそれ自体の制御ボード15aが設けられ、それが基準オブジェクト・データセット格納用のメモリを含む。数百の基準パターンが二進位相専用情報として格納可能である。これらはグループ毎にリスト化され得る。例えば、基準パターンは車の異なる型に対応し得る。あるリストでは、各型に対して1つの基準パターンを含み得る。他の者は個々別々の型に対して基準パターンの全てを含み得る。
【0180】
パーソナルコンピュータ12は(通信線を介して)どの基準パターンのリストが特定の組み合わせパターンを形成するためにアクセスされるべきかを制御する。1セットの組み合わせパターンが、順にパターンの関連リストの全てにわたって逐次シフトすることによって形成されることが好ましい。しかしながら先行情報は、特定リストまでの調査の低減或は調査順序の変更のために使用され得る、即ちもし車の1つの型を識別することが望まれるだけであれば、そうした先行情報は使用され得る。勿論、もしシステムがリストAを調査してパターンXに対する合致を見つけ出すのであれば、制御手段は、それが調査されるべき次のリストの選択を制御するために合致したパターンXであった事実を使用し得る(例えば、リストCの代わりのリストBであり、それが、パターンYが合致されるかを調査されることになる)。
【0181】
先に述べたように、光景パターンの基準パターンとの乗算は二進情報のみが存在するのでXOR(排他的論理和)ゲートを用いて実行される。これは非常に高速なプロセスであり、そのデザイン特性の故にそれらパターンの完全整合を達成する。
【0182】
現行利用可能なFBPSLMは制限された解像度を有し、使用可能な320×240画素を表示することだけができる。この場合、FFTパターンは512×512画素パターンとして計算され、そのパターンの中央の320×240画素は無視される。しかしながら、より大きなSLMが利用され得て、1つは現行開発中であることが予想される。取り込まれるよりも少ないデータをSLMへ提示するこの原理は他のサイズ範囲に対して適用される。
【0183】
FBPSLMによって表示されて、組合せパターンの少なくとも一部と対応する実際の組合せパターン(マスク)は、光ビームを変調するために使用される。図3に示されるように、光ビームはビーム拡大器及び直線偏光器17の通過に先行してレーザ16によって生成される。拡大及び変更が為されたコヒーレント(可干渉性)ビームは、反射モードで作動するFBPSLM15上を照らす。このFBPSLMから反射された光は、該FBPSLMによって表示されるパターンでコード化された変調ビームを規定する。FBPSLMは1秒間に約1万パターン(マスク)を表示することができる。
【0184】
FBPSLMは光ビームの位相を変調する。FBPSLMにおける各画素は入射波長(画素毎に)上にゼロ波長遅延或は半波長遅延の何れかを与える。相対的位相だけが重要である。各画素の状態は、第2中間データセットにおける対応サンプルの二進値に依存する。こうして、FBPSLMはビームに二進位相変調パターンを適用する。
【0185】
反射ビームはレンズ18によって光学的にフーリエ変換される。光のレンズの通過はその変調パターンを変換して、レンズの後方焦点平面内に、必要とされる相関パターンを作り出し、それが焦点平面に配置されたCCDアレイ19によって検出可能である。
【0186】
もし(基準及び光景パターンから誘導された)任意の2つのパターンが合致すれば、基準パターン、光景パターン、並びに、レンズから作り出された相関パターンは原点回りに対称的に変位する2つの鋭い合焦ピークから成る。これは、位相反転格子の特に簡単な場合に対して図5に図示されている。加えて、より大きなピークが原点に形成され、これは本質的にはSLMの画素間領域による。2ピークの存在はフーリエ変換データの位相に関する二進化の副作用である。
【0187】
これら2ピークから特定の基準画像がある光景内に存在するか否かを決定することは容易である。もし基準パターンが光景パターンと相関された際に1つのピークが存在すれば、基準がその光景内に存在することを想定できる。もしピークが何等形成されなければ、基準画像が存在し得ないと想定できる。この決定は閾値回路により為され得る。
【0188】
相関パターンも光景内における基準画像の位置を幾分かの曖昧性を伴って決定させることができる。一般に、相関パターンの(x、y)平面内におけるピークの位置は光景における基準画像の位置と関連されている。
【0189】
これを用いてオブジェクトを探し出されたオブジェクトへ向かってガイドすることが可能である。例えば、ドリル用ビットを穴が必要とされている識別領域へ向かってガイドさせられ得る。第1光電手段をその光景における基準オブジェクトへ向けて操縦させるように、2ピークが1つに収束するように構成され得る。
【0190】
レンズの焦点平面に配置された出力カメラは、次いで、その光景内における基準オブジェクトの存在及び/或は位置を検出すべく分析される出力信号を作り出す。単純な場合、カメラの出力は時間にわたって積分され、例えば、多数の基準オブジェクトのスケール及び/或は配向をカバーして、カメラの必要とされる読み出しフレーム率を例えば10kHzの現行理想値から減ずるように為す。
【0191】
代替的には、相関ピークを識別すべくディジタル式に処理され得るカメラによって記録されたパターンから信号が作り出され得る。例えば、光景を表現している取り込み光景画像はスクリーン上に表示され、マーカが被せられ得てその光景における基準オブジェクトの位置を指示する。このマーカは、例えば、交差針金であることが可能である。これは、例えば、本発明を、もし適切に整合されて電力供給されれば特定の組織部分を焼き消してその他は焼き消さないように為す医療用レーザと組合わされて使用する際に有用であり得る。
【0192】
理解して頂けるように、第1光電変換手段(入力カメラ9は毎秒25フレームの率で画像フレームを取り込むことが可能である。四百個の基準パターンのセットの場合、1万のパターンが1秒毎にSLM上に表示されることになる。次いでこれが意味することは、出力カメラは理想的には毎秒1万フレームの出力率を有することが必要であるが、これは本質的なことではないことである(例えば出力信号は積分され得る)。
【0193】
以上、基本パターン認識方式を記載したが、多くは光学的なことである幾つかの有益な特徴はこれ以降に記載する。それら特徴はそれら自体の権利における発明を含み、パターン認識の分野に必ずしも限定されない。
二進位相専用変換
以上に記載したように、本発明の本質はパターン認識方式におけるディジタル変換及び光学変換の組み合わせである。
【0194】
ディジタル・データに使用される好適な変換は、フーリエ変換から誘導される1ビットの二進位相専用データである。二進位相専用データの使用は、FBPSLMを含む強誘電体液晶SLM等の高速二進変調器用に傑出して適合するものである。多重ビットレベル変換データは代替として使用され得るが、最大限の利益のためには幾つかの変調レベルに基づいた空間変調器が必要とされる。現時点でこのタイプの任意の適合する市販装置は知られていない。
【0195】
位相専用フーリエ変換情報(振幅情報を受け入れない)の主要な利益は、それが白色ではない空間スペクトルを伴う「雑音に満ちた」光景における基準検出を改善していることである。
【0196】
第1中間データセット及び基準データセットに対して二値化位相専用情報を用いる主な理由は、二進応答を伴う液晶SLMと、二進データが例えば排他的論理和ゲートを用いて乗算され得るより速い速度に対するその固有の互換性である。
【0197】
一般に、二進位相乗法の使用は位相データの量子化のきめの粗さによる性能の劣化となる。更に二進データは、図5に例示的に示される湯尾なフーリエ変換レンズの出力平面内に形成される2つの相関ピークと成る。
【0198】
この2ピークの生産は先行技術文献で議論される。勿論、これも出力フィールド全体に当てはまり、相関ピークにではない。一般にこの振る舞いは、識別されたターゲット(目標を捜し出し関して曖昧性に到るので望ましいものではない。しかしながらこのほかならぬ減少は基準オブジェクト識別及びトラッキングに利用され得る。
【0199】
出力平面における相関ピークの位置が基準データセットを生成すべく使用されるピクチャにおける基準オブジェクトと、取り込み光景において識別されるべきアイテムとの相対的変位の尺度であることが明示され得る。例えば、もしオブジェクト及び基準がそれらの各光景の玄関から同等に変位されれば、相対的変位はなく、単一のピークが原点に生ずる。
【0200】
図2及び図3に示されるパターン認識装置に対して基準が任意に配置され得ることが設定された。オブジェクト・トラッキング(追跡)の場合、これは貴重な自由度を提供する。理由としては、光景内に存在する移動中の捜し求められるオブジェクト上のスポットを追跡することがしばしば必要とされるからである。それは、このスポットを、捜し求められる基準オブジェクトの各スケール/配向に対する(基準パターンを作り出すべく使用される)基準画像の中心と為すためには便利である。この場合、基準オブジェクト上のスポットが入力平面の中心内である際、出力相関ピークは出力平面の中心である。よって、トラッキング・プロセスにおいて、光景オブジェクトの所望領域がトラッキング装置(例えばカメラ或はドリル)によって常に中心に整合させられる場合、ターゲット(目標は相関ピークを出力平面の中心に保持しようとする。二進位相SLMを利用する本発明のパターン認識システムの場合、これらの状況において、出力ピークは充分な強度を有し、以上に議論された2つの対称的なピーク1つの強力な中央ピークに合併することになるという付加された長所となる。この事実は基準オブジェクト識別及びトラッキングに対して援助として使用可能であり、光景基準オブジェクトの位置が基準の位置と完全に符合する際に出力ピークが分離されないという事実を利用する。勿論、この陳述に内在するものは基準オブジェクトがプロセッサ内において識別されるという事実である。オブジェクトをトラッキングする一例は、移動中の車の上のナンバープレートを追跡すべくカメラを移動して、そのナンバープレートの写真を撮ることであろう。別の例は、ワークピースに穴を穿つ前に、移動中のワークピース上に整合されたレーザ或はドリルを保持することであろう。
【0201】
光景がオブジェクトによって支配され且つ基準オブジェクトに完全に符合している際、位相専用フィルタを用いることによる別の興味深い結果があり、オブジェクトの(二進化位相専用)フーリエ変換と基準との間に完全な位相共役関係となり、視野が存在するこれら状況においてSLMは均一振幅である平面波(入力照明が均一であることを仮定している)であるので、その出力はオブジェクト/基準とは独立した理論的なエアリー関数である。これは非常に低いサイドローブ・レベルを有するので、一般的なオブジェクト/基準であると共に固定強度であるACFとは対照的に有用であり得る。もし照明レーザがガウス強度プロフィールを有すれば、その出力は更に平滑化される。このガウス・プロフィールはシステムの感度をオブジェクト及び基準間の精密な符合まで低減し得、その理由は、それが出力の高空間周波数含有量を低減するフィルタの使用と同等であるからである。
【0202】
それ故に空間フィルタ、特に二進化システムと組合わされた空間フィルタを提供することが望ましい可能性がある。
チャープ・フィルタ
特定の状況において、フーリエ変換レンズの出力平面における2相関ピークが有害であると認識すれば、チャープ(非線形位相項)を基準二進位相専用フーリエ変換データセットのデザイン(基準パターン)内へ含めることが提案されている。チャープはゼロ平板レンズと密接に関連されている。理論的に且つ実験で示されたことは、これはが2相関ピークを光軸に沿って異なる平面へ合焦させる効果を有することである。更に示されたことは、原点でのDCピークが同様に異なる平面内へシフトされることである。出力カメラをこれら平面の内の1つに配置することによって、1つのみのピークが合焦状態となる。これは欲せざるDC成分及び1ピークがその出力カメラで大きさにおいて低減させることを可能としている。欲せざるピークに対応する光は出力平面にわたって拡散される。これが図6に示されている。
【0203】
チャープ位相パターンは、結果としての基準パターンが二進化される前に基準位相パターンに計算され追加された一実施例内である。基準及び入力のパターンから結果としての組み合わせスペクトルはFBPSLM上に表示され、レンズによって光学的にフーリエ変換される。判明され得ることは、チャープによって、作り出された2相関ピークが、z方向での距離z”及びz’’’におけるレンズの焦点平面の両側における平面に合焦することである。また判明され得ることは、x−y平面における相関ピークの位置が利用されるチャープのサイズに依存して変倍されることである。
【0204】
図7及び図8は、それぞれがチャープの有り無し場合の基準パターンによって作り出された相関信号の実験的に記録された結果を示している。図7は、チャープが付与されない場合にレンズの焦点平面に配置されたカメラで記録されたものである。図8はチャープが付与された場合に記録されたものであり、1つの相関ピークが平面z'に合焦するまでカメラがz方向へ変位させられている。図8は、第2相関ピーク及びDC成分の焦点がぼけた状態をうまく示している。
【0205】
実験が判明したことは、もしチャープが二進パターンとして計算されて、二進パターンへ付加されたならば、作り出された両ピークは同一x−y平面に合焦することである。それ故にこれは二進パターンにとって必ずしも望ましいことではなく、その理由は両ピークが合焦状態となるからである(有益な効果は原点でのピークの焦点ぼけであるが)。
【0206】
想像されることは、チャープをSLMに対する、固定的或は変動的の何れかでの外部構造として設計することが可能であり得ることである。
【0207】
パターン認識に対して、パターンが二進化されて両パターン或はそれら両パターンの内の一方のみに付加され得る前に、理想的にはチャープが付加されべきであることを実験は示した。おそらく、パターンを予備計算して、それを基準パターンへ付加することがより好都合である。それ故に、異なるチャープでパターン・セットを構成して、z方向でのスキャニング焦点を提供すべくチャープがリアルタイムで或は逐次にリストから無作為に選択され得るように為すことが可能である。線形チャープとの組み合わせは、焦点がリアルタイムで3次元において変動させられることを可能とする。例えばFBPSLMの現行デザインは、チャープ・パターンが略毎秒1万回変化させられることを可能としている。応用は、パーツの機械的移動の必要性無しに、光ディスクのメモリ・アクセスとホログラム・メモリを含み得るであろう。
【0208】
幾つかの応用において、変動チャープが要求され得、例えば、未知のチャープが入力信号内に存在し得るウィグナー変換(Wigner transform)或はアンビギティ関数(Ambiguity function)で時間/周波数分析である。付加的なチャープを応用する目的は、所望の信号を検索するためにどのものが未知のチャープを否定するかを見出すことである。
【0209】
チャープは3変調レベル(即ち、二進ではない)以上を有するSLMによっても使用され得る。これは、多重変調レベルが1つのみの相関ピークを作り出すという長所を有することとなって、それ故に光学的スループットがより効率的である。捜し求められるオブジェクト位置の曖昧性は1つのみ相関ピークを有することによって除去されるが、依然としてDCピークの存在によって生ずる問題がある。この特性は当方が知る限りでは文献で議論されていない。
【0210】
また留意されるべきことは、チャープがレンズに対して同様な数学的記述を有し、そして実験的に判明されたことがレンズをチャープと連合して使用する必要がないことである。これは光学系設計を簡略化する。
【0211】
実際上、チャープ関数はFFTパターンと単純に乗算され得る。それは予備計算され得るか、或は、「検索(ルック−アップ)」テーブルからアクセスさえされ得る。代替的には、チャープは畳み込み積分(コンボリューション)によって信号に付与され得る。
空間光変調器
パターン認識方式を具現化するために、本質的には組み合わせパターンを位相コード化空間マスクとして表示できる空間光変調器を提供することである。
【0212】
1つの適切な二進SLMは高速ビット位相空間光変調器(Fast Bit Phase Spatial Light Modulator: FBPSLM)として知られている。他のSLM(他のシリコン・バックプレーンを含む)も使用され得る。
【0213】
FBPSLMは、65%のフィルファクター(fill factor)を有する320×240画素アレイを備える。これは22.7KHzの最大フレーム率を許容し、それは毎秒1万パターンを超える表示に対して充分である。画素はDRAMタイプである。
【0214】
SLMの大多数におけるようにFBPSLMにおいて、電界は各画素にわたって付与される。二進SLMに対して、各画素が2つの変調状態を有することになる。位相変調に対してこれらは異なる遅延に対応することになる。
【0215】
正味電流での画像材の分離を回避するために、印加電圧は理想的には極性に関して変動(例えば交番)されるべきであり、時間にわたって画素材で見られるその正味電圧はDC平衡化された実質ゼロになるように為す。
【0216】
先行技術において、パターンを表示してから、その逆パターンとの両パターンが時間の同一長にわたって表示された状態でその逆パターンを表示することによって、即ち各相関/コンボリューションの画像が表示された後に逆転画像を表示することによってDC平衡状態は達成された。しかしながらこれはSLMに対する表示時間の半分が冗長となる。速度が重要であるパターン認識において、この冗長時間は所与の時間内で実行される基準相関の全数に対して制限を負荷し得る。
【0217】
(図2及び図3に示されるパターン認識方式と、SLMを組み込む他の任意のシステムとの双方における)SLMにおける冗長時間の量を低減するために、SLM上に表示されるべきパターンのリストを生成することが提案される。次いで、そのリストを表示する際の時間にわたって各画素を横切って印加される電圧は加算可能である。次いで、単一パターンはその合計値から計算可能であり、DC平衡を作り出すために必要とされる単一パターンはSLM上に表示可能である。リスト内のパターンは、ゼロの正味電圧に接近すべく、その幾つかが負電圧を有するように、且つ、その幾つかが正電圧を有するように表示され得る。それは、交番する正電圧パターンとしてか或は負電圧パターンとして表示され得る。
【0218】
パターン認識システムにおいて、例えば2つ、3つ、4つ或はそれ以上のパターンに対する画素に印加される電圧は加算可能である。想像されることはパターン・リストが、おそらく、数百の組み合わせパターンを有することである(組合わされた光景パターン及び基準パターン)。想像されることは、リストが識別されるべき特定の項目に対する基準パターン・セットによって生成された組み合わせパターンの全てを含むことであり、即ち、リストはSLM上に表示され、特定の所定項目kに対する全ての相関組み合わせパターンを表示した後、SLM画素/材はリストによって印加される電圧の正味効果を補償すべくバイアス電圧でバイアスされる。次いで、平衡電圧は計算され得て、画素を制御すべく使用可能である。平衡パターンは各加算毎に一度印加されなければならないだけであるが、長期間であり各画素毎に異なりことがあり、幾つかのものはこの期間において負或は正に急に切り替わる必要性がある。これは添付図面の図19に示されており、組み合わせパターンがSLM上に表示されることになる光学的パターン認識システムに組み込まれる。
【0219】
スマートSLMは光強度に対して上方及び/或は下方の閾値を有することができ、入射光とのその相互作用を入射光の強度に依存して変更できる。これら閾値の値は、ユーザによって独立して、例えば、プログラム可能なスマートSLMを用いることによって完全に変更可能である。
【0220】
想像されることは、スマートSLMの閾値関数がディジタル式に実行可能となり、所定(変動的に制御され得る)値を上回る画素からの信号だけが該画素によって通されることとなる。
代替パターン認識技術
図2及び図3の実施例において、相関パターンはCCDカメラ上に焦点を合わす。多数の基準画像相関が各取り込み画像に対して作られる際、相当な歪みが出力カメラの速度に負荷される。例えば、もし4百の基準が取り込み画像毎に相関されて、取り込みカメラが例えば毎秒25フレームのビデオ率で動作すれば、出力カメラは毎秒1万パターンを処理しなければならない。想像されることは、出力カメラはそれ故に為され得る最大数の基準相関に制限を負荷し得ることである。
【0221】
幾つかの状況において、例えば、もし入力カメラが「ターゲット(目標)」をクローズアップすれば、それはカメラの視野における略中央であり、相関ピークは先に議論されたように出力視野の中心付近に拘束される。それ故に適度なサイズ(例えば、48×48画素)の出力カメラ及び数kHzの高フレーム率が使用可能である。
【0222】
こうした潜在的なボトルネックを取り除くために、代替的な光学方式が図9(a)乃至図9(c)に図示されるように開発された。
【0223】
図9(a)乃至図9(c)に示されるように、レーザ光源はVCSELアレイ100によって置き換えられている。CCDカメラは線形出力検出器アレイ101で置き換えられている。VCSELアレイはレーザ・ダイオードの線形アレイを含み、該アレイの中心はSLM102及び集束レンズ104,105(もし設けられていれば)の中心を通過する軸線と一致する。線形検出器アレイもこの軸線回りに集中させられているが、図16に示されるように、VCSELアレイに対して直交している。
【0224】
図9に示されるシステムの機能性を評価するために、百のパターンが1秒毎にSLM上に生成されていることを想定する。(図2のような)CCDカメラ上に合焦している画像は、典型的には、512画素の512行を含んでいる。変更カメラにおいて、画素の各行は並列的に読み出し可能であり、全512行は1/100秒で読取られる。これはそれ自体で、全512行が並列に読取られるので、CCDカメラに対する有用な変更である。各出力は閾値回路を通過させられて、光景における基準オブジェクトの存在に対応する相関ピーク(複数又は単数)を検出することができる。
【0225】
図9に示されるシステムは、光源を「移動」することによって異なる方法で問題を解決して、2次元出力パターンが線形アレイにわたって進められるようになる。
【0226】
同一結果を512×512画素CCDアレイに達成するために、VCSELは512個のレーザ・ダイオードを含むことができ、線形アレイは512個の検出器を含むことができる。一時に1つのレーザ・ダイオードをスイッチ・オンして、単一パターンがSLM上に表示されている時間内に全512個のダイオードにわたって循環することによって、2次元パターン全体が線形アレイを横切るようにスキャンされ得る。
【0227】
実際上、そうした方式を全(例えば)512個の行を単一線形検出器アレイにわたって進めることによって具現化することは不便であり或いは実現不可能かもしれない。この困難性に対する可能な解決策は、図9(c)に概略的に示されるように、比較的少数であるn個のそうした線形アレイを使用することである。この場合、必要とされるVCSELの数は512/nである。図9(c)に図示される例において、出力検出器アレイの分離Hは、もしレンズが同等であれば、VCSELアレイの低減程度と同一となる。「n」は1、2、3、4、或は、それ以上であり得る。
【0228】
図17に示される改善において、検出器の行数は提供されている。各行は交互方向に、即ち、第1行から左へ、第2行から右へ、第3行から左へ、等々のように読み出される。
【0229】
VCSELアレイ概念が真のファンデル・ルクト方式とは協働しないと思われる。しかしながら、当業者にとって、どの光学構成がスキャンされた線形検出器アイデアと協働することになるかを設定することは難しいものではない。開示された1つは協働する。
「スマート」変調器
これらの使用は相関器に限定されない。
【0230】
相関パターンの拘束読み出しの問題に対する1つの可能な解決策はCCDカメラに対する代替として記載された。しかしながら、多くの応用に対して、CCDカメラの使用は最良の解決策であり得る。例えば、光景における基準の正確なスケール/配向が重要ではない場合、CCDからの出力は時間にわたって単純に積分されることになり、相関ピークを検出する。残念ながら、非常に高速で、サイドローブ及びバックグランド・クラッタ信号の蓄積は相関ピークを圧倒し得る。
【0231】
この問題を解決するために、出願人が開発したものは「スマート」空間光変調器であり、これは非線形フィルタとして作用することができ、1つのモードでは例えば相関ピークに対応する強力な光ピークのみを通すように構成されることが可能である。これは低レベルのバックグランド・クラッタを除去するので、CCDからの積分された出力信号の問い合わせは魅力的な提案となる。これは、もし全基準が共通点に集中させられれば特に当てはまり、その理由は、次いで出力ピークが基準のスケール或は配向にかかわらずにその点に対応することになるからである。
【0232】
「スマート」SLMによって更に解決され得る異なる問題は図10に示されている。遠隔光景200はレンズL201を通じて観察者によって観察され、該レンズは図1の平面P1内に中間画像を形成する。明スポットB1は、明スポットB2をこの中間画像平面内に生じさせると共に、観察者の網膜103上に明スポットB3を生じさせる。
【0233】
明スポットB3は観察者の目をくらませ得るか、網膜を損傷し得るか、或は、カメラにおいて焦点ぼけを生じ得るか(或は、フィルムを有する従来のカメラでの露出オーバー)の何れかである。提案された「スマート」SLMは明スポットB3の強度を制限することになる。
【0234】
単純な「スマート」SLMは図11に示されている。これは矩形の2次元基板300を備え、それが同等の複数要素から成るアレイを担持しており、その全てが当該基板上に設けられた導電性電極構造を通じて共通源(即ち、バッテリー)によって電力供給されている。電極構造は金属製か或はインジウム酸化錫(ITO)等の光透過製導体から形成され得る。図11に示されるSLMにおいて、検出器301、関連増幅器(不図示)、コンパレータ(不図示)、並びに、トランジスタ(これも不図示であり、幾つかの実施例では存在しない)が、液晶画素302のより大きな透過性領域で分離された小領域を占有している。この構造によって、液晶がトランジスタによって電気的電位と接続されると、殆どの光はSLM画素を通過する。もし電圧が印加されれば、液晶が光を減衰するように変化する。(このバージョンにおいて、SLMは位相装置としてではなく振幅装置として構成され、液晶である必要性はない)
そうした装置を抵抗Rと直列している検出器を直に形成するように動作させることも可能である。Rに横切る電圧は、V=iRであり、i=電流であって、光強度に比例する。この電圧は変調器、例えば液晶に挟んで印加される。
【0235】
図11のSLMは以下のように機能する
検出器301に入射する光は小さな光子−電流を生成する。これは増幅器で増幅され、コンパレータの一方入力へ供給される。コンパレータの他方入力は基準電圧と接続されている。充分な光が検出器上に入射してコンパレータへの入力を基準よりも大きくすると、該コンパレータ出力はトランジスタをトリップして、関連液晶画素302をスイッチする。よって容易に理解されるように、検出器感度及び増幅器利得に依存した適切な基準電圧を選択することによって、その画素は所定入射光強度でスイッチするように為され得る。
【0236】
図11に示される単純なSLMは特定の閾値強度以上の全ての光を阻止する(実際に光を完全に阻止することは難しく、セット度まで厳格に減衰させる、即ち、画素は「明」化或は「暗」化の何れかである)。
【0237】
もし閾値を超えれば光を削除するよりはむしろ光強度を制限するために、図12に示される代替変調器は考案された。この構成において、検出要素は一方面側ではなくむしろその関連画素の後方に配置させられている。この場合、明スポットは完全に消去されないが、首尾一貫している閾値レベルに制限されることとなる。この構成は例えば目の保護に対して或はカメラでの使用に対して好ましい。
【0238】
代替スマートSLMが図21に示されている。この構成において、1つの検出器301は変調器媒体302の4つの隣接画素から成るセットを制御する。
【0239】
バックグランド・スプリアス信号を取り除くための装置としてパターン認識方式での使用に適合させるために、コンパレータに対する接続は逆転させられるか(或は、トランジスタの動作が逆転させられる)、或は、他の幾つかの変調が作成されて、検出器に対する光が閾値レベルを超えるまで画素が光を阻止するように為す。これは、強力な相関ピークだけが出力カメラへ進められるので、閾値信号の積分を実現可能とする。
【0240】
より一般的な場合、検出器の出力は任意の論理回路に接続されて、各画素の動作を制御する。1つの検出器及び関連回路は2つ以上の画素と関連させられ得る。例えば、検出はSLMにおける画素の2×2アレイの中心に設けられ得る。
【0241】
想像されることは、「スマート」空間光変調器は多数の方法で相関システム内に組み入れられ得る。
【0242】
先ず想像されることは、画像光景の高強度部分の減衰に適合したスマートSLMが光景画像の取り込みに適合した入力カメラの前方(或は該カメラ前方の中間画像平面内)に提供され得る。これは、例えば、明るい太陽を防止するか、カメラを焦点ぼけさせる光を防止するか、或は、フィルムを露出オーバーさせることを防止し得る。太陽光は完全に阻止されるか、或は、まさにより好ましくはより低い強度まで減衰させられ得る。スマートSLMフィルタはカメラ内に構築され得るか、レンズユニット内に構築され得るか、カメラに結着された増設フィルタ・ユニットとなるか、或は、他の何等かの方法で関連させられ得る。
【0243】
同様の「スマート」SLMは、該SLMが組み合わせパターン或はチャープされた組み合わせパターンを表示すべく使用された後であるが出力カメラ前に光相関器内へ組み込まれ得る。この場合、もし組み合わせ信号がチャープを含んで二進システム内の相関ピークの内の一方を焦点外れに為せば、カメラは相関ピークを含むSLMから最も遠方である平面内に配置させられ得る。次いでスマートSLMは他方の相関ピークを含有する中間平面内に配置させられ得る。スマートSLMはその平面内の欲せざるピークを減衰し得て、識別を改善する。同様な構成は、スマートSLMをDCピークを含有する平面内に配置することによって該DCピークを除去するために使用され得る。これらのアイデアは独立した発明である。装置としてはプログラム可能な識別変更フィルタを有することになるであろう。
【0244】
閾値以上の強度を有する光は通過させるが閾値強度以下の光を取り除く代替的なスマートSLMを出力カメラの前方に配置することができる。それは出力カメラ自体の一部を形成することとなる。これはバックグランド・クラッタの除去に適合する。そうした場合、出力カメラの出力は多数の組み合わせパターンにわたって積分されることになる。もし所定レベル以上の出力電圧が作り出されたならば、組み合わせパターンを生成するために使用された基準パターン・セットからの基準が存在することを想定することができる。もし必要であれば、識別された基準セットを再び経験することが可能であり、しかも、光景画像と等しいパターン基準セットのパターンの内の何れかを識別すべく多数のパターンを積分すること無しに、またおそらく、(もしディスプレイが使用されたならば)使用され得る任意のディスプレイ上にパターンをセンターリングすること無しである。
【0245】
一システムにおいて、基準パターンは複数のパターン・リストに分割される。これらリストはマスタ・リスト及びサブ・リストからなり得る。マスタ・リストは各サブ・リストから少なくとも1つの代表基準を含み得る。例えば、各サブ・リストは特定の車の異なる景色(眺めを含み得て、マスタ・リストが各車タイプの景色(眺めを含んでいる。ひとたび相関が例えばマスタ・リストを用いて識別されたならば、車が存在して(何等かの種類)、サブ・リストが次いで用いられてその車の特定の景色(眺めをより明確に識別する。これは、全基準パターンを通過させるよりも一基準の存在を識別する点でより良好な時間効率を証明する。その相関ピークをどの基準が作り出したかを正確に識別するために、組み合わせパターンがSLM上に表示され得て、相関ピークの存在が注意深く監視される。これは図19に概略的に示されている。
【0246】
基準パターンは合成識別関数であり、双方ともこの最後のアイデアであり、先行の議論にある。
【0247】
ここで説明されたパターン認識システムの動作の代替方法も開発された。これは、捜し求められるオブジェクトが識別される必要性がある場合、即ち非常に類似したオブジェクトから区別される必要性がある場合に特に有用である。光源は設けられ、それが光の連続した短期間のバーストでのその光景の照明に適合している。勿論、光学以外の波長も、取り込みカメラが互換性を有するものであれば使用され得る(或は、実に電磁気以外の他の信号転送伝播機構)。この方法は典型的な光景に対する図18に示されている。
【0248】
第1段階において、短パルス輻射が発せられる。パルスは1ナノ秒台である湖尾が可能であり、可視波長パルスに対して例えば30cmsの空間広がりを付与する。反射された光学的視野はパルス状画像の増強器を通過させられてカメラ上に記録される。カメラによって記録された取り込み画像は、次いで、処理されて図2及び図3の実施例に示されたような第1光景パターンを形成し、1つ以上の基準と比較される。次いでこれは、検出され得る第2パルスに対して繰り返され、第1の取り込められた画像がログされるものよりも大きな経過時間が許容される。
【0249】
代替バージョンは、第1パルスを送出して戻り時間を測定してその距離を得ることであり、次いでそれは距離測定モードで作用する。次いでこの平均回りに一連の距離を実行することができる。
【0250】
パルス伝送と戻り信号の取り込みとの間の遅延時間を変動することで、光景の3次元画像の形態が構築され得る。画像の各「層」は1つ以上の基準画像と相関され得る。またこれは、バックグランド・クラッタによってさもなければ覆い隠されることになる光景内のオブジェクトが識別されることを可能とする。空間解像度は、実際上、増強器が動作する時間の長さのように、発射パルスの長さによって支配される。図18に示されるように、駐車状態の車や茂みからの欲せざる反射を削除することができる。これは3次元像形成の可能性に加えて異なる長所である。
更なる改善
新規のハイブリッドであるディジタル/光学的パターン認識装置の別の有益な特徴は、SLM上に2マスク・パターンのタイル張りすることができることであり、集束レンズの出力平面内に幾つかの対応する相関パターンを作り出す。これは可能な訳は、光軸上にパターンのDC周波数を有する必要性がないからである(古典的なファンデル・ルクト相関におけるように)。
【0251】
図1に示されるような古典的な光学的相関器において、規定された光軸が存在する。画像光景は第1レンズによってフーリエ変換され留と、空間周波数は全てその軸線上に集中させられる。フーリエ変換平面上に配置させなければならない基準パターンは同じようにこの軸線上に整合させなければならない。
【0252】
ディジタル式フーリエ変換技術を用いて、データの第1段階を処理するために、空間周波数は何等規定された順序を有さない。これはSLMが、例えば、4つ或はそれ以上のパターンを同時に表示することを可能としている。例えば、これらは図13(a)乃至図13(c)に示されるように4つの四半部にタイル張りされ得る。これは多数の異なる長所を有する。
【0253】
先ず、図13のようにSLM上に表示された空間周波数は任意の順序で配列される(空間周波数が光軸から遠方へ注意深く順序付けられる要件を有することとは異なるように、同一の組合わされたパターンをSLMの異なる複数領域へマッピングして、適切に操作することができる)。第2として、相関の率はタイル張りパターンの数が増大すると共に増大差世故とができる。各タイルはフーリエ変換されとそれ自体の相関パターンを作り出し、1つ以上の検出器(CCD等)がそれらパターンに対して並列して作動する。
【0254】
またタイル張りされたパターンの使用は、多数の異なるチャープ・パターンが単一の組み合わせパターンに並列して付与されることを可能とする。これは、相関領域を分離して、クロス−トークを回避するので望ましい。更には、多重スペクトル画像は取り込まれて(例えば、赤、緑、青の色)、それらが平行して処理され得て、各タイルを例えば1色に対応している。
【0255】
また更なる変更は図14に示されている。この構成において、パターン認識装置500が2つの区分に分裂されている。一方の区分501は、光ケーブル503を介してコンピュータ504或は他の電子装置と接続されている光入力装置502を含む。光入力装置は、光ケーブルにわたって伝送することになる入力取り込みデータを受け取る。
【0256】
これ例ではバッテリーで電力供給され且つ自己充足式ユニットが設けられたコンピュータは、光景画像及び光景パターンを生成し、それらを第2光ファイバ505を介してベース・ユニット506へ伝送する。これはフーリエ変換を実行するために必要なディジタル信号処理回路を含む。またそれは空間光変調器及び光学レンズ(もし設けられていれば)をも含む。
【0257】
この構成の長所は、光入力装置が電子機器から数十キロメートルまで隔たって配置され得ることである。光ファイバは電磁気干渉に対して免疫性があり、入力取り込みデータが電磁気的なノイズが多い環境で獲得されることを可能としている。
【0258】
また、比較的安価な光入力装置及びコンピュータを高価な変調器及びディジタル信号処理ハードウェアから分離することによって、それらは個々別々により安価となると共により小さくなる。複数の入力装置(光学的或はそれ以外)から、それらを次いで且つ同時に分析可能な共通相関器へ信号を入力することができる。
【0259】
容易に理解されるように、本発明が一方向を見た場合、ハイブリッドのディジタル式/光学式の相関器を備える。数多くの有益な特徴は開示され、その多くがパターン認識の分野より遙かに幅広い用途を有する。例えば、開示された装置及び方法の多くは、完成したパターン認識システムの一部として主に開発されているが、他の分野により広範な用途を見出している。保護はそれ自体の権利における任意の新規性ある個々別々の特徴に対して希求され得る。
【0260】
また理解して頂けるように、表現「フーリエ変換」は正弦、余弦、ハートレー、ウェーブレットの変換等を含む異なるタイプの変換を含むことが意図されている。各変換は僅かに異なる特性を有するが、それは全てディジタルで具現化され得て、開示されるパターン認識装置で使用される、同一パターン、基準パターン、並びに、組み合わせパターンを規定する。
【0261】
この出願は「光」に関する発明を実行するように議論された。本発明は、勿論、光学的な光又は任意の波長の電磁気的輻射や核磁気共鳴映像法(mri)に関して実行され得る。事実上、医療用映像法/医療用用途は本発明の大きな潜在性の分野であり、医療用レーザの既知の身体構造に対しての整合及び/或は移動を制御し、多分自動的或は遠隔的に、そして例えば、正しいパターンが見出された(それが正しく整合された状態)際にその医療用レーザを動作させることを可能とすることが一用途であり得る。
【0262】
また本発明は、例えば、音又は超音波、或は、他の圧縮波エネルギー転送等の、非電磁波搬送光景で使用することが可能である。よって、読者は「光」を以上の全てをカバーすべく解釈すべきであり、多分、「情報担持伝播器」は適切でより広範な用語となるであろう。先に述べたように、「光景」は物理的なこと或は写真を表示する必要性はない。
【0263】
次の付録1は用語辞典であり、付録2は、この特許出願を解釈する前に読むことが方向付けられた参照文献のリストである。
付録1
この特許出願で使用された用語及び簡略
パターン認識は光景内における基準オブジェクトの存在を識別するプロセスを記述すべく使用された用語。
【0264】
光景画像及び基準オブジェクトは待ち行列又はキュー(光景)内における車(オブジェクト)等の実際のものであり得るか、或はデータ・アレイ若しくはデータ・ストリング等のより抽象的な量であり得る。
【0265】
合成判別関数は実効的には基準データの組み合わせであり、例えば、脇道及び正面の車の組み合わせである。それらは光景内におけるオブジェクトの存在を識別するために必要な基準数を低減すべく使用される。
【0266】
テキストでは、しばしば、光電変換器を言及している。これらは典型的にはカメラ或は検出器アレイである。
【0267】
テキストでは、しばしば、光電変換器を言及している。これらは、通常、SLM、即ち空間光変調器を言及している。このテキストで例示として記載されたSLMは不変的に画素化された装置、即ち個々別々の変調要素から成るアレイを含む。数多くのタイプのSLMが存在する。最も共通する装置は、光変調手段として、液晶或はマイクロン加工された要素を利用する。
【0268】
SLMは多くの方法、例えば、伝送或は反射の方法で動作できる。このテキストにおいて、簡略化のために常に伝送で作動するSLMを言及している。理解して頂きたいことは、反射で作動するSLMは僅かな変更形態でも使用され得て、それらに対する保護が意図されている。
【0269】
SLM上に表示されたパターンはマスクとして言及されている。
【0270】
説明されたシステムにおいて、レンズはしばしばマスク・パターンのフーリエ変換を形成し、その出力はレンズの後方焦点平面内でモニタされる。これは相関器の出力(パターン)を形成する。それにもかかわらず、しばしばこれを合焦として言及し、その理由は、相関プロセスにおいて捜し求められた基準オブジェクトが光景内に存在した際、光が合焦して、出力焦点平面内に相関ピークを形成する。
【0271】
理想的には、フーリエ変換及び逆フーリエ変換の間に違いがあるが、その相違は実務上で全く重要ではなく、全てのそうした変案はここでフーリエ変換として説明されている。同様にして、用語フーリエ変換は余弦変換等の密接して関係された変換をカバーするように使用されている。
【0272】
基準オブジェクト及び光景の間の相関のプロセスは空間周波数範囲で実行可能である。このプロセスでの第1段階は、一方のフーリエ変換を他方のフーリエ変換の複素数共役で乗算することである。(第2段階は、その積の逆フーリエ変換を取ることである。)位相専用データの場合、第1段階で位相の差を計算することだけが必要である。二進化位相専用データの場合、これは排他的論理和演算を通じて最も容易に達成される。このテキストにおいて、「組み合わせ」はこの意味で理解されるべきである。
【0273】
このテキストで記載されたパターンはオブジェクト或は光景のフーリエ変換から生成される。
【0274】
光景内におけるオブジェクトの場所は座標(x、y)によって規定される。
【0275】
チャープ波形は一定振幅及び線形変動周波数の類似波形である。これへの2次元での二進近似化は位相逆転の輪帯回折板レンズである。このテキストでは簡略化のために、これを輪帯回折板レンズと言及している。
【0276】
請求された数多くの構造において、輪帯回折板レンズが含まれ、しばしば従来のガラスレンズと共同状態である。明確に言及しなければ、この輪帯回折板レンズは動作の記述中に不在であることが想定され得る。この場合、相関器出力は実際のガラスレンズの後方焦点平面内で不変的に取り出される。
【0277】
「スマート」SLMをしばしば言及している。これは、透過(或は反射)光強度が印加電圧の仲介を介しての入射光強度によって決定される装置として理解されるべきである。この電圧は個別の光検出器に隣接する画素に印加され得る。
付録2
参照文献
1.J.W. Goodman、「Introduction to Fourier Optics」、McGraw−Hill Companies Inc., 第2版、第9ページ(1996年)
2.A. Vander Lugt、「Signal detection by complex spatial filtering」、IEEE Trans. Inf. Theory IT−10、第139頁乃至第145頁(1964年)
3.J.W. Goodman、「Introduction to Fourier Optics」、McGraw−Hill Companies Inc., 第2版、第237ページ(1996年)
4.A.J. Seeds、「Quantum wells and lasers: novel applications in opto−electronic systems」、第5回光電子会議(OEC94)テクニカル・ダイジェスト、第448頁〜第449頁(1994年)
5.J.L. Horner. P.D. Gianino、「Phase−only matched filtering」、応用光学23、第812頁〜第816頁(1984年)
6.D.Psaltis, E.G. Paek, S.S. Venkatesh、「Optical image correlation with a binary spatial light modulator」、Opt. Eng23、第698頁〜第704頁(1994年)
7.W.A. Crossland, T.D. Wilkinson, T.M. Coker, T.C. B. Yu, M. Stanley、「The Fast Bit Plane SLM: A new ferro−electric liquid crystal on silicon spatial light modulator designed for high yield and low cost manufacturability」、OSA TOPS 14(空間光変調器)、第102頁〜第106頁(1997年)
【図面の簡単な説明】
【図1】 図1は、パターン認識に使用される先行技術に係るファンデル・ルクト光学相関器の典型的な展開図である。
【図2】 図2は、本発明の一局面に従ったパターン認識装置の概略図である。
【図3】 図3は、図2の装置の主要コンポーネント・パーツを示す異なる図示である。
【図4】 図4は、図2及び図3に示される装置による画像処理中に形成される様々な画像及びパターンを図示する。
【図5】 図5は、二進位相パターンのフーリエ変換板における2つの相関ピークの存在の概略図示である。この単純例は2つの主要回折次数での二進位相回折格子で示されている。簡略化のためにフーリエ変換レンズはこの図面から省略されている。
【図6】 図6は、チャープ・パターンを用いて光軸の方向へ離間された平面に形成されたDC及び2つの相関ピークの作成を概略的に示している。
【図7】 図7は、チャープ無しの相関パターンの実験記録された3D(三次元)特性図を図示し、この図では2つの対称配置された相関ピークよりも大きな強度及び領域を有する中央DCピークを示している。
【図8】 図8は、著履中にチャープが付与され際に作り出される対応するパターンを示し、1つのピークのみがDCピークと焦点があっており、第2の相関ピークは焦点があっていないことを示している。
【図9】 図9は、SLM及びレンズを用いて1つの線形検出器アレイにわたって作り出される2次元相関パターンをスキャンする交替的な光学系(a及びb)と、(c)光源アレイを用いる多数の線形検出アレイとを示す。
【図10】 図10は、高強度の光が観察者の網膜に対する損傷、或は、カメラにおける曇り、過負荷/グレアを生じさせ得る典型的な問題を示す。
【図11】 図11は、「スマート」空間光変調器の概略図を示す。
【図12】 図12は、変更された「スマート」SLMの側面図を示す。
【図13】 図13は、多数のパターンが空間光変調器上に同時に「タイル張り」されている光学パターン認識方式に関する改善の概略図である。
【図14】 図14は、図2及び図3に関連されて説明されたものと同様なパターン認識装置が、危険がいっぱいの環境内で使用可能となるように、どのようにして、光ファイバを用いて2つ或はそれ以上の区分に分裂され得るかを図示している概略図である。
【図15】 図15は、相関パターンを作り出すために、装置によって処理されたデータを定義すべく使用される様々な用語を図示している。
【図16】 図16は、線形検出器アレイに直交しているVCSELアレイを図示しており、該線形検出器アレイにわたって2次元パターンがVCSELアレイの照明を制御することによってスキャン可能となっている。
【図17】 図17は、検出器から成る、左側或は右側へ交互に1つずつ読み出される多数の並列行を含む検出器アレイを図示している。
【図18】 照明輻射の画素がどのようにして光景のスライスの画像を取り込んでバックグランド・クラッタを低減し、オブジェクトのそうしたスライスを相関させることを可能として、識別及び/或は位置の精度を改善するかを示している。
【図19】 図19は、SLMにおける液晶画素の分解を最小化するに費やされる時間を低減する方法を図示している。
【図20】 図20は、顔に対応する取り込み光景からの瞳の識別での光学的相関器の例示的適用を示している。
【図21】 図21は、アレイ内の各装置が各検出器回りで離間する4つの画素グループを制御する検出器を含んでいる状態である「スマート」SLMの2つの可能な構成の概略図である。
【符号の説明】
10 入力カメラ
15 SLM(空間光変調器)
19 出力カメラ

Claims (23)

  1. 光景内における既知の所定種類の1つ以上の画像の存在を検出する装置であって、
    光景に対応する光景画像の作成に適合する手段と、
    前記光景画像の少なくとも一部のフーリエ変換に対応する光景パターンを作り出すべく前記光景画像の少なくも一部の処理に適合する第1電子処理手段、各々が各基準画像のフーリエ変換を含む1つ以上の基準パターンの格納に適合する格納手段、及び組み合わせパターンを作り出すべく前記光景パターンの基準パターンとの電子的組み合わせに適合する第2処理手段を有するディジタル入力手段と
    前記組み合わせパターンから誘導される光出力の作成に適合する光出力手段と、を備えており、
    当該装置の光軸から異なる大きさで離間されている少なくとも2つの発光装置と、
    前記装置各々の照明の順次制御に適合するコントローラと、
    前記光出力手段を含むと共に前記組み合わせパターンの表示に適合する空間光変調器であり、前記発光装置と当該空間光変調器によって変調された光の受け取りに適合する出力検出器との間に設けられた空間光変調器とを備えることを特徴とする装置
  2. 合焦能力を有する光学要素が前記発光装置及び前記検出器の間に設けられている、請求項1に記載の装置
  3. 更なる光学的要素が設けられて、該光学的要素の内の一方が前記発光装置及び前記空間光変調器の間に設けられ、前記光学要素の内の他方が前記空間光変調器及び前記検出器の間に設けられている、請求項2に記載の装置
  4. 前記検出器アレイが複数の検出器から少なくとも1つのラインを含む、先行する請求項の内の何れか一項に記載の装置
  5. 長手方向を有する検出器アレイがあり、前記発光装置が前記検出器アレイの前記長手方向に略直交するように延在する線上に配列されている、先行する請求項の内の何れか一項に記載の装置
  6. 発光装置から成るアレイが前記空間光変調器の中心を通過する光軸に略直交するように整合されている、先行する請求項の内の何れか一項に記載の装置
  7. 集束レンズが前記発光装置及び前記空間光変調器の間に設けられている、先行する請求項の内の何れか一項に記載の装置
  8. 偏光器が前記発光装置及び前記空間光変調器の間に設けられている、先行する請求項の内の何れか一項に記載の装置
  9. 前記偏光器が前記空間光変調器の一部を形成している、先行する請求項の内の何れか一項に記載の装置
  10. 前記少なくとも2つの発光装置のうちの1つだけが随時光ビームを発することに適合する、先行する請求項の内の何れか一項に記載の装置
  11. 前記検出器が複数の検出器要素から成るアレイを含む、先行する請求項の内の何れか一項に記載の装置
  12. 前記検出器が、1つ以上の検出器要素線から成る線形アレイを含む、先行する請求項の内の何れか一項に記載の装置
  13. 複数の発光装置から成る線形アレイと線形出力検出器アレイとがあり、前記アレイが相互に交差させられて、使用中、前記発光装置アレイにおける発光装置からの光が空間光変調器にわたってスキャンできると共に、前記出力検出器にわたってスキャンされた一連の光出力と同等のものを作り出すことができる、先行する請求項の内の何れか一項に記載の装置
  14. 前記空間光変調器が二進装置である、先行する請求項の内の何れか一項に記載の装置
  15. 閾値装置が検出器アレイに先行して設けられており、該閾値装置によって、もし光の強度が所定閾値以上であれば、その光が前記検出器或は検出器アレイに到達することを可能としている、先行する請求項の内の何れか一項に記載の装置
  16. 光軸を有するレンズ或は他の集束光学的要素が有り、前記光軸に略直交する複数の発光装置から成る線形アレイが有り、前記光軸と前記発光装置から成る線形アレイの線との双方に対して略直交する検出器アレイがある、先行する請求項の内の何れか一項に記載の装置
  17. 複数の検出器から少なくとも1つの線を有する検出器アレイがあり、読み出し回路が、それらの線の両側に交互に配置された前記アレイの複数の検出器から線上における連続する検出器に対して設けられている、先行する請求項の内の何れか一項に記載の装置
  18. 前記検出器アレイは複数の検出器からの1つの線を有する、請求項17に記載の装置
  19. 前記コントローラが、前記線における順序で次に隣接する発光装置に対する照明に適合している、先行する請求項の内の何れか一項に記載の装置
  20. 光景における1つ以上の基準画像の存在を検出する方法であって、
    光景の少なくとも一部に対応する画像光景を作り出す段階と、
    取り込まれた光景画像のフーリエ変換に対応する光景パターンを作り出すべく前記取り込まれた画像光景の少なくとも一部を処理する段階と、
    組み合わせパターンを作り出すべく前記光景パターンと基準オブジェクトのフーリエ変換に対応する少なくとも1つの基準パターンとを電子的に組み合わせて、前記組み合わせパターンによって誘導された光出力を作り出す段階との諸段階を含み、
    当該方法が少なくとも2つの発光装置を光学システムに更に含み、該少なくとも2つの発光装置が前記システムの光軸に対して異なる位置にあり、そして当該方法が、前記装置の各々が順次照明されて光ビーム源を効果的に移動するように前記装置を制御する段階と、モニタされることになる前記光パターンを含む平面内に少なくとも1つの検出器手段を設ける段階であり、それによって前記装置の照明が前記検出器手段にわたる2次元パターンをスキャンする段階とを更に含むことから成る方法。
  21. レンズ、ミラー、或は、他の集束光学的要素が前記システム内に設けられて、前記発光装置がその光学的要素の光軸に対して異なる位置である、請求項20に記載の方法。
  22. 空間光変調器が設けられ、それが光景パターンのフーリエ変換と基準パターンのフーリエ変換との少なくとも1つの組み合わせに対応するパターンを表示するように駆動される、請求項20或は21に記載の方法。
  23. 3つ以上の発光装置から線が有り、次に隣接する発光装置がその線に沿って順に照明される、請求項20乃至22の内の何れか一項に記載の方法。
JP2000571399A 1998-09-24 1998-09-24 パターン認識に関する改良 Expired - Fee Related JP4197844B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/GB1998/002876 WO2000017809A1 (en) 1998-09-24 1998-09-24 Improvements relating to pattern recognition

Publications (3)

Publication Number Publication Date
JP2002525762A JP2002525762A (ja) 2002-08-13
JP2002525762A5 JP2002525762A5 (ja) 2008-10-02
JP4197844B2 true JP4197844B2 (ja) 2008-12-17

Family

ID=10826798

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000571399A Expired - Fee Related JP4197844B2 (ja) 1998-09-24 1998-09-24 パターン認識に関する改良
JP2000571400A Pending JP2002525685A (ja) 1998-09-24 1999-09-24 プログラム可能レンズアッセンブリ及びこれを組み込んだ光学システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2000571400A Pending JP2002525685A (ja) 1998-09-24 1999-09-24 プログラム可能レンズアッセンブリ及びこれを組み込んだ光学システム

Country Status (11)

Country Link
US (1) US7067784B1 (ja)
EP (2) EP1116169B1 (ja)
JP (2) JP4197844B2 (ja)
CN (1) CN1133952C (ja)
AT (2) ATE246380T1 (ja)
AU (2) AU9176398A (ja)
CA (2) CA2345262A1 (ja)
DE (2) DE69816876T2 (ja)
MX (1) MXPA01003035A (ja)
NO (1) NO20011519L (ja)
WO (2) WO2000017809A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4468075A4 (en) * 2022-01-20 2026-01-07 Fujikura Ltd OPTICAL COMPUTING DEVICE AND OPTICAL COMPUTING METHOD

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122595A1 (en) * 1999-06-04 2002-09-05 Rikk Crill Apparatus and method for radial and angular or rotational analysis of images for shape content and matching
US7103223B2 (en) 2000-03-27 2006-09-05 Look Dynamics, Inc. Apparatus and method for radial and angular or rotational analysis or images for shape content and matching
CA2349828A1 (en) * 2001-06-06 2002-12-06 Andrew M. Zador Method, apparatus, and system for extracting denoised, high-resolution images, texture, and velocity from a lower-resolution, noisy detector
IL174590A (en) * 2005-03-29 2015-03-31 Yoel Arieli A method and an imaging system for the analysis of optical properties of an object illuminated by a light source
US7634771B2 (en) * 2005-04-29 2009-12-15 Sap (Ag) Object generation in packages
GB0510470D0 (en) 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
GB0602380D0 (en) 2006-02-06 2006-03-15 Qinetiq Ltd Imaging system
GB2434937A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Coded aperture imaging apparatus performing image enhancement
GB2434935A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Coded aperture imager using reference object to form decoding pattern
GB2434877A (en) 2006-02-06 2007-08-08 Qinetiq Ltd MOEMS optical modulator
GB2434934A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Processing coded aperture image data by applying weightings to aperture functions and data frames
GB2434936A (en) 2006-02-06 2007-08-08 Qinetiq Ltd Imaging system having plural distinct coded aperture arrays at different mask locations
GB0615040D0 (en) 2006-07-28 2006-09-06 Qinetiq Ltd Processing method for coded apperture sensor
US8692974B2 (en) * 2007-06-14 2014-04-08 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method using pupil filling by telecentricity control
US8189172B2 (en) * 2007-06-14 2012-05-29 Asml Netherlands B.V. Lithographic apparatus and method
US7988297B2 (en) 2007-10-19 2011-08-02 Look Dynamics, Inc. Non-rigidly coupled, overlapping, non-feedback, optical systems for spatial filtering of fourier transform optical patterns and image shape content characterization
GB2475432B (en) * 2008-09-08 2013-01-23 Ned M Ahdoot Digital video filter and image processing
JP5423222B2 (ja) * 2009-08-07 2014-02-19 ソニー株式会社 位置検出装置および位置検出方法
JP5515848B2 (ja) * 2010-02-24 2014-06-11 大日本印刷株式会社 光学素子およびその製造方法
CN104884862B (zh) * 2012-10-24 2019-11-19 视瑞尔技术公司 照明设备
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
US20140267617A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
US10591870B2 (en) 2014-05-01 2020-03-17 Celloptic, Inc. Birefringent lens interferometer for use in microscopy and other applications
CN104091977B (zh) * 2014-05-06 2016-06-15 无锡日联科技股份有限公司 卷绕锂离子电池的检测方法
US10284825B2 (en) 2015-09-08 2019-05-07 Rambus Inc. Systems with integrated refractive and diffractive optics
CN108605086B (zh) * 2016-03-31 2020-10-27 松下知识产权经营株式会社 摄像装置
WO2017193005A1 (en) * 2016-05-06 2017-11-09 Gary Brooker Birefringent lens interferometer for use in microscopy and other applications
WO2018055831A1 (ja) * 2016-09-26 2018-03-29 株式会社日立製作所 撮像装置
US10620447B2 (en) * 2017-01-19 2020-04-14 Cognex Corporation System and method for reduced-speckle laser line generation
WO2019060645A1 (en) 2017-09-20 2019-03-28 Look Dynamics, Inc. PHOTONIC NEURONAL NETWORK SYSTEM
US11665324B2 (en) * 2018-08-06 2023-05-30 University Of Maryland, College Park High fidelity configuration for two-photon SLM microscopy
CN114341715B (zh) * 2019-06-06 2026-01-23 奥普特里斯有限公司 波导装置
CN116538949B (zh) * 2023-07-03 2023-09-15 湖南大学 一种基于时域超分辨的高速动态过程dic测量装置与方法
CN117593501B (zh) * 2023-11-24 2024-08-30 杭州隆硕科技有限公司 一种激光测距望远镜模式转换方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2282505A (en) * 1993-09-23 1995-04-05 Sharp Kk Three dimensional imaging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4468075A4 (en) * 2022-01-20 2026-01-07 Fujikura Ltd OPTICAL COMPUTING DEVICE AND OPTICAL COMPUTING METHOD

Also Published As

Publication number Publication date
JP2002525685A (ja) 2002-08-13
DE69816876D1 (de) 2003-09-04
EP1116169B1 (en) 2003-07-30
AU6209899A (en) 2000-04-10
WO2000017810A1 (en) 2000-03-30
EP1116170B1 (en) 2004-03-10
ATE246380T1 (de) 2003-08-15
DE69915499D1 (de) 2004-04-15
CN1133952C (zh) 2004-01-07
CN1322328A (zh) 2001-11-14
US7067784B1 (en) 2006-06-27
DE69915499T2 (de) 2005-02-03
DE69816876T2 (de) 2004-04-22
MXPA01003035A (es) 2002-04-09
JP2002525762A (ja) 2002-08-13
CA2345261A1 (en) 2000-03-30
AU9176398A (en) 2000-04-10
WO2000017809A1 (en) 2000-03-30
EP1116170A1 (en) 2001-07-18
NO20011519L (no) 2001-05-25
CA2345262A1 (en) 2000-03-30
EP1116169A1 (en) 2001-07-18
NO20011519D0 (no) 2001-03-23
ATE261602T1 (de) 2004-03-15

Similar Documents

Publication Publication Date Title
JP4197844B2 (ja) パターン認識に関する改良
US7298908B2 (en) Method and apparatus for detecting the presence of one or more images of a known predetermined kind of scene
Gibson et al. Single-pixel imaging 12 years on: a review
Fielding et al. Optical fingerprint identification by binary joint transform correlation
US4832447A (en) Joint transform image correlation using a nonlinear spatial light modulator at the fourier plane
JP3023694B2 (ja) 多参照画像用光パターン認識方法
US20190041518A1 (en) Device and method of optical range imaging
US5060282A (en) Optical pattern recognition architecture implementing the mean-square error correlation algorithm
Tilmon et al. Energy-efficient adaptive 3d sensing
US11747135B2 (en) Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
JP3964220B2 (ja) 顔画像認識システム
US5987188A (en) Space integrating sliding image optical correlator
EP1400917B1 (en) Improvements relating to pattern recognition
EP1632883A2 (en) Optical pattern recognition with a binary phase-only filter for image tracking
US20220236052A1 (en) Camera module
DE69832540T2 (de) Verbesserungen bei der Mustererkennung
US11460551B2 (en) Virtual array method for 3D robotic vision
Dobson et al. Tracking and pattern recognition performance of a breadboard system using a nonlinear joint-transform correlator
Kirsch et al. Design and evaluation of a multiple quantum well SLM-based optical correlator
JP3210447B2 (ja) 光学的目的物抽出装置
Liu Lightweight Light Transport for Non-Line-of-Sight Imaging
EP2503379A1 (en) Optical processing method and apparatus
Su et al. Active pattern projection for increasing range of pulsed range sensors
Fielding et al. Application of optical signal processing: fingerprint identification
McDonald et al. A high-speed readout scheme for fast optical correlation-based pattern recognition

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080519

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080523

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080526

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080530

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20080811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080930

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees