JP3776500B2 - 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置 - Google Patents

多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置 Download PDF

Info

Publication number
JP3776500B2
JP3776500B2 JP07001696A JP7001696A JP3776500B2 JP 3776500 B2 JP3776500 B2 JP 3776500B2 JP 07001696 A JP07001696 A JP 07001696A JP 7001696 A JP7001696 A JP 7001696A JP 3776500 B2 JP3776500 B2 JP 3776500B2
Authority
JP
Japan
Prior art keywords
fourier transform
vector
lens
feature
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07001696A
Other languages
English (en)
Other versions
JPH09258287A (ja
Inventor
武 橋本
福島郁俊
満 雙木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP07001696A priority Critical patent/JP3776500B2/ja
Priority to US08/815,945 priority patent/US5963667A/en
Publication of JPH09258287A publication Critical patent/JPH09258287A/ja
Application granted granted Critical
Publication of JP3776500B2 publication Critical patent/JP3776500B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置に関し、特に、入力した情報を複数の特徴ベクトルに高速、高精度に変換し、認識や分類を行うための装置に関する。
【0002】
【従来の技術】
通常、画像や信号等の各種情報の認識や分類を行う場合に、画像や信号をベクトル量とみなし、比較基準となる他のベクトル量との類似度を計算することによりそれらを行う方法がある。
【0003】
その類似度計算の手段としては、従来から、マッチドフィルターと相関器の組み合わせや、ジョイントトランスフォーム相関器が用いられてきた。しかし、これらの方法では、背景から切り離された既知で簡単な情報を認識、分類することには十分な性能を持つが、直接複雑な特徴を持つ画像や信号を扱う場合には、認識や分類にあまり寄与しない情報まで同時に処理しなければならず、これらが誤差要因となっていた。また、上述の手段では、多少の変形、回転、拡大縮小等に対しても鋭敏に反応し、誤差を生じる場合が多かった。
【0004】
そこで、これらを解決するために、画像や信号等の各種情報を直接処理するのではなく、対象毎に前処理で認識や分類に寄与の大きな特徴に変換し、この変換した特徴を用いてニューラルネットワーク等で認識する試みが近年多くなされている。画像の場合を例にとると、これらの特徴としては、テクスチャー、構造的特徴、色、時間的特徴等が代表的なものとしてあげられる。テクスチャーに関しては、濃度ヒストグラム、同時生起行列、差分統計量等の計算により、また、エッジや線、輪郭等の構造的特徴に関しては、ラプラシアンフィルターのコンボルーションやハフ変換等により、さらに、色に関しては、RGB空間やHSV空間、あるいは、スペクトルへの変換等により、時間的特徴に関しては、オプティカルフローの計算やウェーブレットへの変換により、それぞれ特徴量が求められている。そして、これらの前処理による特徴量への変換は、特に2次元の画像が対象ベクトルとなっている場合は、膨大な時間がかかり、通常のコンピュータによるシリアルな計算では実用的でなく、光学的な方法や並列コンピュータ等の並列的に処理できる方法が従来から用いられている。また、特に、精度や能力を向上させるためには、これらの特徴量を一種類だけではなく複数組み合わせて、認識、分類することが行われている。
【0005】
上記の中、光学的な方法の従来例としては、「微小レンズアレイによる視覚認識システム」,亀丸俊一,映像情報(I),65頁〜70頁(1993年1月号)の提案がある。この方法は、図27に示すような装置を用い、認識対象となる物体を部分的な要素に分けた上で多重化し、従来からあるマッチドフィルターと相関器を複数並列に並べた多重相関器により、その部分要素と複数の参照要素との相関値を一度に計算し、この結果を計算機内に用意されているバックプロパゲーションタイプのニューラルネットワークの入力層に入力し、認識を行うと言うものである。この方法により、D,K,O,Xの4文字と1個の空白について認識が行えたと報告している。
【0006】
また、同様な方法として、特開平4−355732号の方法がある。この方法は、図28に示すような装置を用い、認識対象となる物体を多重化し、従来からあるジョイントトランスフォーム相関器を複数並列に並べた多重相関器により、対象となる物体と複数の参照物体との相関値を一度に計算し、これらの結果を精度向上のため更にいくつかの領域に分割して、計算機内に用意されているバックプロパゲーションタイプのニューラルネットワークの入力層に入力し、認識を行うと言うものである(図28はその光学系の部分のみを示している。)。その実施例の中では、H,Eの被検パターン(認識対象となる物体)と、I,Vの参照パターン(参照物体)との認識例を述べている。
【0007】
上記2つの従来例は、複数の特徴量への変換を並列に一度に行っており、その処理時間が格段に速くなっている。同様に、複数の特徴量への変換を並列に一度に行える他の光学系としては、B.Hillによるホログラフィックメモリーの光学系(B.Hill,"Some Aspects of a Large Capacity Holographic Memory", APPLIED OPTICS,Vol.11,No.1(1972),pp.182 〜191 )、又は、特開平1−227123号、特開平3−148623号、特開平3−144814号記載の方法等がある。これらの光学系は、複数の特徴変換(具体的には、空間周波数フィルタリング処理等)を並列同時に行うことが可能である。
【0008】
【発明が解決しようとする課題】
上記の亀丸による方法や特開平4−355732号の方法は、複数の相関処理を、特開平1−227123号、特開平3−148623号、特開平3−144814号の方法は、複数の空間周波数フィルタリング処理を並列同時に高速に行うことが可能な光学系ではあるが、背景から切り出されている文字等単純な画像であればよいが、実際に複雑で大容量の一般的な画像から特徴量に変換しようとすれば、高速なだけではなく、高精度にフィルタリングをしなければならず、そのための光学系としては不十分である。
【0009】
さらに、上記の亀丸による方法や特開平4−355732号の方法は、複数の特徴量を同時・並列的に取り出し、これをニューラルネットワークに入れて認識しようと言うものであるから、高速な認識がある程度可能となっているが、以下のような点が考慮されていない。
【0010】
ここで、一般的な複雑で大容量(例えば、扱う画素数(ベクトル数)が多い)な画像がベクトルとして入力された際に、画像全体ではなく、その1つの成分もしくは複数の成分からなる小領域毎に認識や分類を行うことを考える。これは、例えば、医用画像における病変部や臓器の認識、分類や、FA(ファクトリーオートメーション)画像における欠陥部の認識、分類等を想定したものである。これらの画像の認識対象である病変部や欠陥部は、全体としては変形があったり、形が変わっていたり、大きさが異なっていたりと、千差万別の形態をしており、より小さな領域を1単位として、「この領域はこのカテゴリー(例えば、病変部)に属し、このカテゴリーに属するもの全体ではこのくらいの大きさ」と言ったような判断が求められるものである(言うなれば、計測的な認識、分類をも求められるものである。)。そして、この場合には、その認識や分類を行う単位レベルの、つまり、入力ベクトルの成分もしくは複数の成分からなる小領域レベルでの、特徴量への高精度な変換及び抽出が必要となる。
【0011】
したがって、従来例に上げた亀丸による方法や特開平4−355732号の方法は、特徴変換部で実際の文字(もしくは、その部分要素)との相関により特徴変換を行っているため、全体的な特徴を(文字レベルで)大まかに捉えているに過ぎず、また、前述した本来相関器の持つ多少の変形や回転、拡大縮小等に対しても鋭敏に反応し、誤差を生じる欠点が残ったままであり、上述のようなタスクを達成するのは困難である。もし、これらの従来例を改良し、相関器による特徴抽出で上記のようなタスクを達成しようとすれば、入力ベクトルの成分もしくは複数の成分からなる小領域レベルの非常に細かな参照ベクトルを多数用意しなければならず、とても実用的とは言い難い。
【0012】
本発明は上記のような従来技術の状況に鑑みてなされたものであり、その目的は、入力された情報を高速かつ高精度に有効な特徴ベクトルに変換するために必要な多重化光学系、及び、この多重化光学系を用いた特徴ベクトル変換装置、及び、この特徴ベクトル変換装置で得られた特徴ベクトルを後段の認識分類手段に効果的に送るための特徴ベクトル検出伝送装置を提供し、さらには、複雑で大容量の入力情報を任意の成分もしくは複数の成分からなる任意の小領域毎に高速・高精度に認識や分類する認識分類装置を提供することである。
【0013】
【課題を解決するための手段】
以下、上記課題を解決するための手段について、構成とその構成を採用する理由と作用について説明する。
先にも述べたように、入力された情報からその特徴ベクトルを高速に抽出するためには、並列同時に特徴変換を行うことが必要であり、そのためには、図2に示す光学系や、特開平1−227123号、特開平3−148623号、特開平3−144814号等の光学系等が有効である。これらの光学系は、さらに、図1に示す本発明の構成の概念図を参照して説明すると、系内に入力した処理対象となるベクトル情報を多重化する対象ベクトル多重化手段2と、この多重化された入力ベクトルを並列同時にフーリエ変換する多重フーリエ変換手段3と、このフーリエ変換された情報を更に逆フーリエ変換する多重逆フーリエ変換手段4とを有する多重化光学系21からなり、さらに、この多重化光学系21の前段に処理対象となるベクトル情報を入力するための対象ベクトル入力表示手段1を、また多重フーリエ変換手段3によるフーリエ変換面Fに特徴変換用の各種のフィルターからなる特徴変換手段5を、それぞれ配すれば、逆フーリエ変換後の逆フーリエ変換面である特徴変換面T上に並列同時に特徴変換を行う特徴ベクトル変換装置を構成することができる。なお、基本的な例として図2の光学系においては、対象ベクトル多重化手段2は、光変調器上に表示されたベクトル情報を結像レンズとレンズアレイからなる光学系で入力面Rに並列に多重化している。
【0014】
しかし、前述のように、このままでは高精度な特徴変換が行えないので、この多重化光学系21の各所に工夫が必要となる。
【0015】
そのためには、本発明においては、まず
(1)多重化された処理対象となるベクトル情報を並列にフーリエ変換するための多重化光学系において、
少なくともこの多重化光学系がフーリエ変換を並列に行うフーリエ変換レンズを含み、
フーリエ変換レンズの光軸を含む任意の断面内で、多重化された処理対象となるベクトル情報の各多重化部分(例えば、図2中の符号10で示す部分)の成分数をkR 、フーリエ変換面で得られる隣接する各多重化部分のフーリエ変換情報の0次部分のピッチをp、各多重化部分のそれぞれの有効表示サイズをa、波長をλ、フーリエ変換レンズの焦点距離をfF としたときに、
R λfF /a<p ・・・(1)
の関係を満足する多重化光学系であることが必要である。
【0016】
並列同時かつ高精度に特徴変換を行うためには、少なくとも多重化された入力ベクトルを空間周波数の欠落なく並列にフーリエ変換できることが上記多重化光学系には必要となるが、ここで述べた条件(1)を満たすような多重化光学系を用いることで、これが可能となる。
【0017】
より具体的には、多重化光学系のフーリエ変換レンズの光軸を含むある断面を示す図2を参照にして説明する。この断面内のフーリエ変換面Fで得られる隣接する各多重化部分(例えば、図中の10の部分)のフーリエ変換情報の0次部分のピッチをp(ここで、ピッチ間隔とは、隣接する各多重化部分のフーリエ変換情報の0次部分の中心間距離の最小値であり、図2では、1例として正方形状に近接して並んでいる場合を示してある。)とし、多重化部分の成分数(画像であれば画素数)をkR 、多重化部分のそれぞれの有効表示サイズをaとすると、この1つの多重化部分の持つ最も高い空間周波数成分νmax (本/mm)は、
νmax =kR /2a ・・・(1−1)
と表される。この最も高い空間周波数成分νmax のフーリエ変換面F上での0次光成分(0次部分)からのシフト量Smax は、
max =λfF νmax ・・・(1−2)
となる。ここで、λは用いる光の波長、fF はフーリエ変換レンズ30(図2の場合は、レンズアレイを構成する各レンズ30)の焦点距離である。空間周波数の欠落なくフーリエ変換が行われる条件としては、隣接する多重化部分(例えば、図中の10と11)のフーリエ変換情報が重なり合わないことが必要であるので、そのためには、Smax が以下の条件式を満足しなければならない。
【0018】
max <p/2 ・・・(1−3)
したがって、(1−1)〜(1−3)式より(1)式が得られる。
【0019】
上記多重化光学系21を(1)式を満たす範囲で構成すれば、多重化された処理対象ベクトルの空間周波数成分を欠落させることなく、同時並列に高精度なフーリエ変換が可能となることが分かる。なお、多重化された処理対象となるベクトル情報の各多重化部分の成分数kR は、最も細かく情報を得るとしても、それは入力されたベクトルの成分数kと同程度にすればよい。つまり、kR ≦kとすればよい。
【0020】
なお、この条件式(1)は図2の構成の多重化光学系だけではなく、多重化された処理対象となるベクトル情報を並列にフーリエ変換するための多重化光学系なら何れにも適用できるものである。例えば図28に示した先行技術の特開平4−355732号や、他の先行技術である特開平1−227123号、特開平3−148623号、特開平3−144814号等の多重化光学系にももちろん適用でき、この条件式の範囲内で構成するようにすれば、多重化された処理対象となるベクトルの空間周波数成分を欠落させることなく、同時並列かつ高精度にフーリエ変換可能な多重化光学系にできる。
【0021】
1例として、特開平1−227123号の場合の適用例を図3に示す。この場合、各多重化部分は、図中の入力面Rで同様に有効表示サイズa、成分数(画像であれば画素数)kR を持ち、出射する角度の違いとして多重化されているが、他の部分も上記場合と同様に定義すれば、全く同様の議論が成り立つ(この場合は、多重化光学系の入力面Rに直接入力のベクトルを表示して読み出すので、自動的にkR = kとなっている。)。なお、この条件式(1)は、多重光学系の設計指針として非常に有用であり、この条件式を用いれば、設計の指針が簡単かつすぐに出せ、設計時間が短縮される副次効果も併せ持つ。
【0022】
さらに、1例として上げたこの図2の多重化光学系においては、フーリエ変換レンズ30のレンズアレイのレンズピッチとフーリエ変換面Fで得られる隣接する各多重化部分のフーリエ変換情報の0次部分のピッチpは一致するので、フーリエ変換レンズ30のレンズアレイのレンズピッチをpF とすればpF も同様の条件式を満たすように設定するのが望ましい。つまり、pF =pとするのが望ましい。
【0023】
さらに、図2に示す光学系において、フーリエ変換面F上に設置する特徴変換手段5としてのフィルターアレイでフィルタリングするのに必要とする入力ベクトル情報の最大の空間周波数をαmax としたときに、この空間周波数の情報がフーリエ変換レンズ30のレンズアレイの各レンズの有効径内に入るようにする必要がある。図4の拡大図で説明すると、フーリエ変換レンズ30からなるレンズアレイの各レンズの瞳面(開口面)では、フィルターで必要とする最大の空間周波数αmax に対応する入力情報を読み出した回折光の中心は、各レンズの光軸からαmax λfF だけシフトした位置となるために、この回折光をも全てレンズアレイの各レンズの有効径内に入れるためには、レンズアレイの各レンズの有効径をrF とすれば、上記(1)式を満たすと共に、
p≧rF ≧a+2αmax λfF ・・・(1−4)の条件式を満足する多重光学系であることがより望ましい。
【0024】
次に、本発明においては、
(2)多重化された処理対象となるベクトル情報を並列にフーリエ変換し、さらに並列に逆フーリエ変換するための多重化光学系において、
少なくともこの光学系が逆フーリエ変換を並列に行うレンズアレイを含み、
フーリエ変換レンズの光軸を含む任意の断面内で、この逆フーリエ変換用のレンズアレイのピッチをpt 、この光学系で変換された情報を得る特徴変換面T上での変換情報のサンプリングピッチをpd 、一つの多重化部分に対応する特徴変換面上での変換情報の成分数をkd としたときに、
d d ≦pt ・・・(2)
の関係を満足する多重化光学系であることが必要である。
【0025】
並列同時かつ高精度に特徴変換を行うためには、少なくとも多重化された入力ベクトルを並列にフーリエ変換し、さらに、逆フーリエ変換した際に、目的にかなった成分数を持つベクトル情報として変換されていることが必要となるが、ここで述べた条件を満たす多重化光学系を用いることでこれが可能となる。
【0026】
より具体的には、図2に示す多重化光学系において、逆フーリエ変換後の特徴変換面T上で得られる1つの多重化部分に対応する変換情報のサンプリングピッチをpd 、さらにその変換情報の成分数をkd としたときに、1つの多重化部分に対応する変換情報の大きさは、kd ×pd となるが、これが逆フーリエ変換を並列に行うレンズアレイ40のレンズピッチpt より大きいと、変換情報が欠落することになる。したがって、(2)式を満すことが必要となる。なお、変換情報のサンプリングピッチをpd は、一般的には、特徴変換面Tに置くディテクターのピッチで制限され、本発明では、後述するベクトル検出伝送手段での変換情報のサンプリングピッチで制限される。また、kd は目的毎にその成分数を決めればよいが、最も細かく情報を得るとしても、それは入力されたベクトルの次元数kと同程度にすればよい。つまり、kd ≦kとすればよい。
【0027】
したがって、上記多重化光学系を(2)式を満たす範囲で構成すれば、多重化された処理対象ベクトルの変換情報を欠落させることなく、同時並列かつ高精度に変換できることが分かる。
【0028】
さらに、本発明の目的である、複雑で大容量の入力情報を、任意の成分もしくは複数の成分からなる任意の小領域毎に、高速・高精度に認識や分類するためには、特徴変換面T又は入力面Rで扱えるベクトルの成分の数が多くなければならない。一般の大容量のベクトル、特にベクトルとして画像を扱う場合には、少なくともその成分数が50×50以上はないと、十分とは言えない。つまり、kd ≧50を満足することが望ましい。一方、特徴変換面T上で特徴変換された情報を検出するための検出器において、検出可能なサンプリングピッチは現状では5μm程度が限界である。つまり、pd ≧5μmを満足することが望ましい。以上を考慮すれば、(2)式は、さらに、
0.25mm≦kd d ≦pt
の条件を満たすことが、現状ではより好ましい。
【0029】
なお、同様に、これらの条件式は、図2の構成の多重化光学系だけではなく、多重化された処理対象となるベクトル情報を並列にフーリエ変換し、さらに、並列に逆フーリエ変換するための多重化光学系なら何れでも適用できるものである。例えば図28に示した先行技術の特開平4−355732号や、他の先行技術である特開平1−227123号、特開平3−148623号、特開平3−144814号等の多重化光学系にももちろん適用でき、これらの条件式の範囲内で構成するようにすれば、多重化された処理対象ベクトルの変換情報を欠落させることなく、同時並列かつ高精度に変換できる。なお、これらの条件式は、多重化光学系の設計指針として非常に有用であり、これらの条件式を用いれば、設計の指針が簡単かつすぐに出せ、設計時間が短縮される副次効果も併せ持つ。
【0030】
本発明においては、さらに、
(3)処理対象となるベクトル情報を多重化し、多重化された処理対象となるベクトル情報を並列にフーリエ変換し、さらに並列に逆フーリエ変換するための多重光学系において、
少なくとも処理の対象となる対象ベクトルを種々の方向の平行光束に乗せ、多重化するための対象ベクトル多重化手段と、
この多重化された対象ベクトルに並列同時にフーリエ変換するための大口径レンズからなる多重フーリエ変換手段と、
多重フーリエ変換手段によってフーリエ変換された情報を並列同時に逆フーリエ変換するための逆フーリエ変換用のレンズアレイからなる多重逆フーリエ変換手段とで構成され、
大口径レンズの焦点距離をfF 、大口径レンズ全体の有効径をrF 、逆フーリエ変換用のレンズアレイを構成するレンズの焦点距離をfT 、各多重化領域に対応した逆フーリエ変換用のレンズアレイから出射されて特徴変換面上に到達した光束の幅をwT 、大口径レンズの中心を通る光軸から最も遠い逆フーリエ変換用のレンズアレイ中のレンズの中心までの距離をh、フーリエ変換面上に設置する特徴変換手段としてのフィルターで必要とする最大の空間周波数をαmax 、波長をλとしたときに、
(rF −2αmax λfF )/fF −wT /fT ≧2h/fF ・・・(3)
の関係を満足する多重化光学系であることが必要である。
【0031】
本多重化光学系においては、並列同時かつ情報の欠落なく特徴変換を行うためには、対象ベクトル入力表示手段1に表示された入力ベクトル情報を読み出した複数の異なる角度の光束が、多重化された全ての対象ベクトルに並列同時にフーリエ変換するための大口径レンズに入射する必要があるが、ここで述べた条件(3)を満たす多重化光学系を用いることで、これが可能となる。
【0032】
より具体的には、図3に示した多重化光学系の一部を模式的に示した図5を用いて説明する。ここでは、説明を分かりやすくするために、図5に示すように、対象ベクトル入力表示手段1の表示領域51、多重化された対象ベクトルを並列同時にフーリエ変換するためのフーリエ変換レンズとしての大口径レンズ30、多重フーリエ変換手段によってフーリエ変換された情報を並列同時に逆フーリエ変換するための逆フーリエ変換用のレンズアレイ40は全て円形開口とし、対象ベクトル多重化手段による入力ベクトルの多重度を4×4、それに伴い、逆フーリエ変換用のレンズアレイ40はレンズが4×4個配置されているとする。さらに、説明のため、図中に示す大口径レンズ30の中心を通る光軸54から最も遠い逆フーリエ変換用のレンズアレイ40中のレンズを55としたとき、この多重化光学系をそのレンズ55の中心と光軸54を含む断面として表した図6を用いる。
【0033】
対象ベクトル入力表示手段1の表示領域51を読み出した複数の略平行な光束は、多重化された対象ベクトルを並列同時にフーリエ変換するための大口径レンズ30に入射し、その後、フーリエ変換面Fでそれぞれの多重化部分のフーリエ変換像を形成し、さらに、フーリエ変換面Fが前側焦平面となるように配置された逆フーリエ変換レンズで構成されるレンズアレイ40によって再度フーリエ変換(逆フーリエ変換)が施される。ここで、情報の欠落なく情報の変換がなされるためには、入力面Rの表示領域51から出射される全ての光束が大口径レンズ30に入射しなければならない。ここで、読み出された情報の0次光成分について考えると、大口径レンズ30の開口内に、レンズアレイ40の中で最も光軸54から遠いレンズ55を通過する光束(図中のハッチ部)が入っていれば、情報は欠落なく伝達される。したがって、対象ベクトル入力表示手段1の表示領域51の大きさをa、大口径レンズ30の有効径をrF とし、光軸54からレンズ55の中心までの距離をhとすれば、この条件は、
a/2+h≦rF /2 ・・・(3−1)
で与えられる。
【0034】
次に、これを変形して、大口径レンズの焦点距離fF と有効径rF 及び逆フーリエ変換レンズの焦点距離fT と、最終的に得られる光束の幅及び光軸54とレンズ55の中心までの距離hの関係を示す。上記式(3−1)を大口径レンズ30の焦点距離fF で割ると、
a/fF +2h/fF ≦rF /fF ・・・(3−1)
となる。ここで、レンズアレイ40から出射されて特徴変換面T上に到達した光束の幅をwT と定義すれば、レンズアレイ40の逆フーリエ変換レンズ55の焦点距離fT との間には、a/fF =wT /fT の関係が成立するので、上式は、さらに、
F /fF −wT /fT ≧2h/fF ・・・(3−3)
と変形できる。
【0035】
さらに、フーリエ変換面F上に設置する特徴変換手段5としてのフィルターでフィルタリングするのに必要とする入力ベクトル情報の最大の空間周波数をαmax としたときに、この空間周波数の情報は、フーリエ変換面F上では0次光からαmax λfF だけシフトした位置に現れるので、0次光以外のこれらの情報も欠落なく変換伝達するためには、空間周波数αmax の高次光成分のフーリエ変換面Fでの中心が光軸54とレンズ55の中心までの距離hからさらにαmax λfF だけシフトした光束も大口径レンズ30を通過させる必要がある。そのためには、(3ー3)式は、さらに、
(rF −2αmax λfF )/fF −wT /fT ≧2h/fF ・・・(3)
となる必要がある。なお、上記(3ー3)式を少なくとも満たせば、高周波成分の情報の欠落はあるが、低周波成分のウエイトが高い認識、分類等には、多少の誤差は存在するものの、十分使える場合もあるが、一般的には、(3)式を満たすことが望ましい。
【0036】
一方、さらに、逆フーリエ変換用のレンズアレイ40においても、その有効径rT 内に上記周波数成分αmax の光束が入る必要がある。つまり、0次光の光束からαmax λfF だけシフトした高次光成分の光束をもレンズアレイ40の各レンズを通過させる必要がある。このための条件式は、
αmax λfF +wT /2≦rT /2 ・・・(3−4)
となる。上記(3)式だけでなく、(3ー4)式も満たせば、必要とする空間周波数全域にわたってより良好なフィルタリングが可能となることは言うまでもない。なお、これらの条件式は、多重化光学系の設計指針として非常に有用であり、これらの条件式を用いれば、設計の指針が簡単かつすぐに出せ、設計時間が短縮される副次効果も併せ持つ。
【0037】
なお、前記(2)でも述べたように、複雑で大容量の入力情報を、任意の成分もしくは複数の成分からなる任意の小領域毎に、高速・高精度に認識や分類するためには、現状では、kd d ≧0.25mmを満足することが望ましい。このkd d は丁度wT に一致するので、本構成においても、wT ≧0.25mmの領域の条件を更に満たすことが好ましい。
【0038】
なお、ここでは、説明が容易なように、表示領域、大口径レンズの開口、レンズアレイの開口等は全て円形開口を用いたが、これらは円形開口だけでなく、全ての他の開口についても全く同様に考えることができる。
【0039】
さて、本発明の特徴ベクトル変換装置は、
(4)処理対象となるベクトル情報を系内に入力するための対象ベクトル入力表示手段と、この入力された処理対象となるベクトル情報を多重化するための対象ベクトル多重化手段と、この多重化された処理対象となるベクトル情報からその多重度分だけ並列的にフーリエ変換を行う多重フーリエ変換手段と、この多重フーリエ変換手段によりフーリエ変換された画像をその多重度分だけ並列的に逆フーリエ変換を行うための多重度分のレンズからなるレンズアレイを有する多重逆フーリエ変換手段とを備え、さらに、多重フーリエ変換手段によりフーリエ変換されたそれぞれの画像を並列的に特徴変換するための特徴変換手段をフーリエ変換面に配し、最終的に変換された特徴の含まれた画像を特徴変換面に出力する特徴ベクトル変換装置において、上記(1)から(3)の何れか1項記載の多重化光学系を構成要素として含むようにすれば、高速かつ高精度な特徴変換が行えることは、今までの説明より自明である。
【0040】
また、特徴ベクトル変換装置の特徴変換手段を多重度分の複数の空間周波数フィルターとし、処理対象のベクトルの複数の特徴を同時に変換するように構成すれば、複雑で大容量の一般的な画像の空間構造を効果的に特徴量に変換することができる。
【0041】
特に、上記フィルターとして、Gaborフィルター、Waveletフィルター、方向性を規定したバンドパスフィルター等を用い、方向性のある空間周波数構造をとらえる特徴量に変換するようにすれば、複雑な空間構造を持つ一般的な画像であっても、単純かつ最小限のフィルターによって認識、分類等の後段の処理に有効な対象ベクトルの特徴量に高速かつ良好に変換できる。
【0042】
また、この空間周波数フィルターに、さらに処理対象のベクトルの色空間での特徴に変換する色フィルターを付加して用いれば、色別の空間構造がより複雑に組み合わさった画像等であっても、単純かつ最小限のフィルターによって認識、分類等の後段の処理に有効な対象ベクトルの特徴量に高速かつ良好に変換できる。
【0043】
さらに、本発明の目的にかなった認識分類装置を構成するためには、上記の特徴ベクトル変換装置で得られた特徴ベクトルを効果的に次段の認識分類手段に送るための特徴ベクトルの検出伝送機能を有する、次のような特徴ベクトル検出伝送装置が必要である。つまり、
(5)上記の特徴ベクトル変換装置から得られる個々の特徴ベクトルに対して、各多重化部分毎にその中の任意に選択された領域の特徴ベクトルを取り出す特徴ベクトル選択手段と、特徴ベクトル変換装置から得られる特徴ベクトル又は特徴ベクトル選択手段から得られる特徴ベクトルを取得する特徴ベクトル検出手段と、特徴ベクトル検出手段で得られたデータを次段に伝送するための特徴ベクトル伝送手段とを備え、特徴ベクトル変換装置より得られる情報を認識、分類に有効な情報に変換し、次段の処理に伝送する特徴ベクトル検出伝送装置が必要である。
【0044】
上記のような特徴ベクトル検出伝送装置を用いることで、処理対象ベクトル中の任意の領域に対する特徴量を各多重化部分から選択検出し、適切なベクトルとして次段の認識分類手段に伝送することが可能となり、前記の本発明の解決課題の項で述べた処理対象ベクトルの1つの成分もしくは複数の成分からなる小領域毎の認識や分類をも行うことが可能となる。
【0045】
1つの具体例として、図7(a)に示す対象入力ベクトルとしての入力画像に対して、説明を簡単にするため5×5の合計25の領域での認識、分類を行うこととし、後述する図11に示すような16種類のフィルターを作用させて、それぞれのフィルターに対して図7(b)に示す画像が16枚得られたとする。ここで、図7(a)の入力画像における分割領域をaij(i=0〜4,j=0〜4:何れも整数)とし、16種類のフィルターを作用させて特徴変換された画像をbijkl(i=0〜4,j=0〜4,k=0〜3,l=0〜3:何れも整数、k,lはフィルターの番号に対応)とすれば、例えば図7(a)のa00の領域に対して各フィルターをかけた結果は図7(b)に示すb00kl(k=0〜3,l=0〜3:何れも整数)の16個の領域となる。この16個の各領域を選択し、各領域毎に含まれる画素値の和のデータとして検出し、その結果得られる16種類のデータを例えば図7(c)のように組み合わせてその領域の特徴ベクトルとして次段の認識分類手段に伝送し処理することで、a00の領域に対する認識、分類が可能となる(図7(c)では、2次元に配列して特徴ベクトルを表現したが、この限りではない。)。他のa10,a20,・・・・,a44に対しても同様に処理すれば、それぞれの領域毎の認識が可能になる。なお、ここでは、入力画像を5×5の領域に分割したが、分割数は任意に設定でき、分割数を大きく、つまり、より小さな領域毎に(限界は一画素対応)にしてもよいことは明らかであり、これから処理対象ベクトルの1つの成分もしくは複数の成分からなる小領域毎の認識や分類をも効果的に行えることが証明できる。
【0046】
なお、本発明の特徴ベクトル検出伝送装置においては、上記(1)〜(3)における条件式(1)〜(3)を満足するか否かに係わらず、特徴ベクトル変換装置から得られる個々の特徴ベクトルに対して、上記のように、各多重化部分毎に任意に選択された領域(例えば、上記のb00kl)の特徴ベクトルを取り出す特徴ベクトル選択手段を備えていることも大きな特徴である。
【0047】
さらに、本発明の認識分類装置に関しては、
(6)特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、認識分類手段から構成される認識分類装置において、特徴ベクトル変換装置として上記の(4)記載のものを用い、また、特徴ベクトル検出伝送装置として上記の(5)記載のものを用いるようにしたので、処理対象のベクトルから高速高精度な特徴抽出が可能になり、さらに、その抽出された特徴を認識、分類手段に任意の小領域毎に選択伝送できるようになり、全体としては、変形があったり、形が変わっていたり、大きさが異なっていたりしていても、より小さな領域を1単位として、「この領域はこのカテゴリーに属し、あるカテゴリーに属するもの全体ではこのくらいの大きさ」といったような、計測的な認識、分類をも高速高精度に行うことが可能となる。その適用分野としては、例として前にあげた医用画像における病変部や臓器の認識、分類や、FA(ファクトリーオートメーション)画像における欠陥部の認識、分類と言ったものがあげられる
【0048】
【発明の実施の形態】
以下、図面を参照にして本発明の多重化光学系、それを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置の好適な実施の形態並びに具体例について説明する。
第1実施形態ないし第3実施形態は、本発明の中、多重化光学系とこの多重化光学系を用いた特徴ベクトル変換装置に関するものである。そして、何れの特徴ベクトル変換装置も、系内に入力した処理対象となるベクトル情報を多重化する対象ベクトル多重化手段2と、この多重化された入力ベクトルを並列同時にフーリエ変換する多重フーリエ変換手段3と、このフーリエ変換された情報をさらに逆フーリエ変換する多重逆フーリエ変換手段4とを有する多重化光学系からなり、さらに、この多重化光学系の前段に処理対象となるベクトル情報を入力するための対象ベクトル入力表示手段1を、フーリエ変換面Fに特徴変換用の各種のフィルターからなる特徴変換手段5をそれぞれ配した構成を持ち、並列同時かつ高精度に特徴変換を行うものである。
【0049】
〔第1実施形態〕
本実施形態の特徴ベクトル変換装置は、図8の断面図に示すように、上記の特徴ベクトル変換装置の構成を持ち、特に、対象ベクトルとして画像を処理する場合の1形態を示す。
【0050】
具体的には、対象ベクトル入力表示手段1では、インコヒーレント光源101としてのXe−Hgランプと、このランプの光を効率良く平行光束化するために共焦点配置に配置され、さらに、その焦点位置にランプを配する同一焦点距離のレンズ102a及びミラー102bと、さらに、この光束の単色性を増すための波長フィルター103と、光束の方向を変換するミラー104とにより略平行なインコヒーレント光束105を発生させ、さらに、CCDカメラ等の撮像素子106と、この撮像素子からの信号を入力し空間光変調器107に表示するための信号を発生するためのコントローラー108及びドライバー109とにより、空間光変調器107に対象ベクトルである画像(本実施形態の場合)を表示し、この情報を光束105を空間光変調器107に入射させて読み出すことにより後段の系内に入力するものである。本実施形態の場合、空間光変調器107としては、印加される電圧に応じて透過率が変化する電気アドレス型で透過読み出しタイプの液晶空間光変調器を用いた。また、ミラー104により対象ベクトル入力手段1の系を折り曲げているが、これは本質的なものではなく、スペースに余裕があればこのミラーを省略して系を真っ直ぐにしてもよい。
【0051】
対象ベクトル多重化手段2では、対象ベクトル入力表示手段1によって入力された画像を、結像レンズ201とレンズアレイ202によって、特徴変換手段5に用いるフィルターの数と同一に設定されたレンズアレイ202中のレンズの数だけ多重複製し、空間光変調器203に書き込むものである。この際、結像レンズ201はその前側焦点位置に空間光変調器107の読み出し面が一致するように、またレンズアレイ202はその後側焦点位置に空間光変調器203の書き込み面が一致するように、さらに、結像レンズ201の光軸とレンズアレイ202を構成するレンズの光軸が平行になるように配置する。また、空間光変調器203としては、入射する光量に応じて反射率の変化する光アドレス型で反射読み出しタイプの液晶空間光変調器を用いた。
【0052】
多重フーリエ変換手段3は、コヒーレント光源301としてのレーザと、このレーザの光線を系の方向に曲げるためのミラー302と、レーザの光線のノイズを除去した上で略平行なコヒーレント光束に変換するための絞り込みレンズ303a、スペイシャルフィルター303b、及び、コリメータレンズ303cからなるビームエキスパンダ303と、このビームエキスパンダ303により発生させた略平行なコヒーレント光束304を空間光変調器203の読み出し面に略垂直に入射させ、対象ベクトル多重化手段2で多重複製され空間光変調器203に書き込まれている対象ベクトルの多重化像を反射光として読み出すためのビームスプリッター305と、空間光変調器203の読み出し面に前側焦点位置を一致させ各光軸が系の光軸と平行になるように配置され、レンズアレイ202と同一個数同一配列で対応するそれぞれの光軸が一致するように配置されたレンズで構成されているフーリエ変換レンズとしてのレンズアレイ306とで構成し、このレンズアレイ306の後側焦点位置に設定するフーリエ変換面Fに、並列同時に多重化された対象ベクトルのフーリエ変換情報を得るものである。
【0053】
特徴変換手段5は、このフーリエ変換面Fにレンズアレイ306と同一個数で一対一に対応するよう配置したフィルターアレイ501により構成し、多重化された対象ベクトルである画像に複数の異なったフィルタリングを施すものである。
【0054】
多重逆フーリエ変換手段4は、その前側焦点位置がフーリエ変換面Fに一致するように配置してあり、フーリエ変換用のレンズアレイ306と同一個数同一配列で対応するそれぞれの光軸が一致するように配置された逆フーリエ変換レンズアレイからなるレンズアレイ401により構成し、フーリエ変換されフィルタリングされた情報を更に並列同時に逆フーリエ変換し、レンズアレイ401の後側焦平面である特徴変換面Tに、多重化された対象ベクトルの特徴変換結果を並列同時に得るものである。
【0055】
以上の構成により、略平行なコヒーレント光束304で読み出された多重化された対象ベクトルは、レンズアレイ306の個々のフーリエ変換レンズでフーリエ変換された後、フィルターアレイ501を構成する個々のフィルターで異なったフィルタリング(特徴変換)が行われ、さらに、レンズアレイ401の個々の逆フーリエ変換レンズで逆フーリエ変換され、その結果がレンズアレイ401の後側焦平面にある特徴変換面Tに形成されるようになっている。
【0056】
(具体例1)
このフィルターアレイ501を構成する各フィルターとして、本具体例では、空間周波数フィルターの1種であるGaborフィルターを用いた。Gaborフィルターとは、画像中から方向性のある空間周波数構造を抽出するものであり、広義には方向性の規定されたバンドパス空間周波数フィルターと同一のものである。その実空間での記述式は、例えば、
Figure 0003776500
である。(4)式及び(5)式で、x,yは実空間での座標系、u,vはフーリエ変換面(周波数面)での座標系、u0 ,v0 は振動成分の周波数、σはガウシアン(Gaussian)型の包絡線をそれぞれ規定する変数もしくは定数である。図9(a)及び(b)に(4)式及び(5)式で表されるGaborフィルターの概形の1例を示した、図9(a)は(4)式に基づく実空間でのGaborフィルター、図9(b)は(5)式に基づく周波数空間でのGaborフィルターである。このフィルターは実空間では負の値を含み、周波数空間では正の値のみなので、直接的には正の値しか扱えない光の強度で処理するためには、周波数空間で取り扱うのがよいことが分かる。
【0057】
また、実験により、入力画像の成分数がkR ×kR の場合に、0.03kR 〜0.5kR (本/入力サイズ)の空間周波数成分を抽出することが適当であることが分かったので、この具体例では、kR =128とし、図10(a)に示すような、u=0方向(▲1▼)、v=0方向(▲2▼)、u=v方向(▲3▼)、u=−v方向(▲4▼)の4方向について、u0 の空間周波数がそれぞれ4√2(=5.7)本/入力サイズ、8√2(=11.3)本/入力サイズ、16√2(=22.6)本/入力サイズ、32√2(=45.3)本/入力サイズの16通りのフィルターを使用した。したがて、レンズアレイ等の配列は、図8の断面方向が4で、これに垂直な方向が4の16多重とした。実際のフィルターは、コンピュータによって(5)式より計算した結果を濃淡値でプリンターに出力し、これを写真縮小して作製した。計算の際、σ=2とした。
【0058】
これらの各フィルターは、u0 の空間周波数が高くなるるつれてその包絡線の幅が大きくなり、含まれる周波数範囲が大きくなる。図11にこの具体例で用いたフィルターアレイ501を模式的に示す。また、図10(b)に、1例としてu=v方向(▲3▼)でu0 の空間周波数が32√2(=45.3)本/入力サイズの場合のプリンターに出力したGaborフィルターの例を示す。
【0059】
さらに、具体的な数値例として、対象ベクトル入力表示手段1中の空間光変調器107に表示される入力ベクトルは、正方形の開口で、その1辺の大きさは10mmとし、含まれるベクトルの成分数(ここでは、画素数)は、k =128(128×128画素)とし、さらに、先にも述べたように、kR =k=128とした。
【0060】
次に、対象ベクトル多重化手段2中の多重化光学系では、結像レンズ201の焦点距離を100mm、レンズアレイ202の焦点距離を10mmとしたので、空間光変調器203に書き込まれる多重化されたベクトルの各多重化部分の画像のサイズは1mm×1mm(a=1mm)となる。また、フーリエ変換レンズアレイ306及び逆フーリエ変換レンズアレイ401の焦点距離を同一の20mm(fF =fT =20mm)、コヒーレント光の波長を632.8nm(λ=632.8nm)としたので、条件式(1)から、多重化された画像のフーリエ変換情報が互いに重なり合わないためには、隣接する各多重化部分のフーリエ変換情報の0次部分のピッチpとフーリエ変換レンズアレイ306のレンズピッチpF が、
F =p≧1.62mm
と求められる。また、特徴変換面T上に置き、多重化された対象ベクトルの特徴変換結果を検出する検出器のピッチを20μmとすると、この値が徴変換面T上の変換情報のサンプリングピッチを制限し、pd =20μmとなる。さらに、kd =k=128とすると、条件式(2)より、逆フーリエ変換レンズアレイ401のピッチ間隔pt が、
t ≧2.56mm
と求められる。
【0061】
本実施形態では、p=pF =pt 、さらに、レンズアレイ202のピッチもpと一致するよう構成したので、したがって、レンズアレイ202、306、401 のピッチ間隔は、何れも(1)式と(2)式に関する上記値を満たす3.0mmとした。この条件の下で、高精度な特徴変換が可能となるのは前述の通りである。さらに、ここで用いたGaborフィルターでフィルタリングされる最高の空間周波数αmax は、58本/mmであるので、(1ー4)式を計算すると、pの条件は、
p≧2.469mm
となるが、ここで設定したp=3mmならば、この条件も満足している。
【0062】
次に、対象ベクトル入力表示手段1において、空間光変調器107の代わりに空間光変調器203と同様な反射読み出しタイプの光アドレス型空間光変調器112を使い、物体Oを結像レンズ13を用いて直接書き込む場合の、本実施形態の変形例を図12に示す。この例は、前述のインコヒーレント光束105と同様に発生させた略平行なインコヒーレント光束110を、ビームスプリッター111により空間光変調器112の読み出し面に略垂直に入射させ、結像レンズ13で書き込まれ空間光変調器112に記録されている対象ベクトルの情報を反射光として読み出し、後は、第1実施形態同様に一連の処理をするものである。この場合、電気的アドレスを使わず光で直接書き込む分だけ、高速化が可能になる。
【0063】
(具体例2)
この第1実施形態の変形例を実現するための具体的例を次に示す。本具体例でも、フィルターアレイ501を構成する各フィルターとして、Gaborフィルターを用いた。本具体例では、対象ベクトル表示手段1中の空間光変調器112に表示される入力ベクトルは、正方形の開口で、その1辺の大きさは4mmと具体例1と比較し小さくし、含まれるベクトルの成分数(ここでは、画素数)もk=64(64×64画素)とし、さらに、kR =k=64とした。
【0064】
次に、対象ベクトル多重化手段2中の多重化光学系では、結像レンズ201の焦点距離を50mm、レンズアレイ202の焦点距離を5mmとしたので、空間光変調器203に書き込まれる多重化されたベクトルの各多重化部分の画像のサイズは0.4mm×0.4mm(a=0.4mm)となる。また、フーリエ変換レンズアレイ306及び逆フーリエ変換レンズアレイ401の焦点距離を同一の14mm(fF =fT =14mm)、コヒーレント光の波長を515nm(λ=515nm)としたので、条件式(1)から、多重化された画像のフーリエ変換情報が互いに重なり合わないためには、隣接する各多重化部分のフーリエ変換情報の0次部分のピッチpとフーリエ変換レンズアレイ306のレンズピッチpF が、
F =p≧1.16mm
と求められる。また、特徴変換面T上に置き、多重化された対象ベクトルの特徴変換結果を検出する検出器のピッチを10μmとすると、この値が特徴変換面T上の変換情報のサンプリングピッチを制限し、pd =10μmとなる。さらに、kd =k=64とすれば、条件式(2)より、逆フーリエ変換レンズアレイ401のピッチ間隔pt が、
t ≧0.64mm
と求められる。
【0065】
本実施形態では、p=pF =pt 、さらに、レンズアレイ202のピッチもpと一致するよう構成したので、したがって、レンズアレイ202、306、401のピッチ間隔は、何れも(1)と(2)に関する上記値を満たす2.0mmとした。さらに、(1ー4)式において、ここで用いたGaborフィルターでフィルタリングされる最高の空間周波数αmax は、72.5本/mmであるので、pの条件は
p≧1.45mm
となるが、ここで設定したp=2.0mmならば、この条件も満足している。
【0066】
次に、対象ベクトル多重化手段2において、色フィルターを付加することで、更に色に関する情報も合わせて並列同時に特徴変換が可能な場合の本実施形態の変形例を図13に示す。より具体的には、対象ベクトル入力表示手段1は、インコヒーレント光束を発生させるためのインコヒーレント光源140として液晶パネルディスプレーによく使用されるコールドランプと単色性を増すための色フィルターとを組み合わせたものと、空間光変調器141として電気アドレス型で透過読み出しタイプの液晶空間光変調器と、この空間光変調器141に対象ベクトルである画像を表示するための第1実施形態と同様のCCDカメラ等の撮像素子142と、コントローラー143及びドライバー144とにより構成される。また、対象ベクトル多重化手段2は、第1実施形態と同一に構成し、さらに、空間光変調器203の直前に色空間に変換用のフィルターアレイ215を付加したもので構成した。その他の部分は、全て第1実施形態と同一構成である。
【0067】
(具体例3)
この第1実施形態の変形例を実現するための具体例を次に示す。本具体例では、この色検出用のフィルターアレイ215として、色フィルターを2×2の4種類(具体的には、480nm、520nm、580nm、630nmに透過ピークを有する色フィルター)用意し、この各色の領域に対してそれぞれ第1実施形態と同様な4×4の16種類のGaborフィルターをかけるようにしてある。したがって、各レンズアレイの多重度は8×8の64多重になっている。対象ベクトル入力表示手段1によって入力された画像は、対象ベクトル多重化手段2により多重度分の64種類複製されるが、これが系内に付加された色検出用のフィルターアレイ215により、4×4の16の領域を1つの領域として各領域毎に異なった色の像に複製され、さらに、多重フーリエ変換手段3、特徴変換手段5、多重逆フーリエ変換手段4によって、この各領域から具体例1と同様な4×4の16種類のGaborフィルターによりそれぞれ複数の方向の複数の空間周波数的な構造が抽出できるのである。つまり、瞬時に複数の色部分の複数の方向の複数の空間周波数構造が抽出できるのである。
【0068】
さらに、具体的な数値例として、対象ベクトル入力表示手段1中の空間光変調器141に表示される入力ベクトルは正方形の開口で、その1辺の大きさは10mmとし、含まれるベクトルの成分数(ここでは、画素数)は、k=50(50×50画素)とし、さらに、kR =k=50とした。
【0069】
次に、対象ベクトル多重化手段2中の多重化光学系では、結像レンズ201の焦点距離を50mm、レンズアレイ202の焦点距離を3.2mmとしたので、空間光変調器203に書き込まれる多重化されたベクトルの各多重化部分の画像のサイズは、0.64mm×0.64mm(a=0.64mm)となる。また、フーリエ変換レンズアレイ306及び逆フーリエ変換レンズアレイ401の焦点距離を同一の50mm(fF =fT =50mm)、コヒーレント光の波長を488nm(λ=488nm)としたので、条件式(1)から、多重化された画像のフーリエ変換情報が互いに重なり合わないためには、隣接する各多重化部分のフーリエ変換情報の0次部分のピッチpとフーリエ変換レンズアレイ306のレンズピッチpF が、
F =p≧1.91mm
と求められる。また、特徴変換面T上に置き、多重化された対象ベクトルの特徴変換結果を検出する検出器のピッチを40μmとすると、この値が特徴変換面T上の変換情報のサンプリングピッチを制限し、pd =40μmとなる。さらに、kd =k=50とすれば、条件式(2)より、逆フーリエ変換レンズアレイ401のピッチ間隔pt が、
t ≧2.00mm
と求められる。本実施形態では、p=pF =pt 、さらに、レンズアレイ202のピッチもpと一致するよう構成したので、したがって、レンズアレイ202、306、401のピッチ間隔は、何れも(1)式と(2)式に関する上記値を満たす2.5mmとした。この条件の下で、高精度な特徴変換が可能となるのは前述の通りである。さらに、(1ー4)式において、ここで用いたGaborフィルターでのフィルタリングされる最高の空間周波数αmax は、35.4本/mmであるので、計算すると、pの条件は、
p≧2.37mm
となるが、ここで設定したp=2.5mmならば、この条件も満足している。
【0070】
(具体例4)
具体例3と同一のフィルターを用いた別の数値具体例を次に示す。対象ベクトル入力表示手段1中の空間光変調器141に表示される入力ベクトルは、正方形の開口で、その1辺の大きさは10mmとし、含まれるベクトルの成分数(ここでは、画素数)はk=128(128×128画素)、さらに、kR =k=128とした。
【0071】
次に、対象ベクトル多重化手段2中の多重化光学系では、結像レンズ201の焦点距離を50mm、レンズアレイ202の焦点距離を7.5mmとしたので、空間光変調器203に書き込まれる多重化されたベクトルの各多重化部分の画像のサイズは、1.5mm×1.5mm(a=1.5mm)となる。また、フーリエ変換レンズアレイ306及び逆フーリエ変換レンズアレイ401の焦点距離を同一の8mm(fF =fT =8mm)、コヒーレント光の波長を632.8nm(λ=632.8nm)としたので、条件式(1)から、多重化された画像のフーリエ変換情報が互いに重なり合わないためには、隣接する各多重化部分のフーリエ変換情報の0次部分のピッチpとフーリエ変換レンズアレイ306のレンズピッチpF が、
F =p≧0.44mm
と求められる。また、特徴変換面T上に置き、多重化された対象ベクトルの特徴変換結果を検出する検出器のピッチを10μmとすると、この値が特徴変換面T上の変換情報のサンプリングピッチを制限し、pd =10μmとなる。さらに、kd =k=128とすれば、条件式(2)より、逆フーリエ変換レンズアレイ401のピッチ間隔pt が、
t ≧1.28mm
と求められる。本実施形態では、p=pF =pt 、さらに、レンズアレイ202のピッチもpと一致するよう構成したので、したがって、レンズアレイ202、306、401のピッチ間隔は、何れも(1)式と(2)式に関する上記値を満たす2.0mmとした。この条件の下で、高精度な特徴変換が可能となるのは前述の通りである。さらに、(1ー4)式において、ここで用いたGaborフィルターでフィルタリングされる最高の空間周波数αmax は、35.4本/mmであるので、計算すると、pの条件は、
p≧1.90mm
となるが、ここで設定したp=2.0mmならば、この条件も満足している。
【0072】
なお、具体例3と4では、具体例1及び2に示した空間周波数構造を抽出するフィルターとしてのGaborフィルターと、色空間での特徴量を抽出する色フィルターの組み合せを示したが、他の同様なフィルターとの組み合せ等、色々な変形が考えられる。
【0073】
以上の説明により、前述の実施形態を各具体例の通り構成すれば、方向性の規定されたバンドパス空間周波数フィルターの一種であるGaborフィルターにより、瞬時に対象ベクトルである画像から複数方向の複数周波数の空間周波数構造が高精度に特徴変換できることは明らかである。また、さらに、このGaborフィルターと色フィルターの組み合せにより、瞬時に対象ベクトルである画像から、複数の色部分の複数の方向の複数の空間周波数構造が高精度に特徴変換できることは明らかである。
【0074】
なお、本実施形態のフィルターアレイ501の各フィルターは、具体例1の(5)式で表されるフーリエ変換面でのGaborフィルターの値の半値幅を目安に2値化し、これより内側を透明領域、外側を不透明領域としたバンドパス空間周波数フィルターでもよい。図10(c)に、1例として、同図(b)に例示したGaborフィルターを2値化した場合の例を示す。また、さらに、次式のようなWaveletフィルターWを用いるようにしてもよい。
【0075】
W(a,b,xn ,yn )=1/(ab)1/2
×∫∫f(x,y)h* {(x−xn )/a,(y−yn )/b}dxdy・・・(6)
この(6)式中の変数a,b,xn ,yn を適当に変化させたフィルターh(x,y)によりフィルターアレイ501を作製すれば、同様の効果があり、さらに、時系列信号等も扱えることは一般的なWaveletフィルターの性質から明らかである。
【0076】
なお、本実施形態では、略平行なインコヒーレント光束105を得るのにXe−Hgランプやコールドランプを用いたが、もちろん他のどんなインコヒーレント光源も用いることができ、レーザ等のコヒーレント光源により略平行な光束を得た上で、拡散板等によりインコヒーレント化したものでもよい。その場合、略平行なコヒーレント光束304を分岐して共通に用いてもよい。略平行なコヒーレント光束304も、LD(レーザダイオード)等他のコヒーレント光源を用いて発生させてももちろんよい。
【0077】
また、上記各具体例では、レンズアレイ202及びフーリエ変換レンズアレイ306及び逆フーリエ変換レンズアレイ401として均質レンズを用いたが、本実施形態では、他に両端面が平面の屈折率分布型のレンズやバイナリーオプティクスを利用したレンズアレイ等を用いてもよい。この場合、アライメントが容易になる利点がある。また、曲面に非球面を用いたり、屈折率分布型のレンズに曲率を付けてもよい。この場合、収差が補正しやすくなり、情報の誤差がより小さくなる。
【0078】
〔第2実施形態〕
本実施形態の特徴ベクトル変換装置は、図14の断面図に示すように、前述の特徴ベクトル変換装置の構成を持ち、特に、対象ベクトルとして画像を処理する場合の1形態を示す。本実施形態は、第1実施形態と比較して、有効開口サイズの小さい空間光変調器で構成できる利点がある。より具体的には、対象ベクトル入力表示手段1は、CCDカメラ等の撮像素子121と、電気アドレス型で透過型の空間光変調器122としてここでは液晶製の空間光変調器と、撮像素子121からの信号を入力し空間光変調器122に表示するための信号を発生させるためのコントローラー123及びドライバー124とから構成され、撮像素子121で得られたベクトル情報(ここでは、画像)が空間光変調器122に表示される。
【0079】
対象ベクトル多重化手段2としては、略平行なコヒーレント光束205を発生させるための、第1実施形態の多重フーリエ変換手段3のコヒーレント光束304を発生させる部分と同一要素の図示しない構成部分と、各レンズの光軸が平行になるように配置されているレンズアレイ206と、レンズアレイ206から出射する光束が全て入射し出射することが可能な瞳径を持つ第1レンズ207とにより構成され、レンズアレイ206の後側焦平面の位置と第1レンズの前側焦平面が同一平面208となり、さらに、第1レンズ207の後側焦平面が空間光変調器122の読み出し面と一致するように配置してある。
【0080】
まず、略平行なコヒーレント光束205がレンズアレイ206に入射し、レンズアレイ206を構成する各レンズから出射した光束はその後側焦平面である面208の個々のレンズに対応した位置に集光した後、発散光となり第1レンズ207に入射する。第1レンズ207に入射する光束はその前側焦平面の異なった位置からの発散光であるために、第1レンズ207から出射する光束は第1レンズ207の光軸210に対して様々な角度をなす略平行な光束となる。この様々な角度をなす略平行な光束は、第1レンズ207の後側焦平面近傍で略同一領域に入射する。したがって、第1レンズ207の後側焦平面近傍に配置された空間光変調器122に対象ベクトルを表示し、この様々な角度をなす略平行な光束で読み出すせば、空間光変調器122を通過したこれらの光束は、それぞれの方向に対象ベクトルの情報を乗せた上で伝搬する。
【0081】
多重フーリエ変換手段3は、この複数方向に読み出された対象ベクトルの情報を持つ光束を全て入射可能な瞳径を持ったフーリエ変換レンズとしての第2レンズ(大口径レンズ)310からなる。上記対象ベクトル多重化手段2によって多重に読み出された対象ベクトル情報を持つ複数の光束は、第2レンズ310に入射し、第2レンズ310の後側焦平面のフーリエ変換面Fの対応した位置に、対象ベクトルの複数のフーリエ変換像を形成する。
【0082】
特徴変換手段5は、第1実施形態と同様で、多重フーリエ変換手段3によって得られる複数のフーリエ変換像に対して同一個数で一対一に対応するように配置したフィルターアレイ502より構成し、多重化された対象ベクトルである画像に複数の異なったフィルタリングを施すものである。
【0083】
多重逆フーリエ変換手段4としても、第1実施形態と同様で、複数の逆フーリエ変換レンズで構成される逆フーリエ変換レンズアレイとしてのレンズアレイ402からなり、フーリエ変換されフィルタリングされた情報を更に並列同時に逆フーリエ変換し、レンズアレイ402の後側焦平面である特徴変換面Tに、多重化された対象ベクトルの特徴変換結果を並列同時に得るものある。
【0084】
以上の構成により、略平行なコヒーレント光束205で読み出された多重化された対象ベクトルは、フーリエ変換レンズである第2レンズ310でフーリエ変換された後、フィルターアレイ502を構成する個々のフィルターで異なったフィルタリング(特徴変換)が行われ、さらに、レンズアレイ402の個々の逆フーリエ変換レンズで逆フーリエ変換され、その結果がレンズアレイ402の後側焦平面にある特徴変換面Tに形成される。
【0085】
(具体例1)
本具体例では、対象ベクトル入力表示手段1中の空間光変調器122に表示されるベクトルは、正方形の開口の領域とし、その1辺の大きさaは5.4mm、さらに、その中に含まれるベクトルの成分数(ここでは、画素数)をk×k=128×128とし、k=kd =kR =128とした。さらに、このフィルターアレイ502を構成する各フィルターとして、本具体例では、すでに説明したGaborフィルターを用いた。
【0086】
また、レンズアレイ402と第2レンズ310と特徴変換面T上の各変換像を重ねてそれらの配置の関係を図15に示す。この図に示すように、レンズアレイ402は円形開口のレンズを正方状に配置した。初めに、各変換像の間でその中心間が最も近接する方向、つまり、図中ではD1の方向について考える。
【0087】
本具体例で用いた多重化光学系では、フーリエ変換を施す第2レンズ310の焦点距離を100mm(fF =100mm)、コヒーレント光の波長を632.8nm(λ=632.8nm)としたので、条件式(1)から、多重化された画像のフーリエ変換情報が互いに重なり合わないためには、隣接する各多重化部分のフーリエ変換情報の0次部分のピッチpが、
p≧1.5mm
と求められる。また、特徴変換面T上に置き、多重化された対象ベクトルの特徴変換結果を検出する検出器のピッチを10μmとすると、この値が特徴変換面T上の変換情報のサンプリングピッチを制限し、pd =10μmとなる。条件式(2)より、逆フーリエ変換レンズアレイ402のピッチ間隔pt が、
t ≧1.28mm
と求められる。
【0088】
また、レンズアレイ206、402の各レンズの焦点距離は共に27.8mm(fT =27.8mm) とし、特徴変換面Tで得られる画像の検出サイズは1.5mm×1.5mm(wT =1.5mm) とした。フィルターは、これまでの実施例と同様に、Gaborフィルターを用いており、その最大の空間周波数αmax は10.7本/mmとなり、αmax F λ=0.6799mmとなる。レンズアレイ402の各レンズの有効径rT は(3−4)式を満たす必要があり、上記値を代入すれば、
T ≧2.87mm
となる。以上の議論は、図中のD1の方向についてであるから、変換像の正方形領域が全て入るようにするためには、その対角方向の値に換算する必要がある。これは、上記値を√2倍すればよく、rT >√2×2.87=4.059mmで与えられる。よって、p>rT で、さらに、pt =pであるために、上記の3つの条件より、p≧4.059mmとなり、ここでは、p=4.5mmとした。
【0089】
次に、(3)式について求める。レンズアレイ206、402で光軸210から最も遠い距離にあるレンズの中心までの距離hは、4×4個のアレイ状にこれらが配置されているので、h=3√2p/2となり、さらに、wT は正方形の対角方向をとる必要があるので、前述の値を√2倍して、√2wT =2.12mmとした。この条件より、(3)式は、
F >28.1mm
となり、rF =30mmに設定し、情報の欠落なくフィルタリングが可能とした。
【0090】
したがって、第1実施形態と比較して、空間光変調器202の大きさが小さくても、この条件の下で高精度な特徴変換が可能となることは、前述の通り明らかである。
【0091】
(具体例2)
本具体例では、具体例1と比較し、扱うベクトルの成分数(ここでは、画素数)が少ない場合を示す。レンズアレイは具体例1と同様で、図15に示すように正方状に配置され、対象ベクトル入力表示手段1中の空間光変調器122に表示されるベクトルも正方形の開口の領域とした。ベクトルの表示領域aはa=3mmで、その中に含まれるベクトルの成分数(ここでは、画素数)をk×k=64×64とし、k=kd =kR =64とした。さらに、このフィルターアレイ502を構成する各フィルターとして、本実施形態でも、すでに説明したGaborフィルターを用いた。
【0092】
本具体例で用いた多重化光学系では、フーリエ変換を施す第2レンズ310の焦点距離を80mm(fF =80mm)、コヒーレント光の波長を632.8nm(λ=632.8nm)としたので、条件式(1)から、多重化された画像のフーリエ変換情報が互いに重なり合わないためには、隣接する各多重化部分のフーリエ変換情報の0次部分のピッチpが、
p≧1.08mm
と求められる。また、特徴変換面T上に置き、多重化された対象ベクトルの特徴変換結果を検出する検出器のピッチを20μmとすると、この値が特徴変換面T上の変換情報のサンプリングピッチを制限し、pd =20μmとなる。条件式(2)より、逆フーリエ変換レンズアレイ402のピッチ間隔pt が、
t ≧1.28mm
と求められる。
【0093】
また、レンズアレイ206、402を構成するレンズの焦点距離は共に26.7mm(fT =26.7mm)とし、特徴変換面Tで検出される画像の検出サイズは、1.0mm×1.0mmとした。フィルターとして、これまでの実施例と同様にGaborフィルターを用いており、その最大の空間周波数αmax =9.7本/mmなので、αmax F λ=0.489mmとなる。レンズアレイ402の各レンズの有効径rT は(3−4)式を満たす必要があり、上記値を代入すれば、
T ≧1.99mm
が求まる。しかし、ここでも具体例1と同様で、有効径は変換像の正方形領域の対角方向について考慮せねばならないので、rT ≧1.99×√2=2.82mmとなる。よって、ピッチ間隔pはp≧rT であり、さらに、pt =pであるために、上記の3つの条件より、p≧2.82mmとなるので、ここではp=3.0mmとした。
【0094】
次に、(3)式についても具体例1と全く同様に考えられ、wT を対角方向のものに換算して(√2wT =1.0×√2=1.414)計算すれば、
F >17.95mm
を得た。したがって、rF =20mmに設定し、情報の欠落なくフィルタリングが可能となった。
【0095】
したがって、第1実施形態と比較して、空間光変調器122の大きさが小さくても、この条件の下で、高精度な特徴変換が可能となることは前述の通り明らかである。
【0096】
〔第3実施形態〕
本実施形態の特徴ベクトル変換装置は、図16の断面図に示すように、前述の特徴ベクトル変換装置の構成を持ち、特に、対象ベクトルとして画像を処理する場合の1形態を示す。本実施形態は、第2実施形態と比較して、光学系全体の縮小化が可能となる利点がある。
【0097】
より具体的には、対象ベクトル入力表示手段1は、インコヒーレント光束130を発生させるための、第1実施形態の対象ベクトル入力表示手段1でインコヒーレント光束105を発生させる部分と同一要素の図示しない構成部分と、CCDカメラ等の撮像素子131と、電気アドレス型で透過型の空間光変調器132としてここでは液晶製の空間光変調器と、撮像素子131からの信号を入力し、空間光変調器132に表示するための信号を発生させるためのコントローラー133及びドライバー134と、光書き込み型で反射型の同様な液晶製の空間光変調器135と、結像レンズ136とから構成され、結像レンズ136は、空間光変調器132の読み出し面と空間光変調器135の書き込み面を結像関係にするように配置されている。
【0098】
まず、撮像素子131で得られたベクトル情報(ここでは、画像)がコントローラー133、ドライバー134を介して、透過型の空間光変調器132に表示され、この透過型の空間光変調器132に表示された画像はインコヒーレント光束130で読み出され、結像レンズ136を介してその結像面と一致する反射型の空間光変調器135の書き込み面にそのベクトル情報を書き込む。
【0099】
次に、対象ベクトル多重化手段2は、第2実施形態と同一構成であり、レンズアレイ210’(第2実施形態では206)の後側焦平面と第1レンズ211(第2実施形態では207)の前側焦平面は面212(第2実施形態では208)で一致するように配置され、さらに、第1レンズ211の後側焦平面と空間光変調器135(第2実施形態では122)の読み出し面が一致するように配置されている。略平行なコヒーレント光213(第2実施形態では205)の光束はレンズアレイ210’を通過し、その光束はレンズアレイ210’の後側焦平面である面212でそれぞれ異なった位置に集光し、その後に発散光となって第1レンズ211に入射する。第1レンズ211に入射した発散光は、光軸214に対して種々の角度をなす略平行な光束となり、第1レンズ211の後側焦平面と一致する空間光変調器135の読み出し面で略同じ領域に重なり合い、反射光となって空間光変調器135に書き込まれている対象ベクトル情報を乗せ、種々の方向に反射する。
【0100】
多重フーリエ変換手段3は、本実施形態では対象ベクトル多重化手段2の第1レンズ211を共用する。種々の方向に反射した複数の平行光束は、この第1レンズ211で並列同時にフーリエ変換され、その後側焦平面上のフーリエ変換面F(面212と同一面)にフーリエ変換像を形成する。
【0101】
特徴変換手段5、及び、多重逆フーリエ変換手段4は、第2実施形態と同様の構成であり、特徴変換手段5は、フーリエ変換された情報と同一個数で一対一に対応するよう配置したフィルターアレイ503より構成し、多重化された対象ベクトルである画像に複数の異なったフィルタリングを同時に施す。さらに、このフィルタリングを施された情報に対し、多重逆フーリエ変換を行う逆フーリエ変換レンズよりなるレンズアレイ403により、複数のフィルタリングを施した情報に対してそれぞれ逆フーリエ変換を施し、レンズアレイ403の後側焦平面である特徴変換面Tに、多重化された対象ベクトルの特徴変換結果を並列同時に形成するようになっている。
【0102】
(具体例1)
本具体例では、対象ベクトル入力表示手段1中の空間光変調器132及び135に表示されるベクトルは正方形の開口の領域とし、その1辺の大きさaは10.7mmで、その中に含まれるベクトルの成分数(ここでは、画素数)をk×k=256×256とし、k=kd =kR =256とした。さらに、このフィルターアレイ503を構成する各フィルターとして、本実施形態では、すでに説明したGaborフィルターを用いた。
【0103】
本具体例で用いた多重化光学系は、フーリエ変換を施す第1レンズ211の焦点距離を100mm(fF =100mm)、コヒーレント光の波長を632.8nm(λ=632.8nm)、レンズアレイ210’、403のレンズの焦点距離は共に18.7mm(fT =18.7mm)とし、特徴変換面Tで得られる画像の検出サイズは、2.0mm×2.0mm(wT =2.0mm)とした。ここでは、図17に示すように、レンズアレイ210’、403はそれぞれ4×4個の正方状のアレイよりなっている。第2実施形態の具体例と同様に、図17に示すレンズアレイの各レンズの中心が最も近い方向、図中のD1の方向に関して考えると、条件式(1)から、多重化された画像のフーリエ変換情報が互いに重なり合わないためには、隣接する各多重化部分のフーリエ変換情報の0次部分のピッチpが、
p≧1.52mm
と求められる。また、特徴変換面T上に置き、多重化された対象ベクトルの特徴変換結果を検出する検出器のピッチを10μmとすると、この値が特徴変換面T上の変換情報のサンプリングピッチを制限し、pd =10μmとなる。条件式(2)より、逆フーリエ変換レンズアレイ403のピッチ間隔pt が、
t ≧2.56mm
と求められる。
【0104】
ここでも、フィルターとしては、これまでの実施形態と同様に、Gaborフィルターを用いており、その最大の空間周波数αmax は10.8本/mmであるから、αmax F λ=0.6863mmとなる。
【0105】
レンズアレイ210’、403の各レンズの有効径rT は(3−4)式を満たす必要があり、上記値を代入すれば、
T ≧3.374mm
となる。ここで、第2実施形態の具体例で述べたように、円形レンズを配置する場合、変換像の正方形領域の対角方向について考えなければならないので、rT としてrT ≧3.374×√2=4.772mmとする必要がある。したがって、ピッチ間隔pはp≧ rT であり、pt =pであるために、上記の3つの条件より、p≧4.772mmとなり、ここでは、p=5.0mmとした。
【0106】
次に、(3)式について求める。レンズアレイ210’、403で光軸214から最も遠い距離にあるレンズの中心までの距離hは、4×4個の正方のアレイが光軸を挟んで2段配置されているので、h=√58×p/2となる。(3)式のwT に関しても、対角方向について考えなければならないので、√2T =2.0×√2=2.828mmとして、計算すると、
F >54.59mm
の条件が求まり、rF =55mmに設定し、情報の欠落なくフィルタリングが可能となった。
【0107】
したがって、第2実施形態と比較して光学系の縮小化が図れた上に、高精度な特徴変換が可能となることは前述の通り明らかである。
【0108】
(具体例2)
本具体例では、具体例1と比較し、扱うベクトルの成分数(ここでは、画素数)が少ない場合を示す。レンズアレイ210’、403は一体にして4×8個のアレイとした。対象ベクトル入力表示手段1中の空間光変調器132、135に表示されるベクトルも正方形の開口の領域とした。ベクトルの表示領域は0.5mm×0.5mm(a=0.5)で、その中に含まれるベクトルの成分数(ここでは、画素数)をk×k=50×50とし、k=kd =kR 50とした。さらに、このフィルターアレイ503を構成する各フィルターとして、本実施形態でも、すでに説明したGaborフィルターを用いた。
【0109】
本具体例で用いた多重化光学系では、フーリエ変換を施す第1レンズ211の焦点距離を15mm(fF =15mm)、さらに、レンズアレイ210’、403の焦点距離は共に20mm(fT =20mm)、コヒーレント光の波長を632.8nm(λ=632.8nm)とし、具体例1と同様に、図17でのレンズアレイのレンズの最小間隔方向であるD1方向について考えれば、条件式(1)から、多重化された画像のフーリエ変換情報が互いに重なり合わないためには、隣接する各多重化部分のフーリエ変換情報の0次部分のピッチpが、
p≧0.95mm
と求められる。また、特徴変換面T上に置き、多重化された対象ベクトルの特徴変換結果を検出する検出器のピッチを5μmとすると、この値が特徴変換面T上の変換情報のサンプリングピッチを制限し、pd =5μmとなる。条件式(2)より、逆フーリエ変換レンズアレイ402のピッチ間隔pt が、
t ≧0.25mm
と求められる。
【0110】
また、レンズアレイ210’、403のレンズの焦点距離は共に20.0mmとし、特徴変換面Tで検出される画像の検出サイズは、0.67mm×0.67mm(wT =0.67mm)とした。フィルターとして、前具体例と同様に、Gaborフィルターを用いており、その最大の空間周波数αmax は45.32本/mmなので、αmax F λ=0.430mmとなる。レンズアレイ210’、403の各レンズの有効径rT は(3−4)式を満たす必要があり、上記値を代入すれば、
T ≧1.528mm
となる。しかし、ここでも変換像の正方形領域のその対角方向について考える必要があり、rT ≧1.528×√2=2.17mmとなる。よって、ピッチ間隔pはp≧rT であり、pt =pであるために、上記の3つの条件より、p≧2.17mmとなるので、ここではp=2.5mmとした。
【0111】
次に、(3)式についても、具体例1と全く同様となるので、√2wT =0.67×√2=0.9475として(3)式を計算すると、
F >24.42mm
の条件が求まり、rF =30mmに設定し、情報の欠落なくフィルタリングが可能となった。
【0112】
したがって、第2実施形態と比較して、光学系の縮小化が図られた上に、高精度な特徴変換が可能となることは前述の通り明らかである。
【0113】
以下に説明する第4実施形態から第7実施形態は、本発明の中、先に述べた特徴ベクトル変換装置によって変換される特徴ベクトルの情報を更にデータ変換し、後段の認識分類手段に送るための特徴ベクトル検出伝送装置と、そのベクトル検出伝送装置から伝送されたデータを基に認識分類を行う認識分類手段を用いた認識分類装置に関する。
【0114】
以下の実施形態で示す認識分類装置中の特徴ベクトル変換装置は、上記第1実施形態〜第3実施形態に示した実施形態の何れかで構成され、特徴ベクトル検出伝送装置22は、図1に示すように、特徴ベクトル変換装置から得られるデータの中で取得すべきベクトル情報を選択する特徴ベクトル選択手段7と、特徴ベクトル変換装置から得られるデータ又は特徴ベクトル選択手段7によって選択されたデータを検出する特徴ベクトル検出手段6と、特徴ベクトル選択手段7によって選択されたデータを認識手段に伝送するための特徴ベクトル伝送手段8とで構成され、さらに、認識分類装置23は、上記特徴ベクトル検出伝送装置22から伝送されたデータを基に認識分類手段9により認識分類を行うものである。
【0115】
〔第4実施形態〕
本実施形態の認識分類装置は、図18の断面図に示すように、特徴ベクトル変換装置として第1実施形態の具体例1の装置(図8)を用い、この装置により変換された特徴ベクトルを、特徴ベクトル検出伝送装置22で、重みベクトル更新表示手段92と類似性マッチング手段93と勝利ベクトル決定手段94から構成される認識分類手段9に送り、ここで競合学習型のニューラルネットワークのアルゴリズムを動かすことにより、認識分類を行う装置である。
【0116】
特徴ベクトル検出伝送装置22内の特徴ベクトル選択手段7は、電気信号で2次元的に個々のシャッターの開閉が可能なシャッターアレイ701(本実施形態では、透過型で電気アドレス型の強誘電性液晶製の空間光変調器)と、制御のためのコントローラー702及びドライバー703とで、特徴ベクトル検出手段6は、フォトディテクターアレイ601と、電流電圧変換増幅回路602とで、特徴ベクトル伝送手段8としては、データ転送用のインターフェイス801で構成される。
【0117】
前記の課題を解決するための手段の項で説明したように、本発明の目的を達成するために、処理対象となるベクトルの任意の領域に対する特徴量のみを、フィルタリングにより変換された特徴ベクトルの形成されている各多重化部分の対応する部分から選択検出し、後段の認識分類手段9に伝送することが、特徴ベクトル検出伝送装置の機能である。特徴ベクトル変換装置では、図11で説明した4×4個のフィルターアレイによりフィルタリングされた情報(ここでは、画像)が、図8で説明したように特徴変換面Tに4×4種類形成されるが、この機能を果たすために、この特徴変換面Tにシャッターアレイ701である透過型で電気アドレス型の空間光変調器を配置し、その直後に4×4個のフォトディテクターアレイ601を配置する。透過型の空間光変調器701を、このフィルタリングにより変換された特徴ベクトルの形成されている各多重化部分の対応する部分から処理対象となるベクトルの任意の領域に対応する領域のみの情報が透過するように、コントローラー702及びドライバー703を用いて作動させる。この透過型の空間光変調器701によって選択された領域から透過した情報のみが、特徴ベクトル検出手段6であるフォトディテクターアレイ601に入射し、強度値として検出される(図7参照)。
【0118】
フォトディテクターアレイ601として、本実施形態ではシリコン製のフォトディテクターをアレイ状に並べたものを用いたので、検出された各特徴量は各ディテクターで光電変換され強度に比例した電流値となるが、さらに、この各ディテクターにオペアンプ等を用いた電流電圧変換増幅回路602をつなぎ、最終的には特徴量に比例した電圧が得られるようになっている。以上の構成により、フィルタリングされ変換された特徴ベクトルの形成されている各多重化部分の対応する部分から、処理対象となるベクトルの任意の領域に対応する領域のみの情報を選択して電圧値として得ることが可能となり、さらに、この情報を特徴ベクトル伝送手段のインターフェイス801によって電気的に次段の認識分類手段9に伝送する。
【0119】
一方、認識分類手段9においては、この伝送された情報に基づき競合学習型のニューラルネットワークのアルゴリズムを動かすことにより認識分類を行う。この競合学習型のニューラルネットワークのアルゴリズムの1例として、本実施形態では、自己組織化特徴マップを用いる場合を例にあげるが、まず、この自己組織化特徴マップについて簡単に以下に説明する。自己組織化特徴マップ(以下、SOMと表記する。)は、図19に示すように、2次元に並ぶ素子群の層ML(以下、マップ層MLと表記する。)とデータを入力する入力層ILとから構成される。このマップ層MLは、図19では2次元に並ぶ素子を示したが、1次元に並ぶ素子を用いてもよい。入力層ILは、マップ層MLの全ての素子と結合しており、入力データをマップ層MLの全ての素子に与えることができる。入力データはスカラーでもベクトルでもかまわないが、ここでは、一般的にベクトルX(n次元)とおく。マップ層MLの素子i(iはマップ上の順番とし、全素子層をk個とする。)は全て重みベクトルmi (n次元)を持つことにする。SOMのアルゴリズムは、入力ベクトルXと各素子の重みベクトルmi との類似性から更新すべき重みベクトルを決定する<類似性マッチング>と、その重みベクトルmi を入力ベクトルXの方に近付ける<更新>とに分けられる。そして、両者の作用を繰り返すことにより、入力ベクトルXの分布を反映する重みベクトルmi (1≦i≦k)を生成するものである。<類似性マッチング>と<更新>の具体的な表式を以下に示す。
【0120】
<類似性マッチング>
Figure 0003776500
<更新>
Figure 0003776500
ここで、|X−mi |はXとmi のユークリッド距離、cはその距離が最も小さかった素子(勝利素子)、Nc はその勝利素子cのマップ層MLでの近傍、α(t)は正の定数、tは時刻を示す。更新を繰り返しながら、Nc とα(t)の大きさを徐々に小さくする。また、α(t)は勝利素子cから離れるに従い小さくなるように選ぶこともできる。また、類似性マッチングの部分は以下のように内積を用いてもよい。
【0121】
Figure 0003776500
以上から、本認識分類装置では、特徴ベクトル検出伝送装置から送られた情報を基に、競合学習課程において、(9)式に基づく内積の類似性マッチングを行った上で勝利素子を決定し、さらに(8)式に基づく重みベクトルの更新をすればよいことが分かる。
【0122】
より具体的には、まず、特徴ベクトル検出伝送装置22から送られた情報を類似性マッチング手段93のLEDドライバー9300に入力し、これをコントロールすることによってこの情報が明るさに比例するようにLEDアレイ9301を発光させることで、認識分類手段9内に特徴ベクトル検出伝送装置22から送られた情報を入力させる。本実施形態では、このLEDアレイ9301は、ディテクターアレイ601と同数で同一配列の4×4個の要素からなっている。このLEDアレイ9301から出射された特徴ベクトル検出伝送装置22から送られた情報の乗った光束は、さらに、結像レンズ9302及びレンズアレイ9304からなる多重結像光学系9305によって、ニューラルネットの素子数と同一の個数用意したレンズアレイ9304の多重度分だけ空間光変調器9306の表示面に複製される。この際、結像レンズ9302は、その前側焦点位置にLEDアレイ9301の発光面が一致するように、レンズアレイ9304は、その後側焦点位置に空間光変調器9306の表示面が一致するように、さらに、結像レンズ9302の光軸と各レンズアレイ9304の光軸が平行になるように配置する。また、空間光変調器9306としては、印加される電圧によってその透過率が変化する電気アドレス型で透過読み出しタイプの液晶空間光変調器を用いた。以上により、ニューラルネットの素子数だけ多重化された特徴ベクトルは、次に、重みベクトル更新表示手段92からの信号により空間光変調器9306に表示される重みベクトルの情報がそれぞれ重畳され、さらに、レンズアレイ9304と同一個数で同一配列のレンズアレイ9307で集光され素子毎の内積の演算がなされる。この結果は、同様にレンズアレイ9304と同一個数で同一配列のディテクターアレイ9308で検出され、さらに、オペアンプ等で電圧値に変換されて勝利ベクトル決定手段94に送られる。
【0123】
次に、以上の構成により内積演算が計算される過程を図20を用いて説明する。(9)式の内積演算部分は、入力ベクトルXを要素数N×Nの2次元に展開し、重みベクトルを、要素数N×NのサブマトリックスをM×M個(ニューラルネットの素子数に対応)並べたものに展開すれば:各成分毎に次式のように書き直せる。
【0124】
Figure 0003776500
説明を簡単にするために、N=3、M=2とすると、類似性マッチング手段93の部分は、図20のように模式的に書ける。つまり、LEDアレイ9301に入力された要素数3×3の特徴ベクトルは、結像レンズ9302及びレンズアレイ9304からなる多重結像光学系9305によって、レンズアレイ9304の多重度分の2×2だけ空間光変調器9306の表示面に複製され(同図(イ))、さらに、空間光変調器9306に表示される重みベクトルの情報(同図(ロ))がそれぞれ重畳され、さらに、レンズアレイ9307で個々に集光され素子毎の内積の演算がなされるのである。具体的に、y21の成分について、各要素の処理結果を示すと、重畳する部分は掛算、集光する部分は足算となるから、
Figure 0003776500
となり、(2,1)成分に対応する素子の内積が計算されていることになる。他の成分についても同様に計算できるので、トータルでは、
Figure 0003776500
となり、(10)式の内積のN=3,M=2の場合が確かに計算されていることが分かる。上記光学系では、簡単のため、N=3,M=2の場合について説明したが、上記光学系ではレンズアレイ、入力ベクトルの配列、重みベクトルの配列等は任意に選定でき、この場合も、(10)式を満足することは明らかである。
【0125】
次に、前記の勝利ベクトル決定手段94では、類似性マッチング手段93のディテクターアレイ9308から出力される個々の素子毎の内積の演算から、その最も出力の大きな素子を勝利素子として決定し、この情報を重みベクトル更新表示手段92に送る。重みベクトル更新表示手段92では、上記(8)式の更新則に則って重みベクトルの更新が行われる。本装置において、競合学習を行う重みベクトル更新表示手段92と勝利ベクトル決定手段94は、同一のコンピュータ上に実現している。その中、勝利ベクトル決定手段94は、類似性マッチング手段93のディテクターアレイ9308からの個々の出力電圧をAD変換し個々に取り込むための転送部と、この結果を比較し最も高い電圧を示したものを勝利素子として選択するソフトウエアを搭載したコンピュータとからなっている。重みベクトル更新表示手段92は、2次元のフォトディテクターアレイ601からの情報をAD変換し取り込むための転送部9201と、勝利ベクトル決定手段94で決定された勝利素子の情報と2次元フォトディテクターアレイ601からの特徴ベクトルの情報を用いて(8)式の更新則に則って重みベクトルを更新するソフトウエアを搭載した、前述の勝利素子を選択するためのソフトウエアを搭載したコンピュータと同一のコンピュータと、この更新された重みベクトルの情報を空間光変調器9306上に入力・表示するためのメモリー9202と、コントローラー9203及びドライバー9204とにより構成してある。この場合、重みベクトルは、正規化をしてから空間光変調器9306に入力・表示するようにすると更によい。また、この競合学習課程においては、順次特徴ベクトル検出伝送装置から任意の領域のデータを入力し、上記の重みベクトルの更新を行うことを繰り返し、さらに、別の対象ベクトルについても同様な操作を行って行けば、適当な所で重みベクトルは安定するので、そこで学習を止めればよい。
【0126】
学習後の認識分類過程においては、重みベクトルを固定したまま識別対象のベクトルを入力し、特徴ベクトル変換装置により変換した情報から、特徴ベクトル検出伝送装置22により所望の部分の情報のみ伝送し、認識分類手段9に入力し、ディテクターアレイ9308の中のどれが勝利素子となるかによって、この所望の部分がどのクラスに属するのか分類すればよい。例えば分類は、図20のように素子数が6×6の36だとすれば、個々の素子毎に36種類に分類してもよいし、30個と6個の2つの領域に分け2種類に分類してもよい。対象に合わせて自由にソフトウェアで学習の際に設定すればよい。もし、画面全体を分類したければ、順次特徴ベクトル検出伝送装置22からデータを転送して画面全体について同様に分類すればよい。なお、重みベクトルの初期設定は、ランダムなデータ列を発生させたものを表示するようにしてある。また、ベクトル検出伝送装置22から送られたデータを正規化したり、正規化した際に失われるノルム情報を新たに付加する部分をこの認識分類手段9に設けると更に良い。
【0127】
本実施形態では、今まで説明してきたように、上記のような特徴ベクトル変換装置により変換した特徴ベクトルから、特徴ベクトル検出伝送装置を用いて本発明の目的にかなったデータを選択検出し、後段の認識分類手段に伝送するようにしたから、高速かつ非常に精度良く認識や分類を行う競合学習型の認識分類装置を提供できるようになった。
【0128】
さらに、本実施形態の変形例として、特徴ベクトル変換伝送装置22内のベクトル選択手段7において、図21(a)、(b)に示すように、シャッターアレイ701の後方にレンズ704や縮小光学系705を配置することで、フォトディテクターアレイ601の大きさとピッチを、透過型の空間光変調器701の大きさやフィタリングされた結果の個々の画像間のピッチと合わせる必要がなくなり、フォトディテクターアレイ601のサイズの選択の幅が広がり、装置の作製が容易になる。
【0129】
〔第5実施形態〕
図22に基づいて第5実施形態を示す。第4実施形態とは、特徴ベクトル検出伝送装置において、特徴ベクトル選択手段7にレンズアレイを用いることで、特徴ベクトル検出手段6に用いるフォトディテクターの受光位置による感度誤差を少なくすることを可能にした点、また、認識分類手段9においては、類似性マッチング手段93の内積処理を否定排他論理和もしくは排他論理和に代えて類似度の計算を行う点が異なるが、他の部分は全て同一に構成してある。
【0130】
具体的には、特徴ベクトル検出伝送装置22内の特徴ベクトル選択手段7としては、シャッターアレイ707である透過型で電気アドレス型の空間光変調器と、それをコントロールするためのコントローラー708及びドライバー709と、レンズアレイ710とで、また、特徴ベクトル検出手段6としては、フォトディテクターアレイ603と電流電圧変換増幅回路604とで構成される。第4実施形態との違いは、レンズアレイ710が透過型の空間光変調器707の後方に1つの多重化部分に対応する形で配置されており、さらに、このレンズアレイ710の後側焦点位置近傍にフォトディテクターアレイ603が配置されている点である。このような構成にすることで、レンズアレイ710に入射して来る光束はその焦点位置付近に略集光するようになり、それぞれのフォトディテクターの中央付近で変換像の一部を選択したものを受光できるようになったので、受光位置の違いによる感度誤差を減少することが可能となった。したがって、認識分類手段9に伝送されるデータの精度が向上し、その認識率も向上する。
【0131】
認識分類手段9においては、第4実施形態の類似性マッチング手段93からLEDアレイ9301とそのドライバー部分9300を除去した上で、LEDアレイの位置に空間光変調器9310を配した。この空間光変調器9310及び重みベクトル表示用の空間光変調器9311は、何れもTN液晶製の偏光子のない透過読み出しタイプで電気アドレス型の空間光変調器を用いた。さらに、図22に示すように、これらの空間光変調器9310、9311の外側に一組の偏光子9312及び検光子9313を配した。この偏光子9312及び検光子9313を空間光変調器9310及び9311の液晶の配向に対してクロスニコルもしくは平行ニコルに配置することで、否定排他論理和もしくは排他論理和が計算され、より正確な類似度が計算されることになる。類似性マッチング手段93では、さらに、特徴ベクトル検出伝送手段22より伝送された情報を2値化した上でこれを空間光変調器9310に書き込むための閾値回路9314、ドライバー9315、コントローラー9316を、また、重みベクトル更新表示手段92でも、重みベクトルを更新し表示する際に2値化する部分を付加してある。あとの構成は第4実施形態と同様であり、類似度を計算するのに否定排他論理和もしくは排他論理和を用いる点が異なるだけなので、作用の説明は省略する。
【0132】
以上の構成により、本実施形態では、上記のような特徴ベクトル検出伝送装置により得られる精度の高い特徴ベクトルを用い、さらに、否定排他論理和もしくは排他論理和を用いて類似度を計算し勝利素子を決定できるようになったので、本発明の目的にかない、かつ、高速により精度良く認識や分類を行う競合学習型の認識分類装置を提供できるようになった。
【0133】
〔第6実施形態〕
図23に基づいて第6実施形態を示す。図からも分かるように、ここでは特徴ベクトル変換装置としては第2実施形態のもの(図14)を用いた。特徴ベクトル検出伝送装置22においては、特徴ベクトル選択手段7にプリズムアレイとレンズを用いることで、前実施形態同様、特徴ベクトル検出手段6等に用いられる検出器の選択の幅を広げている。また、認識分類手段9においては、光アドレス型の空間光変調器を用いることで、特徴ベクトル変換伝送装置22からの情報を直接光学的に伝送し処理することを可能とした点が異なる。
【0134】
具体的には、特徴ベクトル変換伝送装置22における特徴ベクトル選択手段7は、シャッターアレイ711である電気アドレス型で透過型の空間光変調器と、それをコントロールするためのコントローラー712及びドライバー713で構成され、特徴ベクトル伝送手段8は、プリズムアレイ714と、プリズムアレイ714から出射する光束が入射可能な瞳径を持ったレンズ715と、ミラー716、ビームスプリッター717で構成され、さらに、特徴ベクトル検出手段6は、光アドレス型で透過読み出しタイプの液晶製の空間光変調器607で構成されている。この中、プリズムアレイ714は、シャッターアレイ711の後方に各多重化部分に対応する数だけ配置されている。このプリズムアレイ714の後方にミラー716を介してレンズ715が配置され、前述の形態と同様に、空間光変調器711で選択透過された情報のみが対応するそれぞれのプリズムを通過する際にその光束を曲げられ、その曲げられた光束がミラー716で反射してレンズ715に到達する。さらに、レンズ715を出射した光束はビームスプリッター717でその一部の光束が反射され、レンズ715の焦点位置近傍に配置してある光アドレス型空間光変調器607に入射され、一方のビームスプリッター717を透過した光束は、2次元のディテクター605に入射し、検出される。つまり、この空間光変調器607上に空間光変調器711で選択透過された情報が書き込まれる。この際、光書き込み型の空間光変調器607の大きさや解像度に整合するように、プリズムアレイ714を構成する個々のプリズムの傾き角やレンズ715の焦点距離を任意に設定することが可能となるので、空間光変調器等の選択の幅が広がる。
【0135】
また、認識分類手段9においては、特徴ベクトル検出伝送装置22のベクトル検出手段6である空間光変調器607に書き込まれた情報を、前述の実施形態と同様な構成により生じさせたコヒーレント光束9108で読み出すことで、類似性マッチング手段93内に情報を入力し処理することができる。また、ビームスプリッタ717の透過方向で空間光変調器607と対応する位置に設置された2次元ディテクター605で特徴ベクトル変換伝送装置22で選択伝送された情報を検出し、電流電圧変換増幅回路606により電圧値に変換し、さらに、転送部9320により重みベクトル更新表示手段92に伝送し、重みベクトルの情報を空間光変調器に表示するためのメモリー9213、コントローラー9214、ドライバー9215によって、第4実施形態と同様の機能を達成している。これ以外の部分は全て第4実施形態と同一に構成しており作用も同じなので、説明は省略する。
【0136】
以上の構成により、本実施形態では、上記のような特徴ベクトル変換伝送装置により得られる精度の高い特徴ベクトルを高速に伝送し、認識分類手段で処理できるようになったので、本発明の目的にかない、かつ、より高速に精度良く認識や分類を行う競合学習型の認識分類装置を提供できるようになった。
【0137】
〔第7実施形態〕
図24に基づいて第7実施形態を示す。ここでは、特徴ベクトル変換装置としては、第3実施形態のもの(図16)を用た。また、特徴ベクトル変換伝送装置は、特徴ベクトル検出手段6に、撮像素子608としてここではCCDカメラと、それにより検出されたデータをコンピュータ609に取り込むためのAD変換器付きのメモリーであるフレームメモリ610より構成し、これまでの実施形態と比較すれば多少時間がかかるが、現状で最も実現が容易な構成とした。さらに、認識分類手段9にも、これまでの実施形態で用いた構成よりより簡単な構成のものを用いた。
【0138】
より具体的には、特徴ベクトル変換装置で変換された情報を、特徴変換面TにCCDカメラ608を配置し、一度に検出する。なお、ここで用いるCCDカメラ608は、本体がディテクター面より大きく、このままレンズアレイ403(図16)の後方に配置すると、レンズアレイ210’とレンズアレイ403を離して配置しなければならなくなり、特徴ベクトル変換装置の光学系の負担が大きくなる。そこで、レンズアレイ403の後方にミラー611を配置し、このミラー611で光束を折り曲げ、CCDカメラ608を図24のように特徴ベクトル変換装置の光学系と干渉しないように配置した。この検出された複数の特徴ベクトルの情報は、CCDカメラ608からフレームメモリ610に伝送され、そのフレームメモリ610上に蓄えられる。特徴ベクトル選択手段7では、このフレームメモリ610に蓄えられた複数の特徴ベクトルの情報から、1つの多重化部分に対応するベクトル毎に認識判断する領域の成分を選択し、その領域に含まれる成分の平均値を求め、さらにこのデータをコンピュータ609上のメモリに蓄積する。この特徴ベクトル選択手段7の部分は、本実施形態では、コンピュータ上のソフトウェアを用いて行っている。この特徴ベクトル選択手段7によりコンピュータのメモリー上に蓄えられている認識判断する領域の成分に関する特徴ベクトルは、同様にソフトウエアで取り出され、特徴ベクトル伝送手段8であるインターフェイス9335により、類似度マッチング手段93のLEDアレイ9330のドライバー9336に送られる。
【0139】
次に、認識分類手段9では、特徴ベクトル伝送手段8から送られてきた認識判断する領域の特徴ベクトル情報に比例するように、類似度マッチング手段93のドライバー9336をコントロールすることによりLEDアレイ9330を発光させ、その情報を系内に入力する。この類似度マッチング手段93は、特徴ベクトル伝送手段8から送られてきた認識判断する領域の特徴ベクトルの次元数(成分数)と同じ数のLEDを2次元に配列したLEDアレイ9330と、重みベクトルmklの値を透過率の値として与えるためのマスクを有するマスクアレイ9331としての電気アドレス型で透過タイプの液晶製の空間光変調器と、マスクアレイの各々のマスクが共通の結像面で重なり合って結像するように各マスクに対応させて配置されたレンズよりなるレンズアレイ9332と、結像レンズ9333と、その結像面に配置されたフォトディテクターアレイ9334とより構成される。なお、このレンズアレイ9332の各レンズの光軸と結像レンズ9333の光軸は平行となるように、さらに、レンズアレイ9332の各レンズの前側焦点面がマスクアレイ9331と、また結像レンズ9333の後側焦点面がフォトディテクターアレイ9334を配する上記結像面にそれぞれ一致するように、各レンズを配置してある。
【0140】
類似度マッチング手段93では、これまでの実施形態と同様に、(10)式に示す入力ベクトルと重みベクトルの間の内積演算を行うが、上述の構成により内積演算が計算される過程を図25を用いて説明する。ここでは、説明を簡単にするために、(10)式において、N=3、M=2とする。この光学系を模式的に示すと図25(a)のようになる。LEDアレイ9330は、図25(b)のように、特徴ベクトル検出伝送装置22より送られてくる特徴ベクトルXij(Xij;i=1〜3,j=1〜3:何れも整数)の成分数3×3と同数のLEDで構成され、個々のLEDは特徴ベクトルXijの値に比例した量の光量をそれぞれ発光する。それぞれのLEDから発光した光束は、重みベクトルmklijを表すマスクアレイ9331中の対応するマスクを照射する。ここで、図25(c)に示すように、マスクアレイ9331は、mklijの中でi、jの値が等しい成分を配列したベクトルを1つのマスクとして配列してある。つまり、ここでは、1つのマスクの成分数は2×2となり、マスクアレイ9331中のマスクの個数はLEDと同等の3×3となる。さらに、Xijを表す個々のLEDが照射する領域は、マスクアレイ9331中の同じi,jを表すマスクの領域とする。具体的には、図25(b)において、斜線で示すX11に対して発光するLEDは、図25(c)中の斜線部で示した領域のみを照射して、そのマスクを読み出す。次に、Xijに対応した個々のLEDで読み出されたそれぞれのマスクは、レンズアレイ9332の対応するレンズと結像レンズ9333により、フォトディテクターアレイ9334の受光面で2×2の領域に重なり合って結像される。1例として、図25(d)に示すk=1,l=1の領域では、図25(c)に示す各マスクパターンでのk=1,l=1の領域(図25(c)では太い破線でくくられた領域)からの光束が入射する。このm11ij{i=1〜3,j=1〜3:何れも整数}は、それぞれi,jが等しいXijの情報を乗せ発光するLEDによって読み出されるので、k=1,l=1の領域に集光する光束は、結果として、
Figure 0003776500
の計算を行ったことになる。これは、全てのk,lについて同じことが言えるために、(10)式のベクトルマトリックスの内積演算を行っていることが分かる。
【0141】
このようにして、類似度マッチング手段93により特徴ベクトルの内積演算が行われた結果は、これまでの実施形態と同様に、勝利決定ベクトル決定手段94、重みベクトル更新表示手段92と経ることで自己組織化競合学習が行われ、同様にして認識分類が行われる。
【0142】
以上の構成により、本実施形態では、上記のような特徴ベクトル検出伝送装置により得られる精度の高い特徴ベクトルを高速に伝送し、認識分類手段で処理できるようになったので、本発明の目的にかない、かつ、より高速に精度良く認識や分類を行う競合学習型の認識分類装置を提供できるようになった。
【0143】
さらに、ここで、図26に示すように、撮像素子として、特徴ベクトル検出手段6で撮像される画像の中で任意のアドレスを指定して読み出すことが可能な特殊な撮像素子を用いることで、より高速で簡単な装置を実現することが可能になる。この場合、撮像された画像データの中で、x方向アドレス指定手段720、y方向アドレス指定手段721を用いて任意の画像毎あるいは小領域毎に、必要なアドレスを指定しそのデータを読み取り、その結果を次段の認識分類装置23へ入力することができる。このような方式を用いれば、コンパクトで簡単な認識分類装置23を得ることが可能である。なお、現状でこのような読み出しが可能な撮像素子としては、CMDやCMOS型のディテクターアレイがある。
【0144】
以上の実施形態では、空間光変調器として、入手の容易な液晶製のものを用いたが、電気光学効果や磁気光学効果を利用する結晶製のもの、有機化合物製のもの等、他のものでももちろんよい。
【0145】
また、以上の実施形態における特徴ベクトル変換装置では、入力ベクトルを画像として説明したが、これに限定される訳ではなく、マイクロフォンや濃度センサー、流量センサー等、他のセンサー等を用いて得たもの、あるいは、コンピュータ内で計算させたデータ等でも何でもよい。また、もちろんフィルターアレイやレンズアレイ等の配列等は上述の実施形態に限定されず、任意に設定できる。
【0146】
【発明の効果】
以上の説明から明らかなように、本発明によると、多重化された処理対象ベクトルの空間周波数成分を欠落させること等がなく、入力された情報を高速かつ高精度に有効な特徴ベクトルに変換するために必要な多重化光学系、及び、この多重化光学系を用いた特徴ベクトル変換装置、及び、この特徴ベクトル変換装置で得られた特徴ベクトルを後段の認識分類手段に効果的に送るための特徴ベクトル検出伝送装置が得られ、さらに、複雑で大容量の入力情報を任意の成分もしくは複数の成分からなる任意の小領域毎に高速・高精度に認識や分類する認識分類装置が得られる。
【図面の簡単な説明】
【図1】本発明の構成の概念図である。
【図2】本発明で用いる同時並列にフーリエ変換及び逆フーリエ変換を行う多重化光学系の1つの形式の断面図である。
【図3】本発明で用いる同時並列にフーリエ変換及び逆フーリエ変換を行う多重化光学系のもう1つの形式の断面図である。
【図4】図2の光学系の一部を拡大して示す図である。
【図5】図3の光学系の一部を模式的に示す図である。
【図6】図3の光学系の一部光軸を含む断面図である。
【図7】本発明による特徴ベクトル検出伝送装置中での処理を説明するための図である。
【図8】本発明の第1実施形態の特徴ベクトル変換装置の断面図である。
【図9】Gaborフィルターの概形を示す図である。
【図10】第1実施形態で用いるフィルターの具体例を示す図である。
【図11】第1実施形態で用いるフィルターアレイを模式的に示す図である。
【図12】第1実施形態の変形例の特徴ベクトル変換装置の断面図である。
【図13】第1実施形態の別の変形例の特徴ベクトル変換装置の断面図である。
【図14】本発明の第2実施形態の特徴ベクトル変換装置の断面図である。
【図15】第2実施形態の具体例のレンズアレイ、第2レンズ、変換像の配置関係を示す図である。
【図16】本発明の第3実施形態の特徴ベクトル変換装置の断面図である。
【図17】第3実施形態の具体例のレンズアレイ、第1レンズ、変換像の配置関係を示す図である。
【図18】本発明の第4実施形態の認識分類装置の断面図である。
【図19】自己組織化特徴マップの概略を説明するための図である。
【図20】第4実施形態で用いた内積演算を説明するための図である。
【図21】第4実施形態の変形例の要部の断面図である。
【図22】本発明の第5実施形態の認識分類装置の断面図である。
【図23】本発明の第6実施形態の認識分類装置の断面図である。
【図24】本発明の第7実施形態の認識分類装置の断面図である。
【図25】第7実施形態において内積演算が計算される過程を説明するための図である。
【図26】アドレスを指定して読み出すことが可能な撮像素子の構成を説明するための図である。
【図27】第1の従来例を説明するための図である。
【図28】第2の従来例を説明するための図である。
【符号の説明】
F…フーリエ変換面
T…特徴変換面
R…入力面
O…物体
ML…マップ層
IL…入力層
1…対象ベクトル入力表示手段
2…対象ベクトル多重化手段
3…多重フーリエ変換手段
4…多重逆フーリエ変換手段
5…特徴変換手段
6…特徴ベクトル検出手段
7…特徴ベクトル選択手段
8…特徴ベクトル伝送手段
9…認識分類手段
10、11…多重化部分
13…結像レンズ
21…多重化光学系
22…特徴ベクトル検出伝送装置
23…認識分類装置
30…フーリエ変換レンズ
40…逆フーリエ変換レンズ(レンズアレイ)
51…表示領域
54…光軸
55…光軸から最も遠い逆フーリエ変換用のレンズ
92…重みベクトル更新表示手段
93…類似性マッチング手段
94…勝利ベクトル決定手段
101…インコヒーレント光源
102a…レンズ
102b…ミラー
103…波長フィルター
104…ミラー
105…インコヒーレント光束
106…撮像素子
107…空間光変調器
108…コントローラー
109…ドライバー
110…インコヒーレント光束
111…ビームスプリッター
112…空間光変調器
121…撮像素子
122…空間光変調器
123…コントローラー
124…ドライバー
130…インコヒーレント光束
131…撮像素子
132…空間光変調器
133…コントローラー
134…ドライバー
135…空間光変調器
136…結像レンズ
140…インコヒーレント光源
141…空間光変調器
142…撮像素子
143…コントローラー
144…ドライバー
201…結像レンズ
202…レンズアレイ
203…空間光変調器
205…コヒーレント光束
206…レンズアレイ
207…第1レンズ
208…平面
210…光軸
210’…レンズアレイ
211…第1レンズ
212…面
213…コヒーレント光
214…光軸
215…フィルターアレイ
301…コヒーレント光源
302…ミラー
303a…絞り込みレンズ
303b…スペイシャルフィルター
303c…コリメータレンズ
303…ビームエキスパンダ
304…コヒーレント光束
305…ビームスプリッター
306…レンズアレイ
310…第2レンズ
401…レンズアレイ
402…レンズアレイ
403…レンズアレイ
501…フィルターアレイ
502…フィルターアレイ
503…フィルターアレイ
601…フォトディテクターアレイ
602…電流電圧変換増幅回路
603…フォトディテクターアレイ
604…電流電圧変換増幅回路
605…2次元ディテクター
606…電流電圧変換増幅回路
607…空間光変調器
608…撮像素子
609…コンピュータ
610…フレームメモリ
611…ミラー
701…シャッターアレイ
702…コントローラー
703…ドライバー
704…レンズ
705…縮小光学系
707…シャッターアレイ
708…コントローラー
709…ドライバー
710…レンズアレイ
711…シャッターアレイ
712…コントローラー
713…ドライバー
714…プリズムアレイ
715…レンズ
716…ミラー
717…ビームスプリッター
720…x方向アドレス指定手段
721…y方向アドレス指定手段
801…インターフェイス
9108…コヒーレント光束
9201…転送部
9202…メモリー
9203…コントローラー
9204…ドライバー
9213…メモリー
9214…コントローラー
9215…ドライバー
9300…LEDドライバー
9301…LEDアレイ
9302…結像レンズ
9304…レンズアレイ
9305…多重結像光学系
9306…空間光変調器
9307…レンズアレイ
9308…ディテクターアレイ
9310…空間光変調器
9311…空間光変調器
9312…偏光子
9313…検光子
9314…閾値回路
9315…ドライバー
9316…コントローラー
9320…転送部
9330…LEDアレイ
9331…マスクアレイ
9332…レンズアレイ
9333…結像レンズ
9334…フォトディテクターアレイ
9335…インターフェイス
9336…ドライバー

Claims (6)

  1. 多重化された処理対象となるベクトル情報を並列にフーリエ変換するための多重化光学系において、
    少なくともこの多重化光学系がフーリエ変換を並列に行うフーリエ変換レンズを含み、
    フーリエ変換レンズの光軸を含む任意の断面内で、多重化された処理対象となるベクトル情報の各多重化部分の成分数をkR 、フーリエ変換面で得られる隣接する各多重化部分のフーリエ変換情報の0次部分のピッチをp、各多重化部分のそれぞれの有効表示サイズをa、波長をλ、フーリエ変換レンズの焦点距離をfF としたときに、
    R λfF /a<p ・・・(1)
    の関係を満足することを特徴とする多重化光学系。
  2. 多重化された処理対象となるベクトル情報を並列にフーリエ変換し、さらに並列に逆フーリエ変換するための多重化光学系において、
    少なくともこの光学系が逆フーリエ変換を並列に行うレンズアレイを含み、
    レンズアレイの光軸を含む任意の断面内で、この逆フーリエ変換用のレンズアレイのピッチをpt 、この光学系で変換された情報を得る特徴変換面上での変換情報のサンプリングピッチをpd 、一つの多重化部分に対応する特徴変換面上での変換情報の成分数をkd としたときに、
    d d ≦pt ・・・(2)
    の関係を満足することを特徴とする多重化光学系。
  3. 処理対象となるベクトル情報を多重化し、多重化された処理対象となるベクトル情報を並列にフーリエ変換し、さらに並列に逆フーリエ変換するための多重光学系において、
    少なくとも処理対象となる対象ベクトルを種々の方向の平行光束に乗せ多重化するための対象ベクトル多重化手段と、
    この多重化された対象ベクトルに並列同時にフーリエ変換するための大口径レンズからなる多重フーリエ変換手段と、
    多重フーリエ変換手段によってフーリエ変換された情報を並列同時に逆フーリエ変換するための逆フーリエ変換用のレンズアレイからなる多重逆フーリエ変換手段とで構成され、
    大口径レンズの焦点距離をfF 、大口径レンズ全体の有効径をrF 、逆フーリエ変換用のレンズアレイを構成するレンズの焦点距離をfT 、各多重化領域に対応した逆フーリエ変換用のレンズアレイから出射されて特徴変換面上に到達した光束の幅をwT 、大口径レンズの中心を通る光軸から最も遠い逆フーリエ変換用のレンズアレイ中のレンズの中心までの距離をh、フーリエ変換面上に設置する特徴変換手段としてのフィルターで必要とする最大の空間周波数をαmax 、波長をλとしたときに、
    (rF −2αmax λfF )/fF −wT /fT ≧2h/fF ・・・(3)
    の関係を満足することを特徴とする多重化光学系。
  4. 処理対象となるベクトル情報を系内に入力するための対象ベクトル入力表示手段と、この入力された処理対象となるベクトル情報を多重化するための対象ベクトル多重化手段と、この多重化された処理対象となるベクトル情報からその多重度分だけ並列的にフーリエ変換を行う多重フーリエ変換手段と、この多重フーリエ変換手段によりフーリエ変換された画像をその多重度分だけ並列的に逆フーリエ変換するための多重度分のレンズからなるレンズアレイを有する多重逆フーリエ変換手段とを備え、さらに、多重フーリエ変換手段によりフーリエ変換されたそれぞれの画像を並列的に特徴変換するための特徴変換手段をフーリエ変換面に配し、最終的に変換された特徴の含まれた画像を特徴変換面に出力する特徴ベクトル変換装置において、請求項1から3の何れか1項記載の多重化光学系を構成要素として含むことを特徴とする特徴ベクトル変換装置。
  5. 請求項4記載の特徴ベクトル変換装置から得られる個々の特徴ベクトルに対して、各多重化部分毎に、その中の任意に選択された領域の特徴ベクトルを取り出す特徴ベクトル選択手段と、特徴ベクトル変換装置から得られる特徴ベクトル又は特徴ベクトル選択手段から得られる特徴ベクトルを取得する特徴ベクトル検出手段と、特徴ベクトル検出手段で得られたデータを次段に伝送するための特徴ベクトル伝送手段とを備え、特徴ベクトル変換装置より得られる情報を認識、分類に有効な情報に変換し、次段の処理に伝送する特徴ベクトル検出伝送装置。
  6. 特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、認識分類手段から構成される認識分類装置において、特徴ベクトル変換装置として請求項4記載のものを用い、また、特徴ベクトル検出伝送装置として請求項5記載のものを用いていることを特徴とする認識分類装置。
JP07001696A 1996-03-26 1996-03-26 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置 Expired - Fee Related JP3776500B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP07001696A JP3776500B2 (ja) 1996-03-26 1996-03-26 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置
US08/815,945 US5963667A (en) 1996-03-26 1997-03-13 Multiplexing optical system and feature vector transformation apparatus using the same; feature vector detecting and transmitting apparatus; and recognition and classification system using these apparatuses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07001696A JP3776500B2 (ja) 1996-03-26 1996-03-26 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置

Publications (2)

Publication Number Publication Date
JPH09258287A JPH09258287A (ja) 1997-10-03
JP3776500B2 true JP3776500B2 (ja) 2006-05-17

Family

ID=13419401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07001696A Expired - Fee Related JP3776500B2 (ja) 1996-03-26 1996-03-26 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置

Country Status (2)

Country Link
US (1) US5963667A (ja)
JP (1) JP3776500B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE513728C2 (sv) * 1999-03-26 2000-10-30 Goesta Granlund Förfarande och system för artificiellt seende
US7405692B2 (en) * 2001-03-16 2008-07-29 Battelle Memorial Institute Detecting concealed objects at a checkpoint
US7365672B2 (en) * 2001-03-16 2008-04-29 Battelle Memorial Institute Detection of a concealed object
US6876322B2 (en) * 2003-06-26 2005-04-05 Battelle Memorial Institute Concealed object detection
GB2379347A (en) * 2001-08-30 2003-03-05 Holographic Imaging Llc Replay optics for holographic displays
US8170366B2 (en) * 2003-11-03 2012-05-01 L-3 Communications Corporation Image processing using optically transformed light
DE10352040A1 (de) * 2003-11-07 2005-07-21 Carl Zeiss Sms Gmbh In Lage, Form und/oder den optischen Eigenschaften veränderbare Blenden-und/oder Filteranordnung für optische Geräte, insbesondere Mikroskope
US20060056729A1 (en) * 2004-09-15 2006-03-16 Hillis W D Fourier domain camera
US7253766B2 (en) * 2004-09-24 2007-08-07 Battelle Memorial Institute Three-dimensional surface/contour processing based on electromagnetic radiation interrogation
JP4768451B2 (ja) * 2006-01-18 2011-09-07 株式会社リコー 画像処理装置、画像形成装置、プログラムおよび画像処理方法
US7844081B2 (en) * 2006-05-15 2010-11-30 Battelle Memorial Institute Imaging systems and methods for obtaining and using biometric information
DE102009009571B4 (de) * 2009-02-19 2019-05-09 Airbus Defence and Space GmbH Verfahren zur Identifizierung und Klassifizierung eines Objekts
CN102597845B (zh) * 2009-11-02 2016-06-29 奥林巴斯株式会社 分束器装置、光源装置和扫描观测装置
CN102054272B (zh) * 2010-11-03 2012-06-27 浙江大学 一种基于联合分数傅里叶变换的位移矢量探测方法及装置
KR101300733B1 (ko) * 2012-01-12 2013-08-27 연세대학교 산학협력단 다중 병렬 공초점 시스템
JP6673226B2 (ja) * 2015-02-06 2020-03-25 日本電気株式会社 特徴変換装置、認識装置、特徴変換方法及びコンピュータ読み取り可能記録媒体
JP6704574B2 (ja) * 2016-04-27 2020-06-03 株式会社メガチップス 状態判定装置、プログラムおよび集積回路
EP3685320A4 (en) * 2017-09-20 2021-06-16 Look Dynamics, Inc. PHOTONIC NEURAL NETWORK SYSTEM
WO2019119047A1 (en) * 2017-12-21 2019-06-27 Tiliter Pty Ltd A retail checkout terminal fresh produce identification system
KR102561101B1 (ko) * 2018-02-19 2023-07-28 삼성전자주식회사 확장된 시야창을 제공하는 홀로그래픽 디스플레이 장치
US10986328B2 (en) * 2018-06-08 2021-04-20 Dentsply Sirona Inc. Device, method and system for generating dynamic projection patterns in a camera
US10753734B2 (en) * 2018-06-08 2020-08-25 Dentsply Sirona Inc. Device, method and system for generating dynamic projection patterns in a confocal camera
US10831023B2 (en) * 2018-09-24 2020-11-10 International Business Machines Corporation Virtual reality-based viewing system to prevent myopia with variable focal-length and magnification

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4846552A (en) * 1986-04-16 1989-07-11 The United States Of America As Represented By The Secretary Of The Air Force Method of fabricating high efficiency binary planar optical elements
JP2553614B2 (ja) * 1988-03-08 1996-11-13 日本板硝子株式会社 コヒーレント光学装置
US5317651A (en) * 1988-06-24 1994-05-31 Thomson-Csf Non-linear and adaptive signal-processing device
US5369511A (en) * 1989-08-21 1994-11-29 Amos; Carl R. Methods of and apparatus for manipulating electromagnetic phenomenon
JPH03144814A (ja) * 1989-10-31 1991-06-20 Nippon Sheet Glass Co Ltd コヒーレント光学装置
JPH03148623A (ja) * 1989-11-06 1991-06-25 Nippon Sheet Glass Co Ltd コヒーレント光学装置
US5416616A (en) * 1990-04-06 1995-05-16 University Of Southern California Incoherent/coherent readout of double angularly multiplexed volume holographic optical elements
JP3295104B2 (ja) * 1991-06-03 2002-06-24 住友大阪セメント株式会社 光学的相関出力の検出方法
US5371808A (en) * 1992-05-14 1994-12-06 The United States Of America As Represented By The Secretary Of Commerce Automated recognition of characters using optical filtering with maximum uncertainty - minimum variance (MUMV) functions
US5454047A (en) * 1992-05-15 1995-09-26 Hughes Aircraft Company Optical method and system for generating expansion coefficients for an image processing function
US5481269A (en) * 1994-05-27 1996-01-02 Westinghouse Electric Corp. General frame wavelet classifier

Also Published As

Publication number Publication date
US5963667A (en) 1999-10-05
JPH09258287A (ja) 1997-10-03

Similar Documents

Publication Publication Date Title
JP3776500B2 (ja) 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置
US5724447A (en) Optical transform system for three-dimensional object recognition
US10983478B2 (en) Complex defect diffraction model and method for defect inspection of transparent substrate
EP1123491B1 (en) Wavefront sensing device
US20080204744A1 (en) High Speed, Optically-Multiplexed, Hyperspectral Imagers and Methods Thereof
CN101288013A (zh) 基于任务的成像系统
US5754693A (en) Method of optical recognition and classification of patterns
US6314210B1 (en) Multiplexing optical system
US5343415A (en) Logarithmic polar coordinate transforming method, vision recognizing method, and optical information processing apparatus
CN113746999A (zh) 成像方法、成像装置、光学成像系统及车辆
JP2001052175A (ja) 画像検索装置
JPH09185713A (ja) 特徴ベクトル抽出装置及びこれを用いた情報処理装置
EP0499469A2 (en) Artificial neural network pattern recognition system
JP3096717B2 (ja) ニュ−ラルネットワ−ク
CN112634253A (zh) 基于深度学习的全息粒子检测方法
JP3096819B2 (ja) ニュ−ラルネットワ−ク
JP3583484B2 (ja) 情報処理装置
JP3099203B2 (ja) 光学的パタ−ン認識分類装置
JP3094070B2 (ja) 光学的パターン認識分類装置
JP3279605B2 (ja) パターン識別方法
JPH06259157A (ja) 自己組織化パターン学習システム
Aslani et al. Averaging approaches for highly accurate image-based edge localization
EP0473121B1 (en) Logarithmic polar coordinate transforming method, vision recognizing method, and optical information processing apparatus
JP3295104B2 (ja) 光学的相関出力の検出方法
JP2942386B2 (ja) 光認識装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060223

LAPS Cancellation because of no payment of annual fees