JP2809954B2 - 画像感知および処理のための装置および方法 - Google Patents
画像感知および処理のための装置および方法Info
- Publication number
- JP2809954B2 JP2809954B2 JP4352395A JP35239592A JP2809954B2 JP 2809954 B2 JP2809954 B2 JP 2809954B2 JP 4352395 A JP4352395 A JP 4352395A JP 35239592 A JP35239592 A JP 35239592A JP 2809954 B2 JP2809954 B2 JP 2809954B2
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- image
- processing
- sensitivity
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
度可変光検出素子、VSPD、光検出器などと称する)
のアレイ、制御回路および神経ネットワークを用いた画
像感知および処理のための装置および方法に関するもの
である。
置を示すもので、CCDカメラ520、フレームバッフ
ァ521、コンピュータ522および任意に専用ハード
ウエア523から構成されている。
に網膜の動作原理を模倣しようとしている。たとえば、
1991年5月、サイエンティフィックアメリカン(S
cientific American)、40頁ない
し46頁、エム・エー・マホウォルド(Mahowal
d)氏およびシー・ミード(Mead)氏による、「シ
リコン網膜」、エム・エー・マホウォルド(Mahow
ald)氏およびシー・ミード(Mead)氏による、
「シリコン網膜、アナログVLSIおよび神経システ
ム」(アディソン・ウェズレイ・リーディング(Add
ison Wesley,Reading),MA、1
989年)第15章を参照。
においては、CCDカメラ520は、システムの入力画
像を感知する。ついで、画像は、フレームバッファ52
1へ連続的に転送される。フレームバッファ521の記
憶画像情報は、画像がコンピュータ522または専用ハ
ードウエア523により、もしくは双方により処理され
る。
いくつかの特性を実現しようとする。まず第1に、対数
応答曲線を有する光検出器が使用される。第2に、検出
器の近隣結合を実現するために、抵抗ネットワークが使
用される。第3に、調子の合った動きが生物学上の網膜
のものと類似している輝度適合機構が用いられる。
哲男著,オーム社,1980年)の193ページに示さ
れたCCDイメージセンサの構造図であり、このCCD
イメージセンサーは画像処理装置に適するもので、図に
おいて、531は受光エレメント、532は非照射領域
のCCDレジスタ、533は出力レジスタ、534は出
力用のフローティング拡散領域、535は出力端子、5
36は出力用のフローティング拡散領域534をリセッ
トする端子、537はリセット時の放電端子、538は
クロックA、539はクロックBである。
に構成され、垂直に並んだライン状の受光エレメント5
31と非照射領域のCCDレジスタ532の平行列から
成っており、それぞれの垂直列のCCDレジスタ532
からの出力は、全て並列に一つの出力レジスタ533に
導かれる。各受光エレメント531において、光の像は
光透過性のポリSiゲートを持ったMOSキャパシタに
よって検出される。通常のTVモードにおいては、各フ
ィールドに対し1/60秒の光集積時間を持ち、隣合っ
た二つの受光エレメントからの出力が一緒になって、一
つの信号電荷として垂直列のレジスタ532の一組のエ
レメントに転送される。その後全体の光の像の信号電荷
はクロックAにて転送され、水平列の出力レジスタ53
3に並列に入り、クロックAよりも速いクロックBに
て、次の信号が入ってくるまでに出力用のフローティン
グ拡散領域534まで転送され、出力端子535からシ
リアルに読み出される。以上のようにして図53に示さ
れるCCDイメージセンサーは、受光部に投影された画
像を読み出すことが出来る。
ニクス」,第25巻,第5号,第896〜903頁(1
989年)(C.C.Sun,”Quantum El
ectronics”,Vol.25,No.5,p
p.896−903,(1989))に示された従来の
感度可変受光素子の断面図であり、この感度可変受光素
子は画像処理装置に適するもので、図において、541
は透明なポリシリコン電極、542は酸化シリコン絶縁
膜、543は金属製の出力電極、544はP+ 型シリコ
ン層、545はn型シリコン基板、546は空乏層であ
る。
変受光素子は、このように、ポリシリコン電極541−
酸化シリコン絶縁膜542−n型シリコン基板545の
積層により、MIS(Metal−Insulator
−Semiconductor)構造となっている。よ
って、ポリシリコン電極541に負のバイアス電圧VG
を印加した場合、酸化シリコン絶縁膜542とn型シリ
コン基板545の界面近傍に空乏層546が生ずる。
に対して、垂直方向から、酸化シリコン絶縁膜542→
ポリシリコン電極541→酸化シリコン絶縁膜542の
順に透過して空乏層546に入射する。そして、入射光
の波長がn型シリコン基板545を構成する半導体の吸
収端の波長より短い場合は、空乏層546に光電流Iph
(電子−ホール対)が発生する。発生した電子は、p型
半導体(p+ 型シリコン層544)とn型半導体(n型
シリコン基板545)のp−n接合に集められ、出力電
極3から取り出される。
は空乏層546の厚さに比例し空乏層546の厚さが増
加するに従って光電流Iphが増加する。ところで、空乏
層546の厚さは、ポリシリコン電極541に加えるバ
イアス電圧VG の大きさに比例する。従って、この図に
示される素子は、ポリシリコン電極541に加えるバイ
アス電圧VG を調整することにより、素子に流れる光電
流Iphの大きさ、すなわち入射光に対する感度を可変に
することができる。
(工業調査会,1992年発行)P.154に示された
従来の人工網膜素子の構成を示す構成図である。この人
工網膜素子は画像前処理用の素子として用いられ、入力
画像の特徴抽出、例えば、動体の検出などに適するもの
で、図において、551は平面波のレーザ光を発するレ
ーザ、552は光を反射および透過するハーフミラー、
553は光を反射するミラー、554は波面反射機能を
有する位相共役鏡、555は物体の映像を出力するテレ
ビカメラ、556は光の位相を変調する液晶、557は
出力スクリーンである。
例えば液晶テレビジョンから偏光子および検出子を取り
除いたものであり、テレビカメラ555からの映像信号
を表示する。レーザ551からの平面波のレーザ光は、
液晶556を通り、位相共役鏡554に入る。そして、
位相共役鏡554の波面反転機能によって逆の位相の光
波が反射される。反射光が再び液晶556を通過するこ
とにより、波面が補償され、静止画像に対する出力光に
液晶の影響は現れない。すなわち、その出力光は平面波
となる。しかし、位相共役鏡554の応答時間は通常ミ
リ秒〜秒オーダであるため、動いている画像に対しては
波面が補償されず、動画像については液晶556の影響
が残存する。従って、出力スクリーン557には、動画
像のみが現れる。
構成を示す構成図である。図において、561は画像の
撮像を行うCCDカメラ、562は撮像された画像の前
処理を行う前処理部、563は画像を表示する処理画像
表示用の計算機、564はCCDカメラ561と前処理
部562との間の信号を伝える信号線、565は前処理
部562と計算機563との間の信号を伝える信号線で
ある。
リ、567は前処理部562と画像メモリ566との間
の信号を伝える信号線であり、568は最初に入力され
る画像パターン、569は次に入力される画像パターン
を示す。
561が撮像した画像パターンは、光強度に応じたCC
Dの各画素出力電圧値として、時系列的に出力される。
この出力値列は、前処理部562によって画像メモリ5
66に蓄積される。同様に、次の画像パターン569に
関する出力値列も画像メモリ566に蓄積される。
他的論理和(EXOR)を得たい場合には、前処理部5
62は、画像メモリ566から2つの画像パターン56
8,569の信号を読み出し、各画素についてEXOR
演算を行い、その結果を計算機563に出力する。計算
機563は、前処理部562の演算結果を表示する。
的消去可能プログラマブルROM(EEPROM)の構
造を示す断面図である。図において、570はソース電
極、571はドレイン電極、572はP型シリコン基板
573上に形成されたn型ソース領域、574はP型シ
リコン基板573上に形成されたn型ドレイン領域、5
75は数10nm程度のシリコン酸化膜、576は電荷
蓄積用のポリシリコンフローティングゲート、577は
コントロールゲート電極である。
コントロールゲート電極577とドレイン電極571と
の間に正の高電圧が加えられる。すると、ドレインにホ
ットエレクトロンが発生し、このホットエレクトロン
は、ドレイン側からシリコン酸化膜575を通してポリ
シリコンフローティングゲート571に注入される。こ
の結果、コントロールゲート電極577から見たしきい
値電圧が高い状態(「0」状態)になる。ゲート電圧が
しきい値以下の時、ドレイン電流は流れにくくなる。
er−Nordheim)トンネリングで電子が引き抜
かれ、しきい値電圧の低い状態(「1」状態)とされ
る。また、読み出し時には、コントロールゲート電極5
77に電圧を加えることによりセルが選択され、ホット
エレクトロンを発生させないようにドレイン電極571
に充分低い電圧が印加され、セルのしきい値電圧の差に
応じて「1」または「0」が読み出される。
処理のための装置は以上のように構成されているので、
システムの複雑さ、大きさおよび価格と、直列データ処
理がボトルネックとなるためにもたらされる低いフレー
ム速度と、システムが画像のただ小さい部分のみを感知
し処理することを可能にする注意点集中機構の存在しな
いなどの問題点があった。また、シリコン網膜を用いる
方法は、遅い応答時間と、画像に対し行うことのできる
処理の種類の少なさと、処理の種類が固定されていると
いう問題点があった。
成されているので、機能としては画像をそのまま検出す
るだけで、画像処理を行うためには専用回路或いはコン
ピュータを後ろに接続する必要があった。そのため実時
間処理が可能でかつ小型の装置を得ることは困難であっ
た。さらに、受光エレメントからの出力は多段の転送に
よって出力端子まで送られるため、原理的に読み出しに
は多くのクロック数を必要とし、高速な画像処理には適
さないという問題点があった。
成されているので、光電流Iphの流れる向きは常に一定
で、感度が可変なのはこの光電流Iphの向きに対応する
正の向きにおいてだけである。このため、光画像処理シ
ステムおよび光コンピューティングへの適用を行う場
合、負の感度または負の重みをもたせることができない
という問題点があった。
れているので、光源としてレーザ21が必要とされ、ま
た、液晶556や高価な位相共役鏡554も必要とされ
るので、寸法や消費電力が大きくなり、かつ、価格が高
価になるという問題点があった。
成されているので、画像の処理を行うには、画像情報を
一旦画像メモリ566に蓄積し、その後逐次画像情報を
前処理部562に送り込み、画素単位に処理を行わなけ
ればならず、画素数が多くなると処理時間が長くなると
いう問題点があった。
されているので、キャリア注入を効果よく行うためにシ
リコン酸化膜575をきわめて薄く均一に形成しなけれ
ばならず、製造時に歩どまりが悪くなったり、素子構造
が複雑になって製造工程が複雑になるなどの問題点があ
った。
簡易な構成、小規模かつ低価格を有し、かつ画像処理の
種類は制限されているが広い選択を行える、高いフレー
ム速度、注目焦点を形成するための能力、および高いデ
ータスループットおよび神経ネットワークとの持続可能
性を有する画像感知および処理のための装置を得ること
を目的とする。
は、様々な画像情報を高速に処理する画像感知および処
理のための方法を得ることを目的とする。
る画像感知および処理のための装置は、行列状に配置さ
れた受光素子のアレイとの行に感度制御のための電圧を
供給する制御回路と、前記アレイからの電流を処理する
神経ネットワークとを備えるものである。
処理のための装置は、請求項1において制御回路が、ア
ナログ電圧をシフトするシフトレジスタを備えるもので
ある。
処理のための装置は、請求項2においてアナログ電圧シ
フトレジスタが、電荷結合素子を備えるものである。
処理のための装置は、請求項2においてアナログ電圧シ
フトレジスタが、サンプル/ホールド回路の連鎖を備え
るものである。
処理のための装置は、請求項2においてアナログ電圧シ
フトレジスタが、1ビット幅のD/A変換器の組と協働
する1ビット幅のディジタルシフトレジスタを使用して
実現される。
処理のための装置は、請求項2においてアナログ電圧シ
フトレジスタが、l+1PCM符号化アナログ電圧レベ
ルを得るために、長さlの1ビット幅のディジタルシフ
トレジスタの連鎖を使用して実現される。
処理のための装置は、請求項5または6においてディジ
タルシフトレジスタの出力端部は、閉ループ動作モード
を得るために、その入力に接続される。
のための装置は、請求項2ないし6においてシフトレジ
スタはその入力を関数発生器から受取る。
処理のための装置は、請求項1において神経ネットワー
クはリセット可能の積分器を備える。
び処理のための装置は、請求項1においてアレイの各光
検出素子には色フィルタが設けられる。
び処理のための装置は、請求項1においてアレイの1行
おきの受光素子が、行における2つの近接する受光素子
の間の距離の半分に等しい距離シフトされ、受光素子の
六角形状の配置を得るようにされる。
び処理のための装置は、請求項1においてアレイが、そ
の受光素子の一部を除去し、受光素子の六角形状の配置
を有する。
び処理のための装置は請求項11または12において受
光素子が六角形の形状を有する。
び処理のための方法は、制御回路からの制御電圧の要素
(組)は第1の行列を表現し、かつ神経ネットワークは
第2の行列を表現し、受光素子アレイに投影された画像
は第1または第2の行列の乗算されたものが出力される
ようにするものである。
び処理のための方法は、請求項14においてリセット可
能な積分器を備える神経ネットワークを用いて、時間依
存画像の処理を行えるようにするものである。
び処理のための方法は、アレイの各列からの電流出力に
応動する分類器を用いて、前記投影画像が属する類を分
類するものである。
び処理のための方法は、請求項16においてメリット関
数を最適化アルゴリズムに従って処理し、該処理結果に
従って前記制御電圧の値を変化させるものである。
理のための装置は、複数のVSPDが行列状に配列され
た受光素子アレイと、このアレイの行に電圧を供給する
制御回路と、このアレイの列からの電流の処理する神経
ネットワークを備えた構成にしたので、アレイの各行の
感度を制御して1行ずつこのアレイ出力を神経ネットワ
ークで処理しているので、高速に画像情報を処理でき
る。
ば、制御回路はアナログ電圧シフトレジスタを備えた構
成にしたので、電圧ベクトル(制御ベクトル)の要素を
周期的に循環できる。
アナログ電圧シフトレジスタの入力端と出力端とを接続
された構成にしたので、制御回路に記憶されたデータを
用いて任意の数の処理サイクルを得られる。
アナログ電圧シフトレジスタが関数発生装置と接続可能
とされた構成にしたので、1次元または2次元変換が可
能である。
ークは、リセット可能な積分器を備えた構成にしたの
で、さらに時間依存画像情報の処理ができる。
は、色フィルタを備えた構成にしたので、色情報を処理
できる。
おけるVSPDは、六角形状を形成する構成にしたの
で、生物学上の網膜と同様な方法で画像情報を処理でき
る。
らの制御電圧の要素(組)は、第1の行列を構成し、か
つ神経ネットワークは第2の行列を表現する構成にした
ので、受光素子アレイに投影された画像は第1または第
2の行列の乗算されたものが出力され、また第1または
第2の行列は少なくとも1個の注目焦点の形成、水平お
よび/または垂直方向の1次元核の畳み込み、1次元ま
たは2次元の直交および非直交変換の内容に応じて設定
できる。
よび処理のための方法は、リセット可能な積分器を備え
る構成にしたので、時間依存画像の画像処理を行える。
よび処理のための方法は、画像情報の分類を行うメリッ
ト関数に従って処理する構成にしたので、画像情報を分
類し高速なプロセスで処理する。
よび処理のための方法は、画像情報の分類を行うメリッ
ト関数と、該メリット関数を最適化アルゴリズムに従っ
て処理する最適化アルゴリズムを備えた構成にしたの
で、画像情報を高速に最適化したプロセスで処理する。
において、1はVSPDのVSPDアレイ、2は1個の
VSPD、3はVSPDアレイ1上に投影される画像、
4は制御電圧ui をVSPDアレイ1へ供給する制御回
路、5はVSPDアレイの出力電流ji を処理するネッ
トワーク、6は処理された画像を示す。
Dアレイ1である。このVSPD2は、例えばMSM
(金属−半導体−金属)型の光検出器のことであり、そ
の感度sは電圧uを制御ポートに印加することにより負
から正の値に変化させることができ、 s=f(u)……(1) であり、感度sは、VSPD2の出力ポートから接地へ
流れる電流jを、VSPD2上の照射束Φeで割算した
ものとして定義され、 s=j/Φe……(2) である。共通の電圧ui がVSPDアレイ1の第i行の
制御ポートに与えられる。各列においてVSPD2の出
力ポートは接続される。従って、k番目の列の個々のV
SPD2からの電流は、合計され、合計電流jk を結果
として生ずる。
して、VSPD2上の照射束に対して重み付けされた合
計を作る能力を有する。もしi番目の行およびj番目の
列におけるVSPD2を流れる電流が、i番目の行にお
けるVSPD2の感度およびVSPD2の表面上の照射
束Wijに比例していれば、重み付けされた総和は、ベク
トル−マトリックス積、 j=Ws,……(3) として書くことができる。ただし、W=(Wjk)は、V
SPDアレイ1上に投影されている画像3のマトリック
ス表現を示し、sはVSPD2の1行の感度のベクトル
であり、かつjは、VSPD2の列から接地へ流れる出
力電流jk のベクトルである。感度スペクトルsの要素
si は式(1)に特定されるように、制御ベクトルuの
電圧ui により制御することができる。
マトリックス乗算 J=WS,……(5) が実現される。これは、制御回路4を使用して1ライン
ずつマトリックスSをニューロチップに送り込み、かつ
出力ベクトルjをマトリックスJについて時分割多重動
作モードで記録することによって実現される。
経ネットワーク5が出力ベクトルjの処理のために加え
られれば、画像マトリックスWは、任意のマトリックス
で両側から乗算することができ、 V=TWS,……(6) であり、Vは神経ネットワークの出力ベクトル v=Tj=TWs……(7) を時分割多重化された動作モードでライン毎に記録する
マトリックスである。マトリックスVは、処理された画
像6を含む。
クス乗算を使用して行うことができる。例えば、種々の
特徴を抽出して、サインおよびコサイン変換のような直
交変換を行うことができる。いくつかの可能性について
は、この発明の後の実施例において説明しかつ例示す
る。
ある種のリセッタブル積分器付きの神経ネットワーク5
を用いる。
ある。例えば、動き検出を、設定
程式8は、 v(t0)=T0 (W2 −W1 )s0 ……(13) と書換えることができるからである。出力ベクトルv
は、式(10)および(11)において特定された時間
幅における2つの画像マトリックス間の差のみに依存す
る。もし投影された画像に動きがなければ(W1 =W
2 )、システムは応答しない[v(t0 )=0]。
の特定のいくつかの行だけを感度のよいものとし、すべ
ての他の感度をゼロに設定することにより形成すること
ができる。水平方向においては、注目焦点は、関係のな
い出力ベクトルjまたはvの要素を単に無視することに
より形成することができる。多数の注目焦点を同様の方
法で実現でき、かつ任意のシーケンスでその画像の画素
を読出すことさえ可能である。
理することができる制御ベクトルuの数は、VSPD2
および電子回路の性能に依存する。例えば、GaAs金
属−半導体−金属VSPD(MSM−VSPD)は、1
GHz以上の非常に早い速度で動作することができる。
この場合、性能を制限するものは、主に電子回路の速度
である。複雑な電子回路を必要としない実現例は、典型
的には約1MHzで動くことができる。神経ネットワー
ク5がシステムに含まれる場合には、ネットワークのハ
ードウエア化装置の速度もまた制限要因である。現在、
入手可能である神経ネットワークは、約1MHzで動作
することができる[インテル(Intel)、64ニュ
ーロンを有するETANN−チップ参照]。
において、1はVSPDのアレイ、2は1個のVSP
D、3はVSPDアレイ1上に投影される画像、5はV
SPDアレイ1の出力電流ji を処理する神経ネットワ
ーク、6は処理された画像を示す。
セットアップで抽出されるかを示す。画像3はVSPD
アレイ1上に投影される。制御ベクトルuの要素は、感
度ベクトルs=(2,−1,0,…0,−1)を結果と
して生ずる値に設定される。制御ベクトルの要素は、周
期的に循環けた送りされる。方程式5のマトリックス表
現において、ほぼ三重対角線のマトリックスは感度ベク
トルのシーケンスを現わす。
ルの長さ、すなわちVSPD2の行の数を示す。VSP
Dアレイ1の出力は接続マトリックスT=Sを用いて、
神経ネットワーク5により処理される。神経ネットワー
ク5の出力ベクトルvは、処理された画像を1ライン単
位で現わす。処理された画像6は、投影された画像3の
ただ抽出された斜めの端縁のみを含む。マトリックスS
およびTは、TOEPLITZである。従って、両側か
らのこれらの2つのマトリックスと画像マトリックスW
との乗算もまた、核Kについての循環畳込みとして現わ
すことができる。
的に単純なマトリックスSおよびTを上では選んでい
る。もし任意のTOEPLITZマトリックス Sjk=a(j+k)modN ……(16) および Tjk=b(j+k)modN ……(17) を使用すれば、 K=abT ……(18) の形式の核を有する畳込みが実現できる。aおよびbは
長さNの任意のベクトルである。この形式の核を用いた
2次元の畳込みは、2つの1次元の畳込みへ分解するこ
とができる。例えば、a=(−1,0,1,0,0…)
T ,b=(1,0,0,…)(垂直端縁の抽出)、a=
(1,0,0,…)T ,b=(−1,0,1,0,0,
…)(水平端縁の抽出)およびa=(−1,0,1,
0,0,…)T ,b=(−1,0,1,0,0,…)
(斜めの端縁の抽出のためのもう1つの可能性)であ
る。
送りされることはすでに上に述べている。この種のけた
送り動作は、アナログ電圧用シフトレジスタを使用する
ことにより、ハードウエアで容易に実現できる。たとえ
ば、電荷結合素子(CCD)またはサンプルおよびホー
ルド回路の連鎖が、アナログ電圧用シフトレジスタとし
て働くことができる。また、アナログ電圧のためのシフ
トレジスタは、1ビットD/A変換器の組と協働する1
ビット幅のディジタルシフトレジスタを使用することに
より、またはl+1パルス符号変調(PCM変調)され
たアナログ電圧レベルを得るために、長さlの1ビット
幅のディジタルシフトレジスタの連鎖を使用することに
よりディジタル的に実現することができる。
ルな実現は、閉ループ動作モードを得るために、その終
端部をその入力に接続することができるという利点を有
する。このことは、制御電圧をただ一度だけループ内に
送込まなければならないことを意味する。そうすれば、
電圧はループ内に記憶され、この記憶されたデータを使
用して任意の数の画像処理サイクルを行うことができ
る。
出動作は、注目焦点機構およびこの発明の実施例1にお
いて述べられた時間依存画像の処理と組合せることがで
きる。このことは、たとえば、画像のある領域における
運動する斜め端縁の検出のためのシステムを構成するこ
とができることを意味する。
(sin)変換、コサイン(cos)変換、ウォルシュ
(WALSH)変換およびウェイブレット(wavel
et)変換のような、1次元および2次元の変換を行う
ことも可能である。これは、1次元の基本システムの基
本ベクトルを感度ベクトルおよび神経ネットワークの接
続マトリックスTの行ベクトル双方に対して使用するこ
とにより達成される。例えば、2次元のコサイン変換
は、設定
VSPDの行および列の数を示す。これは、方程式6を
その明瞭な形式、
正規化定数は別として、式(20)は、2次元のコサイ
ン変換の定義である。式(19)および(20)におけ
るコサイン関数は、サイン関数で置き換えることもでき
その場合2次元サイン変換が得られる。
において、1はVSPDのアレイ、2は1個のVSP
D、3はVSPDアレイ1上に投影される画像、7は投
影された画像をいくつかの類8の1つに分類器を示す。
アルゴリズムを例示する図である。図4において、1は
VSPDのアレイ、2は1個のVSPD、9はVSPD
アレイ1上に投影される画像、10はメリット関数評価
を示し、11は最適化アルゴリズムを示す。
特に参照する。出力ベクトルj(式(3)参照)は、画
像Wの低次元の表現を構成する。本来の画像の代わり
に、この表現は、画像の分類および認識のために使用す
ることができる。
接認識の目的のために、分類器7に送込むことができ
る。このことは、本来の画像ではなく画像の低次元の表
現のみが分類器7に記憶されることを意味する。分類の
目的のためには、はるかに少ないデータ量を処理する。
結果、分類器7の複雑さおよび分類時間が劇的に減少さ
れる。
最適の感度ベクトルsを選択することにより向上させる
ことができる。これはこの発明の重要な点である。なぜ
ならばしばしば画像それ自体よりも画像の低次元の表現
を分類することの方がより困難な場合が多いからであ
る。
る。初期化のために、感度ベクトルsを任意の値に設定
する。ステップ1において、画像9がチップ上に投影さ
れる。出力ベクトルjを用いて、画像分離の品質を反映
するメリット関数Qを計算する。これは、電流感度ベク
トル(メリット関数評価10)を用いて実行される。ス
テップ2において、2つのメリット関数Qが最適化アル
ゴリズム11(たとえば、ランダムサーチ、シュミレー
ティッドアニーリング、遺伝学的アルゴリズムまたは勾
配降下)に伝達される。最適化アルゴリズム11は、感
度ベクトルsを適合的に変化させることによりメリット
関数Qを最適化する。メリット関数Qが最適化される
か、または十分な品質の画像分離が達成されるまで、ス
テップ1および2が繰返される。
数Qの典型的な定義を次に与える。以下では、M入力画
像W1 ,0≦1<MがVSPDアレイ1上に投影される
こと、j1 は結果として生ずる出力ベクトルであるこ
と、および結果出力ベクトルjを有する画像Wが認識さ
れねばならないことが仮定される。相関ペースの分類器
においては、類は、分類器(ここではj0 ,…,j
M-1 )に記憶されているベクトルとして定義される。ベ
クトルjと記憶されたベクトルとの間の角度を距離の基
準として用いて、ベクトルjは類のうちの1つ、すなわ
ち最も小さい角度距離を有するベクトルj1 へ割当てら
れる。
の角度が大きいほど、この分類プロセスにおける曖昧さ
はより少なくなる。理想的な場合には、すべてのベクト
ルは直交する。従って、ベクトルj0 ,…,jM-1 のう
ちの任意の2つの間の角度の最小限が良好なメリット関
数Qとして作用することができる。ついで、上で説明し
た最適化プロセスが、ベクトルj1 の間の最小の角度を
最大にする感度ベクトルsを選択する。
て説明する。メリット関数Qは、すべての画像の提示の
後に再び計算される代わりに各画像の提示の後に更新さ
れる。上に与えられたメリット関数の典型的な定義を用
いることにより、この方式の利点は明らかになるであろ
う。最適化プロセスの間、このメリット関数は一度にす
べての画像に依存せず、出力ベクトルが瞬間的に最も小
さい角度距離を有する2つの画像、すなわち最も分離性
の悪い2つの画像に依存する。従って、これら2つの画
像をシステムにより頻繁に提示することが意味をなす。
残りの画像はそれほど頻繁に提示する必要はない。なぜ
ならばそれらは分離しやすく、かつメリット関数はそれ
らに依存しないからである。この結果、最適化プロセス
を高速化することができる。メリット関数をずっとより
早く計算することができるからである。
は、相関ベースの分類器における分類プロセスに影響を
与えないことが注目されねばならない。このような変動
は、ベクトルj1 の長さのみを変化させ、それらの間の
角度を変化させないからである。分類に先立ってベクト
ルj1 を標準化することにより、いかなる分類器も照度
の変動の影響を受けないようにできる。
にわたる合計がゼロであれば、いかなる分類器において
も分類プロセスは均一な背景光に対して不変である。そ
の均一の照射のために発生される電流はVSPDの各列
において相殺されるからである。
ち、もし十分な画像分離品質が達成できなければ、出力
ベクトルjの情報内容が少ないまたは次元数が低すぎる
とい可能性が非常に高い。この場合には、マトリックス
Jおよび/またはV(式(5)および(6)参照)を入
力画像の低次元の表現として使用することができ、かつ
マトリックスSおよびTに、上に説明した最適化プロセ
スを施すことができる。その結果得られる表現の次元数
は、マトリックスSおよびTの大きさを変化させること
により、自由に調整することができる。また、最適化プ
ロセスの間に注目焦点を形成することができる。
て、1はVSPDのアレイ、2は1個のVSPD、12
はVSPDアレイ1の上に装着された色フィルタ、13
は色フィルタ12の赤色の光に対して透明である部分、
14は色フィルタ12の緑色の光に対して透明である部
分13を示し、15は色フィルタ12の黄色の光に対し
て透明である部分、16は色フィルタ12の青色の光に
対して透明である部分を示す。
SPDアレイを示す図である。図6において、1はVS
PDのVSPDアレイ、2は1個のVSPDを示す。
用して、生物学上の網膜のそれと同様の方法で色情報を
処理することを可能にする色フィルタ12を示す。色フ
ィルタ12はVSPDアレイ1の表面上に置かれる。色
フィルタ12はセルに分割される。各セルは下のVSP
Dアレイ1の各VSPDセルに整合する。その位置に依
存して、フィルタセルは、赤色の光に対する透明部分1
3、緑色の光に対する透明部分14、黄色の光に対する
透明部分15または青色の光に対する透明部分16の色
の内のただ1つだけを伝達する。フィルタの隣接した列
内の色は、透明部分13および透明部分14または、透
明部分15および透明部分16を、交互に繰返す。フィ
ルタの隣接した行内の色は、赤色および黄色または緑色
および青色を、交互に繰返す。
から得ている。人間の網膜は、赤色、緑色および青色の
光のためのセンサからの信号を、それらを脳に伝達する
前に、赤色マイナス緑色の差信号および黄色マイナス青
色の差信号に符号化する。この符号化の方法が、人間が
赤色および緑色の間と、黄色および青色の間とに、それ
ぞれ特に強い色のコントラストがあるという主観的な印
象を持つ理由である。
現できる。この目的のために、感度は、
i が対に分けられることを意味する。各対において、偶
数の指数2iを有する感度は、透明部分13および透明
部分15のフィルタを有するVSPDの行を制御し、か
つ正の値に設定され、一方、奇数の指数2i+1を有す
る感度は、透明部分14および透明部分16のフィルタ
を有するVSPDの行を制御し、かつ相手方の感度の反
転値、すなわち負の値に設定される。この発明のすべて
の他の画像処理動作は、この色符号化技術と組合わせる
ことができる。その場合、処理は本来の画像に対しては
行われず、色差信号、すなわち赤色マイナス緑色の差信
号および黄色マイナス青色の差信号について行われる。
Dアレイ1におけるセンサのようにアレイ状に配列され
てはいない。VSPDの六角形状の配列が、生物学上の
網膜のセンサの構成により類似している。図6はVSP
D2の六角形状の配列を実現する2つの可能性を示す。
図6(A)は1行おきにVSPD2をDの距離だけ移動
させ、図6(B)は各行の1列おきにVSPD2を取除
くことにより六角形状の配置を実現する。ただし、2D
は行方向の隣接VSPD2間の距離を示す。随意に、六
角形状のVSPD2の形状は、長方形状の形状の代わり
に使用することができる。
は感度可変受光素子2次元アレイの構造であり、21は
2つの端子間の電圧の大きさにより光から電流への変換
効率が変わる感度可変受光素子から成る受光エレメン
ト、22は制御電極、23は複数の電圧データを記憶し
そのデータの転送が可能でさらに記憶された電圧データ
の一部が制御電極に接続された構造を持つ制御回路、2
4,25,26はそれぞれ制御回路23に記憶された電
圧データの一部である電圧ベクトル、27は出力電極、
28は記憶したデータをシフトできる機能についた1次
元メモリである。
ば図8に示されるような構造が挙げられる。半導体基板
501の上に一対のショットキー電極502,503が
設けられており、光から電流の変換効率は端子間の電圧
の大きさに比例する。またその電圧の極性により電流の
方向が変わる。
算の動作の説明をする。今、制御回路23に三つの電圧
ベクトル24,25,26が記憶されており、それぞれ
の電圧ベクトルは、i−1,i,i+1行目の3行の制
御電極に電圧を印加するようになっているとする。入力
画像が行列 G={g(i,j)}……(22) で表されると、まず一番目の電圧ベクトル24を制御電
極22に接続したときの、j−1列目の出力は、
つずつ右にシフトしてやると、上式の値はj列目のメモ
リに入ることになる。続いて2番目の電圧ベクトル25
を制御電極22に接続すると、j列目のメモリの中身
は、上式の結果と足し合わされて、
中身を一つずつ右にシフトさせた後、3番目の電圧ベク
トル26を制御電極22に接続すると、j+1番目のメ
モリの中身は、
の周りで行列 A={a(x,y)} による積和演算を行った結果に相当する。他の列につい
ても全く同様の演算が行われており、このようにして任
意の2次元積和演算が実行できる。今の例では電圧ベク
トルをかける真中の行はi行であったが、これを上から
下までスキャンアレイをN×N画素とすれば、3(N−
2)回の繰り返しによって(N−2)×(N−2)画素
の出力画像が得られる。
×(2n+1)の場合も同様の動作を行えば、(2n+
1)(N−2n)回の繰り返しによって(N−2n)×
(N−2n)画素の出力画像が
×(2n+1)のマスクサイズの積和演算を2回(2種
類)、直列に実行する処理は、(4n+1)×(4n+
1)のフィルターマトリックスを使った処理に帰着でき
る。もっと多段の場合も同様である。
29を用いたものでも良く、この場合データをシフトす
る機能を持たない1次元メモリ30で良い。
らず、端子間電圧により光から電流への変換効率が変わ
るものならば何でも良い。例えば図10に示したpnp
タイプ、また光導電体でも良い。もちろん、材料はシリ
コン、アモルファスシリコン、ガリウム砒素等何でも良
い。
ングゲートとキャパシタンスを作り込んだものの例であ
る。31は任意の出力電極からの電流を加える機構を持
つ出力回路で、感度可変受光素子32の一方の端子は直
接出力端子33に、他方の端子はキャパシタンス35を
介してアースに、かつスイッチングゲート36を介して
制御端子34に接続されている。37はゲート信号であ
る。感度可変受光素子32は、実施例1同様色々なもの
が考えられる。
画像の積和演算の動作の説明をする。画素(i,j)に
注目する。まず、光を照射する前にこの画素近傍の受光
エレメントの光感度を設定する。例えば画素(i−1,
j−1)を設定するには(i−1)番目の制御電極にフ
ィルタの要素を印加し画素(i−1,j−1)のスイッ
チングゲートをオンにする。これにより電圧がキャパシ
タンスに記憶される。光感度が設定したらスイッチング
ゲートはオフにする。同様にして3×3の光感度を設定
する。次に画像g(i,j)を照射するが、このとき
(j−1)列、j列、(j+1)列の出力電極からの電
流を加える。その結果
の周りで行列a(x,y)の積和になる。これをすべて
の画素に対して実行すれば、任意の2次元フィルター行
列と画像の積和が得られる。このとき、列に関してはN
/3の演算は同時に実行できる。
列との積和演算も可能である。
トとキャパシタンスを作り込んだものの例である。ここ
では感度可変受光素子32の一方の端子はキャパシタン
ス35を介してアースに、スイッチングゲート36を介
して出力端子33に、他方の端子は直接、制御端子34
に接続されている。
ず、一回目のクロックではスイッチングゲート36を閉
じたまま制御端子34に電圧を印加する。これにより、
感度可変受光素子32からの光電流は、キャパシタンス
35に溜められる。そして次に同じ制御端子34に電圧
が印加されるときに、スイッチングゲート36を開いて
やると、感度可変受光素子32からの光電流とキャパシ
タンス35からの放電による電流が一緒になって出力端
子33に出力される。各画素においてこれを行えば、一
度画像を記憶したのち、次にフレームでの画像との和や
差をとれることになる。また、スイッチングゲート36
を開く前に複数回制御端子34に様々な電圧を印加して
やれば、複数の画像処理結果の足し合わせが可能とな
る。
感度を向上させることができる。まずはスイッチングゲ
ート36を閉じたまま制御電極に電圧を印加する。これ
により、感度可変受光素子32からの光電流は、キャパ
シタンス35に溜められてゆく。そしてあるクロックで
スイッチングゲート36を開いてやると、それまでの照
射時間に溜められた電荷が放出される。これにより、感
度可変受光素子32単体に短いクロックでアクセスした
場合よりも大きな電流値が得られる。
スイッチングゲートの組み合わせだけでなく、図14の
ようなCCD的な動作を用いても実現できる。この場
合、感度可変受光素子32の一方の端子は直接、制御端
子34に接続されており、他方の端子は拡散によって作
られた入力ダイオード38に接続されている。転送され
る電荷が例えば正孔の場合、入力ダイオード38と出力
ダイオード40はp型、基板はn型となる。39は入力
ゲートである。
ていない状態では、p層の方がポテンシャルが低いた
め、正孔はまず入力ダイオード38に溜められる。そし
てある瞬間に入力ゲート39に充分大きな電圧を加え
て、表面ポテンシャルを下げてやると、入力ダイオード
38から出力ダイオード40に電荷が流れ出し、出力端
子33から取り出されることになる。
子32から構成される例である。片方の受光素子は一方
の端子は行毎に同じ制御端子22に他方の端子は各列毎
に同じ出力電極27に接続される。他方の受光素子では
一方の端子は列毎に同じ制御端子22に他方の端子は各
行毎に同じ出力端子27に接続される。
端子が行毎に同じ制御端子に接続されている受光素子に
ついて考える。各制御電極に制御電圧を加えると行毎に
光感度が設定される。このとき画像を照射すると各光電
流は列毎に加えられて出力電極から取り出される。この
ように縦方向の制御電圧ベクトルと画像の1次元積和演
算が行われる。同様に、一方の端子が列毎に同じ制御電
極に接続されている受光端子では横方向の制御電圧ベク
トルと画像の1次元積和演算が実行される。これらの縦
と横の両方向の処理結果が同時に得られる。
で合成すれば2次元的な画像処理も可能である。
を入射する構成の例を示す。図中、41は感度可変受光
素子の2次元アレイで、各エレメントが独立なアレイで
も良いし、上記実施例で示したような構成のイメージセ
ンサでもよい。42,43はそれぞれ光入力で、これは
一様光でも線状の1次元パターンでも2次元パターンで
もよい。
の和にたいして画像処理が行われる。片方の光は入力画
像で他方は各画素に対する制御信号の場合は、各画素に
対してオフセットを加えてから画像処理が行われる。
ゼロボルトである電圧ベクトルに対しゼロボルトでない
電圧の位置が任意に変わる制御回路を有する場合の構成
例を示し、前記図11と同一部分には同一符号を付して
重複説明を省略する。
動作を説明する。まず、1行目の制御電極だけ1Vを印
加する。1行目の各画素は同じ光感度を持つことにな
る。この状態で画像を照射すると、1行目の各画素での
光パワーに比例した電流が出力電極から取り出される。
これは入力画像の1行目が検出されたことになる。そし
て、この1Vを印加する行を2,3,・・とずらしてい
けば、入力画像が行毎に検出される。1つの行内ではす
べて並列に検出されるので出力回路からの画像信号の取
り出しを並列にすれば、高速画像検出が可能になる。ま
た、従来の画像信号との整合性を考慮して、出力回路か
らの画像信号はシリアル信号にしてもよい。
変えれば光感度も変わる。すなわち、入力光のパワーの
レンジが変わっても制御電圧による補正により出力レベ
ルを一定に保つことも可能である。
に印加するのではなく、特定の行だけに印加すれば入力
画像の部分画像のみの検出が可能になる。
の分解能で画像を検出することができる。粗い画像情報
しか必要でないときは、分解能を落すことにより高速処
理が可能になる。
8はこの発明の実施例12に係る二つのp+ n- 接合を
用いてp+ 層同士をつなげた対称構造の感度可変受光素
子を示す断面図であり、51は制御電圧VB を印加する
側の電極(以下「制御電極」と呼ぶ)、52は出力電流
Iphを取り出す側の電極(以下「出力電極」と呼ぶ)、
53は正と負の領域にわたって出力を可変とすることが
できる電源、54はp+ 型半導体層(以下p+ 層とい
う)、55はn- 型半導体層(以下n- 層という)、5
6は制御電極51側のpn接合部にできる空乏層、57
は出力電極52側のpn接合部にできる空乏層である。
制御電極51、出力電極52とp+ 層54は、それぞれ
オーミックコンタクトとなっている。また、p+ 層5
4、n- 層55には入射光を吸収するすべての半導体材
料、例えば、GaAs,AlGaAs,InGaAs,
Si等が用いられる。
すように、入力光はこの感度可変受光素子に対して垂直
方向から入射する。そして、制御電極51にかける電圧
VBが0の場合、光が当って空乏層56,57付近に発
生した電荷はpn接合の電位障壁を超えられず、またそ
の他の場所で発生した電荷もこの素子の対称性によって
相殺され、出力電流Iphは0となる。
と、出力電極52側の空乏層57が広がり、空乏層57
付近に発生した電荷は電極51,52間の電位差に引か
れて正の出力電流Iphを生み出す。このとき、出力電流
Iphの発生に主に寄与するのは、空乏層57の内部およ
び空乏層57の拡散長の範囲内で発生した電荷であり、
空乏層57の厚さは制御電圧VB に依存することから、
出力電流Iphは結局制御電圧VB に依存することにな
る。
電極51側の空乏層56が広がり、同様にして制御電圧
VB に依存する負の出力電流Iphが得られることにな
る。以上のプロセスにより、図18の感度可変受光素子
は、制御電圧VB によって出力電流Iphが負から正ま
で、すなわち感度を負から正まで連続的に変えられるこ
とになる。なお、2つのp+ 層54の不純物濃度は互い
に変えることができ、また半導体材料も互いに異なるも
のとして、感度非対称な応答を示すようにすることもで
きる。
を示す断面図であり、図中51〜54は図18と同じで
ある。また58はn+ 型半導体層(以下n+ 層とい
う)、59aは制御電極51側p+ 層54とn+ 層58
の間に挟まれるi(intrinsic)型半導体層
(以下i層という)、59bは出力電極52側p+ 層5
4とn+ 層58の間に挟まれるi型半導体層(以下i層
という)である。すなわち、本実施例に係る空乏層は、
p−i−n構造をなす。
スは前述の実施例12と同様であるが、i層59の方が
n層58よりも空乏層が広がるため、接合間の容量が減
り、応答速度が速くなる。なお、半絶縁製基板の上に直
接p+ 層が載った構造でもこれと同様の効果が得られ
る。
を示す断面図であり、図中51〜57は図18と同じで
ある。また60aは制御電極51側p+ 層54とn- 層
55の間に挟まれる薄いn+ 型半導体層(以下n+ 層と
いう)、60bは出力電極52側p+ 層54とn- 層5
5の間に挟まれる薄いn+ 型半導体層(以下n- 層とい
う)である。
スは実施例12,13とそれと同様であるが、n+ 層6
0a,60bの方がn- 層55よりも空乏層が広がりに
くいため、制御電圧VB が小さいときには電圧の変化に
対する空乏層の広がり方の変化が小さい。しかし、制御
電圧VB がある程度大きくなると空乏層がn+ 層60
a,60bからn- 層55まで達するため、電圧の変化
に対する空乏層の広がり方の変化が大きくなる。
いては、制御電圧VB が小さいうちは感度の変化が小さ
く、制御電圧VB が大きくなると感度の変化も大きくな
る。よって、本実施例の感度可変受光素子によれば、制
御電圧VB を0にセットしたときは、オフセットや電圧
の揺らぎ等があった場合でも出力電流Iphが抑えられ、
揺らぎ等に対する耐性が上がる。
を示す断面図であり、図中51〜57は図18と、5
9,59a,59bは図19と、また60a、60bは
図20と同じである。本実施例の感度可変受光素子は実
施例13と同様、空乏層についてp+ −i−n- 構造を
基本としているが、他方実施例14と同様、p+ 層54
とi層59a,59bの間にそれぞれ薄いn+ 層60
a,60bを挟んでいる。
スは実施例12〜14とそれと同様であるが、空乏層に
ついて上述のようなp+ −n+ −i−n- 構造となって
いるため、実施例13のような速い応答速度と、実施例
14のような電圧の揺らぎに対する耐性の両方の効果が
得られる。なお、この効果は、半絶縁性基板の上にn+
層とp+ 層が載った構造においても得られる。
を示す断面図であり、図中51〜57は図18と、60
a,60bは図20と同じである。また61aと62a
はn+ 層60aのそれぞれ上下に配置されたn++型半導
体層(以下n++層という)とn型半導体層(以下n層と
いう)、61bと62bはn+ 層60bのそれぞれ上下
に配置されたn++層とn層である。すなわち、本実施例
の感度可変受光素子は、実施例14のそれに類似した構
造となっているが、p+ 層54とn- 層55の間に、n
++層61a,61b,n+ 層60a,60b,n層62
a,62bの順で不純物濃度が段階的に減少するn型層
を挟んでいるため、電圧に対する感度の変化を線形にす
ることができる。
を示す切欠斜視図であり、図中51〜57は図18と同
じである。本実施例においては、積層構造は実施例12
と同じであるが、制御電極51とp+ 層54の部分およ
び出力電極52とp+ 層54の部分をそれぞれ櫛形に
し、互いに歯の部分に組み入れている。
のそれと同様に動作するが、本実施例においては単位面
積当たりの受光部の面積を実質的に増加させることがで
きるため、感度を上げることができる。なお、本実施例
においては、感度可変受光素子の積層構造を実施例12
に合わせたが、前述の実施例13〜16のいずれと合わ
せても同様に櫛形構造として感度を向上させることがで
きる。
を示す断面図であり、図中51〜57は図18と同じで
ある。本実施例においても、積層構造は実施例12と同
じであるが、制御電極51および出力電極52の面積を
p+ 層54の面積に比べ小さくしている。
のそれと同様に動作するが、p+ 層54は導電性が高い
ため、光電流Iphの流通については、p+ 層の頂面のす
べてを電極51,52が覆っていなくても支障はない。
そして、本実施例においては、電極51と52の面積が
p+ 層54の対応部分に比べて小さいため、入射光は、
p+ 頂面層の電極51,52に覆われていない部分から
も透過して、直接空乏層56,57に当る。よって、本
実施例によれば、透明電極を用いなくても電流出力が大
きくなり、光利用率を上げることができる。なお、本実
施例においては、感度可変受光素子の積層構造を実施例
12に合わせたが、実施例13〜16のいずれの積層構
造も採用することができる。
を示す断面図であり、図中51〜57は図18と同じで
ある。本実施例においても、積層構造は実施例12およ
び上記実施例18と同じであるが、p+ 層54は、拡散
によって製造され、コンパクトな平面構造になってい
る。なお実施例13〜17の両電極51,52間に段差
のある積層構造は、いずれも拡散等によってこのような
平面構造とすることができる。
を示す断面図であり、図中51〜57は図18と同じで
ある。本実施例の感度可変受光素子は、実施例18のp
+ 層一部露出構造および実施例19の平面構造の両方を
採用しながら、実施例17の櫛形構造を実現したもので
ある。
7,18および19の各感度可変受光素子と同様に動作
するが、ここでは、櫛形構造そのものはp+ 層54自身
によって構成されており、制御電極11と出力電極12
は配線部にしかかぶっていない。本実施例によれば、実
施例19と同様のコンパクトな受光素子となり、かつ実
施例17および18と同様感度と光利用率の高い受光素
子となる。
を示す断面図であり、図中51,53,56,57は図
18と同じである。また64のp+ 半導体層と65のn
- 半導体層は、互いに吸収波長帯が異なり、p+ 層64
はn- 層65よりもバンドギャップが広くなるようにす
る。p+ 層64には例えばAlGaAsを、またn- 層
65にはGaAsを用いることができる。
は実施例12の各感度可変受光素子と同様に動作する
が、素子の垂直上方から入射する光について、p+ 層6
4では吸収されずn- 層65のみで吸収されるような波
長を選択してやると、入射光が減衰せずに直接空乏層5
6,57に当るため、高い感度が得られる。
を示す断面図であり、図中51〜53,56,57,6
4,65は図27と同じである。本実施例においては、
p+ 層64とn- 層65の間に、ドープ先をp+ 層64
と同じ半導体にしたn- 層66が挿入される。
は実施例21の各感度可変受光素子と同様に動作する
が、入射光について、p+ 層64およびn- 層66では
吸収されずn- 層65のみで吸収されるような波長を選
択すると、制御電圧VB が小さいときには空乏層56,
57がn- 層66の中でしか広がらないため感度が低
く、他方制御電圧VB がある程度大きくなると、空乏層
56,57がn- 層66からn- 層65まで達するため
感度が高くなる。よって、本実施例によれば、制御電圧
VB によって波長感度特性を変えることができる。
3に係る感度可変受光素子(一入力多出力型と多入力一
出力型)を示す平面構成図であり、図中51〜53は図
18と同じである。両図においては、実施例12の積層
構造を採用する。
本的には実施例12のそれと同様に動作するが、図29
(a)の一入力多出力型の構成においては、制御電圧V
B を一つのラインで変えてやることにより、多くの受光
部の感度を一度に変化させることができる。また、図2
9(b)の多入力一出力型の構成においては、各受光部
の感度をそれぞれの制御電圧VB1,VB2,……等で変え
ながら受光することにより、各受光部からの出力の和を
素子全体の出力として取り出す。なお、これら一入力多
出力および多入力一出力の形は上記実施例12〜22の
いずれかの受光素子についても実現できる。
アレイを示す平面構成図であり、図中70は感度可変受
光素子アレイに配置される各感度可変受光素子、71は
正と負の領域にわたって出力を可変とすることができる
電源で、ここでは制御電圧ベクトル(……,Vi-1 ,V
i ,Vi+1 ,……)を図に表示する便宜のため、単一の
ブロックで表してある。また72は出力電流を取り出す
出力電極で、電源71と同様、出力電流ベクトル(…
…,Ij-1 ,Ij ,Ij+1 ,……)を図に表示する便宜
のため、単一のブロックで表してある。なお、各感度可
変受光素子70は、実施例12の積層構造を有するもの
とする。
記実施例23に係る図29(b)の多入力一出力の構成
を、電源71と縦方向の感度可変受光素子アレイ(…
…,Sj-1 ,Sj ,Sj+1 ,……)において組み入れ
(縦方向の感度可変受光素子アレイの出力電流の和がそ
れぞれ……,Ij-1 ,Ij ,Ij+1 ,……となる)、ま
た図29(a)の一入力多出力の構成を、横方向の各配
線(ライン)とこの配線に接続した横方向の感度可変受
光素子アレイ(Sj 等、各Sj 等から出力がある)にお
いて組み入れている。
横方向の一つのライン上に並ぶ感度可変受光素子に印加
する電圧を共通にする。そうすると、所定の光入力パタ
ーンに対して、横方向の各ラインに掛ける電圧のセッ
ト、制御電圧ベクトル(……,Vi-1 ,Vi ,Vi+1 ,
……)に応じて、各感度可変受光素子70からの出力電
流値の演算結果(縦方向への和)が、縦方向の各ライン
から電流出力ベクトル(……,Ij-1 ,Ij ,Ij+1 ,
……)の形で並列に取り出される。よって、本実施例に
よれば、負の感度または負の重みをもたせることができ
る、光画像処理システムおよび光コンピューティングへ
の適用に適した感度可変受光素子アレイを得ることがで
きる。なお、本実施例のような受光素子のアレイは、実
施例12〜22のいずれの受光素子についても実現でき
る。
アレイを示す平面構成図であり、図中70〜72は図3
0と同じである。また73はそれぞれ横方向の各感度可
変受光素子の上方に位置を合わせてアレイ状に配置した
LED(Light Emitting Diode;
発光ダイオード)、74はLED73に電流(LED注
入電流ベクトル(……,Jj-1 ,Jj ,Jj+1 ,…
…))を注入するための電極で、このベクトルを図に表
示する便宜のため、単一のブロックで表してある。
本的には実施例24のそれと同様に動作する。すなわ
ち、各受光素子70は、制御電圧可ベクトル(……,V
i-1 ,Vi ,Vi+1 ,……)により、各受光素子70間
で感度を変えながら、各LED73からのLED注入電
流ベクトルに応じた強度パターンの光を受け取る。そし
て、列ベクトルたる制御電圧ベクトルと行ベクトルたる
LED注入電流ベクトルのベクトルマトリックス演算に
相当する結果が電流出力(……,Ij-1 ,Ij ,I
j+1 ,……)として取り出される。なお、本実施例のよ
うな受光素子のアレイは、実施例12〜22のいずれの
受光素子についても実現できる。
成を示す構成図である。図において、81は感度可変受
光素子ユニットがアレイ化された受光素子アレイであ
る。このように多数の感度可変受光素子がアレイ化され
る場合には、制御電圧の印加方が問題となるが、アクテ
ィブマトリックス駆動法による図32に示す構成で電圧
印加は達成される。
1にX−データ信号94を与えるXデータドライバ、8
3は受光素子アレイ81にY−データ信号95を与える
Yデータドライバ、84は受光素子アレイ81の出力信
号96の処理を行う信号処理回路である。
て、91はGaAs上に集積化された電界効果トランジ
スタ(FET)、92はキャパシタ、93は感度可変受
光素子である。
によって素子の光検出感度が変化するものである。その
ような感度可変受光素子として、例えば、GaAs基盤
上に形成されたMSM(金属−半導体−金属)構造のも
のがある。これは、GaAs上にAlによってショット
キーコンタクトが形成されたものである。その構造は電
極構造が対称形となっているので、印加される制御電圧
の極性が変わることにより、検出感度のみならず、流れ
る光電流の方向、すなわち、感度の極性をも制御可能で
ある。
タドライバ82が受光素子アレイ81の第1行目にX−
データ信号(FETのゲート信号)94を与えて1行目
のFET91をオンすると同時に、Yデータドライバ8
3が受光素子アレイ81にY−データ信号95を印加す
る。Y−データ信号95は、感度可変受光素子93に対
する感度制御信号となっている。そして、感度制御信号
はキャパシタ92に記憶されることになる。
n=4)に等しい回数行えば、すべての感度可変受光素
子ユニットに感度制御信号が記憶される。この状態で、
例えば受光素子アレイ81の上に設けられた発光素子ア
レイ(図示せず)を発光させ、出力信号96を取り出せ
ば、ベクトル−マトリックス演算が行える。
素子として使用する際の方法について、図33を参照し
て、以下、説明する。図33において、97は感度可変
受光素子ユニット、941〜94nはそれぞれ受光素子
アレイ81の各行に与えられるX−データ信号、951
〜95nはそれぞれ受光素子アレイ81の各列に与えら
れるY−データ信号を示す。また、961〜96mはそ
れぞれ出力信号を示す。
タドライバ82は、受光素子アレイ81の奇数行目に同
時にX−データ信号941、943,・・・を印加す
る。それと同時に、Yデータドライバ83は、Y−デー
タ信号951,952のみ印加する。ここで、Y−デー
タ信号951は正極性の信号、Y−データ信号952は
0V(感度0の信号)である。
アレイ81の偶数行目に同時にX−データ信号942、
944、・・・を印加し、それと同時に、Yデータドラ
イバ83は、Y−データ信号951,952のみ印加す
る。ここでは、Y−データ信号951は0V、Y−デー
タ信号952は負極性の信号である。なお、正極性の信
号と負極性の信号の絶対値は等しい。このようにして、
受光素子アレイ81の第1列目と第2列目に、図33に
示すように、感度が設定されたことになる。
メラなどからの画像信号が照射されているとすると、第
1列目と第2列目の各感度可変受光素子93から信号が
得られる。ここで、図33に示すように、第1行目と第
2行目と、第3行目と第4行目と・・・、第n−1行目
と第n行目とからの出力をそれぞれ加え合わせた後出力
する。そして、各出力信号961〜96mは信号処理回
路84において記憶される。
る。例えば、第1行目と第2行目の出力の和の出力信号
961について説明する。受光素子アレイ81の1行1
列の要素の感度は正、1行2列および2行1列の要素の
感度は0、2行2列の要素の感度は負であるから、その
4要素によるブロックにおける画像信号が静止画像であ
るなら、出力信号は0である。そして、画像信号が動画
像であるならば、出力信号は0にならない。
光量に差があるときには、静止画像の場合であっても和
は0にならないが、通常、素子の集積度は高く隣り合っ
た素子間で照射光量にほとんど差がないので、あるブロ
ック内の各素子に対する照射光量は同じであるとみなせ
る。なお、画像のパターンが細かくブロック内の各素子
の照射光量が等しくならない場合には、図34に示すよ
うに、出力信号を微分すればよい。なお、図34におい
て、991〜99mは微分器である。
理を行う。すなわち、Xデータドライバ82は、受光素
子アレイ81の奇数行目に同時にX−データ信号94
1,943,・・・を印加する。それと同時に、Yデー
タドライバ83は、Y−データ信号953,954のみ
印加する。ここで、Y−データ信号953は正極性の信
号、Y−データ信号954は0Vである。
アレイ81の偶数行目に同時にX−データ信号942,
944,・・・を印加し、それと同時に、Yデータドラ
イバ83は、Y−データ信号953,954のみ印加す
る。ここでは、Y−データ信号953は0V、Y−デー
タ信号954は負極性の信号である。そして、加算信号
である出力信号961〜96mが、第1列目と第2列目
の処理の場合と同様に取り出され、信号処理回路84は
それらを記憶する。
でについても同様の処理を行う。最終列の処理終了後、
信号処理回路84は記憶している各信号を順に並べるこ
とにより、移動物体のみが含まれる出力画像を得ること
ができる。
体が移動している様子がわかる複数画像が得られる。な
お、上記実施例では奇数列に正極性のY−データ信号
を、そして、偶数列に負極性のY−データ信号を印加す
るようにしたが、極性を逆にしてもよい。
おける受光素子アレイの構成を示す構成図である。全体
の構成は、図32に示すものと同様である。この場合に
は、Xデータドライバ82は第1の実施例の場合と同様
に動作する。Yデータドライバ83の動作タイミングは
第1の実施例の場合と同じであるが、負極性信号の印加
を行わない。すなわち、この実施例の場合には、Yデー
タドライバ83は、第1の実施例において負極性の信号
を印加したタイミングに対応したタイミングで、正極性
の信号を受光素子アレイに印加する。従って、この場合
には、図35に示すような感度が設定される。
がとられたのに対して、ここでは、各差動増幅通話98
1〜98mが、各2行の出力の差をとる。なお、信号処
理回路84は、第1の実施例の場合と同様の処理を行
う。このような構成すれば、Xデータドライバ82およ
びYデータドライバ83による素子駆動はより簡単にな
る。
体の移動方向の識別が必要な場合には、差動増幅器98
1〜98mを微分機能を有するものとすればよい。
を示す構成図である。図において、101はパッケージ
にマウントされた受光デバイス(受光部)であり、10
4はその受光面を示す。103は受光デバイス101か
ら処理された画像を入力する前処理部(受光部制御部)
である。その他のものは同一符号を付して図56に示す
ものと同一のものである。
斜視図である。図において、109は1対のショットキ
ー電極よりなる1画素分の記憶機能を有する受光素子、
110はGaAs基板(半導体)、111は受光素子1
09への電圧印加ライン、112は受光素子109から
の光電流出力ラインである。ショットキー接合のショッ
トキー界面には、界面トラップによるトラップキャリア
が存在する。
方式を説明するための説明図である。図において、11
3は照射画像パターンまたは受光感度分布を示す。電圧
印加ライン111に、順次、電圧Vt ,Vt+1 ,・・
・,Vt+n が加えられると、各時刻t+i(i=0〜
n)において出力電流のセット(受光デバイス1上の各
ライン上にある各受光素子9の光電流出力の和のセッ
ト) I1,t+1 ,I2,t+1 ,・・・,In,t+1 が得られる。前処理部103は、各時刻における電流セ
ットから入力画像パターンの形状を知ることができる。
像を得る場合の動作を説明するための説明図である。図
39において、115は1番目の照射画像パターンを示
し、116はこの画像パターンによって形成された受光
感度分布を示す。また、117は2番目の照射画像パタ
ーンを示し、118は最終的に形成された受光感度分布
を示す。
09において、トラップ準位におけるトラップキャリア
量は、例えば、前処理部103から電圧印加ライン11
1を介して加えられる印加電圧によって制御される。そ
の結果形成される内部電界によって受光素子109に受
光感度が発生する。
と、(i,j)受光素子の感度は以下のように表され
る。 ηij(p,V)=αf(p)g(V)……(28) ここで、Vは、例えば、前処理部103から電圧印加ラ
イン111を介して受光素子109に加えられる印加電
圧、pはこの受光素子109に照射される光の強度、
f,gは原点を通る単調増加関数、αは正の定数であ
る。また、i=1,・・・,N,j=1,・・・,Mで
ある。なお、この受光感度は、印加電圧および入射光が
なくなった後も保持されている。
ように近似する。 ηij(p,V)=βpV……(29) ここで、βは定数である。
度をp1、そのときの印加電圧をV1とすると、1番目
の画像パターン113による各受光素子109の感度
は、 ηij(p1ij,V1)=βp1ijV1……(30) であるから、2番目の画像パターン117が照射された
ときの各受光素子109の受光量は、 ηij(p1ij,V1)p2iji =βp1iji V1p2ij……(31) である。
(29)に示す状態で(図39の(b)に対応)、2番
目の画像パターン117を照射しつつ、図38に示すよ
うに、Vt+i の電圧を電圧印加ライン111に印加すれ
ば、各受光素子109からp1iji ×p2iji に比例し
た光電流出力が光電流出力ライン112に出力される。
ける光電流出力ライン112から出力された電流セット
から、図39(d)に示す最終的な受光感度分布118
に対応した2つの画像パターン115,117のAND
画像を得ることができる。前処理部103は、このAN
D画像を計算機104に送り、計算機104は、その表
示部にAND画像を表示することができる。
(OR)画像を得る場合の動作を説明するための説明図
である。この場合には、2番目の画像パターン117を
照射する際にも、各受光素子109には電圧V1が印加
される。
て各受光素子109に生ずる受光感度分布は、 ηiji (p1iji ,V1)=βp1iji V1……(32) 2番目の画像パターン117によって生ずる受光感度分
布は、 ηij(p2ij,V1)=βp2ijV1……(33) であるから、2番目の画像パターン117が照射された
後の受光感度分布は、 ηiji (p1iji ,V1)+ηij(p2ij,V1) =β(p1ij+p2ij)V1……(34) となる(図40(d)に対応)。
ターンのORに比例した値になっている。そこで、受光
デバイス101に一様光を照射しつつ、図38に示すよ
うに、Vt+i の電圧を印加電圧ライン111に印加すれ
ば、各受光素子109から2つの画像パターンのORに
比例した光出力電流が得られる。前処理部103は、こ
の光出力電流からOR画像を認識することができる。
理和(EXOR)画像を得る場合の動作を説明するため
の説明図である。この場合には、2番目の画像パターン
117を照射する際に、電圧印加ライン111に負電圧
−V2が印加される。
て各受光素子109に生ずる受光感度分布は、 ηij(p1ij,V1)=βp1ijV1……(35) 2番目の画像パターン117によって生ずる受光感度分
布は、 ηij(p2ij,−V1)=−βp2ijV1……(36) であるから、2番目の画像パターン117が照射された
後の受光感度分布は、 ηij(p1ij,V1)+ηij(p2ij,−V1) =β(p1ij−p2iji )V1…(37) となる(図41(d)に対応)。
ターンのEXORに比例した値になっている。そこで、
受光デバイス101に一様光を照射しつつ、図38に示
すように、Vt+i の電圧を印加電圧ライン111に印加
すれば、各受光素子109から2つの画像パターンのE
XORに比例した光出力電流が得られる。前記処理部1
03は、この光出力電流からEXOR画像を認識するこ
とができる。
る場合の動作を説明するための説明図である。この場合
には、1番目の画像パターンとして一様光114が照射
される。また、2番目の画像パターン117が照射され
る際に、電圧印加ライン111に、負電圧−V1が印加
される。
09に生ずる受光感度分布は、 ηij(p,V1)=βpV1……(38) 2番目の画像パターン117によって生ずる受光感度分
布は、 ηij(p2ij,−V1)=−βp2ijV1……(39) であるから、2番目の画像パターン117が照射された
後の受光感度分布は、 ηij(p,V1)−ηij(p2ij,V1) =β(p−p2ij)V1=β(1−p2ij/p)V1……(40) となる(図42(c)に対応)。
パターン117のNOTに比例した値になっている。そ
こで、受光デバイス101に一様光を照射しつつ、図3
8に示すように、Vt+i の電圧を印加電圧ライン111
に印加すれば、各受光素子109から2番目の画像パタ
ーン117のNOTに比例した光出力電流が得られる。
前処理部103は、この光出力電流からNOT画像を認
識することができる。
合の動作を説明するための説明図である。すなわち、画
像パターン115の移動にしたがって、移動軌跡に応じ
て受光感度分布116が変化する様子を示している。
態で、画像パターンが、すなわち、受光面における照射
パターンが移動している場合に、光の強度をpi(t)j(t)
とすると受光感度分布は以下のように表される。ここ
で、時刻t=0で照射が開始され、t=Tで照射が終了
したとする。
101に一様光を照射しつつ、図38に示すように、V
t+i の電圧を印加電圧ライン111に印加すれば、各受
光素子109から画像パターン115の移動軌跡に応じ
た光出力電流が得られる。よって、前処理部103は、
この光出力電流から移動軌跡を認識することができる。
の動作を説明するための説明図である。よって、この場
合、1番目の画像パターン115と2番目の画像パター
ン117とは同じものである。移動する画像パターンの
光の強度をpi(t)j(t)とする。この場合には、例えば前
処理部103によって、時刻t=0において電圧印加ラ
イン111に負電圧−V1が印加され、時刻t=Tにお
いて正電圧V1が印加される。すると、時刻t=Tにお
ける受光感度分布118は以下のように表される。 ηiji (p1i(0)j(0),−V1)+ηij(p1i(T)j(T),V1) =β(p1i(T)j(T)−p1i(0)j(0))V1……(42)
画像パターン115,117(この場合には同一のもの
である。)のEXORに比例した値になっている。そこ
で、受光デバイス101に一様光を照射しつつ、図38
に示すように、Vt+i の電圧を印加電圧ライン111に
印加すれば、各受光素子109から2つの画像パターン
のEXORに比例した光出力電流、すなわち、画像パタ
ーンの移動前と移動後の領域に対応した光出力電流が得
られる。前処理部103は、この光出力電流から画像の
移動を認識することができる。
うかを検出する場合の動作を説明するための説明図であ
る。この場合には、1番目の画像パターン115が照射
されるときに電圧印加ライン111に正電圧V1が印加
され、2番目の画像パターンが照射されるときにも正電
圧V1が印加される。
の画像パターンによって受光感度分布116が形成され
た状態で、2番目の画像パターンが、図45(c)に示
すように受光感度分布116が有意な領域に照射される
と、その部分の受光感度分布118は高くなる。また、
図45(e)に示すように受光感度分布116が有意で
ない領域に照射されると、図45(f)に示すように1
番目の画像パターン115によって形成された受光感度
分布116は変化しない。
射しつつ、図38に示すように、Vt+i の電圧を印加電
圧ライン111に印加すれば、各受光素子109から図
45(d)または図45(f)に示す受光感度分布に応
じた光出力電流が得られる。前処理部103は、この光
出力電流から、1番目の画像パターンによる受光感度分
布116に感度の高い部分があるかどうか調べることに
より、ある領域(この場合には、1番目の画像パターン
が照射された領域)に、ある画像パターン(この場合に
は、2番目の画像パターン117)が入っているかどう
かを認識することができる。
の電圧が印加されていたが、図46(a)に示すよう
に、各電圧印加ライン111のうちの特定の1つまたは
複数のラインにのみ電圧が印加されるようにしてもよ
い。そして、一様光114が照射される。すると、図4
6(b)に示すように、電圧が印加されたラインにのみ
感度を有する受光感度分布116が生ずる。
ン117が照射されると、前処理部103は、光出力電
流を入力する。図46(d)に示すように、画像パター
ン117が受光感度のない部分に照射されると、光出力
電流の値は小さい。しかし、図46(c)に示すように
受光感度のある部分に照射されると、大きな光電流出力
が出力される。前処理部103は、光出力電流の大小を
検出することにより、有意な受光感度分布116を有す
る領域に画像パターン117があるかどうか検出するこ
とができる。
114を用いる代わりに空間的に変調された光を用い、
所定の電圧印加パターンとそれらの光を組合わせて2次
元的な受光感度分布を形成してもよい。例えば、ウォル
シュパターンを受光感度分布として形成し、そこに画像
パターンを照射すれば、その画像パターンのウォルシュ
係数を得ることができる。
の動作を説明するための説明図である。この場合には、
一様光114が照射される際に、各電圧出力ライン11
1に互いに異なる電圧V1,V2,・・・,Vnが印加
される。画像パターン117の位置が変われば各光電流
出力の値も変化するので、前処理部103は、それらの
出力電流の値によって画像パターンの位置を認識するこ
とができる。
が、値は同じで極性が反対になるように印加電圧パター
ンを設定すると、画像パターンの所定の値以上の面積を
有する部分について光電流出力を0にしつつ、孤立して
いる線状部分については0でない出力が得られるように
でき、その結果、ライン検出が可能になる。
に変化させることにより、画像パターンのフーリエ変換
像を得ることができる。
として、一様光113を用いる代わりに空間的に変調さ
れた光を用い、所定の電圧印加パターンとそれらの光を
組合わせて2次元的な受光感度分布を形成してもよい。
イスの受光素子を示す断面図である。この場合には、G
aAs基板110上に3つのショットキー電極111
a,112a,111bが設けられる。また、図48
(a)に示すように、GaAs基板110の一部分にA
lGaAs部120が形成される。そして、GaAs上
のショットキー電極111aとGaAsおよびAlGa
Asのショットキー電極112aとによって受光素子#
1が形成され、ショットキー電極112aとAlGaA
s上のショットキー電極111bとによって受光素子#
2が形成される。なお、画像情報処理装置の全体構成
は、図36に示すものと同様のものである。
GaAsのそれよりも大きいので、受光素子#1が波長
λ1およびλ2(λ1<λ2)で感度ηを有し、受光素
子#2が波長λ1で感度を有しつつλ2で感度を有しな
いようにすることができる。
115(波長λ1)が照射される際に、電圧印加ライン
111を通して、受光素子#1には電圧Vが印加される
受光素子#2には電圧−2Vが印加される。よって、受
光素子#1の感度は、 η(p,V)=βpV……(43) 受光素子#2の感度は、 η(p,−2V)=−2βpV……(44) である。
しつつ、図38に示すように、Vt+i の電圧を印加電圧
ライン111に印加すれば、各受光素子109の受光素
子#1および受光素子#21か光電流出力が生ずる。こ
こで、一様光114の波長をλ1とすると、受光素子#
1の出力と受光素子#2の出力の合計は、 η(p,V)+η(p,−2V)=−βpV……(45) に比例した値であり、その合計の光電流出力がショット
キー電極112aから光電流出力ライン112に出力さ
れる。
と、受光素子#2の光電流出力は0になるので、出力の
合計は、 η(p,V)+0=βpV……(46) に比例した値である。
に応じて光電流出力の向きを制御することができる。前
処理部103は、光電流出力から画像パターン115を
認識できるとともに、光出力電流の向きを制御すること
によって他の画像パターンとの加算や減算を容易に行う
ことができる。
aAsとの組合せについて説明したが、バンドギャップ
の異なるものの組合せであれば他の組合せでもよく、例
えば、GaAsとInGaAsとの組合せでもよい。
による受光感度制御について説明したが、電流注入のみ
による感度制御やそれらと電流注入との組合せによる感
度制御も可能である。
の処理または1つの画像の位置認識などの場合について
説明したが、3つ以上の画像間の処理に容易に拡張可能
である。また、上記各実施例では、AND処理などの画
像間の処理について説明したが、処理された画像につい
てさらに、認識、識別、分類などを行った後、画像解析
の入力データとすることもできる。
最終的な読み取り方式として、図3に示す方式を用いた
場合について説明したが、図49に示す方式を採用する
こともできる。つまり、光電流出力ライン112から垂
直方向の光電流出力Iv1〜Ivnを取り出すのみならず、
水平方向の光電流出力Ih1〜Ihnをも光電流出力ライン
124から取り出す構造とする。このようにして、画像
パターンの垂直投影像および水平投影像を得ることがで
きる。ニューラルネットワーク処理部125は、各投影
像から元の画像パターンを再現する。
造を示す断面図であって、この素子は、GaAs基板1
10上に、ソース電極(信号電極)127、ドレイン電
極(信号電極)128およびゲート電極(制御電極)1
29が形成されている。ゲート電極129はショットキ
ー接合されている。ショットキー界面には、界面トラッ
プによるトラップキャリアが存在する。なお、ソース電
極127は接地される。
憶作用を果たすが、情報書き込み時には、ゲート電極1
29の負のバイアス電圧が印加され、ドレイン電極12
8−ソース電極127間に電流が流される。すると、キ
ャリアの一部がゲート電極129下のトラップ準位13
0に蓄積される。この結果、ゲート電極129から見た
しきい値電圧は高い状態(「0」状態)になる。ゲート
電圧がしきい値電圧以下であれば、ドレイン電流は流れ
にくくなる。
アスされ、トラップ準位130が空にされる。従って、
しきい値電圧の低い「1」になる。読み出し時には、ゲ
ート電極129に電圧が印加されることによってセルが
選択され、ドレイン電極128に充分低い電圧が印加さ
れ、しきい値電圧の差に応じて「1」または「0」が読
み出される。以上のように、この素子においては、不揮
発的な記憶が可能である。
断面図である。この場合には、ショットキー接合された
ゲート電極129の他に、エピタキシャル成長によって
形成されたアルミニウムのゲート電極(第2の制御電
極)131も設けられる。このエピタキシャルアルミニ
ウムのゲート電極131下にはトラップが形成されにく
いので、記憶作用は出現しない。
電極129で実現され、ゲート電極131は、キャリア
の変調作用を行う。すなわち、ゲート電極131は、外
部からの制御にしたがってトラップキャリアの注入や引
き抜きを行うためのフローティングゲートとして作用す
る。つまり、ゲート電極131の制御による蓄積電荷量
によって空乏層の空間分布が制御され、その結果、コン
ダクタンスが変調される。
ルミニウムを用いた場合について説明したが、他の金属
を用いてもよい。
基板110を用いた場合について説明したが、他の半導
体、例えば、SiやHgCdTeなど、またはそれらの
組合せを用いてもよい。また、上記各実施例では、ショ
ットキー接合によるトラップ準位を用いた場合について
説明したが、半導体内部のトラップ準位や異種半導体界
面の準位、もしくは、MIS(Metal Insul
ator Semiconductor)における界面
準位やポリSi中のトラップ準位、またはそれらの組合
せを用いてもよい。
に、シリコン3次元集積素子を用い、その最上層に上記
各実施例による素子の機能を実現し、その下の層で他の
機能を実現するようにしてもよい。また、光ニューロチ
ップのように、発光素子をも集積化した構造であっても
よい。あるいは、Si上のGaAsなどの化合物半導体
成長技術によって、GaAs上に受光素子を形成しSi
上に他の機能をもつ素子を形成するようにしてもよい。
よってトラップキャリアを形成する場合について説明し
たが、実施例28〜実施例37に示すように、印加電圧
と光によって、またはそれらと電流との組合せによって
トラップキャリアを形成してもよい。
SPDが行列に配列された受光素子アレイと、このアレ
イの行に電圧を供給する制御回路と、このアレイの列か
らの電流を処理する神経ネットワークを備えた構成にし
たので、アレイの各行の感度を制御して1行ずつこのア
レイ出力を神経ネットワークで処理し、高速に画像情報
を処理できる効果がある。
ば、制御回路はアナログ電圧シフトレジスタを備えた構
成にしたので、電圧ベクトル(制御ベクトル)の要素を
周期的に循環できる効果がある。
アナログ電圧シフトレジスタの入力端と出力端とを接続
された構成にしたので、制御回路に記憶されたデータを
用いて任意に数の処理サイクルを得られる効果がある。
アナログ電圧シフトレジスタが関数発生装置と接続可能
とされた構成にしたので、1次元または2次元変換が可
能であるという効果がある。
ワークはリセット可能な積分器を備えた構成にしたの
で、さらに時間依存画像情報の処理ができる効果があ
る。
は色フィルタを備えた構成にしたので、色情報を処理で
きる効果がある。
よれば、VSPDが六角形状を形成する構成にしたの
で、生物学上の網膜と同様に画像情報を処理できる効果
がある。
からの制御電圧の要素(組)は第1の行列を構成し、か
つ神経ネットワークは第2の行列を表現する構成にした
ので、受光素子アレイに投影された画像は第1または第
2の行列の乗算されたものが出力され、また第1または
第2の行列は少なくとも1個の注目焦点の形成、水平お
よび/または垂直方向の1次元核の畳み込み、1次元ま
たは2次元の直交および非直交変換の内容に応じて設定
できる効果がある。
可能な積分器を備える構成にしたので、時間依存画像の
画像処理ができる効果がある。
の分類を行うメリット関数に従って処理する構成にした
ので、画像情報を分類し高速なプロセスで処理する効果
がある。
の分類を行うメリット関数と、該メリット関数を最適化
アルゴリズムに従って処理する最適化アルゴリズムを備
えた構成にしたので、画像情報を高速に最適化したプロ
セスで処理する効果がある。
ズムを例示する図である。
レイを示す図である。
成図である。
素子の構造図である。
を表す図である。
を持つ感度可変受光素子の構造図である。
他の構成図である。
他の構成図である。
更に他の分解斜視図である。
を示す断面図である。
を示す断面図である。
を示す断面図である。
を示す断面図である。
を示す断面図である。
を示す切欠斜視図である。
を示す断面図である。
を示す断面図である。
を示す斜視図である。
を示す断面図である。
を示す断面図である。
適用する一入力多出力型感度可変受光素子アレイを示す
平面構成図と、多入力一出力型感度可変受光素子アレイ
を示す平面構成図である。
アレイを示す平面構成図である。
アレイを示す平面構成図である。
成を示す構成図である。
び出力の処理の一例を説明するための説明図である。
び出力の処理の他の例を説明するための説明図である。
ける受光素子アレイの感度パターンおよび出力の処理を
説明するための説明図である。
ための説明図である。
を説明するための説明図である。
動作を説明するための説明図である。
場合の動作を説明するための説明図である。
を説明するための説明図である。
の動作を説明するための説明図である。
を説明するための説明図である。
うかを検出する場合の動作を説明するための説明図であ
る。
出する場合の動作を示す説明図である。
場合の動作を説明するための説明図である。
デバイスの受光素子を示す断面図である。
するための説明図である。
構造を示す断面図である。
子の構造を示す断面図である。
る。
る。
ある。
図である。
の構造を示す断面図である。
2 1個のVSPD(1個の受光素子)、3 投影画
像、4 制御回路、5 神経ネットワーク、6処理され
た画像、7 分類器、9 投影画像、10 メリット関
数評価、11最適化アルゴリズム、12 色フィルタ、
Q メリット関数、W 画像マトリックス。
Claims (17)
- 【請求項1】 行列状に配置された受光素子のアレイ
と、前記アレイの行に感度制御のための電圧を供給する
制御回路と、前記アレイの列から接地へ流れる電流を処
理する神経ネットワークとを含む、画像感知および処理
のための装置。 - 【請求項2】 前記制御回路は、アナログ電圧をシフト
するシフトレジスタを備えることを特徴とする請求項1
記載の画像感知および処理のための装置。 - 【請求項3】 前記アナログ電圧シフトレジスタは、電
荷結合素子を備えることを特徴とする請求項2記載の画
像感知および処理のための装置。 - 【請求項4】 前記アナログ電圧シフトレジスタは、サ
ンプル/ホールド回路の連鎖を備えることを特徴とする
請求項2記載の画像感知および処理のための装置。 - 【請求項5】 前記アナログ電圧シフトレジスタは、1
ビット幅のD/A変換器の組と協働する1ビット幅のデ
ィジタルシフトレジスタを使用して実現されることを特
徴とする請求項2記載の画像感知および処理のための装
置。 - 【請求項6】 前記アナログ電圧シフトレジスタは、l
+1PCM符号化アナログ電圧レベルを得るために、長
さのlの1ビット幅のディジタルシフトレジスタの連鎖
を使用して実現されることを特徴とする請求項2記載の
画像感知および処理のための装置。 - 【請求項7】 前記ディジタルシフトレジスタの出力端
部は、閉ループ動作モードを得るために、その入力に接
続されることができることを特徴とする請求項5または
請求項6記載の画像感知および処理のための装置。 - 【請求項8】 前記シフトレジスタはその入力を関数発
生器から受取ることを特徴とする請求項2ないし請求項
6のいずれか一項に記載の画像感知および処理のための
装置。 - 【請求項9】 前記神経ネットワークはリセット可能の
積分器を備えることを特徴とする請求項1記載の画像感
知および処理のための装置。 - 【請求項10】 前記アレイの受光素子には色フィルタ
が設けられることを特徴とする請求項1記載の画像感知
および処理のための装置。 - 【請求項11】 前記アレイの1行おきの受光素子は、
行における2つの近接する受光素子の間の距離の半分に
等しい距離シフトされ、受光素子の六角形状の配置を得
るようにされることを特徴とする請求項1記載の画像感
知および処理のための装置。 - 【請求項12】 前記アレイは、その受光素子の一部を
除去し、受光素子の六角形状の配置を有することを特徴
とする請求項1記載の画像感知および処理のための装
置。 - 【請求項13】 前記受光素子は六角形の形状を有する
ことを特徴とする請求項11または請求項12記載の画
像感知および処理のための装置。 - 【請求項14】 感度可変光検出素子が複数個配列され
たアレイ上へ画像を投影するステップ、前記アレイの行
へ前記受光素子の感度を制御するための制御電圧を印加
するステップ、および前記アレイの各列から接地へ流れ
る電流を入力信号として神経ネットワークへ与えて処理
をするステップを備え、前記制御電圧の組は第1の行列
を構成し、かつ前記神経ネットワークは第2の行列を表
現し、これにより前記アレイ上へ投影されかつ感知され
た画像マトリックスは、その一方または両側から前記第
1または第2の行列もしくは前記第1および第2の行列
の乗算を実行されて前記神経ネットワークから出力さ
れ、前記第1および第2の行列は、少なくとも1個の注
目焦点の形成,水平および/または垂直方向の1次元核
の畳込み、1次元または2次元の直交および非直交変換
の処理内容に応じて設定されることを特徴とする画像感
知および処理のための方法。 - 【請求項15】 リセット可能な積分器を備える神経ネ
ットワークを使用することにより、時間依存画像の処理
を行えるようにしたことを特徴とする請求項14記載の
画像感知および処理のための方法。 - 【請求項16】 複数の受光素子を有するアレイ上へ画
像を投影するステップ、前記アレイの各行へ受光素子の
感度を制御するために制御電圧を印加するステップ、前
記制御電圧の組は前記投影画像が与えるマトリックスと
乗算されるべきマトリックスを構成し、前記アレイの各
列からの電流出力に応動する分類器を用いて、前記投影
画像が属する類を分類するステップを備えた画像感知お
よび処理のための方法。 - 【請求項17】 前記分類器における分類の品質の度合
を表現するメリット関数を用いて前記分類を行うステッ
プと、前記メリット関数を最適化アルゴリズムに従って
処理し、該処理結果に従って前記制御電圧の値を変化さ
せ、これにより前記メリット関数を最適化するステップ
とを備えることを特徴とする請求項16記載の画像感知
および処理のための方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4352395A JP2809954B2 (ja) | 1992-03-25 | 1992-12-11 | 画像感知および処理のための装置および方法 |
DE4310092A DE4310092A1 (de) | 1992-03-25 | 1993-03-25 | Vorrichtung und Verfahren zum Abtasten und Verarbeiten von Bildern |
US08/688,684 US5815608A (en) | 1992-03-25 | 1996-07-29 | Apparatus and method for sensing and processing images |
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6749992 | 1992-03-25 | ||
JP18889992 | 1992-06-24 | ||
JP25184892 | 1992-08-28 | ||
JP4-67499 | 1992-09-14 | ||
JP4-188899 | 1992-09-14 | ||
JP4-269100 | 1992-09-14 | ||
JP4-251848 | 1992-09-14 | ||
JP26910092 | 1992-09-14 | ||
JP4352395A JP2809954B2 (ja) | 1992-03-25 | 1992-12-11 | 画像感知および処理のための装置および方法 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10122579A Division JPH10294899A (ja) | 1998-05-01 | 1998-05-01 | 画像感知および処理のための装置 |
JP12257898A Division JP3607074B2 (ja) | 1998-05-01 | 1998-05-01 | 画像感知および処理のための装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06139361A JPH06139361A (ja) | 1994-05-20 |
JP2809954B2 true JP2809954B2 (ja) | 1998-10-15 |
Family
ID=27524044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4352395A Expired - Lifetime JP2809954B2 (ja) | 1992-03-25 | 1992-12-11 | 画像感知および処理のための装置および方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5815608A (ja) |
JP (1) | JP2809954B2 (ja) |
DE (1) | DE4310092A1 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19532011A1 (de) * | 1995-08-31 | 1997-03-06 | Daimler Benz Ag | Netzwerk zur Beeinflussung von Signalfeldern |
US6452632B1 (en) | 1997-01-31 | 2002-09-17 | Kabushiki Kaisha Toshiba | Solid state image sensor and video system using the same |
JP2980063B2 (ja) * | 1997-06-10 | 1999-11-22 | 三菱電機株式会社 | 画像処理装置 |
JP4124861B2 (ja) | 1998-06-19 | 2008-07-23 | 株式会社東芝 | 移動量検出装置及びその方法 |
US6267294B1 (en) * | 1998-09-11 | 2001-07-31 | Robotic Vision Systems Inc. | Method of operating a charge coupled device in an accelerated mode, and in conjunction with an optical symbology imager |
US6589332B1 (en) * | 1998-11-03 | 2003-07-08 | Memc Electronic Materials, Inc. | Method and system for measuring polycrystalline chunk size and distribution in the charge of a Czochralski process |
US6249618B1 (en) * | 1998-12-18 | 2001-06-19 | Syscan, Inc. | Circuit architecture and method for switching sensor resolution |
US7158183B1 (en) | 1999-09-03 | 2007-01-02 | Nikon Corporation | Digital camera |
JP3386025B2 (ja) * | 1999-12-15 | 2003-03-10 | 株式会社ニコン | 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム |
JP5902947B2 (ja) * | 2008-10-02 | 2016-04-13 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | コレステリック液晶混合物を含むスペクトル検出器、スペクトル検出器の製造方法、並びにスペクトル検出器を含む光学バイオセンサ、照明装置及び光治療装 |
CN106137531B (zh) | 2010-02-26 | 2019-02-15 | 康奈尔大学 | 视网膜假体 |
US9302103B1 (en) | 2010-09-10 | 2016-04-05 | Cornell University | Neurological prosthesis |
CN103890781B (zh) | 2011-08-25 | 2017-11-21 | 康奈尔大学 | 用于机器视觉的视网膜编码器 |
US9427569B2 (en) * | 2012-05-09 | 2016-08-30 | Po-Kang Lin | Structure of artificial electronic retina |
US9716852B2 (en) | 2015-04-03 | 2017-07-25 | Semiconductor Energy Laboratory Co., Ltd. | Broadcast system |
EP3291780A4 (en) | 2015-04-20 | 2019-01-23 | Cornell University | MACHINE VISION WITH DIMENSION DATA REDUCTION |
JP6674838B2 (ja) | 2015-05-21 | 2020-04-01 | 株式会社半導体エネルギー研究所 | 電子装置 |
US10542961B2 (en) | 2015-06-15 | 2020-01-28 | The Research Foundation For The State University Of New York | System and method for infrasonic cardiac monitoring |
WO2018025116A1 (en) * | 2016-08-03 | 2018-02-08 | Semiconductor Energy Laboratory Co., Ltd. | Imaging device, imaging module, electronic device, and imaging system |
US10551223B2 (en) * | 2017-03-20 | 2020-02-04 | Tt Electronics Plc | Method and apparatus for configurable photodetector array patterning for optical encoders |
JP7217227B2 (ja) | 2017-05-02 | 2023-02-02 | 株式会社半導体エネルギー研究所 | 撮像装置、及び電子機器 |
US10586129B2 (en) * | 2018-02-21 | 2020-03-10 | International Business Machines Corporation | Generating artificial images for use in neural networks |
CN108444524B (zh) * | 2018-03-13 | 2021-08-27 | 广东里田电力工业有限公司 | 一种带有智能温度显示的新型传感器 |
US10904049B1 (en) | 2019-07-11 | 2021-01-26 | Stmicroelectronics (Research & Development) Limited | Time domain discrete transform computation |
CN110991619A (zh) * | 2019-12-09 | 2020-04-10 | Oppo广东移动通信有限公司 | 神经网络处理器、芯片和电子设备 |
CN112102167B (zh) * | 2020-08-31 | 2024-04-26 | 深圳市航宇数字视觉科技有限公司 | 一种基于视觉感知的图像超分辨率方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS56164681A (en) * | 1980-05-22 | 1981-12-17 | Matsushita Electronics Corp | Solidstate image pick-up device |
JPS6027870A (ja) * | 1983-07-26 | 1985-02-12 | Nec Corp | スタ−センサにおけるデ−タ処理装置 |
US4660090A (en) * | 1985-08-27 | 1987-04-21 | Texas Instruments Incorporated | CCD imager with on-chip processing |
DE3635687A1 (de) * | 1986-10-21 | 1988-05-05 | Messerschmitt Boelkow Blohm | Bildaufnahmesensor |
US5053974A (en) * | 1987-03-31 | 1991-10-01 | Texas Instruments Incorporated | Closeness code and method |
US5014219A (en) * | 1988-05-06 | 1991-05-07 | White James A | Mask controled neural networks |
US4985618A (en) * | 1988-06-16 | 1991-01-15 | Nicoh Company, Ltd. | Parallel image processing system |
US4988891A (en) * | 1989-05-09 | 1991-01-29 | Mitsubishi Denki Kabushiki Kaisha | Semiconductor neural network including photosensitive coupling elements |
US5113365A (en) * | 1989-05-16 | 1992-05-12 | Massachusetts Institute Of Technology | Method and charge coupled apparatus for algorithmic computations |
JP2872759B2 (ja) * | 1989-06-08 | 1999-03-24 | 富士写真フイルム株式会社 | 固体撮像システム |
JP2752442B2 (ja) * | 1989-06-28 | 1998-05-18 | 三菱電機株式会社 | 視覚情報処理素子 |
DE3929132A1 (de) * | 1989-09-01 | 1991-03-07 | Siemens Ag | Neuronales netzwerk mit optischer programmierung in duennfilmtechnologie |
US5140670A (en) * | 1989-10-05 | 1992-08-18 | Regents Of The University Of California | Cellular neural network |
US5138695A (en) * | 1989-10-10 | 1992-08-11 | Hnc, Inc. | Systolic array image processing system |
JP2575215B2 (ja) * | 1989-10-30 | 1997-01-22 | 富士写真フイルム株式会社 | カラー画像形成装置 |
US5067164A (en) * | 1989-11-30 | 1991-11-19 | At&T Bell Laboratories | Hierarchical constrained automatic learning neural network for character recognition |
US4997249A (en) * | 1990-02-26 | 1991-03-05 | The United States Of America As Represented By The Secretary Of The Navy | Variable weight fiber optic transversal filter |
US5129041A (en) * | 1990-06-08 | 1992-07-07 | Grumman Aerospace Corporation | Optical neural network processing element with multiple holographic element interconnects |
US5091965A (en) * | 1990-07-16 | 1992-02-25 | Sony Corporation | Video image processing apparatus |
US5227886A (en) * | 1991-02-19 | 1993-07-13 | Hughes Aircraft Company | Optical imaging/display CCD light valve and method |
US5251037A (en) * | 1992-02-18 | 1993-10-05 | Hughes Training, Inc. | Method and apparatus for generating high resolution CCD camera images |
US5244818A (en) * | 1992-04-08 | 1993-09-14 | Georgia Tech Research Corporation | Processes for lift-off of thin film materials and for the fabrication of three dimensional integrated circuits |
-
1992
- 1992-12-11 JP JP4352395A patent/JP2809954B2/ja not_active Expired - Lifetime
-
1993
- 1993-03-25 DE DE4310092A patent/DE4310092A1/de not_active Ceased
-
1996
- 1996-07-29 US US08/688,684 patent/US5815608A/en not_active Expired - Lifetime
Non-Patent Citations (1)
Title |
---|
OHTA J,ET.AL.,"DYNAMIC OPTICAL NEUROCHIP USING VARIABLE−SENSITIVITY PHOTODIODES",OPTICS LETTERS,VOL.16,NO.10,MAY 15,1991 |
Also Published As
Publication number | Publication date |
---|---|
US5815608A (en) | 1998-09-29 |
DE4310092A1 (de) | 1993-09-30 |
JPH06139361A (ja) | 1994-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2809954B2 (ja) | 画像感知および処理のための装置および方法 | |
Kim et al. | Bio‐inspired artificial vision and neuromorphic image processing devices | |
Moini | Vision chips or seeing silicon | |
US10186626B2 (en) | Photon-effect transistor | |
Zhang et al. | Wafer-scale fabrication of CMOS-compatible trapping-mode infrared imagers with colloidal quantum dots | |
US20230186060A1 (en) | Novel neuromorphic vision system | |
US11710758B2 (en) | Optoelectronic apparatus, a reading-out method, and a uses of the optoelectronic apparatus | |
JP3607074B2 (ja) | 画像感知および処理のための装置 | |
Junior et al. | Filter-free color pixel sensor using gated PIN photodiodes and machine learning techniques | |
Lange et al. | Optical neural chips | |
Mennel et al. | A photosensor employing data-driven binning for ultrafast image recognition | |
US8071410B2 (en) | Multi spectral sensor | |
Boahen | Retinomorphic vision systems: Reverse engineering the vertebrate retina | |
Wang et al. | Multidimensional vision sensors for information processing | |
JPH10294899A (ja) | 画像感知および処理のための装置 | |
CN117911784A (zh) | 一种基于高保真模拟光子神经网络的目标图像识别系统 | |
Tabet | Double sampling techniques for CMOS image sensors | |
CN113612942B (zh) | 一种卷积视觉图像传感器 | |
WO2018075997A1 (en) | Motion tracking using multiple exposures | |
JPH07302928A (ja) | 半導体受光素子ならびに半導体受光素子アレイおよび画像処理装置ならびに画像処理方法 | |
Hong | On-chip spatial image processing with CMOS active pixel sensors | |
JPH02184072A (ja) | 固体撮像装置 | |
US4994876A (en) | Light detecting element and light detecting array | |
CN118398638B (zh) | 多色光电突触成像电路、芯片及图像传感器 | |
US20240222404A1 (en) | Image capture apparatus and methods using color co-site sampling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080731 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080731 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090731 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100731 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110731 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110731 Year of fee payment: 13 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110731 Year of fee payment: 13 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110731 Year of fee payment: 13 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 14 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 15 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 15 |