JP2809954B2 - 画像感知および処理のための装置および方法 - Google Patents

画像感知および処理のための装置および方法

Info

Publication number
JP2809954B2
JP2809954B2 JP4352395A JP35239592A JP2809954B2 JP 2809954 B2 JP2809954 B2 JP 2809954B2 JP 4352395 A JP4352395 A JP 4352395A JP 35239592 A JP35239592 A JP 35239592A JP 2809954 B2 JP2809954 B2 JP 2809954B2
Authority
JP
Japan
Prior art keywords
light receiving
image
processing
sensitivity
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP4352395A
Other languages
English (en)
Other versions
JPH06139361A (ja
Inventor
エバーハルト・ランゲ
修市 田井
優一 小柴
和生 久間
淳 太田
嘉一 新田
邦彦 原
孝 豊田
英一 船津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP4352395A priority Critical patent/JP2809954B2/ja
Priority to DE4310092A priority patent/DE4310092A1/de
Publication of JPH06139361A publication Critical patent/JPH06139361A/ja
Priority to US08/688,684 priority patent/US5815608A/en
Application granted granted Critical
Publication of JP2809954B2 publication Critical patent/JP2809954B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、受光素子(以下、感
度可変光検出素子、VSPD、光検出器などと称する)
のアレイ、制御回路および神経ネットワークを用いた画
像感知および処理のための装置および方法に関するもの
である。
【0002】
【従来の技術】図52に典型的な先行技術の画像処理装
置を示すもので、CCDカメラ520、フレームバッフ
ァ521、コンピュータ522および任意に専用ハード
ウエア523から構成されている。
【0003】他の先行技術の画像処理装置は、生物学上
に網膜の動作原理を模倣しようとしている。たとえば、
1991年5月、サイエンティフィックアメリカン(S
cientific American)、40頁ない
し46頁、エム・エー・マホウォルド(Mahowal
d)氏およびシー・ミード(Mead)氏による、「シ
リコン網膜」、エム・エー・マホウォルド(Mahow
ald)氏およびシー・ミード(Mead)氏による、
「シリコン網膜、アナログVLSIおよび神経システ
ム」(アディソン・ウェズレイ・リーディング(Add
ison Wesley,Reading),MA、1
989年)第15章を参照。
【0004】図52に示される先行技術の画像処理装置
においては、CCDカメラ520は、システムの入力画
像を感知する。ついで、画像は、フレームバッファ52
1へ連続的に転送される。フレームバッファ521の記
憶画像情報は、画像がコンピュータ522または専用ハ
ードウエア523により、もしくは双方により処理され
る。
【0005】上述のシリコン網膜は、生物学上の網膜の
いくつかの特性を実現しようとする。まず第1に、対数
応答曲線を有する光検出器が使用される。第2に、検出
器の近隣結合を実現するために、抵抗ネットワークが使
用される。第3に、調子の合った動きが生物学上の網膜
のものと類似している輝度適合機構が用いられる。
【0006】図53は、例えば「CCDの基礎」(塚本
哲男著,オーム社,1980年)の193ページに示さ
れたCCDイメージセンサの構造図であり、このCCD
イメージセンサーは画像処理装置に適するもので、図に
おいて、531は受光エレメント、532は非照射領域
のCCDレジスタ、533は出力レジスタ、534は出
力用のフローティング拡散領域、535は出力端子、5
36は出力用のフローティング拡散領域534をリセッ
トする端子、537はリセット時の放電端子、538は
クロックA、539はクロックBである。
【0007】従来のCCDイメージセンサは上記のよう
に構成され、垂直に並んだライン状の受光エレメント5
31と非照射領域のCCDレジスタ532の平行列から
成っており、それぞれの垂直列のCCDレジスタ532
からの出力は、全て並列に一つの出力レジスタ533に
導かれる。各受光エレメント531において、光の像は
光透過性のポリSiゲートを持ったMOSキャパシタに
よって検出される。通常のTVモードにおいては、各フ
ィールドに対し1/60秒の光集積時間を持ち、隣合っ
た二つの受光エレメントからの出力が一緒になって、一
つの信号電荷として垂直列のレジスタ532の一組のエ
レメントに転送される。その後全体の光の像の信号電荷
はクロックAにて転送され、水平列の出力レジスタ53
3に並列に入り、クロックAよりも速いクロックBに
て、次の信号が入ってくるまでに出力用のフローティン
グ拡散領域534まで転送され、出力端子535からシ
リアルに読み出される。以上のようにして図53に示さ
れるCCDイメージセンサーは、受光部に投影された画
像を読み出すことが出来る。
【0008】図54は、例えばサンら「量子エレクトロ
ニクス」,第25巻,第5号,第896〜903頁(1
989年)(C.C.Sun,”Quantum El
ectronics”,Vol.25,No.5,p
p.896−903,(1989))に示された従来の
感度可変受光素子の断面図であり、この感度可変受光素
子は画像処理装置に適するもので、図において、541
は透明なポリシリコン電極、542は酸化シリコン絶縁
膜、543は金属製の出力電極、544はP+ 型シリコ
ン層、545はn型シリコン基板、546は空乏層であ
る。
【0009】次に動作について説明する。従来の感度可
変受光素子は、このように、ポリシリコン電極541−
酸化シリコン絶縁膜542−n型シリコン基板545の
積層により、MIS(Metal−Insulator
−Semiconductor)構造となっている。よ
って、ポリシリコン電極541に負のバイアス電圧VG
を印加した場合、酸化シリコン絶縁膜542とn型シリ
コン基板545の界面近傍に空乏層546が生ずる。
【0010】入射光(hν)は、この感度可変受光素子
に対して、垂直方向から、酸化シリコン絶縁膜542→
ポリシリコン電極541→酸化シリコン絶縁膜542の
順に透過して空乏層546に入射する。そして、入射光
の波長がn型シリコン基板545を構成する半導体の吸
収端の波長より短い場合は、空乏層546に光電流Iph
(電子−ホール対)が発生する。発生した電子は、p型
半導体(p+ 型シリコン層544)とn型半導体(n型
シリコン基板545)のp−n接合に集められ、出力電
極3から取り出される。
【0011】この素子から発生する光電流Iphの大きさ
は空乏層546の厚さに比例し空乏層546の厚さが増
加するに従って光電流Iphが増加する。ところで、空乏
層546の厚さは、ポリシリコン電極541に加えるバ
イアス電圧VG の大きさに比例する。従って、この図に
示される素子は、ポリシリコン電極541に加えるバイ
アス電圧VG を調整することにより、素子に流れる光電
流Iphの大きさ、すなわち入射光に対する感度を可変に
することができる。
【0012】図55は例えばニューロコンピュータ工学
(工業調査会,1992年発行)P.154に示された
従来の人工網膜素子の構成を示す構成図である。この人
工網膜素子は画像前処理用の素子として用いられ、入力
画像の特徴抽出、例えば、動体の検出などに適するもの
で、図において、551は平面波のレーザ光を発するレ
ーザ、552は光を反射および透過するハーフミラー、
553は光を反射するミラー、554は波面反射機能を
有する位相共役鏡、555は物体の映像を出力するテレ
ビカメラ、556は光の位相を変調する液晶、557は
出力スクリーンである。
【0013】次に動作について説明する。液晶556は
例えば液晶テレビジョンから偏光子および検出子を取り
除いたものであり、テレビカメラ555からの映像信号
を表示する。レーザ551からの平面波のレーザ光は、
液晶556を通り、位相共役鏡554に入る。そして、
位相共役鏡554の波面反転機能によって逆の位相の光
波が反射される。反射光が再び液晶556を通過するこ
とにより、波面が補償され、静止画像に対する出力光に
液晶の影響は現れない。すなわち、その出力光は平面波
となる。しかし、位相共役鏡554の応答時間は通常ミ
リ秒〜秒オーダであるため、動いている画像に対しては
波面が補償されず、動画像については液晶556の影響
が残存する。従って、出力スクリーン557には、動画
像のみが現れる。
【0014】図56は、従来の画像情報処理装置の概略
構成を示す構成図である。図において、561は画像の
撮像を行うCCDカメラ、562は撮像された画像の前
処理を行う前処理部、563は画像を表示する処理画像
表示用の計算機、564はCCDカメラ561と前処理
部562との間の信号を伝える信号線、565は前処理
部562と計算機563との間の信号を伝える信号線で
ある。
【0015】また、566は画像を記憶する画像メモ
リ、567は前処理部562と画像メモリ566との間
の信号を伝える信号線であり、568は最初に入力され
る画像パターン、569は次に入力される画像パターン
を示す。
【0016】次に動作について説明する。CCDカメラ
561が撮像した画像パターンは、光強度に応じたCC
Dの各画素出力電圧値として、時系列的に出力される。
この出力値列は、前処理部562によって画像メモリ5
66に蓄積される。同様に、次の画像パターン569に
関する出力値列も画像メモリ566に蓄積される。
【0017】そして、例えば、2つの画像パターンの排
他的論理和(EXOR)を得たい場合には、前処理部5
62は、画像メモリ566から2つの画像パターン56
8,569の信号を読み出し、各画素についてEXOR
演算を行い、その結果を計算機563に出力する。計算
機563は、前処理部562の演算結果を表示する。
【0018】図57は従来の記憶素子の一つである電気
的消去可能プログラマブルROM(EEPROM)の構
造を示す断面図である。図において、570はソース電
極、571はドレイン電極、572はP型シリコン基板
573上に形成されたn型ソース領域、574はP型シ
リコン基板573上に形成されたn型ドレイン領域、5
75は数10nm程度のシリコン酸化膜、576は電荷
蓄積用のポリシリコンフローティングゲート、577は
コントロールゲート電極である。
【0019】次に動作について説明する。書き込み時、
コントロールゲート電極577とドレイン電極571と
の間に正の高電圧が加えられる。すると、ドレインにホ
ットエレクトロンが発生し、このホットエレクトロン
は、ドレイン側からシリコン酸化膜575を通してポリ
シリコンフローティングゲート571に注入される。こ
の結果、コントロールゲート電極577から見たしきい
値電圧が高い状態(「0」状態)になる。ゲート電圧が
しきい値以下の時、ドレイン電流は流れにくくなる。
【0020】消去時、ソース側から、F−N(Flow
er−Nordheim)トンネリングで電子が引き抜
かれ、しきい値電圧の低い状態(「1」状態)とされ
る。また、読み出し時には、コントロールゲート電極5
77に電圧を加えることによりセルが選択され、ホット
エレクトロンを発生させないようにドレイン電極571
に充分低い電圧が印加され、セルのしきい値電圧の差に
応じて「1」または「0」が読み出される。
【0021】
【発明が解決しようとする課題】従来の画像感知および
処理のための装置は以上のように構成されているので、
システムの複雑さ、大きさおよび価格と、直列データ処
理がボトルネックとなるためにもたらされる低いフレー
ム速度と、システムが画像のただ小さい部分のみを感知
し処理することを可能にする注意点集中機構の存在しな
いなどの問題点があった。また、シリコン網膜を用いる
方法は、遅い応答時間と、画像に対し行うことのできる
処理の種類の少なさと、処理の種類が固定されていると
いう問題点があった。
【0022】従来のイメージセンサーは以上のように構
成されているので、機能としては画像をそのまま検出す
るだけで、画像処理を行うためには専用回路或いはコン
ピュータを後ろに接続する必要があった。そのため実時
間処理が可能でかつ小型の装置を得ることは困難であっ
た。さらに、受光エレメントからの出力は多段の転送に
よって出力端子まで送られるため、原理的に読み出しに
は多くのクロック数を必要とし、高速な画像処理には適
さないという問題点があった。
【0023】従来の感度可変受光素子は以上のように構
成されているので、光電流Iphの流れる向きは常に一定
で、感度が可変なのはこの光電流Iphの向きに対応する
正の向きにおいてだけである。このため、光画像処理シ
ステムおよび光コンピューティングへの適用を行う場
合、負の感度または負の重みをもたせることができない
という問題点があった。
【0024】従来の人工網膜素子は以上のように構成さ
れているので、光源としてレーザ21が必要とされ、ま
た、液晶556や高価な位相共役鏡554も必要とされ
るので、寸法や消費電力が大きくなり、かつ、価格が高
価になるという問題点があった。
【0025】従来の画像情報処理装置は以上のように構
成されているので、画像の処理を行うには、画像情報を
一旦画像メモリ566に蓄積し、その後逐次画像情報を
前処理部562に送り込み、画素単位に処理を行わなけ
ればならず、画素数が多くなると処理時間が長くなると
いう問題点があった。
【0026】また、従来の記憶素子は以上のように構成
されているので、キャリア注入を効果よく行うためにシ
リコン酸化膜575をきわめて薄く均一に形成しなけれ
ばならず、製造時に歩どまりが悪くなったり、素子構造
が複雑になって製造工程が複雑になるなどの問題点があ
った。
【0027】請求項1ないし請求項13記載の発明は、
簡易な構成、小規模かつ低価格を有し、かつ画像処理の
種類は制限されているが広い選択を行える、高いフレー
ム速度、注目焦点を形成するための能力、および高いデ
ータスループットおよび神経ネットワークとの持続可能
性を有する画像感知および処理のための装置を得ること
を目的とする。
【0028】請求項14ないし請求項17記載の発明
は、様々な画像情報を高速に処理する画像感知および処
理のための方法を得ることを目的とする。
【0029】
【課題を解決するための手段】請求項1記載の発明に係
る画像感知および処理のための装置は、行列状に配置さ
れた受光素子のアレイとの行に感度制御のための電圧を
供給する制御回路と、前記アレイからの電流を処理する
神経ネットワークとを備えるものである。
【0030】請求項2記載の発明に係る画像感知および
処理のための装置は、請求項1において制御回路が、ア
ナログ電圧をシフトするシフトレジスタを備えるもので
ある。
【0031】請求項3記載の発明に係る画像感知および
処理のための装置は、請求項2においてアナログ電圧シ
フトレジスタが、電荷結合素子を備えるものである。
【0032】請求項4記載の発明に係る画像感知および
処理のための装置は、請求項2においてアナログ電圧シ
フトレジスタが、サンプル/ホールド回路の連鎖を備え
るものである。
【0033】請求項5記載の発明に係る画像感知および
処理のための装置は、請求項2においてアナログ電圧シ
フトレジスタが、1ビット幅のD/A変換器の組と協働
する1ビット幅のディジタルシフトレジスタを使用して
実現される。
【0034】請求項6記載の発明に係る画像感知および
処理のための装置は、請求項2においてアナログ電圧シ
フトレジスタが、l+1PCM符号化アナログ電圧レベ
ルを得るために、長さlの1ビット幅のディジタルシフ
トレジスタの連鎖を使用して実現される。
【0035】請求項7記載の発明に係る画像感知および
処理のための装置は、請求項5または6においてディジ
タルシフトレジスタの出力端部は、閉ループ動作モード
を得るために、その入力に接続される。
【0036】請求項8の発明に係る画像感知および処理
のための装置は、請求項2ないし6においてシフトレジ
スタはその入力を関数発生器から受取る。
【0037】請求項9記載の発明に係る画像感知および
処理のための装置は、請求項1において神経ネットワー
クはリセット可能の積分器を備える。
【0038】請求項10記載の発明に係る画像感知およ
び処理のための装置は、請求項1においてアレイの各光
検出素子には色フィルタが設けられる。
【0039】請求項11記載の発明に係る画像感知およ
び処理のための装置は、請求項1においてアレイの1行
おきの受光素子が、行における2つの近接する受光素子
の間の距離の半分に等しい距離シフトされ、受光素子の
六角形状の配置を得るようにされる。
【0040】請求項12記載の発明に係る画像感知およ
び処理のための装置は、請求項1においてアレイが、そ
の受光素子の一部を除去し、受光素子の六角形状の配置
を有する。
【0041】請求項13記載の発明に係る画像感知およ
び処理のための装置は請求項11または12において受
光素子が六角形の形状を有する。
【0042】請求項14記載の発明に係る画像感知およ
び処理のための方法は、制御回路からの制御電圧の要素
(組)は第1の行列を表現し、かつ神経ネットワークは
第2の行列を表現し、受光素子アレイに投影された画像
は第1または第2の行列の乗算されたものが出力される
ようにするものである。
【0043】請求項15記載の発明に係る画像感知およ
び処理のための方法は、請求項14においてリセット可
能な積分器を備える神経ネットワークを用いて、時間依
存画像の処理を行えるようにするものである。
【0044】請求項16記載の発明に係る画像感知およ
び処理のための方法は、アレイの各列からの電流出力に
応動する分類器を用いて、前記投影画像が属する類を分
類するものである。
【0045】請求項17記載の発明に係る画像感知およ
び処理のための方法は、請求項16においてメリット関
数を最適化アルゴリズムに従って処理し、該処理結果に
従って前記制御電圧の値を変化させるものである。
【0046】
【作用】請求項1記載の発明における画像感知および処
理のための装置は、複数のVSPDが行列状に配列され
た受光素子アレイと、このアレイの行に電圧を供給する
制御回路と、このアレイの列からの電流の処理する神経
ネットワークを備えた構成にしたので、アレイの各行の
感度を制御して1行ずつこのアレイ出力を神経ネットワ
ークで処理しているので、高速に画像情報を処理でき
る。
【0047】請求項2ないし請求項6記載の発明によれ
ば、制御回路はアナログ電圧シフトレジスタを備えた構
成にしたので、電圧ベクトル(制御ベクトル)の要素を
周期的に循環できる。
【0048】請求項7記載の発明における制御回路は、
アナログ電圧シフトレジスタの入力端と出力端とを接続
された構成にしたので、制御回路に記憶されたデータを
用いて任意の数の処理サイクルを得られる。
【0049】請求項8記載の発明における制御回路は、
アナログ電圧シフトレジスタが関数発生装置と接続可能
とされた構成にしたので、1次元または2次元変換が可
能である。
【0050】請求項9記載の発明における神経ネットワ
ークは、リセット可能な積分器を備えた構成にしたの
で、さらに時間依存画像情報の処理ができる。
【0051】請求項10記載の発明におけるVSPD
は、色フィルタを備えた構成にしたので、色情報を処理
できる。
【0052】請求項11ないし請求項13記載の発明に
おけるVSPDは、六角形状を形成する構成にしたの
で、生物学上の網膜と同様な方法で画像情報を処理でき
る。
【0053】請求項14記載の発明における制御回路か
らの制御電圧の要素(組)は、第1の行列を構成し、か
つ神経ネットワークは第2の行列を表現する構成にした
ので、受光素子アレイに投影された画像は第1または第
2の行列の乗算されたものが出力され、また第1または
第2の行列は少なくとも1個の注目焦点の形成、水平お
よび/または垂直方向の1次元核の畳み込み、1次元ま
たは2次元の直交および非直交変換の内容に応じて設定
できる。
【0054】請求項15記載の発明における画像感知お
よび処理のための方法は、リセット可能な積分器を備え
る構成にしたので、時間依存画像の画像処理を行える。
【0055】請求項16記載の発明における画像感知お
よび処理のための方法は、画像情報の分類を行うメリッ
ト関数に従って処理する構成にしたので、画像情報を分
類し高速なプロセスで処理する。
【0056】請求項17記載の発明における画像感知お
よび処理のための方法は、画像情報の分類を行うメリッ
ト関数と、該メリット関数を最適化アルゴリズムに従っ
て処理する最適化アルゴリズムを備えた構成にしたの
で、画像情報を高速に最適化したプロセスで処理する。
【0057】
【実施例】実施例1. 図1は、この発明の動作原理を例示する図である。図1
において、1はVSPDのVSPDアレイ、2は1個の
VSPD、3はVSPDアレイ1上に投影される画像、
4は制御電圧ui をVSPDアレイ1へ供給する制御回
路、5はVSPDアレイの出力電流ji を処理するネッ
トワーク、6は処理された画像を示す。
【0058】この発明の核心部分はVSPD2のVSP
Dアレイ1である。このVSPD2は、例えばMSM
(金属−半導体−金属)型の光検出器のことであり、そ
の感度sは電圧uを制御ポートに印加することにより負
から正の値に変化させることができ、 s=f(u)……(1) であり、感度sは、VSPD2の出力ポートから接地へ
流れる電流jを、VSPD2上の照射束Φeで割算した
ものとして定義され、 s=j/Φe……(2) である。共通の電圧ui がVSPDアレイ1の第i行の
制御ポートに与えられる。各列においてVSPD2の出
力ポートは接続される。従って、k番目の列の個々のV
SPD2からの電流は、合計され、合計電流jk を結果
として生ずる。
【0059】VSPDアレイ1はVSPD2の各列に対
して、VSPD2上の照射束に対して重み付けされた合
計を作る能力を有する。もしi番目の行およびj番目の
列におけるVSPD2を流れる電流が、i番目の行にお
けるVSPD2の感度およびVSPD2の表面上の照射
束Wijに比例していれば、重み付けされた総和は、ベク
トル−マトリックス積、 j=Ws,……(3) として書くことができる。ただし、W=(Wjk)は、V
SPDアレイ1上に投影されている画像3のマトリック
ス表現を示し、sはVSPD2の1行の感度のベクトル
であり、かつjは、VSPD2の列から接地へ流れる出
力電流jk のベクトルである。感度スペクトルsの要素
i は式(1)に特定されるように、制御ベクトルuの
電圧ui により制御することができる。
【0060】 si =f(ui )……(4) ベクトル−マトリックス積の基本的な演算に基づいて、
マトリックス乗算 J=WS,……(5) が実現される。これは、制御回路4を使用して1ライン
ずつマトリックスSをニューロチップに送り込み、かつ
出力ベクトルjをマトリックスJについて時分割多重動
作モードで記録することによって実現される。
【0061】もし接続マトリックスTを有する単純な神
経ネットワーク5が出力ベクトルjの処理のために加え
られれば、画像マトリックスWは、任意のマトリックス
で両側から乗算することができ、 V=TWS,……(6) であり、Vは神経ネットワークの出力ベクトル v=Tj=TWs……(7) を時分割多重化された動作モードでライン毎に記録する
マトリックスである。マトリックスVは、処理された画
像6を含む。
【0062】数多くの画像処理動作をこの種のマトリッ
クス乗算を使用して行うことができる。例えば、種々の
特徴を抽出して、サインおよびコサイン変換のような直
交変換を行うことができる。いくつかの可能性について
は、この発明の後の実施例において説明しかつ例示す
る。
【0063】時間依存画像の処理を可能にするために、
ある種のリセッタブル積分器付きの神経ネットワーク5
を用いる。
【0064】
【数1】
【0065】であり、[0,t0 ]は、積分の時間幅で
ある。例えば、動き検出を、設定
【0066】
【数2】
【0067】を使用して行うことができる。なぜなら方
程式8は、 v(t0)=T0 (W2 −W1 )s0 ……(13) と書換えることができるからである。出力ベクトルv
は、式(10)および(11)において特定された時間
幅における2つの画像マトリックス間の差のみに依存す
る。もし投影された画像に動きがなければ(W1 =W
2 )、システムは応答しない[v(t0 )=0]。
【0068】垂直方向における注目焦点は、VSPD2
の特定のいくつかの行だけを感度のよいものとし、すべ
ての他の感度をゼロに設定することにより形成すること
ができる。水平方向においては、注目焦点は、関係のな
い出力ベクトルjまたはvの要素を単に無視することに
より形成することができる。多数の注目焦点を同様の方
法で実現でき、かつ任意のシーケンスでその画像の画素
を読出すことさえ可能である。
【0069】システムの動作速度、すなわち1秒間に処
理することができる制御ベクトルuの数は、VSPD2
および電子回路の性能に依存する。例えば、GaAs金
属−半導体−金属VSPD(MSM−VSPD)は、1
GHz以上の非常に早い速度で動作することができる。
この場合、性能を制限するものは、主に電子回路の速度
である。複雑な電子回路を必要としない実現例は、典型
的には約1MHzで動くことができる。神経ネットワー
ク5がシステムに含まれる場合には、ネットワークのハ
ードウエア化装置の速度もまた制限要因である。現在、
入手可能である神経ネットワークは、約1MHzで動作
することができる[インテル(Intel)、64ニュ
ーロンを有するETANN−チップ参照]。
【0070】実施例2. 図2は、エッジ抽出プロセスを例示する図である。図2
において、1はVSPDのアレイ、2は1個のVSP
D、3はVSPDアレイ1上に投影される画像、5はV
SPDアレイ1の出力電流ji を処理する神経ネットワ
ーク、6は処理された画像を示す。
【0071】図2は、どのように斜めのエッジが単純な
セットアップで抽出されるかを示す。画像3はVSPD
アレイ1上に投影される。制御ベクトルuの要素は、感
度ベクトルs=(2,−1,0,…0,−1)を結果と
して生ずる値に設定される。制御ベクトルの要素は、周
期的に循環けた送りされる。方程式5のマトリックス表
現において、ほぼ三重対角線のマトリックスは感度ベク
トルのシーケンスを現わす。
【0072】
【数3】
【0073】上記式(14)において、Nは感度ベクト
ルの長さ、すなわちVSPD2の行の数を示す。VSP
Dアレイ1の出力は接続マトリックスT=Sを用いて、
神経ネットワーク5により処理される。神経ネットワー
ク5の出力ベクトルvは、処理された画像を1ライン単
位で現わす。処理された画像6は、投影された画像3の
ただ抽出された斜めの端縁のみを含む。マトリックスS
およびTは、TOEPLITZである。従って、両側か
らのこれらの2つのマトリックスと画像マトリックスW
との乗算もまた、核Kについての循環畳込みとして現わ
すことができる。
【0074】
【数4】
【0075】動作原理の理解を容易にするために、意図
的に単純なマトリックスSおよびTを上では選んでい
る。もし任意のTOEPLITZマトリックス Sjk=a(j+k)modN ……(16) および Tjk=b(j+k)modN ……(17) を使用すれば、 K=abT ……(18) の形式の核を有する畳込みが実現できる。aおよびbは
長さNの任意のベクトルである。この形式の核を用いた
2次元の畳込みは、2つの1次元の畳込みへ分解するこ
とができる。例えば、a=(−1,0,1,0,0…)
T ,b=(1,0,0,…)(垂直端縁の抽出)、a=
(1,0,0,…)T ,b=(−1,0,1,0,0,
…)(水平端縁の抽出)およびa=(−1,0,1,
0,0,…)T ,b=(−1,0,1,0,0,…)
(斜めの端縁の抽出のためのもう1つの可能性)であ
る。
【0076】制御ベクトルの要素は、周期的に循環けた
送りされることはすでに上に述べている。この種のけた
送り動作は、アナログ電圧用シフトレジスタを使用する
ことにより、ハードウエアで容易に実現できる。たとえ
ば、電荷結合素子(CCD)またはサンプルおよびホー
ルド回路の連鎖が、アナログ電圧用シフトレジスタとし
て働くことができる。また、アナログ電圧のためのシフ
トレジスタは、1ビットD/A変換器の組と協働する1
ビット幅のディジタルシフトレジスタを使用することに
より、またはl+1パルス符号変調(PCM変調)され
たアナログ電圧レベルを得るために、長さlの1ビット
幅のディジタルシフトレジスタの連鎖を使用することに
よりディジタル的に実現することができる。
【0077】アナログ電圧用シフトレジスタのディジタ
ルな実現は、閉ループ動作モードを得るために、その終
端部をその入力に接続することができるという利点を有
する。このことは、制御電圧をただ一度だけループ内に
送込まなければならないことを意味する。そうすれば、
電圧はループ内に記憶され、この記憶されたデータを使
用して任意の数の画像処理サイクルを行うことができ
る。
【0078】上に指摘したすべての畳込みおよび特徴抽
出動作は、注目焦点機構およびこの発明の実施例1にお
いて述べられた時間依存画像の処理と組合せることがで
きる。このことは、たとえば、画像のある領域における
運動する斜め端縁の検出のためのシステムを構成するこ
とができることを意味する。
【0079】実施例3. この発明を用いて、また、入力画像Wに対してサイン
(sin)変換、コサイン(cos)変換、ウォルシュ
(WALSH)変換およびウェイブレット(wavel
et)変換のような、1次元および2次元の変換を行う
ことも可能である。これは、1次元の基本システムの基
本ベクトルを感度ベクトルおよび神経ネットワークの接
続マトリックスTの行ベクトル双方に対して使用するこ
とにより達成される。例えば、2次元のコサイン変換
は、設定
【0080】
【数5】
【0081】を使用する場合に行われる。ただし、Nは
VSPDの行および列の数を示す。これは、方程式6を
その明瞭な形式、
【0082】
【数6】
【0083】で書くことにより確認することができる。
正規化定数は別として、式(20)は、2次元のコサイ
ン変換の定義である。式(19)および(20)におけ
るコサイン関数は、サイン関数で置き換えることもでき
その場合2次元サイン変換が得られる。
【0084】実施例4. 図3は直接画像認識プロセスを例示する図である。図3
において、1はVSPDのアレイ、2は1個のVSP
D、3はVSPDアレイ1上に投影される画像、7は投
影された画像をいくつかの類8の1つに分類器を示す。
【0085】図4は画像認識プロセスの最適化のための
アルゴリズムを例示する図である。図4において、1は
VSPDのアレイ、2は1個のVSPD、9はVSPD
アレイ1上に投影される画像、10はメリット関数評価
を示し、11は最適化アルゴリズムを示す。
【0086】次に、この発明の第4実施例を示す図3を
特に参照する。出力ベクトルj(式(3)参照)は、画
像Wの低次元の表現を構成する。本来の画像の代わり
に、この表現は、画像の分類および認識のために使用す
ることができる。
【0087】たとえば、その表現は、多数の画像9の直
接認識の目的のために、分類器7に送込むことができ
る。このことは、本来の画像ではなく画像の低次元の表
現のみが分類器7に記憶されることを意味する。分類の
目的のためには、はるかに少ないデータ量を処理する。
結果、分類器7の複雑さおよび分類時間が劇的に減少さ
れる。
【0088】もし必要なら、画像分類/選択の品質は、
最適の感度ベクトルsを選択することにより向上させる
ことができる。これはこの発明の重要な点である。なぜ
ならばしばしば画像それ自体よりも画像の低次元の表現
を分類することの方がより困難な場合が多いからであ
る。
【0089】次に、選択プロセスを示す図4を参照す
る。初期化のために、感度ベクトルsを任意の値に設定
する。ステップ1において、画像9がチップ上に投影さ
れる。出力ベクトルjを用いて、画像分離の品質を反映
するメリット関数Qを計算する。これは、電流感度ベク
トル(メリット関数評価10)を用いて実行される。ス
テップ2において、2つのメリット関数Qが最適化アル
ゴリズム11(たとえば、ランダムサーチ、シュミレー
ティッドアニーリング、遺伝学的アルゴリズムまたは勾
配降下)に伝達される。最適化アルゴリズム11は、感
度ベクトルsを適合的に変化させることによりメリット
関数Qを最適化する。メリット関数Qが最適化される
か、または十分な品質の画像分離が達成されるまで、ス
テップ1および2が繰返される。
【0090】相関ベースの分類器を用いて、メリット関
数Qの典型的な定義を次に与える。以下では、M入力画
像W1 ,0≦1<MがVSPDアレイ1上に投影される
こと、j1 は結果として生ずる出力ベクトルであるこ
と、および結果出力ベクトルjを有する画像Wが認識さ
れねばならないことが仮定される。相関ペースの分類器
においては、類は、分類器(ここではj0 ,…,j
M-1 )に記憶されているベクトルとして定義される。ベ
クトルjと記憶されたベクトルとの間の角度を距離の基
準として用いて、ベクトルjは類のうちの1つ、すなわ
ち最も小さい角度距離を有するベクトルj1 へ割当てら
れる。
【0091】記憶されたベクトルj0 ,…,jM-1 の間
の角度が大きいほど、この分類プロセスにおける曖昧さ
はより少なくなる。理想的な場合には、すべてのベクト
ルは直交する。従って、ベクトルj0 ,…,jM-1 のう
ちの任意の2つの間の角度の最小限が良好なメリット関
数Qとして作用することができる。ついで、上で説明し
た最適化プロセスが、ベクトルj1 の間の最小の角度を
最大にする感度ベクトルsを選択する。
【0092】最後に、修正された最適化プロセスについ
て説明する。メリット関数Qは、すべての画像の提示の
後に再び計算される代わりに各画像の提示の後に更新さ
れる。上に与えられたメリット関数の典型的な定義を用
いることにより、この方式の利点は明らかになるであろ
う。最適化プロセスの間、このメリット関数は一度にす
べての画像に依存せず、出力ベクトルが瞬間的に最も小
さい角度距離を有する2つの画像、すなわち最も分離性
の悪い2つの画像に依存する。従って、これら2つの画
像をシステムにより頻繁に提示することが意味をなす。
残りの画像はそれほど頻繁に提示する必要はない。なぜ
ならばそれらは分離しやすく、かつメリット関数はそれ
らに依存しないからである。この結果、最適化プロセス
を高速化することができる。メリット関数をずっとより
早く計算することができるからである。
【0093】投影された画像の全体の照度における変動
は、相関ベースの分類器における分類プロセスに影響を
与えないことが注目されねばならない。このような変動
は、ベクトルj1 の長さのみを変化させ、それらの間の
角度を変化させないからである。分類に先立ってベクト
ルj1 を標準化することにより、いかなる分類器も照度
の変動の影響を受けないようにできる。
【0094】さらに、もし感度ベクトルのすべての要素
にわたる合計がゼロであれば、いかなる分類器において
も分類プロセスは均一な背景光に対して不変である。そ
の均一の照射のために発生される電流はVSPDの各列
において相殺されるからである。
【0095】もし最適化プロセスが失敗すれば、すなわ
ち、もし十分な画像分離品質が達成できなければ、出力
ベクトルjの情報内容が少ないまたは次元数が低すぎる
とい可能性が非常に高い。この場合には、マトリックス
Jおよび/またはV(式(5)および(6)参照)を入
力画像の低次元の表現として使用することができ、かつ
マトリックスSおよびTに、上に説明した最適化プロセ
スを施すことができる。その結果得られる表現の次元数
は、マトリックスSおよびTの大きさを変化させること
により、自由に調整することができる。また、最適化プ
ロセスの間に注目焦点を形成することができる。
【0096】実施例5. 図5は色情報の処理を例示する図である。図5におい
て、1はVSPDのアレイ、2は1個のVSPD、12
はVSPDアレイ1の上に装着された色フィルタ、13
は色フィルタ12の赤色の光に対して透明である部分、
14は色フィルタ12の緑色の光に対して透明である部
分13を示し、15は色フィルタ12の黄色の光に対し
て透明である部分、16は色フィルタ12の青色の光に
対して透明である部分を示す。
【0097】図6は修正されたVSPD配置を有するV
SPDアレイを示す図である。図6において、1はVS
PDのVSPDアレイ、2は1個のVSPDを示す。
【0098】図5はこの発明を単純なセットアップで使
用して、生物学上の網膜のそれと同様の方法で色情報を
処理することを可能にする色フィルタ12を示す。色フ
ィルタ12はVSPDアレイ1の表面上に置かれる。色
フィルタ12はセルに分割される。各セルは下のVSP
Dアレイ1の各VSPDセルに整合する。その位置に依
存して、フィルタセルは、赤色の光に対する透明部分1
3、緑色の光に対する透明部分14、黄色の光に対する
透明部分15または青色の光に対する透明部分16の色
の内のただ1つだけを伝達する。フィルタの隣接した列
内の色は、透明部分13および透明部分14または、透
明部分15および透明部分16を、交互に繰返す。フィ
ルタの隣接した行内の色は、赤色および黄色または緑色
および青色を、交互に繰返す。
【0099】フィルタのこの配置は、人間の網膜の構造
から得ている。人間の網膜は、赤色、緑色および青色の
光のためのセンサからの信号を、それらを脳に伝達する
前に、赤色マイナス緑色の差信号および黄色マイナス青
色の差信号に符号化する。この符号化の方法が、人間が
赤色および緑色の間と、黄色および青色の間とに、それ
ぞれ特に強い色のコントラストがあるという主観的な印
象を持つ理由である。
【0100】全く同一の符号化をこの発明を使用して実
現できる。この目的のために、感度は、
【0101】
【数7】
【0102】に従って設定される。このことは、感度s
i が対に分けられることを意味する。各対において、偶
数の指数2iを有する感度は、透明部分13および透明
部分15のフィルタを有するVSPDの行を制御し、か
つ正の値に設定され、一方、奇数の指数2i+1を有す
る感度は、透明部分14および透明部分16のフィルタ
を有するVSPDの行を制御し、かつ相手方の感度の反
転値、すなわち負の値に設定される。この発明のすべて
の他の画像処理動作は、この色符号化技術と組合わせる
ことができる。その場合、処理は本来の画像に対しては
行われず、色差信号、すなわち赤色マイナス緑色の差信
号および黄色マイナス青色の差信号について行われる。
【0103】生物学上の網膜におけるセンサは、VSP
Dアレイ1におけるセンサのようにアレイ状に配列され
てはいない。VSPDの六角形状の配列が、生物学上の
網膜のセンサの構成により類似している。図6はVSP
D2の六角形状の配列を実現する2つの可能性を示す。
図6(A)は1行おきにVSPD2をDの距離だけ移動
させ、図6(B)は各行の1列おきにVSPD2を取除
くことにより六角形状の配置を実現する。ただし、2D
は行方向の隣接VSPD2間の距離を示す。随意に、六
角形状のVSPD2の形状は、長方形状の形状の代わり
に使用することができる。
【0104】実施例6. 以下、この発明の実施例6を図について説明する。図7
は感度可変受光素子2次元アレイの構造であり、21は
2つの端子間の電圧の大きさにより光から電流への変換
効率が変わる感度可変受光素子から成る受光エレメン
ト、22は制御電極、23は複数の電圧データを記憶し
そのデータの転送が可能でさらに記憶された電圧データ
の一部が制御電極に接続された構造を持つ制御回路、2
4,25,26はそれぞれ制御回路23に記憶された電
圧データの一部である電圧ベクトル、27は出力電極、
28は記憶したデータをシフトできる機能についた1次
元メモリである。
【0105】感度可変受光素子の具体例としては、例え
ば図8に示されるような構造が挙げられる。半導体基板
501の上に一対のショットキー電極502,503が
設けられており、光から電流の変換効率は端子間の電圧
の大きさに比例する。またその電圧の極性により電流の
方向が変わる。
【0106】次に3×3のフィルタ行列と画像の積和演
算の動作の説明をする。今、制御回路23に三つの電圧
ベクトル24,25,26が記憶されており、それぞれ
の電圧ベクトルは、i−1,i,i+1行目の3行の制
御電極に電圧を印加するようになっているとする。入力
画像が行列 G={g(i,j)}……(22) で表されると、まず一番目の電圧ベクトル24を制御電
極22に接続したときの、j−1列目の出力は、
【0107】
【数8】
【0108】となる。次に1次元メモリ28の中身を一
つずつ右にシフトしてやると、上式の値はj列目のメモ
リに入ることになる。続いて2番目の電圧ベクトル25
を制御電極22に接続すると、j列目のメモリの中身
は、上式の結果と足し合わされて、
【0109】
【数9】
【0110】となる。更に同様に、1次元メモリ28の
中身を一つずつ右にシフトさせた後、3番目の電圧ベク
トル26を制御電極22に接続すると、j+1番目のメ
モリの中身は、
【0111】
【数10】
【0112】となり、f(i,j)は画素g(i,j)
の周りで行列 A={a(x,y)} による積和演算を行った結果に相当する。他の列につい
ても全く同様の演算が行われており、このようにして任
意の2次元積和演算が実行できる。今の例では電圧ベク
トルをかける真中の行はi行であったが、これを上から
下までスキャンアレイをN×N画素とすれば、3(N−
2)回の繰り返しによって(N−2)×(N−2)画素
の出力画像が得られる。
【0113】さらに、フィルタの大きさが(2n+1)
×(2n+1)の場合も同様の動作を行えば、(2n+
1)(N−2n)回の繰り返しによって(N−2n)×
(N−2n)画素の出力画像が
【0114】
【数11】
【0115】という形で得られる。また、(2n+1)
×(2n+1)のマスクサイズの積和演算を2回(2種
類)、直列に実行する処理は、(4n+1)×(4n+
1)のフィルターマトリックスを使った処理に帰着でき
る。もっと多段の場合も同様である。
【0116】出力部は図9のように、切り替えスイッチ
29を用いたものでも良く、この場合データをシフトす
る機能を持たない1次元メモリ30で良い。
【0117】受光素子は、図8に示したMSM構造に限
らず、端子間電圧により光から電流への変換効率が変わ
るものならば何でも良い。例えば図10に示したpnp
タイプ、また光導電体でも良い。もちろん、材料はシリ
コン、アモルファスシリコン、ガリウム砒素等何でも良
い。
【0118】実施例7. 図11、図12は各受光エレメント21の中にスイッチ
ングゲートとキャパシタンスを作り込んだものの例であ
る。31は任意の出力電極からの電流を加える機構を持
つ出力回路で、感度可変受光素子32の一方の端子は直
接出力端子33に、他方の端子はキャパシタンス35を
介してアースに、かつスイッチングゲート36を介して
制御端子34に接続されている。37はゲート信号であ
る。感度可変受光素子32は、実施例1同様色々なもの
が考えられる。
【0119】次に3×3のフィルタ行列a(x,y)と
画像の積和演算の動作の説明をする。画素(i,j)に
注目する。まず、光を照射する前にこの画素近傍の受光
エレメントの光感度を設定する。例えば画素(i−1,
j−1)を設定するには(i−1)番目の制御電極にフ
ィルタの要素を印加し画素(i−1,j−1)のスイッ
チングゲートをオンにする。これにより電圧がキャパシ
タンスに記憶される。光感度が設定したらスイッチング
ゲートはオフにする。同様にして3×3の光感度を設定
する。次に画像g(i,j)を照射するが、このとき
(j−1)列、j列、(j+1)列の出力電極からの電
流を加える。その結果
【0120】
【数12】
【0121】となり、f(i,j)は画素g(i,j)
の周りで行列a(x,y)の積和になる。これをすべて
の画素に対して実行すれば、任意の2次元フィルター行
列と画像の積和が得られる。このとき、列に関してはN
/3の演算は同時に実行できる。
【0122】同様にして3×3よりも大きなフィルタ行
列との積和演算も可能である。
【0123】実施例8. 図13も各受光エレメント21の中にスイッチングゲー
トとキャパシタンスを作り込んだものの例である。ここ
では感度可変受光素子32の一方の端子はキャパシタン
ス35を介してアースに、スイッチングゲート36を介
して出力端子33に、他方の端子は直接、制御端子34
に接続されている。
【0124】このときの動作は以下のようになる。ま
ず、一回目のクロックではスイッチングゲート36を閉
じたまま制御端子34に電圧を印加する。これにより、
感度可変受光素子32からの光電流は、キャパシタンス
35に溜められる。そして次に同じ制御端子34に電圧
が印加されるときに、スイッチングゲート36を開いて
やると、感度可変受光素子32からの光電流とキャパシ
タンス35からの放電による電流が一緒になって出力端
子33に出力される。各画素においてこれを行えば、一
度画像を記憶したのち、次にフレームでの画像との和や
差をとれることになる。また、スイッチングゲート36
を開く前に複数回制御端子34に様々な電圧を印加して
やれば、複数の画像処理結果の足し合わせが可能とな
る。
【0125】また、次のような動作をさせれば実質的に
感度を向上させることができる。まずはスイッチングゲ
ート36を閉じたまま制御電極に電圧を印加する。これ
により、感度可変受光素子32からの光電流は、キャパ
シタンス35に溜められてゆく。そしてあるクロックで
スイッチングゲート36を開いてやると、それまでの照
射時間に溜められた電荷が放出される。これにより、感
度可変受光素子32単体に短いクロックでアクセスした
場合よりも大きな電流値が得られる。
【0126】図13と同様の動作は、キャパシタンスと
スイッチングゲートの組み合わせだけでなく、図14の
ようなCCD的な動作を用いても実現できる。この場
合、感度可変受光素子32の一方の端子は直接、制御端
子34に接続されており、他方の端子は拡散によって作
られた入力ダイオード38に接続されている。転送され
る電荷が例えば正孔の場合、入力ダイオード38と出力
ダイオード40はp型、基板はn型となる。39は入力
ゲートである。
【0127】この場合、入力ゲート39に電圧がかかっ
ていない状態では、p層の方がポテンシャルが低いた
め、正孔はまず入力ダイオード38に溜められる。そし
てある瞬間に入力ゲート39に充分大きな電圧を加え
て、表面ポテンシャルを下げてやると、入力ダイオード
38から出力ダイオード40に電荷が流れ出し、出力端
子33から取り出されることになる。
【0128】実施例9. 図15は各受光エレメント21が2個の感度可変受光素
子32から構成される例である。片方の受光素子は一方
の端子は行毎に同じ制御端子22に他方の端子は各列毎
に同じ出力電極27に接続される。他方の受光素子では
一方の端子は列毎に同じ制御端子22に他方の端子は各
行毎に同じ出力端子27に接続される。
【0129】次に動作について説明する。まず、一方の
端子が行毎に同じ制御端子に接続されている受光素子に
ついて考える。各制御電極に制御電圧を加えると行毎に
光感度が設定される。このとき画像を照射すると各光電
流は列毎に加えられて出力電極から取り出される。この
ように縦方向の制御電圧ベクトルと画像の1次元積和演
算が行われる。同様に、一方の端子が列毎に同じ制御電
極に接続されている受光端子では横方向の制御電圧ベク
トルと画像の1次元積和演算が実行される。これらの縦
と横の両方向の処理結果が同時に得られる。
【0130】また得られた両方向の出力信号を外部回路
で合成すれば2次元的な画像処理も可能である。
【0131】実施例10. 図16は感度可変受光素子の2次元アレイの両側から光
を入射する構成の例を示す。図中、41は感度可変受光
素子の2次元アレイで、各エレメントが独立なアレイで
も良いし、上記実施例で示したような構成のイメージセ
ンサでもよい。42,43はそれぞれ光入力で、これは
一様光でも線状の1次元パターンでも2次元パターンで
もよい。
【0132】両方の光が入力画像の場合は、2つの画像
の和にたいして画像処理が行われる。片方の光は入力画
像で他方は各画素に対する制御信号の場合は、各画素に
対してオフセットを加えてから画像処理が行われる。
【0133】実施例11. 図17は1個だけがゼロボルト以外の電圧で他はすべて
ゼロボルトである電圧ベクトルに対しゼロボルトでない
電圧の位置が任意に変わる制御回路を有する場合の構成
例を示し、前記図11と同一部分には同一符号を付して
重複説明を省略する。
【0134】このイメージセンサを用いた画像の検出の
動作を説明する。まず、1行目の制御電極だけ1Vを印
加する。1行目の各画素は同じ光感度を持つことにな
る。この状態で画像を照射すると、1行目の各画素での
光パワーに比例した電流が出力電極から取り出される。
これは入力画像の1行目が検出されたことになる。そし
て、この1Vを印加する行を2,3,・・とずらしてい
けば、入力画像が行毎に検出される。1つの行内ではす
べて並列に検出されるので出力回路からの画像信号の取
り出しを並列にすれば、高速画像検出が可能になる。ま
た、従来の画像信号との整合性を考慮して、出力回路か
らの画像信号はシリアル信号にしてもよい。
【0135】また、この印加電圧を1Vから他の電圧を
変えれば光感度も変わる。すなわち、入力光のパワーの
レンジが変わっても制御電圧による補正により出力レベ
ルを一定に保つことも可能である。
【0136】また、ゼロボルト以外の電圧をすべての行
に印加するのではなく、特定の行だけに印加すれば入力
画像の部分画像のみの検出が可能になる。
【0137】同様に一定間隔で電圧を印加すれば、任意
の分解能で画像を検出することができる。粗い画像情報
しか必要でないときは、分解能を落すことにより高速処
理が可能になる。
【0138】実施例12. 以下、この発明の一実施例を図について説明する。図1
8はこの発明の実施例12に係る二つのp+- 接合を
用いてp+ 層同士をつなげた対称構造の感度可変受光素
子を示す断面図であり、51は制御電圧VB を印加する
側の電極(以下「制御電極」と呼ぶ)、52は出力電流
phを取り出す側の電極(以下「出力電極」と呼ぶ)、
53は正と負の領域にわたって出力を可変とすることが
できる電源、54はp+ 型半導体層(以下p+ 層とい
う)、55はn- 型半導体層(以下n- 層という)、5
6は制御電極51側のpn接合部にできる空乏層、57
は出力電極52側のpn接合部にできる空乏層である。
制御電極51、出力電極52とp+ 層54は、それぞれ
オーミックコンタクトとなっている。また、p+ 層5
4、n- 層55には入射光を吸収するすべての半導体材
料、例えば、GaAs,AlGaAs,InGaAs,
Si等が用いられる。
【0139】つぎに動作について説明する。図18に示
すように、入力光はこの感度可変受光素子に対して垂直
方向から入射する。そして、制御電極51にかける電圧
Bが0の場合、光が当って空乏層56,57付近に発
生した電荷はpn接合の電位障壁を超えられず、またそ
の他の場所で発生した電荷もこの素子の対称性によって
相殺され、出力電流Iphは0となる。
【0140】また制御電極51にかけるVB を正とする
と、出力電極52側の空乏層57が広がり、空乏層57
付近に発生した電荷は電極51,52間の電位差に引か
れて正の出力電流Iphを生み出す。このとき、出力電流
phの発生に主に寄与するのは、空乏層57の内部およ
び空乏層57の拡散長の範囲内で発生した電荷であり、
空乏層57の厚さは制御電圧VB に依存することから、
出力電流Iphは結局制御電圧VB に依存することにな
る。
【0141】さらに制御電圧VB が負の場合には、制御
電極51側の空乏層56が広がり、同様にして制御電圧
B に依存する負の出力電流Iphが得られることにな
る。以上のプロセスにより、図18の感度可変受光素子
は、制御電圧VB によって出力電流Iphが負から正ま
で、すなわち感度を負から正まで連続的に変えられるこ
とになる。なお、2つのp+ 層54の不純物濃度は互い
に変えることができ、また半導体材料も互いに異なるも
のとして、感度非対称な応答を示すようにすることもで
きる。
【0142】実施例13. 図19はこの発明の実施例13に係る感度可変受光素子
を示す断面図であり、図中51〜54は図18と同じで
ある。また58はn+ 型半導体層(以下n+ 層とい
う)、59aは制御電極51側p+ 層54とn+ 層58
の間に挟まれるi(intrinsic)型半導体層
(以下i層という)、59bは出力電極52側p+ 層5
4とn+ 層58の間に挟まれるi型半導体層(以下i層
という)である。すなわち、本実施例に係る空乏層は、
p−i−n構造をなす。
【0143】本実施例の感度可変受光素子の動作プロセ
スは前述の実施例12と同様であるが、i層59の方が
n層58よりも空乏層が広がるため、接合間の容量が減
り、応答速度が速くなる。なお、半絶縁製基板の上に直
接p+ 層が載った構造でもこれと同様の効果が得られ
る。
【0144】実施例14. 図20はこの発明の実施例14に係る感度可変受光素子
を示す断面図であり、図中51〜57は図18と同じで
ある。また60aは制御電極51側p+ 層54とn-
55の間に挟まれる薄いn+ 型半導体層(以下n+ 層と
いう)、60bは出力電極52側p+ 層54とn- 層5
5の間に挟まれる薄いn+ 型半導体層(以下n- 層とい
う)である。
【0145】本実施例の感度可変受光素子の動作プロセ
スは実施例12,13とそれと同様であるが、n+ 層6
0a,60bの方がn- 層55よりも空乏層が広がりに
くいため、制御電圧VB が小さいときには電圧の変化に
対する空乏層の広がり方の変化が小さい。しかし、制御
電圧VB がある程度大きくなると空乏層がn+ 層60
a,60bからn- 層55まで達するため、電圧の変化
に対する空乏層の広がり方の変化が大きくなる。
【0146】従って、本実施例の感度可変受光素子にお
いては、制御電圧VB が小さいうちは感度の変化が小さ
く、制御電圧VB が大きくなると感度の変化も大きくな
る。よって、本実施例の感度可変受光素子によれば、制
御電圧VB を0にセットしたときは、オフセットや電圧
の揺らぎ等があった場合でも出力電流Iphが抑えられ、
揺らぎ等に対する耐性が上がる。
【0147】実施例15. 図21はこの発明の実施例15に係る感度可変受光素子
を示す断面図であり、図中51〜57は図18と、5
9,59a,59bは図19と、また60a、60bは
図20と同じである。本実施例の感度可変受光素子は実
施例13と同様、空乏層についてp+ −i−n- 構造を
基本としているが、他方実施例14と同様、p+ 層54
とi層59a,59bの間にそれぞれ薄いn+ 層60
a,60bを挟んでいる。
【0148】本実施例の感度可変受光素子の動作プロセ
スは実施例12〜14とそれと同様であるが、空乏層に
ついて上述のようなp+ −n+ −i−n- 構造となって
いるため、実施例13のような速い応答速度と、実施例
14のような電圧の揺らぎに対する耐性の両方の効果が
得られる。なお、この効果は、半絶縁性基板の上にn+
層とp+ 層が載った構造においても得られる。
【0149】実施例16. 図22はこの発明の実施例16に係る感度可変受光素子
を示す断面図であり、図中51〜57は図18と、60
a,60bは図20と同じである。また61aと62a
はn+ 層60aのそれぞれ上下に配置されたn++型半導
体層(以下n++層という)とn型半導体層(以下n層と
いう)、61bと62bはn+ 層60bのそれぞれ上下
に配置されたn++層とn層である。すなわち、本実施例
の感度可変受光素子は、実施例14のそれに類似した構
造となっているが、p+ 層54とn- 層55の間に、n
++層61a,61b,n+ 層60a,60b,n層62
a,62bの順で不純物濃度が段階的に減少するn型層
を挟んでいるため、電圧に対する感度の変化を線形にす
ることができる。
【0150】実施例17. 図23はこの発明の実施例17に係る感度可変受光素子
を示す切欠斜視図であり、図中51〜57は図18と同
じである。本実施例においては、積層構造は実施例12
と同じであるが、制御電極51とp+ 層54の部分およ
び出力電極52とp+ 層54の部分をそれぞれ櫛形に
し、互いに歯の部分に組み入れている。
【0151】本実施例の感度可変受光素子は実施例12
のそれと同様に動作するが、本実施例においては単位面
積当たりの受光部の面積を実質的に増加させることがで
きるため、感度を上げることができる。なお、本実施例
においては、感度可変受光素子の積層構造を実施例12
に合わせたが、前述の実施例13〜16のいずれと合わ
せても同様に櫛形構造として感度を向上させることがで
きる。
【0152】実施例18. 図24はこの発明の実施例18に係る感度可変受光素子
を示す断面図であり、図中51〜57は図18と同じで
ある。本実施例においても、積層構造は実施例12と同
じであるが、制御電極51および出力電極52の面積を
+ 層54の面積に比べ小さくしている。
【0153】本実施例の感度可変受光素子も実施例12
のそれと同様に動作するが、p+ 層54は導電性が高い
ため、光電流Iphの流通については、p+ 層の頂面のす
べてを電極51,52が覆っていなくても支障はない。
そして、本実施例においては、電極51と52の面積が
+ 層54の対応部分に比べて小さいため、入射光は、
+ 頂面層の電極51,52に覆われていない部分から
も透過して、直接空乏層56,57に当る。よって、本
実施例によれば、透明電極を用いなくても電流出力が大
きくなり、光利用率を上げることができる。なお、本実
施例においては、感度可変受光素子の積層構造を実施例
12に合わせたが、実施例13〜16のいずれの積層構
造も採用することができる。
【0154】実施例19. 図25はこの発明の実施例19に係る感度可変受光素子
を示す断面図であり、図中51〜57は図18と同じで
ある。本実施例においても、積層構造は実施例12およ
び上記実施例18と同じであるが、p+ 層54は、拡散
によって製造され、コンパクトな平面構造になってい
る。なお実施例13〜17の両電極51,52間に段差
のある積層構造は、いずれも拡散等によってこのような
平面構造とすることができる。
【0155】実施例20. 図26はこの発明の実施例20に係る感度可変受光素子
を示す断面図であり、図中51〜57は図18と同じで
ある。本実施例の感度可変受光素子は、実施例18のp
+ 層一部露出構造および実施例19の平面構造の両方を
採用しながら、実施例17の櫛形構造を実現したもので
ある。
【0156】本実施例の感度可変受光素子は、実施例1
7,18および19の各感度可変受光素子と同様に動作
するが、ここでは、櫛形構造そのものはp+ 層54自身
によって構成されており、制御電極11と出力電極12
は配線部にしかかぶっていない。本実施例によれば、実
施例19と同様のコンパクトな受光素子となり、かつ実
施例17および18と同様感度と光利用率の高い受光素
子となる。
【0157】実施例21. 図27はこの発明の実施例21に係る感度可変受光素子
を示す断面図であり、図中51,53,56,57は図
18と同じである。また64のp+ 半導体層と65のn
- 半導体層は、互いに吸収波長帯が異なり、p+ 層64
はn- 層65よりもバンドギャップが広くなるようにす
る。p+ 層64には例えばAlGaAsを、またn-
65にはGaAsを用いることができる。
【0158】本実施例の感度可変受光素子は、基本的に
は実施例12の各感度可変受光素子と同様に動作する
が、素子の垂直上方から入射する光について、p+ 層6
4では吸収されずn- 層65のみで吸収されるような波
長を選択してやると、入射光が減衰せずに直接空乏層5
6,57に当るため、高い感度が得られる。
【0159】実施例22. 図28はこの発明の実施例22に係る感度可変受光素子
を示す断面図であり、図中51〜53,56,57,6
4,65は図27と同じである。本実施例においては、
+ 層64とn- 層65の間に、ドープ先をp+ 層64
と同じ半導体にしたn- 層66が挿入される。
【0160】本実施例の感度可変受光素子は、基本的に
は実施例21の各感度可変受光素子と同様に動作する
が、入射光について、p+ 層64およびn- 層66では
吸収されずn- 層65のみで吸収されるような波長を選
択すると、制御電圧VB が小さいときには空乏層56,
57がn- 層66の中でしか広がらないため感度が低
く、他方制御電圧VB がある程度大きくなると、空乏層
56,57がn- 層66からn- 層65まで達するため
感度が高くなる。よって、本実施例によれば、制御電圧
B によって波長感度特性を変えることができる。
【0161】実施例23. 図29(a)と(b)は、それぞれこの発明の実施例2
3に係る感度可変受光素子(一入力多出力型と多入力一
出力型)を示す平面構成図であり、図中51〜53は図
18と同じである。両図においては、実施例12の積層
構造を採用する。
【0162】これらの図に示す感度可変受光素子は、基
本的には実施例12のそれと同様に動作するが、図29
(a)の一入力多出力型の構成においては、制御電圧V
B を一つのラインで変えてやることにより、多くの受光
部の感度を一度に変化させることができる。また、図2
9(b)の多入力一出力型の構成においては、各受光部
の感度をそれぞれの制御電圧VB1,VB2,……等で変え
ながら受光することにより、各受光部からの出力の和を
素子全体の出力として取り出す。なお、これら一入力多
出力および多入力一出力の形は上記実施例12〜22の
いずれかの受光素子についても実現できる。
【0163】実施例24. 図30はこの発明の実施例24に係る感度可変受光素子
アレイを示す平面構成図であり、図中70は感度可変受
光素子アレイに配置される各感度可変受光素子、71は
正と負の領域にわたって出力を可変とすることができる
電源で、ここでは制御電圧ベクトル(……,Vi-1 ,V
i ,Vi+1 ,……)を図に表示する便宜のため、単一の
ブロックで表してある。また72は出力電流を取り出す
出力電極で、電源71と同様、出力電流ベクトル(…
…,Ij-1 ,Ij ,Ij+1 ,……)を図に表示する便宜
のため、単一のブロックで表してある。なお、各感度可
変受光素子70は、実施例12の積層構造を有するもの
とする。
【0164】本実施例の感度可変受光素子アレイは、上
記実施例23に係る図29(b)の多入力一出力の構成
を、電源71と縦方向の感度可変受光素子アレイ(…
…,Sj-1 ,Sj ,Sj+1 ,……)において組み入れ
(縦方向の感度可変受光素子アレイの出力電流の和がそ
れぞれ……,Ij-1 ,Ij ,Ij+1 ,……となる)、ま
た図29(a)の一入力多出力の構成を、横方向の各配
線(ライン)とこの配線に接続した横方向の感度可変受
光素子アレイ(Sj 等、各Sj 等から出力がある)にお
いて組み入れている。
【0165】この感度可変受光素子アレイにおいては、
横方向の一つのライン上に並ぶ感度可変受光素子に印加
する電圧を共通にする。そうすると、所定の光入力パタ
ーンに対して、横方向の各ラインに掛ける電圧のセッ
ト、制御電圧ベクトル(……,Vi-1 ,Vi ,Vi+1
……)に応じて、各感度可変受光素子70からの出力電
流値の演算結果(縦方向への和)が、縦方向の各ライン
から電流出力ベクトル(……,Ij-1 ,Ij ,Ij+1
……)の形で並列に取り出される。よって、本実施例に
よれば、負の感度または負の重みをもたせることができ
る、光画像処理システムおよび光コンピューティングへ
の適用に適した感度可変受光素子アレイを得ることがで
きる。なお、本実施例のような受光素子のアレイは、実
施例12〜22のいずれの受光素子についても実現でき
る。
【0166】実施例25. 図31はこの発明の実施例25に係る感度可変受光素子
アレイを示す平面構成図であり、図中70〜72は図3
0と同じである。また73はそれぞれ横方向の各感度可
変受光素子の上方に位置を合わせてアレイ状に配置した
LED(Light Emitting Diode;
発光ダイオード)、74はLED73に電流(LED注
入電流ベクトル(……,Jj-1 ,Jj ,Jj+1 ,…
…))を注入するための電極で、このベクトルを図に表
示する便宜のため、単一のブロックで表してある。
【0167】本実施例の感度可変受光素子アレイは、基
本的には実施例24のそれと同様に動作する。すなわ
ち、各受光素子70は、制御電圧可ベクトル(……,V
i-1 ,Vi ,Vi+1 ,……)により、各受光素子70間
で感度を変えながら、各LED73からのLED注入電
流ベクトルに応じた強度パターンの光を受け取る。そし
て、列ベクトルたる制御電圧ベクトルと行ベクトルたる
LED注入電流ベクトルのベクトルマトリックス演算に
相当する結果が電流出力(……,Ij-1 ,Ij ,I
j+1 ,……)として取り出される。なお、本実施例のよ
うな受光素子のアレイは、実施例12〜22のいずれの
受光素子についても実現できる。
【0168】実施例26. 図32はこの発明の実施例26による人工網膜素子の構
成を示す構成図である。図において、81は感度可変受
光素子ユニットがアレイ化された受光素子アレイであ
る。このように多数の感度可変受光素子がアレイ化され
る場合には、制御電圧の印加方が問題となるが、アクテ
ィブマトリックス駆動法による図32に示す構成で電圧
印加は達成される。
【0169】図32において、82は受光素子アレイ8
1にX−データ信号94を与えるXデータドライバ、8
3は受光素子アレイ81にY−データ信号95を与える
Yデータドライバ、84は受光素子アレイ81の出力信
号96の処理を行う信号処理回路である。
【0170】また、各感度可変受光素子ユニットにおい
て、91はGaAs上に集積化された電界効果トランジ
スタ(FET)、92はキャパシタ、93は感度可変受
光素子である。
【0171】感度可変受光素子は、印加される制御電圧
によって素子の光検出感度が変化するものである。その
ような感度可変受光素子として、例えば、GaAs基盤
上に形成されたMSM(金属−半導体−金属)構造のも
のがある。これは、GaAs上にAlによってショット
キーコンタクトが形成されたものである。その構造は電
極構造が対称形となっているので、印加される制御電圧
の極性が変わることにより、検出感度のみならず、流れ
る光電流の方向、すなわち、感度の極性をも制御可能で
ある。
【0172】次に動作について説明する。まず、Xデー
タドライバ82が受光素子アレイ81の第1行目にX−
データ信号(FETのゲート信号)94を与えて1行目
のFET91をオンすると同時に、Yデータドライバ8
3が受光素子アレイ81にY−データ信号95を印加す
る。Y−データ信号95は、感度可変受光素子93に対
する感度制御信号となっている。そして、感度制御信号
はキャパシタ92に記憶されることになる。
【0173】以上の処理をアレイ数n(図32の場合は
n=4)に等しい回数行えば、すべての感度可変受光素
子ユニットに感度制御信号が記憶される。この状態で、
例えば受光素子アレイ81の上に設けられた発光素子ア
レイ(図示せず)を発光させ、出力信号96を取り出せ
ば、ベクトル−マトリックス演算が行える。
【0174】そのような受光素子アレイ81を人工網膜
素子として使用する際の方法について、図33を参照し
て、以下、説明する。図33において、97は感度可変
受光素子ユニット、941〜94nはそれぞれ受光素子
アレイ81の各行に与えられるX−データ信号、951
〜95nはそれぞれ受光素子アレイ81の各列に与えら
れるY−データ信号を示す。また、961〜96mはそ
れぞれ出力信号を示す。
【0175】次に動作について説明する。まず、Xデー
タドライバ82は、受光素子アレイ81の奇数行目に同
時にX−データ信号941、943,・・・を印加す
る。それと同時に、Yデータドライバ83は、Y−デー
タ信号951,952のみ印加する。ここで、Y−デー
タ信号951は正極性の信号、Y−データ信号952は
0V(感度0の信号)である。
【0176】次に、Xデータドライバ82は、受光素子
アレイ81の偶数行目に同時にX−データ信号942、
944、・・・を印加し、それと同時に、Yデータドラ
イバ83は、Y−データ信号951,952のみ印加す
る。ここでは、Y−データ信号951は0V、Y−デー
タ信号952は負極性の信号である。なお、正極性の信
号と負極性の信号の絶対値は等しい。このようにして、
受光素子アレイ81の第1列目と第2列目に、図33に
示すように、感度が設定されたことになる。
【0177】このとき、受光素子アレイ81にテレビカ
メラなどからの画像信号が照射されているとすると、第
1列目と第2列目の各感度可変受光素子93から信号が
得られる。ここで、図33に示すように、第1行目と第
2行目と、第3行目と第4行目と・・・、第n−1行目
と第n行目とからの出力をそれぞれ加え合わせた後出力
する。そして、各出力信号961〜96mは信号処理回
路84において記憶される。
【0178】移動物体の抽出は、以下のように行われ
る。例えば、第1行目と第2行目の出力の和の出力信号
961について説明する。受光素子アレイ81の1行1
列の要素の感度は正、1行2列および2行1列の要素の
感度は0、2行2列の要素の感度は負であるから、その
4要素によるブロックにおける画像信号が静止画像であ
るなら、出力信号は0である。そして、画像信号が動画
像であるならば、出力信号は0にならない。
【0179】画像には濃淡があり、各素子に照射される
光量に差があるときには、静止画像の場合であっても和
は0にならないが、通常、素子の集積度は高く隣り合っ
た素子間で照射光量にほとんど差がないので、あるブロ
ック内の各素子に対する照射光量は同じであるとみなせ
る。なお、画像のパターンが細かくブロック内の各素子
の照射光量が等しくならない場合には、図34に示すよ
うに、出力信号を微分すればよい。なお、図34におい
て、991〜99mは微分器である。
【0180】次に、3列目と4列目について、同様の処
理を行う。すなわち、Xデータドライバ82は、受光素
子アレイ81の奇数行目に同時にX−データ信号94
1,943,・・・を印加する。それと同時に、Yデー
タドライバ83は、Y−データ信号953,954のみ
印加する。ここで、Y−データ信号953は正極性の信
号、Y−データ信号954は0Vである。
【0181】次に、Xデータドライバ82は、受光素子
アレイ81の偶数行目に同時にX−データ信号942,
944,・・・を印加し、それと同時に、Yデータドラ
イバ83は、Y−データ信号953,954のみ印加す
る。ここでは、Y−データ信号953は0V、Y−デー
タ信号954は負極性の信号である。そして、加算信号
である出力信号961〜96mが、第1列目と第2列目
の処理の場合と同様に取り出され、信号処理回路84は
それらを記憶する。
【0182】さらに、第5列目と第6列目以降最終列ま
でについても同様の処理を行う。最終列の処理終了後、
信号処理回路84は記憶している各信号を順に並べるこ
とにより、移動物体のみが含まれる出力画像を得ること
ができる。
【0183】そして、以上の処理を繰り返せば、移動物
体が移動している様子がわかる複数画像が得られる。な
お、上記実施例では奇数列に正極性のY−データ信号
を、そして、偶数列に負極性のY−データ信号を印加す
るようにしたが、極性を逆にしてもよい。
【0184】実施例27. 図35はこの発明の第2の実施例による人工網膜素子に
おける受光素子アレイの構成を示す構成図である。全体
の構成は、図32に示すものと同様である。この場合に
は、Xデータドライバ82は第1の実施例の場合と同様
に動作する。Yデータドライバ83の動作タイミングは
第1の実施例の場合と同じであるが、負極性信号の印加
を行わない。すなわち、この実施例の場合には、Yデー
タドライバ83は、第1の実施例において負極性の信号
を印加したタイミングに対応したタイミングで、正極性
の信号を受光素子アレイに印加する。従って、この場合
には、図35に示すような感度が設定される。
【0185】そして、第1の実施例では2行の出力の和
がとられたのに対して、ここでは、各差動増幅通話98
1〜98mが、各2行の出力の差をとる。なお、信号処
理回路84は、第1の実施例の場合と同様の処理を行
う。このような構成すれば、Xデータドライバ82およ
びYデータドライバ83による素子駆動はより簡単にな
る。
【0186】なお、画像のパターンが細かいときや、物
体の移動方向の識別が必要な場合には、差動増幅器98
1〜98mを微分機能を有するものとすればよい。
【0187】実施例28. 図36はこの発明の実施例28による画像情報処理装置
を示す構成図である。図において、101はパッケージ
にマウントされた受光デバイス(受光部)であり、10
4はその受光面を示す。103は受光デバイス101か
ら処理された画像を入力する前処理部(受光部制御部)
である。その他のものは同一符号を付して図56に示す
ものと同一のものである。
【0188】図37は受光デバイス101の構造を示す
斜視図である。図において、109は1対のショットキ
ー電極よりなる1画素分の記憶機能を有する受光素子、
110はGaAs基板(半導体)、111は受光素子1
09への電圧印加ライン、112は受光素子109から
の光電流出力ラインである。ショットキー接合のショッ
トキー界面には、界面トラップによるトラップキャリア
が存在する。
【0189】図38は受光デバイス101の光電流出力
方式を説明するための説明図である。図において、11
3は照射画像パターンまたは受光感度分布を示す。電圧
印加ライン111に、順次、電圧Vt ,Vt+1 ,・・
・,Vt+n が加えられると、各時刻t+i(i=0〜
n)において出力電流のセット(受光デバイス1上の各
ライン上にある各受光素子9の光電流出力の和のセッ
ト) I1,t+1 ,I2,t+1 ,・・・,In,t+1 が得られる。前処理部103は、各時刻における電流セ
ットから入力画像パターンの形状を知ることができる。
【0190】図39は2つの画像の論理積(AND)画
像を得る場合の動作を説明するための説明図である。図
39において、115は1番目の照射画像パターンを示
し、116はこの画像パターンによって形成された受光
感度分布を示す。また、117は2番目の照射画像パタ
ーンを示し、118は最終的に形成された受光感度分布
を示す。
【0191】次に動作について説明する。各受光素子1
09において、トラップ準位におけるトラップキャリア
量は、例えば、前処理部103から電圧印加ライン11
1を介して加えられる印加電圧によって制御される。そ
の結果形成される内部電界によって受光素子109に受
光感度が発生する。
【0192】列方向成分をi、行方向成分をjとする
と、(i,j)受光素子の感度は以下のように表され
る。 ηij(p,V)=αf(p)g(V)……(28) ここで、Vは、例えば、前処理部103から電圧印加ラ
イン111を介して受光素子109に加えられる印加電
圧、pはこの受光素子109に照射される光の強度、
f,gは原点を通る単調増加関数、αは正の定数であ
る。また、i=1,・・・,N,j=1,・・・,Mで
ある。なお、この受光感度は、印加電圧および入射光が
なくなった後も保持されている。
【0193】ここで、簡単のため、式(28)を以下の
ように近似する。 ηij(p,V)=βpV……(29) ここで、βは定数である。
【0194】1番目の画像パターン115による光の強
度をp1、そのときの印加電圧をV1とすると、1番目
の画像パターン113による各受光素子109の感度
は、 ηij(p1ij,V1)=βp1ijV1……(30) であるから、2番目の画像パターン117が照射された
ときの各受光素子109の受光量は、 ηij(p1ij,V1)p2iji =βp1iji V1p2ij……(31) である。
【0195】従って、各受光素子109の受光感度が式
(29)に示す状態で(図39の(b)に対応)、2番
目の画像パターン117を照射しつつ、図38に示すよ
うに、Vt+i の電圧を電圧印加ライン111に印加すれ
ば、各受光素子109からp1iji ×p2iji に比例し
た光電流出力が光電流出力ライン112に出力される。
【0196】すなわち、前処理部103は、各時刻にお
ける光電流出力ライン112から出力された電流セット
から、図39(d)に示す最終的な受光感度分布118
に対応した2つの画像パターン115,117のAND
画像を得ることができる。前処理部103は、このAN
D画像を計算機104に送り、計算機104は、その表
示部にAND画像を表示することができる。
【0197】実施例29. 図40は2つの画像パターン115,117の論理和
(OR)画像を得る場合の動作を説明するための説明図
である。この場合には、2番目の画像パターン117を
照射する際にも、各受光素子109には電圧V1が印加
される。
【0198】1番目の画像パターン115の照射によっ
て各受光素子109に生ずる受光感度分布は、 ηiji (p1iji ,V1)=βp1iji V1……(32) 2番目の画像パターン117によって生ずる受光感度分
布は、 ηij(p2ij,V1)=βp2ijV1……(33) であるから、2番目の画像パターン117が照射された
後の受光感度分布は、 ηiji (p1iji ,V1)+ηij(p2ij,V1) =β(p1ij+p2ij)V1……(34) となる(図40(d)に対応)。
【0199】すなわち、受光感度分布は、2つの画像パ
ターンのORに比例した値になっている。そこで、受光
デバイス101に一様光を照射しつつ、図38に示すよ
うに、Vt+i の電圧を印加電圧ライン111に印加すれ
ば、各受光素子109から2つの画像パターンのORに
比例した光出力電流が得られる。前処理部103は、こ
の光出力電流からOR画像を認識することができる。
【0200】実施例30. 図41は2つの画像パターン115,117の排他的論
理和(EXOR)画像を得る場合の動作を説明するため
の説明図である。この場合には、2番目の画像パターン
117を照射する際に、電圧印加ライン111に負電圧
−V2が印加される。
【0201】1番目の画像パターン115の照射によっ
て各受光素子109に生ずる受光感度分布は、 ηij(p1ij,V1)=βp1ijV1……(35) 2番目の画像パターン117によって生ずる受光感度分
布は、 ηij(p2ij,−V1)=−βp2ijV1……(36) であるから、2番目の画像パターン117が照射された
後の受光感度分布は、 ηij(p1ij,V1)+ηij(p2ij,−V1) =β(p1ij−p2iji )V1…(37) となる(図41(d)に対応)。
【0202】すなわち、受光感度分布は、2つの画像パ
ターンのEXORに比例した値になっている。そこで、
受光デバイス101に一様光を照射しつつ、図38に示
すように、Vt+i の電圧を印加電圧ライン111に印加
すれば、各受光素子109から2つの画像パターンのE
XORに比例した光出力電流が得られる。前記処理部1
03は、この光出力電流からEXOR画像を認識するこ
とができる。
【0203】実施例31. 図42は画像パターン117の反転(NOT)画像を得
る場合の動作を説明するための説明図である。この場合
には、1番目の画像パターンとして一様光114が照射
される。また、2番目の画像パターン117が照射され
る際に、電圧印加ライン111に、負電圧−V1が印加
される。
【0204】一様光114の照射によって各受光素子1
09に生ずる受光感度分布は、 ηij(p,V1)=βpV1……(38) 2番目の画像パターン117によって生ずる受光感度分
布は、 ηij(p2ij,−V1)=−βp2ijV1……(39) であるから、2番目の画像パターン117が照射された
後の受光感度分布は、 ηij(p,V1)−ηij(p2ij,V1) =β(p−p2ij)V1=β(1−p2ij/p)V1……(40) となる(図42(c)に対応)。
【0205】すなわち、受光感度分布は、2番目の画像
パターン117のNOTに比例した値になっている。そ
こで、受光デバイス101に一様光を照射しつつ、図3
8に示すように、Vt+i の電圧を印加電圧ライン111
に印加すれば、各受光素子109から2番目の画像パタ
ーン117のNOTに比例した光出力電流が得られる。
前処理部103は、この光出力電流からNOT画像を認
識することができる。
【0206】実施例32. 図43は移動している画像パターン115を検出する場
合の動作を説明するための説明図である。すなわち、画
像パターン115の移動にしたがって、移動軌跡に応じ
て受光感度分布116が変化する様子を示している。
【0207】各受光素子109に電圧Vが印加された状
態で、画像パターンが、すなわち、受光面における照射
パターンが移動している場合に、光の強度をpi(t)j(t)
とすると受光感度分布は以下のように表される。ここ
で、時刻t=0で照射が開始され、t=Tで照射が終了
したとする。
【0208】
【数13】
【0209】従って、時刻t=Tの後に、受光デバイス
101に一様光を照射しつつ、図38に示すように、V
t+i の電圧を印加電圧ライン111に印加すれば、各受
光素子109から画像パターン115の移動軌跡に応じ
た光出力電流が得られる。よって、前処理部103は、
この光出力電流から移動軌跡を認識することができる。
【0210】実施例33. 図44はある画像パターン115の移動を検出する場合
の動作を説明するための説明図である。よって、この場
合、1番目の画像パターン115と2番目の画像パター
ン117とは同じものである。移動する画像パターンの
光の強度をpi(t)j(t)とする。この場合には、例えば前
処理部103によって、時刻t=0において電圧印加ラ
イン111に負電圧−V1が印加され、時刻t=Tにお
いて正電圧V1が印加される。すると、時刻t=Tにお
ける受光感度分布118は以下のように表される。 ηiji (p1i(0)j(0),−V1)+ηij(p1i(T)j(T),V1) =β(p1i(T)j(T)−p1i(0)j(0))V1……(42)
【0211】すなわち、受光感度分布118は、2つの
画像パターン115,117(この場合には同一のもの
である。)のEXORに比例した値になっている。そこ
で、受光デバイス101に一様光を照射しつつ、図38
に示すように、Vt+i の電圧を印加電圧ライン111に
印加すれば、各受光素子109から2つの画像パターン
のEXORに比例した光出力電流、すなわち、画像パタ
ーンの移動前と移動後の領域に対応した光出力電流が得
られる。前処理部103は、この光出力電流から画像の
移動を認識することができる。
【0212】実施例34. 図45はある画像パターンがある領域に入っているかど
うかを検出する場合の動作を説明するための説明図であ
る。この場合には、1番目の画像パターン115が照射
されるときに電圧印加ライン111に正電圧V1が印加
され、2番目の画像パターンが照射されるときにも正電
圧V1が印加される。
【0213】よって、図45(b)に示すように1番目
の画像パターンによって受光感度分布116が形成され
た状態で、2番目の画像パターンが、図45(c)に示
すように受光感度分布116が有意な領域に照射される
と、その部分の受光感度分布118は高くなる。また、
図45(e)に示すように受光感度分布116が有意で
ない領域に照射されると、図45(f)に示すように1
番目の画像パターン115によって形成された受光感度
分布116は変化しない。
【0214】よって、受光デバイス101に一様光を照
射しつつ、図38に示すように、Vt+i の電圧を印加電
圧ライン111に印加すれば、各受光素子109から図
45(d)または図45(f)に示す受光感度分布に応
じた光出力電流が得られる。前処理部103は、この光
出力電流から、1番目の画像パターンによる受光感度分
布116に感度の高い部分があるかどうか調べることに
より、ある領域(この場合には、1番目の画像パターン
が照射された領域)に、ある画像パターン(この場合に
は、2番目の画像パターン117)が入っているかどう
かを認識することができる。
【0215】実施例35. 上記各実施例においてはすべての受光素子109に同一
の電圧が印加されていたが、図46(a)に示すよう
に、各電圧印加ライン111のうちの特定の1つまたは
複数のラインにのみ電圧が印加されるようにしてもよ
い。そして、一様光114が照射される。すると、図4
6(b)に示すように、電圧が印加されたラインにのみ
感度を有する受光感度分布116が生ずる。
【0216】次に、電圧を印加しない状態で画像パター
ン117が照射されると、前処理部103は、光出力電
流を入力する。図46(d)に示すように、画像パター
ン117が受光感度のない部分に照射されると、光出力
電流の値は小さい。しかし、図46(c)に示すように
受光感度のある部分に照射されると、大きな光電流出力
が出力される。前処理部103は、光出力電流の大小を
検出することにより、有意な受光感度分布116を有す
る領域に画像パターン117があるかどうか検出するこ
とができる。
【0217】なお、最初に照射される光として、一様光
114を用いる代わりに空間的に変調された光を用い、
所定の電圧印加パターンとそれらの光を組合わせて2次
元的な受光感度分布を形成してもよい。例えば、ウォル
シュパターンを受光感度分布として形成し、そこに画像
パターンを照射すれば、その画像パターンのウォルシュ
係数を得ることができる。
【0218】実施例36. 図47は画像パターンの位置をより精密に検出する場合
の動作を説明するための説明図である。この場合には、
一様光114が照射される際に、各電圧出力ライン11
1に互いに異なる電圧V1,V2,・・・,Vnが印加
される。画像パターン117の位置が変われば各光電流
出力の値も変化するので、前処理部103は、それらの
出力電流の値によって画像パターンの位置を認識するこ
とができる。
【0219】なお、隣合う電圧印加ライン111の電圧
が、値は同じで極性が反対になるように印加電圧パター
ンを設定すると、画像パターンの所定の値以上の面積を
有する部分について光電流出力を0にしつつ、孤立して
いる線状部分については0でない出力が得られるように
でき、その結果、ライン検出が可能になる。
【0220】また、印加電圧パターンを例えば正弦波状
に変化させることにより、画像パターンのフーリエ変換
像を得ることができる。
【0221】更に、この場合にも、最初に照射される光
として、一様光113を用いる代わりに空間的に変調さ
れた光を用い、所定の電圧印加パターンとそれらの光を
組合わせて2次元的な受光感度分布を形成してもよい。
【0222】実施例37. 図48は図37に示したものとは異なる構造の受光デバ
イスの受光素子を示す断面図である。この場合には、G
aAs基板110上に3つのショットキー電極111
a,112a,111bが設けられる。また、図48
(a)に示すように、GaAs基板110の一部分にA
lGaAs部120が形成される。そして、GaAs上
のショットキー電極111aとGaAsおよびAlGa
Asのショットキー電極112aとによって受光素子#
1が形成され、ショットキー電極112aとAlGaA
s上のショットキー電極111bとによって受光素子#
2が形成される。なお、画像情報処理装置の全体構成
は、図36に示すものと同様のものである。
【0223】ここで、AlGaAsのバンドギャップは
GaAsのそれよりも大きいので、受光素子#1が波長
λ1およびλ2(λ1<λ2)で感度ηを有し、受光素
子#2が波長λ1で感度を有しつつλ2で感度を有しな
いようにすることができる。
【0224】次に動作について説明する。画像パターン
115(波長λ1)が照射される際に、電圧印加ライン
111を通して、受光素子#1には電圧Vが印加される
受光素子#2には電圧−2Vが印加される。よって、受
光素子#1の感度は、 η(p,V)=βpV……(43) 受光素子#2の感度は、 η(p,−2V)=−2βpV……(44) である。
【0225】次に、受光デバイス101に一様光を照射
しつつ、図38に示すように、Vt+i の電圧を印加電圧
ライン111に印加すれば、各受光素子109の受光素
子#1および受光素子#21か光電流出力が生ずる。こ
こで、一様光114の波長をλ1とすると、受光素子#
1の出力と受光素子#2の出力の合計は、 η(p,V)+η(p,−2V)=−βpV……(45) に比例した値であり、その合計の光電流出力がショット
キー電極112aから光電流出力ライン112に出力さ
れる。
【0226】また、一様光114の波長をλ2とする
と、受光素子#2の光電流出力は0になるので、出力の
合計は、 η(p,V)+0=βpV……(46) に比例した値である。
【0227】よって、読み出し時の一様光114の波長
に応じて光電流出力の向きを制御することができる。前
処理部103は、光電流出力から画像パターン115を
認識できるとともに、光出力電流の向きを制御すること
によって他の画像パターンとの加算や減算を容易に行う
ことができる。
【0228】なお、上記実施例では、GaAsとAlG
aAsとの組合せについて説明したが、バンドギャップ
の異なるものの組合せであれば他の組合せでもよく、例
えば、GaAsとInGaAsとの組合せでもよい。
【0229】また、上記各実施例では、印加電圧と光と
による受光感度制御について説明したが、電流注入のみ
による感度制御やそれらと電流注入との組合せによる感
度制御も可能である。
【0230】さらに、上記各実施例では、2つの画像間
の処理または1つの画像の位置認識などの場合について
説明したが、3つ以上の画像間の処理に容易に拡張可能
である。また、上記各実施例では、AND処理などの画
像間の処理について説明したが、処理された画像につい
てさらに、認識、識別、分類などを行った後、画像解析
の入力データとすることもできる。
【0231】ところで、上記各実施例では、画像情報の
最終的な読み取り方式として、図3に示す方式を用いた
場合について説明したが、図49に示す方式を採用する
こともできる。つまり、光電流出力ライン112から垂
直方向の光電流出力Iv1〜Ivnを取り出すのみならず、
水平方向の光電流出力Ih1〜Ihnをも光電流出力ライン
124から取り出す構造とする。このようにして、画像
パターンの垂直投影像および水平投影像を得ることがで
きる。ニューラルネットワーク処理部125は、各投影
像から元の画像パターンを再現する。
【0232】実施例38. 図50はこの発明の一実施例による情報処理用素子の構
造を示す断面図であって、この素子は、GaAs基板1
10上に、ソース電極(信号電極)127、ドレイン電
極(信号電極)128およびゲート電極(制御電極)1
29が形成されている。ゲート電極129はショットキ
ー接合されている。ショットキー界面には、界面トラッ
プによるトラップキャリアが存在する。なお、ソース電
極127は接地される。
【0233】次に動作について説明する。この素子は記
憶作用を果たすが、情報書き込み時には、ゲート電極1
29の負のバイアス電圧が印加され、ドレイン電極12
8−ソース電極127間に電流が流される。すると、キ
ャリアの一部がゲート電極129下のトラップ準位13
0に蓄積される。この結果、ゲート電極129から見た
しきい値電圧は高い状態(「0」状態)になる。ゲート
電圧がしきい値電圧以下であれば、ドレイン電流は流れ
にくくなる。
【0234】情報の消去時には、ゲート電圧が正にバイ
アスされ、トラップ準位130が空にされる。従って、
しきい値電圧の低い「1」になる。読み出し時には、ゲ
ート電極129に電圧が印加されることによってセルが
選択され、ドレイン電極128に充分低い電圧が印加さ
れ、しきい値電圧の差に応じて「1」または「0」が読
み出される。以上のように、この素子においては、不揮
発的な記憶が可能である。
【0235】実施例39. 図51は他の実施例による情報処理用素子の構造を示す
断面図である。この場合には、ショットキー接合された
ゲート電極129の他に、エピタキシャル成長によって
形成されたアルミニウムのゲート電極(第2の制御電
極)131も設けられる。このエピタキシャルアルミニ
ウムのゲート電極131下にはトラップが形成されにく
いので、記憶作用は出現しない。
【0236】記憶作用はショットキー接合によるゲート
電極129で実現され、ゲート電極131は、キャリア
の変調作用を行う。すなわち、ゲート電極131は、外
部からの制御にしたがってトラップキャリアの注入や引
き抜きを行うためのフローティングゲートとして作用す
る。つまり、ゲート電極131の制御による蓄積電荷量
によって空乏層の空間分布が制御され、その結果、コン
ダクタンスが変調される。
【0237】なお、上記実施例では、エピタキシャルア
ルミニウムを用いた場合について説明したが、他の金属
を用いてもよい。
【0238】また、上記の2つの実施例では、GaAs
基板110を用いた場合について説明したが、他の半導
体、例えば、SiやHgCdTeなど、またはそれらの
組合せを用いてもよい。また、上記各実施例では、ショ
ットキー接合によるトラップ準位を用いた場合について
説明したが、半導体内部のトラップ準位や異種半導体界
面の準位、もしくは、MIS(Metal Insul
ator Semiconductor)における界面
準位やポリSi中のトラップ準位、またはそれらの組合
せを用いてもよい。
【0239】さらに、単一のGaAs基板10の代わり
に、シリコン3次元集積素子を用い、その最上層に上記
各実施例による素子の機能を実現し、その下の層で他の
機能を実現するようにしてもよい。また、光ニューロチ
ップのように、発光素子をも集積化した構造であっても
よい。あるいは、Si上のGaAsなどの化合物半導体
成長技術によって、GaAs上に受光素子を形成しSi
上に他の機能をもつ素子を形成するようにしてもよい。
【0240】また、上記2つの実施例では、電流注入に
よってトラップキャリアを形成する場合について説明し
たが、実施例28〜実施例37に示すように、印加電圧
と光によって、またはそれらと電流との組合せによって
トラップキャリアを形成してもよい。
【0241】
【発明の効果】請求項1記載の発明によれば、複数のV
SPDが行列に配列された受光素子アレイと、このアレ
イの行に電圧を供給する制御回路と、このアレイの列か
らの電流を処理する神経ネットワークを備えた構成にし
たので、アレイの各行の感度を制御して1行ずつこのア
レイ出力を神経ネットワークで処理し、高速に画像情報
を処理できる効果がある。
【0242】請求項2ないし請求項6記載の発明によれ
ば、制御回路はアナログ電圧シフトレジスタを備えた構
成にしたので、電圧ベクトル(制御ベクトル)の要素を
周期的に循環できる効果がある。
【0243】請求項7記載の発明によれば、制御回路は
アナログ電圧シフトレジスタの入力端と出力端とを接続
された構成にしたので、制御回路に記憶されたデータを
用いて任意に数の処理サイクルを得られる効果がある。
【0244】請求項8記載の発明によれば、制御回路は
アナログ電圧シフトレジスタが関数発生装置と接続可能
とされた構成にしたので、1次元または2次元変換が可
能であるという効果がある。
【0245】請求項9記載の発明によれば、神経ネット
ワークはリセット可能な積分器を備えた構成にしたの
で、さらに時間依存画像情報の処理ができる効果があ
る。
【0246】請求項10記載の発明によれば、VSPD
は色フィルタを備えた構成にしたので、色情報を処理で
きる効果がある。
【0247】請求項11ないし請求項13記載の発明に
よれば、VSPDが六角形状を形成する構成にしたの
で、生物学上の網膜と同様に画像情報を処理できる効果
がある。
【0248】請求項14記載の発明によれば、制御回路
からの制御電圧の要素(組)は第1の行列を構成し、か
つ神経ネットワークは第2の行列を表現する構成にした
ので、受光素子アレイに投影された画像は第1または第
2の行列の乗算されたものが出力され、また第1または
第2の行列は少なくとも1個の注目焦点の形成、水平お
よび/または垂直方向の1次元核の畳み込み、1次元ま
たは2次元の直交および非直交変換の内容に応じて設定
できる効果がある。
【0249】請求項15記載の発明によれば、リセット
可能な積分器を備える構成にしたので、時間依存画像の
画像処理ができる効果がある。
【0250】請求項16記載の発明によれば、画像情報
の分類を行うメリット関数に従って処理する構成にした
ので、画像情報を分類し高速なプロセスで処理する効果
がある。
【0251】請求項17記載の発明によれば、画像情報
の分類を行うメリット関数と、該メリット関数を最適化
アルゴリズムに従って処理する最適化アルゴリズムを備
えた構成にしたので、画像情報を高速に最適化したプロ
セスで処理する効果がある。
【図面の簡単な説明】
【図1】 この発明の動作原理を例示する図である。
【図2】 エッジ抽出プロセスを例示する図である。
【図3】 この発明の他の実施例を示す図である。
【図4】 画像認識プロセスの最適化のためのアルゴリ
ズムを例示する図である。
【図5】 色情報の処理を例示する図である。
【図6】 修正されたVSPD配置を有するVSPDア
レイを示す図である。
【図7】 この発明装置に適用するイメージセンサの構
成図である。
【図8】 金属−半導体−金属構造を持つ感度可変受光
素子の構造図である。
【図9】 出力電極との可変接続部をもつ1次元メモリ
を表す図である。
【図10】 p型半導体−n型半導体−p型半導体構造
を持つ感度可変受光素子の構造図である。
【図11】 この発明装置に適用するイメージセンサの
他の構成図である。
【図12】 受光エレメントの構造図である。
【図13】 受光エレメントの構造図である。
【図14】 受光エレメントの構造図である。
【図15】 この発明装置に適用するイメージセンサの
他の構成図である。
【図16】 この発明装置に適用するイメージセンサの
更に他の分解斜視図である。
【図17】 図16のイメージセンサの構成図である。
【図18】 この発明装置に適用する感度可変受光素子
を示す断面図である。
【図19】 この発明装置に適用する感度可変受光素子
を示す断面図である。
【図20】 この発明装置に適用する感度可変受光素子
を示す断面図である。
【図21】 この発明装置に適用する感度可変受光素子
を示す断面図である。
【図22】 この発明装置に適用する感度可変受光素子
を示す断面図である。
【図23】 この発明装置の適用する感度可変受光素子
を示す切欠斜視図である。
【図24】 この発明装置に適用する感度可変受光素子
を示す断面図である。
【図25】 この発明装置に適用する感度可変受光素子
を示す断面図である。
【図26】 この発明装置に適用する感度可変受光素子
を示す斜視図である。
【図27】 この発明装置に適用する感度可変受光素子
を示す断面図である。
【図28】 この発明装置に適用する感度可変受光素子
を示す断面図である。
【図29】 (a)と(b)はそれぞれこの発明装置に
適用する一入力多出力型感度可変受光素子アレイを示す
平面構成図と、多入力一出力型感度可変受光素子アレイ
を示す平面構成図である。
【図30】 この発明装置に適用する感度可変受光素子
アレイを示す平面構成図である。
【図31】 この発明装置に適用する感度可変受光素子
アレイを示す平面構成図である。
【図32】 この発明装置に適用する人工網膜素子の構
成を示す構成図である。
【図33】 受光素子アレイにおける感度パターンおよ
び出力の処理の一例を説明するための説明図である。
【図34】 受光素子アレイにおける感度パターンおよ
び出力の処理の他の例を説明するための説明図である。
【図35】 この発明装置に適用する人工網膜素子にお
ける受光素子アレイの感度パターンおよび出力の処理を
説明するための説明図である。
【図36】 この発明装置の構成を示す構成図である。
【図37】 受光デバイスの構造を示す斜視図である。
【図38】 受光デバイスの光電流出力方式を説明する
ための説明図である。
【図39】 2つの画像のAND画像を得る場合の動作
を説明するための説明図である。
【図40】 2つの画像パターンOR画像を得る場合の
動作を説明するための説明図である。
【図41】 2つの画像パターンのEXOR画像を得る
場合の動作を説明するための説明図である。
【図42】 画像パターンNOT画像を得る場合の動作
を説明するための説明図である。
【図43】 移動している画像パターンを検出する場合
の動作を説明するための説明図である。
【図44】 画像パターンの移動を検出する場合の動作
を説明するための説明図である。
【図45】 画像パターンがある領域に入っているかど
うかを検出する場合の動作を説明するための説明図であ
る。
【図46】 ある領域に画像パターンがあるかどうか検
出する場合の動作を示す説明図である。
【図47】 画像パターンの位置をより精密に検出する
場合の動作を説明するための説明図である。
【図48】 図37に示したものとは異なる構造の受光
デバイスの受光素子を示す断面図である。
【図49】 受光デバイスの他の光電流出力方式を説明
するための説明図である。
【図50】 この発明装置に適用する情報処理用素子の
構造を示す断面図である。
【図51】 この発明装置に適用する他の情報処理用素
子の構造を示す断面図である。
【図52】 先行技術の画像処理システムを示す図であ
る。
【図53】 従来のイメージセンサの構成図である。
【図54】 従来の感度可変受光素子を示す断面図であ
る。
【図55】 従来の人工網膜素子の構成を示す構成図で
ある。
【図56】 従来の画像情報処理装置の構成を示す構成
図である。
【図57】 従来の記憶素子の一つであるEEPROM
の構造を示す断面図である。
【符号の説明】
1 VSPDのVSPDアレイ(受光素子のアレイ)、
2 1個のVSPD(1個の受光素子)、3 投影画
像、4 制御回路、5 神経ネットワーク、6処理され
た画像、7 分類器、9 投影画像、10 メリット関
数評価、11最適化アルゴリズム、12 色フィルタ、
Q メリット関数、W 画像マトリックス。
フロントページの続き (31)優先権主張番号 特願平4−269100 (32)優先日 平4(1992)9月14日 (33)優先権主張国 日本(JP) (72)発明者 久間 和生 尼崎市塚口本町8丁目1番1号 三菱電 機株式会社 中央研究所内 (72)発明者 太田 淳 尼崎市塚口本町8丁目1番1号 三菱電 機株式会社 中央研究所内 (72)発明者 新田 嘉一 尼崎市塚口本町8丁目1番1号 三菱電 機株式会社 中央研究所内 (72)発明者 原 邦彦 尼崎市塚口本町8丁目1番1号 三菱電 機株式会社 中央研究所内 (72)発明者 豊田 孝 尼崎市塚口本町8丁目1番1号 三菱電 機株式会社 中央研究所内 (72)発明者 船津 英一 尼崎市塚口本町8丁目1番1号 三菱電 機株式会社 中央研究所内 (56)参考文献 特開 平4−55990(JP,A) 特開 平3−117982(JP,A) OHTA J,ET.AL.,”DY NAMIC OPTICAL NEUR OCHIP USING VARIAB LE−SENSITIVITY PHO TODIODES”,OPTICS L ETTERS,VOL.16,NO.10, MAY 15,1991 (58)調査した分野(Int.Cl.6,DB名) G06T 7/00 G06F 15/18 JICSTファイル(JOIS)

Claims (17)

    (57)【特許請求の範囲】
  1. 【請求項1】 行列状に配置された受光素子のアレイ
    と、前記アレイの行に感度制御のための電圧を供給する
    制御回路と、前記アレイの列から接地へ流れる電流を処
    理する神経ネットワークとを含む、画像感知および処理
    のための装置。
  2. 【請求項2】 前記制御回路は、アナログ電圧をシフト
    するシフトレジスタを備えることを特徴とする請求項1
    記載の画像感知および処理のための装置。
  3. 【請求項3】 前記アナログ電圧シフトレジスタは、電
    荷結合素子を備えることを特徴とする請求項2記載の画
    像感知および処理のための装置。
  4. 【請求項4】 前記アナログ電圧シフトレジスタは、サ
    ンプル/ホールド回路の連鎖を備えることを特徴とする
    請求項2記載の画像感知および処理のための装置。
  5. 【請求項5】 前記アナログ電圧シフトレジスタは、1
    ビット幅のD/A変換器の組と協働する1ビット幅のデ
    ィジタルシフトレジスタを使用して実現されることを特
    徴とする請求項2記載の画像感知および処理のための装
    置。
  6. 【請求項6】 前記アナログ電圧シフトレジスタは、l
    +1PCM符号化アナログ電圧レベルを得るために、長
    さのlの1ビット幅のディジタルシフトレジスタの連鎖
    を使用して実現されることを特徴とする請求項2記載の
    画像感知および処理のための装置。
  7. 【請求項7】 前記ディジタルシフトレジスタの出力端
    部は、閉ループ動作モードを得るために、その入力に接
    続されることができることを特徴とする請求項5または
    請求項6記載の画像感知および処理のための装置。
  8. 【請求項8】 前記シフトレジスタはその入力を関数発
    生器から受取ることを特徴とする請求項2ないし請求項
    6のいずれか一項に記載の画像感知および処理のための
    装置。
  9. 【請求項9】 前記神経ネットワークはリセット可能の
    積分器を備えることを特徴とする請求項1記載の画像感
    知および処理のための装置。
  10. 【請求項10】 前記アレイの受光素子には色フィルタ
    が設けられることを特徴とする請求項1記載の画像感知
    および処理のための装置。
  11. 【請求項11】 前記アレイの1行おきの受光素子は、
    行における2つの近接する受光素子の間の距離の半分に
    等しい距離シフトされ、受光素子の六角形状の配置を得
    るようにされることを特徴とする請求項1記載の画像感
    知および処理のための装置。
  12. 【請求項12】 前記アレイは、その受光素子の一部を
    除去し、受光素子の六角形状の配置を有することを特徴
    とする請求項1記載の画像感知および処理のための装
    置。
  13. 【請求項13】 前記受光素子は六角形の形状を有する
    ことを特徴とする請求項11または請求項12記載の画
    像感知および処理のための装置。
  14. 【請求項14】 感度可変光検出素子が複数個配列され
    たアレイ上へ画像を投影するステップ、前記アレイの行
    へ前記受光素子の感度を制御するための制御電圧を印加
    するステップ、および前記アレイの各列から接地へ流れ
    る電流を入力信号として神経ネットワークへ与えて処理
    をするステップを備え、前記制御電圧の組は第1の行列
    を構成し、かつ前記神経ネットワークは第2の行列を表
    現し、これにより前記アレイ上へ投影されかつ感知され
    た画像マトリックスは、その一方または両側から前記第
    1または第2の行列もしくは前記第1および第2の行列
    の乗算を実行されて前記神経ネットワークから出力さ
    れ、前記第1および第2の行列は、少なくとも1個の注
    目焦点の形成,水平および/または垂直方向の1次元核
    の畳込み、1次元または2次元の直交および非直交変換
    の処理内容に応じて設定されることを特徴とする画像感
    知および処理のための方法。
  15. 【請求項15】 リセット可能な積分器を備える神経ネ
    ットワークを使用することにより、時間依存画像の処理
    を行えるようにしたことを特徴とする請求項14記載の
    画像感知および処理のための方法。
  16. 【請求項16】 複数の受光素子を有するアレイ上へ画
    像を投影するステップ、前記アレイの各行へ受光素子の
    感度を制御するために制御電圧を印加するステップ、前
    記制御電圧の組は前記投影画像が与えるマトリックスと
    乗算されるべきマトリックスを構成し、前記アレイの各
    列からの電流出力に応動する分類器を用いて、前記投影
    画像が属する類を分類するステップを備えた画像感知お
    よび処理のための方法。
  17. 【請求項17】 前記分類器における分類の品質の度合
    を表現するメリット関数を用いて前記分類を行うステッ
    プと、前記メリット関数を最適化アルゴリズムに従って
    処理し、該処理結果に従って前記制御電圧の値を変化さ
    せ、これにより前記メリット関数を最適化するステップ
    とを備えることを特徴とする請求項16記載の画像感知
    および処理のための方法。
JP4352395A 1992-03-25 1992-12-11 画像感知および処理のための装置および方法 Expired - Lifetime JP2809954B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP4352395A JP2809954B2 (ja) 1992-03-25 1992-12-11 画像感知および処理のための装置および方法
DE4310092A DE4310092A1 (de) 1992-03-25 1993-03-25 Vorrichtung und Verfahren zum Abtasten und Verarbeiten von Bildern
US08/688,684 US5815608A (en) 1992-03-25 1996-07-29 Apparatus and method for sensing and processing images

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP6749992 1992-03-25
JP18889992 1992-06-24
JP25184892 1992-08-28
JP4-67499 1992-09-14
JP4-188899 1992-09-14
JP4-269100 1992-09-14
JP4-251848 1992-09-14
JP26910092 1992-09-14
JP4352395A JP2809954B2 (ja) 1992-03-25 1992-12-11 画像感知および処理のための装置および方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP10122579A Division JPH10294899A (ja) 1998-05-01 1998-05-01 画像感知および処理のための装置
JP12257898A Division JP3607074B2 (ja) 1998-05-01 1998-05-01 画像感知および処理のための装置

Publications (2)

Publication Number Publication Date
JPH06139361A JPH06139361A (ja) 1994-05-20
JP2809954B2 true JP2809954B2 (ja) 1998-10-15

Family

ID=27524044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4352395A Expired - Lifetime JP2809954B2 (ja) 1992-03-25 1992-12-11 画像感知および処理のための装置および方法

Country Status (3)

Country Link
US (1) US5815608A (ja)
JP (1) JP2809954B2 (ja)
DE (1) DE4310092A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19532011A1 (de) * 1995-08-31 1997-03-06 Daimler Benz Ag Netzwerk zur Beeinflussung von Signalfeldern
US6452632B1 (en) 1997-01-31 2002-09-17 Kabushiki Kaisha Toshiba Solid state image sensor and video system using the same
JP2980063B2 (ja) * 1997-06-10 1999-11-22 三菱電機株式会社 画像処理装置
JP4124861B2 (ja) 1998-06-19 2008-07-23 株式会社東芝 移動量検出装置及びその方法
US6267294B1 (en) * 1998-09-11 2001-07-31 Robotic Vision Systems Inc. Method of operating a charge coupled device in an accelerated mode, and in conjunction with an optical symbology imager
US6589332B1 (en) * 1998-11-03 2003-07-08 Memc Electronic Materials, Inc. Method and system for measuring polycrystalline chunk size and distribution in the charge of a Czochralski process
US6249618B1 (en) * 1998-12-18 2001-06-19 Syscan, Inc. Circuit architecture and method for switching sensor resolution
US7158183B1 (en) 1999-09-03 2007-01-02 Nikon Corporation Digital camera
JP3386025B2 (ja) * 1999-12-15 2003-03-10 株式会社ニコン 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム
JP5902947B2 (ja) * 2008-10-02 2016-04-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. コレステリック液晶混合物を含むスペクトル検出器、スペクトル検出器の製造方法、並びにスペクトル検出器を含む光学バイオセンサ、照明装置及び光治療装
CN106137531B (zh) 2010-02-26 2019-02-15 康奈尔大学 视网膜假体
US9302103B1 (en) 2010-09-10 2016-04-05 Cornell University Neurological prosthesis
CN103890781B (zh) 2011-08-25 2017-11-21 康奈尔大学 用于机器视觉的视网膜编码器
US9427569B2 (en) * 2012-05-09 2016-08-30 Po-Kang Lin Structure of artificial electronic retina
US9716852B2 (en) 2015-04-03 2017-07-25 Semiconductor Energy Laboratory Co., Ltd. Broadcast system
EP3291780A4 (en) 2015-04-20 2019-01-23 Cornell University MACHINE VISION WITH DIMENSION DATA REDUCTION
JP6674838B2 (ja) 2015-05-21 2020-04-01 株式会社半導体エネルギー研究所 電子装置
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
WO2018025116A1 (en) * 2016-08-03 2018-02-08 Semiconductor Energy Laboratory Co., Ltd. Imaging device, imaging module, electronic device, and imaging system
US10551223B2 (en) * 2017-03-20 2020-02-04 Tt Electronics Plc Method and apparatus for configurable photodetector array patterning for optical encoders
JP7217227B2 (ja) 2017-05-02 2023-02-02 株式会社半導体エネルギー研究所 撮像装置、及び電子機器
US10586129B2 (en) * 2018-02-21 2020-03-10 International Business Machines Corporation Generating artificial images for use in neural networks
CN108444524B (zh) * 2018-03-13 2021-08-27 广东里田电力工业有限公司 一种带有智能温度显示的新型传感器
US10904049B1 (en) 2019-07-11 2021-01-26 Stmicroelectronics (Research & Development) Limited Time domain discrete transform computation
CN110991619A (zh) * 2019-12-09 2020-04-10 Oppo广东移动通信有限公司 神经网络处理器、芯片和电子设备
CN112102167B (zh) * 2020-08-31 2024-04-26 深圳市航宇数字视觉科技有限公司 一种基于视觉感知的图像超分辨率方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56164681A (en) * 1980-05-22 1981-12-17 Matsushita Electronics Corp Solidstate image pick-up device
JPS6027870A (ja) * 1983-07-26 1985-02-12 Nec Corp スタ−センサにおけるデ−タ処理装置
US4660090A (en) * 1985-08-27 1987-04-21 Texas Instruments Incorporated CCD imager with on-chip processing
DE3635687A1 (de) * 1986-10-21 1988-05-05 Messerschmitt Boelkow Blohm Bildaufnahmesensor
US5053974A (en) * 1987-03-31 1991-10-01 Texas Instruments Incorporated Closeness code and method
US5014219A (en) * 1988-05-06 1991-05-07 White James A Mask controled neural networks
US4985618A (en) * 1988-06-16 1991-01-15 Nicoh Company, Ltd. Parallel image processing system
US4988891A (en) * 1989-05-09 1991-01-29 Mitsubishi Denki Kabushiki Kaisha Semiconductor neural network including photosensitive coupling elements
US5113365A (en) * 1989-05-16 1992-05-12 Massachusetts Institute Of Technology Method and charge coupled apparatus for algorithmic computations
JP2872759B2 (ja) * 1989-06-08 1999-03-24 富士写真フイルム株式会社 固体撮像システム
JP2752442B2 (ja) * 1989-06-28 1998-05-18 三菱電機株式会社 視覚情報処理素子
DE3929132A1 (de) * 1989-09-01 1991-03-07 Siemens Ag Neuronales netzwerk mit optischer programmierung in duennfilmtechnologie
US5140670A (en) * 1989-10-05 1992-08-18 Regents Of The University Of California Cellular neural network
US5138695A (en) * 1989-10-10 1992-08-11 Hnc, Inc. Systolic array image processing system
JP2575215B2 (ja) * 1989-10-30 1997-01-22 富士写真フイルム株式会社 カラー画像形成装置
US5067164A (en) * 1989-11-30 1991-11-19 At&T Bell Laboratories Hierarchical constrained automatic learning neural network for character recognition
US4997249A (en) * 1990-02-26 1991-03-05 The United States Of America As Represented By The Secretary Of The Navy Variable weight fiber optic transversal filter
US5129041A (en) * 1990-06-08 1992-07-07 Grumman Aerospace Corporation Optical neural network processing element with multiple holographic element interconnects
US5091965A (en) * 1990-07-16 1992-02-25 Sony Corporation Video image processing apparatus
US5227886A (en) * 1991-02-19 1993-07-13 Hughes Aircraft Company Optical imaging/display CCD light valve and method
US5251037A (en) * 1992-02-18 1993-10-05 Hughes Training, Inc. Method and apparatus for generating high resolution CCD camera images
US5244818A (en) * 1992-04-08 1993-09-14 Georgia Tech Research Corporation Processes for lift-off of thin film materials and for the fabrication of three dimensional integrated circuits

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OHTA J,ET.AL.,"DYNAMIC OPTICAL NEUROCHIP USING VARIABLE−SENSITIVITY PHOTODIODES",OPTICS LETTERS,VOL.16,NO.10,MAY 15,1991

Also Published As

Publication number Publication date
US5815608A (en) 1998-09-29
DE4310092A1 (de) 1993-09-30
JPH06139361A (ja) 1994-05-20

Similar Documents

Publication Publication Date Title
JP2809954B2 (ja) 画像感知および処理のための装置および方法
Kim et al. Bio‐inspired artificial vision and neuromorphic image processing devices
Moini Vision chips or seeing silicon
US10186626B2 (en) Photon-effect transistor
Zhang et al. Wafer-scale fabrication of CMOS-compatible trapping-mode infrared imagers with colloidal quantum dots
US20230186060A1 (en) Novel neuromorphic vision system
US11710758B2 (en) Optoelectronic apparatus, a reading-out method, and a uses of the optoelectronic apparatus
JP3607074B2 (ja) 画像感知および処理のための装置
Junior et al. Filter-free color pixel sensor using gated PIN photodiodes and machine learning techniques
Lange et al. Optical neural chips
Mennel et al. A photosensor employing data-driven binning for ultrafast image recognition
US8071410B2 (en) Multi spectral sensor
Boahen Retinomorphic vision systems: Reverse engineering the vertebrate retina
Wang et al. Multidimensional vision sensors for information processing
JPH10294899A (ja) 画像感知および処理のための装置
CN117911784A (zh) 一种基于高保真模拟光子神经网络的目标图像识别系统
Tabet Double sampling techniques for CMOS image sensors
CN113612942B (zh) 一种卷积视觉图像传感器
WO2018075997A1 (en) Motion tracking using multiple exposures
JPH07302928A (ja) 半導体受光素子ならびに半導体受光素子アレイおよび画像処理装置ならびに画像処理方法
Hong On-chip spatial image processing with CMOS active pixel sensors
JPH02184072A (ja) 固体撮像装置
US4994876A (en) Light detecting element and light detecting array
CN118398638B (zh) 多色光电突触成像电路、芯片及图像传感器
US20240222404A1 (en) Image capture apparatus and methods using color co-site sampling

Legal Events

Date Code Title Description
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080731

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080731

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090731

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100731

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110731

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110731

Year of fee payment: 13

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110731

Year of fee payment: 13

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110731

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 15

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 15