JP2752442B2 - 視覚情報処理素子 - Google Patents
視覚情報処理素子Info
- Publication number
- JP2752442B2 JP2752442B2 JP1167769A JP16776989A JP2752442B2 JP 2752442 B2 JP2752442 B2 JP 2752442B2 JP 1167769 A JP1167769 A JP 1167769A JP 16776989 A JP16776989 A JP 16776989A JP 2752442 B2 JP2752442 B2 JP 2752442B2
- Authority
- JP
- Japan
- Prior art keywords
- visual information
- input
- information processing
- neuron
- neurons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000007 visual effect Effects 0.000 title claims description 25
- 230000010365 information processing Effects 0.000 title claims description 24
- 210000002569 neuron Anatomy 0.000 claims description 41
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 239000004065 semiconductor Substances 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 239000002120 nanofilm Substances 0.000 claims 2
- 239000011229 interlayer Substances 0.000 claims 1
- 239000010410 layer Substances 0.000 claims 1
- 210000003061 neural cell Anatomy 0.000 claims 1
- 238000009825 accumulation Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical group [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 4
- 229910052782 aluminium Inorganic materials 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000003990 capacitor Substances 0.000 description 3
- UJKPHYRXOLRVJJ-MLSVHJFASA-N CC(O)C1=C(C)/C2=C/C3=N/C(=C\C4=C(CCC(O)=O)C(C)=C(N4)/C=C4\N=C(\C=C\1/N\2)C(C)=C4C(C)O)/C(CCC(O)=O)=C3C Chemical compound CC(O)C1=C(C)/C2=C/C3=N/C(=C\C4=C(CCC(O)=O)C(C)=C(N4)/C=C4\N=C(\C=C\1/N\2)C(C)=C4C(C)O)/C(CCC(O)=O)=C3C UJKPHYRXOLRVJJ-MLSVHJFASA-N 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229960003569 hematoporphyrin Drugs 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- IIYFAKIEWZDVMP-UHFFFAOYSA-N tridecane Chemical compound CCCCCCCCCCCCC IIYFAKIEWZDVMP-UHFFFAOYSA-N 0.000 description 2
- 238000001771 vacuum deposition Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- CQBSIACNPJVTRR-UHFFFAOYSA-N tridecanoyl tridecanoate Chemical compound CCCCCCCCCCCCC(=O)OC(=O)CCCCCCCCCCCC CQBSIACNPJVTRR-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Neurology (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、運動している物体の速度情報（オプティ
カルフロー）を高速に処理できる視覚情報処理素子に関
するものである。
カルフロー）を高速に処理できる視覚情報処理素子に関
するものである。
第４図は例えばシー・コッホ（C.Koch）他，「ニュー
ラルコンピューターズ」，ベルリン,1988年,101頁（“N
eural Computers",Berlin,（1988）p.101）に示された
オプティカルフロー算出のための立体抵抗回路網を示す
図であり、図において、２は可変の電源、３はコンデン
サ、４は可変の抵抗、5,6は立体抵抗回路網の接点、７
は上層，下層の接点間をつなぐ抵抗、８は上層，および
下層面内での各接点を結ぶ可変抵抗、９は抵抗８内に設
けられたスイッチである。
ラルコンピューターズ」，ベルリン,1988年,101頁（“N
eural Computers",Berlin,（1988）p.101）に示された
オプティカルフロー算出のための立体抵抗回路網を示す
図であり、図において、２は可変の電源、３はコンデン
サ、４は可変の抵抗、5,6は立体抵抗回路網の接点、７
は上層，下層の接点間をつなぐ抵抗、８は上層，および
下層面内での各接点を結ぶ可変抵抗、９は抵抗８内に設
けられたスイッチである。
次に動作について説明する。フォトダイオードなどの
光電変換素子から得られた入力情報などから決められる
可変電源２の電圧，可変抵抗４の値及び接点をつなぐ可
変抵抗８の値が、ある時間間隔をもって立体抵抗回路の
各接点に同時に入力される。物体の運動により生じた光
信号の変化にもとづく各接点５および６における電圧変
化はいままで安定していた回路網の系を乱し、立体抵抗
回路網はキルヒホッフの法則に従って電力消費最小の新
たな安定状態に移行する。安定状態に達した各接点５お
よび６の電圧値から、ｘ方向とｙ方向の二次元の速度ベ
クトルが求められる。しかし、この場合物体の輪郭が不
明瞭になるため、スイッチ９を設け合理的な位置に輪郭
が形成されるようにしている。
光電変換素子から得られた入力情報などから決められる
可変電源２の電圧，可変抵抗４の値及び接点をつなぐ可
変抵抗８の値が、ある時間間隔をもって立体抵抗回路の
各接点に同時に入力される。物体の運動により生じた光
信号の変化にもとづく各接点５および６における電圧変
化はいままで安定していた回路網の系を乱し、立体抵抗
回路網はキルヒホッフの法則に従って電力消費最小の新
たな安定状態に移行する。安定状態に達した各接点５お
よび６の電圧値から、ｘ方向とｙ方向の二次元の速度ベ
クトルが求められる。しかし、この場合物体の輪郭が不
明瞭になるため、スイッチ９を設け合理的な位置に輪郭
が形成されるようにしている。
従来の視覚情報処理素子は以上のように構成されてい
るので、集積回路内に三次元の立体抵抗回路を構築する
ことは困難であり、また、CCDやフォトダイオードアレ
イなどの光電変換素子を同じ素子内に形成することは、
困難であるなどの問題点があった。
るので、集積回路内に三次元の立体抵抗回路を構築する
ことは困難であり、また、CCDやフォトダイオードアレ
イなどの光電変換素子を同じ素子内に形成することは、
困難であるなどの問題点があった。
この発明は、上記のような問題点を解消するためにな
されたもので、同一素子内に効率よく組み込まれた構成
を有し、運動している物体の速度情報を実時間レベルで
処理することのできる視覚情報処理素子を得ることを目
的とする。
されたもので、同一素子内に効率よく組み込まれた構成
を有し、運動している物体の速度情報を実時間レベルで
処理することのできる視覚情報処理素子を得ることを目
的とする。
この発明に係る視覚情報処理素子は、マトリクス状に
ニューロン回路領域が設けられた集積回路素子部と、該
集積回路素子部上に設けられた、ヘテロ接合を持つ分子
累積膜を電極ではさんだ構造を持つ光電機能部に１画素
１ニューロンに対応する映像入力部と、Tij信号入力部
を設けた分子膜素子部とを有するニューラルネットワー
クユニットを２組備え、上記各ニューロン回路領域は同
一層内においては最近接の４個のニューロンと結合し、
層間においては対応する１個のニューロンと結合した構
造としたものである。
ニューロン回路領域が設けられた集積回路素子部と、該
集積回路素子部上に設けられた、ヘテロ接合を持つ分子
累積膜を電極ではさんだ構造を持つ光電機能部に１画素
１ニューロンに対応する映像入力部と、Tij信号入力部
を設けた分子膜素子部とを有するニューラルネットワー
クユニットを２組備え、上記各ニューロン回路領域は同
一層内においては最近接の４個のニューロンと結合し、
層間においては対応する１個のニューロンと結合した構
造としたものである。
この発明における視覚情報処理素子は、上記のような
構成とし、ニューロン間の結合強度マトリクスTijを外
部から書き込むことができ、しかも同時に映像信号も入
力できるとともに、ニューロンの結合も最近接ニューロ
ン間だけの配線で運動している物体の速度情報を得るよ
うに構成したことにより、ニューロン間の配線数及びTi
jの数を軽減でき、しかも高速に入力映像情報を処理す
ることができる。
構成とし、ニューロン間の結合強度マトリクスTijを外
部から書き込むことができ、しかも同時に映像信号も入
力できるとともに、ニューロンの結合も最近接ニューロ
ン間だけの配線で運動している物体の速度情報を得るよ
うに構成したことにより、ニューロン間の配線数及びTi
jの数を軽減でき、しかも高速に入力映像情報を処理す
ることができる。
以下、この発明の一実施例を図について説明する。
第１図は本発明の一実施例による視覚情報処理素子を
示す図であり、この図では２層構造の内の１層のみを示
している。図において、11は集積回路内に形成されたニ
ューロン回路領域（以下ニューロンと略す）であり、12
はニューロンの入力端子、13はニューロンの出力端子、
16はヘテロ接合を持つ分子累積膜、14は半導体集積回路
素子上の分子累積膜16の下に存在する入力用配線、15は
分子累積膜16上に存在する出力用配線、17は集積回路上
に形成した絶縁膜、18aは映像を入力する部分、19は集
積回路を形成しているシリコン基板、20は集積回路部内
に形成されたニューロン領域の断面、18bは隣り合った
ニューロンの入力及び出力のシナプス結合強度を表わす
Tij信号を入力する部分である。
示す図であり、この図では２層構造の内の１層のみを示
している。図において、11は集積回路内に形成されたニ
ューロン回路領域（以下ニューロンと略す）であり、12
はニューロンの入力端子、13はニューロンの出力端子、
16はヘテロ接合を持つ分子累積膜、14は半導体集積回路
素子上の分子累積膜16の下に存在する入力用配線、15は
分子累積膜16上に存在する出力用配線、17は集積回路上
に形成した絶縁膜、18aは映像を入力する部分、19は集
積回路を形成しているシリコン基板、20は集積回路部内
に形成されたニューロン領域の断面、18bは隣り合った
ニューロンの入力及び出力のシナプス結合強度を表わす
Tij信号を入力する部分である。
ここで、入力用配線12はアルミの真空蒸着とフォトリ
フグラフィーにより形成し、出力用配線13はアルミの真
空蒸着とフォトリソグラフィーにより半透明アルミ電極
として形成した。この出力用配線13としてはITOやネサ
ガラスなどの透明電極を用いることも可能である。ヘテ
ロ接合の分子累積膜16は下層アルミ電極を形成した集積
回路部上にヘマトポルフィリンIX−ビス（トリデカノイ
ルエーテル）（hematoporphyrin（IX）−bis（tridecan
oylether）:Ru（Ｐ（OCH3）３）２（RuHP（Ph）２と略
す）を数層ラングミュア−ブロジェット（Langmuir−bl
odgett:LB）法で積層し、その上に7,8−ジメチル−3,10
−ジノニルイソアロキサジン（7,8−dimethyl−3,10−d
inonyl isoalloxiazine:DNIと略す）を数層積層して形
成した。このヘテロ接合を持つ分子累積膜は照射される
光の強度に応じて電極間に流れる電流が変化する性質が
ある。
フグラフィーにより形成し、出力用配線13はアルミの真
空蒸着とフォトリソグラフィーにより半透明アルミ電極
として形成した。この出力用配線13としてはITOやネサ
ガラスなどの透明電極を用いることも可能である。ヘテ
ロ接合の分子累積膜16は下層アルミ電極を形成した集積
回路部上にヘマトポルフィリンIX−ビス（トリデカノイ
ルエーテル）（hematoporphyrin（IX）−bis（tridecan
oylether）:Ru（Ｐ（OCH3）３）２（RuHP（Ph）２と略
す）を数層ラングミュア−ブロジェット（Langmuir−bl
odgett:LB）法で積層し、その上に7,8−ジメチル−3,10
−ジノニルイソアロキサジン（7,8−dimethyl−3,10−d
inonyl isoalloxiazine:DNIと略す）を数層積層して形
成した。このヘテロ接合を持つ分子累積膜は照射される
光の強度に応じて電極間に流れる電流が変化する性質が
ある。
集積回路内に形成したニューロンは、従来のLSI形成
技術を用いて、抵抗，コンデンサ，トランジスタなどを
組み合わせて形成した。
技術を用いて、抵抗，コンデンサ，トランジスタなどを
組み合わせて形成した。
第２図は第１図に示す視覚情報処理素子を用いて構成
した視覚情報処理システムを示す図であり、図におい
て、21は入力画像信号であり、22はTijパターンを発光
する装置、23は入力画像信号はそのまま透過し、Tij信
号を入力画像信号と同じ方向に変えるハーフミラーであ
り、24a,24bはヘテロ接合の分子累積膜に形成されたカ
ラーフィルタであり、25は入力映像を単色化するカラー
フィルタであり、26は入力映像信号及びTij信号を視覚
情報処理素子の光電変換部に結像させるための光学レン
ズ系であり、27は上述した視覚情報処理素子であり、28
は出力信号である。
した視覚情報処理システムを示す図であり、図におい
て、21は入力画像信号であり、22はTijパターンを発光
する装置、23は入力画像信号はそのまま透過し、Tij信
号を入力画像信号と同じ方向に変えるハーフミラーであ
り、24a,24bはヘテロ接合の分子累積膜に形成されたカ
ラーフィルタであり、25は入力映像を単色化するカラー
フィルタであり、26は入力映像信号及びTij信号を視覚
情報処理素子の光電変換部に結像させるための光学レン
ズ系であり、27は上述した視覚情報処理素子であり、28
は出力信号である。
第３図は視覚情報処理素子のニューロンのネットワー
クの模式図であり、図において、30はニューロン間の結
合を表す簡略配線である。
クの模式図であり、図において、30はニューロン間の結
合を表す簡略配線である。
次に動作について説明する。
静止物体と動く物体が混在する入力映像21を450nmの
バンドパスフィルタ25を通してヘテロ接合を持つ分子累
積膜16の映像入力部分18aに焦点が合うように光学系レ
ンズ26で調節して照射する。映像入力部分18aの上には5
00nm以下の光を通過させることのできるフィルタ24aを
設けておく。
バンドパスフィルタ25を通してヘテロ接合を持つ分子累
積膜16の映像入力部分18aに焦点が合うように光学系レ
ンズ26で調節して照射する。映像入力部分18aの上には5
00nm以下の光を通過させることのできるフィルタ24aを
設けておく。
Tij光信号は550〜600nm程度の波長の光でTij用マトリ
ックス発光装置22から照射され、ハーフミラー23で光路
を曲げてヘテロ接合を持つ分子累積膜16のTij入力部分1
8bに照射する。Tij入力部分18bには500nm以下の光を通
過させないフィルタ24bがついており、この部分は入力
映像信号には応答しないようにする。
ックス発光装置22から照射され、ハーフミラー23で光路
を曲げてヘテロ接合を持つ分子累積膜16のTij入力部分1
8bに照射する。Tij入力部分18bには500nm以下の光を通
過させないフィルタ24bがついており、この部分は入力
映像信号には応答しないようにする。
集積回路素子内ではニューロン20は第３図に示すよう
な２層マトリックス構造で隣り合ったニューロンの入力
と出力が結合するようにネットワークを組む。第１図は
２層構造のうち、１層の構造の配線状態を示したもので
あり、第３図で示したニューロン間の結合線30は、第１
図の実施例では２本の線によって表わされている。隣り
合ったニューロンの入力と出力の結合部がヘテロ接合を
持つ分子累積膜16のTij入力部分18bに相当し、ここに照
射させるTij用マトリックス発光装置22の各光行列の強
度により、入力と出力の各結合部の強さ（実際には抵抗
の大きさ）を決定する。
な２層マトリックス構造で隣り合ったニューロンの入力
と出力が結合するようにネットワークを組む。第１図は
２層構造のうち、１層の構造の配線状態を示したもので
あり、第３図で示したニューロン間の結合線30は、第１
図の実施例では２本の線によって表わされている。隣り
合ったニューロンの入力と出力の結合部がヘテロ接合を
持つ分子累積膜16のTij入力部分18bに相当し、ここに照
射させるTij用マトリックス発光装置22の各光行列の強
度により、入力と出力の各結合部の強さ（実際には抵抗
の大きさ）を決定する。
映像入力信号をある時間間隔において、入力すると、
１つの入力信号の映像入力部分18への同時入力により、
各ニューロンの入力状態が変化し、一瞬にしてニューロ
ネットワーク全体が安定な状態に収束する。そして少し
時間のズレた次の映像入力信号がくると、映像信号が前
のものと変化がない場合は、ニューロネットワーク全体
の安定状態はそのまま保っているが、映像信号の中に動
く物体が存在し、その位置が前の入力映像の位置とズレ
ていると、今までの入力状態に変化が生ずることになり
ニューロネットワークの安定状態が乱され、また瞬時に
次の安定状態に移行するようになる。新たに落ち着いた
安定状態の上層の各ニューロンの出力値からｘ方向の速
度ベクトルが求まり、下層の各ニューロンの出力値から
ｙ方向の速度ベクトルが求まり、この２つの結果から動
いた物体の位置と速度の情報が得られる。第２図の入力
映像においては静止している花と飛んでいる蜂が入力映
像21として与えられていたが、視覚情報処理素子27の出
力信号28では動いている蜂の像だけが抽出されている。
１つの入力信号の映像入力部分18への同時入力により、
各ニューロンの入力状態が変化し、一瞬にしてニューロ
ネットワーク全体が安定な状態に収束する。そして少し
時間のズレた次の映像入力信号がくると、映像信号が前
のものと変化がない場合は、ニューロネットワーク全体
の安定状態はそのまま保っているが、映像信号の中に動
く物体が存在し、その位置が前の入力映像の位置とズレ
ていると、今までの入力状態に変化が生ずることになり
ニューロネットワークの安定状態が乱され、また瞬時に
次の安定状態に移行するようになる。新たに落ち着いた
安定状態の上層の各ニューロンの出力値からｘ方向の速
度ベクトルが求まり、下層の各ニューロンの出力値から
ｙ方向の速度ベクトルが求まり、この２つの結果から動
いた物体の位置と速度の情報が得られる。第２図の入力
映像においては静止している花と飛んでいる蜂が入力映
像21として与えられていたが、視覚情報処理素子27の出
力信号28では動いている蜂の像だけが抽出されている。
以上のようにこの発明によればヘテロ接合を持つ分子
累積膜を電極ではさんだ構造を持つ光電機能に映像入力
部とTij信号入力部を設け、映像入力信号は、１画素１
ニューロンに対応し、各ニューロンは隣り合う５個のニ
ューロンと光電機能部のTij信号入力部で結合するよう
にネットワークを組んだ構造のニューラルネットワーク
をニューロン部のみを組込んだ集積回路上に構成したの
で、イメージセンサの働きと同時にTij信号も外部から
書き込むことができ、映像信号の入力と動く物体の速度
ベクトルを高速に処理できる視覚情報処理システムを得
ることができる効果がある。また、集積回路上にヘテロ
接合を持つ分子累積膜を電極ではさんだ構造を持つ光電
機能を容易に形成できるので、三次元的に視覚情報処理
素子を構築することにより容易に情報処理素子内の単位
面積あたりのニューロンの密度を高めることができる効
果がある。
累積膜を電極ではさんだ構造を持つ光電機能に映像入力
部とTij信号入力部を設け、映像入力信号は、１画素１
ニューロンに対応し、各ニューロンは隣り合う５個のニ
ューロンと光電機能部のTij信号入力部で結合するよう
にネットワークを組んだ構造のニューラルネットワーク
をニューロン部のみを組込んだ集積回路上に構成したの
で、イメージセンサの働きと同時にTij信号も外部から
書き込むことができ、映像信号の入力と動く物体の速度
ベクトルを高速に処理できる視覚情報処理システムを得
ることができる効果がある。また、集積回路上にヘテロ
接合を持つ分子累積膜を電極ではさんだ構造を持つ光電
機能を容易に形成できるので、三次元的に視覚情報処理
素子を構築することにより容易に情報処理素子内の単位
面積あたりのニューロンの密度を高めることができる効
果がある。
第１図はこの発明による視覚情報処理素子の上層ニュー
ロネットワークの配置，配線を示す図、第２図は第１図
の視覚情報処理素子を用いて構成した視覚情報処理シス
テムの構成図、第３図は視覚情報処理素子のニューロン
のネットワークの模式図、第４図は従来の物体の速度情
報を算出する立体抵抗回路網である。 ２は可変の電源、３はコンデンサ、４は可変の抵抗、5,
6は立体抵抗回路網の接点、７は上層，下層の接点間を
つなぐ抵抗、８は上層，下層面内での各接点を結ぶ可変
抵抗、９は抵抗８に設けられたスイッチ、11は集積回路
内に形成されたニューロン回路領域、12はニューロンの
入力端子、13はニューロンの出力端子、14は集積回路素
子上に存在し、ヘテロ接合の分子累積膜下に存在するニ
ューロン入力用配線、15はヘテロ接合を持つ分子累積膜
の上に存在するニューロン出力端子、16はヘテロ接合を
持つ分子累積膜、17は集積回路上に形成した絶縁膜、18
aは映像入力部、18bはTij入力部、19はシリコン基板、2
0は集積回路内に形成されたニューロン領域の断面、21
は入力画像信号、22はTijパターンを発光する装置、23
はハーフミラー、24a,24bはヘテロ接合の分子累積膜上
に形成されたカラーフィルタ、25は入力映像を単色化す
るフィルタ、26は入力映像信号およびTij信号を視覚情
報処理の光電変換部に結像させるための光学レンズ系、
28は視覚情報処理素子、28は出力信号、30はニューロン
間の結合を表わす簡略配線である。 なお図中同一符号は同一又は相当部分を示す。
ロネットワークの配置，配線を示す図、第２図は第１図
の視覚情報処理素子を用いて構成した視覚情報処理シス
テムの構成図、第３図は視覚情報処理素子のニューロン
のネットワークの模式図、第４図は従来の物体の速度情
報を算出する立体抵抗回路網である。 ２は可変の電源、３はコンデンサ、４は可変の抵抗、5,
6は立体抵抗回路網の接点、７は上層，下層の接点間を
つなぐ抵抗、８は上層，下層面内での各接点を結ぶ可変
抵抗、９は抵抗８に設けられたスイッチ、11は集積回路
内に形成されたニューロン回路領域、12はニューロンの
入力端子、13はニューロンの出力端子、14は集積回路素
子上に存在し、ヘテロ接合の分子累積膜下に存在するニ
ューロン入力用配線、15はヘテロ接合を持つ分子累積膜
の上に存在するニューロン出力端子、16はヘテロ接合を
持つ分子累積膜、17は集積回路上に形成した絶縁膜、18
aは映像入力部、18bはTij入力部、19はシリコン基板、2
0は集積回路内に形成されたニューロン領域の断面、21
は入力画像信号、22はTijパターンを発光する装置、23
はハーフミラー、24a,24bはヘテロ接合の分子累積膜上
に形成されたカラーフィルタ、25は入力映像を単色化す
るフィルタ、26は入力映像信号およびTij信号を視覚情
報処理の光電変換部に結像させるための光学レンズ系、
28は視覚情報処理素子、28は出力信号、30はニューロン
間の結合を表わす簡略配線である。 なお図中同一符号は同一又は相当部分を示す。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 川窪 広明 兵庫県尼崎市塚口本町８丁目１番１号 三菱電機株式会社中央研究所内 (72)発明者 前田 満雄 兵庫県尼崎市塚口本町８丁目１番１号 三菱電機株式会社中央研究所内 (56)参考文献 特開 昭64−89456（ＪＰ，Ａ) 特開 昭62−57266（ＪＰ，Ａ) 特開 昭62−259478（ＪＰ，Ａ) 特開 平２−178960（ＪＰ，Ａ) 特開 平１−312678（ＪＰ，Ａ) 日経エレクトロニクス（1987年１月26 日）ｐ．159−170
Claims (1)
- 【請求項１】ニューラルネットワーク（神経回路網）機
能を有し視覚情報の処理を行なう視覚情報処理素子にお
いて、 上記ニューラルネットワークのうちのニューロン（神経
細胞）機能を構成する複数のニューロン回路領域が設け
られた半導体集積回路部と、 該半導体集積回路部の上に設けられた、光電機能を持
ち、上記複数のニューロン回路領域間の結合強度状態
（Tij）が光書き込みされ、これらニューロン間の配線
機能を実現するTij入力部，及び１画素１ニューロンに
対応する視覚映像のセンサ機能を実現するｎ×ｎ個の映
像入力部が設けられてなる分子膜素子部と、 上記半導体集積回路部と分子膜素子部とを電気的に接続
する配線とを備え、 かつ上記ニューラルネットワークは２組のｎ×ｎマトリ
クスで構成され、 上記各ニューロン回路領域は同一層内において最近接の
４個のニューロンと結合し、層間においては対応する１
個のニューロンと結合する構造を有することを特徴とす
る視覚情報処理素子。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1167769A JP2752442B2 (ja) | 1989-06-28 | 1989-06-28 | 視覚情報処理素子 |
| US07/546,377 US5129040A (en) | 1989-06-28 | 1990-06-27 | Neural network system for image processing |
| DE69017529T DE69017529T2 (de) | 1989-06-28 | 1990-06-27 | Bildinformation verarbeitende Vorrichtung. |
| EP90112306A EP0405531B1 (en) | 1989-06-28 | 1990-06-27 | A visual information processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1167769A JP2752442B2 (ja) | 1989-06-28 | 1989-06-28 | 視覚情報処理素子 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0330462A JPH0330462A (ja) | 1991-02-08 |
| JP2752442B2 true JP2752442B2 (ja) | 1998-05-18 |
Family
ID=15855761
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1167769A Expired - Fee Related JP2752442B2 (ja) | 1989-06-28 | 1989-06-28 | 視覚情報処理素子 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5129040A (ja) |
| EP (1) | EP0405531B1 (ja) |
| JP (1) | JP2752442B2 (ja) |
| DE (1) | DE69017529T2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5255362A (en) * | 1989-08-09 | 1993-10-19 | Grumman Aerospace Corporation | Photo stimulated and controlled imaging neural network |
| JP2705287B2 (ja) * | 1990-07-10 | 1998-01-28 | 三菱電機株式会社 | 情報処理素子 |
| JP2591269B2 (ja) * | 1990-07-10 | 1997-03-19 | 三菱電機株式会社 | 視覚情報処理素子 |
| JP2997513B2 (ja) * | 1990-07-25 | 2000-01-11 | 株式会社日立製作所 | シエアードプリンタシステム |
| JP2760145B2 (ja) * | 1990-09-26 | 1998-05-28 | 三菱電機株式会社 | 知識情報処理装置 |
| JPH04241077A (ja) * | 1991-01-24 | 1992-08-28 | Mitsubishi Electric Corp | 移動物体認識方法 |
| JP2809954B2 (ja) * | 1992-03-25 | 1998-10-15 | 三菱電機株式会社 | 画像感知および処理のための装置および方法 |
| US5377307A (en) * | 1992-10-07 | 1994-12-27 | Schlumberger Technology Corporation | System and method of global optimization using artificial neural networks |
| TW230246B (ja) * | 1993-03-03 | 1994-09-11 | Philips Electronics Nv | |
| US5444619A (en) * | 1993-09-27 | 1995-08-22 | Schlumberger Technology Corporation | System and method of predicting reservoir properties |
| JP3037432B2 (ja) * | 1993-11-01 | 2000-04-24 | カドラックス・インク | 光波オーブンによる食物調理方法および調理装置 |
| JP3583535B2 (ja) * | 1994-12-12 | 2004-11-04 | ゼロックス コーポレイション | 光学的にアドレスされたニューラルネットワーク |
| US6011295A (en) * | 1997-07-22 | 2000-01-04 | Foveonics, Inc. | Neural network active pixel cell |
| KR19990023221A (ko) | 1997-08-20 | 1999-03-25 | 포만 제프리 엘 | 감광성 소자, 능동 픽셀 센서 소자, 능동 픽셀 센서 감광성 소자 및 능동 픽셀 센서 장치 |
| US6529614B1 (en) | 1998-08-05 | 2003-03-04 | California Institute Of Technology | Advanced miniature processing handware for ATR applications |
| US6617565B2 (en) * | 2001-11-06 | 2003-09-09 | Omnivision Technologies, Inc. | CMOS image sensor with on-chip pattern recognition |
| US20050023570A1 (en) * | 2003-07-29 | 2005-02-03 | Eastman Kodak Company | Image sensor with transparent transistor gates |
| JP4919733B2 (ja) * | 2006-08-24 | 2012-04-18 | 株式会社日立ハイテクノロジーズ | 基板洗浄装置、基板洗浄方法、及び基板の製造方法 |
| US9858340B1 (en) | 2016-04-11 | 2018-01-02 | Digital Reasoning Systems, Inc. | Systems and methods for queryable graph representations of videos |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6257266A (ja) * | 1985-09-06 | 1987-03-12 | Nec Corp | 神経ネツトワ−ク素子 |
| US4934782A (en) * | 1988-01-19 | 1990-06-19 | Hughes Aircraft Company | Optical thresholding apparatus and method |
| US4943556A (en) * | 1988-09-30 | 1990-07-24 | The United States Of America As Represented By The Secretary Of The Navy | Superconducting neural network computer and sensor array |
| US5008833A (en) * | 1988-11-18 | 1991-04-16 | California Institute Of Technology | Parallel optoelectronic neural network processors |
| US4994664A (en) * | 1989-03-27 | 1991-02-19 | Massachusetts Institute Of Technology | Optically coupled focal plane arrays using lenslets and multiplexers |
| US4988891A (en) * | 1989-05-09 | 1991-01-29 | Mitsubishi Denki Kabushiki Kaisha | Semiconductor neural network including photosensitive coupling elements |
-
1989
- 1989-06-28 JP JP1167769A patent/JP2752442B2/ja not_active Expired - Fee Related
-
1990
- 1990-06-27 DE DE69017529T patent/DE69017529T2/de not_active Expired - Fee Related
- 1990-06-27 US US07/546,377 patent/US5129040A/en not_active Expired - Fee Related
- 1990-06-27 EP EP90112306A patent/EP0405531B1/en not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 日経エレクトロニクス（１９８７年１月２６日）ｐ．１５９−１７０ |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69017529T2 (de) | 1995-11-02 |
| US5129040A (en) | 1992-07-07 |
| EP0405531A2 (en) | 1991-01-02 |
| DE69017529D1 (de) | 1995-04-13 |
| EP0405531B1 (en) | 1995-03-08 |
| EP0405531A3 (en) | 1991-07-24 |
| JPH0330462A (ja) | 1991-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2752442B2 (ja) | 視覚情報処理素子 | |
| CN109521590B (zh) | 显示装置和显示装置的制作方法 | |
| EP0411761B1 (en) | Neuronal processing element | |
| JP2591269B2 (ja) | 視覚情報処理素子 | |
| JP2752443B2 (ja) | 視覚情報処理素子 | |
| JP2705287B2 (ja) | 情報処理素子 | |
| JPS628951B2 (ja) | ||
| US3084301A (en) | Scanning apparatus | |
| CA1261445A (en) | Parallel analog device for the local processing of a bidimensional signal | |
| JPS6089968A (ja) | ２層３段構造固体撮像装置 | |
| US5315100A (en) | Photoelectric conversion apparatus for detecting movement of object with spatial filter electrode | |
| US5267347A (en) | Information processing element | |
| JP2752441B2 (ja) | 情報処理素子 | |
| JPS61102861A (ja) | 一次元イメ−ジセンサ | |
| JPS61242068A (ja) | イメ−ジセンサ | |
| JPS6269671A (ja) | イメ−ジセンサ | |
| JPS6211545B2 (ja) | ||
| JPH05297325A (ja) | 人工網膜及び人工視覚装置 | |
| JPS61245570A (ja) | 固体撮像装置 | |
| JPH01308928A (ja) | 光検出素子アレイおよび光検出器 | |
| JPS60165860A (ja) | イメ−ジセンサ | |
| JPH04179270A (ja) | 二次元イメージセンサー | |
| JPH0888727A (ja) | 画像読み取り装置 | |
| JPH02126674A (ja) | 一次元光電変換素子アレイ | |
| JPH0779155B2 (ja) | イメージセンサ及びその製造方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |