JP3171647B2

JP3171647B2 - 人工網膜及び人工視覚装置

Info

Publication number: JP3171647B2
Application number: JP09775792A
Authority: JP
Inventors: 武橋本
Original assignee: Olympus Optic Co Ltd
Current assignee: Olympus Corp
Priority date: 1992-04-17
Filing date: 1992-04-17
Publication date: 2001-05-28
Anticipated expiration: 2016-05-28
Also published as: JPH05297325A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の認識対象物体を
含む画像からそれらを認識すために有効な人工網膜及び
人工視覚装置に関する。

【０００２】

【従来の技術】我々が日々目にする光景、いわゆる自然
画像には、認識すべき対象物体が数多く含まれており、
我々は無意識の中にそれらを認識した上で思考したり、
判断したり、行動したりしている。そして、その認識処
理では、初期視覚機構により画像中のコントラストの急
変する位置、つまり、明暗の境界部分が検出され、この
情報が後段の脳へと送られ、物体の認識が行われている
と言われている。この初期視覚機構は、図１０に示すよ
うに、視細胞１１１、水平細胞１１２及び双極細胞１１
３より構成されている。その仕組みを簡単に説明する
と、まず始めに、視細胞１１１が画像から光を受け、光
を受けた部分の視細胞１１１だけが興奮する。この興奮
は、下層の水平細胞１１２に伝えられるが、水平細胞１
１２は隣接する約６個の水平細胞１１２と平面的に結合
しており、この結合を通した伝達のため、周囲の水平細
胞１１２の興奮は、ネットワークを伝わるようになだら
かに変化する。さらに、双極細胞１１３は、視細胞１１
１、水平細胞１１２の２つと結合しており、２つの細胞
１１１、１１２の興奮強度の差に対応して興奮する。こ
の興奮は更に下層に伝えられ、最終的には脳に到達し、
物体の認識や特徴量の抽出が行われる。

【０００３】実際、画像として物体の輪郭のような明暗
の境界部分を考えると、この初期視覚機構では、まず、
図１１（ａ）に曲線Ａで示すように、視細胞１１１の興
奮強度が急激に変化する。一方、水平細胞１１２の興奮
強度は、曲線Ｂに示すようになだらかに変化する。した
がって、双極細胞１１３では、この２つの細胞１１１、
１１２の興奮強度の差に対応して、同図（ｂ）に曲線Ｃ
に示すように、丁度明暗境界の部分だけが興奮し、この
明暗境界の情報が脳へと伝わり、そこで認識処理が行わ
れる。

【０００４】この明暗境界検出の機能を持つ初期視覚機
構を具体的に電気回路で構成し、チップとして試作した
のが、カルフォルニア工科大学のＣ．Ａ．Ｍｅａｄ氏ら
である（Ｃ．Ａ．ＭｅａｄａｎｄＭ．Ａ．Ｍａｈｏ
ｗａｌｄ，“ＡＳｉｌｉｃｏｎＭｏｄｅｌｏｆ
ＥａｒｌｙＶｉｓｕａｌＰｒｏｃｅｓｓｉｎｇ”，
ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，ｖｏｌ．１，ｐｐ．
９１−９７（１９８８）参照）。彼らの素子は、図１２
の一部を拡大した回路図に示すように、視細胞をフォト
ダイオード２０１で、水平細胞を六角形の中心と頂点を
結ぶ６本の抵抗ネットワーク２０２で、双極細胞をアン
フ２０３で構成した。画像の明暗部分では、フォトダイ
オード２０１の電圧がステップ状に変化する。一方、抵
抗ネットワーク２０２のノードの電圧はなだらかに変化
する。この電圧差をとることにより、明暗境界の部分だ
けでアンプ２０３の電圧が変化する。これらの素子の電
圧変化は、図１１に示した各細胞の興奮強度の変化に類
似しており、人間の初期視覚と同様に、明暗境界つまり
物体の輪郭を検出することができる。

【０００５】また、直接初期視覚機構を意識したもので
はないが、光学的に明暗境界を検出する手法もＫ．Ｇ．
Ｂｉｒｃｈ氏によって提案されている（Ｋ．Ｇ．Ｂｉｒ
ｃｈ，“ＡＳｐａｔｉａｌＦｒｅｑｕｅｎｃｙＦ
ｉｌｔｅｒｔｏＲｅｍｏｖｅＺｅｒｏＦｒｅａ
ｑｕｅｎｃｙ”，ＯＰＴＩＣＡＡＣＴＡ，ｖｏｌ．１
５，Ｎｏ．２，ｐｐ．１１３−１２７（１９６８）参
照）。

【０００６】この方法は、空間周波数領域で０次光部分
をカットすることにより、画像中の明暗境界を検出する
方法である。彼らの方法を初期視覚機構を意識して解釈
すると、以下のようになる。簡単のため図１３において
１次元方向だけを考える。画像中の明暗情報をφ（ｘ）
とし（図１３（ａ））、これをフーリエ変換し、０次部
分をカットするフィルター｛１−ｒｅｃｔ（ξ／ｂ）｝
をかけると、Ｆ｛φ（ｘ）｝・｛１−ｒｅｃｔ（ξ／ｂ）｝・・・（１）のように表わせる（図１３（ｂ））、ただしＦ｛｝は
フーリエ変換を表わし、ｒｅｃｔ（ｘ）は、ｒｅｃｔ（ｘ）＝１（｜ｘ｜≦１／２）＝０（１／２＜｜ｘ｜）で定義され、ｒｅｃｔ（ξ／ｂ）のｂは回折パターンの
０次ピークを｛１−ｒｅｃｔ（ξ／ｂ）｝がほぼカット
するように決められる。さらに、式（１）を逆フーリエ
変換し、これをｆ（ｘ）とおくと、ｆ（ｘ）は、ｆ（ｘ）＝φ（ｘ）−φ（ｘ）＊ｓｉｎｃ（ｘ／ｂ）・・・（２）と表わせる。ただし、＊はコンボリューションを表わ
し、ｓｉｎｃ（ｘ）は、ｓｉｎｃ（ｘ）＝ｓｉｎ（ｘ／２）／（ｘ／２）である。このｆ（ｘ）は、図１３（ｃ）に示すように、
明暗情報φ（ｘ）からコンボリューションによりなまっ
たφ（ｘ）＊ｓｉｎｃ（ｘ／ｂ）を引くことにより求め
られ、これを図１１と比較すれば、式（２）の第１項の
φ（ｘ）は視細胞のレスポンスに、式（２）の第２項の
φ（ｘ）＊ｓｉｎｃ（ｘ／ｂ）は水平細胞のレスポンス
にそれぞれ類似しており、さらに、ｆ（ｘ）が双極細胞
のレスポンスと類似していることが分かる。以上から、
彼らの方法は、人間の初期視覚機構の１つの表現方法で
あると言える。また、実際には、光学的処理は強度を扱
うものであるから、図１３（ｄ）に示すように、処理後
の画像は｜ｆ（ｘ）｜²と表され、明るい二重線に挟ま
れた暗い線として明暗部分が得られる。

【０００７】したがって、上記Ｍｅａｄ氏やＢｉｒｃｈ
氏によって提案された素子及び方法で物体の明暗境界の
情報を検出し、これを人間の脳の情報処理機能をまねた
いわゆるニューラルネットワークに入力し処理するよう
にすれば、物体の認識機構が構成できるであろうと考え
ることは当然であり、これは誰もが考え得ることであろ
う。

【０００８】

【発明が解決しようとする課題】上記した従来例による
明暗境界検出のための素子及び方法、そして、それらを
用いた認識機構は、人間の初期視覚機構をうまく利用
し、確かに画像中の物体の認識を実現し得るものではあ
るが、認識対象物体が複数含まれている画像の認識は苦
手である。なぜなら、入力画像中に複数の物体の明暗境
界情報があった場合、そらを各々の物体毎の情報に分離
した上で認識しなければならないからである。認識対象
物体が１つに限定されている場合の認識は、ニューラル
ネットワーク上での簡単な連想記憶等で実現できるが、
この物体毎の情報の分離には、かなり高度で複雑な処理
を必要とし、その実現は、いくらニューラルネットワー
クと言え、容易ではない。そこで、何らかの新たな工夫
が必要となる。

【０００９】また、従来例に示した明暗境界検出のため
の素子及び方法にも、それぞれ以下のようなな欠点があ
る。前者のＭｅａｄ氏らの素子は、現在のＬＳＩ製造技
術を活かした集積化、小型化に適したものではあるが、
構成要素の電気的遅延は避けられず、処理速度は比較的
遅い。また、後者のＢｉｒｃｈ氏の方法は、光学的な構
成のため、光の生得の高速化、並列性を生かした優れた
方法ではあるが、実際には、構成要素間のアライメント
の困難さや、温度、振動等に対する信頼性の低さ等によ
り、簡単に実現できるとは言い難い。

【００１０】本発明はこのような実情に鑑みてなされた
ものであり、その目的は、複数の認識対象物体を含む画
像からそれらを簡単かつ高速に認識するために必要な人
工網膜及びそれを用いた人工視覚装置を提供することで
ある。

【００１１】

【課題を解決するための手段】前述のように、画像中に
含まれる物体の認識をする場合には、人間の初期視覚の
情報処理原理を応用し、その明暗境界情報を利用するこ
とが適当であることは明らかであるので、本発明の場合
も、この明暗境界情報を認識処理に利用することにして
いる。具体的には、まず、以下のような人工網膜細胞を
用いる。これは、図１に示すように、一方のレンズ端面
である入力面９に結像された情報を反対側の略平面な端
面にフーリエ変換するフーリエ変換レンズ１０、フーリ
エ変換レンズ１０の入力面９の端面とは反対側の略平面
な端面に密着形成されたフィルター１１、さらに、略平
面な一方の端面をこのフィルター１１に密着させ、この
フィルタリングされた情報を逆フーリエ変換し、他方の
端面である出力面１２に実空間情報として再び結像する
逆フーリエ変換レンズ１３より構成するものである。

【００１２】このような人工網膜細胞の構成中、フィル
ター１１としてフーリエ変換された回折光の０次光をカ
ットする空間周波数フィルターを用いれば、従来例のＢ
ｉｒｃｈ氏の方法と同一のフィルタリング手法となり、
画像中の物体の認識のために必要な明暗境界検出を並列
かつ高速に行うことができる。また、本発明の場合、フ
ーリエ変換レンズ１０、逆フーリエ変換レンズ１３とし
て、例えば屈折率分布型レンズのように略平面な端面を
持つレンズを用いているために、レンズ端面を基準とし
た各構成要素間のアライメントが可能となる上、アオリ
と光軸方向のアライメントも不要になる。また、さら
に、このフィルター１１の０次光カット部分１１ａを、
フーリエ変換レンズ１０の入力面９の端面と反対側の略
平面な端面にフォトレジスト、銀塩乳剤等の感光剤を塗
布し、入力面９に垂直に実際の光束を平行光束として照
射し、０次光部分のエネルギーが他の部分に比べて極端
に高いことを利用して、その部分のみを感光させること
により直接形成すれば、明暗部分の検出に直接影響し、
最もアライメント精度のきついこの部分１１ａの光軸に
鉛直な方向（図１中のξ軸、η軸方向）のアライメント
をする必要もなくなる。

【００１３】以上のように、上記の人工網膜細胞の構成
により、従来例のＢｉｒｃｈ氏の方法が抱えていたアラ
イメント精度や温度、振動等に対する信頼性の低さ等の
問題も解決され、物体の認識のための前処理機能として
十分な精度の明暗境界検出ができる人工網膜細胞を簡単
に得られることが分る。

【００１４】さらに、本発明に係る人工網膜は、図２に
示すように、上記の人工網膜細胞を複数個並列して配列
し、人工網膜細胞の背後の出力面１２（図１）に結像さ
れた情報を検出するための検出手段８を設けて構成する
が、先に述べたように、全ての人工網膜細胞のフィルタ
ーとして０次光カットの空間周波数フィルターを用いて
明暗境界情報を得ても、認識対象物体が複数含まれる画
像については、簡単にそれらを区別して認識することは
困難になるので、以下のような工夫を行う。

【００１５】すなわち、この人工網膜の中心付近を中心
視野１ａとして、中心視野１ａに配される人工網膜細胞
を中心視野細胞６として、そのフィルターを０次光カッ
トの空間周波数フィルターで構成し、入力された画像の
明暗境界を検出し、この情報を後段のニューラルネット
ワークに送り物体の認識をするようにする（図４、７参
照）。なお、この中心視野細胞６の範囲、つまり、中心
視野１ａは、人工網膜上で比較的小さな領域に限定し、
それが対応する画像中の領域内では、ほぼ１つの物体の
認識をするようするので、前述のように、簡単なニュー
ラルネットワークによって認識機能を実現することがで
きる。

【００１６】しかし、このままでは、たまたま中心視野
１ａ内に入っていた物体情報の１つが認識できるだけで
あり、本発明の目的である認識対象物体が複数含まれる
画像中の複数物体の認識ができるわけではない。ここ
で、さらに考えられるのは、中心視野１ａを何らかの方
法で他の認識対象の情報の位置まで移動させるようにす
ることである。そのためには、まず、中心視野１ａ外に
ある物体の位置を判断することが必要である。したがっ
て、本発明に係る人工網膜は、図２に示すように、上記
中心視野１ａの外側を周辺視野１ｂとして、そこに含ま
れる人工網膜細胞を周辺視野細胞７とし、この周辺視野
細胞７を、図３に示すように、中心視野細胞６と同様、
一方のレンズ端面である入力面９に結像された情報を反
対側の略平面な端面にフーリエ変換するフーリエ変換レ
ンズ１０、フーリエ変換レンズ１０の入力面９の端面と
は反対側の略平面な端面に密着形成されたフィルター１
１、略平面な一方の端面をこのフィルター１１に密着さ
せ、このフィルタリングされた情報を逆フーリエ変換
し、他方の端面である出力面１２に実空間情報として再
び結像する逆フーリエ変換レンズ１３より構成し、その
フィルター１１を高次光カット部分１１ｃからなる高次
光カット空間周波数フィルターで構成し、画像中の低周
波数成分のみ、つまり、物体の大まかな形状を検出し、
これを用いて周辺視野１ｂ内の物体の位置を検出するよ
うにする。

【００１７】次に、この周辺視野細胞７からの情報を用
いて、次の認識対象へ中心視野１ａを移動させる必要が
ある。そこで、図４に示すように、図２に示したような
人工網膜１と、認識対象である画像中の物体を含む情報
をこの人工網膜１へ伝達させるための結像手段２とで人
工眼球３を構成し、周辺視野細胞７で検出された前述の
情報から次に認識する物体の位置を決定し、その認識対
象まで中心視野１ａを移動させるための人工眼球移動手
段５により、上記人工眼球３を移動させるようにする。

【００１８】以上を再び図４を参照にしてまとめると、
本発明の人工視覚装置は、複数の認識対象物体を含む画
像情報を結像手段２により人工網膜１上に伝達させ、そ
の中からほぼ１つの物体を人工網膜中の中心視野１ａ内
に取り込み、その明暗境界情報を検出し、この情報を後
段のニューラルネットワーク４に送り、そこで物体の認
識を行う（図中では、画像の中の三角形の部分の明暗境
界が検出されている。）。同時に、この人工網膜中の周
辺視野１ｂ内では、現在認識されている物体以外の物体
の大まかな形状が検出されるが、さらに、人工眼球移動
手段５により次に認識すべき物体の位置が決定され、現
在認識されている物体の認識が終了すれば、その位置ま
で中心視野１ａが移動され、そこで次の物体の認識をす
るものである。図４中では、例えば四角形の部分が次に
認識すべき対象として選ばれ、図５に示すように、中心
視野１ａがこの画像に対して移動される。上記操作は繰
り返し行われるが、丁度人間が目玉をキョロキョロ動か
しながら物体を認識する動作と似た振る舞いをする。

【００１９】以上の説明から明らかなように、本発明の
第１の人工網膜は、所定の面に結像された画像を入力す
るための人工網膜において、前記画像の中心部の低周波
成分を除去する低周波除去手段と、前記画像の周辺部の
高周波成分を除去する高周波除去手段と、前記低周波除
去手段および前記高周波除去手段を経た像を光電変換す
る光電変換素子とを有することを特徴とするものであ
る。

【００２０】本発明の第２の人工網膜は第１の人工網膜
においてさらに、前記低周波除去手段は、フーリエ変換
レンズと、前記フーリエ変換レンズのフーリエ面に配置
され、０次光成分を除去するフィルターと、前記フィル
ターからの光束を逆フーリエ変換するための逆フーリエ
変換レンズとを有する。本発明の第３の人工網膜は第１
または第２の人工網膜においてさらに、前記高周波除去
手段は、フーリエ変換レンズと、前記フーリエ変換レン
ズのフーリエ面に配置され、高周波成分を除去するフィ
ルターと、前記フィルターからの光束を逆フーリエ変換
するための逆フーリエ変換レンズとを有する。本発明の
第４の人工網膜は、第２または第３の人工網膜において
さらに、前記フーリエ変換レンズの像入力面および前記
逆フーリエ変換レンズの像出力面が略平面に構成されて
いる。本発明の第５の人工網膜は、第２ないし第４の人
工網膜においてさらに、前記フーリエ変換レンズの像出
力面および前記逆フーリエ変換レンズの像入力面が略平
面に構成されており、前記フィルターは前記フーリエ変
換レンズおよび逆フーリエ変換レンズに密着して挟持さ
れている。本発明の第６の人工網膜は、画像を入力する
ための人工網膜において、前記画像を所定の面に結像す
るための結像手段と、前記結像手段によって結像された
像の中心部の低周波成分を除去する低周波除去手段と、
前記結像手段によって結像された像の周辺部の高周波成
分を除去する高周波除去手段と、前記低周波除去手段お
よび前記高周波除去手段を経た像を光電変換する光電変
換素子とを有することを特徴とする。本発明の第７の人
工網膜は、第６の人工網膜において、前記低周波除去手
段は、第１のフーリエ変換レンズと、前記第１のフーリ
エ変換レンズのフーリエ面に配置され、０次光成分を除
去する低周波除去フィルターと、前記低周波除去フィル
ターからの光束を逆フーリエ変換するための第１の逆フ
ーリエ変換レンズとを有し、前記高周波除去手段は、第
２のフーリエ変換レンズと、前記第２のフーリエ変換レ
ンズのフーリエ面に配置され、高周波成分を除去する高
周波除去フィルターと、前記高周波除去フィルターから
の光束を逆フーリエ変換するための第２の逆フーリエ変
換レンズとを有することを特徴とする。本発明の第８の
人工網膜は、第７の人工網膜において、前記第１および
第２のフーリエ変換レンズの像入力面ならびに前記第１
および第２の逆フーリエ変換レンズの像出力面が略平面
に構成されていることを特徴とする。本発明の第９の人
工網膜は、第７または第８の人工網膜において、前記第
１および第２のフーリエ変換レンズの像出力面ならびに
前記第１および第２の逆フーリエ変換レンズの像入力面
が略平面に構成されており、前記低周波除去フィルター
は前記第１のフーリエ変換レンズと第１の逆フーリエ変
換レンズに、前記高周波除去フィルターは前記第２のフ
ーリエ変換レンズと前記第２の逆フーリエ変換レンズに
それぞれ密着して挟持されていることを特徴とする。

【００２１】また、本発明の第１の人工視覚装置は、所
定の面に結像された画像を処理するための人工視覚装置
において、前記画像の中心部の低周波成分を除去する低
周波除去手段と、前記画像の周辺部の高周波成分を除去
する高周波除去手段と、前記低周波除去手段および前記
高周波除去手段を経た像を光電変換する光電変換素子と
を有する人工網膜と、前記光電変換素子からの出力のう
ち前記低周波除去手段を経た情報について処理を行なう
ニューラルネットワークと、前記光電変換素子からの出
力のうち前記高周波除去手段を経た像に基づいて、次に
処理すべき像を決定する手段と、前記決定手段の出力に
基づいて前記人工網膜を移動するための移動手段とを有
することを特徴とする。本発明の第２の人工視覚装置
は、第１の人工視覚装置において、前記低周波除去手段
は、第１のフーリエ変換レンズと、前記第１のフーリエ
変換レンズのフーリエ面に配置され、０次光成分を除去
する低周波除去フィルターと、前記低周波除去フィルタ
ーからの光束を逆フーリエ変換するための第１の逆フー
リエ変換レンズとを有し、前記高周波除去手段は、第２
のフーリエ変換レンズと、前記第２のフーリエ変換レン
ズのフーリエ面に配置され、高周波成分を除去する高周
波除去フィルターと、前記高周波除去フィルターからの
光束を逆フーリエ変換するための第２の逆フーリエ変換
レンズとを有することを特徴とする。

【００２２】

【作用】本発明においては、人工網膜を、１つの物体情
報を認識できる第１種の人工網膜細胞と、複数物体を分
離してその位置を検出できる第２種の人工網膜細胞から
構成したので、複数の認識対象物体を含む画像の中から
簡単かつ高速に特定のものを選んで容易に認識すること
ができる。

【００２３】

【実施例】以下、本発明の人工網膜及び人工視覚装置の
好適な実施例について説明する。第１実施例本実施例は、本発明の中の人工網膜に関するものであ
る。これは、図１に示すように、人工網膜を構成するた
めの中心視野細胞のフーリエ変換レンズ１０及び逆フー
リエ変換レンズ１３として、直径１ｍｍ、１ピッチ長１
２．８ｍｍ、開口数０．３８、中心屈折率１．５５７の
屈折率分布型ロッドレンズを、０．２５ピッチの長さで
それぞれ用いた。屈折率分布型ロッドレンズの１ピッチ
の長さとは、入射端面の像を中間に１回の倒立像として
結像し、射出端面に正立像として結像する長さである。
そして、フーリエ変換レンズ１０の屈折率分布型ロッド
レンズの入力面９と反対側のほぼ平坦な面の直径約２μ
ｍ以下の部分に、明暗境界検出のための０次光カット部
分（図１の１１ａ）として、前述した実際の光線を通し
てフィルターを作成する方法により、アルミニウム膜を
形成し、さらに、直径約５０μｍ以上の部分にノイズ等
の除去のための高次光カット部分（図１の１１ｂ。本実
施例の場合、約３０次以上をカット）として、通常のマ
スクパターンニング工程により、アルミニウム膜を形成
し、フィルター１１とした。次に、このフィルター１１
が形成されているフーリエ変換レンズ１０の屈折率分布
型ロッドレンズと逆フーリエ変換レンズ１３の屈折率分
布型ロッドレンズを接着して、中心視野細胞６を構成し
た。さらに、周辺視野細胞７として、フィルター１１以
外は中心視野細胞６と同一のものを用い、フィルター１
１としては、直径約１７μｍ以上の部分に高次光カット
部分（図３の１１ｃ。本実施例の場合、約１０次以上を
カット）として、通常のマスクパターンニング工程によ
り、アルミニウム膜を形成した。また、検出手段８（図
２）としては、２／３インチの３８万画素のＣＣＤ（縦
約６．６ｍｍ、横約８．８ｍｍ）を用い、そのほぼ中心
に中心視野細胞６を１個、残りの部分に周辺視野細胞７
を縦７個横９個の割合で６２個並べた。

【００２４】この人工網膜に、１例として、図６（ａ）
に示すような画像（黒色で示した部分が明るく、白色で
示した部分が暗い。）を入力した場合、検出手段である
ＣＣＤからは、図６（ｂ）に示すように、中央部分に二
重線の三角形が得られ（二重線の間が明暗境界部分）、
周辺部分に他の物体の大まかな情報を示す画像情報が得
られる。

【００２５】なお、本実施例では、中心視野細胞６のフ
ィルター１１として高次光カット部分１１ｂも形成した
が、これは、画像中のノイズ等の除去のためであり、本
質的には０次光部分１１ａのカットのみでよい。また、
図１ないし図３では、使用されるレンズの両端面を平面
で示したが、これは装置のアライメントの簡素化のため
にそうしたのであって、フーリエ変換レンズ１０及び逆
フーリエ変換レンズ１３のフィルター１１側の面は略平
面である必要はあるが、反対側の面はその必要は必ずし
もない。また、入力面９と出力面１２も、同様の理由に
よりレンズ端面に設定したが、アライメントの簡易さを
若干犠牲にすれば、その必要もない。さらに、屈折率分
布型ロッドレンズの代わりに、屈折率分布型の平板マイ
クロレンズ等を用いても同一の効果を持つ人工網膜が得
られることは明らかである。

【００２６】第２実施例本実施例は、第１実施例の人工網膜を応用した人工視覚
装置に関するものである。図７にその構成を示すが、図
７でおいて、２１はズームレンズ、２２は人工網膜、２
３はＣＣＤイメージセンサで、これらを１つのハウジン
グに収納して人工眼球２４を構成する。人工眼球２４
は、物体に対して視野を変更できるように移動可能に設
けられている。物体像はズームレンズ２１により人工網
膜２２の入射面に形成され、ＣＣＤイメージセンサ２３
は、人工網膜２２を介して物体像を受け、そのパターン
を電気信号に変換する。ＣＣＤイメージセンサ２３は、
図８に示すように、ほぼ横７７０、縦４９０の画素を備
えており、画面全体が横を９分割、縦を７分割の６３個
の領域に分割されており、中央の領域に相当する部分の
人工網膜細胞は図１に示した中心視野細胞６であり、そ
れ以外の人工網膜細胞は図３に示した周辺視野細胞７に
なっている。ＣＣＤイメージセンサ２３からの出力信号
はＡ／Ｄ変換器２５でデジタル信号に変換された後、コ
ンピュータ２６に取り込まれる。取り込まれた画像情報
の中、中央部分の情報は、パターン認識のためにニュー
ラルネットワーク２７に入力され、他の情報は周辺情報
検出のために使用される。

【００２７】ニューラルネットワーク２７は、図９に示
すように、入力層８０、中間層９０、及び、出力層１０
０を備えている。前述の中心視野細胞６に対応するＣＣ
Ｄイメージセンサ２３の中央領域の８５×７０個の画像
情報は、各々ニューラルネットワーク２７の入力ユニッ
ト８１、８２、…に供給される。これらの情報は、中間
ユニット９１、９２、…を介して、出力ユニット１０
１、１０２、…に物体のパターンを表す信号を出力す
る。ニューラルネットワーク２７は、認識すべき物体を
中心視野１ａに提示し、予め逆伝搬学習（バックプロパ
ゲーション）則に従って学習させてあるので、ニューラ
ルネットワーク２７からの出力信号により物体の形状を
判別できる。物体の形状を表す信号は次のステップ２８
に供給され、さらに必要な情報処理が行われる。

【００２８】中央領域に物体像がない場合、あるいは、
中央領域の物体を認識した後、他の物体の判別に移る場
合には、周辺情報を利用する。周辺情報は、積算・判定
手段２９で各領域ごとに明るさが積算され、積算値が所
定の閾値と比較されて、この閾値を越えた領域には物体
が存在するものと判定する。この判定情報は物体選択手
段３０に供給される。物体選択手段３０では、乱数発生
手段３１で発生される乱数に基づいて、物体が存在する
と判定された領域の中からランダムに１つの領域を選
ぶ。選ばれた領域を表す信号は、人工眼球駆動手段３２
に供給され、選ばれた物体が視野中央にくるように人工
眼球２４の向きを変える。

【００２９】以上のようにして、複数の認識対象物体を
含む画像から認識すべき物体を次々に選び出してそれぞ
れを区別し、認識をすることができる。

【００３０】また、ニューラルネットワーク２７で認識
できなかった場合は、ズームレンズ２１の倍率を変化さ
せ、視野内に捕らえられる画像の大きさを変化させ、あ
らためて認識するようにすれば、中心視野内に物体が収
まらなかったり、小さすぎたり、他の物体が認識の邪魔
をしている場合等にも対応できる。

【００３１】また、このニューラルネットワーク２７の
情報と周辺視野細胞による物体の位置情報とを合わせれ
ば、画像上の２次元マップを描くことができることは明
らかであり、さらに、この装置を２つ用いれば、立体画
像の認識にも応用できる。なお、もちろん、このニュー
ラルネットワーク２７は、本実施例であげた層状のもの
で逆伝搬学習則を用いるタイプのものである必要はな
く、ホップフィールドモデル、アソシアトロン等連想記
憶的に用いることのできる全てのモデルのものを用いる
ことができるし、図中に示したが、このニューラルネッ
トワーク２７の情報をさらに後段の処理に伝達すれば、
さらに高度な処理もできることは言うまでもない。

【００３２】以上のように、本発明の人工網膜は、構成
要素である人工網膜細胞を光学要素で構成したので、並
列かつ高速で物体情報の認識及びその分離、位置検出処
理ができる。また、略平面な端面を持つレンズを用いる
ため、レンズ端面を基準とした各構成要素のアライメン
トが可能となり、それらのアオリと光軸方向のアライメ
ントが不要になる。さらに、明暗境界の検出機能に直接
影響し、最もアライメント精度がきつく、装置簡素化の
ためのネックとなっているフィルターの０次光カット部
分を、実際の光束を使用して作成する方法をとっている
ので、この精度も大幅に改善させることができ、装置を
簡単に実現できる。

【００３３】また、さらに、本発明の人工視覚装置は、
上述のように、人工網膜を２つの機能の部分に分け、そ
の中心視野部分で認識すべき物体をほぼ１つにして認識
するうにしたから、認識処理をするニューラルネットワ
ークを非常に簡単に構成することができる。また、その
周辺視野部分の情報から次に認識する部分を判断して、
人工眼球移動機構により中心視野をその部分に合わせる
ようにしたから、上記ニューラルネットワークが簡単な
構成のまま、画像中の複数の物体を認識することができ
るようになる。

【００３４】以上、本発明の人工網膜及び人工視覚装置
を実施例に基づいて説明してきたが、本発明はこれら実
施例に限定されず種々の変形が可能である。

【００３５】

【発明の効果】以上の説明から明らかなように、本発明
の人工網膜及び人工視覚装置によると、人工網膜を、１
つの物体情報を認識できる第１種の人工網膜細胞と、複
数物体を分離してその位置を検出できる第２種の人工網
膜細胞から構成したので、複数の認識対象物体を含む画
像の中から簡単かつ高速に特定のものを選んで容易に認
識することができる。

【図面の簡単な説明】

【図１】本発明の人工網膜を構成する中心網膜細胞の構
成を示す図である。

【図２】本発明による人工網膜の概略の構成を示す図で
ある。

【図３】本発明の人工網膜を構成する周辺網膜細胞の構
成を示す図である。

【図４】本発明による人工視覚装置の概略の構成と作用
を説明するための図である。

【図５】人工視覚装置の視野の移動を説明するための図
である。

【図６】人工網膜に対する入力画像とその出力画像の例
を示す図である。

【図７】第２実施例の人工視覚装置の構成を示す図であ
る。

【図８】ＣＣＤイメージセンサの画素配列と画面分割例
を説明するための図である。

【図９】ニューラルネットワークの構成と作用を説明す
るための図である。

【図１０】人間の初期視覚機構を説明するための図であ
る。

【図１１】人間の視覚の各細胞の興奮強度を示す図であ
る。

【図１２】従来の初期視覚機構の１例の回路図である。

【図１３】従来の光学的に明暗境界を検出する方法を説
明するための図である。

【符号の説明】

１…人工網膜１ａ…中心視野１ｂ…周辺視野２…結像手段３…人工眼球４…ニューラルネットワーク５…人工眼球移動手段６…中心視野細胞７…周辺視野細胞８…検出手段９…入力面１０…フーリエ変換レンズ１０１１…フィルター１１ａ…０次光カット部分１１ｂ…高次光カット部分１１ｃ…高次光カット部分１２…出力面１３…逆フーリエ変換レンズ２１…ズームレンズ２２…人工網膜２３…ＣＣＤイメージセンサ２４…人工眼球２５…Ａ／Ｄ変換器２６…コンピュータ２７…ニューラルネットワーク２８…次のステップ８０…入力層８１、８２、・・…入力ユニット９０…中間層９１、９２、・・…中間ユニット１００…出力層１０１、１０２、・・…出力ユニット２９…積算・判定手段３０…物体選択手段３１…乱数発生手段３２…人工眼球駆動手段

Claims

(57)【特許請求の範囲】

【請求項１】所定の面に結像された画像を入力するた
めの人工網膜において、前記画像の中心部の低周波成分を除去する低周波除去手
段と、前記画像の周辺部の高周波成分を除去する高周波除去手
段と、前記低周波除去手段および前記高周波除去手段を経た像
を光電変換する光電変換素子とを有することを特徴とす
る人工網膜。
【請求項２】前記低周波除去手段は、フーリエ変換レンズと、前記フーリエ変換レンズのフーリエ面に配置され、０次
光成分を除去するフィルターと、前記フィルターからの光束を逆フーリエ変換するための
逆フーリエ変換レンズと、を有することを特徴とする請求項１に記載の人工網膜。
【請求項３】前記高周波除去手段は、フーリエ変換レンズと、前記フーリエ変換レンズのフーリエ面に配置され、高周
波成分を除去するフィルターと、前記フィルターからの光束を逆フーリエ変換するための
逆フーリエ変換レンズと、を有することを特徴とする請求項１または請求項２のい
ずれか１項に記載の人工網膜。
【請求項４】前記フーリエ変換レンズの像入力面およ
び前記逆フーリエ変換レンズの像出力面が略平面に構成
されていることを特徴とする請求項２または請求項３の
いずれか１項に記載の人工網膜。
【請求項５】前記フーリエ変換レンズの像出力面およ
び前記逆フーリエ変換レンズの像入力面が略平面に構成
されており、前記フィルターは前記フーリエ変換レンズ
および逆フーリエ変換レンズに密着して挟持されている
ことを特徴とする請求項２ないし請求項４のいずれか１
項に記載の人工網膜。
【請求項６】画像を入力するための人工網膜におい
て、前記画像を所定の面に結像するための結像手段と、前記結像手段によって結像された像の中心部の低周波成
分を除去する低周波除去手段と、前記結像手段によって結像された像の周辺部の高周波成
分を除去する高周波除去手段と、前記低周波除去手段および前記高周波除去手段を経た像
を光電変換する光電変換素子とを有することを特徴とす
る人工網膜。
【請求項７】前記低周波除去手段は、第１のフーリエ
変換レンズと、前記第１のフーリエ変換レンズのフーリ
エ面に配置され、０次光成分を除去する低周波除去フィ
ルターと、前記低周波除去フィルターからの光束を逆フ
ーリエ変換するための第１の逆フーリエ変換レンズとを
有し、前記高周波除去手段は、第２のフーリエ変換レンズと、
前記第２のフーリエ変換レンズのフーリエ面に配置さ
れ、高周波成分を除去する高周波除去フィルターと、前
記高周波除去フィルターからの光束を逆フーリエ変換す
るための第２の逆フーリエ変換レンズとを有することを
特徴とする請求項６に記載の人工網膜。
【請求項８】前記第１および第２のフーリエ変換レン
ズの像入力面ならびに前記第１および第２の逆フーリエ
変換レンズの像出力面が略平面に構成されていることを
特徴とする請求項７に記載の人工網膜。
【請求項９】前記第１および第２のフーリエ変換レン
ズの像出力面ならびに前記第１および第２の逆フーリエ
変換レンズの像入力面が略平面に構成されており、前記低周波除去フィルターは前記第１のフーリエ変換レ
ンズと第１の逆フーリエ変換レンズに、前記高周波除去
フィルターは前記第２のフーリエ変換レンズと前記第２
の逆フーリエ変換レンズにそれぞれ密着して挟持されて
いることを特徴とする請求項７または請求項８のいずれ
か１項に記載の人工網膜。
【請求項１０】所定の面に結像された画像を処理する
ための人工視覚装置において、前記画像の中心部の低周波成分を除去する低周波除去手
段と、前記画像の周辺部の高周波成分を除去する高周波
除去手段と、前記低周波除去手段および前記高周波除去
手段を経た像を光電変換する光電変換素子とを有する人
工網膜と、前記光電変換素子からの出力のうち前記低周波除去手段
を経た情報について処理を行なうニューラルネットワー
クと、前記光電変換素子からの出力のうち前記高周波除去手段
を経た像に基づいて、次に処理すべき像を決定する手段
と、前記決定手段の出力に基づいて前記人工網膜を移動する
ための移動手段とを有することを特徴とする人工視覚装
置。
【請求項１１】前記低周波除去手段は、第１のフーリ
エ変換レンズと、前記第１のフーリエ変換レンズのフー
リエ面に配置され、０次光成分を除去する低周波除去フ
ィルターと、前記低周波除去フィルターからの光束を逆
フーリエ変換するための第１の逆フーリエ変換レンズと
を有し、前記高周波除去手段は、第２のフーリエ変換レンズと、
前記第２のフーリエ変換レンズのフーリエ面に配置さ
れ、高周波成分を除去する高周波除去フィルターと、前
記高周波除去フィルターからの光束を逆フーリエ変換す
るための第２の逆フーリエ変換レンズとを有することを
特徴とする請求項１０に記載の人工視覚装置。