JPH04127263A - ニューロセンサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 ロボットハンドや各種認識装置に高度な知能を与えるこ
とを目的として取付けられる、視覚・近接覚及び触覚等
の多種多様な情報を統合するシステムに関し、 異種センサを統合したシステムを人手を介することな（
容易に構築可能とし、リアルタイム処理を可能とし、ロ
ボットハンド又は各種認識システムの作業内容やシステ
ム構成の変更にも容易に対応可能とすることを目的とし
、 対象物を認識するための複数種類のセンサ手段を同時に
有する認識システムにおいて、複数のセンサ手段の出力
情報の組を入力パターンとし、対象物の状態をニューロ
ネットワークにより認識する認識手段を有するように構
成する。

〔産業上の利用分野〕

本発明は、ロボットハンドや各種認識装置に高度な知能
を与えることを目的として取付けられる、視覚・近接覚
及び触覚等の多種多様な情報を統合するシステムに関す
る。

〔従来の技術〕

製造業、原子力産業等の分野で人間の手作業に代わって
複雑又は危険な作業等を行うロボットハンドにおいては
、物体を正確に認識し、それに基づいて正確に、かつ傷
つけないように把持する機構が求められる。

第１０図は、ロボットハンド１００１及び床に取り付け
られた２台の視覚センサ（ＣＣＤカメラ）１００２と、
ロボットハンド１００１に取り付けられた近接覚センサ
（超音波センサ）１００３によって対象物１００６　（
同図ではリンゴ）を認識し、その認識結果に基づいてハ
ンド部１００４に取り付けられたグリッパ１００５によ
って対象５１００６を把持する、従来の異種センサ統合
システムである。

このシステムによれば、視覚センサ１００２と近接覚セ
ンサ１００３の２種類のセンサの両方で、対象物１００
６までの距離を測定できる。すなわち、視覚センサ１０
０２からは三角測量法によって、また、近接覚センサ１
００３からは超音波が往復する時間によって、距離を測
定できる。

上述のような従来例では、異種のセンサの組み合わせに
より、一種類のみのセンサを用いた場合より測定精度を
向上させるシステムを構築することが目的とされる。す
なわち、視覚センサ１００２のみによって対象物１００
６との距離を測定しようとすると、対象物１００６が透
明な場合或いは対象物１００６の周囲が十分に明るくな
い場合等において、測定精度が著しく低下する。また、
近接覚センサ１００３としての超音波センサの測定精度
は、元来ノイズ及びセンサの指向性に左右され易く、単
体では本質的に高い精度は望めない。

そこで、２種類のセンサを用いて得た統合された情報に
より距離情報を抽出する必要が生じる。

異種のセンサの情報を統合しようとする場合、従来、Ａ
Ｉ（人工知能）の技法に基づくエキスパートシステムが
利用されている。

一例として、第１０図のグリッパ１００５の先端が対象
物１００６に５０ａ＋ｍ以内に近づいたらグリッパ１０
０５を開くものとする。また、各センサの測定誤差を考
慮した場合に、 ■視覚センサ１００２による距離測定によれば、対象物
１００６が５０１１１１１以内に近づいたことは、８０
％確かである。

■近接覚センサ１００３による距離測定によれば、対象
物１００６が５０ｍｍ以内に近づいたことは、４０％確
かである。

といった事実があったとする。

エキスパートシステムによれば、上述の■及び■の事実
を推論することにより、グリッパ１００５を開くか否か
が判断される。この場合、「視覚センサ１００２又は近
接覚センサ１００３のいずれかが５０ＩＩＩＩｌ１以内
に対象物１００６を認識すれば、グリッパ１００５を開
く。」という推論規則（ルール）が設定され、このルー
ルに基づいて、上述の判断が行われグリッパ１００５が
制御される。

一方、上述のルールをファジィ論理に基づくファジィ演
算で記述すると、視覚センサ１００２が５０ｍｍ以内に
対象物１００６を認識する確率値と近接覚センサ１００
３が５０ｍｍ以内に対象物１００６を認識する確率値と
のＯＲ演算として記述される（上述のルールの「又は」
に対応する）。ＯＲ演算においては、演算対象となる確
率値のうち最大値をとるものが出力値とされる。従って
、上述の例では、グリッパ１００５を開かなくてはなら
ない確率は８０％となり、結果としてグリッパ１００５
が開かれる。

〔発明が解決しようとする課題〕

しかし、上述の例の如くルールが１つだけの単純な場合
はよいが、ロボットハンドを制御するための実際のエキ
スパートシステムでは、小さなシステムであっても１０
０以上のルールを設ける必要があり、各ルール間の競合
や矛盾を管理することは困難であるという問題点を有し
ている。

また、エキスパートシステムにおける各ルールはＬｉ５
ｐ言語で記述されるのが一般的であるが、この言語で記
述されたプログラムはインタープリタによって逐次機械
語に翻訳されながら実行されるため、処理速度が遅くな
る。従って、ロボットハンドのモーションコントロール
に必要なリアルタイム性を得ることは困難であるという
問題点を有している。

更に、エキスパートシステムにおける各ルールは、全て
人手によってプログラミングされる必要があるが、その
プログラムは対象とするシステムのセンサの構成等に依
存しており、このため例えば第１０図の構成の異種セン
サ統合システムに触覚センサを後から追加したような場
合には、エキスパートシステムを始めから構築し直さな
ければならないといった問題点を有している。

また、上述のようなロボットハンド等のほか、工場内で
の人間の作業を代行する移動ロボットにおける障害物認
識システムや、その他各種対象物を認識するシステムを
構築する場合においても、従来、ロボットハンドの場合
と同様の問題点を生じている。

本発明は、異種センサを統合したシステムを人手を介す
ることなく容易に構築可能とし、リアルタイム処理を可
能とし、ロボットハンド又は各種認識システムの作業内
容やシステム構成の変更にも容易に対応可能とすること
を目的とする。

〔課題を解決するための手段〕

第１図は、本発明のブロック図である０本発明は、対象
物１０１を認識するための複数種類のセンサ手段１０２
を同時に有する認識システムを前提とする。センサ手段
１０２は、例えばカメラ等の視覚センサ、対象物１０１
を把持するグリッパ部分に設けられる圧力センサ等の触
覚センサ、同じく把持角度を検出するエンコーダ等であ
る。

この前提のもとで、本発明は、複数のセンサ手段１０２
の出力情報１０３の組を入力パターンとし、対象物１０
１の状態をニューロネットワークにより認識する認識手
段１０４を有する。このニューロネットワークは、例え
ば複数のセンサ手段１０２の出力情報１０３の組を同時
に入力するニューロンからなる入力層と、対象物１０１
の認識結果を出力値として出力するニューロンからなる
出力層と、入力層と出力層との間に接続され、それぞれ
複数のニューロンから構成される少なくとも１層以上の
中間層とからなり、バックプロパゲーションアルゴリズ
ムに基づいて学習が行われる。

なお、認識手段１０４は、複数のニューロネットワーク
を切り替えて使用するようにも構成できる。

〔作　　用〕

本発明では、ニューロネットワークによる認識手段１０
４により、対象物１０１の柔らかさ、大きさ、形状等の
、各種パターンを学習させることができる。これにより
、ロボットや各種認識システムにさせる作業内容の変更
にともない認識すべき項目が変更になった場合、プログ
ラムを変更することなく学習によりシステムの内部構造
を柔軟に変更することができる。

また、ニューロネットワークの学習が十分に行われた段
階では、各センサ手段１０２によって検出される対象物
１０１の状態を高速に評価できるため、ロボットや各種
認識システムの制御を行うホストコンピュータ等の負荷
を著しく軽減させることができる。この結果、ホストコ
ンピュータ等の処理に余裕が生まれるので、ロボットや
各種認識システムに多くのセンサを装着することも可能
となり、また、ロボットや各種認識システムに作業のプ
ランニングや接触物体の固定・認識等の高度な知的作業
を行わせることも可能となる。

更に、ニューロネットワークがもつ流化作用により、学
習時に用いた基本的なパターンの中間の入力に対しても
妥当な出力を与えることができる。

例えばニューロネットワークに球と立方体の形状を与え
それぞれに対してＯと１の出力がでるように教育した後
、そのニューロネットワークに球と立方体の中間の形状
を示すとちょうど０と１の中間の値を出力するように構
成できる。柔らかさ、大きさ等についても同様である。

〔実　　施　　例〕

以下、図面を参照しながら本発明の実施例につき説明す
る。

第１公皇施■Ω説所 第２図は、本発明による第１の実施例であり、ニューロ
ネットワークによる異種センサ統合システムを示す斜視
図である。

このシステムは、床置きされた２台の視覚センサ（ＣＯ
Ｄカメラ）２１１とロボットハンド２０８先端のハンド
部２０９のグリッパ２１０に取り付けられた触覚センサ
２１２によって、対象物２１３（同図ではボール）を認
識し、その認識結果に基づいてロボットハンド２０８の
移動制御、ハンド部２０９に取り付けられたグリッパ２
１０による対象物２１３の把持を行う異種センサ統合シ
ステムである。触覚センサ２１２は、例えば基板上にカ
ー電気信号変換器がマトリックス状に配置され、表面が
皮膚ゴムで被覆された構造を有する。

視覚センサ２１１及び触覚センサ２１２のそれぞれの出
力２１４及び２１５は、各信号処理装置２０１及び２０
２によって数段階の階調表現された画像データに変換さ
れ、それぞれ視覚情報２０４及び触覚情報２０５として
ホストコンピュータ２０７に送られる。

また、グリッパ２１０が取り付けられるハンド部２０９
には、グリッパ２１０が開かれている角度（以下、開度
と呼ぶ）を検出するための特には図示しないエンコーダ
が設けられている。そして、そのエンコーダ出力２１６
は、エンコーダインタフェース２０３を介して、角度情
報２０６としてホストコンピュータ２０７に送られる。

次に、第３図は、第２図のホストコンピュータ２０７の
構成図である。

インタフェース（１／Ｆ）３０５〜３０７は、それぞれ
第２図の視覚センサ信号処理装置２０１からの視覚情報
２０４、触覚センサ信号処理装置２０２からの触覚情報
２０５及びエンコーダインタフェース２０３からの角度
情報２０６を入力し、それらをバス３０８を介してＲＡ
Ｍ３０２へ転送する。

一方、ＲＡＭ３０２上には、上述の視覚情報２０４、触
覚情報２０５及び角度情報２０６のそれぞれを入力とし
て、ロボットハンド２０８が対象物２１３を把持したと
きの柔らかさ、大きさ、形状等を検出するニューロネッ
トワーク３０３が構成される。また、補助記憶装置３０
４には、ＲＡＭ３０２上でニューロネットワーク３０３
を構成するときの係数が記憶される。これらについては
後述する。

ＣＰＵ　（中央制御装置）３０１は、バス３０８に接続
される各部分の全体的な動作、特にＲＡＭ３０２上に構
成されるニューロネットワーク３０３の動作を制御する
。

なお、ニューロネットワーク３０３の出力に基づく、第
２図のロボットハンド２０８の移動制御、ハンド部２０
９に取り付けられたグリッパ２１０による対象物２１３
の把持制御等を行うための機構は、従来のロボット制御
技術と変わるところはないため省略する。

次に、ＲＡＭ３０２上に構成されるニューロネットワー
ク３０３について説明する。このニューロネットワーク
は、視覚情報２０４、触覚情報２０５及び角度情報２０
６のそれぞれを入力として、ロボットハンド２０８が対
象物２１３を把持したときの柔らかさ、大きさ、形状等
を検出する機能を有し、本実施例の最も特徴とする部分
である。

本実施例で用いるニューロネットワークとしては、バッ
クプロパゲーションによる学習機能を有するＲｕｍｅｌ
ｈａｒｔ　（ＮａｔｒｕｅＶｏｌ、３２３−９（１９８
６））のネットワークを用いる。

まず第４図には、生理学で調べられているニューロンの
数学的モデルが示されており、これによれば入力信号ｙ
ｓ（ｔ）と出力信号ｘ（ｔ）の関係は次式で表現できる
。但し、括弧内の「ｔ」は、それぞれが時間の関数であ
ることを示している。

常、第５図に示すような特性を有するｓｉｇｍｏｉｄ関
数が用いられる。ｓｉｇｍｏｉｄ関数としては次式がよ
く用いられる。

ｆ　（ｘ）　　＝　（１＋　ｅ−”）　　　　　　　　
　・・（２）（ａ＞０．Ｏ≦Ｘ≦１） ここで、Ｘは、関数ｆの引数、ｅは自然対数の底を示す
。

次に、上述のニューロンを構成要素として、第２図のＲ
ＡＭ３０２上に構成されるニューロネットワーク３０３
の例を第６図に示す。

同図のネットワークは、それぞれ多数のニューロン（各
ニューロンは第４図に対応する）を持つ入力層、隠れ層
Ｉ、■及び出力層（同図の各層の列）から成る。そして
、成る層の全てのニューロンは、その左側の層内の全て
のニューロンと、また、その右側の層内の全てのニュー
ロンと、重み付きの有向リンクで結合している。有向リ
ンクの向きは左側の層内のニューロンを入力とし、右側
の層内のニューロンを出力としている。ニューロンｊか
らニューロンｉに到るリンクの重みはＷｉＪで表現され
る。また、同じ層にあるニューロンは、相互に結合しな
い。入力層の各ニューロンは、画像データである視覚情
報２０４及び触覚情報２０５の各画素と対応しており、
階調表現された各画素の値に応じた刺激の強さが対応す
る各ニューロンに与えられる。また、角度情報２０６に
対応するニューロンも設けられている。そして、最古の
出力層の各ニューロンの出力値が、ニューロネットワー
クの出力となる。すなわち、柔らかさを感じるニューロ
ンからは第２図の対象物２１３の柔らかさに対応する値
が出力され、大きさを惑じるニューロンからは対象物２
１３の大きさに対応する値が出力される。また、形状を
感じるニューロンは、球、立法体等の各形状に対応して
１つずつ設けられ（第６図では１つのみ示されている）
、対象物２１３の形状に対応するニューロンの出力値が
大きな値となる。これらの各出力は、視覚情報２０４、
触覚情報２０５及び角度情報２０６の１組（以下、入力
パターンと呼ぶ）について１＆Ｉｌ得られる。

以上のような構成を有するニューロネットワークのもと
て前述の（１）式を拡張すると以下のようになる。すな
わち、第２番目の入力パターンに対する成る層（これを
第Ｓ層と呼ぶ）の第ｉ番目のニューロンの出力をＸ１ｐ
とし、その１つ左の層（第５−１１ｉ）の第ｊ番目のニ
ューロンの出力をＶｔｐとし、各層のニューロンの個数
をｎとすると、χｉ、＝　ｆ　ｔ（Ｚ　ｔｐ）　　　　
　　　　　　　・・・（３）となる。

このような関係式が成り立つような第６図のニューロネ
ットワークに入力パターンが与えられたときに理想的な
出力がでるように、学習によって重み係数ＷｉＪすなわ
ちニューロン間の結合の強さを更新することにする。

これを実際に行うため、Ｒｕｍｅｌｈａｒｔは次のよう
なバックプロパゲーションと呼ばれる学習アルゴリズム
を提案している。まず、学習に用いるパターンはｔ個あ
るものとし、第Ｓ層のｎ個のニューロンにおいて、第ｉ
番目のニューロンにおける第２番目のパターンに対する
教師からの出力値（最も望ましい出力値）をｄｉｐ、実
際の出力値をＸｌｐとする。ユークリッドノルムを用い
て、第Ｓ層における第２番目のパターンに対する誤差Ｅ
、及びｔ個の全パターンに対する誤差Ｅを次の（５）式
及び（６）式によって評価する。

Ｅｐ＝　（１／２）Σ（Ｘｉｐ　　ｄｌｐ）２　　・・
・（５）１＝１ ＥをＷｉＪに対し最小にするため、θＥｐ／θＷｉＪ（
ＥｐのＷｉＪに対する偏微分）を計算し、Ｗｉｊを次式
によって更新する。

ＷｔＪ（ｔ）＝Ｗ目（ｔ　　１）十ΣΔｐＷｔＪ　　Ｈ
＋　（７）ｐ＝１ ここで、Ｗｔｊ（ｔ　　１　）は更新前の重みＷＩＪの
値、Ｗｔｊ（ｔ　）は更新後の重みＷｉＪの値である。

ここで、Δ、ｗｌＪ＝　　７７０Ｅ、／θｗ目・・・（
８）である。（７）式及び（８）式より、ＷｉＪ（ｔ）
は、更新前の重みＷｔｊＤ−１）を誤差Ｅ、の最急降下
方向へステップ幅ηだけ変化させることにより得られる
ことがわかる。

上述の（８）弐で、Δｐ　Ｗｌ＝　　７７ｃ？Ｅｐ／θ
ｗｉＪは、ＷｉＪに偏微分とチエインルールを実行する
ことによって、 Δｐｗムｊ＝ηδｉｐ３’ｊｐ　　　　　　　　・・・
（９）として計算できるが、更に、δｉ、、の求め方は
、第Ｓ層が出力層である場合とそうでない場合とで若干
異なる。まず、第Ｓ層が出力層の場合には、（９）式の
δ、ｐは、 δ、、−ｆｔ’（ｚｉｐ）　（Ｘｉｐ　　ａｔｐ）　　
　ＨＩ　・ａｏ）となり、一方、第Ｓ層が出力層でない
場合には、第ｓ＋１層のニューロンの添字をｋとして、
となる。但し、ｆ　％　（Ｚ　ｉｐ）は、ｆ　ｔ（Ｚ　
ｉｐ）の１次微分を示す。これより、（８）弐〜ＯＤ式
をネットワークの逆方向に順次適用してＷｉｊの変化分
を計算し、各層について（７）式によってニューロン間
の結合の強さを繰り返し調整することによって、最終的
にパターンＰを与えると教師からの信号ｄｉｐに近い値
を出力するニューロネットワークを構成できる。

以上のアルゴリズムを特には図示しないＲＯＭ等にプロ
グラミングしておき、第３図のＣＰＵ３０１がＲＡＭ３
０２上のニューロネットワークに学習用のパターン（視
覚情報２０４、触覚情報２０５及び角度情報２０６０組
）を入力しながら上記アルゴリズムを実行することによ
りネットワークの学習を行える。この場合、−度プログ
ラミングすれば、学習すべきパターンが将来変わっても
、再度プログラミングする必要はない。言い換えれば、
外界の刺激に対して内部の構造を自動的に変化させるこ
とのできるシステムが構成できることになる。

次に、上述のニューロネットワーク３０３の学習手順と
、このネットワークを用いた実際の対象物２１３（第２
図）の認識動作具体例について、対象物２１３を球形を
していて柔らかいものの例であるテニスボールとした場
合を例にとって説明する。

まず、ロボットハンド２０８にテニスボールを様々な姿
勢で把持させ、各姿勢における視覚情報２０４、触覚情
報２０５及び角度情報２０６の組（パターン）を、第３
図の補助記憶装置３０４等に記憶する。

次に、第３図のＣＰＵ３０１は、上記各パターンを、Ｒ
ＡＭ３０２上に構成されている第６図のニューロネット
ワーク３０３に入力として与え、いずれのパターンが入
力として与えられても、柔らかさを惑しるニューロン、
大きさを感じるニューロン及び形状を感じるニューロン
の各出力が、教師信号と等しくなるように、前述の（７
）弐〜ＯＤ式に示すバックプロパゲーションアルゴリズ
ムに従って、前述の（５）式及び（６）式で求まる誤差
が十分小さくなるように重み係数ＷえＪを調節する。教
師信号は、対象物２１３がテニスボールの場合、柔らか
さを感じるニューロンの出力値は例えば０．７、大きさ
を感じるニューロンの出力値は例えば０．５、形状を感
じるニューロンについては球形の形状を感じるニューロ
ンの出力値が例えば１でその他は０の如くである。この
ようにして得られた第６図の各層の各ニューロン毎の最
終的な重み係数ＷｉＪの値は、第２図の補助記憶装置３
０４に格納される。

この他にも、野球のボールとかゴルフボールを対象物２
１３として与えて学習を行い、また、積み木のような球
形の形状以外の対象物２１３についても同様の学習を行
う。

次に、対象物２１３の認識動作を行う場合は、第３図の
ＣＰＵ３０１は、上述の学習手順によって得られた重み
係数ＷＩＪを補助記憶装置３０４からＲＡＭ３０２に呼
び出し、前述の（２）弐〜（４）式で示されるアルゴリ
ズムにより出力信号を計算する。

これによれば、学習に使用したテニスボール、野球のボ
ール等の認識はもちろんのこと、学習に使用しなかった
ソフトボールを対象物２１３としても、適当な値、例え
ば柔らかさを感じるニューロン、大きさを感じるニュー
ロン及び球形の形状を感じるニューロンの出力値として
、それぞれ０．５．１及び１等を出力するようになる。

以上の第１の実施例において、第２図の視覚センサ２１
１からの視覚情報２０４、触覚センサ２１２からの触覚
情報２０５及びハンド部２０９のエンコーダからの角度
情報２０６に基づいて、対象物２１３の柔らかさ、大き
さ及び形状を検出する場合を例にあげて、ニューロネッ
トワーク３０３の具体例とともに説明した。しかし、本
発明はこれに限られるものではなく、様々な異種センサ
の出力を並列して入力することができる。その他の例に
ついて、以下の第２〜第４の実施例の順に順次説明する
。

茅）皇ス韮Ｌ９裁Ｉ− 第７図に、ニューロネットワークによる異種センサ統合
システムの第２の実施例を示す。この実施は、２台の視
覚センサ７０１及び７０２と複数の超音波センサを並べ
た超音波ソナー７０３を備えた移動ロボットに本発明を
実施した例である。

このロボットは、左右にキャタピラ７０４を有している
ため、自由に移動可能であり、例えば工場内で部品・製
品の運搬用等に用いられる。

このロボットには、異種のセンサである右視覚センサ７
０１、左視覚センサ７０２及び超音波ソナー７０３が備
えられているため、これらの異種センサの統合を行うた
めに本発明が適用される。

右視覚センサ７０１及び左視覚センサ７０２のそれぞれ
で検出された右視覚センサの出カフ０５及び左視覚セン
サの出カフ０６は、それぞれ右視覚センサの検出回路７
０８及び左視覚センサの検出回路７０９に入力する。ま
た、超音波ソナー７０３内の各超音波センサから出力さ
れる超音波ソナーの出カフ０７は、超音波ソナーの検出
回路７１０に入力する。

そして、これら右視覚センサの検出回路７０８、左視覚
センサの検出回路７０９及び超音波ソナーの検出回路７
１０の各出力は、ニューロネットワーク部７１１に入力
する。

ここで、ニューロネットワーク部７１１は、実際には前
述の第１の実施例の場合と同様に、ホストコンピュータ
内部のＲＡＭに第３図のようにして構成されるが、ここ
では簡単のためニューロネットワーク部７１１として概
念的に示しである。

上述の各検出回路７０８．７０９及び７１０の出力がホ
ストコンピュータに入力されＲＡＭ内のニューロネット
ワークに入力されるまでの動作は、第１の実施例の場合
とほぼ同様である。従って、以下の説明では、上記各出
力がニューロネットワーク部７１１上でどのように処理
されるかという部分についてのみ説明することとする。

なお、後述する第３、第４の実施例においても同様であ
る。

ニューロネットワーク部７１１の入力には、上述のよう
に右視覚センサの検出回路７０８、左視覚センサの検出
回路７０９及び超音波ソナーの検出回路７１０の各出力
が与えられる。ここで、右視覚センサ７０１及び左視覚
センサ７０２からは、画像情報として階調表現された複
数の画素の値が出力される。このため、ニューロネット
ワーク部７１１０入力層（第６図参照）として、本来、
画素の数に対応した数のニューロンが必要であるが、第
７図では説明の簡略化のため、右視覚センサ７０１及び
左視覚センサ７０２のそれぞれについて１つのニューロ
ンのみ示されている。同様に、超音波ソナー７０３に対
しても、アレイ状に並べられた超音波センサの数に対応
した数のニューロンを入力層に用意すべきであるが、第
７図では超音波ソナー７０３について１つのニューロン
のミ示されている。また、これらの入力層のニューロン
の簡略化表現に伴って、隠れ層（第６図参照、第７図で
は１層のみで構成されている）のニューロンの数も実際
より減らして示されている。これらの簡略化表現は、後
述する第３、第４の実施例においても同様である。

第７図のロボットの学習は、以下のようにして行われる
。まず、障害物の大きさと障害物までの距離をＯと１の
範囲で出力するように学習させる。

すなわち、ニューロネットワーク部７１１の出力層の１
つのニューロンから出力される障害物の大きさを表す出
カフ１２の値が、大きい障害物であれば１、中くらいで
あれば０．５程度になるように学習を行わせる。また、
ニューロネットワーク部７１１の出力層の他の１つのニ
ューロンから出力される障害物との距離を表す出カフ１
３の値が、距離の近い障害物である程１に近い値となる
ように学習を行わせる。更に、ロボットが煙や霧が発声
しているような環境におかれる場合についても、同様に
学習を行わせる。なお、基本的な学習方法は、第１の実
施例の場合と同様である。

従来のアルゴリズムにおいては、距離の近い障害物と遠
い障害物に対しては、それぞれ超音波ソナーと視覚セン
サが使いわけられていた。このような、従来例の場合、
通常の環境であれば障害物の認識は可能であるが、煙や
霧が発生している環境では視覚センサからの情報が信頼
できないため、これを信頼できない情報として認識させ
るためのアルゴリズムを導出することが困難であった。

これに対して、第２の実施例によれば、上述のような環
境の下でロボットを学習させれば、画像がぼやけた視覚
センサからの情報と超音波ソナーからの情報に基づいて
障害物が認識されるように自己のネットワークをプログ
ラミングするため、障害物の認識アルゴリズムを作成す
る手間を大幅に軽減させることが可能となる。

３の　　の′ 第８図に、ニューロネットワークによる異種センサ統合
システムの第３の実施例を示す。この実施は、本発明を
ベルトコンベア８０９上を移動する青果物８０７の鮮度
評価システムに実施した例である。

用いられるセンサは、イメージセンサ８０１、フォトト
ランジスタ８０２及びカラーセンサ８０３である。それ
ぞれの出力は、イメージセンサの検出回路８１０、フォ
トトランジスタの検出回路８１１及びカラーセンサの検
出回路８１２を介してニューロネットワーク部８１３に
入力される。

ニューロネットワーク部８１３は、第７図の第２の実施
例の場合と同様、簡略化して表現されている。

イメージセンサ８０１は、ＣＣＤ素子を１次元状に並べ
たものであり、本来、バーコード状の情報を読み取る場
合に用いられている。

フォトトランジスタ８０２は、レーザー光源８０４から
発射されたレーザー光８０５を一度ポリゴンミラー８０
６で反射させて青果物８０７に照射した結果性じる散乱
光８０８を検出する。ポリゴンミラー８０６はモータ８
１６により回転させられているため、レーザー光８０５
は青果物８０７の表面を走査されることになる。従って
、青果物８０７の表面の１次元の散乱現象を、フォトト
ランジスタ８０２でとらえることができる。

カラーセンサ８０３は、赤、青、黄、緑、ピンク、水色
、白及び黒の８色を判別するセンサである。このセンサ
も、青果物８０７の表面の１次元の色の分布をとらえる
ことができる。

第８図のシステムでは、ニューロネットワーク部８１３
の出力層の１つのニューロンから出力される青果物の鮮
度を表す出力８１４の値及び同様に他のニューロンから
出力される青果物のうまみを表す出力８１５の値によっ
て、青果物８０７の鮮度とうまみを自動的に判別できる
。

ここで、第８図のシステムの学習は、以下のようにして
行われる。まず、ニューロネットワーク部８１３の出力
層の１つのニューロンから出力される青果物の鮮度を表
す出力８１４の値が、鮮度の良い青果物である程１に近
い値となるように学習を行わせる。また、ニューロネッ
トワーク部８１３の出力層の他の１つのニューロンから
出力される青果物のうまみを表す出力８１５の値が、う
まみのある青果物である程１に近い値となるように学習
を行わせる。基本的な学習方法は、第１の実施例の場合
と同様である。

従来のシステムにおいては、１種類のセンサしか用いら
れなかったため、判別精度が悪く、実用システムとして
実現された例はほとんどない、これに対して、第３の実
施例によれば、異種のセンサを用いているため、判別精
度が向上し、実用システムとして用いることが可能とな
る。

第土■実庶■ 第９図に、ニューロネットワークによる異種センサ統合
システムの第４の実施例を示す。この実施は、本発明を
紙幣鑑別機に実施した例である。

用いられるセンサは、カラーセンサ９０１、磁気ヘッド
９０２．９０３、イメージセンサ９０４である。それぞ
れの出力は、カラーセンサの検出回路９０７、磁気ヘッ
ドの検出回路９０８．９０９、イメージセンサの検出回
路９１０を介してユーロネットワーク部９１１に入力さ
れる。二−ロネットワーク部９１１は、第７図の第２の
′施例の場合と同様、簡略化して表現されている。

第９図の紙幣鑑別機では、ニューロネットワ・り部９１
１の出力層の３つのニューロンから出ニされる千円の認
識出力９１２．５千円の認識出二９１３又は１万円の認
識出力９１４によって、４幣を鑑別できる。

ここで、第９図の紙幣鑑別機の学習は、以下（ようにし
て行われる。まず、千円札の紙幣９０：を第９図の９０
６で表される紙幣の移動方向に１動させた場合に、ニュ
ーロネットワーク部９１の出力層の１つのニューロンか
ら出力される千Ｆの認識出力９１２が１になるように学
習を行わする。同様に、５千円札の紙幣９０５の場合に
、；ユーロネットワーク部９１１の出力層の他の１１の
ニューロンから出力される５千円の認識出力５１３が１
になるように学習を行わせる。更に、１万円札の紙幣９
０５の場合に、ニューロネット５−り部９１１の出力層
の更に他の１つのニューロンから出力される１万円の認
識出力９１４が１になるように学習を行わせる。そして
、新しい紙幣や古い紙幣、傷ついた紙幣、かすれた紙幣
等、様々な紙幣を用いて上述の学習を行わせる。

基本的な学習方法は、第１の実施例の場合と同様である
。

従来の紙幣鑑別機においては、磁気ヘッドのみによる鑑
別機が多いが、カラーセンサ及びイメージセンサを用い
ると偽札の排除が可能になるため、これら異種のセンサ
が搭載された高級型の鑑別機も存在した。しかし、これ
ら異種センサの出力により千円、５千円、１万円及び偽
札の検知を行うために作成されるアルゴリズムは複雑な
ものになり、そのアルゴリズムを実現するコンピュータ
プログラムのステップ数も膨大なものになっていた。

更に、新札が発行される毎に、作成されたアルゴリズム
をすべて見直す必要が生じていた。これに対して、第４
の実施例によれば、ニューロネットワーク部９１１が、
学習により多種の紙幣を鑑別する能力を自動的に身につ
けるため、新札の発行に伴う新しいアルゴリズムを作成
する手間を大幅に軽減させることが可能となる。

以上第１〜第４の実施例は、汎用コンピュータにニュー
ロネットワークのアルゴリズムを組み入れて構成した例
であったが、近年のニューロチップの開発のスピードア
ンプの加速化を考慮すると専用のニューロチップを利用
することにより、ハードウェア上でニューロネットワー
クを構成した実施例も容品に実現することができ、リア
ルタイム性を要求されるロボット制御やシステム制御に
は特に有効である。

〔発明の効果〕

本発明によれば、ニューロネットワークによる認識手段
により、対象物の柔らがさ、大きさ、形状等の、各種パ
ターンを学習させることができる。

これにより、ロボットや各種認識システムにさせる作業
内容の変更にともない認識すべき項目が変更になった場
合、プログラムを変更することなく学習によりシステム
の内部構造を柔軟に変更することが可能となる。

同様に、システムのセンサ手段の構成が変更になっても
、ニューロネットワークへの入力を変更するだけで柔軟
に対応することが可能となる。

また、ニューロネットワークの学習が十分に行われた段
階では、各センサ手段によって検出される対象物の状態
を高速に評価できるため、ロボットやシステムの制御を
行うホストコンピュータ等の負荷を著しく軽減させるこ
とができる。この結果、ホストコンピュータ等の処理に
余裕が生まれるので、ロボットや各種システムに多くの
センサを装着することも可能となり、また、ロボットや
各種システムに作業のプランニングや接触物体の固定・
認識等の高度な知的作業を行わせることも可能となる。

更に、ニューロネットワークがもつ法化作用により、学
習時に用いた基本的なパターンの中間の入力に対しても
妥当な出方を与えることが可能となる。

本発明では特に、ロボットや各種システムに取り付けら
れる複数のセンサ手段とニューロネットワークによる認
識手段とを組み合わせることにより、以下のような効果
が生まれる。

すなわち、ロボットや各種システムに取り付けられるセ
ンサ手段の中には、実際の使用により故障が発生するも
のもある。特に、圧力センサ等の触覚センサは、視覚セ
ンサと異なり、対象物に直接接触してその状態を検出す
るものであるから、接触によりセンサを構成する素子の
いくつかを損傷することもある。一方ニューロネットワ
ークは、入力パターンの一部を失っても、正常なニュー
ロネットワークに比較して大幅に機能が落ちることなく
、その機能を発揮できることが一般に知られている。従
って、本発明によれば、従来のセンサシステムと異なり
、使用中に多少損傷を受ける等してもその機能の劣化を
抑えることができ、安定性・実用性に冨んだセンサシス
テムを実現することが可能となる。

【図面の簡単な説明】

第１図は、本発明のブロンク図、 第２図は、ニューロネットワークによる異種センサ統合
システムの第１の実施例を示す斜視図、第３図は、第１
の実施例によるホストコンピュータの構成図、 第４図は、ニューロンの数学的モデルを示した図、 第５図は、ｓｉｇｍｏｉｄ関数を示した図、第６図は、
第１の実施例におけるニューロネットワークの例を示し
た図、 第７図は、ニューロネットワークによる異種センサ統合
システムの第２の実施例を示す斜視図、第８図は、ニュ
ーロネットワークによる異種センサ統合システムの第３
の実施例を示す斜視図、第９図は、ニューロネットワー
クによる異種センサ統合システムの第４の実施例を示す
斜視図、第１０図は、従来の異種センサ統合システムを
示す斜視図である。 １０１・・・対象物、 ・センサ手段、 ■ ・出力情報、 ・認識手段。

Claims (1)

1. 【特許請求の範囲】 １）対象物（１０１）を認識するための複数種類のセン
   サ手段（１０２）を同時に有する認識システムにおいて
   、 前記複数のセンサ手段（１０２）の出力情報（１０３）
   の組を入力パターンとし、前記対象物（１０１）の状態
   をニューロネットワークにより認識する認識手段（１０
   ４）を、 有することを特徴とするニューロセンサ。 ２）前記ニューロネットワークは、前記複数のセンサ手
   段（１０２）の出力情報（１０３）の組を同時に入力す
   るニューロンからなる入力層と、前記対象物（１０１）
   の認識結果を出力値として出力するニューロンからなる
   出力層と、前記入力層と出力層との間に接続され、それ
   ぞれ複数のニューロンから構成される少なくとも１層以
   上の中間層とからなり、前記ニューロネットワークは、
   バックプロパゲーションアルゴリズムに基づいて学習が
   行われる、ことを特徴とする請求項１記載のニューロセ
   ンサ。