JPH07160665A

JPH07160665A - 物体識別装置

Info

Publication number: JPH07160665A
Application number: JP5312067A
Authority: JP
Inventors: Takashi Kubota; 孝久保田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1993-12-13
Filing date: 1993-12-13
Publication date: 1995-06-23

Abstract

(57)【要約】【目的】高速に物体の識別を行う物体識別装置を提供す
る。【構成】動き検出部６は把持対象物を掴むべき１つ以上
の指の動きを検出する。特徴抽出部１３は動き検出部６
で検出された指の動きデータから特徴量を抽出する。ニ
ューラルネットワーク部１５は予め定めた教師データを
用いて前記特徴抽出部１３で抽出された特徴量を学習す
る。判別部１６は前記ニューラルネットワーク部１５に
よる結果に基いて前記把持対象物の識別を行うよう構成
した。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、把持対象物の識別を高
速に行うことのできる物体識別装置に関し、特にニュー
ラルネットワークを用いて把持対象物の識別を行う物体
識別装置に関する。

【０００２】

【従来の技術】近年、産業用ロボットをはじめとして、
宇宙、海底、原子炉内のロボットが作業を行う場合に
は、物体の認識、識別が必要である。例えば、ＦＡ（フ
ァクトリオートメーション）等の物体のマニピュレーシ
ョン分野では、把持対象物の識別が特に必要となる。こ
のような物体の識別を行うものとして、従来より図１０
に示すような物体識別装置がある。

【０００３】図１０に示す物体識別装置は、ＴＶカメラ
から得られる画像データをデジタル処理して、予め与え
られている画像データとパターンマッチング法により比
較して物体の識別を行っている。

【０００４】すなわち、画像入力部２１が対象物の画像
を取り込むと、画像処理部２２は画像入力部２１で取り
込んだ画像データからノイズなどを除去するためにフィ
ルンタリング処理を行う。特徴抽出部２３は画像処理部
２２でフィルタリング処理された画像データから輪郭な
どのエッジ情報や色情報を抽出する。

【０００５】そして、モデルマッチング部２４は、特徴
抽出部２３により抽出された特徴量とモデルデータベー
ス部２５に格納された対象物に関する特徴量とを比較す
る。さらに、判別部２６はモデルマッチング部２４から
出力される比較データに基づきどの物体であるかの判別
を行う。

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
物体識別装置にあっては、ＴＶカメラから得られた画像
データを用いていた。この画像データは周囲の照明環境
に大きく影響されるため、画像データに含まれるノイズ
等により物体の識別を誤ることがあった。

【０００７】また、画像データを処理するため、処理に
時間がかかり、リアルタイムで物体を識別することが困
難であった。さらに、三次元の物体情報を取り込むため
に複数のカメラを用いていたが、複数のカメラによる同
一点の対応付けが困難であるという問題もあった。

【０００８】本発明は、このような点に鑑みてなされた
もので、その目的とするところは、画像データを用いず
に、高速にしかも正確に物体を識別することのできる物
体識別装置を提供することにある。

【０００９】

【課題を解決するための手段】本発明は、上記課題を解
決し目的を達成するために下記の構成とした。図１は本
発明の原理図である。図１を参照して本発明を説明す
る。

【００１０】本発明の物体識別装置は画像データを用い
ることなく、物体を掴もうと手を動かしたときの指の動
きに基いて物体の識別を行うものである。本発明は動き
検出部６、特徴抽出部１３、ニューラルネットワーク部
１５、判別部１６とを備える。

【００１１】動き検出部６は把持対象物を掴むべき１つ
以上の指の動きを検出する。特徴抽出部１３は前記動き
検出部６で検出された指の動きデータから特徴量を抽出
する。

【００１２】ニューラルネットワーク部１５は予め定め
た教師データを用いて前記特徴抽出部１３で抽出された
特徴量を学習する。判別部１６は前記ニューラルネット
ワーク部１５による結果に基いて前記把持対象物の識別
を行うよう構成した。

【００１３】ここで、動き検出部６は指に取り付けるよ
うにしてもよい。指の動きデータとしては、例えば指の
関節角度データであってもよい。なお、前記ニューラル
ネットワーク部１５は、少なくとも入力層１５１、中間
層１５２、出力層１５３からなり、特徴量の学習を行う
ことにより各層間の重み付けを変える。

【００１４】前記特徴抽出部１３は、各々の指の各々の
動き角度を時系列に抽出して前記ニューラルネットワー
ク部１５に供給するようにしてもよい。さらに、前記特
徴抽出部１３は、各々の指の動き角度の総和を時系列に
抽出して前記ニューラルネットワーク部１５に供給する
ようにしてもよい。

【００１５】前記特徴抽出部１３は、指定された指に対
する他のいずれか１つの指の相対的な位置情報を時系列
に抽出して前記ニューラルネットワーク部１５に供給す
るようにしてもよい。

【００１６】例えば、親指に対する人指し指、中指、薬
指、小指のいずれか１つの指の相対的な三次元位置情報
を時系列データとしてニューラルネットワーク部に入力
するようにしてもよい。あるいは親指に対する人指し
指、中指、薬指、小指の組み合せの相対的な三次元位置
情報を時系列データとしてニューラルネットワーク部に
入力するようにしてもよい。

【００１７】

【作用】本発明によれば、把持対象物を掴むべき１つ以
上の指の動きが動き検出部６により検出され、動き検出
部６で検出された指の動きデータに基づき特徴抽出部１
３により特徴量が抽出される。

【００１８】そして、予め定めた教師データを用いて前
記特徴抽出部１３で抽出された特徴量がニューラルネッ
トワーク部１５により学習され、前記ニューラルネット
ワーク部１５による結果に基いて判別部１６により前記
把持対象物の識別が行なわれる。

【００１９】すなわち、指の動きに基いて把持対象物の
識別を行う。指の動きはリアルタイムで検出でき、さら
に並列処理機能を有するニューラルネットワーク部を識
別処理に用いているため、物体を高速に識別できる。

【００２０】また、汎化能力を有するニューラルネット
ワーク部を用いて物体の識別を行うため、個人差やデー
タ誤差を吸収でき、物体の識別率を高くすることができ
る。

【００２１】

【実施例】以下、本発明の具体的な実施例を説明する。
図２は本発明物体識別装置の一実施例の構成ブロック図
である。この物体識別装置は、例えば、大小２つのボー
ルを識別する。図２に示す物体識別装置において、動き
検出部としてのセンサグローブ６は図４に示す人の一方
の手の親指２ａ、人指し指２ｂ、中指２ｃ、薬指２ｄ、
子指２ｅの５本の指の各関節に取り付けられている。各
センサグローブ６は図示しない把持対象物を掴もうとし
て動く各々の指の各関節における角度を検出する。

【００２２】人はある物体を手の指で掴もうとする場合
には、手を伸ばす間に把持対象物の形状に応じて手の形
状を準備する‘Preshaping’と呼ばれる動作を行う。こ
の‘Preshaping’動作は対象物を掴む前にその対象物の
三次元形状の情報を脳内に獲得し、それをもとに手の運
動計画を行うことを示す。

【００２３】従って、対象物の形状に関する情報は脳内
で視覚情報から体性感覚情報に変換され、さらに指の動
きとして現れる。前記センサグローブ６にはデータ格納
部８が接続される。データ格納部８はメミリなどであ
り、センサグローブ６で検出された各々の指２ａ〜２ｅ
における各々の関節角度データを格納する。

【００２４】このデータ格納部８にはメモリなどからな
る関節角度格納部１２が接続される。関節角度格納部１
１はデータ格納部８に格納された全ての関節角度データ
を格納する。

【００２５】この関節角度格納部１１には信号処理部１
２が接続される。信号処理部１２は関節角度格納部１１
に格納された関節角度データに対して順次フィルタリン
グ処理を行うことによりノイズを除去する。

【００２６】この信号処理部１２には特徴抽出部１３が
接続される。特徴抽出部１３は信号処理部１２で処理さ
れた関節角度データθ_i（ｔ）を以下の（１）式を用い
て特徴量Θ（ｔ）としての各々の指の総和の動きデータ
に変換する。

【００２７】 Θ（ｔ）＝Σ（θ_i（ｔ））² ・・・・（１）この特徴抽出部１３には時系列データ格納部１４が接続
される。時系列データ格納部１４は順次入力されてくる
特徴量Θ（ｔ）を、例えば、１０個のサンプリングΘ₁
（ｔ）〜Θ₁₀（ｔ）分のデータとして保持し、それらの
特徴量をニューラルネットワーク部１５に出力する。

【００２８】この時系列データ格納部１４にはニューラ
ルネットワーク部１５が接続される。ニューラルネット
ワーク部１５は入力層１５１、中間層１５２、出力層１
５３の３層構造のパラレルディストリュビューティドプ
ロセッシング（ＰＤＰ）ニューラルネットワークからな
る。

【００２９】図３にニューラルネットワーク部及びその
周辺部の構成を示す。前記ニューラルネットワーク部１
５は、複数の層からなる階層ネットワーク部１７と、階
層ネットワーク部１７の入出力に接続される学習部１８
とを有する。

【００３０】階層ネットワーク部１７は入力層１５１、
この入力層１５１に結合する中間層１５２とこの中間層
１５２に結合する出力層１５３とから構成される。各層
は図中での丸印で示す複数のニューロンから構成されて
いる。

【００３１】例えば、入力層１５１は、１０個のニュー
ロン２０−１〜２０−１０から構成される。中間層１５
２は、２０個のニューロン２０−１１〜２０−３０から
構成される。各ニューロン２０−１１〜２０−３０は前
記入力層１５１内の各ニューロン２０−１〜２０−１０
と相互に接続される。

【００３２】出力層１５３は２個のニューロン２０−３
１，２０−３２から構成される。前記中間層１５２内の
各ニューロン２０−１１〜２０−３０と相互に接続され
る。なお、各層内におけるセル間の結合はない。

【００３３】ニューラルネットワーク部１５はこれらの
入力層１５１、中間層１５２、出力層１５３とにより、
既に学習されている重み係数に基いて積和演算を並列的
に繰り返し行い、出力層１５３までデータを伝送する。

【００３４】前記学習部１８は、入力を与えたときの出
力と望ましい出力との差を減らすように階層ネットワー
ク部１７内の結合の重みを変える。学習部１８は、前記
差がある設定値以下になるまで処理を繰り返し行う。

【００３５】この方法としては例えばバックプロパゲー
ション（誤差逆伝播法）がある。判断が入力層１５１か
ら出力層１５３への信号伝播とすると、バックプロパゲ
ーションによる学習は、出力層１５３での誤差を入力層
１５１へ向かって伝播させることで達成される。

【００３６】図５は前記階層ネットワーク部内の各ニュ
ーロンの入出力構成を示す図である。図５では、入力層
１５１から出力層１５３への信号伝播を第ｎ層のｍ番目
のニューロンに着目することによりニューロンを模式的
に表現した。

【００３７】ここで、第ｎ層のｍ番目のニューロンの出
力値をＸ(n,m)とし、第ｎ−１層のｊ番目のニューロン
から第ｎ層のｍ番目のニューロンへの結合の重みをＷ(n
-1,j,m)とする。

【００３８】図５に示すように、例えば、ニューロン２
０−１は、１つ前の層内のニューロンの出力値Ｘ(n-1,
j)に結合の重み値Ｗ(n-1,j,m)を乗算した値とニューロ
ンに固有のオフセット（しきい）値ｈ(n,m)の総和値Ｓ
ｎ，ｍとを入力する。

【００３９】また、出力値Ｘ(n-1,j)は伝達関数ｆで表
される。伝達関数ｆは図６に示すようにＸに対して、Ｓ
字形状をなしており、シグモイド（Ｓｉｇｍｏｉｄ；Ｓ
字型）関数と呼ばれる。

【００４０】Ｘ(n,m)の計算は、前の層ｎ−１のニュー
ロンｊからの出力値とそれがたどるであろう結合路固有
の重みの積を、層ｎ−１のすべてのニューロンに対して
合計する。その値ｕ(n,m)が注目すべきニューロンの内
部状態となる。これから、しきい値ｈ(n,m)を引いた値
を、伝達関数に作用させて出力値Ｘ(n,m)を得る。な
お、その他のニューロン２０−２〜２０−３２もニュー
ロン２０−１の構成と同一構成である。

【００４１】次に、学習部１８による階層ネットワーク
部１７の学習は以下のように行なわれる。学習段階で
は、ある入力パターンに対してネットワークを動かして
得られる出力パターンをまず計算する。その出力パター
ンと望ましい出力パターンとの誤差を計算し、それを学
習データとして入力層１５１のほうへ伝播させながら、
結合の重みを改善していく。望ましい出力パターンを教
師データといい、教師データが存在する学習法を教師付
き学習と呼ぶ。

【００４２】このニューラルネットワーク部１５には判
別部１６が接続される。この判別部１６はニューラルネ
ットワーク部１５の出力層１５３の２つのニューロンの
発火状態によって、物体の識別を行い、掴もうとする物
体が大きいボールであるか、あるいは小さいボールであ
るかの識別を行う。＜実施例の動作＞次にこのように構成された実施例の動
作を説明する。図７は実施例の処理を示すフローチャー
トである。図８は指の動きデータの獲得手順を示す図で
ある。図９はニューラルネットワークの学習手順を示す
図である。

【００４３】図７において、まず、指の関節角度データ
を獲得する（ステップ１００）。この処理は図８に従っ
て、行われる。まず、操作者が図示しない把持対象物を
見る（ステップ１０１）。すると、この把持対象物を把
持するための動作を開始し（ステップ１０２）、手を伸
ばす（ステップ１０３）。

【００４４】次に、図４に示した各々の指２ａ〜２ｅに
取り付けられたセンサグローブ６により指２ａ〜２ｅの
関節角度を計測し（ステップ１０４）、データ格納部８
に計測された指の関節角度を格納する（ステップ１０
５）。

【００４５】さらに、その物体を指２ａ〜２ｅで掴まな
い場合には、ステップ１０３の処理に戻る。一方、その
物体を指２ａ〜２ｅで掴む場合には、データ格納部８に
格納された全ての関節角度データを関節角度格納部１１
に格納する（ステップ１０７）。

【００４６】以上で指の関節角度データの獲得処理が終
了する。次に、関節角度格納部１１から読み出された指
２ａ〜２ｅの関節角度データは、信号処理部１２により
フィルタリング処理されてノイズが除去される（ステッ
プ１１１）。

【００４７】そして、特徴抽出部１３では、フィルタリ
ング処理された関節角度データを指先の三次元位置デー
タに変換するとともに、処理された関節角度データに基
いて特徴量となる全ての指の動きデータを生成する（ス
テップ１１２）。ここでは、前記（１）式により関節角
度データθ_i（ｔ）を特徴量Θ（ｔ）としての各々の指
の総和の動きデータに変換する。

【００４８】さらに、時系列データ格納部１４では、特
徴抽出部１３から順次入力されてくる特徴量Θ（ｔ）を
バッファに格納する（ステップ１１３）。ニューラルネ
ットワーク部１５に特徴量を供給する。

【００４９】ここでは、次のニューラルネットワーク部
１５の入力層１５１にニューロン２０−１〜２０−１０
が用意されているので、１０個分つづの特徴量Θ
₁（ｔ）〜Θ₁₀（ｔ）を時系列データ格納部１４に格納
する。

【００５０】そして、時系列データ格納部１４に格納さ
れた１０個分つづの特徴量は、ニューラルネットワーク
部１５に供給される。次に、ニューラルネットワーク部
１５は時系列で入力される特徴量を学習する（ステップ
１２０）。

【００５１】このニューラルネットワーク部１５による
処理は以下の手順で行なわれる。まず、予めニューラル
ネットワーク部１５の構築を行う（ステップ１２１）。
学習すべき把持対象物に関する情報に基いて入力層１５
１、中間層１５２、出力層１５３におけるニューロンの
個数を決定する。ここでは、例えば、図３に示したよう
に、入力層１５１に１０個のニューロン、中間層１５２
に２０個のニューロン、出力層１５３に２個のニューロ
ンを設定した。

【００５２】次に、ニューラルネットワーク部１５の初
期化を行う（ステップ１２２）。具体的には、図５に示
した結合の重み値Ｗ(n-1,j,m)、しきい値ｈ(n,m)等の初
期値をランダムに設定する。

【００５３】さらに、学習パターン（教師データ）の提
示を行う（ステップ１２３）。具体的には、時系列デー
タ格納部１４から１０個分の時系列で入力されてくる特
徴量をニューラルネットワーク部１５の入力層１５１の
ニューロン２０−１〜２０−１０に入力する。そして、
中間層２０−１１〜２０−３０を通して把持対象物の識
別、すなわち、学習パターンをニューラルネットワーク
部１５の出力層１５３に提示する。

【００５４】次に、ニューラルネットワーク部１５の学
習部１８による学習が行なわれる（ステップ１２４）。
すなわち、ニューラルネットワーク部１５の入力層１５
１に入力されたデータを中間層１５２、出力層１５３に
伝搬する。そして、出力層１５３に伝搬されたデータと
学習パターンとの誤差を計算する。さらに、その誤差が
減少するように前記結合の重み値を修正していく。

【００５５】最後に、学習の判定を行う（ステップ１２
５）。ここでは、誤差関数の値があるしきい値よりも小
さくなった場合には、学習を終了する。誤差関数の値が
しきい値よりも大きい場合には、学習を繰り返し行う。

【００５６】以上の処理でニューラルネットワーク部１
５による特徴量の学習が終了したことになる。このよう
にして、ニューラルネットワーク部１５により得られた
学習結果に基づいて判別部１６では、物体の判別を行う
（ステップ１３０）。すなわち、判別部１６は、ニュー
ラルネットワーク部１５の出力層１５３の２つのニュー
ロン２０−３１，２０−３２の発火状態により、物体の
識別を行い、掴もうとする物体が大きいボールである
か、あるいは小さいボールであるかの識別を行うことが
できる。

【００５７】このように実施例によれば、把持対象物を
掴むべき１つ以上の指の動きがセンサグローブ６により
検出され、検出された指の動きデータに基づき特徴抽出
部１３により特徴量が抽出される。

【００５８】そして、予め定めた教師データを用いて前
記特徴抽出部１３で抽出された特徴量がニューラルネッ
トワーク部１５により学習され、前記ニューラルネット
ワーク部１５による結果に基いて判別部１６により前記
把持対象物の識別が行なわれる。

【００５９】すなわち、指の動きに基いて把持対象物の
識別を行う。指の動きはリアルタイムで検出でき、さら
に並列処理機能を有するニューラルネットワーク部１５
を識別処理に用いているため、物体を高速に識別でき
る。

【００６０】また、汎化能力を有するニューラルネット
ワーク部１５を用いて物体の識別を行うため、個人差や
データ誤差を吸収でき、物体の識別率を高くすることが
できる。

【００６１】なお、実施例では、特徴抽出部１３で指の
全動き量を用いていたが、親指２ａに対する各指２ｂ〜
２ｅの三次元位置情報を特徴量として用いてもよい。例
えば、親指２ａに対する人指し指２ｂ、中指２ｃ、薬指
２ｄ、小指２ｅのいずれか１つの指の相対的な三次元位
置情報を時系列データとしてニューラルネットワーク部
１５に入力するようにしてもよい。

【００６２】あるいは親指２ａに対する人指し指２ｂ、
中指２ｃ、薬指２ｄ、小指２ｅの組み合せの相対的な三
次元位置情報を時系列データとしてニューラルネットワ
ーク１５部に入力するようにしてもよい。

【００６３】また、前記特徴抽出部１３は、各々の指の
各々の動き角度を時系列に抽出して前記ニューラルネッ
トワーク部１５に供給するようにしてもよい。このよう
な処理によっても、実施例の効果と同様の効果が得られ
る。

【００６４】

【発明の効果】本発明によれば、指の動きに基いて把持
対象物の識別を行う。指の動きはリアルタイムで検出で
き、さらに並列処理機能を有するニューラルネットワー
ク部を識別処理に用いているため、物体を高速に識別で
きる。

【００６５】また、汎化能力を有するニューラルネット
ワーク部を用いて物体の識別を行うため、個人差やデー
タ誤差を吸収でき、物体の識別率を高くすることができ
る。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】本発明の一実施例の構成ブロック図である。

【図３】ニューラルネットワーク部とその周辺部を示す
図である。

【図４】センサグローブを取り付けた指を示す図であ
る。

【図５】ニューロンの入出力構成を示す図である。

【図６】シグモイド関数を示す図である。

【図７】実施例の処理を示すフローチャートである。

【図８】指の動きデータの獲得手順を示す図である。

【図９】ニューラルネットワークの学習手順を示す図で
ある。

【図１０】従来の物体識別装置の一例を示す構成ブロッ
ク図である。

【符号の説明】

２・・指２ａ・・親指２ｂ・・人指し指２ｃ・・中指２ｄ・・薬指２ｅ・・子指６・・センサグローブ１１・・関節角度格納部１２・・信号処理部１３・・特徴抽出部１４・・時系列データ格納部１５・・ニューラルネットワーク部１６・・判別部１７・・階層ネットワーク部１８・・学習部２０・・ニューロン２１・・画像入力部２２・・画像処理部２３・・特徴抽出部２４・・モデルマッチング部２５・・モデルデータベース部２６・・判別部１５１・・入力層１５２・・中間層１５３・・出力層

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｇ 7/60 9061−5ＬＧ０６Ｆ 15/70 ４６５Ａ

Claims

【特許請求の範囲】

【請求項１】把持対象物を掴むべき１つ以上の指の動
きを検出する動き検出部（６）と、前記動き検出部（６）で検出された指の動きデータから
特徴量を抽出する特徴抽出部（１３）と、予め定めた教師データを用いて前記特徴抽出部（１３）
で抽出された特徴量を学習するニューラルネットワーク
部（１５）と、前記ニューラルネットワーク部（１５）による結果に基
いて前記把持対象物の識別を行う判別部（１６）とを備
えたことを特徴とする物体識別装置。
【請求項２】請求項１において、前記ニューラルネッ
トワーク部（１５）は、少なくとも入力層、中間層、出
力層からなり、特徴量の学習を行うことにより各層間の
重み付けを変えることを特徴とする物体識別装置。
【請求項３】請求項１において、前記特徴抽出部（１
３）は、各々の指の各々の動き角度を時系列に抽出して
前記ニューラルネットワーク部（１５）に供給すること
を特徴とする物体識別装置。
【請求項４】請求項１において、前記特徴抽出部（１
３）は、各々の指の動き角度の総和を時系列に抽出して
前記ニューラルネットワーク部（１５）に供給すること
を特徴とする物体識別装置。
【請求項５】請求項１において、前記特徴抽出部（１
３）は、指定された指に対する他のいずれか１つの指の
相対的な位置情報を時系列に抽出して前記ニューラルネ
ットワーク部（１５）に供給することを特徴とする物体
識別装置。