JPH0774980B2 - ニューロコンピュータを用いた手の姿勢認識方式 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 人間とコンピュータとの間を対象とするヒューマンイン
ターフェースにおいて、手の姿勢や状態を認識する方式
に関し、 手の姿勢や状態を一般化して許容範囲の広い認識システ
ムを実現し、又、手の姿勢や状態の修正，追加に対して
も簡単に行える手の姿勢認識方式を提供することを目的
とし、 手の姿勢や状態を測定する手の姿勢測定部と，その手の
姿勢，状態を一般化して記憶するニューロコンピュータ
を用いた姿勢記憶部と，上記手の姿勢測定部からのデー
タからその姿勢，状態を認識する姿勢認識部を持ち，予
め、入力された手の色々な姿勢，状態に基づいて、上記
姿勢記憶部で記憶したニューラル・ネットワークの結合
重みによって、新たに入力される手の色々な姿勢，状態
を認識するように構成する。

〔産業上の利用分野〕

本発明は、人間とコンピュータとの間のヒューマンイン
ターフェース（マンマシンインターフェース）におい
て、人間がコンピュータに指示する時の方法に関する。

最近のコンピュータの高性能化と，高機能化に伴い、人
間とコンピュータとをつなぐインターフェース（ヒュー
マンインターフェースとか，マンマシンインターフェー
スと呼ばれる）、が非常に重用視されてきている。

現在、この間をつなぐインターフェースとしては、キー
ボード，マウス，タブレットなどが代表的であるが、人
間にとって非常に操作しずらく、人間の方がそのインタ
ーフェースに慣れようと努力しているのが現状である。

例えば、コンピュータに数字を入力しようとする時は、
キーボードから数字を入力しなければならない。

この数字の入力を、例えば、手の指を三本立てて「３を
入力する」というのがより自然である。又、カーソルを
少し動かすとき、マウスを机の上の平面上で指示するよ
り、人差し指を立てたら上に，中指を立てたら下に・
・，と指示できるほうが煩わしくない。

このようなことが、ヒューマンインターフェース，マン
マシンインターフェースとして必要であり、その技術が
要求されている。

この要求に対して、近年、手の姿勢，状態を測定できる
データグローブという手袋が開発されている。そこで、
このデータグローブを用いて手の姿勢や状態を測定し、
今どんな姿勢なのかを認識することで、人間が何を要求
しているのかコンピュータに通知することができるよう
になる。

これにより、非常に人間らしい，また煩わしくなく分か
り易いヒューマンインターフェース，マンマシンインタ
ーフェースが実現できることになる。従って、このデー
タグローブによる効果的な手の姿勢認識方式が必要とさ
れる。

〔従来の技術と発明が解決しようとする課題〕

第３図は従来のヒューマンインターフェース，マンマシ
ンインターフェーを説明する図である。

従来のヒューマンインターフェース，マンマシンインタ
ーフェースとしては、本図に示したように、一般的に
は、キーボードやマウス，タブレット等が中心であっ
た。

従って、人間は、これらの装置のみでコンピュータに指
示するしかなかった。数字を入力するにも，動きを指示
するにも，位置を数えるにも、コンピュータに理解し易
い装置で与えるしかなく、それを操作する人間に理解し
易いような装置は存在しなかった。

それは、手の姿勢，状態を測定する方法が困難であった
という重要な問題点があった。然し、それを測定するデ
ータグローブという装置が最近開発され、これを適用し
ようとする働きがある。

該データグローブについては、例えば、 （１）“データグローブ ２型 操作マニュアル",ドキ
ュメントデータ:8月25日,1989,2.2版,VPL研究所刊，
｛“DATAGLOVE MODEL 2 Operation Manual",Document d
ate:August 25,1989,Version 2.2,Copyright:1989 by V
PL Research Inc.｝， （２）“データグローブ プログラム作成者用ツールキ
ット プログラム作成者用ガイド",ドキュメントデー
タ:1989年６月,1.3版，シムグラフィックス工業会社
刊，｛“Data Glove ^TMProgrammers Toolkit,Programam
mers Guide",Document date:June 1989,Version 1.3,Co
pyright: 1989 by SimGraphics Engineering Corporati
on｝ 等がある。

これらの文献に示されている方法は、データグローブか
らの多くの姿勢を示す角度データに対して、プログラム
でそのデータを場合分けして認識しようとするものであ
る。

従って、そのシステムを作成しなければならないし、ま
た他の姿勢，状態を識別したいという要求がシステム作
成後発生した場合、また新しく認識システムを作り変え
直すという煩わしさがあった。例えば，小指を立てた時
は、今の入力を取り消す命令に新しく登録したいとか，
人差し指と中指を立てた時,2を示すとしたが，親指と人
差指を立てた時に変更したい，などには、すべてシステ
ムを再設計する必要があった。

又、プログラムで解析的に作成してしまうと、特定の人
に対しては認識できるが、人が変わってしまうと認識で
きなくなるという欠点が生じてしまうという可能性もあ
った。

即ち、従来技術では、手の姿勢，状態を認識するシステ
ムをプログラムで構築しているために、特定の姿勢，状
態にしか適用できない。従って、手の姿勢，状態の変更
や追加に対して再構築しなければならず、又、異なる姿
勢，状態に対してプログラムで場合分けしているため、
似通った姿勢，状態に対して、違う認識をしてしまう可
能性があり、これを解決するため再び、プログラムを構
築し直すなど非常に多くの工程を必要とする問題があっ
た。

本発明は上記従来の欠点に鑑み、様々な手の姿勢，状態
を認識できるように、この姿勢，状態を一般化し許容範
囲の広い認識システムを実現すると共に、修正，追加に
対しても非常に簡単に行うことができる手の姿勢認識方
式を提供することを目的とするものである。

〔課題を解決するための手段〕

第１図は、本発明の原理を説明する図であり、（ａ）は
システム構成例を示し、（ｂ）はニューラル・ネットワ
ーク学習装置，認識装置の構成例を示し、（ｃ）はニュ
ーラル・ネットワークの入出力特性を示し、（ｄ）はニ
ューラル・ネットワークの構造例を示している。

上記の問題点は下記の如くに構成したニューロコンピュ
ータを用いた手の姿勢認識方式によって解決される。

人間とコンピュータとの間を対象とするヒューマンイン
ターフェースにおいて、 手の姿勢や状態を測定する手の姿勢測定部１と， その手の姿勢，状態を一般化して記憶するニューロコン
ピュータを用いた姿勢記憶部２と， 上記手の姿勢測定部１からのデータからその姿勢，状態
を認識する姿勢認識部３を持ち， 予め、入力された手の色々な姿勢，状態に基づいて、上
記姿勢記憶部２で記憶したニューラル・ネットワークの
結合重みによって、新たに入力される手の色々な姿勢，
状態を認識するように構成する。

〔作用〕

即ち、本発明によれば、「ニューロコンピュータを用い
た手の姿勢認識装置」は、第１図（ａ）に示したよう
に、「手の姿勢測定装置」と，「ニューロコンピュータ
学習，認識装置」からなる。又、「ニューロコンピュー
タ学習，認識装置」は、「ニューラル・ネットワーク学
習装置」と，「結合の重み記憶部」と，「認識装置」か
らなり、以下に示すように作用する。

手の姿勢測定装置 手の姿勢測定装置は、データグローブを中心にして手の
姿勢，状態を測定するために，光ファイバーを使用して
測定する。｛前述の文献（１），（２）を参照｝ 具体的には、指の第一関節と第二関節の角度が測定で
き、五本の指に対して十個のデータが得られる。各関節
間の角度が、「グー」の状態で九十度，「パー」の状態
で０度となる。

先ず、学習のときに認識してほしい姿勢のパターンを幾
つか発生させ、次に示すニューロコンピュータ学習，認
識装置に通知する。すべての姿勢，状態を学習の後、あ
る姿勢のデータを、認識装置に通知すると、その姿勢に
対する認識が結果として得ることができるようになる。

新しい姿勢，状態の追加や、認識の変更に対しては、再
びその姿勢，状態の学習を行うことで簡単に実現するこ
とができる。

次に、「ニューロコンピュータ学習，認識装置」内の三
装置に対して説明する。｛第１図（ｂ）参照｝ ニューラル・ネットワーク学習装置 ニューラル・ネットワーク学習装置は学習パターン保持
部と，ニューラル・ネットワーク実行部と，重み更新部
からなる。学習パターン保持部では入力パターンと，そ
れに対する望ましい出力パターン（教師信号）を保持し
ている。

バックプロパゲーション法を適用するニューラル・ネッ
トワークは、多層ネットワークである。各層は多くのユ
ニットで構成されており、各層のユニット間は、互いに
ある重みで結合されている。

このネットワークに入力パターンと、望ましい出力パタ
ーン（教師信号）の組を与えることによって、ネットワ
ークの重みを学習させることができる。

学習は以下の様に進められる。ニューラル・ネットワー
クに或る入力パターンを与え、出力を得る。その出力が
正しくなければ正しい（望ましい）出力値を該ニューラ
ル・ネットワークに教える。すると、ニューラル・ネッ
トワークは正しい出力と実際の出力値の差が減少するよ
うに、該ニューラル・ネットワークの内部構造（結合の
強さ＝重み）を調整する。これを何度も繰り返すことに
よって、該ニューラル・ネットワークは、或る入出力関
係を満たす様な重みを、自動的に学習していくのであ
る。この学習アルゴリズムをバックプロパゲーション法
という。

このようにして学習したニューラル・ネットワークを用
いると、学習させた入力パターンについては教示した正
しい出力を返すが、更に学習させていない入力パターン
についても学習した入出力パターンを補間した出力パタ
ーンを返すことができる。これが、ニューラル・ネット
ワークの大きな特徴となっている。

以下に、この学習を行なうニューラル・ネットワーク学
習装置｛第１図（ｂ）参照｝について述べる。

ニューラル・ネットワーク学習装置は、前述のように、
学習パターン保持部と，ニューラル・ネットワーク実行
部と，重み更新部からなる。

（１） 学習パターン保持部 入力パターンと，それに対する望ましい出力パターン
（教師信号）を保持している。

（２） ニューラル・ネットワーク実行部 多層のネットワーク構造になっている。各層は多くのユ
ニットで構成されており，各ユニット間には、各々結合
の重みｗが定義される。

各ユニットは以下に示すようにしてネットワークの出力
値を計算する。

あるユニットが複数のユニットから入力を受けた場合、
その総和に該ユニットの閾値Θを加えたものが、入力値
netになる。｛第１図（ｃ）参照｝ 即ち、ユニットのUiの出力値net_iは、 net_i＝Σw_ijO_j＋Θ_ｉ w_ij:ユニットU_jからユニットU_iへの結合の重み O_j:ユニットU_jの出力 Θ_i:ユニットU_iの閾値 ユニットの出力値はこの入力の総和netに、活性化関数
を適用して計算される。該活性化関数には微分可能な非
線型関数である、例えば、sigmoid関数をもちいると、
ユニットU_iの出力値O_iは、 になる。

バックプロパゲーション法で用いるネッワークは、一般
的には多層のネットワークであるが、ここでは通常よく
用いられる、第１図（ｄ）に示すような３層のネットワ
ークの場合についてのべる。

３つの層は入力層，隠れ層，出力層と呼ばれており、各
層は多くのユニットで構成される。隠れ層の各ユニット
は、入力層のすべてのユニットと結合している。出力層
の各ユニットは、入力層と，隠れ層のすべてのユニット
と結合している。そして、各層内での結合は無い。

入力層の各ユニットには、ネットワークへの入力データ
が与えられる。

従って、隠れ層の各ユニットU_jの出力値h_jは、 d_k:k番目の入力ユニットの出力値 h_j:j番目の隠れユニットの出力値 w_jk:k番目の入力ユニットと,j番目の隠れユニット間の
結合の重み Θ_j:j番目の隠れユニットの閾値 また，出力層の各ユニットの出力値o_iは、上記の式よ
り、 h_j:j番目の隠れユニットの出力値 o_i:i番目の出力ユニットの出力値 w_ij:j番目の入力ユニットと,i番目の出力ユニット間の
結合の重み Θ_i:i番目の出力ユニットの閾値 となる。

（３） 重み更新部 ネットワークの出力が、望ましい出力になるように、ネ
ットワークの重みを変える部分である。

あるパターンｐを与えた時の実際の出力値（o_pi）と，
望ましい出力値（t_pi）の平均２乗誤差E_Pをとる。

上記、あるパターンｐを学習させるためには、この誤差
を減らすように、ネットワーク中のすべての重みを変え
る。

・出力層についての学習規則（上記の誤差を減ら為の学
習規則） ｉ）隠れ層のユニットU_j−出力層のユニットU_iの間の重
みの変化Δw_ij（ｎ）は、 ii）入力層のユニットU_k−出力層のユニットU_iの間の重
みの変化Δw_ik（ｎ）は、 ここで、n:学習回数 α：モーメンタム（上記、sigmoid関数の滑らかさ） δ_pi＝（t_pi−o_pi）〔o_pi（１−o_pi）〕 ・隠れ層についての学習規則 入力層のユニットU_k−隠れ層のユニットU_jの間の重みの
変化Δw_jk（ｎ）は、 で求められる。

上記の平均２乗誤差E_pを減らすように、上記重み変化Δ
w_ij,Δw_ik,Δ_jkを計算して、ニューラル・ネットワーク
に与えることで、学習が行われる。

上記の各入力層，隠れ層，出力層での各ユニットの出力
値を与える式，或いは、出力層，隠れ層での学習規則の
式の導出過程の詳細については、例えば、「PDPモデル
“認知科学とニューロン回路網の探索",D.E.ラメルハー
ト,J.L.マクレランド,PDPリサーチグループ著，甘利俊
一監訳，平成元年２月27日，産業図書株式会社，初版
刊」に詳しいので、ここでは、結果のみについて示すの
みとする。

結合の重み記憶部 重み記憶部では、上記ニューラル・ネットワークの各ユ
ニット間の重みを、任意の学習段階で保存する。

認識装置 認識装置は、上記重み記憶部に保存してあるニューラル
・ネットワークの重みをロードし、上記学習時とは異な
る入力パターンを与えると、各ユニットの重みによって
定まる該ニューラル・ネットワークの出力を計算する。
以上のように学習したネットワークを用いると、学習さ
せた入力パターンについては、上記教示した正しい出力
を返すが、更に学習させていない入力パターンについて
も学習した入出力パターンを元にしたような出力パター
ンを返すように機能する。

以上説明したように本方式では、ニューラル・ネットワ
ークを用いて手の姿勢，状態の複数のパターンを学習さ
せることによって、該姿勢，状態を一般化した、学習済
の該ニューラル・ネットワークの重みを、重み記憶部に
保存する。従って、特徴（少し曲がった，伸びた等）が
同じである姿勢，状態を１つのネットワークの重みとし
て保存しておくことが可能となる。また特徴の異なる姿
勢，状態についても、別のネットワークの重みとして記
憶しておくことも可能である。

手の姿勢，状態を認識する場合は、先ず、重み記憶部に
ある学習済のネットワークの重みをニューラル・ネット
ワークにロードする。こうして学習させたネットの重み
を用いると、入力の手の姿勢や状態の関節データを指定
することで、その姿勢，状態が何を示すのか認識するこ
とができる。

更に、新しく登録したい姿勢，状態に対しても、又、す
でに学習してある姿勢，状態を変更したい場合でも、そ
の姿勢，状態を学習しなおすことで、簡単に認識させる
ことが可能となる。

〔実施例〕

以下本発明の実施例を図面によって詳述する。

前述の第１図は本発明の原理を説明する図であり、第２
図は本発明の一実施例を示した図であって、ニューラル
・ネットワーク学習装置20を用いて、データグローブか
ら出力される関節データに基づいて、手の姿勢，状態を
学習させて、該学習終了時のニューラル・ネットワーク
を構成している各ユニット間の結合重みを結合重み記憶
部に記憶しておき、該手の姿勢，状態を認識する場合に
は、該結合重み記憶部21に記憶されている学習済みの結
合重みをニューラル・ネットワークにロードし、該デー
タグローブから出力された新たな関節データを認識する
手段が本発明を実施するのに必要な手段である。尚、全
図を等して同じ符号は同じ対象物を示している。

以下、第１図を参照しながら、第２図によって、本発明
のニューロコンピュータを用いた手の姿勢認識方式を説
明する。

先ず、上記システムにおいて、手の姿勢，状態をニュー
ラル・ネットワークに学習させる必要がある。例えば、
数字を表すために、指の立っている数を数字として学習
する。人差指だけの時が「１」，更に、中指が立つと
「２」，薬指が立つと「３」，小指が立って「４」，す
べて開いて「５」というように、すべてのパターンに対
して少しずつ変化したデータを、手の姿勢測定装置１
で、例えば、10パターン測定する。10パターン用意する
のは、人が変わった時にも認識が正常に行われるよう
に、より多くのパターンを学習しておくためである。

手の姿勢，状態を学習する場合の学習方法を第２図に示
す。ニューロコンピュータに学習するさせる場合、ニュ
ーラル・ネットワークに教示する学習パターンが、例え
ば、 入力：関節角度（84,20,23,39,29）第２関節 （14,79,82,21,43）第１関節 親 人 中 薬 小 指 指 指 指 指 のとき、出力：この時の姿勢−数字の「２」であるとす
る。

認識したいパターン（例えば，人差指と中指を立てる）
をニューラル・ネットワークに入力するために、第１図
（ｂ）に示したニューラル・ネットワーク学習装置20に
おいて、上記、手の姿勢測定装置１から出力された‘2'
を示す学習パターンをビットパターン（例えば‘00001
0'）に変換して教師信号（認識パターンと同じ）とす
る。

そして、そのビットパターンをニューラルネットワーク
の入力Ｘ（教師信号）とする。この時の上記手の姿勢測
定装置１から出力された‘2'を示す関節角をニューラル
・ネットワークネットの入力Ｙ（学習パターン）とす
る。これによって，ニューラル・ネットワークは、入力
Ｙの時に教師パターンＸに近い認識パターン（２進数）
を出力するようなネットワークの結合重みを出力する。

複数の姿勢，状態を学習させたい場合は、第２図で示し
たような学習パターンＹを複数パターン学習させる。学
習の終了したニューラル・ネットワークの重みは、上記
結合の重み記憶部21に保持しておき、保持したニューラ
ル・ネットワークを使って姿勢を認識したい場合に、該
結合重みをニューラル・ネットワークにロードする。

学習した後、手の姿勢測定装置（データグローブ）１か
らの手の姿勢，状態を入力すれば、それに対応する認識
結果｛「１」〜「５」）を得ることができる。

又、親指と人差指で丸を作り、「OK」を示すことにする
という追加においては、その状態のデータを、例えば、
10パターン再び学習させる。このパターンを学習した後
には、結合重み記憶部に該ニューラル・ネットワークの
結合重みが保持されるので、認識時にはこの状態も正常
に認識することが可能になる。

〔発明の効果〕

以上説明したように、手の姿勢，状態を認識するのに、
ニューロコンピュータを使用することにより、手の姿
勢，状態を一般化して記憶することが可能となり、従っ
て様々な環境下でそれに適した姿勢，状態を認識するこ
とが可能となる。これにより、ヒューマンインターフェ
ースにおいて、より人間らしい表現でコンピュータに指
示を与えることができるシステムが構築でき、その認識
の変更，追加に対しても容易に行えることができる。従
って、インターフェースシステム作成のための工数の減
少と，より人間に近づいたヒューマンインターフェース
を提供することができる効果がある。

【図面の簡単な説明】 第１図は本発明の原理を説明する図， 第２図は本発明の一実施例を示した図， 第３図は従来のヒューマンインターフェース，マンマシ
ンインターフェースを説明する図， である。 図面において、 １は手の姿勢測定装置，又は、データグローブ，又は、
姿勢測定部， ２はニューロコンピュータを用いた認識記憶部， 20はニューラル・ネットワーク学習装置， 200はニューラル・ネットワーク実行部， 201は学習パターン保持部， 202は重み更新部， 21は結合の重み記憶部， ３は認識部，叉は、認識装置， をそれぞれ示す。

Claims (1)

【特許請求の範囲】
1. 【請求項１】人間とコンピュータとの間を対象とするヒ
   ューマンインターフェースにおいて、 手の姿勢や状態を測定する手の姿勢測定部（１）と， その手の姿勢，状態を一般化して記憶するニューロコン
   ピュータを用いた姿勢記憶部（２）と， 上記手の姿勢測定部（１）からのデータからその姿勢，
   状態を認識する姿勢認識部（３）を持ち， 予め、入力された手の色々な姿勢，状態に基づいて、上
   記姿勢記憶部（２）で記憶したニューラル・ネットワー
   クの結合重みによって、新たに入力される手の色々な姿
   勢，状態を認識することを特徴とするニューロコンピュ
   ータを用いた手の姿勢認識方式。