JP2558943B2 - ニューラルネットワークを用いた人間の動作自動認識装置 - Google Patents

Description

【発明の詳細な説明】 〔概 要〕 人間の姿勢（ポスチャー）及び人間の動作（ジェスチ
ャー）を自動認識してコンピュータへのデータ入力を行
う人間の動作自動認識装置に関し、 従来は、人間の動作の始点と終点の区切りをコンピュ
ータ自身に判断させることが困難であり、人間が何等か
の方法により指示する必要があり、非常に煩わしかった
問題の解決を目的とし、 人間の形態データを収集する動作測定部（１）と、人
間のポスチャーの内容と、ジェスチャーの開始点を識別
するポスチャーニュートラルネットワーク部（２）と、
ジェスチャーの開始点が識別された場合に、動作測定部
（１）からの形態データを得て、ジェスチャーの内容を
認識するジェスチャーニューラルネットワーク部（５）
と、ジェスチャーニューラルネットワーク部（５）への
形態データの導入制御及び、ポスチャーニューラルネッ
トワーク（２）とジェスチャーニューラルネットワーク
部（５）の出力結果を比較して最終的な認識結果を選択
決定する動作判断部（８）を設けて構成する。

〔産業上の利用分野〕

本発明は、人間とコンピュータとの間のマン・マシン
インタフェースにおける、人間の動作（姿勢を含めて）
をコンピュータに自動認識させる装置に関し、特にニュ
ーラルネットワークを用いて、人間の動作の認識及び動
作の区切りの判断を自動的に行なわせ、人間の身振りに
よりコンピュータとの対話を実現するニューラルネット
ワークを用いた人間の動作自動認識装置に関する。

なお、本発明の具体的な応用例としては、手話の通訳
マシンがあり、また従来のキーボード等を用いる方法と
比較して著しく簡単なコンピュータへのデータ入力手段
として利用し得るものである。

〔従来の技術〕

人間とコンピュータとのマン・マシンインタフェース
における、コンピュータへのデータ入力方法としては、
キーボード、マウス、タブレット等の何らかの入力媒体
を使用するのが通常である。

しかしながら、これらの入力装置を用いて、データ入
力を行なう場合には、いずれもその取扱いの習熟にはあ
る程度の訓練と時間を要し、より簡単なデータ入力方法
が望まれている。

その一つの解決方法として、人間の身振り等の姿勢
（ポスチャー）及び動作（ジェスチャー）を認識してコ
ンピュータへデータ入力する方法が有力視されている。

ところが、該人間の動作を認識する方法においては、
人間の動作中の有効な意志表示の部分がどこで始まりど
こで終りかという、区切りの判断が非常に難しくなる。

従って、従来は、例えば人間がキーボード上のリター
ンキーを押下した時点が始点で、デリートキーを押下し
た時点が終点とするなどして、人間自身が区切りの判断
をコンピュータに指示するなどの必要があった。

〔発明が解決しようとする課題〕

以上説明したごとく、従来の人間の動作を認識させ
て、コンピュータへのデータ入力を行なう装置において
は、人間の動作の有効な部分の始点と終点をコンピュー
タ自身に判断させることが難しく、人間によって該始点
と数点とを、何等かの方法によりコンピュータに指示す
る必要があり、非常にわずらわしく、人間自身への負担
を大きくしていた。

本発明は上記問題点に鑑みなされたものであり、人間
が動作の区切りをコンピュータに教えることなく、人間
の動作によりコンピュータに自分の意志を告げ得るニュ
ーラルネットワークを用いた人間の動作自動認識装置を
提供することを目的とする。

〔課題を解決するための手段〕

本発明によれば、上述の目的は前記特許請求の範囲に
記載した手段により達成される。

すなわち、本発明は、請求項１記載の発明について
は、 人間の姿勢及び動作の形態を測定し、該形態データの
認識結果によりコンピュータへのデータ入力を行う人間
の動作自動認識装置において、 人間の形態データを収集する動作測定部（１）と、該
動作測定部（１）からのデータにより、人間の姿勢なる
ポスチャーの内容と、さらに人間の動作なるジェスチャ
ーの開始点を識別判断するポスチャーニューラルネット
ワーク部（２）と、該ポスチャーニューラルネットワー
ク部（２）でジェスチャーの開始点が識別された場合
に、上記動作測定部（１）からの形態データを得て、ジ
ェスチャーの内容を認識判断するジェスチャーニューラ
ルネットワーク部（５）と、上記ポスチャーニューラル
ネットワーク部（２）でジェスチャーの開始点が識別さ
れた場合に、ジェスチャーニューラルネットワーク部
（５）への形態データの導入を制御すると共に、ポスチ
ャーニューラルネットワーク部（２）とジェスチャーニ
ューラルネットワーク部（５）の出力結果を比較して最
終的な認識結果を選択決定する動作判断部（８）を設け
たニューラルネットワークを用いた人間の動作自動認識
装置である。

また、請求項２記載の発明については、 請求１記載の発明において、ジェスチャーニューラル
ネットワーク部（５）を、内部にコンテキスト層を有す
るリカレントニューラルネットワークとした人間の自動
認識装置である。

さらに、請求項３記載の発明については、 請求１または２記載の発明において、人間の形態デー
タを収集する動作測定部（１）として、データグローブ
またはボデースーツを用いたニューラルネットワークを
用いた人間の動作自動認識装置である。

〔作 用〕

本発明では、人間とコンピュータとのマン・マシンイ
ンターフェイスにおける、人間からコンピュータへのデ
ータ入力方法として、キーボード等の入力媒体を使用せ
ず、人間の身振りにより直接コンピュータへデータ入力
を行なうことを目的としている。

そのために、本発明の人間の動作自動認識装置では、
まず人間の動作測定のための動作測定部１に、例えばデ
ータグローブ又はボディースーツ等を使用し、該データ
グローブ等から得られる時系列データを処理して人間の
動作の認識を行なうことになる。

所で、人間の動作を認識するに際しては、該動作がポ
スチャーであるのか、ジェスチャーであるのか、あるい
は無意味な動作であるのかを識別すると共に、有効な動
作の始点と終点を正確に特定する必要がある。

そこで、本発明の装置では、二つのニューラルネット
ワーク部、すなわちポスチャーニューラルネットワーク
部２と、ジェスチャーニューラルネットワーク部５を用
いて、それぞれに役割分担を与え効果的に認識処理を行
なわせている。

すなわち、ポスチャーニューラルネットワーク部２に
は、ポスチャー内容の認識と、ジェスチャーであった場
合のジェスチャー開始点の認識を行ない得るように予め
学習させておき、またジェスチャーニューラルネットワ
ーク部５には種々のジェスチャー内容の認識を行ない得
るよう予め学習させておく。

そして、ポスチャーニューラルネットワーク部２でジ
ェスチャー開始点が検知された場合には、ジェスチャー
ニューラルネットワーク部５に動作測定部１からの時系
列データを導き、ジェスチャーの認識を行なう。

また、動作判断部８は、ポスチャーニューラルネット
ワーク部２でジェスチャー開始点が検知された場合の、
ジェスチャーニューラルネットワーク５への時系列デー
タの導入制御を行なう他、 ポスチャーニューラルネットワーク部２からの出力
と、ジェスチャーニューラルネットワーク部５からの出
力を比較監視し、対象となる人間の動作がポスチャー
か、ジェスチャーか、あるいは無意味な動作であるかを
最終決定して出力する。

また、上記ジェスチャーニューラルネットワーク部５
は、人間の一連の動作をジェスチャーとして判断するも
のであり、一連の時系列データを全体として認識する必
要が生じるため、コンテキスト層を有するリカレントニ
ューラルネットワークを用いる方法が有効となる。

〔実施例〕

以下、本発明の一実施例について説明する。

第１図は本発明の一実施例の構成を示す図であり、特
許請求の範囲の各請求項の発明に共通に対応する実施例
である。

第１図において、１は動作測定部、２はポスチャーニ
ューラルネットワーク部、３はポスチャーニューラルネ
ットワーク学習部、４はポスチャーニューラルネットワ
ーク認識部、５はジェスチャーニューラルネットワーク
部、６はジェスチャーニューラルネットワーク学習部、
７はジェスチャーニューラルネットワーク認識部、８は
動作判断部、９はスイッチ、10はポスチャー・ジェスチ
ャー判断部、11はジェスチャー開始点処理部、12は結果
判断部、13は認識結果を表わしている。

以下、本実施例の各部の動作について説明する。

（１） 動作測定部 第２図は実施例中の動作測定部について説明するため
の図であり、本例では、人間がデータグローブ及びボデ
ィスーツ1aを着用し、該データグローブ及びボディスー
ツ1aに付設された動作監視用のセンサーにより、人間の
動作形態データを測定する。なお、該データは時系列デ
ータである。

（２） ポスチャー及びジェスチャーニューラルネット
ワーク学習部 ポスチャーニューラルネットワーク部２及びジェスチ
ャーニューラルネットワーク部５中には、それぞれポス
チャーニューラルネットワーク学習部３及びジェスチャ
ーニューラルネットワーク学習部６なるネットワーク学
習部を有し、該二つの学習部の構成は基本的には共通で
ある。

すなわち、第３図はネットワーク学習部の構成を示す
図であり、14は学習パターン保持部、15は重み更新部、
16は学習実行部を表わしており、以下各部について説明
する。

（ａ） 学習パターン保持部 学習実行部16中のニューラルネットワーク16aに学習
を行なわせるための、入力とそれに対応する望ましい出
力（教師信号）を保持する部分である。

（ｂ） 学習実行部 学習パターン保持部14の入力パターンとそれに対する
教師信号をニューラルネットワーク16aに入力し、ネッ
トワークの出力と、結合の重みを計算する部分である。

なお、該学習実行部16中のニューラルネットワーク16
aは、ジェスチャーニューラルネットワーク部５の場合
にはコンテキスト層を内部に有するリカレントニューラ
ルネットワークで構成され、時系列データの認識に有効
に作用し、ポスチャーニューラルネットワーク部２の場
合には通常のニューラルネットワークで構成される。

（ｃ） 重み更新部 学習規則に基づき、ネットワークの重みを計算する部
分であり、学習の終了後に、該計算値がニューラルネッ
トワーク認識部の結合の重みの値に入力される。

（３） ポスチャー及びジェスチャーニューラルネット
ワーク認識部 ポスチャーニューラルネットワーク部２中のポスチャ
ーニューラルネットワーク認識部４と、ジェスチャーニ
ューラルネットワーク部５中のジェスチャーニューラル
ネットワーク認識部７の基本的な動作は同じであり、 第４図のニューラルネットワーク認識部について説明
するための図に示されるごとく、ポスチャーニューラル
ネットワーク学習部３及びジェスチャーニューラルネッ
トワーク学習部６で計算された学習後の結合の重みの値
をネットワーク16aに入力し、入力データに対して認識
を行なう。

（４） スイッチ部 第５図は実施例中のスイッチ動作について説明するた
めの図であり、該スイッチ９の内部には入力データをポ
スチャーニューラルネットワーク部２に導くポスチャー
ニューラルネットワーク・スイッチチャネル9aと、ジェ
スチャーニューラルネットワーク部５に導くジェスチャ
ーニューラルネットワーク・スイッチチャネル9bを有し
ており、通常は動作測定装置１からのデータをポスチャ
ーニューラルネットワーク部２に送り、ジェスチャー開
始点処理部11からの命令が来た時はジェスチャーニュー
ラルネットワーク部５にデータを送る。

但し、動作モードによっては、両方のネットワーク部
2,5にデータが送られる場合もある。

（５） ポスチャー・ジェスチャー判断部 ポスチャーニューラルネットワーク部２からの出力結
果を見て、今の人間の動作がポスチャーなのか、あるい
は、ジェスチャーの開始点動作なのかを判断する。

もし、ジェスチャーの開始点動作であると判断した場
合は、ジェスチャー開始点処理部11にその情報を送る。

また、ポスチャーであると判断した場合は、結果判断
部12にその情報を送る。ただし、ポスチャー、ジェスチ
ャーの開始動作の両方に当てはまらない時は、人間の無
意味な動作であると判断し、何も反応しない。これは、
ポスチャーニューラルネットワーク部２からの出力が非
常に低い時に、そうであると判断する。

つまり、ここで人間の意味のある動作を抽出し、それ
に反応するようにする。

（６） ジェスチャー開始点処理部 スイッチ９に対して、動作測定部１のデータをジェス
チャーニューラルネットワーク部５に送るよう指示す
る。

（７） 結果判断部 第６図は本発明の実施例の結果判断部について説明す
るための図であり、該結果判断部12は比較部12aと履歴
保存部12bから構成される。

すなわち、本結果判断部12では、ポスチャーニューラ
ルネットワーク認識部４からのみ結果が送られてきたと
きはその出力結果を認識結果とする。

またジェスチャーニューラルネットワーク認識部７か
らのみ結果が送られてきたときは、履歴保存部12bの過
去の履歴を見ながら、結果が確かなものになったら認識
結果を出す。

すなわち、ジェスチャーは時間分割データの集まりで
あり、その全体で意味を持つ動作となる。そのため、ジ
ェスチャーニューラルネットワーク認識部７からの時間
ごとの結果をまとめ動作を認識する必要があり、少々時
間がかかる。

さらに、両方から結果が送られてきた時は、どちらか
を判断するために少し様子を見て判断する。

それがポスチャーであれば、様子を見てもポスチャー
ニューラルネットワーク認識部４の出力値に変化はない
が、ジェスチャーニューラルネットワーク認識部７から
の出力は落ちるので、それはポスチャーであると認識で
きる。その逆も同様である。

次に、本発明の実施例での具体的動作例について説明
する。

すなわち、第７図はポスチャーニューラルネットワー
ク学習部に与えるデータ例を示す図であり、入力データ
として、指の曲げ角度のデータを10点、指のひねり角度
のデータを３点、そのポジション（位置）を３点与え、
該入力データに対する10ビットの教師信号を与えた場合
の例である。

また、第８図はジェスチャーニューラルネットワーク
学習部に与えるデータ例を示す図であり、第７図の場合
と同様の入力データ点数に対して、３ビットの教師信号
を与えて学習を行なわせる。

第８図の例では、第８図（ａ）のパターン（１）、第
８図（ｂ）のパターン（２）、第８図（ｃ）のパターン
（３）の３種類のジェスチャーについて学習を行なわせ
た場合の例である。

以上のような学習を行なわせた後に、実際の認識に際
して、入ってきたデータが第７図のデータ番号〜の
どれかに近い値であればポスチャー・ジェスチャー判断
部10にデータが行きそこで、認識結果を結果判断部12が
出力する。

入ってきたデータがデータ番号〜のどれかに近い
値であればポスチャー・ジェスチャー判断部10にデータ
が行き、ジェスチャー開始点処理部11がスイッチ９に命
令を送りジェスチャーニューラルネットワーク部５にデ
ータが送られる。

その結果、結果判断部12において、逐次履歴保存部12
bにデータを送りながら、また参照しながら認識結果を
出す。

入ってきたデータがデータ番号または（同じ）で
あれば、ポスチャー・ジェスチャー判断部10にデータが
行き、ジェスチャー開始点処理部11がスイッチ９に命令
を送りジェスチャーニューラルネットワーク部５にもデ
ータが送られる。その結果、結果判断部12において、逐
次履歴保存部12bにデータを送りながら、かつ参照しな
がら認識結果を出力する。

〔発明の効果〕

以上説明したごとく、本発明の動作自動認識装置によ
れば、人間が動作の区切りをコンピュータに教える手間
が省け、人間がそのことを認識しないで、普段通りにふ
るまうことで、コンピュータに自分の意志を告げること
ができるようになり、高度なマン・マシンインターフェ
ースが達成できる。

また、人間の動作を理解するという難しい問題点も本
発明によって解決できる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す図、第２図は実施例中
の動作測定部について説明するための図、第３図はニュ
ーラルネットワーク学習部の構成を示す図、第４図はニ
ューラルネットワーク認識部について説明するための
図、第５図はスイッチ動作について説明するための図、
第６図は結果判断部について説明するための図、第７図
はポスチャーニューラルネットワーク学習部に与えるデ
ータ例を示す図、第８図はジェスチャーニューラルネッ
トワーク学習部に与えるデータ例を示す図である。 １……動作測定部、1a……データグローブ及びボデース
ーツ、２……ポスチャーニューラルネットワーク部、３
……ポスチャーニューラルネットワーク学習部、４……
ポスチャーニューラルネットワーク認識部、５……ジェ
スチャーニューラルネットワーク部、６……ジェスチャ
ーニューラルネットワーク学習部、７……ジェスチャー
ニューラルネットワーク認識部、８……動作判断部、９
……スイッチ、9a……ポスチャーニューラルネットワー
ク・スイッチチャネル、9b……ジェスチャーニューラル
ネットワーク・スイッチチャネル、10……ポスチャー・
ジェスチャー判断部、11……ジェスチャー開始点処理
部、12……結果判断部、12a……比較部、12b……履歴保
存部、13……認識結果、14……学習パターン保持部、15
……重み更新部、16……学習実行部、16a……ニューラ
ルネットワーク。

フロントページの続き (56)参考文献 ヒューマン・インタフェース・シンポ ジウム論文集 Ｖｏｌ．６ Ｐ．187− 190（1990)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】人間の姿勢及び動作の形態を測定し、該形
   態データの認識結果によりコンピュータへのデータ入力
   を行う人間の動作自動認識装置において、 人間の形態データを収集する動作測定部（１）と、 上記動作測定部（１）からのデータにより、人間の姿勢
   なるポスチャーの内容と、さらに人間の動作なるジェス
   チャーの開始点を識別判断するポスチャーニューラルネ
   ットワーク部（２）と、 上記ポスチャーニューラルネットワーク部（２）でジェ
   スチャーの開始点が識別された場合に、上記動作測定部
   （１）からの形態データを得て、ジェスチャーの内容を
   認識判断するジェスチャーニューラルネットワーク
   （５）と、 上記ポスチャーニューラルネットワーク部（２）でジェ
   スチャーの開始点が識別された場合に、ジェスチャーニ
   ューラルネットワーク部（５）への形態データの導入を
   制御すると共に、ポスチャーニューラルネットワーク部
   （２）とジェスチャーニューラルネットワーク部（５）
   の出力結果を比較して最終的な認識結果を選択決定する
   動作判断部（８）を、 設けたことを特徴とするニューラルネットワークを用い
   た人間の動作自動認識装置。
2. 【請求項２】請求１記載の発明において、ジェスチャー
   ニューラルネットワーク（５）を、内部にコンテキスト
   層を有するリカレントニューラルネットワークとしたこ
   とを特徴とするニューラルネットワークを用いた人間の
   動作自動認識装置。
3. 【請求項３】請求１または２記載の発明において、人間
   の形態データを収集する動作測定部（１）として、デー
   タグローブまたはボデースーツを用いたことを特徴とす
   るニューラルネットワークを用いた人間の動作自動認識
   装置。