JPH0814911A - 動作認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 手や足等の位置の動作情報をとり、人間の動
作を認識する。 【構成】 センサ１ａ〜１ｃは、対象物である人間の動
作を認識するための複数個のジャイロセンサである。Ａ
／Ｄコンバータ２は、前記ジャイロセンサ１ａ〜１ｃか
ら得られるアナログ値をディジタル値に変換する。計算
部３は、前記Ａ／Ｄコンバータ２により変換されたデー
タを処理し、人間の動き（頭の動き）を認識する。前記
ジャイロセンサ１ａ〜１ｃの誤差を補正する場合には、
補正用センサ４から得られたアナログ値を前記Ａ／Ｄコ
ンバータ２によりディジタル値に変換し、計算部３でデ
ータ処理する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ジャイロセンサを用い
た動作認識装置に関し、より詳細には、バーチャルリア
リティにおいて、頭や手の動きを得るための人間の動作
認識装置に関する。例えば、医学分野において、運動者
の体の動きを測定する測定装置や機械操作をサポートす
るためのジェスチャー認識装置に適用されるものであ
る。

【０００２】

【従来の技術】人間の動作を認識するための従来の動作
操識装置について記載した公知文献としては、例えば、
特公昭６３−２１１５７号公報がある。この公報のも
のは、指向（ポインティング）ベクトルと呼ばれる軸の
まわりに振れ（二次元）または回転（三次元）するよう
にされたベクトル場を用いて遠隔の物体を検知又は追跡
する物体を探索し、振れ又は回転する電磁場を発生し、
指向させる装置の基準座標系に対する遠隔物体の座標系
の相対的並進及び相対的向きの両方を決定可能とするも
のである。この他に、特公平３−２５７５２号、特
公平３−７８６４８号、特公平１−５００９３１号等
の公報のものがある。

【０００３】図１３は、従来の電磁カップリングを用い
た動作認識装置の構成図で、図中、１１は送信部品、１
２は受信部品、１３はコンピュータ、１４はＤ／Ａ変換
器、１５はＡ／Ｄ変換器、１６，１７は制御回路、１
８，１９は検出回路である。位置を測定する電磁カップ
リングのついた送信部品１１及び受信部品１２を使い、
送信データと受信データをプログラムされたコンピュー
タ１３によって計算することにより、送信部品１１と受
信部品１２との相対的な位置及び向きを得る（前記公報
〜）。

【０００４】図１４は、図１３における磁気カップリン
グの送受信部品を示す図で、図中、２１はコア、２２は
Ｘアンテナ、２３はＹアンテナ、２４はＺアンテナであ
る。電磁カップリングのついた送信部品１１及び受信部
品１２は、コア２１と複数のほぼ直行するアンテナ軸巻
線２２〜２４により構成されている。受信手段として
は、他に磁力計，ホール効果によるＤＣセンサ，圧電性
結晶式，半導体センサ等が挙げられる。位置及び向きの
計算は、あらかじめプログラムされたコンピュータ１３
により行われ、送信部品１１に値を出力するためのＤ／
Ａ変換器１４と、受信部品１２の値をコンピュータ１３
に読み取るためのＡ／Ｄ変換器１５を有する。

【０００５】また、特公平５−１９６４２５号公報の
ものは、人間の存在が予想される空間の画像を取り込
み、この画像から人間の頭髪部に対応する所定範囲の輝
度値の領域を抽出し、この抽出された領域の上縁が弓形
であるとき、当該領域を人間の頭髪部と推定し、前記頭
髪部と推定される領域の水平幅が一定であると仮定し
て、画像の水平幅から人間までの距離を算出するもので
ある。この他に、特公平５−１０８８０４号公報のも
のがある。

【０００６】図１５は、映像取り込み装置による動作認
識装置の構成図で、図中、３１ａ，３１ｂはカメラ、３
２は対象となる人間、３３は映像による動作認識装置で
ある。１台または複数の映像取り込み装置３１ａ，３１
ｂ（ビデオカメラ，ＣＣＤイメージセンサ等）で対象と
なる人間３２を写し、その画像データから人間の部分を
抽出し、その型から動作を認識する処理をプログラムさ
れたコンピュータ３３により行う（前記公報，）。

【０００７】また、特開平５−２７２９５４号公報の
ものは、複数の受波器を備え、減衰特性と指向特性とを
求めておき、複数の受波器のうちの第１の受波器で受波
された信号に基づいてＸ方向の変位とＹ−Ｚ面内の変位
を求め、複数の受波器のそれぞれで受波された信号に基
づいてＹ−Ｚ面内の変位をＹ方向の変位とＺ方向の変位
とに分離するものである。すなわち、音波，光波，電波
等の波を用いて、可動物体の変位を測定する装置であ
る。

【０００８】図１６は、各種波を用いて可動物体の変位
を測定する装置の構成図で、図中、４１は受波器、４２
は発信器、４３はコンピュータである。複数の受波器４
１及び発信器４２、受波器のデータをもとに変位量を計
算するプログラムされたコンピュータ４３とからなる。
受波器４１及び発信器４２としては、音波を用いた場合
は超音波発信受信器が用いられ、光波を用いた場合は発
信器に発光ダイオード，受波器にフォトダイオード，フ
ォトトランジスタ等が用いられている。

【０００９】

【発明が解決しようとする課題】しかしながら、従来の
対の電磁カップリングを用いた装置は、磁界を用いて計
測を行っているため、受信部品及び送信部品の近くに電
導材料が存在すると、データを正確に得られない。ま
た、この方式で得られたデータを元に、送信部品と受信
部品との相対的な位置を計算するアルゴリズムを実現す
るには、ハードウェア規模が大きくなってしまうという
問題点があった。

【００１０】また、カメラと画像認識を用いた装置は、
映像信号を用いて認識を行っているため、カメラと対象
との間に物体が存在し、対象を隠すような場合、認識が
正確には行えない。また、カメラ自体のコストが高いこ
とや、画像認識を行うためのハードウェア規模が大きい
ことが問題となる。また、音波，光波，電波等の波を用
いて可動物体の変位を測定する装置において、受波器と
発信器との間に障害物が存在する場合には、波が遮断さ
れたり、干渉を受けたりするため、正しいデータが得ら
れないという問題点があった。

【００１１】本発明は、このような実情に鑑みてなされ
たもので、磁界の乱れや映像の障害等の対象物の周囲の
条件に影響を受けず、データ処理を行うためのハードウ
ェア規模が小さい動作認識装置を提供することを目的と
している。

【００１２】

【課題を解決するための手段】本発明は、上記課題を解
決するために、（１）対象物の動きを認識する複数個の
ジャイロセンサと、該ジャイロセンサから得られる値を
変換するコンバータと、該コンバータにより変換された
データを処理し、対象物の動きを認識するデータ処理部
とを備えたこと、更には、（２）前記ジャイロセンサの
誤差を補正する必要が生じた場合に取り付ける補正用セ
ンサと、該補正用センサから得られる値を変換するコン
バータとを備えたこと、更には、（３）前記（１）又は
（２）において、３次元位置トラッキングのために、３
軸方向それぞれに向き方向の加速度を検出するためのジ
ャイロセンサを有し、位置検出を行うこと、更には、
（４）前記（１）又は（２）において、ヘッドトラック
のために、回転方向の速度を検出する機能をもったジャ
イロセンサを有し、ヘッドトラックの認識を行うこと、
更には、（５）前記（２）において、前記補正用センサ
として傾斜角センサを用いたこと、更には、（６）前記
（２）において、前記補正用センサとして磁気センサを
用いたこと、更には、（７）前記（２）において、前記
補正用センサとして超音波センサを用いたことを特徴と
したものである。

【００１３】

【作用】人間の各種動作（主に回転運動）の１種類を検
出するために、１つのジャイロセンサを用い、Ａ／Ｄ変
換器を用いてセンサデータをコンピュータ処理できるデ
ータに変換し、精度を要求するような場合は、更に補正
用センサのデータをＡ／Ｄ変換器を用いてコンピュータ
に取り込む。ジャイロセンサ及び補正用センサのデータ
をもとにセンサを取り付けた部分の移動量を演算し、値
を必要とするアプリケーションあるいは装置にデータを
受け渡す。このように、動作を認識するためのセンサと
してジャイロセンサを用い、受信部品と送信部品との対
のセンサでデータをとらない方法とすることにより、受
信部品と送信部品の間に物体が存在した時にデータが正
確に得られないという問題点が解決される。

【００１４】また、センサデータから動きの量を計算す
るハードウェアも積分回路といったごく簡単な回路です
み、コストと計算速度の問題を軽減することができる。
また、専用のハードウェアで計算を行わず、あらかじめ
プログラムされたコンピュータを用いて動きの量を計算
する場合においても計算量が少なくてすみ、計算速度が
速くなり、ソフトウェアを動作させるコンピュータの規
模も小さくてすむ。

【００１５】

【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明によるジャイロセンサを用いた対
象物の動作認識装置の一実施例（実施例１）を説明する
ためのシステムブロック図で、図中、１ａ〜１ｃはセン
サ、２はＡ／Ｄコンバータ、３は計算部、４は補正用セ
ンサ（補正を必要とする場合）である。

【００１６】センサ１ａ〜１ｃは、対象物である人間の
動作を認識するための複数個のジャイロセンサである。
Ａ／Ｄコンバータ２は、前記ジャイロセンサ１ａ〜１ｃ
から得られるアナログ値をディジタル値に変換する。計
算部３は、前記Ａ／Ｄコンバータ２により変換されたデ
ータを処理し、人間の動き（頭の動き）を認識する。前
記ジャイロセンサ１ａ〜１ｃの誤差を補正する場合に
は、補正用センサ４から得られたアナログ値を前記Ａ／
Ｄコンバータ２によりディジタル値に変換し、計算部３
でデータ処理する。

【００１７】実施例１として、バーチャルリアリティで
用いられるヘッドマウントディスプレイに本装置を搭載
し、頭の振りの動きを認識させる例について説明する。
但し、バーチャルリアリティにおける人間の見た方向を
センシングし、その向き情報に応じてコンピュータグラ
フィック表示を変えるという技術についての詳細は、本
発明と直接関係しないので省略してある。

【００１８】図２に示すように、頭の３方向の振りをセ
ンシングするために、互いに直行する３軸方向にジャイ
ロセンサ５ａ〜５ｃを配置する。該ジャイロセンサ５ａ
〜５ｃは、図３に示すように、決まった方向の回転運動
の速度を値として出力するものを用いた。頭の横振りに
対しては、図４に示すように、センサ５ａが反応し、頭
の縦の振りに対しては、図５に示すように、センサ５ｂ
が反応し、頭の回転の振りに対しては、図６に示すよう
に、センサ５ｃが反応する。

【００１９】図７は、本発明による動作認識装置におけ
る頭の動きに応じて映像を変化させるフローチャートで
ある。以下、各ステップ（Ｓ）に従って順に説明する。
まず、ジャイロセンサからの値を入力する（Ｓ１）。次
に、センサの入力をセンサの数だけ順々にみていく（Ｓ
２）。全てのセンサ入力の値を調べたら、その値に対応
した映像をコンピュータにより計算し、向きに応じた映
像をヘッドマウントディスプレイに出力し、センサ入力
に戻る（Ｓ３）。全てのセンサ入力を調べていなけれ
ば、次のセンサ入力を調べる（Ｓ４）。次に、センサの
値がある一定の範囲内かどうかを調べ（Ｓ５）、センサ
の値が一定の範囲内にある場合は前記ステップＳ２に戻
り、一定範囲を越えている場合は、データの値分だけセ
ンサに対応するデータの値を変化させ（Ｓ６）、前記ス
テップＳ２に戻る。

【００２０】ここで、一定範囲内にあるとか一定範囲を
越えているといった判断を行っているが、これは、頭の
無意識な揺れなどを情報として扱わないようにするため
の判断である。また、ジャイロセンサのみを用いて動作
を認識した場合には、従来の技術で述べた対の電磁カッ
プリングを用いた方式等に比べて誤差がたまりやすい。
それは、電磁カップリング装置のように基準点をもって
いないため、原点補正が行えない理由による。補正用セ
ンサを用いる例をあげると、実施例１においては、頭の
横振りの動きに方位センサを用い、縦の動きに対しては
斜角度センサを補正用センサとして用いることが考えら
れる。

【００２１】以上のように、実施例１においては、発信
部と受信部とをもつ電磁カップリングの代りにジャイロ
センサを用いることで、電磁カップリングのもつ以下の
の欠点、 受信部と発信部が近い位置になければならない、 受信部と発信部の間に磁界を妨げる物体が存在すると
正しい値が計測できない、 を解決することができる。また、コストの面でも、位置
計算を行うハードウェアが電磁カップリングを用いた場
合と比べても小さくできるため優れている。

【００２２】次に、実施例２について説明する。実施例
２として、前述した実施例１と同様に、頭の振りの動き
をセンシングし、その動きに応じてコンピュータディス
プレイ上でポインタを移動させる例について説明する。
ジャイロセンサの配置の仕方及びコンピュータにデータ
を取り込む仕組みについては、実施例１と同様となり、
システムブロック図も図１と同様である。ポインタを動
かすフローチャートは、実施例１の図７に示すのフロー
チャートのステップＳ３の箇所を、「その値に応じた位
置にポインタを表示させる」に置き換えたものとなる。
実際の動作を図で説明すると、図８に示すように、頭を
Ａの方向に動かした時には、ポインタはＢの方向に移動
し、また、図９に示すように、頭をＣの方向に動かした
時には、ポインタはＤの方向に移動する。

【００２３】以上のように、実施例２においては、頭の
動きに連動してポインタを移動させることにより、例え
ば、図１０のように、複数のウィンドウが開いたウィン
ドウシステムにおいて、次のような利点が生じる。通
常、複数のウィンドウが開いていて、そのうちの１つを
選ぶには、図１１に示すように、そのウィンドウ内にポ
インタを入れることで実現する。このポインタを移動さ
せるには、例えば、マウスと呼ばれる装置を用いて行う
のが一般的である。しかし、このような環境でウィンド
ウシステムを使用する場合、キーボードを両手で叩きな
がらポインタを移動することは不可能である。そこで、
本実施例のような装置を使用することにより、キーボー
ドから手を離さずポインタの移動が実現でき、操作の無
駄を少なくすることができる。

【００２４】次に、実施例３について説明する。実施例
３として、例えば、頭や手や足に本装置を取り付け、ジ
ェスチャーの認識をさせるといった例を説明する。ここ
では、説明のため最も簡単な例として、頭の首振りをセ
ンスし、「ＹＥＳ」と「ＮＯ」のジェスチャーを認識す
る例について説明する。システムブロック図は、前述し
た実施例１の図１と同様であり、ジェスチャー認識のフ
ローチャートは実施例１の図７に示すフローチャートの
ステップＳ３の箇所を「センサデータにより首振りの動
作認識を行う」に変更する。

【００２５】図１２は、動作の認識を行う方法として、
「ＹＥＳ」と「ＮＯ」のジェスチャーを認識する場合の
フローチャートである。以下、各ステップ（Ｓ）に従っ
て順に説明する。なお、ジャイロセンサ入力は行われた
とし、センサ入力データの遍歴をある一定の数だけセン
サ毎に持っているとする。まず、縦振りの動作計測用セ
ンサの入力を調べる。それには、縦振り動作計測用セン
サの遍歴を、一番新しいデータからあらかじめ決めてお
いた数分さかのぼり、それらを１つのデータ列とする
（Ｓ１１）。

【００２６】そして、そのデータ列と「ＹＥＳ」の動作
パターン（うなずく縦の首振り動作）とを比較し（Ｓ１
２）、近い動作パターンを示したら「ＹＥＳ」の動作を
行ったと判定し（Ｓ１３）、新たに読み出したデータの
処理に戻る。パターンが近くなかったら、今度は回転方
向の動作に対応したセンサ入力を調べる（Ｓ１４）。こ
れも一定量の遍歴をさかのぼり、「ＮＯ」の動作パター
ン（回転の首振り動作）と比較し（Ｓ１５）、近い動作
パターンであれば「ＮＯ」の動作を行ったと判断し、最
初に戻る（Ｓ１６）。パターンが近くなかったら、何も
行わず最初に戻る。

【００２７】前記処理手順中でパターン認識を行ってお
り、このパターン認識には手書き文字認識等で使用して
いるＤＰ（Ｄynamic Ｐrogramming：動的計画法）マッ
チング等の手法を用いることができる。この例では、頭
の動きをセンスし、ジェスチャーを認識する方法につい
て説明したが、頭以外の手や足等も同様の方法でセンス
できる。

【００２８】以上のように、実施例３においては、対の
電磁カップリングを用いた従来技術を用いることもでき
るが、位置計算を行うハードウェアが対の電磁カップリ
ングを用いた方式に比べて小さくできることから、コス
トの面で本発明の方が優れている。また、ジェスチャー
認識のように、動作情報を得たい箇所が増えれば増える
ほど、コストの面で優れた本方法が有効である。

【００２９】

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。 （１）実施例１に対応する効果：従来は、実施例１のよ
うな用途には、従来の技術で挙げた対の電磁カップリン
グを用いた装置が使われていたが、本発明では、発信部
と受信部とをもつ電磁カップリングの代りにジャイロセ
ンサを用いることで、電磁カップリングのもつ欠点を解
決することができる。また、コストの面でも、位置計算
を行うハードウェアが電磁カップリングを用いた場合と
比べても小さくできるため優れている。 （２）実施例２に対応する効果：実施例２のように、頭
の動きに連動してポインタを移動させることにより、複
数のウィンドウが開いたウィンドウシステムにおいて、
キーボードから手を離さず、ポインタの移動が実現で
き、操作の無駄を少なくすることができる。 （３）実施例３に対応する効果：位置計算を行うハード
ウェアが対の電磁カップリングを用いた方法に比べて小
さくできることから、コストの面で優れており、また、
ジェスチャー認識のように、動作情報を得たい箇所が増
えれば増えるほど、コストの面で優れており、有効であ
る。

【図面の簡単な説明】

【図１】本発明による動作認識装置の一実施例を説明す
るためのシステムブロック図である。

【図２】本発明におけるジャイロセンサの配置の仕方を
説明するための図である。

【図３】本発明におけるジャイロセンサが反応する方向
を示した図である。

【図４】本発明の実施例１において、頭の横の動きと反
応するセンサの対応を示す図である。

【図５】本発明の実施例１において、頭の縦の動きと反
応するセンサの対応を示す図である。

【図６】本発明の実施例１において、頭の回転の動きと
反応するセンサの対応を示す図である。

【図７】本発明の実施例１において、頭の動きに応じて
映像を変化させる方法を示すフローチャート図である。

【図８】本発明の実施例２において、頭の動きとポイン
タの動きの対応を説明するための図である。

【図９】本発明の実施例２において、頭の動きとポイン
タの動きの対応を説明するための図である。

【図１０】本発明の実施例２において、複数のウィンド
ウが開いたディスプレイをあらわす図である。

【図１１】本発明の実施例２において、ポインタにより
複数ウィンドウのうちの１つを選ぶことを説明するため
の図である。

【図１２】本発明の実施例３において、「ＹＥＳ」「Ｎ
Ｏ」のジェスチャーを認識するためのフローチャート図
である。

【図１３】従来の電磁カップリングを用いた動作認識装
置を説明するための図である。

【図１４】従来の磁気カップリングの送受信部品の構造
図である。

【図１５】従来の映像取り込みと画像認識を用いた動作
認識装置を説明するための図である。

【図１６】従来の各種波を用いて可動物体の変位を測定
する装置を説明するための図である。

【符号の説明】

１ａ〜１ｃ…ジャイロセンサ、２…Ａ／Ｄコンバータ、
３…計算部、４…補正用センサ、５ａ〜５ｃ…ジャイロ
センサ。

Claims (7)

【特許請求の範囲】
1. 【請求項１】 対象物の動きを認識する複数個のジャイ
   ロセンサと、該ジャイロセンサから得られる値を変換す
   るコンバータと、該コンバータにより変換されたデータ
   を処理し、対象物の動きを認識するデータ処理部とを備
   えたことを特徴とする動作認識装置。
2. 【請求項２】 前記ジャイロセンサの誤差を補正する必
   要が生じた場合に取り付ける補正用センサと、該補正用
   センサから得られる値を変換するコンバータとを備えた
   ことを特徴とする請求項１記載の動作認識装置。
3. 【請求項３】 ３次元位置トラッキングのために、３軸
   方向それぞれに向き方向の加速度を検出するためのジャ
   イロセンサを有し、位置検出を行うことを特徴とする請
   求項１又は２記載の動作認識装置。
4. 【請求項４】 ヘッドトラックのために、回転方向の速
   度を検出する機能をもったジャイロセンサを有し、ヘッ
   ドトラック認識を行うことを特徴とする請求項１又は２
   記載の動作認識装置。
5. 【請求項５】 前記補正用センサとして傾斜角センサを
   用いたことを特徴とする請求項２記載の動作認識装置。
6. 【請求項６】 前記補正用センサとして磁気センサを用
   いたことを特徴とする請求項２記載の動作認識装置。
7. 【請求項７】 前記補正用センサとして超音波センサを
   用いたことを特徴とする請求項２記載の動作認識装置。