JP4789087B2

JP4789087B2 - 動作検出装置および手話動作検出システム

Info

Publication number: JP4789087B2
Application number: JP2005097887A
Authority: JP
Inventors: 修高見; 貴雄堀江
Original assignee: Nagasaki Prefectural Government
Current assignee: Nagasaki Prefectural Government
Priority date: 2005-03-30
Filing date: 2005-03-30
Publication date: 2011-10-05
Anticipated expiration: 2025-03-30
Also published as: JP2006276651A

Description

本発明は、手および指の動きを検出する動作検出装置に関するものである。また、本発明は、動作検出装置を用いて構成された手話動作検出システムに関するものである。

聴覚に障害を有する人は、そのコミュニケーション手段として、通常、手話を用いている。そのため、公共機関等では手話通訳者が活躍しているが、人数は不足している。このような人手不足を解消するため、近年、広報用手話アニメーション表示装置、コミュニケーション用手話通訳システム、手話教育システム等の実現が求められている。

しかし、手話は、音声言語とは異なる言語的特徴を持つ一つの独立した視覚言語で、手の形状、運動、身体各部との位置関係等を用いて表現する言語であるため、その動きを正確・高速に検出したり、コンピュータ等で演算処理したりすることが困難であった。また、上記各種装置の開発を行い、それらを公共機関等で用いるためには、手話動作をリアルタイムに検出する装置が必要であることに加え、かかる装置を安価で提供しなければならない（低コストにてリアルタイムに対応可能な装置を開発しなければならない）という問題もあった。

例えば、従来技術にかかる検出装置（運動検出装置）としては、特許文献１に示された技術が知られている。この特許文献１にて開示された装置（運動検出装置）は、手話動作を行う者（操作者）の手の甲および指先に、加速度センサや角速度センサを設けるべく構成されている。

上記従来技術にかかる装置は、加速度センサおよび角速度センサを用いて構成されているため、それぞれの指の動き等を検出する際に多くの演算を必要とするため、その演算量に応じて検出速度が遅くなる。また、一つのセンサの演算結果が他のセンサの演算に用いられるため、一つずつのセンサの誤差が積み重なり、演算結果に誤差が生じやすい。さらに、各センサが比較的高価であるため、低コストにて装置を構成することが困難である。

特開２００２−７０３０号公報

そこで、本発明は、上記従来技術の問題を解決するためになされたものであって、低コストにてリアルタイムに手および指の動きを検出することが可能な動作検出装置を提供することを課題とする。また、本発明は、かかる動作検出装置を用いて手話動作検出システムを提供することを課題とする。

本発明は、上記課題を解決するためになされたものであり、指曲がり動作検出手段と、手姿勢検出手段と、手位置座標検出手段とを備えた動作検出装置であって、前記指曲がり動作検出手段が、指の背に貼付された導電性ゴムを用いて構成されていることを特徴としている。
より具体的には、指曲がり動作検出手段と、手姿勢検出手段と、手位置座標検出手段とを備えた動作検出装置であって、前記指曲がり動作検出手段が、指の背に貼付された導電性ゴムを用いて構成されており、前記導電性ゴムはループ状に設けられており、前記指の各関節の曲がり角度（α）が、前記導電性ゴムの電気抵抗値変化量から得られる伸び量（ΔＬ）に基づいて近似演算されることを特徴としている。

このような構成によれば、導電性ゴムを用いて指曲がり動作検出手段が構成されているため、低コストにて手および指の動きを検出することが可能な動作検出装置を得ることができる。また、従来技術にて用いられていた加速度センサあるいは角速度センサは、比較的高価であると共に、得られるデータに基づいて指曲がり角度を検出するためには、多くの演算が必要となって誤差も生じやすい。しかしながら、このような構成によれば、導電性ゴムを用いているため、簡単な演算処理にて指曲がり動作を検出可能で、演算における誤差も生じにくい。

また、本発明にかかる動作検出装置においては、前記手姿勢検出手段が、ジャイロセンサを用いて構成されていることが好ましい。

また、本発明にかかる動作検出装置においては、前記手位置座標検出手段が、赤外線発光手段と、手に設けられた赤外線受光部とを用いて構成されていることが好ましい。

また、本発明にかかる動作検出装置においては、前記赤外線発光手段が三台設けられ、第一赤外線発光手段と第二赤外線発光手段とが左右方向に赤外線を走査可能であって、第三赤外線発光手段が上下方向に赤外線を走査可能である構成が好ましい。

この好ましい構成は、三方向に走査する赤外線を高速で照射して、その赤外線を赤外線受光部にて検出する構成であるため、従来技術のようにビデオカメラを用いた構成と比較して、高速に手位置座標を検出することができる。また、高速カメラを用いる場合よりも低コストにて構成可能である。つまり、この構成によれば、低コストにてリアルタイムに手および指の動きを検出することが可能な動作検出装置を得ることができる。

また、本発明にかかる動作検出装置においては、前記赤外線受光部が手の表裏に少なくとも一つずつ設けられている構成が好ましい。

また、本発明にかかる動作検出手段においては、前記指の各関節の曲がり角度（α）が、前記導電性ゴムの電気抵抗値変化量から得られる伸び量（ΔＬ）と、検出する指の種類、手の大きさに応じて定められる定数であるＡ１，Ａ２，Ｂ１，Ｂ２，Ｂ３，Ｃ１，Ｃ２およびＣ３と、以下の数式とに基づいて近似演算される構成が好ましい。
第一関節（α１）＝Ａ１ΔＬ^２＋Ｂ１ΔＬ＋Ｃ１
第二関節（α２）＝Ａ２ΔＬ^２＋Ｂ２ΔＬ＋Ｃ２
第三関節（α３）＝Ｂ３ΔＬ＋Ｃ３

この好ましい構成によれば、あらかじめ設定された数式（上記三つの数式）と導電性ゴムにて得られるデータとに基づいて演算処理が行われるため、処理速度が速く、リアルタイムに手および指の動きを検出することが可能な動作検出装置を得ることができる。また、低コストにて手および指の動きを検出することが可能な動作検出装置を得ることができる。

さらに、本発明にかかる手話動作検出システムは、上記課題を解決するためになされたものであって、上述したいずれかにかかる動作検出装置を用いて、手話動作を検出することを特徴としている。

本発明によれば、低コストにてリアルタイムに手および指の動きを検出することが可能な動作検出装置を得ることができる。また、本発明によれば、かかる動作検出装置を用いて、低コストにてリアルタイムに手および指の動きを検出することが可能な手話動作検出システムを得ることができる。

以下、図面に基づいて、本発明の実施形態を説明する。なお、以下に説明するそれぞれの図面において、「Ｌ」の添え字は「左手側（左手用）」を意味し、「Ｒ」の添え字は「右手側（右手用）」を意味する。

手話動作計測を行うための動作検出装置として検出すべき信号は、手の位置座標（ＸＹＺ座標値）、手の姿勢方向角度（ロール角（Ｘ軸）、ピッチ角（Ｙ軸）、ヨー角（Ｚ軸））、指の曲がり角度および指の開閉角度である。本実施形態にかかる動作検出装置は、これらの検出すべき信号を低コストにてリアルタイムに取得可能に構成されている。

図１は、本発明の実施形態にかかる動作検出装置を構成する手位置座標検出装置（本発明の「手位置座標検出手段」に相当）（手の位置座標（ＸＹＺ座標値）を検出する装置）の概略図を示したものである。また、図２は、本実施形態にかかる動作検出装置を構成する指曲がり動作検出部（本発明の「指曲がり動作検出手段」に相当）（指の曲がり角度および指の開閉角度を検出する動作検出部）および手姿勢検出部（本発明の「手姿勢検出手段」に相当）（手のロール角（Ｘ軸）、ピッチ角（Ｙ軸）、ヨー角（Ｚ軸）を検出する検出部）等の概略図を示したものである。さらに、図３は、本発明の実施形態にかかる動作検出装置の概略ブロック図を示したものである。

ここで、図２は、左手ＬＨのみを示しているが、当然のことながら、右手ＲＨにも同様の指曲がり動作検出部および手姿勢検出部等が設けられている。また、本来、図１に示される右手ＲＨと左手ＬＨとには、図２に示す指曲がり動作検出部および手姿勢検出部等が設けられるが、この図１においては、図面の煩雑化を防ぐために、その記載を省略している。

上述した図１〜図３に示すように、本実施形態にかかる動作検出装置は、指曲がり動作検出部、手姿勢検出部、および手位置座標検出装置等を用いて構成されている。

まず、手位置座標検出装置について説明すると、かかる装置は、図１に示すように、三つの赤外線発生ユニット（第一赤外線発生ユニット１１、第二赤外線発生ユニット１２、第三赤外線発生ユニット１３）と、左右の手ＬＨ，ＲＨに設けられた赤外線受光部（左手第一赤外線受光部２１Ｌ，左手第二赤外線受光部２２Ｌ，右手第一赤外線受光部２１Ｒ，右手第二赤外線受光部２２Ｒ）とを用いて構成されている。

図１に示すように、赤外線発生ユニットとしては、縦方向に所定の幅を有し水平方向に走査する二つの赤外線発生ユニット（第一赤外線発生ユニット１１および第二赤外線発生ユニット１２）と、横方向に所定の幅を有し垂直方向に走査する第三赤外線発生ユニット１３とが設けられている。また、赤外線受光部２１Ｌ，２２Ｌ，２１Ｒ，２２Ｒは、それぞれの手の甲と手のひらの手首近傍に一つずつ設けられている。

また、図３に示されるように、各赤外線発生ユニット１１，１２，１３に対しては、タイミング発生回路とモータドライブ回路とを備えた走査制御回路８１から制御信号が送られ、この制御信号に基づき、各赤外線発生ユニット１１，１２，１３からのビーム１１Ｂ，１２Ｂ，１３Ｂは、互いに干渉しないように同期して照射される。この走査制御回路８１は、外部ＰＣ（パーソナルコンピュータ）９１にて制御されている。

それぞれの赤外線発生ユニット１１，１２，１３の走査角度は、６０度程度であることが好ましい。なぜならば、赤外線発生ユニット１１，１２，１３のそれぞれの走査範囲は手話の動作域をカバーする必要があるからである。赤外線受光部２１，２２の座標位置は、三角測量の原理に基づいて赤外線発生ユニット１１，１２，１３との位置関係で決まるため、赤外線発生ユニット２台と赤外線受光部２１，２２とが三角形を形作る必要がある。このため、赤外線発生ユニットを手話を行う位置から１ｍ程度離した地点に設置したとすると、赤外線発生ユニット１１，１２，１３の走査角度は、６０度程度となる。よって、上述したように、赤外線発生ユニット１１，１２，１３の走査角度は、６０度程度であることが好ましい。

本実施形態においては、上述したように、三台の赤外線発生ユニット１１，１２，１３が設けられており、第一赤外線発生ユニット１１は、左から右（右方向Ｄ１）にビーム１１Ｂを照射すべく構成され、第二赤外線発生ユニット１２は、右から左（左方向Ｄ２）にビーム１２Ｂを照射すべく構成され、第三赤外線発生ユニット１３は、上から下（下方向Ｄ３）にビーム１３Ｂを照射すべく構成されている（図１参照）。

それぞれのビームは互いに干渉しないように同期して照射され、ある赤外線受光部２２がいずれかの赤外線発生ユニットからのビームの出力を検出すれば、その走査信号に対する位相から、特定の赤外線発生ユニットの走査水平面内での位置が決定する。これは、入力を検知したすべての赤外線受光部２２で同時に計測可能である。そして、この検出を、それぞれ干渉することなく同期して照射される三つのビーム（右方向Ｄ２に走査されるビーム１１Ｂ、左方向Ｄ２に走査されるビーム１２Ｂ、下方向Ｄ３に走査されるビーム１３Ｂ）について行えば、それぞれの走査面内での位置が決定することによって、入力を検知した赤外線受光部２２の三次元空間内における位置座標が検出されることとなる。すなわち、手位置座標が検出されることとなる。

より具体的には、まずビームの走査は、１／９０秒単位で、第一赤外線発生ユニット１１、第二赤外線発生ユニット１２、第三赤外線発生ユニット１３の順番で行う。つまり、それぞれの赤外線発生ユニットからのビームについて、１秒間に３０回の計測を行う。そして、それぞれの赤外線受光部２２によって取得されるデータ（一つの赤外線受光部にて１秒間に最高９０回取得されるデータ）がコントローラ７１を介して外部ＰＣ９１に送られることによって、手位置座標が検出される。なお、このコントローラ７１は、Ａ／Ｄ変換部、前処理部（前処理回路）、データ転送部等を有している。このコントローラ７１においては、例えば、赤外線受光部２１，２２からの赤外線検知電気信号の波形整形（アナログ信号を矩形デジタル信号とする）等が行われている。

ビームの走査を行う場合、その発光源としては赤外線発光ダイオードが用いられ、回転するミラーあるいはプリズムを用いて機械的な走査が行われる。ここで、図４は、赤外線発生ユニット（第一赤外線発生ユニット１１）の一例を示したものである。ここに示した第一赤外線発生ユニット１１は、その筐体１１０内に、赤外線発光ダイオード１１２、回転可能に構成されたミラー１１３、走査制御回路８１からの信号に基づいてミラー１１３の駆動状態を制御する駆動部１１４等を用いて構成されている。そして、筐体１１０には、赤外線を筐体１１０外に照射するスリット部１１１が形成されている。ビーム１１Ｂの照射範囲は、このスリット部１１１の形状および寸法によって定めても、また、このスリット部１１１の形状等に加え、赤外線発光ダイオード１１２の発光タイミングとミラー１１３の回転状態とに基づいて定めてもよい。図４に示されたミラー１１３は、ビーム１１Ｂを右方向Ｄ１（図１参照）に走査させるために、上方から見て反時計方向に回転駆動すべく構成されている。

本実施形態にかかる第一赤外線発生ユニット１１は以上のように構成され、赤外線発光ダイオード１１２の発光タイミングと、ミラー１１３の回転状態とを適宜制御して、他の赤外線発生ユニットから発せられるビームと同期して、それぞれのビームに干渉しないようなタイミングでスリット１１１からビーム１１Ｂが発せられる。つまり、走査制御回路８１からの制御信号に基づいて、三つの赤外線発生ユニット１１，１２，１３から発せられる三つのビーム１１Ｂ，１２Ｂ，１３Ｂが、同期してそれぞれ干渉しないような状態で繰り返して走査される。そして、この繰り返して走査される三つのビーム１１Ｂ，１２Ｂ，１３Ｂが、赤外線受光部２１，２２によって受光されて、手の位置座標が検出されることとなる。

駆動部１１４は、走査制御回路８１からの信号を受ける駆動回路に加え、必要に応じて、同期モータ、パルスモータ、タイミングベルト、フレキシブルジョイント、ＤＣモータ、原点検出回路、およびパルスエンコーダの少なくとも一つを用いて構成されている。つまり、これらのいずれかの要素を組み合わせて駆動部１１４が構成されてもよい。

また、ミラー１１３の形状は、この図４のもの（平板状）に限られるものではなく、その回転制御状態に応じて種々の形状を選択可能である。例えば、ミラーとして、立方体あるいは直方体のものを採用してもよい。４つの面にミラーを有する直方体形状であれば、ミラーを一回転させることによって、４回の計測を行うことが可能となる。

なお、ここでは、図４を用いて第一赤外線発生ユニット１１について説明したが、他の第二赤外線発生ユニット１２および第三赤外線発生ユニット１３も同様の構成を有しており、異なる点は、そのビームの照射方向等の違いに基づくミラーの回転方向、赤外線発光ダイオードの発光タイミング、スリット部の形状および寸法等である。

次に、指曲がり動作検出部について説明すると、かかる装置は、図２に示すように、複数の感圧導電性ゴム（本発明の「導電性ゴム」に相当）を用いて構成されている。なお、この図２においては、左手ＬＨのみを示しているが、右手ＲＨも同様の構成を有するため、右手ＲＨの説明については省略する（図示も省略する）。また、この図２においては、指曲がり動作検出部以外の構成も示されているため、必要に応じて、その他の要素についても説明する。

指曲がり動作検出部の主な構成要素は、それぞれの指の背に貼り付けられた感圧導電性ゴム（第一導電性ゴム３１Ｌ、第二導電性ゴム３２Ｌ、第三導電性ゴム３３Ｌ、第四導電性ゴム３４Ｌ、第五導電性ゴム３５Ｌ）、および人差し指と親指との間に設けられた第六導電性ゴム３６Ｌである。これらの感圧導電性ゴム３１Ｌ，３２Ｌ，３３Ｌ，３４Ｌ，３５Ｌ，３６Ｌは、その伸びに応じて電気抵抗値（電圧値）が変化する性質を有する。そして、本実施形態においては、感圧導電性ゴム３１Ｌ，３２Ｌ，３３Ｌ，３４Ｌ，３５Ｌ，３６Ｌの伸びに応じて変化する電気抵抗値が、手の甲に設けられた集合配線部５１Ｌ、データ収集回路６１Ｌ、第一配線部６２Ｌ、コントローラ７１Ｌ、および第二配線部７２Ｌを介して、外部ＰＣ９１に送信されるべく構成されている。つまり、この感圧導電性ゴム３１Ｌ，３２Ｌ，３３Ｌ，３４Ｌ，３５Ｌ，３６Ｌの伸びに応じて変化する電気抵抗値を用いて、指の曲がり角度および指の開閉状態（人差し指と親指との間）が検出されることとなる。

本実施形態においては、それぞれの導電性ゴム３１Ｌ〜３６Ｌがループ状に設けられており（例えば、それぞれの指の背にループ状に貼り付けられており）、それぞれの導電性ゴム３１Ｌ〜３６Ｌの端部が、集合配線部５１Ｌに電気的に接続されている。このような構成であるため、本実施形態によれば、各導電性ゴム３１Ｌ〜３６Ｌの伸びに応じて変化する電気抵抗値を効果的に検出することができる。

なお、先に説明した赤外線受光部２１Ｌ，２２Ｌは、この図２に示すように手ＬＨの表裏（手の甲側および手の平側）にそれぞれ一つずつ設けられており、これらにて検出されたデータも、手の甲に設けられた集合配線部５１Ｌ、データ収集回路６１Ｌ、第一配線部６２Ｌ、コントローラ７１Ｌ、および第二配線部７２Ｌを介して、外部ＰＣ９１に送信されるべく構成されている。

また、手ＬＨの甲側には、ジャイロセンサ４１Ｌ（本発明の「手姿勢検出手段」に相当）が設けられている。このジャイロセンサ４１Ｌ（例えば、トーキン製ジャイロセンサ（ＭＤＰ−Ａ３Ｕ９））にて得られるデータも、手の甲に設けられた集合配線部５１Ｌ、データ収集回路６１Ｌ、第一配線部６２Ｌ、コントローラ７１Ｌ、および第二配線部７２Ｌを介して、外部ＰＣ９１に送信される。そして、この送信されたデータに基づいて、手の状態（姿勢）を検出することができる。具体的には、このジャイロセンサ４１Ｌによって、基準状態からの手の動きに応じた、ロール角（Ｘ軸）、ピッチ角（Ｙ軸）、ヨー角（Ｚ軸）が検出され、この検出データを外部ＰＣ９１に送信することによって、そのときの「手姿勢」が検出可能となる。

指の曲がり角度は、具体的には、感圧導電性ゴム３１Ｌ，３２Ｌ，３３Ｌ，３４Ｌ，３５Ｌ，３６Ｌの電気抵抗値から得られる伸び量（ΔＬ）と、以下の数式とに基づいて検出される（近似演算される）。
（数式１）：第一関節（α１）＝Ａ１ΔＬ^２＋Ｂ１ΔＬ＋Ｃ１
（数式２）：第二関節（α２）＝Ａ２ΔＬ^２＋Ｂ２ΔＬ＋Ｃ２
（数式３）：第三関節（α３）＝Ｂ３ΔＬ＋Ｃ３
ここで、「Ａ１，Ａ２」「Ｂ１〜Ｂ３」「Ｃ１〜Ｃ３」は、それぞれ、検出する指の種類、手の大きさ、その人の特性（男性、女性、大人、子供等）等に応じて定められる定数である。

また、人差し指と親指との開閉状態（開き角度等）は、感圧導電性ゴム３６Ｌの電気抵抗値から得られる伸び量にて検出される。

図５は、ある指（例えば人差し指）の折曲がり状態を段階的に示した模式図である。本実施形態においては、指の曲がり角度計測を簡便に且つ高精度に行うために、指の曲げ動作の解析を行い、上述した数式１〜数式３を導き出した。以下、具体的に説明する。

指の曲げ動作を観察すると、特別な形状を作ることを意図しない限り、通常では第一関節Ｊ１から順に曲がりはじめ、続いて第二関節Ｊ２、第三関節Ｊ３と指先Ｊ０へ連動して曲がっていくことが確認された。つまり、細かいことに拘らなければ、指の曲げ動作は、それぞれの関節Ｊ１，Ｊ２，Ｊ３が標準的な連動した動きとして表現可能であることが明らかとなった。

次に、図５に示した人差し指（大人、男性）を例にとって、上述した数式１〜３における定数の定め方について説明する。まず、指を曲げない状態（第一状態Ｓ１）から曲がり終える状態（第七状態Ｓ７）までを７段階に分けて表示する。ここでは、第一状態Ｓ１として感圧導電性ゴムの伸び量（ΔＬ）が３ｍｍの場合、第二状態Ｓ２として感圧導電性ゴムの伸び量（ΔＬ）が６ｍｍの場合、第三状態Ｓ３として感圧導電性ゴムの伸び量（ΔＬ）が９ｍｍの場合、第四状態Ｓ４として感圧導電性ゴムの伸び量（ΔＬ）が１２ｍｍの場合、第五状態Ｓ５として感圧導電性ゴムの伸び量（ΔＬ）が１５ｍｍの場合、第六状態Ｓ６として感圧導電性ゴムの伸び量（ΔＬ）が１８ｍｍの場合、第七状態Ｓ７として感圧導電性ゴムの伸び量（ΔＬ）が２１ｍｍの場合を示している。そして、それぞれの状態Ｓ１〜Ｓ７における感圧導電性ゴムの伸び量（ΔＬ）に対する各関節Ｊ１，Ｊ２，Ｊ３の角度を検出して、人差し指の全ての状態（第一状態Ｓ１〜第二状態Ｓ７）について最も適切な定数を選択する。

例えば、図５に示した例（大人、男性、人差し指）においては、上述した数式１〜数式３における「Ａ１，Ａ２」「Ｂ１〜Ｂ３」「Ｃ１〜Ｃ３」としては、以下の定数を選択することが好ましい。
Ａ１＝０．０１３１
Ａ２＝−０．０８１６
Ｂ１＝−１．１３１２
Ｂ２＝５．６６８３
Ｂ３＝２．０９２３
Ｃ１＝０．７２０４
Ｃ２＝２．３２９１
Ｃ３＝３．３１２０

また、同様の方法に基づき、「大人、男性、中指」の場合には、上述した数式１〜数式３における「Ａ１，Ａ２」「Ｂ１〜Ｂ３」「Ｃ１〜Ｃ３」としては、以下の定数を選択することが好ましい。
Ａ１＝０．０３１９
Ａ２＝０
Ｂ１＝０．１３３６
Ｂ２＝２．３８４０
Ｂ３＝２．６６３１
Ｃ１＝０．２１５８
Ｃ２＝１．９９９１
Ｃ３＝１．３１９９

また、同様の方法に基づき、「大人、男性、薬指」の場合には、上述した数式１〜数式３における「Ａ１，Ａ２」「Ｂ１〜Ｂ３」「Ｃ１〜Ｃ３」としては、以下の定数を選択することが好ましい。
Ａ１＝０．１１０１
Ａ２＝０
Ｂ１＝−０・０８４５
Ｂ２＝３．５５９２
Ｂ３＝２．９７５７
Ｃ１＝１．２６１４
Ｃ２＝２．８９２９
Ｃ３＝−２．８２９１

また、同様の方法に基づき、「大人、男性、小指」の場合には、上述した数式１〜数式３における「Ａ１，Ａ２」「Ｂ１〜Ｂ３」「Ｃ１〜Ｃ３」としては、以下の定数を選択することが好ましい。
Ａ１＝０．１１０５
Ａ２＝０
Ｂ１＝０．５６６２
Ｂ２＝４．８２９４
Ｂ３＝２．８６９８
Ｃ１＝−９．３３２０
Ｃ２＝３．１３２８
Ｃ３＝０．２６５６

さらに、同様の方法に基づき、「大人、男性、親指」の場合には、上述した数式１〜数式３における「Ａ１，Ａ２」「Ｂ１〜Ｂ３」「Ｃ１〜Ｃ３」としては、以下の定数を選択することが好ましい。
Ａ１＝０．３６７４
Ａ２＝０．３９７６
Ｂ１＝−１．８１４０
Ｂ２＝−１．１４９３
Ｂ３＝５．４１６１
Ｃ１＝０．２９６７
Ｃ２＝０．０１４３
Ｃ３＝−１．７７６８

なお、上記実施形態においては、「大人、男性」の場合についてそれぞれの定数を示したが、これらの定数は、「子供」の場合、あるいは「女性」の場合には、当然のことながら、その値が異なる。

以上説明したように、本実施形態においては、上述した感圧導電性ゴムを用いて指曲がり動作検出部が構成され、この感圧導電性ゴムにて得られる信号（電気抵抗値）に基づく感圧導電性ゴムの伸び量（ΔＬ）と、実験式（数式１〜数式３）とから、指曲がり状態（各関節の角度）が検出される。また、人差し指と親指との間の開閉状態は、特に上述したような数式等を用いることなく、感圧導電性ゴム３６Ｌの電気抵抗値から得られる伸び量から直接的に検出される。

本実施形態にかかる動作検出装置は、以上のように構成されており、この構成に基づき、以下のようなプロセスを経て、手および指の動作が検出される。以下、上述した図１〜図５に加え、図６を用いて、具体的に説明する。

図６は、本実施形態にかかる動作検出装置を用いて、手および指の動作を検出する際のフローチャートを示したものである。

この図６に示すように、まず、外部ＰＣ９１を用いて、操作者の各種条件が入力される（ステップＳ６０１）。つまり、図２等にて示された動作検出装置を装着して操作する人（操作者）の条件が、あらかじめ外部ＰＣ９１に入力される。ここで、条件としては、例えば、その人の特性（大人、男性、女性、子供の種別）や装着するグローブのサイズ（大、中、小）の種別等があげられる。本実施形態においては、ここで入力される条件に基づいて、先に説明した数式の定数（Ａ，Ｂ，Ｃ）等が定められる。

次に、外部ＰＣ９１において、初期校正動作促進画面が表示される（ステップＳ６０２）。つまり、外部ＰＣ９１により、動作検出装置を装着した状態における初期校正動作が促進される。具体的には、その画面上には、「テーブルに示されている位置に手のひらを当ててください」のような文字が表示される。ここで、テーブルは、例えば赤外線発生ユニット１１，１２，１３の前方（操作者が手話動作を行う場所の前方下）に設置されている。

次いで、動作検出装置を装着した操作者が初期校正動作促進画面の表示に従い、テーブルに手を当てた状態において、各種装置および検出部の初期校正が行われる（ステップＳ６０３）。この状態における「手位置（赤外線を用いた手位置座標検出装置にて検出される位置）」「手の向き（ジャイロセンサを用いた手姿勢検出部にて検出される向き）」「指の曲がり角度（感圧導電性ゴムを用いた指曲がり動作検出部にて検出される角度）」の各種信号が初期値を算出するためのデータとしてコントローラ７１を介して外部ＰＣ９１に送信され、初期値が決定される。その後、各種検出手段からの検出信号に基づいて、初期状態を基準としたその後の手および指の動作検出が行われることとなる。

次いで、手の姿勢角度の検出が行われる（ステップＳ６０４）。具体的には、ジャイロセンサ４１にて得られる検出信号（ロール角（Ｘ軸）、ピッチ角（Ｙ軸）、ヨー角（Ｚ軸）に関する検出信号）がコントローラ７１を介して外部ＰＣ９１に送信され、この検出信号と初期校正時の初期値とに基づいて、信号を検出した段階における手の姿勢の動作検出が行われる。

次いで、手の位置座標の検出が行われる（ステップＳ６０５）。具体的には、先にも説明した通り、三つの赤外線発生ユニット１１，１２，１３から互いに干渉しないように同期して照射されるビーム１１Ｂ，１２Ｂ，１３Ｂが、赤外線受光部２１，２２にて検出される。そして、その検出信号がコントローラ７１を介して外部ＰＣ９１に送られることによって、手位置座標が検出される。つまり、検出信号と初期校正時の初期値とに基づいて、手位置座標が検出される。

次いで、指の曲がり角度が検出される（ステップＳ６０６）。具体的には、先にも説明した通り、それぞれの指の背に貼り付けられている感圧導電性ゴム３１〜３５にて得られる信号（電気抵抗値）（この信号に基づく伸び量（ΔＬ））と、数式１〜数式３とに基づいて、それぞれの指の曲がり角度が検出される。つまり、検出信号等と初期校正時の初期値とに基づいて、指の曲がり角度が検出される。

次いで、親指と人差し指との間の開閉角度の検出が行われる（ステップＳ６０７）。具体的には、初期校正時の初期値と、感圧導電性ゴム３６の電気抵抗値から得られる伸び量とに基づいて、親指と人差し指との間の開閉角度の検出が行われる。

次いで、上述した種々の検出データに基づいて外部ＰＣ９１にて手指形状データの算出処理が行われる（ステップＳ６０８）。すなわち、上述したそれぞれの検出データに基づいて、フレームデータが作成される。また、形状模式図表示用のデータも同様に作成される。フレームデータとは、手のＸＹＺ座標値、手の向き角度ロール角、ピッチ角、ヨー角、指の曲がり角度データとして親指、人差し指、中指、小指、薬指の第１関節、第２関節、指の開き角度として親指−人差し指間の１７項目、これを両手分の計３４項目の１セットのデータである。このフレームデータは、３０フレーム／秒で作成される。上述したように、このフレームデータと同様のデータが、形状模式図表示用のデータとしても用いられる。

次いで、ステップＳ６０８にて算出されたデータの出力が行われる（ステップＳ６０９）。具体的には、ＲＳ−２３２Ｃの通信フォーマットにて、上記データが手話教育システム等に送信される。

そして、本実施形態においては、上述したデータ出力までの処理（Ｓ６０３〜Ｓ６０９）が繰り返し行われる（ステップＳ６１０）。つまり、手の動きに応じて、連続的に各検出部におけるデータ検出およびデータ出力が繰り返して行われる。

なお、上記フローチャートにおいては、ステップＳ６０４からステップＳ６０７を便宜的に順番に説明したが、これは、このような順番にて検出信号が送信されることを示すものではない。本実施形態にかかる動作検出装置においては、例えば、手の位置座標検出は、１秒間に９０回行われており、他の検出信号についても略同様の回数の検出が行われている。したがって、実際には、どの検出信号から送受信が行われるかということは重要ではなく、それぞれのタイミングでどの検出信号とどの検出信号とが関連性を有するかが明確であればよい。その関連した検出信号に基づいて、上述した手指形状データが算出され（Ｓ６０８）、その算出されたデータの出力が行われる（Ｓ６０９）。

本実施形態によれば、上述した動作検出装置と、手話教育システム１００（図３参照）とを電気的に接続することによって、各種データを効果的に手話教育システムにて利用することができる。また、必要に応じて、手話教育システム以外の装置、例えば、広報用手話アニメーション表示装置やコミュニケーション用手話通訳システムにもその得られたデータは利用可能である。

本実施形態にかかる動作検出装置は、以上のように構成されると共に、各検出部等において以上のようにデータ検出、演算、およびデータ出力が行われるため、次のような効果を得ることができる。

まず、本実施形態にかかる動作検出装置においては、手位置座標検出装置として、手に設けられた赤外線受光部２１，２２と赤外線発光ユニット１１，１２，１３とを用いて構成されているため、比較的高速度にて手位置座標の検出を行うことができる。

手位置座標を検出する従来技術として、ビデオカメラと画像認識技術を用いた例が知られている。この従来技術を利用する場合、ビデオカメラでは１秒間に３０画面を得られるが、それに対応して手の位置を特定するための複数（例えば、８個程度）の光源（例えばＬＥＤ）を、カメラの撮影に同期させて高速で点滅させなければならない。かかる構成を実現することはかなり困難である。また、外部の回路と完全に同期を取ることができる高速カメラを使用することも考えられるが、高速カメラは、非常に高価である。さらに、手位置座標の検出には２台のカメラが必要となるが、検出すべきＬＥＤは８個程度であり、特定の１個を検出するためには１〜２画面分の時間、他のＬＥＤは休止させなければならない。したがって、従来技術においては、その分検出速度が低下してしまう。検出箇所（ＬＥＤ）を増やせばさらに計測周期が長くなるため、ビデオカメラを用いた従来技術は、動くものの位置計測を行うには限度がある。

以上のような問題を有する従来技術に対して、本実施形態にかかる手位置座標検出装置は、三方向に走査する赤外線を高速で照射して、その赤外線を赤外線受光部にて検出する構成であるため、上記ビデオカメラを用いた構成と比較して、高速に手位置座標を検出することができる。つまり、リアルタイムに手および指の動きを検出することが可能な動作検出装置を得ることができる。

また、本実施形態にかかる構成によれば、高価な高速カメラ等を用いる必要がないため、低コストにて手および指の動きを検出することが可能な動作検出装置を得ることができる。

さらに、本実施形態にかかる動作検出装置においては、感圧導電性ゴムを用いて指曲がり動作検出部が構成されているため、低コスト且つ高速に指曲がり動作を検出することができる。

従来技術にて用いられていた加速度センサあるいは角速度センサは、比較的高価であると共に、得られるデータに基づいて指曲がり角度を検出するためには、多くの演算が必要となって誤差も生じやすい。しかしながら、本実施形態によれば、あらかじめ設定された数式（数式１〜数式３）と感圧導電性ゴムにて得られるデータとに基づいて演算処理が行われるため、処理速度が速く、リアルタイムに手および指の動きを検出することが可能な動作検出装置を得ることができる。また、低コストにて手および指の動きを検出することが可能な動作検出装置を得ることができる。

また、本実施形態にかかる動作検出装置においては、ジャイロセンサを用いて手姿勢検出部が構成されているため、低コスト且つ高速に手姿勢の検出を行うことができる。

なお、本発明は、上述した実施形態に限定されるものではなく、本発明の趣旨に適合し得る範囲で必要に応じて種々の変更を加えて実施することも可能であり、それらはいずれも本発明の技術的範囲に含まれる。

上記実施形態においては、赤外線受光部をそれぞれの手に二つずつ設ける場合について説明したが、本発明はこの構成に限定されない。したがって、例えば、必要に応じて三つ以上の赤外線受光部を設けてもよい。また、上記実施形態にかかる装置は、それぞれの手の甲にジャイロセンサ４１を設けているため、各赤外線発生ユニットからのビームを受光可能な赤外線受光部が少なくとも一つあれば、その手の位置は検出可能である。よって、赤外線発生ユニットとの位置的な関係もふまえて、手に設ける赤外線受光部の数は適宜変更可能である。

本発明の実施形態にかかる動作検出装置を構成する手位置座標検出装置の概略図を示したものである。本実施形態にかかる動作検出装置を構成する指曲がり動作検出部および手姿勢検出部等の概略図を示したものである。本実施形態にかかる動作検出装置の概略ブロック図を示したものである。本実施形態にかかる手位置座標検出装置を構成する赤外線発生ユニットの一例を示したものである。ある指（例えば人差し指）の折曲がり状態を段階的に示した模式図である。本実施形態にかかる動作検出装置を用いて、手および指の動作を検出する際のフローチャートを示したものである。

符号の説明

１１…第一赤外線発生ユニット
１２…第二赤外線発生ユニット
１３…第三赤外線発生ユニット
２１…第一赤外線受光部
２２…第二赤外線受光部
３１…第一導電性ゴム
３２…第二導電性ゴム
３３…第三導電性ゴム
３４…第四導電性ゴム
３５…第五導電性ゴム
３６…第六導電性ゴム
４１…ジャイロセンサ
５１…集合配線部
６１…データ収集回路
６２…第一配線部
７１…コントローラ
７２…第二配線部
８１…走査制御回路
９１…外部ＰＣ
１００…手話教育システム
１１０…筐体
１１１…スリット部
１１２…赤外線発光ダイオード
１１３…ミラー
１１４…駆動部

Claims

指曲がり動作検出手段と、手姿勢検出手段と、手位置座標検出手段とを備えた動作検出装置であって、
前記指曲がり動作検出手段が、指の背に貼付された導電性ゴムを用いて構成されており、
前記導電性ゴムはループ状に設けられており、
前記指の各関節の曲がり角度（α）が、前記導電性ゴムの電気抵抗値変化量から得られる伸び量（ΔＬ）に基づいて近似演算される
ことを特徴とする動作検出装置。
前記手姿勢検出手段が、ジャイロセンサを用いて構成されている
請求項１に記載の動作検出装置。
前記手位置座標検出手段が、赤外線発光手段と、手に設けられた赤外線受光部とを用いて構成されている
請求項１または２に記載の動作検出装置。
前記赤外線発光手段が三台設けられ、第一赤外線発光手段と第二赤外線発光手段とが左右方向に赤外線を走査可能であって、第三赤外線発光手段が上下方向に赤外線を走査可能である
請求項３に記載の動作検出装置。
前記赤外線受光部が手の表裏に少なくとも一つずつ設けられている
請求項３または４に記載の動作検出装置。
前記指の各関節の曲がり角度（α）が、前記導電性ゴムの電気抵抗値変化量から得られる伸び量（ΔＬ）と、検出する指の種類、手の大きさに応じて定められる定数であるＡ１，Ａ２，Ｂ１，Ｂ２，Ｂ３，Ｃ１，Ｃ２およびＣ３と、以下の数式とに基づいて近似演算される
請求項１から５のいずれか１項に記載の動作検出装置。
第一関節（α１）＝Ａ１ΔＬ^２＋Ｂ１ΔＬ＋Ｃ１
第二関節（α２）＝Ａ２ΔＬ^２＋Ｂ２ΔＬ＋Ｃ２
第三関節（α３）＝Ｂ３ΔＬ＋Ｃ３