JP4988016B2 - 指の動き検出装置およびその方法 - Google Patents

Description

本発明は、指の動き検出装置およびその方法に関し、より詳しくは、それぞれの指の動きを管掌する指屈筋腱（ｆｉｎｇｅｒ ｆｌｅｘｏｒ ｔｅｎｄｏｎｓ）が存在する手首付近の手根管（ｃａｒｐａｌ ｔｕｎｎｅｌ）の変化を測定信号の反射信号で計測して各指の動きを検出するようにする指の動き検出装置およびその方法に関する。

最近、情報技術の発達により、マウスとキーボードなどのような既存の方法とは異なる音声やマルチタッチ、ジェスチャなどのような新たな入力モーダル（ｍｏｄａｌ）を用いてコンピュータを利用しようとする多様なユーザインターフェース方法が開発されている。

特に、手の動きあるいは指の動きを検出してユーザの意図を把握してユーザインターフェースとして使用しようとする多くの試みがあり、今も様々な分野において継続して研究されている。

代表的な技術としては、イメージセンサのような撮像素子と赤外線放出手段を備えた装置を手の平面の手首に装着し、指に反射する赤外線映像を撮影して指の動きを検出するＬｉｇｈｔＧｌｏｖｅがあり、加速度センサを備えた指に指輪形態の装置と手首に時計型装置をそれぞれ着用して指の動きを検出するＳｃｕｒｒｙがある。さらに、手に絡められている導線形態のセンシング装置を用いて指の間の接触によって指の動きを検出するＫｉｔｔｙと、筋電図（ＥＭＧ）を用いて検出する方法などがある。指の動きではないが、手の形状を認識することができるＧｅｓｔｕｒｅＷｒｉｓｔもある。

しかしながら、上述した従来の技術は、信号検出構造上において手の平面に装置を付着したり指に装置を着用しなければならないため、ユーザが活動するのに制約があり、着用した状態で日常生活を営みながら装置を用いるには無理がある。

本発明は、指の動きを管掌する指屈筋腱（ｆｉｎｇｅｒ ｆｌｅｘｏｒ ｔｅｎｄｏｎｓ）が存在する手首付近の手根管の変化を光あるいは超音波のような測定信号の反射信号で計測して各指の動きを検出するようにする指の動き検出装置およびその方法を提供することを目的とする。

また、本発明がな解決しようとする技術的課題は、本発明で考案された方法を利用して指の動きだけで多様な機器を制御したり、加速度センサあるいはジャイロセンサを付加して手のジェスチャを用いるユーザインターフェースでジェスチャの開始と終了を決定する手の動作をコンピュータユーザインターフェースとして活用する多様な例を提示することにある。

上述した目的を達成するために、本発明に係る指の動き検出装置は、被検者の手首に配置されて前記被検者の手首内部に測定信号を出力し、前記測定信号が前記被検者の手首内部で筋の動きによって反射した反射信号を受信するセンサ部；前記測定信号の出力を制御し、前記反射信号に基づいて前記測定信号を調節する信号制御部；および前記反射信号から前記被検者に対する前記指の動きを検出する指の動き認識部を備えることを特徴とする。

前記センサ部は、前記指の動きを管掌する前記筋を含む手根管（ｃａｒｐａｌ ｔｕｎｎｅｌ）に前記測定信号を出力することを特徴とする。

前記信号制御部は、前記測定信号に対する信号出力強度、信号出力周波数、信号出力時間、および信号出力周期のうちの少なくとも１つを調節することを特徴とする。

前記信号制御部は、前記反射信号をトリガリング（ｔｒｉｇｇｅｒｉｎｇ）して前記指の動きに対する信号を感知することを特徴とする。

前記指の動き認識部は、前記指の動きに対する信号の波形から前記指の動きを検出することを特徴とする。

前記指の動き認識部は、前記指の動きに対する信号を処理するための一定時間の時ブロックを決定し、決定された時ブロック以後まで入力される前記信号に対してバッファリングを実行することを特徴とする。

前記指の動き認識部は、予め設定された前記指の動きに対する信号が感知された時点を基準として前記時ブロックの開始と終了を決定することを特徴とする。

前記センサ部は前記被検者の手の動きを感知する加速度センサまたはジャイロセンサをさらに備え、前記指の動き認識部は前記加速度センサまたは前記ジャイロセンサから予め設定された手の動作が感知された時点を基準として前記時ブロックの開始と終了を決定することを特徴とする。

前記測定信号は、赤外線、レーザ、超音波のうちの少なくとも１つの形態であることを特徴とする。

前記指の動きに対応する命令を生成する命令生成部をさらに備えることを特徴とする。

一方、上述した目的を達成するために、本発明に係る指の動き検出方法は、被検者の手首内部に測定信号を出力するステップ；前記測定信号が前記被検者の手首内部で筋の動きによって反射した反射信号を受信するステップ；前記反射信号に基づいて前記測定信号を調節するステップ；および前記測定信号を調節して出力する間に前記反射信号から前記被検者に対する前記指の動きを検出するステップを含むことを特徴とする。

前記出力するステップは、前記指の動きを管掌する前記筋を含む手根管（ｃａｒｐａｌ ｔｕｎｎｅｌ）に前記測定信号を出力することを特徴とする。

前記調節するステップは、前記測定信号に対する信号出力強度、信号出力周波数、信号出力時間、および信号出力周期のうちの少なくとも１つを調節することを特徴とする。

前記検出するステップは、前記反射信号をトリガリング（ｔｒｉｇｇｅｒｉｎｇ）して前記指の動きに対する信号を感知するステップをさらに含むことを特徴とする。

前記検出するステップは、前記指の動きに対する信号の波形から前記指の動きを検出することを特徴とする。

前記検出するステップは、前記指の動きに対する信号を処理するための一定時間の時ブロックを決定するステップ；および決定された前記時ブロック以後まで入力される前記信号に対してバッファリングを実行するステップをさらに含むことを特徴とする。

前記検出するステップは、予め設定された前記指の動きに対する信号が感知された時点を基準として前記時ブロックの開始と終了を決定するステップをさらに含むことを特徴とする。

前記測定信号は、赤外線、レーザ、超音波のうちの少なくとも１つの形態であることを特徴とする。

一方、前記指の動きに対応する命令を生成するステップをさらに含むことを特徴とする。

本発明によれば、指の動きを検出することができるセンサを手首部位に備えて既存の方法が有する着用および使用の不便さを改善することにより、ユーザが装置を把持せずに両手が自由な状態で日常生活を営みながら不便なく自然な方法でコンピュータを使用しようとするウェアラブルコンピュータ分野に新たなインターフェース方法として活用できるという利点がある。

また、本発明によれば、それぞれの指の動きを管掌する指屈筋腱（ｆｉｎｇｅｒ ｆｌｅｘｏｒ ｔｅｎｄｏｎｓ）が存在する手首付近の手根管（ｃａｒｐａｌ ｔｕｎｎｅｌ）の変化を反射信号で計測することにより、動きを感知するための別途のセンサを備えなくとも各指の動きを容易に検出できるという利点がある。

本発明に係る指の動き検出装置が適用されたシステム構成を示す図である。 本発明に係る指の動き検出装置の原理を説明するために参照される図である。 本発明に係る指の動き検出装置の構成を示すブロック図である。 本発明に係る指の動き検出方法に対する動作の流れを示すフローチャートである。 本発明に係る指の動き検出装置の他の実施形態を示す例示図である。 本発明に係る指の動き検出装置の他の実施形態を示す例示図である。

以下、添付の図面を参照しながら本発明の実施形態について説明する。
図１は、本発明に係る指の動き検出装置が適用されたシステム構成を示す図である。
図１に示すように、本発明に係る指の動き検出装置１００は、被検者の手首部位に着用され、指の動きによる手首内部の筋の動きに基づいて指の動きを検出する。このとき、指の動き検出装置１００は、検出された指の動きに対応する制御命令を生成し、動作を制御しようとする制御機器２００に送信する。

したがって、被検者は、本発明に係る指の動き検出装置１００を手首に着用するだけで、指の動きによって制御機器２００の動作を制御することが可能となる。

図２は、本発明に係る指の動き検出装置の原理を説明するために参照される図である。
図２に示すように、手首内部の手根管（ｃａｒｐａｌ ｔｕｎｎｅｌ）１３には、それぞれの指の動きを管掌する筋１２の指屈筋腱（ｆｉｎｇｅｒ ｆｌｅｘｏｒ ｔｅｎｄｏｎｓ）が存在する。このとき、指の動き検出装置１００のセンサ部１１０は、被検者の手首に接触するように着用される。

このとき、センサ部１１０の発信部１１１から手首内部に指の動きを検出するための測定信号を出力すれば、受信部１１５は手首内部の筋１２から反射した反射信号を受信する。したがって、指の動き検出装置１００は、受信した反射信号から筋１２の動きを把握し、筋１２の動きによる指の動きを検出するようになる。

次に、本発明に係る指の動き検出装置について図３を参照しながら、詳細に説明する。
図３は、本発明に係る指の動き検出装置の構成を示すブロック図である。
図３に示すように、本発明に係る指の動き検出装置１００は、センサ部１１０、信号増幅部１２０、信号制御部１３０、指の動き認識部１４０、命令生成部１５０、および通信部１６０を備える。

まず、センサ部１１０は被検者の手首に配置され、詳細には手首の面に接触するように配置される。
ここで、センサ部１１０は、発信部１１１と受信部１１５を備える。発信部１１１は被検者の手首内部に測定信号を出力する。このとき、発信部１１１は、指の動きを管掌する筋１２を含む手根管１３に測定信号を出力する。測定信号は、赤外線、レーザ、超音波のうちの少なくとも１つの形態を有する。

また、受信部１１５は、測定信号が被検者の手首内部で筋１２の動きによって反射した反射信号を受信する。

信号増幅部１２０は測定された反射信号を増幅させ、増幅した反射信号を信号制御部１３０に伝達する。信号制御部１３０は発信部１１１の測定信号出力を制御し、反射信号に基づいて測定信号の出力を調節する。このとき、信号制御部１３０は、測定信号に対する信号出力強度、信号出力周波数、信号出力時間、および信号出力周期のうちの少なくとも１つを調節して手首内部の筋１２の変化を感知できる最適な条件を検出する。

また、信号制御部１３０は、反射信号をトリガリング（ｔｒｉｇｇｅｒｉｎｇ）して指の動きに対する信号を感知する。このとき、信号制御部１３０は、基準値以上の指の動きに対する信号が感知されれば、指の動き認識部１４０に感知信号を伝達する。

指の動き認識部１４０は、反射信号を分析して被検者の指の動きを検出する。好ましくは、指の動き認識部１４０は、指の動きに対する信号の波形から指の動きを検出する。

すなわち、反射信号は、各筋１２の動きによって互いに異なる波形を有する。したがって、指の動き認識部１４０は、反射信号の波形から各筋１２の動きを把握し、該当筋１２の動きに対応して指の動きを検出する。

一方、指の動き認識部１４０は、予め設定された指の動きに対する信号が感知された時点を基準として時ブロックの開始と終了を決定する。一例として、指の動き認識部１４０は、開始を知らせる特定の指の動きまたは指の動きによる特定の手動作が感知されれば、感知時点を基準として時ブロックの開始を決定する。また、指の動き認識部１４０は、終了を知らせる特定の指の動きまたは指の動きによる特定の手動作が感知されれば、感知時点を基準として時ブロックの終了を決定する。

このとき、指の動き認識部１４０は、決定された時ブロック以後まで入力される信号に対してバッファリングを実行し、バッファリングされた信号から指の動きに対する信号を解釈する。

命令生成部１５０は、検出された指の動きに対応する制御命令を生成する。この後、通信部１６０は、命令生成部１５０によって生成された制御命令を制御 機器２００に送信する。

他の実施形態として、センサ部１１０は、加速度センサまたはジャイロセンサをさらに備えるようにし、より一層多様に応用して用いられてもよい。このような場合には、指の動きがコンピュータで用いられるマウスの機能であるクリックとリリースに対応する指を閉じたり開いたりする動作で用いられてもよい。空間上において手のジェスチャを行う場合、演算認識システムが手のジェスチャの開始と終了を決定するということが極めて難しい問題であり、手のジェスチャの開始と終了を決定することによってジェスチャ認識機が適切に判断できるようになる。このとき、手のジェスチャの開始と終了を本特許で提案した指の動き検出方法に基づいて指を閉じる動作と開く動作として決定することに応用して用いることができる。

上記のように構成される本発明の動作を詳察すれば次のとおりである。
図４は、本発明に係る指の動き検出方法に対する動作の流れを示すものである。
図４に示すように、指の動き検出装置１００は、被検者の手首内部に測定信号を出力し（Ｓ４００）、この後、測定信号が被検者の手首内部で筋１２の動きによって反射した反射信号を受信する（Ｓ４１０）。

このとき、指の動き検出装置１００は、指の動きを管掌する筋１２を含む手根管１３に測定信号を出力する。ここで、測定信号は、赤外線、レーザ、超音波のうちの少なくとも１つの形態を有する。

指の動き検出装置１００は、反射信号が受信されれば、反射信号に基づいて測定信号を調節し、被検者の手首内部に測定信号を継続して出力する。このとき、指の動き検出装置１００は、測定信号に対する信号出力強度、信号出力周波数、信号出力時間、および信号出力周期のうちの少なくとも１つを調節する。

一方、指の動き検出装置１００は、測定信号を調節して出力する間に反射信号をトリガリング（ｔｒｉｇｇｅｒｉｎｇ）して指の動きに対する信号を感知する。もし、指の動きに対する信号が感知されれば（Ｓ４２０）、指の動きに対する信号を処理するための時ブロックの基準時間領域を決定する（Ｓ４３０）。このとき、予め設定された指の動きに対する信号が感知された時点を基準として時ブロックの開始と終了を決定する。

この後、指の動き検出装置１００は、Ｓ４３０過程で決定された時ブロック以後まで入力される信号に対してバッファリングを実行する（Ｓ４４０）。このとき、指の動き検出装置１００は、Ｓ４４０過程でバッファリングされた信号に基づいて指の動き信号を解釈し、それから被検者の指の動きを検出する（Ｓ４５０）。

このとき、加速度センサまたはジャイロセンサから信号の入力を受け、Ｓ４３０過程で決定された時ブロック以後まで加速度センサまたはジャイロセンサによって入力される信号に基づいて被検者の手動作を検出してもよい。

また、指の動き検出装置１００は、Ｓ４５０過程で検出された指の動きに対応する命令を生成し（Ｓ４６０）、動作を制御しようとする制御機器２００に送信する（Ｓ４７０）。

この後、他の指の動きに対する信号が感知されれば（Ｓ４８０）、Ｓ４３０以後の過程を繰り返して実行するようにする。

図５および図６は、本発明に係る指の動き検出装置の他の実施形態を示す例示図である。
まず、図５は、指の動き検出装置に複数のセンサ部を配置した例を示すものである。図５の実施形態では、複数のセンサ部１１０を一列に配列したもので、センサ部１１０を複数備えることにより、広い領域で筋１２の動きを感知できるようになる。したがって、本発明に係る指の動き検出装置１００は、複数のセンサ部１１０によって受信される反射信号に基づいてより正確な指の動きを検出することが可能となる。

一方、制御機器２００は、複数のセンサ部１１０を備えた指の動き検出装置１００を入力装置としてもよい。制御機器２００は、指の動き検出装置１００から出力される制御信号に基づいて再生、次の曲または前の曲への転換、音量調節などのような制御を行う。

このとき、指の動き検出装置１００は、ブルートゥースやＲＦなどのような無線通信方式を用いて制御信号を制御機器２００に送信する。

一方、図６は、指の動き検出装置に手動作を検出することができる加速度センサまたはジャイロセンサなどを備えた例を示すものである。
このとき、加速度センサまたはジャイロセンサ１１０ａは、指の動き検出装置１００のセンサ部１１０に共に備えられてもよく、別途で備えられてもよい。

加速度センサまたはジャイロセンサ１１０ａは、指の動き認識部１４０によって時ブロックが決定されれば、決定された時ブロック以後までの手の動作を感知する。

したがって、指の動き認識部１４０は、決定された時ブロック以後まで加速度センサまたはジャイロセンサ１１０ａによって入力される信号に基づいて被検者の手の動作を検出するようになる。

同様に、指の動き検出装置１００は、手の動作に対応する制御信号を生成し、ブルートゥースやＲＦなどのような無線通信方式を用いて制御信号を制御機器２００に送信する。したがって、制御機器２００は、指の動き検出装置１００から出力される制御信号に基づいて再生、次の曲または前の曲への転換、音量調節などのような制御を行う。

以上のように、本発明に係る指の動き検出装置およびその方法について例示された図面を参照しながら説明したが、本明細書に開示された実施形態と図面によって本発明が限定されるものではなく、技術思想が保護される範囲内で応用されることができる。

１００ ・・・指の動き検出装置
１１０ ・・・センサ部
１１１ ・・・発信部
１１５ ・・・受信部
１２０ ・・・信号増幅部
１３０ ・・・信号制御部
１４０ ・・・指の動き認識部
１５０ ・・・命令生成部
１６０ ・・・通信部
２００ ・・・制御機器

Claims (20)

1. 被検者の手首に配置されて前記被検者の手首内部に測定信号を出力し、前記測定信号が前記被検者の手首内部で筋の動きによって反射した反射信号を受信するセンサ部；
   前記測定信号の出力を制御し、前記反射信号に基づいて前記測定信号を調節する信号制御部；および
   前記反射信号から前記被検者に対する前記指の動きを検出する指の動き認識部；
   を備えることを特徴とする指の動き検出装置。
2. 前記センサ部は、
   前記指の動きを管掌する前記筋を含む手根管（ｃａｒｐａｌ ｔｕｎｎｅｌ）に前記測定信号を出力することを特徴とする、請求項１に記載の指の動き検出装置。
3. 前記信号制御部は、
   前記測定信号に対する信号出力強度、信号出力周波数、信号出力時間、および信号出力周期のうちの少なくとも１つを調節することを特徴とする、請求項１に記載の指の動き検出装置。
4. 前記信号制御部は、
   前記反射信号をトリガリング（ｔｒｉｇｇｅｒｉｎｇ）して前記指の動きに対する信号を感知することを特徴とする、請求項１に記載の指の動き検出装置。
5. 前記指の動き認識部は、
   前記指の動きに対する信号の波形から前記指の動きを検出することを特徴とする、請求項４に記載の指の動き検出装置。
6. 前記指の動き認識部は、
   前記指の動きに対する信号を処理するための一定時間の時ブロックを決定し、決定された前記時ブロック以後まで入力される前記信号に対してバッファリングを実行することを特徴とする、請求項４に記載の指の動き検出装置。
7. 前記指の動き認識部は、
   予め設定された前記指の動きに対する信号が感知された時点を基準として前記時ブロックの開始と終了を決定することを特徴とする、請求項６に記載の指の動き検出装置。
8. 前記センサ部は、加速度センサまたはジャイロセンサをさらに備え、
   前記指の動き認識部は、決定された前記時ブロック以後まで前記加速度センサまたは前記ジャイロセンサによって入力される信号に基づいて前記被検者の手動作を検出することを特徴とする、請求項６に記載の指の動き検出装置。
9. 前記測定信号は、
   赤外線、レーザ、超音波のうちの少なくとも１つの形態であることを特徴とする、請求項１に記載の指の動き検出装置。
10. 前記指の動きに対応する命令を生成する命令生成部；
    をさらに備えることを特徴とする、請求項１に記載の指の動き検出装置。
11. 被検者の手首内部に測定信号を出力するステップ；
    前記測定信号が前記被検者の手首内部で筋の動きによって反射した反射信号を受信するステップ；
    前記反射信号に基づいて前記測定信号を調節するステップ；および
    前記測定信号を調節して出力する間に前記反射信号から前記被検者に対する前記指の動きを検出するステップ；
    を含むことを特徴とする指の動き検出方法。
12. 前記出力するステップは、
    前記指の動きを管掌する前記筋を含む手根管（ｃａｒｐａｌ ｔｕｎｎｅｌ）に前記測定信号を出力することを特徴とする、請求項１１に記載の指の動き検出方法。
13. 前記調節するステップは、
    前記測定信号に対する信号出力強度、信号出力周波数、信号出力時間、および信号出力周期のうちの少なくとも１つを調節することを特徴とする、請求項１１に記載の指の動き検出方法。
14. 前記検出するステップは、
    前記反射信号をトリガリング（ｔｒｉｇｇｅｒｉｎｇ）して前記指の動きに対する信号を感知するステップ；
    をさらに含むことを特徴とする、請求項１１に記載の指の動き検出方法。
15. 前記検出するステップは、
    前記指の動きに対する信号の波形から前記指の動きを検出することを特徴とする、請求項１４に記載の指の動き検出方法。
16. 前記検出するステップは、
    前記指の動きに対する信号を処理するための一定時間の時ブロックを決定するステップ；および
    決定された前記時ブロック以後まで入力される前記信号に対してバッファリングを実行するステップ；
    をさらに含むことを特徴とする、請求項１４に記載の指の動き検出方法。
17. 前記検出するステップは、
    予め設定された前記指の動きに対する信号が感知された時点を基準として前記時ブロックの開始と終了を決定するステップ；
    をさらに含むことを特徴とする、請求項１６に記載の指の動き検出方法。
18. 加速度センサまたはジャイロセンサから信号の入力を受けるステップ；および
    決定された前記時ブロック以後まで前記加速度センサまたは前記ジャイロセンサによって入力される信号に基づいて前記被検者の手動作を検出するステップ；
    をさらに含むことを特徴とする、請求項１６に記載の指の動き検出方法。
19. 前記測定信号は、
    赤外線、レーザ、超音波のうちの少なくとも１つの形態であることを特徴とする、請求項１１に記載の指の動き検出方法。
20. 前記指の動きに対応する命令を生成するステップ；
    をさらに含むことを特徴とする、請求項１１に記載の指の動き検出方法。

Images