JP6259923B2 - 手の運動を検出する運動検出装置 - Google Patents

手の運動を検出する運動検出装置 Download PDF

Info

Publication number
JP6259923B2
JP6259923B2 JP2016550757A JP2016550757A JP6259923B2 JP 6259923 B2 JP6259923 B2 JP 6259923B2 JP 2016550757 A JP2016550757 A JP 2016550757A JP 2016550757 A JP2016550757 A JP 2016550757A JP 6259923 B2 JP6259923 B2 JP 6259923B2
Authority
JP
Japan
Prior art keywords
light
motion
hand
different
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016550757A
Other languages
English (en)
Other versions
JP2017505205A (ja
JP2017505205A5 (ja
Inventor
クリスティアン ニコラー プレスラ
クリスティアン ニコラー プレスラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2017505205A publication Critical patent/JP2017505205A/ja
Publication of JP2017505205A5 publication Critical patent/JP2017505205A5/ja
Application granted granted Critical
Publication of JP6259923B2 publication Critical patent/JP6259923B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0308Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Description

本発明は、手の運動を検出する運動検出装置、方法及びコンピュータプログラムに関する。本発明は更に、手の運動により制御されるシステムに関する。
Kevin R. Wheelerらによる記事「Device Control Using Gestures Sensed from EMG」、IEEE International Workshop on Soft Computing in Industrial Applications (2003)は、ハンドジェスチャを実行するために用いられる筋肉の筋電図記録の(EMG)信号を測定するデバイスを開示する。これらの信号は、解釈され、ハンドジェスチャに基づきコンピュータを制御するため、コンピュータコマンドに変換される。
指に関する筋肉は、肘の近くの前腕における位置に構成される。その結果、測定デバイスの電極が、EMG信号を測定するため、この位置での前腕に接続されることを必要とする。しかしながら、単に人がコンピュータを制御することを可能にするため、人の前腕における筋肉に測定デバイスを電気的に接続することは、人にとって非常に不都合である。
従って、本発明の目的は、人にとってより都合のよい、手の運動の検出を可能にする手運動検出装置、方法及びコンピュータプログラムを提供することである。本発明の更なる目的は、この運動検出装置を有する、手の運動により制御されるシステムを提供することにある。
本発明の第1の側面において、手の運動を検出する運動検出装置が与えられる。この運動検出装置は、
人の手首の異なる位置において組織へと異なる波長を持つ異なる光線を放出する発光デバイスと、
上記組織を通り進んだ光を上記手首において検出し、上記検出された光に基づき、異なる光検出信号を生成する光検出デバイスであって、上記異なる光検出信号が、上記個別の光が進行した上記組織の異なる領域に対応する、光検出デバイスと、
上記異なる光検出信号に基づき、上記手の運動を決定する手運動決定ユニットとを有する。
手の運動は、手の回転といった手全体の運動とすることができる。しかしながら、手の運動は、指運動といった手の部分の手の別の部分に対する運動でもありえる。手が動くとき、即ち、例えば、それが回転する又は指が動くとき、手首での組織構成は変化し、これは生成された光検出信号における変化をもたらす。光検出信号におけるこの変化は、手の個別の運動を確実に決定するために手運動決定ユニットにより用いられることができる。この決定は人の手首での光測定に基づかれるので、それは、人にとってより都合の良い態様で実行されることができる。
発光デバイスが異なる一定の波長を持つ異なる光線を放出することはこのましくは、複数の光源を含むことができる発光デバイスが、個別の波長の変更を可能にする修正可能な発光デバイスではなく、例えば異なる波長を放出する異なる光源を有し、個別の光源により放出される個別の波長が固定されることを意味する。
発光デバイスは好ましくは、手首の腱の上の手首の上部側を通り皮膚組織へと光を放出するよう構成され、光検出デバイスは好ましくは、腱の上の手首の上部側における皮膚からの光に基づき、光検出信号を生成するよう構成される。発光デバイスは、赤色光を組織へと放出するよう構成されることができる。赤色光は、血液及び皮膚組織によってそれほど吸収されるものではないので、赤色光を使用することは、光検出信号の品質、及び従って手の運動の決定の品質を改善することができる。更に、発光デバイスは、緑色光を組織に放出するよう構成されることができる。緑色光は例えば約3mmの浸透深さを持ち、赤色光は例えば約1cmまでの浸透深さを持つと想定されることができるので、緑及び赤色光を使用することにより、組織における比較的大きな深さ領域が、カバーされることができる、即ち、皮膚に対する個別の腱の深さにかかわりなく、手の運動が確実に決定されることができる。
発光デバイス及び光検出デバイスは、人の手首において組織へと光を放出し、組織を通り進む光を検出するよう構成される。その結果、個別の光が進む組織の異なる領域に対応する、少なくとも2つの異なる光検出信号が生成される。手運動決定ユニットは、この少なくとも2つの異なる光検出信号に基づき、手の運動を決定するよう構成される。特に、個別の光が進む組織の異なる領域が異なる指に接続される異なる腱を含むよう、発光デバイス及び光検出デバイスは構成されることができる。
発光デバイスは、手首の異なる位置で組織へと光を放出するよう構成される。更に、光検出デバイスは、異なる光検出信号を生成するため、手首の異なる位置で光を検出するよう構成されることができる。この信号は、個別の光が進む組織の異なる領域に対応する。これらの異なる位置は、異なる指の運動を別々に検出するため、個別の筋肉と異なる指とを接続する異なる腱の上とすることができる。特に、上記発光デバイス及び上記光検出デバイスが、少なくとも2つの異なる光検出信号を生成するため、上記手首の異なる位置に配置される少なくとも2対の光源及び光検出器を有し、上記少なくとも2つの異なる光検出信号は、上記個別の光が進む上記組織の異なる領域に対応する。上記手運動決定ユニットが、上記個別の光が進む上記組織の第1の領域に対応する第1の光検出信号に基づき、第1の指の運動を決定し、上記個別の光が進む上記組織の第2の領域に対応する第2の光検出信号に基づき、第2の指の運動を決定するよう構成される。
ある実施形態において、上記運動検出装置が更に、少なくとも上記発光デバイス及び上記光検出デバイスを上記人の手首に付けるための取付要素を有する。取付要素は好ましくは、リストバンドである。こうして、運動検出装置は、手の運動を検出するよう構成される腕時計状デバイスでありえる。
発光デバイスは、異なる光検出信号を生成するため、異なる浸透深さを持ち、異なる波長を持つ異なる光線を組織に放出するよう構成される。この信号は、個別の光が進む組織の異なる領域に対応する。更に、上記運動検出装置が、上記人の手首に配置される運動センサを更に有し、上記運動センサは、手全体の運動を示す運動信号を生成するよう構成され、上記手運動決定ユニットが、上記光検出信号及び上記運動信号に基づき、上記手の運動を決定するよう構成される。運動センサは好ましくは、加速度計及び/又はジャイロスコープ及び/又は磁力計を含む。手の運動を決定するのに運動信号を更に用いることは、手の運動検出の品質を更に改善することができる。
手運動決定ユニットは、光検出信号及び運動信号に基づき、手の運動が指運動か、又は手全体の運動であるかを決定するよう構成されることができる。例えば、手運動決定ユニットは、光検出信号を光検出信号閾値と比較し、運動信号を運動信号閾値と比較することにより、手の運動が指運動か又は手全体の運動であるかを決定するよう構成されることができる。ここで、少なくとも1つの光検出信号、特にすべての光検出信号が光検出信号閾値より大きく、かつ運動信号が運動信号閾値より小さい場合、手運動決定ユニットは、手の運動が指運動であると決定するよう構成されることができる。これは、指運動をより確実に決定することを可能にする。
手運動決定ユニットは、a)光検出信号及びオプションの運動信号と、b)手の運動との間の依存性を提供し、提供された依存性、生成された光検出信号、及びオプションの生成された運動信号に基づき、手の運動を決定するよう構成されることができる。依存性は、1つ又は複数の生成された光検出信号及びオプションの1つ又は複数の運動信号に基づき、手の運動を定める関数、アサインメント、ニューラルネットワーク等として提供されることができる。
ある実施形態において、手運動決定ユニットが、現在生成された1つ又は複数の光検出信号に最も類似する格納された1つ又は複数の光検出信号を決定するため、a)1つ又は複数の現在生成された光検出信号に対して、及びb)手運動決定ユニットに格納された光検出信号に対して、類似性尺度を適用するよう構成されることができる。手運動決定ユニットは、最も類似する格納された1つ又は複数の光検出信号に割り当てられる手の運動を決定するよう構成されることができる。更に、手運動決定ユニットは、現在生成された1つ又は複数の光検出信号及び1つ又は複数の運動信号に対して最も類似する格納された1つ又は複数の光検出信号及び1つ又は複数の格納された運動信号を決定するため、a)1つ又は複数の現在生成された光検出信号及び1つ又は複数の現在生成された運動信号に対して、及びb)手運動決定ユニットに格納された光検出信号及び運動信号に対して、類似性尺度を適用するよう構成されることができる。手運動決定ユニットは、手の運動を決定するよう構成されることができる。これは、最も類似する格納された1つ又は複数の光検出信号及び1つ又は複数の運動信号に割り当てられる。
手運動決定ユニットは、生成された光検出信号から、心拍といった生理的特性により生じる乱れをフィルタリングするよう構成されることができる。例えば、心拍を含むことが知られる所定の周波数範囲が、生成された光検出信号からフィルタリングされることができ、又は、生理的特性によりもたらされる周波数又は周波数範囲が、既知の標準的な方法を使用することにより、生成された光検出信号に基づき決定されることができる。この標準的な方法は、周期的心臓に信号を見つけるフーリエ解析、相関技術等に基づかれることができる。決定された周波数又は周波数範囲は、生成された光検出信号からフィルタリングされることができる。手運動決定ユニットは、フィルタリングされた光検出信号に基づき、手の運動を決定するよう構成されることができる。
好ましい実施形態において、上記運動検出装置が、決定される手の運動が学習される学習モードにおいて、及び上記運動検出装置が上記手の運動を検出する通常動作モードにおいて動作可能である。特に、検光出デバイスは、手の運動が知られている間、学習モードにおいて、1つ又は複数の光検出信号及びオプションの1つ又は複数の運動信号を生成するよう構成され、手運動決定ユニットは、学習モードにおいて、生成された1つ又は複数の光検出信号に基づき、オプションで1つ又は複数の運動信号に基づき及び既知の手の運動に基づき、a)1つ又は複数の光検出信号及びオプションの1つ又は複数の運動信号と、b)手の運動との間の依存性を決定するよう構成されることができる。特定の手の運動、即ち特定のジェスチャが行われる間に生成される光検出信号は、人の手首の生理的構成、並びに手首における発光デバイス及び光検出デバイスの正確な位置に依存することができる。依存性が、個別の人によって学習モードにおいて学習される場合、これらのユーザ特有の状態は、容易に考慮されることができる。
運動検出装置は、生成された光検出信号の少なくとも1つに基づき、人の生理的特性を決定する生理的特性決定ユニットを更に有することができる。生理的特性決定ユニットは、生理的特性として心拍を決定するよう構成されることができる。従って、運動検出装置は、手の運動を検出するためだけに用いられるのではなく、例えば、心拍を検出するために用いられることもできる。例えば、ハンドジェスチャともみなされる手の運動及びオプションの心拍又は別の生理的特性が、人の手首に着用されるよう構成される腕時計状デバイスにより決定されることができる。
ある実施形態において、運動検出装置は、決定された手の運動に基づき制御されるデバイスに、決定された手の運動を示す信号を送信する送信ユニットを更に有する。このデバイスは、信号が無線で送信されることができる遠隔デバイスでもよい。
本発明の別の側面において、手の運動により制御されるシステムが与えられる。このシステムは、請求項1に記載される手の運動を検出する手運動検出装置及び検出された手の運動に基づき、システムを制御するコントローラを有する。こうして、例えばコンピュータシステムであるこのシステムは人にとって非常に都合の良い態様で、手の運動、即ちハンドジェスチャにより制御されることができる。
本発明の更なる側面において、手の運動を検出する運動検出方法が与えられる。この方法は、
発光デバイスにより、人の手首の異なる位置において組織へと異なる波長を持つ異なる光線を放出するステップと、
光検出デバイスにより、上記組織を通り進んだ光を上記手首において検出し、上記検出された光に基づき、異なる光検出信号を生成するステップであって、上記異なる光検出信号が、上記個別の光が進行した上記組織の異なる領域に対応する、ステップと、
手運動決定ユニットにより、上記異なる光検出信号に基づき、上記手の運動を決定するステップとを有する。
更なる側面において、運動検出装置を訓練する訓練方法が与えられる。この訓練方法を実行する間、特定の手の運動が実行され、この訓練方法は、
発光デバイスにより、人の手首において組織へと光を放出するステップと、
特定の手の運動が実行される間、光検出デバイスにより、組織を通り進む光を手首において検出し、検出された光に基づき、光検出信号を生成するステップと、
特定の手の運動及び生成された光検出信号の間の依存性を決定及び格納するステップとを有する。
本発明の別の側面において、手の運動を検出するコンピュータプログラムは与えられる。このコンピュータプログラムは、コンピュータに、請求項12に記載の運動検出方法のステップを実行させる。
更なる側面において、請求項1に記載の運動検出装置を訓練するコンピュータプログラムが与えられる。このコンピュータプログラムは、コンピュータに、上記訓練方法のステップを実行させる。
請求項1の運動検出装置、請求項11のシステム、請求項12の運動検出方法、訓練方法、請求項13のコンピュータプログラム及び運動検出装置を訓練するコンピュータプログラムが、特に従属項に記載されるのと類似する及び/又は同一の好ましい実施形態を持つ点を理解されたい。
本発明の好ましい実施形態は、従属項又は上記実施形態と個別の独立請求項との任意の組み合わせとすることもできる点を理解されたい。
本発明のこれら及び他の側面が、以下に説明される実施形態から明らかとなり、これらの実施形態を参照して説明されることになる。
手の運動を検出する運動検出装置と、検出された手の運動により制御されるコンピュータとを有するシステムの実施形態を概略的及び例示的に示す図である。 より詳細に手運動検出装置を概略的及び例示的に示す図である。 運動検出装置により生成される2つの光検出信号を示す図である。 手の運動を検出する運動検出方法の実施形態を例示的に説明するフローチャートを示す図である。 手の運動を学習することにより運動検出装置を訓練する訓練方法の実施形態を例示的に説明するフローチャートを示す図である。
本発明は、コンピュータ又は別のデバイスを制御するために使用されることができる、ハンドジェスチャといった手の運動を検出する運動検出装置に関する。発光デバイスが、人の手首において組織へと光を放出する。光検出デバイスは、組織を通り進んだ光を手首において検出し、検出された光に基づき、光検出信号を生成する。手運動決定ユニットは、光検出信号に基づき手の運動を決定する。手が動くとき、即ち、例えば、手が回転する又は指が動くとき、光が進む組織の構成、及び従って光検出信号は変化する。光検出信号におけるこの変化は、人にとって非常に都合のよい態様で手の個別の運動を確実に決定するために用いられることができる。
図1は、手の運動により、即ちハンドジェスチャにより制御されるシステムの実施形態を概略的及び例示的に示す。システム20は、人の手首5に着用されるリストバンド3とケース4とを備える腕時計のような運動検出装置1を有する。個別の検出された手の運動を示す信号は、コンピュータ2のコントローラ21に送信される。コントローラ21は、受信された信号に基づきコンピュータ2を制御するよう構成される。運動検出装置1は従って、コンピュータ2にコンピュータコマンドを入力する入力デバイスであると考えられることができる。この入力デバイスは、コンピュータマウス、キーボード、タッチパッド等といった他の入力デバイスを少なくとも部分的に置き換えることができる。
運動検出装置1は、人の手首5において組織へと光を放出する発光デバイスと、組織を通り進んだ光を手首5において検出し、検出された光に基づき光検出信号を生成する光検出デバイスと、光検出信号に基づき、手の運動を決定する手運動決定ユニットとを有する。発光デバイス及び光検出デバイスは、人の手首において組織へと光を放出し、組織を通り進行した光を検出するよう構成される。その結果、複数の光検出信号が生成される。これは個別の光が進む組織の異なる領域に対応する。手運動決定ユニットは、複数の光検出信号に基づき、手の運動を決定するよう構成される。この実施形態において、発光デバイス及び光検出デバイスは、異なる光検出信号を生成するため、手首5の異なる位置において組織へと光を放出し、手首5の異なる位置において光を検出するよう構成される。異なる光検出信号は、個別の光が進む組織の異なる領域に対応する。運動検出装置1は、図2においてより詳細に概略的及び例示的に示される。
この実施形態において、発光デバイス及び光検出デバイスは、複数の光検出信号を生成するため、手首5の異なる位置に構成される光源8及び光検出器9の複数の対40により形成される。複数の光検出信号は、個別の光が進む組織の異なる領域に対応する。光源8は、発光ダイオード(LED)である。ここで、光源8の少なくとも2つは、異なる波長、即ち緑及び赤色光といった異なる色を持つ光を放出する。光源8及び光検出器9の対40は、腕7に含まれる腱22の上に配置される。
光源8は、手首5の腱22の上の手首5の上部側を通り皮膚に光を放出するよう構成される。光検出器9は、腱22の上の手首5の上部側の皮膚において後方散乱された及び/又は反射された光を検出するよう構成される。運動検出装置1は従って、特に後述される加速度計又は別の追加運動センサを用いて検出されることができる手全体の運動に加えて、腱の運動をピックアップするのに用いられることができる。
運動検出装置1は、手首5及び従って手全体6が移動される場合、加速度信号を生成する加速度計13を更に有する。手運動決定ユニット12は、生成された光検出信号及び生成された加速度信号に基づき、手の運動を決定するよう構成される。特に、手運動決定ユニット12は、光検出信号を光検出信号閾値と、加速度信号を加速度信号閾値と比較し、生成された光検出信号の少なくとも1つが光検出信号閾値より大きく、かつ加速度信号が加速度信号閾値より小さい場合、手の運動が指運動であると決定するよう構成されることができる。手の運動が指運動であると手運動決定ユニット12が決定した場合、指運動は、生成された光検出信号に基づき、より特異的に決定されることができる。例えば、手運動決定ユニット12は、光検出信号及び指運動の間の依存性を提供し、提供された依存性及び生成された光検出信号に基づき、指運動を決定するよう構成されることができる。依存性は、1つ又は複数の生成された光検出信号に基づき、指運動を定める関数、アサインメント、ニューラルネットワーク等として提供されることができる。ある実施形態において、手運動決定ユニット12が、現在生成された光検出信号に最も類似する格納された光検出信号を決定するため、a)現在生成された光検出信号に対して、及びb)手運動決定ユニット12に格納された光検出信号に対して、類似性尺度を適用するよう構成されることができる。手運動決定ユニット12は、最も類似する格納された光検出信号に割り当てられる指運動に基づき、個別の指運動を決定するよう構成されることができる。運動決定装置1は更に、運動検出装置1の異なる要素を制御するコントローラ10を有する。
図3は、第1の光検出信号30及び第2の光検出信号31を概略的及び例示的に示す。そこでは、振幅Sが、秒における時間tに基づき、任意の単位で示される。時間間隔t1において、第1の指は動いており、時間間隔t2において、第2の指が動いている。第1の指の運動が、第2の光検出信号31における時間間隔t1において見え、第2の指の運動が、第1の光検出信号30における時間間隔t2において見える。図3に示される例では、手全体が動いているものではない。即ち、2つの指だけが動いていた。
運動検出装置1は、運動検出装置1を訓練するため、決定される手の運動が学習される学習モードにおいて、及び運動検出装置が手の運動を検出する通常動作モードにおいて動作可能である。例えば、光源8及び光検出器9の対40は、手の運動、特に指運動が知られている間、学習モードにおいて光検出信号を生成するよう構成されることができる。この場合、手運動決定ユニット12は、学習モードにおいて、生成された光検出信号及び既知の手の運動に基づき、例えばニューラルネットワークを訓練することで、光検出信号及び手の運動の間の依存性を決定するよう構成されることができる。運動検出装置1は、人が所望の作動モードを選択することを可能にするスイッチ又は別の手段を有することができる。更に、それは、学習モードにおいて実行される所定の、及び手運動決定ユニット12に格納されることができる手の運動を表示するディスプレイを有することができ、及び/又は、運動検出装置1は、学習モードにおいてどの手の運動が実行されるかを人が入力することを可能にする入力ユニットを有することができる。
運動検出装置1は、加速度計信号及び/又は別の運動センサの運動信号を使用するよう構成されることもできる。この信号は、運動検出装置1を訓練するため、手全体の運動を示す。例えば、手の運動、特に指運動が知られている間、学習モードにおいて、光源8及び光検出器9の対40は、光検出信号を生成するよう構成されることができ、加速度計13は、加速度計信号を生成するよう構成されることができる。この場合、運動決定ユニット12は、学習モードにおいて、a)生成された光検出信号及び生成された加速度計信号に基づき、及びb)既知の手の運動に基づき、例えば、ニューラルネットワークを訓練することでa)光検出信号及び加速度計信号とb)手の運動との間の依存性を決定するよう構成されることができる。
手運動決定ユニット12は更に、生成された光検出信号から心拍によりもたらされる乱れをフィルタリングするよう構成されることができる。例えば、心拍を含むことが知られる所定の周波数範囲が、生成された光検出信号からフィルタリングされることができる。手運動決定ユニット12は、フィルタリングされた光検出信号に基づき、手の運動を決定するよう構成されることができる。
運動検出装置1は更に、決定された手の運動を示す信号をコンピュータ2のコントローラ21に送信する送信ユニット11を有する。コントローラ21は、対応する受信ユニットを有し、その結果、コントローラ21及び運動検出装置1は、互いに無線で通信することができる。更に、運動検出装置1は、生成された光検出信号に基づき、人の生理的特性を決定する生理的特性決定ユニット14を有することができる。決定された生理的特性は、コンピュータ2若しくは別の遠隔手段に送信されることができ、及び/又は、それは、運動検出装置のディスプレイに示されることができる。好ましくは、生理的特性決定ユニット14は、生理的特性として心拍を決定するよう構成される。ある実施形態において、光源8の少なくとも1つは、青又は緑色光を放出する。生理的特性決定ユニット14は、青又は緑色光に基づき生成される1つ又は複数の光検出信号に基づき、生理的特性を決定するよう構成される。更に、ある実施形態において、手の運動を決定し、生理的特性を決定するのに、同じ波長が使用されることができる。この場合、好ましくは、手の運動を決定する前に、生理的特性の、特に心拍の影響が、光検出信号からフィルタリングされる。生成された光検出信号に基づき生理的特性を決定するため、既知の標準的な方法が使用されることができる。これは周期的心臓信号を見つけるためのフーリエ解析、相関技術等に基づかれることができる。
以下に、手の運動を検出する運動検出方法の実施形態が、図4に示されるフローチャートを参照して例示的に説明される。
ステップ101において、運動検出装置が初期化され、ステップ102において、光検出信号及び加速度信号が測定される。ステップ103において、手の運動、即ち手全体の運動又は指のような手の部分の手の別の部分に対する運動が、光検出信号及び加速度信号に基づき決定される。ステップ104において、決定された手の運動を示す信号が、手の運動により、即ちハンドジェスチャにより制御されるコンピュータのコントローラに送信される。ステップ105において、中止基準が満たされるかどうかが決定される。中止基準は例えば、ユーザがコンピュータ2及び/又は運動検出装置1のスイッチをオフにしたかどうかとすることができる。中止基準が満たされる場合、運動検出方法はステップ106において終わる。そうでなければ、この方法は、ステップ102へと続く。ステップ102〜105はループにおいて実行される。その結果、光検出信号及び加速度信号は連続的に生成され、現在の手の運動を決定するために用いられる。ここで、個別の現在の手の運動を示す対応する信号が、コンピュータのコントローラに送信される。
以下に、手の運動を学習することにより運動検出装置を訓練する訓練方法の実施形態が、図6に示されるフローチャートを参照して例示的に説明される。
ステップ201において、人は特定の手の運動を実行し、この手の運動のインジケーションが、運動検出装置1に、特に手運動決定ユニット12に入力される。更に、ステップ201において、手の運動が実行される間、光検出信号及び加速度計信号が生成される。ステップ202において、a)手の運動及びb)生成された光検出信号及び生成された加速度信号の間の依存性が、手運動決定ユニット12において決定及び格納される。
発光デバイスは、異なる波長を持つ異なる光線を組織へと放出するよう構成される。これは、異なる光検出信号を生成するため、異なる浸透深さを持つ。この異なる光検出信号は、個別の光が進む組織の異なる領域に対応する。対40の少なくとも2つの光源8が、上述したように異なる色を持つ光を放出することができる。しかしながら、別の実施形態では、対40の光源8は、同じ色を持つ光を放出することができ、光源及び光検出器の各対40に対して、更なる第2の光源が加えられることができる。これは他の、第1の光源により放出される光の波長と異なる波長を持つ光を放出する。運動検出装置は、腱の上の上部側の手首位置において皮膚に配置される多色センサと考えられることができる。
手が動くとき、即ち手全体が動く、例えば回転するとき、又は、1つ若しくは複数の指が動くときにそうであるように、手の第1の部分が手の第2の部分に対して動くとき、運動検出装置の下の皮膚構成は変化する。これは検出された光学的信号における、即ち光検出信号における変化をもたらす。この変化は、光の浸透深度、運動検出装置の光源及び光検出器の構成、並びに人の手首の生理的構成に依存する。光検出信号は、手の運動に応答する。これは手の運動を決定するために用いられることができる。
学習モードにおいて、運動検出装置は好ましくは、基本的なジェスチャを学習するよう構成される。基本的なジェスチャは例えば、指さしジェスチャ又は手全体の回転である。これらのジェスチャが学習された後、手の運動、例えば手全体の及び/又は指の運動が、運動検出装置により認識され、ジェスチャ入力として解釈されることができる。
上記実施形態においては運動検出装置が、光源及び光検出器の特定の構成を有するが、他の実施形態では、運動検出装置は、光源及び光検出器の別の構成を有することができる。例えば、それは、より多くの又はより少ない光源及び光検出器の対を有することができる。例えば、それは、各指に関して1つずつ、5つの対を有することができる。更に、異なる浸透深さに対応する光検出信号を生成するため、光源及び光検出器の間の距離は異なってもよい。
加速度計は好ましくは、手の回転運動といった手全体の運動を指運動といった他の運動から区別するために用いられる。例えば、加速度計が、小さい運動を検出する場合、即ち、加速度計信号が、比較的小さいが、光検出信号が比較的大きい場合、ジェスチャが、皮膚における腱変位を生じさせる指運動であると想定されることができる。
上記実施形態において、検出された手の運動は、コンピュータを制御するために用いられが、他の実施形態では、手の運動は、動いている機械、製造装置等といった他のデバイスを制御するのに使用されることができる。更に、個別の検出された手の運動を示す信号を遠隔デバイスに送信することに加えて、又は、この代わりに、検出された手の運動が、運動検出装置自体を制御するために用いられることもできる。例えば、運動検出装置が、生理的特性決定ユニット及び/又はクロックといった他のユニットを有する腕時計状装置である場合、検出された手の運動が、これらのユニットを制御するために用いられることができる。
図1及び図2を参照して説明された実施形態において、複数の特定の要素が、ケース4において配置されるが、他の実施形態では、要素のいくつかはケース4に配置されず、遠隔デバイスに配置されることもできる。例えば、手運動決定ユニット12は、生成された光検出信号が送信ユニットにより送信されることができる遠隔デバイスに構成されることができる。
請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「a」又は「an」は複数性を除外するものではない。
単一のユニット又はデバイスが、請求項において列挙される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。
光検出信号及びオプションで加速度信号に基づかれる手の運動の決定、運動検出装置の訓練、光検出信号に基づかれる生理的特性の決定といった1つ又は複数のユニット又はデバイスにより実行される手順は、他の任意の数のユニット又はデバイスにより実行されることができる。運動検出方法及び/又は学習方法による、これらの手順及び/又は運動検出装置の制御は、コンピュータプログラムのプログラムコード手段として及び/又は専用ハードウェアとして実現されることができる。
コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な媒体に格納又は配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。

Claims (10)

  1. 手の運動を検出する運動検出装置であって、
    人の手首の異なる腱の上の異なる位置において組織へと異なる波長を持つ光線を放出するように構成される発光デバイスと、
    前記組織を通り進んだ光を前記手首において検出し、前記検出された光に基づき、異なる光検出信号を生成するように構成される光検出デバイスであって、前記異なる光検出信号が、前記個別の光が進行した異なる腱の上の前記組織の異なる領域に対応し、前記発光デバイス及び前記光検出デバイスが、前記手首の異なる位置に配置される少なくとも2対の光源及び光検出器を有し、少なくとも2つの異なる光検出信号を生成し、前記少なくとも2つの異なる光検出信号は、前記個別の光が進む異なる腱の上の前記組織の異なる領域に対応する、光検出デバイスと、
    前記少なくとも2つの異なる光検出信号に基づき、前記手の運動を決定する手運動決定ユニットであって、前記手運動決定ユニットは、前記少なくとも2つの光検出器のうち第1の光検出器により生成された第1の光検出信号に基づき、第1の指の運動を決定し、前記少なくとも2つの光検出器のうち第2の光検出器により生成された第2の光検出信号に基づき、第2の指の運動を決定するよう構成され、前記第1の光検出信号は、前記個別の光が進む第1の腱の上の前記組織の第1の領域に対応し、前記第2の光検出信号は、前記個別の光が進む第2の腱の上の前記組織の第2の領域に対応する、当該手運動決定ユニットとを有する、運動検出装置。
  2. 前記発光デバイスが、赤及び緑色光を前記組織へと放出するよう構成される、請求項1に記載の運動検出装置。
  3. 前記運動検出装置が、前記人の手首に配置される運動センサを更に有し、前記運動センサは、手全体の運動を示す運動信号を生成するよう構成され、前記手運動決定ユニットが、前記光検出信号及び前記運動信号に基づき、前記手の運動を決定するよう構成される、請求項1に記載の運動検出装置。
  4. 前記手運動決定ユニットが、光検出信号及び手の運動の間の依存性を提供し、前記提供された依存性及び前記生成された光検出信号に基づき、前記手の運動を決定するよう構成される、請求項1に記載の運動検出装置。
  5. 前記手運動決定ユニットが更に、前記生成された光検出信号から、生理的特性によりもたらされる乱れをフィルタリングするよう構成される、請求項1に記載の運動検出装置。
  6. 前記運動検出装置が、決定される手の運動が学習される学習モードにおいて、及び前記運動検出装置が前記手の運動を検出する通常動作モードにおいて動作可能である、請求項1に記載の運動検出装置。
  7. 前記学習モードにおいて、手の運動が実行される間、前記発光デバイスが、前記人の手首において前記組織へと光を放出し、前記光検出デバイスは、前記組織を通り進む光を前記手首において検出し、前記検出された光に基づき、光検出信号を生成し、前記手の運動及び前記生成された光検出信号の間の依存性が、決定及び格納されるよう、前記運動検出装置が構成される、請求項に記載の運動検出装置。
  8. 前記運動検出装置が更に、少なくとも前記発光デバイス及び前記光検出デバイスを前記人の手首に付けるための取付要素を有する、請求項1に記載の運動検出装置。
  9. 手の運動により制御されるシステムであって、
    請求項1に記載される手の運動を検出する運動検出装置と、
    前記検出された手の運動に基づき、前記システムを制御するコントローラとを有する、システム。
  10. 手の運動を検出する運動検出方法において、
    発光デバイスにより、人の手首の異なる腱の上の異なる位置において組織へと異なる波長を持つ光線を放出するステップと、
    光検出デバイスにより、前記組織を通り進んだ光を前記手首において検出し、前記検出された光に基づき、異なる光検出信号を生成するステップであって、前記異なる光検出信号が、前記個別の光が進行した異なる腱の上の前記組織の異なる領域に対応し、前記発光デバイス及び前記光検出デバイスが、前記手首の異なる位置に配置される少なくとも2対の光源及び光検出器を有し、少なくとも2つの異なる光検出信号を生成し、前記少なくとも2つの異なる光検出信号は、前記個別の光が進む異なる腱の上の前記組織の異なる領域に対応する、ステップと、
    手運動決定ユニットにより、前記少なくとも2つの異なる光検出信号に基づき、前記手の運動を決定するステップであって、前記手運動決定ユニットは、前記少なくとも2つの光検出器のうち第1の光検出器により生成された第1の光検出信号に基づき、第1の指の運動を決定し、前記少なくとも2つの光検出器のうち第2の光検出器により生成された第2の光検出信号に基づき、第2の指の運動を決定し、前記第1の光検出信号は、前記個別の光が進む第1の腱の上の前記組織の第1の領域に対応し、前記第2の光検出信号は、前記個別の光が進む第2の腱の上の前記組織の第2の領域に対応する、ステップとを有する、方法。
JP2016550757A 2014-02-12 2015-02-03 手の運動を検出する運動検出装置 Expired - Fee Related JP6259923B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14154780.2 2014-02-12
EP14154780 2014-02-12
PCT/EP2015/052107 WO2015121100A1 (en) 2014-02-12 2015-02-03 Movement detection apparatus for detecting a hand movement

Publications (3)

Publication Number Publication Date
JP2017505205A JP2017505205A (ja) 2017-02-16
JP2017505205A5 JP2017505205A5 (ja) 2017-12-28
JP6259923B2 true JP6259923B2 (ja) 2018-01-10

Family

ID=50072987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016550757A Expired - Fee Related JP6259923B2 (ja) 2014-02-12 2015-02-03 手の運動を検出する運動検出装置

Country Status (6)

Country Link
US (2) US9910508B2 (ja)
EP (1) EP3105655A1 (ja)
JP (1) JP6259923B2 (ja)
CN (1) CN105980964A (ja)
RU (1) RU2016136366A (ja)
WO (1) WO2015121100A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102588A1 (en) 2013-12-30 2015-07-09 Apple Inc. User identification system based on plethysmography
US10488936B2 (en) * 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
US10362944B2 (en) * 2015-01-19 2019-07-30 Samsung Electronics Company, Ltd. Optical detection and analysis of internal body tissues
US9939899B2 (en) * 2015-09-25 2018-04-10 Apple Inc. Motion and gesture input from a wearable device
US10852835B2 (en) * 2016-04-15 2020-12-01 Board Of Regents, The University Of Texas System Systems, apparatuses and methods for controlling prosthetic devices by gestures and other modalities
US20170319934A1 (en) * 2016-05-05 2017-11-09 Wesley Horne Motion sensing basketball training device
US10478099B2 (en) 2016-09-22 2019-11-19 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
US10466783B2 (en) * 2018-03-15 2019-11-05 Sanmina Corporation System and method for motion detection using a PPG sensor
EP3570260A1 (en) 2018-05-15 2019-11-20 Koninklijke Philips N.V. Wrist-worn medical alert device for conveying an emergency message to a caregiver
US11704568B2 (en) * 2018-10-16 2023-07-18 Carnegie Mellon University Method and system for hand activity sensing
CN110703923A (zh) * 2019-10-25 2020-01-17 胡团伟 基于腕部或手部皮肤三维形状变化的指令输出方法及设备
US11157086B2 (en) * 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
WO2022266515A1 (en) * 2021-06-18 2022-12-22 Meta Platforms Technologies, Llc Inferring user pose using optical data

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1408443B1 (en) 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
WO2008010581A1 (fr) * 2006-07-21 2008-01-24 Brother Kogyo Kabushiki Kaisha Dispositif opérationnel et système opérationnel
US20090153477A1 (en) 2007-12-12 2009-06-18 Saenz Valentin L Computer mouse glove
US20100090949A1 (en) 2008-07-22 2010-04-15 Shanda Computer (Shanghai) Co., Ltd. Method and Apparatus for Input Device
US8273036B2 (en) 2008-12-24 2012-09-25 The Hong Kong Polytechnic University Wearable portable device for increasing user awareness of a paretic limb and recording the user awareness
US8294105B2 (en) * 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
US20120312956A1 (en) 2011-06-11 2012-12-13 Tom Chang Light sensor system for object detection and gesture recognition, and object detection method
US9880629B2 (en) 2012-02-24 2018-01-30 Thomas J. Moscarillo Gesture recognition devices and methods with user authentication
CN102799270B (zh) * 2012-07-04 2015-03-11 北京理工大学 一种基于静电和肌电探测的人机交互方法
EP2698686B1 (en) * 2012-07-27 2018-10-10 LG Electronics Inc. Wrist-wearable terminal and control method thereof
DE102013226682A1 (de) * 2013-12-19 2015-06-25 Zf Friedrichshafen Ag Armbandsensor und Verfahren zum Betreiben eines Armbandsensors
KR102019969B1 (ko) * 2014-02-10 2019-09-09 애플 인크. 광학 센서를 사용해 검출된 모션 제스처 입력

Also Published As

Publication number Publication date
RU2016136366A3 (ja) 2018-09-26
US20180129297A1 (en) 2018-05-10
CN105980964A (zh) 2016-09-28
RU2016136366A (ru) 2018-03-15
US20170031453A1 (en) 2017-02-02
EP3105655A1 (en) 2016-12-21
US9910508B2 (en) 2018-03-06
JP2017505205A (ja) 2017-02-16
WO2015121100A1 (en) 2015-08-20

Similar Documents

Publication Publication Date Title
JP6259923B2 (ja) 手の運動を検出する運動検出装置
US11911137B2 (en) Sensing at least one biological parameter, E.G., heart rate or heart rate variability of a subject
US20140221848A1 (en) Biological information detecting device, biological information detecting method, and biological information detection program
US11141073B2 (en) Bio-information measuring apparatus and bio-information measuring method
TWI657796B (zh) 生理資料提供方法及可穿戴感測器平台
EP3505044B1 (en) Biological component measuring apparatus and biological component measuring method
JP6813024B2 (ja) 生体情報処理装置、生体情報処理方法、及び情報処理装置
CN106163387A (zh) 用于检测用户的心率的变化的系统和方法
US20150374240A1 (en) Heart Rate Inference Based On Accelerometer And Cardiac Model
US20160113526A1 (en) Generating user information from autonomic nervous system parameters
US20120150052A1 (en) Heart rate monitor
JP6599883B2 (ja) 心拍数モニターシステム、心拍数モニタリング方法及びコンピュータプログラム
US20170000369A1 (en) Electrocardiogram systems and related methods
JP2017505205A5 (ja)
WO2015123771A1 (en) Gesture tracking and control in augmented and virtual reality
CN106413529A (zh) 光学压力传感器
RU2016125333A (ru) Система и способ электрокардиографического мониторинга
JP6180668B2 (ja) 光学的バイタルサインセンサ
US20120172684A1 (en) Heart rate monitor
EP3048961B1 (en) Heart rate monitor system and method of determining a warming-up status of a user
JP6971017B2 (ja) 検出装置、検出方法、およびプログラム
CN204650448U (zh) 检测生理特征的鼠标
CN106236066A (zh) 一种可穿戴装置和用于对象的预定心脏状况的确定方法
JP6197926B2 (ja) 生体情報検出装置及び生体情報検出方法、生体情報検出プログラム
US11513014B2 (en) Electrical activity sensor with improved temporal and spatial electrode configuration

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171113

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171113

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171211

R150 Certificate of patent or registration of utility model

Ref document number: 6259923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees