JP7094077B2 - 動作認識方法及び装置並びにウェアラブル装置 - Google Patents

Description

本発明は、動作認識方法及び装置並びにウェアラブル装置に関する。

動作認識技術は、ユーザのボディ、手、顔などの身体の全て又は一部の動きを認識して装置の機能を制御する技術である。動作認識技術として、筋電図（ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ：ＥＭＧ）センサを用いて筋肉の動きによる電気信号の変化を検出し、検出された電気信号の変化に基づいてユーザの動作を推定する方法と、加速度センサ及びジャイロセンサのようなモーションセンサを用いてユーザの身体の動きによる慣性を測定し、測定された慣性に基づいてユーザの動作を推定する方法がある。

本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、身体の動きを認識して装置の機能を制御するための動作認識方法及び装置並びにウェアラブル装置を提供することにある。

上記目的を達成するためになされた本発明の一態様による身体の動きを認識して装置の機能を制御するための動作認識方法は、生体信号センサの出力信号から動きアーチファクトを検出するステップと、前記動きアーチファクトの信号パターンが予め登録された基準信号パターンに対応する場合、前記基準信号パターンに対応するターゲット装置の機能を制御する制御信号を生成するステップと、を有する。

前記制御信号を生成するステップは、前記動きアーチファクトの信号パターン及び少なくとも１つの基準信号パターンに基づいてユーザによって実行された動作の種類を決定し、前記決定された動作の種類に対応して前記ターゲット装置の機能を制御する制御信号を生成し得る。
前記動きアーチファクトは、ユーザが前記生体信号センサ又は前記生体信号センサの周辺に加える物理的圧力又は動きによって発生し得る。
前記動作認識方法は、前記出力信号から動きアーチファクトが検出されない場合、前記出力信号から検出された生体信号に基づいてユーザの健康情報を推定するステップを更に含むことができる。
前記制御信号を生成するステップは、前記出力信号から検出された生体信号に基づいてユーザ認証を行うステップと、前記ユーザ認証が成功した場合に前記制御信号を生成するステップと、を含み得る。
前記制御信号を生成するステップは、前記予め登録された基準信号パターンのうちから前記動きアーチファクトの信号パターンに対応する基準信号パターンがあるか否かを判定するステップを含み得る。
前記基準信号パターンは、ユーザ選択によって機能の種類が決定され、前記決定された機能の種類に対応する動きアーチファクトの信号パターンを登録することによって生成され得る。
前記生体信号センサは、ウェアラブル装置に含まれ、前記ターゲット装置の機能を制御する制御信号を生成するステップは、前記ウェアラブル装置の機能又は前記ウェアラブル装置に接続された他の装置の機能を制御するステップを含み得る。
前記他の装置は、移動端末装置、モノのインターネット（ＩｏＴ）装置、及びスマート自動車のいずれか１つであり得る。
前記動きアーチファクトを検出するステップは、所定の時間区間における前記出力信号の平均値に基づいて前記動きアーチファクトが発生したか否かを判定するステップを含み得る。
前記動作認識方法は、前記機能を実行する装置に前記制御信号を無線で送信するステップを更に含むことができる。
前記生体信号センサは、光電容積脈波信号及び心電図信号のうちの少なくとも１つを含む生体信号を測定し、前記生体信号は、ユーザの健康状態に関するものであり得る。

上記目的を達成するためになされた本発明の一態様による身体の動きを認識して装置の機能を制御するための動作認識装置は、少なくとも１つのプロセッサと、前記プロセッサによって実行される命令を格納する少なくとも１つのメモリと、を備え、前記プロセッサは、前記命令によって、生体信号センサの出力信号から動きアーチファクトを検出する動作と、前記動きアーチファクトの信号パターンが予め登録された基準信号パターンに対応する場合、前記基準信号パターンに対応するターゲット装置の機能を制御する制御信号を生成する動作と、を実行する。

前記生体信号センサは、ウェアラブル装置に含まれ、前記制御信号を生成する動作は、前記ウェアラブル装置の機能又は前記ウェアラブル装置に接続された他の装置の機能を制御する制御信号を生成し得る。
前記制御信号を生成する動作は、前記予め登録された基準信号パターンのうちから前記動きアーチファクトの信号パターンに対応する基準信号パターンがあるか否かを判定する動作を含み得る。

上記目的を達成するためになされた本発明の一態様によるウェアラブル装置は、生体信号を測定する生体信号センサと、前記生体信号センサの出力信号に動きアーチファクトが示されているか否かを判定する動きアーチファクト検出器と、前記出力信号に動きアーチファクトが示されていると判定された場合、前記動きアーチファクトの信号パターンが予め登録された基準信号パターンに対応するか否かを判定する動作認識装置と、前記出力信号に動きアーチファクトが示されていないと判定された場合、ユーザの健康状態を決定するために前記生体信号センサの出力信号を処理する健康情報決定器と、を備える。

前記動作認識装置は、前記動きアーチファクトの信号パターン及び少なくとも１つの基準信号パターンに基づいてユーザによって実行された動作の種類を決定し、前記決定された動作の種類に対応するターゲット装置の機能を制御する制御信号を生成し得る。
前記動作認識装置は、前記生体信号に基づいてユーザ認証を行い、前記ユーザ認証が成功した場合に前記制御信号を生成し得る。
前記ウェアラブル装置は、前記基準信号に基づいて制御信号を生成する制御信号ジェネレータと、前記制御信号を前記ウェアラブル装置から離れた場所に位置する制御対象装置に送信する送信機と、を更に含むことができる。

本発明によると、動作認識のための別途の追加センサなしに、生体信号を測定するための生体信号センサを用いて動作認識を行うことができる。
また、動作認識のために皮膚に接触させるセンサを用いなくてもよいため、ユーザの利便性が改善され、動きアーチファクトに基づく直観的な動作認識が可能になる。

一実施形態による動作認識装置の構成を示す図である。 一実施形態によるウェアラブル装置の構成を示す図である。 一実施形態によるウェアラブル装置の構成をより詳細に説明するための図である。 一実施形態によるユーザ動作による生体信号センサの出力信号の変化を説明するための図である。 一実施形態によるユーザ動作による生体信号センサの出力信号の変化を説明するための図である。 一実施形態によるユーザ動作による生体信号センサの出力信号の変化を説明するための図である。 一実施形態によるユーザ動作による機能制御の具現例を示す図である。 一実施形態によるユーザ動作による機能制御の具現例を示す図である。 一実施形態によるユーザ動作による機能制御の具現例を示す図である。 一実施形態によるユーザ動作による機能制御の具現例を示す図である。 一実施形態による動作認識方法の動作を説明するためのフローチャートである。 一実施形態によるウェアラブル装置の動作を説明するためのフローチャートである。 他の実施形態による動作認識装置の構成を示す図である。

本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

また、図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、それに対する重複説明を省略する。本実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。

以下の実施形態は、ユーザによって実行された動作（ｇｅｓｔｕｒｅ）を認識して一装置の機能を制御するために適用される。一実施形態によると、ウェアラブル装置を着用したユーザが動作認識のために予め登録された動作を行う場合、ウェアラブル装置に含まれる生体信号センサの出力信号からユーザの動作による動きアーチファクトが検出され、検出された動きアーチファクトの信号パターンに基づいてユーザの動作が認識される。動作認識の結果、特定動作により予め定義された機能が実行されるようにウェアラブル装置又はウェアラブル装置に接続された他の装置が制御される。

ウェアラブル装置は、例えば、腕時計、ブレスレット、バンド、メガネ、指輪などの形態を有する。ウェアラブル装置に接続される装置は、移動端末、スマート家電機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ：ＩｏＴ）装置、スマート自動車などを含むが、装置の種類がこれに限定されることはない。移動端末は、例えば、通信機能を備える個人情報端末（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、スマートフォン、タブレットコンピュータ、ノート型パソコンなどであり、スマート家電機器は、テレビ、冷蔵庫、オーディオ、エアコン、洗濯機、セットトップボックス、掃除機などである。モノのインターネット装置は、インターネットに基づいて遠隔制御が可能な全ての装置を含む。

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。各図面で提示した同一の参照符号は同一の部材を示す。

図１は、一実施形態による動作認識装置の構成を示す図である。

動作認識装置１１０は、ユーザの動作を認識する。動作認識装置１１０は、ユーザの生体信号を測定する生体信号センサ１２０の出力信号に基づいてユーザの動作を認識する。一実施形態によると、動作認識装置１１０及び生体信号センサ１２０はウェアラブル装置に含まれる。しかし、実施形態の範囲がこれに限定されるものではなく、他の例として、動作認識装置１１０及び生体信号センサ１２０はそれぞれ別個の装置に含まれる。動作認識装置１１０は、ウェアラブル装置を着用したユーザが特定の動作を行ったときに示される生体信号センサ１２０の出力信号の変化に基づいてユーザの動作を認識する。ここで、生体信号は、例えば光電容積脈波（Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｍ：ＰＰＧ）又は心電図（Ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ：ＥＣＧ）などのようにユーザの体から測定された生体情報を含む信号を意味する。ＰＰＧ信号は血流量の変化による血管容積の変化を示し、ＥＣＧ信号は心臓電位の変化を示す。以下、動作認識装置１１０の構成に基づいて動作認識装置１１０の動作について詳細に説明する。

図１を参照すると、動作認識装置１１０は、動きアーチファクト検出器１３０、基準信号パターンストレージ１４０、動作種類決定器１５０、及び制御信号ジェネレータ１６０を含む。基準信号パターンストレージ１４０は基準信号パターンを含むメモリを有する。

ユーザは予め定義された機能を実行させるために特定の動作を実施し、ユーザの動作によって生体信号センサ１２０の出力信号に動きアーチファクトが示される。動きアーチファクトは、生体信号センサ１２０によってユーザの体から生体信号が測定されるときにユーザの動きによって発生する雑音を意味する。動きアーチファクトは、筋肉の収縮、緩和による動きによって発生する信号ではなく、ユーザが意図をもって生体信号センサ１２０自体又は生体信号センサ１２０の周辺に加える物理的圧力又は動きによって発生する。動作認識のためにユーザが予め定義された動作を行う場合、生体信号センサ１２０の出力信号には意図的な動きアーチファクトが含まれ、動きアーチファクトの信号パターンはユーザによって実行される動作に応じて様々である。

動きアーチファクト検出器１３０は、生体信号センサ１２０の出力信号から動きアーチファクトを検出する。動きアーチファクト検出器１３０は、生体信号センサ１２０の出力信号がユーザの身体から測定された生体信号を示しているか、又はユーザ動作による動きアーチファクトを示しているかを決定する。一実施形態によると、動きアーチファクト検出器１３０は、生体信号センサ１２０の出力信号から閾値以上の振幅を有する信号が示された場合、動きアーチファクトが発生したものと決定する。閾値は、所定の時間区間における生体信号センサ１２０の出力信号の平均値に基づき決定される。例えば、出力信号の平均値が大きくなるほど閾値は増大し、当該平均値が小さくなるほど閾値は縮小する。

他の実施形態によると、動きアーチファクト検出器１３０は、生体信号センサ１２０の出力信号を所定の時間周期でサンプリングし、サンプリングされた信号値の平均値を決定する。動きアーチファクト検出器１３０は、決定された平均値とサンプリングされた出力信号の信号値との間の偏差を求め、偏差の大きさが予め設定された閾値よりも大きい場合、生体信号センサ１２０の出力信号に動きアーチファクトが発生したものと決定する。

動きアーチファクトが検出された場合、動作種類決定器１５０は、動きアーチファクトの信号パターンと予め登録された１つ以上の基準信号パターンに基づいてユーザによって実行された動作の種類を決定する。動きアーチファクトの信号パターンは、例えば動きアーチファクトが示された時間区間で動きアーチファクトの信号波形が上下に揺れているか、又は何回揺れているかなどに基づいて決定される。基準信号パターンが複数である場合、動作種類決定器１５０は、基準信号パターンのうちから動きアーチファクトの信号パターンに対応する基準信号パターンがあるか否かを判定する。基準信号パターン毎に対応する動作が予め定義され、動作種類決定器１５０は、動きアーチファクトの信号パターンに対応する基準信号パターンを識別することによって当該動作の種類を決定する。

基準信号パターンは、別途の登録過程によって登録され、登録されたユーザ動作の個数に応じて１つ又は複数含まれる。一実施形態によると、基準信号パターンの登録過程は、ユーザが制御しようとする装置及び機能の種類を決定し、決定された装置及び機能の種類に対応する動きアーチファクトの信号パターンを登録する過程を含む。ユーザが登録しようとする動作を行い、生体信号センサ１２０の出力信号に示された動きアーチファクトの信号パターンを格納することによって、ユーザ動作に対応する基準信号パターンが登録される。登録された基準信号パターンに関する情報は、基準信号パターンストレージ１４０に格納される。

動作種類決定器１５０は、動きアーチファクトの信号パターンの特徴と予め登録された基準信号パターンの特徴とを比較して、動きアーチファクトの信号パターンが基準信号パターンに対応するか否かを判定する。動きアーチファクトの信号パターンの特徴は、動きアーチファクト信号の波形形態、動きアーチファクト信号の特徴点（例えば、ピーク点、最大点、最小点）などに基づいて抽出される。動作種類決定器１５０は、例えば動きアーチファクト信号の波形形態と基準信号パターンが示す波形形態との間の類似度が閾値以上である場合、動きアーチファクトの信号パターンが当該基準信号パターンに対応するものと決定する。他の例として、動作種類決定器１５０は、動きアーチファクトの信号波形で閾値以上のピーク点が示された個数と同一の個数を有する基準信号パターンを動きアーチファクトの信号パターンに対応する基準信号パターンとして決定する。

制御信号ジェネレータ１６０は、動作種類決定器１５０によって決定されたユーザ動作に対応するターゲット装置の機能を制御するための制御信号を生成する。制御信号は、一装置に対して予め定義された機能を制御するための信号を示し、制御信号によって制御される機能は基準信号パターンの登録過程でユーザ選択によって予め決定される。制御信号は、当該機能を行う制御対象装置に伝えられる。

他の実施形態によると、動作認識装置１１０は、制御信号ジェネレータ１６０によって生成された制御信号を制御対象装置に無線で送信する送信機１７０を更に含む。制御対象装置が動作認識装置１１０から空間的に離れている場合、送信機１７０は、制御信号を制御対象装置に無線で送信する。ここで、制御信号はパケット形態で構成され、制御対象装置のアドレス情報や制御しようとする機能に関する情報などが当該パケット内のペイロードに含まれる。

上述したように、動作認識装置１１０は、動作認識のための別途のセンサ（例えば、筋電図センサ又はモーションセンサなど）を利用しなくても、生体信号の測定のための生体信号センサ１２０の出力信号の変化に基づいて動作認識を行うことができる。動作認識のための別途のセンサを利用しないことで、消費電力が節減され、製造コストが減少する。動作認識のために筋電図センサを用いる場合、筋肉の動きを検出するために筋電図センサを皮膚に付着しなければならないが、本実施形態によると、皮膚に付着しないＰＰＧセンサを用いて動作認識を行うことができることからユーザの利便性が改善される。また、本実施形態によると、微細な筋肉の電気的変化を検出する筋電図センサを用いる場合よりも直観的な動作認識が可能になる。

また、筋電図センサやモーションセンサを用いた動作認識方法は、筋肉の動きや機器の移動を検出して動作を認識するため、ユーザが意図せずに一動作を行う過程で動作が誤認識されることがある。しかし、本実施形態によると、ユーザが意図をもって生体信号センサを動かすか、又は生体信号センサの周辺領域に物理的な圧力を加えることで発生する動きアーチファクトが動作認識に用いられるため、ユーザの意図とは異なる動作が誤認識される確率が減少する。

図２は、一実施形態によるウェアラブル装置の構成を示す図である。

ウェアラブル装置２００は、ユーザの健康状態をモニタリングすると共に、動作認識により周辺装置の機能を手軽に制御することができる。ウェアラブル装置２００は、生体信号センサ２１０を用いて測定された生体信号（例えば、ＰＰＧ信号、ＥＣＧ信号）に基づいてユーザの健康情報を決定するか、又は生体信号センサ２１０の出力信号に示された動きアーチファクトに基づいてユーザの動作を認識する。

図２を参照すると、ウェアラブル装置２００は、生体信号センサ２１０、動きアーチファクト検出器２２０、健康情報決定器２３０、及び動作認識装置２４０を含む。

動きアーチファクト検出器２２０は、生体信号センサ２１０の出力信号から動きアーチファクトを検出する。動きアーチファクト検出器２２０については、図１に示した実施形態で説明した動きアーチファクト検出器１３０に対する説明がそのまま適用されるため、その詳しい説明を省略する。動きアーチファクト検出器２２０は、生体信号センサ２１０の出力信号から動きアーチファクトが検出されない場合、生体信号センサ２１０の出力信号である生体信号を健康情報決定器２３０に送信し、動きアーチファクトが検出された場合は、生体信号センサ２１０の出力信号を動作認識装置２４０に送信する。

健康情報決定器２３０は、生体信号センサ２１０によって測定された生体信号に基づいてユーザの健康情報を決定する。一実施形態によると、生体信号センサ２１０がＰＰＧ信号を測定する場合、健康情報決定器２３０は、ＰＰＧ信号に基づいて血圧のような心血管系（ｃａｒｄｉｏｖａｓｃｕｌａｒ）の情報を推定する。他の実施形態によると、生体信号センサ２１０がＥＣＧ信号を測定する場合、健康情報決定器２３０は、ＥＣＧ信号に基づいて心疾患情報を推定する。

動作認識装置２４０は、動きアーチファクト検出器２２０によって検出された動きアーチファクトの信号パターンに基づいて動作認識を行う。動作認識装置２４０は、動きアーチファクトの信号パターンと基準信号パターンとを比較してユーザ動作の種類を推定し、ユーザ動作に対応するターゲット装置の機能を制御する制御信号を生成する。

健康情報決定器２３０及び動作認識装置２４０に対する詳しい説明は図３を参照して下記で説明する。上述したように、ウェアラブル装置２００は、平常時には生体信号センサ２１０によって測定された生体信号に基づいてユーザの健康情報を決定し、ユーザが機能制御のために意図的動作を行う場合、生体信号センサ２１０の出力信号に示された動きアーチファクトの信号パターンを分析し、ユーザの動作に対応するターゲット装置の機能を制御する制御信号を生成する。

図３は、一実施形態によるウェアラブル装置２００の構成をより詳細に説明するための図である。

図３を参照すると、健康情報決定器２３０は、生体信号プロセッサ３５０及び健康情報推定器３６０を含む。生体信号プロセッサ３５０は、生体信号を処理して生体信号から信号特徴を抽出する。信号特徴は、例えば、生体信号波形の極大点、極小点、ピーク点、変曲点、傾き極大点、傾き極小点、信号波形の面積などを含むが、信号特徴の種類がこれに限定されることはない。健康情報推定器３６０は、生体信号の信号特徴に基づいてユーザの健康に関する健康情報を推定する。健康情報推定器３６０によって推定された健康情報は、ディスプレイ又はスピーカなどの出力インタフェース（図示せず）を用いてユーザに提供されるか、又は別途のストレージ（図示せず）に格納される。健康情報推定器３６０は、推定された健康情報に基づいてユーザの健康状態をモニタリングしてユーザの健康に異常が発生したと判断した場合、ユーザに警告通知を提供する。

動作認識装置２４０は、動作種類決定器３２０、基準信号パターンストレージ３１０、及び制御信号ジェネレータ３３０を含む。動作種類決定器３２０は、動きアーチファクトの信号パターンと基準信号パターンストレージ３１０に格納された１つ以上の基準信号パターンとに基づいてユーザ動作の種類を決定する。制御信号ジェネレータ３３０は、決定された動作に対応する制御信号を生成する。ここで、ウェアラブル装置２００の機能又はウェアラブル装置２００に接続された他の装置の機能を制御する制御信号が生成される。動作種類決定器３２０及び制御信号ジェネレータ３３０のそれぞれについては、図１に示した実施形態で説明した動作種類決定器１５０及び制御信号ジェネレータ１６０に対する説明がそのまま適用されるため、その詳しい説明を省略する。一実施形態によると、動作認識装置２４０は送信機３４０を更に含み、送信機３４０は制御信号を制御対象装置に無線で送信する。

他の実施形態によると、動作認識装置２４０は、ユーザ認証器３７０を更に含む。ユーザ認証器３７０は、生体信号センサ２１０を用いて測定された生体信号に基づいて現在ウェアラブル装置２００を着用したユーザが登録されたユーザであるか否かを判定するユーザ認証を行う。ユーザ認証器３７０は、測定された生体信号の信号特徴が登録されたユーザの生体信号の信号特徴に対応した場合にユーザ認証が成功したと決定し、登録されたユーザの生体信号の信号特徴に対応しない場合にユーザ認証が失敗したと決定する。ユーザ認証が成功した場合、ユーザ認証器３７０は、制御信号が制御信号ジェネレータ３３０から正常に出力されるように制御し、ユーザ認証が失敗した場合には制御信号が制御信号ジェネレータ３３０から出力されないように制御する。

図４Ａ～図４Ｃは、一実施形態によるユーザ動作による生体信号センサの出力信号の変化を説明するための図である。図４Ａ～図４Ｃでは、一実施形態としてユーザの手首部位からＰＰＧ信号を測定する生体信号センサが腕時計型ウェアラブル機器に設けられ、予め登録されたユーザ動作の種類が第１動作、第２動作、及び第３動作の３個であると仮定する。

図４Ａは、第１動作として、ユーザがウェアラブル装置をとらえて左右に揺さぶる場合を示す。図面符号４１０は、生体信号センサの出力信号波形を示す。出力信号波形４１０を時間上で観察すると、平常時の第１時間区間４１５で生体信号センサからＰＰＧ信号が測定される。ユーザが機能制御のために第２時間区間４２０で第１動作を行うと、図示したように、出力信号波形４１０に大きい振幅で何回も揺れる形態の動きアーチファクトが示される。第１動作が終了した後の第３時間区間４２５では、再び出力信号波形４１０に生体信号センサによって測定されたＰＰＧ信号が示される。

図４Ｂは、第２動作として、ユーザが他の手でウェアラブル装置を下方向に力を加えて押す場合を示す。生体信号センサの出力信号波形４３０を時間上で観察すると、第１時間区間４３５でＰＰＧ信号が測定される、ユーザが第２動作を行う第２時間区間４４０では、生体信号センサの出力信号の信号値が第２動作の終了まで小さい値を保持する形態の動きアーチファクトが示される。第２動作が終了した後の第３時間区間４４５では、再び出力信号波形４３０にＰＰＧ信号が示される。

図４Ｃは、第３動作として、ユーザがウェアラブル装置に隣接する領域を指で２回叩く場合を示す。生体信号センサの出力信号波形４５０を時間上で観察すると、第１時間区間４５５で生体信号センサからＰＰＧ信号が測定される、ユーザが第３動作を行う第２時間区間４６０では、図示したように、大きい振幅で２回揺れる形態の動きアーチファクトが示される。第３動作が終了した後の第３時間区間４６５では、出力信号波形４５０に再びＰＰＧ信号が示される。

図４Ａ～図４Ｃにおいて、ウェアラブル装置は、生体信号センサの出力信号に動きアーチファクトが示されているか否かを判定し、動きアーチファクトが示されていないと判定した場合にはＰＰＧ信号に基づいてユーザの健康情報を推定する。生体信号センサの出力信号に動きアーチファクトが示されていると判定した場合、ウェアラブル装置は、動きアーチファクトの信号パターンに基づいてユーザによって実行された動作の種類を決定し、ユーザ動作に対応するターゲット装置の機能を行うための制御信号を生成する。ユーザにより実行された動作に応じて、動きアーチファクトの信号パターンがそれぞれ異なって示され、各動作に応じた動きアーチファクトの信号パターンを区別することで、ユーザにより実行された動作の種類が決定される。

図４Ａ～図４Ｃを参照して説明したユーザ動作のタイプは、上述の実施形態によって限定されることなく、様々な修正及び変形が可能である。

図５Ａ～図５Ｄは、一実施形態によるユーザ動作による機能制御の具現例を示す図である。図５Ａ～図５Ｄに示した実施形態では、図４Ａ～図４Ｃに示した実施形態で説明した第１動作、第２動作、及び第３動作に基づいて機能制御が実行されるものと仮定する。

図５Ａは、制御対象装置がウェアラブル装置である場合を示す。ユーザによって実行された第１動作５１０が認識された場合、ウェアラブル装置の画面がホーム画面に移動する機能が実行される。第２動作５２０が認識された場合、ウェアラブル装置の電源をオフ／オンさせるトグル（ｔｏｇｇｌｅ）の機能が実行される。第３動作５３０が認識された場合、ウェアラブル装置で頻繁に用いられるアプリケーション又はユーザによって予め登録されたアプリケーションが実行される。

図５Ｂは、制御対象装置がスマートフォンである場合であり、現在音楽アプリケーションが実行されている場合を示す。第１動作５１０が認識された場合、音楽アプリケーションで次の曲を再生する機能が実行され、第２動作５２０が認識された場合、音楽再生を一時停止／再度再生させるトグル機能が実行される。第３動作５３０が認識された場合、音楽アプリケーションでオーディオボリュームを一ステップアップする（又はダウンする）機能が実行される。ユーザは、スマートフォンで実行されているアプリケーションをタッチ入力によって直接操作する代わりに、直観的な動作認識によってアプリケーションの機能を制御することができるため、ユーザの利便性が改善される。

図５Ｃは、制御対象装置がモノのインターネット装置のうちのスマート照明器具である場合を示す。第１動作５１０が認識された場合、スマート照明器具の特定機能（例えば、照明カラーの変化）が実行される。第２動作５２０が認識された場合、スマート照明器具をオン／オフさせる機能が実行される。第３動作５３０が認識された場合、スマート照明器具の明るさを増加（又は減少）させる機能が実行される。ユーザは、ウェアラブル装置を用いた動作認識によって周辺装置の機能を簡便に制御することができる。

図５Ｄは、制御対象装置がスマート自動車である場合を示す。第１動作５１０が認識された場合、走行停止状態でスマート自動車のドアが開く機能が実行される。第２動作５２０が認識された場合、スマート自動車の始動がかかり、またドアロック装置が作動する機能が実行される。第３動作５３０が認識された場合、走行停止状態でスマート自動車のトランクをオープンさせる機能が実行される。一実施形態によると、機能制御が実行される前に生体信号に基づいてユーザ認証が実行される。例えば、生体信号センサによって測定されたユーザの生体信号に基づいてウェアラブル装置を着用したユーザが登録されたユーザであるか否かを判定するユーザ認証が実行され、ユーザ認証が成功した場合に動作認識による機能制御が実行される。この場合、動きアーチファクトの信号パターンに基づく動作認識がユーザ認証よりも先に実行されるか、又はユーザ認証が動作認識よりも先に実行される。

図５Ｂ～図５Ｄの各実施形態では、動作認識によって生成された制御信号が無線でスマートフォン、スマート照明機器、及びスマート自動車に送信される。ここで、制御信号は、ウェアラブル装置から制御対象装置に直接送信されるか、又はウェアラブル装置に接続された他の装置（例えば、スマートフォン）を経由して制御対象装置に送信される。ウェアラブル装置と制御対象装置は、例えば、ワイファイ（ｗｉｆｉ）、ＮＦＣ（Ｎｅａｒ－Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、２Ｇ（ｇｅｎｅｒａｔｉｏｎ）又は３Ｇセルラー通信システム、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ブルートゥース（登録商標）基盤の通信方式によって接続され、上記通信方式によって制御信号がウェアラブル装置から制御対象装置に送信される。

図５Ａ～図５Ｄを参照して説明した動作及び各動作に対応するターゲット装置の機能のタイプは上述の実施形態によって限定されることなく、様々な修正及び変形が可能である。

図６は、一実施形態による動作認識方法の動作を説明するためのフローチャートである。図６を参照すると、ステップＳ６１０において、動作認識装置は、生体信号センサの出力信号から動きアーチファクトを検出する。ステップＳ６２０において、動作認識装置は、動きアーチファクトの信号パターンが予め定義された基準信号パターンに対応するか否かを判定する。動きアーチファクトの信号パターンが基準信号パターンに対応する場合、ステップＳ６３０において、動作認識装置は、基準信号パターンに対応するターゲット装置の機能を制御する制御信号を生成する。制御信号は、当該機能を行う制御対象装置に送信され、制御対象装置は受信した制御信号によって定義された機能を行う。制御対象装置が空間的に離れている場合、ステップＳ６４０において、動作認識装置は選択的に制御信号を制御対象装置に無線で送信する。

図６に示した動作認識方法に対する詳細な説明は、図１を参照して上述したため、その詳しい説明を省略する。

図７は、一実施形態によるウェアラブル装置の動作を説明するためのフローチャートである。図７を参照すると、ステップＳ７１０において、ウェアラブル装置は生体信号センサの出力信号を受信する。ステップＳ７２０において、ウェアラブル装置は、生体信号センサの出力信号から動きアーチファクトが検出されたか否かを判定する。動きアーチファクトが検出された場合、ステップＳ７３０において、ウェアラブル装置は、予め登録された基準信号パターンと動きアーチファクトの信号パターンとを比較してユーザによって実行される動作の種類を決定する。ステップＳ７４０において、ウェアラブル装置は、動作の種類に対応するターゲット装置の機能を制御する制御信号を生成し、制御信号は当該機能を行う制御対象装置に送信される。制御対象装置が空間的に離れている場合、ステップＳ７５０において、ウェアラブル装置は、選択的に制御信号を制御対象装置に無線で送信する。

ステップＳ７２０で動きアーチファクトが検出されない場合、ステップＳ７６０において、ウェアラブル装置は、生体信号センサの出力信号から生体信号特徴を抽出する。生体信号特徴は、生体信号センサが測定しようとする生体信号の信号特徴を意味する。ステップＳ７７０において、ウェアラブル装置は、生体信号特徴に基づいてユーザの健康情報を推定する。

図７に示した動作認識方法に対する詳細な説明は、図２及び図３を参照して上述したため、その詳しい説明を省略する。

図８は、他の実施形態による動作認識装置の構成を示す図である。

図８を参照すると、動作認識装置８００は、１つ以上のプロセッサ８１０及びメモリ８２０を含む。

プロセッサ８１０は、図１～図７を参照して上述した１つ以上の動作を行う。例えば、プロセッサ８１０は、生体信号センサの出力信号から動きアーチファクトを検出し、検出された動きアーチファクトの信号パターンに基づいてユーザ動作を推定した後、ユーザ動作に対応する予め定義された機能を制御するための制御信号を生成する動作を実行する。このようなプロセッサ８１０は、複数の論理ゲートアレイとして具現されるが、他の形態のハードウェアで具現され得ることは本実施形態が属する技術分野で通常の知識を有する者であれば理解することができる。

メモリ８２０は、図１～図７を参照して上述した１つ以上の動作を行うための命令を格納し、また動作認識装置８００の運用に伴い取得されたデータと結果を格納する。一実施形態において、メモリ８２０は、非一時的なコンピュータ読み取り可能な記録媒体、例えば、高速ランダムアクセスメモリ及び／又は不揮発性コンピュータ読み出し可能な格納媒体（例えば、１つ以上のディスク格納デバイス、フラッシュメモリデバイス、又はその他の不揮発性固体メモリデバイス）を含む。

本実施形態による動作認識装置８００は、ディスプレイ、キーボード、タッチスクリーン、マイクロホンなどのような入出力インタフェース８３０、図示していないが、外部と通信するためのネットワーク通信インタフェースを更に含む。しかし、本実施形態の範囲はこれに限定されることなく、一実施形態として、プロセッサ８１０は生体信号センサの出力信号を入力として用いる。入出力インタフェース８３０は、ユーザ入力を受信し、また動作認識による結果（例えば、実行される機能に関する情報）を出力する。ネットワーク通信インタフェースは、プロセッサ８１０によって生成された制御信号を動作認識装置８００の外部の装置に送信する。

上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数タイプの処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆるタイプの機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１１０、２４０、８００ 動作認識装置
１２０、２１０ 生体信号センサ
１３０、２２０ 動きアーチファクト検出器
１４０、３１０ 基準信号パターンストレージ
１５０、３２０ 動作種類決定器
１６０、３３０ 制御信号ジェネレータ
１７０、３４０ 送信機
２００ ウェアラブル装置
２３０ 健康情報決定器
３５０ 生体信号プロセッサ
３６０ 健康情報推定器
３７０ ユーザ認証器
４１０、４３０、４５０ 出力信号波形
４１５、４３５、４５５ 第１時間区間
４２０、４４０、４６０ 第２時間区間
４２５、４４５、４６５ 第３時間区間
５１０ 第１動作
５２０ 第２動作
５３０ 第３動作
８１０ プロセッサ
８２０ メモリ
８３０ 入出力インタフェース

Claims (16)

1. 身体の動きを認識して腕時計型ウェアラブル装置の機能を制御するための動作認識方法であって、
   ユーザの第１手に着用する前記腕時計型ウェアラブル装置に含まれる生体信号センサの出力信号から前記ユーザが前記ユーザの第２手を用いて前記生体信号センサ又は前記生体信号センサの周辺に加える物理的圧力又は動きによって発生する動きアーチファクトを検出するステップと、
   前記動きアーチファクトの信号パターンが予め登録された基準信号パターンに対応する場合、前記基準信号パターンに対応するターゲット装置の機能を制御する制御信号を生成するステップと、を有し、
   前記基準信号パターンは、ユーザ選択によって機能の種類が決定され、前記決定された機能の種類に対応する動きアーチファクトの信号パターンを登録することによって生成され、
   前記信号パターンの登録は、ユーザが登録しようとする動作を行うとき、前記出力信号に示された動きアーチファクトの信号パターンを格納することを含み、
   前記動きアーチファクトを検出するステップは、
   前記生体信号センサの出力信号を所定の時間周期でサンプリングするステップと、
   前記サンプリングされた信号値の平均値を決定するステップと、
   前記決定された平均値と前記サンプリングされた出力信号の信号値との偏差を決定するステップと、
   前記偏差の大きさが予め設定された閾値よりも大きい場合、前記動きアーチファクトが発生したものと決定するステップと、を含み、
   前記制御信号を生成するステップは、前記動きアーチファクトの信号パターン及び少なくとも１つの基準信号パターンに基づいて前記腕時計型ウェアラブル装置を振る動作、前記腕時計型ウェアラブル装置を押す動作、及び前記腕時計型ウェアラブル装置を叩く動作のうち、前記第２手により行われた動作の種類を決定し、前記決定された動作の種類に対応して前記ターゲット装置の機能を制御する制御信号を生成することを特徴とする動作認識方法。
2. 前記出力信号から動きアーチファクトが検出されない場合、前記出力信号から検出された生体信号に基づいてユーザの健康情報を推定するステップを更に含むことを特徴とする請求項１に記載の動作認識方法。
3. 前記制御信号を生成するステップは、
   前記出力信号から検出された生体信号に基づいてユーザ認証を行うステップと、
   前記ユーザ認証が成功した場合に前記制御信号を生成するステップと、を含むことを特徴とする請求項１又は２に記載の動作認識方法。
4. 前記制御信号を生成するステップは、前記予め登録された基準信号パターンのうちから前記動きアーチファクトの信号パターンに対応する基準信号パターンがあるか否かを判定するステップを含むことを特徴とする請求項１乃至３のいずれか一項に記載の動作認識方法。
5. 前記ターゲット装置の機能を制御する制御信号を生成するステップは、前記ウェアラブル装置の機能又は前記ウェアラブル装置に接続された他の装置の機能を制御するステップを含むことを特徴とする請求項１乃至４のいずれか一項に記載の動作認識方法。
6. 前記他の装置は、移動端末装置、モノのインターネット（ＩｏＴ）装置、及びスマート自動車のいずれか１つであることを特徴とする請求項５に記載の動作認識方法。
7. 前記動きアーチファクトを検出するステップは、所定の時間区間における前記出力信号の平均値に基づいて前記動きアーチファクトが発生したか否かを判定するステップを含むことを特徴とする請求項１乃至６のいずれか一項に記載の動作認識方法。
8. 前記機能を実行する装置に前記制御信号を無線で送信するステップを更に含むことを特徴とする請求項１乃至７のいずれか一項に記載の動作認識方法。
9. 前記生体信号センサは、光電容積脈波信号及び心電図信号のうちの少なくとも１つを含む生体信号を測定し、
   前記生体信号は、ユーザの健康状態に関するものであることを特徴とする請求項１乃至８のいずれか一項に記載の動作認識方法。
10. ハードウェアと結合してコンピュータに請求項１乃至９のいずれか一項に記載の動作認識方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 身体の動きを認識して腕時計型ウェアラブル装置の機能を制御するための動作認識装置であって、
    少なくとも１つのプロセッサと、
    前記プロセッサによって実行される命令を格納する少なくとも１つのメモリと、を備え、
    前記プロセッサは、前記命令によって、
    ユーザの第１手に着用する前記腕時計型ウェアラブル装置に含まれる生体信号センサの出力信号から前記ユーザが前記ユーザの第２手を用いて前記生体信号センサ又は前記生体信号センサの周辺に加える物理的圧力又は動きによって発生する動きアーチファクトを検出する動作と、
    前記動きアーチファクトの信号パターンが予め登録された基準信号パターンに対応する場合、前記基準信号パターンに対応するターゲット装置の機能を制御する制御信号を生成する動作と、を実行し、
    前記基準信号パターンは、ユーザ選択によって機能の種類が決定され、前記決定された機能の種類に対応する動きアーチファクトの信号パターンを登録することによって生成され、
    前記信号パターンの登録は、ユーザが登録しようとする動作を行うとき、前記出力信号に示された動きアーチファクトの信号パターンを格納することを含み、
    前記動きアーチファクトを検出する動作は、
    前記生体信号センサの出力信号を所定の時間周期でサンプリングする動作と、
    前記サンプリングされた信号値の平均値を決定する動作と、
    前記決定された平均値と前記サンプリングされた出力信号の信号値との偏差を決定する動作と、
    前記偏差の大きさが予め設定された閾値よりも大きい場合、前記動きアーチファクトが発生したものと決定する動作と、を含み、
    前記制御信号を生成するステップは、前記動きアーチファクトの信号パターン及び少なくとも１つの基準信号パターンに基づいて前記腕時計型ウェアラブル装置を振る動作、前記腕時計型ウェアラブル装置を押す動作、及び前記腕時計型ウェアラブル装置を叩く動作のうち、前記第２手により行われた動作の種類を決定し、前記決定された動作の種類に対応して前記ターゲット装置の機能を制御する制御信号を生成することを特徴とする動作認識装置。
12. 前記制御信号を生成する動作は、前記ウェアラブル装置の機能又は前記ウェアラブル装置に接続された他の装置の機能を制御する制御信号を生成することを特徴とする請求項１１に記載の動作認識装置。
13. 前記制御信号を生成する動作は、前記予め登録された基準信号パターンのうちから前記動きアーチファクトの信号パターンに対応する基準信号パターンがあるか否かを判定する動作を含むことを特徴とする請求項１１又は１２に記載の動作認識装置。
14. ユーザの第１手の腕に着用する腕時計型ウェアラブル装置であって、
    生体信号を測定する生体信号センサと、
    前記生体信号センサの出力信号から前記ユーザが前記ユーザの第２手を用いて前記生体信号センサ又は前記生体信号センサの周辺に加える物理的圧力又は動きによって発生する動きアーチファクトを検出する動きアーチファクト検出器と、
    前記出力信号に動きアーチファクトが示されていると判定された場合、前記動きアーチファクトの信号パターンが予め登録された基準信号パターンに対応するか否かを判定する動作認識装置と、
    前記出力信号に動きアーチファクトが示されていないと判定された場合、ユーザの健康状態を決定するために前記生体信号センサの出力信号を処理する健康情報決定器と、を備え、
    前記基準信号パターンは、ユーザ選択によって機能の種類が決定され、前記決定された機能の種類に対応する動きアーチファクトの信号パターンを登録することによって生成され、
    前記信号パターンの登録は、ユーザが登録しようとする動作を行うとき、前記出力信号に示された動きアーチファクトの信号パターンを格納し、
    前記動きアーチファクトを検出器は、
    前記生体信号センサの出力信号を所定の時間周期でサンプリングし、
    前記サンプリングされた信号値の平均値を決定し、
    前記決定された平均値と前記サンプリングされた出力信号の信号値との偏差を決定し、
    前記偏差の大きさが予め設定された閾値よりも大きい場合、前記動きアーチファクトが発生したものと決定し、
    前記動作認識装置は、前記動きアーチファクトの信号パターン及び少なくとも１つの基準信号パターンに基づいて前記腕時計型ウェアラブル装置を振る動作、前記腕時計型ウェアラブル装置を押す動作、及び前記腕時計型ウェアラブル装置を叩く動作のうち、前記第２手により行われた動作の種類を決定し、前記決定された動作の種類に対応してターゲット装置の機能を制御する制御信号を生成することを含むことを特徴とするウェアラブル装置。
15. 前記動作認識装置は、前記生体信号に基づいてユーザ認証を行い、前記ユーザ認証が成功した場合に前記制御信号を生成することを特徴とする請求項１４に記載のウェアラブル装置。
16. 前記基準信号に基づいて制御信号を生成する制御信号ジェネレータと、
    前記制御信号を前記ウェアラブル装置から離れた場所に位置する制御対象装置に送信する送信機と、を更に含むことを特徴とする請求項１４又は１５に記載のウェアラブル装置。
    

Images