JP6527307B2 - 把持された物体を用いたモーション認識方法及びその装置並びにシステム - Google Patents

Description

ユーザのモーションを認識する装置及び方法に関し、把持された物体を用いたモーション認識方法及びその装置並びにシステムに関する。

近年、スマートフォン、タブレットＰＣ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）のような様々な携帯用電子機器の使用が増加しつつある。
ユーザ身体のモーションを解釈する一般的な技術として、機器に動作検知用の加速度センサなどを取付けてモーションを解読する方法がある。この技術は、ユーザの精密な動作より簡単な動作を解釈するとき適する。

他の技術として、機器に動作検知用カメラを取付けてカメラによって取得した画像情報を解読する方法がある。
この場合、ユーザが機器の前に存在することが前提でなければならないため、ユーザは身体と分離した機器を別に管理しなければならない。
また、画像においてユーザの身体が重なっている状態ではモーションを容易に解釈することができないという問題があった。

本発明は上記従来のモーション認識方法における問題点に鑑みてなされたものであって、本発明の目的は、ノート筆記及び描画のようなユーザ動作を精密に認識することのできるユーザインターフェースを有する把持された物体を用いたモーション認識方法及びその装置並びにシステムを提供することにある。

上記目的を達成するためになされた本発明による把持された物体を用いたモーション認識方法は、把持された物体を用いた筆記動作をユーザの手首に装着されたモーション認識装置によるモーション認識方法であって、前記把持された物体を用いた前記ユーザの前記筆記動作の開始を検出するステップと、前記把持された物体を用いた前記筆記動作によるユーザの手首状態を推定するステップと、前記筆記動作により、前記手首と関連する前記ユーザの人体部位の関節動作を推定するステップと、把持された前記物体の状態を前記手首状態及び前記関節動作により推定するステップとを有し、前記把持された物体の種類を識別するステップと、前記物体の状態を連続的に追跡し、前記物体の種類に対応する動作を行うステップと、をさらに有し、前記把持された物体を用いた前記ユーザの前記筆記動作の開始を検出するステップは、前記筆記動作により発生するサウンド及び前記筆記動作による前記物体に対する把持行為を検出した場合、前記筆記動作が開始されたと判断するステップを含み、前記筆記動作により発生するサウンドは、物体と接触面との間の摩擦音を含み、前記把持された物体の種類を識別するステップは、前記物体を把持した姿勢、前記筆記動作によるサウンド、及びユーザ音声の内の少なくとも１つを用いて前記物体の種類を識別するステップを含み、前記筆記動作は、筆記動作、筆記を修正する動作、及び筆記を消去する動作を含むことを特徴とする。

前記物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成するステップをさらに有することが好ましい。
前記把持された前記物体の状態を前記手首状態及び前記関節動作により推定するステップは、前記物体の筆記面と接触する部分の位置を前記手首状態及び前記関節動作により推定するステップを含むことが好ましい。
前記筆記動作によるユーザの手首状態を推定するステップは、前記把持された物体を用いた前記筆記動作による加速度を検出するステップと、前記加速度により前記手首状態を推定するステップとを含むことが好ましい。

前記筆記動作により、前記手首と関連する人体部位の関節動作を推定するステップは、前記筆記動作による前記手首と関連する人体部位の筋電図情報を検出するステップと、前記筋電図情報により前記関節動作を推定するステップとを含むことが好ましい。
前記ユーザに対応する生体信号を検出するステップと、前記生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて、推定された前記物体の状態の誤差を補正するステップとをさらに有することが好ましい。
前記物体の状態を連続的に追跡して生成された形態（ｆｉｇｕｒｅ）を格納するステップをさらに有することが好ましい。
前記筆記動作により、前記手首と関連する人体部位の関節動作を推定するステップは、前記物体を把持するために前記ユーザによって加えられた力の強度を推定するステップを含み、前記物体の状態を連続的に追跡し、前記力の強度に対応する太さで形態を生成するステップをさらに含むことが好ましい。

上記目的を達成するためになされた本発明による把持された物体を用いたモーション認識装置は、把持された物体を用いた筆記動作を行うユーザの手首に装着され、前記把持された物体を用いた前記筆記動作によるユーザの手首状態を推定する手首状態推定部と、前記筆記動作により、前記手首と関連する前記ユーザの人体部位の関節動作を推定する関節動作推定部と、把持された前記物体の状態を前記手首状態及び前記関節動作により推定する物体状態推定部とを備え、前記把持された物体を用いた前記筆記動作の開始を検出する動作開始検出部をさらに備え、前記動作開始検出部は、前記筆記動作により発生するサウンドを検出する音声検出部と、前記筆記動作により発生する前記サウンド及び前記筆記動作による前記物体に対する把持行為を検出した場合、前記筆記動作が開始されたと判断する動作開始判断部とを含み、前記物体の状態を連続的に追跡して形態（ｆｉｇｕｒｅ）を生成する筆記生成部をさらに備え、前記関節動作推定部は、前記ユーザが前記物体を把持するために前記ユーザによって加えられた力の強度を推定する把持強度推定部を含み、前記筆記生成部は、前記物体の状態を連続的に追跡し、前記力の強度に対応する太さで形態を生成し、前記筆記生成部は、前記物体を把持した姿勢、前記筆記動作によるサウンド、及びユーザ音声の内の少なくとも１つを用いて前記物体の種類を識別する物体識別部を含み、前記物体の種類による動作を行って前記形態を生成し、前記筆記動作により発生するサウンドは、前記物体と接触面との間の摩擦音を含み、前記筆記動作は、筆記動作、筆記を修正する動作、及び筆記を消去する動作を含むことを特徴とする。

前記物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成する信号生成部をさらに備えることが好ましい。
前記物体状態推定部は、前記物体の筆記面と接触する部分の位置を前記手首状態及び前記関節動作により推定する筆記面接触推定部を含むことが好ましい。
前記手首状態推定部は、前記把持された物体を用いた筆記動作による６軸に対する加速度を検出する加速度検出部を含み、前記加速度により前記手首の位置変化又は前記手首の回転の少なくとも１つを含む前記手首状態を推定することが好ましい。

前記関節動作推定部は、前記筆記動作により前記手首と関連する人体部位で発生する筋電図情報を検出する筋電図検出部を含み、前記筋電図情報により前記関節動作を推定することが好ましい。
前記ユーザに対応する生体信号を検出する生体信号検出部と、前記生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて、前記推定された物体の状態の誤差を補正する物体状態補正部をさらに備えることが好ましい。

上記目的を達成するためになされた本発明による把持された物体を用いたモーション認識システムは、本発明に係るモーション認識装置と、外部機器と、を備え、前記モーション認識装置は、物体の状態を連続的に追跡して生成した外部機器を制御するための制御信号を送信し、前記外部機器は、前記制御信号を受信した場合、前記制御信号に対応する予め決められた動作を行うことを特徴とする。

前記モーション認識装置は、前記物体の状態を連続的に追跡した形態（ｆｉｇｕｒｅ）に対応する外部機器を選択し、前記選択された外部機器を制御するための信号を前記制御信号で生成することが好ましい。
前記制御信号は、前記モーション認識装置が前記形態で前記外部機器の予め決められた部分を活性化するユーザ動作を検出した場合、前記外部機器が前記予め決められた部分に対応する動作を行うようにする制御命令を備えることが好ましい。

また、上記目的を達成するためになされた本発明による把持された物体を用いたモーション認識方法は、把持された物体を用いたユーザの手首に装着されたモーション認識装置によるモーション認識方法であって、前記把持された物体を用いた前記ユーザの動作の開始を検出するステップと、ユーザの手首状態及び前記手首と関連する人体部位の関節動作により前記把持された物体の状態を推定するステップと、前記把持された物体の状態を連続的に追跡することによって生成される、字、文章、及び図形の少なくとも１つを含む形態（ｆｉｇｕｒｅ）を格納するステップと、前記形態に対応する外部機器を識別するために前記形態を認識し、前記外部機器によって行われる動作を決定するステップと、前記外部機器が前記決定された動作を行うように指示する制御信号を前記外部機器に送信するステップとを有し、前記把持された物体を用いた前記ユーザの動作の開始を検出するステップは、前記ユーザの動作により発生するサウンド及び前記ユーザの動作による前記物体に対する把持行為を検出した場合、前記ユーザの動作が開始されたと判断するステップを含み、前記ユーザの動作により発生するサウンドは、物体と接触面との間の摩擦音を含むことを特徴とする。

前記形態は、文字を含み、前記形態を認識し、前記外部機器によって行われる動作を決定するステップは、前記文字を認識するステップを含むことが好ましい。
前記外部機器は、前記認識された文字に基づいて識別されることが好ましい。
前記外部機器によって行われる動作は、前記認識された文字に基づいて決定されることが好ましい。
前記外部機器は、前記外部機器を示す前記形態の認識に基づいて識別されることが好ましい。
前記形態の領域は、前記決定された動作を行う前記外部機器の一部分の図形であり、前記ユーザが前記一部分を選択した場合、前記決定された動作を前記外部機器が行うように指示する前記制御信号を送信するステップをさらに有することが好ましい。

本発明に係る把持された物体を用いたモーション認識方法及びその装置並びにシステムによれば、モーション認識装置は、ノート筆記及び描写するようなユーザ動作を精密に認識することのできるユーザインターフェース（ＵＩ、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供することができ、このようなユーザインターフェースは、別途の入出力装置が不要な新しい形態の直観的かつ自然なユーザインターフェースである。

また、モーション認識装置は、生体信号検出部、加速度検出部などを用いて手の動きを精密に推定し、これに基づいてノート筆記型の直観的なユーザインターフェースを提供することができる。
また、加速度検出部を用いてユーザの手を含む腕の大きい動きを把握し、筋電図センサを用いて個別の指を握ったり開いたりするユーザ動作、手首の動きなどを推定することができる。
また、予め決められた入出力装置や格納装置に当該ユーザ動作と関連する情報を送信してユーザにフィードバックを与えることができる。例えば、ユーザが筆記中である字、文章ないし絵を入出力装置で表示することができる。

また、本発明に係るモーション認識装置は、直観的かつ自然な筆記型ユーザインターフェースを提供することができる。
例えば、モーション認識装置は、制御しようとする外部機器を制御するためのディスプレイが必要でなくてもよい。他の例として、データを入力するためのモーション認識装置以外の別途装備が必要でなくてもよい。ユーザはこのようなモーション認識装置を介して直観的に外部機器を制御することができる。
また、ノート筆記されたデータ入力を無線でクラウドサーバなどに便利に送信することができる。また、外部機器を制御するためのアイコンを紙に、そして、筆記道具などでポインティン（Ｐｏｉｎｔｉｎｇ）して外部機器を制御することができる。

本発明の一実施形態による把持された物体を用いたモーション認識装置の形状を示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識システムの概略的な構成を示すブロック図である。 本発明の一実施形態による把持された物体を用いたモーション認識方法を説明するためのフローチャートである。 本発明の一実施形態による把持された物体を用いたモーションを認識して物体の状態を連続的に追跡する方法を説明するためのフローチャートである。 本発明の一実施形態による把持された物体を用いたモーション認識装置が認識結果を格納する工程を概略的に示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。 本発明の他の実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。 本発明のさらに他の実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。 本発明のさらに他の実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる空間的な動きの例を示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる空間的な動きの例を示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる関節動作の例を示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる関節動作の例を示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる関節動作の例を示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる関節動作の例を示す図である。 本発明の一実施形態により把持された物体を用いたモーションを認識する装置が検出できる関節動作の例を示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる関節動作の例を示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置がユーザが物体を把持した姿勢を推定し、物体が把持された姿勢及び手首の位置から物体の状態を推定することを示す図である。 本発明の一実施形態による把持された物体を用いたモーション認識装置の細部構成を示すブロック図である。 本発明の他の実施形態による把持された物体を用いたモーション認識装置の細部構成を示すブロック図である。

次に、本発明に係る物体を用いたモーション認識方法及びその装置並びにシステムを実施するための形態の具体例を図面を参照しながら説明する。

タッチ検出に基づいた入力装置を含むモバイル装置のユーザインターフェース（Ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）は、ユーザのタッチを検出してキーボードを認識する。
ユーザは、タッチ検出に基づいたキーボードを用いるために別途の使用法を習得しなければならず、使用法は直観的でないこともある。
また、ウェアラブル装置（Ｗｅａｒａｂｌｅ Ｄｅｖｉｃｅ）などのように小型化したモバイル装置が増加しつつ、タッチベースの入力装置を用いて装置を制御することがユーザにとって不便さを感じることもある。

図１は、本発明の一実施形態による把持された物体１８０を用いたモーション認識装置１１０の形状を示す図である。
ここで、モーション認識装置１１０は、ユーザ１９０によって把持された物体１８０の状態を推定する。
例えば、モーション認識装置１１０は、把持された物体１８０の状態を連続的に追跡することで、物体１８０を用いてユーザ１９０が筆記した内容を認識する。以下の本明細書で「筆記」とは、ユーザが物体を用いて特定内容を作成するユーザ動作として、字、文章及び図形（絵）などを作成するユーザ動作を含み得る。

本実施形態によると、例えば、モーション認識装置１１０は、ユーザ１９０によって、ユーザ１９０の手首に取り付けられる。
モーション認識装置１１０は、モーション信号、生体信号又はその他の形態の信号のうち少なくとも１つ以上を検出する少なくとも１つ以上のセンサを含み得る。
モーション認識装置１１０は、検出された様々な種類の生体信号、モーション信号などを組み合わせて、筆記する人体（例えば、手、手首、腕など）の各部位の動きを精密に推定する。ユーザ１９０は、本実施形態に係るモーション認識装置１１０を着用することによって、ノートなどに自在かつ直観的に筆記した内容を直接にコンピュータ読み出し可能なデータ形態で格納したり、筆記した内容に基づいて特定の外部機器とのインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）を行う。

また、筆記した内容は、モーション認識装置１１０と通信して外部データ格納領域として機能する外部機器に格納されてもよい。
例えば、モーション認識装置１１０は、ユーザ１９０からのモーションを認識して推定するとき、モーション認識装置１１０は有線又は無線で外部機器へモーションを示すデータを送信し、外部機器は後で用いるためにデータを格納してもよい。

ここで、物体１８０は、ユーザが特定内容を筆記するために用いる道具として、ペン、鉛筆、スタイラスペン、筆、及びユーザが任意に把持できる形体の物体などを含んでもよい。
把持できる形体の物体は、手で握ることができる長い形体の物体（例えば、箸など）を含んでもよい。把持された物体１８０は、把持された物体１８０の尖っている終端の動きが記録されるように、ユーザ１８０によって操作される尖っている終端を有し、記録された動きは筆記された内容として生成する。

図２は、本発明の一実施形態による把持された物体を用いたモーション認識システムの概略的な構成を示すブロック図である。
ここで、モーション認識システムは、モーション認識装置２１０、格納装置２２０、入出力装置２３０、及び外部機器２４０を備える。
本実施形態では外部機器２４０を示しているが、この装置はシステム内部に実現されてもよい。さらに、図２において、格納装置２２０、入出力装置２３０、及び外部機器２４０がモーション認識装置２１０の外部に示しているが、格納装置２２０、入出力装置２３０、及び外部機器２４０の全て又は少なくとも１つはモーション認識装置の内部又は一部として実現してもよい。

本実施形態に係るモーション認識装置２１０を着用したユーザがノートを筆記すると、モーション認識装置２１０はノート筆記２０１を認識する。
モーション認識装置２１０は、認識された筆記内容を格納装置２２０に格納したり、入出力装置２３０に伝達したり、筆記した内容に基づいて外部機器２４０を制御したりする。
モーション認識装置２１０がユーザの筆記２０１を認識する具体的な方法及び活用は下記の図３〜図１２を参照して詳細に説明する。

図３は、本発明の一実施形態による把持された物体を用いたモーション認識方法を説明するためのフローチャートである。
下記のステップは、モーション認識装置に含まれた検出部及び処理部によって行う。

ステップＳ３１０において、モーション認識装置は、筆記動作（ｗｒｉｔｉｎｇ ａｃｔｉｏｎ）の開始を検出する。
本実施形態によれば、筆記動作により発生するサウンド又は物体に対する把持行為の少なくとも１つを検出すると、筆記動作が開始されたと判断する。
例えば、筆記動作により発生するサウンドは、物体と接触面（例えば、紙面など）との間の摩擦音を含む。
本明細書において、「接触面」は、把持された物体が表面上に筆記するために接触を形成することのできる表面（筆記面）を示す一般的な用語として使用する。
例えば、筆記は紙面上に行われるが、他の適切な平面も他の実施形態として適用され得る。
ステップＳ３１０は、筆記動作が開始したことを示す摩擦音を解釈する。
又は、ユーザが取った特定の手の形状（例えば、ペンを握る姿勢）を検出すると、筆記動作が開始されたと判断する。ここで、筆記動作はユーザが把持した物体を用いて筆記するモーションを含む。

次に、ステップＳ３２０において、モーション認識装置は、筆記動作による手首状態を推定する。
ここで、手首状態は、手首の位置、手首の位置変化、回転角度、回転方向などを含む。
ユーザ１９０は筆記動作が発生するとき手首を動かすため、手首がどのように動くかに関する情報は筆記動作の推論のために役に立つため、モーション認識装置は把持された物体１８０がどのように操作されたかに関する情報を提供する。
例えば、モーション認識装置は、加速度センサを介して筆記動作による加速度を検出して手首の相対的な位置変化を推定する。加速度センサが６軸に対する加速度を検出する場合、手首の回転角度、回転方向を推定する。

続いて、ステップＳ３３０において、モーション認識装置は、筆記動作による関節動作（ｊｏｉｎｔ ｍｏｔｉｏｎ）を推定する。
ここで、関節動作は、手首と関連する人体部位における関節の動き（例えば、指及び腕を曲げる動作）を含んでもよい。
具体的には、モーション認識装置は、筆記動作による手首と関連する人体部位の筋電図（ＥＭＧデータ）を検出し、検出された筋電図に基づいて筋肉の収縮と弛緩による関節動作を推定する。例えば、手首と関連する人体部位は、指の関節、手首の関節、腕の関節、肩の関節などを含んでもよい。手首と関連する人体部位はこれに限定されることなく、ＥＭＧデータは他の人体部位から導き出されてもよい。

次に、ステップＳ３４０において、モーション認識装置は、把持された物体の状態を手首状態及び関節動作により推定する。
ここで、把持された物体の状態は、ユーザが物体を把持した姿勢及び動きによる物体の位置、物体が筆記面と接触する位置、物体の傾き、物体が押さえられた程度などを含む。
例えば、モーション認識装置は、物体が筆記面と接触する部分の位置を手首状態及び関節動作により推定する。

本実施形態によれば、モーション認識装置は、把持された物体の推定された状態における不正確性を補正するためにユーザの生体信号を検出し、生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて推定された物体の状態で誤差を補正する。動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いた補正は、後述の図１１を参照して詳細に説明する。

続いて、ステップＳ３５０において、モーション認識装置は、物体の状態を連続的に追跡する。
モーション認識装置は、物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成するか、又は物体を連続的に追跡して生成された形態（ｆｉｇｕｒｅ）を格納する。
例えば、物体を連続的に追跡して生成された形態は、コンピュータで読み出し可能なデータで格納するか、又は活用する。把持された物体の状態を追跡することでモーション認識装置は、ユーザが把持された物体を用いて筆記動作による筆記内容を示す情報を提供する。

ここで、物体を連続的に追跡して生成された“形態”は、ユーザが物体を用いて筆記した内容がモーション認識装置によって認識されたものであり、上述したようにユーザが作成した字、文章及び図形（絵）などが認識された結果として含まれ得る。

図４は、本発明の一実施形態による把持された物体を用いたモーションを認識して物体の状態を連続的に追跡する方法を説明するためのフローチャートである。

ステップＳ４１０において、モーション認識装置はユーザが物体を用いて筆記中であるか否かを判断する。
ユーザが物体を用いて筆記中であるか否かは、上述した図３に示すように、筆記動作が開始されたか否かに基づいて判断する。
例えば、筆記動作により発生するサウンド又は物体に対する把持行為の少なくとも１つを検出すると、筆記動作が開始されたと判断する。
ここで、ユーザが筆記中ではないと判断されると、モーション認識装置は筆記動作が開始するまで待機する。

次に、ステップＳ４５１において、モーション認識装置は、ユーザが物体を把持した力の強度を測定する。
モーション認識装置は、手首と関連する人体部位の関節動作からユーザが物体を把持した力の強度を推定する。
ステップＳ４５１において、測定された力は、ユーザ１９０が物体１８０を把持するために、ユーザの手の一部によって加えられる力である。例えば、ユーザが物体を握るために指を曲げるとき発生する筋肉の筋電図信号を検出し、筋電図信号の強度からユーザが物体を把持した力の強度を推定する。

続いて、ステップＳ４５２において、モーション認識装置は筆記の太さを設定する。
太さは、把持された物体１８０と筆記面間との接触が占める軌跡（ｆｏｏｔｐｒｉｎｔ）の太さを示す。
ここで、太さは、ユーザが筆記した内容の字の太さ、線の太さ、消しゴムで消す範囲、及び筆記修正道具が及ぼす効果の範囲を含んでもよい。
具体的には、モーション認識装置は、ステップＳ４５１で測定（推定）された力の強度に対応する太さを設定して上述した字や線の範囲などに適用する。例えば、力の強度が大きく推定されるほど、太さは力の強度に比例して大きく設定する。筆記修正道具は、筆記した内容を消す消しゴム、ブラシ効果を与えるブラシなどを含む。

一方、ステップＳ４５１と並行して、ステップＳ４５３において、モーション認識装置はユーザによって把持された物体の種類を識別する。
ここで、モーション認識装置は、ユーザが物体を把持した姿勢又は筆記動作によるサウンドの少なくとも１つを用いて物体の種類を識別する。
把持された物体の種類は、全体的な形態及び使用目的に対応する。
物体の種類を識別する具体的な方法は下記で詳細に説明する。

本実施形態によれば、モーション認識装置は、ユーザが物体を把持した姿勢を用いて物体の種類を識別する。
例えば、ユーザが物体を把持した姿勢がペンのように長い形の物体を把持した姿勢であれば、モーション認識装置はユーザによって把持された物体を筆記のための道具として識別する。
また、消しゴムのように太い形の物体を把持した姿勢であれば、モーション認識装置はユーザによって把持された物体を筆記を消す道具と識別する。
ただし、これに限定されることなく、モーション認識装置はユーザによって把持された物体の種類を各物体の固有な形に応じてユーザが取る姿勢に対応する道具として識別する。例えば、異なる方法で握られたり、特定のデザインされた（ｃｏｎｔｏｕｒｅｄ）把持された物体は、把持された物体の特定種類に属するものと認識されてもよい。

他の実施形態によれば、モーション認識装置は、筆記動作によるサウンドを用いてユーザによって把持された物体の種類を識別してもよい。
ここで、筆記動作によるサウンドは、物体と筆記面の接触面（例えば、紙面など）との間の摩擦音を含む。サウンドは把持された物体の適切な種類を識別するために分析される。
例えば、モーション認識装置は、物体と接触面との間の摩擦音が頻繁にす早く発生すると、把持された物体を消す道具として識別し、摩擦音が頻繁に発生せずゆっくり発生すると、把持された物体が筆記道具として識別してもよい。
このような方法は、所定の時間周期の間にどれほど多いサウンドが発生するかを追跡したり、又は、摩擦音の速度及び周期を追跡することによって実現され得る。例えば、把持された物体が筆記道具又は消しゴムであるかを判断するために閾値又は測量が存在し得る。

他の例として、モーション認識装置は、物体と接触面との間の摩擦音のサウンド波形を測定し、サウンド波形に対応する道具がユーザによって把持されたと識別してもよい。
このような波形が測定された場合、信号分析に基づいて識別されるよう摩擦音を特性化（ｃｈａｒａｃｔｅｒｉｚｅ）してもよい。
例えば、モーション認識装置は、筆記道具と紙面との間の摩擦音に対するサウンド波形及び消しゴムと紙面との間の摩擦音に対するサウンド波形を予め格納してもよい。モーション認識装置は、物体と紙面との間の摩擦音を予め格納されたサウンド波形と比較して把持された物体の種類を識別してもよい。このような比較に基づいて、モーション認識装置は、把持された物体を筆記道具又は消しゴムに分類する。例えば、分類はすでに存在する波形が把持された物体を用いて生成された波形と最も類似するかに基づく。

更なる例として、モーション認識装置は、ユーザの音声を認識して把持された物体の種類を識別してもよい。
例えば、ユーザが「レッド（ｒｅｄ）」と言った場合、モーション認識装置はユーザの音声を認識し、把持された物を「レッドペン」のように識別することができる。ただし、把持された物体が必ず音声認識された結果と同一でない場合もあり、音声認識命令は他の入力形態を指示してもよい。
例えば、ユーザはブラックペンで筆記しながらも、上述したように色を音声で認識させることによって、色などを自由に変更しながら筆記することができる。したがって、ユーザがブラックペンに筆記するとき、ユーザが「ブルー」と言った場合、ペンの色変換を示す。ただし、ユーザが消しゴム使用時、ユーザが「ブルー」と言った場合、ペンに対して色変換をしたように、消しゴムからペン種類に物体の種類を変えてもよい。

続いて、ステップＳ４５３にてモーション認識装置は、ユーザによって把持された物体を鉛筆のような筆記道具として判断した場合、ステップＳ４５４において、筆記内容に対応するデータを生成する。
モーション認識装置は、上述した図３に示したものと近似して、把持された物体の状態を連続的に追跡して筆記内容に対応するデータを生成する。ここで、モーション認識装置はステップＳ４５２で設定された太さで筆記を生成してもよい。

そして、ステップＳ４５３にてモーション認識装置は、ユーザによって把持された物体を消しゴムのような筆記修正道具として判断した場合、ステップＳ４５５において、筆記を修正する。
モーション認識装置は、上述した図３に示したものと近似して、把持された物体の状態を連続的に追跡して筆記を修正する。ここで、モーション認識装置は、ステップＳ４５２において、設定された太さで筆記を修正する効果を適用し得る。

続いてステップＳ４５６において、モーション認識装置は識別された物体の種類による動作を行ってユーザが筆記した内容に対応する形態（ｆｉｇｕｒｅ）を生成する。
具体的には、上述したステップＳ４５２、ステップＳ４５４及びステップＳ４５５により生成及び修正された筆記内容に対応するデータに基づいて形態を生成する。
例えば、物体を把持した強度に応じて筆記の軌跡の太さを異ならせながら、音声により認識した色で筆記した内容に対応する形態を生成してもよい。

次に、ステップＳ４５７において、モーション認識装置は、ユーザが筆記動作を終了したか否かを判断する。
例えば、ユーザが物体をこれ以上把持しない場合、物体を把持した姿勢が筆記するための姿勢ではない場合、一定時間以上、物体と接触面との間の摩擦音が検出されない場合、などにおいて筆記動作が終了したと判断する。
ただし、ユーザが筆記を終了したと判断される他のイベントがあってもよく、これらは単なる例示に過ぎない。本実施形態によれば、筆記動作が終了したと判断された場合には、モーション認識を終了し、筆記動作が終了していないと判断された場合には上述したステップＳ４１０に戻る。

図５は、本発明の一実施形態により把持された物体を用いたモーション認識装置が認識結果を格納する工程を概略的に示す図である。
図５に示すように、ユーザ５９０が特定内容を筆記すると、モーション認識装置５１０は物体５８０の状態を連続的に追跡して生成した形態を格納する。
本実施形態によれば、モーション認識装置５１０は、生成された形態を通信網、クラウドサービスなどを用いて格納装置５２０に格納する。ここで、格納装置５２０はサーバを含んでもよい。

図６は、本発明の一実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。
モーション認識装置６１０は、物体６８０の状態を連続的に追跡して生成した、外部機器６４０を制御するための制御信号を送信する。
制御信号を受信すると、外部機器６４０は、予め決められた（予め設定された）動作を実行する。

例えば、モーション認識装置６１０を着用したユーザ６９０が把持した物体６８０を用いて、図に示すように、電話番号（例えば、１２３−４５６−７８９０）及び「ｃａｌｌ」という内容を筆記する。把持された物体６８０の動きを追跡することによって、モーション認識装置６１０は、ユーザが筆記した内容がハイフン（−）、命令（例えば、「ｃａｌｌ」）を含む数字の羅列であるかどうかを認識する。このような認識に基づいて、モーション認識装置６１０は記載した電話番号に「電話」しようとするユーザ意図を推定することができる。

したがって、モーション認識装置６１０は、筆記された電話番号に電話せよとの命令を含む制御信号を、予め接続された外部機器６４０（例えば、スマートフォン）に対して無線送信する。
外部機器６４０は、上述した制御信号を受信すると、対応する電話番号に電話する。
このような例示は、ユーザが潜在的に作成しようとする筆記内容が意味を有するものを示す。様々な例示において、筆記内容は入力を提供するものとして認識してもよく、外部機器６４０で行われる命令を提供するものとして認識されてもよい。
他の例として、モーション認識装置６１０は、物体６８０の状態を連続的に追跡して生成した形態を入出力装置に無線又は有線で単に伝達してもよい。入出力装置は、伝えられた形態を表示してもよい。

図７は、本発明の他の実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。
モーション認識装置７１０は、物体７８０の状態を連続的に追跡した形態に対応する外部機器７４０を選択し、選択された外部機器７４０を制御するための信号を制御信号に生成する。
ここで、物体７８０の状態を連続的に追跡した形態は、外部機器７４０の名称、形状などを含んでもよい。把持された物体７８０の状態を連続的に追跡することによって、生成された形態が外部機器７４０とマッチングする単語又は図形（絵）を含んでいると、形態は制御される外部機器７４０としていずれかの外部機器７４０であるかを識別、判断するために使用される。

例えば、モーション認識装置７１０を着用したユーザ７９０が把持した物体７８０を用いて図に示すように、外部機器７４０の名称（例えば、「エアコン」）を筆記し、リモコンボタンを描写する。
モーション認識装置７１０は、筆記された名称に対応する外部機器７４０を選択し、選択された外部機器７４０を制御する。ここで、モーション認識装置７１０は、図７に示すように「エアコン」のリモコンが筆記されたことを認識し、エアコンの冷房温度を調節する。本実施形態によれば、ユーザ７９０がリモコンのボタンに対応する部分（図で、筆記された△、▽）をタップ（ｔａｐ）すると、モーション認識装置７１０がタップするユーザ動作を検出して外部機器７４０の「エアコン」の冷房温度を調節せよとの制御信号を生成する。

図８Ａ及び図８Ｂは、本発明のさらに他の実施形態による把持された物体を用いたモーション認識装置が外部機器を制御する工程を概略的に示す図である。
モーション認識装置８１０は、物体の状態を連続的に追跡した形態に対応する外部機器８４０を制御するための制御信号を生成する。

本実施形態によると、制御信号は、連続的に追跡された形態による予め決められた部分８０１に対し活性化するユーザ動作を検出した場合における、外部機器８４０が予め決められた部分８０１に対応する動作を行わせる制御命令を含む。
ここで、予め決められた部分８０１は、生成された形態で特定座標に対応する地点を含んでもよい。
モーション認識装置８１０は、自然形状及び予め決められた部分８０１と残り形態との間の関係に基づいて、予め決められた部分８０１が本質的に特定機能を含むかどうかを認識する。

例えば、モーション認識装置８１０を着用したユーザ８９０が把持した物体を用いて図８Ａ及び図８Ｂに示すように外部機器８４０に対応する形態を筆記する。
モーション認識装置８１０は、筆記された形態で予め決められた部分（例えば、シャッター）８０１に対し活性化するユーザ動作（例えば、タップするユーザ動作）を検出すると、対応する動作（例えば、撮影）を行わせる制御命令を含む制御信号を生成する。
例えば、ユーザ動作は、図８Ａに示すように、ユーザが指で予め決められた部分８０１をタップする動作、図８Ｂに示すようにユーザが把持した物体８８０を用いて予め決められた部分８０１をタップする動作を含んでもよい。
外部機器８４０（例えば、カメラ）は、制御信号を受信すると、予め決められた動作（例えば、撮影）を行う。

図９Ａ及び図９Ｂは、本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる空間的な動きの例を示す図である。
ここで、ユーザ９９０が着用したモーション認識装置９１０は、加速度検出部を介して検出した加速度信号を用いて手首の空間的な動きを含む手首状態を推定する。
モーション認識装置９１０は、ユーザ９９０のいずれの手首でも位置してもよいが、本実施形態によれば、モーション認識装置９１０は、ユーザ９９０が頻繁に使用する手の手首上に位置してもよい。
また、他の実施形態によれば、モーション認識装置は、ユーザの両手首に位置してもよい。また、さらに他の実施形態によれば、複数のモーション認識装置９１０をユーザ９９０の同じ手首上に用いて、分析のための情報を共に収集してもよい。
例えば、モーション認識装置９１０は、図９Ａに示すようなヒジ関節の動作による手首の位置変化、図９Ｂに示すような肩関節の動作による手首の位置変化などを推定する。

このような検出（測定）は、モーション認識装置９１０がモーション特性を推論する（例えば、手首の状態及び位置変化等の推定）を推定ために用いられる出力を有するモーション認識装置９１０に含まれた適切なセンサを用いて行われる。
本発明の実施形態によるモーション認識装置９１０が６軸に対する加速度検出部を含む場合、モーション認識装置９１０は、６軸に対する加速度信号から手首の回転角度及び回転方向などを推定できる。

図１０Ａ〜図１０Ｆは、本発明の一実施形態による把持された物体を用いたモーション認識装置が検出できる関節動作の例を示す図である。
ここで、モーション認識装置１０１０は筋電図検出部を介して検出した筋電図信号を用いて手首と関連する部位の関節運動を推定する。上述したようにＥＭＧ信号は、人体部位がどのように動くかに関する情報を提供するために用いられる筋骨格を介して伝えられる特定電気信号を示す。

例えば、モーション認識装置１０１０は、図１０Ａに示すような上下方向に対する手首の折れ程度、図１０Ｂに示すような左右方向に対する手首の折れ程度、及び折れ方向などを推定する。
また、モーション認識装置１０１０は、図１０Ｃに示すような手首の回転方向、回転角度、回転強度などを推定する。
上述したようにモーション認識装置１０１０は、ＥＭＧ信号を受信してもよく、図１０Ａ〜図１０Ｃに示すような手首動きの多様な形態を特定するためにＥＭＧ信号を解釈し得る。

他の例として、モーション認識装置１０１０は、図１０Ｄ及び図１０Ｅに示すような指の折れ程度及び折れ方向などを推定する。
また、図１０Ｆに示すようにユーザが指を折ることなく力を集中するユーザ動作（例えば、タップ）をとった場合も推定できる。
図１０Ａ〜図１０Ｃに対して、図１０Ｄ〜図１０ＦはＥＭＧ信号から測定される潜在的な筋肉活動の多様な形態を示す。
ただし、全体の手の動きを示す代わりに、図１０Ａ〜図１０Ｃ、図１０Ｄ〜図１０Ｅは優れた指の動きを示し、図１０Ｆは指が圧力を加える能力を示す。

図１０Ｇは、本発明の一実施形態による把持された物体を用いたモーション認識装置がユーザが物体を把持した姿勢を推定し、物体が把持された姿勢及び手首の位置から物体の状態を推定することを示す図である。
本実施形態によれば、モーション認識装置１０１０は、図９及び図１０Ａ〜Ｆに示すような手首と関連する部位の関節動作（例えば、指の曲げ、手首の折れなど）に基づいて、図１０Ｇに示すようにユーザが物体を把持した姿勢を推定し、物体が把持された姿勢及び手首の位置から物体の状態を推定する。

図１１は、本発明の一実施形態による把持された物体を用いたモーション認識装置の細部構成を示すブロック図である。
ここで、モーション認識装置１１００は、動作開始検出部１１１０、手首状態推定部１１２０、関節動作推定部１１３０、物体状態推定部１１４０、及び信号生成部１１５０を備える。

動作開始検出部１１１０は、把持された物体を用いた筆記動作の開始を検出する。
動作開始検出部１１１０は、筆記動作により発生するサウンドを検出するサウンド検出部と、サウンド又は物体に対する把持行為の少なくとも１つを検出すると、筆記動作が開始されたと判断する動作開始判断部を備える。
ここで、筆記動作により発生するサウンドは、物体と接触面との間の摩擦音を含んでもよい。

手首状態推定部１１２０は、把持された物体を用いた筆記動作によるユーザの手首状態を推定する。
手首状態推定部１１２０は、把持された物体を用いた筆記動作により６軸に対する加速度を検出する加速度検出部を含み、加速度により手首の位置変化又は手首の回転の少なくとも１つを含む手首状態を推定する。

関節動作推定部１１３０は、筆記動作により手首と関連する人体部位の関節動作を推定する。
関節動作推定部１１３０は、筆記動作により手首と関連する人体部位で発生する筋電図を検出する筋電図検出部を含み、検出された筋電図により関節動作を推定する。
関節動作推定部１１３０は、ユーザが物体を把持した力の強度を推定する把持強度推定部を備え、推定された力の強度は筆記生成部で用いられてもよい。

物体状態推定部１１４０は、把持された物体の状態を手首状態及び関節動作により推定する。
物体状態推定部１１４０は、物体が筆記面と接触する部分の位置を手首状態及び関節動作により推定する筆記面接触推定部を含んでもよい。
さらに、実施形態として、内容を認識するためにテキスト又は図形（絵）の筆記を処理してもよい。
例えば、テキスト命令（ｔｅｘｔｕａｌ ｃｏｍｍａｎｄ）は「ｅ−ｍａｉｌ」送信の命令を含んでもよく、パラメータはＥメールアドレスであってもよい。又は、図８に示したように、ユーザの意図を理解するために図形を解釈してもよい。

信号生成部１１５０は、物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成する。
信号生成部１１５０は、物体の状態を連続的に追跡して形態（ｆｉｇｕｒｅ）を生成する筆記生成部を含んでもよい。
筆記生成部は、物体の状態を連続的に追跡し、力の強度に対応する太さにて形態を生成してもよい。筆記生成部は、物体を把持した姿勢、筆記動作によるサウンド、及びユーザの音声の内の少なくとも１つを用いて物体の種類を識別する物体識別部を含み、物体の種類による動作を行って形態を生成してもよい。
例えば、物体の種類による動作は、文字及び文章を生成する動作及び図形（絵）を生成したり修正する動作を含んでもよい。
ここで、信号生成部１１５０は、生成された制御信号を通信部を介して外部機器、入出力装置、及び格納装置の内の少なくとも１つに送信してもよい。例えば、通信部は、有線又は無線（例えば、ブルートゥース（登録商標）、Ｗｉ−Ｆｉ、ジグビー（登録商標）など）で他の装置と通信できる。

本実施形態によれば、モーション認識装置１１００は、ユーザの生体信号を検出する生体信号検出部及び推定された物体の状態を検出された生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて補正する物体状態補正部を含んでもよい。
ここで、モーション認識装置は、生体信号検出部を取付けたユーザの動きにより発生する動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を生体信号から抽出し、動きアーチファクトからユーザの動きを逆追跡する。
物体状態補正部は、逆追跡したユーザ動きに基づいて物体状態推定部で推定した物体の状態を補正する。

例えば、生体信号は、心電図（ＥＣＧ、ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）、眼電図（ＥＯＧ、ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ）、筋電図（ＥＭＧ、ｅｌｅｃｔｒｏｍｙｏｇｒａｍ）、脳電図（ＥＥＧ、ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ）などを含んでもよい。
ここで、モーション認識装置１１００は、生体信号から抽出した動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）に基づいてユーザ動作を推定する。

図１２は、本発明の他の実施形態による把持された物体を用いたモーション認識装置の細部構成を示すブロック図である。
モーション認識装置１２００は、検出部１２１０、処理部１２２０、格納部１２３０、及び通信部１２４０を備える。

検出部１２１０は、生体信号、サウンド信号、加速度信号などを検出する。
例えば、検出部１２１０は、筋電図センサ、サウンドセンサ、心電図センサ、フォトプレチスモグラフィ（ＰＰＧ、Ｐｈｏｔｏｐｌｅｔｈｙｓｍｏｇｒａｐｈｙ）、インピーダンスセンサを含んでもよい。
ここで、生体信号は、心電図、眼電図、筋電図及び脳電図を含んでもよい。
サウンド信号は、モーション認識装置１２００周辺のサウンド及びユーザの音声などを含んでもよい。
加速度信号は、直線運動に対する３軸の加速度信号及び各軸を基準とする回転運動に対する３軸の加速度信号を含んでもよい。

処理部１２２０は、本発明の一実施形態による把持された物体を用いたモーション認識方法を行う。
検出部１２１０で検出された生体信号、加速度信号、及びサウンド信号を用いてユーザによって把持された物体の状態を推定し、物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成する。
例えば、筋電図信号から手首と関連する人体部位の関節動作を推定し、加速度信号から手首状態を推定し、推定された手首状態及び関節動作から物体の状態を推定する。
具体的には、上述した図３及び図４にて示した方法と近似して物体の状態を推定する。

格納部１２３０は、上述した図３及び図４に示した方法を行わせる命令語を含む１つ以上のプログラムを格納する。
本実施形態によれば、格納部１２３０は、物体の状態を連続的に追跡して生成された形態（ｆｉｇｕｒｅ）を格納してもよい。

通信部１２４０は、処理部１２２０で生成した制御信号を外部機器に伝達する。
ここで、通信部１２４０は、有線又は無線で外部機器、格納装置、及び入出力装置と通信してもよい。
例えば、通信部１２４０は、無線でモーション認識装置１２００が使用可能な外部機器、格納装置、及び入出力装置を検索してもよい。

本発明に係るモーション認識装置は、ノート筆記及び描画するようなユーザ動作を精密に認識することのできるユーザインターフェース（ＵＩ、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。
このようなユーザインターフェースは、別途の入出力装置が不要な新しい形態の直観的かつ自然なユーザインターフェースである。

本発明に係るモーション認識装置は、生体信号検出部、加速度検出部などを用いて手の動きを精密に推定し、これに基づいてノート筆記型の直観的なユーザインターフェースを提供することができる。
本発明に係るモーション認識装置は、加速度検出部を用いてユーザの手を含む腕の大きい動きを把握し、筋電図センサを用いて個別の指を握ったり開いたりするユーザ動作、手首の動きなどを推定するすることができる。

本発明の一実施形態によれば、手首型ウェアラブル装置を着用したユーザが任意の筆記道具で任意の紙に筆記したり図形（絵）を描けば、モーション認識装置が当該ユーザ動作を認識することができる。
このような実施形態がモーション認識装置を手首装着モーション認識装置に特定する一方、他の実施形態としてモーション認識装置に対する代替形態を提供してもよい。

モーション認識装置は、予め決められた入出力装置や格納装置に当該ユーザ動作と関連する情報を送信してユーザにフィードバックを与えることができる。
例えば、ユーザが筆記中である文字、文章、及び図形（絵）などを入出力装置で表示してもよい。

本発明に係るモーション認識装置は、直観的かつ自然な筆記型ユーザインターフェースを提供することができる。
例えば、モーション認識装置は、制御しようとする外部機器を制御するためのディスプレイが必要でなくてもよい。
他の例として、データを入力するためのモーション認識装置以外の別途装置を必要とすることはない。ユーザはこのようなモーション認識装置を介して直観的に外部機器を制御することができる。

本発明の一実施形態に係るモーション認識装置は、ノート筆記されたデータ入力を無線でクラウドサーバなどに便利に送信することができる。
また、外部機器を制御するためのアイコンを紙に、そして、筆記道具などでポインティン（Ｐｏｉｎｔｉｎｇ）して外部機器を制御することができる。

以上で説明した装置は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで実現してもよい。
例えば、実施形態で説明した装置及び構成要素は、例えば、プロセッサ、パイプラインプロセッサ（ｐｉｐｅｌｉｎｅ ｐｒｏｃｅｓｓｏｒ）、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて実現してもよい。

処理装置は、オペレーションシステム（ＯＳ）及びオペレーションシステム上で行われる１つ以上のソフトウェアアプリケーションを実行できる。また、処理装置はソフトウェアの実行に応答して、データをアクセス、格納、操作、処理及び生成する。理解の便宜のために、処理装置は１つが使用されるものと説明する場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又は、このうちの１つ以上の組み合わせを含んでもよく、所望のとおりに動作するよう処理装置を構成したり独立的又は結合的に処理装置を命令してもよい。
ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するため、どのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に、永久的、又は、一時的に具体化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。
ソフトウェア及びデータは、１つ以上のコンピュータ読み出し可能な記録媒体に格納されてもよい。

実施形態に係る方法は、様々なコンピュータ手段によって実行することができるプログラム命令形態で実現され、コンピュータで読み取り可能な記録媒体に記録することができる。
コンピュータで読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合わせて含むことができる。
記録媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェア当業者に公示された使用可能なものであってもよい。

尚、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

１１０、１１００、１２００ モーション認識装置
１８０ 物体
１９０ ユーザ
２０１ ノート筆記
２１０ モーション認識装置
２２０ 格納装置
２３０ 入出力装置
２４０ 外部機器
１１１０ 動作開始検出部
１１２０ 手首状態推定部
１１３０ 関節動作推定部
１１４０ 物体状態推定部
１１５０ 信号生成部
１２１０ 検出部
１２２０ 処理部
１２３０ 格納部
１２４０ 通信部

Claims (23)

1. 把持された物体を用いた筆記動作をユーザの手首に装着されたモーション認識装置によるモーション認識方法であって、
   前記把持された物体を用いた前記ユーザの前記筆記動作の開始を検出するステップと、
   前記把持された物体を用いた前記筆記動作によるユーザの手首状態を推定するステップと、
   前記筆記動作により、前記手首と関連する前記ユーザの人体部位の関節動作を推定するステップと、
   把持された前記物体の状態を前記手首状態及び前記関節動作により推定するステップとを有し、
   前記把持された物体の種類を識別するステップと、
   前記物体の状態を連続的に追跡し、前記物体の種類に対応する動作を行うステップと、をさらに有し、
   前記把持された物体を用いた前記ユーザの前記筆記動作の開始を検出するステップは、前記筆記動作により発生するサウンド及び前記筆記動作による前記物体に対する把持行為を検出した場合、前記筆記動作が開始されたと判断するステップを含み、
   前記筆記動作により発生するサウンドは、物体と接触面との間の摩擦音を含み、
   前記把持された物体の種類を識別するステップは、前記物体を把持した姿勢、前記筆記動作によるサウンド、及びユーザ音声の内の少なくとも１つを用いて前記物体の種類を識別するステップを含み、
   前記筆記動作は、筆記動作、筆記を修正する動作、及び筆記を消去する動作を含むことを特徴とする把持された物体を用いたモーション認識方法。
2. 前記物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成するステップをさらに有することを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。
3. 前記把持された前記物体の状態を前記手首状態及び前記関節動作により推定するステップは、前記物体の筆記面と接触する部分の位置を前記手首状態及び前記関節動作により推定するステップを含むことを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。
4. 前記筆記動作によるユーザの手首状態を推定するステップは、前記把持された物体を用いた前記筆記動作による加速度を検出するステップと、
   前記加速度により前記手首状態を推定するステップとを含むことを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。
5. 前記筆記動作により、前記手首と関連する人体部位の関節動作を推定するステップは、前記筆記動作による前記手首と関連する人体部位の筋電図情報を検出するステップと、
   前記筋電図情報により前記関節動作を推定するステップとを含むことを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。
6. 前記ユーザに対応する生体信号を検出するステップと、
   前記生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて、推定された前記物体の状態の誤差を補正するステップとをさらに有することを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。
7. 前記物体の状態を連続的に追跡して生成された形態（ｆｉｇｕｒｅ）を格納するステップをさらに有することを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。
8. 前記筆記動作により、前記手首と関連する人体部位の関節動作を推定するステップは、前記物体を把持するために前記ユーザによって加えられた力の強度を推定するステップを含み、
   前記物体の状態を連続的に追跡し、前記力の強度に対応する太さで形態を生成するステップをさらに含むことを特徴とする請求項１に記載の把持された物体を用いたモーション認識方法。
9. 把持された物体を用いた筆記動作を行うユーザの手首に装着され、
   前記把持された物体を用いた前記筆記動作によるユーザの手首状態を推定する手首状態推定部と、
   前記筆記動作により、前記手首と関連する前記ユーザの人体部位の関節動作を推定する関節動作推定部と、
   把持された前記物体の状態を前記手首状態及び前記関節動作により推定する物体状態推定部とを備え、
   前記把持された物体を用いた前記筆記動作の開始を検出する動作開始検出部をさらに備え、
   前記動作開始検出部は、前記筆記動作により発生するサウンドを検出する音声検出部と、
   前記筆記動作により発生する前記サウンド及び前記筆記動作による前記物体に対する把持行為を検出した場合、前記筆記動作が開始されたと判断する動作開始判断部とを含み、
   前記物体の状態を連続的に追跡して形態（ｆｉｇｕｒｅ）を生成する筆記生成部をさらに備え、
   前記関節動作推定部は、前記ユーザが前記物体を把持するために前記ユーザによって加えられた力の強度を推定する把持強度推定部を含み、
   前記筆記生成部は、前記物体の状態を連続的に追跡し、前記力の強度に対応する太さで形態を生成し、
   前記筆記生成部は、前記物体を把持した姿勢、前記筆記動作によるサウンド、及びユーザ音声の内の少なくとも１つを用いて前記物体の種類を識別する物体識別部を含み、前記物体の種類による動作を行って前記形態を生成し、
   前記筆記動作により発生するサウンドは、前記物体と接触面との間の摩擦音を含み、
   前記筆記動作は、筆記動作、筆記を修正する動作、及び筆記を消去する動作を含むことを特徴とする把持された物体を用いたモーション認識装置。
10. 前記物体の状態を連続的に追跡して外部機器を制御するための制御信号を生成する信号生成部をさらに備えることを特徴とする請求項９に記載の把持された物体を用いたモーション認識装置。
11. 前記物体状態推定部は、前記物体の筆記面と接触する部分の位置を前記手首状態及び前記関節動作により推定する筆記面接触推定部を含むことを特徴とする請求項９に記載の把持された物体を用いたモーション認識装置。
12. 前記手首状態推定部は、前記把持された物体を用いた前記筆記動作による６軸に対する加速度を検出する加速度検出部を含み、
    前記加速度により前記手首の位置変化又は前記手首の回転の少なくとも１つを含む前記手首状態を推定することを特徴とする請求項９に記載の把持された物体を用いたモーション認識装置。
13. 前記関節動作推定部は、前記筆記動作により前記手首と関連する人体部位で発生する筋電図情報を検出する筋電図検出部を含み、
    前記筋電図情報により前記関節動作を推定することを特徴とする請求項９に記載の把持された物体を用いたモーション認識装置。
14. 前記ユーザに対応する生体信号を検出する生体信号検出部と、
    前記生体信号による動きアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）を用いて、前記推定された物体の状態の誤差を補正する物体状態補正部をさらに備えることを特徴とする請求項９に記載の把持された物体を用いたモーション認識装置。
15. 請求項９に記載のモーション認識装置と、
    外部機器と、を備え、
    前記モーション認識装置は、物体の状態を連続的に追跡して生成した外部機器を制御するための制御信号を送信し、
    前記外部機器は、前記制御信号を受信した場合、前記制御信号に対応する予め決められた動作を行うことを特徴とする把持された物体を用いたモーション認識システム。
16. 前記モーション認識装置は、前記物体の状態を連続的に追跡した形態（ｆｉｇｕｒｅ）に対応する外部機器を選択し、前記選択された外部機器を制御するための信号を前記制御信号で生成することを特徴とする請求項１５に記載の把持された物体を用いたモーション認識システム。
17. 前記制御信号は、前記モーション認識装置が前記形態で前記外部機器の予め決められた部分を活性化するユーザ動作を検出した場合、前記外部機器が前記予め決められた部分に対応する動作を行うようにする制御命令を備えることを特徴とする請求項１６に記載の把持された物体を用いたモーション認識システム。
18. 把持された物体を用いたユーザの手首に装着されたモーション認識装置によるモーション認識方法であって、
    前記把持された物体を用いた前記ユーザの動作の開始を検出するステップと、
    ユーザの手首状態及び前記手首と関連する人体部位の関節動作により前記把持された物体の状態を推定するステップと、
    前記把持された物体の状態を連続的に追跡することによって生成される、字、文章、及び図形の少なくとも１つを含む形態（ｆｉｇｕｒｅ）を格納するステップと、
    前記形態に対応する外部機器を識別するために前記形態を認識し、前記外部機器によって行われる動作を決定するステップと、
    前記外部機器が前記決定された動作を行うように指示する制御信号を前記外部機器に送信するステップとを有し、
    前記把持された物体を用いた前記ユーザの動作の開始を検出するステップは、前記ユーザの動作により発生するサウンド及び前記ユーザの動作による前記物体に対する把持行為を検出した場合、前記ユーザの動作が開始されたと判断するステップを含み、
    前記ユーザの動作により発生するサウンドは、物体と接触面との間の摩擦音を含むことを特徴とする把持された物体を用いたモーション認識方法。
19. 前記形態は、文字であり、
    前記形態を認識し、前記外部機器によって行われる動作を決定するステップは、前記文字を認識するステップを含むことを特徴とする請求項１８に記載の把持された物体を用いたモーション認識方法。
20. 前記外部機器は、前記認識された文字に基づいて識別されることを特徴とする請求項１９に記載の把持された物体を用いたモーション認識方法。
21. 前記外部機器によって行われる動作は、前記認識された文字に基づいて決定されることを特徴とする請求項１９に記載の把持された物体を用いたモーション認識方法。
22. 前記外部機器は、前記外部機器を示す前記形態の認識に基づいて識別されることを特徴とする請求項１８に記載の把持された物体を用いたモーション認識方法。
23. 前記形態の領域は、前記決定された動作を行う前記外部機器の一部分の図形であり、
    前記ユーザが前記一部分を選択した場合、前記決定された動作を前記外部機器が行うように指示する前記制御信号を送信するステップをさらに有することを特徴とする請求項２２に記載の把持された物体を用いたモーション認識方法。

Images