JP7062833B2 - 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体 - Google Patents

Description

本発明は客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体に関する。

最近、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）や仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）に関する関心が高まり関連技術分野の研究開発が活発に進行されるにつれて、現実空間や仮想現実空間で使用者の視線とその使用者のモーションに基づいてデバイス、仮想客体などを制御することを支援する技術が紹介されている。

図１は、使用者の視線およびその使用者のジェスチャーを利用して客体を制御する従来技術を例示的に示した図面である。

図１を参照すると、従来技術の一例にしたがって、使用者の視線１０とその使用者の手先２０が一致する延長線３０をＴＶ５０と一致４０させた後、使用者の手先２０を右側６０に移動させると、その右側に移動する手先２０を認識して該当ＴＶ５０のチャネルが次のチャネルに変更されるようにしたり、使用者の手先２０を使用者側（すなわち、後進（ｂａｃｋ））７０に移動させると、その使用者側に移動する手先２０を認識して該当ＴＶ５０の音量が減少するようにすることができる。

しかし、前記のような従来技術をはじめとしてこれまで紹介された技術によると、使用者の手先２０などのような身体部位を通じて客体を制御しようとする使用者の意図を判断するにおいて、使用者の状況、特性（例えば、習慣、身体）等を全く考慮せず（例えば、使用者が客体に向かう方向、使用者が座っているかあるいは立っているかの可否、使用者の体と手がなす角度、主使用関節などに対して考慮せず）、初期に既設定された空間座標系に基づいて使用者のジェスチャーおよび意図を認識するため、使用者の身体的な特徴や使用者とカメラとの間の位置関係などの多様な要因により使用者のモーション（すなわち、動作）が使用者の意図と異なって誤認識される問題が発生する。

また、従来技術によると、使用者が行うモーションの方向がリアルタイムに変化する場合にも、既設定された空間座標系を基準として使用者のモーションを認識したり、既設定された空間座標系をその都度少しずつ補正しながら使用者のモーションを認識するしかなかったため、このような従来技術では使用者が行うモーションの類型や使用者とカメラとの間の位置関係が多様な方式で迅速に変わる実際の使用環境で使用者のモーションを正確に認識することが難しいという限界が存在する。

そこで、本発明者は、使用者が行うモーションの支配的な成分を示すことができるモーション基準空間座標系を動的に設定し、そのモーション基準空間座標系を基準として特定されるモーション跡またはその属性を分析することによって、使用者が行うモーションの意図を正確かつ迅速に認識できる技術を提案するところである。

本発明は前述した従来技術の問題点をすべて解決することのをその目的とする。

また、本発明は使用者が行うモーションの支配的な成分を示すことができるモーション基準空間座標系を動的に設定し、そのモーション基準空間座標系を基準として特定されるモーション跡またはその属性を分析することによって、使用者が行うモーションの意図を正確かつ迅速に認識することをさらに他の目的とする。

また、本発明は３次元の実世界空間で使用者が行うモーションを３次元より低い次元のモーション基準空間座標系を基準として認識することによって（すなわち、モーション認識に必要な次元を縮小させることによって）、使用者が行うモーションの意図をより効率的に認識することをさらに他の目的とする。

前記目的を達成するための本発明の代表的な構成は次の通りである。

本発明の一態様によると、客体の制御を支援するための方法であって、使用者が行うモーション跡を参照して前記モーションを支配的に示すことができる支配成分を決定し、前記支配成分を参照してモーション基準空間座標系を動的に設定する段階、および前記モーション基準空間座標系を基準として特定される前記跡および前記跡の属性のうち少なくとも一つを参照して前記モーションの意図を認識する段階を含む方法が提供される。

本発明の他の態様によると、客体の制御を支援するためのシステムであって、使用者が行うモーション跡を参照して前記モーションを支配的に示すことができる支配成分を決定し、前記支配成分を参照してモーション基準空間座標系を動的に設定する空間座標系管理部、および前記モーション基準空間座標系を基準として特定される前記跡および前記跡の属性のうち少なくとも一つを参照して前記モーションの意図を認識するモーション認識部を含むシステムが提供される。

この他にも、本発明を具現するための他の方法、他のシステムおよび前記方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。

本発明によると、使用者が行うモーションの支配的な成分を示すことができるモーション基準空間座標系を動的に設定し、そのモーション基準空間座標系を基準として特定されるモーション跡またはその属性を分析することができるため、実際の使用環境で使用者が行うモーションの意図を正確かつ迅速に認識することができる効果が達成される。

本発明によると、３次元の実世界空間で使用者が行うモーションを３次元より低い次元のモーション基準空間座標系で認識することができるため（すなわち、モーション認識に必要な次元を縮小させることができるため）、使用者が行うモーションの意図をより効率的に認識することができる。

使用者の視線およびその使用者のジェスチャーを利用して客体を制御する従来技術を例示的に示した図面である。 本発明の一実施例により客体の制御を支援するための全体システムの概略的な構成を示す図面である。 本発明の一実施例に係る客体制御支援システムの内部構成を詳細に示す図面である。 本発明の一実施例によりモーション基準空間座標系が１次元に設定される場合を例示的に示す図面である。 本発明の一実施例により１次元に設定されるモーション基準空間座標系を基準として特定されるモーション跡またはその変化を参照してモーションの意図を認識する構成を例示的に示す図面である。 本発明の一実施例によりモーション基準空間座標系が２次元に設定される場合を例示的に示す図面である。 本発明の一実施例により２次元に設定されるモーション基準空間座標系を基準として特定されるモーション跡またはその変化を参照してモーションの意図を認識する構成を例示的に示す図面である。

１００：通信網
２００：客体制御支援システム
２１０：空間座標系管理部
２２０：モーション認識部
２３０：通信部
２４０：制御部
３００：客体

後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。このような実施例は当業者が本発明を十分に実施できるように詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、本明細書に記載されている特定の形状、構造および特性は本発明の精神と範囲を逸脱することなく一実施例から他の実施例に変更されて具現され得る。また、それぞれの実施例内の個別構成要素の位置または配置も本発明の精神と範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定的な意味で行われるものではなく、本発明の範囲は特許請求の範囲の請求項が請求する範囲およびそれと均等なすべての範囲を包括するものと理解されるべきである。図面で類似する参照符号は多様な側面にわたって同一または類似する構成要素を示す。

以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の多様な好ましい実施例に関して添付された図面を参照して詳細に説明する。

全体システムの構成

図２は、本発明の一実施例により客体の制御を支援するための全体システムの構成を例示的に示す図面である。

図２に図示された通り、本発明の一実施例に係る全体システムは通信網１００、客体制御支援システム２００および客体３００を含んで構成され得る。

まず、本発明の一実施例に係る通信網１００は有線通信や無線通信のような通信の様態にかかわらず構成され得、近距離通信網（ＬＡＮ；Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ；Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ；Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の多様な通信網で構成され得る。好ましくは、本明細書で言う通信網１００は公知のインターネットまたはワールドワイドウェブ（ＷＷＷ；Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）であり得る。しかし、通信網１００は、これに限定されず、公知の有無線データ通信網、公知の電話網または公知の有無線テレビ通信網をその少なくとも一部において含んでもよい。

例えば、通信網１００は無線データ通信網であって、無線周波数（ＲＦ；Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）通信、Ｗｉ－Ｆｉ（ＷｉＦｉ）通信、セルラー（ＬＴＥなど）通信、ブルートゥース通信（さらに具体的には、低電力ブルートゥース（ＢＬＥ；Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ））、赤外線通信、超音波通信などのような従来の通信方法を少なくともその一部分において具現するものであり得る。

次に、本発明の一実施例に係る客体制御支援システム２００は、メモリ手段を具備しマイクロ・プロセッサを搭載して演算能力を備えたデジタルデバイスであり得る。このような客体制御支援システム２００はサーバーシステムであり得る。

本発明の一実施例によると、客体制御支援システム２００は、使用者が行うモーション跡を参照してモーションを支配的に（ｄｏｍｉｎａｎｔｌｙ）示すことができる支配成分を決定し、前記決定される支配成分を参照してモーション基準空間座標系を動的に設定し、モーション基準空間座標系を基準として特定されるモーション跡およびモーション跡の属性のうち少なくとも一つを参照してモーションの意図を認識する機能を遂行することができる。

本発明で言うモーションは、使用者から行われるあらゆる動きを意味するものであって、該当モーションを認識または測定するために設定される基準時間または基準距離ごとに獲得されるデータ（位置、角度、方向など）に基づいて特定される複数の単位モーションを含む概念であるか、その複数の単位モーションそれぞれを指し示す概念であり得る。例えば、本発明の一実施例に係る使用者のモーションは、１／１０秒ごとに測定されるデータに基づいて特定されるか、１ｃｍ以上の位置変化が発生するたびに特定され得る。

また、本発明の一実施例によると、使用者が行うモーション跡は、該当モーションの基準となる特徴点（例えば、使用者の指先部分、使用者が所持するポインタなど）を撮影した映像を構成する複数のフレーム（ｆｒａｍｅ）に基づいて特定され得る。具体的には、本発明の一実施例によると、使用者が行うモーション跡は、モーションの基準となる特徴点の３次元空間座標値を空間座標系上に時間に沿って累積させることによって獲得され得る。

一方、本発明の一実施例によると、モーション跡は加速度センサ、ジャイロセンサなどの他のセンシング手段による測定データを時間に沿って累積させることによって特定されてもよい。

本発明に係る客体制御支援システム２００の構成と機能については以下で詳述する。一方、客体制御支援システム２００について前記のように説明したが、このような説明は例示的なものであり、客体制御支援システム２００に要求される機能や構成要素の少なくとも一部が、必要に応じて制御の対象となる客体３００または外部システム（図示されず）内で実現されたり、客体３００または外部システム（図示されず）内に含まれてもよいことは当業者に自明である。

次に、本発明の一実施例によると、客体３００は使用者によって行われるモーションを通じて制御され得る対象としての機能を遂行することができる。すなわち、本発明の一実施例により客体３００は、客体制御支援システム２００、他の客体３００または外部システム（図示されず）から使用者のモーションによる制御操作を受信し、前記受信される制御操作にしたがって自身の動作または機能が制御されるようにすることができる。本発明の一実施例により客体３００は、実世界に存在する実物客体であり得、仮想現実に存在したり実世界に対して拡張（ａｕｇｍｅｎｔｅｄ）、混合（ｍｉｘｅｄ）または融合（ｍｅｒｇｅｄ）され得る仮想客体であり得る。

具体的には、本発明の一実施例に係る客体３００は、客体制御支援システム２００、他の客体３００または外部システム（図示されず）に接続した後に通信できる機能を含むデバイスであり得、メモリ手段を具備しマイクロ・プロセッサを搭載して演算能力を備えたデバイスであればいくらでも本発明に係る客体３００として採択され得る。具体的には、本発明の一実施例によると、客体３００はスマートガラス、スマートウォッチ、スマートバンド、スマートリング、スマートネックレスなどのようなウェアラブルデバイスであるか、スマートフォン、スマートパッド、デスクトップコンピュータ、ノートブックコンピュータ、ワークステーション、ＰＤＡ、ウェブパッド、移動電話機などのような多少伝統的なデバイスであり得る。また、本発明の一実施例により客体３００はＴＶ、スピーカー、電灯、エアコン、加湿器、タンス、窓、ブラインドなどのようなＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイスでもよい。

また、本発明の一実施例に係る客体３００は、客体制御支援システム２００、他の客体３００または外部システム（図示されず）と通信できる機能が備えられていないか、メモリ手段またはマイクロ・プロセッサが備えられていないまま、実世界で所定の物理的な位置を有する一般的な事物でもよい。例えば、温度計、写真、絵、人形、鏡のような一般的な事物が本発明の一実施例に係る客体３００として採択され得る。

一方、本発明の一実施例によりデバイスである客体３００には、本発明に係る機能を遂行するためのアプリケーションプログラムがさらに含まれていてもよい。このようなアプリケーションは該当デバイス内でプログラムモジュールの形態で存在することができる。このようなプログラムモジュールの性格は、客体制御支援システム２００の空間座標系管理部２１０およびモーション認識部２２０と全般的に類似し得る。ここで、アプリケーションはその少なくとも一部が必要に応じてそれと実質的に同一または均等な機能を遂行できるハードウェア装置やファームウェア装置で置換されてもよい。

客体制御支援システムの構成

以下では、本発明の具現のために重要な機能を遂行する客体制御支援システム２００の内部構成および各構成要素の機能について詳察する。

図３は、本発明の一実施例に係る客体制御支援システム２００の内部構成を詳細に示す図面である。

図３に図示された通り、客体制御支援システム２００は、空間座標系管理部２１０およびモーション認識部２２０、通信部２３０および制御部２４０を含んで構成され得る。本発明の一実施例によると、空間座標系管理部２１０およびモーション認識部２２０、通信部２３０および制御部２４０は、そのうち少なくとも一部が外部のシステムと通信するプログラムモジュールであり得る。このようなプログラムモジュールは運営システム、アプリケーションモジュールまたはその他のプログラムモジュールの形態で客体制御支援システム２００に含まれ得、物理的には多様な公知の記憶装置に保存され得る。また、このようなプログラムモジュールは客体制御支援システム２００と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり、特定の抽象データの類型を実行するルーチン、サブルーチン、プログラム、客体、コンポーネント、データ構造などを包括するが、これに制限されはしない。

まず、本発明の一実施例によると、空間座標系管理部２１０は、使用者が行うモーション跡を参照して該当モーションを支配的に示すことができる支配成分を決定することができる。

具体的には、本発明の一実施例に係る空間座標系管理部２１０は、モーション跡から支配成分の方向および大きさを決定することができ、前記決定される支配成分の方向および大きさに基づいて後述するモーション基準空間座標系の次元数および基準座標軸を決定することができる。より具体的には、本発明の一実施例によると、前記次元数は臨界水準以上の大きさを有する支配成分の数に基づいて決定され得、前記基準座標軸は臨界水準以上の大きさを有する支配成分の方向に基づいて決定され得る。

例えば、本発明の一実施例に係る空間座標系管理部２１０は、特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、固有値分解（Ｅｉｇｅｎ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、潜在意味分析（Ｌａｔｅｎｔ Ｓｅｍａｎｔｉｃ Ａｎａｌｙｓｉｓ）および非負値行列因子分解（Ｎｏｎ－ｎｅｇａｔｉｖｅ Ｍａｔｒｉｘ Ｆａｃｔｏｒｉｚａｔｉｏｎ）のうち少なくとも一つを利用してモーションの支配成分の方向および大きさを決定することができる。

以下では、主成分分析を利用してモーションの支配成分の方向および大きさを決定する実施例について詳察する。

本発明の一実施例によると、空間座標系管理部２１０は、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を利用してモーション跡から主成分を導き出すことができ、前記導き出される主成分に基づいてモーションの支配成分の大きさおよび方向を決定することができる。本発明で言う主成分分析は、高次元のデータを低次元のデータに変換する分析方法であって、互いに関連可能性のある高次元空間の標本を線形関連性のない低次元空間の標本に変換するために直交変換が使われ得、主成分の次元数は元の標本の次元数より小さいか同じであり得る。

具体的には、本発明の一実施例に係る空間座標系管理部２１０は、３次元座標系でモーション跡を構成する複数の点に対して特異値分解を遂行して代表性を有する点を選別し、その選別された点を支配成分に該当するある座標軸に投影（ｐｒｏｊｅｃｔｉｏｎ）させた時、その分散が最も大きくなる座標軸を最初の主成分として決定し、その分散が二番目に大きくなる座標軸を二番目の主成分として決定することができる。

例えば、本発明の一実施例に係る空間座標系管理部２１０は、使用者が行うモーション跡に対して主成分分析を遂行するにおいて、（１）最初の主成分の変数比率ＰＣ１が臨界水準未満であると該当モーションの支配成分がないものと判断することができ（例えば、停止モーション）、（２）最初の主成分の変数比率ＰＣ１が臨界水準以上であり、二番目の主成分の変数比率ＰＣ２が臨界水準未満であると該当モーションの支配成分が一つであるものと判断することができ（例えば、前進、後進、上、下、左、右などのモーション）、（３）最初の主成分の変数比率ＰＣ１と二番目の主成分の変数比率ＰＣ２がすべて臨界水準以上であり、最初の主成分の変数比率に対する二番目の主成分の変数比率の相対値（ＰＣ２／ＰＣ１）が臨界水準以上であると該当モーションの支配成分が二つであるものと判断することができ（例えば、２次元平面上での回転、図形または文字を描くなどのモーション）、（４）最初の主成分の変数比率ＰＣ１、二番目の主成分の変数比率ＰＣ２および三番目の主成分の変数比率ＰＣ３がすべて臨界水準以上であると該当モーションの支配成分が三つであるものと判断することができる（例えば、螺旋形（ｓｐｉｒａｌ）に動くモーションなど）。

さらに、本発明の一実施例によると、空間座標系管理部２１０は、前記決定される支配成分を参照してモーション基準空間座標系を動的に設定することができる。具体的には、本発明の一実施例に係る空間座標系管理部２１０は、前記決定される支配成分の方向および大きさに基づいてモーション基準空間座標系の次元数および基準座標軸を決定することができる。

例えば、本発明の一実施例に係る空間座標系管理部２１０は、（１）モーションの支配成分がないものと決定される場合、モーション基準空間座標系が０次元の座標系であるものと決定することができ、（２）モーションの支配成分が一個であるものと決定される場合、モーション基準空間座標系が支配成分の方向に対応する基準座標軸に特定される１次元空間座標系であるものと設定することができ、（３）モーションの支配成分が二つであるものと決定される場合、モーション基準空間座標系が二つの支配成分の方向にそれぞれ対応する二つの基準座標軸に特定される２次元空間座標系であるものと設定することができ、（４）モーションの支配成分が三つであるものと決定される場合、モーション基準空間座標系が三つの支配成分の方向にそれぞれ対応する三つの基準座標軸に特定される３次元空間座標系であるものと設定することができる。

一方、本発明の一実施例によると、空間座標系管理部２１０は、使用者が行うモーションの支配成分を参照してモーション基準空間座標系を動的に設定することができるため、モーション基準空間座標系は使用者が行うモーションが変わるにつれて該当モーションの認識に適合な方向に（すなわち、適応的に）変わり得る。例えば、使用者が前進または後進のような１次元的なモーションを行う場合には一つの基準座標軸によって特定される１次元空間座標系がモーション基準空間座標系として設定され得、使用者が回転のような２次元的なモーションを行う場合には二つの基準座標軸（すなわち、２次元基準座標平面）によって特定される２次元空間座標系がモーション基準空間座標系として設定され得る。

以上、使用者が行うモーションの支配成分を決定するために主成分分析を利用する実施例について主に説明したが、本発明の範囲は必ずしも前記実施例に限定されるものではなく、モーションの支配成分を決定できる技術であればいくらでも他の技術を利用できることを明らかにしておく。本発明の他の実施例によると、空間座標系管理部２１０は、固有値分解（Ｅｉｇｅｎ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、潜在意味分析（Ｌａｔｅｎｔ Ｓｅｍａｎｔｉｃ Ａｎａｌｙｓｉｓ）、非負値行列因子分解（Ｎｏｎ－ｎｅｇａｔｉｖｅ Ｍａｔｒｉｘ Ｆａｃｔｏｒｉｚａｔｉｏｎ）等の技術を利用してモーションの支配成分を決定することができる。

一方、本発明の一実施例によると、客体制御支援システム２００は、使用者が行うモーション跡を参照して該当モーションの支配的な成分を示すことができるモーション基準空間座標系が設定されると、該当モーション基準空間座標系と関連したグラフィック要素を視覚的に提供することによって使用者の理解を助ける使用者インターフェース管理部（図示されず）をさらに含むことができる。例えば、本発明の一実施例に係る使用者インターフェース管理部（図示されず）は、モーション基準空間座標系が０次元に設定される場合には点（●）の形状のグラフィック要素を表示することができ、モーション基準空間座標系が１次元に設定される場合には矢印（－＞）の形状のグラフィック要素を表示することができ、モーション基準空間座標系が２次元に設定される場合には”＠”の形状のグラフィック要素を表示することができる。そして、本発明の一実施例によると、前記のように表示されるグラフィック要素は使用者が行うモーションが変わるにつれて動的に変わり得る。

次に、本発明の一実施例によると、モーション認識部２２０は、モーション基準空間座標系を基準として特定されるモーション跡およびモーション跡の属性のうち少なくとも一つを参照してモーションの意図を認識することができる。

図４は、本発明の一実施例によりモーション基準空間座標系が１次元に設定される場合を例示的に示す図面である。

図４を参照すると、本発明の一実施例に係る空間座標系管理部２１０は、使用者が指先で行うモーション跡５００の支配成分に該当する基準座標軸５１０を決定し、前記決定される基準座標軸５１０によって特定される１次元空間座標系をモーション基準空間座標系として設定することができる。ここで、本発明の一実施例によると、使用者から遠ざかる方向が基準座標軸５１０の正の方向であるものと決定され得る。

一方、本発明の他の実施例に係る空間座標系管理部２１０は、基準座標軸５１０と直交し地表面と平行な第１補助座標軸５２０をさらに決定し、基準座標軸５１０および第１補助座標軸５２０の両方に直交する第２補助座標軸５３０をさらに決定することによって、基準座標軸５１０、第１補助座標軸５２０および第２補助座標軸５３０によって特定される３次元空間座標系をモーション基準空間座標系として設定してもよい。

引き継ぎ、図４を参照すると、本発明の一実施例に係るモーション認識部２２０は、前記のように設定されるモーション基準空間座標系の基準座標軸５１０を基準として特定されるモーション跡５００およびその変化を参照して該当モーションを分析することができ、その分析結果に基づいて該当モーションの意図を認識することができる。

図５は、本発明の一実施例により１次元に設定されるモーション基準空間座標系を基準として特定されるモーション跡またはその変化を参照してモーションの意図を認識する構成を例示的に示す図面である。

図５を参照すると、本発明の一実施例に係るモーション認識部２２０は、モーション基準空間座標系の基準座標軸５１０を基準として特定されるモーション跡またはその属性を参照して該当モーションの意図を認識することができる。

例えば、本発明の一実施例に係るモーション認識部２２０は、基準座標軸を基準とする時、モーション跡の速度（変位）が正の値を有し急激に減少する区間が現れると（すなわち、基準座標軸を基準とする時、前進してから停止する跡が現れると）、使用者が自身の前に存在するある客体に対して押す（ｐｒｅｓｓ）モーションを行ったものと認識することができる。

他の例として、本発明の一実施例に係るモーション認識部２２０は、基準座標軸を基準とする時、モーション跡の速度が負の値を有し急激に減少する区間が現れると（すなわち、基準座標軸を基準とする時、後進する跡が現れると）、使用者が自身の前に存在するある客体に対して離す（ｒｅｌｅａｓｅ）モーションを行ったものと認識することができる。

さらに他の例として、本発明の一実施例に係るモーション認識部２２０は、基準座標軸を基準とする時、モーション跡の速度が正の値を有してから急激に減少して負の値に転換する区間が現れると（すなわち、基準座標軸を基準とする時、前進してから後進する跡が現れると）、使用者が自身の前に存在するある客体に対して軽く叩く（ｔａｐ）モーションを行ったものと認識することができる。

一方、図４および図５において、使用者を基準とする時、前後方向に動くモーションを認識する実施例について主に説明したが、本発明は必ずしも図４および図５の実施例に限定されるものではなく、使用者を基準とする時、上下方向または左右方向に動くモーションを認識する実施例もいくらでも可能であることを明らかにしておく。

図６は、本発明の一実施例によりモーション基準空間座標系が２次元に設定される場合を例示的に示す図面である。

図６を参照すると、本発明の一実施例に係る空間座標系管理部２１０は、使用者が指先で行うモーション跡７００の支配成分に該当する二つの基準座標軸を決定することができ、前記決定される第１基準座標軸７１０および第２基準座標軸７２０の組み合わせ（すなわち、基準座標平面）によって特定される２次元空間座標系をモーション基準空間座標系として設定することができる。

一方、本発明の他の実施例に係る空間座標系管理部２１０は、第１基準座標軸７１０および第２基準座標軸７２０の両方と直交する補助座標軸７３０をさらに決定することによって、第１基準座標軸７１０、第２基準座標軸７２０および補助座標軸７３０によって特定される３次元空間座標系をモーション基準空間座標系として設定してもよい。

引き継ぎ、図６を参照すると、本発明の一実施例に係るモーション認識部２２０は、前記のように設定されるモーション基準空間座標系の基準座標平面を基準として特定されるモーション跡７００およびその変化を参照して該当モーションを分析することができ、その分析結果に基づいて該当モーションの意図を認識することができる。

図７は、本発明の一実施例により２次元に設定されるモーション基準空間座標系を基準として特定されるモーション跡またはその変化を参照してモーションの意図を認識する構成を例示的に示す図面である。

図７を参照すると、本発明の一実施例に係るモーション認識部２２０は、モーション基準空間座標系の基準座標平面７４０を基準として特定されるモーション跡の回転方向、回転角度、回転速度などの属性を参照して該当モーションの意図を認識することができる。

例えば、本発明の一実施例に係るモーション認識部２２０は、基準座標平面を基準とする時、モーション跡が時計回り方向または反時計回り方向に回転する区間が現れると（すなわち、モーション跡が基準座標平面上で回転する軌跡を描くものとして現れると）、使用者が自身の前に存在するある客体に対して回転（ｒｏｔａｔｅ）またはスワイプ（ｓｗｉｐｅ）モーションを行ったものと認識することができる。

一方、図６および図７において、使用者を基準とする時、使用者と向かい合い地表面に対しては垂直な基準座標平面によって支配的な成分が示され得る実施例について主に説明したが、本発明は必ずしも図６および図７の実施例に限定されるものではなく、図６および図７の実施例でとは異なる方向の基準座標平面によって支配的な成分が示され得る実施例もいくらでも可能であることを明らかにしておく。

一方、本発明の一実施例によると、モーション認識部２２０は、モーション基準空間座標系を基準としてモーションの意図を認識するにおいて、該当モーションが有効なモーションであるかどうかを決定することができる。具体的には、本発明の一実施例に係るモーション認識部２２０は、過去に（または最も最近に）認識されたモーションの属性および現在認識されているモーションの属性のうち少なくとも一つを参照してモーションの有効性を決定することができる。

図４および図５を参照してさらに具体的に説明すると、本発明の一実施例に係るモーション認識部２２０は、基準座標軸を基準として特定されるモーション跡の属性（移動方向、移動量、移動速度など）を参照して該当モーションが有効なモーションであるかどうかを決定することができる。

例えば、図４および図５において、本発明の一実施例に係るモーション認識部２２０は、基準座標軸を基準とする時、モーション跡が移動速度が臨界水準以上である場合に該当モーションが有効なモーションであるものと決定することができる。

他の例として、図４および図５において、本発明の一実施例に係るモーション認識部２２０は、時間的に連続して行われる順方向移動モーションおよび逆方向移動モーションの間の移動量の相対比が臨界水準（例えば、４０％）以上である場合に、モーションの移動方向の転換が有効なものと決定することができる。

図６および図７を参照してさらに具体的に説明すると、本発明の一実施例に係るモーション認識部２２０は、基準座標平面を基準として特定されるモーション跡の属性（回転軸、回転方向、回転角度、回転半径、回転速度など）を参照して該当モーションが有効なモーションであるかどうかを決定することができる。

例えば、図６および図７において、本発明の一実施例に係るモーション認識部２２０は、基準座標平面を基準とする時、モーション跡が２秒以内に２７０度以上回転した場合に該当モーションが有効に１回転をしたモーションであるものと決定することができ、基準座標平面を基準とする時、モーション跡が１秒以内に１３５度以上回転した場合に該当モーションが有効に１／２回転をしたモーションであるものと決定することができる。

他の例として、図６および図７において、本発明の一実施例に係るモーション認識部２２０は、時間的に連続して行われる順方向回転モーションおよび逆方向回転モーションの間の回転量の相対比が臨界水準（例えば、４０％）以上の場合にモーションの回転方向の転換が有効なものと決定することができる。

さらに他の例として、本発明の一実施例に係るモーション認識部２２０は、モーション跡のうち基準座標平面と距離が遠い異常値（ｏｕｔｌｉｅｒ）が占める比率が臨界水準以上であると、該当モーションが基準座標平面を外れたものと決定することができる。

次に、本発明の一実施例に係る通信部２３０は空間座標系管理部２１０およびモーション認識部２２０からの／へのデータの送受信を可能とさせる機能を遂行することができる。

最後に、本発明の一実施例に係る制御部２４０は空間座標系管理部２１０、モーション認識部２２０および通信部２３０間のデータの流れを制御する機能を遂行することができる。すなわち、本発明に係る制御部２４０は客体制御支援システム２００の外部からの／へのデータの流れまたは客体制御支援システム２００の各構成要素間のデータの流れを制御することによって、空間座標系管理部２１０、モーション認識部２２０および通信部２３０でそれぞれ固有機能を遂行するように制御することができる。

以上では、使用者の身体部位を利用して行われるモーションから使用者の意図が判断される実施例について主に説明されているが、本発明は必ずしも使用者の身体部位を利用することに限定されるものではなく、本発明の目的を達成できる範囲内で使用者がモーション認識手段などを利用する場合にもその使用者のモーションの意図が判断され得ることを明らかにしておく。

以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されてコンピュータ読み取り可能な記録媒体に記録され得る。前記コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるかコンピュータソフトウェア分野の当業者に公知となっている使用可能なものであり得る。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令語を保存し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなくインタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールに変更され得、その逆も同じである。

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正と変更が可能である。

したがって、本発明の思想は前記説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等なまたはこれから等価的に変更されたすべての範囲は本発明の思想の範疇に属するものと言える。

Claims (7)

1. 客体の制御を支援するための方法であって、
   使用者が行うモーションの支配的な成分である支配成分を示すことができるモーション基準空間座標系を動的に設定する段階、および
   前記モーション基準空間座標系を基準として特定される前記モーションの跡であるモーション跡および前記モーション跡の属性のうち少なくとも一つを参照して前記モーションの意図を認識する段階
   を含み、
   前記設定する段階は、前記モーション跡から前記支配成分の方向および大きさを決定し、決定した前記支配成分の方向および大きさに基づいて前記モーション基準空間座標系の次元数および基準座標軸を決定し、
   前記モーション基準空間座標系の次元数は、臨界水準以上の大きさを有する支配成分の数に基づいて決定され、
   前記モーション基準空間座標系の基準座標軸は、臨界水準以上の大きさを有する支配成分の方向に基づいて決定される方法。
2. 前記モーション跡は前記モーションに対する測定データを時間に沿って累積させることによって特定される請求項１に記載の方法。
3. 前記設定する段階は、特異値分解（Ｓｉｎｇｕｌａｒ Ｖａｌｕｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、固有値分解（Ｅｉｇｅｎ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、潜在意味分析（Ｌａｔｅｎｔ Ｓｅｍａｎｔｉｃ Ａｎａｌｙｓｉｓ）および非負値行列因子分解（Ｎｏｎ－ｎｅｇａｔｉｖｅ Ｍａｔｒｉｘ Ｆａｃｔｏｒｉｚａｔｉｏｎ）のうち少なくとも一つを利用して前記支配成分の方向および大きさを導き出す請求項１に記載の方法。
4. 前記モーション基準空間座標系は、前記支配成分に対応する基準座標軸によって特定されるか、前記基準座標軸および前記基準座標軸を基準として設定される補助座標軸によって特定される請求項１に記載の方法。
5. 前記認識する段階は、過去に認識されたモーションの属性および現在認識されているモーションの属性のうち少なくとも一つを参照してモーションの有効性を決定する請求項１に記載の方法。
6. 請求項１に記載された方法を実行するためのコンピュータプログラムを記録する非一過性のコンピュータ読み取り可能記録媒体。
7. 客体の制御を支援するためのシステムであって、
   使用者が行うモーションの支配的な成分である支配成分を示すことができるモーション基準空間座標系を動的に設定する空間座標系管理部、および
   前記モーション基準空間座標系を基準として特定される前記モーションの跡であるモーション跡および前記モーション跡の属性のうち少なくとも一つを参照して前記モーションの意図を認識するモーション認識部
   を含み、
   前記空間座標系管理部は、前記モーション跡から前記支配成分の方向および大きさを決定し、決定した前記支配成分の方向および大きさに基づいて前記モーション基準空間座標系の次元数および基準座標軸を決定し、
   前記モーション基準空間座標系の次元数は、臨界水準以上の大きさを有する支配成分の数に基づいて決定され、
   前記モーション基準空間座標系の基準座標軸は、臨界水準以上の大きさを有する支配成分の方向に基づいて決定されるシステム。

Images