JP6261984B2 - 絶対的な基準系を作成するのに固有受容性を使用するジェスチャ制御可能システム - Google Patents

Description

本発明は、ユーザが、前記ユーザの体部位の所定のジェスチャにより動作使用中（in operational use）のシステムを制御することを可能にする非接触ユーザインタフェースを持つシステムに関する。本発明は、更に、このようなシステムにおいて使用する非接触ユーザインタフェース、ユーザの体部位の所定のジェスチャに応答してシステムを制御する方法、及びユーザの体部位の所定のジェスチャに応答して制御可能であるようにシステムを構成する制御ソフトウェアに関する。

前文で特定されたタイプのジェスチャ制御可能システムは、当技術分野において既知であり、例えば、"医療装置の自動制御"に対してBonfiglio他に取得された米国特許第７８３５４９８号、"マルチモーダルビデオターゲット取得及び方向変更システム及び方法"に対してCohen-Solal他に取得された米国特許第７０２８２６９号、"インタラクティブエンタテインメントシステム及びその動作方法"に対してEves他により出願された米国特許出願公開第２０１００１６２１７７号が参照され、これらは、全てフィリップスエレクトロニクスに譲渡されており、参照によりここに組み込まれる。

本文内で、用語"ジェスチャ"は、ユーザの体部位の位置若しくは向きを指し、又はジェスチャ制御可能システムにより解釈可能な制御コマンドを表す位置又は向きの変化（すなわち、移動）を指す。

従来のジェスチャ制御可能システムは、典型的には、ユーザのジェスチャを表すビデオデータをキャプチャするカメラシステム、及び前記カメラシステムに結合され、前記ビデオデータを前記ジェスチャ制御可能システムの制御に対する制御信号に変換するデータ処理システムを持つ非接触ユーザインタフェースを持つ。

従来のジェスチャ制御可能システムは、典型的には、ユーザが、現在の動作モード又は現在の状態に対して、前記ジェスチャ制御可能システムの動作モード又は状態の変更を制御するという意味で、ユーザに対する相対制御を提供する。すなわち、前記ユーザは、前記ユーザの移動に応答して前記ジェスチャ制御可能システムからのフィードバックに基づいて前記ジェスチャ制御可能システムを制御する。例えば、前記相対制御は、前記ユーザが、所定の移動により、現在の大きさに対して制御可能なパラメータの大きさの変更を制御すること、又はメニュー内の選択可能なオプションのリストから、現在選択されているオプションに対する次のオプションを選択することを可能にする。前記ユーザは、この場合、フィードバックループを介して前記変更自体を制御する根拠として、前記ユーザの移動によりもたらされ、前記ユーザにより知覚される現在の変更の大きさ又は特性を使用する。

代替的には、従来のジェスチャ制御可能システムは、例えば、前記ジェスチャ制御可能システムのグラフィックユーザインタフェース内の表示モニタにより前記ユーザの移動に応答して前記ユーザにフィードバックを提供する。

例えば、前記表示モニタは、しるし（indicium）、例えば、カーソル、強調表示等を示し、これらの位置又は向きは、前記ジェスチャ制御可能システムの現在の動作モード又は現在の状態を表す。前記しるしの位置又は向きは、前記ユーザの移動に応答して、前記表示モニタに示される所定の基準系に対して、変化するようにされることができる。前記表示モニタに表示される前記所定の基準系に対する位置又は向きを変更するしるしを見ることにより、前記ユーザは、前記ジェスチャ制御可能システムの所望の動作モード又は所望の状態を目指すように視覚的フィードバックの案内の下で移動することができる。

視覚的フィードバックを提供する他の例として、２００６年にソニーにより市場に出された体操ゲームタイトルである"EyeToyKinetic"が参照される。EyeToyは、テレビの上に置かれ、ソニーにより製造されたビデオゲームコンソールであるプレイステーション２（ＰＳ２）に接続する小さなデジタルカメラである。モーション感知カメラは、テレビの前に立っているユーザをキャプチャし、前記ユーザの画像を前記表示モニタの画面に表示する。前記ユーザは、この場合、例えば、前記画面上に生成された視覚的オブジェクトと画像インタラクトするように前記画面上で彼／彼女の画像を制御することにより、前記ユーザの腕、脚、頭部等を使用してゲームをプレイする。

視覚的フィードバックを提供する他の例として、両方ともマイクロソフトにより製造された、Kinect、モーションカメラを備えたXbox360ビデオコンソールに対するビデオゲームである"Fruit Ninja Kinect"が参照される。ユーザの移動は、Kinectカメラにより獲得され、表示モニタの画面上の人間シルエットの移動に変換される。このゲームは、仮想的オブジェクト、この場合には、仮想的なフルーツが空気中にほうり上げられるようにし、前記ユーザは、仮想的な障害物をよけながら可能な限り多くのフルーツをチョップするように前記ユーザ自身の移動により前記人間シルエットを制御しなくてはならない。

視覚的フィードバックを提供する他の例として、マイクロソフトにより市場に出され、前述のKinectモーションカメラと組み合わせてXbox 360に対して設計されたビデオゲームである"Kinect Adventures"が参照される。前記"Kinect Adventures"ビデオゲームは、アバター（例えば、ヒューマノイドのグラフィック表現）を生成し、前記アバターの移動及びモーションは、前記カメラにより獲得される前記ユーザの全身モーションにより制御される。

本発明は、上記の既知のタイプの１つのジェスチャ制御可能システムは、前記ユーザが前記ユーザのジェスチャに応答して前記システムにより提供されるフィードバックの案内の下で前記システムを制御することを可能にすると認識している。発明者は、この種の制御可能性がいくつかの欠点を持つと認識している。例えば、発明者は、ユーザが前記ユーザのジェスチャに応答する既知のシステムからのフィードバックに依存することが、時間がかかり、前記ユーザがジェスチャを用いて前記システムを制御することができる速度に上限を設定することを観察した。他の例として、前記ユーザは、１つ又は複数のジェスチャを用いて前記しるしの移動又は前記グラフィック表現の移動を制御しようと試み、同時に前記ジェスチャ制御可能システムの動作モードの達成された変化又は状態の変化をチェックしようと試みながら、前記表示モニタ上の前記しるし、又は他のグラフィック表現の移動を見なくてはならない。

発明者は、したがって、所望の特定の状態を目指すために既知のシステムにおいて必要とされる制御中の前記システムからのフィードバックを考慮する必要なしで、ユーザが前記システムの複数の状態の特定の１つを直接的にセットすることを可能にするように、より直感的かつより人間工学的な基準系を導入することを提案する。

より具体的には、発明者は、ユーザが前記ユーザの体部位の所定のジェスチャにより動作使用中のシステムを制御することを可能にする非接触ユーザインタフェースを持つシステムを提案する。前記ユーザインタフェースは、カメラシステム及びデータ処理システムを有する。前記カメラシステムは、前記体部位及び前記体部位の環境を表すビデオデータをキャプチャする。前記データ処理システムは、前記カメラシステムに結合される。前記データ処理システムは、前記体部位と前記環境内の所定の基準との間の現在の空間的関係を前記ビデオデータから抽出し、前記現在の空間的関係が前記体部位と前記所定の基準との間の所定の空間的関係にマッチするかどうかを決定し、前記所定の空間的関係が所定のジェスチャの特性を示し、前記所定の空間的関係にマッチする前記現在の空間的関係に依存して、前記システムを所定の状態にセットする制御コマンドを生成するように前記ビデオデータを処理する。前記所定の基準は、前記ユーザの他の体部位、前記ユーザの外かつ前記環境内の物理的オブジェクト、及び前記環境内の所定の空間的方向の少なくとも１つを有する。

本発明における前記システムの制御は、固有受容性及び／又は外受容性を使用することに基づく。

用語"固有受容性（proprioception）"は、人体の部分の相対的位置及び相対的向きの人間の感覚、及び体の部分の移動に使用される努力を指す。したがって、固有受容性は、身体部分の相対的位置、相対的向き及び相対的移動からの知覚に対する入力を受ける人体の生理学的能力を指す。これを説明するために、中毒になっている、酔っている又は単純にスポンジのように飲んだ結果として固有受容性の感覚が損なわれることが起こる人を検討する。このような人は、直線に沿って歩く又は目を閉じたまま指で鼻を触るのが困難である。交通巡査は、運転手が自動車を操作するには酔いすぎているか否かを決定するのにこの事実を使用する。

用語"外受容性（exteroception）"は、人体の外部からの刺激を知覚する人間の能力を指す。用語"外受容性"は、本文において、人体の外の物理的影響又は物理的オブジェクトに対する人体又は身体部分の位置及び向きを知覚する、及び人体の外の物理的影響又は物理的オブジェクトに対する人体又は身体部分の位置又は向きの変化を知覚する人間の能力を指す。外受容性は、例えば、弾道軌道に沿って彼／彼女の方向に来るボールを見て、前記ボールをゴールの方向に放つように正確なタイミングで正確な方向に彼／彼女の脚をスイングするサッカー選手により、又は対戦相手からの右ストレートをよけるボクサーにより、又はトラックに対する、及び彼／彼女の周りの他のレーシングカーの位置、向きに対する彼／彼女の車の速度、位置及び向きの彼／彼女の視覚的知覚に依存して、及び彼／彼女のズボンの尻部分の触覚に依存して、彼／彼女の来る前の現在の速度及び現在の経路を調節するレーシングドライバ等により説明される。

したがって、（しらふの）人間は、彼／彼女の身体の部分の相対的位置及び／又は相対的向き及び／又は相対的移動を感知し、彼／彼女の身体の外の彼／彼女の環境における物理的オブジェクトに対する彼／彼女の身体の部分の位置及び／又は向き及び／又は移動を感知する。結果として、前記ユーザ自身の身体、又は前記ユーザの外かつ前記ユーザの環境内の１つ又は複数の物理的オブジェクトとの空間的関係における前記ユーザ自身の身体は、本発明において、前記ユーザがジェスチャにより前記システムの意図された状態を直接的に選択することを可能にする絶対的な基準系として機能する。これは、前記ユーザが従来のジェスチャ制御可能システムの応答を含むフィードバックループにおける彼／彼女の体部位の移動を補正することにより前記意図された状態に前記従来のシステムを間接的にガイドするために前記従来のジェスチャ制御可能システムからのフィードバックに依存しなくてはならないのと対照的である。

例えば、前記所定の基準は、前記ユーザの他の体部位を有する。前記他の体部位は、前記基準系として機能し、最初に述べた体部位は、前記基準系に対して配置又は配向又は移動される。前記データ処理システムは、例えば、前記ユーザの手又は腕の、前記ユーザの身体の残りの部分に対する、特定の位置及び／又は特定の向き及び／又は特定の移動を、特定のジェスチャとして解釈する。前記特定のジェスチャは、前記システムを前記複数の状態の特定の１つにセットする特定の所定の制御コマンドに関連付けられる。前記ユーザの固有受容性の感覚は、前記ユーザが直感的に、前記体部位及び他の体部位を、意図される特定の所定の制御コマンドに関連付けられた適切な空間的関係にすることを可能にする。オプションとして、前記適切な空間的関係は、前記ユーザの前記体部位が前記ユーザの他の体部位に物理的に接触することを含む。前記体部位の物理的接触は、前記ユーザに追加の触覚フィードバックを提供し、したがって前記システムにより推定される意図された状態を選択することを更に容易化する。

代わりに又は加えて、前記所定の基準は、前記カメラシステムによりキャプチャされ、前記ユーザの外の環境内に存在する物理的オブジェクトを有する。前記物理的オブジェクトは、前記システム自体に物理的に接続された又は他の形で物理的に一体化されたハードウェア、例えば、照明器具の本体（例えば、テーブルランプの本体）のような前記システムのハウジングでありうる。他の例として、前記物理的オブジェクトは、前記システムに物理的に接続されていない及び他の形で物理的に一体化されていない他の品物又は商品、例えば、椅子、花瓶若しくは本のような物理的人工物、又は前記ユーザのお気に入りのペットを有する。

前記物理的人工物又は前記ペットは、前記基準として機能する前に前記ユーザにより選択される。この場合、前記ユーザインタフェースの前記データ処理システムは、前記ビデオデータにおいてキャプチャされた場合に、前記物理的人工物又は前記ペットを、前記ユーザが前記基準に対して前記体部位を配置又は配向する前記基準として解釈するために、事前にプログラムされる又は他の形で構成される必要がある。

代わりに又は加えて、前記所定の基準は、前記環境内の所定の空間的方向、例えば、重力により決定される垂直方向若しくは水平方向、又は事前に選択された他の方向を有する。上述されたように、前記固有受容性の感覚は、前記ユーザの身体の１つ又は複数の部分を配置又は配向又は移動する際に前記ユーザにより使用される努力をも含む。例えば、地球の表面における重力場は、配置又は配向の努力において異方性を導入し、関与する仕事のため、幾らかの距離にわたり腕を持ち上げるより同じ距離にわたり腕を下げる方が前記ユーザにとって容易である。

前の文における用語"仕事"は、物理の分野で使用される用語であり、関与する質量を移動する場合に力により生成されるエネルギの量を指す。重力場の存在下で体部位を配置又は配向することは、外受容性刺激を生じる。例えば、本発明のジェスチャ制御可能システムにおける前記データ処理システムは、前記カメラシステムによりキャプチャされた前記ユーザの姿勢に対して前記環境内の所定の空間的方向を決定する。前記所定の空間的方向は、前記カメラに面する前記ユーザの絵における対称軸に平行な方向として取られることができ、前記対称軸は、鼻梁から前記ユーザの鼻の先端を介して前記ユーザの顎まで走る。前記対称軸は、前記ビデオデータの分析により前記データ処理システムにより決定されることができる。他の例として、前記カメラシステムは、前記カメラシステムによりキャプチャされたビデオにおいて重力の方向を決定するように加速度計を設けられる。前記カメラシステムは、前記重力の方向を表すメタデータと一緒に前記ビデオデータを前記データ処理システムに送信することができる。

これに関連して、ジェスチャが、前記ユーザの体部位の移動、すなわち前記カメラに対する前記体部位の位置又は向きの時間に対する変化を含む、ジェスチャベースの制御可能システムを検討する。このように構成されたシステムは、前記カメラに対する変化の方向又は前記変化が生じる前記カメラに対する空間的セクタが、前記ジェスチャを制御コマンドとして解釈することに関連するので、静止基準位置又は静止基準向きを必要としない。対照的に、本発明において、前記ビデオデータにおいてキャプチャされる前記所定の基準に対する、前記ビデオデータにおいてキャプチャされる前記ユーザの体部位の相対的位置及び／又は相対的向き及び／又は相対的移動は、制御コマンドとして解釈される。完全性のため、本発明が、二次元又は三次元において前記体部位及び前記環境を表すビデオデータを使用することができることが、ここで述べられる。

本発明のシステムは、例えば、キッチン照明、ダイニングルーム照明、テレビセット、デジタルビデオレコーダ、音楽プレイヤ、家庭エンタテイメントシステム等のような家庭用電気器具を有する。他の例として、本発明のシステムは、病院設備を有する。ジェスチャ制御可能である病院設備は、医療スタッフが前記設備に物理的に触れる必要なしに前記設備を動作することを可能にし、したがって細菌又は微生物が前記病院設備を介して患者に移されるリスクを低減する。他の例として、本発明のシステムは、ワークショップ職員が手又は衣服を汚す環境、例えば、畑、動物園、鋳物工場、石油プラットフォーム、自動車、電車又は船を修理及び補修するワークショップ等内のワークショップ設備を有する。前記職員が前記ワークショップ設備を制御するために物理的に触れる必要がない場合、汚れは、触れなくてはならない場合ほど速くは前記ユーザインタフェースに蓄積しない。代わりに、前記職員は、前記設備を動作するのに手袋を外す必要がなく、したがって前記設備の使いやすさに寄与する。

本発明のジェスチャ制御可能システムとのインタラクションにおける前記ユーザのジェスチャは、例えば、直示的（deictic）、セマフォ（semaphoric）又は象徴的（symblic）であることができる。背景に対して、例えば、Karam, M., and Schraefel, M. C., (2005), "A Taxonomy of Gestures in Human Computer Interaction", ACM Transactions on Computer-Human Interactions 2005, Technical report, Electronics and Computer Science, University of Southampton, November 2005を参照する。

直示的ジェスチャは、前記ユーザが、アプリケーションドメインに関連してオブジェクトの空間的場所の識別を確立するために指し示すことを含む。例えば、前記ユーザは、右手で左腕の場所を指し示す。一方で、前記ユーザの左肩と前記場所との間の左腕の長さ、及び他方で、前記場所と前記ユーザの左手首との間の左腕の長さの比は、この場合、本発明のジェスチャ制御可能システムに含まれる音声再生システムの所望の音量設定を示すのに使用されることができる。

セマフォジェスチャは、体部位、例えば前記ユーザの手又は腕の静止又は動的ジェスチャの定型化された辞書を使用するジェスチャシステムを示す。例えば、前記ユーザは、左手で右肘を指し示し、右肘を２回タップする。この動的ジェスチャは、例えば、マウスのダブルクリックの意味で使用されることができる。

アイコンジェスチャとも称される象徴的ジェスチャは、典型的には、物理的な実在アイテムの物理的特質を示すのに使用される。例えば、前記ユーザは、手のひらを互いに対面させて彼／彼女の前に手を出す。手のひらの間の減少する距離は、この場合、例えば、本発明のジェスチャ制御可能システムに収容される音声再生システムにより再生される音声の音量を変更する制御コマンドとして使用される。単位時間ごとの変化の大きさは、前記距離が単位時間ごとに減少する量に比例するようにされることができる。同様に、前記ユーザは、右手の手のひらが下に向くように右手を配置することができる。床に対する手の高さを減少させることは、この場合、上の例のようにこれに応じて音声の音量を減少させると解釈される。

本発明のシステムは、それぞれが静的又は動的である１つ又は複数の所定のジェスチャにより制御可能であるように構成されているかもしれない。静止ジェスチャにおける前記体部位と前記所定の基準との間の空間的関係は、時間に対して実質的に変化しない。すなわち、前記体部位の位置又は向きは、本発明のシステムにおける非接触ユーザインタフェースにより解釈不可能な静止ジェスチャをレンダリングするために前記所定の基準に対して時間に対して十分に変化しない。静止ジェスチャの例は、上で簡潔に論じられた直示的ジェスチャの例である。他方で、動的ジェスチャは、前記所定の基準に対する前記体部位の移動により特徴づけられる。前記体部位と前記所定の基準との間の空間的関係は、この場合、前記所定の基準に対する前記体部位の位置又は向きの変化により特徴づけられる。動的ジェスチャの例は、上で簡潔に論じられた前記セマフォジェスチャの例及び前記象徴的ジェスチャの例である。

結果的に、前記空間的関係は、前記所定の基準に対する前記体部位の相対的位置、前記所定の基準に対する前記体部位の相対的向き、及び前記所定の基準に対する前記体部位の相対的移動、すなわち前記体部位の位置及び／又は向きの変化の少なくとも１つを表す。

本発明のシステムは、単一の物理的エンティティ、例えば単一のハウジング内に全てのジェスチャ制御可能機能を持つ装置で実施されることができる。

代替的には、本発明のシステムは、地理的に分散されたシステムとして実施される。例えば、前記カメラシステムは、データネットワークインタフェースを持つ携帯型装置、例えば、スマートフォンに収容され、前記データ処理システムは、インターネット上のサーバを有し、本発明のシステムのジェスチャ制御可能機能は、前記ネットワークに対するインタフェースを持つ電子機器に収容される。このようにして、前記携帯型装置のユーザは、１つ又は複数のジェスチャにより前記設備を遠隔制御することを可能にされる。フィードバックループは、前記ユーザが本発明のシステムにおいて前記設備を制御するプロセスにおいて使用されることができるが、必要ではないことに注意する。ユーザの体部位と前記基準との間の空間的関係、すなわち、前記カメラシステムによりキャプチャされた相対的位置及び／又は相対的向き及び／又は相対的移動は、前記設備の所望の動作状態をセットする。

本発明によるシステムの他の実施例において、前記所定の基準、前記所定の空間的関係及び前記所定の状態の少なくとも１つは、プログラム可能又は再プログラム可能である。

結果的に、前記他の実施例のシステムは、個別のユーザの嗜好又は仕様によって前記システムを修正又は構築するように、例えば前記ユーザにより、前記システムのインストーラにより、前記システムの製造者等により、プログラム又は再プログラムされることができる。

本発明は、ユーザが前記ユーザの体部位の所定のジェスチャにより動作使用中のシステムを制御することを可能にするシステムにおいて使用される非接触ユーザインタフェースにも関する。前記ユーザインタフェースは、カメラシステム及びデータ処理システムを有する。前記カメラシステムは、前記体部位及び前記体部位の環境を表すビデオデータをキャプチャする。前記データ処理システムは、前記カメラシステムに結合され、前記体部位と前記環境内の所定の基準との間の現在の空間的関係を前記ビデオデータから抽出し、前記現在の空間的関係が前記体部位と前記所定の基準との間の所定の空間的関係にマッチするかどうかを決定し、前記所定の空間的関係が前記所定のジェスチャの特徴であり、前記所定の空間的関係にマッチする前記現在の空間的関係に依存して、前記システムを所定の状態にセットする制御コマンドを生成するように前記ビデオデータを処理する。前記所定の基準は、前記ユーザの他の体部位、前記ユーザの外かつ前記環境内の物理的オブジェクト、及び前記環境内の所定の空間的方向の少なくとも１つを有する。

本発明は、上で特定された種類の非接触ユーザインタフェースの形式で商業的に利用されることができる。このような非接触ユーザインタフェースは、動作使用中のユーザ制御される如何なるシステムにもインストールされることができる。本発明の非接触ユーザインタフェースは、前記体部位と前記環境内の所定の基準との間の現在の空間的関係を、所定の空間的関係にマッチさせようと試みる。前記マッチングが成功である場合、前記現在の空間的関係は、前記システムを、前記所定の空間的関係に関連付けられた所定の状態にセットするように所定の制御コマンドにマッピングされる。

前記非接触ユーザインタフェースの一実施例において、前記所定の空間的関係は、前記所定の基準に対する前記体部位の相対的位置、前記所定の基準に対する前記体部位の相対的向き、及び前記所定の基準に対する前記体部位の相対的移動の少なくとも１つを表す。前記非接触ユーザインタフェースの他の実施例において、前記所定の基準、前記所定の空間的関係及び前記所定の状態の少なくとも１つは、プログラム可能又は再プログラム可能である。

本発明は、方法として商業的に利用されることもできる。本発明は、したがって、ユーザの体部位の所定のジェスチャに応答してシステムを制御する方法にも関する。前記方法は、前記体部位及び前記体部位の環境を表すビデオデータを受信するステップと、前記ビデオデータを処理するステップとを有する。前記ビデオデータの処理は、前記体部位と前記環境内の所定の基準との間の現在の空間的関係を前記ビデオデータから抽出するステップと、前記現在の空間的関係が、前記体部位と前記所定の基準との間の所定の空間的関係にマッチするかどうかを決定するステップであって、前記所定の空間的関係が前記所定のジェスチャの特徴であるステップと、前記所定の空間的関係にマッチする前記現在の空間的関係に依存して、前記システムを所定の状態にセットする制御コマンドを生成するステップとを有する。前記所定の基準は、前記ユーザの他の体部位、前記ユーザの外かつ前記環境内の物理的オブジェクト、及び前記環境内の所定の空間的方向の少なくとも１つを有する。

前記ビデオデータは、実行時にカメラシステムにより提供されることができる。代わりに、前記ビデオデータは、事前記録されたビデオデータを持つ電子ファイルに含められるように提供されることができる。結果的に、本発明と関連付けられた種類のジェスチャのシーケンスを作成するユーザのビデオクリップは、前記シーケンスの順序で前記システムにより推定される状態のシーケンスにマッピングされることができる。

前記方法は、例えばインターネットのようなデータネットワーク上のネットワークサービスとして商業的に利用されることができる。前記サービスのサブスクライバは、１つ又は複数の所定の空間的関係及びシステムの制御に対する１つ又は複数の所定の制御コマンドを事前に指定している。前記ユーザは、前記所定の空間的関係のいずれの特定の１つが前記制御コマンドの特定の１つにマッピングされるべきかをも指定している。サービスプロバイダは、前記所定の空間的関係及び前記所定の制御コマンド並びにこれらの間の対応関係のデータベースを作成する。前記ユーザは、前記データネットワーク上の宛先アドレスを事前に指定している。結果的に、前記ユーザが、このサービスにログインしており、前記ユーザのジェスチャ及び前記ユーザの環境を表すビデオデータを更新する又は流す場合、前記サービスプロバイダは、上で指定された方法を実行し、前記宛先アドレスに前記制御コマンドを送信する。

本発明による方法の他の実施例において、前記所定の空間的関係は、前記基準に対する前記体部位の相対的位置、前記基準に対する前記体部位の相対的向き、及び前記所定の基準に対する前記体部位の相対的移動の少なくとも１つを表す。

本発明による方法の他の実施例において、前記所定の基準、前記所定の空間的関係及び前記所定の状態の少なくとも１つは、プログラム可能又は再プログラム可能である。

本発明は、ソフトウェアプロバイダにより商業的に利用されることもできる。したがって、本発明は、制御ソフトウェアにも関する。前記制御ソフトウェアは、コンピュータ可読媒体、例えば、磁気ディスク、光ディスク、半導体メモリ等に記憶されて提供される。代わりに、前記制御ソフトウェアは、インターネットのようなデータネットワーク上でダウンロードされることができる電子ファイルとして提供される。前記制御ソフトウェアは、前記ユーザの体部位の所定のジェスチャに応答して制御可能であるようにシステムを構成する。前記制御ソフトウェアは、カメラシステムによりキャプチャされ、前記体部位及び前記体部位の環境を表すビデオデータを処理する第１の命令を有する。前記第１の命令は、前記体部位と前記環境内の所定の基準との間の現在の空間的関係を前記ビデオデータから抽出する第２の命令と、前記現在の空間的関係が、前記体部位と前記所定の基準との間の所定の空間的関係にマッチするかどうかを決定する第３の命令であって、前記所定の空間的関係が前記所定のジェスチャの特徴である、第３の命令と、前記所定の空間的関係にマッチする前記現在の空間的関係に依存して、前記システムを所定の状態にセットする制御コマンドを生成する第４の命令とを有する。前記所定の基準は、前記ユーザの他の体部位、前記ユーザの外かつ前記環境内の物理的オブジェクト、及び前記環境内の所定の空間的方向の少なくとも１つを有する。

前記制御ソフトウェアは、したがって、ユーザが前記ユーザの体部位の所定のジェスチャにより動作使用中のシステムを制御することを可能にする非接触ユーザインタフェースを持つシステムにインストールされるように提供されることができる。

本発明による制御ソフトウェアの他の実施例において、前記所定の空間的関係は、前記基準に対する前記体部位の相対的位置、前記基準に対する前記体部位の相対的向き、及び前記所定の基準に対する前記体部位の相対的移動の少なくとも１つを表す。

本発明による方法の他の実施例において、前記制御ソフトウェアは、前記所定の基準、前記所定の空間的関係及び前記所定の状態の少なくとも１つをプログラム又は再プログラムする第５の命令を有する。

本発明は、例として、添付の図面を参照して更に詳細に説明される。

図を通して、同様の又は対応するフィーチャは、同じ参照番号により示される。

本発明のシステムのブロック図である。 ビデオデータにキャプチャされたユーザの図である。 本発明による第１のジェスチャ制御シナリオを示す図である。 本発明による第１のジェスチャ制御シナリオを示す図である。 本発明による第１のジェスチャ制御シナリオを示す図である。 本発明による第１のジェスチャ制御シナリオを示す図である。 本発明による第２のジェスチャ制御シナリオを示す図である。 本発明による第２のジェスチャ制御シナリオを示す図である。

図１は、本発明によるシステム１００のブロック図である。システム１００は、ユーザが、前記ユーザの体部位、例えば、前記ユーザの手又は腕の所定のジェスチャにより動作使用中のシステム１００を制御することを可能にする非接触ユーザインタフェース１０２を有する。図において、システム１００は、第１の制御可能な機能１０４及び第２の制御可能な機能１０６を持つものとして示される。前記システムは、ジェスチャにより制御可能である単一の機能のみ、又はそれぞれがそれぞれのジェスチャにより制御可能である２より多い機能を持つことができる。

ユーザインタフェース１０２は、カメラシステム１０８及びデータ処理システム１１０を有する。カメラシステム１０８は、前記体部位及び前記体部位の環境を表すビデオデータをキャプチャする。データ処理システム１１０は、カメラシステム１０８に結合され、カメラシステム１０８から受信された前記ビデオデータを処理する。カメラシステム１０８は、キャプチャされた前記ビデオデータを供給することができるか、又はデータ処理システム１１０に前処理されたキャプチャされたビデオデータを供給する前に前記キャプチャされたビデオデータを前処理することができる。データ処理システム１１０は、前記体部位と前記環境内の所定の基準との間の現在の又は実際の空間的関係を決定する。実際の空間的関係の例は、以下に更に論じられ、図２ないし８を参照して説明される。データ処理システム１１０は、前記現在の空間的関係が前記所定のジェスチャを表す所定の空間的関係にマッチするかどうかを決定する。そうすることができるために、データ処理システム１１０は、データベース１１２を有する。データベース１１２は、１つ又は複数の所定の空間的関係を表すデータを記憶する。データ処理システム１１０は、一方で、前記ビデオデータにおいて識別された前記現在の空間的関係を表す入力データと、他方で、前記所定の空間的関係の特定の１つを表すデータベース１１２内の記憶されたデータとの間のマッチを見つけようと試みる。前記ビデオデータにおいて識別された前記現在の空間的関係と、データベース１１２に記憶された特定の所定の空間的関係との間のマッチは、完璧なマッチではないかもしれない。例えば、前記所定の空間的関係の異なるものの対の間の差が計算的に十分に大きい、すなわち、データ処理システム１１０が、前記所定の空間的関係の対を区別することができるシナリオを検討する。データ処理システム１１０は、前記ビデオデータにおいて識別された前記現在の空間的関係を、例えば、ベストマッチアプローチを受けさせることができる。前記ベストマッチアプローチにおいて、前記ビデオデータにおける前記現在の空間的関係は、前記現在の空間的関係と前記特定の所定の空間的関係との間の差の大きさが１つ又は複数の要件に適合する場合に、前記所定の関係の特定のものにマッチする。第１の要件は、前記差の大きさが、一方で、前記現在の空間的関係と、他方で前記所定の空間的関係のそれぞれの他のものとの間のそれぞれの他の差の強度の各々より小さいことである。例えば、前記現在の空間的関係は、Ｎ次元空間におけるベクトルにマッピングされ、前記所定の空間的関係の各特定のものは、前記Ｎ次元空間における特定の他のベクトルにマッピングされる。周知のように、Ｎ次元空間におけるベクトルの対の間の差は、例えばハミング距離を決定するような、様々なアルゴリズムによって決定されることができる。

本文において使用される用語"データベース"は、前記現在の空間的関係が、前記所定のジェスチャを表す所定の空間的関係にマッチするかどうかを決定するために、例えば、人工的なニューラルネットワーク、又は隠れマルコフモデル（ＨＭＭ）をカバーすると解釈されることもできる。

前記現在の空間的関係と前記特定の所定の空間的関係との間の差の強度がプリセット閾値より低いことを規定する第２の要件が、使用されることができる。この第２の要件は、前記所定の空間的関係を表すベクトルが前記Ｎ次元空間において均等に離間されていない場合に使用されることができる。例えば、２つの所定の空間的関係のみのセットを検討し、三次元空間、例えば、互いに直交するｘ軸、ｙ軸及びｚ軸に沿った単位ベクトルにより張られるユークリッド三次元空間におけるそれぞれのベクトルによりこれら２つの所定の空間的関係の各々を表すことを検討する。２つの所定の空間的関係を表す２つのベクトルが、両方とも正のｚ座標により特徴づけられる半空間に位置することになりうる。ここで、前記ビデオデータの現在の空間的関係は、この三次元空間における第３のベクトルにより表される。この第３のベクトルが負のｚ座標により特徴づけられる他の半空間にある場合を検討する。典型的には、この第３のベクトルと前記２つの所定の空間的関係の２つのベクトルの特定の一方との間の差は、この第３のベクトルと前記２つの所定の空間的関係の２つのベクトルの他方との間の他の差より小さい。形式的に、この第３のベクトルと前記２つのベクトルの特定の一方との間にマッチが存在する。しかしながら、前記ユーザの移動が、全くシステム１００を制御するジェスチャのつもりではない可能性もある。したがって、（所定の閾値より低い前記現在の空間的関係と前記特定の所定の空間的関係との間の差の大きさを持つ）前記第２の要件が、システム１００を制御する意図的なジェスチャとして前記ユーザの移動をより高い信頼度で解釈するのに使用されることができる。

データ処理システム１１０は、前述したような適切な制御ソフトウェア１１４をインストールすることにより本発明を実施する従来のデータ処理システムであってもよい。

図２は、カメラシステム１０８により生成される前記ビデオデータにおいてキャプチャされた前記ユーザの図である。カメラシステム１０８は、前記ユーザのマッチ棒表現２００を持つビデオデータを生成する。実施技術は、例えば、イスラエル企業Primesense, Ltd.により作成されており、上述のジェスチャによるXbox360ビデオゲームコンソールの制御に対するマイクロソフトからのモーション感知入力装置である"Kinect"の３Ｄ感知技術において使用される。前記ユーザのマッチ棒表現２００は、典型的には、前記ユーザの主要な関節の表現を有する。マッチ棒表現２００は、前記ユーザの右肩の第１の表現ＲＳ、前記ユーザの左肩の第２の表現ＬＳ、前記ユーザの右肘の第３の表現ＲＥ、前記ユーザの左肘の第４の表現ＬＥ、前記ユーザの右手の第５の表現ＲＨ、及び前記ユーザの左手の第６の表現ＬＨを有する。前記ユーザの手、上腕及び前腕の相対的な位置及び／又は向きは、ここで、図３、４、５、６、７及び８に示されるように、本発明におけるシステム１００の制御に対して使用されることができる。以降、前記ユーザの生体構造（肩、前腕、上腕、手、手首及び肘）のコンポーネント及び前記マッチ棒表現における前記コンポーネントの表現に対する参照は、交換可能に使用される。

明確性のため、人体構造において、用語"腕"は、肩と肘との間のセグメントを指し、用語"前腕"は、肘と手首との間のセグメントを指す。カジュアルな使用において、用語"腕"は、しばしば、肩と手首との間のセグメント全体を指す。本文を通して、表現"上腕"は、肩と肘との間のセグメントを指す。

図３、４、５及び６は、前記ユーザの左腕に対する前記ユーザの右腕の重複の位置が、第１の制御可能パラメータの大きさ、例えば、システム１００の第１の機能１０４により表されるラウドスピーカシステムにより再生される音声の音量を表す、第１の制御シナリオを示す。前記重複の位置は、前記ユーザの左腕に対して解釈される。

前記第１の制御シナリオにおいて、前記ユーザの左腕は、スライダが上下に移動されることができるガイドであるかのように使用され、前記スライダは、前記ユーザの左腕及び前記ユーザの右腕が前記ビデオデータにおいて重複する又は互いに触れる領域により表される。スライダは、例えば、音楽を再生する機器のユーザインタフェースにおける従来の制御装置であり、手動で制御パラメータを所望の大きさにセットする。本発明の前記第１の制御シナリオにおいて、前記音声の音量は、前記ユーザの右腕が前記ユーザの左腕に対してどこに位置するかに依存して、０％ないし１００％のいかなる大きさにもセットされることができる。

図３の図において、右肘ＲＥと右手ＲＨとの間の棒として図に表される前記ユーザの右前腕は、前記ユーザの左肘の表現ＬＥに、又は近くに位置する。データ処理システム１１０は、図３の図における前記ユーザの右前腕のこの相対的位置を、前記音量を約５０％に調節するジェスチャとして解釈する。前記ユーザの固有受容性の感覚は、前記ユーザの右前腕を、前記ユーザの左肘ＬＥに、又は近くに迅速に配置し、この相対的位置における小さな変化を前記ユーザに意識させることを可能にする。前記ユーザの右腕は、触覚を追加することにより更に助けるように前記ユーザの左腕の上に置くことができる。

図４の図において、前記ユーザは、前記ユーザの右手ＲＨが左肘ＬＥと左肩ＬＳとの間の真ん中で前記ユーザの右腕の腕に置くように、前記ユーザの左腕に対して右前腕を配置している。データ処理システム１１０は、図４の図における前記ユーザの右前腕の相対的位置を、前記音量を約２５％に調節するジェスチャとして解釈する。

図５の図において、前記ユーザは、前記ユーザの右手ＲＨが前記ユーザの左手ＬＨにおいて又は近くで前記ユーザの左腕の上に置くように前記ユーザの左腕に対して右前腕を配置している。データ処理システム１１０は、図５の図における前記ユーザの右前腕の相対的位置を、前記音量を約１００％に調節するジェスチャとして解釈する。

図３、４及び５の図から、前記ユーザは、左腕を完全に真っ直ぐに保つ必要がないことは明らかである。データ処理システム１１０により解釈されるジェスチャに関連するのは、前腕及び上腕の相対的位置である。

図６の図は、前記第１のシナリオを示し、ここでジェスチャとして相対的な長さを使用し、これにより前記ユーザの右前腕は、第２の制御可能パラメータの大きさ、例えば、システム１００の第２の機能１０６により表される、制御可能照明器具から光のビームの水平方向をセットするために前記ユーザの左腕を越えて延在する。前記照明器具が、前記水平面内の方向にビームを投影することができ、前記方向が、基準方向に対する−６０°ないし前記基準方向に対する＋６０°の大きさを推定するように制御されることができると仮定する。前記方向をおおよそ前記基準方向にセットすることは、例えば、右前腕及び前記ユーザの左腕が、おおよそ右肘ＲＥと右手ＲＨとの間の真ん中の右前腕上の領域において重複するように前記ユーザの右前腕を配置することにより達成される。この場合、右前腕が左腕を越えて左に延在する長さは、右前腕が左腕を越えて右に延在する長さにおおよそ等しい。前記基準方向に対して他の角度に前記ビームを向けなおすことは、前記ユーザが、右前腕が例えば右に左腕を越えて延在する長さを変更するように右前腕を左腕に対してシフトすることにより達成される。

図６の図も、前記第１のシナリオを示し、ここで、前記第１の制御可能パラメータ及び前記第２の制御可能パラメータは、同時にジェスチャ制御可能である。例えば、前記第１の制御可能パラメータが、図３、４及び５の図を参照して上で論じられたように、ラウドスピーカにより生成される音声の音量を表し、前記第２の制御可能パラメータが、前記ラウドスピーカにおける音声の方向を表す場合を検討する。音量は、左腕に対する、右前腕と左腕との間の重複の位置により制御され、方向は、右前腕が左腕を越えて左に及び右に延在する長さの比により制御される。図６の図に示される例において、音量は、約４８％にセットされ、方向は、約６６％にセットされている。後者の大きさについて、前記ユーザの左腕と前記ユーザの右手ＲＨとの間の距離は、前記ユーザの左腕と前記ユーザの右肘ＲＥとの間の距離の約２倍の長さに示されている。

図７及び８の図は、第２のシナリオを示し、ここで、データ処理システム１１０は、基準方向、ここでは矢印７０２により示される重力方向に対する前記ユーザの右前腕の位置をジェスチャとして解釈する。右前腕の相対的位置は、重力方向７０２と、前記マッチ棒図における右肘ＲＥと右手ＲＨとの間のセグメントの方向との間の角度φにより表される。図７の図において、右前腕の相対的位置は、角度φが、例えば３５°の大きさを仮定するようになっている。図８の図において、右前腕の相対的位置は、角度φが、例えば１２５°の大きさを仮定するようになっている。結果的に、角度φの大きさは、システム１００の制御可能パラメータの値をセットするのにデータ処理システム１１０により使用されることができる。

上の例において、データ処理システム１１０は、左腕に対する右前腕の重複の相対的位置、及び／又は右前腕が左腕を越えて左に及び右に延在する長さの比、及び角度φにより表される重力方向に対する右前腕の位置を入力として使用する。データ処理システム１１０は、１つ又は複数の制御可能パラメータの制御に対する出力に対する前記入力のいかなる種類のマッピングをも使用することができる。前記マッピングは、比例する必要はなく、例えば、人間工学的因子を考慮に入れることができる。例えば、左肘ＬＥと左肩ＬＳの中間の場所より左肘ＬＥに近い場所に右手ＲＨを正確に配置する方が前記ユーザにとって容易かもしれない。右前腕及び左腕の重複の相対的位置のマッピングが、実施されることができ、前記重複の相対的位置の特定量の変化は、前記重複が左肘ＬＥ及び左肩ＬＳの中間で生じる場合より、前記重複が左肘ＬＥの知覚で生じる場合に前記制御可能パラメータの値の大きさのより大きな変化をもたらす。

図３、４、５、６、７及び８に示される例において、データ処理システム１１０は、特定の相対的位置を制御可能パラメータの特定の大きさに対してマッピングする。

代わりに、データ処理システム１１０は、選択可能なアイテムのセットにおける特定のアイテムの選択に対して特定の相対的位置をマッピングする。選択可能なアイテムのセットの例は、事前に記録された音楽のプレイリスト又は事前に記録された動画のプレイリスト、電子機器の状態を制御するのに利用可能な制御オプションのメニューにおける制御オプションのセット等を含む。例えば、システム１００の第１の制御可能な機能１０４がビデオ再生機能を有すると仮定する。前記ビデオ再生機能は、左前腕を基準として使用してジェスチャ制御可能である。左肘ＬＥの知覚で右手ＲＨで左前腕を触れることは、この場合、選択された映画の電子ファイルの最初にビデオ再生を開始することとして解釈される。左肘ＬＥと左手ＬＨとの間の中間で左前腕に触れることは、前記映画の途中でビデオ再生を開始又は続行することとして解釈される。左手ＬＨの近くで左前腕に触れることは、この場合、前記映画の終了の近くで前記ビデオ再生を開始又は続行することとして解釈される。

図３、４、５及び６において、前記ユーザの右腕の位置は、前記ユーザの左腕である所定の基準に対して記載されている。図７及び８において、前記ユーザの右腕の位置は、重力方向７０２である所定の基準に対して記載されている。本発明は、一般に、前記ユーザの体部位、例えば前記ユーザの右腕、前記ユーザの左腕、前記ユーザの頭部、前記ユーザの左脚、前記ユーザの右脚等と、所定の基準との間の特定の空間的関係により形成される特定のジェスチャに関して記載されていることに注意する。前記所定の基準は、前記ユーザの他の体部位、例えば他方の腕、他方の脚、前記ユーザの胴等、重力以外の所定の方向、又は前記カメラシステムによりキャプチャされる前記ユーザの環境における物理的オブジェクト若しくはその一部を含みうる。前記特定の空間的関係は、前記体部位及び前記所定の基準の相対的位置、及び／又は相対的向き及び／又は相対的移動により表されることができる。

Claims (10)

1. ユーザが前記ユーザの体部位の所定のジェスチャにより動作使用中のシステムを制御することを可能にする当該システムにおいて使用する非接触ユーザインタフェースにおいて、
   前記ユーザインタフェースが、カメラシステム及びデータ処理システムを有し、
   前記カメラシステムが、前記体部位及び前記体部位の環境を表すビデオデータをキャプチャし、
   前記データ処理システムが、前記カメラシステムに結合され、
   前記体部位と前記ユーザの外かつ前記環境内の物理的オブジェクトとの間の現在の空間的関係を前記ビデオデータから抽出し、
   前記現在の空間的関係が前記体部位と前記物理的オブジェクトとの間の所定の空間的関係にマッチするかどうかを決定し、前記所定の空間的関係が前記所定のジェスチャの特徴であり、
   前記所定の空間的関係にマッチする前記現在の空間的関係に依存して、前記システムを所定の状態にセットする制御コマンドを生成する、
   ように前記ビデオデータを処理する、非接触ユーザインタフェース。
2. 前記所定の空間的関係が、
   前記物理的オブジェクトに対する前記体部位の相対的位置、
   前記物理的オブジェクトに対する前記体部位の相対的向き、及び
   前記物理的オブジェクトに対する前記体部位の相対的移動、
   の少なくとも１つを表す、請求項１に記載の非接触ユーザインタフェース。
3. 前記所定の空間的関係及び前記所定の状態の少なくとも１つが、プログラム可能又は再プログラム可能である、請求項１に記載の非接触ユーザインタフェース。
4. 請求項１−３のうちいずれか一項に記載の非接触ユーザインタフェースを有する、ユーザが前記ユーザの体部位の所定のジェスチャにより動作使用中のシステムを制御することを可能にするシステム。
5. ユーザの体部位の所定のジェスチャに応答してシステムを制御する方法において、前記方法が、
   カメラシステムによりキャプチャされ、前記体部位及び前記体部位の環境を表すビデオデータを受信するステップと、
   前記ビデオデータを処理するステップと、
   を有し、
   前記ビデオデータの処理が、
   前記体部位と前記ユーザの外かつ前記環境内の物理的オブジェクトとの間の現在の空間的関係を前記ビデオデータから抽出するステップと、
   前記現在の空間的関係が前記体部位と前記物理的オブジェクトとの間の所定の空間的関係にマッチするかどうかを決定するステップであって、前記所定の空間的関係が前記所定のジェスチャの特徴である、当該決定するステップと、
   前記所定の空間的関係にマッチする前記現在の空間的関係に依存して、前記システムを所定の状態にセットする制御コマンドを生成するステップと、
   を有する、方法。
6. 前記所定の空間的関係が、
   前記物理的オブジェクトに対する前記体部位の相対的位置、
   前記物理的オブジェクトに対する前記体部位の相対的向き、及び
   前記物理的オブジェクトに対する前記体部位の相対的移動、
   の少なくとも１つを表す、請求項５に記載の方法。
7. 前記所定の空間的関係及び前記所定の状態の少なくとも１つが、プログラム可能又は再プログラム可能である、請求項５に記載の方法。
8. コンピュータ可読媒体に記憶され、ユーザの体部位の所定のジェスチャに応答して制御可能であるようにシステムを構成するように動作する制御ソフトウェアにおいて、
   前記制御ソフトウェアが、カメラシステムによりキャプチャされ、前記体部位及び前記体部位の環境を表すビデオデータを処理する第１の命令を有し、
   前記第１の命令が、
   前記体部位と前記ユーザの外かつ前記環境内の物理的オブジェクトとの間の現在の空間的関係を前記ビデオデータから抽出する第２の命令と、
   前記現在の空間的関係が前記体部位と前記物理的オブジェクトとの間の所定の空間的関係にマッチするかどうかを決定する第３の命令であって、前記所定の空間的関係が前記所定のジェスチャの特徴である、当該第３の命令と、
   前記所定の空間的関係にマッチする前記現在の空間的関係に依存して、前記システムを所定の状態にセットする制御コマンドを生成する第４の命令と、
   を有する、制御ソフトウェア。
9. 前記所定の空間的関係が、
   前記物理的オブジェクトに対する前記体部位の相対的位置、
   前記物理的オブジェクトに対する前記体部位の相対的向き、及び
   前記物理的オブジェクトに対する前記体部位の相対的移動、
   の少なくとも１つを表す、請求項８に記載の制御ソフトウェア。
10. 前記所定の空間的関係及び前記所定の状態の少なくとも１つをプログラム又は再プログラムする第５の命令を有する、請求項８に記載の制御ソフトウェア。

Images