JP5595935B2 - 認識されたジェスチャーを用いた高機能化入力 - Google Patents
認識されたジェスチャーを用いた高機能化入力 Download PDFInfo
- Publication number
- JP5595935B2 JP5595935B2 JP2010548918A JP2010548918A JP5595935B2 JP 5595935 B2 JP5595935 B2 JP 5595935B2 JP 2010548918 A JP2010548918 A JP 2010548918A JP 2010548918 A JP2010548918 A JP 2010548918A JP 5595935 B2 JP5595935 B2 JP 5595935B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- gesture
- control
- representation
- gestures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- User Interface Of Digital Computer (AREA)
Description
本出願は、2008年2月27日に出願された米国特許出願第12/038,626号の優先件を主張する。
例えば、前記ユーザのジェスチャーは、単一又は複数の指ジェスチャー、単一の手ジェスチャー、単一の手及び腕のジェスチャー、単一の手、腕及び体のジェスチャー、両手を使うジェスチャー、頭のポーズや姿勢の変化、目の位置の変化、顔の表情の変化、又は体のポーズ又は姿勢の変化を含んでもよい。
前記ユーザの表象は、カーソル、画像、アイコン、又はアバターでもよい。
第1及び第2の画像からユーザのジェスチャーを認識するステップと、中央領域に対して放射状に配置された相互連動要素をさらに含むコントロールの中央領域にユーザの表象を表示するステップと、認識されたユーザのジェスチャーに基づいて前記コントロールと相互連動するステップと、前記コントロールとの相互連動に基づいてアプリケーションを制御するステップと、を実行させる命令を含む。
前記ユーザインタフェースは、中央領域に対して放射状に配置された相互連動要素をさらに含むコントロールの中央領域にユーザの表象を表示するように構成される。前記プロセッサは、第1及び第2の画像からユーザのジェスチャーを認識し、認識されたユーザのジェスチャーに基づいて前記コントロールと相互連動し、前記コントロールとの相互連動に基づいてアプリケーションを制御するように構成される。
本開示の他の特徴や効果は、明細書、図面及び請求の範囲から明白である。
タッチスクリーンでは指紋によって発生する精度の悪化に悩まされるが、このようなタッチスクリーンとは違って、ジェスチャーに基づく入力は、写真、ビデオ又はその他の画像を、ユーザの自然な体の動き又はポーズに基づいて明瞭に表示する、あるいは、その他の出力を行うことを可能にする。
このような利点を考慮すると、可視的な出力の他の方法による操作、音楽又はその他の音を再生する機能などのその他の機能又はその他のメディアアプリケーションの直感的な呼び出し、その他のアプリケーションとの相互連動、あるいは仮想的な環境若しくは世界のナビゲートを行うことができるその他のジェスチャーを認識するように、高機能化コントロールを拡張してもよい。
例えば、ジェスチャーは、第1の位置、ポーズ又は表現と、第2のポーズ、位置又は表現との間の、動き、変化又は形態変化によって規定することができる。
日常会話で使用される一般的なジェスチャーには、例えば、「エアクォーツ」ジェスチャー、お辞儀ジェスチャー、会釈、頬キス、指若しくは手の動き、片膝をつくこと、頭を振ること、又は頭を動かすこと、ハイファイブ、頷き、悲しい顔、握りこぶしを上げること、敬礼、親指を上げる動き、又は指し示すジェスチャーが含まれる。
ジェスチャーはカメラを使用して、例えば、ユーザの画像を解析する、傾きセンサを使用して、例えば、ユーザが装置を保持している、又は傾けている角度を検出する、あるいはその他のアプローチを用いて検出することができる。
高機能化コントロールは、カメラ入力による機能の制御を行うために、例として、手及び腕のジェスチャーを使用するが、他の種類のジェスチャーを使用してもよい。
図1では、ユーザ101(ボブ)が、メディアハブ103とカメラ104のディスプレイ102の前に立っており、快適な音量で再生されている音楽を聴いている。
このユーザの右腕105、右手106及び胴107は、カメラ104の画角109の範囲内にある。
メディアハブ103は、ユーザの右手106の手の平を前に出して指を伸ばしたポーズを、ジェスチャーに基づく制御入力が間もなく行われることを意味するものとして認識する。
換言すると、ユーザの右手106の手の平を前に出して指を伸ばしたポーズを形成していなければ(例えば、ユーザの右手106が丸くなっていれば)、メディアハブ103はユーザの動きやジェスチャーを無視してもよい。
画像の一部111から手106のポーズが検出される。この場合は、手の平が前に出て5本の指すべてが完全に伸びて離れているポーズである。
第2の画像から、手111の位置の変化も検出又はその他判断され、腕105の上方向の腕の動きによって行われるジェスチャーを自動的に判断又は認識することが可能になる。
この例では、ホイール形状の高機能化コントロール114が、8つの相互連動要素115を含んでおり、これらそれぞれが、一又は複数のアイコン、機能及びアプリケーションに関連づけられている。
例えば、相互連動要素115aが、ウェブブラウザ機能に関連づけられており、相互連動要素115cが、ユーザ別の写真アルバム機能に関連づけられており、相互連動要素115dが、音量下げ機能に関連づけられており、相互連動要素115eが、電子メール機能に関連づけられており、相互連動要素115fが、コントロール無効化機能に関連づけられており、相互連動要素115gが、ユーザ別の音楽機能に関連づけられており、相互連動要素115hが、音量上げ機能に関連づけられている。
相互連動要素115は、メディアハブ103のすべてのユーザに対して普遍的で同じであってもよく、認識されたユーザ101の識別に基づいて決められる、又は、選択されるものであってもよい。
例として、高機能化コントロール114は、線形、三角形、3次元的、矩形であってもよく、又は高機能化コントロール114は、扇形を占めていてもよい。
高機能化コントロール114は、略非対称な形状であってもよく、略対称な形状であってもよい。
例えば、ユーザインタフェース112が高機能化コントロール以外の他のオブジェクトを表示する、あるいはユーザインタフェース112の領域が不明瞭になるに従って、高機能化コントロールは、自身を動的に再配置する、自身の形状を変化させる、あるいは表示される相互連動要素の数を変えてもよい。
また、特定の認識されたユーザのために動的に選択される、あるいは全てのユーザに対して同様に選択されることに加えて、例示の相互連動要素の数を選択してもよい。
このような相互連動が、相互連動要素115hに関連づけられた音量上げ機能を呼び出し、起動し、あるいはその他の実行をして、さらにメディアハブ103が出力する音楽の音量を上げる。
簡潔に書くと、デバイス200は、他のものに加えて、ユーザインタフェース201、記憶媒体202、カメラ204、プロセッサ205及び傾きセンサを備える。
ユーザインタフェース201は、ユーザが、デバイス200と、あるいはデバイス200により起動されたアプリケーションと、相互連動することを可能にする機構である。
ユーザインタフェース201は、入力と出力の両方の機構を提供することができ、ユーザがデバイスを操作すること、又は、デバイスがユーザの操作を実現ことを可能にする。
デバイス200は、グラフィカルユーザインタフェース(GUI)、ボイスユーザインタフェース、又は触知性ユーザインタフェースなどの任意の種類のユーザインタフェース201をも利用することができる。
例として、ユーザインタフェース201は、モニタ、テレビジョン、液晶ディスプレイ(LCD)、プラスマディスプレイデバイス、プロジェクタースクリーン付きのプロジェクター、自動ステレオスコピックディスプレイ、陰極管(CRT)ディスプレイ、デジタル光プロセッシング(DLP)ディスプレイ、あるいは表示画像をレンダリングするように構成された任意の種類の表示デバイスであってもよい。
ユーザインタフェース201は、一又は複数の表示デバイスを備えていてもよい。
構成によっては、ユーザインタフェース201が、アバターなどのオブジェクトないし表象等のアプリケーションが生成する表示画像などの、アプリケーションに関連づけられた画像を表示するように構成されている。
記憶媒体には、他のものに加えて、認識されたジェスチャーを用いた高機能化入力を実行させる、高機能化コントロールアプリケーション207がエンコードされている。
カメラ204は、可視スペクトルの光を使用する、又は赤外線などの他の電磁スペクトルの一部をともに使用することができる。
例えば、カメラ204は、デジタルカメラ、デジタルビデオカメラ、又は画像を撮像するように構成されたその他の任意の種類のデバイスであってもよい。
カメラ204は、一又は複数のカメラを含んでいてもよい。
幾つかの例においては、カメラ204は、オブジェクトの画像、又はアプリケーションと相互連動しているユーザの画像を撮像するように構成されてもよい。
例えば、カメラ204は、自由空間で物理的にジェスチャー表現をしている、又はカメラ204の画角の範囲内でアプリケーションとその他の相互連動をしているユーザないし人の画像を撮像するように構成されてもよい。
例えば、カメラ204は、ユーザの動き、そして、同様にジェスチャー、を検出するために背景画像をサンプリングすることができる画像検出器であってもよい。
カメラ204は、グレースケール画像、カラー画像、又は距離画像を生成することが可能なカメラであり、距離画像を生成することができるステレオカメラやタイムオブフライトカメラなどでもよい。
ステレオカメラは、少し異なる視点から画像を取得する2つのイメージセンサを備え、プロセッサが異なる視点から取得した画像を比較して画像の部分間の距離を計算するようにしてもよい。
タイムオブフライトカメラは、赤外光等の光パルスを発生させるエミッターを備え、このエミッターにおいて、エミッターからの光パルスが被写体とセンサの間を行き来する時間を測定して画像の各部分の距離を算出するようにしてもよい。
一つの構成において、デバイス200は、プロセッサ205又は他の制御回路を利用して高機能化されたカメラに基づく入力を提供するアプリケーションを実行する。
例として、デバイス200は、テレビジョン、ウルトラモバイルパーソナルコンピュータ(UMPC)、モバイルインターネットデバイス(MID)、デジタル写真フレーム(DPF)、携帯型メディアプレイヤー(PMP)、汎用コンピュータ(例えば、デスクトップコンピュータ、ワークステーション、又はラップトップコンピュータ)、サーバ、ゲームデバイス若しくはコンソール、又は命令を実行するように構成されたプロセッサ又は他の制御回路を備えたその他の任意の種類の電子デバイス、又はユーザインタフェースを備えた他の人の装置として実装されてもよい。
例として、移動体電話をテーブルの上に配置して、顔に向けたカメラを用いてユーザの画像を生成するように動作するようにしてもよい
あるいは、傾きセンサ209を用いてジェスチャーを認識して検出してもよく、例えば、「左に傾斜」のジェスチャーを検出すると、表象を左に移動させて、コントロールの左側に配置された相互連動要素を選択するようにしてもよく、又は、「右前方に傾斜」のジェスチャーを検出すると、表象を中立位置から上方及び右側に移動させて、コントロールの右上側に配置された相互連動要素を選択するようにしてもよい。
この点については、ユーザが所望する機能又は命令を実行するために、画像に基づく入力を、傾きセンサの入力により補完する、又は、傾きセンサの入力で換えてもよい。
換言すると、ユーザのジェスチャーの検出を、カメラを使用せずに行ってもよい。
ユーザインタフェース上のコントロールで可視化される同一の種類のストロークパターンでデバイスを動かすことによって、ユーザは直接的な方法で同一のインタフェース又はアプリケーションを制御することができる。
簡潔には、コンピュータによって実施される処理300は、第1及び第2の画像からユーザのジェスチャーを認識し、中央領域に対して放射状に配置された相互連動要素をさらに含むコントロールの中央領域にユーザの表象を表示することを含む。
この処理は、認識されたユーザのジェスチャーに基づいてコントロールと相互連動し、コントロールとの相互連動に基づいてアプリケーションを制御することをさらに含む。
第1及び第2の画像は、ビデオシーケンスを構成する、個々の画像スナップショット又は一連の画像から抽出することができる。
各画像は、ユーザ若しくはユーザの一部の、ポーズ、位置、表現、姿勢、又はその他の状態をアプリケーションが判断することを可能とする位置情報を撮像している。
例えば、ユーザのジェスチャーは単一又は複数の指のジェスチャー、単一の指のジェスチャー、単一の手及び腕のジェスチャー、単一の手、腕及び身体のジェスチャー、両手を使用したジェスチャー、頭のポーズ又は姿勢の変化、目の位置の変化、顔の表情の変化、身体のポーズ又は姿勢の変化、又はその他の任意の表現される身体の状態の形態変化であってもよい。
例えば、ユーザは身体全体又はその他の物理的なオブジェクトを用いて命令を表現してもよい。この場合、身体全体又はその他の物理的なオブジェクトを、コントロールオブジェクトとしてもよい。
ユーザは、目を瞬きする、鼻孔を動かす、又は指を小刻みに動かすことによって、より詳細に命令を表現してもよい。この場合、まぶた、鼻又は指をコントロールオブジェクトとしてもよい。
単一の画像又は2つの画像の間のユーザのジェスチャーは、イネーブリングジェスチャー又は「エンゲージメント」ジェスチャーを表現するものとしてもよい。
例えば、「空間に円を描く」又は「一方向に手を大きく振る」ジェスチャーを、手、腕、身体、頭、又はその他のオブジェクトの位置情報を用いたジェスチャー解析及び検出処理によって検出することができる。
大きく振るジェスチャーが行われた時など、2次元又は3次元の位置変位をジェスチャーが伴うこともあり得るが、他の場合では、ジェスチャーには、付随する位置変位のない、形態変化が含まれる。
例えば、5本の指を伸ばし、手の平を前に向けて「止まれ」を手で合図する場合、手の平を前に向けたまま5本の全ての指を曲げて丸くすると、ユーザのポーズは変化する。このように、手や腕の全体的な位置を動かさなくても、ジェスチャーは表現される。
例えば、「一方向に手を大きく振る」のジェスチャーは、以下のジェスチャー検出ルールが満たされた場合に特定することができる。すなわち、(1)所定の限度よりも短い期間における水平方向の位置変化が所定の距離よりも大きい;(2)前記期間において水平方向の位置変化が単調である;(3)前記期間において垂直方向の位置変化が所定の距離よりも小さい;及び(4)前記期間の終了時における位置が、前記期間の開始時の位置よりも手の検出領域の境界に近いかその境界上にある、である。
このシステムは、僅かなジェスチャーを検出できない場合は、隠れマルコフモデルを用いてもよい。隠れマルコフモデルは、特定の動きの連鎖を検出することを可能としながら、幾つかの動きが十分にジェスチャーに合致しない全体的な確率も考慮することができる。
一例では、エンゲージメントジェスチャーは、所定の時間の間保持された、ディスプレイの前のカメラのトラッキング領域においてジェスチャー表現された特定の手のポーズ又は手の動きのシーケンスである。
一例のジェスチャーは、すべての指と親指をばらばらに広く広げて上方向の位置に手を保持した、手のポーズである。
例えば、ユーザの指先を使って「左を指す」ジェスチャーを行うことができる。これは指の画像を解析することによって検出することができる。
指し示す指先の方向を判断するために、指紋解析、又はその他のアプローチを用いることができる。
他の代表的な実装例では、例えば、ジェスチャーが言語のジェスチャーである場合、または、傾きセンサや加速度計を用いて計算される場合などでは、上述のように、カメラを用いずにジェスチャーを検出することができる。
より詳細には、カメラ402によって撮像されるユーザ401の2つの画像によって、下方向の第1の位置404から手の平を前方に向け伸ばした第2の位置405へのユーザの腕のジェスチャー表現が捕捉される。
ユーザ401がこのジェスチャー表現を行うことによって、ユーザの表象406がユーザインタフェース407に表示され、加えて、目標画像409(十字線)がユーザインタフェースの中央に表示される。
以下に詳細に説明するが、ジェスチャーを行う際、ユーザの手410が、カメラ402の画角411の中央にないので、表象406はユーザインタフェース407の右下の隅の領域に現れ、これによって再位置合わせ処理を呼び出すことが可能となる。
例えば、画像に顔の検出及び認識処理を行って、画像内のユーザの存在や識別を検出してもよい。
識別情報は、例えば、利用可能な選択肢又は表示する相互連動要素を判断、又は選択するため、あるいは複数のユーザが入力機能に携わることを試みている場合に、画像内の多くのユーザの中でどのユーザをコントロールするユーザとして指定するかを判断するために用いられる。
この判断された識別情報から、子供が存在すること、又はユーザ401がユーザ415よりも高い優先度を有することをデバイスが判断し、これによって、ユーザに対する選択肢を減らしてコントロールを介して表示する、又は、子供のユーザ415がデバイス416のコントロールを大人のユーザ401から獲得すること不許可とすることができる。
例えば、ユーザ401は、ユーザ415の「頭をなでる」ジェスチャーをして、これによってデバイスのコントロールをユーザ415に以上するようにしてもよい。
ユーザ401によるジェスチャーは、能動的な手法(例えば、再ジェスチャー表現)又は受動的な手法(例えば、タイムアウト)によってユーザ401がコントロールを再び得るまで続行する。
例えば、カメラ前方の所定の距離に平面を画定し、その平面のカメラから遠い側で行われる、又は、実行されるジェスチャーは無視し、一方で、カメラとその平面の間で実行されるジェスチャー、又は潜在的なジェスチャーは監視し、特定し、認識し、フィルタリングし、適切に処理する。
このような平面は、他の点、位置、又は、例えば、ユーザの胴体などの被写体に対して画定してもよい。
また、ユーザのジェスチャーを認識する際に、ユーザのジェスチャーの大きさ及び方向を判断してもよい。
制御、又は、エンゲージメント(参加)を表すために使用し得る他の手のポーズとして、例えば、指を上に向けて手の平を前方に向ける手のポーズ502;親指を上げて指を曲げる手のポーズ504;及び、指を前方に伸ばし、親指を上げる手のポーズ505が含まれる。
初心者ユーザに対しては、ユーザがインタフェースと相互連動することを促すためにユーザの表象を表示してもよいが、ジェスチャーを行うことに慣れているエキスパートユーザに対しては、表示しないようにしてもよい。
例えば、通常のモード又は上級モードでは表象を表示しないが、チュートリアルモードではユーザの表象を表示するなどのように、ユーザの表象を表示する、又は表示しないについては、ユーザがインタフェースを構成設定してもよい。
ユーザがエンゲージメントジェスチャーを実行したが、ユーザが制限時間内にアイテムを選択するジェスチャーを実行しなかった場合に、インタフェースが表象を表示するようにしてもよい。
コントロールが円形であって相互連動要素が放射状に向いて配置されている場合、かかるコントロールを「ジェスチャーホイール」と呼ぶ。
ホイールの中央を、ユーザインタフェース、又はユーザインタフェースの空白領域の中央位置などの目標位置となるようにしてもよい。これによって、指向性の動きによって機能を呼び出す場合に、ユーザが自身の身体のコントロールオブジェクトを、呼び出そうとするその機能の一般的な方向に単純に移動させることができる。
他の代表的なジェスチャーホイールは、8よりも多い、又は、8よりも少ない相互連動要素を含む、あるいは、可変の数の相互連動要素を含む。
例えば、ジェスチャーホイールは、単一の相互連動要素、10の相互連動要素、あるいは数ダース、数百又は数千の相互連動要素を含んでもよい。
例えば、コントロールは、自身を繰り返し調整するので、シミュレーションされた跳ね返るボールなど、ユーザインタフェースにおいて動画像が重なり合うことを避けることができる。
コントロール601は、ハブアンドスポーク(放射)状に中央領域604から広がる8つのアイコン602a〜602hを含む円形のコントロールである。
中央領域604は、ユーザインタフェース605の略中央に位置合わせされる。
コントロール606は、ユーザインタフェース610の右下の隅の近傍に位置する中央領域609から、4つのアイコン607a〜607dを含む90°の扇形部分を占める扇形のコントロールである。これら4つのアイコン607a〜607dも同様にハブアンドスポーク状に広がっている。
コントロール616は略円形であり、ハブアンドスポーク状に中央領域619から広がる8つのアイコン617a〜617hを含み、加えて、ユーザインタフェース622上の複雑な経路621a及び621bに沿って中央領域619から広がる2つのアイコン620a及び620bを含む。
例として、ユーザが特定の距離の分、左上の所定方向にジェスチャーをし、そして上方向の動きをせずに左にジェスチャーをした時に、アイコン620bがアクティブ化されるようにしてもよい。
また、アイコン620aは、「ディスエーブルコントロール」のアイコンに関連づけられていて、呼び出された場合にコントロール616をディスエーブル、又はオフにするように機能するということも特筆すべきである。
例として、各相互連動要素は、選択された場合にアプリケーションを呼び出すアイコンを含んでもよい。
コントロールが複数の相互連動要素を含む場合、コントロールを介して選択され得るアプリケーションをそれぞれ、「候補」アプリケーションと呼ぶ。
この場合、身体が小刻みに震えることにより生じるような小さなジェスチャーは、表象がスポークの全長を移動してスポークの遠端に配置された各アイコンに到達するほど十分に大きくない限り、相互連動要素に関連づけられたアプリケーションを呼び出すことのないように無視される、又は、無効となるようにしてもよい。
相互連動要素(又は相互連動要素の外側部分)から中央領域を分離する可視又は不可視なガイド線を画定することによってこの閾値を定め、表象がガイド線を横切る際に表象の近傍であることに基づいてガイド線が選択されるようにしてもよい。
このような構成によって、相互連動領域の選択を迅速化することが可能となり、ユーザによる動きの正確さに対する要求を緩くし、又は、精細な動きを認識するためにアプリケーションによって生じる計算コストを削減することができる。
具体的には、以前にユーザがある期間にわって実行して記録されたジェスチャーの距離及び速さに基づいて、閾値の乗算係数を、ある期間にわたるユーザのスタイルに適応させることができる。
あるいは、閾値の乗算係数を、ジェスチャー時に観測された速さに基づいて、ジェスチャーが行われている間のユーザのスタイルに適応させてもよい。
閾値の距離は、(腕を大きく振るスタイルのユーザに対して)ユーザが速く動く場合に延長する、あるいは(より慎重なスタイルユーザに対して)ユーザがゆっくり動く場合には短くしてもよい。
閾値の距離は、ユーザが以前にジェスチャーを実行した際に動いた平均距離に従って設定してもよい。
具体的には、ユーザインタフェース624に示されるように、尤度が高い、又は人気のあるアイテムのスポーク625の半径は、通常のアイテムに関係づけられたスポーク626よりも短くしてもよい。
また、尤度の高いアイテムの間の角度627をそれほど人気のないアイテムの角度629よりも大きくしてもよい。これによって、尤度の高いアイテムを選択することが容易になる。
コントロール630上のアイテムに関連づけられた尤度、すなわち、そのスポークの属性は、アイテムの人気度に従っていてもよく、ユーザが最近そのアイテムにアクセスした回数に動的に基づいていてもよく、より大きなサンプリングによるそのアイテムへの最近のユーザのアクセス回数に関する統計情報に動的に基づいていてもよく、アイテムの使用の期待に基づいて予め決められていてもよく、あるいは、ベンダーがどのアイテムを推進するかに予め基づいてもよい。
例えば、ユーザが右方向に振れるジェスチャーを行った場合、ユーザインタフェース624に示すように、右側のアイテムが広がって、それらの選択が容易になるようにしてもよい。
そして、動的に位置合わせされた相互連動要素に追従するように、ユーザが自身のジェスチャーの経路を調整してもよい。これによって、曲がったジェスチャー経路となる。
例えば、親の相互連動要素が、機能のカテゴリー(複数の場合を含む)を表し、親の相互連動要素が選択されると、それぞれが機能カテゴリーの各々を表す複数の子の相互連動要素が、親の第1の相互連動要素から放射状に広がって現れるようにしてもよい。
例えば、ユーザインタフェース631では、表象632がメールアイコン633(すなわち、親の相互連動要素)の上をホーバーした場合に、選択されたメールアイコン633から、メール読み出しアイコン635、メール作成アイコン636、及びメール検索アイコン637(子の相互連動要素)が発生し放射状に広がる。
あるいは、コントロール639は初期状態において、既にユーザインタフェース631の隅に配置しておいてもよい。
子のアイテムが現れる際には、親と兄弟関係にあるものが画面から消え去るようにして、通常画面に収まるアイコンの数よりも多くのアイコンを選択できるようにしてもよい。
例えば、メールアイコン633の選択の前の状態では、コントロール639が、より多くの相互連動要素を含んでいてもよく、例えば、コントロール601と同様な視覚的な外観を有していてもよい。
例として、「大きく振る(swiping)」というイネーブリングジェスチャーの結果として、ユーザの手が、カメラの画角の境界の近く又は外側に位置することになり得る。
このような状況や他の状況において、今後のジェスチャー認識を容易にする、又は改善させる(自由空間における)目標位置に、ユーザのコントロールオブジェクトの向きを合わせる、又は、位置合わせする処理を行ってもよい。
自由空間における目標位置は、カメラの画角の中央位置などの位置に予め定めてもよい。あるいは目標位置は、動的に決められてもよく、例えば、良好に照光された位置、コンストラスト比が高い領域、又は複雑な背景のない領域、又は他の運動をしている被写体から離れた画角の領域に決定してもよい。
このように、ユーザの表象を最初は中央領域の外に表示し、中央領域に目標画像を表示させてもよい。
移動された表象が目標画像と位置合わせされている場合、中央領域に表象が表示される。
再位置合わせによって、ユーザの手を確実にカメラの画角の中に留まるようにしてもよく、ユーザが、一又は複数の方向のジェスチャーを行うため、確実に腕のリーチが十分となるようにしてもよい。
第2の位置706がユーザインタフェース707の中央の目標画像707と位置合わせされると、ジェスチャー表現によって最初に高機能化コントロールが現れる。
その後、ユーザが高機能化コントロールと相互連動するジェスチャー表現をした場合、コントロールオブジェクトを画角に対して所望の位置に配置し直すさらなる再位置合わせ処理を行ってもよい。
あるいは、このコントロール自体が、ユーザインタフェースの中央ではない位置から離れて移動してもよく、又は、ユーザインタフェースの中央ではない位置で最初に生成されていてもよい。
例えば、イネーブリングジェスチャーの結果として、ユーザの手がカメラの画角の左上方向の遠方に位置する場合、コントロールは、ユーザインタフェース上の右頂部から放射状に広がる90°の扇形として生成されてもよい。
このような場合、コントロールがユーザインタフェースの中央に配置され、相互連動要素により完全に包囲される状態と比較して、同数、又は、より少ない数の相互連動要素を表示することができる。
認識されたユーザのジェスチャーに基づいて、コントロールとの相互連動が発生する(S305)。
認識されたユーザのジェスチャーは、表象を、自由空間におけるユーザの動きの方向と大きさに基づく方向と大きさで、コントロールの中央領域から離れるように移動させ、表象が一又は複数の相互連動要素と重なり合うようすることができる。
大きさの乗算係数を、以前にユーザがある期間にわってジェスチャーを実行して記録された距離及び速さに基づいて、大きさの乗算係数を、ある期間にわたるユーザのスタイルに適応させることができる。
あるいは、大きさの乗算係数を、ジェスチャー時に観測された速さに基づいて、ジェスチャーが行われている間のユーザのスタイルに適応させてもよい。
大きさの乗算係数は、(腕を大きく振るスタイルのユーザに対して)ユーザが速く動く場合は減少する、あるいは(より慎重なスタイルユーザに対して)ユーザがゆっくり動く場合には増大するようにしてもよい。
具体的には、ユーザ801は、自身の腕を第1の位置802から第2の位置803へと動かしてジェスチャー表現する。これによって、ユーザインタフェース806における表象805が中央位置807から右に動き、中央領域の右に配置された相互連動要素のアイコン809が強調表示される。
アイコン809の選択、及び強調表示は、マウスを重ね合わせるイベント、又はマウスダウンイベントを模倣したものであってもよい。これによって、アイコン809に関連づけられたアプリケーション(例えば、ウェブブラウザアプリケーションなど)が実行される。
第2の状態803における腕のわずかな下方向の動きなどの、ユーザ801の無関係な動きは、身体構造モデルを参照などにより、フィルタリングする、又は、無視することができる。
例えば、図9に示すように、ユーザ901が、マウスカーソルのコントロールをデスクトップに移動すると判断した場合、自身の手を相互連動要素に向けて振る代わりに、5本指の手のポーズ902を崩して、指し示す手のポーズ904として、マウスコントロールモードを呼び出してもよい。
マウスコントロールモードは、ユーザインタフェース906において矢印カーソル905を別の非マウスコントロールモードの表象に置き換える等、異なる表象に置き変えて可視化してもよい。
図10に示すように、マウスコントロールモードがアクティブ化すると、ユーザ1001は、第1の位置1002から第2の位置1004に自身の腕と指差した手を左上に動かし、ユーザインタフェース1006における表象1005をデスクトップのアイコン1007の方向に移動させることができる。
例えば、図11に示すように、人差し指と親指を開いたジェスチャー1101は、マウスダウンイベントを模倣し、人差し指を開いて親指を下げたジェスチャー1102は、マウスアップイベントを模倣し、手を鋭く振り下ろすジェスチャー1104は、キャンセル又はエスケープイベント又はダブルクリックイベントを模倣し、親指のみを開いて指を結ぶジェスチャー1105は、シングルマウスイベントを模倣するようにしてもよい。
マウスアップイベントを行うため、ユーザは、親指をその静止位置に下げるようにしてもよい。
右クリックイベントを行うため、ユーザは、自身の手を所定時間動かさずに「マウスダウン」ポーズを保持して右クリックメニューを呼び出すようにしてもよい。
マウスカーソルの位置は、マウスダウン、又は、マウスアップのジェスチャーを行う間に、ユーザが意図せずしてマウスカーソルの位置を動かしてしまうことを防止するため、フィルタリングしてもよい。
例えば、カーソルの位置は、マウスアップ又はマウスダウンイベントが実行されている間に、検出されたジェスチャーの開始時の位置に直ちに戻るようにしてもよい。
指を下に曲げることが、マウスダウンイベントを模倣し、指を真っ直ぐに伸ばすことが、マウスアップイベントを模倣するようにしてもよい。
右クリックは、異なる指、又は複数の指がかかわる類似のジェスチャーを用いて模倣してもよい。
「握る」動きで手の拳を固める場合、手を閉じることがマウスダウンイベントを模倣し、手を開くことがマウスアップイベントを模倣するようにしてもよい。
この代表的なジェスチャーのセットは、握り引っ張ることでドラッグを行われるので、直感的に行うことができ、指で差し示すこと、および手のサイズを変更することをせずとも、十分な精度を得ることができる。
例えば、手の平を前に出して指を伸ばす手のポーズを、マウスダウンイベントを発生するために用いてもよく、手を閉じて握る動きがマウスダウンイベントを表し、手を開くことがマウスアップイベントを表すようにしてもよい。
これのようにして、使用される特定の手のジェスチャーを、合図した命令がユーザにとって自然であるように調整することができる。
具体的には、ユーザ1201は、マウスダウンを表す指差すポーズを保持してデスクトップアイコン1205を掴みながら、自身の腕を第1の位置1202から第2の位置1204へと自身の左下に動かし、それをユーザインタフェース1206の中央に向けて動かす。
「マルチタッチ」のコントロール動作を行う場合、ユーザは第2の手をトラッキング領域に導き、親指の動きを利用して、この付加的に利用可能なトラッキング要素を使用して「クリック」を行うことができる。
さらに、アプリケーションの制御は、強調表示、又は、選択されたアイコンに関連づけられた候補アプリケーション、又は、移動若しくは再位置合わせされた表象に隣接した相互連動要素に関連づけられた候補アプリケーションを制御することをさらに含んでもよい。
1つのアプローチとして、エンゲージメントジェスチャーが再びアクティブ化されるまで、手のポーズ、又は手のポーズと合わせて手の動きを使用して、ジェスチャーコントロールをオフにするものがある。
図13において、例えば、ユーザ1301は自身の腕を、コントロールしている第1の位置1302から自身の胴1305に近い、脱力した、又は、リラックスした位置に下げる。
このような動きによって、コントロールがユーザインタフェース1306から消える。
図14に示すように、例えば、ユーザ1401は、カメラ1404の画角フレーム1402の外に動くことによってコントロールは使用不可となる。これによって、コントロールはユーザインタフェース1405から消える。
また、図15に示すように、ユーザ1501は、第2の手1502を第1の手1504の上で振る動きをするジェスチャー表現等の別のコントロールオブジェクトの動作によってコントロールを使用不可として、ユーザインタフェース1505をクリアするようにしてもよい。
例えば、図16に示すように、ユーザが子のユーザ1601として識別される場合、コントロール1602は、より単調な形状であってもよく、子のユーザ1601に対して適切な(例えば、年齢的又は成長段階的に適切な)アイコン1604を有していてもよい。
同様に、ユーザが大人のユーザ1605として特定される場合、コントロール1606は、より複雑な形状であってもよく、制限がより少なくてもよく、又は、大人のユーザ1605に対して適切なアイコンや機能にさらにアクセスすることが付加的に可能になっていてもよい。
処理1701が開始すると(1701)、ユーザの一又は複数の画像からエンゲージメントポーズが検出されたかどうかが判断する。
エンゲージメントポーズが認識されてないと判断された場合(S1702において)、処理1700はエンゲージメントポーズが認識されるまで待つ(S1702)。
エンゲージメントポーズがまだ検出されると判断された場合(S1705において)、表象が目標画像と位置合わせされているかどうかが判断される(1706)。
ジェスチャーがまだ検出される場合(S1709)、エンゲージメントポーズがまだ存在するかどうか判断される(1710)。
エンゲージメントポーズがまだ存在する場合(S1710において)、手を振るジェスチャーが認識されるかどうかが判断される(S1711)。
手を振るジェスチャーが認識される場合(S1711において)、手を振ることに関連づけられた機能が、高機能化コントロールを介して呼び出され(S1712)、これによって、処理1700が終了する(S1714)。
表象が目標画像と位置合わせされていない場合(S1706)、エンゲージメントポーズが認識されるかどうか判断される(S1705)。
ジェスチャーがまだ検出されない場合(S1709)、高機能化コントロールが除去され(S1716)、処理1700は、エンゲージメントポーズが再び認識されるまで待つ(S1702)。
指差すジェスチャーが認識されていない場合(S1717)、ジェスチャーがまだ検出されるかどうかが判断される(S1709)。
手を振るジェスチャーが認識される場合(S1711において)、ジェスチャーがまだ検出されるかどうかが判断される(S1709)。
他の特徴としては、コントロールには最初にユーザの表象を包囲するアイコンが含まれる。これによって、直接的、直感的で自然なユーザの身体の動きを介して、関連づけられたアイコンの機能を容易に選択することができる。
別の一般的な実装形態において、デバイスはユーザインタフェースとプロセッサを備える。
ユーザインタフェースは、中央領域に対して放射状に配置された相互連動要素を含んでいるコントロールの中央領域に、ユーザの表象を表示するように構成する。
プロセッサは、第1及び第2の画像からユーザのジェスチャーを認識されたユーザのジェスチャーに基づいてコントロールと相互連動し、コントロールとの相互連動に基づいてアプリケーションを制御するように構成する。
ユーザは、コンピュータのオペレーティングシステムプログラムと、さらにアプリケーションプログラムを動作させ制御する命令やデータを入力するキーボード1809を使用する。
マウス1810は、いずれの種類のポインティングデバイスであってもよく、ジョイスティック、トラックボール、タッチパッド、又は他のポインティングデバイスであってもよい。
ユーザインタフェースを表示し、テキストや数字をユーザが入力したり選択することを可能にし、あるいはメニューの選択肢を選択することを可能にするように使用されるソフトウェアが、固定ディスクドライブ1811のようなコンピュータの読み取り可能なメモリーメディア上にローカルに記憶される。
このようなコンピュータ読み取り可能なメモリーメディアによって、コンピューティングデバイス1801が、取り外し可能及び取り外し不能なメモリーメディアに記憶されたコンピュータが実行可能な処理ステップ、アプリケーションプログラム等にアクセスすることを可能にする。
ネットワーク1306は、LANネットワーク、企業内又は政府内WANネットワーク、インターネット又は他のネットワークでもよい。
無線コネクターの例としては、例えば、INFRARED DATA ASSOCIATION(登録商標)(IrDA(登録商標))無線コネクター、光無線コネクター、INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS(登録商標)(IEEE(登録商標))標準802.11無線コネクター、BLUETOOTH(登録商標)無線コネクター、直交周波数分割多重(OFDM)ウルトラワイドバンド(UWB)無線コネクター、時変調ウルトラワイドバンド(TM−UWB)無線コネクター、又は他の無線コネクターが含まれる。有線コネクターの例としては、例えば、IEEE(登録商標)−1394 FIREWIRE(登録商標)コネクター、ユニバーサルシリアルバス(USB)コネクター、シリアルポートコネクター、パラレルポートコネクター、又は他の有線コネクターが含まれる。
取り外し可能なディスクドライブ1812には、フロッピーディスクドライブ(登録商標)、IOMEGA(登録商標) ZIP(登録商標)ドライブ、コンパクトディスクーリードオンリーメモリー(CD−ROM)ドライブ、CD−レコーダブルドライブ(CD−R)、CD−リライタブルドライブ(CD−RW)、フラッシュメモリー、USBフラッシュドライブ、サム(thumb)ドライブ、ペンドライブ、キードライブ、高密度デジタル多用途ディスク(HD−DVD)光ディスクドライブ、BluーRay光ディスクドライブ、ホログラフィックデジタルデータストレージ(HDDS)光ディスクドライブ、あるいはDVD−レコーダブル(「DVD−R」又は「DVD+R」)、DVD−リライダブル(「DVD−RW」又は「DVD+RW」)、又はDVD−RAMのような多様な記録可能又は再び書き込み可能なデジタル多用途ディスク(DVD)ドライブのいずれであってもよい。
オペレーティングシステムプログラム、アプリケーション、及び多様なデータファイルが、固定ディスクドライブ1811、又は取り外し可能なディスクドライブ1812のための取り外し可能なメディアに記憶されたディスクに記憶される。
コンピュータプログラム製品は、機械によって読み取られて、第1及び第2の画像からユーザのジェスチャーを認識し、中央領域に対して放射状に配置された相互連動要素を含んでいるコントロールの中央領域にユーザの表象を表示し、認識されたユーザのジェスチャーに基づいてコントロールと相互連動し、コントロールとの相互連動に基づいてアプリケーションを制御することをデータ処理装置に行わせる命令を含んでいる。
Claims (19)
- コンピュータによって実施される方法であって、
第1及び第2の画像からユーザのジェスチャーを認識するステップと、
ユーザの識別を認識するステップと、
認識された識別に基づいて相互連動要素を選択するステップと、
コントロールの中央領域に対して放射状に配置された前記相互連動要素をさらに含む前記コントロールにユーザの表象を表示するステップであって、前記相互連動要素を表示することは、前記ユーザの前記表象が前記中央領域に位置合わせされるまで先送りされる、ステップと、
認識されたユーザのジェスチャーに基づいて前記コントロールと相互連動するステップと、
前記コントロールとの相互連動に基づいてアプリケーションを制御するステップと、を含む方法。 - 前記ユーザのジェスチャーは、単一又は複数の指ジェスチャー、単一の手ジェスチャー、単一の手及び腕のジェスチャー、単一の手、腕及び体のジェスチャー、両手を使うジェスチャー、頭のポーズや姿勢の変化、目の位置の変化、顔の表情の変化、又は体のポーズ又は姿勢の変化を含む、請求項1記載の方法。
- 前記ユーザの表象は、カーソル、画像、アイコン、又はアバターである、請求項1記載の方法。
- 前記コントロールは、四角形形状、円形形状、扇形形状を含む、請求項1記載の方法。
- 各相互連動要素は、候補アプリケーションに関連づけられたアイコンをさらに含み、
前記コントロールとの相互連動するステップは、
前記認識されたユーザのジェスチャーに関連づけられたアイコンを強調表示するステップをさらに含み、
前記アプリケーションを制御するステップは、強調表示されたアイコンに関連づけられた候補アプリケーションを制御するステップをさらに含む、請求項1記載の方法。 - ユーザのジェスチャーは、2次元又は3次元の位置の変位、又は、位置の変位を伴わない変化を含む、請求項1記載の方法。
- 前記ユーザのジェスチャーを認識するステップは、ユーザのジェスチャーの大きさ及び方向を判断するステップをさらに含み、
前記コントロールとの相互連動するステップは、判断された大きさ及び方向に基づいて表象を移動するステップをさらに含み、
前記アプリケーションを制御するステップは、移動された表象の近傍の相互連動要素に関連づけられた、選択されたアプリケーションを制御するステップをさらに含む、請求項1記載の方法。 - 前記ユーザのジェスチャーは、エンゲージメントジェスチャーを含み、
前記コントロールは、前記エンゲージメントジェスチャーの認識に基づいて表示される、請求項1記載の方法。 - 前記中央領域にユーザの表象を表示するステップは、
前記中央領域の外側にユーザの表象を表示するステップと、
前記中央領域に目標画像を表示するステップと、
少なくとも第3の画像から、再位置合わせジェスチャーを認識するステップと、
前記再位置合わせジェスチャーに基づいて、前記目標画像に対して前記表象を移動し、移動された表象が前記目標画像と位置合わせされている場合は、前記中央領域に移動された前記表象を表示するステップと、をさらに含む、請求項1記載の方法。 - 前記コントロールは、前記中央領域に対して放射状に配置された少なくとも8つの相互連動要素をさらに含む、請求項1記載の方法。
- 前記ユーザのジェスチャーを認識するステップが、
第1の方向に第1の変位を認識するステップと、
第2の方向に第2の変位を認識するステップと、をさらに含む、請求項1記載の方法。 - 前記コントロールと相互連動するステップは、前記コントロールを非アクティブにするステップをさらに含む、請求項1記載の方法。
- 前記コントロールと相互連動するステップは、マウスコントロールモードをアクティブにするステップをさらに含む、請求項1記載の方法。
- 前記マウスコントロールモードでは、さらなるジェスチャーはマウスイベントにマッピングされている、請求項13記載の方法。
- 前記さらなるジェスチャーは、指の動きをさらに含む、請求項14記載の方法。
- 前記ユーザのジェスチャーは、カメラの前方の所定の距離に画定された平面の前で検出された場合に、認識される、請求項1記載の方法。
- 前記アプリケーションを制御するステップは、メディアセンターと相互連動するステップをさらに含む、請求項1記載の方法。
- コンピュータプログラムであって、当該コンピュータプログラムは、データ処理装置によって読み込まれると、前記データ処理装置に、
第1及び第2の画像からユーザのジェスチャーを認識するステップと、
ユーザの識別を認識するステップと、
認識された識別に基づいて相互連動要素を選択するステップと、
コントロールの中央領域に対して放射状に配置された前記相互連動要素をさらに含む前記コントロールにユーザの表象を表示するステップであって、前記相互連動要素を表示することは、前記ユーザの前記表象が前記中央領域に位置合わせされるまで先送りされる、ステップと、
認識されたユーザのジェスチャーに基づいて前記コントロールと相互連動するステップと、
前記コントロールとの相互連動に基づいてアプリケーションを制御するステップと、を実行させる命令を含む、コンピュータプログラム。 - コントロールの中央領域に対して放射状に配置された相互連動要素をさらに含む前記コントロールにユーザの表象を表示するように構成されたユーザインタフェースであって、前記相互連動要素を表示することは、前記ユーザの前記表象が前記中央領域に位置合わせされるまで先送りされる、ユーザインタフェースと、
第1及び第2の画像からユーザのジェスチャーを認識し、
ユーザの識別を認識し、
認識された識別に基づいて相互連動要素を選択し、
認識されたユーザのジェスチャーに基づいて前記コントロールと相互連動し、
前記コントロールとの相互連動に基づいてアプリケーションを制御するように構成されたプロセッサと、を含むデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/038,626 | 2008-02-27 | ||
US12/038,626 US8555207B2 (en) | 2008-02-27 | 2008-02-27 | Enhanced input using recognized gestures |
PCT/US2009/035555 WO2009108894A1 (en) | 2008-02-27 | 2009-02-27 | Enhanced input using recognized gestures |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011513847A JP2011513847A (ja) | 2011-04-28 |
JP5595935B2 true JP5595935B2 (ja) | 2014-09-24 |
Family
ID=40999605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010548918A Active JP5595935B2 (ja) | 2008-02-27 | 2009-02-27 | 認識されたジェスチャーを用いた高機能化入力 |
Country Status (3)
Country | Link |
---|---|
US (6) | US8555207B2 (ja) |
JP (1) | JP5595935B2 (ja) |
WO (1) | WO2009108894A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016099559A1 (en) * | 2014-12-19 | 2016-06-23 | Hewlett-Packard Development Company, Lp | 3d navigation mode |
Families Citing this family (294)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070177804A1 (en) * | 2006-01-30 | 2007-08-02 | Apple Computer, Inc. | Multi-touch gesture dictionary |
AU2001262835A1 (en) * | 2000-05-24 | 2001-12-03 | Phplate Stockholm Ab | New method and device |
US20020182237A1 (en) | 2001-03-22 | 2002-12-05 | The Procter & Gamble Company | Skin care compositions containing a sugar amine |
US20040175347A1 (en) | 2003-03-04 | 2004-09-09 | The Procter & Gamble Company | Regulation of mammalian keratinous tissue using hexamidine compositions |
US8018440B2 (en) | 2005-12-30 | 2011-09-13 | Microsoft Corporation | Unintentional touch rejection |
CN100475189C (zh) | 2006-10-17 | 2009-04-08 | 王海龙 | 一种化妆品组合物及其制备方法和应用 |
US9311528B2 (en) * | 2007-01-03 | 2016-04-12 | Apple Inc. | Gesture learning |
US8413075B2 (en) * | 2008-01-04 | 2013-04-02 | Apple Inc. | Gesture movies |
US8555207B2 (en) | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
US20100211899A1 (en) * | 2009-02-17 | 2010-08-19 | Robb Fujioka | Virtual Marketplace Accessible To Widgetized Avatars |
US10460085B2 (en) | 2008-03-13 | 2019-10-29 | Mattel, Inc. | Tablet computer |
CA2718680C (en) * | 2008-03-18 | 2016-12-06 | Elliptic Laboratories As | Object and movement detection |
US20110102570A1 (en) * | 2008-04-14 | 2011-05-05 | Saar Wilf | Vision based pointing device emulation |
US20090305785A1 (en) * | 2008-06-06 | 2009-12-10 | Microsoft Corporation | Gesture controlled game screen navigation |
CN101626631A (zh) * | 2008-07-08 | 2010-01-13 | 深圳富泰宏精密工业有限公司 | 利用影像调用功能的系统及方法 |
US8150102B2 (en) * | 2008-08-27 | 2012-04-03 | Samsung Electronics Co., Ltd. | System and method for interacting with a media device using faces and palms of video display viewers |
US20100064213A1 (en) * | 2008-09-10 | 2010-03-11 | Zhou Ye | Operation device for a graphical user interface |
KR20100041006A (ko) | 2008-10-13 | 2010-04-22 | 엘지전자 주식회사 | 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법 |
US9586135B1 (en) | 2008-11-12 | 2017-03-07 | David G. Capper | Video motion capture for wireless gaming |
US10086262B1 (en) | 2008-11-12 | 2018-10-02 | David G. Capper | Video motion capture for wireless gaming |
US9383814B1 (en) | 2008-11-12 | 2016-07-05 | David G. Capper | Plug and play wireless video game |
US20100138797A1 (en) * | 2008-12-01 | 2010-06-03 | Sony Ericsson Mobile Communications Ab | Portable electronic device with split vision content sharing control and method |
WO2010082177A2 (en) | 2009-01-16 | 2010-07-22 | Sederma | New compounds, in particular peptides, compositions comprising them and cosmetic and dermopharmaceutical uses |
FR2941231B1 (fr) | 2009-01-16 | 2016-04-01 | Sederma Sa | Nouveaux peptides, compositions les comprenant et utilisations cosmetiques et dermo-pharmaceutiques. |
FR2941232B1 (fr) | 2009-01-16 | 2014-08-08 | Sederma Sa | Nouveaux peptides, compositions les comprenant et utilisations cosmetiques et dermo-pharmaceutiques. |
US9652030B2 (en) * | 2009-01-30 | 2017-05-16 | Microsoft Technology Licensing, Llc | Navigation of a virtual plane using a zone of restriction for canceling noise |
JP5256109B2 (ja) | 2009-04-23 | 2013-08-07 | 株式会社日立製作所 | 表示装置 |
US9498718B2 (en) * | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
US20100287513A1 (en) * | 2009-05-05 | 2010-11-11 | Microsoft Corporation | Multi-device gesture interactivity |
US20100289912A1 (en) * | 2009-05-14 | 2010-11-18 | Sony Ericsson Mobile Communications Ab | Camera arrangement with image modification |
US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
US20100302357A1 (en) * | 2009-05-26 | 2010-12-02 | Che-Hao Hsu | Gesture-based remote control system |
US9383823B2 (en) * | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
US8856691B2 (en) * | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
US20100306685A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | User movement feedback via on-screen avatars |
TWI484380B (zh) * | 2009-07-31 | 2015-05-11 | Mstar Semiconductor Inc | 觸控點位移量判斷方法與判斷裝置 |
JP5614014B2 (ja) | 2009-09-04 | 2014-10-29 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
KR101622197B1 (ko) | 2009-09-23 | 2016-05-19 | 삼성전자주식회사 | 휴대용 단말기에서 제스처를 인식하기 위한 장치 및 방법 |
US8305188B2 (en) * | 2009-10-07 | 2012-11-06 | Samsung Electronics Co., Ltd. | System and method for logging in multiple users to a consumer electronics device by detecting gestures with a sensory device |
GB2474536B (en) * | 2009-10-13 | 2011-11-02 | Pointgrab Ltd | Computer vision gesture based control of a device |
US8924893B2 (en) | 2009-10-14 | 2014-12-30 | At&T Mobility Ii Llc | Locking and unlocking of an electronic device using a sloped lock track |
US9424444B2 (en) | 2009-10-14 | 2016-08-23 | At&T Mobility Ii Llc | Systems, apparatus, methods and computer-readable storage media for facilitating integrated messaging, contacts and social media for a selected entity |
NL2003662C2 (nl) * | 2009-10-16 | 2011-04-19 | Sara Lee De Nv | Werkwijze, controle-eenheid voor een apparaat en apparaat voorzien van een controle-eenheid. |
US9981193B2 (en) | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
US10357714B2 (en) * | 2009-10-27 | 2019-07-23 | Harmonix Music Systems, Inc. | Gesture-based user interface for navigating a menu |
US8843857B2 (en) * | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
US8621380B2 (en) | 2010-01-06 | 2013-12-31 | Apple Inc. | Apparatus and method for conditionally enabling or disabling soft buttons |
US9268404B2 (en) * | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US9019201B2 (en) * | 2010-01-08 | 2015-04-28 | Microsoft Technology Licensing, Llc | Evolving universal gesture sets |
TWI471755B (zh) * | 2010-01-13 | 2015-02-01 | Chao Lieh Chen | 能操控電氣設備作動模式的操控裝置 |
KR20110084653A (ko) * | 2010-01-18 | 2011-07-26 | 삼성전자주식회사 | 휴대단말에서 프라이버시 보호 방법 및 장치 |
US8261213B2 (en) | 2010-01-28 | 2012-09-04 | Microsoft Corporation | Brush, carbon-copy, and fill gestures |
US9411504B2 (en) | 2010-01-28 | 2016-08-09 | Microsoft Technology Licensing, Llc | Copy and staple gestures |
US9519356B2 (en) | 2010-02-04 | 2016-12-13 | Microsoft Technology Licensing, Llc | Link gestures |
US9310994B2 (en) * | 2010-02-19 | 2016-04-12 | Microsoft Technology Licensing, Llc | Use of bezel as an input mechanism |
US8799827B2 (en) | 2010-02-19 | 2014-08-05 | Microsoft Corporation | Page manipulations using on and off-screen gestures |
US9965165B2 (en) | 2010-02-19 | 2018-05-08 | Microsoft Technology Licensing, Llc | Multi-finger gestures |
US9367205B2 (en) | 2010-02-19 | 2016-06-14 | Microsoft Technolgoy Licensing, Llc | Radial menus with bezel gestures |
US9274682B2 (en) | 2010-02-19 | 2016-03-01 | Microsoft Technology Licensing, Llc | Off-screen gestures to create on-screen input |
US8751970B2 (en) | 2010-02-25 | 2014-06-10 | Microsoft Corporation | Multi-screen synchronous slide gesture |
US9454304B2 (en) | 2010-02-25 | 2016-09-27 | Microsoft Technology Licensing, Llc | Multi-screen dual tap gesture |
US9075522B2 (en) | 2010-02-25 | 2015-07-07 | Microsoft Technology Licensing, Llc | Multi-screen bookmark hold gesture |
US20120105217A1 (en) * | 2010-03-12 | 2012-05-03 | Pixart Imaging Inc. | Remote device and remote control system |
JP5087101B2 (ja) * | 2010-03-31 | 2012-11-28 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
US9050534B2 (en) | 2010-04-23 | 2015-06-09 | Ganz | Achievements for a virtual world game |
US8373654B2 (en) * | 2010-04-29 | 2013-02-12 | Acer Incorporated | Image based motion gesture recognition method and system thereof |
US8878821B2 (en) | 2010-04-29 | 2014-11-04 | Hewlett-Packard Development Company, L.P. | System and method for providing object location information and physical contact information |
CN102236409A (zh) * | 2010-04-30 | 2011-11-09 | 宏碁股份有限公司 | 基于影像的动作手势辨识方法及系统 |
US8457353B2 (en) | 2010-05-18 | 2013-06-04 | Microsoft Corporation | Gestures and gesture modifiers for manipulating a user-interface |
US9245177B2 (en) * | 2010-06-02 | 2016-01-26 | Microsoft Technology Licensing, Llc | Limiting avatar gesture display |
US8416189B2 (en) * | 2010-06-04 | 2013-04-09 | Acer Incorporated | Manual human machine interface operation system and method thereof |
US20110299737A1 (en) * | 2010-06-04 | 2011-12-08 | Acer Incorporated | Vision-based hand movement recognition system and method thereof |
FR2960986A1 (fr) * | 2010-06-04 | 2011-12-09 | Thomson Licensing | Procede de selection d’un objet dans un environnement virtuel |
US9542091B2 (en) | 2010-06-04 | 2017-01-10 | Apple Inc. | Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator |
US9009594B2 (en) * | 2010-06-10 | 2015-04-14 | Microsoft Technology Licensing, Llc | Content gestures |
US9358456B1 (en) | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
US8296151B2 (en) * | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
WO2012011263A1 (ja) | 2010-07-20 | 2012-01-26 | パナソニック株式会社 | ジェスチャ入力装置およびジェスチャ入力方法 |
JP5264844B2 (ja) * | 2010-09-06 | 2013-08-14 | 日本電信電話株式会社 | ジェスチャ認識装置及び方法 |
US20120060127A1 (en) * | 2010-09-06 | 2012-03-08 | Multitouch Oy | Automatic orientation of items on a touch screen display utilizing hand direction |
JP5625643B2 (ja) * | 2010-09-07 | 2014-11-19 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
EP2431895B1 (en) * | 2010-09-16 | 2017-07-26 | LG Electronics Inc. | Transparent display device and method for providing information using the same |
US8736516B2 (en) | 2010-09-20 | 2014-05-27 | Kopin Corporation | Bluetooth or other wireless interface with power management for head mounted display |
JP2012068713A (ja) * | 2010-09-21 | 2012-04-05 | Sony Corp | 情報処理装置、および情報処理方法 |
US8659562B2 (en) | 2010-11-05 | 2014-02-25 | Apple Inc. | Device, method, and graphical user interface for manipulating soft keyboards |
US8587547B2 (en) | 2010-11-05 | 2013-11-19 | Apple Inc. | Device, method, and graphical user interface for manipulating soft keyboards |
US8640021B2 (en) * | 2010-11-12 | 2014-01-28 | Microsoft Corporation | Audience-based presentation and customization of content |
KR101731346B1 (ko) * | 2010-11-12 | 2017-04-28 | 엘지전자 주식회사 | 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치 |
JP5706672B2 (ja) * | 2010-11-18 | 2015-04-22 | シャープ株式会社 | 指示システム、及び、マウスシステム |
US9575561B2 (en) * | 2010-12-23 | 2017-02-21 | Intel Corporation | Method, apparatus and system for interacting with content on web browsers |
EP2474950B1 (en) | 2011-01-05 | 2013-08-21 | Softkinetic Software | Natural gesture based user interface methods and systems |
KR101858531B1 (ko) | 2011-01-06 | 2018-05-17 | 삼성전자주식회사 | 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법 |
KR20120080072A (ko) * | 2011-01-06 | 2012-07-16 | 삼성전자주식회사 | 모션에 의해 제어되는 디스플레이 장치 및 그 모션 제어 방법 |
KR101795574B1 (ko) | 2011-01-06 | 2017-11-13 | 삼성전자주식회사 | 모션에 의해 제어되는 전자기기 및 그 제어 방법 |
US20120179965A1 (en) * | 2011-01-12 | 2012-07-12 | Whitney Taylor | Gesture-based navigation system for a mobile device |
US9436381B2 (en) | 2011-01-24 | 2016-09-06 | Apple Inc. | Device, method, and graphical user interface for navigating and annotating an electronic document |
US9250798B2 (en) | 2011-01-24 | 2016-02-02 | Apple Inc. | Device, method, and graphical user interface with a dynamic gesture disambiguation threshold |
CN103384872B (zh) * | 2011-02-22 | 2016-10-12 | 惠普发展公司,有限责任合伙企业 | 便于用户输入的方法和计算系统 |
WO2012125596A2 (en) | 2011-03-12 | 2012-09-20 | Parshionikar Uday | Multipurpose controller for electronic devices, facial expressions management and drowsiness detection |
WO2012128399A1 (en) * | 2011-03-21 | 2012-09-27 | Lg Electronics Inc. | Display device and method of controlling the same |
CA2831618A1 (en) * | 2011-03-28 | 2012-10-04 | Gestsure Technologies Inc. | Gesture operated control for medical information systems |
JP2012208619A (ja) * | 2011-03-29 | 2012-10-25 | Nec Corp | 電子機器、通知方法およびプログラム |
US8928589B2 (en) * | 2011-04-20 | 2015-01-06 | Qualcomm Incorporated | Virtual keyboards and methods of providing the same |
US9417703B2 (en) | 2011-04-20 | 2016-08-16 | Koninklijke Philips N.V. | Gesture based control of element or item |
US9440144B2 (en) * | 2011-04-21 | 2016-09-13 | Sony Interactive Entertainment Inc. | User identified to a controller |
US8702507B2 (en) * | 2011-04-28 | 2014-04-22 | Microsoft Corporation | Manual and camera-based avatar control |
JP5406883B2 (ja) * | 2011-05-20 | 2014-02-05 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム制御方法、ならびに、プログラム |
US8845431B2 (en) * | 2011-05-31 | 2014-09-30 | Microsoft Corporation | Shape trace gesturing |
US8740702B2 (en) * | 2011-05-31 | 2014-06-03 | Microsoft Corporation | Action trigger gesturing |
US9213438B2 (en) | 2011-06-02 | 2015-12-15 | Omnivision Technologies, Inc. | Optical touchpad for touch and gesture recognition |
JP5845002B2 (ja) | 2011-06-07 | 2016-01-20 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US9996972B1 (en) | 2011-06-10 | 2018-06-12 | Amazon Technologies, Inc. | User/object interactions in an augmented reality environment |
US9921641B1 (en) | 2011-06-10 | 2018-03-20 | Amazon Technologies, Inc. | User/object interactions in an augmented reality environment |
US10008037B1 (en) | 2011-06-10 | 2018-06-26 | Amazon Technologies, Inc. | User/object interactions in an augmented reality environment |
US20120326966A1 (en) * | 2011-06-21 | 2012-12-27 | Qualcomm Incorporated | Gesture-controlled technique to expand interaction radius in computer vision applications |
US9204094B2 (en) * | 2011-06-28 | 2015-12-01 | Lifesize Communications, Inc. | Adjusting volume of a videoconference using touch-based gestures |
JP2013017146A (ja) * | 2011-07-06 | 2013-01-24 | Sony Corp | 表示制御装置、表示制御方法およびプログラム |
US9292112B2 (en) * | 2011-07-28 | 2016-03-22 | Hewlett-Packard Development Company, L.P. | Multimodal interface |
JP5790257B2 (ja) * | 2011-07-29 | 2015-10-07 | 富士通株式会社 | 文字入力装置,文字入力プログラムおよび文字入力方法 |
AU2011205223C1 (en) | 2011-08-09 | 2013-03-28 | Microsoft Technology Licensing, Llc | Physical interaction with virtual objects for DRM |
US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
US9153195B2 (en) | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
WO2013028813A1 (en) * | 2011-08-23 | 2013-02-28 | Microsoft Corporation | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
WO2013028908A1 (en) | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Touch and social cues as inputs into a computer |
KR101880998B1 (ko) * | 2011-10-14 | 2018-07-24 | 삼성전자주식회사 | 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법 |
US20130103446A1 (en) | 2011-10-20 | 2013-04-25 | Microsoft Corporation | Information sharing democratization for co-located group meetings |
KR20130047890A (ko) * | 2011-11-01 | 2013-05-09 | 삼성전기주식회사 | 원격 조정 장치 및 원격 조정 장치의 제스처 인식 방법 |
US8719734B2 (en) * | 2011-11-16 | 2014-05-06 | Microsoft Corporation | Two-stage swipe gesture recognition |
US8803800B2 (en) | 2011-12-02 | 2014-08-12 | Microsoft Corporation | User interface control based on head orientation |
CA2781742A1 (en) * | 2011-12-08 | 2012-09-11 | Exopc | User interface and method for providing same |
US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
CN103164064B (zh) * | 2011-12-15 | 2016-02-10 | 英顺源(上海)科技有限公司 | 在任意位置输入目标手势以执行对应控制的系统及其方法 |
EP2795430A4 (en) | 2011-12-23 | 2015-08-19 | Intel Ip Corp | TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION |
US9678574B2 (en) * | 2011-12-23 | 2017-06-13 | Intel Corporation | Computing system utilizing three-dimensional manipulation command gestures |
US9684379B2 (en) * | 2011-12-23 | 2017-06-20 | Intel Corporation | Computing system utilizing coordinated two-hand command gestures |
US10345911B2 (en) | 2011-12-23 | 2019-07-09 | Intel Corporation | Mechanism to provide visual feedback regarding computing system command gestures |
KR101237472B1 (ko) * | 2011-12-30 | 2013-02-28 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
DE102012000201A1 (de) | 2012-01-09 | 2013-07-11 | Daimler Ag | Verfahren und Vorrichtung zum Bedienen von auf einer Anzeigeeinheit eines Fahrzeugs angezeigten Funktionen unter Verwendung von im dreidimensionalen Raum ausgeführten Gesten sowie betreffendes Computerprogrammprodukt |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US9501152B2 (en) * | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US20130198690A1 (en) * | 2012-02-01 | 2013-08-01 | Microsoft Corporation | Visual indication of graphical user interface relationship |
US20130204408A1 (en) * | 2012-02-06 | 2013-08-08 | Honeywell International Inc. | System for controlling home automation system using body movements |
EP3769624A3 (en) | 2012-02-20 | 2021-03-31 | Basf Se | Enhancing the antimicrobial activity of biocides with polymers |
CA2864719C (en) | 2012-02-24 | 2019-09-24 | Thomas J. Moscarillo | Gesture recognition devices and methods |
US10503373B2 (en) | 2012-03-14 | 2019-12-10 | Sony Interactive Entertainment LLC | Visual feedback for highlight-driven gesture user interfaces |
JP2013196482A (ja) * | 2012-03-21 | 2013-09-30 | Casio Comput Co Ltd | 入力ユーザーインターフェイス装置、投影装置、プログラム及びコマンド決定方法 |
JP5456817B2 (ja) * | 2012-03-23 | 2014-04-02 | ヤフー株式会社 | 表示制御装置、表示制御方法、情報表示システム及びプログラム |
JP5994328B2 (ja) | 2012-03-29 | 2016-09-21 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP5858850B2 (ja) * | 2012-04-02 | 2016-02-10 | 三菱電機株式会社 | 空気調和機の室内機 |
CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
US8938124B2 (en) * | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
US9256781B2 (en) * | 2012-05-10 | 2016-02-09 | Pointguard Ltd. | System and method for computer vision based tracking of an object |
CN103229127A (zh) * | 2012-05-21 | 2013-07-31 | 华为技术有限公司 | 一种非接触式手势控制方法及装置 |
TW201405443A (zh) * | 2012-07-17 | 2014-02-01 | Wistron Corp | 手勢輸入系統及方法 |
KR20140014548A (ko) * | 2012-07-24 | 2014-02-06 | 삼성전자주식회사 | 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체 |
CN103576847B (zh) * | 2012-08-09 | 2016-03-30 | 腾讯科技(深圳)有限公司 | 获取账号信息的方法和装置 |
US9032335B2 (en) * | 2012-08-14 | 2015-05-12 | Christopher V. Beckman | User interface techniques reducing the impact of movements |
JP5665140B2 (ja) * | 2012-08-17 | 2015-02-04 | Necソリューションイノベータ株式会社 | 入力装置、入力方法、及びプログラム |
US10152496B2 (en) * | 2012-09-13 | 2018-12-11 | Ntt Docomo, Inc. | User interface device, search method, and program |
US11099652B2 (en) | 2012-10-05 | 2021-08-24 | Microsoft Technology Licensing, Llc | Data and user interaction based on device proximity |
TWI475496B (zh) * | 2012-10-16 | 2015-03-01 | Wistron Corp | 手勢控制裝置及於手勢控制裝置中設定及取消手勢操作區域之方法 |
JP6103875B2 (ja) * | 2012-10-16 | 2017-03-29 | キヤノン株式会社 | ハンドジェスチャ認識装置及びその制御方法 |
KR102095765B1 (ko) * | 2012-10-19 | 2020-04-01 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
US9582122B2 (en) | 2012-11-12 | 2017-02-28 | Microsoft Technology Licensing, Llc | Touch-sensitive bezel techniques |
US10423214B2 (en) | 2012-11-20 | 2019-09-24 | Samsung Electronics Company, Ltd | Delegating processing from wearable electronic device |
US11372536B2 (en) | 2012-11-20 | 2022-06-28 | Samsung Electronics Company, Ltd. | Transition and interaction model for wearable electronic device |
US11157436B2 (en) | 2012-11-20 | 2021-10-26 | Samsung Electronics Company, Ltd. | Services associated with wearable electronic device |
US10551928B2 (en) | 2012-11-20 | 2020-02-04 | Samsung Electronics Company, Ltd. | GUI transitions on wearable electronic device |
US11237719B2 (en) | 2012-11-20 | 2022-02-01 | Samsung Electronics Company, Ltd. | Controlling remote electronic device with wearable electronic device |
US10185416B2 (en) * | 2012-11-20 | 2019-01-22 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving movement of device |
US9477313B2 (en) | 2012-11-20 | 2016-10-25 | Samsung Electronics Co., Ltd. | User gesture input to wearable electronic device involving outward-facing sensor of device |
US8994827B2 (en) | 2012-11-20 | 2015-03-31 | Samsung Electronics Co., Ltd | Wearable electronic device |
TWI516093B (zh) * | 2012-12-22 | 2016-01-01 | 財團法人工業技術研究院 | 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法 |
WO2014106219A1 (en) * | 2012-12-31 | 2014-07-03 | Burachas Giedrius Tomas | User centric interface for interaction with visual display that recognizes user intentions |
US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
CN103019389B (zh) * | 2013-01-12 | 2016-05-18 | 福建华映显示科技有限公司 | 手势辨识系统及手势辨识方法 |
US20140201685A1 (en) * | 2013-01-14 | 2014-07-17 | Darren Lim | User input determination |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US9632658B2 (en) | 2013-01-15 | 2017-04-25 | Leap Motion, Inc. | Dynamic user interactions for display control and scaling responsiveness of display objects |
JP2014137667A (ja) * | 2013-01-16 | 2014-07-28 | Mitsubishi Electric Corp | 制御装置及び制御方法 |
JP6171353B2 (ja) * | 2013-01-18 | 2017-08-02 | 株式会社リコー | 情報処理装置、システム、情報処理方法およびプログラム |
CN103970455B (zh) * | 2013-01-28 | 2018-02-27 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
US9720504B2 (en) * | 2013-02-05 | 2017-08-01 | Qualcomm Incorporated | Methods for system engagement via 3D object detection |
US9785228B2 (en) * | 2013-02-11 | 2017-10-10 | Microsoft Technology Licensing, Llc | Detecting natural user-input engagement |
US9294539B2 (en) | 2013-03-14 | 2016-03-22 | Microsoft Technology Licensing, Llc | Cooperative federation of digital devices via proxemics and device micro-mobility |
WO2014142370A1 (ko) * | 2013-03-14 | 2014-09-18 | 엘지전자 주식회사 | 디스플레이 장치 및 디스플레이 장치의 구동방법 |
US9110541B1 (en) * | 2013-03-14 | 2015-08-18 | Amazon Technologies, Inc. | Interface selection approaches for multi-dimensional input |
US20140282272A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Interactive Inputs for a Background Task |
WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
US20140282274A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a gesture performed with at least two control objects |
US10220303B1 (en) | 2013-03-15 | 2019-03-05 | Harmonix Music Systems, Inc. | Gesture-based music game |
CN105074625B (zh) * | 2013-04-02 | 2018-09-21 | 索尼公司 | 信息处理设备、信息处理方法及计算机可读记录介质 |
US9063576B1 (en) | 2013-04-04 | 2015-06-23 | Amazon Technologies, Inc. | Managing gesture input information |
US10620709B2 (en) * | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
DE102013208762A1 (de) * | 2013-05-13 | 2014-11-13 | Siemens Aktiengesellschaft | Intuitive Gestensteuerung |
US10620775B2 (en) | 2013-05-17 | 2020-04-14 | Ultrahaptics IP Two Limited | Dynamic interactive objects |
US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
US9436288B2 (en) | 2013-05-17 | 2016-09-06 | Leap Motion, Inc. | Cursor mode switching |
US9829984B2 (en) * | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
JP6539272B2 (ja) | 2013-08-07 | 2019-07-03 | ナイキ イノベイト シーブイ | コンピュータにより実現される方法、非一時的かつコンピュータが読み取り可能な媒体、および単一装置 |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US20150067603A1 (en) * | 2013-09-05 | 2015-03-05 | Kabushiki Kaisha Toshiba | Display control device |
US20150070263A1 (en) * | 2013-09-09 | 2015-03-12 | Microsoft Corporation | Dynamic Displays Based On User Interaction States |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
CN107972491A (zh) * | 2013-10-09 | 2018-05-01 | 麦格纳覆盖件有限公司 | 对车窗显示的控制 |
US10152136B2 (en) * | 2013-10-16 | 2018-12-11 | Leap Motion, Inc. | Velocity field interaction for free space gesture interface and control |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US20150139483A1 (en) * | 2013-11-15 | 2015-05-21 | David Shen | Interactive Controls For Operating Devices and Systems |
US9740296B2 (en) | 2013-12-16 | 2017-08-22 | Leap Motion, Inc. | User-defined virtual interaction space and manipulation of virtual cameras in the interaction space |
KR20150073378A (ko) * | 2013-12-23 | 2015-07-01 | 삼성전자주식회사 | 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법 |
CN103677276A (zh) * | 2013-12-31 | 2014-03-26 | 广州视声电子科技有限公司 | 一种动作感应装置 |
US9910501B2 (en) | 2014-01-07 | 2018-03-06 | Toshiba Global Commerce Solutions Holdings Corporation | Systems and methods for implementing retail processes based on machine-readable images and user gestures |
US10019149B2 (en) | 2014-01-07 | 2018-07-10 | Toshiba Global Commerce Solutions Holdings Corporation | Systems and methods for implementing retail processes based on machine-readable images and user gestures |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
US10691215B2 (en) | 2014-01-31 | 2020-06-23 | Nanotronics Imaging, Inc. | Apparatus and method for manipulating objects with gesture controls |
JP2015146058A (ja) * | 2014-01-31 | 2015-08-13 | 富士通株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
US10713389B2 (en) | 2014-02-07 | 2020-07-14 | Lenovo (Singapore) Pte. Ltd. | Control input filtering |
US9823748B2 (en) * | 2014-02-07 | 2017-11-21 | Lenovo (Singapore) Pte. Ltd. | Control input handling |
US9986225B2 (en) * | 2014-02-14 | 2018-05-29 | Autodesk, Inc. | Techniques for cut-away stereo content in a stereoscopic display |
US10691332B2 (en) | 2014-02-28 | 2020-06-23 | Samsung Electronics Company, Ltd. | Text input on an interactive display |
US11221680B1 (en) * | 2014-03-01 | 2022-01-11 | sigmund lindsay clements | Hand gestures used to operate a control panel for a device |
US9477337B2 (en) | 2014-03-14 | 2016-10-25 | Microsoft Technology Licensing, Llc | Conductive trace routing for display and bezel sensors |
CN104978017A (zh) * | 2014-04-14 | 2015-10-14 | 冠捷投资有限公司 | 利用使用者手势操控显示装置的功能选单的方法 |
JP6303772B2 (ja) * | 2014-04-25 | 2018-04-04 | 富士通株式会社 | 入力制御装置、制御方法および制御プログラム |
US9886094B2 (en) * | 2014-04-28 | 2018-02-06 | Microsoft Technology Licensing, Llc | Low-latency gesture detection |
US10845884B2 (en) * | 2014-05-13 | 2020-11-24 | Lenovo (Singapore) Pte. Ltd. | Detecting inadvertent gesture controls |
US9898162B2 (en) | 2014-05-30 | 2018-02-20 | Apple Inc. | Swiping functions for messaging applications |
US9971500B2 (en) | 2014-06-01 | 2018-05-15 | Apple Inc. | Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application |
CN104020853A (zh) * | 2014-06-23 | 2014-09-03 | 暨南大学 | 基于Kinect的操纵网络浏览器的系统及方法 |
JP6282188B2 (ja) | 2014-07-04 | 2018-02-21 | クラリオン株式会社 | 情報処理装置 |
JP6335695B2 (ja) * | 2014-07-09 | 2018-05-30 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
DE202014103729U1 (de) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented-Reality mit Bewegungserfassung |
US9952763B1 (en) * | 2014-08-26 | 2018-04-24 | Google Llc | Alternative gesture mapping for a graphical keyboard |
WO2016051521A1 (ja) * | 2014-09-30 | 2016-04-07 | 三菱電機エンジニアリング株式会社 | 画面操作装置及び画面操作方法 |
US9811649B2 (en) * | 2014-11-13 | 2017-11-07 | Intel Corporation | System and method for feature-based authentication |
TW201627822A (zh) * | 2015-01-26 | 2016-08-01 | 國立清華大學 | 具有無線控制器的投影裝置與其投影方法 |
KR20160097520A (ko) * | 2015-02-09 | 2016-08-18 | 삼성전자주식회사 | 디스플레이 장치 및 그의 ui 디스플레이 방법 |
JP6617417B2 (ja) * | 2015-03-05 | 2019-12-11 | セイコーエプソン株式会社 | 表示装置及び表示装置の制御方法 |
JP6524741B2 (ja) * | 2015-03-23 | 2019-06-05 | セイコーエプソン株式会社 | 位置検出装置、表示装置、位置検出装置の制御方法、及び、表示装置の制御方法 |
JP6569259B2 (ja) * | 2015-03-23 | 2019-09-04 | セイコーエプソン株式会社 | 位置検出装置、表示装置、位置検出方法、及び、表示方法 |
CN106295287B (zh) * | 2015-06-10 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 活体检测方法和装置以及身份认证方法和装置 |
DE102015210657B4 (de) * | 2015-06-11 | 2017-05-24 | Volkswagen Aktiengesellschaft | Verfahren zur Erkennung einer Stellbewegung eines auf einer Anzeigefläche befindlichen Stellelementes in einem Kraftfahrzeug und Vorrichtung zur Durchführung des Verfahrens |
US20170079082A1 (en) * | 2015-09-14 | 2017-03-16 | Gentex Corporation | Vehicle based trainable transceiver and authentication of user |
US20170103672A1 (en) * | 2015-10-09 | 2017-04-13 | The Regents Of The University Of California | System and method for gesture capture and real-time cloud based avatar training |
US10691214B2 (en) | 2015-10-12 | 2020-06-23 | Honeywell International Inc. | Gesture control of building automation system components during installation and/or maintenance |
US10649536B2 (en) * | 2015-11-24 | 2020-05-12 | Intel Corporation | Determination of hand dimensions for hand and gesture recognition with a computing interface |
KR101823208B1 (ko) * | 2015-12-04 | 2018-01-29 | 엘지전자 주식회사 | 공기 조화기 및 그 제어방법 |
US11010972B2 (en) * | 2015-12-11 | 2021-05-18 | Google Llc | Context sensitive user interface activation in an augmented and/or virtual reality environment |
WO2017107192A1 (en) * | 2015-12-25 | 2017-06-29 | Boe Technology Group Co., Ltd. | Depth map generation apparatus, method and non-transitory computer-readable medium therefor |
US10140776B2 (en) * | 2016-06-13 | 2018-11-27 | Microsoft Technology Licensing, Llc | Altering properties of rendered objects via control points |
WO2018011892A1 (ja) * | 2016-07-12 | 2018-01-18 | 三菱電機株式会社 | 機器制御システム |
CN106155326A (zh) | 2016-07-26 | 2016-11-23 | 北京小米移动软件有限公司 | 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备 |
US11269480B2 (en) * | 2016-08-23 | 2022-03-08 | Reavire, Inc. | Controlling objects using virtual rays |
JP6776067B2 (ja) * | 2016-09-05 | 2020-10-28 | 東芝テック株式会社 | 操作入力装置及びプログラム |
CN107918481B (zh) * | 2016-10-08 | 2022-11-11 | 深圳巧牛科技有限公司 | 基于手势识别的人机交互方法与系统 |
US20210278904A1 (en) * | 2016-11-08 | 2021-09-09 | Sony Corporation | Information processing device, information processing method, and program |
EP3324270A1 (en) * | 2016-11-16 | 2018-05-23 | Thomson Licensing | Selection of an object in an augmented reality environment |
US10599920B2 (en) * | 2017-02-01 | 2020-03-24 | Epilog Imaging Systems | Automated digital magnifier system with hand gesture controls |
US10782793B2 (en) * | 2017-08-10 | 2020-09-22 | Google Llc | Context-sensitive hand interaction |
SG11202011206UA (en) | 2018-05-11 | 2020-12-30 | Beijing Bytedance Network Technology Co Ltd | Interaction method, device and equipment for operable object |
CN109753209B (zh) * | 2018-06-21 | 2020-05-05 | 北京字节跳动网络技术有限公司 | 一种应用程序启动方法、装置及设备 |
EP3572910B1 (en) | 2018-05-21 | 2021-11-24 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method, system and computer program for remotely controlling a display device via head gestures |
US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
CN108854069B (zh) * | 2018-05-29 | 2020-02-07 | 腾讯科技(深圳)有限公司 | 音源确定方法和装置、存储介质及电子装置 |
US11402917B2 (en) * | 2018-06-20 | 2022-08-02 | Sony Interactive Entertainment Inc. | Gesture-based user interface for AR and VR with gaze trigger |
CN109189218B (zh) * | 2018-08-20 | 2019-05-10 | 广州市三川田文化科技股份有限公司 | 一种手势识别的方法、装置、设备及计算机可读存储介质 |
CN109656359A (zh) * | 2018-11-26 | 2019-04-19 | 深圳奥比中光科技有限公司 | 3d体感交互适配方法、系统、终端设备和可读存储介质 |
EP3667460A1 (en) * | 2018-12-14 | 2020-06-17 | InterDigital CE Patent Holdings | Methods and apparatus for user -device interaction |
US11531444B2 (en) * | 2019-02-19 | 2022-12-20 | Ntt Docomo, Inc. | Information processing apparatus |
EP3726344A1 (en) | 2019-04-16 | 2020-10-21 | InterDigital CE Patent Holdings | Method and apparatus for user control of an application and corresponding device |
CN110348348B (zh) * | 2019-06-30 | 2021-08-31 | 华中科技大学 | 一种参建人员进场身份快速识别方法及预警系统 |
CN110716634A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及显示设备 |
US11112875B1 (en) * | 2020-03-20 | 2021-09-07 | Huawei Technologies Co., Ltd. | Methods and systems for controlling a device using hand gestures in multi-user environment |
US11237641B2 (en) * | 2020-03-27 | 2022-02-01 | Lenovo (Singapore) Pte. Ltd. | Palm based object position adjustment |
WO2022000448A1 (zh) * | 2020-07-03 | 2022-01-06 | 华为技术有限公司 | 车内隔空手势的交互方法、电子装置及系统 |
WO2022008732A1 (en) | 2020-07-10 | 2022-01-13 | Basf Se | Enhancing the activity of antimicrobial preservatives |
CN112215919B (zh) * | 2020-09-16 | 2022-05-03 | 电子科技大学 | 一种电子相册的生成方法以及电子设备 |
WO2022103412A1 (en) * | 2020-11-13 | 2022-05-19 | Innopeak Technology, Inc. | Methods for recognition of air-swipe gestures |
JP2022122637A (ja) * | 2021-02-10 | 2022-08-23 | シャープ株式会社 | 表示装置、表示方法、及び表示プログラム |
WO2023017628A1 (ja) * | 2021-08-10 | 2023-02-16 | ソニーグループ株式会社 | 情報処理システム、制御方法 |
US20230085330A1 (en) * | 2021-09-15 | 2023-03-16 | Neural Lab, Inc. | Touchless image-based input interface |
US20230116341A1 (en) * | 2021-09-30 | 2023-04-13 | Futian ZHANG | Methods and apparatuses for hand gesture-based control of selection focus |
CN115097995A (zh) * | 2022-06-23 | 2022-09-23 | 京东方科技集团股份有限公司 | 界面交互方法、界面交互装置以及计算机存储介质 |
CN117111727A (zh) * | 2023-02-22 | 2023-11-24 | 荣耀终端有限公司 | 手方向的检测方法、电子设备及可读介质 |
CN117149046B (zh) * | 2023-10-25 | 2024-03-15 | 荣耀终端有限公司 | 交互手势强度阈值调整方法及电子设备 |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5293870A (en) * | 1989-11-17 | 1994-03-15 | Board Of Regents The University Of Texas System | Method and apparatus for elastographic measurement and imaging |
US5107837A (en) * | 1989-11-17 | 1992-04-28 | Board Of Regents, University Of Texas | Method and apparatus for measurement and imaging of tissue compressibility or compliance |
JPH08332170A (ja) * | 1995-06-08 | 1996-12-17 | Matsushita Electric Ind Co Ltd | ビデオスコープ |
US5810731A (en) * | 1995-11-13 | 1998-09-22 | Artann Laboratories | Method and apparatus for elasticity imaging using remotely induced shear wave |
US6819783B2 (en) * | 1996-09-04 | 2004-11-16 | Centerframe, Llc | Obtaining person-specific images in a public venue |
EP0837418A3 (en) * | 1996-10-18 | 2006-03-29 | Kabushiki Kaisha Toshiba | Method and apparatus for generating information input using reflected light image of target object |
KR19990011180A (ko) * | 1997-07-22 | 1999-02-18 | 구자홍 | 화상인식을 이용한 메뉴 선택 방법 |
US9292111B2 (en) * | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
US6421453B1 (en) | 1998-05-15 | 2002-07-16 | International Business Machines Corporation | Apparatus and methods for user recognition employing behavioral passwords |
DE19839638C2 (de) * | 1998-08-31 | 2000-06-21 | Siemens Ag | System zur Ermöglichung einer Selbstkontrolle hinsichtlich durchzuführender Körperbewegungsabläufe durch die sich bewegende Person |
US20020048973A1 (en) | 1998-11-30 | 2002-04-25 | Yu Zhou | Contact structure and production method thereof and probe contact assembly using same |
FR2791136B1 (fr) * | 1999-03-15 | 2001-06-08 | Mathias Fink | Procede et dispositif d'imagerie utilisant les ondes de cisaillement |
US6371912B1 (en) * | 2000-04-05 | 2002-04-16 | Duke University | Method and apparatus for the identification and characterization of regions of altered stiffness |
EP1148411A3 (en) * | 2000-04-21 | 2005-09-14 | Sony Corporation | Information processing apparatus and method for recognising user gesture |
JP4415227B2 (ja) | 2000-04-21 | 2010-02-17 | ソニー株式会社 | 情報処理装置、情報処理方法及び記録媒体 |
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US8487872B2 (en) * | 2000-11-14 | 2013-07-16 | Blue Orb, Inc. | Apparatus and method for generating data signals |
US6827579B2 (en) * | 2000-11-16 | 2004-12-07 | Rutgers, The State University Of Nj | Method and apparatus for rehabilitation of neuromotor disorders |
US6558324B1 (en) * | 2000-11-22 | 2003-05-06 | Siemens Medical Solutions, Inc., Usa | System and method for strain image display |
US6508768B1 (en) * | 2000-11-22 | 2003-01-21 | University Of Kansas Medical Center | Ultrasonic elasticity imaging |
JP2003084229A (ja) | 2001-09-14 | 2003-03-19 | Takenaka Komuten Co Ltd | 指示位置表示装置及び方法 |
WO2003025859A1 (fr) * | 2001-09-17 | 2003-03-27 | National Institute Of Advanced Industrial Science And Technology | Dispositif d'interface |
JP4031255B2 (ja) * | 2002-02-13 | 2008-01-09 | 株式会社リコー | ジェスチャコマンド入力装置 |
FR2844058B1 (fr) * | 2002-09-02 | 2004-11-12 | Centre Nat Rech Scient | Procede et dispositif d'imagerie utilisant des ondes de cisaillement |
US7713201B2 (en) * | 2003-04-09 | 2010-05-11 | Mayo Foundation For Medical Education | Method and apparatus for shear property characterization from resonance induced by oscillatory radiation force |
US7233316B2 (en) * | 2003-05-01 | 2007-06-19 | Thomson Licensing | Multimedia user interface |
JP2005196530A (ja) | 2004-01-08 | 2005-07-21 | Alpine Electronics Inc | 空間入力装置及び空間入力方法 |
US7301529B2 (en) * | 2004-03-23 | 2007-11-27 | Fujitsu Limited | Context dependent gesture response |
US20050239028A1 (en) * | 2004-04-03 | 2005-10-27 | Wu Chang J R | Stance guide and method of use |
US7308112B2 (en) * | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US7519223B2 (en) * | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
JP2006130221A (ja) * | 2004-11-09 | 2006-05-25 | Konica Minolta Medical & Graphic Inc | 医用画像転送装置、プログラム及び記憶媒体 |
JP4380524B2 (ja) * | 2004-12-17 | 2009-12-09 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
US20060164396A1 (en) * | 2005-01-27 | 2006-07-27 | Microsoft Corporation | Synthesizing mouse events from input device events |
US20070057912A1 (en) * | 2005-09-14 | 2007-03-15 | Romriell Joseph N | Method and system for controlling an interface of a device through motion gestures |
WO2007116662A1 (ja) | 2006-03-27 | 2007-10-18 | Pioneer Corporation | 電子装置及びその操作方法 |
US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
US7725547B2 (en) | 2006-09-06 | 2010-05-25 | International Business Machines Corporation | Informing a user of gestures made by others out of the user's line of sight |
KR100783552B1 (ko) * | 2006-10-11 | 2007-12-07 | 삼성전자주식회사 | 휴대 단말기의 입력 제어 방법 및 장치 |
JP2008146243A (ja) * | 2006-12-07 | 2008-06-26 | Toshiba Corp | 情報処理装置、情報処理方法、及びプログラム |
WO2009035705A1 (en) | 2007-09-14 | 2009-03-19 | Reactrix Systems, Inc. | Processing of gesture-based user interactions |
US8555207B2 (en) | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
WO2010103482A2 (en) * | 2009-03-13 | 2010-09-16 | Primesense Ltd. | Enhanced 3d interfacing for remote devices |
-
2008
- 2008-02-27 US US12/038,626 patent/US8555207B2/en active Active
-
2009
- 2009-02-27 JP JP2010548918A patent/JP5595935B2/ja active Active
- 2009-02-27 WO PCT/US2009/035555 patent/WO2009108894A1/en active Application Filing
-
2013
- 2013-10-07 US US14/047,851 patent/US9164591B2/en active Active
-
2015
- 2015-09-17 US US14/857,488 patent/US9507432B2/en active Active
-
2016
- 2016-10-21 US US15/331,438 patent/US10025390B2/en active Active
-
2018
- 2018-05-24 US US15/989,071 patent/US11561620B2/en active Active
-
2022
- 2022-12-07 US US18/062,938 patent/US11954265B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016099559A1 (en) * | 2014-12-19 | 2016-06-23 | Hewlett-Packard Development Company, Lp | 3d navigation mode |
US10809794B2 (en) | 2014-12-19 | 2020-10-20 | Hewlett-Packard Development Company, L.P. | 3D navigation mode |
Also Published As
Publication number | Publication date |
---|---|
US20160077594A1 (en) | 2016-03-17 |
US20170038852A1 (en) | 2017-02-09 |
US9507432B2 (en) | 2016-11-29 |
US20140040835A1 (en) | 2014-02-06 |
US11561620B2 (en) | 2023-01-24 |
US8555207B2 (en) | 2013-10-08 |
US20180275767A1 (en) | 2018-09-27 |
US20230108753A1 (en) | 2023-04-06 |
WO2009108894A9 (en) | 2009-11-19 |
JP2011513847A (ja) | 2011-04-28 |
WO2009108894A1 (en) | 2009-09-03 |
US11954265B2 (en) | 2024-04-09 |
US20090217211A1 (en) | 2009-08-27 |
US9164591B2 (en) | 2015-10-20 |
US10025390B2 (en) | 2018-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5595935B2 (ja) | 認識されたジェスチャーを用いた高機能化入力 | |
US8514251B2 (en) | Enhanced character input using recognized gestures | |
US11960706B2 (en) | Item selection using enhanced control | |
JP5855343B2 (ja) | 改良されたジェスチャに基づく画像操作 | |
US11048333B2 (en) | System and method for close-range movement tracking | |
JP6074170B2 (ja) | 近距離動作のトラッキングのシステムおよび方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130212 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130219 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130312 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131225 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140806 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5595935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |