JP5777731B2 - ジェスチャー認識のための環境依存型ダイナミックレンジ制御 - Google Patents

ジェスチャー認識のための環境依存型ダイナミックレンジ制御 Download PDF

Info

Publication number
JP5777731B2
JP5777731B2 JP2013547409A JP2013547409A JP5777731B2 JP 5777731 B2 JP5777731 B2 JP 5777731B2 JP 2013547409 A JP2013547409 A JP 2013547409A JP 2013547409 A JP2013547409 A JP 2013547409A JP 5777731 B2 JP5777731 B2 JP 5777731B2
Authority
JP
Japan
Prior art keywords
gesture
dynamic range
environment
user
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013547409A
Other languages
English (en)
Other versions
JP2014506361A (ja
Inventor
キム,セウンギル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Publication of JP2014506361A publication Critical patent/JP2014506361A/ja
Application granted granted Critical
Publication of JP5777731B2 publication Critical patent/JP5777731B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Description

本明細書に別段の表示がない限り、本項で説明される内容は、本出願の請求項に対する先行技術ではなく、本項内に包含することによって先行技術であると認められない。
旧来のメディア機器、ならびにコンピュータ、テレビジョン、メッセージボード、電子掲示板、および監視装置などのコンピュータ制御装置は、入力ハードウェアを使用してユーザインターフェース上で直接的に制御される。一般に、これらは、装置を制御するためのマウス、遠隔制御、キーボード、スタイラス、タッチスクリーンなどの入力装置を使用して直接的に制御される。入力装置は、ユーザが装置と相互作用するためにそれらの装置と統合されるため、ユーザは、キーボード上のキーストローク、マウスの動き、およびタッチスクリーン上の選択によって、そのような入力装置上で動作を開始し、それらの装置を操作し、それらの装置を制御するために、それらの装置およびスクリーンに対する直接アクセスを有するか、またはそのような装置およびスクリーンの近傍にいる必要がある。入力装置がユーザにとって直接的にアクセス可能でない場合、ユーザと装置との間の相互作用は限定される可能性があり、ユーザは装置を操作および制御することができず、したがって、装置の有用性を限定する。
近年の技術発達は、電子装置が、例えば、手を振ること、または事前に定義された範囲内の動作を検出することによって、装置をアクティベートするための動作検出機構を備えることを可能にした。装置のサイズ、装置に対するユーザの距離、および類似の状況は変化する場合があるため、ジェスチャーによって制御される一般的な電子装置は、一般に、より広範囲のジェスチャーを検出するように構成可能である。しかし、状況に応じて、ユーザはより小さなジェスチャー、例えば、手のジェスチャーの代わりに指のジェスチャーを使用することを望む場合(または、必要とする場合)がある。
本開示は、ジェスチャー認識のダイナミックレンジを調整するための方法を提示する。いくつかの例によれば、この方法は、ジェスチャー認識可能な電子装置のユーザの環境を検出することと、ユーザの検出された環境に基づいて、ジェスチャー認識可能な電子装置に関するジェスチャー入力ダイナミックレンジを調整することとを含んでもよい。
本開示は、ジェスチャー認識のダイナミックレンジを調整することが可能な装置も説明する。いくつかの例によれば、この装置は、ジェスチャーを検出するように構成された画像捕捉装置と、命令を記憶するように構成されたメモリと、そのメモリに結合されたプロセッサとを含んでもよい。プロセッサは、命令を実行するように適合されることが可能であり、命令は、実行されるとき、ユーザの環境を検出して、ユーザの検出された環境に基づいて、ジェスチャー入力ダイナミックレンジを調整するようにプロセッサを構成する。
本開示は、ジェスチャー認識のダイナミックレンジを調整するための命令を記憶しているコンピュータ可読記憶媒体をさらに説明する。これらの命令は、ジェスチャー認識可能な電子装置のユーザの環境を検出することと、ユーザの環境に基づいて、ジェスチャー認識可能な電子装置に関するジェスチャー入力ダイナミックレンジを調整することとを含んでもよい。
前述の要約は、単なる例示であり、限定的であることが決して意図されない。上で説明された例示的な態様、実施形態、および特徴に加えて、図面および以下の詳細な説明を参照することによって、さらなる態様、実施形態、および特徴が明らかになるであろう。
本開示の以下に説明される特徴およびその他の特徴は、添付の図面と共に、以下の説明および添付の請求項からより十分明らかになるであろう。これらの図面は本開示によるいくつかの実施形態だけを示し、したがって、その範囲の限定と見なされるべきではないことを理解して、本開示は、添付の図面を使用することによって、追加の特異性および詳細を用いて説明される。
本明細書に記載される少なくともいくつかの実施形態に従って構成された、ジェスチャー認識のためのある環境依存型ダイナミックレンジ制御(environment−dependent dynamic range control)の1つの例示的な実装形態を示す概念図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、ジェスチャー認識のためのある環境依存型ダイナミックレンジ制御の別の例示的な実装形態を示す概念図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、同じ装置上の環境の検出に基づくジェスチャー入力制御の調整を例示する図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、異なる装置上の環境の検出に基づくジェスチャー入力制御の調整を例示する図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、携帯用コンピューティング装置上のある例示的なジェスチャー認識ダイナミックレンジ状態インジケータを示す図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、装置構成がユーザの位置に基づいて変化する使用シナリオにおけるジェスチャーUI範囲の調整を示す図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、ユーザの環境に応じたジェスチャーベースの制御UI調整のある例を示す図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、ジェスチャー認識のための環境依存型ダイナミックレンジ制御を実装するために使用され得る汎用コンピューティング装置を例示する図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、ジェスチャー認識のための環境依存型ダイナミックレンジ制御を実装するために使用され得る専用プロセッサを例示する図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、図8の装置800などのコンピューティング装置、または図9のプロセッサ990などの専用プロセッサによって実行され得るジェスチャー認識のための環境依存型ダイナミックレンジ制御を実装するためのある例示的な方法を示す流れ図である。 本明細書に記載される少なくともいくつかの実施形態に従って構成された、ある例示的なコンピュータプログラム製品のブロック図である。
以下の詳細な説明では、その詳細な説明の一部を形成する添付の図面が参照される。図面では、内容に別段の規定がない限り、類似の記号は、一般に、類似のコンポーネントを識別する。詳細な説明、図面、請求項に説明される例示的な実施形態は、限定的であることが意味されない。その他の実施形態が使用されてよく、本明細書に提示される主題の趣旨または範囲から逸脱せずに、その他の変更が行われてよい。本明細書で一般に説明され、図面で例示される本開示の態様は、そのすべてが本明細書で明示的に企図される広範囲な異なる構成で構成可能であり、置換可能であり、組み合わせ可能であり、分離可能であり、設計可能であることを容易に理解されるであろう。
本開示は、一般には、とりわけ、ジェスチャー認識のための環境依存型ダイナミックレンジ制御に関する方法、装置、システム、デバイス、および/またはコンピュータプログラム製品に関する。
手短に述べると、ダイナミックレンジ制御はユーザ環境に基づくジェスチャー認識のために提供可能である。いくつかの実施形態によれば、位置、装置サイズ、仮想表示サイズまたは物理的な表示サイズを含むが、それらに限定されないユーザ環境が検出可能であり、ジェスチャー制御範囲は、検出された環境に従って調整可能である。その他の実施形態によれば、コントローラユーザインターフェースまたはダイナミックレンジ状態インジケータは、修正されたジェスチャー認識範囲制御に基づいて調整可能である。
図1は、本明細書に記載される少なくともいくつかの実施形態による、ジェスチャー認識のためのある環境依存型ダイナミックレンジ制御の1つの例示的な実装形態を示す概念図である。図100に示されるように、コンピューティング装置112などの電子装置は、機械制御(例えば、キーボード、マウスなど)、音声制御(例えば、発話認識)、および類似の制御などの従来の制御機構の代わりに、またはそれらに加えて、ジェスチャー認識によって制御可能である。
コンピューティング装置112は、導電的に、光学的に、またはワイヤレスにディスプレイ装置104に結合されること(110)が可能である。ディスプレイ装置104は、一体型画像捕捉装置106(例えば、カメラ)を含んでもよい。あるいは、画像捕捉装置106は、導電的に、光学的に、またはワイヤレスにディスプレイ装置104に結合された個別の装置であってよい。ある例示的な実装形態では、ユーザ102は、ジェスチャーによってコンピューティング装置112の選択機能性を制御することができる。ジェスチャーは、画像捕捉装置106によって捕捉されて、コンピューティング装置112において認識可能であり、コンピューティング装置112は、それらのジェスチャーを特定の入力コマンドにマッピングして、それに応じて、それらのジェスチャーを処理することができる。
コンピューティング装置112は、ユーザ102にフィードバックを提供して、ユーザ102が特定のジェスチャーを実行するのを容易にするための制御要素108を表示することができる。例えば、表示されたボタンは、特定のコマンドと関連付けられることが可能であり、ボタンはそのボタンに対する(例えば、手を用いた)ユーザの動作を検出するとすぐにアクティベートされ得る。フィードバックとして、アクティベートされるとすぐに、そのジェスチャーが成功裏に認識されたことをユーザに示すボタンの色/陰影付け/サイズを修正することが可能である。
図2は、本明細書に記載される少なくともいくつかの実施形態による、ジェスチャー認識のためのある環境依存型ダイナミックレンジ制御の別の例示的な実装形態を示す概念図である。図200に示されるように、ジェスチャーベースの制御は、ラップトップコンピュータ、デスクトップコンピュータ、ハンドヘルドコンピュータ、車載コンピュータ、スマートフォン、または類似の装置などの従来のコンピューティング装置に限定されない。コンピューティング装置と、家庭電化製品などの他の電子装置との間の区別は、広範囲な電子装置に専用プロセッサと通信機能とを組み込むことによって次第に曖昧になっているものの、それらは依然として別個の範疇にあると見なされる。
ジェスチャーベースの制御は、テレビジョン、娯楽システム、自動現金預け払い機(ATM)、または同等の装置などの多様な電子装置の形で実装されることも可能である。図200は、静止画像またはビデオ画像を表示するために住宅環境または公の環境で使用され得る投影型ディスプレイ204を例示する。電源オン/電源オフ、表示特性、音声特性などの投影型ディスプレイ204の機能性は、ユーザ202のジェスチャーを認識することによって制御可能である。図1にあるように、ユーザのジェスチャー認識機構との相互作用を容易にして、ユーザ202にフィードバックを提供するための1つまたは複数の制御要素208を備えた制御ユーザインターフェースを提示することが可能である。ジェスチャーは、ビデオカメラ206を介して捕捉可能であり、ビデオカメラ206は、あるいは、静止画像カメラ、ウェブカム、または類似の画像捕捉装置であってもよい。
図1および2の例示的な実装形態が示すように、ジェスチャー認識を用いる装置、およびそれらのジェスチャー認識が使用される環境は、幅広い範囲で変化する可能性がある。その範囲の一端には、比較的小さなディスプレイを備えたハンドヘルド装置(例えば、スマートフォン)があり、もう一端には、比較的大きな投影型ディスプレイまたはテレビ受信機がある。同様に、住宅環境またはオフィス環境において、ユーザは、手および腕を用いた大きなジェスチャーを自由に使用することができるのに対して、公の環境において、利用可能な空間およびその他の要件(例えば、そのジェスチャーに対する他の人々の反応)は、指のジェスチャーなど、より小さなジェスチャーの使用を必要とする場合がある。
いくつかの実施形態によるシステムでは、(仮想的もしくは物理的)表示サイズおよび/または(公的もしくは私的)位置などのユーザの環境は、ジェスチャーによって自動的に制御される装置によって検出可能であり、ジェスチャー認識のためのダイナミックレンジが調整される。例えば、この範囲は、公的な場所で、または利用可能なディスプレイが小さいとき、より小さなジェスチャー用に修正可能であり、私的な場所で、または利用可能な表示サイズが大きいとき、より大きなジェスチャー用に修正可能である。検出は、位置判断(例えば、全地球測位サービス(GPS)、セルラ位置特定サービス、無線ネットワーク位置特定サービスなどの使用)、環境からのビデオ信号および/もしくは音声信号の解釈(例えば、背景内の多数の人々もしくは雑音レベルの検出)、またはユーザ入力に基づいてよい。ジェスチャー認識に関連する制御ユーザインターフェースは、検出された環境に基づいてサイズまたは構成の点で調整されることも同様に可能である。制御ユーザインターフェースが提供されない場合、ダイナミックレンジにおける変更をユーザに知らせるために、ユーザにダイナミックレンジインジケータを提供することが可能である。
図3は、本明細書に説明される少なくともいくつかの実施形態による、同じ装置上の環境の検出に基づくジェスチャー入力制御の調整を例示する。図300は、ジェスチャー認識のダイナミックレンジ制御を調整するある例を示す。
ディスプレイ310は、画像312(例えば、建物)とジェスチャー認識制御ユーザインターフェース314とを提示する。制御ユーザインターフェース314は、ボタン、スライディング制御(sliding controls)、テキストボックスなど、いくつかの制御要素を含んでもよい。ユーザにとって使い勝手のよい相互作用をレンダリングして、フィードバックをユーザに提供するために、異なる色方式、陰影付け方式、テキスト方式、またはグラフィカル方式を使用することが可能である。例えば、ディスプレイ310に示される制御ユーザインターフェースなど、比較的小さい制御ユーザインターフェースの場合、ユーザは制御ユーザインターフェース314の要素を選択/アクティベートするために指のジェスチャー316を用いることができる。
ディスプレイ320は、画像322と、より大きな制御ユーザインターフェース324とを提示する。ユーザの環境を検出することに応答して、いくつかの実施形態によるシステムは、ジェスチャー認識のダイナミックレンジと、表示された制御ユーザインターフェース324のサイズとを調整することができる。したがって、ユーザは、このとき、指のジェスチャーの代わりに手のジェスチャーを利用することができる。サイズに加えて、表示された制御ユーザインターフェース324内の構成および/または数を、検出された環境とジェスチャー認識に関して調整されたダイナミックレンジとに基づいて修正することも可能である。
図4は、本明細書に記載される少なくともいくつかの実施形態による、異なる装置上の環境の検出に基づくジェスチャー入力制御の調整を例示する。図400は、装置のタイプに基づく、ジェスチャー認識ダイナミックレンジおよび制御ユーザインターフェース調整のある例を示す。ユーザがコンピューティング装置間で切り替えて、同じソフトウェアアプリケーションを使用し続けることは一般的である。例えば、ユーザは、そのハンドヘルドコンピューティング装置上でウェブページを閲覧することができ、ユーザが住宅または事務所に到着するとき、ユーザはそのデスクトップコンピュータのより大きなディスプレイに切り替えて、同じウェブページを閲覧し続けることができる。同様に、ある人物は異なるサイズ表示を用いて、異なるテレビ受信機上で同じ番組を閲覧し続けることができる。
ハンドヘルドコンピューティング装置430は、画像432をユーザに表示する、より小さな形態の装置のある例である。制御ユーザインターフェース434は、ジェスチャー認識機能性のためにハンドヘルドコンピューティング装置430上に提示される。装置のサイズにより、制御ユーザインターフェース434は、比較的に小さい(例えば、より小さなボタンがより互いに近接して配置されている)場合もある。
ユーザがより大きなディスプレイ装置440(例えば、デスクトップコンピュータのモニタ)に切り替えるとき、類似の画像442を表示し続けることが可能であるが、表示環境内の変化を検出するとすぐに、ディスプレイ装置440は、ジェスチャー認識のダイナミックレンジを調整して、同時に、制御ユーザインターフェース444のサイズおよび/または構成を調整する(例えば、より大きなボタンを互いからさらに離す)ことが可能である。
図5は、本明細書に記載される少なくともいくつかの実施形態による、携帯用コンピューティング装置上のある例示的なジェスチャー認識ダイナミックレンジ状態インジケータを示す。図500に示されるように、制御ユーザインターフェースは常に提示されなくてよい。そのようなシナリオでは、いくつかの実施形態による装置は、ジェスチャー認識ダイナミックレンジに関するインジケータ548を表示することが可能である。ユーザが調整されたダイナミックレンジに関して知らされていない場合、ジェスチャー認識の精度は低減される可能性がある。それを回避するために、ボタンインジケータ548などのグラフィカルインジケータまたはテキストインジケータをディスプレイの適切な場所に(例えば、主な表示画像546の下に)表示することが可能である。
いくつかの実施形態によれば、表示されたボタンのサイズ、色、および/または陰影付けは、ジェスチャー認識のための現在のダイナミックレンジを示すことができる。その他の実施形態によれば、現在のダイナミックレンジを示すために、スライディングスケールまたは2つのグラフィカル要素の組み合わせ(例えば、アイコン間の距離)などの他のグラフィカル方式を使用することが可能である。
図6は、本明細書に記載される少なくともいくつかの実施形態による、装置構成がユーザの位置に基づいて変化する使用シナリオにおけるジェスチャーUI範囲の調整を例示する。先に議論されたように、実施形態によるシステムは環境を検出するように構成される。環境の検出は、位置判断、ユーザのスペースの検出、画像捕捉装置とユーザとの間の距離の判断、またはそれらの任意の組み合わせのうちの1つもしくは複数に基づいてよい。
位置判断は、GPS、セルラ、または無線ネットワークサービス/有線ネットワークサービスなどの位置特定サービスを使用して、ならびに音声信号および/もしくはビデオ信号の解釈(例えば、公的な環境、観衆などの検出)を使用して、実行可能である。ユーザのスペースの検出は、そのユーザに近接して他の人々が存在するか否か、そのユーザの周囲に十分な空間的余裕が存在するか否かなどの検出を含んでもよい。ジェスチャーを捕捉する画像捕捉装置とユーザとの間の距離は、それらのジェスチャーがどの程度正確に認識されるかを判断することができる。したがって、その距離は、ジェスチャー認識のためのダイナミックレンジを調整するためのユーザの環境の第3の側面として検出が可能である。
ジェスチャー認識ダイナミックレンジの調整に関して、2つのタイプのシナリオを考慮することができる。1つのシナリオでは、環境は変化し得るが、装置構成(例えば、ディスプレイのサイズ、検出能力など)は変化し得ない。もう1つのシナリオでは、装置構成は環境の変化と共に変化し得る。
図600に示されるように、画像捕捉装置651からのユーザの距離は、ユーザの移動に関する範囲に影響を与える場合がある。例えば、ユーザが画像捕捉装置651に近接している場合、ユーザ動作(すなわち、ジェスチャー)に関する最大範囲652は、制御ユーザインターフェース654を管理するために必要とされる範囲とほぼ同じであり得る。いくつかの実施形態によれば、ダイナミックレンジは、2つのインジケータ656および658を使用して、制御された装置650上に表示可能である。
次のシナリオでは、ユーザは、私的な場所に到着して、同じ装置がより遠くの距離(このとき、装置660)から利用可能になるように、その装置をドッキングステーション上に配置することができる。装置構成がユーザの環境と共に変化するこの例示的なシナリオでは、ユーザ動作662に関する新しい最大範囲は、ユーザ動作に関する以前の最大範囲652より大きいが、制御ユーザインターフェース664を管理するために必要とされる範囲は前と同じである。したがって、ユーザは、より大きなジェスチャー(例えば、指の動きの代わりに手のジェスチャー)を使用することができる。これは、近接して配置された2つのダイナミックレンジインジケータ666および668を用いて装置660上に表示可能である。
したがって、環境だけが変化し、装置構成が変化しない場合、ダイナミックレンジを単に削減することは十分な可能性がある。他のシナリオによれば、ダイナミックレンジを増大または拡張することが可能である。装置構成および環境が変化する場合、ジェスチャー認識のための最適ダイナミックレンジを判断するために、上で議論された要因(例えば、表示サイズ、ユーザのスペース、カメラとユーザとの間の距離など)を個々に、または組み合わせて考慮することができる。制御ユーザインターフェースおよび/または表示されたダイナミックレンジ表示もそれに応じて調整可能である。
図7は、本明細書に記載される少なくともいくつかの実施形態による、ユーザの環境に応じたジェスチャーベースの制御UI調整のある例を示す。図7に示されるように、ジェスチャー認識のための制御ユーザインターフェースは、多くの形をとることが可能である。例えば、頭部装着型ディスプレイ(または、その他のディスプレイ)を備えた拡張現実感(AR)ベースの実装形態の人気はますます高まっている。これらの半透明ディスプレイは、ユーザが、実際の背景上に重ね合わされた1つまたは複数のソフトウェアアプリケーションに関する仮想ユーザインターフェースを見ながら、そのユーザの環境を知ることを可能にする。
ディスプレイ770は、ユーザが背景に人々771を伴う公的な場所におり、デスクトップアプリケーションユーザインターフェース772が実際の背景上に重ね合わされている、ある例示的なAR実装形態を示す。デスクトップアプリケーションユーザインターフェース772は、やらなければならないことリスト(to−do list)アプリケーション774、カレンダーアプリケーション775、メモ取り(note taking)アプリケーション776に関する要素、および/またはその他の制御要素773を含んでもよい。ユーザは公的な場所にいるため、デスクトップアプリケーションユーザインターフェース772のサイズおよび構成は、ディスプレイ770上に示されるように、周囲の状況を楽に見ることを可能にするために最小化または構成が可能である。(ユーザインターフェースの要素と相互作用するための)ジェスチャー認識のためのユーザインターフェースサイズおよび/またはダイナミックレンジの調整は、本明細書に記載されるような環境検出に基づき得る。
ディスプレイ780は、デスクトップアプリケーションユーザインターフェース772の修正されたバージョンであるデスクトップアプリケーションユーザインターフェース782を示す。人々771の代わりに本棚781を検出するなど、ユーザの環境の変化を検出して、それをユーザが私的な場所にいると解釈するとすぐに、システムは、デスクトップアプリケーションユーザインターフェース782のサイズを増大することができる。やらなければならないことリストアプリケーション784、カレンダーアプリケーション785、メモ取りアプリケーション786、および/またはその他の制御要素783を表すアイコンのうちの少なくともいくつかは、ユーザにより大きな仮想作業領域を提供するためにサイズの増大が可能であるか、または異なって配置されることも可能である。
デスクトップアプリケーションユーザインターフェース782のサイズの増大と共に、ジェスチャー認識のためのダイナミックレンジは、今やユーザが私的な場所にいるため、ユーザがより大きなジェスチャーを用いることを可能にするために調整されることも可能である。
図8は、本明細書に記載される少なくともいくつかの実施形態による、ジェスチャー認識のための環境依存型ダイナミックレンジ制御を実装するために使用され得る汎用コンピューティング装置を例示する。非常に基本的な構成802では、コンピューティング装置800は、一般に、1つまたは複数のプロセッサ804と、システムメモリ806とを含む。メモリバス808は、プロセッサ804とシステムメモリ806との間の通信のために使用可能である。
所望の構成に応じて、プロセッサ804は、マイクロプロセッサ(μP)、マイクロコントローラ(μC)、デジタル信号プロセッサ(DSP)、またはそれらの任意の組み合わせを含むが、それらに限定されない任意のタイプのものであってよい。プロセッサ804は、レベルキャッシュメモリ812、プロセッサコア814、およびレジスタ816など、キャッシュのもう1つのレベルを含んでもよい。例示的なプロセッサコア814は、論理演算装置(ALU)、浮動小数点演算ユニット(FPU)、デジタル信号処理コア(DSPコア)、またはそれらの任意の組み合わせを含んでもよい。例示的なメモリコントローラ818は、プロセッサ804と共に使用されることも可能であり、いくつかの実装形態では、メモリコントローラ818はプロセッサ804の内部部分であってもよい。
所望の構成に応じて、システムメモリ806は、(RAMなど)揮発性メモリ、(ROM、フラッシュメモリなど)不揮発性メモリ、またはそれらの任意の組み合わせを含むが、それらに限定されない任意のタイプのものであってよい。システムメモリ806は、オペレーティングシステム820と、アプリケーション822と、プログラムデータ824とを含んでもよい。アプリケーション822は、任意のコンピュータアプリケーションであってよく、ユーザジェスチャーを検出して、それらのユーザジェスチャーをアプリケーション822、ならびに上で議論されたような任意のその他のプロセス、方法、および機能に関する制御入力として用いるように構成されたジェスチャー認識モジュール826を含んでもよい。プログラムデータ824は、環境データ828、および少なくとも図1から7に関して上で議論されたものに類似したデータのうちの1つまたは複数を含んでもよい。このデータは、本明細書に説明されるように、ジェスチャー認識のためのダイナミックレンジ制御を調整するために有用であり得る。いくつかの実施形態では、アプリケーション822は、本明細書に説明されるように、オペレーティングシステム820上でプログラムデータ824と協働するように構成可能である。この説明される基本的な構成802は、図8において、内側の破線内のコンポーネントによって例示される。
コンピューティング装置800は、基本的な構成802と任意の必要とされる装置およびインターフェースとの間の通信を円滑にするために追加の特徴または機能性と、追加のインターフェースとを有することが可能である。例えば、バス/インターフェースコントローラ830は、記憶インターフェースバス834を経由して、基本的な構成802と1つまたは複数のデータ記憶装置832との間の通信を円滑にするために使用可能である。データ記憶装置832は、取外し可能記憶装置836、取外し不可能記憶装置838、またはそれらの組み合わせであってよい。取外し可能記憶装置および取外し不可能記憶装置の例は、ほんのいくつかの例を挙げると、フレキシブルディスクドライブおよびハードディスクドライブ(HHD)などの磁気ディスク装置、コンパクトディスク(CD)ドライブまたはデジタル多用途ディスク(DVD)ドライブなどの光ディスクドライブ、固体ドライブ(SSD)、およびテープドライブを含む。例示的なコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、もしくはその他のデータなどの情報を記憶するための任意の方法または技術の形で実装される揮発性媒体および不揮発性媒体、取外し可能媒体および取外し不可能媒体を含んでもよい。
システムメモリ806、取外し可能記憶装置836、および取外し不可能記憶装置838は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、所望の情報を記憶するために使用可能であり、かつコンピューティング装置800によってアクセスされ得るRAM、ROM、EEPROM、フラッシュメモリもしくはその他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)もしくはその他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置もしくはその他の磁気記憶装置、または任意のその他の媒体を含むが、それらに限定されない。任意のそのようなコンピュータ記憶媒体は、コンピューティング装置800の一部であってよい。
コンピューティング装置800は、バス/インターフェースコントローラ830を経由してさまざまなインターフェース装置(例えば、出力装置842、周辺インターフェース844、および通信装置866)から基本的な構成802への通信を円滑にするためのインターフェースバス840を含むこともできる。例示的な出力装置842は、1つもしくは複数のA/Vポート852を経由して、ディスプレイまたはスピーカなどのさまざまな外部装置と通信するように構成され得るグラフィックス処理ユニット848と音声処理ユニット850とを含む。例示的な周辺インターフェース844は、1つもしくは複数のI/Oポート858を経由して、入力装置(例えば、キーボード、マウス、ペン、音声入力装置、タッチ入力装置など)またはその他の周辺装置(例えば、カメラなど)などの外部装置と通信するように構成され得るシリアルインターフェースコントローラ854またはパラレルインターフェースコントローラ856を含む。例示的な通信装置866は、1つまたは複数の通信ポート864を経由して、ネットワーク通信リンク上で1つまたは複数のその他のコンピューティング装置862との通信を円滑にするように構成され得るネットワークコントローラ860を含む。
ネットワーク通信リンクは、通信媒体の一例であり得る。通信媒体は、一般に、コンピュータ可読命令、データ命令、プログラムモジュール、または搬送波もしくはその他の移送機構などの変調データ信号における他のデータによって、実装可能であり、任意の情報送達媒体を含んでもよい。「変調データ信号」は、その特性セットのうちの1つもしくは複数を有する信号か、または情報を信号内で符号化するように変更された信号であってよい。限定ではなく、例として、通信媒体は、有線ネットワーク接続または直接配線接続などの有線媒体と、音響媒体、無線周波数(RF)媒体、マイクロ波媒体、赤外線(IR)媒体、およびその他の無線媒体などの無線媒体とを含んでもよい。本明細書で使用されているコンピュータ可読媒体という用語は、記憶媒体と通信媒体の両方を含み得る。
コンピューティング装置800は、上記の機能のうちのいずれかを含む物理サーバ、仮想サーバ、コンピューティングクラウド、またはハイブリッド装置の一部として実装可能である。コンピューティング装置800は、ラップトップコンピュータ構成と非ラップトップコンピュータ構成の両方を含めて、パーソナルコンピュータとしても実装可能である。さらに、コンピューティング装置800は、ネットワーク接続されたシステムとして、または汎用サーバもしくは専用サーバの一部として実装可能である。
コンピューティング装置800を含むネットワーク接続されたシステムに関するネットワークは、サーバ、クライアント、スイッチ、ルータ、モデム、インターネットサービスプロバイダ、および任意の適切な通信媒体(例えば、有線通信または無線通信)の任意のトポロジーを含んでもよい。いくつかの実施形態によるシステムは、静的または動的なネットワークトポロジーを有することが可能である。ネットワークは、企業ネットワーク(例えば、LAN、WAN、もしくはWLAN)など、安全なネットワーク、ワイヤレスオープンネットワーク(例えば、IEEE802.11無線ネットワーク)、または(例えば、インターネット)などのワールドワイドネットワークなど、安全でないネットワークを含んでもよい。ネットワークは、一緒に動作するように適合された複数の別個のネットワークを含むことも可能である。そのようなネットワークは、本明細書に記載されるノード間の通信を提供するように構成される。限定ではなく、例として、これらのネットワークは、音響媒体、RF媒体、赤外線媒体、およびその他の媒体など、無線媒体を含んでもよい。さらに、これらのネットワークは、同じネットワークまたは別個のネットワークの一部であってもよい。
図9は、本明細書に記載される少なくともいくつかの実施形態によるジェスチャー認識のための環境依存型ダイナミックレンジ制御を実装するために使用され得る専用プロセッサを例示する。図900に示されるように、プロセッサ990は、ジェスチャー入力によって制御可能なコンピューティング装置または任意の電子装置(例えば、テレビジョン、ATMコンソール、もしくは同等のもの)の一部であってもよい。
プロセッサ990は、(1つまたは複数の)ネットワーク910−2を介して、とりわけ、ユーザジェスチャー、ユーザ環境を捕捉するためのカメラ980などの捕捉装置と通信するように構成された環境検出モジュール996およびジェスチャー認識モジュール998など、いくつかのモジュールを含んでもよい。環境検出モジュール996によって環境を検出するとすぐに、プロセッサ990は、検出された環境に応じて、ジェスチャー入力範囲および/または制御ユーザインターフェースサイズを動的に調節することが可能である。
メモリ991は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせとして実装可能なプロセッサ990のコントロールモジュール用の命令を記憶するように構成可能である。データのうちのいくつかは、環境データ992、ジェスチャーデータ994、または類似の情報を含んでもよいが、それに限定されない。プロセッサ990は、電子結合によって、またはネットワーク接続された通信(例えば、(1つもしくは複数の)ネットワーク910−1)によって他の装置、例えば、ディスプレイ970および/あるいは記憶設備960などのデータ記憶装置と通信するように構成可能である。
例示的な実施形態は、方法を含むことも可能である。これらの方法は、本明細書に記載される構造を含めて、任意の数の様式で実装可能である。1つのそのような様式は、本開示で説明されるタイプの装置の機械動作による。別のオプションの様式は、そのうちのいくつかを1人または複数の人間オペレータが実行するのと同時に、他の動作が機械によって実行されることと併せて、方法の個々の動作のうちの1つまたは複数を実行することに関する。これらの人間オペレータは、互いに並べて配置されなくてもよく、それぞれ、プログラムの一部を実行する機械とだけ同じ場所に配置されてもよい。他の例では、機械自動化された事前に選択された基準によってなど、人間の相互作用を自動化することが可能である。
図10は、本明細書に記載される少なくともいくつかの実施形態による、図8の装置800などのコンピューティング装置、または図9のプロセッサ990などの専用プロセッサによって実行され得るジェスチャー認識のための環境依存型ダイナミックレンジ制御を実装するためのある例示的な方法を示す流れ図である。ブロック1022から1028で説明される動作は、コンピュータ可読媒体1020内のコンピュータ実行可能命令として記憶可能であり、かつ図8のコンピューティング装置800、図9の専用プロセッサ990、または類似の装置であってよい、コントローラ装置1010によって実行可能である。
ジェスチャー認識のための環境依存型ダイナミックレンジ制御を用いるためのプロセスは、動作1022、「環境を検出する」から開始することができる。動作1022で、位置情報、カメラからの情報、マイクロフォンからの情報、もしくは同等のソースに基づいて、装置および/またはディスプレイの位置、サイズなどのユーザの環境を決定することが可能である。
動作1022の後に、動作1024「ジェスチャー入力ダイナミックレンジを調節する」を続けることが可能である。動作1024で、検出された環境に基づいて、ジェスチャー認識設定を調整することができる。例えば、ジェスチャー制御は、ハンドベースの制御からフィンガーベースの制御に変更可能であり、逆も同様である。当然、より小さな調整(例えば、より大きな手のジェスチャーに対してより小さな手のジェスチャー)を実行することも可能である。
動作1024の後に、動作1026「コントローラユーザインターフェースが存在する場合、コントローラユーザインターフェースサイズを調整する」を続けることが可能である。オプションの動作1026で、コントローラユーザインターフェースは、検出された環境および/または調整されたジェスチャー認識範囲に基づいて調整可能である。例えば、上で議論された状況に基づいて、ボタンまたは類似の制御要素の数および/もしくはサイズ、制御要素の構成を修正することが可能である。
オプションの動作1026の後に、オプションの動作1028「コントローラユーザインターフェースが存在しない場合、ダイナミックレンジ状態インジケータを提供/調整する」を続けることが可能である。オプションの動作1028で、装置がコントローラユーザインターフェースを含まない場合、1つもしくは複数のアイコンまたは類似の表示要素を使用して、調整されたジェスチャー認識範囲に関するフィードバックをユーザに提供することができる。
上述のプロセス内に含まれる動作は、例示のためだけである。ジェスチャー認識のための環境依存型ダイナミックレンジ制御は、より少ない動作または追加の動作を伴う類似のプロセスによって実装可能である。いくつかの例では、これらの動作を異なる順序で実行することが可能である。いくつかのその他の例では、さまざまな動作を除去することが可能である。さらにその他の例では、さまざまな動作は、追加の動作に分割可能であるか、または一緒に組み合わせてより少ない動作にすることが可能である。
図11は、本明細書に記載される少なくともいくつかの実施形態に従って構成された、ある例示的なコンピュータプログラム製品のブロック図を示す。いくつかの例では、図11に示されるように、コンピュータプログラム製品1100は、例えば、プロセッサによって実行されるとき、図8または9に関して上で説明された機能を提供することが可能な機械可読命令1104を含むことも可能な信号伝達媒体1102を含んでもよい。したがって、例えば、コンピューティング装置800を参照すると、環境検出モジュール826は、本明細書に記載されるようなジェスチャー認識のための環境依存型ダイナミックレンジ制御に関連する動作を実行するために、信号伝達媒体1102によってプロセッサ804に伝達された命令1104に応答して、図11に示されるタスクのうちの1つまたは複数に着手することができる。それらの命令のうちのいくつかを、環境を検出すること、ジェスチャー入力ダイナミックレンジを調整すること、コントローラユーザインターフェースおよび/またはダイナミックレンジ状態インジケータを調整することと関連付けることが可能である。
いくつかの実装形態では、図11に示される信号伝達媒体1102は、それらに限定されないが、ハードディスクドライブ、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、デジタルテープ、メモリなどのコンピュータ可読媒体1106を包含することができる。いくつかの実装形態では、信号伝達媒体1102は、それらに限定されないが、メモリ、読取り/書込み(R/W)CD、R/W DVDなどの記録可能媒体1108を包含することが可能である。いくつかの実装形態では、信号伝達媒体1102は、それらに限定されないが、デジタル通信媒体および/またはアナログ通信媒体(例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンク)などの通信媒体1110を包含することが可能である。したがって、例えば、プログラム製品1100は、RF信号伝達媒体によってプロセッサ990の1つまたは複数のモジュールに伝達可能であり、この場合、信号伝達媒体1102は、無線通信媒体1110(例えば、IEEE802.11標準に準拠する無線通信媒体)によって伝達される。
本開示は、ジェスチャー認識のダイナミックレンジを調整するための方法を提示する。いくつかの例によれば、この方法は、ジェスチャー認識可能な電子装置のユーザの環境を検出することと、ユーザの検出された環境に基づいて、ジェスチャー認識可能な電子装置に関するジェスチャー入力ダイナミックレンジを調整することとを含む。環境は公的な場所または私的な場所を含んでもよい。
その他の例によれば、この方法は、電子装置がジェスチャー認識制御UIを表示する場合、調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御ユーザインターフェース(UI)のサイズを調整することを含むことも可能である。ジェスチャー認識制御UIは、制御要素および/またはアプリケーションユーザインターフェースを含んでもよい。この方法は、ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、ジェスチャー認識制御UIを調整することをさらに含んでもよい。
さらなる例によれば、この方法は、電子装置がジェスチャー認識制御UIを表示しない場合、現在のジェスチャー入力ダイナミックレンジを反映するジェスチャー入力ダイナミックレンジインジケータを表示することを含んでもよい。この方法は、音声信号、ビデオ信号、および/または位置情報のうちの1つもしくは複数に基づいて、環境を検出することをさらに含んでもよい。位置情報は、全地球測位サービス(GPS)信号、無線ネットワーク信号、および/またはセルラ通信信号のうちの1つもしくは複数から取得可能である。この方法は、画像認識、電子装置の構成、または電子装置とユーザとの間の距離に基づいて、環境を検出することを含むことも可能である。
本開示は、ジェスチャー認識のダイナミックレンジを調整することが可能な装置も説明する。いくつかの例によれば、この装置は、ジェスチャーを検出するための画像捕捉装置と、命令を記憶するように構成されたメモリと、そのメモリに結合されたプロセッサとを含んでもよい。プロセッサは、命令を実行するように適合可能であり、命令は、実行されるとき、ユーザの環境を検出して、ユーザの検出された環境に基づいて、ジェスチャー入力ダイナミックレンジを調整するようにプロセッサを構成する。環境は、公的な場所であってよく、または私的な場所であってもよい。プロセッサは、装置がジェスチャー認識制御ユーザインターフェース(UI)を表示する場合、調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御UIのサイズを調整するようにさらに構成可能である。
その他の例によれば、ジェスチャー認識制御UIは、制御要素および/またはアプリケーションユーザインターフェースを含むことが可能であり、プロセッサは、ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、ジェスチャー認識制御UIを調整することが可能である。プロセッサは、電子装置がジェスチャー認識制御UIを表示しない場合、現在のジェスチャー入力ダイナミックレンジを反映するジェスチャー入力ダイナミックレンジインジケータを表示することも可能である。
さらなる例によれば、プロセッサは、音声信号、ビデオ信号、および/または位置情報のうちの1つもしくは複数に基づいて、環境を検出することが可能であり、この場合、装置は、全地球測位サービス(GPS)信号、無線ネットワーク信号、またはセルラ通信信号から位置情報を取得することが可能な少なくとも1つの通信モジュールをさらに含んでもよい。装置は、環境のタイプを判断するために環境から音声信号を捕捉するためのマイクロフォンおよびビデオ信号を捕捉するためのカメラのうちの1つまたは複数を含むことも可能である。
プロセッサは、画像認識、装置の構成、装置のタイプ、および/またはユーザと装置との間の距離のうちの1つもしくは複数に基づいて、環境を検出することができる。さらに、装置は、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、車載コンピュータ、スマートフォン、テレビジョンモニタ、投影装置、またはコンピューティング装置に結合されたディスプレイであってよい。
本開示は、ジェスチャー認識の動的範囲を調整するための命令を記憶しているコンピュータ可読記憶媒体をさらに説明する。これらの命令は、ジェスチャー認識可能な電子装置のユーザの環境を検出することと、公的な場所であってよく、または私的な場所であってもよい、ユーザの環境に基づいて、ジェスチャー認識可能な電子装置に関するジェスチャー入力ダイナミックレンジを調整することとを含んでもよい。
これらの命令は、電子装置がジェスチャー認識制御UIを表示する場合、調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御ユーザインターフェース(UI)のサイズを調整することを含むことも可能であり、この場合、ジェスチャー認識制御UIは、制御要素および/またはアプリケーションユーザインターフェースを含む。他の例によれば、これらの命令は、ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、ジェスチャー認識制御UIを調整することと、電子装置がジェスチャー認識制御UIを表示しない場合、現在のジェスチャー入力ダイナミックレンジを反映するジェスチャー入力ダイナミックレンジインジケータを表示することとをさらに含んでもよい。音声信号、ビデオ信号、および/または位置情報のうちの1つもしくは複数に基づいて、環境を検出することが可能である。画像認識、電子装置の構成、電子装置のタイプ、および/またはユーザと電子装置との間の距離のうちの1つもしくは複数に基づいて、環境を検出することも可能である。
システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に(いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で)コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび/またはシステムおよび/または他の技術をもたらすことができるさまざまな達成手段があり(例えば、ハードウェア、ソフトウェア、および/またはファームウェア)、好ましい達成手段は、プロセスおよび/またはシステムおよび/または他の技術が導入される状況によって異なる。例えば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび/またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、さらに別の代替案として、実装者は、ハードウェア、ソフトウェア、および/またはファームウェアのなんらかの組み合わせを選択することができる。
前述の詳細な説明では、ブロック図、フローチャート、および/または例の使用によって、装置および/またはプロセスのさまざまな実施形態を説明してきた。そのようなブロック図、フローチャート、および/または例が1つまたは複数の機能および/または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および/または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび/または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、1つまたは複数のコンピュータ上で動作する1つまたは複数のコンピュータプログラムとして(例えば、1つまたは複数のコンピュータシステム上で動作する1つまたは複数のプログラムとして)、1つまたは複数のプロセッサ上で動作する1つまたは複数のプログラムとして(例えば、1つまたは複数のマイクロプロセッサ上で動作する1つまたは複数のプログラムとして)、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに/またはソフトウェアおよび/もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。
本開示は、さまざまな態様の例示として意図される、本出願で記載された特定の実施形態の点で限定されない。当業者に明らかになるように、その趣旨および範囲から逸脱せずに、多くの修正および改変を行うことが可能である。本開示の範囲内の機能的に均等な方法および装置は、本明細書に記載された方法および装置に加えて、前述の記載から当業者に明らかになるであろう。そのような修正および改変は、添付の請求項の範囲に包含されることが意図される。本開示は、添付の請求項が権限を有する均等物の完全範囲と共に、そのような請求項の条件によってだけ限定されるべきである。本開示は、当然変化し得る特定の方法、材料、および構成に限定されないことを理解されたい。本明細書で使用される専門用語は、特定の実施形態を説明するためだけであり、限定的であることが意図されない点も理解されたい。
さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載される主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例は、フロッピー(登録商標)ディスク、ハードディスクドライブ、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および/またはアナログ通信媒体(例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど)などの伝送タイプの媒体を含むが、それらに限定されない。
本明細書で説明されたやり方で装置および/またはプロセスを記載し、その後そのように記載された装置および/またはプロセスをデータ処理システムに統合するためにエンジニアリング方式を使用することは、一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および/またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムのうちの1つもしくは複数、タッチパッドまたはスクリーンなどの1つもしくは複数の相互作用装置、ならびに/あるいはフィードバックループおよび(例えば、ジェスチャー入力ダイナミックレンジを調整する)コントロールモジュールを含むコントロールシステムを含むことを、当業者は認識するであろう。
一般的なデータ処理システムは、データ計算システム/データ通信システム、および/またはネットワーク計算システム/ネットワーク通信システムの中に一般に見出されるコンポーネントなどの任意の適切な市販のコンポーネントを利用して実装可能である。本明細書に記載された主題は、時として、異なるその他のコンポーネント内に包括されるか、または異なる他のコンポーネントに結合された異なるコンポーネントを例示する。そのように示されたアーキテクチャは、単に例示にすぎず、実際には、同じ機能性を実現する多くの他のアーキテクチャが実装可能であることを理解されたい。概念的な意味で、同じ機能性を実現するためのコンポーネントの任意の構成は、所望の機能性が実現されるように効果的に「関連付け」される。したがって、特定の機能性を実現するために組み合わされた、本明細書における任意の2つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能性が実現されるように、互いに「関連付け」されていると理解することができる。同様に、そのように関連付けされた任意の2つのコンポーネントは、所望の機能性を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすことができ、そのように関連付け可能な任意の2つのコンポーネントは、所望の機能性を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる具体例は、物理的に接続可能な、および/もしくは物理的に相互作用可能なコンポーネント、ならびに/またはワイヤレスに相互作用可能な、および/もしくはワイヤレスに相互作用するコンポーネント、ならびに/または論理的に相互作用する、および/もしくは論理的に相互作用可能なコンポーネントを含むが、それらに限定されない。
本明細書における実質的に任意の複数形、および/または単数形の用語の使用に関して、当業者は、状況および/もしくは用途に適切なように、複数形から単数形に、および/または単数形から複数形に変換することができる。さまざまな単数形/複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
通常、本明細書において、特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本体部)において使用される用語は、一般に、「オープンな(open)」用語として意図されることが、当業者には理解されよう(例えば、用語「含む(including)」は、「含むがそれに限定されない(including but not limited to)」と解釈されるべきであり、用語「有する(having)」は、「少なくとも有する(having at least)」と解釈されるべきであり、用語「含む(includes)」は「含むがそれに限定されない(includes but not limited to)」と解釈されるべきである、など)。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該特許請求の範囲において明示的に記載されることになり、そのような記載がない場合、そのよう意図は存在しないことが、当業者にはさらに理解されよう。例えば、理解の一助として、以下の添付の特許請求の範囲は、導入句「少なくとも1つの(at least one)」および「1つまたは複数の(one or more)」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「1つもしくは複数の」または「少なくとも1つの」、および「a」または「an」などの不定冠詞を含む場合であっても、不定冠詞「a」または「an」による請求項の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に1つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない(例えば、「a」および/または「an」は、「少なくとも1つの」または「1つもしくは複数の」を意味すると解釈されるべきである)。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。さらに、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう(例えば、他の修飾語なしでの「2つの記載(two recitations)」の単なる記載は、少なくとも2つの記載、または2つ以上の記載を意味する)。
さらに、「A、B、およびC、などの少なくとも1つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、およびCの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、など有するシステムを含むが、それに限定されないことになる)。「A、B、またはC、などの少なくとも1つ」に類似する慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている(例えば、「A、B、またはCのうちの少なくとも1つを有するシステム」は、Aのみ、Bのみ、Cのみ、AおよびBを共に、AおよびCを共に、BおよびCを共に、ならびに/またはA、B、およびCを共に、などを有するシステムを含むが、それに限定されないことになる)。2つ以上の代替用語を提示する事実上いかなる離接する語および/または句も、明細書においてであれ、特許請求の範囲においてであれ、または図面においてであれ、当該用語のうちの一方(one of the terms)、当該用語のいずれか(either of the terms)、または両方の用語(both terms)を含む可能性を企図すると理解されるべきであることが、当業者には理解されよう。例えば、句「AまたはB」は、「A」もしくは「B」または「AおよびB」の可能性を含むことが理解されよう。
さらに、本開示の特徴または態様がマーカッシュグループによって説明される場合、本開示は、それによって、マーカッシュグループの任意の個々のメンバーまたはメンバーのサブグループによって説明されることを当業者は理解するであろう。
さまざまな態様および実施形態が本明細書に記載されているが、その他の態様および実施形態が当業者に明らかになるであろう。本明細書で開示されたさまざまな態様および実施形態は、例示のためであり、限定的であることが意図されず、その真の範囲および趣旨は以下の請求項によって示されている。

Claims (19)

  1. ジェスチャー認識のダイナミックレンジを調整するための方法であって、
    ジェスチャー認識可能な電子装置のユーザの環境が公的な場所か私的な場所かを、音声信号、ビデオ信号、および/または位置情報のうちの1つもしくは複数に基づいて検出することと、
    前記検出された環境が私的な場所である際には大きなジェスチャーに適切であり、公的な場所である際には小さなジェスチャーに適切であると、判断することと、
    前記ユーザの前記検出された環境と、適切なジェスチャーサイズの前記判断とに基づいて、前記ジェスチャー認識可能な電子装置に関するジェスチャー入力ダイナミックレンジを調整することとを含む方法。
  2. 前記電子装置がジェスチャー認識制御ユーザインターフェース(UI)を表示する場合、前記調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御UIのサイズを調整すること
    をさらに含む、請求項1に記載の方法。
  3. 前記ジェスチャー認識制御UIが、制御要素およびアプリケーションユーザインターフェースのセットからの少なくとも1つを含む、請求項2に記載の方法。
  4. 前記ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、前記ジェスチャー認識制御UIを調整すること
    をさらに含む、請求項2に記載の方法。
  5. 前記電子装置がジェスチャー認識制御UIを表示しない場合、現在のジェスチャー入力ダイナミックレンジを反映するジェスチャー入力ダイナミックレンジインジケータを表示すること
    をさらに含む、請求項1に記載の方法。
  6. 前記位置情報が、全地球測位サービス(GPS)信号、無線ネットワーク信号、およびセルラ通信信号のうちの1つまたは複数から取得される、請求項1に記載の方法。
  7. 画像認識、前記電子装置の構成、および/または前記電子装置と前記ユーザとの間の距離のうちの1つまたは複数に基づいて、前記環境を検出すること
    をさらに含む、請求項1に記載の方法。
  8. ジェスチャー認識のダイナミックレンジを調整することが可能な装置であって、
    ジェスチャーを検出するように構成された画像捕捉装置と、
    命令を記憶するように構成されたメモリと、
    前記メモリに結合されたプロセッサを備え、前記プロセッサは前記命令を実行するように適合され、前記命令は、実行されるとき、
    ユーザの環境が公的な場所か私的な場所かを、音声信号、ビデオ信号、および/または位置情報のうちの1つもしくは複数に基づいて検出して、
    前記検出された環境が私的な場所である際には大きなジェスチャーに適切であり、公的な場所である際には小さなジェスチャーに適切であると判断し、
    前記ユーザの前記検出された環境と、適切なジェスチャーサイズの前記判断とに基づいて、ジェスチャー入力ダイナミックレンジを調整するように前記プロセッサを構成する、装置。
  9. 前記プロセッサが、
    前記装置がジェスチャー認識制御ユーザインターフェース(UI)を表示する場合、前記調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御UIのサイズを調整するようにさらに構成される、請求項8に記載の装置。
  10. 前記プロセッサが、
    前記ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、前記ジェスチャー認識制御UIを調整するようにさらに構成される、請求項9に記載の装置。
  11. 前記プロセッサが、
    記装置がジェスチャー認識制御UIを表示しない場合、現在のジェスチャー入力ダイナミックレンジを反映するジェスチャー入力ダイナミックレンジインジケータを表示するようにさらに構成される、請求項8に記載の装置。
  12. 全地球測位サービス(GPS)信号、無線ネットワーク信号、およびセルラ通信信号のうちの1つから前記位置情報を取得することが可能な少なくとも1つの通信モジュールをさらに備える、請求項8に記載の装置。
  13. 前記環境のタイプを判断するために前記環境から音声信号を捕捉するためのマイクロフォンおよびビデオ信号を捕捉するためのカメラのうちの1つまたは複数をさらに備える、請求項8に記載の装置。
  14. 前記プロセッサが、
    画像認識、前記装置の構成、前記装置のタイプ、および/または前記ユーザと前記装置との間の距離のうちの1つもしくは複数に基づいて、前記環境を検出するようにさらに構成される、請求項8に記載の装置。
  15. デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、車載コンピュータ、スマートフォン、テレビジョンモニタ、投影装置、およびコンピューティング装置に結合されたディスプレイのうちの1つを備える、請求項8に記載の装置。
  16. ジェスチャー認識のダイナミックレンジを調整するための命令を記憶しているコンピュータ可読記憶媒体であって、前記命令が、
    ジェスチャー認識可能な電子装置のユーザの環境が公的な場所か私的な場所かを、音声信号、ビデオ信号、および/または位置情報のうちの1つもしくは複数に基づいて検出することと、
    前記検出された環境が私的な場所である際には大きなジェスチャーに適切であり、公的な場所である際には小さなジェスチャーに適切であると判断することと、
    前記ユーザの前記環境と、適切なジェスチャーサイズの前記判断とに基づいて、前記ジェスチャー認識可能な電子装置に関するジェスチャー入力ダイナミックレンジを調整することとを含むコンピュータ可読記憶媒体。
  17. 前記命令が、
    前記電子装置がジェスチャー認識制御ユーザインターフェース(UI)を表示する場合、前記調整されたジェスチャー入力ダイナミックレンジに基づいて、ジェスチャー認識制御UIのサイズを調整することをさらに含む、請求項16に記載のコンピュータ可読記憶媒体。
  18. 前記命令が、
    前記ジェスチャー認識制御UIの少なくとも1つの要素のサイズおよび/または位置のうちの1つもしくは複数を修正することによって、前記ジェスチャー認識制御UIを調整することをさらに含む、請求項17に記載のコンピュータ可読記憶媒体。
  19. 前記命令が、
    画像認識、前記電子装置の構成、前記電子装置のタイプ、および/または前記ユーザと前記電子装置との間の距離のうちの1つもしくは複数に基づいて、前記環境を検出することをさらに含む、請求項16に記載のコンピュータ可読記憶媒体。
JP2013547409A 2010-12-29 2010-12-29 ジェスチャー認識のための環境依存型ダイナミックレンジ制御 Expired - Fee Related JP5777731B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/062354 WO2012091704A1 (en) 2010-12-29 2010-12-29 Environment-dependent dynamic range control for gesture recognition

Publications (2)

Publication Number Publication Date
JP2014506361A JP2014506361A (ja) 2014-03-13
JP5777731B2 true JP5777731B2 (ja) 2015-09-09

Family

ID=46383430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013547409A Expired - Fee Related JP5777731B2 (ja) 2010-12-29 2010-12-29 ジェスチャー認識のための環境依存型ダイナミックレンジ制御

Country Status (5)

Country Link
US (2) US8766912B2 (ja)
JP (1) JP5777731B2 (ja)
KR (1) KR101430887B1 (ja)
CN (1) CN103154856B (ja)
WO (1) WO2012091704A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8532342B2 (en) * 2008-02-12 2013-09-10 Certusview Technologies, Llc Electronic manifest of underground facility locate marks
CN103154856B (zh) * 2010-12-29 2016-01-06 英派尔科技开发有限公司 针对手势识别的环境相关动态范围控制
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US8782716B2 (en) * 2011-07-29 2014-07-15 Google Inc. Systems and methods for rendering user interface objects in accordance with a variable scaling factor
US9024894B1 (en) * 2012-08-29 2015-05-05 Time Warner Cable Enterprises Llc Remote control including touch-sensing surface
US9288387B1 (en) * 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
US9159116B2 (en) * 2013-02-13 2015-10-13 Google Inc. Adaptive screen interfaces based on viewing distance
EP2969697B1 (en) * 2013-03-12 2018-06-13 Robert Bosch GmbH System and method for identifying handwriting gestures in an in-vehicle infromation system
US10249018B2 (en) * 2013-04-25 2019-04-02 Nvidia Corporation Graphics processor and method of scaling user interface elements for smaller displays
US9671868B2 (en) 2013-06-11 2017-06-06 Honeywell International Inc. System and method for volumetric computing
US9934611B2 (en) * 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
US9536106B2 (en) * 2013-10-08 2017-01-03 D.R. Systems, Inc. System and method for the display of restricted information on private displays
US9451434B2 (en) 2013-11-27 2016-09-20 At&T Intellectual Property I, L.P. Direct interaction between a user and a communication network
US20150201236A1 (en) * 2014-01-15 2015-07-16 Khalifa Al Remeithi Display Proximity Control Device
US9785243B2 (en) 2014-01-30 2017-10-10 Honeywell International Inc. System and method for providing an ergonomic three-dimensional, gesture based, multimodal interface for use in flight deck applications
US20160057816A1 (en) * 2014-08-25 2016-02-25 Nibu Alias Method and system of a smart-microwave oven
US10452195B2 (en) 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
US10757216B1 (en) 2015-02-20 2020-08-25 Amazon Technologies, Inc. Group profiles for group item recommendations
US11363460B1 (en) 2015-03-03 2022-06-14 Amazon Technologies, Inc. Device-based identification for automated user detection
CN105824401A (zh) * 2015-06-24 2016-08-03 维沃移动通信有限公司 一种移动终端的控制方法及其移动终端
US10353473B2 (en) 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
US10222979B2 (en) * 2015-12-04 2019-03-05 Datalogic Usa, Inc. Size adjustable soft activation trigger for touch displays on electronic device
US9805514B1 (en) * 2016-04-21 2017-10-31 Microsoft Technology Licensing, Llc Dynamic haptic retargeting
US11137884B2 (en) * 2016-06-14 2021-10-05 International Business Machines Corporation Modifying an appearance of a GUI to improve GUI usability
US10079002B2 (en) * 2016-06-29 2018-09-18 Microsoft Technology Licensing, Llc Modifying graphical elements based on environment
KR20180097031A (ko) * 2017-02-22 2018-08-30 이현민 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
CN112181129B (zh) * 2019-07-04 2024-04-16 阿里巴巴集团控股有限公司 一种设备控制方法、装置、设备和机器可读介质
CN112702281B (zh) * 2020-12-23 2023-08-01 深圳Tcl新技术有限公司 基于手势控制的带宽分配方法、装置、系统与存储介质
JP2022163813A (ja) * 2021-04-15 2022-10-27 キヤノン株式会社 装着型の情報端末、その制御方法及びプログラム
CN113342174A (zh) * 2021-07-06 2021-09-03 物芯智能科技有限公司 一种ar眼镜及vos操作系统
CN114115639A (zh) * 2021-11-26 2022-03-01 维沃移动通信有限公司 界面控制方法、装置、电子设备及存储介质
CN114385004A (zh) * 2021-12-15 2022-04-22 北京五八信息技术有限公司 基于增强现实的交互方法、装置、电子设备及可读介质
CN118332238A (zh) * 2024-04-17 2024-07-12 上海奥令科电子科技有限公司 一种可实现集成电路中多路并行fft计算的系统及方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
GB0204652D0 (en) * 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7577925B2 (en) 2005-04-08 2009-08-18 Microsoft Corporation Processing for distinguishing pen gestures and dynamic self-calibration of pen-based computing systems
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
JP4964729B2 (ja) 2007-10-01 2012-07-04 任天堂株式会社 画像処理プログラムおよび画像処理装置
US8539357B2 (en) * 2007-11-21 2013-09-17 Qualcomm Incorporated Media preferences
US8344998B2 (en) * 2008-02-01 2013-01-01 Wimm Labs, Inc. Gesture-based power management of a wearable portable electronic device with display
JP2009265709A (ja) 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
US10729973B2 (en) * 2008-06-30 2020-08-04 Microsoft Technology Licensing, Llc Dynamic selection of sensor sensitivity in a game input system
US8411963B2 (en) * 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
TW201009650A (en) 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
US8527908B2 (en) * 2008-09-26 2013-09-03 Apple Inc. Computer user interface system and methods
JP5260643B2 (ja) 2008-09-29 2013-08-14 パナソニック株式会社 ユーザインターフェース装置、ユーザインターフェース方法、及び記録媒体
JP2010127784A (ja) 2008-11-27 2010-06-10 Pioneer Electronic Corp 表示装置、表示方法、表示プログラムおよび記録媒体
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US20120017172A1 (en) * 2010-07-15 2012-01-19 Microsoft Corporation Display-agnostic user interface for mobile devices
US8640021B2 (en) * 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
CN103154856B (zh) * 2010-12-29 2016-01-06 英派尔科技开发有限公司 针对手势识别的环境相关动态范围控制

Also Published As

Publication number Publication date
US9851804B2 (en) 2017-12-26
US20140285458A1 (en) 2014-09-25
CN103154856B (zh) 2016-01-06
JP2014506361A (ja) 2014-03-13
CN103154856A (zh) 2013-06-12
WO2012091704A1 (en) 2012-07-05
US8766912B2 (en) 2014-07-01
KR101430887B1 (ko) 2014-08-18
KR20130042010A (ko) 2013-04-25
US20120280901A1 (en) 2012-11-08

Similar Documents

Publication Publication Date Title
JP5777731B2 (ja) ジェスチャー認識のための環境依存型ダイナミックレンジ制御
US10528359B2 (en) Application launching in a multi-display device
AU2018203008B2 (en) Foldable electronic apparatus and interfacing method thereof
US10082886B2 (en) Automatic configuration of an input device based on contextual usage
CN107533422B (zh) 服务器和服务器的控制群组行为的方法
US20130145308A1 (en) Information Processing Apparatus and Screen Selection Method
US11175823B2 (en) Method and apparatus for controlling terminal device using gesture control function, and non-transitory computer-readable storage medium
US10474324B2 (en) Uninterruptable overlay on a display
KR102325341B1 (ko) 영상 표시 장치 및 그 동작방법
JP2018514865A (ja) ウェアラブル装置、そのタッチスクリーン、そのタッチ操作方法、及びそのグラフィカルユーザインタフェース
US11243679B2 (en) Remote data input framework
AU2015314941A1 (en) Actionable item switcher view
CN104571814A (zh) 一种投影方法及电子设备
US11107345B1 (en) Automatically configuring a remote control for a device
KR20160096645A (ko) 컴퓨팅 디바이스에 대한 장치의 결합
KR20150115454A (ko) 서비스 화면을 표시하기 위한 전자 장치 및 방법
US20150253158A1 (en) Determination of a Charge Surface Position
KR20180056973A (ko) 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150707

R150 Certificate of patent or registration of utility model

Ref document number: 5777731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees