JP5833231B2 - デバイス相互作用を用いる空間情報の使用 - Google Patents

デバイス相互作用を用いる空間情報の使用 Download PDF

Info

Publication number
JP5833231B2
JP5833231B2 JP2014511406A JP2014511406A JP5833231B2 JP 5833231 B2 JP5833231 B2 JP 5833231B2 JP 2014511406 A JP2014511406 A JP 2014511406A JP 2014511406 A JP2014511406 A JP 2014511406A JP 5833231 B2 JP5833231 B2 JP 5833231B2
Authority
JP
Japan
Prior art keywords
user
relative position
information
range
computing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014511406A
Other languages
English (en)
Other versions
JP2014520310A (ja
Inventor
ホッジ、デニス
ハン、アレン・ミン—クァン
ハン、アレン・ミン―クァン
Original Assignee
アマゾン・テクノロジーズ、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アマゾン・テクノロジーズ、インコーポレイテッド filed Critical アマゾン・テクノロジーズ、インコーポレイテッド
Publication of JP2014520310A publication Critical patent/JP2014520310A/ja
Application granted granted Critical
Publication of JP5833231B2 publication Critical patent/JP5833231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/16Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring distance of clearance between spaced objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00Measuring angles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Description

人々は、以前にも増して種々の異なる仕事について電子デバイスに依存している。故に、ユーザがこれらの仕事を実行するためにデバイスと相互作用し得るますます多くの手法がある。いくつかの場合において、電子デバイスは、デバイスのユーザに対応するオーディオまたはビデオ情報を記録し得、例えば画像認識または音声解析などの過程を実行し得る。これらの場合の多くにおいて、デバイスは、デバイスの周りの大きな領域または範囲に対応する情報を取り込み、解析しなければならないことになる。デバイスが、この領域の一部のみからの情報に関心がある場合、デバイスは、全領域にわたって情報を取り込むおよび/または解析するかなりのリソースを浪費し得る。余分なリソース使用は、バッテリを不必要に消耗し得、および/またはデバイスの機能性を遅くさせ得るので、そのような浪費は、バッテリ電力で動作する携帯デバイスについて特に問題となり得る。
以下、本開示に従う種々の実施態様を、図面を参照して説明する。
種々の実施形態に従って、電子デバイスが、デバイスの周りの方向の大きな範囲にわたり情報を取り込むことが可能な環境を例示する図である。 種々の実施形態に従って、電子デバイスが、デバイスに既知の空間情報を用いて方向のより小さい範囲にわたり情報を取り込むことが可能な環境を例示する図である。 種々の実施形態に従って、デバイスの1つまたは複数の態様を調整するために使用され得る電子デバイスの動きの例を例示する図である。 種々の実施形態に従って、デバイスの1つまたは複数の態様を調整するために使用され得る電子デバイスの動きの例を例示する図である。 種々の実施形態に従って、デバイスの1つまたは複数の態様を調整するために使用され得る電子デバイスの動きの例を例示する図である。 種々の実施形態に従って利用され得る角度範囲例を例示する図である。 種々の実施形態に従って利用され得る角度範囲例を例示する図である。 種々の実施形態に従って利用され得る角度範囲例を例示する図である。 種々の実施形態に従って利用され得る角度範囲例を例示する図である。 種々の実施形態に従って利用され得る角度範囲例を例示する図である。 種々の実施形態に従って、使用され得るオーディオおよびビデオ情報を取り込むように操作可能な要素を含むコンピューティングデバイス例の正面図と背面図を例示する図である。 図5に例示されるものなどのコンピューティングデバイスの構成要素例を例示する図である。 種々の実施形態に従って、使用され得る空間情報を用いて電子デバイスの機能的な態様を調整するための過程例を例示する図である。 種々の実施形態に従って、使用され得る空間情報を用いて電子デバイスの機能的な態様を調整するための過程例を例示する図である。 種々の実施形態を実現することができる環境を例示する図である。
本発明の種々の実施形態に係るシステムおよび方法は、電子環境の中での機能を提供するための従来の手法で体験する上記のおよび他の欠点の1つまたは複数を克服し得る。特に、デバイスは、ユーザ、人、または関心の他の物体の相対位置を追跡することにより、種々の状況において取り込まれおよび/または処理されなければならない情報の量を減らし得る。相対位置に基づいてユーザへの最初の方向を決定することにより、例えば、デバイスは、関心の範囲を角度の範囲またはその最初の方向の周りの他の領域もしくは範囲に限定し得る。最初の方向および関心の範囲は、ユーザおよび/またはデバイスの動きに応答して更新され得る。取り込まれるおよび/または処理される情報の量を減らす能力は、必要とされたリソースの量、ならびにそのような仕事に必要とされた電力量を削減し得る。更に、関心の範囲に焦点を当てる能力は、余剰なまたは関連のないデータを拒否することに役立ち得、例えば、そのことは、正確さを更に増し得、および/または誤判定あるいは他の意図しない結果の可能性を更に減らし得る。
一実施形態では、1つまたは複数の画像取り込み要素は、例えば少なくとも1人のユーザまたは少なくとも1つの関心の他の物体の位置を突き止めることなどのために、360°スキャンを行い得、あるいは画像情報を実質的にデバイスの周りの全方向において取り込み得る。ユーザが一旦位置を突き止められると、デバイスは、ユーザの相対位置を追跡するために、より小さい範囲の角度を利用することができる。例えば、サンプルレートなどの態様次第で、デバイスは、ただ一つの画像取り込み要素だけを要求し得る際には、例えば45°などの範囲にわたって画像情報を取り込み得、または、例えば完全に取り込まれた情報のうち45°など、大きな領域の一部を解析し得る。類似の手法は、オーディオまたは生体情報を取り込むために、例えば、更には、オーディオまたは画像などの情報を投影するためにも、使用され得る。
いくつかの実施形態では、デバイスは、最新の動き情報(例えば、位置または方向の変化)をバッファに記憶し得る。適切な時間に、例えば動きの終了後に、バッファ内の情報は、解析され得、既知の経路または動きの種類と比較され得る。より小さい角度範囲が、動きの後のユーザの位置を突き止めるために使用され得るように、その経路は、ユーザの推定相対位置を決定するために使用され得る。更に、経路の種類が、一致(マッチング)過程から決定される場合、デバイスは、例えば、ユーザがデバイスをポケットから取り出し、そのデバイスを水平表面上に置くときに、タッチ入力および画面表示を起動させることなどの、ある機能を起動させまたは実行し得る。
種々の他の応用、過程、および用途は、種々の実施形態に関して下で提示される。
図1は、2人102、104が電子デバイス106の近くに位置する状況例100を例示する。デバイス106は、それらの人たちの1人以上に対して多くの機能のいずれか、例えば、その人たちのうちの1人が話す時にオーディオを記録すること、現在話している人のビデオ情報を取り込むこと、またはデバイスに対するその人たちのうちの少なくとも1人についての位置追跡を実行することなどを実行し得る。デバイスが、特定のユーザ、例えばこの例における人102などの相対位置を追跡しようとする場合において、デバイスは、デバイスの周りの角度の範囲110にわたり画像情報を取り込むために、少なくとも1つのカメラ108または他のそのような撮像要素を利用し得る。この例では、デバイスは、デバイスの周りの360°の全範囲にわたり情報を取り込む。デバイスは、広角または魚眼レンズを備えた単一のカメラ、単一の回転可能なカメラ要素、複数カメラなどを利用し得る。画像情報が全角度範囲にわたり一旦取り込まれると、画像情報は、取り込まれた画像情報上で顔認識を実行することなどにより、ユーザ102を認識しようとするために解析される。当技術分野で周知のように、大きな画像を用いて顔認識を実行することは、デバイス上のリソースを拘束し得、デバイスの性能を低下させ得、およびバッテリを大きく消耗させ得る、非常にプロセッサ集約的なものである可能性がある。
図2は、ユーザ202の相対位置を追跡するために必要とされた処理量を減らすために、電子デバイス206がデバイスに既知の情報、またはデバイスにより決定された情報を利用し得る状況例200を例示する。この例では、デバイスは、デバイスが近時の期間、例えば数秒にわたり、著しく動かされていないことを決定するために、1つまたは複数の方向、位置、および/または動き決定要素を利用し得る。デバイス206はまた、ユーザ202の位置の推定範囲を決定するために、ユーザ202の最後に知られた相対位置も利用し得る。例えば、デバイスは、視聴可能範囲内に位置する人々202および204ならびに任意の他の物体の中で、ユーザ202が、デバイス206に対する特定の相対方向に位置することを決定するために、上記で図1について記述したように少なくとも1つの撮像要素208を用いて最初の360°スキャンを行っていてもよい。デバイスが動かされていない場合、および、デバイスが、例えば1秒または2秒毎に少なくとも1回などの十分に高い頻度で、ユーザの位置を追跡する場合には、ユーザは、前もって決定された位置のすぐ近くにいる可能性がある。
デバイスは、ほとんどの場合においてユーザがデバイスに対してとても速く動くだけである可能性があることを想定するので、デバイスは、ユーザ202の推定相対位置に基づいて画像取り込みおよび/または処理を調整することにより、必要な処理の量を減らし得る。例えば、ユーザが同じ位置にいるか前の位置決定から著しく動かされていない場合、ユーザは、デバイスの視点から最後の位置の所与の範囲内にまだいる可能性がある。従って、デバイスは、検出が必要とされる可能性がある角度範囲を減らし得る。この例では、角度範囲210は、実質的に、360°、例えば90°または120°などより少ない。デバイスは動かされていないので、ユーザは、前の位置のこの範囲(例えば、+/−60°)内のどこかにいる可能性があり、デバイスは、その範囲にわたる取り込みおよび/または処理に焦点を当てることができる。
その範囲はその量によって減らされ得、その量は多数の理由のいずれかのために、実施形態と状況との間で変化し得る。この例では、ユーザ202の検出された顔は、画像情報の角度範囲の約5%を占め得る。いくつかの実施形態では、デバイスは、デバイスの取り込みレートを考慮して、+/−15°の範囲が十分であり得るように、ユーザは、検出される角度幅を3回まで動かし得ることを、決定し得る。他の実施形態では、固定範囲、例えば+/−25°などが使用されてもよい。本明細書の他の箇所に記述されるように取り込みレートが変動する実施形態では、それに応じて、角度範囲は調整することができる。
いくつかの実施形態では、取り込みレートおよび/または範囲は、ユーザの検出された動きに基づいて変動し得る。例えば、ユーザが少なくとも最後の10秒間動いていない場合、取り込み頻度が減らされ得および/または角度取り込み範囲が減らされ得るように、ユーザが現在の取り込みと次の取り込みとの間で動く可能性は低いことが想定されてもよい。ユーザが頻繁に動いている場合、取り込み頻度および/または角度範囲は、ユーザが追跡過程において見失われそうにないことになる可能性を上げるために、増加され得る。取り込み頻度を変えることに加えてあるいは代えて、取り込み頻度は、同じままであってもよいが、取り込まれた情報が解析される頻度は、それらのまたは他のそのような要因に基づいて変化し得ることを理解されたい。
いくつかの実施形態では、デバイスは、例えば+/−15°など、実際的な小さい範囲から始めることになる。ユーザの位置が正確に決定され得ない場合、デバイスは、ユーザの位置が決定され得るまで、範囲を例えば+/−25°、+/−50°などまで徐々に増やすことができる。少なくともいくつかの実施形態では、ユーザの位置が少なくとも一時的に見失われる場合、デバイスは、ユーザの位置が決定されるまで別の全範囲スキャンを試み得、次いで、(デバイスに対する)ユーザの相対位置が、相対的に不変であるまでか、取り込みまたは解析の間に角度範囲を超えて少なくとも変化しないまで、徐々に角度範囲を減らし得る。種々の他の情報および/または手法も同様に、種々の実施形態の範囲内で使用され得る。
ユーザまたは物体の動きに基づいてデバイスに対するユーザまたは他の物体の推定相対位置または方向を追跡することや予測することに加えて、デバイスはまた、デバイス自体の動きに少なくとも一部基づいて推定位置または方向を予測することもできる。例えば、図3(a)に例示される状況300を考える。この例では、ユーザ302は、最初に彼のポケット内に電子デバイス304を有している。デバイスは、ある期間にわたる方向などの情報、ならびに光センサまたは他のそのような要素によって決定され得るような非常にわずかな光を伴う場所にあることに基づいて、そのデバイスがポケットなどの位置にあることを決定することができ得る。ユーザ302が、デバイスを視聴することを望む場合、または別様に、容易に利用可能なデバイスを有する場合、ユーザは、デバイスをユーザのポケット内のそのデバイスの位置304(a)から取り出し、デバイスを例えばユーザの前のテーブル306上などの位置304(b)まで動かし得る。デバイスは、デバイスがポケットからテーブルまで移動した経路308を決定するために、加速度計および/またはジャイロスコープなどの1つ以上の要素を使用し得る。経路に基づいて、デバイスは、ユーザがデバイスをポケットから取り出し、デバイスを表面上に置いた可能性があることを決定するために、その経路をライブラリまたは経路のような挙動の他のグループと比較することができ得る。そのようなマッチング過程を持たないでも、デバイスは、デバイスがテーブル上に置かれているときに(移動の経路に基づいて)ユーザがデバイスに対してどこにいるかを決定する可能性があり得る。例えば、経路が図面の平面内にある場合、ユーザは、おそらく、図面の平面内の経路の終了の方向にいる。別の手法では、デバイスは、そのデバイスの動きの経路を決定し得、ユーザは経路が始まる地点にまたはその地点の近くにいる可能性があることを決定し得る。
経路が開始した位置304(a)と経路が終了した位置304(b)とを知ることにより、デバイスは、ユーザが現在の位置304(b)に対して位置304(a)の一般的な方向にいる可能性があることを決定し得る。状況次第で、デバイスはまた、位置304(a)に対する推定方向310を決定し得、デバイスに対するユーザの推定相対方向をより正確に決定することができ得る。例えば、デバイスは、ユーザのポケット内において多数の異なる方向のうちのいずれかにあり得、移動の経路などに基づいて推定方向を決定することが必要であり得る。デバイスがユーザ302についての情報を監視しているか提供している図2に関して記載されたものなどの状況では、例えば、デバイスは、位置304(a)の方向の周りの角度範囲312から始め得る。
いくつかの場合において、ユーザの相対方向はより明確であり得る。例えば、図3(b)の状況320において、ユーザがデバイスを電話として用いている間に、ユーザ302はユーザの耳の近くの位置304(a)にデバイスを保持している。スピーカーおよびマイクロホンの位置、ならびに光センサまたは他のそのような要素の状態に基づいて、デバイスは、ユーザがデバイスに向かって話している間に、ユーザの相対方向324を決定し得る。ユーザがデバイスを位置304(b)のテーブル306上に置くと、デバイスは、ユーザ302の推定方向を決定するために、移動した経路322についての方向情報および知識を利用し得、ユーザの現在の位置を含む可能性がある角度の最初の範囲326を利用し得る。
いくつかの場合において、デバイスの動きはより単純であり得る。例えば、図3(c)の状況340では、デバイスは、最初に第1の位置304(a)に、および、決定された方向344におけるユーザ302に対する方向にある。ユーザは、ユーザがデバイス上の表示などをより良く見え得るように、デバイスを経路に沿って第2の位置304(b)に滑らせ回転し得る。(方向ならびに位置の変化を含む)動きの最初の方向344および経路342を知ることにより、第2の位置304(b)におけるデバイスは、ユーザの推定方向を決定し得、方向の周りの角度の適切な範囲346を利用し得る。
いくつかの実施形態では、デバイスは、位置情報を継続的に追跡し更新し得、位置の変化についての情報を記憶し得る。いくつかの実施形態では、これらの動きは、即時に決定され解析され得る。他の実施形態では、電子デバイスは、近時の期間、例えば最後の10秒間に、位置および/または方向を記憶するバッファあるいは他のそのようなキャッシュまたはキューを含んでもよい。デバイスが位置または方向の変化に関する情報から利益を得ることができるモードもしくは状態にある場合、デバイスは、バッファから情報を引き出し得、その期間にわたる変化を解析し得る。10秒のバッファは、デバイスがユーザの推定方向を決定できるように、図3(a)〜図3(c)のそれぞれにおける経路を決定するのに十分であり得る。デバイスがユーザへの方向を前もって知っていない場合でさえも、経路情報、例えば上記で例示されたものなどは、ユーザ(または他の物体など)に対して必要とされた処理量を減らすことができるように、推定方向を決定するために使用され得る。
しかしながら、上記のように、追跡されるユーザまたは物体への予測された方向は正確ではないことがある。例えば、図4(a)では、電子デバイス404は、動きの経路に基づいて、ユーザが実際には異なる方向412にいるのに対して、ユーザが決定された方向414にいる可能性があることを判断する。このことは、例えば、ユーザが、ユーザが身につけている衣服のポケットの代わりに椅子に掛かっているジャケットから電話を取り出すときに、起こり得る。例示のように、デバイスは、ユーザの位置を突き止めようとするために、決定された方向414の周りの第1の角度範囲406を利用し得る。ユーザが位置していない場合、デバイスは決定された方向414について第2の、より広い角度範囲408を試みる。その範囲は異なる長さのものであるように見えるが、これは単に図面における異なる範囲を明確に示すためのものであることと、主な違いは角度の広がりの範囲にあることとを理解されたい。ユーザ402が第2の角度範囲内に十分に位置していない場合、デバイスは、この例ではユーザを含むことになる、第3の、更により広い角度範囲410まで動かし得る。実際の方向412が一旦決定されると、実際の方向に基づく新しい角度範囲が利用され得る。デバイスは、いくつかの実施形態ではフルスキャンが行われるまで、あるいは全角度範囲が取り込まれおよび/または解析されるまで、その範囲を広げ続け得る。
上記のように、デバイスは、決定された範囲にわたり画像情報を取り込むために、いくつかの実施形態ではその決定された範囲にわたりスキャンし得る。他の実施形態では、デバイスは、大きな範囲にわたり情報を取り込んでもよいが、より小さな決定された範囲にわたる情報だけを解析し得る。しかしながら、デバイスが複数の取り込み要素を有する場合では、デバイスは、代わりに、決定された方向における情報を取り込むために1つまたは複数の要素を選択的に起動し得る。例えば、図4(b)の状況450を考える。この例では、デバイスは、デバイス454の隅部上に(例えば、オーディオおよび/またはビデオ用の)4つの取り込み要素458、460、462、464を有する。ユーザ452への方向456が一旦決定されると、デバイスは、起動させる1つまたは複数の取り込み要素を決定するために、ユーザに対する相対方向の周りの範囲をデバイスの現在の方向と比較し得る。例えば、図4(b)では、1つの取り込み要素464は、有効角度視野462が、ユーザへの方向の予測された範囲を含み得るように、ユーザ452の方へ向く方向を指し示している。取り込み要素464の視野が十分ではない場合、デバイスは、ユーザについての使用可能な情報を取り込む可能性が増えるように情報も取り込むために、少なくとも1つの他の取り込み要素(例えば、要素462)を選択してもよい。いくつかの実施形態では、種々の取り込み要素からの画像または音は、認識を向上させるために組み合わされ得る。ユーザが位置していない場合、起動される取り込み要素の数は、デバイス上の取り込み要素の最大限の数まで増やすことができる。追跡されるか、または別様に、位置を突き止められるユーザまたは他の物体の決定された方向に基づいて1つまたは複数の要素を選択的に起動することにより、デバイスは、より少数の現在活動中の要素を有することに少なくとも一部基づいてリソースを大切に使うことができる。
いくつかの実施形態では、角度範囲は、デバイスの周りの領域の少なくとも一部について重複カバレッジがあるように、方向付けられ得る。例えば、図4(c)〜図4(e)は、コンピューティングデバイス482が、図4(c)の上面図に見られるように部分的に重複する視野または角度範囲484、486、488、490を有する4つの取り込み要素492(または投影要素)を利用する状況480を例示する。この例では、各取り込み要素は、視野が、垂直面から例えば60°などの適切な角度で、デバイスに斜めに角度が付けられるように、方向付けられる。図4(d)に見られ得るように、デバイス482の左上上のカメラはデバイスの右下の方への視野490を有し、また、図4(e)に見られ得るように、デバイス482の右下上のカメラはデバイスの左上の方への視野484を有する。デバイスに斜めに方向付けられた(この例では)4つのカメラのそれぞれを有することにより、図4(c)に例示されるように、カバレッジの実質的に半球形領域にわたる相当量の重複が取得され得る。しかしながら、異なる方向付けを伴う異なる数の要素も同様に、種々の実施形態の範囲内に使用され得ることを理解されたい。
また、上記のように、デバイスの機能性はまた、決定された経路または方向の変化に基づいて変えることもでき、その変化は、少なくともいくつかの状況では、デバイスの状態の変化を表わし得る。例えば、デバイスは、経路に基づいて、デバイスがポケットから取り出され、テーブル上に置かれた可能性があることを決定し得る。少なくともいくつかの実施形態では、このことは、デバイスに多数の異なる機能、例えば、デバイスの環境についての情報を取り込み始めること、表示要素上に情報を表示すること、スピーカー音量を調整することなど、のいずれかを起動させまたは調整させ得る。いくつかの実施形態では、デバイス上の表示要素は、視野角の決定された範囲だけにわたり視聴可能であり、動的プライバシー画面として機能するように構成されてもよい。デバイスが、動きの間および/または後のユーザの相対位置を決定することができる場合、ユーザおよび/またはデバイスが、動き得、または互いに対する方向を変更し得るにもかかわらず、デバイスは、視野角が、ユーザの方へ主として向けられるように調整されることを確実にし得る。
一例では、ポケットから取り出され、ユーザの視界内に置かれたデバイスは、例えば来たるミーティングについての時間または情報などの情報をユーザに表示するように構成されてもよい。デバイスはまた、ユーザによって容易に読まれ得る手法、例えばユーザの相対方向に基づいて回転されるか傾けられるなどの手法で、その情報を表示するために、ユーザの位置を突き止めようとしてもよい。そのような機能を提供するための手法は、2010年12月28日に出願され、「Low Distraction Interfaces」と題された同時係属中の米国特許出願第12/980,150号に見つけられ得、これによりその特許出願は、本明細書において参照によって組み込まれる。いくつかの実施形態では、デバイスは、画像認識または眼球検出を用いることなどによって、ユーザが電話を一見しているときを決定しようとするためにユーザの位置を監視し得る。そのような決定手順は、非常にプロセッサ集約的であり得、また、携帯デバイスについてかなりの量の電力を利用し得るので、解析される必要がある情報の領域および/または量を更に限定することが望ましいことがある。従って、過程、例えば、デバイスがユーザの推定方向を決定し得、処理の範囲を限定し得る本明細書の他の箇所に記述したものなどは、そのような状況に利益をもたらし得る。
また、複数の人々または物体の相対方向はデバイスによって同時に追跡され得ることも理解されたい。例えば、デバイスは、デバイスが近くで現在話している人々のオーディオおよび/またはビデオを取り込むためのものであるモードにあり得る。デバイスは、近くの人々の位置を突き止めるために最初の360°スキャンを行い得、それらの人々のそれぞれに対する相対方向を決定し得る。いくつかの実施形態では、デバイスは、画像および/またはオーディオ取り込みが許可されたユーザに対してのみ実行されるように、許可されたユーザを認識しようとするためにそれぞれの人について画像認識を実行し得る。それぞれの人の相対方向が一旦決定されると、適切な取り込み範囲は、本明細書の他の箇所に記述した手法を用いて、それらの人々のそれぞれについて決定され得る。ユーザおよび/またはデバイスが動いていない場合、適切な追跡頻度が決定され得、例えば、その場合、各ユーザに対する相対方向が決定され、例えばおよそ10秒毎に更新される。人々のうちの1人が動く場合、角度範囲はその人について増加し得る一方で、動いていない人についての範囲は不変のままであってもよい。種々の他の手法も同様に、種々の実施形態の範囲内で使用され得る。
いくつかの実施形態では、他の行動が、ユーザの推定方向を決定しようとするために使用され得る。例えば、ユーザがデバイスに情報を入力している場合、例えばパスワードを入力している場合または電話番号をダイヤル呼び出ししている場合、デバイスは、ユーザがキーの方向、表示、または他のそのような要素に基づいてその情報を普通に入力する方向に少なくとも一部基づいて、ユーザの推定相対位置を決定することができる。
少なくともいくつかの実施形態では、方向決定は、デバイスが相対的に静止しているとき、例えばポケットから取り出された後テーブル上に置かれているときまたは充電器に差し込まれているときなどに、実行される。他の実施形態では、位置情報のバッファは、動きの間に解析され得、動きの種類を決定し、それに従って機能性を起動させようとし得る。例えば、ユーザは、ポケットからデバイスを取り出し得、デバイスが静止していることを必要としないであろうゲームをするためにそのデバイスをユーザの手の中に把持し得る。例えば、タッチ機能がユーザのポケット内にあるときに無効にされた場合、デバイスがまだポケット内にある間のユーザの動きの結果としての動きとは対照的に、デバイスがポケットから取り出された可能性があることを判断することは、その機能を起動させ得る。
いくつかの実施形態では、処理の種類はまた、多数の要因のいずれかに基づいて変化し得る。例えば、デバイスは、許可されたユーザの位置を突き止めようとする際に顔認識を実行してもよい。許可されたユーザが一旦位置を突き止められると、デバイスは、そのユーザを追跡するためにより小さい範囲を利用してもよく、ユーザが追跡されたままである限り顔認識を実行しなくてもよい。例えば、デバイスは、ユーザの顔または特徴の位置を突き止めるために、プロセッサ集約的ではないアルゴリズムを使用してもよいが、その人の相対位置がデバイスに知られたままである限り、デバイスは、顔認識を実行しなくてもよいし、あるいは、定期的に、またはユーザおよび/またはデバイスの実質的な動きを調べるだけでもよい。
いくつかの実施形態では、デバイスは、デバイスの動きに対して一致し得る経路か動作のパターンまたはライブラリを記憶し得るか、あるいはそのパターンまたはライブラリにアクセスでき得る。少なくともいくつかの実施形態では、デバイスはまた、経時的に動作を学習し得る。例えば、ライブラリは、ポケットからデバイスを取り出すユーザについてデフォルトの経路を含んでもよい。1人のユーザが常に前部ポケット内にデバイスをしまう場合、1人のユーザがいつも背部ポケット内にデバイスをしまう場合、および別のユーザがしばしばリュックサック内にデバイスをしまう場合、各デバイスは、これらの態様を監視することができ、既存経路を修正し得るか、またはどのようにそのデバイスがそれぞれのユーザにより実際に使用されるかに対応する新しい経路を生成し得る。経路ライブラリ内に一致する経路が無い場合、デバイスは、経路および/または行動を推定しようとするために、動作の前および/または後に、動作および使用を監視することができ、ライブラリに追加される新しい経路を生成することができる。いくつかの実施形態では、デバイスは、デバイスがどのように使用されるかを監視し得、ある行動を特定の動作と関連付け得る一方で、他の実施形態では、ユーザは、所与の動作についてのある行動の入力または選択のオプションを有し得る。従って、デバイスは、特定の経路または挙動を効率的に学習し得、いくつかの実施形態では、特定のユーザの特定の動作を反映するために経路をカスタマイズし得る。このことは、例えば、異なるユーザは、電話をそのユーザの耳まで位置させること、デバイスをリュックサックから取り出すことなどのために、異なる動作を使用することになるので、有用であり得る。
更に、ユーザは、デバイスが1つの相対方向にあるときに動くことが多い場合、およびデバイスが別の相対方向にあるときに静止していることが多い場合、デバイスは、デフォルトの角度範囲および/または位置決定の頻度などの態様を調整することができる。例えば、デバイスは、所与の方向または状況について毎秒30の代わりにおよそ毎秒1/4のサンプリングレートを利用してもよい。サンプリングレートはまた、他の要因、例えばデバイスに対する現在の行動またはイベントなどにも依存し得る。例えば、デバイスがユーザに表示される新しいメッセージを受信する場合、ユーザはメッセージを読むためにデバイスの方へ動く可能性があるので、サンプリングレートは増えてもよい。同様に、ユーザが電子書籍を読んでおり、長期間にわたり動かないことになる可能性がある場合には、それ故に、サンプリングレートは減り得る。
上記のように、種々の実施形態の利点は、オーディオおよび/またはビデオ情報を取り込むために、ならびに/あるいはより小さい範囲または領域にわたりその情報を解析するために、使用され得る。類似の手法は、デバイスから投影する時、例えば、プレゼンテーションの一部としてオーディオおよび/またはビデオ情報を投影する時、あるいは、デバイス近くの物体または範囲を照らすために光または赤外線(IR)放射を投影する時など、に使用され得る。例えば、デバイスは、より低い音量を潜在的に利用可能にするためにユーザに最も近いデバイスの一側部上のスピーカーを起動してもよいし、活動中のスピーカーの数を減らしてもよく、それぞれ潜在的に省電力を結果としてもたらす。いくつかの実施形態では、多数の投影器を備えるデバイスは、情報(または別様に、画像)をユーザに向く方向に、またはいくつかの場合では、ユーザの方向に基づいてユーザとは反対側の方向に投影することができる。十分な画像取り込み、例えば、周辺光顔認識またはIRに基づく注視あるいはジェスチャー追跡に備えるためにユーザが照らされることを必要とする場合、照明および/または照明に使用される要素の方向は、ユーザの決定された位置に基づいて選択され得る。他の過程、例えば熱検出、3次元画像生成なども同様に、本明細書に記述した過程の利点を生かし得る。
図5は、種々の実施形態に従って使用され得るコンピューティングデバイス例500の正面図および背面図を例示する。携帯型コンピューティングデバイス(例えば、スマートフォン、電子ブックリーダー、またはタブレットコンピュータ)が示されているが、本明細書に記述される種々の実施形態に従って、入力を決定し、処理することが可能な任意のデバイスが使用され得ることを理解されたい。デバイスとしては、例えば、数ある中でも、デスクトップコンピュータ、ノートブックコンピュータ、電子ブックリーダー、携帯情報端末、携帯電話、ビデオゲーミングコンソールもしくはコントローラ、テレビ用セットトップボックス、および携帯型メディアプレーヤーが挙げられる。
この実施例において、コンピューティングデバイス500は、表示画面502を有し、該表示画面は、通常の操作下で、表示画面に対面するユーザに(例えば、表示画面の側と同じコンピューティングデバイスの側に)情報を表示する。本明細書の他の箇所に記述したように、コンピューティングデバイスは1つの画像取り込み要素を含み得る(または1つも画像取り込み要素を含み得ない)が、コンピューティングデバイスは、この例では、デバイスの正面上に2つの画像取り込み要素504と、デバイスの背面上に少なくとも1つの画像取り込み要素510とを含む。しかしながら、画像取り込み要素はまた、あるいはその代わりに、デバイスの側部または隅部上に配置され得ることと、類似または異なる種類の任意の適切な数の取り込み要素があり得ることとを理解されたい。各画像取り込み要素504は、例えば、カメラ、電荷結合デバイス(CCD)、動作検出センサまたは赤外線センサ、あるいは他の画像取り込み技術装置であり得る。コンピューティングデバイスはまた、オーディオデータ、例えば、デバイスのユーザにより話された言葉、デバイス近くの人によりハミングされた音楽、または近くのスピーカーか他のそのような構成要素により生成されたオーディオなどを取り込むことが可能な、少なくとも1つのマイクロホンまたは他のオーディオ取り込み要素を含み得るとはいえ、オーディオ要素は少なくともいくつかのデバイスにおいて必要とされない。この例では、3つのマイクロホン、すなわち、正面側上の1つのマイクロホン508、背面上の1つのマイクロホン512、およびデバイスの頂部か側部上または近くに1つのマイクロホン506がある。いくつかのデバイスでは、1つのマイクロホンだけがあってもよく、一方で、他のデバイスでは、デバイスの各側部および/または隅部上に、あるいは他の適切な位置に、少なくとも1つのマイクロホンがあってもよい。上記のように、デバイスは、ユーザもしくは他の近くの人または関心の物体のおよその方向、距離、および/または相対位置の決定を支援するために、画像取り込み要素504および510の少なくとも1つからの出力を利用し得る。例えば、ユーザがデバイスをテーブル上に置き、ユーザがデバイスの右に立っている場合、取り込まれた画像情報は、ユーザのおよその方向および/または位置を決定するために解析され得、デバイスに主としてその相対位置から画像情報を取り込ませ得る。
図6は、例えば図5に関して記載されたデバイス500などの、コンピューティングデバイス600の1組の基本的な構成要素例を例示する。この実施例において、デバイスは、メモリデバイスまたは要素604に記憶することができる命令を実行するための、少なくとも1つのプロセッサ602を含む。当業者には明らかなように、デバイスは、プロセッサ602によって実行するためのプログラム命令のための第1のデータ記憶装置等の、数多くのタイプのメモリ、データ記憶装置、またはコンピュータが読み出し可能な媒体を含むことができ、同じまたは別個の記憶装置を画像またはデータに使用することができ、他のデバイスと情報を共有するためにリムーバブルメモリを利用することができ、また、他のデバイスと共有するために任意の数の通信手法を利用することができる。デバイスは、一般的に、タッチ画面、電子インク(eインク)、有機発光ダイオード(OLED)、または液晶ディスプレイ(LCD)等の、いくつかのタイプの表示要素606を含むが、携帯型メディアプレーヤー等のデバイスは、音声スピーカーを通す等の、他の手段を介して情報を伝達し得る。上記のように、数多くの実施形態におけるデバイスは、少なくとも1つの画像取り込み要素608、例えばデバイスの近くのユーザ、人々、または物体を撮像することができる2つのカメラなどを含むことになる。画像取り込み要素は、ユーザがデバイスを操作しているときにユーザの画像を取り込むために、十分な解像度と、焦点範囲と、可視領域とを有するCCD画像取り込み要素等の、任意の適切な技術を含むことができる。コンピューティングデバイスを伴う画像取り込み要素を使用して画像またはビデオを取り込むための方法は、当技術分野でよく知られており、本明細書では詳細に論じない。画像取り込みは、単一の画像、多数の画像、定期的な撮像、連続画像取り込み、画像ストリーミング等を使用して行うことができることを理解されたい。
更に、デバイスは、ユーザまたはアプリケーションからコマンドを受け取る、または音声入力デバイスもしくは他のデバイスを再度決定しようとする等のときに、画像取り込みを開始および/または停止する能力を含むことができる。いくつかの実施形態において、デバイスは、例えば撮像要素、画像解析等を起動させるために使用することができる、赤外線検出器または行動センサを含むことができる。例えば、デバイスは、ユーザが部屋にいないときには、画像情報を取り込み得ず、また、解析し得ない。赤外線検出器(すなわち、状態の変化を検出する1画素の解像度を有する検出器)が部屋に進入するユーザを検出する場合、例えば、デバイスは、ユーザの場所を特定しようとする、画像解析を行おうとする等のために、カメラを作動させることができる。
デバイスは、ユーザから従来の入力を受け取ることができる、少なくとも1つのさらなる入力デバイス612を含むことができる。この従来の入力としては、例えば、押しボタン、タッチパッド、タッチ画面、ホイール、ジョイスティック、キーボード、マウス、トラックボール、キーパッド、またはそれによってユーザがコマンドをデバイスに入力することができる任意の他の当該デバイスまたは要素が挙げられる。いくつかの実施形態において、これらのI/Oデバイスは、無線赤外線もしくはBluetooth(登録商標)、または他のリンクによっても接続することができる。しかしながら、いくつかの実施形態において、そのようなデバイスは、いかなるボタンも含み得ず、また、ユーザがデバイスと接触することを必要とすることなくデバイスを制御することができるように、視覚コマンドおよび音声コマンドの組み合わせだけを通して制御され得る。
図7(a)は、種々の実施形態に従って使用され得る電子デバイスのユーザについての情報を取り込むための過程例700を例示する。別途指示がない限り、本明細書で論じられる任意の過程について、種々の実施形態の範囲内で、類似もしくは代替の順序で、または並列に行われる、さらなる、より少ない、または代替のステップがあり得ることを理解されたい。この例では、位置決定モードは電子デバイス上で起動される702。そのモードは、行動またはイベントに応答して自動的に起動されてもよいし、ある時間または場所の間に常に活動中であってもよいし、あるいはユーザによって手動で起動されてもよい。デバイスは、そのデバイスの現在の位置および/または方向を決定し得るし、経時的に位置および/または方向を監視し得る704。上記のように、これは、後の解析のために位置および/または方向情報をデバイス上のバッファに(またはリモートで)記憶することを含み得る。ある時点で、ある基準を満たす位置、方向、および/または位置の変化が、決定され得る706。例えば、デバイスが、行動をトリガするためにある期間にわたってより大きな量によって動かなければならないであろうように、ある量の動きは、デバイスを保持しているユーザかそのデバイスをポケット内に有しているユーザに基づいて、想定され得る。
動きがそのような基準を満たすか超える場合、デバイスは、動きが動きの既知のパターンに一致するかどうかを判断しようとし得る708。上記のように、いくつかの実施形態では、動きは、デバイスが実質的に一旦静止すると解析されるだけであり、および/または、動きは、動きの量が上記基準を下回るときなどに完了する可能性があることを決定される。一致が見つけられない場合、デバイスは、例えば動きの終了において360°のフルスキャンを行うことなどの、通常の取り込み手順を実行し得る710。パターン一致が見つけられた場合、デバイスは、パターンおよび検出された動きに少なくとも一部基づいてユーザの推定方向を決定しようとし得る712。上記のように、このことは、例えば、人の位置を突き止めるための画像認識アルゴリズムおよび/またはユーザを識別するか認証するためのユーザ顔認識を用いて画像情報を解析することを含み得る。そのような人(または関心の物体)が一旦位置を突き止められると、その人への方向が取り込みの範囲を設定するために使用され得、情報(例えば、オーディオおよび/またはビデオ)は、その選択された範囲にわたって取り込まれおよび/または解析され得る714。このことは、例えば、所与の方向を指し示す1つまたは複数の取り込み要素を起動すること、またはその範囲に対応する取り込まれた情報の選択された部分を処理することを含み得る。
図7(b)は、種々の実施形態に従って使用され得るユーザ(または他の関心の物体)への決定された方向を更新するための過程例750を例示する。この例では、例えば、図7(a)に関して、上記のように指定した範囲を用いて、ユーザの相対方向は決定され752、また、取り込みおよび/または処理は、決定された相対方向の方へ向けられる754。デバイスは、デバイスの動きと監視されたユーザの動きとの両方を含み得る動きを経時的に監視することができる756。ユーザの動きは、取り込まれた情報、例えばオーディオまたは画像情報などを用いて決定されうる一方で、例えば、画像情報および他のデータは、動作を決定するために使用され得、ならびに当技術分野で周知であり得るけれども、デバイスの動きは、例えば加速度計、電子ジャイロスコープ、もしくは慣性センサなどの方向または動作決定要素を用いて決定され得る。例えば動きの量または速さなどの少なくとも1つのトリガ閾値を満たすか超える動きの検出量に応答して、ユーザへの予測された方向は更新され得る758。例えば、デバイスが右に90°回転する場合には、デバイスは、(動きを相殺するために)ユーザの相対位置を左に約90°調整し得る。動作が所与の経路を辿る場合、デバイスは、経路に少なくとも一部基づいてユーザの推定相対位置を決定するために経路を解析し得る。予測された位置を更新し、ユーザの位置を突き止めようとした後に、デバイスがユーザをまだ追跡している場合760、デバイスは、ユーザの相対方向を更新し得762、動きを監視し続け得る。デバイスがユーザを追跡していない(すなわち、ユーザが、予測された角度範囲について取り込まれた画像情報に現れていない)場合には、デバイスは、取り込みおよび/または処理範囲を拡大し得、ユーザの位置を突き止めようとし得る764。その範囲は、フルスキャンのために調整され得、またはユーザの位置を突き止めるまで繰り返し増やされ得る。ユーザが一旦位置を突き止められると、相対方向は更新され得762、監視は続き得る。
いくつかの実施形態では、コンピューティングデバイスは、コンピューティングデバイスのアルゴリズムがその領域に実質的に対応する画像データだけしか解析する必要がないように、ユーザの特定の特徴、例えばユーザの眼球、または別のそのような特徴に対応するおよその領域または関心の範囲を決定し、追跡することができ、そのことは、画像、特に高解像度でフルカラーの画像に必要とされる処理の量を更に減らし得る。それ故に、角度範囲は調整され得るとはいえ、より小さな角度範囲は、より小さな動きは追跡エラーを結果としてもたらし得るので、サンプルレートの増加を必要とするであろう。
いくつかの他の手法も、種々の実施形態の範囲内で使用することができる。例えば、人間ユーザの少なくともいくつかの態様の位置を決定および追跡しようとするために、熱撮像または別のそのような手法を使用することができる。多くの場合、撮像システムは、マスマーケティングのために十分小型で安価であることが望ましく、よって、簡単なまたは従来の撮像手法および構成要素が好ましい可能性がある。ある既存のカメラは、赤外線放射を検出することができるが、一般的にIRフィルタを利用することができる。IRフィルタを伴わず、潜在的に周辺光フィルタを伴うこれらのカメラを利用することで、これらの比較的安価なカメラをIR検出器として使用することが可能になり得る。次いで、ユーザへの方向および相対角度範囲は、従って、本明細書に記述された種々の手法を用いて指定されおよび/または更新され得る。
論じられるように、説明される実施形態に従って、異なる手法を種々の環境で実現することができる。例えば、図8は、種々の実施形態に従って態様を実現するための、環境800の実施例を例示する。認識されるように、説明の目的でウェブに基づく環境が使用されるが、種々の実施形態を実現するために、必要に応じて、異なる環境が使用され得る。システムは、電子クライアントデバイス802を含み、該デバイスとしては、適切なネットワーク804を通じて要求、メッセージ、または情報を送信および受信し、情報をデバイスのユーザに搬送するように操作可能な、任意の適切なデバイスを含む。そのようなクライアントデバイスの例としては、パーソナルコンピュータ、携帯電話、ハンドヘルドメッセージングデバイス、ラップトップコンピュータ、セットトップボックス、携帯情報端末、電子ブックリーダー等が挙げられる。ネットワークとしては、イントラネット、インターネット、セルラーネットワーク、ローカルエリアネットワーク、もしくは任意の他のそのようなネットワーク、またはそれらの組み合わせを含む、任意の適切なネットワークが挙げられる。そのようなシステムに使用される構成要素は、選択されたネットワークおよび/または選択環境のタイプに少なくとも部分的に依存し得る。そのようなネットワークを介して通信するためのプロトコルおよび構成要素はよく知られており、本明細書では詳細に論じない。ネットワークを通じた通信は、有線接続または無線接続、およびそれらの組み合わせを介して可能にすることができる。この実施例では、当業者には明らかなように、要求を受け取り、それに応じてコンテンツを提供するためのウェブサーバ806を環境が含むので、このネットワークは、インターネットを含むが、他のネットワークの場合、類似の目的を提供する代替のデバイスを使用することができる。
実例となる環境は、少なくとも1つのアプリケーションサーバ808と、データストア810とを含む。連鎖され得るまたは別様には構成され得る、適切なデータストアからデータを取得する等の作業を行うように相互作用することができる、いくつかのアプリケーションサーバ、層もしくは他の要素、過程、または構成要素があり得ることを理解されたい。本明細書で使用される「データストア」という用語は、データを記憶し、それにアクセスし、それを取り出すことができる任意のデバイスまたはデバイスの組み合わせを指し、任意の数のデータサーバ、データベース、データ記憶デバイス、データ記憶媒体、およびそれらの任意の組み合わせを、任意の標準型、分散型、またはクラスター型の環境において含み得る。アプリケーションサーバ808は、クライアントデバイスのための1つ以上のアプリケーションの態様を実行するために、必要に応じて、データストア810と統合するための、およびアプリケーションのためのデータアクセスおよびビジネスロジックの大部分を取り扱うための、任意の適切なハードウェアおよびソフトウェアを含むことができる。アプリケーションサーバは、データストアと連携してアクセス制御サービスを提供し、また、この実施例においてHTML、XML、または別の適切な構造化言語の形態でウェブサーバ806によってユーザに提供され得る、ユーザに転送されるテキスト、グラフィックス、オーディオ、および/またはビデオ等のコンテンツを生成することができる。全ての要求および応答、ならびにクライアントデバイス802とアプリケーションサーバ808との間のコンテンツの送達は、ウェブサーバ806によって取り扱うことができる。本明細書で論じられる構造化コードは、本明細書で他の場所で論じられるように、任意の適切なデバイスまたはホストマシン上で実行することができるので、ウェブサーバおよびアプリケーションサーバは必要とされず、これらは単に例示的な構成要素に過ぎないことを理解されたい。
データストア810は、いくつかの別個のデータテーブル、データベース、または他のデータ記憶機構と、特定の態様に関連するデータを記憶するための媒体を含むことができる。例えば、例示されるデータストアは、製品側のコンテンツを提供するために使用することができる、コンテンツ(例えば、製品データ)812およびユーザ情報816を記憶するための機構を含む。データストアはまた、ログデータまたはセッションデータ814を記憶するための機構も含むように示される。ページ画像情報およびアクセス権利情報等の、データストアに記憶する必要があり得る、数多くの他の態様があり得、必要に応じて上で列記した機構のいずれかに、またはデータストア810の付加的な機構に記憶することができることを理解されたい。データストア810は、アプリケーションサーバ808から命令を受け取って、それに応じてデータを取得する、更新する、または別様には処理するために、それと関連する論理を通して操作可能である。一例において、ユーザは、あるタイプのアイテムの検索要求を提出し得る。この場合、データストアは、ユーザの識別情報を照合するためにユーザ情報にアクセスし得、また、そのタイプのアイテムに関する情報を取得するために、カタログの詳細情報にアクセスすることができる。情報は、次いで、ユーザがユーザデバイス802上のブラウザを介して視聴することができる、ウェブページ上の結果リスト等で、ユーザに返すことができる。関心の特定のアイテムの情報は、ブラウザの専用ページまたはウィンドウで視聴することができる。
各サーバは、一般的に、そのサーバの一般管理および操作のための実行可能プログラム命令を提供するオペレーティングシステムを含み、また一般的に、サーバのプロセッサによって実行されたときに、サーバがその意図する機能を行うことを可能にする命令を記憶する、コンピュータが読み出し可能な媒体を含む。オペレーティングシステムおよびサーバの一般機能性の好適な実現例は、既知であるか、または商業的に入手可能であり、また、特に本明細書の開示に照らして、当業者によって容易に実現される。
一実施形態における環境は、1つ以上のコンピュータネットワークまたは直接接続を使用して、通信リンクを介して相互接続される複数のコンピュータシステムおよび構成要素を利用する、分散コンピューティング環境である。しかしながら、そのようなシステムは、図8で例示されるよりも少ない数または多い数の構成要素を有するシステムで十分同等に動作できることが、当業者に認識されるであろう。したがって、図8のシステム800の描写は、事実上、実例となるものであり、本開示の範囲を限定するものとみなすべきではない。
種々の実施形態は更に、多種多様な操作環境で実現することができ、一部の場合において、いくつかのアプリケーションのいずれかを操作するために使用することができる、1つ以上のユーザコンピュータまたはコンピューティングデバイスを含むことができる。ユーザまたはクライアントデバイスとしては、標準的なオペレーティングシステムを実行するデスクトップまたはラップトップコンピュータ等の、数多くの汎用パーソナルコンピュータ、ならびに、モバイルソフトウェアを実行し、かついくつかのネットワークおよびメッセージングプロトコルをサポートすることができる、セルラーデバイス、無線デバイス、およびハンドヘルドデバイスのいずれかが挙げられる。そのようなシステムとしてはまた、開発およびデータベース管理等の目的で、種々の市販のオペレーティングシステムおよび他の既知のアプリケーションのいずれかを実行する、数多くのワークステーションも挙げられる。これらのデバイスとしてはまた、ネットワークを介して通信することができる、ダミー端末、シンクライアント、ゲームシステム、および他のデバイス等の、他の電子デバイスも挙げられる。
大部分の実施形態は、TCP/IP、OSI、FTP、UPnP、NFS、CIFS、およびAppleTalk等の、種々の市販のプロトコルのいずれかを使用して通信をサポートするための、当業者が精通している少なくとも1つのネットワークを利用する。ネットワークは、例えば、ローカルエリアネットワーク、ワイドエリアネットワーク、仮想プライベートネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網、赤外線ネットワーク、無線ネットワーク、およびそれらの任意の組み合わせとすることができる。
ウェブサーバを利用する実施形態において、ウェブサーバは、HTTPサーバ、FTPサーバ、CGIサーバ、データサーバ、Java(登録商標)サーバ、およびビジネスアプリケーションサーバを含む、種々のサーバまたは中間層アプリケーションのいずれかを動作させることができる。サーバ(複数可)はまた、ユーザデバイスからの要求に応じて、Java(登録商標)、C、C#、もしくはC++等の任意のプログラミング言語、またはPerl、Python、もしくはTCL等の任意のスクリプト言語、ならびにそれらの組み合わせで書かれた1つ以上のスクリプトまたはプログラムとして実現され得る1つ以上のウェブアプリケーションを実行すること等によって、プログラムまたはスクリプトを実行することも可能であり得る。サーバ(複数可)としてはまた、Oracle(登録商標)、Microsoft(登録商標)、Sybase(登録商標)、およびIBM(登録商標)から市販されているものが挙げられるがそれらに限定されない、データベースサーバも挙げられる。
環境は、上で論じたように、種々のデータストア、ならびに他のメモリおよび記憶媒体を含むことができる。これらは、1つ以上のコンピュータに対してローカルな(および/またはその中に存在する)、またはネットワーク全体にわたるコンピュータのいずれかまたは全てからリモートな記憶媒体上等の、種々の場所に存在することができる。特定の1組の実施形態において、情報は、当業者が精通しているストレージエリアネットワーク(「SAN」)の中に存在し得る。同様に、必要に応じて、コンピュータ、サーバ、または他のネットワークデバイスに起因する機能を行うための任意の必要なファイルが、ローカルおよび/またはリモートで記憶され得る。システムがコンピュータ制御のデバイスを含む場合、そのような各デバイスは、バスを介して電気的に連結され得るハードウェア要素を含むことができ、該要素は、例えば、少なくとも1つの中央処理ユニット(CPU)と、少なくとも1つの入力デバイス(例えば、マウス、キーボード、コントローラ、タッチセンサ式表示要素、またはキーパッド)と、少なくとも1つの出力デバイス(例えば、表示デバイス、プリンタ、またはスピーカー)とを含む。そのようなシステムはまた、ディスクドライブ、光記憶デバイス、およびランダムアクセスメモリ(RAM)またはリードオンリーメモリ(ROM)等の固体記憶デバイス、ならびにリムーバブル媒体デバイス、メモリカード、フラッシュカード等の、1つ以上の記憶デバイスも含み得る。
そのようなデバイスとしてはまた、上で説明したように、コンピュータが読み出し可能な記憶媒体リーダー、通信デバイス(例えば、モデム、ネットワークカード(無線または有線)、赤外線通信デバイス)、および作業メモリも挙げられる。コンピュータが読み出し可能な記憶媒体リーダーは、リモート、ローカル、固定の、および/またはリムーバブルな記憶デバイスを表すコンピュータが読み出し可能な記憶媒体、ならびにコンピュータが読み出し可能な情報を一時的におよび/またはより恒久的に含む、記憶する、伝送する、および取り出すための記憶媒体と接続することができる、またはそれを受け取るように構成することができる。システムおよび種々のデバイスはまた、一般的に、オペレーティングシステム、およびクライアントアプリケーションまたはウェブブラウザ等のアプリケーションプログラムを含む、少なくとも1つのワーキングメモリデバイス内に位置する、数多くのソフトウェアアプリケーション、モジュール、サービス、または他の要素も含む。代替の実施形態は、上で説明した数多くの変形例を有し得ることを理解されたい。例えば、カスタマイズされたハードウェアも使用され得、および/または特定の要素が、ハードウェア、ソフトウェア(アプレット等のポータブルソフトウェアを含む)、または双方で実現され得る。更に、ネットワーク入力/出力デバイス等の他のコンピューティングデバイスへの接続が利用され得る。
コードまたはコードの部分を収容するための記憶媒体およびコンピュータが読み出し可能な媒体としては、コンピュータが読み出し可能な命令、データ構造、プログラムモジュール、または他のデータ等の情報を記憶および/または伝送するための任意の方法または技術で実装される揮発性および不揮発性で、取り外し可能および取り外し不可能な媒体等が挙げられるが、それらに限定されない、RAM、ROM、EEPROM、フラッシュメモリ、または他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)または他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、または所望の情報を記憶するために使用することができ、システムデバイスによってアクセスすることができる、任意の他の媒体を含む、記憶媒体および通信媒体を含む、当技術分野において知られているまたは使用される、任意の適切な媒体が挙げられる。本明細書で提供される開示および教示に基づいて、当業者は、種々の実施形態を実現するための他の様式および/または方法を認識するであろう。
したがって、本明細書および図面は、限定的な意味ではなく、例示的な意味であるとみなされるべきである。しかしながら、特許請求の範囲に記載された本発明のより広い趣旨および範囲から逸脱することなく、種々の修正および変更が行われ得ることが明らかであろう。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]電子デバイスの情報を管理する方法であって、
前記電子デバイスに対するユーザの相対位置を決定することと、
情報が処理されることになる前記相対位置についての範囲を選択することと、
前記選択された範囲にわたり情報を処理することと、
前記ユーザと前記電子デバイスとの間の動きを検出することに応答して、
前記検出された動きの少なくとも一部に基づいて、前記電子デバイスに対する前記ユーザの新しい相対位置を予測することと、前記新しい相対位置についての新しい範囲を選択することと、
前記選択された新しい範囲にわたり取り込まれた情報を用いて、前記検出された動きの後の前記ユーザの実際の相対位置を照合しようとすることと、を含む、方法。
[2]前記検出された動きは前記ユーザの動きに対応し、前記動きは、前記選択された範囲にわたり取り込まれた画像およびオーディオ情報のうちの少なくとも1つを用いて検出される、[1]に記載の方法。
[3]前記検出された動きは前記電子デバイスの動きに対応し、前記動きは、前記電子デバイスの加速度計、電子ジャイロスコープ、電子コンパス、および慣性センサのうちの少なくとも1つを用いて決定される、[1]に記載の方法。
[4]前記実際の相対位置は、前記選択された新しい範囲にわたり取り込まれた情報を用いて決定されることができず、また、
前記選択された新しい範囲のサイズを増やすことと、
前記増やされた新しい範囲にわたり取り込まれた情報を用いて、前記ユーザの前記実際の相対位置を照合しようとすることと、を更に含む、[1]に記載の方法。
[5]移動の経路を決定するために近時の期間にわたって前記電子デバイスについて記憶された動作情報を解析することと、
前記移動の経路を1組の既知の経路種類と比較することと、を更に含み、
前記電子デバイスに対する前記ユーザの前記新しい相対位置は、前記移動の経路に一致する既知の経路種類に少なくとも一部基づいて予測される、[1]に記載の方法。
[6]前記一致する既知の経路種類に対応する行動を決定することと、
前記決定された行動に少なくとも一部基づいて、前記電子デバイスの少なくとも1つの態様を調整することと、を更に含む、[5]に記載の方法。
[7]類似の移動の経路の前または後に前記ユーザによって取られた1つまたは複数の行動に少なくとも一部基づいて、前記移動の経路についての未知の経路種類を推定しようとすることを更に含む、[5]に記載の方法。
[8]特定のユーザについての動作の特定の経路を反映するために、既知の経路種類を調整することを更に含む、[5]に記載の方法。
[9]前記選択された新しい範囲にわたり取り込まれた前記情報は、画像情報またはオーディオ情報のうちの少なくとも1つを含む、[1]に記載の方法。
[10]前記選択された範囲にわたり情報を処理することは、前記選択された範囲の少なくとも一部にわたって照明光、赤外線放射、画像情報、およびオーディオ情報のうちの少なくとも1つを投影することを含む、[1]に記載の方法。
[11]コンピューティングデバイスであって、
プロセッサと、
少なくとも1つの取り込み要素と、
1組の動作を行うために、前記プロセッサによって実行されるように操作可能な命令を含む、メモリデバイスであって、前記コンピューティングデバイスが、
前記コンピューティングデバイスに対するユーザの相対位置を決定すること、
情報が処理されることになる前記相対位置についての範囲を選択すること、
前記選択された範囲にわたり情報を処理すること、および
前記ユーザと前記コンピューティングデバイスとの間の動きを検出することに応答して、
前記検出された動きに少なくとも一部基づいて、前記コンピューティングデバイスに対する前記ユーザの新しい相対位置を予測し、前記新しい相対位置についての新しい範囲を選択すること、および
前記選択された新しい範囲にわたり取り込まれた情報を用いて、前記検出された動きの後の前記ユーザの実際の相対位置を照合しようとすることを可能にするメモリデバイスと、を備える、コンピューティングデバイス。
[12]前記検出された動きは、前記選択された範囲にわたり取り込まれた画像およびオーディオ情報のうちの少なくとも1つを用いて検出された、前記ユーザの動きの少なくとも1つ、あるいは、前記コンピューティングデバイスの加速度計、電子ジャイロスコープ、電子コンパスおよび慣性センサのうちの少なくとも1つを用いて決定された、前記コンピューティングデバイスの動きに対応する、[11]に記載のコンピューティングデバイス。
[13]前記実際の相対位置は、前記選択された新しい範囲にわたり取り込まれた情報を用いて決定されることができず、および、前記命令は、実行されたときに更に、前記コンピューティングデバイスに、
前記選択された新しい範囲のサイズを増やさせ、
前記増やされた新しい範囲にわたり取り込まれた情報を用いて、前記ユーザの前記実際の相対位置を照合しようとさせる、[11]に記載のコンピューティングデバイス。
[14]前記命令は、実行されたときに更に、前記コンピューティングデバイスに、
移動の経路を決定するために近時の期間にわたって前記コンピューティングデバイスについて記憶された動作情報を解析させ、
前記移動の経路を1組の既知の経路種類と比較させ、
前記コンピューティングデバイスに対する前記ユーザの前記新しい相対位置は、前記移動の経路に一致する既知の経路種類に少なくとも一部基づいて予測される、[11]に記載のコンピューティングデバイス。
[15]前記命令は、実行されたときに更に、前記コンピューティングデバイスに、
前記一致する既知の経路種類に対応する行動を決定させ、
前記決定された行動に少なくとも一部基づいて前記電子デバイスの少なくとも1つの態様を調整させる、[14]に記載のコンピューティングデバイス。
付記
付記1. 電子デバイスのユーザについての情報を取り込む方法であって、
前記電子デバイスの動作を検出することと、
前記動きについての情報を一時記憶装置に記憶することと、
前記検出された動作の後、前記電子デバイスに対する前記動作に対応する行動を決定しようとするために、前記記憶された情報を解析することと、
前記検出された動作に少なくとも一部基づいて前記電子デバイスに対するユーザの方向を予測することと、
前記電子デバイスから前記ユーザへの実際の方向を決定するために、前記電子デバイスの少なくとも1つの取り込み要素を用いて、前記ユーザの前記予測された方向を取り囲む角度範囲にわたり情報を取り込むことと、を含み、前記取り込まれた情報は、前記決定された行動によって少なくとも部分的に決定される、方法。
付記2. 前記角度範囲の大きさは、前記決定された行動によって少なくとも一部決定される、付記1に記載の方法。
付記3. 前記動作に対応する行動を決定することは、前記動作の経路を1組の経路と比較することを含み、各経路は関連付けられた行動に対応する、付記1に記載の方法。
付記4. 前記行動は、前記電子デバイスを筺体から取り出すこと、前記デバイスを置くこと、および前記デバイスを拾い上げることのうち少なくとも1つを含む、付記1に記載の方法。
付記5. 前記動作は、前記電子デバイスの加速度計、電子ジャイロスコープ、電子コンパス、および慣性センサのうちの少なくとも1つを用いて検出される、付記1に記載の方法。
付記6. 電子デバイス上の情報を管理する方法であって、
前記電子デバイスに対するユーザの相対位置を決定することと、
情報が処理されることになる前記相対位置についての範囲を選択することと、
前記選択された範囲にわたり情報を処理することと、
前記ユーザと前記電子デバイスとの間の動きを検出することに応答して、
前記検出された動きの少なくとも一部に基づいて、前記電子デバイスに対する前記ユーザの新しい相対位置を予測することと、前記新しい相対位置についての新しい範囲を選択することと、
前記選択された新しい範囲にわたり取り込まれた情報を用いて、前記検出された動きの後の前記ユーザの実際の相対位置を照合しようとすることと、を含む、方法。
付記7. 前記検出された動きは前記ユーザの動きに対応し、前記動きは、前記選択された範囲にわたり取り込まれた画像およびオーディオ情報のうちの少なくとも1つを用いて検出される、付記6に記載の方法。
付記8. 前記検出された動きは前記電子デバイスの動きに対応し、前記動きは、前記電子デバイスの加速度計、電子ジャイロスコープ、電子コンパス、および慣性センサのうちの少なくとも1つを用いて決定される、付記6に記載の方法。
付記9. 前記選択された範囲にわたり情報を処理することは、前記選択された範囲だけにわたり取り込まれた情報を処理すること、または前記選択された範囲に対応する取り込まれた情報だけを処理することを含む、付記6に記載の方法。
付記10. 前記選択された範囲は、前記電子デバイスと前記ユーザの前記相対位置との間の決定された方向についての角度範囲に対応する、付記6に記載の方法。
付記11. 前記実際の相対位置は、前記選択された新しい範囲にわたり取り込まれた情報を用いて決定されることができず、また、
前記選択された新しい範囲のサイズを増やすことと、
前記増やされた新しい範囲にわたり取り込まれた情報を用いて、前記ユーザの前記実際の相対位置を照合しようとすることと、を更に含む、付記6に記載の方法。
付記12. 前記実際の相対位置が決定されると、情報が処理されることになる前記実際の相対位置についての別の範囲を選択することを更に含む、付記6に記載の方法。
付記13. 移動の経路を決定するために近時の期間にわたって前記電子デバイスについて記憶された動作情報を解析することと、
前記移動の経路を1組の既知の経路種類と比較することと、を更に含み、
前記電子デバイスに対する前記ユーザの前記新しい相対位置は、前記移動の経路に一致する既知の経路種類に少なくとも一部基づいて予測される、付記6に記載の方法。
付記14. 前記一致する既知の経路種類に対応する行動を決定することと、
前記決定された行動に少なくとも一部基づいて、前記電子デバイスの少なくとも1つの態様を調整することと、を更に含む、付記13に記載の方法。
付記15. 類似の移動の経路の前または後に前記ユーザによって取られた1つまたは複数の行動に少なくとも一部基づいて、前記移動の経路についての未知の経路種類を推定しようとすることを更に含む、付記13に記載の方法。
付記16. 特定のユーザについての動作の特定の経路を反映するために既知の経路種類を調整することを更に含む、付記13に記載の方法。
付記17. 前記新しい相対位置についての新しい範囲を選択することは、前記新しい範囲に対応する少なくとも1つの取り込み要素を選択すること、または、範囲を特定することであって、少なくとも1つの取り込み要素が当該範囲にわたり情報を取り込むためのものである、範囲を特定することのうちの少なくとも1つを含む、付記6に記載の方法。
付記18. 前記少なくとも1つの取り込み要素は、前記電子デバイスに実質的に斜めの方向から情報を取り込むように、方向付けられる、付記17に記載の方法。
付記19. 前記選択された新しい範囲にわたり取り込まれた前記情報は、画像情報またはオーディオ情報のうちの少なくとも1つを含む、付記6に記載の方法。
付記20. 前記選択された範囲にわたり情報を処理することは、前記選択された範囲の少なくとも一部にわたって照明光、赤外線放射、画像情報、およびオーディオ情報のうちの少なくとも1つを投影することを含む、付記6に記載の方法。
付記21. コンピューティングデバイスであって、
プロセッサと、
少なくとも1つの取り込み要素と、
1組の動作を行うために、前記プロセッサによって実行されるように操作可能な命令を含む、メモリデバイスであって、前記コンピューティングデバイスが、
前記コンピューティングデバイスに対するユーザの相対位置を決定すること、
情報が処理されることになる前記相対位置についての範囲を選択すること、
前記選択された範囲にわたり情報を処理すること、および
前記ユーザと前記コンピューティングデバイスとの間の動きを検出することに応答して、
前記検出された動きに少なくとも一部基づいて、前記コンピューティングデバイスに対する前記ユーザの新しい相対位置を予測し、前記新しい相対位置についての新しい範囲を選択すること、および
前記選択された新しい範囲にわたり取り込まれた情報を用いて、前記検出された動きの後の前記ユーザの実際の相対位置を照合しようとすることを可能にするメモリデバイスと、を備える、コンピューティングデバイス。
付記22. 前記検出された動きは、前記選択された範囲にわたり取り込まれた画像およびオーディオ情報のうちの少なくとも1つを用いて検出された、前記ユーザの動きの少なくとも1つ、あるいは、前記コンピューティングデバイスの加速度計、電子ジャイロスコープ、電子コンパスおよび慣性センサのうちの少なくとも1つを用いて決定された、前記コンピューティングデバイスの動きに対応する、付記21に記載のコンピューティングデバイス。
付記23. 前記実際の相対位置は、前記選択された新しい範囲にわたり取り込まれた情報を用いて決定されることができず、および、前記命令は、実行されたときに更に、前記コンピューティングデバイスに、
前記選択された新しい範囲のサイズを増やさせ、
前記増やされた新しい範囲にわたり取り込まれた情報を用いて、前記ユーザの前記実際の相対位置を照合しようとさせる、付記21に記載のコンピューティングデバイス。
付記24. 前記命令は、実行されたときに更に、前記コンピューティングデバイスに、
移動の経路を決定するために近時の期間にわたって前記コンピューティングデバイスについて記憶された動作情報を解析させ、
前記移動の経路を1組の既知の経路種類と比較させ、
前記コンピューティングデバイスに対する前記ユーザの前記新しい相対位置は、前記移動の経路に一致する既知の経路種類に少なくとも一部基づいて予測される、付記21に記載のコンピューティングデバイス。
付記25. 前記命令は、実行されたときに更に、前記コンピューティングデバイスに、
前記一致する既知の経路種類に対応する行動を決定させ、
前記決定された行動に少なくとも一部基づいて前記電子デバイスの少なくとも1つの態様を調整させる、付記24に記載のコンピューティングデバイス。
付記26. コンピューティングデバイスを制御するためのプロセッサ実行可能命令を記憶する非一時的なコンピュータが読み出し可能な記憶媒体であって、
前記コンピューティングデバイスに対するユーザの相対位置を決定するためのプログラムコードと、
情報が処理されることになる前記相対位置についての範囲を選択するためのプログラムコードと、
前記選択された範囲にわたり情報を処理するためのプログラムコードと、
プログラムコードであって、前記ユーザと前記コンピューティングデバイスとの間の動きを検出することに応答して、
前記検出された動きに少なくとも一部基づいて、前記コンピューティングデバイスに対する前記ユーザの新しい相対位置を予測し、前記新しい相対位置についての新しい範囲を選択するための、および
前記選択された新しい範囲にわたり取り込まれた情報を用いて、前記検出された動きの後の前記ユーザの実際の相対位置を照合しようとするための、プログラムコードと、を備える、記憶媒体。
付記27. 移動の経路を決定するために近時の期間にわたって、前記コンピューティングデバイスについて記憶された動作情報を解析するためのプログラムコードと、
前記移動の経路を1組の既知の経路種類と比較するためのプログラムコードと、を更に備え、
前記コンピューティングデバイスに対する前記ユーザの前記新しい相対位置は、前記移動の経路に一致する既知の経路種類に少なくとも一部基づいて予測される、付記26に記載の非一時的なコンピュータが読み出し可能な記憶媒体。
付記28. 前記一致する既知の経路種類に対応する行動を決定するためのプログラムコードと、
前記決定された行動に少なくとも一部基づいて、前記電子デバイスの少なくとも1つの態様を調整するためのプログラムコードと、を更に備える、付記27に記載の非一時的なコンピュータが読み出し可能な記憶媒体。

Claims (15)

  1. 電子デバイスにおける、ユーザの相対位置を追跡するための方法において
    前記電子デバイスにするユーザの第1の相対位置を決定することと、
    前記ユーザからの情報を取り込むことになる前記第1の相対位置についての範囲を、前記決定した第1の相対位置に基づいて選択することと、
    前記第1の相対位置についての前記選択た範囲にわたり、前記ユーザからの情報を取り込むことと、
    前記取り込んだ情報に基づいて、前記ユーザと前記電子デバイスとの間の動きを検出することに応答して、
    前記検出た動きに基づいて、前記電子デバイスにする前記ユーザの第2の相対位置を予測することと、
    前記ユーザの実際の第2の相対位置を決定するための情報を取り込むことになる、前記予測した第2の相対位置についての範囲を、前記予測した第2の相対位置に基づいて選択することと、
    前記予測した第2の相対位置についての前記選択した範囲を含む視野を有する、前記電子デバイスの少なくとも1つの取り込み要素を選択することと、
    前記少なくとも1つの取り込み要素を使用して、前記予測した第2の相対位置についての前記選択した範囲にわたり、前記実際の第2の相対位置を決定するための情報を取り込むことと、
    前記少なくとも1つの取り込み要素を使用して取り込んだ情報に基づい、前記実際の第2の相対位置を決定しようとすることとを
    前記予測した第2の相対位置についての前記選択した範囲は、前記ユーザが前記動きを生じさせることができる物理的位置の範囲に対応している方法。
  2. 記動きは前記ユーザの動きに対応しており、前記動きは、前記第1の相対位置についての前記選択た範囲にわたり取り込んだ、画像情報とオーディオ情報のうちの少なくとも1つを使用して検出される、請求項1に記載の方法。
  3. 記動きは前記電子デバイスの動きに対応しており、前記動きは、前記電子デバイスの加速度計、電子ジャイロスコープ、電子コンパスと、慣性センサのうちの少なくとも1つを使用して決定される、請求項1に記載の方法。
  4. 前記実際の第2の相対位置は、前記少なくとも1つの取り込み要素を使用して取り込んだ情報に基づいて決定ることができず、
    前記方法は、
    前記電子デバイスの少なくとも1つの他の取り込み要素を選択することと、
    前記少なくとも1つの取り込み要素と前記少なくとも1つの他の取り込み要素とを使用して、前記予測した第2の相対位置についての前記選択した範囲より広い範囲にわたり、前記実際の第2の相対位置を決定するための情報を取り込むことと、
    前記少なくとも1つの取り込み要素と前記少なくとも1つの他の取り込み要素とを使用して取り込んだ情報に基づいて、前記ユーザの前記実際の第2の相対位置を決定しようとすることとを更に含む、請求項1に記載の方法。
  5. 予め定められた期間にわたって前記電子デバイスについて記憶た動作情報を解析して、前記電子デバイスの移動の経路を決定することと、
    前記移動の経路を1組の既知の経路種類と比較することとを更に含み、
    前記電子デバイスにする前記ユーザの前記第2の相対位置は、前記移動の経路に一致する既知の経路種類に基づいて予測される、請求項1に記載の方法。
  6. 記既知の経路種類に対応する前記ユーザの行動を決定することと、
    記行に基づいて、前記電子デバイスの少なくとも1つの態様を調整することとを更に含む、請求項5に記載の方法。
  7. 類似の移動の経路の前または後に前記ユーザによって取られた1つまたは複数の行動に基づいて、前記移動の経路に対する未知の経路種類を推定しようとすることを更に含む、請求項5に記載の方法。
  8. 知の経路種類を調整して、特定のユーザについての動作の特定の経路を反映することを更に含む、請求項5に記載の方法。
  9. 前記少なくとも1つの取り込み要素を使用して取り込んだ情報は、画像情報またはオーディオ情報のうちの少なくとも1つを含む、請求項1に記載の方法。
  10. 前記第1の相対位置についての前記選択た範囲にわたり前記ユーザからの情報を取り込むことは、前記第1の相対位置についての前記選択た範囲の少なくとも一部にわたって照明光、赤外線放射、画像情報と、オーディオ情報のうちの少なくとも1つを投影することを含む、請求項1に記載の方法。
  11. コンピューティングデバイスにおいて
    プロセッサと、
    少なくとも1つの取り込み要素と、
    1組の動作を実行するために、前記プロセッサによって実行されるように動作可能な命令を含む、メモリデバイスにおいて、前記コンピューティングデバイスが、
    前記コンピューティングデバイスにするユーザの第1の相対位置を決定すること
    前記ユーザからの情報を取り込むことになる前記第1の相対位置についての範囲を、前記決定した第1の相対位置に基づいて選択すること
    前記第1の相対位置についての前記選択た範囲にわたり、前記ユーザからの情報を取り込むことと、
    前記取り込んだ情報に基づいて、前記ユーザと前記コンピューティングデバイスとの間の動きを検出することに応答して、
    前記検出た動きに基づいて、前記コンピューティングデバイスにする前記ユーザの第2の相対位置を予測することと
    前記ユーザの実際の第2の相対位置を決定するための情報を取り込むことになる、前記予測した第2の相対位置についての範囲を、前記予測した第2の相対位置に基づいて選択すること
    前記予測した第2の相対位置についての前記選択した範囲を含む視野を有する、前記コンピューティングデバイスの少なくとも1つの取り込み要素を選択することと、
    前記少なくとも1つの取り込み要素によって、前記予測した第2の相対位置についての前記選択した範囲にわたり、前記実際の第2の相対位置を決定するための情報を取り込むことと
    前記少なくとも1つの取り込み要素によって取り込んだ情報に基づいて、前記実際の第2の相対位置を決定しようとすることを可能にするメモリデバイスとを具備し、
    前記予測した第2の相対位置についての前記選択した範囲は、前記ユーザが前記動きを生じさせることができる物理的位置の範囲に対応しているコンピューティングデバイス。
  12. 前記検出た動きは、前記第1の相対位置についての前記選択た範囲にわたり取り込んだ、画像情報とオーディオ情報のうちの少なくとも1つを使用して検出され、前記ユーザの動き、あるいは、前記コンピューティングデバイスの加速度計、電子ジャイロスコープ、電子コンパスと、慣性センサのうちの少なくとも1つを使用して決定され、前記コンピューティングデバイスの動き、のうちの少なくとも1つに対応している、請求項11に記載のコンピューティングデバイス。
  13. 前記実際の第2の相対位置は、前記少なくとも1つの取り込み要素によって取り込んだ情報に基づいて決定ることができず
    記命令は、実行されたときに更に、前記コンピューティングデバイスに、
    前記コンピューティングデバイスの少なくとも1つの他の取り込み要素を選択させ、
    前記少なくとも1つの取り込み要素と前記少なくとも1つの他の取り込み要素とによって、前記予測した第2の相対位置についての前記選択した範囲より広い範囲にわたり、前記実際の第2の相対位置を決定するための情報を取り込ませ、
    前記少なくとも1つの取り込み要素と前記少なくとも1つの他の取り込み要素とによって取り込んだ情報に基づいて、前記ユーザの前記実際の第2の相対位置を決定しようとさせる、請求項11に記載のコンピューティングデバイス。
  14. 前記命令は、実行されたときに更に、前記コンピューティングデバイスに、
    予め定められた期間にわたって前記コンピューティングデバイスについて記憶た動作情報を解析させて、前記コンピューティングデバイスの移動の経路を決定させ、
    前記移動の経路を1組の既知の経路種類と比較させ、
    前記コンピューティングデバイスにする前記ユーザの前記第2の相対位置は、前記移動の経路に一致する既知の経路種類に基づいて予測される、請求項11に記載のコンピューティングデバイス。
  15. 前記命令は、実行されたときに更に、前記コンピューティングデバイスに、
    記既知の経路種類に対応する前記ユーザの行動を決定させ、
    記行に基づいて前記コンピューティングデバイスの少なくとも1つの態様を調整させる、請求項14に記載のコンピューティングデバイス。
JP2014511406A 2011-05-13 2012-05-10 デバイス相互作用を用いる空間情報の使用 Active JP5833231B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/107,692 2011-05-13
US13/107,692 US8843346B2 (en) 2011-05-13 2011-05-13 Using spatial information with device interaction
PCT/US2012/037220 WO2012158439A1 (en) 2011-05-13 2012-05-10 Using spatial information with device interaction

Publications (2)

Publication Number Publication Date
JP2014520310A JP2014520310A (ja) 2014-08-21
JP5833231B2 true JP5833231B2 (ja) 2015-12-16

Family

ID=47142453

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014511406A Active JP5833231B2 (ja) 2011-05-13 2012-05-10 デバイス相互作用を用いる空間情報の使用

Country Status (5)

Country Link
US (3) US8843346B2 (ja)
EP (1) EP2707835B1 (ja)
JP (1) JP5833231B2 (ja)
CN (1) CN103620620B (ja)
WO (1) WO2012158439A1 (ja)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8957847B1 (en) 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US8661121B1 (en) * 2011-04-11 2014-02-25 Google Inc. System and method for providing location reporting services
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
TWI441042B (zh) * 2011-07-01 2014-06-11 Pixart Imaging Inc 互動影像系統、互動控制裝置及其運作方法
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9661310B2 (en) * 2011-11-28 2017-05-23 ArcSoft Hanzhou Co., Ltd. Image depth recovering method and stereo image fetching device thereof
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
KR102111181B1 (ko) 2012-08-21 2020-05-15 포토내이션 리미티드 어레이 카메라를 사용하여 포착된 영상에서의 시차 검출 및 보정을 위한 시스템 및 방법
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014052974A2 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating images from light fields utilizing virtual viewpoints
US20140152534A1 (en) * 2012-12-03 2014-06-05 Facebook, Inc. Selectively Steer Light from Display
US20140232640A1 (en) * 2013-02-05 2014-08-21 Umoove Services Ltd. Dynamic range resetting
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US20140253430A1 (en) * 2013-03-08 2014-09-11 Google Inc. Providing events responsive to spatial gestures
US9519351B2 (en) 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US9389638B2 (en) 2013-06-06 2016-07-12 Blackberry Limited Device for detecting a carrying case
US9167375B2 (en) 2013-06-06 2015-10-20 Blackberry Limited Device for detecting a carrying case using orientation signatures
EP2811363B1 (en) * 2013-06-06 2019-04-10 BlackBerry Limited Device for detecting a carrying case using orientation signatures
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9903753B2 (en) * 2015-01-13 2018-02-27 Motorola Mobility Llc Portable electronic device with dual, diagonal proximity sensors and mode switching functionality
RU2711468C2 (ru) 2015-04-01 2020-01-17 Конинклейке Филипс Н.В. Электронное мобильное устройство
CN106340063B (zh) * 2015-10-21 2019-04-12 北京智谷睿拓技术服务有限公司 共享方法及共享装置
US10979843B2 (en) 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10659923B2 (en) 2017-04-10 2020-05-19 Here Global B.V. Condition based accurate indoor positioning
US11481022B2 (en) * 2017-08-18 2022-10-25 Hewlett-Packard Development Company, L.P. Motion based power states
EP3570207B1 (en) * 2018-05-15 2023-08-16 IDEMIA Identity & Security Germany AG Video cookies
EP3663181B1 (de) * 2018-12-06 2021-06-02 Amprio GmbH Pedelec
DE112020004391T5 (de) 2019-09-17 2022-06-02 Boston Polarimetrics, Inc. Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen
JP2022552833A (ja) 2019-10-07 2022-12-20 ボストン ポーラリメトリックス,インコーポレイティド 偏光による面法線計測のためのシステム及び方法
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6577329B1 (en) 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
US6208373B1 (en) * 1999-08-02 2001-03-27 Timothy Lo Fong Method and apparatus for enabling a videoconferencing participant to appear focused on camera to corresponding users
WO2002005081A1 (en) * 2000-05-11 2002-01-17 Nes Stewart Irvine Zeroclick
JP2001339703A (ja) * 2000-05-26 2001-12-07 Nec Corp テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラの制御方法
JP3716194B2 (ja) * 2001-08-02 2005-11-16 Necアクセステクニカ株式会社 携帯電話装置およびその動作モード解除方法、並びにプログラム
US6920376B2 (en) 2002-10-31 2005-07-19 Hewlett-Packard Development Company, L.P. Mutually-immersive mobile telepresence system with user rotation and surrogate translation
FI117217B (fi) 2003-10-01 2006-07-31 Nokia Corp Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
US7181251B2 (en) 2003-10-22 2007-02-20 Nokia Corporation Mobile communication terminal with multi orientation user interface
US7280096B2 (en) 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
CN100461212C (zh) * 2004-06-04 2009-02-11 松下电器产业株式会社 显示控制方法及装置以及便携设备
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
US7602942B2 (en) 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system
US20090297062A1 (en) * 2005-03-04 2009-12-03 Molne Anders L Mobile device with wide-angle optics and a radiation sensor
NZ564851A (en) * 2005-06-20 2009-11-27 Lextar Pty Ltd Directional surveillance camera with ring of directional detectors
US7701434B2 (en) 2005-10-31 2010-04-20 Research In Motion Limited Automatic screen and keypad brightness adjustment on a mobile handheld electronic device
JP2007121970A (ja) 2005-10-31 2007-05-17 Toshiba Corp 情報処理装置、およびその制御方法
US8736547B2 (en) * 2006-04-20 2014-05-27 Hewlett-Packard Development Company, L.P. Method and system for interfacing a digital device with an interactive display surface
JP4173513B2 (ja) * 2006-06-12 2008-10-29 ヤマザキマザック株式会社 機器移設有無検知装置及びその機器移設有無検知装置を備えた機器
JP4802112B2 (ja) * 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
US20080280641A1 (en) * 2007-05-11 2008-11-13 Sony Ericsson Mobile Communications Ab Methods and devices for generating multimedia content in response to simultaneous inputs from related portable devices
JP4985142B2 (ja) * 2007-06-26 2012-07-25 株式会社日本自動車部品総合研究所 画像認識装置および画像認識装置の画像認識処理方法
US20090054077A1 (en) * 2007-08-23 2009-02-26 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for sending data relating to a target to a mobile device
JP2011504710A (ja) 2007-11-21 2011-02-10 ジェスチャー テック,インコーポレイテッド メディア嗜好
US8005272B2 (en) 2008-01-03 2011-08-23 International Business Machines Corporation Digital life recorder implementing enhanced facial recognition subsystem for acquiring face glossary data
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
CA2714362A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US20100009662A1 (en) * 2008-06-20 2010-01-14 Microsoft Corporation Delaying interaction with points of interest discovered based on directional device information
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8199186B2 (en) * 2009-03-05 2012-06-12 Microsoft Corporation Three-dimensional (3D) imaging based on motionparallax
US8953029B2 (en) * 2009-05-08 2015-02-10 Sony Computer Entertainment America Llc Portable device interaction via motion sensitive controller
GB2470072B (en) * 2009-05-08 2014-01-01 Sony Comp Entertainment Europe Entertainment device,system and method
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US9086875B2 (en) * 2009-06-05 2015-07-21 Qualcomm Incorporated Controlling power consumption of a mobile device based on gesture recognition
JP2011018272A (ja) * 2009-07-10 2011-01-27 Nec Casio Mobile Communications Ltd 端末装置およびプログラム
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
GB2483168B (en) 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US8451312B2 (en) * 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
US20110205148A1 (en) 2010-02-24 2011-08-25 Corriveau Philip J Facial Tracking Electronic Reader
US8913004B1 (en) * 2010-03-05 2014-12-16 Amazon Technologies, Inc. Action based device control
US8581844B2 (en) * 2010-06-23 2013-11-12 Google Inc. Switching between a first operational mode and a second operational mode using a natural motion gesture
US9274744B2 (en) * 2010-09-10 2016-03-01 Amazon Technologies, Inc. Relative position-inclusive device interfaces
KR101239336B1 (ko) * 2011-03-04 2013-03-06 삼성중공업 주식회사 이동 장치의 이동 경로 생성 방법
US8451344B1 (en) * 2011-03-24 2013-05-28 Amazon Technologies, Inc. Electronic devices with side viewing capability
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US20120259638A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Apparatus and method for determining relevance of input speech
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
US8194926B1 (en) 2011-10-05 2012-06-05 Google Inc. Motion estimation for mobile device user interaction

Also Published As

Publication number Publication date
US20120290257A1 (en) 2012-11-15
US20210372788A1 (en) 2021-12-02
JP2014520310A (ja) 2014-08-21
US8843346B2 (en) 2014-09-23
CN103620620B (zh) 2017-06-09
US20150019162A1 (en) 2015-01-15
WO2012158439A1 (en) 2012-11-22
EP2707835A1 (en) 2014-03-19
EP2707835B1 (en) 2019-04-03
EP2707835A4 (en) 2015-12-09
CN103620620A (zh) 2014-03-05

Similar Documents

Publication Publication Date Title
JP5833231B2 (ja) デバイス相互作用を用いる空間情報の使用
JP6342458B2 (ja) ビデオにおける改良型の顔面認識
US11100608B2 (en) Determining display orientations for portable devices
US10139898B2 (en) Distracted browsing modes
US9483113B1 (en) Providing user input to a computing device with an eye closure
US9774780B1 (en) Cues for capturing images
US9213436B2 (en) Fingertip location for gesture input
US9268407B1 (en) Interface elements for managing gesture control
US8451344B1 (en) Electronic devices with side viewing capability
US9377860B1 (en) Enabling gesture input for controlling a presentation of content
US9075514B1 (en) Interface selection element display
JP2014519665A6 (ja) ビデオにおける改良型の顔面認識
US20160329006A1 (en) Interactive integrated display and processing device
US9400575B1 (en) Finger detection for element selection
US9350918B1 (en) Gesture control for managing an image view display
US10082936B1 (en) Handedness determinations for electronic devices
US9507429B1 (en) Obscure cameras as input
US9160923B1 (en) Method and system for dynamic information display using optical data
US9690384B1 (en) Fingertip location determinations for gesture input
US9075615B2 (en) Dynamic class loading

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151028

R150 Certificate of patent or registration of utility model

Ref document number: 5833231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250