JP5877219B2 - 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果 - Google Patents

動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果 Download PDF

Info

Publication number
JP5877219B2
JP5877219B2 JP2014080418A JP2014080418A JP5877219B2 JP 5877219 B2 JP5877219 B2 JP 5877219B2 JP 2014080418 A JP2014080418 A JP 2014080418A JP 2014080418 A JP2014080418 A JP 2014080418A JP 5877219 B2 JP5877219 B2 JP 5877219B2
Authority
JP
Japan
Prior art keywords
virtual
user interface
display
operating system
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014080418A
Other languages
English (en)
Other versions
JP2014135086A (ja
Inventor
マーク ジマー
マーク ジマー
ジェフ スタール
ジェフ スタール
ディヴィッド ヘイワード
ディヴィッド ヘイワード
フランク ドエプク
フランク ドエプク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2014135086A publication Critical patent/JP2014135086A/ja
Application granted granted Critical
Publication of JP5877219B2 publication Critical patent/JP5877219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Image Generation (AREA)

Description

本発明は、動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果に関する。
ビデオゲームが、現在、例えば、ハンドヘルド装置又はコントロール器具におけるコンパス、加速度計、ジャイロメーター、及びグローバルポジショニングシステム（ＧＰＳ）ユニットから収集した運動及び位置の種々の特性を使用して、模擬即ちバーチャル三次元（３Ｄ）環境におけるプレイの経験を改善していることは秘密ではない。実際に、そのようなコントロール器具からいわゆる「６軸」位置情報を抽出するためのソフトウェアは、良く理解されており、多くのビデオゲームで現在使用されている。６つの軸のうち最初の３つは、三次元空間における装置の「ヨー・ピッチ・ロール」を示す。数学では、三次元空間において連続的な微分可能な曲線に沿って運動する粒子の接線、法線及び従法線単位ベクトルは、多くの場合、Ｔ、Ｎ及びＢベクトルと称されるか又は総体的に「フレネットフレーム(Frenet frame)」と称され、次のように定義される。即ち、Ｔは、曲線に正接する単位ベクトルで、運動の方向を指し、Ｎは、曲線の弧長パラメータに対するＴの導関数をその長さで除算したものであり、そしてＢは、Ｔ及びＮのクロス積である。装置の「ヨー・ピッチ・ロール」は、装置が空間を通して移動するときに装置の次々のフレネットフレーム間の角度Δとして表すこともできる。６つの軸のうちの他の３つの軸は、相対的な三次元空間における装置の「Ｘ−Ｙ−Ｚ」位置を示し、これは、バーチャル３Ｄ環境との相互作用を更に模擬するのに使用することもできる。
この分野では顔検出ソフトウェアもよく知られており、デジタル写真、デジタルビデオカメラ撮影、ビデオゲーム、バイオメトリック、監視、及びエネルギー保存も含む今日の多くの実際的なアプリケーションに適用される。一般的な顔検出アルゴリズムは、ビオラ−ジョーンズオブジェクト検出フレームワーク及びシュナイダーマン＆カナデ法を含む。
顔検出ソフトウェアは、前面カメラ(front-facing camera)をもつ装置に関連して使用され、装置の前に人間のユーザがいるときを決定すると共に、装置の前のそのようなユーザの動きを追跡する。
しかしながら、現在のシステムは、より関心の高いそして見て楽しい双方向バーチャル３Ｄ環境を装置のディスプレイにおいてレンダリングするために、装置ユーザの場所及び位置、並びにユーザ環境の物理的及び照明特性に加えて、バーチャル３Ｄ環境がレンダリングされる装置の場所及び位置を考慮するものではない。
従って、ディスプレイを有する電子装置の移動、並びにそのような電子装置のユーザの環境における照明条件、及びそのような電子装置のユーザの動き、特に、装置のユーザの目の位置を連続的に追跡するための技術が要望される。ユーザ環境の照明条件、ユーザの目の位置、及び電子装置のディスプレイに対する連続的な３Ｄ基準フレーム(frame-of-reference)に関する情報で、装置のディスプレイにオブジェクトのより現実的なバーチャル３Ｄ描写を生成してユーザにより相互作用できるようにすることが望まれる。
ここに開示する技術は、種々の位置センサ、例えば、コンパス、マイクロ・エレクトロ・メカニカルシステム（ＭＥＭＳ）加速度計、ＧＰＳモジュール、及びＭＥＭＳジャイロメーターを使用して、例えば、移動電話のようなハンドヘルド装置のようなパーソナル電子装置の３Ｄ基準フレーム（非慣性基準フレーム）を推測する。これらの位置センサの使用は、装置のための真のフレネットフレーム、即ちディスプレイのＸ及びＹベクトル、並びにディスプレイに垂直に向くＺベクトルを与えることができる。実際に、状態をリアルタイムでレポートする加速度計、ジャイロメーター及び他の器具からの種々の慣性的手掛かりで、装置のフレネットフレームをリアルタイムで追跡し、従って、ハンドヘルド装置のための連続的な３Ｄ基準フレームを与えることができる。装置の連続的な基準フレームが分かると、ここに述べる技術により、ユーザの目の位置を推測するか、或いは前面カメラを使用することでユーザの目の位置を直接計算することができる。ユーザの目の位置及びディスプレイの連続的３Ｄ基準フレームで、オブジェクトのより現実的なバーチャル３Ｄ描写を装置のディスプレイに生成して相互作用することができる。
オブジェクトのより現実的なバーチャル３Ｄ描写を装置のディスプレイ上で行うために、オブジェクトは、装置のオペレーティング環境において実際の３Ｄ「場所」にあるかのようにディスプレイ上にレンダリングすることができる。ある実施形態では、ディスプレイ上のオブジェクトの位置は、それらのバーチャル座標、即ちオブジェクトのバーチャル３Ｄ世界におけるそれらの座標をレイトレーシングして装置ユーザの目に戻り、そしてオブジェクトの座標を装置ディスプレイの真の平面と交差させることにより計算することができる。他の実施形態では、ここで「２ 1/2 Ｄ」効果と称されるバーチャル３Ｄユーザインターフェイス（ＵＩ）効果を、装置の移動、ユーザの動き、又はユーザ環境における照明条件に応答して、装置のディスプレイ上の２Ｄオブジェクトに適用して、２Ｄオブジェクトをユーザにとって実際上三次元で「見える」ようにすることができる。
この技術を使用して達成できる３Ｄ ＵＩ効果
例えば、ユーザインターフェイス環境の２ 1/2 Ｄ描写を使用し、装置の移動、ユーザの動き、又はユーザ環境における照明条件に応答して、装置に表示されるグラフィックユーザインターフェイスオブジェクト、例えば、アイコンに、現実的な動きのある輝き(shine）又は動きのある陰影(shadow)を与えることができる。
又、「バーチャル３Ｄオペレーティングシステム環境」を生成し、そして装置のユーザがバーチャル３Ｄオペレーティングシステム環境に置かれたグラフィックユーザインターフェイスオブジェクトを「見回す」のを許し、その「側部」を見ることができるようにする。ユーザが特定のグラフィックユーザインターフェイスオブジェクトに焦点を合わせられるように基準フレームが拡大される場合には、ユーザは、装置又はユーザの特定の位置的変化、並びにユーザと装置ディスプレイとの相互作用により、オブジェクトを回転してその「後部も見る」ことができる。
又、くぼんだ「弁当箱(bento box)」フォームファクタをディスプレイ内に有するものとしてバーチャル３Ｄオペレーティングシステム環境をレンダリングすることもできる。
そのようなフォームファクタは、モジュラーインターフェイスにとって効果的である。ユーザは、装置を回転するときに、弁当箱の各「区画(cubby hole)」を独立して見ることができる。又、前面カメラの使用により、視覚上の「スポットライト」効果がユーザの凝視をたどるようにすることができ、即ちユーザが現在見ているディスプレイ内の場所でスポットライト効果が「輝く」ようにさせることもできる。又、装置について決定された３Ｄ基準フレームのみに基づいてスポットライト効果の位置をコントロールすることもできる。例えば、スポットライト効果は、歪んだ法線ベクトルが装置ユーザの現在位置に対して最も近い方向を指す区画を輝かせるように構成される。
ディスプレイ内のバーチャル３Ｄ世界との相互作用
バーチャル３Ｄディスプレイとのタッチを経て相互作用するため、ここに開示する技術では、装置のディスプレイ上のタッチ点の位置をバーチャル３Ｄオペレーティングシステム環境へとレイトレースし、そしてタッチ点の領域を、それがヒットするオブジェクト（１つ又は複数）に交差させることができる。バーチャル３Ｄオペレーティングシステム環境とのタッチ相互作用により生じるオブジェクトの動きは、２Ｄモードにおける場合と同様に生じるが、ここに開示する技術では、バーチャル３Ｄオペレーティングシステム環境内の衝突効果及び他の物理的な現実性表現を模擬することができるようにする。更に、タッチスクリーン視差のような問題、即ちタッチ点と、装置のフレネットフレームが分かっているときに表示される意図されたタッチ位置との間の非位置合わせを良好に考慮することができる。
ＧＰＵを常時再レンダリングからどのように防止するか
グラフィック処理ユニット（ＧＰＵ）の使用過多及び装置における過剰バッテリ消費を防止するために、ここに開示する技術では、特定のジェスチャーを使用して「バーチャル３Ｄオペレーティングシステム環境」モードをターンオンすると共に、位置的静止を使用してそのモードをターンオフする。１つの実施形態では、ジェスチャーは、いわゆる「プリンセスウェーブ(princess wave)」、即ち１つの軸の周りでの装置の波動回転である。
例えば、「バーチャル３Ｄオペレーティングシステム環境」モードは、１つの軸に沿った１０−２０°の３つを越える波が１秒間隔で生じるときにターンオンすることができる。
１つの実施形態において、「バーチャル３Ｄオペレーティングシステム環境」モードがターンオンすると、ＵＩのディスプレイが「解凍(unfreeze)」し、オペレーティングシステム環境の３Ｄ描写となる（好ましくは、２Ｄ描写と同様であって、３Ｄオブジェクトの見掛けを表わす陰影及びテクスチャを伴う）。このモードがターンオフされると、ディスプレイは、標準的な配向へゆっくり移行して戻り、そしてユーザインターフェイス環境の２Ｄ又は２ 1/2 Ｄ描写へ凍結(freeze)して戻る。位置的静止、例えば、２ないし３秒の間装置を相対的静止状態に保持することは、２Ｄ又は２ 1/2 Ｄオペレーティングシステム環境モードへ凍結して戻し、そしてオブジェクトの表示をより慣習的な２Ｄ表現に復帰させるための、装置に対する１つの潜在的なキューである。
デスクトップマシン
デスクトップマシンにおいて、装置のフレネットフレームは、不変であり、そして装置のディスプレイに対するユーザの位置は、おそらく非常に僅かに変化するだけであるが、ユーザの目の位置は、著しく変化する。前面カメラは、顔検出ソフトウェアと共に、ユーザの目の位置を計算できるようにする。カメラの視野情報を使用して、例えば、人間工学的ガイドラインに基づき、頭のサイズを測定するか、又は検出されたユーザの瞳孔対瞳孔の距離を測定しそして人間の頭の標準的測定値を仮定することにより、ディスプレイからのユーザの頭の距離を推定することもできる。このデータを使用して、例えば、ウインドウ、タイトルバー及び他のＵＩオブジェクトに輝きを入れ、そしてユーザの目の動き又はユーザの頭の位置変化に応答してそれらを動かすことを通して、現実的な２ 1/2 Ｄ又は３Ｄオペレーティングシステムモードを描写することができる。更に、ユーザの頭及び目の位置を使用して、ユーザが自分の頭を側部へシフトし及び／又は自分の頭をディスプレイに向けて移動した後に、ユーザがウインドウの「下を見る」のを許すこともできる。
ここに開示される実施形態により提供される革新のために、以下に述べる運動の特性を利用する３Ｄ ＵＩ効果は、パーソナル電子装置のハードウェア及び／又はソフトウェアにより直接的に具現化され、移動電話、パーソナルデータアシスタント（ＰＤＡ）、ポータブル音楽プレーヤ、テレビジョン、ゲームコンソール、ポータブルゲーム装置、並びにラップトップ、デスクトップ及びタブレットコンピュータのような多数のパーソナル電子装置にその技術を容易に適用することができる。
規範的な従来のパーソナル電子装置を示す。 ２ 1/2 Ｄオペレーティングシステム環境モードで動作するパーソナル電子装置により使用される規範的な３Ｄ ＵＩ技術を示す。 １つの実施形態によりバーチャル光源で照明されたグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写を提示するパーソナル電子装置を示す。 １つの実施形態により代表的な周囲光源で照明されたグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写を提示するパーソナル電子装置を示す。 １つの実施形態によるパーソナル電子装置のフレネットフレームを示す。 １つの実施形態によるグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写を表わす、パーソナル電子装置に対する装置移動の効果を示す。 １つの実施形態によるグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写を表わす、パーソナル電子装置に対するユーザの動きの効果を示す。 １つの実施形態によるパーソナル電子装置のバーチャル３Ｄディスプレイ内のくぼんだ「弁当箱」フォームファクタを示す。 １つの実施形態によりバーチャル３Ｄオペレーティングシステム環境へとレイトレースされるパーソナル電子装置のタッチスクリーンとの接触点を示す。 １つの実施形態によりバーチャル３Ｄオペレーティングシステム環境モードで動作するようにパーソナル電子装置のディスプレイをアクチベートする規範的なジェスチャーを示す。 バーチャル３Ｄオペレーティングシステム環境モードで動作するためのプロセスの一実施形態を示すフローチャートである。 バーチャル３Ｄオペレーティングシステム環境モードでの動作と、非バーチャル３Ｄオペレーティングシステム環境モードでの動作との間でパーソナル電子装置をトグルするためのプロセスの一実施形態を示すフローチャートである。 ユーザの目の位置を表わすスポットライトをパーソナル電子装置のバーチャル３Ｄオペレーティングシステム環境へ投影するためのプロセスの一実施形態を示すフローチャートである。 装置の環境で検出された周囲光源及び／又は装置の相対的位置に基づいてパーソナル電子装置のディスプレイに対するグラフィックユーザインターフェイス効果を具現化するためのプロセスの一実施形態を示すフローチャートである。 １つの実施形態によるパーソナル電子装置の簡単な機能的ブロック図である。
本開示は、ディスプレイを有する電子装置の移動、並びにそのような電子装置のユーザの環境における照明条件、及びそのような電子装置のユーザの動き、特に、装置ユーザの目の位置を連続的に追跡するための技術に関する。ユーザの目の位置、及び電子装置のディスプレイの連続的な３Ｄ基準フレームで、装置のディスプレイ上にオブジェクトのより現実的なバーチャル３Ｄ描写を生成して相互作用することができる。本開示は、パーソナル電子装置のディスプレイ上にオブジェクトのより現実的なバーチャル３Ｄ描写を生成するための新規な技術について述べるが、当業者であれば、ここに開示する技術は、他の環境及び用途にも適用できることが明らかであろう。ここに開示する技術は、位置センサ、接近センサ及び／又はデジタル画像センサを伴う多数の電子装置、例えば、デジタルカメラ、デジタルビデオカメラ、移動電話、パーソナルデータアシスタント（ＰＤＡ）、ポータブル音楽プレーヤ、テレビジョン、ゲームコンソール、ポータブルゲーム装置、デスクトップ、ラップトップ及びタブレットコンピュータ、並びにゲームコントローラに適用することができる。ＡＲＭ(登録商標)ｖ７−ＡアーキテクチャーのＣｏｒｔｅｘ(登録商標)Ａ８のような埋め込み型のプロセッサは、ここに開示する技術を実行するのに使用される多様性のある頑健なプログラマブルコントロール装置をなす。（ＣＯＲＴＥＸ(登録商標)及びＡＲＭ(登録商標)は、英国のＡＲＭリミテッドカンパニーの登録商標である。）
明瞭化のため、本明細書では実際の具現化の全ての特徴を説明するのではない。もちろん、そのような実際の具現化の開発において（開発プロジェクトのような）、開発者特有の目標（例えば、システム及びビジネス関連制約との適合）を達成するために多数の判断をしなければならず且つそれらの目標は、具現化ごとに変化することが明らかであろう。
そのような開発努力は、複雑で且つ時間のかかるものであるが、本開示の利益を得る当業者にとって日常行うべきものであることが明らかである。更に、本開示に使用される言語は、主に、読み易さ及び説明の目的で選択されたもので、本発明の要旨を限定又は制限するために選択されたものではなく、そのような本発明の要旨を決定することは特許請求の範囲に依存する。本明細書において「１つの実施形態」又は「一実施形態」を言及することは、実施形態に関連して述べる特定の特徴、構造又は特性が本発明の少なくとも１つの実施形態に含まれることを意味し、そして「１つの実施形態」又は「一実施形態」を何回も言及することは、必ずしも全てが同じ実施形態を言及すると理解してはならない。
図１を参照すれば、規範的な従来のパーソナル電子装置１００が示されている。図１のパーソナル電子装置１００は、移動電話として描かれているが、ここに述べる技術が具現化されるのは、この形式の装置だけではない。装置１００は、グラフィックオブジェクトを表示しそしてユーザからタッチ入力を受け取ることのできる容量性タッチスクリーンインターフェイスであるディスプレイ１０２を有するものとして描かれている。又、装置１００は、前面カメラ１１２と、例えば、赤外線センサを含む接近センサ１１４とを有するものとして描かれている。前面カメラ１１２は、装置１００のユーザを探し、以下に詳細に述べるように、ユーザの目の凝視の位置及び方向に加えて、装置１００のディスプレイ１０２に対するユーザの距離を推定するのに使用される。接近センサ１１４は、この分野で知られて使用されている多数の良く知られた接近センサの１つでよく、例えば、物理的な接触なしに近傍の物体の存在を検出するのに使用される。この分野で知られているように、接近センサは、多くの場合、電磁界又は静電界、或いは電磁放射ビームを放射する。
前面カメラ１１２及び接近センサ１１４は、ユーザの周囲環境における光レベルを測定しそしてユーザの環境において光源を探すのにも使用される。以下に述べるように、そのような情報は、「実際の世界」に置かれた光源に「反応する」ように見えるグラフィックユーザインターフェイスの現実的なバーチャル３Ｄ描写を行うのに有用である。図１において、ディスプレイ１０２は、多数のグラフィックユーザインターフェイスオブジェクト、例えば、アイコン１０４を表示するように示されている。アイコン１０４は、そのアイコンがユーザにより選択されたときに装置が実行できるプログラム、ファイル又は他のアプリケーションを表わす。又、ディスプレイ１０２には、オブジェクトスプリングボード１１０も示されている。従来技術では、アイコン１０６は、３Ｄオペレーティングシステム環境にあるという見掛けを与えるためにスプリングボード１１０の表面に着座されるものとして描かれている。アイコン１０４／１０６の３Ｄ見掛けを更に向上させるため、アイコン１０４／１０６には、輝き１１３及び／又は反射１０８のような付加的なビジュアルキューが追加される。ある実施形態では、この向上された２Ｄ表現は、ここでは、２ 1/2 Ｄと称される。
図２を参照すれば、１つの実施形態により、２ 1/2 Ｄオペレーティングシステム環境モードにおいて動作するパーソナル電子装置により使用される規範的な３Ｄ ＵＩ技術が示されている。図２において、アイコン２０２は、３つの異なるバーチャル照明環境２０８ａ−ｃで表現されている。各環境において、陰影層２００は、バーチャル光源２０４がアイコン２０２により現実的な影を投げるという錯覚を生じさせるようにアイコン２０２の下に適当に再配置される。例えば、バーチャル照明環境２０８ａでは、バーチャル光源２０４ａがアイコン２０２ａの真上に配置される。従って、陰影層２００は、アイコン２０２ａの真下にあり、即ちオフセットはない。これは、バーチャル照明環境２０８ａにおいて陰影層２００の左下角を表わす座標２０６ａにより指示される。バーチャル照明環境２０８ａにおける位置に比してバーチャル照明環境２０８ｂ及び２０８ｃにおける陰影層２００の再配置を示すために仮説座標（ｘ、ｙ）が座標２０６ａに指定されている。
バーチャル照明環境２０８ｂにおいて、バーチャル光源２０４ｂがアイコン２０２ｂの上及び左に配置されている。従って、陰影層２００は、アイコン２０２ｂの下にあり、右へ若干オフセットされる。オフセット量ｓは、バーチャル光源とアイコンの位置及びそれらの間の距離に基づいて決定され、そしてアイコン２０２ｂに現実的な照明効果を生成する。オフセットｓは、バーチャル照明環境２０８ｂにおける陰影層２００の左下角を表わし且つ仮説座標（ｘ＋ｓ、ｙ）を有する座標２０６ｂにより指示される。
バーチャル照明環境２０８ｃにおいて、バーチャル光源２０４ｃがアイコン２０２ｃの上及び右に配置されている。従って、陰影層２００は、アイコン２０２ｃの下にあり、左へ若干オフセットされる。オフセット量ｓは、バーチャル光源とアイコンの位置及びそれらの間の距離に基づいて決定され、そしてアイコン２０２ｃに現実的な照明効果を生成する。オフセットｓは、バーチャル照明環境２０８ｃにおける陰影層２００の左下角を表わし且つ仮説座標（ｘ−ｓ、ｙ）を有する座標２０６ｃにより指示される。
ここに開示する技術を使用するパーソナル電子装置によって使用されるバーチャル照明環境におけるバーチャル光源２０４の位置は、例えば、装置のオペレーティングシステムによりプログラムで決定されるか、装置のユーザにより手動で選択されるか、又はユーザ環境において検出される周囲光源の位置を模擬するように装置のオペレーティングシステムにより配置される。即ち、装置のユーザの真上に明るい光源が置かれる場合には、装置のオペレーティングシステムは、バーチャル光源をバーチャル照明環境の真上に配置し、ユーザ環境における照明条件を正確に模擬する。更に、複数の光源がバーチャル照明環境において検出され及び模擬され、そしてそのような検出された光源の強度も正確に模擬される。
２ 1/2 Ｄオペレーティングシステム環境技術、例えば、図２を参照して上述した技術は、アップル社のＣＯＲＥ ＡＮＩＭＡＴＩＯＮ（登録商標）フレームワークのような適当なグラフィックプログラミングフレームワークを使用することにより比較的計算上安価に且つ融通性のある仕方でレンダリングされる。（ＣＯＲＥ ＡＮＩＭＡＴＩＯＮ（登録商標）は、アップル社の登録商標である。）例えば、陰影層２００は、バーチャル光源が移動したという錯覚を生じさせるためにバーチャル照明環境における希望の位置に単に再配置される個別のグラフィック層の一例である。ここに記述する再配置技術の１つの効果は、例えば、ユーザの環境における装置の移動又は照明条件の変化のために、グラフィック層の再配置が必須であると装置のオペレーティングシステムが決定するたびに、グラフィック層を構成するピクセルを再レンダリングする必要がないことである。「輝きマップ(shine map)」として知られている別の形式のグラフィック層も、個別のグラフィック層として具現化され、そして異なるバーチャル照明シナリオの錯覚生じさせるためにアイコン又は他のグラフィックユーザインターフェイスオブジェクトの上に再配置される。この場合にも、この技術の１つの効果は、グラフィック層の再配置が必須であると装置のオペレーティングシステムが決定するたびに、輝きマップの下のアイコン又は他のグラフィックユーザインターフェイスオブジェクトのコンテンツを再レンダリングする必要がないことである。
図３を参照すれば、１つの実施形態により、模擬即ちバーチャル光源３０４により照明されるグラフィックユーザインターフェイスオブジェクト１０６のバーチャル３Ｄ描写３０６を提示するパーソナル電子装置１００が示されている。又、図３は、バーチャル３Ｄオペレーティングシステム環境３００の側面図も示す。図１に示された二次元アイコン１０４／１０６は、バーチャル３Ｄオペレーティングシステム環境３００内の同じアイコンオブジェクトのバーチャル３Ｄ表現１０５／１０７に置き換えられている。図３に示すように、アイコンオブジェクトは、スプリングボード１１０に静止着座している。図３において、軸３２０で示すように、Ｘ軸は、ディスプレイ１０２の巾に沿ってページに向かって延び、Ｙ軸は、ディスプレイ１０２の長さに沿って延び、そしてＺ軸は、ディスプレイ１０２の表面から垂直に離れるように延びる。図１においてディスプレイ１０２に描かれたアイコンの付加的な３つの列は、図３ではＸ軸に沿ってページに向かって延びるので見えない。又、ある実施形態では、バーチャル３Ｄオペレーティングシステム環境３００における各々のグラフィックユーザインターフェイスオブジェクトが装置１００のディスプレイ１０２に描かれることも理解されたい。ここでは、簡単化及び明瞭化のために、単一のグラフィックユーザインターフェイスオブジェクト、即ちアイコン１０７の表現のみに焦点を当てる。
３Ｄグラフィック技術で知られているように、バーチャル光源３０４は、装置のプロセッサにより生成され、そしてバーチャル３Ｄオペレーティングシステム環境３００において種々のスポットに「置かれ」、装置ディスプレイ１０２に表示されるオブジェクトに対して現実的な陰影及び輝き効果を発生することができる。図３に示すように、光源３０４は、バーチャル３Ｄオペレーティングシステム環境３００の頂部中央に置かれるが、そのような配置は、厳密に必要とされるのではない。破線３１８は、バーチャルグラフィックユーザインターフェイスオブジェクト１０７から光源３０４までの経路を示す。破線３１８の経路を使用することは、レイトレーシングの幾つかの観点を、装置ディスプレイ１０２にユーザインターフェイスオブジェクトの現実的な３Ｄ描写をレンダリングすることに関連して述べるときに、後で重要となる。
装置１００のユーザの目が、図３に要素３０２で表されている。破線３０８は、ユーザの目から装置１００の前面カメラ１１２までの経路を示す。上述したように、前面カメラ１１２は、破線３１８の長さ（即ち、ユーザの目から装置までの距離）を推定し、ユーザの顔を検出し（及び潜在的に認識し）、ユーザの瞳孔間の現在距離を測定し、又はユーザ環境における光源を探すのに使用される。更に、接近センサ１１４は、ユーザ環境における周囲光レベルを計測するのに使用される。更に、ユーザ環境における光源は、ユーザの目の瞳孔からの鏡面反射を測定することにより検出されてもよい。
ベクトル３１０は、ディスプレイ１０２から垂直方向を指す従法線ベクトルを表わす。
ベクトル３１２は、ディスプレイ１０２からＸ軸に沿ってユーザの目３０２の中心の位置へと直接延びるベクトルを表わす。破線３１４は、ディスプレイ１０２に対してＸ軸の方向にユーザの目３０２の位置を示す上で助けとなるように描かれている。ベクトル３１０とベクトル３１２との間の角度３１６は、ユーザがおそらくディスプレイ１０２を見るところの角度を決定するために装置１００によって使用される。図３に示すように、ユーザは、従法線ベクトル３１０の若干左にいて、即ちページの「中へ」より深くではなく、ページの「紙面」に若干接近しているように思われる。又、図３におけるユーザの現在位置は、グラフィックユーザインターフェイスオブジェクト３０６の描写において、図３に示すユーザの現在方向及び位置についてその左側部３０７が装置ディスプレイ１０２上に若干見えることで反映されている。ユーザの目３０２が装置１００のディスプレイ１０２に対して益々左へ遠く移動するにつれて、即ち角度３１６が増加するにつれて、ユーザは、グラフィックユーザインターフェイスオブジェクト３０６の左側部３０７を益々多く見ることができる。このような技術の適用から得られる３Ｄ効果を理解する１つの仕方は、ハンドヘルド装置１００のディスプレイスクリーン１０２を３Ｄ空間３００への「ウインドウ」として想像することである。実世界におけるウインドウと同様に、観察者がウインドウに接近し又は遠ざかり、或いはウインドウを通して異なる角度で見たとき、観察者は、異なるオブジェクト、異なる角度のオブジェクト、等を見ることができる。これらの効果を得るために、レイトレーシング(ray tracing)として知られている技術を利用することができる。
レイトレーシングは、この分野で知られたように、光子が光源から、観察者が見ているオブジェクトへと移動し、次いで、観察者の目へと、逆の順序のみで、反射される経路を模擬することを含む。従って、このプロセスは、時々「後方レイトレーシング」とも称される。レイトレーシングプロセスの１つの実施形態において、ディスプレイ１０２のピクセルごとに、光線３０４が、観察者の目から所与のピクセルを通してバーチャル３Ｄオペレーティングシステム環境３００へと延びる。どんなバーチャル３Ｄオブジェクトが、バーチャル３Ｄ環境への光線の投影により「突き通され」ても、それが、次いで、ディスプレイ１０２において対応ピクセルで表示される。このプロセスの結果、観察者がウインドウを通してバーチャル３Ｄ環境を見た場合に得たものと同じである光景をディスプレイスクリーン上に生成する。
バーチャル３Ｄ環境への光線の投影によりバーチャル３Ｄオブジェクトが「突き通され」ると、更に別のステップが具現化される。より詳細には、第２の光線３１８がバーチャル３Ｄオブジェクトからバーチャル光源３０４の位置へと延びる。第２の光線３１８が光源３０４へと延びるときにその第２の光線により別のオブジェクトが突き通される場合には、そのピクセルに陰影を付けるためのグラフィックレンダリングエンジンへのキューとなる。図３のケースでは、光線３１８がアイコンオブジェクト１０５及び１０９に交差すると思われ、これは、ユーザがアイコンオブジェクト１０７の頂面を見ることができるように自身の位置（又は装置の位置）を調整する場合にアイコンオブジェクト１０７がその頂面に陰影を投げることを示す。レンダリングされるピクセルと光源との間にオブジェクトが検出されない場合には、光源への相対的な距離及び光源の強度を使用して、所与のピクセルが装置ディスプレイ１０２に表示されるときにその輝度強度を計算することができる。これらの技術を使用することで、バーチャル３Ｄオブジェクトが実際に実世界設定にある場合にそれらオブジェクトに照明が及ぼす効果を正確に描写するバーチャル３Ｄ環境レンダリングを生じることができる。
図３を参照して上述した技術は、装置のＧＰＵが、装置のディスプレイ上の少なくとも１つのグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写に適当な照明及びパースペクティブ変換を適用できるようにし、それにより、装置ユーザのためのより現実的な没入型のバーチャル３Ｄ経験を生じさせる。
図４を参照すれば、１つの実施形態により、代表的な周囲光源４００により照明されたグラフィックユーザインターフェイスオブジェクト１０７のバーチャル３Ｄ描写４０６を提示するパーソナル電子装置１００が示されている。図３を参照して上述した実施形態と同様に、バーチャル３Ｄオペレーティングシステム環境３００の現実的なバーチャル３Ｄ描写を提示するために装置１００のＧＰＵによりレイトレーシング技術が使用される。しかしながら、図４では、バーチャル３Ｄオペレーティングシステム環境３００の光源は、装置のオペレーティングシステムにより任意に生成されるバーチャル光源ではなく、むしろ、バーチャル３Ｄオペレーティングシステム環境３００は、実世界の周囲光源４００により照明されるかのように描写される。従って、バーチャル３Ｄオペレーティングシステム環境からオブジェクト１０７に対して周囲光源４００へトレースバックされる光線は、破線４０８で表されている。装置１００の前面カメラ１１２又は接近センサ１１４を使用して、最も明るい実世界の周囲光源４００への距離（破線４０２で表わされた）及びその相対的な位置、並びにその実世界の周囲光源４００の強度を決定することができる。この情報が確認されると、ＧＰＵは、３Ｄグラフィック技術における良く知られた照明及び陰影付け技術に基づきバーチャル３Ｄオペレーティングシステム環境３００においてオブジェクトを照明することができる。
図４に示すように、周囲光源４００は、装置ディスプレイ１０２の若干右にあり、即ちＸ軸に沿ってページの「中へ」若干遠くにある。又、図４の周囲光源４００の現在位置は、グラフィックユーザインターフェイスオブジェクト４０６の描写において、図４に示す周囲光源４００の現在方向及び位置について陰影４０７の左側部が装置ディスプレイ１０２上に若干見えることで反映されている。周囲光源４００が装置１００のディスプレイ１０２に対して益々右へ遠く移動するにつれて、即ち周囲光源４００がＸ軸に沿ってページの中へ益々深く移動するにつれて、バーチャル３Ｄオペレーティングシステム環境３００においてグラフィックユーザインターフェイスオブジェクト１０５／１０７の左側部に益々大きな陰影４０４が生成される。もちろん、バーチャル３Ｄオペレーティングシステム環境におけるグラフィックユーザインターフェイスオブジェクトのこのような陰影の変化も、グラフィックユーザインターフェイスオブジェクトの陰影付けされた側部がユーザの目３０２の有利な点から見えるように装置１００及び／又はユーザが位置し且つ方向を向いた場合に、装置ディスプレイ１０２上でのオブジェクトのレンダリングに同様に反映される。
これらの技術を使用することに加えて、装置のオペレーティングシステムソフトウェアは、前面カメラの視野を分析することによりユーザ環境において幾つかの光源位置を決定することができる。より詳細には、装置は、前面カメラの視野において最も明るいエリアを探すように試みる。鏡面反射（例えば、眼鏡の反射）を光源として誤って識別するのを回避するために、前面カメラから受信した画像は、標準偏差３．０のガウスのボケを伴う小さな半径を使用してぼかされ、それにより、小さな鏡面反射が目立たないようにする。
１つの実施形態において、最も明るい５％の画像は、所定の輝度値より明るい場合には、画像処理の分野で知られた技術である画像のスレッシュホールド処理によって光源として認識され、位置付けられる。スレッシュホールド処理されると、光源の形状、即ちアルファマスク、及びセントロイドが計算される。計算されたセントロイドを使用して、実世界の３Ｄ空間における光源の包囲方向を決定することができる。更に、前面カメラ画像のルミナンススレッシュホールドバージョンを使用して、バーチャル３Ｄオペレーティングシステム環境におけるカーブしたオブジェクトのレンダリングに現実的な反射を入れることができる。更に、充分な輝度の周囲光源がユーザの環境に置かれていない場合には、図３のようなバーチャル光源を使用することをデフォールトとする。
装置を屋外で使用する場合、ユーザ環境における実世界の光源として太陽の位置を計算することもできる。これは、グリニッチ標準時（ＧＭＴ）、装置のＧＰＳ位置、及びコンパスの方位、並びにローカル地理座標システムにおける装置のフレネットフレームを使用することにより行うことができる。地球上の既知の点における太陽の相対的位置を計算する技術は、良く知られている。太陽の位置は、それが計算されると、太陽の現在位置を表わすバーチャル３Ｄオペレーティングシステム環境のためのバーチャル光源を発生するのに使用される。
図５を参照すれば、１つの実施形態によるパーソナル電子装置１００のフレネットフレーム５００が示されている。上述したように、数学では、フレネットフレームは、三次元空間における連続的な微分可能な曲線に沿って移動する粒子に対して接線、法線及び従法線単位ベクトルにより定義され、これらは、多くの場合、図５に示すように、Ｔ、Ｎ及びＢベクトルと称される。Ｔは、曲線に正接する単位ベクトルで、運動の方向を指し、Ｎは、曲線の弧長パラメータに対するＴの導関数をその長さで除算したものであり、そしてＢは、Ｔ及びＮのクロス積である。図５に示すように、Ｔは、ディスプレイのＹ軸に整列され、Ｎは、ディスプレイのＸ軸に整列され、そしてＢは、ディスプレイの平面に直角である。フレネットフレームのＴ、Ｎ及びＢベクトルは、一緒に、ディスプレイ座標システムを実世界の座標システムに結合する。
コンパス、マイクロ・エレクトロ・メカニカルシステム（ＭＥＭＳ）加速度計、ＧＰＳモジュール、及びＭＥＭＳジャイロメーターのような装置１００の種々の位置センサを使用することにより、装置１００の３Ｄ基準フレームを推測することができる。実際には、現在、装置のフレネットフレームをリアルタイムで追跡して、ハンドヘルド装置の連続的な３Ｄ基準フレームを与えることができる。ユーザの目の位置に加えて、装置の連続的な基準フレームが分かると、図６を参照して以下に述べるように、装置ディスプレイにオブジェクトのより現実的なバーチャル３Ｄ描写を生成して相互作用することができる。
図６を参照すれば、１つの実施形態により、グラフィックユーザインターフェイスオブジェクト１０７のバーチャル３Ｄ描写６０６を提示するパーソナル電子装置１００に対する装置移動６００の効果が示されている。図６において方向付けされた装置１００のフレネットフレーム６０８は、図５において方向付けされた装置１００のフレネットフレーム５００とは実質的に異なることに注意されたい。より詳細には、装置１００は、ユーザの目３０２がバーチャル３Ｄオペレーティングシステム環境６０２へと若干下方を見るように傾斜されている。矢印６００は、図５と図６との間の装置１００の位置の差を表わす。
ユーザの目３０２から装置ディスプレイ１０２の平面を通してバーチャル３Ｄオペレーティングシステム環境６０２へと延びる投影光線軌跡６０４から明らかなように、グラフィックユーザインターフェイスオブジェクト１０７の描写６０７は、装置ディスプレイ１０２上にグラフィックユーザインターフェイスオブジェクト１０７の頂面６０７を僅かに示している。これは、図４に示すグラフィックユーザインターフェイスオブジェクト１０７の描写４０６とは対照的であり、バーチャル３Ｄオペレーティングシステム環境３００への「ウインドウ」（即ち、装置１００のディスプレイ１０２である「ウインドウ」）は、バーチャル３Ｄオペレーティングシステム環境におけるアイコンオブジェクトの垂直スタックの方向に対して更に平行であり、従って、ユーザは、グラフィックユーザインターフェイスオブジェクト１０７の頂面を見ることができない。これらの技術を適用すると、ユーザは、装置及び／又は自分の目の位置を調整して、グラフィックユーザインターフェイスオブジェクトの側面、又はグラフィックユーザインターフェイスオブジェクトの後部も見ることができることが明らかであろう。
図７を参照すれば、１つの実施形態により、グラフィックユーザインターフェイスオブジェクト１０７のバーチャル３Ｄ描写７００を提示するパーソナル電子装置１００に対するユーザの動きの効果が示されている。図３と同様に、破線７１２は、ユーザの目から、装置１００の前面カメラ１１２への経路を示す。上述したように、前面カメラ１１２は、破線７１２の長さ（即ち、ユーザの目から装置までの距離）を推定し、ユーザの顔を検出し（及び潜在的に認識し）、ユーザの瞳孔間の現在距離を測定し、又はユーザ環境における光源を探すのに使用される。ベクトル７０６は、ディスプレイ１０２から垂直方向を指す従法線ベクトルを表わす。ベクトル７０８は、ディスプレイ１０２からＸ軸に沿ってユーザの目７０２の中心の位置へと直接延びるベクトルを表わす。破線７１０は、ディスプレイ１０２に対してＸ軸の方向にユーザの目６０２の位置を示す上で助けとなるように描かれている。ベクトル７０６とベクトル７０８との間の角度７０４は、ユーザがおそらくディスプレイ１０２を見るところの角度を決定するために装置１００により使用される。
図７に示すように、ユーザは、従法線ベクトル７０６の若干左にいて、即ちページの「中へ」より深くではなく、ページの「紙面」に若干接近しているように思われる。
図３に比して、図７におけるユーザの目７０２は、装置１００のディスプレイ１０２から非常に離れている。従って、ディスプレイ１０２へのグラフィックユーザインターフェイスオブジェクト１０７の光線軌跡及び投影（破線７１４で表された）は、グラフィックユーザインターフェイスオブジェクト１０７の描写７００を、図３におけるグラフィックユーザインターフェイスオブジェクト１０７の描写２０６より、図７におけるディスプレイ１０２において下方の位置に配置させる。これは、ユーザが「ウインドウ」を通してバーチャル３Ｄオペレーティングシステム環境３００を見る効果を生じることと一貫したものである。ユーザの目７０２の位置に加えて、装置１００の位置を監視し続けることで、強制的なそして現実的なバーチャル経験を与えることができる。しかしながら、時間と共に装置のフレネットフレーム変化のみを監視することで（即ち、ユーザの位置に関連せずに）、多くの場合に、現実的な３Ｄ ＵＩ効果を生成する装置のオペレーティングシステムソフトウェアにとって充分な情報を与えることに注意されたい。ユーザの厳密な位置を知らずに３Ｄ ＵＩ効果を生成することは、装置に対する典型的なユーザ位置を仮定することにより可能となる。例えば、人間工学的に、パーソナル電子装置のディスプレイを見るのに有用な位置の数は少ないことが認識される。小さな装置は、一般的に、ユーザの目の近くに保持され、そして大きな装置は、一般的に、ユーザの目から離して保持される。
更に、ユーザの凝視は、一般的に、装置のディスプレイ表面の中心に焦点が合わされる。
図８を参照すれば、１つの実施形態により、パーソナル電子装置１００のバーチャル３Ｄ環境８１２内のくぼんだ「弁当箱」フォームファクタが示されている。ユーザが装置１００の周りを動くときには、ディスプレイ１０２に描かれる陰影８１４も動き、ユーザにより認知できる３Ｄ効果を高める。又、種々の他の３Ｄ効果を使用して、ユーザにより認知される３Ｄ効果を高めることもできる。例えば、バーチャル３Ｄ環境８１２内のオブジェクト８０２が丸み付けされた場合には、オブジェクトから反射される輝き８１６も対応的に変化する。オブジェクト８１２が拡散する場合には、それらの陰影が、装置１００の移動と共に変化する。
又、パーソナル電子装置１００のバーチャル３Ｄ環境８１２内のくぼんだ「弁当箱」フォームファクタは、サブボックス８００の各グループ内の個々のインターフェイスオブジェクト８０２で構成される。図８に示すように、３つのサブボックス８００ａ／８００ｂ／８００ｃがある。各サブボックス８００は、くぼんだサブボックス８００の境界を形成する側壁８１８のセットを有する。ユーザが各サブボックス８００の「中を見る」ために装置１００の方向を変えたときに、破線８０４及び破線円８０６で示された「スポットライト」が、ユーザの視野が現在向けられているサブボックスにハイライトを当てる。ある実施形態では、ユーザが特定のサブボックスを見ているかどうかの判断は、例えば、そのサブボックス８００の全ての壁８００がユーザに対して前を向いており、従って、目に見えることに基づく。
図８に示すように、ユーザ８０８ａは、装置１００の上に留まって、視線８１０ａで示すように装置１００のディスプレイ１０２を見降ろしており、現在レンダリングされているディスプレイ１０２では、グラフィックユーザインターフェイスオブジェクト８０２／８０３／８０５／８０７の側面が見えない。ユーザ８０８ａの場合、スポットライト効果８０４／８０６がサブボックス８００ａのエリアにおいてディスプレイ１０２に適用され、グラフィックユーザインターフェイスオブジェクト８０２及び８０３の表現にハイライトを当てるように働く。スポットライト８０６は、バーチャル３Ｄオペレーティングシステム環境において、例えば、図８のサブボックス８００ａのような特定のグラフィックユーザインターフェイスオブジェクト又はエリアに向けられる集中型バーチャル光源であると考えられる。グラフィックの分野では、表示されるオブジェクトのカラーは、光源の色及び強度にディスプレイオブジェクトの色を乗算することで計算される。スポットライトは、光が向けられる位置から光源の位置を減算することにより計算される中心の光ベクトルからの距離又は角度変位の関数として光の強度が減衰する光源として表わされる。この関数は、例えば、指数関数的に減衰することを特徴とする関数である。
ユーザ８０８ｂ及び８０８ｃは、ユーザがバーチャル３Ｄ環境８１２を見るよう試みる別の位置を表わす。視線８１０ｂに沿って見ているユーザ８０８ｂの観点から、サブボックス８００ｂの全ての壁８１８は、ユーザ８０８ｂにとって前を向いており、従って、スポットライト効果８０４／８０６がサブボックス８００ｂのエリアでディスプレイ１０２に適用されて、グラフィックユーザインターフェイスオブジェクト８０５の表現にハイライトを当てるように働く。視線８１０ｃに沿って見ているユーザ８０８ｃの観点から、サブボックス８００ｃの全ての壁８１８は、ユーザ８０８ｃにとって前を向いており、従って、スポットライト効果８０４／８０６がサブボックス８００ｃのエリアでディスプレイ１０２に適用されて、グラフィックユーザインターフェイスオブジェクト８０７の表現にハイライトを当てるように働く。くぼんだ「弁当箱」フォームファクタに対する他の変形例も、本開示の教示の範囲内に入り、そして装置の３Ｄ基準フレーム及び／又はユーザの目の位置を追跡し続けて、ユーザにとってより現実的なバーチャル３Ｄ経験を生み出すという利点を取り入れるように、同様に具現化できることを理解されたい。
図９を参照すれば、１つの実施形態により、バーチャル３Ｄオペレーティングシステム環境３００へレイトレーシング（９０４）されるパーソナル電子装置１０１のタッチスクリーンディスプレイ１０２との接触点９０２が示されている。装置ディスプレイ１０２上のタッチ接触点９０２の位置をバーチャル３Ｄオペレーティングシステム環境３００へとレイトレーシングし（図３を参照して述べたように）、そしてバーチャル３Ｄ環境９０６におけるタッチ点の領域を、それがヒットするオブジェクト（１つ又は複数）と交差させることにより、ユーザは、２Ｄタッチスクリーンインターフェイスを経て３Ｄ環境と相互作用することを知覚し、より豊富で且つより現実的なユーザ経験を与えることができる。
図９に示したように、ユーザ９００がタッチスクリーンディスプレイ１０２にタッチした位置は、バーチャル３Ｄ環境３００におけるタッチ点９０６に対応し、グラフィックユーザインターフェイスオブジェクト１０７と交差する。従って、接触点９０２を生じるユーザ９００によるタッチは、バーチャル３Ｄオペレーティングシステム環境３００におけるオブジェクト１０７に動き又は作用を適用して、バーチャル３Ｄオペレーティングシステム環境３００におけるオブジェクト１０７を、装置が慣習的な“２Ｄ”モードで動作する場合に振舞うのと同様に振る舞わせる。例えば、ここに開示する技術は、サイズ変更、押圧、トグル、ドラグ、プッシュ、プル、衝突効果、及びバーチャル３Ｄオペレーティングシステム環境３００内での現実性についての他の物理的な明示をより強制的で且つ現実的な仕方で模擬できるようにする。３Ｄ ＵＩ「押圧」効果、例えば、ボタン又はアイコン１０７のようなグラフィックユーザインターフェイスオブジェクトの押圧を模擬する場合には、その効果は、ユーザの指９００の検出位置９０２に応答して具現化される。これが行える理由は、ユーザの指９００のタッチ位置９０２が、例えば、図９に破線円９０６で表されたように、バーチャル３Ｄ環境３００にあるときに、そのタッチ位置が、あるグラフィックユーザインターフェイスオブジェクトの平面、例えば、アイコン１０７の前面に交差することが分かり、そしてタッチの動きがその平面へと変換されるか、又はその特定のグラフィックユーザインターフェイスオブジェクトの潜在的な動き自由度に関して解釈されるからである。例えば、あるオブジェクトは、内方に「押圧」することしかできないが、他のものは、多数の方向に自由に動くことができる。
別の実施形態では、ユーザ９００の指先の陰影又は他の指示子９０２が、ディスプレイ１０２に描かれるバーチャル３Ｄオペレーティングシステム環境３００の２Ｄレンダリングにおいて適当な場所に表示される。ユーザ９００の指先の位置に関する情報は、各々この分野で知られたタッチスクリーン又は近フィールド感知技術から報告される接触情報から得ることができる。このようにして、装置１００のユーザは、実際に、バーチャル３Ｄ環境３００の「中に到達した」かのように感じる。近フィールド感知技術を使用すると、「実世界」における指の位置は、当該グラフィックユーザインターフェイスオブジェクトがディスプレイの「ウインドウ」内のバーチャル３Ｄ世界に対してある「距離」にあるときでも、装置のディスプレイから指までの距離を、バーチャル３Ｄオペレーティングシステム環境における当該グラフィックユーザインターフェイスオブジェクトから指までの距離として解釈し直すことにより、バーチャル３Ｄオペレーティングシステム環境における指の位置へと変換することができる。例えば、ここに開示する技術を使用すると、ユーザの指がディスプレイ１０２から１ｃｍであると感知された場合には、バーチャル３Ｄオペレーティングシステム環境におけるユーザタッチ点の位置の当該指示、例えば、図９の破線円９０６は、当該グラフィックユーザインターフェイスオブジェクトの「前方」に陰を投げるか又は他の視覚指示子を表示して、それらが当該グラフィックユーザインターフェイスオブジェクトとまだ相互作用しないという指示をユーザに与えるが、ユーザがその指をディスプレイの「ウインドウ」、即ちタッチ表面ディスプレイ１０２に近づけるように動かす場合には、希望のグラフィックユーザインターフェイスオブジェクトと相互作用することができる。ユーザの望ましいタッチ位置の視覚指示子、例えば、「陰影オフセット」の使用は、向上した３Ｄ ＵＩ効果だけではない。むしろ、装置の３Ｄ基準フレームが分かると、タッチスクリーンの視差の問題、即ちタッチ点と表示される意図されたタッチ位置との不整列を良好に考慮できるので、図９を参照してここに述べた技術は、グラフィックユーザインターフェイスオブジェクトが「現実」のオブジェクトであった場合にユーザが経験する相互作用の良好な表現を装置のユーザに与えることもできる。
図１０を参照すれば、１つの実施形態により、パーソナル電子装置１００のディスプレイ１０２をアクチベートしてバーチャル３Ｄオペレーティングシステム環境モードで動作するための規範的ジェスチャー１００２が示されている。上述したように、３Ｄ情報のレンダリング又はレイトレーシングのために装置のＧＰＵを常時使用するのは、計算費用が高くなり且つバッテリも消耗する。ある実施形態では、装置は、デフォールトにより２Ｄ又は２ 1/2 Ｄモードで動作する。従って、ジェスチャーを使用して、２Ｄ又は２ 1/2 Ｄディスプレイを「解凍」して、３Ｄモードで動作することができる。１つの潜在的な「アクチベーションジェスチャー」は、いわゆる「プリンセスウェイブ」、即ちＹ軸１０００の周りでの装置の波動回転である。例えば、バーチャル３Ｄオペレーティングシステム環境モードは、１つの軸１０００に沿った１０−２０°の変調１００２の４つ以上の波が、所定のスレッシュホールド時間、例えば、１秒以内に生じたときに、ターンオンすることができる。位置の静止、例えば、装置を、少なくとも所定のスレッシュホールド時間、例えば、２ないし３秒間比較的静止状態に保つことは、装置１００を２Ｄ又は２ 1/2 Ｄオペレーティングシステム環境モードに凍結して戻し、そしてオブジェクトの表示を慣習的な２Ｄ表現に回復するための１つの潜在的なキューである。このように、ユーザからの明確なコントロール及び意図がなしに装置１００を３Ｄモードに入れ得ることは、おそらくない。又、装置が充分長時間放置される場合に、計算上安価な２Ｄ又は２ 1/2 Ｄモードに自動的に復帰させることはあり得る。
１つの実施形態において、パーソナル電子装置のディスプレイ１０２をアクチベートするための適当なアクチベートジェスチャー１００２が検出され、そしてバーチャル３Ｄオペレーティングシステム環境モードがターンオンすると、装置のディスプレイ上のグラフィックユーザインターフェイスオブジェクトの各々が「解凍」して、オブジェクトの３Ｄ描写となり、例えば、オブジェクトの２Ｄ描写とほぼ同じで、３Ｄオブジェクトの見掛けを表わす陰影、輝き反射１０１２、及び／又はテクスチャを伴う描写となる。例えば、図１０の装置１００のディスプレイ１０２上に示されたようなスプリングボード１１０上のアイコン１００６の各々は、アイコンの２Ｄ表現から３Ｄ「ルーサイト(Lucite)」キューブ１００４／１００６、即ち透明プラスチック又はガラス状材料で作られたように見えそしてその底部に絵を有するキューブへと変化する。（ＬＵＣＩＴＥ(登録商標)は、ルーサイトインターナショナルインクの登録商標である。）アイコンが３Ｄモードへと解凍されたとき、アイコンキューブ１００４／１００６の底部の絵は、適当に屈折して歪み、視覚的に異なる印象を与える。又、キューブは、それらの前面が若干丸み付けされることも考えられる。これは、アイコンをそれらの下で拡大し、そしてディスプレイがユーザの凝視に対して方向付けし直されたときにそれら表面からの反射「光」を捕えるために行うことができる。
図１１を参照すれば、パーソナル電子装置をバーチャル３Ｄオペレーティングシステム環境モードで動作するためのプロセスの一実施形態がフローチャートの形態で示されている。第１に、プロセスは、ステップ１１００において開始する。次いで、パーソナル電子装置内の１つ以上のプロセッサ又は他のプログラム可能なコントロール装置がバーチャル３Ｄオペレーティングシステム環境を定義する（ステップ１１０２）。次いで、プロセッサ（１つ又は複数）が、ハンドヘルド装置内に配置された１つ以上の位置センサからデータを受け取る（ステップ１１０４）。次いで、プロセッサは、その受け取った位置データに基づいて装置の３Ｄ基準フレームを決定する（ステップ１１０６）。次いで、プロセッサは、ハンドヘルド装置内に配置された１つ以上の光学的センサ、例えば、画像センサ、接近センサ、又はビデオカメラからデータを受け取る（ステップ１１０８）。次いで、プロセッサは、その受け取った光学データに基づいて装置ユーザの目の位置を決定する（ステップ１１１０）。別の実施形態では、ステップ１１１０を省略して、ユーザの固定の、仮定した位置が、プロセッサにより使用されてもよい。例えば、人間工学的に、パーソナル電子装置のディスプレイを見るのに有用な位置は、少数であることが認識されている。
小さな装置は、一般的に、ユーザの目の近くに保持され、そして大きな装置は、一般的に、ユーザの目から離して保持される。更に、ユーザの凝視は、一般的に、装置のディスプレイ表面の中心に焦点が合わされる。最終的に、プロセッサは、次いで、バーチャル３Ｄオペレーティングシステム環境の視覚表現を、決定された３Ｄ基準フレーム及び装置ユーザの目の決定された位置に基づいて、装置のグラフィックユーザインターフェイスディスプレイに投影し、即ちレンダリングする（ステップ１１１２）。上述したように、このプロセスは、例えば、移動電話等のハンドヘルドパーソナル電子装置であるユーザ装置のディスプレイにバーチャル３Ｄオペレーティングシステム環境の個別のより現実的な表現を与えることができる。
図１２を参照すれば、パーソナル電子装置を、バーチャル３Ｄオペレーティングシステム環境モードでの動作と、非バーチャル３Ｄオペレーティングシステム環境モード、例えば、２Ｄモードでの動作との間でトグルするためのプロセスの一実施形態が、フローチャート形態で示されている。先ず、このプロセスは、ステップ１２００で始まる。次いで、パーソナル電子装置内の１つ以上のプロセッサ又は他のプログラム可能なコントロール装置が、装置のグラフィックユーザインターフェイスディスプレイにオペレーティングシステム環境の２Ｄ表現を表示する（ステップ１２０２）。次いで、プロセッサ（１つ又は複数）は、バーチャル３Ｄ表示モード、例えば、充分な度数の装置の１軸正弦波変調に充分短い時間以内に入るためのユーザの希望を表わすジェスチャーを装置において受け取ったかどうか検出する（ステップ１２０４）。そのようなジェスチャーを受け取らない場合には、プロセスは、ステップ１２０２へ戻り、オペレーティングシステム環境の２Ｄ表現を表示し続ける。そうではなくて、プロセッサがそのようなジェスチャーを受け取った場合には、プロセスは、ステップ１２０６へ進み、図１１に示すプロセス、即ち、即ちバーチャル３Ｄオペレーティングシステム環境モードでパーソナル電子装置を動作するプロセスを遂行するようにプロセッサに指示する。バーチャル３Ｄオペレーティングシステム環境モードで動作する間に、プロセッサは、２Ｄ表示モード、例えば、静止状態（あるスレッシュホールド時間量に対してあるスレッシュホールド運動量より少ない）へ復帰するためのユーザの希望を表わすジェスチャーを装置において「聴取」し続ける（ステップ１２０８）。そのようなジェスチャーを受け取らない場合には、プロセスは、ステップ１２０６へ復帰し、図１１に示すプロセスに基づいてオペレーティングシステム環境のバーチャル３Ｄ表現を表示し続ける。そうではなく、２Ｄ表示モードへ復帰するためのユーザの希望を表わすジェスチャーを受け取ったことをプロセッサが検出すると、プロセスは、ステップ１２０２、即ちパーソナル電子装置を２Ｄ表示モードで動作するプロセスへ復帰する。
図１３を参照すれば、ユーザの目の位置を表わすスポットライトをパーソナル電子装置のバーチャル３Ｄオペレーティングシステム環境に投影するためのプロセスの一実施形態がフローチャートの形態で示されている。先ず、このプロセスは、ステップ１３００で始まる。次いで、パーソナル電子装置内の１つ以上のプロセッサ又は他のプログラム可能なコントロール装置がバーチャル３Ｄオペレーティングシステム環境を定義する（ステップ１３０２）。次いで、プロセッサ（１つ又は複数）は、バーチャル３Ｄオペレーティングシステム環境の視覚表現を装置のグラフィックユーザインターフェイスディスプレイに投影し、即ちレンダリングする（ステップ１３０４）。次いで、プロセッサは、ハンドヘルド装置内に配置された１つ以上の光学的センサ、例えば、画像センサ、接近センサ、又はビデオカメラからデータを受け取る（ステップ１３０６）。次いで、プロセッサは、その受け取った光学的データに基づき装置ユーザの目の位置を決定する（ステップ１３０８）。最後に、プロセッサは、その決定された装置ユーザの目の位置に基づいて「スポットライト」の視覚表現をバーチャル３Ｄオペレーティングシステム環境に投影し即ちレンダリングし（ステップ１３１０）、この時点で、プロセスは、ステップ１３０６に復帰し、ここで、プロセッサは、ユーザの目が動いてディスプレイの異なるエリアに焦点を合わせ続けるときに装置のディスプレイを適宜に更新できるようにハンドヘルド装置内に配置された１つ以上の光学的センサから連続的なデータを受け取る。
図１４を参照すれば、装置の環境において検出される周囲光源及び装置の相対的位置に基づきパーソナル電子装置のディスプレイに対するグラフィックユーザインターフェイス効果を具現化するプロセスの一実施形態がフローチャートの形態で示されている。先ず、このプロセスは、ステップ１４００で始まる。次いで、パーソナル電子装置内の１つ以上のプロセッサ又は他のプログラム可能なコントロール装置は、装置のバーチャル“２ 1/2 Ｄ”オペレーティングシステム環境を定義し、即ち陰影及び／又は反射のような幾つかの付加的な視覚キューをアイコン、ツールバー、ウインドウ、等にもつオペレーティングシステム環境の改善型２Ｄ表現を定義し、その付加的なキューは、２Ｄアイコンの「３Ｄ見掛け」を更に増強するのに使用される。ある実施形態では、図１４を参照して述べる技術は、バーチャル３Ｄオペレーティングシステム環境にも適用できる（ステップ１４０２）。次いで、プロセッサ（１つ又は複数）は、装置のグラフィックユーザインターフェイスディスプレイにバーチャル２ 1/2 Ｄオペレーティングシステム環境の視覚表現を投影し即ちレンダリングする（ステップ１４０４）。次いで、プロセッサは、ハンドヘルド装置内に配置された１つ以上の光学的センサ、例えば、画像センサ、接近センサ、又はビデオカメラからデータを受け取る（ステップ１４０６）。次いで、プロセッサは、その受け取った光学データに基づいて１つ以上の周囲光源の位置を決定する（ステップ１４０８）。次いで、プロセッサは、ハンドヘルド装置内に配置された１つ以上の位置センサからデータを受け取る（ステップ１４１０）。次いで、プロセッサは、その受け取った位置データに基づいて装置の３Ｄ基準フレームを決定する（ステップ１４１２）。最後に、プロセッサは、周囲光源の決定された位置及び／又は装置の決定された３Ｄ基準フレームに基づいて、バーチャル２ 1/2 Ｄオペレーティングシステム環境におけるオブジェクトにＵＩ効果（例えば、輝き、陰影）を適用する（ステップ１４１４）。図２を参照して上述したように、陰影及び輝きマップのような種々のグラフィック層は、装置の位置及び／又は周囲光源の位置に基づいて再レンダリングされることなく、連続的に及び動的に再配置される。更に、ディスプレイが既に見えるもの以上に「３Ｄ的」に見えるようにするため種々のグラフィックユーザインターフェイスオブジェクトに対してスケール及び位置の調整を行うこともできる。
図１５を参照すれば、一実施形態による代表的なパーソナル電子装置１５００、例えば、前面カメラ１１２のようなカメラ装置をもつ移動電話の簡単な機能的ブロック図が示されている。パーソナル電子装置１５００は、プロセッサ（１つ又は複数）１５１６と、記憶装置１５１４と、ユーザインターフェイス１５１８と、ディスプレイ１５２０と、コーダ／デコーダ（ＣＯＤＥＣ）１５０２と、バス１５２２と、メモリ１５１２と、通信回路１５１０と、スピーカ又はトランスジューサ１５０４と、マイクロホン１５０６と、位置センサ１５２４と、接近センサ１５２６と、関連カメラハードウェアを伴う画像センサ１５０８と、を備えている。プロセッサ１５１６は、ＧＰＵを含む適当なプログラム可能なコントロール装置であり、そして上述した３Ｄユーザインターフェイス効果のような多数の機能、並びにパーソナル電子装置１５００により遂行される他の機能の動作をコントロールすることができる。プロセッサ１５１６は、ディスプレイ１５２０を駆動し、そしてユーザインターフェイス１５１８からユーザ入力を受け取ることができる。ある実施形態では、装置１５００は、異なる処理義務を果たすための１つ以上のプロセッサを備えている。
記憶装置１５１４は、メディア（例えば、写真及びビデオファイル）、ソフトウェア（例えば、装置１５００上で種々の機能を具現化するための）、好み情報（例えば、メディア再生の好み）、パーソナル情報、及び他の適当なデータを記憶する。記憶装置１５１４は、例えば、ハードドライブ、ＲＯＭのような永久的メモリ、ＲＡＭのような半永久的メモリ、又はキャッシュを含めて、１つ以上の記憶媒体を含む。
メモリ１５１２は、装置の機能を遂行するのに使用される１つ以上の異なる形式のメモリを含む。例えば、メモリ１５１２は、キャッシュ、ＲＯＭ、及び／又はＲＡＭを含む。
バス１５２２は、少なくとも記憶装置１５１４、メモリ１５１２及びプロセッサ１５１６へ、又はそれらから、或いはそれらの間で、データを転送するためのデータ転送経路をなす。ＣＯＤＥＣ１５０２は、デジタルオーディオ信号をアナログ信号に変換してスピーカ１５０４を駆動し、ボイス、音楽及び他の同様のオーディオを含むサウンドを発生するために含まれる。又、ＣＯＤＥＣ１５０２は、マイクロホン１５０６からのオーディオ入力を、メモリ１５１２又は記憶装置１５１４に記憶するためのデジタルオーディオ信号へと変換することもできる。ＣＯＤＥＣ１５０２は、デジタル及び／又はアナログビデオ信号を処理するためのビデオＣＯＤＥＣを含む。
ユーザインターフェイス１５１８は、ユーザがパーソナル電子装置１５００と相互作用するのを許す。例えば、ユーザ入力装置１５１８は、ボタン、キーパッド、ダイヤル、クリックホイール、又はタッチスクリーンのような種々の形態をとることができる。通信回路１５１０は、ワイヤレス通信（例えば、ショートレンジ及び／又はロングレンジ通信）のための回路を含む。例えば、ワイヤレス通信回路は、８０２．１１規格の１つに基づきワイヤレス通信を許すＷｉ−Ｆｉ（登録商標）イネーブル回路である。（Ｗｉ−Ｆｉ（登録商標）は、Ｗｉ−Ｆｉアリアンスの登録商標である。）識別されたプロトコルとは別に又は識別されたプロトコルに加えて、他のワイヤレスネットワークプロトコル規格を使用することもできる。他のネットワーク規格は、ＢＬＵＥＴＯＯＨ（登録商標）、移動通信用のグローバルシステム（ＧＳＭ（登録商標））、及びコード分割多重アクセス（ＣＤＭＡ）ベースのワイヤレスプロトコルを含む。（ＢＬＵＥＴＯＯＨ（登録商標）は、ブルーツースＳＩＧインクの登録商標であり、そしてＧＳＭ（登録商標）は、ＧＳＭアソシエーションの登録商標である。）又、通信回路１５１０は、装置１５００を別の装置（例えば、コンピュータ又はアクセサリ装置）に電気的に結合して、その別の装置と通信できるようにする回路も含む。
１つの実施形態において、パーソナル電子装置１５００は、オーディオ及びビデオのようなメディアを処理及び表示することのできるパーソナル電子装置である。例えば、パーソナル電子装置１５００は、メディアプレーヤのようなメディア装置、例えば、移動電話、ＭＰ３プレーヤ、ゲームプレーヤ、リモートコントローラ、ポータブル通信装置、リモートオーダリングインターフェイス、オーディオツアープレーヤ、又は他の適当なパーソナル装置である。又、パーソナル電子装置１５００は、バッテリ作動式で且つ高度なポータブル性があり、ユーザが、音楽を聞いたり、ゲーム又はビデオをプレイしたり、ビデオを録画したり、ビデオをストリーミングしたり、写真を撮ったり、他のものと通信したり、バーチャルオペレーティングシステム環境と相互作用したり、及び／又は他の装置をコントロールしたりできるようにする。更に、パーソナル電子装置１５００は、ユーザのポケットや手に比較的容易に適合するサイズにされる。ハンドヘルドであることにより、パーソナルコンピューティング装置１５００は、比較的小型で、ユーザが容易に手に持って使用することができ、従って、実際にユーザがどこに旅行しても携帯することができる。
上述したように、ある形式のパーソナル電子装置１５００、例えば、パーソナルメディア装置の比較的小さなフォームファクタは、ユーザが装置の位置、方向及び移動を容易に操作できるようにする。従って、パーソナル電子装置１５００は、そのような位置、方向及び移動の変化を感知して、そのような変化に作用することで、ユーザが装置１５００にインターフェイスし又はそれをコントロールできるようにする改良された技術を提供する。例えば、位置センサ１５２４は、コンパス、加速度計、ジャイロメーター、又はＧＰＳユニットを含む。更に、装置１５００は、装置１５００の動作に関連したユーザへの運動、振動及び／又は移動情報の送信を容易にするために、例えば、プロセッサ１５１６のコントロールのもとで振動源を備えている。パーソナル電子装置１５００は、選択された時間に及び／又は選択された条件のもとで装置１５００が画像又は一連の画像、即ちビデオを連続的又は周期的に捕獲できるようにする画像センサ及び関連カメラハードウェア１５０８を備えている。又、パーソナル電子装置１５００は、装置１５００の周囲の実世界環境において装置１５００が光源を特徴付け且つ識別できるようにすると共に、例えば、ユーザ又はユーザの指が装置１５００のディスプレイ１５２０に接近しているかどうかの決定を行えるようにする接近センサ１５２６も備えている。
以上の説明は、本出願人が考える発明の概念の範囲又は適用性を限定又は制約するものではない。一例として、本開示は、バーチャルオペレーティングシステム環境に対する３Ｄユーザインターフェイス効果に焦点を当てたが、本開示の教示は、他の状況、例えば、デジタル写真、デジタルビデオ、テレビ、ビデオゲーム、バイオメトリック又は監視にも適用できることが明らかであろう。ここに含まれる発明の概念を開示することと引き換えに、本出願人は、特許請求の範囲により与えられる全ての特許権利を希望する。それ故、特許請求の範囲は、請求項又はその等効物の範囲内に入る限り全ての修正や変更を網羅するものとする。
１００：パーソナル電子装置
１０２：ディスプレイ
１０４、１０６：アイコン
１０７：グラフィックユーザインターフェイスオブジェクト
１１２：前面カメラ
１１４：接近センサ
２００：陰影層
２０２：アイコン
２０４：バーチャル光源
２０６：座標
２０８：バーチャル照明環境
３００：バーチャル３Ｄオペレーティングシステム環境
３０２：ユーザの目
３０４：バーチャル光源
３０６：グラフィックユーザインターフェイスオブジェクト
３１０、３１２：ベクトル
４００：周囲光源
４０６：グラフィックユーザインターフェイスオブジェクト
４０７：陰影
５００：フレネットフレーム
６００：装置移動
６０２：バーチャル３Ｄオペレーティングシステム環境
６０６：バーチャル３Ｄ描写
１５００：パーソナル電子装置
１５０２：ＣＯＤＥＣ
１５０４：スピーカ
１５０６：マイクロホン
１５０８：画像センサ／カメラハードウェア
１５１０：通信回路
１５１２：メモリ
１５１４：記憶装置
１５１６：プロセッサ
１５１８：ユーザインターフェイス
１５２０：ディスプレイ
１５２４：位置センサ
１５２６：接近センサ

Claims (23)

  1. 装置内に配置された１つ以上の位置センサから位置データを受け取る段階と、
    前記受け取られた位置データに少なくとも一部分基づき装置の３Ｄ基準フレームを決定する段階と、
    装置内に配置された１つ以上の光学センサから光学データを受け取る段階と、
    少なくとも１つのグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写を含むグラフィックユーザインターフェイスを装置のディスプレイに発生する段階と、
    を備え、
    前記少なくとも１つのグラフィックユーザインターフェイスオブジェクトは、バーチャル３Ｄオペレーティングシステム環境において表現され、
    前記発生する段階は、更に、前記バーチャル３Ｄオペレーティングシステム環境のためのバーチャル光源を発生することを含み、
    前記バーチャル光源は前記光学データによって示される周囲光源の表現を含み、
    前記発生する段階は、前記決定された３Ｄ基準フレーム及び前記光学データに少なくとも一部分基づくものである、グラフィックユーザインターフェイス方法。
  2. 前記発生する段階は、更に、装置のディスプレイ上で前記少なくとも１つのグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写に適当なパースペクティブ変換を適用することを含み、前記変換は、前記決定された３Ｄ基準フレーム及び前記光学データに少なくとも一部分基づく、請求項１に記載のグラフィックユーザインターフェイス方法。
  3. 前記グラフィックユーザインターフェイスは、前記少なくとも１つのグラフィックユーザインタフェイスオブジェクトに対して配置されたグラフィック層をさらに備え、前記グラフィック層は前記決定された３Ｄ基準フレームに少なくとも一部基づいて前記少なくとも１つのグラフィックオブジェクトに対する照明効果を生成する、請求項１及び２のいずれかに記載のグラフィックユーザインターフェイス方法。
  4. 前記装置のタッチスクリーンインターフェイスからデータを受け取る段階を更に備え、前記タッチスクリーンインターフェイスから受け取られたデータは、ユーザが相互作用することを望むバーチャル３Ｄオペレーティングシステム環境における１つ以上の位置を表わす、請求項１から３のいずれかに記載のグラフィックユーザインターフェイス方法。
  5. 前記装置のディスプレイ上の位置に視覚指示子を表示する段階を更に備え、前記視覚指示子の位置は、ユーザが相互作用することを望むバーチャル３Ｄオペレーティングシステム環境における位置を表わす、請求項４に記載のグラフィックユーザインターフェイス方法。
  6. 視差の問題に対し前記視覚指示子が表示される前記装置のディスプレイ上の位置を修正する段階を更に備え、前記修正される位置は、前記装置の前記決定された３Ｄ基準フレームに少なくとも一部分基づく、請求項５に記載のグラフィックユーザインターフェイス方法。
  7. ユーザの位置に対する前記装置の移動に応答して前記装置のディスプレイ上で少なくとも１つのグラフィックユーザインターフェイスオブジェクトの前記発生されたバーチャル３Ｄ描写を調整する段階を更に備えた、請求項１から６のいずれかに記載のグラフィックユーザインターフェイス方法。
  8. 前記調整する段階は、更に、前記装置のディスプレイ上で前記少なくとも１つのグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写に適当なパースペクティブ変換を適用することを含み、前記変換は、前記装置の現在決定された３Ｄ基準フレーム及び前記光学データに少なくとも一部分基づく、請求項７に記載のグラフィックユーザインターフェイス方法。
  9. 前記装置の位置に対する前記装置のユーザの動きに応答して前記装置のディスプレイ上で少なくとも１つのグラフィックユーザインターフェイスオブジェクトの前記発生されたバーチャル３Ｄ描写を調整する段階を更に備えた、請求項１から８のいずれかに記載のグラフィックユーザインターフェイス方法。
  10. 前記調整する段階は、更に、前記装置のディスプレイ上で前記少なくとも１つのグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写に適当なパースペクティブ変換を適用することを含み、前記変換は、前記装置の現在決定された３Ｄ基準フレーム及び前記光学データに少なくとも一部分基づく、請求項９に記載のグラフィックユーザインターフェイス方法。
  11. 前記バーチャル３Ｄオペレーティングシステム環境のための前記発生されるバーチャル光源は、太陽の現在位置の表現を含む、請求項１〜１０のいずれか１項に記載のグラフィックユーザインターフェイス方法。
  12. ビュー表面と、
    バーチャル３Ｄオペレーティングシステム環境と、
    １つ以上のグラフィックユーザインターフェイスオブジェクトと、
    を備え、
    前記１つ以上のグラフィックユーザインターフェイスオブジェクトは、前記バーチャル３Ｄオペレーティングシステム環境において表現され且つ前記ビュー表面上に描写され、 前記ビュー表面上での前記１つ以上のグラフィックユーザインターフェイスオブジェクトの前記描写は、少なくとも一部分は、前記ビュー表面のユーザに対する前記ビュー表面の決定された３Ｄ基準フレームにより決定され、
    前記バーチャル３Ｄオペレーティングシステム環境は、前記ビュー表面と通信する１つ以上の光学センサから受信された光学データによって示される周囲光の表現を含む周囲光源を含み、グラフィックユーザインターフェイス。
  13. 前記ビュー表面は、タッチスクリーンインターフェイスを含む、請求項１２に記載のグラフィックユーザインターフェイス。
  14. 前記タッチスクリーンインターフェイスから受け取られるデータは、前記ビュー表面のユーザが相互作用することを望むバーチャル３Ｄオペレーティングシステム環境における１つ以上の位置を表わす、請求項１３に記載のグラフィックユーザインターフェイス。
  15. 前記ビュー表面上に１つ以上の視覚指示子を含み、前記１つ以上の視覚指示子は、前記ビュー表面のユーザが相互作用することを望むバーチャル３Ｄオペレーティングシステム環境における１つ以上の位置を表わす、請求項１４に記載のグラフィックユーザインターフェイス。
  16. 前記ビュー表面上の１つ以上の視覚指示子の位置は、視差の問題に対して修正され、その修正される位置の決定は、前記ビュー表面の決定された３Ｄ基準フレームに少なくとも一部分基づく、請求項１５に記載のグラフィックユーザインターフェイス。
  17. 前記ビュー表面上の１つ以上のグラフィックユーザインターフェイスオブジェクトの描写は、１つ以上のグラフィックユーザインターフェイスオブジェクトに、次の視覚効果、即ち陰影、輝き、ボケ、及びアルファマスキング、のうちの１つ以上を適用することを含む、請求項１２から１６のいずれかに記載のグラフィックユーザインターフェイス。
  18. ディスプレイと、
    １つ以上の光学センサと、
    １つ以上の位置センサと、
    メモリと、
    を備え、前記メモリは、１つ以上のプログラム可能なコントロール装置が、
    １つ以上の位置センサから位置データを受け取り、
    前記受け取られた位置データに少なくとも一部分基づいて装置の３Ｄ基準フレームを決定し、
    １つ以上の光学センサから光学データを受け取り、
    前記受け取られた光学データに少なくとも一部分基づいてユーザの位置を決定し、
    少なくとも１つのグラフィックユーザインターフェイスオブジェクトのバーチャル３Ｄ描写を前記ディスプレイにレンダリングする、
    ようにさせるためのインストラクションを含み、
    前記レンダリングするためのインストラクションは、前記決定された３Ｄ基準フレーム及び前記決定されたユーザの位置に基づくものであり、
    前記ディスプレイ上の前記少なくとも１つのグラフィックユーザインターフェイスオブジェクトの前記バーチャル３Ｄ描写は、前記受信された光学データによって示される周囲光源の表現を含むバーチャル光源の描写を含む、装置。
  19. 前記１つ以上の位置センサが、コンパス、加速度計、ジャイロメーター、及びグローバルポジショニングシステム（ＧＰＳ）モジュールのうちの１つの以上を含むことを特徴とする請求項１８に記載の装置。
  20. 前記１つ以上の光学センサが画像センサ、接近センサ、及びビデオカメラのうちの１つ以上を含むことを特徴とする請求項１８または１９に記載の装置。
  21. 前記１つ以上の光学センサが前面カメラを含むことを特徴とする請求項１８に記載の装置。
  22. 前記受け取られた光学データに少なくとも一部分基づいてユーザの位置を決定するためのインストラクションは、ユーザから装置のディスプレイまでの距離を計算すること、ユーザの顔を検出すること及びユーザの環境における周囲光源の位置を特定することの１つ以上を実行するためのインストラクションを含んでいることを特徴とする請求項２１に記載の装置。
  23. 前記装置が、移動電話、パーソナルデータアシスタント（ＰＤＡ）、ポータブル音楽プレーヤ、テレビジョン、ゲームコンソール、ポータブルゲーム装置、並びにラップトップ、デスクトップ及びタブレットコンピュータのうちの1つ以上を含むことを特徴とする請求項１８ないし２２のいずれか１つの請求項に記載の装置。
JP2014080418A 2010-08-04 2014-04-09 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果 Active JP5877219B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/849,945 2010-08-04
US12/849,945 US8913056B2 (en) 2010-08-04 2010-08-04 Three dimensional user interface effects on a display by using properties of motion

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013523180A Division JP5524417B2 (ja) 2010-08-04 2011-07-19 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果

Publications (2)

Publication Number Publication Date
JP2014135086A JP2014135086A (ja) 2014-07-24
JP5877219B2 true JP5877219B2 (ja) 2016-03-02

Family

ID=44531201

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013523180A Active JP5524417B2 (ja) 2010-08-04 2011-07-19 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
JP2014080418A Active JP5877219B2 (ja) 2010-08-04 2014-04-09 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013523180A Active JP5524417B2 (ja) 2010-08-04 2011-07-19 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果

Country Status (7)

Country Link
US (2) US8913056B2 (ja)
EP (1) EP2601640B1 (ja)
JP (2) JP5524417B2 (ja)
KR (1) KR101823182B1 (ja)
CN (1) CN103119628B (ja)
TW (1) TWI470534B (ja)
WO (1) WO2012018513A1 (ja)

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010108499A2 (en) * 2009-03-22 2010-09-30 Algreatly Cherif Atia 3d navigation method and system
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
KR101705119B1 (ko) * 2010-09-15 2017-02-10 삼성전자 주식회사 전자 기기에서 2차원 이미지로 3차원 화면을 구성하는 방법 및 그 전자 기기
US9360959B2 (en) 2010-10-12 2016-06-07 Tactonic Technologies, Llc Fusing depth and pressure imaging to provide object identification for multi-touch surfaces
JP5781080B2 (ja) * 2010-10-20 2015-09-16 三菱電機株式会社 ３次元立体表示装置および３次元立体表示処理装置
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
JP5742187B2 (ja) * 2010-11-26 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120242664A1 (en) * 2011-03-25 2012-09-27 Microsoft Corporation Accelerometer-based lighting and effects for mobile devices
JP5874192B2 (ja) * 2011-04-11 2016-03-02 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
KR101789624B1 (ko) * 2011-06-20 2017-10-25 엘지전자 주식회사 휴대 단말기 및 그 제어방법
ITTO20110654A1 (it) * 2011-07-20 2013-01-21 Inst Rundfunktechnik Gmbh Generatore di segnale test, segnale test per apparecchi
KR101830966B1 (ko) * 2011-09-21 2018-02-22 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 생성 방법
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
KR101322465B1 (ko) * 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
EP2783273A4 (en) * 2011-11-21 2015-08-26 Intel Corp MODIFYING CHROME PER ACCORDING TO ENVIRONMENTAL CONDITIONS
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US9324184B2 (en) * 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
JP6404120B2 (ja) * 2011-12-27 2018-10-10 インテル コーポレイション モバイル・デバイスにおける完全な３ｄ対話
RU2623201C2 (ru) 2012-01-11 2017-06-27 Ултра-Д Коператиф У.А. Мобильное устройство отображения
US9378581B2 (en) * 2012-03-13 2016-06-28 Amazon Technologies, Inc. Approaches for highlighting active interface elements
US8630458B2 (en) 2012-03-21 2014-01-14 Google Inc. Using camera input to determine axis of rotation and navigation
US8937591B2 (en) 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
CN102662473B (zh) * 2012-04-16 2016-08-24 维沃移动通信有限公司 基于眼部动作识别来实现人机信息交互的装置及方法
US11073959B2 (en) 2012-06-08 2021-07-27 Apple Inc. Simulating physical materials and light interaction in a user interface of a resource-constrained device
US9456244B2 (en) 2012-06-25 2016-09-27 Intel Corporation Facilitation of concurrent consumption of media content by multiple users using superimposed animation
US9339726B2 (en) * 2012-06-29 2016-05-17 Nokia Technologies Oy Method and apparatus for modifying the presentation of information based on the visual complexity of environment information
US8922557B2 (en) 2012-06-29 2014-12-30 Embarcadero Technologies, Inc. Creating a three dimensional user interface
TWI509289B (zh) * 2012-08-27 2015-11-21 Innocom Tech Shenzhen Co Ltd 立體顯示裝置及其影像顯示方法
US9654556B2 (en) 2012-10-02 2017-05-16 Razer (Asia-Pacific) Pte. Ltd. Managing applications on an electronic device
US9776078B2 (en) 2012-10-02 2017-10-03 Razer (Asia-Pacific) Pte. Ltd. Application state backup and restoration across multiple devices
US9717985B2 (en) 2012-10-02 2017-08-01 Razer (Asia-Pacific) Pte. Ltd. Fragment-based mobile device application streaming utilizing crowd-sourcing
US9430991B2 (en) * 2012-10-02 2016-08-30 Futurewei Technologies, Inc. User interface display composition with device sensor/state based graphical effects
US9747000B2 (en) 2012-10-02 2017-08-29 Razer (Asia-Pacific) Pte. Ltd. Launching applications on an electronic device
US9106721B2 (en) 2012-10-02 2015-08-11 Nextbit Systems Application state synchronization across multiple devices
US8698835B1 (en) * 2012-10-16 2014-04-15 Google Inc. Mobile device user interface having enhanced visual characteristics
US9417666B2 (en) * 2012-10-19 2016-08-16 Microsoft Technology Licesning, LLC User and device movement based display compensation
US9058053B2 (en) 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
CN102957931A (zh) * 2012-11-02 2013-03-06 京东方科技集团股份有限公司 一种3d显示的控制方法和装置、及视频眼镜
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9197760B2 (en) * 2013-01-07 2015-11-24 Lenovo (Singapore) Pte. Ltd. Hand activated mode setting
US9324166B2 (en) * 2013-01-31 2016-04-26 American Greetings Corporation Systems, methods, and apparatuses for creating digital glitter
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
US10120540B2 (en) 2013-03-14 2018-11-06 Samsung Electronics Co., Ltd. Visual feedback for user interface navigation on television system
USD735232S1 (en) * 2013-03-14 2015-07-28 Microsoft Corporation Display screen with graphical user interface
USD733739S1 (en) * 2013-03-14 2015-07-07 Microsoft Corporation Display screen with graphical user interface
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
USD745876S1 (en) * 2013-03-14 2015-12-22 Microsoft Corporation Display screen with graphical user interface
US9389728B2 (en) * 2013-03-15 2016-07-12 Elwha Llc Systems and methods for parallax compensation
US9395902B2 (en) * 2013-03-15 2016-07-19 Elwha Llc Systems and methods for parallax compensation
US20140267006A1 (en) * 2013-03-15 2014-09-18 Giuseppe Raffa Automatic device display orientation detection
US9798461B2 (en) 2013-03-15 2017-10-24 Samsung Electronics Co., Ltd. Electronic system with three dimensional user interface and method of operation thereof
US10123189B2 (en) 2013-03-21 2018-11-06 Razer (Asia-Pacific) Pte. Ltd. Electronic device system restoration by tapping mechanism
US10019130B2 (en) * 2013-04-21 2018-07-10 Zspace, Inc. Zero parallax drawing within a three dimensional display
KR101474552B1 (ko) * 2013-04-24 2014-12-22 주식회사 실리콘아츠 컴퓨터 실행 가능한 3차원 콘텐츠 디스플레이 방법, 이를 수행하는 3차원 콘텐츠 디스플레이 장치 및 이를 저장하는 기록매체
TWI547626B (zh) * 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
USD741353S1 (en) * 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN109240506A (zh) * 2013-06-13 2019-01-18 原相科技股份有限公司 具有手势感测器的装置
US9372103B2 (en) 2013-07-12 2016-06-21 Facebook, Inc. Calibration of grab detection
US9857876B2 (en) * 2013-07-22 2018-01-02 Leap Motion, Inc. Non-linear motion capture using Frenet-Serret frames
US10592064B2 (en) * 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
EP3047363B1 (en) * 2013-09-17 2019-11-06 Amazon Technologies, Inc. Approaches for three-dimensional object display
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
US10067634B2 (en) * 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
US9317175B1 (en) * 2013-09-24 2016-04-19 Amazon Technologies, Inc. Integration of an independent three-dimensional rendering engine
USD768162S1 (en) * 2013-09-30 2016-10-04 Nextbit Systems Inc. Display screen or portion thereof with graphical user interface
WO2015075590A2 (en) 2013-11-20 2015-05-28 Koninklijke Philips N.V. Methods and apparatus for light-based positioning and navigation
US10303324B2 (en) * 2014-02-10 2019-05-28 Samsung Electronics Co., Ltd. Electronic device configured to display three dimensional (3D) virtual space and method of controlling the electronic device
US9958963B2 (en) 2014-02-19 2018-05-01 American Greetings Corporation Systems, methods, and apparatuses for creating digital glitter with accelerometer
GB2523345B (en) 2014-02-20 2018-01-17 Samsung Electronics Co Ltd Detecting user viewing difficulty from facial parameters
WO2015130137A1 (en) * 2014-02-27 2015-09-03 Samsung Electronics Co., Ltd. Method and device for displaying three-dimensional graphical user interface screen
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
JP2015166890A (ja) 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9710098B2 (en) * 2014-03-31 2017-07-18 Samsung Display Co., Ltd. Method and apparatus to reduce latency of touch events
EP3130994A4 (en) * 2014-04-07 2018-01-03 Sony Corporation Display control device, display control method, and program
KR102224478B1 (ko) * 2014-04-15 2021-03-08 엘지전자 주식회사 터치 센서티브 플렉서블 디스플레이 디바이스 및 그 제어 방법
US10318016B2 (en) * 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
EP3699736B1 (en) * 2014-06-14 2023-03-29 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9389703B1 (en) * 2014-06-23 2016-07-12 Amazon Technologies, Inc. Virtual screen bezel
TWI530864B (zh) * 2014-08-19 2016-04-21 宏碁股份有限公司 可攜式電子裝置以及使用者介面操作方法
WO2016064311A1 (en) * 2014-10-22 2016-04-28 Telefonaktiebolaget L M Ericsson (Publ) Method and device for providing a touch-based user interface
CN104349155B (zh) * 2014-11-25 2017-02-01 深圳超多维光电子有限公司 模拟立体图像显示方法及显示设备
US10039975B2 (en) 2015-01-13 2018-08-07 Disney Enterprises, Inc. Techniques for representing imaginary participants in an immersive play environment
US10265621B2 (en) 2015-01-20 2019-04-23 Disney Enterprises, Inc. Tracking specific gestures relative to user movement
US9855497B2 (en) 2015-01-20 2018-01-02 Disney Enterprises, Inc. Techniques for providing non-verbal speech recognition in an immersive playtime environment
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
US20160210382A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Autonomous driving refined in virtual environments
US20160210383A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual autonomous response testbed
US9818037B2 (en) 2015-02-04 2017-11-14 Invensense, Inc. Estimating heading misalignment between a device and a person using optical sensor
JP6756090B2 (ja) * 2015-06-17 2020-09-16 凸版印刷株式会社 画像処理装置、方法、及びプログラム
CN105141938B (zh) * 2015-08-18 2017-12-01 深圳先进技术研究院 视线定位装置
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
WO2017107171A1 (zh) * 2015-12-25 2017-06-29 华为技术有限公司 一种人机交互方法及电子设备
US10318043B2 (en) * 2016-03-24 2019-06-11 Gm Global Technology Operations Llc. Dynamic adjustment of touch sensitive area in a display assembly
US10303341B2 (en) * 2016-05-25 2019-05-28 International Business Machines Corporation Modifying screen content based on gaze tracking and user distance from the screen
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
CN114693289A (zh) 2016-06-11 2022-07-01 苹果公司 用于交易的用户界面
KR102588518B1 (ko) * 2016-07-06 2023-10-13 삼성전자주식회사 전자 장치 및 이의 디스플레이 방법
US10225655B1 (en) * 2016-07-29 2019-03-05 Relay Cars LLC Stereo user interface elements placed in 3D space for virtual reality applications in head mounted displays
US11115408B2 (en) 2016-08-09 2021-09-07 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10210380B2 (en) 2016-08-09 2019-02-19 Daon Holdings Limited Methods and systems for enhancing user liveness detection
US10628661B2 (en) 2016-08-09 2020-04-21 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10217009B2 (en) * 2016-08-09 2019-02-26 Daon Holdings Limited Methods and systems for enhancing user liveness detection
CN107025035B (zh) 2016-11-30 2020-02-14 阿里巴巴集团控股有限公司 控制移动终端屏幕显示的方法及移动终端
WO2018149681A1 (en) * 2017-02-16 2018-08-23 Philips Lighting Holding B.V. A controller for indicating a presence of a virtual object via a lighting device and a method thereof
USD845336S1 (en) 2017-05-03 2019-04-09 Google Llc Display screen or portion thereof with graphical user interface
CN107181939A (zh) * 2017-05-10 2017-09-19 廖治文 基于摄像头的裸眼三维成像方法及系统
US11221744B2 (en) * 2017-05-16 2022-01-11 Apple Inc. User interfaces for peer-to-peer transfers
CN118264636A (zh) 2017-05-16 2024-06-28 苹果公司 用于对等传输的用户界面
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
US10699371B2 (en) * 2017-08-18 2020-06-30 Rockwell Collins, Inc. Systems and methods for reducing parallax in aircraft displays
US10783681B2 (en) 2017-09-13 2020-09-22 International Business Machines Corporation Artificially tiltable image display
CN107592521A (zh) * 2017-09-14 2018-01-16 陈乐春 基于人眼视觉特点的全景视野呈现方法
CN108536289B (zh) * 2018-03-28 2022-11-15 北京凌宇智控科技有限公司 一种虚拟环境的场景切换方法及系统
KR20240024294A (ko) 2018-06-03 2024-02-23 애플 인크. 트랜스퍼 계정들을 위한 사용자 인터페이스들
US11159731B2 (en) 2019-02-19 2021-10-26 Samsung Electronics Co., Ltd. System and method for AI enhanced shutter button user interface
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
KR20200126232A (ko) * 2019-04-29 2020-11-06 삼성전자주식회사 전자 장치 및 그 영상을 출력하는 방법
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
US12118562B2 (en) 2020-05-29 2024-10-15 Apple Inc. Configuring an account for a second user identity
CN114584652B (zh) * 2020-11-28 2023-06-20 华为技术有限公司 一种用户图形界面显示方法、装置、计算机设备及存储介质
US11838684B2 (en) 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications
US11315291B1 (en) * 2021-01-29 2022-04-26 International Business Machines Corporation Shine visualization
US11983702B2 (en) 2021-02-01 2024-05-14 Apple Inc. Displaying a representation of a card with a layered structure
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11784956B2 (en) 2021-09-20 2023-10-10 Apple Inc. Requests to add assets to an asset account
US20230400960A1 (en) * 2022-06-13 2023-12-14 Illuscio, Inc. Systems and Methods for Interacting with Three-Dimensional Graphical User Interface Elements to Control Computer Operation

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6344863B1 (en) 1999-11-24 2002-02-05 International Business Machines Corporation Three-dimensional GUI windows with variable-speed perspective movement
US6907579B2 (en) 2001-10-30 2005-06-14 Hewlett-Packard Development Company, L.P. User interface and method for interacting with a three-dimensional graphical environment
JP2004309947A (ja) * 2003-04-10 2004-11-04 Sharp Corp データ表示装置、データ表示プログラム、および、プログラム記録媒体
JP4000570B2 (ja) 2004-04-14 2007-10-31 ソニー株式会社 情報処理装置および方法
US20050243085A1 (en) 2004-05-03 2005-11-03 Microsoft Corporation Model 3D construction application program interface
CN100461212C (zh) * 2004-06-04 2009-02-11 松下电器产业株式会社 显示控制方法及装置以及便携设备
JP2006126445A (ja) * 2004-10-28 2006-05-18 Matsushita Electric Ind Co Ltd ナビゲーションシステム
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
US8589142B2 (en) * 2005-06-29 2013-11-19 Qualcomm Incorporated Visual debugging system for 3D user interface program
JP2007080060A (ja) * 2005-09-15 2007-03-29 Matsushita Electric Ind Co Ltd 対象物特定装置
US7694231B2 (en) * 2006-01-05 2010-04-06 Apple Inc. Keyboards for portable electronic devices
JP4977995B2 (ja) 2005-10-26 2012-07-18 日本電気株式会社 携帯表示装置
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8745535B2 (en) 2007-06-08 2014-06-03 Apple Inc. Multi-dimensional desktop
TW200919294A (en) 2007-10-24 2009-05-01 Inventec Corp 3D-window operation interface based on graphical user interface and method thereof
US8384718B2 (en) * 2008-01-10 2013-02-26 Sony Corporation System and method for navigating a 3D graphical user interface
US8423076B2 (en) * 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
US8681093B2 (en) * 2008-02-11 2014-03-25 Apple Inc. Motion compensation for screens
US20090251460A1 (en) * 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
US8477139B2 (en) 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
US9092053B2 (en) 2008-06-17 2015-07-28 Apple Inc. Systems and methods for adjusting a display based on the user's position
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
US20100115471A1 (en) 2008-11-04 2010-05-06 Apple Inc. Multidimensional widgets
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
JP2011203984A (ja) 2010-03-25 2011-10-13 Soka Univ ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
EP2573650A1 (en) 2010-05-20 2013-03-27 Nec Corporation Portable information processing terminal
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9014754B2 (en) 2010-11-02 2015-04-21 Nec Casio Mobile Communications, Ltd. Information processing system and information processing method

Also Published As

Publication number Publication date
WO2012018513A1 (en) 2012-02-09
TWI470534B (zh) 2015-01-21
CN103119628A (zh) 2013-05-22
US20120036433A1 (en) 2012-02-09
JP2013537670A (ja) 2013-10-03
US20150106768A1 (en) 2015-04-16
JP2014135086A (ja) 2014-07-24
KR20140005141A (ko) 2014-01-14
TW201214266A (en) 2012-04-01
US9417763B2 (en) 2016-08-16
EP2601640A1 (en) 2013-06-12
JP5524417B2 (ja) 2014-06-18
CN103119628B (zh) 2016-06-08
US8913056B2 (en) 2014-12-16
KR101823182B1 (ko) 2018-01-29
EP2601640B1 (en) 2017-03-01

Similar Documents

Publication Publication Date Title
JP5877219B2 (ja) 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
US9778815B2 (en) Three dimensional user interface effects on a display
US20230325004A1 (en) Method of interacting with objects in an environment
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
CN111344749A (zh) 引向用户关注
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
US20240019982A1 (en) User interface for interacting with an affordance in an environment
CN113243000B (zh) 用于增强现实对象的捕捉范围

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140501

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160125

R150 Certificate of patent or registration of utility model

Ref document number: 5877219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250