TWI470534B - 藉由使用運動的性質在一顯示器上之三維使用者介面效應 - Google Patents

藉由使用運動的性質在一顯示器上之三維使用者介面效應 Download PDF

Info

Publication number
TWI470534B
TWI470534B TW100127614A TW100127614A TWI470534B TW I470534 B TWI470534 B TW I470534B TW 100127614 A TW100127614 A TW 100127614A TW 100127614 A TW100127614 A TW 100127614A TW I470534 B TWI470534 B TW I470534B
Authority
TW
Taiwan
Prior art keywords
user interface
graphical user
virtual
display
location
Prior art date
Application number
TW100127614A
Other languages
English (en)
Other versions
TW201214266A (en
Inventor
Mark Zimmer
Geoff Stahl
David Hayward
Frank Doepke
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201214266A publication Critical patent/TW201214266A/zh
Application granted granted Critical
Publication of TWI470534B publication Critical patent/TWI470534B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Description

藉由使用運動的性質在一顯示器上之三維使用者介面效應
本應用係關於資料處理之技術領域，而更特定言之，係關於涉及由三維空間所表示之介面的操作者介面處理。
視訊遊戲現使用(例如)自手持型器件或控制儀器中之羅盤、加速度計、陀螺計及全球定位系統(GPS)單元收集的各種運動及位置性質來改良在模擬(亦即，虛擬)之三維(3D)環境中的玩遊戲經驗已不是秘密。事實上，用以自此等控制儀器提取所謂之「六軸線」位置資訊的軟體係熟知的，且現今被用於許多視訊遊戲中。六個軸線中之前三個軸線描述器件在三維空間中之「偏航-俯仰-滾轉」。在數學中，常常將沿三維空間中之連續、微分曲線而移動之粒子的正切、法線及次法線(binormal)單位向量稱為T、N及B向量(或統稱為「弗雷內標架系統(Frenet frame)」)，且將其定義如下：T為與曲線正切之單位向量，其指向運動的方向；N為T相對於曲線之弧長參數除以其長度的導數；且B為T與N之交叉乘積。當器件移動穿過空間時，亦可將器件之「偏航-俯仰-滾轉」表示為器件之連續弗雷內標架系統之間的角度Δ。六個軸線中之其他三個軸線描述器件在相對三維空間中之「X-Y-Z」位置，其亦可用於進一步模擬與虛擬3D環境之互動。
面部偵測軟體在此項技術中亦為熟知的且現今被應用於許多實際應用中，該等應用包括：數位攝影術、數位攝像、視訊遊戲、生物統計學、監視及甚至能量節約。風行之面部偵測演算法包括Viola-Jones物件偵測構架及Schneiderman & Kanade方法。可結合具有正面照相相機(front-facing camera)之器件來使用面部偵測軟體以判定何時在器件前部存在人使用者，以及追蹤此使用者在器件前部之移動。
然而，當前系統不考慮演現(render)虛擬3D環境之器件的地點及位置(除器件之使用者的地點及位置外)，以及使用者環境之實體及照明性質以便在器件顯示器上演現更有趣且視覺上使人愉快之互動式虛擬3D環境。
因此，需要用於連續追蹤具有顯示器之電子器件之移動以及此電子器件之使用者之環境中的照明條件與此電子器件之使用者之移動(且尤其係器件之使用者之眼睛的位置)的技術。藉由關於使用者環境中之照明條件、使用者眼睛之位置及電子器件之顯示器之連續3D參考標架的資訊，可由使用者建立器件顯示器上之物件之更逼真的虛擬3D描繪並與之互動。
本文中所揭示之技術使用各種位置感測器(例如，羅盤、微機電系統(MEMS)加速度計、GPS模組及MEMS陀螺計)來推斷個人電子器件(例如，諸如行動電話之手持型器件)之3D參考標架(其可為非慣性參考標架)。此等位置感測器之使用可提供器件之真實弗雷內標架系統(亦即，顯示器之X及Y向量，以及垂直地指向顯示器之Z向量)。事實上，藉由來自加速度計、陀螺計及即時地報告其狀態之其他儀器的各種慣性線索，有可能即時地追蹤器件之弗雷內標架系統，因此提供手持型器件之連續3D參考標架。一旦已知器件之連續參考標架，將在本文中揭示之技術便可接著推斷使用者眼睛之位置，抑或藉由使用正面照相相機來直接計算使用者眼睛之位置。藉由使用者眼睛之位置及顯示器之連續3D參考標架，可建立器件顯示器上之物件之更逼真的虛擬3D描繪並與之互動。
為實現器件顯示器上之物件之更逼真的虛擬3D描繪，可將物件演現於顯示器上，如同其係在器件之作業系統環境中之真實3D「地方」中。在一些實施例中，顯示器上之物件的位置可藉由射線追蹤其虛擬座標(亦即，其在物件之虛擬3D世界中的座標)返回至器件使用者之眼睛並使物件之座標與器件顯示器之真實平面相交來加以計算。在其他實施例中，可回應於器件之移動、使用者之移動或使用者環境中之照明條件而將虛擬3D使用者介面(UI)效應(本文中稱為「2D」效應)施加至器件顯示器上之2D物件以便使該等2D物件向使用者「呈現」為虛擬三維物件。
可使用此技術達成之3D UI效應
有可能(例如)回應於器件之移動、使用者之移動或使用者環境中之照明條件而使用使用者介面環境之2D描繪來將逼真的移動光澤或移動陰影置於顯示於器件上之圖形使用者介面物件(例如，圖示)上。
亦有可能建立「虛擬3D作業系統環境」，且允許器件之使用者「察看」位於該虛擬3D作業系統環境中之圖形使用者介面物件以便看見其「側面」。若放大參考標架以允許使用者聚焦於一特定圖形使用者介面物件，則亦有可能經由器件或使用者之特定位置改變以及使用者與器件顯示器之互動而使使用者旋轉該物件以亦「看見其後面」。
亦有可能使虛擬3D作業系統環境演現為在顯示器內部具有凹陷之「便當盒」外觀尺寸。此外觀尺寸對於模組化介面而言將為有利的。當使用者旋轉器件時，其可獨立地窺視便當盒之每一「小房間」。接著亦將有可能經由使用正面照相相機來使視覺「聚光燈」效應跟隨使用者之注視，亦即，藉由使聚光燈效應「照耀」於顯示器中使用者當前正窺視的地方上。亦有可能僅基於器件之所判定的3D參考標架來控制聚光燈效應之位置。舉例而言，聚光燈效應可經組態以照耀至扭曲之法線向量指向在方向上最接近於器件使用者之當前位置的小房間中。
與顯示器內部之虛擬3D世界的互動
為經由觸摸而與虛擬3D顯示器進行互動，本文中所揭示之技術使得有可能射線追蹤器件顯示器上之觸摸點的地點至虛擬3D作業系統環境中並使該觸摸點之區域與其命中之任何一或多個物件相交。可發生由與虛擬3D作業系統環境之觸摸式互動所引起的物件之運動(類似於該運動在2D模式下發生之方式)，但本文中所揭示之技術將使得有可能模擬在虛擬3D作業系統環境內實體之碰撞效應及其他實體表現。此外，當已知器件之弗雷內標架系統時，有可能更好地解決諸如觸控式螢幕視差(亦即，觸摸點與正顯示之預期觸摸地點之間的定位不準(misregistration))之問題。
如何防止GPU不斷地重新 演現
為防止圖形處理單元(GPU)之過度使用及器件上之過度電池汲取，本文中所揭示之技術使用用以接通「虛擬3D作業系統環境」模式之特定化示意動作以及用以切斷該模式之位置靜止的使用。在一實施例中，該示意動作係所謂之「公主波」(亦即，器件繞其軸線中之一者的波運動旋轉)。舉例而言，當在1秒之跨度內發生沿一軸線之10-20度的三個以上的波時，可接通「虛擬3D作業系統環境」模式。
在一實施例中，當「虛擬3D作業系統環境」模式接通時，UI之顯示器「解凍」且變為作業系統環境之3D描繪(較佳類似於2D描繪，連同陰影及指示3D物件外觀之紋理)。當該模式被切斷時，顯示器可緩慢地轉變回至標準定向，且凍結回至使用者介面環境之2D或2D描繪。位置靜止(例如，使器件保持相對靜止歷時2至3秒)可為給器件的一潛在提示：凍結回至2D或2D作業系統環境模式且使物件之顯示恢復至其更傳統之2D表示。
以及桌上型機器
在桌上型機器中，器件之弗雷內標架系統未改變，且使用者相對於器件顯示器之位置將可能改變得非常小，但使用者眼睛之位置可能顯著改變。結合面部偵測軟體，正面照相相機將允許計算使用者眼睛之位置。使用相機之視野資訊，亦將有可能估計使用者頭部距顯示器之距離(例如，藉由量測頭部大小或藉由量測所偵測之使用者的瞳孔至瞳孔距離及根據人體工學準則而採用人頭部之正準量測)。使用此資料，將接著有可能描繪逼真的2D或3D作業系統環境模式(例如，經由將光澤置於視窗、標題列及其他UI物件上以及使其回應於使用者眼睛之運動或使用者頭部之不斷改變的位置而移動)。此外，在使用者將其頭部移位至側面及/或使其頭部朝顯示器移動之後，亦將有可能使用使用者頭部及眼睛的位置來允許使用者「向視窗下方看」。
由於由本文中所揭示之實施例所呈現的革新，可直接由個人電子器件之硬體及/或軟體來實施利用下文所描述之運動性質的3D UI效應，從而使該等技術易於應用於任何數目個個人電子器件(諸如行動電話、個人資料助理(PDA)、攜帶型音樂播放器、電視、遊戲控制台、攜帶型遊戲器件以及膝上型電腦、桌上型電腦及平板電腦)。
本發明係關於用於連續地追蹤具有顯示器之電子器件之移動以及此電子器件之使用者之環境中的照明條件與此電子器件之使用者之移動(且尤其係器件之使用者之眼睛的位置)的技術。藉由使用者眼睛之位置及電子器件之顯示器的連續3D參考標架，可建立器件顯示器上之物件之更逼真的虛擬3D描繪並與之互動。儘管本發明論述一種用於建立個人電子器件之顯示器上之物件的更逼真的虛擬3D描繪之新技術，但一般熟習此項技術者將認識到，亦可將所揭示之技術應用於其他情況及應用。本文中所揭示之技術適用於具有位置感測器、近接感測器及/或數位影像感測器之任何數目個電子器件：諸如數位相機、數位視訊攝影機、行動電話、個人資料助理(PDA)、攜帶型音樂播放器、電視、遊戲控制台、攜帶型遊戲器件、桌上型電腦、膝上型電腦及平板電腦，及遊戲控制器。一嵌入式處理器(諸如具有v7-A架構之A8)提供可用於實施所揭示之技術的多功能及強健之可程式化控制器件。(及為英國之ARM有限公司的註冊商標。)
為了清晰起見，本說明書中未描述實際實施之所有特徵。當然將瞭解，在任何此種實際實施之發展中(如在任何發展項目中)，必須作出眾多決策以達成開發者之特定目標(例如，與系統相關約束及商業相關約束的合規性)，且此等目標將自一實施至另一實施而變化。將瞭解，此發展努力可為複雜及耗時的，但對於受益於本發明之一般熟習此項技術者而言將仍然為一項常規事業。此外，本發明中所使用之語言係主要出於可讀性及指導性的目的而加以選擇，且可能並未被選擇用來描繪或限定發明性標的，有必要訴諸申請專利範圍來判定此發明性標的。說明書中對「一實施例」的參考意謂將結合實施例所描述之特定特徵、結構或特性包括於本發明之至少一實施例中，且不應將對「一實施例」的多次參考理解為必須全部參考同一實施例。
現參看圖1，展示一例示性先前技術個人電子器件100。圖1中之個人電子器件100被描繪為行動電話，但此非為可實施本文中所揭示之技術的唯一器件類型。器件100被描繪為具有顯示器102，該顯示器102可為能夠顯示圖形物件及自使用者接收觸摸輸入之電容性觸控式螢幕介面。器件100亦被描繪為具有正面照相相機112及近接感測器114，該近接感測器114可包含(例如)紅外線感測器。除使用者眼睛之位置及注視方向外，正面照相相機112可用以確定器件100之使用者的地點且估計使用者至器件100之顯示器102的距離，如下文將予以進一步解釋。近接感測器114可為此項技術中已知及使用的眾多熟知近接感測器中的一者，且其可用以(例如)在無任何實體接觸的情況下偵測附近物件之存在。如在此項技術中所已知，近接感測器常常發射電磁或靜電場，或電磁輻射束。正面照相相機112及近接感測器114亦可用以量測在使用者周圍之環境中的光位準及確定使用者環境中之光源的地點。如下文所描述，此資訊可用於產生圖形使用者介面之逼真的虛擬3D描繪，其呈現為對位於「真實世界」中之光源「作出回應」。在圖1中，將顯示器102展示為顯示若干圖形使用者介面物件(例如，圖示104)。圖示104可指示倘若由使用者選擇圖式則器件能夠執行的程式、檔案或其他應用程式。物件跳板(object springboard)110亦展示於顯示器102上。在先前技術中，已將圖示106描繪為擱置於跳板110之表面上以給予其處於3D作業系統環境中的外觀。可將額外視覺提示添加至圖示104/106，諸如用以進一步增強圖示104/106之3D外觀的光澤113及/或反射108。在一些實施例中，可在本文中將此增強之2D表示稱為2D。
現參看圖2，說明根據一實施例之可由在2D作業系統環境模式下操作之個人電子器件使用的例示性3D UI技術。在圖2中，在三種不同之虛擬照明環境208a至208c中呈現圖示202。在每一種環境中，陰影層200經適當地重定位於圖示202下方以建立虛擬光源204引起由圖示202投下逼真的陰影的錯覺。舉例而言，在虛擬照明環境208a中，虛擬照明源204a定位於圖示202a之正上方。因此，陰影層200被置於圖示202a之正下方(亦即，無偏移)。此由座標206a指示，該座標206a表示虛擬照明環境208a中之陰影層200的左下角。已將假設座標(x,y)指派給座標206a以便說明陰影層200在虛擬照明環境208b及208c中之重定位(如與其在虛擬照明環境208a中之位置相比)。
在虛擬照明環境208b中，已將虛擬照明源204b定位於圖示202b之上方及左邊。因此，陰影層200被置於圖示202b之下方且稍偏移至右邊。偏移量s係基於位置及虛擬照明源與圖示之間的距離而判定，且產生圖示202b上之逼真的照明效應。偏移s由座標206b指示，該座標206b表示虛擬照明環境208b中之陰影層200的左下角，且具有假設座標(x+s,y)。
在虛擬照明環境208c中，已將虛擬照明源204c定位於圖示202c之上方及右邊。因此，陰影層200被置於圖示202c之下方且稍偏移至左邊。偏移量s係基於位置及虛擬照明源與圖示之間的距離而判定，且建立圖示202c上之逼真的照明效應。偏移s由座標206c指示，該座標206c表示虛擬照明環境208c中之陰影層200的左下角且具有假設座標(x-s,y)。
在由使用本文中所揭示之技術的個人電子器件所使用之虛擬照明環境中的虛擬照明源204之地點可(例如)由器件之作業系統程式化地判定、由器件之使用者手動地選擇或由器件之作業系統來定位以模擬在使用者環境中所偵測到之環境光源的地點。亦即，若一明亮光源位於器件之使用者的正上方，則器件之作業系統可將虛擬照明源置於虛擬照明環境之正上方，以便精確地模擬使用者環境中之照明條件。此外，可在虛擬照明環境中偵測及模擬多個光源，且亦可精確地模擬此等所偵測到之光源的強度。
可藉由利用合適之圖形程式設計構架(諸如蘋果公司之CORE構架)以相對計算上低廉及靈活之方式來演現2D作業系統環境技術(例如，上文參看圖2所描述之技術)。(CORE為蘋果公司之註冊商標。)舉例而言，陰影層200為可簡單地重定位於虛擬照明環境中之所要地點處以建立虛擬照明源已移動之錯覺的單獨圖形層之實例。本文中所描述之重定位技術的一優點係無需在每次器件之作業系統判定歸因於(例如)器件之移動或使用者環境中之照明條件的改變而需要圖形層之重定位時重演現包含該圖形層之像素。亦可將另一類型之圖形層(稱為「光澤圖」)實施為單獨圖形層，且可將其重定位於圖示或其他圖形使用者介面物件上方以產生不同虛擬照明情形的錯覺。再次，此技術之一優點係不必在每次器件之作業系統判定需要圖形層之重定位時重演現位於光澤圖下方之圖示或其他圖形使用者介面物件內容。
現參看圖3，說明根據一實施例之個人電子器件100，其呈現由模擬(亦即，虛擬)光源304照亮之圖形使用者介面物件106的虛擬3D描繪306。圖3亦展示虛擬3D作業系統環境300之側視圖。圖1中所描繪之二維圖示104/106已用相同圖示物件在虛擬3D作業系統環境300內之虛擬3D表示105/107來代替。如圖3中所示，圖示物件仍擱置於跳板110上。如由軸線320所示，在圖3中，X軸沿顯示器102之寬度延伸並進入至頁面中，Y軸沿顯示器102之長度延伸，且Z軸垂直延伸遠離顯示器102之表面。在圖1中之顯示器102上所描繪的圖示之額外三個行不可見，此係因為在圖3中所呈現之視圖中其將沿X軸延伸至頁面中。亦應理解，在一些實施例中，虛擬3D作業系統環境300中之每一圖形使用者介面物件將被描繪於器件100之顯示器102上。出於簡單性及清晰性，本申請案僅聚焦於單一圖形使用者介面物件(圖示107)之表示。
如3D圖形技術中所已知，虛擬光源304可由(一或多個)器件處理器建立，且「置於」虛擬3D作業系統環境300中之各個點處以便在由器件顯示器102所顯示之物件上產生逼真的陰影及光澤效應。如圖3中所說明，光源304被置於虛擬3D作業系統環境300之頂部及中心(儘管此置放並非嚴格必要的)。虛線318指示自虛擬圖形使用者介面物件107至光源304的路徑。稍後當結合使使用者介面物件之逼真的3D描繪演現於器件顯示器102上來論述射線追蹤之某些態樣時，利用虛線318之路徑將變得重要。
器件100之使用者之眼睛由圖3中之元件302來表示。虛線308指示自使用者眼睛至器件100之正面照相相機112的路徑。如上文所提及，正面照相相機112可用以：估計虛線318之長度(亦即，使用者眼睛至器件的距離)；偵測(及潛在地辨識)使用者之面部；量測使用者之瞳孔之間的當前距離；或確定使用者環境中之光源的地點。另外，近接感測器114可用以進一步測定使用者環境中之環境光位準。此外，亦可藉由量測自使用者眼睛之瞳孔離開的鏡面反射來偵測使用者環境中之光源。
向量310表示自顯示器102垂直地向外指向的次法線向量。向量312表示沿X軸自顯示器102徑直延伸至使用者眼睛302之中心之位置的向量。描繪虛線314以幫助說明在X軸方向上使用者眼睛302相對於顯示器102的位置。可由器件100使用向量310與向量312之間的角度316以判定使用者可能檢視顯示器102的角度。如圖3中所說明，使用者呈現為稍偏次法線向量310的左邊，亦即，稍較接近於頁面之「表面」而非較深地「進入至」頁面中。圖3中之使用者之當前位置亦在圖形使用者介面物件306之描繪中被反映為針對圖3中所示之使用者當前定向及位置而使少量之其左側307在器件顯示器102上可見。當使用者眼睛302相對於器件100之顯示器102移動得愈來愈遠而至左邊時(亦即，當角度316增加時)，使用者將能夠看見圖形使用者介面物件306之愈來愈多的左側307。理解由應用此等技術產生之3D效應的一種方式係將手持型器件100之顯示螢幕102想像為進入至3D空間300中的「窗」。與真實世界中之窗一樣，當觀測者較接近於窗或遠離窗時，或以不同角度看穿窗時，觀測者能夠看見不同物件、物件之不同角度等等。為達成此等效應，可利用稱為射線追蹤之技術。
如此項技術中所已知，射線追蹤涉及模擬光子將自光源移至觀測者正檢視之物件且接著僅以相反之次序被反射至觀測者眼睛的路徑。因此，有時亦將此程序稱為「後向射線追蹤」。在射線追蹤程序之一實施例中，對於顯示器102中之每一像素而言，射線304自觀測者眼睛延伸穿過給定像素並進入至虛擬3D作業系統環境300中。藉由將射線投影至虛擬3D環境中而被「穿透」的任何虛擬3D物件接著被顯示於顯示器102中之相應的像素中。此程序導致在顯示螢幕上產生與觀測者經由視窗看至虛擬3D環境中的情況下將獲得的視圖相同的視圖。
一旦虛擬3D物件已藉由將射線投影至虛擬3D環境中而被「穿透」，便可實施進一步之步驟。具體言之，第二射線318可自虛擬3D物件延伸至虛擬照明源304之位置。若在第二射線318延伸至光源304時另一物件被其穿透，則其為給圖形演現引擎的以下提示：將陰影置於彼像素上。在圖3之狀況下，看起來射線318與圖示物件105及109相交，此指示若使用者將調整其自己的位置(或器件之位置)使得其可看見圖示物件107之頂表面，則圖示物件107將具有投至其頂表面上之陰影。若未在所演現之像素與光源之間偵測到物件，則當給定像素被顯示於器件顯示器102上時，可使用至光源之相對距離及光源之強度來計算該給定像素之亮度強度。利用此等技術可產生環境之虛擬3D演現，其精確地描寫在虛擬3D物件實際上係在真實世界設定中的情況下照明將在該等虛擬3D物件上所具有的效應。
上文關於圖3所描述之技術允許器件之GPU將適當之照明及透視變換應用於器件之顯示器上的至少一圖形使用者介面物件之虛擬3D描繪，因此產生器件之使用者的更逼真及身臨其境的虛擬3D經驗。
現參看圖4，說明根據一實施例之個人電子器件100，其呈現由代表性環境光源400照亮之圖形使用者介面物件107的虛擬3D描繪406。如在上文關於圖3所描述之實施例中，可由器件100之GPU使用射線追蹤技術以便呈現虛擬3D作業系統環境300之逼真的虛擬3D描繪。然而，在圖4中，用於虛擬3D作業系統環境300之照明源並非由器件之作業系統任意建立之虛擬光源；實情為，將虛擬3D作業系統環境300描繪為如同其係由真實世界環境光源400而照亮的。因此，自虛擬3D作業系統環境被追蹤返回至用於物件107之環境光源400的射線由虛線408表示。可利用器件100之正面照相相機112或近接感測器114來判定至最亮之真實世界環境光源400的距離(由虛線402表示)及最亮之真實世界環境光源400的相對位置兩者，以及真實世界環境光源400之強度。一旦已確定此資訊，GPU便可根據3D圖形技術中熟知之照明及陰影技術來照亮虛擬3D作業系統環境300中之物件。
如圖4中所示，環境光源400稍偏器件顯示器102之右邊(亦即，沿X軸稍更遠地「進入至」頁面中)。圖3中之環境光源400的當前位置在圖形使用者介面物件406之描繪中亦被反映為對於環境光源400之當前定向及位置(如圖4中所示)而使位於其左側上的少量陰影407在器件顯示器102上可見。當環境光源400相對於器件100之顯示器102而愈來愈遠地移至右邊時(亦即，當環境光源400沿X軸愈來愈深地移動進入至頁面中時)，將有愈來愈多的陰影404產生於虛擬3D作業系統環境300中之圖形使用者介面物件105/107的左側上。當然，倘若器件100及/或使用者經定位及定向使得圖形使用者介面物件之陰影側可自使用者眼睛302之有利位置看見，則在虛擬3D作業系統環境中之圖形使用者介面物件上的陰影之此等改變將同樣地反映於器件顯示器102上之物件的演現中。
除使用此等技術外，器件之作業系統軟體亦可藉由分析正面照相相機之視野來判定使用者環境中之一些光源位置。具體言之，器件可嘗試確定正面照相相機之視野中之最亮區域的地點。為避免將鏡面反射(例如，一副眼鏡之反射)錯誤地識別為光源，可使用小半徑來使自正面照相相機接收之影像模糊(諸如標準差為3.0之高斯模糊)，因此減少小鏡面反射之凸極性。在一實施例中，影像之最亮的5%(若比預定亮度值亮)可被識別為光源，且藉由設定影像之臨限值來確定地點(在影像處理技術中已知之技術)。一旦設定臨限值，便可計算光源之形狀(亦即，alpha遮罩)以及質心。所計算之質心可用以判定在真實世界3D空間中的光源探照方向。此外，可使用正面照相相機之影像的設有亮度臨限值的型式以將逼真的反射置於虛擬3D作業系統環境中之彎曲物件的演現上。另外，若不存在位於使用者之環境中之充分明亮的環境光源，則該程序可默認為使用如上文在圖3中之虛擬光源。
亦有可能針對器件戶外之使用而將太陽之位置計算為使用者環境中之真實世界光源。此可藉由使用格林威治標準時間(GMT)、器件之GPS地點及羅盤方位以及器件在本地地理座標系統中之弗雷內標架系統來完成。用於計算在地球上之已知點處的太陽相對位置之技術係熟知的。一旦經計算，便可利用太陽之地點來產生用於虛擬3D作業系統環境之虛擬光源，其代表太陽之當前地點。
現參看圖5，說明根據一實施例之個人電子器件100之弗雷內標架系統500。如上文所論述，在數學中，由沿三維空間中之連續、微分曲線而移動之粒子的正切、法線及次法線單位向量來定義弗雷內標架系統，該等單位向量常常稱為T、N及B向量，如圖5中所示。T為與曲線正切之單位向量，其指向運動的方向；N為T相對於曲線之弧長參數除以其長度的導數；且B為T與N之交叉乘積。如圖5中所示，T與顯示器之Y軸對準，N與顯示器之X軸對準，且B與顯示器之平面垂直。弗雷內標架系統之T、N及B向量一起將顯示器座標系統繫結至真實世界之座標系統。
藉由利用器件100中之各種位置感測器(諸如羅盤、微機電系統(MEMS)加速度計、GPS模組及MEMS陀螺計)，可推斷器件100之3D參考標架。事實上，現在有可能即時地追蹤器件之弗雷內標架系統，因此提供手持型器件之連續3D參考標架。一旦除使用者眼睛之位置外亦已知器件之連續參考標架，便可產生器件顯示器上之物件之更逼真的虛擬3D描繪並與之互動，如下文關於圖6予以進一步解釋。
現參看圖6，說明根據一實施例之在個人電子器件100上之器件移動600的效應，該個人電子器件100呈現圖形使用者介面物件107之虛擬3D描繪606。注意，如圖6中所定向之器件100的弗雷內標架系統608實質上不同於如圖5中定向之器件100的弗雷內標架系統500。具體言之，器件100已傾斜使得使用者之眼睛302稍向下窺視虛擬3D作業系統環境602。箭頭600指示圖5與圖6之間的器件100之位置差異。如可自自使用者之眼睛302延伸穿過器件顯示器102之平面並進入至虛擬3D作業系統環境602中的投影線跡線604所見，圖形使用者介面物件107之描繪607在器件顯示器102上展示圖形使用者介面物件107之少量的頂表面607。此與圖4中所示之圖形使用者介面物件107之描繪406形成對比，其中進入至虛擬3D作業系統環境300中的「視窗」(亦即，「視窗」為器件100之顯示器102)相對於虛擬3D作為系統環境中之圖示物件之垂直堆疊的定向而更為平行，且因此使用者不能看見圖形使用者介面物件107之頂表面。應用此等技術，可顯而易見，使用者將能夠操縱器件及/或其眼睛的位置以便看見圖形使用者介面物件之側表面或甚至圖形使用者介面物件的後面。
現參看圖7，說明根據一實施例之在個人電子器件100上之使用者移動的效應，該個人電子器件100呈現圖形使用者介面物件107之虛擬3D描繪700。如在圖3中，虛線712指示自使用者眼睛至器件100之正面照相相機112的路徑。如上文所提及，正面照相相機112可用以：估計虛線712之長度(亦即，使用者眼睛至器件的距離)；偵測(及潛在地辨識)使用者之面部；量測使用者之瞳孔之間的當前距離；或確定使用者環境中之光源的地點。向量706表示自顯示器102垂直地向外指向的次法線向量。向量708表示沿X軸自顯示器102徑直地延伸至使用者眼睛702之中心之位置的向量。描繪虛線710以幫助說明在X軸之方向上使用者眼睛602相對於顯示器102的位置。可由器件100使用向量706與向量708之間的角度704以判定使用者可能檢視顯示器102的角度。如圖7中所說明，使用者呈現為稍偏次法線向量706之左邊，亦即，稍較接近於頁面之「表面」而非較深地「進入至」頁面中。
與圖3相比較，圖7中之使用者眼睛702離器件100之顯示器102遠得多。因而，圖形使用者介面物件107至顯示器102上的射線追蹤及投影(如由虛線714表示)將圖形使用者介面物件107之描繪700置於圖7中之顯示器102上的比圖3中之圖形使用者介面物件107之描繪206低的位置處。此與產生使用者經由「窗」而看至虛擬3D作業系統環境300中的效應一致。除使用者眼睛702之位置外，亦連續地監控器件100之位置可提供引人注目及逼真的虛擬經驗。然而，應注意，僅監控隨時間推移的器件之弗雷內標架系統改變(亦即，不結合使用者之位置)常常提供用於使器件之作業系統軟體建立逼真的3D UI效應的足夠資訊。藉由假定一典型使用者相對於器件之位置，在不知道使用者之確切位置的情況下建立3D UI效應係可能的。舉例而言，應認識到，在人體工學上，存在可用於檢視個人電子器件之顯示器的少量位置。小器件通常攜持地較接近於使用者眼睛，且較大之器件通常攜持得較遠離使用者眼睛。另外，使用者之注視大體在中心聚焦於器件之顯示器表面上。
現參看圖8，說明根據一實施例之在個人電子器件100之虛擬3D環境812內部的凹陷、「便當盒」外觀尺寸。當使用者使器件100到處移動時，描繪於顯示器102上之陰影814亦可移動，因此增加由使用者察覺之3D效應。亦可使用各種其他3D效應來增加由使用者察覺之3D效應。舉例而言，若虛擬3D環境812內部之物件802係圓的，則反射離開該等物件之光澤816亦可相應地改變。若物件802係散開的，則其陰影可隨器件100之移動而改變。
個人電子器件100之虛擬3D環境812內部的凹陷、「便當盒」外觀尺寸亦可經建構而具有在一群子盒800中之每一者內部的個別介面物件802。如圖8中所示，存在三個子盒800a/800b/800c。每一子盒800可具有一組形成凹陷子盒800之邊界的側壁818。當使用者重定向器件100以「看向每一子盒800內部」時，由虛線804及虛圓圈806所說明之「聚光燈」可反白顯示使用者之視野當前被引導至其中之子盒。在一些實施例中，關於使用者是否窺視一特定子盒的決策可基於(例如)彼子盒800之所有壁818向前面對使用者且因此為可見的事實。
如圖8中所說明，使用者808a正懸停於器件100上方且向下窺視器件100之顯示器102，如由視線810a及無圖形使用者介面物件802/803/805/807之側表面可見於當前演現之顯示器102上的事實所表示。對於使用者808a而言，聚光燈效應804/806在子盒800a之區域中被應用於顯示器102，且用以反白顯示圖形使用者介面物件802及803之表示。可認為聚光燈806為集中式虛擬光源，其被引導於虛擬3D作業系統環境中之(一或多個)特定圖形使用者介面物件或一區域(例如，圖8中之子盒800a)處。在圖形技術中，可藉由用顯示物件之色彩乘光源之色彩及強度來計算所顯示之物件色彩。可將聚光燈表示為光強度隨距中心光向量之距離或角位移而下降的光源，該中心光向量可藉由自光所指向之地點減去光源的位置而計算。此函數可為(例如)藉由具有一指數下降而被特徵化的函數。
使用者808b及808c表示替代性位置，使用者可嘗試自該等替代性位置檢視虛擬3D環境812。自使用者808b沿視線810b觀看的觀點，子盒800b之所有壁818將向前面對使用者808b，且因此聚光燈效應804/806將在子盒800b之區域中被應用於顯示器102且用以反白顯示圖形使用者介面物件805之表示。自使用者808c沿視線810c觀看的觀點，子盒800c之所有壁818將向前面對使用者808c，且因此聚光燈效應804/806將在子盒800c之區域中被應用於顯示器102且用以反白顯示圖形使用者介面物件807之表示。應理解，凹陷、「便當盒」外觀尺寸之其他變體係在本發明之教示的範疇內，且可同樣經實施以利用連續地追蹤器件之3D參考標架及/或使用者眼睛之位置從而建立使用者之更逼真的虛擬3D經驗。
現參看圖9，說明根據一實施例之與被射線追蹤904至虛擬3D作業系統環境300中的個人電子器件101之觸控式螢幕顯示器102的接觸點902。藉由射線追蹤器件顯示器102上之觸摸式接觸點902的地點至虛擬3D作業系統環境300中(如上文參看圖3所描述)並使虛擬3D環境906中之該接觸點之區域與其命中之任何一或多個物件相交，使用者可察覺其正經由2D觸控式螢幕介面而與3D環境互動，從而提供更豐富且更逼真的使用者經驗。如圖9中所說明，使用者900觸摸觸控式螢幕顯示器102的地點對應於虛擬3D環境300中之觸摸點906且與圖形使用者介面物件107相交。因此，由建立接觸點902之使用者900所作的觸摸可導致將運動或效應應用於虛擬3D作業系統環境300中的物件107，其將導致虛擬3D作業系統環境300中之物件107表現得類似於該物件107在器件在傳統之「2D」模式下操作的情況下將表現的方式。舉例而言，本文中所揭示之技術將使有可能以更引人注目及逼真之方式來模擬實體在虛擬3D作業系統環境300內之重定尺寸、壓下、來回轉換、拖曳、推動、牽拉、碰撞效應及其他實體表現。在模擬「壓下」3D UI效應之狀況下(例如，諸如按鈕或圖示107之圖形使用者介面物件的壓下)，可回應於使用者手指900之所偵測位置902來實施該效應。可完成此，因為一旦使用者手指900之觸摸地點902位於虛擬3D環境300中(例如，由圖9中之虛圓圈906表示)，便可發現該觸摸地點與某一圖形使用者介面物件之平面(例如，圖示107之前平面)相交，且可將任何觸摸式移動轉譯至彼平面中或解譯成彼特定圖形使用者介面物件之潛在移動自由度的情況。舉例而言，一些物件可僅能夠向內「壓下」，而其他物件可在任何數目個方向上自由移動。
在另一實施例中，使用者900之指尖的陰影或其他指示物902可顯示於顯示器102上所描繪之虛擬3D作業系統環境300之2D演現中的適當地方中。關於使用者900之指尖之位置的資訊可獲自自觸控式螢幕或自近場感測技術報告之接觸資訊，該等近場感測技術中之每一者在此項技術中係已知的。以此方式，器件100之使用者可實際上想要其「到達至」虛擬3D環境300中。使用近場感測技術，可藉由將手指距器件顯示器之距離重解譯為手指距虛擬3D作業系統環境中之相關圖形使用者介面物件的距離(即使當該相關圖形使用者介面物件係位於至顯示器之「視窗」內之虛擬3D世界中的某一「距離」處)而將「真實世界」中之手指位置轉譯為虛擬3D作業系統環境中之手指位置。舉例而言，利用本文中所揭示之技術，若感測到使用者之手指距顯示器102為1公分，則在虛擬3D作業系統環境中之使用者觸摸點之地點(例如，圖9中之虛圓圈906)的相關指示可在相關圖形使用者介面物件的「前部」投下陰影或顯示某一其他視覺指示物，因此向使用者提供其尚未與相關圖形使用者介面物件互動的指示，但若使用者將使其手指移動而較接近於顯示器之「視窗」(亦即，觸摸式表面顯示器102)，則其可能能夠與所要之圖形使用者介面物件互動。使用者之所要觸摸地點之視覺指示物(例如，「陰影偏移」)的使用不僅僅為增強之3D UI效應。相反，由於對器件之3D參考標架的知曉允許較好地說明觸控式螢幕視差問題(亦即，觸摸點與所顯示之預期觸摸地點之間的定位不準)，所以本文中關於圖9所描述之技術亦可向器件之使用者提供其在圖形使用者介面物件為「真實生活」物件的情況下將經歷之互動的較好表示。
現參看圖10，說明根據一實施例之用於啟動個人電子器件100之顯示器102以在虛擬3D作業系統環境模式下操作的例示性示意動作1002。如上文所提及，將器件之GPU不斷地用於演現3D資訊或射線追蹤在計算上係昂貴的且可耗盡電池。在一些實施例中，器件將預設為在2D或2D模式下操作。因此，可使用一示意動作來「解凍」2D或2D顯示器以在3D模式下操作。一種潛在之「啟動示意動作」為所謂之「公主波」(亦即，器件關於其Y軸1000之波運動旋轉)。舉例而言，當在一預定之臨限時間量(例如，1秒)內發生沿一軸線1000之10-20度調變的三個以上之波1002時，可接通虛擬3D作業系統環境模式。位置靜止(例如，使器件保持相對靜止歷時至少一預定之臨限時間量(例如，2至3秒))可為給器件100的以下一潛在提示：凍結回至2D或2D作業系統環境模式且使物件之顯示恢復至其傳統之2D表示。以此方式，不太可能在無來自使用者之明顯控制及意圖的情況下使器件100進入3D模式。亦有可能器件在不被操作歷時足夠之時間量的情況下將自動地返回至計算上較低廉之2D或2D模式。
在一實施例中，當偵測到用於啟動個人電子器件之顯示器102的適當啟動示意動作1002且虛擬3D作業系統環境模式接通時，在器件之顯示器上的圖形使用者介面物件中之每一者可「解凍」且變為物件之3D描繪(例如，幾乎與物件之2D描繪相同的描繪，連同陰影、光澤反射1012及/或指示3D物件外觀之紋理)。舉例而言，跳板110(諸如展示於圖10中之器件100之顯示器102上)上之圖示1006中之每一者可自圖示之2D表示變換為3D「透明合成樹脂樣」立方體1004/1006(亦即，呈現為由透明塑膠或玻璃狀材料製成且在其底部具有圖像的立方體)。(為Lucite國際公司之註冊商標。)當圖示解凍為3D模式時，位於圖示立方體1004/1006之底部的圖像可適當地折射及扭曲，從而提供視覺上獨特之印象。亦有可能使立方體在其前表面上為稍圓的。可完成此以放大位於其下方之圖示，且亦在顯示器相對於使用者之注視而被重定向時捕捉離開其表面之反射「光」。
現參看圖11，以流程圖形式說明用於使個人電子器件在虛擬3D作業系統環境模式下操作的程序之一實施例。首先，該程序在步驟1100處開始。接下來，在個人電子器件內之一或多個處理器或其他可程式化控制器件定義一虛擬3D作業系統環境(步驟1102)。接下來，該(該等)處理器可自安置於手持型器件內之一或多個位置感測器接收資料(步驟1104)。該(該等)處理器可接著基於所接收之位置資料來判定器件之3D參考標架(步驟1106)。接下來，該(該等)處理器可自安置於手持型器件內之一或多個光學感測器(例如，影像感測器、近接感測器或視訊攝影機)接收資料(步驟1108)。該(該等)處理器可接著基於所接收之光學資料來判定器件之使用者之眼睛的位置(步驟1110)。在另一實施例中，可省略步驟1110，且可由該(該等)處理器使用使用者之固定、假定位置。舉例而言，應認識到，在人體工學上，存在可用於檢視個人電子器件之顯示器的少量位置。小器件通常攜持地較接近於使用者眼睛，且較大之器件通常攜持得較遠離使用者眼睛。另外，使用者之注視通常在中心聚焦於器件之顯示器表面上。最後，該(該等)處理器可接著基於所判定之3D參考標架及器件之使用者之眼睛的所判定位置而將虛擬3D作業系統環境之視覺表示投影(亦即，演現)至器件之圖形使用者介面顯示器上(步驟1112)。如上文所詳細論述，此程序可提供虛擬3D作業系統環境至使用者器件(例如，諸如行動電話之手持型個人電子器件)之顯示器上的獨特且更逼真的呈現。
現參看圖12，以流程圖形式說明用於使個人電子器件於在虛擬3D作業系統環境模式下操作與在非虛擬3D作業系統環境模式(例如，2D模式)下操作之間來回轉換的程序之一實施例。首先，該程序在步驟1200處開始。接下來，個人電子器件內之一或多個處理器或其他可程式化控制器件可將一作業系統環境之2D表示顯示於器件之圖形使用者介面顯示器上(步驟1202)。接著，該(該等)處理器偵測其是否已在器件處接收到指示使用者進入虛擬3D顯示模式之願望的示意動作(例如，器件之足夠度數且在足夠短的時間量內的單軸線正弦波調變)(步驟1204)。若其未接收到此示意動作，則該程序返回至步驟1202，且繼續顯示作業系統環境之2D表示。若實情為該(該等)處理器已接收到此示意動作，則該程序進行至步驟1206，其向該(該等)處理器指示執行圖11中所描述之程序(亦即，用於使個人電子器件在虛擬3D作業系統環境模式下操作的程序)。儘管在虛擬3D作業系統環境模式下操作，但該(該等)處理器繼續「收聽」器件處之指示使用者返回至2D顯示模式之願望的示意動作(例如，靜止(小於某一運動臨限值歷時一臨限時間量))(步驟1208)。若其未接收到此示意動作，則該程序返回至步驟1206，且繼續根據圖11中所描述之程序而顯示作業系統環境之虛擬3D表示。若實情為該(該等)處理器偵測到其已接收到指示使用者返回至2D顯示模式之願望的此示意動作，則該程序返回至步驟1202(亦即，用於使個人電子器件在2D顯示模式下操作的程序)。
現參看圖13，以流程圖形式說明用於將指示使用者眼睛之位置的聚光燈投影至個人電子器件之虛擬3D作業系統環境中的程序之一實施例。首先，該程序在步驟1300處開始。接下來，個人電子器件內之一或多個處理器或其他可程式化控制器件定義一虛擬3D作業系統環境(步驟1302)。接下來，該(該等)處理器可將虛擬3D作業系統環境之視覺表示投影(亦即，演現)至器件之圖形使用者介面顯示器上(步驟1304)。接下來，該(該等)處理器可自安置於手持型器件內之一或多個光學感測器(例如，影像感測器、近接感測器或視訊攝影機)接收資料(步驟1306)。該(該等)處理器可接著基於所接收之光學資料來判定器件之使用者之眼睛的位置(步驟1308)。最後，該(該等)處理器可接著基於器件之使用者之眼睛的所判定位置而將「聚光燈」之視覺表示投影(亦即，演現)至虛擬3D作業系統環境中(步驟1310)，此時該程序可返回至步驟1306，其中該(該等)處理器可在使用者眼睛連續移動至並聚焦於顯示器之不同區域時自安置於手持型器件內之一或多個光學感測器接收連續資料以相應地更新器件之顯示器。
現參看圖14，以流程圖形式說明用於基於在器件之環境中所偵測到之環境光源及/或器件之相對位置而在個人電子器件之顯示器上實施圖形使用者介面效應的程序之一實施例。首先，該程序在步驟1400處開始。接下來，個人電子器件內之一或多個處理器或其他可程式化控制器件定義器件之虛擬「2D」作業系統環境(亦即，作業系統環境之增強之2D表示，其擁有在圖示、工具列、視窗等上之某些額外視覺提示(諸如陰影及/或反射)，該等額外提示用以進一步加深2D圖示之「3D外觀」。在一些實施例中，亦可將關於圖14所描述之技術應用於虛擬3D作業系統環境(步驟1402)。接下來，該(該等)處理器可將虛擬2D作業系統環境之視覺表示投影(亦即，演現)至器件之圖形使用者介面顯示器上(步驟1404)。接下來，該(該等)處理器可自安置於手持型器件內之一或多個光學感測器(例如，影像感測器、近接感測器或視訊攝影機)接收資料(步驟1406)。該(該等)處理器可接著基於所接收之光學資料來判定一或多個環境光源之位置(步驟1408)。接下來，該(該等)處理器可自安置於手持型器件內之一或多個位置感測器接收資料(步驟1410)。該(該等)處理器可接著基於所接收之位置資料來判定器件之3D參考標架(步驟1412)。最後，該(該等)處理器可基於環境光源之所判定位置及/或器件之所判定3D參考標架而將UI效應(例如，光澤、陰影)應用於虛擬2D作業系統環境中之物件(步驟1414)。如上文參看圖2所論述，可在不基於器件之位置及/或環境光源之地點來加以重演現的情況下連續地及動態地重定位各圖形層(諸如陰影及光澤圖)。此外，亦可對各種圖形使用者介面物件作出按比例調整及位置的調整以便使顯示器呈現為比其業已呈現之情況甚至更「像3D」。
現參看圖15，展示根據一說明性實施例之代表性個人電子器件1500(例如，擁有諸如正面照相相機112之相機器件的行動電話)的簡化功能方塊圖。個人電子器件1500可包括一(或多個)處理器1516、儲存器件1514、使用者介面1518、顯示器1520、編碼器/解碼器(CODEC)1502、匯流排1522、記憶體1512、通信電路1510、揚聲器或傳感器1504、麥克風1506、位置感測器1524、近接感測器1526及具有相關聯之相機硬體之影像感測器1508。處理器1516可為任何合適之可程式化控制器件(包括GPU)，且可控制許多功能(諸如上文所論述之3D使用者介面效應)以及由個人電子器件1500執行之其他功能的操作。處理器1516可驅動顯示器1520，且可自使用者介面1518接收使用者輸入。在一些實施例中，器件1500可擁有用於執行不同處理任務的一或多個處理器。
儲存器件1514可儲存媒體(例如，圖片及視訊檔案)、軟體(例如，用於在器件1500上實施各種功能)、偏好資訊(例如，媒體播放偏好)、個人資訊及任何其他合適資料。儲存器件1514可包括一或多個儲存媒體，包括(例如)硬碟機、永久性記憶體(諸如ROM)、半永久性記憶體(諸如RAM)或快取記憶體。
記憶體1512可包括一或多種不同類型之可用於執行器件功能的記憶體。舉例而言，記憶體1512可包括快取記憶體、ROM及/或RAM。匯流排1522可提供一資料轉移路徑，該路徑用於：將資料轉移至至少一儲存器件1514、記憶體1512及處理器1516；自至少一儲存器件1514、記憶體1512及處理器1516轉移資料；或在至少一儲存器件1514、記憶體1512及處理器1516之間轉移資料。可包括CODEC 1502以將數位音訊信號轉換為類比信號以用於驅動揚聲器1504產生包括語音、音樂及其他相似音訊之聲音。CODEC 1502亦可將來自麥克風1506之音訊輸入轉換為供儲存於記憶體1512或儲存器件1514中之數位音訊信號。CODEC 1502可包括用於處理數位及/或類比視訊信號之視訊CODEC。
使用者介面1518可允許使用者與個人電子器件1500互動。舉例而言，使用者輸入器件1518可採用多種形式，諸如按鈕、小鍵盤、撥號盤、點按式選盤或觸控式螢幕。通信電路1510可包括用於無線通信(例如，短程及/或遠程通信)之電路。舉例而言，無線通信電路可為具有Wi-功能之電路，其允許根據802.11標準中之一者進行無線通信。(Wi-為Wi-Fi聯盟之註冊商標。)亦可使用其他無線網路協定標準，作為所識別之協定的替代例抑或除所識別之協定外的其他協定。其他網路標準可包括、全球行動通信系統()及基於分碼多重存取(CDMA)之無線協定。(為Bluetooth SIG公司之註冊商標，且為GSM協會之註冊商標。)通信電路1510亦可包括使器件1500能夠電耦接至另一器件(例如，電腦或附屬器件)並與彼另一器件通信的電路。
在一實施例中，個人電子器件1500可為能夠處理及顯示諸如音訊及視訊之媒體的個人電子器件。舉例而言，個人電子器件1500可為媒體器件，諸如媒體播放器，例如，行動電話、MP3播放器、遊戲播放器、遠端控制器、攜帶型通信器件、遠端訂購介面(remote ordering interface)、音訊巡視播放器或其他合適之個人器件。個人電子器件1500可為電池操作型且具有高度攜帶性以便允許使用者收聽音樂、播放遊戲或視訊、記錄視訊、串流傳輸視訊、拍攝圖像、與其他人通信、與虛擬作業系統環境互動，及/或控制其他器件。另外，個人電子器件1500可經設定大小而使得其相對容易地裝入使用者口袋或手中。由於為手持型，所以個人計算器件1500可相對小且容易由其使用者處置及利用，且因此實際上可被攜帶至使用者所到之任何地方。
如先前所論述，某些類型之個人電子器件1500(例如，個人媒體器件)之相對小的外觀尺寸使得使用者能夠容易操縱器件之位置、定向及移動。相應地，個人電子器件1500可提供感測位置、定向及移動之此等改變以使使用者能夠藉由影響此等改變而與器件1500互動或控制器件1500的改良之技術。舉例而言，位置感測器1524可包含羅盤、加速度計、陀螺計或GPS單元。此外，器件1500可包括在處理器1516之控制下(例如)用以促進將運動、振動及/或移動資訊發送至與器件1500之操作有關之使用者的振動源。個人電子器件1500可包括影像感測器及相關聯之相機硬體1508，其使器件1500能夠連續地、週期性地、在選定時間及/或在選定條件下俘獲一影像或一系列影像(亦即，視訊)。個人電子器件1500亦可包括近接感測器1526，該等近接感測器1526使得器件1500能夠特徵化及識別在器件1500周圍之真實環境中的光源，且作出(例如)使用者或使用者之手指是否緊密接近器件1500之顯示器1520的判定。
以上描述並不意欲限制或限定申請者所構想之發明性概念的範疇或適用性。作為一實例，儘管本發明聚焦於虛擬作業系統環境之3D使用者介面效應；但將瞭解，本發明之教示可應用於其他情況，例如，數位攝影術、數位攝像、電視、視訊遊戲、生物統計學或監視。為了換取對本文中所含有之發明性概念的揭示，申請者需要由附加之申請專利範圍提供之所有專利權。因此，希望附加之申請專利範圍就修改及變更在以下申請專利範圍或其等效物之範疇內的最大程度上包括所有修改及變更。
100．．．個人電子器件
102．．．顯示器
104．．．圖示
105．．．虛擬3D表示/圖示物件
106．．．圖示
107．．．虛擬3D表示/圖示物件
108．．．反射
109．．．圖示物件
110．．．跳板
112．．．正面照相相機
113．．．光澤
114．．．近接感測器
200．．．陰影層
202a．．．圖示
202b．．．圖示
202c．．．圖示
204a．．．虛擬照明源
204b．．．虛擬照明源
204c．．．虛擬照明源
206a．．．座標
206b．．．座標
206c．．．座標
208a．．．虛擬照明環境
208b．．．虛擬照明環境
208c．．．虛擬照明環境
300．．．虛擬3D作業系統環境
302．．．元件
304．．．光源
306．．．虛擬3D描繪
307．．．左側
308．．．虛線
310．．．向量
312．．．向量
314．．．虛線
316．．．角度
318．．．虛線/第二射線
320．．．軸線
400．．．環境光源
402．．．虛線
406．．．圖形使用者介面物件
407．．．陰影
408．．．虛線
500．．．弗雷內標架系統
600．．．器件移動
602．．．虛擬3D作業系統環境
604．．．投影線跡線
606．．．虛擬3D描繪
607．．．圖形使用者介面物件之描繪
608．．．弗雷內標架系統
700．．．虛擬3D描繪
702．．．使用者眼睛
704．．．角度
706．．．向量
708．．．向量
710．．．虛線
712．．．虛線
714．．．虛線
800a．．．子盒
800b．．．子盒
800c．．．子盒
802．．．圖形使用者介面物件
803．．．圖形使用者介面物件
804．．．聚光燈效應
805．．．圖形使用者介面物件
806．．．聚光燈效應
807．．．圖形使用者介面物件
808a．．．使用者
808b．．．使用者
808c．．．使用者
810a．．．視線
810b．．．視線
810c．．．視線
812．．．虛擬3D環境
814．．．陰影
816．．．光澤
818．．．側壁
900．．．使用者
902．．．接觸點
904．．．射線追蹤
906．．．虛擬3D環境
1000．．．Y軸
1002．．．啟動示意動作
1004．．．圖示立方體
1006．．．圖示立方體
1012．．．光澤反射
1500．．．個人電子器件
1502．．．編碼器/解碼器(CODEC)
1504．．．揚聲器或傳感器
1506．．．麥克風
1508．．．影像感測器及相關聯之相機硬體
1510．．．通信電路
1512．．．記憶體
1514．．．儲存器件
1516．．．處理器
1518．．．使用者介面
1520．．．顯示器
1522．．．匯流排
1524．．．位置感測器
1526．．．近接感測器
圖1說明例示性先前技術個人電子器件。
圖2說明可由在2D作業系統環境模式下操作之個人電子器件所使用的例示性3D UI技術。
圖3說明根據一實施例之個人電子器件，其呈現由虛擬光源照亮之圖形使用者介面物件的虛擬3D描繪。
圖4說明根據一實施例之個人電子器件，其呈現由代表性環境光源照亮之圖形使用者介面物件的虛擬3D描繪。
圖5說明根據一實施例之個人電子器件之弗雷內標架系統。
圖6說明根據一實施例之在個人電子器件上之器件移動的效應，該個人電子器件呈現圖形使用者介面物件之虛擬3D描繪。
圖7說明根據一實施例之在個人電子器件上之使用者移動的效應，該個人電子器件呈現圖形使用者介面物件之虛擬3D描繪。
圖8說明根據一實施例之在個人電子器件之虛擬3D顯示器內部的凹陷、「便當盒」外觀尺寸。
圖9說明根據一實施例之與被射線追蹤至虛擬3D作業系統環境中的個人電子器件之觸控式螢幕的接觸點。
圖10說明根據一實施例之用於啟動個人電子器件之顯示器以在虛擬3D作業系統環境模式下操作的例示性示意動作。
圖11以流程圖形式說明用於使個人電子器件在虛擬3D作業系統環境模式下操作的程序之一實施例。
圖12以流程圖形式說明用於使個人電子器件於在虛擬3D作業系統環境模式下操作與在非虛擬3D作業系統環境模式下操作之間來回轉換的程序之一實施例。
圖13以流程圖形式說明用於將指示使用者眼睛之位置的聚光燈投影至個人電子器件之虛擬3D作業系統環境中的程序之一實施例。
圖14以流程圖形式說明用於基於在個人電子器件之環境中所偵測到的環境光源及/或器件之相對位置而在該器件之顯示器上實施圖形使用者介面效應的程序之一實施例。
圖15說明根據一實施例之個人電子器件之簡化功能方塊圖。
100．．．個人電子器件
102．．．顯示器
105．．．虛擬3D表示/圖示物件
107．．．虛擬3D表示/圖示物件
109．．．圖示物件
110．．．跳板
112．．．正面照相相機
114．．．近接感測器
300．．．虛擬3D作業系統環境
302．．．元件
304．．．光源
306．．．虛擬3D描繪
307．．．左側
308．．．虛線
310．．．向量
312．．．向量
314．．．虛線
316．．．角度
318．．．虛線/第二射線
320．．．軸線

Claims (40)

  1. 一種圖形使用者介面方法，其包含：自安置於一器件內之一或多個位置感測器接收位置資料；至少部分地基於所接收之該位置資料來判定該器件之一3D參考標架；自安置於該器件內之一或多個光學感測器接收光學資料；至少部分地基於接收之該光學資料來判定一使用者之眼睛之一位置；及產生該器件之一顯示器上之至少一圖形使用者介面物件的一虛擬3D描繪，其中該產生動作進一步包含：自該使用者之眼睛射線追蹤穿過該器件之該顯示器並進入至該虛擬3D作業系統環境中，其中該至少一圖形使用者介面物件係表示於一虛擬3D作業系統環境中，且其中該產生動作係至少部分地基於所判定之該3D參考標架及該使用者之眼睛之該位置。
  2. 如請求項1之圖形使用者介面方法，其中該產生動作進一步包含將一適當之透視變換應用於該器件之該顯示器上之該至少一圖形使用者介面物件的該虛擬3D描繪，其中該變換係至少部分地基於該所判定之3D參考標架及該使用者之眼睛之該所判定位置。
  3. 如請求項1之圖形使用者介面方法，其進一步包含以下 動作：自該器件之一觸控式螢幕介面接收資料，其中自該觸控式螢幕介面接收的該資料指示該使用者想要與之互動的該虛擬3D作業系統環境中之一或多個地點。
  4. 如請求項3之圖形使用者介面方法，其進一步包含以下動作：在該器件之該顯示器上的一地點處顯示一視覺指示物，其中該視覺指示物之該地點指示該使用者想要與之互動的該虛擬3D作業系統環境中之一地點。
  5. 如請求項4之圖形使用者介面方法，其進一步包含以下動作：針對視差問題而校正該器件之該顯示器上的顯示該視覺指示物的該地點，其中該經校正之地點係至少部分地基於該器件之該所判定之3D參考標架。
  6. 如請求項1之圖形使用者介面方法，其進一步包含以下動作：回應於該器件相對於該使用者之該位置的移動來調整該器件之該顯示器上之該至少一圖形使用者介面物件的該所產生之虛擬3D描繪。
  7. 如請求項6之圖形使用者介面方法，其中該調整動作進一步包含：將一適當之透視變換應用於該器件之該顯示器上之該至少一圖形使用者介面物件的該虛擬3D描繪，其中該變換係至少部分地基於該器件之一當前所判定之3D參考標架及該使用者之眼睛之一當前所判定位置。
  8. 如請求項1之圖形使用者介面方法，其進一步包含以下動作：回應於該器件之該使用者相對於該器件之該位置的移動來調整該器件之該顯示器上之該至少一圖形使用者介面物件的該所產生之虛擬3D描繪。
  9. 如請求項8之圖形使用者介面方法，其中該調整動作進一步包含：將一適當之透視變換應用於該器件之該顯示器上之該至少一圖形使用者介面物件的該虛擬3D描繪，其中該變換係至少部分地基於該器件之一當前所判定之3D參考標架及該使用者之眼睛之一當前所判定位置。
  10. 如請求項1之圖形使用者介面方法，其中該產生動作進一步包含：產生用於該虛擬3D作業系統環境之一虛擬光源。
  11. 如請求項10之圖形使用者介面方法，其中用於該虛擬3D作業系統環境之該所產生之虛擬光源包含位於該使用者之環境中之一環境光源之一表示。
  12. 如請求項10之圖形使用者介面方法，其中用於該虛擬3D作業系統環境之該所產生之虛擬光源包含太陽之一當前地點之一表示。
  13. 一種圖形使用者介面，其包含：一檢視表面；一虛擬3D作業系統環境；及一或多個圖形使用者介面物件，其中該一或多個圖形使用者介面物件係表示於該虛擬3D作業系統環境中且描繪於該檢視表面上，其中該檢視表面上之該一或多個圖形使用者介面物件之該描繪係至少部分地由該檢視表面之相對於該檢視表面之一使用者的一所判定之3D參考標架及該使用者之眼睛相對於該檢視表面的一所判定地點來判定，且 其中該描繪係進一步至少部分地藉由自該使用者之眼睛射線追蹤穿過該檢視表面並進入至該虛擬3D作業系統環境中來判定。
  14. 如請求項13之圖形使用者介面，其中該檢視表面包含一觸控式螢幕介面。
  15. 如請求項14之圖形使用者介面，其中自該觸控式螢幕介面接收之資料指示該檢視表面之該使用者想要與之互動的該虛擬3D作業系統環境中之一或多個地點。
  16. 如請求項15之圖形使用者介面，其進一步包含該檢視表面上之一或多個視覺指示物，其中該一或多個視覺指示物指示該檢視表面之該使用者想要與之互動的該虛擬3D作業系統環境中之該一或多個地點。
  17. 如請求項16之圖形使用者介面，其中該檢視表面上之該一或多個視覺指示物的該.等地點針對視差問題而經校正，其中對該等經校正之地點的一判定係至少部分地基於該檢視表面之該所判定之3D參考標架。
  18. 如請求項13之圖形使用者介面，其中該檢視表面上之該一或多個圖形使用者介面物件之該描繪包含以下視覺效應中之一或多者至該一或多個圖形使用者介面物件的應用：陰影、光澤、模糊及alpha遮罩。
  19. 一種圖形使用者介面方法，其包含：自安置於一器件內之一或多個位置感測器接收位置資料；至少部分地基於該所接收之位置資料來判定該器件之 一3D參考標架；自安置於該器件內之一或多個光學感測器來接收光學資料；在該器件之一顯示器上產生一圖形使用者介面之一描繪，其中該圖形使用者介面包含至少一圖形使用者介面物件，該至少一圖形使用者介面物件以一子盒外觀尺寸以相對於該3D參考標架之一第一方向描繪於該器件之該顯示器上；及將一或多個視覺效應應用於該至少一圖形使用者介面物件中之至少一者，其中該一或多個所應用之視覺效應係至少部分地基於該所判定之3D參考標架及該所接收之光學資料。
  20. 如請求項19之圖形使用者介面方法，其中該所接收之光學資料包含指示一使用者之眼睛之一位置的資料。
  21. 如請求項19之圖形使用者介面方法，其中該所接收之光學資料包含指示位於該使用者之環境中之一環境光源之一位置的資料。
  22. 如請求項20之圖形使用者介面方法，其中該一或多個所應用之視覺效應包含應用於該等圖形使用者介面物件中之至少一者的一聚光燈效應。
  23. 如請求項22之圖形使用者介面方法，其中一聚光燈效應所應用至的該等圖形使用者介面物件中之該至少一者係由該使用者之眼睛之該位置來判定。
  24. 如請求項19之圖形使用者介面方法，其中該一或多個所 應用之視覺效應包含以下各者中之一或多者：陰影、光澤、模糊及alpha遮罩。
  25. 如請求項19之圖形使用者介面方法，其中該產生動作進一步包含以下動作：模擬照耀於該至少一圖形使用者介面物件上的一光源。
  26. 如請求項21之圖形使用者介面方法，其中該產生動作進一步包含以下動作：模擬照耀於該至少一圖形使用者介面物件上的一光源，其中該所模擬之光源包含位於該使用者之環境中之該環境光源的一表示。
  27. 如請求項25之圖形使用者介面方法，其中模擬一光源的該動作進一步包含：相對於該至少一圖形使用者介面物件來重定位一圖形層。
  28. 如請求項27之圖形使用者介面方法，其中該圖形層包含以下各者中之至少一者：一光澤圖及一陰影圖。
  29. 一種圖形使用者介面方法，其包含：在一器件之一顯示器上產生一圖形使用者介面之一2D表示，其中該圖形使用者介面包含至少一圖形使用者介面物件；自安置於該器件內之一或多個位置感測器接收位置資料；至少部分地基於該所接收之位置資料來判定該器件之一3D參考標架；自安置於該器件內之一或多個光學感測器接收光學資料； 至少部分地基於該所接收之光學資料來判定該器件之一使用者之眼睛的一位置；至少部分地基於該所接收之位置資料來偵測一啟動示意動作；及回應於該啟動示意動作之該偵測而在該器件之該顯示器上產生該圖形使用者介面之一虛擬3D表示，其中產生該虛擬3D描繪的該動作係基於該所判定之3D參考標架及該使用者之眼睛之該所判定位置。
  30. 如請求項29之方法，其進一步包含以下動作：至少部分地基於該所接收之位置資料來偵測一撤銷啟動示意動作；及回應於該撤銷啟動示意動作之該偵測而產生該圖形使用者介面之一2D描繪。
  31. 如請求項29之方法，其中該啟動示意動作包含：該器件之一足夠度數且在一預定臨限時間量內的一單軸正弦波調變。
  32. 如請求項31之方法，其中該撤銷啟動示意動作包含：該器件歷時至少一預定臨限時間量的位置靜止。
  33. 如請求項29之方法，其中產生該圖形使用者介面之一虛擬3D描繪的該動作包含：將至少一圖形使用者介面物件之一2D描繪變換為該圖形使用者介面物件之一3D描繪。
  34. 如請求項33之方法，其中該圖形使用者介面物件之該3D描繪包含一立方體。
  35. 如請求項34之方法，其中該立方體具有至少一圓形表 面。
  36. 一種具有一圖形使用者介面之電子裝置，其包含：一顯示器；一或多個光學感測器；一或多個位置感測器；一記憶體；及一或多個可程式化控制器件，其通信地耦接至該顯示器、該等光學感測器、該等位置感測器及該記憶體，其中該記憶體包括用於使該一或多個可程式化控制器件執行以下動作的指令：自該一或多個位置感測器接收位置資料；至少部分地基於所接收之該位置資料來判定該裝置之一3D參考標架；自該一或多個光學感測器接收光學資料；至少部分地基於所接收之該光學資料來判定該裝置之一使用者之眼睛的一位置，其係藉由以下動作中之一或多者來執行：計算自該使用者之眼睛至該裝置之顯示器的距離；偵測該使用者之面部；計算該使用者之瞳孔之間的一距離；及確定該使用者之環境中之一環境光源的地點；及演現該顯示器上之至少一圖形使用者介面物件的一虛擬3D描繪，其中用以演現之該等指令係基於該所判定之3D參考標架及該使用者之眼睛之該所判定位置。
  37. 如請求項36之裝置，其中該一或多個位置感測器包含以下各者中之一或多者：一羅盤、一加速度計、一GPS模組及一陀螺計。
  38. 如請求項36之裝置，其中該一或多個光學感測器包含以下各者中之一或多者：一近接感測器、一影像感測器及一視訊攝影機。
  39. 如請求項36之裝置，其中該一或多個光學感測器包含一正面照相相機。
  40. 如請求項36之裝置，其中該裝置包含以下各者中之一或多者：一行動電話、一個人資料助理(PDA)、一攜帶型音樂播放器、一電視、一遊戲控制台、一攜帶型遊戲器件、一膝上型電腦、一桌上型電腦及一平板電腦。
TW100127614A 2010-08-04 2011-08-03 藉由使用運動的性質在一顯示器上之三維使用者介面效應 TWI470534B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/849,945 US8913056B2 (en) 2010-08-04 2010-08-04 Three dimensional user interface effects on a display by using properties of motion

Publications (2)

Publication Number Publication Date
TW201214266A TW201214266A (en) 2012-04-01
TWI470534B true TWI470534B (zh) 2015-01-21

Family

ID=44531201

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100127614A TWI470534B (zh) 2010-08-04 2011-08-03 藉由使用運動的性質在一顯示器上之三維使用者介面效應

Country Status (7)

Country Link
US (2) US8913056B2 (zh)
EP (1) EP2601640B1 (zh)
JP (2) JP5524417B2 (zh)
KR (1) KR101823182B1 (zh)
CN (1) CN103119628B (zh)
TW (1) TWI470534B (zh)
WO (1) WO2012018513A1 (zh)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010108499A2 (en) * 2009-03-22 2010-09-30 Algreatly Cherif Atia 3d navigation method and system
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
KR101705119B1 (ko) * 2010-09-15 2017-02-10 삼성전자 주식회사 전자 기기에서 2차원 이미지로 3차원 화면을 구성하는 방법 및 그 전자 기기
WO2012050606A2 (en) 2010-10-12 2012-04-19 New York University Apparatus for sensing utilizing tiles, sensor having a set of plates, object identification for multi-touch surfaces, and method
JP5781080B2 (ja) * 2010-10-20 2015-09-16 三菱電機株式会社 ３次元立体表示装置および３次元立体表示処理装置
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information
JP5742187B2 (ja) 2010-11-26 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20120242664A1 (en) * 2011-03-25 2012-09-27 Microsoft Corporation Accelerometer-based lighting and effects for mobile devices
JP5874192B2 (ja) * 2011-04-11 2016-03-02 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
KR101789624B1 (ko) * 2011-06-20 2017-10-25 엘지전자 주식회사 휴대 단말기 및 그 제어방법
ITTO20110654A1 (it) * 2011-07-20 2013-01-21 Inst Rundfunktechnik Gmbh Generatore di segnale test, segnale test per apparecchi
KR101830966B1 (ko) * 2011-09-21 2018-02-22 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 생성 방법
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
KR101322465B1 (ko) 2011-11-17 2013-10-28 삼성전자주식회사 셀프 카메라 촬영을 위한 방법 및 장치
US20130318458A1 (en) * 2011-11-21 2013-11-28 Kenton M. Lyons Modifying Chrome Based on Ambient Conditions
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
US9324184B2 (en) * 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
WO2013100900A1 (en) * 2011-12-27 2013-07-04 Intel Corporation Full 3d interaction on mobile devices
WO2013104518A1 (en) * 2012-01-11 2013-07-18 Ultra-D Coöperatief U.A. Mobile display device
US9378581B2 (en) * 2012-03-13 2016-06-28 Amazon Technologies, Inc. Approaches for highlighting active interface elements
US8630458B2 (en) 2012-03-21 2014-01-14 Google Inc. Using camera input to determine axis of rotation and navigation
US8937591B2 (en) 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
CN102662473B (zh) * 2012-04-16 2016-08-24 维沃移动通信有限公司 基于眼部动作识别来实现人机信息交互的装置及方法
US11073959B2 (en) * 2012-06-08 2021-07-27 Apple Inc. Simulating physical materials and light interaction in a user interface of a resource-constrained device
US9456244B2 (en) 2012-06-25 2016-09-27 Intel Corporation Facilitation of concurrent consumption of media content by multiple users using superimposed animation
US8922557B2 (en) 2012-06-29 2014-12-30 Embarcadero Technologies, Inc. Creating a three dimensional user interface
US9339726B2 (en) * 2012-06-29 2016-05-17 Nokia Technologies Oy Method and apparatus for modifying the presentation of information based on the visual complexity of environment information
TWI509289B (zh) * 2012-08-27 2015-11-21 Innocom Tech Shenzhen Co Ltd 立體顯示裝置及其影像顯示方法
US9430991B2 (en) * 2012-10-02 2016-08-30 Futurewei Technologies, Inc. User interface display composition with device sensor/state based graphical effects
US9776078B2 (en) 2012-10-02 2017-10-03 Razer (Asia-Pacific) Pte. Ltd. Application state backup and restoration across multiple devices
US9106721B2 (en) 2012-10-02 2015-08-11 Nextbit Systems Application state synchronization across multiple devices
US9747000B2 (en) 2012-10-02 2017-08-29 Razer (Asia-Pacific) Pte. Ltd. Launching applications on an electronic device
US9717985B2 (en) 2012-10-02 2017-08-01 Razer (Asia-Pacific) Pte. Ltd. Fragment-based mobile device application streaming utilizing crowd-sourcing
US9654556B2 (en) 2012-10-02 2017-05-16 Razer (Asia-Pacific) Pte. Ltd. Managing applications on an electronic device
US8698835B1 (en) * 2012-10-16 2014-04-15 Google Inc. Mobile device user interface having enhanced visual characteristics
US9417666B2 (en) * 2012-10-19 2016-08-16 Microsoft Technology Licesning, LLC User and device movement based display compensation
US9058053B2 (en) 2012-10-26 2015-06-16 The Boeing Company Virtual reality display system
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
CN102957931A (zh) * 2012-11-02 2013-03-06 京东方科技集团股份有限公司 一种3d显示的控制方法和装置、及视频眼镜
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US9197760B2 (en) * 2013-01-07 2015-11-24 Lenovo (Singapore) Pte. Ltd. Hand activated mode setting
US9324166B2 (en) * 2013-01-31 2016-04-26 American Greetings Corporation Systems, methods, and apparatuses for creating digital glitter
US20140282269A1 (en) * 2013-03-13 2014-09-18 Amazon Technologies, Inc. Non-occluded display for hover interactions
USD735232S1 (en) * 2013-03-14 2015-07-28 Microsoft Corporation Display screen with graphical user interface
USD733739S1 (en) * 2013-03-14 2015-07-07 Microsoft Corporation Display screen with graphical user interface
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US10120540B2 (en) 2013-03-14 2018-11-06 Samsung Electronics Co., Ltd. Visual feedback for user interface navigation on television system
USD745876S1 (en) * 2013-03-14 2015-12-22 Microsoft Corporation Display screen with graphical user interface
US9389728B2 (en) * 2013-03-15 2016-07-12 Elwha Llc Systems and methods for parallax compensation
US20140267006A1 (en) * 2013-03-15 2014-09-18 Giuseppe Raffa Automatic device display orientation detection
US9798461B2 (en) 2013-03-15 2017-10-24 Samsung Electronics Co., Ltd. Electronic system with three dimensional user interface and method of operation thereof
US9395902B2 (en) * 2013-03-15 2016-07-19 Elwha Llc Systems and methods for parallax compensation
US10123189B2 (en) 2013-03-21 2018-11-06 Razer (Asia-Pacific) Pte. Ltd. Electronic device system restoration by tapping mechanism
US10019130B2 (en) 2013-04-21 2018-07-10 Zspace, Inc. Zero parallax drawing within a three dimensional display
KR101474552B1 (ko) * 2013-04-24 2014-12-22 주식회사 실리콘아츠 컴퓨터 실행 가능한 3차원 콘텐츠 디스플레이 방법, 이를 수행하는 3차원 콘텐츠 디스플레이 장치 및 이를 저장하는 기록매체
TWI547626B (zh) * 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
USD741353S1 (en) * 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
CN104238735A (zh) * 2013-06-13 2014-12-24 原相科技股份有限公司 具有手势感测器的装置
US9372103B2 (en) * 2013-07-12 2016-06-21 Facebook, Inc. Calibration of grab detection
US9857876B2 (en) * 2013-07-22 2018-01-02 Leap Motion, Inc. Non-linear motion capture using Frenet-Serret frames
US10592064B2 (en) * 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
US10067634B2 (en) * 2013-09-17 2018-09-04 Amazon Technologies, Inc. Approaches for three-dimensional object display
JP6201058B2 (ja) * 2013-09-17 2017-09-20 アマゾン テクノロジーズ インコーポレイテッド 三次元オブジェクト表示のためのアプローチ
US20150082145A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Approaches for three-dimensional object display
US9317175B1 (en) * 2013-09-24 2016-04-19 Amazon Technologies, Inc. Integration of an independent three-dimensional rendering engine
USD768162S1 (en) * 2013-09-30 2016-10-04 Nextbit Systems Inc. Display screen or portion thereof with graphical user interface
CN106068462B (zh) 2013-11-20 2019-08-09 飞利浦灯具控股公司 用于基于光的定位和导航的方法和装置
US10303324B2 (en) * 2014-02-10 2019-05-28 Samsung Electronics Co., Ltd. Electronic device configured to display three dimensional (3D) virtual space and method of controlling the electronic device
US9958963B2 (en) 2014-02-19 2018-05-01 American Greetings Corporation Systems, methods, and apparatuses for creating digital glitter with accelerometer
GB2523345B (en) 2014-02-20 2018-01-17 Samsung Electronics Co Ltd Detecting user viewing difficulty from facial parameters
WO2015130137A1 (en) * 2014-02-27 2015-09-03 Samsung Electronics Co., Ltd. Method and device for displaying three-dimensional graphical user interface screen
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
JP2015166890A (ja) 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9710098B2 (en) * 2014-03-31 2017-07-18 Samsung Display Co., Ltd. Method and apparatus to reduce latency of touch events
US20170052684A1 (en) * 2014-04-07 2017-02-23 Sony Corporation Display control apparatus, display control method, and program
KR102224478B1 (ko) * 2014-04-15 2021-03-08 엘지전자 주식회사 터치 센서티브 플렉서블 디스플레이 디바이스 및 그 제어 방법
US10318016B2 (en) * 2014-06-03 2019-06-11 Harman International Industries, Incorporated Hands free device with directional interface
KR102204919B1 (ko) * 2014-06-14 2021-01-18 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
US9389703B1 (en) * 2014-06-23 2016-07-12 Amazon Technologies, Inc. Virtual screen bezel
TWI530864B (zh) * 2014-08-19 2016-04-21 宏碁股份有限公司 可攜式電子裝置以及使用者介面操作方法
US10620748B2 (en) 2014-10-22 2020-04-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for providing a touch-based user interface
CN104349155B (zh) * 2014-11-25 2017-02-01 深圳超多维光电子有限公司 模拟立体图像显示方法及显示设备
US10039975B2 (en) 2015-01-13 2018-08-07 Disney Enterprises, Inc. Techniques for representing imaginary participants in an immersive play environment
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
US9855497B2 (en) 2015-01-20 2018-01-02 Disney Enterprises, Inc. Techniques for providing non-verbal speech recognition in an immersive playtime environment
US10265621B2 (en) 2015-01-20 2019-04-23 Disney Enterprises, Inc. Tracking specific gestures relative to user movement
US20160210382A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Autonomous driving refined in virtual environments
US20160210383A1 (en) * 2015-01-21 2016-07-21 Ford Global Technologies, Llc Virtual autonomous response testbed
WO2016126863A1 (en) * 2015-02-04 2016-08-11 Invensense, Inc Estimating heading misalignment between a device and a person using optical sensor
JP6756090B2 (ja) * 2015-06-17 2020-09-16 凸版印刷株式会社 画像処理装置、方法、及びプログラム
CN105141938B (zh) * 2015-08-18 2017-12-01 深圳先进技术研究院 视线定位装置
US9830708B1 (en) * 2015-10-15 2017-11-28 Snap Inc. Image segmentation of a video stream
WO2017107171A1 (zh) * 2015-12-25 2017-06-29 华为技术有限公司 一种人机交互方法及电子设备
US10318043B2 (en) * 2016-03-24 2019-06-11 Gm Global Technology Operations Llc. Dynamic adjustment of touch sensitive area in a display assembly
US10303341B2 (en) * 2016-05-25 2019-05-28 International Business Machines Corporation Modifying screen content based on gaze tracking and user distance from the screen
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
KR102588518B1 (ko) * 2016-07-06 2023-10-13 삼성전자주식회사 전자 장치 및 이의 디스플레이 방법
US10225655B1 (en) * 2016-07-29 2019-03-05 Relay Cars LLC Stereo user interface elements placed in 3D space for virtual reality applications in head mounted displays
US10628661B2 (en) 2016-08-09 2020-04-21 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10217009B2 (en) * 2016-08-09 2019-02-26 Daon Holdings Limited Methods and systems for enhancing user liveness detection
US11115408B2 (en) 2016-08-09 2021-09-07 Daon Holdings Limited Methods and systems for determining user liveness and verifying user identities
US10210380B2 (en) 2016-08-09 2019-02-19 Daon Holdings Limited Methods and systems for enhancing user liveness detection
CN107025035B (zh) 2016-11-30 2020-02-14 阿里巴巴集团控股有限公司 控制移动终端屏幕显示的方法及移动终端
CN110268806B (zh) * 2017-02-16 2022-01-04 昕诺飞控股有限公司 用于经由照明设备来指示虚拟对象的存在的控制器和其方法
USD845336S1 (en) 2017-05-03 2019-04-09 Google Llc Display screen or portion thereof with graphical user interface
CN107181939A (zh) * 2017-05-10 2017-09-19 廖治文 基于摄像头的裸眼三维成像方法及系统
US10796294B2 (en) 2017-05-16 2020-10-06 Apple Inc. User interfaces for peer-to-peer transfers
US11221744B2 (en) * 2017-05-16 2022-01-11 Apple Inc. User interfaces for peer-to-peer transfers
CN107300975A (zh) * 2017-07-13 2017-10-27 联想(北京)有限公司 一种信息处理方法及电子设备
US10699371B2 (en) * 2017-08-18 2020-06-30 Rockwell Collins, Inc. Systems and methods for reducing parallax in aircraft displays
US10783681B2 (en) 2017-09-13 2020-09-22 International Business Machines Corporation Artificially tiltable image display
CN107592521A (zh) * 2017-09-14 2018-01-16 陈乐春 基于人眼视觉特点的全景视野呈现方法
CN108536289B (zh) * 2018-03-28 2022-11-15 北京凌宇智控科技有限公司 一种虚拟环境的场景切换方法及系统
US10909524B2 (en) 2018-06-03 2021-02-02 Apple Inc. User interfaces for transfer accounts
US11159731B2 (en) * 2019-02-19 2021-10-26 Samsung Electronics Co., Ltd. System and method for AI enhanced shutter button user interface
US11328352B2 (en) 2019-03-24 2022-05-10 Apple Inc. User interfaces for managing an account
KR20200126232A (ko) * 2019-04-29 2020-11-06 삼성전자주식회사 전자 장치 및 그 영상을 출력하는 방법
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
CN114584652B (zh) * 2020-11-28 2023-06-20 华为技术有限公司 一种用户图形界面显示方法、装置、计算机设备及存储介质
US11838684B2 (en) 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications
US11315291B1 (en) * 2021-01-29 2022-04-26 International Business Machines Corporation Shine visualization
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US11784956B2 (en) 2021-09-20 2023-10-10 Apple Inc. Requests to add assets to an asset account
US20230400960A1 (en) * 2022-06-13 2023-12-14 Illuscio, Inc. Systems and Methods for Interacting with Three-Dimensional Graphical User Interface Elements to Control Computer Operation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW487871B (en) * 1999-11-24 2002-05-21 Ibm Three-dimensional GUI windows with variable-speed perspective movement
TW200301444A (en) * 2001-10-30 2003-07-01 Hewlett Packard Co User interface and method for interacting with a three-dimensional graphical environment
TW200537395A (en) * 2004-05-03 2005-11-16 Microsoft Corp Model 3D construction application program interface
TW200713122A (en) * 2005-06-29 2007-04-01 Qualcomm Inc Visual debugging system for 3D user interface program
TW200919294A (en) * 2007-10-24 2009-05-01 Inventec Corp 3D-window operation interface based on graphical user interface and method thereof
US20090179914A1 (en) * 2008-01-10 2009-07-16 Mikael Dahlke System and method for navigating a 3d graphical user interface
US20090251460A1 (en) * 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface
US20100188358A1 (en) * 2006-01-05 2010-07-29 Kenneth Kocienda User Interface Including Word Recommendations

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004309947A (ja) * 2003-04-10 2004-11-04 Sharp Corp データ表示装置、データ表示プログラム、および、プログラム記録媒体
JP4000570B2 (ja) 2004-04-14 2007-10-31 ソニー株式会社 情報処理装置および方法
WO2005119591A1 (ja) * 2004-06-04 2005-12-15 Matsushita Electric Industrial Co., Ltd. 表示制御方法および装置、プログラム、並びに携帯機器
JP2006126445A (ja) * 2004-10-28 2006-05-18 Matsushita Electric Ind Co Ltd ナビゲーションシステム
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
US20060164382A1 (en) * 2005-01-25 2006-07-27 Technology Licensing Company, Inc. Image manipulation in response to a movement of a display
JP2007080060A (ja) * 2005-09-15 2007-03-29 Matsushita Electric Ind Co Ltd 対象物特定装置
JP4977995B2 (ja) 2005-10-26 2012-07-18 日本電気株式会社 携帯表示装置
US20090262074A1 (en) * 2007-01-05 2009-10-22 Invensense Inc. Controlling and accessing content using motion processing on mobile devices
US8745535B2 (en) 2007-06-08 2014-06-03 Apple Inc. Multi-dimensional desktop
US8423076B2 (en) * 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
US8681093B2 (en) * 2008-02-11 2014-03-25 Apple Inc. Motion compensation for screens
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
US8477139B2 (en) 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
US9092053B2 (en) 2008-06-17 2015-07-28 Apple Inc. Systems and methods for adjusting a display based on the user's position
KR101602363B1 (ko) * 2008-09-11 2016-03-10 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
US20100115471A1 (en) 2008-11-04 2010-05-06 Apple Inc. Multidimensional widgets
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
JP2011203984A (ja) 2010-03-25 2011-10-13 Soka Univ ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
WO2011145304A1 (ja) 2010-05-20 2011-11-24 日本電気株式会社 携帯型情報処理端末
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
EP2637078B1 (en) 2010-11-02 2020-04-08 NEC Corporation Information processing system and information processing method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW487871B (en) * 1999-11-24 2002-05-21 Ibm Three-dimensional GUI windows with variable-speed perspective movement
TW200301444A (en) * 2001-10-30 2003-07-01 Hewlett Packard Co User interface and method for interacting with a three-dimensional graphical environment
TW200537395A (en) * 2004-05-03 2005-11-16 Microsoft Corp Model 3D construction application program interface
TW200713122A (en) * 2005-06-29 2007-04-01 Qualcomm Inc Visual debugging system for 3D user interface program
US20100188358A1 (en) * 2006-01-05 2010-07-29 Kenneth Kocienda User Interface Including Word Recommendations
TW200919294A (en) * 2007-10-24 2009-05-01 Inventec Corp 3D-window operation interface based on graphical user interface and method thereof
US20090179914A1 (en) * 2008-01-10 2009-07-16 Mikael Dahlke System and method for navigating a 3d graphical user interface
US20090251460A1 (en) * 2008-04-04 2009-10-08 Fuji Xerox Co., Ltd. Systems and methods for incorporating reflection of a user and surrounding environment into a graphical user interface

Also Published As

Publication number Publication date
US20150106768A1 (en) 2015-04-16
US8913056B2 (en) 2014-12-16
CN103119628A (zh) 2013-05-22
KR101823182B1 (ko) 2018-01-29
JP2014135086A (ja) 2014-07-24
JP5877219B2 (ja) 2016-03-02
EP2601640A1 (en) 2013-06-12
US20120036433A1 (en) 2012-02-09
JP5524417B2 (ja) 2014-06-18
KR20140005141A (ko) 2014-01-14
CN103119628B (zh) 2016-06-08
US9417763B2 (en) 2016-08-16
WO2012018513A1 (en) 2012-02-09
EP2601640B1 (en) 2017-03-01
TW201214266A (en) 2012-04-01
JP2013537670A (ja) 2013-10-03

Similar Documents

Publication Publication Date Title
TWI470534B (zh) 藉由使用運動的性質在一顯示器上之三維使用者介面效應
US9778815B2 (en) Three dimensional user interface effects on a display
US20210011556A1 (en) Virtual user interface using a peripheral device in artificial reality environments
US8872854B1 (en) Methods for real-time navigation and display of virtual worlds
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
US20170352188A1 (en) Support Based 3D Navigation
CN106125921A (zh) 3d映射环境中的凝视检测
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
JP2013050881A (ja) 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US10649616B2 (en) Volumetric multi-selection interface for selecting multiple objects in 3D space
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
CN116583816A (zh) 与环境中的对象进行交互的方法
CN110673810A (zh) 显示设备及其显示方法、装置、存储介质和处理器
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
CN113243000A (zh) 用于增强现实对象的捕捉范围
Laberge Visual tracking for human-computer interaction