TWI493388B - 用於行動裝置的全三維互動的設備與方法、行動裝置及非暫時性電腦可讀取儲存媒體 - Google Patents

用於行動裝置的全三維互動的設備與方法、行動裝置及非暫時性電腦可讀取儲存媒體 Download PDF

Info

Publication number
TWI493388B
TWI493388B TW101149605A TW101149605A TWI493388B TW I493388 B TWI493388 B TW I493388B TW 101149605 A TW101149605 A TW 101149605A TW 101149605 A TW101149605 A TW 101149605A TW I493388 B TWI493388 B TW I493388B
Authority
TW
Taiwan
Prior art keywords
mobile device
environment
user interaction
logic
identify
Prior art date
Application number
TW101149605A
Other languages
English (en)
Other versions
TW201342135A (zh
Inventor
Lenitra M Durham
David Durham
Sangita Sharma
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201342135A publication Critical patent/TW201342135A/zh
Application granted granted Critical
Publication of TWI493388B publication Critical patent/TWI493388B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Description

用於行動裝置的全三維互動的設備與方法、行動裝置及非暫時性電腦可讀取儲存媒體
實施例大致是關於行動裝置互動性。更具體來說，實施例是關於使用三維(3D)環境來增進行動裝置的互動性。
習知智慧型手機的螢幕(例如：顯示器)係小於螢幕上所顯示之內容。舉例來說，典型的桌上型電腦環境可包括數個視窗，其可能難以在典型的智慧型手機上被觀看。為了配合相當小的螢幕尺寸，雖然可能已開發出某些解決方案，但仍有相當多的改善空間。舉例來說，平移越過所顯示之影像的習知技術可能需要使用者的手指「刷過」，其中該使用者的手指可遮蔽螢幕上的內容。同樣地，影像的放大和縮小可能需要手指「捏縮」，其亦使得使用者無法觀看至少一部份該內容。
實施例可包括具有螢幕和邏輯的行動裝置，其中該邏輯是用以透過該螢幕來顯示三維(3D)環境。該邏輯亦可識別與行動裝置後方之區域的第一使用者互動，並至少部份依據該第一使用者互動來修改該3D環境。
實施例亦可包括具有邏輯的設備，其中該邏輯是用以透過行動裝置的螢幕來顯示3D環境，並識別與該行動裝 置後方之區域的第一使用者互動。該邏輯亦可被組態為至少部份依據該第一使用者互動來修改該3D環境。
另外，實施例可包括具有一組指令的非暫時性電腦可讀取儲存媒體，若由處理器執行該等指令，則會使行動裝置透過該行動裝置的螢幕來顯示3D環境，並識別與該行動裝置後方之區域的第一使用者互動。該等指令亦可使該行動裝置至少部份依據該第一使用者互動來修改該3D環境。
其他實施例可包含一種電腦實行之方法，其中是透過行動裝置的螢幕來顯示3D環境。該方法亦可供以識別與該行動裝置後方之區域的第一使用者互動，以及至少部份依據該第一使用者互動來修改該3D環境。
現在參照第1圖，係顯示行動裝置10，其中行動裝置10具有可由使用者14所觀看之螢幕12(例如：液晶顯示器/LCD、觸控式螢幕、立體顯示器等)。舉例來說，行動裝置10可為智慧型手機、行動上網裝置(MID)、筆記型電腦、或是螢幕12之尺寸相當小的其他類似裝置。在所圖解之範例中，於螢幕12上顯示3D環境16，使得當由行動裝置10的前方所觀看時，其看起來像是位於行動裝置10後方的某段距離。舉例來說，3D環境16可包括虛擬桌上型電腦環境，其中多個視窗18(18a、18b)看起來遠大於螢幕12。視窗18的位置可為「空中」(例如：飄浮)或是被「固定」於行動裝置10後方的某個外表面，諸如實體桌面、牆等。
一般而言，使用者14可一手握持行動裝置10，並使用另一「空手」20來與3D環境16互動。與3D環境16的使用者互動可包含與例如：游標移動操作、點擊操作、拖放操作、捏縮操作、選取操作、物件旋轉操作等等有關的活動，其中執行該等操作的模式可視情況而變化。舉例來說，若3D環境16被固定於諸如實體桌面的外表面，則使用者14可藉由以空手20的食指(或其他手指)輕敲於該外表面來選取視窗18。在此種情況中，行動裝置10可包括後影像感測器及/或麥克風(未顯示)以偵測輕敲(例如：使用者互動)，並在3D環境16中實行適當的點擊及/或選取操作。舉例來說，該後影像感測器可使用型態/物件辨識技術來識別對應於該輕敲互動的各種手部形狀及/或移動。同樣地，該麥克風可識別對應於該輕敲互動的聲音頻率內容。亦可使用該後影像感測器及/或麥克風來識別諸如拖放動作和捏縮動作的其他使用者互動。
因此，若所圖解之視窗18b目前為現用視窗(例如：在該環境的最前面)，且空手20的食指在該外表面上於對應於另一視窗18a的位置輕敲，則行動裝置10可藉由使另一視窗18a為現用視窗(例如：將其移動至該環境的最前面)來加以回應。特別注意的是，此一方式可允許該外表面對使用者14提供觸覺回饋。如將更詳細加以探討地，若3D環境16為空中環境(例如：未被固定於外表面)，則可由諸如空氣噴嘴的另一組件來提供觸覺回饋，其中該空氣噴嘴是位於該裝置上，且被組態為回應於偵測 到使用者互動而對空手20噴出一股空氣。
使用者14亦可將空手20的食指移動至所欲位置，並使用該手來握持行動裝置10來與諸如按鈕22之行動裝置10的使用者介面(UI)互動，以在3D環境16中觸發一個以上之操作。按鈕22可因此有效地作用如滑鼠的左及/或右點擊鈕，且使用者14的空手20係作用如該滑鼠的座標位置機制。舉例來說，按鈕22可被用來作為在該外表面上輕敲的替代品，以便點擊或選取視窗18。因此，使用者14可單純地移動空手20，以在3D環境16中點選所欲位置，並使用另一手來按壓按鈕22及開始點擊/選取操作。另外，可使用按鈕22以執行更複雜的操作，諸如拖放或捏縮操作。
如已註明的，可替代性地將3D環境16實行為未被固定於特定外表面的空中環境。在此種情況中，可相對於與3D環境16中之視窗18及其他物件對應的空中位置來進行空手20的移動。行動裝置10亦可備有回應於與3D環境16之使用者互動而提供觸覺回饋的空氣噴嘴(未顯示)。
所圖解之行動裝置10亦可允許實行特有的平移(pan)和縮放(zoom)操作方式。特別是，使用者14可藉由單純地將空手20朝所欲方向移動至景象的邊緣來平移(例如：向左、向右、向上或向下捲動)越過3D環境16，其中後影像感測器可偵測空手20的動作。另一平移之方式可為讓使用者14將行動裝置10朝感興趣之方向傾 斜/移動，其中行動裝置10亦可備有可與後影像感測器一同作業的動作感測器及/或前影像感測器(未顯示)，以便將行動裝置10的移動轉換為平移操作。兩者中的任一方式皆可使透過螢幕12所顯示的虛擬環境看起來遠大於螢幕12。
此外，動作感測器及/或前影像感測器可與後影像感測器一同作業，以便將行動裝置10的移動轉換為縮放操作。特別是，該前影像感測器可判斷行動裝置10和使用者14的臉部之間的距離，而該後影像感測器可判斷行動裝置10和使用者14的空手20及/或外表面之間的距離，其中這些距離的變化可被轉化為縮放操作。因此，使用者14可藉由將行動裝置10自使用者14的臉部移開並移向3D環境16中的感興趣之區域來放大至該3D環境的特定區域(例如：如同藉由放大鏡)。同樣地，使用者14可藉由將行動裝置移向使用者14的臉部並自所談到的區域移開而縮小退出3D環境16的特定區域。此一執行縮放操作的方式可進一步允許透過螢幕12來顯示相當大的虛擬環境。此外，藉由將3D環境的修改建立於發生在行動裝置10後方的使用者互動上，所圖解之方式係免除任何對於在使用者互動期間，空手20之手指遮蔽所顯示之內容的顧慮。
第2圖顯示另一3D環境24，其中係透過行動裝置10的螢幕12來顯示一個以上之3D物件26(26a-26f)。在所圖解之範例中，使用者的空手20可藉由與行動裝置10 後方之區域互動來選取、旋轉及操縱物件26。可以所示方式來精描(render)及修改諸如遊戲環境、工作流程環境等的各種虛擬環境。
現在參照第3圖，係顯示使用3D環境來允許使用者與行動裝置互動的方法30。方法30可在諸如行動平台10(第1圖和第2圖)的行動裝置中被實行為一組邏輯指令，其中該等指令是被儲存於機器或電腦可讀取儲存媒體，諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可程式化ROM(PROM)、韌體、快閃記憶體等，於可組態之邏輯，諸如，舉例來說，可程式化邏輯陣列(PLA)、場可程式化閘極陣列(FPGA)、複合可程式化邏輯裝置(CPLD)，於使用電路科技之固定功能性邏輯硬體，諸如，舉例來說，特定應用積體電路(ASIC)、互補金氧半導體(CMOS)或電晶體對電晶體邏輯(TTL)技術，或是其任何組合。舉例來說，用以執行方法30中所示之操作的電腦程式碼可以一種以上之程式語言的任何組合來加以寫成，包括物件導向程式語言，諸如Java、Smalltalk、C++之類，以及習知的程序性程式語言，諸如「C」程式語言或類似的程式語言。
一般而言，方法30的裝置部份32可包含依據裝置移動來精描及修改3D環境，而方法30的互動部份34可包含依據使用者互動來精描及修改3D環境。所圖解之處理方塊36係供以取得視框緩衝區資料，其中該視框緩衝區資料可與用以透過行動裝置10的螢幕來精描3D環境的一 個以上之影像/視頻框的畫素資料有關。可在方塊38判斷外表面的位置和定向。抑或，可在空中位置精描該虛擬環境，其中在方塊38的判斷可被略過。
方塊40可供以調整該視框緩衝區資料的遠近和位置，使得其與該外表面的定向一致。因此，舉例來說，若該外表面對於該使用者為位於某一角度(例如：45°)的實體桌面，則亦可以相同/類似角度來傾斜該視框緩衝區資料。可在方塊42偵測行動裝置的移動及/或重新定向，其中該移動之偵測可藉由使用來自行動裝置之動作感測器、後影像感測器、前影像感測器等的一個以上之信號而加以達成，如先前所述。所圖解之方塊44係依據該裝置移動/重新定向來更新該視框緩衝區。因此，該更新可包含左/右平移、放大/縮小、維持與該外表面定向的合適遠近等等。
在方法10的互動部份34中，方塊46可供以偵測手部/手指位置(例如：空中、裝置上、外表面上)，其中在方塊48可依據該手部/手指位置來執行游標移動操作。另外，在方塊50，可使用來自後影像感測器、麥克風及/或行動裝置(例如：UI、按鈕等)的一個以上之信號來識別該使用者的一個以上之手勢。若在方塊52判斷偵測到手勢，則所圖解之方塊54會在該3D環境中實行適當動作。因此，方塊54可包含執行點擊操作、拖放操作、捏縮操作、選取操作、物件旋轉操作等等。方塊56係供以判斷是否已請求從該虛擬環境互動程序退出。若未請求退 出或未偵測到手勢，則所圖解之方法30會重複以便追蹤裝置移動和手部移動，並據此更新該3D環境。
第4圖顯示行動裝置60。行動裝置60可為具有運算功能性(例如：個人數位助理/PDA、膝上型電腦、智慧型平板電腦)、通訊功能性(例如：無線智慧型手機)、成像功能性、媒體播放功能性(例如：智慧型電視/TV)、或是其任何組合(例如：行動上網裝置/MID)的平台之部份。可輕易地以行動裝置60來代替行動裝置10(第1圖和第2圖)，如先前所述。在所圖解之範例中，裝置60包括具有積體記憶體控制器(IMC)64的處理器62，該積體記憶體控制器64可與系統記憶體66通訊。舉例來說，系統記憶體66可包括被組態為一個以上之記憶體模組的動態隨機存取記憶體(DRAM)，舉例來說，諸如雙直列記憶體模組(DIMM)、小型DIMM(SODIMM)等。
所圖解之裝置60亦包括平台控制器集線器(PCH)68，有時被稱為晶片組的南橋，其係作用如主機裝置且可與，例如，前影像感測器70、後影像感測器72、空氣噴嘴74、麥克風76、螢幕78、動作感測器79、及大量儲存器80(例如：硬碟驅動機/HDD、光碟、快閃記憶體等)通訊。所圖解之處理器62可執行邏輯82，其中該邏輯82被組態為透過螢幕78來顯示3D環境，識別與行動裝置60後方之區域的使用者互動，以及至少部份依據該等使用者互動來修改該3D環境。亦可依據行動裝置60的移動來修改該3D環境，其中可使用來自前影像感測器70、後影 像感測器72、麥克風76及/或動作感測器79的一個以上之信號來識別該等使用者互動及/或該行動裝置移動。另外，可依據來自透過螢幕78(例如：觸控式螢幕)所實行之UI或諸如按鈕22(第1圖)之其他適當介面的一個以上之信號來識別與行動裝置60的使用者互動，如先前所述。此外，邏輯82可回應於使用者互動而使用噴嘴74來對使用者提供觸覺回饋。
因此，此處所述之技術可使用諸如智慧型手機的小形狀因數之行動裝置來允許全桌上型電腦體驗。藉由使用3D顯示技術及/或3D精描機制，可允許使用者透過行動裝置來互動、觀看其螢幕，同時與該裝置之螢幕上方、後方、下方及旁邊的空間互動。另外，該螢幕可僅由正視著它的個人所觀看，因而加強使用者互動方面的隱私(例如：類似於可針對膝上型電腦顯示器所設計的隱私濾鏡)。
本發明之實施例適合與所有種類的半導體積體電路(「IC」)晶片一同使用。這些IC晶片的範例包括但不限於：處理器、控制器、晶片組組件、可程式化邏輯陣列(PLA)、記憶體晶片、網路晶片、系統單晶片(SoC)、SSD/NAND控制器ASIC之類。另外，在某些圖式中，係以線條來描繪信號導體線。某些可能不同以指出更多組成信號路徑，具有數字標記以指出多個組成信號路徑，及/或在一個以上的末端具有箭頭以指出主要資訊流向。但不應以有限方式來將此加以解讀。反之，此種附加 細節可與一個以上之示範性實施例一同加以使用，以助於更容易理解電路。任何所描繪之信號線，不論是否具有額外資訊，皆可實際包含一個以上之信號，其中該等信號可朝多個方向行進，且可藉由任何合適類型的信號格式來加以實行，例如：藉由差動對來加以實行的數位或類比線、光纖線、及/或單端線。
雖已給定範例尺寸/模型/值/範圍，但本發明之實施例不限於此。由於製造技術(例如：光微影)隨時間成熟，故預期可製造出較小尺寸之裝置。另外，為了易於圖解及討論，以及為了不混淆本發明之實施例的某些形態，圖式中可以或可不顯示對於IC晶片及其他組件的已知電源/接地連接。此外，為了避免混淆本發明之實施例，並且有鑒於此等方塊圖配置之實作的細節係高度依賴實行該實施例的平台，亦即，熟習該項技藝者應熟知此等細節，故可以方塊圖形式來顯示配置。雖然闡明特定細節(例如：電路)來敘述本發明的範例實施例，但熟習該項技藝者應明瞭，可不需或變更這些特定細節來實施本發明之實施例。本說明因此被視為解說性而非限制性。
詞彙「耦合」可在此被用來指所談到的組件之間，直接或間接的任何類型之關係，且可適用於電氣、機械、流體、光學、電磁、電機或其他的連接。另外，詞彙「第一」、「第二」等在此處僅被用來助於討論，且除非另外加以指出，否則並不帶有特殊的時間性或時序性意義。
熟習該項技藝者將從前述說明中了解，本發明之實施 例的廣泛技術可以各種形式來加以實行。因此，雖然本發明之實施例已就其特定範例來加以說明，但由於熟習該項技藝者將藉由研讀本圖式、說明書、以及以下申請專利範圍而了解其他的變體，故不應如此限制本發明之實施例的實際範圍。
10‧‧‧行動裝置
12‧‧‧螢幕
14‧‧‧使用者
16‧‧‧3D環境
18、18a、18b‧‧‧視窗
20‧‧‧空手
22‧‧‧按鈕
24‧‧‧3D環境
26(26a-26f)‧‧‧3D物件
60‧‧‧行動裝置
62‧‧‧處理器
64‧‧‧積體記憶體控制器(IMC)
66‧‧‧系統記憶體
68‧‧‧平台控制器集線器(PCH)
70‧‧‧前影像感測器
72‧‧‧後影像感測器
74‧‧‧空氣噴嘴
76‧‧‧麥克風
78‧‧‧螢幕
79‧‧‧動作感測器
80‧‧‧大量儲存器
82‧‧‧邏輯
藉由閱讀已下說明書及所附申請專利範圍，以及藉由參照以下圖式，熟習該項技藝者將可明瞭本發明之實施例的各種優點，其中：第1圖為根據一實施例之透過行動裝置之螢幕來加以顯示的三維(3D)虛擬桌上型電腦環境之範例的透視圖；第2圖為根據一實施例之透過行動裝置之螢幕來加以顯示的替代性3D虛擬環境之範例的透視圖；第3圖是根據一實施例之使用3D虛擬環境來讓使用者與行動裝置互動的方法之範例的流程圖；以及第4圖為根據一實施例之行動裝置範例的方塊圖。
10‧‧‧行動裝置
12‧‧‧螢幕
14‧‧‧使用者
16‧‧‧3D環境
18、18a、18b‧‧‧視窗
20‧‧‧空手
22‧‧‧按鈕

Claims (35)

  1. 一種行動裝置，包含：螢幕；以及邏輯，用以透過該螢幕來顯示三維(3D)環境，識別與該行動裝置後方之區域的第一使用者互動，以及至少部份依據該第一使用者互動來修改該3D環境。
  2. 如申請專利範圍第1項的行動裝置，其中該第一使用者互動是包括相對於與該3D環境中之虛擬物件有關的空中位置和外表面之其中至少一者的手部移動。
  3. 如申請專利範圍第1項的行動裝置，更包括空氣噴嘴，其中若該第一使用者互動為相對於空中位置的手部移動，則該邏輯是使用該空氣噴嘴來提供觸覺回饋。
  4. 如申請專利範圍第1項的行動裝置，更包括後影像感測器，其中該邏輯是使用來自該後影像感測器的一個以上之信號來識別該第一使用者互動。
  5. 如申請專利範圍第1項的行動裝置，更包括麥克風，其中該邏輯是使用來自該麥克風的一個以上之信號來識別該第一使用者互動。
  6. 如申請專利範圍第1項的行動裝置，其中該邏輯是實行游標移動操作、點擊操作、拖放操作、捏縮操作、選取操作及物件旋轉操作的其中一者以上，以至少部份依據該第一使用者互動來修改該3D環境。
  7. 如申請專利範圍第1項的行動裝置，更包括動作感測器，其中該邏輯是使用來自該動作感測器的一個以上之信號來識別該行動裝置的移動。
  8. 如申請專利範圍第1項的行動裝置，更包括前影像感測器，其中該邏輯是使用來自該前影像感測器的一個以上之信號來識別該行動裝置的移動。
  9. 如申請專利範圍第1項的行動裝置，其中該3D環境是包括實質大於該行動裝置的螢幕之虛擬桌上型電腦環境。
  10. 如申請專利範圍第1項的行動裝置，其中該邏輯是，使用來自該行動裝置之使用者介面的一個以上之信號來識別與該行動裝置的第二使用者互動，以及至少部份依據該第二使用者互動而藉由點擊操作、拖放操作及捏縮操作的其中至少一者來修改該3D環境。
  11. 一種用於行動裝置的全三維互動的設備，包含：邏輯，用以透過行動裝置之螢幕來顯示三維(3D)環境，識別與該行動裝置後方之區域的第一使用者互動，以及至少部份依據該第一使用者互動來修改該3D環境。
  12. 如申請專利範圍第11項的設備，其中該第一使用者互動是包括相對於與該3D環境中之虛擬物件有關的空中位置和外表面之其中至少一者的手部移動。
  13. 如申請專利範圍第11項的設備，其中該邏輯是使用來自該行動裝置的後影像感測器和麥克風之其中至少一者的一個以上之信號來識別該第一使用者互動。
  14. 如申請專利範圍第11項的設備，其中若該第一使用者互動為相對於空中位置的手部移動，則該邏輯是使用該行動裝置的空氣噴嘴來提供觸覺回饋。
  15. 如申請專利範圍第11項的設備，其中該邏輯是實行游標移動操作、點擊操作、拖放操作、捏縮操作、選取操作及物件旋轉操作的其中一者以上，以至少部份依據該第一使用者互動來修改該3D環境。
  16. 如申請專利範圍第11項的設備，其中該邏輯是，使用來自該行動裝置的動作感測器和前影像感測器之其中至少一者的一個以上之信號來識別該行動裝置的移動，以及至少部份依據該行動裝置的移動而藉由平移操作和縮放操作的其中至少一者來修改該3D環境。
  17. 如申請專利範圍第11項的設備，其中該3D環境是包括實質大於該行動裝置的螢幕之虛擬桌上型電腦環境。
  18. 如申請專利範圍第11項的設備，其中該邏輯是，使用來自該行動裝置之使用者介面的一個以上之信號來識別與該行動裝置的第二使用者互動，以及至少部份依據該第二使用者互動而藉由點擊操作、拖放操作及捏縮操作的其中至少一者來修改該3D環境。
  19. 如申請專利範圍第18項的設備，其中該點擊操作是包括電腦滑鼠點擊操作。
  20. 一種非暫時性電腦可讀取儲存媒體，包含一組指令，若由處理器執行該等指令，則會使行動裝置：透過該行動裝置的螢幕來顯示三維(3D)環境；識別與該行動裝置後方之區域的第一使用者互動；以及至少部份依據該第一使用者互動來修改該3D環境。
  21. 如申請專利範圍第20項的媒體，其中該第一使用者互動是包括相對於與該3D環境中之虛擬物件有關的空中位置和外表面之其中至少一者的手部移動。
  22. 如申請專利範圍第20項的媒體，其中若執行該等指令，則會使該行動裝置使用來自該行動裝置的後影像感測器和麥克風之其中至少一者的一個以上之信號來識別該第一使用者互動。
  23. 如申請專利範圍第20項的媒體，其中若執行該等指令，則若該第一使用者互動為相對於空中位置的手部移動，會使該行動裝置使用該行動裝置的空氣噴嘴來提供觸覺回饋。
  24. 如申請專利範圍第20項的媒體，其中若執行該等指令，則會使該行動裝置實行游標移動操作、點擊操作、拖放操作、捏縮操作、選取操作及物件旋轉操作的其中一者以上，以至少部份依據該第一使用者互動來修改該3D環境。
  25. 如申請專利範圍第20項的媒體，其中若執行該等指令，則會使該行動裝置：使用來自該行動裝置的動作感測器和前影像感測器之其中至少一者的一個以上之信號來識別該行動裝置的移動；以及至少部份依據該行動裝置的移動而藉由平移操作和縮放操作的其中至少一者來修改該3D環境。
  26. 如申請專利範圍第20項的媒體，其中該3D環境是包括實質大於該行動裝置的螢幕之虛擬桌上型電腦環境。
  27. 如申請專利範圍第20項的媒體，其中若執行該等指令，則會使該行動裝置：使用來自該行動裝置之使用者介面的一個以上之信號來識別與該行動裝置的第二使用者互動；以及至少部份依據該第二使用者互動而藉由點擊操作、拖放操作及捏縮操作的其中至少一者來修改該3D環境。
  28. 一種用於行動裝置的全三維互動的方法，包含：透過行動裝置的螢幕來顯示三維(3D)環境；識別與該行動裝置後方之區域的第一使用者互動；以及至少部份依據該第一使用者互動來修改該3D環境。
  29. 如申請專利範圍第28項的方法，其中該第一使用者互動包括相對於與該3D環境中之虛擬物件有關的空中位置和外表面之其中至少一者的手部移動。
  30. 如申請專利範圍第28項的方法，更包括：使用來自該行動裝置的後影像感測器和麥克風之其中至少一者的一個以上之信號來識別該第一使用者互動；以及若該第一使用者互動為相對於該空中位置的手部移動，則使用該行動裝置的空氣噴嘴來提供觸覺回饋。
  31. 如申請專利範圍第28項的方法，更包括：使用來自該行動裝置的後影像感測器和麥克風之其中至少一者的一個以上之信號來識別該第一使用者互動；以及若該第一使用者互動為相對於該空中位置的手部移動，則使用該行動裝置的空氣噴嘴來提供觸覺回饋。
  32. 如申請專利範圍第28項的方法，其中修改該3D環境包括實行游標移動操作、點擊操作、拖放操作、捏縮操作、選取操作及物件旋轉操作的其中一者以上。
  33. 如申請專利範圍第28項的方法，更包括：使用來自該行動裝置的動作感測器和前影像感測器之其中至少一者的一個以上之信號來識別該行動裝置的移動；以及至少部份依據該行動裝置的移動而藉由平移操作和縮放操作的其中至少一者來修改該3D環境。
  34. 如申請專利範圍第28項的方法，其中該3D環境包括實質大於該行動裝置的螢幕之虛擬桌上型電腦環境。
  35. 如申請專利範圍第28項的方法，更包括： 使用來自該行動裝置之使用者介面的一個以上之信號來識別與該行動裝置的第二使用者互動；以及至少部份依據該第二使用者互動而藉由點擊操作、拖放操作及捏縮操作的其中至少一者來修改該3D環境。
TW101149605A 2011-12-27 2012-12-24 用於行動裝置的全三維互動的設備與方法、行動裝置及非暫時性電腦可讀取儲存媒體 TWI493388B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/067376 WO2013100900A1 (en) 2011-12-27 2011-12-27 Full 3d interaction on mobile devices

Publications (2)

Publication Number Publication Date
TW201342135A TW201342135A (zh) 2013-10-16
TWI493388B true TWI493388B (zh) 2015-07-21

Family

ID=48698144

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101149605A TWI493388B (zh) 2011-12-27 2012-12-24 用於行動裝置的全三維互動的設備與方法、行動裝置及非暫時性電腦可讀取儲存媒體

Country Status (7)

Country Link
US (1) US9335888B2 (zh)
EP (1) EP2798440A4 (zh)
JP (1) JP6404120B2 (zh)
KR (1) KR101608423B1 (zh)
CN (1) CN104094193B (zh)
TW (1) TWI493388B (zh)
WO (1) WO2013100900A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9335888B2 (en) 2011-12-27 2016-05-10 Intel Corporation Full 3D interaction on mobile devices
TWI486815B (zh) * 2013-04-08 2015-06-01 鴻海精密工業股份有限公司 顯示設備及其控制系統和方法
US10048762B2 (en) 2013-11-05 2018-08-14 Intuit Inc. Remote control of a desktop application via a mobile device
TWI571767B (zh) * 2014-12-09 2017-02-21 國立臺灣大學 背螢幕式三維互動系統與方法
KR20160087564A (ko) 2015-01-14 2016-07-22 목포대학교산학협력단 교육용 인터랙티브 앱북 화면 구성 방법 및 시스템
CN106293444B (zh) * 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
US10621773B2 (en) * 2016-12-30 2020-04-14 Google Llc Rendering content in a 3D environment
KR101879982B1 (ko) * 2017-03-08 2018-07-19 한국과학기술원 비접촉식으로 정보를 표현하기 위한 바람 기반 웨어러블 촉각 디스플레이 장치 및 그 동작 방법
TWI637363B (zh) * 2017-07-26 2018-10-01 銘傳大學 擴增實境之人機互動系統
JP2020071641A (ja) * 2018-10-31 2020-05-07 株式会社デンソー 入力操作装置及びユーザインタフェースシステム
EP4235381A3 (en) 2019-03-18 2023-11-01 Apple Inc. Virtual paper
US11614797B2 (en) * 2019-11-05 2023-03-28 Micron Technology, Inc. Rendering enhancement based in part on eye tracking
TWI757941B (zh) * 2020-10-30 2022-03-11 幻景啟動股份有限公司 影像處理系統以及影像處理裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062126A1 (en) * 2006-07-06 2008-03-13 Algreatly Cherif A 3D method and system for hand-held devices
US20100045703A1 (en) * 2008-08-22 2010-02-25 Google Inc. User Interface Gestures For Moving a Virtual Camera On A Mobile Device
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
TWM380818U (en) * 2009-12-25 2010-05-21 Univ Southern Taiwan Tech 3D virtual football game device
TW201137668A (en) * 2010-04-26 2011-11-01 Hon Hai Prec Ind Co Ltd Adjustment system and method for three-dimensional image

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7098891B1 (en) * 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US6798429B2 (en) * 2001-03-29 2004-09-28 Intel Corporation Intuitive mobile device interface to virtual spaces
US20040109031A1 (en) * 2001-05-11 2004-06-10 Kenneth Deaton Method and system for automatically creating and displaying a customizable three-dimensional graphical user interface (3D GUI) for a computer system
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
JP4375657B2 (ja) * 2003-06-13 2009-12-02 日本電信電話株式会社 噴出を利用した力覚提示方法および装置
JP4311190B2 (ja) 2003-12-17 2009-08-12 株式会社デンソー 車載機器用インターフェース
US20070180379A1 (en) * 2006-02-02 2007-08-02 Jerold Osato Virtual desktop in handheld devices
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
JP2009187426A (ja) 2008-02-08 2009-08-20 Sony Corp 記録再生装置
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
KR20100030968A (ko) * 2008-09-11 2010-03-19 엘지전자 주식회사 단말기 및 그의 메뉴 디스플레이 방법
US20100100853A1 (en) * 2008-10-20 2010-04-22 Jean-Pierre Ciudad Motion controlled user interface
JP4781440B2 (ja) * 2009-02-05 2011-09-28 ソニー エリクソン モバイル コミュニケーションズ， エービー 画像撮影装置、画像撮影装置の制御方法及び制御プログラム
KR20110052998A (ko) * 2009-11-13 2011-05-19 삼성전자주식회사 디바이스에서 사용자 인터페이스 제공 방법 및 장치
US20110199387A1 (en) * 2009-11-24 2011-08-18 John David Newton Activating Features on an Imaging Device Based on Manipulations
JP2011203984A (ja) * 2010-03-25 2011-10-13 Soka Univ ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
BR112012026354A8 (pt) 2010-04-13 2018-05-08 Nokia Corp aparelho, método, programa de computador e interface de usuário
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US20120102438A1 (en) * 2010-10-22 2012-04-26 Robinson Ian N Display system and method of displaying based on device interactions
CN102147659A (zh) * 2011-03-21 2011-08-10 中兴通讯股份有限公司 一种终端及其显示内容处理方法
US9335888B2 (en) 2011-12-27 2016-05-10 Intel Corporation Full 3D interaction on mobile devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080062126A1 (en) * 2006-07-06 2008-03-13 Algreatly Cherif A 3D method and system for hand-held devices
US20100045703A1 (en) * 2008-08-22 2010-02-25 Google Inc. User Interface Gestures For Moving a Virtual Camera On A Mobile Device
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
TWM380818U (en) * 2009-12-25 2010-05-21 Univ Southern Taiwan Tech 3D virtual football game device
TW201137668A (en) * 2010-04-26 2011-11-01 Hon Hai Prec Ind Co Ltd Adjustment system and method for three-dimensional image

Also Published As

Publication number Publication date
CN104094193A (zh) 2014-10-08
EP2798440A4 (en) 2015-12-09
US20140245230A1 (en) 2014-08-28
KR20140100547A (ko) 2014-08-14
EP2798440A1 (en) 2014-11-05
KR101608423B1 (ko) 2016-04-01
US9335888B2 (en) 2016-05-10
TW201342135A (zh) 2013-10-16
JP2015506033A (ja) 2015-02-26
CN104094193B (zh) 2017-11-17
WO2013100900A1 (en) 2013-07-04
JP6404120B2 (ja) 2018-10-10

Similar Documents

Publication Publication Date Title
TWI493388B (zh) 用於行動裝置的全三維互動的設備與方法、行動裝置及非暫時性電腦可讀取儲存媒體
CN103649900B (zh) 边缘手势
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
KR102027612B1 (ko) 애플리케이션의 썸네일-이미지 선택 기법
CN103562838B (zh) 边缘手势
JP2022540315A (ja) 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース
US11360551B2 (en) Method for displaying user interface of head-mounted display device
US20140267049A1 (en) Layered and split keyboard for full 3d interaction on mobile devices
KR20100027976A (ko) 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
US20130117698A1 (en) Display apparatus and method thereof
US20140118268A1 (en) Touch screen operation using additional inputs
CN108073432B (zh) 一种头戴式显示设备的用户界面显示方法
US10521101B2 (en) Scroll mode for touch/pointing control
US20130155108A1 (en) Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
JPWO2015025345A1 (ja) 情報表示装置、情報表示方法および情報表示プログラム
WO2017156112A1 (en) Contextual virtual reality interaction
WO2014107182A1 (en) Multi-distance, multi-modal natural user interaction with computing devices
US9665249B1 (en) Approaches for controlling a computing device based on head movement
KR101488662B1 (ko) Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
EP2341412A1 (en) Portable electronic device and method of controlling a portable electronic device
US10585485B1 (en) Controlling content zoom level based on user head movement
US20130201095A1 (en) Presentation techniques
CN107924276B (zh) 电子设备及其文本输入方法
US11641460B1 (en) Generating a volumetric representation of a capture region
CN116048281A (zh) 一种虚拟现实场景中的交互方法、装置、设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees