TW201633066A - ３ｄ視覺化技術 - Google Patents

３ｄ視覺化技術 Download PDF

Info

Publication number
TW201633066A
TW201633066A TW104141768A TW104141768A TW201633066A TW 201633066 A TW201633066 A TW 201633066A TW 104141768 A TW104141768 A TW 104141768A TW 104141768 A TW104141768 A TW 104141768A TW 201633066 A TW201633066 A TW 201633066A
Authority
TW
Taiwan
Prior art keywords
user
visualization
computing device
gesture
analysis
Prior art date
Application number
TW104141768A
Other languages
English (en)
Other versions
TWI579734B (zh
Inventor
蕭志彬
葛列高里Ｗ 庫克
魏金山
米薩拉 凡吉普瑞
良安 張
Original Assignee
惠普發展公司有限責任合夥企業
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 惠普發展公司有限責任合夥企業 filed Critical 惠普發展公司有限責任合夥企業
Publication of TW201633066A publication Critical patent/TW201633066A/zh
Application granted granted Critical
Publication of TWI579734B publication Critical patent/TWI579734B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根據本案揭露內容之一示現例提供一範例系統。此系統包括顯示至少一個三維(3D)視覺化型態之一3D顯示器；包括一多點觸碰顯示器及多個感測器之一輔助運算裝置；及用以透過使用來自該等多個感測器之資料來實行一使用者的一行為分析之一行為分析引擎。此行為分析引擎係用來：判定該使用者的一專注投入位準，及判定該使用者相對於該輔助運算裝置的一姿勢。此系統更包括：一意圖分析引擎，其基於該使用者的專注投入位準及該使用者的姿勢，來判定該使用者對於該至少一3D視覺化型態之一意圖；及一互動模式引擎，其用以基於經識別的使用者意圖，將該系統自動調整至一互動模式。

Description

3D視覺化技術
本發明大體而言係有關於3D視覺化技術。
互動裝置及系統現今持續扮演著一重要角色。一些此種裝置及系統可顯示三維(3D)虛擬物件(亦稱為3D視覺化型態)。組織及個人通常在多個領域及針對不同應用而使用不同類型的互動裝置及系統。
依據本發明之一可行實施例，係特地提出一種系統，其包含：一個三維(3D)顯示器，其顯示至少一3D視覺化型態；一輔助運算裝置，其包括一多點觸碰顯示器及多個感測器；一行為分析引擎，其用以藉由使用來自該等多個感測器之資料來執行一使用者的一行為分析，該行為分析引擎用以進行下列動作：判定該使用者的一專注投入位準；及判定該使用者相對於該輔助運算裝置的一姿勢；一意圖分析引擎，其用以基於該使用者之該專注投入位準及該使用者的該姿勢，來判定該使用者對於該至少一3D視覺化型態的一意圖；以及一互動模式引擎，其基於經識別的使用者意圖而將該系統自動調整至一互動模式。
5‧‧‧(互動)系統
10‧‧‧3D顯示器
15‧‧‧(運算)裝置
30、503‧‧‧處理器
35‧‧‧記憶體
37‧‧‧(機器可讀)儲存媒體
39‧‧‧行為分析引擎/引擎
40‧‧‧意圖分析引擎/引擎
41‧‧‧互動模式引擎/引擎
42‧‧‧視覺化型態動作引擎/引擎
45‧‧‧輸入介面
50‧‧‧通訊介面
55‧‧‧匯流排
56‧‧‧感測器
58‧‧‧(多點觸碰)顯示器面板/觸碰面板/(多點觸碰)顯示器
60‧‧‧資料介面
100、200、300‧‧‧方法
101~140、210~240、310~340‧‧‧方塊
405‧‧‧3D視覺化型態/3D物件
405A~405C‧‧‧3D視覺化型態
407‧‧‧手
408‧‧‧(第一)線
409‧‧‧(第二)線
412‧‧‧指向手勢
413‧‧‧指向手勢/輪廓
414‧‧‧移動動作
415、416、427‧‧‧手勢
417‧‧‧(3D)虛擬物件
418‧‧‧繪圖手勢
419‧‧‧向上垂直移動手勢
420‧‧‧參考平面
422、445、455‧‧‧第二手勢
425‧‧‧距離
430‧‧‧虛擬切片表面
435‧‧‧切片式視覺化型態
443‧‧‧第一手勢
450‧‧‧輪廓
501‧‧‧電腦
505‧‧‧非暫時性機器可讀媒體
507‧‧‧行為分析指令/指令
509‧‧‧意圖分析指令/指令
511‧‧‧互動模式指令/指令
513‧‧‧視覺化型態動作指令/指令
圖1係為根據本案主體內容之一示現例構成之一範例互動系統的一示意圖。
圖2根據本案主體內容之一示現例繪示出顯示用以操作一互動系統的方法範例之一流程圖。
圖3根據本案主體內容之一範例示現例繪示出顯示用以判定一使用者的專注投入位準之方法範例的一流程圖。
圖4根據本案主體內容之一範例示現例繪示用以判定使用者相對於運算裝置的一姿勢之方法範例的一流程圖。
圖5根據本案主體內容之一範例示現例繪示選擇一單一3D視覺化型態之動作的一範例。
圖6根據本案主體內容之一範例示現例繪示選擇3D視覺化型態之範圍之動作的一範例。
圖7及圖8根據本案主體內容之一範例示現例繪示選擇3D視覺化型態之範圍之動作的一範例。
圖9及圖10根據本案主體內容之一範例示現例繪示產生3D視覺化型態之一輪廓且界定3D視覺化型態之一容積的一動作之一範例。
圖11根據本案主體內容之一範例示現例繪示用以量測有關3D視覺化型態之特徵之動作的一範例。
圖12根據本案主體內容之一範例示現例繪示取一3D視覺化型態之切片之動作的一範例。
圖13及圖14根據本案主體內容之一範例示現例分別繪示儲存一3D視覺化型態之動作及取回一3D視覺化型態之動作的範例。
圖15係為繪示根據本案主體內容之一範例示現例之一電腦可讀媒體的一範例方塊圖。
如以上所述，透過科技上的近期改良，互動裝置及系統(即可顯示視覺物件且允許使用者互動的裝置及系統)在所有產業中逐漸盛行。互動裝置及系統有不同尺寸、形式，且可包括不同技術特徵。不同使用者仰賴不同類型的互動裝置或系統用於許多每日的活動及工作相關的任務。在本文中使用時，「使用者」一詞表示任何類型的個人、組織、團體、商家、或可能需要用一互動裝置或系統來操作或通訊的任何其他一方。
由於多種電子裝置的興盛，互動系統的技術能力不斷改變及提升。這些裝置及系統中的一些者可能夠顯示3D視覺化型態(亦稱為虛擬物件)。在本文中使用時，「3D視覺化型態」及「虛擬物件」用詞可互換使用且表示可被顯示及觀看之任何類型的3D影像或3D形態。在一些範例中，這些3D視覺化型態可包括以一互動形式表示之不同類型的資料。因此，這些互動裝置及系統可為組織、商家、或個別使用者廣泛使用。
可用的3D互動裝置及系統之一問題在於它們可能無法提供正確且有效率的方式給使用者來與3D視覺化型 態溝通或互動。在一些情況下，用於操作這些系統及與3D虛擬物件連接之現有的系統及技術過於複雜且不便。例如，互動系統可使用在與3D虛擬物件互動時難以操作的傳統輸入來源(例如滑鼠、鍵盤等)。並且，現有系統無法自動配合使用者的行為，且花費長時間在不同互動模式間切換。在本文中使用時，「互動模式」一詞表示用以在一互動系統中操作或操縱3D物件的不同方法，包括但不限定為巡覽、選擇、指向、過濾、縮放、儲存、定量測量、查詢、歷程、註解等。例如，一互動模式可界定互動系統針對與系統顯示之3D物件互動所應期望及執行的命令。
由於以上所述障礙，操作此種系統及與3D物件互動之學習曲線可能大幅地拉長，且這會讓這些系統對使用者而言較不理想。此外，使用按鈕或其他開關改變互動模式係為耗時、費力、且使系統操作變慢。因此，人們會想要改良的3D系統及技術用於與3D視覺化型態互動。這些系統可適於使用者的行為及意圖，且可提供更透明及直覺的方式用以在3D空間巡覽及在這些虛擬空間中操縱3D物件。透過這種互動系統將可提升效果、效率及使用者滿意度。
本案發明係針對一改善解決方案，其可自動適應使用者行為，且因此允許與3D視覺化型態有較佳及更有效率的互動。在一範例中，一系統可包括顯示3D視覺化型態的一3D顯示器、具有一觸碰面板(例如一多點觸碰顯示器)的一運算裝置、及連接至該運算裝置的多個感測器。在本 文中使用時，「運算裝置」一詞表示包括一處理器、一顯示器、及多個感測器之各種個人電腦、列印機、智慧型手機、穿戴式電子裝置、顯示螢幕、平板電腦、個人資料助理(PDA)膝上型電腦、伺服器、及其他類似電子裝置中的任一者。
在一範例中，系統的一處理器可進行下列動作：判定該系統之一使用者的專注投入位準、判定該使用者相對於運算裝置的姿勢(亦即使用者的手如何握持該運算裝置)、及基於該使用者的專注投入位準與該使用者的姿勢來判定使用者對於3D虛擬物件的一意圖。處理器可接著基於經識別的使用者意圖，將系統轉換到一互動模式。此外，處理器可基於經識別的使用者手勢及經選擇的互動模式對至少一3D虛擬物件執行一動作(例如選擇、資料量測等)。
因此，在提議的系統中之元件組合可允許系統評估使用者的意圖(亦即未來的行為)、基於該等意圖巡覽至一適當的互動模式、且執行所欲動作以操縱一3D視覺化型態。系統可配合使用者的行為且根據當前的使用內容來切換它的互動模式，而不需使用按鈕在不同互動模式間切換。
一3D顯示器與運算裝置、多點觸碰面板、多個感測器、及使用者手勢之動作的組合，在數位與虛擬世界間產生一無縫環境且允許自然的互動。提議的系統允許以直覺方式來與3D視覺化型態互動。實體3D互動空間係直接對映到一立體3D虛擬世界。
在下列詳細敘述中，係參考構成其揭露的一部分之附圖，且其以例示方式顯現本揭露主體內容可被實行的 特定範例。應了解的是，其他範例可被使用，且結構或邏輯上的變化可在不脫離本案揭露內容之範疇下作成。因此，以下詳細敘述不會以限制意義而採用，且本案揭露內容之範疇係藉後附申請專利範圍所界定。並且，應了解的是，在此所述之語法及用語係用於說明書之目的且不應視為具限制性。本文所用之「包括」、「包含」或「具有」及其等變化詞係表示含括其後所列之項目及其等效物與額外項目。此外，本文所用之「基於…」用語表示「至少部分基於…」。亦應注意的是，以多個硬體及軟體為基礎的裝置及多個不同結構組件可用來實現本案所揭露的方法及裝置。
現參照圖式，圖1係為一例示互動系統5的一概要示意圖。所繪示的系統5能夠實行以下論述的技術。如圖1中所示，系統5係描繪成包括一3D顯示器10(例如一立體顯示器)及一輔助的運算裝置15。
3D顯示器10可顯示可包括任何類型之3D物件(例如資料、文字、媒體等)的至少一3D視覺化型態(圖中未顯示)。在一範例中，此3D物件可被顯示在3D顯示器10的實體表面或螢幕上(圖中未顯示)。於另一範例中，該3D物件可顯現浮置在界定於3D顯示器10周圍(例如前方、後方、頂部、側邊等)的3D空間中(圖中未顯示)。
在一示現例中，運算裝置15可為一可攜式運算裝置(例如平板電腦、膝上型電腦、智慧型手機、個人數位助理(PDA)等)。在一些範例中，系統5可涉及多個使用者，其 中各使用者「攜帶」一個別的運算裝置用以與3D顯示器10同時或分開互動。
運算裝置15可包括至少一處理器30、一記憶體35、多個引擎39~42、一輸入介面45、一通訊介面50、多個感測器56、及一多點觸碰顯示器面板58。在另一示現例中，運算裝置15可為個人電腦、一體式運算裝置、遊戲控制台、伺服器、視覺播放器、電子記事本、多個分散式運算裝置、或包括有一處理器、多個感測器及一多點觸碰顯示器之任何其他合適運算裝置。在運算裝置15不是一可攜式裝置的示現例中，多個感測器(例如慣性感測器)可附接至系統5之使用者的手上。
在其他範例中，運算裝置15可包括額外組件，且繪示於其中的一些組件可在不脫離允許有實行本文所述功能性之系統的範疇下被移除及/或修改。應了解的是，所述透過運算裝置15之處理器30執行有關本案說明書的操作，在一些示現例中可由3D顯示器10中的一處理器、一外部處理器(圖中未顯示)執行，或分散在運算裝置15與其它電子/運算裝置(圖中未顯示)間。
如在以下額外細節中所釋明地，運算裝置15可包括用以組配成有運算裝置15的功能性且允許此運算裝置實行以下所述的技術及可與一或多個系統或裝置互動的軟體、硬體、或其合適組合。運算裝置15可包括用來與其他裝置/系統連接及/或連接至一網路(圖中未顯示)的通訊介面(例如Wi-Fi®介面、藍牙介面、3G介面、4G介面、近場通 訊(NFC)介面等)。此網路可包括任何合適類型或組態的網路，以允許在運算裝置15、3D顯示器10與任何其他裝置/系統(例如其他運算裝置、顯示器等)間進行通訊。
運算裝置15之處理器30(例如一中央處理單元、一組分散的處理器、一微處理器、一微控制器、一特定應用積體電路(ASIC)、一圖像處理器、一多處理器、一虛擬處理器、一雲端處理系統、或另一合適控制器或可規劃裝置)、記憶體35、引擎39~42、輸入介面45、通訊介面50、多個感測器56、及多點觸碰顯示面板58可操作地耦合至一匯流排55。處理器30可適於取回及執行存在機器可讀儲存媒體37上的指令。處理器30可包括一晶片上的單一或多個核心、跨多個晶片的多個核心、跨越多個裝置的多個核心、或其組合。處理器30可包括至少一控制器33，且可使用任何合適類型的處理系統實現，其中至少一處理器執行儲存在記憶體35中的電腦可讀指令。
通訊介面50可允許運算裝置15與多個網路、通訊鏈結、及外部裝置進行通訊。輸入介面45可從與運算裝置15連通的裝置/系統接收資訊。在一範例中，此輸入介面45包括可從任何外部裝置或系統接收資料的至少一資料介面60。
記憶體35可包括用以儲存指令及資料之任何合適類型、數目、及組態的依電性或非暫時性機器可讀儲存媒體37。記憶體35中之機器可讀儲存媒體37的範例包括唯讀記憶體(ROM)、隨機存取記憶體(RAM)(例如動態RAM (DRAM)、同步DRAM(SDRAM)等)、電氣可抹除可規劃唯讀記憶體(EEPROM)、磁阻式隨機存取記憶體(MRAM)、憶阻器、快閃記憶體、SD卡、軟碟、可攜式實密碟片唯讀記憶體(CD-ROM)、數位影音碟片唯讀記憶體(DVD-ROM)、及可供儲存軟體的其他合適磁性、光學、物理、或電子記憶體。記憶體35亦可在透過處理器30執行指令期間用來儲存暫時性變數或其他中間資訊。
運算裝置15可包括多個引擎39~42。此等引擎39~42各包括例如至少一硬體裝置，其包括用以實現以下所述之功能性的電子電路，諸如控制邏輯及/或記憶體。此外或作為替代，此等引擎39~42可實現作為硬體及軟體的任何組合用以示現該等引擎之功能性。例如，此硬體可為一處理器，而此軟體可為編碼在一機器可讀儲存媒體上且可由處理器執行之一串指令或微碼。因此，在本文中所使用時，一引擎可包括例如電腦可執行指令之程式碼、硬體、軔體、及/或邏輯、或其之組合，用以執行將在下文參照圖2至圖15更詳細敘述的特定動作、工作、及功能性。
行為分析引擎39可藉由使用來自多個感測器56之資料來執行一使用者的行為分析。例如，此行為分析引擎39可接收來自感測器56的資料，且對該資料進行處理以評估使用者的行為。在一範例中，該行為分析引擎39可判定使用者的一專注投入位準(亦即使用者與系統5之元件銜接的程度為何)，及使用者相對於輔助的運算裝置15之姿勢(亦即使用者的手如何握持裝置15)。如以下額外詳細描述 地，行為分析引擎39的結果可用來判定系統5的互動模式(亦即系統所期待命令為何，及在當下應執行什麼動作)。
在一範例中，意圖分析引擎40可基於使用者的專注投入位準及使用者的姿勢，來判定使用者對於至少一3D視覺化型態的一意圖。例如，根據由行為分析引擎39檢測到的使用者行為，系統可判定使用者對於一3D物件的意圖為何(例如使用者想要探究一物件、選擇一物件、量測距離等)。互動模式引擎41可基於識別出的使用者意圖而將系統5自動調整至一互動模式。例如，系統5可配合(例如調整一視點、設定等)使用者之預測到的行為。
視覺化型態動作引擎42可基於經選擇的互動模式及檢測到的使用者手勢，來對至少一3D視覺化型態實現一動作(例如選擇、巡覽等)。在一範例中，系統可辨識透過手勢提供的使用者輸入，且可基於手勢及先前選擇的互動模式來執行一特定動作。
多個感測器56可包括在運算裝置15周圍界定一手勢互動空間(圖中未顯示)之不同類型的感測器。在一範例中，此等感測器可包括置設在運算裝置15上用以掃描或搜集來自裝置15周圍之一環境之資料的至少一光學深度感測器(例如立體相關器、結構化光、飛行時間等)。此等光學深度感測器可輔助辨識運算裝置之位置且識別一使用者的多個手勢。在一些示現例中(例如當裝置15過薄且無法容納感測器時)，系統5可包括附接至運算裝置15用以包括光學深度感測器的一可移除式護套(圖中未顯示)。此可移除式護套 可具有能與運算裝置15配合的任何形式或尺寸。
此外，系統5可包括置設在運算裝置15上用以掃描或搜集來自裝置15周圍之一環境之資料的至少一被動光感測器(例如一照相機等)。此被動光感測器可提供一使用者的視覺回饋(例如眼睛、頭部檢測等)。該系統5亦可包括置設在運算裝置15上的多個慣性感測器(例如加速計、迴旋感測器、磁力計等)，其可辨識運算裝置的運動及位置與使用者的手部姿態(例如透過裝置15的定向/角度)。
顯示器面板58可為一液晶顯示器(LCD)、有機發光顯示器(OLED)、或任何類型的顯示器。在一範例中，顯示器58可為能由使用者透過單一或多個觸碰手勢來控制的一多點觸碰顯示器。此顯示器58可包括供檢測在觸碰感應顯示器上之觸碰動作所用的任何合適觸碰感應顯示技術。在一些示現例中，顯示器58可包括附接至運算裝置15之一頂表面及覆蓋多點觸碰顯示器之一稜鏡薄膜(例如用於無玻璃操作)及一極化薄膜(配合被動光學玻璃使用)中的至少一者。在一些範例中，此薄膜可被附加到用於運算裝置15之護套。在顯示器58上具有一稜鏡薄膜或一極化薄膜可允許一使用者在運算裝置15上觀看3D視覺化型態，且將這些3D型態移動至3D顯示器10。
圖2繪示顯現用以操作一互動系統之方法100之範例的一流程圖。雖然方法100的執行於以下係參照系統5論述，但用以執行方法100的組件可散佈在多個裝置之間。此方法100可採儲存在諸如儲存媒體37之一機器可讀儲存 媒體上的可執行指令形式及/或電子電路的形式來實現。
在一範例中，方法100可透過運算裝置15之處理器30來執行。在其他範例中，此方法可由3D顯示器10上的一處理器或與系統5連通的另一處理器來執行。本文中參照方法100所述之多個元件及方塊能夠同時、並行、或以不同於所示序列執行方式的順序執行。該方法100亦能使用多於或少於所述範例中顯現的元件來執行。
此方法100始於方塊110，其中處理器30可判定系統5之一使用者的一專注投入位準。在一範例中，此專注投入位準可為指出使用者相對於系統5之元件的投入情況之一實數。
圖3繪示顯現用以判定一使用者之專注投入位準之方法200之範例的一流程圖。在一範例中，方法200可透過運算裝置15之處理器30執行。替換地，用以執行方法200的組件可分佈在多個裝置之間。
方法200始於方塊210，其中處理器30可藉由使用來自一光學深度感測器及一被動光學感測中之至少一者的資料來實行一臉部分析。例如，基於接收到的資料，處理器可識別使用者臉部的位置、定向等等。在方塊220中，處理器可藉由使用至少來自被動光學感測器之資料來實行使用者的一眼睛凝視分析。例如，基於接收到的資料，處理器可識別使用者眼睛的位置、定向等。因此，系統5可使用來自光學深度感測器及/或被動光學感測器的資料，來分析使用者的臉部及眼睛凝視，致使系統5得知使用者如何看著 系統的元件。
接著，處理器30可藉由使用至少來自被動光學感測器之資料來執行使用者的一投入評估，以判定使用者是否聚焦在系統5上(方塊230)。來自這些及其他感測器的資料可被分析以確認使用者有與系統5之元件銜接(亦即3D顯示器、運算裝置、3D物件等)。在方塊240中，處理器30藉由使用至少來自多個慣性感測器、被動光學感測器、及光學深度感測器之資料來實行使用者之一聚焦分析，以判定使用者是否聚焦在輔助運算裝置上，及是否接合觸碰面板/顯示器(例如藉由分析來自顯示器之一輸入)。例如，系統5分析來自這些感測器的資料，以判定使用者是否看著運算裝置15，及裝置15是否未被廣幅度揮動(亦即此可能指出一使用者沒有聚焦在此裝置上)。
繼續參照圖2，處理器30可判定使用者相對於運算裝置的一姿勢(方塊120)。在一範例中，使用者的姿勢可指出使用者的手如何握持系統5之運算裝置15。
圖4繪示顯現用以判定一使用者相對於運算裝置15之一姿勢之方法300之範例的一流程圖。在一範例中，此方法300可由運算裝置15之處理器30執行。替換地，用以執行方法200的組件可散佈在多個裝置之間。
方法300始於方塊310，其中處理器可評估至少來自多個慣性感測器之資料，用以識別使用者空手的數目。例如，處理器可相對於一穩定性臨界值分析接收到之資料，以識別使用者手被輔助的運算裝置15佔用的數目(例如 一隻或兩隻手)。在方塊320中，處理器30可評估至少來自多個慣性感測器、被動光學感測器、光學深度感測器、及觸碰面板之資料，以檢測運算裝置之運動及使用者手的運動。例如，處理器可相對於一近接臨界值分析接收到的資料，以判定裝置15的當前的運動為何(例如裝置是否被握持、裝置是否放置在一表面上等)及使用者手的移動為何(例如是一隻手握持裝置15、另一隻手指向一3D物件、兩隻手皆握持裝置15等)。
方塊330中，處理器30可評估至少來自光學深度感測器、觸碰面板、及多個慣性感測器之資料，以抓出包括至少使用者聚焦分析資料及使用者手姿態的多個特徵。在一範例中，使用者聚焦分析資料可為在方法200之方塊240識別的資料(亦即使用者是否聚焦在運算裝置15上及觸碰面板是否被銜接)。此外，使用者手的姿態可基於來自光學深度感測器及觸碰面板58的資料，識別使用者的一特定手姿態(例如拳頭、指向、“ok”手勢、手攤開等)。
接著，在方塊340，處理器可基於使用者空手的數目(或空手數目)、運算裝置的運動、使用者手的運動、使用者的聚焦分析資料、及使用者手的姿態，將使用者相對於運算裝置的姿勢分類。例如，處理器使用可得的資料來識別使用者如何握持裝置15(例如兩隻手握持、一隻手抓住邊緣、一隻手撐住底部、沒有握持裝置且兩隻手都空著等等)。
繼續參照圖2，處理器可基於使用者的專注投入 位準及使用者姿勢來判定使用者對於3D虛擬物件的一意圖(方塊130)。在一範例中，基於使用者的行為(亦即，與系統5銜接的位準及相對於裝置15之姿勢)，處理器30可判定使用者對於3D物件的意圖為何(例如，使用者意欲選擇一物件、觀看一物件等)。
接著，在方塊140，處理器可基於識別出的使用者意圖而將系統自動轉換到一互動模式。在一範例中，處理器可基於使用者意圖而將系統5自動調整成一特定互動模式。那樣的話，系統5可快速配合使用者預測的行為，其使系統符合自直覺(self-intuitive)型態及對使用者而言更具有吸引力。
系統5可實行對於系統顯示之3D物件的多個互動模式：巡覽、選擇、指向、過濾、縮放、儲存、定量測量、查詢、歷程、註解等。以下互動模式列述僅表示不同模式的一範例，且不應視為可由本系統實現之所有互動模式的一完整列述。
在一範例中，處理器30可將系統轉換成以下互動模式之一者：a)一選擇模式，其透過使用運算裝置15以選擇至少一3D視覺化型態；b)一巡覽模式，其透過使用運算裝置15以巡覽該至少一3D視覺化型態；c)一切片及細節模式，其用來生成該至少一3D視覺化型態之一虛擬切片平面以產生一切片式視覺化型態；d)一儲存及取回模式，其用以儲存至少一3D視覺化型態在運算裝置15上，及從運算裝置15取回該至少一3D視覺化型態用以將其顯示3D顯示器 10上；e)一量測模式，其用以量測至少一3D視覺化型態之元件或多個3D視覺化型態之間的距離。
在處理器30基於識別的使用者意圖將系統5轉換到一互動模式後，處理器可基於經識別的使用者手勢及經選擇的互動模式，對至少一3D虛擬物件執行一動作。在一範例中，處理器30可辨識透過不同手勢提供的使用者輸入，且可基於手勢及先前選擇的互動模式對一3D物件實行一特定動作(例如取3D物件之一部段的切片、指向一物件等)。
圖5繪示選擇系統5中之一單一3D視覺化型態405之動作的一範例。在一範例中，圖5繪示顯現在一3D顯示器(圖中未顯示)上的一3D視覺化型態405及一使用者的手407。當系統5處於一選擇互動模式下(先前由處理器30所選)，視覺化型態動作引擎42會進行下列操作：檢測使用者之手407的指向手勢412、檢測食指與3D視覺化型態405間的一第一線408、檢測拇指與3D視覺化型態405間的一第二線409、計算第一線408與第二線409間的一角度、及選擇該3D視覺化型態405。在一些範例中，線408與線409間的角度可為一發散角、一零度角、或一收斂角。
線408與線409間的發散角及零度角可表示源自拇指的線409及源自食指的線408可能永不交會，且因此使用者可能不會有意圖去選擇3D物件405。在這情況下，處理器30可能不會選擇該3D物件405。若線408與線409間的角度為一收斂角，這表示在兩條線間可能會有一交會點(假設它 們在相同平面)。於此，處理器30可能選擇3D物件405用於進一步動作。這個自然手勢與經選擇之互動模式的組合會逐漸縮窄拇指尖端與食指尖端間的間隙，其增加收斂角度並縮短選擇點的深度。
圖6繪示用以選擇顯示一3D顯示器(圖中未顯示)上之多個3D視覺化型態405A~405C之一動作的一範例。當系統5處於一選擇互動模式(其先前由處理器30所選)時，視覺化型態動作引擎42會進行下列操作：檢測使用者之手407的一指向手勢413；檢測手指在一空間中的一移動動作414(例如套索(lasso)移動等)，該移動動作連接多個3D視覺化型態405A~405C；及選擇多個3D視覺化型態405A~405C。因此，由於使用者正聚焦在3D顯示器10上，且系統5已經處於選擇互動模式，處理器30「期望」來自使用者的一選擇動作，且可易於識別由使用者所作之多個物件的選擇動作。
圖7及圖8繪示選擇3D視覺化型態之一範圍之動作的一範例。在繪示的範例中，運算裝置15可放置在一表面(圖中未顯示)上，使得使用者的兩隻手407空著。使用者可看見在3D顯示器10(圖中未顯示)上的3D視覺化型態(圖中未顯示)。當系統5處於一選擇互動模式(其先前由處理器30所選)時，視覺化型態動作引擎42會進行下列操作：檢測由使用者的手407所作之一界定的手勢415/416(分別顯示於圖7及圖8)，以界定或生成一3D虛擬物件417(例如球體、限界盒體等)；及選擇3D視覺化型態之一範圍或虛擬物件 417內之一3D物件的一區域。
在一範例中，虛擬物件417反映使用者的兩隻手407間之距離。使用者兩隻手間的距離可對應於經選擇之3D視覺化型態的區域或範圍。因此，由於使用者聚焦在3D顯示器10上，且系統5已經處於選擇互動模式，處理器30「期望」來自使用者的一選擇動作，且可易於識別使用者所作之過濾動作。
圖9及圖10繪示生成一3D視覺化型態之輪廓及界定該3D視覺化型態之容積之動作的一範例。在一範例中，視覺化型態動作引擎42可基於由使用者所作之至少一手勢，在多點觸碰顯示器上生成一3D視覺化型態的一輪廓。當系統5係處於一選擇互動模式(其先前由處理器30所選)時，視覺化型態動作引擎42會進行下列操作：檢測由使用者之手407在裝置15之多點觸碰顯示器58上所作之一繪圖手勢418，以生成3D視覺化型態之一輪廓413(參見圖9)；檢測由使用者之手407所作之一向上垂直移動手勢419(參見圖10)；以及將3D空間中之3D視覺化型態的輪廓413延伸以界定該3D視覺化型態的一容積。因此，當一使用者聚焦在運算裝置15上(亦即一隻手抓住該運算裝置，且有一隻手為可用)，且系統5已經處於選擇互動模式時，一使用者能夠繪出一輪廓413，並使用一向上手勢來界定此輪廓的3D範圍或容積。
圖11繪示量測有關3D視覺化型態405之特性之動作的一範例。在一些示現例中，系統可量測3D視覺化型 態之元件或多個3D視覺化型態間的距離。在一範例中，當系統5係處於一量測互動模式(其先前由處理器30所選)時，視覺化型態動作引擎42係用來檢測用以選擇3D視覺化型態405的一第一手勢(圖中未顯示)。這可為由使用者之手407所作的一個手勢(例如以使用者手的不同手指指向多個3D物件)或多個連續手勢(例如選擇性地以食指指向多個3D物件)。視覺化型態動作引擎42係進一步檢測用以生成一參考平面420的一第二手勢422，該參考平面係用以在選擇3D物件組後比較虛擬空間中之3D視覺化型態，且用以計算用於3D視覺化型態的量測值。在一示現例中，用於3D視覺化型態之量測值可基於3D物件間之距離425、該等物件之形式等來計算。
在一範例中，使用者可將手勢應用來量測有關3D物件405之總容積、3D物件405間之距離、3D物件間之角度的特性、或用以量測有關3D視覺化型態405之任何其他特性。因此，提議的系統5允許直接在三維空間中量測3D視覺化型態。此系統判定3D物件之位置、基於使用者的行為切換到量測互動模式、檢測使用者相對於所欲量測之手勢、及成功地量測3D物件的所欲特性。在初始量測後，使用者可使用額外手勢來標記3D物件之虛擬位置供進一步比較及量測用。
圖12根據本案主體內容之一範例示現例繪示取一3D視覺化型態405之切片之動作的一範例。在一範例中，當系統5係處於一切片及細節互動模式(其先前由處理器30 所選)時，視覺化型態動作引擎42係用來檢測用以取3D視覺化型態405之切片的一手勢427。這可為由使用者之手407所作之一切片手勢或多個連續切片手勢。視覺化型態動作引擎42係進一步生成至少一3D視覺化型態的一虛擬切片平面430，以產生一切片式的視覺化型態435。
例如，處理器30可使用一演算法來尋找經選擇之3D視覺化型態的骨架，且使用者接續地可沿3D視覺化型態之軸線取此部段之切片以獲得細節(例如當3D視覺化型態代表資料時的特定資料)。在其他範例中，使用者可聚焦在3D顯示器15上且可有兩隻手可用。在該情況下，使用者可使用兩個手勢來界定一定製軸線。此外，使用者可使用兩個手勢來界定用以取3D物件之切片的範圍，諸如圖7及圖8中的手勢。
圖13及圖14分別繪示用以儲存一3D視覺化型態之動作及用以取回一3D視覺化型態之動作的範例。圖13及圖14顯示一3D視覺化型態405、使用者的手407、一3D顯示器10、及一運算裝置15。參照圖13，在一範例中，當系統5處於一儲存及取回模式(其先前由處理器30所選)時，視覺化型態動作引擎42會進行下列操作：檢測用以選擇3D空間中之3D視覺化型態405的一第一手勢443，及檢測用以將3D視覺化型態移動至多點觸碰顯示器58的一第二手勢445。視覺化型態動作引擎42係進一步將3D視覺化型態405存到裝置15來儲存3D視覺化型態405。儲存的3D視覺化型態405可易於存取及或由使用者轉傳。
參照圖14，在另一範例中，當系統5處於一儲存及取回模式(其先前由處理器30所選)時，視覺化型態動作引擎42會進行下列操作：檢測用以選擇輔助之運算裝置15之顯示器58上的3D視覺化型態之一輪廓450的一第一手勢(圖中未顯示)；檢測用以從輔助的裝置15移動3D視覺化型態及將3D視覺化型態轉入3D空間中的一第二手勢455。
圖15繪示根據一範例構成之一電腦501及一非暫時性機器可讀媒體505。在一範例中，此電腦501可類似系統5之運算裝置15或可包括多台電腦。例如，該等電腦可為伺服器電腦、工作站電腦、桌上型電腦、膝上型電腦、行動裝置、或類似者，且可為一分散式系統之一部分。此等電腦可包括一或多個控制器及一或多個機器可讀儲存媒體。在一範例中，電腦可包括一使用者介面(例如觸碰介面、滑鼠、鍵盤、手勢輸入裝置等)。
電腦501可實行方法100、200、300及其變化。此外，由電腦501實現之功能性可為一較大軟體平台、系統、應用程式或類似者之部分。電腦501可經由一網路而被連接至一資料庫(圖中未顯示)。此網路可為任何類型的通訊網路，其包括但不限於有線網路(例如纜線)、無線網路(例如、蜂巢、衛星)、蜂巢式電信網路、及以IP為基礎之電信網路(例如語音透過網際網路協定之網路)。該網路亦可包括傳統陸上線路或公眾交換電話網路(PSTN)、或前述之組合。
電腦501可包括一處理器503及非暫態機器可讀儲存媒體505。處理器503可類似運算裝置15之處理器30， 而非暫態機器可讀儲存媒體505可類似裝置15之機器可讀儲存媒體37。儲存在非暫態機器可讀儲存媒體505上且由處理器503執行之軟體，包括例如韌體、應用程式、程式資料、過濾器、規則、程式模組、及其他可執行指令。處理器503從機器可讀儲存媒體505將有關本文所述之控制程序及方法的指令取回並執行等等。
處理器503可對指令507~513進行擷取、解碼、及執行等，來實現多個處理程序。作為取回及執行指令的一替代方式或除了它們之外，處理器503可包括至少一積體電路(IC)、其他控制邏輯組件、其它電子電路、或前述項目之組合，其包括用以執行指令507~513之功能性的一些電子組件。據此，處理器503可跨越多個處理單元來實現，且指令507~513可藉由電腦501之不同區域中的不同處理單元來實行。
指令507~513在由處理器503(例如經由處理器之一處理元件或多個處理元件)執行時，可使處理器503實行多個程序，例如方法100~300及/或其變化及部分。在其他範例中，這些及其他方法的執行可分佈在處理器503與和處理器503連通之其他處理器之間。
例如，行為分析指令507可使處理器503實行類似於系統5顯示3D物件之一系統之使用者的行為分析。這些指令可類似於方法100之方塊110及120所述及於方法200及300中更為詳細敘述之技術來運作。例如，此等行為分析指令507可使處理器503判定使用者之一專注投入位準，及判 定使用者相對於電腦501的一姿勢。
意圖分析指令509可使處理器503基於使用者的專注投入位準及使用者的姿勢，來實行使用者對於3D視覺化型態的一意圖分析。這些指令可類似方法100之方塊130中所述之技術來運作。例如，基於識別出的使用者行為(亦即與系統5銜接的位準及相對於一運算裝置的姿勢)，此等意圖分析指令509可使處理器503判定使用者對於3D物件的意圖為何(例如使用者想要選擇一物件、觀看一物件等)。
互動模式指令511可使處理器503基於識別出的使用者意圖而將系統自動調整至一互動模式。這些指令可類似於方法100之方塊140及方法300中所述之技術來運作。例如，此等互動模式指令511可使處理器503基於識別出的使用者意圖而將系統轉變到一互動模式。在一範例中，處理器可基於使用者的意圖而將系統自動調整至一特定互動模式。
視覺化型態動作指令513可使處理器503基於一選擇的互動模式及一檢測到的使用者手勢，來對3D視覺化型態實行一動作。在一範例中，此等視覺化型態動作指令513可使處理器503基於手勢及先前選擇的互動模式，來辨識透過不同手勢提供的使用者輸入，且對一3D物件執行一動作(例如選擇該3D物件、量測有關該3D物件之特性等)。
在前述內容中，一些細節已被提出來供了解本文揭露之主體內容。然而，示現例可在沒有這些細節之部分或全部下而實行。其他示現例可包括上述細節的修改及變 化。後附申請專利範圍係意欲包括此等修改及變化。
100‧‧‧方法
110~140‧‧‧方塊

Claims (15)

  1. 一種系統，其包含：一個三維(3D)顯示器，其顯示至少一3D視覺化型態；一輔助運算裝置，其包括一多點觸碰顯示器及多個感測器；一行為分析引擎，其用以藉由使用來自該等多個感測器之資料來執行一使用者的一行為分析，該行為分析引擎用以進行下列動作：判定該使用者的一專注投入位準；及判定該使用者相對於該輔助運算裝置的一姿勢；一意圖分析引擎，其用以基於該使用者之該專注投入位準及該使用者的該姿勢，來判定該使用者對於該至少一3D視覺化型態的一意圖；以及一互動模式引擎，其基於經識別的使用者意圖而將該系統自動調整至一互動模式。
  2. 如請求項1之系統，其更包含：一視覺化型態動作引擎，其用以基於一經選擇的互動模式及一檢測到的使用者手勢，來對於該至少一3D視覺化型態實行一動作。
  3. 如請求項1之系統，其中該行為分析引擎進一步用以進行下列動作： 藉由使用來自一光學深度感測器及一被動光學感測器中之至少一者的資料，來執行該使用者的一臉部分析；藉由使用至少來自該被動光學感測器之資料，來執行該使用者的一眼睛凝視分析；藉由使用至少來自該被動光學感測器之資料，來執行該使用者的一投入評估，以判定該使用者是否聚焦在該系統上；以及藉由使用至少來自多個慣性感測器、該被動光學感測器、及該光學深度感測器之資料，來執行該使用者的一聚焦分析，以判定該使用者是否聚焦在該輔助運算裝置上，及該多點觸碰顯示器是否被接合。
  4. 如請求項3之系統，其中該行為分析引擎進一步用以進行下列動作：分析至少來自該等多個慣性感測器之資料，以識別該輔助運算裝置所佔用之使用者手的數量；分析至少來自該等多個慣性感測器、該被動光學感測器、該光學深度感測器、及該多點觸碰顯示器之資料，以檢測該輔助運算裝置之一運動及該使用者之雙手的一運動；分析至少來自該光學深度感測器、該多點觸碰顯示器、及該等多個慣性感測器之資料，以抓出包括至少該使用者之聚焦分析資料及使用者雙手姿態的多個特徵；以及 基於所佔用的使用者手、該輔助運算裝置之該運動、該使用者之雙手的該運動、該使用者之該聚焦分析資料、及該使用者雙手姿態，將該使用者相對於該輔助運算裝置之該手勢分類。
  5. 如請求項2之系統，其中該互動模式包括下列至少一者：一選擇模式，其用以藉由使用該運算裝置來選擇至少一3D視覺化型態；一巡覽模式，其用以藉由使用該運算裝置來巡覽該至少一3D視覺化型態；一切片及細節模式，其用以生成該至少一3D視覺化型態之一虛擬切片平面，來產生一切片式視覺化型態；一儲存及取回模式，其用以儲存至少一3D視覺化型態於該運算裝置上，且用以從該運算裝置取回該至少一3D視覺化型態來用於將其顯示在該3D顯示器上；以及一量測模式，其用以量測至少一3D視覺化型態之元件及多個3D視覺化型態之間的距離。
  6. 如請求項5之系統，其中該動作係用來：當該系統處於一選擇模式且該視覺化型態動作引擎係要進行下列操作時，選擇一單一3D視覺化型態：檢測一指向手勢、檢測一食指與該3D視覺化型態間的一第一線、檢測一拇指與該3D視覺化型態間的一第二線、及計算該第一線與該第二線間之一角度；以及當該系統處於一選擇模式且該視覺化型態動作引擎係要進行下列操作時，選擇多個3D視覺化型態：檢測 一指向手勢、檢測一手指在一空間中的一移動、連接多個3D視覺化型態的移動。
  7. 如請求項5之系統，其中該動作係用來：當該系統處於一選擇模式且該視覺化型態動作引擎係要進行下列操作時，在該多點觸碰顯示器上生成一3D視覺化型態之一輪廓且界定一3D視覺化型態之一容積：檢測在該多點觸碰顯示器上用以生成該3D視覺化型態之該輪廓的一繪圖手勢；檢測一向上垂直移動手勢；在一3D空間中延伸該3D視覺化型態之該輪廓以界定該3D視覺化型態之一容積。
  8. 如請求項5之系統，其中該動作係用來：當該系統處於一量測模式且該視覺化型態動作引擎係要進行下列操作時，量測有關3D視覺化型態之特性：檢測用以選擇該等3D視覺化型態之一手勢；檢測用以生成一參考平面用於比較該等3D視覺化型態之一手勢；針對該等3D視覺化型態計算量測值。
  9. 如請求項5之系統，其中該動作係用來：當該系統處於一儲存及取回模式且該視覺化型態動作引擎係要進行下列操作時，儲存一3D視覺化型態：檢測用以選擇在3D空間中的該3D視覺化型態之一第一手勢；檢測用以將該3D視覺化型態移動至該多點觸碰顯示器之一第二手勢；將該3D視覺化型態儲存到該輔助裝置；以及當該系統處於一儲存及取回模式且該視覺化型態 動作引擎係要進行下列操作時，取回一3D視覺化型態：檢測用以選擇在該輔助裝置上該3D視覺化型態之一輪廓的一第三手勢；檢測用以從該輔助裝置移動該3D視覺化型態的一第四手勢；將該3D視覺化型態轉移至3D空間中。
  10. 如請求項3之系統，其更包含可附接至該輔助運算裝置來包括該光學深度感測器的一可移除式護套，及附接至該多點觸碰顯示器之一頂部表面的一稜鏡薄膜及極化薄膜中之至少一者。
  11. 一種方法，其包含藉由至少一處理器進行之下列步驟：判定一系統之一使用者的一專注投入位準，該系統包括顯示3D虛擬物件之一3D顯示器、具有一觸碰面板的一運算裝置、及連接至該運算裝置之多個感測器；判定該使用者相對於該運算裝置的一姿勢；基於該使用者的該專注投入位準及該使用者的該姿勢，來判定該使用者對於該等3D虛擬物件之一意圖；以及基於經識別的使用者意圖，將該系統自動轉換到一互動模式。
  12. 如請求項11之方法，其更包含基於一經識別使用者手勢及一經選擇互動模式，來對至少一3D虛擬物件執行一動作。
  13. 如請求項11之方法，其中為該使用者判定一專注投入位準之步驟包括： 藉由使用來自一光學深度感測器及一被動光學感測器中之至少一者的資料，來實行該使用者的一臉部分析；藉由使用至少來自該被動光學感測器之資料，實行該使用者的一眼睛凝視分析；藉由使用至少來自該被動光學感測器之資料，實行該使用者的一投入評估，以判定該使用者是否聚焦在該系統上；以及藉由使用至少來自多個慣性感測器、該被動光學感測器、及該光學深度感測器之資料，來實行該使用者之一聚焦分析，來判定該使用者是否聚焦在該輔助運算裝置上，及是否該觸碰面板有被接合。
  14. 如請求項13之方法，其中判定該使用者相對於該運算裝置之一姿勢的步驟包括：評估至少來自該等多個慣性感測器之資料，來識別該使用者空手的數目；評估至少來自該等多個慣性感測器、該被動光學感測器、該光學深度感測器、及該觸碰面板之資料，來檢測該運算裝置的一運動及該使用者手的一運動；評估至少來自該光學深度感測器、該觸碰面板、及該等多個慣性感測器之資料，來抓出包括至少使用者聚焦分析資料及使用者雙手姿態的多個特徵；以及基於該使用者之該空手數目、該運算裝置之該運動、該使用者雙手之該運動、該使用者之該聚焦分析資 料、及該使用者雙手姿態，來將該使用者相對於該運算裝置之姿勢分類。
  15. 一種編碼有指令之非暫時性機器可讀儲存媒體，該等指令可藉至少一處理器執行，該機器可讀儲存媒體包含用以進行下列動作之指令：實行一系統之一使用者的一行為分析，該系統包括顯示一3D視覺化型態之一3D顯示器、具有一多點觸碰顯示器之一運算裝置、及連接至該運算裝置之多個感測器，其中係透過使用來自該等多個感測器之資料實行該行為分析，該行為分析係用來進行下列動作；判定該使用者的一專注投入位準；及判定該使用者相對於該運算裝置之一姿勢；基於該使用者的該專注投入位準及該使用者的該姿勢，來實行該使用者對於該3D視覺化型態的一意圖分析；基於經識別的使用者意圖，將該系統自動調整至一互動模式；以及基於一經選擇的互動模式及一檢測到的使用者手勢，來對該3D視覺化型態實施一動作。
TW104141768A 2014-12-19 2015-12-11 ３ｄ視覺化技術 TWI579734B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/071575 WO2016099556A1 (en) 2014-12-19 2014-12-19 3d visualization

Publications (2)

Publication Number Publication Date
TW201633066A true TW201633066A (zh) 2016-09-16
TWI579734B TWI579734B (zh) 2017-04-21

Family

ID=56127187

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104141768A TWI579734B (zh) 2014-12-19 2015-12-11 ３ｄ視覺化技術

Country Status (5)

Country Link
US (1) US10275113B2 (zh)
EP (1) EP3234732B1 (zh)
CN (1) CN107077197B (zh)
TW (1) TWI579734B (zh)
WO (1) WO2016099556A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10665020B2 (en) * 2016-02-15 2020-05-26 Meta View, Inc. Apparatuses, methods and systems for tethering 3-D virtual elements to digital content
US10567449B2 (en) 2016-02-17 2020-02-18 Meta View, Inc. Apparatuses, methods and systems for sharing virtual elements
CN111610858B (zh) * 2016-10-26 2023-09-19 创新先进技术有限公司 基于虚拟现实的交互方法及装置
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
JPWO2020105606A1 (ja) * 2018-11-21 2021-09-30 ソニーグループ株式会社 表示制御装置、表示装置、表示制御方法及びプログラム
CN109934116B (zh) * 2019-02-19 2020-11-24 华南理工大学 一种基于生成对抗机制与注意力机制的标准人脸生成方法
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11189099B2 (en) * 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
JP7496677B2 (ja) * 2019-09-30 2024-06-07 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像圧縮方法
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080169930A1 (en) * 2007-01-17 2008-07-17 Sony Computer Entertainment Inc. Method and system for measuring a user's level of attention to content
US8149210B2 (en) 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
US8477139B2 (en) 2008-06-09 2013-07-02 Apple Inc. Touch screen device, method, and graphical user interface for manipulating three-dimensional virtual objects
US10198854B2 (en) 2009-08-14 2019-02-05 Microsoft Technology Licensing, Llc Manipulation of 3-dimensional graphical objects for view in a multi-touch display
US9542010B2 (en) * 2009-09-15 2017-01-10 Palo Alto Research Center Incorporated System for interacting with objects in a virtual environment
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
WO2011071929A2 (en) * 2009-12-07 2011-06-16 Photon-X, Inc. 3d visualization system
US20120066648A1 (en) 2010-09-14 2012-03-15 Xerox Corporation Move and turn touch screen interface for manipulating objects in a 3d scene
WO2012040827A2 (en) 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
KR101591579B1 (ko) 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
KR101893356B1 (ko) * 2011-07-12 2018-10-05 삼성디스플레이 주식회사 유기 발광 표시 장치 및 유기 발광 표시 장치 제조 방법
US8581901B2 (en) 2011-07-28 2013-11-12 Adobe Systems Incorporated Methods and apparatus for interactive rotation of 3D objects using multitouch gestures
CN104205034A (zh) * 2012-03-29 2014-12-10 英特尔公司 使用手势创建三维图形
CN102769802A (zh) * 2012-06-11 2012-11-07 西安交通大学 一种智能电视机的人机交互系统及其交互方法
KR101984683B1 (ko) 2012-10-10 2019-05-31 삼성전자주식회사 멀티 디스플레이 장치 및 그 제어 방법
US20140145936A1 (en) 2012-11-29 2014-05-29 Konica Minolta Laboratory U.S.A., Inc. Method and system for 3d gesture behavior recognition
US8933882B2 (en) * 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions
US9083960B2 (en) 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
WO2014172620A1 (en) * 2013-04-19 2014-10-23 Milwaukee Electric Tool Corporation Magnetic drill press
TWI547626B (zh) 2013-05-31 2016-09-01 原相科技股份有限公司 具有手勢感測器的裝置
US20140365333A1 (en) 2013-06-07 2014-12-11 Bby Solutions, Inc. Retail store customer natural-gesture interaction with animated 3d images using sensor array
CN203630717U (zh) * 2013-11-25 2014-06-04 恒德数字舞美科技有限公司 基于轻型惯导传感输入设备的交互系统
DE202014103215U1 (de) * 2014-07-11 2014-09-30 Christian Stroetmann Elektronisches, visuelles Gerät, das eine flexible beziehungsweise biegbare Vorrichtung zur optischen Signalisierung von veränderlichen Informationen, ein flexibles beziehungsweise biegbares Gehäuse mit mindestens einem Gelenk/Scharnier und ein Regel-/Steuerungssystem besitzt

Also Published As

Publication number Publication date
CN107077197B (zh) 2020-09-01
EP3234732A4 (en) 2018-07-25
EP3234732B1 (en) 2021-11-24
US20180335925A1 (en) 2018-11-22
TWI579734B (zh) 2017-04-21
CN107077197A (zh) 2017-08-18
EP3234732A1 (en) 2017-10-25
WO2016099556A1 (en) 2016-06-23
US10275113B2 (en) 2019-04-30

Similar Documents

Publication Publication Date Title
TWI579734B (zh) ３ｄ視覺化技術
US10359905B2 (en) Collaboration with 3D data visualizations
US10019074B2 (en) Touchless input
US10048748B2 (en) Audio-visual interaction with user devices
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
US20120176322A1 (en) Systems and methods to present multiple frames on a touch screen
CN105144072B (zh) 在多点触控装置上对压感进行模拟
US20150062006A1 (en) Feature tracking for device input
JP6272502B2 (ja) 携帯型デバイス上のユーザ操作モードを識別する方法及び携帯型デバイス
Lee et al. Finger identification and hand gesture recognition techniques for natural user interface
CN106605202A (zh) 根据触摸输入的偏手性检测
US20150067589A1 (en) Operation Processing Method And Operation Processing Device
TWI528271B (zh) 多邊形手勢偵測及互動方法、裝置及電腦程式產品
Guimbretière et al. Bimanual marking menu for near surface interactions
US10514802B2 (en) Method for controlling display of touchscreen, and mobile device
US9971490B2 (en) Device control
US20170315615A1 (en) Gesture library
US10809794B2 (en) 3D navigation mode
KR20140033726A (ko) 터치 스크린을 포함한 전자 장치에서 다섯 손가락을 구별하기 위한 방법 및 장치
CN108008819A (zh) 一种便于用户单手操作的页面变换方法及终端设备
JP2017533501A5 (zh)
CN105373300B (zh) 一种信息处理方法及电子设备
Wang et al. The construction and application of multitouch interactive platform based on touchlib
Lee et al. Touchpair: Dynamic analog-digital object pairing for tangible interaction using 3d point cloud data

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees