TWI807372B - 虛擬化用戶介面設備 - Google Patents

虛擬化用戶介面設備 Download PDF

Info

Publication number
TWI807372B
TWI807372B TW110126817A TW110126817A TWI807372B TW I807372 B TWI807372 B TW I807372B TW 110126817 A TW110126817 A TW 110126817A TW 110126817 A TW110126817 A TW 110126817A TW I807372 B TWI807372 B TW I807372B
Authority
TW
Taiwan
Prior art keywords
sensors
display panels
interface device
user interface
sensor
Prior art date
Application number
TW110126817A
Other languages
English (en)
Other versions
TW202209054A (zh
Inventor
麥可辛 菲林
塞米翁 奧爾洛夫
伊利亞 奧西波夫
Original Assignee
美商酷比公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商酷比公司 filed Critical 美商酷比公司
Publication of TW202209054A publication Critical patent/TW202209054A/zh
Application granted granted Critical
Publication of TWI807372B publication Critical patent/TWI807372B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/06—Patience; Other games for self-amusement
    • A63F9/08—Puzzles provided with elements movable in relation, i.e. movably connected, to each other
    • A63F9/0826—Three-dimensional puzzles with slidable or rotatable elements or groups of elements, the main configuration remaining unchanged, e.g. Rubik's cube
    • A63F9/0834—Three-dimensional puzzles with slidable or rotatable elements or groups of elements, the main configuration remaining unchanged, e.g. Rubik's cube comprising only two layers, e.g. with eight elements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/06—Patience; Other games for self-amusement
    • A63F9/08—Puzzles provided with elements movable in relation, i.e. movably connected, to each other
    • A63F9/0826—Three-dimensional puzzles with slidable or rotatable elements or groups of elements, the main configuration remaining unchanged, e.g. Rubik's cube
    • A63F9/0838—Three-dimensional puzzles with slidable or rotatable elements or groups of elements, the main configuration remaining unchanged, e.g. Rubik's cube with an element, e.g. invisible core, staying permanently in a central position having the function of central retaining spider and with groups of elements rotatable about at least three axes intersecting in one point
    • A63F9/0842—Three-dimensional puzzles with slidable or rotatable elements or groups of elements, the main configuration remaining unchanged, e.g. Rubik's cube with an element, e.g. invisible core, staying permanently in a central position having the function of central retaining spider and with groups of elements rotatable about at least three axes intersecting in one point each group consisting of again a central element and a plurality of additional elements rotatable about three orthogonal axes at both ends, the additional elements being rotatable about at least two axes, e.g. Rubik's cube
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/243—Detail of input, input devices with other kinds of input
    • A63F2009/2435—Detail of input, input devices with other kinds of input using a video camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2401—Detail of input, input devices
    • A63F2009/2436—Characteristics of the input
    • A63F2009/2442—Sensors or detectors
    • A63F2009/2447—Motion detector
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2448—Output devices
    • A63F2009/245—Output devices visual
    • A63F2009/2457—Display screens, e.g. monitors, video displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00—Games not otherwise provided for
    • A63F9/24—Electric games; Games using electronic circuits not otherwise provided for
    • A63F2009/2448—Output devices
    • A63F2009/247—Output devices audible, e.g. using a loudspeaker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • External Artificial Organs (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一種虛擬化變換用戶介面設備包括具有多個面向外的表面的不可變換的單體式本體、以及分別沿該多個面向外的表面中的至少一些設置的多個顯示面板。該設備檢測用戶輸入機械力是否與移動或變換該虛擬化變換用戶介面設備的意圖一致，並且響應於肯定確定，藉由改變該多個顯示面板上的圖形圖像來模擬變換移動。

Description

虛擬化用戶介面設備
實施方式的各方面總體上關於電子裝置、換能器及資料處理技術，並且更具體地關於包括用戶介面的掌上型計算設備。
市場上可獲得的增強現實或混合現實遊戲通常使用相機或地理定位作為現實世界輸入。根據第一種方法，遊戲對其周圍「現實」環境的攝像機圖像進行處理並在其上疊加附加的「虛擬」元素。例如，大約2004年發佈的被稱為「Mosquitos（滅蚊槍手）」的手機遊戲在手機螢幕上顯示手機相機圖像，並在該圖像上覆蓋多個巨大蚊子圖像；玩家的目標係使用疊加的十字來射殺蚊子。
根據第二種方法，使用地理定位將虛擬對象與現實世界的地理或地形結合。在2016年底，多玩家遊戲「Pokémon Go（精靈寶可夢Go）」獲得了大量追隨者；該遊戲採用了這兩種技術，即，該遊戲將虛擬對象疊加在相機捕獲的圖像上並使用地理定位將事件和對象與現實世界的地圖聯繫在一起。
最近，在所謂的「跨現實魔方（Transreality Puzzles）」（其為混合現實設備的子集）上取得了顯著進展，由此，用戶藉由對可變換輸入設備的元件進行定位、傾斜或轉向物理地與該設備交互，從而影響虛擬空間中的事件，其中，虛擬對象與物理對象相互關聯。
跨現實魔方中的虛擬對象可以顯示在通信地耦合至可變換輸入設備的單獨的顯示器（如監視器顯示器）或可穿戴VR/AR頭戴設備上，該頭戴設備接收來自用戶的機械輸入。在一些配置中，虛擬對象可以顯示在放置在可變換輸入設備本身的外表面上的一個顯示器或多個顯示器上並且經受其上的操縱或變換。
由這種跨現實魔方帶來的獨特體驗基於將主動三維精細運動用戶輸入與特意設計的感覺、視覺和觸覺回饋相結合。
目前可獲得的跨現實遊戲設備包括需要相互旋轉或位置變換的多個移動零件，因此導致了由機械移動限定的顯著生產成本和有限可靠性、移動表面污染、電連接複雜性以及由於較小機械零件的存在而產生之風險。
根據本揭露內容的一些方面，虛擬化可變換用戶介面電子設備被構建為堅固單體式本體，其不具有可從外部觀察到的真實移動零件。有利地，該等方面可以減弱跨現實魔方型設備的一些限制。
根據一種類型的實施方式的一種虛擬化變換用戶介面設備包括具有多個面向外的表面的不可變換的單體式本體、以及分別沿該多個面向外的表面中的至少一些設置的多個顯示面板。該設備檢測用戶輸入機械力是否與移動或變換該虛擬化變換用戶介面設備之意圖一致，並且響應於肯定確定，藉由改變該多個顯示面板上的圖形圖像來模擬變換移動。
在一些實施方式中，該設備具有立方形狀因子，在其外部面上陳列有六個平板顯示器，並且該設備包括支持用戶交互的附加的感測器或致動器部件，例如，麥克風、加速度計、溫度感測器、光感測器、相機、振動致動器或揚聲器。
在一些實施方式中，可以藉由直接與顯示器（觸控式螢幕）集成的觸力感測器陣列、或藉由放置在顯示器下方的具有力感測器的感測器板來收集用戶輸入。在相關實施方式中，力感測器可以放置在由在設備的面上的顯示器限定的設備邊中，或放置在藉由軸機械地連接至面或邊的設備芯部上。在所有情況下，力感測器的數量、位置和佈置都被佈置用於促進自動確定由與設備交互性地接合的用戶施加到設備的面和邊的機械力之大小和方向。
附加的感覺輸入和處理可以將多模式感測（例如，相機、加速度計、壓力）與組合這種輸入的處理相結合，以辨別手勢、模仿、其他更高級的用戶行為。
相關申請的交叉引用
本申請要求於2020年7月21日提交的名稱為「VOLUMETRIC MIXED REALITY DEVICE [體積混合現實設備]」的美國臨時申請案序號63/054,272的權益，該美國臨時申請的揭露內容藉由援引併入本文。
本揭露內容關於從外部看係不具有外部移動零件的堅固單體式本體的體積混合現實電子設備。
根據本文描述的實施方式的虛擬化變換用戶介面設備配備有資料處理電路系統（比如包括處理器核心、記憶體、非易失性資料存儲裝置的基於微處理器的系統）、輸入/輸出電路系統、以及耦合至輸入設備（比如感測器）和輸出設備（比如顯示器或聲音系統（例如，放大器、揚聲器））的介面電路系統。基於微處理器的系統可以包括中央處理單元（CPU）、圖形處理單元（GPU）、數位訊號處理器（DSP）或各種類型的處理器架構的組合，以支持用於實施該設備的功能的演算法類型。另外，合適的介面電路系統，比如模數轉換器（ADC）或數模轉換器（DAC）電路系統也可以包括在內並適當地耦合至處理電路系統。在一種類型的實施方式中，前述部件中的一些、大多數或所有可以被結合在片上系統（SoC）積體電路中。
進一步地，基於微處理器的系統可以包括適合與處理器電路進行介面連接的資料通信電路系統，比如WiFi數據機和符合IEEE 802.11標準、IEEE 802.15標準（「藍牙」）、3GPP標準（LTE/5G）等的無線電裝置。進一步地，該設備可以包括合適的連接器、柔性電纜或其他電纜、電源以及相關電子裝置（比如系統匯流排或各硬體設備之間的其他內部介面）。
可由基於微處理器的系統執行的指令可以存儲在非易失性記憶體中，比如閃速EEPROM或其他合適的存儲介質。某些處理可以在該設備上本地地執行，而其他處理可以利用該設備本地地收集到的輸入在對等設備、或在與雲計算模型一致的一個或多個伺服器上遠端地執行，並且基於該輸入的處理結果被傳輸到該設備。在相關實施方式中，某些指令可以從伺服器、對等設備或其他來源傳輸到設備以在該設備上本地地執行。
在一些實施方式中，某些基於機器學習的演算法係在該設備上執行的，該等演算法在監督學習方案、非監督學習方案、強化學習方案或該等範例之組合下動態地調整。因此，某些參數（例如，權重、偏移量、損失函數等）可以隨時間由該設備本地地發展和調整，或者遠端地（例如，在雲端）發展和調整並傳輸到該設備。
根據一些實施方式的混合現實電子設備具有電子顯示器，該電子顯示器可以是位於該設備的外表面的薄膜電晶體（TFT）設備，例如，有源矩陣視頻顯示器，比如LCD、LED、OLED等。在一些配置中，該設備具有多個位於其外表面的電子顯示器。（多個）顯示器呈現比如可移動圖形對象等內容，用戶可以藉由對設備的操縱、手勢或其某種組合與之交互。例如，用戶可以藉由用手指在（多個）顯示器之上或上方按壓或滑動來產生可讀輸入。該輸入可以被解譯為對於進行以下動作的指示：作為求解魔方的一部分在顯示器的表面上方移動圖形對象，或對可變換幾何形狀進行變換。
進一步地，根據一些實施方式，虛擬化變換用戶介面設備可以配備有一個或多個感測器以檢測用戶的其他物理動作。
在一些實施方式中，該設備包括加速度計，該加速度計的輸出被提供給程式設計為檢測用戶手勢（包括搖晃和類似動作）的處理器。進一步地，設備的一些實施方式利用加速度計（例如，陀螺儀）來檢測在空間中的設備取向和移動。
根據一些實施方式的高級特徵包括用戶手勢的識別。該等手勢可以藉由現有的或未來將出現的多項技術來檢測，包括但不限於應力或壓力感測、電阻式觸摸感測、電容式感測或光學檢測。這樣的各種感測技術的一個共同原理利用了其物理狀態（通常是電學特性）在人的手或手指直接接觸感測設備或放置在其附近時的變化。對感測設備的電學特性的變化進行處理以便由設備的基於處理器的電路系統來進行解譯。
在相關實施方式中，一個或多個攝像機可以被結合到設備中並且適於檢測用戶眼睛的位置。該輸入可以以多種方式使用，包括但不限於控制內容、以及藉由調暗用戶不可見表面來節能並延長電池壽命。
進一步地，該設備可以包括以下指令：整合來自各種感測器的輸入，識別特定用戶手勢的圖案，以及將手勢與在一個或多個電子顯示器上顯示的一組允許的內容變換進行關聯。
進一步地，在一些實施方式中，該設備包括用於提供除視覺之外的感覺回饋的輸出裝置，例如，音訊電路、揚聲器、振動電機及其用於觸覺回饋之控制裝置。
參照圖1，展示了虛擬化變換用戶介面設備之實施方式。設備0100的形狀大體為如立方體，該設備具有佈置在其每個面上的顯示觸摸感測器0110（下文中稱為「顯示感測器」）（例如，力敏輸入組件、電容式感測器、膜感測器等）。為了清晰，僅示出了佈置在觀看者直接可見的面上的顯示觸摸感測器。該設備被構建為不具有（如可從外部觀察到的）移動零件的堅固單體式本體，這減弱了可機械變換的設備的某些缺點。雖然該設備不具有可從外部觀察到的移動零件，但是該設備內部可能具有移動零件，比如振動致動器、陀螺儀或其他加速度計、壓電感測器或致動器、某些微機電（MEMS）感測器或致動器、揚聲器、麥克風等。
參照圖2A，根據示例實施方式的設備的基本功能被展示為流程圖。該示例的基本操作包括：在210處存儲當前視頻內容並將其顯示在一個顯示器或多個顯示器上；在202處，整合來自多個感測器的輸入；在204處，基於在202處的輸入和在203處應用的分類標準，識別用戶的手勢；在206處，識別用戶意圖對顯示在一個顯示器或多個顯示器上視頻內容進行的變換，這可以藉由將解譯出的用戶手勢（或一系列手勢）與所存儲的感覺響應圖案進行比較來部分地完成，該等感覺響應圖案可以是203處的分類標準的一部分。在208處，可以對當前視頻內容進行變換並顯示。
參照圖2B，根據示例展示了遊戲內容的示例。顯示觸摸感測器0110被用作用於檢測與顯示器上的內容的用戶交互的感測器。該內容包括旨在促使用戶藉由手勢與之交互的可移動圖形對象0112和0114，手勢包括但不限於用手指按壓對象0112、在顯示器的表面上方移動對象0114等。在本揭露內容的一些實施方式中的內容腳本包括：作為求解魔方的一部分移動對象，或將虛擬化的可變換幾何形狀變換為各種模擬構型。
在一些實施方式中，顯示器0130係3D顯示器。該設備可以被配置用於創建內部放置有對象的體積對象的幻象。
圖3係顯示觸摸感測器0110之分解視圖，展示了根據示例的支持顯示觸摸感測器的功能的主要部件。圖3的觸摸感測器0110包括蓋板玻璃0120、具有將有源矩陣顯示陣列（AMD）0130連接至驅動電子裝置的輸入柔性電路電纜0132的AMD 0130、其上設置有感測器0142的感測器板0140、以及柔性電纜0144。在一些實施方式中，感測器板0140包括四個不同的感測器設備0142。在一些實施方式中，感測器設備係張量電阻器（tensoresistor），即，電阻取決於被施加的機械力的電子部件（例如，壓敏電阻器）。當向如圖1所示的可移動對象112施加壓力時，如圖3所示地設置的四個張量電阻器提供在已知的感測器位置處的力的大小的四個測量值。即時測量該等值提供了足夠的資訊用於測定手部機械動作的數位表示，即，藉由例如手指或手掌觸摸顯示感測器而施加到設備的表面的機械力的作用點、方向和大小。
基於使用感測器收集到的動態測量值（包括精細運動移動中的個體差異）識別用戶意圖呈現出巨大的挑戰。近來，這種複雜性已經藉由人工智慧（下文中稱為「AI」）和深度學習（下文中稱為「DL」）得到解決，這兩者作為用於訓練軟體識別從收集到的輸入信號得到的資料集中的圖案的技術。目前，一種用於執行AI/DL功能的可用類型的實施方式係張量處理單元（TPU）。在本揭露內容的一些實施方式中，執行AI和DL訓練（這可能會係計算密集型過程）的硬體遠離設備（比如在雲端）並且經由比如上文所述之示例的通信電路系統與設備通信。
圖4至圖6描繪了本揭露內容之另一實施方式。設備0100包括芯部0166和多個軸0160。該多個軸0160中的每一個都包括遠端0162和近端0164。遠端0162機械地聯接到顯示器0130，並且近端0164機械地聯接到芯部0166，如圖4所示。圖5示出了芯部0166的一個實施方式。芯部0166包括六個軸套0180，每個軸套與對應的顯示器0130正交對準。圖6示出了根據示例的軸套0180的正視圖。每個軸套0180包括多個感測器0182和多個軸固位器構件0184。該多個軸固位器構件0184中的每一個都包括鄰近感測器0182的感測器表面0188、以及鄰近軸0160的近端0164的軸固位器表面0186。軸固位器構件0184被佈置用於傳輸來自機械地聯接至顯示器0130的軸0160的力。該示例實施方式包括每軸四個感測器和軸固位器構件，儘管還設想了其他配置。整個佈置旨在即時檢測用戶施加到每個螢幕的力的大小和方向。
在本揭露內容的其他相關實施方式中，顯示幕幕的數量不同於六個，並且每有源矩陣顯示幕幕的軸數量也可能不同。進一步地，對軸進行固位、將來自軸的力傳輸至感測器、以及從感測器收集足夠的測量值以確定力的大小和方向可能需要每軸不同數量的感測器和軸固位器構件。
在本揭露內容的一些實施方式中，感測器可以沿設備的邊設置，如圖7所示。在該示例性實施方式中，設備大體為立方體形狀，並且每邊設置有兩個感測器。在其他實施方式（未示出）中，可能有更多或更少的感測器沿每條邊定位。
本揭露內容的體積混合現實設備的一種應用係，使用不可變換的單體式電子設備（比如根據前述實施方式中的任一實施方式描述的不可變換的單體式電子設備）來模擬與由可變換的電子設備提供的用戶體驗類似的用戶體驗。
在一個電子顯示器或多個電子顯示器上顯示的圖像模擬具有可以被重定位、傾斜或轉向的元件的可變換輸入設備之外觀和功能。
在一個實施方式中，如圖8A和圖8B所示，體積混合現實設備可以被配置用於模擬比如俄羅斯聯邦專利案號RU2644313C1中揭露的示例中的2 × 2 × 2小立方體跨現實魔方，該專利的揭露內容藉由援引併入本文。
其他相關實施方式可以模擬例如在美國專利案號8,465,356中揭露的3 ×3× 3魔方（Rubik’s Cube）式跨現實魔方（未示出）、或者如圖8C和8D所示的4 × 4 × 4魔方。
在一些實施方式中，內置於圖8A至圖8D的不可變換的設備或類似設備中的感測器被佈置用於檢測用戶在假想該設備可變換的情況下意圖對設備進行變換的物理動作（通常是手勢）。因此，在顯示器螢幕上顯示的圖像響應於感測器輸入而動畫化以模擬變換設備的變換移動。例如，該動畫可以描繪虛擬化可移動元件的重定位、傾斜、推動、壓縮或轉向。
此外，可以將一組指令程式設計到設備中以用於整合來自多個感測器的輸入、識別特定用戶手勢的圖案、將手勢與虛擬化變換設備的預定義變換進行關聯。
圖9示出了用於與虛擬化變換設備交互的手勢的示例，該虛擬化變換設備包括結合到其邊中的感測器0190。設備的大體立方體形狀限定了三個對稱軸。這三個對稱軸中的每一個都連接相對的立方體面的中心。這三個對稱軸之一係連接點X1和X2的X1-X2，這兩個點係相對的一對設備面的幾何中心。
用戶正在將力施加在設備的邊上，如同要藉由將一組四個虛擬小立方體繞軸線X1-X2相對於另一組四個虛擬小立方體旋轉（如箭頭A1和A2所示）來對真實變換設備進行變換。該手勢反映了對虛擬化可變換設備進行變換的意圖，體現為在用戶的手接觸設備的點處以由感測器0190測得的力施加如A1和A2所示的旋轉動量。
因此，儘管圖9的設備無法進行機械意義上的真實變換，但是該設備被程式設計為模擬機械變換，以向用戶提供描繪這種機械變換的視覺回饋、以及視需要感覺回饋。
因此，虛擬化變換電子設備與在跨現實魔方中採用的真實可機械變換的輸入設備顯著不同，因為虛擬化變換電子設備係不可變換的，即，不能使其零件重定位、傾斜或轉向。
本上下文中的術語「虛擬化」指的是設備可操作以接收用戶的動態輸入並提供視覺回饋、以及視需要感覺回饋，而無需明顯地相對移動可旋轉的或可移位的零件，例如，旋轉上文引用的魔方（Rubik’s Cube）式魔方中的小立方體或操縱桿。
以上說明旨在係說明性的而非限制性的。例如，以上所描述的示例（或其一個或多個方面）可以彼此組合使用。可以比如由熟悉該項技術者在回顧以上說明時使用其他實施方式。摘要用於允許讀者快速確定本技術揭露內容的性質。基於其將不被用於解釋或者限制請求項之範圍或者含義的理解提交摘要。而且，在以上具體實施方式中，可以將各種特徵組合在一起以便簡化揭露內容。然而，請求項可能不會闡述本文揭露的每個特徵，因為實施方式可能以所述特徵之子集為特徵。進一步地，實施方式可以包括比在特定示例中揭露的特徵更少的特徵。因此，據此將以下請求項併入具體實施方式中，其中，一項請求項獨自代表單獨的實施方式。因此，本文揭露之實施方式之範圍應該參照所附請求項來確定，連同考慮該等請求項有資格考慮的等效物的全部範圍。
0100:設備 0110:顯示觸摸感測器 202:整合後的來自多個感測器的輸入 203:分類標準 204:識別用戶的手勢 206:識別用戶意圖對所顯示內容進行的變換 208:對設備顯示器的當前內容進行變換 210:存放設備顯示器的當前內容 0112:可移動圖形對象 0120:蓋板玻璃 0130:有源矩陣顯示陣列 0132:輸入柔性電路電纜 0140:感測器板 0142:感測器 0144:柔性電纜 0160:軸 0162:遠端 0164:近端 0166:芯部 0180:軸套 0182:感測器 0184:軸固位器構件 0186:軸固位器表面 0188:感測器表面 0190:感測器
在不一定按比例繪製的附圖中，不同視圖中的相似附圖標記可以描述相似部件。具有不同字母後綴的相似附圖標記可以表示相似部件的不同實例。在附圖的各圖中藉由舉例而非限制的方式對一些實施方式進行了展示。
[圖1]係展示根據一些實施方式的虛擬化變換用戶介面設備之透視圖。
[圖2A]係展示根據一些示例的圖1的設備的基本功能之過程流程圖。
[圖2B]係展示根據一些實施方式的與體積混合現實設備的示例性用戶交互之簡圖。
[圖3]係根據示例的顯示感測器之簡化分解視圖。
[圖4]係展示根據一些實施方式的設備的一些內部部件之簡化透視圖。
[圖5]係展示根據一些實施方式的在設備中使用的芯部之簡化透視圖。
[圖6]係展示根據一些實施方式的在設備中使用的軸套之正視圖。
[圖7]係展示根據一些示例的設備的簡化透視圖。
[圖8A至圖8D]係展示根據本揭露內容中描述的原理之各種設備之透視圖。
[圖9]係展示根據一些實施方式的與體積混合現實設備的用戶交互之示例的簡化透視圖。
無
202:整合後的來自多個感測器的輸入
203:分類標準
204:識別用戶的手勢
206:識別用戶意圖對所顯示內容進行的變換
208:對設備顯示器的當前內容進行變換
210:存放設備顯示器的當前內容

Claims (20)

  1. 一種虛擬化變換用戶介面設備，包括：不可變換的單體式本體，該不可變換的單體式本體具有多個面向外的表面；多個顯示面板，該多個顯示面板分別沿該多個面向外的表面中的至少一些設置；多個感測器，該多個感測器被佈置成與該等顯示面板通信，使得每當在該等顯示面板中的至少一個顯示面板附近施加機械力時，該多個感測器中的對應的至少一個藉由改變其電氣狀態來進行響應；以及處理器電路系統，該處理器電路系統能夠操作以：(a)促使第一組圖形圖像顯示在該多個顯示面板上；(b)讀取該多個感測器的一組電氣狀態；(c)確定該組電氣狀態是否表示與移動或變換該虛擬化變換用戶介面設備的意圖一致的用戶輸入機械力；以及(d)響應於(c)中的肯定確定，促使第二組圖形圖像顯示在該多個顯示面板上，以模擬移動或變換該虛擬化變換用戶介面設備。
  2. 如請求項1所述之設備，其中，該第二多個圖像動畫化以提供變換用戶介面設備的移動表像。
  3. 如請求項1所述之設備，其中，該多個感測器中的至少一個被佈置成與該多個顯示面板之一機械連通，以促進對施加到該顯示面板的機械力的檢測。
  4. 如請求項1所述之設備，進一步包括加速度計，該加速度計與該處理器電路系統操作性地耦合，並且能夠操作以促進對該設備的移動的檢測。
  5. 如請求項1所述之設備，進一步包括陀螺儀，該陀螺儀與該處理器電路系統操作性地耦合，並且能夠操作以促進對該設備的旋轉的檢測。
  6. 如請求項1所述之設備，進一步包括攝像機，該攝像機與該處理器電路系統操作性地耦合。
  7. 如請求項1所述之設備，進一步包括揚聲器，該揚聲器與該處理器電路系統操作性地耦合。
  8. 如請求項1所述之設備，進一步包括振動致動器，該振動致動器與該處理器電路系統操作性地耦合，並且能夠操作以響應於(c)中的該肯定確定而模擬移動或變換該虛擬化變換用戶介面設備。
  9. 如請求項1所述之設備，其中，該等感測器中的至少一個係力感測器。
  10. 如請求項1所述之設備，其中，該等感測器中的至少一個係電阻式觸摸感測器。
  11. 如請求項1所述之設備，其中，該等感測器中的至少一個係光學感測器。
  12. 如請求項1所述之設備，其中，該等感測器中的至少一個係電容式接近度感測器。
  13. 如請求項1所述之設備，其中，該設備的形狀大體為立方體，該立方體包括設置在其面上的六個顯示面板。
  14. 如請求項1所述之設備，其中，該多個感測器中的至少兩個被佈置在緊鄰該多個顯示面板中的對應顯示面板的感測器板上，使得該等感測器能夠操作以檢測施加到該顯示面板的機械力。
  15. 如請求項1所述之設備，其中，該等感測器的至少一部分被集成到由該多個顯示面板中的兩個相鄰顯示面板限定的立方體的邊中。
  16. 如請求項1所述之設備，進一步包括：芯部；以及多個軸，該多個軸中的每個軸具有近端和遠端；其中：該遠端被佈置成與該多個顯示面板中的顯示面板機械連通；該近端被佈置成與該芯部機械連通；以及該多個感測器中的感測器被佈置用於促進對作用在該多個軸中的每個軸與該芯部之間的力的檢測。
  17. 如請求項16所述之設備，其中，該芯部包括被佈置用於接納該多個軸中的軸的近端的軸套。
  18. 如請求項16所述之設備，其中，該設備的形狀大體為立方體，該立方體包括設置在其面上的六個顯示面板。
  19. 如請求項16所述之設備，其中，該芯部包括該等感測器中的至少一部分。
  20. 一種用於操作虛擬化變換用戶介面設備之方法，該方法包括：提供具有多個面向外的表面的不可變換的單體式設備、以及分別沿該多個面向外的表面中的至少一些設置的多個顯示面板；自主地促使第一組圖形圖像顯示在該多個顯示面板上；自主地讀取該設備的多個感測器的一組電氣狀態；自主地確定該組電氣狀態是否表示與移動或變換該虛擬化變換用戶介面設備的意圖一致的用戶輸入機械力；以及響應於(c)中的肯定確定，自主地促使第二組圖形圖像顯示在該多個顯示面板上，以模擬移動或變換該虛擬化變換用戶介面設備。
TW110126817A 2020-07-21 2021-07-21 虛擬化用戶介面設備 TWI807372B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063054272P 2020-07-21 2020-07-21
US63/054,272 2020-07-21

Publications (2)

Publication Number Publication Date
TW202209054A TW202209054A (zh) 2022-03-01
TWI807372B true TWI807372B (zh) 2023-07-01

Family

ID=79728919

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110126817A TWI807372B (zh) 2020-07-21 2021-07-21 虛擬化用戶介面設備

Country Status (2)

Country Link
TW (1) TWI807372B (zh)
WO (1) WO2022020452A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120302303A1 (en) * 2010-11-22 2012-11-29 Gonzalez Rosendo Display puzzle
US20180311566A1 (en) * 2017-04-28 2018-11-01 Bong Gu SHIN Smart magic cube and operation method thereof
TW201923544A (zh) * 2017-10-24 2019-06-16 美商微晶片科技公司 包括可組態虛擬介面工具集之觸敏使用者介面
US20190358549A1 (en) * 2016-10-20 2019-11-28 Cubios, Inc Electronic device with a three-dimensional transformable display

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304655B2 (en) * 2013-02-01 2016-04-05 Sap Se Graphical user interface (GUI) that receives directional input to change face for receiving passcode
US10286296B2 (en) * 2015-04-27 2019-05-14 Shanghai Dianhua Digital Technology Co., Ltd. Smart puzzle cube having prompting and recording functions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120302303A1 (en) * 2010-11-22 2012-11-29 Gonzalez Rosendo Display puzzle
US20190358549A1 (en) * 2016-10-20 2019-11-28 Cubios, Inc Electronic device with a three-dimensional transformable display
US20180311566A1 (en) * 2017-04-28 2018-11-01 Bong Gu SHIN Smart magic cube and operation method thereof
TW201923544A (zh) * 2017-10-24 2019-06-16 美商微晶片科技公司 包括可組態虛擬介面工具集之觸敏使用者介面

Also Published As

Publication number Publication date
TW202209054A (zh) 2022-03-01
WO2022020452A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
JP7277545B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
EP3588250A1 (en) Real-world haptic interactions for a virtual reality user
JP6368329B2 (ja) 位置に基づいて触覚刺激を提供するシステム及び方法
US10518188B2 (en) Controlling physical toys using a physics engine
JP6001542B2 (ja) 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム
EP3364272A1 (en) Automatic localized haptics generation system
EP1808210B1 (en) Storage medium having game program stored thereon and game apparatus
US20110148607A1 (en) System,device and method for providing haptic technology
US9561435B2 (en) Video game with helper role or obstructer role for second player having separate display
JP5116679B2 (ja) 強度のコンピュータ画像および音声処理、ならびにコンピュータプログラムとインタフェースするための入力装置
JP2014531688A (ja) 全方向ジェスチャー入力
CN109240501A (zh) 具有触觉减弱防止组件的外围设备
JP2010257461A (ja) ネットワークゲーム用の共有ゲーム空間を創出する方法およびシステム
JP2012256371A (ja) 入力装置を制御し、コリジョンデータを生成し、カメラ角度を制御する方法およびシステム
US20080248871A1 (en) Interface device
US20170087455A1 (en) Filtering controller input mode
JP2015014995A (ja) 表示装置、表示方法、プログラム及び表示システム
CN108781253A (zh) 相机模块
CN113508355A (zh) 虚拟现实控制器
TWI807372B (zh) 虛擬化用戶介面設備
TWI446951B (zh) 輸入裝置及具有該輸入裝置的遊戲設備
US12011658B2 (en) Single unit deformable controller
US12011656B2 (en) Correlating gestures on deformable controller to computer simulation input signals
TWM600411U (zh) 行為數據處理系統
US20240173618A1 (en) User-customized flat computer simulation controller