TWI743748B - 消費電子設備、用於消費電子裝置之方法及消費電子總成 - Google Patents

消費電子設備、用於消費電子裝置之方法及消費電子總成 Download PDF

Info

Publication number
TWI743748B
TWI743748B TW109112997A TW109112997A TWI743748B TW I743748 B TWI743748 B TW I743748B TW 109112997 A TW109112997 A TW 109112997A TW 109112997 A TW109112997 A TW 109112997A TW I743748 B TWI743748 B TW I743748B
Authority
TW
Taiwan
Prior art keywords
display
letter
consumer electronic
electronic device
processor
Prior art date
Application number
TW109112997A
Other languages
English (en)
Other versions
TW202121265A (zh
Inventor
趙岑
余宗憲
塞繆爾 馬修斯
Original Assignee
美商索尼互動娛樂有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商索尼互動娛樂有限責任公司 filed Critical 美商索尼互動娛樂有限責任公司
Publication of TW202121265A publication Critical patent/TW202121265A/zh
Application granted granted Critical
Publication of TWI743748B publication Critical patent/TWI743748B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/85—Providing additional services to players
    • A63F13/87—Communicating with other players during game play, e.g. by e-mail or chat
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/02—Miscellaneous game characteristics having an effect on the human senses
    • A63F2250/025—Miscellaneous game characteristics having an effect on the human senses related to sense of touch
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad

Abstract

一種遊戲控制器包括一觸摸板，查看一螢幕上之一虛擬鍵盤的一使用者可輕觸該觸摸板以移動該螢幕上的一光標，且然後重觸以移動該光標並且亦向一處理器發送位置資料以用於自該虛擬鍵盤輸入一字母。使用機器學習來預測下一個字母或下一個單詞。

Description

消費電子設備、用於消費電子裝置之方法及消費電子總成
本申請案總體而言係關於必須植根於電腦技術並產生具體技術改良的技術上創新的非常規解決方案。具體地，本申請案係關於具有觸摸板輸入之電腦模擬控制器。
機器學習(有時稱為深度學習)可用於與資料理解、偵測及/或分類相關的多種有用之應用。
在諸如遊戲業界之電腦模擬業界中，可能存在多種資料輸入模式，這些資料輸入模式可自機器學習中受益以提高精確性及穩健性。
因此，一種設備包括至少一個處理器；及至少一個電腦儲存器，該至少一個電腦儲存器並非暫時信號且包括指令，該等指令能夠由該處理器執行以：接收電腦模擬控制器之觸摸板上之觸摸信號。該等指令能夠執行以：響應於該觸摸信號指示第一壓力，移動與該控制器相距一定距離之顯示器上的光標且不建立對字母的選擇。該等指令亦能夠執行以：響應於該觸摸信號指示大於該第一壓力的第二壓力，建立對第一字母數字字符的選擇且在該顯示器上呈現該第一字母數字字符。
在示例性實施例中，該處理器實施在該電腦模擬控制器中。或者，該處理器可實施在電腦模擬主控台中，該電腦模擬主控台經組態以用於與該電腦模擬控制器通信。
在一些實施方案中，該等指令可能夠執行以：響應於該觸摸信號指示該第二壓力，移動該顯示器上的該光標。該等指令可能夠執行以：響應於該觸摸信號指示該第一壓力，放大該顯示器上之鍵盤的影像。
在某些實施例中，該等指令可能夠執行以：將該第一字母數字字符輸入到至少第一神經網路(NN)，且自該第一NN接收包括至少第一預測字母數字字符的字母數字字符之預測序列。在此類實施例中，該等指令可能夠執行以：在該顯示器上在該第一字母數字字符旁邊呈現包含至少該第一預測字母數字字符的該字母數字字符之預測序列。視需要，該第一NN可包括複數個長短期記憶 (LSTM)網路。
在另一態樣，一種方法包括：自電腦模擬控制器接收觸摸信號；及響應於該觸摸信號指示第一壓力，移動顯示器上的光標。該方法亦包括：響應於該觸摸信號指示大於該第一壓力的第二壓力，建立至少第一字母；及在該顯示器上呈現該第一字母。
在另一態樣，一種總成包括：至少一個電腦模擬控制器；至少一個觸摸板，該至少一個觸摸板由該電腦模擬控制器支援；及至少一個電腦儲存器，該至少一個電腦儲存器具有指令，該等指令能夠由至少一個處理器執行以：響應於該觸摸板上之觸摸輸入，在顯示器上呈現字母數字字符。該等指令可執行以：響應於該觸摸板上之該觸摸輸入，至少部分地基於在該顯示器上呈現之該等字母數字字符來在該顯示器上呈現預測字母數字字符。
10:系統
12:音訊視訊裝置
14:顯示器
16:揚聲器
18:輸入裝置
20:網路介面
22:網路
24:中央處理單元
24a:圖形
25:圖形處理單元
25A:圖形卡
26:輸入埠
26a:電纜或衛星源
28:電腦存儲器
30:GPS接收器/高度計
32:攝影機
34:藍芽收發器
36:近場通信元件
37:輔助感測器
38:無線TV廣播埠
42:紅外線
44:第一消費電子裝置
46:第二消費電子裝置
47:使用者
50:顯示器
52:揚聲器
54:輸入裝置
55:圖形處理單元
55A:圖形卡
56:網路介面
58:消費電子裝置處理器
58a:圖形
60:輸入埠
62:有形電腦可讀儲存媒體
64:GPS接收器/高度計
66:攝影機
68:藍芽收發器
70:近場通信元件
72:輔助感測器
74:氣候感測器
76:生物辨識感測器
78:紅外線
80:伺服器
82:伺服器處理器
84:有形電腦可讀儲存媒體
86:網路介面
200:系統
202:電腦模擬控制器
204:觸摸板
206:手
208有線/無線路徑
210:電腦模擬主控台
212:顯示裝置
214:字母數字字符
216:虛擬鍵盤
300:輕按
302:重按
400,402,404,406,408,410,412:邏輯
500:鄰近感測器/壓力感測器
502:輕按
504:重按
506:手指聚焦點
510:演算法
512:字母序列
514:字典
516:縮減方塊
518:模組
520:上下文使用者塊
522:查詢及聊天資料
524:雙向長短期記憶
526:機器學習字符序列模型
510:熱圖演算法
600:中心分區
602:邊界分區
900:網路
902:字母
904:概率
906:時間分佈式預測字母
908:概率
910:長短期記憶
912:輸入閘
914:遺忘閘
916:輸出閘
918:雙曲正切函數
920:第一組合運算器
922:第二組合運算器
924:第三組合運算器
926:雙曲正切函數
928:第四組合運算器
930:隱藏狀態向量
900:網路
1000:下排字母
1002:與字母關聯的概率
1004:下一個預測字母
900:網路
1000:下排字母
1004:下一個預測字母
1300,1302,1304,1306,1308,1310,1312,1314,1316:邏輯流程
本申請案之關於其結構及操作兩者的細節可參照附圖來最佳地理解，在附圖中，相似的元件符號指代相似的部分，並且在附圖中：[圖1]是符合本原理之示例性系統之方塊圖；[圖2]是具有觸摸板之電腦模擬控制器之透視圖，該觸摸板用於輸入在直接或經由例如電腦遊戲主控台與遊戲控制器通信之顯示器(諸如TV或其他音訊視訊裝 置)上呈現的文字；[圖3]是示出控制器觸摸板上的輕按及重按之示意圖；[圖4]是符合本原理之與圖3相關的示例性邏輯之流程圖；[圖5]是符合本原理之邏輯流程圖、資料結構、及處理部件之組合；[圖6]至[圖8B]是圖5中稱為熱圖的資料結構之示意圖，其示出使用中的步驟；[圖9]是經組態為複數個長短期記憶(LSTM)網路的示例性神經網路(NN)之方塊圖，該示例性NN用於基於當前使用者輸入來輸出預測的下一個單詞；[圖10]至[圖12]是示出圖9中之NN訓練後的操作之示意圖；並且[圖13]是符合本原理之示例性整體邏輯之流程圖。
本揭示案總體而言係關於包括消費電子(CE)裝置網路的諸態樣的電腦生態系統，該等CE裝置網路諸如但不限於：分佈式電腦遊戲網路、增強現實(AR)網路、虛擬現實(VR)網路、視訊廣播、內容遞送網路、虛擬機、及人工神經網路以及機器學習應用。
本文的系統可包括伺服器及客戶端部件，該 伺服器及該等客戶端部件通過網路連接，使得可在客戶端與伺服器部件之間交換資料。客戶端部件可包括一或多個計算裝置，該一或多個計算裝置包括AR頭戴式裝置、VR頭戴式裝置、遊戲主控台(諸如Sony PlaystationTM及相關母板)、遊戲控制器、可攜式電視機(例如，智慧TV、網際網路使能式TV)、可攜式電腦(諸如膝上型電腦及平板電腦)、以及其他行動裝置，包括智慧手機及下文所討論的額外實例。這些客戶端裝置可以多種作業環境操作。例如，客戶端電腦中的一些可採用例如Orbis或Linux作業系統、來自Microsoft的作業系統、或Unix作業系統、或由Apple,Inc.或Google生產的作業系統。這些作業環境可用於執行一或多個程式/應用程式，諸如由Microsoft或Google或Mozilla製造的瀏覽器、或可存取由下文所討論之網際網路伺服器託管的網站的其他瀏覽器程式。此外，根據本原理之作業環境可用於執行一或多個電腦遊戲程式/應用程式及實現本原理的其他程式/應用程式。
伺服器及/或閘道器可包括執行指令的一或多個處理器，該等指令配置伺服器以通過網路(諸如網際網路)接收及傳輸資料。另外地或替代地，客戶端及伺服器可通過區域內聯網或虛擬專用網路連接。伺服器或控制器可由遊戲主控台(諸如Sony PlayStation®、個人電腦等)及/或其一或多個母板實例化。
資訊可通過網路在客戶端與伺服器之間交換。為此且為安全起見，伺服器及/或客戶端可包括防火 牆、負載平衡器、暫存器及代理、以及用於可靠性及安全性的其他網路基礎設施。根據本原理，一或多個伺服器可形成實現向網路使用者提供安全社區(諸如線上社會網站或視訊遊戲網站)以傳達眾包的方法的設備。
如本文所使用，指令係指用於在系統中處理資訊的電腦實現的步驟。指令可在軟體、固體或硬體中實現，並且包括由系統之部件進行的任何類型的已程式化步驟。
處理器可以是可藉助於諸如位址線、資料線及控制線的各種線以及暫存器及移位暫存器執行邏輯的任何習知的通用單晶片處理器或多晶片處理器。
藉由本文的流程圖及使用者界面描述的軟體模組可包括各種子常式、程序等。在不限制本揭示案的情況下，陳述為由特定模組執行的邏輯可經再分配到其他軟體模組及/或共同組合在單個模組中及/或使得可用於可共享庫中。
如上文所指出，本文所描述之本原理可實現為硬體、軟體、韌體或其組合；因此，說明性部件、方塊、模組、電路及步驟依據其功能性加以闡述。
除上文已經提及之內容之外，下文所描述之邏輯方塊、模組及電路可以以下各者來實現或執行：通用處理器、數位信號處理器(DSP)、現場可程式化閘陣列(FPGA)或經設計以執行本文所描述之功能的其他可程式化邏輯裝置，諸如專用整合電路(ASIC)、離散閘或電晶體邏 輯、離散硬體部件或其之任何組合。處理器可由控制器或狀態機或計算裝置之組合實現。
下文所描述之功能及方法可在硬體電路或軟體電路中實現。功能及方法當在軟體中實現時可以諸如但不限於Java、C#或C++的適當語言編寫，並且可儲存在電腦可讀儲存媒體上或通過電腦可讀儲存媒體傳輸，電腦可讀儲存媒體諸如隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式化唯讀記憶體(EEPROM)、光碟唯讀記憶體(CD-ROM)或其他光碟儲存器(諸如數位通用光碟(DVD))、磁碟儲存器或包括可移除大拇哥隨身碟的其他磁儲存裝置等。連接可建立電腦可讀媒體。此類連接可包括例如硬連線電纜，包括光纖及同軸線及數位用戶線(DSL)以及雙絞線。此類連接可包括無線通信連接，包括紅外線及無線電。
包括在一個實施例中的部件可以任何適當組合用於其他實施例中。例如，可將本文所描述及/或附圖所描繪之各種部件中之任何者組合、互換或自其他實施例排除。
「具有A、B及C中之至少一者的系統」(類似地，「具有A、B或C中之至少一者的系統」及「具有A、B、C中之至少一者的系統」)包括僅具有A、僅具有B、僅具有C、具有A及B、A及C、B及C、及/或A、B及C等的系統。
現在具體地參照圖1，示出了示例性系統 10，該系統10可包括上文所提及且下文根據本原理進一步描述之示例性裝置中之一或多者。包括在系統10中之示例性裝置中之第一者是消費電子(CE)裝置，諸如音訊視訊裝置(AVD)12，該AVD 12諸如但不限於具有TV調諧器(等同地，控制TV的機上盒)的網際網路使能式TV。然而，替代地，AVD 12可以是器具或家用物品，例如，電腦化網際網路使能式冰箱、洗滌機或乾燥機。替代地，AVD 12亦可以是電腦化網際網路使能式(「智慧」)電話、平板電腦、筆記本電腦、增強現實(AR)頭戴式裝置、虛擬現實(VR)頭戴式裝置、網際網路使能式或智慧眼鏡、另一類型之穿戴式電腦化裝置(諸如電腦化網際網路使能式手錶、電腦化網際網路使能式手鐲、電腦化網際網路使能式音樂播放器、電腦化網際網路使能式耳機)、電腦化網際網路使能式植入式裝置(諸如植入式皮膚裝置)、其他電腦化網際網路使能式裝置等。無論如何，應當理解，AVD 12經組態以實現本原理(例如，與其他消費電子(CE)裝置進行通信以實現本原理，執行本文所描述之邏輯，並且執行本文所描述之任何其他功能及/或操作)。
因此，為了實現此類原理，AVD 12可由圖1所示之部件中之一些或全部建立。例如，AVD 12可包括一或多個顯示器14，該一或多個顯示器14可由高解析度或超高解析度(「4K」)或更高的平面螢幕實現，並且可以是觸摸使能的，以用於經由顯示器上之觸摸來接收使用者輸入信號。根據本原理，AVD 12可包括用於輸出音訊的一或多 個揚聲器16，以及用於將可聽命令輸入到AVD 12以控制AVD 12的至少一個額外輸入裝置18(諸如音訊接收器/傳聲器)。示例性AVD 12亦可包括用於在一或多個處理器之控制下通過諸如網際網路、WAN、LAN等之至少一個網路22通信的一或多個網路介面20。因此，介面20可以是但不限於Wi-Fi收發器，該Wi-Fi收發器是諸如但不限於網狀網路收發器之無線電腦網路介面之實例。此外，需注意，網路介面20可以是例如有線或無線數據機或路由器，或其他適當介面，諸如像無線電話收發器或如上文所提及之Wi-Fi收發器等。
應當理解，一或多個處理器控制AVD 12來實現本原理，包括本文所描述之AVD 12之其他元件，諸如控制顯示器14來在顯示器14上呈現影像以及自顯示器14接收輸入。一或多個處理器可包括中央處理單元(CPU)24以及在圖形卡25A上的圖形處理單元(GPU)25。
除前述內容之外，AVD 12亦可包括用於實體地連接(例如，使用有線連接)到另一消費電子(CE)裝置的一或多個輸入埠26(諸如像高解析度多媒體介面(HDMI)埠或USB埠)，及/或用於將耳機連接到AVD 12以用於通過耳機將來自AVD 12之音訊呈現給使用者之耳機埠。例如，輸入埠26可經由有線或無線方式連接到音訊視訊內容之電纜或衛星源26a。因此，源26a可以是例如單獨的或整合的機上盒或衛星接收器。或者，源26a可以是含有內容的遊戲主控台或磁碟播放器，該內容可出於信道分配目的被使用 者視為最愛。源26a在實現為遊戲主控台時可包括下文關於CE裝置44描述之部件中之一些或全部，並且可實現本文所描述之邏輯中之一些或全部。
AVD 12亦可包括並非暫時信號的一或多個電腦記憶體28(諸如基於磁碟之儲存器或固態儲存器)，該一或多個電腦記憶體28在一些情況下在AVD底盤中實施為獨立裝置，或者實施為AVD底盤內部或外部之用於回放AV節目的個人視訊記錄裝置(PVR)或視訊磁碟播放器，或者實施為可移除記憶體媒體。此外，在一些實施例中，AVD 12可包括定位或位置接收器(諸如但不限於手機接收器、GPS接收器及/或高度計30)，該定位或位置接收器經組態以例如自至少一個衛星或手機塔接收地理定位資訊並且將該資訊提供給處理器24及/或結合處理器24確定AVD 12被設置處於的高度。然而，應當理解，根據本原理，可使用除手機接收器、GPS接收器及/或高度計之外的另一合適的定位接收器來例如確定AVD 12在所有三個維度中的位置。
繼續AVD 12之描述，在一些實施例中，根據本原理，AVD 12可包括一或多個攝影機32，該一或多個攝影機32可以是例如熱成像攝影機、數位攝影機(諸如網路攝影機、紅外線(IR)攝影機)、及/或整合到AVD 12中並且可由處理器24控制來生成圖片/影像及/或視訊的攝影機。AVD 12上亦可包括用於分別使用藍芽及/或NFC技術與其他裝置通信的藍芽收發器34及其他近場通信(NFC)元件36。示例性NFC元件可以是無線射頻識別(RFID)元件。
更進一步地，AVD 12可包括向處理器24提供輸入的一或多個輔助感測器37(例如，運動感測器，諸如加速度計、陀螺儀、回轉計或磁感測器、紅外線(IR)感測器、光學感測器、速度及/或節奏感測器、手勢感測器(例如，用於感測手勢命令)等)。AVD 12可包括用於接收向處理器24提供輸入的OTA TV廣播的無線TV廣播埠38。除前述內容之外，應當注意，AVD 12亦可包括紅外線(IR)發射器及/或IR接收器及/或IR收發器42，諸如IR資料關聯(IRDA)裝置。可提供電池(未示出)以用於為AVD 12供電。
仍參照圖1，除AVD 12之外，系統10可包括一或多個其他消費電子CE裝置類型。在一個實例中，第一CE裝置44可用於經由直接向AVD 12發送的命令及/或通過下文所描述之伺服器向AVD 12發送電腦遊戲音訊及視訊，而第二CE裝置46可包括與第一CE裝置44類似的部件。在所示實例中，第二CE裝置46可經組態為由使用者47穿戴的AR或VR頭戴式裝置，如圖所示。在所示實例中，示出僅兩個CE裝置44、46，應當理解，根據本原理，亦可使用更少或更多的裝置。
在所示實例中，假設所有三個裝置12、44、46都是網路(諸如安全或加密網路、娛樂網路或例如家中的Wi-Fi)之成員，或者至少在某個位置彼此鄰近存在，並且能夠彼此通信並與本文所描述之伺服器通信。然而，本原理不限於特定位置或網路，除非另有明確要求。
示例性之非限制性第一CE裝置44可由上文 提及之裝置(例如，智慧手機、數位助理、可攜式無線膝上型電腦或筆記本電腦或遊戲控制器(也稱為「主控台」))中之任何者建立，並且因此可具有下文所描述之部件中之一或多者。第二CE裝置46可(但不限於)由AR頭戴式裝置、VR頭戴式裝置、「智慧」網際網路使能式眼鏡、或甚至諸如藍光播放器、遊戲主控台及類似物的視訊磁碟播放器建立。更進一步地，在一些實施例中，第一CE裝置44可以是用於例如將AV播放及暫停命令發佈到AVD 12的遠端控件(RC)，或者它可以是更加複雜之裝置，諸如平板電腦、經由有線或無線鏈路與由圖1所示裝置中之另一者實現的遊戲主控台通信並且控制AVD 12上的視訊遊戲呈現的遊戲控制器、個人電腦、無線電話等。
因此，第一CE裝置44可包括一或多個顯示器50，該一或多個顯示器50可以是觸摸使能的，以用於經由顯示器50上之觸摸接收使用者輸入信號。另外地或替代地，(多個)顯示器50可以是至少部分透明的顯示器，諸如AR頭戴式裝置顯示器或「智慧」眼鏡顯示器或「抬頭」顯示器、以及VR頭戴式裝置顯示器、或經組態以呈現AR及/或VR影像的其他顯示器。
根據本原理，第一CE裝置44亦可包括用於輸出音訊的一或多個揚聲器52，以及用於將可聽命令輸入到第一CE裝置44以控制裝置44的至少一個額外輸入裝置54(諸如像音訊接收器/傳聲器)。示例性第一CE裝置44亦可包括用於在一或多個CE裝置處理器58之控制下通過網 路22通信的一或多個網路介面56。因此，介面56可以是但不限於Wi-Fi收發器，該Wi-Fi收發器是包括網狀網路介面之無線電腦網路介面之實例。應當理解，處理器58控制第一CE裝置44來實現本原理，包括本文所描述之第一CE裝置44之其他元件，諸如像控制顯示器50來在顯示器50上呈現影像以及自顯示器50接收輸入。此外，需注意，網路介面56可以是例如有線或無線數據機或路由器、或其他適當介面，諸如無線電話收發器或如上文所提及之Wi-Fi收發器等。
更進一步地，需注意，除(多個)處理器58之外，第一CE裝置44亦可包括在圖形卡55A上的圖形處理單元(GPU)55。圖形處理單元55可經組態以用於在顯示器50上呈現AR及/或VR影像等等。
除前述內容之外，第一CE裝置44亦可包括用於實體地連接(例如，使用有線連接)到另一個CE裝置的一或多個輸入埠60(諸如像HDMI埠或USB埠)，及/或用於將耳機連接到第一CE裝置44以用於通過耳機將來自第一CE裝置44之音訊呈現給使用者之耳機埠。第一CE裝置44亦可包括一或多個有形電腦可讀儲存媒體62，諸如基於磁碟之儲存器或固態儲存器。此外，在一些實施例中，第一CE裝置44可包括定位或位置接收器(諸如但不限於手機及/或GPS接收器及/或高度計64)，該定位或位置接收器經組態以例如使用三角測量自至少一個衛星及/或手機塔接收地理定位資訊，並且將該資訊提供給CE裝置處理器58及/ 或結合CE裝置處理器58確定第一CE裝置44被設置處於的高度。然而，應當理解，根據本原理，可使用除手機及/或GPS接收器及/或高度計之外的另一合適的定位接收器來例如確定第一CE裝置44在所有三個維度中的位置。
繼續第一CE裝置44之描述，在一些實施例中，根據本原理，第一CE裝置44可包括一或多個攝影機66，該一或多個攝影機66可以是例如熱成像攝影機、IR攝影機、數位攝影機(諸如網路攝影機)及/或整合到第一CE裝置44中並且可由CE裝置處理器58控制以生成圖片/影像及/或視訊的另一類型攝影機。第一CE裝置44上亦可包括用於分別使用藍芽及/或NFC技術與其他裝置通信的藍芽收發器68及其他近場通信(NFC)元件70。示例性NFC元件可以是無線射頻識別(RFID)元件。
更進一步地，第一CE裝置44可包括向CE裝置處理器58提供輸入的一或多個輔助感測器72(例如，運動感測器，諸如加速度計、陀螺儀、回轉計或磁感測器、紅外線(IR)感測器、光學感測器、速度及/或節奏感測器、手勢感測器(例如，用於感測手勢命令)等)。第一CE裝置44亦可包括向CE裝置處理器58提供輸入的其他感測器，諸如像一或多個氣候感測器74(例如，氣壓計、濕度感測器、風感測器、光感測器、溫度感測器等)及/或一或多個生物辨識感測器76。除前述內容之外，應當注意，在一些實施例中，第一CE裝置44亦可包括紅外線(IR)發射器及/或IR接收器及/或IR收發器78，諸如IR資料關聯(IRDA)裝 置。可提供電池(未示出)以用於為第一CE裝置44供電。CE裝置44可通過上文描述之通信模式及相關部件中之任何者與AVD 12通信。
第二CE裝置46可包括針對CE裝置44所示之部件中之一些或全部。CE裝置中之任一者或兩者可由一或多個電池供電。
現在參照前面提及之至少一個伺服器80，該至少一個伺服器80包括至少一個伺服器處理器82、至少一個有形電腦可讀儲存媒體84(諸如基於磁碟之儲存器或固態儲存器)。在實施方案中，媒體84包括一或多個固態儲存驅動器(SSD)。根據本原理，伺服器亦可包括至少一個網路介面86，該至少一個網路介面86允許通過網路22與圖1之其他裝置進行通信，並且實際上可促進伺服器與客戶端裝置之間的通信。需注意，網路介面86可以是例如有線或無線數據機或路由器、Wi-Fi收發器或其他適當介面，諸如無線電話收發器。網路介面86可以是將媒體84直接連接到諸如所謂「結構」之網路而無需通過伺服器處理器82的遠端直接記憶體存取(RDMA)介面。網路可包括乙太網網路及/或光纖信道網路及/或InfiniBand網路。通常，伺服器80包括多個電腦中的多個處理器，該等處理器稱為可配置在實體伺服器「堆棧」中之「刀片」。
因此，在一些實施例中，伺服器80可以是網際網路伺服器或完整「伺服器場」，並且可包括及執行「雲端」功能，使得系統10之裝置可在用於例如如本文所 揭示之域適應的示例性實施例中經由伺服器80存取「雲端」環境。另外地或替代地，伺服器80可由一或多個遊戲主控台或與圖1所示之其他裝置在相同房間中或附近的其他電腦實現。
圖2示出系統200，其部件可併入圖1所示之適當部件。電腦模擬控制器202(諸如PlayStation®控制器、Xbox®控制器或其他控制器)可包括觸摸板204，該觸摸板204可自手206接收觸摸信號並且經由有線及/或無線路徑208與電腦模擬主控台210及/或顯示裝置212(諸如網際網路使能式TV)通信。如下文進一步所解釋，使用者可通過與顯示裝置直接進行信號通信或通過模擬主控台210來操縱觸摸板204以生成字母數字字符214，以用於在顯示裝置212上呈現。更具體地，藉由操縱觸摸板204，使用者可將螢幕光標移動到在顯示裝置212上呈現之虛擬鍵盤216上的字母上方，以輸入字母數字字符214。虛擬鍵盤216可具有但不限於QWERTY佈置。
如圖3示意性地示出，本原理設想了兩種類型之觸摸，即，「輕」按300(在觸摸板上輕壓或以零壓力懸停在觸摸板之上)，其中顯示裝置212上的螢幕光標被移動到虛擬鍵盤216上的所要位置而不向顯示裝置發送位置資料(即，指示對任何虛擬鍵之選擇的信號)；以及與輕按相比具有更大壓力的「重」按302，響應於此，可移動顯示裝置212上的螢幕光標並且向顯示裝置發送位置資料以指示對虛擬鍵的選擇。以此方式，使用者可將視線自觸摸 板204移開並查看虛擬鍵盤216，同時在觸摸板上移動他或她的手指以將可見螢幕光標移動到虛擬鍵盤上的所要字母，然後重按以選擇那個字母。需注意，可能不在顯示器上呈現單獨的「下一個」字母，而是在使用者已經完成「滑掃」之後顯示下一個「最可能的單詞」。「最熱」鍵(基於熱圖)可突出顯示在虛擬鍵盤及軌跡上。另外，「滑掃」經定義為形成軌跡的持續重按。
圖4示出考慮了上文描述的示例性邏輯。邏輯可由模擬控制器202中的處理器、模擬主控台210中的處理器及顯示裝置212中的處理器中之一者或多者執行。
在狀態400處開始，確定是否已經接收到對觸摸板204的按壓。這可藉由以下方式來達成：確定來自與觸摸板204相關聯之一或多個鄰近感測器的信號是否指示手指懸停在觸摸板204附近，及/或確定來自與觸摸板204相關聯之一或多個壓力感測器的信號是否指示至少第一閾值壓力的壓力。
當確定已經接收到觸摸時，邏輯前進到狀態402以確定觸摸是輕按還是重按，如由來自與觸摸板204相關聯之壓力感測器的信號指示至少閾值壓力的觸摸所指示，該閾值壓力通常設置為大於狀態400處所使用的任何閾值壓力。若觸摸不滿足閾值，則邏輯移動到方塊404以返回輕按。在一些實施方案中，邏輯可前進到狀態406以確定輕按在例如一定時段閾值內(例如，在最後五分鐘內)是否為第一輕按，並且若是，則邏輯可移動到方塊408以 放大顯示器裝置212上虛擬鍵盤216之影像。在任何情況下，邏輯都自狀態406(若測試為否)或自方塊408移動到方塊410以移動螢幕光標而不發送按壓位置資訊。
在另一方面，若在狀態402處，測試確定接收到重按，則在方塊412處返回這種重按，並且可根據觸摸移動螢幕，其中位置資訊被發送以及指示使用者藉助於模擬控制器200之觸摸板204上的重按已選擇的虛擬鍵盤之位置。
圖5示出上文所提及之硬體塊及軟體塊之組合。在觸摸板204中提供一或多個鄰近感測器及/或壓力感測器500以輸出表示輕按502與重按504的信號。輕按502建立手指聚焦點506。重按504在觸摸板上建立如由(多個)感測器500偵測的點。輕按表示光標聚焦點，而「感測器確立點(points by sensor)」意指「藉由感測器發送的連續點」。
在510處，存取下文參照圖6至圖8進一步討論的熱圖演算法以根據重按504輸出字母序列512。將字母序列512與字典514一起輸入到縮減方塊516，該縮減方塊516縮減可能形成字母序列512的校正或完整的候選列表。字典514本質上是可用於校正錯誤鍵入單詞的字典及/或字母序列的詞庫，例如，字典514可響應於「thw」的輸入而將「thw」與「the」相關聯以返回單詞「the」。
將縮減的候選列表516提供給模組518，該模組518輸出預測的網路或單詞以在螢幕上呈現，然後使用 者可選擇預測的網路或單詞來完成他或她的所要輸入而無需鍵入一或多個預測單詞之每個字母。模組518可由如下文進一步描述之一或多個神經網路(NN)建立。為了產生一或多個預測單詞，模組518可自上下文使用者方塊520接收輸入，該上下文使用者方塊520提供使用者所採用的先前單詞串與經推斷為可能是先前輸入之重複的當前輸入，例如，「do you」可能在先前輸入中多次後接「know what I mean」，並且可輸入此資訊以幫助訓練及執行模組518。
此外，類似訓練/執行輔助可輸入到模組518，如圖5之右側所示。具體地，來自其他電腦玩家的查詢及聊天資料522可輸入到基於字符的NN(諸如雙向長短期記憶(BILSTM)524)以學習常用輸入字符串之模式，以便提供給機器學習字符序列模型526。此模型526可輸入到模組518或者可由模組518在顯現之後的一或多個預測單詞時存取。
圖6至圖8B示出圖5中之熱圖演算法510的採用。基本上，跟蹤手指「滑掃」(重按)之「路徑」或「連接點」並且沿滑掃以一定時間間隔對每個字母的概率進行「折扣並累加」。在每個時間間隔，提取具有最高概率的字母，這可能還必須超過特定閾值才能添加到序列中，如下文進一步詳細闡述。
在圖6至圖8B中，應當理解，出於揭露之清楚起見，僅示出QWERTY鍵盤左上角中的前四個字母(即，Q、其旁邊的「W」及其下方自左到右的「A」與 「S」)，但作為虛擬鍵盤216之可能虛擬鍵盤佈置之一個實例。在所示之示例性熱圖510中，用於特定字母之熱圖之每個區域被劃分為3×3網格，總共9個分區(示出為幾何正方形)，其中特定字母之中心分區600指示當光標位於中心區域時那個字母被期望的概率為1。相比之下，熱圖510指示在圍繞字母之中心分區600的邊界分區602中的概率小於1但大於0，其中概率與中心分區600之字母及緊鄰邊界分區602的(多個)字母相關聯(或者，在邊界分區不與另一字母相鄰的情況下，僅中心分區之字母的概率小於1)。
如圖7中700所示，使用輕按來定位預期輸入之起始字母。然後，如圖8中800所示，使用重按來指示對起始字母(在所示實例中為「Q」)的選擇。這導致如下資料之收集：選擇「Q」的概率為1，並且不選擇周圍字母(在所示實例中為「W」、「A」及「S」)，即，選擇周圍字母的概率為0。
圖8A及圖8B示出隨後發生之滑掃之結果。在圖8A中，示出了在802處自圖8中開始的位置到手之影像所指示的位置804的滑掃。在這裡，使用者已經將他的手指移向字母「A」。這導致使用圖8A所示之演算法來根據通過邊界分區602的滑掃路徑累加新熱圖統計值。因為「Q」的概率高於「W」(其為0)、「A」(其為0.3)及「S」(其為0)的概率，所以序列返回「Q」。
圖8B在806處示出滑掃已經繼續進行到手之影像所指示的位置808。這導致使用圖8B所示之演算法來 根據通過邊界分區602的滑掃路徑累加另外的熱圖統計值。因為「A」的概率高於「W」(其為0)、「Q」(其為0.3)及「S」(其為0)的概率，在圖8A中返回「Q」之後序列返回「A」以附加在「Q」之後，自而產生序列「QA」。
因此，現在可以理解，跟蹤手指「滑掃」(重按)之「路徑」或「連接點」並且沿滑掃以一定時間間隔對每個字母的概率進行「折扣並累加」。在每個時間間隔，提取具有最高概率的字母，在一些實施例中，只要字母的概率滿足要添加到序列的閾值概率(例如，0.4)即可。
圖9示出可用於例如圖5之基於NN之模組中之任何者的示例性NN架構。NN之網路900可自熱圖接收具有概率904之輸入字母902，以輸出具有相關聯概率908之時間分佈式預測字母906。在所示實例中，每個字母902可輸入到各別遞歸神經網路(RNN)，諸如一系列長短期記憶(LSTM)910，如圖所示。如圖9右側所示之LSTM 910可包括輸入閘912、遺忘閘914及輸出閘916，其中之全部都可執行如圖9中希臘字母σ所指示的sigmoid函數。輸入閘912控制新值流入單元中的範圍，遺忘閘914控制值保留在單元中的範圍，並且輸出閘916控制用於計算LSTM單元之輸出激活的單元中的值的範圍。
如圖所示，輸入之當前值xi及來自先前迭代之隱藏狀態ht-1經輸入到所有三個閘。輸入閘912之sigmoid函數之輸出可在第一組合運算器920處與雙曲正切函數918 相組合，此可以是逐元素乘積。第一組合運算器920之輸出在第三組合運算器924處與第二組合運算器922之輸出相組合，如視需要藉由求和。第三組合運算器924之輸出可經反饋回第二組合運算器922，以用於與遺忘閘914之輸出相組合。此外，第三組合運算器924之輸出可視需要藉由雙曲正切函數926進行運算，然後在第四組合運算器928處與輸出閘916之輸出相組合，以顯現供後續迭代使用的隱藏狀態向量930。
圖10至圖12示出使用網路900生成預測文字之序列。下排字母1000表示自虛擬鍵盤216之鍵上的重按及/或自對先前預測之字母及/或單詞的選擇接收的輸入。這些經輸入到受訓網路900。使用如1002所示之來自熱圖之與字母關聯的概率，生成下一個預測字母1004並將其反饋給模型。圖10至圖12所示之序列針對目標單詞「PlayStation」的初始輸入「play」生成預測字母。
圖13是符合本原理之示例性邏輯之流程圖。在1300處，對本文所描述之(多個)NN系統進行訓練。移動到方塊1302，在觸摸板上接收到重按，並且在1304處，視需要使用熱圖來基於重按建立字母。在方塊1306處，將字母輸入到NN系統，在方塊1308處，NN系統輸出預測字母或單詞或單詞串。在方塊1310處，將預測字母/單詞呈現在螢幕上。
在狀態1312處，若使用者不接受預測結果，則在狀態1314處將它們自呈現移除。否則，在方塊1316處 確認接受的預測結果，並且在藉由重按建立之字母之後順序地呈現。
本原理可用於所有可能的基於深度學習之方法中，以進行影像、視訊及音訊資料處理等。
自上述詳細描述可以理解，通過本文所描述之技術解決方案，本原理由此改良對神經網路之適應及訓練。
應當理解，雖然已經參照一些示例性實施例描述了本原理，但是這些實施例並非意欲限制，並且各種替代配置可用以實現本文所主張之主題。
10:系統
12:音訊視訊裝置
14:顯示器
16:揚聲器
18:輸入裝置
20:網路介面
22:網路
24:中央處理單元
24a:圖形
25:圖形處理單元
25A:圖形卡
26:輸入埠
26a:電纜或衛星源
28:電腦存儲器
30:GPS接收器/高度計
32:攝影機
34:藍芽收發器
36:近場通信元件
37:輔助感測器
38:無線TV廣播埠
42:紅外線
44:第一消費電子裝置
46:第二消費電子裝置
47:使用者
50:顯示器
52:揚聲器
54:輸入裝置
55:圖形處理單元
55A:圖形卡
56:網路介面
58:消費電子裝置處理器
58a:圖形
60:輸入埠
62:有形電腦可讀儲存媒體
64:GPS接收器/高度計
66:攝影機
68:藍芽收發器
70:近場通信元件
72:輔助感測器
74:氣候感測器
78:紅外線
80:伺服器
82:伺服器處理器
84:有形電腦可讀儲存媒體
86:網路介面

Claims (19)

  1. 一種消費電子設備，包含：至少一個電腦儲存器，該至少一個電腦儲存器並非一暫時信號且包含指令，該等指令能夠由至少一個處理器執行以：接收一電腦模擬控制器之一觸摸板上之一觸摸信號；響應於該觸摸信號指示一第一壓力，移動與該控制器相距一定距離之一顯示器上的一光標且不建立對一字母的一選擇；響應於該觸摸信號指示大於該第一壓力的一第二壓力，建立對一第一字母數字字符的一選擇且在該顯示器上呈現該第一字母數字字符；將該第一字母數字字符輸入到至少一第一神經網路(NN)；及自該第一NN接收包含至少一第一預測字母數字字符的一字母數字字符之預測序列。
  2. 如請求項1之消費電子設備，包含該處理器，其中該處理器實施在該電腦模擬控制器中。
  3. 如請求項1之消費電子設備，包含該處理器，其中該處理器實施在一電腦模擬主控台中，該電腦模擬主控台經組態以用於與該電腦模擬控制器通信。
  4. 如請求項1之消費電子設備，其中該等指令能夠執行以：響應於該觸摸信號指示該第二壓力，移動該顯示器上 的該光標。
  5. 如請求項1之消費電子設備，其中該等指令能夠執行以：響應於該觸摸信號指示該第一壓力，放大該顯示器上之一鍵盤的一影像。
  6. 如請求項1之消費電子設備，其中該等指令能夠執行以：在該顯示器上在該第一字母數字字符旁邊呈現包含至少該第一預測字母數字字符的該字母數字字符之預測序列。
  7. 如請求項1之消費電子設備，其中該第一NN包含複數個長短期記憶(LSTM)網路。
  8. 一種用於消費電子裝置之方法，該方法包含：自一電腦模擬控制器接收一觸摸信號；響應於該觸摸信號指示一第一壓力，移動一顯示器上的一光標；響應於該觸摸信號指示大於該第一壓力的一第二壓力，至少部分使用熱圖統計值，建立至少一第一字母；及在該顯示器上呈現該第一字母。
  9. 一種用於消費電子裝置之方法，該方法包含：自一電腦模擬控制器接收一觸摸信號；響應於該觸摸信號指示一第一壓力，移動一顯示器上 的一光標；響應於該觸摸信號指示大於該第一壓力的一第二壓力，至少部分使用熱圖統計值，建立至少一第一字母；在該顯示器上呈現該第一字母；將該第一字母輸入到至少一第一神經網路(NN)；及在該顯示器上呈現由該第一NN生成的至少一第一預測字母。
  10. 如請求項9之用於消費電子裝置之方法，包含：在該顯示器上呈現包含由該第一NN生成的該第一預測字母的至少一預測字母之序列。
  11. 如請求項9之用於消費電子裝置之方法，包含：使用由一網路上之電腦模擬玩家輸入的文字來訓練該第一NN。
  12. 如請求項11之用於消費電子裝置之方法，其中該訓練包含使用至少一個雙向長短期記憶(LSTM)網路來處理由電腦模擬玩家輸入的該文字。
  13. 如請求項9之用於消費電子裝置之方法，包含：輸入來自一模擬字典的第一NN單詞，該等第一NN單詞能夠由該第一NN使用以生成該第一預測字母。
  14. 如請求項9之用於消費電子裝置之方法，包含： 輸入先前輸入到該電腦模擬控制器的第一NN單詞，該等第一NN單詞能夠由該第一NN使用以生成該第一預測字母。
  15. 如請求項9之用於消費電子裝置之方法，包含：輸入來自一字符序列模型的第一NN資料，該第一NN資料由至少一個雙向長短期記憶(LSTM)網路生成且能夠由該第一NN使用以生成該第一預測字母。
  16. 一種消費電子總成，包含：至少一個電腦模擬控制器；至少一個觸摸板，該至少一個觸摸板由該電腦模擬控制器支援；及至少一個電腦儲存器，該至少一個電腦儲存器包含指令，該等指令能夠由至少一個處理器執行以：響應於該觸摸板上之觸摸輸入，在一顯示器上呈現字母數字字符；及響應於該觸摸板上之該觸摸輸入，至少部分地基於在該顯示器上呈現的該等字母數字字符來在該顯示器上呈現預測字母數字字符。
  17. 如請求項16之消費電子總成，包含：至少一個電腦模擬主控台，該至少一個電腦模擬主控台包含該處理器且經組態以用於與該顯示器及該電腦模擬控制器通信。
  18. 如請求項16之消費電子總成，其中該處 理器實施在該電腦模擬控制器中。
  19. 如請求項16之消費電子總成，其中該處理器實施在至少一個網路伺服器上，該至少一個網路伺服器經組態以用於接收由該觸摸板上之該觸摸輸入生成的信號。
TW109112997A 2019-04-26 2020-04-17 消費電子設備、用於消費電子裝置之方法及消費電子總成 TWI743748B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/396,379 US11554322B2 (en) 2019-04-26 2019-04-26 Game controller with touchpad input
US16/396,379 2019-04-26

Publications (2)

Publication Number Publication Date
TW202121265A TW202121265A (zh) 2021-06-01
TWI743748B true TWI743748B (zh) 2021-10-21

Family

ID=72921126

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109112997A TWI743748B (zh) 2019-04-26 2020-04-17 消費電子設備、用於消費電子裝置之方法及消費電子總成

Country Status (7)

Country Link
US (1) US11554322B2 (zh)
EP (1) EP3959721A4 (zh)
JP (1) JP7315705B2 (zh)
KR (1) KR102416421B1 (zh)
CN (1) CN114072755A (zh)
TW (1) TWI743748B (zh)
WO (1) WO2020219300A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529062B (zh) * 2020-12-04 2021-06-15 齐鲁工业大学 一种基于灵巧手触觉信息的物体分类方法
US20220355211A1 (en) * 2021-05-04 2022-11-10 Sony Interactive Entertainment Inc. Controller action recognition from video frames using machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100302190A1 (en) * 2009-06-02 2010-12-02 Elan Microelectronics Corporation Multi-functional touchpad remote controller
US20120113008A1 (en) * 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
US20180267761A1 (en) * 2017-03-17 2018-09-20 Dell Products L.P. Information Handling System Management of Virtual Input Device Interactions
TW201908955A (zh) * 2017-07-13 2019-03-01 宏碁股份有限公司 電子裝置、感測儲存裝置及其操作方法

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680510A (en) 1995-01-26 1997-10-21 Apple Computer, Inc. System and method for generating and using context dependent sub-syllable models to recognize a tonal language
US7171498B2 (en) * 2003-01-09 2007-01-30 Sony Computer Entertainment America Inc. Alphanumeric keyboard input system using a game controller
US7619616B2 (en) * 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
US20090213081A1 (en) 2007-01-10 2009-08-27 Case Jr Charlie W Portable Electronic Device Touchpad Input Controller
US8065624B2 (en) * 2007-06-28 2011-11-22 Panasonic Corporation Virtual keypad systems and methods
US8542927B2 (en) 2008-06-26 2013-09-24 Microsoft Corporation Character auto-completion for online east asian handwriting input
US20100138221A1 (en) 2008-12-02 2010-06-03 Boys Donald R Dedicated hardware/software voice-to-text system
KR101553629B1 (ko) 2009-05-06 2015-09-17 삼성전자주식회사 인터페이스 제공 방법
KR101597553B1 (ko) 2009-05-25 2016-02-25 엘지전자 주식회사 기능 실행 방법 및 그 장치
JP5278259B2 (ja) 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
US8754746B2 (en) 2009-11-16 2014-06-17 Broadcom Corporation Hand-held gaming device that identifies user based upon input from touch sensitive panel
US9104312B2 (en) 2010-03-12 2015-08-11 Nuance Communications, Inc. Multimodal text input system, such as for use with touch screens on mobile phones
US20170017393A1 (en) 2010-04-23 2017-01-19 Handscape Inc., A Delaware Corporation Method for controlling interactive objects from a touchpad of a computerized device
JP5731281B2 (ja) 2011-05-31 2015-06-10 Kddi株式会社 文字入力装置およびプログラム
US9262076B2 (en) 2011-09-12 2016-02-16 Microsoft Technology Licensing, Llc Soft keyboard interface
US9377863B2 (en) * 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
JP5852930B2 (ja) 2012-06-29 2016-02-03 Kddi株式会社 入力文字推定装置およびプログラム
US8997013B2 (en) 2013-05-31 2015-03-31 Google Inc. Multiple graphical keyboards for continuous gesture input
US20150019539A1 (en) * 2013-07-15 2015-01-15 Blackberry Limited Methods and devices for providing a text prediction
KR101515454B1 (ko) * 2013-08-23 2015-04-30 전자부품연구원 듀얼 터치패드를 구비하는 리모콘 및 그를 이용한 제어 방법
US9626354B2 (en) 2014-01-21 2017-04-18 Lenovo (Singapore) Pte. Ltd. Systems and methods for using tone indicator in text recognition
CN112651288B (zh) 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
US9678664B2 (en) * 2015-04-10 2017-06-13 Google Inc. Neural network for keyboard input decoding
US10282090B2 (en) * 2015-09-30 2019-05-07 Apple Inc. Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones
US11068660B2 (en) 2016-01-26 2021-07-20 Koninklijke Philips N.V. Systems and methods for neural clinical paraphrase generation
US10275023B2 (en) * 2016-05-05 2019-04-30 Google Llc Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality
US20180018086A1 (en) 2016-07-14 2018-01-18 Google Inc. Pressure-based gesture typing for a graphical keyboard
US10855550B2 (en) 2016-11-16 2020-12-01 Cisco Technology, Inc. Network traffic prediction using long short term memory neural networks
US10146768B2 (en) * 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
WO2018194569A1 (en) * 2017-04-18 2018-10-25 Hewlett-Packard Development Company, L.P. Virtual input devices for pressure sensitive surfaces
US11087210B2 (en) 2017-08-18 2021-08-10 MyFitnessPal, Inc. Context and domain sensitive spelling correction in a database
CN109002186B (zh) * 2018-06-28 2020-12-25 北京金山安全软件有限公司 一种输入预测方法及装置
US20200019609A1 (en) * 2018-07-13 2020-01-16 Asapp, Inc. Suggesting a response to a message by selecting a template using a neural network
US11216510B2 (en) * 2018-08-03 2022-01-04 Asapp, Inc. Processing an incomplete message with a neural network to generate suggested messages
CN109493977B (zh) * 2018-11-09 2020-07-31 天津新开心生活科技有限公司 文本数据处理方法、装置、电子设备及计算机可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100302190A1 (en) * 2009-06-02 2010-12-02 Elan Microelectronics Corporation Multi-functional touchpad remote controller
US20120113008A1 (en) * 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
US20180267761A1 (en) * 2017-03-17 2018-09-20 Dell Products L.P. Information Handling System Management of Virtual Input Device Interactions
TW201908955A (zh) * 2017-07-13 2019-03-01 宏碁股份有限公司 電子裝置、感測儲存裝置及其操作方法

Also Published As

Publication number Publication date
JP2022529856A (ja) 2022-06-24
US11554322B2 (en) 2023-01-17
KR102416421B1 (ko) 2022-07-04
EP3959721A4 (en) 2023-01-18
US20200338445A1 (en) 2020-10-29
EP3959721A1 (en) 2022-03-02
WO2020219300A1 (en) 2020-10-29
JP7315705B2 (ja) 2023-07-26
KR20200125514A (ko) 2020-11-04
TW202121265A (zh) 2021-06-01
CN114072755A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
TWI743748B (zh) 消費電子設備、用於消費電子裝置之方法及消費電子總成
JP7277611B2 (ja) テキスト類似性を使用した視覚的タグのサウンドタグへのマッピング
US20220277438A1 (en) Recommendation engine for comparing physical activity to ground truth
US20220258045A1 (en) Attention-based ai determination of player choices
US10915945B2 (en) Method and apparatuses for intelligent TV startup based on consumer behavior and real time content availability
US20190018551A1 (en) Presenting audio video display options as list or matrix
US11445269B2 (en) Context sensitive ads
US20180081484A1 (en) Input method for modeling physical objects in vr/digital
US11402917B2 (en) Gesture-based user interface for AR and VR with gaze trigger
US20220355211A1 (en) Controller action recognition from video frames using machine learning
US11474620B2 (en) Controller inversion detection for context switching
JP7462069B2 (ja) 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択
US11553020B2 (en) Using camera on computer simulation controller
US20210200373A1 (en) Microphone on controller with touchpad to take in audio swipe feature data
WO2024081568A1 (en) Group control of computer game using aggregated area of gaze
US20210121784A1 (en) Like button