TW201604719A - 智能設備的控制方法及裝置 - Google Patents

智能設備的控制方法及裝置 Download PDF

Info

Publication number
TW201604719A
TW201604719A TW104102872A TW104102872A TW201604719A TW 201604719 A TW201604719 A TW 201604719A TW 104102872 A TW104102872 A TW 104102872A TW 104102872 A TW104102872 A TW 104102872A TW 201604719 A TW201604719 A TW 201604719A
Authority
TW
Taiwan
Prior art keywords
image
button
image information
correspondence
module
Prior art date
Application number
TW104102872A
Other languages
English (en)
Other versions
TWI675314B (zh
Inventor
Wei Peng
Cheng Chen
Original Assignee
Alibaba Group Services Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Services Ltd filed Critical Alibaba Group Services Ltd
Publication of TW201604719A publication Critical patent/TW201604719A/zh
Application granted granted Critical
Publication of TWI675314B publication Critical patent/TWI675314B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申請案提出一種智慧設備的控制方法及裝置。其中，該方法包括：接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；根據按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取操控裝置被觸發按鍵對應的圖像資訊；根據圖像資訊從目前顯示的視圖中確定匹配的圖像；以及對匹配的圖像類比點擊事件。本申請案實施例的智慧設備的控制方法及裝置，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本。

Description

智能設備的控制方法及裝置
本申請案係有關智慧設備技術領域，尤其有關一種智慧設備的控制方法及裝置。
目前，大多數應用程式(APP,APPlication)例如遊戲是基於觸摸屏智慧手機或者個人數位助理(PDA,Personal Digital Assistant)所開發的，通常這些遊戲所採用的對話模式為螢幕觸摸方式，如果將這些支援螢幕觸摸方式的遊戲移植到智慧電視中運行，則需要使用遊戲手柄進行操作，然而，現有的可在智慧手機或者PAD上透過觸摸方式操作的遊戲不支援其他方式的操作，用戶無法將支援觸摸方式的遊戲移植到智慧電視中。
目前，可透過修改遊戲源代碼的方式，更改遊戲的操作方式，使得遊戲可以支援遊戲手柄的操作方式，這就需要對所有的螢幕觸摸方式的遊戲的源代碼進行修改，這種方式不僅工作量大，而且開發成本高。
本申請案旨在至少在一定程度上解決相關技術中的技術問題之一。
為此，本申請案的第一個目的在於提出一種智慧設備的控制方法，該方法可解決移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本。
本申請案的第二個目的在於提出一種智慧設備的控制裝置。
為達上述目的，本申請案第一態樣實施例提出了一種智慧設備的控制方法，包括：接收所述智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；根據所述按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取所述操控裝置被觸發按鍵對應的圖像資訊；根據所述圖像資訊從目前顯示的視圖中確定匹配的圖像；以及對所述匹配的圖像類比點擊事件。
本申請案實施例的智慧設備的控制方法，根據智慧設備的操控裝置發送的被觸發按鍵的按鍵信號從預先保存的按鍵與圖像資訊的對應關係中獲取操控裝置被觸發按鍵對應的圖像資訊，並根據圖像資訊從目前顯示的視圖中確定匹配的圖像，以及對匹配的圖像類比點擊事件，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本，使用戶可以透過操控裝置操控APP。
為達上述目的，本申請案第二態樣實施例提出了一種 智慧設備的控制裝置，包括：接收模組，用以接收所述智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；獲取模組，用以根據所述按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取所述操控裝置被觸發按鍵對應的圖像資訊；確定模組，用以根據所述圖像資訊從目前顯示的視圖中確定匹配的圖像；以及點擊模組，用以對所述匹配的圖像類比點擊事件。
本申請案實施例的智慧設備的控制裝置，透過接收模組接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號，獲取模組根據鍵信號從預先保存的按鍵與圖像資訊的對應關係中獲取被觸發按鍵對應的圖像資訊，確定模組根據圖像資訊從目前顯示的視圖中確定匹配的圖像，以及點擊模組對匹配的圖像類比點擊事件，由此，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本，使用戶可以透過操控裝置來操控APP。
100‧‧‧接收模組
200‧‧‧獲取模組
300‧‧‧確定模組
400‧‧‧點擊模組
500‧‧‧顯示處理模組
600‧‧‧回應模組
圖1是本申請案一個實施例的智慧設備的控制方法的流程圖。
圖2是本申請案一個實施例的智慧設備中應用程式的介面的示意圖。
圖3a是本申請案一個實施例的引導介面中按鍵與圖像資訊對應關係的示意圖一。
圖3b是本申請案一個實施例的引導介面中按鍵與圖像資訊對應關係的示意圖二。
圖4是本申請案一個實施例的智慧設備的控制裝置的結構示意圖。
圖5是本申請案另一個實施例的智慧設備的控制裝置的結構示意圖。
下面詳細描述本申請案的實施例，所述實施例的示例在附圖中示出，其中，自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面透過參考附圖描述的實施例是示例性的，旨在用來解釋本申請案，而不能理解為對本申請案的限制。
下面參考附圖來描述本申請案實施例的智慧設備的控制方法及裝置。
圖1是本申請案一個實施例的智慧設備的控制方法的流程圖，如圖1所示，該方法包括：
S101，接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號。
在該實施例中，以智慧設備為智慧電視為例進行描述，其中，智慧電視的系統可為安卓(Android)系統，還可為互聯網作業系統IOS(Internetwork Operating System)，對於智慧電視的作業系統該實施例不做限定。
上述操控裝置為可對智慧設備進行控制的裝置，並且 控制裝置中包含多個按鍵，每個按鍵對應著不同的按鍵值。具體地說，監控智慧設備的操控裝置中的按鍵是否被觸發，若監控到操控裝置中的按鍵被觸發，則接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號。
例如，用戶在智慧電視中玩一款如圖2所示的遊戲時，操控裝置可為遊戲手柄，其中，遊戲手柄中包含A、B、X、Y、上、下、左、右等按鍵，若用戶觸發遊戲手柄上的按鍵比如按鍵A，則接收遊戲手柄發送的被觸發按鍵A對應的按鍵信號。
S102，根據按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取操控裝置被觸發按鍵對應的圖像資訊。
其中，保存的按鍵與圖像資訊的對應關係可以與應用程式APP(APPlication)的標識對應，也就是說，不同的應用程式對應著不同的按鍵與圖像資訊的對應關係，透過應用程式的標識可對不同應用程式所對應的按鍵與圖像資訊的對應關係進行區別。
具體地說，在接收到智慧設備的操控裝置發送的被觸發按鍵的按鍵信號後，可獲取智慧設備目前顯示的畫面對應的應用程式APP的標識，並根據應用程式的標識，從與標識對應的對應關係即從預先保存的按鍵與圖像資訊的對應關係中，獲取操控裝置被觸發按鍵對應的圖像資訊。
為了可以從預先保存的按鍵與圖像資訊的對應關係中獲取操控裝置被觸發按鍵對應的圖像資訊，還可以對按鍵 與圖像資訊的對應關係進行預先保存，具體地說，可在智慧設備上顯示設置對應關係的引導介面，用戶可根據引導頁面中的提示選擇圖像對應的按鍵，用戶選擇圖像與按鍵的對應關係的方式包括：接收用戶對引導介面上選擇的圖像輸入的按鍵，並保存該按鍵和圖像的圖像資訊的對應關係。需要說明的是，接收用戶對引導介面上選擇的圖像輸入的按鍵時，還可以獲得目前引導介面對應的應用程式的標識，並在保存按鍵和圖像的圖像資訊的對應關係時，保存目前應用程式的標識。
若圖像資訊中僅包含特徵圖像，在保存按鍵和特徵圖像的對應關係之前，還可基於不同的特徵提取方式從目前APP中提出對應的特徵圖像，並將按鍵和特徵圖像的對應關係進行保存。
若圖像資訊中包括特徵圖像及特徵圖像在智慧設置螢幕的位置資訊，在保存按鍵和特徵圖像在智慧設置螢幕的位置資訊的對應關係之前，還可基於不同的特徵提取方式從目前APP中提取特徵圖像及特徵圖像在智慧設備螢幕中的位置資訊。
下面以一個具體的實現方案對提取特徵圖像及特徵圖像在智慧設備螢幕的位置資訊的過程進行說明。
以圖2所示的智慧電視中的遊戲為例，若圖2中的導彈為特徵圖像，並且用戶選擇該特徵圖像對應的按鍵為按鍵A，在提取特徵圖像與特徵圖像在智慧設備的位置資訊時，可截取一幀包含圖2所示的導彈的圖像，並根據該幀 圖像截取出導彈所對應的位置資訊，在獲得特徵圖像及特徵圖像在智慧電視中的位置資訊後，可將按鍵A對應的鍵值、導彈和導彈在智慧電視中的位置資訊的一一對應關係進行保存，進一步而言可將上述一一對應關係保存在網路資料庫中，並且在保存時還需要保存該遊戲所對應的標識，由此，使得用戶可根據自己的愛好和使用習慣設置按鍵與圖像的對應關係，提高了用戶的體驗度。
在該實施例中，建立對應關係的圖像可以選擇能夠響應點擊事件的控制項物件對應的圖像，例如，圖2中導彈圖像為一個可響應點擊事件的控制項物件，亦即，當用戶點擊該導彈圖示時，可觸發相應的功能。在一個具體的實施方式中，為了建立按鍵與控制項物件對應的圖像的對應關係，在保存按鍵與圖像的圖像資訊的對應關係之前，還可以包括建立圖像資訊與能夠回應點擊事件的控制項物件之間的對應關係，透過建立圖像資訊與能夠回應點擊事件的控制項物件之間的對應關係，可使得在圖像資訊上有點擊操作時，可對與該圖像資訊對應的控制物件類比點擊事件。
另外，在該實施例中，在用戶保存按鍵與圖像資訊的對應關係之後，在獲取操控裝置被觸發按鍵對應的圖像資訊之前，還可以包括：顯示設置對應關係的引導介面，引導介面包括按鍵與圖像資訊的初始對應關係，接收用戶對初始對應關係的修改指令，並保存修改後的按鍵和圖像的圖像資訊的對應關係。其中，該初始對應關係可以是系統 自動產生的對應關係，也可以是已被用戶修改過的對應關係。
具體地說，當用戶在引導介面上輸入如圖3a所示的按鍵和圖像資訊的一一對應關係之後，如果用戶在使用操作裝置控制應用程式APP的過程中，發現設置的按鍵與圖像資訊的對應關係有些不符合自己的使用習慣，用戶還可根據需要修改按鍵與圖像資訊的對應關係，例如，用戶將圖像與按鍵設置為如圖3a所示的對應關係，若用戶在使用的過程中，發現圖像A用按鍵B，圖像B用戶按鍵A控制更舒服一些，此時，用戶可透過對應關係的引導頁面將圖像A對應的按鍵A修改為按鍵B，圖像B對應的按鍵B修改為按鍵A，用戶修改後的按鍵和圖像資訊一一對應關係如圖3b所示，由此，使得用戶可根據使用習慣修改按鍵與圖像區域的對應關係，提高了用戶的體驗度。
S103，根據圖像資訊從目前顯示的視圖中確定匹配的圖像。
具體地說，若圖像資訊包括特徵圖像，此時可根據特徵圖像從目前顯示的視圖中確定出與特徵圖像匹配的圖像。例如，可透過圖像識別的方法從目前顯示的視圖中識別出與特徵圖像匹配的圖像。
若圖像資訊包括特徵圖像以及特徵圖像在智慧設備螢幕中的位置資訊，則可根據位置資訊獲取智慧設備目前顯示的視圖中對應位置的圖像，然後確定獲取到的圖像中與特徵圖像匹配的圖像。
具體地說，可根據特徵圖像在智慧設備中的位置資訊截取出智慧設備目前顯示的視圖中對應位置的圖像，並在截取出對應位置的圖像後，可利用相似性度量演算法計算圖像與特徵圖像之間的相似性，其中，相似性度量演算法可以包括互相關匹配演算法，互相關匹配演算法是一種經典的匹配演算法，它透過計算特徵圖像和目前畫面中截取出的圖像之間的互相關度量值來確定二者的匹配程度，即透過互相關度量值的大小來確定特徵圖像與目前畫面截取的圖像之間的相似程度，互相關度量值越大表示兩個圖像相似度越高。
在該實施例中，我們用NC(i,j)表示互相關度量值，其中，i表示從目前圖像中截取出的圖像，j表示特徵圖像，計算互相關度量值NC(i,j)的公式如下：
其中，T(m,n)為特徵圖像的第m行，第n列的圖元值；S(m,n)為截取出的圖像的第m行，第n列的圖元值。
在獲得特徵圖像與從目前畫面中截取出的圖像之間的互相關度量值NC(i,j)後，如果計算出的互相關度量值NC(i,j)大於預設閾值例如0.8，則確定獲得到的圖像與特徵圖像匹配。
S104，對匹配的圖像類比點擊事件。
具體地說，在確定出與特徵圖像匹配的圖像後，可對 匹配的圖像類比單擊或者雙擊事件，即對能夠類比點擊事件的控制項物件類比單擊或者雙擊事件，並且在模擬點擊之後，回應對應的單擊或者雙擊事件。
例如，智慧電視上顯示如圖2所示的一款飛行遊戲的畫面，遊戲手柄上包含按鍵A、B、X、Y、上、下、左、右等，其中，畫面右側的導彈的功能是對飛行器進行加速，若用戶在智慧電視上顯示如圖2所示的畫面時，按下與飛行遊戲的右側導彈在手柄上對應的按鍵A，若確定出從智慧電視的目前顯示的視圖中截取到的圖像與按鍵A對應的特徵圖像相似度大於0.8，則對截取到的圖像類比點擊事件，即對飛行器相對應的能夠類比點擊事件的控制項物件類比點擊事件，並根據該圖像對應的功能回應點擊事件即對圖2中的飛行器進行加速。
上述智慧設備的控制方法實施例，根據智慧設備的操控裝置發送的被觸發按鍵的按鍵信號從預先保存的按鍵與圖像資訊的對應關係中獲取操控裝置被觸發按鍵對應的圖像資訊，並根據圖像資訊從目前顯示的視圖中確定匹配的圖像，以及對匹配的圖像類比點擊事件，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本，使用戶可以透過操控裝置操控APP。
為了實現上述實施例，本申請案還提出一種智慧設備的控制裝置。
圖4是本申請案一個實施例的智慧設備的控制裝置的 結構示意圖，如圖4所示，該裝置包括：接收模組100、獲取模組200、確定模組300和點擊模組400。其中：
接收模組100用以接收上述智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；獲取模組200用以根據上述按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取上述操控裝置被觸發按鍵對應的圖像資訊；確定模組300用以根據上述圖像資訊從目前顯示的視圖中確定匹配的圖像；以及點擊模組400用以對上述匹配的圖像類比點擊事件。
在該實施例中，以智慧設備為智慧電視為例進行描述，其中，智慧電視的系統可為安卓(Android)系統，還可為互聯網作業系統IOS(Internetwork Operating System)，對於智慧電視的作業系統該實施例不做限定。
上述操控裝置為可對智慧設備進行控制的裝置，並且控制裝置中包含多個按鍵，每個按鍵對應這不同的按鍵值。具體地說，監控智慧設備的操控裝置中的按鍵是否被觸發，若監控到操控裝置中的按鍵被觸發，則接收模組100接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號。
上述對應關係與應用程式APP的標識對應，上述獲取模組200具體用以：獲取上述智慧設備目前顯示的畫面對應的APP的標識，並根據上述標識，從與上述標識對應的對應關係即從預先保存的按鍵與圖像資訊的對應關係中，獲取上述被觸發按鍵對應的圖像資訊。
在上述圖像資訊包括特徵圖像時，上述確定模組300具體用以：根據上述特徵圖像，從目前顯示的視圖中確定出與上述特徵圖像匹配的圖像。
在上述圖像資訊包括特徵圖像以及上述特徵圖像在智慧設備螢幕中的位置資訊時，上述確定模組300具體用以：根據上述位置資訊獲取上述智慧設備目前顯示的視圖中對應位置的圖像；確定獲取到的圖像中與上述特徵圖像匹配的圖像。
為了用戶可以從預先保存的按鍵與圖像資訊的對應關係中獲取操控裝置被觸發按鍵對應的圖像資訊，如圖5所示，上述裝置還可以包括顯示處理模組500，該顯示處理模組500用以在上述獲取模組200獲取上述操控裝置被觸發按鍵對應的圖像資訊之前，顯示設置上述對應關係的引導介面，接收上述用戶對上述引導介面上選擇的圖像輸入的按鍵，保存上述按鍵和上述圖像的圖像資訊的對應關係；或，顯示設置上述對應關係的引導介面，上述引導介面包括按鍵與圖像資訊的初始對應關係，接收上述用戶對上述初始對應關係的修改指令，並保存修改後的上述按鍵和上述圖像的圖像資訊的對應關係。透過顯示處理模組500可方便用戶根據自己的需要設置或者修改按鍵與圖像的圖像資訊的對應關係，滿足了用戶的個性化需求。其中，該初始對應關係可以是系統自動產生的對應關係，也可以是已被用戶修改過的對應關係。
若圖像資訊中僅包含特徵圖像，在顯示處理模組500 保存按鍵和特徵圖像的對應關係之前，還可基於不同的特徵提取方式從目前APP中提出對應的特徵圖像，並將按鍵和特徵圖像的對應關係進行保存。
若圖像資訊中包括特徵圖像及特徵圖像在智慧設置螢幕的位置資訊，在保存按鍵和特徵圖像在智慧設置螢幕的位置資訊的對應關係之前，還可基於不同的特徵提取方式從目前APP中提取特徵圖像及特徵圖像在智慧設備螢幕中的位置資訊。
需要說明的是，顯示處理模組500在保存按鍵與圖像資訊的對應關係時，還可以獲得目前引導介面對應的應用程式的標識，並在保存按鍵和圖像的圖像資訊的對應關係時，保存目前應用程式的標識，透過保存應用程式的標識以對不同應用程式的按鍵與圖像資訊的對應關係進行區別。
上述對應關係中的圖像資訊對應的圖像包括：能夠響應點擊事件的控制項物件對應的圖像。
上述點擊模組400具體用以：對上述控制項物件類比點擊事件。
另外，上述裝置還可以包括回應模組600，回應模組600用以在上述點擊模組400對上述匹配的圖像類比點擊事件之後，回應上述點擊事件。
包含接收模組100、獲取模組200、確定模組300和點擊模組400的智慧設備的控制裝置控制智慧設備的過程可參見圖1，此處不贅述。
上述智慧設備的控制裝置實施例，透過接收模組接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號，獲取模組根據鍵信號從預先保存的按鍵與圖像資訊的對應關係中獲取被觸發按鍵對應的圖像資訊，確定模組根據圖像資訊從目前顯示的視圖中確定匹配的圖像，以及點擊模組對匹配的圖像類比點擊事件，由此，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本，使用戶可以透過操控裝置操控APP。
在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本申請案的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不必須針對的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結合。此外，在不相互矛盾的情況下，本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特徵進行結合和組合。
此外，術語“第一”、“第二”僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有“第一”、“第二”的特徵可以明示或者隱含地包括至少一個該特徵。在本申請案的描述中，“多個”的含義是至少兩個，例如兩個，三個等，除非 另有明確具體的限定。
流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用來實現特定邏輯功能或過程的步驟的可執行指令的代碼的模組、片段或部分，並且本申請案的較佳實施方式的範圍包括另外的實現，其中，可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，以執行功能，這應被本申請案的實施例所屬技術領域的技術人員所理解。
在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用來實現邏輯功能的可執行指令的定序列表，可以具體實現在任何電腦可讀媒體中，以供指令執行系統、裝置或設備(如基於電腦的系統、包括處理器的系統或其他可以從指令執行系統、裝置或設備取指令並執行指令的系統)使用，或結合這些指令執行系統、裝置或設備而使用。就本說明書而言，"電腦可讀媒體"可以是任何可以包含、儲存、通信、傳播或傳輸程式以供指令執行系統、裝置或設備或結合這些指令執行系統、裝置或設備而使用的裝置。電腦可讀媒體的更具體的示例(非窮盡性列表)包括以下：具有一個或多個佈線的電連接部(電子裝置)，可攜式電腦盤盒(磁裝置)，隨機存取記憶體(RAM)，唯讀記憶體(ROM)，可擦除可編輯唯讀記憶體(EPROM或閃速記憶體)，光纖裝置，以及可攜式光碟唯讀記憶體(CDROM)。另外，電 腦可讀媒體甚至可以是可在其上列印所述程式的紙或其他合適的媒體，因為可以例如透過對紙或其他媒體進行光學掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程式，然後將其儲存在電腦記憶體中。
應當理解，本申請案的各部分可以用硬體、軟體、韌體或它們的組合來予以實現。在上述實施方式中，多個步驟或方法可以用儲存在記憶體中且由合適的指令執行系統執行的軟體或固件來予以實現。例如，如果用硬體來予以實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來予以實現：具有用以對資料信號實現邏輯功能的邏輯閘電路的離散邏輯電路，具有合適的組合邏輯閘電路的專用積體電路，可編程閘陣列(PGA)，現場可編程閘陣列(FPGA)等。
本技術領域的普通技術人員可以理解實現上述實施例方法攜帶的全部或部分步驟是可以透過程式來指令相關的硬體完成，所述的程式可以被儲存於一種電腦可讀儲存媒體中，該程式在執行時，包括方法實施例的步驟之一或其組合。
此外，在本申請案各個實施例中的各功能單元可以集成在一個處理模組中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。所述集成的模組如果以軟體功能模組的 形式實現並作為獨立的產品銷售或使用時，也可以被儲存在一個電腦可讀取存儲媒體中。
上述提到的儲存媒體可以是唯讀記憶體，磁片或光碟等。儘管上面已經示出和描述了本申請案的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本申請案的限制，本領域的普通技術人員在本申請案的範圍內可以對上述實施例進行變化、修改、替換和變型。

Claims (18)

  1. 一種智慧設備的控制方法，其特徵在於，包括：接收該智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；根據該按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取該操控裝置被觸發按鍵對應的圖像資訊；根據該圖像資訊從目前顯示的視圖中確定匹配的圖像；以及對該匹配的圖像類比點擊事件。
  2. 根據申請專利範圍第1項所述的方法，其中，該圖像資訊包括特徵圖像；該根據該圖像資訊從目前顯示的視圖中確定匹配的圖像，包括：根據該特徵圖像，從目前顯示的視圖中確定出與該特徵圖像匹配的圖像。
  3. 根據申請專利範圍第1項所述的方法，其中，該圖像資訊包括特徵圖像以及該特徵圖像在智慧設備螢幕中的位置資訊；該根據該圖像資訊從目前顯示的視圖中確定匹配的圖像，包括：根據該位置資訊獲取該智慧設備目前顯示的視圖中對應位置的圖像；確定獲取到的圖像中與該特徵圖像匹配的圖像。
  4. 根據申請專利範圍第1或2或3項所述的方法，其中，該對應關係與應用程式APP的標識對應；該從預先保存的按鍵與圖像資訊的對應關係中，獲取 該操控裝置被觸發按鍵對應的圖像資訊，包括：獲取該智慧設備目前顯示的畫面對應的APP的標識，並根據該標識，從與該標識對應的對應關係中，獲取該被觸發按鍵對應的圖像資訊。
  5. 根據申請專利範圍第1或2或3項所述的方法，其中，在該獲取該操控裝置被觸發按鍵對應的圖像資訊之前，還包括：顯示設置該對應關係的引導介面，接收該用戶對該引導介面上選擇的圖像輸入的按鍵，保存該按鍵和該圖像的圖像資訊的對應關係；或顯示設置該對應關係的引導介面，該引導介面包括按鍵與圖像資訊的初始對應關係，接收該用戶對該初始對應關係的修改指令，並保存修改後的該按鍵和該圖像的圖像資訊的對應關係。
  6. 根據申請專利範圍第5項所述的方法，其中，該對應關係中的圖像資訊對應的圖像包括：能夠響應點擊事件的控制項物件對應的圖像。
  7. 根據申請專利範圍第6項所述的方法，其中，該對該匹配的圖像類比點擊事件，包括：對該控制項物件類比點擊事件。
  8. 根據申請專利範圍第1項所述的方法，其中，該對該匹配的圖像類比點擊事件之後，還包括：回應該點擊事件。
  9. 根據申請專利範圍第7項所述的方法，其中，該對 該匹配的圖像類比點擊事件之後，還包括：回應該點擊事件。
  10. 一種智慧設備的控制裝置，其特徵在於，包括：接收模組，用以接收該智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；獲取模組，用以根據該按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取該操控裝置被觸發按鍵對應的圖像資訊；確定模組，用以根據該圖像資訊從目前顯示的視圖中確定匹配的圖像；以及點擊模組，用以對該匹配的圖像類比點擊事件。
  11. 根據申請專利範圍第10項所述的裝置，其中，該圖像資訊包括特徵圖像；該確定模組，具體用以：根據該特徵圖像，從目前顯示的視圖中確定出與該特徵圖像匹配的圖像。
  12. 根據申請專利範圍第10項所述的裝置，其中，該圖像資訊包括特徵圖像以及該特徵圖像在智慧設備螢幕中的位置資訊；該確定模組，具體用以：根據該位置資訊獲取該智慧設備目前顯示的視圖中對應位置的圖像；確定獲取到的圖像中與該特徵圖像匹配的圖像。
  13. 根據申請專利範圍第10或11或12項所述的裝置，其中，該對應關係與應用程式APP的標識對應；該獲取模組，具體用於： 獲取該智慧設備目前顯示的畫面對應的APP的標識，並根據該標識，從與該標識對應的對應關係中，獲取該被觸發按鍵對應的圖像資訊。
  14. 根據申請專利範圍第10或11或12項所述的裝置，其中，還包括：顯示處理模組，用以在該獲取模組獲取該操控裝置被觸發按鍵對應的圖像資訊之前，顯示設置該對應關係的引導介面，接收該用戶對該引導介面上選擇的圖像輸入的按鍵，保存該按鍵和該圖像的圖像資訊的對應關係；或，顯示設置該對應關係的引導介面，該引導介面包括按鍵與圖像資訊的初始對應關係，接收該用戶對該初始對應關係的修改指令，並保存修改後的該按鍵和該圖像的圖像資訊的對應關係。
  15. 根據申請專利範圍第14項所述的裝置，其中，該對應關係中的圖像資訊對應的圖像包括：能夠響應點擊事件的控制項物件對應的圖像。
  16. 根據申請專利範圍第15項所述的裝置，其中，該點擊模組，具體用於：對該控制項物件類比點擊事件。
  17. 根據申請專利範圍第10項所述的裝置，其中，還包括：回應模組，用以在該點擊模組對該匹配的圖像類比點擊事件之後，回應該點擊事件。
  18. 根據申請專利範圍第16項所述的裝置，其中，還包括： 回應模組，用以在該點擊模組對該匹配的圖像類比點擊事件之後，回應該點擊事件。
TW104102872A 2014-07-16 2015-01-28 智慧設備的控制方法及裝置 TWI675314B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201410339814.8 2014-07-16
CN201410339814.8A CN105335136B (zh) 2014-07-16 2014-07-16 智能设备的控制方法及装置

Publications (2)

Publication Number Publication Date
TW201604719A true TW201604719A (zh) 2016-02-01
TWI675314B TWI675314B (zh) 2019-10-21

Family

ID=55074576

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104102872A TWI675314B (zh) 2014-07-16 2015-01-28 智慧設備的控制方法及裝置

Country Status (5)

Country Link
US (1) US10101827B2 (zh)
CN (1) CN105335136B (zh)
HK (1) HK1219157A1 (zh)
TW (1) TWI675314B (zh)
WO (1) WO2016011027A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106775701B (zh) * 2016-12-09 2021-02-05 武汉中软通证信息技术有限公司 一种客户端自动取证方法和系统
CN107368298B (zh) * 2017-06-22 2020-09-11 努比亚技术有限公司 一种文本控件模拟触控方法、终端及计算机可读存储介质
CN108932090A (zh) * 2018-05-29 2018-12-04 北京小米移动软件有限公司 终端控制方法、装置和存储介质
CN109240759A (zh) * 2018-08-01 2019-01-18 Oppo广东移动通信有限公司 应用程序启动方法、装置、终端设备和可读存储介质
CN111273971B (zh) * 2018-12-04 2022-07-29 腾讯科技（深圳）有限公司 视图中的信息处理方法、装置及存储介质
CN209475544U (zh) * 2019-01-23 2019-10-11 深圳市利达成科技有限公司 同步配置的控制电路及处理器
CN109568945A (zh) * 2019-01-23 2019-04-05 深圳市利达成科技有限公司 同步配置的方法、同步配置的装置、存储介质和处理器
CN110187953A (zh) * 2019-06-05 2019-08-30 北京视游互动科技有限公司 一种应用程序的运行方法及装置
US11445107B2 (en) * 2019-08-08 2022-09-13 Qorvo Us, Inc. Supervised setup for control device with imager
CN111124152A (zh) * 2019-12-26 2020-05-08 厦门市美亚柏科信息股份有限公司 一种移动智能终端屏幕的操控器
CN114089906A (zh) * 2021-11-08 2022-02-25 百度在线网络技术（北京）有限公司 智能镜的控制方法、装置、设备、存储介质以及智能镜
CN114347788B (zh) * 2021-11-30 2023-10-13 岚图汽车科技有限公司 一种基于面向服务的智能座舱人机交互按键控制系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788880B1 (en) 1998-04-16 2004-09-07 Victor Company Of Japan, Ltd Recording medium having a first area for storing an audio title set and a second area for storing a still picture set and apparatus for processing the recorded information
WO2002005081A1 (en) 2000-05-11 2002-01-17 Nes Stewart Irvine Zeroclick
GB0123793D0 (en) * 2001-10-04 2001-11-21 Pace Micro Tech Plc STB web browser fast link selection
US7224903B2 (en) 2001-12-28 2007-05-29 Koninklijke Philips Electronics N. V. Universal remote control unit with automatic appliance identification and programming
US7653212B2 (en) * 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
US8775964B2 (en) 2005-03-23 2014-07-08 Core Wireless Licensing, S.a.r.l. Method and mobile terminal device for mapping a virtual user input interface to a physical user input interface
US8659400B2 (en) 2006-09-05 2014-02-25 Universal Electronics Inc. System and method for configuring the remote control functionality of a portable device
WO2008099456A1 (ja) * 2007-02-09 2008-08-21 Mitsubishi Electric Corporation アプリケーション実行端末
US20090027334A1 (en) 2007-06-01 2009-01-29 Cybernet Systems Corporation Method for controlling a graphical user interface for touchscreen-enabled computer systems
US9111176B2 (en) * 2008-04-24 2015-08-18 Nec Corporation Image matching device, image matching method and image matching program
US20100083338A1 (en) * 2008-10-01 2010-04-01 I-Jen Chiang Remote control device and remote control system
KR20100052203A (ko) * 2008-11-10 2010-05-19 삼성전자주식회사 방송 디스플레이 장치 및 그 제어 방법
US10996774B2 (en) 2010-04-30 2021-05-04 Nokia Technologies Oy Method and apparatus for providing interoperability between devices
JP5449044B2 (ja) * 2010-06-10 2014-03-19 シャープ株式会社 サーバ装置、端末装置およびアプリケーション制御システム
US8558716B2 (en) * 2010-06-10 2013-10-15 Verizon Patent And Licensing Inc. Systems and methods to adaptively change functionality of a remote control device to execute the script on a client program for reprogramming buttons on the remote control device
CN103069833A (zh) * 2010-08-06 2013-04-24 松下电器产业株式会社 数据处理装置
KR101832761B1 (ko) * 2011-05-26 2018-02-27 엘지전자 주식회사 디스플레이기기 및 디스플레이기기를 원격으로 제어하는 방법
WO2013022221A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101913206B1 (ko) * 2011-08-30 2018-10-31 삼성전자주식회사 디스플레이 장치 및 이의 부팅 방법
KR101394291B1 (ko) * 2011-12-05 2014-06-03 건국대학교 산학협력단 스마트 미디어 클라우드 환경에서 자동화된 개인미디어 장치 선별과 데이터 관리 시스템 및 그 방법
CN102662559B (zh) * 2012-03-13 2015-04-29 西安交通大学 基于场景识别的虚拟触摸屏技术的设计方法
KR101943441B1 (ko) * 2012-05-22 2019-01-29 삼성전자주식회사 디스플레이 장치의 기능을 제어하는 원격 제어 장치 및 방법
US8717500B1 (en) * 2012-10-15 2014-05-06 At&T Intellectual Property I, L.P. Relational display of images
US8847909B2 (en) * 2012-11-11 2014-09-30 Nomovok Co., Ltd. Touchable mobile remote control without display
KR20140077015A (ko) * 2012-12-13 2014-06-23 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그들의 사용자 인터페이스 제공 방법
CN103076978A (zh) 2013-01-10 2013-05-01 深圳市夏瑞电子有限公司 触摸屏移动设备对远端设备的控制方法及装置、移动设备
KR101379398B1 (ko) * 2013-01-29 2014-03-28 은명진 스마트 텔레비전용 원격 제어 방법
CN103272382B (zh) * 2013-05-23 2016-07-06 深圳市时讯互联科技有限公司 蓝牙游戏手柄模拟智能终端触摸屏控制游戏的方法及装置
CN103480153A (zh) * 2013-09-04 2014-01-01 张家港保税区润桐电子技术研发有限公司 一种智能手机模拟电脑游戏手柄的方法
JP2017504868A (ja) * 2013-11-29 2017-02-09 ▲華▼▲為▼▲終▼端有限公司 インストールパッケージ認可方法および装置
US11455086B2 (en) * 2014-04-14 2022-09-27 Comcast Cable Communications, Llc System and method for content selection
US9766781B2 (en) * 2014-04-28 2017-09-19 Google Inc. Methods, systems, and media for presenting related content in a user interface navigated using directional controls
US9880705B2 (en) * 2014-04-28 2018-01-30 Google Llc Methods, systems, and media for navigating a user interface using directional controls

Also Published As

Publication number Publication date
CN105335136B (zh) 2019-08-09
CN105335136A (zh) 2016-02-17
TWI675314B (zh) 2019-10-21
US10101827B2 (en) 2018-10-16
WO2016011027A1 (en) 2016-01-21
US20160018909A1 (en) 2016-01-21
HK1219157A1 (zh) 2017-03-24

Similar Documents

Publication Publication Date Title
TW201604719A (zh) 智能設備的控制方法及裝置
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US20140168105A1 (en) Electronic device and method for providing tactile stimulation
EP3104590A1 (en) Electronic device and method for displaying image therein
KR102649197B1 (ko) 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
CN108416825A (zh) 动态图的生成装置、方法及计算机可读存储介质
EP2972950B1 (en) Segmentation of content delivery
US20160209968A1 (en) Mapping touch inputs to a user input module
CN107330859B (zh) 一种图像处理方法、装置、存储介质及终端
CN105900056A (zh) 辅助显示器的悬停敏感控制
CN112114734B (zh) 在线文档的显示方法、装置、终端及存储介质
WO2022228465A1 (zh) 界面显示方法、装置、电子设备及存储介质
JP2016514865A (ja) 現実世界の分析可視化
CN106502614B (zh) 一种字体调节方法及移动终端
JP2008305339A (ja) 操作時間測定装置及び方法、習熟度判定装置及び方法、プログラム
WO2022111458A1 (zh) 图像拍摄方法和装置、电子设备及存储介质
US20240017172A1 (en) Method and apparatus for performing an action in a virtual environment
US20160266698A1 (en) Method and apparatus for generating a personalized input panel
KR102480568B1 (ko) 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
US11968481B2 (en) Video playback method and terminal device
JP2016018363A (ja) 仮想空間平面上に配置したオブジェクトを表示制御するゲーム・プログラム
CN106990843B (zh) 一种眼睛跟踪系统的参数校准方法及电子设备
US11204662B2 (en) Input device with touch sensitive surface that assigns an action to an object located thereon
TW201621651A (zh) 滑鼠模擬系統及方法
US20240173626A1 (en) Method and apparatus for interaction in virtual environment

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees