TWI675314B - 智慧設備的控制方法及裝置 - Google Patents

智慧設備的控制方法及裝置 Download PDF

Info

Publication number
TWI675314B
TWI675314B TW104102872A TW104102872A TWI675314B TW I675314 B TWI675314 B TW I675314B TW 104102872 A TW104102872 A TW 104102872A TW 104102872 A TW104102872 A TW 104102872A TW I675314 B TWI675314 B TW I675314B
Authority
TW
Taiwan
Prior art keywords
image
image information
user
key
correspondence
Prior art date
Application number
TW104102872A
Other languages
English (en)
Other versions
TW201604719A (zh
Inventor
彭衛
陳誠
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201604719A publication Critical patent/TW201604719A/zh
Application granted granted Critical
Publication of TWI675314B publication Critical patent/TWI675314B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申請案提出一種智慧設備的控制方法及裝置。其中，該方法包括：接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；根據按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取操控裝置被觸發按鍵對應的圖像資訊；根據圖像資訊從目前顯示的視圖中確定匹配的圖像；以及對匹配的圖像模擬點擊事件。本申請案實施例的智慧設備的控制方法及裝置，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本。

Description

智慧設備的控制方法及裝置
本申請案係有關智慧設備技術領域，尤其有關一種智慧設備的控制方法及裝置。
目前，大多數應用程式(APP,APPlication)例如遊戲是基於觸摸屏智慧手機或者個人數位助理(PDA,Personal Digital Assistant)所開發的，通常這些遊戲所採用的對話模式為螢幕觸摸方式，如果將這些支援螢幕觸摸方式的遊戲移植到智慧電視中運行，則需要使用遊戲手柄進行操作，然而，現有的可在智慧手機或者PAD上透過觸摸方式操作的遊戲不支援其他方式的操作，用戶無法將支援觸摸方式的遊戲移植到智慧電視中。
目前，可透過修改遊戲源代碼的方式，更改遊戲的操作方式，使得遊戲可以支援遊戲手柄的操作方式，這就需要對所有的螢幕觸摸方式的遊戲的源代碼進行修改，這種方式不僅工作量大，而且開發成本高。
本申請案旨在至少在一定程度上解決相關技術中的技術問題之一。
為此，本申請案的第一個目的在於提出一種智慧設備的控制方法，該方法可解決移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本。
本申請案的第二個目的在於提出一種智慧設備的控制裝置。
為達上述目的，本申請案第一態樣實施例提出了一種智慧設備的控制方法，包括：接收所述智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；根據所述按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取所述操控裝置被觸發按鍵對應的圖像資訊；根據所述圖像資訊從目前顯示的視圖中確定匹配的圖像；以及對所述匹配的圖像模擬點擊事件。
本申請案實施例的智慧設備的控制方法，根據智慧設備的操控裝置發送的被觸發按鍵的按鍵信號從預先保存的按鍵與圖像資訊的對應關係中獲取操控裝置被觸發按鍵對應的圖像資訊，並根據圖像資訊從目前顯示的視圖中確定匹配的圖像，以及對匹配的圖像模擬點擊事件，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本，使用戶可以透過操控裝置操控APP。
為達上述目的，本申請案第二態樣實施例提出了一種 智慧設備的控制裝置，包括：接收模組，用以接收所述智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；獲取模組，用以根據所述按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取所述操控裝置被觸發按鍵對應的圖像資訊；確定模組，用以根據所述圖像資訊從目前顯示的視圖中確定匹配的圖像；以及點擊模組，用以對所述匹配的圖像模擬點擊事件。
本申請案實施例的智慧設備的控制裝置，透過接收模組接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號，獲取模組根據鍵信號從預先保存的按鍵與圖像資訊的對應關係中獲取被觸發按鍵對應的圖像資訊，確定模組根據圖像資訊從目前顯示的視圖中確定匹配的圖像，以及點擊模組對匹配的圖像模擬點擊事件，由此，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本，使用戶可以透過操控裝置來操控APP。
100‧‧‧接收模組
200‧‧‧獲取模組
300‧‧‧確定模組
400‧‧‧點擊模組
500‧‧‧顯示處理模組
600‧‧‧回應模組
圖1是本申請案一個實施例的智慧設備的控制方法的流程圖。
圖2是本申請案一個實施例的智慧設備中應用程式的介面的示意圖。
圖3a是本申請案一個實施例的引導介面中按鍵與圖像資訊對應關係的示意圖一。
圖3b是本申請案一個實施例的引導介面中按鍵與圖像資訊對應關係的示意圖二。
圖4是本申請案一個實施例的智慧設備的控制裝置的結構示意圖。
圖5是本申請案另一個實施例的智慧設備的控制裝置的結構示意圖。
下面詳細描述本申請案的實施例，所述實施例的示例在附圖中示出，其中，自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面透過參考附圖描述的實施例是示例性的，旨在用來解釋本申請案，而不能理解為對本申請案的限制。
下面參考附圖來描述本申請案實施例的智慧設備的控制方法及裝置。
圖1是本申請案一個實施例的智慧設備的控制方法的流程圖，如圖1所示，該方法包括：
S101，接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號。
在該實施例中，以智慧設備為智慧電視為例進行描述，其中，智慧電視的系統可為安卓(Android)系統，還可為互聯網作業系統IOS(Internetwork Operating System)，對於智慧電視的作業系統該實施例不做限定。
上述操控裝置為可對智慧設備進行控制的裝置，並且 控制裝置中包含多個按鍵，每個按鍵對應著不同的按鍵值。具體地說，監控智慧設備的操控裝置中的按鍵是否被觸發，若監控到操控裝置中的按鍵被觸發，則接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號。
例如，用戶在智慧電視中玩一款如圖2所示的遊戲時，操控裝置可為遊戲手柄，其中，遊戲手柄中包含A、B、X、Y、上、下、左、右等按鍵，若用戶觸發遊戲手柄上的按鍵比如按鍵A，則接收遊戲手柄發送的被觸發按鍵A對應的按鍵信號。
S102，根據按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取操控裝置被觸發按鍵對應的圖像資訊。
其中，保存的按鍵與圖像資訊的對應關係可以與應用程式APP(APPlication)的標識對應，也就是說，不同的應用程式對應著不同的按鍵與圖像資訊的對應關係，透過應用程式的標識可對不同應用程式所對應的按鍵與圖像資訊的對應關係進行區別。
具體地說，在接收到智慧設備的操控裝置發送的被觸發按鍵的按鍵信號後，可獲取智慧設備目前顯示的畫面對應的應用程式APP的標識，並根據應用程式的標識，從與標識對應的對應關係即從預先保存的按鍵與圖像資訊的對應關係中，獲取操控裝置被觸發按鍵對應的圖像資訊。
為了可以從預先保存的按鍵與圖像資訊的對應關係中獲取操控裝置被觸發按鍵對應的圖像資訊，還可以對按鍵 與圖像資訊的對應關係進行預先保存，具體地說，可在智慧設備上顯示設定對應關係的引導介面，用戶可根據引導頁面中的提示選擇圖像對應的按鍵，用戶選擇圖像與按鍵的對應關係的方式包括：接收用戶對引導介面上選擇的圖像輸入的按鍵，並保存該按鍵和圖像的圖像資訊的對應關係。需要說明的是，接收用戶對引導介面上選擇的圖像輸入的按鍵時，還可以獲得目前引導介面對應的應用程式的標識，並在保存按鍵和圖像的圖像資訊的對應關係時，保存目前應用程式的標識。
若圖像資訊中僅包含特徵圖像，在保存按鍵和特徵圖像的對應關係之前，還可基於不同的特徵提取方式從目前APP中提出對應的特徵圖像，並將按鍵和特徵圖像的對應關係進行保存。
若圖像資訊中包括特徵圖像及特徵圖像在智慧設備螢幕的位置資訊，在保存按鍵和特徵圖像在智慧設備螢幕的位置資訊的對應關係之前，還可基於不同的特徵提取方式從目前APP中提取特徵圖像及特徵圖像在智慧設備螢幕中的位置資訊。
下面以一個具體的實現方案對提取特徵圖像及特徵圖像在智慧設備螢幕的位置資訊的過程進行說明。
以圖2所示的智慧電視中的遊戲為例，若圖2中的導彈為特徵圖像，並且用戶選擇該特徵圖像對應的按鍵為按鍵A，在提取特徵圖像與特徵圖像在智慧設備的位置資訊時，可截取一幀包含圖2所示的導彈的圖像，並根據該幀 圖像截取出導彈所對應的位置資訊，在獲得特徵圖像及特徵圖像在智慧電視中的位置資訊後，可將按鍵A對應的鍵值、導彈和導彈在智慧電視中的位置資訊的一一對應關係進行保存，進一步而言可將上述一一對應關係保存在網路資料庫中，並且在保存時還需要保存該遊戲所對應的標識，由此，使得用戶可根據自己的愛好和使用習慣設定按鍵與圖像的對應關係，提高了用戶的體驗度。
在該實施例中，建立對應關係的圖像可以選擇能夠回應點擊事件的控制項物件對應的圖像，例如，圖2中導彈圖像為一個可回應點擊事件的控制項物件，亦即，當用戶點擊該導彈圖示時，可觸發相應的功能。在一個具體的實施方式中，為了建立按鍵與控制項物件對應的圖像的對應關係，在保存按鍵與圖像的圖像資訊的對應關係之前，還可以包括建立圖像資訊與能夠回應點擊事件的控制項物件之間的對應關係，透過建立圖像資訊與能夠回應點擊事件的控制項物件之間的對應關係，可使得在圖像資訊上有點擊操作時，可對與該圖像資訊對應的控制物件模擬點擊事件。
另外，在該實施例中，在用戶保存按鍵與圖像資訊的對應關係之後，在獲取操控裝置被觸發按鍵對應的圖像資訊之前，還可以包括：顯示設定對應關係的引導介面，引導介面包括按鍵與圖像資訊的初始對應關係，接收用戶對初始對應關係的修改指令，並保存修改後的按鍵和圖像的圖像資訊的對應關係。其中，該初始對應關係可以是系統 自動產生的對應關係，也可以是已被用戶修改過的對應關係。
具體地說，當用戶在引導介面上輸入如圖3a所示的按鍵和圖像資訊的一一對應關係之後，如果用戶在使用操作裝置控制應用程式APP的過程中，發現設定的按鍵與圖像資訊的對應關係有些不符合自己的使用習慣，用戶還可根據需要修改按鍵與圖像資訊的對應關係，例如，用戶將圖像與按鍵設定為如圖3a所示的對應關係，若用戶在使用的過程中，發現圖像A用按鍵B，圖像B用戶按鍵A控制更舒服一些，此時，用戶可透過對應關係的引導頁面將圖像A對應的按鍵A修改為按鍵B，圖像B對應的按鍵B修改為按鍵A，用戶修改後的按鍵和圖像資訊一一對應關係如圖3b所示，由此，使得用戶可根據使用習慣修改按鍵與圖像區域的對應關係，提高了用戶的體驗度。
S103，根據圖像資訊從目前顯示的視圖中確定匹配的圖像。
具體地說，若圖像資訊包括特徵圖像，此時可根據特徵圖像從目前顯示的視圖中確定出與特徵圖像匹配的圖像。例如，可透過圖像識別的方法從目前顯示的視圖中識別出與特徵圖像匹配的圖像。
若圖像資訊包括特徵圖像以及特徵圖像在智慧設備螢幕中的位置資訊，則可根據位置資訊獲取智慧設備目前顯示的視圖中對應位置的圖像，然後確定獲取到的圖像中與特徵圖像匹配的圖像。
具體地說，可根據特徵圖像在智慧設備中的位置資訊截取出智慧設備目前顯示的視圖中對應位置的圖像，並在截取出對應位置的圖像後，可利用相似性度量演算法計算圖像與特徵圖像之間的相似性，其中，相似性度量演算法可以包括互相關匹配演算法，互相關匹配演算法是一種經典的匹配演算法，它透過計算特徵圖像和目前畫面中截取出的圖像之間的互相關度量值來確定二者的匹配程度，即透過互相關度量值的大小來確定特徵圖像與目前畫面截取的圖像之間的相似程度，互相關度量值越大表示兩個圖像相似度越高。
在該實施例中，我們用NC(i,j)表示互相關度量值，其中，i表示從目前圖像中截取出的圖像，j表示特徵圖像，計算互相關度量值NC(i,j)的公式如下：
其中，T(m,n)為特徵圖像的第m行，第n列的圖元值；S(m,n)為截取出的圖像的第m行，第n列的圖元值。
在獲得特徵圖像與從目前畫面中截取出的圖像之間的互相關度量值NC(i,j)後，如果計算出的互相關度量值NC(i,j)大於預設閾值例如0.8，則確定獲得到的圖像與特徵圖像匹配。
S104，對匹配的圖像模擬點擊事件。
具體地說，在確定出與特徵圖像匹配的圖像後，可對 匹配的圖像模擬單擊或者雙擊事件，即對能夠模擬點擊事件的控制項物件模擬單擊或者雙擊事件，並且在模擬點擊之後，回應對應的單擊或者雙擊事件。
例如，智慧電視上顯示如圖2所示的一款飛行遊戲的畫面，遊戲手柄上包含按鍵A、B、X、Y、上、下、左、右等，其中，畫面右側的導彈的功能是對飛行器進行加速，若用戶在智慧電視上顯示如圖2所示的畫面時，按下與飛行遊戲的右側導彈在手柄上對應的按鍵A，若確定出從智慧電視的目前顯示的視圖中截取到的圖像與按鍵A對應的特徵圖像相似度大於0.8，則對截取到的圖像模擬點擊事件，即對飛行器相對應的能夠模擬點擊事件的控制項物件模擬點擊事件，並根據該圖像對應的功能回應點擊事件即對圖2中的飛行器進行加速。
上述智慧設備的控制方法實施例，根據智慧設備的操控裝置發送的被觸發按鍵的按鍵信號從預先保存的按鍵與圖像資訊的對應關係中獲取操控裝置被觸發按鍵對應的圖像資訊，並根據圖像資訊從目前顯示的視圖中確定匹配的圖像，以及對匹配的圖像模擬點擊事件，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本，使用戶可以透過操控裝置操控APP。
為了實現上述實施例，本申請案還提出一種智慧設備的控制裝置。
圖4是本申請案一個實施例的智慧設備的控制裝置的 結構示意圖，如圖4所示，該裝置包括：接收模組100、獲取模組200、確定模組300和點擊模組400。其中：
接收模組100用以接收上述智慧設備的操控裝置發送的被觸發按鍵的按鍵信號；獲取模組200用以根據上述按鍵信號，從預先保存的按鍵與圖像資訊的對應關係中，獲取上述操控裝置被觸發按鍵對應的圖像資訊；確定模組300用以根據上述圖像資訊從目前顯示的視圖中確定匹配的圖像；以及點擊模組400用以對上述匹配的圖像模擬點擊事件。
在該實施例中，以智慧設備為智慧電視為例進行描述，其中，智慧電視的系統可為安卓(Android)系統，還可為互聯網作業系統IOS(Internetwork Operating System)，對於智慧電視的作業系統該實施例不做限定。
上述操控裝置為可對智慧設備進行控制的裝置，並且控制裝置中包含多個按鍵，每個按鍵對應這不同的按鍵值。具體地說，監控智慧設備的操控裝置中的按鍵是否被觸發，若監控到操控裝置中的按鍵被觸發，則接收模組100接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號。
上述對應關係與應用程式APP的標識對應，上述獲取模組200具體用以：獲取上述智慧設備目前顯示的畫面對應的APP的標識，並根據上述標識，從與上述標識對應的對應關係即從預先保存的按鍵與圖像資訊的對應關係中，獲取上述被觸發按鍵對應的圖像資訊。
在上述圖像資訊包括特徵圖像時，上述確定模組300具體用以：根據上述特徵圖像，從目前顯示的視圖中確定出與上述特徵圖像匹配的圖像。
在上述圖像資訊包括特徵圖像以及上述特徵圖像在智慧設備螢幕中的位置資訊時，上述確定模組300具體用以：根據上述位置資訊獲取上述智慧設備目前顯示的視圖中對應位置的圖像；確定獲取到的圖像中與上述特徵圖像匹配的圖像。
為了用戶可以從預先保存的按鍵與圖像資訊的對應關係中獲取操控裝置被觸發按鍵對應的圖像資訊，如圖5所示，上述裝置還可以包括顯示處理模組500，該顯示處理模組500用以在上述獲取模組200獲取上述操控裝置被觸發按鍵對應的圖像資訊之前，顯示設定上述對應關係的引導介面，接收上述用戶對上述引導介面上選擇的圖像輸入的按鍵，保存上述按鍵和上述圖像的圖像資訊的對應關係；或，顯示設定上述對應關係的引導介面，上述引導介面包括按鍵與圖像資訊的初始對應關係，接收上述用戶對上述初始對應關係的修改指令，並保存修改後的上述按鍵和上述圖像的圖像資訊的對應關係。透過顯示處理模組500可方便用戶根據自己的需要設定或者修改按鍵與圖像的圖像資訊的對應關係，滿足了用戶的個性化需求。其中，該初始對應關係可以是系統自動產生的對應關係，也可以是已被用戶修改過的對應關係。
若圖像資訊中僅包含特徵圖像，在顯示處理模組500 保存按鍵和特徵圖像的對應關係之前，還可基於不同的特徵提取方式從目前APP中提出對應的特徵圖像，並將按鍵和特徵圖像的對應關係進行保存。
若圖像資訊中包括特徵圖像及特徵圖像在智慧設備螢幕的位置資訊，在保存按鍵和特徵圖像在智慧設備螢幕的位置資訊的對應關係之前，還可基於不同的特徵提取方式從目前APP中提取特徵圖像及特徵圖像在智慧設備螢幕中的位置資訊。
需要說明的是，顯示處理模組500在保存按鍵與圖像資訊的對應關係時，還可以獲得目前引導介面對應的應用程式的標識，並在保存按鍵和圖像的圖像資訊的對應關係時，保存目前應用程式的標識，透過保存應用程式的標識以對不同應用程式的按鍵與圖像資訊的對應關係進行區別。
上述對應關係中的圖像資訊對應的圖像包括：能夠回應點擊事件的控制項物件對應的圖像。
上述點擊模組400具體用以：對上述控制項物件模擬點擊事件。
另外，上述裝置還可以包括回應模組600，回應模組600用以在上述點擊模組400對上述匹配的圖像模擬點擊事件之後，回應上述點擊事件。
包含接收模組100、獲取模組200、確定模組300和點擊模組400的智慧設備的控制裝置控制智慧設備的過程可參見圖1，此處不贅述。
上述智慧設備的控制裝置實施例，透過接收模組接收智慧設備的操控裝置發送的被觸發按鍵的按鍵信號，獲取模組根據鍵信號從預先保存的按鍵與圖像資訊的對應關係中獲取被觸發按鍵對應的圖像資訊，確定模組根據圖像資訊從目前顯示的視圖中確定匹配的圖像，以及點擊模組對匹配的圖像模擬點擊事件，由此，解決了移動終端觸屏方式的應用程式移植到智慧電視系統後，不支援手柄操作需要修改應用程式碼的問題，減少了應用程式的開發成本，使用戶可以透過操控裝置操控APP。
在本說明書的描述中，參考術語“一個實施例”、“一些實施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本申請案的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不必須針對的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任一個或多個實施例或示例中以合適的方式結合。此外，在不相互矛盾的情況下，本領域的技術人員可以將本說明書中描述的不同實施例或示例以及不同實施例或示例的特徵進行結合和組合。
此外，術語“第一”、“第二”僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有“第一”、“第二”的特徵可以明示或者隱含地包括至少一個該特徵。在本申請案的描述中，“多個”的含義是至少兩個，例如兩個，三個等，除非 另有明確具體的限定。
流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用來實現特定邏輯功能或過程的步驟的可執行指令的代碼的模組、片段或部分，並且本申請案的較佳實施方式的範圍包括另外的實現，其中，可以不按所示出或討論的順序，包括根據所涉及的功能按基本同時的方式或按相反的順序，以執行功能，這應被本申請案的實施例所屬技術領域的技術人員所理解。
在流程圖中表示或在此以其他方式描述的邏輯和/或步驟，例如，可以被認為是用來實現邏輯功能的可執行指令的定序列表，可以具體實現在任何電腦可讀媒體中，以供指令執行系統、裝置或設備(如基於電腦的系統、包括處理器的系統或其他可以從指令執行系統、裝置或設備取指令並執行指令的系統)使用，或結合這些指令執行系統、裝置或設備而使用。就本說明書而言，"電腦可讀媒體"可以是任何可以包含、儲存、通信、傳播或傳輸程式以供指令執行系統、裝置或設備或結合這些指令執行系統、裝置或設備而使用的裝置。電腦可讀媒體的更具體的示例(非窮盡性列表)包括以下：具有一個或多個佈線的電連接部(電子裝置)，可攜式電腦盤盒(磁裝置)，隨機存取記憶體(RAM)，唯讀記憶體(ROM)，可擦除可編輯唯讀記憶體(EPROM或閃速記憶體)，光纖裝置，以及可攜式光碟唯讀記憶體(CDROM)。另外，電 腦可讀媒體甚至可以是可在其上列印所述程式的紙或其他合適的媒體，因為可以例如透過對紙或其他媒體進行光學掃描，接著進行編輯、解譯或必要時以其他合適方式進行處理來以電子方式獲得所述程式，然後將其儲存在電腦記憶體中。
應當理解，本申請案的各部分可以用硬體、軟體、韌體或它們的組合來予以實現。在上述實施方式中，多個步驟或方法可以用儲存在記憶體中且由合適的指令執行系統執行的軟體或韌體來予以實現。例如，如果用硬體來予以實現，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來予以實現：具有用以對資料信號實現邏輯功能的邏輯閘電路的離散邏輯電路，具有合適的組合邏輯閘電路的專用積體電路，可編程閘陣列(PGA)，現場可編程閘陣列(FPGA)等。
本技術領域的普通技術人員可以理解實現上述實施例方法攜帶的全部或部分步驟是可以透過程式來指令相關的硬體完成，所述的程式可以被儲存於一種電腦可讀儲存媒體中，該程式在執行時，包括方法實施例的步驟之一或其組合。
此外，在本申請案各個實施例中的各功能單元可以集成在一個處理模組中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個模組中。上述集成的模組既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。所述集成的模組如果以軟體功能模組的 形式實現並作為獨立的產品銷售或使用時，也可以被儲存在一個電腦可讀取儲存媒體中。
上述提到的儲存媒體可以是唯讀記憶體，磁片或光碟等。儘管上面已經示出和描述了本申請案的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本申請案的限制，本領域的普通技術人員在本申請案的範圍內可以對上述實施例進行變化、修改、替換和變型。

Claims (8)

  1. 一種智慧設備的控制方法，其特徵在於，該方法包括：將觸屏方式的應用程式移植到智慧設備，該觸屏方式的應用程式具有應用程式標識；根據該應用程式標識，識別預先保存之該智慧設備的操控裝置的按鍵與圖像資訊之多個對應關係中的一個預先保存的對應關係，該多個預先保存的對應關係係根據用戶喜好或用戶習慣而產生的，該圖像資訊包含特徵圖像與該特徵圖像在該智慧設備螢幕上的位置資訊；及將該操控裝置的用戶輸入轉變成對匹配的圖像模擬的點擊事件，其係藉由：接收由該操控裝置發送之該操控裝置的被觸發按鍵的按鍵信號，該被觸發按鍵相當於該用戶輸入，回應接收該按鍵信號，根據該按鍵信號，從該識別出的預先保存的按鍵與圖像資訊的對應關係中，獲取該操控裝置之被觸發按鍵對應的圖像資訊，根據該智慧設備目前顯示的視圖與該圖像資訊間之大於預設閾值的互相關度量值來確定該匹配的圖像，其包含根據該特徵圖像的該位置資訊而獲取在該智慧設備目前顯示的視圖中之對應位置處的圖像，和確定該獲取到之圖像中與該特徵圖像匹配的圖像，對該匹配的圖像模擬該點擊事件，其包含對控制項物件模擬該點擊事件，以及 在對該匹配的圖像模擬該點擊事件之後回應該點擊事件。
  2. 根據申請專利範圍第1項所述的方法，其中，該圖像資訊包括特徵圖像；該根據該圖像資訊從目前顯示的視圖中確定匹配的圖像，包括：根據該特徵圖像，從目前顯示的視圖中確定出與該特徵圖像匹配的圖像。
  3. 根據申請專利範圍第1或2項所述的方法，其中，在該獲取該操控裝置之被觸發按鍵對應的圖像資訊之前，還包括：顯示設定圖像與按鍵間之該等對應關係的引導介面，接收用戶對該引導介面上選擇的圖像的按鍵輸入，及保存該按鍵和該圖像的圖像資訊的對應關係，其中，該按鍵輸入係根據該用戶的用戶喜好或該用戶的用戶習慣而選擇的；或顯示設定該對應關係的引導介面，該引導介面包括按鍵與圖像資訊的初始對應關係，接收該用戶對該初始對應關係的修改指令，並保存修改後的該按鍵和該圖像的圖像資訊的對應關係。
  4. 根據申請專利範圍第3項所述的方法，其中，該識別出的預先保存的對應關係中的圖像資訊對應的圖像包括：能夠回應點擊事件的控制項物件對應的圖像。
  5. 一種智慧設備的控制裝置，其特徵在於，該裝置包括： 接收模組，用以接收移植到該智慧設備之觸屏方式的應用程式和該智慧設備的操控裝置發送的被觸發按鍵的按鍵信號，該觸屏方式的應用程式具有應用程式標識，該被觸發按鍵相當於該操控裝置中的用戶輸入；獲取模組，用以根據該應用程式標識，識別預先保存之該被觸發按鍵與圖像資訊之多個對應關係中的一個預先保存的對應關係，並且回應接收該按鍵信號，用以根據該按鍵信號，從該識別出的預先保存的對應關係中，獲取該操控裝置之被觸發按鍵對應的圖像資訊，該多個預先保存的對應關係係根據用戶喜好或用戶習慣而產生的，該圖像資訊包含特徵圖像與該特徵圖像在該智慧設備螢幕上的位置資訊；確定模組，用以根據由該智慧設備目前顯示的視圖與該圖像資訊間之大於預設閾值的互相關度量值來確定匹配的圖像，其包含根據該特徵圖像的該位置資訊而獲取在該智慧設備目前顯示的視圖中之對應位置處的圖像，和確定該獲取到之圖像中與該特徵圖像匹配的圖像；點擊模組，用以對該匹配的圖像模擬點擊事件，其包含用以對控制項物件模擬該點擊事件，以及回應模組，用以在對該匹配的圖像模擬該點擊事件之後回應該點擊事件。
  6. 根據申請專利範圍第5項所述的裝置，其中，該圖像資訊包括特徵圖像；該確定模組，具體用以：根據該特徵圖像，從目前顯示的視圖中確定出與該特 徵圖像匹配的圖像。
  7. 根據申請專利範圍第5或6項所述的裝置，其中，還包括：顯示處理模組，用以在該獲取模組獲取該操控裝置被觸發按鍵對應的圖像資訊之前，顯示設定該對應關係的引導介面，接收用戶對該引導介面上選擇的圖像的按鍵輸入，及保存該按鍵和該圖像的圖像資訊的對應關係，其中，該按鍵輸入係根據該用戶的用戶喜好或該用戶的用戶習慣而選擇的；或，顯示設定該對應關係的引導介面，該引導介面包括按鍵與圖像資訊的初始對應關係，接收該用戶對該初始對應關係的修改指令，並保存修改後的該按鍵和該圖像的圖像資訊的對應關係。
  8. 根據申請專利範圍第7項所述的裝置，其中，該識別出的預先保存的對應關係中的圖像資訊對應的圖像包括：能夠回應點擊事件的控制項物件對應的圖像。
TW104102872A 2014-07-16 2015-01-28 智慧設備的控制方法及裝置 TWI675314B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201410339814.8 2014-07-16
CN201410339814.8A CN105335136B (zh) 2014-07-16 2014-07-16 智能设备的控制方法及装置

Publications (2)

Publication Number Publication Date
TW201604719A TW201604719A (zh) 2016-02-01
TWI675314B true TWI675314B (zh) 2019-10-21

Family

ID=55074576

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104102872A TWI675314B (zh) 2014-07-16 2015-01-28 智慧設備的控制方法及裝置

Country Status (5)

Country Link
US (1) US10101827B2 (zh)
CN (1) CN105335136B (zh)
HK (1) HK1219157A1 (zh)
TW (1) TWI675314B (zh)
WO (1) WO2016011027A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106775701B (zh) * 2016-12-09 2021-02-05 武汉中软通证信息技术有限公司 一种客户端自动取证方法和系统
CN107368298B (zh) * 2017-06-22 2020-09-11 努比亚技术有限公司 一种文本控件模拟触控方法、终端及计算机可读存储介质
CN108932090A (zh) * 2018-05-29 2018-12-04 北京小米移动软件有限公司 终端控制方法、装置和存储介质
CN109240759A (zh) * 2018-08-01 2019-01-18 Oppo广东移动通信有限公司 应用程序启动方法、装置、终端设备和可读存储介质
CN111273971B (zh) * 2018-12-04 2022-07-29 腾讯科技（深圳）有限公司 视图中的信息处理方法、装置及存储介质
CN109568945A (zh) * 2019-01-23 2019-04-05 深圳市利达成科技有限公司 同步配置的方法、同步配置的装置、存储介质和处理器
CN209475544U (zh) * 2019-01-23 2019-10-11 深圳市利达成科技有限公司 同步配置的控制电路及处理器
CN110187953A (zh) * 2019-06-05 2019-08-30 北京视游互动科技有限公司 一种应用程序的运行方法及装置
US11445107B2 (en) * 2019-08-08 2022-09-13 Qorvo Us, Inc. Supervised setup for control device with imager
CN111124152A (zh) * 2019-12-26 2020-05-08 厦门市美亚柏科信息股份有限公司 一种移动智能终端屏幕的操控器
CN114089906A (zh) * 2021-11-08 2022-02-25 百度在线网络技术（北京）有限公司 智能镜的控制方法、装置、设备、存储介质以及智能镜
CN114347788B (zh) * 2021-11-30 2023-10-13 岚图汽车科技有限公司 一种基于面向服务的智能座舱人机交互按键控制系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100011377A1 (en) * 2007-02-09 2010-01-14 Shigeru Imai Application executing terminal
US20130054954A1 (en) * 2011-08-30 2013-02-28 Samsung Electronics Co., Ltd. Display device and booting method thereof
US20130086577A1 (en) * 2010-06-10 2013-04-04 Sharp Kabushiki Kaisha Server apparatus, terminal apparatus, and application control system
US20140104494A1 (en) * 2012-10-15 2014-04-17 AT&T Intellectual Property I, L,P. Relational display of images

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6788880B1 (en) * 1998-04-16 2004-09-07 Victor Company Of Japan, Ltd Recording medium having a first area for storing an audio title set and a second area for storing a still picture set and apparatus for processing the recorded information
GB2380918C3 (en) 2000-05-11 2016-03-30 Nes Stewart Irvine Zeroclick
GB0123793D0 (en) * 2001-10-04 2001-11-21 Pace Micro Tech Plc STB web browser fast link selection
US7224903B2 (en) 2001-12-28 2007-05-29 Koninklijke Philips Electronics N. V. Universal remote control unit with automatic appliance identification and programming
US7653212B2 (en) 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
WO2006100540A1 (en) 2005-03-23 2006-09-28 Nokia Corporation Method and mobile terminal device for mapping a virtual user input interface to a physical user input interface
US8659400B2 (en) 2006-09-05 2014-02-25 Universal Electronics Inc. System and method for configuring the remote control functionality of a portable device
US20090027334A1 (en) 2007-06-01 2009-01-29 Cybernet Systems Corporation Method for controlling a graphical user interface for touchscreen-enabled computer systems
JP5375823B2 (ja) * 2008-04-24 2013-12-25 日本電気株式会社 画像照合装置、画像照合方法および画像照合用プログラム
US20100083338A1 (en) * 2008-10-01 2010-04-01 I-Jen Chiang Remote control device and remote control system
KR20100052203A (ko) * 2008-11-10 2010-05-19 삼성전자주식회사 방송 디스플레이 장치 및 그 제어 방법
US10996774B2 (en) 2010-04-30 2021-05-04 Nokia Technologies Oy Method and apparatus for providing interoperability between devices
US8558716B2 (en) * 2010-06-10 2013-10-15 Verizon Patent And Licensing Inc. Systems and methods to adaptively change functionality of a remote control device to execute the script on a client program for reprogramming buttons on the remote control device
WO2012017692A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 データ処理装置
KR101832761B1 (ko) * 2011-05-26 2018-02-27 엘지전자 주식회사 디스플레이기기 및 디스플레이기기를 원격으로 제어하는 방법
WO2013022221A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
KR101394291B1 (ko) 2011-12-05 2014-06-03 건국대학교 산학협력단 스마트 미디어 클라우드 환경에서 자동화된 개인미디어 장치 선별과 데이터 관리 시스템 및 그 방법
CN102662559B (zh) * 2012-03-13 2015-04-29 西安交通大学 基于场景识别的虚拟触摸屏技术的设计方法
KR101943441B1 (ko) * 2012-05-22 2019-01-29 삼성전자주식회사 디스플레이 장치의 기능을 제어하는 원격 제어 장치 및 방법
US8847909B2 (en) * 2012-11-11 2014-09-30 Nomovok Co., Ltd. Touchable mobile remote control without display
KR20140077015A (ko) * 2012-12-13 2014-06-23 삼성전자주식회사 디스플레이 장치, 원격 제어 장치 및 그들의 사용자 인터페이스 제공 방법
CN103076978A (zh) 2013-01-10 2013-05-01 深圳市夏瑞电子有限公司 触摸屏移动设备对远端设备的控制方法及装置、移动设备
KR101379398B1 (ko) * 2013-01-29 2014-03-28 은명진 스마트 텔레비전용 원격 제어 방법
CN103272382B (zh) * 2013-05-23 2016-07-06 深圳市时讯互联科技有限公司 蓝牙游戏手柄模拟智能终端触摸屏控制游戏的方法及装置
CN103480153A (zh) * 2013-09-04 2014-01-01 张家港保税区润桐电子技术研发有限公司 一种智能手机模拟电脑游戏手柄的方法
KR101869901B1 (ko) * 2013-11-29 2018-07-20 후아웨이 디바이스 (둥관) 컴퍼니 리미티드 설치 패키지 인가 방법 및 장치
US11455086B2 (en) * 2014-04-14 2022-09-27 Comcast Cable Communications, Llc System and method for content selection
US9880705B2 (en) * 2014-04-28 2018-01-30 Google Llc Methods, systems, and media for navigating a user interface using directional controls
US9766781B2 (en) * 2014-04-28 2017-09-19 Google Inc. Methods, systems, and media for presenting related content in a user interface navigated using directional controls

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100011377A1 (en) * 2007-02-09 2010-01-14 Shigeru Imai Application executing terminal
US20130086577A1 (en) * 2010-06-10 2013-04-04 Sharp Kabushiki Kaisha Server apparatus, terminal apparatus, and application control system
US20130054954A1 (en) * 2011-08-30 2013-02-28 Samsung Electronics Co., Ltd. Display device and booting method thereof
US20140104494A1 (en) * 2012-10-15 2014-04-17 AT&T Intellectual Property I, L,P. Relational display of images

Also Published As

Publication number Publication date
TW201604719A (zh) 2016-02-01
WO2016011027A1 (en) 2016-01-21
US20160018909A1 (en) 2016-01-21
CN105335136A (zh) 2016-02-17
HK1219157A1 (zh) 2017-03-24
US10101827B2 (en) 2018-10-16
CN105335136B (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
TWI675314B (zh) 智慧設備的控制方法及裝置
KR102207208B1 (ko) 음악 정보 시각화 방법 및 장치
EP3104590A1 (en) Electronic device and method for displaying image therein
CN108416825A (zh) 动态图的生成装置、方法及计算机可读存储介质
US20160203194A1 (en) User terminal for displaying image and image display method thereof
US20140168105A1 (en) Electronic device and method for providing tactile stimulation
US20150177843A1 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US10283004B2 (en) Multimedia apparatus, online education system, and method for providing education content thereof
US10304352B2 (en) Electronic device and method for sharing image
US9426606B2 (en) Electronic apparatus and method of pairing in electronic apparatus
CN110246110B (zh) 图像评估方法、装置及存储介质
US20160364564A1 (en) Lock screen output controlling method and electronic device for supporting the same
WO2022228465A1 (zh) 界面显示方法、装置、电子设备及存储介质
JP7231638B2 (ja) 映像に基づく情報取得方法及び装置
KR102664318B1 (ko) 음성 기반 제어 장치 및 방법
WO2018120169A1 (zh) 自动设置壁纸的方法、终端设备和图形用户界面
CN109144447B (zh) 分屏窗口调节方法、装置、存储介质及电子设备
CN106502614B (zh) 一种字体调节方法及移动终端
CN108401173B (zh) 移动直播的互动终端、方法及计算机可读存储介质
CN107450996B (zh) 一种信息提示方法、移动终端和计算机可读取存储介质
CN111818371A (zh) 一种互动视频的管理方法以及相关装置
US20160124603A1 (en) Electronic Device Including Tactile Sensor, Operating Method Thereof, and System
JP2019023870A (ja) 情報処理装置、情報処理プログラム、情報処理方法および情報処理システム
US10877641B2 (en) Image adjustment method, apparatus, device and computer readable storage medium
JP6563882B2 (ja) ラベル付与装置、ラベル付与システム、ラベル付与方法、及びラベル付与プログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees