TWI810895B - 人機介面的遠端操作方法及遠端操作系統 - Google Patents

Abstract

一種人機介面的遠端操作方法，包括下列步驟：於接收外部查詢指令時取得人機介面中至少一控件的控件資訊；將控件資訊傳送至遠端電子裝置；遠端電子裝置的轉譯軟體依據控件資訊產生並提供對應的操作關聯資訊；遠端電子裝置接受針對任一控件所進行的操作行為；轉譯軟體將操作行為轉換為對應的控件操作指令並回傳至人機介面；人機介面依據控件操作指令觸發對應控件，以模擬使用者直接於人機介面上觸發此控件的操作行為。

Description

人機介面的遠端操作方法及遠端操作系統

本發明涉及人機介面，尤其涉及人機介面的遠端操作方法以及遠端操作系統。

現今許多工業設備都會搭載人機介面(Human Machine Interface,HMI)，以令使用者通過人機介面來對工業設備進行操作。

一般來說，人機介面上會提供觸控螢幕，或是搭載實體功能按鍵。當有操作需求時，使用者可參考人機介面上顯示的說明來觸碰或按壓對應的控件，以令工業設備執行對應的功能。

隨著網際網路的發展，部分使用者具有遠端操作的需求。當使用者欲從遠端對人機介面進行操作時，主要可通過網頁來存取人機介面的螢幕畫面，並且在網頁上對人機介面進行操作。或者，使用者可以透過虛擬網路運算(Virtual Network Computing,VNC)軟體將人機介面的螢幕畫面複製分享到遠端裝置上，以令使用者通過遠端裝置對人機介面進行操作。

然而，上述將人機介面的螢幕畫面轉換為網頁的響應方式，需要經過特別的網頁設計，因而需要增加額外的網頁設計以及介面驗證的成本；並且，通過VNC將人機介面的螢幕畫面複製分享到遠端裝置上的做法，並不適用於硬體資源較少、處理能力較弱的人機介面使用。

本發明提供一種人機介面的遠端操作方法及遠端操作系統，係把使用者對於人機介面的操作行為指令化，使得使用者能在遠端通過其他電子裝置對人機介面進行操作。

於本發明的實施例中，人機介面的遠端操作方法係應用於與一遠端電子裝置連接的一人機介面，該遠端電子裝置運行一轉譯軟體，並且該遠端操作方法主要包括下列步驟：a)接收一查詢指令；b)基於該查詢指令取得該人機介面中至少一控件的一控件資訊，其中該控件資訊包括該控件的一控件類型及一控件描述；c)將該控件資訊傳送至該遠端電子裝置；d)由該轉譯軟體對該控件資訊進行一轉譯程序以產生對應的一操作關聯資訊，並通過該遠端電子裝置提供該操作關聯資訊；e)接受針對該控件所進行的一操作行為；f)由該轉譯軟體將該操作行為轉譯為對應的一控件操作指令並傳送至該人機介面；及g)由該人機介面依據該控件操作指令觸發該控件。

於本發明的實施例中，人機介面的遠端操作系統包括：一轉譯軟體，運行於一遠端電子裝置中；一人機介面，通過一傳輸單元連接該遠端電子裝置，並且具有一整合單元，該整合單元被配置為在接收一查詢指令時取得該人機介面中至少一控件的一控件資訊，並通過該傳輸單元對應的一通訊協定將該控件資訊傳送至該遠端電子裝置，其中該控件資訊包括該控件的一控件類型及一控件描述；其中，該轉譯軟體被配置為對該控件資訊進行一轉譯程序以產生並提供對應的一操作關聯資訊，並且於接受針對該控件所進行的一操作行為時，將該操作行為轉譯為對應的一控件操作指令並傳送至該人機介面；其中，該整合單元被配置為在接收該控件操作指令時觸發該控件。

相較於相關技術，本發明僅擷取並傳輸人機介面中各個控件的控件資訊給遠端電子裝置，不需對即有的人機介面進行大幅度改動，不需設計的遠端連接用的網頁，也不需要使用VNC軟體，因此可以用最低成本及最小硬體需求，達到遠端操作的目的。

1:人機介面

10:螢幕

11:整合單元

12:傳輸單元

2:遠端電子裝置

20:螢幕

21:轉譯軟體

211:遠端命令處理模組

212:介面操作轉譯模組

3:切換按鈕

4:控件

41:按鍵控件

42:選單控件

43:輸入控件

431:輸入介面

5:操作關聯資訊

6:操作輸入

S10^~S24:操作步驟

S30^~S38:驗證步驟

圖1為本發明的遠端操作系統方塊圖的第一具體實施例。

圖2為本發明的遠端操作系統示意圖的第一具體實施例。

圖3為本發明的遠端操作方法流程圖的第一具體實施例。

圖4A為本發明的控件示意圖的第一具體實施例。

圖4B為本發明的控件示意圖的第二具體實施例。

圖4C為本發明的控件示意圖的第三具體實施例。

圖5為本發明的遠端操作示意圖的第一具體實施例。

圖6為本發明的遠端操作示意圖的第二具體實施例。

圖7為本發明的連線驗證流程圖的第一具體實施例。

茲就本發明之一較佳實施例，配合圖式，詳細說明如後。

首請參閱圖1，為本發明的遠端操作系統方塊圖的第一具體實施例。本發明主要揭露了一種人機介面的遠端操作系統(下面將於說明書中簡稱為操作系統)，係可將人機介面1中的控件(即，控制元件)的描述、屬性及對應的控制內容等資訊進行整合後發送至遠端電子裝置2。遠端電子裝置2基於這些資訊來產生並提供優化的指令介面，使得使用者可以藉由遠端電子裝置2對人機介面1上的特定控件下達指令，藉此模擬成使用者直接對人機介面1上的控件進行觸控的操作行為。

如圖1所示，本發明的操作系統主要包括人機介面1，以及相對於人機介面1開發而成的轉譯軟體21，其中轉譯軟體21運行於遠端電子裝置2中，並且人機介面1通過其上的傳輸單元12與遠端電子裝置2連接。

於一實施例中，遠端電子裝置2可為具備不同硬體能力的各式電子裝置，例如不具備螢幕的遙控器、具備一般螢幕及一般輸入介面(例如鍵盤/滑鼠)的個人電腦、筆記型電腦或是具備觸控螢幕的智慧型行動裝置、平板電腦等，但不以此為限。

遠端電子裝置2具有處理器(圖未標示)。當處理器執行了轉譯軟體21後，遠端電子裝置2即可與人機介面1建立連線，並且基於人機介面1的 資訊產生對應的指令介面並提供給使用者。藉此，使用者可以經由遠端電子裝置2來對人機介面1下達指令，以模擬為使用者直接對人機介面1進行觸控的操作行為。

所述傳輸單元12可為實體的序列埠、串列埠、無線傳輸單元或網路線接口等，不加以限定。於一實施例中，傳輸單元12使用RS-232、RS-485、藍牙(Bluetooth)、乙太網路(Ethernet)、Wi-Fi或控制器區域網路匯流排(Controller Area Network Bus,CAN bus)等通訊協定，但並不以此為限。

如圖1所示，人機介面1具有整合單元11。具體地，本發明的人機介面1的韌體經過修改，以於內部產生所述整合單元11。換句話說，本發明的整合單元11為人機介面1中的一個韌體模組。

人機介面1通過傳輸單元12與遠端電子裝置2建立連接。當人機介面1通過傳輸單元12接收遠端電子裝置2發送的查詢指令時，會通過韌體方式(即，藉由整合單元11)取得人機介面中至少一個控件(例如圖2所示的控件4)的控件資訊。並且，人機介面1通過傳輸單元12所使用的通訊協定將控件資訊傳送至遠端電子裝置2，以交由遠端電子裝置2中的轉譯軟體21來進行處理。

於一實施例中，整合單元11可內建一個指令集，指令集中至少包括一組遠端查詢命令。當遠端電子裝置2與人機介面1建立連接後，可以發送與指令集相符的查詢命令給人機介面1。若整合單元11判斷此查詢命令與指令集相符，即可接受遠端電子裝置2的查詢請求。

一般來說，人機介面1的螢幕中包含了與操作相關的元件(即，控件4)以及與操作無關的元件(例如Logo、圖案、顏色、聯絡資訊、說明性文字等)。本發明與相關技術的技術差異在於，本發明的操作系統不將人機介面1的整個 螢幕畫面複製並傳送至遠端電子裝置2上進行顯示，而是通過整合單元11擷取出與操作相關的元件(即，控件4)的資訊，並且僅傳送這些與操作相關的資訊至遠端電子裝置2。換句話說，會經由交握程序(Hand-shaking)被傳送至遠端電子裝置2的資料，只有和人機介面1上可以被操作，並可產生操作行為的元件相關的資料。

遠端電子裝置2在接收上述資訊後，會經由轉譯軟體21來進行處理及優化，以產生對應的指令介面並提供給使用者進行參考。使用者在參考了所述指令介面後，即可進行對應的操作行為。通過本發明的上述技術方案，可以克服傳統通過網頁提供操作介面時需增加額外的設計成本的問題，並克服低成本、硬體能力弱的設備不適用VNC軟體進行畫面分享的問題。

請同時參閱圖2，為本發明的遠端操作系統示意圖的第一具體實施例。人機介面1基於原始設計的專案而具備了許多控件4，於一實施例中，整合單元11是將人機介面1的螢幕10上顯示的一或多個控件4的控件資訊傳送至遠端電子裝置2。遠端電子裝置2接收了所述控件資訊後，由轉譯軟體21對控件資訊進行轉譯程序，以產生對應的操作關聯資訊5，並且提供給使用者。於圖2的實施例中，轉譯軟體21將所產生的操作關聯資訊5顯示於遠端電子裝置2的螢幕20上，但並不以此為限。

本發明中，轉譯軟體21可以依據遠端電子裝置2的硬體能力來決定控件資訊在遠端電子裝置2上的呈現方式，並且再依據此呈現方式來執行所述轉譯程序。例如，若遠端電子裝置2是不具備螢幕的遙控器，則轉譯軟體21可以將控件資訊轉譯為語音形式的操作關聯資訊5，並通過語音方式於遙控器上播放所述操作關聯資訊5。若遠端電子裝置2為具備一般螢幕或觸控螢幕的 電子裝置，則轉譯軟體21可以將控件資訊轉譯為文字、圖形、語音或其組合等形式的操作關聯資訊5，並通過螢幕或語音方式於電子裝置上提供所述操作關聯資訊5。

惟，上述僅為本發明的部分具體實施範例，但操作關聯資訊5的形式並不以上述為限。

具體地，於使用本發明的操作系統時，使用者仍然可以查看人機介面1的螢幕10，因此遠端電子裝置2所提供的操作關聯資訊5，只要能夠令使用者瞭解人機介面1上各個控件4的內容，以及其可進行的操作行為即可，而不需限制操作關聯資訊5的呈現方式。

值得一提的是，所述控件資訊主要包括了控件4的控件類型(即，控件4的屬性)以及控件描述(包括控件4的名稱、功能提示或選單內容等)。本發明中，轉譯軟體21主要是基於一個控件4的控件類型及控件描述來執行轉譯程序，並產生此控件4所對應的操作關聯資訊5。本發明中，轉譯軟體21通過所接收的所有控件4的操作關聯資訊5來組成一個指令介面，並且再通過遠端電子裝置2來提供此指令介面給使用者進行操作。

於產生了操作關聯資訊5後，轉譯軟體21可持續監控(monitor)遠端電子裝置2，並判斷遠端電子裝置2是否接收到針對任一個控件4所進行的操作行為。當遠端電子裝置2接受針對一個控件4所進行的操作行為時，轉譯軟體21將此操作行為轉譯為對應的控件操作指令，並回傳給人機介面1。

於圖2的實施例中，遠端電子裝置2是以具備觸控螢幕的平板電腦為例，而多個操作關聯資訊5是以文字與圖形(即，方框)之組合的形式顯示於觸控螢幕上，以描述人機介面1上的對應控件4。然而，圖2所示者僅為 本發明的其中一種實施例，本發明中對於操作關聯資訊5的顯示方式並不以圖2所示者為限。

於圖2的實施例中，所述針對一個特定控件4所進行的操作行為，指的是在觸控螢幕上直接觸碰用來描述此特定控件4的操作關聯資訊5的行為。於其他實施例中，所述操作行為亦可為通過鍵盤或滑鼠選取用來描述此特定控件4的操作關聯資訊5的行為，或是通過語音指令選擇此特定控件4的行為等，但不以此為限。

具體地，本發明的操作系統是通過遠端電子裝置2及轉譯軟體21來轉換、擴充使用者對於人機介面1的操作行為。如上所述，基於遠端電子裝置2的硬體能力，使用者可以在參考了遠端電子裝置2提供的操作關聯資訊5後，以直接觸控的方式進行操作、以使用鍵盤、滑鼠等輸入介面的方式進行操作，或是以語音方式進行操作，以令遠端電子裝置2產生對應的控件操作指令。

當人機介面1從遠端電子裝置2接收控件操作指令後，整合單元11即可基於所接收的控件操作指令來觸發人機介面1上的對應控件4。藉此，可以模擬使用者直接在人機介面1上觸發此控件4的操作行為。

如圖1所示，本發明的轉譯軟體21主要可包含遠端命令處理模組211及介面操作轉譯模組212。具體地，轉譯軟體21記錄了電腦可執行程式碼，當遠端電子裝置2的處理器執行了電腦可執行程式碼後，可基於所執行的功能而將轉譯軟體21虛擬分割成遠端命令處理模組211及介面操作轉譯模組212。換句話說，遠端命令處理模組211及介面操作轉譯模組212為軟體模組。

於一實施例中，遠端命令處理模組211用以在遠端電子裝置2與人機介面1建立連線後，提供人機介面1與遠端電子裝置2間的協議通訊能力。藉此，遠端電子裝置2可通過遠端命令處理模組211來與人機介面1傳輸控件資訊以及控件操作指令。

於一實施例中，介面操作轉譯模組212用以對遠端電子裝置2的狀態進行監控，以將人機介面1提供的控件資訊轉譯成遠端電子裝置2可以呈現的操作關聯資訊5。並且，介面操作轉譯模組212監控使用者在遠端電子裝置2上進行的操作行為，並且把操作行為轉譯為人機介面1可以理解的控件操作指令。

值得一提的是，部分類型的人機介面1會基於操作需求，被配置為複數頁面(例如第一頁、第二頁及第三頁等)，其中各個頁面分別具有一或多個對應至不同功能的控件4。並且，人機介面1上還可依據頁面的數量配置對應的實體的切換按鈕3。於圖2的實施例中，當對應至第一頁的切換按鈕3被按壓時，人機介面1切換顯示第一頁的一或多個控件4；當對應至第二頁的切換按鈕3被按壓時，人機介面1切換顯示第二頁的一或多個控件4，以此類推。

於一實施例中，當人機介面1接收遠端電子裝置2發出的查詢指令時，整合單元11僅會擷取人機介面1的當前頁面中的一或多個控件4的控件資訊，並且將這些控件資訊傳送至遠端電子裝置2。藉此，可以達到人機介面1與遠端電子裝置2在資訊提供上的一致性。

續請參閱圖1至圖3，其中圖3為本發明的遠端操作方法流程圖的第一具體實施例。本發明進一步提供了一種人機介面的遠端操作方法(下面將 於說明書中簡稱為操作方法)，所述操作方法主要應用於如圖1、圖2所示的操作系統。

如圖3所示，首先令人機介面1與使用者所使用的遠端電子裝置2進行連線。當使用者對遠端電子裝置2進行操作後(例如觸發遠端電子裝置2執行轉譯軟體21)，人機介面1可經由傳輸單元12接收遠端電子裝置2發出的查詢指令(步驟S10)。

當人機介面1收到查詢指令時，可知遠端電子裝置2欲針對人機介面1提供對應的指令介面給使用者進行操作。此時，由人機介面1的整合單元11基於查詢指令取得人機介面1中至少一個控件4的控件資訊(步驟S12)。於一實施例中，所述控件資訊至少包括控件4的控件類型及控件描述。

如前文所述，人機介面1可能被配置為具有複數頁面，其中各個頁面分別具有一或多個控件4。於步驟S12中，整合單元11主要是在接收查詢指令時，取得人機介面1的螢幕10當前顯示的頁面中的所有控件4的控件資訊，但並不以此為限。

具體地，除了前述控件類型以及控件描述之外，所述控件資訊還可以選擇性地包括例如頁面識別碼、頁面名稱、頁面說明、控件識別碼及控件補充資訊等人機介面1即有的資訊。藉由將該些資訊夾帶在控件資訊中並提供給遠端電子裝置2，可以令轉譯軟體21轉譯後產生的指令介面更為豐富。藉此，確保使用者可以藉由遠端電子裝置2提供的指令介面(即，控件操作資訊5)進行正確的操作。

步驟S12後，整合單元11將所取得的控件資訊傳送至遠端電子裝置2(步驟S14)。具體地，整合單元11主要是基於人機介面1的傳輸單元12 所支援的通訊協定來對控件資訊進行處理，再經由傳輸單元12將處理後的控件資訊傳送至遠端電子裝置2。

於一實施例中，傳輸單元12可為序列埠、串列埠、無線傳輸單元或網路線接口等，所述通訊協定可為RS-232、RS-485、Bluetooth、Ethernet、Wi-Fi或CAN bus等，但不以此為限。

步驟S14後，遠端電子裝置2從人機介面1接收控件資訊(步驟S16)。接著，遠端電子裝置2通過轉譯軟體21對控件資訊進行轉譯程序，以產生對應的操作關聯資訊5，並進一步提供操作關聯資訊5(步驟S18)。

具體地，使用者在使用遠端電子裝置2與人機介面1進行連線後，即可持續確認遠端電子裝置2的更新，即，確認遠端電子裝置2是否基於人機介面1的內容而提供操作關聯資訊5。藉此，使用者可以使用遠端電子裝置2來進一步對人機介面1進行操作。

於一實施例中，遠端電子裝置2通過轉譯軟體21中的遠端命令處理模組211來從人機介面1接收控件資訊，並通過轉譯軟體21中的介面操作轉譯模組212來對控件資訊進行轉譯程序，但並不以此為限。

於一實施例中，轉譯軟體21基於固定策略執行所述轉譯程序。意即，無論遠端電子裝置2的硬體能力如何，轉譯軟體21皆採用固定方式對控件資訊進行轉譯，以產生固定形式的操作關聯資訊5，並且以固定的呈現方式來提供所產生的操作關聯資訊5。例如，無論遠端電子裝置2是否具備觸控螢幕，轉譯軟體21都將控件資訊轉譯成語音形式的操作關聯資訊5，並以語音方式播放所產生的操作關聯資訊5。並且，轉譯軟體21接受使用者的語音操作。

於另一實施例中，轉譯軟體21於步驟S18中是依據遠端電子裝置2本身的硬體能力來決定控件資訊於遠端電子裝置2上的呈現方式，並且再依據所決定的呈現方式對控件資訊執行對應的轉譯程序。

舉例來說，若遠端電子裝置2不具備螢幕，轉譯軟體21可決定以語音方式播放控制資訊，因此將控件資訊轉譯為語音形式的操作關聯資訊5。再例如，若遠端電子裝置2具備觸控螢幕，轉譯軟體21可決定以可觸控圖形的方式顯示控制資訊，因此將控件資訊轉譯為文字與圖形之組合的形式的操作關聯資訊5。惟，上述僅為本發明的部分具體實施範例，但並不以此為限。

如上所述，基於不同的硬體能力，轉譯軟體21可以在轉譯後，以文字、圖形、語音或其組合等方式來呈現操作關聯資訊5，但不以此為限。

於遠端電子裝置2提供了操作關聯資訊5後，轉譯軟體21可持續監控遠端電子裝置2的狀態，並判斷遠端電子裝置2是否接受到外部針對任一控件4所進行的操作行為(步驟S20)。本發明中，所述操作行為可例如為直接觸控、通過輸入介面進行選取或通過語音指令進行選取等，但不以此為限。

若於步驟S20中判斷遠端電子裝置2確實接受到外部針對任一控件4所進行的操作行為，則轉譯軟體21將此操作行為轉譯為與這個控件4相呼應的控件操作指令，並回傳至人機介面1(步驟S22)。

具體地，人機介面1於步驟S14中將控件資訊傳送給遠端電子裝置2後，即可進行等待，並持續判斷是否接收遠端電子裝置2發送的控件操作指令。

請同時參閱圖4A、圖4B及圖4C，其中圖4A至圖4C分別為本發明的控件示意圖的第一具體實施例至第三具體實施例。

本發明中，人機介面1的控件4的控件類型可為按鍵控件(如圖4A所示的按鍵控件41)、選單控件(如圖4B所示的選單控件42)或輸入控件(如圖4C所示的輸入控件43)，而控件描述則為此控件4於人機介面1中的名稱、功能提示或選單內容等。

圖4A的實施例揭露了兩個按鍵控件41，並且兩個按鍵控件41的控件描述分別為「確定」與「取消」。於此實施例中，當轉譯軟體21對控件資訊進行了轉譯程序後，會產生可以表示確定與取消之選擇功能的操作關聯資訊5。使用者在參考了操作關聯資訊5後，可得知人機介面1的當前畫面中包含了「確定」與「取消」這兩個按鍵控件41。

於人機介面1上，使用者對於按鍵控件41的操作包括按下(Press)、釋放(Release)及點擊(Click)。因此當遠端電子裝置2接受到一個針對按鍵控件41所進行的操作行為時，轉譯軟體21將此操作行為轉譯為對應至此按鍵控件41的壓下操作指令、釋放操作指令或點擊操作指令。

圖4B的實施例揭露了一個選單控件42，並且選單控件42的控件描述為「中子類型」。於此實施例中，當轉譯軟體21對控件資訊進行了轉譯程序後，會產生可以表示中子類型之選單功能的操作關聯資訊5。使用者在參考了操作關聯資訊5後，可得知人機介面1的當前畫面中包含了「中子類型」的選單控件42。

於人機介面1上，使用者對於選單控件42的操作包括選取(Select)。因此當遠端電子裝置2接受到一個針對選單控件42所進行的操作行為時，轉譯軟體21將此操作行為轉譯為對應至選單控件42的選取操作指令。

於一實施例中，遠端電子裝置2所接收的控件資訊中還包括選單控件42的內容資訊(例如圖4B中的“選項1”、“選項2”等選單內容)。當使用者針對一個選單控件42進行操作後，轉譯軟體21可以直接提供此選單控件42的選單內容(例如顯示在螢幕20上，或通過語音方式播放)，以供使用者進行進一步的選取操作。

於另一實施例中，當使用者針對一個選單控件42進行了操作後，轉譯軟體21將此操作行為轉換為對應的控件操作指令並回傳給人機介面1，並藉由這個控件操作指令向人機介面1請求這個選單控件42的選單內容(容後詳述)。於此實施例中，操作系統可以有效限制控件資訊的資料量大小，以確保人機介面1與遠端電子裝置2間的通訊順暢。

圖4C的實施例揭露了一個輸入控件43，並且輸入控件43的控件描述為「設定值」。於此實施例中，當轉譯軟體21對控件資訊進行了轉譯程序後，會產生可以表示設定值之輸入功能的操作關聯資訊5。使用者在參考了操作關聯資訊5後，可得知人機介面1的當前畫面中包含了「設定值」的輸入控件43。

於人機介面1上，使用者對於輸入控件43的操作包括輸入(Input)。因此當遠端電子裝置2接受到一個針對輸入控件43的操作行為時，轉譯軟體21可進一步提供一個對應的輸入介面431。當使用者通過輸入介面431輸入對應的數值時(例如通過鍵盤輸入或通過語音方式輸入)，轉譯軟體21將使用者的輸入行為及輸入內容轉譯為對應至此輸入控件43的輸入操作指令。

惟，上述僅為本發明的部分具體實施範例。本發明的操作系統及操作方法實可適用於現有人機介面1可支援的各種控件類型，而不以圖4A至圖4C所示的按鍵控件41、選單控件42及輸入控件43為限。

回到圖3。步驟S22後，人機介面1可通過傳輸單元12接收遠端電子裝置2回傳的控件操作指令。此時，整合單元11依據控件操作指令觸發人機介面1中對應的控件4(步驟S24)。藉此，可以將使用者對遠端電子裝置2進行的操作行為模擬成使用者直接對人機介面1上的控件4進行觸控的操作行為。

具體地，使用者於步驟S20對遠端電子裝置2進行了所述操作行為後，可持續確認人機介面1的畫面是否更新。藉此，使用者可判斷人機介面1是否觸發了與使用者的操作行為相對應的控件4。

於一實施例中，使用者可以在完成所述操作行為後，確認人機介面1在操作行為作出後的畫面的更新，藉此判斷是否要通過遠端電子裝置2進行下一次的操作行為。於另一實施例中，使用者可以在完成所述操作行為後，持續監看人機介面1定時刷新畫面，藉此獲得人機介面1在觸發了對應的控件4後所持續提供的相關資訊。

於第一實施例中，轉譯軟體21對人機介面1上的第一按鍵控件進行轉譯並產生第一操作關聯資訊，並且使用者參考了第一操作關聯資訊後，針對第一按鍵控件進行了點擊操作。於此實施例中，整合單元11在步驟S24中將會依據所接收的控件操作指令點擊第一按鍵控件。

於第二實施例中，轉譯軟體21對人機介面1上的第一選單控件進行轉譯並產生第二操作關聯資訊，並且使用者參考了第二操作關聯資訊後， 針對第一選單控件進行了選取操作。於此實施例中，整合單元11在步驟S24中將會依據所接收的控件操作指令選取第一選單控件。

於第三實施例中，轉譯軟體21對人機介面1上的第一輸入控件進行轉譯並產生第三操作關聯資訊，並且使用者參考了第三操作關聯資訊後，針對第一輸入控件進行了輸入操作。於此實施例中，整合單元11在步驟S24中將會依據所接收的控件操作指令將對應資料添加至第一輸入控件。

惟，上述僅為本發明的部分具體實施範例，但並不以此為限。

本發明中，轉譯軟體21會持續判斷使用者的操作是否完成。例如，若使用者針對一個選單控件42進行了點擊操作，則轉譯軟體21返回步驟S12，以從人機介面1取得這個選單控件42的選單內容，並且等待使用者進一步的選取操作。再例如，若使用者針對一個輸入控件43進行了點擊操作，則轉譯軟體21返回步驟S12，以從人機介面1取得這個輸入控件43可被輸入的內容，並且等待使用者進一步的輸入操作。

若判斷使用者的操作已完成，則轉譯軟體21可結束本發明的操作方法。例如，轉譯軟體21可控制遠端電子裝置2結束與人機介面1的連線。

續請同時參閱圖1至圖5，其中圖5為本發明的遠端操作示意圖的第一具體實施例。圖5用以說明使用者通過遠端電子裝置2對人機介面1上的按鍵控件41進行操作時的資訊流。

於圖5的實施例中，人機介面1的螢幕10中具有兩個按鍵控件41。當人機介面1接收遠端電子裝置2查詢指令時，由整合單元11取得按鍵控件41的控件資訊，並傳送至遠端電子裝置2。遠端電子裝置2通過轉譯軟體 21對控件資訊進行轉譯程序，以產生對應的操作關聯資訊5並顯示於螢幕20上。

使用者查看了遠端電子裝置2上顯示的操作關聯資訊5後，可基於操作關聯資訊5來針對特定的按鍵控件41進行操作。例如，於圖5的實施例中，使用者可通過“按下YES”的語音指令來發出操作輸入6。於接收使用者的操作輸入6後，轉譯軟體21基於操作關聯資訊5對操作輸入6進行處理，以將操作輸入6轉譯為對應至控件描述為“YES”的按鍵控件41的控件操作指令。於圖5的實施例中，所述控件操作指令以“EVT_KEY_PRESS_按鍵1”為例，其中“按鍵1”可例如為此控件操作指令對應的按鍵控件41的控件編號，但不加以限定。

具體地，所述控件操作指令為此按鍵控件41在人機介面1中的原始指令。在人機介面1接收遠端電子裝置2發送的控件操作指令後，整合單元11可依據控件操作指令直接觸發對應的按鍵控件41，使得人機介面1執行此按鍵控件41的對應功能。藉此，可以模擬使用者直接於人機介面1上觸發此按鍵控件41的操作行為。

如上所述，本發明將使用者在人機介面1上的觸控行為轉換為在遠端電子裝置2上的語音輸入行為，藉此擴充人機介面1的操作彈性。

續請同時參閱圖1至圖6，其中圖6為本發明的遠端操作示意圖的第二具體實施例。圖6用以說明使用者通過遠端電子裝置2對人機介面1上的選單控件42進行操作時的資訊流。

於圖6的實施例中，人機介面1的螢幕10中具有兩個選單控件42。當人機介面1接收遠端電子裝置2查詢指令時，由整合單元11取得選單 控件42的控件資訊，並傳送至遠端電子裝置2。遠端電子裝置2通過轉譯軟體21對控件資訊進行轉譯程序，以產生對應的操作關聯資訊5並顯示於螢幕20上。

使用者查看了遠端電子裝置2中的操作關聯資訊5後，可基於操作關聯資訊5來點擊特定的選單控件42。例如，於圖6的實施例中，使用者可觸控遠端電子裝置2的螢幕20來實現“點選下拉選單”的操作輸入6。於接收使用者的操作輸入6後，轉譯軟體21基於操作關聯資訊5來對操作輸入6進行處理，以將操作輸入6轉譯為對應至控件描述為“中子/絞牙入[1]”的選單控件42的控件操作指令。於圖6的實施例中，所述控件操作指令以“EVT_KEY_PRESS_選單1”為例，其中“選單1”可例如為此控件操作指令對應的選單控件42的控件編號，但不加以限定。

所述控件操作指令為此選單控件42在人機介面1中的原始指令。當人機介面1接收遠端電子裝置2發送的控件操作指令後，整合單元11可依據控件操作指令來點擊對應的選單控件42。藉此，可以模擬使用者直接於人機介面1上觸碰此選單控件42的操作行為。

當選單控件42被點擊後，人機介面1依照指令開啟選單控件42並顯示選單控件42的選單內容。接著，整合單元11將選單內容做為此選單控件42的控件資訊的一部分，並且將包含了選單內容的控件資訊傳送至遠端電子裝置2。

遠端電子裝置2接收更新的控件資訊後，再次通過轉譯軟體21對控件資訊進行轉譯程序，以更新原本顯示的操作關聯資訊5。如圖6所示， 更新後的操作關聯資訊5顯示了此選單控件42的所有選單內容，包括“預頂出”、“中子五”、“中子六”等。

使用者查看了遠端電子裝置2中的操作關聯資訊5後，可基於操作關聯資訊5來選取選單控件42中的特定選單內容。例如，使用者可觸控遠端電子裝置2的螢幕20，以實現“點選中子六”的操作輸入6。於接收使用者的操作輸入6後，轉譯軟體21基於操作關聯資訊5來對操作輸入6進行處理，以將操作輸入6轉譯為對應的控件操作指令，並且回傳給人機介面1。於圖6的實施例中，所述控件操作指令以“EVT_KEY_SELECT_中子六”為例。

當人機介面1接收遠端電子裝置2發送的控件操作指令後，整合單元11可依據控件操作指令來於此選單控件42中選取對應的選單內容(即，中子六)。藉此，模擬使用者直接於人機介面1上選取此選單控件42中的選項“中子六”的操作行為。

如上所述，本發明的操作系統及操作方法是先建立人機介面1與遠端電子裝置2間的連線後，再進行控件資訊及控件操作指令的傳送。為了確保資料的安全性，本發明的操作系統及操作方法可進一步包括開始傳送資料前的連線保護機制。

請參閱圖1至圖7，其中圖7為本發明的連線驗證流程圖的第一具體實施例。

如圖7所示，當使用者有對人機介面1進行操作的需求時，可使用遠端電子裝置2來向人機介面1發出連線請求(步驟S30)。人機介面1收到遠端電子裝置2的連線請求後，可以即時產生對應的通行碼，並提供給遠端電子裝置2(步驟S32)。

於一實施例中，人機介面1於步驟S32中可以產生一個記載了通行碼的二維條碼，並且將二維條碼顯示在人機介面1的螢幕10上。於另一實施例中，人機介面1於步驟S32中產生了通行碼(例如為數字、文字、符號及其組合)後，可以直接顯示在螢幕10上，或是以訊息方式發送給遠端電子裝置2。

步驟S32後，遠端電子裝置2即可輸入通行碼(步驟S34)。於一實施例中，遠端電子裝置2可以掃描人機介面1顯示在螢幕10上的二維條碼，以輸入通行碼。於另一實施例中，遠端電子裝置2可自動或由使用者手動將人機介面1提供的通行碼輸入對應的驗證介面中，但不加以限定。

於輸入了通行碼後，遠端電子裝置2通知人機介面1通行碼輸入完成的事實(步驟S36)。此時，人機介面1可以對遠端電子裝置2進行驗證，並且於驗證通過後建立與遠端電子裝置2之間的連線(步驟S38)。

藉由所述通行碼的使用，可以避免有心人士利用未經驗證的設備於遠端對人機介面1進行不當操作，導致使用者遭受損害的風險。

如上所述，本發明藉由傳送人機介面的控件資訊至遠端電子裝置，並令使用者在遠端電子裝置上下達操作指令的技術方案，可以在使用最低成本及最小硬體需求的情況下，達到轉換並擴充使用者對於人機介面的操作行為的目的。

以上所述僅為本發明之較佳具體實例，非因此即侷限本發明之專利範圍，故舉凡運用本發明內容所為之等效變化，均同理皆包含於本發明之範圍內，合予陳明。

S10~S24:操作步驟

Claims (15)

1. 一種人機介面的遠端操作方法，應用於與一遠端電子裝置連接的一人機介面，該遠端電子裝置運行一轉譯軟體，該人機介面的一螢幕呈現多個控件及多個與操作無關的元件，並且該遠端操作方法包括：步驟a)該遠端電子裝置傳送一查詢指令至該人機介面；步驟b)該人機介面依據該查詢指令，取得該螢幕呈現的該多個控件；步驟c)該人機介面傳送對應該查詢指令的該多個控件的多個控件資訊至該遠端電子裝置；步驟c)該轉譯軟體將該多個控件資訊轉譯為多個操作關聯資訊；步驟d)該轉譯軟體將該多個操作關聯資訊組成一指令介面，使該遠端電子裝置呈現該指令介面，其中該人機介面的該螢幕呈現的畫面不同於該遠端電子裝置呈現的該指令介面；步驟e)該遠端電子裝置接受針對該多個控件的一者所進行的一操作行為；步驟f)該轉譯軟體將該操作行為轉譯為對應的一控件操作指令並傳送至該人機介面；及步驟g)該人機介面依據該控件操作指令觸發該多個控件的一者。
2. 如請求項1所述的遠端操作方法，其中該人機介面被配置有複數頁面，該複數頁面的每一者分別具有該多個控件的至少一者，該步驟b)是取得該人機介面的該螢幕呈現該複數頁面的一當前頁面中的該多個控件的該多個控件資訊。
3. 如請求項1所述的遠端操作方法，其中該多個控件資訊包括該多個控件的每一者的一控件類型及一控件描述，該控件類型為一按鍵控件、一選單控件或一輸入控件，該控件描述為該控件於該人機介面中的名稱、功能提示或選單內容。
4. 如請求項3所述的遠端操作方法，其中該步驟f)是將該操作行為轉譯為對應至該按鍵控件的一壓下操作指令(Press)、一釋放操作指令(Release)或一點擊操作指令(Click)、對應至該選單控件的一選取操作指令(Select)或對應至該輸入控件的一輸入操作指令(Input)。
5. 如請求項1所述的遠端操作方法，其中該步驟a)是該遠端電子裝置依據一指令集傳送一查詢指令至該人機介面，該步驟b)包括步驟b0)該人機介面判斷該查詢指令與該指令集相符以接受該查詢指令。
6. 如請求項1所述的遠端操作方法，其中該操作關聯資訊以文字、圖形、語音或其組合進行呈現。
7. 如請求項1所述的遠端操作方法，其中該步驟a)之前更包括下列步驟：步驟a01)由該遠端電子裝置向該人機介面請求連線；步驟a02)該步驟a01)後，由該人機介面產生並提供一通行碼；步驟a03)該遠端電子裝置輸入該通行碼；步驟a04)該步驟a03)後，由該遠端電子裝置通知該人機介面；及步驟a05)於該人機介面驗證於成功後建立該人機介面與該遠端電子裝置間的連線。
8. 一種人機介面的遠端操作系統，包括： 一轉譯軟體，運行於一遠端電子裝置中；一人機介面，通過一傳輸單元連接該遠端電子裝置，並且具有一螢幕及一整合單元，該螢幕被配置為呈現多個控件及多個與操作無關的元件，該整合單元被配置為在接收一查詢指令時取得該螢幕呈現的該多個控件的多個控件資訊，並通過該傳輸單元對應的一通訊協定將該多個控件資訊傳送至該遠端電子裝置；其中，該轉譯軟體被配置為對該遠端電子裝置接收的該多個控件資訊進行一轉譯程序以產生對應的多個操作關聯資訊，並將該多個操作關聯資訊組成在該遠端電子裝置上呈現的一指令介面，並且於接受針對該多個控件的一者所進行的一操作行為時，將該操作行為轉譯為對應的一控件操作指令並傳送至該人機介面，其中該人機介面的該螢幕呈現的畫面不同於該遠端電子裝置呈現的該指令介面；其中，該整合單元被配置為在接收該控件操作指令時觸發該多個控件的一者。
9. 如請求項8所述的遠端操作系統，其中該轉譯軟體被該遠端電子裝置執行後產生一遠端命令處理模組及一介面操作轉譯模組，該遠端命令處理模組提供該人機介面與該遠端電子裝置間的一協議通訊能力以傳輸該多個控件資訊及該控件操作指令，該介面操作轉譯模組將該多個控件資訊轉譯為該多個操作關聯資訊並將該操作行為轉譯為該控件操作指令。
10. 如請求項9所述的遠端操作系統，其中該多個控制資訊包括該多個控件的每一者的一控件類型及一控件描述，該控件類型為一按鍵控件、 一選單控件或一輸入控件，該控件描述為該控件於該人機介面中的名稱、功能提示或選單內容。
11. 如請求項10所述的遠端操作系統，其中介面操作轉譯模組將該操作行為轉譯為對應至該按鍵控件的一壓下操作指令(Press)、一釋放操作指令(Release)或一點擊操作指令(Click)、對應至該選單控件的一選取操作指令(Select)或對應至該輸入控件的一輸入操作指令(Input)。
12. 如請求項9所述的遠端操作系統，其中該遠端電子裝置依據一指令集傳送一查詢指令至該人機介面，該整合單元判斷該查詢指令與該指令集相符以接受該查詢指令。
13. 如請求項12所述的遠端操作系統，其中該多個操作關聯資訊以文字、圖形、語音或其組合進行呈現。
14. 如請求項8所述的遠端操作系統，其中該人機介面被配置有複數頁面，該複數頁面的每一者分別具有該多個控件的至少一者，該整合單元於接收該查詢指令時，取得該人機介面的該螢幕呈現該複數頁面的一當前頁面中的該多個控件的該多個控件資訊。
15. 如請求項8所述的遠端操作系統，其中該通訊協定為RS-232、RS-485、藍牙、乙太網路、Wi-Fi或控制器區域網路匯流排(Controller Area Network Bus,CAN bus)。

Images