TW202344356A

TW202344356A - 用於機器之自動化操作之方法、設備及系統

Info

Publication number: TW202344356A
Application number: TW111149306A
Authority: TW
Inventors: 昂德瑞克拉吉切克
Original assignee: 捷克商Ｙ軟股份公司
Priority date: 2021-12-21
Filing date: 2022-12-21
Publication date: 2023-11-16
Also published as: WO2023118962A1; CN118660789A; AU2022421029A1; US20230191616A1

Abstract

本發明揭示一種用於操作一機器之機器人系統，其包含：一臂；一致動器，其耦合至該臂且經組態以在該致動器與該機器之一互動媒體實體介接時指示該互動媒體之一變化；一視覺源，其經組態以提供一視域中該機器之一影像；及一處理器，其耦合至該臂及該視覺源。自該視域獲得之影像可用於提取關於該機器之資訊且該資訊可用於操作該臂致動機器之該互動媒體且使用該機器執行實體任務。

Description

用於機器之自動化操作之方法、設備及系統

本申請案大體上係關於用於自動化一機器之操作且更明確言之，使用一機器人系統自動化一機器之操作之方法、系統及設備。

通常手動操作之一機器之操作之自動化可為一困難且複雜程序，因為其需要使用自動化系統來與經設計以供一人類操作者使用之介面互動。

一種用於操作一機器(其具有含用於使用該機器執行一實體任務之一互動媒體之一介面)之機器人系統可包含：一臂；一致動器，其耦合至該臂以在該致動器與該互動媒體介接時指示該互動媒體之一變化；一視覺源，其用於提供一視域中該機器之一影像；一處理器，其耦合至該臂及該視覺源；及一記憶體，其耦合至該處理器且經組態以儲存電腦可執行程式。該等電腦可執行程式可包含指令，該等指令在由該處理器執行之後：自該影像提取指示用於識別該視域內之該介面之一度量之資訊；基於指示該互動媒體之該變化之來自該致動器之信號來提取指示該互動媒體之一特性之資訊；及操作該臂致動該互動媒體以使用該機器執行該實體任務。

該臂可為具有一近端及一遠端之一機械臂。

該致動器可耦合至該臂。例如，該致動器可耦合至該臂之該遠端。該致動器可包含耦合至其遠端之一壓力感測器，其藉由感測該致動器之該遠端與該互動媒體介接時之一電阻變化來指示該變化。儘管結合一壓力感測器描述，但本技術中可用之任何適合感測器可與本文中所揭示之實施例一起使用(例如一光學感測器)。該壓力感測器及/或該光學感測器可為一數位感測器。此外，該壓力感測器可包含一壓阻感測器。

該處理器可基於指示由該壓力感測器指示之該電阻變化之來自該壓力感測器之信號來提取指示該互動媒體之該特性之資訊。

該視覺源可包含一攝影機，諸如一紅外攝影機。例如，該攝影機可耦合至該臂。該攝影機可經組態以圍繞該機器旋轉以獲得該機器之影像。此外，該視覺源可包含儲存關於該視域之視覺資訊之一源。一般而言，可使用本技術中可用之任何視覺源。例如，該視覺源可包含一超音波攝影機、一超音波感測器及LIDAR之至少一者。

此外，該視覺源可經由一通信網路耦合至該機器人系統。例如，該視覺源可經組態以提供該視域之一視訊串流。替代地或另外，該視覺源可包含預捕捉影像。

此外，該臂可經組態以在該機器附近之該視域中在兩個維度上移動。替代地或另外，該臂可經組態以在該機器附近之該視域中在三個維度上移動。該視域可為三維視域。

該致動器可經組態以亦在除該臂可經組態以在其上移動之維度之外的一維度上移動。該臂可包含在一或多個關節處連接之一或多個區段，其中各區段可經組態以相對於其各自關節相對於相鄰區段平移。該臂可進一步包含在一或多個關節處連接至一或多個區段，其中各區段可經組態以相對於其各自關節相對於相鄰區段旋轉。此外，該臂可經組態以在該機器附近之該視域中旋轉。

該機器人系統可包含經組態以自兩個或更多個視域獲得該機器之兩個或更多個影像之一或多個額外攝影機。該兩個或更多個影像可經組態以形成一影像串流。該影像串流可提供該機器之三維影像。

該記憶體可經組態以儲存用於判定用於識別該介面之該度量之資訊。該資訊可包含有關該視域內該機器之一維度之預定資料。該資訊可包含有關該視域內該介面之一維度之預定資料。該度量可包含該視域內該機器之一維度。例如，該度量可包含該視域內該機器之位置。此外，該度量可包含該視域內該機器之定向。替代地或另外，該度量可包含該視域內該介面之位置。此外，該度量可包含該視域內該介面之一邊界。

該處理器可進一步識別該互動媒體之一維度。該特性可包含該互動媒體之一維度。例如，該特性可包含該互動媒體之一色彩。替代地或另外，該特性可包含該互動媒體之一紋理。此外，該特性可包含該互動媒體之一視覺特性。此外，該特性可包含呈現於該互動媒體上之文字。

該系統可將該度量儲存於該記憶體中。例如，該系統可將該特性儲存於該記憶體中。

此外，該處理器可連接至一通信網路且經組態以經由該通信網路自一遠端實體接收指令。

該系統可調整該攝影機以獲得一額外視域中之一額外影像。此外，該系統可提取包含用於識別該視域內之該介面之該度量之該資訊，分析該提取資訊以判定是否需要用於識別該介面之額外資訊，及在需要該額外資訊時調整該攝影機以獲得該額外視域內之該額外影像。調整該攝影機可包含調整該攝影機之一角度。

該機器人系統可進一步包含在執行之後可在獲得該等額外影像之前調整由光發射器發射之光之一強度之指令。該系統可提取包含用於識別該視域內之該介面之該度量之該資訊，分析該提取資訊以判定是否需要用於識別該介面之額外資訊，及在需要該額外資訊時在一不同時間獲得該等額外影像。此外，該系統可基於用於識別該視域內之該介面或該互動媒體之該影像中可用之資訊量來分析獲得影像且給各影像評分。此外，該系統可基於準確偵測該互動媒體之該特性之一概率來給各影像評分。該系統亦可排除具有低於一預定分數之一分數之影像用於識別該視域內之該介面或該互動媒體。此外，該系統可採用具有高於一預定分數之一分數之影像用於識別該視域內之該介面或該互動媒體。

該記憶體可經組態以儲存關於用於識別該介面或該互動媒體之該度量之至少一者之先前驗證資料。該先前驗證資料可包含由該機器之一人類操作者提供之資料。另外或替代地，該先前驗證資料可包含經由該通信網路自該遠端實體提供之資料。該先前驗證資料可包含自該機器之一原始手冊及一線上資源之至少一者獲得之資料。該系統可分析該原始手冊或該線上資源之該至少一者以提取用於識別該介面或該互動媒體之資訊。

該先前驗證資料可包含一字符詞典。該字符詞典可包含一影像集合。該系統可經組態以使用自該影像及該壓力感測器獲得之用於識別該介面之該度量及該互動媒體之該特性來更新該字符詞典。該等指令可經組態以使用具有高於該預定分數之一分數之影像來更新該字符詞典。該等指令可藉由比較該影像與該先前驗證資料來給各影像評分。

該記憶體可經組態以儲存使用該互動媒體執行之該等實體任務之一清單。該記憶體可經組態以儲存來自該實體任務清單之各實體任務之一排名。該臂可由該處理器指導以基於賦予各任務之該排名來執行該等實體任務。具有一較高排名之一實體任務可在具有一較低排名之一實體任務之前執行。具有最高排名之實體任務可為使用該機器執行之一較佳任務。該機器人系統可進一步包含連接至該臂之該遠端以經由該互動媒體執行該實體任務之一致動臂。

該記憶體可經組態以儲存使用該機器且透過與該互動媒體互動執行之一實體任務庫。該處理器可自該實體任務庫選擇用於執行之實體任務。由該處理器執行之該等指令可進一步包含基於自先前操作該機器之一人類操作者獲得之資料來界定該實體任務清單。由該處理器執行之該等指令可進一步包含基於自該機器之一原始手冊及一線上資源之至少一者獲得之資料來界定該實體任務清單。

該處理器可經組態以回應於一語音命令而執行該等指令。該實體任務可包含抬起一重物、打開一門、放下該重物、推動該重物及滑動該重物之至少一者。該致動器可經組態以回應於與該互動媒體互動而記錄由該機器執行之一實體任務。該致動器可經組態以執行可透過與該互動媒體互動取得之每一動作且記錄回應於該動作而執行之實體任務。該等實體任務可記錄於一資料庫中。該資料庫可為一字符詞典。

該機器人系統可包含連接至該處理器以用於控制該機器人系統之一使用者介面。該使用者介面可包含用於引發該等電腦可執行程式執行之一圖形介面。該處理器可經組態以使用一影像處理方案來提取指示用於識別該視域內之該介面之該度量之該資訊。

該處理器可經組態以使用一影像處理方案來提取指示用於識別該視域內之該介面之該度量之該資訊，該影像處理方案接收該視域內該介面之先前驗證影像且採用一深度學習架構來識別該介面。該深度學習架構可包含監督式深度學習。替代地或另外，該深度學習架構可包含無監督深度學習。該深度學習架構可包含強化深度學習。該機器人系統可進一步包含基於來自該視覺源之一影像中可用於識別該機器或該互動介面之一資訊量來給該影像評分且可在該深度學習架構中使用具有高於一預定值之一分數之影像。

該機器人系統可進一步包含經組態以量測以下之至少一者之一性質之一或多個感測器：該機器、該互動元件及該視域。該機器人系統可進一步包含經組態以量測該視域內之光強度之一光學感測器且使用自該光感測器獲得之該光強度來提取用於識別該介面之該度量。該機器人系統可進一步包含經組態以量測該視域內之光強度之一光學感測器且該系統可基於該光強度調整該影像。

該機器人系統可進一步包含經組態以量測該機器周圍之一區域之一特徵之一感測器，且基於該量測特徵調整該提取資訊。該量測特徵可為眩光、可聽噪音、濕度及觸覺之至少一者。

該等指令在執行之後可比較該光強度與一預定臨限值且在該光強度小於該預定臨限值時引起該視覺源獲得該視域之一額外影像。該額外影像可在一不同時間獲得。該機器人系統可進一步包含與該光感測器耦合之一光發射器，其中該光感測器可回應於自該光發射器發射之光而量測在該視域中反射之該光強度。該光發射器可經組態以回應於該光強度小於該預定臨限值而發射光。

一種用於執行一機器(其具有含用於操作一機器之一互動媒體之一介面，該機器具有用於使用該機器執行一實體任務之一互動媒體)之機器人系統可包含：一臂，其經組態以在一第一維度上移動；一致動器，其耦合至該臂且經組態以在一第二維度上移動；一視覺源，其經組態以獲得該機器之一影像；一處理器，其耦合至該臂及該致動器；及一記憶體，其耦合至該處理器且經組態以儲存電腦可執行程式。該等可執行程式可包含指令，該等指令在由該處理器執行之後可：自該影像提取指示用於識別視域內之該介面之一度量之資訊；及基於該度量，在該介面附近在該第一維度上移動該臂，在該介面附近在該第二維度上移動該致動器，記錄該致動器在該第二維度上之一觀察變化；基於該觀察變化提取指示該互動媒體之一特性之資訊；及操作該互動元件致動該互動媒體以使用該機器執行該實體任務。

相關申請案本申請案主張2021年12月21日申請之美國臨時申請案第63/292,316號之權利及優先權，該案之全部教示以引用方式併入本文中。

本發明係關於用於使用一機器人系統操作一機器之方法、系統及設備。所揭示之方法、系統及設備可用於使用一機器執行及自動化各種功能及任務。例如，所揭示之方法、系統及設備可用於組態一臂(例如機械臂)執行通常由一人類操作者透過直接與機器實體互動來執行之任務及功能。

圖1A係根據本文中所揭示之態樣之一機器人系統100之一高階方塊圖。機器人系統100可用於使用一機器150執行一實體任務。實體任務一般可為可由一人類操作者經由與機器150互動(例如實體互動)(例如，按鈕)來執行之任何任務。機器150一般亦可為本技術中可用之任何適合機器。例如，機器150可為一自動售貨機、一影印機、一鍵盤、一平板電腦、一電話、一資訊服務機、一製造機、一保健裝置、一3d印表機等等。

機器150可包括機器150透過其來操作之一互動媒體152。例如，機器150可包括機器150之操作透過其來進行之一小鍵盤或一LCD螢幕。

互動媒體152一般可為本技術中已知/可用之任何適合互動媒體。例如，互動媒體152可為具有手動按鈕、一燈開關、一按鈕、一液晶顯示器(LCD)等等之一小鍵盤。互動媒體152可為一智慧型及/或觸敏互動媒體，諸如具有觸敏元件之一互動媒體(例如具有一數位按鈕之觸控螢幕介面)。另外或替代地，互動媒體152可包含具有手動致動之按鈕(例如具有實體回饋之按鈕、滾輪及保持開關)之一手動介面。

機器人系統100可進一步包含用於執行系統100之操作之一臂170。臂170一般可為可執行本文中所揭示之功能之任何適合機械元件。例如，臂170可為一機械臂及/或一支架。此外，臂170可使用本技術中已知之任何適合技術來固定、安裝及/或耦合至系統100。例如，臂170可固定/安裝至一框架172且經由框架172耦合至系統。

在一些實施方案中，臂170可包括附接至框架172之一近端173及經組態以與機器150實體介接(例如，經由互動媒體152)之一遠端175。臂170亦可經組態以在超過一個維度上移動以與機器150及互動媒體152實體介接。

臂170可沿一或多個方向/維度移動及/或旋轉。明確而言，臂170可經組態使得其可沿一或多個方向移動/平移且沿一或多個維度旋轉。此外，臂可包含經組態以在一或多個方向上移動(例如，圍繞一關節170J)及/或沿一或多個維度旋轉(圍繞關節170J)之一或多個區段170A、170B。臂170之各種區段170A、170B之移動及/或旋轉可向臂170提供跨各種維度(三個、四個、五個、六個等等維度)平移及/或旋轉之能力。

機器人系統100可進一步包含經組態以與互動媒體152介接之一致動器176。致動器176一般可為能夠與互動媒體152互動之任何元件。例如，致動器176可包括一突出部、一感測器(例如壓力感測器)等等。在一些實施方案中，致動器176可耦合至一臂(例如機械臂)之一遠端175且經組態以執行機器人系統之功能(例如，操作機器)。替代地或另外，致動器176可為自臂170之一部分延伸且可與互動媒體150互動之一突出部。

致動器176可經組態以平移/移動及/或圍繞臂170可透過其來平移/旋轉之(若干)方向及(若干)維度之外的至少一個額外方向及/或維度旋轉。此額外移動方向/維度可向臂170及致動器176提供沿額外維度/方向之移動/旋轉。例如，臂170可經組態以在五個維度上移動(例如X、Y、Z、沿Z方向左45度及沿X方向向右25度)，且致動器176可經組態以圍繞其與臂170之耦合件旋轉，藉此向系統100提供至少一個額外移動/旋轉方向。

致動器176可經組態以在與互動媒體152介接之後偵測互動媒體152之一變化。例如，致動器176可透過本技術中可用之任何適合方式(例如，藉由使諸如一雷射之一光束指向互動媒體)與互動媒體實體接觸及/或與互動媒體互動。致動器176可經組態以偵測一按鈕199在互動媒體152中之一放置變化。例如，在其中互動媒體152包括一實體按鈕199之實施方案中，致動器176可經組態以藉由在致動器176與按鈕199接觸時觀察互動媒體152位移(例如，沿Y方向)來偵測互動媒體152之一變化。此允許致動器176藉由接觸互動媒體152之表面152'上之各種點且在觀察到互動媒體152 (例如沿Y方向之位移)之一變化之後偵測按鈕199之位置來偵測按鈕199之位置。

除偵測互動媒體152之實體位移之外，致動器176可進一步包括經組態以偵測互動媒體152之各種元件之位置之一感測器(例如壓力感測器)。例如，感測器174可在與觸敏按鈕199接觸之後偵測互動媒體152之一螢幕152'' (例如LCD螢幕)之一特性變化。例如，感測器174可為在與觸敏按鈕199接觸之後偵測互動媒體152之LCD螢幕152'之一電阻變化之一壓力感測器。一般而言，本技術中已知之任何適合感測器可與本文中所揭示之實施例一起使用。例如，感測器174可為一壓電感測器、一壓力感測器、一壓電壓力感測器、一壓機械感測器、一壓機械壓力感測器、一光感測器、一數位感測器、一音訊感測器等等。此外，除量測電阻變化之外或代替量測電阻變化，感測器174可藉由偵測互動媒體152之其他特性之變化來偵測按鈕199，諸如改變維度、色彩、紋理、數位文字之存在及區分互動媒體152或機器150之其他表面上之觸敏顯示。

如圖1A中所展示，臂170、致動器176及/或感測器174可耦合至臂170之遠端175且經組態以在臂170附近移動。例如，臂170可圍繞互動媒體152沿至少一個維度移動且致動器176可沿至少一個其他維度移動。另外或替代地，致動器176亦可經組態以在除臂170可在其上移動之(若干)維度之外的至少一個維度上移動。例如，臂170亦可經組態以在機器150附近沿X及Y (水平及垂直)移動，而致動器176在互動媒體152上方沿Z維度移動。另外或替代地，臂170亦可經組態以在機器150附近在三個維度(X、Y、Z)上移動，而致動器176在互動媒體152上方旋轉。

返回參考圖1A，機器人系統100可進一步包含經組態以提供機器150之一影像之一視覺源160。視覺源160可為可提供機器150之一影像之任何適合源，諸如儲存機器150之先前獲取影像之一記憶體及/或在機器150在攝影機之視域101內時捕捉機器150之即時影像之一攝影機。例如，視覺源160可包括獲得機器150在其視域內之影像之一適合靜態攝影機、圍繞視域旋轉以獲得視域之影像之一360°攝影機、獲得視域之三維影像之三維攝影機、經組態以提供視域之一視訊串流之一動態視訊攝影機。替代地或另外，視覺源160可包括經組態以使用紅外輻射及熱成像在暗周圍照明條件下獲得視域之影像之一紅外攝影機及/或具有用於捕捉視域之一影像或一視訊之一鏡頭之一動態視訊攝影機。在一些實施方案中，視覺源160可包括提供來自兩個或更多個視域之兩個或更多個影像(例如，作為一影像串流)之兩個或更多個攝影機。

影像可為轉換成一數位格式且由視覺源160提供至系統100之數位影像及/或類比影像。如下文進一步詳細描述，將來自視覺源160之影像轉發至具有一處理器120之一電子電路系統110，處理器120處理影像且自影像提取關於機器150及互動介面152之相關資訊。可使用各種影像處理方案。

視覺源160可經由任何適合連接來連接至系統100。例如，視覺源160可經由一通信網路148耦合至系統100且經組態以經由網路148將一或多個影像傳輸至處理器120用於處理。例如，視覺源160可將視域內機器150之兩個或更多個影像傳輸至處理器120用於準備機器150之三維影像。

系統100可進一步包括任何適合額外元件，其等可促進自機器150捕捉影像、由致動器176辨識互動媒體152之各種元件及/或在系統100之校準及/或操作期間減輕環境因數影響。例如，系統100可包括經組態以在視覺源160捕捉影像之前及/或期間調整機器150附近之光強度之一光發射器162。光發射器162可改變傳遞光之強度及/或控制在視覺源160捕捉影像之前/視覺源160捕捉影像時傳遞光之一角度以減輕由光強度引起之環境因數之負面影響。類似地，系統100可包括可偵測可聽環境噪音且將存在環境噪音通知給系統之數位電路系統110中之一處理器120之一音訊感測器。作為回應，處理器120可引發降低及減輕可聽環境噪音之一或多個動作。例如，處理器120可調整提供至系統100之可聽指令之音量以減輕環境噪音。

一般而言，任何適合噪音感測器及/或噪音降低/減輕方案可與本文中所揭示之實施例一起使用。例如，降噪技術可包含(但不限於)調整捕捉影像之光之一強度、調整經傳遞用於影像捕捉之光之一角度、在可聽指令之例項中調整音量及調整可影響按鈕之實體回饋之濕度。

如上所述，系統100可進一步包括量測機器150周圍之區域之光強度且將量測值轉發至處理器120及電子電路系統110之一光感測器163。處理器120比較量測光強度與一預定臨限值(例如，儲存於一資料庫140中)且判定量測光強度是否足夠/適合用於捕捉影像。若光強度之值低於/高於預定值，則處理器120可指導光發射器162產生額外/較少光及/或指導視覺源160用調整照明條件及/或在預期照明條件改良之一不同時間獲得額外影像。另外或替代地，處理器120可引起視覺源160獲得機器150及/或互動媒體152之一或多個額外影像。例如，視覺源160可自一不同視點(例如，藉由旋轉攝影機)或藉由調整光之強度(例如，使用一光發射器)來獲得互動媒體152之一額外影像。

圖1B係根據本文中所揭示之一些態樣之用於測試一裝置1之一嵌入式系統6之一系統之一方塊圖。用於測試一裝置之一嵌入式系統6之系統包括受測裝置1、一測試機器人2及一中央控制單元3且展示於圖1B上。受測裝置1包括經調適以展示受測裝置1之一狀態之至少一可觀察使用者介面61 (OUI)(圖1C及圖1D)。如圖1B至圖1F中所展示，OUI 61具有至少一個按鈕5及/或視覺指示器63。按鈕5係用於使用者-裝置互動之一實體裝置，因而其可經受按壓、旋轉、移動等等，其中此移動用於向受測裝置1之嵌入式系統6發送指令或請求。視覺指示器63可為一LED或另一光源且用於識別受測裝置1之狀態。受測裝置1之狀態意謂其被切斷還是接通、哪個任務被實現、哪個選項被選擇等等。由受測裝置1執行之設定及任務藉由按鈕5且在視覺指示器63之幫助下啟用及啟動。受測裝置1可進一步包括用於向使用者提供視覺回饋、展示時間或其他相關資訊等等之一顯示器4。

受測裝置1可包括較佳地體現為一觸控螢幕、至少一個按鈕5及一嵌入式系統6之一顯示器4。顯示器4經調適以展示嵌入式系統6之一圖形使用者介面62 (GUI)之螢幕。GUI 62之螢幕可包括一歡迎螢幕、載入螢幕、關機螢幕及展示各種功能之其他螢幕，諸如受測裝置1之可能設定、由受測裝置1執行之可選動作清單、錯誤螢幕、選單螢幕等等。至少一個螢幕具有至少一個動作元件7，其較佳地體現為裝置之觸控螢幕上之一按鈕；此可為(例如)具有若干動作元件7之一選單螢幕，動作元件7之各者可表示可自選單螢幕選擇之一選項。亦可存在無動作元件7之螢幕，諸如載入螢幕，其一般無需任何使用者動作。動作元件7本身可不具有一實體形式，而是可實施為顯示器4之觸控螢幕上之一圖標。按鈕5及動作元件7兩者用於與嵌入式系統6互動且被指派可不同於按鈕5及動作元件7之一動作且可因螢幕而異。動作在與按鈕5或動作元件7互動之後執行，其中藉由按壓按鈕5或觸控(按壓)動作元件7來執行互動。動作可接著導致所展示螢幕改變或自任務清單選擇一任務來執行、取消一動作、改變受測裝置1之設定、登錄裝置或登出等等。至少一個螢幕具有至至少一個其他螢幕之一連接。螢幕之連接意謂：藉由對一個螢幕執行一動作，顯示器接著展示另一螢幕。此連接可由(例如)具有待執行之一可能任務清單之一螢幕呈現。各任務可指派給一動作元件7，其中在按壓動作元件7之後，使用者轉至展示關於選定任務之更多細節之另一螢幕。

系統可包含展示受測裝置1之一可能設定清單之一螢幕，各設定選項指派給一動作元件7，其中在按壓動作元件7或按鈕5之後，使用者轉至與選定設定相關聯之另一螢幕。一些螢幕可不具有至另一螢幕之一連接，諸如無需任何使用者輸入且僅充當一過渡螢幕之載入螢幕。為使受測裝置1順利運行嵌入式系統之軟體，需要其含有至少一處理器8及一運算記憶體9。例如，受測裝置1通信耦合至中央控制單元3。通信耦合可由一電纜(諸如乙太網路電纜或USB電纜)實體實現或實現為經由網際網路、藍牙或藉由將其連接至一網路中之一非接觸式耦合。然而，通信耦合不是必要的且可不實施。在此情況中，受測裝置1可獨立於中央控制單元3行動。

測試機器人2 (圖1B)可包括至少一效應器10、一攝影機11、具有一影像處理單元13之一處理器12及一記憶體單元14。效應器10可經調適以沿至少兩個正交軸(較佳地，三個)移動。例如，效應器10附接至引導效應器10之移動之一第一機械臂15。效應器10用於模擬使用者與顯示器4、按鈕5及動作元件7之實體接觸。若顯示器4經體現為一觸控螢幕，則效應器10可經調適以與顯示器4互動(例如，通過由可與觸控螢幕互動之一材料製成)。此外，攝影機11依使得其面向顯示器4之一方式放置於測試機器人2上，因此，顯示器4及按鈕5位於攝影機11之視域中，且顯示器4上所展示之當前螢幕由攝影機11清楚看見。然而，在一些實施方案中，攝影機11不放置於測試機器人2上，其依使得顯示器4及按鈕5位於攝影機11之視域中之一方式放置。例如，攝影機11可放置於(例如)三腳架上。測試機器人2之處理器12經調適以經由安裝於其上之軟體來控制測試機器人2之動作。處理器12控制之測試機器人2之動作包含控制第一機械臂15及效應器10之移動、與中央控制單元3通信及操作攝影機11。測試機器人2通信耦合至中央控制單元3。通信耦合可由一電纜(諸如乙太網路電纜或USB電纜)實體實現或實現為經由網際網路、藍牙或藉由將其連接至網路中之一非接觸式耦合。

如圖1B中所展示，測試機器人2進一步包括配備有一通信標籤17之一第二機械臂16，且受測裝置1進一步包括一通信接收器18。第二機械臂16經調適以在由處理器12指示時將通信標籤17放置在通信接收器18附近。通信標籤17較佳地體現為一晶片或一塑膠卡中之一RFID標籤。在其他實施例中，可使用基於RFID或NFC通信協定之任何通信標籤17。其他形式之無線通信或連接標準(諸如藍牙、紅外線、WiFi、LPWAN、3G、4G或5G)亦為可能的。通信標籤17包含在放置於通信接收器18附近時啟動之一RFID晶片，其持續發射一射頻頻譜中之信號。在啟動通信標籤17之後，可在受測裝置1中執行一動作。例如，由受測裝置1執行之一任務(諸如印刷一文件)等待一確認，其中確認藉由驗證使用者來發生。各使用者可具有以一卡之形式指派之一通信標籤17。接著，驗證藉由將通信標籤17放置於通信接收器18附近來完成。

測試機器人2可進一步包括經調適以偵測一執行動作之一感測器19。感測器19可為一攝影機、光電池、運動感測器、噪音感測器等等。若執行動作之結果無法在顯示器4上看到，則感測器19可用於偵測執行動作。例如，當受測裝置1係一印表機時，動作可為印刷一紙張。可在顯示器4上展示使一使用者印刷一文件之一提示，其中提示可藉由按壓動作元件7或藉由將通信標籤17放置於通信接收器18附近來確認。在確認之後，印刷文件。然而，此動作無法由攝影機11看到，因為其主要聚焦於受測裝置1 (例如印表機)之顯示器4上。印刷本身可由感測器19偵測，例如，若感測器19係一攝影機，則印刷紙張由攝影機看到，或在其中文件自印表機出來之一特定區域中，一移動由諸如一光電池之一移動感測器偵測。

中央控制單元3可在具有至少一監視器及一PC滑鼠之一個人電腦中；因而，中央控制單元3包括一處理器20及一記憶體單元21。中央控制單元3用於控制本申請案中所進一步描述之整個程序且確保其自身與測試機器人2之間的通信。受測裝置1可為單獨的且可在中央控制單元3上獨立工作。然而，若受測裝置1允許此連接，則受測裝置1可通信地耦合至中央控制單元3。

此外，受測裝置1可為任何適合裝置(例如一印表機)。此外，裝置可為具有所實施之嵌入式系統6之任何裝置，具有GUI 62或其他形式之OUI 61。OUI 61可不包括一觸控螢幕或甚至顯示器4，然而，其可包括另一視覺指示器63，諸如一LED或其他形式之光指示。以下裝置清單不限制申請專利範圍給定之保護範疇。包括一觸控螢幕之裝置可為一印表機、平板電腦、智慧型電話、工業用控制面板、收銀機、資訊服務機、ATM、終端機、智慧家用小家電等等。僅具有未體現為一觸控螢幕之一顯示器4之裝置可為一微波爐、收音機、計算器、先前清單中指定之任何裝置等等。 描述符建構

針對影像之特性化，使用一數值。以向量格式儲存之此等數值稱為描述符且可提供關於影像之色彩、紋理、形狀、運動及/或位置之資訊。為更詳細描述一影像，需要使用一更具體描述符。描述符可呈各種形狀及長度且提供經處理影像之不同數字或言語描述。例如，提供關於影像中之色彩分佈之資訊之一描述符可具有不同於提供關於影像之形狀之資訊之一描述符之數值、長度及形狀，因為色彩分佈可由具有關於影像之平均色彩之一資訊之一個字母數字值描述，諸如#FF0000、#008000、#C0C0C0等等，且形狀可由具有兩個數值(影像之長度及寬度)之一向量描述。另一描述符可用於描述影像之平均色彩及形狀。此描述符可由具有三個值之一向量表示，一個值提供關於色彩之資訊且兩個值提供關於大小之資訊。建構一描述符70之方法在圖1G中描述且在下文詳述。

為建構一描述符70，獲得具有一空描述符71之一圖片72。受測裝置1之一影像50包括諸如一控制面板60之一所關注區域。為提取所關注區域73，裁剪影像50，使得僅含有相關資訊之所關注區域展示於裁剪影像51中，其中所關注區域較佳為OUI 61。裁剪用於移除與進一步處理無關之影像中之任何部分，因為其不含使此方法之影像處理部分更快之有用資訊。

描述符可用於描述具有顯示器之各種裝置之OUI 61之一影像。當光學感測器11捕捉一影像時，其中放置顯示器4之受測裝置1之一部分亦可被看到。由於受測裝置1之影像本身不攜帶相關資訊，因此其可自圖片移除而不損失重要資訊。為使找到所關注區域之程序更容易，可在受測裝置1上放置各種標記54以突顯所關注區域之位置。圖1C至圖1F中展示突顯影像之所關注區域之一實例。在此等圖中，展示具有顯示器4之受測裝置1之前面板。通常，顯示器4包括一矩形形狀。為突顯OUI 61在受測裝置1上之位置，可配置放置於形成OUI 61之矩形之轉角中之一組標記54。利用此等標記54，一影像處理單元13更容易地更快且更準確判定所關注區域之位置。

一旦自原始影像50裁剪所關注區域，則影像50轉換成二進位邊緣影像75。在此格式中，形成影像之像素僅可獲得兩個值0及1以分別標記一黑色或白色像素。一般而言，影像50可轉換成一灰階影像74。取決於像素之平均強度，選擇像素強度之一臨限值。具有低於臨限值之值之像素接著轉換成一黑色像素，而具有高於臨限值之值之像素轉換成一白色像素。每一經處理影像之臨限值不是恆定的，而是隨影像之整體品質及周圍環境之條件而改變。二進位邊緣影像可分成列及行，其中列及行之最大值由一影像之大小(以像素為單位)給出，例如，640×480格式之影像可分成640列及480行，等等。

在一些實施方案中，影像可分成另一數目個列及行。然而，隨著分割列及行之數目減少，描述符之資訊值亦快速減小。此外，可創建兩個直方圖來計數76各列及行中之非零值像素。第一直方圖計數各列中非零值像素之數目，第二直方圖計數各行中非零值像素之數目。此等兩個直方圖經正規化78且在此步驟之後，兩組數目可用。第一組數目含有表示各列中非零值像素之一正規化直方圖之數目，第二組數目含有表示各行中非零值像素之一正規化直方圖之數目。將正規化值添加78至空描述符。此等兩組數目係經建構描述符之前兩個值。此外，可用一水平分割線及垂直分割線將裁剪影像51分割79成相等扇區，計數80各扇區中各列及行中之非零值像素，正規化81計數值，且將其添加82至描述符，直至達到83所要迭代83且完成84程序。程序可重複85，如下文所詳述。

裁剪影像51可用一垂直分割線52分成兩半：左半部及右半部。半部無需具有相同大小。左半部及右半部可分成行，其中總行數相同於未分割影像中之行數。可建構及正規化表示前半部之行中非零值像素之數目之一直方圖。此外，建構及正規化表示後半部之行中非零值像素之數目之一直方圖。此等程序可依任何順序執行。

裁剪影像51可用一水平分割線52分成兩半：上半部及下半部。半部無需具有相同大小。上半部及下半部可分成列，其中總列數相同於未分割影像中之列數。此外，建構及正規化表示前半部之列中非零值像素之數目之一直方圖。亦建構及正規化表示後半部之列中非零值像素之數目之一直方圖。此等兩個步驟可互換，意謂首先創建哪個直方圖並不重要。此外，首先用一垂直線還是一水平線分割影像並不重要。

在完成程序之後，更多四組數目可用。第一組數目含有表示影像之左半部之行中之非零值像素之一正規化直方圖之數目，第二組數目含有表示影像之右半部之行中之非零值像素之一正規化直方圖之數目，第三組數目含有表示上半部之列中之非零值像素之一正規化直方圖之數目，且第四組數目含有表示下半部之列中之非零值像素之一正規化直方圖之數目。將此等四組數目添加至一描述符，其現總共有六個值：六組數目。描述符中數目組之順序係不相關的。然而，所有描述符必須具有相同形式，因此所建構之每一描述符之值組之順序必須相同。

可根據上述程序建構額外數目組。裁剪影像51可用兩個垂直分割線52分成3個1/3：左、中間及右。1/3無需具有相同大小。左1/3、中間1/3及右1/3可分成行，其中總行數相同於未分割影像及分成兩半之影像中之行數。此外，建構及正規化表示左1/3之行中非零值像素之數目之一直方圖。建構及正規化表示中間1/3之行中非零值像素之數目之一直方圖。此外，建構及正規化表示右1/3之行中非零值像素之數目之一直方圖。此等三個步驟可互換，意謂首先創建哪個直方圖並不重要。

裁剪影像51用兩個水平分割線52分成3個1/3：上、中間及下。1/3無需具有相同大小。上1/3、中間1/3及下1/3分成列，其中總列數相同於未分割影像及分成兩半之影像中之列數。建構及正規化表示上1/3之列中非零值像素之數目之一直方圖。此外，建構及正規化表示中間1/3之列中非零值像素之數目之一直方圖。建構及正規化表示下1/3之列中非零值像素之數目之一直方圖。此三個步驟可互換，意謂首先創建哪個直方圖並不重要。

在完成程序之後，更多六組數目可用。第一組數目含有表示影像之左1/3之行中之非零值像素之一正規化直方圖之數目，第二組數目含有表示影像之中間1/3之行中之非零值像素之一正規化直方圖之數目，第三組數目含有表示影像之右1/3之行中之非零值像素之一正規化直方圖之數目，第四組數目含有表示影像之上1/3之列中之非零值像素之一正規化直方圖之數目，第五組數目含有表示影像之中間1/3之列中之非零值像素之一正規化直方圖之數目，且第六組數目含有表示影像之下1/3之列中之非零值像素之一正規化直方圖之數目。將此等六組數目添加至一描述符，其具有總共12個值：12組數目。描述符中數目組之順序係不相關的。然而，所有描述符可具有相同形式，因此所建構之每一描述符之值組之順序可相同。

影像可類比地進一步分成1/4、1/5等等，最大可應用分割數係影像之大小之較低數目(以像素為單位)。鑑於除數係 N，顯然藉由除法，吾人創建 2N個新直方圖添加至描述符。方法之較佳實施例將影像分成多達三個部分，然而，分割之數目不限制本發明之標的。

根據上述段落中所描述之方法建構之描述符可進一步用於識別一影像。例如，一描述符可在測試機器人2或中央控制單元3中實施。實施方案可在軟體中執行。例如，測試機器人2或中央控制單元3可在其上安裝有一軟體，其中軟體之目的係創建一給定影像之一描述符。軟體可接收一影像作為一輸入且軟體之輸出可為給定影像之一描述符。例如，影像處理單元13可以由攝影機11捕捉之一影像50之形式接收一輸入，其中影像50之一部分形成一所關注區域，諸如一受測裝置1之一顯示器4或OUI 61。影像50可經進一步裁剪使得僅所關注區域在裁剪圖片中。一描述符如上文所詳述般建構且儲存於記憶體單元14中。因此，影像處理單元13之輸出可為輸入裁剪影像51之描述符。

由於各組數目表示一給定扇區之一列或行中非零值像素之一數目，因此建構影像之描述符之相反方法亦適用。相反方法可使用表示零值像素之一數目而非使用非零值像素之一數目來工作。

此外，僅計數非零值像素亦表示零值像素，因為各列或行中像素之總數由此等兩個數目之一總和給定，此等兩個數目之相互關係可由簡單公式 N ₀=N-N ₁ 及 N ₁=N-N ₀ 給定，其中 N ₀ 係零值像素之數目， N ₁ 係非零值像素之數目，且 N係給定列或行中像素之總數。

此外，裁剪影像51可使用水平或垂直分割線52分成所謂之扇區53。扇區可為裁剪影像51之1/2、1/3、1/4等等且應具有相同大小。各扇區53包括形成裁剪影像51之像素行及列。列及行可進一步分成群組，其中群組由至少一列或行組成。計數各扇區之各群組之直方圖。 影像分類

受測裝置1之嵌入式系統6可使用顯示器4在圖形使用者介面(GUI) 62中向使用者展示關於任務進度、裝置狀態、選項、設定等等之資訊。使用者可與使用者介面互動，其中嵌入式系統6之回饋通常以一螢幕之一形式展示於GUI 62上。使用者介面可包括用於接收來自使用者之輸入之輸入元件，諸如按鈕5、觸控板、指點桿、操縱桿、鍵盤等等。若受測裝置1之顯示器4係一觸控螢幕，則其亦可包括在GUI 62中實施之動作元件7。觸控輸入元件或動作元件7可導致受測裝置1之一回饋且可執行一動作，可改變顯示器4上之螢幕，可接通或關閉受測裝置1，等等。為進一步使用，所有可能螢幕、視覺指示器63之狀態、當前設定等等組成受測裝置1之狀態。GUI 62中所展示之螢幕改變、點亮視覺指示器63、執行一動作等等意謂受測裝置1之狀態已改變。

使用者介面之顯示器4上所展示之螢幕可分類成描述其目的或意義之類別，例如展示具有一載入欄之一公司標誌之標題螢幕、要求使用者輸入憑證之登錄螢幕、通知使用者任務失敗之錯誤螢幕、具有一任務清單、使用者可用操作之螢幕、展示測試裝置之設定、語言選項、關於裝置之狀態之資訊清單之螢幕等等。此等螢幕之一些可以各種形式展示，其等之間僅具有微小差異，諸如具有用於使用者名稱及密碼之空槽之登錄螢幕，部分僅填充一使用者名稱或完全填充。由於各種使用者之使用者名稱及密碼可具有不同長度，因此填寫憑證之螢幕可略有不同。為測試受測裝置1，應注意此等圖片之間的差異。此外，測試系統亦應注意此等圖片係類似的且全部屬於相同類別：登錄螢幕。

此外，待執行之一任務清單可展示於測試裝置之顯示器上。例如，若裝置係一印表機，則任務清單可展示待印刷之一文件佇列、其順序、大小、頁數等等。任務清單可取決於待執行之任務數目來改變其形式，可選擇一些任務自佇列刪除，且因而，其等可被突顯，或一選定符號可出現於其附近。測試系統應注意，此等圖片係類似的且全部屬於相同類別：任務清單螢幕。

需要辨識之顯示於顯示器4上之GUI 62之所有可能螢幕應由一人手動指派給類別。依此方式，確保螢幕之所有影像指派給正確類別。此外，一授權人可儘可能多地查看GUI 62之影像以涵蓋將用於分類GUI 62之螢幕之所有類別。在手動分類期間，可提示授權人在螢幕上標記及突顯其指派給一類別之動作元件7。此外，授權人可手動標記動作元件7之一位置及大小且將一動作指派給此動作元件7。動作可係指動作元件7傳遞給嵌入式系統6之指令。因此，動作元件7可為(例如)確認一動作由一使用者執行之一OK按鈕。一動作元件7之另一實例可為確認使用者之憑證且將其登錄至系統中之一「登錄」按鈕。動作元件7之進一步實例可為取消按鈕、關閉視窗按鈕、註冊按鈕、確認動作按鈕、各任務可操作為一動作元件7、用於在GUI周圍導航之箭頭按鈕或任何文字欄位等等。因此，當將一螢幕指派給一類別時，因此需要標記螢幕中之所有動作元件7且將待執行之一動作指派給動作元件7之各者。動作可導致關閉視窗、登錄、改變螢幕、選擇待執行之一任務等等。因此，可藉由按壓一動作元件來改變螢幕。

此外，受測裝置1之顯示器4可放置於受測裝置1之控制面板60上。受測裝置1可包括經調適以經由在觸控螢幕中實施之動作元件7或經由諸如按鈕5之互動元件來接收呈指令形式之使用者輸入之嵌入式系統6。使用者可使用動作元件7及互動元件來與受測裝置1互動以執行任務。

此外，至少一個螢幕可具有至至少一個其他螢幕之一連接，意謂在與動作元件7或互動元件互動之後，原始螢幕轉至其連接至之後續螢幕中。可存在未指派動作元件7之一些螢幕，其等因此沒有至任何其他螢幕之連接。此螢幕可為(例如)一載入螢幕、受測裝置1接通之後的一歡迎螢幕或在受測裝置1關閉之後的一關閉螢幕。各類螢幕可因此含有在其種類中或具有細微改變之更多螢幕，如上文所討論。

在一些實施方案中，受測裝置1可不包括需要一使用者-裝置互動之一觸控螢幕或GUI 62。給使用者之回饋反而由諸如LED、LCD面板等等之視覺指示器63提供。在此情況中，受測裝置1可處於複數個狀態中。受測裝置1之狀態包含由受測裝置1執行之動作、其資訊回饋、其當前設定等等。例如，若裝置1係一烘箱(圖1E及圖1F)，則控制面板60包含兩個旋鈕64 (第一旋鈕64經調適以改變烘箱之模式(開啟、燒烤、高溫、低溫、熱風模式等等)，第二旋鈕64經調適以改變溫度設定)、兩個視覺指示器63 (第一者指示烘箱是否開啟，第二者指示加熱是開啟還是關閉，換言之，是否達到所要溫度)。烘箱可進一步包括具有時鐘之一顯示器4及用於設定烘箱之計時器、時鐘之時間等等之兩個按鈕7。選定模式、所設定之當前設定、設定溫度、視覺指示器63之狀態組成烘箱之所有可能狀態。當烘箱關閉時，其處於一第一狀態中。藉由旋轉旋鈕64，使用者選擇烘箱之操作模式且因此改變烘箱之狀態，此通常伴隨接通第一視覺指示器63。藉由旋轉第二旋鈕64，使用者設定一所要溫度且因此改變烘箱之狀態，此通常伴隨接通第一視覺指示器63，參閱圖1F。因此，需要獲得烘箱之所有可能狀態之圖片、定位按鈕7或旋鈕64及給其等指派將烘箱之狀態變成另一狀態之一功能。圖片被指派一描述符且分類。 決策模組

中央控制單元3包括一決策模組22，較佳地體現為一神經網路。決策模組22以一軟體形式實施於中央控制單元3中。決策模組22包括一經訓練分類器。分類器在一資料集上訓練，資料集包括受測裝置1之狀態之分類影像之一組描述符或受測裝置1之狀態之分類影像或受測裝置1之狀態之分類影像之一組描述符及受測裝置1之狀態之分類影像。

如上文所描述，受測裝置1之所有可能狀態經手動識別及分類。根據上述方法給各狀態指派一描述符。為創建更大資料集用於訓練決策模組22之分類器，可在各種條件(諸如照明、大小、攝影機11相對於受測裝置1之角度、顯示器4亮度、對比度、影像之清晰度等等)中捕捉螢幕之影像。在各種條件中獲得之受測裝置1之相同狀態之影像形成一批次。針對受測裝置1之狀態之每一分類影像，創建及指派識別描述符。顯然，一給定批次之影像之描述符係類似但不相同，因為影像在不同條件中獲得。

在一資料集上訓練分類器，資料集包括受測裝置1之狀態之分類影像之描述符、受測裝置1之狀態之影像或兩者之組合。訓練資料集越大，經訓練分類器越準確。在訓練之後，分類器準備將影像或描述符分類成給定類別。在分類程序中，分類器將受測裝置1之狀態之一影像或給定影像之一描述符視為一輸入且能夠將影像或描述符指派給一正確類別。應理解，分類器不總是完全準確，為提高分類器之準確度，建議藉由在各種條件(諸如顯示器亮度、色彩對比度、照明條件、攝影機相對於顯示器之角度及距離等等)中捕捉受測裝置1之一給定狀態之一個影像來擴大訓練資料集。此等影像描繪受測裝置1之相同狀態。當經裁剪時，其資訊值將相同，即使影像本身略有不同。為此，此等影像之描述符亦將略有不同。依此方式，在執行分類器之訓練之後，其將更準確分類螢幕之影像。 用於測試嵌入式系統之方法

用於測試受測裝置1之嵌入式系統6之方法包括一系列程序。明確而言，可創建描繪受測裝置1之至少兩個狀態之一組影像。此組影像保存於中央控制單元3之一記憶體單元21中。影像組可包括受測裝置1之每一可能狀態。針對受測裝置1之至少一個狀態，可指派至少一個動作元件7且連接至受測裝置1之至少一個其他狀態。當按壓受測裝置1之當前狀態之動作元件7或一按鈕5時，應用連接。在按壓之後，受測裝置1之當前狀態變成初始狀態連接至之受測裝置1之另一狀態。接著，將一識別描述符指派給受測裝置1之狀態之影像之各者。描述符係描述受測裝置1之當前狀態之一數值，較佳為呈向量形式之一組數值。取決於獲得影像之當前條件，狀態之描述符可略有不同。一般而言，受測裝置1之不同狀態之描述符係不同的且不應互換。

在緊接步驟(圖1H至圖1J)中，用測試機器人2之攝影機11捕捉受測裝置1之一影像。裁剪由機器人2拍攝之照片以僅展示OUI 62本身之一圖片。接著，將影像保存及儲存於測試機器人2之記憶體單元14或中央控制單元3之記憶體單元21中。一當前描述符指派給儲存狀態之影像且與儲存於中央控制單元3之記憶體單元21中之識別描述符比較。比較程序由決策模組執行。受測裝置1之當前影像之當前描述符用作神經網路之一輸入且以一定準確度判定受測裝置1之當前狀態作為一輸出。由於描繪受測裝置1之當前狀態之獲得影像之當前描述符與保存於中央控制單元3中之受測裝置1之狀態相關聯之識別描述符略有不同，因此直接比較沒有比使用神經網路有效及準確。在判定受測裝置1之當前狀態之後，判定顯示器4上動作元件7或控制面板60上按鈕5之位置且移動效應器10以按壓動作元件7或按鈕5。

用於測試受測裝置1之嵌入式系統6之方法可進一步用於量測嵌入式系統6之回應時間及反應時間。當按壓受測裝置1之當前狀態之動作元件7或按鈕5時，引發時間量測。一旦顯示器4上之螢幕或受測裝置1之狀態大體改變，則結束時間量測且將經過之時間值儲存於中央控制單元之記憶體單元21中。之後，可判定受測裝置1之狀態。依此方式，吾人可量測嵌入式系統6執行各種操作所花之時間，諸如改變GUI 62上之各種螢幕或改變受測裝置1之狀態所需之時間(如圖1K中所展示)。

測試機器人2可進一步包括一感測器19，諸如一運動感測器、熱感測器、噪音感測器或一額外攝影機。此感測器19經調適以偵測是否執行一動作。在較佳實施例中，受測裝置1係一印表機。動作因此可為印刷一文件。感測器19接著用於偵測文件是否被印刷。例如，放置一攝影機或一運動感測器來監視放置印刷文件之區域，一旦偵測到移動，則明白文件被成功印刷。此可用於量測印刷時間。在方法之此實施例中，經由GUI 62提示使用者確認印刷動作。換言之，在顯示器4上展示具有印刷指令之螢幕。可藉由按壓與確認動作相關聯之動作元件7 (諸如一OK按鈕)來手動確認此指令。

例如，受測裝置1可為一烘箱，其中感測器19可為放置於烘箱內部之一熱感測器。測試機器人2交給烘箱加熱至例如200°C之一任務，其藉由點亮視覺指示器來改變烘箱之狀態。當烘箱達到所需溫度時，感測器19將關於執行動作之一資訊發送至測試機器人2。顯然，上述實例僅供說明且不使本發明之範圍僅限於印表機及烘箱。

機器人2可包括具有一通信標籤17 (諸如基於RFID或NFC通信協定之卡或晶片)之一第二機械臂16。印表機或其他受測裝置1接著進一步包括經調適以與通信標籤17通信之一通信接收器18。動作確認可接著藉由將通信標籤17放在通信接收器18附近來執行。一旦藉由本段中所描述之任一方法確認動作，則引發時間量測。由於實例中之動作係印刷一文件，因此文件經印刷且由感測器19偵測。在偵測之後，結束時間量測且將量測時間值儲存於機器人2之記憶體單元14或中央控制單元3之記憶體單元21中。

圖2係可與本文中所揭示之實施例一起使用之一電子電路系統110之一高階方塊圖。如上所述，電子電路系統110可包含經組態以監視機器人系統100之操作、發送及/或接收有關機器人系統100及機器150之操作之信號之一處理器120。

處理器120可經組態以收集或接收有關機器人系統100及/或機器150之操作之資訊及資料及/或儲存或轉發資訊及資料至另一實體(例如機器人系統之另一部分)。處理器120可進一步經組態以控制、監視及/或執行分析、解譯、追蹤及報告由臂170、視覺源160及系統100之其他組件(例如致動器、感測器、光發射器等等)使用或收集之資訊及資料所需之各種功能。

一般而言，此等功能可由任何適合電腦系統及/或在數位電路系統或電腦硬體中執行及實施，且處理器120可實施及/或控制本文中所描述之各種功能及方法。處理器120可連接至一主記憶體130且包括一中央處理單元(CPU) 122，其包含經組態以操縱自主記憶體130接收之指令且執行各種指令之處理電路系統。CPU 122可為本技術中已知之任何適合處理單元。例如，CPU 122可為一通用及/或專用微處理器，諸如一專用指令集處理器、圖形處理單元、物理處理單元、數位信號處理器、影像處理器、協同處理器、浮點處理器、網路處理器及/或可在一數位運算電路系統中使用之任何其他適合處理器。替代地或另外，處理器120可包括一多核處理器及一前端處理器之至少一者。

一般而言，處理器120及CPU 122可經組態以自主記憶體130 (例如一唯讀記憶體或一隨機存取記憶體或兩者)接收指令及資料且執行指令。指令及其他資料可儲存於主記憶體130中。處理器120及主記憶體130可包含於專用邏輯電路系統中或由專用邏輯電路系統補充。主記憶體130可為包含於適於體現資料及電腦程式指令之機器可讀儲存裝置中之任何適合形式之揮發性記憶體、非揮發性記憶體、半揮發性記憶體或虛擬記憶體。例如，主記憶體130可包括磁碟(例如內部或可抽換磁碟)、磁光碟、一半導體記憶體裝置(例如EPROM或EEPROM)、快閃記憶體、CD-ROM及/或DVD-ROM磁碟之一或多者。

主記憶體130可包括經組態以實施各種作業系統功能之一作業系統132。例如，作業系統132可負責控制存取各種裝置、記憶體管理及/或實施機器人系統100之各種功能。一般而言，作業系統132可為可管理電腦硬體及軟體資源且提供電腦程式之共同服務之任何適合系統軟體。

主記憶體130可進一步保存應用軟體134。例如，主記憶體130及應用軟體134可包含各種電腦可執行指令、應用軟體及資料結構，諸如實施本文中所描述之實施例之各種態樣之電腦可執行指令及資料結構。例如，主記憶體130及應用軟體134可包含電腦可執行指令、應用軟體及資料結構(其等可用於與機器人系統100一起操作機器150)以及用於處理由視覺源獲得之影像以提取關於機器及/或視覺介面之資訊之影像處理軟體。

一般而言，由機器人系統100執行之功能可在數位電子電路系統中或在執行軟體、韌體或其等之組合之電腦硬體中實施。實施方案可為用於由一資料處理設備(例如一電腦、一可程式化處理器或多個電腦)執行或控制該資料處理設備之操作之一電腦程式產品(例如有形地體現於一非暫時性機器可讀儲存裝置中之一電腦程式)。

主記憶體130亦可連接至一快取單元(未展示)，快取單元經組態以儲存儲存於主記憶體130中之最頻繁使用之資料之副本。可與本文中所揭示之實施例一起使用之程式碼可以任何形式之程式設計語言(包含編譯或解釋語言)實施及撰寫，且可以任何形式部署(包含作為一獨立程式或作為一組件模組、子常式或適合用於一運算環境中之其他單元)。一電腦程式可經組態以在一或多個電腦上執行、在一個網站上執行或跨多個網站分佈且由諸如網際網路之一通信網路互連。

處理器120可進一步耦合至一資料庫或資料儲存器140。資料儲存器140可經組態以儲存與機器人系統100及/或機器150之各種功能及操作相關之資訊及資料。例如，資料儲存器140可儲存由機器人系統100收集之資料、在機器150之影像捕捉期間偵測到之周圍環境條件之變化(例如由視覺源160偵測到之照明之變化)等等。

處理器120可進一步耦合至一介面142。介面142可經組態以自處理器120接收資訊及指令。介面142一般可為本技術中可用之任何適合顯示器，例如一液晶顯示器(LCD)或一發光二極體(LED)顯示器。例如，介面142可為可自一使用者接收指令及/或向使用者提供資訊以用機器人系統100操作機器150之一智慧型及/或觸敏顯示器145。

處理器120可進一步連接至各種介面。至各種介面之連接可經由一系統或一輸入/輸出(I/O)介面144 (例如藍牙、USB連接器、音訊介面、FireWire、用於連接周邊裝置之介面等等)建立。I/O介面144可直接或間接連接至機器人系統100。

處理器120可進一步耦合至一通信介面146，諸如一網路介面。通信介面146可為包含於機器人系統100中之一通信介面及/或經組態以與機器人系統100通信之一遠端通信介面146。例如，通信介面146可為經組態以向機器人系統100提供至諸如網際網路之一適合通信網路148之一連接之一通信介面。資料、資訊及指令之傳輸及接收可通過通信網路148發生。此外，通信介面146可為經組態以允許電子電路系統110 (例如一遠端電腦)與機器人系統100之間通信(例如，經由任何適合通信方式，諸如包含WIFI及藍牙通信方案之一有線或無線通信協定)之一介面。

圖3係根據本文中所揭示之一些實施例之用於操作機器人系統100之程序之一高階流程圖。為界定互動元件(例如操作螢幕) 201之維度，程序可校準視覺源(例如攝影機) 202及臂(例如機器人) 204以確保臂170與機器150之間準確互動。

在校準階段期間，可評定由視覺源160獲得之影像之資訊量及品質。例如，可複查來自視覺源160之影像以判定其是否提供足夠資料用於定位視域101中之機器150及/或互動媒體152且可根據需要獲得額外影像。

此外，處理器120可基於由特定影像提供之其各自品質及資訊來評估及評分影像且處理器120可捨棄具有低於一預定位準之一分數之影像。分數一般可賦予影像作為用於評估影像中之資訊之任何適合度量。例如，可基於影像中存在用於提取關於機器150及/或互動媒體152之資訊之足夠資料之一概率來賦予分數。明確而言，處理器120可評估影像且將一分數賦予各影像，分數指示影像可提供足夠資料用於偵測關於機器150及/或互動媒體152之資訊之一概率。

替代地或另外，可基於各影像中可用於識別視域101內之機器150、介面或互動媒體152之資訊量及/或基於準確偵測互動媒體152之特性之一概率來給影像評分。如上所述，處理器120可排除具有低於一預定分數之一分數之影像用於識別視域內之介面或互動媒體152及/或採用具有高於一預定分數之一分數之影像用於識別視域101內之介面或互動媒體152。

如上所述，在判定需要額外資料來準確偵測機器150或介面之後，處理器120可調整攝影機以獲得一額外視域101中之一額外影像。明確而言，處理器120可耦合至攝影機已可移動地安裝於其上之一框架。若處理器120判定需要來自其他視點之額外影像，則其可指導攝影機框架改變攝影機之位置及/或定向以獲得其他視域101中之額外影像。攝影機之調整可包括任何適合調整，例如調整攝影機之一角度。

此外，如上所述，處理器120可連接至一或多個光發射器及/或光感測器且在獲得額外影像之前調整由光發射器發射之光強度。其他感測器可用於收集額外視覺資料。例如，光感測器、紅外攝影機、光學感測器、光發射器及其他致動器可用於收集有關光強度、照明條件、裝置顯示設定及失真之資料。回應於所收集之資料，處理器120可對視覺源160進行進一步調整。

如參考圖1A所述，臂170可進一步經啟動以在機器150附近移動且致動進一步獲得關於機器150及互動媒體152之資料之一致動器176。明確而言，在臂校準204期間，臂170及/或致動器176可與互動媒體152及機器150介接(在處理器120之指導下)以定位機器150之邊界及互動媒體152及其各種元件之定位/位置。

壓力感測器174可耦合至至臂170之遠端175且經組態以在臂170之遠端175與機器150之互動媒體152介接時指示一電阻變化。另外或替代地，致動器176可偵測互動媒體152中一按鈕199之一放置變化。例如，系統100可經組態使得臂170在一第一維度上移動，而耦合至臂170之致動器176在不同於第一維度之一第二維度上移動。為校準機器150，處理器120可分析由視覺源160提供之一影像且自影像提取關於視域101內之介面之一些資訊(例如介面之位置或定向)。臂170及致動器176可使用此資訊來圍繞機器150之識別區域移動(例如，在機器及介面附近)且識別介面(例如，藉由與機器及介面實體接觸且回應於實體接觸而記錄其特徵)。致動器176可進一步在識別介面附近移動且回應於接觸介面而觀察介面之可能變化。例如，致動器176可回應於與一實體鍵接觸(例如，鍵移動)或與一觸控螢幕鍵接觸(例如，壓力感測器感測所施加之壓力量之一變化)來感測一變化。由致動器176觀察到之變化經記錄且用於判定互動媒體152之特徵。此外，自視覺源160獲得之資訊可用於判定互動媒體152之諸如形狀、色彩等等之特徵。

臂校準204可為具有用於與機器150之互動媒體152介接之至少一些使用者輸入之一半自動程序206。用於臂校準204之使用者輸入可由使用者透過通信網路148及通信介面146提供。

另外或替代地，臂校準204可為無需使用者輸入之一全自動程序208。例如，如上文所解釋，機器人系統100之視覺源160可包含兩個或更多個攝影機，其等經組態以提供來自兩個或更多個視域之兩個或更多個影像用於形成一影像串流以獲得機器150之三維影像。機器150之三維影像可用於判定機器150之互動媒體152之三維度量，其可由處理器120及應用軟體134處理以使臂校準204自動化。

一般而言，使用臂170、致動器176及視覺源160獲得之度量可包含可輔助系統100判定視域內機器150及互動媒體152之特徵之任何資訊(例如視域內機器150之位置、視域內機器150之定向、與視域內之互動媒體152之介面之維度、與視域內之互動媒體152之介面之位置及與視域內之互動媒體152之介面之邊界)。所提取之度量可儲存於機器人系統100之主記憶體130中用於執行由系統執行之任務。

機器150之互動媒體152之度量(例如維度、位置、空間定位、定向)及互動媒體152之UI介面之元素可透過由應用軟體134及處理器120執行之一全自動程序判定。例如，螢幕及使用者介面(UI)捕捉210可由處理器120藉由比較及匹配由視覺源160捕捉之影像與已自提供至機器人系統100之資料提取之螢幕及UI之預捕捉影像212來執行。資料可由一使用者提供至系統100或自儲存此資料之資料庫獲得。例如，資料可自由使用者提供至機器人系統之文件(例如機器150之一原始手冊或一線上資源)提取214。機器人系統可包括向機器人系統提供提取關於機器150、螢幕及/或使用者介面之資訊且將資訊應用於識別此等元件之能力之文字辨識能力。

此外，機器人系統100之處理器120可對螢幕及UI之預捕捉影像212執行一影像評分程序216。影像評分程序216可包含基於包含於影像中之資訊量及/或影像之品質(例如，基於準確偵測影像中互動媒體152之特性之一概率)來給影像評分。影像評分程序216可進一步包含排除評分218低於用於識別視域內之互動媒體152之一預定分數之影像且保留評分高於用於識別視域內之互動媒體152之預定分數之影像用於供處理器120進一步處理。保留影像可儲存於記憶體中用於供機器人系統未來使用220。記憶體可為機器人系統之一本端記憶體或為經由一通信網路連接至系統之一遠端記憶體或資料庫(例如儲存於雲端中之資料庫)。

機器人系統可進一步界定及判定可經由介面使用機器150執行之任務222。此等可行任務可為先前已界定(例如，藉由一使用者)之任務及/或由臂170及致動器176經由與機器150互動來判定之任務。明確而言，機器人系統100可基於提供至系統(例如，藉由一使用者)之資料來判定經由介面執行一特定任務(例如動作A)導致一特定結果(例如結果A')。另外或替代地，機器人系統可基於與介面互動來判定執行特定任務(例如動作B)可導致一特定結果(例如結果B') 222。

此外，機器人系統可藉由經由互動媒體152與機器150重複互動、執行任務及記錄與各任務相關聯之結果來判定及開發此等可行任務之一清單。此向機器150提供自與介面重複互動學習且開發一動作庫及對應可行任務之能力。明確而言，系統可判定與互動媒體152互動且執行特定動作(例如動作C、D及E)導致特定對應結果(例如結果C'、D'及E')。系統可開發儲存動作及/或關於動作之一些資訊(諸如執行動作所涉及之鍵之視覺外觀或位置)之一動作詞典/資料庫。系統可進一步開發儲存與各動作相關聯之結果之一結果詞典/資料庫。由系統開發之詞典(資料庫)可儲存用於識別動作及結果(可行項目)之任何適合資訊。例如，詞典可包括儲存關於用於執行一動作之互動元件項目之資訊(例如互動媒體152上之一按鈕之特性)之一字符詞典224。在此學習程序期間之任何點，一使用者可向系統提供輸入以校正或修改一動作。例如，使用者可提供有關在學習程序226期間未由機器150正確識別之互動介面之任何特徵或元素之資訊。替代地或另外，使用者可提供有關未由系統識別之動作之資訊。

如上所述，當界定可行項目時，評分高於預定分數之保留影像可用於識別可經由介面執行之動作及其對應可行項目。

此外，含於保留影像中之UI元素可與一詞典224 (例如儲存於記憶體130中之一字符詞典)比較。詞典224可包含包括一影像集合作為影像之一資料庫，影像集合包含以下之至少一者：共同UI元素、對應於影像中所展示之介面之特性之動作、影像中所展示之可行項目及互動媒體之其他能力。如上所述，保留影像中無法在詞典中匹配之UI元素需要用於表示未辨識UI元素226之使用者輸入。

系統可基於評估任務及結果之最佳性來進一步將分數賦予任務及其對應結果。明確而言，系統可判定兩個或更多個任務可導致相同結果且複查兩個或更多個任務且基於諸如時間、成本、效率、所涉及之步驟數等等之因數來給任務排名/評分。在一些實施方案中，可捨棄具有低於一預定分數之一分數之任務且可採用具有高於預定臨限值之分數之任務來達成一所要結果。替代地或另外，系統可使用具有最高分數之任務來達成所要結果。

系統可進一步判定指示執行一任務所遵循之一程序順序之一流程創建且儲存此順序用於執行任務。任務可依類似於上文之一方式進一步排名及評分且較高評分任務可收到相較於較低評分任務之優先權，如上文所詳述。

圖4係根據本文中所揭示之一些實施例之用於校準一機器人系統之程序之一流程圖。例如，程序300可用於自視覺源160獲得額外資訊。如上文所解釋，系統可獲得自各種感測器接收之資料及自視覺源160接收之資訊且分析資料及資訊以判定介面及機器之各種特徵(302至304)。若系統判定需要額外資料來識別介面及/或機器150，則系統100可提示306視覺源160 (例如攝影機)獲得額外影像及/或提示感測器獲得額外資料。系統100可進一步採用308增強額外資料捕捉之程序(例如，改良照明條件、改變裝置顯示設定、改進影像失真、改變308一攝影機之角度等等)以增強額外資料之捕捉。

如上所述，可採用任何適合感測器來獲得資料。例如，光感測器、紅外攝影機、光學感測器、光發射器及/或其他致動器可用於收集資料，包含光強度、照明條件、裝置顯示設定及失真。此外，在一些實施方案中，其他感測器178 (例如一數位感測器)可用於識別、判定及/或調整機器150之互動媒體152之顯示設定。

如上所述，自其他感測器178接收之資料可由處理器120處理以評定已在其下捕捉影像之條件且提高自額外影像獲得之資訊之品質及量。例如，系統可採用一光感測器來量測機器150周圍之環境之光強度且比較光強度與光強度之一儲存預定臨限值。若判定光強度低於預定臨限值，則系統可觸發在改變照明條件下由視覺源160重新捕捉機器150之視域之影像(例如，藉由採用一光發射器發射額外光、在一天之不同時間捕捉影像及/或在改變互動媒體152之一亮度之後捕捉影像)。

此外，機器人系統100可經調整以滿足影像捕捉之所要條件。例如，機器人系統之視覺源160可包含一光發射器162，其可經觸發以回應於光感測器量測到周圍之一光強度低於光強度之預定臨限值而提供一光源用於由視覺源160捕捉影像。視覺源160之光發射器162亦可經調整以提供具有不同強度之一範圍之光及/或提供來自不同角度之光。機器人系統100之視覺源160亦可經調整以在光感測器量測到周圍之光強度高於光強度之預定臨限值時在一天中之一時間捕捉機器150之影像。另外或替代地，視覺源160可包含經組態以在判定周圍之光強度低於一預定臨限值時在低光強度下捕捉影像之一紅外攝影機。

圖5繪示用於準備互動媒體152之元素、其相關聯任務及/或相關聯實體結果(可行項目)之一詞典224 (例如字符詞典)之一流程圖400。如圖5中所展示，詞典224可使用一監督式學習402、一觀察學習408或一無監督學習412來準備。

監督式學習詞典224可藉由向系統提供自一使用者接收之輸入來準備，輸入包含與已知互動媒體152元素(例如其影像)、其相關含義404、其相關聯任務及實體結果相關之資訊。使用者輸入可視情況包含存在於由使用者提供至機器人系統100之文件(例如機器150之手冊或一線上資源)中之字符影像及相關含義。在一些實施方案中，處理器120可將詞典元素(例如字符影像)及其相關聯含義、任務及結果呈現給使用者用於確認406。此外，詞典224可在使用者確認406之後更新。另外，更新詞典224可用於識別含於保留影像中之可行項目及其相關能力，如上文章節中所討論。

另外或替代地，詞典224可藉由回應於與由視覺源160提供之一或多個影像中之UI元素之互動而觀察一使用者之動作410來形成。明確而言，視覺源160可儲存展示使用者與互動元件之元素互動以執行一任務且達成一結果之影像。機器人系統100之處理器120可處理此等影像以識別相關UI元素及其相關聯任務及結果。此資訊可用於更新詞典224以識別UI元素、其相關聯任務及結果。

另外或替代地，可創建及更新詞典224，無需經由臂170及致動器176與機器150及互動元件之直接互動之使用者輸入。此無監督學習方法408允許系統與機器150互動且發現互動媒體152之元素及其相關聯任務及結果。除自與機器150直接互動學習之外，系統亦可藉由複查自機器150及互動媒體152之先前獲得影像418獲得之影像及/或相關聯任務及結果來更新詞典且擴展其對機器150及互動媒體152之瞭解。如上所述，系統可使用預記錄文件(例如使用者手冊)、線上資源及/或其他可用影像及資訊418。

在一些實施例中，儲存互動媒體152之元素之影像、相關聯任務及/或其結果之一字符詞典可由系統形成且用於執行本文中所揭示之功能420、422及424。例如，字符可用於描述對應於使用互動媒體152上之元素執行之任務之可行項目及所要結果。

圖6繪示用於識別使用機器150執行之較佳實體任務之程序之一流程圖500。如圖6中所展示，用於識別使用機器150執行之較佳實體任務之程序包含識別使用互動媒體152執行以操作機器150之實體任務，包含捕捉502機器之狀態、自感測器收集504資料、解譯506來自感測器之資料、判定508一實體任務清單、給實體任務清單排名510、用實體任務之排名清單創建512一任務計畫、識別514最高排名之實體任務及執行516最高排名之實體任務。

如上文所解釋，機器人系統100可用於藉由自感測器收集504資料且解譯506來自感測器之資料來識別機器150之目前狀態與執行較佳實體任務之關係。用於自感測器收集504資料且解譯506來自感測器之資料之感測器可包含壓力感測器、光感測器、紅外攝影機、光學感測器、光發射器及用於收集包含光強度、照明條件、裝置顯示設定及失真之資料之其他致動器。例如，來自耦合至臂170之遠端175之壓力感測器174之資料可經組態以在臂170之遠端175與互動媒體152介接時指示電阻變化。此外，來自光感測器之資料可用於量測周圍之光強度。在解譯506來自感測器之資料期間，在自感測器收集504資料期間收集之資料由機器人系統100之處理器120處理以呈現機器150之狀態。識別機器150之目前狀態可用於判定508能夠由機器150執行之實體任務清單。

能夠由機器150執行之實體任務清單508可用於自具有最低排名之一實體任務至具有最高排名之一實體任務給實體任務清單排名510以用實體任務之排名清單創建512任務計畫。例如，給實體任務清單排名510由機器人系統100之處理器120藉由比較實體任務清單與機器150之一操作目標來執行。此外，機器之操作目標可為使用者自定的且實體任務清單可與儲存於機器人系統100之主記憶體130中之字符詞典224比較以相對於達成機器150之操作目標來給實體任務清單排名。此外，實體任務清單排名510亦可由使用者輸入改變。

具有實體任務之排名清單512之一任務計畫可藉由儲存自具有一最低排名之一實體任務配置至具有一最高排名之一實體任務之一實體任務清單來準備以達成機器150之操作目標。此外，機器人系統100可經組態以在具有一較低排名之一實體任務之前執行具有一較高排名之實體任務。

機器人系統100可用於自具有一最低排名之一實體任務配置至具有一最高排名之一實體任務之實體任務清單識別514最高排名之實體任務以達成機器150之操作目標且執行516最高排名之實體任務。例如，具有最高排名之實體任務可經識別為使用機器150執行以達成機器150之操作目標之較佳任務。此外，臂170可由機器人系統100之處理器120指導以執行用於達成機器150之操作目標之較佳任務。

圖7繪示用於依一循環方式執行使用機器150執行之較佳實體任務之程序之一流程圖600。如圖7中所展示，用於依一循環方式執行使用機器150執行之較佳實體任務之程序包含建立602機器之操作目標、執行604用於達成機器之操作目標之較佳實體任務、在執行較佳實體任務期間偵測到錯誤時需要606輸入、在解決錯誤之後重新開始608執行用於達成機器之操作目標之較佳實體任務及評估610機器之操作目標之達成。

機器人系統100可經組態以需要一使用者輸入用於機器之操作目標602。明確而言，機器150經常期望之操作目標可儲存於主記憶體130中，可自主記憶體130識別用於達成機器150之操作目標之較佳實體任務。機器人系統100可經組態以回應於用於機器之操作目標602之使用者輸入而執行604用於達成機器之操作目標之較佳實體任務。例如，操作機器150之操作目標可為使一房間之一溫度維持在一固定溫度且機器人系統100可經組態以執行升高或降低一恆溫器之溫度以使房間之溫度維持在固定溫度之較佳實體任務。

機器人系統100可經組態以在執行較佳實體任務606期間偵測到錯誤時需要輸入。例如，機器人系統100可經組態以藉由自上文章節中所描述之感測器接收資料來偵測達成操作機器150之目標時之一錯誤。此外，機器人系統100可經組態以藉由比較較佳實體任務與儲存於機器人系統100之主記憶體130中之詞典224 (字符詞典)以驗證較佳實體任務中之可行項目且在出現錯誤時更新較佳實體任務之可行項目來需要輸入解決錯誤。機器人系統100可經組態以在解決錯誤之後更新儲存於機器人系統100之主記憶體130中之字符詞典224及實體任務清單(包含較佳實體任務)。此外，機器人系統100亦可經組態以回應於在執行較佳實體任務期間偵測到一錯誤而需要使用者輸入。機器人系統100可接著經組態以在解決錯誤之後重新開始608執行用於達成機器150之操作目標之較佳實體任務。

機器人系統100可用於藉由執行較佳實體任務來評估機器150之操作目標之達成。用於達成機器之操作目標之較佳實體任務之達成之評估610可藉由評估來自感測器之資料來執行。例如，在使溫度維持一固定溫度之例項中，機器人系統100可經組態以使用來自一熱感測器之資料來偵測房間之一溫度。此外，用於達成機器之操作目標之較佳實體任務之達成之評估610可進一步包含需要使用者輸入來確認機器之操作目標之達成610。用於達成機器之操作目標之較佳實體任務之達成之評估610亦可進一步包含一空閒功能以在已達成機器150之操作目標之後停止機器人系統100執行604用於達成機器150之操作目標之較佳實體任務。

機器人系統100可進一步用於依一串列或並行順序操作一或多個機器。圖8描繪使用機器人系統來操作一或多個機器150、150'之一實例之一方塊圖。如所展示，一或多個機器150/150'可配置於可容納一或多個機器之一擱架單元880或本技術中可用之一類似結構上。擱架單元可包含一或多個擱架881、881'或類似結構以接收一或多個機器150、150'。機器可依任何適合方式配置於擱架單元/擱架上。例如，機器可配置於擱架881、881'上，使得其各自互動媒體可易於由機器人系統之臂170接取。如圖8中所展示，機器人系統800可包含各經組態以如上文所詳述般操作之一或多個臂170、170'。機械臂170可使用一軌道形框架871連接至系統，軌道形框架871允許機械臂沿軌道形框架871移動(例如，沿方向D1)。軌道形框架871可經配置使得其沿一擱架881之長度延伸且允許機械臂170沿軌道871在擱架881上方移動且與(若干)機器之(若干)互動媒體互動。例如，機械臂170可經組態以圍繞框架871沿水平(X)及/或垂直(Y)方向移動。替代地或另外，機械臂170可經組態以在兩個或更多個維度上圍繞框架871移動。例如，機械臂170可經組態以在多個方向上旋轉，同時亦沿軌道871水平及/或垂直移動。如上所述，機械臂170之此配置可允許機械臂170圍繞框架871在三個、四個、五個或更多個維度上移動。

在圖8中所繪示之非限制性實施例中，機械臂經組態以沿軌道871在多個維度(例如X、Y及Z維度)上移動以與一或多個機器150/150'之各者介接。如所展示，軌道可為沿擱架單元880自擱架單元880之一側881A延伸至另一側881B且向機械臂提供自第一側881A移動至第二側881B之一媒體之軌道。視覺源160可進一步沿另一軌道861 (或類似結構)配置且經組態以依類似於機械臂170之一方式移動以捕捉視域之影像。

如上文所詳述，機械臂170之一致動器176 (例如一繪圖器或觸控筆)可經組態以與一或多個機器150/150'之各者之互動媒體152介接。如上所述，致動器可沿軌道871移動且依一串列及/或並行順序操作機器。例如，致動器可沿軌道871自一側881A移動至另一側881B且使各機器開始一特定任務。致動器可藉由返回至一第一側881A來繼續以藉由執行另一任務及/或繼續先前在各機器上開始之任務來繼續接著操作機器。例如，假定機械臂在配置於一擱架上之數個平板電腦上操作，機械臂可自第一側881A開始藉由打開各平板電腦來開始，在先前平板電腦啟動時藉由沿軌道逐平板電腦移動至第二側881B來繼續啟動其他平板電腦，返回至第一側881A，在各平板電腦上執行一後續任務(例如，開始更新一裝置上之作業系統且在一先前裝置更新時繼續更新其他裝置，同時向前移動至第二側881B)，且返回至第一側881A以繼續及/或執行其他任務。

如上所述，視覺源160可為一靜態攝影機或一視訊攝影機，其提供視域801內一或多個機器150/150'之各者之互動媒體152之一即時視訊串流。視覺源160可進一步經組態以在多個維度(例如X、Y及Z維度)上移動以捕捉一或多個機器150/150'之各者之一影像或即時視訊。例如，視覺源160可經組態以沿攝影機軌道861在一或多個方向上平移且沿攝影機軌道861在一或多個維度上旋轉。機械臂170可獨立於視覺源160而沿軌道871平移/旋轉。替代地及/或另外，機械臂170及視覺源160可彼此相關配置(例如，沿相同或類似路徑)。

圖9描繪根據本文中所揭示之一些態樣之一機器人系統900之一實例之一方塊圖。如所展示，機械臂170可經組態以在兩個或更多個方向上(例如，沿方向P1)圍繞一軌道框架872移動。框架進一步包含經組態以支撐視覺源160之一延伸部873。此組態允許視覺源160至少沿一個方向與機械臂170一前一後移動。

如上所述，視覺源160可捕捉視域801內一或多個機器150/150'之至少一個影像或即時視訊。至少一個影像或即時視訊可提供至處理器120 (圖1A)以處理一或多個機器150/150'之各者之互動媒體152之至少一個影像或即時視訊(例如一智慧型電話或平板電腦之圖標)以提取關於一或多個機器150/150'之各者之相關資訊。

此外，如上文所詳述，視覺源160及機械臂170可經由圖1A之通信網路148耦合至處理器120。在處理至少一個影像或即時視訊之後，處理器120可經組態以控制機械臂170與各機器150之互動媒體152介接。例如，處理器120可經組態以沿軌道871平移機械臂170以與一或多個機器150/150'之各者之互動媒體152之不同位置介接。

圖10描繪根據本文中所揭示之一些態樣之一機器人系統1000之另一實例。如所展示，系統1000可包含沿一攝影機軌道861安置以捕捉視域801內一或多個機器150/150'之各者之至少一個影像之複數個視覺源160/160'。例如，一或多個機器150/150'之各者可具有經分配用於捕捉機器150之至少一個影像之複數個視覺源160/160'之至少一者。複數個視覺源160可為一靜態攝影機或一視訊攝影機，其提供一或多個機器150/150'之各者之互動媒體152之一即時視訊串流。此外，複數個視覺源160/160'可經組態以圍繞其在攝影機軌道861上之位置旋轉以獲得視域中(若干)機器之額外影像。

此外，複數個視覺源160/160'之各者可捕捉視域801內一或多個機器150/150'之各者之至少一個影像或即時視訊。如上文所詳述，即時視訊可提供至圖1A之處理器120以處理一或多個機器150/150'之各者之互動媒體152之至少一個影像或即時視訊(例如一智慧型電話或平板電腦之圖標)以提取關於一或多個機器150/150'之各者之相關資訊。

圖11描繪可用於操作一或多個機器150/150'之一機器人系統1100之另一實例。如圖11中所展示，一或多個機器150/150'可配置於一移動帶1080 (例如一傳送帶)上以沿一方向D1移動。機械臂之一框架1072可安置於移動帶1080上，使得當機器沿移動帶移動時，機械臂170可與各機器之互動媒體152介接。例如，機械臂170可安置於帶1080上之一固定位置上，使得當一機器在帶上移動且靠近機械臂170時，機械臂170可與各機器之互動媒體152介接。框架1072進一步包含經組態以支撐一視覺源160之一延伸部1061。

如上所述，致動器176可經組態以相對於安置於軌道871上之機械臂170平移/移動及/或圍繞至少一個額外方向及/或維度旋轉。致動器176可經組態以圍繞其與機械臂170之遠端175之耦合件旋轉，藉此提供相對於機械臂170之至少一個額外移動/旋轉方向。致動器176之突出部174亦可經組態以圍繞其與致動器176之耦合件移動/旋轉，藉此提供相對於機械臂170之一進一步額外移動/旋轉方向。

一般技術者應瞭解，可在不背離本發明之範疇之情況下對上述實施例進行各種改變。儘管本說明書在特定繪示性、非限制性實施例之背景中揭示優點，但可在不背離由隨附申請專利範圍界定之說明書之範疇之情況下進行各種改變、替換、排列及更改。此外，結合任何一個實施例所描述之任何特徵亦可適用於任何其他實施例。

1:受測裝置 2:測試機器人 3:中央控制單元 4:顯示器 5:按鈕 6:嵌入式系統 7:動作元件 8:處理器 9:運算記憶體 10:效應器 11:攝影機 12:處理器 13:影像處理單元 14:記憶體單元 15:第一機械臂 16:第二機械臂 17:通信標籤 18:通信接收器 19:感測器 20:處理器 21:記憶體單元 22:決策模組 50:影像 51:裁剪影像 52:垂直分割線/水平分割線 53:扇區 54:標記 60:控制面板 61:可觀察使用者介面(OUI) 62:圖形使用者介面(GUI) 63:視覺指示器 64:旋鈕 70:描述符 71:空描述符 72:圖片 73:所關注區域 74:灰階影像 75:二進位邊緣影像 76:計數 78:添加 79:分割 80:計數 81:正規化 82:添加 83:達到 84:完成 85:重複 100:機器人系統 101:視域 110:電子電路系統 120:處理器 122:中央處理單元(CPU) 130:主記憶體 132:作業系統 134:應用軟體 140:資料庫/資料儲存器 142:介面 144:輸入/輸出(I/O)介面 145:智慧型及/或觸敏顯示器 146:通信介面 148:通信網路 150:機器 150':機器 152:互動媒體 152':液晶顯示器(LCD)螢幕 160:視覺源 160':視覺源 162:光發射器 163:光感測器 170:臂 170':臂 170A:區段 170B:區段 170J:關節 172:框架 173:近端 174:感測器 175:遠端 176:致動器 178:其他感測器 199:按鈕 201:互動元件 202:視覺源 204:臂校準 206:半自動程序 208:全自動程序 210:螢幕及使用者介面(UI)捕捉 212:螢幕及UI之預捕捉影像 214:提取 216:影像評分程序 218:評分 220:未來使用 222:任務 224:詞典 226:學習程序 300:程序 302:獲得 304:分析 306:提示 308:採用 400:流程圖 402:監督式學習 404:相關含義 406:確認 408:觀察學習 410:使用者之動作 412:無監督學習 418:影像及資訊 420:功能 422:功能 424:功能 500:流程圖 502:捕捉 504:收集 506:解譯 508:判定 510:排名 512:創建 514:識別 516:執行 600:流程圖 602:建立 604:執行 606:需要 608:重新開始 610:評估 800:機器人系統 801:視域 861:攝影機軌道 871:軌道形框架/軌道 872:軌道框架 873:延伸部 880:擱架單元 881:擱架 881':擱架 881A:第一側 881B:第二側 900:機器人系統 1000:機器人系統 1061:延伸部 1072:框架 1080:移動帶 1100:機器人系統

圖1A係根據本文中所揭示之一些實施例之一機器人系統之一方塊圖。

圖1B係根據本文中所揭示之一些實施例之用於測試一裝置之一嵌入式系統之一系統之一示意圖。

圖1C係根據本文中所揭示之一些實施例之一受測裝置之一可觀察使用者介面之一實例之一方塊圖。

圖1D係根據本文中所揭示之一些實施例之一受測裝置之一可觀察使用者介面之一實例之一方塊圖。

圖1E係根據本文中所揭示之一些實施例之一受測裝置之可觀察使用者介面之一實例性狀態之一方塊圖。

圖1F係根據本文中所揭示之一些實施例之一受測裝置之可觀察使用者介面之一實例性狀態之一方塊圖。

圖1G係根據本文中所揭示之一些實施例之建構一描述符之一方法之一流程圖。

圖1H係根據本文中所揭示之一些實施例之處理一影像之一方法之一實例性步驟。

圖1I係根據本文中所揭示之一些實施例之用於處理一影像之程序之一實例。

圖1J係根據本文中所揭示之一些實施例之用於處理一影像之程序之一實例。

圖1K係根據本文中所揭示之一些實施例之評估時間之比較結果之實例圖。

圖2係根據本文中所揭示之一些實施例之一電子電路系統之一方塊圖。

圖3係根據本文中所揭示之一些實施例之用於操作機器人系統之程序之一流程圖。

圖4係根據本文中所揭示之一些實施例之用於校準一機器人系統之程序之一流程圖。

圖5係根據本文中所揭示之一些實施例之用於準備互動媒體之元素、其相關聯任務及/或相關聯實體結果之一詞典之一流程圖。

圖6係根據本文中所揭示之一些實施例之用於識別使用機器執行之較佳實體任務之程序之一流程圖。

圖7係根據本文中所揭示之一些實施例之用於依一循環方式執行使用機器執行之較佳實體任務之程序之一流程圖。

圖8係根據本文中所揭示之一些實施例之一機器人系統之一實例之一方塊圖。

圖9係根據本文中所揭示之一個實施例之機器人系統之一實例之一方塊圖。

圖10係根據本文中所揭示之一個實施例之機器人系統之一實例之一方塊圖。

圖11係根據本文中所揭示之一個實施例之機器人系統之一實例之一方塊圖。

100:機器人系統

101:視域

110:電子電路系統

120:處理器

130:主記憶體

148:通信網路

150:機器

152:互動媒體

152':液晶顯示器(LCD)螢幕

160:視覺源

162:光發射器

163:光感測器

170:臂

170A:區段

170B:區段

170J:關節

172:框架

173:近端

174:感測器

175:遠端

176:致動器

199:按鈕

Claims

一種用於操作一機器之機器人系統，該機器包括具有用於使用該機器執行一實體任務之一互動媒體之一介面，該機器人系統包括：一臂；一致動器，其耦合至該臂，該致動器經組態以在該致動器與該互動媒體實體介接時指示該互動媒體之一變化；一視覺源，其經組態以提供一視域中該機器之一影像；一處理器，其耦合至該臂及該視覺源；及一記憶體，其耦合至該處理器且經組態以儲存包括指令之電腦可執行程式，該等指令在由該處理器執行之後：自該影像提取指示用於識別該視域內之該介面之一度量之資訊；基於指示該互動媒體之該變化之來自該致動器之信號來提取指示該互動媒體之一特性之資訊；及操作該臂致動該互動媒體以使用該機器執行該實體任務。
如請求項1之系統，其中該臂包括一機械臂。
如前述請求項中任一項之系統，其中該臂包括一近端及一遠端。
如前述請求項中任一項之系統，其中該致動器包括耦合至該致動器之一遠端之一壓力感測器，該壓力感測器經組態以藉由感測該遠端與該互動媒體實體介接時之一電阻變化來指示該變化。
如前述請求項中任一項之系統，其中該等指令在執行之後基於指示由該壓力感測器指示之該電阻變化之來自該壓力感測器之信號來提取指示該互動媒體之該特性之資訊。
如前述請求項中任一項之系統，其中該致動器耦合至該臂之一遠端。
如前述請求項中任一項之系統，其中該視覺源包括一攝影機。
如前述請求項中任一項之系統，其中該攝影機經組態以圍繞該機器旋轉以獲得該機器之影像。
如前述請求項中任一項之系統，其中該攝影機耦合至該臂。
如前述請求項中任一項之系統，其中該視覺源包括儲存關於該視域之視覺資訊之一源。
如前述請求項中任一項之系統，其中該視覺源包括一紅外攝影機。
如前述請求項中任一項之系統，其中該視覺源包括一超音波攝影機、一超音波感測器及LIDAR之至少一者。
如前述請求項中任一項之系統，其中該視覺源經由一通信網路耦合至該機器人系統。
如前述請求項中任一項之系統，其中該視覺源經組態以提供該視域之一視訊串流。
如前述請求項中任一項之系統，其中該視覺源包括預捕捉影像。
如前述請求項中任一項之系統，其中該臂經組態以在該機器附近之該視域中在兩個維度上移動。
如前述請求項中任一項之系統，其中該臂經組態以在該機器附近之該視域中在三個維度上移動。
如前述請求項中任一項之系統，其中該致動器經組態以亦在除該臂經組態以在其中移動之維度之外的一維度上移動。
如前述請求項中任一項之系統，其中該臂包括在一或多個關節處連接之一或多個區段，其中各區段經組態以相對於其各自關節相對於相鄰區段平移。
如前述請求項中任一項之系統，其中該臂包括在一或多個關節處連接之一或多個區段，其中各區段經組態以相對於其各自關節相對於相鄰區段旋轉。
如前述請求項中任一項之系統，其中該臂經組態以在該機器附近之該視域中旋轉。
如前述請求項中任一項之系統，其進一步包括經組態以自兩個或更多個視域獲得該機器之兩個或更多個影像之一或多個額外攝影機。
如前述請求項中任一項之系統，其中該兩個或更多個影像經組態以形成一影像串流。
如前述請求項中任一項之系統，其中該影像串流提供該機器之三維影像。
如請求項1之系統，其中該記憶體經組態以儲存用於判定用於識別該介面之該度量之資訊。
如請求項3之系統，其中該資訊包括有關該視域內該機器之一維度之預定資料。
如請求項3之系統，其中該資訊包括有關該視域內該介面之一維度之預定資料。
如前述請求項中任一項之系統，其中該度量包括該視域內該機器之一維度。
如前述請求項中任一項之系統，其中該度量包括該視域內該機器之位置。
如前述請求項中任一項之系統，其中該度量包括該視域內該機器之定向。
如前述請求項中任一項之系統，其中該度量包括該視域內該介面之位置。
如前述請求項中任一項之系統，其中該度量包括該視域內該介面之一邊界。
如前述請求項中任一項之系統，其中該等指令在執行之後進一步識別該互動媒體之一維度。
如前述請求項中任一項之系統，其中該特性包括該互動媒體之一維度。
如前述請求項中任一項之系統，其中該特性包括該互動媒體之一色彩。
如前述請求項中任一項之系統，其中該特性包括該互動媒體之一紋理。
如前述請求項中任一項之系統，其中該特性包括該互動媒體之一視覺特性。
如前述請求項中任一項之系統，其中該特性包括呈現於該互動媒體上之文字。
如前述請求項中任一項之系統，其中該等指令在執行之後將該度量儲存於該記憶體中。
如前述請求項中任一項之系統，其中該等指令在執行之後將該特性儲存於該記憶體中。
如前述請求項中任一項之系統，其中該處理器連接至一通信網路且經組態以經由該通信網路自一遠端實體接收指令。
如前述請求項中任一項之系統，其中該視域係三維視域。
如前述請求項中任一項之系統，其中該壓力感測器係一數位感測器。
如前述請求項中任一項之系統，其中光學感測器係一數位感測器。
如前述請求項中任一項之系統，其中該等指令在執行之後進一步調整該攝影機以獲得一額外視域中之一額外影像。
如前述請求項中任一項之系統，其中該等指令在執行之後提取包含用於識別該視域內之該介面之該度量之該資訊，分析該提取資訊以判定是否需要用於識別該介面之額外資訊，及在需要該額外資訊時調整該攝影機以獲得該額外視域內之該額外影像。
如前述請求項中任一項之系統，其中該攝影機之調整包括調整該攝影機之一角度。
如前述請求項中任一項之系統，其進一步包括在執行之後在獲得該等額外影像之前調整由光發射器發射之光之一強度之指令。
如前述請求項中任一項之系統，其中該等指令在執行之後提取包含用於識別該視域內之該介面之該度量之該資訊，分析該提取資訊以判定是否需要用於識別該介面之額外資訊，及在需要該額外資訊時在一不同時間獲得該等額外影像。
如前述請求項中任一項之系統，其中該等指令在執行之後基於用於識別該視域內之該介面或該互動媒體之該影像中可用之資訊量來分析獲得影像且給各影像評分。
如前述請求項中任一項之系統，其中該等指令在執行之後基於準確偵測該互動媒體之該特性之一概率來給各影像評分。
如前述請求項中任一項之系統，其中該等指令在執行之後排除具有低於一預定分數之一分數之影像用於識別該視域內之該介面或該互動媒體。
如前述請求項中任一項之系統，其中該等指令在執行之後採用具有高於一預定分數之一分數之影像用於識別該視域內之該介面或該互動媒體。
如前述請求項中任一項之系統，其中該記憶體經組態以儲存關於用於識別該介面或該互動媒體之該度量之至少一者之先前驗證資料。
如前述請求項中任一項之系統，其中該先前驗證資料包括由該機器之一人類操作者提供之資料。
如前述請求項中任一項之系統，其中該先前驗證資料包括經由該通信網路自該遠端實體提供之資料。
如前述請求項中任一項之系統，其中該先前驗證資料包括自該機器之一原始手冊及一線上資源之至少一者獲得之資料。
如前述請求項中任一項之系統，其中該等指令經組態以分析該原始手冊或該線上資源之該至少一者以提取用於識別該介面或該互動媒體之資訊。
如前述請求項中任一項之系統，其中該先前驗證資料包括一字符詞典。
如請求項41之系統，其中該字符詞典包括一影像集合。
如請求項42之系統，其中該等指令經組態以使用自該影像及該壓力感測器獲得之用於識別該介面之該度量及該互動媒體之該特性來更新該字符詞典。
如請求項41至43中任一項之系統，其中該等指令經組態以使用具有高於該預定分數之一分數之影像來更新該字符詞典。
如前述請求項中任一項之系統，其中該等指令藉由比較該影像與該先前驗證資料來給各影像評分。
如前述請求項中任一項之系統，其中該記憶體經組態以儲存使用該互動媒體執行之一實體任務清單。
如前述請求項中任一項之系統，其中該記憶體經組態以儲存來自該實體任務清單之各實體任務之一排名。
如前述請求項中任一項之系統，其中該臂由該處理器指導以基於賦予各任務之該排名來執行該等實體任務。
如前述請求項中任一項之系統，其中具有一較高排名之一實體任務在具有一較低排名之一實體任務之前執行。
如前述請求項中任一項之系統，其中具有最高排名之實體任務係使用該機器執行之一較佳任務。
如前述請求項中任一項之系統，其進一步包括連接至該臂之該遠端之一致動臂，該致動臂經組態以經由該互動媒體執行該實體任務。
如前述請求項中任一項之系統，其中該壓力感測器包括一壓阻感測器。
如前述請求項中任一項之系統，其中該記憶體經組態以儲存使用該機器執行之一實體任務庫，且其中由該處理器執行之該等指令自該實體任務庫選擇用於執行之該實體任務。
如前述請求項中任一項之系統，其中該記憶體經組態以儲存使用該互動媒體執行之一實體任務清單，且其中由該處理器執行之該等指令自該實體任務清單選擇用於執行之該實體任務。
如前述請求項中任一項之系統，其進一步包括基於自先前已操作該機器之一人類操作者獲得之資料來界定該實體任務清單。
如前述請求項中任一項之系統，其進一步包括基於自該機器之一原始手冊及一線上資源之至少一者獲得之資料來界定該實體任務清單。
如前述請求項中任一項之系統，其中該處理器經組態以回應於一語音命令而執行該等指令。
如前述請求項中任一項之系統，其中該實體任務包括抬起一重物、打開一門、放下該重物、推動該重物及滑動該重物之至少一者。
如前述請求項中任一項之系統，其中該致動器經組態以回應於與該互動媒體互動而記錄由該機器執行之一實體任務。
如前述請求項中任一項之系統，其中該致動器經組態以執行可透過與該互動媒體互動來取得之每一動作且記錄回應於該動作而執行之實體任務。
如前述請求項中任一項之系統，其中該等實體任務記錄於一資料庫中。
如前述請求項中任一項之系統，其中該資料庫係一字符詞典。
如前述請求項中任一項之系統，其進一步包括連接至該處理器之一使用者介面，該使用者介面經組態用於控制該機器人系統。
如前述請求項中任一項之系統，其中該使用者介面包括用於引發該等電腦可執行程式執行之一圖形介面。
如前述請求項中任一項之系統，其中該處理器經組態以使用一影像處理方案提取指示用於識別該視域內之該介面之該度量之該資訊。
如前述請求項中任一項之系統，其中該處理器經組態以使用一影像處理方案提取指示用於識別該視域內之該介面之該度量之該資訊，該影像處理方案接收該視域內之該介面之先前驗證影像且採用一深度學習架構來識別該介面。
如前述請求項中任一項之系統，其中該深度學習架構包括監督式深度學習。
如前述請求項中任一項之系統，其中該深度學習架構包括無監督深度學習。
如前述請求項中任一項之系統，其中該深度學習架構包括強化深度學習。
如前述請求項中任一項之系統，其中進一步包括基於來自該視覺源之一影像中可用於識別該機器或該互動介面之一資訊量來給該影像評分且在該深度學習架構中使用具有高於一預定值之一分數之影像。
如前述請求項中任一項之系統，其進一步包括經組態以量測以下之至少一者之一性質之一或多個感測器：該機器、該互動元件及該視域。
如前述請求項中任一項之系統，其進一步包括經組態以量測該視域內之光強度之一光學感測器，其中該等指令在執行之後進一步使用自該光感測器獲得之該光強度來提取用於識別該介面之該度量。
如前述請求項中任一項之系統，其進一步包括經組態以量測該視域內之光強度之一光學感測器，其中該等指令在執行之後基於該光強度進一步調整該影像。
如前述請求項中任一項之系統，其進一步包括經組態以量測該機器周圍之一區域之一特徵之一感測器，其中該等指令在執行之後基於該量測特徵進一步調整該提取資訊。
如前述請求項中任一項之系統，其中該量測特徵係眩光、可聽噪音、濕度及觸覺之至少一者。
如前述請求項中任一項之系統，其中該等指令在執行之後比較該光強度與一預定臨限值且引起該視覺源在該光強度小於該預定臨限值時獲得該視域之一額外影像。
如前述請求項中任一項之系統，其中該額外影像在一不同時間獲得。
如前述請求項中任一項之系統，其進一步包括與該光感測器耦合之一光發射器，其中該光感測器回應於自該光發射器發射之光而量測在該視域中反射之該光強度。
如前述請求項中任一項之系統，其中該等指令引起該光發射器經組態以回應於該光強度小於該預定臨限值而發射光。
如前述請求項中任一項之系統，其進一步包括自該影像提取該資訊。
一種用於執行一機器之機器人系統，該機器包括具有用於使用該機器執行一實體任務之一互動媒體之一介面，該機器人系統包括：一臂，其經組態以在一第一維度上移動；一致動器，其耦合至該臂且經組態以在一第二維度上移動；一視覺源，其經組態以獲得該機器之一影像；一處理器，其耦合至該臂及該致動器；一記憶體，其耦合至該處理器且經組態以儲存包括指令之電腦可執行程式，該等指令在由該處理器執行之後：自該影像提取指示用於識別該視域內之該介面之一度量之資訊；基於該度量：在該介面附近在該第一維度上移動該臂；在該介面附近在該第二維度上移動該致動器；及記錄由該致動器在該第二維度上觀察到之一變化；及基於該觀察變化提取指示該互動媒體之一特性之資訊；及操作該互動元件致動該互動媒體以使用該機器執行該實體任務。
如請求項99之系統，其進一步包括請求項2至98中所敘述之元件。