TW202013298A - 用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品 - Google Patents
用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品 Download PDFInfo
- Publication number
- TW202013298A TW202013298A TW108125256A TW108125256A TW202013298A TW 202013298 A TW202013298 A TW 202013298A TW 108125256 A TW108125256 A TW 108125256A TW 108125256 A TW108125256 A TW 108125256A TW 202013298 A TW202013298 A TW 202013298A
- Authority
- TW
- Taiwan
- Prior art keywords
- industrial
- user
- machine
- intelligent
- response
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 176
- 238000004891 communication Methods 0.000 title claims abstract description 90
- 238000004590 computer program Methods 0.000 title claims abstract description 24
- 230000004044 response Effects 0.000 claims abstract description 138
- 230000008569 process Effects 0.000 claims abstract description 131
- 238000012545 processing Methods 0.000 claims description 41
- 230000009471 action Effects 0.000 description 37
- 230000006870 function Effects 0.000 description 31
- 238000004519 manufacturing process Methods 0.000 description 20
- 238000013500 data storage Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 10
- 238000012994 industrial processing Methods 0.000 description 8
- 238000012790 confirmation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 238000009760 electrical discharge machining Methods 0.000 description 2
- 238000000227 grinding Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000005459 micromachining Methods 0.000 description 2
- 238000003801 milling Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 208000003580 polydactyly Diseases 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010792 warming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/80—Management or planning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Manufacturing & Machinery (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Factory Administration (AREA)
- Computer And Data Communications (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
提供一種用於與智慧型工業輔助及工業機器通訊的方法。該方法可以包括從使用者接收第一自然語言輸入。第一自然語言輸入可以與用於讓工業機器執行第一處理的第一命令相關聯。可以指示工業機器依據第一自然語言輸入來執行第一處理。當工業機器執行第一處理時,可以從使用者接收第二自然語言輸入。可以依據第二自然語言輸入來決定第一回應。當工業機器執行第一處理時,可以啟動針對使用者的第一回應的通訊。亦揭示一種系統及電腦程式產品。
Description
本申請案請求2018年7月17日提交的美國臨時申請案第62/699,394號的優先權,其揭示藉由引用整體併入本文。
所揭示之標的一般係關於用於智慧型輔助的方法、系統、及產品,而在一些特定實施例中,係關於用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品。
某些機器可以經由與機器整合的物理介面(例如,鍵盤、鍵板、及/或類似者)而可以使用(例如,可控制及/或類似者)。這樣的介面可以依據機器的類型而變化(例如,依據與這種機器相關聯的製造商、第三方控制器/介面提供商、型號、及/或類似者)。這樣的介面允許輸入命令或代碼(例如,數值代碼及/或類似者),以啟動機器的處理/功能。一些這樣的介面可以在執行時直接控制這樣的處理/功能。
然而,這樣的介面可能並不允許使用者在執行這樣的處理/功能時輸入其他命令或代碼。舉例而言,當介面的控制器被佔用於控制這樣的處理/功能時,這種控制器可能無法單獨接收附加的命令或代碼。
此外,某些機器的使用者(例如,工業機器及/或類似者的操作者)可以經訓練以使用這種機器。舉例而言,每一機器可以經由與機器整合的物理介面(例如,鍵盤、鍵板、及/或類似者)而可以使用(例如,可控制及/或類似者)。這樣的介面可以依據機器的類型而變化(例如,依據與這種機器相關聯的製造商、第三方控制器/介面提供商、型號、及/或類似者)。
然而,使用這種介面的訓練可能很耗時。此外,可能需要手動嘗試(例如,多次擊鍵、點擊、及/或類似者)、時間、及/或類似者而經由這樣的介面來使用(例如,控制及/或類似者)這樣的機器。此外,若並未在其他機器(例如,廠區的單獨的工業機器、新取得的工業機器、經升級的工業機器、及/或類似者)的介面上進行單獨學習(例如,進行訓練及/或類似者),則使用者(例如,機器操作者及/或類似者)可能無法控制這些其他機器。即使使用者確實知道如何使用多台機器,亦可能需要在機器之間移動的手動嘗試與時間,及/或這樣的使用者可能無法同時監測多個單獨的機器。此外,如果使用者的手被佔用(例如,攜帶物品、書寫筆記、在廠區內輔助另一人、及/或類似者),則這樣的使用者可能無法適當地操縱機器的介面。此外,若這樣的介面僅包括狀態或其他資訊的視覺指示(例如,顯示螢幕、指示燈、及/或類似者),則使用者在看向其他地方時可能無法充分地接收這種狀態或其他資訊的指示(例如,查看廠區內的任何其他地方的任何其他東西)。
因此,本揭示的標的之目的係為提供用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品。
根據非限制性實施例,提供一種用於與智慧型工業輔助及工業機器通訊的方法。在一些非限制性實施例中,用於與智慧型工業輔助及工業機器通訊的方法可以包括以下步驟:藉由智慧型工業輔助從使用者接收第一自然語言輸入。第一自然語言輸入可以與用於工業機器執行第一處理的第一命令相關聯。智慧型工業輔助可以指示工業機器依據第一自然語言輸入來執行第一處理。當工業機器執行第一處理時,智慧型工業輔助可以從使用者接收第二自然語言輸入。智慧型工業輔助可以依據第二自然語言輸入來決定第一回應。當工業機器執行第一處理時,智慧型工業輔助可以開啟針對使用者的第一回應的通訊。
在一些非限制性實施例中,第一回應可以基於第一上下文。附加或可替代地,第一上下文可以基於工業機器上運行的第一處理、包括工業機器的工作單元的一或更多個處理、工業機器的類型、使用者的角色、其任一組合、及/或類似者中之至少一者。
在一些非限制性實施例中,智慧型工業輔助可以從工業機器接收與第一事件相關聯的事件資料。附加或可替代地,智慧型工業輔助可以中斷針對使用者的回應的通訊。
在一些非限制性實施例中,在中斷回應的通訊之前,智慧型工業輔助可以依據事件資料來決定是否中斷第一回應的通訊。
在一些非限制性實施例中,智慧型工業輔助可以依據事件資料來決定第二回應。附加或可替代地,智慧型工業輔助可以啟動針對使用者的第二回應的通訊。
在一些非限制性實施例中,在完成針對使用者的第二回應的通訊之後,智慧型工業輔助可以繼續針對使用者的第一回應的通訊。
在一些非限制性實施例中,第二自然語言輸入可以與連接到智慧型工業輔助的資料庫的查詢、關於工業機器的狀態的查詢、關於第一處理的狀態的查詢、建立工業機器的第二處理的請求、產生與工業機器相關聯的報告的請求、藉由第二工業機器執行第三處理的請求、指導使用者如何執行第四處理的請求、教導使用者新技能的請求、其任一組合、及/或類似者中之至少一者相關聯。
在一些非限制性實施例中,第一回應可以包括指導使用者如何執行第二處理、教導使用者新技能、其任一組合、及/或類似者中之至少一者。
在一些非限制性實施例中,事件可以包括工業機器的警報。附加或可替代地,智慧型工業輔助可以指示工業機器依據警報來停止第一處理。
根據非限制性實施例,提供一種用於與智慧型工業輔助及工業機器通訊的系統。在一些非限制性實施例中,用於與智慧型工業輔助及工業機器通訊的系統可以包括至少一個處理器與包含指令的至少一個非暫態電腦可讀取媒體,該等指令引導至少一個處理器以經由智慧型工業輔助從使用者接收第一自然語言輸入。第一自然語言輸入可以與用於讓工業機器執行第一處理的第一命令相關聯。智慧型工業輔助可以指示工業機器依據第一自然語言輸入來執行第一處理。當工業機器執行第一處理時,智慧型工業輔助可以從使用者接收第二自然語言輸入。智慧型工業輔助可以依據第二自然語言輸入來決定第一回應。當工業機器執行第一處理時,智慧型工業輔助可以啟動針對使用者的第一回應的通訊。
在一些非限制性實施例中,第一回應可以基於第一上下文。附加或可替代地,第一上下文可以基於工業機器上運行的第一處理、包括工業機器的工作單元的一或更多個處理、工業機器的類型、使用者的角色、其任一組合、及/或類似者中之至少一者。
在一些非限制性實施例中,智慧型工業輔助可以從工業機器接收與第一事件相關聯的事件資料。附加或可替代地,智慧型工業輔助可以中斷針對使用者的回應的通訊。
在一些非限制性實施例中,在中斷回應的通訊之前,智慧型工業輔助可以依據事件資料來決定是否中斷第一回應的通訊。
在一些非限制性實施例中,智慧型工業輔助可以依據事件資料來決定第二回應。附加或可替代地,智慧型工業輔助可以啟動針對使用者的第二回應的通訊。
在一些非限制性實施例中,在完成針對使用者的第二回應的通訊之後,智慧型工業輔助可以繼續針對使用者的第一回應的通訊。
在一些非限制性實施例中,第二自然語言輸入可以與連接到智慧型工業輔助的資料庫的查詢、關於工業機器的狀態的查詢、關於第一處理的狀態的查詢、建立工業機器的第二處理的請求、產生與工業機器相關聯的報告的請求、藉由第二工業機器執行第三處理的請求、指導使用者如何執行第四處理的請求、教導使用者新技能的請求、其任一組合、及/或類似者中之至少一者相關聯。
在一些非限制性實施例中,第一回應可以包括指導使用者如何執行第二處理、教導使用者新技能、其任一組合、及/或類似者中之至少一者。
在一些非限制性實施例中,事件可以包括工業機器的警報。附加或可替代地,智慧型工業輔助可以指示工業機器依據警報來停止第一處理。
根據非限制性實施例,提供一種用於與智慧型工業輔助及工業機器通訊的電腦程式產品。電腦程式產品可以包括至少一個非暫態電腦可讀取媒體,至少一個非暫態電腦可讀取媒體包括一或更多個指令,在藉由至少一個處理器執行時,一或更多個指令使至少一個處理器以經由智慧型工業輔助從使用者接收第一自然語言輸入。第一自然語言輸入可以與用於讓工業機器執行第一處理的第一命令相關聯。智慧型工業輔助可以指示工業機器依據第一自然語言輸入來執行第一處理。當工業機器執行第一處理時,智慧型工業輔助可以從使用者接收第二自然語言輸入。智慧型工業輔助可以依據第二自然語言輸入來決定第一回應。當工業機器執行第一處理時,智慧型工業輔助可以啟動針對使用者的第一回應的通訊。
在一些非限制性實施例中,第一回應可以基於第一上下文。附加或可替代地,第一上下文可以基於工業機器上運行的第一處理、包括工業機器的工作單元的一或更多個處理、工業機器的類型、使用者的角色、其任一組合、及/或類似者中之至少一者。
在一些非限制性實施例中,智慧型工業輔助可以從工業機器接收與第一事件相關聯的事件資料。附加或可替代地,智慧型工業輔助可以中斷針對使用者的回應的通訊。
在一些非限制性實施例中,在中斷回應的通訊之前,智慧型工業輔助可以依據事件資料來決定是否中斷第一回應的通訊。
在一些非限制性實施例中,智慧型工業輔助可以依據事件資料來決定第二回應。附加或可替代地,智慧型工業輔助可以啟動針對使用者的第二回應的通訊。
在一些非限制性實施例中,在完成針對使用者的第二回應的通訊之後,智慧型工業輔助可以繼續針對使用者的第一回應的通訊。
在一些非限制性實施例中,第二自然語言輸入可以與連接到智慧型工業輔助的資料庫的查詢、關於工業機器的狀態的查詢、關於第一處理的狀態的查詢、建立工業機器的第二處理的請求、產生與工業機器相關聯的報告的請求、藉由第二工業機器執行第三處理的請求、指導使用者如何執行第四處理的請求、教導使用者新技能的請求、其任一組合、及/或類似者中之至少一者相關聯。
在一些非限制性實施例中,第一回應可以包括指導使用者如何執行第二處理、教導使用者新技能、其任一組合、及/或類似者中之至少一者。
在一些非限制性實施例中,事件可以包括工業機器的警報。附加或可替代地,智慧型工業輔助可以指示工業機器依據警報來停止第一處理。
在下列經編號的條款中闡述進一步的實施例或態樣:
條款1:一種用於與智慧型工業輔助及工業機器通訊的方法,包含以下步驟:藉由智慧型工業輔助從使用者接收第一自然語言輸入,第一自然語言輸入係與用於讓工業機器執行第一處理的第一命令相關聯;藉由智慧型工業輔助指示工業機器依據第一自然語言輸入來執行第一處理;當工業機器執行第一處理時,藉由智慧型工業輔助從使用者接收第二自然語言輸入;藉由智慧型工業輔助依據第二自然語言輸入來決定第一回應;以及當工業機器執行第一處理時,藉由智慧型工業輔助來啟動針對使用者的第一回應的通訊。
條款2: 如條款1所述的方法,其中第一回應係基於第一上下文,且其中第一上下文係基於工業機器上運行的第一處理、包括工業機器的工作單元的一或更多個處理、工業機器的類型、或使用者的角色中之至少一者。
條款3:如條款1或2所述的方法,進一步包含以下步驟:藉由智慧型工業輔助從工業機器接收與第一事件相關聯的事件資料;以及藉由智慧型工業輔助來中斷針對使用者的回應的通訊。
條款4:如任一前述條款所述的方法,進一步包含以下步驟:在中斷回應的通訊之前,藉由智慧型工業輔助依據事件資料來決定是否中斷第一回應的通訊。
條款5:如任一前述條款所述的方法,進一步包含以下步驟:藉由智慧型工業輔助依據事件資料來決定第二回應;以及藉由智慧型工業輔助來啟動針對使用者的第二回應的通訊。
條款6:如任一前述條款所述的方法,進一步包含以下步驟:在完成針對使用者的第二回應的通訊之後,藉由智慧型工業輔助來繼續針對使用者的第一回應的通訊。
條款7:如任一前述條款所述的方法,其中第二自然語言輸入係與連接到智慧型工業輔助的資料庫的查詢、關於工業機器的狀態的查詢、關於第一處理的狀態的查詢、建立工業機器的第二處理的請求、產生與工業機器相關聯的報告的請求、藉由第二工業機器執行第三處理的請求、指導使用者如何執行第四處理的請求、或教導使用者新技能的請求中之至少一者相關聯。
條款8:如任一前述條款所述的方法,其中第一回應包含指導使用者如何執行第二處理或教導使用者新技能中之至少一者。
條款9:如任一前述條款所述的方法,其中事件包含工業機器的警報。
條款10:如任一前述條款所述的方法,進一步包含以下步驟:藉由智慧型工業輔助指示工業機器依據警報來停止第一處理。
條款11:一種用於與智慧型工業輔助及工業機器通訊的系統,包含:至少一個處理器;以及包含指令的至少一個非暫態電腦可讀取媒體,該等指令引導至少一個處理器以:經由智慧型工業輔助從使用者接收第一自然語言輸入,第一自然語言輸入係與用於讓工業機器執行第一處理的第一命令相關聯;經由智慧型工業輔助指示工業機器依據第一自然語言輸入來執行第一處理;當工業機器執行第一處理時,經由智慧型工業輔助從使用者接收第二自然語言輸入;經由智慧型工業輔助依據第二自然語言輸入來決定第一回應;以及當工業機器執行第一處理時,經由智慧型工業輔助來啟動針對使用者的第一回應的通訊。
條款12:如條款11所述的系統,其中第一回應係基於第一上下文,且其中第一上下文係基於工業機器上運行的第一處理、包括工業機器的工作單元的一或更多個處理、工業機器的類型、或使用者的角色中之至少一者。
條款13:如條款11或12所述的系統,其中該等指令進一步引導至少一個處理器以:藉由智慧型工業輔助從工業機器接收與第一事件相關聯的事件資料;以及藉由智慧型工業輔助來中斷針對使用者的回應的通訊。
條款14:如條款11至13中之任一者所述的方法,其中該等指令進一步引導至少一個處理器以:在中斷回應的通訊之前,藉由智慧型工業輔助依據事件資料來決定是否中斷第一回應的通訊。
條款15:如條款11至14中之任一者所述的方法,其中該等指令進一步引導至少一個處理器以:藉由智慧型工業輔助依據事件資料來決定第二回應;以及藉由智慧型工業輔助來啟動針對使用者的第二回應的通訊。
條款16:如條款11至15中之任一者所述的方法,其中該等指令進一步引導至少一個處理器以:在完成針對使用者的第二回應的通訊之後,藉由智慧型工業輔助來繼續針對使用者的第一回應的通訊。
條款17:如條款11至16中之任一者所述的方法,其中第二自然語言輸入係與連接到智慧型工業輔助的資料庫的查詢、關於工業機器的狀態的查詢、關於第一處理的狀態的查詢、建立工業機器的第二處理的請求、產生與工業機器相關聯的報告的請求、藉由第二工業機器執行第三處理的請求、指導使用者如何執行第四處理的請求、或教導使用者新技能的請求中之至少一者相關聯。
條款18:如條款11至17中之任一者所述的方法,其中第一回應包含指導使用者如何執行第二處理或教導使用者新技能中之至少一者。
條款19:如條款11至18中之任一者所述的方法,其中事件包含工業機器的警報。
條款20:如條款11至19中之任一者所述的方法,其中該等指令進一步引導至少一個處理器以:藉由智慧型工業輔助指示工業機器依據警報來停止第一處理。
條款21:一種用於與智慧型工業輔助及工業機器通訊的電腦程式產品,電腦程式產品包含至少一個非暫態電腦可讀取媒體,至少一個非暫態電腦可讀取媒體包括一或更多個指令,在藉由至少一個處理器執行時,一或更多個指令使至少一個處理器以:經由智慧型工業輔助從使用者接收第一自然語言輸入,第一自然語言輸入係與用於讓工業機器執行第一處理的第一命令相關聯;經由智慧型工業輔助指示工業機器依據第一自然語言輸入來執行第一處理;當工業機器執行第一處理時,經由智慧型工業輔助從使用者接收第二自然語言輸入;經由智慧型工業輔助依據第二自然語言輸入來決定第一回應;以及當工業機器執行第一處理時,經由智慧型工業輔助來啟動針對使用者的第一回應的通訊。
條款22:如條款21所述的電腦程式產品,其中第一回應係基於第一上下文,且其中第一上下文係基於工業機器上運行的第一處理、包括工業機器的工作單元的一或更多個處理、工業機器的類型、或使用者的角色中之至少一者。
條款23:如條款21或22所述的電腦程式產品,其中該等指令進一步引導至少一個處理器以:藉由智慧型工業輔助從工業機器接收與第一事件相關聯的事件資料;以及藉由智慧型工業輔助來中斷針對使用者的回應的通訊。
條款24:如條款21至23中之任一者所述的電腦程式產品,其中該等指令進一步引導至少一個處理器以:在中斷回應的通訊之前,藉由智慧型工業輔助依據事件資料來決定是否中斷第一回應的通訊。
條款25:如條款21至24中之任一者所述的電腦程式產品,其中該等指令進一步引導至少一個處理器以:藉由智慧型工業輔助依據事件資料來決定第二回應;以及藉由智慧型工業輔助來啟動針對使用者的第二回應的通訊。
條款26:如條款21至25中之任一者所述的電腦程式產品,其中該等指令進一步引導至少一個處理器以:在完成針對使用者的第二回應的通訊之後,藉由智慧型工業輔助來繼續針對使用者的第一回應的通訊。
條款27:如條款21至26中之任一者所述的電腦程式產品,其中第二自然語言輸入係與連接到智慧型工業輔助的資料庫的查詢、關於工業機器的狀態的查詢、關於第一處理的狀態的查詢、建立工業機器的第二處理的請求、產生與工業機器相關聯的報告的請求、藉由第二工業機器執行第三處理的請求、指導使用者如何執行第四處理的請求、或教導使用者新技能的請求中之至少一者相關聯。
條款28:如條款21至27中之任一者所述的電腦程式產品,其中第一回應包含指導使用者如何執行第二處理或教導使用者新技能中之至少一者。
條款29:如條款21至28中之任一者所述的電腦程式產品,其中事件包含工業機器的警報。
條款30:如條款21至29中之任一者所述的電腦程式產品,其中該等指令進一步引導至少一個處理器以:藉由智慧型工業輔助指示工業機器依據警報來停止第一處理。
在參照隨附圖式與附件而考慮下列描述及隨附專利請求範圍之後,本揭示標的之這些及其他特徵與特性以及結構的相關元件的操作及功能的方法與部件的組合及製造經濟性將更加明確,所有者都形成本說明書的一部分,其中類似的元件符號係表示各圖式中的對應部件。然而,應清楚理解,圖式僅用於說明及描述之目的,並未意欲作為所揭示標的之限制的定義。說明書及申請專利範圍中所使用的單數形式「一」、「一個」、及「該」係包括複數指示物,除非上下文另有明確說明。
針對以下描述之目的,術語「端部」、「上」、「下」、「右」、「左」、「垂直」、「水平」、「頂部」、「底部」、「橫向」、「縱向」、及其衍生詞應與所揭示之標的在圖式中的定向有關。然而,應理解,除非明確反向指出,否則所揭示之標的可以採用各種替代變型及步驟順序。亦應理解,隨附圖式所圖示以及以下說明書所描述的特定裝置及處理僅為所揭示標的之示例性實施例或態樣。因此,除非另有說明,否則與本文所揭示的實施例或態樣有關的具體尺寸與其他物理特性不應視為限制。
除非明確如此描述,否則本文使用的態樣、部件、元件、結構、動作、步驟、功能、指令、及/或類似者不應解釋為關鍵或必要的。此外,本文所使用的的冠詞「一」意欲包括一或更多個項目,並且可以與「一或更多個」與「至少一個」互換使用。此外,本文所使用的術語「組」意欲包括一或更多個項目(例如,相關項目、不相關項目、相關項目與不相關項目的組合、及/或類似者),並且可以與「一或更多個」或「至少一個」互換使用。在意指僅有一個項目的情況下,使用術語「一個」或類似語言。此外,本文所使用的術語「具有」或類似者意指開放式術語。此外,除非另有明確說明,短語「依據」意欲表示「至少部分依據」。
術語「數位輔助」、「虛擬輔助」、「智慧型自動輔助」、或「自動數位輔助」可以指稱以語音及/或文本形式解釋自然語言輸入以推斷使用者意圖並依據所推斷的使用者意圖來執行動作的任何資訊處理系統。術語「智慧型工業輔助」可以指稱專門設計、構造、及/或實現來解釋來自工業機器(例如,製造機器及/或類似者),相關資料庫、及/或類似者的自然語言輸入及/或輸入並依據在這種工業機器的背景下或與之相關的所推斷的意圖來執行動作的資訊處理系統。舉例而言,為了針對所推斷的意圖採取動作,智慧型工業輔助可以執行下列中之一或更多者:識別在至少一個工業機器的背景下或與之相關的任務流程,其中步驟與參數係設計成實現所推斷的意圖;將來自所推斷的意圖的特定要求輸入到任務流程;藉由調用在至少一個工業機器的背景下或與之相關的程式、方法、服務、API、或類似者來執行任務流程(例如,報告、控制、指導、計算、計劃、維護、修復、教導、預測、記錄、及/或類似者);以及利用適當的媒體及/或模式產生針對使用者的輸出回應(例如,聽覺(例如,語音、音調、及/或類似者)、文本(例如,文本訊息、電子郵件、文件、及/或類似者)、其他視覺形式(例如,圖形、視訊、及/或類似者)、其任何組合、及/或類似者)。
所揭示標的之非限制性實施例或態樣係關於用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品。舉例而言,所揭示標的之非限制性實施例係依據當工業機器根據第一自然語言輸入而執行第一處理時接收第二自然語言輸入,以及非同步地提供針對第二自然語言輸入的回應(例如,當工業機器執行第一處理時),而提供與智慧型工業輔助及工業機器的通訊。這樣的實施例提供讓使用者(例如,機器操作者)能夠向控制器(例如,智慧型工業輔助)提供附加輸入,並且能夠非同步(例如,與工業機器的處理/功能的執行同時、同步、在工業機器的處理/功能的執行期間及/或類似者)接收附加回應的技術及系統。
附加或可替代地,所揭示標的之非限制性實施例或態樣係關於用於智慧型工業輔助的方法、系統、及電腦程式產品。舉例而言,所揭示之標的之非限制性實施例提供使用智慧型工業輔助來依據將自然語言輸入映射到封包資料中所包括的至少一個對話模板來決定及傳送命令資料。這樣的實施例提供讓使用者(例如,工業機器的操作者及/或類似者)能夠使用自然語言輸入(例如,語音請求及/或類似者)的技術及系統,而可以減少及/或消除針對使用單獨的機器(例如,工業機器)的訓練。附加或可替代地,這樣的實施例提供減少及/或消除這種使用者控制機器(例如,工業機器及/或類似者)的手動嘗試(例如,導航選單、多個擊鍵、點擊、及/或類似者)、時間、及/或類似者的技術及系統。附加或可替代地,這樣的實施例提供允許這樣的使用者透過單一智慧型工業輔助針對多台機器同時(例如,同步、同時間、及/或類似者)進行控制、監測、及/或類似者的技術及系統。附加或可替代地,這樣的實施例提供讓使用者(例如,工業機器的操作者及/或類似者)能夠在使用者不需使用手的情況(例如,當使用者的手被佔用時(例如,當攜帶物體、書寫筆記、幫助廠區內的另一者、及/或類似者時))下針對機器進行控制、監測、及/或類似者的技術及系統。附加或可替代地,這樣的實施例提供讓這樣的使用者能夠以各種格式(包括非視覺格式(例如,聽覺及/或類似者))接收狀態或其他資訊的指示的技術及系統,而藉此減少及/或消除這樣的使用者在操作這種機器時實際靠近及/或看著機器的需要。
附加或可替代地,所揭示之標的之非限制性實施例或態樣提供具有互操作性(例如,決定使用哪種通訊媒體及/或模式(例如,聽覺、文本、HTML、視覺、其任何組合、及/或類似者)來從智慧型工業輔助輸出到使用者)的技術及系統。在一些非限制性實施例中,這種決定可以依據可以特定於工業機器的使用者(例如,操作者)及/或與此有關的人群關係、人群映射、及/或類似者。附加或可替代地,所揭示之標的之非限制性實施例提供具有普遍性(例如,允許單一使用者(例如,機器操作者及/或類似者)透過智慧型工業輔助的單一介面來操作許多不同裝置(例如,工業機器、相關資料庫、及/或類似者))的技術及系統。出於說明之目的,工業機器類型(例如,機器工具、增加式製造裝置、減少式製造裝置、放電加工(EDM)裝置、銑削裝置、切削裝置、磨削裝置、鑽孔裝置、微加工裝置、部件生產裝置、及/或類似者)領域中具有通常知識者可能能夠從不同的製造商/來源操作該類型的許多不同裝置,而不需要針對每一這樣的機器學習單獨的介面/控制系統。附加或可替代地,所揭示之標的之非限制性實施例或態樣提供用於讓使用者(例如,操作者、工人、及/或類似者)能夠透過智慧型工業輔助來例如理解及操作工業機器、相關資料庫、及/或類似者的技術及系統。出於說明之目的,智慧型工業輔助可以讓使用者(例如,操作者、工人、及/或類似者)針對工業機器、相關資料庫、及/或類似者而能夠例如理解、受到提示、或受到指導/教導如何控制各種類型的機器;理解或受到提示關於即將到來的步驟、處理、及/或類似者;理解或受到提示關於所需要者(例如,參數、要求、材料、工具、及/或類似者);理解或受到告知資料庫中的相關資訊(例如,不需要熟悉特定資料庫或不需要知道如何執行搜尋、查詢、及/或類似者);及/或類似者。
出於說明之目的,在以下描述中,儘管針對智慧型工業輔助的方法、系統、及電腦程式產品描述當前揭示之標的(例如,與智慧型輔助及工業機器的通訊),但是該領域具有通常知識者將理解所揭示之標的並未受限於說明性實施例或態樣。舉例而言,本文所描述的方法、系統、及電腦程式產品可以用於各種設定(例如,適合智慧型工業輔助的任何設定)。
現在參照第1A圖至第1E圖,第1A圖至第1E圖係為可以實現如本文所述的系統、產品、及/或方法的環境100的非限制性實施例的圖。如第1A圖至第1E圖所示,環境100可以包括介面裝置101、智慧型工業輔助102、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端系統106。
介面裝置101可以包括能夠從智慧型工業輔助102接收資訊及/或向智慧型工業輔助102傳送資訊的一或更多個裝置(例如,經由直接連接、有線及/或無線網路、及/或任何其他合適的通訊技術)。附加或可替代地,每一介面裝置101可以包括能夠從其他介面裝置101、使用者裝置105、及/或遠端系統106接收資訊及/或向其他介面裝置101、使用者裝置105、及/或遠端系統106傳送資訊的裝置(例如,經由有線或無線網路及/或任何其他合適的通訊技術)。在一些非限制性實施例中,如本文所述,介面裝置101可以包括一或更多個輸入部件101c、一或更多個輸出部件101a、一或更多個輸入/輸出部件101b(例如,同時作為輸入部件及輸出部件的部件(例如,觸控螢幕顯示器、具有麥克風及喇叭/耳機的頭戴式耳機組、及/或類似者))、及/或一或更多個通訊介面。在一些非限制性實施例中,介面裝置101可以或可能無法能夠經由短程無線通訊連接(例如,NFC通訊連接、RFID通訊連接、藍牙®通訊連接、Zigbee®通訊連接、及/或類似者)接收資訊(例如,從智慧型工業輔助102及/或從另一介面裝置101),及/或經由短程無線通訊連接傳送資訊(例如,向智慧型工業輔助102、另一介面裝置101、使用者裝置105、遠端系統106、及/或類似者)。在一些非限制性實施例中,介面裝置101可以包括輸入部件101c(例如,麥克風)、輸出部件101a(例如,喇叭、耳機、及/或類似者)、輸入/輸出部件101b(例如,觸控螢幕、頭戴式耳機組、及/或類似者)、及/或類似者。在一些非限制性實施例中,介面裝置101可以包括多個裝置。舉例而言,介面裝置101可以包括頭戴式耳機組,頭戴式耳機組包括輸出部件101a(例如,喇叭(例如,耳機))及/或輸入部件101c(例如,麥克風)。附加或可替代地,介面裝置101可以包括具有輸入及/或輸出部件(例如,輸入/輸出部件101b(例如,觸控螢幕);輸入部件101c(例如,鍵盤、滑鼠、及/或類似者);輸出部件101a(例如,喇叭及/或類似者);及/或類似者)的可攜式及/或手持式裝置(例如,電腦、膝上型電腦、個人數位輔助(PDA)、智慧型手機、平板電腦、及/或類似者)。
智慧型工業輔助102可以包括能夠從介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端系統106接收資訊及/或向介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端系統106傳送資訊的一或更多個裝置。在一些非限制性實施例中,智慧型工業輔助102可以與介面裝置101(例如,完全、部分、及/或類似者)整合,及/或直接連接到介面裝置101。在一些非限制性實施例中,智慧型工業輔助102可以包括計算裝置(例如,可攜式及/或手持式裝置(例如,電腦、膝上型電腦、個人數位輔助(PDA)、智慧型電話、平板電腦、及/或類似者)、桌上型電腦、伺服器、伺服器群組、及/或其他類似裝置)。在一些非限制性實施例中,智慧型工業輔助102可以與服務提供商相關聯(例如,與介面裝置101的使用者分開的第三方、資料庫103a的維護者、外部資料庫103b的維護者、工業機器104的操作者/所有者/提供者/製造商、遠端系統106的提供者、及/或使用者裝置105的使用者)。在一些非限制性實施例中,智慧型工業輔助102可以與資料儲存裝置通訊,資料儲存裝置可以在智慧型工業輔助102的本地端或遠端。在一些非限制性實施例中,智慧型工業輔助102能夠從資料儲存裝置中接收資訊,將資訊儲存在資料儲存裝置中,向資料儲存裝置傳送資訊,或者搜尋儲存在資料儲存裝置中的資訊。
在一些非限制性實施例中,智慧型工業輔助102可以具有各種硬體及/或軟體模組,及/或可以儲存與智慧型工業輔助102的操作及使用相關的資訊及/或軟體。舉例而言,智慧型工業輔助102可以包括對話管理器102aa、決策引擎102ac、自動語音識別(ASR)/語音到文本(STT)模組102a、自然語言理解(NLU)模組102b、應用程式管理器102c、資料庫輔助介面102d、機器閘道102e、自然語言產生器(NLG)模組102f、文本到語音(TTS)模組102g、及/或類似者。附加或可替代地,資料庫介面102d可以包括硬體及/或軟體介面(例如,應用程式編程介面及/或類似者),以實現智慧型工業輔助102、資料庫103a、及/或外部資料庫103b之間的通訊。在一些非限制性實施例中,應用程式管理器102c可以包括對話管理器102aa、決策引擎102ac、其任一組合、及/或類似者中之至少一者。附加或可替代地,對話管理器102aa可以包括ASR/STT模組102a、NLU模組102b、NLG模組102f、TTS模組102g、其他語音處理、及/或類似者中之至少一者。在一些非限制性實施例中,ASR/STT模組102a、NLU模組102b、其他語音到文本處理、及/或類似者可以是單一模組(例如,STT模組102a)。附加或可替代地,NLG模組102f、TTS模組102g、其他文本到語音處理、及/或類似者可以是單一模組(例如,TTS模組102g)。在一些非限制性實施例中,ASR/STT模組102a、NLU模組102b、其他語音到文本處理、NLG模組102f、TTS模組102g、其他文本到語音處理、及/或類似者可以是單一模組(例如,對話管理器102aa)。在一些非限制性實施例中,ASR/STT模組102a、NLU模組102b、NLG模組102f、TTS模組102g、對話管理器102aa、其組合、及/或類似者中之至少一者可以與智慧型工業輔助102分開及/或通訊。在一些非限制性實施例中,智慧型工業輔助102及/或機器閘道102e可以包括至少一個機器介面(例如,硬體及/或軟體介面(例如,應用程式編程介面、動態連結函式庫、及/或類似者)),以實現智慧型工業輔助102(例如,應用管理器102c)與工業機器104(例如,工業機器104的機器控制器104a)之間的通訊。附加或可替代地,在一些非限制性實施例中,智慧型工業輔助102、機器閘道102e、及/或工業機器104(例如,工業機器104的機器控制器104a)可以包括機器專用軟體102ee(例如,動態連結函式庫(DLL)),以實現智慧型工業輔助102(例如,應用程式管理器102c)與工業機器104(例如,工業機器104的機器控制器104a)之間的通訊。舉例而言,機器專用軟體102ee(例如,DLL)可以包括可以藉由智慧型工業輔助102(例如,應用程式管理器102c)進行存取、使用、及/或類似者的工業機器104(例如,工業機器104的機器控制器104a)的功能、命令、變量、欄位、輸入、輸出、其任一組合、及/或類似者中之至少一者的函式庫。在一些非限制性實施例中,機器閘道102e可以與智慧型工業輔助102分開及/或通訊。舉例而言,可以利用工業機器104(例如,工業機器104的機器控制器104a)實現(例如,完全、部分、及/或類似者)機器閘道。在一些非限制性實施例中,智慧型工業輔助102可以包括至少一個輸出介面(例如,音訊卡、視訊卡、渲染器、編碼器、解碼器、編碼解碼器(編解碼器)通訊介面、及/或類似者),以實現智慧型工業輔助102(例如,應用程式管理器102c)與輸出部件102a、輸入/輸出部件102b、及/或類似者中之至少一者之間的通訊。
在一些非限制性實施例中,應用程式管理器102c可以是工業處理應用程式管理器。附加或可替代地,應用程式管理器102c可以包括決策結束102ac。在一些非限制性實施例中,應用程式管理器102c(例如,其決策引擎102ac及/或類似者)可以包括、接收、及/或配置封包102cc。在一些非限制性實施例中,封包102cc可以包括至少一個模組(例如,軟體模組、韌體模組、及/或類似者)及/或封包資料,封包資料可以包括智慧型工業輔助102(例如,應用程式管理器102c、其決策引擎102ac、及/或類似者)的對話模板、機器/群組識別資料、特徵、序列、動作、功能、命令、變量、欄位、輸入、輸出、參數、類別、介面(例如,機器閘道102e的機器介面、資料庫介面102d、輸出介面102h、及/或類似者)、其任一組合、及/或類似者中之至少一者。在一些非限制性實施例中,應用程式管理器102c(例如,其決策引擎102ac及/或類似者)及/或封包102cc可以包括及/或配置成決定人群關係(例如,智慧型工業輔助102可執行的功能之間的映射及/或互相關聯(例如,報告、控制、指導、計算、計劃、維護、修復、教導、預測、記錄、及/或類似者))以及序列/任務群組(例如,特定於使用者的角色的使用者任務流程(例如,機器操作者及/或類似者))。附加或可替代地,應用程式管理器102c(例如,其決策引擎102ac及/或類似者)及/或封包102cc可以包括及/或配置成可以依據(例如,完全、部分、及/或類似者)一或更多個預定的人群關係來決定針對工業機器104及/或資料庫(例如,資料庫103a及/或外部資料庫103b)的映射。
在一些非限制性實施例中,應用程式管理器102c(例如,其對話管理器102aa、其決策引擎102ac、及/或類似者)及/或封包102cc可以包括及/或配置成實現互操作性(例如,決定使用哪種通訊媒體及/或模式從使用者輸入或者從智慧型工業輔助102輸出到使用者(例如,聽覺、文本、HTML、視覺、觸覺、其任一組合、及/或類似者))。在一些非限制性實施例中,這種決定可以依據一或更多個預定的人群關係、對話模板、及/或類似者。附加或可替代地,這種決定可以依據選擇通訊的媒體及/或模式來減少(例如,最小化及/或類似者)使用者使用智慧型工業輔助102的步驟數量(例如,輸入及/或輸出的連續迭代)。附加或可替代地,這種決定可以依據提供完成任務的方式(例如,至少一個動作及/或類似者)來提高效率、有效性、及/或類似者。附加或可替代地,這種決定可以依據選擇通訊媒體及/或模式來減少(例如,消除、降低、及/或類似者)使用者需要使用手的輸入(例如,啟用聲音/語音輸入及/或聲音/語音輸出,以允許使用者在無法使用手的情況下操作機器),而藉此讓使用者能夠在使用者的手被佔用時與智慧型工業輔助102互動。在一些非限制性實施例中,若內容(例如,回應、提示、及/或類似者)是短的(例如,簡潔、小於閾值數量的字符、小於閾值數量的單詞(例如,10個單詞)、小於閾值數量的句子、小於閾值數量的語音秒數(例如,5秒)、及/或類似者),則這種內容可以藉由智慧型工業輔助102以聽覺輸出(例如,語音單詞))、以文本輸出(例如,在顯示螢幕的對話訊窗中、作為HTML頁面的一部分、及/或類似者)、及/或類似者。在一些非限制性實施例中,使用者(例如,機器操作者及/或類似者)可能無法(例如,防止及/或類似者)提供輸入(例如,自然語言輸入),直到完成聽覺輸出(例如,回應的語音單詞)為止,因此可能並不期望導致時間延遲及/或類似者的長的內容(例如,大於上述閾值及/或類似者)。在一些非限制性實施例中,當內容包括至少一個計算的結果時,這種內容可以利用表格格式(例如,表格清單)、報告模板、及/或類似者列出。附加或可替代地,這種輸出(例如,表格清單、報告模板、及/或類似者)可以顯示在單獨的訊窗中(例如,在顯示螢幕上),並藉由單獨的頻道(例如,電子郵件、文本(例如,SMS)訊息、多媒體(例如,MMS)訊息、及/或類似者)傳送。附加或可替代地,並非提供隨後的自然語言輸入或者除了提供隨後的自然語言輸入之外(例如,聲音/語音輸入、打字輸入、及/或類似者)(例如,當針對項目的語音或打字可能很麻煩時(例如,大於閾值長度的單詞、大於閾值數量的單詞的單詞串列、具有大於閾值數量的位數的多個位數的數字、及/或類似者)),使用者可以任擇地能夠選擇(例如,在觸控螢幕上觸控、利用指向裝置(例如,滑鼠)點擊、及/或類似者)這種清單中的項目。在一些非限制性實施例中,若內容包括識別資訊(例如,聯絡資訊、電子郵件地址、電話號碼、及/或類似者),則可以顯示這種內容(例如,在對話訊窗中、在顯示螢幕的單獨訊窗中、及/或類似者)。在一些非限制性實施例中,在小數點之後具有多個位數的數字值可以在輸出(例如,作為聽覺語音、對話訊窗中的文本、HTML頁面上的文本、及/或類似者)之前四捨五入到小數點之後的所選擇(例如,預定、可選擇、及/或類似者)位數的數字。在一些非限制性實施例中,當內容包括至少一個媒體項目時,可以在單獨的訊窗中(例如,在顯示螢幕及/或類似者上)顯示這種媒體項目。附加或可替代地,可以將大的媒體項目(例如,大於閾值數量的頁面(例如,針對文件)、秒(例如,針對音訊、視覺、或視聽檔案)、及/或類似者)分成(例如,分段及/或類似者)較小的媒體項目,而可以減少加載時間。附加或可替代地,可以串列、同時、及/或類似地顯示這種較小的媒體項目。在一些非限制性實施例中,當內容包括警告(例如,警報、警示、及/或類似者)時,這種內容可以包括聽覺輸出(例如,語音單詞、大聲及/或重複噪音、音調、及/或類似者)、視覺輸出(例如,在對話訊窗中顯示、在單獨的訊窗中顯示、及/或類似者)、藉由至少一個其他頻道傳送(例如,電子郵件、文本(例如,SMS)訊息、多媒體(例如,MMS)訊息、及/或類似者)、其任一組合、及/或類似者中之至少一者。在一些非限制性實施例中,輸出(例如,內容、媒體項目、警告、及/或類似者)可以包括觸覺輸出(例如,觸感、振動、及/或類似輸出)。在一些非限制性實施例中,輸出(例如,內容、媒體項目、警告、及/或類似者)可以包括通訊模式的組合(例如,觸覺及視覺(例如,經由觸控螢幕)、視覺及聽覺(例如,在伴隨聽覺語音、視聽媒體內容、及/或類似者的對話訊窗中顯示資訊)、及/或類似者。在一些非限制性實施例中,智慧型工業輔助102可以包括圖像捕捉裝置(例如,作為輸入部件101c、輸入/輸出部件101b、及/或類似者中之至少一者的相機、條碼掃描器、及/或類似者),而可以用於輸入資料(例如,條碼、快速回應(QR)代碼、字母數字資訊、光學字符辨識、及/或類似者),及/或智慧型工業輔助102可以顯示(例如,經由作為輸出部件101a、輸入/輸出部件101b、及/或類似者的顯示螢幕)這種資料(例如,條碼、快速回應(QR)代碼、字母數字資訊、及/或類似者)來作為輸出。在一些非限制性實施例中,輸出可以包括各種格式的狀態或其他資訊的指示,並包括非視覺格式(例如,聽覺及/或類似者),而藉此減少及/或消除這樣的使用者在操作這種機器時實際靠近及/或看著機器的需要。
在一些非限制性實施例中,每一對話模板(例如,封包102cc及/或類似者)可以包括功能資料、群組資料、特徵資料、序列資料、參數資料、預期對話資料、動作資料、其任一組合、及/或類似者中之至少一者。舉例而言,功能資料可以與智慧型工業輔助102的至少一個功能(例如,報告、控制、指導、計算、計劃、維護、修理、教導、預期、記錄、及/或類似者)相關聯(例如,識別及/或類似者),其中針對對話模板進行歸類(例如,分類及/或類似者)。附加或可替代地,群組資料可以與一組特徵(例如,與工業機器104、資料庫、及/或類似者相關聯的一組特徵(例如,資料庫103a及/或外部資料庫103b))相關聯(例如,識別及/或類似者)。舉例而言,群組可以包括與特定工業機器104相關聯的所有特徵(例如,功能、命令、變量、欄位、輸入、輸出、其任一組合、及/或類似者)。附加或可替代地,每一工業機器104(或工業機器104的品牌/型號)可以具有與其相關聯的至少一個群組。在一些非限制性實施例中,群組資料可以包括字母數字串列(例如,四位數數字、四個字符串列、及/或類似者)。附加或可替代地,特徵資料可以與特徵群組的特徵(例如,第一特徵)相關聯(例如,識別及/或類似者)。在一些非限制性實施例中,特徵可以與使用者(例如,機器操作者及/或類似者)的至少一個操作相關聯,以與智慧型工業輔助102互動。舉例而言,特徵可以包括方向(例如,智慧型工業輔助102執行動作的請求(例如,命令、問題、及/或類似者))。附加或可替代地,特徵可以包括確認(例如,確認智慧型工業輔助102應該執行動作(例如,「是」、「否」、「取消」、及/或類似者)的智慧型工業輔助102的輸入(例如,語音/言語輸入、點擊、擊鍵、及/或類似者))。附加或可替代地,特徵可以是複雜特徵(例如,使用者(例如,機器操作者及/或類似者)以至少一個指定序列向智慧型工業輔助102提供多個輸入(例如,方向、確認、及/或類似者)的一系列決策步驟)。附加或可替代地,特徵可以包括複合特徵(例如,可以並行、串行、其任一組合、及/或類似者來執行的一批動作)。在一些非限制性實施例中,序列資料可以與使用者(例如,機器操作者及/或類似者)、智慧型工業輔助102、及/或類似者的預期對話序列相關聯(例如,識別、包括、及/或類似者)。舉例而言,序列資料可以與預期對話資料的至少一個項目相關聯(例如,識別、包括、及/或類似者)。附加或可替代地,預期對話資料可以與序列的預期對話的至少一個項目相關聯(例如,識別、包括、及/或類似者)。舉例而言,預期對話的每一項目可以包括來自使用者(例如,機器操作者)的預期自然語言輸入,智慧型工業輔助102針對使用者的回應、及/或類似者中之至少一者。在一些非限制性實施例中,預期對話資料可以包括與一個對話模板相關聯的預期對話的複數個可替代項目。舉例而言,預期對話的複數個可替代項目可以包括表達使用者執行與相同的對話模板(例如,「Start warm up cycle」、「Warm up the machine」、及/或類似者可以是預期對話的可替代項目,以啟動工業機器104的預熱處理;「Run process 1234」、「Start m-code 1234」、及/或類似者可以是預期對話的可替代項目,以啟動與所述代碼相關聯的處理;「Report current tool」、「Inform about current tool」、及/或類似者可以是預期對話的可替代項目,以請求當前工具的資訊;「Turn on the lights」、「Lights on」、及/或類似者可以是預期對話的可替代項目,以請求打開燈;及/或類似者)相關聯的活動(例如,至少一個動作、任務、及/或類似者)的相同意圖的同義詞、替代詞語、及/或類似者。在一些非限制性實施例中,預期對話資料可以包括啟動與至少一個自然語言輸入(例如,短語及/或類似者)相關聯的對話資料,以啟動與預期對話資料相關聯的序列。在一些非限制性實施例中,參數資料可以與相關聯於預期對話的至少一個項目的至少一個參數(例如,值、種類、單詞、及/或類似者)相關聯(例如,識別、包括、及/或類似者)。舉例而言,參數資料可以與部件號碼、部件識別、機器號碼(例如,特定工業機器104、工業機器104的型號、及/或類似者)、機器識別符、號碼、種類(例如,低、中、高、慢、快、開、關、及/或類似者)、單詞(例如,部件名稱、機器、資料庫、媒體項目、及/或類似者)、字母數字串列、及/或類似者相關聯。在一些非限制性實施例中,參數資料的至少一個項目可以與從使用者到智慧型工業輔助102的輸入相關聯。附加或可替代地,參數資料的至少一個項目可以與來自智慧型工業輔助102的輸出(例如,回應及/或類似者)相關聯。在一些非限制性實施例中,動作資料可以與智慧型工業輔助102可執行的至少一個動作、與智慧型工業輔助102分開(可以至少部分藉由智慧型工業輔助102控制)的另一裝置(例如,工業機器104、資料庫103a、外部資料庫103b、及/或類似者)可執行的至少一個動作、及/或類似者相關聯(例如,識別及/或類似者)。在一些非限制性實施例中,對話模板(例如,其動作資料及/或類似者)可以與媒體項目、表格清單、報告模板、機器介面、資料庫介面(例如,使用者、使用者的組織、及/或類似者的)客製化內容(可以藉由如本文所述的任何合適的通訊模式或媒體輸出(例如,電子郵件、文本、視覺顯示、聽覺輸出、及/或類似者))、軟體項目(例如,可執行檔案、處理、模組、例式、子例式、功能、及/或類似者)、搜尋(例如,針對文件、可檢索資料項目、及/或類似者)、其組合、及/或類似者中之至少一者相關聯(例如,識別、包括、及/或類似者)。
在一些非限制性實施例中,某些動作可以具有先決條件。舉例而言,序列資料、動作資料、及/或類似者中之至少一者可以包括與至少一個先決條件(例如,先決條件動作、先決條件事件、先決條件狀況、及/或類似者)相關聯的先決條件資料(例如,識別、包括、及/或類似者)。舉例而言,使機器(例如,工業機器104)預熱可能是利用這種機器執行某些操作的先決條件,以及與這些操作相關聯的序列資料、動作資料、及/或類似者可以包括識別與加熱機器相關聯的序列資料、動作資料、及/或類似者的先決條件資料。舉例而言,沒有警告(例如,警報、警示、及/或類似者)可能是利用機器(例如,工業機器104)執行某些操作的先決條件,以及與這些操作相關聯的序列資料、動作資料、及/或類似者可以包括識別與這些警告相關聯的序列資料、動作資料、及/或類似者的先決條件資料。在一些非限制性實施例中,若未滿足先決條件,則智慧型工業輔助102可以防止執行動作。附加或可替代地,智慧型工業輔助102可以提供指示無法執行這種動作及/或向使用者識別先決條件的回應。在一些非限制性實施例中,智慧型工業輔助102可以向使用者傳送請求與先決條件相關聯的附加輸入、與先決條件相關聯的確認、及/或類似者的提示。附加或可替代地,若使用者並未提供針對提示的答覆(例如,因為使用者不知道),則智慧型工業輔助102可以推薦答覆(例如,可以依據對話模板、其預期對話資料、及/或類似者的回應於提示的預期對話的至少一個項目)。在一些非限制性實施例中,機器(例如,工業機器104、其機器介面102e、工業機器104的機器專用軟體102ee、及/或類似者)可以包括用於執行某些動作的代碼(例如,軟體、韌體、協定、可執行指令、參數、及/或類似者),以及這樣的代碼可以包括識別至少一些動作的先決條件的先決條件資料(例如,依賴性及/或類似者)。
在一些非限制性實施例中,ASR模組102a、NLU模組102b、NLG模組102f、TTS模組102g、應用程式管理器102c(例如,其對話管理器102aa、其決策引擎102ac、以及類似者)、及/或封包102cc中之至少一者(例如,每一者)可以包括及/或配置成實現詞彙集(例如,客製化詞典及/或類似者)。在一些非限制性實施例中,詞彙集的至少一部分可以特定於環境(例如,在一般製造的背景下或與其有關;在一或更多種特定類型的製造的背景下或與其有關;在一般工業機器的背景下或與其有關;在一或更多種特定類型的工業機器的背景下或與其有關;在一般工業處理的背景下或與其有關;在一或更多種特定工業處理的背景下或與其有關;在與製造、工業機器、及/或工業處理有關的資料庫的背景下或與其有關;在與製造、工業機器、及/或工業處理有關的標準工作及/或任務流程的背景下或與其有關;及/或在類似者的背景下或與其有關)。附加或可替代地,詞彙集的至少一部分可以特定於個體的一或更多個角色(例如,在製造的背景下或與其有關;在工業機器的背景下或與其有關;在工業處理的背景下或與其有關;在與製造、工業機器、及/或工業處理有關的資料庫的背景下或與其有關;在與製造、工業機器、及/或工業處理相關的標準工作及/或任務流程的背景下或與其有關;及/或在類似者的背景下或與其有關)。舉例而言,這樣的角色可以包括一般的工業機器的操作者(例如,機器操作者)、一或更多個特定類型的工業機器的操作者、廠區工作人員、指導者、管理者(例如,操作管理者、生產管理者、及/或類似者)、工程師(例如,製造工程師、現場服務工程師、及/或類似者)、維護工人、推銷員、檢查者、分析者、及/或類似者。附加或可替代地,詞彙集的至少一部分可以特定於技術上相似的含義(例如,同義詞、轉喻詞、等同詞、相關聯詞、替代詞、及/或類似者)。舉例而言,至少一些這樣的技術上相似的含義可以依據預定的人群關係。
資料庫103a可以包括能夠從智慧型工業輔助102接收資訊及/或向智慧型工業輔助102傳送資訊的一或更多個裝置。附加或可替代地,資料庫103a可以包括可以在智慧型工業輔助102的本地端或遠端的資料儲存裝置。在一些非限制性實施例中,資料庫103a可以與智慧型工業輔助102(例如,完全、部分、及/或類似者)整合,及/或直接連接到智慧型工業輔助102。附加或可替代地,資料庫103a可以與智慧型工業輔助102分開(例如,完全、部分、及/或類似者)。舉例而言,資料庫103a可以是與智慧型工業輔助102分開的裝置及/或系統。在一些非限制性實施例中,可以藉由相同實體維護資料庫103a與智慧型工業輔助102。在一些非限制性實施例中,資料庫103a可以包括計算裝置(例如,伺服器、伺服器群組、及/或其他類似裝置)。在一些非限制性實施例中,資料庫103a能夠從資料儲存裝置中檢索資訊,將資訊儲存在資料儲存裝置中,向資料儲存裝置傳送資訊,或者搜尋儲存在資料儲存裝置中的資訊。
外部資料庫103b可以包括能夠從智慧型工業輔助102接收資訊及/或向智慧型工業輔助102傳送資訊的一或更多個裝置。附加或可替代地,外部資料庫103b可以包括可以在智慧型工業輔助102的本地端或遠端的資料儲存裝置。在一些非限制性實施例中,外部資料庫103b可以與第三方(例如,與介面裝置101的使用者、智慧型工業輔助102、及/或工業機器104的操作者/所有者/提供者/製造商分開)相關聯。在一些非限制性實施例中,可以藉由相同實體(例如,相同方內的不同群組)維護外部資料庫103b與智慧型工業輔助102。在一些非限制性實施例中,外部資料庫103b可以包括計算裝置(例如,伺服器、伺服器群組、及/或其他類似裝置)。在一些非限制性實施例中,外部資料庫103b能夠從資料儲存裝置中檢索資訊,將資訊儲存在資料儲存裝置中,向資料儲存裝置傳送資訊,或者搜尋儲存在資料儲存裝置中的資訊。
工業機器104可以包括能夠從智慧型工業輔助102接收資訊及/或向智慧型工業輔助102傳送資訊的一或更多個裝置。附加或可替代地,工業機器104可以包括能夠執行工業、製造、加工、及/或物理任務的一或更多個裝置。舉例而言,工業機器104可以包括機器工具、增加式製造裝置、減少式製造裝置、放電加工(EDM)裝置、銑削裝置、切削裝置、磨削裝置、鑽孔裝置、微加工裝置、部件生產裝置、及/或類似者中之至少一者。在一些非限制性實施例中,工業機器104可以包括機器控制器104a(例如,與智慧型工業輔助102分開),而可以與工業機器104以本地端或遠端(例如,完全、部分、及/或類似者)整合。在一些非限制性實施例中,智慧型工業輔助102可以與工業機器104及/或機器控制器104a(例如,完全、部分、及/或類似者)整合,及/或直接連接到工業機器104及/或機器控制器104a。
使用者裝置105可以包括能夠從智慧型工業輔助102及/或遠端系統106接收資訊及/或向智慧型工業輔助102及/或遠端系統106傳送資訊的一或更多個裝置(例如,經由直接連接、有線及/或無線網路、及/或任何其他合適的通訊技術)。舉例而言,使用者裝置105可以包括計算裝置(例如,可攜式及/或手持式裝置(例如,電腦、膝上型電腦、個人數位輔助(PDA)、智慧型電話、平板電腦、及/或類似者)、桌上型電腦、伺服器、伺服器群組、及/或其他類似裝置)。在一些非限制性實施例中,使用者裝置105可以包括用於開發、修改、產生、傳送、及/或接收封包資料(例如,如本文描述的對話模板及/或類似者)(例如,針對封包102cc)的開發套件、工具套件、及/或類似者。在一些非限制性實施例中,使用者裝置105可以將封包資料傳送到遠端系統106、智慧型工業輔助102、及/或類似者。在一些非限制性實施例中,使用者裝置105可以與介面裝置101、智慧型工業輔助102、及/或遠端系統106整合,及/或直接連接到介面裝置101、智慧型工業輔助102、及/或遠端系統106。
遠端系統106可以包括能夠從智慧型工業輔助102及/或使用者裝置105接收資訊及/或向智慧型工業輔助102及/或使用者裝置105傳送資訊的一或更多個裝置(例如,經由直接連接、有線及/或無線網路、及/或任何其他合適的通訊技術)。舉例而言,遠端系統106可以包括計算裝置(例如,可攜式及/或手持式裝置(例如,電腦、膝上型電腦、個人數位輔助(PDA)、智慧型電話、平板電腦、及/或類似者)、桌上型電腦、伺服器、伺服器群組、及/或其他類似裝置)。在一些非限制性實施例中,遠端系統106可以從使用者裝置105接收封包資料(例如,如本文所述的對話模板及/或類似者),及/或將封包資料傳送到使用者裝置105。附加或可替代地,遠端系統106可以將封包資料(例如,如本文所述的封包102cc及/或類似者)傳送到智慧型工業輔助102c,及/或從智慧型工業輔助102c接收封包資料。在一些非限制性實施例中,遠端系統106可以與使用者裝置105整合,及/或直接連接到使用者裝置105。
在一些非限制性實施例中,智慧型工業輔助102可以藉由一或更多個網路連接到介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、遠端系統106、及/或其任一組合。網路可以包括一或更多個有線及/或無線網路。舉例而言,網路可以包括蜂窩式網路(例如,長期演進技術(LTE)網路、第三代(3G)網路、第四代(4G)網路、分碼多重存取(CDMA))網路、及/或類似者)、公眾行動電話網路(PLMN)、區域網路(LAN)、廣域網路(WAN)、都會網路(MAN)、電話網路(例如,公用交換電話網路(PSTN))、私人網路、虛擬私人網路(VPN)、本端網路、點對點網路、內部網路、網際網路、光纖式網路、雲計算網路、及/或類似者、及/或這些或其他類型的網路的組合。在一些非限制性實施例中,智慧型工業輔助102能夠(例如,經配置以)通過這種網路傳送(例如,發出、發送、接收、及/或類似者)訊息(例如,電子郵件、文本(例如,SMS)訊息、多媒體(例如,MMS)訊息)及/或類似者。附加或可替代地,智慧型工業輔助102能夠(例如,經配置以)透過這樣的網路存取可使用的媒體項目(例如,文件及/或類似者)。
提供第1A圖至第1E圖所示的系統、裝置、及/或網路的數量及佈置作為實例。相較於第1A圖至第1E圖所示者,可能存在附加系統、裝置、及/或網路;更少的系統、裝置、及/或網路;不同的系統、裝置、及/或網路;及/或不同佈置的系統、裝置、及/或網路。此外,第1A圖至第1E圖所示的二或更多個系統或裝置可以實現在單一系統或裝置中,或者第1A圖至第1E圖所示的單一系統或裝置可以實現為多個分佈式系統或裝置。附加或可替代地,環境100的一組系統(例如,一或更多個系統)或一組裝置(例如,一或更多個裝置)可以執行描述為環境100的另一組系統或另一組裝置所執行的一或更多個功能。
現在參照第2圖,第2圖係為裝置200的示例性部件的圖。裝置200可以對應於介面裝置101的一或更多個裝置、智慧型工業輔助102的一或更多個裝置、資料庫103a的一或更多個裝置、外部資料庫103b、工業機器104的一或更多個裝置、使用者裝置105、及/或遠端系統106的一或更多個裝置。在一些非限制性實施例中,介面裝置101、智慧型工業輔助102、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端系統106可以包括至少一個裝置200及/或裝置200的至少一個部件。如第2圖所示,裝置200可以包括匯流排202、處理器204、記憶體206、儲存部件208、輸入部件210、輸出部件212、及通訊介面214。
匯流排202可以包括允許在裝置200的部件之間進行通訊的部件。在一些非限制性實施例中,可以利用硬體、韌體、或硬體與軟體的組合來實現處理器204。舉例而言,處理器204可以包括處理器(例如,中央處理單元(CPU)、圖形處理單元(GPU)、加速處理單元(APU)、及/或類似者)、微處理器、數位訊號處理器(DSP)、及/或任何處理部件(例如,現場可程式邏輯閘陣列(FPGA)、專用積體電路(ASIC)、及/或類似者)、及/或可以程式化以執行功能的類似者。記憶體206可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、及/或儲存資訊及/或處理器204所使用的指令的其他類型的動態或靜態儲存裝置(例如,快閃記憶體、磁記憶體、光記憶體、及/或類似者)。
儲存部件208可以儲存與裝置200的操作及使用有關的資訊及/或軟體。舉例而言,儲存部件208可以包括硬碟(例如,磁碟、光碟、磁光碟、固態碟、及/或類似者)、光碟(CD)、數位多功能光碟(DVD)、軟碟、卡匣、磁帶、及/或其他類型的電腦可讀取媒體,以及相應的驅動器。
輸入部件210可以包括允許裝置200接收資訊的部件(例如,經由使用者輸入(例如,觸控螢幕顯示器、鍵盤、鍵板、滑鼠、按鈕、開關、麥克風、相機、及/或類似者))。附加或可替代地,輸入部件210可以包括用於感測資訊的感測器(例如,全球定位系統(GPS)部件、加速度計、陀螺儀、致動器、及/或類似者)。輸出部件212可以包括提供來自裝置200的輸出資訊的部件(例如,顯示器、喇叭、一或更多個發光二極體(LED)、及/或類似者)。
通訊介面214可以包括讓裝置200能夠與其他裝置通訊(例如,經由有線連接、無線連接、或有線及無線連接的組合)的類似收發器的部件(例如,收發器、分開的接收器及發送器、及/或類似者)。通訊介面214可以允許裝置200從另一裝置接收資訊及/或向另一裝置提供資訊。舉例而言,通訊介面214可以包括以太網介面、光學介面、同軸介面、紅外介面、射頻(RF)介面、通用串列匯流排(USB)介面、Wi-Fi®介面、藍牙®介面、Zigbee®介面、蜂窩式網路介面、及/或類似者。
裝置200可以執行本文所述的一或更多個處理。裝置200可以依據處理器204執行由電腦可讀取媒體(例如,記憶體206及/或儲存部件208)儲存的軟體指令來執行這些處理。電腦可讀取媒體(例如,非暫態電腦可讀取媒體)在本文中定義為非暫態記憶體裝置。非暫態記憶體裝置包括位於單一物理儲存裝置內部的記憶體空間或分佈在多個物理儲存裝置上的記憶體空間。
軟體指令可以經由通訊介面214從另一電腦可讀取媒體或者從另一裝置讀入記憶體206及/或儲存部件208。當執行時,儲存在記憶體206及/或儲存部件208中的軟體指令可以使處理器204執行本文所述的一或更多個處理。附加或可替代地,可以使用硬連線電路來代替軟體指令或與軟體指令組合,以執行本文所述的一或更多個處理。因此,本文所述的實施例並不限於硬體電路及軟體的任何特定組合。
提供第2圖所示的部件的數量及佈置作為實例。在一些非限制性實施例中,相較於第2圖,裝置200可以包括附加部件、更少部件、不同部件、或不同佈置的部件。附加或可替代地,裝置200的一組部件(例如,一或更多個部件)可以執行描述為裝置200的另一組部件所執行的一或更多個功能。
現在參照第3圖,第3圖係為用於與智慧型工業輔助及工業機器通訊的處理300的非限制性實施例的流程圖。在一些非限制性實施例中,可以藉由智慧型工業輔助102(例如,智慧型工業輔助102的一或更多個裝置)執行(例如,完全、部分、及/或類似者)處理300的步驟中之一或更多者。在一些非限制性實施例中,處理300的步驟中之一或更多者可以藉由與智慧型工業輔助102分開或包括智慧型工業輔助102的另一系統、另一裝置、另一系統群組、或另一裝置群組(例如,使用者裝置101(例如,使用者裝置101的一或更多個裝置)、資料庫103a(例如,資料庫103a的一或更多個裝置)、外部資料庫103b(例如,外部資料庫103b的一或更多個裝置)、及/或工業機器104(例如,工業機器104的一或更多個裝置))執行(例如,完全、部分、及/或類似者)。
如第3圖所示,在步驟310處,處理300可以包括接收第一自然語言輸入。舉例而言,智慧型工業輔助102可以從使用者接收第一自然語言輸入(例如,經由介面裝置101的輸入部件101c或輸入/輸出部件101b)。在一些非限制性實施例中,自然語言輸入可以是音訊輸入(例如,聲音記錄及/或類似者)、文本輸入(例如,文本訊息、電子郵件、聊天訊息、由STT/ASR/NLU、HTML、及/或類似者建立的文本)、及/或類似者。
在一些非限制性實施例中,第一自然語言輸入可以與用於工業機器104執行第一處理的第一命令相關聯。舉例而言,智慧型工業輔助102可以將自然語言輸入的至少一部分映射到對話模板(例如,與第一命令相關聯的第一對話模板及/或類似者)的至少一部分。
在一些非限制性實施例中,封包資料(例如,封包102cc及/或類似者)可以包括複數個對話模板。附加或可替代地,智慧型工業輔助102可以依據第一自然語言輸入(例如,依據映射到自然語言輸入的對話模板的部分,依據使用者的推斷意圖,及/或類似者)來選擇對話模板中之一者(例如,第一對話模板)。在一些非限制性實施例中,智慧型工業輔助102可以決定自然語言輸入的至少一部分可以映射到與至少一個(例如,第一)對話模板的預期對話資料相關聯的預期對話的至少一部分。舉例而言,智慧型工業輔助102可以將自然語言輸入的至少一部分與至少一個(例如,第一)對話模板的預期對話資料相關聯的預期對話的至少一部分進行匹配。在一些非限制性實施例中,智慧型工業輔助102可以將自然語言輸入的至少一部分映射到與至少一個(例如,第一)對話模板的參數資料相關聯的至少一個參數。在一些非限制性實施例中,智慧型工業輔助102可以將自然語言輸入的至少一部分映射到與至少一個(例如,第一)對話模板的群組資料相關聯的至少一個群組。在一些非限制性實施例中,當自然語言輸入包括轉換成語音的聲音/語音(例如,如本文所述的語音到文本、自動語音辨識、及/或類似者)時,可以依據文本準確地反映所說出的單詞的概率來計算(第一)信任度分數(例如,針對每一單詞、針對每一單詞群組(例如,短語)、針對整個輸入、及/或類似者)。附加或可替代地,可以針對將自然語言輸入映射到與至少一個對話模板的預期對話資料相關聯的預期對話(例如,封包資料的所有對話模板102c、對話模板的子集(例如,具有與自然語言輸入匹配的至少一個單詞)、及/或類似者)來計算(第二)信任度分數。附加或可替代地,可以依據與每一對話模板(例如,對話模板的子集)相關聯的(第二)信任度分數來將對話模板(例如,對話模板的子集)進行排名。附加或可替代地,可以選擇與最高(第二)信任度分數相關聯的對話模板,來作為自然語言輸入所映射的對話模板。附加或可替代地,若信任度分數(例如,第二信任度分數、第一與第二信任度分數的組合、及/或類似者)足夠高(例如,高於第一閾值),則智慧型工業輔助102可以繼續使用所選的對話模板。附加或可替代地,若信任度分數(例如,第二信任度分數、第一與第二信任度分數的組合、及/或類似者)低於第一閾值且高於第二閾值(可能小於第一閾值),則智慧型工業輔助102可以請求確認(例如,如本文所述傳送請求確認的提示)。附加或可替代地,若信任度分數(例如,第二信任度分數、第一與第二信任度分數的組合、及/或類似者)低於第二閾值,則智慧型工業輔助102可以拒絕輸入(例如,如本文所述,傳送指示沒有決定映射的警告,傳送請求附加自然語言輸入的提示,及/或類似者)。
如第3圖所示,在步驟320處,處理300可以包括指示工業機器執行第一處理。舉例而言,智慧型工業輔助102可以指示工業機器104依據第一自然語言輸入來執行第一處理。
在一些非限制性實施例中,智慧型工業輔助102可以藉由依據對話模板(例如,第一對話模板)決定至少一個命令及/或將與命令相關聯的命令資料傳送到工業機器104來指示工業機器104。在一些非限制性實施例中,智慧型工業輔助102可以依據已經映射自然語言輸入(或其一部分)的對話模板(例如,第一對話模板)來決定命令。在一些非限制性實施例中,命令可以基於與對話模板相關聯的至少一個動作。在一些非限制性實施例中,智慧型工業輔助102可以依據與第一對話模板相關聯的動作資料、參數資料、群組資料、及/或類似者來決定命令。舉例而言,動作資料可以與至少一個命令相關聯(例如,識別、包括、及/或類似者)。附加或可替代地,命令可以包括基於映射到對話模板的參數資料的自然語言輸入的一部分的參數的值。附加或可替代地,命令可以依據映射到群組資料的自然語言輸入的該部分而與群組相關聯(例如,識別、定址、及/或類似者)。
在一些非限制性實施例中,命令資料可以與至少一個可執行的工業機器操作(例如,第一工業機器104的操作)相關聯。附加或可替代地,傳送命令資料可以包括智慧型工業輔助102經由機器介面(例如,機器閘道102e的第一工業機器介面)將命令資料發送到第一工業機器104(例如,其第一機器控制器104a)。
如第3圖所示,在步驟330處,處理300可以包括接收第二自然語言輸入。舉例而言,智慧型工業輔助102可以從使用者接收第二自然語言輸入(例如,經由介面裝置101的輸入部件101c或輸入/輸出部件101b)。在一些非限制性實施例或態樣中,可以在工業機器執行第一處理時接收第二自然語言輸入。
一些非限制性實施例中,第二自然語言輸入可以與連接到智慧型工業輔助102的資料庫(例如,資料庫103a及/或外部資料庫103b)的查詢、關於工業機器104的狀態的查詢、關於(第一)處理的狀態的查詢、建立工業機器104的下一個(例如,第二)處理的請求、產生與工業機器104相關聯的報告的請求、藉由第二工業機器(例如,另一工業機器104)執行單獨(例如,第三)處理的請求、指導使用者如何執行第四處理的請求、或教導使用者新技能的請求中之至少一者相關聯。
在一些非限制性實施例中,如本文所述,智慧型工業輔助102可以將第二自然語言輸入的至少一部分映射到(第二)對話模板的至少一部分。舉例而言,封包資料(例如,封包102cc及/或類似者)可以包括複數個對話模板。附加或可替代地,智慧型工業輔助102可以依據第二自然語言輸入(例如,依據映射到自然語言輸入的對話模板的部分,依據使用者的推斷意圖,及/或類似者)來選擇對話模板中之第二者(例如,第二對話模板)。在一些非限制性實施例中,如本文所述,智慧型工業輔助102可以決定第二自然語言輸入的至少一部分可以映射到與第二對話模板的預期對話資料相關聯的預期對話的至少一部分。舉例而言,智慧型工業輔助102可以將第二自然語言輸入的至少一部分與相關聯於第二對話模板的預期對話資料的預期對話的至少一部分進行匹配。在一些非限制性實施例中,智慧型工業輔助102可以將第二自然語言輸入的至少一部分映射到與第二對話模板的參數資料相關聯的至少一個參數。在一些非限制性實施例中,智慧型工業輔助102可以將第二自然語言輸入的至少一部分映射到與第二對話模板的群組資料相關聯的至少一個群組。
如第3圖所示,在步驟340處,處理300可以包括決定回應。舉例而言,智慧型工業輔助102可以依據第二自然語言輸入來決定(第一)回應。
在一些非限制性實施例中,(第一)回應可以基於上下文。舉例而言,上下文可以基於工業機器104上運行的(第一)處理、包括工業機器104的工作單元的一或更多個處理、工業機器104的類型、或使用者的角色中之至少一者。在一些非限制性實施例中,工作單元可以包括製造環境(例如,多個工業機器104,其中至少一些可以具有不同類型)中串行或平行執行處理的資源佈置。
在一些非限制性實施例中,(第一)回應可以包括指導使用者如何執行處理(例如,不同於第一處理,或者第一處理的即將到來的部分)或教導使用者新技能中之至少一者。
在一些非限制性實施例中,智慧型工業輔助102可以依據決定第二命令、傳送第二命令、及依據第二命令接收回應資料來決定回應。舉例而言,如本文所述,智慧型工業輔助102可以依據第二自然語言輸入(或其部分)已經映射的第二對話模板來決定第二命令。在一些非限制性實施例中,命令可以基於與第二對話模板相關聯的至少一個動作。附加或可替代地,智慧型工業輔助102可以將與第二命令相關聯的命令資料傳送到介面裝置101、資料庫(例如,資料庫103a、外部資料庫103b、及/或經由資料庫介面102d的類似者)、工業機器104(例如,經由機器介面的機器控制器104a)、使用者裝置105、遠端系統106、及/或類似者中之至少一者。
在一些非限制性實施例中,智慧型工業輔助102可以回應於命令資料而接收回應資料(例如,從工業機器104、資料庫103a、外部資料庫103b、及/或類似者)。在一些非限制性實施例中,智慧型工業輔助102可以從工業機器104接收(第一)回應資料。附加或可替代地,智慧型工業輔助102可以從資料庫(例如,資料庫103a及/或外部資料庫103b)接收(第二)回應資料。在一些非限制性實施例中,智慧型工業輔助102可以組合來自工業機器104的(第一)回應資料與來自資料庫(例如,資料庫103a及/或外部資料庫103b)的(第二)回應資料,以形成單一回應。
如第3圖所示,在步驟350處,處理300可以包括啟動回應。舉例而言,智慧型工業輔助102可以啟動(第一)回應。在一些非限制性實施例中,智慧型工業輔助102可以啟動向使用者傳送(第一)回應(例如,經由介面裝置101的輸出部件101a或輸入/輸出部件101b)。在一些非限制性實施例中,智慧型工業輔助102可以在工業機器104執行第一處理時啟動回應(例如,其通訊)。
如第3圖所示,在步驟360處,處理300可以包括接收與事件相關聯的事件資料。舉例而言,智慧型工業輔助102可以(例如,從工業機器104、資料庫103a、及/或外部資料庫103b)接收與(第一)事件相關聯的(第一)事件資料。在一些非限制性實施例中,事件可以具有各種類型。舉例而言,類型可以是警報、警示、報告、排程事件及/或提醒、及/或類似者。
在一些非限制性實施例中,事件可以是工業機器104的警報。
如第3圖所示,在步驟370處,處理300可以包括中斷回應。舉例而言,智慧型工業輔助102可以中斷針對使用者的(第一)回應的通訊。在一些非限制性實施例中,在中斷回應的通訊之前,智慧型工業輔助102可以依據事件資料(例如,依據事件的類型)來決定是否中斷第一回應的通訊。在一些非限制性實施例中,智慧型工業輔助102可以依據事件資料(例如,依據事件的類型)來決定是否中斷工業機器104所執行的(第一)處理。附加或可替代地,智慧型工業輔助102可以指示工業機器104依據事件資料(例如,警報)中斷(例如,停止)所執行的(第一)處理。
在一些非限制性實施例中,智慧型工業輔助102可以依據事件資料來決定第二回應。附加或可替代地,智慧型工業輔助102可以啟動針對使用者的第二回應的通訊(例如,經由介面裝置101的輸出部件101a或輸入/輸出部件101b)。在一些非限制性實施例中,在完成針對使用者的第二回應的通訊之後,智慧型工業輔助102可以繼續針對使用者的第一回應的通訊(例如,經由介面裝置101的輸出部件101a或輸入/輸出部件101b)。
現在參照第4圖,第4圖係為可以與第3圖所示的處理300一起使用的用於建立人群關係的處理400的非限制性實施例的流程圖。在一些非限制性實施例中,可以藉由智慧型工業輔助102(例如,智慧型工業輔助102的一或更多個裝置)執行(例如,完全、部分、及/或類似者)處理400的步驟中之一或更多者。在一些非限制性實施例中,處理400的步驟中之一或更多者可以藉由與智慧型工業輔助102分開或包括智慧型工業輔助102的另一系統、另一裝置、另一系統群組、或另一裝置群組(例如,介面裝置101(例如,介面裝置101的一或更多個裝置)、資料庫103a(例如,資料庫103a的一或更多個裝置)、外部資料庫103b(例如,外部資料庫103b的一或更多個裝置)、工業機器104(例如,工業機器104的一或更多個裝置)、使用者裝置105、及/或遠端伺服器106(例如,遠端伺服器106的一或更多個裝置))執行(例如,完全、部分、及/或類似者)。
在一些非限制性實施例中,人群可以包括研究(例如,觀察、接收相關活動資料、及/或類似者)群組(例如,具有相同或類似角色的使用者群組)中的至少一個成員。舉例而言,使用者群組可以包括具有作為(例如,特定類型的機器的、特定機器模型的、特定工廠中的一組機器的、及/或類似者的)機器操作者的角色的使用者群組、具有作為(例如,機器操作者的、工廠的、及/或類似者的)指導者的角色的使用者群組、具有製造工程師的角色的使用者群組、具有維護人員的角色的使用者群組、具有銷售人員的角色的使用者群組、具有現場服務工程師的角色的使用者群組、及/或類似者。附加或可替代地,建立人群關係可以包括依據群組中的至少一個成員的至少一個活動來產生至少一個對話模板。
如第4圖所示,在步驟410處,處理400可以包括接收與至少一個使用者活動相關聯的使用者活動資料。舉例而言,智慧型工業輔助102(及/或與智慧型工業輔助102分開或包括智慧型工業輔助102的其他裝置(例如,介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端伺服器106))可以從使用者(例如,工業機器的操作者及/或類似者)、從這樣的使用者的觀察者、及/或從類似者接收使用者活動資料。在一些非限制性實施例中,活動資料可以包括至少一種活動(例如,任務;動作;報告;其任一組合;任一序列、群組、流程、及/或類似者;及/或類似者)。在一些非限制性實施例中,使用者的活動(或多個活動)可以特定於這樣的使用者(例如,機器操作者及/或類似者)的角色。
如第4圖所示,在步驟422處,處理400可以包括依據使用者活動資料來決定使用者任務。舉例而言,智慧型工業輔助102(及/或與智慧型工業輔助102分開或包括智慧型工業輔助102的其他裝置(例如,介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端伺服器106))可以依據活動資料來決定使用者任務。舉例而言,智慧型工業輔助102可以解析活動資料,以識別各個任務。
如第4圖所示,在步驟424處,處理400可以包括依據使用者任務來決定機器特徵。舉例而言,智慧型工業輔助102(及/或與智慧型工業輔助102分開或包括智慧型工業輔助102的其他裝置(例如,介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端伺服器106))可以依據使用者任務來決定機器特徵(例如,功能、命令、變量、欄位、輸入、輸出、其任一組合、及/或類似者)。在一些非限制性實施例中,智慧型工業輔助102可以依據至少一個使用者任務與至少一個機器特徵之間的預定映射來決定機器特徵。附加或可替代地,智慧型工業輔助102可以從使用者(例如,機器操作者)、使用者的觀察者、及/或類似者接收輸入,以將至少一個使用者任務與至少一個機器特徵相關聯。
如第4圖所示,在步驟426處,處理400可以包括依據使用者任務及/或機器特徵來決定可能的機器警告。舉例而言,智慧型工業輔助102(及/或與智慧型工業輔助102分開或包括智慧型工業輔助102的其他裝置(例如,介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端伺服器106))可以依據使用者任務及/或機器特徵來決定可能的機器警告(例如,警報、警示、及/或類似者)。在一些非限制性實施例中,智慧型工業輔助102可以依據至少一個機器警告與至少一個機器特徵之間的預定映射來決定可能的機器警告。附加或可替代地,智慧型工業輔助102可以從使用者(例如,機器操作者)、使用者的觀察者、及/或類似者接收輸入,以將至少一個可能的機器警告與至少一個機器特徵相關聯。
如第4圖所示,在步驟428處,處理400可以包括決定可能的機器回應。舉例而言,智慧型工業輔助102(及/或與智慧型工業輔助102分開或包括智慧型工業輔助102的其他裝置(例如,介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端伺服器106))可以依據使用者任務、機器特徵、可能的機器警告、其任一組合、及/或類似者中之至少一者來決定可能的機器回應(例如,輸出、回應訊息、報告、警告、及/或類似者)。在一些非限制性實施例中,智慧型工業輔助102可以依據至少一個可能的機器回應與至少一個機器特徵之間的預定映射來決定可能的機器回應。附加或可替代地,智慧型工業輔助102可以從使用者(例如,機器操作者)、使用者的觀察者、及/或類似者接收輸入,以將至少一個可能的機器回應與至少一個機器特徵相關聯。
如第4圖所示,在步驟430處,處理400可以包括決定對話序列。舉例而言,智慧型工業輔助102(及/或與智慧型工業輔助102分開或包括智慧型工業輔助102的其他裝置(例如,介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端伺服器106))可以依據使用者任務、機器特徵、可能的機器警告、可能的機器回應、其任一組合、及/或類似者中之至少一者來決定至少一個對話序列。在一些非限制性實施例中,智慧型工業輔助102可以依據至少一個對話序列與使用者任務、機器特徵、可能的機器警告、可能的機器回應、其任一組合、及/或類似者中之至少一者之間的預定映射來決定對話序列。附加或可替代地,智慧型工業輔助102可以從使用者(例如,機器操作者)、使用者的觀察者、及/或類似者接收輸入,以將至少一個對話序列與使用者任務、機器特徵、可能的機器警告、可能的機器回應、其任一組合、及/或類似者中之至少一者相關聯。
如第4圖所示,在步驟440處,處理400可以包括決定智慧型工業輔助102的適用功能。舉例而言,智慧型工業輔助102(及/或與智慧型工業輔助102分開或包括智慧型工業輔助102的其他裝置(例如,介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端伺服器106))可以依據使用者任務、機器特徵、可能的機器警告、可能的機器回應、對話序列、其任一組合、及/或類似者中之至少一者來決定智慧型工業輔助102的至少一個適用功能。在一些非限制性實施例中,智慧型工業輔助102可以依據工業輔助102的至少一個功能與使用者任務、機器特徵、可能的機器警告、可能的機器回應、對話序列、其任一組合、及/或類似者中之至少一者之間的預定映射來決定智慧型工業輔助102的適用功能。附加或可替代地,智慧型工業輔助102可以從使用者(例如,機器操作者)、使用者的觀察者、及/或類似者接收輸入,以將工業輔助102的至少一個功能與使用者任務、機器特徵、可能的機器警告、可能的機器回應、對話序列、其任一組合、及/或類似者中之至少一者相關聯。
如第4圖所示,在步驟450處,處理400可以包括決定動作。舉例而言,智慧型工業輔助102(及/或與智慧型工業輔助102分開或包括智慧型工業輔助102的其他裝置(例如,介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端伺服器106))可以依據智慧型工業輔助102的適用功能、使用者任務、機器特徵、可能的機器警告、可能的機器回應、對話序列、其任一組合、及/或類似者中之至少一者來決定至少一個動作。在一些非限制性實施例中,智慧型工業輔助102可以依據至少一個動作與智慧型工業輔助102的至少一個適用功能之間的預定映射來決定動作。附加或可替代地,智慧型工業輔助102可以從使用者(例如,機器操作者)、使用者的觀察者、及/或類似者接收輸入,以將至少一個動作與工業輔助102的適用功能、使用者任務、機器特徵、可能的機器警告、可能的機器回應、對話序列、其任一組合、及/或類似者中之至少一者相關聯。
如第4圖所示,在步驟460處,處理400可以包括產生至少一個對話模板。舉例而言,智慧型工業輔助102(及/或與智慧型工業輔助102分開或包括智慧型工業輔助102的其他裝置(例如,介面裝置101、資料庫103a、外部資料庫103b、工業機器104、使用者裝置105、及/或遠端伺服器106))可以依據智慧型工業輔助102的適用功能、使用者任務、機器特徵、可能的機器警告、可能的機器回應、對話序列、動作、其任一組合、及/或類似者中之至少一者來產生對話模板。舉例而言,對話模板可以包括功能資料、群組資料、特徵資料、序列資料、參數資料、預期對話資料、動作資料、其任一組合、及/或類似者中之至少一者,其中每一者可以至少部分依據智慧型工業輔助102的適用功能、使用者任務、機器特徵、可能的機器警告、可能的機器回應、對話序列、動作、其任一組合、及/或類似者中之至少一者來決定。在一些非限制性實施例中,可以依據智慧型工業輔助102的適用功能、使用者任務、機器特徵、可能的機器警告、可能的機器回應、對話序列、動作、其任一組合、及/或類似者中之至少一者的至少一部分與功能資料、群組資料、特徵資料、序列資料、參數資料、預期對話資料、動作資料、其任一組合、及/或類似者中之至少一者之間的預定映射來產生對話模板。附加或可替代地,可以從使用者(例如,機器操作者)、使用者的觀察者、及/或類似者接收輸入,以將智慧型工業輔助102的適用功能、使用者任務、機器特徵、可能的機器警告、可能的機器回應、對話序列、動作、其任一組合、及/或類似者中之至少一者的至少一部分與功能資料、群組資料、特徵資料、序列資料、參數資料、預期對話資料、動作資料、其任一組合、及/或類似者中之至少一者相關聯。
儘管為了說明之目的已經依據當前視為最實用及較佳的實施例來詳細描述所揭示標的,但應理解,這樣的細節僅用於該目的,並且所揭示標的並不限於所揭示實施例,而相反地意欲覆蓋落在隨附請求項的精神及範圍內的修改及等同佈置。舉例而言,應理解,在可能的範圍內,所揭示之標的預期任何實施例的一或更多個特徵可以與任何其他實施例的一或更多個特徵組合。
100:環境
101:介面裝置
101a:輸出部件
101b:輸入/輸出部件
101c:輸入部件
102:智慧型工業輔助
102a:自動語音識別(ASR)模組
102aa:對話管理器
102ac:決策引擎
102b:自然語言理解(NLU)模組
102c:應用程式管理器
102cc:封包
102d:資料庫輔助介面
102e:機器閘道
102ee:機器專用軟體
102f:自然語言產生器(NLG)模組
102g:文本到語音(TTS)模組
103a:資料庫
103b:外部資料庫
104:工業機器
104a:機器控制器
105:使用者裝置
106:遠端系統
200:裝置
202:匯流排
204:處理器
206:記憶體
208:儲存部件
210:輸入部件
212:輸出部件
214:通訊介面
300:處理
310:步驟
320:步驟
330:步驟
340:步驟
350:步驟
360:步驟
370:步驟
400:處理
410:步驟
422:步驟
424:步驟
426:步驟
428:步驟
430:步驟
440:步驟
450:步驟
460:步驟
下面參照隨附圖式所圖示的示例性實施例或態樣更詳細地解釋所揭示之標的之附加優點及細節,其中:
第1A圖至第1E圖係為可以根據本揭示標的之原理實現本文所述的方法、系統、及/或電腦程式產品的環境的非限制性實施例的圖;
第2圖係為第1A圖至第1E圖的一或更多個裝置的部件的非限制性實施例的圖;
第3圖係為根據本揭示標的之原理用於與智慧型工業輔助及工業機器通訊的處理的非限制性實施例的流程圖;以及
第4圖係為根據本揭示標的之原理建立人群關係的處理的非限制性實施例的流程圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記)
無
300:處理
310:步驟
320:步驟
330:步驟
340:步驟
350:步驟
360:步驟
370:步驟
Claims (12)
- 一種用於與一智慧型工業輔助及工業機器通訊的方法,包含以下步驟: 藉由一智慧型工業輔助,從一使用者接收一第一自然語言輸入,該第一自然語言輸入係與用於讓一工業機器執行一第一處理的一第一命令相關聯; 藉由該智慧型工業輔助,指示該工業機器依據該第一自然語言輸入來執行該第一處理; 當該工業機器執行該第一處理時,藉由該智慧型工業輔助,從該使用者接收一第二自然語言輸入; 藉由該智慧型工業輔助,依據該第二自然語言輸入來決定一第一回應;以及 當該工業機器執行該第一處理時,藉由該智慧型工業輔助,啟動針對該使用者的該第一回應的通訊。
- 如請求項1所述的方法,其中該第一回應係基於一第一上下文,且其中該第一上下文係基於該工業機器上運行的該第一處理、包括該工業機器的一工作單元的一或更多個處理、該工業機器的一類型、或該使用者的一角色中之至少一者。
- 如請求項1所述之方法,進一步包含以下步驟: 藉由該智慧型工業輔助,從該工業機器接收與一第一事件相關聯的事件資料;以及 藉由該智慧型工業輔助,中斷針對該使用者的該回應的該通訊。
- 如請求項3所述的方法,進一步包含以下步驟:在中斷該回應的該通訊之前,藉由該智慧型工業輔助,依據該事件資料來決定是否中斷該第一回應的該通訊。
- 如請求項3所述之方法,進一步包含以下步驟: 藉由該智慧型工業輔助,依據該事件資料來決定一第二回應;以及 藉由該智慧型工業輔助,啟動針對該使用者的該第二回應的通訊。
- 如請求項5所述之方法,進一步包含以下步驟: 在完成針對該使用者的該第二回應的該通訊之後,藉由該智慧型工業輔助,繼續針對該使用者的該第一回應的通訊。
- 如請求項1所述的方法,其中該第二自然語言輸入係與連接到該智慧型工業輔助的一資料庫的一查詢、關於該工業機器的一狀態的一查詢、關於該第一處理的一狀態的一查詢、建立該工業機器的一第二處理的一請求、產生與該工業機器相關聯的一報告的一請求、藉由一第二工業機器執行一第三處理的一請求、指導該使用者如何執行一第四處理的一請求、或教導該使用者一新技能的一請求中之至少一者相關聯。
- 如請求項1所述的方法,其中該第一回應包含指導該使用者如何執行一第二處理或教導該使用者一新技能中之至少一者。
- 如請求項3所述的方法,其中該事件包含該工業機器的一警報。
- 如請求項9所述之方法,進一步包含以下步驟: 藉由該智慧型工業輔助,指示該工業機器依據該警報來停止該第一處理。
- 一種用於與一智慧型工業輔助及工業機器通訊的系統,包含: 至少一個處理器;以及 包含指令的至少一個非暫態電腦可讀取媒體,該等指令引導該至少一個處理器以: 經由一智慧型工業輔助,從一使用者接收一第一自然語言輸入,該第一自然語言輸入係與用於讓一工業機器執行一第一處理的一第一命令相關聯; 經由該智慧型工業輔助,指示該工業機器依據該第一自然語言輸入來執行該第一處理; 當該工業機器執行該第一處理時,經由該智慧型工業輔助,從該使用者接收一第二自然語言輸入; 經由該智慧型工業輔助,依據該第二自然語言輸入來決定一第一回應;以及 當該工業機器執行該第一處理時,經由該智慧型工業輔助,啟動針對該使用者的該第一回應的通訊。
- 一種用於與一智慧型工業輔助及工業機器通訊的電腦程式產品,該電腦程式產品包含至少一個非暫態電腦可讀取媒體,該至少一個非暫態電腦可讀取媒體包括一或更多個指令,在藉由至少一個處理器執行時,該一或更多個指令使該至少一個處理器以: 經由一智慧型工業輔助,從一使用者接收一第一自然語言輸入,該第一自然語言輸入係與用於讓一工業機器執行一第一處理的一第一命令相關聯; 經由該智慧型工業輔助,指示該工業機器依據該第一自然語言輸入來執行該第一處理; 當該工業機器執行該第一處理時,經由該智慧型工業輔助,從該使用者接收一第二自然語言輸入; 經由該智慧型工業輔助,依據該第二自然語言輸入來決定一第一回應;以及 當該工業機器執行該第一處理時,經由該智慧型工業輔助,啟動針對該使用者的該第一回應的通訊。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862699394P | 2018-07-17 | 2018-07-17 | |
US62/699,394 | 2018-07-17 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202013298A true TW202013298A (zh) | 2020-04-01 |
TWI801629B TWI801629B (zh) | 2023-05-11 |
Family
ID=67539604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108125256A TWI801629B (zh) | 2018-07-17 | 2019-07-17 | 用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11074297B2 (zh) |
JP (1) | JP2021530794A (zh) |
TW (1) | TWI801629B (zh) |
WO (1) | WO2020018536A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI724871B (zh) * | 2020-04-17 | 2021-04-11 | 逢甲大學 | 智慧製造與先進排程決策輔助資訊管理系統 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11462220B2 (en) * | 2020-03-04 | 2022-10-04 | Accenture Global Solutions Limited | Infrastructure automation platform to assist in performing actions in response to tasks |
WO2024029192A1 (ja) * | 2022-08-03 | 2024-02-08 | 株式会社Jvcケンウッド | 音声コマンド受付装置、および音声コマンド受付方法 |
JP7503609B2 (ja) | 2022-10-07 | 2024-06-20 | 株式会社アマダ | 工作機械の運転支援装置および工作機械の運転支援方法 |
Family Cites Families (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4462080A (en) * | 1981-11-27 | 1984-07-24 | Kearney & Trecker Corporation | Voice actuated machine control |
JPS6016386A (ja) * | 1983-07-04 | 1985-01-28 | 松下電器産業株式会社 | 動作監視装置 |
US20050005266A1 (en) | 1997-05-01 | 2005-01-06 | Datig William E. | Method of and apparatus for realizing synthetic knowledge processes in devices for useful applications |
JP2000164050A (ja) * | 1998-11-27 | 2000-06-16 | Sumitomo Wiring Syst Ltd | ワイヤーハーネスの組立作業支援システム |
AU7051900A (en) | 1999-07-28 | 2001-02-19 | American Management Systems, Incorporated | Mobile maintenance assistant |
US20100131078A1 (en) | 1999-10-27 | 2010-05-27 | Brown David W | Event driven motion systems |
DE10051450A1 (de) | 2000-01-27 | 2001-08-16 | Siemens Ag | System und Verfahren zur Sprachverarbeitung |
US6895380B2 (en) | 2000-03-02 | 2005-05-17 | Electro Standards Laboratories | Voice actuation with contextual learning for intelligent machine control |
US6757362B1 (en) | 2000-03-06 | 2004-06-29 | Avaya Technology Corp. | Personal virtual assistant |
JP2002007299A (ja) | 2000-06-21 | 2002-01-11 | Mitsubishi Electric Corp | デバイス制御プログラム開発手段及び実行手段 |
US6928336B2 (en) | 2001-02-12 | 2005-08-09 | The Stanley Works | System and architecture for providing a modular intelligent assist system |
US6907317B2 (en) | 2001-02-12 | 2005-06-14 | The Stanley Works | Hub for a modular intelligent assist system |
US8374879B2 (en) * | 2002-02-04 | 2013-02-12 | Microsoft Corporation | Systems and methods for managing interactions from multiple speech-enabled applications |
US7512906B1 (en) * | 2002-06-04 | 2009-03-31 | Rockwell Automation Technologies, Inc. | System and methodology providing adaptive interface in an industrial controller environment |
US20040034532A1 (en) | 2002-08-16 | 2004-02-19 | Sugata Mukhopadhyay | Filter architecture for rapid enablement of voice access to data repositories |
JP3990262B2 (ja) | 2002-12-02 | 2007-10-10 | ファナック株式会社 | 産業用ロボット |
KR20060077385A (ko) | 2004-12-30 | 2006-07-05 | 두산인프라코어 주식회사 | 수치제어장치의 음성처리 시스템 및 방법 |
EP1834230A1 (en) * | 2004-12-30 | 2007-09-19 | Samsung Electronics Co., Ltd. | A terminal data format and a communication control system and method using the terminal data format |
JP4453596B2 (ja) * | 2005-04-06 | 2010-04-21 | 株式会社安川電機 | ロボット制御方法およびロボット装置 |
CA2615659A1 (en) | 2005-07-22 | 2007-05-10 | Yogesh Chunilal Rathod | Universal knowledge management and desktop search system |
US20070143127A1 (en) * | 2005-12-21 | 2007-06-21 | Dodd Matthew L | Virtual host |
US20080183852A1 (en) | 2007-01-26 | 2008-07-31 | Pramer David M | Virtual information technology assistant |
US8838755B2 (en) | 2007-03-23 | 2014-09-16 | Microsoft Corporation | Unified service management |
JP2009193480A (ja) * | 2008-02-18 | 2009-08-27 | Hitachi High-Tech Control Systems Corp | 音声管理装置、システム管理方法およびプログラム |
US8196155B2 (en) | 2008-10-08 | 2012-06-05 | Oracle International Corporation | XML-based event driven interface for OPC data access |
US8504374B2 (en) | 2009-02-02 | 2013-08-06 | Jerry Lee Potter | Method for recognizing and interpreting patterns in noisy data sequences |
US8386929B2 (en) | 2010-06-22 | 2013-02-26 | Microsoft Corporation | Personal assistant for task utilization |
US9928459B2 (en) * | 2011-07-25 | 2018-03-27 | Lg Electronics Inc. | Robotic cleaner and self testing method of the same |
JP5662273B2 (ja) * | 2011-07-28 | 2015-01-28 | アルパイン株式会社 | 割り込み制御装置および割り込み制御方法 |
CN102999322A (zh) | 2011-09-16 | 2013-03-27 | 深圳市吉阳自动化科技有限公司 | 一种工业控制器软件界面设计方法 |
US9082239B2 (en) | 2012-03-14 | 2015-07-14 | Flextronics Ap, Llc | Intelligent vehicle for assisting vehicle occupants |
JP6020189B2 (ja) * | 2013-01-18 | 2016-11-02 | 株式会社デンソー | 音声出力制御装置 |
US9244453B2 (en) | 2013-06-05 | 2016-01-26 | General Electric Company | Dynamic wizard execution |
US10055681B2 (en) | 2013-10-31 | 2018-08-21 | Verint Americas Inc. | Mapping actions and objects to tasks |
US9830044B2 (en) | 2013-12-31 | 2017-11-28 | Next It Corporation | Virtual assistant team customization |
JP2015138147A (ja) * | 2014-01-22 | 2015-07-30 | シャープ株式会社 | サーバ、対話装置、対話システム、対話方法および対話プログラム |
JP6257368B2 (ja) * | 2014-02-18 | 2018-01-10 | シャープ株式会社 | 情報処理装置 |
EP3149728B1 (en) | 2014-05-30 | 2019-01-16 | Apple Inc. | Multi-command single utterance input method |
CN106325142A (zh) | 2015-06-30 | 2017-01-11 | 芋头科技(杭州)有限公司 | 一种机器人系统及其控制方法 |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
EP3173983A1 (en) | 2015-11-26 | 2017-05-31 | Siemens Aktiengesellschaft | A method and apparatus for providing automatically recommendations concerning an industrial system |
EP3185094B1 (en) | 2015-12-22 | 2020-02-26 | Elco (Tianjin) Electronics Co., Ltd. | Process control system and development system for human machine interface |
US9826599B2 (en) | 2015-12-28 | 2017-11-21 | Amazon Technologies, Inc. | Voice-controlled light switches |
US10242316B2 (en) | 2016-03-28 | 2019-03-26 | Christoph Adam Kohlhepp | Robotic capability model for artificial intelligence assisted manufacturing supply chain planning |
CN105931218B (zh) * | 2016-04-07 | 2019-05-17 | 武汉科技大学 | 模块化机械臂的智能分拣方法 |
US20170329466A1 (en) | 2016-05-13 | 2017-11-16 | Sap Se | User interface application and digital assistant |
JP2018126810A (ja) * | 2017-02-06 | 2018-08-16 | 川崎重工業株式会社 | ロボットシステム及びロボット対話方法 |
US11151992B2 (en) * | 2017-04-06 | 2021-10-19 | AIBrain Corporation | Context aware interactive robot |
JP6904225B2 (ja) * | 2017-11-15 | 2021-07-14 | トヨタ自動車株式会社 | 情報処理装置 |
-
2019
- 2019-07-16 US US16/512,941 patent/US11074297B2/en active Active
- 2019-07-16 JP JP2021502519A patent/JP2021530794A/ja active Pending
- 2019-07-16 WO PCT/US2019/042005 patent/WO2020018536A1/en active Application Filing
- 2019-07-17 TW TW108125256A patent/TWI801629B/zh active
-
2021
- 2021-07-15 US US17/376,365 patent/US11651034B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI724871B (zh) * | 2020-04-17 | 2021-04-11 | 逢甲大學 | 智慧製造與先進排程決策輔助資訊管理系統 |
Also Published As
Publication number | Publication date |
---|---|
JP2021530794A (ja) | 2021-11-11 |
US11074297B2 (en) | 2021-07-27 |
US11651034B2 (en) | 2023-05-16 |
TWI801629B (zh) | 2023-05-11 |
US20210342401A1 (en) | 2021-11-04 |
WO2020018536A1 (en) | 2020-01-23 |
US20200026733A1 (en) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI734142B (zh) | 用於智慧型工業輔助的方法、系統、及電腦程式產品 | |
TWI801629B (zh) | 用於與智慧型工業輔助及工業機器通訊的方法、系統、及電腦程式產品 | |
JP6697024B2 (ja) | 手動始点/終点指定及びトリガフレーズの必要性の低減 | |
US10847139B1 (en) | Crowd sourced based training for natural language interface systems | |
US11354089B2 (en) | System and method for dialog interaction in distributed automation systems | |
JP6960914B2 (ja) | ダイアログ・システムにおけるパラメータ収集および自動ダイアログ生成 | |
JP2017058673A (ja) | 対話処理装置及び方法と知能型対話処理システム | |
US20150242182A1 (en) | Voice augmentation for industrial operator consoles | |
JP2012226299A (ja) | 音声命令語処理装置及びその方法 | |
TWI801630B (zh) | 以具有一組預定命令的智慧型工業輔助來協調工業機器的方法、系統及電腦程式產品 | |
TWI731374B (zh) | 用於智慧型工業輔助的基於角色及技能的權限的方法、系統、及電腦程式產品 | |
US11803592B2 (en) | Method, system, and computer program product for developing dialogue templates for an intelligent industrial assistant | |
EP4394764A1 (en) | Electronic device and control method of electronic device | |
KR20190094081A (ko) | 대화형 ai 에이전트 시스템을 위한 지식베이스의 시각화 방법 및 컴퓨터 판독가능 기록 매체 |