TWI658377B - 機器人輔助互動系統及其方法 - Google Patents

機器人輔助互動系統及其方法 Download PDF

Info

Publication number
TWI658377B
TWI658377B TW107104579A TW107104579A TWI658377B TW I658377 B TWI658377 B TW I658377B TW 107104579 A TW107104579 A TW 107104579A TW 107104579 A TW107104579 A TW 107104579A TW I658377 B TWI658377 B TW I658377B
Authority
TW
Taiwan
Prior art keywords
robot
user
mobile device
module
end server
Prior art date
Application number
TW107104579A
Other languages
English (en)
Other versions
TW201935186A (zh
Inventor
許明勳
郭承諺
張耀宗
郭家宏
Original Assignee
佳綸生技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 佳綸生技股份有限公司 filed Critical 佳綸生技股份有限公司
Priority to TW107104579A priority Critical patent/TWI658377B/zh
Priority to CN201810172147.7A priority patent/CN110136499A/zh
Priority to US16/261,574 priority patent/US20190240842A1/en
Application granted granted Critical
Publication of TWI658377B publication Critical patent/TWI658377B/zh
Publication of TW201935186A publication Critical patent/TW201935186A/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)

Abstract

本發明提供一種機器人輔助互動系統，包含一機器人、一移動裝置以 及一後端伺服器。前述移動裝置包含一顯示單元、一觸控單元、一攝像單元、一通訊單元以及一處理單元。前述顯示單元用於顯示一圖像內容。前述觸控單元用於接收一使用者輸入訊號。前述攝像單元用於取得一使用者反應資訊。前述通訊單元用於連接於前述機器人以及前述後端伺服器並傳送前述使用者反應資訊。前述處理單元，連接並控制前述顯示單元、前述觸控單元、前述攝像單元以及前述通訊單元。前述機器人包含一動作模組、一語音模組、一通訊模組以及一控制模組。前述動作模組用於依據前述圖像內容產生一動作輸出。前述語音模組用於依據前述圖像內容產生一語音輸出。前述通訊模組用於連接於前述移動裝置以及前述後端伺服器。前述控制模組連接並控制前述動作單元、前述語音單元以及前述通訊單元。

Description

機器人輔助互動系統及其方法
本發明係關於一種機器人輔助互動系統及其方法，尤其是一種利用機器人語音與動作輔助操作移動裝置的系統與方法。
移動裝置例如手機或平板大大增加了人們生活的便利。移動裝置上可安裝各種各樣的應用程式來取代很多傳統的工具。現有許多衛教類型的應用程式，主要利用移動裝置提供衛教的內容與小遊戲來協助小朋友了解衛教知識。同時，現有的衛教類型的機器人(例如Pepper)也是另外一種協助小朋友學習的方式。然而，小朋友在學習過程中常常會發生注意力不集中或是衛教內容難度太高而沮喪的狀況，現有的移動裝置或是衛教類型的機器人無法依據小朋友的情緒狀況調整其內容，而導致學習效果不佳。
因此，需要一種更有效的方法來協助小朋友與移動裝置所提供的應用程式進行互動，增加學習效果。
有鑑於此，本發明之目的為提供一種機器人輔助互動系統及其方法。本發明之機器人輔助互動系統及其方法利用機器人引導使用者與移動裝置所提供的內容(例如醫學衛教宣導)進行互動。並且，本發明之機器人輔助互動系 統及其方法利用機器人或是移動裝置取得使用者的反應，透過後端伺服器的運算判斷使用者的狀態並計算出較佳的內容或步驟，再將較佳的內容或步驟回饋給移動裝置與機器人，協助使用者進行互動，達成更好的教育與學習的目的。
為達上述目的，本發明提供一種機器人輔助互動系統，包含一機器人、一移動裝置以及一後端伺服器。前述移動裝置包含一顯示單元、一觸控單元、一攝像單元、一通訊單元以及一處理單元。前述顯示單元用於顯示一圖像內容。前述觸控單元用於接收一使用者輸入訊號。前述攝像單元用於取得一使用者反應資訊。前述通訊單元用於連接於前述機器人以及前述後端伺服器並傳送前述使用者反應資訊。前述處理單元，連接並控制前述顯示單元、前述觸控單元、前述攝像單元以及前述通訊單元。前述機器人包含一動作模組、一語音模組、一通訊模組以及一控制模組。前述動作模組用於依據前述圖像內容產生一動作輸出。前述語音模組用於依據前述圖像內容產生一語音輸出。前述通訊模組用於連接於前述移動裝置以及前述後端伺服器。前述控制模組連接並控制前述動作單元、前述語音單元以及前述通訊單元。前述後端伺服器利用前述使用者反應資訊產生一回饋訊號。前述後端伺服器將前述回饋訊號傳送至前述移動裝置。前述移動裝置依據前述回饋訊號更新前述圖像內容。前述機器人依據前述更新之圖像內容產生更新之動作輸出與語音輸出。
為達上述目的，本發明亦提供一種機器人輔助互動方法，適用於一機器人輔助互動系統。前述機器人輔助互動系統包含一機器人、一移動裝置以及一後端伺服器；前述機器人輔助互動方法包含以下步驟。前述機器人輔助互動方法連接前述移動裝置至前述機器人。前述移動裝置顯示一第一圖像內容；前述機器人依據前述第一圖像內容提供一第一語音輸出與一第一動作輸出。前述移動裝置判斷是否接收到一使用者輸入訊號。當前述移動裝置接收到一使用者輸入訊號時，前述移動裝置依據前述使用者輸入訊號顯示一第二圖像內容； 前述機器人依據前述第二圖像內容提供一第二語音輸出與一第二動作輸出。前述機器人輔助互動方法取得一使用者反應資訊。前述機器人輔助互動方法將前述使用者反應資訊傳送至前述後端伺服器。前述後端伺服器依據前述使用者反應資訊產生一回饋訊號，並將前述回饋訊號傳送至前述移動裝置。前述移動裝置依據前述回饋訊號顯示一第三圖像內容；前述機器人依據前述第三圖像內容提供一第三語音輸出與一第三動作輸出。
綜上所述，本發明所提供的機器人輔助互動系統及其方法。本發明之機器人輔助互動系統及其方法利用機器人引導使用者與移動裝置所提供的內容(例如醫學衛教宣導)進行互動。並且，本發明之機器人輔助互動系統及其方法利用機器人或是移動裝置取得使用者的反應，透過後端伺服器的運算判斷使用者的狀態並計算出較佳的內容或步驟，再將較佳的內容或步驟回饋給移動裝置與機器人，協助使用者進行互動，達成更好的教育與學習的目的。
10、20‧‧‧機器人輔助互動系統
100‧‧‧機器人
110‧‧‧控制模組
120‧‧‧動作模組
130‧‧‧記憶模組
140‧‧‧攝像模組
150‧‧‧語音模組
160‧‧‧顯示模組
170‧‧‧通訊模組
180‧‧‧投影模組
190‧‧‧感測模組
200‧‧‧移動裝置
210‧‧‧處理單元
220‧‧‧使用者介面
221‧‧‧顯示單元
222‧‧‧觸控單元
230‧‧‧記憶單元
240‧‧‧攝像單元
250‧‧‧通訊單元
260‧‧‧語音單元
270‧‧‧感測單元
300‧‧‧後端伺服器
310‧‧‧中央處理器
311‧‧‧語音處理單元
312‧‧‧影像處理單元
320‧‧‧資料庫
400‧‧‧穿戴裝置
410、610‧‧‧處理器
420‧‧‧感測器
430‧‧‧通訊器
600‧‧‧手持裝置
620‧‧‧第一無線模組
630‧‧‧第二無線模組
640‧‧‧顯示裝置
650‧‧‧聲音裝置
660‧‧‧應用程式
S500‧‧‧機器人輔助互動方法
S501~S508‧‧‧步驟
U‧‧‧使用者
圖1為本發明第一實施例之機器人輔助互動系統之示意圖。
圖2為本發明第一實施例之機器人輔助互動系統之方塊示意圖。
圖3為本發明第一實施例之機器人輔助互動方法之流程圖。
圖4為本發明第二實施例之機器人輔助互動系統之示意圖。
圖5為本發明第二實施例之機器人輔助互動系統之方塊示意圖。
以下將參照相關圖式，說明本發明較佳實施例之一機器人輔助互動系統及其方法，其中相同的元件將以相同的參照符號加以說明。
請先參考圖1與圖2，圖1為本發明第一實施例之機器人輔助互動系統之示意圖；圖2為本發明第一實施例之機器人輔助互動系統之方塊示意圖。本發明之機器人輔助互動系統用於輔助使用者進行學習與互動，尤其是協助小朋友學習一般衛生教育常識，例如學習如何保護牙齒避免蛀牙。如圖1與圖2所示，本發明之機器人輔助互動系統10包含一機器人100、一移動裝置200以及一後端伺服器300。前述移動裝置200可為一般的智慧型手機、平板或是手提電腦。使用者U可以利用移動裝置200所提供的APP應用程式學習衛生教育常識，同時可以利用移動裝置的使用者介面進行操作，與APP應用程式進行互動。如圖2所示，前述移動裝置200包含一使用者介面220。前述使用者介面200包含一顯示單元221以及一觸控單元222。前述移動裝置200包含一攝像單元240一通訊單元250以及一處理單元210。前述顯示單元221用於顯示一圖像內容。前述觸控單元222用於接收一使用者輸入訊號。前述攝像單元240用於取得一使用者反應資訊。前述使用者反應資訊包含一使用者影像資訊以及一使用者聲音資訊。前述攝像單元240為一般智慧型手機、平板或是手提電腦之攝像單元，具有照相以及錄影的功能，可以取得影像資訊以及聲音資訊。前述通訊單元210用於利用有線網路或是無線網路連接於前述機器人100以及前述後端伺服器300並傳送前述使用者反應資訊。前述通訊單元210除了傳送前述使用者反應資訊外，還可接收來自前述機器人100或是前述後端伺服器300所傳來的資訊，例如接收前述伺服器300所傳來的一使用者資訊。前述處理單元210連接並控制前述顯示單元221、前述觸控單元222、前述攝像單元240以及前述通訊單元250。前述移動裝置200可進一步包含其他元件，例如包含一供電單元(圖未示)、一語音單元260、一記憶單元230以及一感測單元270。前述供電單元例如一鋰電池以及一充電介面，用於提供電能給前述移動裝置200。前述語音單元260例如一喇叭，用於播放語音或音樂。前述記憶單元230用於儲存資訊。前述感測單元 270裡如一動作感測器或是一紅外線感測器，用於偵測前述移動裝置200周圍環境的資訊。前述使用者反應資訊包含一使用者影像資訊以及一使用者聲音資訊。前述攝像單元240包含一麥克風單元，用於取得前述使用者聲音資訊。前述移動裝置200之元件與功能可參考一般智慧型手機、平板或是手提電腦，在此不做贅述。
請參考圖1與圖2，在本實施例中，前述機器人100為一小型的人形機器人。本發明之機器人不限於人型機器人。在其他的實施例中，本發明之機器人可為任何可指導使用者的機器人，如多足、輪型、甚至非移動型等陪伴機器人。在本實施例中，前述機器人100可放至於桌面上，利用聲音與動作引導使用者U或是吸引使用者U的注意。前述機器人100包含一動作模組120、一語音模組150、一通訊模組170以及一控制模組110。前述動作模組120用於依據前述移動裝置200所顯示之前述圖像內容產生一動作輸出。如圖1所示，前述動作模組120為一多馬達驅動模組，形成人形機器人的四肢，具有兩隻手臂以產生手臂動作，以及具有兩隻腳以方便移動、站立或蹲下。前述語音模組150用於依據前述移動裝置200所顯示之前述圖像內容產生一語音輸出。舉例來說，當前述移動裝置顯示APP應用程式開始的畫面，使用者U登入APP應用程式後，前述動作模組120做出揮手的動作；並且前述語音模組150發出打招呼的聲音並呼叫使用者的名字。前述通訊模組170用於利用無線網路連接於前述移動裝置200以及前述後端伺服器300。前述通訊模組170可包含一行動網路模組，用於連接至GSM 4G LTE等行動網路。前述通訊模組170可進一步包含一無線模組，用於利用WiFi或藍芽(Bluetooth,BT)連接至前述移動裝置200。前述控制模組110連接並控制前述動作模組120、前述語音模組150以及前述通訊模組180。前述機器人100進一步具有一攝像模組140、一顯示模組160、一投影模組180、一記憶模組130、一感測模組(圖未示)、一麥克風模組(圖未示)以及一供電模組(圖 未示)。前述攝像模組140用於擷取靜態影像與動態影像。前述攝像模組也可用於擷取紅外線影像，以便於在低光源的環境下截取靜態影像以及動態影像。前述麥克風模組用於取得聲音資訊。前述攝像模組140與前述麥克風模組也可用於取得前述使用者反應資訊；即前述攝像模組140用於取得前述使用者影像資訊；前述麥克風模組用於取得前述使用者聲音資訊。前述投影模組180可為一雷射投影模組，用於投射影像，例如投射一QR code。前述移動裝置100可掃描前述QR code以連接至前述機器人100。前述顯示模組160可為一觸控式顯示模組，設置於人形機器人的背部，用於控制與顯示前述機器人100之資訊。前述記憶模組130用於儲存資訊。前述感測模組例如一運動感測器，用於感測周圍環境或是前述機器人100本身的狀態。前述供電模組可為一充電式鋰電池，用於提供電能給前述機器人100。除了以上元件之外，前述機器人100還可包含一定位模組用於管理存取前述機器人100之位置，例如輔助式全球定位系統(A-GPS)、全球導航衛星系統(GLONASS)、數位指南針(Digital Compass)、電子陀螺儀(Gyroscope)、加速度計(Accelerometer)、環境音訊輸人陣列(Microphone Array)、環境光感測器(Ambient Light Sensor)、感光耦合元件(Charge-coupled Device)。
在一較佳具體實施例中，前術機器人100在全域空間的定位中，可以透過輔助式全球定位系統(A-GPS)、全球導航衛星系統(GLONASS)取得全球經緯度位置進行定位。在區域空間的定位中，使用者可以透過數位指南針(Digital Compass)來得知前述機器人100的面向，以及利用電子陀螺儀(Gyroscope)、加速度計(Accelerometer)可以得知前述機器人100偏轉的角度，進行每一度角面向的定位，透過環境音訊輸入陣列(Microphone Array)和環境光感測器(Ambient Light Sensor)可以感知各種外在物體與機器人100的相對空間之運動定位，以及使用感光耦合元件(Charge-coupled Device)取得之數位訊號二維陣 列。前述機器人100的控制模組110可以利用取得之數位訊號二維陣列的空間特徵，來對前述機器人100進行三維空間的定位。
請參考圖1與圖2，前述後端伺服器300利用前述使用者反應資訊產生一回饋訊號。前述後端伺服器300將前述回饋訊號傳送至前述移動裝置200。前述移動裝置200依據前述回饋訊號更新前述圖像內容。前述機器人100依據前述更新之圖像內容產生更新之動作輸出與語音輸出。前述後端伺服器300包含一中央處理單元310以及一資料庫320。前述中央處理單元310用於處理來自於前述移動裝置200或前述機器人100所傳來的前述使用者反應資訊，並產生前述回饋訊號。如前所述，前述使用者反應資訊包含一使用者影像資訊以及一使用者聲音資訊。前述中央處理器310包含一語音處理單元311以及一影像處理單元312。前述語音處理單元311用於處理前述使用者聲音資訊；前述影像處理單元312用於處理前述使用者影像資訊。除此之外，前述語音處理單元311也可用於利用聲音資訊辨別使用者之身分；前述影像處理單元312也可用於利用影像資訊辨別使用者之身分，例如人臉辨識、指紋辨識、虹膜辨識等。前述資料庫320用於儲存一使用者資訊，例如姓名、年齡、喜好、使用歷史等。當使用者U登入APP應用程式後，前述後端伺服器300將前述資料庫320中所儲存的使用者資料傳送至前述移動裝置200。前述後端伺服器300可進一步包含一使用者操作介面、一通訊單元以及一記憶體暫存模組等其他元件(圖未示)。前述後端伺服器300所包含的其他元件與作用方式可參考一般伺服器，在此不做贅述。
請參考圖1與圖2，本發明之機器人輔助互動系統10進一步包含一穿戴裝置400。前述穿戴裝置400包含一感測器420、一通訊器430以及一處理器410。前述感測器420用於感測一使用者生理資訊。前述通訊器430用於連接於前述移動裝置200並傳送前述使用者生理資訊。前述通訊器430為一無線通訊器，利用WiFi或藍芽連接至其他裝置(例如前述移動裝置200)。前述處理 器410連接並控制前述感測器420與前述通訊器430。前述穿戴裝置400可進一步包含一乾電池，提供電能給前述穿戴裝置400。前述穿戴裝置400之作用在於監控使用者之生理資訊(例如血壓、心跳、腦波、血氧)，並將使用者生理資訊傳送至前述移動裝置200與前述後端伺服器300。前述後端伺服器300在依據前述使用者生理資訊計算較佳的互動方案，並回饋前述移動裝置200，使前述移動裝置200提供較佳的圖像內容，搭配前述機器人100提供較佳的動作語音輸出，以輔助使用者U與前述移動裝置200進行互動。在一較佳實施例中，前述穿戴裝置400為一腦波偵測分析裝置；前述感測器420為一腦波偵測電極模組。前述腦波偵測電極模組可貼在使用者U的左右前額或是耳後，用於偵測使用者U的腦波訊號。前述處理器410將偵測到的腦波訊號進行濾波及特徵值擷取，濾波含Delta(0-4Hz)、Theta(4-7Hz)、Alpha(8-12Hz)、Beta(12-30Hz)、Gamma(30+Hz)等各頻段帶通濾波器(Band-pass Filter)及60Hz的帶阻濾波器(Notch Filter)。特徵值擷取用以分析主頻率(Dominant Frequency)及各頻段組成比例，並配合演算法來判定使用者U的專注程度。
在一較佳具體實施例中，前述穿戴裝置400所量測之使用者U的血壓、心跳、血氧數據，可與使用者在遊戲中的生理狀態連結，從讀數中依據各數據經由演算法判斷使用者專心與否。研究指出，當使用者分神時，心跳數就會上升，血壓亦會隨之升高，腦部血氧量亦隨之降低。反之，若使用者專注力越集中，心跳數就會下降，血壓亦會因為進入平靜狀態而隨之升降低，腦部血氧量亦隨之升高。此三種生理訊號可經由演算法判斷使用者對於作答選項的集中力程度，及題目難易所連帶發生的使用者的心理壓力狀態，從而建立參考值來調整內容的難易程度，因互動衛教的目的為讓使用者為遊戲而學習，而非為學習而遊戲。
在一較佳具體實施例中，如圖1所示，前述機器人100與前術移 動裝置200利用無線網路WiFi連接至前述後端伺服器300。前述機器人100、前述移動裝置200與前述穿戴裝置400利用藍芽(Bluetooth,BT)互相連接。
請同時參考圖2與圖3，圖3為本發明之機器人輔助互動方法之流程圖。如圖2與圖3所示，本發明之機器人輔助互動方法S500適用於一機器人輔助互動系統10。前述機器人輔助互動系統10包含一機器人100、一移動裝置200以及一後端伺服器300。前述機器人輔助系統10之元件與作用方式如前所述，在此不做贅述。本發明之機器人輔助互動方法S500包含步驟S501至S508。在步驟S501中，連接前述移動裝置200至前述機器人100。舉例來說，前述機器人100之顯示模組160可顯示一QR Code，使用者用前述移動裝置200掃描前述QR code使前述移動裝置200連接至前述機器人100。或者，前述機器人100之投影模組180可投影出前述QR Code方便前述移動裝置200進行掃描。除此之外，也可將前述QR Code之貼紙貼在前述機器人100的機身上，使前述移動裝置200進行掃描。前述QR code包含了前述機器人100之相關資訊，例如序號、名稱、擺放位置、低功耗藍芽位址(BLE Address)、WiFi MAC位址及IP位址(IP Address)。反之，前述機器人100亦可掃描移動裝置根據使用者資訊所產生之QR Code用以連結。如果不透過QR Code的方式，一般裝置無法搜尋到前述機器人100，因為前述機器人100裝置設定會預設藍芽以及WiFi SSID為隱藏模式。並且，每個不同的機器人可預設獨特的PIN碼來確保聯線的安全性，以避免干擾及惡意侵入。前述步驟S501可進一步包含一使用者在前述移動裝置200之使用者介面220上輸入使用者資訊之步驟。例如，使用者可以在前述移動裝置200之使用者介面上輸入使用者之帳號資訊。或是，前述移動裝置200偵測使用者的影像或聲音，並傳送到前述後端伺服器300辨識使用者的身分。前述步驟S501可再進一步包含：前述移動裝置100自前述伺服器300之資料庫320接收一使用者資訊。前述使用者資訊包含例如姓名、年齡、喜好、使用歷史等。在另一實 施例中，前述使用者資訊可預先儲存於前述移動裝置100之記憶單元230中。
在步驟S502中，前述移動裝置200顯示一第一圖像內容；前述機器人100依據前述第一圖像內容提供一第一語音輸出與一第一動作輸出。舉例來說，當使用者將前述移動裝置200連接至前述機器人100後，啟動APP應用程式，前述移動裝置200顯示的第一圖像內容可為一個歡迎使用者的啟始畫面。此時，前述機器人100可做出一揮手的動作做為前述第一動作輸出，同時搭配呼叫使用者的名字、小名或暱稱作為第一語音輸出，並且提醒使用者點選前述移動裝置200之使用者介面220與前述移動裝置200進行互動。以此方式，前述機器人100可配合前述移動裝置200顯示的畫面做出相應的動作與發出相應的聲音，增加使用者與前述移動裝置200互動的樂趣以及吸引使用者繼續互動。
在步驟S503中，前述移動裝置200判斷是否接收到一使用者輸入訊號。舉例來說，使用者啟動APP應用程式後，會利用觸控的方式與前述移動裝置200之APP應用程式進行互動。前述移動裝置200之處理單元210判斷前述觸控單元222是否有接收到使用者的觸控操作。當步驟S503之判斷為否時，即前述移動裝置200沒有收到使用者輸入訊號，則回到步驟S502，再一次提醒使用者與移動裝置200進行互動。當步驟S503之判斷為是時，即前述移動裝置200接收到使用者輸入訊號，則進入步驟S504。此時，使用者利用觸控前述使用者介面220開始與前述移動裝置200進行互動。例如，使用者點選前述使用者介面220所提供的選項。
在步驟S504中，前述移動裝置200依據前述使用者輸入訊號顯示一第二圖像內容；前述機器人100依據前述第二圖像內容提供一第二語音輸出與一第二動作輸出。舉例來說，當使用者點選到正確的選項時，前述移動裝置200提供一個笑臉的畫面做為前述第二圖像內容。同時，前述機器人100發出 「恭喜答對了」並高舉雙手或是做出拍手的動作，做為搭配第二圖像內容的第二語音輸出與第二動作輸出。或者，當使用者點選到錯誤的選項時，前述移動裝置200提供一個哭臉的畫面做為前述第二圖像內容。同時，前述機器人100發出「哎呀，答錯了」並放下雙手或是做出搖頭的動作，做為搭配第二圖像內容的第二語音輸出與第二動作輸出。
在步驟S505中，前述機器人輔助系統10取得一使用者反應資訊。前述使用者反應資訊包含一使用者影像資訊以及一使用者聲音資訊。具體而言，前述移動裝置200取得前述使用者影像資訊以及前述使用者聲音資訊。或者，前述機器人100也可取得前述使用者影像資訊以及前述使用者聲音資訊。舉例而言，當使用者知道自己的選項正確時，會做出開心的表情與聲音。此時，前述移動裝置200或前述機器人100會紀錄使用者開心的表情與聲音，做為使用者反應資訊。相反地，當使用者知道自己的選項錯誤時，會做出沮喪的表情與聲音。前述移動裝置200或前述機器人100會紀錄使用者沮喪的表情與聲音，做為使用者反應資訊。或者，使用者可能會開始對前述移動裝置100所提供的第二圖像內容喪失興趣，而開始出現心不在焉的表現。此時，前述移動裝置200或前述機器人100則紀錄使用者心不在焉的表現，做為使用者反應資訊。在步驟S506中，前述移動裝置200或前述機器人100將前述使用者反應資訊傳送到前述後端伺服器300。前述機器人輔助系統10進一步包含一穿戴裝置400。前述步驟S505進一步包含：前述穿戴裝置400取得一使用者生理資訊；以及將前述使用者生理資訊傳送至前述後端伺服器300。在一較佳實施例中，前述穿戴裝置400為一腦波偵測分析裝置。
在步驟S507中，前述後端伺服器300依據前述使用者反應資訊產生一回饋訊號，並將前述回饋訊號傳送至前述移動裝置200。具體而言，當前述後端伺服器300取得前述使用者反應資訊後，利用後端伺服器300中的語音處 理單元311以及影像處理單元312分析前述使用者聲音資訊與前述使用者影像資訊，以判斷使用者的狀態。並且，依據使用者的狀態，前述後端伺服器300產生前述回饋訊號，並將前述回饋訊號傳送至前述移動裝置200。舉例來說，當前述後端伺服器300判斷使用者是處於開心的狀態時，前述後端伺服器300產生一提高難度的回饋訊號傳送至前述移動裝置200。或者，當前述後端伺服器300判斷使用者是處於沮喪的狀態時，前述後端伺服器300產生一降低難度的回饋訊號傳送至前述移動裝置200。或者，當前述後端伺服器300判斷使用者是處於心不在焉的狀態時，前述後端伺服器300產生一吸引使用者注意力的回饋訊號傳送至前述移動裝置200。在另一實施例中，前述移動裝置200之處理單元210依據前述使用者反應資訊產生一回饋訊號；即前述移動裝置200可直接分析前述使用者反應資訊，並計算出回饋訊號。前述步驟S507進一步包含：前述後端伺服器300依據前述使用者生理資訊產生前述回饋訊號。前述後端伺服器300除了利用使用者反應資訊判斷使用者的狀態之外，可以進一步利用使用者生理資訊(例如血壓、心跳或腦波)判斷使用者的狀態。在一較佳實施例中，前述後端伺服器300利用使用者的腦波分析使用者的專心程度。
在步驟S508中，前述移動裝置200依據前述回饋訊號顯示一第三圖像內容；前述機器人100依據前述第三圖像內容提供一第三語音輸出與一第三動作輸出。舉例來說，當前述後端伺服器300產生一提高難度的回饋訊號傳送至前述移動裝置200時，前述移動裝置200顯示一難度較高內容做為第三圖像內容；前述機器人則發出「這一題比較難喔，加油」的聲音並搭配加油的動作做為第三語音輸出與第三動作輸出。或者，當前述後端伺服器300產生一降低難度的回饋訊號傳送至前述移動裝置200時，前述移動裝置200顯示一難度較低內容做為第三圖像內容；前述機器人則發出「沒關係，再試試看這一題喔」的聲音並搭配加油的動作做為第三語音輸出與第三動作輸出。或者，當前述後 端伺服器300產生一吸引使用者注意力的回饋訊號傳送至前述移動裝置200時，前述移動裝置200顯示一可以吸引使用者注意力的內容做為第三圖像內容；前述機器人則開始唱歌並搭配跳舞的動作做為第三語音輸出與第三動作輸出，吸引使用者的注意。
以此方式，本發明之機器人輔助互動方法S500利用機器人引導使用者操作與移動裝置所提供的內容(例如醫學衛教宣導)進行互動。並且，本發明之機器人輔助互動方法S500利用機器人或是移動裝置取得使用者的反應，透過後端伺服器的運算判斷使用者的狀態並計算出較佳的內容或步驟，再將較佳的內容或步驟回饋給移動裝置與機器人，協助使用者進行互動，達成更好的教育與學習的目的。
除了上述實施例之外，以下將介紹更多其他實施例來說明本發明之機器人輔助互動方法。在一具體實施例中，當使用者開始使用機器人輔助互動系統時，前述機器人可以自動辨認使用者，並取得使用者的使用紀錄及使用進度。並且，在後續的語音互動中，前述機器人可直接稱呼使用者的名字、小名或暱稱。對於使用者辨識，前述機器人可透過使用者的臉部特徵辨識使用者的身分。或者，前述機器人可以讀取移動裝置、使用者身上佩帶的穿戴式裝置或RFID取得對應的識別碼，接著查詢後端伺服器之資料庫以得知使用者資訊。如果前述後端伺服器之資料庫中沒有使用者資訊，前述機器人可以詢問使用者是否要建立新的使用者資訊。此外，使用者資訊可由第三方所提供，如醫院的院方資訊系統(Hospital Information System,HIS)或護理資訊系統(Nursing Information System,NIS)。或者，使用者資訊可來自於移動裝置之記憶模組中預設的使用者資訊。
在一具體實施例中，前述機器人可利用人臉辨識使用者。人臉資料庫可由第三方所提供，如醫院的HIS系統或NIS系統。或者，人臉資料庫可 預設於前述移動裝置之記憶單元中或是前述後端伺服器之資料庫中。前述機器人的人臉辨識方式，是依據使用者臉部輪廓與部分特徵位置間的相對位置資訊進行判斷。前述的特徵位置包括眼睛、眼尾、鼻子、鼻翼、嘴巴，嘴唇兩側、人中、下巴、觀骨等等。此外，每次人臉辨識成功後，使用者於人臉資料庫中的臉部資訊會被更新或校正，以避免使用者體形變化造成之後無法辨識的情況。
在一具體實施例中，當完成使用者辨識後，前述移動裝置會與前述後端伺服器連線，接收使用者資訊並導入移動裝置的APP應用程式(例如一衛教APP)來設定APP應用程式的進度及調整開始內容。如果使用者第一使用該衛教APP，則該衛教APP會從第一步開始重新設定使用者的屬性。該衛教APP主程式內建數個同科別但不同主題內容的衛教模組及小遊戲，使用者每完成一個衛教模組，前述移動裝置就上傳使用者之使用情形至前述後端伺服器並紀錄於前述後端伺服器中，此為固定上傳模式。
在一具體實施例中，在進行人臉辨識時，會取得使用者的眼睛部位的影像判斷使用者是否疲憊，如上眼瞼是否向下、閉眼時間增長、眼白變紅等等。當判斷使用者有疲憊徵兆時，機器人可以先詢問使用者是否要繼續或是建議使用者先休息。
在另一具體實施例中，使用者可以配帶一腦波量測裝置，腦波量測裝置可與移動裝置且/機器人連線，根據使用者的腦波變化判斷使用者目前的狀態。腦波量測裝置透過接觸在頭皮，如額頭，上的電極，量測使用者的腦電波，又稱為腦電圖(Electroencephalography，簡稱EEG)。透過EEG可以作為使用者的專注力的判斷，甚至可以透過適當的音樂播放讓使用者的注意力集中。一般可將腦波的頻率由低至高細分為：δ波(0.5~4Hz)、θ波(4~7Hz)、α波(8~13Hz)、β波(14~30Hz)，其中α波代表一個人穩定且專注力最集中的狀態； β波表示使用者可能處於緊張、焦慮或興奮、不安時的腦波；θ波(4~7Hz)代表使用者處於在一種想睡覺的狀態。一般成人在清醒狀態或注意力集中時很少出現θ波與δ波。因此可以透過腦波量測裝置，並根據偵測到的α波、θ波與δ波來判斷使用者的專注狀態，並可適時透過APP應用程式的內容讓使用者的注意力集中。
在一具體實施例中，以衛教APP為例，此類型的應用程式會以連續簡單的圖文問答方式呈現。問答的題庫為預載於應用程式內，並可透過自動更新於後端伺服器下載新的題庫。使用者開始使用時，問答題目的類型則由使用者於連接時所取得的使用者資訊作初步決定。應用程式會由使用者答題的正確率，進一步適性調整選擇下一階的題目。在此一具體實施例中，使用者在與應用程式互動的過程中，前述移動裝置與前述機器人會利用其攝像單元與攝像模組在固定的頻率(例如每秒拍攝五次)，來擷取使用者臉部表情並傳送到前述後端伺服器進行分析。此外，也可利用腦波偵測分析裝置來分析使用者的專心程度，並結合使用者影像資訊與使用者聲音資訊，同時紀錄使用者點選的速度，整合以上資訊後傳送至前述後端伺服器。前述後端伺服器利用以上資訊分析將分析使用者的情緒狀況及連續性情緒分佈曲線，並將計算的回饋訊號結回傳至前述移動裝置。前述移動裝置依據前述回饋訊號調整選擇下一步衛教遊戲的內容。此回饋調整步驟會在遊戲過程中重覆進行，以確保內容可以更好地輔助使用者學習衛教常識以及吸引使用者的注意力。
在一具體實施例中，以衛教APP為例，前述移動裝置顯示一衛教資料；前述機器人模擬講師做出配合講解的動作，協助使用者理解衛教資料的內容。同時，可以利用前述機器人的攝像模組或是前述移動裝置的攝像單元即時擷取使用者情緒及專注力狀態，使機器人做出相應的反應。並且，前述移動裝置將使用者的情緒及專注力狀態傳送到前述後端伺服器做為下一階段內容 的依據。若發現使用者無法集中注意力，機器人會以動態動作展示，或以笑話及歌舞帶動唱喚回使用者注意力。此外，此本發明之機器人輔助互動系統亦支援衛教影片播放及透過視訊的方式讓使用者與醫護人員進行視訊即時諮詢。
在一具體實施例中，前述移動裝置將使用者的使用數據資料傳送至後端伺服器。前述後端伺服器累積不同的使用者的使用數據資料後，可進行使用者模式分析並做為適性內容調整的依據。例如，以衛教APP為例，前述移動裝置根據使用者的年齡及衛教應答模式，調整預設使用者題庫。遊戲內題庫適性選擇則由後端伺服器分析使用者語音辨識、臉部辨識、情緒辨識、腦波偵測專注辨識後，產生回饋訊號。前述移動裝置及前述機器人依據回饋訊號作出對應適性內容選擇，準備下一階段互動內容。此外，透過線上更新，前述後端伺服器亦可更新前述移動裝置的題目及前述機器人的聲音動作。前述後端伺服器收集使用者反應資訊，以作為衛教內容調整依據及使用者模式研究。前述衛教APP亦提供離線模式，供使用者下載，協助使用者熟悉衛教APP操作以及即時衛教資料查詢。
請在參考圖4與圖5，圖4為本發明第二實施例之機器人輔助互動系統之示意圖。圖5為本發明第二實施例之機器人輔助互動系統之方塊示意圖。如圖4與圖5所示，本發明的二實施例之機器人輔助互動系統20包含一機器人100、一後端伺服器300以及一手持裝置600。前述機器人100可參考如圖2所示之機器人100，在此不做贅述。前述後端伺服器300可參考如圖2所示之後端伺服器300，在此不做贅述。前述手持裝置600可為一智慧手機或是平板(例如圖2所示之移動裝置200)。具體而言，前述手持裝置包含一處理器610、一第一無線模組620、一第二無線模組630、一顯示裝置640以及一聲音裝置650。前述手持裝置600利用前述第一無線模組620連接至前述後端伺服器。較佳的，前述第一無線模組620為一WiFi模組。前述手持裝置利用前述第二無線模組630 連接至前述機器人100。較佳的，前述第二無線模組630為一藍芽模組(Bluetooth,BT)。前述顯示裝置640用於顯示資訊或圖像。較佳的，前述顯示裝置640為一觸控顯示模組。前述聲音裝置650可為一喇叭，用於輸出聲音。前述手持裝置600可進一步包含至少一應用程式660，例如一衛教APP。本發明第二實施例所揭露之機器人互動系統20係透過前述機器人100作為與使用者U溝通的媒介，由前述機器人100引導使用者U操作手持裝置600所執行的應用程式，並根據使用者U的操作狀況由前述機器人100進行表演或是與使用者互動，避免使用者U長時間連續觀看手持裝置。此外更可透過前述機器人100的感測裝置(如圖2所示之感測模組190)如去偵測使用者的狀態，並適時地變更前述手持裝置600上的應用程式660(例如互動遊戲或是衛教APP)的內容。
當使用者U透過前述手持裝置600執行應用程式660時，前述機器人100會根據前述應用程式660的執行內容以聲音或動作指示使用者U完成應用程式660所呈現的互動內容，詳細說明可參考前述實施例。前述機器人100會透過內建的麥克風(例如圖2所示之語音模組150)、照相鏡頭(例如圖2所示之攝像模組140)或配帶在使用者身上的生理感測裝置(例如圖2所示之穿戴裝置400)判斷使用者的狀態，並將使用者的狀態回傳給前述手持裝置600。前述手持裝置600會根據使用者的狀態動態改變前述應用程式660的執行內容。舉例來說，如果使用者處於疲憊時，前述手持裝置600會建議使用者休息或是前述透過機器人100發出語音建議使用者休息。如果使用者注意力不集中時，前述手持裝置600會自應用程序660中選擇小遊戲或節奏快的互動內容顯示於前述顯示裝置640中。或者，前述手持裝置600會透過前述聲音裝置650播放不同的背景音樂。
當使用者停止使用後，前述處理器610會將使用者於本次使用過程中的狀態過程記錄，並回傳至前述後端伺服器300，作為使用者下一次執行前 述應用程式660時的參考。簡單來說，每一次應用程式660執行時係執行複數個不同類型的單元，前述處理器610或前述後端伺服器300根據使用者過去的使用記錄變更不同類型的單元的順序。
在一具體實施例中，當前述機器人100判斷使用者目前狀態是不專心、注意力不集中或是跟他人講話時，前述機器人100可以傳送使用者狀態資訊給前述手持裝置。前述手持裝置600可以適時的停止應用程式或變更後續應用程式的內容，或是提醒使用者動一動，跟著前述機器人100進行體操或是舒展操。或者，前述機器人100提醒使用者使用時間過長，建議應該讓眼睛休息一下。此時，前述手持裝置600上的應用程式660亦可暫時停止執行一預定時間或是播放可以舒壓的圖片、影片或音樂。
在另一具體實施例中，使用者的使用狀態或操作記錄會被前述手持裝置600記錄並回傳至前述後端伺服器300中，用以即時或是於下次使用時調整互動遊戲或是教學軟體的顯示內容。或者，使用者的使用狀態或操作記錄也可直接儲存在前述手持裝置600中，並且設定可與對應的應用程式連動。
在一具體實施例中，前述機器人100可以透過內建的照像機(例如圖2所示之攝像模組140)連續捕捉使用者的影像，並根據捕捉到的影像判斷使用者的狀態。譬如說透過連續的影像判斷使用者是否有打瞌睡或是眼睛閉上，當發現這種情況時，前述機器人100會判斷使用者目前可能比較疲憊或是不專心，因此發送使用者狀態資訊給前述手持裝置600。在另一個具體實施例中，前述機器人100會取得使用者臉部的影像，並從臉部影像中取得眼睛影像，並判斷使用者的眼睛是否有泛紅。如果使用者的眼睛泛紅，表示使用者眼睛已經疲勞。此時會透過前述機器人100建議使用者休息。
在一具體實施例中，當使用者執行前述手持裝置600(例如智慧手機或平板)的應用程式660時，前述應用程式660會先產生一QR code。前述 機器人100會掃描QR code後與前述手持裝置600連線。連線完畢後，前述手持裝置600會繼續執行該應用程式660。在另一具體實施例中，前述應用程式660可以要求使用者登入，以記錄使用者的使用記錄。在一具體實施例中，登入的方式可能由使用者輸入帳號密碼、使用者透過手持裝置上的指紋掃描器進行登入、透過前述手持裝置600或前述機器人100的攝像裝置取得的影像進行人臉識別後登入、透過使用者身上的穿戴式裝置(例如手環、藍芽手錶)進行登入。
當使用者在操作前述應用程式660時，前述機器人100會根據前述手持裝置100發送的指令或使用者的狀態做對應的回應。舉例來說，當使用者完成應用程式660內的一個關卡，或是達成程式設定的條件時，前述手持裝置600會傳送一控制信號給前述機器人100。前述機器人100可以做出對應的回應，如稱讚使用者、動作表演、唱歌、投射影片等等的。前述機器人100與前述手持裝置600的互動方式有以下幾種方式。
第一種情況是在應用程式660執行時，前述機器人100是受控於前述手持裝置600。前述手持裝置600會根據使用者的使用狀況決定是否需要觸發前述機器人100。當前述手持裝置600決定需要觸發前述機器人100時，前述手持裝置600會將前述機器人100需要執行的動作的詳細指令與內容傳送給前述機器人100。接著，前述機器人100會執行指令進行對應的動作。此一方式之優點在於前述機器人100不需要安裝額外的應用程式，完全受控於前述手持裝置600。舉例來說，當應用程式660剛被執行時，前述手持裝置600會發出語音指令跟文字內容，讓前述機器人100可以語音播放文字內容以達到引導使用者操作應用程式660的目的。在另一個情況下，為了讓前述機器人100可以正確地執行動作以及避免資料傳輸過程中有遺漏，造成前述機器人100無法正確地反應，因此前述手持裝置600可以將指令與內容包裹成一個可執行檔案。當前述機器人100接收到完整的檔案時，前述機器人100就會執行該可執行檔案。在一 具體實施例中，該可執行檔案相容於機器人的作業系統。
在第一種情況下，前述機器人100可不需要安裝對應或相同的應用程式，完全由前述手持裝置600所控制。但是在第二種情況下，前述機器人100會下載並安裝相同的應用程式660或是對應該應用程式的另一輔助應用程式輔助應用程式與前述手持裝置600安裝的應用程式660不同，並無法單獨被使用在另一具體實施例中，輔助應用程式是無法在公開的應用程式商店中被取得，如蘋果的App store。
在一具體實施例中，輔助應用程式安裝前會先確認是否是可相容的機器人，如果不是的話就無法下載與安裝。在另一具體實施例中，輔助應用程式是要透過前述手持裝置600上的應用程式才能安裝在前述機器人100上。此時，由前述手持裝置600先與前述機器人100連線後，前述手持裝置600上的應用程式判斷連線的機器人是有被應用程式所支援時，由前述手持裝置600將輔助應用程式傳送給前述機器人100。或者，由前述手持裝置600將輔助應用程式的下載連結傳送給前述機器人100，再由使用者操作前述機器人100之作業介面進行下載。
在另一具體實施例中，輔助應用程式包含了對應不同類型機器人的控制指令，因此單一一個輔助應用程式可以讓前述手持裝置600控制不同的機器人。並且，當前述手持裝置600與前述機器人100進行連線時，前述手持裝置600即可辨識連線的機器人類型。
在另一具體實施例中，輔助應用程式的其中一個功能為指令的轉譯。舉例來說，前述手持裝置600上的應用程式660發出的指令為mov fwd 10，其意思為控制前述機器人100往前移動10步的距離；而輔助應用程式會根據前述機器人100的類型，將其轉換為機器人可讀取的指令(例如0xf1h 10)，並將轉換後的指令碼傳給前述機器人100的處理器執行。
前述之不同實施例的技術內容皆可直接或稍微修改後應用在其他實施例中，並非將實施例揭露之技術僅限於該實施例中使用。
以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

Claims (15)

  1. 一種機器人輔助互動系統，包含一機器人、一移動裝置、一後端伺服器以及一穿戴裝置；其中，前述移動裝置包含：一顯示單元，用於顯示一圖像內容；一觸控單元，用於接收一使用者輸入訊號；一攝像單元，用於取得一使用者反應資訊；一通訊單元，用於連接於前述機器人以及前述後端伺服器並傳送前述使用者反應資訊；以及一處理單元，連接並控制前述顯示單元、前述觸控單元、前述攝像單元以及前述通訊單元；前述機器人包含：一動作模組，用於依據前述圖像內容產生一動作輸出；一語音模組，用於依據前述圖像內容產生一語音輸出；一通訊模組，用於連接於前述移動裝置以及前述後端伺服器；以及一控制模組，連接並控制前述動作模組、前述語音模組以及前述通訊模組；前述穿戴裝置包含：一感測器，用於感測一使用者生理資訊；前述後端伺服器利用前述使用者反應資訊及前述使用者生理資訊產生一回饋訊號；前述後端伺服器將前述回饋訊號傳送至前述移動裝置；前述移動裝置依據前述回饋訊號更新前述圖像內容；前述機器人依據前述更新之圖像內容產生更新之動作輸出與語音輸出。
  2. 如申請專利範圍第1項所述的機器人輔助互動系統，前述穿戴裝置還包含：一通訊器，用於連接於前述移動裝置並傳送前述使用者生理資訊；以及一處理器，連接並控制前述感測器與前述通訊器。
  3. 如申請專利範圍第1項所述的機器人輔助互動系統，前述穿戴裝置為一腦波偵測分析裝置；前述感測器為一腦波偵測電極模組。
  4. 如申請專利範圍第1項所述的機器人輔助互動系統，前述機器人進一步具有一攝像模組，用於取得前述使用者反應資訊。
  5. 一種機器人輔助互動方法，適用於一機器人輔助互動系統；前述機器人輔助互動系統包含一機器人、一移動裝置以及一後端伺服器；前述機器人輔助互動方法包含以下步驟：連接前述移動裝置至前述機器人；前述移動裝置顯示一第一圖像內容；前述機器人依據前述第一圖像內容提供一第一語音輸出與一第一動作輸出；前述移動裝置判斷是否接收到一使用者輸入訊號；當前述移動裝置接收到一使用者輸入訊號時，前述移動裝置依據前述使用者輸入訊號顯示一第二圖像內容；前述機器人依據前述第二圖像內容提供一第二語音輸出與一第二動作輸出；取得一使用者反應資訊；將前述使用者反應資訊傳送至前述後端伺服器；前述後端伺服器依據前述使用者反應資訊產生依回饋訊號，並將前述回饋訊號傳送至前述移動裝置；以及前述移動裝置依據前述回饋訊號顯示一第三圖像內容；前述機器人依據前述第三圖像內容提供一第三語音輸出與一第三動作輸出。
  6. 如申請專利範圍第5項所述的機器人輔助互動方法，前述機器人輔助互動系統進一步包含一穿戴裝置；前述機器人輔助互動方法進一步包含：前述穿戴裝置取得一使用者生理資訊；將前述使用者生理資訊傳送至前述後端伺服器；以及前述後端伺服器依據前述使用者生理資訊產生前述回饋訊號。
  7. 如申請專利範圍第5項所述的機器人輔助互動方法，前述使用者反應資訊包含一使用者影像資訊以及一使用者聲音資訊。
  8. 如申請專利範圍第5項所述的機器人輔助互動方法，前述連接前述移動裝置至前述機器人之步驟進一步包含以下步驟：前述移動裝置自前述後端伺服器接收一使用者資訊。
  9. 一種機器人互動系統，包括：一穿戴裝置，配帶於一使用者，用以感測該使用者的一生理資訊；一移動裝置，用以執行一應用程式並接收使用者的一互動行為；一後端伺服器，根據該互動行為與該生理資訊產生一回饋訊號；以及一機器人，耦接該移動裝置；其中，當該移動裝置接收該回饋訊號時，該應用程式根據該回饋訊號改變該移動裝置的畫面或語音，且該機器人依據該回饋訊號進行對應的動作輸出。
  10. 如申請專利範圍第9項所述之機器人互動系統，其中該移動裝置更包括一攝像單元，用以取得一使用者反應資訊，且該互動行為係根據該使用者反應資訊所產生。
  11. 如申請專利範圍第9項所述之機器人互動系統，其中該應用程式於該移動裝置上顯示一圖像內容，且該機器人根據該圖像內容產生一動作與一語音輸出。
  12. 如申請專利範圍第9項所述之機器人互動系統，其中該機器人更包括一攝像單元，用以取得一使用者反應資訊，並將該使用者反應資訊傳送給該移動裝置，且該互動行為係根據該使用者反應資訊所產生。
  13. 如申請專利範圍第9項所述之機器人互動系統，前述穿戴裝置為一腦波偵測分析裝置。
  14. 如申請專利範圍第9項所述之機器人互動系統，前述機器人進一步具有一投影模組，用於投射影像。
  15. 如申請專利範圍第9項所述之機器人互動系統，其中該互動行為由一影像資訊或一聲音資訊所產生。
TW107104579A 2018-02-08 2018-02-08 機器人輔助互動系統及其方法 TWI658377B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107104579A TWI658377B (zh) 2018-02-08 2018-02-08 機器人輔助互動系統及其方法
CN201810172147.7A CN110136499A (zh) 2018-02-08 2018-03-01 机器人辅助互动系统及其方法
US16/261,574 US20190240842A1 (en) 2018-02-08 2019-01-30 Robot assisted interaction system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107104579A TWI658377B (zh) 2018-02-08 2018-02-08 機器人輔助互動系統及其方法

Publications (2)

Publication Number Publication Date
TWI658377B true TWI658377B (zh) 2019-05-01
TW201935186A TW201935186A (zh) 2019-09-01

Family

ID=67348080

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107104579A TWI658377B (zh) 2018-02-08 2018-02-08 機器人輔助互動系統及其方法

Country Status (3)

Country Link
US (1) US20190240842A1 (zh)
CN (1) CN110136499A (zh)
TW (1) TWI658377B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI699186B (zh) * 2019-08-02 2020-07-21 國立臺南大學 情緒評估方法
TWI709948B (zh) * 2019-11-08 2020-11-11 李少鋒 用於呈現機器設備工作原理之教學系統
TWI731496B (zh) * 2019-12-04 2021-06-21 香港商女媧創造股份有限公司 包含機器人之互動平台
TWI759039B (zh) * 2020-03-31 2022-03-21 大陸商北京市商湯科技開發有限公司 互動物件的驅動方法、裝置、設備以及儲存媒體

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107111314B (zh) * 2014-11-07 2021-10-08 索尼公司 控制系统、控制方法以及存储介质
US11279041B2 (en) * 2018-10-12 2022-03-22 Dream Face Technologies, Inc. Socially assistive robot
US11057236B2 (en) * 2019-01-09 2021-07-06 Disney Enterprises, Inc. Systems and methods for interactive responses by toys and other connected devices
US11720081B2 (en) * 2019-03-18 2023-08-08 Duke University Mobile brain computer interface
US11432776B2 (en) * 2019-06-13 2022-09-06 International Business Machines Corporation Medical device administration and interaction
KR20190100090A (ko) * 2019-08-08 2019-08-28 엘지전자 주식회사 로봇 및 그를 이용한 무드 인식 방법
TWI739339B (zh) * 2020-03-11 2021-09-11 國立陽明交通大學 人員室內定位與移動機器人對特定人員追蹤互動之系統及其方法
CN111603160A (zh) * 2020-05-21 2020-09-01 江苏学典教育科技有限公司 一种基于儿童脑电生理参数采集与情绪检测的专注力训练方法
TWI745995B (zh) * 2020-06-08 2021-11-11 國立虎尾科技大學 教學輔助系統
CN111935257B (zh) * 2020-07-30 2023-05-23 深圳市普渡科技有限公司 移动机器人身份识别方法
CN112379821A (zh) * 2020-11-24 2021-02-19 浙江同善人工智能技术有限公司 一种服务型机器人的交互系统
US20220206369A1 (en) * 2020-12-31 2022-06-30 Iview Displays (Shenzhen) Company Ltd. Movable projection system and projection device
CN113319869B (zh) * 2021-06-25 2023-04-07 重庆理工大学 具有情感交互功能的迎宾机器人系统
CN114800432B (zh) * 2022-03-08 2024-02-06 广州美术学院 一种办公室交互系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4937759A (en) * 1986-02-18 1990-06-26 Robotics Research Corporation Industrial robot with controller
TW201006635A (en) * 2008-08-07 2010-02-16 Univ Yuan Ze In situ robot which can be controlled remotely
TWM508300U (zh) * 2015-04-01 2015-09-11 Shii Fwu Huey Corp 一種應用於智慧裝置之生理監測系統
TW201622916A (zh) * 2014-12-26 2016-07-01 國立交通大學 機器人及其控制方法
CN107229243A (zh) * 2017-06-20 2017-10-03 深圳市天益智网科技有限公司 一种机器人及其控制电路

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101053875B1 (ko) * 2008-07-14 2011-08-03 삼성전자주식회사 휴대 단말기와 동기화된 로봇의 이벤트 실행 방법 및 그시스템
CN103280126A (zh) * 2013-05-14 2013-09-04 郑州英博锐电子技术有限公司 一种智能互动早教系统
CN204322085U (zh) * 2014-12-15 2015-05-13 山东大学 一种面向幼儿的早教陪护机器人
CN204637246U (zh) * 2015-04-22 2015-09-16 中国科学院自动化研究所 自闭症儿童辅助机器人及系统
CN105126355A (zh) * 2015-08-06 2015-12-09 上海元趣信息技术有限公司 儿童陪伴机器人与儿童陪伴系统
CN204971278U (zh) * 2015-08-24 2016-01-20 华南理工大学 基于健康服务机器人的老年痴呆症监护系统
CN105171752A (zh) * 2015-09-10 2015-12-23 刘玉伟 机器人系统及其方法
CN107053191B (zh) * 2016-12-31 2020-05-08 华为技术有限公司 一种机器人，服务器及人机互动方法
CN107181818B (zh) * 2017-06-27 2021-11-05 华南师范大学 基于云平台的机器人远端控制和管理系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4937759A (en) * 1986-02-18 1990-06-26 Robotics Research Corporation Industrial robot with controller
TW201006635A (en) * 2008-08-07 2010-02-16 Univ Yuan Ze In situ robot which can be controlled remotely
TW201622916A (zh) * 2014-12-26 2016-07-01 國立交通大學 機器人及其控制方法
TWM508300U (zh) * 2015-04-01 2015-09-11 Shii Fwu Huey Corp 一種應用於智慧裝置之生理監測系統
CN107229243A (zh) * 2017-06-20 2017-10-03 深圳市天益智网科技有限公司 一种机器人及其控制电路

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI699186B (zh) * 2019-08-02 2020-07-21 國立臺南大學 情緒評估方法
TWI709948B (zh) * 2019-11-08 2020-11-11 李少鋒 用於呈現機器設備工作原理之教學系統
TWI731496B (zh) * 2019-12-04 2021-06-21 香港商女媧創造股份有限公司 包含機器人之互動平台
TWI759039B (zh) * 2020-03-31 2022-03-21 大陸商北京市商湯科技開發有限公司 互動物件的驅動方法、裝置、設備以及儲存媒體

Also Published As

Publication number Publication date
CN110136499A (zh) 2019-08-16
US20190240842A1 (en) 2019-08-08
TW201935186A (zh) 2019-09-01

Similar Documents

Publication Publication Date Title
TWI658377B (zh) 機器人輔助互動系統及其方法
US11815951B2 (en) System and method for enhanced training using a virtual reality environment and bio-signal data
US10524715B2 (en) Systems, environment and methods for emotional recognition and social interaction coaching
US20200337631A1 (en) Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10216474B2 (en) Variable computing engine for interactive media based upon user biometrics
EP3384437B1 (en) Systems, computer medium and methods for management training systems
Scassellati et al. Teaching language to deaf infants with a robot and a virtual human
US11439346B2 (en) Robotic device for assisting individuals with a mental illness
KR20200130231A (ko) 신경 상태의 검출을 위해 생체 센서 데이터를 사용하여 라이브 엔터테인먼트를 디렉팅
US20220028296A1 (en) Information processing apparatus, information processing method, and computer program
WO2015127441A1 (en) Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device
Block et al. In the arms of a robot: Designing autonomous hugging robots with intra-hug gestures
JP7364099B2 (ja) 出力制御装置、出力制御方法およびプログラム
US20210106290A1 (en) Systems and methods for the determination of arousal states, calibrated communication signals and monitoring arousal states
JP7288064B2 (ja) 視覚型仮想エージェント
WO2019215983A1 (ja) 情報処理システム、情報処理方法、および記録媒体
US20230335139A1 (en) Systems and methods for voice control in virtual reality
TW201841595A (zh) 按摩機
US20210125702A1 (en) Stress management in clinical settings
JP2022051982A (ja) 情報処理装置および情報処理方法
Damen The power of play; Developing and evaluating a sensor enhanced plushie as an interaction tool to robot MiRo to improve and assess the wellbeing of post-operative children.
Benjamin Leonard Wearable device for interactive and collaborative sound making for autistic people
JP2022065576A (ja) プログラム、方法、情報処理装置、及びシステム
CA3059903A1 (en) Stress management in clinical settings

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees