TWI646444B - 一種喚醒智慧機器人的方法及智慧機器人 - Google Patents

一種喚醒智慧機器人的方法及智慧機器人 Download PDF

Info

Publication number
TWI646444B
TWI646444B TW106105868A TW106105868A TWI646444B TW I646444 B TWI646444 B TW I646444B TW 106105868 A TW106105868 A TW 106105868A TW 106105868 A TW106105868 A TW 106105868A TW I646444 B TWI646444 B TW I646444B
Authority
TW
Taiwan
Prior art keywords
information
face
face information
smart robot
threshold
Prior art date
Application number
TW106105868A
Other languages
English (en)
Other versions
TW201823927A (zh
Inventor
陳明修
Original Assignee
芋頭科技(杭州)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 芋頭科技(杭州)有限公司 filed Critical 芋頭科技(杭州)有限公司
Publication of TW201823927A publication Critical patent/TW201823927A/zh
Application granted granted Critical
Publication of TWI646444B publication Critical patent/TWI646444B/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本發明公開一種喚醒智慧機器人的方法及智慧機器人。方法包括：步驟S1，採用智慧機器人上的圖像採集裝置獲取圖像資訊；步驟S2，判斷圖像資訊內是否存在人臉資訊：若不存在，則返回步驟S1；步驟S3，提取人臉資訊上的多個特徵點資訊，並根據特徵點資訊判斷人臉資訊是否表示正對圖像採集裝置的正面人臉，並在判斷人臉資訊表示正面人臉時轉向步驟S4；步驟S4，喚醒智慧機器人，隨後退出。上述技術方案能夠提供使用者一種不需要任何動作就能喚醒智慧機器人的操作方法，降低使用者喚醒智慧機器人的操作複雜度，提升使用者的使用體驗。

Description

一種喚醒智慧機器人的方法及智慧機器人
本發明涉及智慧設備技術領域，尤其涉及一種喚醒智慧機器人的方法及智慧機器人。
現有技術中，對於智慧機器人的操作通常包括以下幾種：1）對於存在輸入設備的智慧機器人，可以通過相應的輸入設備輸入指令，例如通過外接鍵盤，本身具備的觸摸屏或者其他遙控輸入設備等輸入控制指令，以控制智慧機器人執行相應操作；2）對於一些智慧機器人而言，可以通過語音輸入的方式進行控制，智慧機器人根據內置的語音識別模型識別輸入語音，並進而執行相應操作；3）同樣地，對於一些智慧機器人而言，可以通過做手勢的方式進行控制，智慧機器人根據內置的手勢識別模型識別該手勢，並進而執行相應操作。
基於上述設定，在一般的智慧機器人中，執行喚醒操作通常也通過上述幾種方式進行，較爲常見的爲通過輸入特定的語音語句（例如使用者對智慧機器人說「Hi，你好」等指定的語句）或者通過做特定的手勢（例如使用者對智慧機器人做揮手等指定的手勢）來喚醒智慧機器人。但是無論基於手勢的喚醒操作還是基於語音的喚醒操作，都需要使用者進行一定的行爲輸出，當使用者沒有任何肢體動作或者語音輸出時，均無法觸發智慧機器人的喚醒操作。因此導致喚醒智慧機器人的操作較爲複雜，降低使用者的使用體驗。
根據現有技術中存在的問題，現提供一種喚醒智慧機器人的方法及智慧機器人的技術方案，旨在提供使用者一種不需要任何動作就能喚醒智慧機器人的操作方法，降低使用者喚醒智慧機器人的操作複雜度，提升使用者的使用體驗。
上述技術方案具體包括：
一種喚醒智慧機器人的方法，其中，包括：
步驟S1，採用智慧機器人上的圖像採集裝置獲取圖像資訊；
步驟S2，判斷圖像資訊內是否存在人臉資訊：
若不存在，則返回步驟S1；
步驟S3，提取人臉資訊上的多個特徵點資訊，並根據特徵點資訊判斷人臉資訊是否表示正對圖像採集裝置的正面人臉，並在判斷人臉資訊表示正面人臉時轉向步驟S4；
步驟S4，喚醒智慧機器人，隨後退出。
優選的，該喚醒智慧機器人的方法，其中，步驟S2中，採用人臉檢測器判斷圖像資訊內是否存在人臉資訊。
優選的，該喚醒智慧機器人的方法，其中，步驟S2中，若判斷圖像資訊中存在人臉資訊，則獲取關聯於人臉資訊的位置資訊和大小資訊；
步驟S3具體包括：
步驟S31，利用預先訓練形成的特徵點預測模型，根據位置資訊和大小資訊提取人臉資訊中的多個特徵點；
步驟S32，根據多個特徵點資訊確定人臉資訊中各部位輪廓的資訊；
步驟S33，獲取人臉資訊中鼻子中心點到左眼中心點的第一距離，以及鼻子中心點到右眼中心點的第二距離；
步驟S34，判斷第一距離和第二距離之間的差值是否包括在一預設的差值範圍內：
若是，則判斷人臉資訊表示正面人臉，隨後轉向步驟S4；
若否，則判斷人臉資訊不表示正面人臉，隨後返回步驟S1。
優選的，該喚醒智慧機器人的方法，其中，執行步驟S3後，若判斷人臉資訊中包括正面人臉，則首先執行一停留時間判斷步驟，隨後再執行步驟S4；
停留時間判斷步驟具體包括：
步驟A1，持續跟蹤採集人臉資訊，並記錄正面人臉持續停留的時間；
步驟A2，判斷正面人臉持續停留的時間是否超過一預設的第一閾值：
若是，則轉向步驟S4；
若否，則返回步驟S1。
優選的，該喚醒智慧機器人的方法，其中，步驟S2中，若判斷圖像資訊中存在人臉資訊後，記錄下關聯於人臉資訊的位置資訊和大小資訊；
執行步驟A2後，若判斷正面人臉持續的時間超過第一閾值，則首先執行一距離判斷步驟，隨後再執行步驟S4；
距離判斷步驟具體包括：
步驟B1，判斷大小資訊是否不小於一預設的第二閾值：
若是，則轉向步驟S4；
若否，則返回步驟S1。
優選的，該喚醒智慧機器人的方法，其中，步驟S2中，若判斷圖像資訊中存在人臉資訊後，記錄下關聯於人臉資訊的位置資訊和大小資訊；
執行步驟S3後，若判斷人臉資訊中包括正面人臉，則首先執行一距離判斷步驟，隨後再執行步驟S4；
距離判斷步驟具體包括：
步驟B1，判斷大小資訊是否不小於一預設的第二閾值：
若是，則轉向步驟S4；
若否，則返回步驟S1。
優選的，該喚醒智慧機器人的方法，其中，執行步驟B1後，若判斷大小資訊不小於第二閾值，則首先執行一停留時間判斷步驟，隨後再執行步驟S4：
停留時間判斷步驟具體包括：
步驟A1，持續跟蹤採集人臉資訊，並記錄正面人臉持續停留的時間；
步驟A2，判斷正面人臉持續停留的時間是否超過一預設的第一閾值：
若是，則轉向步驟S4；
若否，則返回步驟S1。
優選的，該喚醒智慧機器人的方法，其中，第一閾值爲2秒。
優選的，該喚醒智慧機器人的方法，其中，第二閾值爲400圖元。
一種智慧機器人，其中，採用上述的喚醒智慧機器人的方法。
上述技術方案的有益效果是：提供一種喚醒智慧機器人的方法，能夠提供使用者一種不需要任何動作就能喚醒智慧機器人的操作方法，降低使用者喚醒智慧機器人的操作複雜度，提升使用者的使用體驗。
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
需要說明的是，在不衝突的情況下，本發明中的實施例及實施例中的特徵可以相互組合。
下面結合附圖和具體實施例對本發明作進一步說明，但不作爲本發明的限定。
本發明的較佳的實施例中，基於現有技術中存在的上述問題，現提供一種喚醒智慧機器人的方法，具體包括如圖1中的下述步驟：
步驟S1，採用智慧機器人上的圖像採集裝置獲取圖像資訊；
步驟S2，判斷圖像資訊內是否存在人臉資訊：
若不存在，則返回步驟S1；
步驟S3，提取人臉資訊上的多個特徵點資訊，並根據特徵點資訊判斷人臉資訊是否表示正對圖像採集裝置的正面人臉，並在判斷人臉資訊表示正面人臉時轉向步驟S4；
步驟S4，喚醒智慧機器人，隨後退出。
在一個具體實施例中，上述步驟S1中，所謂的圖像採集裝置可以爲智慧機器人上設置的攝像頭，即利用智慧機器人上設置的攝像頭嘗試採集位於其捕捉區域內的圖像資訊。
隨後，根據一定的判斷規則，判斷上述採集到的圖像資訊中是否存在人臉資訊。具體地，可以採用預先訓練形成的人臉檢測器在上述圖像資訊中判斷是否存在人臉資訊。所謂人臉檢測器，實際可以爲一個預先訓練形成的人臉檢測模型，通過預先輸入的多個人臉訓練樣本可以反覆學習並形成該檢測模型，並將該檢測模型運用於實際的圖像資訊檢測中，以檢測在圖像資訊中是否包括用於表示人臉的人臉資訊。在該步驟中，人臉資訊可以包括表示正面人臉的人臉資訊，也可以包括表示側面人臉或者部分人臉的人臉資訊，這些檢測標準可以通過上述預先輸入的訓練樣本控制人臉檢測器的生成內容來實現。通過訓練樣本反覆學習形成人臉檢測器的過程在現有技術中已經存在較多的實現方法，在此不再贅述。
在該實施例中，若判斷上述圖像資訊中不存在任何人臉資訊，則返回上述步驟S1，以繼續採用圖像採集裝置採集圖像資訊；若判斷上述圖像資訊中存在人臉資訊，則轉向步驟S3。在上述步驟S3中，通過提取人臉資訊中的多個特徵點資訊來判斷該人臉資訊是否表示一個正對圖像採集裝置的正面人臉：若是，則轉向步驟S4，以根據檢測到的正面人臉喚醒該智慧機器人（即判斷此時使用者有意對智慧機器人進行操作）；若否，則返回上述步驟S1，以繼續採用圖像採集裝置採集圖像資訊並繼續進行人臉資訊的判斷。
綜上，本發明技術方案中，提供使用者能夠通過正對智慧機器人的圖像採集裝置（例如攝像頭）的方式就能夠喚醒智慧機器人並進行操作，而避免傳統的必須採用語音或者手勢等輸入方式才能進行智慧機器人的喚醒操作的問題。
本發明的較佳的實施例中，上述步驟S2中，若判斷圖像資訊中存在人臉資訊，則獲取關聯於人臉資訊的位置資訊和大小資訊；
則上述步驟S3具體如圖2所示，包括：
步驟S31，利用預先訓練形成的特徵點預測模型，根據位置資訊和大小資訊提取人臉資訊中的多個特徵點；
步驟S32，根據多個特徵點資訊確定人臉資訊中各部位輪廓的資訊；
步驟S33，獲取人臉資訊中鼻子中心點到左眼中心點的第一距離，以及鼻子中心點到右眼中心點的第二距離；
步驟S34，判斷第一距離和第二距離之間的差值是否包括在一預設的差值範圍內：
若是，則判斷人臉資訊表示正面人臉，隨後轉向步驟S4；
若否，則判斷人臉資訊不表示正面人臉，隨後返回步驟S1。
具體地，本發明的較佳的實施例中，在上述步驟S2中，在判斷得到圖像資訊中存在人臉資訊，則在獲得該人臉資訊的同時獲得該人臉資訊的位置資訊和大小資訊。
所謂位置資訊，是指該人臉資訊表示的人臉在圖像資訊中所處的位置，例如位於圖像的正中央，或者位於圖像的左上方，或者位於圖像的右下方等。
所謂大小資訊，是指該人臉資訊表示的人臉的大小，通常以圖元表示。
則上述步驟S31〜S32中，首先利用預先訓練形成的特徵點預測模型，根據關聯於上述人臉資訊的位置資訊和大小資訊，提取人臉資訊中的多個特徵點，並進而根據提取到的特徵點確定人臉資訊中各部位輪廓的資訊。所謂特徵點預測模型，同樣可以爲預先經過多個訓練樣本輸入和學習形成的預測模型，通過對人臉上的68個特徵點進行提取和預測，從而得到包含人臉上眉毛、眼睛、鼻子、嘴巴以及臉整體的輪廓等資訊，以勾勒出人臉的大致輪廓。
隨後，本發明的較佳的實施例中，上述步驟S33中，根據上述輪廓資訊，分別獲得鼻子中心點的位置、左眼中心點的位置以及右眼中心點的位置，進而計算得到鼻子中心點的位置到左眼中心點的位置之間的距離，計爲第一距離，以及計算得到鼻子中心點的位置到右眼中心點的位置之間的距離，計爲第二距離。隨後計算上述第一距離與第二距離之間的差值，並判斷該差值是否在一預設的差值範圍內：若是，則表示此時該人臉資訊表示的是正對智慧機器人的圖像捕捉裝置的正面人臉；若否，則表示該人臉資訊表示的並不是正面人臉。
具體地，本發明的較佳的實施例中，對於正面人臉而言，由於人臉的對稱性，其鼻子中心點到左右眼睛的中心點之間的距離應該相等或者接近。而若人臉稍微有點側轉，則上述兩個距離之間必然會發生變化，例如人臉向左轉，則鼻子中心點到右眼中心點的距離必然會縮小，因此上述兩個距離之間的差值會增大。同理，若人臉向右轉，則鼻子中心點到左眼中心點的距離必然會縮小，上述兩個距離之間的差值同樣會增大。
因此如上文中，在最理想的情況下，若人臉資訊表示的爲正面人臉，則上述兩個距離應該相等，即上述兩個距離之間的差值應該爲0。但是在實際情況下，人臉不可能爲絕對對稱，因此在人臉資訊表示正面人臉的情況下，上述兩個距離之間仍然會有一定的差值，但是這個差值應當較小。因此在本發明的較佳的實施例中，上述差值範圍應當被設定爲一個適宜的較小的取值範圍，以保證能夠通過該差值範圍判斷出當前的人臉資訊是否表示正面人臉。
本發明的較佳的實施例中，執行上述步驟S3後，若判斷人臉資訊中包括正面人臉，則首先執行一停留時間判斷步驟，隨後再執行步驟S4；
該停留時間判斷步驟具體包括：
步驟A1，持續跟蹤採集人臉資訊，並記錄正面人臉持續停留的時間；
步驟A2，判斷正面人臉持續停留的時間是否超過一預設的第一閾值：
若是，則轉向步驟S4；
若否，則返回步驟S1。
則在本發明的一個較佳的實施例中，包括上述停留時間判斷步驟的整個喚醒方法的過程如圖3所示，包括：
步驟S1，採用智慧機器人上的圖像採集裝置獲取圖像資訊；
步驟S2，判斷圖像資訊內是否存在人臉資訊：
若不存在，則返回步驟S1；
步驟S3，提取人臉資訊上的多個特徵點資訊，並根據特徵點資訊判斷人臉資訊是否表示正對圖像採集裝置的正面人臉：
若否，則返回步驟S1；
步驟A1，持續跟蹤採集人臉資訊，並記錄正面人臉持續停留的時間；
步驟A2，判斷正面人臉持續停留的時間是否超過一預設的第一閾值：
若是，則轉向步驟S4；
若否，則返回步驟S1。
步驟S4，喚醒智慧機器人，隨後退出。
具體地，該實施例中，上述過程中，首先執行如上文中的對正面人臉做判斷的步驟。在判斷得到當前識別的人臉資訊表示正面人臉時，再執行上述停留時間判斷步驟，即持續跟蹤採集該人臉資訊，並持續將當前的人臉資訊資訊與前一刻的人臉資訊進行對比，判斷該表示正面人臉的人臉資訊是否發生變化，最終記錄該人臉訊息資訊沒有改變的持續時間，即該人臉資訊持續停留的時間。
該實施例中，對於上述人臉資訊的對比，可以設置一個對比差值範圍，以允許人臉資訊出現微小範圍內的變化。
則該實施例中，將該停留時間判斷步驟應用到整個喚醒方法中，就稱爲如上文中的步驟（如圖3所示）：首先執行正面人臉的判斷步驟，在判斷出當前的人臉資訊表示正面人臉時，再執行停留時間判斷步驟。只有在同時符合正面人臉判斷標準和停留時間判斷標準，才能被認爲可以喚醒智慧機器人。
本發明的較佳的實施例中，上文中的預設的第一閾值，可以設置爲類似一個人被盯著時的正常反應時間，例如可以被設置爲1秒，或者2秒。
本發明的較佳的實施例中，如上文中，上述步驟S2中，若判斷圖像資訊中存在人臉資訊後，則記錄下關聯於人臉資訊的位置資訊和大小資訊。
則在上述喚醒方法中還包括一個距離判斷步驟。該步驟依賴於上述被記錄的位置資訊和大小資訊。具體可以爲：
步驟B1，判斷大小資訊是否不小於一預設的第二閾值：
若是，則轉向步驟S4；
若否，則返回步驟S1。
具體地，本發明的較佳的實施例中，上述距離判斷步驟的作用在於判斷人臉是否距離圖像採集裝置（攝像頭）夠近：若是，則判斷使用者有意識喚醒智慧機器人；若否，則判斷使用者並不想喚醒智慧機器人。
本發明的較佳的實施例中，上述第二閾值可以爲適合於圖像採集裝置的取景框大小的一個數值。例如，取景框大小通常爲640個圖元，而上述第二閾值可以被設置爲400個圖元，因此，若關聯於人臉資訊的大小資訊不小於上述第二閾值（即人臉大小不小於400圖元），則認爲此時使用者距離圖像採集裝置較近，反之，認爲使用者距離圖像採集裝置較遠。
本發明的一個較佳的實施例中，在上述喚醒方法中同時應用上述停留時間判斷步驟以及距離判斷步驟，最終形成的過程如圖4所示，包括：
步驟S1，採用智慧機器人上的圖像採集裝置獲取圖像資訊；
步驟S2，判斷圖像資訊內是否存在人臉資訊：
若不存在，則返回步驟S1；
步驟S3，提取人臉資訊上的多個特徵點資訊，並根據特徵點資訊判斷人臉資訊是否表示正對圖像採集裝置的正面人臉：
若否，則返回步驟S1；
步驟A1，持續跟蹤採集人臉資訊，並記錄正面人臉持續停留的時間；
步驟A2，判斷正面人臉持續停留的時間是否超過一預設的第一閾值：
若否，則返回步驟S1；
步驟B1，判斷大小資訊是否不小於一預設的第二閾值：
若是，則轉向步驟S4；
若否，則返回步驟S1。
步驟S4，喚醒智慧機器人，隨後退出。
在該實施例中，判斷順序依次爲：判斷圖像中是否存在人臉資訊→判斷人臉資訊是否表示正面人臉→判斷該人臉資訊的停留時間是否符合標準→判斷關聯於該人臉資訊的大小資訊是否符合標準。
因此，該實施例中，只有同時符合下述三個條件，才認爲此時使用者希望喚醒智慧機器人，並根據判斷結果實際執行喚醒智慧機器人的操作：
（1）人臉資訊表示正面人臉；
（2）該人臉的持續停留時間超過第一閾值；
（3）該人臉在取景框中的大小不小於第二閾值。
本發明的另一個較佳的實施例中，同樣地，同時應用停留時間判斷步驟和距離判斷步驟形成的完整的喚醒方法的過程如圖5所示，包括：
步驟S1，採用智慧機器人上的圖像採集裝置獲取圖像資訊；
步驟S2，判斷圖像資訊內是否存在人臉資訊：
若不存在，則返回步驟S1；
步驟S3，提取人臉資訊上的多個特徵點資訊，並根據特徵點資訊判斷人臉資訊是否表示正對圖像採集裝置的正面人臉：
若否，則返回步驟S1；
步驟B1，判斷大小資訊是否不小於一預設的第二閾值：
若否，則返回步驟S1；
步驟A1，持續跟蹤採集人臉資訊，並記錄正面人臉持續停留的時間；
步驟A2，判斷正面人臉持續停留的時間是否超過一預設的第一閾值：
若是，轉向步驟S4；
若否，則返回步驟S1；
步驟S4，喚醒智慧機器人，隨後退出。
該實施例中，具體的判斷過程爲：判斷圖像中是否存在人臉資訊→判斷人臉資訊是否表示正面人臉→判斷關聯於該人臉資訊的大小資訊是否符合標準→判斷該人臉資訊的停留時間是否符合標準。同樣地，該實施例中，需要同時符合三個條件才能被認爲可以進行智慧機器人喚醒操作。
本發明的另一個較佳的實施例中，可以在上述喚醒方法中僅加入距離判斷步驟，具體如圖6所示，包括：
步驟S1，採用智慧機器人上的圖像採集裝置獲取圖像資訊；
步驟S2，判斷圖像資訊內是否存在人臉資訊：
若不存在，則返回步驟S1；
步驟S3，提取人臉資訊上的多個特徵點資訊，並根據特徵點資訊判斷人臉資訊是否表示正對圖像採集裝置的正面人臉：
若否，則返回步驟S1；
步驟B1，判斷大小資訊是否不小於一預設的第二閾值：
若是，則轉向步驟S4；
若否，則返回步驟S1；
步驟S4，喚醒智慧機器人，隨後退出。
該實施例中，只需要同時滿足兩個條件，即（1）人臉資訊表示正面人臉；（3）該人臉在取景框中的大小不小於第二閾值；就可以認爲此時使用者有意識喚醒智慧機器人，並根據判斷結果對智慧機器人執行喚醒操作。
綜上，本發明技術方案中，提供了三個對於是否執行智慧機器人的喚醒操作的判斷條件：（1）人臉資訊表示正面人臉；（2）該人臉的持續停留時間超過第一閾值；（3）該人臉在取景框中的大小不小於第二閾值。每個判斷條件均具有其對應的判斷過程。其中，第（1）個判斷條件對於本發明喚醒方法來說是必須的，而後面第（2）個和第（3）個判斷條件對於本發明喚醒方法來說僅爲可選的判斷條件，因此可以衍生出多種不同的喚醒方法。這些衍生的喚醒方法及根據這些喚醒方法做出的修改和更新都應被納入本發明的保護範圍。
本發明的較佳的實施例中，還提供一種智慧機器人，其中採用上文中的喚醒智慧機器人的方法。
以上僅爲本發明較佳的實施例，並非因此限制本發明的實施方式及保護範圍，對於本領域技術人員而言，應當能夠意識到凡運用本發明說明書及圖式內容所作出的等同替換和顯而易見的變化所得到的方案，均應當包含在本發明的保護範圍內。
S1〜S4‧‧‧步驟
S31〜S34‧‧‧步驟
A1〜A2‧‧‧步驟
B1‧‧‧步驟
圖1是本發明的較佳的實施例中，一種喚醒智慧機器人的方法的總體流程示意圖； 圖2是本發明的較佳的實施例中，判斷人臉資訊是否表示正面人臉的步驟示意圖； 圖3是本發明的較佳的實施例中，包括停留時間判斷步驟的喚醒智慧機器人的方法的流程示意圖； 圖4〜5是本發明的較佳的實施例中，包括停留時間判斷步驟和距離判斷步驟的喚醒智慧機器人的方法的流程示意圖； 圖6是本發明的較佳的實施例中，包括距離判斷步驟的喚醒智慧機器人的方法的流程示意圖。

Claims (7)

  1. 一種喚醒智慧機器人的方法，包括：步驟S1，採用該智慧機器人上的圖像採集裝置獲取圖像資訊；步驟S2，判斷該圖像資訊內是否存在人臉資訊：若不存在，則返回該步驟S1；步驟S3，提取該人臉資訊上的多個特徵點資訊，並根據該特徵點資訊判斷該人臉資訊是否表示正對該圖像採集裝置的正面人臉，並在判斷該人臉資訊表示該正面人臉時轉向步驟S4；步驟S4，喚醒該智慧機器人，隨後退出；該步驟S2中，若判斷該圖像資訊中存在該人臉資訊，則獲取關聯於該人臉資訊的位置資訊和大小資訊；該步驟S3具體包括：步驟S31，利用預先訓練形成的特徵點預測模型，根據該位置資訊和該大小資訊提取該人臉資訊中的多個特徵點；步驟S32，根據多個該特徵點資訊確定該人臉資訊中各部位輪廓的資訊；步驟S33，獲取該人臉資訊中鼻子中心點到左眼中心點的第一距離，以及鼻子中心點到右眼中心點的第二距離；步驟S34，判斷該第一距離和該第二距離之間的差值是否包括在一預設的差值範圍內：若是，則判斷該人臉資訊表示該正面人臉，隨後轉向該步驟S4；若否，則判斷該人臉資訊不表示該正面人臉，隨後返回該步驟S1；執行該步驟S3後，若判斷該人臉資訊中包括該正面人臉，則首先執行一停留時間判斷步驟，隨後再執行該步驟S4；該停留時間判斷步驟具體包括：步驟A1，持續跟蹤採集該人臉資訊，並記錄該正面人臉持續停留的時間；步驟A2，判斷該正面人臉持續停留的時間是否超過一預設的第一閾值：若是，則轉向該步驟S4；若否，則返回該步驟S1；或執行該步驟S3後，若判斷該人臉資訊中包括該正面人臉，則首先執行一距離判斷步驟，隨後再執行該步驟S4；該距離判斷步驟具體包括：步驟B1，判斷該大小資訊是否不小於一預設的第二閾值：若是，則轉向該步驟S4；若否，則返回該步驟S1。
  2. 如請求項第1項所述之喚醒智慧機器人的方法，其中，該步驟S2中，採用人臉檢測器判斷該圖像資訊內是否存在該人臉資訊。
  3. 如請求項第1項所述之喚醒智慧機器人的方法，其中，該步驟S2中，若判斷該圖像資訊中存在該人臉資訊後，記錄下關聯於該人臉資訊的位置資訊和大小資訊；執行該步驟A2後，若判斷該正面人臉持續的時間超過該第一閾值，則首先執行一距離判斷步驟，隨後再執行該步驟S4；該距離判斷步驟具體包括：步驟B1，判斷該大小資訊是否不小於一預設的第二閾值：若是，則轉向該步驟S4；若否，則返回該步驟S1。
  4. 如請求項第1項所述之喚醒智慧機器人的方法，其中，執行該步驟B1後，若判斷該大小資訊不小於該第二閾值，則首先執行一停留時間判斷步驟，隨後再執行該步驟S4；該停留時間判斷步驟具體包括：步驟A1，持續跟蹤採集該人臉資訊，並記錄該正面人臉持續停留的時間；步驟A2，判斷該正面人臉持續停留的時間是否超過一預設的第一閾值：若是，則轉向該步驟S4；若否，則返回該步驟S1。
  5. 如請求項第1項或第4項所述之喚醒智慧機器人的方法，其中，該第一閾值為2秒。
  6. 如請求項第1項或第3項所述之喚醒智慧機器人的方法，其中，該第二閾值為400像素。
  7. 一種智慧機器人，採用如請求項第1~6項中任一所述之喚醒智慧機器人的方法。
TW106105868A 2016-02-23 2017-02-22 一種喚醒智慧機器人的方法及智慧機器人 TWI646444B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201610098983.6 2016-02-23
CN201610098983.6A CN107102540A (zh) 2016-02-23 2016-02-23 一种唤醒智能机器人的方法及智能机器人

Publications (2)

Publication Number Publication Date
TW201823927A TW201823927A (zh) 2018-07-01
TWI646444B true TWI646444B (zh) 2019-01-01

Family

ID=59658477

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106105868A TWI646444B (zh) 2016-02-23 2017-02-22 一種喚醒智慧機器人的方法及智慧機器人

Country Status (7)

Country Link
US (1) US20190057247A1 (zh)
EP (1) EP3422246A4 (zh)
JP (1) JP2019512826A (zh)
KR (1) KR20180111859A (zh)
CN (1) CN107102540A (zh)
TW (1) TWI646444B (zh)
WO (1) WO2017143948A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908289B (zh) * 2017-12-01 2021-06-11 宁波高新区锦众信息科技有限公司 一种基于头部的机器人的人脸识别交互系统
CN107886087B (zh) * 2017-12-01 2021-06-11 宁波高新区锦众信息科技有限公司 一种基于人眼的机器人的人脸识别交互系统
CN108009501A (zh) * 2017-12-01 2018-05-08 宁波高新区锦众信息科技有限公司 一种机器人的人脸识别系统
CN108733417A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的工作模式选择方法和装置
CN108733420B (zh) * 2018-03-21 2022-04-29 北京猎户星空科技有限公司 智能设备的唤醒方法、装置、智能设备和存储介质
CN108733208A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 智能设备的交互目标确定方法和装置
CN108888204B (zh) * 2018-06-29 2022-02-22 炬大科技有限公司 一种扫地机器人呼唤装置及呼唤方法
CN108985225B (zh) * 2018-07-13 2021-12-14 北京猎户星空科技有限公司 焦点跟随方法、装置、电子设备及存储介质
CN109190478A (zh) * 2018-08-03 2019-01-11 北京猎户星空科技有限公司 焦点跟随过程中目标对象的切换方法、装置及电子设备
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109093631A (zh) * 2018-09-10 2018-12-28 中国科学技术大学 一种服务机器人唤醒方法及装置
CN111230891B (zh) * 2018-11-29 2021-07-27 深圳市优必选科技有限公司 一种机器人及其语音交互系统
CN109725946A (zh) * 2019-01-03 2019-05-07 阿里巴巴集团控股有限公司 一种基于人脸检测唤醒智能设备的方法、装置及设备
CN110134233B (zh) * 2019-04-24 2022-07-12 福建联迪商用设备有限公司 一种基于人脸识别的智能音箱唤醒方法及终端
CN110211251A (zh) * 2019-04-26 2019-09-06 珠海格力电器股份有限公司 一种人脸识别方法、装置、存储介质及人脸识别终端
US20210323581A1 (en) * 2019-06-17 2021-10-21 Lg Electronics Inc. Mobile artificial intelligence robot and method of controlling the same
CN110370287B (zh) * 2019-08-16 2022-09-06 中铁第一勘察设计院集团有限公司 基于视觉引导的地铁列检机器人路径规划系统及方法
CN113359538A (zh) * 2020-03-05 2021-09-07 东元电机股份有限公司 语音控制机器人
CN113542878B (zh) * 2020-04-13 2023-05-09 海信视像科技股份有限公司 一种基于人脸识别与手势检测的唤醒方法及显示设备
CN111883130A (zh) * 2020-08-03 2020-11-03 上海茂声智能科技有限公司 一种融合式语音识别方法、装置、系统、设备和存储介质
CN112171652A (zh) * 2020-08-10 2021-01-05 江苏悦达投资股份有限公司 一种可旋转夹取助力机械手
CN114237379A (zh) * 2020-09-09 2022-03-25 比亚迪股份有限公司 电子设备的控制方法、装置、设备及存储介质
CN112565863A (zh) * 2020-11-26 2021-03-26 深圳Tcl新技术有限公司 视频播放方法、装置、终端设备及计算机可读存储介质
CN113221630A (zh) * 2021-03-22 2021-08-06 刘鸿 一种人眼注视镜头的估算方法及其在智能唤醒中的应用
CN113838465A (zh) * 2021-09-30 2021-12-24 广东美的厨房电器制造有限公司 智能设备的控制方法及其装置、智能设备和可读存储介质
KR102456438B1 (ko) 2022-07-13 2022-10-19 (주)인티그리트 인공지능을 활용한 비주얼 웨이크 업 시스템
CN115781661A (zh) * 2022-09-21 2023-03-14 展视网（北京）科技有限公司 一种智能交互机器人系统及使用方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1423228A (zh) * 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
CN201163417Y (zh) * 2007-12-27 2008-12-10 上海银晨智能识别科技有限公司 具有人脸识别的智能机器人
TW201112045A (en) * 2009-09-28 2011-04-01 Wistron Corp Viewing direction determination method, viewing direction determination apparatus, image processing method, image processing apparatus and display device
TW201224955A (en) * 2010-12-15 2012-06-16 Ind Tech Res Inst System and method for face detection using face region location and size predictions and computer program product thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326133B (zh) * 2009-02-20 2015-08-26 皇家飞利浦电子股份有限公司 用于使得设备进入活动模式的系统、方法和装置
CN102058983B (zh) * 2010-11-10 2012-08-29 无锡中星微电子有限公司 基于视频分析的智能玩具
CN202985566U (zh) * 2012-07-26 2013-06-12 王云 基于人脸识别的安保机器人
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1423228A (zh) * 2002-10-17 2003-06-11 南开大学 识别人眼注视方向的装置和方法及其应用
CN201163417Y (zh) * 2007-12-27 2008-12-10 上海银晨智能识别科技有限公司 具有人脸识别的智能机器人
TW201112045A (en) * 2009-09-28 2011-04-01 Wistron Corp Viewing direction determination method, viewing direction determination apparatus, image processing method, image processing apparatus and display device
TW201224955A (en) * 2010-12-15 2012-06-16 Ind Tech Res Inst System and method for face detection using face region location and size predictions and computer program product thereof

Also Published As

Publication number Publication date
JP2019512826A (ja) 2019-05-16
US20190057247A1 (en) 2019-02-21
TW201823927A (zh) 2018-07-01
EP3422246A4 (en) 2019-10-23
KR20180111859A (ko) 2018-10-11
WO2017143948A1 (zh) 2017-08-31
EP3422246A1 (en) 2019-01-02
CN107102540A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
TWI646444B (zh) 一種喚醒智慧機器人的方法及智慧機器人
US20200302180A1 (en) Image recognition method and apparatus, terminal, and storage medium
US11561621B2 (en) Multi media computing or entertainment system for responding to user presence and activity
CN105700363B (zh) 一种智能家居设备语音控制装置的唤醒方法及系统
TWI603213B (zh) 基於臉部辨識的音樂選取方法、音樂選取系統及電子裝置
CN111128157B (zh) 一种智能家电的免唤醒语音识别控制方法、计算机可读存储介质及空调
CN103220583A (zh) 基于智能电视的检测用户疲劳度的系统及方法
CN105469065A (zh) 一种基于递归神经网络的离散情感识别方法
TWI621999B (zh) 一種人臉檢測方法
JP2011510420A5 (zh)
CN111145739A (zh) 一种基于视觉的免唤醒语音识别方法、计算机可读存储介质及空调
US20220084529A1 (en) Method and apparatus for awakening wearable device
TWI617994B (zh) 使用於互動裝置並用於辨識使用者操作該互動裝置的行為的方法，以及相關互動裝置與電腦可讀媒體
Yargıç et al. A lip reading application on MS Kinect camera
US11699439B2 (en) Digital assistant and a corresponding method for voice-based interactive communication based on detected user gaze indicating attention
WO2018103416A1 (zh) 用于人脸图像的检测方法和装置
US20120264095A1 (en) Emotion abreaction device and using method of emotion abreaction device
JP6322927B2 (ja) インタラクション装置、インタラクションプログラムおよびインタラクション方法
WO2020244160A1 (zh) 终端设备控制方法、装置、计算机设备及可读存储介质
US11819996B2 (en) Expression feedback method and smart robot
CN112700568B (zh) 一种身份认证的方法、设备及计算机可读存储介质
CN109986553B (zh) 一种主动交互的机器人、系统、方法及存储装置
Amit et al. Recognition of real-time hand gestures using mediapipe holistic model and LSTM with MLP architecture
CN110491384B (zh) 一种语音数据处理方法及装置
WO2018023523A1 (zh) 一种运动及情感识别家居控制系统

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees