TWI760189B - 可移動式電子裝置及其控制方法 - Google Patents

可移動式電子裝置及其控制方法 Download PDF

Info

Publication number
TWI760189B
TWI760189B TW110113887A TW110113887A TWI760189B TW I760189 B TWI760189 B TW I760189B TW 110113887 A TW110113887 A TW 110113887A TW 110113887 A TW110113887 A TW 110113887A TW I760189 B TWI760189 B TW I760189B
Authority
TW
Taiwan
Prior art keywords
electronic device
user
portable electronic
information
image
Prior art date
Application number
TW110113887A
Other languages
English (en)
Other versions
TW202242718A (zh
Inventor
徐邦維
Original Assignee
微星科技股份有限公司
大陸商恩斯邁電子(深圳)有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微星科技股份有限公司, 大陸商恩斯邁電子(深圳)有限公司 filed Critical 微星科技股份有限公司
Priority to TW110113887A priority Critical patent/TWI760189B/zh
Priority to CN202110568688.3A priority patent/CN115221485A/zh
Application granted granted Critical
Publication of TWI760189B publication Critical patent/TWI760189B/zh
Publication of TW202242718A publication Critical patent/TW202242718A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Telephone Function (AREA)

Abstract

一種可移動式電子裝置的控制方法被提出。該方法包括:進入跟隨模式,並依據驗證命令以執行用戶的身分驗證動作;以及依據身分驗證動作以獲取用戶的第一影像,並依據第一影像以設定用戶為跟隨目標並執行跟隨動作。執行跟隨動作的細節包括:依時序連續取得包括用戶的多個第二影像,以依據多個第二影像的影像資訊以及深度學習模型,依時序地獲得與用戶的影像特徵相關多個特徵向量資訊;以及依據多個特徵向量資訊來判斷用戶的位置以進行跟隨。相應的可移動式電子裝置亦被提出。

Description

可移動式電子裝置及其控制方法
本發明是有關於一種可移動式電子裝置,且特別是有關於一種具有身分驗證功能的可移動式電子裝置。
具有自動跟隨功能的電子裝置已發展多年,例如Gita智慧行李機器人。這個機器人是靠著將它身上的攝像頭捕捉到的畫面,和佩帶在用戶身上的腰帶(設有攝像頭)捕捉到的畫面進行比較,以實現自動追蹤。行李機器人設有一按鍵以供用戶啟用或停用自動跟隨功能。然而,這看似方便的功能卻隱藏著危機。由於在使用上缺乏身份驗證流程,導致任何人都可以啟用跟隨裝置,以及在跟隨過程中隨時停用它。另外,用戶需要額外佩帶腰帶才能使用自動追蹤功能,因此在運用上不是那麼便利。
因此,需要提出一種解決方案,以使具有自動跟隨功能的電子裝置可提供身分驗證功能,並且兼顧使用上的便利性。
本發明提供一種可移動式電子裝置及其控制方法,可提供身分驗證功能且兼顧使用上的便利性。
本發明的可移動式電子裝置的控制方法包括:使可移動式電子裝置進入跟隨模式,並依據驗證命令以執行用戶的身分驗證動作;以及由可移動式電子裝置依據身分驗證動作以獲取用戶的第一影像,並依據第一影像以設定用戶為跟隨目標並執行跟隨動作。執行跟隨動作的細節包括:由可移動式電子裝置依時序連續取得包括用戶的多個第二影像,以依據多個第二影像的影像資訊以及深度學習模型,依時序地獲得與用戶的影像特徵相關多個特徵向量資訊;以及由可移動式電子裝置依據多個特徵向量資訊來判斷用戶的位置以進行跟隨。
本發明的可移動式電子裝置包括攝像頭、致動器、深度學習模型以及處理電路。攝像頭用以執行拍攝動作。致動器用以被驅動以帶動可移動式電子裝置移動。深度學習模型用以依據影像資訊以產生與影像中人物的影像特徵相關多個特徵向量資訊。處理電路,用以:於進入跟隨模式時,依據驗證命令以執行用戶的身分驗證動作;以及依據身分驗證動作以控制攝像頭執行拍攝動作,以獲取用戶的第一影像,並依據第一影像以設定用戶為跟隨目標並執行跟隨動作。處理電路還用以:控制攝像頭持續執行拍攝動作,以依時序連續取得包括用戶的多個第二影像,並依據多個第二影像的影像資訊以及深度學習模型,依時序獲得與用戶的影像特徵相關多個特徵向量資訊;以及依據多個特徵向量資訊 來判斷用戶的位置以進行跟隨。
透過本發明的可移動式電子裝置的身分驗證功能,可以避免未註冊用戶隨意啟用可移動式電子裝置的自動跟隨功能。並且,本發明的可移動式電子裝置僅需透過持續拍攝用戶影像來實現自動追蹤功能。因此,本發明的可移動式電子裝置在具有用戶身分驗證功能的同時,還兼顧了使用便利性。
100:可移動式電子裝置
110:處理電路
120:深度學習模型
130:攝像頭
140:手勢辨識模組
150:人臉辨識模組
160:聲紋辨識模組
170:揚聲器
180:致動器
190:人像辨識模型
S210~S240、S401~S421:步驟
圖1繪示為本發明第一實施例的可移動式電子裝置的方塊示意圖。
圖2繪示為本發明第一實施例的可移動式電子裝置的控制方法的步驟流程圖。
圖3繪示出本發明第二實施例的可移動式電子裝置的方塊示意圖。
圖4A繪示為本發明第二實施例的可移動式電子裝置的控制方法的步驟流程圖。
圖4B繪示為承接圖4A的可移動式電子裝置的控制方法的步驟流程圖。
本發明提出一種可移動式電子裝置,其具備自動跟隨功 能以及身分驗證功能。圖1繪示為本發明第一實施例的可移動式電子裝置的方塊示意圖。圖2繪示為本發明第一實施例的可移動式電子裝置的控制方法的步驟流程圖。請同時參見圖1與圖2,可移動式電子裝置100包括處理電路110、深度學習模型120、攝像頭130以及致動器180。攝像頭130用以執行拍攝動作。致動器180(例如馬達)用以被驅動以帶動可移動式電子裝置100移動。深度學習模型120預先被建立,用以依據一影像的影像資訊產生與前述影像中人物的影像特徵相關多個特徵向量資訊。
處理電路110耦接深度學習模型120、攝像頭130以及致動器180,以對前述多個元件進行控制。處理電路110被啟動以進入跟隨模式。在跟隨模式下,處理電路110依據驗證命令以執行用戶的身分驗證動作(步驟S210)。處理電路110並依據身分驗證動作以控制攝像頭130執行拍攝動作,以獲取用戶的第一影像。處理電路110依據第一影像以設定用戶為跟隨目標並執行跟隨動作(步驟S220)。在開始執行跟隨動作時,處理電路110控制攝像頭130持續執行拍攝動作,以依時序連續取得包括用戶在內的多個第二影像。處理電路110依據前述多個第二影像的影像資訊以及深度學習模型120,依時序獲得與用戶的影像特徵相關多個特徵向量資訊(步驟S230)。多個特徵向量資訊可包括256個或512個元素(element)。處理電路110並依據前述多個特徵向量資訊來判斷用戶所在位置以進行跟隨(步驟S240)。
圖3繪示出本發明第二實施例的可移動式電子裝置的方 塊示意圖。圖4A繪示為本發明第二實施例的可移動式電子裝置的控制方法的步驟流程圖。請見圖3,在第二實施例中,可移動式電子裝置100除了前述的處理電路110、深度學習模型120、攝像頭130以及致動器180外,更包括手勢辨識模組140、人臉辨識模組150、聲紋辨識模組160、揚聲器170以及人像辨識模型190。其中,手勢辨識模組140、人臉辨識模組150、聲紋辨識模組160以及人像辨識模型190皆可透過雲端伺服器來完成其特定的功能。然而在另一實施例中,手勢辨識模組140、人臉辨識模組150、聲紋辨識模組160以及人像辨識模型190也可以在本地端來完成其特定的功能。
請同時參見圖3與圖4A,可移動式電子裝置100的控制方法始於步驟S401。在步驟S402中,可移動式電子裝置100可依據第一手勢自睡眠狀態被喚醒,以進入跟隨模式(步驟S402與步驟S403)。具體來說,需預先於可移動式電子裝置100建立手勢模型。前述手勢模型可經由例如卷積神經網路(Convolutional Neural Network,CNN)依據多筆訓練資料進行訓練而被建立。處理電路110控制手勢辨識模組140以及攝像頭130,使手勢辨識模組140將攝像頭130所拍攝得到的影像資訊通過前述手勢模型以識別出第一手勢。在本實施例中,第一手勢例如為招手。若未偵測到特定手勢,則可移動式電子裝置100維持睡眠狀態(步驟S404)。
步驟S405~S408主要在進行臉部辨識(Facial recognition)。一般來說,臉部辨識可包括人臉圖像採集、人臉定位、人臉識別預處理以及身份確認等步驟。在身份確認的技術細節上,可透過輸入一張或者一系列含有未確定身份的人臉圖像,經比對人臉資料庫中的若干已知身份的人臉圖像影像或者相應的編碼,以輸出一系列相似度得分資訊。透過前述相似度得分資訊,可以得知影像中的人物是否為一已註冊用戶。
詳細來說,在辨識到第一手勢時,處理電路110發出控制信號以啟動攝像頭130並驅動致動器180,藉此帶動可移動式電子裝置100朝第一手勢方向移動。在可移動式電子裝置100進入一拍攝範圍時,處理電路110控制攝像頭130近距離地進行拍攝以取得包含用戶臉部的第一影像(步驟S405)。在一實施例中,處理電路110判斷是否已進入拍攝範圍可依據拍攝影像中人像的長寬比例以及最小高度資訊而定。處理電路110通過人臉辨識模組150以依據第一影像執行臉部辨識,以獲取第一影像中用戶臉部的影像特徵(步驟S406),並據此進行第一重身分驗證動作(步驟S407)。
在本實施例中,人臉辨識的演算法可包括利用神經網絡進行識別的算法(recognition algorithms using neural network)。然而本明不以此為限,在其他實施例中,還可以基於人臉特徵點的識別算法(feature-based recognition algorithms)、基於整幅人臉圖像的識別算法(appearance-based recognition algorithms)、基於模板的識別算法(template-based recognition algorithms)或利用支持 向量機進行識別的算法(recognition algorithms using SVM)來執行人臉辨識。
若辨識結果為非已註冊用戶,則結束跟隨模式(步驟S412)。在細節上,處理電路110可在步驟S408的執行結果為驗證失敗時,控制揚聲器170發出指示語音,以指示用戶驗證失敗。在一實施例中,若驗證失敗超過一時間長度時,結束跟隨模式(步驟S412),否則回到步驟S405。
若辨識結果為已註冊用戶(步驟S408),則處理電路110可依據用戶發出的第一語音命令(步驟S409),以執行第二重身分驗證(步驟S410)。在實施細節上,於執行步驟S409之前,處理電路110還可控制揚聲器170發出提示語音,以提示用戶發出第一語音命令(如「開始跟隨」)。處理電路110可透過聲紋辨識模組160依據第一語音命令進行聲紋辨識,以將辨識結果與預先建立的多個已註冊用戶的多個聲紋資訊進行比對。當確認前述第一語音命令的聲紋特徵與預先建立的多個聲紋資訊當中的一個吻合時,處理電路110判斷聲音來源確實是已註冊用戶(步驟S411),並進一步執行步驟S413。相反地,當前述第一語音命令的聲紋特徵與預先建立的多個聲紋資訊都不吻合時,處理電路110判斷聲音來源不是已註冊用戶,則結束跟隨模式(步驟S412)。在細節上,處理電路110可在步驟S411的執行結果為驗證失敗時,控制揚聲器170發出指示語音,以指示用戶驗證失敗。在一實施例中,若驗證失敗超過一時間長度時(包括用戶遲遲未發出第一語音命令 的狀況),結束跟隨模式(步驟S412),否則回到步驟S409。
圖4B繪示為承接圖4A的可移動式電子裝置的控制方法的步驟流程圖。請同時參見圖3與圖4B,處理電路110在確認聲音來源確實是已註冊用戶時,依據第一語音命令(例如「開始跟隨」)以執行對應動作(跟隨動作)並進入跟隨程序(步驟S413)。在步驟S414中,處理電路110依時序連續取得包含前述用戶在內的多個第二影像,其中第二影像在理想上應包括用戶的全身影像(以下簡稱人像)。在步驟S415中,處理電路110可依據前述多個第二影像的影像資訊以及深度學習模型120,依時序地獲得與該用戶的影像特徵相關多個特徵向量資訊。並且,處理電路110可透過不斷比對前述多個特徵向量資訊,以判斷用戶的位置並進行跟隨(步驟S416)。在執行跟隨動作的過程中,處理電路110可儲存用戶在不同角度下的多個角度特徵向量資訊,以在追丟跟隨目標時,依據用戶的多個角度特徵向量資訊進行辨識。
在細節上,處理電路110可基於第一影像中用戶臉部的位置,於第一張第二影像中定位該用戶的人像。接著,處理電路110以該用戶的人像的影像資訊做為輸入,透過深度學習模組120以獲得與該用戶的影像特徵相關的特徵向量資訊,並同時獲得用戶位置資訊、用戶外型比例資訊以及色塊資訊當中至少一個。接著,處理電路110控制人物辨識模型190依據第二張第二影像的影像資訊,以辨識第二張第二影像當中所有人的人像資訊。處理電路110可依據前次獲得的用戶位置資訊、用戶外型比例資訊以 及色塊資訊當中至少一個,以對第二張第二影像當中所有人的人像資訊進行過濾,找出接近的至少一人像做為候選對像。在本發明中,候選對像的數量可以是三個。
然而,本發明並不限於僅能以上述方式決定候選對像。在另一實施例中,處理電路110可以基於前次獲得的用戶位置資訊,於第二張第二影像定義出一感興趣區域(Region of interest,ROI)。並且,處理電路110透過人物辨識模型190獲得感興趣區域內的至少一個人像資訊。處理電路110可依據前次獲得的用戶外型比例資訊以及色塊資訊當中至少一個,對感興趣區域內的至少一個人像資訊進行過濾以決定候選對像。
在決定候選對象之後,處理電路110以前述至少一個候選對象的影像資訊為輸入,以透過深度學習模組120分別獲得對應的至少一個特徵向量資訊。在候選對象有多個時,處理電路110可以前次獲得的用戶的特徵向量資訊做為基準,分別比對對應當前多個候選對象的多個特徵向量資訊,以獲得多個特徵向量差異資訊。處理電路110可依據多個特徵向量差異資訊,以決定當中向量差異資訊小於一閾值的唯一候選對象做為跟隨目標。若向量差異資訊小於一閾值的候選對象有多個時,放棄以第二張第二影像尋找跟隨目標,而改以後續第三張第二影像來尋找跟隨目標。在候選對象僅有一個時,處理電路110可獲取對應的特徵向量差異資訊,並直接將該個候選對象做為跟隨目標。同時,處理電路110亦以當前獲取的用戶的特徵向量資訊進行更新。
在獲得第三張第二影像時,處理電路110以相同方式決定第三張第二影像中至少一候選對象,並經由比較特徵向量差異資訊與前述閾值,以決定跟隨目標。透過不斷地比對,處理電路110可以找出當前特徵向量資訊與前次特徵向量資訊最相近的人物做為跟隨目標。由於本發明攝像頭130可以1秒30張的速度進行拍攝,因此在前後兩幀中用戶(跟隨對象)的位置差異不大,用戶外型比例資訊與色塊資訊也不會有太大的變化。也就是說,從經由上述兩種所決定的候選對像當中找出跟隨目標的方式具有高精準度。
在一實施例中,處理電路110可在確認聲音來源確實是已註冊用戶之後,進一步控制揚聲器170發出提示語音,以提示用戶可隨時發出第二語音命令來結束跟隨程序。在處理電路110接收到用戶發出的第二語音信號(例如「結束跟隨」)時(步驟S417),依據第二語音信號進行聲紋辨識,以進行第三重身分驗證(步驟S418)。若驗證失敗(步驟S419),表示發出第二語音命令的人並非啟用跟隨程序的用戶,此時處理電路110仍繼續執行跟隨程序(步驟S420)。在細節上,處理電路110可在步驟S419的執行結果為驗證失敗時,控制揚聲器170發出指示語音,以指示用戶驗證失敗。若驗證成功(步驟S419),則處理電路110依據第二語音信號以結束跟隨程序(步驟S421)。第三重身分驗證的執行細節與前述第二重身分驗證類似,於此不再贅述。
深度學習模組120可透過深度學習演算法來建立,例如 深度神經網路(Deep Neural Networks,DNN)、卷積神經網路和深度置信網路和迴圈神經網路(Recurrent neural network:RNN)。以卷積神經網路為例,模型由輸入層、多層隱藏層以及輸出層所構成。每個隱藏層包含多個節點(node)且不同層的節點相互連接。在模型訓練階段,可以多張影像的影像資訊做為輸入(可視為「問題」),並給予對應的期望值(可視為該些畫面中的人物是否為同一人的「解答」),以使在多次問答中,各節點之間的權重值以及偏差值可以不斷地調整。簡單來說,模型訓練就是透過後推法(backpropagation),一開始先以亂數指定權重與跟偏差值,透過不斷修改權重與跟偏差值,讓最後結果更接近真正的答案。經過餵予大量資料,模型的準確率會越來越高。等到準確率提升有限時,這些權重與跟偏差值便可儲存起來。到這一步驟時,模型已經訓練完成。
需特別一提的是,本發明的深度學習模組120並不是直接取用前述訓練好的模型。本發明所需要的不是前述模型的計算結果(即是否為同一人),而是用以產生前述計算結果的特徵向量資訊(用以表示人物影像特徵)。在本發明中,訓練好的模型會被去掉最後一層以做為本發明的深度學習模組120。
在硬體實現上,上述處理電路110可以是實現於積體電路(integrated circuit)上的邏輯電路。處理電路110的相關功能可以利用硬體描述語言(hardware description languages,例如Verilog HDL或VHDL)或其他合適的編程語言來實現為硬體。上 述深度學習模組120則可以是場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)及/或其他處理單元中的各種邏輯區塊、模組和電路。
本發明的可移動式電子裝置可以是行李箱、輪椅或其他有跟隨用戶需求的電子裝置。在一使用情境中,具有自動跟隨功能的行李箱可以跟隨在旅客後方。在另一使用情境中,具有自動跟隨功能的輪椅可跟隨正在復健的病患,以在其完成復健時能夠就近地回到輪椅上。
透過本發明的可移動式電子裝置的身分驗證功能,可以避免未註冊用戶隨意啟用可移動式電子裝置的自動跟隨功能。進一步地,還可以避免未註冊用戶隨意停止正在執行自動跟隨動作的可移動式電子裝置。另外,本發明的可移動式電子裝置不需要額外的裝置來輔助辨識(例如佩帶在用戶身上的腰帶以及在其上的攝像頭),而僅需透過持續拍攝用戶影像來實現自動追蹤功能。因此,本發明的可移動式電子裝置在具有用戶身分驗證功能的同時,還兼顧了使用便利性。
S210~S240:步驟

Claims (22)

  1. 一種可移動式電子裝置的控制方法,包括:在一跟隨模式下,由該可移動式電子裝置獲取一用戶的一第一影像,並依據該用戶的該第一影像執行一人臉辨識以對該用戶進行一第一重身分驗證;響應於通過該第一重身分驗證,由該可移動式電子裝置依據該用戶的一第一語音命令執行一聲紋辨識,以對該用戶進行一第二重身分驗證;以及響應於通過該第二重身分驗證,由該可移動式電子裝置設定該用戶為一跟隨目標並執行一跟隨動作,包括:由該可移動式電子裝置依時序連續取得包括該用戶的多個第二影像,以依據該些第二影像的影像資訊以及一深度學習模型,依時序地獲得與該用戶的影像特徵相關多個特徵向量資訊;以及由該可移動式電子裝置依據該些特徵向量資訊來判斷該用戶的位置以進行跟隨。
  2. 如請求項1所述的可移動式電子裝置的控制方法,其中在由該可移動式電子裝置設定該用戶為該跟隨目標的步驟之後,還包括:由該可移動式電子裝置接收指示開始該跟隨動作的該第一語音命令,並依據該第一語音命令執行該聲紋辨識;以及由該可移動式電子裝置在辨識結果與該用戶的一預設聲紋資訊相符時,開始該跟隨動作。
  3. 如請求項2所述的可移動式電子裝置的控制方法,還包括:由該可移動式電子裝置接收指示停止該跟隨動作的一第二語音命令,並依據該第二語音命令執行該聲紋辨識;以及由該可移動式電子裝置在辨識結果與該用戶的該預設聲紋資訊相符時,停止該跟隨動作。
  4. 如請求項1所述的可移動式電子裝置的控制方法,其中由該可移動式電子裝置依據該些特徵向量資訊來判斷該用戶的位置的步驟還包括:由該可移動式電子裝置依據當前取得的該第二影像,獲得多個候選對像的多個候選特徵向量資訊;以及由該可移動式電子裝置分別比較當前取得的該些候選特徵向量資訊與前次獲取的該用戶的該特徵向量資訊之間的差異,以選擇當中差異小於一閾值的一個候選對像做為該跟隨目標。
  5. 如請求項4所述的可移動式電子裝置的控制方法,其中獲得該些候選對像的步驟還包括:由該可移動式電子裝置依據一人物辨識模型進行一人物辨識以獲得當前取得的該第二影像中多個人物影像資訊;由該可移動式電子裝置依據前次取得的該跟隨目標的一位置資訊、該跟隨目標的一比例資訊以及該跟隨目標的一色塊資訊當中至少一個,以自該些人物影像資訊決定當中部分做為該些候選對像。
  6. 如請求項4所述的可移動式電子裝置的控制方法,其中獲得該些候選對像的步驟還包括:由該可移動式電子裝置依據前次取得的該跟隨目標的一位置資訊,以決定當前取得的該第二影像中的一感興趣區域;由一人物辨識模型於該感興趣區域進行辨識,以獲得多個人物影像資訊,並依據該些人物影像資訊決定該些候選對像。
  7. 如請求項6所述的可移動式電子裝置的控制方法,其中依據該些人物影像資訊決定該些候選對像的步驟還包括:由該可移動式電子裝置依據前次取得的該跟隨目標的一比例資訊以及該跟隨目標的一色塊資訊當中至少一個,以自該些人物影像資訊決定當中部分做為該些候選對像。
  8. 如請求項1所述的可移動式電子裝置的控制方法,其中該些特徵向量資訊包括256個或512個元素(element)。
  9. 如請求項1所述的可移動式電子裝置的控制方法,還包括:由該可移動式電子裝置在執行該跟隨動作的過程中,儲存該用戶在不同角度下的多個角度特徵向量資訊,以在追丟該跟隨目標時,依據該用戶的該些角度特徵向量資訊進行辨識。
  10. 如請求項1所述的可移動式電子裝置的控制方法,還包括:由該可移動式電子裝置執行一手勢偵測,以在偵測到一第一手勢時,進入該跟隨模式。
  11. 如請求項1所述的可移動式電子裝置的控制方法,其中由該可移動式電子裝置獲取該用戶的該第一影像的步驟還包括:由該可移動式電子裝置移動至一拍攝範圍內,以近距離地朝該用戶的臉部進行拍攝,以取得該用戶的該第一影像。
  12. 一種可移動式電子裝置,包括:一攝像頭,用以執行一拍攝動作;一致動器,被驅動以帶動該可移動式電子裝置移動;一深度學習模型,用以依據一影像資訊以產生與一影像中人物的影像特徵相關多個特徵向量資訊;以及一處理電路,用以:在一跟隨模式下,控制該攝像頭執行該拍攝動作,以獲取一用戶的一第一影像,並依據該用戶的該第一影像執行一人臉辨識以對該用戶進行一第一重身分驗證;響應於通過該第一重身分驗證,由該可移動式電子裝置依據該用戶的一第一語音命令執行一聲紋辨識,以對該用戶進行一第二重身分驗證;以及響應於通過該第二重身分驗證,設定該用戶為一跟隨目標並執行一跟隨動作,其中該處理電路還用以:控制該攝像頭持續執行該拍攝動作,以依時序連續取得包括該用戶的多個第二影像,並依據該些第二影像的影像資訊以及該深度學習模型,依時序獲得與該用戶的影像特徵相關多個特徵向 量資訊;以及依據該些特徵向量資訊來判斷該用戶的位置以進行跟隨。
  13. 如請求項12所述的可移動式電子裝置,其中該處理電路還用以:接收指示開始該跟隨動作的該第一語音命令,並依據該第一語音命令執行該聲紋辨識,以在辨識結果與該用戶的一預設聲紋資訊相符時,開始該跟隨動作。
  14. 如請求項13所述的可移動式電子裝置,其中該處理電路還用以:接收指示停止該跟隨動作的一第二語音命令,並依據該第二語音命令執行該聲紋辨識,以在辨識結果與該用戶的該預設聲紋資訊相符時,停止該跟隨動作。
  15. 如請求項12所述的可移動式電子裝置,其中該處理電路還用以:依據當前取得的該第二影像,獲得多個候選對像的多個候選特徵向量資訊,並分別比較當前取得的該些候選特徵向量資訊與前次獲取的該用戶的該特徵向量資訊之間的差異,以選擇當中差異小於一閾值的一個候選對像做為該跟隨目標。
  16. 如請求項15所述的可移動式電子裝置,其中該處理電路還用以:依據一人物辨識模型進行一人物辨識以獲得當前取得的該第二影像中多個人物影像資訊; 由該可移動式電子裝置依據前次取得的該跟隨目標的一位置資訊、該跟隨目標的一比例資訊以及該跟隨目標的一色塊資訊當中至少一個,以自該些人物影像資訊決定當中部分做為該些候選對像。
  17. 如請求項15所述的可移動式電子裝置,其中該處理電路還用以:依據前次取得的該跟隨目標的一位置資訊,以決定當前取得的該第二影像中的一感興趣區域;於該感興趣區域進行辨識以獲得多個人物影像資訊,並依據該些人物影像資訊決定該些候選對像。
  18. 如請求項17所述的可移動式電子裝置,其中該處理電路還用以:依據前次取得的該跟隨目標的一比例資訊以及該跟隨目標的一色塊資訊當中至少一個,以自該些人物影像資訊決定當中部分做為該些候選對像。
  19. 如請求項12所述的可移動式電子裝置,其中該些特徵向量資訊包括256個或512個元素(element)。
  20. 如請求項12所述的可移動式電子裝置,其中該處理電路還用以:在執行該跟隨動作的過程中,儲存該用戶在不同角度下的多個角度特徵向量資訊,以在追丟該跟隨目標時,依據該用戶的該些角度特徵向量資訊進行辨識。
  21. 如請求項12所述的可移動式電子裝置,其中該處理電路還用以:執行一手勢偵測,以在偵測到一第一手勢時,進入該跟隨模式。
  22. 如請求項12所述的可移動式電子裝置,其中該處理電路還用以:控制該致動器以使該可移動式電子裝置移動至一拍攝範圍內,並近距離地朝該用戶的臉部進行拍攝,以取得該用戶的該第一影像。
TW110113887A 2021-04-19 2021-04-19 可移動式電子裝置及其控制方法 TWI760189B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110113887A TWI760189B (zh) 2021-04-19 2021-04-19 可移動式電子裝置及其控制方法
CN202110568688.3A CN115221485A (zh) 2021-04-19 2021-05-25 可移动式电子装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110113887A TWI760189B (zh) 2021-04-19 2021-04-19 可移動式電子裝置及其控制方法

Publications (2)

Publication Number Publication Date
TWI760189B true TWI760189B (zh) 2022-04-01
TW202242718A TW202242718A (zh) 2022-11-01

Family

ID=82198714

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110113887A TWI760189B (zh) 2021-04-19 2021-04-19 可移動式電子裝置及其控制方法

Country Status (2)

Country Link
CN (1) CN115221485A (zh)
TW (1) TWI760189B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107139179A (zh) * 2017-05-26 2017-09-08 西安电子科技大学 一种智能服务机器人及工作方法
CN108724178A (zh) * 2018-04-13 2018-11-02 顺丰科技有限公司 特定人自主跟随方法及装置、机器人、设备和存储介质
TW201940953A (zh) * 2018-03-21 2019-10-16 大陸商北京獵戶星空科技有限公司 拍攝方法、裝置、智慧型裝置及儲存媒體
US20210001480A1 (en) * 2016-12-22 2021-01-07 RobArt GmbH Autonomous Mobile Robot And Method For Controlling An Autonomous Mobile Robot

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210001480A1 (en) * 2016-12-22 2021-01-07 RobArt GmbH Autonomous Mobile Robot And Method For Controlling An Autonomous Mobile Robot
CN107139179A (zh) * 2017-05-26 2017-09-08 西安电子科技大学 一种智能服务机器人及工作方法
TW201940953A (zh) * 2018-03-21 2019-10-16 大陸商北京獵戶星空科技有限公司 拍攝方法、裝置、智慧型裝置及儲存媒體
CN108724178A (zh) * 2018-04-13 2018-11-02 顺丰科技有限公司 特定人自主跟随方法及装置、机器人、设备和存储介质

Also Published As

Publication number Publication date
CN115221485A (zh) 2022-10-21
TW202242718A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
Rao et al. Deep convolutional neural networks for sign language recognition
US10275672B2 (en) Method and apparatus for authenticating liveness face, and computer program product thereof
US10503992B2 (en) Process for updating templates used in facial recognition
CN110555359B (zh) 面部识别的自动重试
Nakada et al. AcFR: active face recognition using convolutional neural networks
JP2018524654A (ja) 活動検出方法及びデバイス、並びに本人認証方法及びデバイス
CA3152812A1 (en) Facial recognition method and apparatus
Limcharoen et al. View-independent gait recognition using joint replacement coordinates (jrcs) and convolutional neural network
Tikoo et al. Detection, segmentation and recognition of face and its features using neural network
JPWO2020079741A1 (ja) 虹彩認証装置、虹彩認証方法、虹彩認証プログラムおよび記録媒体
JP7188446B2 (ja) 認証装置、認証方法、認証プログラムおよび記録媒体
WO2019209131A1 (ru) Способ обучения нейронной сети распознаванию лиц людей
CN111126249A (zh) 一种大数据和贝叶斯相结合的行人重识别方法及装置
CN113330433A (zh) 用于认证用户的方法及其电子设备
WO2023273616A1 (zh) 图像识别方法及装置、电子设备、存储介质
TWI760189B (zh) 可移動式電子裝置及其控制方法
WO2021139556A1 (zh) 控制机械臂绘制人像画的方法、装置及机器人系统
CN113785304A (zh) 人脸识别方法和装置
Baytamouny et al. AI-based home security system with face recognition
KR102313187B1 (ko) 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템
Boughrara et al. MLP neural network using modified constructive training algorithm: application to face recognition
Gonzalez et al. Towards a cognitive framework for multimodal person recognition in multiparty hri
Yasuoka et al. Simulation of Human Detection System Using BRIEF and Neural Network
TW201942800A (zh) 多角度人臉辨識系統及其學習方法與辨識方法
Sahoolizadeh et al. Face recognition using morphological shared-weight neural networks