TWI755762B - 目標跟蹤方法、智慧移動設備和儲存介質 - Google Patents

目標跟蹤方法、智慧移動設備和儲存介質 Download PDF

Info

Publication number
TWI755762B
TWI755762B TW109120760A TW109120760A TWI755762B TW I755762 B TWI755762 B TW I755762B TW 109120760 A TW109120760 A TW 109120760A TW 109120760 A TW109120760 A TW 109120760A TW I755762 B TWI755762 B TW I755762B
Authority
TW
Taiwan
Prior art keywords
image
offset
target object
value
present application
Prior art date
Application number
TW109120760A
Other languages
English (en)
Other versions
TW202105326A (zh
Inventor
張軍偉
Original Assignee
中國商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中國商上海商湯智能科技有限公司 filed Critical 中國商上海商湯智能科技有限公司
Publication of TW202105326A publication Critical patent/TW202105326A/zh
Application granted granted Critical
Publication of TWI755762B publication Critical patent/TWI755762B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申請實施例提供涉及一種目標跟蹤方法、智慧移動設備和儲存介質，所述方法包括：獲取採集的圖像；確定所述圖像中的目標物件的位置；基於所述目標物件的位置和所述圖像的中心位置之間的距離，得到控制智慧移動設備控制指令，其中，所述控制指令用於使得所述目標物件的位置位於所述圖像的中心，且所述控制指令包括構成所述距離的偏移序列中的偏移值對應的轉動指令，所述偏移序列包括至少一個偏移值。

Description

目標跟蹤方法、智慧移動設備和儲存介質
本申請基於申請號為201910646696.8、申請日為2019年07月17日的中國專利申請提出，並要求該中國專利申請的優先權，該中國專利申請的全部內容在此引入本申請作為參考。本申請實施例涉及電腦視覺技術領域，涉及但不限於一種目標跟蹤方法、智慧移動設備和儲存介質。
目前，例如遙控車、移動機器人等智慧移動設備在各個領域中都有所應用，例如在教育行業，可以透過遙控車作為教學用具，以實現目標跟蹤。
本申請實施例提出了一種目標跟蹤方法、智慧移動設備和儲存介質。
本申請實施例提供了一種目標跟蹤方法，包括：獲取採集的圖像；確定所述圖像中的目標物件的位置；基於所述目標物件的位置和所述圖像的中心位置之間的距離，確定用於控制智慧移動設備轉動的控制指令，其中，所述控制指令用於使得所述目標物件位於所述圖像的中心位置，且所述控制指令包括構成所述距離的偏移序列中的偏移值對應的轉動指令，所述偏移序列包括至少一個偏移值。
在本申請一些實施例中，在確定所述圖像中的目標物件的位置之前，所述方法還包括對所述圖像執行預處理操作，所述預處理操作包括：將所述圖像調整成預設規格的灰階圖像，以及對所述灰階圖像執行歸一化處理；其中，所述確定所述圖像中的目標物件的位置，包括：對所述預處理操作後得到的圖像執行目標檢測處理，獲得所述預處理操作後的圖像中所述目標物件的位置；基於所述預處理操作後的圖像中所述目標物件的位置，確定所述圖像中所述目標物件的位置。
在本申請一些實施例中，所述對所述灰階圖像執行歸一化處理，包括：確定所述灰階圖像中各像素點的像素值的平均值和標準差；獲得所述各像素點的像素值與所述平均值之間的差值；將所述各像素點對應的所述差值和所述標準差之間的比值，確定為所述各像素點歸一化後的像素值。
在本申請一些實施例中，所述確定所述圖像中的目標物件的位置，包括：提取所述圖像的圖像特徵；對所述圖像特徵執行分類處理，得到所述圖像中的目標物件的位置區域；將所述位置區域的中心位置確定為所述目標物件的位置。
在本申請一些實施例中，所述目標物件包括：人臉；對應地，所述確定所述圖像中的目標物件的位置，包括：確定所述圖像中人臉的位置。
在本申請一些實施例中，所述基於所述目標物件的位置和所述圖像的中心位置之間的距離，確定用於控制智慧移動設備轉動的控制指令，包括：基於所述圖像中的目標物件的位置與所述圖像的中心位置之間的距離，確定目標偏移量；基於所述目標偏移量生成多組偏移序列，並且每組偏移序列中的偏移值的加總值為所述目標偏移量；利用強化學習演算法，從所述多組偏移序列中選擇出滿足要求的偏移序列，並確定所述滿足要求的偏移序列對應的控制指令。
在本申請一些實施例中，所述利用強化學習演算法，從所述多組偏移序列中選擇出滿足要求的偏移序列，包括：針對所述多組偏移序列中各偏移值，確定價值表中與所述偏移值對應的最大價值，所述價值表包括偏移值在不同轉動指令下對應的價值；獲得所述偏移值對應的獎賞值，並基於所述偏移值對應的所述獎賞值和所述最大價值，確定所述偏移值的最終價值，所述獎賞值為在未執行所述偏移值的最大價值對應的轉動指令的情況下，目標物件的位置與圖像中心位置之間的距離；將所述多組偏移序列中各偏移值的所述最終價值之和最大的偏移序列，確定為滿足要求的偏移序列。
在本申請一些實施例中，所述確定所述滿足要求的偏移序列對應的控制指令，包括：基於所述滿足要求的偏移序列中各偏移值的最大價值對應的轉動指令，確定所述控制指令。
在本申請一些實施例中，所述方法還包括：基於所述控制指令驅動所述智慧移動設備執行轉動。
在本申請一些實施例中，所述方法還包括：基於所述目標物件的位置區域，確定用於控制所述智慧移動設備移動的控制指令，其中，響應於所述目標物件的位置區域對應的面積大於第一閾值，生成用於控制所述智慧移動設備後退的控制指令；響應於所述目標物件的位置區域對應的面積小於第二閾值，生成用於控制所述智慧移動設備前進的控制指令，所述第一閾值大於第二閾值。
本申請實施例提供了一種目標跟蹤裝置，其包括：圖像採集模組，其配置為採集圖像；目標檢測模組，其配置為確定所述圖像中的目標物件的位置；控制模組，其配置為基於所述目標物件的位置和所述圖像的中心位置之間的距離，確定控制智慧移動設備轉動的控制指令，其中，所述控制指令用於使得所述目標物件的位置位於所述圖像的中心位置，且所述控制指令包括構成所述距離的偏移序列中的偏移值對應的轉動指令，所述偏移序列包括至少一個偏移值。
在本申請一些實施例中，所述裝置還包括預處理模組，其配置為對所述圖像執行預處理操作，所述預處理操作包括：將所述圖像調整成預設規格的灰階圖像，以及對所述灰階圖像執行歸一化處理；所述目標檢測模組還配置為對所述預處理操作後得到的圖像執行目標檢測處理，獲得所述預處理操作後的圖像中所述目標物件的位置；基於所述預處理操作後的圖像中所述目標物件的位置，確定所述圖像中所述目標物件的位置。
在本申請的一些實施例中，所述預處理模組執行所述對所述灰階圖像執行歸一化處理的步驟包括：確定所述灰階圖像中各像素點的像素值的平均值和標準差；獲得所述各像素點的像素值與所述平均值之間的差值；將所述各像素點對應的所述差值和所述標準差之間的比值，確定為所述各像素點歸一化後的像素值。
在本申請的一些實施例中，所述目標檢測模組還配置為提取所述圖像的圖像特徵；對所述圖像特徵執行分類處理，得到所述圖像中的目標物件的位置區域；將所述位置區域的中心位置確定為所述目標物件的位置。
在本申請的一些實施例中，所述目標物件包括人臉；對應地，所述目標檢測模組還配置為確定所述圖像中人臉的位置。
在本申請的一些實施例中，所述控制模組還配置為基於所述圖像中的目標物件的位置與所述圖像的中心位置之間的距離，確定目標偏移量；基於所述目標偏移量生成多組偏移序列，並且每組偏移序列中的偏移值的加總值為所述目標偏移量；利用強化學習演算法，從所述多組偏移序列中選擇出滿足要求的偏移序列，並得到所述滿足要求的偏移序列對應的控制指令。
在本申請的一些實施例中，所述控制模組還配置為針對所述多組偏移序列中各偏移值，確定價值表中與所述偏移值對應的最大價值，所述價值表包括偏移值在不同轉動指令下對應的價值；獲得所述偏移值對應的獎賞值，並基於所述偏移值對應的所述獎賞值和所述最大價值，確定所述偏移值的最終價值，所述獎賞值為在未執行所述偏移值的最大價值對應的轉動指令的情況下，目標物件的位置與圖像中心的距離；將所述多組偏移序列中各偏移值的所述最終價值之和最大的偏移序列，確定為滿足要求的偏移序列。
在本申請的一些實施例中，所述控制模組還配置為基於所述滿足要求的偏移序列中各偏移值的最大價值對應的轉動指令，確定所述控制指令。
在本申請的一些實施例中，所述目標檢測模組還配置為基於所述目標物件的位置區域，確定控制所述智慧移動設備移動的控制指令，其中，在所述目標物件的位置區域對應的面積大於第一閾值的情況下，生成控制所述智慧移動設備後退的控制指令；在所述目標物件的位置區域對應的面積小於第二閾值的情況下，生成控制所述智慧移動設備前進的控制指令，所述第一閾值大於第二閾值。
本申請實施例提供了一種智慧移動設備，其包括所述的目標跟蹤裝置，以及所述目標跟蹤裝置內的目標檢測模組集成在智慧移動設備的管理裝置中，透過所述管理裝置執行所述圖像採集模組採集的圖像的目標檢測處理，得到所述目標物件的位置；所述控制模組與所述管理裝置連接，並用於根據所述管理裝置得到目標物件的位置生成所述控制指令，並根據所述控制指令控制所述智慧移動設備轉動。
在本申請的一些實施例中，所述管理裝置還集成有所述目標跟蹤裝置的預處理模組以用於對所述圖像執行預處理操作，並對所述預處理操作後的圖像執行目標檢測處理，得到所述圖像中目標物件的位置。
在本申請的一些實施例中，所述智慧移動設備包括教育機器人。
本申請實施例提供了一種智慧移動設備，其包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行任意一項所述的目標跟蹤方法。
本申請實施例提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現第一方面中任意一項所述的目標跟蹤方法。
本申請實施例提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在智慧移動設備中運行時，所述智慧移動設備中的處理器執行用於實現任意一項所述的目標跟蹤方法。
本申請實施例提供的目標跟蹤方法、智慧移動設備和儲存介質，可以得到採集的圖像中目標物件的位置，並根據該目標物件的位置與圖像中心之間的距離，得到智慧移動設備的控制指令，該控制指令用於控制智慧移動設備的轉動，得到的控制指令包括至少一個偏移值對應的轉動指令，其中各偏移值形成的偏移序列與目標物件和圖像中心之間的距離來確定，透過得到的控制指令可以使得轉動後的目標物件能夠在採集的圖像的中心，從而使得目標物件在智慧移動設備的跟蹤範圍內。本申請實施例提供的目標跟蹤方法、智慧移動設備和儲存介質,可以即時的根據目標物件的位置執行目標跟蹤，具有更加方便、準確的特點。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本申請實施例。
根據下面參考附圖對示例性實施例的詳細說明，本申請實施例的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本申請實施例的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞「示例性」意為「用作例子、實施例或說明性」。這裡作為「示例性」所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語「和/或」，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本申請實施例，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本申請實施例同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於突顯本申請實施例的主旨。
本申請實施例提供了一種目標跟蹤方法，該方法可以應用在任意的具有圖像處理功能的智慧移動設備中。例如，目標跟蹤方法可以應用在移動機器人、遙控車、飛行器等設備中，上述僅為示例性說明，只要能夠實現移動的設備均可以採用本申請實施例提供的目標跟蹤方法。在一些可能的實現方式中，該目標跟蹤方法可以透過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
第1圖為本申請實施例提供的一種目標跟蹤方法的流程示意圖，如第1圖所示，所述目標跟蹤方法包括： 步驟S10：獲取採集的圖像； 在本申請的一些實施例中，應用本申請實施例的目標跟蹤方法的智慧移動設備上可以包括圖像採集設備，如攝影機或者照相機等設備。本申請實施例可以透過圖像採集設備直接採集圖像，或者也可以透過圖像採集設備採集影片資料，並對影片資料執行分幀或者選幀處理，得到對應的圖像。
步驟S20：確定所述圖像中的目標物件的位置；
在本申請的一些實施例中，在得到採集的圖像的情況下，可以執行採集的圖像的目標檢測處理，即檢測所採集的圖像中是否存在目標物件，以及存在目標物件時，確定目標物件所在的位置。
在本申請的一些實施例中，可以透過神經網路實現該目標檢測處理。其中，本申請實施例檢測的目標物件可以為任意類型的物件，如目標物件可以為人臉，或者目標物件是其他的待被跟蹤的物件，本申請實施例對此不作具體限定。或者，在一些實施例中，目標物件可以為特定已知身份的物件，即本申請實施例可以執行對相應類型的物件（如全部的人臉圖像）的跟蹤，也可以執行對某一特定身份的物件（如已知的特定的人臉圖像）的跟蹤，可以根據需求設定，本申請實施例對此不作具體限定。
在本申請的一些實施例中，實現目標檢測處理的神經網路可以為卷積神經網路，該神經網路經過訓練後，能夠精確的檢測出圖像中的目標物件的位置，神經網路的形式不做限定。
在一個示例中，可以在對圖像執行目標檢測處理的過程中，對圖像執行特徵提取以獲得圖像特徵，而後對圖像特徵執行分類處理，得到圖像中目標物件的位置區域，基於該位置區域即可以確定目標物件的位置。其中分類處理得到的分類結果可以包括圖像中是否存在目標物件的標識，如第一標識或者第二標識，其中第一標識表示當前位置在圖像中對應的像素點為目標物件，第二標識表示當前位置在圖像中對應的像素點不是目標物件，透過第一標識構成的區域即可以確定目標物件在圖像中的位置，如可以將該區域的中心位置確定為目標物件的位置。透過上述，在圖像中包括目標物件的情況下，可以直接得到目標物件在圖像中的位置，例如可以按照座標的形式表示目標物件的位置。本申請實施例可以將目標物件在圖像中的位置區域的中心位置作為目標物件的位置。另外，在圖像中檢測不到目標物件的情況下，輸出的位置為空。
步驟S30：基於所述目標物件的位置和所述圖像的中心位置之間的距離，確定用於控制智慧移動設備轉動的控制指令，其中，所述控制指令用於使得所述目標物件的位置位於所述圖像的中心位置，且所述控制指令包括構成所述距離的偏移序列中的偏移值對應的轉動指令，所述偏移序列包括至少一個偏移值。
在本申請的一些實施例中，在得到目標物件在圖像中的位置的情況下，可以根據該位置控制智慧移動設備移動，從而使得目標物件能夠位於採集的圖像的中心位置，進而實現對目標物件的跟蹤。其中，本申請實施例可以根據目標物件在圖像中的位置以及圖像的中心位置之間的距離，得到控制智慧移動設備轉動的控制指令，使得所述目標物件的位置能夠位於當前採集的圖像的中心。其中，控制指令可以包括由至少一個偏移值分別對應的轉動指令，其中根據至少一個偏移值對應的偏移序列能夠確定上述目標物件的位置與圖像中心位置之間的距離。例如，確定各偏移值的加總為上述距離值。其中，本申請實施例的距離可以為有向距離（如方向向量），偏移值也可以為方向向量，透過各偏移值對應的方向向量的加總可以得到距離對應的方向向量，即透過各偏移值對應的轉動指令可以實現各偏移值的偏移，最終使得目標物件位於當前採集的圖像的中心。在目標物件保持不動的情況下，可以從採集當前圖像的下一個圖像的時刻起，目標物件始終位於採集的圖像的中心。如果目標物件存在移動的情況，由於本申請實施例可以快速的針對前一圖像中目標物件的位置調整智慧移動設備轉動，從而使得目標物件在採集的圖像中心，即使在目標物件移動的情況下，也可以對目標物件進行跟蹤拍攝，使得目標物件在採集的圖像的畫面中。
在本申請的一些實施例中，本申請實施例可以採用強化學習演算法，執行智慧移動設備的轉動路徑的規劃，得到使得目標物件位於圖像中心的控制指令，該控制指令可以為基於強化學習演算法確定的最優移動方案對應的控制指令。在一個示例中，強化學習演算法可以為價值學習演算法（Q-learning演算法）。
透過強化學習演算法，對智慧移動設備的移動路徑進行最佳化確定，得到在移動時間、移動路徑的便捷性、以及智慧移動設備的能耗的綜合評價最優的移動路徑對應的控制指令。
基於上述配置，本申請實施例可以方便且精確的實現對於目標物件的即時跟蹤，根據目標物件的位置控制智慧移動設備的轉動，使得目標物件位於採集的圖像的中心。其中可以根據圖像中目標物件的位置與圖像的中心位置之間的距離，得到智慧移動設備的控制指令，該控制指令用於控制智慧移動設備的轉動，得到的控制指令包括至少一個偏移值對應的轉動指令，其中各偏移值形成的偏移序列與目標物件和圖像中心之間的距離來確定，透過得到的控制指令可以使得轉動後的目標物件能夠在採集的圖像的中心，從而使得目標物件在智慧移動設備的跟蹤範圍內。本申請實施例可以即時的根據目標物件的位置執行目標跟蹤，具有更加方便、準確且提高了智慧移動設備的效能的特點。
下面結合附圖，對本申請實施例提供的進行詳細說明。
如上述實施例所述，本申請實施例可以在採集到圖像的情況下，即對該圖像執行目標檢測處理。本申請實施例中，由於採集的圖像的規格、類型等參數可能不同，因此，在對圖像執行目標檢測處理之前還可以對圖像執行預處理操作，得到歸一化處理的圖像。
在確定所述圖像中的目標物件的位置之前，所述方法還包括對所述圖像執行預處理操作，第2圖為本申請實施例提供的對圖像執行預處理的流程示意圖，如第2圖所示，所述預處理操作包括： 步驟S11：將所述圖像調整成預設規格的灰階圖像。
在本申請的一些實施例中，採集的圖像可能是彩色圖像，或者其他形式的圖像，可以將採集的圖像轉換為預設規格的圖像，而後將預設規格的圖像轉換為灰階圖像。或者，也可以首先將採集的圖像轉換為灰階圖像，而後將灰階圖像轉換為預設規格的形式。其中預設規格可以為640*480，但不作為本申請實施例的具體限定。將彩色圖像或者其他形式的圖像轉換為灰階圖像可以基於對像素值的處理進行轉換，如可以將各像素點的像素值除以最大的像素值，基於該結果得到相應的灰階值，上述僅為示例性說明，本申請實施例對該過程不作具體限定。
由於在處理彩色圖片或者其他形式的圖像時可能會消耗掉大量資源，但是圖片的形式對於檢測效果影響較小，本申請實施例將圖像轉換為灰階圖像，將圖片直接轉換成灰階圖片，然後送到網路模型中進行檢測，可以減少資源的消耗，提高處理速度。
步驟S12：對所述灰階圖像執行歸一化處理。
在得到灰階圖像的情況下，可以對灰階圖像執行歸一化處理。透過歸一化處理可以將圖像的像素值歸一化到相同的尺度範圍內。其中，歸一化處理可以包括：確定所述灰階圖像中各像素點的像素值的平均值和標準差；確定所述像素點的像素值與所述平均值之間的差值；將每個像素點對應的所述差值和所述標準差之間的比值，確定為所述像素點歸一化後的像素值。
本申請實施例中採集的圖像可以多個，也可以為一個，在圖像為一個的情況下，得到的灰階圖像也為一個。則針對該灰階圖像中各像素點對應的像素值（灰階值），可以得到各像素點的像素值對應的平均值和標準差。繼而可以將每個像素點與平均值之間的差值和標準差之間的比值，更新為該像素點的像素值。
另外，在採集的圖像為多個的情況下，可以對應的得到多個灰階圖像。透過該多個灰階圖像中各像素點的像素值可以確定多個灰階圖像的像素值的平均值和標準差。即本申請實施例的平均值和標準差可以為針對一個圖像的，也可以為針對多個圖像的。在得到多個圖像的各像素點的像素值的平均值和標準差的情況下，可以得到每個圖像的每個像素點的像素值與平均值的差值，而後得到差值和平均值之間的比值，利用該比值更新像素點的像素值。
透過上述方式，可以使得灰階圖像中各像素點的像素值統一到相同的尺度上，實現採集的圖像的歸一化處理。
上述為示例性的說明本申請實施例執行預處理的方式，在其他實施例中，也可以透過其他方式執行預處理。例如可以僅執行將圖像轉換為預設規格，對預設規格的圖像執行歸一化處理。即本申請實施例也可以執行彩色圖像的歸一化處理。其中，可以得到彩色圖像中每個像素點的各個通道的特徵值的平均值和標準差，如可以得到圖像的各像素點的紅色（Red，R）通道的特徵值（R值）的平均值和標準差，綠色（Green，G）通道的特徵值（G值）的平均值和標準差，以及藍色（Blue，B）通道的特徵值（B值）的平均值和標準差。而後根據相應顏色通道的特徵值與平均值的差值和標準差的比值，得到對應的顏色通道的新的特徵值。從而得到每個圖像的每個像素點對應的顏色通道的更新的特徵值，繼而得到歸一化的圖像。
透過對圖像執行預處理，可以使得本申請實施例在實施時適用於不同類型的圖像，以及不同尺度的圖像，提高本申請實施例的適用性。
在對圖像執行預處理之後，也可以對預處理後的圖像執行目標檢測處理，得到預處理的圖像中目標物件的位置，進而基於預處理圖像與未預處理的圖像中各像素點位置的對應關係，得到目標物件在圖像中的位置，即可以根據預處理後的目標物件的位置得到原始採集的圖像中目標物件的位置。下述僅以對採集的圖像執行目標檢測處理為例進行說明，針對預處理後的圖像執行目標檢測的過程與其相同，在此不做重複說明。
第3圖為本申請實施例提供的一種目標跟蹤方法中步驟S20的流程示意圖，如第3圖所示，所述確定所述圖像中的目標物件的位置，包括： 步驟S201：提取所述圖像的圖像特徵； 在本申請的一些實施例中，可以利用首先提取圖像的圖像特徵，例如可以透過卷積處理得到圖像特徵，如上所述可以透過神經網路實現目標檢測處理，其中神經網路可以包括特徵提取模組和分類別模組，特徵提取模組可以包括至少一層卷積層，同時還可以包括池化層。透過特徵提取模組可以提取圖像的特徵。在其他實施例中也可以殘差網路的結構執行該特徵提取處理的過程，得到圖像特徵，本申請實施例對此不作具體限定。
步驟S202：對所述圖像特徵執行分類處理，得到所述圖像中的目標物件的位置區域。
在本申請的一些實施例中，可以對圖像特徵執行分類處理，例如執行分類處理的分類別模組可以包括全連接層，透過全連接層得到圖像中目標物件的檢測結果，即目標物件的位置區域。本申請實施例的目標物件的位置區域可以按照座標的形式表示，如檢測到的目標物件的位置區域對應的檢測框的兩個頂角的位置座標，或者，也可以為一個頂點的位置座標，以及檢測框的高度或者寬度。透過上述即可以得到目標物件所在的位置區域。也就是說，本申請實施例的分類處理得到的結果可以包括圖像中是否存在目標類型的物件，即目標物件，以及目標物件的位置區域。其中可以利用第一標識和第二標識來標識是否存在目標類型的物件，並按照座標的形式表示目標物件所在的位置區域。例如，第一標識可以為1，表示存在目標物件，相反地，第二標識可以為0，表示不存在目標物件，（x1，x2，y1，y2）分別為檢測框的兩個頂點對應的橫縱坐標值。
步驟S203：將所述位置區域的中心位置確定為所述目標物件的位置。
在本申請的一些實施例中，可以將檢測到的目標物件的位置區域的中心位置確定為目標物件的位置。可以取該目標物件所在的位置區域的四個頂點的座標值的均值，得到中心位置的座標，進而將該中心位置的座標確定為目標物件的位置。
其中，在一個示例中，目標物件可以為人臉，目標檢測處理可以為人臉檢測處理，即可以檢測圖像中人臉所在的位置區域，並進一步根據檢測到的人臉所在的位置區域的中心得到人臉的位置。繼而執行針對人臉的目標跟蹤。
透過上述實施方式，本申請實施例可以得到高精度的目標物件的位置，提高目標跟蹤的準確度。
另外，在本申請的一些實施例中，本申請實施例可以透過智慧移動設備的管理裝置執行上述預處理以及目標檢測處理的過程，本申請實施例中，所述管理裝置可以是樹莓派晶片，樹莓派晶片具有較高的可擴展性同時具有較高的處理速度。
在本申請的一些實施例中，可以將得到的關於目標物件的位置等資訊傳輸給智慧移動設備的控制端，進而獲得控制指令。本申請實施例執行目標物件的檢測結果的傳輸可以按照預設的資料格式進行封裝傳輸。其中檢測結果表示目標物件在圖像中的位置。其中，該傳輸的檢測結果對應的資料可以為80位元組，並且其中可以包括模式標誌位元、檢測結果資訊、迴圈冗餘（Cyclic Redundancy Check，CRC）校驗、重傳閾值、控制欄位以及可選欄位。模式標誌位元可以表示樹莓派晶片當前的工作模式、檢測結果資訊即可以為目標物件的位置、CRC校驗位用於安全驗證、重傳閾值用於表示重傳資料的最大次數值，控制欄位用於表示期望智慧移動設備的工作模式，可選欄位為可以附加的資訊。
在得到圖像中目標物件的位置的情況下，即可以執行智慧移動設備的路徑規劃處理，得到控制智慧移動設備的控制指令。第4圖為本申請實施例提供的一種目標跟蹤方法中步驟S30的流程示意圖，如第4圖所示，步驟S30可以透過以下步驟實現： 步驟S301：基於所述圖像中的目標物件的位置與所述圖像的中心位置的距離，確定目標偏移量； 在本申請的一些實施例中，本申請實施例在執行目標物件的跟蹤時，可以保持目標物件的位置位於圖像的中心位置，透過該方式實現目標物件的追蹤。因此，本申請實施例在得到目標物件的位置的情況下，可以檢測該目標物件的位置與圖像的中心位置之間的距離，將該距離作為目標偏移量。其中可以將目標物件的位置的座標與圖像的中心位置的座標之間的歐式距離，作為目標偏移量。其中該距離還可以表示為向量形式，例如可以表示為圖像中心位置和目標物件的位置之間的有向向量，即得到的目標偏移量可以包括目標物件的位置和圖像中心位置之間的距離，還可以包括圖像的中心相對於目標物件的位置的方向。
步驟S302：基於所述目標偏移量生成多組偏移序列，所述偏移序列中包括至少一個偏移值，並且每組偏移序列中的偏移值的加總值為所述目標偏移量； 在本申請的一些實施例中，本申請實施例可以根據得到的目標偏移量生成多組偏移序列，該偏移序列中包括至少一個偏移值，並且該至少一個偏移值的加總為目標偏移量。例如，目標物件的位置為（100,0），圖像中心的位置為（50,0），則目標偏移量為x軸上的50。為了實現該目標偏移量，可以生成多個偏移序列，如第一個偏移序列中的偏移值為10,20和20，第二個偏移序列的偏移值可以為10,25和15，其中各偏移值的方向可以均為x軸的正方向。同理，可以得到多組與目標偏移量對應的多組偏移序列。
在一個可能的實施方式中，生成的多組偏移序列中的偏移值的數量可以為設定的，如可以為3，但不作為本申請實施例的具體限定。另外，生成多組偏移序列的方式可以為隨機生成的方式。實際中，能夠實現目標偏移量的偏移序列中偏移值的組合方式可以包括多種，本申請實施例可以該多種組合方式中隨機選擇出預設數量的組合方式，即預設數量的偏移序列。
步驟S303：利用強化學習演算法，從所述多組偏移序列中選擇出滿足要求的偏移序列，並得到所述滿足要求的偏移序列對應的控制指令。
在本申請的一些實施例中，在得到生成的偏移序列的情況下，則可以利用強化學習演算法選擇滿足要求的偏移序列。其中，可以利用強化學習演算法得到偏移序列對應的總價值，將總價值最高的偏移序列確定為滿足要求的偏移序列。
第5圖為本申請實施例提供的一種目標跟蹤方法中步驟S303的流程示意圖，如第5圖所示，步驟S303「所述利用強化學習演算法，從所述多組偏移序列中選擇出滿足要求的偏移序列，並得到所述滿足要求的偏移序列對應的控制指令」，可以包括：
步驟S3031：針對所述多組偏移序列中各偏移值，確定價值表中與所述偏移值對應的最大價值，所述價值表包括偏移值在不同轉動指令下對應的價值； 在本申請的一些實施例中，強化學習演算法可以為價值學習演算法（Q-learning演算法），對應的價值表（Q-table）可以表示不同的偏移值在不同的轉動指令下對應的價值（quality）。轉動指令是指控制智慧移動設備轉動的指令，其中可以包括電機轉動角度、電機轉速、以及電機轉動時間等參數。本申請實施例中的價值表可以為預先經過強化學習得到的價值表，其中價值表的參數可以精確的區分和體現在不同的偏移值的情況下，不同的轉動指令對應的價值。例如，表1示出了轉動指令的至少一部分參數，表2示出了價值表的示意表，其中橫向的參數a1、a2和a3為不同的轉動指令，縱向的參數s1、s2和s3表示不同的偏移值，表格內的參數表示相應的偏移值與相應的轉動指令對應的價值。價值可以表示相應偏移值下對應的轉動指令的價值，一般數值越大，價值越高，說明透過該指令實現目標跟蹤的價值就越高。
表1、轉動指令對應的部分轉動參數表
動作 值
電機轉速 0-1000
電機轉動角度 0-360
電機轉動時間 ～
電機停止動作 保持、中斷
表2、轉動參數對應的價值表
  a1 a2 a3
s1 1 2 3
s2 1 1 2
s3 4 2 1
如上述實施例所述，每個偏移序列中可以包括多個偏移值，本申請實施例可以基於價值表確定每個序列中每個偏移值對應的最大的價值。例如針對偏移值s1，最大的價值為3，針對偏移值s2，最大的價值為2，針對偏移值s3，最大的價值為4。上述僅為示例性說明，對於不同的價值表，得到的價值可能不同，本申請實施例對此不作具體限定。
步驟S3032：獲得所述偏移值對應的獎賞值，並基於所述偏移值對應的所述獎賞值和所述最大價值，確定所述偏移值的最終價值，其中所述獎賞值為在未執行所述偏移值對應的轉動指令的情況下，目標物件的位置與圖像的中心位置之間的距離；
在本申請的一些實施例中，可以獲得偏移序列中每個偏移值的獎賞值，其中獎賞值與未執行相應偏移值時目標物件的位置相關。例如對於每個偏移序列的第一個偏移值，在未執行該偏移值對應的轉動指令的情況下，目標物件的位置即為圖像中目標物件初始檢測到的位置。而對於偏移序列中的其他的偏移值，可以基於假定執行了該偏移值之前的偏移值的最大價值對應的轉動指令後，目標物件的位置。例如，假設檢測到的圖像中的目標物件的位置為（100，0），得到的滿足條件的偏移序列可以為20,15,15。對於第一個偏移值，可以透過目標物件的位置（100，0）確定該第一個偏移值的獎賞值。對於第二個偏移值，可以確定目標物件的位置為（120,0），此時可以基於該位置確定第二個偏移值的獎賞值，以及在執行第三個偏移值時，可以確定目標物件的位置為（135,0），此時可以基於該位置確定第三個偏移值的獎賞值。
在一個示例中，得到獎賞值的運算式可以如公式（1-1）所示：
Figure 02_image001
（1-1）；
其中，
Figure 02_image003
為偏移值s對應的最大價值的轉動指令
Figure 02_image005
的獎賞值，即偏移值s對應的獎賞值，s（
Figure 02_image007
）和s（
Figure 02_image009
）分別為未執行偏移值對應的最大價值的轉動指令
Figure 02_image005
時的目標物件的位置的橫坐標和縱坐標，b和c分別表示圖像的中心位置的橫坐標和縱坐標。
在得到偏移值對應的獎賞值和最大價值的情況下，可以根據偏移值對應的獎賞值和該偏移值對應的最大價值，確定該偏移值的最終價值。例如可以利用獎賞值與最大價值的加權和確定最終價值。其中，本申請實施例確定偏移值的最終價值的運算式可以如公式（1-2）所示：
Figure 02_image011
（1-2）；
其中，
Figure 02_image013
為偏移值s對應的最終價值，
Figure 02_image015
為偏移值s對應的最大價值的轉動指令a的獎賞值，
Figure 02_image016
為偏移值s對應的最大價值。
透過上述方式則可以得到每個偏移值對應的最終價值。
步驟S3033：將所述最終價值之和最大的偏移序列，確定為滿足要求的偏移序列。
在本申請的一些實施例中，可以將偏移序列中的各偏移值的最終價值進行加總處理，得到該偏移序列對應的總價值。而後選擇總價值最大的偏移序列作為滿足要求的偏移序列。
透過上述方式，可以得到總價值最大的偏移序列，該總價值最大即表示偏移序列對應的轉動路徑對應的轉動指令為最優的選擇。
在得到滿足要求的偏移序列之後，即可以根據該偏移序列中每個偏移值在價值表中對應的最大價值對應的轉動指令，組合生成控制指令。而後可以將該控制指令傳輸給智慧移動設備，使得智慧移動設備根據該控制指令執行轉動操作。
在本申請的一些實施例中，可以根據生成的控制指令控制智慧移動設備移動。其中，控制指令中可以包括電機的轉動角度、轉動方向等參數，或者也可以包括電機轉速、電機轉動時間、是否停止等控制指令。
本申請實施例可採用差速轉向的方式控制移動設備移動，例如智慧移動設備可以為智慧移動車，其可以包括左右兩個驅動輪，本申請實施例可以基於控制指令控制左右兩個驅動輪的轉速實現轉向和移動。驅動輪轉速不同時，即使無轉向輪或者轉向輪不動作，車身也會轉動。本申請實施例中，兩個驅動輪轉速的不同可以透過操作安裝在左右半軸上的兩個單獨的離合器或制動裝置來實現。
智慧移動設備根據左右驅動輪的不同的轉速和轉動角度，可以實現不同轉動軌跡。不同轉動軌跡下，小車採集到的圖片不同，然後透過不斷最佳化，調整智慧移動車的位置，最終保證目標物件在圖像中心，實現目標物件的跟蹤。
另外，在本申請的一些實施例中，還可以根據檢測到的目標物件的大小來確定智慧移動設備的前進或者後退等移動。第6圖為本申請實施例提供的一種目標跟蹤方法的另一流程示意圖，如第6圖所示，所述目標跟蹤方法還包括：
步驟S41：基於所述目標物件的位置區域，確定用於控制所述智慧移動設備移動的控制指令，其中，可以判斷目標物件的位置區域的面積是否在第一閾值和第二閾值之間的範圍內。本申請實施例的執行步驟S20的過程中，可以得到目標物件在採集的圖像中的位置區域，本申請實施例可以根據該位置區域的面積對智慧移動設備的移動方向進行控制。
其中，可以根據得到的目標物件的位置區域，確定該位置區域的面積，並比較該面積和第一閾值以及第二閾值。其中第一閾值和第二閾值可以為預設的參考閾值，第一閾值大於第二閾值，本申請實施例對具體數值不作限定。
步驟S42：在所述目標物件的位置區域對應的面積大於第一閾值的情況下，生成用於控制所述智慧移動設備後退的控制指令； 本申請實施例中，在檢測到的目標物件的位置區域的面積大於第一閾值時，即表明該目標物件與智慧移動設備之間的距離較近，此時可以向後移動智慧移動設備。其中可以生成控制所述智慧移動設備後退的控制指令，直至檢測到的目標物件的位置區域的面積小於第一閾值且大於第二閾值。
步驟S43：在所述目標物件的位置區域對應的面積小於第二閾值的情況下，生成用於控制所述智慧移動設備前進的控制指令，所述第一閾值大於第二閾值。
本申請實施例中，在檢測到的目標物件的位置區域的面積小於第二閾值時，即表明該目標物件與智慧移動設備之間的距離較遠，此時可以向前移動智慧移動設備。其中可以生成控制所述智慧移動設備前進的控制指令，直至檢測到的目標物件的位置區域的面積小於第一閾值且大於第二閾值。
對應的，智慧移動設備可以根據接收到的前進或者後退的控制指令執行前進或者後退操作。
透過上述方式，可以實現根據目標物件的大小控制智慧移動設備的移動，保持檢測到的目標物件（如人臉）的位置區域對應的面積在第二閾值和第一閾值之間，實現智慧移動設備的移動方向的控制。
本申請實施例中的目標跟蹤方法的應用主體可以為智慧移動設備，或者也可以為安裝在智慧移動設備中的裝置，該裝置用以控制智慧移動設備的移動。下面以應用本申請實施例的目標跟蹤方法的智慧移動設備為教育機器人，教育機器人的管理裝置為樹莓派，以及目標物件為人臉為例進行說明，以清楚的體現本申請實施例。第7圖為本申請實施例提供的一種目標跟蹤方法的應用示例圖，其中，攝影機701與樹莓派702連接，用以將攝影機701採集的圖像或者影片傳輸給樹莓派702，其中攝影機701和樹莓派702可以透過通用序列匯流排（Universal Serial Bus，USB）埠連接進行資料傳輸，但該連接方式不作為本申請實施例的限定。而後可以執行下述過程。
一、樹莓派圖像採集及圖像預處理。
本申請實施例的應用領域可以為教育背景下的智慧型機器人，智慧型機器人可以實現人臉檢測及跟蹤功能。其中，樹莓派702可以執行圖像的處理過程，本申請實施例的樹莓派702可以執行圖像的預處理以及目標檢測處理，樹莓派可以集成有目標檢測網路。由於透過攝影機701採集到圖像類型不盡相同，所以在將圖像傳輸給目標檢測網路模型之前，樹莓派702需要對圖像資料進行必要的預處理工作。
預處理流程包括以下四個部分，第8圖為本申請實施例提供的預處理過程的流程示意圖，如第8圖所示，包括： 步驟S51，接收採集的影片資料。 步驟S52，將所述影片資料分幀為圖片資料。 步驟S53，統一圖片大小。 步驟S54，將所述圖片轉換為灰階圖。 步驟S55，將圖片歸一化。
圖像分幀是指將採集到的影片資料分解為一幀幀的圖像，然後將圖像大小統一到640*480大小範圍。由於彩色圖像在處理時會消耗掉大量資源，但是對於檢測效果影響較小，因此，本申請實施例忽略顏色特徵，將圖像直接轉換灰階圖像然後送到目標檢測網路中進行檢測工作。最後為了圖像處理方便性，將圖像進行歸一化處理，就是將圖像資料的每一維原始資料減去每一維資料的平均值，將結果代替原始資料，然後再將每一維的資料除以每一維資料的標準差，這樣就可以將圖像資料歸一化處理到相同尺度。
二、基於深度神經網路模型實現人臉檢測。
輸入：攝影機701採集得到圖片。
輸出：人臉檢測座標位置。
在本申請實施例可以透過樹莓派702中的目標檢測網路執行圖像中的人臉識別和檢測，即本申請實施例可以利用深度學習技術實現人臉檢測技術，其中深度學習技術實現人臉檢測技術分為模型訓練和模型應用兩個階段，第9圖為本申請實施例提供的目標檢測網路的訓練過程示意圖，如第9圖所示，訓練過程包括： 步驟S61，採集人臉資料集圖片。
人臉資料集圖片包括各個年齡、各個地域的人臉圖片，並對人臉圖片進行人工標注，得到人臉座標位置。構建人臉資料集，並將該資料集劃分為訓練集、測試集和驗證集三部分。
步驟S62，構建神經網路模型。
在實際實現時，步驟S62可以透過以下步驟實現：
步驟S621，透過疊加卷積層和池化層實現特徵提取。
步驟S622，利用分類器對提取出的特徵進行分類。
在實現時，可以透過全連接層（分類器）實現分類。
步驟S63，神經網路模型訓練。
透過一系列梯度最佳化演算法實現模型訓練，經過大量反覆運算訓練後，可以得到訓練好的模型，用於模型測試。
步驟S64，得到訓練好的神經網路模型。
本申請實施例中，模型的訓練過程即為目標檢測網路（神經網路模型）的訓練過程。
第10圖為本申請實施例提供的目標檢測網路的應用過程示意圖，如第10圖所示，應用過程包括： 步驟S71，採集人臉圖片。
步驟S72，將經過預處理過的圖片送入已經訓練好的模型中。
步驟S73，得到人臉座標位置。
本申請實施例中，將經過預處理過的圖片送入已經訓練好的模型中，經過前向計算後可以輸出圖片中人臉座標位置。
三、將檢測結果發送至教育機器人EV3（同上述實施例中的智慧型機器人）。
透過上述實施例，可以透過樹莓派702完成人臉座標位置檢測，然後可以透過根據已經定義好的通訊協定規範，可以將該人臉座標位置封裝到資料包中。在完成資料封裝後，透過序列埠發送至智慧移動設備703中的處理器或者控制器，其中智慧移動設備703可以為教育機器人EV3，而後智慧移動設備703可以根據接收到的人臉位置完成後續人臉跟蹤。
四、EV3根據人臉位置座標，進行路徑規劃。
教育機器人EV3接收並解析從樹莓派702側發送的資料包，可以得到人臉座標位置，然後完成路徑規劃。其中可以採用強化學習演算法實現路徑規劃。強化學習主要包括狀態、獎賞和動作因素。其中，狀態即每次檢測得到的人臉座標位置，獎賞可以定義為人臉中心距離圖片中心的歐式距離，動作即每次執行的電機運動指令，在教育機器人EV3中，可以控制電機動作如表1。透過神經Q-learning演算法模型，可以進行路徑規劃。定義Q函數如下，輸入包括狀態和動作，返回在特定狀態下執行某一動作的獎賞值。
第11圖為本申請實施例提供的基於強化學習路徑規劃演算法的流程示意圖，如第11圖所示，包括： 步驟S81，初始化Q值表。 步驟S82，從動作集合中選定特定電機執行指令。 步驟S83，執行特定電機執行指令。 步驟S84，計算該狀態的Q值表。
步驟S85，更新Q值表。
教育機器人EV3的動作集合見表1，狀態集合透過人臉座標來確定跟蹤效果，即人臉位置距離圖片中心的距離作為獎賞函數，透過衡量不同動作的獎賞函數來更新Q值表，最後可以得到最優Q值表對，Q值表對包含最佳的動作序列，即電機執行指令。
五、智慧移動設備703根據運動指令（同上述各個實施例中的控制指令），實現人臉跟蹤。
如教育機器人等智慧移動設備採用差速轉向機制，小車透過控制左右兩個驅動輪704和705的轉速實現轉向。驅動輪轉速不同時，即使無轉向輪或者轉向輪不動作，車身也會旋轉。驅動輪轉速的不同可以透過操作安裝在左右半軸上的兩個單獨的離合器或制動裝置來實現。
智慧移動設備703可以根據左右輪不同的轉速和旋轉角度，實現不同旋轉軌跡。不同旋轉軌跡下，小車採集到的圖片不同，然後不斷最佳化動作，調整小車位置，最終保證人臉位置在圖片中心，實現人臉跟蹤功能。
另外，本申請實施例中的智慧移動設備上還可以設置有感測器706，例如距離感測器、觸碰感測器等，用於感測智慧移動設備703周圍環境的相關資訊，並可以根據感測到的周圍環境的相關資訊控制智慧移動設備703的工作模式、移動參數等。
上述僅為示例性舉例說明，不作為本申請實施例的具體限定。
綜上所述，本申請實施例提供的目標跟蹤方法，可以得到採集的圖像中目標物件的位置，並根據該目標物件的位置與圖像中心之間的距離，得到智慧移動設備的控制指令，該控制指令用於調整智慧移動設備的轉動角度，得到的控制指令包括至少一個偏移值對應的轉動指令，其中各偏移值形成的偏移序列與目標物件和圖像中心之間的距離來確定，透過得到的控制指令可以使得轉動後的目標物件能夠在採集的圖像的中心，從而使得目標物件在智慧移動設備的跟蹤範圍內。本申請實施例可以即時的根據目標物件的位置執行目標跟蹤，具有更加方便、準確且提高了智慧移動設備的效能的特點。
另外，本申請實施例可以利用深度學習技術完成人臉檢測（利用神經網路實現目標檢測），相比于傳統的目標檢測方法準確性和速度有明顯地提升。本申請實施例還可以利用強化學習演算法，透過Q-learning技術進行路徑規劃，可以選取最佳的轉動路徑。本申請實施例還可以適用於不同場景需求，可擴展性好。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
可以理解，本申請提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例。
此外，本申請實施例還提供了目標跟蹤裝置、智慧移動設備、電腦可讀儲存介質、程式，上述均可用來實現本申請實施例提供的任一種目標跟蹤方法，相應技術方案和描述和參見方法部分的相應記載。
第12圖為本申請實施例提供的一種目標跟蹤裝置的結構示意圖，如第12圖所示，所述目標跟蹤裝置包括： 圖像採集模組10，其配置為採集圖像； 目標檢測模組20，其配置為確定所述圖像中的目標物件的位置； 控制模組30，其配置為基於所述目標物件的位置和所述圖像的中心位置之間的距離，確定控制智慧移動設備轉動的控制指令，其中，所述控制指令用於使得所述目標物件的位置位於所述圖像的中心位置，且所述控制指令包括構成所述距離的偏移序列中的偏移值對應的控制指令，所述偏移序列包括至少一個偏移值。
在本申請的一些實施例中，所述裝置還包括預處理模組，其配置為對所述圖像執行預處理操作，所述預處理操作包括：將所述圖像調整成預設規格的灰階圖像，以及對所述灰階圖像執行歸一化處理； 所述目標檢測模組還配置為對所述預處理操作後得到的圖像執行目標檢測處理，獲得所述預處理操作後的圖像中所述目標物件的位置； 基於所述預處理操作後的圖像中所述目標物件的位置，確定所述圖像中所述目標物件的位置。
在本申請的一些實施例中，所述預處理模組執行所述對所述灰階圖像執行歸一化處理的步驟包括： 確定所述灰階圖像中各像素點的像素值的平均值和標準差； 獲得所述各像素點的像素值與所述平均值之間的差值； 將所述各像素點對應的所述差值和所述標準差之間的比值，確定為所述像素點歸一化後的像素值。
在本申請的一些實施例中，所述目標檢測模組還配置為提取所述圖像的圖像特徵； 對所述圖像特徵執行分類處理，得到所述圖像中的目標物件的位置區域； 將所述位置區域的中心位置確定為所述目標物件的位置。
在本申請的一些實施例中，所述目標物件包括人臉； 對應地，所述目標檢測模組還配置為確定所述圖像中人臉的位置。
在本申請的一些實施例中，所述控制模組還配置為基於所述圖像中的目標物件的位置與所述圖像的中心位置之間的距離，確定目標偏移量； 基於所述目標偏移量生成多組偏移序列，並且每組偏移序列中的偏移值的加總值為所述目標偏移量； 利用強化學習演算法，從所述多組偏移序列中選擇出滿足要求的偏移序列，並得到所述滿足要求的偏移序列對應的控制指令。
在本申請的一些實施例中，所述控制模組還配置為針對所述多組偏移序列中各偏移值，確定價值表中與所述偏移值對應的最大價值，所述價值表包括偏移值在不同轉動指令下對應的價值； 獲得所述偏移值對應的獎賞值，並基於所述偏移值對應的所述獎賞值和所述最大價值，確定所述偏移值的最終價值，所述獎賞值為在未執行所述偏移值的最大價值對應的轉動指令的情況下，目標物件的位置與圖像中心的距離； 將所述多組偏移序列中各偏移值的所述最終價值之和最大的偏移序列，確定為滿足要求的偏移序列。
在本申請的一些實施例中，所述控制模組還配置為基於所述滿足要求的偏移序列中各偏移值的最大價值對應的轉動指令，確定所述控制指令。
在本申請的一些實施例中，所述目標檢測模組還配置為基於所述目標物件的位置區域，確定控制所述智慧移動設備移動的控制指令，其中， 在所述目標物件的位置區域對應的面積大於第一閾值的情況下，生成控制所述智慧移動設備後退的控制指令； 在所述目標物件的位置區域對應的面積小於第二閾值的情況下，生成控制所述智慧移動設備前進的控制指令，所述第一閾值大於第二閾值。
另外，本申請實施例還提供了一種智慧移動設備，該智慧移動設備包括上述實施例所述的目標跟蹤裝置，所述目標跟蹤裝置內的目標檢測網路集成在智慧移動設備的管理裝置中，透過所述管理裝置執行所述圖像採集模組採集的圖像的目標檢測處理，得到所述目標物件的位置； 所述控制模組與所述管理裝置連接，並用於根據所述管理裝置得到目標物件的位置生成所述控制指令，並根據所述控制指令控制所述智慧移動設備轉動。
在本申請的一些實施例中，所述管理裝置為樹莓派。
在本申請的一些實施例中，所述智慧移動設備包括教育機器人。
在本申請的一些實施例中，所述管理裝置還集成有所述目標跟蹤裝置的預處理模組以配置為對所述圖像執行預處理操作，並對所述預處理操作後的圖像執行目標檢測處理，得到所述圖像中目標物件的位置。
在一些實施例中，本申請實施例提供的裝置具有的功能或包含的模組可以配置為執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述。
本申請實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本申請實施例還提出一種智慧移動設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為上述方法。
第13圖為本申請實施例提供的一種智慧移動設備的結構示意圖。例如，智慧移動設備800可以是任意的能夠執行圖像處理的設備或者能夠執行目標跟蹤的移動設備。
參照第13圖，設備800可以包括以下一個或多個元件：處理元件802，記憶體804，電源元件806，多媒體元件808，音訊元件810，輸入/輸出（Input Output，I/ O）的介面812，感測器元件814，以及通訊元件816。
處理元件802通常控制設備800的整體操作，諸如與顯示，電話呼叫，資料通訊，相機操作和記錄操作相關聯的操作。處理元件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理元件802可以包括一個或多個模組，便於處理元件802和其他元件之間的交互。例如，處理元件802可以包括多媒體模組，以方便多媒體元件808和處理元件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在設備800的操作。這些資料的示例包括用於在設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，影片等。記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體（Static Random-Access Memory，SRAM）、電可擦除可程式設計唯讀記憶體（Electrically Erasable Programmable Read Only Memory，EEPROM）、可擦除可程式設計唯讀記憶體（Electrical Programmable Read Only Memory ，EPROM）、可程式設計唯讀記憶體（Programmable Read-Only Memory，PROM），唯讀記憶體（Read-Only Memory，ROM）、磁記憶體、快閃記憶體、磁片或光碟。
電源元件806為設備800的各種元件提供電力。電源元件806可以包括電源管理系統，一個或多個電源，及其他與為設備800生成、管理和分配電力相關聯的組件。
多媒體元件808包括在所述設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器（Liquid Crystal Display，LCD）和觸控面板（Touch Pad，TP）。如果螢幕包括觸控面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸控面板包括一個或多個觸控感測器以感測觸摸、滑動和觸控面板上的手勢。所述觸控感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體元件808包括一個前置攝影機和/或後置攝影機。當設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影機和/或後置攝影機可以接收外部的多媒體資料。每個前置攝影機和後置攝影機可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音訊元件810被配置為輸出和/或輸入音訊信號。例如，音訊元件810包括一個麥克風（MIC），當設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音訊信號。所接收的音訊信號可以被進一步儲存在記憶體804或經由通訊元件816發送。在一些實施例中，音訊元件810還包括一個揚聲器，用於輸出音訊信號。
I/ O介面812為處理元件802和周邊介面模組之間提供介面，上述周邊介面模組可以是鍵盤、點擊輪、按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器元件814包括一個或多個感測器，用於為設備800提供各個方面的狀態評估。例如，感測器元件814可以檢測到設備800的打開/關閉狀態，元件的相對定位，例如所述元件為設備800的顯示器和小鍵盤，感測器元件814還可以檢測設備800或設備800一個元件的位置改變，使用者與設備800接觸的存在或不存在，設備800方位或加速/減速和設備800的溫度變化。感測器元件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器元件814還可以包括光感測器，如互補金屬氧化物半導體（Complementary Metal Oxide Semiconductor，CMOS）或電荷耦合器件（Charge Coupled Device，CCD）圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器元件814還可以包括加速度感測器、陀螺儀感測器、磁感測器、壓力感測器或溫度感測器。
通訊元件816被配置為便於設備800和其他設備之間有線或無線方式的通訊。設備800可以接入基於通訊標準的無線網路，如WiFi、2G或3G，或它們的組合。在一個示例性實施例中，通訊元件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通訊元件816還包括近場通訊（Near Field Communication，NFC）模組，以促進短程通訊。例如，在NFC模組可基於射頻識別（Radio Frequency Identification，RFID）技術、紅外資料協會（Infrared Data Association，IrDA）技術、超寬頻（Ultra Wide Band，UWB）技術、藍牙（Bluetooth，BT）技術和其他技術來實現。
在示例性實施例中，設備800可以被一個或多個應用專用積體電路（Application Specific Integrated Circuit，ASIC）、數位訊號處理器（Digital Signal Processor，DSP）、數位信號處理設備（Digital Signal Process，DSPD）、可程式設計邏輯器件（Programmable Logic Device，PLD）、現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）、控制器、微控制器、微處理器或其他電子元件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由設備800的處理器820執行以完成上述方法。
本申請實施例可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本申請實施例的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是但不限於電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子（非窮舉的列表）包括：可擕式電腦盤、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦式可程式設計唯讀記憶體（EPROM或快閃記憶體）、靜態隨機存取記憶體（SRAM）、可擕式壓縮磁碟唯讀記憶體（CD-ROM）、數位多功能盤（Digital Video Disc，DVD）、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、透過波導或其他傳輸媒介傳播的電磁波（例如，透過光纖電纜的光脈衝）、或者透過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者透過網路、例如網際網路、區域網路、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本申請實施例操作的電腦程式指令可以是彙編指令、指令集架構（ISA）指令、機器指令、機器相關指令、微代碼、韌體指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言—諸如Smalltalk、C++等，以及常規的過程式程式設計語言—諸如「C」語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以透過任意種類的網路—包括區域網路（Local Area Network，LAN）或廣域網路（Wide Area Network，WAN）—連接到使用者電腦，或者，可以連接到外部電腦（例如利用網際網路服務提供者來透過網際網路連接）。在一些實施例中，透過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）或可程式設計邏輯陣列（Programmable Logic Array，PLA），該電子電路可以執行電腦可讀程式指令，從而實現本申請實施例的各個方面。
這裡參照根據本申請實施例的方法、裝置（系統）和電腦程式產品的流程圖和/或框圖描述了本申請實施例的各個方面。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在透過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作。
附圖中的流程圖和框圖顯示了根據本申請的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本申請的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。 工業實用性
本申請實施例公開了一種目標跟蹤方法、智慧移動設備和儲存介質，所述方法包括：獲取採集的圖像；確定所述圖像中的目標物件的位置；基於所述目標物件的位置和所述圖像的中心位置之間的距離，得到用於控制智慧移動設備控制指令，其中，所述控制指令用於使得所述目標物件的位置位於所述圖像的中心位置，且所述控制指令包括構成所述距離的偏移序列中的偏移值對應的轉動指令，所述偏移序列包括至少一個偏移值。本申請實施例可實現目標物件的即時跟蹤。
S10,S20,S30:步驟 S11,S12:步驟 S201,S202,S203:步驟 S301,S302,S303:步驟 S3031,S3032,S3033:步驟 S41,S42,S43:步驟 701:攝影機 702:樹莓派 703:智慧移動設備 704,705:驅動輪 S51~S55:步驟 S61~S64,S621,S622:步驟 S71,S72,S73:步驟 S81,S82,S83,S84,S85:步驟 10:圖像採集模組 20:目標檢測模組 30:控制模組 800:智慧移動設備 802:處理元件 804:記憶體 806:電源元件 808:多媒體元件 810:音訊元件 812:輸入/輸出介面 814:感測器元件 816:通訊元件 820:處理器
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本申請的實施例，並與說明書一起用於說明本申請實施例的技術方案。
第1圖為本申請實施例提供的一種目標跟蹤方法的流程示意圖。 第2圖為本申請實施例提供的對圖像執行預處理的流程示意圖。 第3圖為本申請實施例提供的一種目標跟蹤方法中步驟S20的流程示意圖。 第4圖為本申請實施例提供的一種目標跟蹤方法中步驟S30的流程示意圖。 第5圖為本申請實施例提供的一種目標跟蹤方法中步驟S303的流程示意圖。 第6圖為本申請實施例提供的一種目標跟蹤方法的另一流程示意圖。 第7圖為本申請實施例提供的一種目標跟蹤方法的應用示例圖。 第8圖為本申請實施例提供的預處理過程的流程示意圖。 第9圖為本申請實施例提供的目標檢測網路的訓練過程示意圖。 第10圖為本申請實施例提供的目標檢測網路的應用過程示意圖。 第11圖為本申請實施例提供的基於強化學習路徑規劃演算法的流程示意圖。 第12圖為本申請實施例提供的一種目標跟蹤裝置的結構示意圖。 第13圖為本申請實施例提供的一種智慧移動設備的結構示意圖。
S10,S20,S30:步驟

Claims (10)

  1. 一種目標跟蹤方法，包括：獲取採集的圖像；提取所述圖像的圖像特徵；對所述圖像特徵執行分類處理，得到所述圖像中的目標物件的位置區域；將所述位置區域的中心位置確定為所述目標物件的位置；基於所述目標物件的位置區域，確定用於控制所述智慧移動設備移動的控制指令，其中，響應於所述目標物件的位置區域對應的面積大於第一閾值，生成用於控制所述智慧移動設備後退的控制指令；響應於所述目標物件的位置區域對應的面積小於第二閾值，生成用於控制所述智慧移動設備前進的控制指令，所述第一閾值大於第二閾值；基於所述目標物件的位置和所述圖像的中心位置之間的距離，確定用於控制智慧移動設備轉動的控制指令，其中，所述控制指令用於使得所述目標物件的位置位於所述圖像的中心位置，且所述控制指令包括構成所述距離的偏移序列中的偏移值對應的轉動指令，所述偏移序列包括至少一個偏移值。
  2. 根據請求項1所述的方法，在確定所述圖像中的目標物件的位置之前，所述方法還包括對所述圖像執行預處理操作，所述預處理操作包括：將所述圖像調整成預設規格的灰階圖像，以及對所述灰階圖像執行歸一化處理；其中，所述確定所述圖像中的目標物件的位置，包括：對所述預處理操作後得到的圖像執行目標檢測處理，獲得所述預處理操作後的圖像中所述目標物件的位置；基於所述預處理操作後的圖像中所述目標物件的位置，確定所述圖像中所述目標物件的位置。
  3. 根據請求項2所述的方法，所述對所述灰階圖像執行歸一化處理，包括：確定所述灰階圖像中各像素點的像素值的平均值和標準差；獲得所述各像素點的像素值與所述平均值之間的差值；將所述各像素點對應的所述差值和所述標準差之間的比值，確定為所述各像素點歸一化後的像素值。
  4. 根據請求項1至3中任意一項所述的方法，所述目標物件包括人臉；對應地，所述確定所述圖像中的目標物件的位置，包括：確定所述圖像中人臉的位置。
  5. 根據請求項1至3中任意一項所述的方法，所述基於所述目標物件的位置和所述圖像的中心位置之間的距離，確定用於控制智慧移動設備轉動的控制指令，包括：基於所述圖像中的目標物件的位置與所述圖像的中心位置之間的距離，確定目標偏移量；基於所述目標偏移量生成多組偏移序列，並且每組偏移序列中的偏移值的加總值為所述目標偏移量；利用強化學習演算法，從所述多組偏移序列中選擇出滿足要求的偏移序列，並確定所述滿足要求的偏移序列對應的控制指令。
  6. 根據請求項5所述的方法，所述利用強化學習演算法，從所述多組偏移序列中選擇出滿足要求的偏移序列，包括：針對所述多組偏移序列中各偏移值，確定價值表中與所述偏移值對應的最大價值，所述價值表包括偏移值在不同轉動指令下對應的價值；獲得所述偏移值對應的獎賞值，並基於所述偏移值對應的所述獎賞值和所 述最大價值，確定所述偏移值的最終價值，所述獎賞值為在未執行所述偏移值的最大價值對應的轉動指令的情況下，目標物件的位置與所述圖像的中心位置之間的距離；將所述多組偏移序列中各偏移值的所述最終價值之和最大的偏移序列，確定為滿足要求的偏移序列。
  7. 根據請求項5所述的方法，所述確定所述滿足要求的偏移序列對應的控制指令，包括：基於所述滿足要求的偏移序列中各偏移值的最大價值對應的轉動指令，確定所述控制指令。
  8. 根據請求項1至3中任意一項所述的方法，所述方法還包括：基於所述控制指令驅動所述智慧移動設備執行轉動。
  9. 一種智慧移動設備，包括：處理器；配置為儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至8中任意一項所述的方法。
  10. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至8中任意一項所述的方法。
TW109120760A 2019-07-17 2020-06-19 目標跟蹤方法、智慧移動設備和儲存介質 TWI755762B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910646696.8 2019-07-17
CN201910646696.8A CN110348418B (zh) 2019-07-17 2019-07-17 目标跟踪方法及装置、智能移动设备和存储介质

Publications (2)

Publication Number Publication Date
TW202105326A TW202105326A (zh) 2021-02-01
TWI755762B true TWI755762B (zh) 2022-02-21

Family

ID=68175655

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110149350A TW202215364A (zh) 2019-07-17 2020-06-19 目標跟蹤方法、智慧移動設備和儲存介質
TW109120760A TWI755762B (zh) 2019-07-17 2020-06-19 目標跟蹤方法、智慧移動設備和儲存介質

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW110149350A TW202215364A (zh) 2019-07-17 2020-06-19 目標跟蹤方法、智慧移動設備和儲存介質

Country Status (5)

Country Link
JP (1) JP2022507145A (zh)
KR (1) KR20210072808A (zh)
CN (1) CN110348418B (zh)
TW (2) TW202215364A (zh)
WO (1) WO2021008207A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348418B (zh) * 2019-07-17 2022-03-11 上海商汤智能科技有限公司 目标跟踪方法及装置、智能移动设备和存储介质
CN112207821B (zh) * 2020-09-21 2021-10-01 大连遨游智能科技有限公司 视觉机器人的目标搜寻方法及机器人
CN113139655B (zh) * 2021-03-31 2022-08-19 北京大学 一种基于强化学习的目标追踪的训练方法、追踪方法
CN115250329B (zh) * 2021-04-28 2024-04-19 深圳市三诺数字科技有限公司 摄像头的控制方法、装置、计算机设备及存储介质
CN113409220A (zh) * 2021-06-28 2021-09-17 展讯通信(天津)有限公司 人脸图像处理方法、装置、介质及设备
CN113625658B (zh) * 2021-08-17 2022-12-06 杭州飞钛航空智能装备有限公司 偏移信息处理方法、装置、电子设备和制孔机构
CN115037877A (zh) * 2022-06-08 2022-09-09 湖南大学重庆研究院 自动跟随方法、装置以及安全监测方法、装置
WO2024092526A1 (zh) * 2022-11-01 2024-05-10 深圳市昊一源科技有限公司 相机的控制装置以及相机
CN117238039B (zh) * 2023-11-16 2024-03-19 暗物智能科技(广州)有限公司 基于顶视视角的多任务人体行为分析方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104751486A (zh) * 2015-03-20 2015-07-01 安徽大学 一种多ptz相机的运动目标接力跟踪算法
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统
US20180182109A1 (en) * 2016-12-22 2018-06-28 TCL Research America Inc. System and method for enhancing target tracking via detector and tracker fusion for unmanned aerial vehicles
JP6359644B2 (ja) * 2013-05-02 2018-07-18 クアルコム，インコーポレイテッド コンピュータビジョンアプリケーション初期化を容易にするための方法
CN108351654A (zh) * 2016-02-26 2018-07-31 深圳市大疆创新科技有限公司 用于视觉目标跟踪的系统和方法
CN108549413A (zh) * 2018-04-27 2018-09-18 全球能源互联网研究院有限公司 一种云台旋转控制方法、装置及无人飞行器
CN108806146A (zh) * 2018-06-06 2018-11-13 合肥嘉仕诚能源科技有限公司 一种安防监控动态目标锁定追踪方法及系统
US20190011922A1 (en) * 2016-03-01 2019-01-10 SZ DJI Technology Co., Ltd. Methods and systems for target tracking
TW201908859A (zh) * 2017-07-18 2019-03-01 大陸商杭州他若信息科技有限公司 智能目標追蹤

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
US7430315B2 (en) * 2004-02-13 2008-09-30 Honda Motor Co. Face recognition system
JP3992026B2 (ja) * 2004-07-09 2007-10-17 船井電機株式会社 自走ロボット
JP2010176504A (ja) * 2009-01-30 2010-08-12 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN101888479B (zh) * 2009-05-14 2012-05-02 汉王科技股份有限公司 检测和跟踪目标图像的方法及装置
JP2012191265A (ja) * 2011-03-08 2012-10-04 Nikon Corp 画像処理装置およびプログラム
CN102411368B (zh) * 2011-07-22 2013-10-09 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CN102307297A (zh) * 2011-09-14 2012-01-04 镇江江大科茂信息系统有限责任公司 一种多方位视频目标跟踪检测的智能监控系统
JP6680498B2 (ja) * 2015-09-28 2020-04-15 株式会社日立システムズ 自律飛行移動体、ターゲット追跡方法
CN108431549B (zh) * 2016-01-05 2020-09-04 御眼视觉技术有限公司 具有施加的约束的经训练的系统
CN105740644B (zh) * 2016-03-24 2018-04-13 苏州大学 一种基于模型学习的清洁机器人最优目标路径规划方法
CN107798723B (zh) * 2016-08-30 2021-11-19 北京神州泰岳软件股份有限公司 一种目标跟踪控制的方法和装置
CN109040574A (zh) * 2017-06-08 2018-12-18 北京君正集成电路股份有限公司 一种转动摇头机跟踪目标的方法及装置
CN109992000B (zh) * 2019-04-04 2020-07-03 北京航空航天大学 一种基于分层强化学习的多无人机路径协同规划方法及装置
CN110348418B (zh) * 2019-07-17 2022-03-11 上海商汤智能科技有限公司 目标跟踪方法及装置、智能移动设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6359644B2 (ja) * 2013-05-02 2018-07-18 クアルコム，インコーポレイテッド コンピュータビジョンアプリケーション初期化を容易にするための方法
CN104751486A (zh) * 2015-03-20 2015-07-01 安徽大学 一种多ptz相机的运动目标接力跟踪算法
CN108351654A (zh) * 2016-02-26 2018-07-31 深圳市大疆创新科技有限公司 用于视觉目标跟踪的系统和方法
US20190011922A1 (en) * 2016-03-01 2019-01-10 SZ DJI Technology Co., Ltd. Methods and systems for target tracking
US20180182109A1 (en) * 2016-12-22 2018-06-28 TCL Research America Inc. System and method for enhancing target tracking via detector and tracker fusion for unmanned aerial vehicles
TW201908859A (zh) * 2017-07-18 2019-03-01 大陸商杭州他若信息科技有限公司 智能目標追蹤
CN107992099A (zh) * 2017-12-13 2018-05-04 福州大学 一种基于改进帧差法的目标运动视频跟踪方法及系统
CN108549413A (zh) * 2018-04-27 2018-09-18 全球能源互联网研究院有限公司 一种云台旋转控制方法、装置及无人飞行器
CN108806146A (zh) * 2018-06-06 2018-11-13 合肥嘉仕诚能源科技有限公司 一种安防监控动态目标锁定追踪方法及系统

Also Published As

Publication number Publication date
WO2021008207A1 (zh) 2021-01-21
TW202215364A (zh) 2022-04-16
TW202105326A (zh) 2021-02-01
KR20210072808A (ko) 2021-06-17
CN110348418A (zh) 2019-10-18
JP2022507145A (ja) 2022-01-18
CN110348418B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
TWI755762B (zh) 目標跟蹤方法、智慧移動設備和儲存介質
US11468581B2 (en) Distance measurement method, intelligent control method, electronic device, and storage medium
KR102341456B1 (ko) 2-단계 모션 보상을 가진 콘볼루션 뉴럴 네트워크를 사용하는 비디오 슈퍼 해상도를 위한 방법 및 장치
US20200387698A1 (en) Hand key point recognition model training method, hand key point recognition method and device
TWI724736B (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
TWI766286B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
JP7236565B2 (ja) 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム
US10834321B2 (en) Focusing method, device and storage medium
EP3736627B1 (en) Electronic device comprising camera
WO2021164469A1 (zh) 目标对象的检测方法、装置、设备和存储介质
KR101623642B1 (ko) 로봇 청소기, 단말장치의 제어방법 및 이를 포함하는 로봇 청소기 제어 시스템
US20220262035A1 (en) Method, apparatus, and system for determining pose
WO2020220973A1 (zh) 拍摄方法及移动终端
WO2022193507A1 (zh) 图像处理方法及装置、设备、存储介质、程序和程序产品
JP7472281B2 (ja) 電子機器及びフォーカス方法
US20230245344A1 (en) Electronic device and controlling method of electronic device
CN105608469A (zh) 图像分辨率的确定方法及装置
WO2022110801A1 (zh) 数据处理方法及装置、电子设备和存储介质
US11598929B2 (en) Terminal device, lens adjustment method and computer-readable storage medium
CN114283395A (zh) 车道线检测的方法、装置、设备及计算机可读存储介质
WO2023216957A1 (zh) 一种目标定位方法、系统和电子设备
US11871107B2 (en) Automatic camera selection
KR20220061812A (ko) 전자 장치 및 전자 장치의 제어 방법
US20210281765A1 (en) Team photographing method and apparatus, and storage medium
KR20240030613A (ko) 딥러닝 기반의 카드 인식 방법 및 그 시스템