TWI758162B - 生物形體的追蹤系統及方法 - Google Patents

生物形體的追蹤系統及方法 Download PDF

Info

Publication number
TWI758162B
TWI758162B TW110113572A TW110113572A TWI758162B TW I758162 B TWI758162 B TW I758162B TW 110113572 A TW110113572 A TW 110113572A TW 110113572 A TW110113572 A TW 110113572A TW I758162 B TWI758162 B TW I758162B
Authority
TW
Taiwan
Prior art keywords
target creature
image
creature
target
module
Prior art date
Application number
TW110113572A
Other languages
English (en)
Other versions
TW202242446A (zh
Inventor
李易寰
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW110113572A priority Critical patent/TWI758162B/zh
Priority to CN202210049780.3A priority patent/CN115222765A/zh
Priority to US17/591,989 priority patent/US20220335621A1/en
Application granted granted Critical
Publication of TWI758162B publication Critical patent/TWI758162B/zh
Publication of TW202242446A publication Critical patent/TW202242446A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003—Bistatic radar systems; Multistatic radar systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本發明提供一種生物形體的追蹤系統，其包含一影像擷取裝置、一無線射頻收發裝置以及一計算裝置。影像擷取裝置適以擷取一目標生物的影像。無線射頻收發裝置適以向目標生物發射無線訊號，並接收反射自目標生物的複數反射訊號。計算裝置包括一影像追蹤模組、一生物特徵值資料庫以及一比對模組，影像追蹤模組適以根據所擷取的影像對目標生物進行追蹤，比對模組適以將反射訊號與生物特徵值資料庫進行比對，以查找出目標生物的註冊身分，從而使影像追蹤模組保持追蹤於目標生物。本發明也提供一種生物形體的追蹤方法。

Description

生物形體的追蹤系統及方法
本發明係提供一種生物形體的追蹤系統及方法，尤指一種利用無線訊號確認生物的身分者。
目前的攝像裝置具有高解析度，搭配影像辨識的軟體或演算法可即時地辨識人臉以及人的形體，進而可對特定的目標人進行自動追蹤或確認其身分。
然而，當目標人暫時離開攝像裝置的拍攝範圍或被遮蔽時，就無法繼續藉由影像辨識的方式進行追蹤，例如球賽進行時，攝影機藉由影線辨識自動追蹤拍攝某一明星球員，但當此明星球員與其他球員重疊時，攝影機就容易產生追蹤錯誤的情況。
發明人遂竭其心智悉心研究，進而研發出一種生物形體的追蹤系統及方法，以期提高追蹤目標生物的成功率。
本發明的第一態樣提供一種生物形體的追蹤系統，其包含影像擷取裝置、無線射頻收發裝置以及計算裝置。影像擷取裝置適以擷取目標生物的影像。無線射頻收發裝置適以向目標生物發射無線訊號，並接收反射自目標生物的複數反射訊號。計算裝置電性連接於無線射頻收發裝置以及影像擷取模組。計算 裝置包括影像追蹤模組、生物特徵值資料庫以及比對模組。影像追蹤模組適以根據影像擷取裝置所擷取的影像對目標生物進行追蹤，生物特徵值資料庫具有複數生物特徵值資料，各生物特徵值是對應註冊身分，比對模組適以將反射訊號與生物特徵值資料庫的複數生物特徵值進行比對，以查找出目標生物的註冊身分，從而使影像追蹤模組保持追蹤於目標生物。
本發明的第二態樣提供一種生物形體的追蹤方法，係藉由上述生物形體的追蹤系統對目標生物進行追蹤，包含以下步驟：
(1)影像擷取裝置向目標生物拍攝影像。
(2)無線射頻收發裝置向目標生物發射無線訊號，並接收反射自目標生物的反射訊號。
(3)影像追蹤模組根據影像擷取裝置所擷取的影像，追蹤目標生物。
(4)比對模組將反射訊號與生物特徵值資料庫的該些生物特徵值進行比對，以查找出該目標生物的註冊身分。
在一實施例中，更包含確認該目標生物在該影像中是否被遮蔽的步驟，如被遮蔽，該影像追蹤模組根據該影像擷取裝置所擷取的該影像，追蹤對該目標生物，如被遮蔽，該軌跡預測模組預測該目標生物的移動軌跡。
在一實施例中，計算裝置更包含軌跡預測模組。軌跡預測模組適以在目標生物受到遮蔽時預測目標生物的移動軌跡，並搭配反射訊號與生物特徵值的比對結果以保持追蹤目標生物。
在一實施例中，軌跡預測模組所預測的目標生物的移動軌跡是根據影像擷取裝置所拍攝的影像計算出目標生物的速度，以從目標生物被遮蔽前的最後位置估計出目標生物被遮蔽時的預定位置。
在一實施例中，軌跡預測模組更將預定位置延伸為擴大預測範圍。
在一實施例中，無線射頻收發裝置設有複數用於發射無線訊號的發射天線以及用於接收反射訊號的複數接收天線。
在一實施例中，比對模組適以將反射訊號與生物特徵值進行生物形體相似度的比對，以查找出目標生物的註冊身分。
在一實施例中，比對模組適以將反射訊號與生物特徵值進行特徵點陣列的比對，當目標生物所對應的反射訊號與生物特徵值的其中之一之間有複數組特徵點距離的比值近似時，判定查找到目標生物的註冊身分。
在一實施例中，目標生物的註冊身分所對應的生物特徵值是藉由深度學習系統所建立。深度學習系統包括學習裝置、電性連接於學習裝置的學習用影像擷取裝置以及學習用無線射頻收發裝置。學習裝置具有深度學習模型，學習用無線射頻收發裝置適以對目標生物發射無線訊號與接收反射訊號，學習用影像擷取模組適以對目標生物拍攝影像，深度學習模型適以根據反射訊號與影像進行深度學習，以建立目標生物的生物特徵值，從而於生物特徵值資料庫登記目標生物的註冊身分及對應的生物特徵值。
在一實施例中，比對模組更適以在查找不到目標生物的註冊身分時，將目標生物的反射訊號建立為待確認特徵值資料，且計算裝置更包括用於儲存待確認特徵值資料的待確認特徵值資料庫。
在一實施例中，無線射頻收發裝置所發出的無線訊號符合5G至10G之無線網路規格。
在一實施例中，影像擷取裝置為RGB相機或深度相機。
藉此，本發明生物形體的追蹤系統及方法，藉由無線訊號識別出目標生物的身分，從而使影像擷取裝置可保持追蹤於目標生物，有效地提高追蹤目標生物的成功率。
1:生物形體的追蹤系統
10:影像擷取裝置
11:無線射頻收發裝置
111:發射天線
112:接收天線
12:計算裝置
121:影像追蹤模組
122:生物特徵值資料庫
123:比對模組
124:軌跡預測模組
125:待確認特徵值資料庫
2:目標生物
3:深度學習系統
31:學習裝置
310:深度學習模型
32:學習用影像擷取裝置
33:學習用無線射頻收發裝置
50:特徵值資料
D1:特徵長度
D2:特徵長度
P0~P24:特徵點
R1:無線訊號
R2:反射訊號
t:位置
t1:位置
t2:位置
t3:擴大預測範圍
S101:步驟
S102:步驟
S1021:步驟
S103:步驟
S104:步驟
S105:步驟
S106:步驟
r:徑向距離
θ:極角
ψ:方位角
[圖1]係本發明具體實施例生物形體的追蹤系統與目標生物之示意圖。
[圖2]係本發明具體實施例生物形體的追蹤方法之流程示意圖。
[圖3]係本發明具體實施例對目標生物進行軌跡追蹤的示意圖。
[圖4]係本發明具體實施例的深度學習系統與對目標生物進行訓練之示意圖一。
[圖5]係本發明具體實施例對目標生物建立生物特徵值的示意圖。
[圖6]係本發明具體實施例的三維球座標的示意圖。
為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做一詳細說明，說明如後：
請參考圖1，本發明的第一態樣提供一種生物形體的追蹤系統1，其包含影像擷取裝置10、無線射頻收發裝置11以及計算裝置12。影像擷取裝置10適以擷取目標生物2的影像。無線射頻收發裝置11適以向目標生物2發射無線訊號R1，並接收反射自目標生物2的反射訊號R2。計算裝置12電性連接於無線射頻收發裝置11以及影像擷取模組10。計算裝置12包括影像追蹤模組121、生物特徵值資料庫122以及比對模組123。影像追蹤模組121適以根據影像擷取裝置10所擷取的影像對目標生物2進行追蹤。生物特徵值資料庫122具有至少一註冊身分及複數生物特徵值。比對模組123適以將反射訊號R2的特徵值與生物特徵值資料庫的複數生物特徵值進行比對，以查找出目標生物2的註冊身分，從而使影像追蹤模組10保持追蹤於目標生物2。無線射頻收發裝置11設有複數用於發射無線訊號 R1的發射天110線以及用於接收反射訊號R2的複數接收天線111。影像擷取裝置11可為RGB相機或深度RGB相機，但並不僅限於此。無線射頻收發裝置11所發出的無線訊號符合5G至10G之無線網路規格，或可為其他具有穿透力的無線訊號。計算裝置12可為個人電腦、筆記型電腦、工業電腦或其他具有計算能力的電子裝置。
請參閱圖1及圖2，本發明的第二態樣提供一種生物形體的追蹤方法，其包含以下步驟：
步驟S101：以影像擷取裝置10向目標生物2拍攝影像。
步驟S102：以無線射頻收發裝置11向目標生物2發射無線訊號R1，並接收反射自目標生物2的反射訊號R2。
步驟S103：以影像追蹤模組121根據影像擷取裝置10所擷取的影像，對目標生物進行追蹤。
步驟S104：以比對模組123將反射訊號R2的特徵值與生物特徵值資料庫122的複數生物特徵值進行比對，以查找出目標生物2的註冊身分，從而使影像追蹤模組121保持追蹤於目標生物2。
步驟S105：比對模組123查找不到目標生物2的註冊身分。若目標生物2並未先在特徵值資料庫122中建立生物特徵值以及註冊身分，比對模組123將查找不到目標生物2的生物特徵值及其註冊身分。然而也有可能目標生物2在特徵值資料庫122中建立生物特徵值以及註冊身分後，生物形體已改變。當比對模組123查找不到目標生物2的註冊身分時，影像追蹤模組121有可能繼續藉由影像辨識的方式保持追蹤目標生物2，或因失去比對模組123對目標生物2的確認而受到目標生物2周圍的其他生物或障礙物的干擾而追蹤失敗。
步驟S106：將目標生物2的反射訊號R2的特徵值建立為待確認特徵值資料。比對模組123可在查找不到目標生物2的註冊身分而導致追蹤目標生物2失敗時，將目標生物2的反射訊號R2的特徵值建立為待確認特徵值資料，且計算裝置12可更包括用於儲存待確認特徵值資料的待確認特徵值資料庫125。使用者可檢視待確認特徵值資料庫125中的資料，以做為調整特徵值資料庫122的參考。例如確認目標生物2為新的個體而建立一個新的生物特徵值及註冊身分，或更新目標生物2儲存在生物特徵值資料庫122中的生物特徵值。
藉此，本發明生物形體的追蹤系統1及方法，藉由無線訊號識別出目標生物的身分，從而使影像擷取裝置10可保持追蹤於目標生物2，有效地提高追蹤目標生物2的成功率。
如圖1至圖3所示，在一實施例中，計算裝置12可更包含軌跡預測模組124。軌跡預測模組124適以在目標生物2受到遮蔽時預測目標生物2的移動軌跡，並搭配反射訊號R2與生物特徵值的比對結果保持追蹤目標生物2。具體而言，軌跡預測模組124可根據影像擷取裝置10所拍攝的影像計算出目標生物2的速度，當目標生物2暫時被遮蔽而無法攝取影像時，藉由演算法估計移動軌跡。軌跡預測模組124所預測的目標生物2的移動軌跡是根據影像擷取裝置10所拍攝的影像計算出目標生物2的速度，以從目標生物2被遮蔽前的最後位置估計出目標生物2被遮蔽時的預定位置。例如目標生物2由位置t移動到位置t1後開始被遮蔽，但可估計出被遮蔽時的預定位置t2，並以延伸於預定位置的擴大預測範圍t3來提高追蹤的成功率。軌跡預測模組124可為內建演算法的程式語言或軟體。在加入了軌跡預測模組124後，本發明的生物形體的追蹤方法更包含以下步驟：
步驟S1021：確認在影像擷取模組10所拍攝的影像中，目標生物是否被遮蔽，如未被遮蔽，可至步驟S103以影像追蹤模組10保持追蹤於目標生物2，若被遮蔽，則往步驟S107。
步驟S107：當目標生物2被遮蔽時，可藉由軌跡預測模組124預測目標生物2的移動軌跡，並搭配步驟S104中反射訊號R2與生物特徵值的比對結果保持追蹤目標生物2。
如圖1所示，在一實施例中，比對模組123可為內建演算法的程式語言或軟體，用於將目標生物2所反射的反射訊號R2與複數生物特徵值進行生物形體以及特徵點陣列的比對。
如圖4及圖6所示，在一實施例中，目標生物2的註冊身分所對應的生物特徵值可藉由一深度學習系統3所建立。深度學習系統3包括一學習裝置31、電性連接於學習裝置31的一學習用影像擷取裝置32以及一學習用無線射頻收發裝置33。學習裝置31具有一深度學習模型310。學習用無線射頻收發裝置33適以對目標生物2發射無線訊號R1與接收反射訊號R2。學習用影像擷取模組32適以對目標生物2拍攝影像，深度學習模型310適以根據反射訊號R2與同時間所拍攝到的影像進行深度學習，以建立目標生物2的複數生物特徵值，並將目標生物2登記為註冊身分。具體而言，學習用影像擷取裝置32可提供目標生物2的平面影像的複數特徵點給深度學習模型310，例如是以「.json」格式的座標。在圖6中，當目標生物2為人時，共可藉由人工標示出或藉由影像辨識而得到25個特徵點P0至P24。學習用無線射頻收發裝置33提供給深度學習模型310的反射訊號R2的格式可為「.csv」格式的球座標系統的三維球座標(r,θ,ψ)，每一球座標(r,θ,ψ)可逐時間紀錄所收到的反射訊號R2的強度。深度學習模型310可將學習用影 像擷取裝置32所持續提供的平面影像的複數特徵點以及無線射頻收發裝置33持續提供的反射訊號R2解碼後，反覆訓練出對應複數特徵點P0至P24的生物特徵值50，例如由連續的10組反射訊號R2訓練複數特徵點的反射訊號對應的特徵點陣列。複數生物特徵值50可包括特徵點P0至P24的反射訊號所組成的特徵點陣列以及複數特徵點P0至P24所排列成的生物形體。學習用影像擷取裝置32可類似於圖1的影像擷取裝置。學習用無線射頻收發裝置33可類似於圖1的無線射頻收發裝置11。學習裝置31可類似於圖1的計算裝置12。深度學習模型310可為安裝於學習裝置31中的人工智慧程式語言或軟體。深度學習模型310建立目標生物2的生物特徵值及註冊身分後，就可將目標生物2的註冊身分及對應的生物特徵值登記在圖1的生物特徵值資料庫122中。
如圖1及5所示，在一實施例中，當生物特徵資料庫122儲存有經過深度學習後的生物特徵值後，可應用於對目標生物2進行辨識身分。比對模組123可將反射訊號R2所反映出的生物形體與生物特徵資料庫122儲存的生物特徵值50的生物形體進行比對，當相似度大於一閥值時，則判斷目標生物2為生物特徵值50所登記的註冊身分。另外，比對模組123也可將反射訊號R2與生物特徵值進行特徵點陣列的比對，當目標生物2所對應的反射訊號R2所組成的特徵點陣列與註冊身分對應的生物特徵值有複數特徵長度的比值近似時，可判定查找到目標生物2的註冊身分。例如特徵點2、特徵點3之間特徵長度D1與特徵點8、特徵點9之間的特徵長度D2的比值，比對目標生物2的反射訊號R2與生物特徵值50的複數特徵長度的比值高度近似時，可判斷目標生物2就是生物特徵值50所登記的註冊身分。
本發明生物形體的追蹤系統及方法可應用於許多方面，例如當運動比賽時許多球員穿著相同的制服，影像辨識的追蹤方式經常發生追蹤錯誤的情形，然而無線訊號可以反映每個球員特有的形體，以協助攝影機鎖定某一目標球員，即使此目標球員暫時被遮蔽，也可藉由軌跡預測與無線訊號持續追蹤。又例如在機場協助搬運行李的機器人若內建有本發明的生物形體的追蹤系統，即使暫時有人穿過兩者之間，也可緊跟隨雇主。除了追蹤人形以外，本發明生物形體的追蹤系統及方法也可應用在拍攝動物、畜牧管理等方面。
本發明在上文中已以較佳實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。
1:生物形體的追蹤系統
10:影像擷取裝置
11:無線射頻收發裝置
111:發射天線
112:接收天線
12:計算裝置
121:影像追蹤模組
122:生物特徵值資料庫
123:比對模組
124:軌跡預測模組
125:待確認特徵值資料庫
2:目標生物
R1:無線訊號
R2:反射訊號

Claims (14)

  1. 一種生物形體的追蹤系統，其包含：一影像擷取裝置，適以擷取一目標生物的影像；一無線射頻收發裝置，適以向該目標生物發射無線訊號，並接收反射自該目標生物的複數反射訊號；以及一計算裝置，電性連接於該無線射頻收發裝置以及該影像擷取模組，該計算裝置包括一影像追蹤模組、一生物特徵值資料庫以及一比對模組，該影像追蹤模組適以根據該影像擷取裝置所擷取的影像對該目標生物進行追蹤，該生物特徵值資料庫具有至少一註冊身分及複數生物特徵值，該註冊身分對應於至少一該生物特徵值，該比對模組適以將該些反射訊號與該生物特徵值資料庫的該些生物特徵值進行比對，以查找出該目標生物的該註冊身分，從而使該影像追蹤模組保持追蹤於該目標生物。
  2. 如請求項1所述之生物形體的追蹤系統，其中該計算裝置更包含一軌跡預測模組，該軌跡預測模組適以在該目標生物受到遮蔽時預測該目標生物的移動軌跡，並搭配該些反射訊號與該些生物特徵值的比對結果以保持追蹤該目標生物。
  3. 如請求項2所述之生物形體的追蹤系統，其中該軌跡預測模組所預測的該目標生物的該移動軌跡是根據該影像擷取裝置所拍攝的該些影像計算出該目標生物的速度，以從該目標生物被遮蔽前的一最後位置估計出該目標生物被遮蔽時的一預定位置。
  4. 如請求項3所述之生物形體的追蹤系統，其中該軌跡預測模組更將該預定位置延伸為一擴大預測範圍。
  5. 如請求項1所述之生物形體的追蹤系統，其中該無線射頻收發裝置設有複數用於發射該無線訊號的發射天線以及用於接收該些反射訊號的複數接收天線。
  6. 如請求項1所述之生物形體的追蹤系統，其中該比對模組適以將該些反射訊號與該些生物特徵值進行生物形體比對，以查找出該目標生物的該註冊身分。
  7. 如請求項1所述之生物形體的追蹤系統，其中該比對模組適以將該些反射訊號與該些生物特徵值進行特徵點陣列的比對，當該目標生物所對應的該些反射訊號與該註冊身分對應的該些生物特徵值對應的複數組特徵點距離的比值近似時，判定查找到該目標生物的該註冊身分。
  8. 如請求項1所述之生物形體的追蹤系統，其中該目標生物的該註冊身分所對應的生物特徵值是藉由一深度學習系統所建立，該深度學習系統包括一學習裝置、電性連接於該學習裝置的一學習用影像擷取裝置以及一學習用無線射頻收發裝置，該學習裝置具有一深度學習模型，該學習用無線射頻收發裝置適以對該目標生物發射該無線訊號與接收該些反射訊號，該學習用影像擷取模組適以對該目標生物拍攝一影像，該深度學習模型適以根據該反射訊號與該影像進行深度學習，以建立該目標生物 的生物特徵值，從而於該生物特徵值資料庫登記該目標生物的該註冊身分及對應的該生物特徵值。
  9. 如請求項8所述之生物形體的追蹤系統，其中該深度學習模型適以將由該影像取得的複數個特徵點及該些特徵點所對應的反射訊號進行深度學習訓練，以建立該目標生物的該生物特徵值及該註冊身分。
  10. 如請求項1所述之生物形體的追蹤系統，其中該比對模組更適以在查找不到該目標生物的註冊身分時，將該目標生物的該些反射訊號建立為一待確認特徵值資料，且該計算裝置更包括用於儲存該待確認特徵值資料的一待確認特徵值資料庫。
  11. 如請求項1所述之生物形體的追蹤系統，其中該無線射頻收發裝置所發出的無線訊號符合5G至10G之無線網路規格。
  12. 如請求項1所述之生物形體的追蹤系統，其中該影像擷取裝置為一RGB相機或一深度相機。
  13. 一種生物形體的追蹤方法，係藉由請求項1-8中任一項所述的生物形體的追蹤系統對該目標生物進行追蹤，包含以下步驟：該影像擷取裝置向該目標生物拍攝一影像；該無線射頻收發裝置向該目標生物發射無線訊號，並接收反射自該目標生物的反射訊號；該影像追蹤模組根據該影像擷取裝置所擷取的該影像，追蹤該目標生物；以及 該比對模組將該反射訊號與該生物特徵值資料庫的該些生物特徵值進行比對，以查找出該目標生物的該註冊身分。
  14. 一種生物形體的追蹤方法，係藉由請求項2-4中任一項所述的生物形體的追蹤系統對該目標生物進行追蹤，包含以下步驟：該影像擷取裝置向該目標生物拍攝一影像；該無線射頻收發裝置向該目標生物發射無線訊號，並接收反射自該目標生物的反射訊號；確認該目標生物在該影像中是否被遮蔽，如被遮蔽，該影像追蹤模組根據該影像擷取裝置所擷取的該影像，追蹤對該目標生物，如被遮蔽，該軌跡預測模組預測該目標生物的移動軌跡；以及該比對模組將該反射訊號與該生物特徵值資料庫的複數生物特徵值進行比對，以查找出該目標生物的該註冊身分。
TW110113572A 2021-04-15 2021-04-15 生物形體的追蹤系統及方法 TWI758162B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110113572A TWI758162B (zh) 2021-04-15 2021-04-15 生物形體的追蹤系統及方法
CN202210049780.3A CN115222765A (zh) 2021-04-15 2022-01-17 生物形体的追踪系统及方法
US17/591,989 US20220335621A1 (en) 2021-04-15 2022-02-03 System and method for tracking creature body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110113572A TWI758162B (zh) 2021-04-15 2021-04-15 生物形體的追蹤系統及方法

Publications (2)

Publication Number Publication Date
TWI758162B true TWI758162B (zh) 2022-03-11
TW202242446A TW202242446A (zh) 2022-11-01

Family

ID=81710679

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110113572A TWI758162B (zh) 2021-04-15 2021-04-15 生物形體的追蹤系統及方法

Country Status (3)

Country Link
US (1) US20220335621A1 (zh)
CN (1) CN115222765A (zh)
TW (1) TWI758162B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200632718A (en) * 2005-03-14 2006-09-16 Chung Shan Inst Of Science Image password lock system by tracking a biological or article characteristic position
TW201712580A (zh) * 2015-09-11 2017-04-01 眼驗股份有限公司 影像及特徵品質，用於眼部血管及面部識別之影像增強及特徵擷取，及針對生物識別系統融合眼部血管與面部及／或子面部資訊
CN106980780A (zh) * 2016-01-18 2017-07-25 由田新技股份有限公司 身份验证方法及装置
TW201812521A (zh) * 2016-07-21 2018-04-01 忠穩 羅 根據使用者的興趣顯示內容之具有眼動追蹤之互動式顯示系統
US20180232201A1 (en) * 2017-02-14 2018-08-16 Microsoft Technology Licensing, Llc User registration for intelligent assistant computer
TW202001597A (zh) * 2018-06-12 2020-01-01 江國慶 情緒特徵擷取裝置及其方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140049152A (ko) * 2012-10-16 2014-04-25 한국전자통신연구원 사람 추종 방법 및 로봇 장치
CN109816701B (zh) * 2019-01-17 2021-07-27 北京市商汤科技开发有限公司 一种目标跟踪方法及装置、存储介质
CN110060276B (zh) * 2019-04-18 2023-05-16 腾讯科技（深圳）有限公司 对象追踪方法、追踪处理方法、相应的装置、电子设备
US20220185267A1 (en) * 2020-12-16 2022-06-16 Zoox, Inc. Object determination in an occluded region
US20220334243A1 (en) * 2021-03-31 2022-10-20 Massachusetts Institute Of Technology Systems and methods for detection of concealed threats

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200632718A (en) * 2005-03-14 2006-09-16 Chung Shan Inst Of Science Image password lock system by tracking a biological or article characteristic position
TW201712580A (zh) * 2015-09-11 2017-04-01 眼驗股份有限公司 影像及特徵品質，用於眼部血管及面部識別之影像增強及特徵擷取，及針對生物識別系統融合眼部血管與面部及／或子面部資訊
TWI706272B (zh) * 2015-09-11 2020-10-01 美商眼驗股份有限公司 生物識別系統及用於生物識別之電腦實施方法
CN106980780A (zh) * 2016-01-18 2017-07-25 由田新技股份有限公司 身份验证方法及装置
TW201812521A (zh) * 2016-07-21 2018-04-01 忠穩 羅 根據使用者的興趣顯示內容之具有眼動追蹤之互動式顯示系統
US20180232201A1 (en) * 2017-02-14 2018-08-16 Microsoft Technology Licensing, Llc User registration for intelligent assistant computer
TW202001597A (zh) * 2018-06-12 2020-01-01 江國慶 情緒特徵擷取裝置及其方法

Also Published As

Publication number Publication date
TW202242446A (zh) 2022-11-01
CN115222765A (zh) 2022-10-21
US20220335621A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
Wang et al. RF sensing in the Internet of Things: A general deep learning framework
CN107255468B (zh) 目标跟踪方法、目标跟踪设备及计算机存储介质
Mittal et al. Adapting convolutional neural networks for indoor localization with smart mobile devices
US10424320B2 (en) Voice detection, apparatus, voice detection method, and non-transitory computer-readable storage medium
CN106896807B (zh) 自主移动装置、自主移动方法以及记录介质
US20200030982A1 (en) Robot recharge docking method and robot with the same
Mao et al. DeepRange: Acoustic ranging via deep learning
US10796448B2 (en) Methods and systems for player location determination in gameplay with a mobile device
US11871299B2 (en) Self-supervised passive positioning using wireless data
JP6890344B2 (ja) 伝播しない電磁場に基づくマルチポイント受信アレイのためのモーションキャプチャデバイスおよびモーションキャプチャ方法
Yang et al. Environment adaptive RFID-based 3D human pose tracking with a meta-learning approach
US20230096439A1 (en) Method, system and computer programs for traceability of living specimens
TWI758162B (zh) 生物形體的追蹤系統及方法
Zhu et al. A deep learning based bluetooth indoor localization algorithm by rssi and aoa feature fusion
Du et al. A passive target recognition method based on LED lighting for industrial internet of things
Zhang et al. Design and implementation of 3D positioning algorithms based on RF signal radiation patterns for in vivo micro-robot
Zhang et al. WiRITE: General and Practical Wi-Fi Based Hand-Writing Recognition
Sun et al. Moving target localization and activity/gesture recognition for indoor radio frequency sensing applications
Narmatha et al. A hybrid RF and vision aware fusion scheme for multi-sensor wireless capsule endoscopic localization
Hany et al. Path Loss based Wireless Capsule Endoscope Localization using Machine Learning Regression
Shih et al. People counting system using mmwave MIMO radar with 3D convolutional neural network
US20230377478A1 (en) Training methods and training systems utilizing uncrewed vehicles
Nadimi et al. Bayesian-based localization of wireless capsule endoscope using received signal strength
Roh et al. Object recognition using 3D tag-based RFID system
Xiao Soccer Robot Localization Detection Model Based on Monte Carlo Particle Filter and Template Matching Algorithm