TWI743933B - 跨感測器之空間定位與身分辨識之方法及系統 - Google Patents

跨感測器之空間定位與身分辨識之方法及系統 Download PDF

Info

Publication number
TWI743933B
TWI743933B TW109127116A TW109127116A TWI743933B TW I743933 B TWI743933 B TW I743933B TW 109127116 A TW109127116 A TW 109127116A TW 109127116 A TW109127116 A TW 109127116A TW I743933 B TWI743933 B TW I743933B
Authority
TW
Taiwan
Prior art keywords
image sensors
attribute vector
bounding box
spatial positioning
grid
Prior art date
Application number
TW109127116A
Other languages
English (en)
Other versions
TW202207084A (zh
Inventor
陳功瀚
謝朋諺
王建凱
陳雲濤
Original Assignee
威聯通科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威聯通科技股份有限公司 filed Critical 威聯通科技股份有限公司
Priority to TW109127116A priority Critical patent/TWI743933B/zh
Priority to US17/140,681 priority patent/US20220044079A1/en
Application granted granted Critical
Publication of TWI743933B publication Critical patent/TWI743933B/zh
Publication of TW202207084A publication Critical patent/TW202207084A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一種跨感測器之空間定位與身分辨識之方法， 係應用在設置有多個影像感測器之一空間中以使該些影像感測器協同偵測至少一標的物，且其係利用一邊緣運算架構實現，該邊緣運算架構包括一主資訊處理裝置及對應設置在該些影像感測器中之多個資訊處理單元，該方法包含： 週期性地對各該影像感測器感測到之一幀影像之原始資料均進行一標的物邊框界定程序以產生至少一該標的物之至少一邊界框，及對各該邊界框進行一第一推論程序及一第二推論程序以分別產生一網格代碼及一屬性向量；及對由該些影像感測器之該些幀影像所推論出之複數個(該網格代碼，該屬性向量)的組合進行一第三推論程序以將屬於同一身分的至少一個(該網格代碼，該屬性向量)的組合對應至與該空間對應之一參考平面上之一局部區域。

Description

跨感測器之空間定位與身分辨識之方法及系統
本發明係關於偵測物體在一空間內的位置的方法，尤指一種利用跨感測器的協同偵測技術定位一空間中之物體的方法。
一般的大樓或賣場會在內部空間的角落處設置攝影機，並在一監控室裡設置複數個螢幕供一保全人員監視大樓或賣場的內部空間，俾以在內部空間發生異常狀態時能夠及時處理。
然而，一般設置在大樓或賣場內部的攝影機都只是分別在一對應的螢幕上顯示其拍攝到的畫面或顯示其拍攝到的畫面的分析結果，而未有協同處理的功能。因此，對負責監視的保全人員而言，在須同時監看多個畫面的情況下，不僅很難長時間保持專注，也不容易發現異常的事件或可疑的人員。
因此，本領域亟需一種新穎的空間物體偵測方法。
本發明之一目的在於提供一種跨感測器之空間定位與身分辨識方法，其可藉由對多個影像感測器感測到之多幀影像進行一標的物邊框界定程序以產生一標的物之至少一邊界框，及依各該邊界框各產生一網格代碼及一屬性向量以定出該標的物之一身分及其在該空間中之位置。
本發明之另一目的在於提供一種跨感測器之空間定位與身分辨識方法，其可藉由週期性地由多個影像感測器感測到之多幀影像獲得一標的物之一邊界框集合，各邊界框集合均具有至少一邊界框，所述至少一邊界框均對應至一相同的網格代碼，且所述至少一邊界框所對應之至少一屬性向量均會被判定為屬同一身分，俾以藉由依序獲得之複數個邊界框集合找出該標的物在該空間內的移動軌跡。
本發明之又一目的在於提供一種跨感測器之空間定位與身分辨識系統，其可藉由一邊緣運算架構有效率地執行本發明的空間定位與身分辨識方法。
為達成上述目的，一種跨感測器之空間定位與身分辨識方法乃被提出，其係應用在設置有多個影像感測器之一空間中以使該些影像感測器協同偵測至少一標的物，且其係利用一邊緣運算架構實現，該邊緣運算架構包括一主資訊處理裝置及對應設置在該些影像感測器中之多個資訊處理單元，該方法包含：
週期性地擷取該些影像感測器感測到之多幀影像之原始資料；
對各該影像感測器感測到之一幀影像之原始資料均進行一標的物邊框界定程序以產生至少一該標的物之至少一邊界框，及對各該邊界框進行一第一推論程序及一第二推論程序以分別產生一網格代碼及一屬性向量，並將各該標的物之該網格代碼及該屬性向量以關聯的方式儲存在一記憶體中；以及
對由該些影像感測器之該些幀影像所推論出之複數個(該網格代碼，該屬性向量)的組合進行一第三推論程序以將屬於同一身分的至少一個(該網格代碼，該屬性向量)的組合對應至與該空間對應之一參考平面上之一局部區域；
其中，該第一推論程序包括：在該參考平面上劃分出複數個網格並在該些網格上設置複數個不同的所述網格代碼，對一該邊界框進行一重心計算程序以找出其在該參考平面中之落點，及利用一查找表依該落點找出相對應的一該網格代碼；該第二推論程序包括：利用一第一AI模組對一該邊界框進行一屬性評估計算以定出一該屬性向量；以及該第三推論程序包括：利用一第二AI模組對該些屬性向量進行一身分評估計算以定出至少一所述身分，並將與一所述身分對應的至少一個(該網格代碼，該屬性向量)的組合對應至該參考平面上之一該局部區域內。
在一實施例中，該些資訊處理單元具有至少一硬體加速單元。
在一實施例中，該些網格係各呈一多邊形。
在一實施例中，該邊緣運算架構進一步依循序獲得之與一所述身分對應之複數個該網格代碼找出一該標的物在該參考平面上之一移動軌跡。
在可能的實施例中，該些碼網格代碼可為阿拉伯數字或英文字母。
為達成上述目的，本發明進一步提出一種跨感測器之物體空間定位與物體辨識系統，其具有一邊緣運算架構，該邊緣運算架構包括一主資訊處理裝置及對應設置在多個影像感測器中之多個資訊處理單元，該些影像感測器係設置在一空間中，且該邊緣運算架構係用以執行一跨感測器之物體空間定位與物體辨識之方法以使該些影像感測器協同偵測至少一標的物，該方法包含：        週期性地擷取該些影像感測器感測到之多幀影像之原始資料；
對各該影像感測器感測到之一幀影像之原始資料均進行一標的物邊框界定程序以產生至少一該標的物之至少一邊界框，及對各該邊界框進行一第一推論程序及一第二推論程序以分別產生一網格代碼及一屬性向量，並將各該標的物之該網格代碼及該屬性向量以關聯的方式儲存在一記憶體中；以及
對由該些影像感測器之該些幀影像所推論出之複數個(該網格代碼，該屬性向量)的組合進行一第三推論程序以將屬於同一身分的至少一個(該網格代碼，該屬性向量)的組合對應至與該空間對應之一參考平面上之一局部區域；
其中，該第一推論程序包括：在該參考平面上劃分出複數個網格並在該些網格上設置複數個不同的所述網格代碼，對一該邊界框進行一重心計算程序以找出其在該參考平面中之落點，及利用一查找表依該落點找出相對應的一該網格代碼；該第二推論程序包括：利用一第一AI模組對一該邊界框進行一屬性評估計算以定出一該屬性向量；以及該第三推論程序包括：利用一第二AI模組對該些屬性向量進行一身分評估計算以定出至少一所述身分，並將與一所述身分對應的至少一個(該網格代碼，該屬性向量)的組合對應至該參考平面上之一該局部區域內。
在一實施例中，該些資訊處理單元具有至少一硬體加速單元。
在一實施例中，該些網格係各呈一多邊形。
在一實施例中，該邊緣運算架構進一步依與一所述身分對應之複數個依序獲得之該網格代碼找出一該標的物在該參考平面上之一移動軌跡。
在可能的實施例中，該些碼網格代碼可為阿拉伯數字或英文字母。
在可能的實施例中，該主資訊處理裝置可為一雲端伺服器或一本地伺服器或一電腦裝置。
在可能的實施例中，該些影像感測器可藉由有線或無線的方式與該主資訊處理裝置通信。
為使  貴審查委員能進一步瞭解本發明之結構、特徵、目的、與其優點，茲附以圖式及較佳具體實施例之詳細說明如後。
本發明的原理在於：
(1)將代表一空間之一參考平面分成複數個呈多邊形的網格，並賦予各個網格一代碼以代表其位置，且該些代碼係依一預定的順序對應該些網格，依此，本發明即可不須要計算該參考平面上各個位置的坐標(x,y)而可快速反應一物體在該空間內的位置；
(2)在該空間內設置複數個影像感測器，並藉由一映射運算將該些影像感測器的影像映射至該參考平面；
(3)利用一邊緣運算架構對多個影像感測器感測到之多幀影像進行一標的物邊框界定程序以產生一標的物之至少一邊界框，及依各該邊界框各產生一網格代碼及一屬性向量以定出該標的物之一身分及其在該空間中之位置；以及
(4)利用該邊緣運算架構週期性地由多個影像感測器感測到之多幀影像獲得一標的物之一邊界框集合，各邊界框集合均具有至少一邊界框，所述至少一邊界框均對應至一相同的網格代碼，且所述至少一邊界框所對應之至少一屬性向量均會被判定為屬同一身分，俾以藉由依序獲得之複數個邊界框集合找出該標的物在該空間內的移動軌跡。
例如，在一室內空間的4個角落共設有4個攝影機(C1, C2, C3, C4)，且一男子在該室內空間中走動。假設本發明的邊緣運算架構在5個影像擷取期間所擷取的5個影像資料集合分別為{IMG1(1), IMG2(1), IMG3(1), IMG4(1)}、{IMG1(2), IMG2(2), IMG3(2), IMG4(2)}、{IMG1(3), IMG2(3), IMG3(3), IMG4(3)}、{IMG1(4), IMG2(4), IMG3(4), IMG4(4)}及{IMG1(5), IMG2(5), IMG3(5), IMG4(5)}，則本發明的邊緣運算架構會依據該些影像資料集合分別產生{邊界框C1(1)}、{邊界框C1(2), 邊界框C2(2)}、{邊界框C2(3), 邊界框C3(3)}、{邊界框C3(4), 邊界框C4(4)}及{邊界框C4(5)}等5個邊界框集合。接著，本發明的邊緣運算架構會對該些邊界框集合進行一第一推論程序以獲得以下的結果：
(一)在第1個邊界框集合中，邊界框C1(1)之重心對應至被賦予第一代碼之網格，且邊界框C1(1)之形狀對應至一第一屬性向量；
(二) 在第2個邊界框集合中，邊界框C1(2)及 邊界框C2(2)之重心均對應至被賦予第二代碼之網格，且邊界框C1(2)及 邊界框C2(2)之形狀分別對應至一第二屬性向量及一第三屬性向量；
(三) 在第3個邊界框集合中，邊界框C2(3)及 邊界框C3(3)之重心均對應至被賦予第三代碼之網格，且邊界框C2(3)及 邊界框C3(3)之形狀分別對應至一第四屬性向量及一第五屬性向量；
(四) 在第4個邊界框集合中，邊界框C3(4)及邊界框C4(4)之重心均對應至被賦予第四代碼之網格，且邊界框C3(4)及 邊界框C4(4)之形狀分別對應至一第六屬性向量及一第七屬性向量；以及
(五)在第5個邊界框集合中，邊界框C4(5)之重心對應至被賦予第五代碼之網格，且本發明的邊緣運算架構依邊界框C4(5)之形狀計算出一第八屬性向量。
接著，第一屬性向量至第八屬性向量在經本發明的邊緣運算架構之一第二推論程序運算後會對應至同一身分。依此，本發明即可找出該男子在該室內空間中的位置或移動軌跡。
請一併參照圖1至圖4a-4e，其中，圖1繪示本發明之跨感測器之空間定位與身分辨識方法之一實施例的流程圖；圖2為應用圖1之方法之一系統之示意圖，其中，該系統具有一邊緣運算架構，且該邊緣運算架構包括一主資訊處理裝置及設置在一空間內之複數個影像感測器中之資訊處理單元以使該些影像感測器協同偵測至少一標的物；圖3繪示代表圖2所示之空間之一參考平面分成複數個呈多邊形的第一網格的示意圖；以及圖4a-4e為圖2之系統偵測一男子在圖2所示之空間中走動的示意圖。
如圖1所示，該方法包含以下步驟：在一空間內設置一邊緣運算架構，該邊緣運算架構包括一主資訊處理裝置及設置在該空間內之複數個影像感測器中之資訊處理單元，俾以使該些影像感測器協同偵測至少一標的物(步驟a)；週期性地擷取該些影像感測器感測到之多幀影像之原始資料 (步驟b)；對各該影像感測器感測到之一幀影像之原始資料均進行一標的物邊框界定程序以產生至少一該標的物之至少一邊界框，及對各該邊界框進行一第一推論程序及一第二推論程序以分別產生一網格代碼及一屬性向量，並將各該標的物之該網格代碼及該屬性向量以關聯的方式儲存在一記憶體中 (步驟c)； 以及對由該些影像感測器之該些幀影像所推論出之複數個(該網格代碼，該屬性向量)的組合進行一第三推論程序以將屬於同一身分的至少一個(該網格代碼，該屬性向量)的組合對應至與該空間對應之一參考平面上之一局部區域(步驟d)。
在步驟a中，該些資訊處理單元可具有至少一硬體加速單元。
在步驟c中，本發明在該空間所映射之一參考平面上劃分出複數個網格並在該些網格上設置複數個不同的所述網格代碼，且該些網格係各呈一多邊形，例如但不限於為三角形、四邊形或六角形等等。
另外，在步驟c中，該第一推論程序包括：在該參考平面上劃分出複數個網格並在該些網格上設置複數個不同的所述網格代碼，對一該邊界框進行一重心計算程序以找出其在該參考平面中之落點，及利用一查找表依該落點找出相對應的一該網格代碼；該第二推論程序包括：利用一第一AI模組對一該邊界框進行一屬性評估計算以定出一該屬性向量。另外，所述的網格代碼可為阿拉伯數字或英文字母。
另外，在步驟d中，該第三推論程序包括：利用一第二AI模組對該些屬性向量進行一身分評估計算以定出至少一所述身分，並將與一所述身分對應的至少一個(該網格代碼，該屬性向量)的組合對應至該參考平面上之一該局部區域內。
依上述的說明，本發明即可循序獲得一標的物之多個邊界框集合，並據以找出該標的物在該空間內的位置或移動軌跡。
如圖2所示，本發明的系統具有一邊緣運算架構100，其包括一主資訊處理裝置110及設置在一空間內之複數個影像感測器120，其中，主資訊處理裝置110可為一雲端伺服器或一本地伺服器或一電腦裝置，各影像感測器120均具有一資訊處理單元120a，且各資訊處理單元120a均透過一有線或無線網路與主資訊處理裝置110通信，俾以執行前述的方法以使該些影像感測器協同偵測至少一標的物。
亦即，於操作時，邊緣運算架構100會執行以下步驟：
(一) 週期性地擷取該些影像感測器120感測到之多幀影像之原始資料。
(二) 對各影像感測器120感測到之一幀影像之原始資料均進行一標的物邊框界定程序以產生至少一該標的物之至少一邊界框，及對各該邊界框進行一第一推論程序及一第二推論程序以分別產生一網格代碼及一屬性向量，並將各該標的物之該網格代碼及該屬性向量以關聯的方式儲存在一記憶體(未示於圖中)內。
(三) 對由該些影像感測器120之該些幀影像所推論出之複數個(該網格代碼，該屬性向量)的組合進行一第三推論程序以將屬於同一身分的至少一個(該網格代碼，該屬性向量)的組合對應至與該空間對應之一參考平面上之一局部區域。
另外，該些資訊處理單元120a可具有至少一硬體加速單元。
另外，如圖3所示，本發明在該空間所映射之一參考平面上劃分出複數個網格並在該些網格上設置複數個不同的所述網格代碼，且該些網格係各呈一多邊形，例如但不限於為三角形、四邊形或六角形等等。
另外，該第一推論程序包括：在該參考平面上劃分出複數個網格並在該些網格上設置複數個不同的所述網格代碼，對一該邊界框進行一重心計算程序以找出其在該參考平面中之落點，及利用一查找表依該落點找出相對應的一該網格代碼；而該第二推論程序包括：利用一第一AI模組對一該邊界框進行一屬性評估計算以定出一該屬性向量。另外，所述的網格代碼可為阿拉伯數字或英文字母。
另外，該第三推論程序包括：利用一第二AI模組對該些屬性向量進行一身分評估計算以定出至少一所述身分，並將與一所述身分對應的至少一個(該網格代碼，該屬性向量)的組合對應至該參考平面上之一該局部區域內。
另外，請參照圖4a-4e，其為圖2之系統偵測一男子在圖2所示之空間中走動的示意圖，其中，該空間的4個角落共設有4個攝影機(C1, C2, C3, C4)。如圖4a-4e所示，在一男子在該室內空間中走動的過程中，本發明的邊緣運算架構在第1個影像擷取期間所獲得的第1個邊界框集合為{隸屬攝影機C1的影像11的邊界框11a }；在第2個影像擷取期間所獲得的第2個邊界框集合為{隸屬攝影機C1的影像11的邊界框11a ，隸屬攝影機C2的影像12的邊界框12a  }；在第3個影像擷取期間所獲得的第3個邊界框集合為{隸屬攝影機C2的影像12的邊界框12a，隸屬攝影機C3的影像13的邊界框13a }；在第4個影像擷取期間所獲得的第4個邊界框集合為{隸屬攝影機C3的影像13的邊界框13a ，隸屬攝影機C4的影像14的邊界框14a  }；在第5個影像擷取期間所獲得的第5個邊界框集合為{隸屬攝影機C4的影像14的邊界框14a }。接著依上述的說明對各個影像擷取期間所獲得的邊界框集合進行後續處理即可找出該男子在該室內空間中的位置或移動軌跡。
依上述的說明，本發明即可循序獲得一標的物之多個邊界框集合，並據以找出該標的物在該空間內的位置或移動軌跡。
由上述的說明可知本發明具有下列優點：
(1)本發明的跨感測器之空間定位與身分辨識方法可藉由對多個影像感測器感測到之多幀影像進行一標的物邊框界定程序以產生一標的物之至少一邊界框，及依各該邊界框各產生一網格代碼及一屬性向量以定出該標的物之一身分及其在該空間中之位置。
(2)本發明的跨感測器之空間定位與身分辨識方法可藉由週期性地由多個影像感測器感測到之多幀影像獲得一標的物之一邊界框集合，各邊界框集合均具有至少一邊界框，所述至少一邊界框均對應至一相同的網格代碼，且所述至少一邊界框所對應之至少一屬性向量均會被判定為屬同一身分，俾以藉由依序獲得之複數個邊界框集合找出該標的物在該空間內的移動軌跡。
(3)本發明的跨感測器之空間定位與身分辨識系統可藉由一邊緣運算架構有效率地執行本發明的空間定位與身分辨識方法。
必須加以強調的是，前述本案所揭示者乃為較佳實施例，舉凡局部之變更或修飾而源於本案之技術思想而為熟習該項技藝之人所易於推知者，俱不脫本案之專利權範疇。
綜上所陳，本案無論目的、手段與功效，皆顯示其迥異於習知技術，且其首先發明合於實用，確實符合發明之專利要件，懇請  貴審查委員明察，並早日賜予專利俾嘉惠社會，是為至禱。
步驟a:在一空間內設置一邊緣運算架構，該邊緣運算架構包括一主資訊處理裝置及設置在該空間內之複數個影像感測器中之資訊處理單元，俾以使該些影像感測器協同偵測至少一標的物 步驟b:週期性地擷取該些影像感測器感測到之多幀影像之原始資料 步驟c:對各該影像感測器感測到之一幀影像之原始資料均進行一標的物邊框界定程序以產生至少一該標的物之至少一邊界框，及對各該邊界框進行一第一推論程序及一第二推論程序以分別產生一網格代碼及一屬性向量，並將各該標的物之該網格代碼及該屬性向量以關聯的方式儲存在一記憶體中 步驟d:對由該些影像感測器之該些幀影像所推論出之複數個(該網格代碼，該屬性向量)的組合進行一第三推論程序以將屬於同一身分的至少一個(該網格代碼，該屬性向量)的組合對應至與該空間對應之一參考平面上之一局部區域 100:邊緣運算架構 110:主資訊處理裝置 120:影像感測器 120a:資訊處理單元 11-14:影像 11a-14a:邊界框
圖1繪示本發明之跨感測器之空間定位與身分辨識方法之一實施例的流程圖；圖2為應用圖1之方法之一系統之示意圖，其中，該系統具有一邊緣運算架構，且該邊緣運算架構包括一主資訊處理裝置及設置在一空間內之複數個影像感測器中之資訊處理單元以使該些影像感測器協同偵測至少一標的物； 圖3繪示代表圖2所示之空間之一參考平面分成複數個呈多邊形的第一網格的示意圖；以及 圖4a-4e為圖2之系統偵測一男子在圖2所示之空間中走動的示意圖。
步驟a:在一空間內設置一邊緣運算架構，該邊緣運算架構包括一主資訊處理裝置及設置在該空間內之複數個影像感測器中之資訊處理單元，俾以使該些影像感測器協同偵測至少一標的物
步驟b:週期性地擷取該些影像感測器感測到之多幀影像之原始資料
步驟c:對各該影像感測器感測到之一幀影像之原始資料均進行一標的物邊框界定程序以產生至少一該標的物之至少一邊界框，及對各該邊界框進行一第一推論程序及一第二推論程序以分別產生一網格代碼及一屬性向量，並將各該標的物之該網格代碼及該屬性向量以關聯的方式儲存在一記憶體中
步驟d:對由該些影像感測器之該些幀影像所推論出之複數個(該網格代碼，該屬性向量)的組合進行一第三推論程序以將屬於同一身分的至少一個(該網格代碼，該屬性向量)的組合對應至與該空間對應之一參考平面上之一局部區域

Claims (12)

  1. 一種跨感測器之空間定位與身分辨識之方法， 係應用在設置有多個影像感測器之一空間中以使該些影像感測器協同偵測至少一標的物，且其係利用一邊緣運算架構實現，該邊緣運算架構包括一主資訊處理裝置及對應設置在該些影像感測器中之多個資訊處理單元，該方法包含： 週期性地擷取該些影像感測器感測到之多幀影像之原始資料； 對各該影像感測器感測到之一幀影像之原始資料均進行一標的物邊框界定程序以產生至少一該標的物之至少一邊界框，及對各該邊界框進行一第一推論程序及一第二推論程序以分別產生一網格代碼及一屬性向量，並將各該標的物之該網格代碼及該屬性向量以關聯的方式儲存在一記憶體中；以及 對由該些影像感測器之該些幀影像所推論出之複數個(該網格代碼，該屬性向量)的組合進行一第三推論程序以將屬於同一身分的至少一個(該網格代碼，該屬性向量)的組合對應至與該空間對應之一參考平面上之一局部區域； 其中，該第一推論程序包括：在該參考平面上劃分出複數個網格並在該些網格上設置複數個不同的所述網格代碼，對一該邊界框進行一重心計算程序以找出其在該參考平面中之落點，及利用一查找表依該落點找出相對應的一該網格代碼；該第二推論程序包括：利用一第一AI模組對一該邊界框進行一屬性評估計算以定出一該屬性向量；以及該第三推論程序包括：利用一第二AI模組對該些屬性向量進行一身分評估計算以定出至少一所述身分，並將與一所述身分對應的至少一個(該網格代碼，該屬性向量)的組合對應至該參考平面上之一該局部區域內。
  2. 如申請專利範圍第1項所述之跨感測器之空間定位與身分辨識之方法，其中，該些資訊處理單元具有至少一硬體加速單元。
  3. 如申請專利範圍第1項所述之跨感測器之空間定位與身分辨識之方法，其中，該些網格係各呈一多邊形。
  4. 如申請專利範圍第1項所述之跨感測器之空間定位與身分辨識之方法，其中，該邊緣運算架構進一步依與一所述身分對應之複數個依序獲得之該網格代碼找出一該標的物在該參考平面上之一移動軌跡。
  5. 如申請專利範圍第1項所述之跨感測器之空間定位與身分辨識之方法，其中，該些碼網格代碼係阿拉伯數字或英文字母。
  6. 一種跨感測器之空間定位與身分辨識之系統， 具有一邊緣運算架構，該邊緣運算架構包括一主資訊處理裝置及對應設置在多個影像感測器中之多個資訊處理單元，該些影像感測器係設置在一空間中，且該邊緣運算架構係用以執行一跨感測器之物體空間定位與物體辨識之方法以使該些影像感測器協同偵測至少一標的物，該方法包含： 週期性地擷取該些影像感測器感測到之多幀影像之原始資料； 對各該影像感測器感測到之一幀影像之原始資料均進行一標的物邊框界定程序以產生至少一該標的物之至少一邊界框，及對各該邊界框進行一第一推論程序及一第二推論程序以分別產生一網格代碼及一屬性向量，並將各該標的物之該網格代碼及該屬性向量以關聯的方式儲存在一記憶體中；以及 對由該些影像感測器之該些幀影像所推論出之複數個(該網格代碼，該屬性向量)的組合進行一第三推論程序以將屬於同一身分的至少一個(該網格代碼，該屬性向量)的組合對應至與該空間對應之一參考平面上之一局部區域； 其中，該第一推論程序包括：在該參考平面上劃分出複數個網格並在該些網格上設置複數個不同的所述網格代碼，對一該邊界框進行一重心計算程序以找出其在該參考平面中之落點，及利用一查找表依該落點找出相對應的一該網格代碼；該第二推論程序包括：利用一第一AI模組對一該邊界框進行一屬性評估計算以定出一該屬性向量；以及該第三推論程序包括：利用一第二AI模組對該些屬性向量進行一身分評估計算以定出至少一所述身分，並將與一所述身分對應的至少一個(該網格代碼，該屬性向量)的組合對應至該參考平面上之一該局部區域內。
  7. 如申請專利範圍第6項所述之跨感測器之空間定位與身分辨識系統，其中，該些資訊處理單元具有至少一硬體加速單元。
  8. 如申請專利範圍第6項所述之跨感測器之空間定位與身分辨識系統，其中，該些網格係各呈一多邊形。
  9. 如申請專利範圍第6項所述之跨感測器之空間定位與身分辨識，其中，該邊緣運算架構進一步依與一所述身分對應之複數個依序獲得之該網格代碼找出一該標的物在該參考平面上之一移動軌跡。
  10. 如申請專利範圍第6項所述之跨感測器之空間定位與身分辨識系統，其中，該些碼網格代碼係阿拉伯數字或英文字母。
  11. 如申請專利範圍第6項所述之跨感測器之空間定位與身分辨識系統，其中，該主資訊處理裝置係由一雲端伺服器、一本地伺服器和一電腦裝置所組成群組所選擇的一種裝置。
  12. 如申請專利範圍第6項所述之跨感測器之空間定位與身分辨識系統，其中，該些影像感測器係以有線或無線的方式與該主資訊處理裝置通信。
TW109127116A 2020-08-10 2020-08-10 跨感測器之空間定位與身分辨識之方法及系統 TWI743933B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109127116A TWI743933B (zh) 2020-08-10 2020-08-10 跨感測器之空間定位與身分辨識之方法及系統
US17/140,681 US20220044079A1 (en) 2020-08-10 2021-01-04 Space-based cross-sensor object positioning and identification method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109127116A TWI743933B (zh) 2020-08-10 2020-08-10 跨感測器之空間定位與身分辨識之方法及系統

Publications (2)

Publication Number Publication Date
TWI743933B true TWI743933B (zh) 2021-10-21
TW202207084A TW202207084A (zh) 2022-02-16

Family

ID=80114566

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109127116A TWI743933B (zh) 2020-08-10 2020-08-10 跨感測器之空間定位與身分辨識之方法及系統

Country Status (2)

Country Link
US (1) US20220044079A1 (zh)
TW (1) TWI743933B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201520981A (zh) * 2013-11-28 2015-06-01 Automotive Res & Testing Ct 可提高分類效能的物體影像偵測方法與裝置
CN106169021A (zh) * 2016-06-30 2016-11-30 哈尔滨理工大学 一种基于路径分离的四面体网格虚拟切割方法
CN110887503A (zh) * 2019-12-06 2020-03-17 广州文远知行科技有限公司 移动轨迹模拟方法、装置、设备及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201520981A (zh) * 2013-11-28 2015-06-01 Automotive Res & Testing Ct 可提高分類效能的物體影像偵測方法與裝置
CN106169021A (zh) * 2016-06-30 2016-11-30 哈尔滨理工大学 一种基于路径分离的四面体网格虚拟切割方法
CN110887503A (zh) * 2019-12-06 2020-03-17 广州文远知行科技有限公司 移动轨迹模拟方法、装置、设备及介质

Also Published As

Publication number Publication date
US20220044079A1 (en) 2022-02-10
TW202207084A (zh) 2022-02-16

Similar Documents

Publication Publication Date Title
WO2021017882A1 (zh) 图像坐标系的转换方法、装置、设备及存储介质
JP6977730B2 (ja) 人流推定装置、人流推定方法およびプログラム
US8854469B2 (en) Method and apparatus for tracking persons and locations using multiple cameras
WO2017000115A1 (zh) 行人再识别方法及设备
WO2019225547A1 (ja) オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム
CN108304757A (zh) 身份识别方法及装置
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
RU2713876C1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
AU2015203666A1 (en) Methods and systems for controlling a camera to perform a task
CN113688797A (zh) 一种基于骨架提取的异常行为识别方法及系统
Gomes et al. Multi-human fall detection and localization in videos
CN111770450B (zh) 一种车间生产监控服务器、移动终端及应用
Awadallah et al. Automated multiclass structural damage detection and quantification using augmented reality
TWI718981B (zh) 跨感測器之物體屬性分析方法與系統
JP6623851B2 (ja) 学習方法、情報処理装置および学習プログラム
Panahi et al. Automated Progress Monitoring in Modular Construction Factories Using Computer Vision and Building Information Modeling
CN110276379A (zh) 一种基于视频图像分析的灾情信息快速提取方法
TWI743933B (zh) 跨感測器之空間定位與身分辨識之方法及系統
Ko et al. Rectified trajectory analysis based abnormal loitering detection for video surveillance
Guan et al. A video-based fall detection network by spatio-temporal joint-point model on edge devices
WO2023197705A1 (zh) 图像处理方法、装置、计算机设备、存储介质和计算机程序
CN115982824A (zh) 施工现场工人空间管理方法、装置、电子设备及存储介质
Kufuor et al. Automatic MEP component detection with deep learning
TWI760812B (zh) 跨感測器之物體空間對應分析方法與系統
JP2019046278A (ja) 情報処理装置、制御方法、コンピュータプログラム、記憶媒体、及びモデル作成装置