TWI797527B - 物體再識別偵測系統與方法 - Google Patents

物體再識別偵測系統與方法 Download PDF

Info

Publication number
TWI797527B
TWI797527B TW109146372A TW109146372A TWI797527B TW I797527 B TWI797527 B TW I797527B TW 109146372 A TW109146372 A TW 109146372A TW 109146372 A TW109146372 A TW 109146372A TW I797527 B TWI797527 B TW I797527B
Authority
TW
Taiwan
Prior art keywords
information
unit
judgment
identification
feature
Prior art date
Application number
TW109146372A
Other languages
English (en)
Other versions
TW202226142A (zh
Inventor
黃世勳
簡士哲
張峰嘉
蕭有崧
莊定為
Original Assignee
國家中山科學研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國家中山科學研究院 filed Critical 國家中山科學研究院
Priority to TW109146372A priority Critical patent/TWI797527B/zh
Publication of TW202226142A publication Critical patent/TW202226142A/zh
Application granted granted Critical
Publication of TWI797527B publication Critical patent/TWI797527B/zh

Links

Images

Landscapes

  • Radar Systems Or Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Image Analysis (AREA)

Abstract

一種物體再識別偵測系統，包括：提取單元用於針對當前影像進行複數特徵提取進而獲得特徵圖；該物體提案產生單元根據該特徵圖進行複數特徵判斷從而獲得物體提案資訊；該偵測與分割單元根據該物體提案資訊進行預測判斷從而獲得複數預測資訊；該物體遞移單元將複數預測資訊透過先前影像進行遞移判斷從而獲得遞移後資訊；以及該物體再識別單元將該遞移後資訊與該複數預測資訊進行判斷從而建立不同時間點之間的對應關係資訊。

Description

物體再識別偵測系統與方法
本發明係關於一種識別偵測系統與方法，特別是關於一種物體再識別偵測系統與方法。
傳統視訊物件分割(video object segmentation)為對一段影像序列，自動分割出所有物件遮罩並獲得物件於時間軸之連續關係，其中視訊物件分割技術主要基於分析視訊中運動特性，達到切割不同物件之目的，其通常涵蓋以下三個步驟：1.估算出各像素點於視訊中之運動軌跡、2.基於相近特性(affinity property)對運動軌跡進行分群獲得數個主要運動模型(motion model)、3.將符合相同運動模型之像素點切割而成一個物件；此類演算法最大之差異在於估算連續影像間之運動向量，稱為運動估算(motion estimation)，其通常分為光流法(optical flow)與特徵追蹤法(feature tracking)。
光流法基於物體於連續兩張影像中之亮度不變(brightness constant)與僅具些微位移(small displacement)假設下，計算出所有像素點於連續兩張影像間之位移向量；特徵追蹤法則透過偵測出影像中之顯著特徵(salient feature)，並計算出連續影像間之特徵對應關係(feature correspondence)，最 後過內插估算出所有像素之運動向量；隨著卷積神經網路(Convolutional Neural Network，CNN)之蓬勃發展與技術突破，近年來有不少估算光流之卷積神經網路被提出，且有效提升視訊物件分割之準確度。
然而基於運動特性之視訊物件分割演算法其主要問題包含以下幾點：1.無法適用於低紋理區域，當所面臨之場景紋理特性不顯著，使得透過連續影像間像素點之對應關係來估算運動向量變得非常困難且準確度低，即使使用複雜之卷積神經網路亦無法解決上述問題、2.易受環境光線變化影響，因此其無法適用於亮度變化高之場域中、3.物件邊緣區域準確度低，一般而言於物件邊緣區域之像素點無法滿足光流平順變化之假設條件，易降低物件分割之準確度。
鑒於上述習知技術之缺點，本發明提出使用物體再識別偵測系統與方法，可透過再識別技術之線上物件分割演算法來解決上述的缺點。
為了達到上述目的，根據本發明所提出之一種物體再識別偵測系統，其中包括：一提取單元，該提取單元係用於針對一當前影像進行複數特徵提取，進而獲得一特徵圖；一物體提案產生單元，該物體提案產生單元係電性連接該提取單元，其中該物體提案產生單元根據該特徵圖進行複數特徵判斷從而獲得一物體提案資訊；一偵測與分割單元， 該偵測與分割單元係電性連該接物體提案產生單元，該偵測與分割單元根據該物體提案資訊進行預測判斷從而獲得複數預測資訊；一物體遞移單元，該物體遞移單元係電性連該偵測與分割單元，其中該物體遞移單元將複數預測資訊透過一先前影像進行一遞移判斷從而獲得一遞移後資訊；以及一物體再識別單元，該物體再識別單元係電性連該物體遞移單元，該物體再識別單元將該遞移後資訊與該複數預測資訊進行判斷從而建立不同時間點之間的一對應關係資訊。
本發明的該物體再識別偵測系統，其中該複數特徵提取包含：一卷積運算與一最大池化。
本發明的該物體再識別偵測系統，其中該複數預測資訊包含：一類別機率、一位置迴歸參數與一切割遮罩。
本發明的該物體再識別偵測系統，其中該複數特徵判斷係將該特徵圖現進行一定錨機制判斷從而獲得一定錨資訊，接著將該定錨資訊進行一迴歸層預測從而獲得一矩形區域，再接著將該矩形區域進行一機率判斷獲得一背景之機率，接著將該背景之機率進行一物體判斷從而獲得物體提案資訊。
本發明的該物體再識別偵測系統，其中該定錨資訊為對該特徵圖上每一個點產生不同大小與比例之定錨資訊。
本發明的該物體再識別偵測系統，其中該物體再 識別單元係將該將該遞移後資訊與該複數預測資訊轉換至一高維度特徵向量空間從而獲得一向量空間資訊，接著將該向量空間資訊進行一向量比對從而建立不同時間點之間的該對應關係資訊。
本發明的該物體再識別偵測方法，其中包括：利用該提取單元針對該當前影像進行複數特徵提取，進而獲得該特徵圖；接著透過該物體提案產生單元根據該特徵圖進行複數特徵判斷從而獲得該物體提案資訊；再接著利用該偵測與分割單元根據該物體提案資訊進行預測判斷從而獲得複數預測資訊，接著透過該物體遞移單元將複數預測資訊透過該先前影像進行該遞移判斷從而獲得該遞移後資訊；以及透過該物體再識別單元將該遞移後資訊與該複數預測資訊進行判斷從而建立出不同時間點之間的該對應關係資訊。
本發明的該物體再識別偵測方法，其中該複數特徵判斷係將該特徵圖現進行一定錨機制判斷從而獲得一定錨資訊，接著將該定錨資訊進行一迴歸層預測從而獲得一矩形區域，再接著將該矩形區域進行一機率判斷獲得一背景之機率，接著將該背景之機率進行一物體判斷從而獲得物體提案資訊。
本發明的該物體再識別偵測方法，其中該定錨資訊為對該特徵圖上每一個點產生不同大小與比例之定錨資訊。
本發明的該物體再識別偵測方法，其中該物體再識別單元係將該將該遞移後資訊與該複數預測資訊轉換至一高維度特徵向量空間從而獲得一向量空間資訊，接著將該向量空間資訊進行一向量比對從而建立不同時間點之間的該對應關係資訊。
以上之概述與接下來的詳細說明及附圖，皆是為了能進一步說明本創作達到預定目的所採取的方式、手段及功效。而有關本創作的其他目的及優點，將在後續的說明及圖式中加以闡述。
1:提取單元
2:物體提案產生單元
3:偵測與分割單元
4:物體遞移單元
5:物體再識別單元
第一圖係為物體再識別偵測系統之示意圖。
以下係藉由特定的具體實例說明本創作之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地了解本創作之優點及功效。
請參閱第一圖所示，本發明物體再識別偵測系統之示意圖，其中物體再識別偵測系統包含提取單元1、物體提案產生單元2、偵測與分割單元3、物體遞移單元4與物體再識別單元5所組成，其中該提取單元1係用於針對當前影像進行複數特徵提取，進而獲得特徵圖；該物體提案產生單元2係電性連接該提取單元1，其中該物體提案產生單元2根據該特徵圖進行複數特徵判斷從而獲得物體提案資訊，該偵測與 分割單元3係電性連該接物體提案產生單元2，該偵測與分割單元3根據該物體提案資訊進行預測判斷從而獲得複數預測資訊，該物體遞移單元4係電性連該偵測與分割單元3，其中該物體遞移單元4將複數預測資訊透過一先前影像進行一遞移判斷從而獲得一遞移後資訊，以及該物體再識別單元5係電性連該物體遞移單元4，該物體再識別單元5將該遞移後資訊與該複數預測資訊進行判斷從而建立不同時間點之間的一對應關係資訊。
其中該複數特徵提取包含卷積運算與最大池化，以及該複數預測資訊包含類別機率、位置迴歸參數與切割遮罩，其中該類別機率為物體提案可能為某種特定物體之機率，若要偵測之物體種類例如有兩種車輛與行人，則類別機率=(0.1,0.8)表示此物體提案矩形可能為車輛之機率為0.1，為行人之機率為0.8，另外，位置迴歸參數則表示物體真實矩形座標相對於此物體提案之位移與大小係數，切割遮罩為一個二值化之影像，例如每一個像素值為0或255，0表示該影像點為背景，255表示該影像點為物體，而上述所述該複數特徵提取與該複數預測資訊不應本次實施例而有所限定。
該複數特徵判斷係將該特徵圖現先進行定錨機制判斷從而獲得一定錨資訊，其中該定錨資訊為對該特徵圖上每一個點產生不同大小與比例之定錨資訊；接著將該定錨資訊進行迴歸層預測從而獲得一矩形區域，其中該迴歸層預 測係將該定錨資訊的物體矩形相對於定錨之位置參數，用以產生出所有可能存在物體之矩形區域；再接著將該矩形區域進行一機率判斷獲得一背景之機率，接著將該背景之機率進行一物體判斷從而獲得物體提案資訊。
該物體再識別單元5係將該將該遞移後資訊與該複數預測資訊轉換至一高維度特徵向量空間從而獲得一向量空間資訊，接著將該向量空間資訊進行一向量比對從而建立不同時間點之間的該對應關係資訊；再一較佳實施例中，將該遞移後資訊與該複數預測資訊轉換至一高維度特徵向量空 間
Figure 109146372-A0305-02-0009-1
，從而獲得一向量空間資訊，並透過簡易 之向量比對(例如：歐基里德距離)從而建立不同時間點之間的該對應關係資訊，例如對於一個資料(x a , x p , x n )，其中x a 稱為定錨影像，x p 與x n 則分別為正樣板(與x a 屬於相同分割物體)與負樣板影像(與x a 為不同分割物體)可定義如下：Loss(x a , x p , x n )=max{d(f(x a ),f(x p ))+α-d(f(x a ),f(x n )),0}此定義之概念為x a 與x p 兩者之距離需小於x a 與x n 間距離至少須達到一個門檻係數α，因此該物體再識別單元5將該遞移後資訊與該複數預測資訊進行判斷從而建立不同時間點之間的一對應關係資訊。
再一較佳實施例中，一種物體再識別偵測方法包括利用該提取單元1針對該當前影像進行複數特徵提取，進而獲得該特徵圖，接著透過該物體提案產生單元2根據該特 徵圖進行複數特徵判斷從而獲得該物體提案資訊，再接著利用該偵測與分割單元3根據該物體提案資訊進行預測判斷從而獲得複數預測資訊，接著透過該物體遞移單元4將複數預測資訊透過該先前影像進行該遞移判斷從而獲得該遞移後資訊，以及透過該物體再識別單元5將該遞移後資訊與該複數預測資訊進行判斷從而建立出不同時間點之間的該對應關係資訊。
需陳明者，以上所述僅為本案之較佳實施例，並非用以限制本創作，若依本創作之構想所作之改變，在不脫離本創作精神範圍內，例如：對於構型或佈置型態加以變換，對於各種變化，修飾與應用，所產生等效作用，均應包含於本案之權利範圍內，合予陳明。
1:提取單元
2:物體提案產生單元
3:偵測與分割單元
4:物體遞移單元
5:物體再識別單元

Claims (8)

  1. 一種物體再識別偵測系統，其中包括：一提取單元，該提取單元係用於針對一當前影像進行複數特徵提取，進而獲得一特徵圖；一物體提案產生單元，該物體提案產生單元係電性連接該提取單元，其中該物體提案產生單元根據該特徵圖進行複數特徵判斷從而獲得一物體提案資訊；一偵測與分割單元，該偵測與分割單元係電性連該接物體提案產生單元，該偵測與分割單元根據該物體提案資訊進行預測判斷從而獲得複數預測資訊；一物體遞移單元，該物體遞移單元係電性連該偵測與分割單元，其中該物體遞移單元將複數預測資訊透過一先前影像進行一遞移判斷從而獲得一遞移後資訊；以及一物體再識別單元，該物體再識別單元係電性連該物體遞移單元，該物體再識別單元係將該將該遞移後資訊與該複數預測資訊轉換至一高維度特徵向量空間
    Figure 109146372-A0305-02-0011-2
    從而獲得一向量空間資訊，接著將該向 量空間資訊進行一向量比對從而建立不同時間點之間的一對應關係資訊。
  2. 如申請專利範圍第1項所述之物體再識別偵測系統，其中該複數特徵提取包含：一卷積運算與一最大池化。
  3. 如申請專利範圍第1項所述之物體再識別偵測系統，其中該複數預測資訊包含：一類別機率、一位置迴歸參數與一切割遮罩。
  4. 如申請專利範圍第1項所述之物體再識別偵測系統，其中該複數特徵判斷係將該特徵圖現進行一定錨機制判斷從而獲得一定錨資訊，接著將該定錨資訊進行一迴歸層預測從而獲得一矩形區域，再接著將該矩形區域進行一機率判斷獲得一背景之機率，接著將該背景之機率進行一物體判斷從而獲得物體提案資訊。
  5. 如申請專利範圍第4項所述之物體再識別偵測系統，其中該定錨資訊為對該特徵圖上每一個點產生不同大小與比例之定錨資訊。
  6. 一種物體再識別偵測方法，係利用如請求項1所述之物體再識別偵測系統，包括：利用該提取單元針對該當前影像進行複數特徵提取，進而獲得該特徵圖；接著透過該物體提案產生單元根據該特徵圖進行複數特徵判斷從而獲得該物體提案資訊；再接著利用該偵測與分割單元根據該物體提案資訊進行預測判斷從而獲得複數預測資訊，接著透過該物體遞移單元將複數預測資訊透過該先前影像進行該遞移判斷從而獲得該遞移後資訊；以及 透過該物體再識別單元係將該將該遞移後資訊與該複數 預測資訊轉換至一高維度特徵向量空間
    Figure 109146372-A0305-02-0013-3
    從而獲得一向量空間資訊，接著將該向量空間資訊進行一向量比對從而建立不同時間點之間的該對應關係資訊。
  7. 如申請專利範圍第6項所述之物體再識別偵測方法，其中該複數特徵判斷係將該特徵圖現進行一定錨機制判斷從而獲得一定錨資訊，接著將該定錨資訊進行一迴歸層預測從而獲得一矩形區域，再接著將該矩形區域進行一機率判斷獲得一背景之機率，接著將該背景之機率進行一物體判斷從而獲得物體提案資訊。
  8. 如申請專利範圍第7項所述之物體再識別偵測方法，其中該定錨資訊為對該特徵圖上每一個點產生不同大小與比例之定錨資訊。
TW109146372A 2020-12-28 2020-12-28 物體再識別偵測系統與方法 TWI797527B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109146372A TWI797527B (zh) 2020-12-28 2020-12-28 物體再識別偵測系統與方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109146372A TWI797527B (zh) 2020-12-28 2020-12-28 物體再識別偵測系統與方法

Publications (2)

Publication Number Publication Date
TW202226142A TW202226142A (zh) 2022-07-01
TWI797527B true TWI797527B (zh) 2023-04-01

Family

ID=83436768

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109146372A TWI797527B (zh) 2020-12-28 2020-12-28 物體再識別偵測系統與方法

Country Status (1)

Country Link
TW (1) TWI797527B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system
US20200175352A1 (en) * 2017-03-14 2020-06-04 University Of Manitoba Structure defect detection using machine learning algorithms
CN111260687A (zh) * 2020-01-10 2020-06-09 西北工业大学 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN111709336A (zh) * 2020-06-08 2020-09-25 杭州像素元科技有限公司 一种高速公路行人检测方法、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200175352A1 (en) * 2017-03-14 2020-06-04 University Of Manitoba Structure defect detection using machine learning algorithms
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system
CN111260687A (zh) * 2020-01-10 2020-06-09 西北工业大学 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法
CN111709336A (zh) * 2020-06-08 2020-09-25 杭州像素元科技有限公司 一种高速公路行人检测方法、设备及可读存储介质

Also Published As

Publication number Publication date
TW202226142A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN109598268B (zh) 一种基于单流深度网络的rgb-d显著目标检测方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN107330390B (zh) 一种基于图像分析和深度学习的人数统计方法
CN109086777B (zh) 一种基于全局像素特征的显著图精细化方法
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN111815665B (zh) 基于深度信息与尺度感知信息的单张图像人群计数方法
CN108537816B (zh) 一种基于超像素和背景连接先验的显著物体分割方法
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN110321937B (zh) 一种Faster-RCNN结合卡尔曼滤波的运动人体跟踪方法
CN112541491B (zh) 基于图像字符区域感知的端到端文本检测及识别方法
CN111461036B (zh) 一种利用背景建模增强数据的实时行人检测方法
CN114037938B (zh) 一种基于NFL-Net的低照度目标检测方法
CN111488760A (zh) 基于深度多示例学习的少样本行人重识别方法
CN114332921A (zh) 基于改进聚类算法的Faster R-CNN网络的行人检测方法
CN112446356A (zh) 基于多重极坐标的自然场景下任意形状文本的检测方法
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
CN112529001A (zh) 一种基于神经网络的车牌识别方法
CN109448093B (zh) 一种风格图像生成方法及装置
TWI797527B (zh) 物體再識別偵測系統與方法
CN110705394A (zh) 一种基于卷积神经网络的景区人群行为分析方法
CN112446245A (zh) 一种基于运动边界小位移的高效运动表征方法及装置
CN113095332B (zh) 一种基于特征学习的显著性区域检测方法
CN112966600B (zh) 用于拥挤人群计数的自适应多尺度上下文聚合方法
CN113763474A (zh) 一种基于场景几何约束的室内单目深度估算方法