TWI797923B - 遮罩係數空間之線上多物件分割與追蹤系統 - Google Patents

遮罩係數空間之線上多物件分割與追蹤系統 Download PDF

Info

Publication number
TWI797923B
TWI797923B TW110149173A TW110149173A TWI797923B TW I797923 B TWI797923 B TW I797923B TW 110149173 A TW110149173 A TW 110149173A TW 110149173 A TW110149173 A TW 110149173A TW I797923 B TWI797923 B TW I797923B
Authority
TW
Taiwan
Prior art keywords
information
feature
judgment
tracking
mask
Prior art date
Application number
TW110149173A
Other languages
English (en)
Other versions
TW202326527A (zh
Inventor
張峰嘉
黃世勳
簡士哲
蕭有崧
Original Assignee
國家中山科學研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國家中山科學研究院 filed Critical 國家中山科學研究院
Priority to TW110149173A priority Critical patent/TWI797923B/zh
Application granted granted Critical
Publication of TWI797923B publication Critical patent/TWI797923B/zh
Publication of TW202326527A publication Critical patent/TW202326527A/zh

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

一種遮罩係數空間之線上多物件分割與追蹤系統，其中包括：一物件分割單元，該物件分割單元係用於接收複數影像資訊，其中該物件分割單元將該複數影像資訊進行複數特徵處理進而獲得一複數特徵資訊；一物件時序對應單元，該物件時序對應單元將該複數特徵資訊進行一特徵關聯性判斷進而獲得一複數特徵關聯性資訊；一物件追蹤單元，該物件追蹤將該複數特徵關聯性資訊進行複數追蹤判斷進而獲得一追蹤判斷資訊；以及一物件遮罩生成單元，該物件遮罩生成單元將該追蹤判斷資訊進行一準確性判斷進而獲得一物件遮罩資訊。

Description

遮罩係數空間之線上多物件分割與追蹤系統
本發明係關於一種物件分割系統，特別是關於一種遮罩係數空間之線上多物件分割與追蹤系統。
近年來隨著深度學習與卷積神經網路技術不斷突破，其中應用孿生神經網路於在物件追蹤領域上，獲得不錯成效，使得基於卷積神經網路之物件外觀模型近幾年來不斷被提出，基於孿生神經網路架構主要直接將影像中物件區域，經卷積網路所獲得之特徵圖視為該物件之外觀模型，並作為後續目標物件之偵測與追蹤，利用卷積神經網路將目標物件與目標畫面映射至特徵圖空間，並以此計算兩者在畫面中各位置之相關性，製成該畫面對目標物件之響應圖，作為追蹤目標物件之根據。
於追蹤時為提高物件時序上之鑑別度與對應準確度，進一步使用特徵嵌入網路(Feature Embedding Network)將各物件之外觀向量投影至另一個特徵空間中，旨在使相同物件於此特徵空間中距離較小；反之，則距離較大。然此類方法雖然將物件追蹤空間轉變至低維的特徵空間，使得物件追蹤更加高速以及高效，但要產生能穩定追蹤之特徵向量極 為困難，並且因為該類網路訓練目標不明確，使得研究者必須耗費心力在該類網路的訓練策略上。
鑒於上述習知技術之缺點並同時改善上述缺點，本發明提出使用遮罩係數空間之線上多物件分割與追蹤系統，可透過直接於物件遮罩係數空間之線上多物件分割與追蹤來解決上述的缺點。
為了達到上述目的，根據本發明所提出之一種遮罩係數空間之線上多物件分割與追蹤系統，其中包括：一物件分割單元，該物件分割單元係用於接收複數影像資訊，其中該物件分割單元將該複數影像資訊進行複數特徵處理進而獲得一複數特徵資訊；一物件時序對應單元，該物件時序對應單元將該複數特徵資訊進行一特徵關聯性判斷進而獲得一複數特徵關聯性資訊；一物件追蹤單元，該物件追蹤將該複數特徵關聯性資訊進行複數追蹤判斷進而獲得一追蹤判斷資訊；以及一物件遮罩生成單元，該物件遮罩生成單元將該追蹤判斷資訊進行一準確性判斷進而獲得一物件遮罩資訊。
本發明的該遮罩係數空間之線上多物件分割與追蹤系統，其中該複數特徵處理係將該複數影像資訊先進行一第一特徵判斷進而獲得複數特徵圖資訊，接著將該複數特徵圖資訊進行一第二特徵判斷進而獲得該複數特徵資訊。
本發明的該遮罩係數空間之線上多物件分割與追蹤系統，其中該第一特徵判斷係將該複數影像資訊進行一特徵提取獲得複數捲積特徵圖，接著將該複數捲積特徵圖進行一生成提取獲得複數特徵圖資訊。
本發明的該遮罩係數空間之線上多物件分割與追蹤系統，其中該第二特徵判斷係將該複數特徵圖資訊進行一物件切割獲得複數特徵資訊。
本發明的該遮罩係數空間之線上多物件分割與追蹤系統，其中該複數特徵資訊包括：一物件遮罩係數資訊、一物件邊框資訊、一物件位置資訊與一物件種類資訊。
本發明的該三臂式整流與變流電路遮罩係數空間之線上多物件分割與追蹤系統，其中該複數影像資訊包括：複數動態影像與複數靜態影像。
本發明的該遮罩係數空間之線上多物件分割與追蹤系統，其中該特徵關聯性判斷係將該複數特徵資訊進行一時間軸判斷獲得複數時間軸資訊，接著將該複數時間軸資訊與一判斷資訊進行一關聯性判斷進而獲得該複數特徵關聯性資訊。
本發明的該遮罩係數空間之線上多物件分割與追蹤系統，其中該複數追蹤判斷係將該複數特徵關聯性資訊先進行一預測判斷進而獲得一預測資訊，接著將該預測資訊進行一更新判斷進而獲得該追蹤判斷資訊。
本發明的該遮罩係數空間之線上多物件分割與追蹤系統，其中該預測資訊為該複數特徵關聯性資訊當前之分割係數值。
本發明的該遮罩係數空間之線上多物件分割與追蹤系統，其中該準確性判斷係將該追蹤判斷資訊與複數特徵資訊先進行一係數判斷並獲得一二元影像，接者將該二元影像與該複數特徵資訊進行裁切並獲得該物件遮罩資訊。
以上之概述與接下來的詳細說明及附圖，皆是為了能進一步說明本創作達到預定目的所採取的方式、手段及功效。而有關本創作的其他目的及優點，將在後續的說明及圖式中加以闡述。
1:物件分割單元
2:物件時序對應單元
3:物件追蹤單元
4:物件遮罩生成單元
第一圖係為遮罩係數空間之線上多物件分割與追蹤系統之示意圖。
以下係藉由特定的具體實例說明本創作之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地了解本創作之優點及功效。
請參閱第一圖所示，本發明遮罩係數空間之線上多物件分割與追蹤系統之示意圖，其中遮罩係數空間之線上多物件分割與追蹤系統係由物件分割單元1、物件時序對應單元2、物件追蹤單元3及物件遮罩生成單元4所組成，其中該 物件分割單元1係用於接收複數影像資訊，其中該物件分割單元1將該複數影像資訊進行複數特徵處理進而獲得一複數特徵資訊；該物件時序對應單元2將該複數特徵資訊進行一特徵關聯性判斷進而獲得一複數特徵關聯性資訊；該物件追蹤將該複數特徵關聯性資訊進行複數追蹤判斷進而獲得一追蹤判斷資訊；以及該物件遮罩生成單元4將該追蹤判斷資訊進行一準確性判斷進而獲得一物件遮罩資訊。
再一較佳實施例中，該物件分割單元1將該複數影像資訊進行複數特徵處理進而獲得複數特徵資訊，其中該複數特徵處理係將該複數影像資訊先進行一第一特徵判斷進而獲得複數特徵圖資訊，接著將該複數特徵圖資訊進行一第二特徵判斷進而獲得該複數特徵資訊；其中該第一特徵判斷係將該複數影像資訊先進行一特徵提取獲得複數捲積特徵圖，接著將該複數捲積特徵圖進行一生成提取獲得複數特徵圖資訊，其中該複數特徵圖資訊為複數影像資訊的原始資訊，接著將該複數特徵圖資訊透過該第二特徵判斷方式進行一物件切割並獲得複數特徵資訊，其中該複數影像資訊包括：複數動態影像與複數靜態影像，以及該複數特徵資訊包括一物件遮罩係數資訊、一物件邊框資訊、一物件位置資訊與一物件種類資訊，其中上述複數影像資訊與該複數特徵資訊不應本次實施例而有所限定。
再一較佳實施例中，該物件時序對應單元2將該 複數特徵資訊進行特徵關聯性判斷進而獲得複數特徵關聯性資訊，其中該特徵關聯性判斷係將該複數特徵資訊進行一時間軸判斷獲得複數時間軸資訊，其中該複數時間軸資訊為每一個特徵資訊中的每一個物件之外觀或運動特性，並建構出相同物件於連續兩影像間之對應關係，並同時處理物件的軌跡更新、物件新增或物件移除等動作，接著將該複數時間軸資訊與一判斷資訊進行一關聯性判斷，該關聯性判斷係將該複數時間軸資訊與該判斷資訊中相同物件於連續兩影像間之對應關係進行關聯性判斷進而獲得該複數特徵關聯性資訊。
再一較佳實施例中，該物件追蹤將該複數特徵關聯性資訊進行複數追蹤判斷進而獲得一追蹤判斷資訊，其中該複數追蹤判斷係將該複數特徵關聯性資訊先進行一預測判斷進而獲得一預測資訊，該預測判斷係用於預測物件於下次影像中的預測資訊，其中該預測資訊為該複數特徵關聯性資訊當前之分割係數值，接著將該預測資訊進行一更新判斷進而獲得該追蹤判斷資訊，該更新判斷係將該預測資訊與當前的複數特徵關聯性資訊進行比對並獲得更準確的該追蹤判斷資訊。
再一較佳實施例中，該物件遮罩生成單元4將該追蹤判斷資訊進行一準確性判斷進而獲得一物件遮罩資訊，其中該準確性判斷係將該追蹤判斷資訊與複數特徵資訊先進行一係數判斷並獲得一二元影像，其中該係數判斷是將該追 蹤判斷資訊進行係數偵測可獲的該每個物件中的係數值，並將該係數值進行彙整並產生該二元影像，接者將該二元影像與該複數特徵資訊進行裁切並獲得該物件遮罩資訊，其中該物件遮罩資訊具有複數個零資訊與壹資訊，其中該零資訊為背景資訊，該壹資訊為被切割出來的物件資訊。
本案遮罩係數空間之線上多物件分割與追蹤系統主要係用於物件切割方式得到的物件遮罩資訊作為物件追蹤之依據，使用物件遮罩資訊作為物件追蹤依據能有效能提升系統準確度。
需陳明者，以上所述僅為本案之較佳實施例，並非用以限制本創作，若依本創作之構想所作之改變，在不脫離本創作精神範圍內，例如：對於構型或佈置型態加以變換，對於各種變化，修飾與應用，所產生等效作用，均應包含於本案之權利範圍內，合予陳明。
1:物件分割單元
2:物件時序對應單元
3:物件追蹤單元
4:物件遮罩生成單元

Claims (9)

  1. 一種遮罩係數空間之線上多物件分割與追蹤系統，其中包括：一物件分割單元，該物件分割單元係用於接收複數影像資訊，其中該物件分割單元將該複數影像資訊進行複數特徵處理進而獲得一複數特徵資訊；一物件時序對應單元，該物件時序對應單元將該複數特徵資訊進行一特徵關聯性判斷進而獲得一複數特徵關聯性資訊；一物件追蹤單元，該物件追蹤將該複數特徵關聯性資訊進行複數追蹤判斷進而獲得一追蹤判斷資訊；以及一物件遮罩生成單元，該物件遮罩生成單元將該追蹤判斷資訊進行一準確性判斷進而獲得一物件遮罩資訊，其中該準確性判斷係將該追蹤判斷資訊進行一係數判斷，該係數判斷是將該追蹤判斷資訊進行一係數偵測可獲的每個物件中的一係數值，並將該係數值進行彙整並產生一二元影像，接者將該二元影像與該複數特徵資訊進行裁切並獲得該物件遮罩資訊，其中該物件遮罩資訊具有複數個零資訊與複數個壹資訊，該零資訊為背景資訊，該壹資訊為被切割出來的物件資訊。
  2. 如申請專利範圍第1項所述之遮罩係數空間之線上多物件分割與追蹤系統，其中該複數特徵處理係將該複數影像資 訊先進行一第一特徵判斷進而獲得複數特徵圖資訊，接著將該複數特徵圖資訊進行一第二特徵判斷進而獲得該複數特徵資訊。
  3. 如申請專利範圍第2項所述之遮罩係數空間之線上多物件分割與追蹤系統，其中該第一特徵判斷係將該複數影像資訊進行一特徵提取獲得複數捲積特徵圖，接著將該複數捲積特徵圖進行一生成提取獲得複數特徵圖資訊。
  4. 如申請專利範圍第2項所述之遮罩係數空間之線上多物件分割與追蹤系統，其中該第二特徵判斷係將該複數特徵圖資訊進行一物件切割獲得複數特徵資訊。
  5. 如申請專利範圍第2項所述之遮罩係數空間之線上多物件分割與追蹤系統，其中該複數影像資訊包括：複數動態影像與複數靜態影像。
  6. 如申請專利範圍第2項所述之遮罩係數空間之線上多物件分割與追蹤系統，其中該複數特徵資訊包括：一物件遮罩係數資訊、一物件邊框資訊、一物件位置資訊與一物件種類資訊。
  7. 如申請專利範圍第1項所述之遮罩係數空間之線上多物件分割與追蹤系統，其中該特徵關聯性判斷係將該複數特徵資訊進行一時間軸判斷獲得複數時間軸資訊，接著將該複數時間軸資訊與一判斷資訊進行一關聯性判斷進而獲得該複數特徵關聯性資訊。
  8. 如申請專利範圍第1項所述之遮罩係數空間之線上多物件分割與追蹤系統，其中該複數追蹤判斷係將該複數特徵關聯性資訊先進行一預測判斷進而獲得一預測遮罩係數特性資訊，接著將該預測遮罩係數特性資訊進行一更新判斷進而獲得該追蹤判斷資訊。
  9. 如申請專利範圍第8項所述之遮罩係數空間之線上多物件分割與追蹤系統，其中該預測遮罩係數特性資訊為該複數特徵關聯性資訊當前之分割係數值。
TW110149173A 2021-12-28 2021-12-28 遮罩係數空間之線上多物件分割與追蹤系統 TWI797923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110149173A TWI797923B (zh) 2021-12-28 2021-12-28 遮罩係數空間之線上多物件分割與追蹤系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110149173A TWI797923B (zh) 2021-12-28 2021-12-28 遮罩係數空間之線上多物件分割與追蹤系統

Publications (2)

Publication Number Publication Date
TWI797923B true TWI797923B (zh) 2023-04-01
TW202326527A TW202326527A (zh) 2023-07-01

Family

ID=86945041

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110149173A TWI797923B (zh) 2021-12-28 2021-12-28 遮罩係數空間之線上多物件分割與追蹤系統

Country Status (1)

Country Link
TW (1) TWI797923B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201447811A (zh) * 2013-03-29 2014-12-16 Omron Tateisi Electronics Co 區域分割方法及檢查裝置
US20150269739A1 (en) * 2014-03-21 2015-09-24 Hon Pong Ho Apparatus and method for foreground object segmentation
TWI536320B (zh) * 2014-09-04 2016-06-01 宏達國際電子股份有限公司 影像分割方法
CN109492608A (zh) * 2018-11-27 2019-03-19 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN111539983A (zh) * 2020-04-15 2020-08-14 上海交通大学 基于深度图像的运动物体分割方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201447811A (zh) * 2013-03-29 2014-12-16 Omron Tateisi Electronics Co 區域分割方法及檢查裝置
US20150269739A1 (en) * 2014-03-21 2015-09-24 Hon Pong Ho Apparatus and method for foreground object segmentation
TWI536320B (zh) * 2014-09-04 2016-06-01 宏達國際電子股份有限公司 影像分割方法
CN109492608A (zh) * 2018-11-27 2019-03-19 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN111539983A (zh) * 2020-04-15 2020-08-14 上海交通大学 基于深度图像的运动物体分割方法及系统

Also Published As

Publication number Publication date
TW202326527A (zh) 2023-07-01

Similar Documents

Publication Publication Date Title
Gao et al. A mutually supervised graph attention network for few-shot segmentation: The perspective of fully utilizing limited samples
Li et al. Face detection based on receptive field enhanced multi-task cascaded convolutional neural networks
Gao et al. Congested crowd instance localization with dilated convolutional swin transformer
Chen et al. Using FTOC to track shuttlecock for the badminton robot
Ren et al. A novel squeeze YOLO-based real-time people counting approach
CN113744311A (zh) 基于全连接注意力模块的孪生神经网络运动目标跟踪方法
Ran et al. A robust multi-athlete tracking algorithm by exploiting discriminant features and long-term dependencies
Xu et al. Dilated-scale-aware category-attention convnet for multi-class object counting
CN109146920A (zh) 一种可嵌入式实现的目标跟踪方法
Alwando et al. CNN-based multiple path search for action tube detection in videos
Li et al. Object tracking with only background cues
Liao et al. A two-stage method for hand-raising gesture recognition in classroom
Sang et al. Two-level attention model based video action recognition network
CN117252904A (zh) 基于长程空间感知与通道增强的目标跟踪方法与系统
Zhang et al. Two-stream RGB-D human detection algorithm based on RFB network
Şah et al. Review and evaluation of player detection methods in field sports: Comparing conventional and deep learning based methods
Chen et al. Tssd: Temporal single-shot detector based on attention and lstm
TWI797923B (zh) 遮罩係數空間之線上多物件分割與追蹤系統
Feng et al. Point-guided contrastive learning for monocular 3-D object detection
Ren et al. A robust and accurate end-to-end template matching method based on the Siamese network
Liu et al. Human motion target recognition using convolutional neural network and global constraint block matching
Chen et al. SiamCPN: Visual tracking with the Siamese center-prediction network
Liu et al. Fabric defect detection using fully convolutional network with attention mechanism
Wang et al. Transgop: Transformer-based gaze object prediction
Xie et al. Affine geometrical region CNN for object tracking