TW201516969A - 視訊物件追蹤方法 - Google Patents

視訊物件追蹤方法 Download PDF

Info

Publication number
TW201516969A
TW201516969A TW102138843A TW102138843A TW201516969A TW 201516969 A TW201516969 A TW 201516969A TW 102138843 A TW102138843 A TW 102138843A TW 102138843 A TW102138843 A TW 102138843A TW 201516969 A TW201516969 A TW 201516969A
Authority
TW
Taiwan
Prior art keywords
window
color
video
tracking method
color filter
Prior art date
Application number
TW102138843A
Other languages
English (en)
Other versions
TWI497450B (zh
Inventor
Chaur-Heh Hsieh
Shu-Wei Jhou
Original Assignee
Univ Ming Chuan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Ming Chuan filed Critical Univ Ming Chuan
Priority to TW102138843A priority Critical patent/TWI497450B/zh
Priority to US14/184,829 priority patent/US9171229B2/en
Publication of TW201516969A publication Critical patent/TW201516969A/zh
Application granted granted Critical
Publication of TWI497450B publication Critical patent/TWI497450B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本發明係一種視訊物件追蹤方法，其步驟包括：於一視訊影像設定一具有一目標物件之物件窗；設定一大於該物件窗之搜尋窗；分析該物件窗之圖像像素並產生一顏色直方圖，其係用以定義一顏色濾波器，該顏色濾波器係包含該目標物件之主要顏色特徵；使用該顏色濾波器於該物件窗及搜尋窗，分別產生一物件模板及一主要顏色圖，該物件模板係包含該目標物件之形狀特徵，該主要顏色圖係具有至少一候選物件；以該物件模板與所述候選物件進行相似度比對，並獲得一機率分佈圖，進而利用該機率分佈圖計算得出該目標物件之質量中心，故本發明係同時透過顏色及形狀特徵，所產生之機率分佈圖而計算出質量中心，俾具有防止目標物件受環境干擾之優點，即係大幅提升辨識精準度、即時追蹤之功效。

Description

視訊物件追蹤方法
本發明係提供一種視訊物件追蹤方法，特別是指一種同時採用顏色及形狀特徵，以準確計算得出目標物件之中心座標者。
按，視訊物件追蹤在電腦視覺領域中，扮演著相當重要的角色，其應用也非常廣泛，例如視訊監控、人機介面、車用導航及智能交通運輸系統等等，不過於實際運用時，視訊物件追蹤技術現存有許多的困難點，像是複雜的背景、非剛體( non-rigid )物件、照明變化(illumination change)或是物件被遮蔽，這些情況都會讓視訊在物件追蹤上變得困難，意即會同時影響追蹤物件的穩定性與準確度，無論如何，視訊物件追蹤主要係藉由物件的特徵，如色彩、形狀和紋理等資訊，經過連續的分析處理，估測出目標物件的中心位置及大小，進而達到追蹤之目的。
目前市面上已經有很多不同種的追蹤演算法，每一種演算法的特色都不同，其中，均值漂移演算法(Mean shift algorithm)是一種高效率的視訊物件追蹤方法，CamShift將均值漂移演算法改成適應式(adaptive)，可以自動調整物件窗(object window)的大小，以適應物件大小隨時間的變化，是一個高效率且又穩定的目標跟踪的方法，Camshift近年來已經收到了廣泛的關注。
然而，CamShift是Mean shift方法之改良，雖是一種速度極快的演算法，主要都是使用顏色特徵當作追蹤的依據，但由於其計算方式是以顏色相似度轉換成機率，再以機率來計算質量中心，當遇到目標物件在有相似顏色背景，或者是相似顏色之較大物體時，將會干擾原物體的追蹤，進而導致追蹤失敗之結果，換言之，此種僅利用顏色相似度計算機率之方法，常常會使得目標物件被類似顏色的其他較大物體，或是背景干擾，造成物件追蹤上之判斷錯誤。
有鑑於此，吾等發明人乃潛心進一步研究目前視訊物件之追蹤領域，並著手進行研發及改良，期以一較佳創作以解決上述問題，且在經過不斷試驗及修改後而有本發明之問世。
緣是，本發明之目的係為解決傳統的追蹤演算法實際運用所遭遇之困難點，尤以CamShift而言，係只利用顏色相似度轉換成機率而算得質量中心者，若目標物件係位於具有相似顏色之背景中，或者是其周圍存有相似顏色之較大物體時，定會干擾物件之追蹤結果，甚至是常出現追蹤失敗及錯誤，即係產生整體穩定性與準確度皆不佳之問題與缺失。
為達致以上目的，吾等發明人係提供一種視訊物件追蹤方法，其步驟包括：於一視訊影像設定一物件窗，該物件窗係具有一目標物件；設定一搜尋窗，該搜尋窗尺寸係大於該物件窗者；分析該物件窗之圖像像素並產生一顏色直方圖，該顏色直方圖係用以定義一顏色濾波器，該顏色濾波器係包含該目標物件之主要顏色特徵；使用該顏色濾波器於該物件窗並產生一物件模板，該物件模板係包含該目標物件之形狀特徵；使用該顏色濾波器於該搜尋窗並產生一主要顏色圖，該主要顏色圖係具有至少一候選物件；以該物件模板與所述候選物件進行相似度比對，並獲得一機率分佈圖；以及根據該機率分佈圖而計算得出該目標物件之質量中心。
據上所述之視訊物件追蹤方法，更進一步包含有步驟：利用均值漂移演算法調整該目標物件之質量中心，得到該目標物件之最佳中心位置；以及根據該最佳中心位置更新該搜尋窗尺寸。
據上所述之視訊物件追蹤方法，其中，於一視訊影像設定一物件窗之步驟包含：該物件窗係透過手動選取而取得者。
據上所述之視訊物件追蹤方法，其中，於一視訊影像設定一物件窗之步驟包含：該物件窗係透過預先載入一圖像然後經計算而得者。
據上所述之視訊物件追蹤方法，其中，設定一搜尋窗之步驟包含：該物件窗係位於該搜尋窗之中心。
據上所述之視訊物件追蹤方法，其中，該視訊影像係轉換為HSV色彩空間者。
據上所述之視訊物件追蹤方法，其中，該物件模板及主要顏色圖為二值化圖像。
藉由上述設置，相較於先前技術因使用顏色特徵作為追蹤依據，而存有無法分辨出相同顏色但不同形體物件之虞，本發明主要係透過該顏色濾波器，能夠同時以該目標物件之顏色及形狀特徵作為追蹤依據，供有效取得該目標物件之質量中心，更進一步配合均值漂移演算法，調整該質量中心並更新該搜尋窗尺寸，故本發明確實可增進辨識穩定性與精準度、降低整體運算成本，以及具有即時追蹤之優點及功效。
關於吾等發明人之技術手段，茲舉數種較佳可行實施例配合圖式於下文進行詳細說明，俾供  鈞上深入了解並認同本發明。
請參閱第1圖至第6圖所示，本發明主要係一種視訊物件追蹤方法，其步驟包括：
於一視訊影像設定一物件窗，該物件窗係具有一目標物件，該物件窗係透過手動選取而取得，或者是透過預先載入一圖像然後經計算而得者，又，該視訊影像係轉換為HSV色彩空間者，以本實施例而言，係假定使用者手動選擇該物件窗，並設定該物件窗尺寸為；
設定一搜尋窗，該搜尋窗尺寸係大於該物件窗者，且該物件窗係位於該搜尋窗之中心，此處係假定該搜尋窗尺寸，s為縮放倍率，並設定所述縮放倍率為1.3；
分析該物件窗之圖像像素x並產生一顏色直方圖，該顏色直方圖係如第2圖所示般分為N個bins，並用以定義一顏色濾波器（Color Filter, CF），該顏色濾波器係分為M個bins（M<N），其數學式1如下： 【數學式1】
以本實施例而言，請配合第3圖所示者，所述M係設定為2，該顏色濾波器係包含該目標物件之主要顏色特徵；
使用該顏色濾波器於該物件窗，其係針對該物件窗之每一圖像像素x進行分析，並產生一物件模板（Object Template, O），其數學式2如下： 【數學式2】
該物件模板為二值化圖像，由前述數學式2中的，表示圖像像素於位置之顏色係符合主要顏色特徵，更甚者如第4圖所繪示般，該物件模板係包含該目標物件之形狀特徵；
使用該顏色濾波器於該搜尋窗並產生一主要顏色圖（見第5圖所示），該主要顏色圖為二值化圖像，且該主要顏色圖係具有至少一候選物件（Candidate Block, C），所述候選物件尺寸需與該物件模板相同，此處即為，更進一步舉例說明，茲假設該搜尋窗尺寸係設定為像素，並定義產生候選物件之像素距離，意即可假定每10像素距離產生一候選物件，此處設定之像素距離僅是方便電腦運算，並非作為限定；
以該物件模板與所述候選物件進行相似度比對，並獲得一機率分佈圖，其數學式3及數學式4如下： 【數學式3】【數學式4】
其中，為位元比較運算，為所述候選物件之位置；
請參見第6圖所示之機率分佈圖，其係透過不同顏色表現相異機率值分佈之情形，越靠近該目標物件之中心者，其機率值越高，而越遠離該目標物件之中心者，其機率值則越低，由於本實施例所設定之像素距離為10像素，所述候選物件之機率對應至其像素範圍為；
根據該機率分佈圖，利用均值漂移演算法(Mean shift algorithm)調整該目標物件之質量中心，並判斷是否得到該目標物件之最佳中心位置，若判斷結果為否者，將會重複前一步驟以重新取得該目標物件之質量中心，若判斷結果為是者，則繼續進行下一步驟；以及
根據該最佳中心位置更新該搜尋窗尺寸，用以持續追蹤該目標物件，進而言之，前述更新該搜尋窗尺寸後，再於另一視訊影像重複施行步驟：使用該顏色濾波器於更新後搜尋窗，最後便可達到精準且穩定追蹤該目標物件之目的。
是由上述說明及設置，顯見本發明係藉由該顏色濾波器於該物件窗產生物件模板，而於該搜尋窗產生主要顏色圖，即可同時包含該目標物件之主要顏色特徵及形狀特徵，再者，該主要顏色圖係預定義有所述候選物件，其與該物件模板作相似度比對而得之機率分佈圖，根據該機率分佈圖就能有效取得該目標物件之質量中心，更進一步配合均值漂移演算法，調整該質量中心並更新該搜尋窗尺寸，故本發明確實可解決視訊背景中存有相似顏色物件干擾等問題，即係具有增進辨識穩定性與精準度、降低整體運算成本，以及即時追蹤之優點及功效。
綜上所述，本發明所揭露之技術手段確能有效解決習知問題，並達致預期之目的與功效，且申請前未見諸於刊物、未曾公開使用且具長遠進步性，誠屬專利法所稱之發明無誤，爰依法提出申請，懇祈  鈞上惠予詳審並賜准發明專利，至感德馨。
惟以上所述者，僅為本發明之數種較佳實施例，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明書內容所作之等效變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。
〔本發明〕 無
［第1圖］係本發明之流程示意圖。 ［第2圖］係本發明之顏色直方圖。 ［第3圖］係本發明之顏色濾波器示意圖。 ［第4圖］係本發明之物件模板示意圖。 ［第5圖］係本發明之主要顏色示意圖。 ［第6圖］係本發明之機率分佈示意圖。

Claims (11)

  1. 一種視訊物件追蹤方法，其步驟包括：於一視訊影像設定一物件窗，該物件窗係具有一目標物件；設定一搜尋窗，該搜尋窗尺寸係大於該物件窗者；分析該物件窗之圖像像素並產生一顏色直方圖，該顏色直方圖係用以定義一顏色濾波器（Color Filter, CF），該顏色濾波器係包含該目標物件之主要顏色特徵；使用該顏色濾波器於該物件窗並產生一物件模板（Object Template, O），該物件模板係包含該目標物件之形狀特徵；使用該顏色濾波器於該搜尋窗並產生一主要顏色圖，該主要顏色圖係具有至少一候選物件（Candidate Block, C）；以該物件模板與所述候選物件進行相似度比對，並獲得一機率分佈圖；以及根據該機率分佈圖而計算出該目標物件之質量中心。
  2. 如申請專利範圍第1項所述之視訊物件追蹤方法，更進一步包含有步驟：利用均值漂移演算法調整該目標物件之質量中心，得到該目標物件之最佳中心位置；以及根據該最佳中心位置更新該搜尋窗尺寸。
  3. 如申請專利範圍第1項所述之視訊物件追蹤方法，其中，於一視訊影像設定一物件窗之步驟包含：該物件窗係透過手動選取而取得者。
  4. 如申請專利範圍第1項所述之視訊物件追蹤方法，其中，於一視訊影像設定一物件窗之步驟包含：該物件窗係透過預先載入一圖像然後經計算而得者。
  5. 如申請專利範圍第1項所述之視訊物件追蹤方法，其中，設定一搜尋窗之步驟包含：該物件窗係位於該搜尋窗之中心。
  6. 如申請專利範圍第1項所述之視訊物件追蹤方法，其中，該顏色直方圖係用以定義一顏色濾波器之步驟包含：該顏色直方圖係分為N個bins，且該顏色濾波器係分為小於N之M個bins，其數學式如下：。
  7. 如申請專利範圍第6項所述之視訊物件追蹤方法，其中，使用該顏色濾波器於該物件窗並產生一物件模板之步驟包含：該顏色濾波器係針對該物件窗之每一圖像像素x進行分析，其數學式如下：。
  8. 如申請專利範圍第7項所述之視訊物件追蹤方法，其中，以該物件模板與所述候選物件進行相似度比對之步驟包含：該物件模板係利用下列數學式與候選物件進行相似度比對：，其中，為位元比較運算。
  9. 如申請專利範圍第8項所述之視訊物件追蹤方法，其中，獲得一機率分佈圖之步驟包含：該機率分佈圖係利用下列數學式而獲得者：，其中，為所述候選物件之位置，為該物件窗尺寸。
  10. 如申請專利範圍第1項所述之視訊物件追蹤方法，其中，該視訊影像係轉換為HSV色彩空間者。
  11. 如申請專利範圍第1項所述之視訊物件追蹤方法，其中，該物件模板及主要顏色圖為二值化圖像。
TW102138843A 2013-10-28 2013-10-28 視訊物件追蹤方法 TWI497450B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102138843A TWI497450B (zh) 2013-10-28 2013-10-28 視訊物件追蹤方法
US14/184,829 US9171229B2 (en) 2013-10-28 2014-02-20 Visual object tracking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102138843A TWI497450B (zh) 2013-10-28 2013-10-28 視訊物件追蹤方法

Publications (2)

Publication Number Publication Date
TW201516969A true TW201516969A (zh) 2015-05-01
TWI497450B TWI497450B (zh) 2015-08-21

Family

ID=52995512

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102138843A TWI497450B (zh) 2013-10-28 2013-10-28 視訊物件追蹤方法

Country Status (2)

Country Link
US (1) US9171229B2 (zh)
TW (1) TWI497450B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102137263B1 (ko) * 2014-02-20 2020-08-26 삼성전자주식회사 영상 처리 장치 및 방법
CN106295466A (zh) * 2015-05-18 2017-01-04 佳能株式会社 图像处理方法和装置
US10824878B2 (en) 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
US10026003B2 (en) 2016-03-08 2018-07-17 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
US20180082428A1 (en) * 2016-09-16 2018-03-22 Qualcomm Incorporated Use of motion information in video data to track fast moving objects
CN107452015B (zh) * 2017-07-28 2020-09-25 南京工业职业技术学院 一种具有重检测机制的目标跟踪系统
CN110276781A (zh) * 2018-03-13 2019-09-24 天津工业大学 运动目标跟踪方法
CN110458045A (zh) * 2019-07-22 2019-11-15 浙江大华技术股份有限公司 响应概率直方图的获取方法、图像处理方法以及装置
CN110837774A (zh) * 2019-09-27 2020-02-25 中科九度(北京)空间信息技术有限责任公司 一种肩扛棒状物组合目标的高精度识别方法
CN112288780B (zh) * 2020-11-09 2024-01-16 西安工业大学 多特征动态加权的目标跟踪算法
CN116975585B (zh) * 2023-09-25 2023-12-15 中国人民解放军军事科学院国防科技创新研究院 可计算即时优势窗口形式化表征方法及装置
CN117853484B (zh) * 2024-03-05 2024-05-28 湖南建工交建宏特科技有限公司 一种基于视觉的桥梁损伤智能监测方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6363160B1 (en) * 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
CN101610412B (zh) * 2009-07-21 2011-01-19 北京大学 一种基于多线索融合的视觉跟踪方法
CN101955130B (zh) * 2010-09-08 2012-03-07 西安理工大学 具有自动跟踪变倍功能的塔机视频监控系统及监控方法
TW201220215A (en) * 2010-11-08 2012-05-16 Hon Hai Prec Ind Co Ltd Suspicious object recognizing and tracking system and method
CN102737385A (zh) * 2012-04-24 2012-10-17 中山大学 一种基于camshift和卡尔曼滤波的视频目标跟踪方法

Also Published As

Publication number Publication date
US9171229B2 (en) 2015-10-27
US20150117706A1 (en) 2015-04-30
TWI497450B (zh) 2015-08-21

Similar Documents

Publication Publication Date Title
TWI497450B (zh) 視訊物件追蹤方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
TWI394087B (zh) 追蹤目標物的方法及裝置
CN109961506A (zh) 一种融合改进Census图的局部场景三维重建方法
WO2022142214A1 (zh) 车辆位姿确定方法、车辆控制方法及相应的装置、车辆、存储介质
JP2015522200A (ja) 人顔特徴点の位置決め方法、装置及び記憶媒体
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN112634125B (zh) 一种基于离线人脸数据库的自动面部替换方法
CN108550166B (zh) 一种空间目标图像匹配方法
CN109740537B (zh) 人群视频图像中行人图像属性的精确标注方法及系统
CN111768447A (zh) 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN108229247A (zh) 一种移动车辆检测方法
CN103218809A (zh) 一种珍珠长度参数的图像测量方法
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN111684462B (zh) 一种图像匹配方法及视觉系统
CN110992301A (zh) 一种气体轮廓识别方法
Qu et al. Point clouds outlier removal method based on improved mahalanobis and completion
CN117611525A (zh) 一种受电弓滑板磨耗视觉检测方法和系统
CN107710229B (zh) 图像中的形状识别方法、装置、设备及计算机存储介质
CN105243661A (zh) 一种基于susan算子的角点检测方法
WO2019041447A1 (zh) 一种3d视频帧特征点提取的方法及系统
CN114463534A (zh) 一种目标关键点检测方法、装置、设备及存储介质
CN113223098B (zh) 图像颜色分类的预处理优化方法
Dai et al. An Improved ORB Feature Extraction Algorithm Based on Enhanced Image and Truncated Adaptive Threshold
CN107633543B (zh) 考虑局部拓扑结构的线条形状对应方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees