TWI496114B - 影像追蹤裝置及其影像追蹤方法 - Google Patents

影像追蹤裝置及其影像追蹤方法 Download PDF

Info

Publication number
TWI496114B
TWI496114B TW101144024A TW101144024A TWI496114B TW I496114 B TWI496114 B TW I496114B TW 101144024 A TW101144024 A TW 101144024A TW 101144024 A TW101144024 A TW 101144024A TW I496114 B TWI496114 B TW I496114B
Authority
TW
Taiwan
Prior art keywords
image
dimensional
images
processor
change amount
Prior art date
Application number
TW101144024A
Other languages
English (en)
Other versions
TW201421424A (zh
Inventor
Ja Ling Wu
Jui Hsin Lai
Original Assignee
Univ Nat Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan filed Critical Univ Nat Taiwan
Priority to TW101144024A priority Critical patent/TWI496114B/zh
Priority to US13/761,938 priority patent/US9105101B2/en
Publication of TW201421424A publication Critical patent/TW201421424A/zh
Application granted granted Critical
Publication of TWI496114B publication Critical patent/TWI496114B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Description

影像追蹤裝置及其影像追蹤方法
本發明提供一種影像追蹤裝置及其影像追蹤方法。更具體而言,本發明提供一種關於具有記憶及學習功能之影像追蹤裝置及其影像追蹤方法。
近年來,隨著視訊產品的普及化以及影像追蹤技術的成長,使得現代人的生活環境變得更加安全以及便利。影像追蹤技術可應用的層面很廣,例如:交通狀態監視系統、大樓保全監視系統、街景監視系統、住家監視系統、人臉監視系統等等。透過各種影像追蹤技術,我們就可以根據在不同應用層面中所擷取的影片中的資訊,分析欲追蹤之物體的特徵,例如輪廓、顏色等等,再據以判斷該物體在該影像中之變化量,進而根據該變化量在該影片中持續追蹤該物體。
影像追蹤之重點在於如何計算出物體在影片中之變化量。一般而言,在影像追蹤的過程中,物體會受到許多不同因素的影響,而產生例如:平移(Translation)、景深(Zooming)、模糊(Blur)、轉動(Rotation)、水平翻轉(Panning)、垂直翻轉(Tilting)、亮度(Illumination)及遮蔽(Occlusion)等等變化,其中常見的因素不乏有影像雜訊干擾、環境亮度驟變、攝影鏡頭失焦或人為操作不當等等。
對於傳統的影像追蹤技術而言,每次計算物體在影片中產生的上述變化量,僅是用以判斷當下物體在影像中的行進運動或運動軌跡。換言之,傳統的影像追蹤技術對於物體在影片中產生的變化量並不具有記憶及學習的功能。因此,若物體在影片中產生了二次以上相同的變化量,傳統的影像追蹤技術並無法得知本次計算之變化量曾經出現過,而仍只會各自地針對當下所計算之變化量,相對應地判斷當下物體在影片中的行進動作或運動軌跡。如此,不但增加了整體的追蹤時間,也浪費了可用資源。
有鑑於此,如何改善傳統的影像追蹤技術對於物體在影片中產生的變化量不具有記憶及學習功能所衍生之問題,確為所屬技術領域仍須努力之目標。
本發明提供了一種用於一影片中追蹤一物體之影像追蹤裝置。該影像追蹤裝置包含一影像擷取介面、一儲存器及一電性連接至該影像擷取介面及該儲存器之處理器。該影像擷取介面用以自該影片擷取一圖框。該儲存器具有複數個多維度儲存空間,其中該等多維度儲存空間用以儲存複數個第一影像,且該等多維度儲存空間對應至一多維度變化量指標。該處理器用以執行下列操作:於該圖框中標記一第二影像;分別計算該第二影像與各該第一影像之間的一多維度變化量;根據該等多維度變化量,判斷是否該第二影像為該物體; 以及於判斷該第二影像為該物體後,根據該等多維度變化量,於該儲存器之該等多維度儲存空間中儲存該第二影像為一第一影像。
為達上述目的,本發明更提供了一種用於一影片中追蹤一物體之影像追蹤方法。該影像追蹤方法包含下列步驟:(a)使一儲存器之複數個多維度儲存空間儲存複數個第一影像,其中該等多維度儲存空間對應至一多維度變化量指標;(b)使一影像擷取介面,自該影片擷取一圖框;(c)使一處理器於該圖框中標記一第二影像,其中該處理器電性連接至該影像擷取介面及該儲存器;(d)使該處理器分別計算該第二影像與各該第一影像之間的一多維度變化量;(e)使該處理器根據該等多維度變化量,判斷是否該第二影像為該物體;以及(f)使該處理器於判斷該第二影像為該物體後,根據該等多維度變化量,於該儲存器之該等多維度儲存空間中儲存該第二影像為一第一影像。
綜上所述,本發明提供了一種影像追蹤裝置及其影像追蹤方法,可用於一影片中追蹤一物體。該影像追蹤裝置及其影像追蹤方法可將該物體於該影片之每一圖框所產生之各種變化量,整合 為一多維度變化量,並以向量空間的形式儲存至相對應之一多維度儲存空間;以及根據儲存在複數個多維度儲存空間之複數個多維度變化量,於該影片中判斷出該物體以進行追蹤。
由於該物體在該影像中曾經產生之各種變化量,都會被本發明有組織地記憶且學習,故使得整體的追蹤時間降低,也避免了可用資源的浪費。據此,本發明已有效地改善傳統的影像追蹤技術對於物體在影片中產生的變化量不具有記憶及學習功能所衍生之問題。
在參閱圖式及隨後描述的實施方式後,所屬技術領域具有通常知識者便可瞭解本發明的技術手段及相關實施態樣。
本發明的內容可透過以下實施例來解釋,但本發明的實施例並非用以限制本發明必須在如以下實施例中所述的任何特定的環境、應用或方式方能實施。因此,以下實施例的說明僅在於闡釋本發明,而非用以限制本發明。在以下實施例及圖式中,與本發明非直接相關的元件已省略而未繪示,且繪示於圖式中的各元件之間的尺寸比例僅為便於理解,而非用以限制為本發明實際的實施比例。
本發明之第一實施例用以闡述一種影像追蹤裝置。第1圖為本實施例之影像追蹤裝置1之結構示意圖;如第1圖所示,影像追蹤裝置1包含一影像擷取介面11、一儲存器13及一處理器15,其中處理器15電性連接至影像擷取介面11及儲存器13。影像追蹤裝置1可具有各種實施態樣,例如但不限於:行動電話、數位 相機、行車紀錄器、筆記型電腦、平板電腦、或具有影像擷取功能之各種裝置等等。
影像追蹤裝置1可於一影片3中追蹤一物體。影片3可由不同時間之複數個圖框(Picture Frame)所組成,例如第1圖所繪示之圖框31、圖框32、圖框33、圖框34等等。隨著不同的時間間隔,影像擷取介面11可自影片3,依序擷取複數個圖框,即圖框31、圖框32、圖框33、圖框34等等。本實施例所述之該等圖框31~34的數量僅為了易於說明,而非用以限定本發明。換言之,影片3所包含的圖框數量並不受限。由於影片3與該等圖框31~34之間的組合關係,以及影像擷取介面11如何自影片3中擷取圖框之方式已為本領域具有通常知識者所熟知,於此不多贅述。
儲存器13可具有複數個多維度儲存空間,其中該等多維度儲存空間用以儲存複數個第一影像,且該等多維度儲存空間可對應至一多維度變化量指標。該多維度變化量指標可包含複數個單維度分量指標,且該等單維度分量指標可包含以下類型其中之二或其組合,例如但不限於:平移變化量指標、景深變化量指標、模糊變化量指標、轉動變化量指標、水平翻轉變化量指標、垂直翻轉變化量指標、亮度變化量指標及遮蔽變化量指標。於其他實施例,本實施例所述之單維度分量指標更可包含其他不同的類型。
為了易於說明,本實施例所述之多維度將以二維度為例,惟採用二維度進行說明並非用以限定本發明之實施態樣。換言之,三維度、四維度、五維度或其他多維度皆屬於本發明之可實施態樣。
第2圖為本實施例之儲存器13之一種二維度儲存空間2之示意 圖;如第2圖所示,儲存器13具有複數個二維度儲存空間2,該等二維度儲存空間2可對應至一個二維度變化量指標,其中該二維度變化量指標包含二個單維度分量指標,分別是水平翻轉變化量指標及垂直翻轉變化量指標。本實施例採用水平翻轉變化量指標及垂直翻轉變化量指標僅為了易於說明,而非用以限定本發明。
儲存器13之該等二維度儲存空間2可儲存複數個第一影像,包含第一影像2a、第一影像2b、第一影像2c、第一影像2d、第一影像2e、第一影像2f、第一影像2g、第一影像2h、第一影像2i。為了便於說明,本實施例將以(水平翻轉變化量,水平翻轉變化量)作為該等第一影像2a~2i在一個二維度變化量指標上之表示方式。因此,如第2圖所示,該等第一影像2a~2i在二維度變化量指標上可分別表示為(-45,45)、(0,45)、(45,45)、(-45,0)、(0,0)、(45,0)、(-45,-45)、(0,-45)及(45,-45)。
本實施例所述之該等二維度儲存空間2之數量,以及該等第一影像2a~2i之數量僅為了易於說明,並非用以限定本發明。於其他實施例,該等二維度儲存空間2之數量以及該等第一影像2a~2i之數量可與本實施例所述不同,且仍屬於本發明之可實施態樣之一。
應理解,單維度分量指標的刻度可根據不同之實施情況而改變,且儲存器13將根據單維度分量指標的不同刻度,決定相對應之儲存空間的數量。舉例而言。若以45度作為水平翻轉變化量指標的刻度,則水平翻轉變化量指標上的可儲存空間為8個;若以30度作為水平翻轉變化量指標的刻度,則水平翻轉變化量上的可 儲存空間為12個。
另外,多維度變化量指標所包含之複數個單維度分量指標,其各個單維度分量指標之刻度可以彼此相同亦可不同。舉例而言,可設定45度作為水平翻轉變化量指標的刻度,而30度作為垂直翻轉變化量指標的刻度;可設定10度作為水平翻轉變化量指標的刻度,而20度作為垂直翻轉變化量指標的刻度;以及可設定60度作為水平翻轉變化量指標及垂直翻轉變化量指標的刻度。
如同前述,隨著不同之時間間隔,影像擷取介面11將自影片3中依序擷取圖框31、圖框32、圖框33、圖框34等等。以下將以影像擷取介面11自影片3擷取之圖框32作為範例進行說明,惟以圖框32作為說明並非用以限定本發明之實施態樣。
第3圖為本實施例之影像擷取介面11自影片3擷取之圖框32之示意圖。於影像擷取介面11自影片3中擷取圖框32後,處理器15將於圖框32中標記一第二影像4a。於本實施例,處理器15可藉由粒子濾波器(Particle Filter),於圖框32中界定一個或複數個區域(未繪示於圖),並藉由比對各該區域之一區域影像至欲追蹤物體之一物體影像,以於圖框32中標記出第二影像4a。應理解,藉由粒子濾波器於圖框32中界定複數個區域並非用以限定本發明之可實施態樣。於其他實施例,處理器15亦可藉由其他方式於圖框32中界定一個或複數個區域,並據以標記出第二影像4a,例如但不限於藉由:貝式濾波器(Bayesian Filter)或卡爾曼濾波器(Kalman Filter)等等。
粒子濾波器在影像追蹤領域可歸類為點追蹤(Point Tracking), 也就是將欲追蹤之物體在圖框中以點的方式表示,並根據不同的特徵條件,例如但不限於:物體的顏色(Color)特徵、邊緣(Edge)特徵、光流(Optical Flow)特徵或紋理(Texture)特徵,以於不同圖框中持續追蹤物體之位置。透過粒子濾波器的輔助,處理器15可得知欲追蹤物體在影片3之各個圖框(例如圖框31、圖框32、圖框33、圖框34)中的可能位置。
以圖框32為例,處理器15可藉由粒子濾波器界定出一個複數個區域,並藉由比對各該區域之一區域影像至欲追蹤物體之一物體影像得知欲追蹤物體在圖框32的可能位置,,然後在圖框32中據以標示出第二影像4a。換言之,第二影像4a為欲追蹤物體在圖框32中的可能位置。由於處理器15如何透過粒子濾波器於圖框32中標記出第二影像4a已為本領域具有通常知識者所熟知,於此不多贅述。
在處理器15於圖框32中標示出第二影像4a後,處理器15將分別計算第二影像4a與該等第一影像2a~2i中的每一個之間的一多維度變化量,並根據該等多維度變化量判斷是否第二影像4a為欲追蹤之物體。然後,於判斷第二影像2a為欲追蹤之物體後,處理器15將根據該等多維度變化量,於儲存器13之多維度儲存空間中儲存第二影像4a為一第一影像。
多維度變化量可包含複數個單維度分量,該等單維度分量可包含一平移變化量、一景深變化量、一模糊變化量、一轉動變化量、一水平翻轉變化量、一垂直翻轉變化量、一亮度變化量及一遮蔽變化量其中之二或其組合。原則上,本實施例所述之多維度變化 量與多維度變化量指標是相對應的。因應儲存器13之該等二維度儲存空間2僅對應至水平翻轉變化量指標以及垂直翻轉變化量指標,故多維度變化量亦僅包含水平翻轉變化量以及垂直翻轉變化量。因此,處理器15將分別計算第二影像4a與該等第一影像2a~2i中的每一個之間的水平翻轉變化量以及垂直翻轉變化量。
本質上,第二影像4a可包含複數個第一特徵,而該等第一影像2a~2i中之每一個可包含複數個第二特徵。處理器15可分別比對第二影像4a之複數個第二特徵與該等第一影像2a~2i中的每一個之複數個第一特徵,以分別計算第二影像4a與該等第一影像2a~2i中的每一個之間的變化量(含水平翻轉變化量以及垂直翻轉變化量)。第二影像4a之複數個第二特徵與該等第一影像2a~2i中的每一個之複數個第一特徵可包含,例如但不限於:景深(Depth)特徵、溫度(Temperature)特徵、顏色(Color)特徵、邊緣(Edge)特徵、光流(Optical Flow)特徵或紋理(Texture)特徵。
處理器15可透過一特徵偵測演算法及一特徵描述演算法計算第二影像4a之該等第二特徵與該等第一影像2a~2i中的每一個之該等第一特徵。該特徵偵測演算法可為,例如但不限於:FAST演算法、最大穩定相似區域(Maximally Stable Extremal Region;MSER)演算法、STAR演算法、高斯差分(Difference of Gaussians;DoG)演算法、Harris演算法、Hessian演算法、(GoodFeatureToTrac;GFTT)演算法、Harris-Affine演算法、或Hessian-Affine演算法等等。
該特徵描述演算法可為,例如但不限於:尺度不變特徵轉換 (Scale-Invariant Feature Transform;SIFT)演算法、仿射尺度不變特徵轉換(Affine Scale-Invariant Feature Transform;A-SIFT)演算法、加速強健特徵(Speeded-Up Robust Features;SURF)演算法、或二元強健獨立初級特徵(binary robust independent elementary features;BRIEF)演算法等等。
可選擇地,處理器15可設定一變化量門檻值,作為判斷第二影像4a是否為欲追蹤之物體,其中該變化量門檻值對應至多維度變化量。因此,如同上述,該變化量門檻值可包含一水平翻轉變化量門檻以及一垂直翻轉變化量門檻。
倘若該等第一影像2a~2i中沒有一個與第二影像4a之間的變化量(含水平翻轉變化量以及垂直翻轉變化量)是符合所設定之變化量門檻值,則處理器15判斷第二影像4a與欲追蹤之物體不同。然後,處理器15重新於圖框32中重新標示另一個第二影像,並再次分別計算該另一個第二影像與該等第一影像2a~2i中的每一個之間的水平翻轉變化量以及垂直翻轉變化量。
反之,倘若該等第一影像2a~2i中具有至少一個與第二影像4a之間的變化量(含水平翻轉變化量以及垂直翻轉變化量)是符合所設定之變化量門檻值,則處理器15判斷圖框32中所標示之第二影像4a即為欲追蹤之物體。換言之,處理器15已於圖框32中追蹤到該物體。然後,在判斷第二影像2a為欲追蹤之物體後,處理器15將根據該等水平翻轉變化量以及該等垂直翻轉變化量,於儲存器13之該等二維度儲存空間2中儲存第二影像4a為一第一影像。
應理解,水平翻轉變化量門檻值與垂直翻轉變化量門檻值可以設定為相同亦可以設定為不同。舉例而言,處理器15可設定水平翻轉變化量門檻值為10度,而垂直翻轉變化量門檻值為5度;處理器15亦可設定水平翻轉變化量門檻值為8度,而垂直翻轉變化量門檻值為14度;處理器15亦可設定水平翻轉變化量門檻值及垂直翻轉變化量門檻值皆為10度。
以下將舉一例作進一步說明,其中假設處理器15已設定水平翻轉變化量門檻值與垂直翻轉變化量門檻值皆為10度,且第二影像4a與第一影像2e之間的水平翻轉變化量以及垂直翻轉變化量分別為5度及0度。於是,在分別計算第二影像4a與該等第一影像2a~2i中的每一個之間的水平翻轉變化量以及垂直翻轉變化量後,處理器15將得知在該等第一影像2a~2i中,第二影像4a與第一影像2e之間的變化量(含水平翻轉變化量以及垂直翻轉變化量)符合所設定之變化量門檻值。
如此,處理器15判斷第二影像4a為欲追蹤之物體。然後,處理器將根據第二影像4a與第一影像2e之間的水平翻轉變化量以及垂直翻轉變化量,於儲存器13之該等二維度儲存空間2中,相應地儲存第二影像4a為一第一影像。更具體而言,儲存器13中儲存第二影像4a之二維度儲存空間2是對應至水平翻轉變化量以及垂直翻轉變化量分別為5度及0度之位置。換言之,儲存器13中儲存第二影像4a在二維度變化量指標上可表示為(5,0)。
本質上,第二影像4a具有一第二像素尺吋,且該等第一影像2a~2i具有一相同的第一像素尺吋。當第二影像4a之第二像素尺 吋與該等第一影像2a~2i之第一像素尺吋不同時,處理器15更可在調整該第二像素尺吋為該第一像素尺吋之後,再分別計算第二影像4a與該等第一影像2a~2i中的每一個之間的變化量(含水平翻轉變化量以及垂直翻轉變化量),藉以增進整體追蹤的準確率。
本領域具有通常知識者根據上述說明,應可輕易思及至更高維度的實施態樣。假設除了水平翻轉變化量以及垂直翻轉變化量之外,欲額外納入亮度變化量,則儲存器13可包含複數個三維度儲存空間,其中該等三維度儲存空間用以儲存複數個第一影像,且可對應至一三維度變化量指標。該三維度變化量指標可包含三個單維度分量指標,分別是水平翻轉變化量指標、垂直翻轉變化量指標以及亮度變化量指標。
如此,處理器15可計算一第二影像與各該第一影像之間的一三維度變化量,該三維度變化量包含三個單維度分量,分別是水平翻轉變化量、垂直翻轉變化量以及亮度變化量,並根據該等三維度變化量判斷該第二影像是否為欲追蹤之物體。若是,則根據該等三維度變化量,於儲存器13之該等三維度儲存空間中儲存該第二影像為一第一影像。相似地,基於上述揭露內容,四維度、五維度或其他更高維度的實施態樣,亦可具體實施。
本發明的第二實施例用以闡述一種影像追蹤方法。本實施例所述之影像追蹤方法可透過如第一實施例所述之影像追蹤裝置1而實施。因此,本實施例後續所述之影像擷取介面、儲存器以及處理器可視為第一實施例所述之影像擷取介面11、儲存器13以及處理器15。
第4圖為本實施例之影像追蹤方法之流程圖。如第4圖所示,於步驟S41,本實施例所述之影像追蹤方法可使一儲存器之複數個多維度儲存空間儲存複數個第一影像,其中該等多維度儲存空間對應至一多維度變化量指標。於步驟S42,本實施例所述之影像追蹤方法可使一影像擷取介面自一影片擷取一圖框。於步驟S43,本實施例所述之影像追蹤方法可使一處理器於該圖框中標記一第二影像,其中該處理器電性連接至該影像擷取介面及該儲存器。於其他實施例,步驟S43更可為下列步驟:使該處理器藉由一粒子濾波器於該圖框中界定複數個區域,並藉由比對各該區域之一區域影像至該物體之一物體影像,標記該第二影像。
於步驟S44,本實施例所述之影像追蹤方法可使該處理器分別計算該第二影像與各該第一影像之間的一多維度變化量。本質上,第二影像具有一第二像素尺吋,而該等第一影像具有一相同的第一像素尺吋。可選擇地,步驟S44更可為下列步驟:使該處理器於調整該第二影像之該第二像素尺吋為該第一像素尺吋之後,計算該第二影像與各該第一影像之間的各該多維度變化量。
本質上,該第二影像可包含複數個第二特徵,各該第一影像可包含複數個第一特徵。可選擇地,步驟S44更可為下列步驟:使該處理器分別比對該第二影像之該等第二特徵與各該第一影像之該等第一特徵,以計算該第二影像與各該第一影像之間的各該多維度變化量。
於其他實施例,步驟S44更可為下列步驟:使該處理器於調整該第二影像之該第二像素尺吋為該第一像素尺吋之後,分別比對 該第二影像之該等第二特徵與各該第一影像之該等第一特徵,以計算該第二影像與各該第一影像之間的各該多維度變化量。
於步驟S45,本實施例所述之影像追蹤方法可使該處理器根據該等多維度變化量,判斷是否該第二影像為該物體。若判斷結果為是,則進入至步驟S46;若否,則重回步驟S43。於步驟S46,本實施例所述之影像追蹤方法可使該處理器根據該等多維度變化量,於該儲存器之該等多維度儲存空間中儲存該第二影像為一第一影像。
除了上述步驟,本實施例所述的影像追蹤方法亦能執行第一實施例所述的影像追蹤裝置的所有操作及具備產生所對應的所有功能,且所屬技術領域具有通常知識者可直接了解本實施例所述的影像追蹤方法如何基於第一實施例的揭露內容執行此等操作及產生此等功能,於此不再贅述。
於其他實施例,本實施例所述之影像追蹤方法可由一電腦程式產品執行。當該電腦程式產品載入一電腦裝置或如第一實施例所述之影像追蹤裝置1等裝置,該等裝置將執行包含於該電腦程式產品中之複數個程式指令,其中該等程式指令對應至本實施例所述之影像追蹤方法的所有實施步驟。上述電腦程式產品可儲存於一有形之機器可讀取記錄媒體(Non-Transitory Machine Readable Medium)中,例如但不限於唯讀記憶體(Read Only Memory;ROM)、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可網路存取之資料庫、或熟習此項技藝者所習知且具有相同功能之任何其它儲存媒體。
綜上所述,本發明提供了一種影像追蹤裝置及其影像追蹤方法,可用於一影片中追蹤一物體。該影像追蹤裝置及其影像追蹤方法可將該物體於該影片之每一圖框所產生之各種變化量,整合為一多維度變化量,並以向量空間的形式儲存至相對應之一多維度儲存空間;以及根據儲存在複數個多維度儲存空間之複數個多維度變化量,於該影片中判斷出該物體以進行追蹤。
由於該物體在該影像中曾經產生之各種變化量,都會被本發明有組織地記憶且學習,故使得整體的追蹤時間降低,也避免了可用資源的浪費。據此,本發明已有效地改善傳統的影像追蹤技術對於物體在影片中產生的變化量不具有記憶及學習功能所衍生之問題。
上述實施例所闡述的內容僅用以例舉本發明的部分實施態樣,以及闡釋本發明的技術特徵,並非用以限制本發明的實質保護範疇。因此,任何熟悉本技術領域者可輕易完成的改變或均等性的安排均屬於本發明所主張的範圍,且本發明的權利保護範圍實以申請專利範圍為準。
1‧‧‧影像追蹤裝置
11‧‧‧影像擷取介面
13‧‧‧儲存器
15‧‧‧處理器
3‧‧‧影片
31、32、33、34‧‧‧圖框
2‧‧‧二維度儲存空間
2a~2i‧‧‧第一影像
4a‧‧‧第二影像
S41~S46‧‧‧步驟
第1圖為本發明之第一實施例之影像追蹤裝置1之結構示意圖;第2圖為本發明之第一實施例之儲存器13之一種二維度儲存空間2之示意圖;第3圖為本發明之第一實施例之影像擷取介面11自影片3擷取之圖框32之示意圖;以及 第4圖為本發明之第二實施例之影像追蹤方法之流程圖。
S41~S46‧‧‧步驟

Claims (18)

  1. 一種影像追蹤裝置,用於一影片中追蹤一物體,該影像追蹤裝置包含:一影像擷取介面,用以自該影片擷取一圖框;一儲存器,具有複數個多維度儲存空間,該等多維度儲存空間用以儲存複數個第一影像,該等多維度儲存空間對應至一多維度變化量指標;以及一處理器,電性連接至該影像擷取介面及該儲存器,並用以執行下列操作:於該圖框中標記一第二影像;分別計算該第二影像與各該第一影像之間的一多維度變化量;根據該等多維度變化量,判斷是否該第二影像為該物體;以及於判斷該第二影像為該物體後,根據該等多維度變化量,於該儲存器之該等多維度儲存空間中儲存該第二影像為一第一影像。
  2. 如請求項1所述的影像追蹤裝置,其中該第二影像具有一第二像素尺吋,該等第一影像具有一相同的第一像素尺吋,該處理器於調整該第二像素尺吋為該第一像素尺吋之後,計算該第二影像與各該第一影像之間的各該多維度變化量。
  3. 如請求項1所述的影像追蹤裝置,其中該處理器於該圖框中界定複數個區域,並藉由比對各該區域之一區域影像至該物體之一物體影像,標記該第二影像。
  4. 如請求項3所述的影像追蹤裝置,其中該處理器藉由一粒子濾波器於該圖框中界定複數個區域。
  5. 如請求項1所述的影像追蹤裝置,其中該多維度變化量指標包含複數個單維度分量指標,該等單維度分量指標包含一平移(Translation)變化量指標、一景深(Zooming)變化量指標、一模糊(Blur)變化量指標、一轉動(Rotation)變化量指標、一水平翻轉(Panning)變化量指標、一垂直翻轉(Tilting)變化量指標、一亮度(Illumination)變化量指標及一遮蔽(Occlusion)變化量指標其中之二或其組合。
  6. 如請求項5所述的影像追蹤裝置,其中各該多維度變化量包含複數個單維度分量,該等單維度分量包含一平移變化量、一景深變化量、一模糊變化量、一轉動變化量、一水平翻轉變化量、一垂直翻轉變化量、一亮度變化量及一遮蔽變化量其中之二或其組合。
  7. 如請求項1所述的影像追蹤裝置,其中該第二影像包含複數個第二特徵,各該第一影像包含複數個第一特徵,該處理器分別比對該第二影像之該等第二特徵與各該第一影像之該等第一特徵,以計算該第二影像與各該第一影像之間的各該多維度變化量。
  8. 如請求項7所述的影像追蹤裝置,其中該第二影像之該等第二特徵與各該第一影像之該等第一特徵包含一景深特徵、一溫度特徵、一顏色特徵、一邊緣特徵、一光流特徵及一紋理特徵其中之一。
  9. 如請求項7所述的影像追蹤裝置,其中該處理器透過一特徵偵 測演算法及一特徵描述演算法計算該第二影像之該等第二特徵與各該第一影像之該等第一特徵。
  10. 一種影像追蹤方法,用於一影片中追蹤一物體,該影像追蹤方法包含下列步驟:(a)使一儲存器之複數個多維度儲存空間,儲存複數個第一影像,其中該等多維度儲存空間對應至一多維度變化量指標;(b)使一影像擷取介面,自該影片擷取一圖框;(c)使一處理器於該圖框中標記一第二影像,其中該處理器電性連接至該影像擷取介面及該儲存器;(d)使該處理器分別計算該第二影像與各該第一影像之間的一多維度變化量;(e)使該處理器根據該等多維度變化量,判斷是否該第二影像為該物體;以及(f)使該處理器於判斷該第二影像為該物體後,根據該等多維度變化量,於該儲存器之該等多維度儲存空間中儲存該第二影像為一第一影像。
  11. 如請求項10所述的影像追蹤方法,其中第二影像具有一第二像素尺吋,該等第一影像具有一相同的第一像素尺吋,且該步驟(d)為下列步驟:(d1)使該處理器於調整該第二影像之該第二像素尺吋為該第一像素尺吋之後,計算該第二影像與各該第一影像之間的各該多維度變化量。
  12. 如請求項10所述的影像追蹤方法,其中該步驟(c)為下列步驟:(c1)使該處理器於該圖框中界定複數個區域,並藉由比對 各該區域之一區域影像至該物體之一物體影像,標記該第二影像。
  13. 如請求項12所述的影像追蹤方法,其中該步驟(c)更包含下列步驟:(c0)使該處理器藉由一粒子濾波器於該圖框中界定複數個區域。
  14. 如請求項10所述的影像追蹤方法,其中該多維度變化量指標包含複數個單維度分量指標,該等單維度分量指標包含一平移變化量指標、一景深變化量指標、一模糊變化量指標、一轉動變化量指標、一水平翻轉變化量指標、一垂直翻轉變化量指標、一亮度變化量指標及一遮蔽變化量指標其中之二或其組合。
  15. 如請求項14所述的影像追蹤方法,其中各該多維度變化量包含複數個單維度分量,該等單維度分量包含一平移變化量、一景深變化量、一模糊變化量、一轉動變化量、一水平翻轉變化量、一垂直翻轉變化量、一亮度變化量及一遮蔽變化量其中之二或其組合。
  16. 如請求項10所述的影像追蹤方法,其中該第二影像包含複數個第二特徵,各該第一影像包含複數個第一特徵,且該步驟(d)為下列步驟:(d1)使該處理器分別比對該第二影像之該等第二特徵與各該第一影像之該等第一特徵,以計算該第二影像與各該第一影像之間的各該多維度變化量。
  17. 如請求項16所述的影像追蹤方法,其中該第二影像之該等第 二特徵與各該第一影像之該等第一特徵包含一景深特徵、一溫度特徵、一顏色特徵、一邊緣特徵、一光流特徵及一紋理特徵其中之一。
  18. 如請求項16所述的影像追蹤方法,其中該處理器透過一特徵偵測演算法及一特徵描述演算法計算該第二影像之該等第二特徵與各該第一影像之該等第一特徵。
TW101144024A 2012-11-23 2012-11-23 影像追蹤裝置及其影像追蹤方法 TWI496114B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101144024A TWI496114B (zh) 2012-11-23 2012-11-23 影像追蹤裝置及其影像追蹤方法
US13/761,938 US9105101B2 (en) 2012-11-23 2013-02-07 Image tracking device and image tracking method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101144024A TWI496114B (zh) 2012-11-23 2012-11-23 影像追蹤裝置及其影像追蹤方法

Publications (2)

Publication Number Publication Date
TW201421424A TW201421424A (zh) 2014-06-01
TWI496114B true TWI496114B (zh) 2015-08-11

Family

ID=50773339

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101144024A TWI496114B (zh) 2012-11-23 2012-11-23 影像追蹤裝置及其影像追蹤方法

Country Status (2)

Country Link
US (1) US9105101B2 (zh)
TW (1) TWI496114B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI660156B (zh) * 2017-04-28 2019-05-21 宏達國際電子股份有限公司 追蹤系統及方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846815B2 (en) * 2015-07-16 2017-12-19 Google Inc. Image production from video
US20160183808A1 (en) * 2014-06-26 2016-06-30 Cardiovascular Systems, Inc. Methods, devices and systems for sensing, measuring and/or characterizing vessel and/or lesion compliance and/or elastance changes during vascular procedures
US11120069B2 (en) 2016-07-21 2021-09-14 International Business Machines Corporation Graph-based online image queries
CN107944350B (zh) * 2017-11-07 2020-09-01 浙江大学 一种基于外观和几何信息融合的单目视觉道路识别方法
TWI660310B (zh) * 2018-08-06 2019-05-21 財團法人資訊工業策進會 比對追蹤物件的方法及電子裝置
CN110321378A (zh) * 2019-06-03 2019-10-11 梁勇 一种移动监控图像识别系统及方法
CN111178167B (zh) * 2019-12-12 2023-07-25 咪咕文化科技有限公司 穿帮镜头审核方法、装置、电子设备及存储介质
CN114697743A (zh) * 2020-12-31 2022-07-01 致茂电子(苏州)有限公司 电子装置及其影像处理方法
CN116095355A (zh) * 2023-01-18 2023-05-09 百果园技术(新加坡)有限公司 视频显示控制方法及其装置、设备、介质、产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006074289A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
TWI274296B (en) * 2005-04-20 2007-02-21 Univ Nat Chiao Tung Image-based object tracking method
US20070280540A1 (en) * 2006-06-05 2007-12-06 Nec Corporation Object detecting apparatus, method for detecting an object, and object detection program
US20090110236A1 (en) * 2007-10-29 2009-04-30 Ching-Chun Huang Method And System For Object Detection And Tracking
TWI357582B (en) * 2008-04-18 2012-02-01 Univ Nat Taiwan Image tracking system and method thereof
TWI371210B (en) * 2007-12-21 2012-08-21 Hon Hai Prec Ind Co Ltd Image tracking device and image tracking method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7158680B2 (en) * 2004-07-30 2007-01-02 Euclid Discoveries, Llc Apparatus and method for processing video data
WO2007113458A1 (en) * 2006-03-30 2007-10-11 British Telecommunications Public Limited Company Video abstraction
US8624986B2 (en) * 2011-03-31 2014-01-07 Sony Corporation Motion robust depth estimation using convolution and wavelet transforms

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006074289A2 (en) * 2005-01-07 2006-07-13 Gesturetek, Inc. Detecting and tracking objects in images
TWI274296B (en) * 2005-04-20 2007-02-21 Univ Nat Chiao Tung Image-based object tracking method
US20070280540A1 (en) * 2006-06-05 2007-12-06 Nec Corporation Object detecting apparatus, method for detecting an object, and object detection program
US20090110236A1 (en) * 2007-10-29 2009-04-30 Ching-Chun Huang Method And System For Object Detection And Tracking
TWI371210B (en) * 2007-12-21 2012-08-21 Hon Hai Prec Ind Co Ltd Image tracking device and image tracking method
TWI357582B (en) * 2008-04-18 2012-02-01 Univ Nat Taiwan Image tracking system and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI660156B (zh) * 2017-04-28 2019-05-21 宏達國際電子股份有限公司 追蹤系統及方法

Also Published As

Publication number Publication date
US9105101B2 (en) 2015-08-11
TW201421424A (zh) 2014-06-01
US20140147000A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
TWI496114B (zh) 影像追蹤裝置及其影像追蹤方法
Yu et al. 3d reconstruction from accidental motion
US9098911B2 (en) Depth map generation from a monoscopic image based on combined depth cues
JP5954668B2 (ja) 画像処理装置、撮像装置および画像処理方法
CN109313799B (zh) 图像处理方法及设备
US10225473B2 (en) Threshold determination in a RANSAC algorithm
JP6147172B2 (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
TW201629904A (zh) 目標獲取方法及設備
US20100182406A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
TWI482468B (zh) 物體偵測裝置、方法及其電腦可讀取紀錄媒體
US20130170756A1 (en) Edge detection apparatus, program and method for edge detection
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
KR101202642B1 (ko) 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치
WO2021051382A1 (zh) 白平衡处理方法和设备、可移动平台、相机
Dasari et al. A joint visual-inertial image registration for mobile HDR imaging
CN114782507B (zh) 一种基于无监督学习的非对称双目立体匹配方法及系统
WO2013023474A1 (zh) 智能跟踪球机及其跟踪方法
CN115880643A (zh) 一种基于目标检测算法的社交距离监测方法和装置
KR101178015B1 (ko) 시차 맵 생성 방법
Shukla et al. A new composite multi-constrained differential-radon warping approach for digital video affine motion stabilization
JP7324066B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
Nuutinen et al. Features for predicting quality of images captured by digital cameras
KR101905142B1 (ko) 고리형 필터를 이용한 깊이 추정 방법 및 장치
Kilaru Multiple Distortions Identification in Camera Systems
JP5336017B2 (ja) 撮像装置及び撮像方法