TWM681536U - 電子裝置 - Google Patents

電子裝置

Info

Publication number
TWM681536U
TWM681536U TW114210536U TW114210536U TWM681536U TW M681536 U TWM681536 U TW M681536U TW 114210536 U TW114210536 U TW 114210536U TW 114210536 U TW114210536 U TW 114210536U TW M681536 U TWM681536 U TW M681536U
Authority
TW
Taiwan
Prior art keywords
electronic device
original
processing device
image
feature
Prior art date
Application number
TW114210536U
Other languages
English (en)
Inventor
范植貿
廖書巧
吳信夫
郭時寧
Original Assignee
華碩電腦股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 華碩電腦股份有限公司 filed Critical 華碩電腦股份有限公司
Priority to TW114210536U priority Critical patent/TWM681536U/zh
Publication of TWM681536U publication Critical patent/TWM681536U/zh

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本案揭露一種電子裝置,包含一儲存裝置以及一處理裝置。儲存裝置內係儲存有複數幀原始影像。處理裝置電性連接儲存裝置,處理裝置利用一物件偵測模型對每一幀原始影像進行物體選取,以找出每一物體之位置,並擷取其對應之一物體影像;處理裝置利用一特徵提取模型對每一物體影像進行特徵擷取,以取得每一物體之一特徵維度資訊;處理裝置利用一方向回歸模型取得每一該物體對應之一方向資訊;以及處理裝置根據特徵維度資訊及方向資訊執行一追蹤演算法,依序對複數幀原始影像中相鄰二幀原始影像進行匹配,以對每一物體進行追蹤。

Description

電子裝置 
本案係有關一種適用於進行物體追蹤的電子裝置。
在現有的追蹤演算法中,通常依賴於幀與幀之間位移較小的物件來進行物體匹配,例如交並比(Intersection over Union,IoU)匹配法及卡爾曼濾波器(Kalman Filter)等。
就交並比匹配法而言,其係基於兩幀之間的物體邊界框(Bounding Box)來進行匹配,以透過IoU數值來計算物體位置的相似度,並在物體之間若有較高的IoU數值,則會認定是同一物體。就卡爾曼濾波器而言,此為一種常用於物體追蹤的演算法,用於預測物體的下一個可能位置,並對物體軌跡進行平滑處理,以依賴物體在連續幀之間的移動模式,通過位置與速度的預測來追蹤物體。基此,現有的多物體(例如車輛)追蹤,多數主要基於IoU或運動軌跡預測方法,由於高度依賴前後二幀之間的匹配程度,所以僅能在正常幀率下(> 24 FPS)有良好表現,但在越低的幀率環境下,效果越不理想。
因此,在極低幀率的情況下,物體(例如車輛)的位移變化巨大,導致傳統基於交並比匹配法及卡爾曼濾波器的追蹤方法效果不佳,難以準確追蹤物體。
本案提供一種電子裝置,包含一儲存裝置以及一處理裝置。儲存裝置內係儲存有複數幀原始影像。處理裝置電性連接儲存裝置,並內建有一物件偵測模型、一特徵提取模型、一方向回歸模型以及一追蹤演算法,處理裝置利用物件偵測模型對複數幀原始影像中之每一幀原始影像進行物體選取,以找出每一物體之位置,並擷取其對應之一物體影像;處理裝置利用特徵提取模型對每一物體影像進行特徵擷取,以取得每一物體之一特徵維度資訊;處理裝置利用方向回歸模型取得每一該物體對應之一方向資訊;以及處理裝置根據特徵維度資訊及方向資訊執行追蹤演算法,依序對複數幀原始影像中相鄰二幀原始影像進行匹配,以對每一物體進行追蹤。
綜上所述,本案之電子裝置,其係執行包含物件偵測、特徵提取、方向回歸及追蹤演算等步驟,以透過電子裝置對物體進行追蹤,尤其是針對極低幀率環境下的物體,以解決在追蹤物體之過程中所遭遇的大幅度物體位移問題、方向判斷困難以及特徵相似度不穩定等問題。因此,本案之電子裝置係可在任意環境下,尤其是極低幀率環境下,皆可提供穩定的物體追蹤效果,並提高偵測的準確度以及匹配的準確度,以有效進行多物體追蹤。
以下將配合相關圖式來說明本案的實施例。此外,實施例中的圖式有省略部份元件或結構,以清楚顯示本案的技術特點。在這些圖式中,相同的標號表示相同或類似的元件或電路。
請同時參閱圖1及圖2所示,一電子裝置10包含有一處理裝置12、一儲存裝置14以及一圖形處理器16,且處理裝置12電性連接儲存裝置14及圖形處理器16。在電子裝置10中,儲存裝置14內係儲存有複數幀原始影像20,在一實施例中,複數幀原始影像20係為複數極低幀率影像,例如,複數極低幀率影像之極低幀率係為1~10幀每秒(FPS)。
處理裝置12內建有一物件偵測(Object Detector)模型121、一特徵提取(Feature Extractor)模型122、一方向回歸(Direction Regressor)模型123以及一追蹤(Tracker)演算法124。處理裝置12利用物件偵測模型121對複數幀原始影像20中之每一幀原始影像20進行物體選取,以找出每一物體之位置。處理裝置12並對每一幀原始影像20中已框選出來的每一物體進行裁剪,以擷取每一物體對應之一物體影像22。處理裝置12利用特徵提取模型122對每一物體影像22進行特徵擷取,以取得每一物體之一特徵維度資訊24。在取得物體影像22之後,處理裝置12亦利用方向回歸模型123進行運算,以取得每一物體對應之一方向資訊26。處理裝置12根據特徵維度資訊24及方向資訊26執行追蹤演算法124,依序對複數幀原始影像20中相鄰二幀原始影像20中的每一物體進行匹配,以根據匹配結果對每一物體進行追蹤,更可進一步實現低幀率的物體追蹤。
在電子裝置10中,圖形處理器16亦電性連接處理裝置12,當處理裝置12對影像或圖片向進行處理時,對物件偵測模型121、特徵提取模型122、方向回歸模型123進行訓練運算或是預測運算時,或是採用追蹤演算法124進行運算時,圖形處理器16係協助處理裝置12進行相關運算或處理,以使用圖形處理器16來輔助運算,加速整體運算速度。
在一實施例中,電子裝置10係可為一個人電腦、一筆記型電腦或是一平板電腦等,但本案不以此為限。
在一實施例中,處理裝置12係為一中央處理單元(central processing unit,CPU),或是其他一般用途或特殊用途的微處理器(microprocessor)、微控制器(microcontroller)、微控制單元(micro control unit,MCU)、數位信號處理器(digital signal processor,DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuit,ASIC),或其他類似元件或上述元件的組合,本案不以此為限。
在一實施例中,儲存裝置14可以是任何型態的固定式或可移動式的隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read-only memory,ROM)、快閃記憶體(flash memory)、硬碟(hard disk drive,HDD)、固態硬碟(solid state drive,SSD)或其他類似元件或上述元件的組合,以用於儲存處理裝置12所需的任何模型、影像、圖像或參數資訊等,但本案不以此為限。
在一實施例中,請參閱圖1所示,處理裝置12內的物件偵測模型121、特徵提取模型122、方向回歸模型123係分別為一經過訓練之人工智慧模型,其係以神經網路模型為基礎,並配合大量的實際圖片數據訓練而成的,接續係針對各部分詳細說明如下。
在物件偵測模型121中,物件偵測模型121負責在檢測並定位框選每一幀原始影像20中之物體(以下係以道路車輛為例)。處理裝置12利用物件偵測模型121進行物體選取之流程架構,請參閱圖3所示,自一影像數據中依序擷取出複數極低幀率影像作為複數幀原始影像20。再利用複數物件偵測微調模型(Object Detection Fine-Tuning Models)121a對每一幀原始影像20進行物體選取,以輸出一第一預測結果28,此第一預測結果28係為已框選出道路車輛之原始影像20,並且,額外利用一單詞物件偵測預訓練模型(Vocabulary Object Detection Pretrained Model)121b輸入特定物體類型的文字,例如車輛或巴士,來對每一幀原始影像20進行物體選取,以輸出一第二預測結果30,此第二預測結果30係為已框選出道路車輛之原始影像20。最後,融合第一預測結果28及第二預測結果30,以於原始影像20上框選出每一物體之位置,在一實施例中,處理裝置12係使用一加權框融合(Weight Box Fusion)方法121c來融合第一預測結果28及第二預測結果30,使每一幀原始影像20上產生最終之至少一物體邊界框32,進而根據至少一物體邊界框32擷取每一物體影像22。
在一實施例中,影像數據係透過一影像擷取裝置拍攝一環境而取得,且此環境係為一道路環境,因此,於影像數據中擷取出的複數幀原始影像(極低幀率影像)20中之物體係為道路車輛。
在建立物件偵測模型121之流程中,就資料準備與處理而言:收集並標記來自於道路車輛的影像數據,這些低幀率的原始影像20,通常出現在為了減少計算成本而取樣自影片,藉此取得多張連續圖片的場景(例如,一秒回傳一張影片中的圖片),再進行欲檢測目標的標記。就模型訓練而言:為了讓訓練出來的偵測模型更加準確與貼合應用場域,本案使用微調(Fine-Tuning)技術訓練了多個物件偵測微調模型121a;並額外加入單詞物件偵測預訓練模型121b,可以輸入特定物件類型的文字,進而提高對特定物體的偵測精度,以及增加模型的魯棒性(robust)。就模型合奏(Ensemble)而言,最終使用加權框融合(Weight Box Fusion)方法121c來融合不同模型的預測結果,採用此融合方法可以綜合考量來自不同模型的物件檢測輸出,將多個偵測框加權融合,最終產生一個精度更高的物體邊界框32。
在特徵提取模型122中,特徵提取模型122負責從物件偵測模型121輸出的物體邊界框32的車輛框選範圍中提取獨特的車輛特徵作為特徵維度資訊24,此特徵維度資訊24係為一高維度之特徵向量,且這些特徵維度資訊24將被用於後續追蹤演算法124的比對與匹配。在一實施例中,此特徵提取模型122係以一全尺度特徵學習網路(Omni-Scale Feature Learning Network,OSNet)模型作為主要架構進行訓練,以透過訓練好的特徵提取模型122對物體影像22提取特徵維度資訊24。
在建立特徵提取模型122之流程中,就資料準備與處理而言:將道路車輛的影像數據中,裁剪提取出車輛圖像,並按照車輛的追蹤識別碼(Track ID,即同台車擁有相同識別碼)進行分類,這些裁剪後的車輛圖像將被用於訓練特徵提取模型122。若欲應用場域有多台攝影機,且能獲取同一個車輛(物體)資訊,則可以提供此裁剪之車輛圖像是來自於哪一台攝影機而給予一攝影機識別碼(Camera ID),藉由新增此項資訊,可以使最終的車輛(物體)追蹤擁有跨相機追蹤的能力。接著,對裁剪後的車輛圖像進行資料增強操作,例如旋轉、縮放、對比度調整等,以模擬不同的環境條件,提高模型的泛化能力。就模型訓練而言:本案選擇了在行人重識別(Re-Identification,ReID)任務上,取得成功的全尺度特徵學習網路模型作為主要架構,能夠從圖像中學習到多尺度的細節特徵,使其非常適合用於車輛識別。並且,本案可以使用已經訓練過龐大車輛資料的預訓練模型,同樣透過微調(Fine-Tuning)使其能更快適應特定場景下的車輛識別需求。就模型推論而言:請參閱圖4所示,最終便可透過訓練好的特徵提取模型122,對前一步驟從物件偵測模型121產生之物體偵測結果取出的每張物體影像22,以提取高維度的特徵向量作為特徵維度資訊24,例如512維,且這些特徵維度資訊24能夠用來比對匹配前後幀影像的相同物體。
在方向回歸模型123中,方向回歸模型123係採用一卷積神經網路(Convolution Neural Network,CNN)模型,用以回歸每一車輛的行進方向角度,透過卷積神經網路模型對圖像處理的學習能力,用以加入方向限制,以輔助後續追蹤演算法124的特徵匹配。在建立方向回歸模型123之流程中,就資料準備與處理而言:將道路車輛的影像數據中,裁剪提取出車輛圖像,將每一幀影像中偵測到的車輛進行標記,目標為車輛的行徑方向角度(1~360度),如圖5所示,用來描述車輛在當前的運動方向,以提供複數圖片-角度訓練對資料36。就模型訓練而言:本案透過卷積神經網路作為方向回歸模型123,不使用預訓練模型,透過前一步驟準備的複數圖片-角度訓練對資料36,從頭訓練此卷積神經網路模型,以訓練出方向回歸模型123。就模型推論而言:請參閱圖6所示,最終將訓練好的方向回歸模型123,應用在物件偵測模型121輸出的物體影像22上,以取得額外的方向資訊26,作為後續追蹤演算法124的依據。
追蹤演算法124係負責將相鄰二幀原始影像20中的物體(車輛)進行匹配,每一物體係各別具有一追蹤識別碼,以維持每一物體的一致追蹤識別碼,並且透過結合特徵維度資訊24及方向資訊26的方式,使追蹤演算法124可以適用於各種環境,尤其是極低幀率環境,以保持高精度的追蹤效果。請同時參閱圖1、圖2、圖7及圖8所示,處理裝置12執行追蹤演算法124之步驟包含:如步驟S10所示,初始化軌跡片段(Tracklet)資訊,處理裝置12處理複數幀原始影像20中之一第一幀原始影像時,將第一幀原始影像偵測到的每一物體定義為一軌跡片段,且每一物體具有一個唯一的追蹤識別碼。此時,由特徵提取模型122生成之特徵維度資訊24和由方向回歸模型123取得之方向資訊26會被記錄下來,以作為後續幀影像進行匹配的基礎。如步驟S12所示,相鄰幀原始影像20的特徵匹配與方向限制,當處理後續幀原始影像20時(除了第一幀原始影像之外),根據相鄰二幀原始影像20對應之特徵維度資訊24及方向資訊26對相鄰二幀原始影像20進行特徵匹配與方向限制,以獲得如圖8所示之一匹配成本矩陣34。
接續針對特徵匹配及方向限制分別詳細說明。就特徵匹配而言,基於先前幀中每一物體的特徵維度資訊24,與當前幀中之物體的特徵維度資訊24進行比較。即此相鄰二幀原始影像20包含一當前幀原始影像以及一先前幀原始影像,在進行特徵匹配時,基於先前幀原始影像之特徵維度資訊24與當前幀原始影像之特徵維度資訊24進行比較,以根據一餘弦相似度(Cosine Similarity)來計算物體之特徵相似度,並找出最接近的匹配對象。在一實施例中,餘弦相似度公式係表示為,其中為先前幀原始影像之特徵維度資訊,為當前幀原始影像之特徵維度資訊,餘弦相似度範圍為[-1, 1],餘弦相似度之數值愈接近1表示兩個特徵愈相似。除了前述之特徵匹配之外,處理裝置12還會根據方向回歸模型123的方向資訊26加入額外限制,以確保匹配的物體之運動方向符合預期範圍。
就方向限制而言,透過先前幀原始影像之方向資訊與當前幀原始影像之方向資訊進行比較,以獲得一方向變化,即,再設定一個方向限制角度,例如120度,以表示物體最大可能的轉彎角度,如果方向資訊超過此方向限制角度,可以非常確定兩個物體必定不匹配,例如,如果一車輛在先前幀原始影像中的方向是向東,則下一幀之當前原始影像的匹配車輛之方向不可能瞬間改變方向變成往西。根據前述之特徵匹配與方向限制即可建構出匹配成本矩陣公式,其係表示為,其中為先前幀原始影像之方向資訊與當前幀原始影像之方向資訊的方向變化,為方向限制角度,α及β分別為一權重調整值。在前述匹配成本矩陣公式中,為衡量兩個物體特徵的相似度,值越愈大代表物體之間的相似度愈低,成本愈高;為衡量方向角度變化程度,當方向變化越接近方向限制角度時,方向成本愈大,如果超過方向限制角度則可以直接設定此項為無限大,代表不合理的匹配,此方向限制角度可以把它視為預追蹤物件的轉彎方向特性,即在追蹤環境下,一幀時間(在本案之極低幀率範例中為1秒)之內,追蹤物體最大可能的轉彎角度。權重調整值與權重調整值為權重調整,本案係設定皆為1,權重調整值愈大,特徵相似度的影響愈大;而權重調整值愈大,則方向限制的影響越大。因此,請參閱圖8所示,匹配成本矩陣34之數值愈大,表示相鄰二幀原始影像20中比對之物體的相似度愈低,匹配成本矩陣34之數值愈小,表示相鄰二幀原始影像20中比對之物體的相似度愈高。
在取得先前幀原始影像及當前幀原始影像之間各自物體的匹配成本矩陣34之後,如步驟S14所示,執行一匈牙利匹配演算法,即,處理裝置12根據匹配成本矩陣34,使用匈牙利匹配演算法進行分配,以取得匹配後的物體。如步驟S16所示,更新軌跡片段資訊,在物體成功匹配後,處理裝置12會更新物體之該追蹤識別碼、特徵維度資訊及方向資訊,使更新後的軌跡片段將作為下一幀原始影像20進行匹配的依據,並透過匹配後物體之中心點,更新相鄰二幀原始影像20中物體的線性位移距離,以預測物體位於下一幀原始影像20中之可能位置。物體若在複數幀原始影像20中幾個連續幀原始影像20中都未能匹配,則將物體之狀態標記為不活動(Inactive),以表示物體可能已經離開畫面。
其中,當某物體在該複數幀原始影像20中之一當前幀原始影像中沒有找到任何匹配,並且在之前的原始影像20中也未被追蹤,系統會將此物體標記為新出現,並分配一新的該追蹤識別碼對應此物體,以定義為新的軌跡片段資訊。當某追蹤物體在連續幾幀原始影像20中皆未能被匹配到時,系統將認為此物體已離開視野,並將其標記為不活動物體。另外,在前述步驟S16中,若是線性位於距離預測此追蹤物體於下一幀影像可能會超過畫面,則也將此物體標記為不活動物體。
在一實施例中,在追蹤演算法124中,請同時參閱圖1、圖8及圖9A至圖9D所示,在取得先前幀原始影像及當前幀原始影像之間各自物體之間的匹配成本矩陣34之後,即可繼續執行匈牙利匹配演算法,其詳細步驟包含:首先,如圖9A所示,處理裝置12先執行一行減法,將每一行的最小值從該行中的每一個元素減去,使每一行至少有一個0。如圖9B所示,處理裝置12執行一列減法,將每一列的最小值從該列中的每一個元素減去,使每一列至少有一個0。如圖9C所示,覆蓋0,使用最少數目的直線覆蓋所有的0。最後如圖9D所示,匹配矩陣,若無衝突(只有一個0),即完成匹配,若有衝突,如第一列有二個0,則此列會重新使用原始匹配成本矩陣之數值再次重新計算。
因此,本案在追蹤物體(包含多物體)上,更具有下列優勢:一、可適用於極低幀率設計的追蹤演算法;為了解決低幀率環境下的物體追蹤難題,本案設計了一套不依賴幀間重疊率的追蹤方法,透過方向回歸模型回歸車輛方向角度,以有效應對大幅位移問題,即便在最低的1 FPS下或其他極端低幀率環境,本案都能夠提供穩定的追蹤效果。二、提出方向約束特徵匹配演算法:本案係透過利用卷積神經網路(CNN)構成之方向回歸模型來回歸預測車輛的運動方向角度(1~360度),此方向回歸模型不僅學習到物體(車輛)的視覺特徵,還能判斷物體可能的行進方向。並且,進一步將方向資訊整合至特徵匹配過程中的匹配成本矩陣,重新定義了特徵匹配的機制。三、模型集成整合提升偵測精度:本案不僅使用單一模型,而是提出了一個全新的多模型集成方案,將多個物件偵測微調模型與單詞物件偵測預訓練模型進行融合,並通過加權框融合(Weighted Box Fusion)方法,能顯著提升偵測準確度,並在不同光照條件(如白天和夜間)下保持出色的表現。
綜上所述,本案之電子裝置,其係執行包含物件偵測、特徵提取、方向回歸及追蹤演算等步驟,以透過電子裝置對物體進行追蹤,尤其是針對極低幀率環境下的物體,以解決在追蹤物體之過程中所遭遇的大幅度物體位移問題、方向判斷困難以及特徵相似度不穩定等問題。因此,本案之電子裝置係可在任意環境下,尤其是極低幀率環境下,皆可提供穩定的物體追蹤效果,並提高偵測的準確度以及匹配的準確度,以有效進行多物體追蹤。
以上所述之實施例僅係為說明本案之技術思想及特點,其目的在使熟悉此項技術者能夠瞭解本案之內容並據以實施,當不能以之限定本案之專利範圍,即大凡依本案所揭示之精神所作之均等變化或修飾,仍應涵蓋在本案之申請專利範圍內。
10:電子裝置 12:處理裝置 121:物件偵測模型 121a:物件偵測微調模型 121b:單詞物件偵測預訓練模型 121c:加權框融合方法 122:特徵提取模型 123:方向回歸模型 124:追蹤演算法 14:儲存裝置 16:圖形處理器 20:原始影像 22:物體影像 24:特徵維度資訊 26:方向資訊 28:第一預測結果 30:第二預測結果 32:物體邊界框 34:匹配成本矩陣 36:圖片-角度訓練對資料 S10~S16:步驟
圖1為根據本案一實施例之電子裝置的方塊示意圖。 圖2為根據本案一實施例之電子裝置在進行物體追蹤的各步驟影像暨架構示意圖。 圖3為根據本案一實施例之電子裝置利用物件偵測模型進行物體選取之流程架構示意圖。 圖4為根據本案一實施例之電子裝置利用特徵提取模型進行特徵提取的流程架構示意圖。 圖5為根據本案一實施例之電子裝置於訓練方向回歸模型使用之圖片-角度訓練對資料的示意圖。 圖6為根據本案一實施例之電子裝置利用方向回歸模型進行方向回歸的流程架構示意圖。 圖7為根據本案一實施例之電子裝置執行追蹤演算法的流程示意圖。 圖8為根據本案一實施例之電子裝置的處理裝置於執行追蹤演算法時產生之匹配成本矩陣示意圖。 圖9A至圖9D分別為根據本案一實施例之電子裝置的處理裝置執行匈牙利匹配演算法時對匹配成本矩陣進行運算的各步驟示意圖。
10:電子裝置
12:處理裝置
121:物件偵測模型
122:特徵提取模型
123:方向回歸模型
124:追蹤演算法
14:儲存裝置
16:圖形處理器

Claims (23)

  1. 一種電子裝置,包含: 一儲存裝置,其內係儲存有複數幀原始影像;以及 一處理裝置,電性連接該儲存裝置,並內建有一物件偵測模型、一特徵提取模型、一方向回歸模型以及一追蹤演算法,該處理裝置利用該物件偵測模型對該複數幀原始影像中之每一幀原始影像進行物體選取,以找出每一物體之位置,並擷取其對應之一物體影像;該處理裝置利用該特徵提取模型對每一該物體影像進行特徵擷取,以取得每一該物體之一特徵維度資訊;該處理裝置利用該方向回歸模型取得每一該物體對應之一方向資訊;以及該處理裝置根據該特徵維度資訊及該方向資訊執行該追蹤演算法,依序對該複數幀原始影像中相鄰二幀原始影像進行匹配,以對每一該物體進行追蹤。
  2. 如請求項1所述之電子裝置,其中該複數幀原始影像係為複數極低幀率影像。
  3. 如請求項2所述之電子裝置,其中該複數極低幀率影像之極低幀率係為1~10幀每秒(FPS)。
  4. 如請求項1所述之電子裝置,其中該處理裝置利用該物件偵測模型進行該物體選取之流程更包含:自一影像數據中依序擷取出複數極低幀率影像作為該複數幀原始影像;利用複數物件偵測微調模型對該每一幀原始影像進行該物體選取,以輸出一第一預測結果,並利用一單詞物件偵測預訓練模型輸入特定物體的文字來對該每一幀原始影像進行該物體選取,以輸出一第二預測結果;以及融合該第一預測結果及該第二預測結果,以框選出每一該物體之位置。
  5. 如請求項4所述之電子裝置,其中該處理裝置係使用一加權框融合方法來融合該第一預測結果及該第二預測結果,使該每一幀原始影像上產生最終之至少一物體邊界框,進而根據該至少一物體邊界框擷取每一該物體影像。
  6. 如請求項4所述之電子裝置,其中該複數極低幀率影像之極低幀率係為1~10幀每秒(FPS)。
  7. 如請求項4所述之電子裝置,其中該影像數據係透過一影像擷取裝置拍攝一環境而取得。
  8. 如請求項7所述之電子裝置,其中該環境係為一道路環境。
  9. 如請求項1所述之電子裝置,其中該特徵維度資訊係為一高維度之特徵向量。
  10. 如請求項1所述之電子裝置,其中該特徵提取模型係以一全尺度特徵學習網路模型作為主要架構進行訓練,以透過訓練好的該特徵提取模型對該物體影像提取該特徵維度資訊。
  11. 如請求項1所述之電子裝置,其中該方向回歸模型係為一卷積神經網路模型。
  12. 如請求項11所述之電子裝置,其中該處理裝置係透過複數圖片-角度訓練對資料對該卷積神經網路模型進行訓練,以獲得訓練好的該方向回歸模型。
  13. 如請求項1所述之電子裝置,其中每一該物體係各別具有一追蹤識別碼。
  14. 如請求項13所述之電子裝置,其中該處理裝置執行該追蹤演算法之步驟更包含:該處理裝置處理該複數幀原始影像中之一第一幀原始影像時,將該第一幀原始影像偵測到的每一該物體定義為一軌跡片段;根據該相鄰二幀原始影像對應之該特徵維度資訊及該方向資訊對該相鄰二幀原始影像進行特徵匹配與方向限制,以獲得一匹配成本矩陣;根據該匹配成本矩陣,使用一匈牙利匹配演算法進行分配,以取得匹配後的該物體;以及在該物體成功匹配後,該處理裝置會更新該物體之該追蹤識別碼、該特徵維度資訊及該方向資訊,使更新後的該軌跡片段將作為下一幀原始影像進行匹配的依據,並透過匹配後該物體之中心點,更新該相鄰二幀原始影像中該物體的線性位移距離,以預測該物體位於下一幀原始影像中之可能位置。
  15. 如請求項14所述之電子裝置,其中該物體若在該複數幀原始影像中幾個連續幀原始影像中都未能匹配,則將該物體之狀態標記為不活動,以表示該物體已經離開畫面。
  16. 如請求項14所述之電子裝置,其中該物體在該複數幀原始影像中之一當前幀原始影像中沒有找到任何匹配,並且在之前的原始影像中也未被追蹤,將該物體標記為新出現,並分配一新的該追蹤識別碼對應該物體。
  17. 如請求項14所述之電子裝置,其中該相鄰二幀原始影像係包含一當前幀原始影像以及一先前幀原始影像,在進行該特徵匹配之步驟中,基於該先前幀原始影像之該特徵維度資訊與該當前幀原始影像之該特徵維度資訊進行比較,以根據一餘弦相似度來計算該物體之特徵相似度。
  18. 如請求項17所述之電子裝置,其中該餘弦相似度係表示為,其中該為該先前幀原始影像之該特徵維度資訊,為該當前幀原始影像之該特徵維度資訊。
  19. 如請求項18所述之電子裝置,其中該匹配成本矩陣係表示為,其中該為該先前幀原始影像之該方向資訊與該當前幀原始影像之該方向資訊的方向變化,該為一方向限制角度,該α及該β分別為一權重調整值。
  20. 如請求項19所述之電子裝置,其中該α代表之該權重調整值係為1;以及該β代表之該權重調整值係為1。
  21. 如請求項19所述之電子裝置,其中該方向限制角度係為120度,以表示該物體最大可能的轉彎角度。
  22. 如請求項19所述之電子裝置,其中該匹配成本矩陣之數值愈大,表示該相鄰二幀原始影像中比對之該物體的相似度愈低;以及該匹配成本矩陣之數值愈小,表示該相鄰二幀原始影像中比對之該物體的相似度愈高。
  23. 如請求項1所述之電子裝置,更包含一圖形處理器,該圖形處理器電性連接該處理裝置,該圖形處理器係協助該處理裝置進行運算。
TW114210536U 2025-10-02 2025-10-02 電子裝置 TWM681536U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW114210536U TWM681536U (zh) 2025-10-02 2025-10-02 電子裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW114210536U TWM681536U (zh) 2025-10-02 2025-10-02 電子裝置

Publications (1)

Publication Number Publication Date
TWM681536U true TWM681536U (zh) 2026-04-01

Family

ID=100387674

Family Applications (1)

Application Number Title Priority Date Filing Date
TW114210536U TWM681536U (zh) 2025-10-02 2025-10-02 電子裝置

Country Status (1)

Country Link
TW (1) TWM681536U (zh)

Similar Documents

Publication Publication Date Title
Han et al. Laneformer: Object-aware row-column transformers for lane detection
Wang et al. CenterNet-auto: A multi-object visual detection algorithm for autonomous driving scenes based on improved CenterNet
US12169945B2 (en) Method and apparatus for estimating pose of device
Zhang et al. Monocular visual traffic surveillance: A review
Hausler et al. Multi-process fusion: Visual place recognition using multiple image processing methods
CN110084836B (zh) 基于深度卷积特征分层响应融合的目标跟踪方法
CN111767847B (zh) 一种集成目标检测和关联的行人多目标跟踪方法
CN111488795A (zh) 应用于无人驾驶车辆的实时行人跟踪方法
CN108010067A (zh) 一种基于组合判断策略的视觉目标跟踪方法
CN115100565A (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
CN111476817A (zh) 一种基于yolov3的多目标行人检测跟踪方法
WO2022079258A1 (en) Visual-inertial localisation in an existing map
CN115619827B (zh) 基于Transformer和时空记忆的多目标跟踪方法
CN113343985A (zh) 车牌识别方法和装置
Fernández-Sanjurjo et al. Real-time multiple object visual tracking for embedded GPU systems
CN110288627A (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
CN109977971A (zh) 基于均值偏移与核相关滤波的尺度自适应目标跟踪系统
CN110472585A (zh) 一种基于惯导姿态轨迹信息辅助的vi-slam闭环检测方法
Zheng et al. Dim target detection method based on deep learning in complex traffic environment
KR20220126622A (ko) 디바이스의 자세 추정 방법 및 장치
CN112329645B (zh) 图像检测方法、装置、电子设备及存储介质
Eom et al. Temporally consistent depth prediction with flow-guided memory units
CN117970315A (zh) 基于多传感器融合的列车定位和姿态计算方法及存储介质
CN113963168B (zh) 一种改进的高精度端到端车辆多目标跟踪方法
Xingxin et al. Adaptive auxiliary input extraction based on vanishing point detection for distant object detection in high-resolution railway scene