TW201535276A - 用於追蹤、索引及搜尋之物件匹配 - Google Patents

Abstract

一種相機系統(100)係包含：一影像捕捉裝置(102)、一物件偵測模組(204)、一物件追蹤模組(206)、及一匹配分類器(218)。物件偵測模組(204)係接收影像資料且偵測出現於該等影像之一或多者的物件。物件追蹤模組(206)係暫時關聯偵測於該等影像之一第一群組的一第一物件之實例。第一物件係具有代表第一物件的特徵之一第一簽章。匹配分類器(218)係藉由分析自第一物件之第一簽章與偵測於一第二影像的一第二物件之一第二簽章所導出的資料而匹配物件實例。第二簽章係代表自第二影像所導出之第二物件的特徵。匹配分類器(218)係確定第二簽章是否為匹配第一簽章。一種訓練方法係運用一組可能物件特徵而自動組態該匹配分類器(218)。

Description

用於追蹤、索引及搜尋之物件匹配

此揭露內容係概括關於而非為專指視訊監視，且尤指匹配代表於多個影像的物件。

相關申請案交互參照

此申請案係根據美國法典35 U.S.C.§ 119(e)而主張於西元2008年3月3日所提出之標題為“動態物件與事件分類之方法”的美國臨時申請案第61/033,349號及於西元2008年3月3日所提出之標題為“用於追蹤於視訊監視下的物件之方法與系統”的美國臨時申請案第61/033,284號之權益，此二件美國臨時申請案係均為以參照方式而整體納入本文。

自動化保全及監視系統係典型為運用視訊相機或其他影像捕捉裝置或感測器以收集影像資料。於最簡單系統中，由影像資料所代表的影像係顯示以供保全人員之同時審查及/或記錄以供在保全違反之後的後續參考。於彼等系統中，偵測有關物件之任務係由一觀察人員所實行。重大的進展係當系統本身為能夠部分或完整實行物件偵測與追蹤而發生。

於一種典型的監視系統中，舉例而言，可能對於追蹤其移動通過環境之諸如人類、載具、動物等等之一偵測的物件為有興趣。能夠追蹤偵測的物件之現存的系統係企圖以運用運動預測及於連續視訊框的選擇特徵之追 蹤而追蹤物件。諸如SIFT方法之其他技術係企圖以精確代表一物件之一實例的外觀，俾使該代表係可用以匹配一物件之多個實例而無關於時間接近性。然而，已知的追蹤系統係受損於下列一或多者：(1)無能作訓練，(2)缺乏與物件搜尋、索引、及分類系統之整合，(3)不當的物件追蹤與搜尋性能、及(4)無效的交互相機追蹤能力。

一種相機系統係包含：一影像捕捉裝置；一物件偵測模組，連接至該影像捕捉裝置；一物件追蹤模組，連接至該物件偵測模組；及一匹配分類器，連接至該物件追蹤模組。該影像捕捉裝置係具有一視野且產生代表該視野之多個影像的影像資料。該物件偵測模組係接收影像資料且為可操作以偵測其出現於多個影像之一或多者的物件。該物件追蹤模組係可操作以暫時關聯其偵測於該多個影像之一第一群組的一第一物件之實例(instance)。第一物件係具有一第一簽章(signature)，其代表自第一群組的影像所導出之第一物件的特徵。該匹配分類器係可操作以藉由分析自第一物件之第一簽章與一第二物件之一第二簽章所導出的資料而匹配物件實例。第二物件係偵測於不同於第一群組的影像之一第二影像。第二簽章係代表自第二影像所導出之第二物件的特徵。該匹配分類器係分析第一組資料以確定第二簽章是否為匹配第一簽章。該匹配分類器係操作於一種方式以匹配物件實例，該種方式係已經至少部分為由一種訓練方法所確定，該種訓練方法係運用一組可能的物件特徵以自動組態該匹配分類器。

一種方法係追蹤由一相機系統所捕捉之一物件。該種方法係捕捉該相機系統之一視野的第一與第二影像，偵測捕捉於第一影像之一第一物件與 捕捉於第二影像之一第二物件，且產生第一物件之一第一簽章與第二物件之一第二簽章。第一簽章係代表第一物件之一第一組的特徵，且第二簽章係代表第二物件之一第二組的特徵。該種方法係產生自第一與第二簽章所導出的資料。該資料係對應於自第一組所選擇之一第一子集的特徵及自第二組所選擇之一第二子集的特徵。一種訓練方法係自動確定其為選擇以納入於第一與第二子集之第一與第二組的特徵。該種方法係分析該資料以確定第二物件是否為第一物件之一實例。

一種方法係產生於由一相機系統所捕捉的影像之物件的索引元素。該種方法係捕捉於該相機系統之一視野的一物件之一第一群組的多個影像，偵測於第一群組的多個影像之該物件，且產生該物件之一第一組的單框簽章。第一組的單框簽章係對應於自第一群組的多個影像所導出之該物件的特徵。該種方法係產生該物件之一第一平均簽章。第一平均簽章係第一組的單框簽章之一平均值。第一平均簽章係該物件之一第一索引元素。該種方法係產生該物件之一累積簽章。該累積簽章係第一組的單框簽章之一加權平均值。該種方法係捕捉該物件之一第二影像，偵測於第二影像之該物件，且產生自第二影像所導出之一第二單框簽章。該種方法係藉由加權第二單框簽章且平均該加權的第二單框簽章與該累積簽章而更新該累積簽章。該種方法係確定是否接受或拒絕該更新累積簽章與第一平均簽章作為一匹配。當該更新累積簽章與第一平均簽章係接受作為一匹配，第一平均簽章係基於第二單框簽章而更新。當該更新累積簽章與第一平均簽章係拒絕作為一匹配，該物件之一第二平均簽章係基於第二單框簽章而產生。第二平均簽章係該物件之一第二索引元素。

一種方法係搜尋資料以識別由一相機系統所捕捉的一物件之影像。該種方法係捕捉於該相機系統之一視野的一影像之一第一物件。第一物件係具有代表第一物件之特徵的一第一簽章。該種方法係顯示第一物件之一影像於一顯示器，接受其表示第一物件之一選擇的使用者輸入，擷取其對應於該相機系統之視野的影像所捕捉之一組的物件之一群組的簽章，且作出關於該群組的簽章是否為匹配第一簽章之確定。該種方法係擷取一第二物件之影像，當第二物件之一對應簽章為匹配第一簽章。第二物件係該組的一成員。該種方法係顯示第二物件之影像，當其對應簽章為匹配第一簽章。

一種相機系統係包含：一影像捕捉裝置；一物件偵測模組，連接至該影像捕捉裝置；一使用者介面，連接至該影像捕捉裝置；一匹配分類器；一物件追蹤模組，連接至該匹配分類器與該物件偵測模組；及，一搜尋模組，連接至該匹配分類器與該使用者介面。該影像捕捉裝置係具有一視野且產生其代表該視野之多個影像的影像資料。該物件偵測模組係接收該影像資料且為可操作以偵測其出現於該多個影像之一或多者的物件。該使用者介面係包括：一顯示器，用於顯示由該物件偵測模組所偵測的物件；及一輸入裝置，可操作以響應於使用者命令而選擇由該物件偵測模組所偵測的物件。該匹配分類器係可操作以匹配由該物件偵測模組所偵測的物件。該物件追蹤模組係可操作以暫時關聯由該物件偵測模組所偵測的物件之實例且亦為可操作以請求該匹配分類器以確定是否關聯物件之實例。該搜尋模組係可操作以擷取由該輸入裝置所選擇的物件之儲存影像且亦為可操作以請求該匹配分類器以找出一選擇物件之一儲存影像。

另外的觀點與優點係將由參照伴隨圖式所進行之較佳實施例的以下詳 細說明而為顯明。

100‧‧‧相機系統

102‧‧‧影像捕捉裝置

104‧‧‧使用者介面

106‧‧‧遠端儲存/處理單元

108‧‧‧網路

110‧‧‧內部儲存系統(裝置)

111‧‧‧硬碟機(HD)

112‧‧‧元資料資料庫(DB)

114‧‧‧顯示器

116‧‧‧輸入裝置

200‧‧‧視訊分析模組

202‧‧‧外殼

204‧‧‧物件偵測模組

206‧‧‧物件追蹤模組

208‧‧‧暫時物件分類模組

210‧‧‧物件分類模組

212‧‧‧物件索引模組

214‧‧‧物件搜尋模組

216‧‧‧物件種類化模組

218‧‧‧匹配分類器

220‧‧‧規則引擎

500‧‧‧階段

502‧‧‧特徵萃取器

504‧‧‧比例及總和方塊

506‧‧‧比較方塊

901‧‧‧影像資料

902‧‧‧運動模型化模組

1000‧‧‧系統

1002‧‧‧運動模型化模組

1202‧‧‧分類物件

1302‧‧‧追蹤物件

1312‧‧‧匹配資料庫

1402‧‧‧單框簽章

1404‧‧‧累積簽章

1406‧‧‧平均簽章

1408‧‧‧組合簽章

圖1係根據一個實施例之一種相機系統的繪圖。

圖2係於圖1所示的系統之一個影像捕捉裝置的簡化方塊圖。

圖3係描繪根據一個實施例之一種產生針對於圖2之匹配分類器的一輸入之方法的方塊圖。

圖4係圖2之匹配分類器的方塊圖。

圖5A係顯示於圖4所示的匹配分類器之初始N-1個步級的一者的方塊圖。

圖5B係於圖5A所示的步級所利用之接受與拒絕臨限的繪圖。

圖6係描繪根據一個實施例之一種利用匹配分類器之方法的流程圖。

圖7係一種匹配分類器訓練方法的流程圖。

圖8係一種匹配分類器訓練方法的流程圖。

圖9係另一種匹配分類器訓練方法的流程圖。

圖10係一種物件追蹤系統的方塊圖。

圖11係一種物件追蹤方法的流程圖。

圖12係另一種物件追蹤系統的混合方塊圖與流程圖。

圖13A與13B係一種相機間追蹤方法的混合方塊圖與流程圖。

圖14係一種物件索引系統的方塊圖。

圖15係一種物件搜尋方法的繪圖。

參考伴隨圖式，此段落係描述特定的實施例與其詳細的結構與操作。 本文所述的實施例係僅為作為舉例而非為限制所陳述。熟悉此技術人士係按照本文的揭示內容而將認知的是：對於本文所述的實施例係存在一系列的等效者。特別是，其他的實施例係可能，變化係可作成於本文所述的實施例，且對於其構成所述的實施例之構件、零件、或步驟係可能存在等效者。

如熟悉此技術人士係按照此揭示內容而將理解的是：某些實施例係能夠達成優於已知的先前技術之某些優點，其包括下列之一些或全部者：(1)統合物件追蹤、索引、及搜尋方法；(2)實施一種用於物件追蹤、索引、及搜尋之可訓練的匹配分類器；(3)能夠在一規則違反之前而搜尋所捕捉的一物件之實例；(4)能夠在一新物件型式為加入至一偵測程式庫之後而辨識先前捕捉的物件；(5)能夠對於環境變化而適應物件追蹤、索引、及搜尋；(6)能夠加入新特徵以最佳化偵測及分類準確度；(7)實施一種高速的追蹤系統，其允許於甚至具有相當低的框率之準確的追蹤；(8)運用不昂貴的硬體以實施一種準確的追蹤系統於一嵌入式平台；(9)能夠藉由反饋準確追蹤資料以改良物件偵測準確度與分類準確度；及(10)能夠跨過相機而即時自動追蹤物件。種種的實施例之此等與其他優點係於閱讀此段落的其餘部分而將為顯明。

為了簡明，某些實施例之構件或步驟的某些層面係不具有過度的細節而呈現，其中，該種細節係將對於熟悉此技術人士於按照本文的揭示內容為顯明，且/或其中，該種細節係將混淆該等實施例之較為有關層面的瞭解。

圖1係根據一個實施例之一種相機系統100的繪圖。相機系統100係包括彼此連接於一網路108之影像捕捉裝置102、一使用者介面104、及一遠 端儲存/處理單元106(例如：一遠端伺服器)。網路108係可包括任何型式的有線或無線網路。雖然圖1之相機系統100係包括連接於一網路之多個影像捕捉裝置102，相機系統100係可包括單一個影像捕捉裝置102。影像捕捉裝置102係可包括一內部儲存系統110，其包含一硬碟機(HD,hard drive)111與一元資料資料庫(DB,database)112。舉例而言，影像捕捉裝置102係可包括一種儲存系統，其係描述於標題分別為“視訊資料之內容覺察儲存”與“延伸其用於視訊資料儲存應用之硬碟機的操作壽命”之共同擁有的美國專利申請案第12/105,971號與第12/105,893號，此二件美國專利申請案係均為以參照方式而整體納入於本文。使用者介面104係包括一顯示器114與一輸入裝置116。影像捕捉裝置102係捕捉個別的視野之影像且產生代表該等影像之資料資料。要瞭解的是：影像係可意指靜止影像或運動視訊影像。影像資料係透過網路108而通訊至使用者介面104，且一或多個視野的影像係提出於顯示器114。輸入裝置116係可操作以允許一使用者為提供針對於相機系統100之使用者反饋資訊。影像資料係亦可透過網路108而通訊至遠端儲存/處理單元106。

圖2係一個影像捕捉裝置102的簡化方塊圖。影像捕捉裝置102係可為一種高解析度的視訊相機，諸如：一種百萬畫素的視訊相機。影像捕捉裝置102亦可捕捉自外側的可見頻譜(例如：熱能)之資料。除了儲存系統110之外，影像捕捉裝置102係包括一影像處理單元，其包括一視訊分析模組200以分析由影像捕捉裝置102所捕捉的影像。該影像處理單元係無須為容納於如於圖2所繪之影像捕捉裝置102的一外殼202之內。甚者，遠端儲存/處理單元106係亦可包括一影像處理單元。

視訊分析模組200係包括用於實行種種任務之一些模組。舉例而言，視訊分析模組200係包括一物件偵測模組204，用於偵測其出現於影像捕捉裝置102之視野的物件。物件偵測模組204係可運用任何已知的物件偵測方法，諸如：運動偵測或二進制大型物件(blob)偵測。物件偵測模組204係可包括於標題為“用於偵測於時空訊號的有關物件之方法及系統”之共同擁有的美國專利申請案第10/884,486號之所述的系統且運用所述的偵測方法，此美國專利申請案之整體內容係以參照方式而納入於本文。

視訊分析模組200亦包括一物件追蹤模組206，其連接至物件偵測模組204。如運用於本文，術語“連接”係意指直接或間接為透過一或多個中間媒介所邏輯或實體連接。物件追蹤模組206係可操作以於時間關聯由物件偵測模組204所偵測的一物件之實例。物件追蹤模組206係產生其對應於所追蹤的物件之元資料。該元資料係可對應於物件之簽章，其代表物件的外觀或其他特徵。該元資料係可傳送至元資料資料庫112以供儲存。物件追蹤模組206係更為詳細描述於下文。

視訊分析模組200亦包括一暫時物件分類模組208。暫時物件分類模組208係可操作以分類一物件為根據其型式(例如：人、載具、動物)，藉由考慮隨著時間之該物件的外觀。換言之，物件追蹤模組206係追蹤一物件於多個訊框(即：多個影像)，且暫時物件分類模組208係基於多個訊框之其外觀而確定該物件的型式。暫時物件分類模組208係可組合關於一物件的軌跡之資訊(例如：該軌跡是否為平滑或混亂、物件是否為移動或不動)及於多個訊框所平均之由一物件分類模組210所作成的分類之信賴。舉例而言，由物件分類模組210所確定的分類信賴值係可基於該物件之軌跡的平滑度 而作調整。暫時物件分類模組208係可指定一物件至一未知的類別，直到該物件係於一充分的次數及一預定數目的統計資料為已經收集而由該物件分類模組所分類。於分類一物件，暫時物件分類模組208係亦可考量該物件已經於視野為多久。暫時物件分類模組係可基於上述的資訊而作成關於一物件之類別的最後確定。暫時物件分類模組208亦可運用一種用於改變一物件之類別的磁滯方法。舉例而言，一臨限係可設定以變遷一物件之分類為自未知至人類，且該臨限係可為大於針對於相反變遷(即：自人類至未知)之一臨限。暫時物件分類模組208係可產生其關於一物件之分類的元資料，且該元資料係可儲存於元資料資料庫112。

視訊分析模組200亦包括物件分類模組210，其連接至物件偵測模組204。對照於暫時物件分類模組208，物件分類模組210係可基於物件的單一個實例(即：單一個影像)而確定一物件的型式。物件分類模組係可包括於標題為“動態物件分類”之共同擁有的美國專利申請案(代理人檔案號碼37686/8：2)之所述的系統且運用所述的方法，此美國專利申請案之整體內容係以參照方式而納入於本文。暫時物件分類模組208係可聚集由物件分類模組210所作成的分類。

視訊分析模組200亦包括一物件索引模組212，其連接至儲存系統110。物件索引模組212係可操作以產生針對於物件之簽章。該等簽章係可儲存於元資料資料庫112且可作用為針對於物件之視訊影像的索引元素。物件索引模組212係更為詳細描述於下文。

視訊分析模組200亦包括一物件搜尋模組214，其連接至儲存系統110與使用者介面104。物件搜尋模組214係可操作以搜尋透過其儲存於儲存系 統110之簽章，以識別一物件是否為存在於先前捕捉的影像。物件搜尋模組214係更為詳細描述於下文。

視訊分析模組200亦包括一物件種類化模組216，其連接至物件分類模組210。物件種類化模組216係可操作以當多個物件為偵測於一影像時而排定追蹤之優先順序。舉例而言，物件種類化模組216係可操作以運用物件分類模組210所產生的資訊以建立用於企圖關聯一目前訊框的物件與其偵測於過去訊框的物件之一順序。物件種類化模組216係更為詳細描述於下文。

由視訊分析模組200所產生的資料係可由一規則引擎220所運用以確定一或多個使用者指定的規則是否為已經違反。舉例而言，規則引擎220係可觸發其為提出於使用者介面之顯示器114的一警報，若一人係偵測於該等影像捕捉裝置102之一者的視野。

如運用於本文，術語“模組”係一構件，其可包含一或多個硬體電路或裝置、及/或一或多個軟體常式、函式、物件或類似者。一模組係亦可整體為硬體，整體為軟體，包含韌體，或包含前述者之某個組合。如運用於本文，術語“系統”係意指一種有形者。

匹配分類器

視訊分析模組200亦包括一匹配分類器218，其連接至物件追蹤模組206、物件索引模組212、與物件搜尋模組214。匹配分類器218係可操作以接收其代表二個物件之簽章的一輸入型態z且確定該等簽章是否為匹配(例如：該等簽章是否為充分類似)。匹配分類器218係可為由物件追蹤模組206、物件索引模組212、與物件搜尋模組214所運用以協助該等模組於其 種種操作。因此，針對於追蹤、索引、及搜尋之一種統合架構係可經由匹配分類器218所達成。

匹配分類器218係可操作以基於物件簽章(例如：特徵或外觀特性)而匹配物件。舉例而言，匹配分類器218係接收其關於捕捉於不同訊框之二個物件的簽章之資料(即：輸入型態z)且確定該等物件是否為對應於相同的實際物件。

一物件之一簽章係可由其選擇自一集合的特徵 F={f ₁ ,f ₂ ,f ₃ ,...,f _n }之一子集合的特徵 ={f _k1 ,f _k2 ,...,f _km }所作成。之元素係可視為一物件之一影像區域R的某個變換。因此，一物件之一簽章x係可呈現以下形式：

一物件之特徵係可對應於一些外觀特性，諸如而不限於：長寬比、色調、強度、邊緣方位、紋理、角隅特徵、原始影像的像素資料、正規化的飽和、與諸如標度不變特徵變換(SIFT,Scale-invariant feature transform)特徵之區域描述符。該等特徵係均包括色彩特徵(例如：色調與飽和)及灰階特徵(例如：強度與邊緣方位)。此係允許匹配分類器218以運作於彩色與黑白影像。一物件之一影像係可分割成為區域或子視窗，且特徵係可對應於該等區域或子視窗之物件的外觀特性。甚者，特徵係可代表外觀特性之特徵向量(例如：直方圖，其中，直方圖的分格係對應於向量分量)且可為由匹配分類器218所運用以確定物件是否為匹配。舉例而言，物件之邊緣方位的直方圖係可針對於物件影像之不同區 域(例如：子視窗)而作圖。換言之，一物件的影像係可分割成為子視窗，且邊緣方位係可針對於子視窗的各個像素而計算。一像素之邊緣方位係可運用一可操縱濾波器(例如：運用一高斯導數濾波器於多個方向)而導出。舉例而言，一影像係可捲積於其方位在零與90度之一高斯分佈的一第一導數，零與90度係可運用作為基礎濾波器以合成諸多的方位。高斯導數響應係可針對於各個像素而計算於八個方位，且針對於各個像素，關於最大響應之方位係可選取作為針對於該像素之方向。運用一可操縱濾波器係允許主要方向為指定至一子視窗之像素，且允許該等方向之直方圖為針對於該子視窗所作圖。舉例而言，針對於一已知的像素，一可操縱濾波器係可運用於多個方向以產生多個響應，且對應於最大方向導數響應之方向係指定作為該像素之方向。一物件之一簽章x係可捕捉該物件之獨特性而且允許於物件之不同實例間的外觀變化。雖然非為必要，一物件之一簽章係可為以針對於相機系統100可利用的最大解析度而計算且可為不受到事後的降低取樣頻率或壓縮所影響。

圖3係方塊圖，顯示一種方法300，其係可運用以基於自一第一物件之一簽章x與自一第二物件之一簽章y而產生用於匹配分類器218之一輸入z。概括而言，自第一與第二物件之簽章x與y係組合以形成輸入z(步驟302)。舉例而言，簽章x之特徵係可與簽章y之特徵為組合。簽章x與y係可運用諸如直方圖相交或特徵的連鎖之組合函數而數學方式組合。一組合函數係可認為於特徵之間的一距離度量d。諸多不同的距離度量係可運用以提供輸入z，諸如：一距離L₁、一曼哈頓(Manhattan)距離、一距離L₂、與一Bhattacharyya距離。因此，多個組合或距離度量係針對於例如簽章x之 特徵與簽章y之特徵為可能。距離度量係可對應於特徵之間的相似性之一度量；相同的物件之實例係可於特徵空間為“接近”(例如：小的距離度量)，而不同的物件之實例係可於特徵空間為“遠離”(例如：大的距離度量)。當組合自例如簽章x與y之邊緣方位直方圖，邊緣方位直方圖係可作為一距離度量d。輸入z係供應至匹配分類器218，且匹配分類器218係作出其關於第一與第二物件是否為匹配之一決策。如下所述，一種訓練方法係可自動選取簽章x與y的最佳特徵、以及最佳組合或距離度量，以達成於匹配物件之一高程度的準確度。匹配分類器218之輸出係可對應於一決策步級值s(z)，如下所述。決策步級值s(z)係可指出第一與第二物件是否為匹配，且可包括對應於其決策之一信賴度的一值。

匹配分類器218係可為其概括由一分類器函數Γ(z)所定義之一分類問題而代表，其中，輸入型態z所代表之二個物件係當Γ(z)>0而宣告為一匹配或當Γ(z)<0而宣告為一不匹配。概括而言，分類器函數Γ(z)係以一組的參數而為參數化，且輸入z係由上述的特徵之組合所構成。分類器函數之輸出的大小係可反映該匹配分類器218於其決策之信賴度。此信賴度係可構成相似性(或相異性)之一度量。

匹配分類器218之結構的一個實施例係將參考圖4至6而更詳細描述。匹配分類器218係包括其組態於一種串級組態(即：步級1、隨後為步級2、隨後為步級3、...、隨後為步級N)之多個步級400(N個決策步級)，如於圖4所示。N個步級係操作以確定二個簽章是否為匹配。不同於西元2004年的國際電腦視覺期刊(International Journal of Computer Vision)第137至154頁之Paul Viola與Michael Jones的“強健即時臉部偵測”所提出之一種已知的串 級分類系統，本實施例之初始N-1個步級各者係可操作以作成三個決策之一者：(1)接受二個物件作為匹配；(2)拒絕該等物件作為匹配(即：宣告為不匹配)；及(3)轉送該決策至下個步級。舉例而言，輸入z係供應至步級1，且步級1係判斷是否(1)接受該等物件作為匹配；(2)拒絕該等物件作為匹配；或(3)轉送該決策至步級2。接受、拒絕或轉送之決策係基於由該步級所產生的一值(即：決策步級值s(z))。最後或第N個步級係可操作以(1)接受該等物件作為匹配；或(2)拒絕該等物件作為匹配。

圖5A係方塊圖，更為詳細顯示初始N-1個步級400之一者。各個步級400係包括一或多個階段500。針對於各個階段500，自一第一物件的特徵之一者與自一第二物件的特徵之一對應者的組合(例如：一距離度量或毗連)係自輸入z而取出(由方塊502所代表)且供應至其對應的階段500。舉例而言，自第一物件的特徵與自第二物件的特徵之組合係可供應至第一階段500。因此，各個階段500係具有關聯於其的一對應特徵。階段/特徵的組合係可藉由於如下所述之一訓練方法期間的一種學習演算法而預定。甚者，舉例而言，供應至圖5之第一階段(階段1)的特徵組合係可為不同或相同於其供應至第二階段(階段2)的特徵組合。

概括而言，一階段500係可為由一階段函數g所代表，階段函數g係定義為如下：g：(x,y)→γ g G (x,y)z且γ [-1,1] (2) 其中， G 係代表特定階段函數g為選取自其之一般集合，且(x,y)係代表其取出自簽章x的一特徵與其取出自簽章y的一特徵之組合。如上所述，供應至一階段500的特徵之組合係可視為一距離度量d。因此，集合 G 係可寫為 G=D×T ，其中， D 係於圖3的步驟302所計算之一組所有可能的距離度量(例如：d D ,d：(x,y)→z)，且 T 係代表一組可能的變換(即：映射)，俾使針對於t T ,t：z→γ。因此，階段函數g係可呈現以下的展開形式：

一階段500係代表一判別函數，其包括一加權向量與一啟動函數β。如上所述，特徵係可代表特徵向量。此外，於特徵向量之間的一距離度量d係可代表一距離向量。階段函數係可改寫為如下： 其中，係代表加權向量與距離向量之內乘積。啟動函數β _i 係可為任何函數，諸如而不限於：一S型函數或一徑向基底函數。啟動函數β _i 係運用以映射加權向量與距離向量之內乘積至於0與1之間的一值。純量值γ係可藉由計算該判別函數之一微分而確定。不同於其包括針對所有階段的相同判別函數之習知串級分類器，針對於本實施例的階段之判別函數係可彼此為不同。甚者，針對於各個階段500之加權向量與啟動函數β _i 係如下所述而自動確定於訓練期間。

各個步級400係階段500之一或多者的一線性組合(由比例及總和方塊502所代表)。換言之，階段500之純量值γ係比例及總和以產生決策步級值s(z)。概括而言，一步級函數係可數學式代表如下： 其中，因為s(z)(即：決策步級值)係階段之一凸組合，s(z)與g(x,y)係具有相同的範圍。加權係數α係於訓練期間為藉由一種學習演算法所選取。決策步級值係相較於一接受臨限τ _a 與一拒絕臨限τ _r 之一或二者(由方塊506所代表)，以確定二個物件是否匹配、拒絕該等物件作為一匹配、或轉送該決策至下一個步級400。該比較係可代表為如下：接受，若τ _a <s(z)1 轉送，若τ _r <s(z) τ _a 拒絕，若-1<s(z) τ _r (7)

圖5B係說明於區間[-1,+1]之接受與拒絕臨限的一個實例。接受臨限τ _a 與拒絕臨限τ _r 係基於使用者特定的偽正與偽負率而藉由一種學習演算法所選取於訓練期間。各個步級400係可具有其為不同於或相同於其他步級400之針對於τ _α 與τ _r 的值。“接受”之一決策係意指的是：分類器係確信該二個物件為匹配。“轉送”之一決策係意指的是：分類器係不確定且延緩該決策至下一個步級。“拒絕”之一決策係意指的是：分類器係確信該二個物件為不匹配。於任何步級，若決策係非“轉送”至下一個步級400，接受/拒絕決策係作成於該點且評估係完成。於該步級的決策步級值s(z)係針對於匹配分類器218之輸出值。決策步級值係可對應於針對於對應步級400之一決策信賴度。舉例而言，相較於稍高於接受臨限τ _a 之一決策步級值，接近1之一決策步級值係可代表的是：對應步級400係較確信二個物件為匹配。替代而言，於決策步級值之一增大係可能非必要為對應於一較高決策信賴度(即：決策為正確之一機率)。由於物件係以不同的決策步級值而正確 及不正確匹配，關聯於各個決策步級值之信賴度係可憑經驗估計於訓練期間。決策步級值之信賴度係更詳細描述於下文。如上所述，於匹配分類器218之最後一個步級(步級N)係強制以恆為接受或拒絕：接受，若0<s(z)1 拒絕，若-1<s(z)0 (7)

圖6係流程圖，舉例描繪匹配分類器218之一種操作流程600。首先，第一與第二物件之簽章係組合(步驟602)。第一與第二物件係可對應於相同的實際物件。步驟602係相關於圖3之步驟302。輸入z係傳送至匹配分類器218之第一個步級400(步驟604)。對應於第一個到第S個階段500之特徵(例如：距離度量)係識別於輸入z且為選取自輸入z(步驟606)。替代而言，非為傳送輸入z至第一個步級400，由第一個步級400之階段500所運用的組合特徵係可選擇且僅為彼等組合特徵係可傳送至第一個步級400。該等組合特徵係供應至其個別的階段500，且該等階段500係映射該等組合特徵至純量值γ(步驟608)。該等純量值係比例化(即：加權)且總和以產生一決策步級值s(z)(步驟610)。決策步級值係相較於接受臨限τ _a 與拒絕臨限τ _r 之一或多者(步驟612)。若決策步級值係大於接受臨限τ _a ，第一與第二物件係接受作為一匹配(步驟614)。若決策步級值係小於或等於拒絕臨限τ _r ，第一與第二物件係拒絕作為一匹配(步驟616)。若決策步級值係大於拒絕臨限τ _r 而小於或等於接受臨限τ _a ，輸入z係轉送至第二個步級400(或替代而言，僅為由第二個步級400所運用的彼等特徵組合係傳送至第二個步級400)(步驟618)。第一與第二物件係可於串級之內的任一個步級400而接受或拒絕作為一匹配。

訓練匹配分類器

一種訓練匹配分類器218之方法係將描述。習用分類器係可為以學習演算法AdaBoost或AdaBoost之某種變化者而訓練。儘管AdaBoost係已證明其於一些應用之價值，運用於該學習方法之演算法與目標函數係具有一些限制。舉例而言，為了AdaBoost為有效，匹配或不匹配物件之距離度量係不能顯著重疊彼此於特徵空間。換言之，物件之特徵係應為相當分開一分類空間。甚者，因為AdaBoost係運用弱的學習器，大量之弱的學習器係可能為必要以形成其能夠達成一期望準確度之一全分類器。

根據一個實施例，稱為依序判別誤差最小化(SDEM,Sequential Discriminant Error Minimization)之一個替代的目標函數與學習演算法係用以訓練匹配分類器218。SDEM係提出於Saptharishi之“依序判別誤差最小化：理論與其於即時視訊物件辨識之應用”(Carnegie Mellon大學，西元2005年)，其整體內容係以參照方式而納入於本文。SDEM係可處理其非必要為相當分開一分類空間之特徵或距離度量。不同於AdaBoost與其他類似的激增(boosting)技術，SDEM係可運用弱的學習器或其非必要視為弱之其他的判別函數。因此，相較於AdaBoost，運用SDEM以訓練，一物件分類器之步級400與階段500的數目係可為顯著較小。針對於一既定特徵，SDEM係經常為能夠學習針對於對應特徵空間之最佳分類器。物件之最佳特徵、距離度量、與轉變係可針對於一既定分類問題而自動選擇。

概括而言，SDEM演算法係運用以訓練針對於各個步級400之階段500的組合。如於式(3)所定義，一階段500係包括一階段函數g _i (x,y)，其為等於特徵與之一距離度量d的一轉變t(即：t(d(，)))。訓練任務係選取 最佳轉變t、最佳距離度量d、與最佳特徵，俾使當一特定的階段500係相加至一步級400，物件分類器之性能係最大化。換言之，SDEM演算法係選擇針對於一特定階段之轉變t、距離度量d、與特徵，藉以最大化一目標函數。特徵之集合 F 與距離度量之集合 D 係可為有限，且轉變之集合 T 係可為連續且可微分。採用SDEM演算法，針對於一離散對(,d _j )之各個選取，一搜尋係實行於集合 T 以識別其實行最佳於一訓練資料集之轉變t。於集合 T 之搜尋係運用標準無限制最佳化技術而實行，諸如而不限於：一種準牛頓(Quasi-Newton)最佳化方法。一旦最佳轉變t係針對於(,d _j )之各個選取而識別，最佳特徵/距離度量對係可根據一估計概括誤差而選擇。最佳特徵/距離度量對之選擇係可寫為如下：

當各個階段500係增加至一步級400，可能存在n個獨特的特徵型式與b個獨特的距離度量。因此，當增加一個新的階段500，總共n×b對(,d _j )係可為探究。SDEM演算法之一個性質係在於：當一階段500係增加至一步級400，階段500之增加係改良該物件分類器於訓練資料集之性能。若一新的階段係無法識別為改良該物件分類器之性能，SDEM演算法係自動終止。替代而言，非為等待SDEM演算法以自動終止，一步級400之一些階段500係可為由使用者所確定。換言之，當由使用者所設定之一最大數目的階段500係達到或是當並無階段500係可增加為將改良性能，SDEM演算法係終止訓練。

SDEM演算法係選擇一系列特徵、距離度量、與轉變，俾使當組合，該系列者係勝過該等特徵/距離度量/轉變之單一者。舉例而言，儘管一物件之 長寬比係可能為用於匹配之一不良的特徵，當組合於局部梯度資訊，長寬比係可改良其對應於僅有局部梯度資訊之匹配準確度。一些簡單的特徵、距離度量、與轉變係可組合以產生極為準確的匹配分類器218。訓練任務係藉由組合針對於二個物件之一組的外觀特徵與距離度量而產生超特徵。

用於建立第一個步級400之階段500的訓練任務係將參照圖7與8而更詳細描述。以下說明係亦可應用至其他步級400之階段500。圖7係一種產生訓練資料之方法700的方塊圖。一序列的物件影像係可提出給使用者以供驗證關於該等影像是否為對應於相同物件或不同物件。舉例而言，二個影像係可同時提出、或是依序提出給使用者以供驗證。當該等影像係對應於相同物件，一個匹配實例係產生(步驟702)。當該等影像係對應於不同物件，一個不匹配實例係產生(步驟704)。距離度量d ₁,d ₂,...,d _m 係運用針對於匹配與不匹配實例之特徵。匹配與不匹配實例之物件的特徵係可具有關聯於其之超過一個距離度量。舉例而言，b個不同的距離度量係可利用針對於特徵之一或多者。因此，d ₁與d ₂係可均為對應於物件之特徵。匹配與不匹配實例之特徵係藉由運用關聯於特定特徵之不同距離度量的一或多者而組合。舉例而言，若d ₁係對應於，d ₁係運用以組合一匹配實例之一個物件的特徵與該匹配實例之另一個物件的特徵。其他的匹配與不匹配實例之物件的特徵係亦可為組合。在若干個匹配與不匹配實例係產生且該等實例之物件的特徵係運用適當的距離度量d ₁,d ₂,...,d _m 而組合之後，該等實例與組合係可運用於一種訓練演算法以訓練匹配分類器218(步驟706)。

圖8係一種訓練方法800的流程圖，訓練方法800係可運用以訓練匹配 分類器218。匹配與不匹配實例之物件的特徵之組合(即：特徵組合802)係識別且關聯於其為運用以組合該等特徵之距離度量(例如：d ₁、d ₂)(步驟804a、804b、與804c)。舉例而言，針對於距離度量d ₁，由運用d ₁所形成的適當特徵之組合係識別(步驟804a)。

在其對應於距離度量d ₁,d ₂,...,d _m 的特徵組合802係識別之後，最佳轉變t係針對於距離度量d ₁,d ₂,...,d _m 之各者而選擇(步驟806a、806b、與806c)。因為一特定特徵係關聯於各個距離度量，最佳轉變係不僅針對於距離度量並且亦針對於關聯於距離度量之特徵而選擇。轉變係可基於標準最佳化技術而選擇。一轉變t係可視為分離該等匹配與不匹配實例之特徵組合802的一決策邊界。因此，最佳轉變t係對應於最佳分離針對於對應的特徵與距離度量之匹配與不匹配實例的一決策邊界。就由加權向量與啟動函數β _i 所作成的判別函數之情形而論，最佳轉變t之選擇係對應於最佳分離該等匹配與不匹配實例之啟動函數β _i 與加權向量的分量之選擇。啟動函數β _i 係可選擇自一組多個函數型式，諸如而不受限於：一S型函數與一徑向基底函數(例如：一高斯函數)。因此，不同於習知的串級分類器，一第一個階段係可包括其相較於一第二個階段之一不同型式的判別函數。

在針對於距離度量d ₁,d ₂,...,d _m 的轉變係選擇之後，對應於各個距離度量/轉變組合之一目標函數的一值係計算(步驟808a、808b、與808c)。目標函數係可為成比例於誤差之一度量(例如：宣告一匹配或不匹配或反之亦然)或是可為分類誤差之一非線性而單調變化的函數。目標函數之計算值係可相關於不同距離度量/轉變組合所作成的分類誤差之數目及/或嚴重程度。舉例而言，一第一計算值係可相關於距離度量d ₁與其對應轉變所作成的分類誤差 之數目。目標函數之計算諸值係比較，具有最大計算值之距離度量/轉變組合係針對於第一個步級400之第一個階段500而選擇(步驟810)。

在距離度量(及其關聯的特徵)與轉變係針對於第一個階段500而選擇之後，不同的匹配與不匹配實例之特徵組合802係將第一個階段500所作成的決策納入考量而加權具有不同的加權(步驟812)。匹配與不匹配實例之特徵組合802各者係可考慮為對應於特徵空間之資料點。匹配與不匹配實例之特徵組合802係可加權作為其對應資料點為如何接近於第一個階段500所代表的決策邊界之一函數。舉例而言，對應於接近於特徵空間的決策邊界之資料點的特徵組合802係相較於具有遠離決策邊界之資料點的特徵組合802而可加權為具有較高的加權，使得一第二個階段500係可藉由較多針對於其使第一個階段500為有些困惑之彼等特徵組合802而訓練。介於一資料點與第一個階段500的決策邊界之間的距離係可關連於針對於對應於該資料點的實例所計算之純量值γ。

在該等實例的特徵組合802係加權之後，最佳轉變係針對於距離度量d ₁,d ₂,...,d _m 而再次選擇(步驟806a、806b、與806c係重複)。然而，對應於距離度量d ₁,d ₂,...,d _m 之特徵組合802係已經加權，且針對於距離度量d ₁,d ₂,...,d _m 各者的最佳轉變t係將第一個階段500納入考量而選擇。最佳轉變t係可對應於其造成目標函數值的最大增加之轉變。目標函數的諸值係再次計算且比較以確定針對於第二個階段500之距離度量/轉變(步驟808a、808b、808c、與810係重複)。欲建立一第三個階段500，匹配與不匹配實例之特徵組合802係重新加權，其中，對於第一與第二個階段500為有些困惑之實例係給予較高加權。再次，步驟806a、806b、與806c係重複，而對應於距離度量 d ₁,d ₂,...,d _m 之特徵組合802係已經重新加權且針對於距離度量d ₁,d ₂,...,d _m 各者的最佳轉變t係將第一與第二個階段500均納入考量而選擇。目標函數的諸值係再次計算且比較以確定針對於第三個階段500之距離度量/轉變(步驟808a、808b、808c、與810係重複)。透過訓練一新階段之各個反覆運作以選取最佳距離度量、轉變及加權標示實例的特徵組合802之方法係可考慮為於函數空間之一梯度上升、或為提高目標函數之總值的一種方法。

一旦第一個步級400係訓練時，臨限τ _a 與τ _r 係選擇，俾使期望的偽正與偽負率係可達到。甚者，隨著階段500係針對於第一個步級400而構成，加權係數α係亦選擇。舉例而言，隨著各個階段500係增加至第一個步級400，針對於該等階段之加權係數α係調整以求得其對應於針對於第一個步級400的最低整體誤差率之該等加權係數α的值。舉例而言，加權係數α係可藉由運用一線搜尋最佳化策略而選擇。

在第一個步級400係訓練之後，一第二個步級400之階段500係可訓練。然而，少於其運用以訓練第一個步級400之所有的匹配與不匹配實例係可為運用以訓練第二個步級400。舉例而言，僅有第一個步級400可能既不接受且亦不拒絕之彼等匹配與不匹配實例係可為運用以訓練第二個步級400。換言之，第二個步級400係訓練關於其具有一對應決策步級值為大於拒絕臨限τ _r 而小於或等於接受臨限τ _a 之實例。此係允許第二個步級400以僅為針對於第一個步級400覺得困惑之彼等實例。

一旦該匹配分類器218係以實例所訓練，匹配分類器218係可繼續通過其他訓練步驟以改進針對於不同階段500所選擇的距離度量/轉變。訓練匹配分類器218之一種高階方式係顯示於圖9之流程圖，其係說明一種訓練方 法900。影像資料901(例如：原始的視訊資料)係供應至簡單的基底或種子系統，其為能夠進行物件之基本偵測、追蹤、與分類。基底系統係偵測、追蹤、及分類其代表於影像資料901之物件且產生其對應於物件之元資料(步驟902)。基底系統係選擇其為偵測及追蹤之一組的物件(步驟904)。物件選擇係可取決於一物件為於一影像捕捉裝置102之視野的時間量，或可取決於基底系統為多信賴於一物件之其分類。其他規則係可規定以指定一物件是否為由基底系統所選擇。

基底系統所選擇之物件的影像係於一顯示器而提出至一使用者，故使用者係可人工標示該等物件作為匹配或不匹配的實例。使用者係人工標示該等物件，且標示的實例係供應至其為訓練之匹配分類器218(步驟906)。特徵組合係可針對於其運用距離度量d ₁,d ₂,...,d _m 之標示的實例而計算。人工標示的實例之特徵組合係可對應於上述的特徵組合802。匹配分類器218係諸如根據參考圖8之如上所述的訓練方法800而以特徵組合802所訓練(步驟800)。影像資料901係供應至匹配分類器218。匹配分類器218係確定其代表於影像資料901之物件是否匹配且產生其代表匹配與不匹配的物件之元資料(步驟910)。匹配分類器218所產生之各個匹配與不匹配係具有關聯於其之一匹配信賴度。匹配信賴度係對應於其宣告該匹配或不匹配之步級400的決策步級值。匹配分類器218所產生之匹配信賴度係分析以識別其對於匹配分類器218為困惑之物件的實例(例如：具有一低匹配信賴度之匹配與不匹配)。匹配分類器218之性能係評估以確定該匹配分類器的性能是否為可接受(步驟912)。

欲確定該匹配分類器的性能是否為可接受，一不相交測試集係可運 用，其中，不相交測試集之匹配與不匹配係在藉由匹配分類器218的分類之前而為已知。供應至匹配分類器218之影像資料901係可對應於不相交測試集，且由訓練的物件分類器所作成之分類係可相較於實際的匹配與不匹配。由此比較，匹配分類器218之性能係可確定。若該性能係不等於或高於某個預定的性能位準，令人困惑的物件係提交至使用者以供人工標示(步驟904)。使用者係標示令人困惑的物件且新標示的匹配與不匹配係運用以重新訓練匹配分類器218(步驟906與908)。當匹配分類器218係重新訓練，針對於不同的階段500之距離度量/轉變組合係可基於新標示的實例而更新。重新訓練的匹配分類器係運用以分類其代表於影像資料901之物件，且重新訓練的匹配分類器之性能係評估(步驟910與912)。重新訓練方法係可繼續而直到匹配分類器218之性能為可接受。當匹配分類器218之性能係可接受，其可為部署(步驟914)。訓練方法係可重新編排成為以下步驟：

1.人工標示一資料集之某個小部分。

2.運用該資料集之部分以訓練一匹配分類器218。

3.運用新訓練的分類器以自動標示完整的資料集。

4.選擇其對於匹配分類器218為困惑之一組自動標示的資料點。

5.人工標示該等困惑的資料點。

6.藉著所有新標示的資料點而重複訓練。

7.至步驟3。

假定匹配分類器218

匹配分類器218所運作以匹配物件實例之方式係已經至少部分為藉由其運用一組可能的物件特徵以自動構成該匹配分類器218之一種訓練或自 我學習方法而確定。該種構成係可包括以下確定之一或多者：(1)自該組可能的特徵而選擇哪些特徵以運用；(2)確定該等選擇的特徵為評估之順序；(3)確定有多少倍的特徵為組合(即：運用以組合多個變數之加權係數)；(4)自一組可利用的距離度量(例如：L₂、Manhattan、Bhattacharyya)以選擇距離度量。匹配分類器218之其他層面係可構成於訓練方法期間。訓練方法係可離線式發生在匹配分類器218之部署前及/或連線式發生於匹配分類器218之連線操作期間。

匹配信賴

決策步級值s(z)係相關於匹配分類器對於其認為二個物件為多類似的估計(例如：匹配信賴)。該相關性係可非為線性，即：步級400係可產生一高正值，但是該等物件係可能為不匹配。典型而言，由於訓練方法，s(z)之值為愈高，步級400係愈不可能作出一錯誤。關聯於s(z)之某值的信賴度係可計算，首先藉由定義一指標函數ε(Γ(z))，其中： 一信賴函數Ψ(Γ(z))係可定義為步級400宣告二個實例為一匹配之機率，且其針對於s(z)=ν之一輸出為正確。因此，針對於一小量化區間[ν-△,ν+△]，信賴函數係可表示為如下：Ψ(Γ(z))=P _ε,Ω|Γ(ε(Γ(z))=0,ω=匹配|s(z)<ν+△)-P _ε,Ω|Γ(ε(Γ(z))=0,ω=匹配|s(z)<ν-△) (10)

注意，可為考慮的是：步級400係宣告二個實例為一匹配，當s(z)>0， 即：P _,Ω|Γ(ω=匹配|s(z)>0)=1。因此，針對於ν>0，式(10)係可表示為： 式(11)係代表真正率，當ν [△,1-△]且s(z)[ν-△,ν+△]。

同理，針對於ν -△而宣告二個實例為不匹配之一步級400的信賴函數係可表示為： 式(12)係代表真負率，當ν [-1+△,-△]且s(z)[ν-△,ν+△]。因此，若步級400針對於任何觀測輸出值s(z)=ν為正確之機率(如於式(11)與(12)所定義)係高，則步級400係視為信賴於其答案。針對於信賴之此自我評估，一機率測量係自訓練實例所估計且信賴函數Ψ(Γ(z))係推斷。若信賴函數Ψ(Γ(z))係小於其針對於s(z)的一既定輸出值之一臨界信賴臨限ψ _c，則步級400係視為針對於該輸出值而不同或令人困惑。不同分類係轉送至下一個步級400。因此，信賴函數Ψ(Γ(z))係可運用於訓練期間以識別其對於一匹配分類器218為困惑之物件。若構成階段500之判別函數係對於貝氏(Bayes)最佳決策邊界之良好的近似，則決策步級值s(z)係將為單調相關於信賴函數Ψ(Γ(z))。針對於初始步級400，物件分類器係可能未充分近似貝氏決策邊界。因此，針對於一既定步級400之決策步級值s(z)與信賴函數Ψ(Γ(z))係可能非恆為單調相關。

信賴函數Ψ(Γ(z))係可運用以確定針對於不同步級400之接受臨限τ _a 與拒絕臨限τ _r 。相對於其他串級分類器架構，若針對於匹配之信賴函數 Ψ(Γ(z))係隨著決策步級值s(z)而單調遞增，接受臨限τ _a 係可選取，俾使真正限制係符合。若信賴函數Ψ(Γ(z))係未隨著決策步級值s(z)而單調遞增，則接受臨限τ _a 係可維持為飽和於1，即：並無實例係於對應步級400而接受作為匹配。單調性之欠缺係指出的是：於匹配區域，決策邊界係未充分適當反映貝氏最佳分類器。同理，拒絕臨限τ _r 係選取，若不匹配信賴係單調相關於決策步級值s(z)。實際上，不匹配類別係相較於匹配類別而可更密集聚集於特徵空間。因此，儘管一單調關係為可能不存在於初期的步級之匹配類別，極可能存在於初期的步級之不匹配類別。對應於匹配分類器218之匹配信賴度係關聯於其接受或拒絕一匹配之步級400所產生的決策步級值s(z)之分類信賴。

追蹤

追蹤係可認為於各個視訊框或影像以找出一物件、且建立於其跨於諸框的移動物件之間的對應關係。追蹤係可實行於單一個影像捕捉裝置102之內或跨於多個影像捕捉裝置102。概括而言，物件追蹤模組206係可運用於諸框間的物件運動以作為追蹤之線索，而且亦仰賴於匹配分類器218以追蹤。運用匹配分類器218以追蹤係可致能準確的追蹤，即使當一些閉塞係存在、運動係有些不穩定、且相當多個交叉的物件係存在於一影像捕捉裝置102之視野。

圖10係由物件追蹤模組206所運用以追蹤物件之一種系統1000的方塊圖。物件追蹤模組206係包括一運動模型化模組1002，其為可操作以估計一物件於一影像捕捉裝置102之視野的相繼影像或訊框之間的位置變化。運動模型化模組1002係可基於其先前估計的軌跡與速度而預測一物件於一 新訊框的位置與尺寸。運動模型化模組1002係可運用以根據對應於其為追蹤之一特定物件的其可能性或機率而排列於一目前訊框之物件的觀測。物件追蹤模組206係可產生其已經偵測於先前訊框之一列表的追蹤物件或目標。舉例而言，該列表的追蹤物件係可包括十個物件，目前的訊框係可包括五個偵測物件，且該五個偵測物件之一排序(例如：一至五且一者為最高排序)係可基於匹配機率資訊而針對於該十個追蹤物件之各者所產生。物件追蹤模組206係可產生針對於其追蹤的各個物件之一識別編號或另一個型式的識別符號。運動模型化模組1002係可運用一種卡爾曼(Kalman)濾波器以預測一物件之位置與速度。

在運動模型化模組1002為根據對應於追蹤物件之其可能性而排列目前訊框的物件之後，物件追蹤模組206係可請求匹配分類器218以確定該目前訊框之一物件是否對應於一追蹤物件。針對於一既定的追蹤物件，物件追蹤模組206係可請求匹配分類器218以首先確定該目前訊框之最高排序的物件是否匹配該追蹤物件。甚者，物件追蹤模組206係可運用匹配機率資訊以確定針對於追蹤物件之一順序。舉例而言，若運動模型化模組1002係確定於一第一追蹤物件與其最高排序物件之間的一匹配機率為高於一第二追蹤物件與其最高排序物件之間的一匹配機率，則物件追蹤模組206係可請求該匹配分類器218以在企圖匹配第二追蹤物件與其最高排序物件之前而企圖匹配第一追蹤物件與其最高排序物件。雖然運動模型化模組1002係已描述為運用在匹配分類器218之前，運動模型化模組1002係可運用在匹配分類器218之前或之後。概括而言，運動模型化模組1002係可運用為連同於匹配分類器218。運動模型化模組1002係可運用以助於確定由匹配分類 器218所宣告之一匹配或不匹配的信賴。舉例而言，匹配分類器218係可宣告二個物件為一匹配，但是運動模型化模組1002係可確定該二個物件於視野中為分開太遠而未對應於相同物件。於該情形，運動模型化模組1002係可運用以提高該接受臨限τ _α 。關聯於匹配分類器218之匹配信賴度係可接著關聯於由運動模型化模組1002所作成的確定而分析以宣告一匹配或不匹配。

圖11係可為由物件追蹤模組206所運用之一種追蹤方法1100的流程圖。一第一物件係捕捉於一第一影像且偵測(步驟1102)。第一物件之一第一簽章係產生(步驟1104)。第一簽章係可包括上述的特徵之一或多者。第一物件係可納入於追蹤物件之列表。一第二物件係捕捉於一第二影像且偵測(步驟1106)。物件追蹤模組206係可運用運動模型化模組1002以基於第一物件的估計軌跡與速度而評等其對應於第一物件之第二物件的可能性(步驟1108)。第二物件之一第二簽章係產生(步驟1110)。第二簽章係可包括上述的特徵之一或多者。步驟1110係無須為發生在步驟1108之後(即：第二簽章係可在運動模型化模組1002為運用之前而產生)。第一與第二簽章係如上所述而組合(步驟1112)。舉例而言，不同的特徵(例如：直方圖)係組合。組合的特徵係傳送至匹配分類器218，且匹配分類器218係確定第一與第二簽章是否為匹配(步驟1114)。匹配分類器218係宣告一匹配或一不匹配、連同一匹配信賴度。若匹配分類器218係確定第一與第二簽章為匹配，第一簽章係如下所述而更新且其他元資料係可產生，諸如而不限於：運動資訊(例如：速度、軌跡)、對應於第一物件為偵測於其中的訊框數目之資訊、物件的位置與尺寸(例如：環繞該物件之一定界框的尺寸)、物件的型式(例如： 由暫時物件分類模組208所確定之分類標記)、一分類信賴度、與一匹配信賴度。

如上所述，匹配分類器218係可運用物件簽章以確定物件是否為匹配(即：物件是否為彼此的實例)。不同的簽章係可針對於各個物件而產生。舉例而言，一單框簽章與一累積簽章係可為由匹配分類器218所運用於追蹤期間。一單框簽章(例如：一瞬間簽章)係可代表於一特定視訊框之一物件的外觀(即：物件之單一個影像)。一單框簽章係可包括其基於對應框所計算之上述的特徵(例如：直方圖)之一或多者。一單框簽章係可針對於一物件之每個實例而產生。於前個段落所述的第二簽章係可為一單框簽章。一累積簽章係可為一序列的單框簽章之一加權平均。一累積簽章係可代表其為追蹤之一物件(例如：於追蹤物件之列表的一物件)的外觀。針對於一追蹤物件為運用一累積簽章而非為一單框簽章係可對於雜訊為更強健，因為一累積簽章係平均於多個框。於前個段落所述的第一簽章係可為一累積簽章。

一累積簽章係每當一追蹤物件為由匹配分類器218所匹配至一新的實例而可更新。舉例而言，累積簽章係隨著一物件之新影像為捕捉而即時更新。甚者，各個單框簽章之作用係可對應於時間而降低(例如：指數式降低)。因此，最為新近的單框簽章係可對於一累積簽章為作用最多。一累積簽章係可數學式代表如下：c _物件 =ρc _物件 +(1-ρ)i _觀測 (13)其中，c _物件 係代表累積簽章，i _觀測 係代表其對應於一物件之一實例的單框簽章，且ρ係一折扣因數，其中，0<ρ<1。當一物件係首先偵測時，累積簽章係可為等於單框簽章，且然後為可對應於式(13)以針對於後續的偵測。

一第三型式的簽章(即：一平均簽章)亦可針對於一物件而產生。如同一累積簽章，一物件之一平均簽章係包括自該物件之單框簽章的作用。然而，不同於累積簽章，作用於平均簽章之單框簽章係非為不同加權。換言之，自單框簽章的作用係未根據時間而降低。因此，一平均簽章係可代表一組的單框簽章之總和除以該組的單框簽章之數目。下式係一物件之一平均簽章a _物件 的一數學式代表： 其中，物件係已經追蹤為針對於n個框，且k_i係代表針對於第i個框之單框簽章。平均簽章係可隨著新的單框簽章為產生而即時更新。

物件之種類或類別係亦可於追蹤期間為納入考量。於多個應用，物件之特定的種類或類別(例如：人類、載具、動物)係追蹤。物件種類化模組216係可操作以種類化於各框之一物件而作為有關類別之一者或作為“未知”。物件種類化模組216係可操作以運用物件類別資訊與其他資訊以產生追蹤物件為匹配於一目前框的物件之一順序。舉例而言，追蹤物件之“重要性”係可對應於追蹤物件為分類作為除了“未知”以外者之框數目。因此，對應於移動的樹葉、水、相機雜訊、與類似者之具有雜訊的觀測係可能具有低的重要性，因為具有雜訊的觀測係可能通常分類為“未知”。物件種類化模組216係可能企圖最後匹配具有雜訊的觀測，其可降低錯誤匹配一“未知”觀測至一有關物件(諸如：人類或載具)之機率。物件種類化模組216係當大量的物件為捕捉於一目前框且充分資源為可能不可利用以追蹤所有的物件而可為有用。於該種情形，追蹤物件之“重要性”係可運用 以確定用於追蹤之一順序，其中，最重要的物件係首先追蹤。

圖12係一種方法1200的混合方塊圖與流程圖，方法1200係運用類別資訊與涉及於該方法之模組以追蹤物件。物件係偵測於一目前訊框，且物件分類模組210係分類該目前訊框之物件而作為物件類別(例如：人類、載具)之一者的一成員或作為“未知”。代表分類物件1202之資料係供應至運動模型化模組902。代表一列表的追蹤物件之資料係亦供應自物件種類化模組216至運動模型化模組902。追蹤物件係其已經觀測於最近的訊框之物件。物件種類化模組216係識別各個追蹤物件之“重要性”，基於暫時物件分類模組208為於其指出該追蹤物件被分類作為有關類別的一成員之訊框數目。舉例而言，使用者係可指定的是：人類及/或載具係有關的類別。因此，一追蹤物件為於其由物件分類模組210所分類作為人類或載具之訊框係愈多，追蹤物件之“重要性”係愈大。物件種類化模組216係可根據重要性而排序該列表的追蹤物件。自物件種類化模組216所供應至運動模型化模組902之資料係指出該等追蹤物件之各者的重要性，且亦包括針對於該等追蹤物件之各者的運動資訊(例如：位置、軌跡、速度)。

運動模型化模組902係接收其代表該列表的追蹤物件之資料與其代表分類物件1202之資料。運動模型化模組902係開始自該列表之最重要的追蹤物件(例如：一第一個追蹤物件)且基於對應於第一個追蹤物件之其可能性以評等該等分類物件1202。可能匹配之簽章係組合於第一個追蹤物件之簽章，且組合的簽章係傳送至匹配分類器218以確定一分類物件1202是否為匹配第一個追蹤物件。若一分類物件1202為匹配第一個追蹤物件，第一個追蹤物件之運動資訊(例如：位置、軌跡、速度)與外觀資訊(例如：累積簽 章)係更新(步驟1204)。此外，當一分類物件1202為匹配第一個追蹤物件，該分類物件之類別係傳送至暫時物件分類模組208，使得第一個追蹤物件之“重要性”係可為更新。若無任何分類物件1202為匹配第一個追蹤物件，資訊係產生以指出一不匹配。指出一不匹配之資訊係可傳送至暫時物件分類模組208且第一個追蹤物件之“重要性”係可為更新。

若一追蹤物件係未匹配於一預定時間量(例如：該物件係可能已經離開場景)，該列表的追蹤物件係可藉由移除該追蹤物件而更新(步驟1206)。當一追蹤物件為移除自該列表，物件的資訊(例如：識別編號、簽章、類別)係可傳送至元資料資料庫112以供儲存。此外，若一分類物件1202係未匹配該等追蹤物件之任一者，分類物件1202係可添加至該列表的追蹤物件(步驟1206)。

相機系統100係亦可操作以實行相機間的追蹤、或於多個影像捕捉裝置102之間的追蹤。圖13A與13B係分別為由一發送相機與一接收相機所運用之相機間的追蹤方法1300與1301之混合方塊圖與流程圖。一第一影像捕捉裝置102(例如：發送相機)係偵測於其視野之一物件，且追蹤該物件於若干個訊框。追蹤物件1302係可令其簽章為路由至其他的影像捕捉裝置102(例如：接收相機)(步驟1304)。其為路由之簽章係可為追蹤物件1302之一平均簽章。該簽章係可傳送至相機系統100之所有的影像捕捉裝置102、或是根據一路由表1306而傳送至某些影像捕捉裝置102。路由表1306係可包括其對應於一物件為已經出現或是在該物件出現於發送相機視野之後或當時的某時間期間內而將出現於接收相機視野之機率的資訊。路由資訊係產生於當發送相機為傳送簽章至接收相機、及當接收相機回報其為指示匹配及/ 或不匹配的匹配通知資訊1308至發送相機之時間期間。舉例而言，位在遠離發送相機之一接收相機係可能很少(難得)報告一匹配，因為由發送相機所追蹤之一物件係可能於一預定時間期間內而未為由接收相機所捕捉(例如：物件係無法移動足夠快速於發送相機的視野與接收相機的視野之間)。因此，機率資訊係可為運用以選擇性傳送簽章至某些相機，藉以未使其他相機為負擔匹配任務，當該等其他相機為於一預定時間期間內而捕捉物件之機率係低。

匹配通知資訊1308係由其運用匹配通知資訊1308以更新該等路由表的機率之一匹配通知回應器1310所接收。舉例而言，若一接收相機係報告一匹配，匹配通知回應器1310係可提高於對應於該接收相機之路由表的機率。匹配通知資訊1308係亦可包括其對應於由一接收相機所匹配的物件之簽章資訊。匹配通知回應器係當一接收相機為偵測一匹配而可更新該物件之簽章，且儲存所更新的簽章於元資料資料庫112。識別其匹配物件之接收相機的資訊係亦可儲存於元資料資料庫112。

如於圖13B所示，自該發送相機所傳送至一第二影像捕捉裝置102(例如：接收相機)之一物件簽章係儲存於接收相機之一匹配資料庫1312。匹配資料庫1312係可為該儲存系統110之部分者。物件之簽章係組合於其為由接收相機所追蹤的物件之一或多個現用簽章。所追蹤的物件之現用簽章係可為平均簽章且可為儲存於接收相機之元資料資料庫112。組合的簽章係傳送至接收相機之匹配分類器218，且匹配分類器218係企圖以匹配該等簽章於一預定數目的訊框(步驟1314)。若匹配分類器218係確定該傳送簽章為於預定數目的訊框而未匹配現用簽章之一者，傳送簽章係移除自該匹配資料 庫1312(步驟1316)。接收相機之路由表係更新(例如：對應於發送相機之一匹配的機率係減小)，且接收相機係對發送相機通知該不匹配(步驟1318)。若匹配分類器218係確定該傳送簽章為匹配現用簽章之一者，對應的現用簽章係可為更新(例如：該傳送簽章係與現用簽章為平均)且為儲存於接收相機之元資料資料庫112，且/或該傳送簽章係可儲存於接收相機之元資料資料庫112而作為針對於該物件之一新的簽章(步驟1320)。接收相機之路由表係接著為更新(例如：對應於發送相機之一匹配的機率係增大)，且接收相機係對發送相機通知該匹配(步驟1318)。

相機間的追蹤係可運用於自動相機校準。舉例而言，若於多個影像捕捉裝置102各者的視野之一物件的位置係已知，且若該物件的近似尺寸係已知，則於影像捕捉裝置102之間的距離與其相對方位係可計算。在校準以後，由多個影像捕捉裝置102所同時追蹤之一物件的位置係可確定於三維(3-D,three-dimensional)“世界”座標。因此，系統係可不僅是於二維影像平面而是亦為於3-D以分析物件之運動。

藉由實施該物件追蹤模組206與匹配分類器218，物件追蹤係可顯著改良為優於習知的追蹤系統。甚者，由物件追蹤模組206所產生的資料係可供應至物件偵測模組204與物件分類模組210以改良物件偵測與物件分類。此外，物件係可即時為準確追蹤。

索引

物件之簽章係作用為針對於物件為捕捉於其中之影像或視訊剪輯的索引元素。當物件係選擇時，索引元素係可致能該等物件之視訊剪輯的擷取。簽章係可儲存於元資料資料庫112。簽章係相較於其關聯於物件的影像或視 訊剪輯而為小型。甚者，簽章係可致能基於物件的搜尋。一旦一簽章係針對於一物件而產生，追蹤與搜尋方法係可能無關於該物件之視訊影像。因此，視訊資訊係無須為解壓縮以實行搜尋，且搜尋方法係可能對於解壓縮的人工因素及/或不良的視訊品質為有彈性。

各個物件係可具有關聯於其之超過一個簽章。舉例而言，一物件係可具有多個單框簽章與其包含該等單框簽章之累積及平均簽章。一物件之平均簽章係可為有用以作用為針對於該物件之一索引元素。

然而，計算於一物件為追蹤於其的整個期間之單一個平均簽章係可能為不適用以致能基於物件的搜尋，因為一物件之外觀係可能為多重模態或可能隨時間而變化(例如：物件的一前視圖對一側視圖、照明變化、物件之不同部分的視圖)。因此，物件索引模組212係可操作以確定何時產生針對於一物件之一新平均簽章。甚者，物件索引模組212係可操作以請求匹配分類器218以確定一物件的外觀是否已經改變足夠，俾使一新平均簽章係應為針對於該物件而產生。

圖14係方塊圖，顯示該匹配分類器218可為如何運用於索引。當一物件之一新的單框簽章1402係產生自一物件之一新實例且該新實例係藉由匹配分類器218所匹配於一追蹤物件，追蹤物件的累積簽章1404係關於單框簽章1402而更新。在累積簽章1404係更新之後，累積簽章1404係組合於追蹤物件的平均簽章1406。組合簽章1408係供應至匹配分類器218。若匹配分類器218係確定該累積簽章1404與平均簽章1406為匹配，平均簽章係關於單框簽章1402而更新(方塊1410)。若匹配分類器218係確定該累積簽章1404與平均簽章1406為不匹配，一新的平均簽章係運用單框簽章1402 而產生(方塊1412)。新的平均簽章係可儲存於元資料資料庫112而作為針對於物件之一第二索引元素。若該追蹤物件係具有多個平均簽章，累積簽章1404係可相較於該多個平均簽章之各者，且一新的平均簽章係當累積簽章1404為不匹配該多個平均簽章之任一者而可產生。如上所述，運用以追蹤物件之相同匹配分類器218係可運用以偵測於一物件的外觀之顯著的變化，且因此一新的索引元素係可藉由運用該匹配分類器218而產生。

搜尋

儲存於元資料資料庫112之簽章或索引元素係可利於針對於一特定物件以快速搜尋物件之一大資料庫，因為自視訊影像之實際的像素資訊係無須為重新處理。物件搜尋模組214係可運用其用於追蹤及索引之相同匹配分類器218以搜尋一特定物件。匹配分類器218係連同物件之簽章以致能於歷史的視訊與即時的視訊饋入之基於物件的搜尋。

圖15係一種搜尋方法1500的繪圖，僅為舉例而言，搜尋方法1500係可由相機系統100所實行；方法1500係可操作於任何適合的相機系統。影像捕捉裝置102之一者係捕捉一參考物件之一影像，且該參考物件之影像係提出於使用者介面104之顯示器114。舉例而言，參考物件係可藉由提出其環繞該參考物件之影像的外框而針對於使用者為強調。使用者係可運用輸入裝置116以選擇該參考物件。舉例而言，輸入裝置116係可包括一滑鼠，且使用者係可運用滑鼠以點選於參考物件之影像的一指標。因此，參考物件之影像係可視為一超標記(hyper-tag)(有些類似於一HTML頁面之一超連結)。當使用者係選擇參考物件，選擇係映射至其捕捉參考物件影像之影像捕捉裝置102的物件追蹤模組206所產生之參考物件的識別編號(步驟 1502)。參考物件的識別編號係由物件搜尋模組214所運用以自元資料資料庫112而擷取參考物件的簽章(步驟1504)。擷取的簽章係可為參考物件的平均簽章，且若參考物件係具有多個平均簽章，該多個平均簽章係可為擷取。

除了平均簽章之外，參考物件之一或多個快速簽章係可擷取自元資料資料庫112。一快速簽章係可為其計算自一平均簽章之一簡單的外觀描述符。快速簽章係可藉由降低於一直方圖之分格的數目以拋棄於平均簽章所含有的一些特徵、或是藉由計算於該等特徵之統計量(例如：最大或熵統計量)而計算。快速簽章係可運用以快速降低儲存的簽章之搜尋空間，藉由移除其最可能為不匹配第一物件之候選物件。除了快速簽章之外，其他的準則係可為由物件搜尋模組214所用以快速刪除明顯的不匹配。舉例而言，物件搜尋模組214係可運用參考物件的類別以排除候選物件。甚者，物件搜尋模組214係可為基於時間以排除候選物件(例如：排除其為在一預定時間框之前所偵測的候選物件)及/或基於關聯於參考物件之一或多個規則違反以排除候選物件(例如：排除其未觸發類似規則違反的候選物件)。

第一個物件之快速簽章係透過相機網路108而傳送至其他的影像捕捉裝置102。其他影像捕捉裝置102之元資料資料庫112係搜尋其匹配參考物件的快速簽章之候選物件的快速簽章。其他影像捕捉裝置102之物件搜尋模組214係比較參考物件的快速簽章與候選物件的快速簽章，藉由計算於該等簽章之間的一距離度量。該距離度量係可接著相較於一預定臨限。該臨限係可設定以俾使偽負率(例如：拋棄匹配的比率)為低，而偽正率(例如：接受不匹配的比率)係可能為高。若物件搜尋模組214係確定該等候選物件的一或多個快速簽章為匹配參考物件的快速簽章，物件搜尋模組214係擷 取該等對應的候選物件之平均簽章。

候選物件之平均簽章係傳送至其捕捉參考物件的影像之影像捕捉裝置102或傳送至遠端儲存/處理單元106(步驟1510)。影像捕捉裝置102之匹配分類器218或遠端儲存/處理單元106之匹配分類器218係運用以比較參考物件的平均簽章與候選物件的平均簽章(步驟1512)。匹配分類器218係比較該等平均簽章以拋棄不匹配及評等匹配，基於關聯於該等匹配的匹配信賴度。一旦該等匹配係評等，包括評等的匹配之代表的一列表係可提出於顯示器114(步驟1514)。此外，對應於該等匹配之候選物件的視訊影像係透過相機網路108而擷取自儲存系統110之一或多者、或自遠端儲存/處理單元106。使用者係可為自該列表以選擇一候選物件之一代表，且所選擇的候選物件之視訊影像係可提出於顯示器114。

捕捉該參考物件的影像之影像捕捉裝置102的元資料資料庫112係亦可搜尋以識別潛在的匹配之簽章，類似於上述的方法1500。舉例而言，影像捕捉裝置102之物件搜尋模組214係可先搜尋快速簽章且接著請求匹配分類器218以比較該參考物件的平均簽章與潛在匹配的平均簽章。甚者，雖然方法1500係包括藉著位在其捕捉參考物件的影像之影像捕捉裝置102或遠端儲存/處理單元106的匹配分類器218之匹配，關聯於任何其他的影像捕捉裝置102之一匹配分類器218係可運用。換言之，匹配係可實行在一或多個影像捕捉裝置102或在遠端儲存/處理單元106。

匹配分類器218與物件搜尋模組214係致能其可稱為“點選及搜尋(click and search)”之一形式的搜尋。一使用者係可藉由檢視自種種的影像捕捉裝置102之歷史視訊。若一特定物件係似乎為令人關注，使用者係可搜 尋其看似該特定物件之所有的物件。甚者，看來相似的物件之視訊剪輯係可針對於使用者而播放。搜尋係可實行於相機系統100之所有影像捕捉裝置102或於任何使用者指定的子集。因為視訊係無須為再次處理以實行一搜尋，搜尋係可快速實行。

匹配分類器218與物件搜尋模組214亦致能其可稱為“點選及追蹤(click and track)”之一形式的搜尋。除了實行關於歷史視訊的搜尋之外，搜尋係可針對於其才剛出現於一現場視訊饋入之一物件的實例而實行。很類似於相機內的追蹤，使用者介面104係要求(響應於一使用者選擇)的是：捕捉一有關物件之影像捕捉裝置102係傳送該物件之簽章於網路108之影像捕捉裝置102。若一匹配係找到，使用者介面104係通知且有關物件之影像係提出於顯示器114。

當檢視其擷取自一物件搜尋的視訊資料，使用者係可驗證一匹配為有效或無效。針對於其為由一使用者所驗證之每個匹配，於元資料資料庫112之一連結係可產生，且對應的簽章係可更新。針對於無效的匹配，簽章係可指定為對於匹配之排除者，對照於該物件的簽章。使用者驗證資料係可儲存於元資料資料庫且稍後擷取以重新訓練匹配分類器218，而造成搜尋與相機間的追蹤結果以及相機內的追蹤結果之更進一步的改良。此外，使用者驗證係可運用以協調搜尋結果。

應用

上述系統及方法係可運用以產生一些應用。此等應用之一些實例係提出於以下段落。

相較於其僅當由一種規則引擎所建立的一規則為已經違反時而產生追 蹤資訊之已知系統，相機系統100係無論規則是否為違反而產生豐富的追蹤元資料。此係致能後置搜尋、或搜尋其在一規則為違反之前所捕捉的視訊影像。甚者，因為元資料係產生為其包括物件外觀特徵，一物件係可辨識為新產生的物件類別之一成員，即使該物件之一影像係在新物件類別之產生前而捕捉。

已知的追蹤系統係具有關於喪失物件之追蹤的問題。舉例而言，若某人係走在公園長凳的後方，該人的腿部係可能為看不見。一種已知的追蹤系統係可能將該人視作為太矮而非為人。結果，該人係可作追蹤而直到該人係走在公園長凳的後方。因為相機系統100係可運用諸多不同的外觀特徵，相機系統100係可避免在當物件仍為於視野內而喪失物件之追蹤。甚者，相較於已知系統，匹配分類器218係可使得追蹤為更可適應於環境變化，且可改良於不同相機型式(且概括為各個相機)的偵測。

因為匹配分類器218係可訓練，物件之新的特徵係可選擇以改良偵測與追蹤準確度。匹配分類器218係可於前置部署訓練階段而學習其為最重要的特徵，且亦可在現場學習以改良追蹤準確度。

藉由建立於視訊串流與偵測物件之間的語意(semantic)連結，一視訊歷史係可針對於特定物件而產生。舉例而言，藉由選擇人類物件，使用者係可自動召集視訊剪輯(clip)，其顯示該人士已經為由其他相機所先前偵測之處。使用者係可接著通知所考慮的人士之同伴，且可選擇彼等同伴且觀看其視訊歷史。因為對應於物件的外觀簽章之元資料係於資料庫為連結其對應於所偵測的位置之視訊資料，影像其本身係可運用作為用於搜尋資料庫之一可選擇的連結。

當一物件係由一個影像捕捉裝置102所捕捉，已述的系統及方法係亦可運用以通知且佔用所有其他的影像捕捉裝置102，使得其可自動開始搜尋相同物件且若其為偵測而產生一警示。舉例而言，個別人士係可透過由具有相鄰的重疊視野之許多台相機所監視的一賭場而注視，藉由僅是點選於一影像且指導系統以於所有相機而追蹤影像。一旦該人士之一外觀簽章係偵測，系統係自動指引自對應相機之現場視訊資料至一監視器，其允許保全人員於視覺追蹤該人士。隨著該人士係移動至下個相機之視野，視訊饋送係自動切換，使得保全人員係不必要來回切換於相機之間以繼續追蹤該人士的路徑。

相機系統100係可自動辨識其離開一停妥的車輛之行人，且可稍後將其相較於進入車輛之人士。若進入車輛之人係非為來自其抵達於該車輛之原始的群組，保全人員係可被警示。視訊剪輯係隨著該警示而自動送出，使得容易檢視且快速確定是否有問題。保全警衛係可接著為選擇以告知該車主(若該車輛為由牌照號碼所登記)或召喚警察。

藉著追蹤物件之能力，詐騙行為係可藉由注視個別的購物者通過零售商店之路徑而偵測。藉著此能力，已揭示的系統係可教導以證實其存在於商店之購物者為帶著商品已經停留一結帳櫃台且在離開商店前為已經購買該商品。該系統係亦可確定於一退貨櫃台之顧客是否為直接來自其車輛，或其是否為先通過商店、選擇自該商店的產品、且即使其已經購買該等產品而企圖將其退貨。退貨櫃台服務人員係可為顯示其進入商店與其通過商店的路徑之顧客的一剪輯而作為證實。

當結合於物件匹配，臉部辨識與載具牌照辨識系統之性能係可改良。 物件匹配係可藉由整體外觀與移動而提供良好的追蹤能力，且可追蹤於任何方位的人士，而不僅是當其為對準以面對相機。

相機系統100係亦可構成以自動辨識異常活動，藉由在數日或數週之期間而監視車輛與行人的型態。關於潛在恐怖份子活動之高風險的設施係可得益自此特徵。若相機系統100係反覆辨識其停放一段延長的時間週期之一載具而無人在該載具，可疑活動之一警示係可產生以召集保全人員以檢視該視訊資料。替代而言，結合一臉部辨識系統之物件匹配係可辨識其反覆行走在一設施的附近之個體。該種行動係可捕捉其事先察看一設施之罪犯。於另一個實例，若穿著制服的雇員係定期視察特定的供膳室或存貨室，舉例而言，相機系統100係可辨識此型態。稍後，若未穿著該種制服之某人係進入此等室之一者，相機系統100係可響應以一自動警示。

相機系統100係可運用以測量於例如一收銀機有多少人正在排隊且產生其對應於一規則引擎之一規則的警示。此外，相機系統100係可運用以測量每個人已經排隊多久，因為該系統100係可追蹤各個個體。若一人係已經排隊太久，該規則引擎之一規則係可能為違反且一警示係可產生以召請協助(例如：一警示以開放一新的收銀機的排隊)。甚者，統計資料係可針對於管理者而產生，以助於測量顧客服務性能。

相機系統100係可運用以助於防止在例如零售商店之兒童誘拐。相機系統100係可辨識當其進入一商店之兒童與其伴隨該兒童之成人。相機系統100係亦可辨識該兒童在走過商店時而保持靠近之成人。若該兒童係離開商店而無該成人伴隨兒童，一警示係可產生。相機系統100係亦可識別該成人的位置，使得他/她係可被通知。

相機系統100係可運用以找到在零售商店之走失的兒童。舉例而言，若一家長係遺失其兒童且通知一保全警衛，保全警衛係可找出該家長的一影像，點選於該影像以搜尋於其他的視訊影像且識別當該家長為帶著兒童而進入商店之一影像。保全警衛係可接著為點選於該兒童之一影像且搜尋其最近捕捉該兒童之一影像的影像捕捉裝置102。此係快速找到於商店之兒童的位置。

相機系統100係可運用以防止其稱為“甜心詐騙”之一問題，其發生在當一結帳人員為故意刷過一廉價物品之條碼而表現為好像其正在刷過一較昂貴物品之條碼。相機系統100係可連接至一收銀機之銷售點(POS,point-of-sale)資料輸出且可比較產品之外觀與條碼資訊。經過一段時間週期，相機系統100係可自動產生針對於不同產品的外觀簽章於元資料資料庫112。在相機系統100已經達到針對於產品辨識之某程度的準確度之後，即：相機系統100係可確定其本身，則可在每當條碼資訊為未匹配所掃描的影像而自動開始產生警示。

相機系統100係可基於對於一關鍵事件為偵測於其的片段之其相似性而自動標記用於較高優先者之視訊。舉例而言，若一膝上型電腦係自一工作區域所偷走，相機系統100係可為能夠由歷史視訊而自動辨識該膝上型電腦且可辨識當該膝上型電腦為遺失時之最接近於其之人士。相機系統100係可接著自動指定該可疑人士之所有視訊影像為較高優先者以供保全人員之儲存、保留、擷取、與檢視。

結論

上文運用的術語與描述係僅為作為舉例所陳述而無意為限制。熟悉此 技術人士係將認知的是：本文所述的概念之諸多的變化、增強及修改係可能而未脫離本發明之基本原理。本發明之範疇係應因此為僅由隨附申請專利範圍與其等效者所確定。

100‧‧‧相機系統

102‧‧‧影像捕捉裝置

104‧‧‧使用者介面

106‧‧‧遠端儲存/處理單元

108‧‧‧網路

110‧‧‧內部儲存系統

111‧‧‧硬碟機(HD)

112‧‧‧元資料資料庫(DB)

114‧‧‧顯示器

116‧‧‧輸入裝置

Claims (22)

1. 一種追蹤物件之方法，該物件係由一相機系統所捕捉，該方法係包含：接收由該相機系統所獲取而代表第一與第二影像的影像資料；偵測捕捉於第一影像之一第一物件與捕捉於第二影像之一第二物件；產生第一物件之一第一簽章與第二物件之一第二簽章，第一簽章係代表第一物件之一第一組的特徵，且第二簽章係代表第二物件之一第二組的特徵；產生自第一與第二簽章所導出的資料；及使用一匹配分類器來分析該資料，該匹配分類器包含聚集特徵分類空間的一組匹配與不匹配參數，且該匹配分類器包含多個決策步級，該等多個決策步級被實施以確定第二物件是否為第一物件之一實例，該等多個決策步級中的每一個決策步級係由參照於該組匹配與不匹配參數而分析的該匹配分類器所實施，用以產生決策結果，該等決策結果包含接受第一與第二影像為匹配或拒絕第一與第二影像為匹配。
2. 如申請專利範圍第1項之方法，更包含：確定第二物件為第一物件之一實例。
3. 如申請專利範圍第1項之方法，進一步包含即時產生第二簽章。
4. 如申請專利範圍第1項之方法，進一步包含結合部分的第一簽章與第二簽章以產生該資料。
5. 如申請專利範圍第1項之方法，其中，該匹配分類器包括組態於一串級組態之N個決策步級，該N個決策步級之各者包括用於分析該資料之部分的一或多個階段。
6. 如申請專利範圍第1項之方法，其中，第一簽章係一累積簽章，其代表自第一物件之多個影像所導出的單框簽章之一加權平均，且該方法係更包含：一旦確定第二物件為第一物件之一實例，藉由將第二簽章包含於累積簽章中而更新第一物件之第一簽章。
7. 如申請專利範圍第1項之方法，其中，該相機系統係包括彼此為連接於一網路之第一與第二影像捕捉裝置，該方法進一步包括：由第一影像捕捉裝置捕捉第一物件之第一影像；以及由第二影像捕捉裝置捕捉第二物件之第二影像。
8. 如申請專利範圍第7項之方法，其中，第一影像捕捉裝置包括用於分析該資料之該匹配分類器，該方法更包含：自第一影像捕捉裝置而傳送第一簽章至第二影像捕捉裝置。
9. 如申請專利範圍第7項之方法，其中，遠離第一與第二影像捕捉裝置之一處理器係包括用於分析該資料之該匹配分類器，該方法係更包含：分別自第一與第二影像捕捉裝置而傳送第一與第二簽章至該處理器。
10. 如申請專利範圍第1項之方法，其中，該資料係對應於自第一組所選擇之一第一子集的特徵及自第二組所選擇之一第二子集的特徵，且其中，一訓練方法係自動確定被選擇以納入於第一與第二子集之第一與第二組的特徵。
11. 如申請專利範圍第1項之方法，進一步包含搜尋一組之前所偵測到的物件的簽章，以識別第二物件是否出現於該組物件的影像中。
12. 一種追蹤物件之方法，該物件係由一相機系統所捕捉，該方法係包含： 接收由該相機系統所獲取而代表第一與第二影像的影像資料；偵測捕捉於第一影像之一第一物件與捕捉於第二影像之一第二物件；產生第一物件之一第一簽章與第二物件之一第二簽章，第一簽章係代表第一物件之一第一組的特徵，且第二簽章係代表第二物件之一第二組的特徵；產生自第一與第二簽章所導出的資料，該資料係對應於自第一組所選擇之一第一子集的特徵及自第二組所選擇之一第二子集的特徵，第一子集的特徵係具有其包含第一物件之一第一邊緣方位直方圖的外觀特徵，且第二子集的特徵係具有其包含第二物件之一第二邊緣方位直方圖的外觀特徵；及使用一匹配分類器來分析該資料，該匹配分類器包含組態於一串級組態之N個決策步級，該N個決策步級被實施以確定第二物件是否為第一物件之一實例，該N個決策步級之各者係包括用於分析該資料之部分的一或多個階段。
13. 如申請專利範圍第12項之方法，進一步包含映射自第一與第二邊緣方位直方圖所導出之該資料的一部分至其代表一相似性之度量的一純量值。
14. 一種找到物件之方法，該物件係由一相機系統所捕捉，該方法係包含：接收由該相機系統所獲取而代表第一與第二影像的影像資料；偵測捕捉於第一影像之一第一物件與捕捉於第二影像之一第二物件；產生第一物件之一第一簽章與第二物件之一第二簽章，第一簽章係代 表第一物件之一第一組的特徵，且第二簽章係代表第二物件之一第二組的特徵；在一顯示器上顯示第二物件之第二影像；接受其指示選擇第二物件之第二簽章的使用者輸入；參照於聚集一匹配分類器之特徵分類空間的一組匹配與不匹配參數來分析第二簽章是否匹配第一簽章，以確定第二物件是否為第一物件之一實例；產生指示第一簽章與第二簽章之間為匹配之通知，以指示第一物件與第二物件之間為匹配；及送出該通知，以致能回應於指示匹配之動作。
15. 如申請專利範圍第14項之方法，進一步包含搜尋一組之前所偵測到的物件的簽章，以識別第二物件是否匹配之前所偵測到的物件的其中一個物件。
16. 如申請專利範圍第15項之方法，其中，該組之前所偵測到的物件係已經由多個相機所偵測，且該搜尋包含搜尋由該等多個相機所偵測到的該組之前所偵測到的物件之簽章。
17. 如申請專利範圍第15項之方法，進一步包含使用一選擇標準來過濾其為該組之前所偵測到的物件之成員且匹配第二物件的第二簽章之物件。
18. 一種偵測由一相機系統所關注的物件之方法，該方法係包含：接收由該相機系統所獲取而代表第一與第二影像的影像資料；偵測捕捉於第一影像之一第一物件與捕捉於第二影像之一第二物件；產生第一物件之一第一簽章與第二物件之一第二簽章，第一簽章係代 表第一物件之一第一組的特徵，且第二簽章係代表第二物件之一第二組的特徵；在一顯示器上顯示第一物件之第一影像；接受其指示選擇第一物件的使用者輸入；參照於聚集一匹配分類器之特徵分類空間的一組匹配與不匹配參數來分析第二簽章是否匹配第一簽章，以確定第二物件是否為第一物件之一實例；產生指示第一簽章與第二簽章之間為匹配之通知，以指示第一物件與第二物件之間為匹配；及送出該通知，以致能回應於指示匹配之動作。
19. 如申請專利範圍第18項之方法，進一步包含根據相機系統中所建立的規則來監控由相機系統所捕捉的影像，以關注匹配第一簽章之簽章所識別的物件。
20. 如申請專利範圍第18項之方法，其中，所建立的規則造成相機系統關注由多個相機所獲取之影像中所捕捉而關注的物件。
21. 如申請專利範圍第19項之方法，其中，該規則指明用於確定物件何時被認為是所關注的物件之標準。
22. 如申請專利範圍第18項之方法，其中，該選擇第一物件包含選擇第一物件的第一簽章。