TWI502553B - 透過要素產生稽核視訊分析之方法、電腦系統及電腦程式產品 - Google Patents

Description

透過要素產生稽核視訊分析之方法、電腦系統及電腦程式產品

本發明係關於視訊分析，且更特定言之，係關於稽核視訊分析資料以區分錯誤。

本申請案主張先前於2010年5月13日在美國專利商標局由共同發明人Quanfu Fan、Zuoxuan Lu、Sachiko Miyazawa及Sharathchandra U. Pankanti申請之題為「AUDITING VIDEO ANALYTICS」之臨時專利申請案第61/334,256號(確認編號8023)的權利。

視訊分析包含多種技術，其使用電腦及其他可程式化器件及相關聯之系統來分析視訊輸入以獲悉一視訊輸入內之特定資料、行為、物件等。視訊分析可實施於在一電腦或器件內(包括在視訊攝影機、記錄器件或專用視訊處理單元中之嵌入式可程式化器件平台上)之處理器上執行之軟體應用程式中。視訊分析在評估視訊之內容以判定關於視訊內人物之動作及移動的資訊的方面可為有用的。

在一實施例中，一種用於透過檢閱視覺影像之選擇性子集而稽核視訊分析資料的方法包括經由一可程式化器件自一視覺影像串流產生影像之一視覺要素子集，該視覺要素子集係根據該等視覺要素子集影像中之每一者與一觸發警報事件之間的時間關係而產生。該視覺要素子集包括與該觸發警報事件同時期之一影像，及在該同時期影像之前或之後出現的一或多個其他影像。該所產生之視覺要素經呈現以供檢閱以判定該觸發警報事件為一真警報或是一假警報，或者判定是否需要來自該視覺影像串流之額外資料來作出此判定。若自所呈現之該視覺要素判定需要該額外資料來作出該真或假之判定，則自該視覺影像串流呈現額外資料以供檢閱。

在另一實施例中，一種電腦系統包括一處理單元、電腦可讀記憶體及一電腦可讀儲存系統。該電腦可讀儲存系統上之程式指令使該處理單元經由一可程式化器件自一視覺影像串流產生影像之一視覺要素子集，該視覺要素子集係根據該等視覺要素子集影像中之每一者與一觸發警報事件之間的時間關係而產生。該視覺要素子集包括與該觸發警報事件同時期之一影像，及在該同時期影像之前或之後出現的一或多個其他影像。該所產生之視覺要素經呈現以供檢閱以判定該觸發警報事件為一真警報或是一假警報，或者判定是否需要來自該視覺影像串流之額外資料來作出此判定。若自所呈現之該視覺要素判定需要該額外資料來作出該真或假之判定，則自該視覺影像串流呈現額外資料以供檢閱。

在另一實施例中，一種電腦程式產品包括程式指令，該等程式指令用以經由一可程式化器件自一視覺影像串流產生影像之一視覺要素子集，該視覺要素子集係根據該等視覺要素子集影像中之每一者與一觸發警報事件之間的時間關係而產生。該視覺要素子集包括與該觸發警報事件同時期之一影像，及在該同時期影像之前或之後出現的一或多個其他影像。該所產生之視覺要素經呈現以供檢閱以判定該觸發警報事件為一真警報或是一假警報，或者判定是否需要來自該視覺影像串流之額外資料來作出此判定。若自所呈現之該視覺要素判定需要該額外資料來作出該真或假之判定，則自該視覺影像串流呈現額外資料以供檢閱。

在另一實施例中，一種服務提供透過檢閱視覺影像之選擇性子集而稽核視訊分析資料。該服務包括提供一電腦基礎結構，該電腦基礎結構自一視覺影像串流產生影像之一視覺要素子集，該視覺要素子集係根據該等視覺要素子集影像中之每一者與一觸發警報事件之間的時間關係而產生。該視覺要素子集包括與該觸發警報事件同時期之一影像，及在該同時期影像之前或之後出現的一或多個其他影像。該電腦基礎結構呈現該所產生之視覺要素以供檢閱以判定該觸發警報事件為一真警報或是一假警報，或者判定是否需要來自該視覺影像串流之額外資料來作出此判定。若自所呈現之該視覺要素判定需要該額外資料來作出該真或假之判定，則自該視覺影像串流呈現額外資料以供檢閱。

自下文結合隨附圖式對本發明之各種態樣之詳細描述，將更易於理解本發明之此等特徵及其他特徵。

該等圖式未必係按比例描繪。該等圖式僅僅為示意性表示，其不意欲描繪本發明之特定參數。該等圖式意欲僅描繪本發明之典型實施例，且因此不應被視為限制本發明之範疇。在該等圖式中，相同編號表示相同元件。

如熟習此項技術者所將瞭解，本發明之態樣可體現為一系統、方法或電腦程式產品。相應地，本發明之態樣可採用完全硬體實施例、完全軟體實施例(包括韌體、常駐軟體、微碼等)或組合軟體與硬體態樣之實施例的形式，該等實施例在本文中皆可通稱為「電路」、「模組」或「系統」。此外，本發明之態樣可採用以一或多個電腦可讀媒體體現之電腦程式產品的形式，該一或多個電腦可讀媒體上體現有電腦可讀程式碼。

可利用一或多個電腦可讀媒體之任何組合。電腦可讀媒體可為電腦可讀信號媒體或電腦可讀儲存媒體。舉例而言，電腦可讀儲存媒體可為(但不限於)電子、磁性、光學、電磁、紅外線或半導體系統、裝置或器件，或前述系統、裝置或器件的任何合適組合。電腦可讀儲存媒體之較具體實例(非詳盡清單)將包括以下各者：具有一或多個導線之電連接件、攜帶型電腦磁片、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、光纖、攜帶型光碟唯讀記憶體(CD-ROM)、光學儲存器件、磁性儲存器件，或前述各者之任何合適組合。在此文件之上下文中，電腦可讀儲存媒體可為可含有或儲存供指令執行系統、裝置或器件使用或結合指令執行系統、裝置或器件而使用之程式的任何有形媒體。

電腦可讀信號媒體可包括其中體現有電腦可讀程式碼(例如，在基頻中或作為載波之部分)之經傳播之資料信號。此經傳播之信號可採用多種形式中之任一者，包括(但不限於)電磁、光學或其任何合適組合。電腦可讀信號媒體可為並非電腦可讀儲存媒體且可傳達、傳播或傳輸供指令執行系統、裝置或器件使用或結合指令執行系統、裝置或器件使用之程式的任何電腦可讀媒體。

可使用任何適當媒體來傳輸體現於電腦可讀媒體上之程式碼，該任何適當媒體包括(但不限於)無線、有線線路、光纖纜線、RF等，或前述各者之任何合適組合。

可以一或多種程式設計語言之任何組合來撰寫用於執行本發明之態樣之操作的電腦程式碼，該一或多種程式設計語言包括諸如Java、Smalltalk、C++或其類似者之物件導向式程式設計語言及諸如「C」程式設計語言或類似程式設計語言之習知程序性程式設計語言。程式碼可完全在使用者電腦上執行，部分地在使用者電腦上執行，作為獨立套裝軟體執行，部分地在使用者電腦上執行且部分地在遠端電腦上執行，或完全在遠端電腦或伺服器上執行。在後一種情形中，遠端電腦可經由任何類型之網路(包括區域網路(LAN)或廣域網路(WAN))連接至使用者電腦，或可(例如，使用網際網路服務提供者，經由網際網路)連接至外部電腦。

下文參看根據本發明之實施例的方法、裝置(系統)及電腦程式產品之流程圖說明及/或方塊圖來描述本發明之態樣。將理解，可由電腦程式指令來實施流程圖說明及/或方塊圖之每一區塊及該等流程圖說明及/或方塊圖中之區塊的組合。可將此等電腦程式指令提供至通用電腦、專用電腦或其他可程式化資料處理裝置之處理器以產生一機器，從而使得經由該電腦或其他可程式化資料處理裝置之處理器執行之指令建立用於實施該或該等流程圖及/或方塊圖區塊中所指定之功能/動作之構件。

此等電腦程式指令亦可儲存於一電腦可讀媒體中，其可引導電腦、其他可程式化資料處理裝置或其他器件以特定方式起作用，使得儲存於該電腦可讀媒體中之指令產生一製品，該製品包括實施該或該等流程圖及/或方塊圖區塊中所指定之功能/動作的指令。

該等電腦程式指令亦可載入至電腦、其他可程式化資料處理裝置或其他器件上以使一系列操作步驟在該電腦、其他可程式化裝置或其他器件上執行以產生一電腦實施程序，從而使得在該電腦或其他可程式化裝置上執行之指令提供用於實施該或該等流程圖及/或方塊圖區塊中所指定之功能/動作的程序。

視訊分析為用以評估視訊影像之內容以自該視訊影像來判定指定資訊之方法、程序及系統。該資訊可易於自一影像或圖像而獲得，例如，檢閱到一影像內之在一道路段上之許多車輛可指示交通擁塞。亦可考慮多個影像(可能來自多個相機)來判定指定資訊，例如，考慮來自多個時間點或來自多個相機饋給(feed)之影像可使得能夠判定交通流之速度或預測歸因於同一道路上之繁忙交通流而引起的減速。可觀察變化之天氣型態(預測未來天氣)，以及動物之移動及遷移。舉例而言，透過比較影像中之元件與早先影像中之相同元件，亦可觀察或偵測諸如結構變化及故障之物理現象(例如，結構部件中之裂縫、彎曲及下垂、生銹、油漆翹皮或剝落、腐蝕、表面磨損及開裂、河床變化、淤泥積聚等)。因此，透過視訊分析來分析影像內容，可由此辨識或判定關於自然現象、物件、植物群及動物群之動作及移動的各種指定資訊。

視訊分析應用程式在判定視訊影像之各方面之意義或含義的方面可進一步為有用的，例如，判定由一視訊輸入反映之動作或不動作之動機、含意或意義，以藉此在一方面關於預期或指定行為而判定或預測一視訊內之人員之動作所展示或暗示的內容。因此，視訊分析可用以(例如)藉由分析服裝(制服與非制服)、當日時間(在營業時間期間與在營業時間之後)、進入方式(是否與先前經由一入場門之移動相關)而判定一給定區域中所出現之人員是否正擅自進入，或其存在是否經授權。因此，視訊分析在寬廣範圍之應用中係有用的，且一些說明性而非詳盡實例包括所有權保護、安全及保全環境。

然而，併有自動化視訊分析系統之先前技術系統之效力受到限制。在自假警報裁定並剖析真正感興趣之事件的過程中，通常需要人類稽核來應用人類分析及判斷力，其需要人類檢閱由自動化視訊分析系統使用之視訊饋給以觸發警報，且因此此等系統及方法仍需要至人類稽核員之視訊資料串流，從而產生大的頻寬及/或記憶體儲存要求以將即時視訊串流資料及/或存檔視訊串流資料提供至一稽核員。由於自動化視訊分析系統通常產生大量假警報，因此可能仍需要大量視訊串流，從而減小經由對原始視訊串流之人類分析而達成之頻寬、儲存量及時間的節省。

此外，遍歷自動化視訊分析系統之結果而艱難地處理可為極其勞動密集之過程。人類稽核實施之問題及成本亦可隨所利用之相機或視訊饋給之數目而成比例地升高，而效率隨著相機或視訊饋給之大數目而遞減。若正稽核之資料係經由網路系統而存取(例如，透過瀏覽應用程式而遠端地存取)，則稽核系統亦可能遭受到受限網路頻寬。

現參看圖1，說明根據本發明之用於對視訊分析資料進行人類稽核之方法或系統的一實施例。至少一資料感測器110將視訊資料(其可包括視訊、音訊、文字等)提供至一資料存檔管理器112及一視訊分析組件114。雖然視訊分析組件114之功能可由人類稽核員透過即時檢閱視訊饋給或其他資料而執行，但本發明之實施例可針對該視訊分析組件114使用自動化視訊分析系統來賦能自動化警報產生，其可實現藉由對視訊或影像饋給進行簡單人類檢閱所不可能實現的資料輸送率(例如，自視訊影像中之感興趣區(ROI)中之一些運動來區分並偵測其他運動，或區分在特定時間臨限值之內及之外與其他交易資料串流項目之關聯性，如下文更充分地論述)。

視訊分析組件114分析視訊資料輸入並判定該視訊資料中之一或多個警報的存在或出現，且在118處輸出警報資料及相關聯之後設資料。該等警報中之每一者之視覺要素116係選自該視訊資料以提供最小但足夠之資訊給人類稽核員，以使該人類稽核員快速地檢閱並立即作出關於該警報之真假判定，(若可能)藉此相對於檢閱較大之原始視訊及資料串流而言在時間及資料大小方面以一更有效之方式及呈現手段來濾除假警報。該視覺要素以如下方式構成並顯示於一結果顯示器120處：使得可快速地檢閱該視覺要素且相對於檢閱一較大視訊饋給而言更快地快速判定警報之準確性。藉由減小必須考慮之視訊及其他資料的量以便作出關於由原始視訊串流表示之事件出現的判定，有限人類稽核員資源之產能可由此得以最大化。

更特定言之，圖2說明根據本發明之用於根據視覺要素資料來稽核視訊資訊之系統或方法。在202處自視覺分析警報結果(例如，如自圖1之視訊分析器件114產生)提供所關心之事件之一警報。回應於202處之警報，在204處建立一視覺要素以用於藉由自視訊串流資料提取影像之一子集且視情況併有文字及其他非視覺資料而與該警報相關聯。可自視訊攝影機或其他資料源(例如，條碼掃描器、十字轉門(turnstile)等)或自儲存於一或多個儲存器件中之視訊及非視訊資料(例如，自圖1之資料存檔管理器112)且根據如由視訊分析提供或指示的該警報之環境而即時地直接提取該視訊及其他資料。該子集之靜態影像及可選文字資料或非視覺資料提供根據影像內容及系統環境而自動地選擇之資訊的摘要，相對於較大之視訊及非視覺資源資料而言該資訊集合經壓縮，且其經產生為與該警報相關聯之一視覺要素。該資訊可自多個資源(多個相機、交易日誌、識別資料及日誌等)導出。

因此，在206處將該視覺要素呈現給與該警報相關聯之人類稽核員，以在208處使人類分析員能夠檢閱並分析所呈現之視覺要素資訊以立即作出關於該警報之真假判定，(若可能)藉此相對於檢閱較大之原始視訊及資料串流而言在時間及資料大小方面以一更有效之方式及呈現手段來濾除假警報。一般而言，人類可比電腦視訊分析系統更快速地剖析出錯誤及誤測。雖然人類智慧較佳，但其通常較昂貴且在大量視訊資料方面效率較低；本發明利用視覺要素來使人類稽核員相比於先前技術之人類及電腦化稽核系統而言更為有效且成本更低。若由該視覺要素傳達之資訊為足夠的且不需要其他資訊或資料，則在212處快速地檢選該警報為假警報。若替代地該分析為非決定性的或另外需要更多資訊(如210處所指示)，則稽核員可請求更多資料(例如，請求額外之資料或串流視訊)且在214處瀏覽額外視訊。

視覺要素包含來自較大之原始資料源(亦即，視訊串流)及視情況之其他相關聯資料的單一影像、影像集合或緊密串流子集(且視情況併有文字及其他非視覺資料)。視覺要素相對於一視訊饋給或其部分而言可具有小得多的資料大小(例如，具有文字之一個、兩個或三個影像相比於一時間段上的更多影像之串流)，從而減小頻寬、記憶體及其他系統資源需求。結果顯示器120之實例包括顯示於電腦桌面中之瀏覽器視窗、在蜂巢式電話及其他行動器件上顯示影像之聊天應用程式及文字傳訊應用程式，以及對於熟習此項技術者將顯而易見之額外實施。

視覺要素116各自包含在時間上與觸發該視覺要素之建立的警報事件同時期的至少一影像(亦即，在同一時間出現或在時間上緊鄰)，及在該同時期之影像之前或之後出現的至少一其他影像。接著在120處之結果瀏覽器或其他呈現器件中將該等視覺要素116提供至一分析員，以用於進行稽核來作出關於該警報之有效性的判定，例如，判定與所產生之視覺要素相關聯之警報為一假警報或是對指定或相關聯之事件出現的真實指示。

可自資料存檔管理器112擷取資料以用於在116處產生視覺要素，且稽核員亦可在120處與資料存檔管理器112通信以按需擷取額外資料。在本實例中，透過一顯示器件120將視覺要素提供至人類分析員，而在其他實施例中，可單獨由應用一或多個演算法之自動化視訊分析系統來執行120處之稽核，或結合一人類稽核員來執行該稽核。

該視覺要素係根據警報標的物背景而選擇，以使一稽核員快速地分析並識別源視訊資料內之資訊，以便在來自視訊資料之有限取樣的所關注(警報)之指定事件、動作、行為等方面有效地理解所選視訊資料之域中所發生之事，從而(例如)藉由檢閱僅一單一影像或一小影像集合而非檢閱較大影像集合之大得多(在資料大小及顯示時間兩者上)的原始視訊饋給來判定一警報為假或真。藉由首先提取一警報之視覺要素來改良對視訊分析資料進行之人類稽核之效力，該視覺要素提供該警報之整合有代表性影像及其他可用提示的簡短摘要。該視覺要素允許稽核員快速地(例如，在短時間內)判定是否需要進一步調查而不觀察任何源視訊或其他非要素視訊資料：稽核員僅需在必要時探究一存檔系統以獲取更多證據。

由於在212處僅自視覺要素即可作出一「假」判定，因此可實現優於先前技術系統(其需要瀏覽視訊串流或進行一些其他額外資料擷取及檢閱)之檢閱時間及資源之節省。相對於如先前技術中所需之檢閱較大源視訊或多媒體串流輸入而言，本發明使得稽核員能夠在較短時間量內剪除大部分假警報，且在一視訊調查程序中將與視訊分析結果相關聯之視覺要素提供至一分析員，該視訊調查程序相對於先前技術之稽核程序而言可縮短，而又不失分析準確性。

本發明之實施例提供用於智慧地管理計算資源及頻寬資源以維持視訊分析之一可接受效能位準的架構。因此，可提供一架構以用於在視覺上對一分析系統之結果進行摘要，其中一視覺摘要要素描繪於一或多個影像及文字(在一些實例中，為附注影像及文字)中。基於對視覺摘要或要素影像之分析檢查，可請求更多詳細資訊以用於在120處進行進一步調查，例如自資料存檔管理器112擷取源視訊之較大選擇集。視覺摘要要素影像亦可提前串流。

視覺要素通常為緊密的及/或壓縮的，使得其相比於視訊資料而言需要較小頻寬來用於一稽核系統中之視覺化；僅需要將圖框或有限視訊選擇集傳輸至稽核員以供檢閱，而並非如先前技術中通常所需之大得多的或整個視訊饋給。較小之視覺要素(例如，離散資料檔案)亦可較易於下載至並儲存於本端機器中以獲得相比於較大視訊饋給之較快系統回應。另外，由於分析員僅需要關於一事件之觀察摘要，因此剪除操作較快且其輸送率可較高。相比於透過經由機器智慧濾除進行的稽核而獲得之結果，人類稽核員所犯之錯誤通常更少，且因此在真實事件可能很少出現之應用中(諸如，在零售欺詐偵測或遭遺棄行李警報中)，人類稽核員可提供較佳之效率，且對於熟習此項技術者而言其他實例仍將顯而易見。

本發明之實施例可用於視覺事件可與離散之時間有序交易相關聯的各種應用中。舉例而言，視覺事件可關於特定區域中之人類移動而建立，且匹配至十字轉門准入、經偵測與一中轉點有關之車輛、來自自動門鎖之微章或磁卡(card swipe)、票亭等等，其指示擅自進入、盜竊、對限制區域之未授權進入等等。方法可集中於與人類活動相關聯之各種資料輸出，例如商業交易日誌、零售收據、受傷報告等，且本發明並不僅限於本文中所提供之彼等實例。

本發明之實例可經實施以快速地區分欺詐性零售「私下達成(sweet-hearting)」事件與「長掃描(long-scanning)」及與透過檢閱一零售區域或其他掃描區域而觸發之警報相關聯的其他非欺詐性事件。舉例而言，圖3為在一零售環境(例如，具有一掃描線)中一出納員相對於可能之移動向量152、154之複數個可能移動及動作162之上部透視狀態圖。(應理解，如本文中使用之「出納員」為用以表示掃描一物品之人員的通用術語，且實施例預期該掃描人員可為一店員或出納員，以及消費者、裝袋工、管理者或其他人員。)在一簡單掃描運動路徑向量152中，自一拾取區域156拾取一物品，在一掃描區域160中藉由將該物品傳遞至一掃描器之掃描範圍內而進行掃描，且接著將該物品放入一裝袋區域或投放區域(drop area)164中。拾取區域156之實例包括傳入帶(intake belt)、櫃檯、購物籃及購物車，且置放區域164可為分配帶、櫃檯、購物籃或購物車中之一或多者，其中每一者可導致不同運動。該等向量154各自表示與出納員之其他動作162有關且在一視訊饋給中可觀察之觀察運動，其說明性地包括卸載物品，及獲取並掃描會員卡、主管/助理更動卡(override card)(SA)、優惠券或其他條碼卡。

零售縮減(retail shrink)之一重要部分可能歸因於雇員，且在銷售點(POS)處之出納員周圍出現。私下達成或「虛假掃描」描述以下動作：出納員故意掃描失敗或以其他方式將一物品鍵入至一零售交易中以便為一購買物品之消費者免費地提供商品，其通常藉由掩蓋物品之條碼、將一物品堆疊於另一物品之頂部上以擋住掃描器使其無法讀取條碼，或在一掃描運動期間在掃描區域周圍傳遞該物品以使免費物品之條碼故意避開掃描區域中之條碼讀取器而將物品自一輸入(拾取)位置移動通過處理(掃描)區域並進入輸出(投放或裝袋)區域。

雖然視訊分析、條碼交易檢閱及其他技術可偵測可能之私下達成活動，且產生關於進一步分析並檢閱一零售掃描區域之視訊饋給的警報，但此等警報常常無法區分長掃描事件。長掃描事件展現在一物件之給定零售交易中拾取、掃描及/或投放事件之間的長時間空白，且其中一另外之正當掃描事件可能引起關於遺漏或虛假掃描或無法俘獲掃描資訊之其他系統故障的錯誤報告，而掃描出納員並無惡意。舉例而言，運動向量152、154相對於向量152、154中之其他向量而言可能需要不同運動，且其亦可具有不同時間記號(例如，相對於傳入帶拾取或投放而言，伸進購物車拾取或投放可花費較長時間)。自拾取區域156之物品移動可出於正當目的而在進入置放區域164之前繞過掃描區域160，例如在條碼遺失或損壞之情況下結合直接鍵入物品代碼而置於一旁或在稱量一按重量出售之物品時置於一旁。個別掃描之視訊饋給亦可由於不同出納員或環境特性而不同，例如，照明可歸因於當日時間而改變(日光對晚上之人工照明)，且個別出納員之年齡或身體尺寸或能力可影響手臂運動之範圍、所選定之運動路徑或相對於其他出納員而言完成類似路徑之時間，且此等屬性中之任一者可能引起可錯誤地報告為私下達成之長掃描。舉例而言，在一些先前技術系統中，若一時間空白比預期或預先界定之時間間隔(例如，兩秒、五秒、一分鐘，或來自一涵蓋該等值之範圍的另一值，等等)長，則掃描系統可能錯誤地記錄一物品掃描，或甚至無法記錄該交易或所掃描之物品，且由此可能在假定出納員故意地避免掃描一物品的情況下發出一虛假掃描/私下達成警報，而事實上出納員可能正適當地執行且並未出現任何虛假掃描。

因此，在根據本發明之用於在圖3之零售環境中實施之一方法或系統的一實例中，利用自掃描器區域160以日誌資料方式報告之交易條碼事件來產生視覺要素資料，該視覺要素資料包含來自一原始視訊串流或較大靜態影像集合之離散影像，且係根據與條碼事件之時間對準而產生，以用於透過視訊分析進行分析來產生警報(例如，圖2之202處)。在一實施例中，視覺要素包含視訊之三個靜態影像子集圖框之集合：(1)拾取圖框{P}，其展示在一所記錄之條碼事件{b}之前(例如，一秒前)的一預定時間量處之拾取區域156，其預期展示一零售店員自拾取區域156拾取一物品；(2)掃描動作圖框{S}，其展示在所記錄之條碼事件{b}之時間處的掃描區域160，其預期展示該店員將所拾取之物品移動越過掃描區域160中之一掃描器；及(3)存放或投放圖框{D}，其在所記錄之條碼事件{b}之後(例如，一秒後)的一預定時間量處自結賬或消費者交貨區域164獲取，其預期展示該店員將物品存放在消費者交貨區域164中。條碼交易應經產生或以其他方式與以此時間上連續之次序出現之該等三個基本視覺事件中的每一者相關聯：首先拾取一物品，接著掃描所拾取之物品，且最後放下所拾取並經掃描之物品。因此，每一條碼掃描{b}應對應於此等三個不同影像基元類型{PSD}中之每一者之一集合。

該視覺要素亦可經呈現有由掃描器登記於所記錄之條碼事件中的物品之一文字識別符，例如「一袋1磅之胡蘿蔔，條碼#xyz」。因此，人類稽核員可比較該等三個視覺要素影像與該文字識別符，且快速地判定一關於欺詐性動作之警報為假(例如，該等影像中之每一者如所預期地展示一袋一磅之胡蘿蔔)，或是替代地該事件可能為真(例如，該等影像中之一或多者替代地展示一瓶紅酒)，而不需要如先前技術中將需要地檢閱大得多的原始視訊選擇集。若需要，稽核員可視情況自資料存放庫112請求更多資料(例如，具有相同事件之更多影像的所儲存視訊串流，或與店員或物品有關之歷史視訊或資料等等)以用於額外之真/假判定。

本發明之實施例亦可提供在公共運輸安全應用中之改良效率。因此，來自資料感測器之資料串流可為來自一或多個相機之視訊串流，其中視訊分析報告關於可能之遭遺棄包裹的警報，例如，透過應用一遭遺棄行李偵測演算法至該等視訊串流而產生疑似遭遺棄包裹之一清單。例示性演算法由美國賓夕法尼亞州匹茲堡市之卡耐基梅隆大學的Guillaume Milcent及Yang Cai在2005年12月9日於CMU-CyLab-05-008所提出之「Location Based Baggage Detection for Transit Vehicles」教示，且熟習此項技術者將知曉適用於本發明之其他實例。視覺要素資料116可包含疑似遭遺棄包裹之單一影像；若該警報由一固定人員產生而並非一遭遺棄包裹(例如，某人在乘客終端座位中睡覺且藉此在比預期更長之時間框內保持固定，從而使一自動化系統將該人員誤當成一大型行李物品)，則檢閱該單一影像視覺要素之人類稽核員將快速地判定此並非一包裹且該警報為假，在此情況下一自動化系統可能需要耗費顯著之計算資源來區分人員與物件，或先前技術之稽核員將需要檢閱大得多的視訊饋給選擇集以作出相同之假警報判定。在另一實例中，快速地比較一疑似包裹之單一影像與在觸發一警報之疑似遺棄辨識之前及之後拍下的另一影像，連同文字資訊(其指示關於該包裹已被遺留在任何附近人員之明顯控制之外所持續之時間的時間框)，其可使得能夠快速判定該警報為假，因為該影像揭露與該包裹相關聯之人員雖然並不緊鄰該包裹但仍接近該包裹。照明變化亦可能引起關於物件存在之誤會。舉例而言，陰影可能引起物件偵測，但對一視覺要素之快速檢閱可判定該陰影並非一物件，該判定對於一電腦而言可為極困難的。

在另一態樣中，良好之事件偵測或撤去率(例如，90%之事件由警報標記並撤去)可能需要大量誤測來透過繪製結果之敏感度對特異性而產生一有意義之接收者操作特性(ROC)曲線。降低返回之誤測在先前技術可提供效率，但其亦將損害撤去，(例如)從而捕捉僅50%之真實事件。為了在大型事件串流內捕捉相對少量之真實事件，必須自假事件產生顯著量之警報。本發明能夠處理高位準之假事件，其藉由經由對視覺要素資料進行快速人類檢閱而賦能對假事件之迅速檢選，且藉此賦能高撤去率，其中真實事件頻率可為低的。

由電腦及其他可程式化器件執行之自動化視訊分析系統及方法可對原始視訊及其他資料饋給執行分析，以產生供用於視覺要素建立及關聯中之警報，且一些系統及方法亦可使用此等程序來識別並選擇或產生用於視覺要素基元中及/或用以制訂要素分群之影像。舉例而言，可藉由應用電腦視覺與圖案辨識(CVPR)演算法至一視訊饋給輸入來產生警報，諸如藉由由美國紐約霍桑(Hawthorne)之IBM T.J.華森研究中心(Watson Research Center)之Quanfu Fan等人於CVPR 2009提出的「Recognition of Repetitive Sequential Human Activity」教示之演算法；或者藉由由美國紐約霍桑之IBM T.J.華森研究中心之Lei Ding等人於ICASSP 2010提出的「GRAPH BASED EVENT DETECTION FROM REALISTIC VIDEOS USING WEAK FEATURE CORRESPONDENCE」教示之演算法；且對於熟習此項技術者而言用於本發明之其他適當實例將為顯而易見的。

可透過分析來自給定區域之影像內所偵測到之活動而產生視覺要素影像，在一些實施例中，獨立於與所記錄之事件或其他資料串流的任何時間關係。舉例而言，可在影像內之實體空間內界定相異之感興趣區(ROI)以用於建立並分析視訊影像，且可針對每一圖框在每一ROI中計數藉由對一視訊串流進行圖框差分化(或區別化)而獲得之運動像素，且依該ROI之區域進行正規化。舉例而言，再次參看圖3，拾取區域156、掃描區域160及投放區域164可經界定以用於大體上回應於與每一區內一物品及/或出納員之一隻手(或兩隻手)之移動相關聯的運動像素而根據在該等區域內之運動序列中觀察到之圖案來建立各別拾取{P}、掃描{S}及投放{D}視覺影像基元。每一區域156/160/164自身可界定一ROI，其中針對每一圖框在每一ROI中計數藉由對一視訊串流進行圖框差分化而獲得之運動像素，且依各別ROI 156/160/164之區域進行正規化。或者，任一區156/160/164可涵蓋多個相異ROI(且有時為重疊的)以提供額外之細微度(granularity)或基元建立能力。用於區分在ROI內之所得運動序列中觀察到之運動型樣(motion pattern)的一適用於實踐本發明之實例由Quanfu Fan等人於ICCASSP 2009提出之「Detecting Sweethearting in Retail Surveillance Videos」教示。

現參看圖4，本發明之一實施例之一例示性電腦化實施包括與視訊或靜態影像器件336(例如，視訊攝影機或視訊伺服器)通信之電腦或其他可程式化器件322，其根據本發明(例如)回應於駐留於一記憶體316或一儲存系統332中之一檔案中的電腦可讀程式碼318而透過一電腦網路基礎結構326產生視覺要素資料以用於判定人類行為。該實施意欲證明本發明可實施於一網路環境(例如，網際網路、廣域網路(WAN)、區域網路(LAN)或虛擬私有網路(VPN)等)中。貫穿網路326之通信可經由各種類型之通信鏈路之任何組合而發生：例如，通信鏈路可包含可利用有線及/或無線傳輸方法之任何組合的可定址連接。

在通信經由網際網路而發生的情況下，可藉由習知的基於TCP/IP通訊端之協定來提供連接性，且可使用網際網路服務提供者來建立至網際網路之連接性。又，網路基礎結構326意欲證明本發明之實施例之應用可由服務提供者部署、管理、提供服務等，該服務提供者為他人實施、部署及/或執行本發明之功能。

電腦322包含各種組件，其中一些組件說明於電腦322內。更特定地，如所展示，電腦322包括一處理單元(CPU)338，該CPU 338與記憶體316通信且與一或多個外部I/O器件/資源328及儲存系統332通信。一般而言，處理單元338可執行電腦程式碼，諸如用以實施諸圖中所說明之程序步驟中之一或多者的程式碼，該電腦程式碼可儲存於記憶體316及/或外部儲存系統332或器件328中。

網路基礎結構326僅說明用於實施本發明之電腦基礎結構之各種類型。舉例而言，在一實施例中，電腦基礎結構326包含經由一網路進行通信之兩個或兩個以上計算器件(例如，伺服器叢集)。此外，電腦322僅代表可包括硬體之眾多組合的各種可能電腦系統。就此程度而言，在其他實施例中，電腦322可包含具有用於執行特定功能之硬體及/或電腦程式碼之任何專用計算製品、具有專用及通用硬體/軟體之組合的任何計算製品或其類似者。在每一狀況下，可分別使用標準程式設計及工程技術來建立程式碼及硬體。

此外，處理單元338可包含單一處理單元，或分散跨越(例如)用戶端及伺服器上之一或多個位置中之一或多個處理單元。類似地，記憶體316及/或儲存系統332可包含駐留於一或多個實體位置處之各種類型之資料儲存及/或傳輸媒體之任何組合。另外，I/O介面324可包含用於與外部器件328中之一或多者交換資訊的任何系統。另外，應理解，一或多個額外組件(例如，系統軟體、數學協處理單元等)(未圖示)可包括於電腦322中。

一實施例在訂用、廣告及/或付費之基礎上執行本發明之程序步驟。亦即，服務提供者可提供對視訊資料之自動化分析以用於判定人類行為。在此狀況下，服務提供者可為一或多個消費者建立、維護及支援等一電腦基礎結構(諸如，執行本發明之程序步驟的網路電腦基礎結構326)。作為回報，該服務提供者可依據訂用及/或費用協議自消費者接收付款，及/或該服務提供者可自向一或多個第三方進行之廣告內容之銷售接收付款。

在又一實施例中，本發明提供一種電腦實施方法，其用於執行上文所描述之用於對視訊資料進行自動化分析以判定人類行為之程序、系統及物品中的一或多者。在此狀況下，可提供諸如電腦基礎結構326之電腦基礎結構，且可獲得(例如，建立、購買、使用、修改，等等)用於執行本發明之程序步驟的一或多個系統且將其部署至該電腦基礎結構。就此而言，一系統之部署可包含以下各者中之一或多者：(1)在一計算器件(諸如，電腦/器件322/336)上安裝來自一電腦可讀媒體之程式碼；(2)將一或多個計算器件添加至該電腦基礎結構；及(3)併入及/或修改該電腦基礎結構之一或多個現有系統以使該電腦基礎結構執行本發明之程序步驟。

本文中所使用之術語僅為了描述特定實施例，且並不意欲限制本發明。如本文中所使用，單數形式「一」及「該」意欲亦包括複數形式，除非上下文另外清楚地指示。應進一步理解，術語「包含」在用於本說明書中時指定所陳述之特徵、整數、步驟、操作、元件及/或組件之存在，但不排除一或多個其他特徵、整數、步驟、操作、元件、組件及/或其群組之存在或添加。如本文中所使用，應理解術語「程式碼」及「電腦程式碼」為同義的且意謂意欲使具有資訊處理能力之計算器件直接或在以下兩者中之任一者或兩者之後執行一特定功能的指令集的任何表達(呈任何語言、程式碼或記法形式)：(a)轉換成另一語言、程式碼或記法；及/或(b)以一不同材料形式再現。就此而言，程式碼可實施為以下各項中之一或多者：應用/軟體程式、組件軟體/函式庫、作業系統、用於特定計算及/或I/O器件之基礎I/O系統/驅動程式及其類似者。

本說明書(包括申請專利範圍)中所描述且如諸圖中所說明之特定實例及元件可經區分或另外由唯一形容詞來彼此識別(例如，「第一」元件區別於複數個元件中之另一「第二」或「第三」元件，「主要」元件區別於「次要」元件或「另一」項目，等等)。此等識別形容詞通常用以減少混淆或不確定性，且不應被解釋為將申請專利範圍限於任何特定所說明元件或實施例，或暗示任何請求項元件、限制或程序步驟之任何優先順序、排序或排列。

以下申請專利範圍中之所有構件或步驟附加功能元件之相應結構、材料、動作及等效物意欲包括用於結合如具體主張之其他所主張元件而執行功能的任何結構、材料或動作。已出於說明及描述目的呈現本發明之描述，但該描述並不意欲為詳盡的或將本發明限於所揭示之形式。在不背離本發明之範疇及精神的情況下，一般熟習此項技術者將顯而易見許多修改及變化。選擇並描述實施例以便最佳地解釋本發明之原理及實務應用，且使其他一般熟習此項技術者能夠針對具有適合於所涵蓋之特定用途的各種修改之各種實施例來理解本發明。

110．．．資料感測器

112．．．資料存檔管理器/資料存放庫

114．．．視訊分析組件

116．．．視覺要素資料

118．．．警報/後設資料

120．．．結果顯示器

152．．．移動向量/掃描運動路徑向量

154．．．移動向量/運動向量

156．．．拾取區域

160．．．掃描區域

162．．．動作

164．．．裝袋區域/投放區域/置放區域/消費者交貨區域

316．．．記憶體

318．．．電腦可讀程式碼

322．．．電腦

324．．．I/O介面

326．．．電腦基礎結構

328．．．外部I/O器件/資源

332．．．儲存系統

336．．．視訊或靜態影像器件

338．．．處理單元(CPU)

圖1為根據本發明之用於對視訊分析資料進行人類稽核之系統之一實施例的圖解說明。

圖2為根據本發明之一系統之圖解流程圖說明。

圖3為根據本發明之適合於透過視覺要素加以分析之實體位置的上部透視狀態圖。

圖4為本發明之一實施例之電腦化實施的圖解說明。

110．．．資料感測器

112．．．資料存檔管理器/資料存放庫

114．．．視訊分析組件

116．．．視覺要素資料

118．．．警報/後設資料

120．．．結果顯示器

Claims (16)

1. 一種用於透過檢閱視訊圖框影像之選擇性子集而稽核視訊分析資料的方法，該方法包含：回應於一觸發警報事件，一處理單元從一掃描站之複數個圖框影像之一視訊串流產生圖框影像之一子集，該產生係該圖框影像子集每一者與一條碼之一掃描之間之一時間關係之函數，該條碼與該觸發事件相關聯且報告於來自該掃描站之一掃描器區域之日誌資料中，該影像子集係由以下組成：；一拾取圖框影像，其係以該條碼之經報告掃描之一時間以前之一預定時間量來顯示該掃描站之一拾取區域，該預定時間量經選擇使得該拾取圖框影像預期顯示一人從該拾取區域拾取一與該條碼相關聯之項目，其中該拾取區域與該掃描器區域不同；一掃描動作圖框影像，其顯示該掃描器區域在該條碼之經報告掃描之一時間係與該觸發警報事件同時期，且該觸發警報事件預期顯示該人於該掃描區域中將該項目移動於該掃描器上方；及一存放圖框影像，其係以該條碼之經報告掃描之該時間以後之一預定時間量來顯示該掃描站之一傳送(delivery)區域，該預定時間量經選擇使得該存放圖框影像預期顯示該人存放該項目於該傳送區域中，其中該傳送區域與該掃描器區域及該拾取區域不同；該處理單元將產生的圖框影像子集以一關聯於該項目 之一文字識別符之時間順序呈現給一人類稽核員檢閱，該文字識別符與該條碼之經報告掃描登記且不具有任何其他視訊串流圖框影像，使得該人類稽核員可以判定該觸發警報事件係一真或假警報，或判定是否需要來自該視訊串流之額外影像圖框來判定該警報事件係真或假；且回應於該人類稽核員從該以關聯於該不具有任何其他視訊串流圖框影像之文字識別符之時間順序呈現之圖框影像子集判定需要額外視訊圖框來判定該警報事件係真或假，該處理單元將來自該視訊串流之額外影像圖框呈現給該人類稽核員檢閱。
2. 如請求項1之方法，其進一步包含：將該視訊串流圖框影像存檔於一存放庫中；及該處理單元回應於該人類稽核員判定需要額外視訊圖框來判定該警報事件是否係假自該存放庫擷取呈現以供檢閱之該額外視訊圖框。
3. 如請求項2之方法，其進一步包含該處理單元：在實體空間內界定不同之感興趣區域，該實體空間在不同之該拾取區域、掃描器區域及傳送區域之每一者之視訊串流之圖框影像內；從拾取區域、掃描器區域及傳送區域之每一者個別一者內之視訊串流圖框影像中之差異獲得複數個運動像素；判定在不同之該拾取區域、掃描器區域及傳送區域獲 得之該等運動像素之運動序列的型樣與該人之一手在該等區域中每一者相關聯之移動；及判定該觸發警告事件之一發生，即使介於在該掃描器區域內與該手之移動相關聯之經判定運動序列的型樣及與該手在該拾取區域及傳送區域內之移動相關聯之經判定運動序列的型樣之至少一者之間之一時間間隙長於一預期時間間隔。
4. 如請求項3之方法，其中：該條碼之經報告掃描之該時間以前之該選擇預定時間量係早於經報告掃描之該時間一秒；該條碼之經報告掃描之該時間以後之該選擇預定時間量係晚於經報告掃描之該時間一秒；且該預期時間間隔係兩秒、五秒或一分鐘。
5. 一種用於透過檢閱視訊圖框影像之選擇性子集而稽核視訊分析資料的電腦系統，該電腦系統包含：一處理單元、電腦可讀記憶體，及一電腦可讀儲存媒體；第一程式指令，其用以回應於一觸發警報事件從一掃描站之複數個圖框影像之一視訊串流產生圖框影像之一子集，該產生係該圖框影像子集每一者與一條碼之一掃描之間之一時間關係的函數，該條碼與該觸發事件相關聯且報告於來自該掃描站之一掃描器區域之日誌資料中，該影像子集係由以下組成：一拾取圖框影像，其顯示在該條碼之經報告掃描之一 時間以前之一預定時間量該掃描站之一拾取區域，該預定時間量經選擇使得該拾取圖框影像預期顯示一人從該拾取區域拾取一與該條碼相關聯之項目，其中該拾取區域與該掃描器區域不同；一掃描動作圖框影像，其顯示該掃描器區域在該條碼之經報告掃描之一時間係與該觸發警報事件同時期，且該觸發警報事件預期顯示該人於該掃描區域中將該項目移動於該掃描器上方；及一存放圖框影像，其顯示在該條碼之經報告掃描之該時間以後之一預定時間量該掃描站之一傳送區域，該預定時間量經選擇使得該存放圖框影像預期顯示該人存放該項目於該交貨區域中，其中該交貨區域與該掃描器區域及該拾取區域不同；第二程式指令，其用以將產生的圖框影像子集以一關聯於該項目之一文字識別符之時間順序呈現給一人類稽核員檢閱，該文字識別符與該條碼之經報告掃描登記且不具有任何其他視訊串流圖框影像，使得該人類稽核員可以判定該觸發警報事件係一真或假警報，或判定是否需要來自該視訊串流之額外影像圖框來判定該警報事件係真或假；及第三程式指令，其用以回應於該人類稽核員從該以關聯於該不具有任何其他視訊串流圖框影像之文字識別符之時間順序呈現之圖框影像子集判定需要額外視訊圖框來判定該警報事件係真或假，將來自該視訊串流之額外 影像圖框呈現給該人類稽核員檢閱；且其中該等第一、第二及第三程式指令儲存於該電腦可讀儲存媒體上以用於經由該電腦可讀記憶體由該處理單元執行。
6. 如請求項5之電腦系統，其進一步包含：第四程式指令，其用以將該視訊串流影像存檔於一存放庫中；其中該等第三程式指令進一步用以回應於該人類稽核員判定需要額外視訊圖框來判定該警報事件是否係假以自該存放庫擷取用於呈現以供檢閱之該額外視訊圖框；且其中該等第四程式指令儲存於該電腦可讀儲存媒體上以用於經由該電腦可讀記憶體由該處理單元執行。
7. 如請求項6之電腦系統，其包含：第五程式指令，其用以：在實體空間內界定不同之感興趣區域，該實體空間在不同之該拾取區域、掃描器區域及傳送區域之每一者之視訊串流之圖框影像內；從拾取區域、掃描器區域及傳送區域之每一者個別一者內之視訊串流圖框影像中之差異獲得複數個運動像素；判定在不同之該拾取區域、掃描器區域及傳送區域獲得之該等運動像素之運動序列的型樣與該人之一手在該等區域中每一者相關聯之移動；及 判定該觸發警告事件之一發生，即使介於在該掃描器區域內與該手之移動相關聯之經判定運動序列型樣及與該手在該拾取區域及傳送區域內之移動相關聯之經判定運動序列的型樣之至少一者之間之一時間間隙長於一預期時間間隔；且其中該等第五程式指令儲存於該電腦可讀儲存媒體上以用於經由該電腦可讀記憶體由該處理單元執行。
8. 如請求項7之電腦系統，其中：該條碼之經報告掃描之該時間以前之該選擇預定時間量係早於經報告掃描之該時間一秒；該條碼之經報告掃描之該時間以後之該選擇預定時間量係晚於經報告掃描之該時間一秒；且該預期時間間隔係兩秒、五秒或一分鐘。
9. 一種用於透過檢閱視訊圖框影像之選擇性子集而稽核視訊分析資料的電腦程式產品，該電腦程式產品包含：一電腦可讀儲存媒體；第一程式指令，其用以回應於一觸發警報事件從一掃描站之複數個圖框影像之一視訊串流產生圖框影像之一子集，該產生係該圖框影像子集每一者與一條碼之一掃描之間之一時間關係的函數，該條碼與該觸發事件相關聯且報告於來自該掃描站之一掃描器區域之日誌資料中，該影像子集係由以下組成：一拾取圖框影像，其顯示在該條碼之經報告掃描之一時間以前之一預定時間量該掃描站之一拾取區域，該預 定時間量經選擇使得該拾取圖框影像預期顯示一人從該拾取區域拾取一與該條碼相關聯之項目，其中該拾取區域與該掃描器區域不同；一掃描動作圖框影像，其顯示該掃描器區域在該條碼之經報告掃描之一時間係與該觸發警報事件同時期，且該觸發警報事件預期顯示該人於該掃描區域中將該項目移動於該掃描器上方；及一存放圖框影像，其顯示在該條碼之經報告掃描之該時間以後之一預定時間量該掃描站之一交貨區域，該預定時間量經選擇使得該存放圖框影像預期顯示該人存放該項目於該傳送區域中，其中該傳送區域與該掃描器區域及該拾取區域不同；第二程式指令，其用以將產生的圖框影像子集以一關聯於該項目之一文字識別符之時間順序呈現給一人類稽核員檢閱，該文字識別符與該條碼之經報告掃描登記且不具有任何其他視訊串流圖框影像，使得該人類稽核員可以判定該觸發警報事件係一真或假警報，或判定是否需要來自該視訊串流之額外影像圖框來判定該警報事件係真或假；及第三程式指令，其用回應於該人類稽核員從該以關聯於該不具有任何其他視訊串流圖框影像之文字識別符之時間順序呈現之圖框影像子集判定需要額外視訊圖框來判定該警報事件係真或假，將來自該視訊串流之額外影像圖框呈現給該人類稽核員檢閱；且 其中該等第一、第二及第三程式指令儲存於該電腦可讀儲存媒體上。
10. 如請求項9之電腦程式產品，其進一步包含：第四程式指令，其用以將該視訊串流影像存檔於一存放庫中；其中該等第三程式指令進一步用以回應於該人類稽核員判定需要額外視訊圖框來判定該警報事件是否係假以自該存放庫擷取用於呈現以供檢閱之該額外視訊圖框；且其中該等第四程式指令儲存於該電腦可讀儲存媒體上。
11. 如請求項10之電腦程式產品，其進一步包含：第五程式指令，其用以：在實體空間內界定不同之感興趣區域，該實體空間在不同之該拾取區域、掃描器區域及傳送區域之每一者之視訊串流之圖框影像內；從拾取區域、掃描器區域及傳送區域之每一者個別一者內之視訊串流圖框影像中之差異獲得複數個運動像素；判定在不同之該拾取區域、掃描器區域及傳送區域獲得之該等運動像素之運動序列的型樣與該人之一手在該等區域中每一者相關聯之移動；及判定該觸發警告事件之一發生，即使介於在該掃描器區域內與該手之移動相關聯之經判定運動序列型樣及與 該手在該拾取區域及傳送區域內之移動相關聯之經判定運動序列的型樣之至少一者之間之一時間間隙長於一預期時間間隔；且其中該等第五程式指令儲存於該電腦可讀儲存媒體上。
12. 如請求項11之電腦程式產品，其中：該條碼之經報告掃描之該時間以前之該選擇預定時間量係早於經報告掃描之該時間一秒；該條碼之經報告掃描之該時間以後之該選擇預定時間量係晚於經報告掃描之該時間一秒；且該預期時間間隔係兩秒、五秒或一分鐘。
13. 一種用於提供一透過檢閱視訊圖框影像之選擇性子集而稽核視訊分析資料的服務之方法，該方法包含：提供一電腦基礎結構以：回應於一觸發警報事件從一掃描站之複數個圖框影像之一視訊串流產生圖框影像之一子集，該產生係該圖框影像子集每一者與一條碼之一掃描之間之一時間關係的函數，該條碼與該觸發事件相關聯且報告於來自該掃描站之一掃描器區域之日誌資料中，該影像子集係由以下組成：一拾取圖框影像，其顯示在該條碼之經報告掃描之一時間以前之一預定時間量該掃描站之一拾取區域，該預定時間量經選擇使得該拾取圖框影像預期顯示一人從該拾取區域拾取一與該條碼相關聯之項目，其中該拾取區 域與該掃描器區域不同；一掃描動作圖框影像，其顯示該掃描器區域在該條碼之經報告掃描之一時間係與該觸發警報事件同時期，且該觸發警報事件預期顯示該人於該掃描區域中將該項目移動於該掃描器上方；及一存放圖框影像，其顯示在該條碼之經報告掃描之該時間以後之一預定時間量該掃描站之一傳送區域，該預定時間量經選擇使得該存放圖框影像預期顯示該人存放該項目於該傳送區域中，其中該傳送區域與該掃描器區域及該拾取區域不同；將產生的圖框影像子集以一關聯於該項目之一文字識別符之時間順序呈現給一人類稽核員檢閱，該文字識別符與該條碼之經報告掃描登記且不具有任何其他視訊串流圖框影像，使得該人類稽核員可以判定該觸發警報事件係一真或假警報，或判定是否需要來自該視訊串流之額外影像圖框來判定該警報事件係真或假；及回應於該人類稽核員從該以關聯於該不具有任何其他視訊串流圖框影像之文字識別符之時間順序呈現之圖框影像子集判定需要額外視訊圖框來判定該警報事件係真或假，將來自該視訊串流之額外影像圖框呈現給該人類稽核員檢閱。
14. 如請求項13之方法，其中該電腦基礎結構進一步：將該視訊串流影像存檔於一存放庫中；且回應於該人類稽核員判定需要額外視訊圖框來判定該 警報事件是否係假以自該存放庫擷取用以呈現以供檢閱之該額外視訊圖框。
15. 如請求項14之方法，其中該電腦基礎結構進一步：在實體空間內界定不同之感興趣區域，該實體空間在不同之該拾取區域、掃描器區域及傳送區域之每一者之視訊串流之圖框影像內；從拾取區域、掃描器區域及傳送區域之每一者個別一者內之視訊串流圖框影像中之差異獲得複數個運動像素；判定在不同之該拾取區域、掃描器區域及傳送區域獲得之該等運動像素之運動序列的型樣與該人之一手在該等區域中每一者相關聯之移動；及判定該觸發警告事件之一發生，即使介於在該掃描器區域內與該手之移動相關聯之經判定運動序列的型樣及與該手在該拾取區域及傳送區域內之移動相關聯之經判定運動序列的型樣之至少一者之間之一時間間隙長於一預期時間間隔。
16. 如請求項15之方法，其中：該條碼之經報告掃描之該時間以前之該選擇預定時間量係早於經報告掃描之該時間一秒；該條碼之經報告掃描之該時間以後之該選擇預定時間量係晚於經報告掃描之該時間一秒；且該預期時間間隔係兩秒、五秒或一分鐘。