TWI463421B

TWI463421B - 分析重複連續的事件

Info

Publication number: TWI463421B
Application number: TW098140067A
Authority: TW
Inventors: Russell Patrick Bobbitt; Quanfu Fan; Arun Hampapur; Frederik Kjeldsen; Sharathchandra Umapathirao Pankanti; Akira Yanagawa; Yun Zhai
Original assignee: Toshiba Global Commerce Solutions Holdings Corp
Priority date: 2008-11-29
Filing date: 2009-11-25
Publication date: 2014-12-01
Also published as: US8165349B2; US20100135528A1; TW201032154A

Description

分析重複連續的事件

【對照相關申請案】

本申請案與標題為「偵測收銀處的基本事件」的美國專利申請案相關，其律師登錄號為END920080406US1，且係與本案同時申請，揭露書包含在此供參考。

另外，本申請案與標題為「位置察覺事件偵測」的美國專利申請案相關，其律師登錄號為END920080413US1，且係與本案同時申請，揭露書包含在此供參考。

本申請案與標題為「自動校正影像監控的相關地區」的美國專利申請案相關，此申請案係申請於2008年10月31日，其申請號為12/262,446，揭露書包含在此供參考。

又，本申請案與標題為「根據交易中既定人物的不存在而產生的警告」的美國專利申請案相關，此申請案係申請於2008年10月31日，其申請號為12/262,454，揭露書包含在此供參考。

本申請案與標題為「利用銷售點的詳細程序資訊」的美國專利申請案相關，此申請案係申請於2008年10月31日，其申請號為12/262,458，揭露書包含在此供參考。

再者，本申請案與標題為「建立訓練工具」的美國專利申請案相關，此申請案係申請於2008年10月31日，其申請號為12/262,467，揭露書包含在此供參考。

本發明之實施例係關於資訊科技，具體而言，係關於避免零售損失及產品品質保證。

重複連續人類活動包含重複的事件，每個事件係具有某種時間與空間限制的子動作(基本動作)的結合。此等動作通常發生於工作環境，此環境需要運作許多重複任務，而每個任務亦可包含一組特定順序的步驟。舉例而言，在雜貨店中，收銀員所運作的特徵性連續動作包含，從輸入帶取得物品，將物品出示於條碼掃瞄器以做計價，以及將物品放置於輸出帶以將物品置入袋中。另一範例可包含在工廠(例如汽車工廠)的組裝線，其中工人在將組裝物送到供應鏈的下一個程序前，依照順序重複組合多個物件。

重複連續活動的有效分析可廣泛運用於許多情境，例如工作場合安全、零售詐欺偵測、以及產品品質保證。在組裝線的範例中，瑕疵品通常是基於組裝時不正確的順序所產生的結果。在此情況下，正確辨識作業員的動作可協助品質保證程序。在另一範例中，零售店有許多詐欺類型，係直接基於出納員錯誤的行為結果。在此情況下，當出納員將物品傳遞經過收銀處，實際上卻沒有將此物品登記在購買清單時，即發生詐欺。此等動作可稱為假掃描，且亦稱為「甜心交易」。甜心交易在零售業是一個棘手的問題，且可導致極大的收入損失。

現有的人類活動辨識方法，主要是根據圖樣模型，例如有限狀態機器(FSM)、隱藏式馬可夫模型(HMM)、情境自由文法(CFG)、以及動態貝式網路(DBN)。然而，此等方法無法處理基本動作間的重疊問題。有些偵測假掃描的方法包含利用空間限制，來確認交易範圍內的動態影像流。然而，此等方法的錯誤判正率很高。

本發明的原則與實施例提供分析重複順序事件的技術。根據本發明之一面向，分析行為人所重複運作的一或多個連續事件，以確保工作環境(例如零售收銀台或工廠的組裝線)的合法人類行為的一範例方法(係以電腦實施)，係包含將影像序列中的一或多個區段辨識為行為人所運作的一或多個連續事件的一或多個構件，透過合併時空模型與一或多個事件偵測器，將一或多個元件整合於一或多個連續事件，以及分析一或多個連續事件以分析行為人的行為等步驟。

本發明之一或多個實施例或其元件，係可以電腦產品的型態實施，其包含具有電腦可用程式碼的電腦可用媒體，此程式碼係供運作本方法所示的各步驟。再者，本發明之一或多個實施例或其元件可以設備或系統的型態實施，其包含記憶體與耦接記憶體的至少一個處理器，且可運作範例方法的各步驟。再者，在另一面向，本發明之一或多個實施例或其元件可以實施在此所述之方法步驟的手段/裝置的型態實施；其手段/裝置可包含硬體模組、軟體模組、或硬體及軟體模組的結合。

伴隨以下實施例之詳述及圖式，將可得知本發明的此等與其他目的、特徵及優勢。

本發明之原則包含辨識行為人所運作的重複連續事件，其具有時間相依性與潛在平行重疊。本發明之一或多個實施例包含合併連續事件變化的子事件(或基本事件)偵測器與時空模型。本發明可將基本事件整合於一組連續事件中，其中時間限制強烈限制基本事件的順序。具體而言，此結合程序係以最佳化問題的方式進行。特殊的維特比演算法可用來學習並推斷目標連續事件，並同時處理事件重疊。

如此描述，重複連續的人類活動係由重複事件所組成，每個事件係具有某空間與時間限制的子動作(基本動作)的結合。此等活動通常是發生在工作環境，例如組裝線與零售收銀台，重複連續活動的有效分析可廣泛地運用於許多情境，例如工作環境安全、零售詐欺偵測、及產品品質保證。

重複連續事件展示許多特殊特徵，此等特徵係有別於其他類型的重複人類動作，例如走路及讀書。首先，在重複連續事件中，基本事件受到強烈的時空限制。行為者一般在相對有限的區域運作，且必須快速的運作此動作。在其他類型的重複動作中，此等限制通常比較不會強制執行。舉例而言，讀書涉及重複翻頁，且在翻頁間沒有強烈相關性的隨機動作。再者，重複連續事件可涉及時間重疊(例如，出納員掃描物品並同時提起另一物品)。在其他活動中(例如走路)是不會發生此重疊，因為每個動作必須在下一個動作開始前先完成，因此，在辨識任務上具有較大的挑戰。

藉此，本發明之一或多個實施例將基本事件偵測器與時空模型做結合，以供連續事件變化之用。此辨識任務可包含自所偵測到的基本事件所形成的大型候選池中，選出一組目標連續事件。選擇程序接著被公式化為一個最佳化問題，其中基本事件間的時間與空間限制被作為槓桿使用。再者，修改過的維特比演算法可用來有效地找出最接近真實事件的一組最佳的連續事件。重疊問題係在最佳化中，透過僅尋找沒有重疊的連續事件而被解決。

如上述，重複人類動作通常發生在例如零售收銀台及工廠組裝線的情境中。此等人類活動可被視為一組重複連續事件(或視覺工作單元)，每個事件係由具有強烈時空限制，相對分離且可分開的基本事件組合而成。雖然基本事件之間要求嚴格的順序，但二個連續的工作單元可做某程度的重疊。此重疊是活動其快速且重複性質的自然副產品。

本發明之一或多個實施例包含將基本事件群組化為一組相關的重複連續事件。本發明可將基本事件群組化為一組大型的有效候選者，作為相關的連續事件。藉此，重疊問題可透過在連續順序事件中考量對應的基本事件的時間順序而得以解決。又，本發明可利用類似維特比的演算法，自代表資料的大型候選池中選出最可能的一組連續事件。

本發明之一或多個實施例亦可包含連續事件代表。這可包含提供連續事件的一般圖像代表。讓為在時間點t 所發生的連續事件中第k個基本事件。連續事件S 係定義為一組具有時間順序的基本事件的組合使t₁ <t₂ <…<t_n 。為了清楚做描述，本發明在文字上有時可省略上標k 。

連續事件可由圖式代表。圖1係繪示本發明之一實施例中，具有n個基本事件102的連續事件的圖像代表的圖式。如圖1所示，連續事件S 中的基本事件係與外觀節點相關聯，其代表視覺資訊，以及位置節點，其代表基本事件發生的空間位置。節點C 為對基本事件做空間限制的空間模型。連續事件中的基本事件是依照馬可維模型，使觀察O 的機率S =(v,1)為

其中以及分別代表視覺線索以及空間資訊。在此，係基本構件的外觀可能性模型，而係基本構件的空間可能性模型。一詞係指基本事件e_t 到基本事件的移轉可能性。

又，在此所描述的技術包含建立連續事件。假設在影像序列中偵測到n組的基本事件{E ₁ ,E ₂ ,…,E _n } ，其中E_m 係具有特定類型m的一組基本事件(舉例而言，在出納員情境中所有可能的提起動作)。因此，以時間順序自每組選擇一個基本事件，可形成候選連續事件S 。在{E1,E2,…,En} 中列舉的採樣皆被視為後選事件。具體而言，本發明可代表所有的候選事件，此等事件是由所開始的樹中的基本事件e_l _t ₁ εE 1，此樹可稱為連續樹，以Tr(l,:)代表。在此樹中，在j級的任何節點僅選自Ej，且此節點的所有子節點發生於隨後的基本事件組。藉此，自樹根到葉節點的每個路徑對應到連續事件S 的候選者。

舉例而言，圖2係繪示本發明之一實施例中代表具有三個基本構件202的潛在連續事件的一部份的連續樹。係影像序列中所偵測到的一組基本事件。所有的事件皆源自。

此技術中所產生的連續事件候選者的數量，係根據基本事件的數量作指數型成長。為了管理連續事件組合的大小，啟發法可用來大量降低候選者的數量。舉例而言，簡易時間限制，例如要求二個連續事件發生在一特定的時間間隔內，可刪除許多不可能的結合。

上述詳盡的結合方法產生許多候選連續事件。然而，大部分的事件是假的，尤其是當基本事件偵測的結果有雜音時。藉此，本發明之一或多個實施例選擇最匹配資料真實性的一小組連續事件。本發明可將此選擇程序變成最佳化問題，其中基本事件與其空間限制間的強烈時間相依性，係用來偵測最佳化程序。

又，雖然二個連續事件可能重疊，但其對應基本事件不應該重疊。本發明之一或多個實施例定義二個連續事件以及分離或代表S∩S’=Φ，如果且只有如果

類似地，一組連續事件S ={S ₁ ,S ₂ ,…,S _n } 係定義為分離，如果其符合：

根據以上定義，影像中相關的真實連續事件可被視為一組分離的重複動作。因此，在貝式模型的情境中，本發明之一或多個實施例可包含辨識某種模型內最可能分離的序列，係最佳解釋資料中一組真實的連續事件所發出的觀察。即最佳化問題且可以數學公式化如下，讓S={S ₁ ,S ₂ ,…,S _n } 為以時間為順序的一組連續事件候選者。找出模型M(Θ)內最大分離子序列，使

其中D(S)係所有分離子序列S的集合，而係的對應觀察。

以上公式的最佳化導致目標物件的最大輸出，觸發事件，在真實情境中是被鼓勵的(例如，快速處理物品的員工將會被鼓勵)。

重複連續事件可被假設為馬可維式程序。根據貝式規則，本發明可得，

其中m是事件系列的長度。p (O _i |S _i )更可被替換，p (S _i |S _i _-1 )是S_i 與S_i-1 之間的移轉可能性。

如此述，模型M(Θ) 的選擇係依照考量的特定問題。

再者，本發明之一或多個實施例包含模型推斷與學習。上述最佳化問題似乎很棘手，因為分離序列的數量是根據連續事件候選者的數量以指數型方式增加。然而，修改過的維特比演算法可有效的解決這個問題。

本發明之一或多個實施例包含建構較低階的三角形格子，每個連續事件為一個節點，如圖5所示。格子的大小係n x l ，其中連續事件候選者的總數量為n ，而對應相關連續事件的第一個基本事件的數量為l 。此建構實施二個重要的考量：事件序列是分離的(較低的三角形)，且此序列不比所偵測到的第一基本構件的數量長(n 行)。再者，此代表賦予考量中的連續事件的任何分離子序列間一個路徑，因為此代表中任二個分離連續事件間會有一個鏈結。

每個節點有一個模型所計算出的觀測分數，且模型將鄰近行中的每二個分離節點與移轉可能性相關聯。尋找最佳路徑可以類似一般維特比演算法的方式進行，但僅考慮具有分離節點的限制路徑。在演算法完成後，每個節點是分離的(沒有路徑到此節點)，或是以最大可能性作設定，此最大可能性係基於事件的一個最佳序列到達該節點的可能性。本發明可找到最後一行，此行中沒有分離節點，並自該行中具有最大可能性的節點開始，往回找出連續事件的最佳序列。因為在第j行中到一個節點的路徑具有長度j，所以辨識出的路徑是可追求到的子序列中，具有最大可能的分離子序列。

因為有模型學習的功能，本發明可依賴HMM架構。其相異之處在於本發明僅考量狀態空間的一部分，而一般HMM考量整個空間。

又，本發明之一或多個實施例包含利用時間模型。假設連續事件是獨立發生，二個事件間的等待時間可由爾蘭分佈的方式作模型，

舉例而言，k=1，因為可能僅對連續事視覺掃描間的時間間隔有興趣。因此，p (S _i |S _i _-1 )可被簡化為指數型分佈，p (S _i |S _i _-1 )=λ _s e ^- ^λt ，

其中t是S_i-1 與S_i 之間的時間間隔。

基本事件間的時間相依性，即，係由二個分離的指數型分佈與作模型。註，視覺掃描的基本事件是相互靠近的，因此與一般會比λ _s 來的大。

本發明之一或多個實施例包含例如在收銀端偵測假掃瞄。為了找出假掃描，本發明可先在監控影像中以視覺方式辨識掃描，接著將此等掃描與對應的交易紀錄(TLOG)相匹配。視覺掃描可被視為出納員自輸入帶領取物品(提起動作)，在掃描區掃描此物品(掃描動作)，並接著將此物品放到輸出帶(放下動作)的程序。藉此，此程序可透過分別偵測三個不同類型的互動(在此亦稱為基本事件)，並接著利用在此所描述的架構，在時間限制下，將此等互動結合為更複雜的視覺掃描事件。

如此所述，本發明之一或多個實施例透過例如利用動作為主的區段演算法，辨視影像序列中的區段為銷售點(POS)的基本事件的候選者。此演算法找出掃描區域的動作高峰，此高峰係用來區別鄰近區域中的事件。分離的事件區段係透過臨界值利用時間長度，並考量動作強度、及動作圖案作修飾。

本發明可進一步應用時空功能，自候選者中辨識出基本事件，並刪除錯誤的警訊。具體而言，本發明之一或多個實施例透過多個實例學習方法，偵測基本事件及與基本事件相關聯的位置，進而建構位置察覺事件模型。

再者，本發明之一或多個實施例包含考量事件結合中的空間限制。出納員所觸發的動作係受限於出納員手臂可及之處。因此，知道事件發生時出納員的位置可幫助辨識不符合幾何意義的亂真事件。藉此，本發明之一或多個實施例包含建立幾何模型，以捕捉出納員與事件位置之間的距離。

讓作為事件在第k個ROI為中心r _k 時，出納員的位置。接著，事件在位置P出現的可能性可寫為，

其中，即出納員與事件位置之間的距離。註，ROI的中心僅為事件位置的一個概略近似值。舉例而言，本發明可利用三個高斯分佈，假設獨立性的情況下，將提起、掃描與放下動作獨立的模型化。

出納員的位置可由背景扣除的方式作偵測。舉例而言，橢圓適合放在背景扣除所取得的最大點的輪廓，而橢圓的中心可被視為出納員的位置。

如此所述，本發明之一或多個實施例可透過依照時間順序限制及空間限制，結合基本事件，進而確認整個交易程序。結合問題可被公式化為一個最佳化問題，且可有效地透過修改過的維特比演算法解決。此等結果可與交易記錄(TLOG)同步化，以找出監控影像中的甜心交易，並透過整合其他線索(例如物品大小及顏色)，進一步對出納員的行為進行分析。

圖3係本發明之一實施例中將基本事件結合於高階事件的圖式。依圖示，圖3描述所偵測到的提起動作302、所偵測到的掃描動作304、以及所偵測到的放下動作306。視覺掃描可由提起、掃描、與放下三者代表，如圖3元件308、310、及312所示。如此述，本發明之一或多個實施例決定一組最大的分離三元件，根據基本事件的時間限制，將功能最大化。再者，如下述，事先偵測到的基本事件可與代表視覺掃描的三元件相結合。

圖4係本發明之一實施例的一範例零售收銀連續動作。如圖示，圖4描述許多構件，例如印表機402、光線404、年齡確認元件406、手動掃描408、與其它各式各樣的元件444(例如，硬式標籤移除器(通常是在服裝店)、消磁器(高階電子產品店)、無線電頻率辨識(RFID)接收器等)。又，在程序之初，於步驟440，顧客可先將物品418自籃子424或車子426放到輸入帶420或櫃台422上，於步驟442，出納員或員工可自輸入帶420或櫃檯420上提起物品418。此時，於步驟450，出納員或員工亦可將物品放到一邊。

再者，於步驟446，出納員或員工可取得一個忠誠物品410、購買者助理(SA)卡412(例如在店內自助式收銀道所使用的卡)、兌換券414及/或顧客的一或多種卡416。於步驟448，出納員或員工亦可掃瞄物件，及/或於步驟452，將資訊按入收銀機。再者，於步驟452，出納員或員工可將物品428放置於輸出帶432或櫃檯434及/或袋子430、籃子436及/或車子438。又，於步驟456，出納員或員工可向顧客收款。

圖5係本發明之一實施例中修改過的維特比演算法的圖式。如圖示，圖5繪示修改過的維特比演算法502所解決的問題。如圖5所示，三元件係重新排列為一個較低的三角格。如此述，T_i 可包含一組三個元件，始於第i個提起動作，若三元件中的二個元件T_i 與T_j 是分離的話，T_i 與T_j 之間可新增一個邊緣。又，運算複雜性可包含以下描述。1可表示提起動作的數量，m可表示掃描動作的數量，以及n可表示放下動作的數量。花費時間可由(l*m*n)² .l=l³ *m² *n² 決定。

圖6係繪示本發明之一實施例中零售收銀程序對出納員所提出的空間限制的圖式。如圖示，圖6描述一出納員手臂可及的影像602以及收納員手臂可能不及的影像604。

圖7係繪示本發明之一實施例中，分析行為人所運做之一或多個連續事件，以分析行為人的行為的技術。步驟702包含將影像序列中的一或多個區段，辨識為行為人所運作的一或多個連續事件的一或多個元件(例如，在銷售點及/或組裝線)。舉例而言，此等事件包含出納員提起一個物品，出納員讀取一個物品(透過掃描機，或若沒有條碼的話，即秤物品的重量)，以及出納員將物品放到輸出帶。

又，辨識影像序列中的區段可包含偵測銷售點的動作，其中被偵測到的動作係用來與銷售點鄰近區域中的事件做區別。再者，分開的事件區段可透過例如臨界值，以及考量的時間長度、動作強度及動作圖樣重新作修飾。

再者，辨識影像序列中的區段可包含將銷售點分為一或多個區域，其中此等區域可包含例如顧客放置商品的輸入區、出納員掃描商品的掃描區、以及掃描過的商品放置的輸出區。本發明之一或多個實施例亦包含替每個事件放置一個相關區域(例如，在銷售點的放置、掃描及離開區)，透過框之不同取得動作圖素，針對每個框，計數每個相關區域的動作圖素，以及由每個相關區域的一區正常化動作圖素。

步驟704包含透過合併時空模型與一或多個事件偵測器，進而將一或多個元件整合於一或多個連續事件。將事件整合於連續事件可包含將事件與交易記錄做同步化(例如，找出監控影像中的甜心交易，以及透過整合例如物品大小及出納員的位置的其他線索，對出納員的行為做進一步的分析)。

步驟706包含分析一或多個連續事件，以分析行為人的行為。

圖7所示的技術亦可包含應用一或多個時空特徵，識別各種事件，並與例如候選者做區別，以及刪除錯誤警訊。再者，本發明之一或多個實施例包含利用修改過的維特比技術分析連續事件(例如在銷售點避免詐欺、或在組裝線確保產品品質)。

再者，圖7所示的技術可包含例如找出每個影像序列的動作高峰，以及利用動作高峰作為分離一或多個事件的分離器(例如，商品提起及商品放下事件)。又，本發明之一或多個實施例包含針對每個辨識出的事件，剪掉超過臨界值的動作序列，以及針對持續期間、強度及/或動作圖案，評估隨後子區段。

利用專屬硬體、一般目的處理器、軟體、或前述任一者之結合的技術的許多變化可用來實施本發明。本發明之至少一個實施例可以電腦產品的型態實施，其包含具有電腦可用程式碼的電腦可用媒體，電腦程式碼可運作本方法的各步驟。再者，本發明之至少一個實施例可以設備的型態實施，其設備包含記憶體以及耦接記憶體的至少一個處理器，且係可運作範例方法的各步驟。

目前，本發明認為較佳實施例將實質使用執行於一般目的電腦或工作台的軟體。參照圖8，此實作可利用例如處理器802、記憶體804、以及由例如顯示器806及鍵盤808所形成的輸入及/或輸出介面。在此所用的「處理器」一詞係包含任何處理裝置，例如包含中央處理單元(CPU)及/或其他型態的處理電路的處理裝置。再者，「處理器」一詞可表示不只一個獨立處理器。「記憶體」一詞係包含與處理器或CPU相關聯的記憶體，例如RAM(隨機存取記憶體)、ROM(唯讀記憶體)、固定記憶體裝置(例如硬碟)、可拆式記憶體裝置(例如磁片)、快閃記憶體、及其類似者。再者，在此所使用的「輸入及/或輸出介面」一詞可包含例如一或多個將資料輸入處理單元的機制(例如滑鼠)，以及一或多個提供與處理單元相關聯的結果的機制(例如印表機)。處理器802、記憶體804、及輸入及/或輸出介面，例如顯示器806與鍵盤808可透過匯流排810相互連結，成為資料處理單元812的一部分。適當的互連例如透過匯流排810亦可提供給網路介面814，例如網路卡，以與電腦網路做通訊，並可提供給媒體介面818，例如磁片或DC-ROM機，以與媒體818做通訊。

藉此，在此所述的電腦軟體包含運作本發明之方法的指令或代碼，係可儲存於一或多個相關聯的記憶體裝置(例如ROM、固定或可拆式記憶體)，當可使用時，軟體可部份或全部載入(例如RAM)，並由CPU執行。此軟體可包含但不限於韌體、常駐軟體、微碼、及其類似者。

再者，本發明可以可自電腦可用或電腦可讀媒體(例如媒體818)存取的電腦程式產品的型態實施，提供程式碼供電腦或任何指令執行系統使用、或與電腦或任何指令執行系統一同使用。為了描述之便，電腦可用或電腦可讀媒體可為任何可供指令執行系統、設備或裝置使用的設備、或可與指令執行系統、設備或裝置一同使用的設備。

此媒體可為電子、磁性、光學、電磁、紅外線、或半導體系統(或設備或裝置)或傳播媒體。電腦可讀媒體的範例包含半導體或固態記憶體(例如記憶體804)、磁帶、可拆式電腦磁片(例如媒體818)、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬式磁片及光碟片。目前光碟片的範例包含壓縮光碟唯讀記憶體(CD-ROM)、壓縮光碟讀取及/或寫入(CD-R/W)以及DVD。

適用於儲存及/或執行程式碼的資料處理系統，將包含至少一個處理器802，係直接或透過系統匯流排810間接耦接記憶體元件804。記憶體元件可包含用於實際執行程式碼其堅的本區記憶體、大型儲存、及提供至少某些程式碼暫時儲存，以減少執行期間自大型儲存擷取代碼的次數的快取記憶體。

輸入及/或輸出或I/O裝置(包含但不限於鍵盤808、顯示器806、指標裝置、及其類似者)可直接耦接(例如透過匯流排810)、或透過I/O控制器(為了清楚繪示之便未顯示)耦接系統。

例如網路介面814的網路配接器亦可耦接系統，以致能資料處理系統，透過私有或公共網路，與其他資料處理系統或遠端印表機或儲存裝置耦接。數據機、纜線數據機及乙太卡為目前可用的一些網路配接卡類型。

在任何情況下，需要知道的是，在此所示的元件可以硬體、軟體、或其結合的型態(例如應用程式特定積體電路(ASICS)、功能性電路、一或多個適當的具有相關聯的記憶體的可程式化一般目的數位電腦、及其類似者)。根據在此所教授的本發明，此記憶中的一般技術者當可思及本發明之元件的其他實作。

本發明之至少一個實施例可提供一或多個優勢效果，例如將交易中視覺掃描的數量及品質最大化的假掃瞄偵測。

雖然本發明之所示實施例已透過伴隨圖式做描述，但需要知道的是，本發明並不受限於此等實施例，熟此技藝者當可對實施例作其他改變及潤飾而不偏離本發明之範疇或精神。

102．．．基本事件

202．．．樹狀基本構件

302．．．所偵測到的提起動作

304．．．所偵測到的掃描動作

306．．．所偵測到的放下動作

308、310、312．．．元件

402．．．印表機

404．．．光線

406．．．年齡

408．．．手動掃描

410．．．忠誠

412．．．購物者助理

414．．．兌換券

416．．．卡

418、428．．．物品

420、432．．．輸送帶

422、434．．．櫃檯

424、436．．．籃子

426、438．．．車子

430．．．帶子

440．．．卸貨

442．．．提起

444．．．其他

446．．．取得

448．．．掃描

450．．．放在一邊

452．．．鍵入

454．．．放下

456．．．付款

502．．．維特比演算法

602．．．出納員手臂可及的影像

604．．．收納員手臂可能不及的影像

802．．．處理器

804．．．記憶體

806．．．顯示器

808．．．鍵盤

810．．．匯流排

812．．．資料處理單元

814．．．網路介面

816．．．媒體介面

818．．．媒體

圖1係繪示本發明之一實施例中具有n個基本事件的一連續事件的圖像代表的圖式；

圖2係繪示本發明之一實施例中代表具有三個基本事件的潛在連續事件的一部分的一序列樹的圖式；

圖3係繪示本發明之一實施例中將基本事件結合於高階事件的圖式；

圖4係繪示本發明之一實施例中一範例零售收銀連續行為的圖式；

圖5係繪示本發明之一實施例中一修改過的維特比演算法的圖式；

圖6係繪示本發明之一實施例中在一零售收銀程序中出納員所受的空間限制的圖式；

圖7係繪示本發明之一實施例中分析行為人所運作之一或多個連續事件以分析行為人的行為的技術之流程圖；以及

圖8係本發明之至少一實施例可實施於其中的一範例電腦系統的系統圖。

Claims

一種分析一行為人所運作之一或多個連續事件，以分析該行為人之行為的方法，該方法包含：將一影像序列中的一或多個區段，辨識為一行為人所運作之一或多個連續事件的一或多個元件；透過合併一時空模型及一或多個事件偵測器，以將該一或多個元件整合於一或多個連續事件；以及分析該一或多個連續事件，以分析該行為人的行為。
如申請專利範圍第1項所述之方法，其中該一或多個連續事件包含一行為人在一銷售點所運作的一或多個連續事件。
如申請專利範圍第2項所述之方法，其中該一或多個事件包含以下至少一者：一收納員自一輸入帶提起一物品、一收納員讀取一物品、以及一出納員將一物品放置於一輸出帶。
如申請專利範圍第2項所述之方法，其中辨識一影像序列中的一或多個區段包含將該銷售點分為一或多個區域，其中該一或多個區域包含一輸入帶區，其中一顧客放置商品、一掃描區，其中一收納員掃描商品、以及一輸出帶區，其中掃描過的商品被放置於其中。
如申請專利範圍第1項所述之方法，其中該一或多個連續事件包含一行為人在一組裝線所運作的一或多個連續事件。
如申請專利範圍第1項所述之方法，更包含利用一修改過的維特比(Viterbi)技術分析該一或多個連續事件。
如申請專利範圍第1項所述之方法，其中將該一或多個事件整合於一或多個連續事件包含將該一或多個事件與一交易記錄作同步。
如申請專利範圍第1項所述之方法，其中辨識一影像序列中的一或多個區段包含偵測該銷售店之動作，其中該所偵測到的動作係用來與一或多個鄰近地區的該一或多個事件作區別。
如申請專利範圍第1項所述之方法，其中辨識一影像序列中的一或多個區段包含：替該一或多個事件之每一事件，放置一相關地區；透過框的相異之處，取得一或多個動作圖素；計數每個框的每個相關地區內的該一或多個動作圖素；以及由每個相關地區的一區域，正常化該一或多個動作圖素。
如申請專利範圍第9項所述之方法，更包含：找出每個影像序列的一動作高峰；以及將該動作高峰做為一分離器，以分離一或多個事件。
如申請專利範圍第1項所述之方法，更包含：針對每個辨識出的事件，將超過一臨界值的一動作序列切除；以及針對持續時間、強度、及一或多個動作圖案，評估一或多個行程的子區段。
如申請專利範圍第1項所述之方法，更包含透過找出沒有重疊的一或多個連續事件，以解決一或多個事件之間的一重疊問題。
一種電腦程式產品，係包含一電腦可讀媒體，該媒體具有電腦可讀程式碼，供分析一行為人所運作之一或多個連續事件，以分析該行為人之行為的方法，該電腦程式產品包含：將一影像序列中的一或多個區段，辨識為一行為人所運作之一或多個連續事件的一或多個元件之電腦可讀程式碼；透過合併一時空模型及一或多個事件偵測器，以將該一或多個元件整合於一或多個連續事件之電腦可讀程式碼；以及分析該一或多個連續事件，以分析該行為人的行為之電腦可讀程式碼。
如申請專利範圍第13項所述之電腦程式產品，其中該一或多個連續事件包含一行為人在一銷售點所運作的一或多個連續事件。
如申請專利範圍第14項所述之電腦程式產品，其中該一或多個事件包含以下至少一者：一收納員自一輸入帶提起一物品、一收納員讀取一物品、以及一出納員將一物品放置於一輸出帶。
如申請專利範圍第13項所述之電腦程式產品，其中該一或多個連續事件包含一行為人在一組裝線所運作的一或多個連續事件。
如申請專利範圍第13項所述之電腦程式產品，更包含利用一修改過的維特比(Viterbi)技術分析該一或多個連續事件之電腦可讀程式碼。
如申請專利範圍第13項所述之電腦程式產品，其中辨識一影像序列中的一或多個區段之該電腦可讀程式碼，係包含偵測該銷售店之動作之電腦可讀程式碼，其中該所偵測到的動作係用來與一或多個鄰近地區的該一或多個事件作區別。
一種分析一行為人所運作之一或多個連續事件，以分析該行為人之行為的系統，該系統包含：一記憶體；以及耦接該記憶體的至少一處理器，係可運作以下步驟：將一影像序列中的一或多個區段，辨識為一行為人所運作之一或多個連續事件的一或多個元件；透過合併一時空模型及一或多個事件偵測器，以將該一或多個元件整合於一或多個連續事件；以及分析該一或多個連續事件，以分析該行為人的行為。
如申請專利範圍第19項所述之系統，其中該一或多個連續事件包含一行為人在一銷售點所運作的一或多個連續事件。
如申請專利範圍第20項所述之系統，其中在辨識一影像序列中之一或多個區段中，耦接該記憶體之該至少一處理器更可運作將該銷售點分為一或多個區域，其中該一或多個區域包含一輸入帶區，其中一顧客放置商品、一掃描區，其中一收納員掃描商品、以及一輸出帶區，其中掃描過的商品被放置於其中。
如申請專利範圍第19項所述之系統，其中該一或多個連續事件包含一行為人在一組裝線所運作的一或多個連續事件。
如申請專利範圍第19項所述之系統，其中耦接該記憶體之該至少一處理器更可運作利用一修改過的維特比(Viterbi)技術分析該一或多個連續事件。
如申請專利範圍第19項所述之系統，其中在辨識一影像序列中之一或多個區段中，耦接該記憶體之該至少一處理器更可運作偵測該銷售店之動作，其中該所偵測到的動作係用來與一或多個鄰近地區的該一或多個事件作區別。
一種分析一行為人所運作之一或多個連續事件，以分析該行為人之行為的設備，該設備包含：將一影像序列中的一或多個區段，辨識為一行為人所運作之一或多個連續事件的一或多個元件之手段；透過合併一時空模型及一或多個事件偵測器，以將該一或多個元件整合於一或多個連續事件之手段；以及分析該一或多個連續事件，以分析該行為人的行為之手段。