TWI713368B - 影像式小偷偵測裝置及方法 - Google Patents

Abstract

一種影像圖框式小偷行竊分析方法，包含：一前景物件區域與背景物件區域產生步驟，用以從一場景的一或多個圖框中偵測出前景物件區域和背景物件區域；一入侵區域產生步驟，用以取得在一時間區間內該一個或多個圖框之該前景物件區域之聯集，以產生入侵區域；一凌亂區域產生步驟，用以從該入侵區域中確認出背景已發生變化的區域，以產生凌亂區域；一判別步驟，當該凌亂區域的面積滿足一定條件後發出示警訊息。

Description

影像式小偷偵測裝置及方法

一種影像分析識別技術領域，特別是依據使用者行為識別出小偷之影像分析識別技術領域。

影像監視系統已被廣泛設置在較重要的地點，以監視該些地點是否有發生異常現象，該些異常現象例如是不明使用者的入侵、重要物品損壞或是被帶走，然因影像監視系統已廣泛被設置之緣故，人力已無法負責即時監控之工作，需要電腦設備事先判別出可疑的區域，再由人力進行進一步地確認，以有效地使用有限的人力資源。

例如一習知的影像分析系統可利用事先建立的背景參考圖框，再讓現在圖框和背景參考圖框相減，得到一差異圖框，當上述差異圖框之差異範圍大於一定值後，即發出示警訊號，並於顯示裝置上顯示出差異處，以便於如警衛之人力進行確認，然而此方法最大的局限處在於只能用在不准人員進出之封閉空間如金庫之監控上，任何移動物體如貓、狗...等動物皆會造成影像分析系統的誤判，而不是一有效的入侵偵測系統。

例如另一習知的影像分析系統可利用事先已登錄於資料庫的人臉資料，當系統偵測到非登錄的人臉資訊即發出示警訊號，然本法的局限處除了對如攝影機一類的影像感測器之安裝位置和解析度有較嚴格的 要求外，亦需要求系統管理人事先登錄系統使用者，當系統安裝的位置外人可自由經過或是出入時，例如是公司的大門時，或是當系統使用者配載口罩或是繃帶時，皆會造成系統的誤判，亦不是一有效的入侵偵測系統。

為了解決上述需事先登錄合法使用者或是誤判率過高之缺失，本案提出一影像式小偷偵測裝置、方法、系統，利用小偷在短時間行竊時常造成場所內的擺設受改較大幅度改變之行為特性，判別是否有小偷正在行竊，若有則可發出示警訊息通知警衛、保全，或是發出燈光、聲響以嚇跑小偷，具備低成本、簡單、易用之功效。

一種影像圖框式小偷行竊分析裝置，包含：一前景物件區域與背景物件區域產生裝置，用以從一場景的一或多個圖框中偵測出前景物件區域和背景物件區域；一入侵區域產生裝置，和該前景物件區域與背景物件區域產生裝置相連，用以取得在一時間區間內該一個或多個圖框之該前景物件區域之聯集，以產生入侵區域；一凌亂區域產生裝罝，和該前景物件區域與背景物件區域產生裝置和該入侵區域產生裝置相連，用以從該入侵區域中確認出背景已發生變化的區域，以產生凌亂區域；一判別裝置，和該入侵區域產生裝置和該凌亂區域產生裝置相連，當該凌亂區域的面積滿足一定條件後發出示警訊息。

一種影像圖框式小偷行竊分析方法，包含：一前景物件區域與背景物件區域產生步驟，用以從一場景的一或多個圖框中偵測出前景物件區域和背景物件區域；一入侵區域產生步驟，用以取得在一時間區間內該一個或多個圖框之該前景物件區域之聯集，以產生入侵區域；一凌亂 區域產生步驟，用以從該入侵區域中確認出背景已發生變化的區域，以產生凌亂區域；一判別步驟，當該凌亂區域的面積滿足一定條件後發出示警訊息。

100:受監控場所

102a、102b:影像擷取裝置

104a、104b、104c:場所空間

106a~106c:區域

108a~108d:牆面

200,200-r,200-y,200-g:圖框分析裝置

202:前景物件區域與背景物件區域產生裝置

2022:活動量排除區域產生裝置

2024:參考背景圖框產生裝置

204:入侵區域產生裝置

2042:前景物件區域前處理裝置

2044:前景物件區域後處理裝置

206:凌亂區域產生裝置

2062:權重參數產生裝置

208:判別裝置

2082:示警裝置

210:匯流排裝置

212a~212b:輸出輸入裝置

214:電源裝置

216:資料儲存裝置

218:資料處理裝置

250:使用者輸出輸入裝置

260a、260b:連接裝置

300、300a、300b:圖框

310a、310b:前景物件區域(人體)

312a~318a、312b~318b:前景物件區域(人體各部)

320:前景物件區域之聯集區域

330:前景物件區域之聯集區域的空洞區域

400:圖框

410a~410c:牆面、地板

420~442:傢俱擺設

450:前景物件區域(小偷)

452:入侵區域(含前景物件區域)

452’:入侵區域(不含前景物件區域)

454:凌亂區域

40:整合式影像擷取裝置與圖框分析裝置

44:擴音器

42:指示燈及/或試測鍵

500:第一小偷行竊偵測流程

S502~S508:步驟

600:圖框

640:窗戶

650,650-1,650-2:前景物件區域

652:入侵區域(含前景物件區域)

654:凌亂區域

700:第二小偷行竊偵測流程

S702~S708,S7022~S7026,S7042~S7044:步驟

圖1 系統構成圖

圖2 前景物件區域與入侵區域關係圖

圖3 第一前景物件區域、入侵區域、凌亂區域關係圖

圖4 整合式影像擷取裝置與圖框分析裝置外觀圖

圖5 第一小偷行竊偵測流程圖

圖6 第二前景物件區域、入侵區域、凌亂區域關係圖

圖7 第二小偷行竊偵測流程圖

圖8 警戒級別關係圖

[常用術語定義]

一般而言，術語「上、下」、「前、後」、「先、後」、「左、右」僅代表物體間相對方向、位置，並不代表其在實際空間中出現的位置，惟該發明所屬技域中其有通常知識者應明顯知悉，說明書中部分提及「上、下」之段落，其係指物體受重力而產生自由落體的運動方向；此外，術語「前、後」、「先、後」在特定情況下亦可能和術語「早、晚」同義，用以描述事件發生的順序或是時間關係，該發明所屬技域中其有通常知識者應可輕易分辨。

術語「連接」等同術語「耦合」，其係指不同元件間包含有 下列(但不局限於)一者或多者之列舉關係：機械結構、空間位置、時間順序關係，亦可係指不同元件間係可能以下列(但不局限於)一者或多者之列舉形態進行資訊之傳送或是交換：電學、磁學、電磁學、光學、力學、熱力學、化學；此外，該「連接」關係並不僅係代表二元件間不存在其它元件之「直接連接」關係，亦可代表二元件間存在其它元件之「間接連接」關係；另外一方面，術語「電連」則是強調二元件間以電學(特別是電壓、電流)方式連接及/或交換資料。

發明書、圖、申請專利範圍中若出現使用如「第一」、「第二」一類之有序數修飾用語，其僅是為了便於識別元件(或裝置、步驟)，在一部分情況下，被上述有序數修飾之元件彼此間是相同的，或是存在一部分差異，但此差異並不會導致元件間無法彼此交互置換，亦代表元件間不具有任何型態的連接、相依度、處理先後關係。在另一部分情況下，被上述有序數修飾之元件彼此間是不同的而無法彼此交互置換，亦代表元件間具有特定型態的連接、相依度、處理先後關係。另一方向，發明書、圖中的符號數字，其目的僅是為了便於說明，數字的排序並不一定代表數字所對應的文字具有特定型態的連接、相依度、處理先後關係。該發明所屬技術領中具有通常知識者可輕易依據上下文段落所揭露之情況，輕易推知係屬何種情況，而不需於再一一說明。

術語「圖框」等同於術語「畫框」、「畫格」，其係一種二維資料體，用來計錄一特定時間點下由影像擷取裝置所擷取到的資料，故一視訊(video)資料可視為具有時間先後關係的一連串圖框所組成。

[第一實施例]

參照圖1，圖1是較佳實施例之系統使用架構圖，其包含一受監控場所100、一圖框分析裝置200、一使用者輸出/輸入裝置250、一個或多個連接元件260a、260b，其中受監控場所100可代表使用者之臥室，惟並不以此為限，在一實際例中該受監控場所100並不具備如牆壁一類的隔間物，而係一戶外場所，例如戶外停車場，在另一實施例中，該受監控場所100可以可以泛指各種使用者所要監控的地點和範圍。

使用者可在受監控場所100中安裝一個或多個影像擷取裝置102a、102b，(以下簡稱影像擷取裝置102)，用以擷取受監控場所100裡一個或多個圖框資料。在一實施例中，該影像擷取裝置102係指一相機、一攝影機、一手機，且可能具備左右轉動(pan)、上下傾斜(tile)與縮放(zoom)之PTZ功能。在另一實施例中，影像擷取裝置102所擷取的內容並不以可見光或紅外光為限，而可以是場所100內的任何物理或化學特性，只要能使用如螢幕一類的顯示裝置顯示出該特性在房間中的分布情況即可，故亦可係一利用光學或是聲學變化來估算物體深度的深度攝影機。

在一實施例中影像擷取裝置102可依時間順序關係以一定取樣頻率定期擷取圖框資料，上述取樣頻率可以係0.5fps、1fps、2fps、5fps、15fps、29.97fps、30fps、60fps，惟不以上述列舉之取樣頻率為限；在另一實施例中該取樣頻率並不固定而可隨一定條件而調整，該條件可以是影像擷取裝置102是否由電池或是外部電源之供電情況而定，該條件亦可以是裝置在此受監控場所100之其它種類之感測器或是遠端裝置所提供之環境氣溫、環境亮度、是否有入侵者...等資訊而定。

受監控場所100被安裝多個影像擷取裝置102時，影像擷取 裝置102可含蓋部分相同的視野範圍，致使由不同影像擷取裝置102所擷取的圖框資料中可包含部分相同的內容。例如影像擷取裝置102a之視野範圍包含場所空間104a、104b，影像擷取裝置102b之視野範圍包含場所空間104c、104b，亦即影像擷取裝置102a、102b之共同視野範圍為場所空間104b。當場所空間104a、104b、104c內無擺放任何家具或是任何會防礙光線傳播之物體時，影像擷取裝置102a所擷取到的圖框內容係牆面108b之區域106a、106b，影像擷取裝置102b所擷取到的圖框內容係牆面108b之區域106c、106b，故影像擷取裝置102a、102b所擷取到的圖框內容皆包含區域106b。

在另一實施例中，不同影像擷取裝置102所擷取的圖框資料中並不包含相同的內容而只具有相鄰的內容，致使影像擷取裝置102a、102b所擷取到的圖框僅共用圖框之部分邊緣資訊，區域106b近似0。

在此特別強調，在本實施例中是以由上而下的俯視(bird view)方式來繪製圖1受監控場所100內之各項元件，圖1的受監控場所100中影像擷取裝置102是被固著於一牆面上，固著高度約略等於正常成年入之眼睛高度，然實際使用情況中影像擷取裝置102可固著於任何使用者覺得方便、隱密的位置，例如是天花板，且影像擷取裝置102可能具備紅外光LED、白光LED一類的輔助光源，或是使用廣角鏡頭、超廣角鏡頭、魚眼鏡頭一類的裝備來增加影像擷取裝置102之視野範圍，亦或是具備自動光圈以調整影像擷取裝置102之進光量，而不以圖1所例示之元件及其安裝關係為限。另一方面，若受監控場所100內具有多個影像擷取裝置102，則各影像擷取裝置102可能具有自己的安裝位置、解析度、視野範圍，惟各影 像擷取裝置102所擷取到的圖框資料需可讓一影像接合(stitch)裝置進行接合處理，以產生例如全景(panorama)之圖框資料，亦或是提供同一背景物件之不同視角的圖框資料。

當影像擷取裝置102擷取到圖框後，即可利用和影像擷取裝置102相連之連接裝置260a把上述所擷取到的圖框傳送到圖框分析裝置200，以判別受監控場所100中是否出現正在偷竊的小偷，在一例示情況下，圖框分析裝置200可把未經處理的原始資料(如影像擷取裝置102所擷取到的圖框)、處理過程中的過渡資料(如前景物件區域資料)、處理完成後的最終資料(如是否發現小偷)經由和圖框分析裝置200相連之連接裝置260b傳送到使用者輸出輸入裝置250，以讓使用者、警衛、保全能了解受監控場所100之情況，而使用者、警衛、保全亦可利用使用者輸出輸入裝置250傳送操作指令到圖框分析裝置200或是影像擷取裝置102。

圖框分析裝置200可以是電腦相關資訊裝置，包括但不局限於桌上型電腦、筆記型電腦、掌上型電腦、行動電話、可攜式裝置，亦可以是一晶片相關產品，例如是CPU、GPU、DSP、FPGA、客制化晶片(asic)。圖框分析裝置200包含前景物件區域與背景物件區域產生裝置202、入侵區域產生裝置204、凌亂區域產生裝置206、判別裝置208，更可選擇性地包含活動量排除區域產生裝置2022、參考背景圖框產生裝置2024、前景物件區域前處理裝置2042、前景物件區域後處理裝置2044、權重參數產生裝置2062、示警裝置2082、匯流排裝置210、輸出輸入裝置212a~212b、電源裝置214，惟必須強調的是上述的配置命名方式僅係方便說明本實施例，實際利用情況並不以此為限，該發明所屬技術領域中具有通常知識者 可輕易地把其中一個裝置分解為多個裝置，亦可以把多個裝置組成一個裝置，亦可以配置多個具有相同功能的裝置，讓前述裝置可以平行運作，亦可使用如管道(pipeline)、執行緒(thread)一類的方式來實現上述一個或多個裝置之功能時，上述修改方式皆在本說明書之保護範圍之內。

前景物件區域與背景物件區域產生裝置202可經由輸出輸入裝置212a接收影像感測裝置102所擷取到的一個或多個圖框(以下簡稱圖框)，並運行一物件偵測(object detection)、前後景分離之演算法，以從受監控場所100的一個或多個圖框中偵測出前景物件區域和背景物件區域。其中前景物件區域係泛指圖框中具活動量(motion)之區域，背景物件區域係指圖框中扣除該前景物件區域外的其它區域，當圖框中無任何前景物件區域，則背景物件區會等同於整個圖框。前述物件偵測、前後景分離之演算法可例如利用至少二張時間序列上相鄰的圖框相減後的差值圖框，當差值圖框上之特定像素(pixel)之絕對誤差值大於一定臨界值即代表上述特定像素是前景物件區域，反之則視為是背景物件區域，其中上述臨界值在一實施例中可以0。

在此強調，前段所提及之前後景分離之演算法僅是一計算量較小的習知技術，該發明所屬技術領域中具有通常知識者可以使用任何具物件偵測或前背景分離之演算法來完成前景物件區域與背景物件區域產生裝置202，而不以前段所提及之技術而限，例如該演算法可以係邊緣偵測技術、顏色偵測法，可以是視訊壓縮領域中常見的運動估算(motion estimation)技術，亦可以是光流(optical flow)法。

在一較佳實施例中，前景物件區域係指具活動量之區域， 該活動量係特別指因入侵者之人體、器具(如推車、頭燈)所產生活動量，而不包含受監控場所100內物體本身、自然現象所產生的活動量，故在一較佳實施例中，活動量排除區域產生裝置2022可選擇性地與前景物件區域與背景物件區域產生裝置202相連，使用者可利用使用者輸出輸入裝置250來設定受監控場所100或是圖框中需排除的場所空間或是區域，該排除的場所空間或是區域可以例如是二十四小時運作的時鐘、可看到戶外交通的窗戶、受到日光照射到的地板。除此之外，活動量排除區域產生裝置2022亦可以主動或半主動方式來設定受監控場所100或是圖框中需排除的空間、區域、物件，例如可使用一模板比對(template match)法來排除一可定時啟動的自走式掃地器。

在一較佳實施例中，參考背景圖框產生裝置2024可選擇性地與前景物件區域與背景物件區域產生裝置202相連，參考背景圖框產生裝置2024內部包含如dram、flash、硬碟一類的記憶儲存裝置(未繪製)以儲存參考背景圖框，該參考背景圖框可能是由前景物件區域與背景物件區域產生裝置202所提供的不含任何前景物件區域的圖框，亦可能是使用者利用使用者輸出輸入裝置250從眾多不含任何前景的圖框所挑選出之特定圖框，亦可能是使用者經由使用者輸出輸入裝置250所輸入的參考圖資，該參考圖資可能係由不同於影像擷取裝置102的其它影像擷取裝置所擷取，且非限定是以圖框格式來表示受監控場所100無小偷時的情況。

在一較佳實施例中，參考背景圖框產生裝置2024內所儲存的圖框數或是圖資數可以大於1筆，例如可以儲存不同時刻點或光照量時的參考圖框，當攝影機具有PTZ功能時，則更可儲存不同左右轉動、上下 傾斜與縮放特性的參考背景圖框。

需再度強調的是前景物件區域與背景物件區域產生裝置202可包含其它的功能，例如可運行如去雜訊、強化一類的前處理運算，亦可以運行如高斯混合模型(Gaussian mixture model，GMM)一類的背景修正運算，而不以說明書中所提及的功能、運算或演算法為限。

入侵區域產生裝置204可和前景物件區域與背景物件區域產生裝置202相連以取得(get)及/或接收(receive)在一個或多個圖框之前景物件區域資訊，在一較佳情況下，前述前景物件區域資訊是取自一時間區間內的多個圖框，之後再針對不同圖框中的前景物件區域進行聯集(union)運算，以產生入侵區域，其中上述時間區間並不以時分秒為限，亦可以採用圖框框數，且此時間區間的結束計時點可以是前景物件消失的時點或是較前景物件消失時點略為延後的時點，此時間區間的開始計時點可以是前景物件出現的時點或是較前景物件出現時點略為提前的時點，且可容許前景物件多次進出圖框區域。

請參考圖2a所示之前景聯集運算示意圖，圖框300a內包含一例示性前景物件區域(object region)310a，且不繪製任何背景物件，前述前景物件區域310a在人類認知及/或語意上是一人體之簡化圖，且在繪製時僅繪製前景物件區域(即入侵者之人體)的較重要邊緣、輪廓，而忽略衣著、顏色、陰影等變化，此人體包含一頭部312a、一頸部314a、一軀幹部316a、一腳腿部318a，又因為圖2a係假設人體的側面正對影像擷取裝置102，故在軀幹部316a內部另具有一臂手部317a，類似地，圖框300b內包含一例示性前景物件區域310b，其包含一頭部312b、一頸部314b、一軀幹部 316b、一腳腿部318b、一臂手部317b。

掫取圖框300a之時間點略晚於圖框300b之時間點，在一較佳情況下此一延誤時間為一張圖框的取樣間隔，亦即前景物件區域310a和前景物件區域310b實際上並不會出現在同一張圖框中，惟為了便於說明，特別把前景物件區域310a、310b繪於同張圖框300中，此外，前景物件區域310a~310b間僅產生位移運動，前景物件區域310a和前景物件區域310b實際上皆具有相同的邊緣、輪廓，只因前景物件區域310a~310b會同時佔用圖框中部分像素(即前景物件區域310a~310b會部分重疊)，故前景物件區域310b只繪出部分的邊緣、輪廓，在此補充說明。

在一實施例中，入侵區域產生裝置204的時間區間設為2圖框，則如圖2b所示，先把一前景物件區域310a繪製於一空白、無背景物件區域圖框300上，再把另一前景物件區域310b繪製於同一圖框上，且覆蓋部分原先已在圖框的前景物件區域，故圖2b之右上左下斜線區域即是前景物件區域310a~310b進行聯集運算後的聯集區域，並將此聯集區域設定為一入侵區域320，代表前景物件(即入侵者)曾在此區域中活動，需要進一步地分析，以確定該前景物件是要進行行竊的小偷，或是正常使用者、無害的第三者，但圖框分析裝置200在一實施例中不會去區分正常使用者或是無害的第三者，以節省需事先登錄正常使用者之工作量。惟需特別強調，圖框分析裝置200亦可和利用事先登錄之正常使用者資料(例如人臉)之影像識別裝置協同工作，例如即使圖框分析裝置200判定目前入侵者正在行竊中，仍會因前景物件的身份是合法使用者，而不發出示警訊息，或是雖發出示警訊息而可充許合法使用者利用專屬的密碼進行解除，皆係技術上可 行之態樣。

參考圖2a，在部分情況下，頭部312a、頸部314a、軀幹部316a、腳腿部318a等人體各部分是彼此相連的，然在部分情況下，人體各部分並不總是能被完整偵測而有殘缺現像，例如無法偵測到圖2a圖框300a內的頸部314a，故在一較佳實施例中，圖框分析裝置200可選擇性包含有前景物件區域前處理裝置2042，其和該入侵區域產生裝置204相連，並可運行一個或多個演算法，用以施加一前處理至單張圖框的各個前景物件區域以融合或分裂該前景區間。在本例中，前景物件區域前處理裝置2042可以運行一個或多個演算法，用以產生原本不存在且可連接頭部312a和軀幹部316a的虛前景物件區域，該虛前景物件區域的位置可以恰好和頸部314a的位置相同，當然亦可不相同而存在誤差。在一較佳實施例中，前述一個或多個演算法可以是連通元件(connected component)、分水嶺法(watershed)，用以把較小的前景物件區域組合成一個較大前景物件區域，並移除和入侵者無關而應屬於背景物件的區域，但不以此為限。

請參考圖2b，在某些情況下，例如影像擷取裝置102的圖框擷取頻率不足時，圖框分析裝置200即使已選擇性啟用致能前景物件區域前處理裝置2042，仍可能會產生如圖2b之左上右下斜線之空洞區域330，其代表前景物件(即入侵者之人體)曾在此區域中活動卻不被視為是聯集區域。在一較佳實施例中可選擇性包含前景物件區域後處理裝置2044並和該入侵區域產生裝置204相連，以調整、填充該空洞區域，使得經後處理的入侵區域是由區域320和區域330所組成。該後處理係可以係依據空洞區域鄰近的入侵區域的寬度、厚度是否大於一定值及/或空洞區域的面積小於一 定值來判斷，若是則可把此空洞區域視訊是入侵區域的一部分，但不以此為限，例如該後處理亦可以取自型態學(morphology)，特別是取自型態學的膨脹(dilation)與收縮(erosion)運算。

請參考圖2c，在一較佳實施例中，前景物件區域並不是以人體310a或是人體各部分312a~318a的邊緣來表示，而可以使用如矩形、橢圓形一類之簡單幾合圖形外框來包圍人體310a，並讓此外框恰好包圍人體310a。在一較佳實施例中，此外框可略為向外擴張，用以形成一入侵者用手、器材(如棍子)所能碰觸的區域，或是形成一物品可能被拋擲的範圍，此向外擴張幅度可以是一百分比，也可以是代表人類手臂的長度或是物品可能被拋擲的範圍，但不以此為限，且各方向的擴張情況可不同。

請參考圖3a之一圖框400，因圖框400此時尚未受到小偷入侵行竊而可視為是一背景參考圖框，其例示的受監控場所100為使用者臥室之一角，桌子420緊靠牆面410a~410b和地板410c，床鋪430緊靠牆面410b和地板410c，牆面410b上另掛附一幅畫作440，用以遮掩安裝於牆面410b的保險箱442，桌子420的容置空間內具有多個如抽屜般的槽狀物422、422a(以下簡稱422)，上述槽狀物422可以推拉方式啟閉，並在桌面上可擺放一些物品424，床鋪430內亦具有一容置空間432且轉軸(未繪製)設於右側，使用者可以順時針方向掀開床板而取用放置在容置空間432的物品。

由於行竊時間越長小偷被剛好返回的使用者發現的機率越高，在一些情況下小偷會直接取走他所最容易發覺的物品，例如桌子420上的物品424，並會試圖查看受監控場所100中所有容置空間內的物品，但 因時間因素，小偷往往會如圖3d所示維持容置空間開啟的狀態，甚至把原本收納於容置空間的物品雜亂地散控放受監控場所100各處。

請參考圖1，圖框分析裝置200內的凌亂區域產生裝罝206可入侵區域產生裝置204和前景物件區域與背景物件區域產生裝置202相連，在一較佳情況下可以參考背景圖框產生裝置2024相連，以分別取得(get)及/或接收(receive)入侵區域和參考背景圖框，並從該入侵區域中確認出背景已發生變化的區域，以產生代表小偷入侵所導致的凌亂區域。

請參考圖3a~3d，假設小偷是以先左再右再回到左的順序來進行偷竊，圖3b顯示一圖框，其例示一小偷(前景物件)已偷竊完桌子420並正準備偷竊床鋪430，而槽狀物422皆已被開啟，因在本實施例中是用矩形外框來標明小偷的物置，故區域452即代表小偷所行經的入侵區域，在一實施例中，入侵區域並不包含小偷目前所在的區域450，亦即(較精確)入侵區域僅是淺色波浪之區域452’，另外，深色之區域454是區域452’和參考背景圖框之差異處，其代表因小偷行竊導致原有物品產生凌亂現象的凌亂區域，其中如何由二張圖框中找尋它們的相異處係該發明技術領域的習知技術，故不在此詳述，另外，區域452恰好和區域452’、450之聯集重疊，圖中僅為清楚說明而分開繪制，一併說明。

圖3c顯示一圖框，其例示一小偷亦已完偷竊完床鋪430，槽狀物422和床鋪430皆已被開啟，此時區域452即代表小偷所行經的入侵區域，在一實施例中，入侵區部並不包含小偷目前所在的前景物件區域450，亦即入侵區域僅是區域452’，此外，區域454中是區域452’和參考背景圖框之差異處，亦即是凌亂區域。

判別裝置208可和入侵區域產生裝置204、該凌亂區域產生裝罝206相連，判別裝置208可依據凌亂區域產生裝置206所分析出的凌亂區域特性，較佳實施例中可配合由入侵區域產生裝置204所分析出的入侵區域特性一起分析，判定受監控場所100是否已遭到偷入侵，若是則產生示警訊息，此示警訊息可能使圖框分析裝置200內建或外接的示警裝置2082發出如燈光、聲響一類的警告效果，亦可和保全系統連動，此外，示警訊息亦可以經由輸出輸入裝置212b、連接裝置260b而被傳送及/或被接收到使用者輸出輸入裝置250，由在使用者輸出輸入裝置250附近的使用者、警衛、保全進行確認，以排除假警報。

前述凌亂區域特性、入侵區域特性可以是面積的大小，而判別裝置208判別是否發出示警訊息的法則可以由下列條件選擇、組合而成，但不以止為限：凌亂區域之面積要大於一定值、入侵區域之面積要大於一定值、凌亂區域之面積除以入侵區域之面積的比值大於一定值。

在一較佳的實施例中，權重參數產生裝置2062可選擇性和凌亂區域產生裝置206相連，讓使用者可以針對不同的背景物件區域設定不同的權重，例如圖3a中桌子420之區域的權重為3，床鋪430之區域的權重為2，牆面410a~410b(不含畫作440)、地板410c之區域的權重為1或0，甚至若若擺設物具有可動部分，可把該可動部分在不同位置設定不同的權重，使得判別裝置208可依據加權後的資料進行判別，加權運算係該發明技術領域的習知技術，故不在此詳述，權重數值則可依使用者經驗或是實驗結果而決定，不受上述實施例列舉數值所局限。

在一較佳的實施例中，為增加影像擷取裝置102之視野所使 用的廣角鏡頭、超廣角鏡頭、魚眼鏡頭...等光學設備會引發圖框畫面的失真，在一些影像處理裝置上可先用校正板獲得光學設備的形變情況，即光學設備的調制轉換函數(Modulation Transfer Function，MTF)，再產生一反形變函數或矩陣來修正此形變情況。故可由權重參數產生裝置2062內的演算法完成權重計算，上述演算法可以是一可修正光學形變的演算法則，例如是調制轉換函數的反矩陣，但不以此為限。

在另一較佳實施例中，上述演算法可根據入侵區域產生裝置204之入侵區域特性自動調整權重參數，例如入侵區域的上半部權重會大於下半部的權重，在一更進階的實施例中，入侵區域中小偷手部所能涵蓋的區域之權重會大於手部區域不能涵蓋的區域，而手部區域之資訊則可以由前景物件區域與背景物件區域產生裝置202內的演算法提供。

參考圖1，雖然圖框分析裝置200具有二輸出輸入裝置212a~212b，用以分別和連接裝置260a、260b相連，讓輸出輸入裝置212a專門透過連接裝置260a和影像擷取裝置102相連並交換資訊，並讓輸出輸入裝置212b與其它設備的交換資訊，特別是透過連接裝置260b以和使用者輸出輸入裝置250交換資訊，然而上述區分僅是解說方便，實際並不以此為限，例如該發明所屬技術領域中具有通常知識者可輕易地將輸出輸入裝置212a~212b合併成為一個輸出輸入裝置212(未繪制)。

圖框分析裝置200中裝置202~208是以專用的連接管道進行資訊的傳送，然並不以止為限，例如圖框分析裝置200中亦可具有裝置間共用的匯流排裝置210，讓裝置202~208可透過匯流排裝置210進行資訊交換，當然圖框分析裝置200中亦可同時具備共用和專屬的資訊交換用連接 管道，而不會產生衝突。

圖框分析裝置200中可具備電源裝置214，上述電源裝置214可以包含交流電連接裝置、直流電連接裝置、可充電式電池、不可充電式電池、光電轉換裝置、無線充電裝置之一者或多者之組合，例如當交流電中斷無法供電時，則由可充電式電池池供電，而此可充電式電池則可利用交流電或光電轉換裝置來充電。

圖框分析裝置200中可具備資料儲存裝置216，以儲存其它裝置運算時所需的暫時性、中繼性資料，或是各種使用者日後利用使用者輸出輸入裝置250所要查看看的資料。此外，圖框分析裝置200中可具備資料處理裝置218，不屬於裝置202~208之功能可交由資料處理裝置218來運行，例如操作模式的判別，使得外部電源正常供電時，圖框分析裝置200以第一操作模式來運行，當外部電源無法供電時，圖框分析裝置200以第二操作模式來運行，以求降低電力的消耗量。

請參考圖1，使用者輸出輸入裝置250可向使用者顯示圖框分析裝置200之未經處理的原始資料(如影像擷取裝置102所擷取到的圖框)、處理過程中的過渡資料(如前景物件區域資料)、處理完成後的最終資料(如是否發現小偷)，亦可利用輸入裝置傳送操作指令到圖框分析裝置200及/或影像擷取裝置102，以設定圖框分析裝置200的參數或是PTZ攝影機的左右轉動、上下傾斜與縮放特性。

連接裝置260a~260b係用來連接圖框分析裝置200與影像擷取裝置102、使用者輸出輸入裝置250，連接的方式可以有線或無線方式進行，有線的方式包含但不局限於乙太網路、電力線網路...等方式，無線的 方式則包含但不局限於藍牙、wifi、行動通訊網路，且傳輸方式包含一對一之單點模式、一對多之多點模式、及時(real-time)、非及時(non real time)等模式。連接裝置260a~260b除了具備資料傳送的功能外，在一實施例中，連接裝置260a~260b亦具有資料暫存及/或儲存上述被傳送資料的功能。在另一實施例中，連接裝置260a~260b實體上並不存在，連接裝置260a~260b的功能可被轉移到影像擷取裝置102、圖框分析裝置200、使用者輸出輸入裝置250上，使得影像擷取裝置102、圖框分析裝置200、使用者輸出輸入裝置250可直接連接。

圖4之例示一圖框分析裝置200和影像擷取裝置102結合後之外觀，其和一般的火災煙霧警報器並無明顯差異，可把將影像擷取裝置102裝設在LED工作狀態指示燈及/或試測鍵42上，圖框分析裝置200則安裝於火災警報器內部之基板上，並可以無線傳輸方式和使用者輸出輸入裝置250進行連接、資訊交換，除外，圖框分析裝置200亦可和火災警報器之擴音器44相連以發出示警訊息，而不用再額外建立專屬的擴音器。

圖5是圖框分析裝置200所運行的第一小偷行竊偵測流程500，依序執行下列步驟：前景物件區域與背景物件區域產生步驟S502，從一受監控場所的一或多個圖框中偵測出前景物件區域和背景物件區域。

入侵區域產生步驟S504，取得在一時間區間內該一個或多個圖框之該前景物件區域之聯集，以產生入侵區域。

凌亂區域產生步驟S506，從該入侵區域中確認出背景已發生變化的區域以產生凌亂區域。

判別步驟S508，若入侵區域、凌亂區域具有特定條件則發出示警訊息，上述特定條件可以由下列條件選擇、組合而成，但不以止為限：凌亂區域之面積要大於一定值、入侵區域之面積要大於一定值、凌亂區域之面積除以入侵區域之面積的比值大於一定值；其中一較佳情況是凌亂區域之面積除以入侵區域之面積的比值大於一定值，一最佳情況是凌亂區域之面積要大於一定值，且入侵區域之面積要大於一定值，且凌亂區域之面積除以入侵區域之面積的比值大於一定值。

[第二實施例]

圖6a例示的受監控場所100為使用者臥室之一角，圖框600是由一預設條件和圖3中相同的影像擷取裝置102所擷取，臥室內之擺設大部分和圖3a例示的臥室相同，差異處在於圖框400中擺設畫作440之位置已被一面面對馬路的窗戶640所取代，故圖6a中相同的擺設均沿用圖3a之元件編號而不另外說明；圖6a和圖3a另一個差異在於桌子420的槽狀物422a內放置現金、黃金、珠寶等小體積又易攜帶之貴重物，使用者利用權重參數產生裝置2062將槽狀物422a設定為最高權重，以發揮早期警報、保護重要區域之功效。

在一實施例中，前景物件區域與背景物件區域產生裝置202僅使用相鄰訊框間的運動向運來識別前景，並設定出現前景物件區域的圖框之前一圖框為參考背景圖框，並將其儲存在參考背景圖框產生裝置2024中，因活動量排除區域產生裝置2022並未被致能啟用，故由臥室外之馬路經過之行人會出現於窗戶640中而被識別為前景物件區域650，如圖6b~6c所示，由於行人僅是由馬路上經過而入侵到臥室中，更未移動臥室內之擺 設，因此其所產生的入侵區域如圖6c之區域652所示，凌亂區域區域則為0，故判別裝置208不會將前景物件區域650視為是小偷，而只視為是使用者或是無害第三者。

圖6d則例示在另一情況，此時有二位小偷打算侵入臥室來行竊，且已有一人已成功侵入到臥室中，然因二位小偷彼此相距不遠，前景物件區域與背景物件區域產生裝置202可能將其視為是同一前景，但因二小偷入侵後的肢體動作或是移動方向並未完全相同，如圖6e所示，其中一位往左另一位往右，故前景物件區域前處理裝置2042可將其分割為二個前景物件區域650-1、650-2，其中二位小侵所造成之入侵區域和凌亂區域則分別以區域652、654表示，由於入侵區域面積已達一定值及/或凌亂區域面積已達一定值及/或凌亂區域面積除以入侵區域面積之比值已達一定值，判別裝置208會將前景物件區域650-1、650-2視為是小偷。

圖6f例示和圖6e近似的情況，不同之處在於為了降低計算量而致能啟用活動量排除區域產生裝置2022，故窗戶已被設定為排除的入侵區域，以產生較小範圍的入侵區域。

圖6g例示和圖6f近似的情況，不同之處在於房間內各項擺設的位置已事先完全3d建模工作，並將3d模型映射到圖框中的各項背景物件上，小偷在開啟桌子420的槽狀物422a的當下，影像擷取裝置102因視覺遮蔽無法擷取到槽狀物422a被開啟的圖框。在一實施例中，使用者可於臥室中不同位置裝置第二影像擷取裝置102b，以確認槽狀物422a是否曾被開啟過，若是曾被開啟，則可把圖框6h之槽狀物422a標記為凌亂區域，因此即使小偷在離開前關閉之前開啟的槽狀物422a，槽狀物422a區域仍可被標 記凌亂區域。在另一實施例中，亦可使用附著於桌子或槽狀物422a上的啟閉偵測裝置、或是房間中其它偵測裝例如紅外線感測器來提供背景物件區域改變的資訊，並不一定需加裝影像擷取裝置102b。

圖7是圖框分析裝置200所運行的第二小偷行竊偵測流程700，其基本流程和第一小偷行竊偵測流程500近似，差異處在於可依需求啟用圖分析裝置200中的部分可選擇裝裝置，執行下列步驟：參考背景圖框產生步驟S7022，產生給凌亂區域產生裝置206分析所使用的參考背景圖框，在一實施例中，此參考背景圖框亦可提供給前景物件區域與背景物件區域產生步驟S702使用，以偵測出前景物件區域。

活動量排除區域產生步驟S7024，產生不在判別步驟708中進行分析之區域，在一實施例中，可選擇性地在上述活動量排除區域不運行步驟S7026~S706。

權重參數產生步驟S7026，針對不同的影像區域產生不同的權重參數，讓判別步驟S708可進行加權運算。

前景物件區域與背景物件區域產生步驟S702，從一受監控場景的一或多個圖框中偵測出前景物件區域和背景物件區域。

前景物件區域前處理步驟S7042，對前景物件區域與背景物件區域產生步驟S702所偵測出之前景物件區域進行分割與合併之運算，以形成語意上之前景物件區域。

入侵區域產生步驟S704，取得在一時間區間內該一個或多個圖框之前景物件區域之聯集，以產生入侵區域。

前景物件區域後處理步驟S7044，針對前景物件區域之聯集內存在的空洞進行填補空洞之動作。

凌亂區域產生步驟S706，從該入侵區域中確認出背景已發生變化的區域以產生凌亂區域。

判別步驟S708，若入侵區域、凌亂區域具有特定條件則發出示警訊息，上述特定條件可以由下列條件選擇、組合而成，但不以止為限：凌亂區域之面積要大於一定值、入侵區域之面積要大於一定值、(凌亂區域之面積/入侵區域之面積)之比值大於一定值；其中一較佳情況是凌亂區域之面積除以入侵區域之面積的比值大於一定值，一最佳情況是凌亂區域之面積要大於一定值，且入侵區域之面積要大於一定值，且凌亂區域之面積除以入侵區域之面積的比值大於一定值。

在圖7所例示的第二小偷行竊偵測流程700中，參考背景圖框產生步驟S7022、活動量排除區域產生步驟S7024、權重參數產生步驟S7026可在圖框分析裝置200被購買或是第一次被安裝使用時，由使用者利用使用者輸出輸入裝置250進行設定，然並不以此為限，例如參考背景圖框產生步驟S7022可和前景物件區域與背景物件區域產生步驟S702結合，而可在步驟S702之後或之前運行，活動量排除區域產生步驟S7024可和前景物件區域與背景物件區域產生步驟S702結合，而可在步驟S702之後或之前運行，權重參數產生步驟S7024和判別步驟S708結合，而可在步驟S708之前運行，且參考背景圖框產生步驟S7022、活動量排除區域產生步驟S7024、權重參數產生步驟S7026等步驟都可由演算法自動決定，而不必由使用者輸入。

[第三實施例]

為了省電，影像擷取裝置102和圖框分析裝置200每秒所擷取和分析的圖框數是可變動的，例如係0.5fps、1fps、2fps、5fps、15fps、29.97fps、30fps、60fps，而且影像擷取裝置102所擷取的圖框數和圖框分析裝置200每秒所分析的圖框數是相等及/或不相等的，例如，圖框分析裝置200可省略不處理部分圖框，使得圖框分析裝置200每秒分析圖框數低於影像擷取裝置102所擷取的圖框數，以省略額外控制影像擷取裝置102每秒擷取圖框數的控制電路或裝置。

在一實施例中，圖框分析裝置200每秒所分析圖框數可隨警戒級別而有不同的變動，例如綠色級別可以是1fps，黃色級別可以是5fps，紅色級別是30fps，而且圖框分析裝置200可接收由其它圖框分析裝置200或是其它入侵偵測裝置的訊息，而自動改變警戒級別。以圖8為例，圖中25個圖框分析裝置200分別被安裝於不同的受監控場所，且原本均設定為綠色級別，但正中央位置的圖框分析裝置200-r因為發現小偷在行竊而使警戒級別升高為紅色級別，並送出訊號讓和圖框分析裝置200-r相鄰的八個圖框分析裝置200-y升高為黃色級別，而位於更外圍且和圖框分析裝置200-y相鄰的16個圖框分析裝置200-g則維持綠色級別。

在圖8之實施例中雖以距離或是相鄰與否等條件設定警戒級別，惟不以此為限，例如可依照圖框分析裝置200所位於的受監控場所100是否有相連通的通道進行設定，此外警戒級別亦不以三級為限，而可以是四級或是五級，而且，在預定情況下，個別圖框分析裝置200所設定之警戒級別亦可不同，例如有窗戶、門等外人容易進入的受監控場所100可設 定為較高級別，其它受監控場所100則設定較低級別。

由於使用者對於家中之擺設較小偷清楚，使用者尋找物品時並不會產生較大範圍的凌亂區域，相對之下，具有時間壓力的小偷則由於不清楚物品的擺放情況，較易產生較大範圍的凌亂區域，利用此行為上的不同，圖框分析裝置200不需事先登錄合法使用者即能正常使用，達成一簡單、易用的裝置。

上述說明書所揭露之內容，僅是為使該發明所屬技術領域中具有通常知識者能具以實施申請專利範圍之技術，惟實際之實施並不以此為限。

S502~S508:步驟

Claims (10)

1. 一種圖框分析裝置，包含：一前景物件區域與背景物件區域產生裝置，用以從一場景的一時間區間內多個圖框中偵測出前景物件區域和背景物件區域；一入侵區域產生裝置，和該前景物件區域與背景物件區域產生裝置相連，用以取得在該時間區間內該多個圖框之該前景物件區域之聯集，以產生入侵區域；一凌亂區域產生裝罝，和該前景物件區域與背景物件區域產生裝置和該入侵區域產生裝置相連，用以從該入侵區域中確認出背景已發生變化的區域，以產生凌亂區域；一判別裝置，和該入侵區域產生裝置和該凌亂區域產生裝罝相連，當該凌亂區域的面積滿足一定條件後發出示警訊息。
2. 一種如請求項1所述之圖框分析裝置，更包含：一權重參數產生裝置，和該判別裝置相連，用以設定複數個權重參數到該圖框中不同區域，該複數個權重參數可對應到複數個權重值，該複數個權重值彼此間並不相等。
3. 一種如請求項1所述之圖框分析裝置，其中該前景物件區域係指具活動量之區域，該活動量係因入侵者之人體、器具而產生；該背景物件區域係指該場景中扣除該前景物件區域外的其它區域。
4. 一種如請求項1所述之圖框分析裝置，更包含一活動量排除區域產生裝置，和該前景物件區域與背景物件區域產生 裝置或該判別裝置相連，用以排除該場景中特定空間、區域、物件所產生的活動量而形成活動量排除區域。
5. 一種如請求項1所述之圖框分析裝置，其中該場景的一或多個圖框係指來自同一空間中一台或多台影像擷取裝置所擷取到的圖框；其中當影像擷取裝置數量大於1時，該多台影像擷取裝置所擷取到的圖框可具有可讓一影像接合(stitch)裝置正常運作或是提供同一背景物件之不同視角的圖框資料之特性。
6. 一種圖框分析方法，包含：一前景物件區域與背景物件區域產生方法，用以從一場景的一時間區間內多個圖框中偵測出前景物件區域和背景物件區域；一入侵區域產生方法，和該前景物件區域與背景物件區域產生方法相連，用以取得在該時間區間內該多個圖框之該前景物件區域之聯集，以產生入侵區域；一凌亂區域產生方法，和該前景物件區域與背景物件區域產生方法和該入侵區域產生方法相連，用以從該入侵區域中確認出背景已發生變化的區域，以產生凌亂區域；一判別方法，和該入侵區域產生裝置和該凌亂區域產生方法相連，當該凌亂區域的面積滿足一定條件後發出示警訊息。
7. 一種如請求項6所述之圖框分析方法，更包含：一權重參數產生方法，和該判別方法相連，用以設定複數個權重參數到該圖框中不同區域，該複數個權重參數可對應到複數個權重值，該 複數個權重值彼此間並不相等。
8. 一種如請求項6所述之圖框分析方法，其中該前景物件區域係指具活動量之區域，該活動量係因入侵者之人體、器具而產生；該背景物件區域係指該場景中扣除該前景物件區域外的其它區域。
9. 一種如請求項6所述之圖框分析方法，更包含一活動量排除區域產生方法，和該前景物件區域與背景物件區域產生方法或該判別方法相連，用以排除該場景中特定空間、區域、物件所產生的活動量而形成活動量排除區域。
10. 一種如請求項6所述之圖框分析方法，其中該場景的一或多個圖框係指來自同一空間中一或多個影像擷取方法所擷取到的圖框；其中當影像擷取方法數量大於1時，該多個影像擷取方法所擷取到的圖框可具有可讓一影像接合(stitch)方法正常運作或是提供同一背景物件之不同視角的圖框資料之特性。

Images