TWI794593B - 物體追蹤裝置、控制方法以及程式 - Google Patents

物體追蹤裝置、控制方法以及程式 Download PDF

Info

Publication number
TWI794593B
TWI794593B TW109107403A TW109107403A TWI794593B TW I794593 B TWI794593 B TW I794593B TW 109107403 A TW109107403 A TW 109107403A TW 109107403 A TW109107403 A TW 109107403A TW I794593 B TWI794593 B TW I794593B
Authority
TW
Taiwan
Prior art keywords
aforementioned
tracking
tracking device
image data
dynamic image
Prior art date
Application number
TW109107403A
Other languages
English (en)
Other versions
TW202109454A (zh
Inventor
山崎大輝
寺澤哲
Original Assignee
日商日本電氣股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商日本電氣股份有限公司 filed Critical 日商日本電氣股份有限公司
Publication of TW202109454A publication Critical patent/TW202109454A/zh
Application granted granted Critical
Publication of TWI794593B publication Critical patent/TWI794593B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Abstract

物體追蹤裝置(2000)從動態影像資料(12) 偵測物體,進行偵測到的物體之追蹤處理。物體追蹤裝置(2000)利用動態影像資料(12)針對第1物體(20)與第2物體(30)是否滿足預設條件進行偵測。之後,物體追蹤裝置(2000)進行與第1物體(20)有關聯之第2物體(30)之追蹤處理。

Description

物體追蹤裝置、控制方法以及程式
本發明係有關於利用動態影像追蹤物體之技術。
利用從攝影機得到的動態影像資料追蹤人或物之系統正在被開發。例如專利文獻1揭露藉由複數個攝影機所拍攝之圖像之間對應到同一人物進行人物之監視之系統。 [先前技術文獻]
[專利文獻1]日本特開2015-114917號公報
[發明所欲解決的課題]
本發明者發現利用動態影像資料追蹤某物時,可能也必須追蹤其他物體。專利文獻1沒有提及這樣的問題。
本發明有鑑於上述之課題而誕生,其中一個目的為提供利用動態影像資料之物體追蹤能更加有彈性地執行之技術。 [用以解決問題的手段]
本發明之物體追蹤裝置包含:1)追蹤處理單元:對從動態影像資料偵測出來的物體進行追蹤處理;以及2)偵測單元:利用動態影像資料,偵測關於正在藉由追蹤處理單元進行追蹤之第1物體以及其他之第2物體是否滿足預設條件。若偵測到滿足預設條件,追蹤處理單元會進行與第1物體有關聯之第2物體之追蹤處理。
本發明的控制方法藉由電腦執行。該控制方法包含:1)追蹤處理步驟,進行從動態影像資料偵測到的物體之追蹤處理;以及2)偵測步驟,利用動態影像資料,偵測關於正在藉由追蹤處理步驟進行追蹤處理之第1物體以及其他的第2物體是否滿足預設條件。在追蹤處理步驟,若偵測到滿足預設條件,會進行與第1物體有關聯之第2物體之追蹤處理。
本發明的程式為以電腦執行本發明之控制方法包含之各步驟。 [發明的效果]
本發明提供利用動態影像資料之物體追蹤能更加有彈性地執行之技術。
以下將利用圖式說明關於本發明之實施方式。且在所有圖式中,同樣的構成元件標示同樣的符號,並適當地省略說明。另外,除了特別說明的情況,否則在各方塊圖中,各方塊不代表硬體單元之構成,而是表示功能單元之構成。
<概要> 第1圖為舉例說明本實施形態之物體追蹤裝置2000之運作概要之圖。第1圖顯示為了使關於物體追蹤裝置2000之運作容易理解之概念性說明,並非為物體追蹤裝置2000之運作之具體限制。
物體追蹤裝置2000為利用從一台以上攝影機10分別取得之動態影像資料12進行物體之追蹤處理之裝置。舉例而言,攝影機10可以是被設置於道路或車站等各種場所之監視攝影機。更進一步地說,這裡所謂「物體之追蹤處理」意為:從動態影像資料12(從構成動態影像資料12之時間序列之動態影像幀14)持續辨識該物體之位置之處理。
這裡所謂「持續辨識物體之位置」之意不限定僅為以一定之頻率持續辨識物體之位置之案例。舉例來說,利用攝影範圍各自不同之複數個攝影機10進行大範圍之物體追蹤的情況下,可以想像物體從超出某個攝影機之攝影範圍到進入另一個攝影機的攝影範圍為止需要時間。即使像這樣的情況,例如物體追蹤裝置2000,依據攝影機10之間的位置關係等等,若物體超出某個攝影機10之攝影範圍之外,經由從該攝影機10周圍之其他攝影機10得到的動態影像資料12中嘗試偵測該物體,即可再度辨識該物體之位置。藉由如此,便可持續辨識物體之位置(也就是說,可以實現物體之追蹤處理)。
物體追蹤裝置2000,從動態影像資料12偵測物體,進行偵測出來的物體之追蹤處理。此處,第1物體20已被物體追蹤裝置2000追蹤。在第1圖的例子中,第1物體20為人。更進一步地說,未必需要針對從動態影像資料12偵測出來的所有物體進行追蹤處理。
物體追蹤裝置2000利用動態影像資料12,偵測第1物體20以及第2物體30是否已滿足預設條件。第2物體30為第1物體20以外的物體。上述之預設條件為滿足第1物體20進入第2物體30中的情況,或是第1物體20乘坐上第2物體30的情況之條件。這些案例是使用動態影像資料12直接追蹤第1物體20變得困難之案例,藉由追蹤第2物體30,可以間接地追蹤第1物體20。
舉例來說,假設第1物體20為人物A,第2物體30為汽車X,且假設人物A進入汽車X之中(搭乘汽車X)開始移動。這個狀況下,因為人物A變得無法從動態影像資料12被偵測,難以直接追蹤人物A。然而,因為人物A進入汽車X移動中,藉由追蹤汽車X,可以間接地追蹤人物A。
還有其他實施方式如:假設第1物體20為人物A,第2物體30為機車Y。且假設人物A乘坐上機車Y開始移動。此處,即使像是機車這種人不需要進入其中,而是乘坐在上面之形態的交通工具的狀況中,人乘坐上交通工具的結果,可能使該人物變得難以從圖像中偵測出來。像這樣的情況,也會讓直接追蹤人物A變得困難。然而,與前述汽車X之例相同地,藉由追蹤機車Y,可以間接地追蹤人物A。
若判定滿足上述之預設條件,物體追蹤裝置2000會進行與第1物體20有關聯之第2物體30之追蹤處理。舉例來說,作為第1物體20而被追蹤中之人物搭乘汽車開始移動的情況,可以進行與該人物有關聯之該汽車之追蹤處理。因此,藉由該汽車之追蹤,實際上可以實現該人物之持續追蹤。
<典型的運作效果> 如同追蹤中之人物乘坐車輛開始移動的情況等,追蹤中之物體進入其他物體之中開始移動時,會變得難以繼續直接追蹤該追蹤中之物體。人物乘坐上機車等並開始移動的結果,該人物會變得無法從動態影像資料中被偵測之案例也是一樣的。
根據本實施形態之物體追蹤裝置2000,在像這樣繼續直接追蹤第1物體20變得困難的情況中,可以進行第1物體20與有關聯之第2物體30之追蹤。藉由如此,可以實現更有彈性的物體追蹤。具體來說,即使變成難以從動態影像資料12直接偵測第1物體20的狀況,實際上還是有可能持續追蹤第1物體20。
以下,針對本實施形態之物體追蹤裝置2000做進一步的詳細說明。
<物體追蹤裝置2000之功能構成範例> 第2圖為舉例說明實施形態1之物體追蹤裝置2000之構成之示意圖。物體追蹤裝置2000包含追蹤處理單元2020以及偵測單元2040。追蹤處理單元2020執行從動態影像資料12被偵測的物體之追蹤處理。偵測單元2040使用動態影像資料12,偵測第1物體20與第2物體30滿足預設條件之情況。預設條件為滿足第1物體20進入第2物體30中之情況,或是滿足第1物體20乘坐上第2物體30之情況。若偵測到已滿足預設條件,追蹤處理單元2020會進行與第1物體20有關聯之第2物體30之追蹤處理。
<物體追蹤裝置2000之硬體構成> 物體追蹤裝置2000之各功能構成單元,可以由實現各功能構成單元之硬體(例如:硬佈線之電子電路等)實現,也可以由硬體與軟體之組合(例如:電子電路與控制該等電子電路之程式之組合等)實現。以下,針對物體追蹤裝置2000之各功能構成單元由硬體與軟體之組合實現之狀況,做更進一步之說明。
第3圖為舉例說明以實現物體追蹤裝置2000為目的之計算機1000之示意圖。計算機1000為任意之計算機。例如計算機1000可為個人電腦(PC)、伺服器、平板電腦或是智慧型手機等。計算機1000可以是為了實現物體追蹤裝置2000而設計之專用計算機,亦可為通用計算機。
計算機1000包含:匯流排1020、處理器1040、記憶體1060、儲存裝置1080、輸入輸出介面1100,以及網路介面1120。匯流排1020是為了處理器1040、記憶體1060、儲存裝置1080、輸入輸出介面1100,以及網路介面1120之間互相傳送、接收資料之資料傳輸路徑。只是,處理器1040等互相連接之方法,不限定為匯流排。處理器1040可以是中央處理單元(Central Processing Unit,CPU)、圖形處理單元(Graphics Processing Unit,GPU),或現場可程式閘陣列(Field-Programmable Gate Array,FPGA)等處理器。記憶體1060可為使用隨機存取記憶體(Random Access Memory,RAM)等實現之主記憶裝置。儲存裝置1080可為使用硬碟、固態硬碟(Solid State Drive,SSD)、記憶卡,或是唯讀記憶體(Read Only Memory,ROM)等實現之輔助記憶裝置。只是,儲存裝置1080可以由與RAM等構成主記憶裝置之硬體相同之硬體構成。
輸入輸出介面1100為用以連接計算機1000與輸入輸出裝置之介面。網路介面1120為用以連接計算機1000與通訊網路之介面。該通訊網路舉例來說可為區域網路(Local Area Network,LAN)或廣域網路(Wide Area Network,WAN)等。網路介面1120與通訊網路連接之方法可為無線連接,亦可為有線連接。
儲存裝置1080儲存著實現物體追蹤裝置2000之功能構成單元之程式模組。處理器1040藉由將各該程式模組讀取到記憶體1060後執行,實現各程式模組對應之功能。
<使用範例> 物體追蹤裝置2000可以在各種場景中使用。此處將說明物體追蹤裝置2000之使用場景之具體範例。
第4圖為顯示物體追蹤裝置2000之使用場景之一例之示意圖。在第4圖中,物體追蹤裝置2000在某人物一邊使用交通工具一邊移動之情況中,為了繼續追蹤該人物而被使用。以下為舉例說明針對人乘坐在交通工具之中移動之案例。然而,針對人乘坐在交通工具上移動之案例,也可與下述案例同樣地處理。
首先,物體追蹤裝置2000,進行作為第1物體20之步行移動之人物40之追蹤處理。然後,人物40乘坐進入汽車50。此時,作為滿足預設條件之偵測,物體追蹤裝置2000進行人物40進入汽車50之中(人物40乘坐汽車50)之偵測。接著,物體追蹤裝置2000在汽車50與人物40有關聯的前提上,進行汽車50之追蹤處理。
然後,人物40從汽車50下車。此時,物體追蹤裝置2000若偵測到人物40從汽車50分離,會重新開始人物40之追蹤。此處,第1物體20進入第2物體30之案例之情況,「第1物體20從第2物體30分離之偵測」也可以表現為「第1物體20出去到第2物體30外面之偵測」。而且在人進入交通工具中移動之案例中,更具體地可以表現為「人物40從汽車50下車之偵測」。
像這樣,根據物體追蹤裝置2000,即使針對因為追蹤對象之人物使用交通工具,變得暫時無法從動態影像資料12被偵測一般的案例,也可以持續該人物之追蹤處理。
更進一步地,藉由反覆進行同樣的處理,即使人物40一邊更換交通工具一邊移動,也可以持續人物40之追蹤。例如在第4圖中,從汽車50下車之人物40步行移動後乘坐電車。這個情況中,物體追蹤裝置2000偵測人物40進入電車之中(人物40乘坐電車)(滿足預設條件之偵測)。接著物體追蹤裝置2000,在電車與人物40有相關之前提上,進行電車之追蹤處理。然後,物體追蹤裝置2000偵測到人物40從電車下車,重新開始人物40的追蹤處理。
更進一步地,追蹤像電車或巴士等可預先知曉運行時刻表之交通工具的案例中,也可以進一步利用運行時刻表等資訊進行追蹤處理。舉例來說,人物40搭乘某電車。此時,依據人物40搭乘該電車之車站、人物40搭乘該電車之時刻以及人物40搭乘該電車之月台編號等,可以進行該電車之後停靠之各站之辨識。因此物體追蹤裝置2000,藉由嘗試對動態影像資料12偵測人物40,該動態影像資料12從被設置於該電車之後停靠之各站之攝影機10得到,可以偵測人物40下車。更進一步地,取得電車或巴士等之時刻表之技術,可利用現有之技術。
更進一步地,電車之停車時間由各車站決定。因此物體追蹤裝置2000也可以依據運行時刻表,在每個車站辨識該車站中該人物40乘坐之電車的停車時刻,從該停車時刻或該停車時刻往前預定時間的時刻開始,到該電車從該車站發車為止之間,嘗試對從該車站設置之攝影機10取得之動態影像資料12進行人物40之偵測。藉由如此,可以縮短作為人物40之偵測處理之對象的動態影像資料12之長度,因而可以減少物體追蹤裝置2000之計算成本。
可以作為第1物體20被使用之物體不限定為人物。例如也可能為了繼續追蹤包袋等等特定之行李使用物體追蹤裝置2000。第5圖顯示物體追蹤裝置2000之使用場景之另一例。在第5圖中,物體追蹤裝置2000在某行李使用汽車或電車等交通工具搬運的情況下,為了繼續追蹤該行李而被使用。
首先物體追蹤裝置2000追蹤作為第1物體20之行李70。一開始,因為行李70由步行移動之人物40搬運,可以使用動態影像資料12直接追蹤該行李70。
之後,行李70被收納在汽車50之汽車行李箱之中。也就是說,行李70被放置於汽車50中。此時,作為滿足預設條件之偵測,物體追蹤裝置2000偵測行李70進入汽車50之中(行李70被放置於汽車50之中)。因此,物體追蹤裝置2000在汽車50與行李70有關聯的前提上,進行汽車50之追蹤。
之後,行李70從汽車50卸下。此時,物體追蹤裝置2000,偵測到行李70從汽車50分離(行李70從汽車50卸下)。接著物體追蹤裝置2000重新開始行李70之追蹤處理。
此處,從汽車50卸下之行李70由人物80搬運。由人物80搬運之期間,行李70包含於動態影像資料12之中。因此,物體追蹤裝置2000可以直接追蹤行李70。
像這樣,根據物體追蹤裝置2000,即使針對因為行李使用電車等交通工具搬運,使該行李變得暫時無法從動態影像資料12被偵測一般的案例,也可以持續該行李之追蹤處理。
更進一步地,藉由反覆進行同樣的處理,即使行李70被複數個交通工具搬運,也可以持續追蹤行李70。例如在第5圖中,假設人物80步行移動後乘坐電車。此情況中,物體追蹤裝置2000偵測到行李70進入電車中(行李70被放置於電車之中)。接著物體追蹤裝置2000在電車與行李70有關聯的前提上,進行電車之追蹤處理。然後物體追蹤裝置2000偵測到行李70從電車卸下,重新開始行李70之追蹤處理。
更進一步地,即使針對行李70不是在交通工具中,而是在交通工具上(裝載平台等)被搬運的案例,也可以進行同樣的處理(第1物體20乘坐上第2物體30的案例)。
此處,除了將行李70放在交通工具上搬運之案例以外,舉例來說,也可以想像以布覆蓋行李70等方法隱藏地搬運之案例。此情況下,覆蓋行李70之布等,與行李70有關聯而被追蹤。但是這個案例中,因為被布覆蓋住的行李70由人或交通工具搬運,因此與行李70有關聯,也可以更進一步地追蹤搬運的人或是交通工具。
第2物體30不限定為會移動的物體。舉例來說,建築物也可以考慮作為第2物體30使用。具體地說,作為第1物體20而被追蹤之人或物進入建築物中的情況,該建築物與第1物體20有關連而被進行追蹤。接著,若第1物體20(人或物)從該建築物出來,則再度進行該人或物之追蹤。更進一步地,在與第1物體20有關聯之建築物之追蹤中,如果完成監視第1物體20是否出去到該建築物外面(也就是說,第1物體20是否已從建築物分離之判定),也可以省略建築物位置之辨識。
<處理流程> 第6圖為舉例說明藉由實施方式1之物體追蹤裝置2000執行之處理流程之流程圖。S102到S108為反覆進行第1物體20之追蹤處理之處理迴圈A。在一開始執行的S102中,時間i被初始化。舉例來說,初始化時,時間i被設定為現在時間。另外,第二次以後執行S102時,時間i會增加1單位(例如1幀)。
追蹤處理單元2020,使用時間i之各動態影像幀14進行第1物體20之追蹤處理(S104)。偵測單元2040針對第1物體20與第2物體30判定是否滿足預設條件(S106)。更進一步地,是否滿足預設條件之判定可以使用時間i以及該時間之前的動態影像幀14來進行。
判定不滿足預設條件的情況下(S106:否),第6圖之處理往S108前進。因為S108為處理迴圈A之終端,第6圖之處理回到S104。
判定滿足預設條件的情況下(S106:是),第6圖之處理往S110前進。S110到S116為處理迴圈B,處理迴圈B反覆進行與第1物體20有關聯之第2物體30之追蹤處理。S110中,時間i以1單位(例如1幀)增加。
追蹤處理單元2020利用時間i之各動態影像幀14,進行與第1物體20有關聯之第2物體30之追蹤處理(S112)。偵測單元2040判定第1物體20是否已從第2物體30分離(S114)。更進一步地,第1物體20從第2物體30分離與否之判定,可利用時間i以及該時間之前之動態影像幀14來進行。
判定第1物體20沒有從第2物體30分離的情況下(S114:否),第6圖之處理往S116前進。因為S116為處理迴圈B之終端,第6圖之處理返回S110。
判定第1物體20已從第2物體30分離的情況下(S114:是),第6圖之處理往S102前進。因此,再度由處理迴圈A進行第1物體20之追蹤處理。
更進一步地,第6圖所示之一系列處理之終止時機有很多種。例如物體追蹤裝置2000依據預設之使用者輸入之接收而終止處理。也有其他例子如:物體追蹤裝置2000若無法從攝影機10取得動態影像資料12則終止處理。例如攝影機10之管理者停止攝影機10之運作之狀況,因為無法從該攝影機10得到動態影像資料12,作為其結果,物體追蹤裝置2000之處理終止。
此處,處理終止時,物體追蹤裝置2000,可以如同第6圖所示從任意處理迴圈中跳脫來終止處理,也可以在處理迴圈的中途以中斷處理的方式終止處理。
還有,第6圖所示之一系列處理之開始時機亦有很多種。例如物體追蹤裝置2000依據預設使用者輸入之接收而開始處理。也有其他例子如:物體追蹤裝置2000依據從攝影機10之動態影像資料12之取得而開始處理。
<動態影像資料12之取得方法> 物體追蹤裝置2000可以從一部以上攝影機10各自取得動態影像資料12。此處,經由攝影機取得生成之動態影像資料之技術,可利用現有之技術。例如物體追蹤裝置2000中,各攝影機10經由網路連接。接著各攝影機10在每次新的動態影像幀14生成時,向物體追蹤裝置2000傳送該動態影像幀14。物體追蹤裝置2000接收該被傳送之動態影像幀14。
還有其他例子如:各攝影機10也可以將生成之動態影像幀14儲存於物體追蹤2000可以存取之記憶裝置。此情況下,例如物體追蹤裝置2000定期存取該記憶裝置,取得尚未取得之動態影像幀14。
此處,經由物體追蹤裝置2000之物體追蹤,不一定需要實時進行。追蹤不為實時進行的情況下,物體追蹤裝置2000取得儲存在記憶裝置的動態影像幀14之集合(也就是動態影像資料12),利用取得之動態影像幀14進行物體之追蹤。
此時,物體追蹤裝置2000可以將所有動態影像資料12作為對象進行物體之追蹤,也可以只將一部分的動態影像資料12作為對象進行物體之追蹤。後者的情況下,例如物體追蹤裝置2000,依據經由使用者輸入之操作決定使用在物體追蹤上之動態影像資料12。例如物體追蹤裝置2000進行使用者指定期間或地區之輸入。在指定期間的情況下,物體追蹤裝置2000取得指定之期間生成之動態影像資料12,利用該動態影像資料12進行物體之追蹤處理。還有,在指定地區的狀況下,物體追蹤裝置2000取得被設置於指定地區之各攝影機10生成之動態影像資料12,利用該動態影像資料12進行物體之追蹤處理。更進一步地,被設置於指定地區之攝影機10,舉例來說,先準備好顯示關於各攝影機10設置場所之資訊,即可利用該資訊進行辨識。
<關於物體之偵測> 為了進行物體之追蹤處理,追蹤處理單元2020會進行從構成動態影像資料12之各動態影像幀14中偵測物體之處理。例如追蹤處理單元2020,從動態影像資料12偵測不含背景區域之圖像區域(所謂的前景區域),再從偵測出之前景區域中偵測物體。接著,追蹤處理單元2020,針對偵測到的物體生成顯示對應之「動態影像資料12之識別碼、物體之位置、物體之特徵」之資訊。以下,關於偵測到的物體之資訊,稱為偵測資訊。偵測資訊可以與動態影像資料12之識別碼一樣都包含物體之偵測時間(動態影像資料12之生成時間),也可以代替該動態影像資料12之識別碼包含物體之偵測時間。更進一步地,關於從動態影像幀(也就是圖像)偵測物體之具體技術,可利用現存之技術。
此處,偵測資訊顯示之物體之位置,可以用各攝影機10之座標空間中之座標(相對座標)表示,也可以用所有攝影機10共通之座標空間中的座標(絕對座標)表示。在前者的情況中,攝影機10之攝影範圍若固定,經由動態影像幀14上之物體之座標,可以表示該物體之位置。另一方面,攝影機10之攝影範圍不固定的情況(例如:攝影機10為迴轉台及伸縮鏡頭(Pan-Tilt-Zoom,PTZ)攝影機的情況),藉由動態影像幀14上之物體之座標,以及該動態影像幀14生成時攝影機10之參數值(平移角、傾斜角以及縮放率等等)之組合,可以表示物體之位置。
若採用所有攝影機10共通之座標空間,舉例來說,可以利用如全球定位系統(Global Positioning System,GPS)座標等世界座標之座標空間。這種情況下,物體追蹤裝置2000將前述攝影機10之座標空間中之物體之座標轉換為世界座標。更進一步地,將攝影機之座標空間上之座標轉換為世界座標的技術,可利用現有之技術。
<關於物體之追蹤:S104、S112> 追蹤處理單元2020會對成為追蹤對象之物體進行追蹤處理(S104、S112)。追蹤處理意味著從動態影像資料12中持續辨識該物體之位置之處理。更具體地說,物體之追蹤處理,藉由從複數個動態影像幀14各自偵測同一物體,經由辨識橫跨複數個動態影像幀14同一物體之位置(辨識物體之位置之一連串時間變化)實現。更進一步地,追蹤處理單元2020,並非僅追蹤單一之動態影像資料12,而是追蹤橫跨從複數個攝影機10取得之動態影像資料12之追蹤對象之物體。此處,偵測橫跨複數個動態影像幀14之同一物體的具體方法,以及實現該偵測橫跨複數個動態影像資料12之具體方法,可利用現有之技術。
以下,將經由追蹤處理得到之關於物體之資訊稱為追蹤資訊。第7圖舉例說明將追蹤資料為表格形式。第7圖之表格稱為表格200。表格200顯示:物體識別碼202、偵測時間204、攝影機識別碼206、位置208、第1物體旗標210以及關聯物體識別碼212。位置208依據由攝影機識別碼206辨識之攝影機10,在偵測時間204生成之動態影像幀14,顯示被分配物體識別碼202之物體之位置。
第1物體旗標210為顯示該物體作為第1物體20被使用之旗標。關聯物體識別碼212顯示與該物體有關聯之物體之識別碼。舉例來說,進行與第1物體20有關聯之第2物體30之追蹤的情況,在第2物體30之追蹤資訊中,設定關聯物體識別碼212為第1物體20之識別碼。
更進一步地,經由物體追蹤裝置2000進行追蹤處理的物體,不限於作為第1物體20被使用之物體。例如物體追蹤裝置2000也可以針對從動態影像資料12中偵測到的所有物體進行追蹤處理。
<決定作為第1物體20被使用之物體的方法> 本實施方式之物體追蹤裝置2000中,從動態影像資料12偵測到的物體中至少其中之一作為第1物體20被使用。以下,針對決定作為第1物體20被使用的物體之方法進行說明。
例如,先規定關於應作為第1物體20使用之物體之資訊,儲存於物體追蹤裝置2000可存取之記憶裝置。以下,將該資訊稱為對象指定資訊。
對象指定資訊,舉例來說,顯示應作為第1物體20被使用之物體的圖像特徵(圖像上的特徵值)。舉例來說,若於對象指定資訊顯示特定人物(事件之可疑人物或黑名單紀載之應注意人物等)的臉等之圖像特徵,就可以將該人物作為第1物體20追蹤。還有,即使不是特定人物,也可以於對象指定資訊顯示表現想追蹤之人物或物可能擁有的特徵之圖像特徵。例如,希望將可疑人物作為第1物體20追蹤的情況,可以考慮使用刺青等身體特徵之圖像特徵、墨鏡或巴拉克拉瓦頭套等穿戴物之圖像特徵,或手提皮箱等所持品之圖像特徵。
物體追蹤裝置2000,針對從動態影像資料12偵測到的物體,判定是否有與對象指定資訊顯示之圖像特徵類似之圖像特徵。接著,若偵測到有與對象指定資訊顯示之圖像特徵類似之圖像特徵之物體,偵測單元2040會將該物體作為第1物體20使用。更進一步地,針對作為第1物體20使用之物體,於前述追蹤資訊之第1物體旗標設定作為第1物體20使用之顯示值(例如:1)。
還有其他實施例如:對象指定資訊也可以顯示應作為第1物體20使用之物體之種類以及特徵。舉例來說,先將應作為第1物體20使用之物體的種類設定為「人」。另外,事先指定身體特徵、穿戴物、所持品、行動特徵(徘徊或滯留等)等,當作應作為第1物體20使用之物體之特徵。物體追蹤裝置2000針對動態影像資料12偵測到的物體,判定適用於對象指定資訊顯示之種類之物體是否尚有對象指定資訊顯示之特徵。接著,若物體追蹤裝置2000判定從動態影像資料12偵測到的物體之種類適用於對象指定資訊顯示之種類,尚且該物體有對象指定資訊顯示之特徵,則將該物體作為第1物體20使用。
更進一步地,從圖像偵測到的物體是否適用於預設種類、該物體是否穿戴預設物品、該物體是否持有預設物品,以及該物體是否進行預設行動之判定技術,可利用現有之技術。
還有其他實施例如:作為第1物體20使用之物體,可由經由使用者輸入指定。例如,物體追蹤裝置2000,動態影像資料12顯示於顯示裝置,可以接收使用者選擇從顯示於顯示裝置之物體之中選擇作為第1物體20使用之物體之輸入。
第8圖舉例說明從使用者接收第1物體20之選擇的案例。在第8圖中,觸控面板顯示器90上顯示動態影像資料12。還有,針對從動態影像資料12偵測到的各物體顯示外接矩形92。使用者觸控選擇希望作為第1物體20追蹤之物體之外接矩形92。偵測到該選擇操作的物體追蹤裝置2000會將被選擇的外接矩形92所對應之物體作為第1物體20使用。
<偵測滿足預設條件:S106> 偵測單元2040,針對第1物體20與第2物體30是否滿足預設條件進行偵測(S106)。如前所述,該預設條件為滿足第1物體20進入第2物體30之中的情況,或是滿足第1物體乘坐上第2物體30的情況之條件。像這種是否滿足預設條件之偵測,舉例來說,可以藉由1)第1物體20與第2物體30互相重疊,又或是2)第1物體20與第2物體30沒有分離卻變得無法從動態影像資料12偵測到第1物體來實現。因此舉例來說,偵測單元2040依據如下之處理偵測是否滿足預設條件。
第9圖為舉例說明偵測關於第1物體20與第2物體30是否滿足預設條件之處理流程之流程圖。也就是說,第9圖之流程圖顯示之一系列處理為將第6圖之S106詳細化之其中一例。更進一步地,變數status在第1物體20與第2物體30判定為重疊的情況下顯示為1,反之顯示為0。為此,status之初始值設為0。
偵測單元2040,判定status之值是否為1(S202)。變數status之值為0的情況下(S202:否),偵測單元2040,判定第1物體20與第2物體30是否重疊(S204)。第1物體20與第2物體30重疊的情況下(S204:是),偵測單元2040將status之值設為1後(S206),判定為不滿足預設條件(S208)。另一方面,第1物體20與第2物體30沒有重疊的情況(S204:否),偵測單元2040不變更status之值,並判定為不滿足預設條件(S208)。
在S202中,status之值為1的情況(S202:是),偵測單元2040判定第1物體20是否從第2物體30分離(S210)。第1物體20從第2物體30分離的情況(S210:是),偵測單元2040會將status之值回復為0(S212)。接著,偵測單元2040判定不滿足預設條件(S208)。
在S210中,判定為第1物體20沒有從第2物體30分離的情況(S210:否),偵測單元2040會判定第1物體20是否變得無法偵測(S214)。判定為第1物體20變得無法偵測的情況(S214:是),偵測單元2040判定滿足預設條件(S216)。第1物體20沒有被判定為變得無法偵測的情況(S214:否),偵測單元2040判定沒有滿足預設條件(S208)。
<<第1物體20是否與第2物體30重疊之判定:S204>> 偵測單元2040會判定第1物體20是否與第2物體30重疊(S204)。例如偵測單元2040在顯示第1物體20之圖像範圍與顯示第2物體30之圖像範圍至少有一部份重疊的情況,判定第1物體20與第2物體30重疊。
還有其他實施例如:偵測單元2040也可以在第1物體20與第2物體30接觸後,其中任意一方之一部分在動態影像資料12中變化的情況下,判定第1物體20與第2物體30重疊。舉例來說,第1物體20與第2物體30重疊時,從攝影機10所見之第1物體20變成在第2物體30之前。這種情況,首先第1物體20與第2物體30重疊前,第1物體20與第2物體30會接觸。之後,因為第2物體30之一部分被第1物體20隱蔽,導致在動態影像資料12上變成第2物體30之一部分產生變化。像這樣,經由偵測第1物體20與第2物體30之接觸,以及第2物體30之一部分之變化,偵測單元2040可以偵測到第2物體30與前面之第1物體20重疊。
<<第1物體20是否從第2物體30分離之判定:S210>> 偵測單元2040判定第1物體20是否從第2物體30分離(S210)。例如偵測單元2040利用判定第1物體20與第2物體30之間有重疊後生成之各動態影像幀14,判定顯示第1物體20之圖像範圍與顯示第2物體30之圖像範圍間是否有重疊。接著,若判定這些圖像範圍沒有重疊,偵測單元2040判定第1物體20與第2物體30分離。另一方面,若判定這些圖像範圍有重疊,偵測單元2040判定第1物體20與第2物體30沒有分離。
<<第1物體20是否變得無法被偵測之判定:S214>> 偵測單元2040會判定第1物體20是否變得無法從動態影像資料12中被偵測。例如偵測單元2040若無法從判定第1物體20與第2物體30重疊之後生成之動態影像幀14中偵測到第1物體20,就判定第1物體20變得無法從動態影像資料12中被偵測。
但是,也可以考量因為雜訊而使第1物體20暫時無法從動態影像幀14被偵測。因此例如偵測單元2040在連續一連串時間之預設數目以上之各動態影像幀14之任何一者皆無法偵測到第1物體20的情況,可以判定第1物體20變得無法從動態影像資料12中被偵測。
更進一步地,第1物體20與第2物體30重疊時,第1物體20位於第2物體30之後的情況,第1物體20無法從動態影像資料12中被偵測,原因也可能是被第2物體30隱蔽而變得看不見。另一方面,第1物體20位於第2物體30前面的情況,若第1物體變得無法從動態影像資料12中被偵測,可以考慮為第1物體20進入第2物體30之中,或是第1物體20乘坐上第2物體30。
因此偵測單元2040在第1物體20與第2物體30被判定為重疊後(status=1時),依據第1物體20位於第2物體30之前或之後的哪個位置,也可以進行不同之處理。第1物體20位於第2物體30之前的情況,若偵測單元2040變得無法從動態影像資料12偵測第1物體20,則判定滿足預設條件。
另一方面,第1物體20位於第2物體30後面的情況,偵測單元2040將判定第2物體30移動後,是否可以從動態影像資料12偵測到第1物體20。第2物體30移動後若可以從動態影像資料12偵測到第1物體20,偵測單元2040會判定沒有滿足預設條件。另一方面,第2物體30移動後,無法從動態影像資料12偵測到第1物體20的情況,偵測單元2040會判定滿足預設條件。
更進一步地,在第1物體20僅被隱蔽於第2物體30後面的情況中,從第2物體30移動開始到偵測到第1物體20為止可能會有時滯。因此例如物體追蹤裝置2000也可以在第2物體30移動後,判定第1物體20無法從動態影像資料12中被偵測而將第2物體30作為追蹤對象後的預設時間內,嘗試從動態影像資料12偵測第1物體20。接著,該預設時間中,若從動態影像資料12中偵測到第1物體20,物體追蹤裝置2000會取消與第1物體20有關聯之第2物體30之追蹤,重新開始第1物體20之偵測。上面所述之預設時間,可以預先儲存在偵測單元2040可以存取之記憶裝置內。
<<作為第2物體30使用之物體之限制>> 更進一步地,從動態影像資料12偵測到的物體之中,可以想像存在無法滿足與第1物體20之間的預設條件之物體。也就是說,存在無法考慮為第1物體20可以進入其中移動、或第1物體20可以乘坐上去移動等之物體。例如銅像等擺設,不適用人可以進入其中或乘坐在上面移動之物體。因此,可以不必將從動態影像資料12中偵測到的第1物體20以外之物體全部作為第2物體30使用,而是只將滿足一定條件之物體作為第2物體30使用。例如使用人物作為第1物體20的情況,可以考慮將第2物體30限定為交通工具。
限定作為第2物體30使用之物體的情況,舉例來說,可以預先指定作為第2物體30使用之物體之資訊。例如該資訊可以設定為與決定作為第1物體20使用之物體之對象指定資訊同樣之資訊。接著,偵測單元2040從動態影像資料12中偵測到之第1物體20以外之物體中,依據預先決定之資訊,只將被指定之物體作為第2物體30使用。
<重新開始第1物體20之追蹤> 與第1物體20有關聯之第2物體30之追蹤處理開始後,也可以變成再度直接追蹤第1物體20。舉例來說,在第4圖之例子中人物40從汽車50或電車60下車並開始移動之狀況、或是在第5圖的例子中行李70從汽車50或電車60被卸下並開始由人的手搬運之狀況等。
此處物體追蹤裝置2000,像這樣從正在執行與第1物體20有關聯之第2物體30之追蹤處理的狀態(執行處理迴圈B的狀態),過渡到再度直接追蹤第1物體20的狀態(執行處理迴圈A的狀態)。本處理可以如以下例子般實現。
與第1物體20有關聯之第2物體30之追蹤處理執行期間,偵測單元2040判定第1物體20是否從第2物體30分離(S114)。接著,若判定第1物體20從第2物體30分離(S114:是),物體追蹤裝置2000的狀態過渡為直接追蹤第1物體20之狀態(從S114過渡為S102)。
第1物體20從第2物體30分離與否之判定,舉例來說可以像接下來這樣進行。也就是說,偵測單元2040針對偵測第2物體30之各動態影像幀14,判定動態影像幀14中是否能偵測到第1物體20。若從動態影像幀14中偵測到第1物體20,偵測單元2040判定第1物體20從第2物體30分離。
但是,即使從偵測到第2物體30之動態影像幀14偵測到第1物體20,該偵測結果也有可能是暫時的。例如在第4圖中,人物40乘坐汽車50移動時,因為汽車50之窗戶打開,變得暫時可以看見人物40的臉。在此狀況下,不能說人物40已從汽車50分離(人物40從汽車50下車)。
因此,例如偵測單元2040若從偵測到第2物體30之動態影像幀14中偵測到第1物體20,更進一步分析之後生成的各動態影像幀14,偵測第1物體20與第2物體30是否已經沒有重疊,這些變得不再重疊情況,也可以拿來判定第1物體20已從第2物體30分離。
<從第2物體30分離出第1物體20以外之物體之案例> 此處,也有從第1物體20有關聯之第2物體30分離出第1物體20以外之物體的案例。舉例來說,第1物體20為人物,第2物體30為交通工具的情況下,有除了第1物體20以外的人從第2物體30下車的案例。像這樣的情況,從第2物體30分離之第1物體20以外之物體,也可能是適合與第1物體20有關聯而追蹤的物體。例如作為第1物體20之事件可疑人物正在被追蹤的情況,與第1物體20一起搭乘汽車的人物有可能是第1物體20之共犯。
因此若有第1物體20以外之物體從與第1物體20有關聯之第2物體30分離,追蹤處理單元2020也可以將該物體與第1物體20關聯並追蹤該物體。具體來說,追蹤處理單元2020將在該物體的追蹤資訊中之關聯物體識別碼設定為第1物體20。藉由如此,可考量為與第1物體20有某種關聯之其他物體,可以與第1物體20關聯並追蹤。更進一步地,從第2物體30分離出第1物體20以外之物體,意即偵測到與第2物體30重疊之第1物體20以外之物體,進一步可以經由偵測該物體變得不再與第2物體30重疊來實現。
<輸出由追蹤得到之資訊> 物體追蹤裝置2000會進行藉由第1物體20或第2物體30之追蹤得到之各種資訊之輸出。執行該輸出之功能構成單元稱為輸出單元(無圖示)。舉例來說,輸出單元將與第1物體20有關聯之第2物體30之追蹤結果也一併考量,生成並輸出顯示第1物體20之歷史位置之資訊。該資訊稱為追蹤結果資訊。
追蹤結果資訊,除了針對第1物體20生成之追蹤資訊,也包含針對第1物體20與第2物體30有關聯之期間,該第2物體30之追蹤資訊。藉由利用追蹤結果資訊,可以掌握包含無法直接追蹤第1物體20的期間之第1物體20之歷史位置。
更進一步地說,根據追蹤結果資訊所顯示之第1物體20之歷史位置,也適合用容易以視覺掌握的形式輸出。例如輸出單元將追蹤結果資訊顯示之歷史位置繪製在地圖上。藉由如此,可以容易地把握第1物體20之歷史位置。此時,也可以用不同的形式(例如不同的顏色)繪製第1物體20之歷史位置以及與第1物體20關聯之第2物體30之歷史位置。
還有其他實施例如:輸出單元也可以針對與第1物體20有關聯之第2物體30輸出該第2物體30之圖像、從該圖像取得之圖像特徵,以及該第2物體30之追蹤資訊等。藉由利用這些資訊,可以掌握用來移動第1物體20的汽車等之特徵,或掌握該汽車等之歷史位置等。
還有其他實施例如:輸出單元也可以針對從與第1物體20有關聯之第2物體30出來之第1物體20以外之物體,輸出該物體之圖像、從該圖像取得之圖像特徵,以及該物體之追蹤資訊等等。藉由利用這些資訊,可以針對可考量為與第1物體20有某種關聯之其他物體(例如被推測為共犯的人物),掌握該特徵或歷史位置。
[實施方式2]
第10圖舉例說明實施方式2之物體追蹤裝置2000。第10圖是為了容易理解實施方式2之物體追蹤裝置2000之運作而顯示之概念說明圖,並非為實施方式2之物體追蹤裝置2000之運作之具體限制。
實施方式2之物體追蹤裝置2000中,「進行與第1物體20有關聯之第2物體30之追蹤處理」之特點與實施方式1之物體追蹤裝置2000相同。另一方面,實施方式2之物體追蹤裝置2000將第1物體20和第2物體30關聯的條件與在實施方式1的物體追蹤裝置2000中的條件不同。實施方式1滿足預設條件時,就被假設取消第1物體20之直接追蹤。因此,藉由追蹤第2物體30,實際上是進行第1物體20之追蹤。另一方面,實施方式2即使滿足預設條件,也可以被假設進行第1物體20之直接追蹤。因此,實施方式2若滿足預設條件,可以一邊繼續第1物體20之追蹤,更進一步進行與第1物體20有關聯之第2物體30之追蹤。
<典型的運作效果>
根據本實施方式之物體追蹤裝置2000,與第1物體20間之關係滿足預設條件之第2物體30,會與第1物體關聯並被追蹤。藉由如此,能夠追蹤除了第1物體20之外,可考量為與第1物體20有某種關聯之物體。因此,可以實現更靈活地追蹤物體。
舉例來說,假設將有很高機率為犯罪者之人物A作為第1物體20追蹤。此時,其他人物B從該人物A接收行李。這個狀況下,人物B可能是與人物A進行共謀犯罪之人物。因此,除了人物A之外,也適合對人物B進行追蹤。根據本實施方式之物體追蹤裝置2000,在這樣的案例中,除了人物A之外,也可以對可考量為與人物A有關聯之人物B進行追蹤。因此,即使針對預先不知道應該要追蹤的人物等,也可以適當地進行追蹤。
以下,針對實施方式2之物體追蹤裝置2000,做更進一步的詳細說明。
<功能構成之範例> 實施方式2之物體追蹤裝置2000之功能構成,與實施方式1之物體追蹤裝置2000同樣地可以用第2圖表示。但是,實施方式2之偵測單元2040偵測與第1物體20的關係滿足預設條件之第2物體30。接著,若偵測到像這樣的第2物體30,追蹤處理單元2020將該第2物體30關聯到第1物體20,進行該第2物體30之追蹤處理。
<硬體構成之範例> 實現實施方式2之物體追蹤裝置2000之計算機之硬體構成,舉例來說,與實現實施方式1之物體追蹤裝置2000之計算機之硬體構成同樣地,可以用第3圖表示。但是,實現實施方式2之物體追蹤裝置2000之計算機1000包含之儲存裝置1080,儲存實施方式2之物體追蹤裝置2000包含之實現各功能構成單元之程式模組。
<處理流程> 第11圖為舉例說明藉由實施方式2之物體追蹤裝置2000執行之處理流程之流程圖。S302到S310為反覆執行之處理迴圈C。在一開始執行之S302中,時間i被初始化。舉例來說,初始化時,時間i被設定為現在時間。另外,第二次以後執行S302時,時間i增加1單位(例如1幀)。
追蹤處理單元2020利用時間i之各動態影像幀14進行第1物體20之追蹤處理(S304)。偵測單元2040,判定第2物體30與第1物體20之關係是否滿足預設條件(S306)。舉例來說,此判定針對從與第1物體20同樣的動態影像幀14被偵測之一個以上的第2物體30一個個進行。還有,該判定可以使用時間i以及該時間以前之動態影像幀14進行。
判定第2物體30滿足預設條件的情況下(S306:是),追蹤處理單元2020執行與第1物體20有關聯之第2物體30之追蹤處理(S308)。另一方面,判定第2物體30沒有滿足預設條件的情況下(S306:否),第11圖中之處理會往S310前進。
S310為處理迴圈C的終端。因此,第11圖之處理往S302前進。
更進一步地,第11圖所示之一系列處理之終止時機以及開始時機,如同第6圖所示之一系列處理之終止時機與開始時機。
還有,針對被判定與第1物體20之關係滿足預設條件之第2物體30,除了在S306判定的對象之外,也可以與第11圖所示之流程圖之處理並行,執行該第2物體30之追蹤處理。藉由如此,可以將處理高速化。
<關於預設條件> 追蹤處理單元2020將與第1物體20之關係滿足預設條件之第2物體30與第1物體20關聯並追蹤(S308)。因此,偵測單元2040偵測與第1物體20之關係滿足預設條件之第2物體30(S306)。該預設條件可以採用各種條件。
舉例來說,假設第1物體20與第2物體30皆為人物。在此狀況下,可以採用「第1物體20與第2物體30待在一起超過預設時間以上」、「第1物體20與第2物體30對話」、「第2物體30從第1物體20接收物品」,或是「第2物體30將物品交給第1物體20」等條件。例如物體追蹤裝置2000若從動態影像資料12偵測到兩個人物位於預設距離以內長達預設時間以上,便判定這些人物待在一起超過預設時間以上。還有,例如物體追蹤裝置2000從動態影像資料12偵測到兩個人物位於預設距離以內且面對面長達預設時間以上,可以判定這些人物對話過。還有,例如物體追蹤裝置2000從動態影像資料12偵測到第1人物、第1人物持有之物品,以及第2人物,更近一步地偵測到該物品從第1人物持有之狀態變化為第2人物持有之狀態,可以偵測物品從到第1人物被交給第2人物。
還有其他實施例如:假設第1物體20為人物,第2物體30為物品。這種情況下,例如作為預設條件,可以採用「被第1物體20放置」這樣的條件。藉由如此,在該物體為第1物體20所放置的認知上,可以追蹤被第1物體20放置之物體之後如何移動。例如物體追蹤裝置2000從動態影像資料12偵測到特定人物以及該人物持有之物品後,該物品從該人物分離,若該人物變得無法從動態影像資料12偵測到,可以判定該物品被該人物放置。
還有其他實施例如:假設第1物體20為物體,第2物體30為人物。這種情況下,例如作為預設條件,可以採用「第2物體30持有第1物體20」這樣的條件。藉由如此,接觸應追蹤其位置之重要物品、或拿走該物品等之人物,與該物品關連而可以掌握。舉例來說,追蹤放入箱子搬運之貴重物品時,如果該箱子的內容物被人拿走而捨棄該箱子,之後該貴重物品之追蹤會變得無法進行。因此,藉由將拿過該箱子之人物關聯到該箱子並進行追蹤,即使該箱子在途中被捨棄,也可以追蹤被考慮為拿走該貴重物品之人物。例如追蹤裝置2000從動態影像資料12偵測到特定物品,偵測到該物品變化為被人持有之狀態,即判定滿足預設條件。
更進一步地,物體追蹤裝置2000,第1物體20有關聯而被追蹤之第2物體30,藉由和第1物體20同樣的操作,也可以進一步追蹤與該第2物體30之間滿足預設條件之別的物體。舉例來說,人物A(第1物體20)將物品X(第2物體30)放置後,該物品X由別的人物B持有。此時,若將物品X視為第1物體20,物品X與人物B之間滿足「第2物體30持有第1物體20」的預設條件。因此,物體追蹤裝置2000追蹤與物品X有關聯之人物B。藉由這樣做,可以將可能有關聯之物體連鎖地關聯下去並進行追蹤。
<輸出由追蹤得到的資訊> 實施方式2之物體追蹤裝置2000之輸出單元進行由第1物體20或第2物體30之追蹤得到的各種資訊之輸出。舉例來說,輸出單元輸出與第1物體20有關聯而被追蹤之第2物體30之追蹤資訊。藉由如此,可以掌握與第1物體20有某種關聯之物體(人或物等)之歷史位置。例如希望追蹤作為第1物體20之案件可疑人物的情況下,藉由進行與第1物體20有關聯之第2物體30之追蹤,可以掌握共犯或由可疑人物搬運之物品之行蹤。
以上,參照圖式所述之本發明之實施方式,為本發明之示例,也可以採用上述之外的各種構成。
上述之實施方式之一部分或全部,可以記載為下述附註,但不限於以下所述。 1.一種物體追蹤裝置,該物體追蹤裝置包含: 追蹤處理單元,進行從動態影像資料偵測到之物體之追蹤處理;以及 偵測單元,利用前述動態影像資料,針對根據前述追蹤處理單元正在進行追蹤處理之第1物體以及其他之第2物體是否滿足預設條件進行偵測; 若偵測到滿足前述預設條件,前述追蹤處理單元進行與前述第1物體關聯之前述第2物體之追蹤處理。 2.如1記載之物體追蹤裝置,前述預設條件為滿足前述第1物體進入前述第2物體的情況,或是前述第1物體乘坐上前述第2物體的情況之條件。 3.如2記載之物體追蹤裝置,前述預設條件為前述第1物體與前述第2物體重疊後,前述第1物體沒有和前述第2物體分離且變得無法從前述動態影像資料偵測到。 4.如2或3記載之物體追蹤裝置,前述偵測單元利用包含與前述第1物體有關聯並被進行追蹤處理之前述第2物體之前述動態影像資料,偵測前述第1物體與前述第2物體分離; 前述追蹤處理單元進行從前述第2物體分離之前述第1物體之追蹤處理。 5.如4記載之物體追蹤裝置,前述偵測單元從包含與前述第1物體有關聯並被進行追蹤處理之前述第2物體之動態影像資料偵測前述第1物體,藉由偵測前述第1物體與前述第2物體變得不重疊來偵測前述第1物體從前述第2物體分離。 6.如1記載之物體追蹤裝置,前述第1物體與前述第2物體皆為人; 前述預設條件為前述第1物體與前述第2物體在一起經過預設時間以上、前述第1物體與前述第2物體對話、前述第2物體從前述第1物體接收物品、前述第2物體將物品交給前述第1物體其中之任一者以上。 7.如1記載之物體追蹤裝置,前述第1物體為人; 前述第2物體為物品; 前述預設條件為前述第2物體由前述第1物體放置之條件。 8.如1記載之物體追蹤裝置,前述第1物體為物品; 前述第2物體為人; 前述預設條件為前述第2物體持有前述第1物體之條件。 9.如1至8中任一項記載之物體追蹤裝置,該物體追蹤裝置進一步包含一輸出單元,該輸出單元輸出含有與前述第1物體有關聯之前述第2物體之歷史位置之資訊,以及顯示該第2物體之特徵之資訊其中之任一者以上。 10.一種控制方法,該控制方法由電腦執行,包含: 一追蹤處理步驟,進行從動態影像資料偵測到的物體之追蹤處理;以及 一偵測步驟,利用前述動態影像資料,針對根據前述追蹤處理步驟進行追蹤處理之第1物體以及其他之第2物體是否滿足預設條件進行偵測; 在前述追蹤處理步驟中,若偵測到滿足前述預設條件,進行與前述第1物體有關聯之前述第2物體之追蹤處理。 11.如10記載之控制方法,前述預設條件為滿足前述第1物體進入前述第2物體中的情況,或是前述第1物體乘坐上前述第2物體的情況之條件。 12.如11記載之控制方法,前述預設條件為前述第1物體與前述第2物體重疊後,前述第1物體沒有和前述第2物體分離且變得無法從前述動態影像資料偵測到。 13.如11或12記載之控制方法,在前述偵測步驟中,利用包含與前述第1物體關聯並被進行追蹤處理之前述第2物體之前述動態影像資料,偵測前述第1物體與前述第2物體分離; 在前述追蹤處理步驟中,進行從前述第2物體分離之前述第1物體之追蹤處理。 14.如13記載之控制方法,在前述偵測步驟中,從包含與前述第1物體有關聯並被進行追蹤處理之前述第2物體之動態影像資料偵測前述第1物體,藉由偵測前述第1物體與前述第2物體變得不重疊來偵測前述第1物體從前述第2物體分離。 15.如10記載之控制方法,前述第1物體與前述第2物體皆為人; 前述預設條件為前述第1物體與前述第2物體在一起經過預設時間以上、前述第1物體與前述第2物體對話、前述第2物體從前述第1物體接收物品、前述第2物體將物品交給前述第1物體其中之任一者以上。 16.如10記載之控制方法,前述第1物體為人; 前述第2物體為物品; 前述預設條件為前述第2物體由前述第1物體放置之條件。 17.如10記載之控制方法,前述第1物體為物品; 前述第2物體為人; 前述預設條件為前述第2物體持有前述第1物體之條件。 18.如10至17中任一項記載之控制方法,該控制方法進一步包含一輸出步驟,該輸出步驟輸出含有與前述第1物體有關聯之前述第2物體之歷史位置之資訊,以及顯示該第2物體之特徵之資訊其中之任一者以上。 19.一種電腦程式產品,使電腦執行如請求項10至18中任一項之控制方法。
10:攝影機 10-1~10-2:攝影機 12:動態影像資料 12-1~12-2:動態影像資料 14:動態影像幀 20:第1物體 30:第2物體 40:人物 50:汽車 70:行李 80:人物 90:觸控面板顯示器 92-1~92-4:追蹤物體之外接矩形 200:表格 202:物體識別碼 204:偵測時間 206:攝影機識別碼 208:位置 210:第1物體旗標 212:關聯物體識別碼 1000:計算機 1020:匯流排 1040:處理器 1060:記憶體 1080:儲存裝置 1100:輸入輸出介面 1120:網路介面 2000:物體追蹤裝置 2020:追蹤處理單元 2040:偵測單元 S102~S116:流程圖步驟 S202~S216:流程圖步驟 S302~S310:流程圖步驟
上述目的以及其他目的、特徵以及優勢,藉由下述之適當的實施方式以及其附帶之以下之圖式將變得更顯而易見。 [第1圖]舉例說明本實施方式之物體追蹤裝置之運作概要。 [第2圖]舉例說明實施方式1之物體追蹤裝置之構成。 [第3圖]舉例說明以實現物體追蹤裝置為目的之計算機。 [第4圖]顯示物體追蹤裝置之使用場景之一例。 [第5圖]顯示物體追蹤裝置之使用場景之另一例。 [第6圖]為舉例說明藉由實施方式1之物體追蹤裝置執行之處理流程之流程圖。 [第7圖]舉例說明將追蹤資料作為表格形式。 [第8圖]舉例說明從使用者接收第1物體之選擇的案例。 [第9圖]為舉例說明偵測關於第1物體20與第2物體30是否滿足預設條件之處理流程之流程圖。 [第10圖]舉例說明實施方式2之物體追蹤裝置。 [第11圖]為舉例說明藉由實施方式2之物體追蹤裝置執行之處理流程之流程圖。
10:攝影機
12:動態影像資料
14:動態影像幀
20:第1物體
30:第2物體
2000:物體追蹤裝置

Claims (13)

  1. 一種物體追蹤裝置,該物體追蹤裝置包含:一追蹤處理單元,進行從動態影像資料偵測到之物體之追蹤處理;以及一偵測單元,利用前述動態影像資料,針對根據前述追蹤處理單元正在進行追蹤處理之第1物體以及其他之第2物體是否滿足預設條件進行偵測;若偵測到滿足前述預設條件,前述追蹤處理單元進行與前述第1物體關聯之前述第2物體之追蹤處理;前述預設條件為滿足前述第1物體進入前述第2物體的情況,或是前述第1物體乘坐上前述第2物體的情況之條件;在與前述第1物體不同的第3物體從前述第2物體下車的情況下,將前述第3物體與前述第1物體關聯並進行追蹤處理。
  2. 如請求項1記載之物體追蹤裝置,其中在前述第2物體為基於運行計畫運行的交通工具的情況下,基於運行計畫進行追蹤處理。
  3. 如請求項1記載之物體追蹤裝置,前述預設條件為前述第1物體與前述第2物體重疊後,前述第1物體沒有和前述第2物體分離且變得無法從前述動態影像資料偵測到。
  4. 如請求項1至3中任一項記載之物體追蹤裝置,前述偵測單元利用包含與前述第1物體有關聯並被進行追蹤處理之前述第2物體之前述動態影像資料,偵測前述第1物體與前述第2物體分離;前述追蹤處理單元進行從前述第2物體分離之前述第1物體之追蹤處理。
  5. 如請求項4記載之物體追蹤裝置,前述偵測單元從包含與前述第1物體有關聯並被進行追蹤處理之前述第2物體之動態影像資料偵測前述第1物體,藉由偵測前述第1物體與前述第2物體變得不重疊來偵測前述第1物體從前述第2物體分離。
  6. 如請求項1至3中任一項記載之物體追蹤裝置,該物體追蹤裝置進一步包含一輸出單元,該輸出單元輸出含有與前述第1物體有關聯之前述第2物體之歷史位置之資訊,以及顯示該第2物體之特徵之資訊其中之任一者以上。
  7. 一種控制方法,該控制方法由電腦執行,包含:一追蹤處理步驟,進行從動態影像資料偵測到的物體之追蹤處理;以及一偵測步驟,利用前述動態影像資料,針對根據前述追蹤處理步驟進行追蹤處理之第1物體以及其他之第2物體是否滿足預設條件進行偵測;在前述追蹤處理步驟中,若偵測到滿足前述預設條件,進行與前述第1物體有關聯之前述第2物體之追蹤處理;前述預設條件為滿足前述第1物體進入前述第2物體的情況,或是前述第1物體乘坐上前述第2物體的情況之條件;在與前述第1物體不同的第3物體從前述第2物體下車的情況下,將前述第3物體與前述第1物體關聯並進行追蹤處理。
  8. 如請求項7記載之控制方法,其中在前述第2物體為基於運行計畫運行的交通工具的情況下,基於運行計畫進行追蹤處理。
  9. 如請求項7記載之控制方法,前述預設條件為前述第1物體與前述第2物體重疊後,前述第1物體沒有和前述第2物體分離且變得無法從前述動態影像資料偵測到。
  10. 如請求項7至9中任一項記載之控制方法,在前述偵測步驟中,利用包含與前述第1物體關聯並被進行追蹤處理之前述第2物體之前述動態影像資料,偵測前述第1物體與前述第2物體分離;在前述追蹤處理步驟中,進行從前述第2物體分離之前述第1物體之追蹤處理。
  11. 如請求項10記載之控制方法,在前述偵測步驟中,從包含與 前述第1物體有關聯並被進行追蹤處理之前述第2物體之動態影像資料偵測前述第1物體,藉由偵測前述第1物體與前述第2物體變得不重疊來偵測前述第1物體從前述第2物體分離。
  12. 如請求項7至9中任一項記載之控制方法,該控制方法進一步包含一輸出步驟,該輸出步驟輸出含有與前述第1物體有關聯之前述第2物體之歷史位置之資訊,以及顯示該第2物體之特徵之資訊其中之任一者以上。
  13. 一種電腦程式產品,使電腦執行如請求項7至9中任一項之控制方法。
TW109107403A 2019-03-27 2020-03-06 物體追蹤裝置、控制方法以及程式 TWI794593B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/013240 WO2020194584A1 (ja) 2019-03-27 2019-03-27 物体追跡装置、制御方法、及びプログラム
WOPCT/JP2019/013240 2019-03-27

Publications (2)

Publication Number Publication Date
TW202109454A TW202109454A (zh) 2021-03-01
TWI794593B true TWI794593B (zh) 2023-03-01

Family

ID=72609688

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109107403A TWI794593B (zh) 2019-03-27 2020-03-06 物體追蹤裝置、控制方法以及程式

Country Status (5)

Country Link
US (1) US20220189038A1 (zh)
JP (2) JP7184161B2 (zh)
AR (1) AR118524A1 (zh)
TW (1) TWI794593B (zh)
WO (1) WO2020194584A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311798B1 (ko) * 2019-12-12 2021-10-08 포항공과대학교 산학협력단 다중 객체 추적 방법 및 장치
JPWO2022097602A1 (zh) * 2020-11-04 2022-05-12
KR102651190B1 (ko) * 2023-07-20 2024-03-26 주식회사세오 용의자 추적 방법 및 그를 위한 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570608B1 (en) * 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
WO2009143279A1 (en) * 2008-05-20 2009-11-26 Ooyala, Inc. Automatic tracking of people and bodies in video
TW201342254A (zh) * 2012-04-03 2013-10-16 Univ Chung Hua 物件追蹤方法
US20160188980A1 (en) * 2014-12-30 2016-06-30 Morphotrust Usa, Llc Video Triggered Analyses
US20170075726A1 (en) * 2011-05-13 2017-03-16 Oracle International Corporation Tracking large numbers of moving objects in an event processing system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134948A (ja) 2005-11-10 2007-05-31 Matsushita Electric Ind Co Ltd 駐車車両搭乗者撮像装置
JP6241796B2 (ja) * 2015-12-25 2017-12-06 パナソニックIpマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP6833354B2 (ja) 2016-06-10 2021-02-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10282720B1 (en) * 2018-07-16 2019-05-07 Accel Robotics Corporation Camera-based authorization extension system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6570608B1 (en) * 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
WO2009143279A1 (en) * 2008-05-20 2009-11-26 Ooyala, Inc. Automatic tracking of people and bodies in video
US20170075726A1 (en) * 2011-05-13 2017-03-16 Oracle International Corporation Tracking large numbers of moving objects in an event processing system
TW201342254A (zh) * 2012-04-03 2013-10-16 Univ Chung Hua 物件追蹤方法
US20160188980A1 (en) * 2014-12-30 2016-06-30 Morphotrust Usa, Llc Video Triggered Analyses

Also Published As

Publication number Publication date
JPWO2020194584A1 (zh) 2020-10-01
JP2023010840A (ja) 2023-01-20
JP7459916B2 (ja) 2024-04-02
US20220189038A1 (en) 2022-06-16
TW202109454A (zh) 2021-03-01
WO2020194584A1 (ja) 2020-10-01
AR118524A1 (es) 2021-10-20
JP7184161B2 (ja) 2022-12-06

Similar Documents

Publication Publication Date Title
TWI794593B (zh) 物體追蹤裝置、控制方法以及程式
US11228715B2 (en) Video surveillance system and video surveillance method
JP6674584B2 (ja) 映像監視システム
CA3160731A1 (en) Interactive behavior recognizing method, device, computer equipment and storage medium
WO2009135253A1 (en) A system and method for electronic surveillance
WO2014061342A1 (ja) 情報処理システム、情報処理方法及びプログラム
JP6127659B2 (ja) 運転支援装置及び運転支援方法
US20230410518A1 (en) Information processing apparatus, control method, and program
JP2018160219A (ja) 移動経路予測装置、及び移動経路予測方法
US20200145623A1 (en) Method and System for Initiating a Video Stream
JPWO2018180039A1 (ja) 映像処理装置、映像解析システム、方法およびプログラム
US11120838B2 (en) Information processing apparatus, control method, and program
CN110796051A (zh) 基于货柜场景下的实时存取行为检测方法和系统
JP2013192154A (ja) 監視装置、信頼度算出プログラム、および信頼度算出方法
CN115297306B (zh) 一种行人随身物品防丢监控方法、装置、设备及存储介质
JPWO2018180040A1 (ja) 映像処理装置、映像解析システム、方法およびプログラム
JP7161981B2 (ja) 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法
WO2019162988A1 (ja) 表示制御装置、表示制御システム、表示制御方法、及びプログラム
Miller et al. Intelligent Sensor Information System For Public Transport–To Safely Go…
WO2021149274A1 (ja) 監視システム、監視装置、監視方法、およびプログラム
Sehairi et al. A Real-Time Implementation of Moving Object Action Recognition System Based on Motion Analysis
CN112699798A (zh) 一种车路协同的交警动作识别方法和装置
JPH08315149A (ja) 侵入物体認識装置
WO2022176402A1 (ja) サーバ装置、画像処理方法およびプログラム
CN113869117A (zh) 目标状态检测方法、电子设备及存储介质