TWI592024B - Image processing device, image processing system and image processing method - Google Patents

Image processing device, image processing system and image processing method Download PDF

Info

Publication number
TWI592024B
TWI592024B TW104137470A TW104137470A TWI592024B TW I592024 B TWI592024 B TW I592024B TW 104137470 A TW104137470 A TW 104137470A TW 104137470 A TW104137470 A TW 104137470A TW I592024 B TWI592024 B TW I592024B
Authority
TW
Taiwan
Prior art keywords
unit
descriptor
data
image
state
Prior art date
Application number
TW104137470A
Other languages
English (en)
Other versions
TW201711454A (zh
Inventor
Ryoji Hattori
Yoshimi Moriya
Kazuyuki Miyazawa
Akira Minezawa
Shunichi Sekiguchi
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of TW201711454A publication Critical patent/TW201711454A/zh
Application granted granted Critical
Publication of TWI592024B publication Critical patent/TWI592024B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

影像處理裝置、影像處理系統以及影像處理方法
本發明係關於用以產生或利用表示影像資料內容的描述符之影像處理技術。
近年來，拍攝影像(包含靜止影像及動態影像)的拍攝機器普及，隨著網際網路等的通訊網的發達及通訊線路的寬頻化，影像配送服務的普及與其大規模化正在進行中。以相關的情況為背景，在針對個人及針對企業經營者的服務及製品中，使用者可存取的影像內容的數量變得龐大。如此的狀況中，使用者為了存取影像內容，影像內容的檢索技術是不可缺的。作為此種檢索技術之一，以檢索查詢為影像本體，具有取得上述影像與檢索對象影像的配對之方法。檢索查詢，係使用者輸入檢索系統的資訊。不過，此方法，檢索系統的處理負荷可能變得非常大，還有傳送檢索查詢的影像及檢索對象影像至檢索系統之際的傳送資料量大時，具有施加至通訊網的負荷變大的問題。
為了迴避此問題，存在將記述影像內容的視覺描述符(visual descriptors)附加或連結至上述影像作為檢索對象的技術。此技術，根據影像內容的解析結果，預先產生描述符。上述描述符的資料可能與上述影像本身分別傳送或積累。利用 此技術的話，檢索系統，藉由將附加至檢索查詢的影像的描述符與附加至檢索對象影像的描述符配對，可以進行檢索處理。藉由縮小描述符的資料大小至比影像本身的資料大小小，可能使檢索系統的處理負荷減輕及施加至通訊網的負荷減輕。
關於如此的描述符的國際標準，非專利文件1(“MPEG-7 Visual part of Experimentation Model Version 8.0”)揭示的MPEG-7 Visual是已知的。MPEG-7 Visual中，假設影像的高速檢索等的用途，規定記述影像的顏色及紋理，以及影像中出現的物體的形狀及動作等的資訊之格式。
另一方面，存在使用動態影像資料作為感應資料的技術。例如，專利文件1(專利第2008-538870號公開公報)，揭示視訊監視系統，可以檢出或追蹤影像攝影機取得的動態影像中出現的監視對象物(例如，人)，或是檢測發現監視對象物的逗留。使用上述的MPEG-7 Visual的技術的話，可以產生表示在如此的動態影像中出現的監視對象物的形狀及動作之描述符
[先行技術文件] [專利文件]
[專利文件1]專利第2008-538870號公開公報
[非專利文件]
[非專利文件1]A. Yamada, M. Pickering, S. Jeannin, L. Cieplinski, J. -R. Ohm, and M. Editor, Eds.：MPEG-7 Visual Part of Experimentation Model Version 8.0 ISO/IEC JTC1/SC29/WG11/N3673, Oct. 2000.
利用影像資料作為感應資料時，重要的是複數的影像中出現的物體間的映射。例如，表示同一對象物的物體出現在複數的拍攝影像中時，利用上述的MPEG-7 Visual的技術的話，表示拍攝影像中出現的物體的形狀、顏色及動作之類的特徵量之視覺描述符可以隨著各拍攝影像記錄在儲存器內。於是，根據上述描述符的類似度的計算，拍攝影像群中，類似度高的關係中找出某複數的物體，可能互相映射這些物體。
不過，例如，複數台的攝影機從不同方向拍攝同一對象物時，那些拍攝影像中出現的同一對象物的物體的特徵量(例如，形狀、顏色及動作)往往在拍攝影像間大不相同。在此情況下，根據使用上述描述符的類似度計算，具有在那些拍攝影像中出現的物體間的映射失敗的課題。又，即使1台攝影機拍攝外觀形狀變化的對象物的情況下，複數的拍攝影像中出現的上述對象物的物體特徵量也往往在拍攝影像間大不相同。如此的情況下根據使用上述描述符的類似度計算，在那些拍攝影像中出現的物體間的映射也往往失敗。
鑑於上述，本發明的目的在於提供可以高準確度進行複數的拍攝影像中出現的對象物間的映射之影像處理裝置、影像處理系統以及影像處理方法。
根據本發明的第一形態的影像處理裝置，其特徵在於包括影像解析部，解析輸入影像，檢出上述輸入影像中出 現的物體，並推斷上述檢出的物體以實際空間為基準的空間特徵量；以及描述符產生部，產生表示上述推斷的空間特徵量之空間描述符。
根據本發明的第二形態的影像處理系統，其特徵在於包括上述影像處理裝置；參數導出部，根據上述空間描述符，導出顯示上述檢出的物體群構成的物體群的狀態特徵量之狀態參數；以及狀態預測部，根據上述導出的狀態參數，以運算預測上述物體群的未來狀態。
根據本發明的第三形態的影像處理方法，其特徵在於包括檢出步驟，解析輸入影像，檢出上述輸入影像中出現的物體；推斷步驟，推斷上述檢出的物體以實際空間為基準的空間特徵量；以及產生步驟，產生表示上述推斷的空間特徵量之空間描述符。
根據本發明，產生表示輸入影像中出現的物體以實際空間為基準的空間特徵量之空間描述符。利用此空間描述符作為檢索對象，可以以高準確度且低處理負荷進行複數的拍攝影像中出現的物體間的映射。又，藉由解析此空間描述符，也可以以低處理負荷檢出上述物體的狀態及舉動。
1、2‧‧‧影像處理系統
3、4‧‧‧警備支援系統
10‧‧‧影像處理裝置
11‧‧‧接收部
12‧‧‧影像解析部
13‧‧‧描述符產生部
14‧‧‧資料記錄控制部
15‧‧‧儲存器
16‧‧‧DB介面部
18‧‧‧資料傳送部
21‧‧‧解碼部
22‧‧‧影像辨識部
22A‧‧‧物體檢出部
22B‧‧‧規模推斷部
22C‧‧‧圖案檢出部
22D‧‧‧圖案解析部
23‧‧‧圖案記憶部
31~34‧‧‧物體
40‧‧‧顯示機器
41‧‧‧顯示畫面
50‧‧‧影像積累裝置
51‧‧‧接收部
52‧‧‧資料記憶控制部
53‧‧‧儲存器
54‧‧‧DB介面部
60‧‧‧群眾監視裝置
60A‧‧‧群眾監視裝置
61、61A‧‧‧感應資料接收部
62‧‧‧公開資料接收部
63‧‧‧參數導出部
641~64R‧‧‧群眾參數導出部
65‧‧‧群眾狀態預測部
66‧‧‧警備計畫導出部
67‧‧‧狀態提示介面部(狀態提示I/F部)
68‧‧‧計畫提示介面部(計畫提示I/F部)
71、72、73、74‧‧‧外部機器
AR1、AR2、AR3‧‧‧對象區域
Cm‧‧‧攝影部
Dc‧‧‧解碼指示
Dsr‧‧‧描述符資料
IMG‧‧‧輸入影像
M1、M2、M3、M10‧‧‧影像資訊
M4~M8‧‧‧地圖資訊
NC1~NCN‧‧‧網路攝影機
NW、NW1、NW2‧‧‧通訊網路
M4‧‧‧地圖資訊
PATH‧‧‧行人路徑
PED‧‧‧特定人物
PN1、PN2、PN3‧‧‧編碼圖
SLD1、SLD2‧‧‧滑桿
Vd‧‧‧影像資料
RD‧‧‧指示道路網
SNR1~SNRP‧‧‧感應器
SVR‧‧‧伺服器裝置
TC1、TC2、...、TCM‧‧‧影像配送裝置
Tx‧‧‧配送部
W1、W2‧‧‧影像視窗
[第1圖]係顯示本發明第一實施例的影像處理系統的概略構成之方塊圖；[第2圖]係顯示第一實施例的影像處理順序的一範例之 流程圖；[第3圖]係顯示第一實施例的第1影像解析處理順序的一範例之流程圖；[第4圖]係顯示輸入影像中出現的物體之範例圖；[第5圖]係顯示第一實施例的第2影像解析處理順序的一範例之流程圖；[第6圖]係用以說明編碼圖的解析方法圖；[第7圖]係顯示編碼圖的一範例圖；[第8圖]係顯示編碼圖的另一範例圖；[第9圖]係顯示空間描述符的格式之範例圖；[第10圖]係顯示空間描述符的格式之範例圖；[第11圖]係GNSS資訊的描述符之範例圖；[第12圖]係GNSS資訊的描述符之範例圖；[第13圖]係顯示本發明第二實施例的影像處理系統的概略構成之方塊圖；[第14圖]係顯示第三實施例的影像處理系統之警備支援系統的概略構成之方塊圖；[第15圖]係顯示具有描述符資料產生功能之構成例圖；[第16圖]係用以說明第三實施例的群眾狀態預測部進行的預測之一範例圖；[第17圖](A)、(B)係顯示以第三實施例的狀態提示I/F部產生的視覺資料之一範例圖；[第18圖](A)、(B)係顯示以第三實施例的狀態提示I/F部產生的視覺資料之另一範例圖； [第19圖]係顯示以第三實施例的狀態提示I/F部產生的視覺資料之又另一範例圖；以及[第20圖]係顯示第四實施例的影像處理系統之警備支援系統的概略構成之方塊圖。
以下，一面參照圖面，一面詳細說明根據本發明的種種實施形態。又，圖面全體中附上同一符號的構成要素，具有同一構成及同一機能。
[第一實施例]
第1圖係顯示本發明第一實施例的影像處理系統1的概略構成之方塊圖。如第1圖所示，此影像處理系統1，包括N台(N是3以上的整數)的網路攝影機NC1、NC2、...、NCN；影像處理裝置10，經由通訊網路NW接收分別從這些網路攝影機NC1、NC2、...、NCN配送的靜止影像資料或動態影像流。又，本實施例的網路攝影機的台數是3台以上，但取而代之，1台或2台也可以。影像處理裝置10，對於從網路攝影機NC1~NCN接收的靜止影像資料或動態影像資料進行影像解析，將顯示此解析結果的空間或地理描述元與影像連結，積累至儲存器。
作為通訊網路NW，例如，連結有線LAN(區域網路)或無線LAN等的場內通訊網、據點間的專用網路，或網際網路等的寬頻通訊網。
網路攝影機NC1~NCN全部具有同一構造。各網路攝影機，以拍攝物體的攝影部Cm、以及往通訊網路NW上的 影像處理裝置10傳送攝影部Cm的輸出之傳送部Tx構成。攝影部Cm，具有攝影光學系統，形成物體的光學像；固體攝影元件，轉換其光學像為電氣信號；以及編碼電路，壓縮符號化其電氣信號作為靜止影像資料或動態影像資料。作為固體攝影元件，例如，只要使用CCD(電荷耦合元件)或是CMOS(互補金屬氧化半導體)元件即可。
網路攝影機NC1~NCN分別壓縮符號化固體攝影元件的輸出作為動態影像資料時，例如，根據MPEG-2TS(Moving Picture Experts Group 2 Transport Stream(動態圖像專家組2運輸流))、RTP/RTSP(即時運輸協定/即時串流協定)、MMT(MPEG Media Transport(MPEG媒體傳輸))或DASH(Dynamic Adaptive Streaming over HTTP(動態自適應串流))等的串流方式，可以產生壓縮符號化的動態影像流。又，本實施例中使用的串流方式，不限定為MPEG-2 TS、RTP/RTSP、MMT及DASH。但是，任何串流方式，動態影像流內包含的動態影像資料可以以影像處理裝置10單獨分離之識別符資訊在上述動態影像流內都必須多重化。
另一方面，影像處理裝置10，如第1圖所示，包括接收部11，從網路攝影機NC1~NCN接收配送資料，再從此配送資料分離影像資料Vd(包含靜止影像資料或動態影像流)；影像解析部12，解析從接收部11輸入的影像資料Vd；描述符產生部13，根據其解析結果，產生表示空間描述符、地理描述符或依據MPEG規格的描述符或這些的組合之描述符資料Dsr；資料記錄控制部14，互相連結從接收部11輸入的 影像資料Vd及描述符資料Dsr，積累至儲存器15；以及DB介面部16。接收部11，當配送資料內包含複數的動態影像內容時，依照其協定，以可以單獨辨識的形態從配送資料分離這些複數的動態影像內容。
影像解析部12，如第1圖所示，包含，解碼部21，依照網路攝影機NC1~NCN中使用的壓縮符號化方式，解碼壓縮符號化的影像資料Vd；影像辨識部22，對其解碼資料進行影像辨識處理；以及圖案記憶部23，用於影像辨識處理。影像辨識部22，更包含物體檢出部22A、規模推斷部22B、圖案檢出部22C及圖案解析部22D。
物體檢出部22A，解析解碼資料所示的單數或複數的輸入影像，並檢出上述輸入影像中出現的物體。圖案記憶部23內，例如，預先記憶表示行人等的人體、信號機、標誌、汽車、自行車及建築物等的各種各樣的物體的平面形狀、立體形狀、大小及顏色等的特徵之圖案。物體檢出部22A，藉由將上述輸入影像與圖案記憶部23內記憶的圖案比較，可以檢出輸入影像中出現的物體。
規模推斷部22B，具有推斷以物體檢出部22A檢出的物體在實際拍攝環境的實際空間為基準的空間特徵量作為規模資訊的功能。作為物體的空間特徵量，最好推斷上述空間中的物體的物理尺寸的表示量(以下，也僅稱作「物理量」)。具體而言，規模推斷部22B，參照圖案記憶部23，當物體檢出部22A檢出的物體的物理量(例如，高度或橫幅，或這些的平均值)已經記憶在圖案記憶部23內時，可以取得其記憶的物理 量作為上述物體的物理量。例如，信號機及標誌等的物體時，因為那些形狀及尺寸是已知的，使用者可以事前先記憶那些形狀及尺寸的數值在圖案記憶部23內。又，汽車、自行車及行人等的物體時，因為上述物體的形狀及尺寸的數值的偏差可以收納在一定範圍內，使用者也可以事前先記憶那些形狀及尺寸的平均值在圖案記憶部23內。又，規模推斷部22B，也可以推斷上述物體的姿勢(例如，物體所朝的方向)為空間特徵量之一。
又，網路攝影機NC1~NCN具有立體攝影機或測距攝影機等的3次元影像產生功能時，上述輸入影像，不只包含物體的強度資訊，還有上述物體的深度(depth)資訊。在此情況下，規模推斷部22B，根據上述輸入影像，可以取得物體的深度資訊作為物理尺寸之一。
描述符產生部13，依照既定的格式，可以轉換規模推斷部22B推斷的空間特徵量為描述符。在此，附加拍攝時刻資訊至其空間描述符。關於此空間的描述符的格式的範例，之後記述。
另一方面，影像辨識部22，具有推斷物體檢出部22A檢出的物體的地理資訊之功能。地理資訊，例如，表示上述檢出的物體在地球上的位置之定位資訊。推斷地理資訊的功能，具體而言，以圖案檢出部22C及圖案解析部22D實現。
圖案檢出部22C，可以檢出上述輸入影像中的編碼圖。編碼圖，係在檢出的物體近旁檢出，例如，可以使用2次元碼等的空間編碼圖，或依照既定的規則光閃爍的圖案等的時 序系列編碼圖。或者，使用空間編碼圖與時序系列編碼圖的組合也可以。圖案解析部22D，可以解析上述檢出的編碼圖，再檢出定位資訊。
描述符產生部13，依照既定的格式，可以轉換圖案檢出部22C檢出的定位資訊為描述符。在此，附加拍攝時刻資訊至其地理描述符。關於此地理描述符的格式的範例，之後記述。
又，描述符產生部13，除了上述空間描述符及地理描述符之外，也具有產生根據MPEG規格的已知描述符(例如，表示物體的顏色、紋理、形狀、動作及臉等的特徵量之視覺描述符)之功能。此已知的描述符，例如，在MPEG-7中規定，省略其詳細說明。
資料記錄控制部14，在儲存器15中積累影像資料Vd與描述符資料Dsr以構成資料庫，外部機器，經由DB介面部16，可以存取儲存器15內的資料庫。
作為儲存器15，例如，只要使用HDD(硬碟)或是快閃記憶體等的大容量記錄媒體即可。儲存器15中，設置積累影像資料VD的第1資料記錄部、以及積累描述符資料Dsr的第2資料記錄部。又，本實施例中，第1資料記錄部與第2資料記錄部設置在同一儲存器15內，但不限定於此，分散設置在分別不同的儲存器內也可以。儲存器15被納入影像處理裝置10內，但不限定於此。為了資料記錄控制部14可以存取通訊網路上配置的單數或複數的網路．儲存器裝置，變更影像處理裝置10的構成也可以。因此，資料記錄控制部14，藉由 積累影像資料Vd與描述符資料Dsr在外部儲存器內，可以在外部構築資料庫。
上述的影像處理裝置10，例如，可以利用PC(個人電腦)、工作站或主機等的CPU(中央處理單元)內建的電腦構成。影像處理裝置10，利用電腦構成時，依照從ROM(唯讀記憶體)等的非揮發性記憶體讀出的影像處理程式，CPU動作，藉此可以實現影像處理裝置10的功能。
又，影像處理裝置10的構成要素12、13、14、16的功能的全部或一部分，以FPGA(現場可編程閘陣列)或ASIC(特殊應用積體電路)等的半導體積體電路構成也可以，或是，以微電腦的一種的單晶片微電腦構成也可以。
其次，說明關於上述影像處理裝置10的動作。第2圖係顯示第一實施例的影像處理順序的一範例之流程圖。第2圖中，顯示從網路攝影機NC1、NC2、...、NCN接收壓縮符號化的動態影像流時的範例。
從接收部11接收影像資料Vd時，解碼部21及影像辨識部22，實行第1影像解析處理(步驟ST10)。第3圖係顯示第1影像解析處理的一範例之流程圖。
參照第3圖，解碼部21解碼輸入的動態影像流再輸出解碼資料(步驟ST20)。其次，物體檢出部22A，使用圖案記憶部23，嘗試檢出以上述解碼資料顯示的動態影像中出現的物體(步驟ST21)。作為檢出對象，例如，最好是信號機或標誌等的大小及形狀是已知的物體，或汽車、自行車及行人等在動態影像內以各種變化出現，其平均尺寸與已知的平均尺寸以充 分的精確度一致之物體。又，檢出對於上述物體的畫面之姿勢(例如，朝向上述物體的方向)及深度資訊也可以。
根據步驟ST21的實行，未檢出物體的空間特徵量即規模資訊的推斷(以下也稱作「規模推斷」需要的物體時(步驟ST22的NO)，處理順序回到步驟ST20。此時，解碼部21，根據來自影像辨識部22的解碼指示Dc，解碼動態影像流(步驟ST20)。之後，實行步驟ST21以後。另一方面，檢出規模推斷需要的物體時(步驟ST22的YES)，規模推斷部22B關於上述檢出的物體實行規模推斷(步驟ST23)。此範例中，推斷每一畫素的物理尺寸，作為物體的規模資訊。
例如，檢出物體及其姿勢時，規模推斷部22B，將其檢出結果與預先保持在圖案記憶部23內的其尺寸資訊做比較，根據上述物體映現的畫素區域，可以推斷規模資訊(步驟ST23)。例如，輸入影像中，直徑0.4米的標誌以正對拍攝攝影機的形狀映現，且其標誌的直徑相當於100畫素時，上述物體的規模為0.004米/畫素。第4圖係顯示輸入影像IMG中出現的物體31、32、33、34之範例圖。建築物的物體31的規模推斷為1m(米)/畫素，其他的建築物的物體32的規模推斷為10m/畫素，小的建築物的物體33的規模推斷為1cm(公分)/畫素。又，到背景物體34為止的距離，因為在實際空間中被視為無限遠，推斷背景物體34的規模為無限大。
又，檢出的物體是汽車或行人時，或是如同護欄之存在地面上且離地面大概一定位置上配置之物時，那種物體存在的區域是可移動的區域，而且很可能是特定的平面上被限 制的區域。因此，規模推斷部22B，根據其限制條件，檢出汽車或行人移動的平面的同時，根據上述汽車或行人的物體的物理尺寸的推斷值與汽車或行人的平均尺寸的知識(圖案記憶部23內記憶的知識)，可以導出到上述平面的距離。因此，即使不能推斷輸入影像中出現的全部物體的規模資訊的情況下，也可以以無特別感應器檢出重要的道路等的區域作為取得物體映現的地點區域或規模資訊的對象。
又，即使經過一定時間，沒檢出規模推斷需要的物體的情況下(步驟ST22的NO)，結束第1影像解析處理也可以。
上述第1影像解析處理(步驟ST10)結束後，解碼部21及影像辨識部22，實行第2影像解析處理(步驟ST11)。第5圖係顯示第2影像解析處理的一範例之流程圖。
參照第5圖，解碼部21解碼輸入的動態影像流，再輸出解碼資料(步驟ST30)。其次，圖案檢出部22C，檢索上述解碼資料顯示的動態影像再嘗試檢出編碼圖(步驟ST31)。沒檢出編碼圖的情況下(步驟ST32的NO)，處理順序回到步驟ST30。此時，解碼部21，根據來自影像辨識部22的解碼指示Dc，解碼動態影像流(步驟ST30)。之後，實行步驟ST31以後。另一方面，檢出編碼圖時(步驟ST32的YES)，圖案解析部22D，解析其編碼圖案再取得定位資訊(步驟ST33)。
第6圖係顯示對於第4圖所示的輸入影像IMG之圖案解析結果的一範例圖。此範例中，檢出輸入影像IMG中出現的編碼圖PN1、PN2、PN3，並得到表示各編碼圖的緯度 及經度之絕對座標資訊，作為這些編碼圖PN1、PN2、PN3的解析結果。第6圖中像是點狀的編碼圖PN1、PN2、PN3，是如2次元碼的空間圖案，或是如光的閃爍圖案的時序系列圖案，或是這些的組合。圖案檢出部22C，解析輸入影像IMG中出現的編碼圖PN1、PN2、PN3，可以取得定位資訊。第7圖係顯示表示空間編碼圖PNx的顯示機器40的圖。此顯示機器40，接收全球衛星導航系統(Global Navigation Satellite System,GNSS)產生的導航信號，根據此導航信號定位自己的現在位置，具有在顯示畫面41上顯示表示其定位資訊的編碼圖PNx的功能。藉由在物體近旁配置這樣的顯示機器40，如第8圖所示，可以取得物體的定位資訊。
又，根據GNSS產生的定位資訊，也稱作GNSS資訊。作為GNSS，例如，可以利用美國運用的GPS(Global Positioning System(全球定位系統))、蘇聯運用的GLONASS(Global Navigation Satellite System(全球衛星導航系統))、歐盟運用的Galileo系統或日本運用的準天頂衛星系統。
又，即使經過一定的時間也沒檢出編碼圖的情況下(步驟ST32的NO)，結束第2影像解析處理也可以。
其次，參照第2圖，上述第2影像解析處理(步驟ST11)結束後，描述符產生部13，產生表示第3圖的步驟ST23中得到的規模資訊之空間描述符，並產生表示第5圖的步驟ST33中得到的定位資訊之地理描述符(步驟ST12)。其次，資料記錄控制部14，互相連結動態影像資料Vd及描述符資料Dsr並收納至儲存器15(步驟ST13)。在此，動態影像資料Vd 與描述符資料Dsr，最好以可以雙向高速存取的形式收納。藉由作成表示動態影像資料Vd與描述符資料Dsr之間的對應關係之索引表，也可以構成資料庫。例如，提供構成動態影像資料Vd的特定的影像框的資料位置的情況下，為了可以高速明確指定對應其資料位置的描述符資料在儲存器上的記憶位置，可以附加索引資訊。又，為了也容易反向存取，也可以作成索引資訊。
之後，繼續進行處理的情況(步驟ST14的YES)下，重複實行上述步驟ST10~ST13。因此，儲存器15內積累動態影像資料Vd與描述符資料Dsr下去。另一方面，處理中止時(步驟ST14的NO)，影像處理結束。
其次，說明關於上述空間及地理描述符的格式的範例。
第9及10圖，係顯示空間描述符的格式之範例圖。
第9及10圖的範例中，顯示對於分割輸入影像為空間格子狀而得到的各個格子之記述。如第9圖所示的圖「ScaleInfoPresent」係表示檢出的物體的尺寸與上述物體的物理量連結(映射)的規模資訊是否存在之參數。輸入影像，在空間方向中分割為複數的影像區域即格子。「GridNumX」係表示顯示物體的特徵之影像區域特徵存在的格子在縱方向的個數，「GridNumY」係表示顯示物體的特徵之影像區域特徵存在的格子在橫方向的個數。「GridRegionFeatureDescriptor(i,j)」係表示每一格子的物體的部分特徵(格子內特徵)之描述符。
第10圖係顯示此描述符 「GridRegionFeatureDescriptor(i,j)」的內容圖。參照第10圖，「ScaleInfoPresentOverride」係表示規模資訊是否存在之格子別(區域別)的圖表。「ScalingInfo[i][j]」係表示第(i,j)號格子(i係格子在縱方向的號碼；j係格子在橫方向的號碼)中存在的規模資訊之參數。因此，規模資訊可以對輸入影像中出現的物體的各個格子定義。又，因為不能取得規模資訊或不用規模資訊的區域也存在，根據「ScaleInfoPresentOverride」的參數，可以指定是否以格子單位記述。
其次，第11及12圖，係GNSS資訊的描述符的格式之範例圖。參照第11圖，「GNSSInfoPresent」，係表示作為GNSS資訊定位的位置資訊是否存在的旗標。「NumGNSSInfo」，係表示位置資訊的個數之參數。「GNSSInfoDescriptor(i)」係第i個位置資訊的描述符。由於位置資訊係根據輸入影像的點區域定義，位置資訊的個數通過參數「NumGNSSInfo」送出後，記述只有其個數部分的GNSS資訊描述符「GNSSInfoDescriptor(i)」。
第12圖係顯示此描述符「GNSSInfoDescriptor(i)」的內容圖。參照第12圖，「GNSSInfoType[i]」，係表示第i個位置資訊的類別之參數。作為位置資訊，可以記述GNSSInfoType[i]=0時物體的位置資訊，與GNSSInfoType[i]=1時物體以外的位置資訊。關於物體的位置資訊，「Object[i]」係用以定義位置資訊的物體ID(識別符)。又，關於各物體，記述表示緯度的「GNSSInfo_Latitude[i]」，與表示經度的「GNSSInfo_Longitude[i]」。
另一方面，關於物體以外的位置資訊，第12圖所示的「GroundSurfaceID[i]」，係定義定位的位置資訊作為GNSS資訊之假想的地平面的ID(識別符)，「GNSSInfo_LocInImage_X[i]」，係表示定義位置資訊的影像內在橫方向位置之參數，「GNSSInfo_LocInImage_Y[i]」，係表示定義位置資訊的影像內在縱方向位置之參數。關於各地平面，記述表示緯度的「GNSSInfo_Latitude[i]」，與表示經度的「GNSSInfo_Longitude[i]」。位置資訊，在物體不受限於特定的平面時，係可以在地圖上映射其畫面上映現的上述平面之資訊。因此，記述GNSS資訊存在的假想地平面的ID。又，對於影像內映現的物體，記述GNSS資訊也變得可能。這是因為為了檢索地標等，假設利用GNSS資訊的用途。
又，第9~12圖所示的描述符係範例，對這些附加或削除任意的資訊，以及變更其順序或構成是可能的。
如以上說明，第一實施例中，可以將輸入影像中出現的物體的空間描述符與影像資料連結，積累在儲存器15內。藉由利用此空間描述符作為檢索對象，複數的拍攝影像中出現的空間或時空間接近關係的複數的物體間的映射以高準確度且低處理負荷進行變得可能。因此，例如，即使複數台的網路攝影機NC1~NCN從不同方向拍攝同一對象物的情況下，根據儲存器15內積累的描述符間的類似度計算，那些拍攝影像中出現之複數的物體間的映射也可以以高準確度進行。
又，本實施例中，也可以將輸入影像中出現的物體的地理描述符與影像資料連結，積累在儲存器15內。隨著 空間描述符，藉由利用地理描述符作為檢索對象，複數的拍攝影像中出現的複數的物體間的映射以更高準確度且低處理負荷進行變得可能。
因此，藉由利用本實施例的影像處理系統1，例如，可以有效進行特定物體的自動辨識、3次元圖的作成或影像檢索。
[第二實施例]
其次，說明關於本發明的第二實施例。第13圖，係顯示本發明第二實施例的影像處理系統2的概略構成之方塊圖。
如第13圖所示，此影像處理系統2包括影像配送裝置TC1、TC2、...、TCM，作用為影像處理裝置的M台(M為3以上的整數)；以及影像積累裝置50，經由通訊網路NW接收分別從這些影像配送裝置TC1、TC2、...、TCM配送的資料。又，本實施例中，雖然影像配送裝置的台數為3台以上，但取而代之，1台或2台也可以。
影像配送裝置TC1、TC2、...、TCM全部具有同一構成，各影像配送裝置包括攝影部Cm、影像解析部12、描述符產生部13及資料傳送部18而構成。攝影部Cm、影像解析部12及描述符產生部13的構成，分別與上述第一實施例的攝影部Cm、影像解析部12及描述符產生部13的構成相同。資料傳送部18，具有互相連結影像資料Vd與描述符資料Dsr且多重化再向影像積累裝置50配送的功能以及向影像積累裝置50只配送描述符資料Dsr的功能。
影像積累裝置50，包括接收部51，從影像配送裝 置TC1、TC2、...、TCM接收配送資料再從此配送資料分離資料流(包含影像資料Vd及描述符資料Dsr的一方或雙方。)；資料記錄控制部52，積累上述資料流在儲存器53內；以及DB介面部54。外部機器，經由DB介面部54可以存取儲存器15內的資料庫。
如以上的說明，上述的第二實施例中，也可以積累空間及地理描述符以及與此連結的影像資料在儲存器53內。因此，藉由利用這些空間描述符及地理描述符作為檢索對象，與第一實施例的情況同樣地，複數的拍攝影像中出現的空間或時空間接近關係的複數的物體間的映射以高準確度且低處理負荷進行變得可能。因此，藉由利用此影像處理系統2，有效進行例如特定物體的自動辨識、3次元圖的作成或影像檢索變得可能。
[第三實施例]
其次，說明關於本發明的第三實施例。第14圖係顯示第三實施例的影像處理系統之警備支援系統3的概略構成之方塊圖。
此警備支援系統3，能夠運用設施場內、活動會場或市區等的場所中存在的群眾及上述場所中配置的警備擔當者作為對象。設施場內、活動會場或市區等的成群的多數人群即群眾(包含警備擔當者)聚集的場所中，常常發生混雜。因為混雜不破壞其場所的群眾的舒適性，又過於混雜為群集事故的原因，根據適當的警備迴避混雜是極重要的。又，快速發現傷者、身體不適者、交通不良者及採取危險行動的人物或集團， 執行適當的警備在群眾的保安中也很重要。
本實施例的警備支援系統3，根據從單數或複數的對象區域內分散配置的感應器SNR1、SNR2、...、SNRP取得的感應資料及從通訊網路NW2上的伺服器裝置SVR、SVR、...、SVR取得的公開資料，可以掌握及預測上述對象區域內的群眾狀態。又，警備支援系統3，根據上述掌握或預測的狀態，以運算導出顯示加工成使用者容易理解的形態之群眾的過去、現在、未來的狀態之資訊與適當的警備計畫，這些資訊及警備計畫作為對警備支援有用的資訊，可以又提示警備擔當者，又提示群眾。
參照第14圖，此警備支援系統3，包括P台(P是3以上的整數)感應器SNR1、SNR2、...、SNRP；以及群眾監視裝置60，經由通訊網路NW1接收分別從這些感應器SNR1、SNR2、...、SNRP配送的感應資料。又，群眾監視裝置60具有分別從伺服器裝置SVR、SVR、...、SVR經由通訊網路NW2接收公開資料之功能。又，雖然本實施例的感應器SNR1~SNRP的台數3台以上，但取而代之，1台或2台也可以。
伺服器裝置SVR、SVR、...、SVR具有配送SNS(Social Networking Service(社會性網路服務)/Social Networking Site(社會性網站))資訊及公共資訊等的公開資料之功能。SNS，係指Twitter(註冊商標)或Facebook(註冊商標)等的即時性高且根據使用者的投稿內容一般公開的交流服務或交流網站。SNS資訊，係那種交流服務或交流網站中一般公開的資訊。又，作為公共資訊，例如自治體等的行政單位、公 共交通機關或氣象局提供的交通資訊或氣象資訊。
作為通訊網路NW1、NW2，例如有線LAN或無線LAN等的場內通訊網、據點間連結專用網路或網際網路等的廣區域通訊網。又，本實施例的通訊網路NW1、NW2雖然互不相同地構築，但不限定於此。通訊網路NW1、NW2構成單一網路也可以。
群眾監視裝置60，包括感應資料接收部61，接收從各感應器SNR1、SNR2、...、SNRP配送的感應資料；公開資料接收部62，經由通訊網路NW2從各伺服器裝置SVR、SVR、...、SVR接收公開資料；參數導出部63，根據這些感應資料及公開資料，以運算導出表示感應器SNR1、SNR2、...、SNRP檢出的群眾的狀態特徵量之狀態參數；群眾狀態預測部65，根據現在或過去的上述狀態參數，以運算預測上述群眾的未來狀態；以及警備計畫導出部66，根據其預測結果與上述狀態參數，以運算導出警備計畫案。
又，群眾監視裝置60，包括狀態提示介面部(狀態提示I/F部)67及計畫提示介面部(計畫提示I/F部)68。狀態提示I/F部67，具有運算功能，根據其預測結果與上述狀態參數，產生視覺資料或聽覺資料，以使用者容易了解的格式表示上述群眾的過去狀態、現在狀態(包含即時變化的狀態)及未來狀態；以及通訊功能，傳送其視覺資料或聽覺資料至外部機器71、72；另一方面，計畫提示I/F部68包括運算功能，產生視覺資料或聽覺資料，以使用者容易了解的格式表示警備計畫導出部66導出的警備計畫案；以及通訊功能，傳送其視覺資料 或聽覺資料至外部機器73、74。
又，本實施例的警備支援系統3，以群眾的物體群為感應對象而構成，但不限定於此。為了以人體以外的移動體(例如，野生動物或昆蟲的生命體，或者車輛)的群體作為感應對象的物體群，可以適當變更警備支援系統3的構成。
各感應器SNR1、SNR2、...、SNRP，電氣或光學檢出對象區域的狀態，產生檢出信號，並對上述檢出信號施行信號處理，藉此產生感應資料。此感應資料，包含處理完成資料，顯示檢出信號表示的檢出內容被抽象化或被壓縮化的內容。作為感應器SNR1、SNR2、...、SNRP，除了具有產生上述第一實施例及第二實施例的描述符資料Dsr的功能之感應器之外，還可以使用各種感應器。第15圖係顯示具有產生描述符資料Dsr的功能之感應器SNRk的一範例圖。第15圖所示的感應器SNRk具有與上述第二實施例的影像配送裝置TC1相同的構成。
又，感應器SNR1~SNRP的種類，大致分為設置於固定位置的固定感應器及裝載於移動體的移動感應器2大類。作為固定感應器，例如，可能使用光學攝影機、雷射測距感應器、超音波測距惑應器、集音麥克風、熱攝影機、紅外攝影機、及立體攝影機。另一方面，作為移動感應器，除了與固定感應器同種的感應器之外，還可能使用例如定位計、加速度感應器、生命感應器。移動感應器，主要一邊隨著感應對象的物體群移動，一邊進行感應，藉此能夠使用於直接感應上述物體群的動作及狀態之用途。又，觀察人類是物體群的狀態，並利用接受表示其觀察結果的主觀資料輸入之裝置作為感應器的一 部分也可以。此種裝置，例如可以通過上述人類持有的行動終端等的移動通訊終端，供給其主觀的資料作為感應資料。
又，這些感應器SNR1~SNRP，也可以只以單一種類的感應器構成，或是，以複數種類的感應器構成也可以。
各感應器SNR1~SNRP，設置在可以感應群眾的位置上，警備支援系統3動作的期間，根據需要可以傳送群眾的感應結果。固定感應器，例如，設置於街燈、電線桿、天花板或牆壁上。移動感應器，裝載於警備員、警備機器人或巡邏車等的移動體。又，附屬於形成群眾的每個人或警備員持有的知慧型手機或穿戴機器等的移動通訊終端之感應器，使用作為上述移動感應器也可以。此時，形成成為保安對象的群眾的每個人或警備員持有的移動通訊終端中，為了預先安裝感應資料收集用的應用軟體，最好先構築感應器資料收集的框架。
群眾監視裝置60中的感應資料接收部61，經由通訊網路NW1從上述感應器SNR1~SNRP一接收到包含描述符資料Dsr的感應資料群時，就供給此感應資料群給參數導出部63。另一方面，公開資料接收部62，從伺服器裝置SVR經由通訊網路NW2一接收到公開資料群時，就供給此公開資料群給參數導出部63。
參數導出部63，根據供給的感應資料群及公開資料群，以運算可以導出表示述感應器SNR1~SNRP中任一檢出的群眾狀態特徵量之狀態參數。感應器SNR1~SNRP包含具有第15圖所示的構成之感應器，此種感應器，如關於第二實施例所說明地，可以解析拍攝影像檢出上述拍攝影像中出現的群 眾作為物體群，傳送表示上述檢出的物體群的空間、地理及視覺特徵量的描述符資料Dsr至群眾監視裝置60。又，感應器SNR1~SNRP，如前所述，包含傳送描述符資料Dsr以外的感應資料(例如，體溫資料)至群眾監視裝置60之感應器。又，伺服器裝置SVR、SVR、...SVR，可以提供上述群眾存在的對象區域或關聯上述群眾的公開資料給群眾監視裝置60。參數導出部63，具有群眾參數導出部641、642、...、64R，解析如此的感應資料群及公開資料群，分別導出表示上述群眾的狀態特徵量之R種(R是3以上的整數)狀態參數。又，雖然本實施例的群眾參數導出部641~64R的個數是3個以上，但取而代之，1個或2個也可以。
作為狀態參數的種類，例如，「群眾密度」、「群眾行動方向及速度」、「流量」、「群眾行動的種類」、「特定人物的抽出結果」及「特定範圍人物的抽出結果」。
在此，「流量」，例如定義為通過既定區域的人數每單位時間的值乘上上述區域的長度而得到的值(單位：人數．m/s(米/秒))。又，「群眾行動的種類」，例如群眾往一方向流動的「一方向流」，對向方向的流動錯身而過的「對向流」，停留在當場的「滯留」。又，「滯留」也可能分類為如表示由於群眾密度過高上述群眾變成不能動的狀態等的「沒控制的滯留」，以及依照上述群眾的主辦者的指示停下而發生的「被控制的滯留」之種類。
又，「特定人物的抽出結果」，表示上述感應器的對象區域內是否存在特定人物的資訊，以及得到追蹤其特定 人物的結果之軌跡資訊。此種資訊，可能利用於用以作成表示警備支援系統3全體的感應範圍內搜尋對象之特定人物是否存在之資訊，例如，對搜尋走失的孩子有用的資訊。
「特定範圍人物的抽出結果」，表示屬於上述感應器的對象區域內特定範圍的人物是否存在之資訊，以及追蹤其特定人物的結果得到的軌跡資訊。在此，所謂屬於特定範圍的人物，例如，「特定年齡及性別的人物、「交通不良者」(例如，幼兒、高齡者、輪椅使用者及枴杖使用者)及「採取危險行動的人物或集團」。此類資訊，對於判斷對上述群眾是否需要特別的警備體制是有用的資訊。
又，群眾參數導出部641~64R，根據伺服器裝置SVR提供的公開資料，也可以導出「主觀的混雜度」、「主觀的舒適性」、「糾紛發生狀況」、「交通資訊」及「氣象資訊」等的狀態參數。
上述的狀態參數，根據從單一的感應器得到的感應資料導出也可以，或是藉由統合從複數台的感應器得到的複數的感應資料再利用而導出也可以。又，利用從複數台的感應器得到的感應資料的情況下，上述感應器可以是同一種類的感應器構成的感應器群，或是不同種類的感應器混合的感應器群也可以。統合複數的感應資料再利用的情況，比起利用單一的感應資料的情況，可以期待更高精確度的狀態參數的導出。
群眾狀態預測部65，根據參數導出部63供給的狀態參數群，以運算預測上述群眾的未來狀態，分別供給表示其預測結果的資料(以下也稱作「預測狀態資料」。)給警備計畫 導出部66與狀態提示I/F部67。群眾狀態預測部65，可能以運算推斷決定上述群眾的未來狀態的各種資訊。例如，可以算出參數導出部63導出的狀態參數與同種的參數的未來值作為預測狀態資料。又，可以預測哪種程度的未來狀態，根據警備支援系統3的系統要件可能任意定義。
第16圖係用以說明群眾狀態預測部65進行的預測之一範例圖。如第16圖所示，假設道寬相等的行人路徑PATH中的對象區域PT1、PT2、PT3內分別配置上述感應器SNR1~SNRP中的任一。群眾，從對象區域PT1、PT2往對象區域PT3移動。參數導出部63分別導出對象區域PT1、PT2的群眾流量(單位：人數．m/s)，可以供給這些流量給群眾狀態預測部65作為狀態參數值。群眾狀態預測部65，根據供給的流量，可以導出群眾可能朝向對象區域PT3的流量預測值。例如，在時刻T1的對象區域PT1、PT2的群眾往箭頭方向移動，假設對象區域PT1、PT2的流量分別為F。此時，假設上述群眾的移動速度為今後也不變的群眾舉動模型，且從對象區域PT1、PT2到對象區域PT3的群眾的移動時間都是t時，群眾狀態預測部65，可以預測在未來的時刻T+t的對象區域PT3的流量為2×F。
其次，警備計畫導出部66，從參數導出部63接受表示過去及現在的上述群眾狀態之狀態參數群的供給的同時，從群眾狀態預測部65接受表示上述群眾的未來狀態的預測資料的供給。警備計畫導出部66，根據這些狀態參數群及預測狀態資料，以運算導出用以迴避群眾的混雜及危險的警備計 畫案，供給表示其警備計畫案的資料給計畫提示I/F部68。
關於警備計畫導出部66產生的警備計畫案的導出方法，例如，參數導出部63及群眾狀態預測部65，輸出表示某對象區域在危險狀態之狀態參數群及預測狀態資料時，可能導出警備計畫案，提議用以整理上述對象區域中的群眾滯留之警備員的派遣或警備員的增員。「危險狀態」，例如，檢測發現群眾的「沒控制的滯留」或「採取危險行動的人物或集團」之狀態，或是「群眾密度」超過容許值的狀態。在此，警備計畫擔當者，通過後述的計畫提示I/F部68，可以以監視器或是以移動通訊終端等的外部機器73、74確認群眾的過去、現在及未來的狀態時，上述警備計畫擔當者也可能一邊確認上述狀態，一邊自行作成警備計畫案。
狀態提示I/F部67，根據供給的狀態參數群及預測狀態資料，可以產生以使用者(警備員或警備對象的群眾)容易了解的格式表示上述群眾的過去、現在及未來的狀態的視覺資料(例如，影像及文字資訊)或聽覺資料(例如，聲音資訊)。於是，狀態提示I/F部67，可以傳送其視覺資料及聽覺資料至外部機器71、72。外部機器71、72從狀態提示I/F部67接收上述視覺資料及聽覺資料，可以作為影像、文字及聲音輸出給使用者。作為外部機器71、72，可以使用專用的監視機器、廣用的PC、平板終端或智慧型手機等的資訊終端或不特定多數可以視聽的大型顯示器及揚聲器。
第17(A)、(B)圖係顯示狀態提示I/F部67產生的視覺資料的一範例圖。第17(B)圖中，顯示表示感應範圍的地 圖資訊M4。此地圖資訊M4中，指示道路網RD、分別感應對象區域AR1、AR2、AR3的感應器SNR1、SNR2、SNR3、監視對象的特定人物PED、以及上述特定人物PED的移動軌跡(黑線)。第17(A)圖中，分別顯示對象區域AR1的影像資訊M1、對象區域AR2的影像資訊M2、及對象區域AR3的影像資訊M3。如第17(B)圖所示，特定人物PED跨越對象區域AR1、AR2、AR3移動。因此，假設使用者只看到影像資訊M1、M2、M3的話，只要還沒理解感應器SNR1、SNR2、SNR3的配置，就難以掌握地圖上特定人物PED以怎樣的路徑移動。於是，狀態提示I/F部67，根據感應器SNR1、SNR2、SNR3的位置資訊，影像資訊M1、M2、M3中出現的狀態映射到第17(B)圖的地圖資訊M4，可以產生提示的視覺資料。藉由如此以地圖形式映射對象區域AR1、AR2、AR3的狀態，使用者可能直覺理解特定人物PED的移動路徑。
第18(A)、(B)圖係顯示狀態提示I/F部67產生的視覺資料的另一範例圖。第18(B)圖中，顯示表示感應範圍的地圖資訊M8。此地圖資訊M8中，指示道路網、分別感應對象區域AR1、AR2、AR3的感應器SNR1、SNR2、SNR3、及表示監視對象的群眾密度的濃度分佈資訊。第18(A)圖中，分別顯示對象區域AR1中的群眾密度以濃度分佈表示的地圖資訊M5，對象區域AR2中的群眾密度以濃度分佈表示的地圖資訊M6，對象區域AR3中的群眾密度以濃度分佈表示的地圖資訊M7。此例中，顯示地圖資訊M5、M6、M7所示的影像中的格子內的顏色(濃度)越亮密度越高，越暗密度越低。此時，狀態 提示I/F部67也根據感應器SNR1、SNR2、SNR3的位置資訊，映射對象區域AR1、AR2、AR3的感應結果到第18(B)圖的地圖資訊M8，可以產生提示的視覺資料。藉此，使用者可能直覺理解群眾密度的分佈。
另外，狀態提示I/F部67，可能產生以圖表形式表示狀態參數值的時間推移之視覺資料、以圖像影像通知危險狀態發生之視覺資料、以警告音通知其危險狀態發生之聽覺資料、以及以時間軸形式表示從伺服器裝置SVR取得的公開資料之視覺資料。
又，狀態提示I/F部67，根據群眾狀態預測部65供給的預測狀態資料，可以產生表示群眾的未來狀態之視覺資料。第19圖，係顯示以狀態提示I/F部67產生的視覺資料之又另一範例圖。第19圖中，顯示影像視窗W1與影像視窗W2並列配置的影像資訊M10。右側的影像視窗W2的顯示資訊，比起左側的影像視窗W1的顯示資訊，預測時間上較早的狀態。
另一影像視窗W1中，可以顯示視覺表示參數導出部63導出的過去或現在的狀態參數之影像資訊。使用者，可能藉由通過GUI(圖形使用者介面)調整滑桿SLD1的位置，使影像視窗W1顯示現在或過去的指定時刻中的狀態。第19圖的範例中，因為指定時刻設定為零，影像視窗W1中，即時顯示現在狀態，而且顯示「LIVE」的文字標題。另一影像視窗W2中，可以顯示視覺表示群眾狀態預測部65導出的未來狀態資料之影像資訊。使用者，可能藉由通過GUI調整滑桿SLD2的位置，使影像視窗W2顯示未來的指定時刻中的狀態。第19 圖的範例中，因為指定時刻設定為10分後，影像視窗W2中，顯示10分後的狀態，而且顯示「PREDICTION」的文字標題。影像視窗W1、W2中顯示的的狀態參數的種類及顯示格式，彼此相同。藉由如此採用顯示形態，使用者可以直覺理解現在的狀態與現在狀態變化的樣子。
又，也可以統合影像視窗W1、W2，構成單一的影像視窗，並為了在此單一的影像視窗內產生表示過去、現在或未來的狀態參數值之視覺資料，構成狀態提示I/F部67。此時，使用者以滑桿轉換指定時刻，為了使用者可以確認上述指定時刻中的狀態參數值，最好構成狀態提示I/F部67。
另一方面，計畫提示I/F部68，可以產生以使用者(警備擔當者)容易了解的格式表示警備計畫導出部66導出的警備計畫案的視覺資料(例如，影像及文字資訊)或聽覺資料(例如，聲音資訊)。於是，計畫提示I/F部68，可以傳送其視覺資料及聽覺資料至外部機器73、74。外部機器73、74，從計畫提示I/F部68接收上述視覺資料及聽覺資料，可以作為影像、文字及聲音輸出給使用者。作為外部機器73、74，可以使用專用的監視機器、廣用的PC、平板終端或智慧型手機等的資訊終端或大型顯示器及揚聲器。
作為警備計畫的提示方法，例如，可以採取對於所有使用者提示相同內容的警備計畫的方法、對特定的對象區域的使用者提示對象區域個別的警備計畫的方法，或是提示每個人個別的警備計畫的方法。
又，提示警備計畫之際，為了可以即時辨識已提 示使用者，最好產生例如藉由聲音及行動資訊終端的振動能夠動態通知使用者的聽覺資料。
又，上述警備支援系統4中，參數導出部63、群眾狀態預測部65、警備計畫導出部66、狀態提示I/F部67及計畫提示I/F部68，如第14圖所示包含在單一的群眾監視裝置60內，但不限定於此。參數導出部63、群眾狀態預測部65、警備計畫導出部66、狀態提示I/F部67及計畫提示I/F部68分散配置在複數的裝置內構成警備支援系統也可以。此時，這些複數的功能方塊，通過有線LAN或無線LAN等的場內通訊網、據點間連結專用網路或網際網路等的廣區域通訊網互相連接即可。
又，與上述相同，警備支援系統3中，感應器SNR1~SNRP的感應範圍的位置資訊很重要。例如，輸入群眾狀態預測部65的流量等的狀態參數，是根據哪個位置取得很重要。又，狀態提示I/F部67中，進行對第18(A)(B)圖及第19圖中所示的地圖上的映射時也必需狀態參數的位置資訊。
又，警備支援系統3，依照大規模活動的舉行，假設暫時且短期間之中構成的情況。此時，必須在短期間內設置大量的感應器SNR1~SNRP，且取得感應範圍的位置資訊。因此，最好容易取得感應範圍的位置資訊。
作為容易取得感應範圍的位置資訊之裝置，可能使用第一實施例的空間及地理描述符。光學攝影機或立體攝影機等的可以取得影像的感應器的情況下，藉由使用空間及地理描述符，可能容易導出感應結果對應地圖上的哪個位置。例 如，根據第12圖所示的參數「GNSSInfoDescriptor」，在某攝影機的取得影像中，屬於同一假想平面的最低4點空間位置與地理位置之間的關係為已知時，藉由實行投射轉換，可能導出上述假想平面的各位置對應地圖上的哪個位置。
群眾監視裝置60，例如，可以以PC、工作站或主機等的CPU內建的電腦構成。群眾監視裝置60使用電腦構成時，根據從ROM等的非揮發性記憶體讀出的監視程式CPU動作，藉此可能實現群眾監視裝置60的功能。又，群眾監視裝置60的構成要素63、65、66的功能全部或一部分，以FPGA或ASIC等的半導體積體電路構成也可以，或是以微電腦的一種之單晶片微電腦構成也可以。
如以上說明，第三實施例的警備支援系統3，根據包含從單數或複數的對象區域內分散配置的感應器SNR1、SNR2、...、SNRP取得的描述符資料Dsr之感應資料，以及從通訊網路NW2上的伺服器裝置SVR、SVR、...、SVR取得之公開資料，可以輕易掌握及預測上述對象區域內的群眾狀態。
又，本實施例的警備支援系統3，根據上述掌握或預測的狀態，以運算導出顯示加工成使用者容易理解的形態之群眾的過去、現在、未來的狀態之資訊與適當的警備計畫，這些資訊及警備計畫作為對警備支援有用的資訊，可以又提示警備擔當者，又提示群眾。
[第四實施例]
其次，說明關於本發明的第四實施例。第20圖係顯示第四實施例的影像處理系統之警備支援系統4的概略構成之方塊 圖。此警備支援系統4，包括P台(P是3以上的整數)感應器SNR1、SNR2、...、SNRP；以及群眾監視裝置60A，經由通訊網路NW1接收分別從這些感應器SNR1、SNR2、...、SNRP配送的感應資料。又，群眾監視裝置60A具有分別從伺服器裝置SVR、SVR、...、SVR經由通訊網路NW2接收公開資料之功能。
本實施例的群眾監視裝置60A，除了具有第20圖的感應資料接收部61A的一部分功能、影像解析部12及描述符產生部13的點之外，還具有與上述第三實施例的群眾監視裝置60相同的功能及相同的構成。
感應資料接收部61A，除了具有與上述感應資料接收部61相同的功能之外，從感應器SNR1、SNR2、...、SNRP接收的感應資料中有包含拍攝影像的感應資料時，還具有抽出上述拍攝影像供給給影像解析部12的功能。
影像解析部12及描述符產生部13的功能，與上述第一實施例的影像解析部12及描述符產生部13的功能相同。因此，描述符產生部13，產生空間描述符及地理描述符，以及根據MPEG規格產生已知的描述符(例如，表示物體的顏色、紋理、形狀、動作及臉等的特徵量之視覺描述符)，可以供給表示這些描述符的描述符資料Dsr給參數導出部63。因此，參數導出部63，根據描述符產生部13產生的描述符資料Dsr，可以產生狀態參數。
以上，參照圖面記述根據本發明的各種實施例，但這些實施例是本發明的例示，也可以採用這些實施例以外的各種形態。又本發明的範圍內，上述第一、二、三、四實施例 的自由組合、各實施例的任意構成要素的變形、或各實施例的任意構成要素的省略是可能的。
[產業上的利用可能性]
根據本發明的影像處理裝置、影像處理系統以及影像處理方法，例如適合使用於物體辨識系統(包含監視系統)、3次元地圖作成系統及影像檢索系統。
1‧‧‧影像處理系統
10‧‧‧影像處理裝置
11‧‧‧接收部
12‧‧‧影像解析部
13‧‧‧描述符產生部
14‧‧‧資料記錄控制部
15‧‧‧儲存器
16‧‧‧DB介面部
21‧‧‧解碼部
22‧‧‧影像辨識部
22A‧‧‧物體檢出部
22B‧‧‧規模推斷部
22C‧‧‧圖案檢出部
22D‧‧‧圖案解析部
23‧‧‧圖案記憶部
Cm‧‧‧攝影部
Dc‧‧‧解碼指示
NC1~NCN‧‧‧網路攝影機
NW‧‧‧通訊網路
Dsr‧‧‧描述符資料
Tx‧‧‧配送部
Vd‧‧‧影像資料

Claims (18)

  1. 一種影像處理裝置，包括：影像解析部，解析輸入影像，檢出上述輸入影像中出現的物體，並推斷上述檢出的物體以實際空間為基準的空間特徵量；以及描述符產生部，產生表示上述推斷的空間特徵量之空間描述符；上述影像解析部，檢出上述輸入影像中出現的編碼圖，解析上述檢出的編碼圖，推定表示上述被檢出的物體在地球上的位置之定位資訊作為地理資訊；以及上述描述符產生部，產生表示上述地理資訊之地理描述符。
  2. 如申請專利範圍第1項所述的影像處理裝置，其中，上述空間特徵量係表示上述實際空間中的物理尺寸量。
  3. 如申請專利範圍第1項所述的影像處理裝置，更包括：接收部，至少從1台拍攝攝影機接收包含上述輸入影像的傳送資料。
  4. 如申請專利範圍第1項所述的影像處理裝置，更包括：資料記錄控制部，積累上述輸入影像的資料在第1資料記錄部內的同時，將上述空間描述符的資料連結至上述輸入影像的資料，積累在第2資料記錄部內。
  5. 如申請專利範圍第4項所述的影像處理裝置，其中，上述輸入影像是動態影像；以及上述資料記錄控制部，將上述空間描述符的資料，連結至構成上述動態影像的一串影像中映現上述檢出的物體的影 像。
  6. 如申請專利範圍第1項所述的影像處理裝置，其中，上述編碼圖為顯示於配置在上述物體近旁之顯示機器的顯示畫面中所顯示之空間圖案或時序系列圖案。
  7. 如申請專利範圍第1項所述的影像處理裝置，更包括：資料記錄控制部，積累上述輸入影像的資料在第1資料記錄部內的同時，將上述空間描述符的資料及上述地理描述符的資料連結至上述輸入影像的資料，積累在第2資料記錄部內。
  8. 如申請專利範圍第1項所述的影像處理裝置，更包括：資料傳送部，傳送上述空間描述符。
  9. 如申請專利範圍第8項所述的影像處理裝置，其中，上述影像解析部，推斷上述檢出的物體的地理資訊；上述描述符產生部，產生表示上述推斷的地理資訊之地理描述符；以及上述資料傳送部，傳送上述地理描述符。
  10. 一種影像處理系統，包括：接收部，接收從申請專利範圍第8項所述的影像處理裝置傳送的上述空間描述符；參數導出部，根據上述空間描述符，導出顯示上述檢出的物體群構成的物體群的狀態特徵量之狀態參數；以及狀態預測部，根據上述導出的狀態參數，預測上述物體群的未來狀態。
  11. 一種影像處理系統，包括： 申請專利範圍第1項所述的影像處理裝置；參數導出部，根據上述空間描述符，導出顯示上述檢出的物體群構成的物體群的狀態特徵量之狀態參數；以及狀態預測部，根據上述導出的狀態參數，預測上述物體群的未來狀態。
  12. 如申請專利範圍第11項所述的影像處理系統，其中，上述影像解析部，推斷上述檢出的物體的地理資訊；以及上述描述符產生部，產生表示上述推斷的地理資訊之地理描述符；以及上述參數導出部，根據上述空間描述符及上述地理描述符，導出顯示上述狀態特徵量之狀態參數。
  13. 如申請專利範圍第10項所述的影像處理系統，更包括：狀態提示介面部，傳送表示上述狀態預測部預測的狀態之資料至外部機器。
  14. 如申請專利範圍第11項所述的影像處理系統，更包括：狀態提示介面部，傳送表示上述狀態預測部預測的狀態之資料至外部機器。
  15. 如申請專利範圍第13項所述的影像處理系統，更包括：警備計畫導出部，根據上述狀態預測部預測的狀態，以運算導出警備計畫案；以及計畫提示介面部，傳送表示上述導出的警備計畫案之資料至外部機器。
  16. 如申請專利範圍第14項所述的影像處理系統，更包括：警備計畫導出部，根據上述狀態預測部預測的狀態，以運 算導出警備計畫案；以及計畫提示介面部，傳送表示上述導出的警備計畫案之資料至外部機器。
  17. 一種影像處理方法，包括下列步驟：檢出步驟，解析輸入影像，檢出上述輸入影像中出現的物體；推斷空間特徵量步驟，推斷上述檢出的物體以實際空間為基準的空間特徵量；以及產生空間描述符步驟，產生表示上述推斷的空間特徵量之空間描述符；檢出上述輸入影像中出現的編碼圖的步驟；解析上述檢出的編碼圖，推定表示上述被檢出的物體在地球上的位置之定位資訊作為地理資訊的步驟；及產生表示上述地理資訊之地理描述符的步驟。
  18. 如申請專利範圍第17項所述的影像處理方法，更包括下列步驟：推斷地理資訊步驟，推斷上述檢出的物體的其他的地理資訊；以及產生地理描述符步驟，產生表示上述推斷的其他的地理資訊之地理描述符。
TW104137470A 2015-09-15 2015-11-13 Image processing device, image processing system and image processing method TWI592024B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/076161 WO2017046872A1 (ja) 2015-09-15 2015-09-15 画像処理装置、画像処理システム及び画像処理方法

Publications (2)

Publication Number Publication Date
TW201711454A TW201711454A (zh) 2017-03-16
TWI592024B true TWI592024B (zh) 2017-07-11

Family

ID=58288292

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104137470A TWI592024B (zh) 2015-09-15 2015-11-13 Image processing device, image processing system and image processing method

Country Status (7)

Country Link
US (1) US20180082436A1 (zh)
JP (1) JP6099833B1 (zh)
CN (1) CN107949866A (zh)
GB (1) GB2556701C (zh)
SG (1) SG11201708697UA (zh)
TW (1) TWI592024B (zh)
WO (1) WO2017046872A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190230320A1 (en) * 2016-07-14 2019-07-25 Mitsubishi Electric Corporation Crowd monitoring device and crowd monitoring system
GB2579736C (en) * 2017-08-22 2021-03-10 Mitsubishi Electric Corp Image processing device and image processing method
JP6990146B2 (ja) * 2018-05-08 2022-02-03 本田技研工業株式会社 データ公開システム
US10789288B1 (en) * 2018-05-17 2020-09-29 Shutterstock, Inc. Relational model based natural language querying to identify object relationships in scene
US10769419B2 (en) * 2018-09-17 2020-09-08 International Business Machines Corporation Disruptor mitigation
US10942562B2 (en) * 2018-09-28 2021-03-09 Intel Corporation Methods and apparatus to manage operation of variable-state computing devices using artificial intelligence
US20210241597A1 (en) * 2019-01-29 2021-08-05 Pool Knight, Llc Smart surveillance system for swimming pools
US10964187B2 (en) * 2019-01-29 2021-03-30 Pool Knight, Llc Smart surveillance system for swimming pools
CN111199203A (zh) * 2019-12-30 2020-05-26 广州幻境科技有限公司 一种基于手持设备的动作捕捉方法及系统
CA3163171A1 (en) * 2020-01-10 2021-07-15 Mehrsan Javan Roshtkhari System and method for identity preservative representation of persons and objects using spatial and appearance attributes
KR20230028296A (ko) * 2020-06-24 2023-02-28 레오랩스, 인크. 궤도 충돌 선별을 위한 시스템 및 방법
CN114463941A (zh) * 2021-12-30 2022-05-10 中国电信股份有限公司 防溺水告警方法、装置及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1054707A (ja) * 1996-06-04 1998-02-24 Hitachi Metals Ltd 歪み測定方法及び歪み測定装置
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
JP4144300B2 (ja) * 2002-09-02 2008-09-03 オムロン株式会社 ステレオ画像による平面推定方法および物体検出装置
JP4363295B2 (ja) * 2004-10-01 2009-11-11 オムロン株式会社 ステレオ画像による平面推定方法
US9384619B2 (en) * 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
JP2006157265A (ja) * 2004-11-26 2006-06-15 Olympus Corp 情報呈示システム、情報呈示端末及びサーバ
JP5079547B2 (ja) * 2008-03-03 2012-11-21 Ｔｏａ株式会社 カメラキャリブレーション装置およびカメラキャリブレーション方法
CN101477529B (zh) * 2008-12-01 2011-07-20 清华大学 一种三维对象的检索方法和装置
JP2012057974A (ja) * 2010-09-06 2012-03-22 Ntt Comware Corp 撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラム
US9355451B2 (en) * 2011-08-24 2016-05-31 Sony Corporation Information processing device, information processing method, and program for recognizing attitude of a plane
WO2013029674A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
JP2013222305A (ja) * 2012-04-16 2013-10-28 Research Organization Of Information & Systems 緊急時情報管理システム
WO2014023338A1 (en) * 2012-08-07 2014-02-13 Metaio Gmbh A method of providing a feature descriptor for describing at least one feature of an object representation
CN102929969A (zh) * 2012-10-15 2013-02-13 北京师范大学 一种基于互联网的移动端三维城市模型实时搜索与合成技术
CN104794219A (zh) * 2015-04-28 2015-07-22 杭州电子科技大学 一种基于地理位置信息的场景检索方法

Also Published As

Publication number Publication date
JP6099833B1 (ja) 2017-03-22
SG11201708697UA (en) 2018-03-28
CN107949866A (zh) 2018-04-20
GB2556701C (en) 2022-01-19
GB2556701A (en) 2018-06-06
US20180082436A1 (en) 2018-03-22
TW201711454A (zh) 2017-03-16
GB201719407D0 (en) 2018-01-03
GB2556701B (en) 2021-12-22
JPWO2017046872A1 (ja) 2017-09-14
WO2017046872A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
TWI592024B (zh) Image processing device, image processing system and image processing method
JP6261815B1 (ja) 群集監視装置、および、群集監視システム
US9514370B1 (en) Systems and methods for automated 3-dimensional (3D) cloud-based analytics for security surveillance in operation areas
US9514371B1 (en) Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems
US9516280B1 (en) Systems and methods for automated cloud-based analytics and 3-dimensional (3D) display for surveillance systems in retail stores
US9516281B1 (en) Systems and methods for automated cloud-based analytics for security surveillance systems with mobile input capture devices
US9516279B1 (en) Systems and methods for automated cloud-based 3-dimensional (3D) analytics for surveillance systems
WO2017193735A1 (zh) 用于视频监控系统的行踪轨迹的获取方法和装置
US10217003B2 (en) Systems and methods for automated analytics for security surveillance in operation areas
US9516278B1 (en) Systems and methods for automated cloud-based analytics and 3-dimensional (3D) playback for surveillance systems
US11120274B2 (en) Systems and methods for automated analytics for security surveillance in operation areas
US11210529B2 (en) Automated surveillance system and method therefor
JP6435640B2 (ja) 混雑度推定システム
CN111652173B (zh) 一种适合综合商场内人流管控的采集方法
Feliciani et al. Pedestrian and Crowd Sensing Principles and Technologies
JP2019023939A (ja) ウェアラブル端末