TWI676156B - 電腦系統及其資源分配方法 - Google Patents

電腦系統及其資源分配方法 Download PDF

Info

Publication number
TWI676156B
TWI676156B TW107125111A TW107125111A TWI676156B TW I676156 B TWI676156 B TW I676156B TW 107125111 A TW107125111 A TW 107125111A TW 107125111 A TW107125111 A TW 107125111A TW I676156 B TWI676156 B TW I676156B
Authority
TW
Taiwan
Prior art keywords
image
identification
recognition
warning object
images
Prior art date
Application number
TW107125111A
Other languages
English (en)
Other versions
TW202006676A (zh
Inventor
羅英鴻
Ying-Hung Lo
Original Assignee
中強光電股份有限公司
Coretronic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中強光電股份有限公司, Coretronic Corporation filed Critical 中強光電股份有限公司
Application granted granted Critical
Publication of TWI676156B publication Critical patent/TWI676156B/zh
Publication of TW202006676A publication Critical patent/TW202006676A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一種電腦系統及其資源分配方法。取得多台影像擷取裝 置所擷取的影像。透過數個辨識作業分別辨識那些影像擷取裝置的影像中是否出現警示物件,而各辨識作業佔用此電腦系統的部分系統負載。若自一張影像中辨識到警示物件,則調整那些辨識作業所用的系統負載,且判斷影像中的警示物件所關聯的人物。

Description

電腦系統及其資源分配方法
本發明是有關於一種安全防護系統與技術,且特別是有關於一種電腦系統及其資源分配方法。
為了安全防護,部分店家或住家裝載有閉路電視(Closed-Circuit Television,CCTV)監視系統,以方便監視特定區域。雖然使用者可即時觀看監視畫面,但人工監視的成本高,且人為的疏忽難以避免。
隨著科技進步,影像辨識技術也越來越成熟,監視系統也逐漸導入影像辨識技術。例如,圖1是習知技術說明影像辨識的示意圖。
請參照圖1,影像I中的人及商品基於影像辨識技術而分別被辨識出來。而由於影像辨識技術對於電腦的運算資源有較高的需求,一般的當地端(Local side),例如家用電腦或筆電(PC/NB) 通常無法即時辨識太多的監視畫面或過多的監視目標,因此現有的監視系統會將監視畫面傳送到遠端(remote side),例如雲端伺服器,藉由雲端伺服器較強的運算能力來對監視畫面辨識。然而,受限於連線、反應速度等問題,雲端伺服器的辨識結果也可能無法即時回饋給使用者而做出相對應的反應。由此可知,現有用於監視的辨識技術仍有待改進。
“先前技術”段落只是用來幫助了解本發明內容,因此在“先前技術”段落所揭露的內容可能包含一些沒有構成所屬技術領域中具有通常知識者所知道的習知技術。在“先前技術”段落所揭露的內容,不代表所述內容或者本發明一個或多個實施例所要解決的問題,在本發明申請前已被所屬技術領域中具有通常知識者所知曉或認知。
本發明提供一種電腦系統、其資源分配方法及其影像辨識方法,可動態調整電腦系統的負載,並提供更加實際的辨識方式,使電腦系統具有能力來即時處理辨識作業。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的了解。
為達上述之一或部份或全部目的或是其他目的,本發明的一實施例提出一種資源分配方法適用於電腦系統,且此方法包括下列步驟:取得多台影像擷取裝置所擷取的影像。透過數個辨 識作業分別辨識那些影像擷取裝置的那些影像中是否出現警示物件,而各辨識作業佔用此電腦系統的部分系統負載。若自那些影像的至少其中之一中辨識到此警示物件,則調整那些辨識作業所用的系統負載。
在本發明的一實施例中,上述調整那些辨識作業所用的系統負載包括下列步驟:將未辨識到警示物件的那些影像作為一般影像。降低一般影像對應的辨識作業所使用的系統負載。
在本發明的一實施例中,上述降低一般影像對應的辨識作業所使用的系統負載包括下列步驟:降低一般影像對應的辨識作業的影像處理速度。
在本發明的一實施例中,上述降低一般影像對應的辨識作業所使用的系統負載包括下列步驟:降低一般影像在對應辨識作業處理下的影像解析度。
在本發明的一實施例中,上述調整那些辨識作業所用的系統負載包括下列步驟:將辨識到警示物件的影像作為關注影像。將降低的系統負載提供給進階辨識作業。透過進階辨識作業判斷在關注影像中警示物件與關聯人物的互動行為。
在本發明的一實施例中,上述透過那些辨識作業分別辨識那些影像擷取裝置的那些影像中是否出現警示物件之後,更包括下列步驟:若自那些影像擷取裝置的那些影像中皆未辨識到警示物件,則平均分配電腦系統的系統負載給那些辨識作業。
在本發明的一實施例中,上述透過那些辨識作業分別辨 識那些影像擷取裝置的影像中是否出現警示物件之後,更包括下列步驟:依據那些辨識作業的辨識結果切換成一般狀態及緊急狀態中的其中之一者。在一般狀態中,平均那些辨識作業所用的系統負載。在緊急狀態中,降低未辨識到警示物件的辨識作業所用的系統負載。
在本發明的一實施例中,上述透過那些辨識作業分別辨識那些影像擷取裝置的那些影像中是否出現警示物件包括下列步驟:透過的推論器執行那些辨識作業及進階辨識作業。
在本發明的一實施例中,上述透過進階辨識作業判斷在關注影像中警示物件與關連人物的互動行為之後,更包括下列步驟:通報此進階辨識作業的辨識結果。
為達上述之一或部份或全部目的或是其他目的,本發明的一實施例提出電腦系統包括輸入裝置、儲存器、影像處理器及主處理器。輸入裝置取得多台影像擷取裝置所擷取的多個影像。儲存器記錄那些影像擷取裝置的那些影像、以及數個模組。影像處理器,用於運行推論器。主處理器耦接輸入裝置、儲存器及影像處理器,並存取且載入儲存器所記錄的那些模組。而那些模組包括多個基本辨識模組及負載平衡模組。那些基本辨識模組透過推論器執行數個辨識作業,以分別辨識那些影像擷取裝置的那些影像中是否出現警示物件,而各辨識作業佔用電腦系統的部分系統負載。而若自那些影像中辨識到此警示物件,則負載平衡模組調整那些辨識作業所用的系統負載。
在本發明的一實施例中,上述負載平衡模組將未辨識到警示物件的影像作為一般影像,並降低一般影像對應的辨識作業所使用的系統負載。
在本發明的一實施例中,上述該些模組更包括數據調整模組,降低一般影像對應的辨識作業的影像處理速度。
在本發明的一實施例中,上述該些模組更包括數據調整模組,降低一般影像在對應辨識作業處理下的影像解析度。
在本發明的一實施例中,上述負載平衡模組將辨識到警示物件的影像作為關注影像,並將降低的系統負載提供給進階辨識作業,而該些模組更包括:進階辨識模組,透過推論器執行進階辨識作業,以判斷在關注影像中警示物件與關聯人物的互動行為。
在本發明的一實施例中,上述若自那些影像擷取裝置的那些影像中皆未辨識到警示物件,則負載平衡模組平均分配電腦系統的系統負載給那些辨識作業。
在本發明的一實施例中,上述那些模組更包括事件回饋模組,依據推論器的辨識結果切換成一般狀態及緊急狀態中的其中之一者,其中在一般狀態中,負載平衡模組平均那些辨識作業所用的系統負載,以及在緊急狀態中,負載平衡模組降低未辨識到警示物件的辨識作業所用的系統負載。
在本發明的一實施例中,上述那些模組更包括載入模組,在電腦系統開機過程中,載入那些基本辨識模組及進階辨識 模組。
在本發明的一實施例中,上述電腦系統更包括警示裝置,通報進階辨識作業的辨識結果。
為達上述之一或部份或全部目的或是其他目的,本發明的一實施例提出的影像辨識方法包括下列步驟:取得連續拍攝的多張影像。辨識那些影像中是否出現警示物件。若那些影像中出現警示物件,則判斷那些影像中的警示物件所關聯的人物。依據那些影像的時序關係判斷那些影像中此人物與此警示物件的互動行為,以決定那些影像對應的場景。
在本發明的一實施例中,上述依據那些影像的時序關係判斷那些影像中此人物與此警示物件的互動行為包括下列步驟:依據那些影像的時序關係判斷警示物件隨著此人物的移動路線。
在本發明的一實施例中,上述依據那些影像的時序關係判斷那些影像中此人物與此警示物件的互動行為包括下列步驟:判斷此情境中此移動路線是否符合通報行為。若移動路線符合此通報行為,則通報此情境。
在本發明的一實施例中,上述依據那些影像的時序關係判斷那些影像中此人物與此警示物件的互動行為包括下列步驟:判斷此人物是否符合信任人物。若此人物不符合信任人物,則將此人物作為警示人物。判斷警示人物與警示物件的互動行為。忽略信任人物與警示物件的互動行為。
為達上述之一或部份或全部目的或是其他目的,本發明 的一實施例提出用於影像辨識的電腦系統包括輸入裝置、儲存器、影像處理器及主處理器。輸入裝置取得連續拍攝的多張影像。儲存器記錄那些影像、以及數個模組。影像處理器,用於運行推論器。主處理器耦接輸入裝置、儲存器及影像處理器,並存取且載入儲存器所記錄的那些模組。而那些模組包括基本辨識模組及進階辨識模組。基本辨識模組透過推論器辨識那些影像中是否出現警示物件。若那些影像中出現警示物件,則進階辨識模組透過推論器判斷那些影像中的警示物件所關聯的人物,並依據那些影像的時序關係判斷那些影像中此人物與此警示物件的互動行為,以決定那些影像對應的場景。
基於上述,本發明實施例是在一般狀態下平均分配所有辨識作業所用的系統負載。而自影像中偵測到警示物件之後,電腦系統切換成緊急狀態,並系統負載將被分配給進階辨識作業,以確保針對警示物件的一般辨識作業及針對詳細情境的進階辨識作業都能即時得出辨識結果,且不影響辨識準確度。另一方面,針對詳細情境的辨識,本發明實施例考慮人與警示物件在不同時序之影像中所形成的互動行為,以提升情境辨識的可靠度。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
1‧‧‧安全防護系統
10‧‧‧影像擷取裝置
30‧‧‧電腦系統
31‧‧‧處理系統
311‧‧‧推論器
32‧‧‧輸入裝置
33‧‧‧儲存器
331‧‧‧影像接收模組
332‧‧‧數據調整模組
333‧‧‧負載平衡模組
334‧‧‧載入模組
335‧‧‧基本辨識模組
336‧‧‧進階辨識模組
337‧‧‧事件回饋模組
35‧‧‧警示裝置
36‧‧‧影像處理器
37‧‧‧主處理器
50‧‧‧監控平台
S310~S350、S510~S570‧‧‧步驟
I、I1~I3‧‧‧影像
AO‧‧‧警示物件
AP‧‧‧人物
圖1是一習知技術說明影像辨識的示意圖。
圖2是依據本發明一實施例的安全防護系統的元件方塊圖。
圖3是依據本發明一實施例的資源分配方法的流程圖。
圖4是依據本發明一實施例說明一般狀態的系統負載配置。
圖5是依據本發明一實施例的影像辨識方法的流程圖。
圖6是依據本發明一實施例說明緊急狀態的系統負載配置。
有關本發明之前述及其他技術內容、特點與功效,在以下配合參考圖式之一較佳實施例的詳細說明中,將可清楚的呈現。以下實施例中所提到的方向用語,例如:上、下、左、右、前或後等,僅是參考附加圖式的方向。因此,使用的方向用語是用來說明並非用來限制本發明。並且,以下實施例中所提到的「耦接」一詞可指任何直接或間接的連接手段。此外,「信號」一詞可指至少一電流、電壓、電荷、溫度、資料、電磁波或任何其他一或多個信號。
圖2是依據本發明一實施例的安全防護系統1的元件方塊圖。請參照圖2,安全防護系統1包括多台影像擷取裝置10、電腦系統30及監控平台50。
各影像擷取裝置10例如是相機、攝影機等,可擷取影像的裝置,且各影像擷取裝置10包括鏡頭、影像感測器等元件。各影像擷取裝置10可對某一環境中的特定區域進行影像擷取的作 業。
電腦系統30例如是桌上型電腦、筆記型電腦、工作站、或各類型伺服器。電腦系統30至少包括但不僅限於處理系統31、輸入裝置32、儲存器33及警示裝置35。處理系統31包括影像處理器36、主處理器37以及人工智慧(AI)的推論(Inference)器311。
影像處理器36可以是圖形處理單元(Graphic Processing Unit,GPU)、人工智慧晶片(例如,張量處理單元(Tensor Processing Unit,TPU)、神經處理單元(Neural Processing Unit,NPU)、視覺處理器(Vision Processing Unit,VPU)等)、特殊應用積體電路(Application-Specific Integrated Circuit,ASIC)、或現場可程式邏輯閘陣列(Field Programmable Gate Array,FPGA)等處理器。影像處理器36經設計而作為神經運算引擎,用於提供運算能力/容量,並運行人工智慧的推論器311,其中推論器311作為韌體(firmware)。於本實施例中,此推論器311是利用基於機器學習(Machine Learning)所訓練的神經網路模型或分類器,來判斷輸入資料的決策結果。例如,執行辨識作業來判斷輸入影像中是否具有人物或物品的存在。值得一提的是,本實施例是藉由影像處理器36的運算能力,使得推論器311能達到判斷輸入資料的決策結果。於其他實施例中,影像處理器36亦可採用其他影像辨識演算法技術的運算,本發明不加以限制。
輸入裝置32可以是任何類型的有線傳輸介面(例如,乙太網路(Ethernet)、光纖、同軸等)或無線傳輸介面(例如,Wi-Fi、第 四代(4G)或更後世代行動網路等)。值得注意的是,影像擷取裝置10也具有與輸入裝置32相同或相容的傳輸介面,使輸入裝置32可取得影像擷取裝置10所擷取的一張或多張連續的影像。
儲存器33可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory,RAM)、唯讀記憶體(Read Only Memory,ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive,HDD)、固態硬碟(Solid-State Drive,SSD)或類似元件。儲存器33用以記錄程式碼、軟體(Software)模組(例如,影像接收模組331、數據調整模組332、負載平衡模組333、載入模組334、數個基本辨識模組335、數個進階辨識模組336、及事件回饋模組337等),此外,儲存器33用以記錄影像擷取裝置10的影像及其他資料或檔案,其詳細內容待後續實施例詳述。
警示裝置35可以是顯示器(例如,液晶顯示器(Liquid Crystal Display,LCD)、發光二極管(Light-Emitting Diode,LED)等)、揚聲器(即,喇叭)、通訊收發器(例如,支援行動網路、乙太網路等)或其組合。
處理系統31,耦接輸入裝置32以及儲存器33,並存取且載入儲存器33所記錄的軟體(Software)模組。處理系統31的主處理器37耦接影像處理器36、輸入裝置32、儲存器33及警示裝置35,主處理器37可以是中央處理器(Central Processing Unit,CPU)、微控制器、可程式化控制器、特殊應用積體電路或其他類似元件或上述元件的組合。於本實施例中,主處理器37可存取並 載入儲存器33所記錄的那些軟體模組(例如,影像接收模組331、數據調整模組332、負載平衡模組333、載入模組334、數個基本辨識模組335、數個進階辨識模組336、及事件回饋模組337等)。
監控平台50例如是桌上型電腦、筆記型電腦、工作站、或各類型伺服器,此監控平台50可能處於區域內的保全室、保全公司、警察局或其他警戒相關單位。若警示裝置35是通訊收發器,則監控平台50亦具有相同或相容通訊技術的接收器,以接收來自警示裝置35發送的訊息。
為了方便理解本發明實施例的操作流程,以下將舉諸多實施例詳細說明本發明實施例中針對運算資源分配及影像辨識的流程。下文中,將搭配行為安全防護電腦系統1中的各項裝置、元件及模組說明本發明實施例所述之方法。本方法的各個流程可依照實施情形而隨之調整,且並不僅限於此。
圖3是依據本發明一實施例的資源分配方法的流程圖。請參照圖3,影像接收模組331透過輸入裝置32取得那些影像擷取裝置10所擷取的影像(可以是類比或數位視訊)(步驟S310),詳細而言,處理系統31載入影像接收模組331,影像接收模組331藉由輸入裝置32取得那些影像擷取裝置10所擷取的影像。接著,依據影像擷取裝置10的數量,處理系統31的主處理器37運行相同數量的基本辨識模組335。而這些基本辨識模組335會透過推論器311來執行辨識作業,以分別辨識影像擷取裝置10提供的擷取影像中是否出現警示物件(步驟S330)。此警示物件可以是槍枝、 刀械等危險物品、或是商品、金錢等,端視應用者之實際需求而可調整其種類及數量。而推論器311則會利用針對此警示物件的分類器或神經網路模型來判斷影像中的所有物件,以得出有出現或沒有出現警示物件的辨識結果。
值得注意的是,各辨識作業會佔用電腦系統30的部分系統負載(例如,主處理器37、儲存器33及/或影像處理器36的運算資源等)。資源定義為運算數據的資源。而事件回饋模組337會依據推論器311的辨識結果來藉由負載平衡模組333將電腦系統30切換成一般狀態及緊急狀態中的一者。若辨識結果是這些基本辨識模組335自那些影像擷取裝置10的擷取影像中皆未辨識到警示物件,則事件回饋模組337會維持或切換成一般狀態,使負載平衡模組333平均分配電腦系統30的系統負載(運算能力)給那些辨識作業。此平均分配是指,各辨識作業所佔用的系統負載大致相等。值得注意的是,負載平衡模組333是依據各辨識作業所需的運算資源來平均分配系統負載,在一些情況下(例如,影像中的物件較多、環境灰暗等),部分辨識作業所分配到的系統負載可能不同。
舉例而言,圖4是依據本發明一實施例說明一般狀態的系統負載配置。請參照圖4,假設有三台影像擷取裝置10,而圖面右側代表電腦系統30接收到各影像擷取裝置10所拍攝的影像I1~I3。處理系統31的推論器311將分別辨識三組影像I1~I3中是否出現警示物件。若影像I1~I3中皆未出現警示物件,則各辨識作 業所佔用的系統負載大概都是33%。
另一方面,若任一基本辨識模組335自其中一影像中辨識到此警示物件,則負載平衡模組333調整那些辨識作業所用的系統負載(步驟S350)。具體而言,單憑警示物件的辨識結果可能會產生過多無須通報的結果(例如,警示物件為槍枝,而影像中出現巡邏員警配帶槍枝的情境;警示物件為商品(例如刀具),而影像中出現店員搬運商品的情境,這些情境事實上不需要通報給使用者)。因此,本發明實施例中還會進一步分析警示物件對應的場景(包括,人、事、時間、地點、物等),以得出正確需要通報的辨識結果。而由於基本辨識模組335僅會針對警示物件加以辨識,因此本發明實施例中還包括進階辨識模組336,並藉由進階辨識模組336來執行針對場景的進階辨識作業(即,透過進階辨識模組336來進一步分析影像所呈現的情境(故事)內容)。
此進階辨識作業需要針對人、事、地點及時間等場景因素來分析,因此進階辨識作業的進階辨識模組336比基本辨識模組335使用更多的分類器或神經網路模型,且更加耗費系統資源。而為了使進階辨識作業也能正常運作(例如,即時提供辨識結果),在事件回饋模組337依據推論器311的辨識結果而將電腦系統30切換成緊急狀態之後,在緊急狀態中,負載平衡模組333會將未辨識到警示物件的影像作為一般影像,並降低一般影像對應的辨識作業所使用的系統負載。
降低系統負載的方式有很多種,在一實施例中,負載平 衡模組333控制數據調整模組332,數據調整模組332會降低一般影像對應的辨識作業的影像處理速度。例如,針對一台影像擷取裝置10,辨識作業在一般狀態下的影像處理速度是每秒處理三十張訊框(frame)的影像。舉例而言,在緊急狀態下,對於影像擷取裝置10所拍攝的影像I1中並沒有出現警示物件,因此影像接收模組331每秒接收三十張訊框,而數據調整模組332每秒會自這三十張訊框中取得十張訊框,使基本辨識模組335每秒僅針對篩選的十張訊框進行辨識。由於每秒需要辨識的影像張數變少,此辨識作業所佔用系統資源也會降低。
在另一實施例中,數據調整模組332會降低一般影像在對應辨識作業處理下的影像解析度。例如,針對一台影像擷取裝置10,辨識作業在一般狀態下是對1920×1080解析度的一般影像進行辨識。而在緊急狀態下,對於一台影像擷取裝置10所拍攝的影像I1中並沒有出現警示物件,數據調整模組332將一般影像的解析度降低至720×480,使基本辨識模組335每秒僅針對720×480解析度的一般影像進行辨識。由於每張需要辨識的畫素量變少,此辨識作業所佔用系統資源也會降低。
另一方面,在緊急狀態下,負載平衡模組333將辨識到警示物件的影像作為關注影像,並將前述降低的系統負載(例如,因影像處理速度或解析度降低而多出的系統資源)提供給進階辨識作業。進階辨識模組336便具有足夠的系統資源來透過進階辨識作業判斷關注影像中警示物件與人、地點或時間的關係。
值得說明的是,若兩台以上影像擷取裝置10所擷取的影像被辨識出警示物件,則主處理器37會運行相同數量的進階辨識模組336來分別處理進階辨識作業,以即時提供辨識結果。而針對一般影像的辨識作業所減少的系統資源量,負載平衡模組333會以進階辨識作業能即時提供辨識結果所需的資源量為依據。此外,在電腦系統30開機過程中,載入模組334可先載入那些基本辨識模組335及進階辨識模組336。這些基本辨識模組335及進階辨識模組336在不透過推論器311辨識時,幾乎不會消耗電腦系統30整體計算資源。而由於這些軟體模組335,336已是先載入,辨識作業或進階辨識作業在需要被執行時能即時執行,從而提升反應速度。
以下將詳細介紹影像辨識,圖5是依據本發明一實施例的影像辨識方法的流程圖。請參照圖5,步驟S510與S530的詳細說明可參酌圖3步驟S310及S330的實施例,於此不再贅述。另值得注意的是,為方便說明以下是針對某一影像擷取裝置10連續拍攝的多張影像進行分析,針對其他更多影像擷取裝置10所拍攝影像的實施例可依此類推。
若影像中出現警示物件,則基本辨識模組335仍會持續辨識警示物件,而進階辨識模組336會判斷影像(即,關注影像)中警示物件所關聯的人物(步驟S550)。在本實施例中,進階辨識模組336會透過推論器311判斷影像中是否出現人物,再利用特定分類器或神經網路模型來判斷此人物是否符合信任人物。此信 任人物例如是店員、警察、警衛等人物,並視實際需求而可調整。若此人物不符合信任人物,則進階辨識模組將此人物作為警示人物。
接著,進階辨識模組336再依據那些影像的時序關係判斷那些影像中此人物與此警示物件的互動行為,以決定那些影像對應的場景(步驟S570)。具體而言,此互動行為例如是人物手持警示物件移動、人物自櫃架上取得警示物件等各種動作或行為。然而,人物與警示物件同時出現在影像中的部分情境,可能也不需要通報給使用者(例如,警示物件為槍枝,而影像中出現消費者自櫃架上取得玩具手槍的情境;警示物品為商品,而影像中出現消費者手持商品在商場內移動的情境)。因此,本發明實施例的進階辨識模組336依據那些影像的時序關係判斷警示物件隨著人物的移動路線。進階辨識模組336會依據時序關係(順序)判斷不同影像中人物的位置,並將這些位置連結成移動路線。進階辨識模組336接著判斷此情境中此移動路線是否符合通報行為(例如,人物持警示物件自店門口直接移動到櫃台、人物透過推車載運商品自櫃架直接移動至店門等,可視實際需求而調整)。也就是說,進階辨識模組336會進一步分析人物與警示物件隨時間變化所形成的事件。
若移動路線符合此通報行為,則進階辨識模組336會透過警示裝置35通報此情境(即,進階辨識作業的辨識結果)。通報情境的方式有很多種。舉例而言,警示裝置35可發出警示聲、在 畫面中呈現警示標記、或發出警示訊息給外部的監控平台50(可能處於保全、警察單位等)。
舉例而言,圖6是依據本發明一實施例說明緊急狀態的系統負載配置。請參照圖6,假設有三台影像擷取裝置10,而圖面右側是電腦系統30接收到各影像擷取裝置10所拍攝的影像I1~I3。推論器311自影像I2中辨識出警示物件AO之後,與圖4的實施例比較,在緊急狀態下,未辨識到警示物件AO的辨識作業(即,針對影像I1、I3)所占系統負載降低到15%,而針對影像I2的辨識作業及進階辨識作業則分配到70%的系統負載(影像I2的辨識作業仍維持,但主處理器37針對影像I2額外執行進階辨識作業(如圖面最右側所示影像畫面))。進階辨識模組336便具有系統資源來進一步判斷是否有關聯人物AP、以及人物AP與警示物件AO的互動行為。假設進階辨識模組336判斷當前場景是影像I2中的人物AP(警示人物)手持警示物件AO(槍)自店門移動至櫃台,此時進階辨識模組336可透過警示裝置35來通報此情境。
另一方面,由於所有辨識作業都會持續執行,在緊急狀態下,若依據辨識作業(或推論器311)的辨識結果得出皆未辨識出警示物件,則事件回饋模組337會將電腦系統30切換成一般狀態,並停止執行進階辨識作業,且負載平衡模組333將所有系統負載平均分配給基本辨識模組335的辨識作業。此外,在緊急狀態下,若有其他影像也辨識出警示物件,事件回饋模組337會維持緊急狀態,負載平衡模組333可能會再降低針對一般影像所對 應辨識作業的系統負載、或降低先前提供給已運行的進階辨識作業的系統負載,使另一進階辨識模組336具有系統資源來即時提供辨識結果。
綜上所述,考量到電腦系統30的計算能力不充足的情況,本發明實施例可依據辨識作業的辨識結果來動態調整各辨識作業及進階辨識作業所佔用的系統負載。在一般狀態下,辨識作業是針對特定警示物件,使用較少的分類器或神經網路模型,但基本辨識要素仍可維持且不影響辨識的準確度。而若影像中出現警示物件使電腦系統轉換成緊急狀態,針對警示物件的一般辨識作業所佔用的系統資源將降低,使進階辨識作業有足夠的系統資源來即時提供辨識結果。此外,本發明實施例還會針對人、事、地點及時間等場景因素來分析,以通報較為緊急情況的情境,從而提升通報效率。
惟以上所述者,僅為本發明之較佳實施例而已,當不能以此限定本發明實施之範圍,即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾,皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外,摘要部分和標題僅是用來輔助專利文件搜尋之用,並非用來限制本發明之權利範圍。此外,申請專利範圍中提及的“第一”、“第二”等用語僅用以命名元件(element)的名稱或區別不同實施例或範圍,而並非用來限制元件數量上的上限或下限。

Claims (18)

  1. 一種資源分配方法,適用於一電腦系統,而該資源分配方法包括:取得多個影像擷取裝置所擷取的影像;透過多個辨識作業分別辨識該些影像擷取裝置的該些影像中是否出現一警示物件,其中每一該辨識作業佔用該電腦系統的部分系統負載;以及若自該些影像的至少其中之一中辨識到該警示物件,則調整該些辨識作業所用的系統負載。
  2. 如申請專利範圍第1項所述資源分配方法,其中調整該些辨識作業所用的系統負載的步驟,包括:將未辨識到該警示物件的該些影像作為一般影像;以及降低該一般影像對應的辨識作業所使用的系統負載。
  3. 如申請專利範圍第2項所述資源分配方法,其中降低該一般影像對應的辨識作業所使用的系統負載的步驟包括:降低該一般影像對應的辨識作業的影像處理速度。
  4. 如申請專利範圍第2項所述資源分配方法,其中降低該一般影像對應的辨識作業所使用的系統負載的步驟包括:降低該一般影像在對應辨識作業處理下的影像解析度。
  5. 如申請專利範圍第2項所述資源分配方法,其中調整該些辨識作業所用的系統負載的步驟包括:將辨識到該警示物件的影像作為關注影像;將該降低的系統負載提供給一進階辨識作業;以及透過該進階辨識作業判斷在該關注影像中該警示物件與關聯人物的互動行為。
  6. 如申請專利範圍第1項所述資源分配方法,其中透過該些辨識作業分別辨識該些影像擷取裝置的該些影像中是否出現該警示物件的步驟之後,更包括:若自該些影像擷取裝置的該些影像中皆未辨識到該警示物件,則平均分配該電腦系統的系統負載給該些辨識作業。
  7. 如申請專利範圍第1項所述資源分配方法,其中透過該些辨識作業分別辨識該些影像擷取裝置的該些影像中是否出現該警示物件的步驟之後,更包括:依據該些辨識作業的辨識結果切換成一一般狀態及一緊急狀態中的其中之一者,其中若該些辨識作業的該辨識結果為皆未辨識出該警示物件,則切換成該一般狀態;若該些辨識作業的該辨識結果為辨識出該警示物件,則切換成該緊急狀態;在該一般狀態中,平均該些辨識作業所用的系統負載;以及在該緊急狀態中,降低未辨識到該警示物件的辨識作業所用的系統負載。
  8. 如申請專利範圍第5項所述資源分配方法,其中透過該些辨識作業分別辨識該些影像擷取裝置的該些影像中是否出現該警示物件的步驟,包括:透過人工智慧的一推論器執行該些辨識作業及該進階辨識作業。
  9. 如申請專利範圍第5項所述資源分配方法,其中透過該進階辨識作業判斷在該關注影像中該警示物件與關連人物的互動行為的步驟之後,更包括:通報該進階辨識作業的辨識結果。
  10. 一種電腦系統,包括:一輸入裝置,取得多個影像擷取裝置所擷取的多個影像;一儲存器,記錄該些影像擷取裝置的該些影像、以及多個模組;一影像處理器,運行一推論器;以及一主處理器,耦接該輸入裝置、該儲存器及該影像處理器,並存取且載入該儲存器所記錄的該些模組,而該些模組包括:多個基本辨識模組,透過該推論器執行多個辨識作業,以分別辨識該些影像擷取裝置的該些影像中是否出現一警示物件,其中每一該辨識作業佔用該電腦系統的部分系統負載;以及一負載平衡模組,若自該些影像的至少其中之一中辨識到該警示物件,則調整該些辨識作業所用的系統負載。
  11. 如申請專利範圍第10項所述電腦系統,其中該負載平衡模組將未辨識到該警示物件的影像作為一般影像,並降低該一般影像對應的辨識作業所使用的系統負載。
  12. 如申請專利範圍第11項所述電腦系統,其中該些模組更包括:一數據調整模組,降低該一般影像對應的辨識作業的影像處理速度。
  13. 如申請專利範圍第11項所述電腦系統,其中該些模組更包括:一數據調整模組,降低該一般影像在對應辨識作業處理下的影像解析度。
  14. 如申請專利範圍第11項所述電腦系統,其中該負載平衡模組將辨識到該警示物件的影像作為關注影像,並將該降低的系統負載提供給一進階辨識作業,而該些模組更包括:一進階辨識模組,透過該推論器執行該進階辨識作業,以判斷在該關注影像中該警示物件與關聯人物的互動行為。
  15. 如申請專利範圍第10項所述電腦系統,其中若自該些影像擷取裝置的該些影像中皆未辨識到該警示物件,則該負載平衡模組平均分配該電腦系統的系統負載給該些辨識作業。
  16. 如申請專利範圍第10項所述電腦系統,其中該些模組更包括:一事件回饋模組,依據該推論器的辨識結果切換成一一般狀態及一緊急狀態中的其中之一者,其中若該些辨識作業的該辨識結果為皆未辨識出該警示物件,則該事件回饋模組切換成該一般狀態;若該些辨識作業的該辨識結果為辨識出該警示物件,則該事件回饋模組切換成該緊急狀態;在該一般狀態中,該負載平衡模組平均該些辨識作業所用的系統負載;以及在該緊急狀態中,該負載平衡模組降低未辨識到該警示物件的辨識作業所用的系統負載。
  17. 如申請專利範圍第14項所述電腦系統,其中該些模組更包括:一載入模組,在該電腦系統開機過程中,載入該些基本辨識模組及該進階辨識模組。
  18. 如申請專利範圍第14項所述電腦系統,更包括:一警示裝置,通報該進階辨識作業的辨識結果。
TW107125111A 2018-07-13 2018-07-20 電腦系統及其資源分配方法 TWI676156B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810767311.9A CN110716803A (zh) 2018-07-13 2018-07-13 电脑系统、资源分配方法及其影像辨识方法
??201810767311.9 2018-07-13
CN201810767311.9 2018-07-13

Publications (2)

Publication Number Publication Date
TWI676156B true TWI676156B (zh) 2019-11-01
TW202006676A TW202006676A (zh) 2020-02-01

Family

ID=69139475

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107125111A TWI676156B (zh) 2018-07-13 2018-07-20 電腦系統及其資源分配方法
TW108123520A TW202013321A (zh) 2018-07-13 2018-07-20 電腦系統及其影像辨識方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW108123520A TW202013321A (zh) 2018-07-13 2018-07-20 電腦系統及其影像辨識方法

Country Status (4)

Country Link
US (1) US20200019788A1 (zh)
JP (1) JP2020014194A (zh)
CN (1) CN110716803A (zh)
TW (2) TWI676156B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038717B (zh) * 2014-06-26 2017-11-24 北京小鱼在家科技有限公司 一种智能录制系统
CN114428412A (zh) * 2020-10-29 2022-05-03 中强光电股份有限公司 影像辨识装置以及影像辨识方法
TWI745195B (zh) * 2020-12-15 2021-11-01 國家中山科學研究院 安全裝置偵測系統與方法
TWI773196B (zh) * 2021-03-16 2022-08-01 和碩聯合科技股份有限公司 分配運算資源的方法和使用所述方法的電子裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI321949B (zh) * 2006-10-24 2010-03-11 Univ Nat Yang Ming
TWI445353B (zh) * 2011-08-01 2014-07-11 Oriental Inst Technology 具有影像監控的網路裝置、節能控制系統及影像監控方法
CN104702897A (zh) * 2013-12-10 2015-06-10 明泰科技股份有限公司 网络视频录影的快速历史回放及事件锁定的方法
TWI517699B (zh) * 2013-11-01 2016-01-11

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200828186A (en) * 2006-12-26 2008-07-01 Ind Tech Res Inst Monitoring device and monitoring method
CN101465033B (zh) * 2008-05-28 2011-01-26 丁国锋 一种自动追踪识别系统及方法
JP6316023B2 (ja) * 2013-05-17 2018-04-25 キヤノン株式会社 カメラシステム及びカメラ制御装置
CN104660953A (zh) * 2013-11-18 2015-05-27 台达电子工业股份有限公司 网络影像监控系统及其自动分配方法
CN105894702B (zh) * 2016-06-21 2018-01-16 南京工业大学 一种基于多摄像机数据融合的入侵检测报警系统及其检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI321949B (zh) * 2006-10-24 2010-03-11 Univ Nat Yang Ming
TWI445353B (zh) * 2011-08-01 2014-07-11 Oriental Inst Technology 具有影像監控的網路裝置、節能控制系統及影像監控方法
TWI517699B (zh) * 2013-11-01 2016-01-11
CN104702897A (zh) * 2013-12-10 2015-06-10 明泰科技股份有限公司 网络视频录影的快速历史回放及事件锁定的方法

Also Published As

Publication number Publication date
TW202013321A (zh) 2020-04-01
CN110716803A (zh) 2020-01-21
US20200019788A1 (en) 2020-01-16
TW202006676A (zh) 2020-02-01
JP2020014194A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
TWI676156B (zh) 電腦系統及其資源分配方法
US11381781B2 (en) Method and system for displaying video streams
CN110428522B (zh) 一种智慧新城的智能安防系统
US11233976B2 (en) Anomalous stationary object detection and reporting
CN108353149B (zh) Cctv自动选别监测系统、cctv自动选别监测管理方法及介质
IL261696A (en) System and method for training a classified object through computational learning
US11023707B2 (en) System and method for selecting a part of a video image for a face detection operation
US9070020B2 (en) Determination of train presence and motion state in railway environments
US10366595B2 (en) Surveillance method and system based on human behavior recognition
WO2016147770A1 (ja) 監視システム及び監視方法
US20150262068A1 (en) Event detection apparatus and event detection method
US20190213424A1 (en) Image processing system and image processing method
JP2018207222A (ja) カメラ及びパラメータ登録方法
JP2018205900A (ja) 監視システム及び監視方法
US11778310B2 (en) Machine learning operations on different location targets using camera orientation
Arul et al. Fire detection system using machine learning
US11704889B2 (en) Systems and methods for detecting patterns within video content
WO2022115178A1 (en) Methods and systems for recognizing video stream hijacking on edge devices
Musharaf Hussain et al. IoT Based Smart Human Traffic Monitoring System Using Raspberry Pi
KR20220072499A (ko) 다중 뷰 영상 기반 행위 인지 방법, 장치 및 시스템
Haque et al. Abnormal event detection in unseen scenarios
US20230214024A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable medium
US20220405139A1 (en) Antenna array device
US11922669B1 (en) Object detection via regions of interest
US20240096187A1 (en) Artificial intelligence-based autonomous alert system for real time remote fire and smoke detection in live video streams

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees