TWI827356B - 行為影像感測系統 - Google Patents

行為影像感測系統 Download PDF

Info

Publication number
TWI827356B
TWI827356B TW111143194A TW111143194A TWI827356B TW I827356 B TWI827356 B TW I827356B TW 111143194 A TW111143194 A TW 111143194A TW 111143194 A TW111143194 A TW 111143194A TW I827356 B TWI827356 B TW I827356B
Authority
TW
Taiwan
Prior art keywords
control unit
unit
moving object
image
warning
Prior art date
Application number
TW111143194A
Other languages
English (en)
Other versions
TW202420244A (zh
Inventor
傅旭文
鍾潤文
張嘉豪
Original Assignee
大陸商廣州印芯半導體技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商廣州印芯半導體技術有限公司 filed Critical 大陸商廣州印芯半導體技術有限公司
Priority to TW111143194A priority Critical patent/TWI827356B/zh
Priority to US18/231,867 priority patent/US20240161505A1/en
Application granted granted Critical
Publication of TWI827356B publication Critical patent/TWI827356B/zh
Publication of TW202420244A publication Critical patent/TW202420244A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00Arrangement or adaptation of acoustic signal devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

一種行為影像感測系統,包括第一影像擷取單元及控制單元。第一影像擷取單元用以擷取動態影像。控制單元電性連接第一影像擷取單元,接收動態影像,並且計算動態影像中的移動物體的運動軌跡,以判定移動物體的運動軌跡是否符合特定危險行為模式。藉此,本發明的行為影像感測系統完全不需要擷取靜態物體的靜態影像,也不需要判定靜態物體的行為模式,資料處理量減少許多,且適用於任何環境。

Description

行為影像感測系統
本發明是有關一種行為影像感測系統。
目前的遠端監控系統是利用攝影機針對特定區域進行攝影,使用者可以從監視畫面看見以下數個事件:其一,某人或野生動物入侵特定區域;其二,野生動物為危險動物;其三,某人揮拳、踢踹或互毆;其四,某人不具進入特定區域的權限。一旦出現上述事件,使用者可立即採取應變措施。
然而,習知的遠端監控系統的攝影機都是長時間不間斷地攝錄影像,影片的資料量相當龐大。
再者,使用者的眼睛必須一直緊盯著監視畫面,才能夠保證沒有漏掉任何事件,增加使用者的身心負擔。使用者難免會走神,或因故需要暫時離開崗位,這些因素都有可能會造成使用者沒有注意到上述事件,錯失採取應變措施的良機,增加意外發生的機率。
此外,目前市面上並沒有任何設備用來監測駕駛員是否做出危險動作。一旦駕駛員做出打瞌睡、滑手機或低頭等危險動作,將會發生車禍意外,相當危險。
本發明的主要目的在於提供一種行為影像感測系統,能夠有效減少資料處理量,且適用於任何環境。
本發明的另一目的在於提供一種行為影像感測系統,能夠降低意外發生的機率。
為了達成前述的目的,本發明提供一種行為影像感測系統,包括一第一影像擷取單元以及一控制單元。該第一影像擷取單元用以擷取一動態影像。該控制單元電性連接該第一影像擷取單元,接收該動態影像,並且計算該動態影像中的一移動物體的一運動軌跡,以判定該移動物體的該運動軌跡是否符合一特定危險行為模式。
在一些實施例中,所述的行為影像感測系統進一步包括一警示單元,該控制單元電性連接該警示單元;其中,當該控制單元判定該移動物體的該運動軌跡符合該特定危險行為模式時,該控制單元控制該警示單元發出一警示訊號。
在一些實施例中,所述的行為影像感測系統進一步包括一第二影像擷取單元,該控制單元電性連接該第二影像擷取單元;其中,當該控制單元判定該移動物體的該運動軌跡符合該特定危險行為模式時,該控制單元啟動該第二影像擷取單元,該第二影像擷取單元用以擷取一般影像,該控制單元接收該一般影像,計算該一般影像中的該移動物體的一外觀,以判定該移動物體的該外觀是否符合一特定類別。
在一些實施例中,該控制單元進一步包括一影像資料庫及一比對程式,該控制單元透過比對程式比對該影像資料庫並且計算該一般影像中的該移動物體的該外觀,以判定該移動物體的該外觀是否符合該特定類別。
在一些實施例中,該比對程式進一步包括一深度學習演算法,經由該深度學習演算法計算該移動物體的該外觀,以判定該移動物體的該外觀是否符合該特定類別。
在一些實施例中,所述的行為影像感測系統進一步包括一警示單元,該控制單元電性連接該警示單元;其中,當該控制單元判定該移動物體的該外觀符合該特定類別時,該控制單元控制該警示單元發出一警示訊號。
在一些實施例中,所述的行為影像感測系統進一步包括一距離感測單元,該控制單元電性連接該距離感測單元;其中,當該控制單元判定該移動物體的該運動軌跡符合該特定危險行為模式時,或,當該控制單元判定該移動物體的該外觀符合該特定類別時,該控制單元啟動該距離感測單元,該距離感測單元用以感測該移動物體的一距離,該控制單元接收該移動物體的該距離,並且判定該移動物體的該距離是否小於一預設值。
在一些實施例中,所述的行為影像感測系統,進一步包括一警示單元,該控制單元電性連接該警示單元;其中,當該控制單元判定該移動物體的該距離小於該預設值時,該控制單元控制該警示單元發出一警示訊號。
在一些實施例中,該警示訊號至少包括聲音、超聲波、強光、語音、振動或文字,並且用以驅離該移動物體或通知使用者。
在一些實施例中,該警示單元至少包含一戶外警報器、一語音播放器、一振動器及一通報程式的其中之一,該戶外警報器設置於戶外,該戶外警報器所產生的警示訊號至少包含聲音、超聲波及強光的其中之一,該語音播放器安裝在一車輛上,該語音播放器所產生的警示訊號為一語音,該振動器安裝在一方向盤上,該振動器所產生的警示訊號為一振動,該通報程式安裝在一 車用電腦、一遠端監控系統及一可攜式電子裝置的其中之一中,該通報程式所產生的警示訊號至少包含文字及語音的其中之一並且透過該車用電腦、該遠端監控系統及該可攜式電子裝置的其中之一推播警示訊號。
本發明的功效在於,本發明的行為影像感測系統能夠藉由動態影像判定移動物體的行為模式,完全不需要擷取靜態物體的靜態影像,也不需要判定靜態物體的行為模式,資料處理量減少許多,且適用於任何環境。
再者,本發明的行為影像感測系統在確定移動物體的行為模式以後,進一步藉由一般影像判定移動物體的類別,完全不需要擷取靜態物體的靜態影像,也不需要判定靜態物體的類別,資料處理量減少許多。
此外,本發明的行為影像感測系統在確定移動物體的行為模式或類別以後,進一步計算移動物體的距離,並判定移動物體的距離是否小於預設值,完全不需要計算靜態物體的距離,也不需要判定靜態物體的距離是否小於預設值,資料處理量減少許多。
又,控制單元能夠視情況控制警示單元發出警示訊號以驅離移動物體或通知使用者,降低意外發生的機率。
以下配合圖式及元件符號對本發明的實施方式做更詳細的說明,俾使熟習該項技藝者在研讀本說明書後能據以實施。
圖1是本發明的行為影像感測系統的結構示意圖。如圖1所示,本發明提供一種行為影像感測系統,包括一第一影像擷取單元10、一第二影像擷取單元20、一距離感測單元30、一警示單元40以及一控制單元50。控制單元50電性連接第一影像擷取單元10、第二影像擷取單元20、距離感測單元30與警示單元40。控制單元50進一步包括一影像資料庫51及一比對程式52,比對程式52進一步包括一深度學習演算法。
所述第一影像擷取單元10為動態視覺感測器(Dynamic Vision Sensor,DVS),動態視覺感測器是以事件為單位來記錄資訊。具體來說,物體在移動的過程中,環境中的光強度會產生變化,動態視覺感測器能夠偵測到環境中的光強度的變化並且記錄下來。因此,第一影像擷取單元10實質上是在偵測環境中的物體正在移動時的光強度的變化,正在移動的物體可定義為一移動物體,環境中的光強度變化可定義為一動態影像。
所述第二影像擷取單元20為一般影像感測器(例如,RGB CMOS影像感測器),一般影像感測器是以畫面為單位來記錄影像,影像內容可以是彩色畫素或黑白畫素。因此,第二影像擷取單元20實質上是將移動物體及其周圍環境的畫面記錄下來並且辨識畫面中的移動物體的外觀。
所述距離感測單元30為光學雷達感測器(LiDAR Sensor)、間接飛行時間感測器(iToF Sensor)或直接飛行時間感測器(dToF Sensor)。因此,上述類型的距離感測單元30實質上是藉由光學雷達、間接飛行時間或直接飛行時間等技術偵測移動物體的距離。
以下將藉由數個實施例說明本發明的行為影像感測系統的操作方式。
圖2是本發明的行為影像感測系統的第一實施例的流程圖。如圖1和圖2所示,第一實施例包括下列步驟:步驟S100,當一移動物體(圖未示)進入第一影像擷取單元10的影像擷取範圍時,第一影像擷取單元10擷取一動態影像;步驟S110,控制單元50接收動態影像並且計算動態影像中的移動物體的一運動軌跡;步驟S120,控制單元50判定移動物體的運動軌跡是否符合一特定危險行為模式;以及步驟S130,當控制單元50判定移動物體的運動軌跡符合特定危險行為模式時,控制單元50控制警示單元40發出一警示訊號,警示訊號用以驅離移動物體或通知使用者;當控制單元50判定移動物體的運動軌跡不符合特定危險行為模式時,回到步驟S110。
以下將列舉一個案例說明第一實施例如何監測駕駛員是否在車輛中做出危險動作。在此案例中,警示單元40為一語音播放器或一通報程式,語音播放器安裝在車輛上,通報程式安裝在車用電腦或智慧型手機、平板電腦等可攜式電子裝置,車輛是特定場合,危險動作是特定危險行為模式。
步驟S100,當駕駛員進入第一影像擷取單元10的影像擷取範圍時,第一影像擷取單元10擷取眼球、手部或頭部運動的影像(動態影像);步驟S110,控制單元50接收眼球、手部或頭部運動的影像並且計算眼球、手部或頭部運動的影像中的眼球、手部或頭部(移動物體)的運動軌跡;步驟S120,控制單元50判定眼球、手部或頭部的運動軌跡是否符合特定危險行為模式為「危險動作」,例如打瞌睡、滑手機或低頭;以及步驟S130,當控制單元50判定眼球、手部或頭部的運動軌跡符合特定危險行為模式為「危險動作」時,控制單元50控制語音播放器(警示單元40)發出「您正處於危險駕駛狀態」等類似的語音(警示訊號)或控制通報程式(警示單元40)透過車用電腦或可攜式電子裝置推播「您正處於危險駕駛狀態」等類似的語音(警示訊號),達到通知駕駛員的目的。駕駛員收到通知以後,立刻醒來、放下手機或抬頭,避免發生車禍;當控制單元50判定眼球、手部或頭部的運動軌跡不符合特定危險行為模式為「危險動作」時,例如眼睛注視前方、手部握住方向盤或抬頭,回到步驟S110。
以下將列舉一個案例說明第一實施例如何監測建築物是否被人闖空門。在此案例中,警示單元40包含至少一蜂鳴器、至少一警示燈及一通報程式,蜂鳴器和警示燈安裝在戶外,通報程式安裝在遠端監控系統或智慧型手機、平板電腦等可攜式電子裝置中,建築物是特定場合,闖空門是特定危險行為模式。
步驟S100,當某人進入第一影像擷取單元10的影像擷取範圍時,第一影像擷取單元10擷取某人的動作的影像(動態影像);步驟110,控制單元50接收某人的動作的影像並且計算某人的動作的影像中的某人(移動物體)的運動軌跡;步驟S120,控制單元50判定某人的運動軌跡是否符合特定危險行為模式為「闖空門」;以及步驟S130,當控制單元50判定某人的運動軌跡符合特定危險行為模式為「闖空門」時,例如某人攀牆進入或者撬開門鎖等,控制單元50控制蜂鳴器(警示單元40)大聲作響(警示訊號)或控制警示燈(警示單元40)不斷地閃爍強光(警示訊號),某人會被突如其來的聲響或強光驚嚇到,達到驅離某人的目的;同時控制單元50控制通報程式(警示單元40)推播「有人闖空門」等類似的文字或語音(警示訊號),屋主可從遠端監控系統或可攜式電子裝置上得知「有人闖空門」等事件發生,並可立即採取緊急應變措施;當控制單元50判定某人的運動軌跡不符合特定危險行為模式為「闖空門」時,例如某人經過門口、敲門或按門鈴等,回到步驟S110。
圖3是本發明的行為影像感測系統的第二實施例的流程圖。如圖1和圖3所示,第二實施例的步驟S200~S220與第一實施例的步驟S100~S120完全相同;第二實施例進一步包括下列步驟:步驟S230,當控制單元50判定移動物體的運動軌跡符合特定危險行為模式時,控制單元50啟動第二影像擷取單元20,第二影像擷取單元20擷取一般影像;當控制單元50判定移動物體的運動軌跡不符合特定危險行為模式時,回到步驟S210;步驟S240,控制單元50接收一般影像,透過比對程式52比對影像資料庫51,並且經由深度學習演算法計算一般影像中的移動物體的一外觀;步驟S250,控制單元50判定移動物體的外觀是否符合一特定類別;步驟S260,當控制單元50判定移動物體的外觀符合特定類別時,控制單元50控制警示單元40發出一警示訊號,警示訊號用以驅離移動物體或通知使用者;當控制單元50判定移動物體的外觀不符合特定類別時,回到步驟S240。
以下將列舉一個案例說明第二實施例如何監測入侵地廣人稀的建築物的野生動物是否為危險動物。在此案例中,警示單元40包含至少一蜂鳴器、至少一超聲波排斥器、至少一警示燈及一通報程式,蜂鳴器和超聲波排斥器和警示燈安裝在戶外,通報程式安裝在遠端監控系統或智慧型手機、平板電腦等可攜式電子裝置中,建築物是特定場合,入侵建築物是特定危險行為模式。
步驟S200,當野生動物進入第一影像擷取單元10的影像擷取範圍時,第一影像擷取單元10擷取野生動物的動作的影像(動態影像);步驟S210,控制單元50接收野生動物的動作的影像並且計算野生動物的動作的影像中的野生動物(移動物體)的運動軌跡;步驟S220,控制單元50判定野生動物的運動軌跡是否符合特定危險行為模式為「入侵建築物」;步驟S230,當控制單元50判定野生動物的運動軌跡符合特定危險行為模式為「入侵建築物」時,例如野生動物走向建築物,控制單元50啟動第二影像擷取單元20,第二影像擷取單元20擷取野生動物及其周圍環境的影像(一般影像);當控制單元50判定野生動物的運動軌跡不符合特定危險行為模式為「入侵建築物」時,例如野生動物逐漸遠離建築物,回到步驟S210;步驟S240,控制單元50接收野生動物及其周圍環境的影像,透過比對程式52比對影像資料庫51,並且經由深度學習演算法計算野生動物及其周圍環境的影像中的野生動物的外觀;步驟S250,控制單元50判定野生動物的外觀是否符合特定類別為「危險動物」,例如獅、虎、豹、熊、狼、野犬、貛、狐狸、貂、浣熊、野豬、老鼠、鳥類、蝙蝠、齧齒類等;步驟S260,當控制單元50判定野生動物的外觀符合特定類別為「危險動物」時,控制單元50控制蜂鳴器(警示單元40)大聲作響(警示訊號)或控制超聲波排斥器(警示單元40)產生超聲波(警示訊號)或控制警示燈(警示單元40)不斷地閃爍強光(警示訊號),野生動物會被突如其來的聲響或強光驚嚇到,或是接收到其所排斥的超聲波,野生動物會被嚇跑,達到驅離危險動物的目的;同時控制單元50控制通報程式(警示單元40)推播「有危險動物入侵建築物」等類似的文字或語音(警示訊號),屋主可從遠端監控系統或可攜式電子裝置上得知「有危險動物入侵建築物」等事件發生,並可立即採取緊急應變措施;當控制單元50判定野生動物的外觀不符合特定類別為「危險動物」時,例如人、羊、鹿、兔等雜食性或草食性動物,回到步驟S240。
值得一提的是,頻率為13.5千赫的超聲波可驅趕老鼠、狗、狐狸、貂等動物,頻率為19.5~24.5千赫的超聲波可驅趕貓、浣熊、貛、熊等動物,頻率為24.5~45.5千赫的超聲波可驅趕蝙蝠、鳥類、齧齒類等動物,強閃光可驅離浣熊、野豬、貂等動物。實際上,頻率為13.5~45.5千赫的超音波可驅趕以上列出的所有野生動物,搭配強閃光,可將所有動物驅離。
以下將列舉一個案例說明第二實施例如何監測在監獄的運動場、餐廳、工廠等區域活動的受刑人或監獄管理員是否做出暴力行為。在此案例中,警示單元40為一通報程式,通報程式安裝在遠端監控系統中,監獄的運動場、餐廳、工廠等區域是特定場合,暴力行為是特定危險行為模式。
步驟S200,當某人進入第一影像擷取單元10的影像擷取範圍時,第一影像擷取單元10擷取某人的動作的影像(動態影像);步驟S210,控制單元50接收某人的動作的影像並且計算某人的動作的影像中的某人(移動物體)的運動軌跡;步驟S220,控制單元50判定某人的運動軌跡是否符合特定危險行為模式為「暴力行為」;步驟S230,當控制單元50判定某人的運動軌跡符合特定危險行為模式為「暴力行為」時,例如揮拳、踢踹、互毆,控制單元50啟動第二影像擷取單元20,第二影像擷取單元20擷取某人及其周圍環境的影像(一般影像);當控制單元50判定某人的運動軌跡不符合特定危險行為模式為「暴力行為」時,例如行住坐臥等正常行為,回到步驟S210;步驟S240,控制單元50接收某人及其周圍環境的影像,透過比對程式52比對影像資料庫51,並且經由深度學習演算法計算某人及其周圍環境的影像中的某人的外觀;步驟S250,控制單元50判定某人的外觀是否符合特定類別為「某位受刑人或監獄管理員」,控制單元50還可進一步判定某位受刑人的名字和編號或某位監獄管理員的名字;步驟S260,當控制單元50判定某人的外觀符合特定類別為「某位受刑人或監獄管理員」時,控制單元50控制通報程式(警示單元40)推播「某位受刑人或監獄管理員出現暴力行為」等類似的文字或語音(警示訊號),其他監獄管理員可從遠端監控系統得知「某位受刑人或監獄管理員出現暴力行為」等事件發生,並可立即採取緊急應變措施。
以下將列舉一個案例說明第二實施例如何監測是否有人非法闖入禁區。所述禁區是指未經許可不允許進入的特殊地區或區域,只有經過許可的人才能進入,例如軍事禁區、機場禁區、邊境禁區、休戰區、禁漁區、員工休息室。在此案例中,警示單元40為一通報程式,通報程式安裝在遠端監控系統中,禁區是特定場合,非法闖入是特定危險行為模式。
步驟S200,當某人進入第一影像擷取單元10的影像擷取範圍時,第一影像擷取單元10擷取某人的動作的影像(動態影像);步驟S210,控制單元50接收某人的動作的影像並且計算某人的動作的影像中的某人(移動物體)的運動軌跡;步驟S220,控制單元50判定某人的運動軌跡是否符合特定危險行為模式為「非法闖入」;步驟S230,當控制單元50判定某人的運動軌跡符合特定危險行為模式為「非法闖入」時,例如某人跨越禁區的邊界,並且進入禁區,控制單元50啟動第二影像擷取單元20,第二影像擷取單元20擷取某人及其周圍環境的影像(一般影像);當控制單元50判定某人的運動軌跡不符合特定危險行為模式為「非法闖入」時,例如某人在禁區的邊界外走動,並未進入禁區,回到步驟S210;步驟S240,控制單元50接收某人及其周圍環境的影像,透過比對程式52比對影像資料庫51,並且經由深度學習演算法計算某人及其周圍環境的影像中的某人的外觀;步驟S250,控制單元50判定某人的外觀是否符合特定類別為「不具權限的人」;步驟S260,當控制單元50判定某人的外觀符合特定類別為「不具權限的人」時,控制單元50控制通報程式(警示單元40)推播「有人非法闖入禁區」等類似的文字或語音(警示訊號),警衛可從遠端監控系統得知「有人非法闖入禁區」等事件發生,並可立即採取緊急應變措施;當控制單元50判定某人的外觀不符合特定類別為「不具權限的人」時,例如某人是經過許可的人,回到步驟S240。
圖4是本發明的行為影像感測系統的第三實施例的流程圖。如圖1和圖4所示,第三實施例的步驟S300~S350與第二實施例的步驟S200~S250完全相同,第三實施例進一步包括下列步驟:步驟S360,當控制單元50判定移動物體的外觀符合特定類別時,控制單元50啟動距離感測單元30,距離感測單元30的一發射器 (圖未示)發射出光線,距離感測單元30的一接收器(圖未示)接收被移動物體反射回來的光線,距離感測單元30根據光發射到接收的時間差計算出移動物體的一距離;當控制單元50判定移動物體的外觀不符合特定類別時,回到步驟S340;步驟S370,控制單元50接收移動物體的距離,並且判定移動物體的距離是否小於一預設值;步驟S380,當控制單元50判定移動物體的距離小於預設值時,控制單元50控制警示單元40發出一警示訊號,警示訊號用以驅離移動物體或通知使用者;當控制單元50判定移動物體的距離大於預設值時,回到步驟S360。
以下將列舉一個案例說明第三實施例如何監測入侵地廣人稀的建築物的野生動物是否為危險動物。
此案例的步驟S300~S350可參考第二實施例關於如何監測入侵地廣人稀的建築物的野生動物是否為危險動物的案例的步驟S200~S250。步驟S360,當控制單元50判定野生動物的外觀符合特定類別為「危險動物」時,控制單元50啟動距離感測單元30,距離感測單元30計算出野生動物的距離;當控制單元50判定野生動物的外觀不符合特定類別為「危險動物」時,回到步驟S340;步驟S370,控制單元50接收野生動物的距離,並且判定野生動物的距離是否小於預設值;步驟S380,當控制單元50判定野生動物的距離小於預設值時,控制單元50控制蜂鳴器(警示單元40)大聲作響(警示訊號)或控制超聲波排斥器(警示單元40)產生超聲波(警示訊號)或控制警示燈(警示單元40)不斷地閃爍強光(警示訊號),野生動物會被突如其來的聲響或強光驚嚇到,或是接收到其所排斥的超聲波,野生動物會被嚇跑,達到驅離危險動物的目的;同時控制單元50控制通報程式(警示單元40)推播「有危險動物入侵建築物」等類似的文字或語音(警示訊號),屋主可從遠端監控系統或可攜式電子裝置上得知「有危險動物入侵建築物」等事件發生,並可立即採取緊急應變措施;當控制單元50判定野生動物的距離大於預設值時,回到步驟S360。
以下將列舉一個案例說明第三實施例如何監測是否有人非法闖入禁區。
此案例的步驟S300~S350可參考第二實施例關於如何監測是否有人非法闖入禁區的案例的步驟S200~250。步驟S360,當控制單元50判定某人的外觀符合特定類別為「不具權限的人」時,控制單元50啟動距離感測單元30,距離感測單元30計算出某人的距離;步驟S370,控制單元50接收某人的距離,並且判定某人的距離是否小於預設值;步驟S380,當控制單元50判定某人的距離小於預設值時,控制單元50控制通報程式(警示單元40)推播「有人非法闖入禁區」等類似的文字或語音(警示訊號),警衛可從遠端監控系統得知「有人非法闖入禁區」等事件發生,並可立即採取緊急應變措施;當控制單元50判定某人的距離大於預設值時,回到步驟S360。
圖5是本發明的行為影像感測系統的第四實施例的流程圖。如圖1和圖5所示,第四實施例的步驟S400~S420與第二實施例的步驟S200~S220完全相同,第四實施例進一步包括下列步驟:步驟S430,當控制單元50判定移動物體的運動軌跡符合特定危險行為模式時,控制單元50啟動距離感測單元30,距離感測單元30的一發射器 (圖未示)發射出光線,距離感測單元30的一接收器(圖未示)接收被移動物體反射回來的光線,距離感測單元30根據光發射到接收的時間差計算出移動物體的一距離;當控制單元50判定移動物體的運動軌跡不符合特定危險行為模式時,回到步驟S410;步驟S440,控制單元50接收移動物體的距離,並且判定移動物體的距離是否小於一預設值;步驟S450,當控制單元50判定移動物體的距離小於預設值時,控制單元50啟動第二影像擷取單元20,第二影像擷取單元20擷取一般影像;當控制單元50判定移動物體的距離大於預設值時,回到步驟S430;步驟S460,控制單元50接收一般影像,透過比對程式52比對影像資料庫51,並且經由深度學習演算法計算一般影像中的移動物體的一外觀;步驟S470,控制單元50判定移動物體的外觀是否符合一特定類別;步驟S480,當控制單元50判定移動物體的外觀符合特定類別時,控制單元50控制警示單元40發出一警示訊號,警示訊號用以驅離移動物體或通知使用者;當控制單元50判定移動物體的外觀不符合特定類別時,回到步驟S460。
以下將列舉一個案例說明第四實施例如何監測入侵地廣人稀的建築物的野生動物是否為危險動物。
此案例的步驟S400~S420可參考第二實施例關於如何監測入侵地廣人稀的建築物的野生動物是否為危險動物的案例的步驟S200~S220。步驟S430,當控制單元50判定野生動物的運動軌跡符合特定危險行為模式為「入侵建築物」時,例如野生動物走向建築物,控制單元50啟動距離感測單元30,距離感測單元30計算出野生動物的距離;步驟S440,控制單元50接收野生動物的距離,並且判定野生動物的距離是否小於預設值;步驟S450,當控制單元50判定野生動物的距離小於預設值時,控制單元50啟動第二影像擷取單元20,第二影像擷取單元20擷取野生動物及其周圍環境的影像(一般影像);當控制單元50判定野生動物的距離大於預設值時,回到步驟S430;步驟S460,控制單元50接收野生動物及其周圍環境的影像,透過比對程式52比對影像資料庫51,並且經由深度學習演算法計算野生動物及其周圍環境的影像中的野生動物的外觀;步驟S470,控制單元50判定野生動物的外觀是否符合特定類別為「危險動物」;步驟S480,當控制單元50判定野生動物的外觀符合特定類別為「危險動物」時,控制單元50控制蜂鳴器(警示單元40)大聲作響(警示訊號)或控制超聲波排斥器(警示單元40)產生超聲波(警示訊號)或控制警示燈(警示單元40)不斷地閃爍強光(警示訊號),野生動物會被突如其來的聲響或強光驚嚇到,或是接收到其所排斥的超聲波,野生動物會被嚇跑,達到驅離危險動物的目的;同時控制單元50控制通報程式(警示單元40)推播「有危險動物入侵建築物」等類似的文字或語音(警示訊號),屋主可從遠端監控系統或可攜式電子裝置上得知「有危險動物入侵建築物」等事件發生,並可立即採取緊急應變措施;當控制單元50判定野生物體的外觀不符合特定類別為「危險動物」時,回到步驟S460。
以下將列舉一個案例說明第四實施例如何監測是否有人非法闖入禁區。
此案例的步驟S400~S420可參考第二實施例關於如何監測是否有人非法闖入禁區的案例的步驟S200~S220。步驟S430,當控制單元50判定某人的運動軌跡符合特定危險行為模式為「非法闖入」時,控制單元50啟動距離感測單元30,距離感測單元30計算出某人的距離;步驟S440,控制單元50接收某人的距離,並且判定某人的距離是否小於預設值;步驟S450,當控制單元50判定某人的距離小於預設值時,控制單元50啟動第二影像擷取單元20,第二影像擷取單元20擷取某人及其周圍環境的影像(一般影像);當控制單元50判定某人的距離大於預設值時,回到步驟S430;步驟S460,控制單元50接收某人及其周圍環境的影像,透過比對程式52比對影像資料庫51,並且經由深度學習演算法計算某人及其周圍環境的影像中的某人的外觀;步驟S470,控制單元50判定某人的外觀是否符合特定類別為「不具權限的人」;步驟S480,當控制單元50判定某人的外觀符合特定類別為「不具權限的人」時,控制單元50控制通報程式(警示單元40)推播「有人非法闖入禁區」等類似的文字或語音(警示訊號),警衛可從遠端監控系統得知「有人非法闖入禁區」等事件發生,並可立即採取緊急應變措施;當控制單元50判定某人的外觀不符合特定類別為「不具權限的人」時,回到步驟S460。
呼吸量測則是藉由拍攝受測者(即,移動物體)上半身影像,根據胸部起伏來計算呼吸頻率或偵測是否有呼吸。根據本發明的第一影像擷取單元10或第二影像擷取單元20的影像擷取範圍拍攝以產生感測影像,並透過一通訊模組(圖未示)等相關元件提醒使用者,受測者是否有呼吸中止的狀況;詳言之,受測者於本發明之第一影像擷取單元10或第二影像擷取單元20的影像擷取範圍中,可藉由第一影像擷取單元10或第二影像擷取單元20之影像擷取功能,經由控制單元50判斷受測者胸腔是否有持續地起伏。若監測時發現受測者胸腔停止起伏,警示單元40推播「受測者胸腔停止起伏」等類似的文字或語音(警示訊號),提醒可能發生受測者呼吸中止之危險狀況,使用者可從遠端監控系統得知「受測者胸腔停止」等事件發生,並可立即採取緊急應變措施。
物件檢測技術是一種與計算機視覺和圖像處理相關的計算機技術,用於檢測圖像和視頻中某一類,如人類、動物、建築物或交通工具。 目標檢測的研究領域包括例如人臉檢測和行人檢測等, 目標檢測在計算機視覺的許多領域都有應用,包括圖像檢索和視頻監控。本發明的第一影像擷取單元10或第二影像擷取單元20可利用物件檢測技術偵測影像畫面中的汽車駕駛員、行人、監獄中的、環境中的動物等。物件檢測方法通常分為基於神經網絡的方法或非神經方法。對於非神經方法,有必要首先使用以下方法之一定義特徵,然後使用支援向量機(support vector machine,SVM)等技術進行分類。另一方面,神經技術能夠在不明確定義特徵的情況下進行對象檢測,並且通常基於卷積神經網路(Convolutional Neural Network ,CNN)。非神經方法例如:基於哈爾數碼圖像特徵的維奧拉-瓊斯目標檢測框架(Viola–Jones object detection framework based on Haar features)、尺度不變特徵轉換(Scale-invariant feature transform,SIFT)、方向梯度直方圖(Histogram of oriented gradients (HOG) features)等,但不以此為限;神經方法例如:R-CNN候選區域(Region Proposals (R-CNN))、單樣本多邊框檢測器(Single Shot MultiBox Detector,SSD)、 你只需要看一次(You Only Look Once,YOLO) 、用於目標檢測的單次細化神經網路(Single-Shot Refinement Neural Network for Object Detection (RefineDet))、視網膜-網(Retina-Net)、變形卷積神經網路(Deformable convolutional networks)等,但不以此為限。
行為辨識、動作辨識或肢體動作辨識,為利用影像擷取並經影像處理相關的計算機技術用以辨識動物的動作。由於其多方面性,不同領域可能將行為辨識稱為計劃辨識、目標辨識、意圖辨識、位置估計等。行為辨識的型態例如:基於感測器的單一使用者的活動辨識(Sensor-based single-user activity recognition)、基於感測器的活動辨識等級(Levels of sensor-based activity recognition)、基於感測器的多個使用者的活動辨識(Sensor-based, multi-user activity recognition)等方式;行為辨識的方式例如:透過邏輯和推理進行活動辨識(Activity recognition through logic and reasoning)、透過概率推理進行活動辨識(Activity recognition through probabilistic reasoning)、基於數據挖掘的活動辨識方法(Data mining based approach to activity recognition)、基於全球定位系統的活動辨識(GPS-based activity recognition),但不以此為限。本發明的第一影像擷取單元10利用行為辨識技術可偵測影像畫面中移動物體的特定危險行為模式,例如駕駛員的危險動作、某人闖空門或非法闖入禁區、野生動物入侵建築物、監獄受刑人或管理員的暴力行為等。
綜上所述,本發明的行為影像感測系統能夠藉由動態影像判定移動物體的行為模式,完全不需要擷取靜態物體的靜態影像,也不需要判定靜態物體的行為模式,資料處理量減少許多,且適用於任何環境。
再者,本發明的行為影像感測系統在確定移動物體的行為模式以後,進一步藉由一般影像判定移動物體的類別,完全不需要擷取靜態物體的靜態影像,也不需要判定靜態物體的類別,資料處理量減少許多。
此外,本發明的行為影像感測系統在確定移動物體的行為模式或類別以後,進一步計算移動物體的距離,並判定移動物體的距離是否小於預設值,完全不需要計算靜態物體的距離,也不需要判定靜態物體的距離是否小於預設值,資料處理量減少許多。
又,控制單元50能夠視情況控制警示單元40發出警示訊號以驅離移動物體或通知使用者,降低意外發生的機率。
以上所述者僅為用以解釋本發明的較佳實施例,並非企圖據以對本發明做任何形式上的限制,是以,凡有在相同的發明精神下所作有關本發明的任何修飾或變更,皆仍應包括在本發明意圖保護的範疇。
10:第一影像擷取單元 20:第二影像擷取單元 30:距離感測單元 40:警示單元 50:控制單元 51:影像資料庫 52:比對程式 S100~S130:步驟 S200~S260:步驟 S300~S380:步驟 S400~S480:步驟
圖1是本發明的行為影像感測系統的結構示意圖。
圖2是本發明的行為影像感測系統的第一實施例的流程圖。
圖3是本發明的行為影像感測系統的第二實施例的流程圖。
圖4是本發明的行為影像感測系統的第三實施例的流程圖。
圖5是本發明的行為影像感測系統的第四實施例的流程圖。
10:第一影像擷取單元
20:第二影像擷取單元
30:距離感測單元
40:警示單元
50:控制單元
51:影像資料庫
52:比對程式

Claims (10)

  1. 一種行為影像感測系統,包括:一第一影像擷取單元,為動態視覺感測器,並且用以偵測環境中的一物體正在移動時的光強度變化,其中,正在移動的該物體可定義為一移動物體,環境中的光強度變化可定義為一動態影像;以及一控制單元,電性連接該第一影像擷取單元,接收該動態影像,並且計算該動態影像中的一移動物體的一運動軌跡,以判定該移動物體的該運動軌跡是否符合一特定危險行為模式。
  2. 如請求項1所述的行為影像感測系統,進一步包括一警示單元,該控制單元電性連接該警示單元;其中,當該控制單元判定該移動物體的該運動軌跡符合該特定危險行為模式時,該控制單元控制該警示單元發出一警示訊號。
  3. 如請求項1所述的行為影像感測系統,進一步包括一第二影像擷取單元,該控制單元電性連接該第二影像擷取單元;其中,當該控制單元判定該移動物體的該運動軌跡符合該特定危險行為模式時,該控制單元啟動該第二影像擷取單元,該第二影像擷取單元用以擷取一般影像,該控制單元接收該一般影像,計算該一般影像中的該移動物體的一外觀,以判定該移動物體的該外觀是否符合一特定類別。
  4. 如請求項3所述的行為影像感測系統,其中,該控制單元進一步包括一影像資料庫及一比對程式,該控制單元透過比對程式比對該影像資料庫並且計算該一般影像中的該移動物體的該外觀,以判定該移動物體的該外觀是否符合該特定類別。
  5. 如請求項4所述的行為影像感測系統,其中,該比對程式進一步包括一深度學習演算法,經由該深度學習演算法計算該移動物體的該外觀,以判定該移動物體的該外觀是否符合該特定類別。
  6. 如請求項3所述的行為影像感測系統,進一步包括一警示單元,該控制單元電性連接該警示單元;其中,當該控制單元判定該移動物體的該外觀符合該特定類別時,該控制單元控制該警示單元發出一警示訊號。
  7. 如請求項3所述的行為影像感測系統,進一步包括一距離感測單元,該控制單元電性連接該距離感測單元;其中,當該控制單元判定該移動物體的該運動軌跡符合該特定危險行為模式時,或,當該控制單元判定該移動物體的該外觀符合該特定類別時,該控制單元啟動該距離感測單元,該距離感測單元用以感測該移動物體的一距離,該控制單元接收該移動物體的該距離,並且判定該移動物體的該距離是否小於一預設值。
  8. 如請求項7所述的行為影像感測系統,進一步包括一警示單元,該控制單元電性連接該警示單元;其中,當該控制單元判定該移動物體的該距離小於該預設值時,該控制單元控制該警示單元發出一警示訊號。
  9. 如請求項2或6或8所述的行為影像感測系統,其中,該警示訊號至少包括聲音、超聲波、強光、語音、振動或文字,並且用以驅離該移動物體或通知使用者。
  10. 如請求項9所述的行為影像感測系統,其中,該警示單元至少包含一戶外警報器、一語音播放器、一振動器及一通報程式的其中之一,該戶外警報器設置於戶外,該戶外警報器所產生的警示訊號至少包含聲音、超聲波及強光的其中之一,該語音播放器安裝在一車輛上,該語音播放器所產生的警示訊號為一語音,該振動器安裝在一方向盤上,該振動器所產生的警示訊號為一振動,該通報程式安裝在一車用電腦、一遠端監控系統及一可攜式電子裝置的其中之一中,該通報程式所產生的警示訊號至少包含文字及語音的其中之一並且透過該車用電腦、該遠端監控系統及該可攜式電子裝置的其中之一推播警示訊號。
TW111143194A 2022-11-11 2022-11-11 行為影像感測系統 TWI827356B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111143194A TWI827356B (zh) 2022-11-11 2022-11-11 行為影像感測系統
US18/231,867 US20240161505A1 (en) 2022-11-11 2023-08-09 Behavior image sensor system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111143194A TWI827356B (zh) 2022-11-11 2022-11-11 行為影像感測系統

Publications (2)

Publication Number Publication Date
TWI827356B true TWI827356B (zh) 2023-12-21
TW202420244A TW202420244A (zh) 2024-05-16

Family

ID=90053494

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111143194A TWI827356B (zh) 2022-11-11 2022-11-11 行為影像感測系統

Country Status (2)

Country Link
US (1) US20240161505A1 (zh)
TW (1) TWI827356B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109257569A (zh) * 2018-10-24 2019-01-22 广东佳鸿达科技股份有限公司 安防视频监控分析方法
TWI666594B (zh) * 2017-09-01 2019-07-21 潘品睿 房間物件管理系統與房間物件管理方法
CN111917967A (zh) * 2019-05-07 2020-11-10 杭州眼云智家科技有限公司 门监控系统及其控制方法
TW202125441A (zh) * 2019-12-18 2021-07-01 仁寶電腦工業股份有限公司 安全警示語音提示方法
US20210380115A1 (en) * 2021-06-15 2021-12-09 Nauto, Inc. Devices and methods for predicting collisions and/or intersection violations
TWI773141B (zh) * 2021-02-19 2022-08-01 杜昱璋 危險預知應對裝置及系統

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI666594B (zh) * 2017-09-01 2019-07-21 潘品睿 房間物件管理系統與房間物件管理方法
CN109257569A (zh) * 2018-10-24 2019-01-22 广东佳鸿达科技股份有限公司 安防视频监控分析方法
CN111917967A (zh) * 2019-05-07 2020-11-10 杭州眼云智家科技有限公司 门监控系统及其控制方法
TW202125441A (zh) * 2019-12-18 2021-07-01 仁寶電腦工業股份有限公司 安全警示語音提示方法
TWI773141B (zh) * 2021-02-19 2022-08-01 杜昱璋 危險預知應對裝置及系統
US20210380115A1 (en) * 2021-06-15 2021-12-09 Nauto, Inc. Devices and methods for predicting collisions and/or intersection violations

Also Published As

Publication number Publication date
US20240161505A1 (en) 2024-05-16

Similar Documents

Publication Publication Date Title
US10936655B2 (en) Security video searching systems and associated methods
EP3410413B1 (en) Improved generation of alert events based on a detection of objects from camera images
US9721168B2 (en) Directional object detection
JP4702598B2 (ja) 監視システム、監視装置および方法、記録媒体、並びにプログラム
US7411497B2 (en) System and method for intruder detection
CN106327759A (zh) 一种部署于无人值守变电站预防入侵的智能安全防护系统
KR20150092545A (ko) 시공적 상황데이터를 이용한 경고 방법 및 시스템
CA3126835C (en) Smart surveillance system for swimming pools
CN113723369B (zh) 控制方法、装置、电子设备及存储介质
CN113033521B (zh) 基于目标分析的周界动态预警方法与系统
TWI827356B (zh) 行為影像感測系統
US11011048B2 (en) System and method for generating a status output based on sound emitted by an animal
Roopashree et al. Monitoring the movements of wild animals and alert system using deep learning algorithm
KR102492066B1 (ko) 이동식 예방 경계 시스템
TW202420244A (zh) 行為影像感測系統
CN114511978B (zh) 一种入侵预警方法、装置、车辆和计算机可读存储介质
US20240153109A1 (en) Image based tracking system
CN118042270A (zh) 行为影像感测系统
CN111126100A (zh) 报警方法、装置、电子设备及存储介质
Kundu et al. Design and Deployment of Wild Animal Intrusion Detection & Repellent System Employing IOT
KR20230129935A (ko) 인공지능 기반 유해동물 관리 시스템
Chyan Automatic monitoring system for the elderly based on internet of things
JP5197343B2 (ja) 登録装置および登録方法
WO2022136819A1 (en) A Method and Apparatus for Controlling Actions of a Monitoring System
Lee et al. The Sentinel: A proposed potential intruder alert system based on human behaviours