TWI508027B - 三維偵測裝置及其偵測影像之方法 - Google Patents

三維偵測裝置及其偵測影像之方法 Download PDF

Info

Publication number
TWI508027B
TWI508027B TW102128505A TW102128505A TWI508027B TW I508027 B TWI508027 B TW I508027B TW 102128505 A TW102128505 A TW 102128505A TW 102128505 A TW102128505 A TW 102128505A TW I508027 B TWI508027 B TW I508027B
Authority
TW
Taiwan
Prior art keywords
height
detecting
area
detection
top view
Prior art date
Application number
TW102128505A
Other languages
English (en)
Other versions
TW201506850A (zh
Inventor
Chih Hsiang Tsai
Chao Ming Wang
Original Assignee
Huper Lab Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huper Lab Co Ltd filed Critical Huper Lab Co Ltd
Priority to TW102128505A priority Critical patent/TWI508027B/zh
Priority to US14/452,533 priority patent/US9483698B2/en
Priority to CN201410388826.XA priority patent/CN104349136B/zh
Publication of TW201506850A publication Critical patent/TW201506850A/zh
Application granted granted Critical
Publication of TWI508027B publication Critical patent/TWI508027B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm

Description

三維偵測裝置及其偵測影像之方法
本發明係關於一種三維偵測裝置及其偵測影像之方法，尤指一種用以取得物件的視差值以計算物件的深度值之三維偵測裝置。
影像監控系統目前已被廣泛使用於大廈安全管理以及賣場安全管理或各式各樣的觀測用途，透過影像監控系統可以達到以少數人力監控複數區域的目的。然而，若影像監控系統僅使用單攝影機進行二維(two dimensional,2D)影像偵測，易受到光影變化以及物件遮蔽而造成視覺誤差，即人物可能實際上並無觸碰到偵測區域，但攝影機的畫面上看起來卻是有碰到的。
請參考第1圖，第1圖係為習知技術影像監控系統所拍攝的畫面100之示意圖。在畫面100中，人物50係俯身接近區域A1中的物品，實際上並無觸碰到區域A2，但由於畫面100只能呈現2D資訊，因而可能導致影像監控系統誤判人物50係已觸碰區域A2，降低影像監控系統在狀態偵測上的準確性。
本發明之一實施例係關於一種三維偵測裝置影像偵測之方法。該方法包含根據兩組影像資料產生一深度圖、辨識該深度圖中之至少一物件，及將該至少一物件投射到一俯視圖上；於該俯視圖上追蹤該至少一物件；及當該至少一物件超越一預定界線時，偵測該至少一物件是否侵入一預定區塊。
本發明另揭露一種三維偵測裝置偵測影像之方法，包含：根據兩組影像資料產生一深度圖；辨識該深度圖中之至少一物件；將該至少一物件投射到一俯視圖上，其中該俯視圖上具有三維之一興趣區域，該興趣區域之底部係由該俯視圖之複數條預定界線與周遭地形限制所造成之邊界線所定義，該興趣區域包含有第一複數個互相不重疊且底部尺寸與該封閉區域相同之高度偵測區域，且該第一複數個高度偵測區域加總之一高度係等於該興趣區域在該俯視圖中之高度；於該俯視圖上追蹤該至少一物件，以確認該至少一物件在該俯視圖中的高度；及當該至少一物件超越該複數個預定界線中至少一預定界線時，個別獨立將該第一複數個高度偵測區域中第二複數個高度偵測區域所涵蓋之高度範圍與該至少一物件在該俯視圖中的高度進行比對，並根據比對結果確認該至少一物件是否侵入該第二複數個高度偵測區域中之至少一高度偵測區域。
透過本發明，可正確得知物件在空間中的位置以及高度，改善了習知技術中透過單一攝影機進行偵測，易受光影變化以及視線遮蔽而影響其偵測結果的準確度。
100‧‧‧畫面
50‧‧‧人物
A1、A2‧‧‧區域
210、220‧‧‧攝影機
250‧‧‧物件
C1、C2‧‧‧投影中心
C3‧‧‧垂直投影位置
E1、E2‧‧‧成像面
L3‧‧‧直線路徑
B‧‧‧長度
Z‧‧‧深度
320‧‧‧三角形區域
P1、P2‧‧‧成像點
F、B1、B2、dxl 、dxr ‧‧‧距離
V1‧‧‧光軸
Z3‧‧‧深度座標
X3‧‧‧橫軸座標
Y3‧‧‧縱軸座標
302、304、306、602至626‧‧‧步驟
400‧‧‧深度圖
500‧‧‧俯視圖
700‧‧‧興趣空間
710‧‧‧興趣面
800‧‧‧置物架
810、820、830‧‧‧區域
850‧‧‧使用者
852‧‧‧手部
860‧‧‧置物板
Q1、Q2、Q3、Q4‧‧‧頂點
L1、L4‧‧‧偵測線
H1、H2、H3‧‧‧高度偵測區域
第1圖係為習知技術影像監控系統所拍攝的畫面之示意圖。
第2圖係為本發明用來偵測物件深度所使用之一偵測裝置中攝影機的佈置方式示意圖。
第3圖係為根據本發明之實施例所揭露偵測裝置偵測物件影像之流程圖。
第4圖係為3D偵測裝置透過第3圖之方法產生之深度圖。
第5圖係為3D偵測裝置透過第3圖之方法產生之俯視圖。
第6圖係為根據本發明之實施例所揭露3D偵測裝置計算侵入空間次數之流 程圖。
第7圖係為設置有本發明3D偵測裝置的興趣空間之示意圖。
第8圖係為根據本發明之實施例所揭露3D偵測裝置偵測侵入空間之示意圖。
第9圖為以第7圖所示之興趣空間為基礎來說明本發明之一實施例中分區定出高度範圍來個別獨立進行精確侵入偵測的簡略示意圖。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區別元件的方式，而是以元件在功能上的差異來作為區別的基準。在通篇說明書及後續的請求項當中所提及的「包括」係為開放式的用語，故應解釋成「包括但不限定於」。下文依本發明特舉實施例配合所附圖式作詳細說明，但所提供之實施例並非用以限制本發明所涵蓋的範圍，而方法流程步驟編號更非用以限制其執行先後次序，任何由方法步驟重新組合之執行流程，所產生具有均等功效的方法，皆為本發明所涵蓋的範圍。
請參考第2圖，第2圖係為根據本發明之一實施例所揭露之一3D偵測裝置中包含之攝影機的佈置方式示意圖。如第2圖所示，3D偵測裝置所包含之一攝影機210及一攝影機220係用以對一物件250進行偵測，且攝影機210及攝影機220可分別是一左側攝影機及一右側攝影機。攝影機210包含一投影中心(center of projection或稱光學中心(optical center))C1及一成像面E1，攝影機220包含一投影中心(或稱光學中心)C2及一成像面E2，成像面E1、E2係平行於投影中心C1及C2所構成之一直線路徑L3，直線路徑L3的長度為B。物件250與直線路徑L3之間的距離即為物件250之一深度D，且投影中心C1、C2及物件250可構成一三角形區域230。物件250對直線路徑L3的垂直投影位置C3(也就是第2圖中直線路徑L3對物件250所產生之 法線的起點)並未被限定為投影中心C1與C2之間的中點；假設垂直投影位置C3與投影中心C1之間的距離是B1，且垂直投影位置C3與投影中心C2之間的距離是B2，則距離B1不一定等於B2。投影中心C1與物件250構成的直線路徑L1與成像面E1交於成像點P1，且投影中心C2與物件250構成的直線路徑L2與成像面E2交於成像點P2，成像面E1、E2與直線路徑L3之間的距離皆為f。左邊攝影機210的光軸(optical axis)V1與成像點P1之間的距離假設為dxl ，且右邊攝影機220的光軸V2與成像點P2之間的距離假設為dxr ，則可先行得到以下二關係式：
根據方程式(1)與方程式(2)，可以得到物件250的深度D為：
由第2圖及上述之方程式(3)可知，由於物件250的深度D可被計算出來，因此可避免習知技術中影像監控系統只能獲得2D資訊而造成對物件位置的誤判。此外，即使物件250處於移動狀態，本發明之3D偵測裝置也可使用攝影機210與220持續地對物件250進行偵測，使得本發明之3D偵測裝置所包含之一處理器可根據攝影機210與220拍攝得到的資訊計算出物件250在三維空間的移動資訊(或可簡稱3D資訊)。
請參考第3圖至第5圖，第3圖係為根據本發明之一實施例所揭露3D偵測裝置偵測物件250影像之流程圖，第4圖係為本發明之3D偵測裝置透過第3圖之方法產生之深度圖400，第5圖係為本發明之3D偵測裝置透過第3圖之方法產生之俯視圖500。第3圖之流程圖包含步驟如下：步驟302：根據攝影機210及攝影機220對物件B2分別擷取之 兩組影像資料產生深度圖400；步驟304：辨識深度圖400中之物件B2；步驟306：將物件B2投射到俯視圖500上。
在步驟302至306中，物件B2可例如是人體，如第4圖所示，但亦可以是其它物體，且本發明並不侷限一次只能偵測一物件，也就是說本發明之3D偵測裝置亦可同時偵測多個物件。深度圖400包含物件B2的多點深度資訊，例如三維座標值。在得知物件B2的多點深度資訊後，可據以產生俯視圖500。在第5圖俯視圖500中，物件B2的外圍輪廓係根據深度圖400的多點深度資訊產生。透過產生俯視圖500，物件B2在平面上的位置資訊可被清楚呈現，便於本發明之3D偵測裝置的使用者立即掌握物件B2的平面資訊。此外，俯視圖500中物件B2的輪廓不限於是物件B2之頂部的輪廓，而可以是物件B2上任何高度之部位所圍出之輪廓。
請參考第6圖，第6圖係為根據本發明之一實施例所揭露3D偵測裝置計算侵入空間次數之流程圖。第6圖之流程圖包含步驟如下：步驟602：使用攝影機210、220擷取兩原始影像；步驟604：根據事先得到的校正數據，將兩原始影像轉換產生兩校正後影像；步驟606：對兩校正後之影像進行銳利化以產生兩銳利化後影像；步驟608：產生兩銳利化後影像之兩色差地圖；步驟610：根據兩銳利化後影像及兩色差地圖產生深度圖；步驟612：辨識深度圖中之至少一物件；步驟614：將該至少一物件投射到俯視圖上；步驟616：濾除俯視圖上的雜訊以找出該至少一物件； 步驟618：偵測該至少一物件的數目是否大於一；若是，執行步驟620；若否，跳至步驟622；步驟620：分離複數個物件；步驟622：於該俯視圖上追蹤該至少一物件；步驟624：當有一物件超越一預定界線時，偵測該物件是否侵入一預定區塊；步驟626：結束。
步驟604至608係為影像前處理步驟，用以對影像作最佳化調整，例如影像的亮度調整，以及濾除影像的雜訊等步驟。步驟604所述之校正數據可藉由使本發明之3D偵測裝置包含之二攝影機對一參考物件事先進行角度、焦距、成像中心的校正來完成。之後步驟610根據步驟606得到的兩銳利化影像與步驟608得到的兩色差地圖便可據以進行第一實施例所述的步驟而計算出深度圖，其中色差地圖是計算每個pixel與周圍環境的變化量所決定，故該色差地圖在該變化量越大時則其值越大(例如充滿花紋的襯衫)，且在該變化量越小時其值越小(例如純白的牆壁)。對深度圖執行第二實施例所述的步驟，即可透過步驟612、614將一或多個物件投射到俯視圖上；更精確來說，第二實施例的步驟會先建立深度的背景圖(也就是深度圖)，再透過深度圖找出物件，使得有物件進入預定區塊時，物件在深度圖中存在的位置深度會改變而被找出，並進而被投影到俯視圖上。
請參考第7圖，第7圖係為設置有本發明3D偵測裝置的興趣空間700之示意圖，其中興趣空間700係由多個興趣面710所構成，且興趣面710的大小及位置可視實際需求來定義。步驟618至624可用以在偵測物件在興趣空間700的狀態變化。在步驟618至622中，可對偵測到的所有物件加以判斷以進行追蹤。步驟624可根據物件是否超越一預定界線，來判斷物 件是否侵入一預定區塊，例如在興趣空間700中的物件是否跨越興趣面710而侵犯到興趣空間700以外的空間。另外，第7圖所示興趣面710的底部可由複數條預定界線以及周圍地形限制所造成的邊界線所定義；本發明之3D偵測裝置只需要偵測上述預定界線，便可判斷物件是否超越上述預定界線。
此外，在步驟624中，物件是否侵入預定區塊可根據物件超越預定界線的程度來判斷，例如根據物件超越預定界線的距離、物件超越預定界線的時間長度及/或物件超越預定界線後的高度資訊，來判斷物件是否侵入預定區塊。在偵測物件是否有碰觸或侵入偵測區域空間時，可事先定義碰觸或侵入到怎樣的程度多少才能計算為一次事件(event)，可透過設定臨界值(threshold)來定義。若一物件係部份超越預定界線，而剩餘部份未超越預定界線，也可根據該物件超越預定界線的部份在整體物件所佔的比例來判斷物件是否侵入預定區塊。在本發明之一實施例中，每個興趣面亦可事先設定欲偵測的高度(可設定多個高度)，若一物件完全(或部份)超越該預定界線，則可根據物件高度資訊來判斷該物件是否侵入該預定空間。另外，該實施例的步驟也可用來偵測物件是否離開了該預定空間，例如當物件原先超越該預定界線後，可根據該物件高度資訊來判斷該物件是否也出現由侵入轉為未侵入該預定空間的狀況，來判定該物件是否離開了該預定空間。
在本發明之一實施例中，對於物件可能會同時碰觸或侵入兩個以上不同偵測高度的情形，主要是判斷物件越界部份的高度資訊大多數是落在哪個高度範圍，且落入某高度範圍數量與物件越界部份的比例需高過一門檻值(該門檻值可對應不同的需要而被設定)，作為觸發其中一個偵測高度的依據。在本發明之另一實施例中，例如當人物在賣場裡，可能同時觸碰同一偵測面卻位於不同高度區域的商品時，亦可依照物件越界部份的高度資訊落在不同高度區域的數量與越界部份的比例是否有高過該門檻值，作為判斷是否 要同時觸發不同高度區域的依據。
請參考第8圖，第8圖係為根據本發明之一實施例所揭露3D偵測裝置偵測侵入空間之示意圖。在第8圖中，置物架800包含多個置物板860，並事先設定欲偵測之高度，形成區域810、820、830，而使用者850將以其手部852拿取置物架800上的物品，透過前述實施例步驟610至614，可據以計算出對應使用者850不同高度的深度資訊，因此可準確判斷出使用者850手部852的高度，而得知區域810、820、830中哪一區域受到侵入。
在本發明之一實施例中，第8圖所示針對多個已知高度之置物板860的侵入偵測方式還可以分區定出高度範圍的方式進行與應用。請參閱第9圖，其為以第7圖所示之興趣空間700為基礎來說明本發明之一實施例中分區定出高度範圍來進行精確侵入偵測的簡略示意圖。如第9圖所示，若以定義出興趣空間700之其中一個興趣面710在地面上的偵測線L1(頂點Q1與Q2之間的直線)視之，本發明之3D偵測裝置會根據第2圖所示的方式，計算出偵測線L1垂直朝上的法向量，例如第9圖所示的法向量線L2(頂點Q2與Q3之間的直線)以及法向量線L3(頂點Q1與Q3之間的直線)，其中頂點Q3與Q4位於同一高度，且頂點Q3與Q4所在的高度可為本發明之3D偵測裝置自己設定的偵測上限高度或其本身規格的偵測上限高度。如此一來，頂點Q1、Q2、Q3、Q4之間即形成了一個由興趣面710代表的偵測面(亦即偵測線L1、L4與法向量線L2、L3四條線圍成的平面，其中偵測線L4係為頂點Q3、Q4之間的直線)。
在第9圖所示的實施例中，本發明之3D偵測裝置可更進一步的將該偵測面根據高度區域的不同來進行切割，例如分成如第9圖所示的三個由低至高的高度偵測區域H1、H2、H3，其中高度偵測區域H1的下界代表了 3D偵測裝置200在該偵測面的最低偵測高度，而高度偵測區域H3的上界代表了3D偵測裝置200在該偵測面的最高偵測高度。請注意，在本發明之其他實施例中，高度偵測區域H1、H2、H3在各自占據之高度範圍上的設定可由本發明之3D偵測裝置本身以一預設設定進行或由使用者輸入，且高度偵測區域的數量也不受第9圖所示數量的限制。
另外，本發明之3D偵測裝置亦可在第9圖的實施例中獨立處理並偵測該些高度偵測區域各自是否被侵入的事件與侵入方向、甚至是物件離開該些高度偵測區域的事件與離開方向。高度偵測區域H1、H2、H3是可以由本發明之3D偵測裝置來各自獨立運作以確認物件之高度資訊的。因此，第9圖的實施例也可適用上述物件可能會同時碰觸或侵入兩個以上不同偵測高度的情形，以判斷物件越界部份的高度資訊大多數是落在哪個高度範圍，以作為觸發其中一個偵測高度的依據。以獨立處理並偵測該些高度偵測區域中上述物件離開該些高度偵測區域的事件與離開方向的狀況舉例來說，當一物件以同時侵入高度偵測區域H2與H3的方式並以對應於該偵測面之一入射角(可至少包含該偵測面之水平入射角、該偵測面之垂直入射角、或上述兩者的加總對應於該偵測面的入射角方向)的方向侵入了該偵測面(例如當該物件的大小足以同時跨越高度偵測區域H2與H3時)，則3D偵測裝置200會偵測到高度偵測區域H2以該入射角的方向被該物件侵入的事件，並另外獨立偵測到高度偵測區域H3以該入射角的方向被該物件侵入的事件。
同理，本發明之3D偵測裝置亦可在第9圖的實施例中針對該些高度偵測區域獨立偵測已侵入之物件離開原先所在之高度偵測區域的事件與離開方向。舉例來說，當原先已入侵高度偵測區域H2與H3的該物件以同時離開高度偵測區域H2與H3的方式並以對應於該偵測面之一出射角(可至少包含該偵測面之水平出射角、該偵測面之垂直出射角、或上述兩者的加總對 應於該偵測面的出射角方向)的方向離開了該偵測面，則本發明之3D偵測裝置會偵測到該物件以該出射角的方向離開高度偵測區域H2的事件，並另外獨立偵測該物件以該出射角的方向離開高度偵測區域H3的事件。
在本發明之一實施例中，本發明之3D偵測裝置可以根據預設設定或使用者輸入設定來確認開啟高度偵測區域H1、H2、H3中的哪些高度偵測區域的偵測機制，而不需隨時開啟每一高度偵測區域的偵測機制。
當有物件穿越該偵測面時，如以上各圖之實施例所述，本發明之3D偵測裝置可以根據第2圖所示的方法算出該物件的3D資訊，並根據該物件的3D資訊來偵測並確認該物件穿越了該偵測面的事件。更進一步地，在該事件中，由於3D偵測裝置200掌握了該物件的3D資訊，因此也同樣的可以將該物件的3D資訊與高度偵測區域H1、H2、H3各自獨立進行比對，以確認該物件是否侵入了高度偵測區域H1、H2、H3，或是確認該物件是以哪個方向侵入了高度偵測區域H1、H2、H3中的哪些高度偵測區域。請注意，此處所述之認該物件穿越了該偵測面的事件包含了有效侵入事件與非有效侵入事件。
上述實施例中曾提及根據物件超越預定界線的距離、物件超越預定界線的時間長度及/或物件超越預定界線後的高度資訊，來判斷物件是否侵入預定區塊。同理，在本發明之3D偵測裝置獨立運作各高度偵測區域之偵測機制的情況下，本發明之3D偵測裝置也可以根據上述的方法，以該物件越界部分的高度資訊落在各高度偵測區域的時間、數量、與比例，作為判斷該物件侵入了哪些高度偵測區域的依據。
更具體的說，本發明之3D偵測裝置除了可設定各高度偵測區域 中哪些高度偵測區域需要執行物件偵測、哪些高度偵測區域不需要執行物件偵測以外，還可以設定各高度偵測區域各自之一侵入物件數量門檻、一越界比例門檻、及/或一越界時間門檻，以作為判定物件是否對各高度偵測區域產生有效侵入事件的依據。當有物件穿越該偵測面時，本發明之3D偵測裝置可將該物件在興趣區域700中的高度與目前被啟動偵測機制之各高度偵測區域進行比對；當比對結果顯示該物件侵入於這些目前被啟動偵測機制之高度偵測區域中至少一個高度偵測區域時，可標示出該物件之一侵入事件(可為有效侵入事件或非有效侵入事件)。接著需要判斷該物件之侵入事件是否為有效侵入事件，判斷的標準可至少包含上述之侵入物件數量門檻、越界比例門檻、及/或越界時間門檻。舉例來說，本發明之3D偵測裝置會更進一步獨立偵測該些目前被開啟偵測機制的高度偵測區域，以確認該物件在該些目前被開啟偵測機制的高度偵測區域中個別之一侵入物件數量(該物件可代表二個以上的子物件)、一越界比例、及/或一越界時間；當本發明之3D偵測裝置確認該物件在該些目前被開啟偵測機制的高度偵測區域中之侵入物件數量大於該侵入物件數量門檻、越界比例高於該越界比例門檻、及/或越界時間高於該越界時間門檻時(也就是這三種條件的至少一種或任意組合成立時)，本發明之3D偵測裝置可判斷該物件之侵入事件為有效侵入事件，否則可判斷為非有效侵入事件。藉由這樣判斷是否為有效侵入事件的機制，本發明之3D偵測裝置可達成較佳的偵測精準度，以濾除部分並非有意侵入興趣區域700中不同高度偵測區域的事件。
由於透過第2-5圖所揭露之技術特徵，可計算出對應於物件的深度及高度資訊，再加上透過第6-9圖所揭露之技術特徵，可計算出使用者所定義的偵測區域空間被碰觸、遭到侵入的次數、高度、或方向等資訊，因此，透過本發明，可正確得知物件在空間中的位置以及高度，改善了習知技術中透過單一攝影機進行偵測，易受光影變化以及視線遮蔽而影響其偵測結果的 準確度。
602至626‧‧‧步驟

Claims (13)

  1. 一種三維(three dimension,3D)偵測裝置偵測影像之方法，包含：根據兩組影像資料產生一深度圖；辨識該深度圖中之至少一物件；將該至少一物件投射到一俯視圖上；於該俯視圖上追蹤該至少一物件；及當該至少一物件超越一預定界線時，根據該至少一物件超越該預定界線後的預定高度資訊，偵測該至少一物件是否侵入一預定區塊。
  2. 如請求項1所述之方法，另包含：當該至少一物件超越該預定界線時，根據該至少一物件超越該預定界線的距離及/或該至少一物件超越該預定界線的時間長度，偵測該至少一物件是否侵入該預定區塊。
  3. 如請求項1所述之方法，另包含：偵測該至少一物件的數目是否大於一。
  4. 如請求項3所述之方法，另包含：若該至少一物件的數目大於一，於該俯視圖上追蹤複數個物件；及當該複數個物件中有一物件超越一預定界線時，偵測該物件是否侵入一預定區塊。
  5. 如請求項4所述之方法，另包含：當該至少一物件超越該預定界線時，根據該物件超越該預定界線的距離、該物件超越該預定界線的部份在該物件所佔的比例及/或該物件超越該預定界線的時間長度，偵測該物件是否侵入該預定區塊。
  6. 一種三維偵測裝置偵測影像之方法，包含：根據兩組影像資料產生一深度圖；辨識該深度圖中之至少一物件；將該至少一物件投射到一俯視圖上，其中該俯視圖上具有三維之一興趣區域，該興趣區域之底部係由該俯視圖之複數條預定界線與周遭地形限制所造成之邊界線所定義，該興趣區域包含有第一複數個互相不重疊且底部尺寸與一封閉區域相同之高度偵測區域，且該第一複數個高度偵測區域加總之一高度係等於該興趣區域在該俯視圖中之高度；於該俯視圖上追蹤該至少一物件，以確認該至少一物件在該俯視圖中的高度；及當該至少一物件超越該複數個預定界線中至少一預定界線時，個別獨立將該第一複數個高度偵測區域中第二複數個高度偵測區域所涵蓋之高度範圍與該至少一物件在該俯視圖中的高度進行比對，並根據比對結果確認該至少一物件是否侵入該第二複數個高度偵測區域中之至少一高度偵測區域。
  7. 如請求項6所述之方法，另包含：對該第一複數個高度偵測區域個別獨立設定是否對該物件進行偵測，且該第二複數個高度偵測區域係為被設定可對該物件進行偵測。
  8. 如請求項6所述之方法，另包含：對該第一複數個高度偵測區域個別獨立設定一侵入物件數量門檻、一越界比例門檻、一越界時間門檻、及/或一高度偵測範圍。
  9. 如請求項8所述之方法，另包含： 在根據該比對結果確認該至少一物件侵入該第二複數個高度偵測區域中之至少一高度偵測區域後，獨立偵測該至少一高度偵測區域來確認該至少一物件在該至少一高度偵測區域中個別之一侵入物件數量、一侵入方向、一越界比例、及/或一越界時間。
  10. 如請求項9所述之方法，另包含：個別比較該至少一物件在該至少一高度偵測區域中個別之該越界比例與該至少一高度偵測區域之該越界比例門檻；及當確認該至少一物件在該至少一高度偵測區域之一第一高度偵測區域中之一越界比例高於該第一高度偵測區域之一越界比例門檻時，判斷該至少一物件在該第一高度偵測區域中為有效越界。
  11. 如請求項9所述之方法，另包含：個別比較該至少一物件在該至少一高度偵測區域中個別之該越界時間與該至少一高度偵測區域之該越界時間門檻；及當確認該至少一物件在該至少一高度偵測區域之一第二高度偵測區域中之一越界時間高於該第二高度偵測區域之一越界時間門檻時，判斷該至少一物件在該第二高度偵測區域中為有效越界。
  12. 如請求項9所述之方法，另包含：個別比較該至少一物件在該至少一高度偵測區域中個別之該侵入物件數量與該至少一高度偵測區域之該侵入物件數量門檻；及當確認該至少一物件在該至少一高度偵測區域之一第三高度偵測區域中之一侵入物件數量高於該第三高度偵測區域之一侵入物件數量門檻時，判斷該至少一物件在該第三高度偵測區域中為有效越界。
  13. 如請求項9所述之方法，另包含：在根據該比對結果確認該至少一物件侵入該複數個第二高度偵測區域中之至少一高度偵測區域後，獨立偵測該至少一高度偵測區域來確認該至少一物件在該至少一高度偵測區域中個別之一離開方向。
TW102128505A 2013-08-08 2013-08-08 三維偵測裝置及其偵測影像之方法 TWI508027B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102128505A TWI508027B (zh) 2013-08-08 2013-08-08 三維偵測裝置及其偵測影像之方法
US14/452,533 US9483698B2 (en) 2013-08-08 2014-08-06 Method of operating three-dimensional video surveillance system
CN201410388826.XA CN104349136B (zh) 2013-08-08 2014-08-08 三维侦测装置侦测影像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102128505A TWI508027B (zh) 2013-08-08 2013-08-08 三維偵測裝置及其偵測影像之方法

Publications (2)

Publication Number Publication Date
TW201506850A TW201506850A (zh) 2015-02-16
TWI508027B true TWI508027B (zh) 2015-11-11

Family

ID=52448705

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102128505A TWI508027B (zh) 2013-08-08 2013-08-08 三維偵測裝置及其偵測影像之方法

Country Status (3)

Country Link
US (1) US9483698B2 (zh)
CN (1) CN104349136B (zh)
TW (1) TWI508027B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI702568B (zh) * 2018-03-01 2020-08-21 日商索尼股份有限公司 影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法及解碼方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289917B1 (en) * 2013-11-12 2019-05-14 Kuna Systems Corporation Sensor to characterize the behavior of a visitor or a notable event
US20150294496A1 (en) * 2014-04-14 2015-10-15 GM Global Technology Operations LLC Probabilistic person-tracking using multi-view fusion
US20170103574A1 (en) * 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
EP3179406B1 (en) * 2015-12-11 2017-11-22 Axis AB Method for increasing reliability in monitoring systems
JP6708218B2 (ja) 2015-12-16 2020-06-10 日本電気株式会社 情報処理装置、侵入検知方法及びコンピュータプログラム
TWI567693B (zh) * 2016-05-17 2017-01-21 緯創資通股份有限公司 產生深度資訊的方法及其系統
CN106228560B (zh) * 2016-07-28 2019-05-14 长安大学 一种复杂场景下的人数统计方法
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
EP3388864A1 (en) * 2017-04-10 2018-10-17 Bea S.A. Method of human body recognition and human body recognition sensor
US10643078B2 (en) * 2017-11-06 2020-05-05 Sensormatic Electronics, LLC Automatic camera ground plane calibration method and system
CN108846335B (zh) * 2018-05-31 2021-07-30 武汉市蓝领英才科技有限公司 基于视频图像的智慧工地区域管理及入侵检测方法、系统
CN113793462A (zh) * 2021-09-09 2021-12-14 赛思沃德(武汉)科技有限公司 铁路防侵限的方法及装置
TWI814519B (zh) * 2022-08-03 2023-09-01 晶睿通訊股份有限公司 影像分析方法及其攝影設備

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200951777A (en) * 2008-06-03 2009-12-16 Shimane Prefectural Government Image recognizing device, operation judging method, and program
TW201025193A (en) * 2008-12-25 2010-07-01 Univ Nat Chiao Tung Method for automatic detection and tracking of multiple targets with multiple cameras and system therefor
TW201215093A (en) * 2010-09-21 2012-04-01 Huper Lab Co Ltd Method for intensifying 3D objects identification
TW201241547A (en) * 2011-04-14 2012-10-16 Ind Tech Res Inst System, device and method for acquiring depth image
TW201317902A (zh) * 2011-10-31 2013-05-01 Univ Nat Chiao Tung 智慧型顯著區域方法及自動攝影機狀態判斷方法
US20130148845A1 (en) * 2011-12-08 2013-06-13 Palo Alto Research Center Incorporated Vehicle occupancy detection using time-of-flight sensor

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
CN102682550A (zh) * 2011-03-16 2012-09-19 陕西省公安厅 一种视频监控人体入侵检测“回”字型防线设置方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200951777A (en) * 2008-06-03 2009-12-16 Shimane Prefectural Government Image recognizing device, operation judging method, and program
TW201025193A (en) * 2008-12-25 2010-07-01 Univ Nat Chiao Tung Method for automatic detection and tracking of multiple targets with multiple cameras and system therefor
TW201215093A (en) * 2010-09-21 2012-04-01 Huper Lab Co Ltd Method for intensifying 3D objects identification
TW201241547A (en) * 2011-04-14 2012-10-16 Ind Tech Res Inst System, device and method for acquiring depth image
TW201317902A (zh) * 2011-10-31 2013-05-01 Univ Nat Chiao Tung 智慧型顯著區域方法及自動攝影機狀態判斷方法
US20130148845A1 (en) * 2011-12-08 2013-06-13 Palo Alto Research Center Incorporated Vehicle occupancy detection using time-of-flight sensor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI702568B (zh) * 2018-03-01 2020-08-21 日商索尼股份有限公司 影像處理裝置、編碼裝置、解碼裝置、影像處理方法、程式、編碼方法及解碼方法
US11508123B2 (en) 2018-03-01 2022-11-22 Sony Corporation Image processing device, encoding device, decoding device, image processing method, program, encoding method, and decoding method for processing multiple video camera image streams to generate stroboscopic images

Also Published As

Publication number Publication date
US20150043777A1 (en) 2015-02-12
US9483698B2 (en) 2016-11-01
CN104349136A (zh) 2015-02-11
CN104349136B (zh) 2017-09-29
TW201506850A (zh) 2015-02-16

Similar Documents

Publication Publication Date Title
TWI508027B (zh) 三維偵測裝置及其偵測影像之方法
TWI543608B (zh) 相機模組的阻擋偵測方法以及具備多相機模組之電子裝置
TWI551137B (zh) 視域顯示系統、視域顯示方法及記錄有視域顯示程式之電腦可讀取記錄媒體
CN108475433A (zh) 用于大规模确定rgbd相机姿势的方法和系统
CN107079093B (zh) 校准装置
CN105740839A (zh) 三维场景的分析
JP2008537190A (ja) 赤外線パターンを照射することによる対象物の三次元像の生成
CN107396037B (zh) 视频监控方法及装置
TWI657431B (zh) 動態顯示系統
JP5525495B2 (ja) 映像監視装置、映像監視方法およびプログラム
JP4214291B1 (ja) 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ
WO2022237026A1 (zh) 平面信息检测方法及系统
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
KR101538014B1 (ko) 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
Kochi et al. 3D modeling of architecture by edge-matching and integrating the point clouds of laser scanner and those of digital camera
Junejo Using pedestrians walking on uneven terrains for camera calibration
KR101085435B1 (ko) 다중 카메라를 이용한 얼굴 인식 시스템
JP2016176816A (ja) 画像処理装置、画像処理方法、及びプログラム
US9551922B1 (en) Foreground analysis on parametric background surfaces
JP6548683B2 (ja) 対象物画像推定装置および対象物画像判定装置
WO2020158035A1 (ja) 物体位置推定装置およびその方法
JP6468078B2 (ja) 視線キャリブレーションプログラム、視線キャリブレーション装置、および視線キャリブレーション方法
JP6548682B2 (ja) 対象物画像判定装置
JP6526605B2 (ja) 仮想カメラ画像生成装置