TWI716788B - 用於偵測運輸工具內衝突的系統和方法 - Google Patents

用於偵測運輸工具內衝突的系統和方法 Download PDF

Info

Publication number
TWI716788B
TWI716788B TW107145895A TW107145895A TWI716788B TW I716788 B TWI716788 B TW I716788B TW 107145895 A TW107145895 A TW 107145895A TW 107145895 A TW107145895 A TW 107145895A TW I716788 B TWI716788 B TW I716788B
Authority
TW
Taiwan
Prior art keywords
passenger
conflict
human
distance
driver
Prior art date
Application number
TW107145895A
Other languages
English (en)
Other versions
TW202018654A (zh
Inventor
沈海峰
趙元
Original Assignee
大陸商北京嘀嘀無限科技發展有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京嘀嘀無限科技發展有限公司 filed Critical 大陸商北京嘀嘀無限科技發展有限公司
Publication of TW202018654A publication Critical patent/TW202018654A/zh
Application granted granted Critical
Publication of TWI716788B publication Critical patent/TWI716788B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Abstract

本申請的實施例提供了一種用於偵測運輸工具內衝突的系統。該系統包括至少一個相機，該相機被配置為捕獲運輸工具中的複數個圖像。該系統還包括與所述至少一個相機通訊的控制器。所述控制器被配置為從複數個圖像中偵測人體對象，估計各個人體對象的深度資訊，並基於所述深度資訊偵測衝突。

Description

用於偵測運輸工具內衝突的系統和方法
本申請涉及衝突偵測系統和方法，更具體地說，涉及用於在叫車服務運輸工具中自動偵測兩個運輸工具乘員（例如司機和乘客）之間的衝突的系統和方法。
本申請主張2018年11月9日提交的編號為PCT/CN2018/114681的國際申請案的優先權，其內容以引用方式被包含於此。
線上叫車平臺（例如，滴滴出行）可以從乘客處接收共乘服務請求，然後將服務請求分配到至少一個運輸服務提供方（例如，計程車司機、私家車車主或類似物）。在司機回應運輸服務請求後，司機將接載乘客，並將乘客帶到所請求的目的地。
因為司機和乘客彼此不認識，所以在行程期間兩者之間可能發生衝突。例如，司機和乘客可能對於司機為行程所採取的路線或服務收費有爭議。有時，司機或乘客可能會企圖對另一方犯下罪行，例如威脅、毆打或性騷擾。因此，運輸工具內衝突會給司機及/或乘客帶來安全威脅。
現有的運輸工具內衝突偵測方法依賴於司機或乘客的報告，例如，通過按下他們電話上的按鈕，以通知線上叫車平臺或衝突的執法部門。例如，滴滴叫車系統提供「一鍵式報警」功能，允許運輸工具內人員（例如，司機或乘客）在他們各自的終端上一鍵按下從而報警。服務平臺或警方可以通過警告衝突雙方來進行干預。
然而，由於這些偵測方法是由使用者的手動輸入而觸發的，因此它們不可靠。例如，衝突雙方傾向於盡可能的推遲報告。此外，當運輸工具位於信號較差的地方時，可能無法進行此類報告。
本申請的實施例通過使用運輸工具內的至少一個相機所捕獲的圖像來自動偵測司機-乘客衝突，從而解決上述問題。
本申請的實施例提供了一種用於偵測運輸工具內衝突的系統。該系統包括至少一個相機，該相機被配置用於捕獲運輸工具中的複數個圖像。該系統還包括與至少一個相機通訊的控制器。所述控制器被配置為從複數個圖像中偵測人體對象，估計各個人體對象的深度資訊，並基於深度資訊偵測衝突。
本申請的實施例還提供了一種用於偵測運輸工具內衝突的方法。該方法包括由至少一個相機捕獲運輸工具中的複數個圖像。該方法還包括由處理器從所述複數個圖像中偵測人體對象。該方法還包括通過所述處理器估計各個人體對象的深度資訊，並且由所述處理器基於深度資訊偵測衝突。
本申請的實施例還提供了一種非暫時性電腦可讀取媒體，其儲存一組指令。當由電子裝置中的至少一個處理器執行該組指令時，該組指令使得電子裝置執行用於偵測運輸工具內衝突的方法。該方法包括接收由至少一個相機捕獲的運輸工具中的複數個圖像。該方法還包括從複數個圖像中偵測人體對象。該方法還包括估計各個人體對象的深度資訊，並基於所述深度資訊偵測衝突。
應當理解，前面的一般性描述和下面的詳細描述都只是示例性和說明性的，並不是對本申請所要求保護的發明進行限制。
現在將詳細參考示例性實施例，其示例在圖式中表示出。盡可能地，在整個圖式中將使用相同的元件符號來表示相同或相似的部分。
圖1係根據本申請的實施例所示的配備有衝突偵測系統的示例性運輸工具100的示意圖。與一些實施例一致，運輸工具100可以被配置為由佔用運輸工具的操作員操作、遠端控制及/或自動駕駛。可以預期運輸工具100可以是電動運輸工具、燃料電池運輸工具、混合動力運輸工具或傳統引擎運輸工具。運輸工具100可以具有任何風格的車身，例如運動型運輸工具、轎跑車、轎車、小卡車、旅行車、休旅車（Sports Utility Vehicle，SUV）、小型貨車或改裝旅行車。
如圖1所示，由車身包圍形成的運輸工具100的內部可擁有一排或一排以上的座椅，以容納運輸工具內的人。例如，前排座椅可容納司機102和乘客（未示出）。後排座椅106可容納一個或多個乘客，例如乘客104。運輸工具100可擁有兩排以上的座位以容納更多乘客。在一些實施例中，扶手或杯架可以安裝在座椅之間。例如，杯架可容納水瓶108。
如圖1所示，運輸工具100可配備有衝突偵測系統，其中包括至少一個相機110和控制器120以及其他裝置。相機110可以設置或以其他方式安裝在運輸工具100內。在一些實施例中，相機110可以安裝在儀表板上、擋風玻璃上方、車頂上、角落裡或其他地方。在一些實施例中，相機110可以整合在行動裝置中，例如行動電話、平板電腦或安裝在運輸工具100的儀表板上的全球定位系統（GPS）導航裝置中。在一些實施例中，當運輸工具100正在完成服務行程時，相機110可被配置為在運輸工具100內捕獲圖像。與本申請一致，相機110可以是數位相機或數位攝影機，用於拍攝運輸工具100內部的圖片或視頻。圖像可以捕獲運輸工具100內的各種對象，例如司機102、乘客104、空座106和水瓶108。
在一些實施例中，多台相機110可以安裝在運輸工具100內的不同位置，並且從不同視角拍攝內部照片。當運輸工具100朝向目的地行進時，相機110可以連續捕獲圖像。在特定時間點捕獲的每個圖像被稱為一個圖像訊框。例如，相機110可以記錄在多個時間點捕獲的多個圖像訊框所組成的視頻。
在一些實施例中，相機110可以包括配置有不同相機設置的相機，以便提供在圖像中捕獲的對象的深度資訊。例如，每個相機可以具有不同的焦距或視角。整體來說，多個相機可以保持相關的圖像空間聚焦並且可以減輕由鏡頭缺陷引起的虛假圖像。例如，相機110可包括焦距為20釐米、30米、50釐米和100釐米或類似的相機。因此，特定相機可以覆蓋預設深度範圍，並且各個深度範圍內的對象可以與該相機焦點對準。因此，運輸工具100內的整個圖像空間可以是焦點對準的。
回到圖1，在一些實施例中，相機110可以與控制器120通訊。在一些實施例中，控制器120可以是運輸工具100（例如電子控制單元）的車載控制器。在一些實施例中，控制器120可以是本地實體伺服器、雲端伺服器（如圖1所示）、虛擬伺服器、分散式伺服器或任何其他合適的計算裝置的一部分。控制器120可以通過網路與相機120及/或運輸工具100的其他元件通訊，例如無線區域網路（WLAN）、廣域網路（WAN）、諸如無線電波的無線網路、蜂巢網路、衛星通訊網路及/或本地或短程無線網路（例如，藍牙）。
與本申請一致，控制器120可以負責處理相機110捕獲的圖像，並基於圖像偵測運輸工具內衝突。在一些實施例中，控制器120可以使用各種影像處理方法識別人體對象，例如司機102和一個或多個乘客104。例如，控制器120可以執行圖像分割和對象分類方法以識別人體對象。在一些實施例中，控制器120可以估計所識別的人體對象的深度資訊。例如，深度資訊表徵人體對象所處的深度範圍。可以使用基於學習模型的機器學習方法來估計深度資訊，例如卷積神經網路（Convolutional Neural Network，CNN）模型。
運輸工具乘員，如司機和乘客或任何兩名乘客，通常不應有任何聯繫。如果對應乘員的人體對象（例如，司機對象和乘客對象）彼此重疊或者彼此足夠接近，則可能在兩個運輸工具乘員之間（例如，在司機和乘客之間）發生衝突。因此，可以基於使用深度資訊確定的司機對象和乘客對象的相對位置來偵測司機-乘客衝突。例如，控制器120可以計算所述衝突的機率，並且，當所述機率高於預定臨界值時，確定衝突已經發生。在一些實施例中，當偵測到衝突時，控制器120可以自動為他們通知服務平臺或員警來干預和解決衝突。
例如，圖2係根據本申請的實施例所示的示例性控制器120的方塊圖。與本申請一致，控制器120可以從一個或多個相機110接收圖像資料203。在一些實施例中，圖像資料203可以包含二維（2D）圖像或三維（3D）圖像。在一些實施例中，當多個相機110安裝在運輸工具100內的不同位置時，圖像資料203可包含從不同視角捕獲的圖像資料。
控制器120可以從圖像資料203識別人體對象，使用圖像資料203估計人體對象的深度，並使用深度資訊偵測運輸工具100中的司機-乘客衝突。在一些實施例中，如圖2所示，控制器120包括通訊介面202、處理器204、記憶體206和儲存器208。在一些實施例中，控制器120包括單個裝置中的不同模組，例如積體電路（Integrated Circuit，IC）晶片（實現為特定應用積體電路（Application-Specific Integrated Circuit，ASIC）或現場可程式閘陣列（Field-Programmable Gate Array，FPGA）或者單獨的具有專用功能的裝置。在一些實施例中，控制器120的一個或多個元件可以位於雲端伺服器中，或者可替代地位於單個位置（例如運輸工具內部100或行動裝置內）或分散式位置。控制器120的元件可以在整合裝置中或者分佈在不同位置，但是可以通過網路（未示出）彼此通訊。
通訊介面202可以通過通訊纜線、無線區域網路（WLAN）、廣域網路（WAN）、諸如無線電波的無線網路、蜂巢網路及/或本地或短程無線網路（例如，藍牙）或其他通訊方法向諸如相機110的元件發送資料和從其接收資料。在一些實施例中，通訊介面202可以是整合式服務數位網路（ISDN）卡、纜線數據機、衛星數據機或數據機，以提供資料通訊連接。又例如，通訊介面202可以是區域網路（LAN）卡，以提供與相容LAN的資料通訊連接。無線鏈路也可以由通訊介面202實現。在這樣的實現中，通訊介面202可以發送和接收電信號、電磁信號或光信號，其攜帶通過網路表示各種類型資訊的數位資料流。
與一些實施例一致，通訊介面202可以接收由相機110捕獲的圖像資料203。通訊介面202還可以將接收的資料提供給儲存器208以便儲存或提供給處理器204以進行處理。
處理器204可包括任何適當類型的通用或專用微處理器、數位訊號處理器或微控制器。處理器204可以被配置為專用於基於由相機110捕獲的圖像資料來執行運輸工具內衝突偵測的單獨處理器模組。或者，處理器204可以被配置為用於執行其他功能的共用處理器模組。
如圖2所示，處理器204包括多個模組，例如對象偵測單元210、深度估計單元212和衝突偵測單元214等。在一些實施例中，處理器204可以另外包括衝突確認單元216。這些模組（以及任何相應的子模組或子單元）可以是處理器204的硬體單元（例如，積體電路的部分），其被設計為與處理器204通過執行程式的至少一部分而實現的其他元件或軟體單元一起使用。程式可以儲存在電腦可讀取媒體上，並且當由處理器204執行時，它可以執行一個或多個的功能。儘管圖2示出了在一個處理器204內的所有單元210-216，但是可以預期這些單元可以分佈在彼此靠近或遠離的多個處理器之間。
圖3係根據本申請的實施例的圖2中所示的控制器120中的處理器204的資料流程圖300。如圖3所示，對象偵測單元210可以從通訊介面202接收圖像資料203，並且可以配置為從圖像資料203中識別運輸工具100內的人體對象。圖像分割和對象偵測方法可以用於識別人體對象。在一些實施例中，可以通過確定人體對象的輪廓資訊來識別人體對象。
在一些實施例中，對象偵測單元210可以首先在圖像資料203上應用分割，以從圖像中識別對象。通過圖像分割識別的對象可以包括運輸工具100內的各種對象，例如，人體對象、座椅、袋子、安全帶、放置在杯架中的瓶子或杯子以及可以安裝或帶入運輸工具100內部的其他對象。然後，對象偵測單元210可以使用對象偵測模型302來偵測所識別的對象中的人體對象。在一些實施例中，對象偵測模型302可以是使用訓練圖像和這些圖像中對應的人體對象訓練後的機器學習模型，例如CNN模型。
在一些替代實施例中，對象偵測單元210可以首先使用對象偵測模型302執行對象偵測。例如，對象偵測單元210可以從圖像資料203確定包含人體對象的邊界區域。邊界區域可以是任何合適的形狀，例如矩形、方形、圓形、橢圓形、菱形等。然後，應用圖像分割來分割每個邊界區域以識別人體對象。
所識別的人體對象，例如，他們的輪廓資訊被轉發到深度估計單元212。深度估計單元212被配置為估計人體對象的深度資訊。深度資訊可以包括例如相機110和人體對象之間的距離。因為人體對像是3D並且具有其自己的深度，所以深度資訊可以包括人體對象的深度範圍。在一些實施例中，深度估計單元212可以應用深度估計模型304來估計深度資訊。深度估計模型304可以是使用訓練對象及其對應的深度屬性訓練的機器學習模型，例如CNN。在一些實施例中，深度估計單元212可以替代地或另外地使用來自真實孔徑相機的多個聚焦圖像來估計深度資訊（稱為「聚焦深度」方法）。使用由對象偵測單元210確定的對象輪廓及其深度資訊，深度估計單元212可以獲得每個人體對象的對象區域。對象區域可以是3D區域。例如，如圖4所示，可以對應於司機A和乘客B確定司機對象區域和乘客對象區域。
由深度估計單元212確定的對象區域可以被轉發到衝突偵測單元214。衝突偵測單元214可以被配置為偵測司機和乘客之間的衝突。例如，圖4係用於偵測司機A和乘客B之間的衝突的示例性方法。如圖4所示，司機對象區域410和乘客對象區域420在正常條件下不重疊。當在司機A和乘客B之間發生衝突時，兩個對象可以朝向彼此傾斜，因此對象區域410和420可以重疊、接觸或變得彼此足夠接近。
在一些實施例中，衝突偵測單元214可以基於對象區域410和420的相對位置來確定是否可能發生衝突。在一些實施例中，可以計算對象區域410和420之間的距離，並且可以基於所述距離計算衝突的機率。例如，衝突偵測單元214可以確定對象區域410和420的中心點，並計算所述中心點之間的距離d1 。距離d1 可以確定為
Figure 02_image001
，其中，
Figure 02_image003
是司機對象區域410的中心點，
Figure 02_image005
是乘客對象區域420的中心點。因此，衝突機率Pc 可以被確定為距離d1 的函數。在一些實施例中，衝突機率Pc 可以與距離d1 成反比。換句話說，距離越短，衝突的機率就越大。例如，衝突偵測單元214可以根據等式（1）確定Pc 。
Figure 02_image007
（1） 其中，
Figure 02_image003
是司機對象區域410的中心點，
Figure 02_image009
是乘客對象區域420的中心點，
Figure 02_image011
是衝突機率。
又例如，衝突偵測單元214可以確定的對象區域410和420的彼此最近的點，並計算最近點之間的距離d2 。距離d2 可以確定為
Figure 02_image013
，其中
Figure 02_image015
以及
Figure 02_image017
是對象區域410和420彼此最近的點。當對象區域410和420重疊（即，司機A和乘客B接觸）時，距離d2 變為0。衝突偵測單元214然後可以計算衝突機率Pn 可以被確定為距離d2 的函數。在一些實施例中，衝突機率Pn 也可以與距離d2 成反比。例如，衝突偵測單元214可以根據等式（2）確定Pn 。
Figure 02_image019
（2） 其中，
Figure 02_image021
以及
Figure 02_image017
是區域410和420的彼此最近的點，並且
Figure 02_image023
是衝突機率。
作為又一示例，衝突偵測單元214可以在確定衝突機率時融合深度資訊和距離。如果與司機對象區域410相關的深度資訊圖
Figure 02_image025
和與乘客對象區域420相關的深度資訊圖
Figure 02_image027
相似，即，
Figure 02_image029
，並且對象區域410和420之間的距離很短，則衝突的機率很高。否則，如果
Figure 02_image025
和
Figure 02_image027
相當不同，並且對象區域410和420之間的距離很短，則衝突的機率被確定為低。如上所述，衝突偵測單元214考慮的「距離」可以是中心點之間的距離或對象區域410和420的最近點之間的距離。例如，根據等式（3）和（4），可以分別基於這些距離確定衝突機率。
Figure 02_image031
（3）
Figure 02_image033
（4）
基於所確定的衝突機率，衝突偵測單元214可以確定在司機A和乘客B之間是否發生或可能發生衝突。例如，衝突偵測單元214將衝突機率與預設的臨界值進行比較，例如0.8、0.9、0.95或類似值。如果所述機率超過臨界值，則衝突偵測單元214可以偵測所述衝突。
在一些實施例中，衝突偵測單元214可以使用基於學習模型的方法來基於由深度估計單元212獲得的深度資訊來偵測衝突。學習模型可以確定衝突機率，或者直接返回二元偵測結果，即「衝突」或「無衝突」。可以使用與已知衝突（或無衝突）情況相關的圖像資料來訓練學習模型。儘管圖4表示出了司機和乘客之間的衝突的偵測，但是可以預期，可以類似地偵測兩個乘客之間的衝突。
返回參考圖3，在一些實施例中，衝突偵測單元214的偵測結果可以由衝突確認單元216確認。如果基於在特定時間點或在短時間段內獲取的圖像資料偵測到衝突，則偵測結果可能不可靠。例如，乘客104可能偶爾靠向司機102以便於交談，或者傳遞資訊或項目，例如具有目的地地址的紙張、顯示行程資訊的行動電話等。因此，衝突確認單元216可以被配置為確認衝突並降低誤報的可能性。在一些實施例中，衝突確認單元216可以產生控制信號以使相機110在相對長的時間段（例如，10、20或30秒）內獲取更多的圖像。或者，如果相機110捕獲包含多個圖像訊框的視頻，則衝突確認單元216可以在一段時間內（例如10、20或30秒）對圖像訊框進行取樣。衝突確認單元216可以針對每個圖像訊框重複由單元210-214執行的偵測流程。如果在樣本圖像訊框上持續偵測到衝突，則衝突確認單元216可以確認衝突並返回偵測結果306。如果衝突偵測是偶發的，並且其他圖像訊框的分析表明不存在衝突，則衝突確認單元216可以忽略此次衝突發現，並且不返回偵測結果306。
返回參考圖2，如果偵測到衝突，則處理器204可以產生控制信號以觸發警報並且通過通訊介面202將控制信號發送到警報接收器130。在一些實施例中，警報接收器130可以是服務平臺的衝突解決模組或警察局的伺服器/控制器。在一些實施例中，控制信號可以觸發對警報接收器130的電話呼叫。在其他一些實施例中，控制信號可以觸發資料傳輸，包括例如運輸工具登記資訊、司機資訊、乘客資訊、運輸工具位置並且可以將衝突的圖像展示到警報接收器130。在一些其他實施例中，控制信號可以使警報接收器130產生警告通知，例如警報接收器130的顯示幕上的彈出視窗、嗶嗶聲、振動或音訊警報等。
記憶體206和儲存器208可以包括任何適當類型的大容量儲存器，其被提供以儲存處理器204可能需要操作的任何類型的資訊。記憶體206和儲存器208可以是揮發性或非揮發性、磁性、半導體、磁帶、光學、可移式、不可移式或其他類型的儲存裝置或有形（即，非暫時性）電腦可讀取媒體，包括但是不限於ROM、快閃記憶體、動態RAM和靜態RAM。記憶體206及/或儲存器208可以被配置為儲存一個或多個電腦程式，其可以由處理器204執行以執行本文揭露的圖像資料處理和衝突偵測。例如，記憶體206及/或儲存器208可以被配置為儲存程式，其可以由處理器204執行以從圖像資料識別人體對象，估計人體對象的深度資訊，並且基於深度資訊偵測衝突。
記憶體206及/或儲存器208可以進一步被配置為儲存處理器204使用的資訊和資料。例如，記憶體206及/或儲存器208可以被配置為儲存由相機110捕獲的各種類型的資料（例如，圖像資料203）和與相機設置有關的資料。記憶體206及/或儲存器208還可以儲存中間資料，例如深度估計單元212估計的深度資訊。記憶體206及/或儲存器208可以進一步儲存處理器204使用的各種學習模型，例如對象偵測模型302和深度估計模型304。各種類型的資料可以永久儲存、週期性地移除或者在處理每個資料訊框之後立即被忽略。
圖5係根據本申請的實施例所示的用於偵測運輸工具內衝突的示例性方法500的流程圖。在一些實施例中，方法500可以由控制器120實現。所述處理器包括處理器204以及其他裝置。然而，方法500不限於該示例性實施例。方法500可以包括如下所述的步驟S502-S514。應當理解，一些步驟可以是可選的，以執行本文所提供的揭露內容。此外，一些步驟可以同時執行，或者以與圖5中所示不同的順序來執行。
在步驟S502，當運輸工具100正在完成服務行程時，相機110捕獲運輸工具100內的至少一個對象的圖像資料203。在一些實施例中，多個相機110可以安裝在運輸工具110內的各個位置，並且從不同角度同時捕獲圖像資料。例如，相機110可以是安裝在運輸工具100的儀表板上的後向相機或者嵌入安裝在運輸工具100的儀表板上的GPS導航裝置或蜂巢電話中。在一些實施例中，對象可包括司機（例如，司機102）、一個或多個乘客（例如，乘客104）、空座位（例如，空座106）、安全帶以及安裝在運輸工具100內或帶入運輸工具100（例如，水瓶108）的任何其他物品。
相機110可以被配置為連續地或在某些時間點捕獲圖像資料203。例如，相機110可以是被配置為捕獲包含多個圖像訊框的視頻的攝影機。在一些實施例中，圖像資料203可以包含2D圖像及/或3D圖像。由相機110捕獲的圖像資料203可以例如通過網路發送到控制器120。
在步驟S504，控制器120從圖像資料203內的圖像中識別出司機對象和乘客對象。在某些實施例中，可以通過確定他們的輪廓資訊來識別這些人體對象。在一些實施例中，對象偵測單元210可以首先對圖像資料203進行圖像分割，以從圖像中識別對象，然後使用對象偵測模型302來偵測所識別的對象中的人體對象。在一些替代實施例中，對象偵測單元210可以首先使用對象偵測模型302執行對象偵測，以確定包含人體對象的邊界區域，然後分割每個邊界區域以識別人體對象。
在步驟S506，控制器120確定司機對象和乘客對象的深度資訊。在一些實施例中，控制器120可以使用深度估計模型304來估計深度資訊。使用在步驟S504確定的對象輪廓且使用深度資訊，控制器120可以獲得每個人體對象的對象區域。例如，如圖4所示，可以對應於司機A和乘客B，確定司機對象區域410和乘客對象區域420。
在步驟S508，控制器120確定司機對象與乘客對象之間的距離。在一些實施例中，控制器120可以確定對象區域的中心點並計算中心點之間的距離d1 。例如，如圖4所示，距離d1 可以確定為
Figure 02_image001
，其中，
Figure 02_image003
是司機對象區域410的中心點，
Figure 02_image005
是乘客對象區域420的中心點。或者，控制器120可以確定對象區域410和420彼此最近的點，並計算最近點之間的距離d2 。例如，距離d2 可以確定為
Figure 02_image013
，其中，
Figure 02_image021
以及
Figure 02_image017
是區域410和420的彼此最近的點。
在步驟S510，控制器120基於距離來確定衝突機率。例如，可以根據等式（1）將衝突機率Pc 確定為距離d1 的函數。又例如，可以根據等式（2）確定衝突機率Pn 作為距離d2 的函數。在一些實施例中，衝突機率Pc 和Pn 可以分別與距離d1 和d2 成反比。
在一些其他實施例中，控制器120可以在確定衝突機率時融合深度資訊和距離。如果與司機對象區域410相關的深度資訊圖
Figure 02_image025
和與乘客對象區域420相關的深度資訊圖
Figure 02_image027
相似，即，
Figure 02_image029
,，衝突機率可以根據等式（3）或（4）確定。在一些實施例中，控制器120可以使用基於學習模型的方法來基於深度資訊偵測衝突。
在步驟S512，控制器120可以將衝突機率與預設的臨界值進行比較。例如，臨界值可以設置為非常高，例如0.8、0.9或0.95。如果機率超過臨界值（S512：是），則方法500前進到步驟S514以產生警報。否則（S512：否），方法500返回到步驟S502以繼續捕獲運輸工具100內的圖像，然後重複步驟S504-S512以確定是否已經發生或可能發生衝突。在一些實施例中，如果在相機110捕獲的多個圖像訊框中持續偵測到在步驟S512偵測到的衝突，則可以確認偵測結果。如果衝突偵測是零星的並且其他圖像訊框的分析表明不存在衝突，則控制器可以忽略此次衝突發現。
在步驟S514，控制器120產生控制信號以觸發警報並將控制信號發送給警報接收器130，警報接收器130是服務平臺或警察局。在某些實施例中，控制信號可以觸發電話呼叫或向警報接收器130發送資料。例如，資料傳輸可以包括例如運輸工具登記資訊、司機資訊、乘客資訊、運輸工具位置和可以顯示衝突的圖像。在一些實施例中，控制信號可以使警報接收器130產生警告通知，例如警報接收器130的顯示幕上的彈出視窗、嗶嗶聲、振動或音訊警報等。
本申請的另一態樣涉及一種儲存指令的非暫時性電腦可讀取媒體，所述指令在被執行時使得一個或多個處理器執行如上所述的方法。所述電腦可讀取媒體包括揮發性或非揮發性、磁性、半導體、磁帶、光學、可移式、不可移式或其他類型的電腦可讀取媒體或電腦可讀取儲存裝置。例如，如本申請的電腦可讀取媒體可以是儲存裝置或其上儲存有電腦指令的記憶體模組。在一些實施例中，電腦可讀取媒體可以是其上儲存有電腦指令的磁碟或快閃記憶體驅動器。
顯而易見，本領域具有通常知識者可以對本申請的系統和相關方法進行各種修改和變化。考慮到本申請的系統和相關方法的說明和實踐，其他實施例對於本領域具有通常知識者是顯而易見的。
本申請中的說明書和示例的目的僅被認為是示例性的，真正的範圍由以下申請專利範圍及其均等物限定。
100:運輸工具 102:司機 104:乘客 106:空座 108:水瓶 110:相機 120:控制器 130:警報接收器 202:通訊介面 203:圖像資料 204:處理器 206:記憶體 208:儲存器 210:對象偵測單元 212:深度估計單元 214:衝突偵測單元 216:衝突確認單元 300:資料流程圖 302:對象偵測模型 304:深度估計模型 306:偵測結果 410:司機對象區域 420:乘客對象區域 500:方法 S502:步驟 S504:步驟 S506:步驟 S508:步驟 S510:步驟 S512:步驟 S514:步驟 A:司機 B:乘客 d1:距離 d2:距離
圖1係根據本申請的實施例所示的配備有衝突偵測系統的運輸工具的示例性內部的示意圖。
圖2係根據本申請的實施例所示的示例性控制器的方塊圖。
圖3係根據本申請的實施例所示的圖2所示的控制器中的示例性處理器的資料流程圖。
圖4係根據本申請的實施例所示的用於偵測司機和乘客之間的衝突的示例性方法。
圖5係根據本申請的實施例所示的用於偵測運輸工具內衝突的示例性方法的流程圖。
500:方法
S502:步驟
S504:步驟
S506:步驟
S508:步驟
S510:步驟
S512:步驟
S514:步驟

Claims (18)

  1. 一種用於偵測運輸工具內衝突的系統，包括：至少一個相機，所述相機被配置為捕獲所述運輸工具中的複數個圖像；以及控制器，所述控制器與所述至少一個相機通訊，並被配置為：從所述複數個圖像中偵測人體對象；估計各個人體對象的深度資訊；以及基於所述深度資訊，偵測所述衝突；所偵測到的人體對象包括司機對象和乘客對象，並且所述衝突的偵測是基於所述司機對象和所述乘客對象之間的距離。
  2. 如申請專利範圍第1項之系統，其中，為了偵測所述人體對象，所述控制器被配置為：根據學習模型，從所述複數個圖像中確定包含所述人體對象的的邊界區域；以及分割所述邊界區域以偵測所述人體對象。
  3. 如申請專利範圍第1項之系統，其中，為了偵測所述人體對象，所述控制器被配置為：分割所述複數個圖像以識別對象；以及基於學習模型，偵測所述對象中的人體對象。
  4. 如申請專利範圍第1項之系統，其中，各個人體對象的所述深度資訊是使用學習模型來估計的。
  5. 如申請專利範圍第1項之系統，其中，所述控制器被進一步配置為：根據所述司機對象和所述乘客對象的所述深度資訊，確定所述司機對象與 所述乘客對象之間的所述距離；以及根據所述距離，確定所述衝突的機率。
  6. 如申請專利範圍第5項之系統，其中，所述衝突的機率與所述距離成反比。
  7. 如申請專利範圍第5項之系統，其中，所述距離在所述司機對象的中心點和所述乘客對象的中心點之間。
  8. 如申請專利範圍第5項之系統，其中，所述距離在所述司機對象和所述乘客對象的兩個最近的點之間。
  9. 一種用於偵測運輸工具內衝突的方法，包括：通過至少一個相機，捕獲所述運輸工具中的複數個圖像；通過處理器，從所述複數個圖像中偵測人體對象；通過所述處理器，估計各個人體對象的深度資訊；以及通過所述處理器，基於所述深度資訊，偵測所述衝突；所偵測到的人體對象包括司機對象和乘客對象，並且所述衝突的偵測是基於所述司機對象和所述乘客對象之間的距離。
  10. 如申請專利範圍第9項之方法，其中，偵測所述人體對象進一步包括：根據學習模型，從所述複數個圖像中確定包含所述人體對象的邊界區域；以及分割所述邊界區域以偵測所述人體對象。
  11. 如申請專利範圍第9項之方法，其中，偵測所述人體對象進一步包括：分割所述複數個圖像以識別對象；以及基於學習模型，偵測所述對象中的人體對象。
  12. 如申請專利範圍第9項之方法，其中，各個人體對象的所述深度資訊是使用學習模型來估計的。
  13. 如申請專利範圍第9項之方法，進一步包括：根據所述司機對象和所述乘客對象的所述深度資訊，確定所述司機對象與所述乘客對象之間的所述距離；以及根據所述距離，確定所述衝突的機率。
  14. 如申請專利範圍第13項之方法，其中，所述衝突的機率與所述距離成反比。
  15. 如申請專利範圍第13項之方法，其中，所述距離在所述司機對象的中心點和所述乘客對象的中心點之間。
  16. 如申請專利範圍第13項之方法，其中，所述距離在所述司機對象和所述乘客對象的兩個最近的點之間。
  17. 一種非暫時性電腦可讀取媒體，其儲存一組指令，當由電子裝置中的至少一個處理器執行時，使得所述電子裝置執行用於偵測運輸工具內衝突的方法，包括：接收由至少一個相機捕獲的所述運輸工具中的複數個圖像；從所述複數個圖像中偵測人體對象；估計各個人體對象的深度資訊；以及基於所述深度資訊，偵測所述衝突；所偵測到的人體對象包括司機對象和乘客對象，並且所述衝突的偵測是基於所述司機對象和所述乘客對象之間的距離。
  18. 如申請專利範圍第17項之非暫時性電腦可讀取媒體，其中，所述方法進一步包括：根據所述司機對象和所述乘客對象的所述深度資訊，確定所述司機對象與 所述乘客對象之間的距離；以及根據所述距離，偵測乘客-司機衝突。
TW107145895A 2018-11-09 2018-12-19 用於偵測運輸工具內衝突的系統和方法 TWI716788B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2018/114681 2018-11-09
PCT/CN2018/114681 WO2020093344A1 (en) 2018-11-09 2018-11-09 System and method for detecting in-vehicle conflicts

Publications (2)

Publication Number Publication Date
TW202018654A TW202018654A (zh) 2020-05-16
TWI716788B true TWI716788B (zh) 2021-01-21

Family

ID=70526739

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107145895A TWI716788B (zh) 2018-11-09 2018-12-19 用於偵測運輸工具內衝突的系統和方法

Country Status (11)

Country Link
US (2) US10922564B2 (zh)
EP (1) EP3676131A4 (zh)
JP (1) JP2021508386A (zh)
CN (1) CN111433082A (zh)
AU (1) AU2018286579A1 (zh)
BR (1) BR112021004557B1 (zh)
CA (1) CA3028170C (zh)
MX (1) MX2021002808A (zh)
SG (1) SG11201811455RA (zh)
TW (1) TWI716788B (zh)
WO (1) WO2020093344A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7031998B2 (ja) * 2019-04-19 2022-03-08 矢崎総業株式会社 オーディオ制御システム及びオーディオ制御方法
KR20190122606A (ko) * 2019-10-11 2019-10-30 엘지전자 주식회사 차량 내 객체 모니터링 장치 및 방법
DE102022202443A1 (de) 2022-03-11 2023-09-14 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Fahrzeuginnenraumkamera zum Bestimmen von Tiefeninformationen eines Objekts in einem Fahrzeuginnenraum

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040178894A1 (en) * 2001-06-30 2004-09-16 Holger Janssen Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
CN101625793A (zh) * 2008-07-08 2010-01-13 殷特科技股份有限公司 行车监控系统
CN104156737A (zh) * 2014-08-19 2014-11-19 哈尔滨工程大学 一种公交车乘客安全下车自动检测方法
CN104166841A (zh) * 2014-07-24 2014-11-26 浙江大学 一种视频监控网络中指定行人或车辆的快速检测识别方法
TW201529385A (zh) * 2014-01-16 2015-08-01 Yu-Fan Cheng 以司機異常行為偵測與警示為基礎的乘客人身暨財產防護方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0674114B2 (ja) * 1984-11-13 1994-09-21 株式会社日立製作所 エレベ−タ−の防犯装置
CN2411936Y (zh) * 2000-03-24 2000-12-27 黄金平 乘客声像备案防范装置
JP5016959B2 (ja) * 2007-03-27 2012-09-05 パナソニック株式会社 見え方度判定装置
JP2008260474A (ja) * 2007-04-13 2008-10-30 Denso Corp 車両用撮影装置
KR20080045101A (ko) * 2008-04-29 2008-05-22 임장운 이동용 보안 시스템
JP3151780U (ja) * 2009-01-06 2009-07-09 美男 青木 アドタクシー運転手ガード板
JP2011128782A (ja) * 2009-12-16 2011-06-30 Information System Research Institute 車両用情報端末装置
JP2011154618A (ja) * 2010-01-28 2011-08-11 Fbinnovation Inc 移動体用乗客有無判断装置
US20120056982A1 (en) 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
CN202242887U (zh) * 2011-09-28 2012-05-30 刘鹏翔 一种汽车监控装置
CN103544820B (zh) * 2012-07-11 2015-08-26 张凯杰 出租车的安全监控系统及其方法
US9754154B2 (en) 2013-02-15 2017-09-05 Microsoft Technology Licensing, Llc Identification using depth-based head-detection data
DE102013219141A1 (de) 2013-09-24 2015-03-26 Robert Bosch Gmbh Interlock-Schaltkreis zur Absicherung eines elektrischen Bordnetzes
KR102335045B1 (ko) 2014-10-07 2021-12-03 주식회사 케이티 깊이 카메라 기반 사람 객체를 판별하는 방법 및 장치
DE102014016222A1 (de) * 2014-10-31 2016-05-04 Audi Ag Verfahren und System zum Betreiben einer berührungssensitiven Anzeigeeinrichtung eines Kraftwagens
JP2017059103A (ja) * 2015-09-18 2017-03-23 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、判定プログラムおよび記録媒体
CN105243838B (zh) * 2015-11-09 2018-05-04 北京奇虎科技有限公司 车辆行驶安全监控方法和装置、系统
JP6443393B2 (ja) 2016-06-01 2018-12-26 トヨタ自動車株式会社 行動認識装置，学習装置，並びに方法およびプログラム
JP2018173834A (ja) * 2017-03-31 2018-11-08 本田技研工業株式会社 車両制御装置
CN108694363A (zh) * 2017-04-12 2018-10-23 日立汽车系统株式会社 对车辆周围的行人进行检测的方法和装置
US11479147B2 (en) * 2017-07-31 2022-10-25 Ford Global Technologies, Llc Vehicle occupancy management systems and methods
CN108694958B (zh) * 2018-04-26 2020-11-13 广州国音科技有限公司 一种安防报警方法及装置
US20200082287A1 (en) * 2018-09-10 2020-03-12 Here Global B.V. Method and apparatus for selecting a vehicle using a passenger-based driving profile
US11358605B2 (en) * 2018-09-10 2022-06-14 Here Global B.V. Method and apparatus for generating a passenger-based driving profile

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040178894A1 (en) * 2001-06-30 2004-09-16 Holger Janssen Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
CN101625793A (zh) * 2008-07-08 2010-01-13 殷特科技股份有限公司 行车监控系统
TW201529385A (zh) * 2014-01-16 2015-08-01 Yu-Fan Cheng 以司機異常行為偵測與警示為基礎的乘客人身暨財產防護方法
CN104166841A (zh) * 2014-07-24 2014-11-26 浙江大学 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN104156737A (zh) * 2014-08-19 2014-11-19 哈尔滨工程大学 一种公交车乘客安全下车自动检测方法

Also Published As

Publication number Publication date
BR112021004557A2 (pt) 2021-06-08
EP3676131A1 (en) 2020-07-08
TW202018654A (zh) 2020-05-16
BR112021004557B1 (pt) 2023-09-26
CA3028170A1 (en) 2020-05-09
SG11201811455RA (en) 2020-06-29
US10922564B2 (en) 2021-02-16
MX2021002808A (es) 2021-08-11
AU2018286579A1 (en) 2020-05-28
CN111433082A (zh) 2020-07-17
US20210133467A1 (en) 2021-05-06
US11615545B2 (en) 2023-03-28
CA3028170C (en) 2021-08-31
WO2020093344A1 (en) 2020-05-14
EP3676131A4 (en) 2020-11-18
US20200151470A1 (en) 2020-05-14
JP2021508386A (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
CN108628301B (zh) 用于操作自动驾驶车辆的时间数据关联
US11615545B2 (en) System and method for detecting in-vehicle conflicts
CN109466548B (zh) 用于自主车辆操作的地面参照确定
CN111615721B (zh) 基于车辆与乘客之间进行识别的接送服务
CN104776849B (zh) 车辆定位装置与方法
JP2019509552A (ja) コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出
US11288777B2 (en) Image processing device, image processing method, and program
US20180322342A1 (en) Method and apparatus for detecting and classifying objects associated with vehicle
CN111319628A (zh) 用于评估错误威胁检测的方法和系统
US20200097743A1 (en) Riding manner evaluation apparatus, riding manner evaluation system, and riding manner evaluation method
JP6429892B2 (ja) 車載表示手段上にオブジェクトを表示するための方法、並びに、装置
JP2013255168A (ja) 撮像装置、および撮像方法
CN111351474B (zh) 车辆移动目标检测方法、装置和系统
WO2020107251A1 (en) System and method for detecting in-vehicle headcount
FR3027432A1 (fr) Estimation de distance d'un pieton par un systeme d'imagerie embarque sur un vehicule automobile
US20190349552A1 (en) Server, vehicle image capturing system, and vehicle image capturing method
AU2018102204A4 (en) System and method for detecting in-vehicle conflicts
CN107370984B (zh) 接收影像的方法、提供影像的方法及电子装置
JP2020140262A (ja) 運行支援装置及び車両
JP7070827B2 (ja) 運転評価装置、車載機、これらを備えた運転評価システム、運転評価方法、及び運転評価プログラム
JPWO2019181096A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN111726423B (zh) 一种基于云服务智能终端的移车提醒方法及系统
CN114059890B (zh) 控制装置、非临时性的计算机可读取的介质以及控制方法
FR3099863A1 (fr) Signalisation d’un contact présent dans un véhicule situé à proximité d’un autre véhicule
TW201130690A (en) Managing system and method for cars, controlling apparatus for cars including the same