TW202414246A - 艙內偵測方法及其系統 - Google Patents
艙內偵測方法及其系統 Download PDFInfo
- Publication number
- TW202414246A TW202414246A TW111136796A TW111136796A TW202414246A TW 202414246 A TW202414246 A TW 202414246A TW 111136796 A TW111136796 A TW 111136796A TW 111136796 A TW111136796 A TW 111136796A TW 202414246 A TW202414246 A TW 202414246A
- Authority
- TW
- Taiwan
- Prior art keywords
- point cloud
- image
- biological
- skeleton
- feature information
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 113
- 230000002159 abnormal effect Effects 0.000 claims abstract description 29
- 210000003128 head Anatomy 0.000 claims description 123
- 230000001815 facial effect Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 33
- 210000000056 organ Anatomy 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000003707 image sharpening Methods 0.000 claims description 5
- 238000003706 image smoothing Methods 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 4
- 208000033748 Device issues Diseases 0.000 claims 2
- 238000001914 filtration Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 4
- 239000003550 marker Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 206010042772 syncope Diseases 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- 208000012761 aggressive behavior Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Abstract
本發明提供一種艙內偵測系統，包含一影像拍攝裝置、一雷達裝置，及一運算裝置。該影像拍攝裝置用於持續拍攝位於一移動載具內的一連串影像。該雷達裝置用於持續獲得位於該移動載具內的一連串點雲資料。該運算裝置根據在一時間區間內從該雷達裝置接收到多筆候選點雲資料及從在該時間區間內從該影像拍攝裝置接收的多幀候選影像進行艙內異常狀態偵測。此外，本發明還提供一種艙內偵測方法，本發明以該雷達裝置替代大量的影像拍攝裝置，達到以較低成本及運算量實現偵測範圍覆蓋全艙之功效。
Description
本發明是有關於一種偵測方法，特別是指一種艙內偵測方法及其系統。
為了確保安全，需要即時了解移動載具內人員的狀態，在遇到緊急事件時能及時讓駕駛進行應對，來提高駕駛及乘客的安全。因此，近年來興起了艙內影像式監控，但在只有一台攝影機的情況下，不論攝影機安裝在哪，偵測範圍都無法覆蓋全艙，而且在遇到極端角度時，會導致偵測到的臉部特徵不明顯。再者，由於攝影機的紅外線補光涵蓋範圍不廣，在光照較弱的環境下，補光效果不佳，攝影機難以偵測後座乘客的特徵。因此，勢必要多台攝影機才能實現偵測範圍覆蓋全艙。
然而，多台攝影機會使得硬體成本大幅增加，且由於要同時處理多台攝影機的影像運算，運算量也會大幅增加。
因此，本發明的目的，即在提供一種能以較低成本及運算量實現偵測範圍覆蓋全艙的艙內偵測方法。
於是，本發明艙內偵測方法，藉由一運算裝置來實施，該運算裝置與設置於一移動載具的座艙內之一影像拍攝裝置與一雷達裝置電連接，該影像拍攝裝置用於持續拍攝位於該移動載具內的一連串影像，該雷達裝置用於持續獲得位於該移動載具內的一連串點雲資料，該方法包含一步驟(A)、一步驟(B)、一步驟(C)、一步驟(D)、一步驟(E)、一步驟(F)，及一步驟(G)。
在該步驟(A)中，在一時間區間內從該雷達裝置接收到多筆候選點雲資料後，該運算裝置將該等候選點雲資料進行前處理，以獲得一目標點雲資料。
在該步驟(B)中，該運算裝置從在該時間區間內從該影像拍攝裝置接收的多幀候選影像中獲得一目標影像。
在該步驟(C)中，該運算裝置根據該目標點雲資料及該目標影像獲得一合成影像。
在該步驟(D)中，該運算裝置根據該合成影像，利用一用以偵測生物位置的生物位置偵測模型，獲得至少一生物位置資訊，每一生物位置資訊相關於至少一生物之其中一者在該合成影像中的位置。
在該步驟(E)中，該運算裝置根據該合成影像及該至少一生物位置資訊，利用一用以偵測生物骨架特徵的骨架偵測模型，獲得至少一生物骨架特徵資訊，每一生物骨架特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之骨架在該合成影像的位置。
在該步驟(F)中，該運算裝置根據該合成影像及該至少一生物位置資訊，利用一用以偵測生物臉部特徵的臉部偵測模型，獲得至少一臉部特徵資訊，每一臉部特徵資訊相關於該至少一生物之其中一者且包括所相關的生物的多個臉部器官在該合成影像的位置。
在該步驟(G)中，該運算裝置根據該至少一臉部特徵資訊及該至少一生物骨架特徵資訊進行艙內異常狀態偵測。
為達上述目的，提供另一種能以較低成本及運算量實現偵測範圍覆蓋全艙的艙內偵測方法。
於是，本發明艙內偵測方法，藉由一運算裝置來實施，該運算裝置與設置於一移動載具的座艙內之一影像拍攝裝置與一雷達裝置電連接，該影像拍攝裝置用於持續拍攝位於該移動載具內的一連串影像，該雷達裝置用於持續獲得位於該移動載具內的一連串點雲資料，該方法包含一步驟(A)、一步驟(B)、一步驟(C)、一步驟(D)、一步驟(E)、一步驟(F)、一步驟(G)，及一步驟(H)。
在該步驟(A)中，在一時間區間內從該雷達裝置接收到多筆候選點雲資料後，該運算裝置將該等候選點雲資料進行前處理，以獲得一目標點雲資料。
在該步驟(B)中，該運算裝置從在該時間區間內從該影像拍攝裝置接收的多幀候選影像中獲得一目標影像。
在該步驟(C)中，該運算裝置根據該目標影像，利用一用以偵測生物骨架特徵的影像骨架偵測模型，獲得至少一影像生物骨架特徵資訊，每一影像生物骨架特徵資訊相關於至少一生物之其中一者且包括所相關的生物之骨架在該目標影像的位置。
在該步驟(D)中，該運算裝置根據該目標影像，利用一用以偵測生物頭部姿態特徵的影像頭部姿態偵測模型，獲得至少一影像頭部姿態特徵資訊，每一影像頭部姿態特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之一影像頭部中心點在該目標影像的位置，及一包括相關於該影像頭部中心點的一影像頭部俯仰角、一影像頭部偏航角，及一影像頭部滾轉角的影像姿態角資料。
在該步驟(E)中，該運算裝置根據該目標點雲資料，利用一用以偵測生物位置的點雲生物位置偵測模型，獲得至少一點雲生物位置資訊，每一點雲生物位置資訊相關於該至少一生物之其中一者在一世界座標的位置。
在該步驟(F)中，該運算裝置根據該目標點雲資料及該至少一點雲生物位置資訊，利用一用以偵測生物骨架特徵的點雲骨架偵測模型，獲得至少一點雲生物骨架特徵資訊，每一點雲生物骨架特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之骨架在該世界座標的位置。
在該步驟(G)中，該運算裝置根據該目標點雲資料及該至少一點雲生物位置資訊，利用一用以偵測生物頭部姿態特徵的點雲頭部姿態偵測模型，獲得至少一點雲頭部姿態特徵資訊，每一點雲頭部姿態特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之一點雲頭部中心點在該世界座標的位置，及一包括相關於該點雲頭部中心點的一點雲頭部俯仰角、一點雲頭部偏航角，及一點雲頭部滾轉角的點雲姿態角資料。
在該步驟(H)中，該運算裝置據該至少一影像生物骨架特徵資訊、該至少一影像頭部姿態特徵資訊、該至少一點雲生物骨架特徵資訊，及該至少一點雲頭部姿態特徵資訊進行艙內異常狀態偵測。
本發明的又一目的，即在提供一種能以較低成本及運算量實現偵測範圍覆蓋全艙的艙內偵測系統。
於是，本發明艙內偵測系統包含一影像拍攝裝置、一雷達裝置，及一運算裝置。
該影像拍攝裝置設置於一移動載具的座艙內，用於持續拍攝位於該移動載具內的一連串影像。
該雷達裝置設置於該移動載具的座艙內，用於持續獲得位於該移動載具內的一連串點雲資料。
該運算裝置電連接該影像拍攝裝置及該雷達裝置，根據在一時間區間內從該雷達裝置接收到多筆候選點雲資料及從在該時間區間內從該影像拍攝裝置接收的多幀候選影像進行艙內異常狀態偵測。
本發明之功效在於：該運算裝置將從該雷達裝置及該影像拍攝裝置獲得的資料進行融合，利用該雷達裝置的特性，以該雷達裝置替代大量的影像拍攝裝置，以較低成本及運算量實現偵測範圍覆蓋全艙。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，用以本發明艙內偵測系統1的一實施例，該艙內偵測系統1包含設置於一移動載具上的一影像拍攝裝置11、一雷達裝置12、一移動載具訊號擷取裝置14、一警示裝置15，及一運算裝置13。
該影像拍攝裝置11用於持續拍攝位於該移動載具內的一連串影像。
該雷達裝置12用於持續獲得位於該移動載具內的一連串點雲資料。
該移動載具訊號擷取裝置14用於持續擷取一連串相關於該移動載具行駛狀態資訊的載具訊號。
該運算裝置13電連接該影像拍攝裝置11、該雷達裝置12、該移動載具訊號擷取裝置14，及該警示裝置15。
值得注意的是，該影像拍攝裝置11例如為一攝影機，且在每33ms拍攝一張影像，該雷達裝置12例如為毫米波雷達（mmWave Radar），且在每50ms獲得一筆點雲資料，該移動載具行駛狀態資訊例如包括一車速狀態、一熄火狀態，及一車門開關狀態，該警示裝置15例如為喇叭、燈號、或螢幕，該運算裝置13例如為一處理器或一微處理器等其他可執行運算功能的晶片，但不以此為限。
參閱圖1與圖2，本發明艙內偵測系統執行本發明艙內偵測方法之一第一實施例，並包含以下步驟。
在步驟21中，該運算裝置13在一時間區間內從該雷達裝置12接收到多筆候選點雲資料後，將該等候選點雲資料進行前處理，以獲得一目標點雲資料。
搭配參閱圖3，步驟21包括以下子步驟。
在子步驟211中，該運算裝置13接收在一當前時間點來自該雷達裝置12的一候選點雲資料。
在子步驟212中，該運算裝置13將所接收到的所有候選點雲資料進行疊加，並濾除離群點，以獲得一合成點雲資料。
值得注意的是，在本實施例中，該運算裝置13係利用該等候選點雲資料中的點之四分位數(Quartile)，再將一範圍設為中間組的上下限值，之後刪除該範圍以外的數值對應的點，但不以此為限。
在子步驟213中，該運算裝置13判定所接收到的候選點雲資料的筆數是否大於一預定值。當該運算裝置13判定出所接收到的目標點雲資料的筆數不大於該預定值時，重複子步驟211~213，直到該運算裝置13判定出所接收到的候選點雲資料的筆數大於該預定值；而當該運算裝置13判定出所接收到的目標點雲資料的筆數大於該預定值時，則流程進行步驟214。
在子步驟214中，將子步驟212獲得的該合成點雲資料作為該目標點雲資料。
在步驟22中，該運算裝置13從在該時間區間內從該影像拍攝裝置11接收的多幀候選影像中獲得一目標影像。
舉例來說，在子步驟213該預定值例如為3，則該時間區間為0~150ms，而在該時間區間中該運算裝置13接收了4幀候選影像，在步驟22中，該運算裝置13即從4幀候選影像中，決定1幀候選影像作為該目標影像。
在步驟23中，該運算裝置13將該目標影像進行一影像平滑化(image smoothing)處理、一影像銳化(image sharpening)處理，及一色彩強化處理，其中該影像平滑化處理能去除該目標影像不良量化的雜訊，但同時會使該目標影像變模糊，該影像銳化處理能強化該目標影像中的物體邊緣效果，該色彩強化處理能強化該目標影像中的亮度對比。
值得注意的是，在本實施例中，進行步驟23以加深該目標影像的特徵，在其他實施方式中，亦可不進行步驟23，不以此為限。
在步驟24中，該運算裝置13根據該目標點雲資料及該目標影像獲得一合成影像。
搭配參閱圖4，步驟24包括以下子步驟。
在子步驟241中，該運算裝置13將該目標點雲資料的每一點進行分群，以獲得多個點雲群，其中每一點雲群代表一生物。
值得注意的是，在本實施例中，是以k-平均演算法（k-means clustering）及勞氏馬克斯演算法(Lloyd-max algorithm)，但不以此為限。
在子步驟242中，該運算裝置13將該等點雲群投影至該目標影像以獲得該合成影像。
要特別注意的是，在本實施例中，該運算裝置13將該等點雲群投影至該目標影像，以獲得具有深度資訊的該合成影像。
在步驟25中，該運算裝置13根據該合成影像，利用一用以偵測生物位置的生物位置偵測模型，獲得至少一生物位置資訊，每一生物位置資訊相關於至少一生物之其中一者在該合成影像中的位置。
在步驟26中，該運算裝置13根據該合成影像及該至少一生物位置資訊，利用一用以偵測生物骨架特徵的骨架偵測模型，獲得至少一生物骨架特徵資訊，每一生物骨架特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之骨架在該合成影像的位置。
在步驟27中，該運算裝置13根據該合成影像及該至少一生物位置資訊，利用一用以偵測生物臉部特徵的臉部偵測模型，獲得至少一臉部特徵資訊，每一臉部特徵資訊相關於該至少一生物之其中一者且包括所相關的生物的多個臉部器官在該合成影像的位置。
值得注意的是，該等臉部器官例如包括眼、鼻、唇，但不以此為限。
在步驟28中，對於每一臉部特徵資訊，該運算裝置13根據該臉部特徵資訊所相關的生物的該等臉部器官在該合成影像的位置，獲得一包括該等臉部器官中之二瞳孔及一鼻頭在一世界座標的位置的臉部姿態資訊。
值得注意的是，在本實施例中，該運算裝置13先求得該影像拍攝裝置11在該世界座標的位置，再利用羅德里格旋轉公式(Rodrigues' rotation formula)求出一相關於三維空間的旋轉向量，最後根據該等瞳孔及該鼻頭在該合成影像的位置以及該旋轉向量求得該臉部姿態資訊，且該運算裝置13能根據該等瞳孔在該世界座標的位置找出視線方向(向量)，但不以此為限。
在步驟29中，該運算裝置13根據一在該當前時間點擷取的目標載具訊號、該至少一臉部特徵資訊、該至少一生物骨架特徵資訊，及該至少一臉部姿態資訊進行艙內異常狀態偵測。
值得注意的是，在本實施例中，艙內異常狀態例如包括兒童脫離安全座椅、靠近駕駛、兒童/乘客昏倒或跌落座椅/福祉車的輪椅下、頭/手伸出去窗戶、異常揮舞手/腳、產生攻擊行為、人員存在/遺留偵測，其中因進行人員存在/遺留偵測，故需要該目標載具訊號，若不需要進行人員存在/遺留偵測，則在步驟29中，該運算裝置13不需要根據該目標載具訊號進行艙內異常狀態偵測，但不以此為限。
要特別注意的是，該生物位置偵測模型係根據多筆生物位置訓練資料，利用一深度學習演算法而訓練出，每一生物位置訓練資料包括一經一訓練點雲資料投影後的訓練影像，及至少一分別對應至少一生物在該訓練影像的位置標記。該骨架偵測模型係根據多筆骨架訓練資料，利用該深度學習演算法而訓練出，每一骨架訓練資料包括該訓練影像、該至少一位置標記，及至少一分別對應該至少一位置標記的骨架位置標記。該臉部偵測模型係根據多筆臉部訓練資料，利用該深度學習演算法而訓練出，每一臉部訓練資料包括該訓練影像、該至少一位置標記，及多個臉部器官位置標記。
在步驟30中，當偵測出艙內異常時，該運算裝置13產生並傳送一異常訊號至該警示裝置15，以致該警示裝置15發出警示。
參閱圖1與圖5，本發明艙內偵測系統執行本發明艙內偵測方法之一第二實施例，並包含以下步驟。
在步驟31中，該運算裝置13在一時間區間內從該雷達裝置12接收到多筆候選點雲資料後，將該等候選點雲資料進行前處理，以獲得一目標點雲資料。
值得注意的是，該運算裝置13獲得該目標點雲資料的方式與該第一實施例的步驟21相同，故在此不加以贅述。
在步驟32中，該運算裝置13從在該時間區間內從該影像拍攝裝置11接收的多幀候選影像中獲得一目標影像。
在步驟33中，該運算裝置13將該目標影像進行一影像平滑化處理、一影像銳化處理，及一色彩強化處理。
在步驟34中，該運算裝置13根據該目標影像，利用一用以偵測生物骨架特徵的影像骨架偵測模型，獲得至少一分別相關於至少一生物的影像生物骨架特徵資訊及一影像骨架信心度值，每一影像生物骨架特徵資訊包括所相關的生物之骨架在該目標影像的位置。
在步驟35中，該運算裝置13根據該目標影像及該至少一影像生物骨架特徵資訊，利用一用以偵測生物頭部姿態特徵的影像頭部姿態偵測模型，獲得至少一影像頭部姿態特徵資訊及一影像頭部姿態信心度值，每一影像頭部姿態特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之一影像頭部中心點在該目標影像的位置，及一包括相關於該影像頭部中心點的一影像頭部俯仰角、一影像頭部偏航角，及一影像頭部滾轉角的影像姿態角資料。
值得注意的是，在其他實施方式中，該運算裝置13可僅根據該目標影像，利用該影像頭部姿態偵測模型獲得該至少一影像頭部姿態特徵資訊及該影像頭部姿態信心度值，但不以此為限。
要特別注意的是，該影像頭部俯仰角(pitch)表示圍繞一世界座標之X軸的旋轉角，即抬頭的旋轉角。該影像頭部偏航角(yaw)表示圍繞該世界座標之Y軸的旋轉角，即搖頭的旋轉角。該影像頭部滾轉角(roll)表示圍繞該世界座標之Z軸的旋轉角，即轉頭的旋轉角。該至少一影像頭部姿態特徵資訊獲得方式例如記載於”BAZAREVSKY, Valentin, et al. Blazeface: Sub-millisecond neural face detection on mobile gpus. arXiv preprint arXiv:1907.05047, 2019.”中，在此不多加贅述。
在步驟36中，該運算裝置13根據將該目標點雲資料的每一點進行分群，以獲得多個點雲群。
在步驟37中，該運算裝置13根據該目標點雲資料及該等點雲群，利用一用以偵測生物位置的點雲生物位置偵測模型，獲得至少一分別相關於至少一生物在該世界座標的位置的點雲生物位置資訊。
在步驟38中，該運算裝置13根據該目標點雲資料及該至少一點雲生物位置資訊，利用一用以偵測生物骨架特徵的點雲骨架偵測模型，獲得至少一點雲生物骨架特徵資訊及一點雲骨架信心度值，每一點雲生物骨架特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之骨架在該世界座標的位置。
在步驟39中，該運算裝置13根據該目標點雲資料及該至少一點雲生物位置資訊，利用一用以偵測生物頭部姿態特徵的點雲頭部姿態偵測模型，獲得至少一點雲頭部姿態特徵資訊及一點雲頭部姿態信心度值，每一點雲頭部姿態特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之一點雲頭部中心點在該世界座標的位置，及一包括相關於該點雲頭部中心點的一點雲頭部俯仰角、一點雲頭部偏航角，及一點雲頭部滾轉角的點雲姿態角資料。
在步驟40中，該運算裝置13根據該至少一影像生物骨架特徵資訊、該至少一影像頭部姿態特徵資訊、該至少一點雲生物骨架特徵資訊、該至少一點雲頭部姿態特徵資訊、該影像骨架信心度值、該影像頭部姿態信心度值、該點雲骨架信心度值，及該點雲頭部姿態信心度值進行艙內異常狀態偵測。
值得注意的是，在本實施例中，艙內異常狀態例如包括兒童脫離安全座椅、靠近駕駛、兒童/乘客昏倒或跌落座椅/福祉車的輪椅下、頭/手伸出去窗戶、異常揮舞手/腳、產生攻擊行為，若艙內異常狀態還包括人員存在/遺留偵測，則在步驟40中，該運算裝置13還根據一在該當前時間點擷取的目標載具訊號進行艙內異常狀態偵測，不以此為限。
搭配參閱圖6，步驟40包括以下子步驟。
在子步驟401中，該運算裝置13判定該影像骨架信心度值與該影像頭部姿態信心度值之和是否大於該點雲骨架信心度值與該點雲頭部姿態之和。當該運算裝置13判定出該影像骨架信心度值與該影像頭部姿態信心度值之和大於該點雲骨架信心度值與該點雲頭部姿態之和時，流程進行子步驟402；而當該運算裝置13當判定出該影像骨架信心度值與該影像頭部姿態信心度值之和不大於該點雲骨架信心度值與該點雲頭部姿態之和時，流程進行子步驟403。
在子步驟402中，該運算裝置13根據該至少一影像生物骨架特徵資訊及該至少一影像頭部姿態特徵資訊進行艙內異常狀態偵測。
在子步驟403中，該運算裝置13根據該至少一點雲生物骨架特徵資訊及該至少一點雲頭部姿態特徵資訊進行艙內異常狀態偵測。
值得注意的是，在本實施例中，該運算裝置13預設當判定出該影像骨架信心度值與該影像頭部姿態信心度值之和等於該點雲骨架信心度值與該點雲頭部姿態之和時，進行子步驟403，在其他實施例中，亦該運算裝置13可預設當判定出該影像骨架信心度值與該影像頭部姿態信心度值之和等於該點雲骨架信心度值與該點雲頭部姿態之和時，進行子步驟402，不以此為限。
要再注意的是，本實施例中，該運算裝置13是根據該影像骨架信心度值、該影像頭部姿態信心度值、該點雲骨架信心度值，及該點雲頭部姿態信心度值判定要根據該至少一影像生物骨架特徵資訊及該至少一影像頭部姿態特徵資訊，或是該至少一點雲生物骨架特徵資訊及該至少一點雲頭部姿態特徵資訊進行艙內異常狀態偵測。在其他實施例中，該運算裝置13亦可將該至少一影像生物骨架特徵資訊及該至少一點雲生物骨架特徵資訊進行融合，以產生至少一合成生物骨架特徵資訊，且將該至少一影像頭部姿態特徵資訊及該至少一點雲頭部姿態特徵資訊進行融合，以產生至少一合成頭部姿態特徵資訊，再根據該至少一合成生物骨架特徵資訊及該至少一合成頭部姿態特徵資訊進行艙內異常狀態偵測。也進行說，在其他實施方式中，在步驟34、35、38，及39中，該運算裝置13不會獲得該影像骨架信心度值、該影像頭部姿態信心度值、該點雲骨架信心度值，及該點雲頭部姿態信心度值，且在步驟40中，該運算裝置13根據該至少一影像生物骨架特徵資訊、該至少一影像頭部姿態特徵資訊、該至少一點雲生物骨架特徵資訊、該至少一點雲頭部姿態特徵資訊進行艙內異常狀態偵測。
在步驟41中，當偵測出艙內異常時，該運算裝置13產生並傳送一異常訊號至該警示裝置15，以致該警示裝置15發出警示。
綜上所述，本發明艙內偵測方法及其系統，藉由該運算裝置13將該目標點雲資料及該目標影像進行前融合，以獲得該合成影像，利用該雷達裝置12的特性，增強該生物位置偵測模型、該骨架偵測模型，及該臉部偵測模型的辨識成功率，以該雷達裝置12替代大量的影像拍攝裝置，以較低成本及運算量實現偵測範圍覆蓋全艙，此外，藉由該運算裝置13將利用該影像骨架偵測模型、該影像頭部姿態偵測模型、該點雲骨架偵測模型，及該影像頭部姿態偵測模型，獲得之該至少一影像生物骨架特徵資訊、該至少一影像頭部姿態特徵資訊、該至少一點雲生物骨架特徵資訊，及該至少一點雲頭部姿態特徵資訊進行後融合，利用該雷達裝置12的特性，以該雷達裝置12替代大量的影像拍攝裝置，以較低成本及運算量實現偵測範圍覆蓋全艙，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
1:艙內偵測系統
11:影像拍攝裝置
12:雷達裝置
13:運算裝置
21~30:步驟
211~214:子步驟
241~242:子步驟
31~41:步驟
401~403:子步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：
圖1是一方塊圖，說明實施本發明艙內偵測系統之一實施例；
圖2是一流程圖，說明本發明艙內偵測方法之一第一實施例；
圖3是一流程圖，輔助說明圖2的一步驟21的子步驟；
圖4是一流程圖，輔助說明圖2的一步驟24的子步驟；
圖5是一流程圖，說明本發明艙內偵測方法之一第二實施例；及
圖6是一流程圖，輔助說明圖5的一步驟40的子步驟。
21~30:步驟
Claims (17)
- 一種艙內偵測方法，藉由一運算裝置來實施，該運算裝置與設置於一移動載具的座艙內之一影像拍攝裝置與一雷達裝置電連接，該影像拍攝裝置用於持續拍攝位於該移動載具內的一連串影像，該雷達裝置用於持續獲得位於該移動載具內的一連串點雲資料，該包含以下步驟： (A)在一時間區間內從該雷達裝置接收到多筆候選點雲資料後，將該等候選點雲資料進行前處理，以獲得一目標點雲資料； (B)從在該時間區間內從該影像拍攝裝置接收的多幀候選影像中獲得一目標影像； (C)根據該目標點雲資料及該目標影像獲得一合成影像； (D)根據該合成影像，利用一用以偵測生物位置的生物位置偵測模型，獲得至少生物位置資訊，每一生物位置資訊相關於至少一生物之其中一者在該合成影像中的位置； (E)根據該合成影像及該至少一生物位置資訊，利用一用以偵測生物骨架特徵的骨架偵測模型，獲得至少一生物骨架特徵資訊，每一生物骨架特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之骨架在該合成影像的位置； (F)根據該合成影像及該至少一生物位置資訊，利用一用以偵測生物臉部特徵的臉部偵測模型，獲得至少一臉部特徵資訊，每一臉部特徵資訊相關於該至少一生物之其中一者且包括所相關的生物的多個臉部器官在該合成影像的位置；及 (G)根據該至少一臉部特徵資訊及該至少一生物骨架特徵資訊進行艙內異常狀態偵測。
- 如請求項1所述的艙內偵測方法，在步驟(E)及(G)之間還包含以下步驟： (H)對於每一臉部特徵資訊，根據該臉部特徵資訊所相關的生物的該等臉部器官在該合成影像的位置，獲得一包括該等臉部器官中之二瞳孔及一鼻頭在一世界座標的位置的臉部姿態資訊； 其中，在步驟(G)中，還根據步驟(H)所獲得的臉部姿態資訊進行艙內異常狀態偵測。
- 如請求項1所述的艙內偵測方法，其中，步驟(A)包括以下子步驟： (A-1)接收在一當前時間點來自該雷達裝置的一候選點雲資料； (A-2)將所接收到的所有候選點雲資料進行疊加，並濾除離群點，以獲得一合成點雲資料； (A-3)判定所接收到的候選點雲資料的筆數是否大於一預定值； (A-4)當判定出所接收到的目標點雲資料的筆數不大於該預定值時，重複步驟(A-1)~(A-3)直到判定出所接收到的候選點雲資料的筆數大於該預定值；及 (A-5)當判定出所接收到的目標點雲資料的筆數大於該預定值時，將子步驟(A-2)獲得的該合成點雲資料作為該目標點雲資料。
- 如請求項1所述的艙內偵測方法，其中，步驟(C)包括以下子步驟： (C-1)將該目標點雲資料的每一點進行分群，以獲得多個點雲群；及 (C-2)將該等點雲群投影至該目標影像以獲得該合成影像。
- 如請求項1所述的艙內偵測方法，在步驟(B)及(C)之間還包含以下步驟： (I)將該目標影像進行一影像平滑化處理、一影像銳化處理，及一色彩強化處理。
- 如請求項1所述的艙內偵測方法，該運算裝置還與設置於該移動載具的座艙內之一移動載具訊號擷取裝置電連接，該移動載具訊號擷取裝置用於持續擷取一連串相關於該移動載具行駛狀態資訊的載具訊號，其中，在步驟(G)中還根據一在一當前時間點擷取的目標載具訊號進行艙內異常狀態偵測。
- 如請求項1所述的艙內偵測方法，該運算裝置還與設置於該移動載具的座艙內之一警示裝置電連接，在步驟(G)之後還包含以下步驟： (H)當偵測出艙內異常時，產生並傳送一異常訊號至該警示裝置，以致該警示裝置發出警示。
- 一種艙內偵測方法，藉由一運算裝置來實施，該運算裝置與設置於一移動載具的座艙內之一影像拍攝裝置與一雷達裝置電連接，該影像拍攝裝置用於持續拍攝位於該移動載具內的一連串影像，該雷達裝置用於持續獲得位於該移動載具內的一連串點雲資料，該包含以下步驟： (A)在一時間區間內從該雷達裝置接收到多筆候選點雲資料後，將該等候選點雲資料進行前處理，以獲得一目標點雲資料； (B)從在該時間區間內從該影像拍攝裝置接收的多幀候選影像中獲得一目標影像； (C)根據該目標影像，利用一用以偵測生物骨架特徵的影像骨架偵測模型，獲得至少一影像生物骨架特徵資訊，每一影像生物骨架特徵資訊相關於至少一生物之其中一者且包括所相關的生物之骨架在該目標影像的位置； (D)根據該目標影像，利用一用以偵測生物頭部姿態特徵的影像頭部姿態偵測模型，獲得至少一影像頭部姿態特徵資訊，每一影像頭部姿態特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之一影像頭部中心點在該目標影像的位置，及一包括相關於該影像頭部中心點的一影像頭部俯仰角、一影像頭部偏航角，及一影像頭部滾轉角的影像姿態角資料； (E)根據該目標點雲資料，利用一用以偵測生物位置的點雲生物位置偵測模型，獲得至少一點雲生物位置資訊，每一點雲生物位置資訊相關於該至少一生物之其中一者在一世界座標的位置； (F)根據該目標點雲資料及該至少一點雲生物位置資訊，利用一用以偵測生物骨架特徵的點雲骨架偵測模型，獲得至少一點雲生物骨架特徵資訊，每一點雲生物骨架特徵資訊包括所相關的生物之骨架在該世界座標的位置； (G)根據該目標點雲資料及該至少一點雲生物位置資訊，利用一用以偵測生物頭部姿態特徵的點雲頭部姿態偵測模型，獲得至少一點雲頭部姿態特徵資訊，每一點雲頭部姿態特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之一點雲頭部中心點在該世界座標的位置，及一包括相關於該點雲頭部中心點的一點雲頭部俯仰角、一點雲頭部偏航角，及一點雲頭部滾轉角的點雲姿態角資料；及 (H)根據該至少一影像生物骨架特徵資訊、該至少一影像頭部姿態特徵資訊、該至少一點雲生物骨架特徵資訊，及該至少一點雲頭部姿態特徵資訊進行艙內異常狀態偵測。
- 如請求項8所述的艙內偵測方法，其中，步驟(A)包括以下子步驟： (A-1)接收在一當前時間點來自該雷達裝置的一候選點雲資料； (A-2)將所接收到的所有候選點雲資料進行疊加，並濾除離群點，以獲得一合成點雲資料； (A-3)判定所接收到的候選點雲資料的筆數是否大於一預定值； (A-4)當判定出所接收到的目標點雲資料的筆數不大於該預定值時，重複步驟(A-1)~(A-3)直到判定出所接收到的候選點雲資料的筆數大於該預定值；及 (A-5)當判定出所接收到的目標點雲資料的筆數大於該預定值時，將子步驟(A-2)獲得的該合成點雲資料作為該目標點雲資料。
- 如請求項8所述的艙內偵測方法，在步驟(B)及(C)之間還包含以下步驟： (I)將該目標影像進行一影像平滑化處理、一影像銳化處理，及一色彩強化處理。
- 如請求項8所述的艙內偵測方法，在步驟(E)之前還包含以下步驟： (J)將該目標點雲資料的每一點進行分群，以獲得多個點雲群； 其中，在步驟(E)中還根據該等點雲群獲得該至少一點雲生物位置資訊。
- 如請求項8所述的艙內偵測方法，其中，在步驟(C)中還獲得一影像骨架信心度值，在步驟(D)中還獲得一影像頭部姿態信心度值，在步驟(F)中還獲得一點雲骨架信心度值，在步驟(G)中還獲得一點雲頭部姿態信心度值，在步驟(H)中，還根據該影像骨架信心度值、該影像頭部姿態信心度值、該點雲骨架信心度值，及該點雲頭部姿態信心度值進行艙內異常狀態偵測，步驟(H)包括以下子步驟： (H-1)判定該影像骨架信心度值與該影像頭部姿態信心度值之和是否大於該點雲骨架信心度值與該點雲頭部姿態之和； (H-2)當判定出該影像骨架信心度值與該影像頭部姿態信心度值之和大於該點雲骨架信心度值與該點雲頭部姿態之和時，根據該至少一影像生物骨架特徵資訊及該至少一影像頭部姿態特徵資訊進行艙內異常狀態偵測；及 (H-3)當判定出該影像骨架信心度值與該影像頭部姿態信心度值之和不大於該點雲骨架信心度值與該點雲頭部姿態之和時，根據該至少一點雲生物骨架特徵資訊及該至少一點雲頭部姿態特徵資訊進行艙內異常狀態偵測。
- 如請求項8所述的艙內偵測方法，該運算裝置還與設置於該移動載具的座艙內之一移動載具訊號擷取裝置電連接，該移動載具訊號擷取裝置用於持續擷取一連串相關於該移動載具行駛狀態資訊的載具訊號，其中，在步驟(H)中還根據一在一當前時間點擷取的目標載具訊號進行艙內異常狀態偵測。
- 如請求項8所述的艙內偵測方法，該運算裝置還與設置於該移動載具的座艙內之一警示裝置電連接，在步驟(H)之後還包含以下步驟： (I)當偵測出艙內異常時，產生並傳送一異常訊號至該警示裝置，以致該警示裝置發出警示。
- 一種艙內偵測系統，包含： 一影像拍攝裝置，設置於一移動載具的座艙內，用於持續拍攝位於該移動載具內的一連串影像； 一雷達裝置，設置於該移動載具的座艙內，用於持續獲得位於該移動載具內的一連串點雲資料；及 一運算裝置，電連接該影像拍攝裝置及該雷達裝置，根據在一時間區間內從該雷達裝置接收到多筆候選點雲資料及從在該時間區間內從該影像拍攝裝置接收的多幀候選影像進行艙內異常狀態偵測。
- 如請求項15所述的艙內偵測系統，其中，該運算裝置將該等候選點雲資料進行前處理，以獲得一目標點雲資料，並從在該等候選影像中獲得一目標影像，根據該目標點雲資料及該目標影像獲得一合成影像，根據該合成影像，利用一用以偵測生物位置的生物位置偵測模型，獲得至少生物位置資訊，每一生物位置資訊相關於至少一生物之其中一者在該合成影像中的位置，根據該合成影像及該至少一生物位置資訊，利用一用以偵測生物骨架特徵的骨架偵測模型，獲得至少一生物骨架特徵資訊，每一生物骨架特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之骨架在該合成影像的位置，根據該合成影像及該至少一生物位置資訊，利用一用以偵測生物臉部特徵的臉部偵測模型，獲得至少一臉部特徵資訊，每一臉部特徵資訊相關於該至少一生物之其中一者且包括所相關的生物的多個臉部器官在該合成影像的位置，根據該至少一臉部特徵資訊及該至少一生物骨架特徵資訊進行艙內異常狀態偵測。
- 如請求項15所述的艙內偵測系統，其中，該運算裝置將該等候選點雲資料進行前處理，以獲得一目標點雲資料，從在該等候選影像中獲得一目標影像，根據該目標影像，利用一用以偵測生物骨架特徵的影像骨架偵測模型，獲得至少一影像生物骨架特徵資訊，每一影像生物骨架特徵資訊相關於至少一生物之其中一者且包括所相關的生物之骨架在該目標影像的位置，根據該目標影像，利用一用以偵測生物頭部姿態特徵的影像頭部姿態偵測模型，獲得至少一影像頭部姿態特徵資訊，每一影像頭部姿態特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之一影像頭部中心點在該目標影像的位置，及一包括相關於該影像頭部中心點的一影像頭部俯仰角、一影像頭部偏航角，及一影像頭部滾轉角的影像姿態角資料，根據該目標點雲資料，利用一用以偵測生物位置的點雲生物位置偵測模型，獲得至少一點雲生物位置資訊，每一點雲生物位置資訊相關於該至少一生物之其中一者在一世界座標的位置，根據該目標點雲資料及該至少一點雲生物位置資訊，利用一用以偵測生物骨架特徵的點雲骨架偵測模型，獲得至少一點雲生物骨架特徵資訊，每一點雲生物骨架特徵資訊包括所相關的生物之骨架在該世界座標的位置，根據該目標點雲資料及該至少一點雲生物位置資訊，利用一用以偵測生物頭部姿態特徵的點雲頭部姿態偵測模型，獲得至少一點雲頭部姿態特徵資訊，每一點雲頭部姿態特徵資訊相關於該至少一生物之其中一者且包括所相關的生物之一點雲頭部中心點在該世界座標的位置，及一包括相關於該點雲頭部中心點的一點雲頭部俯仰角、一點雲頭部偏航角，及一點雲頭部滾轉角的點雲姿態角資料，根據該至少一影像生物骨架特徵資訊、該至少一影像頭部姿態特徵資訊、該至少一點雲生物骨架特徵資訊，及該至少一點雲頭部姿態特徵資訊進行艙內異常狀態偵測。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111136796A TWI815680B (zh) | 2022-09-28 | 2022-09-28 | 艙內偵測方法及其系統 |
| JP2022197249A JP7412514B1 (ja) | 2022-09-28 | 2022-12-09 | キャビンモニタリング方法及び上記キャビンモニタリング方法を実行するキャビンモニタリングシステム |
| US18/082,126 US20240104943A1 (en) | 2022-09-28 | 2022-12-15 | Method for detecting an interior condition of a vehicle, and system implementing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111136796A TWI815680B (zh) | 2022-09-28 | 2022-09-28 | 艙內偵測方法及其系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI815680B TWI815680B (zh) | 2023-09-11 |
| TW202414246A true TW202414246A (zh) | 2024-04-01 |
Family
ID=88966136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111136796A TWI815680B (zh) | 2022-09-28 | 2022-09-28 | 艙內偵測方法及其系統 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240104943A1 (zh) |
| JP (1) | JP7412514B1 (zh) |
| TW (1) | TWI815680B (zh) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10163018B1 (en) | 2016-06-14 | 2018-12-25 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems, and methods for inferring a driving enviroment based on vehicle occupant actions |
| WO2019107167A1 (ja) | 2017-11-30 | 2019-06-06 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、画像処理システム、撮像装置、撮像システム、及び画像処理方法 |
| EP3720739A4 (en) | 2017-12-04 | 2021-11-17 | Guardian Optical Technologies Ltd. | SYSTEMS AND METHODS FOR ADJUSTING VEHICLE SUBSYSTEMS BASED ON THE MONITORING OF ONE OR MORE VEHICLE OCCUPANTS |
| US11263443B2 (en) * | 2019-07-19 | 2022-03-01 | Sri International | Centimeter human skeleton pose estimation |
| WO2021048988A1 (ja) | 2019-09-12 | 2021-03-18 | 富士通株式会社 | 骨格認識方法、骨格認識プログラムおよび情報処理装置 |
| US11423567B2 (en) * | 2020-06-17 | 2022-08-23 | Fotonation Limited | Method and system to determine the location and/or orientation of a head |
| TW202205841A (zh) * | 2020-07-21 | 2022-02-01 | 佐臻股份有限公司 | 具影像及深度傳輸的監視系統 |
| CN112330746A (zh) | 2020-11-27 | 2021-02-05 | 苏州感测通信息科技有限公司 | 一种基于tx2的移动底盘障碍物检测方法 |
| CN113066162B (zh) | 2021-03-12 | 2022-04-29 | 武汉大学 | 一种用于电磁计算的城市环境快速建模方法 |
| CN113221648B (zh) * | 2021-04-08 | 2022-06-03 | 武汉大学 | 一种基于移动测量系统的融合点云序列影像路牌检测方法 |
| CN114091601B (zh) * | 2021-11-18 | 2023-05-05 | 业成科技（成都）有限公司 | 人员状况侦测的传感器融合方法 |
-
2022
- 2022-09-28 TW TW111136796A patent/TWI815680B/zh active
- 2022-12-09 JP JP2022197249A patent/JP7412514B1/ja active Active
- 2022-12-15 US US18/082,126 patent/US20240104943A1/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6695503B2 (ja) | 車両の運転者の状態を監視するための方法及びシステム | |
| CN109636924B (zh) | 基于现实路况信息三维建模的车载多模式增强现实系统 | |
| US9405982B2 (en) | Driver gaze detection system | |
| Dasgupta et al. | A vision-based system for monitoring the loss of attention in automotive drivers | |
| JP2020533662A (ja) | 自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御 | |
| JP5482737B2 (ja) | 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム | |
| CN112016457A (zh) | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 | |
| EP3699814A1 (en) | Method and device for adjusting driver assistance apparatus automatically for personalization and calibration according to driver's status | |
| CN205693767U (zh) | 无人机系统 | |
| Mavely et al. | Eye gaze tracking based driver monitoring system | |
| CN114041175A (zh) | 一种用于使用真实感合成数据估计头部姿势和视线的神经网络 | |
| Alshbatat et al. | Automated vision-based surveillance system to detect drowning incidents in swimming pools | |
| KR20200043391A (ko) | 화상 블러 보정을 위한 화상 처리, 화상 처리 방법 및 프로그램 | |
| CN106096512A (zh) | 利用深度摄像头对车辆或行人进行识别的检测装置及方法 | |
| JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
| Martin et al. | Real time driver body pose estimation for novel assistance systems | |
| Lee et al. | Video analytic based health monitoring for driver in moving vehicle by extracting effective heart rate inducing features | |
| Xiao et al. | Detection of drivers visual attention using smartphone | |
| Murthy et al. | 3d human pose tracking inside car using single rgb spherical camera | |
| CN111103977B (zh) | 一种船舶辅助驾驶数据的处理方法和系统 | |
| TW202414246A (zh) | 艙內偵測方法及其系統 | |
| TWI815680B (zh) | 艙內偵測方法及其系統 | |
| Roessing et al. | Intuitive visualization of vehicle distance, velocity and risk potential in rear-view camera applications | |
| Chuang et al. | Driver behavior recognition using recurrent neural network in multiple depth cameras environment | |
| Mota et al. | Motion driven segmentation scheme for car overtaking sequences |