TWI758689B - 車內人員危險動作識別方法和裝置、電子設備、儲存介質 - Google Patents

車內人員危險動作識別方法和裝置、電子設備、儲存介質 Download PDF

Info

Publication number
TWI758689B
TWI758689B TW109106588A TW109106588A TWI758689B TW I758689 B TWI758689 B TW I758689B TW 109106588 A TW109106588 A TW 109106588A TW 109106588 A TW109106588 A TW 109106588A TW I758689 B TWI758689 B TW I758689B
Authority
TW
Taiwan
Prior art keywords
vehicle
action
actions
dangerous
predetermined
Prior art date
Application number
TW109106588A
Other languages
English (en)
Other versions
TW202033395A (zh
Inventor
陳彥杰
王飛
錢晨
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202033395A publication Critical patent/TW202033395A/zh
Application granted granted Critical
Publication of TWI758689B publication Critical patent/TWI758689B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/087—Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Abstract

本公開實施例公開了一種車內人員危險動作識別方法和裝置、電子設備、儲存介質，其中，方法包括：利用車載攝影裝置獲得車內人員的至少一個視頻流，每個所述視頻流中包括至少一個車內人員；基於所述視頻流對所述車內人員進行動作識別；回應於所述動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛。

Description

車內人員危險動作識別方法和裝置、電子設 備、儲存介質
本公開關於電腦視覺技術，尤其是一種車內人員危險動作識別方法和裝置、電子設備、儲存介質。
隨著車內人員工智慧的發展日新月異，各種AI技術紛紛落地，目前市場上對於駕駛員監控的需求愈發急切。駕駛員監控主要的功能模組大致可以歸結為車內人員臉識別、疲勞檢測等模組。通過對駕駛員的狀態進行監控，可以及時發現危險信號，提前對可能發生的危險進行預防和處理，以提高駕駛安全性。
本公開實施例提供了一種車內人員危險動作識別技術。
根據本公開實施例的一個方面，提供的一種危險動 作識別方法，包括：
利用攝影裝置獲得車內人員的至少一個視頻流，每個所述視頻流中包括至少一個車內人員；
基於所述視頻流對所述車內人員進行動作識別；
回應於所述動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛；所述預定的危險動作包括所述車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為。
根據本公開實施例的另一個方面，提供的一種車內人員危險動作識別裝置，包括：
視頻採集單元，用於利用攝影裝置獲得車內人員的至少一個視頻流，每個所述視頻流中包括至少一個車內人員；
動作識別單元，用於基於所述視頻流對所述車內人員進行動作識別；
危險處理單元，用於回應於所述動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛；所述預定的危險動作包括所述車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為。
根據本公開實施例的又一個方面，提供的一種電子設備，包括處理器，所述處理器包括上述任意一項實施例所述的車內人員危險動作識別裝置。
根據本公開實施例的還一個方面，提供的一種電子設備，包括：
記憶體，用於儲存可執行指令；以及
處理器，用於與所述記憶體通信以執行所述可執行指令從而完成上述任意一項實施例所述車內人員危險動作識別方法的操作。
根據本公開實施例的再一個方面，提供的一種電腦可讀儲存介質，用於儲存電腦可讀取的指令，所述指令被執行時執行上述任意一項實施例所述車內人員危險動作識別方法的操作。
根據本公開實施例的再一個方面，提供的一種電腦程式產品，包括電腦可讀代碼，當所述電腦可讀代碼在設備上運行時，所述設備中的處理器執行用於實現上述任意一項實施例所述車內人員危險動作識別方法的指令。
基於本公開上述實施例提供的一種車內人員危險動作識別方法和裝置、電子設備、儲存介質，利用攝影裝置獲得車內人員的至少一個視頻流，每個視頻流中包括至少一個車內人員；基於視頻流對車內人員進行動作識別；回應於動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛；預定的危險動作包括車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為，通過動作識別確定車內人員是否做出預定的危險動作，並對預定的危險動作做出對應的提示和/或操作以控制車輛，實現對車輛安全狀況儘早發現，以降低發生危險情況的概率。
下面通過附圖和實施例，對本公開的技術方案做進 一步的詳細描述。
41:視頻採集單元
42:動作識別單元
43:危險處理單元
500:電子設備
501:中央處理單元(CPU)
502:唯讀記憶體(ROM)
503:隨機存取記憶體(RAM)
504:匯流排
505:輸入/輸出(I/O)介面
506:輸入部分
507:輸出部分
508:儲存部分
509:通信部分
510:驅動器
511:可拆卸介質
512:通信部
513:加速單元
構成說明書的一部分的附圖描述了本公開的實施例，並且連同描述一起用於解釋本公開的原理。
參照附圖，根據下面的詳細描述，可以更加清楚地理解本公開，其中：
圖1為本公開實施例提供的車內人員危險動作識別方法的一個流程示意圖。
圖2為本公開實施例提供的車內人員危險動作識別方法的一個可選示例中部分流程示意圖。
圖3a為本公開實施例提供的車內人員危險動作識別方法的另一可選示例中部分流程示意圖。
圖3b為本公開實施例的車內人員危險動作識別方法中提取的目標區域的一個示意圖。
圖4為本公開實施例提供的車內人員危險動作識別裝置的一個結構示意圖。
圖5為適於用來實現本公開實施例的終端設備或伺服器的電子設備的結構示意圖。
現在將參照附圖來詳細描述本公開的各種示例性實施例。應注意到：除非另外具體說明，否則在這些實施 例中闡述的部件和步驟的相對佈置、數位運算式和數值不限制本公開的範圍。
同時，應當明白，為了便於描述，附圖中所示出的各個部分的尺寸並不是按照實際的比例關係繪製的。
以下對至少一個示例性實施例的描述實際上僅僅是說明性的，決不作為對本公開及其應用或使用的任何限制。
對於相關領域普通技術人員已知的技術、方法和設備可能不作詳細討論，但在適當情況下，所述技術、方法和設備應當被視為說明書的一部分。
應注意到：相似的標號和字母在下面的附圖中表示類似項，因此，一旦某一項在一個附圖中被定義，則在隨後的附圖中不需要對其進行進一步討論。
本公開實施例可以應用於電腦系統/伺服器，其可與眾多其它通用或專用計算系統環境或配置一起操作。適於與電腦系統/伺服器一起使用的眾所周知的計算系統、環境和/或配置的例子包括但不限於：個人電腦系統、伺服器電腦系統、瘦客戶機、厚客戶機、手持或膝上設備、基於微處理器的系統、機上盒、可程式設計消費電子產品、網路個人電腦、小型電腦系統、大型電腦系統和包括上述任何系統的分散式雲計算技術環境，等等。
電腦系統/伺服器可以在由電腦系統執行的電腦系統可執行指令(諸如程式模組)的一般語境下描述。通常，程式模組可以包括常式、程式、目的程式、元件、邏輯、 資料結構等等，它們執行特定的任務或者實現特定的抽象資料類型。電腦系統/伺服器可以在分散式雲計算環境中實施，分散式雲計算環境中，任務是由通過通信網路連結的遠端處理設備執行的。在分散式雲計算環境中，程式模組可以位於包括存放裝置的本地或遠端計算系統儲存介質上。
危險動作識別在車內安全監控領域有著廣泛的應用前景。首先，危險動作識別系統可以在駕駛員做出危險動作時給予提示，從而預警和規避可能發生的事故；再者，該系統可以監控一些不合規範或可能引起車內乘客不適的行為，予以提醒和制止；同時危險動作的監控本身反映了一些司機的習慣和嗜好，有助於系統建立使用者畫像並進行大資料分析，同時可以通過危險動作識別，監控到司機的情感狀態、疲勞狀態、行為習慣。
圖1為本公開實施例提供的車內人員危險動作識別方法的一個流程示意圖。該方法可以由任意電子設備執行，例如終端設備、伺服器、移動設備、車載設備等等。如圖1所示，該實施例方法包括如下。
步驟110，利用攝影裝置(如，攝影頭等)獲得車內人員的至少一個視頻流。
其中，每個視頻流中包括至少一個車內人員；本公開實施例可通過攝影裝置(例如，設置在車輛內部對車輛座椅位置進行拍攝的一個或多個攝影頭)對車內人員的圖像進行採集，獲得視頻流；可選地，可以基於一個攝影裝 置採集整個車輛內的多個車內人人員(如，所有車內人員)的視頻流，或者在車內設置一個面向一個或多個後排區域進行圖像採集的攝影裝置，或者分別在每個座椅前方設置一個攝影裝置，分別針對至少一個車內人員(如，每個車內人員)進行採集視頻流，通過對採集的視頻流進行處理可實現分別對車內人員進行動作識別。
在實際應用中，還可能存在基於車外攝影裝置(如，路上設置的攝影頭)對車內人員進行視頻流採集的情況。
可選地，攝影裝置包括但不限於以下至少之一：可見光攝影頭、紅外攝影頭、近紅外攝影頭。其中，可見光攝影頭可以用於採集可見光圖像，紅外攝影頭可以用於採集紅外圖像，近紅外攝影頭可以用於採集近紅外圖像。
在一個可選示例中，該步驟110可以由處理器調用記憶體儲存的相應指令執行，也可以由被處理器運行的視頻採集單元41執行。
步驟120，基於視頻流對車內人員進行動作識別。
在車輛行駛過程中，如果車內人員中的一個或多個做出危險動作，可能會導致車輛發生危險，尤其是駕駛員如果做出一些危險動作，將對整個車輛造成危險，導致車輛和車內人員發生危險，因此，需要對車內人員的動作進行識別，以確保車輛的安全。有些動作基於視頻流中的單幀圖像幀就可以確定，而有些動作需要連續多幀才能識別，因此，本公開實施例通過視頻流對動作進行識別，以減少誤判，提高了動作識別的準確率。
可選地，可將動作類別分為危險動作和正常動作，對於危險動作需要進行處理，以排除可能發生的危險，其中，危險動作包括但不限於以下至少之一：分心動作、不適狀態、不規範行為等。其中危險動作對於普通非駕駛員和駕駛員的要求可以相同或不同，例如，對於駕駛員的要求相對更加嚴格，同時，需要對駕駛員的獨立性和安全性進行保護，例如，可將預定的危險動作分為駕駛員危險動作和非駕駛員危險動作；本公開實施例不限制具體識別動作類別的方式。
在一個可選示例中，該步驟120可以由處理器調用記憶體儲存的相應指令執行，也可以由被處理器運行的動作識別單元42執行。
步驟130，回應於動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛。
本公開實施例中的危險動作可以是對車內人員自身或他人造成安全隱患的行為。可選地，本公開實施例中的預定的危險動作包括但不限於車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為等。可選地，分心動作主要針對駕駛員，在駕駛員駕駛車輛過程中，需要精力集中，當出現分心動作(如，吃東西、吸煙等動作)時，會影響駕駛員的注意力，導致車輛容易發生危險；不適狀態可針對所有車內人員，對於車內人員出現不適狀態時，基於人體安全考量，有些較為危險的情況，需要及時進行處理，例如，駕駛員頻繁打哈欠、或乘客擦 汗等情況；不規範行為可以是不符合安全駕駛規定的行為，還有可能是對駕駛員或其他車內人員可能產生危險的行為等。為了克服預定的危險動作會產生的不良影響，本公開實施例通過發出提示資訊或執行相應操作控制車輛來降低危險發生的概率，提高車內人員的安全性和/或舒適度。
可選地，提示資訊的表現形式可以包括但不限於以下至少之一：聲音提示資訊、震動提示資訊、光線提示資訊、氣味提示資訊等等；例如：當車內人員吸煙，可發出聲音提示資訊，提示車內不可吸煙，以減少吸煙對其他車內人員產生的危險；又例如：當車內人員擦汗，說明車內溫度過高，可通過智慧控制，降低車內空調溫度，以解決車內人員不適的問題。
危險動作識別在駕駛員監控中具有重要地位和很高的應用價值。目前，在駕駛員開車的過程中，普遍存在著許多危險動作，這些動作時常會導致駕駛員駕駛分心，從而存在一定的安全隱患。
在一個可選示例中，該步驟130可以由處理器調用記憶體儲存的相應指令執行，也可以由被處理器運行的危險處理單元43執行。
基於本公開上述實施例提供的一種車內人員危險動作識別方法，利用攝影裝置獲得車內人員的至少一個視頻流，每個視頻流中包括至少一個車內人員；基於視頻流對車內人員進行動作識別；回應於動作識別的結果屬於預 定的危險動作，發出提示資訊和/或執行操作以控制車輛；預定的危險動作包括車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為，通過動作識別確定車內人員是否做出預定的危險動作，並對預定的危險動作做出對應的提示和/或操作以控制車輛，實現對車輛安全狀況儘早發現，以降低發生危險情況的概率。
可選地，車內人員可以包括駕駛員和/或非駕駛員，車內人員通常包括至少一個(例如：僅包括駕駛員)，為了分別對每個車內人員的動作進行識別，在獲取到圖像或視頻流之後，可選地，按照不同位置(例如：車座椅位置)將圖像或視頻流按照不同的車內人員進行分割，以實現分別對每個車內人員對應的圖像或視頻流進行分析。由於在車輛行駛過程中，對駕駛員和非駕駛員的危險動作評價可能是不同的，因此，在識別是否是預定的危險動作時，可選的，先判斷該車內人員是駕駛員還是非駕駛員。
圖2為本公開實施例提供的車內人員危險動作識別方法的一個可選示例中部分流程示意圖。如圖2所示，步驟120包括如下。
步驟202，在視頻流的至少一幀視頻圖像中檢測車內人員包括的至少一個目標區域。
在一種可能的實現方式中，為了實現動作識別，目標區域可以包括但不限於以下至少之一：人臉局部區域、動作交互物和肢體區域等。例如，以人臉局部區域為目標區域時，由於臉部的動作通常與人臉中的五官相關。例如， 抽煙或進食的動作與嘴部相關、打電話的動作與耳部相關；在該例子中目標區域包括但不限於以下部位中的其中一種或任意組合：嘴部、耳部、鼻部、眼部、眉部。可選地，可以根據需求確定人臉上的目標部位。目標部位可以包括一個部位或多個部位。可以利用人臉檢測技術檢測出人臉中的目標部位。
步驟204，根據檢測獲得的目標區域從視頻流的至少一幀視頻圖像中截取與目標區域對應的目標圖像。
在一種可能的實現方式中，目標區域可以是目標部位為中心的一定區域，例如，基於臉部的動作可以以臉部的至少一個部位為中心。在視頻流中人臉外的區域中可以包括與動作相關的物體。例如，抽煙的動作以嘴部為中心，煙可以出現在檢測圖像中人臉以外的區域中。
在一種可能的實現方式中，可以根據目標區域的檢測結果，確定目標區域在至少一幀視頻圖像中的位置，可以根據目標區域在至少一幀視頻圖像中的位置確定目標圖像的截取尺寸和/或截取位置。本公開實施例可以根據設定的條件在視頻圖像中截取與目標區域對應的目標圖像，以使截取到的目標圖像更加符合動作識別需求。例如，可以根據目標區域與人臉中的設定位置之間的距離，確定所截取的目標圖像的大小。例如，利用人物A的嘴部與A的人臉中心點之間的距離，確定人物A的嘴部的目標圖像，同樣利用人物B的嘴部與B的人臉中心點之間的距離，確定人物B的嘴部的目標圖像。由於嘴部與人臉中心之間的 距離與人臉自身的特徵相關，可以使得截取到的目標圖像更加符合人臉自身的特徵。根據目標區域在視頻圖像中的位置截取得到的目標圖像，減少了雜訊，同時還可以包括更加完整的與動作相關的物體所在的圖像區域。
步驟206，根據目標圖像對車內人員進行動作識別。
在一種可能的實現方式中，可以提取目標圖像的特徵，並根據提取到的特徵確定車內人員是否執行預定的危險動作。
在一種可能的實現方式中，預定的危險動作包括但不限於車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為等。當車內人員在執行預定的危險動作時，可能產生安全隱患。可以利用動作識別的結果，對車內人員進行安全分析等應用。例如，當視頻流中駕駛員有抽煙的動作時，可以通過提取嘴部的目標圖像中的特徵，並根據特徵判斷視頻流中是否有煙的特徵，確定駕駛員是否抽煙，如果駕駛員有抽煙動作，可以認為存在安全隱患。
在本實施例中，在視頻流中識別目標區域，根據目標區域的檢測結果在視頻圖像中截取與目標區域對應的目標圖像，並根據目標圖像識別車內人員是否執行預定的危險動作。根據目標區域的檢測結果截取到的目標圖像，可以適用於不同的視頻圖像中面積大小不同的人體。本公開實施例的適用範圍廣。本公開實施例基於目標圖像作為 動作識別的基礎，有利於更準確的獲得危險動作相應的特徵提取，可以減少無關區域帶來的檢測干擾，提高動作識別的準確性，例如，對駕駛員吸煙動作進行識別時，吸煙動作與嘴部區域關係較大，可通過對嘴部及嘴部附近作為嘴部區域對駕駛員動作進行識別，以確認駕駛員是否吸煙，提高吸煙動作識別的準確性。
圖3a為本公開實施例提供的車內人員危險動作識別方法的另一可選示例中部分流程示意圖。如圖3a所示，上述實施例提供的方法中，步驟202包括如下。
步驟302，提取視頻流的至少一幀視頻圖像中包括的車內人員的特徵。
本公開實施例主要針對車內人員在車輛內部時所做的一些危險動作進行識別，而這些危險動作通常是與肢體、人臉有關的動作，這些動作的識別無法通過對人體關鍵點的檢測或人體姿態的估計實現。本公開實施例通過對視頻圖像進行卷積操作提取出特徵，並根據提取到的特徵實現視頻圖像中動作的識別。例如，上述危險動作的特徵為：肢體和/或人臉局部區域、動作交互物，因此，需通過攝影裝置對車內人員進行即時拍攝，並獲取包括有人臉的視頻圖像。再對視頻圖像進行卷積操作，提取出動作特徵。
步驟304，基於特徵從至少一幀視頻圖像中提取目標區域。
可選地，本實施例中的目標區域為可能包括動作的 目標區域。
首先對上述危險動作的特徵進行定義，神經網路再根據定義的特徵和提取到的視頻圖像的特徵，實現對視頻圖像中是否存在危險動作的判斷。本實施例中的神經網路均是訓練好的，即經神經網路可將視頻圖像中的預定動作的特徵提取出來。
若上述提取的特徵包括：肢體區域、人臉局部區域和動作交互物，神經網路會將同時包含肢體、人臉局部區域和動作交互物的特徵區域劃分出來，獲得目標區域。其中，目標區域可以包括但不限於以下至少之一：人臉局部區域、動作交互物、肢體區域等。可選地，人臉局部區域，包括但不限於以下至少之一：嘴部區域、耳部區域、眼部區域等。可選地，動作交互物，包括但不限於以下至少之一：容器、煙、手機、食物、工具、飲料瓶、眼鏡、口罩等。可選地，肢體區域包括但不限於以下至少之一：手部區域、腳部區域等。例如，上述危險動作包括但不限於：喝水/飲料、抽煙、打電話、戴眼鏡、戴口罩、化妝、使用工具、進食、雙腳放在方向盤上等。示例性地，喝水的動作特徵可以包括：手部區域、人臉局部區域、水杯；抽煙的動作特徵可以包括：手部區域、人臉局部區域、煙；打電話的動作特徵可以包括：手部區域、人臉局部區域、手機，戴眼鏡的動作特徵可以包括：手部區域、人臉局部區域、眼鏡；戴口罩的動作特徵可以包括：手部區域、人臉局部區域、口罩；雙腳放在方向盤上的動作特徵可以包括： 腳部區域、方向盤。
本公開實施例識別的動作還可以包括與人臉或肢體有關的精細動作，這類精細動作至少包括人臉的局部區域和動作交互物這二個特徵，例如包括人臉的局部區域和動作交互物這二個特徵，或者，包括人臉的局部區域、動作交互物以及肢體這三個特徵中的兩個特徵，等等，因此，精細動作是指相似性較高的多個動作，例如，吸煙和打哈欠都是主要基於嘴部區域進行識別，都包括張嘴閉嘴的動作，其區別僅在於是否還包括香煙(動作交互物)，因此，本公開實施例通過提取目標區域實現動作識別，實現了對精細動作的識別。例如，對於打電話動作，目標區域內包括：人臉的局部區域、手機(即動作交互物)以及手(即肢體區域)。又例如，對於抽煙動作，目標動作框內也可能包括：嘴部區域，煙(即動作交互物)。
圖3b為本公開實施例的車內人員危險動作識別方法中提取的目標區域的一個示意圖。可以利用本公開實施例中的車內人員危險動作識別方法，對視頻流中的視頻圖像進行目標區域提取，以獲得對動作進行識別的目標區域，本公開實施例中車內人員的動作為吸煙動作，因此，獲得的目標區域是基於嘴部區域(人臉局部區域)和煙(動作交互物)；基於本公開實施例獲得的目標區域可確認圖3b中的車內人員在吸煙，本公開實施例中通過獲得目標區域，基於目標區域進行動作識別，去除了整張圖像中與車內人員動作(如，吸煙動作)無關的區域的雜訊干擾，提高車 內人員的動作識別的準確性，如，本實施例中對吸煙動作識別的準確性。
可選地，根據目標圖像對車內人員進行動作識別之前，還可以對目標圖像進行預處理。例如，通過歸一化、均衡化等方法對目標圖像進行預處理；經過預處理的目標圖像獲得的識別結果更準確。
可選地，危險動作可以包括但不限於以下至少之一：分心動作、不適狀態、不規範行為等。分心動作是指駕駛員在駕駛車輛的同時，還做出與駕駛無關並且會影響駕駛專注度的動作，例如：分心動作包括但不限於以下至少之一：打電話、喝水、戴摘墨鏡、戴摘口罩、吃東西等；不適狀態是指在車輛行駛過程中車內人員由於車內環境影響或自身原因導致的身體不適，例如：不適狀態包括但不限於以下至少之一：擦汗、揉眼睛、打哈欠等；不規範行為是指車內人員做出的不符合規定的行為，例如，不規範行為包括但不限於以下至少之一：抽煙、將手伸出車外、趴在方向盤上、雙腳放在方向盤上、雙手離開方向盤、手持器械、干擾駕駛員等。由於危險動作包括多種，當車內人員的動作類別屬於危險動作時，首先需要確定該動作類別屬於哪種危險動作，不同的危險動作可以對應不同的處理方式(如，發出提示資訊或執行操作控制車輛)。
在一個或多個可選的實施例中，步驟130包括：
回應於動作識別的結果屬於預定的危險動作；
確定預定的危險動作的危險級別；
根據危險級別發出對應的提示資訊，和/或執行危險級別對應的操作並根據操作控制所述車輛。
可選地，本公開實施例根據動作識別的結果確定車內人員的動作屬於預定的危險動作時，對預定的危險動作進行危險級別判斷，可選地，根據預先設定的規則和/或對應關係確定預定的危險動作的危險級別，再根據危險級別確定如何操作。例如，根據車內人員的危險動作級別進行不同程度的操作。例如，如果是因為駕駛員疲勞、身體不適引起的危險動作，需及時進行提示，從而讓駕駛員及時進行調整和休息；當出現由於車內的環境令駕駛員感覺不適時，可以通過控制車內的通風系統或空調系統進行一定程度的調整。可選地，設置危險級別包括初級、中級和高級，此時，根據危險級別發出對應的提示資訊，和/或執行危險級別對應的操作並根據操作控制車輛，包括：
回應於危險級別為初級，發出提示資訊；
回應於危險級別為中級，執行危險級別對應的操作並根據操作控制車輛；
回應於危險級別為高級，發出提示資訊的同時，執行危險級別對應的操作並根據操作控制所述車輛。
在本公開實施例中，將危險級別設置為3個級別，可選地，本公開實施例還可以將危險級別設置的更加詳細，包括更多級別，例如，危險級別包括第一級別、第二級別、第三級別、第四級別，每個級別對應不同的危險程度。根據不同危險級別發出提示資訊和/或執行危險級別對應的 操作並根據操作控制車輛。通過為不同的危險級別執行不同的操作，可以使得提示資訊的發送和操作的控制更加靈活，適應不同的使用需求。
可選地，確定預定的危險動作的危險級別，包括：
獲取預定的危險動作在視頻流中出現的頻率和/或時長，基於頻率和/或時長確定預定的危險動作的危險級別。
在本公開實施例中，通過對動作識別得到的危險動作進一步進行抽象分析，同時根據動作的持續程度，或出現危險情況的先驗概率，輸出乘車人的真實意圖是否在進行危險動作，可選地，本公開實施例通過預定的危險動作在視頻流中出現的頻率和/或時長來實現對動作持續程度的度量。例如，當駕駛員只是快速撓了一下眼睛時，可以認為只是一個迅速的調整，可以不用報警；但是如果駕駛員長時間進行揉眼，並伴隨打哈欠等動作的發生，那麼可以認為駕駛員較為疲勞，應進行提醒。又例如，對於抽煙報警強度可以低於趴在方向盤、打電話等動作。
在一種可能的實現方式中，動作包括動作持續時長，預警條件包括：識別到動作持續時長超過時長閾值。
在一種可能的實現方式中，動作可以包括動作持續時長，當動作持續時長超過時長閾值時，可以認為動作的執行分散了動作執行物件的較多注意力，可以認為是危險動作，需要發送預警資訊。例如，駕駛員的抽煙動作的時長超過3秒，可以認為抽煙動作為危險動作，會影響到駕駛員的駕駛動作，需要向駕駛員發送預警資訊。
在本實施例中，根據預定的危險動作持續時長和時長閾值，可以調整提示資訊的發送條件和/或車輛的控制條件，使得提示資訊的發送和操作的控制更加靈活，更適應不同的使用需求。
在一種可能的實現方式中，動作識別的結果包括動作持續時長，屬於預定的危險動作的條件包括：識別到動作持續時長超過時長閾值。有些動作在短時間內不會對車內人員及車輛產生安全隱患，只有當該動作持續時間達到設定的時長閾值時，才將該動作確認為預定的危險動作，例如，駕駛員的閉眼的動作，當閉眼時長較短(例如，0.5秒)，可認為是正常眨眼，而當閉眼時長超過時長閾值(可根據需要進行設定，例如，設置為3秒)，可認為屬於預定的危險動作，發出相應的提示資訊。
在一種可能的實現方式中，動作識別的結果包括動作次數，屬於預定的危險動作的條件包括：識別到動作次數超過次數閾值。當動作次數超過次數閾值時，可以認為動作執行物件的動作頻繁，分散較多注意力，可以認為是危險動作，需要發送預警資訊。例如，駕駛員的抽煙動作的次數超過5次，可以認為抽煙動作為危險動作，會影響到駕駛員的駕駛動作，需要向駕駛員發送提示資訊。
在一種可能的實現方式中，動作識別的結果包括動作持續時長和動作次數，屬於預定的危險動作的條件包括：識別到動作持續時長超過時長閾值，且動作次數超過次數閾值。
在一種可能的實現方式中，當動作的持續時長超過時長閾值，且動作次數超過次數閾值時，可以認為動作執行物件的動作頻繁且動作持續時長長，分散較多注意力，可以認為是危險動作，需要發送提示資訊和/或對車輛進行控制。使車輛控制更加靈活，適應不同的使用需求。
不同的車內人員對應的危險動作會有所不同，例如，對於在駕駛位的駕駛員，要求不能分心，分心動作屬於危險動作；而其他位置的車內人員的分心動作不屬於危險動作；因此，本公開實施例為了實現更準確的報警和智慧控制，結合動作類別和車內人員的類別進行提示或智慧操作，以實現在提高行駛安全性的同時，不會因為頻繁報警而影響用戶體驗。可選地，包括：回應於車內人員是駕駛員，根據預定的危險動作發出對應的第一提示資訊和/或控制車輛執行對應的第一預定操作；和/或，
回應於車內人員是非駕駛員，根據預定的危險動作發出對應的第二提示資訊和/或執行對應的第二預定操作。
由於駕駛員擔負了整車的安全，為了提高車輛的行駛安全和乘車人的自由度，可將車內人員分為駕駛員和非駕駛員兩類，對駕駛員和非駕駛員分別設置不同的危險動作，以實現靈活報警和操作。可選地，駕駛員分心動作可以包括但不限於以下至少之一：打電話、喝水、戴摘墨鏡、戴摘口罩、吃東西等；駕駛員不適狀態可以包括但不限於以下至少之一：擦汗、揉眼睛、打哈欠等；駕駛員不規範行為可以包括但不限於以下至少之一：抽煙、將手伸出車 外、趴在方向盤上、雙腳放在方向盤上、雙手離開方向盤等。
可選地，非駕駛員不適狀態可以包括但不限於以下至少之一：擦汗等；非駕駛員不規範行為可以包括但不限於以下至少之一：抽煙、將手伸出車外、手持器械、干擾駕駛員等。
本公開實施例還為駕駛員和非駕駛員分別設置了不同的提示資訊以及預定操作，以實現對車輛靈活的安全控制，例如，當駕駛員出現雙手離開方向盤的動作時，可發出較強的提示資訊(如，對應第一提示資訊)的同時，執行自動駕駛(如，對應第一預定操作)，以提高車輛行駛的安全性；而對於非駕駛員，例如，當非駕駛員出現擦汗的動作時，發出較弱的提示資訊(如，對應第二提示資訊)，和/或執行調節車內空調溫度的操作(如，對應第二預定操作)。
本領域普通技術車內人員員可以理解：實現上述方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成，前述的程式可以儲存於一電腦可讀取儲存介質中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存介質包括：ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的介質。
圖4為本公開實施例提供的車內人員危險動作識別裝置的一個結構示意圖。該實施例的裝置可用於實現本公開上述各方法實施例。如圖4所示，該實施例的裝置包 括：
視頻採集單元41，用於利用攝影裝置獲得車內人員的至少一個視頻流。
其中，每個視頻流中包括至少一個車內人員。
動作識別單元42，用於基於視頻流對車內人員進行動作識別。
危險處理單元43，用於回應於動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛。
其中，預定的危險動作包括車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為等。
基於本公開上述實施例提供的一種車內人員危險動作識別裝置，通過動作識別確定車內人員是否做出預定的危險動作，並對預定的危險動作做出對應的提示和/或操作以控制車輛，實現對車輛安全狀況儘早發現，以降低發生危險情況的概率。
在一個或多個可選的實施例中，動作識別單元42，用於在視頻流的至少一幀視頻圖像中檢測車內人員包括的至少一個目標區域；根據檢測獲得的目標區域從視頻流的至少一幀視頻圖像中截取與目標區域對應的目標圖像；根據目標圖像對車內人員進行動作識別。
在本實施例中，在視頻流中識別目標區域，根據目標區域的檢測結果在視頻圖像中截取與目標區域對應的目標圖像，並根據目標圖像識別車內人員是否執行預定的 危險動作。根據目標區域的檢測結果截取到的目標圖像，可以適用於不同的視頻圖像中面積大小不同的人體。本公開實施例的適用範圍廣。
可選地，動作識別單元42在視頻流的至少一幀視頻圖像中檢測車內人員包括的至少一個目標區域時，用於提取視頻流的至少一幀視頻圖像中包括的車內人員的特徵；基於特徵從所述至少一幀視頻圖像中提取目標區域，其中，目標區域包括但不限於以下至少之一：人臉局部區域、動作交互物、肢體區域等。
可選地，人臉局部區域，包括但不限於以下至少之一：嘴部區域、耳部區域、眼部區域等。
可選地，動作交互物，包括但不限於以下至少之一：容器、煙、手機、食物、工具、飲料瓶、眼鏡、口罩等。
在一個或多個可選的實施例中，分心動作包括但不限於以下至少之一：打電話、喝水、戴摘墨鏡、戴摘口罩、吃東西等；和/或，
不適狀態包括但不限於以下至少之一：擦汗、揉眼睛、打哈欠等；和/或，
不規範行為包括但不限於以下至少之一：抽煙、將手伸出車外、趴在方向盤上、雙腳放在方向盤上、雙手離開方向盤、手持器械、干擾駕駛員等。
在一個或多個可選的實施例中，危險處理單元43，包括：
級別確定模組，用於回應於動作識別的結果屬於預定 的危險動作，確定預定的危險動作的危險級別；
操作處理模組，用於根據危險級別發出對應的提示資訊，和/或執行危險級別對應的操作並根據操作控制車輛。
可選地，本公開實施例根據動作識別的結果確定車內人員的動作屬於預定的危險動作時，對預定的危險動作進行危險級別判斷，可選地，根據預先設定的規則和/或對應關係確定預定的危險動作的危險級別，再根據危險級別確定如何操作。例如，根據車內人員的危險動作級別進行不同程度的操作。例如，如果是因為駕駛員疲勞、身體不適引起的危險動作，需及時進行提示，從而讓駕駛員及時進行調整和休息；當出現由於車內的環境令駕駛員感覺不適時，可以通過控制車內的通風系統或空調系統進行一定程度的調整。
可選地，危險級別包括初級、中級和高級；
操作處理模組，用於回應於危險級別為初級，發出提示資訊；回應於危險級別為中級，執行危險級別對應的操作並根據操作控制車輛；回應於危險級別為高級，發出提示資訊的同時，執行危險級別對應的操作並根據操作控制車輛。
可選地，級別確定模組，用於獲取預定的危險動作在視頻流中出現的頻率和/或時長，基於頻率和/或時長確定預定的危險動作的危險級別。
在一個或多個可選的實施例中，動作識別的結果包括動作持續時長，屬於預定的危險動作的條件包括：識別 到動作持續時長超過時長閾值。
在本公開實施例中，通過對動作識別得到的危險動作進一步進行抽象分析，同時根據動作的持續程度，或出現危險情況的先驗概率，輸出乘車人的真實意圖是否在進行危險動作，可選地，本公開實施例通過預定的危險動作在視頻流中出現的頻率和/或時長來實現對動作持續程度的度量。
可選地，動作識別的結果包括動作持續時長，屬於預定的危險動作的條件包括：識別到動作持續時長超過時長閾值。
可選地，動作識別的結果包括動作次數，屬於預定的危險動作的條件包括：識別到動作次數超過次數閾值。
可選地，動作識別的結果包括動作持續時長和動作次數，屬於預定的危險動作的條件包括：識別到動作持續時長超過時長閾值，且動作次數超過次數閾值。
可選地，車內人員包括車輛的駕駛員和/或非駕駛員。
可選地，危險處理單元43，用於回應於車內人員是駕駛員，根據預定的危險動作發出對應的第一提示資訊和/或控制車輛執行對應的第一預定操作；和/或，回應於車內人員是非駕駛員，根據預定的危險動作發出對應的第二提示資訊和/或執行對應的第二預定操作。
本公開實施例提供的車內人員危險動作識別裝置任一實施例的工作過程、設置方式及相應技術效果，均可 以參照本公開上述相應方法實施例的具體描述，限於篇幅，在此不再贅述。
根據本公開實施例的又一個方面，提供的一種電子設備，包括處理器，該處理器包括如上任意一實施例提供的車內人員危險動作識別裝置。
根據本公開實施例的還一個方面，提供的一種電子設備，包括：
記憶體，用於儲存可執行指令；以及
處理器，用於與記憶體通信以執行可執行指令從而完成如上任意一實施例提供的車內人員危險動作識別方法的操作。
根據本公開實施例的再一個方面，提供的一種電腦可讀儲存介質，用於儲存電腦可讀取的指令，指令被執行時執行如上任意一實施例提供的車內人員危險動作識別方法的操作。
根據本公開實施例的又一個方面，提供的一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的處理器執行用於實現如上任意一實施例提供的車內人員危險動作識別方法的指令。
本公開實施例還提供了一種電子設備，例如可以是移動終端、個人電腦(PC)、平板電腦、伺服器等。下面參考圖5，其示出了適於用來實現本公開實施例的終端設備或伺服器的電子設備500的結構示意圖：如圖5所示，電子設備500包括一個或多個處理器、通信部等，所述一 個或多個處理器例如：一個或多個中央處理單元(CPU)501，和/或一個或多個影像處理器(加速單元)513等，處理器可以根據儲存在唯讀記憶體(ROM)502中的可執行指令或者從儲存部分508載入到隨機存取記憶體(RAM)503中的可執行指令而執行各種適當的動作和處理。通信部512可包括但不限於網卡，所述網卡可包括但不限於IB(Infiniband)網卡。
處理器可與唯讀記憶體502和/或隨機存取記憶體503中通信以執行可執行指令，通過匯流排504與通信部512相連、並經通信部512與其他目標設備通信，從而完成本公開實施例提供的任一項方法對應的操作，例如，利用攝影裝置獲得車內人員的至少一個視頻流，每個視頻流中包括至少一個車內人員；基於視頻流對車內人員進行動作識別；回應於動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛；預定的危險動作包括車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為。
此外，在RAM 503中，還可儲存有裝置操作所需的各種程式和資料。CPU501、ROM502以及RAM503通過匯流排504彼此相連。在有RAM503的情況下，ROM502為可選模組。RAM503儲存可執行指令，或在運行時向ROM502中寫入可執行指令，可執行指令使中央處理單元501執行上述通信方法對應的操作。輸入/輸出(I/O)介面505也連接至匯流排504。通信 部512可以集成設置，也可以設置為具有多個子模組(例如多個IB網卡)，並在匯流排連結上。
以下部件連接至I/O介面505：包括鍵盤、滑鼠等的輸入部分506；包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚聲器等的輸出部分507；包括硬碟等的儲存部分508；以及包括諸如LAN卡、數據機等的網路介面卡的通信部分509。通信部分509經由諸如網際網路的網路執行通信處理。驅動器510也根據需要連接至I/O介面505。可拆卸介質511，諸如磁片、光碟、磁光碟、半導體記憶體等等，根據需要安裝在驅動器510上，以便於從其上讀出的電腦程式根據需要被安裝入儲存部分508。
需要說明的，如圖5所示的架構僅為一種可選實現方式，在具體實踐過程中，可根據實際需要對上述圖5的部件數量和類型進行選擇、刪減、增加或替換；在不同功能部件設置上，也可採用分離設置或集成設置等實現方式，例如加速單元513和CPU501可分離設置或者可將加速單元513集成在CPU501上，通信部可分離設置，也可集成設置在CPU501或加速單元513上，等等。這些可替換的實施方式均落入本公開公開的保護範圍。
特別地，根據本公開的實施例，上文參考流程圖描述的過程可以被實現為電腦軟體程式。例如，本公開的實施例包括一種電腦程式產品，其包括有形地包含在機器可讀介質上的電腦程式，電腦程式包含用於執行流程圖所示 的方法的程式碼，程式碼可包括對應執行本公開實施例提供的方法步驟對應的指令，例如，利用攝影裝置獲得車內人員的至少一個視頻流，每個視頻流中包括至少一個車內人員；基於視頻流對車內人員進行動作識別；回應於動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛；預定的危險動作包括車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為。在這樣的實施例中，該電腦程式可以通過通信部分509從網路上被下載和安裝，和/或從可拆卸介質511被安裝。在該電腦程式被中央處理單元(CPU)501執行時，執行本公開的方法中限定的上述功能的操作。
本說明書中各個實施例均採用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似的部分相互參見即可。對於系統實施例而言，由於其與方法實施例基本對應，所以描述的比較簡單，相關之處參見方法實施例的部分說明即可。
可能以許多方式來實現本公開的方法和裝置。例如，可通過軟體、硬體、固件或者軟體、硬體、固件的任何組合來實現本公開的方法和裝置。用於所述方法的步驟的上述順序僅是為了進行說明，本公開的方法的步驟不限於以上具體描述的順序，除非以其它方式特別說明。此外，在一些實施例中，還可將本公開實施為記錄在記錄介質中的程式，這些程式包括用於實現根據本公開的方法的機器可讀指令。因而，本公開還覆蓋儲存用於執行根據本公開的 方法的程式的記錄介質。
本公開的描述是為了示例和描述起見而給出的，而並不是無遺漏的或者將本公開限於所公開的形式。很多修改和變化對於本領域的普通技術人員而言是顯然的。選擇和描述實施例是為了更好說明本公開的原理和實際應用，並且使本領域的普通技術人員能夠理解本公開從而設計適於特定用途的帶有各種修改的各種實施例。
圖1代表圖為流程圖，無元件符號簡單說明。

Claims (15)

  1. 一種車內人員危險動作識別方法，包括：利用攝影裝置獲得車內人員的至少一個視頻流，每個所述視頻流中包括至少一個車內人員；基於所述視頻流對所述車內人員進行動作識別；判斷所述車內人員是車輛的駕駛員還是車輛的非駕駛員；回應於所述車內人員是所述車輛的駕駛員、所述動作識別的結果屬於預定的危險動作，根據所述駕駛員對應的預定的危險動作發出對應的第一提示資訊和/或控制所述車輛執行對應的第一預定操作；回應於所述車內人員是所述車輛的非駕駛員、所述動作識別的結果屬於預定的危險動作，根據所述非駕駛員對應的預定的危險動作發出對應的第二提示資訊和/或控制所述車輛執行對應的第二預定操作；所述預定的危險動作包括所述車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為；所述第一提示資訊和所述第二提示資訊不同，所述第一預定操作與所述第二預定操作不同。
  2. 根據請求項1所述的方法，其中，所述基於所述視頻流對所述車內人員進行動作識別，包括：在所述視頻流的至少一幀視頻圖像中檢測所述車內人員包括的至少一個目標區域；根據所述檢測獲得的目標區域從所述視頻流的至少一 幀視頻圖像中截取與所述目標區域對應的目標圖像；根據所述目標圖像對所述車內人員進行動作識別。
  3. 根據請求項2所述的方法，其中，所述在所述視頻流的至少一幀視頻圖像中檢測所述車內人員包括的至少一個目標區域，包括：提取所述視頻流的至少一幀視頻圖像中包括的車內人員的特徵；基於所述特徵從所述至少一幀視頻圖像中提取目標區域，其中，所述目標區域包括以下至少之一：人臉局部區域、動作交互物、肢體區域。
  4. 根據請求項3所述的方法，其中，所述人臉局部區域，包括以下至少之一：嘴部區域、耳部區域、眼部區域。
  5. 根據請求項3或4所述的方法，其中，所述動作交互物，包括以下至少之一：容器、煙、手機、食物、工具、飲料瓶、眼鏡、口罩。
  6. 根據請求項1至4任一所述的方法，其中，所述分心動作包括以下至少之一：打電話、喝水、戴摘墨鏡、戴摘口罩、吃東西；和/或，所述不適狀態包括以下至少之一：擦汗、揉眼睛、打哈欠；和/或，所述不規範行為包括以下至少之一：抽煙、將手伸出車外、趴在方向盤上、雙腳放在方向盤上、雙手離開方向盤、手持器械、干擾駕駛員。
  7. 根據請求項1至4任一所述的方法，其中， 所述回應於所述動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛，包括：回應於所述動作識別的結果屬於預定的危險動作；確定所述預定的危險動作的危險級別；根據所述危險級別發出對應的提示資訊，和/或執行所述危險級別對應的操作並根據所述操作控制所述車輛。
  8. 根據請求項7所述的方法，其中，所述危險級別包括初級、中級和高級；所述根據所述危險級別發出對應的提示資訊，和/或執行所述危險級別對應的操作並根據所述操作控制所述車輛，包括：回應於所述危險級別為初級，發出提示資訊；回應於所述危險級別為中級，執行所述危險級別對應的操作並根據所述操作控制所述車輛；回應於所述危險級別為高級，發出提示資訊的同時，執行所述危險級別對應的操作並根據所述操作控制所述車輛。
  9. 根據請求項7所述的方法，其中，所述確定所述預定的危險動作的危險級別，包括：獲取所述預定的危險動作在所述視頻流中出現的頻率和/或時長，基於所述頻率和/或時長確定所述預定的危險動作的危險級別。
  10. 根據請求項1至4任一所述的方法，其中，所述動作識別的結果包括動作持續時長，所述屬於預定的危險動作的條件包括：識別到動作持續時長超過時長閾 值。
  11. 根據請求項1至4任一所述的方法，其中，所述動作識別的結果包括動作次數，所述屬於預定的危險動作的條件包括：識別到動作次數超過次數閾值。
  12. 根據請求項1至4任一所述的方法，其中，所述動作識別的結果包括動作持續時長和動作次數，所述屬於預定的危險動作的條件包括：識別到動作持續時長超過時長閾值，且動作次數超過次數閾值。
  13. 一種車內人員危險動作識別裝置，包括：視頻採集單元，用於利用攝影裝置獲得車內人員的至少一個視頻流，每個所述視頻流中包括至少一個車內人員；動作識別單元，用於基於所述視頻流對所述車內人員進行動作識別；危險處理單元，用於回應於所述動作識別的結果屬於預定的危險動作，發出提示資訊和/或執行操作以控制車輛；所述預定的危險動作包括所述車內人員的動作表現為以下至少之一：分心動作、不適狀態、不規範行為。
  14. 一種電子設備，包括：記憶體，用於儲存可執行指令；以及處理器，用於與所述記憶體通信以執行所述可執行指令從而完成請求項1至12任意一項所述車內人員危險動作識別方法的操作。
  15. 一種電腦可讀儲存介質，用於儲存電腦可讀取的指令，所述指令被執行時執行請求項1至12任意一項 所述車內人員危險動作識別方法的操作。
TW109106588A 2017-08-10 2020-02-27 車內人員危險動作識別方法和裝置、電子設備、儲存介質 TWI758689B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/CN2017/096957 WO2019028798A1 (zh) 2017-08-10 2017-08-10 驾驶状态监控方法、装置和电子设备
CN201910152525.X 2019-02-28
CN201910152525.XA CN110399767A (zh) 2017-08-10 2019-02-28 车内人员危险动作识别方法和装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
TW202033395A TW202033395A (zh) 2020-09-16
TWI758689B true TWI758689B (zh) 2022-03-21

Family

ID=65273075

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109106588A TWI758689B (zh) 2017-08-10 2020-02-27 車內人員危險動作識別方法和裝置、電子設備、儲存介質

Country Status (8)

Country Link
US (5) US10853675B2 (zh)
EP (1) EP3666577A4 (zh)
JP (2) JP6933668B2 (zh)
KR (2) KR102391279B1 (zh)
CN (3) CN109803583A (zh)
SG (2) SG11202002549WA (zh)
TW (1) TWI758689B (zh)
WO (3) WO2019028798A1 (zh)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
US10850746B2 (en) * 2018-07-24 2020-12-01 Harman International Industries, Incorporated Coordinating delivery of notifications to the driver of a vehicle to reduce distractions
US11170240B2 (en) * 2019-01-04 2021-11-09 Cerence Operating Company Interaction system and method
US10657396B1 (en) * 2019-01-30 2020-05-19 StradVision, Inc. Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens
CN111626087A (zh) * 2019-02-28 2020-09-04 北京市商汤科技开发有限公司 神经网络训练及眼睛睁闭状态检测方法、装置及设备
CN111661059B (zh) * 2019-03-08 2022-07-08 虹软科技股份有限公司 分心驾驶监测方法、系统及电子设备
CN110001652B (zh) * 2019-03-26 2020-06-23 深圳市科思创动科技有限公司 驾驶员状态的监测方法、装置及终端设备
CN111845749A (zh) * 2019-04-28 2020-10-30 郑州宇通客车股份有限公司 一种自动驾驶车辆的控制方法及系统
CN109977930B (zh) * 2019-04-29 2021-04-02 中国电子信息产业集团有限公司第六研究所 疲劳驾驶检测方法及装置
GB2583742B (en) * 2019-05-08 2023-10-25 Jaguar Land Rover Ltd Activity identification method and apparatus
CN110263641A (zh) * 2019-05-17 2019-09-20 成都旷视金智科技有限公司 疲劳检测方法、装置及可读存储介质
US11281920B1 (en) * 2019-05-23 2022-03-22 State Farm Mutual Automobile Insurance Company Apparatuses, systems and methods for generating a vehicle driver signature
CN110188655A (zh) * 2019-05-27 2019-08-30 上海蔚来汽车有限公司 驾驶状态评价方法、系统及计算机存储介质
CN110582437A (zh) * 2019-05-31 2019-12-17 驭势（上海）汽车科技有限公司 驾驶提醒方法、驾驶状态检测方法和计算设备
CN112241645A (zh) * 2019-07-16 2021-01-19 广州汽车集团股份有限公司 一种疲劳驾驶检测方法及其系统、电子设备
JP7047821B2 (ja) * 2019-07-18 2022-04-05 トヨタ自動車株式会社 運転支援装置
US10991130B2 (en) * 2019-07-29 2021-04-27 Verizon Patent And Licensing Inc. Systems and methods for implementing a sensor based real time tracking system
FR3100640B1 (fr) * 2019-09-10 2021-08-06 Faurecia Interieur Ind Procédé et dispositif de détection de bâillements d’un conducteur d’un véhicule
CN112758098B (zh) * 2019-11-01 2022-07-22 广州汽车集团股份有限公司 基于驾驶员状态等级的车辆驾驶权限接管控制方法及装置
CN110942591B (zh) * 2019-11-12 2022-06-24 博泰车联网科技(上海)股份有限公司 驾驶安全提醒系统以及方法
CN110826521A (zh) * 2019-11-15 2020-02-21 爱驰汽车有限公司 驾驶员疲劳状态识别方法、系统、电子设备和存储介质
CN110837815A (zh) * 2019-11-15 2020-02-25 济宁学院 一种基于卷积神经网络的驾驶员状态监测方法
CN110968718B (zh) * 2019-11-19 2023-07-14 北京百度网讯科技有限公司 目标检测模型负样本挖掘方法、装置及电子设备
CN110909715B (zh) * 2019-12-06 2023-08-04 重庆商勤科技有限公司 基于视频图像识别吸烟的方法、装置、服务器及存储介质
CN111160126B (zh) * 2019-12-11 2023-12-19 深圳市锐明技术股份有限公司 驾驶状态确定方法、装置、车辆及存储介质
JP2021096530A (ja) * 2019-12-13 2021-06-24 トヨタ自動車株式会社 運転支援装置、運転支援プログラムおよび運転支援システム
CN111191573A (zh) * 2019-12-27 2020-05-22 中国电子科技集团公司第十五研究所 一种基于眨眼规律识别的驾驶员疲劳检测方法
CN111160237A (zh) * 2019-12-27 2020-05-15 智车优行科技（北京）有限公司 头部姿态估计方法和装置、电子设备和存储介质
CN113128295A (zh) * 2019-12-31 2021-07-16 湖北亿咖通科技有限公司 一种车辆驾驶员危险驾驶状态识别方法及装置
CN113126296B (zh) * 2020-01-15 2023-04-07 未来（北京）黑科技有限公司 一种提高光利用率的抬头显示设备
CN111243236A (zh) * 2020-01-17 2020-06-05 南京邮电大学 一种基于深度学习的疲劳驾驶预警方法及系统
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
EP4099293B1 (en) * 2020-02-25 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for identifying special road conditions, electronic device, and storage medium
JP7402084B2 (ja) * 2020-03-05 2023-12-20 本田技研工業株式会社 乗員行動判定装置
CN111783515A (zh) * 2020-03-18 2020-10-16 北京沃东天骏信息技术有限公司 行为动作识别的方法和装置
US11912307B2 (en) 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
CN111460950B (zh) * 2020-03-25 2023-04-18 西安工业大学 自然驾驶通话行为中基于头-眼证据融合的认知分心方法
JP7380380B2 (ja) * 2020-03-26 2023-11-15 いすゞ自動車株式会社 運転支援装置
CN111626101A (zh) * 2020-04-13 2020-09-04 惠州市德赛西威汽车电子股份有限公司 一种基于adas的吸烟监测方法及系统
US20230154226A1 (en) * 2020-05-27 2023-05-18 Mitsubishi Electric Corporation Gesture detection apparatus and gesture detection method
WO2021240668A1 (ja) * 2020-05-27 2021-12-02 三菱電機株式会社 ジェスチャ検出装置およびジェスチャ検出方法
CN111611970B (zh) * 2020-06-01 2023-08-22 城云科技（中国）有限公司 一种基于城管监控视频的乱扔垃圾行为检测方法
CN111652128B (zh) * 2020-06-02 2023-09-01 浙江大华技术股份有限公司 一种高空电力作业安全监测方法、系统和存储装置
CN111767823A (zh) * 2020-06-23 2020-10-13 京东数字科技控股有限公司 一种睡岗检测方法、装置、系统及存储介质
JP7359087B2 (ja) * 2020-07-02 2023-10-11 トヨタ自動車株式会社 ドライバモニタ装置及びドライバモニタ方法
CN111785008A (zh) * 2020-07-04 2020-10-16 苏州信泰中运物流有限公司 一种基于gps和北斗定位的物流监控管理方法、装置及计算机可读存储介质
CN113920576A (zh) * 2020-07-07 2022-01-11 奥迪股份公司 车上人员的丢物行为识别方法、装置、设备及存储介质
US20220414796A1 (en) * 2020-07-08 2022-12-29 Pilot Travel Centers, LLC Computer implemented oil field logistics
CN111797784B (zh) * 2020-07-09 2024-03-05 斑马网络技术有限公司 驾驶行为监测方法、装置、电子设备及存储介质
US11776319B2 (en) * 2020-07-14 2023-10-03 Fotonation Limited Methods and systems to predict activity in a sequence of images
CN111860280A (zh) * 2020-07-15 2020-10-30 南通大学 一种基于深度学习的驾驶员违章行为识别系统
CN111860292A (zh) * 2020-07-16 2020-10-30 科大讯飞股份有限公司 基于单目相机的人眼定位方法、装置以及设备
CN111832526A (zh) * 2020-07-23 2020-10-27 浙江蓝卓工业互联网信息技术有限公司 一种行为检测方法及装置
CN112061065B (zh) * 2020-07-27 2022-05-10 大众问问(北京)信息科技有限公司 一种车内行为识别报警方法、设备、电子设备及存储介质
US11651599B2 (en) * 2020-08-17 2023-05-16 Verizon Patent And Licensing Inc. Systems and methods for identifying distracted driver behavior from video
CN112069931A (zh) * 2020-08-20 2020-12-11 深圳数联天下智能科技有限公司 一种状态报告的生成方法及状态监控系统
CN112016457A (zh) * 2020-08-27 2020-12-01 青岛慕容信息科技有限公司 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN114201985A (zh) * 2020-08-31 2022-03-18 魔门塔(苏州)科技有限公司 一种人体关键点的检测方法及装置
CN112163470A (zh) * 2020-09-11 2021-01-01 高新兴科技集团股份有限公司 基于深度学习的疲劳状态识别方法、系统、存储介质
CN112307920B (zh) * 2020-10-22 2024-03-22 东云睿连(武汉)计算技术有限公司 一种高风险工种作业人员行为预警装置及方法
CN112347891B (zh) * 2020-10-30 2022-02-22 南京佑驾科技有限公司 基于视觉的舱内喝水状态检测方法
CN112270283A (zh) * 2020-11-04 2021-01-26 北京百度网讯科技有限公司 异常驾驶行为确定方法、装置、设备、车辆和介质
CN112356839A (zh) * 2020-11-06 2021-02-12 广州小鹏自动驾驶科技有限公司 一种驾驶状态监测方法、系统及汽车
JP2022077282A (ja) * 2020-11-11 2022-05-23 株式会社コムテック 警報システム
KR102443980B1 (ko) * 2020-11-17 2022-09-21 주식회사 아르비존 차량 제어 방법
TWI739675B (zh) * 2020-11-25 2021-09-11 友達光電股份有限公司 影像辨識方法及裝置
CN112455452A (zh) * 2020-11-30 2021-03-09 恒大新能源汽车投资控股集团有限公司 驾驶状态的检测方法、装置及设备
CN112528792A (zh) * 2020-12-03 2021-03-19 深圳地平线机器人科技有限公司 疲劳状态检测方法、装置、介质及电子设备
CN112660141A (zh) * 2020-12-29 2021-04-16 长安大学 一种通过驾驶行为数据的驾驶员驾驶分心行为识别方法
CN112766050B (zh) * 2020-12-29 2024-04-16 富泰华工业（深圳）有限公司 着装及作业检查方法、计算机装置及存储介质
CN112754498B (zh) * 2021-01-11 2023-05-26 一汽解放汽车有限公司 驾驶员的疲劳检测方法、装置、设备及存储介质
JP2022130086A (ja) * 2021-02-25 2022-09-06 トヨタ自動車株式会社 タクシー車両およびタクシーシステム
CN113011347B (zh) * 2021-03-23 2022-01-07 深圳信可通讯技术有限公司 一种基于人工智能的智能驾驶方法、装置及相关产品
CN113313019A (zh) * 2021-05-27 2021-08-27 展讯通信(天津)有限公司 一种分神驾驶检测方法、系统及相关设备
CN113139531A (zh) * 2021-06-21 2021-07-20 博泰车联网(南京)有限公司 困倦状态检测方法及装置、电子设备、可读存储介质
CN113298041A (zh) * 2021-06-21 2021-08-24 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及系统
CN113486759B (zh) * 2021-06-30 2023-04-28 上海商汤临港智能科技有限公司 危险动作的识别方法及装置、电子设备和存储介质
CN113537135A (zh) * 2021-07-30 2021-10-22 三一重机有限公司 一种驾驶监测方法、装置、系统及可读存储介质
CN113734173B (zh) * 2021-09-09 2023-06-20 东风汽车集团股份有限公司 车辆智能监控方法、设备及存储介质
KR102542683B1 (ko) * 2021-09-16 2023-06-14 국민대학교산학협력단 손 추적 기반 행위 분류 방법 및 장치
FR3127355B1 (fr) * 2021-09-20 2023-09-29 Renault Sas procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale
KR102634012B1 (ko) * 2021-10-12 2024-02-07 경북대학교 산학협력단 딥러닝 기반 객체 분류를 이용한 운전자 행동 검출 장치
CN114162130B (zh) * 2021-10-26 2023-06-20 东风柳州汽车有限公司 驾驶辅助模式切换方法、装置、设备及存储介质
CN114187581B (zh) * 2021-12-14 2024-04-09 安徽大学 一种基于无监督学习的驾驶员分心细粒度检测方法
CN114005105B (zh) * 2021-12-30 2022-04-12 青岛以萨数据技术有限公司 驾驶行为检测方法、装置以及电子设备
CN114582090A (zh) * 2022-02-27 2022-06-03 武汉铁路职业技术学院 一种轨道车辆驾驶监测预警系统
CN114666378A (zh) * 2022-03-03 2022-06-24 武汉科技大学 一种重型柴油车车载远程监控系统
KR20230145614A (ko) 2022-04-07 2023-10-18 한국기술교육대학교 산학협력단 운전자 안전 모니터링 시스템 및 방법
CN115035502A (zh) * 2022-07-08 2022-09-09 北京百度网讯科技有限公司 驾驶员的行为监测方法、装置、电子设备及存储介质
CN114898341B (zh) * 2022-07-14 2022-12-20 苏州魔视智能科技有限公司 疲劳驾驶预警方法、装置、电子设备及存储介质
CN115601709B (zh) * 2022-11-07 2023-10-27 北京万理软件开发有限公司 煤矿员工违规统计系统、方法、装置以及存储介质
CN116311181B (zh) * 2023-03-21 2023-09-12 重庆利龙中宝智能技术有限公司 一种异常驾驶的快速检测方法及系统
CN116052136B (zh) * 2023-03-27 2023-09-05 中国科学技术大学 分心检测方法、车载控制器和计算机存储介质
CN116645732B (zh) * 2023-07-19 2023-10-10 厦门工学院 一种基于计算机视觉的场地危险活动预警方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201615457A (zh) * 2014-10-30 2016-05-01 鴻海精密工業股份有限公司 車用安全識別反應系統及方法
CN106585624A (zh) * 2016-12-07 2017-04-26 深圳市元征科技股份有限公司 驾驶员状态监控方法及装置
US20180099679A1 (en) * 2015-04-20 2018-04-12 Bayerische Motoren Werke Aktiengesellschaft Apparatus and Method for Controlling a User Situation Awareness Modification of a User of a Vehicle, and a User Situation Awareness Modification Processing System
CN108407813A (zh) * 2018-01-25 2018-08-17 惠州市德赛西威汽车电子股份有限公司 一种基于大数据的车辆抗疲劳安全驾驶方法
CN108961669A (zh) * 2018-07-19 2018-12-07 上海小蚁科技有限公司 网约车的安全预警方法及装置、存储介质、服务器

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2546415B2 (ja) * 1990-07-09 1996-10-23 トヨタ自動車株式会社 車両運転者監視装置
US7738678B2 (en) * 1995-06-07 2010-06-15 Automotive Technologies International, Inc. Light modulation techniques for imaging objects in or around a vehicle
JP3843513B2 (ja) * 1996-12-24 2006-11-08 トヨタ自動車株式会社 車両用警報装置
JPH11161798A (ja) * 1997-12-01 1999-06-18 Toyota Motor Corp 車両運転者監視装置
JP3383594B2 (ja) * 1998-09-29 2003-03-04 沖電気工業株式会社 眼の開度測定装置
JP3495934B2 (ja) * 1999-01-08 2004-02-09 矢崎総業株式会社 事故防止システム
US20120231773A1 (en) * 1999-08-27 2012-09-13 Lipovski Gerald John Jack Cuboid-based systems and methods for safe mobile texting.
US20030163233A1 (en) * 2000-05-04 2003-08-28 Jin-Ho Song Automatic vehicle management apparatus and method using wire and wireless communication network
JP2003131785A (ja) * 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
US6926429B2 (en) * 2002-01-30 2005-08-09 Delphi Technologies, Inc. Eye tracking/HUD system
US6873714B2 (en) * 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution
BR0307760A (pt) * 2002-02-19 2006-04-04 Volvo Technology Corp sistema e método para a monitoração e o gerenciamento de gargas de atenção do motorista
JP2004017939A (ja) * 2002-06-20 2004-01-22 Denso Corp 車両用情報報知装置及びプログラム
JP3951231B2 (ja) * 2002-12-03 2007-08-01 オムロン株式会社 安全走行情報仲介システムおよびそれに用いる安全走行情報仲介装置と安全走行情報の確認方法
WO2004108466A1 (en) * 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
KR100494848B1 (ko) * 2004-04-16 2005-06-13 에이치케이이카 주식회사 차량 탑승자가 차량 내부에서 수면을 취하는지 여부를감지하는 방법 및 장치
DE102005018697A1 (de) * 2004-06-02 2005-12-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers im Falle eines Verlassens der Fahrspur
JP4564320B2 (ja) * 2004-09-29 2010-10-20 アイシン精機株式会社 ドライバモニタシステム
CN1680779A (zh) * 2005-02-04 2005-10-12 江苏大学 驾驶员疲劳监测方法及装置
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
WO2006131926A2 (en) * 2005-06-09 2006-12-14 Drive Diagnostics Ltd. System and method for displaying a driving profile
US20070041552A1 (en) * 2005-06-13 2007-02-22 Moscato Jonathan D Driver-attentive notification system
JP2007237919A (ja) * 2006-03-08 2007-09-20 Toyota Motor Corp 車両用入力操作装置
US8406479B2 (en) * 2006-07-14 2013-03-26 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
US20130150004A1 (en) * 2006-08-11 2013-06-13 Michael Rosen Method and apparatus for reducing mobile phone usage while driving
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN101030316B (zh) * 2007-04-17 2010-04-21 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
JP2008302741A (ja) * 2007-06-05 2008-12-18 Toyota Motor Corp 運転支援装置
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
JP5208711B2 (ja) * 2008-12-17 2013-06-12 アイシン精機株式会社 眼開閉判別装置及びプログラム
CN101540090B (zh) * 2009-04-14 2011-06-15 华南理工大学 基于多元信息融合的驾驶员疲劳监测方法
US10019634B2 (en) * 2010-06-04 2018-07-10 Masoud Vaziri Method and apparatus for an eye tracking wearable computer
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
CN101877051A (zh) * 2009-10-30 2010-11-03 江苏大学 驾驶人注意力状态监测方法和装置
CN101692980B (zh) * 2009-10-30 2011-06-08 深圳市汉华安道科技有限责任公司 疲劳驾驶检测方法及装置
US20110224875A1 (en) * 2010-03-10 2011-09-15 Cuddihy Mark A Biometric Application of a Polymer-based Pressure Sensor
US10592757B2 (en) * 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US10074024B2 (en) * 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
CN101950355B (zh) * 2010-09-08 2012-09-05 中国人民解放军国防科学技术大学 基于数字视频的驾驶员疲劳状态检测方法
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
US11270699B2 (en) * 2011-04-22 2022-03-08 Emerging Automotive, Llc Methods and vehicles for capturing emotion of a human driver and customizing vehicle response
JP5288045B2 (ja) * 2011-07-11 2013-09-11 トヨタ自動車株式会社 車両の緊急退避装置
US8744642B2 (en) * 2011-09-16 2014-06-03 Lytx, Inc. Driver identification based on face data
CN102436715B (zh) * 2011-11-25 2013-12-11 大连海创高科信息技术有限公司 疲劳驾驶检测方法
KR20140025812A (ko) * 2012-08-22 2014-03-05 삼성전기주식회사 졸음 운전 감지 장치 및 방법
JP2014048760A (ja) * 2012-08-29 2014-03-17 Denso Corp 車両の運転者に情報を提示する情報提示システム、情報提示装置、および情報センター
JP6036065B2 (ja) * 2012-09-14 2016-11-30 富士通株式会社 注視位置検出装置及び注視位置検出方法
US9405982B2 (en) * 2013-01-18 2016-08-02 GM Global Technology Operations LLC Driver gaze detection system
US20140272811A1 (en) * 2013-03-13 2014-09-18 Mighty Carma, Inc. System and method for providing driving and vehicle related assistance to a driver
US10210761B2 (en) * 2013-09-30 2019-02-19 Sackett Solutions & Innovations, LLC Driving assistance systems and methods
JP5939226B2 (ja) * 2013-10-16 2016-06-22 トヨタ自動車株式会社 運転支援装置
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
US10417486B2 (en) * 2013-12-30 2019-09-17 Alcatel Lucent Driver behavior monitoring systems and methods for driver behavior monitoring
JP6150258B2 (ja) * 2014-01-15 2017-06-21 みこらった株式会社 自動運転車
JP6213282B2 (ja) 2014-02-12 2017-10-18 株式会社デンソー 運転支援装置
US20150310758A1 (en) * 2014-04-26 2015-10-29 The Travelers Indemnity Company Systems, methods, and apparatus for generating customized virtual reality experiences
US20160001785A1 (en) * 2014-07-07 2016-01-07 Chin-Jung Hsu Motion sensing system and method
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US9796391B2 (en) * 2014-10-13 2017-10-24 Verizon Patent And Licensing Inc. Distracted driver prevention systems and methods
CN104408879B (zh) * 2014-11-19 2017-02-01 湖南工学院 疲劳驾驶预警处理方法、装置及系统
US10614726B2 (en) * 2014-12-08 2020-04-07 Life Long Driver, Llc Behaviorally-based crash avoidance system
CN104574817A (zh) * 2014-12-25 2015-04-29 清华大学苏州汽车研究院（吴江） 一种适用于智能手机的基于机器视觉疲劳驾驶预警系统
JP2016124364A (ja) * 2014-12-26 2016-07-11 本田技研工業株式会社 覚醒装置
US10705521B2 (en) 2014-12-30 2020-07-07 Visteon Global Technologies, Inc. Autonomous driving interface
DE102015200697A1 (de) * 2015-01-19 2016-07-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs
CN104688251A (zh) * 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
FR3033303B1 (fr) * 2015-03-03 2017-02-24 Renault Sas Dispositif et procede de prediction d'un niveau de vigilance chez un conducteur d'un vehicule automobile.
CN105139583A (zh) * 2015-06-23 2015-12-09 南京理工大学 基于便携式智能设备的车辆危险提醒方法
CN106327801B (zh) * 2015-07-07 2019-07-26 北京易车互联信息技术有限公司 疲劳驾驶检测方法和装置
CN204915314U (zh) * 2015-07-21 2015-12-30 戴井之 一种汽车安全驾驶装置
CN105096528B (zh) * 2015-08-05 2017-07-11 广州云从信息科技有限公司 一种疲劳驾驶检测方法及系统
JP7011578B2 (ja) * 2015-08-31 2022-01-26 エスアールアイ インターナショナル 運転行動を監視する方法及びシステム
CN105261153A (zh) * 2015-11-03 2016-01-20 北京奇虎科技有限公司 车辆行驶监控方法和装置
CN105354985B (zh) * 2015-11-04 2018-01-12 中国科学院上海高等研究院 疲劳驾驶监控装置及方法
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
CN105574487A (zh) * 2015-11-26 2016-05-11 中国第一汽车股份有限公司 基于面部特征的驾驶人注意力状态检测方法
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN105769120B (zh) * 2016-01-27 2019-01-22 深圳地平线机器人科技有限公司 疲劳驾驶检测方法和装置
FR3048544B1 (fr) * 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
US10108260B2 (en) * 2016-04-01 2018-10-23 Lg Electronics Inc. Vehicle control apparatus and method thereof
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
US20180012090A1 (en) * 2016-07-07 2018-01-11 Jungo Connectivity Ltd. Visual learning system and method for determining a driver's state
JP2018022229A (ja) * 2016-08-01 2018-02-08 株式会社デンソーテン 安全運転行動通知システム及び安全運転行動通知方法
CN106218405A (zh) * 2016-08-12 2016-12-14 深圳市元征科技股份有限公司 疲劳驾驶监控方法及云端服务器
CN106446811A (zh) * 2016-09-12 2017-02-22 北京智芯原动科技有限公司 基于深度学习的驾驶员疲劳检测方法及装置
JP6940612B2 (ja) * 2016-09-14 2021-09-29 ナウト, インコーポレイテッドNauto, Inc. ニアクラッシュ判定システムおよび方法
CN106355838A (zh) * 2016-10-28 2017-01-25 深圳市美通视讯科技有限公司 一种疲劳驾驶检测方法和系统
EP3535646A4 (en) * 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
CN106709420B (zh) * 2016-11-21 2020-07-10 厦门瑞为信息技术有限公司 一种监测营运车辆驾驶人员驾驶行为的方法
CN106585629B (zh) * 2016-12-06 2019-07-12 广东泓睿科技有限公司 一种车辆控制方法和装置
CN106781282A (zh) * 2016-12-29 2017-05-31 天津中科智能识别产业技术研究院有限公司 一种智能行车驾驶员疲劳预警系统
CN106909879A (zh) * 2017-01-11 2017-06-30 开易（北京）科技有限公司 一种疲劳驾驶检测方法及系统
CN106985750A (zh) * 2017-01-17 2017-07-28 戴姆勒股份公司 用于车辆的车内安全监控系统及汽车
FR3063557B1 (fr) * 2017-03-03 2022-01-14 Valeo Comfort & Driving Assistance Dispositif de determination de l'etat d'attention d'un conducteur de vehicule, systeme embarque comportant un tel dispositif, et procede associe
US20190370580A1 (en) * 2017-03-14 2019-12-05 Omron Corporation Driver monitoring apparatus, driver monitoring method, learning apparatus, and learning method
US10922566B2 (en) * 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US10289938B1 (en) * 2017-05-16 2019-05-14 State Farm Mutual Automobile Insurance Company Systems and methods regarding image distification and prediction models
US10402687B2 (en) * 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US10592785B2 (en) * 2017-07-12 2020-03-17 Futurewei Technologies, Inc. Integrated system for detection of driver condition
CN109803583A (zh) * 2017-08-10 2019-05-24 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
JP6666892B2 (ja) * 2017-11-16 2020-03-18 株式会社Ｓｕｂａｒｕ 運転支援装置及び運転支援方法
CN107933471B (zh) * 2017-12-04 2019-12-20 惠州市德赛西威汽车电子股份有限公司 事故主动呼叫救援的方法及车载自动求救系统
US10322728B1 (en) * 2018-02-22 2019-06-18 Futurewei Technologies, Inc. Method for distress and road rage detection
US10776644B1 (en) * 2018-03-07 2020-09-15 State Farm Mutual Automobile Insurance Company Image analysis technologies for assessing safety of vehicle operation
US10915769B2 (en) * 2018-06-04 2021-02-09 Shanghai Sensetime Intelligent Technology Co., Ltd Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium
US10970571B2 (en) * 2018-06-04 2021-04-06 Shanghai Sensetime Intelligent Technology Co., Ltd. Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
JP6870660B2 (ja) * 2018-06-08 2021-05-12 トヨタ自動車株式会社 ドライバ監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201615457A (zh) * 2014-10-30 2016-05-01 鴻海精密工業股份有限公司 車用安全識別反應系統及方法
US20180099679A1 (en) * 2015-04-20 2018-04-12 Bayerische Motoren Werke Aktiengesellschaft Apparatus and Method for Controlling a User Situation Awareness Modification of a User of a Vehicle, and a User Situation Awareness Modification Processing System
CN106585624A (zh) * 2016-12-07 2017-04-26 深圳市元征科技股份有限公司 驾驶员状态监控方法及装置
CN108407813A (zh) * 2018-01-25 2018-08-17 惠州市德赛西威汽车电子股份有限公司 一种基于大数据的车辆抗疲劳安全驾驶方法
CN108961669A (zh) * 2018-07-19 2018-12-07 上海小蚁科技有限公司 网约车的安全预警方法及装置、存储介质、服务器

Also Published As

Publication number Publication date
KR20200051632A (ko) 2020-05-13
EP3666577A4 (en) 2020-08-19
TW202033395A (zh) 2020-09-16
US20210049387A1 (en) 2021-02-18
WO2019028798A1 (zh) 2019-02-14
US20190065873A1 (en) 2019-02-28
KR102391279B1 (ko) 2022-04-26
US20210009150A1 (en) 2021-01-14
US10853675B2 (en) 2020-12-01
KR20200124278A (ko) 2020-11-02
WO2019029195A1 (zh) 2019-02-14
JP2019536673A (ja) 2019-12-19
JP6933668B2 (ja) 2021-09-08
CN110399767A (zh) 2019-11-01
EP3666577A1 (en) 2020-06-17
WO2020173213A1 (zh) 2020-09-03
SG11202009720QA (en) 2020-10-29
CN109937152A (zh) 2019-06-25
JP2021517313A (ja) 2021-07-15
CN109937152B (zh) 2022-03-25
CN109803583A (zh) 2019-05-24
US20210049388A1 (en) 2021-02-18
SG11202002549WA (en) 2020-04-29
US20210049386A1 (en) 2021-02-18

Similar Documents

Publication Publication Date Title
TWI758689B (zh) 車內人員危險動作識別方法和裝置、電子設備、儲存介質
KR102446686B1 (ko) 승객 상태 분석 방법 및 장치, 차량, 전자 기기, 저장 매체
KR102305914B1 (ko) 운전 관리 방법 및 시스템, 차량 탑재 지능형 시스템, 전자 기기, 매체
KR102469234B1 (ko) 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량
JP7146959B2 (ja) 運転状態検出方法及び装置、運転者監視システム並びに車両
Kaplan et al. Driver behavior analysis for safe driving: A survey
US7792328B2 (en) Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream
US11783600B2 (en) Adaptive monitoring of a vehicle using a camera
US11403879B2 (en) Method and apparatus for child state analysis, vehicle, electronic device, and storage medium
US20180204078A1 (en) System for monitoring the state of vigilance of an operator
KR20190083155A (ko) 운전자 상태 검출 장치 및 그 방법
KR20120074820A (ko) 얼굴 인식 기능을 이용한 차량 제어 시스템
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
JP2022149287A (ja) ドライバ監視装置、ドライバ監視方法及びドライバ監視用コンピュータプログラム
US20190149777A1 (en) System for recording a scene based on scene content
KR20190044818A (ko) 운전자 모니터링 장치 및 방법
JP6689470B1 (ja) 情報処理装置、プログラム及び情報処理方法
Ujir et al. Real-Time Driver’s Monitoring Mobile Application through Head Pose, Drowsiness and Angry Detection
US20240051465A1 (en) Adaptive monitoring of a vehicle using a camera
Kaur et al. Driver’s Drowsiness Detection System Using Machine Learning
US20190149778A1 (en) Method for variable recording of a scene based on scene content
KR20210119243A (ko) 졸음운전 및 부주의 운전 인식 기능을 구비한 블랙박스 시스템 및 그 서비스 제공방법
KR20220005290A (ko) 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
Bhagyawant et al. ACCIDENT PREVENTION SYSTEM
CN110751008A (zh) 基于驾驶行为的处理方法、装置、设备和存储介质