KR102469234B1 - 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량 - Google Patents

운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량 Download PDF

Info

Publication number
KR102469234B1
KR102469234B1 KR1020207029610A KR20207029610A KR102469234B1 KR 102469234 B1 KR102469234 B1 KR 102469234B1 KR 1020207029610 A KR1020207029610 A KR 1020207029610A KR 20207029610 A KR20207029610 A KR 20207029610A KR 102469234 B1 KR102469234 B1 KR 102469234B1
Authority
KR
South Korea
Prior art keywords
driver
action
delete delete
distraction
state
Prior art date
Application number
KR1020207029610A
Other languages
English (en)
Other versions
KR20200131883A (ko
Inventor
런보 친
다첸 양
Original Assignee
상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 filed Critical 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Publication of KR20200131883A publication Critical patent/KR20200131883A/ko
Application granted granted Critical
Publication of KR102469234B1 publication Critical patent/KR102469234B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

본 개시내용의 실시예들은 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량을 개시한다. 운전 상태 분석 방법은, 운전자 이미지에 대해 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하여 피로 상태 검출 결과 및 산만 상태 검출 결과를 획득하는 단계; 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하는 단계; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하는 단계를 포함한다. 본 개시내용의 실시예들은 운전자 이미지에 기초하여 운전자의 피로 상태와 산만 상태의 공동 검출을 구현할 수 있고, 너무 많은 또는 너무 빈번한 경보들에 의해 야기되는 운전자의 산만 및 혐오감을 또한 회피할 수 있다. 본 개시내용은 경보 전략을 최적화하는 것에 의해 보조 운전의 안전성 및 사용자 경험을 개선한다.

Description

운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량
<관련 출원들에 대한 상호 참조>
본 개시내용은, 2018년 10월 19일자로 중국 특허청에 출원된, 발명의 명칭이 "DRIVING STATE ANALYSIS METHOD AND APPARATUS, DRIVER MONITORING SYSTEM AND VEHICLE"인 중국 특허 출원 제CN 201811224316.3호에 대한 우선권을 주장하며, 이는 그 전체가 본 명세서에 참조로 원용된다.
<기술 분야>
본 개시내용은 컴퓨터 비전 기술들에, 특히, 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량에 관련된다.
차량들의 연속적인 대중화로, 교통 사고들 또한 증가하고, 운전자들의 운전 상태는 안전 운전에 심각한 영향을 미친다. 운전자의 운전 상태가 불량하면, 예를 들어, 과도한 피로, 불충분한 수면, 산만한 주의 등으로 인해, 운전 상태가 불량하면, 이것은 판단 능력에서의 감소, 응답에서의 지연, 및 심지어 가수면 또는 단기 기억 상실로 이어질 수 있고, 지연된 또는 너무 이른 운전 액션들, 시동꺼짐 동작들 또는 부적절한 정정 시간과 같은 불안전한 요인들을 초래하고, 결과로서, 도로 교통 사고들이 발생할 가능성이 매우 높다. 운전 동안, 운전자의 주의가, 모바일 폰과 같은, 다른 것들에 의해 산만하게 되면, 운전 안전성 위험요소들이 증가된다.
본 개시내용의 실시예들은 운전 상태 분석을 위한 기술적 해결책들을 제공한다.
본 개시내용의 실시예들의 하나의 양태에 따르면, 운전 상태 분석 방법이 제공되고, 이는,
운전자 이미지에 대해 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하여 피로 상태 검출 결과 및 산만 상태 검출 결과를 획득하는 단계; 및
피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하는 단계; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하는 단계를 포함한다.
본 개시내용의 실시예들의 다른 양태에 따르면, 운전 상태 분석 장치가 제공되고, 이는,
운전자 이미지에 대해 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하여 피로 상태 검출 결과 및 산만 상태 검출 결과를 획득하도록 구성되는 운전 상태 검출 모듈; 및
피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하도록; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하도록 구성되는 경보 모듈을 포함한다.
본 개시내용의 실시예들의 또 다른 양태에 따르면, 운전자 모니터링 시스템이 제공되고, 이는,
운전자 이미지를 디스플레이하도록 구성되는 디스플레이 디바이스; 및
운전자 이미지에 대해 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하도록; 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하도록; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하도록 구성되는 운전 상태 분석 장치를 포함한다.
본 개시내용의 실시예들의 또 다른 양태에 따르면, 전자 디바이스가 제공되고, 이는,
컴퓨터 프로그램을 저장하도록 구성되는 메모리; 및
메모리에 저장되는 컴퓨터 프로그램을 실행하도록 구성되는 프로세서를 포함하고, 컴퓨터 프로그램이 실행될 때, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 방법이 구현된다.
본 개시내용의 실시예들의 또 다른 양태에 따르면, 컴퓨터 프로그램이 저장되어 있는, 컴퓨터-판독가능 저장 매체가 제공되고, 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 방법이 구현된다.
본 개시내용의 실시예들의 또 다른 양태에 따르면, 중앙 제어 시스템을 포함하는 차량이 제공되고, 이는 추가로, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 분석 장치, 또는 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전자 모니터링 시스템을 포함한다.
본 개시내용의 전술한 실시예들에 의해 제공되는 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템, 차량, 전자 디바이스, 및 매체에 기초하여, 운전자의 피로 상태 및 운전자의 산만 상태의 공동 검출이 운전자 이미지에 대해 구현될 수 있고; 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보가 출력되고; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 주의를 기울이도록 운전자에게 프롬프트하기 위해, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보가 출력되고, 따라서 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다. 또한, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보만이 출력되어, 너무 많은 또는 너무 빈번한 경보들에 의해 야기되는 운전자의 산만 및 혐오감이 회피될 수 있다. 본 개시내용은 경보 전략을 최적화하는 것에 의해 운전 안전성 및 사용자 경험을 개선한다.
본 개시내용의 기술적 해결책들이 첨부 도면 및 실시예들을 참조하여 상세히 아래에 추가로 설명된다.
본 설명의 부분을 구성하는 첨부 도면들은 본 개시내용의 실시예들을 설명하고, 이러한 설명들과 함께 본 개시내용의 원리들을 설명하도록 의도된다.
다음의 상세한 설명들에 따르면, 본 개시내용은 첨부 도면들을 참조하여 더 명확하게 이해될 수 있다.
도 1은 본 개시내용에 따른 운전 상태 분석 방법의 하나의 실시예의 흐름도이다.
도 2는 본 개시내용에 따른 운전 상태 분석 방법의 다른 실시예의 흐름도이다.
도 3은 본 개시내용의 실시예들에서 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하는 하나의 실시예의 흐름도이다.
도 4는 본 개시내용에 따른 운전 상태 분석 장치의 하나의 실시예의 개략 구조도이다.
도 5는 본 개시내용에 따른 운전 상태 분석 장치의 다른 실시예의 개략 구조도이다.
도 6은 본 개시내용에 따른 운전자 모니터링 시스템의 하나의 실시예의 개략 구조도이다.
도 7은 본 개시내용에 따른 전자 디바이스의 하나의 적용 실시예의 개략 구조도이다.
도 8은 본 개시내용에 따른 차량의 하나의 실시예의 개략 구조도이다.
본 개시내용의 다양한 예시적 실시예들이 이제 첨부 도면들을 참조하여 상세히 설명될 것이다. 구체적으로 달리 진술되지 않는 한, 이러한 실시예들에서 제시되는 컴포넌트들 및 단계들의 상대적 배열, 수치 표현들, 및 값들은 본 개시내용의 범위를 제한하도록 의도되지 않는다는 점이 주목되어야 한다.
본 개시내용의 실시예들에서 "제1(first)" 및 "제2(second)"와 같은 용어들은 단지 구별하기 위한 것이고, 본 개시내용의 실시예들에 대해 제한으로서 해석되어서는 안 된다는 점이 이해되어야 한다.
본 개시내용의 실시예들에서, "다수(multiple)"는 2개 이상을 의미할 수 있고, "적어도 하나(at least one)"는 하나, 또는 2개 이상을 의미할 수 있다는 점이 추가로 이해되어야 한다.
본 개시내용의 실시예들에서 언급되는 임의의 컴포넌트, 데이터, 또는 구조는 어떠한 구체적 제한도 부과되지 않거나 또는 위에 또는 아래에 어떠한 반대의 깨우침도 주어지지 않을 때 하나 이상으로서 일반적으로 이해될 수 있다는 점이 또한 이해되어야 한다.
본 개시내용에서의 실시예들의 설명들은 실시예들 사이의 차이들을 강조한다는 점이 추가로 이해되어야 한다. 동일한 또는 유사한 부분에 대해, 서로에 대한 참조가 이루어질 수 있다. 간결성을 위해, 상세사항들은 다시 설명되지 않는다.
또한, 설명의 용이함을 위해, 첨부 도면들에 도시되는 각각의 부분의 크기는 실제 비율로 그려지지 않는다는 점이 이해되어야 한다.
적어도 하나의 예시적인 실시예의 다음의 설명들은 실제로 단지 예시적이고, 본 개시내용 및 그 적용들 또는 사용들을 제한하도록 의도되지 않는다.
관련 기술분야에서의 통상의 기술자에게 알려진 기술들, 방법들 및 디바이스들은 상세히 논의되지 않을 수 있지만, 이러한 기술들, 방법들 및 디바이스들은 적절한 상황들에서 설명의 부분으로서 고려되어야 한다.
다음의 첨부 도면들에서의 유사한 참조 수치들 및 문자들은 유사한 아이템들을 표현한다는 점이 주목되어야 한다. 따라서, 일단 아이템이 첨부 도면에서 정의되면, 이러한 아이템은 후속하는 첨부 도면들에서 추가로 논의될 필요가 없다.
또한, 본 명세서에서 사용되는 바와 같은 "및/또는(and/or)"이라는 용어는 단지 연관된 객체들 사이의 연관 관계를 설명하며, 이는 3개의 관계들, 예를 들어, A 및/또는 B가 존재한다는 점을 표시할 수 있고, 이는 A가 개별적으로 존재함, B가 존재함, B가 개별적으로 존재함을 표시할 수 있다. 또한, 본 개시내용에서의 문자 "/"는 연관된 객체들이 "또는(or)" 관계에 있다는 점을 일반적으로 표시한다.
본 개시내용의 실시예들은, 다수의 다른 범용 또는 특수-목적 컴퓨팅 시스템 환경들 또는 구성들과 함께 동작할 수 있는, 단말 디바이스들, 컴퓨터 시스템들, 및 서버들과 같은 전자 디바이스들에 적용될 수 있다. 단말 디바이스들, 컴퓨터 시스템들, 및 서버들과 같은 이러한 전자 디바이스들과 함께 사용하기에 적합한 잘 알려진 단말 디바이스들, 컴퓨팅 시스템들, 환경들, 및/또는 구성들의 예들은, 이에 제한되는 것은 아니지만, 차량-장착형 디바이스들, 개인용 컴퓨터 시스템들, 서버 컴퓨터 시스템들, 씬 클라이언트들(thin clients), 씨크 클라이언트들(thick clients), 핸드헬드 또는 랩톱 디바이스들, 마이크로프로세서-기반 시스템들, 셋 톱 박스들, 프로그램가능 소비자 전자기기들, 네트워크 개인용 컴퓨터들, 소형 컴퓨터 시스템들, 대형 컴퓨터 시스템들, 이러한 시스템들 중 어느 하나를 포함하는 분산형 클라우드 컴퓨팅 환경들 등을 포함한다.
단말 디바이스들, 컴퓨터 시스템들, 및 서버들과 같은 이러한 전자 디바이스들은 컴퓨터 시스템들에 의해 실행되는 (프로그램 모듈들과 같은) 컴퓨터 시스템 실행가능 명령어들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 이러한 프로그램 모듈들은 구체적인 작업들을 수행하거나 또는 구체적인 추상 데이터 타입들을 구현하기 위한 루틴들, 프로그램들, 타겟 프로그램들, 컴포넌트들, 로직들, 데이터 구조들 등을 포함할 수 있다. 이러한 컴퓨터 시스템들/서버들은 통신 네트워크를 통해 링크되는 원격 처리 디바이스들에 의해 작업들이 수행되는 분산형 클라우드 컴퓨팅 환경들에서 실시될 수 있다. 분산형 컴퓨팅 환경들에서, 이러한 프로그램 모듈은 저장 디바이스들을 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치될 수 있다.
본 개시내용의 실시예들에서의 신경망은 다층 신경망(multi-layer neural network)(즉, 심화 신경망(deep neural network))일 수 있고, 이러한 신경망은, LeNet, AlexNet, GoogLeNet, VGG, ResNet 및 다른 임의의 신경망 모델들과 같은, 다층 콘볼루션 신경망일 수 있다. 각각의 신경망은 동일한 타입 및 구조의 신경망, 또는 상이한 타입 및/또는 구조의 신경망일 수 있으며, 이는 본 출원의 실시예들에서 제한되지 않는다.
도 1은 본 개시내용에 따른 운전 상태 분석 방법의 하나의 실시예의 흐름도이다. 도 1에 도시되는 바와 같이, 실시예들에서의 운전 상태 분석 방법은 다음의 단계들을 포함한다.
102에서, 운전자에 대한 피로 상태 검출 및 산만 상태 검출이 운전자 이미지에 대해 수행되어 피로 상태 검출 결과 및 산만 상태 검출 결과를 획득한다.
하나의 선택적 예에서, 동작 102는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 실행될 수 있거나, 또는 프로세서에 의해 실행되는 운전 상태 검출 모듈에 의해 실행될 수 있다.
104에서, 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보가 출력되고, 예를 들어, (음성 또는 울림과 같은) 사운드/(점등 또는 광 번쩍임과 같은) 조명/진동 등과 같은(음성 또는 울림)에 의해 경보가 수행되고; 및/또는, 피로 상태 검출 결과와 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보가 출력된다, 예를 들어, (음성 또는 울림과 같은) 사운드/(점등 또는 광 번쩍임과 같은) 조명/진동 등에 의해 경보가 수행된다.
일부 구현들에서, 위에-언급된 동작 104에서, 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하는 단계는, 피로 상태 검출 결과가 피로 상태일 때 피로 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계; 및/또는, 산만 상태 검출 결과가 산만 상태일 때 산만 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계를 포함한다.
하나의 선택적 예에서, 동작 104는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 실행될 수 있거나, 또는 프로세서에 의해 실행되는 경보 모듈에 의해 실행될 수 있다.
본 개시내용의 전술한 실시예들에 의해 제공되는 운전 상태 분석 방법에 기초하여, 운전자의 피로 상태 및 운전자의 산만 상태의 공동 검출이 운전자 이미지에 대해 구현될 수 있고; 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보가 출력되고; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 주의를 기울이도록 운전자에게 프롬프트하기 위해, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보가 출력되고, 따라서 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다. 또한, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보만이 출력되어, 너무 많은 또는 너무 빈번한 경보들에 의해 야기되는 운전자의 산만 및 혐오감이 회피될 수 있다. 본 개시내용은 경보 전략을 최적화하는 것에 의해 보조 운전의 안전성 및 사용자 경험을 개선한다.
본 개시내용의 운전 상태 분석 방법의 다른 실시예에서, 이러한 방법은 추가로,
피로 상태 검출 결과에 대응하는 경보 정보를 출력한 후 미리 설정된 기간 내의 미리 결정된 경보 조건을 충족시키는 (산만 상태 검출 결과와 같은) 다른 검출 결과들에 대응하는 경보 정보를 억제하는 단계; 및/또는, 산만 상태 검출 결과에 대응하는 경보 정보를 출력한 후 미리 설정된 기간 내의 미리 결정된 경보 조건을 충족시키는 (피로 상태 검출 결과와 같은) 다른 검출 결과들에 대응하는 경보 정보를 억제하는 단계를 포함한다.
이러한 실시예들은 너무 많은 또는 너무 빈번한 경보들에 의해 야기되는 운전자의 산만 및 혐오감을 추가로 회피할 수 있고, 경보 전략을 추가로 최적화하는 것에 의해 보조 운전의 안전성 및 사용자 경험을 추가로 개선한다.
도 2는 본 개시내용에 따른 운전 상태 분석 방법의 다른 실시예의 흐름도이다. 도 2에 도시되는 바와 같이, 실시예들에서의 운전 상태 분석 방법은 다음의 단계들을 포함한다.
202에서, 운전자 이미지에서의 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하는지가 결정된다.
운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하면, 동작 204가 실행된다. 그렇지 않고, 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않으면, 동작 206이 실행된다.
하나의 선택적 예에서, 동작 202는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 실행될 수 있거나, 또는 프로세서에 의해 실행되는 제1 결정 모듈에 의해 수행될 수 있다.
204에서, 운전자에 대한 산만 상태 검출이 운전자 이미지에 대해 수행되어 운전자의 산만 상태 검출 결과를 획득한다.
일부 구현들에서, 운전자 이미지에 대해 운전자에 대한 산만 상태 검출을 수행하는 단계는, 운전자 이미지에 대해 머리 자세 검출 및/또는 눈 상태 검출을 수행하여 머리 자세 정보 및/또는 눈 상태 정보를 획득하는 단계; 및 머리 자세 정보 및/또는 눈 상태 정보에 따라 운전자의 산만 상태 검출 결과를 결정하는 단계, 예를 들어, 머리 자세 정보 및/또는 눈 상태 정보에 따라 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하고, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태 검출 결과를 결정하는 단계를 포함한다.
다음으로, 동작 208이 실행된다.
206에서, 운전자에 대한 피로 상태 검출 및 산만 상태 검출이 운전자 이미지에 대해 수행되어 피로 상태 검출 결과 및 산만 상태 검출 결과를 획득한다.
일부 구현들에서, 운전자 이미지에 대해 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하는 단계는, 운전자 이미지에 대해 머리 자세 검출, 눈 상태 검출, 및/또는 입 상태 검출을 수행하여 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보를 획득하는 단계; 및 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보에 따라 운전자의 피로 상태 검출 결과 및 산만 상태 검출 결과를 결정하는 단계, 예를 들어, 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보에 따라 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값 및 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하고, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 피로 상태 검출 결과를 결정하고, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태 검출 결과를 결정하는 단계를 포함한다.
일부 선택적 예들에서, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값은 머리 자세 정보, 눈 상태 정보, 및 입 상태 정보에 따라 결정된다.
하나의 선택적 예에서, 동작들 204 내지 206은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 실행될 수 있거나, 또는 프로세서에 의해 실행되는 운전 상태 검출 모듈에 의해 실행될 수 있다.
208에서, 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보가 출력되고; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보가 출력된다.
하나의 선택적 예에서, 동작 208은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 실행될 수 있거나, 또는 프로세서에 의해 실행되는 경보 모듈에 의해 실행될 수 있다.
전술한 실시예들에서, 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과할 때, 운전자는 산만 상태에 있을 수 있다. 따라서, 단지 산만 상태 검출이 운전자에 대해 수행되고, 피로 상태 검출은 수행되지 않고, 따라서 운전 상태 모니터링의 효과가 구현되고, 그렇게 함으로써 피로 상태 검출을 위해 요구되는 컴퓨팅 리소스들을 절약하고 운전 상태 분석의 효율을 개선한다. 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않을 때, 운전자는 산만 상태 또는 피로 상태에 있을 수 있다. 따라서, 산만 상태 검출 및 피로 상태 검출이 운전자에 대해 동시에 수행되고, 이는 운전자 상태들의 공동 모니터링을 구현하여 운전 안전성을 보장한다.
일부 구현들에서, 운전자 이미지에 대해 머리 자세 검출, 눈 상태 검출, 및/또는 입 상태 검출을 수행하여 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보를 획득하는 단계는,
운전자 이미지에 대해 얼굴 주요 지점 검출을 수행하는 단계; 및
검출된 얼굴 주요 지점들에 따라 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보를 획득하는 단계를 포함한다.
일부 선택적 예들에서, 머리 자세 정보는, 검출된 얼굴 주요 지점들에 따라 머리 자세 정보가 획득될 때 얼굴 주요 지점들에 기초하여 제1 신경망에 의해 획득될 수 있다.
일부 선택적 예들에서, 머리 자세 정보는, 예를 들어, 검출된 얼굴 주요 지점들에 따라 머리 자세 정보가 획득될 때 얼굴 주요 지점들에 기초하여 제1 신경망에 의해 획득될 수 있다.
일부 구현들에서, 머리 자세는 정상 운전 상태에서 정규화된 구면 좌표계(즉, 카메라가 위치되는 카메라 좌표계)에서의 머리의 자세 각도/Euler 각도로 표현될 수 있고, 이러한 자세 각도/Euler 각도는, 피치 각도 θ(pitch), 요 각도 Ψ(yaw), 및 롤 각도 φ(roll)을 포함한다. 머리 자세 정보는, (피치, 요, 롤)을 포함한다. 피치 각도는 얼굴이 수직 방향으로 하강되는 또는 상승되는 각도를 표시하기 위해 사용되고, 요 각도는 수평 방향으로 측 얼굴의 각도(즉, 머리 회전)를 표시하기 위해 사용되고, 롤 각도는 수직 방향으로 얼굴이 경사지는(즉, 어깨를 향해 기울어지는) 각도를 표시하기 위해 사용된다.
고정된 얼굴 크기의 경우, 예로서 가능한 적용 시나리오를 취하면, 운전자 이미지를 캡처하는 카메라가 운전자의 위치의 바로 앞에 위치되고 운전자의 위치를 향할 때, 요 각도, 피치 각도 및 롤 각도가 더 작을수록, 더 정면인 얼굴이 제시되고, 운전자의 운전 상태가 더 양호하다. 요 각도, 피치 각도, 및 롤 각도가 모두 0인 상황이 참조 머리 자세로서 설정된다. 이러한 경우, 운전자는 최상의 운전 상태에 있다. 피치 각도 및/또는 요 각도가 미리 설정된 각도 임계값 초과이고 지속시간이 미리 설정된 시간 임계값 초과일 때, 산만 상태 검출 결과는 산만 상태(즉, 부주의)로서 결정된다. 피치 각도가 (머리가 정상 위치로부터 갑자기 하강하고 다음으로 정상 위치로 복귀하는 졸음 끄덕임 액션에 대응하는) 0도로부터 특정 각도로 변경되고 다음으로 미리 설정된 짧은 기간 내에 0도로 복귀할 때, 피로 상태 검출 결과는 피로 상태(즉, 피로 운전 레벨)로서 결정된다. 카메라가 다른 위치들에 위치되는 적용 시나리오들에 대해, 이러한 머리 자세 정보는 그 위치에 있는 카메라와 운전자의 위치의 바로 앞에 위치되고 운전자의 위치를 향하는 카메라 사이의 끼인각에 기초하여 참조 머리 자세로서 결정된다. 해당 분야에서의 기술자는 본 개시내용의 실시예들에 기초하는 구체적인 구현을 알고 있고, 상세사항들은 본 명세서에서 다시 설명되지 않는다.
제1 신경망은 심화 학습 기술에 기초하여 미리 훈련될 수 있다. 실시예들에서, 제1 신경망은 얼굴 주요 지점들에 기초하여 머리 자세 정보를 획득하도록 구성되고, 이는 획득된 머리 자세 정보의 정확도를 개선할 수 있고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선한다.
또한, 얼굴 주요 지점 검출은 미리 훈련된 신경망에 의해 또한 수행되어, 얼굴 주요 지점 검출 결과의 정확도를 개선하고 머리 자세 정보의 정확도를 추가로 개선할 수 있으며, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선한다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 눈 상태 정보를 획득하는 단계는, 예를 들어, 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하는 단계; 제2 신경망에 기초하여 눈 영역 이미지에 대해 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 검출들을 수행하는 단계; 및 상위 눈꺼풀 라인과 하위 눈꺼풀 라인 사이의 간격에 따라 운전자의 눈 뜸/감음 상태 정보를 결정하는 단계를 포함할 수 있다. 눈 뜸/감음 상태는 눈 뜸 상태, 눈 반-감음 상태, 또는 눈 감음 상태를 포함한다. 눈 상태 정보는 눈 뜸/감음 상태 정보를 포함한다. 하나의 선택적 예에서, 운전자 이미지에서의 눈들은 얼굴 주요 지점들에서의 눈 주요 지점(예를 들어, 운전자 이미지에서의 눈 주요 지점의 좌표 정보)을 사용하여 위치지정되어, 눈 영역 이미지를 획득하고, 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인은 눈 영역 이미지를 사용하여 획득되고, 눈 뜸/감음 상태 정보는 상위 눈꺼풀 라인과 하위 눈꺼풀 라인 사이의 간격을 계산하는 것에 의해 획득된다. 대안적으로, 다른 선택적 예에서, 운전자 이미지에 대해 얼굴 주요 지점 검출이 또한 수행될 수 있고, 검출된 얼굴 주요 지점들에서의 눈 주요 지점을 직접 사용하여 계산이 수행되어, 계산 결과에 따라 눈 뜸/감음 상태 정보를 획득한다. 운전자의 눈 감음, 예를 들어, 운전자의 눈들이 반-감음되는지("반-(semi-)"은 눈들이 완전히 감김이 아닌, 예를 들어 졸린 상태에서 가늘게 뜬 상태 등을 표현함), 예를 들어, 운전자가 눈들을 감는지, 눈 감음들의 수, 눈 감음 레벨 등을 검출하기 위해 눈 뜸/감음 상태 정보가 사용될 수 있다. 선택적으로, 눈 뜸/감음 상태 정보는 눈 뜸의 레벨에 대해 정규화 처리를 수행하는 것에 의해 획득되는 정보일 수 있다.
제2 신경망은 심화 학습 기술에 기초하여 미리 훈련될 수 있다. 실시예들에서, 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인은 제2 신경망을 사용하여 검출되어, 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인 위치들의 정확한 검출을 구현하고, 그렇게 함으로써 눈 뜸/감음 상태 정보의 정확도를 개선하여, 운전자 상태들의 검출 결과들의 정확도를 개선한다.
또한, 일부 다른 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 눈 상태 정보를 획득하는 단계는, 예를 들어, 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하는 단계; 및 제3 신경망에 기초하여 눈 영역 이미지에 대해 눈 뜸/감음 분류 처리를 수행하여, 눈 뜸 분류 결과 또는 눈 감음 분류 결과- 이들은 눈들이 눈 뜸 상태 또는 눈 감음 상태에 있다는 점을 대응하여 표현함 -를 획득하는 단계를 포함한다. 눈 상태 정보는 눈 뜸 분류 결과 또는 눈 감음 분류 결과에 대응하는 눈 뜸 상태 또는 눈 감음 상태를 포함한다. 예를 들어, 제3 신경망은 입력 눈 영역 이미지에 대해 특징 추출 및 눈 뜸/감음 분류 처리를 수행하고, 눈 뜸 확률(값 범위는 0 내지 1일 수 있음) 또는 눈 감음 확률(값 범위는 0 내지 1일 수 있음)의 분류 결과를 출력할 수 있고, 이것은 눈들이 뜸 또는 감음 상태에 있는 눈 뜸 확률 또는 눈 감음 확률에 기초하여 결정되고, 그렇게 함으로써 운전자의 눈 상태를 획득한다.
제3 신경망은 심화 학습 기술에 기초하여 눈 뜸 샘플 이미지 및 눈 감음 샘플 이미지를 사용하여 직접 트레이닝될 수 있다. 트레이닝된 제3 신경망은, 눈 뜸/감음 정도를 계산하지 않고, 입력 이미지에 대한 눈 뜸 분류 결과 또는 눈 감음 분류 결과를 직접 획득할 수 있다. 실시예들에서, 눈 영역 이미지에서의 운전자의 눈 상태는 제3 신경망에 기초하여 획득되고, 이는 눈 상태 정보의 정확도 및 검출 효율을 개선할 수 있고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도 및 검출 효율을 개선한다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득하는 단계는, 예를 들어, 얼굴 주요 지점들에 따라 운전자 이미지에서의 입 영역 이미지를 결정하는 단계; 제4 신경망에 기초하여 입 영역 이미지에 대해 상위 입술 라인 및 하위 입술 라인의 검출들을 수행하는 단계; 및 상위 입술 라인과 하위 입술 라인 사이의 간격에 따라 운전자의 입 벌림/닫음 상태 정보를 결정하는 단계를 포함한다. 입 벌림/닫음 상태는 입의 벌림 상태(즉, 입 벌림 상태), 닫음 상태(즉, 입 닫음 상태), 반-닫음 상태(즉, 입 반-벌림 상태), 등을 포함한다. 입 상태 정보는 입 벌림/닫음 상태 정보를 포함한다. 예를 들어, 하나의 선택적 예에서, 운전자 이미지에서의 입은 먼저 얼굴 주요 지점들에서의 입 주요 지점(예를 들어, 운전자 이미지에서의 입 주요 지점의 좌표 정보)을 사용하여 위치지정된다. 입 영역 이미지는 오려내기 등에 의해 획득될 수 있고, 상위 입술 라인 및 하위 입술 라인은 입 영역 이미지를 사용하여 획득될 수 있다. 입 벌림/닫음 상태 정보는 상위 입술 라인과 하위 입술 라인 사이의 간격을 계산하는 것에 의해 획득된다. 다른 선택적 예에서, 얼굴 주요 지점들에서의 입 주요 지점이 계산을 위해 직접 사용될 수 있고, 입 벌림/닫음 상태 정보는 계산 결과에 따라 획득될 수 있다.
입 벌림/닫음 상태 정보는, 예를 들어, 운전자 하품들, 및 하품들의 수 등의 검출을 검출하는, 운전자에 대한 하품 검출을 수행하기 위해 사용될 수 있다. 선택적으로, 입 벌림/닫음 상태 정보는 입 벌림의 레벨에 대해 정규화 처리를 수행하는 것에 의해 획득되는 정보일 수 있다.
제4 신경망은 심화 학습 기술에 기초하여 미리 훈련될 수 있다. 실시예들에서, 상위 입술 라인 및 하위 입술 라인은 제4 신경망을 사용하여 검출되어, 상위 입술 라인 및 하위 입술 라인 위치들의 정확한 검출을 구현하고, 그렇게 함으로써 입 벌림/닫음 상태 정보의 정확도를 개선하여, 운전자 상태들의 검출 결과들의 정확도를 개선한다.
일부 다른 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득하는 단계는, 예를 들어, 얼굴 주요 지점들에 따라 운전자 이미지에서의 입 영역 이미지를 결정하는 단계; 및 제5 신경망에 기초하여 입 영역 이미지에 대해 입 벌림/닫음 분류 처리를 수행하여, 입 벌림 분류 결과 또는 입 닫음 분류 결과- 이들은 입이 입 벌림 상태 또는 입 닫음 상태에 있다는 점을 대응하여 표현함 -를 획득하는 단계를 포함할 수 있다. 입 상태 정보는 입 벌림 상태 또는 입 닫음 상태를 포함한다. 예를 들어, 제5 신경망은 입력 입 영역 이미지에 대해 특징 추출 및 입 벌림/닫음 분류 처리를 수행하고, 입 벌림(즉, 입 벌림 상태) 확률(값 범위는 0 내지 1일 수 있음) 또는 입 닫음(즉, 입 닫음 상태) 확률(값 범위는 0 내지 1일 수 있음)을 출력할 수 있고, 이것은 입이 벌림 또는 닫힘 상태에 있는 입 벌림 확률 또는 입 닫음 확률에 기초하여 결정되고, 그렇게 함으로써 운전자의 입 상태 정보를 획득한다.
제5 신경망은 심화 학습 기술에 기초하여 입 벌림 샘플 이미지 및 입 닫음 샘플 이미지를 사용하여 직접 트레이닝될 수 있다. 트레이닝된 제5 신경망은, 상위 입술 라인 및 하위 입술 라인을 검출하여 이들 사이의 간격을 계산하지 않고, 입력 이미지에 대한 입 벌림 분류 결과 또는 입 닫음 분류 결과를 직접 획득할 수 있다. 실시예들에서, 입 영역 이미지에서의 운전자의 입 상태 정보는 제5 신경망에 기초하여 획득되고, 이는 입 상태 정보의 정확도 및 검출 효율을 개선할 수 있고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도 및 검출 효율을 개선한다.
일부 구현들에서, 운전자의 피로 상태를 표현하기 위한 인덱스는, 예를 들어, 이에 제한되는 것은 아니지만, 졸음 정도, 눈 감음 정도, 깜빡임 정도, 및 하품 정도를 포함할 수 있고; 및/또는, 운전자의 산만 상태를 표현하기 위한 인덱스는, 예를 들어, 이에 제한되는 것은 아니지만, 머리 위치 벗어남 정도, 얼굴 배향 벗어남 정도, 시선 방향 벗어남 정도, 및 멍함 정도 등을 포함할 수 있다.
일부 구현들에서, 실시예들에서, 머리 자세 정보 및/또는 눈 상태 정보에 따라 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하는 단계, 예를 들어, 머리 자세 정보에서의 피치 각도를 머리 위치로서 획득하는 단계; 및 기간 내의 머리 위치 정보에 따라 머리 위치 벗어남 정도의 파라미터 값을 획득하는 단계- 머리 위치 벗어남 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 머리 위치 벗어남 상태, 머리 위치 벗어남 방향, 머리 위치 벗어남 방향에서의 머리 위치의 벗어남 각도, 머리 위치 벗어남 지속시간, 또는 머리 위치 벗어남 빈도 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 얼굴 배향을 결정하여 얼굴 배향 정보를 획득하는 단계- 얼굴 배향 정보는, 예를 들어, 얼굴 회전의 방향 및 각도를 포함할 수 있고, 본 명세서에서의 회전 방향은 좌측으로의 회전, 우측으로의 회전, 하향 회전, 및/또는 상향 회전 등을 포함할 수 있고, 예를 들어, 머리 자세 정보에서의 피치 각도 및 요 각도가 얼굴 배향으로서 획득될 수 있음 -; 및 기간 내의 얼굴 배향 정보에 따라 얼굴 배향 벗어남 정도의 파라미터 값을 획득하는 단계- 얼굴 배향 벗어남 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 머리 회전들의 수, 머리 회전 지속시간, 또는 머리 회전 빈도 등 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계; 또는 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하고, 제6 신경망에 기초하여 눈 영역 이미지에서의 운전자의 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계- 시선 방향 벗어남 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 시선 방향 벗어남 각도, 시선 방향 벗어남 지속시간, 또는 시선 방향 벗어남 빈도 등 중 임의의 하나 이상을 포함함 -; 및/또는,
기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계- 멍함 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 눈 뜸 레벨, 눈 뜸 지속시간, 또는 눈 뜸 누적 지속시간 대 통계적 시간대의 비율 등 중 임의의 하나 이상을 포함할 수 있음 -를 포함한다.
실시예들에서, 운전자 이미지에서의 운전자의 산만 상태를 표현하기 위한 임의의 하나 이상의 인덱스의 파라미터 값이 검출되고, 운전자의 산만 상태 검출 결과가 파라미터 값에 따라 결정되어, 운전자가 운전에 집중하는지를 결정한다. 운전자의 산만 상태를 표현하기 위한 인덱스에 대해 정량화를 수행하는 것에 의해 머리 위치 벗어남 정도, 얼굴 배향 벗어남 정도, 시선 방향 벗어남 정도, 및 멍함 정도와 같은 인덱스들 중 적어도 하나로 운전 주의 정도를 정량화하는 것은 운전자의 운전 주의 상태를 시간적으로 그리고 객관적으로 평가하기에 유익하다.
일부 구현들에서, 실시예들에서, 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보에 따라 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하는 단계- 졸음 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 졸음 끄덕임 상태, 졸음 끄덕임 레벨, 졸음 끄덕임들의 수, 졸음 끄덕임 빈도, 또는 졸음 끄덕임 지속시간 중 임의의 하나 이상; 포함할 수 있음 - 및/또는,
기간 내의 눈 상태 정보에 따라 눈 감음 정도의 파라미터 값을 획득하는 단계- 눈 감음 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 눈 감음들의 수, 눈 감음 빈도, 눈 감음 지속시간, 눈 감음 레벨, 눈 반-감음들의 수, 눈 반-감음 빈도, 또는 눈 감음 누적 지속시간 대 통계적 시간대의 비율 등 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
기간 내의 눈 상태 정보에 따라 깜빡임 정도의 파라미터 값을 획득하는 단계- 본 개시내용의 실시예들에서, 눈 상태 정보에 따라, 눈 뜸 상태로부터 눈 감음 상태로 그리고 다음으로 눈 뜸 상태로 변경되는 눈의 프로세스는 깜빡임 액션을 완료하는 것으로 고려될 수 있고, 깜빡임 액션을 위해 요구되는 시간은, 예를 들어, 이에 제한되는 것은 아니지만, 약 0.2 내지 1초일 수 있고, 깜빡임 정도의 파라미터 값은, 예를 들어, 깜빡임들의 수, 깜빡임 빈도, 깜빡임 지속시간, 또는 깜빡임 누적 지속시간 대 통계적 시간대의 비율 등 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하는 단계- 하품 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 하품 상태, 하품들의 수, 하품 지속시간, 또는 하품 빈도 등 중 임의의 하나 이상을 포함할 수 있음 -를 포함한다.
전술한 실시예들에서, 머리 자세 정보는 심화 학습 기술에 기초하여 획득될 수 있고, 운전자 이미지에서의 운전자의 머리 위치, 얼굴 배향, 및 시선 방향은 머리 자세 정보에 따라 결정되고, 이는 머리 위치 정보, 얼굴 배향 정보, 및 시선 방향 정보의 정확도를 개선하여, 머리 자세 정보에 기초하여 결정되는 운전자 상태들을 표현하기 위한 인덱스들의 파라미터 값들이 더 정확하고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선하는 것을 용이하게 한다.
머리 위치 정보는, 운전자가 자신의 머리를 하강하는지, 자신의 머리를 상승시키는지, 자신의 머리를 기울이는지, 또는 자신의 머리를 회전하는지를 결정하는 것과 같이, 운전자의 머리 위치가 정상인지를 결정하기 위해 사용될 수 있다. 선택적으로, 머리 위치 정보는 머리의 피치 각도, 요 각도, 및 롤 각도에 의해 결정될 수 있다. 얼굴 배향 정보는, 운전자의 얼굴 방향이 정상인지를 결정하기 위해, 예를 들어, 운전자가 그/그녀의 얼굴을 회전하는지 또는 돌리는지 등을 결정하기 위해 사용될 수 있다. 선택적으로, 얼굴 배향 정보는 운전자의 얼굴의 전방과 운전자에 의해 운전되는 차량의 전방 사이의 끼인각일 수 있다. 전술한 시선 방향 정보는, 운전자의 시선 방향이 정상인지를 결정하기 위해, 예를 들어, 운전자가 앞쪽에 시선을 두는지를 결정하기 위해 등으로 사용될 수 있다. 시선 방향 정보는 벗어남 현상이 운전자의 시선에서 발생하는지를 결정하기 위해 사용될 수 있다. 선택적으로, 시선 방향 정보는 운전자의 시선과 운전자에 의해 운전되는 차량의 전방 사이의 끼인각일 수 있다.
하나의 선택적 예에서, 얼굴 배향 정보가 제1 배향 초과라고 결정되고, 제1 배향 초과인 현상이 N1개의 프레임들에 대해 계속되면(예를 들어, 9개 프레임들, 10개 프레임들 등에 대해 계속됨), 운전자가 장시간 큰-각도 머리 회전을 경험했다고 결정되고, 장시간 큰-각도 머리 회전이 기록될 수 있거나, 또는 이러한 머리 회전의 지속시간이 기록될 수 있다. 얼굴 배향 정보가 제1 배향 초과는 아니지만 제2 배향 초과이고, 제1 배향 초과는 아니지만 제2 배향 초과인 현상이 N1개의 프레임들에 대해 계속된다고 결정되면(N1은 0 초과인 정수이고, 예를 들어, 9개 프레임들, 10개 프레임들 등에 대해 계속됨), 운전자가 장시간 작은-각도 머리 회전을 경험했다고 결정되고, 장시간 작은-각도 머리 회전이 기록될 수 있거나, 또는 이러한 머리 회전의 지속시간이 기록될 수 있다.
하나의 선택적 예에서, 시선 방향 정보와 차량의 전방 사이의 끼인각이 제1 끼인각 초과라고 결정되고, 제1 끼인각 초과인 현상이 N2개의 프레임들에 대해 계속된다고 결정되면(예를 들어, 8개의 프레임들, 9개의 프레임들 등에 대해 계속됨), 운전자가 심각한 시선 벗어남을 경험하였다고 결정되고, 심각한 시선 벗어남 각도가 기록될 수 있거나, 또는 이러한 심각한 시선 벗어남의 지속시간이 기록될 수 있다. 시선 방향 정보와 차량의 전방 사이의 끼인각이 제1 끼인각 초과는 아니지만 제2 끼인각 초과라고 결정되고, 제1 끼인각 초과는 아니지만 제2 끼인각 초과인 현상이 N2개의 프레임들에 대해 계속된다고 결정되면(N2는 0 초과인 정수이고, 예를 들어, 9 프레임들, 10 프레임들 등에 대해 계속됨), 운전자가 시선 벗어남을 경험했다고 결정되고, 시선 벗어남 각도가 기록될 수 있거나, 또는 이러한 시선 벗어남의 지속시간이 기록될 수 있다.
하나의 선택적 예에서, 전술한 제1 배향, 제2 배향, 제1 끼인각, 제2 끼인각, N1, 및 N2의 값들은 실제 상황들에 따라 설정될 수 있고, 본 개시내용은 이러한 값들을 제한하지 않는다.
전술한 실시예들에서, 눈 상태 정보는 심화 학습 기술에 기초하여 획득될 수 있고, 눈 감음 정도의 파라미터 값, 멍함 정도의 파라미터 값, 및 깜빡임 정도의 파라미터 값은 눈 상태 정보에 따라 결정되고, 눈 감음 정도의 파라미터 값, 멍함 정도의 파라미터 값, 및 깜빡임 정도의 파라미터 값의 정확도가 개선되어, 눈 상태 정보에 기초하여 결정되는 운전자 상태를 표현하기 위한 인덱스들의 파라미터 값들이 더 정확하고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선하는 것을 용이하게 한다.
전술한 실시예들에서, 입 상태 정보는 심화 학습 기술에 기초하여 획득될 수 있고, 하품 정도를 표현하기 위한 파라미터 값은 입 상태 정보에 따라 결정되고, 이는 하품 정도의 파라미터 값의 정확도를 개선하여, 입 상태 정보에 기초하여 결정되는 운전자 상태들을 표현하기 위한 인덱스들의 파라미터 값들이 더 정확하고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선하는 것을 용이하게 한다.
전술한 실시예들에서, 제6 신경망은 심화 학습 기술에 기초하여 획득될 수 있고 미리 샘플 이미지들로 트레이닝될 수 있다. 트레이닝된 제6 신경망은 입력 이미지에 대한 시선 방향 정보를 직접 출력하여, 시선 방향 정보의 정확도를 개선하고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선할 수 있다.
제6 신경망은 다양한 방식들로 트레이닝될 수 있고, 이는 본 개시내용에서 제한되지 않는다. 예를 들어, 하나의 접근법에서, 샘플 이미지 및 이러한 샘플 이미지에서의 동공을 캡처하는 카메라에 따라 제1 시선 방향이 결정될 수 있다. 샘플 이미지는 적어도 눈 이미지를 포함한다. 샘플 이미지의 시선 방향은 제6 신경망에 의해 검출되어, 제1 검출된 시선 방향을 획득한다. 제6 신경망은 제1 시선 방향 및 제1 검출된 시선 방향에 따라 트레이닝된다. 다른 예를 들어, 하나의 접근법에서, 제1 카메라 좌표계에서의 샘플 이미지에서의 동공 참조 지점의 제1 좌표들이 결정되고, 제1 카메라 좌표계에서의 샘플 이미지에서의 각막 참조 지점의 제2 좌표들이 결정된다. 샘플 이미지는 적어도 눈 이미지를 포함한다. 샘플 이미지의 제2 시선 방향은 제1 좌표들 및 제2 좌표들에 따라 결정된다. 제6 신경망에 의해 샘플 이미지에 대해 시선 방향 검출이 수행되어 제2 검출된 시선 방향을 획득한다. 제6 신경망은 제2 시선 방향 및 제2 검출된 시선 방향에 따라 트레이닝된다.
일부 선택적 예들에서, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하는 단계는, 얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하고, 동공 에지 위치에 따라 동공 중앙 위치를 계산하는 단계; 동공 중앙 위치 및 눈 중앙 위치에 따라 머리 자세 정보에 대응하는 머리 자세에서 안구 회전 각도 정보를 획득하는 단계; 머리 자세 정보 및 안구 회전 각도 정보에 따라 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하는 단계를 포함한다.
얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하는 단계는, 제7 신경망에 기초하여 얼굴 주요 지점들에 따라 분할되는 이미지에서의 눈 이미지에 대해 동공 에지 위치 검출을 수행하고, 제7 신경망에 의해 출력되는 정보에 따라 동공 에지 위치를 획득하는 단계를 포함할 수 있다.
하나의 선택적 예로서, 눈 이미지는 운전자 이미지로부터 오려내기되고 확대되고 다음으로 동공 주요 지점 검출을 구현하기 위한 동공 위치지정을 위해 제7 신경망에 제공되고, 검출된 동공 주요 지점이 출력된다. 동공 에지 위치는 제7 신경망에 의해 출력되는 동공 주요 지점에 따라 획득되고, 동공 중앙 위치는 동공 에지 위치를 계산하는 것(예를 들어, 중앙 위치를 계산하는 것)에 의해 획득될 수 있다.
하나의 선택적 예로서, 눈 중앙 위치는 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인에 기초하여 획득될 수 있다. 예를 들어, 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 모든 주요 지점들의 좌표 정보가 추가되고, 다음으로 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 모든 주요 지점들의 수에 의해 분할되고, 분할 후에 획득되는 좌표 정보가 눈 중앙 위치로서 사용된다. 또한, 눈 중앙 위치를 획득하기 위해 다른 방법들이 또한 사용될 수 있다. 예를 들어, 눈 중앙 위치를 획득하기 위해 검출된 얼굴 주요 지점들에서의 눈 주요 지점이 계산된다. 본 개시내용은 눈 중앙 위치를 획득하는 구현을 제한하지 않는다.
실시예들에서, 더 정확한 동공 중앙 위치는 동공 주요 지점 검출에 기초하여 동공 중앙 위치를 획득하는 것에 의해 획득될 수 있고, 더 정확한 눈 중앙 위치는 눈꺼풀 라인 위치지정에 기초하여 눈 중앙 위치를 획득하는 것에 의해 획득될 수 있어, 시선 방향이 동공 중앙 위치 및 눈 중앙 위치를 사용하여 결정될 때 더 정확한 시선 방향 정보가 획득될 수 있다. 또한, 동공 중앙 위치는 동공 주요 지점 검출을 사용하여 위치지정되고, 시선 방향은 동공 중앙 위치 및 눈 중앙 위치를 사용하여 결정되어, 시선 방향을 결정하는 구현 모드가 정확하고 용이하게 달성된다.
하나의 선택적 예에서, 본 개시내용은 동공 에지 위치의 검출 및 눈 중앙 위치의 검출을 구현하기 위해 기존의 신경망들을 이용할 수 있다.
제7 신경망은 심화 학습 기술에 기초하여 미리 훈련될 수 있다. 실시예들에서, 동공 에지 위치의 검출은 동공 에지 위치의 정확한 검출을 실현하기 위해 제7 신경망을 사용하여 수행되고, 그렇게 함으로써 시선 방향 정보의 정확도를 개선한다.
하나의 선택적 예에서, 시선 방향 벗어남 정도의 파라미터 값이 기간 내의 시선 방향 정보에 따라 획득될 때, 시선 방향 벗어남 정도의 파라미터 값은 기간 내의 참조 시선 방향에 대한 시선 방향 정보의 벗어남 각도에 따라 획득된다.
참조 시선 방향이 미리 설정되거나, 또는 운전자 이미지가 위치되는 비디오에서의 처음 N개의 운전자 이미지 프레임들에 기초하여 결정되는 평균 시선 방향이 참조 시선 방향으로서 취해진다. N은 1 초과인 정수이다.
본 개시내용의 실시예들에서, 눈들이 미리 설정된 기간 동안 눈 뜸 상태에 있을 때 운전자가 멍함 상태에 있는 것으로 고려된다. 하나의 선택적 예에서, 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계는, 눈 상태 정보에 따라, 운전자의 눈들이 미리 설정된 주기의 멍함 시간 동안 눈 뜸 상태에 있을 때 운전자가 멍함 상태에 있다고 결정하는 단계; 및 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계를 포함할 수 있다. 기간은 미리 설정된 주기의 멍함 시간을 포함한다.
본 개시내용의 실시예들에서, 머리는 정상 머리 위치로부터 갑자기 하강하고 다음으로 정상 머리 위치로 복귀하고(즉, 머리 자세 정보에서의 피치 각도는 정상 운전 상태 동안의 0도로부터 특정 각도로 변경되고 다음으로 미리 설정된 짧은 기간 내에 0도로 복귀함), 이것은 졸음 끄덕임으로서 고려된다. 하나의 선택적 예에서, 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하는 단계는, 머리 위치 정보에 따라, 운전자의 머리 위치가 제1 미리 설정된 기간 내의 미리 설정된 벗어남 범위에 도달하는 미리 설정된 참조 머리 위치에 관한 벗어남 정도를 갖고 제2 미리 설정된 기간 내의 미리 설정된 참조 머리 위치로 복귀할 때 운전자가 졸음 상태에 있다고 결정하는 단계; 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하는 단계- 기간은 제1 미리 설정된 기간 및 제2 미리 설정된 기간을 포함함 -를 포함할 수 있다.
본 개시내용의 실시예들에서, 입이 닫음 상태에서 벌림 상태로 다음으로 닫음 상태로 있는 프로세스는 하품 액션으로서 고려되고, 하품 액션에 요구되는 시간은 일반적으로 400 ms 초과이다. 하나의 선택적 예에서, 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하는 단계는, 입 상태 정보에 따라, 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 입 닫음 상태로 복귀하는 시간이 미리 설정된 시간 범위 내에 있을 때 운전자가 하품 액션을 완료한다고 결정하는 단계; 및 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하는 단계를 포함할 수 있다. 기간은 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 입 닫음 상태로 복귀하는 시간을 포함한다.
일부 구현들에서, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 피로 상태 검출 결과를 결정하는 단계는, 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 피로 상태 검출 결과가 피로 상태라고 결정하는 단계; 및/또는, 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 어느 것도 미리 결정된 피로 조건을 충족시키지 않을 때 피로 상태 검출 결과가 비-피로 상태라고 결정하는 단계를 포함한다.
미리 결정된 피로 조건은 다수의 피로 레벨 조건들을 포함한다. 따라서, 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 피로 상태 검출 결과가 피로 상태라고 결정하는 단계는, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 피로 레벨 조건에 따라 피로 상태 레벨을 결정하는 단계; 및 결정된 피로 상태 레벨을 피로 상태 검출 결과로서 취하는 단계를 포함한다.
실시예들에서, 피로 상태 검출 결과는 피로 운전 정도로서 표현될 수 있다. 피로 운전 정도는, 예를 들어, 정상 운전 레벨(즉, 비-피로 상태 레벨) 및 피로 운전 레벨(즉, 피로 상태 레벨)을 포함할 수 있고, 피로 운전 레벨은 하나의 피로 상태 레벨일 수 있거나, 또는 다수의 상이한 피로 상태 레벨들로 분할될 수 있고, 예를 들어, 전술한 피로 운전 레벨은 피로 프롬프트 레벨(가벼운 피로 레벨이라고 또한 불림) 및 피로 경고 레벨(심각한 피로 레벨이라고 또한 불림)로 분할될 수 있다. 또한, 피로 운전 정도는 더 많은 레벨들, 예를 들어, 가벼운 피로 레벨, 보통의 피로 레벨, 및 심각한 피로 레벨 등으로 또한 분할될 수 있다. 본 개시내용은 피로 운전 정도에 포함되는 상이한 피로 상태 레벨들을 제한하지 않는다.
하나의 선택적 예에서, 피로 운전 정도에 포함되는 각각의 피로 상태 레벨은 피로 레벨 조건에 대응하고, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 피로 레벨 조건에 대응하는 피로 상태 레벨, 또는 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값이 피로 레벨 조건들 중 어느 것도 충족시키지 않는 비-피로 상태가 피로 운전 정도로서 결정된다.
하나의 선택적 예에서, 정상 운전 레벨(즉, 비-피로 상태)(즉, 미리 결정된 피로 조건들이 충족되지 않음)에 대응하는 미리 설정된 조건들은,
조건 20a, 눈 반-감음 및 눈 감음의 현상이 없음; 및
조건 20b, 하품의 현상이 없음을 포함한다.
조건들 20a 및 20b 양자 모두가 충족되는 경우, 운전자는 현재 정상 운전 레벨(즉, 비-피로 상태)에 있다.
하나의 선택적 예에서, 피로 프롬프트 레벨에 대응하는 피로 레벨 조건은,
조건 20c, 눈 반-감음의 현상이 존재함; 및
조건 20d, 하품의 현상이 존재함을 포함할 수 있다.
조건 20a 및 20d 중 임의의 것이 충족되는 경우, 운전자는 현재 피로 프롬프트 레벨에 있다.
하나의 선택적 예에서, 피로 경고 레벨에 대응하는 피로 레벨 조건들은,
조건 20d: 눈 감음의 현상이 존재하거나, 또는 기간 내의 눈 감음들의 수가 미리 설정된 횟수에 도달하거나, 또는 기간 내의 눈 감음의 시간이 미리 설정된 시간에 도달함; 및
조건 20e: 기간 내의 하품들의 수가 미리 설정된 횟수에 도달함을 포함할 수 있다.
조건 20d 및 20e 중 임의의 것이 충족되는 경우, 운전자는 현재 피로 경고 레벨에 있다.
일부 구현들에서, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 산만 상태 검출 결과를 결정하는 단계는, 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 산만 상태 검출 결과가 산만 상태라고 결정하는 단계; 및/또는, 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 어느 것도 미리 결정된 산만 조건을 충족시키지 않을 때 산만 상태 검출 결과가 비-산만 상태라고 결정하는 단계를 포함한다.
미리 결정된 산만 조건은 다수의 산만 레벨 조건들을 포함한다. 따라서, 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 산만 상태 검출 결과가 산만 상태라고 결정하는 단계는, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 레벨 조건에 따라 산만 상태 레벨을 결정하는 단계; 및 결정된 산만 상태 레벨을 산만 상태 검출 결과로서 취하는 단계를 포함할 수 있다.
실시예들에서, 산만 상태 검출 결과는 산만 운전 정도로서 표현될 수 있다. 산만 운전 정도는, 예를 들어, 집중된 운전자의 집중(운전자의 주의가 산만하지 않음, 즉, 비-산만 상태), 산만한 운전자의 집중(산만 상태)을 포함할 수 있다. 예를 들어, 시선 방향 벗어남 각도, 얼굴 배향 벗어남 각도, 및 머리 위치 벗어남 각도가 모두 제1 미리 설정된 각도보다 작고, 눈 뜸 지속시간이 제1 미리 설정된 지속시간보다 짧으면, 운전자의 집중은 집중된다(운전자의 주의가 산만하지 않음, 즉, 비-산만 상태). 운전자 산만 레벨은, 예를 들어, 운전자의 주의가 약간 산만함, 운전자의 주의가 적당히 산만함, 운전자의 주의가 심각하게 산만함 등을 포함할 수 있다. 운전자 산만 레벨은 운전자 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 레벨 조건에 의해 결정될 수 있다. 예를 들어, 시선 방향 벗어남 각도, 얼굴 배향 벗어남 각도, 및 머리 위치 벗어남 각도 중 임의의 것이 미리 설정된 각도 미만이 아니거나, 지속시간이 제1 미리 설정된 지속시간 초과는 아니고 제2 미리 설정된 지속시간 미만이거나, 또는 눈 뜸 지속시간이 제1 미리 설정된 지속시간 초과는 아니고 제2 미리 설정된 지속시간 미만이면, 운전자의 주의는 약간 산만하다. 시선 방향 벗어남 각도 및 얼굴 배향 벗어남 각도 중 어느 하나가 미리 설정된 각도 미만이 아니거나, 지속시간이 제2 미리 설정된 지속시간 초과는 아니고 제3 미리 설정된 지속시간 미만이거나, 또는 눈 뜸 지속시간이 제2 미리 설정된 지속시간 초과는 아니고 제3 미리 설정된 지속시간 미만이면, 운전자의 주의는 적당히 산만하다. 시선 방향 벗어남 각도 및 얼굴 배향 벗어남 각도 중 어느 하나가 미리 설정된 각도 미만이 아니고, 지속시간이 제3 미리 설정된 지속시간 미만이 아니고, 눈 뜸 지속시간이 제3 미리 설정된 지속시간 미만이 아니면, 운전자의 주의는 심각하게 산만하다.
도 3은 본 개시내용에 따른 운전 상태 검출 방법의 또 다른 실시예의 흐름도이다. 전술한 도 1 또는 도 2에 비교하여, 실시예들의 운전 상태 검출 방법은 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하기 위한 관련 동작을 추가로 포함한다. 도 3에 도시되는 바와 같이, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하는 실시예는 다음의 단계들을 포함한다.
302에서, 운전자 이미지에 대해 미리 결정된 산만 액션 검출이 수행되어 미리 결정된 산만 액션이 발생하는지를 결정한다.
본 개시내용의 실시예들에서의 미리 결정된 산만 액션은 운전자를 산만하게 할 수 있는 임의의 산만 액션, 예를 들어, 흡연 액션, 음용 액션, 식사 액션, 통화 액션, 오락 액션, 화장 액션 등일 수 있다. 식사 액션은, 예를 들어, 과일, 간식 및 다른 식품을 식사하는 것이다. 오락 액션은 전자 디바이스의 도움으로 실행되는 임의의 액션, 예를 들어, 메시지들을 전송하는 것, 게임들을 플레이하는 것, 노래하는 것 등이다. 전자 디바이스는 예를 들어 모바일 단말, 핸드헬드 컴퓨터, 게임 머신 등이다.
하나의 선택적 예에서, 동작 302는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 실행될 수 있거나, 또는 프로세서에 의해 실행되는 제2 검출 모듈에 의해 수행될 수 있다.
미리 결정된 산만 액션이 발생하면, 동작 304가 실행된다. 그렇지 않고, 미리 결정된 산만 액션이 발생하지 않으면, 실시예들의 후속 프로세스는 실행되지 않는다.
304에서, 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값은 미리 결정된 산만 액션이 기간 내에 발생하는지를 표시하는 결정 결과에 따라 획득된다.
산만 정도의 파라미터 값은, 이에 제한되는 것은 아니지만, 미리 결정된 산만 액션의 발생들의 수, 미리 결정된 산만 액션의 지속시간, 또는 미리 결정된 산만 액션의 빈도 등, 예를 들어, 흡연 액션의 발생들의 수, 지속시간 및 빈도; 음용 액션의 발생들의 수, 지속시간 및 빈도; 통화 액션의 발생들의 수, 지속시간 및 빈도 등 중 임의의 하나 이상을 포함할 수 있다.
하나의 선택적 예에서, 동작 304는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 실행될 수 있거나, 또는 프로세서에 의해 실행되는 제1 획득 모듈에 의해 수행될 수 있다.
306에서, 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 미리 결정된 산만 액션의 검출 결과가 결정된다.
하나의 선택적 예에서, 동작 306은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 실행될 수 있거나, 또는 프로세서에 의해 실행되는 제4 결정 모듈에 의해 수행될 수 있다.
일부 구현들에서, 동작 302에서, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
운전자 이미지의 특징들을 추출하는 단계;
특징들에 기초하여 미리 결정된 산만 액션을 포함할 수 있는 다수의 후보 박스들을 추출하는 단계;
다수의 후보 박스들에 기초하여 액션 타겟 박스를 결정하는 단계- 액션 타겟 박스는 얼굴의 국소 영역 및 액션 상호작용 객체를 포함하거나, 또는 손 영역을 추가로 선택적으로 포함하고; 얼굴의 국소 영역은, 예를 들어, 이에 제한되는 것은 아니지만, 입 영역, 귀 영역, 또는 눈 영역 등 중 임의의 하나 이상을 포함할 수 있고; 및/또는 액션 상호작용 객체는, 예를 들어, 이에 제한되는 것은 아니지만, 용기, 담배, 모바일 폰, 식품, 도구, 음료 병, 안경, 또는 마스크 등 중 임의의 하나 이상을 포함할 수 있음 -; 및
액션 타겟 박스에 기초하여 미리 결정된 산만 액션에 대해 분류 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함한다.
일부 다른 구현들에서, 동작 302에서, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는, 운전자 이미지에 대해 미리 결정된 산만 액션에 대응하는 타겟 객체 검출을 수행하여 타겟 객체 경계 박스를 획득하는 단계; 및 타겟 객체 경계 박스에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함한다.
실시예들은 운전자에 대해 미리 결정된 산만 액션 검출을 수행하기 위한 구현 스킴을 제공한다. 미리 결정된 산만 액션에 대응하는 타겟 객체를 검출하고 미리 결정된 산만 액션이 검출된 타겟 객체에 대한 경계 박스에 따라 발생하는지를 결정하는 것에 의해, 운전자가 산만하게 되는지가 결정될 수 있고, 이는 운전자의 미리 결정된 산만 액션 검출의 정확한 결과를 획득하는데 기여하여 운전자 상태 검출의 결과들의 정확도를 개선한다.
예를 들어, 미리 결정된 산만 액션이 흡연 액션일 때, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는, 제8 신경망에 의해 운전자 이미지에 대해 얼굴 검출을 수행하여 얼굴 경계 박스를 획득하고, 얼굴 경계 박스의 특징 정보를 추출하는 단계; 및 얼굴 경계 박스의 특징 정보에 따라 제8 신경망에 의해 흡연 액션이 발생하는지를 결정하는 단계를 포함한다.
다른 예를 들어, 미리 결정된 산만 액션이 식사 액션/음용 액션/통화 액션/오락 액션(즉, 식사 액션 및/또는 음용 액션 및/또는 통화 액션 및/또는 오락 액션)/화장 액션일 때, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는, 제9 신경망에 의해 운전자 이미지에 대해 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션에 대응하는 미리 설정된 타겟 객체 검출을 수행하여 미리 설정된 타겟 객체의 경계 박스를 획득하는 단계- 미리 설정된 타겟 객체는 손들, 입, 눈들, 및 액션 상호작용 객체를 포함하고, 액션 상호작용 객체는 용기, 식품, 전자 디바이스, 화장품 등 중 임의의 하나 이상의 타입을 포함함 -; 및 미리 설정된 타겟 객체의 경계 박스에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계- 미리 결정된 산만 액션이 발생하는지의 결정 결과는, 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션이 발생하지 않음; 식사 액션이 발생함; 음용 액션이 발생함; 통화 액션이 발생함; 오락 액션이 발생함; 및 화장 액션이 발생함 중 하나를 포함함 -를 포함한다.
일부 선택적 예들에서, 미리 결정된 산만 액션이 식사 액션/음용 액션/통화 액션/오락 액션(즉, 식사 액션 및/또는 음용 액션 및/또는 통화 액션 및/또는 오락 액션)/화장 액션일 때, 미리 설정된 타겟 객체의 경계 박스에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는, 손 경계 박스, 입 경계 박스, 눈 경계 박스, 및 액션 상호작용 객체 경계 박스가 검출되는지, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하는지, 액션 상호작용 객체의 타입, 및 액션 상호작용 객체 경계 박스와 입 경계 박스 또는 눈 경계 박스 사이의 거리가 미리 설정된 조건을 충족시키는지에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함한다.
선택적으로, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하고, 액션 상호작용 객체의 타입이 용기 또는 식품이고, 액션 상호작용 객체 경계 박스가 입 경계 박스와 중첩하면, 식사 액션, 운전 액션 또는 화장 액션이 발생한다고 결정되고; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하고, 액션 상호작용 객체의 타입이 전자 디바이스이고, 액션 상호작용 객체 경계 박스와 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이거나, 또는 액션 상호작용 객체 경계 박스와 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이면, 오락 액션 또는 통화 액션이 발생한다고 결정된다.
또한, 손 경계 박스, 입 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않고, 손 경계 박스, 눈 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션이 검출되지 않는다는 것이라고 결정되고; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션이 검출되지 않는다는 것이라고 결정되고; 및/또는 액션 상호작용 객체의 타입이 용기 또는 식품이고, 액션 상호작용 객체 경계 박스가 입 경계 박스와 중첩하지 않고, 및/또는, 액션 상호작용 객체의 타입이 전자 디바이스이고, 액션 상호작용 객체 경계 박스와 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이 아니거나, 또는 액션 상호작용 객체 경계 박스와 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이 아니면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션이 검출되지 않는다는 것이라고 결정된다.
전술한 예들에서, 제8 신경망 및 제9 신경망은 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하고 다양한 미리 결정된 산만 액션들의 확률들을 출력할 수 있다. 미리 결정된 산만 액션의 검출 결과로서 미리 설정된 확률 임계값 초과이고 최고 확률 값을 갖는 산만 액션이 선택될 수 있다. 다양한 미리 결정된 산만 액션들의 확률들이 미리 설정된 확률 임계값보다 모두 낮으면, 미리 결정된 산만 액션이 검출되지 않는다고 고려된다.
또한, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하는 전술한 실시예들에서, 이러한 방법은 추가로, 미리 결정된 산만 액션이 발생한다고 결정하면, 검출된 산만 액션에 관한 프롬프트를 제공하는 단계, 예를 들어, 흡연 액션이 검출될 때, 흡연의 검출에 관한 프롬프트를 제공하는 단계; 음용 액션이 검출될 때, 음용의 검출에 관한 프롬프트를 제공하는 단계; 및 통화 액션이 검출될 때, 통화의 검출에 관한 프롬프트를 제공하여 운전에 집중하도록 운전자에게 리마인드는 단계를 포함한다.
또한, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하는 전술한 실시예들에서, 미리 결정된 산만 액션이 발생한다고 결정하면, 이러한 방법은 추가로,
산만 정도를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 액션 레벨 조건에 따라 산만 액션 레벨을 결정하는 단계; 및
결정된 산만 액션 레벨을 미리 결정된 산만 액션의 검출 결과로서 취하는 단계를 포함한다.
실시예들에서, 운전자의 미리 결정된 산만 액션의 검출 결과는, 미리 결정된 산만 액션이 발생하지 않는 것(즉, 미리 결정된 산만 액션이 검출되지 않고, 이는 집중된 운전 레벨이라고 또한 지칭될 수 있음), 및 미리 결정된 산만 액션이 발생하는 것(즉, 미리 결정된 산만 액션이 검출됨)을 포함한다. 또한, 운전자의 미리 결정된 산만 액션의 검출 결과는 또한 산만 액션 레벨, 예를 들어, 산만 프롬프트 레벨(가벼운 산만 레벨이라고 또한 지칭됨) 및 산만 경고 레벨(심각한 산만 레벨이라고 또한 지칭됨)일 수 있다. 또한, 산만 액션 레벨은 또한 더 많은 레벨들, 예를 들어, 비-산만 레벨, 가벼운 산만 레벨, 보통의 산만 레벨, 및 심각한 산만 레벨로 분할될 수 있다. 또한, 본 개시내용의 실시예들의 산만 액션 레벨들은 다른 상황들에 따라 또한 분할될 수 있고, 전술한 레벨 분할에 제한되지 않는다.
산만 액션 레벨들은 산만 정도를 표현하기 위한 인덱스들의 파라미터 값들에 의해 충족되는 산만 액션 레벨 조건들에 의해 결정될 수 있다. 예를 들어, 운전자의 미리 결정된 산만 액션의 검출 결과는 미리 결정된 산만 액션이 발생하지 않는다는 것일 수 있다. 미리 결정된 산만 액션이 발생한다고 결정되고, 미리 결정된 산만 액션의 지속시간이 제1 미리 설정된 지속시간 미만인 것으로 검출되고, 그 빈도가 제1 미리 설정된 빈도 미만이면, 산만 액션 레벨은 가벼운 산만 운전 레벨이고; 미리 결정된 산만 액션의 제1 지속시간이 제1 미리 설정된 지속시간 초과이고, 및/또는 빈도가 제1 미리 설정된 빈도 초과라고 검출되면, 산만 액션 레벨은 심각한 산만 운전 레벨이다.
또한, 전술한 실시예들에서, 이러한 방법은 추가로, 미리 결정된 산만 액션의 검출 결과가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 미리 결정된 산만 액션의 검출 결과에 대응하는 경보 정보를 출력하는 단계를 포함한다.
전술한 실시예들의 일부 구현들에서, 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하는 단계는, 피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 액션의 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하는 단계를 포함한다.
전술한 실시예들의 일부 구현들에서, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하는 단계는, 피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 모션의 검출 결과 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하는 단계; 및/또는, 피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 액션의 검출 결과 중 2개가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 설정된 경보 전략에 따라 경보 정보를 출력하는 단계를 포함한다.
예를 들어, 일부 선택적 예들에서, 피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 액션의 검출 결과 중 2개가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 설정된 경보 전략에 따라 경보 정보를 출력하는 단계는,
피로 상태 검출 결과 및 미리 결정된 산만 액션의 검출 결과가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하는 단계; 및/또는,
산만 상태 검출 결과 및 미리 결정된 산만 액션의 검출 결과 중 2개가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 산만 상태 검출 결과의 경보 정보를 출력하거나, 또는 미리 결정된 경보 조건을 충족시키는 미리 결정된 산만 액션의 검출 결과에 대응하는 경보 정보를 출력하는 단계를 포함한다.
또한, 추가의 구현들에서, 미리 결정된 경보 조건을 충족시키는 다른 검출 결과들에 대응하는 경보 정보는 미리 결정된 경보 조건을 충족시키는 미리 결정된 산만 액션의 검출 결과에 대응하는 경보 정보를 출력한 후 미리 설정된 기간 내에서 억제될 수 있어, 안전하게 운전하도록 운전자에게 프롬프트하는 목적이 달성될 수 있고, 다양한 프롬프트/경고 정보를 반복적으로 출력하는 것에 의해 야기되는 운전자의 정상 운전에 대한 간섭이 또한 회피될 수 있고, 그렇게 함으로써 운전 안전성을 개선한다.
일부 구현들에서, 피로 상태 검출 결과가 피로 상태 레벨일 때, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하는 단계는, 피로 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하는 단계를 포함하고; 및/또는, 산만 상태 검출 결과가 산만 상태 레벨일 때, 미리 결정된 경보 조건을 충족시키는 산만 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계는, 산만 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하는 단계를 포함하고; 및/또는, 미리 결정된 산만 액션의 검출 결과가 산만 액션 레벨일 때, 미리 결정된 경보 조건을 충족시키는 미리 결정된 산만 액션의 검출 결과에 대응하는 경보 정보를 출력하는 단계는, 산만 액션 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하는 단계를 포함한다.
예를 들어, 전술한 실시예들에 기초하여, 피로 상태의 검출 결과가 피로 상태일 때 피로 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계는 다음을 포함한다.
머리 위치 정보에 기초하여, 운전자가 졸음 끄덕임 액션을 행하고 있다고 발견되면, 피로 상태 검출 결과가 피로 상태라고 결정되고, 피로 프롬프트 정보가 출력된다. 운전자가 졸음 및 끄덕임을 유지하면, 운전자의 피로 레벨은 계속 심화되고(즉, 피로 상태 레벨이 증가됨)- 피로 레벨들은 순차적으로 가벼운 피로 레벨, 보통의 피로 레벨, 및 심각한 피로 레벨임 -, 피로 상태 검출 결과가 비-피로 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 피로 경보 정보가 출력된다- X는 0 초과인 값임 -.
눈 상태 정보에 기초하여, 운전자의 눈 감음의 지속시간이 특정 지속시간에 도달하거나 또는 깜빡임 빈도가 특정 값에 도달하는 것으로 발견되면, 피로 상태 검출 결과가 피로 상태라고 결정되고, 피로 프롬프트 정보가 출력된다. 운전자의 눈 감음의 지속시간이 계속 증가하거나 또는 깜빡임 빈도가 항상 너무 높으면, 운전자의 피로 레벨은 계속 심화되고(즉, 피로 상태 레벨이 증가됨)- 피로 레벨들은 순차적으로 가벼운 피로 레벨, 보통의 피로 레벨, 및 심각한 피로 레벨임 -, 피로 상태 검출 결과가 비-피로 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 피로 경보 정보가 출력된다.
입 상태 정보에 기초하여, 운전자가 하품 액션을 행하고 있다고 발견되면, 피로 상태 검출 결과가 피로 상태라고 결정되고, 피로 프롬프트 정보가 출력된다. 운전자가 하품을 유지하면, 운전자의 피로 레벨은 계속 심화되고(즉, 피로 상태 레벨이 증가됨)- 피로 레벨들은 순차적으로 가벼운 피로 레벨, 보통의 피로 레벨, 및 심각한 피로 레벨임 -, 피로 상태 검출 결과가 비-피로 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 피로 경보 정보가 출력된다.
머리 위치 정보, 눈 상태 정보, 및 입 상태 정보에 기초하여, 운전자가 4개의 거동들, 즉, 졸음 및 끄덕임, 눈 감음의 지속시간이 특정 기간에 도달함, 깜빡임 빈도가 특정 값에 도달함, 및 하품 등 중 2개 이상의 상태들에 있는 것이 발견되면, 운전자가 심각한 피로 레벨에 있다고 결정되고, 피로 상태 검출 결과가 비-피로 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 피로 경보 정보가 출력된다.
예를 들어, 전술한 실시예들에 기초하여, 산만 상태의 검출 결과가 산만 상태일 때 산만 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계는 다음을 포함한다.
운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하고, 벗어남 시간이 Y 초를 초과하면, 산만 상태 검출 결과는 머리 위치 정보에 기초하여 산만 상태로서 결정되고, 산만 프롬프트 정보가 출력된다- Y는 0 초과인 값임 -. 운전자의 머리 위치의 벗어남 정도가 미리 설정된 범위를 초과하는 벗어남 시간이 계속 증가함에 따라, 운전자의 산만 정도는 계속 심화되고(즉, 산만 상태 레벨이 증가됨)- 산만 정도들은 순차적으로 운전자의 주의가 약간 산만함, 운전자의 주의가 적당히 산만함, 운전자의 주의가 심각하게 산만함 등임 -, 산만 상태 검출 결과가 비-산만 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 산만 경보 정보가 출력된다.
운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않지만, 시선 방향 벗어남 각도가 미리 설정된 시선 안전성 범위를 초과하고, 지속시간이 Y 초를 초과하면, 산만 상태 검출 결과는 머리 위치 정보 및 시선 방향 정보에 기초하여 산만 상태로서 결정되고, 산만 프롬프트 정보가 출력된다. 시선 방향의 벗어남 정도가 미리 설정된 시선 안전성 범위를 초과하는 지속시간이 계속 증가하기 때문에, 운전자의 산만 정도는 계속 심화되고(즉, 산만 상태 레벨이 증가됨)- 산만 정도들은 순차적으로 운전자의 주의가 약간 산만함, 운전자의 주의가 적당히 산만함, 운전자의 주의가 심각하게 산만함 등임 -, 산만 상태 검출 결과가 비-산만 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 산만 경보 정보가 출력된다.
운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않고, 시선 방향의 벗어남 각도가 미리 설정된 시선 안전성 범위를 초과하지 않지만, 운전자가 멍함 상태에 있는 것이 검출되면, 산만 상태 검출 결과는 머리 위치 정보, 시선 방향 정보, 및 눈 뜸/감음 상태 정보에 기초하여 산만 상태로서 결정되고, 산만 프롬프트 정보가 출력된다. 운전자의 산만 정도가 계속 심화되기 때문에(즉, 산만 상태 레벨이 증가됨)- 산만 정도들은 순차적으로 운전자의 주의가 약간 산만함, 운전자의 주의가 적당히 산만함, 운전자의 주의가 심각하게 산만함 등임 -, 산만 상태 검출 결과가 비-산만 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 산만 경보 정보가 출력된다.
또한, 본 개시내용의 전술한 실시예들에서, 이러한 방법은 추가로, 피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 액션의 검출 결과 중 임의의 하나 이상이 미리 결정된 운전 모드 전환 조건을 충족시키는 것에 응답하여, 운전 모드를 자율 운전 모드로 전환하는 단계를 추가로 포함한다.
일부 구현들에서, 피로 상태 레벨 및/또는 산만 상태 레벨 및/또는 산만 액션 레벨이 미리 결정된 운전 모드 전환 조건을 충족시킬 때 운전 모드가 자율 운전 모드로 전환될 수 있어, 안전 운전 모드를 구현하고 및/또는 도로 교통 사고들을 회피한다.
실시예들에서, 미리 결정된 운전 모드 전환 조건이 충족될 때, 운전 모드는 자율 운전 모드로 전환되고, 자율 운전 모드에 의해 차량의 안전 운전이 실현되어 도로 교통 사고들을 회피한다.
또한, 본 개시내용의 실시예들에서, 운전자 상태들의 검출 결과들이 결정된 후에, 운전자 상태들의 검출 결과들이 또한 출력될 수 있다, 예를 들어, 운전자 상태들의 검출 결과들이 국소적으로 출력되고 및/또는 운전자 상태들의 검출 결과들이 원격으로 출력된다. 운전자 상태들의 검출 결과들이 국소적으로 출력되거나, 즉, 운전자 상태들의 검출 결과들이 운전자 상태 검출 장치 또는 운전자 모니터링 시스템에 의해 출력되거나, 또는 운전자 상태들의 검출 결과들이 차량에서의 중앙 제어 시스템에 출력되어, 운전자 상태들의 검출 결과들에 기초하여 차량에 대해 지능형 운전 제어가 수행된다. 운전자 상태들의 검출 결과들이 원격으로 출력되고, 예를 들어, 운전자 상태들의 검출 결과들이 클라우드 서버 또는 관리 노드에 전송될 수 있어 클라우드 서버 또는 관리 노드가 운전자 상태들의 검출 결과들을 수집, 분석 및/또는 관리하거나, 또는 운전자 상태들의 검출 결과들에 기초하여 차량이 원격으로 제어된다.
또한, 전술한 실시예들에서, 운전자 상태들의 검출 결과들이 데이터베이스에서의 운전자의 사용자 정보에 또한 저장될 수 있고, 운전자의 운전 상태 검출 결과가 기록되어 운전자의 운전 상태 검출 결과의 후속 쿼리, 또는 운전자의 운전 거동 습관들에 관한 분석 및 통계적 수집을 용이하게 한다.
또한, 본 개시내용의 운전 상태 검출 방법의 다른 실시예에서, 이러한 방법은 추가로, 적외선 카메라에 의해 이미지 취득을 수행하는 단계, 예를 들어, 차량 내의 적어도 하나의 위치에 배치되는 적외선 카메라에 의해 이미지 취득을 수행하여 운전자 이미지를 획득하는 단계를 포함한다.
본 개시내용의 실시예들에서의 운전자 이미지는 일반적으로 운전석으로부터 적외선 카메라(근-적외선 카메라 등을 포함함)에 의해 캡처되는 비디오에서의 이미지 프레임이다.
적외선 카메라의 파장은 940 nm 또는 850 nm를 포함한다. 적외선 카메라는 운전자가 차량의 운전석에서 촬영될 수 있는 임의의 위치에 제공될 수 있고, 예를 들어, 적외선 카메라는 다음의 위치들: 대시보드 위의 또는 근처의 위치, 중앙 콘솔 위의 또는 근처의 위치, A-필러 또는 근처의 위치, 또는 리어뷰 미러 또는 근처의 위치 중 임의의 하나 이상에 배치될 수 있다. 예를 들어, 일부 선택적 예들에서, 적외선 카메라는 (위 우측 위치와 같은) 대시보드 위의 위치에 그리고 직접 전방으로 향하여 제공될 수 있고, 중앙 콘솔 위의 위치에(예를 들어, 중간 위치에) 그리고 직접 전방으로 향하여 제공될 수 있고, A-필러 상에(예를 들어, 이것은 A-필러에 근접한 유리에 부착될 수 있음) 그리고 운전자의 얼굴을 향하여 또한 제공될 수 있고, 리어뷰 미러 상에(예를 들어, 이것은 리어뷰 미러 위의 유리에 부착될 수 있음) 그리고 운전자의 얼굴을 향하여 또한 제공될 수 있다. 적외선 카메라가 대시보드 위 및 중앙 콘솔 위의 위치에 제공될 때, 그 선택적 위치는 카메라의 시야 및 운전자의 위치에 따라 결정되고, 예를 들어, 대시보드 위의 위치에 제공될 때, 적외선 카메라는 카메라 시야가 스티어링 휠에 의해 차단되지 않는 것을 보장하도록 운전자를 향할 수 있고; 중앙 콘솔 위의 위치에 제공될 때, 카메라의 시야가 충분히 크면, 적외선 카메라는 운전자가 카메라의 시야의 필드에 있는 것을 보장하기 위해 후방에 조준될 수 있고, 시야가 충분히 크지 않으면, 적외선 카메라는 운전자가 적외선 카메라의 시야에 나타나는 것을 보장하기 위해 운전자를 향할 수 있다.
(예를 들어, 자동차에서 또는 운전석에서) 운전자가 위치되는 영역에서의 조명이 종종 복잡하기 때문에, 적외선 카메라에 의해 캡처되는 운전자 이미지의 품질은, 특히 야간에 또는 흐린 하늘 또는 터널과 같은 어두운 환경에서, 통상의 카메라에 의해 캡처되는 운전자 이미지의 품질보다 더 양호한 경향이 있고, 적외선 카메라에 의해 캡처되는 운전자 이미지의 품질은 통상의 카메라에 의해 캡처되는 운전자 이미지의 품질보다 일반적으로 상당히 더 양호하며, 이는 운전자 산만 상태 검출 및 산만 액션 검출의 정확도를 개선하기에 유익하여, 운전 상태 모니터링의 정확도를 개선한다.
본 개시내용의 실시예들에서, 배치하기 용이한 그리고 사용하기 용이한 적외선 카메라가 실시간으로 운전자 이미지를 획득하도록 구성된다. 이러한 카메라는 다양한 위치들에, 예를 들어, 차량의 중앙 콘솔, 대시보드, A-필러, 및 내부 리어뷰 미러 등 상에 설치될 수 있다. 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 구현하기 위해 심화 학습 기술에 기초하여 신경망을 사용하여, 강건성이 양호하고, 적용 범위가 넓고, 더 양호한 운전 상태 검출 효과가 주간, 야간, 강한 조명, 약한 조명 및 다른 시나리오들에서 달성될 수 있다.
선택적으로, 실제 적용들에서, 카메라에 의해 캡처되는 원본 이미지는 종종 다양한 제한들 및 랜덤 간섭으로 인해 직접 사용될 수 없다. 본 개시내용의 일부 선택적 예들에서, 적외선 카메라에 의해 캡처되는 운전자 이미지에 대해 그레이-스케일 전처리가 수행될 수 있고, RGB(red, green and blue) 3-채널 이미지가 그레이-스케일 이미지로 변환되고, 다음으로 운전자의 아이덴티티 인증, 산만 상태 검출 및 산만 액션 검출과 같은 동작들이 수행되어 아이덴티티 인증, 산만 상태 검출 및 산만 액션 검출의 정확도를 개선한다.
일부 구현들에서, 예를 들어, 이미지 취득은 다음 시나리오들에서 운전자 이미지를 획득하기 위해 적외선 카메라에 의해 수행된다:
차량이 운전 상태에 있을 때 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계; 및/또는,
차량의 주행 속도가 미리 설정된 속도를 초과할 때 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계; 및/또는,
차량이 파워 온된 것을 검출한 후에 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계; 및/또는,
차량의 시작 명령어가 검출될 때 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계; 및/또는,
차량 또는 차량에서의 컴포넌트 또는 시스템으로의 제어 명령어(예를 들어, 가속함, 가속함, 조향함, 창들을 개방함 또는 폐쇄함, 에어 컨디셔너를 켬 또는 끔, 오락 시스템들을 켬 또는 끔 등)가 검출될 때 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계.
적용 시나리오들 중 일부에서, 운전자가 차량을 시작하고 운전 상태 모니터링 장치 또는 운전자 모니터링 시스템을 시작할 때, 적외선 카메라가 운전 상태 검출을 위한 운전자 이미지를 취득하기 시작한다.
본 출원의 전술한 실시예들의 운전 상태 검출 방법은, 적외선(근-적외선을 포함함) 카메라에 의해 이미지 취득을 수행하여 운전자 이미지를 획득하고, 다음으로 운전자 이미지를 구현을 위해 신경망을 로딩할 수 있는 단일 칩 마이크로컴퓨터, FPGA, ARM, CPU, GPU, 마이크로프로세서, 스마트 모바일 폰, 노트북 컴퓨터, 태블릿 컴퓨터(PAD), 데스크톱 컴퓨터, 또는 서버와 같은 전자 디바이스에 전송하는 단계를 포함한다. 이러한 전자 디바이스는, 플래시 메모리, 캐시, 하드 디스크, 또는 광 디스크와 같은 컴퓨터 판독가능 저장 매체에 저장될 수 있는, 컴퓨터 프로그램(프로그램 코드라고 또한 불림)을 실행할 수 있다.
본 개시내용의 실시예들에 의해 제공되는 임의의 운전 상태 분석 방법은, 이에 제한되는 것은 아니지만, 단말 디바이스, 서버 등을 포함하는, 데이터 처리 능력이 있는 임의의 적절한 디바이스에 의해 실행될 수 있다. 대안적으로, 본 개시내용의 실시예들에서 제공되는 임의의 운전 상태 분석 방법은 프로세서에 의해 실행되고, 예를 들어, 본 개시내용의 실시예들에서 언급되는 임의의 운전 상태 분석 방법은 메모리에 저장되는 대응하는 명령어들을 호출하는 것에 의해 프로세서에 의해 실행된다. 상세사항들이 아래에 다시 설명되지 않는다.
해당 분야에서의 통상의 기술자는, 이러한 방법의 전술한 실시예들을 구현하는 모든 또는 일부 단계들이 관련 하드웨어에게 명령하는 것에 의해 프로그램에 의해 달성되고; 전술한 프로그램은 컴퓨터-판독가능 저장 매체에 저장될 수 있고; 이러한 프로그램이 실행될 때, 이러한 방법의 전술한 실시예들을 포함하는 단계들이 실행된다는 점을 이해할 수 있다. 또한, 전술한 저장 매체는, ROM(Read-Only Memory), RAM(Random Access Memory), 자기 디스크, 또는 광 디스크와 같은, 프로그램 코드들을 저장할 수 있는 다양한 매체를 포함한다.
도 4는 본 개시내용에 따른 운전 상태 분석 장치의 하나의 실시예의 개략 구조도이다. 실시예들의 운전 상태 분석 장치는 본 개시내용의 실시예들의 전술한 운전 상태 분석 방법을 구현하도록 구성될 수 있다. 도 4에 도시되는 바와 같이, 실시예들에서의 운전 상태 분석 장치는, 운전자 이미지에 대해 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하여 피로 상태 검출 결과 및 산만 상태 검출 결과를 획득하도록 구성되는 운전 상태 검출 모듈; 및 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하도록; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하도록 구성되는 경보 모듈을 포함한다.
일부 구현들에서, 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하도록 구성되는 경보 모듈은, 피로 상태 검출 결과가 피로 상태일 때 피로 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 산만 상태 검출 결과가 산만 상태일 때 산만 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록 구성된다.
본 개시내용의 전술한 실시예들에 의해 제공되는 운전 상태 분석 장치에 기초하여, 운전자의 피로 상태 및 운전자의 산만 상태의 공동 검출이 운전자 이미지에 대해 구현될 수 있고; 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보가 출력되고; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 주의를 기울이도록 운전자에게 프롬프트하기 위해, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보가 출력되고, 따라서 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다. 또한, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보만이 출력되어, 너무 많은 또는 너무 빈번한 경보들에 의해 야기되는 운전자의 산만 및 혐오감이 회피될 수 있다. 본 개시내용은 경보 전략을 최적화하는 것에 의해 보조 운전의 안전성 및 사용자 경험을 개선한다.
일부 다른 실시예들에서, 이러한 경보 모듈은 추가로, 피로 상태 검출 결과에 대응하는 경보 정보를 출력한 후 미리 설정된 기간 내의 미리 결정된 경보 조건을 충족시키는 다른 검출 결과들에 대응하는 경보 정보를 억제하도록; 및/또는, 산만 상태 검출 결과에 대응하는 경보 정보를 출력한 후 미리 설정된 기간 내의 미리 결정된 경보 조건을 충족시키는 다른 검출 결과들에 대응하는 경보 정보를 억제하도록 구성된다.
실시예들은 너무 많은 또는 너무 빈번한 경보들에 의해 야기되는 운전자의 산만 및 혐오감을 추가로 회피할 수 있고, 보조 운전의 안전성 및 사용자 경험을 추가로 개선할 수 있다.
도 5는 본 개시내용에 따른 운전 상태 분석 장치의 하나의 실시예의 개략 구조도이다. 도 5에 도시되는 바와 같이, 도 4에 도시되는 실시예와 비교하여, 이러한 실시예에서의 운전 상태 분석 장치는 추가로, 운전자 이미지에서의 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하는지를 결정하도록 구성되는 제1 결정 모듈을 포함한다. 따라서, 이러한 실시예에서, 운전 상태 검출 모듈은, 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하면, 운전자 이미지에 대해 운전자에 대한 산만 상태 검출을 수행하여 산만 상태 검출 결과를 획득하도록; 및/또는, 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않으면, 운전자 이미지에 대해 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하여 피로 상태 검출 결과 및 산만 상태 검출 결과를 획득하는 동작들을 실행하도록 구성된다.
도 5에 도시되는 바와 같이, 일부 구현들에서, 운전 상태 검출 모듈은, 운전자 이미지에 대해 머리 자세 검출, 눈 상태 검출, 및/또는 입 상태 검출을 수행하여 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보를 획득하도록 구성되는 제1 검출 모듈; 머리 자세 정보 및/또는 눈 상태 정보에 따라 운전자의 산만 상태 검출 결과를 결정하도록 구성되는 제2 결정 모듈; 및 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보에 따라 운전자의 피로 상태 검출 결과를 결정하도록 구성되는 제3 결정 모듈을 포함한다.
일부 선택적 예들에서, 제2 결정 모듈은, 머리 자세 정보 및/또는 눈 상태 정보에 따라 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성되는 제1 결정 유닛; 및 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태 검출 결과를 결정하도록 구성되는 제2 결정 유닛을 포함한다.
일부 선택적 예들에서, 제3 결정 모듈은, 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보에 따라 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성되는 제3 결정 유닛; 및 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 피로 상태 검출 결과를 결정하도록 구성되는 제4 결정 유닛을 포함한다.
일부 선택적 예들에서, 제1 검출 모듈은, 운전자 이미지에 대해 얼굴 주요 지점 검출을 수행하도록 구성되는 주요 지점 검출 유닛; 및 검출된 얼굴 주요 지점들에 따라 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보를 획득하도록 구성되는 제1 획득 유닛을 포함한다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 머리 자세 정보를 획득하도록 구성되는 제1 획득 유닛은, 얼굴 주요 지점들에 기초하여 제1 신경망에 의해 머리 자세 정보를 획득하도록 구성된다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 눈 상태 정보를 획득하도록 구성되는 제1 획득 유닛은, 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하도록; 제2 신경망에 기초하여 눈 영역 이미지에 대해 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 검출들을 수행하도록; 그리고 상위 눈꺼풀 라인과 하위 눈꺼풀 라인 사이의 간격에 따라 운전자의 눈 뜸/감음 상태 정보를 결정하도록- 눈 상태 정보는 눈 뜸/감음 상태 정보를 포함함 - 구성된다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 눈 상태 정보를 획득하도록 구성되는 제1 획득 유닛은, 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하도록; 그리고 제3 신경망에 기초하여 눈 영역 이미지에 대해 눈 뜸/감음 분류 처리를 수행하여 눈 뜸 분류 결과 또는 눈 감음 분류 결과를 획득하도록- 눈 상태 정보는 눈 뜸 상태 또는 눈 감음 상태를 포함함 - 구성된다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득하도록 구성되는 제1 획득 유닛은, 얼굴 주요 지점들에 따라 운전자 이미지에서의 입 영역 이미지를 결정하도록; 제4 신경망에 기초하여 입 영역 이미지에 대해 상위 입술 라인 및 하위 입술 라인의 검출들을 수행하도록; 그리고 상위 입술 라인과 하위 입술 라인 사이의 간격에 따라 운전자의 입 벌림/닫음 상태 정보를 결정하도록- 입 상태 정보는 입 벌림/닫음 상태 정보를 포함함 - 구성된다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득하도록 구성되는 제1 획득 유닛은, 얼굴 주요 지점들에 따라 운전자 이미지에서의 입 영역 이미지를 결정하도록; 그리고 제5 신경망에 기초하여 입 영역 이미지에 대해 입 벌림/닫음 분류 처리를 수행하여 입 벌림 분류 결과 또는 입 닫음 분류 결과를 획득하도록- 입 상태 정보는 입 벌림 상태 또는 입 닫음 상태를 포함함 - 구성된다.
일부 선택적 실시예들에서, 제3 결정 유닛은 머리 자세 정보, 눈 상태 정보, 및 입 상태 정보에 따라 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성된다.
일부 선택적 예들에서, 제1 결정 유닛은, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 머리 위치 정보에 따라 머리 위치 벗어남 정도의 파라미터 값을 획득하도록; 및/또는, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 얼굴 배향을 결정하여 얼굴 배향 정보를 획득하고, 기간 내의 얼굴 배향 정보에 따라 얼굴 배향 벗어남 정도의 파라미터 값을 획득하도록; 및/또는, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하도록; 또는 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하고, 제6 신경망에 기초하여 눈 영역 이미지에서의 운전자의 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하도록; 및/또는, 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하도록 구성된다.
일부 선택적 예들에서, 제3 결정 유닛은, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하도록; 및/또는, 기간 내의 눈 상태 정보에 따라 눈 감음 정도의 파라미터 값을 획득하도록; 및/또는, 기간 내의 눈 상태 정보에 따라 깜빡임 정도의 파라미터 값을 획득하도록; 및/또는, 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하도록 구성된다.
일부 구현들에서, 운전자의 피로 상태를 표현하기 위한 인덱스는, 졸음 정도, 눈 감음 정도, 깜빡임 정도, 또는 하품 정도 중 임의의 하나 이상을 포함하고; 및/또는, 운전자의 산만 상태를 표현하기 위한 인덱스는, 머리 위치 벗어남 정도, 얼굴 배향 벗어남 정도, 시선 방향 벗어남 정도, 또는 멍함 정도 중 임의의 하나 이상을 포함한다.
일부 선택적 예들에서, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하도록 구성되는 제1 결정 유닛 또는 제3 결정 유닛은, 머리 자세 정보에서의 피치 각도를 머리 위치로서 획득하도록 구성되고; 및/또는, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 얼굴 배향을 결정하도록 구성되는 제1 결정 유닛은, 머리 자세 정보에서의 피치 각도 및 요 각도를 얼굴 배향으로서 획득하도록 구성된다.
일부 선택적 예들에서, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하도록 구성되는 제1 결정 유닛은, 얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하고, 동공 에지 위치에 따라 동공 중앙 위치를 계산하도록; 동공 중앙 위치 및 눈 중앙 위치에 따라 머리 자세 정보에 대응하는 머리 자세에서 안구 회전 각도 정보를 획득하도록; 그리고 머리 자세 정보 및 안구 회전 각도 정보에 따라 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하도록 구성된다.
일부 선택적 예들에서, 얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하도록 구성되는 제1 결정 유닛은, 제7 신경망에 기초하여 얼굴 주요 지점들에 따라 분할되는 이미지에서의 눈 영역 이미지에 대해 동공 에지 위치 검출을 수행하도록, 그리고 제7 신경망에 의해 출력되는 정보에 따라 동공 에지 위치를 획득하도록 구성된다.
일부 선택적 예들에서, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하도록 구성되는 제1 결정 유닛은, 기간 내의 참조 시선 방향에 대한 시선 방향 정보의 벗어남 각도에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하도록 구성된다. 참조 시선 방향은 미리 설정되거나, 또는 참조 시선 방향은 운전자 이미지가 위치되는 비디오에서의 처음 N개의 운전자 이미지 프레임들에 기초하여 결정되는 평균 시선 방향이고, N은 1 초과인 정수이다.
일부 선택적 예들에서, 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하도록 구성되는 제1 결정 유닛은, 눈 상태 정보에 따라, 운전자의 눈들이 미리 설정된 주기의 멍함 시간 동안 눈 뜸 상태에 있을 때 운전자가 멍함 상태에 있다고 결정하도록; 그리고 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하도록- 기간은 미리 설정된 주기의 멍함 시간을 포함함 - 구성된다.
일부 선택적 예들에서, 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하도록 구성되는 제3 결정 유닛은, 머리 위치 정보에 따라, 운전자의 머리 위치가 제1 미리 설정된 기간 내의 미리 설정된 벗어남 범위에 도달하는 미리 설정된 참조 머리 위치에 관한 벗어남 정도를 갖고 제2 미리 설정된 기간 내의 미리 설정된 참조 머리 위치로 복귀할 때 운전자가 졸음 상태에 있다고 결정하도록; 그리고 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하도록- 기간은 제1 미리 설정된 기간 및 제2 미리 설정된 기간을 포함함 - 구성된다.
일부 선택적 예들에서, 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하도록 구성되는 제3 결정 유닛은, 입 상태 정보에 따라, 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 입 닫음 상태로 복귀하는 시간이 미리 설정된 시간 범위 내에 있을 때 운전자가 하품 액션을 완료한다고 결정하도록; 그리고 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하도록- 기간은 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 입 닫음 상태로 복귀하는 시간을 포함함 -구성된다.
일부 선택적 예들에서, 머리 위치 벗어남 정도의 파라미터 값은, 머리 위치 벗어남 상태, 머리 위치 벗어남 방향, 머리 위치 벗어남 방향에서의 머리 위치의 벗어남 각도, 머리 위치 벗어남 지속시간, 또는 머리 위치 벗어남 빈도 중 임의의 하나 이상을 포함하고; 및/또는, 얼굴 배향 벗어남 정도의 파라미터 값은, 머리 회전들의 수, 머리 회전 지속시간, 또는 머리 회전 빈도 중 임의의 하나 이상을 포함하고; 및/또는, 시선 방향 벗어남 정도의 파라미터 값은, 시선 방향 벗어남 각도, 시선 방향 벗어남 지속시간, 또는 시선 방향 벗어남 빈도 중 임의의 하나 이상을 포함하고; 및/또는, 멍함 정도의 파라미터 값은, 눈 뜸 레벨, 눈 뜸 지속시간, 또는 눈 뜸 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는, 졸음 정도의 파라미터 값은, 졸음 끄덕임 상태, 졸음 끄덕임 레벨, 졸음 끄덕임들의 수, 졸음 끄덕임 빈도, 또는 졸음 끄덕임 지속시간 중 임의의 하나 이상을 포함하고; 및/또는, 눈 감음 정도의 파라미터 값은, 눈 감음들의 수, 눈 감음 빈도, 눈 감음 지속시간, 눈 감음 레벨, 눈 반-감음들의 수, 눈 반-감음 빈도, 또는 눈 감음 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는, 깜빡임 정도의 파라미터 값은, 깜빡임들의 수, 깜빡임 빈도, 깜빡임 지속시간, 또는 깜빡임 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는, 하품 정도의 파라미터 값은, 하품 상태, 하품들의 수, 하품 지속시간, 또는 하품 빈도 중 임의의 하나 이상을 포함한다.
일부 선택적 예들에서, 제2 결정 유닛은, 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 운전자의 산만 상태 검출 결과가 산만 상태라고 결정하도록; 및/또는, 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 어느 것도 미리 결정된 산만 조건을 충족시키지 않을 때 운전자의 산만 상태 검출 결과가 비-산만 상태라고 결정하도록 구성된다.
일부 선택적 예들에서, 미리 결정된 산만 조건은 다수의 산만 레벨 조건들을 포함한다. 따라서, 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 운전자의 산만 상태 검출 결과가 산만 상태라고 결정하도록 구성되는 제2 결정 유닛은, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 레벨 조건에 따라 산만 상태 레벨을 결정하도록; 그리고 결정된 산만 상태 레벨을 운전자의 산만 상태 검출 결과로서 취하도록 구성된다.
일부 선택적 예들에서, 제4 결정 유닛은, 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 운전자의 피로 상태 검출 결과가 피로 상태라고 결정하도록; 및/또는, 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 어느 것도 미리 결정된 피로 조건을 충족시키지 않을 때 운전자의 피로 상태 검출 결과가 비-피로 상태라고 결정하도록 구성된다.
일부 선택적 예들에서, 미리 결정된 피로 조건은 다수의 피로 레벨 조건들을 포함한다. 따라서, 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 운전자의 피로 상태 검출 결과가 피로 상태라고 결정하도록 구성되는 제4 결정 유닛은, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 피로 레벨 조건에 따라 피로 상태 레벨을 결정하도록; 그리고 결정된 피로 상태 레벨을 운전자의 피로 상태 검출 결과로서 취하도록 구성된다.
또한, 다시 도 5를 참조하면, 본 개시내용의 운전 상태 검출 장치의 또 다른 실시예에서, 이러한 장치는 추가로, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성되는 제2 검출 모듈; 미리 결정된 산만 액션이 발생한다고 결정하는 것에 응답하여, 미리 결정된 산만 액션이 기간 내에 발생하는지를 표시하는 결정 결과에 따라 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값을 획득하도록 구성되는 제1 획득 모듈; 및 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 미리 결정된 산만 액션의 검출 결과를 결정하도록 구성되는 제4 결정 모듈을 포함한다. 산만 정도의 파라미터 값은, 미리 결정된 산만 액션의 발생들의 수, 미리 결정된 산만 액션의 지속시간, 또는 미리 결정된 산만 액션의 빈도 등 중 임의의 하나 이상을 포함한다. 미리 결정된 산만 액션은, 흡연 액션, 음용 액션, 식사 액션, 통화 액션, 오락 액션, 또는 화장 액션 등 중 임의의 하나 이상을 포함한다.
일부 구현들에서, 제2 검출 모듈은 운전자 이미지의 특징을 추출하도록; 특징에 기초하여 미리 결정된 산만 액션을 포함할 수 있는 다수의 후보 박스들을 추출하도록; 다수의 후보 박스들에 기초하여 액션 타겟 박스를 결정하도록- 액션 타겟 박스는 얼굴의 국소 영역 및 액션 상호작용 객체를 포함하거나, 또는 손 영역을 추가로 포함함 -; 그리고 액션 타겟 박스에 기초하여 미리 결정된 산만 액션에 대해 분류 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성된다. 얼굴의 국소 영역은 입 영역, 귀 영역, 또는 눈 영역 중 임의의 하나 이상을 포함하고; 및/또는, 액션 상호작용 객체는, 용기, 담배, 모바일 폰, 식품, 도구, 음료 병, 안경, 또는 마스크 중 임의의 하나 이상을 포함한다.
일부 구현들에서, 제2 검출 모듈은 제8 신경망에 의해 운전자 이미지에 대해 얼굴 검출을 수행하여 얼굴 경계 박스를 획득하고, 얼굴 경계 박스의 특징 정보를 추출하도록; 그리고 얼굴 경계 박스의 특징 정보에 따라 제8 신경망에 의해 흡연 액션이 발생하는지를 결정하도록 구성된다.
일부 구현들에서, 제2 검출 모듈은 제9 신경망에 의해 운전자 이미지에 대해 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션에 대응하는 미리 설정된 타겟 객체 검출을 수행하여 미리 설정된 타겟 객체의 경계 박스를 획득하도록- 미리 설정된 타겟 객체는 손들, 입, 눈들, 및 액션 상호작용 객체를 포함하고, 액션 상호작용 객체는 용기, 식품, 전자 디바이스, 화장품 중 임의의 하나 이상의 타입을 포함함 -; 및 미리 설정된 타겟 객체의 경계 박스에 따라 미리 결정된 산만 액션이 발생하는지를 결정하도록- 미리 결정된 산만 액션이 발생하는지의 결정 결과는, 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션이 발생하지 않음; 식사 액션이 발생함; 음용 액션이 발생함; 통화 액션이 발생함; 오락 액션이 발생함; 및 화장 액션이 발생함 중 하나를 포함함 - 구성된다.
일부 구현들에서, 미리 결정된 산만 액션이 미리 설정된 타겟 객체의 경계 박스에 따라 발생하는지를 결정하도록 구성되는 제2 검출 모듈은, 손 경계 박스, 입 경계 박스, 눈 경계 박스, 및 액션 상호작용 객체 경계 박스가 검출되는지, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하는지, 액션 상호작용 객체의 타입, 및 액션 상호작용 객체 경계 박스와 입 경계 박스 또는 눈 경계 박스 사이의 거리가 미리 설정된 조건을 충족시키는지에 따라 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성된다.
일부 구현들에서, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하는지, 및 액션 상호작용 객체 경계 박스와 입 경계 박스 또는 눈 경계 박스 사이의 위치 관계가 미리 설정된 조건을 충족시키는지에 따라 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성되는 제2 검출 모듈은, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하고, 액션 상호작용 객체의 타입이 용기 또는 식품이고, 액션 상호작용 객체 경계 박스가 입 경계 박스와 중첩한다고 결정하면, 식사 액션, 운전 액션 또는 화장 액션이 발생한다고 결정하도록; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하고, 액션 상호작용 객체의 타입이 전자 디바이스이고, 액션 상호작용 객체 경계 박스와 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이거나, 또는 액션 상호작용 객체 경계 박스와 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이면, 오락 액션 또는 통화 액션이 발생한다고 결정하도록 구성된다.
일부 구현들에서, 제2 검출 모듈은 추가로, 손 경계 박스, 입 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않고, 손 경계 박스, 눈 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션이 검출되지 않는다는 것이라고 결정하도록; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션이 검출되지 않는다는 것이라고 결정하도록; 및/또는 액션 상호작용 객체의 타입이 용기 또는 식품이고, 액션 상호작용 객체 경계 박스가 입 경계 박스와 중첩하지 않고, 및/또는, 액션 상호작용 객체의 타입이 전자 디바이스이고, 액션 상호작용 객체 경계 박스와 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이 아니거나, 또는 액션 상호작용 객체 경계 박스와 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이 아니면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션이 검출되지 않는다는 것이라고 결정하도록 구성된다.
또한, 다시 도 5를 참조하면, 본 개시내용의 운전 상태 검출 장치의 또 다른 실시예에서, 이러한 장치는 추가로, 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 액션 레벨 조건에 따라 산만 액션 레벨을 결정하도록 구성되는 제5 결정 모듈을 포함한다. 따라서, 실시예들에서, 제4 결정 모듈은 결정된 산만 액션 레벨을 미리 결정된 산만 액션의 검출 결과로서 취하도록 구성된다.
또한, 다시 도 5를 참조하면, 본 개시내용의 운전 상태 검출 장치의 또 다른 실시예에서, 이러한 장치는 추가로, 운전자 상태들의 검출 결과들에 따라 경보를 수행하도록 구성되는 경보 모듈; 및/또는, 운전자 상태들의 검출 결과들에 따라 지능형 운전 제어를 수행하도록 구성되는 운전 제어 모듈을 포함한다. 운전자 상태들의 검출 결과들은, 피로 상태 검출 결과, 산만 상태 검출 결과, 또는 미리 결정된 산만 액션의 검출 결과 중 임의의 하나 이상을 포함한다.
전술한 실시예들에서, 경보 모듈은, 미리 결정된 산만 액션의 검출 결과가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 미리 결정된 산만 액션의 검출 결과에 대응하는 경보 정보를 출력하도록 추가로 구성된다.
일부 구현들에서, 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하도록 구성되는 경보 모듈은, 피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 액션의 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하도록 구성된다.
일부 구현들에서, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하도록 구성되는 경보 모듈은, 피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 모션의 검출 결과 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하도록; 및/또는, 피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 액션의 검출 결과 중 2개가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 설정된 경보 전략에 따라 경보 정보를 출력하도록 구성된다.
피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 액션의 검출 결과 중 2개가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 설정된 경보 전략에 따라 경보 정보를 출력하도록 구성되는 경보 모듈은, 피로 상태 검출 결과 및 미리 결정된 산만 액션의 검출 결과가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하도록; 및/또는, 산만 상태 검출 결과 및 미리 결정된 산만 액션의 검출 결과 중 2개가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 산만 상태 검출 결과의 경보 정보를 출력하거나, 또는 미리 결정된 경보 조건을 충족시키는 미리 결정된 산만 액션의 검출 결과에 대응하는 경보 정보를 출력하도록 구성된다.
추가 구현들에서, 경보 모듈은 미리 결정된 경보 조건을 충족시키는 미리 결정된 산만 액션의 검출 결과에 대응하는 경보 정보를 출력한 후 미리 설정된 기간 내의 미리 결정된 경보 조건을 충족시키는 다른 검출 결과들에 대응하는 경보 정보를 억제하도록 추가로 구성된다.
일부 구현들에서, 경보 모듈은, 피로 상태 검출 결과가 피로 상태 레벨일 때, 피로 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하도록; 및/또는, 산만 상태 검출 결과가 산만 상태 레벨일 때, 산만 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하도록; 및/또는, 미리 결정된 산만 액션의 검출 결과가 산만 액션 레벨일 때, 산만 액션 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하도록 구성된다.
또한, 다시 도 5를 참조하면, 본 개시내용의 운전 상태 검출 장치의 또 다른 실시예에서, 이러한 장치는 추가로, 피로 상태 검출 결과, 산만 상태 검출 결과, 및 미리 결정된 산만 액션의 검출 결과 중 임의의 하나 이상이 미리 결정된 운전 모드 전환 조건을 충족시키는 것에 응답하여, 운전 모드를 자율 운전 모드로 전환하도록 구성되는 운전 제어 모듈을 포함한다.
일부 구현들에서, 운전 제어 모듈은 피로 상태 레벨 및/또는 산만 상태 레벨 및/또는 산만 액션 레벨이 미리 결정된 운전 모드 전환 조건을 충족시킬 때 운전 모드를 자율 운전 모드로 전환하도록 구성된다.
또한, 도 5를 다시 참조하면, 본 개시내용의 전술한 실시예들에서, 이러한 장치는 추가로, 이미지 취득을 수행하여 운전자 이미지를 획득하도록 구성되는 적외선 카메라를 포함한다. 이러한 적외선 카메라는 차량에서의 적어도 하나의 위치, 예를 들어, 다음의 위치들: 대시보드 위의 또는 근처의 위치, 중앙 콘솔 위의 또는 근처의 위치, A-필러 또는 근처의 위치, 또는 리어뷰 미러 또는 근처의 위치 중 임의의 하나 이상에 배치된다.
일부 구현들에서, 적외선 카메라는 차량이 운전 상태에 있을 때 이미지 취득을 수행하여, 운전자 이미지를 획득하도록; 및/또는, 차량의 주행 속도가 미리 설정된 속도를 초과할 때 이미지 취득을 수행하여, 운전자 이미지를 획득하도록; 및/또는, 차량이 파워 온되는 것을 검출한 후에 이미지 취득을 수행하여, 운전자 이미지를 획득하도록; 및/또는, 차량의 시작 명령어가 검출될 때 이미지 취득을 수행하여, 운전자 이미지를 획득하도록; 및/또는, 차량 또는 차량에서의 컴포넌트 또는 시스템으로의 제어 명령어가 검출될 때 이미지 취득을 수행하여, 운전자 이미지를 획득하도록 구성된다.
도 6은 본 개시내용에 따른 운전자 모니터링 시스템의 하나의 실시예의 개략 구조도이다. 실시예들의 운전자 모니터링 시스템은 본 개시내용의 전술한 운전 상태 검출 방법 실시예들을 구현하도록 구성될 수 있다. 도 6에 도시되는 바와 같이, 실시예들의 운전자 상태 모니터링 시스템은, 운전자 이미지를 디스플레이하도록 구성되는 디스플레이 디바이스; 및 운전자 이미지에 대해 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하여 피로 상태 검출 결과 및 산만 상태 검출 결과를 획득하도록; 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하도록; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하도록 구성되는 운전 상태 분석 장치를 포함한다.
운전자 상태 검출 장치는 본 개시내용의 전술한 실시예들 중 어느 하나에 따른 운전 상태 검출 장치를 포함한다.
본 개시내용의 전술한 실시예들에 의해 제공되는 운전자 모니터링 시스템에 기초하여, 운전자의 피로 상태 및 운전자의 산만 상태의 공동 검출이 운전자 이미지에 대해 구현될 수 있고; 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보가 출력되고; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 주의를 기울이도록 운전자에게 프롬프트하기 위해, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보가 출력되고, 따라서 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다. 또한, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보만이 출력되어, 너무 많은 또는 너무 빈번한 경보들에 의해 야기되는 운전자의 산만 및 혐오감이 회피될 수 있다. 본 개시내용은 경보 전략을 최적화하는 것에 의해 보조 운전의 안전성 및 사용자 경험을 개선한다.
또한, 본 개시내용의 실시예들에서 제공되는 다른 전자 디바이스는,
컴퓨터 프로그램을 저장하도록 구성되는 메모리; 및
메모리에 저장되는 컴퓨터 프로그램을 실행하도록 구성되는 프로세서를 포함하고, 컴퓨터 프로그램이 실행될 때, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 분석 방법이 구현된다.
도 7은 본 개시내용에 따른 전자 디바이스의 하나의 적용 실시예의 개략 구조도이다. 아래에 도 7을 참조하면, 본 개시내용의 실시예들을 구현하기에 적합한, 단말 디바이스 또는 서버일 수 있는, 전자 디바이스의 개략 구조도가 도시된다. 도 7에 도시되는 바와 같이, 이러한 전자 디바이스는 하나 이상의 프로세서, 통신 부분 등을 포함한다. 하나 이상의 프로세서는, 예를 들어, 하나 이상의 CPU(Central Processing Units), 및/또는 하나 이상의 GPU(Graphic Processing Units) 등이다. 프로세서는 ROM(Read-Only Memory)에 저장되는 실행가능 명령어들 또는 저장 섹션으로부터 RAM(Random Access Memory)으로 로딩되는 실행가능 명령어들에 따라 다양한 적절한 액션들 및 처리를 수행할 수 있다. 통신 부분은, 이에 제한되는 것은 아니지만, 이에 제한되는 것은 아니지만, IB(Infiniband) 네트워크 카드를 포함할 수 있는, 네트워크 카드를 포함할 수 있고, 프로세서는 실행가능 명령어들을 실행하기 위해 ROM 및/또는 RAM과 통신하고, 버스를 통해 통신 부분에 접속되고, 통신 부분을 통해 다른 타겟 디바이스들과 통신하고, 그렇게 함으로써 본 개시내용의 실시예들에 의해 제공되는 임의의 방법에 대응하는 동작들, 예를 들어, 운전자 이미지에 대해 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하여 피로 상태 검출 결과 및 산만 상태 검출 결과를 획득하는 단계; 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보를 출력하는 단계; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보를 출력하는 단계를 완료한다.
또한, RAM은 장치의 동작들에 대해 요구되는 다양한 프로그램들 및 데이터를 추가로 저장할 수 있다. CPU, ROM, 및 RAM은 버스를 통해 서로 접속된다. RAM의 존재시에, ROM은 선택적 모듈이다. RAM은 실행가능 명령어들을 저장하거나, 또는 이러한 실행가능 명령어들을 실행 동안 ROM에 기입하고, 이러한 실행가능 명령어들은 프로세서로 하여금 본 개시내용의 임의의 방법의 대응하는 동작들을 실행하게 한다. I/O(input/output) 인터페이스가 버스에 또한 접속된다. 통신 부분은 집적될 수 있거나, 또는 버스에 접속되는 복수의 서브-모듈들(예를 들어, 복수의 IB 네트워크 카드들)을 갖도록 구성될 수 있다.
다음의 컴포넌트들이 I/O 인터페이스에 접속된다: 키보드, 마우스 등을 포함하는 입력 섹션; CRT(Cathode-Ray Tube), LCD(Liquid Crystal Display), 스피커 등을 포함하는 출력 섹션; 하드 디스크 등을 포함하는 저장 섹션; 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스 카드의 통신 섹션. 통신 섹션은 인터넷과 같은 네트워크를 통해 통신 처리를 수행한다. 요건들에 따라 I/O 인터페이스에 드라이브가 또한 접속된다. 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등과 같은 제거가능 매체가 요건들에 따라 드라이브 상에 장착되어, 제거가능 매체로부터 판독되는 컴퓨터 프로그램이 요건들에 따라 저장 섹션 상에 설치될 수 있다.
도 7에 예시되는 아키텍처는 단지 선택적 구현이라는 점이 주목되어야 한다. 구체적 실시 동안, 도 7에서의 컴포넌트들의 수 및 타입들은 실제 요건들에 따라 선택, 감소, 증가, 또는 대체된다. 상이한 기능적 컴포넌트들이 분리되거나 또는 집적되는 등이다. 예를 들어, GPU 및 CPU가 분리되거나, 또는 GPU가 CPU 상에 집적되고, 통신 부분이 CPU 또는 GPU 등으로부터 분리되거나 또는 이들 상에 집적된다. 이러한 대안적인 구현들은 모두 본 개시내용의 보호 범위 내에 속한다.
특히, 본 개시내용의 실시예들에 따른 흐름도를 참조하여 위에 설명된 프로세스는 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 개시내용의 실시예들은, 머신-판독가능 매체 상에 유형적으로 포함되는 컴퓨터 프로그램을 포함하는, 컴퓨터 프로그램 제품을 포함한다. 이러한 컴퓨터 프로그램은 흐름도에 도시되는 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 프로그램 코드는 본 개시내용의 실시예들 중 어느 하나에서 제공되는 방법의 단계들을 수행하기 위한 명령어들을 포함할 수 있다. 이러한 실시예에서, 컴퓨터 프로그램은 통신 섹션을 통해 네트워크로부터 다운로드되어 설치되고, 및/또는 제거가능 매체로부터 설치된다. 이러한 컴퓨터 프로그램이 CPU에 의해 실행될 때, 본 개시내용에 따른 방법에서 정의되는 기능들이 실행된다.
또한, 본 개시내용의 실시예들은 컴퓨터 명령어들을 포함하는 컴퓨터 프로그램을 또한 제공하고, 이러한 컴퓨터 명령어들이 디바이스의 프로세서에서 실행될 때, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 분석 방법이 구현된다.
또한, 본 개시내용의 실시예들은, 컴퓨터 프로그램을 저장하고 있는, 컴퓨터-판독가능 저장 매체를 또한 제공하고, 이러한 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 분석 방법이 구현된다.
도 8은 본 개시내용에 따른 차량의 하나의 실시예의 개략 구조도이다. 도 8에 도시되는 바와 같이, 이러한 실시예의 차량은 중앙 제어 시스템을 포함하고, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 분석 장치 또는 운전자 모니터링 시스템을 추가로 포함한다.
본 개시내용의 전술한 실시예들에 의해 제공되는 차량에 기초하여, 운전자의 피로 상태 및 운전자의 산만 상태의 공동 검출이 운전자 이미지에 대해 구현될 수 있고; 피로 상태 검출 결과 및 산만 상태 검출 결과 중 하나가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 대응하는 검출 결과의 경보 정보가 출력되고; 및/또는, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 주의를 기울이도록 운전자에게 프롬프트하기 위해, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보가 출력되고, 따라서 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다. 또한, 피로 상태 검출 결과 및 산만 상태 검출 결과 양자 모두가 미리 결정된 경보 조건을 충족시킬 때, 미리 결정된 경보 조건을 충족시키는 피로 상태 검출 결과의 경보 정보만이 출력되어, 너무 많은 또는 너무 빈번한 경보들에 의해 야기되는 운전자의 산만 및 혐오감이 회피될 수 있다. 본 개시내용은 경보 전략을 최적화하는 것에 의해 운전 안전성 및 사용자 경험을 개선한다.
일부 구현들에서, 중앙 제어 시스템은, 운전자 상태들의 검출 결과들이 미리 결정된 운전 모드 전환 조건을 충족시킬 때, 운전 모드를 자율 운전 모드로 전환하도록, 그리고 자율 운전 모드에서 차량에 대해 자율 운전 제어를 수행하도록 구성된다.
일부 다른 실시예들에서, 중앙 제어 시스템은 수동 운전으로 전환하기 위한 운전 명령어가 수신될 때 운전 모드를 수동 운전 모드로 전환하도록 추가로 구성된다.
다시 도 8을 참조하면, 전술한 실시예들의 차량은 추가로, 중앙 제어 시스템의 제어 명령어에 따라 경보 조건에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는 중앙 제어 시스템의 제어 명령어에 따라 프롬프트/경고 정보의 조기-경고 효과 또는 오락의 재생 효과를 조정하도록 구성되는 오락 시스템을 포함한다.
이러한 오락 시스템은, 예를 들어, 스피커, 버저, 조명 디바이스 등을 포함할 수 있다.
다시 도 8을 참조하면, 전술한 실시예들의 차량은 추가로, 이미지 취득을 수행하도록 구성되는 적어도 하나의 적외선 카메라를 포함할 수 있다.
실시예들 중 일부에서, 차량에서의 적외선 카메라는 차량에서의 적어도 하나의 위치에 배치된다, 예를 들어, 다음의 위치들: 대시보드 위의 또는 근처의 위치, 중앙 콘솔 위의 또는 근처의 위치, A-필러 또는 근처의 위치, 또는 리어뷰 미러 또는 근처의 위치 중 임의의 하나 이상에 배치된다.
이러한 설명에서의 실시예들은 모두 점진적 방식으로 설명되고, 실시예들에서의 동일한 또는 유사한 부분들에 대해, 이러한 실시예들을 참조하고, 각각의 실시예는 다른 실시예들과의 차이에 초점을 맞춘다. 이러한 시스템 실시예들은 방법 실시예들에 실질적으로 대응하고, 따라서 오직 간단히 설명되며, 연관된 부분에 대해서는, 방법 실시예들의 설명들을 참조한다.
본 개시내용에서의 방법들, 장치들, 및 디바이스들은 많은 방식들로 구현된다. 예를 들어, 본 개시내용에서의 방법들, 장치들 및 디바이스들은 소프트웨어, 하드웨어, 펌웨어, 또는 소프트웨어, 하드웨어, 및 펌웨어의 임의의 조합으로 구현될 수 있다. 달리 특별히 진술되지 않는 한, 이러한 방법들의 단계들의 전술한 시퀀스들은 단지 설명을 위한 것이고, 본 개시내용의 방법들의 단계들을 제한하려고 의도되지 않는다. 또한, 일부 실시예들에서, 본 개시내용은 기록 매체에 기록되는 프로그램들로서 또한 구현될 수 있다. 이러한 프로그램들은 본 개시내용에 따른 방법들을 구현하기 위한 머신-판독가능 명령어들을 포함한다. 따라서, 본 개시내용은 본 개시내용에 따른 방법들을 실행하기 위한 프로그램들을 저장하는 기록 매체를 추가로 커버한다.
본 개시내용의 설명들은 예들 및 설명의 목적을 위해 제공되고, 철저하도록 또는 본 개시내용을 개시된 형태로 제한하도록 의도되는 것은 아니다. 많은 수정들 및 변경들이 해당 분야에서의 통상의 기술자에게 명백하다. 본 개시내용의 원리 및 실제 적용을 더 잘 설명하기 위해, 해당 분야에서의 통상의 기술자가 본 개시내용을 이해하게 하기 위해 실시예들이 선택되고 설명되어, 특정 사용에 적용가능한 다양한 수정들로 다양한 실시예들을 설계하게 한다.

Claims (120)

  1. 운전 상태 분석 방법으로서,
    운전자 이미지에서의 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하는지를 결정하는 단계;
    상기 운전자의 머리 위치의 벗어남 각도가 상기 미리 설정된 범위를 초과한다고 결정하는 것에 응답하여, 상기 운전자 이미지에 대해 상기 운전자에 대한 산만 상태 검출을 수행하여 산만 상태 검출 결과를 획득하는 단계; 및
    상기 운전자의 머리 위치의 벗어남 각도가 상기 미리 설정된 범위를 초과하지 않는다고 결정하는 것에 응답하여, 상기 운전자 이미지에 대해 상기 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하여 피로 상태 검출 결과 및 상기 산만 상태 검출 결과를 획득하는 단계; 및
    상기 피로 상태 검출 결과 및 상기 산만 상태 검출 결과 중 적어도 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 상기 미리 결정된 경보 조건을 충족시키는 경보 정보를 출력하는 단계를 포함하고;
    상기 피로 상태 검출 결과 및 상기 산만 상태 검출 결과 중 적어도 하나가 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 상기 미리 결정된 경보 조건을 충족시키는 경보 정보를 출력하는 단계는,
    상기 피로 상태 검출 결과가 피로 상태일 때 상기 피로 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계;
    상기 산만 상태 검출 결과가 산만 상태일 때 상기 산만 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계; 및
    상기 피로 상태 검출 결과가 피로 상태이고 상기 산만 상태 검출 결과가 산만 상태일 때 상기 피로 상태 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계를 포함하는, 운전 상태 분석 방법.
  2. 제1항에 있어서,
    상기 피로 상태 검출 결과에 대응하는 경보 정보를 출력한 후 미리 설정된 기간 내의 상기 미리 결정된 경보 조건을 충족시키는 다른 검출 결과들에 대응하는 경보 정보를 억제하는 단계; 또는
    상기 산만 상태 검출 결과에 대응하는 경보 정보를 출력한 후 미리 설정된 기간 내의 상기 미리 결정된 경보 조건을 충족시키는 다른 검출 결과들에 대응하는 경보 정보를 억제하는 단계 중 적어도 하나를 추가로 포함하는, 운전 상태 분석 방법.
  3. 제1항 또는 제2항에 있어서, 상기 운전자 이미지에 대해 상기 운전자에 대한 피로 상태 검출 및 산만 상태 검출을 수행하는 단계는,
    상기 운전자 이미지에 대해 얼굴 주요 지점 검출을 수행하는 단계;
    검출된 얼굴 주요 지점들에 따라 머리 자세 정보, 눈 상태 정보, 및/또는 입 상태 정보를 획득하는 단계;
    상기 머리 자세 정보, 상기 눈 상태 정보, 및/또는 상기 입 상태 정보에 따라 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값 및 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계;
    상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 피로 상태 검출 결과를 결정하는 단계; 및
    상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 산만 상태 검출 결과를 결정하는 단계를 포함하고;
    상기 머리 자세 정보, 상기 눈 상태 정보, 및/또는 상기 입 상태 정보에 따라 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값 및 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 상기 머리 위치 정보에 따라 머리 위치 벗어남 정도의 파라미터 값을 획득하는 단계;
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 얼굴 배향을 결정하여 얼굴 배향 정보를 획득하고, 기간 내의 상기 얼굴 배향 정보에 따라 얼굴 배향 벗어남 정도의 파라미터 값을 획득하는 단계;
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하고, 기간 내의 상기 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계;
    상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 눈 영역 이미지를 결정하고, 제6 신경망에 기초하여 상기 눈 영역 이미지에서의 운전자의 시선 방향 정보를 획득하고, 기간 내의 상기 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계;
    기간 내의 상기 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계;
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 상기 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하는 단계;
    기간 내의 상기 눈 상태 정보에 따라 눈 감음 정도의 파라미터 값을 획득하는 단계;
    기간 내의 상기 눈 상태 정보에 따라 깜빡임 정도의 파라미터 값을 획득하는 단계; 또는
    기간 내의 상기 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하는 단계 중 적어도 하나를 포함하고;
    상기 운전자의 피로 상태를 표현하기 위한 인덱스는, 상기 졸음 정도, 상기 눈 감음 정도, 상기 깜빡임 정도, 또는 상기 하품 정도 중 임의의 하나 이상을 포함하고;
    상기 운전자의 산만 상태를 표현하기 위한 인덱스는, 상기 머리 위치 벗어남 정도, 상기 얼굴 배향 벗어남 정도, 상기 시선 방향 벗어남 정도, 또는 상기 멍함 정도 중 임의의 하나 이상을 포함하는, 운전 상태 분석 방법.
  4. 제3항에 있어서,
    참조 시선 방향을 미리 설정하는 단계; 또는
    상기 운전자 이미지를 포함하는 비디오에서의 처음 N개의 운전자 이미지 프레임들에 기초하여 결정되는 평균 시선 방향을 참조 시선 방향으로서 취하는 단계- N은 1 초과인 정수임 -를 추가로 포함하고;
    상기 기간 내의 상기 시선 방향 정보에 따라 상기 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계는,
    참조 시선 방향에 대한 상기 기간 내의 상기 시선 방향 정보의 벗어남 각도에 따라 상기 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계를 포함하는, 운전 상태 분석 방법.
  5. 제3항에 있어서, 상기 기간 내의 상기 눈 상태 정보에 따라 상기 멍함 정도의 파라미터 값을 획득하는 단계는,
    상기 눈 상태 정보에 따라 미리 설정된 주기의 멍함 시간 동안 상기 운전자의 눈들이 눈 뜸 상태에 있을 때 상기 운전자가 멍함 상태에 있다고 결정하는 단계; 및
    상기 기간 내의 상기 눈 상태 정보에 따라 상기 멍함 정도의 파라미터 값을 획득하는 단계- 상기 기간은 상기 미리 설정된 주기의 멍함 시간을 포함함 -를 포함하는, 운전 상태 분석 방법.
  6. 제3항에 있어서, 상기 기간 내의 상기 머리 위치 정보에 따라 상기 졸음 정도의 파라미터 값을 획득하는 단계는,
    상기 운전자의 머리 위치가 제1 미리 설정된 기간 내의 미리 설정된 벗어남 범위에 도달하는 미리 설정된 참조 머리 위치에 관한 벗어남 정도를 갖고 상기 머리 위치 정보에 따라 제2 미리 설정된 기간 내의 상기 미리 설정된 참조 머리 위치로 복귀할 때 상기 운전자가 졸음 상태에 있다고 결정하는 단계; 및
    상기 기간 내의 상기 머리 위치 정보에 따라 상기 졸음 정도의 파라미터 값을 획득하는 단계- 상기 기간은 상기 제1 미리 설정된 기간 및 상기 제2 미리 설정된 기간을 포함함 -를 포함하는, 운전 상태 분석 방법.
  7. 제3항에 있어서, 상기 기간 내의 상기 입 상태 정보에 따라 상기 하품 정도의 파라미터 값을 획득하는 단계는,
    상기 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 상기 입 닫음 상태로 복귀하는 시간이 상기 입 상태 정보에 따라 미리 설정된 시간 범위 내에 있을 때 상기 운전자가 하품 액션을 완료한다고 결정하는 단계; 및
    상기 기간 내의 상기 입 상태 정보에 따라 상기 하품 정도의 파라미터 값을 획득하는 단계- 상기 기간은 상기 운전자의 입이 상기 입 닫음 상태로부터 상기 입 벌림 상태로 변경되고 다음으로 상기 입 닫음 상태로 복귀하는 시간을 포함함 -를 포함하는, 운전 상태 분석 방법.
  8. 제3항에 있어서, 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 산만 상태 검출 결과를 결정하는 단계는,
    상기 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 상기 운전자의 산만 상태 검출 결과가 산만 상태라고 결정하는 단계- 상기 미리 결정된 산만 조건은 다수의 산만 레벨 조건들을 포함함 -를 포함하고;
    상기 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 상기 운전자의 산만 상태 검출 결과가 산만 상태라고 결정하는 단계는,
    상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 레벨 조건에 따라 산만 상태 레벨을 결정하는 단계; 및
    상기 결정된 산만 상태 레벨을 상기 운전자의 산만 상태 검출 결과로서 취하는 단계를 포함하거나;
    또는
    상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 피로 상태 검출 결과를 결정하는 단계는,
    상기 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 상기 운전자의 피로 상태 검출 결과가 피로 상태라고 결정하는 단계- 상기 미리 결정된 피로 조건은 다수의 피로 레벨 조건들을 포함함 -를 포함하고;
    상기 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 상기 미리 결정된 피로 조건을 충족시킬 때 상기 운전자의 피로 상태 검출 결과가 피로 상태라고 결정하는 단계는,
    상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 피로 레벨 조건에 따라 피로 상태 레벨을 결정하는 단계; 및
    상기 결정된 피로 상태 레벨을 상기 운전자의 피로 상태 검출 결과로서 취하는 단계를 포함하는, 운전 상태 분석 방법.
  9. 제1항 또는 제2항에 있어서,
    상기 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계;
    상기 미리 결정된 산만 액션이 발생한다고 결정하는 것에 응답하여, 상기 미리 결정된 산만 액션이 기간 내에 발생하는지를 표시하는 결정 결과에 따라 상기 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값을 획득하는 단계; 및
    상기 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 미리 결정된 산만 액션의 검출 결과를 결정하는 단계를 추가로 포함하고;
    상기 미리 결정된 산만 액션은, 흡연 액션, 음용 액션, 식사 액션, 통화 액션, 오락 액션, 또는 화장 액션 중 임의의 하나 이상을 포함하는, 운전 상태 분석 방법.
  10. 제9항에 있어서, 상기 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    상기 운전자 이미지의 특징을 추출하는 단계;
    상기 특징에 기초하여 상기 미리 결정된 산만 액션을 포함할 수 있는 다수의 후보 박스들을 추출하는 단계;
    상기 다수의 후보 박스들에 기초하여 액션 타겟 박스를 결정하는 단계- 상기 액션 타겟 박스는 얼굴의 국소 영역 및 액션 상호작용 객체를 포함함 -; 및
    상기 액션 타겟 박스에 기초하여 상기 미리 결정된 산만 액션에 대해 분류 검출을 수행하여 상기 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함하는, 운전 상태 분석 방법.
  11. 제10항에 있어서, 상기 얼굴의 국소 영역은, 입 영역, 귀 영역, 또는 눈 영역 중 임의의 하나 이상을 포함하고;
    상기 액션 상호작용 객체는 용기, 담배, 모바일 폰, 식품, 도구, 음료 병, 안경 또는 마스크 중 임의의 하나 이상을 포함하고;
    액션 타겟 박스는 손 경계 박스를 추가로 포함하는, 운전 상태 분석 방법.
  12. 제10항에 있어서, 상기 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    제8 신경망에 의해 상기 운전자 이미지에 대해 얼굴 검출을 수행하여 얼굴 경계 박스를 획득하는 단계;
    상기 얼굴 경계 박스의 특징 정보를 추출하는 단계; 및
    상기 얼굴 경계 박스의 특징 정보에 따라 상기 제8 신경망에 의해 상기 흡연 액션이 발생하는지를 결정하는 단계를 포함하는, 운전 상태 분석 방법.
  13. 제10항에 있어서, 상기 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    제9 신경망에 의해 상기 운전자 이미지에 대해 상기 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션에 대응하는 미리 설정된 타겟 객체 검출을 수행하여 미리 설정된 타겟 객체의 경계 박스를 획득하는 단계- 상기 미리 설정된 타겟 객체는 손, 입, 눈, 및 액션 상호작용 객체를 포함하고, 상기 액션 상호작용 객체는, 용기, 식품, 전자 디바이스, 또는 화장품 중 임의의 하나 이상의 타입을 포함함 -; 및
    상기 미리 설정된 타겟 객체의 경계 박스에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정하는 단계- 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는, 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션이 발생하지 않음; 상기 식사 액션이 발생함; 상기 음용 액션이 발생함; 상기 통화 액션이 발생함; 상기 오락 액션이 발생함; 및 상기 화장 액션이 발생함 중 하나를 포함함 -를 포함하는, 운전 상태 분석 방법.
  14. 제10항에 있어서, 상기 액션 타겟 박스는 손 경계 박스를 추가로 포함하고;
    상기 미리 설정된 타겟 객체의 경계 박스에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    손 경계 박스, 입 경계 박스, 눈 경계 박스, 및 액션 상호작용 객체 경계 박스가 검출되는지, 상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하는지, 상기 액션 상호작용 객체의 타입, 및 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 또는 상기 눈 경계 박스 사이의 거리가 미리 설정된 조건을 충족시키는지에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함하는, 운전 상태 분석 방법.
  15. 제14항에 있어서, 상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하는지, 및 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 또는 상기 눈 경계 박스 사이의 위치 관계가 상기 미리 설정된 조건을 충족시키는지에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하고, 상기 액션 상호작용 객체의 타입이 용기 또는 식품이고, 상기 액션 상호작용 객체 경계 박스가 상기 입 경계 박스와 중첩한다고 결정하는 것에 응답하여, 상기 식사 액션, 운전 액션 또는 화장 액션이 발생한다고 결정하는 단계; 또는
    상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하고, 상기 액션 상호작용 객체의 타입이 전자 디바이스이고, 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이거나, 또는 상기 액션 상호작용 객체 경계 박스와 상기 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이라고 결정하는 것에 응답하여, 상기 오락 액션 또는 통화 액션이 발생한다고 결정하는 단계 중 적어도 하나를 포함하는, 운전 상태 분석 방법.
  16. 제14항에 있어서,
    상기 손 경계 박스, 상기 입 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않고, 상기 손 경계 박스, 상기 눈 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않는다고 결정하는 것에 응답하여, 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션이 검출되지 않는다는 것이라고 결정하는 단계;
    상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하지 않는다고 결정하는 것에 응답하여, 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션이 검출되지 않는다는 것이라고 결정하는 단계; 또는
    상기 액션 상호작용 객체의 타입이 용기 또는 식품이고, 상기 액션 상호작용 객체 경계 박스가 상기 입 경계 박스와 중첩하지 않는다고, 및/또는 상기 액션 상호작용 객체의 타입이 전자 디바이스이고, 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이 아니거나, 또는 상기 액션 상호작용 객체 경계 박스와 상기 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이 아니라고 결정하는 것에 응답하여, 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션이 검출되지 않는 것이라고 결정하는 단계 중 적어도 하나를 추가로 포함하는, 운전 상태 분석 방법.
  17. 제9항에 있어서,
    상기 피로 상태 검출 결과, 상기 산만 상태 검출 결과, 및 상기 미리 결정된 산만 액션의 검출 결과가 상기 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 상기 미리 결정된 경보 조건을 충족시키는 상기 피로 상태 검출 결과의 경보 정보를 출력하는 단계; 또는
    상기 피로 상태 검출 결과 및 상기 미리 결정된 산만 액션의 검출 결과가 상기 미리 결정된 경보 조건을 충족시키는 것에 응답하여, 상기 미리 결정된 경보 조건을 충족시키는 상기 피로 상태 검출 결과의 경보 정보를 출력하는 단계를 추가로 포함하는, 운전 상태 분석 방법.
  18. 전자 디바이스로서,
    컴퓨터 프로그램을 저장하도록 구성되는 메모리; 및
    상기 메모리에 저장되는 계산 프로그램을 실행하도록 구성되는 프로세서- 상기 컴퓨터 프로그램이 실행될 때, 제1항 또는 제2항에 따른 방법이 구현됨 -를 포함하는, 전자 디바이스.
  19. 컴퓨터 프로그램이 저장되어 있는 컴퓨터-판독가능 저장 매체로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1항 또는 제2항에 따른 방법이 구현되는, 컴퓨터-판독가능 저장 매체.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 삭제
  99. 삭제
  100. 삭제
  101. 삭제
  102. 삭제
  103. 삭제
  104. 삭제
  105. 삭제
  106. 삭제
  107. 삭제
  108. 삭제
  109. 삭제
  110. 삭제
  111. 삭제
  112. 삭제
  113. 삭제
  114. 삭제
  115. 삭제
  116. 삭제
  117. 삭제
  118. 삭제
  119. 삭제
  120. 삭제
KR1020207029610A 2018-10-19 2019-10-18 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량 KR102469234B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811224316.3 2018-10-19
CN201811224316.3A CN111079476B (zh) 2018-10-19 2018-10-19 驾驶状态分析方法和装置、驾驶员监控系统、车辆
PCT/CN2019/111932 WO2020078465A1 (zh) 2018-10-19 2019-10-18 驾驶状态分析方法和装置、驾驶员监控系统、车辆

Publications (2)

Publication Number Publication Date
KR20200131883A KR20200131883A (ko) 2020-11-24
KR102469234B1 true KR102469234B1 (ko) 2022-11-18

Family

ID=70282873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029610A KR102469234B1 (ko) 2018-10-19 2019-10-18 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량

Country Status (6)

Country Link
US (1) US11386679B2 (ko)
JP (1) JP2021516829A (ko)
KR (1) KR102469234B1 (ko)
CN (1) CN111079476B (ko)
SG (1) SG11202009420RA (ko)
WO (1) WO2020078465A1 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN111626082A (zh) * 2019-02-28 2020-09-04 佳能株式会社 检测装置和方法及图像处理装置和系统
KR20210009596A (ko) * 2019-07-17 2021-01-27 엘지전자 주식회사 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스
JP7047821B2 (ja) * 2019-07-18 2022-04-05 トヨタ自動車株式会社 運転支援装置
JP7410681B2 (ja) * 2019-09-25 2024-01-10 株式会社Subaru 車両制御システム
TWI805925B (zh) * 2020-06-05 2023-06-21 財團法人車輛研究測試中心 駕駛者狀態監控器測試方法及其測試系統
CN111695510A (zh) * 2020-06-12 2020-09-22 浙江工业大学 一种基于图像的电脑操作员的疲劳检测方法
CN111950371B (zh) * 2020-07-10 2023-05-19 上海淇毓信息科技有限公司 疲劳驾驶预警方法及其装置、电子设备、存储介质
CN112070927A (zh) * 2020-08-28 2020-12-11 浙江省机电设计研究院有限公司 一种高速公路车辆微观驾驶行为分析系统与分析方法
CN114495069A (zh) * 2020-10-27 2022-05-13 中车株洲电力机车研究所有限公司 一种监测司机驾驶状态的方法及系统
CN112356839A (zh) * 2020-11-06 2021-02-12 广州小鹏自动驾驶科技有限公司 一种驾驶状态监测方法、系统及汽车
CN112754498B (zh) * 2021-01-11 2023-05-26 一汽解放汽车有限公司 驾驶员的疲劳检测方法、装置、设备及存储介质
FR3119145B1 (fr) * 2021-01-22 2023-10-27 Renault Sas Procédé de détermination d’un niveau de distraction d’un conducteur de véhicule
CN113436413A (zh) * 2021-05-25 2021-09-24 东风电驱动系统有限公司 一种疲劳驾驶预警系统及方法
CN113313019A (zh) * 2021-05-27 2021-08-27 展讯通信(天津)有限公司 一种分神驾驶检测方法、系统及相关设备
CN113298041A (zh) * 2021-06-21 2021-08-24 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及系统
CN113536967B (zh) * 2021-06-25 2023-05-30 武汉极目智能技术有限公司 基于驾驶员头部运动姿态与人眼开合度的驾驶员状态辨识方法、装置、电子设备
CN113558621B (zh) * 2021-07-23 2023-08-01 福州数据技术研究院有限公司 一种驾驶员疲劳检测与提醒的方法和系统
CN113537115A (zh) * 2021-07-26 2021-10-22 东软睿驰汽车技术（沈阳）有限公司 驾驶员的驾驶状态获取方法、装置及电子设备
US11830259B2 (en) * 2021-08-24 2023-11-28 Nvidia Corporation Robust state estimation
CN113642522B (zh) * 2021-09-01 2022-02-08 中国科学院自动化研究所 基于音视频的疲劳状态检测方法和装置
CN113795069B (zh) * 2021-11-18 2022-02-11 深圳市奥新科技有限公司 一种隧道照明控制方法及隧道照明系统
WO2023108364A1 (zh) * 2021-12-13 2023-06-22 华为技术有限公司 驾驶员状态检测方法、装置及存储介质
CN114179831B (zh) * 2021-12-29 2023-02-17 吉林大学 一种基于驾驶员分心判断的人机转向切换控制方法
CN114373280A (zh) * 2022-01-20 2022-04-19 一汽解放汽车有限公司 驾驶行为监测系统及监测方法
CN115311819B (zh) * 2022-10-10 2023-01-20 南京智慧交通信息股份有限公司 一种智慧公交智能车载实时告警系统及其方法
CN116311181B (zh) * 2023-03-21 2023-09-12 重庆利龙中宝智能技术有限公司 一种异常驾驶的快速检测方法及系统
CN116469085B (zh) * 2023-03-30 2024-04-02 万联易达物流科技有限公司 一种风险驾驶行为的监控方法及系统
CN116749988A (zh) * 2023-06-20 2023-09-15 中国第一汽车股份有限公司 一种驾驶员疲劳预警方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
JP2018133007A (ja) * 2017-02-16 2018-08-23 いすゞ自動車株式会社 警報装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE385015T1 (de) * 2005-08-02 2008-02-15 Delphi Tech Inc Verfahren zur steuerung eines fahrerassistenzsystems und dazugehörige vorrichtung
JP4704174B2 (ja) * 2005-09-30 2011-06-15 富士フイルム株式会社 状態識別装置、プログラムおよび方法
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
JP2009012608A (ja) * 2007-07-04 2009-01-22 Denso Corp 車両用照明装置
EP2564765B1 (en) * 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
CN102930693B (zh) * 2012-11-06 2015-01-21 深圳市艾大机器人有限公司 安全驾驶预警方法
JP6210287B2 (ja) * 2012-11-16 2017-10-11 豊田合成株式会社 運転者用警告装置
CN104085396A (zh) * 2014-07-03 2014-10-08 上海纵目科技有限公司 一种全景车道偏离预警方法及系统
JP6235425B2 (ja) * 2014-07-07 2017-11-22 株式会社デンソーアイティーラボラトリ 安全確認判定装置、及び運転支援装置
CN104599443B (zh) * 2015-01-12 2017-05-31 中设设计集团股份有限公司 一种基于信息融合的驾驶行为预警车载终端及其预警方法
CN105574487A (zh) 2015-11-26 2016-05-11 中国第一汽车股份有限公司 基于面部特征的驾驶人注意力状态检测方法
FR3048544B1 (fr) 2016-03-01 2021-04-02 Valeo Comfort & Driving Assistance Dispositif et methode de surveillance d'un conducteur d'un vehicule automobile
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
US10948911B2 (en) * 2017-10-31 2021-03-16 Denso International America, Inc. Co-pilot
CN108021875A (zh) * 2017-11-27 2018-05-11 上海灵至科技有限公司 一种车辆驾驶员个性化疲劳监测及预警方法
CN108022451A (zh) * 2017-12-06 2018-05-11 驾玉科技（上海）有限公司 一种基于云端的驾驶员状态预警上报及分发系统
CN108437999B (zh) 2018-03-20 2020-07-28 中国计量大学 一种注意力辅助系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
JP2018133007A (ja) * 2017-02-16 2018-08-23 いすゞ自動車株式会社 警報装置

Also Published As

Publication number Publication date
CN111079476B (zh) 2024-03-26
US11386679B2 (en) 2022-07-12
CN111079476A (zh) 2020-04-28
JP2021516829A (ja) 2021-07-08
SG11202009420RA (en) 2020-10-29
WO2020078465A1 (zh) 2020-04-23
US20210004619A1 (en) 2021-01-07
KR20200131883A (ko) 2020-11-24

Similar Documents

Publication Publication Date Title
KR102469234B1 (ko) 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량
KR102469233B1 (ko) 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량
US10853675B2 (en) Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles
WO2019232972A1 (zh) 驾驶管理方法和系统、车载智能系统、电子设备、介质
US20200207358A1 (en) Contextual driver monitoring system
US10970571B2 (en) Vehicle control method and system, vehicle-mounted intelligent system, electronic device, and medium
EP3628549A1 (en) Vehicle control method and system, and in-vehicle intelligent system, electronic device and medium
US11783600B2 (en) Adaptive monitoring of a vehicle using a camera
JP7118136B2 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
CN114663863A (zh) 图像处理方法、装置、电子设备和计算机存储介质
US20230347903A1 (en) Sensor-based in-vehicle dynamic driver gaze tracking
Ujir et al. Real-Time Driver’s Monitoring Mobile Application through Head Pose, Drowsiness and Angry Detection
US20240051465A1 (en) Adaptive monitoring of a vehicle using a camera
CN115359466A (zh) 异常驾驶行为识别方法、装置、设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant