KR20200132945A - 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량 - Google Patents

운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량 Download PDF

Info

Publication number
KR20200132945A
KR20200132945A KR1020207029577A KR20207029577A KR20200132945A KR 20200132945 A KR20200132945 A KR 20200132945A KR 1020207029577 A KR1020207029577 A KR 1020207029577A KR 20207029577 A KR20207029577 A KR 20207029577A KR 20200132945 A KR20200132945 A KR 20200132945A
Authority
KR
South Korea
Prior art keywords
driver
action
condition
distraction
state
Prior art date
Application number
KR1020207029577A
Other languages
English (en)
Other versions
KR102469233B1 (ko
Inventor
런보 친
다첸 양
Original Assignee
상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 filed Critical 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드
Publication of KR20200132945A publication Critical patent/KR20200132945A/ko
Application granted granted Critical
Publication of KR102469233B1 publication Critical patent/KR102469233B1/ko

Links

Images

Classifications

    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0051—Handover processes from occupants to vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/00281—
    • G06K9/00597—
    • G06K9/6256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 개시내용의 실시예들은 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템, 및 차량을 제공한다. 이러한 운전 상태 검출 방법은, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하는 단계; 및 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하는 단계를 포함한다.

Description

운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량
<관련 출원들에 대한 상호 참조>
본 개시내용은 2018년 10월 19일자로 중국 특허청에 출원된, 발명의 명칭이 "DRIVING STATE DETECTION METHOD AND APPARATUS, DRIVER MONITORING SYSTEM AND VEHICLE"인 중국 특허 출원 제CN201811224308.9호에 대한 우선권을 주장하며, 이는 그 전체가 본 명세서에 참조로 원용된다.
<기술 분야>
본 개시내용은 컴퓨터 비전 기술에, 특히, 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량에 관련된다.
차량들의 연속적인 대중화로, 교통 사고들 또한 증가하고, 운전자들의 운전 상태는 안전 운전에 심각한 영향을 미친다. 운전자의 운전 상태가 불량하면, 예를 들어, 과도한 피로, 불충분한 수면, 산만한 주의 등으로 인해, 운전 상태가 불량하면, 이것은 판단 능력에서의 감소, 응답에서의 지연, 및 심지어 가수면 또는 단기 기억 상실로 이어질 수 있고, 지연된 또는 너무 이른 운전 액션들, 시동꺼짐 동작들 또는 부적절한 정정 시간과 같은 불안전한 요인들을 초래하고, 결과로서, 도로 교통 사고들이 발생하기 용이하다. 운전 동안, 운전자의 주의가, 모바일 폰과 같은, 다른 것들에 의해 산만하게 되면, 운전 안전성 위험요소들이 증가된다.
본 개시내용의 실시예들은 운전 상태 검출을 위한 기술적 해결책들을 제공한다.
본 개시내용의 실시예들의 하나의 양태에 따르면, 운전 상태 검출 방법이 제공되고, 이러한 방법은,
운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하는 단계; 및
머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하는 단계를 포함한다.
본 개시내용의 실시예들의 다른 양태에 따르면, 운전 상태 검출 장치가 제공되고, 이는,
운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하도록 구성되는 제1 검출 모듈; 및
머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하도록 구성되는 제1 결정 모듈을 포함한다.
본 개시내용의 실시예들의 또 다른 양태에 따르면, 운전자 모니터링 시스템이 제공되고, 이는,
운전자 이미지, 및 운전자의 피로 상태 및 산만 상태의 검출 결과들을 디스플레이하도록 구성되는 디스플레이 디바이스; 및
운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하도록; 그리고 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하도록 구성되는 운전자 상태 검출 장치를 포함한다.
본 개시내용의 실시예들의 또 다른 양태에 따르면, 전자 디바이스가 제공되고, 이는,
컴퓨터 프로그램을 저장하도록 구성되는 메모리; 및
메모리에 저장되는 컴퓨터 프로그램을 실행하도록 구성되는 프로세서를 포함하고, 이러한 컴퓨터 프로그램이 실행될 때 전술한 실시예들 중 임의의 것에 따른 운전 상태 검출 방법이 구현된다.
본 개시내용의 실시예들의 또 다른 양태에 따르면, 컴퓨터 프로그램이 저장되어 있는 컴퓨터-판독가능 저장 매체가 제공되고, 이러한 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 전술한 실시예들 중 어느 하나에 따른 운전 상태 검출 방법이 구현된다.
본 개시내용의 실시예들의 또 다른 양태에 따르면, 중앙 제어 시스템을 포함하는, 그리고 전술한 실시예들 중 임의의 것에 따른 운전 상태 검출 장치 또는 전술한 실시예들 중 임의의 것에 따른 운전자 모니터링 시스템을 추가로 포함하는, 차량이 제공된다.
본 개시내용의 전술한 실시예들에서 제공되는 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템, 차량, 전자 디바이스, 및 매체에 기초하여, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출이 수행될 수 있고, 검출된 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들이 결정된다. 본 개시내용의 실시예들에서, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하는 것에 의해, 운전자의 피로 상태 및 산만 상태의 공동 및 실시간 검출이 구현되어, 운전자의 운전 상태가 불량할 때 적시에 대응하는 조치들이 취해지고, 그렇게 함으로써 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다.
본 개시내용의 기술적 해결책들이 첨부 도면 및 실시예들을 참조하여 상세히 아래에 추가로 설명된다.
본 설명의 부분을 구성하는 첨부 도면들은 본 개시내용의 실시예들을 설명하고, 이러한 설명들과 함께 본 개시내용의 원리들을 설명하도록 의도된다.
다음의 상세한 설명들에 따르면, 본 개시내용은 첨부 도면들을 참조하여 더 명확하게 이해될 수 있다.
도 1은 본 개시내용에 따른 운전 상태 검출 방법의 하나의 실시예의 흐름도이다.
도 2는 본 개시내용에 따른 운전 상태 검출 방법의 다른 실시예의 흐름도이다.
도 3은 본 개시내용의 실시예들에서 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하는 하나의 실시예의 흐름도이다.
도 4는 본 개시내용에 따른 운전 상태 검출 장치의 하나의 실시예의 개략 구조도이다.
도 5는 본 개시내용에 따른 운전 상태 검출 장치의 다른 실시예의 개략 구조도이다.
도 6은 본 개시내용에 따른 운전자 모니터링 시스템의 하나의 실시예의 개략 구조도이다.
도 7은 본 개시내용에 따른 전자 디바이스의 하나의 적용 실시예의 개략 구조도이다.
도 8은 본 개시내용에 따른 차량의 하나의 실시예의 개략 구조도이다.
본 개시내용의 다양한 예시적 실시예들이 이제 첨부 도면들을 참조하여 상세히 설명될 것이다. 구체적으로 달리 진술되지 않는 한, 이러한 실시예들에서 제시되는 컴포넌트들 및 단계들의 상대적 배열, 수치 표현들, 및 값들은 본 개시내용의 범위를 제한하도록 의도되지 않는다는 점이 주목되어야 한다.
본 개시내용의 실시예들에서 "제1(first)" 및 "제2(second)"와 같은 용어들은 단지 구별하기 위한 것이고, 본 개시내용의 실시예들에 대해 제한으로서 해석되어서는 안 된다는 점이 이해되어야 한다.
본 개시내용의 실시예들에서, "다수(multiple)"는 2개 이상을 의미할 수 있고, "적어도 하나(at least one)"는 하나, 또는 2개 이상을 의미할 수 있다는 점이 또한 이해되어야 한다.
본 개시내용의 실시예들에서 언급되는 임의의 컴포넌트, 데이터, 또는 구조는 어떠한 구체적 제한도 부과되지 않거나 또는 위에 또는 아래에 어떠한 반대의 깨우침도 주어지지 않을 때 하나 이상으로서 일반적으로 이해될 수 있다는 점이 또한 이해되어야 한다.
본 개시내용에서의 실시예들의 설명들은 실시예들 사이의 차이들을 강조한다는 점이 또한 이해되어야 한다. 동일한 또는 유사한 부분에 대해, 서로에 대한 참조가 이루어질 수 있다. 간결성을 위해, 상세사항들은 다시 설명되지 않는다.
또한, 설명의 용이함을 위해, 첨부 도면들에 도시되는 각각의 부분의 크기는 실제 비율로 그려지지 않는다는 점이 이해되어야 한다.
적어도 하나의 예시적인 실시예의 다음의 설명들은 실제로 단지 예시적이고, 본 개시내용 및 그 적용들 또는 사용들을 제한하도록 의도되지 않는다.
관련 기술분야에서의 통상의 기술자에게 알려진 기술들, 방법들 및 디바이스들은 상세히 논의되지 않을 수 있지만, 이러한 기술들, 방법들 및 디바이스들은 적절한 상황들에서 설명의 부분으로서 고려되어야 한다.
다음의 첨부 도면들에서의 유사한 참조 수치들 및 문자들은 유사한 아이템들을 표현한다는 점이 주목되어야 한다. 따라서, 일단 아이템이 첨부 도면에서 정의되면, 이러한 아이템은 후속하는 첨부 도면들에서 추가로 논의될 필요가 없다.
또한, 본 명세서에서 사용되는 바와 같은 "및/또는(and/or)"이라는 용어는 단지 연관된 객체들 사이의 연관 관계를 설명하며, 이는 3개의 관계들, 예를 들어, A 및/또는 B가 존재한다는 점을 표시할 수 있고, 이는 A가 개별적으로 존재함, B가 존재함, B가 개별적으로 존재함을 표시할 수 있다. 또한, 본 개시내용에서의 문자 "/"는 관련된 객체들이 "또는(or)" 관계에 있다는 점을 일반적으로 표시한다.
본 개시내용의 실시예들은, 다수의 다른 범용 또는 특수-목적 컴퓨팅 시스템 환경들 또는 구성들과 함께 동작할 수 있는, 단말 디바이스들, 컴퓨터 시스템들, 및 서버들과 같은 전자 디바이스들에 적용될 수 있다. 단말 디바이스들, 컴퓨터 시스템들, 및 서버들과 같은 이러한 전자 디바이스들과 함께 사용하기에 적합한 잘 알려진 단말 디바이스들, 컴퓨팅 시스템들, 환경들, 및/또는 구성들의 예들은, 이에 제한되는 것은 아니지만, 차량-장착형 디바이스들, 개인용 컴퓨터 시스템들, 서버 컴퓨터 시스템들, 씬 클라이언트들(thin clients), 씨크 클라이언트들(thick clients), 핸드헬드 또는 랩톱 디바이스들, 마이크로프로세서-기반 시스템들, 셋 톱 박스들, 프로그램가능 소비자 전자기기들, 네트워크 개인용 컴퓨터들, 소형 컴퓨터 시스템들, 대형 컴퓨터 시스템들, 이러한 시스템들 중 어느 하나를 포함하는 분산형 클라우드 컴퓨팅 기술 환경들 등을 포함한다.
단말 디바이스들, 컴퓨터 시스템들, 및 서버들과 같은 이러한 전자 디바이스들은 컴퓨터 시스템들에 의해 실행되는 (프로그램 모듈들과 같은) 컴퓨터 시스템 실행가능 명령어들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 이러한 프로그램 모듈들은 구체적인 작업들을 수행하거나 또는 구체적인 추상 데이터 타입들을 구현하기 위한 루틴들, 프로그램들, 타겟 프로그램들, 컴포넌트들, 로직들, 데이터 구조들 등을 포함할 수 있다. 이러한 컴퓨터 시스템들/서버들은 통신 네트워크를 통해 링크되는 원격 처리 디바이스들에 의해 작업들이 수행되는 분산형 클라우드 컴퓨팅 환경들에서 실시될 수 있다. 분산형 클라우드 컴퓨팅 환경들에서, 이러한 프로그램 모듈은 저장 디바이스들을 포함하는 로컬 또는 원격 컴퓨팅 시스템 저장 매체에 위치될 수 있다.
본 개시내용의 실시예들에서의 신경망들은 각각 다층 신경망(multi-layer neural network)(즉, 심화 신경망(deep neural network))일 수 있고, 이러한 신경망은, LeNet, AlexNet, GoogLeNet, VGG, ResNet 및 임의의 다른 신경망 모델들과 같은, 다층 콘볼루션 신경망일 수 있다. 이러한 신경망들은 동일한 타입 및 구조의 신경망들, 또는 상이한 타입들 및/또는 구조의들 신경망들일 수 있다. 이러한 것이 본 개시내용의 실시예들에서 제한되는 것은 아니다.
본 개시내용의 실시예들에서의 신경망들은 각각 다층 신경망(multi-layer neural network)(즉, 심화 신경망(deep neural network))일 수 있고, 이러한 신경망은, LeNet, AlexNet, GoogLeNet, VGG, ResNet 및 임의의 다른 신경망 모델들과 같은, 다층 콘볼루션 신경망일 수 있다. 이러한 신경망들은 동일한 타입 및 구조의 신경망들, 또는 상이한 타입들 및/또는 구조의들 신경망들일 수 있다. 이러한 것이 본 개시내용의 실시예들에서 제한되는 것은 아니다.
도 1은 본 개시내용에 따른 운전 상태 검출 방법의 하나의 실시예의 흐름도이다. 본 개시내용의 실시예들에서의 운전 상태 검출 방법은 하나의 장치(본 개시내용의 실시예들에서 운전 상태 검출 장치라고 불림) 또는 하나의 시스템에(본 개시내용의 실시예들에서 운전자 모니터링 시스템이라고 불림)에 의해 구현될 수 있다. 도 1에 도시되는 바와 같이, 이러한 실시예에서의 운전 상태 검출 방법은 다음의 단계들을 포함한다.
102에서, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출이 수행되어 머리 자세 정보 및 눈 상태 정보를 획득한다.
일부 구현들에서, 동작 102는, 운전자 이미지에 대해 얼굴 주요 지점 검출을 수행하는 단계; 및 검출된 얼굴 주요 지점들에 따라 머리 자세 정보 및 눈 상태 정보를 획득하는 단계를 포함할 수 있다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 머리 자세 정보가 획득될 때, 머리 자세 정보는, 예를 들어, 얼굴 주요 지점들에 기초하여 제1 신경망에 의해 획득될 수 있다.
일부 구현들에서, 머리 자세는 정상 운전 상태에서 정규화된 구면 좌표계(즉, 카메라가 위치되는 카메라 좌표계)에서의 머리의 자세 각도/Euler 각도로 표현될 수 있고, 이러한 자세 각도/Euler 각도는, 피치 각도 θ(pitch), 요 각도 Ψ(yaw), 및 롤 각도 φ(roll)을 포함한다. 머리 자세 정보는, (피치, 요, 롤)을 포함한다. 피치 각도는 얼굴이 수직 방향으로 하강되는 또는 상승되는 각도를 표시하기 위해 사용되고, 요 각도는 수평 방향으로 측 얼굴의 각도(즉, 머리 회전)를 표시하기 위해 사용되고, 롤 각도는 수직 방향으로 얼굴이 경사지는(즉, 어깨를 향해 기울어지는) 각도를 표시하기 위해 사용된다.
고정된 얼굴 크기의 경우, 예로서 가능한 적용 시나리오를 취하면, 운전자 이미지를 캡처하는 카메라가 운전자의 위치의 바로 앞에 위치되고 운전자의 위치를 바로 향할 때, 요 각도, 피치 각도 및 롤 각도가 더 작을수록, 더 정면인 얼굴이 제시되고, 운전자의 운전 상태가 더 양호하다. 요 각도, 피치 각도, 및 롤 각도가 모두 0인 상황이 참조 머리 자세로서 설정되고, 이러한 경우에, 운전자는 최상의 운전 상태에 있다. 피치 각도 및/또는 요 각도가 미리 설정된 각도 임계값 초과이고 지속시간이 미리 설정된 시간 임계값 초과일 때, 운전자의 산만 상태의 검출 결과는 산만 상태(즉, 부주의)로서 결정될 수 있다. 피치 각도가 (머리가 정상 위치로부터 갑자기 하강하고 다음으로 정상 위치로 복귀하는 졸음 끄덕임 액션에 대응하는) 0도로부터 특정 각도로 변경되고 다음으로 미리 설정된 짧은 기간 내에 0도로 복귀할 때, 운전자의 피로 상태의 검출 결과는 피로 상태(즉, 피로 운전 레벨)로서 결정될 수 있다. 카메라가 다른 위치들에 위치되는 적용 시나리오들에 대해, 이러한 머리 자세 정보는 그 위치에 있는 카메라와 운전자의 위치의 바로 앞에 위치되고 운전자의 위치를 바로 향하는 카메라 사이의 끼인각에 기초하여 참조 머리 자세로서 결정될 수 있다. 해당 분야에서의 기술자는 본 개시내용의 실시예들에 기초하는 구체적인 구현을 알고 있고, 상세사항들은 본 명세서에서 다시 설명되지 않는다.
제1 신경망은 심화 학습 기술에 기초하여 미리 훈련될 수 있다. 이러한 실시예에서, 제1 신경망은 얼굴 주요 지점들에 기초하여 머리 자세 정보를 획득하기 위해 사용되고, 이는 획득된 머리 자세 정보의 정확도를 개선할 수 있고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선한다.
또한, 얼굴 주요 지점 검출은 미리 훈련된 신경망에 의해 또한 수행되어, 얼굴 주요 지점 검출 결과의 정확도를 개선하고 머리 자세 정보의 정확도를 추가로 개선할 수 있으며, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선한다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 눈 상태 정보를 획득하는 단계는, 예를 들어, 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하는 단계; 제2 신경망에 기초하여 눈 영역 이미지에 대해 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 검출들을 수행하는 단계; 및 상위 눈꺼풀 라인과 하위 눈꺼풀 라인 사이의 간격에 따라 운전자의 눈 뜸/감음 상태 정보를 결정하는 단계를 포함할 수 있다. 눈 뜸/감음 상태는 눈 뜸 상태, 눈 반-감음 상태, 또는 눈 감음 상태를 포함한다. 눈 상태 정보는 눈 뜸/감음 상태 정보를 포함한다. 하나의 선택적 예에서, 운전자 이미지에서의 눈들은 얼굴 주요 지점들에서의 눈 주요 지점(예를 들어, 운전자 이미지에서의 눈 주요 지점의 좌표 정보)을 사용하여 먼저 위치지정되어, 눈 영역 이미지를 획득하고, 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인은 눈 영역 이미지를 사용하여 획득되고, 눈 뜸/감음 상태 정보는 상위 눈꺼풀 라인과 하위 눈꺼풀 라인 사이의 간격을 계산하는 것에 의해 획득된다. 대안적으로, 다른 선택적 예에서, 운전자 이미지에 대해 얼굴 주요 지점 검출이 또한 수행될 수 있고, 검출된 얼굴 주요 지점들에서의 눈 주요 지점을 직접 사용하여 계산이 수행되어, 계산 결과에 따라 눈 뜸/감음 상태 정보를 획득한다. 운전자의 눈 감음, 예를 들어, 운전자의 눈들이 반-감음되는지("반-(semi-)"은 눈들이 완전히 감김이 아닌, 예를 들어 졸린 상태에서 가늘게 뜬 상태 등을 표현함), 예를 들어, 운전자의 눈들이 감김인지, 눈 감음들의 수, 눈 감음 진폭 등을 검출하기 위해 눈 뜸/감음 상태 정보가 사용될 수 있다. 선택적으로, 눈 뜸/감음 상태 정보는 눈 뜸의 진폭의 정규화 처리에 의해 획득되는 정보이다.
제2 신경망은 심화 학습 기술에 기초하여 미리 훈련될 수 있다. 이러한 실시예에서, 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인은 제2 신경망을 사용하여 검출되어, 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인 위치들의 정확한 검출을 구현하고, 그렇게 함으로써 눈 뜸/감음 상태 정보의 정확도를 개선하여, 운전자 상태들의 검출 결과들의 정확도를 개선한다.
또한, 일부 다른 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 눈 상태 정보를 획득하는 단계는, 예를 들어, 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하는 단계; 및 제3 신경망에 기초하여 눈 영역 이미지에 대해 눈 뜸/감음 분류 처리를 수행하여, 눈 뜸 분류 결과 또는 눈 감음 분류 결과- 이들은 눈들이 눈 뜸 상태 또는 눈 감음 상태에 있다는 점을 대응하여 표현함 -를 획득하는 단계를 포함한다. 눈 상태 정보는 눈 뜸 분류 결과 또는 눈 감음 분류 결과에 대응하는 눈 뜸 상태 또는 눈 감음 상태를 포함한다. 예를 들어, 제3 신경망은 입력 눈 영역 이미지에 대해 특징 추출 및 눈 뜸/감음 분류 처리를 수행하고, 눈 뜸 확률(값 범위는 0 내지 1일 수 있음) 또는 눈 감음 확률(값 범위는 0 내지 1일 수 있음)의 분류 결과를 출력할 수 있고, 이것은 눈들이 눈 뜸 상태 또는 눈 감음 상태에 있는 눈 뜸 확률 또는 눈 감음 확률에 기초하여 결정되고, 그렇게 함으로써 운전자의 눈 상태를 획득한다.
제3 신경망은 심화 학습 기술에 기초하여 눈 뜸 샘플 이미지 및 눈 감음 샘플 이미지를 사용하여 직접 트레이닝될 수 있다. 트레이닝된 제3 신경망은, 눈 뜸/감음 정도를 계산하지 않고, 입력 이미지에 대한 눈 뜸 분류 결과 또는 눈 감음 분류 결과를 직접 획득할 수 있다. 이러한 실시예에서, 눈 영역 이미지에서의 운전자의 눈 상태는 제3 신경망에 기초하여 획득되고, 이는 눈 상태 정보의 정확도 및 검출 효율을 개선할 수 있고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도 및 검출 효율을 개선한다.
하나의 선택적 예에서, 동작 102는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 제1 검출 모듈에 의해 수행될 수 있다.
104에서, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들이 결정된다.
일부 구현들에서, 동작 104는, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값 및 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계; 및 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 피로 상태의 검출 결과를 결정하고, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태의 검출 결과를 결정하는 단계를 포함할 수 있다.
하나의 선택적 예에서, 동작 104는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 제1 결정 모듈에 의해 수행될 수 있다.
본 개시내용의 전술한 실시예들에서 제공되는 운전 상태 검출 방법에 기초하여, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출이 수행될 수 있고, 검출된 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들이 결정된다. 본 개시내용의 실시예들에서, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하는 것에 의해, 운전자의 피로 상태 및 산만 상태의 공동 및 실시간 검출이 구현되어, 운전자의 운전 상태가 불량할 때 적시에 대응하는 조치들이 취해지고, 그렇게 함으로써 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다.
또한, 본 개시내용에 따른 운전 상태 검출 방법의 다른 실시예에서, 동작 102 후에, 이러한 방법은 또한,
머리 자세 정보에 기초하여 결정되는 운전자 이미지에서의 운전자의 머리 위치 정보에 따라 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하는지를 결정하는 단계;
운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않으면, 동작 104를 실행하는 단계, 즉, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하는 단계; 및/또는,
운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하면, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 산만 상태의 검출 결과를 결정하는 단계를 포함할 수 있다.
일부 구현들에서, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 산만 상태의 검출 결과를 결정하는 단계는, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계; 및 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태의 검출 결과를 결정하는 단계를 포함할 수 있다.
또한, 본 개시내용에 따른 운전 상태 검출 방법의 실시예들에서, 이러한 방법은 추가로, 운전자 이미지에 대해 입 상태 검출을 수행하여 입 상태 정보를 획득하는 단계를 포함할 수 있다. 따라서, 이러한 실시예들에서, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값은 머리 자세 정보, 눈 상태 정보, 및 입 상태 정보에 따라 결정된다.
일부 구현들에서, 운전자 이미지에 대해 입 상태 검출을 수행하여 입 상태 정보를 획득하는 단계는, 운전자 이미지에 대해 얼굴 주요 지점 검출을 수행하는 단계; 및 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득하는 단계를 포함할 수 있다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득하는 단계는, 예를 들어, 얼굴 주요 지점들에 따라 운전자 이미지에서의 입 영역 이미지를 결정하는 단계; 제4 신경망에 기초하여 입 영역 이미지에 대해 상위 입술 라인 및 하위 입술 라인의 검출들을 수행하는 단계; 및 상위 입술 라인과 하위 입술 라인 사이의 간격에 따라 운전자의 입 벌림/닫음 상태 정보를 결정하는 단계를 포함할 수 있다. 입 벌림/닫음 상태는 입의 벌림 상태(즉, 입 벌림 상태), 닫음 상태(즉, 입 닫음 상태), 반-닫음 상태(즉, 입 반-벌림 상태), 등을 포함할 수 있다. 입 상태 정보는 입 벌림/닫음 상태 정보를 포함한다. 예를 들어, 하나의 선택적 예에서, 운전자 이미지에서의 입은 먼저 얼굴 주요 지점들에서의 입 주요 지점(예를 들어, 운전자 이미지에서의 입 주요 지점의 좌표 정보)을 사용하여 위치지정된다. 입 영역 이미지는 오려내기 등에 의해 획득될 수 있고, 상위 입술 라인 및 하위 입술 라인은 입 영역 이미지를 사용하여 획득될 수 있다. 입 벌림/닫음 상태 정보는 상위 입술 라인과 하위 입술 라인 사이의 간격을 계산하는 것에 의해 획득된다. 다른 선택적 예에서, 얼굴 주요 지점들에서의 입 주요 지점이 계산을 위해 직접 사용되고, 입 벌림/닫음 상태 정보는 계산 결과에 따라 획득된다.
입 벌림/닫음 상태 정보는, 예를 들어, 운전자 하품들, 및 하품들의 수 등의 검출을 검출하는, 운전자의 하품 검출을 수행하기 위해 사용될 수 있다. 선택적으로, 입 벌림/닫음 상태 정보는 입 벌림의 진폭의 정규화 처리에 의해 획득되는 정보이다.
제4 신경망은 심화 학습 기술에 기초하여 미리 훈련될 수 있다. 이러한 실시예에서, 상위 입술 라인 및 하위 입술 라인은 제4 신경망을 사용하여 검출되어, 상위 입술 라인 및 하위 입술 라인 위치들의 정확한 검출을 구현하고, 그렇게 함으로써 입 벌림/닫음 상태 정보의 정확도를 개선하여, 운전자 상태들의 검출 결과들의 정확도를 개선한다.
일부 다른 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득하는 단계는, 예를 들어, 얼굴 주요 지점들에 따라 운전자 이미지에서의 입 영역 이미지를 결정하는 단계; 및 제5 신경망에 기초하여 입 영역 이미지에 대해 입 벌림/닫음 분류 처리를 수행하여, 입 벌림 분류 결과 또는 입 닫음 분류 결과- 이들은 입이 입 벌림 상태 또는 입 닫음 상태에 있다는 점을 대응하여 표현함 -를 획득하는 단계를 포함할 수 있다. 입 상태 정보는 입 벌림 상태 또는 입 닫음 상태를 포함한다. 예를 들어, 제5 신경망은 입력 입 영역 이미지에 대해 특징 추출 및 입 벌림/닫음 분류 처리를 수행하고, 입 벌림(즉, 입 벌림 상태) 확률(값 범위는 0 내지 1일 수 있음) 또는 입 닫음(즉, 입 닫음 상태) 확률(값 범위는 0 내지 1일 수 있음)을 출력할 수 있고, 이것은 입이 입 벌림 상태 또는 입 닫음 상태에 있는 입 벌림 확률 또는 입 닫음 확률에 기초하여 결정되고, 그렇게 함으로써 운전자의 입 상태 정보를 획득한다.
제5 신경망은 심화 학습 기술에 기초하여 입 벌림 샘플 이미지 및 입 닫음 샘플 이미지를 사용하여 직접 트레이닝될 수 있다. 트레이닝된 제5 신경망은, 상위 입술 라인 및 하위 입술 라인을 검출하여 이들 사이의 간격을 계산하지 않고, 입력 이미지에 대한 입 벌림 분류 결과 또는 입 닫음 분류 결과를 직접 획득할 수 있다. 이러한 실시예에서, 입 영역 이미지에서의 운전자의 입 상태 정보는 제5 신경망에 기초하여 획득되고, 이는 입 상태 정보의 정확도 및 검출 효율을 개선할 수 있고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도 및 검출 효율을 개선한다.
도 2는 본 개시내용에 따른 운전 상태 검출 방법의 다른 실시예의 흐름도이다. 도 2에 도시되는 바와 같이, 이러한 실시예에서의 운전 상태 검출 방법은 다음의 단계들을 포함한다.
202에서, 운전자 이미지에 대해 머리 자세 검출, 눈 상태 검출, 및 입 상태 검출이 수행되어 머리 자세 정보, 눈 상태 정보, 및 입 상태 정보를 획득한다.
하나의 선택적 예에서, 동작 202는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 제1 검출 모듈에 의해 수행될 수 있다.
204에서, 머리 자세 정보에 기초하여 결정되는 운전자 이미지에서의 운전자의 머리 위치 정보에 따라 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하는지가 결정된다.
하나의 선택적 예에서, 동작 204는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 제2 결정 모듈에 의해 수행될 수 있다.
운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하면, 동작 206이 수행된다. 그렇지 않고, 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않으면, 동작 210이 수행된다.
206에서, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값이 결정된다.
208에서, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태의 검출 결과가 결정된다.
하나의 선택적 예에서, 동작들 206 내지 208은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 제1 결정 모듈 또는 이러한 제1 결정 모듈에서의 제1 결정 유닛에 의해 수행될 수 있다.
동작 208 후에, 이러한 실시예의 후속 프로세스는 수행되지 않는다.
210에서, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값이 결정되고, 머리 자세 정보, 눈 상태 정보, 및 입 상태 정보에 따라 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값이 결정된다.
212에서, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 피로 상태의 검출 결과가 결정되고, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태의 검출 결과가 결정된다.
하나의 선택적 예에서, 동작들 210 내지 212는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 제1 결정 모듈 또는 이러한 제1 결정 모듈에서의 제2 결정 유닛에 의해 수행될 수 있다.
전술한 실시예들에서, 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과할 때, 운전자는 산만 상태에 있을 수 있다. 따라서, 산만 상태 검출만이 운전자에 대해 수행되고, 피로 상태 검출은 수행되지 않고, 따라서 운전 상태 검출의 효과가 구현될 수 있고, 그렇게 함으로써 피로 상태 검출을 위해 요구되는 컴퓨팅 리소스들을 절약하고, 운전 상태 검출의 효율을 개선한다. 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않을 때, 운전자는 산만 상태 및/또는 피로 상태에 있을 수 있다. 따라서, 산만 상태 검출 및 피로 상태 검출이 운전자에 대해 동시에 수행될 수 있고, 이는 운전자 상태들의 포괄적 검출을 구현하여 운전 안전성을 보장할 수 있다.
일부 구현들에서, 운전자의 피로 상태를 표현하기 위한 인덱스는, 예를 들어, 이에 제한되는 것은 아니지만, 졸음 정도, 눈 감음 정도, 깜빡임 정도, 하품 정도 등 중 임의의 하나 이상을 포함할 수 있고; 및/또는, 운전자의 산만 상태를 표현하기 위한 인덱스는, 예를 들어, 이에 제한되는 것은 아니지만, 머리 위치 벗어남 정도, 얼굴 배향 벗어남 정도, 시선 방향 벗어남 정도, 멍함 정도 등 중 임의의 하나 이상을 포함한다.
일부 구현들에서, 실시예들에서, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하는 단계, 예를 들어, 머리 자세 정보에서의 피치 각도를 머리 위치로서 획득하는 단계; 및 기간 내의 머리 위치 정보에 따라 머리 위치 벗어남 정도의 파라미터 값을 획득하는 단계- 머리 위치 벗어남 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 머리 위치 벗어남 상태, 머리 위치 벗어남 방향, 머리 위치 벗어남 방향에서의 머리 위치의 벗어남 각도, 머리 위치 벗어남 지속시간, 또는 머리 위치 벗어남 빈도 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 얼굴 배향을 결정하여 얼굴 배향 정보를 획득하는 단계- 얼굴 배향 정보는, 예를 들어, 얼굴 회전의 방향 및 각도를 포함할 수 있고, 본 명세서에서의 회전 방향은 좌측으로의 회전, 우측으로의 회전, 하향 회전, 및/또는 상향 회전 등을 포함할 수 있고, 예를 들어, 머리 자세 정보에서의 피치 각도 및 요 각도가 얼굴 배향으로서 획득될 수 있음 -; 및 기간 내의 얼굴 배향 정보에 따라 얼굴 배향 벗어남 정도의 파라미터 값을 획득하는 단계- 얼굴 배향 벗어남 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 머리 회전들의 수, 머리 회전 지속시간, 또는 머리 회전 빈도 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계; 또는 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하고, 제6 신경망에 기초하여 눈 영역 이미지에서의 운전자의 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계- 시선 방향 벗어남 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 시선 방향 벗어남 각도, 시선 방향 벗어남 지속시간, 또는 시선 방향 벗어남 빈도 중 임의의 하나 이상을 포함함 -; 및/또는,
기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계- 멍함 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 눈 뜸 진폭, 눈 뜸 지속시간, 눈 뜸 누적 지속시간 대 통계적 시간대의 비율 등 중 임의의 하나 이상을 포함할 수 있음 -를 포함할 수 있다.
이러한 실시예에서, 운전자 이미지에서의 운전자의 산만 상태를 표현하기 위한 임의의 하나 이상의 인덱스의 파라미터 값이 검출되고, 운전자의 산만 상태의 검출 결과가 파라미터 값에 따라 결정되어, 운전자가 운전에 집중하는지를 결정한다. 운전자의 산만 상태를 표현하기 위한 인덱스에 대해 정량화를 수행하는 것에 의해 머리 위치 벗어남 정도, 얼굴 배향 벗어남 정도, 시선 방향 벗어남 정도, 및 멍함 정도와 같은 인덱스들 중 적어도 하나로 운전 주의 정도를 정량화하는 것은 운전자의 운전 주의 상태를 시간적으로 그리고 객관적으로 평가하기에 유익하다.
일부 구현들에서, 실시예들에서, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값 및 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하는 단계, 예를 들어, 머리 자세 정보에서의 피치 각도를 머리 위치로서 획득하는 단계; 및 기간 내의 머리 위치 정보에 따라 머리 위치 벗어남 정도의 파라미터 값을 획득하는 단계- 머리 위치 벗어남 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 머리 위치 벗어남 상태, 머리 위치 벗어남 방향, 머리 위치 벗어남 방향에서의 머리 위치의 벗어남 각도, 머리 위치 벗어남 지속시간, 또는 머리 위치 벗어남 빈도 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 얼굴 배향을 결정하여 얼굴 배향 정보를 획득하는 단계, 예를 들어, 얼굴 배향으로서 머리 자세 정보에서의 피치 각도 및 요 각도를 획득하는 단계; 및 기간 내의 얼굴 배향 정보에 따라 얼굴 배향 벗어남 정도의 파라미터 값을 획득하는 단계- 얼굴 배향 벗어남 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 머리 회전들의 수, 머리 회전 지속시간, 또는 머리 회전 빈도 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계; 또는 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하고, 제6 신경망에 기초하여 눈 영역 이미지에서의 운전자의 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계- 시선 방향 벗어남 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 시선 방향 벗어남 각도, 시선 방향 벗어남 지속시간, 또는 시선 방향 벗어남 빈도 중 임의의 하나 이상을 포함함 -; 및/또는,
기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계- 멍함 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 눈 뜸 진폭, 눈 뜸 지속시간, 눈 뜸 누적 지속시간 대 통계적 시간대의 비율 등 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하는 단계- 졸음 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 졸음 끄덕임 상태, 졸음 끄덕임 진폭, 졸음 끄덕임들의 수, 졸음 끄덕임 빈도, 또는 졸음 끄덕임 지속시간 중 임의의 하나 이상; 포함할 수 있음 -; 및/또는,
기간 내의 눈 상태 정보에 따라 눈 감음 정도의 파라미터 값을 획득하는 단계- 눈 감음 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 눈 감음들의 수, 눈 감음 빈도, 눈 감음 지속시간, 눈 감음 진폭, 눈 반-감음들의 수, 눈 반-감음 빈도, 눈 감음 누적 지속시간 대 통계적 시간대의 비율 등 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
기간 내의 눈 상태 정보에 따라 깜빡임 정도의 파라미터 값을 획득하는 단계- 본 개시내용의 실시예들에서, 눈 상태 정보에 따라, 눈 뜸 상태로부터 눈 감음 상태로 그리고 다음으로 눈 뜸 상태로의 눈의 프로세스는 깜빡임 액션을 완료하는 것으로서 고려될 수 있고, 깜빡임 액션을 위해 요구되는 시간은, 예를 들어, 이에 제한되는 것은 아니지만, 약 0.2 내지 1초일 수 있고, 깜빡임 정도의 파라미터 값은, 예를 들어, 깜빡임들의 수, 깜빡임 빈도, 깜빡임 지속시간, 깜빡임 누적 지속시간 대 통계적 시간대의 비율 등 중 임의의 하나 이상을 포함할 수 있음 -; 및/또는,
기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하는 단계- 하품 정도의 파라미터 값은, 예를 들어, 이에 제한되는 것은 아니지만, 하품 상태, 하품들의 수, 하품 지속시간, 하품 빈도 등 중 임의의 하나 이상을 포함할 수 있음 -를 포함한다.
전술한 실시예들에서, 머리 자세 정보는 심화 학습 기술에 기초하여 획득될 수 있고, 운전자 이미지에서의 운전자의 머리 위치, 얼굴 배향, 및 시선 방향은 머리 자세 정보에 따라 결정되고, 이는 머리 위치 정보, 얼굴 배향 정보, 및 시선 방향 정보의 정확도를 개선하여, 머리 자세 정보에 기초하여 결정되는 운전자 상태들을 표현하기 위한 인덱스들의 파라미터 값들이 더 정확하고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선하는 것을 용이하게 한다.
머리 위치 정보는, 운전자가 자신의 머리를 하강하는지, 자신의 머리를 상승시키는지, 자신의 머리를 기울이는지, 또는 자신의 머리를 회전하는지를 결정하는 것과 같이, 운전자의 머리 위치가 정상인지를 결정하기 위해 사용될 수 있다. 선택적으로, 머리 위치 정보는 머리의 피치 각도, 요 각도, 및 롤 각도에 의해 결정될 수 있다. 얼굴 배향 정보는, 운전자의 얼굴 방향이 정상인지를 결정하기 위해, 예를 들어, 운전자가 그/그녀의 얼굴을 회전하는지 또는 돌리는지 등을 결정하기 위해 사용될 수 있다. 선택적으로, 얼굴 배향 정보는 운전자의 얼굴의 바로 앞과 운전자에 의해 운전되는 차량의 바로 앞 사이의 끼인각일 수 있다. 전술한 시선 방향 정보는, 운전자의 시선 방향이 정상인지를 결정하기 위해, 예를 들어, 운전자가 앞쪽에 시선을 두는지를 결정하기 위해 등으로 사용될 수 있다. 시선 방향 정보는 벗어남이 운전자의 시선에서 발생하는지를 결정하기 위해 사용될 수 있다. 선택적으로, 시선 방향 정보는 운전자의 시선과 운전자에 의해 운전되는 차량의 바로 앞 사이의 끼인각일 수 있다.
하나의 선택적 예에서, 얼굴 배향 정보가 제1 배향 초과라고 결정되고, 제1 배향 초과인 현상이 N1개의 프레임들에 대해 계속되면(예를 들어, 9개 프레임들, 10개 프레임들 등에 대해 계속됨), 운전자가 장시간 큰-각도 머리 회전을 경험했다고 결정되고, 장시간 큰-각도 머리 회전이 기록될 수 있고, 이러한 머리 회전의 지속시간이 또한 기록될 수 있다. 얼굴 배향 정보가 제1 배향 초과는 아니지만 제2 배향 초과이고, 제1 배향 초과는 아니지만 제2 배향 초과인 현상이 N1개의 프레임들에 대해 계속된다고 결정되면(N1은 0 초과인 정수이고, 예를 들어, 9개 프레임들, 10개 프레임들 등에 대해 계속됨), 운전자가 장시간 작은-각도 머리 회전을 경험했다고 결정되고, 장시간 작은-각도 머리 회전이 기록될 수 있고, 또는 이러한 머리 회전의 지속시간이 또한 기록될 수 있다.
하나의 선택적 예에서, 시선 방향 정보와 차량의 바로 앞 사이의 끼인각이 제1 끼인각 초과라고 결정되고, 제1 끼인각 초과인 현상이 N2개의 프레임들에 대해 계속된다고 결정되면(예를 들어, 8개의 프레임들, 9개의 프레임들 등에 대해 계속됨), 운전자가 심각한 시선 벗어남을 경험하였다고 결정되고, 심각한 시선 벗어남 각도가 기록될 수 있고, 이러한 심각한 시선 벗어남의 지속시간이 또한 기록될 수 있다. 시선 방향 정보와 차량의 바로 앞 사이의 끼인각이 제1 끼인각 초과는 아니지만 제2 끼인각 초과라고 결정되고, 제1 끼인각 초과는 아니지만 제2 끼인각 초과인 현상이 N2개의 프레임들에 대해 계속된다고 결정되면(N2는 0 초과인 정수이고, 예를 들어, 9 프레임들, 10 프레임들 등에 대해 계속됨), 운전자가 시선 벗어남을 경험했다고 결정되고, 시선 벗어남 각도가 기록될 수 있고, 이러한 시선 벗어남의 지속시간이 또한 기록될 수 있다.
하나의 선택적 예에서, 전술한 제1 배향, 제2 배향, 제1 끼인각, 제2 끼인각, N1, 및 N2의 값들은 실제 상황들에 따라 설정될 수 있고, 본 개시내용은 이러한 값들을 제한하지 않는다.
전술한 실시예들에서, 눈 상태 정보는 심화 학습 기술에 기초하여 획득될 수 있고, 눈 감음 정도의 파라미터 값, 멍함 정도의 파라미터 값, 및 깜빡임 정도의 파라미터 값은 눈 상태 정보에 따라 결정되고, 이는 눈 감음 정도의 파라미터 값, 멍함 정도의 파라미터 값, 및 깜빡임 정도의 파라미터 값의 정확도를 개선하여, 눈 상태 정보에 기초하여 결정되는 운전자 상태들을 표현하기 위한 인덱스들의 파라미터 값들이 더 정확하고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선하는 것을 용이하게 한다.
전술한 실시예들에서, 입 상태 정보는 심화 학습 기술에 기초하여 획득될 수 있고, 하품 정도를 표현하기 위한 파라미터 값은 입 상태 정보에 따라 결정되고, 이는 하품 정도의 파라미터 값의 정확도를 개선하여, 입 상태 정보에 기초하여 결정되는 운전자 상태들을 표현하기 위한 인덱스들의 파라미터 값들이 더 정확하고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선하는 것을 용이하게 한다.
전술한 실시예들에서, 제6 신경망은 심화 학습 기술에 기초하여 획득될 수 있고 미리 샘플 이미지들로 트레이닝될 수 있다. 트레이닝된 제6 신경망은 입력 이미지에 대한 시선 방향 정보를 직접 출력하여, 시선 방향 정보의 정확도를 개선하고, 그렇게 함으로써 운전자 상태들의 검출 결과들의 정확도를 개선할 수 있다.
제6 신경망은 다양한 접근법들에 의해 트레이닝될 수 있고, 이는 본 개시내용에서 제한되지 않는다. 예를 들어, 하나의 접근법에서, 샘플 이미지 및 이러한 샘플 이미지에서의 동공을 캡처하는 카메라에 따라 제1 시선 방향이 결정될 수 있고; 샘플 이미지는 적어도 눈 이미지를 포함하고; 샘플 이미지에서의 시선 방향은 제6 신경망에 의해 검출되어, 제1 검출된 시선 방향을 획득하고; 제6 신경망은 제1 시선 방향 및 제1 검출된 시선 방향에 따라 트레이닝된다. 다른 예를 들어, 하나의 접근법에서, 제1 카메라 좌표계에서의 샘플 이미지에서의 동공 참조 지점의 제1 좌표가 결정되고, 제1 카메라 좌표계에서의 샘플 이미지에서의 각막 참조 지점의 제2 좌표가 결정되고; 샘플 이미지는 적어도 눈 이미지를 포함하고; 샘플 이미지에서의 제2 시선 방향은 제1 좌표 및 제2 좌표에 따라 결정되고; 제6 신경망에 의해 샘플 이미지에 대해 시선 방향 검출이 수행되어 제2 검출된 시선 방향을 획득하고; 제6 신경망은 제2 시선 방향 및 제2 검출된 시선 방향에 따라 트레이닝된다.
일부 선택적 예들에서, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하는 단계는, 얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하고, 동공 에지 위치에 따라 동공 중앙 위치를 계산하는 단계; 동공 중앙 위치 및 눈 중앙 위치에 따라 머리 자세 정보에 대응하는 머리 자세에서의 안구 회전 각도 정보를 획득하는 단계; 머리 자세 정보 및 안구 회전 각도 정보에 따라 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하는 단계를 포함한다.
얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하는 단계는, 제7 신경망에 기초하여 얼굴 주요 지점들에 따라 분할되는 이미지에서의 눈 이미지에 대해 동공 에지 위치 검출을 수행하고, 제7 신경망에 의해 출력되는 정보에 따라 동공 에지 위치를 획득하는 단계를 포함할 수 있다.
하나의 선택적 예로서, 눈 이미지는 운전 이미지로부터 오려내기되고 확대될 수 있고, 오려내기되고 확대된 눈 이미지는 동공 위치지정을 위한 제7 신경망에 제공되어 동공 주요 지점 검출을 수행하고 검출된 동공 주요 지점을 출력한다. 동공 에지 위치는 제7 신경망에 의해 출력되는 동공 주요 지점에 따라 획득되고, 동공 중앙 위치는 동공 에지 위치에 따른 계산(예를 들어, 중앙 위치를 계산하는 것)에 의해 획득될 수 있다.
하나의 선택적 예로서, 눈 중앙 위치는 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인에 기초하여 획득될 수 있다. 예를 들어, 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 모든 주요 지점들의 좌표 정보가 추가되고, 다음으로 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 모든 주요 지점들의 수에 의해 분할되고, 분할 후에 획득되는 좌표 정보가 눈 중앙 위치로서 사용된다. 물론, 눈 중앙 위치를 획득하기 위해 다른 접근법들이 또한 사용될 수 있다. 예를 들어, 눈 중앙 위치를 획득하기 위해 검출된 얼굴 주요 지점들에서의 눈 주요 지점에 대해 계산이 수행된다. 본 개시내용은 눈 중앙 위치를 획득하는 구현을 제한하지 않는다.
이러한 실시예에서, 더 정확한 동공 중앙 위치는 동공 주요 지점 검출에 기초하여 동공 중앙 위치를 획득하는 것에 의해 획득될 수 있고, 더 정확한 눈 중앙 위치는 눈꺼풀 라인 위치지정에 기초하여 눈 중앙 위치를 획득하는 것에 의해 획득될 수 있어, 시선 방향이 동공 중앙 위치 및 눈 중앙 위치를 사용하여 결정될 때 정확한 시선 방향 정보가 획득될 수 있다. 또한, 동공 중앙 위치는 동공 주요 지점 검출을 사용하여 위치지정되고, 시선 방향은 동공 중앙 위치 및 눈 중앙 위치를 사용하여 결정되어, 시선 방향을 결정하는 구현 모드가 정확하고 달성하기에 용이하다.
하나의 선택적 예에서, 본 개시내용은 동공 에지 위치의 검출 및 눈 중앙 위치의 검출을 구현하기 위해 기존의 신경망들을 이용할 수 있다.
제7 신경망은 심화 학습 기술에 기초하여 미리 훈련될 수 있다. 이러한 실시예에서, 동공 에지 위치의 검출은 동공 에지 위치의 정확한 검출을 구현하기 위해 제7 신경망을 사용하여 수행되고, 그렇게 함으로써 시선 방향 정보의 정확도를 개선한다.
하나의 선택적 예에서, 시선 방향 벗어남 정도의 파라미터 값이 기간 내의 시선 방향 정보에 따라 획득될 때, 시선 방향 벗어남 정도의 파라미터 값은 기간 내의 참조 시선 방향에 관한 시선 방향 정보의 벗어남 각도에 따라 획득된다.
참조 시선 방향이 미리 설정될 수 있거나, 또는 운전자 이미지가 위치되는 비디오에서의 처음 N개의 운전자 이미지 프레임들에 기초하여 결정되는 평균 시선 방향이 참조 시선 방향으로서 취해진다. N은 1 초과인 정수이다.
본 개시내용의 실시예들에서, 눈들이 기간 동안 눈 뜸 상태에 있을 때 운전자가 멍함 상태에 있는 것으로 고려된다. 하나의 선택적 예에서, 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계는, 눈 상태 정보에 따라, 운전자의 눈들이 미리 설정된 주기의 멍함 시간 동안 눈 뜸 상태에 있을 때 운전자가 멍함 상태에 있다고 결정하는 단계; 및 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계를 포함할 수 있다. 기간은 미리 설정된 주기의 멍함 시간을 포함한다.
본 개시내용의 실시예들에서, 머리가 정상 머리 위치로부터 갑자기 하강하고 다음으로 정상 머리 위치로 복귀하는 프로세스(즉, 머리 자세 정보에서의 피치 각도가 정상 운전 상태에서 0도로부터 특정 각도로 변경되고 다음으로 미리 설정된 짧은 기간 내에 0도로 복귀함)가 졸음 끄덕임으로서 고려될 수 있다. 하나의 선택적 예에서, 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하는 단계는, 머리 위치 정보에 따라, 운전자의 머리 위치가 제1 미리 설정된 기간 내의 미리 설정된 벗어남 범위에 도달하는 미리 설정된 참조 머리 위치에 관한 벗어남 정도를 갖고 제2 미리 설정된 기간 내의 미리 설정된 참조 머리 위치로 복귀할 때 운전자가 졸음 상태에 있다고 결정하는 단계; 및 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하는 단계- 기간은 제1 미리 설정된 기간 및 제2 미리 설정된 기간을 포함함 -를 포함할 수 있다.
본 개시내용의 실시예들에서, 입이 닫음 상태에서 벌림 상태로 다음으로 닫음 상태로 변경되는 프로세스는 하품 액션으로서 고려되고, 하나의 하품 액션에 요구되는 시간은 일반적으로 400 ms 초과이다. 하나의 선택적 예에서, 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하는 단계는, 입 상태 정보에 따라, 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 입 닫음 상태로 복귀하는 시간이 미리 설정된 시간 범위 내에 있을 때 운전자가 하품 액션을 완료한다고 결정하는 단계; 및 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하는 단계를 포함할 수 있다. 기간은 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 입 닫음 상태로 복귀하는 시간을 포함한다.
일부 구현들에서, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 피로 상태의 검출 결과를 결정하는 단계는, 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 운전자의 피로 상태의 검출 결과가 피로 상태라고 결정하는 단계; 및/또는, 운전자의 피로 상태를 표현하기 위한 인덱스들의 모든 파라미터 값들이 미리 결정된 피로 조건을 충족시키지 않을 때 운전자의 피로 상태의 검출 결과가 비-피로 상태라고 결정하는 단계를 포함할 수 있다.
미리 결정된 피로 조건은 다수의 피로 레벨 조건들을 포함한다. 따라서, 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 운전자의 피로 상태의 검출 결과가 피로 상태라고 결정하는 단계는, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 피로 레벨 조건에 따라 피로 상태 레벨을 결정하는 단계; 및 결정된 피로 상태 레벨을 운전자의 피로 상태의 검출 결과로서 취하는 단계를 포함한다.
이러한 실시예에서, 운전자의 피로 상태의 검출 결과는 피로 운전 정도로서 표현된다. 피로 운전 정도는, 예를 들어, 정상 운전 레벨(즉, 비-피로 상태 레벨) 및 피로 운전 레벨(즉, 피로 상태 레벨)을 포함할 수 있고, 피로 운전 레벨은 하나의 피로 상태 레벨일 수 있거나, 또는 다수의 상이한 피로 상태 레벨들로 분할될 수 있고, 예를 들어, 전술한 피로 운전 레벨은 피로 프롬프트 레벨(가벼운 피로 레벨이라고 또한 불림) 및 피로 경고 레벨(심각한 피로 레벨이라고 또한 불림)로 분할될 수 있다. 또한, 피로 운전 정도는 더 많은 레벨들, 예를 들어, 가벼운 피로 레벨, 보통의 피로 레벨, 및 심각한 피로 레벨 등으로 또한 분할될 수 있다. 본 개시내용은 피로 운전 정도에 포함되는 상이한 피로 상태 레벨들을 제한하지 않는다.
하나의 선택적 예에서, 피로 운전 정도에 포함되는 각각의 피로 상태 레벨은 피로 레벨 조건에 대응하고, 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 피로 레벨 조건에 대응하는 피로 상태 레벨, 또는 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값이 피로 레벨 조건들 모두를 충족시키지 않는 비-피로 상태가 피로 운전 정도로서 결정될 수 있다.
하나의 선택적 예에서, 정상 운전 레벨(즉, 비-피로 상태)(즉, 미리 결정된 피로 조건이 충족되지 않음)에 대응하는 미리 설정된 조건들은,
조건 20a, 눈 반-감음 및 눈 감음이 없음; 및
조건 20b, 하품이 없음을 포함할 수 있다.
조건들 20a 및 20b 양자 모두가 충족되는 경우, 운전자는 현재 정상 운전 레벨(즉, 비-피로 상태)에 있다.
하나의 선택적 예에서, 피로 프롬프트 레벨에 대응하는 피로 레벨 조건은,
조건 20c, 눈 반-감음이 존재함; 및
조건 20d, 하품이 존재함을 포함할 수 있다.
조건 20a 및 20d 중 임의의 것이 충족되는 경우, 운전자는 현재 피로 프롬프트 레벨에 있다.
하나의 선택적 예에서, 피로 경고 레벨에 대응하는 피로 레벨 조건들은,
조건 20d: 눈 감음이 존재하거나, 또는 기간 내의 눈 감음들의 수가 미리 설정된 횟수에 도달하거나, 또는 기간 내의 눈 감음의 시간이 미리 설정된 시간에 도달함; 및
조건 20e: 기간 내의 하품들의 수가 미리 설정된 횟수에 도달함을 포함할 수 있다.
조건 20d 및 20e 중 임의의 것이 충족되는 경우, 운전자는 현재 피로 경고 레벨에 있다.
일부 구현들에서, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태의 검출 결과를 결정하는 단계는, 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 운전자의 산만 상태의 검출 결과가 산만 상태라고 결정하는 단계; 및/또는, 운전자의 산만 상태를 표현하기 위한 인덱스들의 모든 파라미터 값들이 미리 결정된 산만 조건을 충족시키지 않을 때, 운전자의 산만 상태의 검출 결과가 비-산만 상태라고 결정하는 단계를 포함할 수 있다.
미리 결정된 산만 조건은 다수의 산만 레벨 조건들을 포함한다. 따라서, 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 운전자의 산만 상태의 검출 결과가 산만 상태라고 결정하는 단계는, 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 레벨 조건에 따라 산만 상태 레벨을 결정하는 단계; 및 결정된 산만 상태 레벨을 운전자의 산만 상태의 검출 결과로서 취하는 단계를 포함한다.
이러한 실시예에서, 운전자의 산만 상태의 검출 결과는 산만 운전 정도로서 표현될 수 있다. 산만 운전 정도는, 예를 들어, 운전자의 주의가 집중되는 점(운전자의 주의가 산만하지 않음, 즉, 비-산만 상태), 운전자의 주의가 산만하다는 점(산만 상태)을 포함할 수 있다. 예를 들어, 시선 방향 벗어남 각도, 얼굴 배향 벗어남 각도, 및 머리 위치 벗어남 각도가 모두 제1 미리 설정된 각도보다 작고, 눈 뜸 지속시간이 제1 미리 설정된 지속시간보다 짧으면, 운전자의 주의가 집중된다(운전자의 주의가 산만하지 않음, 즉, 비-산만 상태). 운전자 산만 레벨은, 예를 들어, 운전자의 주의가 약간 산만함, 운전자의 주의가 적당히 산만함, 운전자의 주의가 심각하게 산만함 등을 포함할 수 있다. 운전자 산만 레벨은 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 레벨 조건에 의해 결정될 수 있다. 예를 들어, 시선 방향 벗어남 각도, 얼굴 배향 벗어남 각도, 및 머리 위치 벗어남 각도 중 임의의 것이 미리 설정된 각도 미만이 아니거나, 지속시간이 제1 미리 설정된 지속시간 초과는 아니고 제2 미리 설정된 지속시간 미만이거나, 또는 눈 뜸 지속시간이 제1 미리 설정된 지속시간 초과는 아니고 제2 미리 설정된 지속시간 미만이면, 운전자의 주의는 약간 산만하다. 시선 방향 벗어남 각도 및 얼굴 배향 벗어남 각도 중 어느 하나가 미리 설정된 각도 미만이 아니거나, 지속시간이 제2 미리 설정된 지속시간 초과는 아니고 제3 미리 설정된 지속시간 미만이거나, 또는 눈 뜸 지속시간이 제2 미리 설정된 지속시간 초과는 아니고 제3 미리 설정된 지속시간 미만이면, 운전자의 주의는 적당히 산만하다. 시선 방향 벗어남 각도 및 얼굴 배향 벗어남 각도 중 어느 하나가 미리 설정된 각도 미만이 아니고, 지속시간이 제3 미리 설정된 지속시간 미만이 아니거나, 또는 눈 뜸 지속시간이 제3 미리 설정된 지속시간 미만이 아니면, 운전자의 주의는 심각하게 산만하다.
도 3은 본 개시내용에 따른 운전 상태 검출 방법의 또 다른 실시예의 흐름도이다. 전술한 도 1 또는 도 2에 비교하여, 이러한 실시예의 운전 상태 검출 방법은 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하기 위한 관련 동작을 추가로 포함한다. 도 3에 도시되는 바와 같이, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하는 실시예는 다음의 단계들을 포함한다.
302에서, 운전자 이미지에 대해 미리 결정된 산만 액션 검출이 수행되어 미리 결정된 산만 액션이 발생하는지를 결정한다.
본 개시내용의 실시예들에서의 미리 결정된 산만 액션은 운전자를 산만하게 할 수 있는 임의의 산만 액션, 예를 들어, 흡연 액션, 음용 액션, 식사 액션, 통화 액션, 오락 액션, 화장 액션 등일 수 있다. 식사 액션은 식품, 예를 들어, 과일, 간식 등을 식사하는 것이다. 오락 액션은 전자 디바이스의 도움으로 실행되는 임의의 액션, 예를 들어, 메시지들을 전송하는 것, 게임들을 플레이하는 것, 노래하는 것 등이다. 전자 디바이스는 예를 들어 모바일 단말, 핸드헬드 컴퓨터, 게임 머신 등이다.
미리 결정된 산만 액션이 발생하면, 동작 304가 수행된다. 그렇지 않고, 미리 결정된 산만 액션이 발생하지 않으면, 이러한 실시예의 후속 프로세스가 수행되지 않는다.
하나의 선택적 예에서, 동작 302는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 제2 검출 모듈에 의해 수행될 수 있다.
304에서, 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값은 미리 결정된 산만 액션이 기간 내에 발생하는지의 결정 결과에 따라 획득된다.
산만 정도의 파라미터 값은, 이에 제한되는 것은 아니지만, 미리 결정된 산만 액션의 발생들의 수, 미리 결정된 산만 액션의 지속시간, 또는 미리 결정된 산만 액션의 빈도 등, 예를 들어, 흡연 액션의 발생들의 수, 지속시간 및 빈도; 음용 액션의 발생들의 수, 지속시간 및 빈도; 통화 액션의 발생들의 수, 지속시간 및 빈도 등 중 임의의 하나 이상을 포함할 수 있다.
하나의 선택적 예에서, 동작 304는 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 제1 획득 모듈에 의해 수행될 수 있다.
306에서, 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 미리 결정된 산만 액션의 검출 결과가 결정된다.
하나의 선택적 예에서, 동작 306은 메모리에 저장되는 대응하는 명령어를 호출하는 것에 의해 프로세서에 의해 수행될 수 있거나, 또는 프로세서에 의해 실행되는 제3 결정 모듈에 의해 수행될 수 있다.
일부 구현들에서, 동작 302에서, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
운전자 이미지의 특징을 추출하는 단계;
특징에 기초하여 미리 결정된 산만 액션을 포함할 수 있는 다수의 후보 박스들을 추출하는 단계;
다수의 후보 박스들에 기초하여 액션 타겟 박스를 결정하는 단계- 액션 타겟 박스는 얼굴의 국소 영역 및 액션 상호작용 객체를 포함하거나, 또는 손 영역을 추가로 선택적으로 포함하고; 얼굴의 국소 영역은, 예를 들어, 이에 제한되는 것은 아니지만, 입 영역, 귀 영역, 눈 영역 등 중 임의의 하나 이상을 포함할 수 있고; 및/또는 액션 상호작용 객체는, 예를 들어, 이에 제한되는 것은 아니지만, 용기, 담배, 모바일 폰, 식품, 도구, 음료 병, 안경, 마스크 등 중 임의의 하나 이상을 포함할 수 있음 -; 및
액션 타겟 박스에 기초하여 미리 결정된 산만 액션의 분류 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함할 수 있다.
일부 다른 구현들에서, 동작 302에서, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는, 운전자 이미지에 대해 미리 결정된 산만 액션에 대응하는 타겟 객체 검출을 수행하여 타겟 객체 경계 박스를 획득하는 단계; 및 타겟 객체 경계 박스에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함할 수 있다.
이러한 실시예는 운전자에 대해 미리 결정된 산만 액션 검출을 수행하기 위한 구현 스킴을 제공한다. 미리 결정된 산만 액션에 대응하는 타겟 객체를 검출하고 미리 결정된 산만 액션이 검출된 타겟 객체의 경계 박스에 따라 발생하는지를 결정하는 것에 의해, 운전자가 산만하게 되는지가 결정되고, 이는 운전자의 미리 결정된 산만 액션 검출의 정확한 결과를 획득하는데 기여하여 운전자 상태 검출의 결과의 정확도를 개선한다.
예를 들어, 미리 결정된 산만 액션이 흡연 액션이면, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는, 제8 신경망에 의해, 운전자 이미지에 대한 얼굴 검출을 수행하여 얼굴 경계 박스를 획득하고, 얼굴 경계 박스의 특징 정보를 추출하는 단계; 및, 제8 신경망에 의해, 얼굴 경계 박스의 특징 정보에 따라 흡연 액션이 발생하는지를 결정하는 단계를 포함할 수 있다.
다른 예를 들어, 미리 결정된 산만 액션이 식사 액션/음용 액션/통화 액션/오락 액션(즉, 식사 액션 및/또는 음용 액션 및/또는 통화 액션 및/또는 오락 액션)/화장 액션이면, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는, 제9 신경망에 의해, 운전자 이미지에 대해 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션에 대응하는 미리 설정된 타겟 객체 검출을 수행하여 미리 설정된 타겟 객체의 경계 박스를 획득하는 단계- 미리 설정된 타겟 객체는 손들, 입, 눈들, 및 액션 상호작용 객체를 포함하고, 액션 상호작용 객체는, 이에 제한되는 것은 아니지만, 용기, 식품, 전자 디바이스, 화장품 등 중 임의의 하나 이상의 타입을 포함함 -; 및 미리 설정된 타겟 객체의 경계 박스에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계- 미리 결정된 산만 액션이 발생하는지의 결정 결과는, 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션이 발생하지 않음; 식사 액션이 발생함; 음용 액션이 발생함; 통화 액션이 발생함; 오락 액션이 발생함; 또는 화장 액션이 발생함 중 하나를 포함할 수 있음 -를 포함할 수 있다.
일부 선택적 예들에서, 미리 결정된 산만 액션이 식사 액션/음용 액션/통화 액션/오락 액션(즉, 식사 액션 및/또는 음용 액션 및/또는 통화 액션 및/또는 오락 액션)/화장 액션이면, 미리 설정된 타겟 객체의 경계 박스에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는, 손 경계 박스, 입 경계 박스, 눈 경계 박스, 및 액션 상호작용 객체 경계 박스가 검출되는지, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하는지, 액션 상호작용 객체의 타입, 및 액션 상호작용 객체 경계 박스와 입 경계 박스 또는 눈 경계 박스 사이의 거리가 미리 설정된 조건을 충족시키는지에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함한다.
선택적으로, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하고, 액션 상호작용 객체의 타입이 용기 또는 식품이고, 액션 상호작용 객체 경계 박스가 입 경계 박스와 중첩하면, 식사 액션, 음용 액션 또는 화장 액션이 발생한다고 결정되고; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하고, 액션 상호작용 객체의 타입이 전자 디바이스이고, 액션 상호작용 객체 경계 박스와 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이거나, 또는 액션 상호작용 객체 경계 박스와 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이면, 오락 액션 또는 통화 액션이 발생한다고 결정된다.
또한, 손 경계 박스, 입 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않고, 손 경계 박스, 눈 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정되고; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정되고; 및/또는 액션 상호작용 객체의 타입이 용기 또는 식품이고, 액션 상호작용 객체 경계 박스가 입 경계 박스와 중첩하지 않고, 및/또는, 액션 상호작용 객체의 타입이 전자 디바이스이고, 액션 상호작용 객체 경계 박스와 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이 아니거나, 또는 액션 상호작용 객체 경계 박스와 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이 아니면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정된다.
전술한 예들에서, 제8 신경망 및 제9 신경망은 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하고 다양한 미리 결정된 산만 액션들의 확률들을 출력할 수 있다. 미리 결정된 산만 액션의 검출 결과로서 미리 설정된 확률 임계값 초과인 확률을 갖고 최고 확률 값을 갖는 산만 액션이 선택될 수 있다. 다양한 미리 결정된 산만 액션들의 확률들이 미리 설정된 확률 임계값보다 낮으면, 미리 결정된 산만 액션이 검출되지 않는다고 고려된다.
또한, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하는 전술한 실시예들에서, 이러한 방법은 추가로, 미리 결정된 산만 액션이 발생한다고 결정하면, 검출된 산만 액션에 관한 프롬프트를 제공하는 단계, 예를 들어, 흡연 액션이 검출되면, 흡연의 검출에 관한 프롬프트를 제공하는 단계; 음용 액션이 검출되면, 음용의 검출에 관한 프롬프트를 제공하는 단계; 및 통화 액션이 검출되면, 통화의 검출에 관한 프롬프트를 제공하여, 운전에 집중하도록 운전자에게 프롬프트하는 단계를 포함할 수 있다.
또한, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하는 전술한 실시예들에서, 미리 결정된 산만 액션이 발생한다고 결정하면, 이러한 방법은 추가로,
산만 정도를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 액션 레벨 조건에 따라 산만 액션 레벨을 결정하는 단계; 및
결정된 산만 액션 레벨을 미리 결정된 산만 액션의 검출 결과로서 취하는 단계를 포함할 수 있다.
이러한 실시예에서, 운전자의 미리 결정된 산만 액션의 검출 결과는, 미리 결정된 산만 액션이 발생하지 않는 것(즉, 미리 결정된 산만 액션이 검출되지 않고, 이는 집중 운전 레벨이라고 또한 지칭될 수 있음), 및 미리 결정된 산만 액션이 발생하는 것(즉, 미리 결정된 산만 액션이 검출됨)을 포함할 수 있다. 또한, 운전자의 미리 결정된 산만 액션의 검출 결과는 또한 산만 액션 레벨, 예를 들어, 산만 프롬프트 레벨(가벼운 산만 레벨이라고 또한 지칭됨) 및 산만 경고 레벨(심각한 산만 레벨이라고 또한 지칭됨)일 수 있다. 또한, 산만 액션 레벨은 또한 더 많은 레벨들, 예를 들어, 비-산만 레벨, 가벼운 산만 레벨, 보통의 산만 레벨, 및 심각한 산만 레벨로 분할될 수 있다. 물론, 본 개시내용의 실시예들에서의 산만 액션 레벨들은 다른 상황들에 따라 또한 분할될 수 있고, 전술한 레벨 분할에 제한되지 않는다.
산만 액션 레벨들은 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 액션 레벨 조건에 의해 결정될 수 있다. 예를 들어, 운전자의 미리 결정된 산만 액션의 검출 결과는 미리 결정된 산만 액션이 발생하지 않는다는 것이고; 미리 결정된 산만 액션이 발생한다고 결정되고, 미리 결정된 산만 액션의 지속시간이 제1 미리 설정된 지속시간 미만인 것으로 검출되고, 그 빈도가 제1 미리 설정된 빈도 미만이면, 산만 액션 레벨은 가벼운 산만 레벨이고; 미리 결정된 산만 액션의 제1 지속시간이 제1 미리 설정된 지속시간 초과이고, 및/또는 빈도가 제1 미리 설정된 빈도 초과라고 검출되면, 산만 액션 레벨은 심각한 산만 레벨이다.
또한, 본 개시내용의 실시예들에서, 이러한 방법은 또한, 운전자의 상태 검출 결과에 따라 경보 및/또는 지능형 운전 제어를 수행하는 단계를 포함할 수 있다. 운전자의 상태 검출 결과는, 피로 상태의 검출 결과, 산만 상태의 검출 결과, 또는 미리 결정된 산만 액션의 검출 결과 중 임의의 하나 이상을 포함한다.
일부 구현들에서, 운전자의 상태 검출 결과에 따라 경보 및/또는 지능형 운전 제어를 수행하는 단계는,
운전자의 상태 검출 결과가 경보 조건을 충족시킬 때 미리 설정된 경보 조건에 대응하는 프롬프트/경고 정보를 출력하는 단계를 포함할 수 있다; 예를 들어, (음성 또는 울림과 같은) 사운드/조명 (조명 점등 또는 조명 번쩍임)/진동 등에 의해 운전자가 프롬프트되어, 주의를 기울이도록 운전자에게 프롬프트하고, 산만한 주의를 운전에 복귀시키도록 운전자에게 프롬프트하거나, 또는 휴식을 취하도록 운전자에게 권장하는 등으로, 안전 운전을 달성하고 도로 교통 사고들을 회피하고; 및/또는,
운전자의 상태 검출 결과가 미리 결정된 운전 모드 전환 조건을 충족시킬 때 운전 모드를 자율 운전 모드로 전환하여, 안전 운전을 달성하고 도로 교통 사고들을 회피한다.
이러한 실시예에서, 운전자 상태들의 검출 결과들에 따라, 미리 설정된 경보 조건이 충족될 때, 경보 조건에 대응하는 프롬프트/경보 정보가 출력되고, 운전자는 안전 운전을 위해 정상 운전 상태를 유지하고 도로 교통 사고들을 회피하도록 프롬프트된다. 미리 결정된 운전 모드 전환 조건이 충족될 때, 운전 모드는 자율 운전 모드로 전환되고, 자율 운전 모드에 의해 차량의 안전 운전이 구현되어 도로 교통 사고들을 회피한다.
일부 선택적 예들에서, 운전자의 상태 검출 결과가 경보 조건을 충족시킬 때 미리 설정된 경보 조건에 대응하는 프롬프트/경고 정보를 출력하는 단계는,
피로 상태의 검출 결과가 피로 상태이면 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계- 운전자의 피로 상태의 검출 결과가 피로 상태 레벨이면, 피로 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보가 출력됨 -; 및/또는,
산만 상태의 검출 결과가 산만 상태이면 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계- 운전자의 산만 상태의 검출 결과가 산만 상태 레벨이면, 피로 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보가 출력됨 -; 및/또는,
미리 결정된 산만 액션의 검출 결과가 미리 결정된 산만 액션이 발생한다는 것이면, 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계- 미리 결정된 산만 액션의 검출 결과가 산만 액션 레벨이면, 산만 액션 레벨에 따라 대응하는 프롬프트 또는 경고 정보가 출력됨 -; 및/또는,
운전자의 피로 상태의 검출 결과들이 피로 상태, 산만 상태, 및 미리 결정된 산만 액션의 검출 중 임의의 2개 또는 3개를 포함할 때 미리 결정된 모드에서 프롬프트/경고 정보를 출력하는 단계를 포함할 수 있다. 예를 들어:
운전자의 상태 검출 결과가 피로 상태 및 산만 상태를 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 피로 상태의 검출 결과 및 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되고; 및/또는,
운전자의 상태 검출 결과가 산만 상태 및 미리 결정된 산만 액션의 발생을 포함할 때, 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 산만 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되고; 및/또는,
운전자의 상태 검출 결과가 피로 상태 및 미리 결정된 산만 액션의 검출을 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 피로 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되고; 및/또는,
운전자의 상태 검출 결과가 피로 상태, 산만 상태, 및 미리 결정된 산만 액션의 검출을 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 피로 상태의 검출 결과 및 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 산만 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 피로 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보가 출력되거나, 또는 피로 상태의 검출 결과, 산만 상태의 검출 결과, 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보가 출력된다. 예를 들어, 전술한 실시예들에 기초하여, 피로 상태의 검출 결과가 피로 상태이면 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계는 다음을 포함할 수 있다.
머리 위치 정보에 기초하여, 운전자가 졸음 끄덕임 액션을 행하고 있다는 것이 발견되면, 운전자의 피로 상태의 검출 결과가 피로 상태이고, 피로 프롬프트 정보가 출력된다고 결정된다. 운전자가 졸음 끄덕임 액션들 행하는 것을 유지하면, 운전자의 피로 정도는 계속 심화되고(즉, 피로 상태 레벨이 증가됨)- 피로 정도들은 순차적으로 가벼운 피로 레벨, 보통의 피로 레벨, 및 심각한 피로 레벨임 -, 운전자의 피로 상태의 검출 결과가 비-피로 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 피로 경보 정보가 출력된다- X는 0 초과인 값임 -.
눈 상태 정보에 기초하여, 운전자의 눈 감음의 지속시간이 특정 지속시간에 도달하거나 또는 깜빡임 빈도가 특정 값에 도달하는 것으로 발견되면, 운전자의 피로 상태의 검출 결과가 피로 상태라고 결정되고, 피로 프롬프트 정보가 출력된다. 운전자의 눈 감음의 지속시간이 계속 증가하거나 또는 깜빡임 빈도가 항상 너무 높으면, 운전자의 피로 정도는 계속 심화되고(즉, 피로 상태 레벨이 증가됨)- 피로 정도들은 순차적으로 가벼운 피로 레벨, 보통의 피로 레벨, 및 심각한 피로 레벨임 -, 운전자의 피로 상태의 검출 결과가 비-피로 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 피로 경보 정보가 출력된다.
입 상태 정보에 기초하여, 운전자가 하품 액션을 행하고 있다는 것이 발견되면, 운전자의 피로 상태의 검출 결과가 피로 상태이고, 피로 프롬프트 정보가 출력된다고 결정된다. 운전자가 하품 액션들을 행하는 것을 유지하면, 운전자의 피로 정도는 계속 심화되고(즉, 피로 상태 레벨이 증가됨), 피로 정도들은 순차적으로 가벼운 피로 레벨, 보통의 피로 레벨, 및 심각한 피로 레벨이고, 운전자의 피로 상태의 검출 결과가 비-피로 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 피로 경보 정보가 출력된다.
머리 위치 정보, 눈 상태 정보, 및 입 상태 정보에 기초하여, 운전자가 4개의 거동들, 즉, 졸음 및 끄덕임, 눈 감음의 지속시간이 특정 기간에 도달함, 깜빡임 빈도가 특정 값에 도달함, 하품 등 중 2개 이상의 상태들에 있는 것이 발견되면, 운전자가 심각한 피로 레벨에 있다고 결정되고, 운전자의 피로 상태 검출 결과가 비-피로 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 피로 경보 정보가 출력된다. 예를 들어, 전술한 실시예들에 기초하여, 산만 상태의 검출 결과가 산만 상태이면 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계는 다음을 포함할 수 있다.
운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하고 벗어남 시간이 Y 초를 초과하면, 운전자의 산만 상태 검출 결과는 머리 위치 정보에 기초하여 산만 상태라고 결정되고, 산만 프롬프트 정보가 출력된다. 운전자의 머리 위치의 벗어남 정도가 미리 설정된 범위를 초과하는 벗어남 시간이 계속 증가함에 따라, 운전자의 산만 정도는 계속 심화되고(즉, 산만 상태 레벨이 증가됨)- 산만 정도들은 순차적으로 운전자의 주의가 약간 산만함, 운전자의 주의가 적당히 산만함, 운전자의 주의가 심각하게 산만함 등임 -, 운전자의 산만 상태의 검출 결과가 비-산만 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 산만 경보 정보가 출력된다.
머리 위치 정보 및 시선 방향 정보에 기초하여, 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않지만, 시선 방향 벗어남 각도가 미리 설정된 시선 안전성 범위를 초과하고, 지속시간이 Y 초를 초과하면, 운전자의 산만 상태의 검출 결과가 산만 상태라고 결정되고, 산만 프롬프트 정보가 출력된다. 시선 방향 벗어남 각도가 미리 설정된 시선 안전성 범위를 초과하는 지속시간이 증가함에 따라, 운전자의 산만 정도는 계속 심화되고(즉, 산만 상태 레벨이 증가됨)- 산만 정도들은 순차적으로 운전자의 주의가 약간 산만함, 운전자의 주의가 적당히 산만함, 운전자의 주의가 심각하게 산만함 등임 -, 운전자의 산만 상태의 검출 결과가 비-산만 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 산만 경보 정보가 출력된다.
머리 위치 정보, 시선 방향 정보, 및 눈 뜸/감음 상태 정보에 기초하여, 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않고, 시선 방향 벗어남 각도가 미리 설정된 시선 안전성 범위를 초과하지 않지만, 운전자가 멍함 상태에 있다는 것이 검출되면, 운전자의 산만 상태의 검출 결과가 산만 상태라고 결정되고, 산만 프롬프트 정보가 출력된다. 운전자의 산만 정도가 계속 심화되고(즉, 산만 상태 레벨이 증가됨)- 산만 정도들은 순차적으로 운전자의 주의가 약간 산만함, 운전자의 주의가 적당히 산만함, 운전자의 주의가 심각하게 산만함 등임 -, 운전자의 산만 상태의 검출 결과가 비-산만 상태일 때까지, 즉, 운전자가 정상 운전 상태를 재개할 때까지, 매 X 초 산만 경보 정보가 출력된다.
선택적으로, 전술한 실시예들에서, 이러한 방법은 추가로,
피로 상태에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보(예를 들어, 산만 상태에 대응하는 프롬프트/경고 정보, 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보)를 억제하는 단계; 및/또는,
산만 상태에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보(예를 들어, 피로 상태에 대응하는 프롬프트/경고 정보, 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보)를 억제하는 단계; 및/또는,
미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보(예를 들어, 산만 상태에 대응하는 프롬프트/경고 정보, 및 피로 상태에 대응하는 프롬프트/경고 정보)를 억제하는 단계를 포함한다.
전술한 실시예들에서, 하나의 운전자 상태의 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 다른 검출 결과들에 대응하는 프롬프트/경고 정보가 억제되고, 즉, 안전하게 운전하도록 운전자에게 프롬프팅하는 목적이 달성될 수 있고, 다양한 프롬프트/경고 정보를 반복적으로 출력하여 운전자의 정상 운전을 간섭하는 것이 또한 회피될 수 있고, 그렇게 함으로써 운전 안전성을 개선한다.
일부 구현들에서, 운전자의 상태 검출 결과가 미리 결정된 운전 모드 전환 조건을 충족시킬 때 운전 모드를 자율 운전 모드로 전환하는 단계는, 피로 상태 레벨 및/또는 산만 상태 레벨 및/또는 산만 액션 레벨이 미리 결정된 운전 모드 전환 조건을 충족시킬 때 운전 모드를 자율 운전 모드로 전환하는 단계를 포함한다.
또한, 본 개시내용의 실시예들에서, 운전자의 상태 검출 결과를 결정한 후에, 운전자의 상태 검출 결과가 또한 출력될 수 있다, 예를 들어, 운전자의 상태 검출 결과를 국소적으로 출력하고 및/또는 운전자의 상태 검출 결과를 원격으로 출력한다. 운전자의 상태 검출 결과를 국소적으로 출력하는 것은 운전자 상태 검출 장치 또는 운전자 모니터링 시스템에 의해 운전자의 상태 검출 결과를 출력하거나, 또는 운전자의 상태 검출 결과를 차량에서의 중앙 제어 시스템에 출력하여, 운전자의 상태 검출 결과에 기초하여 차량에 대해 지능형 운전 제어가 수행된다. 운전자의 상태 검출 결과를 원격으로 출력하는 것은, 예를 들어, 운전자의 상태 검출 결과를 클라우드 서버 또는 관리 노드에 전송하는 것일 수 있어, 클라우드 서버 또는 관리 노드가 운전자의 상태 검출 결과를 수집, 분석, 및/또는 관리하거나, 또는 차량이 운전자의 상태 검출 결과에 기초하여 원격으로 제어된다.
또한, 전술한 실시예들에서, 운전자의 상태 검출 결과가 데이터베이스에서의 운전자의 사용자 정보에 또한 저장될 수 있고, 운전자의 운전 상태 검출 결과가 기록되어 운전자의 운전 상태 검출 결과의 후속 쿼리, 또는 운전자의 운전 거동 습관들에 관한 분석 및 통계적 수집을 용이하게 한다.
또한, 본 개시내용의 운전 상태 검출 방법의 다른 실시예에서, 이러한 방법은 추가로, 적외선 카메라에 의해 이미지 취득을 수행하는 단계, 예를 들어, 차량 내의 적어도 하나의 위치에 배치되는 적외선 카메라에 의해 이미지 취득을 수행하여 운전자 이미지를 획득하는 단계를 포함한다.
본 개시내용의 실시예들에서의 운전자 이미지는 일반적으로 운전석으로부터 적외선 카메라(근-적외선 카메라 등을 포함함)에 의해 캡처되는 비디오에서의 이미지 프레임이다.
적외선 카메라의 파장은 940 nm 또는 850 nm일 수 있다. 적외선 카메라는 운전자가 차량의 운전석에서 촬영될 수 있는 임의의 위치에 제공될 수 있고, 예를 들어, 적외선 카메라는 다음의 위치들: 대시보드 위의 또는 근처의 위치, 중앙 콘솔 위의 또는 근처의 위치, A-필러 또는 근처의 위치, 또는 리어뷰 미러 또는 근처의 위치 중 임의의 하나 이상에 배치될 수 있다. 예를 들어, 일부 선택적 예들에서, 적외선 카메라는 (위 우측 위치와 같은) 대시보드 위의 위치에 그리고 직접 전방으로 향하여 제공될 수 있고, 중앙 콘솔 위의 위치에(예를 들어, 중간 위치에) 그리고 직접 전방으로 향하여 제공될 수 있고, A-필러 상에(예를 들어, 이것은 A-필러에 근접한 유리에 부착될 수 있음) 그리고 운전자의 얼굴을 향하여 또한 제공될 수 있고, 리어뷰 미러 상에(예를 들어, 이것은 리어뷰 미러 위의 유리에 부착될 수 있음) 그리고 운전자의 얼굴을 향하여 또한 제공될 수 있다. 적외선 카메라가 대시보드 위 및 중앙 콘솔 위의 위치에 제공될 때, 그 구체적 위치는 카메라의 시야 및 운전자의 위치에 따라 결정되고, 예를 들어, 대시보드 위의 위치에 제공될 때, 적외선 카메라는 카메라 시야가 스티어링 휠에 의해 차단되지 않는 것을 보장하도록 운전자를 향할 수 있고; 중앙 콘솔 위의 위치에 제공될 때, 카메라의 시야가 충분히 크면, 적외선 카메라는 운전자가 카메라의 시야의 필드에 있는 것을 보장하기 위해 후방에 조준될 수 있고, 시야가 충분히 크지 않으면, 적외선 카메라는 운전자가 적외선 카메라의 시야에 나타나는 것을 보장하기 위해 운전자를 향할 수 있다.
(차량에서 또는 운전석에서와 같이) 운전자가 위치되는 영역에서의 조명이 종종 복잡하기 때문에, 적외선 카메라에 의해 캡처되는 운전자 이미지의 품질은, 특히 야간에 또는 흐린 하늘 또는 터널과 같은 어두운 환경에서, 통상의 카메라에 의해 캡처되는 운전자 이미지의 품질보다 더 양호한 경향이 있고, 적외선 카메라에 의해 캡처되는 운전자 이미지의 품질은 통상의 카메라에 의해 캡처되는 운전자 이미지의 품질보다 일반적으로 상당히 더 양호하며, 이는 운전자의 산만 상태 검출 및 산만 액션 검출의 정확도를 개선하기에 유익하여, 운전 상태 모니터링의 정확도를 개선한다.
본 개시내용의 실시예들에서, 배치하기 용이한 그리고 사용하기 용이한 적외선 카메라가 실시간으로 운전자 이미지를 획득하기 위해 사용된다. 이러한 카메라는 다양한 위치들에, 예를 들어, 차량의 중앙 콘솔, 대시보드, A-필러, 내부 리어뷰 미러 등 상에 설치될 수 있다. 운전자의 피로 상태 검출 및 산만 상태 검출을 구현하기 위해 심화 학습 기술에 기초하여 신경망을 사용하여, 강건성이 양호하고, 적용 범위가 넓고, 더 양호한 운전 상태 검출 효과가 주간, 야간, 강한 조명, 약한 조명 및 다른 시나리오들에서 달성될 수 있다.
선택적으로, 실제 적용들에서, 카메라에 의해 캡처되는 원본 이미지는 종종 다양한 제한들 및 랜덤 간섭으로 인해 직접 사용될 수 없다. 본 개시내용의 일부 선택적 예들에서, 적외선 카메라에 의해 캡처되는 운전자 이미지에 대해 그레이-스케일 전처리가 수행될 수 있고, RGB(red, green and blue) 3-채널 이미지가 그레이-스케일 이미지로 변환되고, 다음으로 운전자의 아이덴티티 인증, 산만 상태 검출 및 산만 액션 검출과 같은 동작들이 수행되어 아이덴티티 인증, 산만 상태 검출 및 산만 액션 검출의 정확도를 개선한다.
일부 구현들에서, 이미지 취득은, 예를 들어, 다음의 시나리오들에서 운전자 이미지를 획득하기 위해 적외선 카메라에 의해 수행된다:
차량이 운전 상태에 있을 때 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계; 및/또는, 차량의 주행 속도가 미리 설정된 속도를 초과할 때 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계; 및/또는, 차량이 파워 온된 것을 검출한 후에 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계; 및/또는, 차량에 대한 시작 명령어가 검출될 때 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계; 및/또는, 차량 또는 차량에서의 컴포넌트 또는 시스템으로의 제어 명령어(예를 들어, 가속함, 속도를 높임, 조향함, 창을 개방함 또는 폐쇄함, 에어 컨디셔너를 켬 또는 끔, 오락 시스템을 켬 또는 끔 등)가 검출될 때 적외선 카메라에 의해 이미지 취득을 수행하여, 운전자 이미지를 획득하는 단계.
적용 시나리오들 중 일부에서, 운전자가 차량을 시작하고 운전 상태 모니터링 장치 또는 운전자 모니터링 시스템을 시작할 때, 적외선 카메라가 운전 상태 검출을 위한 운전자 이미지를 취득하기 시작한다.
본 개시내용의 전술한 실시예들에서의 운전 상태 검출 방법에서, 적외선(근-적외선을 포함함) 카메라에 의해 이미지 취득이 수행되어 운전자 이미지를 획득할 수 있고, 다음으로 운전자 이미지는 구현을 위해 신경망을 로딩할 수 있는 단일 칩 마이크로컴퓨터, FPGA, ARM, CPU(Central Processing Unit), GPU(Graphic Processing Unit), 마이크로프로세서, 스마트 모바일 폰, 노트북 컴퓨터, 태블릿 컴퓨터(PAD), 데스크톱 컴퓨터, 또는 서버와 같은 전자 디바이스에 전송된다. 이러한 전자 디바이스는, 플래시 메모리, 캐시, 하드 디스크, 또는 광 디스크와 같은 컴퓨터-판독가능 저장 매체에 저장될 수 있는, 컴퓨터 프로그램(프로그램 코드라고 또한 불림)을 실행할 수 있다.
본 개시내용의 실시예들에 의해 제공되는 임의의 운전 상태 검출 방법은, 이에 제한되는 것은 아니지만, 단말 디바이스, 서버 등을 포함하는, 데이터 처리 능력이 있는 임의의 적절한 디바이스에 의해 수행될 수 있다. 대안적으로, 본 개시내용의 실시예들에서 제공되는 임의의 운전 상태 검출 방법은 프로세서에 의해 수행되고, 예를 들어, 본 개시내용의 실시예들에서 언급되는 임의의 운전 상태 검출 방법은 메모리에 저장되는 대응하는 명령어들을 호출하는 것에 의해 프로세서에 의해 수행된다. 상세사항들이 아래에 다시 설명되지 않는다.
해당 분야에서의 통상의 기술자는, 전술한 방법 실시예들을 구현하는 모든 또는 일부 단계들이 관련 하드웨어에게 명령하는 것에 의해 프로그램에 의해 달성되고; 전술한 프로그램은 컴퓨터-판독가능 저장 매체에 저장될 수 있고; 이러한 프로그램이 실행될 때, 전술한 방법 실시예들을 포함하는 단계들이 수행된다는 점을 이해할 수 있다. 또한, 전술한 저장 매체는, ROM(Read-Only Memory), RAM(Random Access Memory), 자기 디스크, 또는 광 디스크와 같은, 프로그램 코드들을 저장할 수 있는 다양한 매체를 포함한다.
도 4는 본 개시내용에 따른 운전 상태 검출 장치의 하나의 실시예의 개략 구조도이다. 이러한 실시예의 운전 상태 검출 장치는 본 개시내용의 전술한 운전 상태 검출 방법 실시예들을 구현하도록 구성될 수 있다. 도 4에 도시되는 바와 같이, 이러한 실시예의 운전 상태 검출 장치는, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하도록 구성되는 제1 검출 모듈; 및 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하도록 구성되는 제1 결정 모듈을 포함한다.
본 개시내용의 전술한 실시예들에서 제공되는 운전 상태 검출 장치에 기초하여, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출이 수행될 수 있고, 검출된 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들이 결정된다. 본 개시내용의 실시예들에서, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하는 것에 의해, 운전자의 피로 상태 및 산만 상태의 공동 및 실시간 검출이 구현되어, 운전자의 운전 상태가 불량할 때 적시에 대응하는 조치들이 취해지고, 그렇게 함으로써 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다.
도 5는 본 개시내용에 따른 운전 상태 검출 장치의 다른 실시예의 개략 구조도이다. 도 5에 도시되는 바와 같이, 도 4에 도시되는 실시예와 비교하여, 이러한 실시예의 운전 상태 검출 장치는 추가로, 머리 자세 정보에 기초하여 결정되는 운전자 이미지에서의 운전자의 머리 위치 정보에 따라 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하는지를 결정하도록 구성되는 제2 결정 모듈을 포함한다.
따라서, 이러한 실시예에서, 제1 결정 모듈은, 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하면, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 산만 상태의 검출 결과를 결정하도록 구성되는 제1 결정 유닛; 및/또는 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하지 않으면, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하도록 구성되는 제2 결정 유닛을 포함한다.
일부 구현들에서, 제1 결정 유닛은, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성되는 제1 결정 서브유닛; 및 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태의 검출 결과를 결정하도록 구성되는 제2 결정 서브유닛을 포함한다.
일부 구현들에서, 제2 결정 유닛은, 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성되는 제3 결정 서브유닛; 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성되는 제1 결정 서브유닛; 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 피로 상태의 검출 결과를 결정하도록 구성되는 제4 결정 서브유닛; 및 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 산만 상태의 검출 결과를 결정하도록 구성되는 제2 결정 서브유닛을 포함한다.
일부 구현들에서, 제1 검출 모듈은, 운전자 이미지에 대해 얼굴 주요 지점 검출을 수행하도록 구성되는 주요 지점 검출 유닛; 및 검출된 얼굴 주요 지점들에 따라 머리 자세 정보 및 눈 상태 정보를 획득하도록 구성되는 제1 획득 유닛을 포함한다.
검출된 얼굴 주요 지점들에 따라 머리 자세 정보를 획득할 때, 제1 획득 유닛은 얼굴 주요 지점들에 기초하여 제1 신경망에 의해 머리 자세 정보를 획득하도록 구성된다.
예를 들어, 일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 눈 상태 정보를 획득할 때, 제1 획득 유닛은 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하도록; 제2 신경망에 기초하여 눈 영역 이미지에 대해 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 검출들을 수행하도록; 그리고 상위 눈꺼풀 라인과 하위 눈꺼풀 라인 사이의 간격에 따라 운전자의 눈 뜸/감음 상태 정보를 결정하도록- 눈 상태 정보는 눈 뜸/감음 상태 정보를 포함함 - 구성된다.
일부 다른 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 눈 상태 정보를 획득할 때, 제1 획득 유닛은 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하도록; 그리고 제3 신경망에 기초하여 눈 영역 이미지에 대해 눈 뜸/감음 분류 처리를 수행하여, 눈 뜸 분류 결과 또는 눈 감음 분류 결과를 획득하도록- 눈 상태 정보는 눈 뜸 상태 또는 눈 감음 상태를 포함함 - 구성된다.
또한, 전술한 운전 상태 검출 장치 실시예들에서, 제1 검출 모듈은 운전자 이미지에 대해 입 상태 검출을 수행하여 입 상태 정보를 획득하도록 추가로 구성된다. 따라서, 이러한 실시예에서, 제3 결정 서브유닛은 머리 자세 정보, 눈 상태 정보 및 입 상태 정보에 따라 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성된다. 선택적으로, 제1 검출 모듈에서의 제1 획득 유닛은 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득하도록 추가로 구성된다.
일부 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득할 때, 제1 획득 유닛은 얼굴 주요 지점들에 따라 운전자 이미지에서의 입 영역 이미지를 결정하도록; 제4 신경망에 기초하여 입 영역 이미지에 대해 상위 입술 라인 및 하위 입술 라인의 검출들을 수행하도록; 그리고 상위 입술 라인과 하위 입술 라인 사이의 간격에 따라 운전자의 입 벌림/닫음 상태 정보를 결정하도록- 입 상태 정보는 입 벌림/닫음 상태 정보를 포함함 - 구성된다.
일부 다른 선택적 예들에서, 검출된 얼굴 주요 지점들에 따라 입 상태 정보를 획득할 때, 제1 획득 유닛은 얼굴 주요 지점들에 따라 운전자 이미지에서의 입 영역 이미지를 결정하도록; 그리고 제5 신경망에 기초하여 입 영역 이미지에 대해 입 벌림/닫음 분류 처리를 수행하여 입 벌림 분류 결과 또는 입 닫음 분류 결과를 획득하도록- 입 상태 정보는 입 벌림 상태 또는 입 닫음 상태를 포함함 - 구성된다.
일부 선택적 예들에서, 제1 결정 서브유닛은, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 머리 위치 정보에 따라 머리 위치 벗어남 정도의 파라미터 값을 획득하도록; 및/또는, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 얼굴 배향을 결정하여 얼굴 배향 정보를 획득하고, 기간 내의 얼굴 배향 정보에 따라 얼굴 배향 벗어남 정도의 파라미터 값을 획득하도록; 및/또는, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하도록; 또는 얼굴 주요 지점들에 따라 운전자 이미지에서의 눈 영역 이미지를 결정하고, 제6 신경망에 기초하여 눈 영역 이미지에서의 운전자의 시선 방향 정보를 획득하고, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하도록; 및/또는, 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하도록 구성된다.
일부 선택적 예들에서, 제3 결정 서브유닛은, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하도록; 및/또는, 기간 내의 눈 상태 정보에 따라 눈 감음 정도의 파라미터 값을 획득하도록; 및/또는, 기간 내의 눈 상태 정보에 따라 깜빡임 정도의 파라미터 값을 획득하도록; 및/또는, 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하도록 구성된다.
운전자의 피로 상태를 표현하기 위한 인덱스는, 졸음 정도, 눈 감음 정도, 깜빡임 정도, 하품 정도 등 중 임의의 하나 이상을 포함하고; 및/또는, 운전자의 산만 상태를 표현하기 위한 인덱스는, 머리 위치 벗어남 정도, 얼굴 배향 벗어남 정도, 시선 방향 벗어남 정도, 멍함 정도 등 중 임의의 하나 이상을 포함한다.
일부 선택적 예들에서, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 머리 위치를 결정할 때, 제1 결정 서브유닛은 머리 위치로서의 머리 자세 정보에서의 피치 각도를 획득하도록; 및/또는, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 얼굴 배향을 결정할 때, 제1 결정 서브유닛은 얼굴 배향으로서 머리 자세 정보에서의 피치 각도 및 요 각도를 획득하도록 구성된다.
일부 선택적 예들에서, 머리 자세 정보에 따라 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득할 때, 제1 결정 서브유닛은 얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하고, 동공 에지 위치에 따라 동공 중앙 위치를 계산하도록; 동공 중앙 위치 및 눈 중앙 위치에 따라 머리 자세 정보에 대응하는 머리 자세에서의 안구 회전 각도 정보를 획득하도록; 그리고 머리 자세 정보 및 안구 회전 각도 정보에 따라 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하도록 구성된다. 예를 들어, 얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정할 때, 제1 결정 서브유닛은, 제7 신경망에 기초하여 얼굴 주요 지점들에 따라 분할되는 이미지에서의 눈 영역 이미지에 대해 동공 에지 위치 검출을 수행하도록, 그리고 제7 신경망에 의해 출력되는 정보에 따라 동공 에지 위치를 획득하도록 구성된다.
일부 선택적 예들에서, 기간 내의 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득할 때, 제1 결정 서브유닛은, 기간 내의 참조 시선 방향에 관한 시선 방향 정보의 벗어남 각도에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하도록 구성된다. 참조 시선 방향은 미리 설정되거나, 또는 참조 시선 방향은 운전자 이미지가 위치되는 비디오에서의 처음 N개의 운전자 이미지 프레임들에 기초하여 결정되는 평균 시선 방향이고, N은 1 초과인 정수이다.
일부 선택적 예들에서, 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득할 때, 제1 결정 서브유닛은, 눈 상태 정보에 따라, 운전자의 눈들이 미리 설정된 주기의 멍함 시간 동안 눈 뜸 상태에 있을 때 운전자가 멍함 상태에 있다고 결정하도록; 그리고 기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하도록- 기간은 미리 설정된 주기의 멍함 시간을 포함함 - 구성된다.
일부 선택적 예들에서, 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득할 때, 제3 결정 서브유닛은, 머리 위치 정보에 따라, 운전자의 머리 위치가 제1 미리 설정된 기간 내의 미리 설정된 벗어남 범위에 도달하는 미리 설정된 참조 머리 위치에 관한 벗어남 정도를 갖고 제2 미리 설정된 기간 내의 미리 설정된 참조 머리 위치로 복귀할 때 운전자가 졸음 상태에 있다고 결정하도록; 그리고 기간 내의 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하도록- 기간은 제1 미리 설정된 기간 및 제2 미리 설정된 기간을 포함함 - 구성된다.
일부 선택적 예들에서, 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득할 때, 제3 결정 서브유닛은, 입 상태 정보에 따라, 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 입 닫음 상태로 복귀하는 시간이 미리 설정된 시간 범위 내에 있을 때 운전자가 하품 액션을 완료한다고 결정하도록; 그리고 기간 내의 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하도록- 기간은 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 입 닫음 상태로 복귀하는 시간을 포함함 -구성된다.
일부 선택적 예들에서, 머리 위치 벗어남 정도의 파라미터 값은, 머리 위치 벗어남 상태, 머리 위치 벗어남 방향, 머리 위치 벗어남 방향에서의 머리 위치의 벗어남 각도, 머리 위치 벗어남 지속시간, 또는 머리 위치 벗어남 빈도 중 임의의 하나 이상을 포함하고; 및/또는, 얼굴 배향 벗어남 정도의 파라미터 값은, 머리 회전들의 수, 머리 회전 지속시간, 또는 머리 회전 빈도 중 임의의 하나 이상을 포함하고; 및/또는, 시선 방향 벗어남 정도의 파라미터 값은, 시선 방향 벗어남 각도, 시선 방향 벗어남 지속시간, 또는 시선 방향 벗어남 빈도 중 임의의 하나 이상을 포함하고; 및/또는, 멍함 정도의 파라미터 값은, 눈 뜸 진폭, 눈 뜸 지속시간, 또는 눈 뜸 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는, 졸음 정도를 표현하기 위한 파라미터 값은, 졸음 끄덕임 상태, 졸음 끄덕임 진폭, 졸음 끄덕임들의 수, 졸음 끄덕임 빈도, 또는 졸음 끄덕임 지속시간 중 임의의 하나 이상을 포함하고; 및/또는, 눈 감음 정도를 표현하기 위한 파라미터 값은, 눈 감음들의 수, 눈 감음 빈도, 눈 감음 지속시간, 눈 감음 진폭, 눈 반-감음들의 수, 눈 반-감음 빈도, 또는 눈 감음 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는, 깜빡임 정도를 표현하기 위한 파라미터 값은, 깜빡임들의 수, 깜빡임 빈도, 깜빡임 지속시간, 또는 깜빡임 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는, 하품 정도를 표현하기 위한 파라미터 값은, 하품 상태, 하품들의 수, 하품 지속시간, 또는 하품 빈도 중 임의의 하나 이상을 포함한다.
일부 선택적 예들에서, 제2 결정 서브유닛은 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 운전자의 산만 상태의 검출 결과가 산만 상태라고 결정하도록; 및/또는, 운전자의 산만 상태를 표현하기 위한 인덱스들의 모든 파라미터 값들이 미리 결정된 산만 조건을 충족시키지 않을 때, 운전자의 산만 상태의 검출 결과가 비-산만 상태라고 결정하도록 구성된다.
일부 선택적 예들에서, 미리 결정된 산만 조건은 다수의 산만 레벨 조건들을 포함한다. 따라서, 이러한 실시예에서, 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 운전자의 산만 상태의 검출 결과가 산만 상태라고 결정할 때, 제2 결정 서브유닛은 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 레벨 조건에 따라 산만 상태 레벨을 결정하도록; 그리고 결정된 산만 상태 레벨을 운전자의 산만 상태의 검출 결과로서 취하도록 구성된다.
일부 선택적 예들에서, 제4 결정 서브유닛은 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 운전자의 피로 상태의 검출 결과가 피로 상태라고 결정하도록; 및/또는, 운전자의 피로 상태를 표현하기 위한 인덱스들의 모든 파라미터 값들이 미리 결정된 피로 조건을 충족시키지 않을 때 운전자의 피로 상태의 검출 결과가 비-피로 상태라고 결정하도록 구성된다.
일부 선택적 예들에서, 미리 결정된 피로 조건은 다수의 피로 레벨 조건들을 포함한다. 따라서, 이러한 실시예에서, 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 운전자의 피로 상태의 검출 결과가 피로 상태라고 결정할 때, 제4 결정 서브유닛은 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 피로 레벨 조건에 따라 피로 상태 레벨을 결정하도록; 그리고 결정된 피로 상태 레벨을 운전자의 피로 상태의 검출 결과로서 취하도록 구성된다.
또한, 다시 도 5를 참조하면, 본 개시내용의 운전 상태 검출 장치의 다른 실시예에서, 이러한 장치는 추가로, 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성되는 제2 검출 모듈; 미리 결정된 산만 액션이 발생한다고 결정하는 것에 응답하여, 미리 결정된 산만 액션이 기간 내에 발생하는지의 결정 결과에 따라 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값을 획득하도록 구성되는 제1 획득 모듈; 및 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 따라 운전자의 미리 결정된 산만 액션의 검출 결과를 결정하도록 구성되는 제3 결정 모듈을 추가로 포함한다. 산만 정도의 파라미터 값은, 미리 결정된 산만 액션의 발생들의 수, 미리 결정된 산만 액션의 지속시간, 미리 결정된 산만 액션의 빈도 등 중 임의의 하나 이상 등을 포함한다. 미리 결정된 산만 액션은, 흡연 액션, 음용 액션, 식사 액션, 통화 액션, 오락 액션, 화장 액션 등 중 임의의 하나 이상을 포함한다.
일부 구현들에서, 제2 검출 모듈은 운전자 이미지의 특징을 추출하도록; 특징에 기초하여 미리 결정된 산만 액션을 포함할 수 있는 다수의 후보 박스들을 추출하도록; 다수의 후보 박스들에 기초하여 액션 타겟 박스를 결정하도록- 액션 타겟 박스는 얼굴의 국소 영역 및 액션 상호작용 객체를 포함하거나, 또는 손 영역을 추가로 포함함 -; 그리고 액션 타겟 박스에 기초하여 미리 결정된 산만 액션의 분류 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성된다. 얼굴의 국소 영역은 입 영역, 귀 영역, 또는 눈 영역 중 임의의 하나 이상을 포함하고; 및/또는, 액션 상호작용 객체는, 용기, 담배, 모바일 폰, 식품, 도구, 음료 병, 안경, 또는 마스크 중 임의의 하나 이상을 포함한다.
일부 구현들에서, 제2 검출 모듈은 제8 신경망에 의해 운전자 이미지에 대해 얼굴 검출을 수행하여 얼굴 경계 박스를 획득하고, 얼굴 경계 박스의 특징 정보를 추출하도록; 그리고 얼굴 경계 박스의 특징 정보에 따라 제8 신경망에 의해 흡연 액션이 발생하는지를 결정하도록 구성된다.
일부 구현들에서, 제2 검출 모듈은 제9 신경망에 의해 운전자 이미지에 대해 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션에 대응하는 미리 설정된 타겟 객체 검출을 수행하여 미리 설정된 타겟 객체의 경계 박스를 획득하도록- 미리 설정된 타겟 객체는 손들, 입, 눈들, 및 액션 상호작용 객체를 포함하고, 액션 상호작용 객체는 용기, 식품, 전자 디바이스, 또는 화장품 중 임의의 하나 이상의 타입을 포함함 -; 및 미리 설정된 타겟 객체의 경계 박스에 따라 미리 결정된 산만 액션이 발생하는지를 결정하도록- 미리 결정된 산만 액션이 발생하는지의 결정 결과는, 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션이 발생하지 않음; 식사 액션이 발생함; 음용 액션이 발생함; 통화 액션이 발생함; 오락 액션이 발생함; 또는 화장 액션이 발생함 중 하나를 포함함 - 구성된다.
일부 구현들에서, 미리 설정된 타겟 객체의 경계 박스에 따라 미리 결정된 산만 액션이 발생하는지를 결정할 때, 제2 검출 모듈은, 손 경계 박스, 입 경계 박스, 눈 경계 박스, 및 액션 상호작용 객체 경계 박스가 검출되는지, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하는지, 액션 상호작용 객체의 타입, 및 액션 상호작용 객체 경계 박스와 입 경계 박스 또는 눈 경계 박스 사이의 거리가 미리 설정된 조건을 충족시키는지에 따라 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성된다.
일부 구현들에서, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하는지, 및 액션 상호작용 객체 경계 박스와 입 경계 박스 또는 눈 경계 박스 사이의 위치 관계가 미리 설정된 조건을 충족시키는지에 따라 미리 결정된 산만 액션이 발생하는지를 결정할 때, 제2 검출 모듈은, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하고, 액션 상호작용 객체의 타입이 용기 또는 식품이고, 액션 상호작용 객체 경계 박스가 입 경계 박스와 중첩하면, 식사 액션 또는 음용 액션이 발생한다고 결정하도록; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하고, 액션 상호작용 객체의 타입이 전자 디바이스이고, 액션 상호작용 객체 경계 박스와 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이거나, 또는 액션 상호작용 객체 경계 박스와 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이면, 오락 액션 또는 통화 액션이 발생한다고 결정하도록 구성된다.
일부 구현들에서, 제2 검출 모듈은 추가로, 손 경계 박스, 입 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않고, 손 경계 박스, 눈 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정하도록; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정하도록; 및/또는 액션 상호작용 객체의 타입이 용기 또는 식품이고, 액션 상호작용 객체 경계 박스가 입 경계 박스와 중첩하지 않고, 및/또는, 액션 상호작용 객체의 타입이 전자 디바이스이고, 액션 상호작용 객체 경계 박스와 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이 아니거나, 또는 액션 상호작용 객체 경계 박스와 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이 아니면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정하도록 구성된다.
또한, 다시 도 5를 참조하면, 본 개시내용의 운전 상태 검출 장치의 또 다른 실시예에서, 이러한 장치는 추가로, 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 액션 레벨 조건에 따라 산만 액션 레벨을 결정하도록 구성되는 제4 결정 모듈을 포함한다. 따라서, 이러한 실시예에서, 제3 결정 모듈은 결정된 산만 액션 레벨을 운전자의 미리 결정된 산만 액션의 검출 결과로서 취하도록 구성된다.
또한, 다시 도 5를 참조하면, 본 개시내용의 운전 상태 검출 장치의 또 다른 실시예에서, 이러한 장치는 추가로, 운전자의 상태 검출 결과에 따라 경보를 수행하도록 구성되는 경보 모듈; 및/또는, 운전자의 상태 검출 결과에 따라 지능형 운전 제어를 수행하도록 구성되는 운전 제어 모듈을 포함한다. 운전자의 상태 검출 결과는, 피로 상태의 검출 결과, 산만 상태의 검출 결과, 또는 미리 결정된 산만 액션의 검출 결과 중 임의의 하나 이상을 포함한다.
일부 구현들에서, 경보 모듈은 운전자의 상태 검출 결과가 경보 조건을 충족시킬 때 미리 설정된 경보 조건에 대응하는 프롬프트/경고 정보를 출력하도록 구성되고; 및/또는, 운전 제어 모듈은 운전자의 상태 검출 결과가 미리 결정된 운전 모드 전환 조건을 충족시킬 때 운전 모드를 자율 운전 모드로 전환하도록 구성된다.
일부 선택적 예들에서, 경보 모듈은 피로 상태의 검출 결과가 피로 상태이면 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 산만 상태의 검출 결과가 산만 상태이면 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 미리 결정된 산만 액션이 발생하면, 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 운전자의 상태 검출 결과가, 피로 상태, 산만 상태, 또는 미리 결정된 산만 액션의 발생 중 임의의 2개 또는 3개를 포함할 때 미리 설정된 모드에서 프롬프트/경고 정보를 출력하도록 구성된다.
일부 선택적 예들에서, 이러한 경보 모듈은 추가로, 경보 모듈이 피로 상태에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보를 억제하도록; 및/또는, 산만 상태에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보를 억제하도록; 및/또는, 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보를 억제하도록 구성된다.
일부 선택적 예들에서, 운전자의 상태 검출 결과가, 피로 상태, 산만 상태, 및 미리 결정된 산만 액션의 발생 중 임의의 2개 또는 3개를 포함할 때 미리 설정된 모드에서 프롬프트/경고 정보를 출력할 때, 경보 모듈은, 운전자의 상태 검출 결과가 피로 상태 및 산만 상태를 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 운전자의 상태 검출 결과가 산만 상태 및 미리 결정된 산만 액션의 검출을 포함할 때, 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 운전자의 상태 검출 결과가 피로 상태 및 미리 결정된 산만 액션의 검출을 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 검출되고 있는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 운전자의 상태 검출 결과가 피로 상태, 산만 상태, 및 미리 결정된 산만 액션의 발생을 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과, 산만 상태의 검출 결과, 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록 구성된다.
일부 선택적 예들에서, 피로 상태의 검출 결과가 피로 상태 레벨이면 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력할 때, 경보 모듈은 피로 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하도록 구성되고; 및/또는, 산만 상태의 검출 결과가 산만 상태 레벨이면 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력할 때, 경보 모듈은 산만 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하도록 구성되고; 미리 결정된 산만 액션의 검출 결과가 산만 액션 레벨이면 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력할 때, 경보 모듈은 산만 액션 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하도록 구성된다.
일부 선택적 예들에서, 운전 제어 모듈은 피로 상태 레벨 및/또는 산만 상태 레벨 및/또는 산만 액션 레벨이 미리 결정된 운전 모드 전환 조건을 충족시킬 때 운전 모드를 자율 운전 모드로 전환하도록 구성된다.
또한, 도 5를 다시 참조하면, 본 개시내용의 전술한 실시예들에서, 이러한 장치는 추가로, 이미지 취득을 수행하여 운전자 이미지를 획득하도록 구성되는 적외선 카메라를 포함한다. 이러한 적외선 카메라는 차량에서의 적어도 하나의 위치, 예를 들어, 다음의 위치들: 대시보드 위의 또는 근처의 위치, 중앙 콘솔 위의 또는 근처의 위치, A-필러 또는 근처의 위치, 또는 리어뷰 미러 또는 근처의 위치 중 임의의 하나 이상에 배치된다.
일부 구현들에서, 적외선 카메라는, 차량이 운전 상태에 있을 때 이미지 취득을 수행하여, 운전자 이미지를 획득하도록; 및/또는, 차량의 주행 속도가 미리 설정된 속도를 초과할 때 이미지 취득을 수행하여, 운전자 이미지를 획득하도록; 및/또는, 차량이 파워 온되는 것을 검출한 후에 이미지 취득을 수행하여, 운전자 이미지를 획득하도록; 및/또는, 차량에 대한 시작 명령어가 검출될 때 이미지 취득을 수행하여, 운전자 이미지를 획득하도록; 및/또는, 차량 또는 차량에서의 컴포넌트 또는 시스템으로의 제어 명령어가 검출될 때 이미지 취득을 수행하여, 운전자 이미지를 획득하도록 구성된다.
도 6은 본 개시내용에 따른 운전자 모니터링 시스템의 하나의 실시예의 개략 구조도이다. 이러한 실시예의 운전자 모니터링 시스템은 본 개시내용의 전술한 운전 상태 검출 방법 실시예들을 구현하도록 구성될 수 있다. 도 6에 도시되는 바와 같이, 이러한 실시예의 운전자 모니터링 시스템은, 운전자 이미지, 및 운전자의 피로 상태 및 산만 상태의 검출 결과들을 디스플레이하도록 구성되는 디스플레이 디바이스; 및 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하도록; 그리고 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하도록 구성되는 운전자 상태 검출 장치를 포함한다.
이러한 운전자 상태 검출 장치는 본 개시내용의 전술한 실시예들 중 어느 하나에 따른 운전 상태 검출 장치를 포함한다.
본 개시내용의 전술한 실시예들에서 제공되는 운전자 모니터링 시스템에 기초하여, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출이 수행될 수 있고, 검출된 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들이 결정된다. 본 개시내용의 실시예들에서, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하는 것에 의해, 운전자의 피로 상태 및 산만 상태의 공동 및 실시간 검출이 구현되어, 운전자의 운전 상태가 불량할 때 적시에 대응하는 조치들이 취해지고, 그렇게 함으로써 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다.
또한, 본 개시내용의 실시예들은 다른 전자 디바이스를 제공하고, 이는, 컴퓨터 프로그램을 저장하도록 구성되는 메모리; 및 메모리에 저장되는 컴퓨터 프로그램을 실행하도록 구성되는 프로세서를 포함하고, 이러한 컴퓨터 프로그램이 실행될 때, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 검출 방법이 구현된다.
도 7은 본 개시내용에 따른 전자 디바이스의 하나의 적용 실시예의 개략 구조도이다. 아래에 도 7을 참조하면, 본 개시내용의 실시예들을 구현하기에 적합한, 단말 디바이스 또는 서버일 수 있는, 전자 디바이스의 개략 구조도가 도시된다. 도 7에 도시되는 바와 같이, 이러한 전자 디바이스는 하나 이상의 프로세서, 통신 부분 등을 포함한다. 하나 이상의 프로세서는, 예를 들어, 하나 이상의 CPU, 및/또는 하나 이상의 GPU 등이다. 프로세서는 ROM에 저장되는 실행가능 명령어들 또는 저장 섹션으로부터 RAM으로 로딩되는 실행가능 명령어들에 따라 다양한 적절한 액션들 및 처리를 수행할 수 있다. 통신 부분은, 이에 제한되는 것은 아니지만, 이에 제한되는 것은 아니지만, IB(Infiniband) 네트워크 카드를 포함할 수 있는, 네트워크 카드를 포함할 수 있고, 프로세서는 실행가능 명령어들을 실행하기 위해 ROM 및/또는 RAM과 통신하고, 버스를 통해 통신 부분에 접속되고, 통신 부분을 통해 다른 타겟 디바이스들과 통신하고, 그렇게 함으로써 본 개시내용의 실시예들에 의해 제공되는 임의의 운전 상태 검출 방법에 대응하는 동작들, 예를 들어, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하는 단계; 및 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하는 단계를 완료한다.
또한, RAM은 장치의 동작들에 대해 요구되는 다양한 프로그램들 및 데이터를 추가로 저장할 수 있다. CPU, ROM, 및 RAM은 버스를 통해 서로 접속된다. RAM의 존재시에, ROM은 선택적 모듈이다. RAM은 실행가능 명령어들을 저장하거나, 또는 이러한 실행가능 명령어들을 실행 동안 ROM에 기입하고, 이러한 실행가능 명령어들은 프로세서로 하여금 본 개시내용의 임의의 방법의 대응하는 동작들을 수행하게 한다. I/O(Input/Output) 인터페이스가 버스에 또한 접속된다. 통신 부분은 집적될 수 있거나, 또는 버스에 접속되는 복수의 서브-모듈들(예를 들어, 복수의 IB 네트워크 카드들)을 갖도록 구성될 수 있다.
다음의 컴포넌트들이 I/O 인터페이스에 접속된다: 키보드, 마우스 등을 포함하는 입력 섹션; CRT(Cathode-Ray Tube), LCD(Liquid Crystal Display), 스피커 등을 포함하는 출력 섹션; 하드 디스크 등을 포함하는 저장 섹션; 및 LAN 카드, 모뎀 등을 포함하는 네트워크 인터페이스 카드의 통신 섹션. 통신 섹션은 인터넷과 같은 네트워크를 통해 통신 처리를 수행한다. 요건들에 따라 I/O 인터페이스에 드라이브가 또한 접속된다. 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등과 같은 제거가능 매체가 요건들에 따라 드라이브 상에 장착되어, 제거가능 매체로부터 판독되는 컴퓨터 프로그램이 요건들에 따라 저장 섹션 상에 설치될 수 있다.
도 7에 예시되는 아키텍처는 단지 선택적 구현이라는 점이 주목되어야 한다. 구체적 실시 동안, 도 7에서의 컴포넌트들의 수 및 타입들은 실제 요건들에 따라 선택, 감소, 증가, 또는 대체될 수 있다. 상이한 기능적 컴포넌트들이 분리되거나 또는 집적되는 등이다. 예를 들어, GPU 및 CPU가 분리되거나, 또는 GPU가 CPU 상에 집적되고, 통신 부분이 CPU 또는 GPU 등으로부터 분리되거나 또는 이들 상에 집적된다. 이러한 대안적인 구현들은 모두 본 개시내용의 보호 범위 내에 속한다.
특히, 본 개시내용의 실시예들에 따른 흐름도를 참조하여 위에 설명된 프로세스는 컴퓨터 소프트웨어 프로그램으로서 구현될 수 있다. 예를 들어, 본 개시내용의 실시예들은, 머신-판독가능 매체 상에 유형적으로 포함되는 컴퓨터 프로그램을 포함하는, 컴퓨터 프로그램 제품을 포함한다. 이러한 컴퓨터 프로그램은 흐름도에 도시되는 방법을 수행하기 위한 프로그램 코드를 포함한다. 이러한 프로그램 코드는 본 개시내용의 실시예들 중 임의의 것에 의해 제공되는 운전 상태 검출 방법의 단계들을 실행하기 위한 명령어들을 포함할 수 있다. 이러한 실시예에서, 컴퓨터 프로그램은 통신 섹션을 통해 네트워크로부터 다운로드되고 설치되고, 및/또는 제거가능 매체로부터 설치될 수 있다. 이러한 컴퓨터 프로그램이 CPU에 의해 실행될 때, 본 개시내용에 따른 방법에서 정의되는 기능들이 실행된다.
또한, 본 개시내용의 실시예들은 컴퓨터 명령어들을 포함하는 컴퓨터 프로그램을 또한 제공하고, 이러한 컴퓨터 명령어들이 디바이스의 프로세서에서 실행될 때, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 검출 방법이 구현된다.
또한, 본 개시내용의 실시예들은, 컴퓨터 프로그램을 저장하고 있는, 컴퓨터-판독가능 저장 매체를 또한 제공하고, 이러한 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 검출 방법이 구현된다.
도 8은 본 개시내용에 따른 차량의 하나의 실시예의 개략 구조도이다. 도 8에 도시되는 바와 같이, 이러한 실시예의 차량은 중앙 제어 시스템을 포함하고, 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 검출 장치 또는 운전자 모니터링 시스템을 추가로 포함한다.
본 개시내용의 전술한 실시예들에 기초하여 제공되는 차량은 본 개시내용의 전술한 실시예들 중 임의의 것에 따른 운전 상태 검출 장치 또는 운전자 모니터링 시스템을 포함하고, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출이 수행될 수 있고, 검출된 머리 자세 정보 및 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들이 결정된다. 본 개시내용의 실시예들에서, 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하는 것에 의해, 운전자의 피로 상태 및 산만 상태의 공동 및 실시간 검출이 구현되어, 운전자의 운전 상태가 불량할 때 적시에 대응하는 조치들이 취해지고, 그렇게 함으로써 운전 안전성을 개선하고 도로 교통 사고들의 발생을 감소시킨다.
일부 구현들에서, 중앙 제어 시스템은, 운전 상태 검출 장치 또는 운전자 모니터링 시스템에 의해 출력되는 운전자 상태들의 검출 결과들에 따라, 차량에서의 (스피커, 버저, 및 조명 디바이스와 같은) 오락 시스템 또는 차량의 (스피커, 버저, 및 조명 디바이스와 같은) 외부 오락 시스템을 호출하여 운전자의 상태 검출 결과가 경보 조건을 충족시킬 때 미리 설정된 경보 조건에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 운전자의 상태 검출 결과가 미리 결정된 운전 모드 전환 조건을 충족시킬 때, 운전 모드를 자율 운전 모드로 전환하고, 자율 운전 모드에서 차량에 대한 자율 운전 제어를 수행하도록 구성된다.
일부 다른 실시예들에서, 중앙 제어 시스템은 수동 운전으로 전환하기 위한 운전 명령어가 수신될 때 운전 모드를 수동 운전 모드로 전환하도록 추가로 구성된다.
다시 도 8을 참조하면, 전술한 실시예들의 차량은 추가로, 중앙 제어 시스템의 제어 명령어에 따라 경보 조건에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는 중앙 제어 시스템의 제어 명령어에 따라 프롬프트/경고 정보의 조기-경고 효과 또는 오락의 재생 효과를 조정하도록 구성되는 오락 시스템을 포함할 수 있다.
이러한 오락 시스템은, 예를 들어, 스피커, 버저, 조명 디바이스 등을 포함할 수 있다.
다시 도 8을 참조하면, 전술한 실시예들의 차량은 추가로, 이미지 취득을 수행하도록 구성되는 적어도 하나의 적외선 카메라를 포함할 수 있다.
실시예들 중 일부에서, 차량에서의 적외선 카메라는 차량에서의 적어도 하나의 위치에 배치된다, 예를 들어, 다음의 위치들: 대시보드 위의 또는 근처의 위치, 중앙 콘솔 위의 또는 근처의 위치, A-필러 또는 근처의 위치, 리어뷰 미러 또는 근처의 위치 등 중 임의의 하나 이상에 배치된다.
이러한 설명에서의 실시예들은 모두 점진적 방식으로 설명되고, 실시예들에서의 동일한 또는 유사한 부분들에 대해, 이러한 실시예들을 참조하고, 각각의 실시예는 다른 실시예들과의 차이에 초점을 맞춘다. 이러한 시스템 실시예들은 방법 실시예들에 실질적으로 대응하고, 따라서 오직 간단히 설명되며, 연관된 부분에 대해서는, 방법 실시예들의 설명들을 참조한다.
본 개시내용에서의 방법, 장치, 및 디바이스는 많은 방식들로 구현된다. 예를 들어, 본 개시내용에서의 방법, 장치 및 디바이스는 소프트웨어, 하드웨어, 펌웨어, 또는 소프트웨어, 하드웨어, 및 펌웨어의 임의의 조합으로 구현될 수 있다. 이러한 방법의 단계들의 전술한 시퀀스는 단지 설명을 위한 것이고, 특히 달리 진술되지 않는 한, 본 개시내용에서의 방법의 단계들을 제한하도록 의도되지 않는다. 또한, 일부 실시예들에서, 본 개시내용은 또한 기록 매체에 기록되는 프로그램으로서 또한 구현될 수 있다. 이러한 프로그램은 본 개시내용에 따른 방법을 구현하기 위한 머신-판독가능 명령어들을 포함한다. 따라서, 본 개시내용은 본 개시내용에 따른 방법을 실행하기 위한 프로그램을 저장하는 기록 매체를 추가로 커버한다.
본 개시내용의 설명들은 예들 및 설명의 목적을 위해 제공되고, 철저하도록 또는 본 개시내용을 개시된 형태로 제한하도록 의도되는 것은 아니다. 많은 수정들 및 변경들이 해당 분야에서의 통상의 기술자에게 명백하다. 본 개시내용의 원리 및 실제 적용을 더 잘 설명하기 위해, 해당 분야에서의 통상의 기술자가 본 개시내용을 이해하게 하기 위해 실시예들이 선택되고 설명되어, 특정 사용에 적용가능한 다양한 수정들로 다양한 실시예들을 설계하게 한다.

Claims (112)

  1. 운전 상태 검출 방법으로서,
    운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하는 단계; 및
    상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하는 단계를 포함하는 방법.
  2. 제1항에 있어서, 상기 방법은 추가로, 상기 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 상기 머리 자세 정보 및 상기 눈 상태 정보를 획득하는 단계 후에,
    상기 머리 자세 정보에 기초하여 결정되는 상기 운전자 이미지에서의 상기 운전자의 머리 위치 정보에 따라 상기 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하는지를 결정하는 단계;
    상기 운전자의 머리 위치의 벗어남 각도가 상기 미리 설정된 범위를 초과한다고 결정하는 것에 응답하여, 상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 산만 상태의 검출 결과를 결정하는 단계; 및/또는
    상기 운전자의 머리 위치의 벗어남 각도가 상기 미리 설정된 범위를 초과하지 않는다고 결정하는 것에 응답하여, 상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하는 단계를 포함하는 방법.
  3. 제2항에 있어서, 상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 산만 상태의 검출 결과를 결정하는 단계는,
    상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계; 및
    상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 산만 상태의 검출 결과를 결정하는 단계를 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하는 단계는,
    상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값 및 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계;
    상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 피로 상태의 검출 결과를 결정하는 단계; 및
    상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 산만 상태의 검출 결과를 결정하는 단계를 포함하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 상기 머리 자세 정보 및 상기 눈 상태 정보를 획득하는 단계는,
    상기 운전자 이미지에 대해 얼굴 주요 지점 검출을 수행하는 단계; 및
    검출된 얼굴 주요 지점들에 따라 상기 머리 자세 정보 및 상기 눈 상태 정보를 획득하는 단계를 포함하는 방법.
  6. 제5항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 머리 자세 정보를 획득하는 단계는,
    제1 신경망에 의해, 상기 얼굴 주요 지점들에 기초하여 상기 머리 자세 정보를 획득하는 단계를 포함하는 방법.
  7. 제5항 또는 제6항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 눈 상태 정보를 획득하는 단계는,
    상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 눈 영역 이미지를 결정하는 단계;
    제2 신경망에 기초하여 상기 눈 영역 이미지에 대해 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 검출들을 수행하는 단계; 및
    상기 상위 눈꺼풀 라인과 상기 하위 눈꺼풀 라인 사이의 간격에 따라 상기 운전자의 눈 뜸/감음 상태 정보를 결정하는 단계- 상기 눈 상태 정보는 상기 눈 뜸/감음 상태 정보를 포함함 -를 포함하는 방법.
  8. 제5항 또는 제6항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 눈 상태 정보를 획득하는 단계는,
    상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 눈 영역 이미지를 결정하는 단계; 및
    제3 신경망에 기초하여 상기 눈 영역 이미지에 대해 눈 뜸/감음 분류 처리를 수행하여, 눈 뜸 분류 결과 또는 눈 감음 분류 결과를 획득하는 단계- 상기 눈 상태 정보는 눈 뜸 상태 또는 눈 감음 상태를 포함함 -를 포함하는 방법.
  9. 제4항 내지 제8항 중 어느 한 항에 있어서,
    상기 운전자 이미지에 대해 입 상태 검출을 수행하여 입 상태 정보를 획득하는 단계를 추가로 포함하고;
    상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계는,
    상기 머리 자세 정보, 상기 눈 상태 정보, 및 상기 입 상태 정보에 따라 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계를 포함하는 방법.
  10. 제9항에 있어서, 상기 운전자 이미지에 대해 입 상태 검출을 수행하여 상기 입 상태 정보를 획득하는 단계는,
    상기 운전자 이미지에 대해 얼굴 주요 지점 검출을 수행하는 단계; 및
    검출된 얼굴 주요 지점들에 따라 상기 입 상태 정보를 획득하는 단계를 포함하는 방법.
  11. 제10항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 입 상태 정보를 획득하는 단계는,
    상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 입 영역 이미지를 결정하는 단계;
    제4 신경망에 기초하여 상기 입 영역 이미지에 대해 상위 입술 라인 및 하위 입술 라인의 검출들을 수행하는 단계; 및
    상기 상위 입술 라인과 상기 하위 입술 라인 사이의 간격에 따라 상기 운전자의 입 벌림/닫음 상태 정보를 결정하는 단계- 상기 입 상태 정보는 입 벌림/닫음 상태 정보를 포함함 -를 포함하는 방법.
  12. 제10항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 입 상태 정보를 획득하는 단계는,
    상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 입 영역 이미지를 결정하는 단계; 및
    제5 신경망에 기초하여 상기 입 영역 이미지에 대해 입 벌림/닫음 분류 처리를 수행하여, 입 벌림 분류 결과 또는 입 닫음 분류 결과를 획득하는 단계- 상기 입 상태 정보는 입 벌림 상태 또는 입 닫음 상태를 포함함 -를 포함하는 방법.
  13. 제3항 내지 제12항 중 어느 한 항에 있어서, 상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 상기 머리 위치 정보에 따라 머리 위치 벗어남 정도의 파라미터 값을 획득하는 단계; 및/또는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 얼굴 배향을 결정하여 얼굴 배향 정보를 획득하고, 기간 내의 상기 얼굴 배향 정보에 따라 얼굴 배향 벗어남 정도의 파라미터 값을 획득하는 단계; 및/또는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하고, 기간 내의 상기 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계; 또는 상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 눈 영역 이미지를 결정하고, 제6 신경망에 기초하여 상기 눈 영역 이미지에서의 운전자의 시선 방향 정보를 획득하고, 기간 내의 상기 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계; 및/또는,
    기간 내의 상기 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계를 포함하는 방법.
  14. 제4항 내지 제13항 중 어느 한 항에 있어서, 상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값 및 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하는 단계는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 상기 머리 위치 정보에 따라 머리 위치 벗어남 정도의 파라미터 값을 획득하는 단계; 및/또는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 얼굴 배향을 결정하여 얼굴 배향 정보를 획득하고, 기간 내의 상기 얼굴 배향 정보에 따라 얼굴 배향 벗어남 정도의 파라미터 값을 획득하는 단계; 및/또는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하고, 기간 내의 상기 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계; 또는 상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 눈 영역 이미지를 결정하고, 제6 신경망에 기초하여 상기 눈 영역 이미지에서의 운전자의 시선 방향 정보를 획득하고, 기간 내의 상기 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계; 및/또는,
    기간 내의 상기 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하는 단계; 및/또는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 상기 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하는 단계; 및/또는,
    기간 내의 상기 눈 상태 정보에 따라 눈 감음 정도의 파라미터 값을 획득하는 단계; 및/또는,
    기간 내의 상기 눈 상태 정보에 따라 깜빡임 정도의 파라미터 값을 획득하는 단계; 및/또는,
    기간 내의 상기 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하는 단계를 포함하는 방법.
  15. 제13항 또는 제14항에 있어서, 상기 운전자의 피로 상태를 표현하기 위한 인덱스는, 상기 졸음 정도, 상기 눈 감음 정도, 상기 깜빡임 정도, 또는 상기 하품 정도 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 운전자의 산만 상태를 표현하기 위한 인덱스는, 상기 머리 위치 벗어남 정도, 상기 얼굴 배향 벗어남 정도, 상기 시선 방향 벗어남 정도, 또는 상기 멍함 정도 중 임의의 하나 이상을 포함하는 방법.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서, 상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 머리 위치를 결정하는 단계는, 상기 머리 위치로서 상기 머리 자세 정보에서의 피치 각도를 획득하는 단계를 포함하고; 및/또는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 얼굴 배향을 결정하는 단계는, 상기 얼굴 배향으로서 상기 머리 자세 정보에서의 피치 각도 및 요 각도를 획득하는 단계를 포함하는 방법.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서, 상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 시선 방향을 결정하여 상기 시선 방향 정보를 획득하는 단계는,
    상기 얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하고, 상기 동공 에지 위치에 따라 동공 중앙 위치를 계산하는 단계;
    상기 동공 중앙 위치 및 눈 중앙 위치에 따라 상기 머리 자세 정보에 대응하는 머리 자세에서의 안구 회전 각도 정보를 획득하는 단계; 및
    상기 머리 자세 정보 및 상기 안구 회전 각도 정보에 따라 상기 운전자의 시선 방향을 결정하여 상기 시선 방향 정보를 획득하는 단계를 포함하는 방법.
  18. 제17항에 있어서, 상기 얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하는 단계는,
    제7 신경망에 기초하여, 상기 얼굴 주요 지점들에 따라 상기 이미지로부터 분할되는 눈 영역 이미지에 대해 동공 에지 위치 검출을 수행하는 단계; 및
    상기 제7 신경망에 의해 출력되는 정보에 따라 상기 동공 에지 위치를 획득하는 단계를 포함하는 방법.
  19. 제13항 내지 제18항 중 어느 한 항에 있어서, 상기 기간 내의 상기 시선 방향 정보에 따라 상기 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계는,
    참조 시선 방향에 관한 상기 기간 내의 상기 시선 방향 정보의 벗어남 각도에 따라 상기 시선 방향 벗어남 정도의 파라미터 값을 획득하는 단계를 포함하는 방법.
  20. 제19항에 있어서,
    상기 참조 시선 방향을 미리 설정하는 단계; 또는,
    상기 운전자 이미지를 포함하는 비디오에서의 처음 N개의 운전자 이미지 프레임들에 기초하여 결정되는 평균 시선 방향을 상기 참조 시선 방향으로서 취하는 단계- N은 1 초과인 정수임 -를 추가로 포함하는 방법.
  21. 제13항 내지 제20항 중 어느 한 항에 있어서, 상기 기간 내의 상기 눈 상태 정보에 따라 상기 멍함 정도의 파라미터 값을 획득하는 단계는,
    상기 눈 상태 정보에 따라 미리 설정된 주기의 멍함 시간 동안 상기 운전자의 눈들이 눈 뜸 상태에 있을 때 상기 운전자가 멍함 상태에 있다고 결정하는 단계; 및
    상기 기간 내의 상기 눈 상태 정보에 따라 상기 멍함 정도의 파라미터 값을 획득하는 단계- 상기 기간은 상기 미리 설정된 주기의 멍함 시간을 포함함 -를 포함하는 방법.
  22. 제14항 내지 제21항 중 어느 한 항에 있어서, 상기 기간 내의 상기 머리 위치 정보에 따라 상기 졸음 정도의 파라미터 값을 획득하는 단계는,
    상기 운전자의 머리 위치가 제1 미리 설정된 기간 내의 미리 설정된 벗어남 범위에 도달하는 미리 설정된 참조 머리 위치에 관한 벗어남 정도를 갖고 상기 머리 위치 정보에 따라 제2 미리 설정된 기간 내의 상기 미리 설정된 참조 머리 위치로 복귀할 때 상기 운전자가 졸음 상태에 있다고 결정하는 단계; 및
    상기 기간 내의 상기 머리 위치 정보에 따라 상기 졸음 정도의 파라미터 값을 획득하는 단계- 상기 기간은 상기 제1 미리 설정된 기간 및 상기 제2 미리 설정된 기간을 포함함 -를 포함하는 방법.
  23. 제14항 내지 제22항 중 어느 한 항에 있어서, 상기 기간 내의 상기 입 상태 정보에 따라 상기 하품 정도의 파라미터 값을 획득하는 단계는,
    상기 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 상기 입 닫음 상태로 복귀하는 시간이 상기 입 상태 정보에 따라 미리 설정된 시간 범위 내에 있을 때 상기 운전자가 하품 액션을 완료한다고 결정하는 단계; 및
    상기 기간 내의 상기 입 상태 정보에 따라 상기 하품 정도의 파라미터 값을 획득하는 단계- 상기 기간은 상기 운전자의 입이 상기 입 닫음 상태로부터 상기 입 벌림 상태로 변경되고 다음으로 상기 입 닫음 상태로 복귀하는 시간을 포함함 -를 포함하는 방법.
  24. 제13항 내지 제23항 중 어느 한 항에 있어서, 상기 머리 위치 벗어남 정도의 파라미터 값은, 머리 위치 벗어남 상태, 머리 위치 벗어남 방향, 상기 머리 위치 벗어남 방향에서의 상기 머리 위치의 벗어남 각도, 머리 위치 벗어남 지속시간, 또는 머리 위치 벗어남 빈도 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 얼굴 배향 벗어남 정도의 파라미터 값은, 머리 회전들의 수, 머리 회전 지속시간, 또는 머리 회전 빈도 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 시선 방향 벗어남 정도의 파라미터 값은, 시선 방향 벗어남 각도, 시선 방향 벗어남 지속시간, 또는 시선 방향 벗어남 빈도 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 멍함 정도의 파라미터 값은, 눈 뜸 진폭, 눈 뜸 지속시간, 또는 눈 뜸 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 졸음 정도의 파라미터 값은, 졸음 끄덕임 상태, 졸음 끄덕임 진폭, 졸음 끄덕임들의 수, 졸음 끄덕임 빈도, 또는 졸음 끄덕임 지속시간 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 눈 감음 정도의 파라미터 값은, 눈 감음들의 수, 눈 감음 빈도, 눈 감음 지속시간, 눈 감음 진폭, 눈 반-감음들의 수, 눈 반-감음 빈도, 또는 눈 감음 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 깜빡임 정도의 파라미터 값은, 깜빡임들의 수, 깜빡임 빈도, 깜빡임 지속시간, 또는 깜빡임 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 하품 정도의 파라미터 값은, 하품 상태, 하품들의 수, 하품 지속시간, 또는 하품 빈도 중 임의의 하나 이상을 포함하는 방법.
  25. 제3항 내지 제24항 중 어느 한 항에 있어서, 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 산만 상태의 검출 결과를 결정하는 단계는,
    상기 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 상기 운전자의 산만 상태의 검출 결과가 산만 상태라고 결정하는 단계; 및/또는,
    상기 운전자의 산만 상태를 표현하기 위한 인덱스들의 모든 파라미터 값들이 상기 미리 결정된 산만 조건을 충족시키지 않을 때, 상기 운전자의 산만 상태의 검출 결과가 비-산만 상태라고 결정하는 단계를 포함하는 방법.
  26. 제25항에 있어서, 상기 미리 결정된 산만 조건은 다수의 산만 레벨 조건들을 포함하고;
    상기 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 상기 미리 결정된 산만 조건을 충족시킬 때 상기 운전자의 산만 상태의 검출 결과가 산만 상태라고 결정하는 단계는,
    상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 레벨 조건에 따라 산만 상태 레벨을 결정하는 단계; 및
    상기 결정된 산만 상태 레벨을 상기 운전자의 산만 상태의 검출 결과로서 취하는 단계를 포함하는 방법.
  27. 제4항 내지 제26항 중 어느 한 항에 있어서, 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 피로 상태의 검출 결과를 결정하는 단계는,
    상기 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 상기 운전자의 피로 상태의 검출 결과가 피로 상태라고 결정하는 단계; 및/또는,
    상기 운전자의 피로 상태를 표현하기 위한 인덱스들의 모든 파라미터 값들이 상기 미리 결정된 피로 조건을 충족시키지 않을 때 상기 운전자의 피로 상태의 검출 결과가 비-피로 상태라고 결정하는 단계를 포함하는 방법.
  28. 제27항에 있어서, 상기 미리 결정된 피로 조건은 다수의 피로 레벨 조건들을 포함하고;
    상기 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 상기 미리 결정된 피로 조건을 충족시킬 때 상기 운전자의 피로 상태의 검출 결과가 피로 상태라고 결정하는 단계는,
    상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 피로 레벨 조건에 따라 피로 상태 레벨을 결정하는 단계; 및
    상기 결정된 피로 상태 레벨을 상기 운전자의 피로 상태의 검출 결과로서 취하는 단계를 포함하는 방법.
  29. 제1항 내지 제28항 중 어느 한 항에 있어서,
    상기 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계;
    상기 미리 결정된 산만 액션이 발생한다고 결정하는 것에 응답하여, 상기 미리 결정된 산만 액션이 기간 내에 발생하는지의 결정 결과에 따라 상기 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값을 획득하는 단계; 및
    상기 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 미리 결정된 산만 액션의 검출 결과를 결정하는 단계를 추가로 포함하는 방법.
  30. 제29항에 있어서, 상기 미리 결정된 산만 액션은, 흡연 액션, 음용 액션, 식사 액션, 통화 액션, 오락 액션, 또는 화장 액션 중 임의의 하나 이상을 포함하는 방법.
  31. 제30항에 있어서, 상기 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    상기 운전자 이미지의 특징을 추출하는 단계;
    상기 특징에 기초하여 상기 미리 결정된 산만 액션을 포함할 수 있는 다수의 후보 박스들을 추출하는 단계;
    상기 다수의 후보 박스들에 기초하여 액션 타겟 박스를 결정하는 단계- 상기 액션 타겟 박스는 얼굴의 국소 영역 및 액션 상호작용 객체를 포함함 -; 및
    상기 액션 타겟 박스에 기초하여 상기 미리 결정된 산만 액션의 분류 검출을 수행하여 상기 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함하는 방법.
  32. 제31항에 있어서, 상기 얼굴의 국소 영역은, 입 영역, 귀 영역, 또는 눈 영역 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 액션 상호작용 객체는, 용기, 담배, 모바일 폰, 식품, 도구, 음료 병, 안경, 또는 마스크 중 임의의 하나 이상을 포함하는 방법.
  33. 제31항 또는 제32항에 있어서, 상기 액션 타겟 박스는 손 영역을 추가로 포함하는 방법.
  34. 제30항에 있어서, 상기 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    제8 신경망에 의해, 상기 운전자 이미지에 대해 얼굴 검출을 수행하여 얼굴 경계 박스를 획득하는 단계;
    상기 얼굴 경계 박스의 특징 정보를 추출하는 단계; 및
    상기 제8 신경망에 의해, 상기 얼굴 경계 박스의 특징 정보에 따라 흡연 액션이 발생하는지를 결정하는 단계를 포함하는 방법.
  35. 제30항에 있어서, 상기 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    제9 신경망에 의해, 상기 운전자 이미지에 대해 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션에 대응하는 미리 설정된 타겟 객체 검출을 수행하여 미리 설정된 타겟 객체의 경계 박스를 획득하는 단계- 상기 미리 설정된 타겟 객체는 손, 입, 눈, 및 액션 상호작용 객체를 포함하고, 상기 액션 상호작용 객체는, 용기, 식품, 전자 디바이스, 또는 화장품 중 임의의 하나 이상의 타입을 포함함 -; 및
    상기 미리 설정된 타겟 객체의 경계 박스에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정하는 단계- 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는, 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션이 발생하지 않음; 식사 액션이 발생함; 음용 액션이 발생함; 통화 액션이 발생함; 오락 액션이 발생함; 또는 화장 액션이 발생함 중 하나를 포함함 -를 포함하는 방법.
  36. 제35항에 있어서, 상기 미리 설정된 타겟 객체의 경계 박스에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    손 경계 박스, 입 경계 박스, 눈 경계 박스, 및 액션 상호작용 객체 경계 박스가 검출되는지, 상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하는지, 상기 액션 상호작용 객체의 타입, 및 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 또는 상기 눈 경계 박스 사이의 거리가 미리 설정된 조건을 충족시키는지에 따라 미리 결정된 산만 액션이 발생하는지를 결정하는 단계를 포함하는 방법.
  37. 제36항에 있어서, 상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하는지, 상기 액션 상호작용 객체의 타입, 및 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 또는 상기 눈 경계 박스 사이의 거리가 상기 미리 설정된 조건을 충족하는지에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정하는 단계는,
    상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하고, 상기 액션 상호작용 객체의 타입이 용기 또는 식품이고, 상기 액션 상호작용 객체 경계 박스가 상기 입 경계 박스와 중첩한다고 결정하는 것에 응답하여, 식사 액션, 음용 액션 또는 화장 액션이 발생한다고 결정하는 단계; 및/또는,
    상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하고, 상기 액션 상호작용 객체의 타입이 전자 디바이스이고, 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이거나, 또는 상기 액션 상호작용 객체 경계 박스와 상기 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이라고 결정하는 것에 응답하여, 오락 액션 또는 통화 액션이 발생한다고 결정하는 단계를 포함하는 방법.
  38. 제36항 또는 제37항에 있어서,
    상기 손 경계 박스, 상기 입 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않고, 상기 손 경계 박스, 상기 눈 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않는다고 결정하는 것에 응답하여, 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정하는 단계; 및/또는,
    상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하지 않는다고 결정하는 것에 응답하여, 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정하는 단계; 및/또는,
    상기 액션 상호작용 객체의 타입이 용기 또는 식품이고, 상기 액션 상호작용 객체 경계 박스가 상기 입 경계 박스와 중첩하지 않는다고, 및/또는 상기 액션 상호작용 객체의 타입이 전자 디바이스이고, 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 사이의 최소 거리가 상기 제1 미리 설정된 거리 미만이 아니거나, 또는 상기 액션 상호작용 객체 경계 박스와 상기 눈 경계 박스 사이의 최소 거리가 상기 제2 미리 설정된 거리 미만이 아니라고 결정하는 것에 응답하여, 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는 것이라고 결정하는 단계를 추가로 포함하는 방법.
  39. 제29항 내지 제38항 중 어느 한 항에 있어서, 상기 산만 정도의 파라미터 값은, 상기 미리 결정된 산만 액션의 발생들의 수, 상기 미리 결정된 산만 액션의 지속시간, 또는 상기 미리 결정된 산만 액션의 빈도 중 임의의 하나 이상을 포함하는 방법.
  40. 제29항 내지 제39항 중 어느 한 항에 있어서, 상기 미리 결정된 산만 액션이 발생한다고 결정하는 것에 응답하여, 상기 방법은 추가로,
    상기 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 액션 레벨 조건에 따라 산만 액션 레벨을 결정하는 단계; 및
    상기 결정된 산만 액션 레벨을 상기 미리 결정된 산만 액션의 검출 결과로서 취하는 단계를 포함하는 방법.
  41. 제1항 내지 제40항 중 어느 한 항에 있어서,
    상기 운전자의 상태 검출 결과에 따라 경보 및/또는 지능형 운전 제어를 수행하는 단계- 상기 운전자의 상태 검출 결과는, 피로 상태의 검출 결과, 산만 상태의 검출 결과, 또는 미리 결정된 산만 액션의 검출 결과 중 임의의 하나 이상을 포함함 -를 추가로 포함하는 방법.
  42. 제41항에 있어서, 상기 운전자의 상태 검출 결과에 따라 경보 및/또는 지능형 운전 제어를 수행하는 단계는,
    상기 운전자의 상태 검출 결과가 미리 설정된 경보 조건을 충족시킬 때 미리 설정된 경보 조건에 대응하는 프롬프트/경고 정보를 출력하는 단계; 및/또는,
    상기 운전자의 상태 검출 결과가 미리 결정된 운전 모드 전환 조건을 충족시킬 때 운전 모드를 자율 운전 모드로 전환하는 단계를 포함하는 방법.
  43. 제42항에 있어서, 상기 운전자의 상태 검출 결과가 상기 미리 설정된 경보 조건을 충족시킬 때 상기 미리 설정된 경보 조건에 대응하는 프롬프트/경고 정보를 출력하는 단계는,
    피로 상태의 검출 결과가 피로 상태라고 결정하는 것에 응답하여 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계; 및/또는,
    산만 상태의 검출 결과가 산만 상태라고 결정하는 것에 응답하여 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계; 및/또는,
    미리 결정된 산만 액션이 발생한다고 결정하는 것에 응답하여, 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계; 및/또는,
    상기 운전자의 상태 검출 결과가, 상기 피로 상태, 상기 산만 상태, 또는 상기 미리 결정된 산만 액션의 발생 중 임의의 2개 또는 3개를 포함할 때 미리 설정된 모드에서 프롬프트/경고 정보를 출력하는 단계를 포함하는 방법.
  44. 제43항에 있어서,
    상기 피로 상태에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 상기 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보를 억제하는 단계; 및/또는,
    상기 산만 상태에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 상기 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보를 억제하는 단계; 및/또는,
    미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 상기 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보를 억제하는 단계를 추가로 포함하는 방법.
  45. 제43항 또는 제44항에 있어서, 상기 운전자의 상태 검출 결과가, 상기 피로 상태, 상기 산만 상태, 또는 상기 미리 결정된 산만 액션의 발생 중 임의의 2개 또는 3개를 포함할 때 상기 미리 설정된 모드에서 상기 프롬프트/경고 정보를 출력하는 단계는,
    상기 운전자의 상태 검출 결과가 상기 피로 상태 및 상기 산만 상태를 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계; 및/또는,
    상기 운전자의 상태 검출 결과가 상기 산만 상태 및 상기 미리 결정된 산만 액션의 발생을 포함할 때, 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계; 및/또는,
    상기 운전자의 상태 검출 결과가 상기 피로 상태 및 상기 미리 결정된 산만 액션의 발생을 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 상기 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계; 및/또는,
    상기 운전자의 상태 검출 결과가 상기 피로 상태, 상기 산만 상태, 및 상기 미리 결정된 산만 액션의 발생을 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과, 산만 상태의 검출 결과, 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계를 포함하는 방법.
  46. 제43항 내지 제45항 중 어느 한 항에 있어서, 피로 상태의 검출 결과가 피로 상태 레벨일 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계는, 상기 피로 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하는 단계를 포함하고; 및/또는,
    산만 상태의 검출 결과가 산만 상태 레벨일 때, 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계는, 상기 산만 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하는 단계를 포함하고;
    미리 결정된 산만 액션의 검출 결과가 산만 액션 레벨일 때, 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하는 단계는, 상기 산만 액션 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하는 단계를 포함하는 방법.
  47. 제46항에 있어서, 상기 운전자의 상태 검출 결과가 미리 결정된 운전 모드 전환 조건을 충족시킬 때 상기 운전 모드를 상기 자율 운전 모드로 전환하는 단계는,
    상기 피로 상태 레벨 및/또는 상기 산만 상태 레벨 및/또는 상기 산만 액션 레벨이 상기 미리 결정된 운전 모드 전환 조건을 충족시킬 때 상기 운전 모드를 상기 자율 운전 모드로 전환하는 단계를 포함하는 방법.
  48. 제1항 내지 제47항 중 어느 한 항에 있어서,
    적외선 카메라에 의해 이미지 취득을 수행하여 상기 운전자 이미지를 획득하는 단계를 추가로 포함하는 방법.
  49. 제48항에 있어서, 상기 적외선 카메라에 의해 이미지 취득을 수행하는 단계는,
    차량에서의 적어도 하나의 위치에 배치되는 적외선 카메라에 의해 이미지 취득을 수행하는 단계를 포함하는 방법.
  50. 제49항에 있어서, 상기 적어도 하나의 위치는 다음의 위치들: 대시보드 위의 또는 근처의 위치, 중앙 콘솔 위의 또는 근처의 위치, A-필러 또는 근처의 위치, 또는 리어뷰 미러 또는 근처의 위치 중 임의의 하나 이상을 포함하는 방법.
  51. 제48항 내지 제50항 중 어느 한 항에 있어서, 상기 적외선 카메라에 의해 이미지 취득을 수행하여 상기 운전자 이미지를 획득하는 단계는,
    상기 차량이 운전 상태에 있을 때 상기 적외선 카메라에 의해 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하는 단계; 및/또는,
    상기 차량의 주행 속도가 미리 설정된 속도를 초과할 때 상기 적외선 카메라에 의해 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하는 단계; 및/또는,
    상기 차량이 파워 온된 것을 검출한 후에 상기 적외선 카메라에 의해 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하는 단계; 및/또는,
    상기 차량에 대한 시작 명령어가 검출될 때 상기 적외선 카메라에 의해 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하는 단계; 및/또는,
    상기 차량 또는 상기 차량에서의 컴포넌트 또는 시스템으로의 제어 명령어가 검출될 때 상기 적외선 카메라에 의해 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하는 단계를 포함하는 방법.
  52. 운전 상태 검출 장치로서,
    운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하도록 구성되는 제1 검출 모듈; 및
    상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하도록 구성되는 제1 결정 모듈을 포함하는 장치.
  53. 제52항에 있어서,
    상기 머리 자세 정보에 기초하여 결정되는 상기 운전자 이미지에서의 상기 운전자의 머리 위치 정보에 따라 상기 운전자의 머리 위치의 벗어남 각도가 미리 설정된 범위를 초과하는지를 결정하도록 구성되는 제2 결정 모듈을 추가로 포함하고;
    상기 제1 결정 모듈은,
    상기 운전자의 머리 위치의 벗어남 각도가 상기 미리 설정된 범위를 초과한다고 결정하는 것에 응답하여, 상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 산만 상태의 검출 결과를 결정하도록 구성되는 제1 결정 유닛; 및/또는
    상기 운전자의 머리 위치의 벗어남 각도가 상기 미리 설정된 범위를 초과하지 않는다고 결정하는 것에 응답하여, 상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하도록 구성되는 제2 결정 유닛을 포함하는 장치.
  54. 제53항에 있어서, 상기 제1 결정 유닛은,
    상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성되는 제1 결정 서브유닛; 및
    상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 산만 상태의 검출 결과를 결정하도록 구성되는 제2 결정 서브유닛을 포함하는 장치.
  55. 제52항 내지 제54항 중 어느 한 항에 있어서, 상기 제2 결정 유닛은,
    상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성되는 제3 결정 서브유닛;
    상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성되는 제1 결정 서브유닛;
    상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 피로 상태의 검출 결과를 결정하도록 구성되는 제4 결정 서브유닛; 및
    상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 산만 상태의 검출 결과를 결정하도록 구성되는 제2 결정 서브유닛을 포함하는 장치.
  56. 제52항 내지 제55항 중 어느 한 항에 있어서, 상기 제1 검출 모듈은,
    상기 운전자 이미지에 대해 얼굴 주요 지점 검출을 수행하도록 구성되는 주요 지점 검출 유닛; 및
    검출된 얼굴 주요 지점들에 따라 상기 머리 자세 정보 및 상기 눈 상태 정보를 획득하도록 구성되는 제1 획득 유닛을 포함하는 장치.
  57. 제56항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 머리 자세 정보를 획득할 때, 상기 제1 획득 유닛은 상기 얼굴 주요 지점들에 기초하여 제1 신경망에 의해 상기 머리 자세 정보를 획득하도록 구성되는 장치.
  58. 제56항 또는 제57항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 눈 상태 정보를 획득할 때, 상기 제1 획득 유닛은 상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 눈 영역 이미지를 결정하도록; 제2 신경망에 기초하여 상기 눈 영역 이미지에 대해 상위 눈꺼풀 라인 및 하위 눈꺼풀 라인의 검출들을 수행하도록; 그리고 상기 상위 눈꺼풀 라인과 상기 하위 눈꺼풀 라인 사이의 간격에 따라 상기 운전자의 눈 뜸/감음 상태 정보를 결정하도록- 상기 눈 상태 정보는 상기 눈 뜸/감음 상태 정보를 포함함 - 구성되는 장치.
  59. 제56항 또는 제57항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 눈 상태 정보를 획득할 때, 상기 제1 획득 유닛은 상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 눈 영역 이미지를 결정하도록; 그리고 제3 신경망에 기초하여 상기 눈 영역 이미지에 대해 눈 뜸/감음 분류 처리를 수행하여, 눈 뜸 분류 결과 또는 눈 감음 분류 결과를 획득하도록- 상기 눈 상태 정보는 눈 뜸 상태 또는 눈 감음 상태를 포함함 - 구성되는 장치.
  60. 제55항 내지 제59항 중 어느 한 항에 있어서, 상기 제1 검출 모듈은 상기 운전자 이미지에 대해 입 상태 검출을 수행하여 입 상태 정보를 획득하도록 추가로 구성되고;
    상기 제3 결정 서브유닛은 상기 머리 자세 정보, 상기 눈 상태 정보, 및 상기 입 상태 정보에 따라 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값을 결정하도록 구성되는 장치.
  61. 제60항에 있어서, 상기 제1 검출 모듈에서의 제1 획득 유닛은 상기 검출된 얼굴 주요 지점들에 따라 상기 입 상태 정보를 획득하도록 추가로 구성되는 장치.
  62. 제61항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 입 상태 정보를 획득할 때, 상기 제1 획득 유닛은 상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 입 영역 이미지를 결정하도록; 제4 신경망에 기초하여 상기 입 영역 이미지에 대해 상위 입술 라인 및 하위 입술 라인의 검출들을 수행하도록; 상기 상위 입술 라인과 상기 하위 입술 라인 사이의 간격에 따라 상기 운전자의 입 벌림/닫음 상태 정보를 결정하도록- 상기 입 상태 정보는 입 벌림/닫음 상태 정보를 포함함 - 구성되는 장치.
  63. 제61항에 있어서, 상기 검출된 얼굴 주요 지점들에 따라 상기 입 상태 정보를 획득할 때, 상기 제1 획득 유닛은 상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 입 영역 이미지를 결정하도록; 그리고 제5 신경망에 기초하여 상기 입 영역 이미지에 대해 입 벌림/닫음 분류 처리를 수행하여, 입 벌림 분류 결과 또는 입 닫음 분류 결과를 획득하도록- 상기 입 상태 정보는 입 벌림 상태 또는 입 닫음 상태를 포함함 - 구성되는 장치.
  64. 제54항 내지 제63항 중 어느 한 항에 있어서, 상기 제1 결정 서브유닛은,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 상기 머리 위치 정보에 따라 머리 위치 벗어남 정도의 파라미터 값을 획득하도록; 및/또는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 얼굴 배향을 결정하여 얼굴 배향 정보를 획득하고, 기간 내의 상기 얼굴 배향 정보에 따라 얼굴 배향 벗어남 정도의 파라미터 값을 획득하도록; 및/또는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 시선 방향을 결정하여 시선 방향 정보를 획득하고, 기간 내의 상기 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하도록; 또는 상기 얼굴 주요 지점들에 따라 상기 운전자 이미지에서의 눈 영역 이미지를 결정하고, 제6 신경망에 기초하여 상기 눈 영역 이미지에서의 운전자의 시선 방향 정보를 획득하고, 기간 내의 상기 시선 방향 정보에 따라 시선 방향 벗어남 정도의 파라미터 값을 획득하도록; 및/또는,
    기간 내의 눈 상태 정보에 따라 멍함 정도의 파라미터 값을 획득하도록 구성되는 장치.
  65. 제55항 내지 제64항 중 어느 한 항에 있어서, 상기 제3 결정 서브유닛은,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 머리 위치를 결정하여 머리 위치 정보를 획득하고, 기간 내의 상기 머리 위치 정보에 따라 졸음 정도의 파라미터 값을 획득하도록; 및/또는,
    기간 내의 상기 눈 상태 정보에 따라 눈 감음 정도의 파라미터 값을 획득하도록; 및/또는,
    기간 내의 상기 눈 상태 정보에 따라 깜빡임 정도의 파라미터 값을 획득하도록; 및/또는,
    기간 내의 상기 입 상태 정보에 따라 하품 정도의 파라미터 값을 획득하도록 구성되는 장치.
  66. 제64항 또는 제65항에 있어서, 상기 운전자의 피로 상태를 표현하기 위한 인덱스는, 상기 졸음 정도, 상기 눈 감음 정도, 상기 깜빡임 정도, 또는 상기 하품 정도 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 운전자의 산만 상태를 표현하기 위한 인덱스는, 상기 머리 위치 벗어남 정도, 상기 얼굴 배향 벗어남 정도, 상기 시선 방향 벗어남 정도, 또는 상기 멍함 정도 중 임의의 하나 이상을 포함하는 장치.
  67. 제64항 내지 제66항 중 어느 한 항에 있어서, 상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 머리 위치를 결정할 때, 상기 제1 결정 서브유닛은 상기 머리 위치로서 상기 머리 자세 정보에서의 피치 각도를 획득하도록 구성되고; 및/또는,
    상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 얼굴 배향을 결정할 때, 상기 제1 결정 서브유닛은 상기 얼굴 배향으로서 상기 머리 자세 정보에서의 상기 피치 각도 및 요 각도를 획득하도록 구성되는 장치.
  68. 제64항 내지 제67항 중 어느 한 항에 있어서, 상기 머리 자세 정보에 따라 상기 운전자 이미지에서의 운전자의 시선 방향을 결정하여 상기 시선 방향 정보를 획득할 때, 상기 제1 결정 서브유닛은 상기 얼굴 주요 지점들에서의 눈 주요 지점에 의해 위치지정되는 눈 이미지에 따라 동공 에지 위치를 결정하고, 상기 동공 에지 위치에 따라 동공 중앙 위치를 계산하도록; 상기 동공 중앙 위치 및 눈 중앙 위치에 따라 상기 머리 자세 정보에 대응하는 머리 자세에서의 안구 회전 각도 정보를 획득하도록; 그리고 상기 머리 자세 정보 및 상기 안구 회전 각도 정보에 따라 상기 운전자의 시선 방향을 결정하여 상기 시선 방향 정보를 획득하도록 구성되는 장치.
  69. 제68항에 있어서, 상기 얼굴 주요 지점들에서의 상기 눈 주요 지점에 의해 위치지정되는 상기 눈 이미지에 따라 상기 동공 에지 위치를 결정할 때, 상기 제1 결정 서브유닛은, 제7 신경망에 기초하여, 상기 얼굴 주요 지점들에 따라 상기 이미지로부터 분할되는 상기 눈 영역 이미지에 대해 동공 에지 위치 검출을 수행하도록, 그리고 상기 제7 신경망에 의해 출력되는 정보에 따라 상기 동공 에지 위치를 획득하도록 구성되는 장치.
  70. 제64항 내지 제69항 중 어느 한 항에 있어서, 상기 기간 내의 상기 시선 방향 정보에 따라 상기 시선 방향 벗어남 정도의 파라미터 값을 획득할 때, 상기 제1 결정 서브유닛은 참조 시선 방향에 관한 상기 기간 내의 상기 시선 향방 정보의 벗어남 각도에 따라 상기 시선 방향 벗어남 정도의 파라미터 값을 획득하도록 구성되는 장치.
  71. 제70항에 있어서, 상기 참조 시선 방향은 미리 설정되거나, 또는 상기 참조 시선 방향은 상기 운전자 이미지를 포함하는 비디오에서의 처음 N개의 운전자 이미지 프레임들에 기초하여 결정되는 평균 시선 방향인- N은 1 초과인 정수임 - 장치.
  72. 제64항 내지 제71항 중 어느 한 항에 있어서, 상기 기간 내의 상기 눈 상태 정보에 따라 상기 멍함 정도의 파라미터 값을 획득할 때, 상기 제1 결정 서브유닛은 상기 눈 상태 정보에 따라 상기 운전자의 눈들이 미리 설정된 주기의 멍함 시간 동안 눈 뜸 상태에 있을 때 상기 운전자가 멍함 상태에 있다고 결정하도록; 그리고 상기 기간 내의 상기 눈 상태 정보에 따라 상기 멍함 정도의 파라미터 값을 획득하도록- 상기 기간은 상기 미리 설정된 주기의 멍함 시간을 포함함 - 구성되는 장치.
  73. 제65항 내지 제72항 중 어느 한 항에 있어서, 상기 기간 내의 상기 머리 위치 정보에 따라 상기 졸음 정도의 파라미터 값을 획득할 때, 상기 제3 결정 서브유닛은 상기 운전자의 머리 위치가 제1 미리 설정된 기간 내의 미리 설정된 벗어남 범위에 도달하는 미리 설정된 참조 머리 위치에 관한 벗어남 정도를 갖고 상기 머리 위치 정보에 따라 제2 미리 설정된 기간 내의 상기 미리 설정된 참조 머리 위치로 복귀할 때 상기 운전자가 졸음 상태에 있다고 결정하도록; 그리고 상기 기간 내의 상기 머리 위치 정보에 따라 상기 졸음 정도의 파라미터 값을 획득하도록- 상기 기간은 상기 제1 미리 설정된 기간 및 상기 제2 미리 설정된 기간을 포함함 - 구성되는 장치.
  74. 제65항 내지 제73항 중 어느 한 항에 있어서, 상기 기간 내의 상기 입 상태 정보에 따라 상기 하품 정도의 파라미터 값을 획득할 때, 상기 제3 결정 서브유닛은 상기 운전자의 입이 입 닫음 상태로부터 입 벌림 상태로 변경되고 다음으로 상기 입 닫음 상태로 복귀하는 시간이 상기 입 상태 정보에 따라 미리 설정된 시간 범위 내에 있을 때 상기 운전자가 하품 액션을 완료한다고 결정하도록; 그리고 상기 기간 내의 상기 입 상태 정보에 따라 상기 하품 정도의 파라미터 값을 획득하도록- 상기 기간은 상기 운전자의 입이 상기 입 닫음 상태로부터 상기 입 벌림 상태로 변경되고 다음으로 상기 입 닫음 상태로 복귀하는 시간을 포함함 - 구성되는 장치.
  75. 제64항 내지 제74항 중 어느 한 항에 있어서, 상기 머리 위치 벗어남 정도의 파라미터 값은, 머리 위치 벗어남 상태, 머리 위치 벗어남 방향, 상기 머리 위치 벗어남 방향에서의 상기 머리 위치의 벗어남 각도, 머리 위치 벗어남 지속시간, 또는 머리 위치 벗어남 빈도 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 얼굴 배향 벗어남 정도의 파라미터 값은, 머리 회전들의 수, 머리 회전 지속시간, 또는 머리 회전 빈도 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 시선 방향 벗어남 정도의 파라미터 값은, 시선 방향 벗어남 각도, 시선 방향 벗어남 지속시간, 또는 시선 방향 벗어남 빈도 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 멍함 정도의 파라미터 값은, 눈 뜸 진폭, 눈 뜸 지속시간, 또는 눈 뜸 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 졸음 정도의 파라미터 값은, 졸음 끄덕임 상태, 졸음 끄덕임 진폭, 졸음 끄덕임들의 수, 졸음 끄덕임 빈도, 또는 졸음 끄덕임 지속시간 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 눈 감음 정도의 파라미터 값은, 눈 감음들의 수, 눈 감음 빈도, 눈 감음 지속시간, 눈 감음 진폭, 눈 반-감음들의 수, 눈 반-감음 빈도, 또는 눈 감음 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 깜빡임 정도의 파라미터 값은, 깜빡임들의 수, 깜빡임 빈도, 깜빡임 지속시간, 또는 깜빡임 누적 지속시간 대 통계적 시간대의 비율 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 하품 정도의 파라미터 값은, 하품 상태, 하품들의 수, 하품 지속시간, 또는 하품 빈도 중 임의의 하나 이상을 포함하는 장치.
  76. 제54항 내지 제75항 중 어느 한 항에 있어서, 상기 제2 결정 서브유닛은 상기 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 산만 조건을 충족시킬 때 상기 운전자의 산만 상태의 검출 결과가 산만 상태라고 결정하도록; 및/또는, 상기 운전자의 산만 상태를 표현하기 위한 인덱스들의 모든 파라미터 값들이 상기 미리 결정된 산만 조건을 충족시키지 않을 때, 상기 운전자의 산만 상태의 검출 결과가 비-산만 상태라고 결정하도록 구성되는 장치.
  77. 제76항에 있어서, 상기 미리 결정된 산만 조건은 다수의 산만 레벨 조건들을 포함하고;
    상기 운전자의 산만 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 상기 미리 결정된 산만 조건을 충족시킬 때 상기 운전자의 산만 상태의 검출 결과가 상기 산만 상태라고 결정할 때, 상기 제2 결정 서브유닛은 상기 운전자의 산만 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 레벨 조건에 따라 산만 상태 레벨을 결정하도록; 그리고 상기 결정된 산만 상태 레벨을 상기 운전자의 산만 상태의 검출 결과로서 취하도록 구성되는 장치.
  78. 제55항 내지 제77항 중 어느 한 항에 있어서, 상기 제4 결정 서브유닛은 상기 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 미리 결정된 피로 조건을 충족시킬 때 상기 운전자의 피로 상태의 검출 결과가 피로 상태라고 결정하도록; 및/또는, 상기 운전자의 피로 상태를 표현하기 위한 인덱스들의 모든 파라미터 값들이 상기 미리 결정된 피로 조건을 충족시키지 않을 때 상기 운전자의 피로 상태의 검출 결과가 비-피로 상태라고 결정하도록 구성되는 장치.
  79. 제78항에 있어서, 상기 미리 결정된 피로 조건은 다수의 피로 레벨 조건들을 포함하고;
    상기 운전자의 피로 상태를 표현하기 위한 인덱스들의 파라미터 값들 중 임의의 하나 이상이 상기 미리 결정된 피로 조건을 충족시킬 때 상기 운전자의 피로 상태의 검출 결과가 상기 피로 상태라고 결정할 때, 상기 제4 결정 서브유닛은 상기 운전자의 피로 상태를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 피로 레벨 조건에 따라 피로 상태 레벨을 결정하도록; 그리고 상기 결정된 피로 상태 레벨을 상기 운전자의 피로 상태의 검출 결과로서 취하도록 구성되는 장치.
  80. 제52항 내지 제79항 중 어느 한 항에 있어서,
    상기 운전자 이미지에 대해 미리 결정된 산만 액션 검출을 수행하여 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성되는 제2 검출 모듈;
    상기 미리 결정된 산만 액션이 발생한다고 결정하는 것에 응답하여, 상기 미리 결정된 산만 액션이 기간 내에 발생하는지의 결정 결과에 따라 상기 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값을 획득하도록 구성되는 제1 획득 모듈; 및
    상기 운전자의 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 따라 상기 운전자의 미리 결정된 산만 액션의 검출 결과를 결정하도록 구성되는 제3 결정 모듈을 추가로 포함하는 장치.
  81. 제80항에 있어서, 상기 미리 결정된 산만 액션은, 흡연 액션, 음용 액션, 식사 액션, 통화 액션, 오락 액션, 또는 화장 액션 중 임의의 하나 이상을 포함하는 장치.
  82. 제81항에 있어서, 상기 제2 검출 모듈은 상기 운전자 이미지의 특징을 추출하도록; 상기 특징에 기초하여 상기 미리 결정된 산만 액션을 포함할 수 있는 다수의 후보 박스들을 추출하도록; 상기 다수의 후보 박스들에 기초하여 액션 타겟 박스를 결정하도록- 상기 액션 타겟 박스는 얼굴의 국소 영역 및 액션 상호작용 객체를 포함함 -; 그리고 상기 액션 타겟 박스에 기초하여 상기 미리 결정된 산만 액션의 분류 검출을 수행하여 상기 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성되는 장치.
  83. 제82항에 있어서, 상기 얼굴의 국소 영역은, 입 영역, 귀 영역, 또는 눈 영역 중 임의의 하나 이상을 포함하고; 및/또는,
    상기 액션 상호작용 객체는, 용기, 담배, 모바일 폰, 식품, 도구, 음료 병, 안경, 또는 마스크 중 임의의 하나 이상을 포함하는 장치.
  84. 제82항 또는 제83항에 있어서, 상기 액션 타겟 박스는 손 영역을 추가로 포함하는 장치.
  85. 제81항에 있어서, 상기 제2 검출 모듈은 제8 신경망에 의해 상기 운전자 이미지에 대해 얼굴 검출을 수행하여 얼굴 경계 박스를 획득하고, 얼굴 경계 박스의 특징 정보를 추출하도록; 그리고 상기 얼굴 경계 박스의 특징 정보에 따라 상기 제8 신경망에 의해 흡연 액션이 발생하는지를 결정하도록 구성되는 장치.
  86. 제81항에 있어서, 상기 제2 검출 모듈은 제9 신경망에 의해 상기 운전자 이미지에 대해 상기 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션에 대응하는 미리 설정된 타겟 객체 검출을 수행하여 미리 설정된 타겟 객체의 경계 박스를 획득하도록- 상기 미리 설정된 타겟 객체는 손, 입, 눈, 및 액션 상호작용 객체를 포함하고, 상기 액션 상호작용 객체는, 용기, 식품, 전자 디바이스, 또는 화장품 중 임의의 하나 이상의 타입을 포함함 -; 그리고 상기 미리 설정된 타겟 객체의 경계 박스에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정하도록- 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는, 식사 액션/음용 액션/통화 액션/오락 액션/화장 액션이 발생하지 않음; 식사 액션이 발생함; 음용 액션이 발생함; 통화 액션이 발생함; 오락 액션이 발생함; 또는 화장 액션이 발생함 중 하나를 포함함 - 구성되는 장치.
  87. 제86항에 있어서, 상기 미리 설정된 타겟 객체의 경계 박스에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정할 때, 제2 검출 모듈은, 손 경계 박스, 입 경계 박스, 눈 경계 박스, 및 액션 상호작용 객체 경계 박스가 검출되는지, 상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하는지, 상기 액션 상호작용 객체의 타입, 및 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 또는 상기 눈 경계 박스 사이의 거리가 미리 설정된 조건을 충족시키는지에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정하도록 구성되는 장치.
  88. 제87항에 있어서, 상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하는지, 및 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 또는 상기 눈 경계 박스 사이의 위치 관계가 상기 미리 설정된 조건을 충족시키는지에 따라 상기 미리 결정된 산만 액션이 발생하는지를 결정할 때, 상기 제2 검출 모듈은, 상기 손 경계 박스가 상기 액션 상호작용 객체 경계 박스와 중첩하고, 상기 액션 상호작용 객체의 타입이 용기 또는 식품이고, 상기 액션 상호작용 객체 경계 박스가 상기 입 경계 박스와 중첩하면, 식사 액션, 음용 액션 또는 화장 액션이 발생한다고 결정하도록; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하고, 액션 상호작용 객체의 타입이 전자 디바이스이고, 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 사이의 최소 거리가 제1 미리 설정된 거리 미만이거나, 또는 상기 액션 상호작용 객체 경계 박스와 상기 눈 경계 박스 사이의 최소 거리가 제2 미리 설정된 거리 미만이면, 상기 오락 액션 또는 통화 액션이 발생한다고 결정하도록 구성되는 장치.
  89. 제87항 또는 제88항에 있어서, 상기 제2 검출 모듈은 추가로, 손 경계 박스, 입 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않고, 손 경계 박스, 눈 경계 박스, 및 임의의 액션 상호작용 객체 경계 박스가 동시에 검출되지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정하도록; 및/또는, 손 경계 박스가 액션 상호작용 객체 경계 박스와 중첩하지 않으면, 미리 결정된 산만 액션이 발생하는지의 결정 결과는 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정하도록; 및/또는 상기 액션 상호작용 객체의 타입이 용기 또는 식품이고, 상기 액션 상호작용 객체 경계 박스가 상기 입 경계 박스와 중첩하지 않고, 및/또는, 상기 액션 상호작용 객체의 타입이 전자 디바이스이고, 상기 액션 상호작용 객체 경계 박스와 상기 입 경계 박스 사이의 최소 거리가 상기 제1 미리 설정된 거리 미만이 아니거나, 또는 상기 액션 상호작용 객체 경계 박스와 상기 눈 경계 박스 사이의 최소 거리가 상기 제2 미리 설정된 거리 미만이 아니면, 상기 미리 결정된 산만 액션이 발생하는지의 결정 결과는 상기 식사 액션, 음용 액션, 통화 액션, 오락 액션, 및 화장 액션 중 어느 것도 검출되지 않는다는 것이라고 결정하도록 구성되는 장치.
  90. 제80항 내지 제89항 중 어느 한 항에 있어서, 상기 산만 정도의 파라미터 값은, 상기 미리 결정된 산만 액션의 발생들의 수, 상기 미리 결정된 산만 액션의 지속시간, 또는 상기 미리 결정된 산만 액션의 빈도 중 임의의 하나 이상을 포함하는 장치.
  91. 제80항 내지 제90항 중 어느 한 항에 있어서,
    상기 산만 정도를 표현하기 위한 인덱스의 파라미터 값에 의해 충족되는 산만 액션 레벨 조건에 따라 산만 액션 레벨을 결정하도록 구성되는 제4 결정 모듈을 추가로 포함하고;
    상기 제3 결정 모듈은 상기 결정된 산만 액션 레벨을 상기 운전자의 미리 결정된 산만 액션의 검출 결과로서 취하도록 구성되는 장치.
  92. 제52항 내지 제91항 중 어느 한 항에 있어서,
    상기 운전자의 상태 검출 결과에 따라 경보를 수행하도록 구성되는 경보 모듈; 및/또는,
    상기 운전자의 상태 검출 결과에 따라 지능형 운전 제어를 수행하도록 구성되는 운전 제어 모듈을 추가로 포함하고;
    상기 운전자의 상태 검출 결과는, 피로 상태의 검출 결과, 산만 상태의 검출 결과, 또는 미리 결정된 산만 액션의 검출 결과 중 임의의 하나 이상을 포함하는 장치.
  93. 제92항에 있어서, 상기 경보 모듈은 상기 운전자의 상태 검출 결과가 미리 설정된 경보 조건을 충족시킬 때 미리 설정된 경보 조건에 대응하는 프롬프트/경고 정보를 출력하도록 구성되고; 및/또는,
    상기 운전 제어 모듈은 상기 운전자의 상태 검출 결과가 미리 결정된 운전 모드 전환 조건을 충족시킬 때 운전 모드를 자율 운전 모드로 전환하도록 구성되는 장치.
  94. 제93항에 있어서, 상기 경보 모듈은 피로 상태의 검출 결과가 피로 상태이면 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 산만 상태의 검출 결과가 산만 상태이면 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 미리 결정된 산만 액션이 발생하면, 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는, 상기 운전자의 상태 검출 결과가, 상기 피로 상태, 상기 산만 상태, 또는 상기 미리 결정된 산만 액션의 발생 중 임의의 2개 또는 3개를 포함할 때 미리 설정된 모드에서 프롬프트/경고 정보를 출력하도록 구성되는 장치.
  95. 제94항에 있어서, 상기 경보 모듈은 추가로, 상기 경보 모듈이 상기 피로 상태에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 상기 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보를 억제하도록; 및/또는, 상기 산만 상태에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 상기 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보를 억제하도록; 및/또는, 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력한 후 미리 설정된 기간 내의 상기 운전자의 상태 검출 결과에서의 다른 검출 결과들에 대응하는 프롬프트/경고 정보를 억제하도록 구성되는 장치.
  96. 제94항 또는 제95항에 있어서, 상기 운전자의 상태 검출 결과가, 상기 피로 상태, 상기 산만 상태, 또는 상기 미리 결정된 산만 액션의 발생 중 임의의 2개 또는 3개를 포함할 때 상기 미리 설정된 모드에서 상기 프롬프트/경고 정보를 출력할 때, 상기 경보 모듈은,
    상기 운전자의 상태 검출 결과가 상기 피로 상태 및 상기 산만 상태를 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는,
    상기 운전자의 상태 검출 결과가 상기 산만 상태 및 상기 미리 결정된 산만 액션의 발생을 포함할 때, 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는,
    상기 운전자의 상태 검출 결과가 상기 피로 상태 및 상기 미리 결정된 산만 액션의 발생을 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 상기 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는,
    상기 운전자의 상태 검출 결과가 상기 피로 상태, 상기 산만 상태, 및 상기 미리 결정된 산만 액션의 발생을 포함할 때, 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 산만 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하거나, 또는 피로 상태의 검출 결과, 산만 상태의 검출 결과, 및 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력하도록 구성되는 장치.
  97. 제94항 내지 제96항 중 어느 한 항에 있어서, 피로 상태의 검출 결과가 피로 상태 레벨이면 피로 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력할 때, 상기 경보 모듈은 상기 피로 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하도록 구성되고; 및/또는,
    산만 상태의 검출 결과가 산만 상태 레벨이면 산만 상태의 검출 결과에 대응하는 프롬프트/경고 정보를 출력할 때, 상기 경보 모듈은 상기 산만 상태 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하도록 구성되고;
    미리 결정된 산만 액션의 검출 결과가 산만 액션 레벨이면 미리 결정된 산만 액션의 검출 결과에 대응하는 프롬프트/경고 정보를 출력할 때, 상기 경보 모듈은 상기 산만 액션 레벨에 따라 대응하는 프롬프트 또는 경고 정보를 출력하도록 구성되는 장치.
  98. 제97항에 있어서, 상기 운전 제어 모듈은 상기 피로 상태 레벨 및/또는 상기 산만 상태 레벨 및/또는 상기 산만 액션 레벨이 상기 미리 결정된 운전 모드 전환 조건을 충족시킬 때 상기 운전 모드를 상기 자율 운전 모드로 전환하도록 구성되는 장치.
  99. 제52항 내지 제98항 중 어느 한 항에 있어서,
    이미지 취득을 수행하여 상기 운전자 이미지를 획득하도록 구성되는 적외선 카메라를 추가로 포함하는 장치.
  100. 제99항에 있어서, 상기 적외선 카메라는 차량에서의 적어도 하나의 위치에 배치되는 장치.
  101. 제100항에 있어서, 상기 적어도 하나의 위치는 다음의 위치들: 대시보드 위의 또는 근처의 위치, 중앙 콘솔 위의 또는 근처의 위치, A-필러 또는 근처의 위치, 또는 리어뷰 미러 또는 근처의 위치 중 임의의 하나 이상을 포함하는 장치.
  102. 제99항 내지 제101항 중 어느 한 항에 있어서, 상기 적외선 카메라는, 상기 차량이 운전 상태에 있을 때 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하도록; 및/또는, 상기 차량의 주행 속도가 미리 설정된 속도를 초과할 때 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하도록; 및/또는, 상기 차량이 파워 온되는 것을 검출한 후에 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하도록; 및/또는, 상기 차량에 대한 시작 명령어가 검출될 때 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하도록; 및/또는, 상기 차량 또는 상기 차량에서의 컴포넌트 또는 시스템으로의 제어 명령어가 검출될 때 이미지 취득을 수행하여, 상기 운전자 이미지를 획득하도록 구성되는 장치.
  103. 운전자 모니터링 시스템으로서,
    운전자 이미지, 및 운전자의 피로 상태 및 산만 상태의 검출 결과들을 디스플레이하도록 구성되는 디스플레이 디바이스; 및
    운전자 이미지에 대해 머리 자세 검출 및 눈 상태 검출을 수행하여 머리 자세 정보 및 눈 상태 정보를 획득하도록; 그리고 상기 머리 자세 정보 및 상기 눈 상태 정보에 따라 상기 운전자의 피로 상태 및 산만 상태의 검출 결과들을 결정하도록 구성되는 운전자 상태 검출 장치를 포함하는 시스템.
  104. 제103항에 있어서, 상기 운전자 상태 검출 장치는 제52항 내지 제102항 중 어느 한 항에 따른 운전 상태 검출 장치를 포함하는 시스템.
  105. 전자 디바이스로서,
    컴퓨터 프로그램을 저장하도록 구성되는 메모리; 및
    상기 메모리에 저장되는 상기 컴퓨터 프로그램을 실행하도록 구성되는 프로세서- 상기 컴퓨터 프로그램이 실행될 때, 제1항 내지 제51항 중 어느 한 항에 따른 운전 상태 검출 방법이 구현됨 -를 포함하는 전자 디바이스.
  106. 컴퓨터 프로그램을 저장하고 있는, 컴퓨터-판독가능 저장 매체로서, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 제1항 내지 제51항 중 어느 한 항에 따른 운전 상태 검출 방법이 구현되는 컴퓨터-판독가능 저장 매체.
  107. 차량으로서, 중앙 제어 시스템을 포함하고, 상기 중앙 제어 시스템에 통신 접속되는 제52항 내지 제102항 중 어느 한 항에 따른 운전 상태 검출 장치, 또는 상기 중앙 제어 시스템에 통신 접속되는 제103항 또는 제104항에 따른 운전자 모니터링 시스템을 추가로 포함하는 차량.
  108. 제107항에 있어서, 상기 중앙 제어 시스템은,
    상기 운전 상태 검출 장치 또는 상기 운전자 모니터링 시스템에 의해 출력되는 상기 운전자의 상태 검출 결과에 따라, 상기 차량에서의 오락 시스템 또는 상기 차량의 외부 오락 시스템을 호출하여 상기 운전자의 상태 검출 결과가 상기 미리 설정된 경보 조건을 충족시킬 때 미리 설정된 경보 조건에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는,
    상기 운전자의 상태 검출 결과가 미리 결정된 운전 모드 전환 조건을 충족시킬 때, 상기 운전 모드를 자율 운전 모드로 전환하고, 상기 자율 운전 모드에서 상기 차량에 대한 자율 운전 제어를 수행하도록 구성되는 차량.
  109. 제107항 또는 제108항에 있어서, 상기 중앙 제어 시스템은 수동 운전으로 전환하기 위한 운전 명령어가 수신될 때 상기 운전 모드를 수동 운전 모드로 전환하도록 추가로 구성되는 차량.
  110. 제107항 내지 제109항 중 어느 한 항에 있어서,
    상기 중앙 제어 시스템의 제어 명령어에 따라 상기 경보 조건에 대응하는 프롬프트/경고 정보를 출력하도록; 및/또는 상기 중앙 제어 시스템의 상기 제어 명령어에 따라 상기 프롬프트/경고 정보의 조기-경고 효과 또는 오락의 재생 효과를 조정하도록 구성되는 오락 시스템을 추가로 포함하는 차량.
  111. 제107항 내지 제110항 중 어느 한 항에 있어서,
    이미지 취득을 수행하도록 구성되는 적어도 하나의 적외선 카메라를 추가로 포함하는 차량.
  112. 제111항에 있어서, 상기 적외선 카메라는 상기 차량에서의 적어도 하나의 위치에 배치되고, 상기 적어도 하나의 위치는 다음의 위치들: 대시보드 위의 또는 근처의 위치, 중앙 콘솔 위의 또는 근처의 위치, A-필러 또는 근처의 위치, 또는 리어뷰 미러 또는 근처의 위치 중 임의의 하나 이상을 포함하는 차량.
KR1020207029577A 2018-10-19 2019-10-18 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량 KR102469233B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811224308.9 2018-10-19
CN201811224308.9A CN111079475A (zh) 2018-10-19 2018-10-19 驾驶状态检测方法和装置、驾驶员监控系统、车辆
PCT/CN2019/111931 WO2020078464A1 (zh) 2018-10-19 2019-10-18 驾驶状态检测方法和装置、驾驶员监控系统、车辆

Publications (2)

Publication Number Publication Date
KR20200132945A true KR20200132945A (ko) 2020-11-25
KR102469233B1 KR102469233B1 (ko) 2022-11-18

Family

ID=70282880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029577A KR102469233B1 (ko) 2018-10-19 2019-10-18 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량

Country Status (6)

Country Link
US (1) US11308723B2 (ko)
JP (1) JP7146959B2 (ko)
KR (1) KR102469233B1 (ko)
CN (1) CN111079475A (ko)
SG (1) SG11202009437SA (ko)
WO (1) WO2020078464A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102442203B1 (ko) * 2022-03-30 2022-09-08 라이트하우스(주) 얼굴 인식 및 아이 트래킹에 기반한 운전자 졸음 예측 방법, 장치 및 시스템
KR102594256B1 (ko) * 2022-11-15 2023-10-26 주식회사 에딘트 인공지능 기반 행동 모니터링 방법, 프로그램 및 장치

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN109902560A (zh) * 2019-01-15 2019-06-18 浙江师范大学 一种基于深度学习的疲劳驾驶预警方法
KR20210009596A (ko) * 2019-07-17 2021-01-27 엘지전자 주식회사 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스
CN111539333B (zh) * 2020-04-24 2021-06-29 湖北亿咖通科技有限公司 驾驶员的注视区域识别及分心检测方法
CN111680592A (zh) * 2020-05-28 2020-09-18 东风柳州汽车有限公司 车内生物检测方法、装置、设备及存储介质
US20230116040A1 (en) * 2020-06-29 2023-04-13 Beijing Baidu Netcom Science And Technology Co., Ltd. Method for recognizing dangerous driving behavior, electronic device and storage medium
CN111785008A (zh) * 2020-07-04 2020-10-16 苏州信泰中运物流有限公司 一种基于gps和北斗定位的物流监控管理方法、装置及计算机可读存储介质
EP4141663A4 (en) * 2020-07-17 2023-05-31 Huawei Technologies Co., Ltd. DATA PROCESSING METHOD AND APPARATUS, AND INTELLIGENT VEHICLE
CN213056885U (zh) * 2020-08-11 2021-04-27 上海商汤临港智能科技有限公司 车辆
CN112016457A (zh) * 2020-08-27 2020-12-01 青岛慕容信息科技有限公司 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
CN112052775A (zh) * 2020-08-31 2020-12-08 同济大学 一种基于梯度直方图视频识别技术的疲劳驾驶检测方法
CN112052770A (zh) * 2020-08-31 2020-12-08 北京地平线信息技术有限公司 用于疲劳检测的方法、装置、介质以及电子设备
CN112289003B (zh) * 2020-10-23 2022-06-17 江铃汽车股份有限公司 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统
CN112277957B (zh) * 2020-10-27 2022-06-24 广州汽车集团股份有限公司 一种用于驾驶员分心纠正的预警方法及其系统、存储介质
CN114495069A (zh) * 2020-10-27 2022-05-13 中车株洲电力机车研究所有限公司 一种监测司机驾驶状态的方法及系统
TWI741892B (zh) * 2020-12-01 2021-10-01 咸瑞科技股份有限公司 車內駕駛監測系統
CN112455327A (zh) * 2020-12-03 2021-03-09 上海汽车集团股份有限公司 一种车灯控制方法、装置及计算机可读存储介质
CN112660157B (zh) * 2020-12-11 2022-12-27 重庆邮电大学 一种多功能无障碍车远程监控与辅助驾驶系统
CN112633247A (zh) * 2021-01-04 2021-04-09 珠海研果科技有限公司 驾驶状态监测方法和装置
CN112754498B (zh) * 2021-01-11 2023-05-26 一汽解放汽车有限公司 驾驶员的疲劳检测方法、装置、设备及存储介质
CN112668548B (zh) * 2021-01-15 2024-07-12 重庆大学 一种驾驶员发呆检测方法及系统
CN112829767B (zh) * 2021-02-22 2024-05-17 清华大学苏州汽车研究院（相城） 一种基于监测驾驶员误操作的自动驾驶控制系统及方法
CN112907408A (zh) * 2021-03-01 2021-06-04 北京安博创赢教育科技有限责任公司 一种评价学生学习效果的方法、装置、介质和电子设备
CN113060144A (zh) * 2021-03-12 2021-07-02 上海商汤临港智能科技有限公司 分心提醒方法及装置、电子设备和存储介质
CN113119981B (zh) * 2021-04-09 2022-06-17 东风汽车集团股份有限公司 车辆主动安全控制方法、系统及存储介质
CN113119970A (zh) * 2021-04-26 2021-07-16 徐州工程学院 一种用于复杂环境下的自动驾驶系统
CN113468956A (zh) * 2021-05-24 2021-10-01 北京迈格威科技有限公司 注意力判定方法、模型训练方法及对应装置
CN113298041B (zh) * 2021-06-21 2024-07-02 黑芝麻智能科技(上海)有限公司 用于标定驾驶员分心参考方向的方法及系统
CN113361452B (zh) * 2021-06-24 2023-06-20 中国科学技术大学 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统
CN113593183A (zh) * 2021-06-25 2021-11-02 湖南大学 一种基于声学的疲劳驾驶和分心驾驶的检测方法、装置、设备及介质
CN113537115A (zh) * 2021-07-26 2021-10-22 东软睿驰汽车技术（沈阳）有限公司 驾驶员的驾驶状态获取方法、装置及电子设备
CN113569785A (zh) * 2021-08-04 2021-10-29 上海汽车集团股份有限公司 驾驶状态感知方法及装置
US11830259B2 (en) * 2021-08-24 2023-11-28 Nvidia Corporation Robust state estimation
CN113978475A (zh) * 2021-09-22 2022-01-28 东风汽车集团股份有限公司 一种驾驶员疲劳驾车时自动驾驶介入的控制方法与系统
CN114148336A (zh) * 2021-12-09 2022-03-08 奇瑞汽车股份有限公司 车辆控制方法及装置
CN114821549A (zh) * 2022-04-22 2022-07-29 电子科技大学 一种利用方向盘定位驾驶区域的驾驶行为识别方法
WO2023228758A1 (ja) * 2022-05-24 2023-11-30 住友重機械工業株式会社 建設機械、建設機械の支援システム
CN115303946B (zh) * 2022-09-16 2023-05-26 江苏省特种设备安全监督检验研究院 基于数字孪生的塔式起重机工作监测方法、系统
CN116052136B (zh) * 2023-03-27 2023-09-05 中国科学技术大学 分心检测方法、车载控制器和计算机存储介质
CN117935231B (zh) * 2024-03-20 2024-06-07 杭州臻稀生物科技有限公司 一种无感式疲劳驾驶监测干预方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4811255B2 (ja) 2006-12-04 2011-11-09 トヨタ自動車株式会社 状態推定装置
CN102013013B (zh) * 2010-12-23 2013-07-03 华南理工大学广州汽车学院 疲劳驾驶监测方法
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
TWI493511B (zh) * 2013-09-04 2015-07-21 Ind Tech Res Inst 駕駛狀態偵測系統、駕駛狀態偵測方法與電子裝置
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
CN104688251A (zh) 2015-03-02 2015-06-10 西安邦威电子科技有限公司 一种多姿态下的疲劳及非正常姿态驾驶检测方法
DE102015204247A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Müdigkeits- und/oder Schlafzustandes eines Fahrers eines Fahrzeugs
TWI598258B (zh) * 2016-11-28 2017-09-11 Driving behavior detection method and system thereof
JP2018133007A (ja) * 2017-02-16 2018-08-23 いすゞ自動車株式会社 警報装置
CN108229284B (zh) * 2017-05-26 2021-04-09 北京市商汤科技开发有限公司 视线追踪及训练方法和装置、系统、电子设备和存储介质
CN108022451A (zh) * 2017-12-06 2018-05-11 驾玉科技（上海）有限公司 一种基于云端的驾驶员状态预警上报及分发系统
CN108446600A (zh) * 2018-02-27 2018-08-24 上海汽车集团股份有限公司 一种车辆驾驶员疲劳监测预警系统及方法
CN108583430B (zh) * 2018-05-22 2024-03-15 长安大学 一种用于检测和提醒驾驶员分心的驾驶系统及判断方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102442203B1 (ko) * 2022-03-30 2022-09-08 라이트하우스(주) 얼굴 인식 및 아이 트래킹에 기반한 운전자 졸음 예측 방법, 장치 및 시스템
KR102594256B1 (ko) * 2022-11-15 2023-10-26 주식회사 에딘트 인공지능 기반 행동 모니터링 방법, 프로그램 및 장치
WO2024106605A1 (ko) * 2022-11-15 2024-05-23 주식회사 에딘트 인공지능 기반 행동 모니터링 방법, 프로그램 및 장치

Also Published As

Publication number Publication date
US20210004618A1 (en) 2021-01-07
SG11202009437SA (en) 2020-10-29
US11308723B2 (en) 2022-04-19
KR102469233B1 (ko) 2022-11-18
JP2021527900A (ja) 2021-10-14
CN111079475A (zh) 2020-04-28
JP7146959B2 (ja) 2022-10-04
WO2020078464A1 (zh) 2020-04-23

Similar Documents

Publication Publication Date Title
KR102469233B1 (ko) 운전 상태 검출 방법 및 장치, 운전자 모니터링 시스템 및 차량
KR102469234B1 (ko) 운전 상태 분석 방법 및 장치, 운전자 모니터링 시스템 및 차량
US10853675B2 (en) Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles
US11182629B2 (en) Machine learning based driver assistance
JP6932208B2 (ja) 運転管理方法及びシステム、車載スマートシステム、電子機器並びに媒体
US20210012127A1 (en) Action recognition method and apparatus, driving action analysis method and apparatus, and storage medium
US20190370577A1 (en) Driving Management Methods and Systems, Vehicle-Mounted Intelligent Systems, Electronic Devices, and Medium
US20200216078A1 (en) Driver attentiveness detection system
TW202036465A (zh) 駕駛員注意力監測方法和裝置及電子設備
CN105739705A (zh) 一种车载系统人眼控制方法及装置
JP2019528217A (ja) 資源配分管理を改善するために注意力バッファを使用するシステムおよび方法
WO2020161610A2 (en) Adaptive monitoring of a vehicle using a camera
US20230347903A1 (en) Sensor-based in-vehicle dynamic driver gaze tracking
JPWO2019198179A1 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
WO2022224173A1 (en) Systems and methods for determining driver control over a vehicle
CN114663863A (zh) 图像处理方法、装置、电子设备和计算机存储介质
Meng et al. Application and development of AI technology in automobile intelligent cockpit
US20230356736A1 (en) Systems and methods for driver state conditioned visual signals
WO2023092611A1 (zh) 一种信息播报方法、通行状态提示方法、装置及车辆
US20240051465A1 (en) Adaptive monitoring of a vehicle using a camera
CN118155192A (zh) 疲劳驾驶检测方法、车辆、设备、存储介质及程序产品

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant