KR102321011B1 - V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치 - Google Patents
V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR102321011B1 KR102321011B1 KR1020200007636A KR20200007636A KR102321011B1 KR 102321011 B1 KR102321011 B1 KR 102321011B1 KR 1020200007636 A KR1020200007636 A KR 1020200007636A KR 20200007636 A KR20200007636 A KR 20200007636A KR 102321011 B1 KR102321011 B1 KR 102321011B1
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- state
- specific driver
- keypoint
- specific
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 78
- 206010041349 Somnolence Diseases 0.000 claims abstract description 60
- 230000004397 blinking Effects 0.000 claims abstract description 17
- 238000004891 communication Methods 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 210000001747 pupil Anatomy 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
- B60R21/01512—Passenger detection systems
- B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
- G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2756/00—Output or target parameters relating to data
- B60W2756/10—Involving external transmission of data to or from the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Atmospheric Sciences (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
본 발명은 딥러닝에 기반한 차량의 운전자의 이상 상태를 검출하여 경고하는 방법으로서, 운전자 상태 검출 장치가, (a) 상기 차량의 실내 이미지를 졸음 검출 네트워크에 입력하여, 상기 특정 운전자의 얼굴 부분을 검출하고, 상기 얼굴 부분에서 눈 부분을 검출하며, 눈의 깜박거림 상태를 검출하여 졸음 상태를 판단하고, 상기 실내 이미지를 포즈 매칭 네트워크에 입력하여, 상기 운전자의 바디 키포인트(body keypoint)를 검출하도록 하고, 상기 바디 키포인트가 기설정된 주행 포즈 중 하나와 매칭하는지를 판단하도록 함으로써, 상기 이상 상태를 판단하는 단계; 및 (b) 상기 졸음 상태 및 상기 이상 상태 중 일부를 참조로 하여, 상기 운전자가 위험 상태인 것으로 판단되면, V2V(vehicle-to-vehicle) 통신을 통해, 상기 위험 상태에 관한 정보를 주변 차량에 전송하여 주변 차량으로 하여금 상기 위험 상태를 인식하도록 하는 단계를 포함하는 방법에 관한 것이다.
Description
본 발명은 딥러닝(deep learning)에 기반하여 차량 운전자의 졸음 상태 및 이상 상태를 검출하여 상기 졸음 상태 및 이상 상태를 경고하는 방법 및 장치에 관한 것으로, 보다 상세하게는, 상기 차량의 실내 이미지로부터 상기 운전자의 눈의 깜박거림 상태에 기반하여 상기 운전자의 상기 졸음 상태를 검출하고, 상기 운전자의 포즈를 참조로 하여 상기 운전자의 상기 이상 상태를 검출함으로써 경고를 주는 방법 및 장치에 관한 것이다.
차량 사고 중, 가장 큰 피해를 야기하는 사고는 주행 중에 발생하게 되며, 이중 대다수는, 졸음운전, 음주운전, 주의력 분산 등에 의해 야기된다.
이와 같은 사고를 사전에 방지하는 방법으로서, 종래에는 운전자 스스로가 자각하고 조심해야 할 수 밖에 없었지만, 최근에는 기술을 활용하여 운전자의 상태를 감시하고, 이를 운전자에게 경고함으로써 안전운행을 유도하고 있다. 이에 대한 대표적인 기술로서 운전자 상태 감시장치(Driven-State Monitoring Device, DSM)를 들 수 있다.
운전자 상태 감시장치는 NIR(Near Infra-Red) 카메라를 이용하여 운전자의 얼굴 부위에 근적외선을 투사하고, 그에 따라 운전자의 얼굴 이미지를 획득하여 운전자의 얼굴을 감시한다. 눈 깜박거림 빈도, 횟수 등 눈 깜박거림의 특성에 대해 우선순위를 정해 졸음에 가까운 요소에 가중치를 주는 알고리즘을 활용하여 운전자가 조는지를 판단한다. 또한 주의력 분산 상태는 얼굴 방향, 눈 상태를 인식하여 판단하고, 운전자가 기설정된 시간 동안 전방을 주시하지 않는다고 판단되면 운전자는 경고를 받는다.
하지만, 이러한 종래의 방법에서는 운전자가 이러한 경고에 대응할 수 없는 상태에 빠졌을 경우에는 운전자에 대한 경고가 무의미하게 되는 문제점이 있다.
또한, 이러한 종래의 방법에서는 운전자의 포즈가 바꼈을 경우에는 카메라를 이용해 운전자의 이상 상태를 검출하는데 한계가 있다.
따라서, 본 발명은 운전자의 졸음 운전이라든가 이상 상태 등을 나타내는 위험 상태를 효과적으로 검출하여 교통 사고를 사전에 방지할 수 있도록 하는 방안을 제안하고자 한다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
본 발명은 특정 운전자의 적어도 하나의 이상 상태를 효과적으로 검출할 수 있도록 하는 것을 다른 목적으로 한다.
본 발명은 특정 운전자의 주변 차량의 운전자에게 특정 운전자의 이상 상태를 경고하여 줄 수 있도록 하는 것을 또 다른 목적으로 한다.
본 발명은 특정 운전자의 이상 상태로 인해 발생할 수 있는 교통 사고를 방지할 수 있도록 하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한, 본 발명의 특징적인 구성은 하기와 같다.
본 발명의 일 태양에 따르면, 딥러닝에 기반하여 특정 차량의 특정 운전자의 졸음 상태 및 이상 상태를 검출하여 경고하는 방법에 있어서, (a) 상기 특정 차량의 실내의 적어도 하나의 실내 이미지가 획득되면, 운전자 상태 검출 장치가, (i) 상기 실내 이미지를 졸음 검출 네트워크에 입력하여, 상기 졸음 검출 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 적어도 하나의 얼굴 부분을 검출하고, 상기 얼굴 부분에서 상기 특정 운전자의 적어도 하나의 눈 부분을 검출하며, 상기 특정 운전자의 적어도 하나의 눈의 깜박거림 상태를 검출하도록 함으로써, 상기 특정 운전자의 상기 졸음 상태를 판단하도록 하는 프로세스, 및 (ii) 상기 실내 이미지를 포즈 매칭 네트워크에 입력하여, 상기 포즈 매칭 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 바디에 대응하는 하나 이상의 바디 키포인트(body keypoint)를 검출하도록 하고, 상기 바디 키포인트가 기설정된 주행 포즈 중 하나와 매칭하는지를 판단하도록 함으로써, 상기 특정 운전자의 상기 이상 상태를 판단하도록 하는 프로세스 중 적어도 일부를 수행하는 단계; 및 (b) 상기 졸음 검출 네트워크에서 출력된 상기 특정 운전자의 상기 졸음 상태 및 상기 포즈 매칭 네트워크에서 출력된 상기 특정 운전자의 상기 이상 상태 중 적어도 일부를 참조로 하여, 상기 특정 운전자가 위험 상태인 것으로 판단되면, 상기 운전자 상태 검출 장치는, V2V(vehicle-to-vehicle) 통신을 통해, 상기 특정 운전자의 상기 위험 상태에 대한 정보를 하나 이상의 주변 차량에 전송하여 상기 주변 차량의 하나 이상의 주변 운전자로 하여금 상기 특정 운전자의 상기 위험 상태를 인식하도록 하는 프로세스를 수행하는 단계;를 포함하는 것을 특징으로 하는 방법이 개시된다.
일 실시예에서, 상기 (a) 단계에서, 상기 운전자 상태 검출 장치는, 상기 졸음 검출 네트워크로 하여금, (i) (i-1) 얼굴 검출기의 컨벌루션(convolution) 레이어를 통해 적어도 하나의 컨벌루션 연산을 상기 실내 이미지에 적용하여 적어도 하나의 특징 맵을 생성하고, (i-2) 상기 얼굴 검출기의 RPN(Region Proposal Network)을 통해 상기 특징 맵 상의 하나 이상의 객체에 대응하는 하나 이상의 프로포잘 박스를 생성하며, (i-3) 상기 얼굴 검출기의 풀링 레이어를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하고, (i-4) 상기 얼굴 검출기의 FC(fully connected) 레이어를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하며, (i-5) 상기 FC 레이어의 상기 FC 출력값에 적어도 하나의 클래시피케이션 연산 및 적어도 하나의 리그레션 연산을 적용하여 각각의 상기 객체에 대한 클래스 정보 및 리그레션 정보를 출력한 다음, 상기 얼굴 검출기의 클래시피케이션 레이어 및 리그레션 레이어를 통해 상기 실내 이미지 상의 상기 특정 운전자의 상기 얼굴 부분을 검출하도록 하되, 상기 객체 각각은 상기 프로포잘 박스 각각에 대응하고, (ii) 눈 검출기를 통해 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하되, 상기 얼굴 부분의 밝기와 국부 부분의 밝기의 평균 간 차이가 상기 MCT 이미지로 인코딩되며, 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 특정 운전자의 상기 눈 부분을 검출하고, 상기 눈 부분의 상기 눈의 개폐 상태를 참조로 하여 상기 눈의 상기 깜박거림 상태를 검출하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, (i) 특징 추출기를 통해 상기 실내 이미지에서 하나 이상의 특징을 추출하여 생성된 하나 이상의 특징 텐서(tensor)를 생성하고, (ii) 키포인트 히트맵(keypoint heatmap) 및 파트 어피니티 필드(part affinity field) 추출기를 통해 상기 특징 텐서 각각에 대응하는 하나 이상의 키포인트 히트맵 및 하나 이상의 파트 어피니티 필드를 생성하며, (iii) 상기 키포인트 히트맵 각각에서의 하나 이상의 키포인트를 추출하고, 상기 파트 어피니티 필드 각각을 참조로 하여 상기 추출된 키포인트를 그룹핑(grouping)함으로써, 키포인트 그룹핑 레이어를 통해, 상기 실내 이미지에 위치하는 상기 특정 운전자에 대응하는 상기 바디 키포인트를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, 상기 특징 추출기의 적어도 하나의 컨벌루션 레이어를 통해, 상기 실내 이미지에 적어도 하나의 컨벌루션 연산을 적용함으로써 상기 특징 텐서를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기의 풀리 컨벌루션(fully convolution) 네트워크 또는 적어도 하나의 1x1 컨벌루션 레이어를 통해, 상기 특징 텐서에 적어도 하나의 풀리 컨벌루션 연산 또는 적어도 하나의 1x1 컨벌루션 연산을 적용함으로써 상기 특징 텐서 각각에 대응하는 상기 키포인트 히트맵 및 상기 파트 어피니티 필드를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 키포인트 히트맵 각각 상의 가장 높은 지점 각각을 상기 키포인트 히트맵 각각에 대응하는 상기 키포인트 각각으로서 추출하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금 상기 키포인트 그룹핑 레이어를 통해, 상기 파트 어피니티 필드를 참조로 하여, 상기 추출된 키포인트의 페어들 중 서로 연결될 확률이 가장 높은 페어들 각각을 연결함으로써, 상기 추출된 키포인트를 그룹핑하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 특정 운전자의 상기 눈이 감겨있고, 상기 눈이 감겨있는 시간이 기설정된 제1 임계치 이상이면, 상기 운전 상태 검출 장치는, 상기 졸음 검출 네트워크로 하여금, 상기 특정 운전자를 상기 졸음 상태인 것으로 판단하도록 하는 프로세스를 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 (a) 단계에서, 상기 바디 키포인트가 상기 모든 주행 포즈와 매칭되지 않고, 상기 바디 키포인트와 상기 모든 주행 포즈가 매칭되지 않는 상태가 유지되는 시간이 기설정된 제2 임계치 이상이면, 상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, 상기 운전자가 상기 이상 상태인 것으로 판단하도록 하는 것을 특징으로 한다.
본 발명의 다른 태양에 따르면, 딥러닝에 기반하여 특정 차량의 특정 운전자의 졸음 상태 및 이상 상태를 검출하여 경고하는 운전자 상태 검출 장치에 있어서, 인스트럭션들을 저장하는 적어도 하나의 메모리; 및 (I) 상기 특정 차량의 실내의 적어도 하나의 실내 이미지가 획득되면, (i) 상기 실내 이미지를 졸음 검출 네트워크에 입력하여, 상기 졸음 검출 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 적어도 하나의 얼굴 부분을 검출하고, 상기 얼굴 부분에서 상기 특정 운전자의 적어도 하나의 눈 부분을 검출하며, 상기 특정 운전자의 적어도 하나의 눈의 깜박거림 상태를 검출하도록 함으로써, 상기 특정 운전자의 상기 졸음 상태를 판단하도록 하는 프로세스, 및 (ii) 상기 실내 이미지를 포즈 매칭 네트워크에 입력하여, 상기 포즈 매칭 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 바디에 대응하는 하나 이상의 바디 키포인트(body keypoint)를 검출하도록 하고, 상기 바디 키포인트가 기설정된 주행 포즈 중 하나와 매칭하는지를 판단하도록 함으로써, 상기 특정 운전자의 상기 이상 상태를 판단하도록 하는 프로세스 중 적어도 일부를 수행하는 프로세스; 및 (II) 상기 졸음 검출 네트워크에서 출력된 상기 특정 운전자의 상기 졸음 상태 및 상기 포즈 매칭 네트워크에서 출력된 상기 특정 운전자의 상기 이상 상태 중 적어도 일부를 참조로 하여, 상기 특정 운전자가 위험 상태인 것으로 판단되면, V2V(vehicle-to-vehicle) 통신을 통해, 상기 특정 운전자의 상기 위험 상태에 대한 정보를 하나 이상의 주변 차량에 전송하여 상기 주변 차량의 하나 이상의 주변 운전자로 하여금 상기 특정 운전자의 상기 위험 상태를 인식하도록 하는 프로세스를 수행하는 프로세스; 를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;를 포함하는 것을 특징으로 하는 운전자 상태 검출 장치가 개시된다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 졸음 검출 네트워크로 하여금, (i) (i-1) 얼굴 검출기의 컨벌루션(convolution) 레이어를 통해 적어도 하나의 컨벌루션 연산을 상기 실내 이미지에 적용하여 적어도 하나의 특징 맵을 생성하고, (i-2) 상기 얼굴 검출기의 RPN(Region Proposal Network)을 통해 상기 특징 맵 상의 하나 이상의 객체에 대응하는 하나 이상의 프로포잘 박스를 생성하며, (i-3) 상기 얼굴 검출기의 풀링 레이어를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하고, (i-4) 상기 얼굴 검출기의 FC(fully connected) 레이어를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하며, (i-5) 상기 FC 레이어의 상기 FC 출력값에 적어도 하나의 클래시피케이션 연산 및 적어도 하나의 리그레션 연산을 적용하여 각각의 상기 객체에 대한 클래스 정보 및 리그레션 정보를 출력한 다음, 상기 얼굴 검출기의 클래시피케이션 레이어 및 리그레션 레이어를 통해 상기 실내 이미지 상의 상기 특정 운전자의 상기 얼굴 부분을 검출하도록 하되, 상기 객체 각각은 상기 프로포잘 박스 각각에 대응하고, (ii) 눈 검출기를 통해 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하되, 상기 얼굴 부분의 밝기와 국부 부분의 밝기의 평균 간 차이가 상기 MCT 이미지로 인코딩되며, 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 특정 운전자의 상기 눈 부분을 검출하고, 상기 눈 부분의 상기 눈의 개폐 상태를 참조로 하여 상기 눈의 상기 깜박거림 상태를 검출하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, (i) 특징 추출기를 통해 상기 실내 이미지에서 하나 이상의 특징을 추출하여 생성된 하나 이상의 특징 텐서(tensor)를 생성하고, (ii) 키포인트 히트맵(keypoint heatmap) 및 파트 어피니티 필드(part affinity field) 추출기를 통해 상기 특징 텐서 각각에 대응하는 하나 이상의 키포인트 히트맵 및 하나 이상의 파트 어피니티 필드를 생성하며, (iii) 상기 키포인트 히트맵 각각에서의 하나 이상의 키포인트를 추출하고, 상기 파트 어피니티 필드 각각을 참조로 하여 상기 추출된 키포인트를 그룹핑(grouping)함으로써, 키포인트 그룹핑 레이어를 통해, 상기 실내 이미지에 위치하는 상기 특정 운전자에 대응하는 상기 바디 키포인트를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, 상기 특징 추출기의 적어도 하나의 컨벌루션 레이어를 통해, 상기 실내 이미지에 적어도 하나의 컨벌루션 연산을 적용함으로써 상기 특징 텐서를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기의 풀리 컨벌루션(fully convolution) 네트워크 또는 적어도 하나의 1x1 컨벌루션 레이어를 통해, 상기 특징 텐서에 적어도 하나의 풀리 컨벌루션 연산 또는 적어도 하나의 1x1 컨벌루션 연산을 적용함으로써 상기 특징 텐서 각각에 대응하는 상기 키포인트 히트맵 및 상기 파트 어피니티 필드를 생성하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 키포인트 히트맵 각각 상의 가장 높은 지점 각각을 상기 키포인트 히트맵 각각에 대응하는 상기 키포인트 각각으로서 추출하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금 상기 키포인트 그룹핑 레이어를 통해, 상기 파트 어피니티 필드를 참조로 하여, 상기 추출된 키포인트의 페어들 중 서로 연결될 확률이 가장 높은 페어들 각각을 연결함으로써, 상기 추출된 키포인트를 그룹핑하도록 하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 특정 운전자의 상기 눈이 감겨있고, 상기 눈이 감겨있는 시간이 기설정된 제1 임계치 이상이면, 상기 프로세서는, 상기 졸음 검출 네트워크로 하여금, 상기 특정 운전자를 상기 졸음 상태인 것으로 판단하도록 하는 프로세스를 수행하는 것을 특징으로 한다.
일 실시예에서, 상기 (I) 프로세스에서, 상기 바디 키포인트가 상기 모든 주행 포즈와 매칭되지 않고, 상기 바디 키포인트와 상기 모든 주행 포즈가 매칭되지 않는 상태가 유지되는 시간이 기설정된 제2 임계치 이상이면, 상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, 상기 운전자가 상기 이상 상태인 것으로 판단하도록 하는 것을 특징으로 한다.
이 외에도, 본 발명의 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명은 특정 운전자의 눈 깜박거림 상태 및 주행 포즈를 각각 평가하여 상기 특정 운전자의 졸음 상태 및 이상 상태를 효과적으로 검출하도록 할 수 있는 효과가 있다.
본 발명은 상기 특정 운전자의 위험 상태에 대한 정보를 V2V 통신을 통해 주변 차량에 전송하여 상기 주변 운전자에게 상기 특정 운전자의 위험 상태를 경고할 수 있는 다른 효과가 있다.
본 발명은 상기 특정 운전자의 위험 상태에 대한 정보를 V2V 통신을 통해 주변 차량에 전송하여 상기 특정 운전자의 위험 상태로 인해 발생할 교통 사고를 방지할 수 있는 다른 효과가 있다.
본 발명의 실시예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자(이하 "통상의 기술자")에게 있어서는 발명적 작업이 이루어짐 없이 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명의 일 실시예에 따라 특정 차량의 특정 운전자의 적어도 하나의 이상 상태 및 적어도 하나의 졸음 상태를 검출하여 경고해 주는 운전자 상태 검출 장치를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 상기 특정 차량의 상기 특정 운전자의 상기 이상 상태 및 상기 졸음 상태를 검출하여 경고해 주는 방법을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하는 방법에 있어서, 상기 특정 차량의 상기 특정 운전자의 상기 졸음 상태를 판단하는 과정을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하는 방법에 있어서, 상기 특정 운전자의 얼굴을 검출하는 과정을 개략적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하는 방법에 있어서, 상기 특정 운전자의 포즈를 활용하여 상기 특정 운전자의 상기 이상 상태를 판단하는 과정을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하는 방법에 있어서, 상기 특정 운전자의 바디 키포인트를 검출하는 과정을 개략적으로 나타낸 도면이다.
도 1은 본 발명의 일 실시예에 따라 특정 차량의 특정 운전자의 적어도 하나의 이상 상태 및 적어도 하나의 졸음 상태를 검출하여 경고해 주는 운전자 상태 검출 장치를 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따라 상기 특정 차량의 상기 특정 운전자의 상기 이상 상태 및 상기 졸음 상태를 검출하여 경고해 주는 방법을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따라 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하는 방법에 있어서, 상기 특정 차량의 상기 특정 운전자의 상기 졸음 상태를 판단하는 과정을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따라 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하는 방법에 있어서, 상기 특정 운전자의 얼굴을 검출하는 과정을 개략적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하는 방법에 있어서, 상기 특정 운전자의 포즈를 활용하여 상기 특정 운전자의 상기 이상 상태를 판단하는 과정을 개략적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하는 방법에 있어서, 상기 특정 운전자의 바디 키포인트를 검출하는 과정을 개략적으로 나타낸 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.
또한, 본 발명의 상세한 설명 및 청구항들에 걸쳐, "포함하다"라는 단어 및 그것의 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 언급하는 각종 이미지는 포장 또는 비포장 도로 관련 이미지를 포함할 수 있으며, 이 경우 도로 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니며, 본 발명에서 언급하는 각종 이미지는 도로와 상관 없는 이미지(가령, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내와 관련된 이미지)일 수도 있으며, 이 경우, 비포장도로, 골목길, 공터, 바다, 호수, 강, 산, 숲, 사막, 하늘, 실내 환경에서 등장할 수 있는 물체(가령, 자동차, 사람, 동물, 식물, 물건, 건물, 비행기나 드론과 같은 비행체, 기타 장애물)를 상정할 수 있을 것이나, 반드시 이에 한정되는 것은 아니다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따라 특정 차량의 특정 운전자의 적어도 하나의 이상 상태 및 적어도 하나의 졸음 상태를 검출하여 경고해 주는 운전자 상태 검출 장치를 개략적으로 나타낸 도면이다. 도 1을 참조하면, 상기 운전자 상태 검출 장치(1000)는, 상기 특정 차량의 상기 특정 운전자의 상기 이상 상태 및 상기 졸음 상태를 검출하여 경고를 주는 인스트럭션들을 저장하는 메모리(1100)와 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하는 상기 메모리(1100)에 저장된 인스트럭션들에 대응하는 프로세스를 수행하는 프로세서(1200)를 포함할 수 있다.
구체적으로, 상기 운전자 상태 검출 장치(1000)는 전형적으로 적어도 하나의 컴퓨팅 장치(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS) 및 스토리지 영역 네트워크(SAN)와 같은 전자 정보 스토리지 시스템)와 적어도 하나의 컴퓨터 소프트웨어(즉, 상기 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 인스트럭션들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.
상기 컴퓨팅 장치의 프로세서는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 컴퓨팅 장치는 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.
그러나, 이러한 상기 컴퓨팅 장치에 대한 설명이 본 발명을 실시하기 위한 프로세서, 메모리, 매체 또는 기타 컴퓨팅 구성요소가 통합된 형태인 통합 프로세서의 경우를 배제하는 것은 아니다.
이와 같이 구성된 본 발명의 일 실시예에 따른 상기 운전자 상태 검출 장치(1000)를 이용하여 특정 차량의 적어도 하나의 실내 이미지로부터 상기 특정 운전자의 상기 졸음 상태 및 상기 이상 상태를 검출하여 경고를 하는 방법은 도 2를 참조하여 설명하면 다음과 같다.
먼저, 적어도 하나의 카메라(10)에 의해 촬영된 상기 특정 차량의 실내 이미지가 획득되면, 상기 운전자 상태 검출 장치(1000)가, (i) 상기 실내 이미지를 졸음 검출 네트워크(100)에 입력하여, 상기 졸음 검출 네트워크(100)로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 적어도 하나의 얼굴 부분을 검출하고, 상기 검출된 얼굴 부분에서 상기 특정 운전자의 적어도 하나의 눈 부분을 검출하도록 하는 프로세스 및 (ii) 상기 특정 운전자의 적어도 하나의 눈의 깜박거림 상태를 검출하도록 함으로써, 상기 특정 운전자의 상기 졸음 상태를 판단하도록 하는 프로세스를 수행할 수 있다. 이때, 상기 운전자 상태 검출 장치(1000)는 상기 실내 이미지에서 상기 특정 운전자의 얼굴이 위치하는 상반신을 크로핑(cropping)하는 프로세스 및 상기 실내 이미지의 상기 크로핑된 상반신을 상기 졸음 검출 네트워크(100)에 입력하는 프로세스를 수행하여, 상기 졸음 검출 네트워크(100)로 하여금, 상기 실내 이미지의 상기 크로핑된 상반신으로부터 상기 특정 운전자의 얼굴 부분을 검출하도록 하여, 상기 전체 실내 이미지로부터 상기 얼굴 부분을 검출하는 것에 비하여 상기 졸음 검출 네트워크(100)의 연산량을 감소시킬 수 있다.
일 예로, 도 3을 참조하면, 상기 졸음 검출 네트워크(100)는 상기 실내 이미지를 얼굴 검출기(110)에 입력하여, 상기 얼굴 검출기(110)로 하여금, 딥 러닝 기반의 상기 실내 이미지를 분석함으로써 상기 실내 이미지 상의 상기 특정 운전자의 상기 얼굴을 검출하도록 한다.
이때, 상기 얼굴 검출기(110)는 CNN(Convolutional Neural Network) 기반의 검출기에 기반한 검출기일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다.
한편, 도 4를 참조하면, 상기 CNN 기반의 상기 얼굴 검출기(110)는, 적어도 하나의 컨벌루션 레이어(111)를 통해 상기 실내 이미지에 적어도 하나의 컨벌루션 연산을 적용하여 적어도 하나의 특징 맵을 생성하도록 하고, RPN(region proposal network)(112)을 통해 상기 특징 맵 상의 하나 이상의 객체에 대응하는 하나 이상의 프로포잘 박스를 생성하는 프로세스를 수행할 수 있다. 그리고, 상기 얼굴 검출기(110)는 풀링 레이어(113)를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하는 프로세스, 및 FC 레이어(114)를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하는 프로세스를 수행할 수 있다. 이후, 상기 얼굴 검출기(110)는, 적어도 하나의 클래시피케이션 연산과 적어도 하나의 리그레션 연산을 상기 FC 레이어(114)의 상기 FC 출력값에 적용하여 상기 객체 각각에 대한 클래스 정보와 리그레션 정보를 출력하여, 상기 객체 각각이 프로포잘 박스 각각에 대응하는 클래시피케이션 레이어(115) 및 리그레션 레이어(116)을 통해 상기 실내 이미지 상의 상기 특정 운전자의 상기 얼굴 부분을 검출할 수 있다.
다시, 도 3을 참조하면, 상기 졸음 검출 네트워크(100)는 상기 얼굴 검출기(110)에 의해 검출된 상기 특정 운전자의 상기 얼굴 부분을 눈 검출기(120)에 입력하여, 상기 눈 검출기(120)로 하여금, (i) 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하도록 하여, 상기 얼굴 부분의 밝기와 국부 부분의 밝기의 평균 간 차이가 인코딩되도록 하고, (ii) 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 특정 운전자의 상기 눈 부분을 검출하도록 하며, (iii) 상기 눈 부분의 상기 눈의 개폐 상태를 참조로 하여 상기 눈의 상기 깜박거림 상태를 검출하도록 할 수 있다. 이때, 상기 깜박거림 상태는 상기 MCT 이미지의 눈 부분 상의 동공의 개폐 상태로 확인될 수 있고, 상기 개폐 상태는 눈, 즉 동공이 열렸는지 감겼는지를 나타낼 수 있다. 일 예로, 상기 특정 운전자의 눈이 완전히 떠져있을 때의 동공 사이즈와 상기 특정 운전자의 눈이 감겨있을 때 동공 사이즈는 다르게 검출될 수 있으며, 이를 통해 상기 특정 운전자의 눈의 깜박거림 상태가 판단될 수 있다.
또한, 상기 특정 운전자의 눈의 깜박거림 상태를 검출하기 위한 별도의 깜박거림 검출기(130)가 추가될 수 있다. 이때, 상기 깜박거림 검출기(130)는 상기 눈 부분의 동공을 추적하여 상기 눈의 깜박거림 상태를 검출할 수 있다.
그리고, 상기 특정 운전자의 상기 눈이 감겨있고, 상기 눈이 감겨있는 시간이 기설정된 제1 임계치 이상이면, 상기 졸음 검출 장치(100)는, 상기 특정 운전자의 눈의 깜박거림 상태를 참조로 하여 상기 특정 운전자가 상기 졸음 상태인 것으로 판단할 수 있다.
다음으로, 다시 도 2를 참조하면, 상기 운전자 상태 검출 장치(1000)는 상기 실내 이미지를 포즈 매칭 네트워크(200)에 입력하여, 상기 포즈 매칭 네트워크(200)로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 바디에 대응하는 하나 이상의 바디 키포인트(body keypoint)를 검출하도록 하고, 상기 바디 키포인트가 기설정된 주행 포즈 중 하나와 매칭하는지를 판단하도록 함으로써, 상기 특정 운전자의 상기 이상 상태를 판단하도록 하는 프로세스를 수행할 수 있다. 이때, 상기 주행 포즈는 상기 운전자가 운전자석에 착석하여 정상적으로 차량을 운전할 때의 포즈일 수 있으며, 상기 차량을 주행하는 정상 위치에 해당하는 상기 운전자의 기설정된 포즈로서 사전에 데이터베이스에 저장될 수 있다.
일 예로, 도 5를 참조하면, 상기 포즈 매칭 네트워크(200)는 상기 실내 이미지를 바디 키포인트 검출기(210)에 입력하여 상기 바디 키포인트 검출기(210)로 하여금 상기 특정 운전자의 상기 바디 키포인트를 검출하도록 할 수 있다.
이때, 상기 특정 차량의 상기 실내에 설치된 카메라로 획득한 영상 또는 이미지는 바디(즉, 사람의 신체)를 많이 가린 상태일 수 있으며, 운전석의 경우 상기 특정 운전자의 상반신만 보일 수 있다. 이러한 경우, 종래의 객체 검출기는 많이 가려진 특정 운전자를 검출하는데 실패할 수 있으나, 상기 바디 키포인트 검출기(210)는 보이는 부분만을 이용하여 상기 특정 운전자가 있는지를 판단할 수 있다. 그리고, 상기 특정 운전자는 포즈 다양성 범위가 크기 때문에 상기 바디 키포인트 검출기(210)는 상기 종래의 객체 검출기보다 훨씬 유용하다.
그리고, 도 6을 참조하면, 바디 키포인트 검출기(210)가 상기 실내 이미지에서 상기 특정 운전자의 상기 바디 키포인트를 검출하는 과정을 좀 더 상세히 설명하면 다음과 같다.
상기 바디 키포인트 검출기(210)가 상기 실내 이미지를 특징 추출 네트워크(211)에 입력하여, 상기 특징 추출 네트워크(211)로 하여금, 상기 실내 이미지로부터 하나 이상의 특징을 추출하여 하나 이상의 특징 텐서를 생성하도록 할 수 있다. 이때, 상기 특징 추출 네트워크(211)는 적어도 하나의 컨벌루션 연산을 상기 실내 이미지에 적용하여 상기 실내 이미지에 대응하는 상기 특징 텐서를 생성할 수 있다. 그리고, 상기 특징 추출 네트워크(211)는 적어도 하나의 컨벌루션 연산을 수행할 수 있는 하나 이상의 컨벌루션 레이어를 포함하는 하나 이상의 컨벌루션 블록일 수 있다.
그리고, 상기 바디 키포인트 검출기(210)는 상기 특징 텐서를 키포인트 히트맵(keypoint heatmap) 및 파트 어피니티 필드(part affinity field) 추출기(212)에 입력하여, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기(212)로 하여금, 상기 특징 텐서 각각에 대응하는 각각의 키포인트 히트맵 및 (ii) 상기 키포인트 간 관계를 나타내는 벡터 맵인 파트 어피니티 필드를 생성하도록 할 수 있다. 이때, 각각의 상기 파트 어피니티 필드는 특정 키포인트와 타 키포인트의 연결성을 나타낸 맵일 수 있고, 각각의 키포인트 히트맵 페어들에 대해 서로 연결될 확률을 나타내는 맵일 수 있다. 그리고 "히트맵"은 열을 뜻하는 히트(heat)와 지도를 뜻하는 맵(map)을 결합시킨 것으로, 색상으로 표현할 수 있는 다양한 정보를 일정한 이미지 위에 열분포 형태의 그래픽으로 생성한 것일 수 있다.
이때, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기(212)는 풀리 컨벌루션 네트워크를 포함할 수 있다.
또한, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기(212)는 적어도 하나의 1x1 컨벌루션 연산을 상기 특징 텐서에 적용하는 적어도 하나의 1 x 1 컨벌루션 레이어를 포함할 수 있다.
또한, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기(212)는 이분 매칭(bipartite matching)을 이용하여 각각의 키포인트 간 관계를 검출함으로써 상기 파트 어피니티 필드를 생성할 수 있다. 즉, 상기 키포인트 간 관계는 상기 이분 매칭을 통해 확인할 수 있다.
이후, 상기 바디 키포인트 검출기(210)는 상기 키포인트 히트맵 각각으로부터 상기 키포인트를 추출하고, 상기 파트 어피니티 필드 각각을 참조로 하여 상기 추출된 키포인트를 그룹핑(grouping)함으로써, 키포인트 그룹핑 레이어(213)를 통해, 상기 실내 이미지에 위치하는 상기 특정 운전자에 대응하는 상기 바디 키포인트를 생성할 수 있다.
즉, 상기 바디 키포인트 검출기(210)는, 상기 키포인트 그룹핑 레이어(213)로 하여금, 상기 키포인트 히트맵 각각으로부터 상기 키포인트를 추출하고, 상기 추출된 상호 연결 확률을 참조하여, 연결될 확률이 가장 높은 키포인트끼리 페어들 각각으로 연결하도록 할 수 있다. 이때, 상기 바디 키포인트 검출기는, 각 채널에 대응하는 각각의 상기 키포인트 히트맵 내 각각의 가장 높은 지점, 즉 가장 높은 히트값을 갖는 각각의 포인트를, 각각의 상기 키포인트 히트맵에 대응되는 각각의 상기 키포인트로서 추출할 수 있으며, 상기 파트 어피니티 필드를 참조하여, 상기 추출된 키포인트 중 연결될 확률이 가장 높은 키포인트끼리 페어로 하여 연결함으로써, 상기 추출된 키포인트를 그룹핑할 수 있다. 일 예로, 상기 추출된 키포인트 중 어느 하나의 키포인트와 연결될 확률이 가장 높은 다른 하나의 키포인트를 하나의 페어로 연결하는 과정을 추출된 키포인트들 모두에 대해 수행함으로써 키포인트들을 그룹핑할 수 있다.
다음으로, 다시 도 5를 참조하면, 상기 포즈 매칭 네트워크(200)는, 포즈매칭 장치(220)로 하여금, 상기 바디 키포인트 검출기(210)로부터 획득된 상기 바디 키포인트 간 포즈 매칭을 수행함으로써 상기 바디 키포인트가 상기 기설정된 주행 포즈 중 하나와 매칭되는지 확인할 수 있다.
이때, 상기 바디 키포인트가 상기 기설정된 주행 포즈 중 하나와 매칭되지 않는 것으로 판단되면, 상기 포즈 매칭 네트워크(200)는, 상기 바디 키포인트가 기설정된 주행 포즈 중 하나와 매칭되지 않은 상태가 제2 임계치 이상의 시간 동안 지속되었는지 판단하여 상기 운전자의 이상 상태 여부를 판단할 수 있다.
즉, 상기 바디 키포인트와 상기 주행 포즈 중 하나가 매칭되지 않는 상태가 유지되는 시간이 기설정된 제2 임계치 이상이면, 상기 운전자는 이상 상태로 판단될 수 있다. 예를 들면, 상기 이상 상태는 상기 특정 운전자가 주행에 집중하지 않고 물건을 줍기 위해 몸을 굽힌다거나 실신 등으로 운전을 할 수 없는 상황 중 하나에 대응할 수 있다.
다음으로, 다시 도 2를 참조하면, 상기 특정 운전자가, 상기 졸음 검출 네트워크(100)에서 출력된 상기 특정 운전자의 상기 졸음 상태 및 상기 포즈 매칭 네트워크(200)에서 출력된 상기 특정 운전자의 상기 이상 상태 중 적어도 일부를 참조로 하여, 위험 상태로 판단되면, 상기 운전자 상태 검출 장치(1000)는, V2V(vehicle-to-vehicle) 인터페이서(20)를 통해, 상기 특정 운전자의 상기 위험 상태에 대한 정보를 하나 이상의 주변 차량에 전송하여, 상기 주변 차량의 하나 이상의 주변 운전자로 하여금, 상기 특정 운전자의 상기 위험 상태를 인식하도록 하는 프로세스를 수행할 수 있다. 이를 통해, 상기 주변 운전자로 하여금, 상기 위험 상태에서 상기 특정 운전자가 운전하는 상기 특정 차량에 주의를 기울이도록 함으로써 교통 사고 위험을 줄일 수 있다.
한편, 상기 특정 운전자가 상기 위험 상태에 있다고 판단될 경우, 상기 운전자 상태 검출 장치(1000)는, 상기 위험 상태에 있는 상기 특정 운전자에게 경고를 하여 상기 특정 운전자로 하여금, 이러한 위험 상태를 인지할 수 있도록 할 수 있다. 일 예로, 상기 운전자 상태 검출 장치(1000)는, 상기 운전자의 상태가 위험 상태로 판단될 경우, 경고음을 발생하거나, 운전자석 또는 운전대에 진동을 주어 상기 운전자가 이를 인지할 수 있도록 할 수 있다.
상기에서 설명한 바와 같이, 본 발명은 상기 사람의 상태 인식을 이용하여 운전자 상태를 모니터링함으로써 상기 위험 상태를 검출한 다음, V2V 연결을 이용한 V2V 위험 경고를 수행하여 차량간 주행 안전성을 확보할 수 있게 된다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (18)
- 딥러닝에 기반하여 특정 차량의 특정 운전자의 졸음 상태 및 이상 상태를 검출하여 경고하는 방법에 있어서,
(a) 상기 특정 차량의 실내의 적어도 하나의 실내 이미지가 획득되면, 운전자 상태 검출 장치가, (i) 상기 실내 이미지를 졸음 검출 네트워크에 입력하여, 상기 졸음 검출 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 적어도 하나의 얼굴 부분을 검출하고, 상기 얼굴 부분에서 상기 특정 운전자의 적어도 하나의 눈 부분을 검출하며, 상기 특정 운전자의 적어도 하나의 눈의 깜박거림 상태를 검출하도록 함으로써, 상기 특정 운전자의 상기 졸음 상태를 판단하도록 하는 프로세스, 및 (ii) 상기 실내 이미지를 포즈 매칭 네트워크에 입력하여, 상기 포즈 매칭 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 바디에 대응하는 하나 이상의 바디 키포인트(body keypoint)를 검출하도록 하고, 상기 바디 키포인트가 기설정된 주행 포즈 중 하나와 매칭하는지를 판단하도록 함으로써, 상기 특정 운전자의 상기 이상 상태를 판단하도록 하는 프로세스 중 적어도 일부를 수행하는 단계; 및
(b) 상기 졸음 검출 네트워크에서 출력된 상기 특정 운전자의 상기 졸음 상태 및 상기 포즈 매칭 네트워크에서 출력된 상기 특정 운전자의 상기 이상 상태 중 적어도 일부를 참조로 하여, 상기 특정 운전자가 위험 상태인 것으로 판단되면, 상기 운전자 상태 검출 장치는, V2V(vehicle-to-vehicle) 통신을 통해, 상기 특정 운전자의 상기 위험 상태에 대한 정보를 하나 이상의 주변 차량에 전송하여 상기 주변 차량의 하나 이상의 주변 운전자로 하여금 상기 특정 운전자의 상기 위험 상태를 인식하도록 하는 프로세스를 수행하는 단계;
를 포함하는 것을 특징으로 하되,
상기 (a) 단계에서,
상기 운전자 상태 검출 장치는, 상기 졸음 검출 네트워크로 하여금, (i) (i-1) 얼굴 검출기의 컨벌루션(convolution) 레이어를 통해 적어도 하나의 컨벌루션 연산을 상기 실내 이미지에 적용하여 적어도 하나의 특징 맵을 생성하고, (i-2) 상기 얼굴 검출기의 RPN(Region Proposal Network)을 통해 상기 특징 맵 상의 하나 이상의 객체에 대응하는 하나 이상의 프로포잘 박스를 생성하며, (i-3) 상기 얼굴 검출기의 풀링 레이어를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하고, (i-4) 상기 얼굴 검출기의 FC(fully connected) 레이어를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하며, (i-5) 상기 FC 레이어의 상기 FC 출력값에 적어도 하나의 클래시피케이션 연산 및 적어도 하나의 리그레션 연산을 적용하여 각각의 상기 객체에 대한 클래스 정보 및 리그레션 정보를 출력한 다음, 상기 얼굴 검출기의 클래시피케이션 레이어 및 리그레션 레이어를 통해 상기 실내 이미지 상의 상기 특정 운전자의 상기 얼굴 부분을 검출하도록 하되, 상기 객체 각각은 상기 프로포잘 박스 각각에 대응하고, (ii) 눈 검출기를 통해 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하되, 상기 얼굴 부분의 밝기와 국부 부분의 밝기의 평균 간 차이가 상기 MCT 이미지로 인코딩되며, 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 특정 운전자의 상기 눈 부분을 검출하고, 상기 눈 부분의 상기 눈의 개폐 상태를 참조로 하여 상기 눈의 상기 깜박거림 상태를 검출하도록 하는 방법. - 삭제
- 딥러닝에 기반하여 특정 차량의 특정 운전자의 졸음 상태 및 이상 상태를 검출하여 경고하는 방법에 있어서,
(a) 상기 특정 차량의 실내의 적어도 하나의 실내 이미지가 획득되면, 운전자 상태 검출 장치가, (i) 상기 실내 이미지를 졸음 검출 네트워크에 입력하여, 상기 졸음 검출 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 적어도 하나의 얼굴 부분을 검출하고, 상기 얼굴 부분에서 상기 특정 운전자의 적어도 하나의 눈 부분을 검출하며, 상기 특정 운전자의 적어도 하나의 눈의 깜박거림 상태를 검출하도록 함으로써, 상기 특정 운전자의 상기 졸음 상태를 판단하도록 하는 프로세스, 및 (ii) 상기 실내 이미지를 포즈 매칭 네트워크에 입력하여, 상기 포즈 매칭 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 바디에 대응하는 하나 이상의 바디 키포인트(body keypoint)를 검출하도록 하고, 상기 바디 키포인트가 기설정된 주행 포즈 중 하나와 매칭하는지를 판단하도록 함으로써, 상기 특정 운전자의 상기 이상 상태를 판단하도록 하는 프로세스 중 적어도 일부를 수행하는 단계; 및
(b) 상기 졸음 검출 네트워크에서 출력된 상기 특정 운전자의 상기 졸음 상태 및 상기 포즈 매칭 네트워크에서 출력된 상기 특정 운전자의 상기 이상 상태 중 적어도 일부를 참조로 하여, 상기 특정 운전자가 위험 상태인 것으로 판단되면, 상기 운전자 상태 검출 장치는, V2V(vehicle-to-vehicle) 통신을 통해, 상기 특정 운전자의 상기 위험 상태에 대한 정보를 하나 이상의 주변 차량에 전송하여 상기 주변 차량의 하나 이상의 주변 운전자로 하여금 상기 특정 운전자의 상기 위험 상태를 인식하도록 하는 프로세스를 수행하는 단계;
를 포함하는 것을 특징으로 하되,
상기 (a) 단계에서,
상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, (i) 특징 추출기를 통해 상기 실내 이미지에서 하나 이상의 특징을 추출하여 생성된 하나 이상의 특징 텐서(tensor)를 생성하고, (ii) 키포인트 히트맵(keypoint heatmap) 및 파트 어피니티 필드(part affinity field) 추출기를 통해 상기 특징 텐서 각각에 대응하는 하나 이상의 키포인트 히트맵 및 하나 이상의 파트 어피니티 필드를 생성하며, (iii) 상기 키포인트 히트맵 각각에서의 하나 이상의 키포인트를 추출하고, 상기 파트 어피니티 필드 각각을 참조로 하여 상기 추출된 키포인트를 그룹핑(grouping)함으로써, 키포인트 그룹핑 레이어를 통해, 상기 실내 이미지에 위치하는 상기 특정 운전자에 대응하는 상기 바디 키포인트를 생성하도록 하는 방법. - 제3항에 있어서,
상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, 상기 특징 추출기의 적어도 하나의 컨벌루션 레이어를 통해, 상기 실내 이미지에 적어도 하나의 컨벌루션 연산을 적용함으로써 상기 특징 텐서를 생성하도록 하는 방법. - 제3항에 있어서,
상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기의 풀리 컨벌루션(fully convolution) 네트워크 또는 적어도 하나의 1x1 컨벌루션 레이어를 통해, 상기 특징 텐서에 적어도 하나의 풀리 컨벌루션 연산 또는 적어도 하나의 1x1 컨벌루션 연산을 적용함으로써 상기 특징 텐서 각각에 대응하는 상기 키포인트 히트맵 및 상기 파트 어피니티 필드를 생성하도록 하는 방법. - 제3항에 있어서,
상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 키포인트 히트맵 각각 상의 가장 높은 지점 각각을 상기 키포인트 히트맵 각각에 대응하는 상기 키포인트 각각으로서 추출하도록 하는 방법. - 제6항에 있어서,
상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금 상기 키포인트 그룹핑 레이어를 통해, 상기 파트 어피니티 필드를 참조로 하여, 상기 추출된 키포인트의 페어들 중 서로 연결될 확률이 가장 높은 페어들 각각을 연결함으로써, 상기 추출된 키포인트를 그룹핑하도록 하는 방법. - 제1항에 있어서,
상기 (a) 단계에서,
상기 특정 운전자의 상기 눈이 감겨있고, 상기 눈이 감겨있는 시간이 기설정된 제1 임계치 이상이면, 상기 운전자 상태 검출 장치는, 상기 졸음 검출 네트워크로 하여금, 상기 특정 운전자를 상기 졸음 상태인 것으로 판단하도록 하는 프로세스를 수행하는 방법. - 제1항에 있어서,
상기 (a) 단계에서,
상기 바디 키포인트가 상기 모든 주행 포즈와 매칭되지 않고, 상기 바디 키포인트와 상기 모든 주행 포즈가 매칭되지 않는 상태가 유지되는 시간이 기설정된 제2 임계치 이상이면, 상기 운전자 상태 검출 장치는, 상기 포즈 매칭 네트워크로 하여금, 상기 운전자가 상기 이상 상태인 것으로 판단하도록 하는 방법. - 딥러닝에 기반하여 특정 차량의 특정 운전자의 졸음 상태 및 이상 상태를 검출하여 경고하는 운전자 상태 검출 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 상기 특정 차량의 실내의 적어도 하나의 실내 이미지가 획득되면, (i) 상기 실내 이미지를 졸음 검출 네트워크에 입력하여, 상기 졸음 검출 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 적어도 하나의 얼굴 부분을 검출하고, 상기 얼굴 부분에서 상기 특정 운전자의 적어도 하나의 눈 부분을 검출하며, 상기 특정 운전자의 적어도 하나의 눈의 깜박거림 상태를 검출하도록 함으로써, 상기 특정 운전자의 상기 졸음 상태를 판단하도록 하는 프로세스, 및 (ii) 상기 실내 이미지를 포즈 매칭 네트워크에 입력하여, 상기 포즈 매칭 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 바디에 대응하는 하나 이상의 바디 키포인트(body keypoint)를 검출하도록 하고, 상기 바디 키포인트가 기설정된 주행 포즈 중 하나와 매칭하는지를 판단하도록 함으로써, 상기 특정 운전자의 상기 이상 상태를 판단하도록 하는 프로세스 중 적어도 일부를 수행하는 프로세스; 및 (II) 상기 졸음 검출 네트워크에서 출력된 상기 특정 운전자의 상기 졸음 상태 및 상기 포즈 매칭 네트워크에서 출력된 상기 특정 운전자의 상기 이상 상태 중 적어도 일부를 참조로 하여, 상기 특정 운전자가 위험 상태인 것으로 판단되면, V2V(vehicle-to-vehicle) 통신을 통해, 상기 특정 운전자의 상기 위험 상태에 대한 정보를 하나 이상의 주변 차량에 전송하여 상기 주변 차량의 하나 이상의 주변 운전자로 하여금 상기 특정 운전자의 상기 위험 상태를 인식하도록 하는 프로세스를 수행하는 프로세스; 를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하되,
상기 (I) 프로세스에서,
상기 프로세서는, 상기 졸음 검출 네트워크로 하여금, (i) (i-1) 얼굴 검출기의 컨벌루션(convolution) 레이어를 통해 적어도 하나의 컨벌루션 연산을 상기 실내 이미지에 적용하여 적어도 하나의 특징 맵을 생성하고, (i-2) 상기 얼굴 검출기의 RPN(Region Proposal Network)을 통해 상기 특징 맵 상의 하나 이상의 객체에 대응하는 하나 이상의 프로포잘 박스를 생성하며, (i-3) 상기 얼굴 검출기의 풀링 레이어를 통해 상기 특징 맵 상의 상기 프로포잘 박스에 대응하는 하나 이상의 영역에 적어도 하나의 풀링 연산을 적용하여 적어도 하나의 특징 벡터를 생성하고, (i-4) 상기 얼굴 검출기의 FC(fully connected) 레이어를 통해 상기 특징 벡터에 적어도 하나의 FC 연산을 적용하여 적어도 하나의 FC 출력값을 생성하며, (i-5) 상기 FC 레이어의 상기 FC 출력값에 적어도 하나의 클래시피케이션 연산 및 적어도 하나의 리그레션 연산을 적용하여 각각의 상기 객체에 대한 클래스 정보 및 리그레션 정보를 출력한 다음, 상기 얼굴 검출기의 클래시피케이션 레이어 및 리그레션 레이어를 통해 상기 실내 이미지 상의 상기 특정 운전자의 상기 얼굴 부분을 검출하도록 하되, 상기 객체 각각은 상기 프로포잘 박스 각각에 대응하고, (ii) 눈 검출기를 통해 상기 얼굴 부분을 적어도 하나의 MCT(Modified Census Transform) 이미지로 변환하되, 상기 얼굴 부분의 밝기와 국부 부분의 밝기의 평균 간 차이가 상기 MCT 이미지로 인코딩되며, 에이다부스트(Adaboost) 알고리즘을 사용하여 상기 MCT 이미지로부터 획득된 눈 검출용 특징 데이터로부터 상기 특정 운전자의 상기 눈 부분을 검출하고, 상기 눈 부분의 상기 눈의 개폐 상태를 참조로 하여 상기 눈의 상기 깜박거림 상태를 검출하도록 하는 운전자 상태 검출 장치. - 삭제
- 딥러닝에 기반하여 특정 차량의 특정 운전자의 졸음 상태 및 이상 상태를 검출하여 경고하는 운전자 상태 검출 장치에 있어서,
인스트럭션들을 저장하는 적어도 하나의 메모리; 및
(I) 상기 특정 차량의 실내의 적어도 하나의 실내 이미지가 획득되면, (i) 상기 실내 이미지를 졸음 검출 네트워크에 입력하여, 상기 졸음 검출 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 적어도 하나의 얼굴 부분을 검출하고, 상기 얼굴 부분에서 상기 특정 운전자의 적어도 하나의 눈 부분을 검출하며, 상기 특정 운전자의 적어도 하나의 눈의 깜박거림 상태를 검출하도록 함으로써, 상기 특정 운전자의 상기 졸음 상태를 판단하도록 하는 프로세스, 및 (ii) 상기 실내 이미지를 포즈 매칭 네트워크에 입력하여, 상기 포즈 매칭 네트워크로 하여금, 상기 실내 이미지에서 상기 특정 운전자의 바디에 대응하는 하나 이상의 바디 키포인트(body keypoint)를 검출하도록 하고, 상기 바디 키포인트가 기설정된 주행 포즈 중 하나와 매칭하는지를 판단하도록 함으로써, 상기 특정 운전자의 상기 이상 상태를 판단하도록 하는 프로세스 중 적어도 일부를 수행하는 프로세스; 및 (II) 상기 졸음 검출 네트워크에서 출력된 상기 특정 운전자의 상기 졸음 상태 및 상기 포즈 매칭 네트워크에서 출력된 상기 특정 운전자의 상기 이상 상태 중 적어도 일부를 참조로 하여, 상기 특정 운전자가 위험 상태인 것으로 판단되면, V2V(vehicle-to-vehicle) 통신을 통해, 상기 특정 운전자의 상기 위험 상태에 대한 정보를 하나 이상의 주변 차량에 전송하여 상기 주변 차량의 하나 이상의 주변 운전자로 하여금 상기 특정 운전자의 상기 위험 상태를 인식하도록 하는 프로세스를 수행하는 프로세스; 를 수행하기 위한 상기 인스트럭션들을 실행하도록 구성된 적어도 하나의 프로세서;
를 포함하는 것을 특징으로 하되,
상기 (I) 프로세스에서,
상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, (i) 특징 추출기를 통해 상기 실내 이미지에서 하나 이상의 특징을 추출하여 생성된 하나 이상의 특징 텐서(tensor)를 생성하고, (ii) 키포인트 히트맵(keypoint heatmap) 및 파트 어피니티 필드(part affinity field) 추출기를 통해 상기 특징 텐서 각각에 대응하는 하나 이상의 키포인트 히트맵 및 하나 이상의 파트 어피니티 필드를 생성하며, (iii) 상기 키포인트 히트맵 각각에서의 하나 이상의 키포인트를 추출하고, 상기 파트 어피니티 필드 각각을 참조로 하여 상기 추출된 키포인트를 그룹핑(grouping)함으로써, 키포인트 그룹핑 레이어를 통해, 상기 실내 이미지에 위치하는 상기 특정 운전자에 대응하는 상기 바디 키포인트를 생성하도록 하는 운전자 상태 검출 장치. - 제12항에 있어서,
상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, 상기 특징 추출기의 적어도 하나의 컨벌루션 레이어를 통해, 상기 실내 이미지에 적어도 하나의 컨벌루션 연산을 적용함으로써 상기 특징 텐서를 생성하도록 하는 운전자 상태 검출 장치. - 제12항에 있어서,
상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, 상기 키포인트 히트맵 및 파트 어피니티 필드 추출기의 풀리 컨벌루션(fully convolution) 네트워크 또는 적어도 하나의 1x1 컨벌루션 레이어를 통해, 상기 특징 텐서에 적어도 하나의 풀리 컨벌루션 연산 또는 적어도 하나의 1x1 컨벌루션 연산을 적용함으로써 상기 특징 텐서 각각에 대응하는 상기 키포인트 히트맵 및 상기 파트 어피니티 필드를 생성하도록 하는 운전자 상태 검출 장치. - 제12항에 있어서,
상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, 상기 키포인트 그룹핑 레이어를 통해, 상기 키포인트 히트맵 각각 상의 가장 높은 지점 각각을 상기 키포인트 히트맵 각각에 대응하는 상기 키포인트 각각으로서 추출하도록 하는 운전자 상태 검출 장치. - 제15항에 있어서,
상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금 상기 키포인트 그룹핑 레이어를 통해, 상기 파트 어피니티 필드를 참조로 하여, 상기 추출된 키포인트의 페어들 중 서로 연결될 확률이 가장 높은 페어들 각각을 연결함으로써, 상기 추출된 키포인트를 그룹핑하도록 하는 운전자 상태 검출 장치. - 제10항에 있어서,
상기 (I) 프로세스에서,
상기 특정 운전자의 상기 눈이 감겨있고, 상기 눈이 감겨있는 시간이 기설정된 제1 임계치 이상이면, 상기 프로세서는, 상기 졸음 검출 네트워크로 하여금, 상기 특정 운전자를 상기 졸음 상태인 것으로 판단하도록 하는 프로세스를 수행하는 운전자 상태 검출 장치. - 제10항에 있어서,
상기 (I) 프로세스에서,
상기 바디 키포인트가 상기 모든 주행 포즈와 매칭되지 않고, 상기 바디 키포인트와 상기 모든 주행 포즈가 매칭되지 않는 상태가 유지되는 시간이 기설정된 제2 임계치 이상이면, 상기 프로세서는, 상기 포즈 매칭 네트워크로 하여금, 상기 운전자가 상기 이상 상태인 것으로 판단하도록 하는 운전자 상태 검출 장치.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962799181P | 2019-01-31 | 2019-01-31 | |
| US62/799,181 | 2019-01-31 | ||
| US16/738,484 US10713948B1 (en) | 2019-01-31 | 2020-01-09 | Method and device for alerting abnormal driver situation detected by using humans' status recognition via V2V connection |
| US16/738,484 | 2020-01-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200095383A KR20200095383A (ko) | 2020-08-10 |
| KR102321011B1 true KR102321011B1 (ko) | 2021-11-03 |
Family
ID=69191902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200007636A KR102321011B1 (ko) | 2019-01-31 | 2020-01-20 | V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10713948B1 (ko) |
| EP (1) | EP3690729B1 (ko) |
| JP (1) | JP6930765B2 (ko) |
| KR (1) | KR102321011B1 (ko) |
| CN (1) | CN111507170B (ko) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11091166B1 (en) | 2020-04-21 | 2021-08-17 | Micron Technology, Inc. | Driver screening |
| US11494865B2 (en) | 2020-04-21 | 2022-11-08 | Micron Technology, Inc. | Passenger screening |
| KR102463143B1 (ko) * | 2020-06-15 | 2022-11-04 | 세종대학교산학협력단 | 졸음 운전 감지 방법 및 그 장치 |
| US11256937B2 (en) * | 2020-07-17 | 2022-02-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Anomalous event detection and/or validation using inherent human behavior |
| CN112733767B (zh) * | 2021-01-15 | 2022-05-31 | 西安电子科技大学 | 一种人体关键点检测方法、装置、存储介质及终端设备 |
| WO2022170540A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 交通灯检测的方法和装置 |
| CN112991685A (zh) * | 2021-02-10 | 2021-06-18 | 武汉理工大学 | 考虑驾驶人疲劳状态影响的交通系统风险评估及预警方法 |
| CN112937479A (zh) * | 2021-03-31 | 2021-06-11 | 北京市商汤科技开发有限公司 | 车辆控制方法及装置、电子设备和存储介质 |
| CN113269162A (zh) * | 2021-07-16 | 2021-08-17 | 智道网联科技(北京)有限公司 | 数据获取方法及其装置 |
| US11767021B2 (en) | 2021-09-15 | 2023-09-26 | Toyota Research Institute, Inc. | Systems and methods for remotely assisting an operator |
| CN114495257B (zh) * | 2021-12-03 | 2022-10-14 | 清华大学 | 险态工况下融合行为机制的姿态预测方法和装置 |
| CN114596624B (zh) * | 2022-04-20 | 2022-08-05 | 深圳市海清视讯科技有限公司 | 人眼状态检测方法、装置、电子设备及存储介质 |
| FR3136730A1 (fr) * | 2022-06-21 | 2023-12-22 | Orange | Procédé d’alerte d’un conducteur d’un véhicule automobile après détermination de zones non surveillées par le conducteur |
| GB2621863A (en) * | 2022-08-25 | 2024-02-28 | Continental Automotive Tech Gmbh | Pose classification and in-cabin monitoring methods and associated systems |
| CN115641570B (zh) * | 2022-12-26 | 2023-06-23 | 中国汽车技术研究中心有限公司 | 驾驶行为确定方法、装置、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6323318B2 (ja) * | 2014-12-12 | 2018-05-16 | ソニー株式会社 | 車両制御装置および車両制御方法、並びにプログラム |
| WO2018118958A1 (en) | 2016-12-22 | 2018-06-28 | Sri International | A driver monitoring and response system |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6950027B2 (en) * | 2000-08-23 | 2005-09-27 | Siemens Vdo Automotive Corporation | Method to alert drowsy driver |
| JP2005190082A (ja) * | 2003-12-25 | 2005-07-14 | Fuji Photo Film Co Ltd | 居眠り運転警告装置及びカーナビゲーション装置 |
| JP2008146327A (ja) * | 2006-12-08 | 2008-06-26 | Toshiba Lighting & Technology Corp | 乗り物用照明装置 |
| US20140310277A1 (en) * | 2013-04-15 | 2014-10-16 | Flextronics Ap, Llc | Suspending user profile modification based on user context |
| CN103507809B (zh) * | 2013-09-27 | 2016-05-18 | 奇瑞汽车股份有限公司 | 一种控制车辆行驶的方法和装置 |
| US10127813B2 (en) * | 2015-01-20 | 2018-11-13 | Invent F&W, Llc | Systems and methods for alerting drivers of approaching emergency vehicles |
| KR101669447B1 (ko) * | 2015-03-26 | 2016-11-09 | 조선대학교산학협력단 | 영상 기반의 운전자 졸음 인식 시스템 및 그 인식 방법 |
| CN105769120B (zh) * | 2016-01-27 | 2019-01-22 | 深圳地平线机器人科技有限公司 | 疲劳驾驶检测方法和装置 |
| US9524430B1 (en) * | 2016-02-03 | 2016-12-20 | Stradvision Korea, Inc. | Method for detecting texts included in an image and apparatus using the same |
| US10262219B2 (en) * | 2016-04-21 | 2019-04-16 | Hyundai Motor Company | Apparatus and method to determine drowsiness of a driver |
| KR101839089B1 (ko) * | 2016-06-02 | 2018-03-16 | 한국산업기술대학교산학협력단 | 운전자의 졸음 인식 방법 및 졸음 인식 장치 |
| US10467488B2 (en) * | 2016-11-21 | 2019-11-05 | TeleLingo | Method to analyze attention margin and to prevent inattentive and unsafe driving |
| CN106650688A (zh) * | 2016-12-30 | 2017-05-10 | 公安海警学院 | 基于卷积神经网络的眼部特征检测方法，装置及识别系统 |
| JP6998564B2 (ja) * | 2017-02-08 | 2022-01-18 | パナソニックＩｐマネジメント株式会社 | 覚醒度推定装置及び覚醒度推定方法 |
| JP2018133032A (ja) * | 2017-02-17 | 2018-08-23 | オムロン株式会社 | 運転切替支援装置、及び運転切替支援方法 |
| JP6862629B2 (ja) * | 2017-03-30 | 2021-04-21 | 株式会社日本総合研究所 | 見守り送迎システムにおける車両管理サーバ、車載端末、見守り方法、及びプログラム |
| KR101950476B1 (ko) * | 2017-04-25 | 2019-04-29 | 만도헬라일렉트로닉스(주) | 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량 |
| JP7005933B2 (ja) * | 2017-05-09 | 2022-01-24 | オムロン株式会社 | 運転者監視装置、及び運転者監視方法 |
| US20190018418A1 (en) * | 2017-07-13 | 2019-01-17 | Horng-Huei Tseng | Vehicle summon system |
| KR102438191B1 (ko) * | 2017-09-29 | 2022-08-31 | 주식회사 루멘스 | 차량용 졸음 방지 장치 |
| CN108491858A (zh) * | 2018-02-11 | 2018-09-04 | 南京邮电大学 | 基于卷积神经网络的疲劳驾驶检测方法及系统 |
| US11163317B2 (en) * | 2018-07-31 | 2021-11-02 | Honda Motor Co., Ltd. | System and method for shared autonomy through cooperative sensing |
-
2020
- 2020-01-09 US US16/738,484 patent/US10713948B1/en active Active
- 2020-01-20 KR KR1020200007636A patent/KR102321011B1/ko active IP Right Grant
- 2020-01-22 CN CN202010075327.0A patent/CN111507170B/zh active Active
- 2020-01-24 EP EP20153495.5A patent/EP3690729B1/en active Active
- 2020-01-27 JP JP2020010700A patent/JP6930765B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6323318B2 (ja) * | 2014-12-12 | 2018-05-16 | ソニー株式会社 | 車両制御装置および車両制御方法、並びにプログラム |
| WO2018118958A1 (en) | 2016-12-22 | 2018-06-28 | Sri International | A driver monitoring and response system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200095383A (ko) | 2020-08-10 |
| EP3690729A1 (en) | 2020-08-05 |
| EP3690729B1 (en) | 2024-05-01 |
| CN111507170A (zh) | 2020-08-07 |
| JP6930765B2 (ja) | 2021-09-01 |
| US20200250982A1 (en) | 2020-08-06 |
| US10713948B1 (en) | 2020-07-14 |
| CN111507170B (zh) | 2023-11-28 |
| JP2020126644A (ja) | 2020-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102321011B1 (ko) | V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치 | |
| KR102224818B1 (ko) | 자동차의 차선 변경에 대한 위험을 경보하는 방법 및 이를 이용한 경보 장치 | |
| JP7332726B2 (ja) | ヒートマップを使用したドライバーの注目の検出 | |
| KR102349995B1 (ko) | 운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치 | |
| KR102320979B1 (ko) | 딥 뉴럴 네트워크를 기반으로 한 이미지 분석을 통해 사람의 상태 및 주행 환경을 식별하여 자율 주행을 보조하는 자율 주행 보조 안경 | |
| KR101891460B1 (ko) | 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치 | |
| KR102313123B1 (ko) | 사람의 상태 식별을 위한 이미지 분석을 통해 검출된 승객의 포인트를 이용하여 차량 점유를 검출하는 방법 및 장치 | |
| CN108162858B (zh) | 车载监控装置及其方法 | |
| KR102349953B1 (ko) | 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치 | |
| KR101900237B1 (ko) | 획득한 영상에 대한 상황 판단 데이터를 이용한 현장 판단 방법 | |
| KR102349906B1 (ko) | 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치 | |
| KR101680833B1 (ko) | 보행자 검출 경보 장치 및 방법 | |
| KR20170028631A (ko) | 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치 | |
| Chien et al. | A fuzzy rules-based driver assistance system | |
| Nair et al. | Smart System for Drowsiness and Accident Detection | |
| KR20210081887A (ko) | 차량 측후방에 대한 촬영 영상을 이용한 위험 감지 출력 장치 및 출력 방법 | |
| KR20190088154A (ko) | 진입 금지 차선 주행 경보 방법 및 그 장치 | |
| KR102039814B1 (ko) | 측후방 차량 검출 방법 및 그 장치 | |
| Kortli et al. | Design of ADAS Fatigue Control System using Pynq z1 and Jetson Xavier NX | |
| Ahmed et al. | Real Time Driver Drowsiness Detection Based on Convolution Neural Network | |
| Lashkov et al. | Human–Computer Interaction Interface for Driver Suspicious Action Analysis in Vehicle Cabin | |
| Radhika et al. | Container based Driver Fatigue System using IoT | |
| JP2023147200A (ja) | 危険通知方法及び実装するためのシステム | |
| CN117984894A (zh) | 驾驶预警方法、装置、设备和存储介质 | |
| Armingol et al. | ROBOT VISION FOR INTELLIGENT AUTONOMOUS VEHICLES |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |