KR20240001351A - 차량용 복합기능형 졸음 방지 단말기 - Google Patents
차량용 복합기능형 졸음 방지 단말기 Download PDFInfo
- Publication number
- KR20240001351A KR20240001351A KR1020220077579A KR20220077579A KR20240001351A KR 20240001351 A KR20240001351 A KR 20240001351A KR 1020220077579 A KR1020220077579 A KR 1020220077579A KR 20220077579 A KR20220077579 A KR 20220077579A KR 20240001351 A KR20240001351 A KR 20240001351A
- Authority
- KR
- South Korea
- Prior art keywords
- drowsiness
- driver
- visible light
- light source
- index
- Prior art date
Links
- 206010041349 Somnolence Diseases 0.000 title claims abstract description 104
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims abstract description 28
- 229910002092 carbon dioxide Inorganic materials 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 14
- 239000001569 carbon dioxide Substances 0.000 claims abstract description 12
- 230000000193 eyeblink Effects 0.000 claims abstract description 5
- 230000004399 eye closure Effects 0.000 claims abstract description 3
- 230000002265 prevention Effects 0.000 claims description 12
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 5
- 210000002615 epidermis Anatomy 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000003491 skin Anatomy 0.000 description 3
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004207 dermis Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0027—General constructional details of gas analysers, e.g. portable test equipment concerning the detector
- G01N33/0036—General constructional details of gas analysers, e.g. portable test equipment concerning the detector specially adapted to detect a particular component
- G01N33/004—CO or CO2
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B60W2420/42—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/26—Incapacity
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Cardiology (AREA)
- Biophysics (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- Transportation (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- Combustion & Propulsion (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Mathematical Physics (AREA)
- Immunology (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Acyclic And Carbocyclic Compounds In Medicinal Compositions (AREA)
- Medicines Containing Plant Substances (AREA)
Abstract
본 발명은 가시 광을 운전자에게 조사하는 가시광선 광원과, 근적외선 광을 운전자에게 조사하는 근적외선 광원을 포함하는 광원모듈, 운전자의 얼굴을 촬영하는 가시광선 카메라, 운전자의 얼굴을 촬영하는 근적외선 카메라, 차량 내부의 이산화탄소 농도를 측정하는 이산화탄소 센서 및 상기 가시광선 카메라 또는 근적외선 카메라의 촬영 영상으로부터 생성된 심박 데이터에 기초하는 제1 졸음 지수를 생성하고, 상기 운전자 얼굴 촬영 이미지로부터 눈 깜빡임 회수 또는 눈 감은 시간의 비율에 기초하는 제2 졸음 지수를 생성하며, 상기 이산화탄소 센서의 측정값에 기초하는 제3 졸음 지수를 생성하는 처리부를 포함하되, 상기 처리부는 제1 ~ 제3 졸음 지수에 각각 가중치를 부여하고, 상기 가중치가 반영된 제1 ~ 제3 졸음 지수를 합산하여 종합 졸음 지수를 산출하며, 산출된 종합 졸음 지수가 기준값을 초과하는 경우 운전자의 졸음 상태로 판단하고 경보 조치를 수행하는 것을 특징으로 한다.
상기와 같은 본 발명에 따르면, 보다 정확한 졸음운전 상태를 인식하여 경보신호를 출력함으로써 졸음운전으로 인한 사고를 미연에 방지할 수 있는 장점이 있다.
상기와 같은 본 발명에 따르면, 보다 정확한 졸음운전 상태를 인식하여 경보신호를 출력함으로써 졸음운전으로 인한 사고를 미연에 방지할 수 있는 장점이 있다.
Description
본 발명은 차량용 복합기능형 졸음 방지 단말기에 관한 것으로서, 보다 상세하게는 운전자의 여러 가지의 졸음 검출기술을 조합하여 운전자의 졸음을 보다 정확하게 판단할 수 있도록 하는 기술에 관한 것이다.
자동차 운전 중에 운전자의 졸음 운전에 의해 발생하는 사고가 사회적으로 큰 문제가 되고 있으며, 장시간 운전일수록 졸음운전 발생 확률이 높다.
따라서, 운전자의 운전 중 졸음을 경고하거나 졸음을 방지하기 위한 다양한 장치 및 방법이 개발되고 있다.
일례로 한국등록특허 제10-1546893호에는 눈동자의 면적을 계산하고, 정상 상태의 눈동자 면적보다 일정 비율 이하로 작은 크기의 면적을 가지는 눈동자 이미지가 추출되면, 제어부는 졸음 운전 방지 경보 장치를 작동하는 기술이 개시되어 있다.
그 외, 일본공개특허 제2022-527042호에는 적색 및 적외 펄스 광원으로부터의 광신호를 분석하여 심박 신호를 검출하고, 심박 신호의 변화로부터 졸음 운전 여부를 판단하는 기술이 개시되어 있다.
한편, 한국등록특허 제10-1738517호에는 졸음상태 감지부의 구성으로서, 운전자의 눈동자가 감기는 정도를 추적하는 눈동자 추적센서, 차량실내의 이산화탄소 농도를 검출하는 이산화탄소 검출센서 또는 운전자의 맥박으로부터 졸음여부를 검출하기 위한 맥박검출기 중 어느 하나를 사용하는 것과, 졸음 운전 검출 시 각성 향을 방출하는 기술이 개시되어 있다.
그러나, 대부분의 선행기술들은 특정 졸음 운전 검출 방식을 취하는데 각 검출 방식마다 검출 정확도, 조명으로 인한 눈부심 등의 장단점이 존재하며, 어느 하나의 방식만으로 졸음 운전을 판단하는 경우에는 검출 정확도가 다소 낮은 단점이 있다.
따라서, 사용자의 운전에 방해가 되지 않으면서도 졸음 운전을 정확하게 판별할 수 있는 기술에 대한 요구가 높아지고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 여러 가지의 졸음 검출기술을 조합하여 운전자의 졸음을 보다 정확하게 판단할 수 있도록 하여 졸음운전을 보다 확실하게 방지하는 것이다.
본 발명의 다른 목적은 운전자의 졸음 상태를 검출하는 과정에서 조명에 의해 운전에 방해가 되는 문제를 해결할 수 있도록 하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 일측면에 따르면, 가시 광을 운전자에게 조사하는 가시광선 광원과, 근적외선 광을 운전자에게 조사하는 근적외선 광원을 포함하는 광원모듈, 운전자의 얼굴을 촬영하는 가시광선 카메라, 운전자의 얼굴을 촬영하는 근적외선 카메라, 차량 내부의 이산화탄소 농도를 측정하는 이산화탄소 센서 및 상기 가시광선 카메라 또는 근적외선 카메라의 촬영 영상으로부터 생성된 심박 데이터에 기초하는 제1 졸음 지수를 생성하고, 상기 운전자 얼굴 촬영 이미지로부터 눈 깜빡임 회수 또는 눈 감은 시간의 비율에 기초하는 제2 졸음 지수를 생성하며, 상기 이산화탄소 센서의 측정값에 기초하는 제3 졸음 지수를 생성하는 처리부를 포함하되, 상기 처리부는 제1 ~ 제3 졸음 지수에 각각 가중치를 부여하고, 상기 가중치가 반영된 제1 ~ 제3 졸음 지수를 합산하여 종합 졸음 지수를 산출하며, 산출된 종합 졸음 지수가 기준값을 초과하는 경우 운전자의 졸음 상태로 판단하고 경보 조치를 수행하는 것을 특징으로 하는 복합기능형 졸음 방지 단말기가 제공된다.
여기서, 상기 가중치는 제1 졸음 지수가 가장 높고, 제3 졸음 지수가 가장 낮게 설정되는 것이 바람직하다.
그리고, 상기 처리부는 상기 가시광선 카메라의 촬영영상으로부터 생성된 제1 심박 데이터와 상기 근적외선 카메라의 촬영 영상으로부터 생성된 제2 심박 데이터에 기초하는 제1 졸음 지수를 각각 산출하고, 2개의 제1 졸음 지수 각각의 값과 제2 졸음 지수 간의 비율 정보에 기초하여 2개의 제1 졸음 지수 중 하나를 최종적으로 제1 졸음 지수로 결정하는 것이 보다 바람직하다.
또한, 상기 가시광선 광원은 녹색광을 운전자가 인지하지 못하는 시간폭과 간격 시간을 갖는 펄스광을 반복적으로 출력하거나, 각 광원이 각각 운전자가 인지하지 못하는 시간폭과 간격 시간을 갖는 펄스광을 적색, 녹색, 청색 순으로 순차적으로 반복적으로 출력하되, 상기 녹색 펄스광을 출력하는 시간폭 또는 출력 빈도가 상대적으로 크게 할 수 있다.
상기와 같은 본 발명에 의하면, 보다 정확한 졸음운전 상태를 인식하여 경보신호를 출력함으로써 졸음운전으로 인한 사고를 미연에 방지할 수 있는 장점이 있다.
도1은 본 발명에 따른 차량용 복합기능형 졸음방지 단말기의 구성을 도시한 도면.
도2는 근적외선 카메라를 이용한 심박 수 검출 원리를 설명하기 위한 도면.
도 3은 녹색 광원의 광 조사 타이밍도.
도 4는 가시광선 광원의 광 조사 타이밍도.
도2는 근적외선 카메라를 이용한 심박 수 검출 원리를 설명하기 위한 도면.
도 3은 녹색 광원의 광 조사 타이밍도.
도 4는 가시광선 광원의 광 조사 타이밍도.
본 발명에 기재된 실시예 및 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 표현하는 것은 아니므로, 본 발명의 권리범위는 본문에 설명된 실시예 및 도면에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
도1은 본 발명에 따른 차량용 복합기능형 졸음방지 단말기의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 차량용 복합기능형 졸음방지 단말기는 광원모듈(10), 카메라(20), CO2 센서(30), 처리부(40) 및 경보기(50)를 포함하여 구성된다.
광원모듈(10)은 가시광선 광원(11)과 근적외선 광원(12)을 포함하고, 카메라(20)는 가시광선 광원(11)과 근적외선 광원(12)에 대응하는 영상을 촬영하는 가시광선 카메라(21)와 근적외선 카메라(22)를 포함한다.
CO2 센서(30)는 차량 내 CO2 농도를 측정하기 위한 센서이다. CO2 농도가 1000ppm을 넘으면 차량 실내 공기가 탁하고 졸린 느낌이 발생하고, 2000ppm을 넘기면 졸음과 두통이 유발되는 것으로 알려져 있다.
처리부는 카메라(20)의 촬영 영상 및 CO2 센서(30)의 측정값에 기초하여 운전자의 졸음 확률을 나타내는 졸음 지수를 산출하기 위한 것이다. 여기서, 졸음지수는 심박수 검출을 통해 졸음 여부를 판단하는 제1 졸음 지수와, 눈 깜빡임 회수 또는 눈 감은 비율을 통해 졸음 여부를 판단하는 제2 졸음 지수와, CO2 농도에 기초하는 제3 졸음 지수를 포함한다.
제1 졸음 지수는 가시광선 카메라(21) 또는 근적외선 카메라(22)의 촬영 영상으로부터 생성된 심박 데이터에 기초하여 산출된다.
도2는 카메라를 이용한 심박 수 검출 원리를 설명하기 위한 것으로서, 사용자의 생체 표면(S)으로 가시광선 또는 근적외광을 투영하면, 촬상 시스템인 카메라(20)가 생체 표면(S)을 촬영하여 화상 신호를 생성해 출력한다.
도 2에는, 대상이 되는 생체(100)의 피부 표면의 구조를 나타내고 있다. 생체 표면(S)으로 반사된 빛인 표면 반사광은 광원에 의한 도트 패턴의 이미지를 유지하고 있다. 생체(100)의 내부로 침입해 생체 내부로 산란되어 생체 표면 (S)로부터 나가는 빛인 내부 산란광은 생체 내에서의 강한 산란에 의해서 광원 1의 도트 패턴의 이미지를 잃고 있다. 도트 패턴을 조사하는 광원 1을 이용함으로써, 표면 반사광과 내부 산란광을 공간적으로 용이하게 분리할 수 있다.
도 2에 도시된 생체(100)는 인간의 피부이고, 표피(103), 진피(104) 및 피하 조직(105)을 포함한다. 표피(103)에는 혈관이 없지만, 진피(104)에는 모세혈관 (101) 및 미세한 동정맥(102)이 존재한다. 표피(103)에는 혈관이 없기 때문에, 표면 반사광은 혈액에 관한 정보를 포함하지 않는다. 표피(103)는 빛을 강하게 흡수하는 멜라닌 색소를 포함하기 때문에 표피(103)로부터의 표면 반사광은 혈액의 정보를 취득하는데 있어서는 노이즈가 된다. 영상 분석을 통해 표면 반사광과 내부 산란광을 분리하고, 얼굴의 표면의 혈류를 측정하여 심박수를 산출하게 된다.
이때 가시광원 중에서 녹색은 높은 신호 대 잡음비를 갖고 다른 파장대역에 비해 모션 노이즈에 강하다. 따라서, 가시광원 중 녹색 광원이 주요 검출광으로 사용될 수 있다.
그러나 어두운 환경에서 생체 정보를 취득하고자 하는 경우나 환경광이 변화하는 조건에서는 녹색 신호를 이용하여 안정으로 생체 정보를 측정하는 것이 곤란하다.
이러한 경우에는 근적외선 광을 이용하여 심박수를 검출하는 방식이 이용될 수 있다. 근적외선 광은 신호대 잡음비가 높아 녹색 신호에 비해 측정 정도가 다소 낮지만 어두운 환경에서는 보다 효과적일 수 있다.
제2 졸음지수는 운전자 얼굴 촬영 이미지로부터 눈 깜빡임 회수 또는 눈 감은 시간의 비율에 기초하여 결정될 수 있다.
제2 졸음지수는 영상 인식 기반의 안구 인식을 통한 졸음 상태 판단 기준으로서 미국 도로교통안전국(NHTSA : National Highway Traffic Safety Administration)에서 제안한 PERCLOS(PERcentage of eyelid CLOSure over the pupil over time)을 통해 얻어질 수 있다. PERCLOS 정의는 (눈 감은 시간의 누적)/(누적을 위한 측정 시간)으로 나타낼 수 있다.
제3 졸음지수는 CO2 농도에 기초하여 얻을 수 있으며, 예를 들어 1000ppm 이하, 1000~2000ppm, 2000ppm 이상의 구간으로 나누어 졸음지수를 부여할 수 있다.
처리부(40)는 3가지 졸음지수에 대하여 각각 다른 가중치를 부여할 수 있다. 예를 들어, 졸음지수와 실제 졸음 간의 관계성이 가장 높은 것으로 판단되는 제1 졸음지수(심박수 기반)에 가장 높은 가중치(예를 들면 50%)를 부여하고, 제2 졸음지수(안구 인식 기반)에 중간 가중치(예를 들면 30%), 제3 졸음지수(CO2 농도 기반)에 가장 낮은 가중치(예를 들면 20%)를 부여할 수 있다.
예시적으로, 처리부(40)는 3가지 측정값에 대하여 다음과 같이 지수를 부여할 수 있다.
| 지수값 | 심박변이율(%) | 안구 기반 | CO2 농도(ppm) |
| 4 | 0~2 | 0.074 이하 | 1000 이하 |
| 6 | 2~3 | 0.12 이하 | 1500 이하 |
| 8 | 3~3.5 | 0.149 이하 | 2000 이하 |
| 10 | 3.5 초과 | 0.15 이하 | 2000 초과 |
이를 기반으로 3가지 측정값에 기초하여 통합 졸음지수를 산출한 사례를 표 2와 같이 나타내었다.
아래 표 2와 같이 각 졸음 지수에 다른 가중치를 부여함으로써 여러 가지 측정값의 조합을 통해 보다 정확한 졸음 지수를 결정할 수 있다. 처리부(40)는 통합 졸음지수가 6 이하는 정상, 7이하는 주의, 8 이하는 위험, 8 초과는 매우 위험으로 분류하고, 그에 따라 적절한 경보음 또는 경보 메시지를 경보기(50)를 통해 출력할 수 있다.
| 측정 사례 | 심박변이율 | 안구 기반 | CO2 농도(ppm) | 통합 졸음지수 | |
| 측정예 1 |
측정값 | 2.5 | 0.125 | 1800 | 7 |
| 지수 | 6 | 8 | 8 | ||
| 가중치 | 3 | 2.4 | 1.6 | ||
| 측정예 2 |
측정값 | 3.3 | 0.142 | 1800 | 8 |
| 지수 | 8 | 8 | 8 | ||
| 가중치 | 4 | 2.4 | 1.6 | ||
| 측정예 3 |
측정값 | 1.5 | 0.1 | 1800 | 5.4 |
| 지수 | 4 | 6 | 8 | ||
| 가중치 | 2 | 1.8 | 1.6 | ||
차량 내부는 실외에 비해 광량이 부족할 수 있으므로 조도에 따라 근적외선 광원(12)과 근적외선 카메라(22)만을 이용하여 제1 졸음 지수와 제2 졸음지수를 결정할 수도 있다.
또한, 처리부(40)는 가시광선 카메라(21)의 촬영영상으로부터 생성된 제1 심박 데이터와 근적외선 카메라(22)의 촬영 영상으로부터 생성된 제2 심박 데이터에 기초하는 제1 졸음 지수를 각각 산출하고, 2개의 제1 졸음 지수 각각의 값과 제2 졸음 지수 간의 비율 정보에 기초하여 2개의 제1 졸음 지수 중 하나를 최종적으로 제1 졸음 지수로 결정할 수 있다.
위에서 설명한 바와 같이, 피부 표면의 혈류를 측정하여 심박수를 산출함에 있어서 실내 조도나 환경광의 변화 조건에 따라 녹색 광 또는 근적외선 광이 이용될 수 있다. 본 발명에서는 실내 조도나 환경광의 변화를 측정하지 않고 또 다른 졸음운전의 판단 기준인 제2 졸음지수(안구 영상 분석 정보)를 이용하여 녹색 광을 통해 얻어진 심박 변이율 또는 이를 지수로 환산한 제1 졸음지수와 근적외선 광을 통해 얻어진 심박 변이율 또는 이를 지수로 환산한 제1 졸음지수를 제2 졸음지수와 비교하여 제2 졸음지수에 근접한 값을 제1 졸음지수로서 사용한다.
즉, 녹색 광을 통해 얻어진 졸음지수가 근적외선 광을 통해 얻어진 졸음지수보다 제2 졸음지수의 값에 더 가깝다면 실내 조도가 밝고 환경광의 변화가 작은 조건으로 판단하고 녹색 광을 통해 얻어진 졸음지수를 제1 졸음지수로 결정하고, 반대의 경우에는 실내 조도가 어둡거나 환경광의 변화가 많은 것으로 판단하여 근적외선 광을 통해 얻어진 졸음지수를 제1 졸음지수로 결정하는 것을 통해 보다 고정밀도로 제1 졸음지수를 결정할 수 있게 된다.
도 3은 녹색 광원의 광 조사 타이밍도이다.
도 3의 실시예는 녹색광을 운전자가 인지하지 못하는 시간폭과 간격 시간을 갖는 펄스광을 반복적으로 출력하는 것을 예시한다. 여기서, 녹색광의 간격 시간은 1 ~ 100 μS의 범위일 수 있다.
도 4는 가시광선 광원의 광 조사 타이밍도이다.
상기 가시광선 광원은 각 광원이 각각 운전자가 인지하지 못하는 시간폭과 간격 시간을 갖는 펄스광을 적색, 녹색, 청색 순으로 순차적으로 반복적으로 출력하되, 상기 녹색 펄스광을 출력하는 시간폭 또는 출력 빈도가 상대적으로 크게 할 수 있다. 이를 통해 조사광원 중 녹색 광의 비율을 높여 심박수 측정 정확도를 높일 수 있다.
도 4의 실시예에 의하면 짧은 시간폭을 갖는 광원들이 교대로 출력되므로 도 3의 실시예에 비해 광량을 높일 수 있는 장점이 있다.
비록 본 발명이 상기 바람직한 실시 예들과 관련하여 설명되어졌지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서, 첨부된 특허 청구범위는 본 발명의 요지에 속하는 이러한 수정이나 변형을 포함할 것이다.
10 : 광원모듈 11 : 가시광선 광원
12 : 근적외선 광원 20 : 카메라 모듈
21 : 가시광선 카메라 22 : 근적외선 카메라
30 : 이산화탄소 센서 40 : 처리부
50 : 경보부
12 : 근적외선 광원 20 : 카메라 모듈
21 : 가시광선 카메라 22 : 근적외선 카메라
30 : 이산화탄소 센서 40 : 처리부
50 : 경보부
Claims (5)
- 가시 광을 운전자에게 조사하는 가시광선 광원과, 근적외선 광을 운전자에게 조사하는 근적외선 광원을 포함하는 광원모듈;
운전자의 얼굴을 촬영하는 가시광선 카메라;
운전자의 얼굴을 촬영하는 근적외선 카메라;
차량 내부의 이산화탄소 농도를 측정하는 이산화탄소 센서; 및
상기 가시광선 카메라 또는 근적외선 카메라의 촬영 영상으로부터 생성된 심박 데이터에 기초하는 제1 졸음 지수를 생성하고, 상기 운전자 얼굴 촬영 이미지로부터 눈 깜빡임 회수 또는 눈 감은 시간의 비율에 기초하는 제2 졸음 지수를 생성하며, 상기 이산화탄소 센서의 측정값에 기초하는 제3 졸음 지수를 생성하는 처리부를 포함하되,
상기 처리부는 제1 ~ 제3 졸음 지수에 각각 가중치를 부여하고, 상기 가중치가 반영된 제1 ~ 제3 졸음 지수를 합산하여 종합 졸음 지수를 산출하며, 산출된 종합 졸음 지수가 기준값을 초과하는 경우 운전자의 졸음 상태로 판단하고 경보 조치를 수행하는 것을 특징으로 하는 복합기능형 졸음 방지 단말기.
- 제1 항에 있어서,
상기 가중치는 제1 졸음 지수가 가장 높고, 제3 졸음 지수가 가장 낮게 설정되는 것을 특징으로 하는 복합기능형 졸음 방지 단말기.
- 제1 항에 있어서,
상기 처리부는 상기 가시광선 카메라의 촬영영상으로부터 생성된 제1 심박 데이터와 상기 근적외선 카메라의 촬영 영상으로부터 생성된 제2 심박 데이터에 기초하는 제1 졸음 지수를 각각 산출하고, 2개의 제1 졸음 지수 각각의 값과 제2 졸음 지수 간의 비율 정보에 기초하여 2개의 제1 졸음 지수 중 하나를 최종적으로 제1 졸음 지수로 결정하는 것을 특징으로 하는 복합기능형 졸음 방지 단말기.
- 제1 항에 있어서,
상기 가시광선 광원은 녹색광을 운전자가 인지하지 못하는 시간폭과 간격 시간을 갖는 펄스광을 반복적으로 출력하는 것을 특징으로 하는 복합기능형 졸음 방지 단말기.
- 제1 항에 있어서,
상기 가시광선 광원은 각 광원이 각각 운전자가 인지하지 못하는 시간폭과 간격 시간을 갖는 펄스광을 적색, 녹색, 청색 순으로 순차적으로 반복적으로 출력하되, 상기 녹색 펄스광을 출력하는 시간폭 또는 출력 빈도가 상대적으로 큰 것을 특징으로 하는 복합기능형 졸음 방지 단말기.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220077579A KR20240001351A (ko) | 2022-06-24 | 2022-06-24 | 차량용 복합기능형 졸음 방지 단말기 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220077579A KR20240001351A (ko) | 2022-06-24 | 2022-06-24 | 차량용 복합기능형 졸음 방지 단말기 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240001351A true KR20240001351A (ko) | 2024-01-03 |
Family
ID=89539283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220077579A KR20240001351A (ko) | 2022-06-24 | 2022-06-24 | 차량용 복합기능형 졸음 방지 단말기 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240001351A (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101546893B1 (ko) | 2013-02-28 | 2015-08-24 | (주)디나로그 | 졸음 운전 방지 시스템 |
| KR101738517B1 (ko) | 2015-10-13 | 2017-05-22 | (주)유투 시스템 | 운전자 졸음 단계별 각성향 방출 장치 |
| JP2022527042A (ja) | 2019-01-25 | 2022-05-30 | アールディーエス | 健康モニタリングシステム及び方法 |
-
2022
- 2022-06-24 KR KR1020220077579A patent/KR20240001351A/ko unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101546893B1 (ko) | 2013-02-28 | 2015-08-24 | (주)디나로그 | 졸음 운전 방지 시스템 |
| KR101738517B1 (ko) | 2015-10-13 | 2017-05-22 | (주)유투 시스템 | 운전자 졸음 단계별 각성향 방출 장치 |
| JP2022527042A (ja) | 2019-01-25 | 2022-05-30 | アールディーエス | 健康モニタリングシステム及び方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210264598A1 (en) | Human detection device equipped with light source projecting at least one dot onto living body | |
| US11730383B2 (en) | Method and system using biological information detection device using second light from target onto which dots formed by first light are projected to detect status of living body | |
| US11490825B2 (en) | Biological information detection apparatus that includes a light source projecting a near-infrared pattern onto an object and an imaging system including first photodetector cells detecting near-infrared wavelength light and second photodetector cells detecting visible wavelength light | |
| CN106716515B (zh) | 驾驶员状态判定装置 | |
| EP2648618B1 (en) | System for monitoring a vehicle driver | |
| JP4706733B2 (ja) | エンジン始動制御装置 | |
| JP4551925B2 (ja) | 運転者の知覚適性検査の方法およびシステム | |
| KR100905167B1 (ko) | 경고 모니터 | |
| JP4872082B2 (ja) | レーザー光による眼底血流測定を利用した個人認証方法及び個人認証装置 | |
| CN109890288B (zh) | 作业适宜度判定系统 | |
| CN111148469A (zh) | 生物体计测装置、生物体计测方法及判定装置 | |
| JP2017104491A (ja) | 生体情報測定装置、生体情報測定方法及びプログラム | |
| CN105144199A (zh) | 支持多种功能的基于成像装置的乘坐者监控系统 | |
| KR101313301B1 (ko) | 생체 측정 취득, 주로 신체 각인의 확인 방법 | |
| US20110127101A1 (en) | Security device | |
| JP4585553B2 (ja) | 装置 | |
| JP4024727B2 (ja) | 眠気検出装置 | |
| KR20130040253A (ko) | 단거리 시각 생체인식을 이용한 식별 및 보안 장치 | |
| KR20240001351A (ko) | 차량용 복합기능형 졸음 방지 단말기 | |
| WO2006049396A1 (en) | Method and apparatus for distinguishing forged fingerprint using laser beam | |
| JP2009031004A (ja) | 飲酒判定装置及びプログラム | |
| KR102446628B1 (ko) | 졸음 운전 경고 기능을 갖는 하이패스 시스템 | |
| JP2009031002A (ja) | 飲酒判定装置 | |
| KR20220080651A (ko) | 심박수 측정을 통한 졸음운전 방지 운전대 | |
| CN115137336A (zh) | 处理方法、系统及存储介质 |