KR101536348B1 - 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치 - Google Patents
동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치 Download PDFInfo
- Publication number
- KR101536348B1 KR101536348B1 KR1020140037957A KR20140037957A KR101536348B1 KR 101536348 B1 KR101536348 B1 KR 101536348B1 KR 1020140037957 A KR1020140037957 A KR 1020140037957A KR 20140037957 A KR20140037957 A KR 20140037957A KR 101536348 B1 KR101536348 B1 KR 101536348B1
- Authority
- KR
- South Korea
- Prior art keywords
- vibration
- driver
- image
- parameter
- drowsiness
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 206010041349 Somnolence Diseases 0.000 title claims description 103
- 230000003304 psychophysiological effect Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 28
- 208000032140 Sleepiness Diseases 0.000 claims description 18
- 230000037321 sleepiness Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 230000000638 stimulation Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 239000003381 stabilizer Substances 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims 3
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 230000002996 emotional effect Effects 0.000 description 33
- 210000003128 head Anatomy 0.000 description 27
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 15
- 208000019901 Anxiety disease Diseases 0.000 description 13
- 230000036506 anxiety Effects 0.000 description 13
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 12
- 210000004556 brain Anatomy 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 230000016571 aggressive behavior Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000004886 head movement Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000035790 physiological processes and functions Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008094 contradictory effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000008451 emotion Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 101000640246 Homo sapiens SCAN domain-containing protein 1 Proteins 0.000 description 2
- 101000868465 Homo sapiens Sorting nexin-9 Proteins 0.000 description 2
- 102100032854 Sorting nexin-9 Human genes 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 206010015997 Eyelid retraction Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000004872 arterial blood pressure Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000004237 neck muscle Anatomy 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000005433 particle physics related processes and functions Effects 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/162—Testing reaction times
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- General Physics & Mathematics (AREA)
- Anesthesiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
대상의 정신생리학적 매개변수를 신뢰할 수 있고 정확하게 측정하는 방법 및 장치에 관해 기술된다. 측정 방법은 동영상을 통해 피험자의 정신생리학적인 피험자로부터 동영상을 획득하는 단계, 상기 동영상으로부터 피험자의 진동 파라미터를 측정하는 단계, 상기 진동 파라미터에 기초하여 생체신호 이미지를 생성하는 단계, 그리고 상기 생체신호 이미지를 처리하여 피험자의 정신생리학적인 반응 매개변수를 생성하는 단계를 포함한다.
Description
본 발명은 운전자의 졸음을 예측 또는 검출하고 그 결과에 따라 안전 조치를 취하여 운전자 및 탑승자의 안전을 도모하는 방법 및 장치에 관한 것으로서, 상세하게는 생체로부터 획득한 동영상을 이용하여 생리 신호를 획득하여 이를 이용해 운전자의 졸음을 예측 또는 검출하는 방법 및 이를 적용하는 장치에 관한 것이다.
우리나라의 전체 교통사고에서, 중대법규(중앙선 침범, 신호 위반, 속도위반 사고 등) 위반에 의한 사고보다는 피로로 인한 졸음운전 등의 사고가 전체 교통사고의 25~30%를 차지하고, 순간적 의식 상실로 인한 치사율이 높다. EU는 상업용 차량 운전자들의 피로 및 졸음 관련사고 감소를 위해 운전자 피로에 대한 규제를 실행 예정이며, 이에 따라 유수의 자동차 제조사들이 경쟁적으로 유사한 기술을 개발하고 실차를 진행 중에 있다. 기존 기술은 선글라스, 안경, 마스크, 모자 등을 착용한 상태에서는 졸음상태 인식률이 낮기 때문에 신뢰도 확보에 문제가 있어 오랫동안 적용 성을 검토하고 있으나 여러 제약과 신뢰도 문제로 인해 아직 만족할 만한 수준의 제품이 상용화된 사례가 없다.
종래기술로서, 카메라를 통해 운전자의 눈 상태를 검출하여 졸음 여부를 판정하는 기술, CCD 카메라를 이용하여 운전자의 안면을 촬상하고, 이렇게 촬상된 화상신호로부터 안구면적 변화를 검출하여 졸음 여부를 판정하는 기술, 카메라를 이용하여 운전자의 안면 화상을 찍고, 이 안면 화상으로부터 시선을 검출하여 시선의 미세한 움직임을 해석하여 졸음 및 주의력 저하 등의 각성 상태를 판정하는 기술, 눈의 깜박임 횟수, 눈꺼풀의 펄스 주파수, 안면 근육의 풀림정도 등의 생리학적 측정변수에 근거하여 졸음 여부를 판정하는 기술, 운전자의 안면 이미지로부터 눈의 깜박임 횟수, 눈의 개도 정도, 눈을 감고 있는 시간 등을 검출하여 졸음 여부를 판정하는 기술, 카메라를 통해 촬상된 안면 이미지로부터 머리 방향, 눈과 코의 정확한 위치를 비교하는 것에 의해 졸음 정도를 판정하는 기술 등이 존재한다.
뇌파를 이용하는 기술로서, 운전자의 운전시 통상적인 뇌파를 기준 뇌파로 기억시키고, 실제 운전시의 뇌파를 검출한 후 이 뇌파를 주파수에 따라 분류하고, 이렇게 분류된 각 뇌파의 단위 시간당 발생빈도를 계산하여 미리 기억된 기준 뇌파와 비교하는 것에 의해 졸음 여부를 판정하는 기술이다.
종래의 한 특허 문헌에서는 야간 촬영을 위해 운전자의 얼굴을 향하여 적외선을 투광하는 램프를 설치하고, 얼굴방향 카메라를 통해 운전자의 얼굴 화상을 촬상하여 이로부터 졸음상태를 검출하는 방법을 제시한다. 획득된 얼굴 화상으로부터 그 화상을 에지 처리하는 것에 의해 운전자의 얼굴 좌우 양단 위치, 얼굴 상하 양단 위치를 검출하고, 그 이동량을 계산하여 운전자의 졸기 여부를 판정한다. 이때, 운전자의 눈이나 얼굴의 위치나 그 이동 상태는 차량의 주행상태에 따라 변화하기 때문에 상기 이동량을 차량의 주행상태에 근거하여 보상하도록 한다.
보다 정확하면서 보다 신속하게 운전자의 졸음을 조기에 예측 및 검출하는 방법은 바람직하며 따라서 이에 대한 보다 깊은 연구가 요구된다.
본 발명은 동영상을 기반으로 신뢰도가 높은 피험자의 정신생리학적 매개변수를 측정하여 이로부터 운전자의 졸음을 예측 또는 검출하는 방법 및 이를 적용하는 디바이스를 제공한다.
본 발명에 따른 생체 신호 획득 방법:은
운전 중에 있는 운전자를 촬영하여 복수의 연속적인 영상 정보를 획득하는 단계;
상기 영상 정보를 분석하여 상기 피험 대상의 진동 파라미터를 추출하는 단계;
상기 진동 파라미터에 기초하여 정신생리학적인 매개변수를 생성하는 단계;
상기 매개 변수로부터 상기 피험자의 생리학적 신호를 추출하는 단계; 그리고
상기 생리학적 신호로부터 운전자의 졸음을 예측 또는 검출하는 단계;를 포함한다.
상기 본 발명의 한 실시 예에 따르면, 상기 생리학적 신호를 이용하여 상기 피험자의 생리적 신호를 상응하는 이미지를 생성하여 가시화하는 단계;를 더 포함할 수 있다.
본 발명에 따른 생리 신호 검출 장치:는
운전자를 촬영하여 연속된 영상을 획득하는 영상 획득부;
상기 운전자의 영상을 연속적으로 촬상하는 광검출부, 상기 촬상된 영상을 영상 데이터로 변환하는 A/D 변환부, 상기 변환된 연속적인 영상 데이터를 분석하여 진동 파라미터를 측정하고, 상기 측정된 진동 파라미터에 기초하여 생체신호 이미지를 생성하는 프로세서 및 상기 생성된 생체신호이미지를 표시하는 표시부를 포함하는 것을 특징으로 하는 카메라가 내장된 운전자 졸음 예측 또는 검출 장치가 제공된다.
상기와 같은 본 발명에 따르면, 대상의 정신생리학적 매개변수를 신뢰할 수 있고 정확하게 측정할 수 있는 카메라를 이용하여 자동차를 운전하고 있는 운전자의 졸음 상태를 예측하거나 검출 할 수 있다.
이러한 본 발명은 자동차에 탑재함으로써 운전자 및 탑승자를 졸음으로 인한 사고로부터 보호할 수 있다.
도1은 본 발명은 운전자의 졸음 상태를 검출하기 위하여, 생체 신호 획득 방법의 일 례를 보이는 흐름도이다.
도2a는 도1에 도시된 방법을 구현하는 장치를 기능적으로 분류한 개략적 블록 다이어그램이다.
도2b는 본 발명에 따른 운전자 졸음 방법 및 이를 적용하는 시스템의 구성 및 흐름을 개략적으로 도시한다.
도3a는 도1에 도시된 방법을 구현하는 전자 장치의 구성도이다.
도3b는 도3에 도시된 전자 장치에서 구성 요소간의 상관 관계를 보이는 블록다이어그램이다.
도4는 본 발명에 따른 운전자 졸음 예측 방법에서 EEG 신호와 진동 매개변수의 매칭을 개념을 설명하며, 도5는 구체적인 흐름을 설명하는 도면이다.
도6은 본 발명에 따른 운전자 졸음 예측 방법에세 운전자의 생체 신호 획득 방법의 흐름도이다.
도7a는 진동 이미지의 진폭 성분으로 형성되는 피험자(운전자) 인체 이미지 주위로 생체에너지(아우라)가 방사되는 것을 도시한다.
도7b는 인체의 실제 영상 주위로 방사되는 생체 에너지를 도시한다.
도8a, 8b는 피험자의 상태에 따른 생체 이미지 방사를 도시하는 것으로, 도8a는 안정적인 상태, 도8b는 불안정한 스트레스 상태일 경우를 나타낸다.
도9a는 안정 상태에 있는 인체 진동이미지의 주파수 구성 요소(생체신호 이미지)에 대한 분포 그래프이다.
도9b는 스트레스 상태에 있는 인체 진동이미지의 주파수 구성요소 (생체신호 이미지)에 대한 분포 그래프이다.
도10은 본 발명에 따른 운전자 졸음 예측 방법을 구현함에 있어서, R＆D 단계에서의 알고리즘 추출 방법을 설명하는 흐름도이다.
도11은 추출된 알고리즘을 이용한 운전자의 졸음 예측 방법의 흐름도이다.
도12는 본 발명에 다른 운전자 졸음 예측 시스템에서, 진동 매개 변수 중 졸음에 관련된 변수의 변화를 도시한다.
도13은 실제 본 발명에 따른 졸음 예측 방법을 수행하는 시스템에서의 디스플레이에 나타나는 유저 인터페이스를 예시한다.
도14는 운전자를 촬영하는 카메라와 LED 조명의 관계를 예시한다.
도15는 자동차의 룸 미러에 카메라가 설치되었을 때 운전자에 대한 화각 관계를 설명하는 도면이다.
도16은 촬영시 카메라의 진동의 영향을 최소화하기 위한 촬영 메커니즘의 일례를 설명한다.
도17은 본 발명의 예측 결과와 무선뇌파 헤드셋 착용한 졸음 상태 비교 결과를 도시한다.
도2a는 도1에 도시된 방법을 구현하는 장치를 기능적으로 분류한 개략적 블록 다이어그램이다.
도2b는 본 발명에 따른 운전자 졸음 방법 및 이를 적용하는 시스템의 구성 및 흐름을 개략적으로 도시한다.
도3a는 도1에 도시된 방법을 구현하는 전자 장치의 구성도이다.
도3b는 도3에 도시된 전자 장치에서 구성 요소간의 상관 관계를 보이는 블록다이어그램이다.
도4는 본 발명에 따른 운전자 졸음 예측 방법에서 EEG 신호와 진동 매개변수의 매칭을 개념을 설명하며, 도5는 구체적인 흐름을 설명하는 도면이다.
도6은 본 발명에 따른 운전자 졸음 예측 방법에세 운전자의 생체 신호 획득 방법의 흐름도이다.
도7a는 진동 이미지의 진폭 성분으로 형성되는 피험자(운전자) 인체 이미지 주위로 생체에너지(아우라)가 방사되는 것을 도시한다.
도7b는 인체의 실제 영상 주위로 방사되는 생체 에너지를 도시한다.
도8a, 8b는 피험자의 상태에 따른 생체 이미지 방사를 도시하는 것으로, 도8a는 안정적인 상태, 도8b는 불안정한 스트레스 상태일 경우를 나타낸다.
도9a는 안정 상태에 있는 인체 진동이미지의 주파수 구성 요소(생체신호 이미지)에 대한 분포 그래프이다.
도9b는 스트레스 상태에 있는 인체 진동이미지의 주파수 구성요소 (생체신호 이미지)에 대한 분포 그래프이다.
도10은 본 발명에 따른 운전자 졸음 예측 방법을 구현함에 있어서, R＆D 단계에서의 알고리즘 추출 방법을 설명하는 흐름도이다.
도11은 추출된 알고리즘을 이용한 운전자의 졸음 예측 방법의 흐름도이다.
도12는 본 발명에 다른 운전자 졸음 예측 시스템에서, 진동 매개 변수 중 졸음에 관련된 변수의 변화를 도시한다.
도13은 실제 본 발명에 따른 졸음 예측 방법을 수행하는 시스템에서의 디스플레이에 나타나는 유저 인터페이스를 예시한다.
도14는 운전자를 촬영하는 카메라와 LED 조명의 관계를 예시한다.
도15는 자동차의 룸 미러에 카메라가 설치되었을 때 운전자에 대한 화각 관계를 설명하는 도면이다.
도16은 촬영시 카메라의 진동의 영향을 최소화하기 위한 촬영 메커니즘의 일례를 설명한다.
도17은 본 발명의 예측 결과와 무선뇌파 헤드셋 착용한 졸음 상태 비교 결과를 도시한다.
이하, 첨부된 도면을 참고하면서 본 발명에 따른 운전자의 졸음 예측 또는 검출 하는 방법 및 이를 적용하는 장치에 대해 살펴본다.
먼저 본 발명의 개념을, 도1을 참조하면서 아래에서 살펴본다.
본 발명은 도1에 도시된 바와 같이 운전자로부터의 실시간 동영상의 획득하고(11), 동영상의 처리(분석)하여 진동 매개변수(파라미터)의 추출 또는 생성하고(12), 진동 매개변수를 이용하여 생리신호를 추출한다(13). 상기 생리신호를 이용하여 운전자의 졸음 상태를 평가(예측 또는 검출)(14)한다. 본 발명에서는 졸음 상태의 검출 결과에 따라 음향 또는 디스플레이 등에 의해 운전자에게 상황통보 및 졸음으로부터 벗어나도록 각성 시키는 안전조치를 취할 수 있도록 한다.
이러한 방법은 도 2a에 도시된 바와 같은 구조의 장치에 의해 구현될 수 있다. 도2a는 졸음 상태 검출 장치를 기능적으로 블록화한 도면이다. 도2를 참조하면, 본 발명에 따른 졸음 예측 또는 검출 검출 장치는, 운전자를 촬영하는 카메라(21), 카메라(21)로부터 얻어진 영상을 분석하는 영상 처리부(22), 영상 처리부(22)로부터의 신호를 이용하여 진동 파라미터(매개 변수)를 추출하고, 이것을 이용해 생리 신호를 생성하고 생리신호를 처리 분석하여 운전자의 졸음 상태를 평가하는 분석(23)를 포함하며, 여기에서 응용부(24)는, 예를 들어, 운전자를 각성시키기 위한 문자 또는 영상을 생성하고 이를 표시하는 디스플레이 또는 음향 또는 음악을 재생하는 음향 장치등이 포함되는 안전 장치(Safe Guard, 25)에 연결될 수 있다. 상기와 같은 영상 처리부(22), 판단부(23)는 및 응용부(24)등은 CPU(Central Processing Unit) 또는 어플리케이션 프로세서(AP)를 기반으로 하는 응용 프로그램 등에 의해 구현될 수 있으며, 이들은 별도의 장치로서 구현되거나 아니면 자동차 내의 시스템에 내장(Built-in)될 수 있다.
본 발명에서는 상기 매개변수로부터 뇌파 신호에 상응하는 신호 성분을 추출하며, 이를 통해서 운전자의 졸음을 예측하거나 검출한다. 뇌파 신호에 상응하는 신호는 동영상으로부터 추출되며, 이 신호는 EEG 신호에 유사한 성질을 가질 수 있다. 보다 정밀한 졸음 예측을 위하여, 실제 운전자로부터 전극을 이용하여 획득하는 EEG 신호와 동영상에서 추출되는 신호 성분을 매칭하여 졸음 상태에서의 EEG 신호에 동기하여 나타나는 진동 매개변수 성분을 분석, 추출하여 이를 졸음 예측 또는 판정을 위한 EEG 신호의 상응 성분 신호 이용한다. 이와 같이 운전자로부터의 동영상을 획득, 진동 매개변수를 추출, 매개변수로부터 뇌파 상응 신호 추출 과정은 후에 상세히 설명되며, 이러한 방법을 적용하는 시스템은 자동차에 내장될 수 있으며, 이러한 시스템은 도2b에 도시된 바와 같은 구조를 가질 수 있다.
도2b에 도시된 바와 같이, 운전 중에 있는 운전자로부터 카메라를 이용해 영상 신호(정보)를 생성(A)하고 이를 영상 정보를 포함하는 운전 기록을 저장하는 블랙박스와 이를 분석하는 자동차에 내장된 빌트인 분석 시스템으로 전송한다(B). 분석 시스템에서는 전술한 바와 같은 진동 매개 변수 등의 추출 및 이를 이용한 졸음 상태의 분석이 이루어 지고 그 결과에 따라 자동차 시스템에 연계하여 작동하는 각종의 시스템으로 전송하여 운전자를 각성 상태로 전환하기 위한 음향, 진동 등의 장치를 구동한다(C). 이와는 별도로 블랙박스로부터 동영상을 스마트폰 등과 같은 단말 장치에 의해 진동 매개변수를 추출하여 운전자의 생리, 심리적 상태, 예를 들어 졸음, 피로도, 감정상태 등을 분석(D)하고 이를 운전자에게 단말기 등을 통해 시각 또는 청각적으로 인지시켜 졸음 방지뿐 아니라 다양한 컨텐츠를 통한 운전자의 생리적 상태와 감성적 상태를 조절할 수 있다(E).
위와 같은 시스템에서 카메라는 운전자의 정면 대비 보드에 설치할 수 도 있고, 한편으로는 룸미러에 설치할 수도 있다. 카메라는 자동차로부터 전달되어 오는 진동을 제거하는 구조를 가질 수 있으며 이에 대해서는 후에 상세히 설명한다.
이하, 본 발명에 따른 운전자 졸음 예측 또는 검출 방법 및 장치의 설명에 앞서서 본 발명에서 이용하는 진동 매개변수에 관련하여, 생체 각 부위의 진동과 정신생리학적 매개변수와의 관계에 대해 설명 한다.
소립자 물리학에서는 물질의 파동 특성과 미립자 특성 사이의 명확한 경계가 존재하지 않으며 광자 에너지(ε)는 플랑크 상수를 통해 광자 에너지의 주파수(ν)와 연결되어 있다고 알려져 있다(ε = hν). 생물체의 각 부위에서 발산되는 에너지는 공간 내부에서의 해당 부위의 진동 주파수와 비례한다는 가설이 나온다. 결과적으로 말해, 생물체에서 나오는 에너지를 기록하기 위해서는 생물체의 여러 부위에서 발생하는 진동을(공간 내에서 혹은 각 부위 사이의) 기록해야 한다. 이 과정은 충분한 해상력과 빠른 처리 능력을 보유하고 있는 비접촉식 텔레비전 시스템을 이용하면 가능하다. 게다가 구한 생체신호이미지의 주파수 구성요소는(즉, 각각의 부위에서 일어나는 진동(위치 변화, 파동) 주파수)는 피관찰 생물의 생체에너지 즉 정신생리학적 특성에 있어서 가장 많은 정보를 지니고 있다. 구한 생체신호이미지의 분석은 사람이 할 수도 있고 구한 디지털 생체신호이미지와 그 구성 요소들 중 적어도 어느 하나를 프로그램으로 처리하여 수학적으로도 할 수도 있다. 수학적 처리를 위한 알고리즘의 작성과 분석을 위해서는 모니터 스크린의 유사컬러 영상과 같은 시각적 분석에 편리한 생체신호이미지를 만드는 것이 좋다.
즉, 구해야 하는 생체신호이미지의 주파수 구성요소는 인체의 정신생리학적 상태와 감정 상태의 수준을 지속적이며 일목요연하게 특정 지을 수 있도록 하며 인간에게 다양한 자극이 미칠 때 나타나는 인체 상태의 변화를 구분 지을 수 있게 한다. 밝혀진 바에 의하면, 인체 주변에 위치한 아우라(Aura)로 나타나는 인체의 생체에너지 장(場)을 보여주는 영상을 이용하여 다른 방법에 비해 보다 빠르고 정확하게 인체의 정신생리학적 상태에 대한 평가를 내릴 수 있다.
아우라(Aura)라는 용어는 인체의 정신생리학적 상태에 대한 통합적인 특성을 나타낸다. 이러한 아우라는 인체 주변에 나타나며, 인체의 생체에너지 구성 요소들과 특정한 관계를 지니고 있다. 인체 아우라의 영상은 인체의 정신생리학적 매개변수를 연구할 때 많은 정보를 제공해 주며 이 연구에서는 다음 요소들이 고려 대상이 된다. 인간의 감성적 상태는 말 그대로 매초 변할 수 있다. 일반적인 사람은 오랜 시간 동안 한 가지 감정 상태로 머무를 수 없다.
모든 생각과 동작 또는 어떤 상황에 대한 반응은 감정 상태의 순간적인 변화(각각의 생체신호 이미지)로 이어진다. 따라서 구한 생체신호이미지에 대한 정보의 수(무엇보다 카메라의 해상력)와 시스템의 신속한 처리 사이의 최적의 상관 관계를 찾아내는 것이 중요하다.
아우라 크기의 진폭 조절(amplitude modulating)을 추가한, 대상의 최대 진동 주파수를 인체 특정 구역에서 일어나는 위치 변화의 주파수 또는 진폭의 평균 수치로 컬러 조절(modulating)을 함으로써 인체의 정신생리학적 상태에서 일어나는 어떠한 변화라도 일목요연하고 순간적으로 기록할 수 있다. 뇌의 차원 변동(fractal fluctuation)이 학습, 기억 및 다양한 과제 해결 과정 에서 핵심적인 역할을 수행하는 것으로 알려져 있다. 실험으로 밝혀낸 바에 의하면, 인체에서 진동이 가장 집중적으로 발생하는 부분은 뇌이며 대부분의 경우 아우라(진동이미지의 빈도 구성 요소)가 사람의 머리 주변에만 존재할 수 도 있으며, 이는 몸 주변의 아우라보다 훨씬 크다. 인체에서 일어나는 변화는 아우라가 허물어 지거나 색과 형태가 비대칭으로 나타나는 것으로 표현된다. 이는 구한 생체신호이미지를 보면 확실하게 드러난다.
생체신호 이미지의 요소들이 실제 영상의 요소들과 위상 기하학적 (topology)으로 연관되는 점에는 일장일단이 있다. 실험 결과에 따르면, 가장 많은 정보를 담고 있는 인간의 감정 상태는 최대 진동 주파수로 전달되며 주파수의 평균 수준이나 인접한 포인트 들의 배경 수준은 뭉개지거나 생체신호 이미지를 시각적으로 받아들일 때 일어나는 진정한 변화를 은폐할 수도 있다.
따라서 생체신호 이미지의 요소가 실제 영상의 요소에 위상 기하학적으로 연관되는 것은 실제 영상 주변에 위치한 아우라로 표현되는 진동 이미지의 주파수 구성 요소보다 효과적이지 않은 것으로 나타났다. 생체신호 이미지의 요소가 실제 영상의 요소에 위상기하학적으로 연관되어 있을 때, 최대 진동 주파수를 가지는 요소들은 영상을 색-빈도 조절을 실시할 경우 전체적인 배경에서 보이지 않게 된다. 생체신호이미지를 다양한 형태로 수학적으로 분석하기 위해서는 구하는 생체신호이미지를 사전에 시각적으로 제어해야 한다. 제안되는 아우라 형태의, 생체신호이미지의 주파수 구성요소의 영상은 생체에너지 방사에 대한 물리적 개념에 일치하며 장치가 만들어낸 영상을 시각적으로 제어하고 분석할 수 있게 한다.
주파수 구성요소와 달리 진폭 구성요소를 이용하면 위상기하학적 관계에서 더 효과적이다. 무엇보다도 진동 포인트에 대해 위상기하학적으로 연결되어 있는, 생체신호이미지의 진폭 구성요소를 이용하여 얻은 생체신호이미지의 질을 평가할 수 있으며 시스템을 조정하기 위한 정확한 파라미터(변수)를 정할 수 있다.
먼저 진동 이미지 매개 변수의 측정에 관하여 구체적으로 살펴본다.
생물체의 공격성 수준에 관한 정보획득은 주파수분포 히스토그램을 구성, 이에 따른 생물체의 머리 진동 이미지 매개변수를 측정하는 것이다.
공격성 수준(Ag) 집계는 다음의 <수 1>으로 이루어진다.
Fm- 히스토그램에서 주파수 분포 밀도의 최대 주파수
Fi- 히스토그램에서 N 프레임 시간 동안 획득한 주파수 분포 밀도의 "I" 주파수 집계량
Fin- 진동 이미지 처리 주파수
n- N 프레임에서 한계치를 넘는 프레임간 차를 포함한 집계량
그리고 생물체의 스트레스 수준에 관한 정보 획득을 위해 생물체 머리 진동 이미지 매개변수를 측정한다. 스트레스 수준(St)은 다음의 <수 2>에 의해 집계된다.
n - 대상관련 열 수
생물체의 불안감 수준에 관한 정보획득을 위해 생물체 머리 진동 이미지 매개변수를 측정한다. 불안감 수준(Tn)은 다음의 <수 3>으로 측정된다.
Pi(f)- 진동 이미지 주파수 분포 전력 스펙트럼
fmax- 진동 이미지 주파수분포 스펙트럼의 최대 주파수
생물체의 여타 생물체와의 호환성 수준에 관한 정보 획득을 위해 개별적인 모든 생물체의 진동 주파수 분포 히스토그램을 정하고, 각 히스토그램을 구성하고, 공동 주파수 분포를 획득하며, 분포의 일반 법칙과 기 획득한 공동 분포면적을 동일하게 만들며, 분포 일반 법칙과 주파수 히스토그램간 차이를 찾는다. 호환성 수준(C)은 다음의 <수 4>로 집계된다.
K- 획득한 주파수 히스토그램 일반화 상관계수
Y’- 일반 분포 밀도
언어 혹은 비 언어적 거짓여부 결정 시, 정신생리학적 상태의 통합적인 변화수준에 관한 정보획득을 위해, 생물체 머리의 진동 이미지 매개변수를 측정한다.
거짓 결정 시 활용된 정신생리학적 상태의 통합적인 변화 수준(L)은 다음의 공식으로 집계된다.
Pi - 더 높게 설정된 한계치를 변화시키는 매개변수
Pc - 거짓 수준 결정 시 측정되는 진동 이미지 매개변수
K - 측정되는 Pi 의미 상관계수
n - 측정되는 매개변수 수
m - 변화된 매개변수 수
잘 알려진 바와 같이, 인공두뇌학 및 정보 이론은 생물체와 생체계에 대한 운용방법 및 기술수단 적용 가능성을 검토하는 것이다. 인지생체학의 현대적인 개념은, 대게 신호정보 및 전달이론 개념 및 정의와 관련이 있으며, 정보이론에서 정립된 수학적 매개변수의 정신생리학적 정보성을 가능케 해준다. 정보이론에서 활용되는 통계 매개변수의 도움으로 인간의 머리 미세움직임을 연구한 저자의 오랜 연구와 관찰 결과, 인간의 정신생리학 상태와 머리 미세움직임 정보통계 매개변수간에 통계적으로 신빙성 있는 의존성이 있다는 사실을 알 수 있었다.
그리고 본 발명자는 이러한 현상과 전정감정 반사에 관한 나름의 해석을 제시할 수 있게 되었다. 우선 정신생리학적 에너지조정(신진대사)간 상호관계를 정의해보겠다. 모든 전형적인 정서 상태는, 특정 에너지 소비와 개별 생리학적으로 필요한 에너지와 정서 에너지간 상관관계로 특징지을 수 있다. 이때 생리학적 에너지는 생리학적 과정 실현을 위해, 또 정서 에너지는 의식 혹은 비의식적인 과정의 결과 형성된다. 실례로 공격 상태는, 만약 정말 동일한 공격상태일 경우라면 다양한 인물에게서 이는 동일하지 않게 발현돼야 하는데, 이때 연령, 성별, 교육수준 등의 자연스러운 조정과정이 고려돼야 한다. 하지만 생리학적 측면에서 봤을 때, 이러한 차이는 신체기관 내 상대적 에너지 방출량 및 장소에 근본적인 의미가 있어서는 안 된다. 이 모든 것은 눈에 보이는 감정적 징후를 초래하는데, 실례로 얼굴의 홍조, 잦은 한숨, 빠른 심 박동, 특정 미세움직임 등을 들 수 있다. 감정적인 상태가 외부로 발현되는 주요 원인은 생리학적 에너지와 정서적 에너지간 상관관계를 변화시키는 신체기관 내 에너지의 추가적인 방출에 기인한다. 이때 강조해야 할 점은, 저자가 현대기술 발전 수준에서 잘 알려진 자연적인 신체적 과정의 신체-화학 에너지를 고려했다는 사실이다. 생리과정의 경과속도, 인간의 생각 및 움직임 과정을 위한 상호관계 중단 및 촉발 과정을 들 수 있다.
전정계의 주요과제는 무엇보다 역학적인 동등 혹은 균등 상태를 유지하는 것이다. 하지만 연구 시, 본 대상을 형성하는 역학ㆍ화학ㆍ에너지, 여타 계(시스템)의 균등상태 시에만 반폐쇄계의 평형상태가 가능하다는 사실이 입증됐다. 이들 계(시스템)들 중 하나라도 불균형이 발생할 경우 인접계의 균형상태 파괴가 초래되는데, 즉 역학적 균형 파괴가 에너지 균형 파괴를 초래한다는 것이다.
수직적인 반 균형 상태에 있는 인간의 머리는 신체기관 내 발생하는 모든 에너지 과정의 지나치게 민감한 역학적 지표로 볼 수 있다. 생체역학적 측면에서 봤을 때, 무게중심보다 훨씬 높은 곳에 위치한 머리의 수직적 균형상태 및 동등한 상태 유지를 위해서는 목-머리 뼈 부분 근육의 엄청난 지속적 노력과 축소가 요구된다. 게다가 이러한 움직임은 전정계 운영 하에 반사적으로 실현되는 것이다. 신체기관 내 모든 의미 있는 현상(감정)은 지속적인 생리학적 과정의 변화를 가져온다. 이는 GSR(galvanic Skin Response, 피부전기 반사), 동맥압, 심박동과 같이 전통적으로 정신생리학적 분석에 활용되는 여타 생리학적 과정 변화와 유사하다. 게다가 에너지 발현량과 에너지 발현장소에 따라 머리 움직임 매개변수도 변한다. 머리 움직임의 공간적 입체 궤적은, 머리 모양이 구(球)와 비슷하기 때문에 매우 복잡하다. 또한 각 점의 움직임 궤적은 수백 개의 목 근육 움직임에 있어서 현저히 차이가 날 수 있다. 정보적 움직임 매개변수의 통계적 분석을 통해 머리 움직임의 신뢰할 수 있는 양적 매개변수 차별화가 가능하다. 즉, 에너지 및 전정계 반응 측정을 통한 정서상태 측정 및 확인이 가능하다는 것이다. 역학법칙은 일관되게 나타나며, 균등상태 유지를 위해 행동은 항상 반동작용을 하나는 것이다. 자연적으로 다양한 이들을 대상으로 하는 신체기관 내 에너지 측정은 전정계 활동을 통한 머리 움직임 매개변수의 일관된 상응하는 변화를 초래할 것이다.
제시된 머리 움직임의 정보ㆍ통계적 매개변수에 따른 총체적인 감정 분류는, 모든 정서상태를 확인하게 해준다. 현재는 정서상태 측정을 위한 단일화된 총체적 접근법이 없는 만큼, 여타 정신생리학적 방법 혹은 독립 실험평가 비교 차원에서 최초의 측정을 위해 활용될 수 있을 것이다. 현대 심리학은 감정상태 평가에 있어서 주로 질적인 기준을 활용하는데, 이는 근본적으로 양적 측정을 불가능하게 하고, 인간 상태의 객관적인 평가가 힘들다. 하지만 기 제시된 방법은 모든 감정상태를 측정하게 해준다. 머리의 움직임 매개변수 변화가 기능적으로 에너지 교환 변화와 관련이 있다고 했을 때, 자연적으로 머리 움직임 매개변수가 인간의 총체적인 특징적 정신생리학 상태이기 때문이다. 현존하는 평가 기준에 따른 정서상태 집계를 위한 기 제시된 공식의 일치 정확성은, 머리 미세움직임을 통한 정서적인 상태평가 방법과 비교 시 낮게 나타난다. 현존하는 기술 수준에서는 정서상태 평가를 위한 총체적인 기준이 없기 때문이다. 기 제안된 방법은 모든 감정 측정에 있어서 통합적인 접근법이 가능하다는 점에서 특징적이다. 또한 모든 이전의 방법들은 다양한 정서상태 평가를 위해 활용됐다. 정서상태 측정을 위해 기 제안된 컨셉을 채택하는 것은 정밀과학에 심리학을 포함시키게끔 해주며, 동일한 감정 측정을 가능하게 해준다.
대상의 머리 움직임에 관한 신호 획득은 카메라에 의한 영상 비교를 통해서 이루어진다. 공간 및 시간 분포 정보통계 매개변수 차원에서 생물체 머리의 움직임 속도는 티비 카메라 작업의 최대 주파수를 가져오는 10초당 단위로 정해지는 마커 움직임 평균주파수로 측정된다. 이러한 특성은 인간의 정서적 불안감을 잘 반영하고, 불안감 수준을 특징지을 수 있다.
진동 이미지가 대상 움직임 에너지의 공간ㆍ시간적 분포를 동시에 나타낼 경우, 주파수 히스토그램 획득을 위해 특정 시간 동안 동일진동 주파수를 가진 요인의 수가 총 집계된다. 따라서 히스토그램은 진동 주파수의 공간적 분포에 관한 정보를 배제시킨다. 이러한 명백한 공간정보 손실은 사실상 움직임 정보를 증대시켜준다고 할 수 있는데, 생리에너지 측면에서 봤을 때 얼굴의 미세움직임과는 다르게 머리의 어느 부위에서 움직임이 실행되는 지는 그다지 중요하지 않기 때문이다. 주파수 히스토그램의 구성은 이하의 내용에 따라 결정된다.
잘 알려진 바와 같이, 기존의 공격성 수준을 결정짓는 모순적인 현존 접근법과는 다른 두 가지 주요요인을 고려한 새로운 공식이 제시됐다. 두 가지 주요 요인은, 진동의 특징적인 확산을 가장 잘 보여주는 진동평균 주파수 혹은 인간의 머리 미세움직임과 매개변수, 그리고 평균제곱편차다. 이렇듯 공격적인 사람은 머리 미세움직임의 높은 주파수 및 머리 부위의 다양한 점이 움직임에 있어서 확산 폭이 크다. 여타 공식 상관계수는 0에서 1까지의 수치에 대한 공격성 상관계수를 보여준다.
Fm- 주파수 분포 밀도 히스토그램의 최대 주파수
Fi- 50프레임 시간 당 획득한 주파수 분포 밀도 히스토그램에서의 i 주파수 집계 수
Fin- 진동 이미지 처리 주파수
n- 50 프레임에서의 한계치보다 높은 프레임간 차의 집계 수
이러한 등식은 모든 이들의 공격성 수준을 결정하게 해주는데, 자연히 더 낮은 공격성 상태는 0에 가까운 수준을 보인다. 높은 공격성 상태에 있는 사람의 경우 1에 근접한 수치를 보인다. 잠재적으로 위험한 이들을 밝혀내기 위한 진동 이미지 시스템의 보안 시스템 활용 시 공격적인 이들을 밝혀내기 위한 한계치는 0.75를 사용한다.
다음은 진동 이미지 획득 및 이후 공격성 수준을 결정짓는 의미 있는 진동 이미지 정보 매개변수를 통계적으로 찾아내는 것이다. 이는 무엇보다 진폭 및 주파수 진동 이미지에 대한 진동대칭 매개변수를 결정한다.
공격성 수준을 결정짓는, 잘 알려진 상반되는 현존하는 접근방법과는 달리, 인간의 머리부위를 스캔(scan)한 개별 열에 대한 움직임 진폭 및 주파수 대칭을 고려한 새로운 공식이 제시됐다. 이렇듯 공격성 수준이 최대치인 사람의 경우, 20초간 진폭 및 주파수 진동 이미지를 처리하기 위한 진동 및 미세움직임에 있어서 최대 대칭의 특성을 보인다. 동시에 스트레스와 불안감의 낮은 수준을 보인다.
n - 대상이 차지하는 열 수
이전에 제시한 정보통계 매개변수와 유사하게, 제시된 공식은 0에서 1까지의 스트레스 수준(St))을 측정하게 해주며, 무엇보다 최소 스트레스 수준은 최소 측정치에 부합하며, 높은 수준의 스트레스 상태에 있는 사람의 경우 스트레스 수치가 1에 근접하게 나타난다.
다음은 진동 이미지 획득 및 이후 불안감 수준을 결정짓는 의미 있는 진동 이미지 정보 매개변수를 통계적으로 찾아낸 것이다. 이는 무엇보다 진폭 및 주파수 진동 이미지의 빠른 활동 신호 주파수 스펙트럼 구성과 관련이 있다.
불안감 수준을 결정짓는, 잘 알려진 상반된 현존하는 접근방법과는 다르게, 높은 불안감은 낮은 주파수 스펙트럼 밀도보다, 오히려 움직임이 높은 주파수 스펙트럼 밀도를 증대시킨다는 사실을 고려한 새로운 공식이 제시됐다.
Tn - 불안감 수준
Pi(f) - 진동 이미지 주파수 확산 전력 스펙트럼
fmax - 진동 이미지 주파수 확산 스펙트럼 최대 주파수
이전에 제시한 정보통계 매개변수와 유사한 제시된 공식은 0에서 1까지 불안감 수준을 측정하게 해준다. 또한 최소 수준의 불안감은 최소 측정치에 부합하고, 불안감 수준이 높은 이는 스트레스 수치가 1에 근접하게 나타난다. 진동 이미지의 빠른 신호 주파수 확산 스펙트럼은 조작자 혹은 시스템 활용자의 컨트롤을 위해 나타난다.
또 다른 실례는 진동 이미지 획득 및 이후 사람들간 호환성(화합) 수준을 결정짓는 진동 이미지의 통계적으로 의미 있는 정보적 매개변수를 찾는 것이다. 무엇보다 이는 각 개별자 주파수의 진동 이미지 히스토그램 구성으로 이루어진다.
호환성(화합) 수준을 결정짓는, 잘 알려진 상반되는 현존하는 접근방법과는 다르게, 분포 정상법칙에 대한 양측 모두의 총 진동 주파수 히스토그램에 대한 부합 근접성으로 특징되는 호환성(화합)가능성을 고려한 새로운 공식이 제시된다.
K- 최초 히스토그램의 정상화 상관계수
이전에 제시된 매개변수와 유사하게 제안된 공식은 0에서 1까지의 호환(화합)가능성 수준을 측정한다. 또한 최소 측정치는 최소 호환(화합)가능성에 부합하며, 양 측의 높은 수준의 호환(화합)가능성 측정치는 1에 근접하게 나타난다.
다음은 진동 이미지 획득 및 인간의 거짓 수준을 결정짓는 진동 이미지의 통계적으로 의미 있는 정보 매개변수를 찾는 것이다. 무엇보다 상호간 최소한의 연관성을 가진 진동 이미지 매개변수 최대량의 일시적인 의존성 획득과 관련이 있다.
거짓말 탐지와 관련해 이미 잘 알려진 현존하는 정신생리학적 접근법과는 차이가 있는 새로운 공식이 제시됐다. 본 공식에서 거짓은, 보고시간과 비교한 진동 이미지 매개변수 측정치에서의 변화에 따라 결정된다. 제시된 공식은 언어 및 비언어적 거짓 여부를 정하게 해준다. 기본적으로 시간 차원에서의 언어적 거짓 결정은 실험 대상자의 대답 시작까지의 시간을 활용하는데, 비언어적인 거짓 분석의 경우 한 기간의 시간과 또 다른 기간의 시간 동안 매개변수와의 상호간 비교를 통해 이루어진다.
거짓 결정 시 활용되는 정신생리학적 상태의 통합적인 변화 수준(L)은 다음의 공식으로 계산된다.
Pi - 더욱 높게 설정된 한계치의 변화 매개변수
Pc - 거짓 수준 결정 시 변화하는 진동 이미지 매개변수
K - 측정된 Pi 의미 상관계수
n - 측정 매개변수 수(비주얼 매개변수 수와는 차이가 있을 수 있음)
m- 변화 매개변수 수
이전에 제시된 매개변수와 유사하게, 제시된 공식은 0에서 1까지의 거짓 수준을 측정하게 해준다. 또한 최소 수준의 거짓에는 최소 측정치가 부합되는데, 거짓의 최고수준은 1에 근접한 측정치를 가진다.
그렇다고 해서 본 발명이 상기 제시된 인간의 감정 및 정신생리학적 상태 측정 실례에 한해서만 활용되는 것은 아니다. 참고로 인간의 상태특성은 다양한 분류 시스템에 따라 200개가 넘게 분류돼있다. 무엇보다 본 발명은 머리 미세움직임 매개변수와 /혹은 머리의 진동 이미지 매개변수를 통해 인간의 모든 상태를 묘사하게 해준다. 심리학에서 움직임에 관한 전통적인 개념이 신빙성 있는 통계 매개변수를 이용한 인간 머리의 반사 미세움직임으로 전환되는 것은 불명확한 원칙이라 생각할 수 있다. 하지만 제시된 접근법을 바탕으로 기술정보 시스템과 유사하게 인간의 상태를 결정지을 수 있으며, 인간 상태를 특징짓기 위한 정보 매개변수를 활용할 수 있다. 실례로, 공식에 따른 인간의 정보ㆍ열역학적 엔트로피 수준을 결정지을 수 있다는 것이다.
정보적 엔트로피 계산을 위한 근간으로써 머리 미세움직임 주파수 분포 히스토그램이 구성되며, 본 정보적 엔트로피 계산은 다음의 공식을 따른다.
열역학적 엔트로피 계산을 위한 근간으로써 머리의 미세움직임 주파수 분포 히스토그램이 구성되며, 본 열역학적 엔트로피(S) 계산은 다음의 공식을 따른다.
이러한 개별 정보통계 매개변수는 인간의 어떠한 감정상태를 더 잘 밝혀내기 위해 적용되는데, 실례로 실험진행을 통해 거짓 수준에 대한 정보적 엔트로피간 연관성이 크다는 사실을 알게 됐고, 열역학 엔트로피는 인간의 불안감 상태와 큰 연관이 있다는 사실을 알 수 있었다.
신체ㆍ열역학적 매개변수를 바탕으로 인간의 행동과 에너지, 카리스마 적인 측면을 더 완벽히 특징 및 결정지을 수 있었다. 실례로 진동 이미지 7.1 버전 시스템을 이용해 진동 이미지 기록 최고 주파수를 나타낸 주파수 히스토그램을 바탕으로 평균제곱오차와 주파수 최고치간 차이를 바탕으로 인간의 에너지(E) 수 있었다.
머리의 반사적인 미세움직임의 양적 분석은 인간의 정신생리학적 상태 측정을 더욱 객관ㆍ과학적으로 가능하게 해주며, 의학ㆍ심리학ㆍ정신의학적, 그리고 일상생활에서의 많은 문제들을 해결할 수 있게 해준다. 공격성, 스트레스, 불안감, 잠재적 위험성 수준에 따른 공항 내 승객들의 정신감정 상태의 양적 평가 및 개발된 시스템과 관련한 독립적인 실험을 통해, 본 발명이 전문가들의 전문 평가에 긍정적(90%이상)으로 부합한다는 사실을 알 수 있었다. 이는 본 발명의 실질적인 실현 가능성을 확인해주는 것이다.
이하에서는 첨부된 도면을 참고하여 상기와 같은 본 발명의 방법을 수행하는 자동차 빌트인 졸음 예측 또는 검출 시스템에 대해 설명 한다.
기능적으로 블록화되어 있는 도 2a, 2b에 도시된 장치 또는 시스템에서, 자동차 내부의 대시 보드 또는 룸미러 등에 설치되는 카메라(21)는 CCD나 CMOS 등의 촬상 소자 및 이로부터의 아날로그신호를 디지털화하는 A/D 컨버터를 포함하며, 영상 처리부(22)는 특정 포맷의 동영상을 생성하는 인코더 등을 포함한다.
전술한 바와 같이 신호 분석부(23)는 상기 영상을 이용해 전술한 바와 같은 방법에 의해 진동 파라미터를 측정하고 이로부터 정신 생리학적 정보(신호, 또는 생리신호)를 생성 또는 추출한다. 여기에서 진동 파라미터는 피험자의 부위별 위치 변화에 따른 진동 주파수, 진폭 및 위상 등을 포함한다. 그리고 정신 생리학적 정보는 안정 상태, 흥분 상태, 스트레스 상태 등 심리/감정/감성상태를 포함하며, 여기에는 운전자의 졸음을 예측 또는 검출한다.
한편, 생리신호 응용부(24)는 상기 생리 신호를 이용해 피험자의 정신적, 정서적 상태를 평가하는 생리 신호 처리 알고리즘 및 그 결과를 표시하는 디스플레이 등을 포함할 수 있다. 예를 들어 생리 신호 처리 알고리즘은, 예를 들어 제임스 러셀의 2차원 감성모델에 따라 9가지 감성상태로 피험자의 상태를 분류할 수 있다. 상기 응용부(24)에 마련되는 디스플레이는 전술한 바와 같이, 최종 얻어진 결과를 문자 또는 이미지의 형태로 표시한다. 특히 응용부(24)는 운전자의 졸음 상태에서 각성 상태로 전환하기 위한 다양한 안전 조치 시스템을 포함할 수 있다. 여기에는 경적과 같은 음향, 아니면 잠을 깨울 수 있는 음악 또는 영상 장치가 포함될 수 있다. 또한, 운전자를 물리적으로 자극하기 위해 운전석 등에 설치될 수 있는 진동장치를 포함할 수 있다.
상기와 같은 장치는 다양한 유형의 시스템은 일반적인 PC용 OS 뿐 아니라 휴대용 OS 예를 들어 Windows mobile, Android, iOs, Symbian, BlackBerry, Bada등의 시스템을 기반으로 할 수 있다.
도3은 도2a, 2b에 도시된 장치 또는 시스템을 구현하는 시스템의 일부를 구성하는 운전자 졸음 예측 또는 검출 장치(30)를 도시한다.
도3을 참조하면, 운전자 졸음 예측 또는 검출 장치(30)는 촬상 소자를 가지는 영상 촬영부, 즉 카메라(31), 카메라(31)로부터(32)의 아날로그 영상 신호를 디지털화하는 A/D 컨버터(32), 영상 분석 및 매개 변수 추출 및 생리 신호 발생, 졸음 예측 또는 검출1 등을 수행하는 프로세서(34), 그리고 그 결과를 표시하는 표시부(35)를 구비한다. 이에 더하여 외부로부터의 정보 입력을 위한 입력장치, 예를 들어 키패드 등과 같은 키입력부(36), 그리고 상기와 같은 영상 신호 처리 등에서 사용되는 메모리를 포함하는 저장부(33)를 포함한다.
전술한 바와 같은 본 발명에 따라 동영상을 이용하여 운전자의 졸음을 예측 및 검출하기 위해서 도4에 도시된 바와 같이 실제 뇌파측정과정(I)에서 실제 뇌파측정기(EEG 장비)로 획득한 운전자의 뇌파와, 동영상 촬영 과정(II)에서 통해 획득한 동영상 정보를 상호 매칭시켜 졸음 상태에 대한 정신 생리학적인 특정한 매개 변수의 알고리즘을 추출하는 것이 바람직하다. 구체적으로 도5를 참조하면, EEG 장비(40)로 뇌파를 측정(41)하고, 측정된 뇌파를 통해 졸음 상태의 뇌파를 측정 분석하여(42) 졸음 상태에서의 뇌파를 특정하고(43), 찰영 장치(44)를 통해 얻은 동영상(45)으로부터 진동 매개 변수를 추출하고(46), 이를 졸음 상태에서의 뇌파에 동기하는 진동 매개 변수를 매칭시킨다(47). 매칭을 통해 얻어진 졸음에 상관성이 있는 파라미터들을 졸음 예측 및 검출 프로그램에 적용한다(48). 본 발명의 실험에 따르면, 뇌파에서 C4/F4의 델타(delta) 성분, F3의 알파(alpha) 성부, 그리고 F3의 세타(theta) 성분이 졸음에 관련하며, 이에 매칭되는 3개의 진동 이미지 파라미터(F3, P17, P8F)를 추출하였다.
도6은 본 발명에 따라, 생체신호를 동영상을 기반으로 카메라를 통해서 획득되는 과정을 도시한 흐름도이다.
도 6을 참조하면, 먼저 카메라(31)에서 운전자의 영상을 획득하여 아날로그 전기적 신호로 변환한다(S10, S20). 운전자의 영상으로부터 얻어진 전기적 신호는 아날로그 신호이며 따라서 A/D 컨버터(32)에 의해 디지털 영상 데이터로 변환된다(S30).
다음 단계에서, 프로세서(34)는 각 영상 데이터들의 시간에 따른 변화를 분석하여 진동 파라미터를 산출한다 (S40). 진동 파라미터는 상기 피험자의 부위별 위치 변화에 따른 진동 주파수, 진폭 및 위상 중 적어도 어느 하나를 포함한다. 즉, 프로세서(34)는 운전자의 각 부위의 위치 변화를 분석하여 각 부위의 진동 주파수, 위치 변화의 크기(진동의 크기) 및 위상 등을 산출한다. 이에 이어, 프로세서(34)는 진동이미지 해석 프로그램을 이용하여 이미지간의 차이를 분석하고 무게 중심에 대한 위치 변화를 측정하거나 푸리에 변환을 이용하여 진동 파라미터(매개변수)를 계산(산출)할 수 있다.
진동 파라미터 산출에 대해 좀 더 상세하게 설명하면 다음과 같다. 프로세서(34)는 연속적인 여러 개의 영상들로부터 운전자의 움직임에 따른 윤곽의 움직임 또는 진동을 파악한 후 이 윤곽을 두 개의 균등한 부분으로(좌, 우측) 분리한다. 그 다음, 반으로 나뉘어진 행의 두 부분에서 최대 진동 주파수가 나타내는 지점을 결정한다. 이 주파수는 생체신호이미지의 해당 수평 행의 색을 결정한다. 분리된 윤곽 부분에 위치한 반으로 나뉘어진 행의 각각의 두 부분에서 위치 변동을 한 평균 진폭은 생체신호이미지의 크기(길이)를 결정한다. 각각의 지점에서 얻은 진동이미지는 확실하며 정적인 특징을 지니지만 통합적인 생체 신호이미지는 인체의 정신생리학적 매개변수와 관련이 있다. 이는 카메라를 갖는 휴대형 장치가 움직이지 않는 지지대에 고정이 되어 있어 외부로부터 진동의 영향을 받지 않은 경우이다.
카메라가 자동차에 설치되어 있으므로 카메라의 진동 또는 움직임이 발생하므로 이 진동 성분를 제거 (필터링) 하는 과정을 거치는 것이 바람직하다. 이러한 필터링에는 자동자의 진동뿐 아니라 노이즈로서 작용하는 여러 잡음 성분 중 일부 또는 전체가 포함될 수 있다.
이를 위해서는 전기 신호로 변환된 대상 이미지를 A/D 변환한 후에 진동 파라미터를 산출하기 전에 손으로부터 전달되는 진동을 노이즈로 받아들여 제거하도록 하는 과정을 수행하는 것이 필요하다(S40).
프로세서(34)는 산출된 진동 파라미터에 기초하여 생체신호이미지를 생성한다(S50). 생체신호이미지는 진폭 구성요소와 주파수 구성요소를 포함할 수 있다. 이하에서는, 진폭 구성요소를 "내부 생체신호이미지"로, 주파수 구성요소를 "외부 생체신호이미지"라고 칭하기로 한다. 이러한 용어 정의의 개념은 이하의 도 5의 설명에서 이해될 것이다.
최종적으로, 프로세서(34)는 산출된 진동 파라미터로부터 피험자(1)의 정신생리학적 정보를 획득한다(S60). 즉, 프로세서(34)는 진동 파라미터를 분석함으로써 대상(20)의 심리적 상태를 알 수 있으며, 특히 전술한 바와 같은 알고리즘에 의해 운전자의 졸음을 예측하거나 검출할 수 있다.
도 7a는 진동 이미지의 진폭 성분으로 형성되는 인체의 이미지 주위에 생체 에너지인 아우라가 방사되는 것을 도시한 것이다.
내부 생체신호이미지는 상술한 바와 같이, 각 부위의 위치 변화 크기를 색상으로 표현한 것이다. 이를 통해 피험자(1) 각 부위의 위치 변화 크기를 시각화할 수 있게 된다. 외부 생체신호 이미지는 내부 생체신호이미지의 주변에 나타나며, 평균 최고 진동 주파수를 색상으로 변조하여 나타낸다.
도 7b는 인체의 실제 영상 주위에 생체 에너지인 생체신호이미지가 방사되는 것을 도시한다. 도 5b에서, 내부 생체신호이미지는 표현되지 않고 실제 영상 주위에 생체신호 이미지만이 표시되어 있다.
도 8a, 8b는 안정 상태와 비안정 상태에서의 생체신호 이미지를 각각 나타내는데, 도8a는 안정적 또는 정삭적 상태, 그리고, 도 8b는 스트레스 상태에 있는 피험자의 생체신호 이미지이다.
도8a를 살펴보면, 생체신호 이미지가 형태와 색깔 면에서 충분히 대칭을 이루고 있으며 생체신호이미지의 색이 선택한 색깔 눈금(전반적인 색-녹색)의 중간 정도로 나타나 있다. 이러한 생체 신호 이미지를 통해서 운전자가 안정적인 상태임을 알 수 있다.
반면에 도8b를 살펴보면, 생체신호 이미지에서 아우라는 붉은 색 성분을 많이 포함하고 있다. 따라서, 이 상태에서의 운전자는 불안정한 상태임을 알 수 있다. 사람이 어떤 자극을 받게 되면, 예를 들어 화면을 통해 폭력 장면에 노출되게 되면, 피험자가 스트레스를 받거나 공격적인 상태가 되어 생체신호 이미지의 색깔은 보다 붉은 색으로 변화한다.
도 9a는 안정 상태에 있는 인체 진동이미지의 주파수 구성요소(생체신호이미지)에 대한 분포 그래프이고, 도 9b는 스트레스 상태에 있는 인체 진동이미지의 주파수 구성요소 (생체신호 이미지)에 대한 분포 그래프이다.
도 9a에 나와 있는 그래프는 정상적인 노동 상태에 있는 사람의 전형적인 주파수 분포를 보여주고 있다. 연구 결과에 의하면, 대다수의 사람들은 평온한 상태에서 일반적으로 싱글 모드의 분포 규칙에 흡사한 분포수 분포를 보인다. 화면에서 폭력 장면을 보는 것과 같은 특정한 부정적인 영향을 받을 경우 피실험자의 상태는 도 8b처럼 변화한다. 만약 공포, 스트레스 및 공격적인 상태에서는 주파수 분포(M)의 평균(중간) 수치가 증가하는 쪽으로 이동한다. 안정적이고 편안한 상태에서는 주파수 분포 수치의(M) 평균(중간) 수치가 줄어드는 쪽으로 이동한다. 주파수 축(X)은 상대적인 단위뿐 아니라 실제 단위 혹은 시간(㎐나 sec.)로도 표현할 수 있다. 표시값 사이의 거리는 카메라의 신속한 처리에 대한 실제 매개변수들과 소프트웨어의 셋팅(처리하는 순서에서 이미지를 축적하는 시간과 이미지의 수)에 의해 결정된다.
도 10은 본 발명에 따른 졸음 예측 프로그램의 작동 흐름도로서 R＆D (Research ＆ Development)단계에서의 뇌파와 진동 매개변수를 매칭하여 졸음 예측 알고리즘을 추출하는 과정의 실험 흐름도이다.
실험이 시작되며, 먼저 운전자 또는 측정대상 피험자에게 뇌파측정센서를 착용시키고(S10a), 그리고 피험자의 머리 또는 이를 포함하는 상반신을 찰영하는 카메라를 준비한다(S10b). 이런 상태에서 운전자에게 졸음을 유도하면서, 동영상을 촬영(S10d)함과 동시에 뇌파(EEG)를 측정한다(S10c). 동영상으로부터는 전술한 바와 같은 방법에 의해 진동 매개변수를 추출하고, 운전자의 졸음 상태를 측정한다(S10f). 그 다음에 뇌파 성분과 진동 매개 변수를 비교 분석하여 상호 매칭하여(S10f), 졸음에 관계된 진동 매개 변수를 추출한다(S10h). 진동 매개 변수가 추출되면 이를 이용하여 졸음 예측을 위한 알고리즘을 작성 또는 추출한다(S10i). 여기에서 작성 또는 추출된 졸음 예측 알고리즘은 실제 졸음 예측 장치에 적용된다.
도11은 상기 졸음 예측 알고리즘을 이용하여 운전자의 졸음을 예측하고, 졸음이 예측되었을 때에 자극을 전달하여 각성시키는 과정을 도시한다.
도11은 참조하면, 실제 자동차에 본 발명에 따른 시스템이 장착된 상태(S11a)에서 졸음 예측 알고리즘이 구동된다(S11b). 이 졸음 예측 알고리즘을 이용하여 운전자로부터 얻어지는 동영상으로부터의 추출된 진동 매개 변수를 기초로 해당 운전자의 졸음을 실시간 예측한다(S11c). 졸음을 예측한 결과, 경증의 주의상태(S11d)와 경고상태(S11e)인지 판단되며, 여기에서 주의 상태 또는 경고 상태의 레벨을 임계치에 비교하여(S11f), 임계치 이하이면 전술한 과정을 무한루프로 순환 실행하며, 임계치 이상이면 적절한 자극을 발생한다(S11g). 적절한 자극은 운전자를 졸음 상태로부터 벗어날 수 있도록 하기 위한 것으로, 진동, 음향, 향기 등 인간의 오감 중 적어도 어느 하나를 자극할 수 있는 그 어느 것도 포함될 수 있다.
도12는 진동 매개 변수 중 졸음에 관련된 변수의 변화를 도시한다. 도12에서 임의 수 20은 변수의 레벨을 나타내는 것으로서 20이 졸음의 시작을 나타내는 임계치이다. 도12에 도시된 바와 같이 운전자는 초기에 20 이상의 각성 상태를 유지하였으며, 어느 정도 시간이 흘렀을 때에 졸음 변수가 20이하로 떨어지기 시작, 즉 졸음 전조가 나타났으며, 이로부터 약 14초가 경과했을 때에 완전한 졸음 상태를 나타내 보였다.
아래의 식 은 졸음을 예측하는 알고리즘을 수학적으로 표현한다.
Ca- 얼굴 내부의 픽셀 수
Ii - 얼굴 내부에서 감지에 필요한 픽셀의 강도
졸음변수 1 (SDP 1) 은 0과 1사이의 값으로 Ii의 값 (픽셀에 대한 강도) 의 총합에 따라 수치를 나타낸다. 졸음상태가 증가하면 수치가 낮아지고
각성상태가 증가하면 1에 근접한 수치를 보인다. 졸음상태를 예측하는 졸음변수 1(SDP1) 임계치는 0.2를 사용한다.
K: 졸음변수2(SDP2) 에 대한 변화율 상수
(졸음변수2 의 표준편차/졸음변수 2의 평균값)
Wm : 좌측의 외부생체이미지의 크기
Wn : 우측의 외부 생체이미지의 크기
Cm : 좌측의 외부 생체이미지의 컬러 조절 크기
Cn : 우측의 외부 생체이미지의 컬러 조절 크기
N : 시간
졸음변수 2 (SDP)에 대한 변화율 상수 K는 졸음변수 2 의 표준편차(Standard Deviation of SDP 2) 를 졸음변수 2의 평균값 (Mean of SDP 2) 으로 나눈 변화율 상수로서 0.05 값을 임계치로 사용한다.
위의 두 식은 And 연산에 의해 졸음 전조 여부를 평가한다.
즉, 졸음변수 1(SDP1)과 졸음변수 2 의 변화율 상수 (K)를 이용하여
졸음변수 1(SDP 1) 의 임계치 20과 졸음변수 2 의 변화율 상수 (K) 의 임계치 0.05를 동시에 만족할 때 졸음상태 예측으로 판단한다.
도13은 실제 본 발명에 따른 졸음 예측 방법을 수행하는 시스템에서의 디스플레이에 나타나는 유저 인터페이스를 예시한다.
도13에서 (a)는 졸음 예측 방법의 수행을 결정하는 메뉴 화면이며, (b)는 졸음 예측 초기화 화면이며, (c)는 졸음 예측 방법이 수행되는 상태에서의 운전자의 촬영화면을 도시한다. (c)에 된 바와 같이 동영상에서 운전자 부분만 나타나도록 그 주변은 필터링되는 마스킹이 적용되고 있다. 이러한 상태에서 운전자의 졸음이 예측되면 (d)에 도시된 바와 같은 화면과 함께 경고음향을 들려 줄 수 있다.
도14는 운전자를 촬영하는 카메라와 LED 조명의 관계를 예시한다.
도시된 바와 같이 LED 광원은 운전자의 안면부로 빛을 조사하며, 카메라는 운전자의 안면으로부터 반사된 광을 받아 들인다. 이때에 운전자의 진동 또는 움직임은 LED 광의 투시와 반사의 차이에 의한 동기화 구조로 진동수 필터링을 수행할 수 있다.
도15는 자동차의 룸 미러에 카메라가 설치되었을 때 운전자에 대한 화각 관계를 설명하는 도면이다. 자동차 내부 구조를 고려했을 때, 카메라의 위치는 룸미러가 최적이며, 따라서 룸 미러 자체에 카메라와 조명장치를 실장하는 것이 바람직하다. 룸 미러에 설치된 카메라는 운전자의 머리-목 부분을 촬영할 수 있도록 위치되는 것이 필요하다. 카메라의 촬영화각은 상하좌우 약 90이며, 화상의 크기는 이미지 프레임의 30% 이상이 되도록 하는 것이 바람직하다.
도16은 촬영시 카메라의 진동의 영향을 최소화하기 위한 촬영 메커니즘의 일례를 설명한다.
LED 광원은 펄스형태로 빛을 운전자의 머리-얼굴 부분으로 조사하며, 카메라는 상기 펄스에 동기하여 펄스 타임에만 영상을 캡쳐한다. 운전자의 머리의 진동은 아날로적이고 연속적이지만 차체의 진동은 단조롭다. 인간의 머리의 진동은 10Hz 보다 빠르기 어렵기 때문에 LED 광원의 펄스를 1 마이크로 초(micro second) 정도로 하여 다면 필터링을 적용할 수 있다. 한편, 영상에서 여전히 존재하는 진동은 소프트웨어 필터를 적용하여 감쇄시킬 수 있다.
한편, 카메라의 진동은 자체에 자이로 센서를 내장한 OIS(Optical Image Stabilizer) 구조를 적용함으로써 극단적으로 영상 진동을 억제할 수 있다.
상기와 같은 본 발명을 실제 적용한 결과 졸음이 시작되기 전 생리적인 전조 상태에서 졸음변수의 변화 값을 탐지한 결과 11~12초 구간에서 졸음상태를 예측할 수 있는 생리적인 변화의 신호를 탐지할 수 있었고, 졸음이 시작되기 전 평균 11~12 초 전에 90% 정도의 탐지율로 운전자의 졸음을 예측할 수 있었다.
도17은 본 발명의 예측 결과와 무선뇌파 헤드셋 착용한 졸음 상태 비교 결과를 도시한다. 도시된 바와 같이 졸음 예측 수치가 가장 높은 시점(졸음 전조 시점)으로부터 약 12 후에 충돌(졸음 발생)이 일어 났음을 알 수 있다. 실험에 따르면 본 발명에 따른 졸음 발생 전 약 11.6초 전에 졸음 전조로서 눈꺼풀 감김 시점가 예측되었고, 미국 ABM 상의 무선뇌파기를 이용한 졸음 예측결과 11-12초전에 졸음 전조가 확인되었다.
본 발명에 따른 운전자 졸림 예측 시스템에서, 차량의 내부 예를 들어 룸 미러에 장착된 카메라는 운전자를 촬영하고 졸음상태를 예측 탐지하는 프로그램에 의해서 획득된 정보를 차량의 IVN (In-Vehicle Network)과 연결되도록 하는 것이 가능하다. 본 발명에 따라 예측된 졸음 상태에 따라 각종의 각성 시스템이 적용될 수 있으며, 예를 들어 음향, 영상, 또는 진동이 적용될 수 있다. 즉, 차량 주행 중에 본체에 들어 있는 소프트웨어가 룸미러에 있는 카메라로부터 얻어지는 운전자에 대한 실시간 영상 정보를 가지고 본 발명에 따른 알고리즘을 수행하는 프로그램을 통해 운전자의 졸음상태를 탐지와 IVN에서 들어오는 차량 주행 정보를 종합하여 차량 운전 상태에 따라 각성상태를 유발하는 경보음, 안전벨트 조임 및 핸들 진동을 발생시켜 운전자의 졸음운전에 의한 안전사고 방지 대책을 강구할 수 있도록 연동시킬 수 있다. 이러한 본 발명에 따르면, 동영상을 기반으로 한 생체신호이미지 분석 알고리즘을 이용하여 운전자의 졸음 상태 뿐만 아니라 피로도 상태, 스트레스 상태, 우울 상태 등을 탐지할 수 있으므로 이를 이용하여 주행 상황별 운전 중 발생하는 부하 측정 기술과 접목시킬 수 있다.
본 발명은 지금까지 존재하지 않았던 기술로서, 뇌파 EEG와 실시간으로 운전자에 대한 동영상을 촬영하여 정신생리적인 반응 매개변수와의 매핑 과정을 통해서 졸음 예측 탐지 프로그램이 개발되었기 때문에 신뢰도가 매우 높은 것으로 검증되었다. 운전자를 동영상으로 촬영하여 실시간으로 졸음상태를 탐지할 수 있으며 운전자의 정신기능 상태 및 감정상태 (운전자의 피로도, 스트레스, 집중도 및 우울정도 등)를 탐지하여 운전자에게 이에 대한 정보를 제공하는 부가서비스의 확장성이 매우 높다. 이러한 본 발명은 운전자가 선글라스, 안경, 마스크, 모자 등을 착용한 상태에서도 졸음상태 탐지가 가능하기 때문에 운전자에게 제약을 주지 않는 편의성을 제공한다.
지금까지, 본원 다양한 모범적 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 다양한 실시 예들의 일부임이 이해되어야 할 것이다. 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.
1: 운전자
21: 카메라
2: 룸 미러
30: 생리신호 검출 장치
31: 카메라
32: A/D 변환부
33: 저장부
34: 프로세서
35: 표시부(디스플레이부)
36: 키입력부
21: 카메라
2: 룸 미러
30: 생리신호 검출 장치
31: 카메라
32: A/D 변환부
33: 저장부
34: 프로세서
35: 표시부(디스플레이부)
36: 키입력부
Claims (10)
- 카메라를 이용해 운전자로부터 동영상을 획득하는 단계;
상기 동영상으로부터 피험자의 진동 파라미터를 측정하되, 상기 진동 파라미터에서 운전자로부터 전달되는 고유진동수를 제거하는 단계;
상기 진동 파라미터에 기초하여 생체신호 이미지를 생성하는 단계;
상기 생체신호 이미지를 처리하여 피험자의 정신생리학적인 반응 매개변수를 생성하는 단계; 그리고
상기 매개 변수 중, 졸음에 상관되는 매개 변수를 추출하여 이를 이용해 운전자의 졸음을 예측하는 단계; 를 포함하는 동영상 기반 생리 신호를 이용한 졸음 검출 방법. - 제 1 항에 있어서,
상기 진동 파라미터는 상기 운전자의 부위별 위치 변화에 따른 진동 주파수, 진폭 및 위상 중 적어도 어느 하나를 포함하고,
상기 진폭의 측정값은 상기 각 부위의 위치 변화의 좌표 값으로 나타내는 것을 특징으로 하는 동영상 기반 생리 신호를 이용한 졸음 검출 방법. - 삭제
- 제 2 항에 있어서,
상기 카메라에 떨림 보정이 가능한 OIS(Optical Image Stabilizer) 기술을 적용하는 것을 특징으로 하는 동영상 기반 생리 신호를 이용한 졸음 검출 방법. - 제1항, 제2항 또는 제4항 중의 어느 하나의 항에 있어서,
상기 매개 변수와 운전자로부터 얻어지는 뇌파 신호를 매칭하여 졸음에 상관되는 뇌파 신호에 매칭되는 매개 변수를 추출하는 단계;를 더 포함하는 것을 특징으로 하는 동영상 기반 생리 신호를 이용한 졸음 검출 방법. - 제1항, 제2항 또는 제4 항 중의 어느 하나의 항에 기재된 방법을 수행하는 것으로서,
상기 운전자로부터 동영상 신호를 획득하는 카메라;
상기 영상 데이터를 분석하여 상기 진동 파라미터를 측정하고, 상기 진동 파라미터를 추출하는 프로세서;
상기 진동 파라미터를 이용하여 운전자의 졸음을 예측하는 분석부;
상기 분석부로부터의 결과에 따라 운전자를 각성시키는 응용부;를 포함하는 동영상 기반 생리 신호를 이용한 졸음 검출 장치. - 제6항에 있어서,
상기 응용부는 상기 결과를 표시하는 디스플레이를 더 포함하는 것을 특징으로 하는 동영상 기반 생리 신호를 이용한 졸음 검출 장치. - 제6항에 있어서,
상기 응용부는 상기 결과에 따라, 음향, 영상, 진동 중 적어도 어느 하나의 자극장치를 포함하는 것을 특징으로 하는 동영상 기반 생리 신호를 이용한 졸음 검출 장치. - 제8항에 있어서,
상기 진동은 자동차의 핸들, 운전석 중 적어도 어느 일 측에 마련되는 것을 특징으로 하는 동영상 기반 생리 신호를 이용한 졸음 검출 장치. - 제6항에 있어서,
상기 매개 변수는 운전자로부터 얻어지는 뇌파 신호를 매칭하여 졸음에 상관되는 뇌파 신호에 매칭되는 것을 특징으로 하는 동영상 기반 생리 신호를 이용한 졸음 검출 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140037957A KR101536348B1 (ko) | 2014-03-31 | 2014-03-31 | 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치 |
| PCT/KR2015/002558 WO2015152536A1 (ko) | 2014-03-31 | 2015-03-17 | 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140037957A KR101536348B1 (ko) | 2014-03-31 | 2014-03-31 | 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101536348B1 true KR101536348B1 (ko) | 2015-07-14 |
Family
ID=53793192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140037957A KR101536348B1 (ko) | 2014-03-31 | 2014-03-31 | 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101536348B1 (ko) |
| WO (1) | WO2015152536A1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106618608A (zh) * | 2016-09-29 | 2017-05-10 | 金湘范 | 基于视频精神生理参数监测危险人物装置及方法 |
| KR20180045101A (ko) * | 2016-10-24 | 2018-05-04 | (주)락싸 | 실사와 컴퓨터 그래픽스 영상을 이용한 생체 정보 표시 시스템 및 그의 표시 방법 |
| WO2018147838A1 (en) * | 2017-02-08 | 2018-08-16 | Lin Zhuohua | Machine learning for olfactory mood alteration |
| US10150351B2 (en) | 2017-02-08 | 2018-12-11 | Lp-Research Inc. | Machine learning for olfactory mood alteration |
| JP2019154878A (ja) * | 2018-03-15 | 2019-09-19 | オムロン株式会社 | 乗員監視装置 |
| KR20200128282A (ko) * | 2019-05-02 | 2020-11-12 | 주식회사 만도 | 운전자 보조 시스템 및 그 제어 방법 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102198294B1 (ko) * | 2018-08-28 | 2021-01-05 | (주)마인드아이 | 비접촉 영상 시스템을 이용한 뇌피로 평가 방법 및 장치 |
| CN109902574A (zh) * | 2019-01-24 | 2019-06-18 | 北京元和新通科技有限公司 | 人体表象变化测定人体情绪的高危人员检测装置及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060009062A (ko) * | 2004-07-20 | 2006-01-27 | 최진관 | 생체측정 정보 확인장치 및 그 방법 |
| WO2012057646A1 (ru) * | 2010-10-28 | 2012-05-03 | Общество С Ограниченной Ответственностью "Многопрофильное Предприятие "Элсис" | Способ получения информации о психофизиологическом состоянии живого объекта |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050115788A (ko) * | 2004-06-05 | 2005-12-08 | 최진관 | 대상 정보 획득장치 및 그 방법 |
-
2014
- 2014-03-31 KR KR1020140037957A patent/KR101536348B1/ko active IP Right Grant
-
2015
- 2015-03-17 WO PCT/KR2015/002558 patent/WO2015152536A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060009062A (ko) * | 2004-07-20 | 2006-01-27 | 최진관 | 생체측정 정보 확인장치 및 그 방법 |
| WO2012057646A1 (ru) * | 2010-10-28 | 2012-05-03 | Общество С Ограниченной Ответственностью "Многопрофильное Предприятие "Элсис" | Способ получения информации о психофизиологическом состоянии живого объекта |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106618608A (zh) * | 2016-09-29 | 2017-05-10 | 金湘范 | 基于视频精神生理参数监测危险人物装置及方法 |
| KR20180045101A (ko) * | 2016-10-24 | 2018-05-04 | (주)락싸 | 실사와 컴퓨터 그래픽스 영상을 이용한 생체 정보 표시 시스템 및 그의 표시 방법 |
| KR101862696B1 (ko) * | 2016-10-24 | 2018-06-01 | (주)락싸 | 실사와 컴퓨터 그래픽스 영상을 이용한 생체 정보 표시 시스템 및 그의 표시 방법 |
| WO2018147838A1 (en) * | 2017-02-08 | 2018-08-16 | Lin Zhuohua | Machine learning for olfactory mood alteration |
| US10150351B2 (en) | 2017-02-08 | 2018-12-11 | Lp-Research Inc. | Machine learning for olfactory mood alteration |
| JP2019154878A (ja) * | 2018-03-15 | 2019-09-19 | オムロン株式会社 | 乗員監視装置 |
| KR20200128282A (ko) * | 2019-05-02 | 2020-11-12 | 주식회사 만도 | 운전자 보조 시스템 및 그 제어 방법 |
| KR102608299B1 (ko) * | 2019-05-02 | 2023-12-01 | 에이치엘만도 주식회사 | 운전자 보조 시스템 및 그 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2015152536A1 (ko) | 2015-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101536348B1 (ko) | 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치 | |
| KR101739058B1 (ko) | 동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치 | |
| US10820850B2 (en) | Systems and methods for measuring reactions of head, eyes, eyelids and pupils | |
| Solaz et al. | Drowsiness detection based on the analysis of breathing rate obtained from real-time image recognition | |
| JP6590411B2 (ja) | 感性評価方法 | |
| RU2395228C2 (ru) | Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения | |
| Ko et al. | Eyeblink recognition improves fatigue prediction from single-channel forehead EEG in a realistic sustained attention task | |
| Stemberger et al. | Thermal imaging as a way to classify cognitive workload | |
| JP2022523686A (ja) | 運転者の認知状態の検出 | |
| WO2016182974A1 (en) | Head-mounted display eeg device | |
| TW201117771A (en) | Sensory-evoked potential (SEP) classification/detection in the time domain | |
| EP3424425A1 (en) | Determination result output device, determination result provision device, and determination result output system | |
| KR101500888B1 (ko) | 생물체의 정신생리학적 상태에 관한 정보 획득방법 | |
| Němcová et al. | Multimodal features for detection of driver stress and fatigue | |
| Khan et al. | Efficient Car Alarming System for Fatigue Detectionduring Driving | |
| KR101753834B1 (ko) | 진동 이미지 기술을 이용하여 감성을 분류하는 방법 | |
| Perpetuini et al. | A Machine Learning Approach to Classify Driver Mental Workload as Assessed by Electroencephalography through Infrared Thermal Imaging | |
| Trivedi | Attention monitoring and hazard assessment with bio-sensing and vision: Empirical analysis utilizing CNNs on the kitti dataset | |
| Chuang et al. | Dynamically weighted ensemble-based prediction system for adaptively modeling driver reaction time | |
| Mabry et al. | Commercial motor vehicle operator fatigue detection technology catalog and review | |
| KR20160100654A (ko) | 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치 | |
| Ueno et al. | Relation between human alertness, velocity wave profile of saccade, and performance of visual activities | |
| Ahuja et al. | Significance, Techniques, and Challenges in Driver Drowsiness Issue: A Guide Tour | |
| KR20220046734A (ko) | 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법 및 장치 | |
| Peruzzini et al. | Toward the Definition of a Technological Set-up for Drivers’ Health Status Monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20180628 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200107 Year of fee payment: 5 |