KR102060100B1 - Uwb 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법 - Google Patents

Uwb 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법 Download PDF

Info

Publication number
KR102060100B1
KR102060100B1 KR1020180088052A KR20180088052A KR102060100B1 KR 102060100 B1 KR102060100 B1 KR 102060100B1 KR 1020180088052 A KR1020180088052 A KR 1020180088052A KR 20180088052 A KR20180088052 A KR 20180088052A KR 102060100 B1 KR102060100 B1 KR 102060100B1
Authority
KR
South Korea
Prior art keywords
signal
driver
driving
reflected
drowsiness
Prior art date
Application number
KR1020180088052A
Other languages
English (en)
Inventor
김영민
Original Assignee
주식회사 이에스피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이에스피 filed Critical 주식회사 이에스피
Priority to KR1020180088052A priority Critical patent/KR102060100B1/ko
Application granted granted Critical
Publication of KR102060100B1 publication Critical patent/KR102060100B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/0209—Systems with very large relative bandwidth, i.e. larger than 10 %, e.g. baseband, pulse, carrier-free, ultrawideband
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/62—Sense-of-movement determination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Chemical & Material Sciences (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Emergency Management (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

UWB 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법을 개시한다. UWB(Ultra-wide band) 측위를 통한 차량 졸음운전 감지 시스템은 UWB 대역의 임펄스레이더를 포함하는 졸음감지신호를 생성하는 생성모듈; 졸음감지신호를 송출하고, 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 검출하는 분석모듈; 분석모듈에서 검출된 전자파 신호 분석 결과와 차량제어신호를 통해 운전자의 졸음여부를 판단하는 판단모듈; 및 운전자가 졸음운전 중인 것으로 판단된 경우, 운전석 진동 및 소리 알림을 통해 졸음운전을 경고하는 졸음운전 알림모듈; 을 포함한다.

Description

UWB 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법 {SYSTEM FOR DETECTING DRIVER'S BIO-SIGNAL USING ULTRA WIDE BAND AND METHOD FOR DETECTING DROWSY DRIVING}
운전자 생체신호 감지 시스템에 관한 것으로 구체적으로, UWB 측위를 통해 운전자 생체신호를 감지하여 졸음운전을 판단하는 시스템 및 방법에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
졸음운전은 차량 안전사고를 발생시키는 주요 원인이다. 최근 졸음운전에 의한 안전사고를 예방하기 위해, 차간거리 유지시스템(Smart Cruise Control)과 차선이탈 경고 시스템(Lane Departure Warning System) 및 운전자 표정인식을 통한 졸음운전 감지 시스템 등이 연구 개발 중이다. 하지만, 차간거리 유지시스템이나 차선이탈 경고 시스템은 운전자의 졸음운전을 감지하는 기술보다는 자율주행기능에 가깝고, 운전자 표정인식을 통한 졸음운전 감지는 실제로는 안경, 선글라스 등에 의해 운전자 표정 인식률이 떨어지는 문제가 있다.
아울러, 운전자 영상에 기반을 둔 졸음운전 감지 방법은 조명이나 외부 환경, 안경착용여부, 표정변화 때문에 졸음운전 여부를 정확하게 판단하기 어려운 문제가 있다.
1. 한국 특허등록 제 10-1865590 호(2018.06.01) 2. 한국 특허공개 제 10-2013-0075798 호(2013.07.08)
실시예에 따른 운전자 생체신호 감지 시스템은 UWB 측위 및 임펄스레이더 기술을 통해 졸음운전감지신호를 생성하여 운전자에게 송출하고, 운전자로부터 반사된 신호를 분석하여 졸음운전 여부를 파악한다. 이때, 반사된 전파신호를 전처리 및 보정하여 심장, 폐 등과 같은 운전자 내부 장기의 움직임, 반응속도 등 운전자 생체신호를 파악하고, 이를 통해 운전자의 졸음운전 여부를 정확하게 감지 할 수 있도록 한다.
또한, 운전자 생체신호 감지 시스템은 졸음운전 여부를 파악하고, 졸음운전으로 판단된 경우 이를 경고하는 알림을 출력한다.
아울러, 졸음운전으로 판단될 경우, 자율주행모드, 안전주행모드 및 안전 정차모드 등으로 자동 변환하여 운전자 졸음으로 인한 안전사고를 예방한다.
실시예에 따른 초광대역(UWB, Ultra-wide band) 측위를 통한 운전자 생체신호 감지 시스템의 졸음운전 감지 방법은 (A) 생성모듈은 초광대역 임펄스레이더를 포함하는 졸음감지신호를 생성하는 단계; (B) 분석모듈은 졸음감지신호를 송출하고, 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 검출하는 단계; (C) 판단모듈은 분석모듈에서 검출된 전자파 신호 분석 결과와 차량제어신호를 통해 운전자의 졸음여부를 판단하는 단계; 및 (D) 알림모듈은 운전자가 졸음운전 중인 것으로 판단된 경우, 운전석 진동 및 소리 알림을 통해 졸음운전을 경고하는 단계; 를 포함한다.
바람직한 실시예에서, (B) 분석모듈에서 졸음감지신호를 송출하고, 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 검출하는 단계; 는 (B-1) 생성모듈에서 초광대역(UWB) 주파수 신호, 초광대역(UWB) 임펄스레이더를 포함하는 졸음감지신호를 운전자에게 SAR(Synthetic Aperture Radar)스캐닝으로 송출하면, 운전자로부터로부터 반사된 전자파 신호를 수집하는 단계; (B-2) 반사된 전자파 신호를 시간영역에서 오버샘플링 하는 단계; (B-3) 샘플링된 전자파신호(Bs(X, k))로 제로시간을 추정하는 단계; (B-4) 제로시간 추정 이후, 크로스토크(crosstalk)를 제거하는 단계; 및 (B-5) 크로스토크가 제거된 수신신호(Bsτc(X, k))를 디컨벌루션 하는 단계; 를 포함한다.
이상에서와 같은 운전자 생체신호 감지 시스템은 UWB 측위 및 임펄스레이더 기술을 통해 운전자 생체신호를 감지하고, 졸음운전 여부를 보다 정확하게 파악할 수 있도록 하고, 졸음운전으로 판단된 경우 알람신호를 출력하여 운전자가 다시 운전에 집중할 수 있도록 한다.
또한, 알람신호 출력 후 주행제어에 변화가 없는 경우, 알람신호 출력강도를 키우고 안전주행 모드, 자율주행모드 및 안전 정차 모드 등으로 변환하여, 졸음운전으로 주행중인 차량을 안전하게 정차시키도록 함으로써 졸음운전으로 인한 안전사고발생을 최대한 방지한다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1a는 실시예에 따른 운전자 생체신호 감지 시스템을 나타낸 도면
도 1b는 실시예에 따른 졸음운전 감지를 위해 운전자에게 송출한 졸음운전 감지 신호와 반사된 전자파 신호를 설명하기 위한 도면
도 2는 실시예에서 졸음감지신호로 이용되는 UWB 대역의 임펄스레이더를 설명하기 위한 도면
도 3은 실시예에 따른 운전자 생체신호 감지 시스템의 구체 구성을 나타낸 도면
도 4a는 실시예에 따른 졸음운전 감지신호와 반사신호를 설명하기 위한 도면
도 4b는 실시예에 따른 운전자에게 송출된 졸음감지 신호 및 반사된 전자파 신호를 설명하기 위한 도면
도 5는 실시예에 따른 운전자 생체신호 감지 시스템의 졸음운전 판단 데이터 처리흐름을 나타낸 도면
도 6은 실시예에 따른 운전자로부터 반사된 전자파 분석과정에 포함된 운전자로부터 반사된 전자파 신호를 전처리 및 보정하는 과정을 나타낸 도면
도 7에 실시예에서 자유공간 또는 무반사실에서 측정한 실험데이터를 나타낸 도면
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1a는 실시예에 따른 운전자 생체신호 감지 시스템을 나타낸 도면이다.
도 1a를 참조하면, 실시예에 따른 운전자 생체신호 감지시스템은 생성모듈(100), 분석모듈(200), 판단모듈(300) 및 알림모듈(400)을 포함하여 구성될 수 있다. 본 명세서에서 사용되는 '모듈' 이라는 용어는 용어가 사용된 문맥에 따라서, 소프트웨어, 하드웨어 또는 그 조합을 포함할 수 있는 것으로 해석되어야 한다. 예를 들어, 소프트웨어는 기계어, 펌웨어(firmware), 임베디드코드(embedded code), 및 애플리케이션 소프트웨어일 수 있다. 또 다른 예로, 하드웨어는 회로, 프로세서, 컴퓨터, 집적 회로, 집적 회로 코어, 센서, 멤스(MEMS; Micro-Electro-Mechanical System), 수동 디바이스, 또는 그 조합일 수 있다.
생성모듈(100)은 운전자 졸음감지신호를 생성하고, 졸음운전 감지부를 운전자에게 송출하는 수신기로서 역할 한다. 실시예에서 졸음감지신호는 UWB 대역의 임펄스레이더를 포함한다. 도 2에 도시된 바와 같이, UWB(ultra-wide band)는 기존의 주파수 대역에 비해 매우 넓은 대역에 걸쳐 낮은 전력으로 대용량의 정보를 전송하는 무선통신 기술이다. 500MHz 이상의 점유 대역폭을 차지하는 무선 전송기술로서, 30Mbps∼50Mbps급인 무선랜에 비해 최소 100Mbps∼1Gbps급 속도를 보장한다. UWB는 무선랜보다 100Mbps급 데이터를 안정적으로 변동 없이 전송할 수 있고, 전력소모도 무선랜의 10분의 1 수준이다.
분석모듈(200)은 생성된 졸음감지신호를 송출하고, 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 검출한다. 실시예에서 분석모듈(200)은 생성모듈에서 초광대역(UWB) 주파수 신호, 초광대역(UWB) 임펄스레이더를 포함하는 졸음감지신호를 운전자에게 SAR(Synthetic Aperture Radar)스캐닝으로 송출하면, 운전자로부터로부터 반사된 전자파 신호를 수집하는 송신장치이다. 이후, 분석모듈(200)은 반사된 전자파 신호의 전처리 및 보정을 위해 반사파 신호를 시간영역에서 오버샘플링하고, 샘플링된 전자파신호(Bs(X, k))로 제로시간을 추정한다. 이후, 크로스토크(crosstalk)를 제거하고, 크로스토크가 제거된 수신신호(Bsτc(X, k))를 디컨벌루션 하는 전처리 과정 후 운전자로부터 반사된 전자파 신호를 분석하여 운전자의 졸음운전을 판단할 수 있도록 한다.
실시예에서는 반사된 전자파 신호를 통해 운전자의 폐, 심장 등 주요장기기관의 움직임, 운동량, 반응속도 등을 파악하여 운전자의 심장박동과 호흡주기를 파악할 수 있고. 심장박동주기와 호흡주기를 포함하는 운전자 생체 신호를 기 저장된 생체 정보와 비교하여 졸음운전을 파악 할 수 있도록 한다.
판단모듈(도면도시)은 분석모듈(200)에서 검출된 전자파 신호 분석 결과와 차량제어신호를 통해 운전자의 졸음여부를 판단한다.
알림모듈(400)은 운전자가 졸음운전 중인 것으로 판단된 경우, 운전석 진동 및 소리 알림을 통해 졸음운전을 경고한다.
도 1b는 실시예에 따른 졸음운전 감지를 위해 운전자에게 송출한 졸음운전 감지 신호와 반사된 전자파 신호를 설명하기 위한 도면이다.
도 1b를 참조하면, 실시예에 따른 생성모듈은 초 광대역 무선탐지장치로서(UWB Radio Detecting And Ranging, UWB RADAR), (200) 마이크로파 (극초단파, 10cm~100cm 파장) 정도의 전자기파를 물체에 발사시켜 그 물체에서 반사되는 전자기파를 수신하여 물체와의 거리, 방향, 고도 및 물체의 공간구조 등을 알아내는 무선감시장치이다. 초 광대역 무선탐지장치(200)는 짧은 펄스(short pulse)를 생성하고 이를 전송안테나(송출부)(Tx)를 통해 탐지객체인 운전자(300)에게로 전송한다. 전송된 펄스 신호가 운전자(300)에 도달하면 전자기 에너지의 일부는 탐지 객체(300)로부터 반사되어 수신 안테나(수신부)(RX)로 수신된다. 실시예에서는 운전자로부터 반사된 반사파를 수집하여 운전자의 폐, 심장 등의 장기 공간구조와 움직임, 운동량을 파악하고, 이를 통해 운전자의 호흡수 및 심박수 등 생체정보를 감지하여 졸음운전을 판단할 수 있다.
도 2는 실시예에서 졸음감지신호로 이용되는 UWB 대역의 임펄스레이더를 설명하기 위한 도면이다.
UWB 시스템의 경우, 기존 협대역 시스템이나 광대역 CDMA 시스템에 비해 매우 넓은 주파수 대역에 걸쳐 상대적으로 낮은 스펙트럼 전력밀도를 바탕으로 구성되어 있다. 다른 협대역 신호(GPS, Bluetooth, WLAN, ZigBee 등)에 간섭을 주지 않고 주파수에 별 상관없이 통신이 가능하고, 특히 기존의 WLAN이나 Bluetooth 등에 비해 높은 전송 속도와 낮은 전력소모 등에서 월등히 앞서기 때문에 고성능 휴대용기기 간의 접속기술 방식으로 각광받을 수 있다. 특히, UWB 측위 기술은 멀티패스에 강하고 뛰어난 투과성으로 실내 측위에 유리하지만 인식거리가 10m 이내로 짧은 특징으로 실내 차량 졸음운전 인식 처리에 매우 적합하다. 또한, UWB 측위 방식은 송수신기의 소비전력이 적고, 디지털회로로 구현 가능하여 도 2에 도시된 바와 같이, 차량 실내 측정 가능(적색 점선) 범위 내에서 적용 거리와 정밀도 모두 UWB 방식이 최상위에 위치한 것을 확인할 수 있다. 아울러, 실시예에서는 UWB 무선 주파수 전파를 송신 및 수신하여 운전자의 심박수 및 호흡수를 수집하고 그 데이터를 분석하는 역할을 수행하여, 트랜스폰더와 UWB 안테나 하드웨어 기구 설계를 위한 기반 기술로 사용한다.
도 3은 실시예에 따른 운전자 생체신호 감지 시스템의 구체 구성을 나타낸 도면이다.
도 3을 참조하면, 생성모듈(130)은 졸음감지신호 생성부(131) 및 생체신호 감지부(133)를 포함하여 구성될 수 있고, 분석모듈(150)은 반사신호분석부(151) 및 운전패턴 분석부(153)를 포함하여 구성될 수 있고, 판단모듈(170)은 정상주행 판단부(171) 및 졸음운전판단부(173)를 포함하여 구성될 수 있고, 알림모듈(190)은 알람출력부(191) 및 주행모드 전환부(193)를 포함하여 구성될 수 있다.
운전자 생체신호 감지시스템의 데이터베이스(110)는 운전패턴정보, 기준데이터, 차량주행제어패턴정보 등 운전자의 졸음운전 감지에 필요한 일련의 데이터들을 수집, 저장한다.
생성모듈(130)의 졸음감지신호 생성부(131)는 운전자에게 송출하고 반사된 신호를 분석하여 졸음운전여부를 판단하기 위해, UWB 임펄스 레이더를 포함하는 졸음감지 신호를 생성한다. 또한, 졸음감지신호 생성부(131)는 초광대역(UWB) 주파수 신호, 초광대역(UWB) 임펄스레이더를 포함하는 졸음감지신호를 운전자에게 SAR(Synthetic Aperture Radar)스캐닝으로 송출할 수 있다.
생체신호 감지부(133)는 졸음감지신호의 반사파를 이용하여 심장박동 및 호흡속도 등의 생체신호를 감지 할 수 있다. 또한, 생체신호 감지부(133)는 차량 내부 카메라에서 촬영된 영상을 통해 운전자 움직임에 대한 반응속도 및 운전제어속도를 산출하여 신체반응속도를 감지할 수 있다.
분석모듈(150)의 반사신호 분석부(151)는 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 기 저장된 기준 신호의 파형 및 위상변화와 비교하여, 반사신호와 기준신호의 오차율을 파악한다. 예컨대, 반사신호 분석부(151)는 반사된 신호의 최대피크값, 주기, 일정시간간격에 대한 출력값을 포함하는 졸음운전 판단정보를 설정하고, 졸음운전 판단정보에 대한 반사신호와 기준신호의 차이값을 산출한다. 또한, 반사신호분석부(151)는 반사된 전자파 신호를 통해 운전자의 심박수 및 호흡수를 파악한다. 반사신호 분석부(151)는 반사신호의 정확한 분석을 위해 수집된 반사신호의 전처리 및 보정과정을 거치는데, 전처리, 보정과정은 이하에서 자세히 설명한다.
반사신호 분석부(151)는 반사된 전자파 신호를 시간영역에서 오버샘플링 한다. 예컨대, 반사신호 분석부(151)는 3차 스플라인 보간법(Cubic Spline Interpolation)을 사용하여
수학식 1
Bs(X, k) = Spline (B(X, n), KO); k = nKO - KO + 1
(Bs: 샘플링된 수신신호, Spline: 3차 스플라인함수, k: 오버샘플링된 이산시간) 을 통해, 운전자에 의해 반사된 전자파 신호를 시간영역에서 오버샘플링 할 수 있다.
이후, 샘플링된 전자파신호(Bs(X, k))로 제로시간을 추정한다. 반사신호 분석부(151)는 전자파신호 중 크로스토크 신호가 시작되는 시간인 제로시간(τ(k))을 추출하고,
수학식 2
Bsτ (X; k) = Bs(X; k - τ (k))
Bsτ: 샘플링된 수신신호를 제로시간만큼 이동시킨 신호
τ(k): 시간상수
를 통해 제로시간을 추정한다.
반사신호 분석부(151)는 제로시간 추정 이후, 크로스토크(crosstalk)를 제거한다. 예컨대, 반사신호 분석부(151)는 제로시간만큼 이동된 전자파신호에서 크로스 토크 신호(CA(k))를 제거하는
수학식 4: Bsτc(X, k) = Bsτ(X, k) - CA(k - τ (k))
(Bsτc(X, k): 샘플링된 수신신호를 제로시간 추정 및 크로스토크를 제거한 후의 수신신호) 를 통해 크로스 토크를 제거한다. 이후 반사신호 분석부(151)는, 크로스토크가 제거된 수신신호(Bsτc(X, k))를 디컨벌루션 한다. 디컨벌루션을 위해
수학식 5
Figure 112018074694687-pat00001
를 이용하고, hs(k) 는 운전자 생체 신호 감지 시스템의 이동함수(transfer function)가 될 수 있다.
이후, 반사파 분석부(151)는 크로스토크가 제거된 수신신호(Bsτc(X, k))를 디컨벌루션 한다. 이때, 반사파 분석부(151)는 최적화 알고리즘, 최소 자승 필터링(Least Squares Filtering)알고리즘, 위어 필터링 알고리즘(Wiewer Filtering), 매치드 필터링 알고리즘(Matched filtering), 최소 매치드 필터링 알고리즘(minmatched filtering), 다중에코 및 하울링 감소(Multiple Echoes & Howling Reducing)알고리즘 및 다중 신호 분류 알고리즘(Multiple Signal Classification)을 포함하는 디컨볼루션 알고리즘 중 어느 하나를 통해 상기 크로스토크가 제거된 반사파 신호(Bsτc(X, k))를 역 필터링 할 수 있다.
운전패턴분석부(153)는 차량의 조향, 기어, 속도 조정 및 각종 안전장치, 유틸리티의 제어 시점 및 변동 시점으로 운전자의 운전패턴을 실시간으로 파악하고, 기 저장된 운전패턴과 비교하여 운전자의 반응속도나 장치 조작속도가 저장된 운전패턴 데이터와의 차이를 산출한다.
판단모듈(170)의 정상주행판단부(171)는 차량의 주행정보를 이용하여 정상주행 여부를 파악한다. 예컨대, 기 저장된 운전자의 운전패턴 정보와 주행정보를 실시간으로 비교하여 정상주행 여부를 판단한다. 구체적으로, 운전자가 운전하고 있는 지역의 위치와 정체 정도에 따른 운전패턴 데이터와 차량 속도, 속도 변화량, 차량 제어속도, 반응 속도 등을 포함하는 실시간 주행데이터를 비교하여 운전자가 탑승한 차량이 정상 주행 중인지 판단한다.
졸음운전판단부(173)는 졸음감지신호가 운전자에 의해 반사된 신호 분석 결과 및 운전 패턴 분석결과를 기반으로 졸음운전여부를 판단한다. 예컨대, 졸음운전판단부(173)는 분석모듈(150)에서 전달된 반사신호와 기준신호의 차이값이 일정 수준을 초과하고, 운전자의 운전패턴과 실시간 차량 제어패턴을 비교하여 운전패턴과 차량패턴의 차이가 일정 수준 이상인 경우 졸음운전으로 판단한다. 또한, 분석모듈에서 파악된 운전자의 심박수 및 호흡수가 일정 수치 이하인 경우 졸음운전으로 판단할 수 있다.
알림모듈(190)의 알람출력부(191)는 졸음운전 경고 신호가 출력된 이후, 일정시간 동안 운전자에 의한 차량 제어신호가 입력되지 않는 경우, 자율주행 모드로 전환하고 졸음운전 경고신호강도를 점진적으로 증가시켜 출력한다. 실시예에서는 차량 운전석에 설치된 진동장치 및 헤드홀더에 설치된 알람장치에서 진동과 소리로 졸음운전을 경고할 수 있다. 만일, 졸음운전을 경고하는 1차 알림 신호에도 운전자 생체신호에 변화가 없는 경우, 진동과 소리의 알람을 점진적으로 증가시켜 출력한다.
주행모드 전환부(193)는 1차 알림 신호에도 운전자 생체신호에 변화가 없는 경우 차량 주행모드를 전환한다. 예컨대, 주행모드 전환부(193)는 졸음운전 중 또는 졸음운전으로 판단된 직후 차량 주행모드를 안전주행 모드 또는 긴급정차모드, 자율주행 모드 등으로 전환하고, 자율주행 모드로 전환된 경우, 도로 안전지역에 차량을 정차 시키도록 한다.
도 4a는 실시예에 따른 졸음운전 감지신호와 반사신호를 설명하기 위한 도면이다.
도 4에 도시된 바와 같이, 실시예에서는 UWB 대역의 임펄스레이더가 졸음감지신호로 생성되어 운전자에게 송출되고, 운전자에 의해 반사된 반사신호를 수집하여 보정하고, 반사신호의 펄스 주기, 피크값, 펄스 생성 빈도 등 반사신호의 세부정보를 분석한다. 실시예에서는 반사신호 세부정보 분석 결과에 따라 심장과 폐의 반응속도, 움직임 등을 파악하여 운전자의 호기, 흡기속도, 심장 박동수 등 다양한 생체 정보를 산출할 수 있고, 이를 이용해 운전자의 졸음운전 여부를 판단할 수 있다.
도 4b는 실시예에 따른 운전자에게 송출된 졸음감지 신호 및 반사된 전자파 신호를 설명하기 위한 도면이다.
도 4b에 도시된 바와 같이, 실시예에서 운전자로부터 반사된 반사파 신호는 송신부(Tx)인 생성모듈과 수신부인 분석모듈 사이에서 발생하는 노이즈의 한 종류인 크로스톡(cross talk)과, 운전자로부터 반사되는 제1 수신신호(a) 및 운전자 내부 장기기관으로부터 반사되는 제2수신신호(b)을 포함하여 발생될 수 있다. 실시예에서는 제 2 수신신호를 통해 운전자의 폐, 심장 등의 주요장기기관의 움직임과 운동량, 위치 등을 파악할 수 있다. 실시예에서는 제 2수신신호가 분석모듈에서 측정된 시점 및 제2 수신신호를 분석하여 파악한 폐와 심장의 운동량과 호흡수 등 운전자 생체정보를 기 설정된 생체정보와 비교하여 운전자의 졸음운전을 파악할 수 있다. 구체적으로 제2 수신신호를 통해 운전자의 호흡량, 호흡주기, 심박동 수가 기준 데이터보다 일정수준 이상 차이 나는 경우, 졸음운전으로 파악할 수 있다.
이하에서는 실시예에 따른 졸음운전 감지방법에 대해서 차례로 설명한다. 본 발명에 따른 운전자 생체신호 감지방법의 작용(기능)은 졸음운전감지 장치 및 시스템상의 기능과 본질적으로 같은 것이므로 도 1 내지 도 4b과 중복되는 설명은 생략하도록 한다.
도 5는 실시예에 따른 운전자 생체신호 감지 시스템의 졸음운전 판단 데이터 처리흐름을 나타낸 도면이다.
S510 단계에서 분석모듈은 UWB 대역의 임펄스레이더를 포함하는 졸음감지신호를 생성한다.
S530 단계에서 분석모듈은 졸음감지신호를 송출하고, 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 검출한다. 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 기 저장된 기준 신호의 파형 및 위상변화와 비교하여, 반사신호와 기준신호의 오차율을 파악할 수 있다. 또한, 반사된 신호의 최대피크값, 주기, 일정시간간격에 대한 출력값을 포함하는 졸음운전 판단정보를 설정하고, 졸음운전 판단정보에 대한 반사신호와 기준신호의 차이값을 산출하고, 반사된 전자파 신호를 통해 운전자의 심박수 및 호흡수를 파악한다.
S530 단계에서 분석모듈은 운전자의 생체 신호를 보다 정확하게 분석하기 위해 반사파의 보정 및 전치리 과정을 수행한다.
S550 단계에서 판단모듈은 검출된 전자파 신호 분석 결과와 차량제어신호를 통해 운전자의 졸음여부를 판단한다. 졸음운전으로 판단된 경우, S570 단계로 진입하고 졸음운전이 아닌 경우, S510 단계로 다시 진입한다. 실시예에서는 분석모듈에서 전달된 반사신호와 기준신호의 차이값이 일정 수준을 초과하고, 운전자의 운전패턴과 실시간 차량 제어패턴을 비교하여 운전패턴과 차량패턴의 차이가 일정 수준 이상인 경우 졸음운전으로 판단한다. 또한, 분석모듈에서 파악된 운전자의 심박수 및 호흡수가 일정 수치 이하인 경우 졸음운전으로 판단한다.
S570 단계에서 알림모듈은 운전자가 졸음운전 중인 것으로 판단된 경우, 운전석 진동 및 소리 알림을 통해 졸음운전을 경고한다. 실시예에서는 졸음운전 경고 신호가 출력된 이후, 일정시간 동안 운전자에 의한 차량 제어신호가 입력되지 않는 경우, 자율주행 모드로 전환하고 상기 졸음운전 경고신호강도를 점진적으로 증가시켜 출력한다.
도 6은 실시예에 따른 운전자로부터 반사된 전자파 분석과정에 포함된 운전자로부터 반사된 전자파 신호를 전처리 및 보정하는 과정을 나타낸 도면이다.
도 6에 도시된 바와 같이, S100 단계에서는 수신된 전자파 신호는 크로스토크(cross talk)신호, 운전자로부터 에 반사된 제1 수신신호(a) 및 운전자 의 내부 장기 구성요소로부터 반사된 제2수신신호(b)를 포함할 수 있다.
반사파 분석부(151)는 SAR 스캔 방법에 의해 측정된 수신신호를 시간영역에서 오버 샘플링(sampling)한다. 이때, 샘플링된 값들을 매끄럽게 연결하는 알고리즘인 3차원 스플라인 보간법(cubic spline interpolation)을 이용할 수 있다. 보간법은 해석학에서 샘플링된 두 값 사이의 평균을 추정하는 방법으로 선형보간법, 이중선형 보간법, 포물선 보간법, 다항식보간법, 스플라인 보간법 등이 있다. 실시예에서는 3차원 스플라인 보간법을 이용해 시간영역에서 오버샘플링 할 수 있다.
도 6의 그래프(a)에 도시된 바와 같이, 측정된 수신신호(a)는 S100 단계에서 3차원 큐빅 스플라인에 의해 오버 샘플링 된다. 실시예에서는 이산 시간 영역에서 오버 샘플링 인자 KO로 보간법을 수행하므로 수학식 1에 의해 보간된(샘플링된) Bs (X; k)를 추출하게 된다.
수학식 1
Bs(X, k) = Spline (B(X, n), KO); k = nKO - KO + 1
(Spline: 3차 스플라인함수, k: 오버샘플링된 이산시간)
S100에서 수행되는 보간법을 이용한 오버 샘플링과정은 데이터 해상도 상승에 영향을 미치지는 않지만 샘플링 과정 이후 후가공을 통해 데이터 해상도를 상승시킬 수 있다.
샘플링 이후, 제로시간 추정부(253)는 S200 단계에서 수신신호 중 크로스토크 신호의 시작 시간을 이용하여 제로시간을 추정한다. 수학식 2는 샘플링된 수신신호에서 제로시간만큼 샘플링된 값들을 이동(shift) 시키는 수식이다.
수학식 2
Bsτ (X; k) = Bs(X; k - τ (k))
τ(k)는 시간상수(또는 이에 상응하는 디지털 샘플)로서 송출부에서 송출된 신호가 될 수 있다. 샘플링된 수신신호인Bs (X; k) 는 도 4의 (b) 그래프에 도시된 바와 같이, 수신신호 데이터 세트의 시작 지점인 τ(k) 만큼 이동 되어야 한다.
실시예에서 τ(k) 를 찾을 수 있는 몇 가지 방법이 있다. τ(k) 를 산출하는 방법에는 주로 크로스토그 신호인 CA(K) 가 사용된다. 일반적으로 송수신부 및 송수신 안테나의 스펙이 알려져 있고, 크로스 토크 신호가 전달되는 매질이 공기이기 때문에, 송출부인 생성모듈(Tx)에서 송출된 신호를 수신부인 분석모듈(Rx)에서 수신하는데 필요한 시간은 수학식 3에 의해 추정될 수 있다.
수학식 3
tTXRX =dTxRx/c (c: 빛의 속도)
여기서 dTX RX는 송수신 안테나 또는 송신부와 수신부 사이의 거리이다.
도 6의 (c) 그래프에 도시된 바와 같이 크로스토크 신호는 음의 피크와 양의 피크를 갖는다. 크로스 토크 응답에서 위치 추정을 위해 가장 신뢰할 수 있는 부분은 첫 번째 피크이다. 원칙적으로 τ(k) 는 크로스토크 대신 측정된 객체를 이용하여 결정할 수 있고, 이때, 객체의 알려진 공간위치에 해당하는 데이터 위치를 찾아야 한다.
제로시간 추정 이후 반사파 분석부(151)는 S300 단계에서 크로스 토크 등 수신신호의 노이즈를 제거한다. 크로스토크 신호 CA(k)가 제로시간 결정에 사용되고 나면, 수신신호 데이터에서 제거되어야 한다. 크로스토크는 송신안테나와 수신안테나 사이를 직접 이동하는 신호의 일부이다. 크로스토크 신호는 송출된 탐지신호로부터 에서 첫번째로 수신하는 신호이고 종종 가장 큰 피크를 나타내기 때문에, 이를 제거하는 것이 매우 중요하다. 크로스 토크는 자유 공간에서 레이더로 측정하거나 주변의 흡수제로 측정할 수 있고, 측정된 크로스토크 레퍼런스를 수학식 4를 이용하여 수신신호 데이터에서 뺀다.
수학식 4
Bsτc(X; k) = Bsτ (X, k) - CA(k - τ(k))
(Bsτc: 수신신호 샘플링 후, 제로시간이 추정되고 크로스토크가 제거된 신호
Bsτ: 수신신호 샘플링 후, 제로시간이 추정된 신호
CA: 크로스 토크 τ(k): 시간상수)
실질적으로 크로스 토크 측정을 정확히 수행하기는 어렵지만, 도 7에 도시된 바와 같이, 자유공간 또는 무반사실에서 측정한 실험데이터를 이용할 수 있다. 실시예에서는 크로스토크를 측정하여 수신신호 데이터에서 규칙적으로 크로스토크를 제거한다. 크로스 토크 등 수신신호에서 노이즈가 제거되면 디컨볼루션부(257)에서 디컨볼루션(역 필터링)을 수행한다. 수신신호 데이터에서 안테나 및 전체 시스템 임펄스 영향을 제거하기 위한 디컨볼루션 과정은 가장 복잡하고 정교한 보정 과정이다.
안테나의 긴 임펄스 응답은 전파 에너지에 반응하고 수신 안테나에 의해 수신되는 모든 탐지객체가 긴 영역에서도 데이터로 표시되도록 한다. 전체 감지 시스템 및 안테나가 수신 신호에 미치는 영향은 시스템 임펄스 응답 hs(k)에 대한 전체 데이터를 S400 단계에서 디컨볼루션 하여 감소시킬 수 있다. 수학식 5는 샘플링 및 제로시간 추정 후 크로스토크가 제거된 수신신호
Figure 112018074694687-pat00002
) 의 디컨볼루션 수식을 나타낸다.
수학식 5
Figure 112018074694687-pat00003
(hs(k): 감지 시스템 임펄스, k: 파동 수, 이산시간 오버 샘플링 넘버)
디컨볼루션(역 필터링) 과정은 시간이 많이 소요되는 과정으로 대부분 주파수 영역에서 이루어지며 수동으로 수행할 경우 많은 매개 변수를 조정해야 한다. 따라서 실시예에서는 중심주파수, 밴드 폭 등의 매개 변수를 수동으로 조정해야 하는 필요성을 줄이고 디컨볼루션 과정의 품질을 향상시키는 자동 최적화 프로세스를 수행할 수 있다.
도 6의 그래프 (e)에는 S400 단계에서 디컨볼루션 과정을 수행한 이후의 데이터가 도시된다. S400 에서 디컨볼루션 과정을 수행하면 그래프 e에 도시된 바와 같이, 운전자로부터 반사된 제 1 수신신호(a)와 운전자 내부 장기에서 반사된 제 2 수신신호(b)가 각각, 하나의 피크에 집중된 형태로 나타나도록 하고, 이러한 데이터 전처리는 이후 분석모듈에서 데이터 처리 효율을 향상 시킬 수 있도록 한다.
실시예에서는 반사된 전자파 신호를 디컨볼루션 방법에는 최적화 알고리즘, 최소 자승 필터링 (Least Squares Filtering) 알고리즘, 위어 필터링 (Wiewer Filtering) 알고리즘, 매치드 필터링 (Matched filtering) 알고리즘, 최소 매치드 필터링 (minmatched filtering) 알고리즘, 다중에코 및 하울링 감소(Multiple Echoes & Howling Reducing)알고리즘 및 다중신호분류(Multiple Signal Classification) 알고리즘을 이용하는 방법이 있다. 수신신호의 특성에 따라 기재된 알고리즘 중 적절한 필터를 선택하여 디컨볼루션을 수행하게 된다. 특히, 수신신호의 샘플 데이터 세트가 신호, 잡음 및 클러터 등으로 구성되어 있기 때문에 필터의 안정성 문제를 고려해야 한다. 상기한 알고리즘들은 디컨벌루션 과정의 솔루션을 제안하는 수학적 최적화 방법들로 이하, 실시예의 디컨볼루션 과정에서 이용하는 알고리즘을 설명한다.
최적화 알고리즘
신호 및 잡음의 통계적 성질을 이용하여 잡음에 파묻힌 신호를 되도록 정확하게 추출하기 위한 알고리즘이다.
최소 자승 필터링 ( Least Squares Filtering ) 알고리즘
어떤 계의 해방정식을 근사적으로 구하는 방법으로, 수학식 6 등을 통해 근사적으로 구하려는 해와 실제 해의 오차의 제곱의 합이 최소가 되는 해를 산출한다.
수학식 6
Figure 112018074694687-pat00004
(
Figure 112018074694687-pat00005
: 전파요소)
최소 자승 필터링 알고리즘은 임의의 점들의 분포를 직선이나 곡선으로 근사하고, 임의의 데이터 모델의 파라미터를 구하는 한 방법으로서, 데이터와의 잔여(residual)제곱의 합을 최소화하도록 모델의 파라미터를 산출한다. 잔여 값은
어떤 데이터가 추정된 모델로부터 얼마나 떨어진 값인가를 나타낸다.
최소자승법의 계산 방법으로는 A. 대수적 방법, B. 분석적 방법 C. 비선형 최소 자승법 (non-linear least square) 등이 있다. 최소 자승법은 A. 포물선 근사, B. 영상 보정C. 원(circle) 및 타원(ellipse) 근사에 이용할 수 있지만, 정상적인 데이터 분포에서 동떨어진 데이터(Outlier)가 하나라도 존재하는 경우, 최소 자승법을 적용하기 어렵다.
위어 필터링 알고리즘 ( Wiewer Filtering Algorithm )
위어필터(Wiewer Filter) 는 비용함수(Cost Function) 의 결과가 최소가 되도록 필터계수 w 의 값을 정의한다. 비용함수는 오류의 평균 제곱 값(MSE: Mean Squared Error)이다.
수학식 7:
Figure 112018074694687-pat00006
)
매치드 필터링 알고리즘 ( Matched Filtering Algorithm )
신호대잡음비(signal-to-noise ratio)를 최대로 하는 매치드 필터를 사용하여 잡음에 묻힌 형상을 이미 알고 있는 신호로 검출하는 알고리즘이다.
수학식 8:
Figure 112018074694687-pat00007
무한 임펄스 응답 필터 (infinite impulse response filter) 통과시켜 고주파를 제거하고, 처리기 내에서 필터 길이, 중심 주파수, 밴드 폭 등의 파라메타를 변경하여 수치적으로 필터링을 수행할 수 있다. 매치드 필터에서는 무한 임펄스 신호를 50GHz로 샘플링 하여 여기서 샘플링 된 시계열 자료에 필터링 알고리즘을 적용하고, i 및 q의 비디오 시계열 자료를 산출한다. 이후 필터링 된 무한 임펄스 응답신호를 쿼드 디텍터(Quad Detector)를 통과시켜 i 및 q의 비디오를 획득할 수 있다.
다중에코 및 하울링 감소( Multiple Echoes & Howling Reducing )알고리즘
수학식 9
Figure 112018074694687-pat00008
송출 신호가 물체에 반사 및 투과하는 과정에서 잔상이 생기는데, 대부분의 반사계수는 반사될 때 생기는 감쇠로 인하여 1보다 작다. 따라서, 평균 필터링(Means Filtering), 복수 신호의 특성 알고리즘(Music Algorithm), 고해상도 스펙트럼 추정, 수신 신호의 공분산 추정, 스펙트럼 분해과정을 통해 잔상을 제거한다.
다중 신호 분류 알고리즘( Multiple Signal Classification )
무한 임펄스 응답 필터 (infinite impulse response filter] 통과시켜 고주파를 제거하고, 신호의 입사방향 즉, DoA(Direction of Arrival)를 추정하는 대표적인 알고리즘이다. 신호의 서브공간(subspace)과 잡음의 서브공간 (noise subspace)이 서로 직교한다는 성질을 이용 공간 스펙트럼 추출한다. 이때 공간스펙트럼에서의 피크값을 신호의 입사방향으로 추정하고, 2개의 서브공간은 공분산 행렬(covariance matrix)의 고유분해(eigen decomposition)를 통해서 얻을 수 있다. 신호의 잡음 서브공간을 통해서 신호의 방향을 추정하고, 공분산 행렬의 고유분해를 통해서 신호의 잡음 부공간을 산출한다.
이상에서와 같은 운전자 생체신호 감지 시스템은 UWB 측위 및 임펄스레이더 기술을 통해 졸음운전 여부를 보다 정확하게 파악할 수 있도록 하고, 졸음운전으로 판단된 경우 알람신호를 출력하여 운전자가 다시 운전에 집중할 수 있도록 한다.
또한, 알람신호 출력 후 주행제어에 변화가 없는 경우, 알람신호 출력강도를 키우고 안전주행 모드, 자율주행모드 및 안전 정차 모드 등으로 변환하여, 졸음운전으로 주행중인 차량을 안전하게 정차시키도록 함으로써 졸음운전으로 인한 안전사고발생을 최대한 방지한다.
개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.
110: 데이터베이스
130: 생성모듈
150: 분석모듈
170: 판단모듈
190: 알림모듈

Claims (12)

  1. 초광대역(UWB, Ultra-wide band) 측위를 통한 운전자 생체신호 감지 시스템의 졸음운전 감지 방법에 있어서,
    (A) 생성모듈은 초광대역 임펄스레이더를 포함하는 졸음감지신호를 생성하는 단계;
    (B) 분석모듈은 상기 졸음감지신호를 송출하고, 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 검출하고, 차량의 조향, 기어, 속도 조정 및 안전장치, 유틸리티의 제어 시점 및 변동 시점으로 운전자의 운전패턴을 실시간으로 파악하고, 기 저장된 운전패턴과 비교하여 운전자의 반응속도나 장치 조작속도가 저장된 운전패턴 데이터와의 차이를 산출하는 단계;
    (C) 판단모듈은 분석모듈에서 검출된 전자파 신호 분석 결과와 차량제어신호 및 반사된 전자파 신호를 통해 운전자의 폐, 심장을 포함하는 주요장기기관의 움직임, 운동량, 반응속도를 파악하여 운전자의 심장박동과 호흡주기를 파악하고, 심장박동주기와 호흡주기를 포함하는 운전자 생체 신호를 기 저장된 생체 정보와 비교하여 운전자의 졸음여부를 판단하는 단계; 및
    (D) 알림모듈은 운전자가 졸음운전 중인 것으로 판단된 경우, 운전석 진동 및 소리 알림을 통해 졸음운전을 경고하는 단계; 를 포함하고,
    상기 (B) 단계; 는
    (B-1) 상기 생성모듈에서 초광대역(UWB) 주파수 신호, 초광대역(UWB) 임펄스레이더를 포함하는 졸음감지신호를 운전자에게 SAR(Synthetic Aperture Radar)스캐닝으로 송출하면, 상기 운전자로부터 반사된 전자파 신호를 수집하는 단계;
    (B-2) 상기 반사된 전자파 신호를 시간영역에서 오버샘플링 하는 단계;
    (B-3) 샘플링된 전자파신호(Bs(X, k))로 제로시간을 추정하는 단계;
    (B-4) 제로시간 추정 이후, 크로스토크(crosstalk)를 제거하는 단계; 및
    (B-5) 크로스토크가 제거된 수신신호(Bsτc(X, k))를 디컨벌루션 하는 단계; 를 포함하고
    상기 (C) 단계; 는
    상기 분석모듈에서 전달된 반사신호와 기준신호의 차이값이 일정 수준을 초과하고, 운전자의 운전패턴과 실시간 차량 제어패턴을 비교하여 운전패턴과 차량패턴의 차이가 일정 수준 이상인 경우 졸음운전으로 판단하고
    상기 분석모듈에서 파악된 운전자의 심박수 및 호흡수가 일정 수치 이하인 경우 졸음운전으로 판단하는 것을 특징으로 하는 졸음운전 감지방법.
  2. 삭제
  3. 제 1항에 있어서, 상기 (B) 의 단계; 는
    상기 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 기 저장된 기준 신호의 파형 및 위상변화와 비교하여, 반사신호와 기준신호의 오차율을 파악하는 것을 특징으로 하는 졸음운전 감지방법.
  4. 제 3항에 있어서, 상기 (B) 분석모듈은 상기 졸음감지신호를 송출하고, 운전자에 의해 반사된 전자파 신호의 파형 및 위상변화를 검출하는 단계; 는
    반사된 신호의 최대피크값, 주기, 일정시간간격에 대한 출력값을 포함하는 졸음운전 판단정보를 설정하고, 상기 졸음운전 판단정보에 대한 반사신호와 기준신호의 차이값을 산출하는 것을 특징으로 하는 졸음운전 감지방법.
  5. 제 1항에 있어서, 상기 (B)의 단계; 는
    상기 반사된 전자파 신호를 통해 운전자의 심박수 및 호흡수를 파악하는 것을 특징으로 하는 졸음운전 감지방법.
  6. 삭제
  7. 제 1항에 있어서, 상기 (D) 알림모듈은 운전자가 졸음운전 중인 것으로 판단된 경우, 운전석 진동 및 소리 알림을 통해 졸음운전을 경고하는 단계; 는
    졸음운전 경고 신호가 출력된 이후, 일정시간 동안 운전자에 의한 차량 제어신호가 입력되지 않는 경우, 자율주행 모드로 전환하고 상기 졸음운전 경고신호강도를 점진적으로 증가시켜 출력하는 것을 특징으로 하는 졸음운전 감지방법.
  8. 제 1항에 있어서, 상기 (B-2) 상기 반사된 전자파 신호를 시간영역에서 오버샘플링 하는 단계; 는
    3차 스플라인 보간법(Cubic Spline Interpolation)을 사용하여
    수학식 1
    Bs(X, k) = Spline (B(X, n), KO); k = nKO - KO + 1
    (Bs: 샘플링된 수신신호, Spline: 3차 스플라인함수, k: 오버샘플링된 이산시간) 을 통해, 운전자에 의해 반사된 전자파 신호를 시간영역에서 오버샘플링 하는 것을 특징으로 하는 졸음운전 감지방법.
  9. 제 1항에 있어서, 상기 (B-3) 샘플링된 전자파신호(Bs(X, k))로 제로시간을 추정하는 단계; 는
    전자파신호 중 크로스토크 신호가 시작되는 시간인 제로시간(τ(k))을 추출하고,
    수학식 2
    Bsτ (X; k) = Bs(X; k - τ (k))
    Bsτ: 샘플링된 수신신호를 제로시간만큼 이동시킨 신호
    τ(k): 시간상수
    를 통해 제로시간을 추정하는 것을 특징으로 하는 졸음운전 감지방법.
  10. 제 1항에 있어서, 상기 (B-4) 제로시간 추정 이후, 크로스토크(crosstalk)를 제거하는 단계; 는
    제로시간만큼 이동된 전자파신호에서 크로스 토크 신호(CA(k))를 제거하는
    수학식 4: Bsτc(X, k) = Bsτ(X, k) - CA(k - τ (k))
    (Bsτc(X, k): 샘플링된 수신신호를 제로시간 추정 및 크로스토크를 제거한 후의 수신신호) 를 통해 크로스 토크를 제거하는 것을 특징으로 하는 졸음운전 감지방법.
  11. 제 1항에 있어서, 상기 (B-5) 크로스토크가 제거된 수신신호(Bsτc(X, k))를 디컨벌루션 하는 단계; 는
    수학식 5
    Figure 112019092558878-pat00009

    를 이용하고,
    hs(k) 는 운전자 생체신호감지시스템의 이동함수(transfer function)인 것을 특징으로 하는 졸음운전 감지방법.
  12. 제 1항에 있어서, 상기 (B-5) 크로스토크가 제거된 수신신호(Bsτc(X, k))를 디컨벌루션 하는 단계; 는
    최적화 알고리즘, 최소 자승 필터링(Least Squares Filtering)알고리즘, 위어 필터링 알고리즘(Wiewer Filtering), 매치드 필터링 알고리즘(Matched filtering), 최소 매치드 필터링 알고리즘(minmatched filtering), 다중에코 및 하울링 감소(Multiple Echoes & Howling Reducing)알고리즘 및 다중 신호 분류 알고리즘(Multiple Signal Classification)을 포함하는 디컨볼루션 알고리즘 중 어느 하나를 통해 상기 크로스토크가 제거된 수신신호(Bsτc(X, k))를 역 필터링 하는 것을 특징으로 하는 졸음운전 감지방법.
KR1020180088052A 2018-07-27 2018-07-27 Uwb 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법 KR102060100B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180088052A KR102060100B1 (ko) 2018-07-27 2018-07-27 Uwb 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180088052A KR102060100B1 (ko) 2018-07-27 2018-07-27 Uwb 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법

Publications (1)

Publication Number Publication Date
KR102060100B1 true KR102060100B1 (ko) 2019-12-30

Family

ID=69103133

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180088052A KR102060100B1 (ko) 2018-07-27 2018-07-27 Uwb 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법

Country Status (1)

Country Link
KR (1) KR102060100B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111731172A (zh) * 2020-06-30 2020-10-02 重庆宏立至信科技发展集团股份有限公司 一种智能车用座椅控制方法
CN113370962A (zh) * 2021-07-28 2021-09-10 上海电机学院 一种基于驾驶员状态的紧急自动停车系统
WO2021230696A1 (ko) * 2020-05-15 2021-11-18 사회복지법인 삼성생명공익재단 졸음 경고 시스템 및 방법
KR20220152829A (ko) 2021-05-10 2022-11-17 현대자동차주식회사 차량 사운드 기반 감성 케어 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021230696A1 (ko) * 2020-05-15 2021-11-18 사회복지법인 삼성생명공익재단 졸음 경고 시스템 및 방법
CN111731172A (zh) * 2020-06-30 2020-10-02 重庆宏立至信科技发展集团股份有限公司 一种智能车用座椅控制方法
CN111731172B (zh) * 2020-06-30 2021-12-17 麦格纳座椅研发(重庆)有限公司 一种智能车用座椅控制方法
KR20220152829A (ko) 2021-05-10 2022-11-17 현대자동차주식회사 차량 사운드 기반 감성 케어 장치 및 방법
CN113370962A (zh) * 2021-07-28 2021-09-10 上海电机学院 一种基于驾驶员状态的紧急自动停车系统

Similar Documents

Publication Publication Date Title
KR102060100B1 (ko) Uwb 를 이용한 운전자 생체신호 감지 시스템 및 졸음운전 감지 방법
KR102109695B1 (ko) 초광대역 임펄스 레이더를 이용하여 차량 내 잔류 동승자를 감지하고 알리는 알림 방법
US11204647B2 (en) System and method for radar gesture recognition
EP3831647B1 (en) Vehicle occupant detection device
CN108490388B (zh) 一种基于uwb与vlc技术的多源联合室内定位方法
JP7150292B2 (ja) 行動認識システム、及び行動認識方法
Lazaro et al. Seat-occupancy detection system and breathing rate monitoring based on a low-cost mm-wave radar at 60 ghz
CN116981954A (zh) 用于操作超宽带设备的方法、超宽带设备以及包括超宽带设备的车辆
EP3692392B1 (en) Multi-pulse fusion analysis for lidar ranging
CN103048654A (zh) 雷达传感器和使用所述雷达传感器检测对象的方法
CN113447905B (zh) 双毫米波雷达人体跌倒检测装置及检测方法
Bai et al. WiDrive: Adaptive WiFi-based recognition of driver activity for real-time and safe takeover
CN113226861A (zh) 利用超宽带的雷达的车辆内乘客感知系统及方法
KR20210020913A (ko) 무선 신호들에 기반한 제스처들의 인식
CN113657140A (zh) 基于信道脉冲响应的相位检测移动对象
US20190374126A1 (en) Method and device for measuring biometric signal by using radar
KR102060101B1 (ko) 초광대역 레이더를 이용한 유아수면관리 시스템의 유아 수면관리 방법
Jung et al. CNN-based driver monitoring using millimeter-wave radar sensor
JP2010032442A (ja) 測位システム及び処理装置
CN113341392B (zh) 一种基于多站雷达微多普勒运动测向的人体行为分类方法
JP2024514618A (ja) Ｄｎｎ基盤の人の顔分類
KR102122758B1 (ko) 생체신호 측정용 레이더에서 레이더 수집신호의 랜덤노이즈 제거방법 및 그 장치
KR102103260B1 (ko) 초 광대역 레이더를 이용해 사람의 재실 감지가 가능한 다중 인식 장치 및 방법
KR102322480B1 (ko) 대상체 크기 및 동작강도에 최적화된 검출 임계치를 적용할 수 있는 uwb 위치인식시스템 및 uwb 위치인식방법
Godana et al. Estimating human movement parameters using a software radio-based radar

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant