KR20160036968A - 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법 - Google Patents
운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법 Download PDFInfo
- Publication number
- KR20160036968A KR20160036968A KR1020140129384A KR20140129384A KR20160036968A KR 20160036968 A KR20160036968 A KR 20160036968A KR 1020140129384 A KR1020140129384 A KR 1020140129384A KR 20140129384 A KR20140129384 A KR 20140129384A KR 20160036968 A KR20160036968 A KR 20160036968A
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- overload
- inattention
- information
- bayesian network
- Prior art date
Links
- 206010041349 Somnolence Diseases 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000001364 causal effect Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000037007 arousal Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 208000034693 Laceration Diseases 0.000 claims description 3
- 230000036626 alertness Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 206010062519 Poor quality sleep Diseases 0.000 abstract 1
- 208000032140 Sleepiness Diseases 0.000 description 14
- 230000037321 sleepiness Effects 0.000 description 14
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/21—Voice
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
Abstract
본 발명은 하이브리드 동적 베이지안 네트워크 방법을 사용하여 계산의 복잡성과 소요시간을 줄이고, 운전자의 영상, 음성, 생체 정보와 차량 정보 외에 센서들의 상태 및 데이터 신뢰도를 고려하여, 운전자의 졸음, 부주의 및 과부하를 통합 판단하고, 운전자 상태 판단에 대한 오경보율을 감소시킴으로써, 운전자의 주행 안전에 도움을 줄 수 있도록 하는 운전자 상태 통합 판단 장치 및 방법을 제공하기 위한 것으로서, 센서부로부터 입력되는 센싱 정보들 및 운전 성향을 기반으로 운전자의 각성도, 부주의, 과부하를 포함하는 운전자 상태를 판단하는 운전자 상태 판단부와, 상기 판단된 운전자 상태 정보를 이용하여 센싱 정보별로 분류하여 군집화하고, 베이지안 네트워크 층의 각 노드 간 인과관계를 정의하여 원인(졸음, 부주의, 과부하를 포함)에 의한 결과(속도 유지, 눈 감김 정도를 포함)를 조건부 확률표로 정리하여 정의된 하이브리드 동적 베이지안 네트워크를 이용하여 졸음, 부주의 및 과부하(원인)가 발생될 확률을 계산하여 운전자 통합 상태를 추정하는 운전자 모델결과 처리부를 포함하여 구성되는데 있다.
Description
본 발명은 운전자 상태를 모니터링하는 시스템에 관한 것으로, 특히 주행 중인 운전자와 차량의 정보를 이용하여 운전자의 상태, 즉 운전자 졸음, 부주의 및 과부하를 판단할 수 있도록 하는 운전자 상태 통합 판단 장치 및 방법에 관한 것이다.
현대 사회에서 차량의 폭발적인 증가와 더불어 각종 교통사고에 의한 사망자도 증가하는 추세다. 이러한 교통사고 사망자를 최대한 줄이기 위하여 세계 각국은 ASV(advanced safety vehicle; 선진 안전 자동차) 개발에 많은 노력을 하고 있다.
ASV는 교통사고 사망자를 줄이는 차, 운전자의 피로를 덜어주는 차, 운전하기 쉬운 차로서 자동차의 안전성 향상과 보행자 보호를 위해 사고를 미리 방지하는 것을 그 기본 개념으로 하고 있다. 그리고 이에 적용된 안전기술은 졸음운전 경보 시스템, 야간 장애물 감지 시스템, 차의 위험상태 경보 시스템 등이 있다.
이중 졸음운전 경보 시스템은 CCD 카메라를 통한 운전자의 상태 즉, 운전자 눈 깜박임 등의 거동 상태에 따른 영상 분석과 운전자의 브레이크, 조향 스위치 등의 각종 조작류 스위치의 신호를 이용하여 졸음운전을 판단한 뒤 운전자에게 경보하여 줌으로써 졸음운전을 방해하여 안정된 차량 운행을 할 수 있도록 한다. 이때 운전자 눈 깜박임 즉, 눈의 개폐 동작에 따른 졸음운전 판단은 운전자가 일정 시간 이상 눈을 감고 있는 것이 자주 발생하면 졸음운전이라 판단하여 졸음운전 경보를 한다.
이처럼 제안된 기술은 운전자의 영상, 음성, 생체 정보와 차량 정보와 같이 여러 모듈의 데이터를 이용하고 있지만, 운전자의 알려진 최근 상태와 센서의 작동 상태 및 데이터의 신뢰도는 고려하고 있지 않아 운전자 상태 판단 정확도가 개선될 여지가 많다. 또한, 운전자 상태 판단에 사용되는 데이터가 완벽히 들어오는 경우(이상적인 경우) 외에도 실 상황에서 발생 가능한 불완전한 상태(데이터 유실, 지연 등)에 대한 체계적인 방법은 미흡할 뿐이다.
다른 방법으로 운전자의 졸음이나 부주의와 같은 비정상 운전 상태를 판단하는 알고리즘으로 베이지안 네트워크 기법이 사용되고 있다. 그러나 이러한 기법은 운전자 상태를 추정하기 위하여 상대적으로 많은 컴퓨팅 리소스가 필요하고 시간이 많이 소요된다고 알려져 있다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 하이브리드 동적 베이지안 네트워크 방법을 사용하여 계산의 복잡성과 소요시간을 줄이고, 운전자의 영상, 음성, 생체 정보와 차량 정보 외에 센서들의 상태 및 데이터 신뢰도를 고려하여, 운전자의 졸음, 부주의 및 과부하를 통합 판단하고, 운전자 상태 판단에 대한 오경보율을 감소시킴으로써, 운전자의 주행 안전에 도움을 줄 수 있도록 하는 운전자 상태 통합 판단 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 장치의 특징은 센서부로부터 입력되는 센싱 정보들 및 운전 성향을 기반으로 운전자의 각성도, 부주의, 피로도를 포함하는 운전자 상태를 판단하는 운전자 상태 판단부와, 상기 판단된 운전자 상태 정보를 이용하여 센싱 정보별로 분류하여 군집화하고, 베이지안 네트워크 층의 각 노드 간 인과관계를 정의하여 원인(졸음, 부주의, 과부하를 포함)에 의한 결과(속도 유지, 눈 감김 정도를 포함)를 조건부 확률표로 정리하여 정의된 하이브리드 동적 베이지안 네트워크를 이용하여 졸음, 부주의 및 과부하(원인)가 발생될 확률을 계산하여 운전자 통합 상태를 추정하는 운전자 모델결과 처리부를 포함하여 구성되는데 있다.
바람직하게 상기 센싱 정보는 운전자의 영상, 생체, 음성 정보 및 차량 정보를 포함하는 것을 특징으로 한다.
바람직하게 상기 운전자 성향 판단부는 분류된 센싱 정보들을 기반으로 파라미터별 설정된 임계값과 비교하여 파라메타별 가중치를 적용하여 운전자의 운전성향을 판단하는 것을 특징으로 한다.
바람직하게 상기 운전자 상태 판단부는 센싱 정보들 및 운전 성향을 기반으로 운전자의 각성(alertness) 정도를 판단하는 각성도 판단부와, 센싱 정보들 및 운전 성향을 기반으로 운전자의 부주의 정도를 판단하는 부주의 판단부와, 센싱 정보들 및 운전 성향을 기반으로 운전자의 과부하 정도를 판단하는 과부하 판단부를 포함하여 구성되는 것을 특징으로 한다.
바람직하게 상기 운전자 모델결과 처리부는 베이지안 네트워크 층과 클러스터 층으로 나누어져 있으며, 상기 클러스터 층에서는 서포트 벡터 머신(Support Vector Machine)과 같은 클러스터 알고리즘을 통해 많은 변수들을 특정 기준으로 군집화되어 구성되고, 상기 베이지안 네트워크 층의 각 노드들이 군집화되고 있는 클러스터 층과 인과관계로 정의되어 네트워크를 구성하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 방법의 특징은 (A) 차량에 부착되어 있는 센서부를 통해 센싱되어 입력되는 센싱정보를 이용하여 운전자의 운전성향, 운전자 상태를 기준으로 영상/생체/차량의 정보들을 군집화하고, 베이지안 네트워크의 각 노드 간 인과관계를 정의하며, 원인(졸음, 부주의, 과부하를 포함)에 의한 결과(속도 유지, 눈 감김 정도를 포함)를 조건부 확률 표로 정리하는 단계와, (B) 상기 조건부 확률표를 기반으로 주행 중 실시간으로 입력되는 데이터들(원인에 의한 결과)을 정의된 하이브리드 동적 베이지안 네트워크를 이용하여 졸음, 부주의 및 과부하(원인)가 발생할 확률을 산출하여 운전자의 통합 상태를 판단하는 단계를 포함하여 이루어지는데 있다.
바람직하게 상기 운전자 상태는 센서부로부터 입력되는 영상, 생체, 음성 정보와 차량 정보를 포함하는 센싱 정보들 및 운전자 성향 판단부에서 입력되는 운전 성향을 기반으로 운전자의 각성도, 부주의, 과부하를 포함하여 운전자 상태를 판단하는 것을 특징으로 한다.
바람직하게 상기 하이브리드 동적 베이지안 네트워크는 베이지안 네트워크 층과 클러스터 층으로 나누는 단계와, 상기 클러스터 층에서 서포트 벡터 머신(Support Vector Machine)과 같은 클러스터 알고리즘을 통해 많은 변수들을 특정 기준으로 군집화되어 형성하는 단계와, 상기 베이지안 네트워크 층의 각 노드들이 군집화되고 있는 클러스터 층과 인과관계로 정의되어 네트워크를 연결하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법은 다음과 같은 효과가 있다.
첫째, 운전자 졸음, 부주의 및 과부하 판단을 통해 주행 중인 운전자의 상태를 실시간으로 판단하여, 비정상적인 운전상태가 추정이 될 시에 해당 정보를 시스템에 제공하여 궁극적으로 운전자가 안전한 주행을 할 수 있도록 보조하는 효과가 있다. 이에 따라, 안전운전에 활용되어 교통사고 감소에 도움을 줄 수 있는 효과가 있다.
둘째, 기존 방법 대비, 군집층을 이용함으로써, 계산 속도를 향상시킬 수 있고, 동적 베이지안 네트워크를 사용하여 이전 혹은 최근의 운전자 상태를 고려할 수 있어, 운전자 상태의 정확도가 향상될 수 있다.
셋째, 센서의 작동 상태와 데이터의 신뢰도를 고려하여, 모든 데이터가 입력 가능한 이상적인 상황뿐만 아니라, 센서 오작동, 데이터 유실 시 등에 대비하여 알고리즘의 유용성이 향상될 수 있다.
도 1 은 본 발명의 실시예에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 장치의 구성을 나타낸 블록도
도 2 는 도 1의 운전자 모델결과 처리부에서 수행하는 하이브리드 베이지안 네트워크를 설명하기 위한 도면
도 3 은 기존의 베이지안 네트워크를 설명하기 위한 도면
도 4 는 본 발명의 실시예에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 방법을 설명하기 위한 흐름도
도 2 는 도 1의 운전자 모델결과 처리부에서 수행하는 하이브리드 베이지안 네트워크를 설명하기 위한 도면
도 3 은 기존의 베이지안 네트워크를 설명하기 위한 도면
도 4 는 본 발명의 실시예에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 방법을 설명하기 위한 흐름도
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1 은 본 발명의 실시예에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 장치의 구성을 나타낸 블록도이다.
도 1에서 도시하고 있는 것과 같이, 본 발명의 통합 판단 장치(200)는 운전자의 영상, 생체, 음성 정보와 차량 정보를 센싱하는 센서부(100)로부터 입력되는 센싱 정보들 및 운전자 성향 판단부(300)에서 입력되는 운전 성향을 기반으로 운전자의 각성도, 부주의, 피로도 등을 포함하는 운전자 상태를 판단하는 운전자 상태 판단부(210)와, 상기 운전자 상태 판단부(210)에서 판단된 운전자 상태 정보를 이용하여 도 2에서 도시하고 있는 것과 같이 입력되는 센싱 정보별로 분류하여 군집화(221)하고, 베이지안 네트워크 층의 각 노드(222) 간 인과관계를 정의하여 원인(졸음, 부주의, 과부하)에 의한 결과(속도 유지, 눈 감김 정도 등)를 조건부 확률표로 정리하여 정의된 하이브리드 동적 베이지안 네트워크를 이용하여 졸음, 부주의 및 과부하(원인)가 발생될 확률을 계산하여 운전자 통합 상태를 추정하는 운전자 모델결과 처리부(220)로 구성된다.
이때, 상기 운전자 성향 판단부(300)는 분류된 센싱 정보들을 기반으로 파라미터별 설정된 임계값과 비교하여 파라메타별 가중치를 적용하여 운전자의 운전성향을 판단한다.
그리고 상기 운전자 상태 판단부(200)는 센싱 정보들 및 운전 성향을 기반으로 운전자의 각성(alertness) 정도를 판단하는 각성도 판단부(231)와, 센싱 정보들 및 운전 성향을 기반으로 운전자의 부주의 정도를 판단하는 부주의 판단부(232)와, 센싱 정보들 및 운전 성향을 기반으로 운전자의 피로도 정도를 판단하는 과부하 판단부(233)로 구성된다.
또한 상기 운전자 모델 결과 처리부(220)는 도 2에서 도시하고 있는 것과 같이, 베이지안 네트워크 층과 클러스터 층으로 나누어져 있다. 그리고 클러스터 층에서는 서포트 벡터 머신(Support Vector Machine)과 같은 클러스터 알고리즘을 통해 많은 변수들을 특정 기준으로 군집화(221)되고 있다. 상기 군집화는 하나의 바람직한 실시예를 나타낸 것이며, 분류되는 기준은 여러 가지 방법으로 정할 수 있다. 이처럼, 상기 운전자 모델결과 처리부(220)는 베이지안 네트워크 층의 각 노드(222)들이 많은 변수들을 특정 기준으로 군집화(221)되고 있는 클러스터 층과 인과관계로 정의됨에 따라 기존의 일반 베이지안 네트워크(노드들이 하나하나 연결된 구조_도 3 참조)에 비해 더 효율적인 계산이 가능하다.
이와 같이 구성된 본 발명에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 또는 도 2와 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 4 는 본 발명의 실시예에 따른 운전자 졸음, 부주의 및 과부하 통합 판단 방법을 설명하기 위한 흐름도이다.
도 4를 참조하여 설명하면 먼저, 차량에 부착되어 있는 센서부(100)를 통해 센싱되는 센싱정보를 입력받는다(S100). 이때, 상기 센싱정보는 영상정보 모듈, 음성정보 모듈, 생체정보 모듈, 차량정보 모듈, 운전자 성향 모듈을 포함하는 센서부(100)의에서 센싱되는 데이터 외에 각 센서부(100)의 작동 상태 및 각 데이터의 신뢰도, 그리고 가장 최근에 추정된 운전자 상태(졸음, 부주의, 과부하) 정보를 포함한다.
이어 상기 입력받은 센싱정보를 이용하여 운전자의 졸음, 부주의 및 과부하를 판단하기 위해, 운전자의 운전성향, 운전자 상태를 기준으로 영상/생체/차량 등의 정보들을 군집화하고, 베이지안 네트워크의 각 노드 간 인과관계를 정의하며, 원인(졸음, 부주의, 과부하)에 의한 결과(속도 유지, 눈 감김 정도 등)를 조건부 확률 표로 정리하여 구성한다(S200).
이때, 상기 운전자 상태는 센서부(100)로부터 입력되는 영상, 생체, 음성 정보와 차량 정보를 포함하는 센싱 정보들 및 운전자 성향 판단부(300)에서 입력되는 운전 성향을 기반으로 운전자의 각성도, 부주의, 피로도 등의 운전자 상태를 판단하게 된다.
그리고 상기 구성된 조건부 확률표를 기반으로 주행 중 실시간으로 입력되는 데이터들(원인에 의한 결과)을 정의된 하이브리드 동적 베이지안 네트워크를 이용하여 졸음, 부주의 및 과부하(원인)가 발생할 확률을 산출하여 운전자의 통합 상태를 판단한다(S300). 이때, 상기 하이브리드 동적 베이지안 네트워크는 먼저 베이지안 네트워크 층과 클러스터 층으로 나눈다. 그리고 상기 클러스터 층에서 서포트 벡터 머신(Support Vector Machine)과 같은 클러스터 알고리즘을 통해 많은 변수들을 특정 기준으로 군집화되여 형성하고, 상기 베이지안 네트워크 층의 각 노드들이 군집화되고 있는 클러스터 층과 인과관계로 정의되어 네트워크를 연결하여 구성된다.
이에 따라, 주행 중인 운전자의 상태를 실시간으로 판단하여, 비정상적인 운전 상태가 추정이 될 시에 해당 정보를 시스템에 제공하여 궁극적으로 운전자가 안전한 주행을 할 수 있도록 보조한다.
상기 졸음, 부주의 및 과부하(원인)가 발생할 확률을 산출하기 위한 실시예로서, 운전자가 주행 중, 눈이 감기는 정도가 특정 기준 이상이며 특정 기준 이상 지속이 되고, 속도 유지 및 차선 유지 능력이 기본 주행 성능에 비해 떨어지며, 운전자의 가장 최근에 추정된 상태가 졸음이고, 동시에 센서 상태 정상, 데이터의 신뢰도가 높은 경우, 졸음 상태일 확률이 높다고 판단한다.
또한 다른 실시예로서, 운전자가 주행 중, 차량 모듈 데이터는 유실되어 사용할 수 없으나, 영상 모듈 데이터가 작동할 경우, 영상 모듈 데이터의 눈이 감기는 정도가 특정 기준 이상이면 졸음 상태 확률이 이전 상태가보다 증가했다고 판단한다.
또한 다른 실시예로서, 운전자가 주행 중, 입 움직임과 음성모듈의 노이즈 데이터가 검출되며, 심박수가 증가하고, 속도 유지 및 차선 유지 능력이 기본 주행 성능에 비해 떨어지며, 운전자의 가장 최근에 추정된 상태가 과부하이고, 동시에 센서 상태 정상, 데이터의 신뢰도가 높은 경우, 과부하 상태일 확률이 높다고 판단한다.
또한 다른 실시예로서, 운전자가 주행 중, 영상 모듈 데이터가 유실되어 사용할 수 없으나, 음성모듈의 노이즈 데이터가 일정 기준 이상일 경우, 과부하 상태가 이전 상태보다 감소하지 않은 것으로 판단한다.
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (8)
- 센서부로부터 입력되는 센싱 정보들 및 운전 성향을 기반으로 운전자의 각성도, 부주의, 과부하를 포함하는 운전자 상태를 판단하는 운전자 상태 판단부와,
상기 판단된 운전자 상태 정보를 이용하여 센싱 정보별로 분류하여 군집화하고, 베이지안 네트워크 층의 각 노드 간 인과관계를 정의하여 원인(졸음, 부주의, 과부하를 포함)에 의한 결과(속도 유지, 눈 감김 정도를 포함)를 조건부 확률표로 정리하여 정의된 하이브리드 동적 베이지안 네트워크를 이용하여 졸음, 부주의 및 과부하(원인)가 발생될 확률을 계산하여 운전자 통합 상태를 추정하는 운전자 모델결과 처리부를 포함하여 구성되는 것을 특징으로 하는 운전자 상태 통합 판단 장치. - 제 1 항에 있어서,
상기 센싱 정보는 운전자의 영상, 생체, 음성 정보 및 차량 정보를 포함하는 것을 특징으로 하는 운전자 상태 통합 판단 장치. - 제 1 항에 있어서,
상기 운전자 성향 판단부는 분류된 센싱 정보들을 기반으로 파라미터별 설정된 임계값과 비교하여 파라메타별 가중치를 적용하여 운전자의 운전성향을 판단하는 것을 특징으로 하는 운전자 상태 통합 판단 장치. - 제 1 항에 있어서, 상기 운전자 상태 판단부는
센싱 정보들 및 운전 성향을 기반으로 운전자의 각성(alertness) 정도를 판단하는 각성도 판단부와,
센싱 정보들 및 운전 성향을 기반으로 운전자의 부주의 정도를 판단하는 부주의 판단부와,
센싱 정보들 및 운전 성향을 기반으로 운전자의 과부하 정도를 판단하는 과부하 판단부를 포함하여 구성되는 것을 특징으로 하는 운전자 상태 통합 판단 장치. - 제 1 항에 있어서,
상기 운전자 모델결과 처리부는 베이지안 네트워크 층과 클러스터 층으로 나누어져 있으며, 상기 클러스터 층에서는 서포트 벡터 머신(Support Vector Machine)과 같은 클러스터 알고리즘을 통해 많은 변수들을 특정 기준으로 군집화되어 구성되고, 상기 베이지안 네트워크 층의 각 노드들이 군집화되고 있는 클러스터 층과 인과관계로 정의되어 네트워크를 구성하는 것을 특징으로 하는 운전자 상태 통합 판단 장치. - (A) 차량에 부착되어 있는 센서부를 통해 센싱되어 입력되는 센싱정보를 이용하여 운전자의 운전성향, 운전자 상태를 기준으로 영상/생체/차량의 정보들을 군집화하고, 베이지안 네트워크의 각 노드 간 인과관계를 정의하며, 원인(졸음, 부주의, 과부하를 포함)에 의한 결과(속도 유지, 눈 감김 정도를 포함)를 조건부 확률 표로 정리하는 단계와,
(B) 상기 조건부 확률표를 기반으로 주행 중 실시간으로 입력되는 데이터들(원인에 의한 결과)을 정의된 하이브리드 동적 베이지안 네트워크를 이용하여 졸음, 부주의 및 과부하(원인)가 발생할 확률을 산출하여 운전자의 통합 상태를 판단하는 단계를 포함하여 이루어지는 것을 특징으로 하는 운전자 상태 통합 판단 방법. - 제 6 항에 있어서,
상기 운전자 상태는 센서부로부터 입력되는 영상, 생체, 음성 정보와 차량 정보를 포함하는 센싱 정보들 및 운전자 성향 판단부에서 입력되는 운전 성향을 기반으로 운전자의 각성도, 부주의, 피로도를 포함하여 운전자 상태를 판단하는 것을 특징으로 하는 운전자 상태 통합 판단 방법. - 제 6 항에 있어서,
상기 하이브리드 동적 베이지안 네트워크는
베이지안 네트워크 층과 클러스터 층으로 나누는 단계와,
상기 클러스터 층에서 서포트 벡터 머신(Support Vector Machine)과 같은 클러스터 알고리즘을 통해 많은 변수들을 특정 기준으로 군집화되어 형성하는 단계와,
상기 베이지안 네트워크 층의 각 노드들이 군집화되고 있는 클러스터 층과 인과관계로 정의되어 네트워크를 연결하는 단계를 포함하여 이루어지는 것을 특징으로 하는 운전자 상태 통합 판단 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140129384A KR20160036968A (ko) | 2014-09-26 | 2014-09-26 | 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140129384A KR20160036968A (ko) | 2014-09-26 | 2014-09-26 | 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160036968A true KR20160036968A (ko) | 2016-04-05 |
Family
ID=55800214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140129384A KR20160036968A (ko) | 2014-09-26 | 2014-09-26 | 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20160036968A (ko) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180007511A (ko) * | 2016-07-13 | 2018-01-23 | 국민대학교산학협력단 | 운전자 특성을 고려한 운전 지원 장치 및 방법 |
| WO2018225892A1 (ko) * | 2017-06-07 | 2018-12-13 | 상명대학교산학협력단 | 라이프로깅 데이터 간 인과 관계 분석 장치 및 그 방법 |
| KR20190111318A (ko) * | 2018-03-22 | 2019-10-02 | 슈어소프트테크주식회사 | 운전 상태 추정을 위한 이동체, 서버, 운전 상태 추정 방법 및 시스템 |
| KR20200020313A (ko) * | 2018-08-17 | 2020-02-26 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| KR20200068047A (ko) * | 2018-11-26 | 2020-06-15 | 한국전자통신연구원 | 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법 |
| KR102122976B1 (ko) * | 2019-11-06 | 2020-06-16 | 국방과학연구소 | 조종사 정신적 과부하 상태 검출 장치 및 그 방법 |
| CN114212105A (zh) * | 2021-12-16 | 2022-03-22 | 中国人民解放军国防科技大学 | 一种高泛化能力的交互车辆驾驶意图预测方法和装置 |
| US11857324B2 (en) | 2021-02-22 | 2024-01-02 | Dassault Aviation | System for monitoring the operational status of an aircraft crew, and associated method |
-
2014
- 2014-09-26 KR KR1020140129384A patent/KR20160036968A/ko active Search and Examination
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180007511A (ko) * | 2016-07-13 | 2018-01-23 | 국민대학교산학협력단 | 운전자 특성을 고려한 운전 지원 장치 및 방법 |
| WO2018225892A1 (ko) * | 2017-06-07 | 2018-12-13 | 상명대학교산학협력단 | 라이프로깅 데이터 간 인과 관계 분석 장치 및 그 방법 |
| KR20190111318A (ko) * | 2018-03-22 | 2019-10-02 | 슈어소프트테크주식회사 | 운전 상태 추정을 위한 이동체, 서버, 운전 상태 추정 방법 및 시스템 |
| KR20200020313A (ko) * | 2018-08-17 | 2020-02-26 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| KR20200068047A (ko) * | 2018-11-26 | 2020-06-15 | 한국전자통신연구원 | 이용자의 현재 수행작업에 기반한 정보 제공 장치 및 방법 |
| KR102122976B1 (ko) * | 2019-11-06 | 2020-06-16 | 국방과학연구소 | 조종사 정신적 과부하 상태 검출 장치 및 그 방법 |
| US11857324B2 (en) | 2021-02-22 | 2024-01-02 | Dassault Aviation | System for monitoring the operational status of an aircraft crew, and associated method |
| CN114212105A (zh) * | 2021-12-16 | 2022-03-22 | 中国人民解放军国防科技大学 | 一种高泛化能力的交互车辆驾驶意图预测方法和装置 |
| CN114212105B (zh) * | 2021-12-16 | 2024-03-05 | 中国人民解放军国防科技大学 | 一种高泛化能力的交互车辆驾驶意图预测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20160036968A (ko) | 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법 | |
| US10231660B2 (en) | System and method for assessing arousal level of driver of vehicle that can select manual driving mode or automated driving mode | |
| EP3675121B1 (en) | Computer-implemented interaction with a user | |
| JP6087088B2 (ja) | 乗り物の操作者の遂行見積もりを向上させるためのシステムおよび方法 | |
| JP6213282B2 (ja) | 運転支援装置 | |
| CN112424848B (zh) | 警告装置以及驾驶倾向分析方法 | |
| US8085139B2 (en) | Biometric vehicular emergency management system | |
| CN109080536B (zh) | 一种车道偏离预警系统 | |
| CN112428952A (zh) | 一种基于物联网的车辆安全预警系统 | |
| JP2013084236A (ja) | 車両位置情報基盤の非正常運転判定及び警報システム | |
| JP7318475B2 (ja) | 運転者状態判定装置 | |
| JP2021136001A (ja) | 運転支援装置 | |
| KR20150066308A (ko) | 운전자 운행 상태 판단 장치 및 그 방법 | |
| CN113370990A (zh) | 驾驶辅助方法和驾驶辅助装置 | |
| CN110459034B (zh) | 一种疲劳驾驶预警方法和系统 | |
| KR101462067B1 (ko) | 차량정보에 의한 졸음운전 검출 장치 및 방법 | |
| KR20160038158A (ko) | 운전자 성향 반영 위험 운전 감지 시스템 및 방법 | |
| JP7192668B2 (ja) | 覚醒度判定装置 | |
| KR20220082500A (ko) | 운전자 및 차량 외, 내부의 직, 간접적인 영향 분석을 통한 졸음운전 방지 시스템 | |
| US20220055664A1 (en) | Human-Supervised Autonomous Systems Performance and Safety Monitoring Methods and Apparatus | |
| JP7043726B2 (ja) | 適正状態判定方法及び適正状態判定装置 | |
| JP7321371B2 (ja) | 走行支援装置および走行支援方法 | |
| CN117644880B (zh) | 一种面向智能网联汽车的融合安全防护系统及控制方法 | |
| Kaur et al. | Driver’s Drowsiness Detection System Using Machine Learning | |
| Mao et al. | Hybrid Accident Prevention Using Eye Blinking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment |