KR101945706B1 - 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치 - Google Patents
운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치 Download PDFInfo
- Publication number
- KR101945706B1 KR101945706B1 KR1020160108411A KR20160108411A KR101945706B1 KR 101945706 B1 KR101945706 B1 KR 101945706B1 KR 1020160108411 A KR1020160108411 A KR 1020160108411A KR 20160108411 A KR20160108411 A KR 20160108411A KR 101945706 B1 KR101945706 B1 KR 101945706B1
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- information
- vehicle
- boarding
- operation pattern
- Prior art date
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 45
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000033001 locomotion Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000014509 gene expression Effects 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 22
- 230000002159 abnormal effect Effects 0.000 claims description 11
- 230000001815 facial effect Effects 0.000 claims description 11
- 206010041349 Somnolence Diseases 0.000 claims description 9
- 241001282135 Poromitra oscitans Species 0.000 claims description 2
- 206010048232 Yawning Diseases 0.000 claims description 2
- 230000004397 blinking Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B60K2350/2013—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0809—Driver authorisation; Driver identical check
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/42—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/043—Identity of occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
Abstract
본 발명의 일 실시예에 따르면, 운전자 상태 감시 장치가 운전자의 운전 패턴 분석을 통해 운전자 상태를 감시하는 방법에 있어서, (a) 차량 탑승 이후, 상기 운전자의 표정 또는 행동 변화를 촬영하고, 상기 촬영 영상을 토대로 상기 운전자의 전방 주시, 좌측 주시, 우측 주시, 룸미러 주시, 하품 빈도, 눈 깜박임 빈도 및 고개숙임 빈도 중 일 이상을 포함하는 영상처리정보를 생성하는 단계; (b) 상기 차량과 통신을 통해 엔진 구동 정보, 알피엠(RPM, Revolution per minute) 정보, 기어 변속 정보, 운전자에 의한 엑셀/브레이크 페달 작동 정보, 핸들 움직임 정보, 우측·좌측 깜빡임 신호 정보, 차량 속도 및 차량 움직임 패턴 정보 중 일 이상을 포함하는 차량 정보를 수신하는 단계; (c) 상기 운전자의 촬영 영상, 상기 영상처리정보 및 상기 수신된 차량 정보를 토대로 상기 운전자의 운전 패턴을 분석하는 단계; 및 (d) 상기 운전자를 식별하기 위한 운전자 식별 정보를 생성하여 상기 분석 결과 생성된 상기 운전자의 운전 패턴 정보와 매칭하여 저장하는 단계를 포함하는, 운전자 상태 감시 방법이 제공된다.
Description
본 발명은 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치에 관한 것으로, 보다 상세하게는, 주행 중 운전자의 표정, 행동, 또는 운전 습관 등의 운전자별 운전 패턴 분석을 수행하고, 운전자의 실시간 주행 상태를 운전자별 패턴 분석 결과와 비교하여 졸음운전 또는 기타 이상 상황 발생 여부를 감지하는 방법 및 장치에 관한 것이다.
자동차의 운행이 기하 급수적으로 증가하는 현대 사회에서 자동차 사고로 인한 인명 피해가 급증함에 따라, 차량 운행을 위한 안전 장치가 많이 보급되고 있다.
이러한 자동차의 안전을 위한 장치로서, 차선 이탈 경보 장치나 앞차와의 간격을 감지하는 장치 등이 개발되었을 뿐만 아니라, 운전 과실로 인한 사고 예방 장치에 대해 연구 개발이 증가하고 있다.
구체적으로, 운전자의 졸음운전 또는 음주운전이나 기타 다른 이유로 운전자가 정상적인 운전을 하지 못해 발생할 수 있는 사고의 방지를 위한 운전자 상태 인식 기술 연구가 진행되고 있다.
이와 같은 운전자의 졸음운전 방지를 위한 발명으로서, 한국공개특허 제10-2012-0036241호 (선행문헌 1)은 운전자 얼굴의 화상으로부터 눈 부분을 추출하여 운전자의 졸음운전 여부를 판단하는 감지 카메라를 개시하고 있다.
그러나, 선행문헌 1의 경우 단순히 운전자의 눈의 움직임만으로 졸음운전 여부를 판단하므로 정확한 분석이 어려우며, 각 운전자마다 눈의 모양이나 움직임 습관이 상이하기 때문에, 일괄적인 기준을 적용하기 어렵다는 문제점이 있다.
이에, 각 운전자에 적합하게 적용할 수 있는 기준이 필요하며, 다양한 정보를 토대로 졸음운전 또는 돌발 상황 발생 여부를 정확하게 감지할 수 있는 분석 기술이 필요한 실정이다.
본 발명은 전술한 종래기술의 문제점을 해결하기 위한 것으로, 운전자의 모습을 촬영할 뿐만 아니라, 차량의 운행 정보 또는 위치 정보 등을 토대로 운전자의 운전 패턴을 정확히 분석하고, 운전자의 실시간 상태를 상기 분석된 운전 패턴과 비교 분석함으로써, 졸음운전 또는 이상 상황 발생을 정확하게 판단할 수 있도록 하는 것을 그 목적으로 한다.
본 발명의 또 다른 목적은, 운전자별 운전 패턴 정보를 생성함으로써, 각 운전자에게 적합한 운전 상태 감시를 수행하여 졸음운전 또는 이상 상황 발생 판단의 정확성을 더욱 향상시킬 수 있도록 하는 것이다.
상술한 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 운전자 상태 감시 장치가 운전자의 운전 패턴 분석을 통해 운전자 상태를 감시하는 방법에 있어서, (a) 차량 탑승 이후, 상기 운전자의 표정 또는 행동 변화를 촬영하고, 상기 촬영 영상을 토대로 상기 운전자의 전방 주시, 좌측 주시, 우측 주시, 룸미러 주시, 하품 빈도, 눈 깜박임 빈도 및 고개숙임 빈도 중 일 이상을 포함하는 영상처리정보를 생성하는 단계; (b) 상기 차량과 통신을 통해 엔진 구동 정보, 알피엠(RPM, Revolution per minute) 정보, 기어 변속 정보, 운전자에 의한 엑셀/브레이크 페달 작동 정보, 핸들 움직임 정보, 우측·좌측 깜빡임 신호 정보, 차량 속도 및 차량 움직임 패턴 정보 중 일 이상을 포함하는 차량 정보를 수신하는 단계; (c) 상기 운전자의 촬영 영상, 상기 영상처리정보 및 상기 수신된 차량 정보를 토대로 상기 운전자의 운전 패턴을 분석하는 단계; 및 (d) 상기 운전자를 식별하기 위한 운전자 식별 정보를 생성하여 상기 분석 결과 생성된 상기 운전자의 운전 패턴 정보와 매칭하여 저장하는 단계를 포함하는, 운전자 상태 감시 방법이 제공된다.
상기 (b) 단계 이후에, 상기 차량의 위치 정보 또는 차량 이동 경로 정보를 수신하는 단계를 포함하고, 상기 (c) 단계의 운전 패턴 분석은, 상기 운전자가 주행중인 위치별 및 서행운전 또는 고속운전과 같은 운전구간별로 이루어지는 것을 특징으로 하는, 운전자 상태 감시 방법이 제공된다.
상기 (d) 단계의 운전자 식별 정보 생성은, ID 및 패스워드 지정, 운전자 정보가 수록된 운전자 인증용 카드 발급 또는 상기 운전자의 얼굴을 촬영한 영상을 토대로 안면 인식 정보를 생성하는 것을 특징으로 하는, 운전자 상태 감시 방법이 제공된다.
상기 (d) 단계 이후에, 상기 운전자가 기 지정한 ID 및 패스워드를 입력하거나, 발급된 운전자 인증용 카드로부터 상기 운전자 식별 정보를 수신하거나, 또는 상기 운전자의 얼굴을 인식하여 상기 운전자에 대해 생성된 안면 인식 정보가 수신되면, 상기 운전자에 대해 기 저장된 상기 운전 패턴 정보를 검색하는 단계를 포함하는, 운전자 상태 감시 방법이 제공된다.
상기 (d) 단계 이후에, 상기 운전자의 운전 패턴 분석을 주기적으로 수행하여 상기 기 저장된 운전 패턴 정보에서 변화된 운전 패턴이 감지되면, 상기 감지된 변화를 반영하여 상기 기 저장된 상기 운전자의 운전 패턴 정보를 업데이트하는 단계를 포함하는, 운전자 상태 감시 방법이 제공된다.
상기 (d) 단계 이후에, 상기 운전자의 차량 주행중 실시간 운전자 상태를 촬영하여 상기 저장된 운전자의 운전 패턴 정보와 비교 분석하는 단계를 포함하는, 운전자 상태 감시 방법이 제공된다.
상기 (d) 단계 이후에, 상기 운전자의 차량 주행중 실시간 차량 정보를 수신하여 상기 저장된 운전자의 운전 패턴 정보와 비교 분석하는 단계를 포함하는, 운전자 상태 감시 방법이 제공된다.
상기 (d) 단계 이후에, 상기 운전자의 차량 주행중 실시간 차량 위치 정보 또는 차량 이동 경로 정보를 수신하여 상기 차량의 위치에 대응하여 기 저장된 운전자의 위치별 운전 패턴 정보와 비교 분석하는 단계를 포함하는, 운전자 상태 감시 방법이 제공된다.
상기 실시간 운전자 상태 촬영 영상, 상기 실시간 차량 정보 또는 상기 위치별 차량 정보가 기 저장된 상기 운전자의 운전 패턴 정보와 임계치 이상의 차이점이 나타나며, 상기 차이점이 상기 운전자의 의도적인 행위로 인한 결과가 아닐 경우, 상기 운전자의 졸음운전 여부 또는 이상 상황 발생으로 판단하는 단계를 포함하는, 운전자 상태 감시 방법이 제공된다.
상술한 목적을 달성하기 위해 본 발명의 다른 실시예에 따르면, 운전자의 운전 패턴 분석을 통해 운전자 상태를 감시하는 운전자 상태 감시 장치에 있어서, 차량 탑승 이후, 상기 운전자의 표정 또는 행동 변화를 촬영하는, 카메라부; 일 이상의 운전자에 대해 생성된 운전 패턴 정보를 각 운전자별로 구분하여 저장하는, 데이터베이스; 상기 차량과 통신을 통해 엔진 구동 정보, 알피엠(RPM, Revolution per minute) 정보, 기어 변속 정보, 운전자에 의한 엑셀/브레이크 페달 작동 정보, 핸들 움직임 정보, 우측·좌측 깜빡임 신호 정보, 차량 속도 및 차량 움직임 패턴 정보 중 일 이상을 포함하는 차량 정보를 수신하는, 차량 정보 수신부; 상기 카메라부의 촬영 영상 및 상기 차량 정보를 토대로 상기 운전자의 운전 패턴을 분석하는, 패턴 분석부; 및 상기 운전자의 기 저장된 운전 패턴 정보 및 실시간 상기 운전자의 운전 상태를 비교 분석하여 졸음운전 여부 또는 이상 상황 발생 여부를 판단하는, 상태 감지부를 포함하는, 운전자 상태 감시 장치가 제공된다.
상기 카메라부로부터 상기 운전자의 주행중 촬영 영상 전체를 수신하여 상기 운전 패턴 분석에 필요한 영상의 일부를 추출하거나, 특정 부위의 영상을 확대 및 분류함으로써 상기 운전자의 전방 주시, 좌측 주시, 우측 주시, 룸미러 주시, 하품 빈도, 눈 깜박임 빈도 및 고개숙임 빈도 중 일 이상을 포함하는 영상처리정보를 생성하는, 운전자 영상 수신부를 포함하는, 운전자 상태 감시 장치가 제공된다.
내부에 포함된 GPS 모듈 또는 외부 GPS 장치로부터 상기 차량의 위치 정보 또는 상기 차량의 이동 경로 정보를 수신하는, 위치 정보 수신부를 포함하는, 운전자 상태 감시 장치가 제공된다.
기 지정된 운전자의 ID 및 패스워드 입력, 또는 상기 운전자에게 발급된 운전자 인증용 카드와의 통신을 통해 상기 운전자의 운전자 식별 정보를 수신하는, 운전자 정보 송수신부를 포함하는, 운전자 상태 감시 장치가 제공된다.
운전자 차량 탑승시, 상기 운전자의 얼굴을 촬영한 영상으로부터 상기 운전자 특유의 특징점, 또는 상기 운전자의 얼굴형과 이목구비 위치를 통해 운전자 식별 정보로서 상기 운전자에 대한 안면 인식 정보를 생성하는, 운전자 안면 인식부를 포함하는, 운전자 상태 감시 장치가 제공된다.
본 발명의 실시예에 따르면, 운전자의 모습을 촬영할 뿐만 아니라, 차량의 운행 정보 또는 위치 정보 등을 토대로 운전자의 운전 패턴을 정확히 분석하고, 운전자의 실시간 상태를 상기 분석된 운전 패턴과 비교 분석함으로써, 졸음운전 또는 이상 상황 발생을 정확하게 판단할 수 있다.
또한, 본 발명의 실시예에 따르면, 운전자별 운전 패턴 정보를 생성함으로써, 각 운전자에게 적합한 운전 상태 감시를 수행하여 졸음운전 또는 이상 상황 발생 판단의 정확성을 더욱 향상시킬 수 있는 효과가 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 운전자 상태 감지 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 운전자별 패턴 분석 방법을 시간의 흐름에 따라 도시한 흐름도이다.
도 3은 본 발명의 실시예에 따른 운전자 상태 감시 방법을 시간의 흐름에 따라 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 운전자별 패턴 분석 방법을 시간의 흐름에 따라 도시한 흐름도이다.
도 3은 본 발명의 실시예에 따른 운전자 상태 감시 방법을 시간의 흐름에 따라 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 발명의 실시예에 따른 운전자 상태 감지 장치는 차량 내부에 설치되어 운전자의 상태를 촬영할 수 있는 카메라 모듈을 포함하는 장치로서, 촬영된 영상을 통해 주행중 운전자의 습관이나 표정과 같은 행동 패턴들을 분석하여 특정 시점에서 운전자의 상태가 상기 분석 결과에 따른 행동 패턴과 다르게 나타나는 경우, 졸음운전 또는 돌발 상황이 발생한 것으로 판단할 수 있다.
또한, 운전자 상태 감지 장치는 카메라 모듈에 의해 촬영된 영상 이외에도, 차량 정보를 통해 운전자의 운전 패턴을 분석할 수 있을 뿐만 아니라, 실시간으로 운전 상태를 파악할 수도 있다.
이와 같은 운전자 상태 감지 장치의 패턴 분석은 운전자별로 이루어질 수 있으며, 각 운전자별 패턴 분석 결과를 저장함으로써, 차량을 운전하는 운전자에 따라 대응되는 패턴 분석 결과를 기반으로 운전자의 상태를 판단할 수 있다.
이하, 첨부의 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 운전자 상태 감지 장치(100)의 구성도이다.
도 1을 참조하면, 일 실시예에 따른 운전자 상태 감지 장치(100)는 카메라부(110), 데이터베이스(120), 운전자 식별부(130) 및 분석부(140)를 포함할 수 있다.
카메라부(110)는 운전자의 상태를 촬영할 수 있도록 차량 내부에 설치될 수 있으며, 차량이 주행 중일 경우에는 실시간으로 운전자의 상태를 촬영하도록 구동될 수 있다.
일 실시예에 따른 카메라부(110)는 야간 또는 어두운 곳에서도 촬영이 가능하도록 적외선 LED 및 적외선 필터를 포함할 수 있으며, 눈동자의 시선 또는 눈꺼풀의 움직임 등과 같이 미세한 움직임을 감지할 수 있는 고해상도 카메라를 포함할 수도 있다.
다른 실시예에 따른 카메라부(110)는 주간 및 야간에 일정한 영상 특성을 만들기 위해 일정 영역대 파장의 영상만을 받아들이는 적외선 전용 카메라일 수도 있다.
본 발명의 실시예에 따른 운전자 상태 감지 장치(100)는 운전자의 얼굴을 인식함으로써, 운전자를 식별할 수 있는데, 카메라부(110)는 상기 운전자 얼굴 인식이 이루어질 수 있도록 각 운전자 얼굴에서 나타나는 특유한 특징점들을 추출해낼 수도 있고, 운전자의 얼굴형 또는 이목구비 위치 등을 파악할 수도 있다.
본 발명의 일 실시예에 따르면, 카메라부(110)는 사용자의 명령이나 조작 없이도, 운전자의 차량 탑승이 감지되면 자동적으로 운전자의 상태를 실시간으로 촬영할 수 있다. 다른 실시예에 따른 카메라부(110)는 자동차로부터 차량 주행 정보를 수신하여 운전자가 주행을 시작하면 자동적으로 촬영이 수행되도록 할 수도 있다.
데이터베이스(120)는 카메라부(110)에서 촬영한 영상 데이터를 저장할 수 있을 뿐만 아니라, 일 이상의 운전자 정보 및 차량 정보를 저장할 수도 있다.
일 실시예에 따른 데이터베이스(120)는 일 이상의 운전자 정보를 각각의 운전자 별로 구분하여 저장할 수 있다. 구체적으로, 각 운전자의 표정, 행동, 또는 운전 습관 등과 같은 운전자별 차량 주행 패턴이 저장될 수 있으며, 카메라부(110)에서 인식된 각 운전자별 특징 또는 얼굴 유형을 저장할 수도 있다.
또한, 데이터베이스(120)는 운전자의 식별 정보를 저장할 수 있는데, 일 실시예에 따라 운전자의 식별 정보로서 ID 및 패스워드가 등록될 수도 있고, 다른 실시예에 따라 운전자의 식별 정보가 입력된 운전자 인증용 카드가 발급되는 경우에는 상기 카드 번호가 운전자 식별 정보로서 등록될 수 있다.
본 발명의 실시예에 따른 운전자 상태 감지 장치(100)는 운전자의 운전 패턴을 분석함에 있어서, 서로 다른 운전자에 대한 운전 패턴을 각각 별도로 분석하여 각 운전자 식별 정보와 매칭하여 저장할 수 있다.
따라서, 각 운전자가 차량 탑승 후, 자신의 운전자 식별 정보를 입력하면, 운전자 상태 감지 장치(100)는 데이터베이스(120)에 저장된 해당 운전자의 운전 패턴 정보를 검색하여 상기 운전자의 실시간 운전 상태와 비교함으로써, 졸음운전 여부를 판단할 수 있다.
본 발명의 일 실시예에 따르면, 각 운전자를 식별하기 위한 운전자 식별 정보로서 각 운전자마다 ID 및 패스워드를 지정할 수도 있고, 운전자 정보를 기록한 운전자 인증용 카드를 발급할 수도 있으며, 카메라부(110)에서 각 운전자의 얼굴을 인식하여 운전자별 안면 인식 정보를 생성할 수도 있다.
본 발명의 일 실시예에 따른 운전자 식별부(130)는 차량을 주행하고자 하는 각 운전자로부터 운전자 식별 정보를 수신하여 상기 운전자 식별 정보가 기 등록된 정보인지 여부를 판단하고, 등록 운전자의 경우, 해당 운전자를 식별함으로써, 등록된 운전자 식별 정보에 매칭된 운전 패턴 정보에 기반하여 실시간 운전자 상태를 비교 및 감지할 수 있도록 한다.
이와 같은 운전자 식별부(130)는 운전자 정보 송수신부(131) 및 운전자 안면 인식부(132)를 포함할 수 있다.
운전자 정보 송수신부(131)는 상기와 같이 운전자를 구분할 수 있도록 하는 운전자 식별 정보를 다양한 방법을 통해 외부의 입력으로부터 수신할 수 있다.
일 실시예에 따른 운전자 식별 정보로서 ID 및 패스워드가 지정된 경우, 운전자 정보 송수신부(131)는 사용자 인터페이스(UI) 등을 통해 각 운전자가 입력하는 ID 또는 패스워드를 수신할 수 있다. 운전자의 ID 및 패스워드가 수신되면, 운전자 정보 송수신부(131)는 상기 운전자 식별 정보를 데이터베이스(120)로 전송함으로써, 데이터베이스(120)로 하여금 운전자 별로 분류 및 저장된 운전자 패턴 정보를 검색하여 분석부(140)로 전달하도록 한다.
다른 실시예에 따라 운전자 식별 정보로서, 각 운전자에 대해 운전자 인증용 카드가 발급된 경우, 운전자 정보 송수신부(131)는 운전자 인증용 카드로부터 운전자 식별 정보를 수신함으로써, 해당 운전자의 패턴 정보를 검색하도록 할 수 있다. 운전자 정보 송수신부(131) 및 운전자 인증용 카드는 통신을 통해 상호간의 정보 송수신을 할 수 있다.
운전자 정보 송수신부(131)는 NFC(Near Field Communication) 또는 기타 RFID(Radio-Frequency Identification)과 같은 근거리 무선 통신 기술을 지원하는 통신 모듈을 포함할 수 있다.
NFC는 무선 통신 기술 중 하나로 13.56MHz의 주파수 대역을 사용하는 비 접촉식 근거리 무선 통신 기술이다. 통신거리가 짧기 때문에 상대적으로 보안이 우수하고 데이터 읽기와 쓰기 기능을 모두 사용할 수 있다. 예를 들면, NFC 카드에 NFC 기술이 지원 가능한 통신 장치를 근거리에 위치시키거나 접촉시킴으로써, 상호간에 직접적인 정보 획득이 가능하게 된다. 그러나, 본 발명의 실시예에 따른 NFC는, 13.56MHz 외의 주파수 영역에서 동작하는 근거리 무선 통신 기술을 모두 포함하는 개념으로 이해되어야 한다.
또한, RFID 는 극소형 IC 칩에 다양한 정보를 저장하고 관리할 수 있는 인식 기술을 말한다.
일 실시예에 따른 운전자 인증용 카드는 각 운전자를 식별하기 위한 운전자 식별 정보, 안면 인식 정보 또는 각 운전자의 운전 패턴 정보 등이 저장될 수 있으며, 상술한 바와 같이 운전자 정보 송수신부(131)와의 무선 통신을 통해 각종 운전자 정보들을 운전자 상태 감지 장치(100)와 송수신할 수 있다.
구체적으로, 운전자 인증용 카드가 발급되기 전, 즉, 운전자 상태 감지 장치(100)에 미등록된 운전자의 경우에는, 본 발명의 실시예에 따라 운전자 상태 감지 장치(100)에서 상기 운전자의 식별 정보, 안면 인식 정보 및 운전 패턴 정보를 생성하고, 정보가 미수록된 공카드 및 운전자 정보 송수신부(131)의 무선 통신을 통해 상기 생성된 운전자 정보를 공카드로 송신함으로써, 운전자 정보가 저장된 운전자 인증용 카드가 발급될 수 있다.
뿐만 아니라, 운전자 상태 감지 장치(100)에 등록되어 있는 운전자가 차량에 탑승할 경우, 상기 운전자는 발급된 운전자 인증용 카드를 운전자 상태 감지 장치(100)에 근거리 접촉시킴으로써, 카드에 수록된 운전자 식별 정보 등을 운전자 정보 송수신부(131)로 전송할 수 있다.
일 실시예에 따른 운전자 안면 인식부(132)는 카메라부(110)에서 인식된 운전자의 얼굴 촬영 정보를 기반으로 운전자별 식별 정보를 생성할 수 있다.
즉, 운전자 안면 인식부(132)는 카메라부(110)에서 추출된 각 운전자 얼굴의 특징점들이나, 얼굴형 또는 이목구비 위치 등을 토대로 각 운전자를 식별할 수 있는 안면 인식 정보를 생성하여 데이터베이스(120)에 저장되도록 할 수 있다.
따라서, 본 발명의 실시예에 따른 운전자 상태 감지 장치(100)는 외부로부터 운전자 식별 정보가 수신되지 않는 경우에도 운전자 안면 인식부(132)에서 운전자별 안면 인식 정보를 생성함으로써, 이후, 운전자의 차량 탑승시 카메라부(110)에서 탑승 운전자의 얼굴을 촬영하여 상기 저장된 안면 인식 정보와의 비교를 통해 운전자 정보 등록 여부 판단 및 등록 운전자의 운전 패턴 정보 검색이 가능하다.
운전자 안면 인식부(132)는 운전자의 차량 탑승이 있으면, 먼저, 카메라부(110)로부터 촬영된 운전자 얼굴 영상을 토대로 안면을 인식하여 해당 운전자의 운전자 정보 등록 여부를 판단한다. 상기 운전자 정보 등록 여부 판단 결과, 해당 운전자의 정보가 미등록된 경우, 안면 인식 정보를 생성함으로써, 데이터베이스(120)에 운전자 식별 정보를 저장하고, 운전자 정보가 등록되어 있는 경우에는, 등록된 안면 인식 정보를 통해 식별된 운전자에 대한 운전 패턴 정보 등을 검색 및 추출하도록 할 수 있다.
본 발명의 실시예에 따른 분석부(140)는 각 운전자별 운전 패턴을 분석하여 운전 패턴 정보를 생성할 수 있을 뿐만 아니라, 생성된 운전 패턴 정보를 기반으로 운전자의 주행 상태를 점검함으로써, 졸음운전 또는 기타 이상 여부를 감지할 수 있다.
일 실시예에 따른 분석부(140)는 차량 정보 수신부(141), 위치 정보 수신부(142), 운전자 영상 수신부(143), 패턴 분석부(144) 및 상태 감지부(145)를 포함할 수 있다.
차량 정보 수신부(141)는 자동차의 각 부분과의 통신을 통해 차량의 움직임 정보 또는 차량 운행 정보 등을 수신하여 운전자의 운전 상태를 점검할 수 있도록 한다.
일 실시예에 따른 차량 정보 수신부(141)는 자동차와 통신을 통해 차량 정보를 수신할 수 있는데, 이때, 자동차 통신 기술로서 CAN(Controller Area Network) 통신 기술 또는 LIN(Local Interconnect Network) 통신 기술 등이 이용될 수 있다.
CAN 통신은 자동차의 안전 시스템 또는 편의 시스템 등의 ECU(Electronic Control Unit)들 간의 데이터 전송 및 각종 시스템 제어 등에 사용되는 통신 기술이며, LIN 통신은 주로 ECU와 능동센서 및 능동 액추에이터 간의 데이터 전송에 사용되는 기술을 말한다.
이와 같이, 차량 정보 수신부(141)는 자동차의 각 부분과 통신함으로써, 엔진 구동 정보, 알피엠(RPM, Revolution per minute) 정보, 기어 변속 정보, 운전자에 의한 엑셀/브레이크 페달 작동 정보, 핸들 움직임 정보, 우측 또는 좌측 깜빡임 신호 정보, 차량 속도 및 차량 움직임 패턴 정보 등과 같이 운전자의 운전 방식에 따라 상이하게 작동되는 다양한 차량 정보들을 수신할 수 있다.
차량 정보 수신부(141)에서 수신된 차량 정보들은 이후, 패턴 분석부(144) 또는 상태 감지부(145)로 전송되어, 차량 상태 정보 또는 차량 운행 정보 분석을 통한 운전자의 운전 패턴 분석이 이루어질 수 있을 뿐만 아니라, 운전자의 실시간 운전 상태를 파악할 수도 있다.
일 실시예에 따른 위치 정보 수신부(142)는 GPS(Global Positioning System) 모듈을 포함할 수도 있고, 네비게이션 또는 기타 외부의 GPS 장치와 통신을 통해 차량의 위치 및 차량 경로 등을 수신할 수 있다.
따라서, 위치 정보 수신부(142)는 차량이 현재 시내에 위치하는지, 또는 고속도로를 주행 중인지 여부를 파악할 수 있으며, 시간의 흐름에 대응하는 차량의 이동 경로 또한 파악할 수 있다.
운전자 영상 수신부(143)는 주행중 운전자의 모습을 촬영한 영상을 카메라부(110)로부터 수신할 수 있다.
일 실시예에 따른 운전자 영상 수신부(143)는 카메라부(110)에서 촬영한 운전자의 영상 전체를 수신하여 운전자의 운전 상태를 파악하기 위한 영상의 일부를 추출하거나, 특정 부위의 영상을 확대 및 분류할 수 있다. 이에 따라, 운전자 영상 수신부(143)는 운전자의 전방 주시 여부, 좌측 주시 여부, 우측 주시 여부, 룸미러 주시 여부, 하품 빈도, 눈 깜박임 빈도, 고개숙임 빈도 등과 같은 다양한 영상처리정보를 생성할 수도 있다.
예를 들어, 운전자의 졸음 운전 감지를 위해 운전자의 얼굴을 촬영한 영상에서 눈 부위의 영상을 확대함으로써 눈꺼풀의 움직임을 관찰할 수도 있고, 운전자의 운전 패턴 파악을 위해 주행 시작부터 30분 이내의 운전자 영상을 추출하여 집중 분석하도록 할 수도 있다.
뿐만 아니라, 차량 정지시, 저속 주행시 또는 고속 주행시 등의 특정 상황에 대한 영상 등을 선택적으로 수신하도록 함으로써, 운전자의 운전 패턴 분석 또는 실시간 운전자 상태 감시가 효율적으로 이루어지도록 한다.
패턴 분석부(144)는 운전자의 운전 패턴을 분석함으로써, 각 운전자별 운전 패턴 정보를 생성 또는 갱신할 수 있다.
본 발명의 실시예에 따른 운전 패턴이란 주행중 운전자의 표정, 운전자의 움직임, 운전 방법 또는 운전자의 습관 등과 같은 운전자의 패턴을 모두 포함하는 개념일 수 있다.
패턴 분석부(144)는 차량 정보 수신부(141), 위치 정보 수신부(142) 또는 운전자 영상 수신부(143)로부터 운전자의 운전에 의해 작동되는 각종 차량 정보, 차량의 위치 정보, 경로 정보, 운전자 영상 정보 또는 영상처리정보 등을 수신하고, 상기 정보들을 토대로 운전자별 운전 패턴을 종합적으로 분석할 수 있다.
일 실시예에 따른 패턴 분석부(144)는 주행중 발생할 수 있는 각종 상황에 따라, 또는 운전구간, 차량 주행 위치 등에 따라 운전자의 운전 패턴이 어떻게 달라지는지를 분석할 수도 있다.
구체적으로, 패턴 분석부(144)는 차량 정보 수신부(141)로부터 수신된 각종 차량 정보들로부터, 운전자의 엑셀 및 브레이크 제어 습관, 급발진/급정지 빈도수, 핸들 제어 습관, 변속 습관, 핸들 변화량 대비 속도 정보의 상관 관계 등을 파악할 수 있다.
뿐만 아니라, 패턴 분석부(144)는 위치 정보 수신부(142)로부터 차량의 위치를 수신함으로써, 주행 위치가 고속도로인 경우의 운전자의 운전 패턴, 또는 시내에서 운전자의 운전 패턴과 같이 다양한 상황이나 위치에 따른 운전 패턴을 각각 분석할 수 있으며, 상기 차량 정보 및 차량의 위치를 토대로 서행운전, 고속운전 등과 같은 운전구간을 파악하여 각 운전구간에 따른 운전 패턴 또한 분석할 수도 있다.
또한, 위치 정보 수신부(142)가 네비게이션 또는 디지털 맵과의 통신을 통해 차량의 세부 위치를 파악할 수 있는 경우, 패턴 분석부(144)는 신호 대기시 운전자 유형, 즉, 신호 대기 후, 출발 반응 속도 또는 정지 유형도 분석할 수 있으며, 주차 습관도 파악할 수 있다.
뿐만 아니라, 패턴 분석부(144)는 운전자 영상 수신부(143)에 수신된 운전자의 주행 모습 영상을 통해 상술한 바와 같은 각종 상황에서 운전자의 표정이나 움직임과 관련된 패턴을 분석할 수 있다. 예를 들면, 운전자가 고속도로를 주행할 때 부동자세를 유지하는 시간, 평소 운전자의 표정, 가장 많이 움직이는 부분 등의 파악이 가능하다.
일 실시예에 따른 패턴 분석부(144)는 운전자가 차량에 탑승하게 되면, 주행 시작 후, 30분 이내의 일정 시간 동안 차량 정보 수신부(141), 위치 정보 수신부(142) 또는 운전자 영상 수신부(143)에서 수신되는 각종 정보들을 종합적으로 분석하여 탑승 운전자의 운전 패턴 정보를 생성할 수 있다. 일반적으로, 운전 시작 직후에 운전자의 졸음운전 발생 가능성이 가장 낮기 때문에 패턴 분석부(144)는 운전자 차량 탑승시부터 운전자의 운전 패턴 분석을 수행하게 된다.
이와 같이, 패턴 분석부(144)는 운전자별 운전 패턴 분석을 분석함으로써 각 운전자에 대한 운전 패턴 정보를 생성하고, 운전자별 식별 정보와 매칭하여 데이터베이스(120)에 저장될 수 있도록 한다.
다른 실시예에 따른 패턴 분석부(144)는 등록된 운전자의 경우라도, 차량 탑승 후, 주행 초기에 일정 시간의 운전 패턴 분석을 수행하여 기 저장된 운전 패턴으로부터 변화된 점이 있는지 여부를 판단할 수 있고, 해당 운전자의 운전 패턴에 변화가 있는 것으로 판단되는 경우 상기 저장된 운전 패턴 정보를 업데이트 할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 패턴 분석부(144)는 기 저장된 운전 패턴 정보를 토대로 하여, 차량 정보 및 영상처리정보의 유효성에 대한 등급을 3단계 내지 5단계로 산정하고, 상기 등급 정보를 저장할 수도 있다.
예를 들면, 패턴 분석부(144)는 기 저장된 운전 패턴 정보를 토대로 하여, 차량의 우측 깜빡임 신호 정보, 브레이크 페달 작동 정보, 핸들 움직임 정보 등의 변화 여부에 따라 운전자가 의도적으로 차량의 우측을 주시할 확률을 분석할 수 있다. 이후, 패턴 분석부(144)는 상기 확률에 따라 가장 최근에 수신한 우측 주시 정보의 유효성을 A, B 또는 C 등급으로 산정할 수 있으며, 상기 산정 결과를 누적하여 저장함으로써 향후 운전자의 운전 패턴 정보에 대한 신뢰성을 더욱 향상시킬 수도 있다.
일 실시예에 따른 상태 감지부(145)는 주행중 운전자의 상태를 파악하고, 평소 운전자의 운전 패턴과 비교함으로써, 졸음운전 여부 또는 이상 상황 등을 감지할 수 있다.
상태 감지부(145)는 차량 정보 수신부(141)로부터 수신된 운전자에 의한 실시간 차량 운행 정보, 위치 정보 수신부(142)로부터 수신된 실시간 차량 위치 정보 및 차량 이동 경로 정보, 또는 운전자 영상 수신부(143)로부터 수신된 주행중 실시간 운전자의 모습 및 영상처리정보 등을 토대로 기 저장된 운전자의 패턴 정보들과 비교하여 주행중 운전자의 상태를 실시간으로 감지할 수 있다.일 실시예에 따른 상태 감지부(145)는 차량 정보 수신부(141)로부터 수신된 차량의 움직임 또는 운행 정보가 운전자의 운전 패턴 정보와 비교하여 임계치 이상의 차이를 보이는 경우, 예를 들면, 차량의 급발진 또는 급정지 빈도가 증가하거나, 핸들 변화량 및 속도의 상관성이 일반적이지 않은 경우에는 운전자의 졸음운전을 감지하거나 이상 상황이 발생되었음을 감지할 수 있다.
또한, 상태 감지부(145)는 위치 정보 수신부(142)로부터 수신된 차량의 위치 정보 또는 이동 경로 정보를 토대로 각 위치별 또는 각 상황별 운전 상태의 이상 여부를 판단할 수도 있고, 운전자 영상 수신부(143)로부터 수신된 주행중 운전자 영상 또는 영상처리정보를 바탕으로 이상 여부를 판단할 수도 있다.
예를 들면, 상태 감지부(145)가 운전자 영상 수신부(143)로부터 수신된 영상처리정보를 통해 운전자가 전방을 주시하지 않는 이상 상황을 감지할 시, 차량의 우측 또는 좌측 깜빡임 신호 정보, 브레이크 페달 작동 정보, 핸들 움직임 정보 등의 변화량을 분석하고, 상기 운전자의 운전 패턴 정보와 비교함으로써, 상기 이상 상황이 운전자의 의도적 행동에 의한 것인지 또는 졸음운전에 의한 것인지 여부를 판단할 수 있다.
뿐만 아니라, 일 실시예에 따른 상태 감지부(145)는 차량 정보 수신부(141)로부터 수신된 차량 정보인 기어 변속 정보가 주차 상태로 나타날 시, 상기 영상처리정보인 하품 빈도, 눈 깜박임 빈도, 고개숙임 빈도 등이 운전자의 졸음운전 상태를 나타나는 수치와 동일한 범위의 수치를 나타내더라도, 운전자의 운전 상태가 정상 상태인 것으로 판단할 수도 있다.
이하, 도 2 및 도 3을 참고하여 본 발명의 실시예에 따라 패턴 분석을 통해 운전자의 상태를 감시하는 방법을 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 운전자별 패턴 분석 방법을 시간의 흐름에 따라 도시한 흐름도이다.
먼저, 자동차에 시동이 걸리거나, 사용자의 입력에 의해 운전자 상태 감시 장치(100)의 전원이 ON 되면(S210), 운전자 상태 감시 장치(100)는 운전자의 차량 탑승을 감지할 수 있다.
운전자 상태 감시 장치(100)는 운전자가 입력한 ID 및 패스워드 또는 운전자 인증용 카드를 통해 외부로부터 운전자 식별 정보가 수신되거나, 운전자의 얼굴을 촬영함으로써 생성된 안면 인식 정보에 의해 운전자 식별 정보가 수신되면, 현재 차량을 운행하고자 하는 탑승 운전자가 기 등록된 운전자에 해당하는지 여부를 판단한다(S220).
상기 단계S220의 운전자 등록 여부 판단 결과, 탑승 운전자가 운전자 상태 감시 장치(100)에 기 등록되어 있는 운전자인 경우, 해당 운전자에 대하여 기 저장된 운전 패턴 정보를 상기 운전자 식별 정보를 통해 검색할 수 있다(S231).
일 실시예에 따른 운전자 상태 감시 장치(100)는 등록된 운전자의 경우에도, 운전자의 차량 탑승 이후 초기에는 운전 패턴 분석을 수행함으로써, 기 등록된 운전 패턴 정보의 변화를 감지하여 운전 패턴 변화를 주기적으로 점검할 수 있다(S232). 이와 같이 운전자 상태 감시 장치(100)가 기 저장된 운전 패턴의 변화 감지를 위해 운전자의 차량 탑승 초기에 패턴 분석을 수행하는 시간은, 미등록된 운전자의 운전 패턴 정보 생성을 위해 패턴 분석을 수행하는 시간보다 짧게 설정될 수 있다.
기 저장된 운전 패턴 정보에 대해 변화된 패턴이 감지되면, 운전자 상태 감시 장치(100)는 감지된 패턴 변화를 반영하여 운전 패턴 정보를 업데이트 할 수 있다(S233).
단계 S231 내지 S233과 달리, 운전자 등록 여부 판단 결과, 탑승 운전자가 운전자 상태 감시 장치(100)에 등록되지 않은 운전자인 경우, 운전자 상태 감시 장치(100)는 해당 운전자의 얼굴을 촬영하여 안면 인식 정보를 생성하고, 그 외의 기타 상기 운전자를 식별하기 위한 운전자 식별 정보를 생성할 수 있다.
또한, 상기 운전자가 탑승한 이후부터 일정 시간 동안 상기 운전자의 모습을 촬영한 영상, 차량 운행 정보, 차량 위치 정보 또는 차량 이동 경로 정보 등을 분석함으로써, 해당 운전자의 운전 패턴 정보를 생성할 수 있다(S241).
생성된 운전 패턴 정보는 상기 운전자의 운전자 식별 정보와 매칭되어 운전자 상태 감시 장치(100)에 저장될 수 있다(S242).
도 3은 본 발명의 실시예에 따른 운전자 상태 감시 장치(100)의 운전자 상태 감시 방법을 시간의 흐름에 따라 도시한 흐름도이다.
자동차에 시동이 걸리거나, 사용자의 입력에 의해 운전자 상태 감시 장치(100)의 전원이 ON이 된다(S310).
운전자 상태 감시 장치(100)는 운전자의 ID 및 패스워드 입력, 운전자 인증용 카드의 근거리 접촉, 또는 운전자 얼굴 촬영을 통한 운전자의 안면 인식 정보를 통해 운전자 식별 정보를 수신할 수 있다(S320).
상기 수신된 운전자 식별 정보를 토대로 차량에 탑승한 운전자가 운전자 상태 감시 장치(100)에 등록된 운전자인지 여부를 판단하여 기 저장된 상기 운전자의 운전 패턴 정보를 검색할 수 있다(S330).
일 실시예에 따라, 상기 운전자가 운전자 상태 감시 장치(100)에 등록되어 있는 운전자인 경우에는, 해당 운전자와 매칭 저장된 운전 패턴 정보를 수신한다. 이후, 운전자 상태 감시 장치(100)는 운전자의 차량 탑승 이후, 일정 시간 동안 운전자의 운전 패턴을 관찰함으로써, 상기 저장된 운전 패턴 정보에 대해 변화된 운전 패턴이 있는지 여부를 분석할 수 있다(S340). 상기 본 발명의 실시예에 따른 운전자 상태 감시 장치(100)의 운전 패턴 분석 단계는 등록된 운전자에 대해서는 필요에 따라 생략될 수도 있다.
다른 실시예에 따르면, 차량 탑승 운전자가 운전자 상태 감시 장치(100)에 미등록된 운전자일 수 있는데, 이 경우, 운전자 상태 감시 장치(100)는 운전자 얼굴 촬영 정보를 통해 상기 운전자의 안면 인식 정보를 생성하고, 일정 시간 동안 차량 운행 정보, 차량 위치 정보, 차량 이동 경로 정보 또는 운전자 촬영 영상 정보를 분석함으로써, 상기 운전자의 운전 패턴 정보를 생성할 수 있다(S340).
운전 패턴 분석 또는 기 저장된 운전 패턴 정보의 수신 이후, 운전자 상태 감시 장치(100)는 주행중 운전자의 상태를 실시간으로 감시할 수 있다.
운전자 상태 감시 장치(100)의 분석부는 자동차의 각 부분과의 통신을 통해, 엔진 구동 정보, 알피엠(RPM, Revolution per minute) 정보, 기어 변속 정보, 운전자에 의한 엑셀/브레이크 페달 작동 정보, 핸들 움직임 정보, 우측·좌측 깜빡임 신호 정보, 차량 속도 및 차량 움직임 패턴 정보 등과 같은 실시간 차량 정보를 수신하고, GPS 기능을 포함하는 위치 추적 장치로부터 위치 정보를 주기적으로 수신할 수 있으며, 운전자 상태 감시 장치(100)의 카메라부에서 촬영된 실시간 운전자 영상 정보를 수신할 수도 있다(S350).
운전자 상태 감시 장치(100)는 상기 수신된 실시간 정보들을 S330 또는 S340 단계에서 검색 또는 생성된 운전자의 운전 패턴 정보와 비교 분석함으로써, 운전자의 실시간 운전 상태를 감시할 수 있다(S360).
이에 따라, 상기 실시간 운전자 정보가 기 저장된 운전 패턴 정보와 상이한 경우, 즉, 운전자 상태 감시 장치에서 관찰한 실시간 운전자 상태가 평소 운전자의 운전 패턴과 달리 일반적이지 않은 패턴을 보이는 경우, 운전자 상태 감시 장치(100)는 기 설정된 기준치에 따라, 상기 운전자의 졸음운전 여부 또는 이상 상황이 발생했음을 감지할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 운전자 상태 감지 장치
110 : 카메라부
120 : 데이터베이스
130 : 운전자 식별부
131 : 운전자 정보 송수신부
132 : 운전자 얼굴 인식부
140 : 분석부
141 : 차량 정보 수신부
142 : 위치 정보 수신부
143 : 운전자 영상 수신부
144 : 패턴 분석부
145 : 상태 감지부
110 : 카메라부
120 : 데이터베이스
130 : 운전자 식별부
131 : 운전자 정보 송수신부
132 : 운전자 얼굴 인식부
140 : 분석부
141 : 차량 정보 수신부
142 : 위치 정보 수신부
143 : 운전자 영상 수신부
144 : 패턴 분석부
145 : 상태 감지부
Claims (14)
- 운전자 상태 감시 장치가 운전자의 운전 패턴 분석을 통해 운전자 상태를 감시하는 방법에 있어서,
(a) 차량 탑승 이후, 운전자 식별 정보가 수신되면, 탑승 운전자가 기 등록된 운전자인지 여부를 판단하는 단계;
(b) 상기 판단 결과, (i) 상기 탑승 운전자가 기 등록된 운전자인 경우, 등록 운전자와 매칭되는 운전 패턴 정보를 검색하고, (ii) 상기 탑승 운전자가 기 등록되지 않은 운전자인 경우, 일정 시간 동안 차량 운행 정보, 차량 위치 정보, 차량 이동 경로 정보 또는 운전자 촬영 영상 정보를 분석함으로써, 미등록 운전자의 운전 패턴 정보를 생성하는 단계;
(c) 상기 탑승 운전자의 차량 주행중, 상기 차량과 통신을 통해 엔진 구동 정보, 알피엠(RPM, Revolution perminute) 정보, 기어 변속 정보, 운전자에 의한 엑셀/브레이크 페달 작동 정보, 핸들 움직임 정보, 우측·좌측 깜빡임 신호 정보, 차량 속도 및 차량 움직임 패턴 정보 중 일 이상을 포함하는 실시간 차량 정보를 수신하는 단계;
(d) 상기 실시간 차량 정보를 상기 검색 또는 생성된 운전 패턴 정보와 비교 분석하는 단계를 포함하는, 운전자 상태 감시 방법.
- 제1항에 있어서,
상기 (b) 단계는,
상기 탑승 운전자가 주행중인 위치별 및 서행운전 또는 고속운전과 같은 운전구간별로 운전 패턴을 분석하는 단계를 포함하는, 운전자 상태 감시 방법.
- 제1항에 있어서,
상기 (a) 단계 이전에,
ID 및 패스워드 지정, 운전자 정보가 수록된 운전자 인증용 카드 발급 또는 상기 탑승 운전자의 얼굴을 촬영한 영상을 토대로 안면 인식 정보를 생성하여, 상기 운전자 식별 정보를 생성하는 단계를 더 포함하는, 운전자 상태 감시 방법.
- 제 3항에 있어서,
상기 (b) 단계는,
상기 탑승 운전자가 기 지정한 ID 및 패스워드를 입력하거나, 발급된 운전자 인증용 카드로부터 상기 운전자 식별 정보를 수신하거나, 또는 상기 탑승 운전자의 얼굴을 인식하여 상기 탑승 운전자에 대해 생성된 안면 인식 정보가 수신되면, 상기 탑승 운전자에 대해 기 저장된 상기 운전 패턴 정보를 검색하는 단계를 포함하는, 운전자 상태 감시 방법.
- 제1항에 있어서,
상기 (d) 단계 이후에,
상기 탑승 운전자의 운전 패턴 분석을 주기적으로 수행하여 상기 탑승 운전자에 대해 기 저장된 운전 패턴 정보에서 변화된 운전 패턴이 감지되면, 상기 감지된 변화를 반영하여 상기 기 저장된 운전 패턴 정보를 업데이트하는 단계를 더 포함하는, 운전자 상태 감시 방법.
- 제1항에 있어서,
상기 (d) 단계는,
상기 탑승 운전자의 차량 주행중 실시간 운전자 상태를 촬영하여 상기 검색 또는 생성된 운전 패턴 정보와 비교 분석하는 단계를 포함하는, 운전자 상태 감시 방법.
- 삭제
- 제1항에 있어서,
상기 (d) 단계는,
상기 탑승 운전자의 차량 주행중 실시간 차량 위치 정보 또는 차량 이동 경로 정보를 수신하여 상기 차량의 위치에 대응하여 기 저장된 운전자의 위치별 운전 패턴 정보와 비교 분석하는 단계를 포함하는, 운전자 상태 감시 방법.
- 제6항 또는 제8항에 있어서,
상기 실시간 운전자 상태 촬영 영상, 상기 실시간 차량 정보 또는 상기 위치별 차량 정보가 기 저장된 상기 운전자의 운전 패턴 정보와 임계치 이상의 차이점이 나타나며, 상기 차이점이 상기 운전자의 의도적인 행위로 인한 결과가 아닐 경우, 상기 운전자의 졸음운전 여부 또는 이상 상황 발생으로 판단하는 단계를 포함하는, 운전자 상태 감시 방법.
- 운전자의 운전 패턴 분석을 통해 운전자 상태를 감시하는 운전자 상태 감시 장치에 있어서,
차량 탑승 이후 일정 시간 동안, 상기 운전자의 표정 또는 행동 변화를 촬영하는, 카메라부;
일 이상의 운전자에 대해 생성된 운전 패턴 정보를 각 운전자별로 구분하여 저장하는, 데이터베이스;
차량 탑승 이후, 운전자 식별 정보가 수신되면, 탑승 운전자가 기 등록된 운전자인지 여부를 판단하고, 상기 탑승 운전자가 기 등록된 운전자인 경우, 등록 운전자와 매칭되는 운전 패턴 정보를 검색하는 운전자 식별부; 및
상기 탑승 운전자가 기 등록되지 않은 운전자인 경우, 일정 시간 동안 차량 운행 정보, 차량 위치 정보, 차량 이동 경로 정보 또는 운전자 촬영 영상 정보를 분석함으로써, 미등록 운전자의 운전 패턴 정보를 생성하는 분석부를 포함하며,
상기 분석부는,
상기 탑승 운전자의 차량 주행중, 상기 차량과 통신을 통해 엔진 구동 정보, 알피엠(RPM, Revolution per minute) 정보, 기어 변속 정보, 운전자에 의한 엑셀/브레이크 페달 작동 정보, 핸들 움직임 정보, 우측·좌측 깜빡임 신호 정보, 차량 속도 및 차량 움직임 패턴 정보 중 일 이상을 포함하는 실시간 차량 정보를 수신하는, 차량 정보 수신부; 및
상기 실시간 차량 정보를 상기 검색 또는 생성된 운전 패턴 정보와 비교 분석하는 상태 감지부를 포함하는, 운전자 상태 감시 장치.
- 제10항에 있어서,
상기 분석부는,
상기 카메라부로부터 상기 운전자의 주행중 촬영 영상 전체를 수신하여 상기 운전 패턴 분석에 필요한 영상의 일부를 추출하거나, 특정 부위의 영상을 확대 및 분류함으로써 상기 운전자의 전방 주시, 좌측 주시, 우측 주시, 룸미러 주시, 하품 빈도, 눈 깜박임 빈도 및 고개숙임 빈도 중 일 이상을 포함하는 영상처리정보를 생성하는, 운전자 영상 수신부를 포함하는, 운전자 상태 감시 장치.
- 제10항에 있어서,
상기 분석부는,
내부에 포함된 GPS 모듈 또는 외부 GPS 장치로부터 상기 차량의 위치 정보 또는 상기 차량의 이동 경로 정보를 수신하는, 위치 정보 수신부를 포함하는, 운전자 상태 감시 장치.
- 제10항에 있어서,
상기 운전자 식별부는,
기 지정된 운전자의 ID 및 패스워드 입력, 또는 상기 운전자에게 발급된 운전자 인증용 카드와의 통신을 통해 상기 운전자의 운전자 식별 정보를 수신하는, 운전자 정보 송수신부를 포함하는, 운전자 상태 감시 장치.
- 제10항에 있어서,
상기 운전자 식별부는,
운전자 차량 탑승시, 상기 운전자의 얼굴을 촬영한 영상으로부터 상기 운전자 특유의 특징점, 또는 상기 운전자의 얼굴형과 이목구비 위치를 통해 운전자 식별 정보로서 상기 운전자에 대한 안면 인식 정보를 생성하는, 운전자 안면 인식부를 포함하는, 운전자 상태 감시 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20150150685 | 2015-10-29 | ||
| KR1020150150685 | 2015-10-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170051197A KR20170051197A (ko) | 2017-05-11 |
| KR101945706B1 true KR101945706B1 (ko) | 2019-05-10 |
Family
ID=58741958
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160108411A KR101945706B1 (ko) | 2015-10-29 | 2016-08-25 | 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치 |
| KR1020160108410A KR101912703B1 (ko) | 2015-10-29 | 2016-08-25 | 3채널 차량 상황 감시 장치 및 그 방법 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160108410A KR101912703B1 (ko) | 2015-10-29 | 2016-08-25 | 3채널 차량 상황 감시 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR101945706B1 (ko) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102563991B1 (ko) | 2017-04-20 | 2023-08-08 | 한국전자통신연구원 | 광 투과도 조절 필름 및 광 투과도 조절 필름 조성물 |
| KR102371119B1 (ko) * | 2017-11-17 | 2022-03-07 | 한국전자기술연구원 | 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법 |
| KR102051136B1 (ko) * | 2017-11-30 | 2020-01-08 | 주식회사 라스테크 | 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템 |
| CN108215794A (zh) * | 2018-01-04 | 2018-06-29 | 项卢杨 | 一种防疲劳驾驶系统及方法 |
| KR101998703B1 (ko) | 2018-01-17 | 2019-07-11 | (주) 블루테크솔루션 | 차량 관제 제어 시스템 |
| CN108596028B (zh) * | 2018-03-19 | 2022-02-08 | 昆明理工大学 | 一种基于视频录像中的异常行为检测算法 |
| KR102058967B1 (ko) * | 2018-06-01 | 2019-12-24 | 주식회사 한솔리드텍 | 버스 안전 운행시스템 |
| KR102079086B1 (ko) * | 2018-08-06 | 2020-04-07 | 호남대학교 산학협력단 | 지능형 졸음운전 방지 장치 |
| KR102039279B1 (ko) * | 2018-12-18 | 2019-10-31 | 장승현 | 영상 인식을 이용한 경찰 업무 지원 시스템 및 그 방법 |
| KR102070752B1 (ko) * | 2018-12-28 | 2020-01-30 | (주)오펠솔루션 | 차량 운전 정보 자동 추출 및 운전 행동 모니터링을 위한 장치 및 방법 |
| KR102115699B1 (ko) * | 2019-05-16 | 2020-05-26 | (주)기흥산업 | 고소작업차 관리시스템 |
| CN110588605B (zh) * | 2019-08-30 | 2021-05-25 | 江苏大学 | 一种防误踩加速踏板的主动制动控制系统及控制方法 |
| CN111376909A (zh) * | 2020-03-21 | 2020-07-07 | 东风汽车集团有限公司 | 一种间接疲劳监测方法 |
| KR102483259B1 (ko) * | 2021-01-20 | 2023-01-03 | 한국과학기술원 | 주행 데이터 분석을 통한 운전자 식별을 위한 컴퓨터 시스템 및 그의 방법 |
| WO2022175149A1 (fr) * | 2021-02-18 | 2022-08-25 | Valeo Systemes Thermiques | Dispositif de gestion thermique d'une batterie électrique de véhicule |
| KR102411864B1 (ko) * | 2021-08-31 | 2022-06-22 | (주)에이아이매틱스 | 운전자의 익명성을 보장하는 공유 차량의 주행 정보 관리 시스템 및 방법 |
| KR102520687B1 (ko) * | 2021-10-25 | 2023-04-11 | 주식회사 아쎄따 | 졸음운전 검출 및 방지 기능을 제공하는 단말 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015067154A (ja) * | 2013-09-30 | 2015-04-13 | トヨタ自動車株式会社 | 運転支援装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100836073B1 (ko) * | 2007-02-07 | 2008-06-09 | 에이치케이이카 주식회사 | 캔통신을 이용한 차량용 영상블랙박스 시스템 |
| KR20110135715A (ko) * | 2010-06-11 | 2011-12-19 | 자동차부품연구원 | 차량의 운전상황 측정 장치 |
| JP2012084967A (ja) | 2010-10-07 | 2012-04-26 | Hyundai Motor Co Ltd | 運転者状態検知カメラ |
| KR20140002373A (ko) * | 2012-06-29 | 2014-01-08 | 현대자동차주식회사 | 운전패턴학습을 통한 운전자 상태 감시 장치 및 방법 |
| JP2014144708A (ja) * | 2013-01-29 | 2014-08-14 | Toyota Motor Corp | 駐車支援装置及び駐車支援方法 |
-
2016
- 2016-08-25 KR KR1020160108411A patent/KR101945706B1/ko active IP Right Grant
- 2016-08-25 KR KR1020160108410A patent/KR101912703B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015067154A (ja) * | 2013-09-30 | 2015-04-13 | トヨタ自動車株式会社 | 運転支援装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170051197A (ko) | 2017-05-11 |
| KR20170051196A (ko) | 2017-05-11 |
| KR101912703B1 (ko) | 2019-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101945706B1 (ko) | 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치 | |
| CN104656503B (zh) | 自主车辆中的可穿戴计算机 | |
| US11787408B2 (en) | System and method for controlling vehicle based on condition of driver | |
| EP3109117B1 (en) | Device and method for opening trunk of car, and recording medium for recording program for executing method | |
| US10338600B2 (en) | Autonomous driving control apparatus, vehicle having the same, and method for controlling the same | |
| US9731727B2 (en) | Method and device for detecting the alertness of a vehicle driver | |
| US9180887B2 (en) | Driver identification based on face data | |
| US20200001892A1 (en) | Passenger assisting apparatus, method, and program | |
| US10525873B2 (en) | Turn by turn activation of turn signals | |
| US10726727B2 (en) | In-vehicle device, information processing system, and information processing method | |
| US10430677B2 (en) | Method for classifying driver movements | |
| US11567509B2 (en) | Control system, control method, and non-transitory storage medium | |
| Alluhaibi et al. | Driver behavior detection techniques: A survey | |
| JP2015071319A (ja) | 運転者特定システム | |
| JP2017151694A (ja) | 安全確認診断システム及び安全確認診断方法 | |
| CN112105537A (zh) | 驾驶风险计算装置和方法 | |
| CN113492849A (zh) | 驾驶辅助装置以及数据收集系统 | |
| JP2015071318A (ja) | 保険料金算出システム | |
| CN113272177A (zh) | 用于提供关于环境的至少一部分的视觉信息的方法、计算机程序产品、移动通信设备和通信系统 | |
| KR102401607B1 (ko) | 운전자의 운행 집중도 레벨 분석방법 | |
| WO2018212090A1 (ja) | 制御装置及び制御方法 | |
| KR20150044199A (ko) | 운전자 주행특성을 고려한 차량 주행위치 선정 시스템 및 그 방법 | |
| JP7129147B2 (ja) | 車両用装置、安全運転支援システム、及び、安全運転支援方法 | |
| JP7432198B2 (ja) | 状況認識推定システム及び運転支援システム | |
| US20230137349A1 (en) | System for data communication using vehicle camera, method therefor and vehicle for the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |