KR20220005290A - 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법 - Google Patents

인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법 Download PDF

Info

Publication number
KR20220005290A
KR20220005290A KR1020200082969A KR20200082969A KR20220005290A KR 20220005290 A KR20220005290 A KR 20220005290A KR 1020200082969 A KR1020200082969 A KR 1020200082969A KR 20200082969 A KR20200082969 A KR 20200082969A KR 20220005290 A KR20220005290 A KR 20220005290A
Authority
KR
South Korea
Prior art keywords
driver
event
driving
image
vehicle
Prior art date
Application number
KR1020200082969A
Other languages
English (en)
Inventor
최성국
Original Assignee
주식회사 씽크아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씽크아이 filed Critical 주식회사 씽크아이
Priority to KR1020200082969A priority Critical patent/KR20220005290A/ko
Publication of KR20220005290A publication Critical patent/KR20220005290A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

졸음운전 및 부주의 운전 인식 기능을 구비한 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법이 개시된다. 본 발명의 인캐빈 안전센서는 운전자를 촬영한 영상을 이용하여 졸음운전이나 부주의 운전 상태를 인식할 수 있으며, 즉각 대응 조치를 구현할 뿐만 아니라 서비스 서버에 그 상태정보를 제공함으로써 운전자의 운전 습관 등을 기록할 수 있다. 이를 통해, 서비스 서버 또는 그 관리자의 차원에서 해당 차량 운전자의 졸음운전 또는 부주의 운전에 대해 다른 조치를 취할 수 있다.

Description

인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법{In-Cabin Security Sensor and Platform Service Method therefor}
본 발명은 졸음운전 및 부주의 운전 감시 서비스를 제공할 수 있는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법에 관한 것이다.
자동차 운전 중에 졸음이나 부주의로 운전자의 주의가 산만해지면 필연적으로 사고로 이어진다. 운전 중 졸음뿐만 아니라 운전 중 흡연, 운전 중 주의산만 등 잠시라도 전방 주시를 게을리하면 곧 사고로 이어질 수 있다. 이런 상황을 운전자 개인의 주의에만 맡기기에는 그 부주의의 결과가 지대하기 때문에, 다양한 운전보조장치들이 개발되고 있다.
졸음운전이나 부주의 운전을 인식하는 방식은 여러 가지가 있는데, 카메라로 운전자를 촬영하여 영상을 분석하는 방식이 주로 사용되고, 지능형운전자보조시스템(ADAS: Advanced Driver Assistance Systems)을 이용해 차선 이탈 정보를 받아 부주의 상황을 인식하기도 한다. 여기에 적용되는 기술이 인캐빈 센싱(In-Cabin Sensing)이다. ADAS 뿐만 아니라 자율주행차가 운전자의 초점과 차량 내부에서 일어나는 일에 대한 정확한 정보를 요구하는데, 인캐빈 센싱이 이런 일을 처리한다. 운전자의 행동을 인식하고 ADAS 시스템이 그에 따라 반응할 수 있도록 이 정보를 ADAS 시스템에 전달한다.
한편, 영상을 분석하는 방식은 운전자의 얼굴, 특히 눈의 움직임을 촬영하여 운전자가 졸음 상태인지 또는 부주의 상태인지를 개별 알고리즘에 따라 판단한다. 졸음이나 주의 산만 상태가 인식되면, 자체 장치나 자동차 내부 시스템을 이용하여 시각적, 청각적, 촉각적인 방법으로 운전자에게 경고한다. 운전보조장치가 제공하는 경고로 상황이 개선되지 않고 운전자의 졸음이나 부주의 상태가 지속될 수 있다. 이런 때는 운전자의 상태를 외부에 전달할 필요도 있다.
졸음, 부주의와 관련된 운전보조장치는 자동차 제조사가 차량에 내장할 수도 있고, 시판되는 자동차에 부가 장착하는 방식으로 구현될 수도 있다. 부가 장착하는 방식의 운전보조장치 대부분은 스탠드 얼론(Stand Alone)으로 동작하도록 제작되어 운전석의 대시보드 상부 또는 계기판 앞에 설치하도록 구현된다. 이유는 운전자의 얼굴 높이보다 낮아 운전자 얼굴(특히 눈 부분)을 촬영하기에 가장 좋은 고정 위치이기 때문이다. 다만, 종래처럼, 차량의 운전석 대시보드 상단 또는 계기판 앞에 설치할 경우에는 차량의 핸들 등이 계속 또는 반복적으로 영상에 나타나서 잡음으로 작용한다. 그럼에도, 대시보드와 계기판에 카메라를 설치하는 것은, 차량의 핸들 등이 간섭하지 않는 위치가 대부분 운전자의 눈보다 높은 위치가 되는데, 이런 위치에서 촬영한 영상에서는 운전자의 얼굴의 눈을 정확하게 인식하는 것이 용이하지 않기 때문이다.
한편, 자동차마다 대시보드와 계기판의 높이가 다르고, 운전자의 앉은 키와 핸들의 위치와의 관계 등이 운전자마다 다르기 때문에, 이런 류의 운전보조장치는 개별 자동차에 특화되어 제작된다. 따라서 모든 자동차에 일반적으로 적용할 수 있는 장치가 없다.
한편, 차량에는 전후방을 촬영하여 운전 상황이나 전후방 상황을 기록하는 블랙박스가 있다. 블랙박스는 내장 카메라나 외장 카메라를 연결하여 기록함으로써 충돌 이벤트 등이 있을 때 해당 상황을 확인할 수 있도록 하는 장치다.
본 발명의 목적은, 졸음운전 및 부주의 운전 감시 서비스를 제공할 수 있는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 인캐빈 안전센서는 GPS 모듈, 제1 카메라 및 블랙박스를 포함한다. GPS 모듈은 차량의 위치정보와 차량의 운행정보를 생성하고, 제1 카메라는 전면창의 상단에 마련되며, 적외선 엘이디를 구비하여 운전자를 향해 적외선을 조사한 상태에서 운전자를 촬영하여 적외선 영상을 생성한다.
인캐빈 안전센서는 상기 운행 데이터를 기초로 상기 차량이 운행 중으로 확인될 때, 상기 제1 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하여 외부의 서비스 서버에게 제공한다.
실시 예에 따라, 상기 블랙박스는 영상처리부와 이벤트생성부를 포함한다. 영상처리부는 상기 영상처리를 수행하되, 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 눈을 감은 것으로 인식된 이미지에 대해 제1 인식정보를 생성하여 이벤트생성부에게 제공한다. 이벤트생성부는 기설정된 제1 기준시간 이상 연속하여 상기 제1 인식정보가 확인되면 졸음 운전에 관한 제1 이벤트를 생성한다.
실시 예에 따라, 상기 영상처리부는 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 전방이 아닌 곳을 주시하는 것으로 인식된 이미지에 대해 제2 인식정보를 생성하며, 상기 이벤트생성부는 기설정된 제2 기준시간 이상 상기 제2 인식정보가 확인되는 상황이 기설정된 기준 횟수이상 반복적으로 나타나면 운전자의 부주의 운전에 대한 제2 이벤트를 생성하여 상기 서비스 서버에게 제공한다.
본 발명의 인캐빈 안전센서는 차량에 설치되는 블랙박스를 이용하여 운전자를 촬영하고 그 촬영 이미지에 대한 영상처리를 통해 졸음운전 또는 부주의 운전 형태를 인식할 수 있다. 졸음 또는 부주의 운전이 인식되면, 블랙박스 시스템은 경고음을 출력하거나 운전자 휴대 단말기로 전화를 걸거나, 가족들의 음성을 들려주는 등 운전에 집중할 수 있도록 하는 대응조치를 자동으로 제공한다.
한편, 본 발명에 따라 인식한 운전자의 운전 습관 중에서 졸음 또는 각종 부주의 운전 상태 등은 서비스 서버에 계속 누적되어 기록됨으로써 운전자의 운전 습관 등을 분석할 수 있는 자료로 활용할 수 있다.
예를 들어, 사업장에 소속되어 기업의 차량을 운행하는 운전자에 대해서는 운전 습관에 대한 안전교육 자료로 사용할 수 있을 뿐만 아니라, 졸음 또는 부주의 운전이 인식될 때마다 감점 포인트 등을 적용함으로써 운전 습관 개선에 기여할 수 있다. 이를 통해, 교통사고율을 줄이는데 획기적으로 기여할 수 있다.
도 1은 본 발명의 인캐빈 안전센서 및 서비스 서버의 블록도,
도 2는 차량에 설치되는 본 발명의 인캐빈 안전센서 설치도면,
도 3은 운전 감시 서비스에 사용되는 적외선 영상의 예, 그리고
도 4는 본 발명의 일 실시 예에 따른 졸음운전 및 부주의 운전 감시 서비스의 설명에 제공되는 흐름도이다.
도 1 및 도 2를 참조하면, 본 발명의 운전 감시 시스템(100)은 차량(10) 내부에 설치되는 제1 카메라(110), 지피에스(GPS) 모듈(130) 및 블랙박스(150)와, 무선 네트워크(30)를 통해 블랙박스(150)와 연결되는 서비스 서버(190)를 포함한다. 제1 카메라(110), GPS 모듈(130) 및 블랙박스(150)는 차량(10) 내부에 설치되며, 제1 카메라(110)와 GPS 모듈(130)은 블랙박스(150)에 연결된다. 무선 네트워크(30)는 일반적인 엘티이(LTE)뿐만 아니라, LoRa, Sigfox, Ingenu, LTE-M, NB-IOT 등의 저전력 광대역 네트워크도 사용할 수도 있다.
제1 카메라(110)는 운전자의 졸음운전 및 부주의 운전을 인식하기 위한 수단으로써 운전자를 촬영한다. 제1 카메라(110)는 블랙박스(150)에 연결되어 있어서 운전자를 촬영한 영상출력은 블랙박스(150)로 입력된다. 아래에서 설명하는 영상처리부(171)가 제1 카메라(110)의 영상을 영상처리하여 운전자의 행동을 분석하게 되므로, 제1 카메라(110)의 영상은 영상처리부(171)가 영상처리를 통해 운전자의 행동을 분석할 수 있을 정도의 해상도를 가지는 것이 좋다. 한편, 도 3에 도시된 것처럼, 화면에 운전자의 얼굴이 기설정된 비율 이상으로 충분히 크게 촬영되는 것이 좋다.
제1 카메라(110)는 적외선을 통과시키는 적외선 필터(미도시)를 구비하여 적외선 영상을 생성하며, 운전자를 향해 적외선을 출사하는 적외선 엘이디(111)를 구비한다. 적외선은 대략 850nm 내지 940nm 대역을 사용할 수 있다. 적외선 엘이디(111)가 운전자를 비추는 동안, 제1 카메라(110)는 운전자에서 반사되는 적외선으로 도 3과 같은 적외선 영상을 획득한다.
종래와 달리, 제1 카메라(110)는 차량(10)의 전면창(11)에 설치한다. 전면창(11) 중에서는 운전석 전방부분 상단이 운전자를 촬영하기에 적합하다. 제1 카메라(110)가 전면창(11) 상단에 설치됨으로써, 제1 카메라(110)와 운전자 사이에 방해물이 없는 상태로 운전자를 촬영할 수 있다. 종래처럼 차량의 운전석 대시보드(13) 상단에 설치하는 것이 아니기 때문에, 차량의 핸들이나 운전자의 손과 팔이 영상에 반복적으로 나타나거나 아예 고정된 상태로 영상에 나타나는 문제가 발생하지 않는다.
다만, 운전자 전방 상단에 카메라를 설치하면 운전자의 동작, 특히 눈의 깜박임 등을 인식하는데 어려움이 있다. 이 문제를 해결하기 위해, 인공지능 기술의 딥러닝(Deep Learning) 엔진을 이용하여 운전자 전방 상단에서 촬영하여 인식되는 얼굴의 크기와 각도가 달라질 때의 영상을 분석할 수 있는데, 딥러닝은 연산처리가 많아 고성능 프로세서가 필요하다. 본 발명은 고성능 프로세서를 사용하지 않고도 이 문제를 해결하기 위해, 제1 카메라(110)가 적외선 영상을 생성하도록 설계하였다. 우선 적외선 영상은 주야간 구분없이 사용할 수 있는 것과 더불어, 도 3에서 확인할 수 있는 것처럼 얼굴 주변 이미지를 제거하는 효과가 있다. 따라서 아래의 영상처리부(171)가 영상처리가 매우 용이해진다. 뿐만 아니라, 적외선 영상은 눈이나 코의 윤곽이 명확하고 잡음이 제거되는 특징이 있어서, 운전자의 동작을 인식하는데 유리하다.
더불어, 제1 카메라(110)는 차량(10)의 전면창(11) 상단에 설치함에 따라 차량(10)의 전면창(11) 중앙 상단에 설치하는 블랙박스(150)와 용이하게 연결할 수 있어서, 완성차에 본 발명의 블랙박스(150)를 설치하기도 좋다.
GPS 모듈(130)은 차량(10) 내부에 설치되며 GPS 위성으로부터 GPS 신호를 수신하고 차량의 위치(좌표), 속도 및 차량의 진행방향와 같은 '운행 데이터'를 수집하고 계산한다. 운행 데이터는 아래에서 설명하는 본 발명의 운행 중 서비스를 위해 차량(10)이 운행 중인지 여부를 확인하는데 사용된다. GPS 모듈(130)은 운행 데이터의 계산을 위해 운행데이터계산부(131)를 포함한다. 운행데이터계산부(131)는 GPS 신호를 이용하여 종래에 알려진 방법으로 운행 데이터를 계산하여 블랙박스(150)에게 제공한다.
한편, 도 1 및 도 2에서 GPS 모듈(130)은 블랙박스(150)와 별도의 구성으로 도시되어 있다. 그러나 실시 예에 따라 GPS 모듈(130)은 블랙박스(150)에 내장될 수도 있다.
블랙박스(150)는 내장 카메라(159)를 구비한 영상녹화장치로서 차량(10) 내에 설치되어 차량 전방을 촬영하여 녹화한다. 더불어 본 발명의 블랙박스(150)는 제1 카메라(110) 및 GPS 모듈(130)과 연결되어 제1 카메라(110)가 촬영한 영상을 처리하면서 네트워크(30)로 연결된 서비스 서버(190)와 함께 본 발명의 졸음운전 및 부주의 운전 경고 서비스를 운전자에게 제공한다. 실시 예에 따라, 블랙박스(150)에는 부가적으로 차량의 후방/ 좌우측을 촬영하는 부가 카메라(50)들을 더 연결할 수 있지만, 본 발명의 필수적인 구성은 아니다.
도 2를 참조하면, 블랙박스(150)는 통신부(151), 입력부(153), 표시부(155), SD 카드(157), 내장 카메라(159), 출력부(161) 및 제어부(170)를 포함한다.
통신부(151)는 서비스 서버(190)에 접속할 수 있는 무선 네트워크 수단으로서, 엘티이 뿐만 아니라 다양한 저전력 광대역 통신망 등을 사용할 수 있다. 통신부(151)는 네트워크(30)가 허용하는 대역폭에 따라 제1 카메라(110)가 촬영한 스틸 이미지(Still Image) 또는 동영상 파일까지도 서비스 서버(190)로 전송할 수 있다. 예를 들어, 저전력 광대역 통신망의 경우에는 동영상 파일을 전송하기는 어렵고 스틸 이미지를 전송한다. 실시 예에 따라 통신부(151)는 블랙박스(150)와 분리하여 외장 형태로 구현될 수도 있다.
입력부(153)는 운전자로부터 각종 제어명령을 입력받기 위한 버튼 등이 해당하고, 표시부(155)는 제어부(170)의 제어에 따라 각종 정보를 시각적으로 표시할 수 있는 엘시디(LCD), 오엘이디(OLED) 등이 해당하며, 내장 카메라(159) 또는 제1 카메라(110)가 촬영한 영상을 표시할 수 있다. SD 카드(157)에는 내장 카메라(159)가 촬영한 영상뿐만 아니라 제1 카메라(110)가 촬영한 적외선 영상의 전부 또는 일부가 저장된다.
내장 카메라(159)는 차량의 전방을 촬영하여 녹화하는 블랙박스의 기본 동작을 위한 카메라로서 블랙박스 본체 내부에 내장된다. 내장 카메라(159)는 기설정된 프레임 속도에 맞추어 전방을 촬영함으로써 동영상 또는 스틸 이미지를 생성한다. 아래에서 설명하는 것처럼, 내장 카메라(159)를 이용한 블랙박스(150)의 기본 기능에 대하여는 따로 설명하지 않는다.
출력부(161)는 음성 및 비프음 등의 소리를 출력하거나 이벤트 신호를 외부장치(예:진동 시트)로 출력한다.
제어부(170)는 본 발명의 블랙박스(150)의 전반적인 동작을 제어한다. 따라서 제어부(170)는 내장 카메라(159) 및/또는 부가 카메라(50)를 이용한 차량 주변 영상촬영 및 녹화 기능을 수행한다. 다만, 본 발명은 블랙박스(150)의 기본 기능에 대한 것이 아니라 졸음운전, 부주의 운전 방지의 부가기능에 관한 것이므로, 내장 카메라(159)와 부가 카메라(50)에 기초한 블랙박스 고유의 기능은 설명을 생략하지 않으며, 본 발명의 졸음운전, 부주의 운전 방지 기능의 설명에 필요한 정도에서 간단히 설명한다.
전원부(미도시)는 블랙박스(150)의 동작을 위한 직류 동작 전원을 제공한다. 전원부는 내장 배터리를 주전원으로 사용할 수도 있지만, 차량(10)의 휴즈박스(미도시)를 통해 차량(10)의 직류 전원(V+)을 공급받아 직류 동작전원을 공급할 수도 있다.
제어부(170)는 본 발명의 졸음운전, 부주의 운전 방지기능을 위해, 영상처리부(171) 및 이벤트생성부(173)를 포함한다.
영상처리부(171)는 제1 카메라(110)가 기설정된 프레임 속도(예컨대 30 FPS)로 제공하는 이미지(동영상)에서 졸음운전, 부주의 운전의 판단에 필요한 객체 인식을 수행하고, 그 인식한 결과를 인식정보로 이벤트생성부(173)에게 제공한다. 영상처리부(171)는 이러한 처리를 위해 제1 카메라(110)가 제공하는 모든 이미지를 영상처리하여 운전자의 얼굴과 눈만 아니라 기타 주요 관심객체(담배, 무선전화기 등)를 인식한다. 실시 예에 따라서, 영상처리부(171)는 이벤트생성부(173)의 제어에 따라 차량이 운행 중일 때에만 이러한 영상처리를 수행할 수도 있다.
영상처리부(171)가 개별 이미지에서 객체와 객체의 동작을 인식하는 방법은 종래에 이미 개발되고 널리 알려졌으며, 본 발명에서는 종래에 널리 알려진 영상처리기법을 그대로 사용해도 무방하다. 한편, 제1 카메라(110)가 제공하는 적외선 영상은 얼굴 부분이외의 영상 정보가 거의 없고 얼굴 외곽선과 눈의 외곽선이 뚜렷하기 때문에, 운전자의 얼굴을 인식하고 눈의 움직임을 인식하는 것이 컬러이미지를 사용하는 것에 비해 상대적으로 용이하다.
이벤트생성부(173)는 GPS 모듈(130)이 제공하는 운행 데이터를 이용하여 차량(10)이 운행 중인지를 판단하고, 차량이 운행 중인 경우에 한해 졸음운전 및 부주의 안전 감시 서비스와 관련된 감시 이벤트를 생성한다. 이벤트생성부(173)는 생성된 감시 이벤트(또는 그 정보)를 통신부(151)를 이용하여 네트워크(30)를 경유하여 서비스 서버(190)에게 제공한다.
감시 이벤트에는 (1) 운전자 졸음운전 상태를 판단하기 위한 제1 이벤트 및/또는 (2) 기타 운전자의 부주의 운전 상태를 판단하기 위한 제2 이벤트가 포함된다. 이하에서는 도 3을 참조하여, 이벤트생성부(173)에 의해 수행되는 본 발명의 졸음운전 및 부주의 안전 감시 서비스 제공방법을 상세하게 설명한다.
<운행 데이터의 수신: S401>
이벤트생성부(173)는 GPS 모듈(130)로부터 운행 데이터를 주기적으로 수신하여 차량(10)이 운행 중인지 여부를 판단한다.
실시 예에 따라, 차량(10)이 운행 중이면서 일정 속도 이상인지를 판단할 수도 있다. 예를 들어, 차량을 주차하기 위해서 얼굴을 좌우나 후방으로 돌릴 때 전방 미주시 이벤트가 발생할 수 있는데 차량 속도가 30 Km 이상인 조건이 있으면, 주차중에는 감시 이벤트를 생성하지 않는다. 졸음, 휴대폰 통화, 흡연 등의 이벤트 동작 시나리오도 유사한 GPS 속도를 적용할 수 있다.
<제1 카메라를 이용한 영상 분석:S403>
영상처리부(171)는 제1 카메라(110)가 기설정된 프레임 속도로 제공하는 이미지(동영상)에서 운전자의 얼굴과 눈 뿐만 아니라 기타 주요 관심객체(담배, 무선전화기 등)를 1차 인식한다. 얼굴, 눈과 함께 기타 관심객체가 인식된 이미지에 대해서는 눈을 감은 상태인지 여부, 얼굴 또는 눈이 전방이 아닌 다른 곳을 주시하는지 여부, 담배나 무선 전화기가 인식되는지 여부를 인식하고, 모든 이미지에 대해 그 인식정보를 이벤트생성부(173)에게 제공한다.
한편 영상처리부(171)는 이미지로부터 감시 대상을 인식하지 못한 경우에도 인식정보를 생성함으로써 모든 이미지에 대해 인식정보를 제공할 수도 있고, 인식결과가 있는 경우에만 인식정보를 제공할 수도 있다. 실시 예에 따라, 영상처리부(171)는 제1 카메라(110)가 제공하는 모든 영상에 대해 영상처리를 수행하는 것이 아니라, 이벤트생성부(173)가 차량(10)이 운행을 개시함에 따라 영상처리부(171)에게 감시를 요청한 경우에 한해 제1 카메라 영상을 처리하고 인식정보를 생성할 수도 있다. 어떤 경우에도, 인식정보는 한 개 이미지 단위로 제공된다.
<제1 이벤트 또는 제2 이벤트의 생성조건 판단: S405, S407>
차량이 운행 중이면, 이벤트생성부(173)는 영상처리부(171)가 제공하는 인식정보를 누적하고 분석함으로써, 제1 이벤트 및/또는 제2 이벤트 생성 조건을 판단한다. 제1 이벤트와 제2 이벤트 생성 조건은 얼마든지 다양하게 설정할 수 있다.
제1 이벤트는 예를 들어, 제1 기준 시간(예컨대, 3초)이상 눈을 감은 상태가 지속되는지 여부로 판단할 수 있다. 만약 3초 이상 눈을 감은 상태가 지속되면 졸음운전으로 판단하고 제1 카메라(110)가 초당 30 프레임(fps=30)의 이미지를 생성하는 경우라면, 이벤트생성부(173)는 연속하는 90 프레임의 이미지의 인식결과에서 운전자가 눈을 감고 있다는 '제1 인식정보'가 계속 확인되면, 졸음운전으로 판단할 수 있다.
제2 이벤트는 예를 들어, 제2 기준시간(예컨대, 2초)이상 얼굴이 전방이 아닌 다른 곳을 주시하는 상태가 기준 횟수(예컨대, 4회 이상) 이상 반복적으로 나타나면 부주의 운전에 해당하는 것으로 설정할 수 있다. 이벤트생성부(173)는 연속으로 제공되는 60 프레임의 이미지(2초 동안의 이미지)의 인식결과에서 운전자가 다른 곳을 주시하는 '제2 인식정보'가 계속 확인되고, 일정 시간범위 내에 동일/유사한 형태의 인식결과가 제공되는 것이 4회 이상 반복되면, 부주의 운전으로 판단할 수 있다.
또한, 예를 들어, 제3 기준시간(예컨대, 10초)이상 담배나 휴대 전화기가 연속 또는 비연속적으로 인식되면 부주의 운전에 해당하는 것으로 설정할 수 있다. 예를 들어, 이벤트생성부(173)는 연속으로 제공되는 300 프레임의 이미지(10초 동안의 이미지)의 인식결과에서 연속적 또는 비연속적으로 담배나 휴대 전화기가 인식된 '제3 인식정보'가 확인되면, 부주의 운전으로 판단할 수 있다.
<제1 이벤트 또는 제2 이벤트의 생성: S409, S411>
이벤트생성부(173)는 S405 단계의 판단결과가 제1 이벤트 생성조건 또는 제2 이벤트 생성조건에 해당하면, 제1 이벤트 및/또는 제2 이벤트를 생성한다.
<제1 이벤트 또는 제2 이벤트를 서비스 서버에게 전송: S413>
이벤트생성부(173)는 제1 이벤트 및/또는 제2 이벤트를 SD 카드(157)에 저장함과 더불어, 통신부(151)를 이용하여 서비스 서버(190)에게 전송한다.
제1 이벤트의 경우, 이벤트생성부(173)는 졸음운전 상태를 확인할 수 있는 제1 이벤트 상태정보를 생성하여, 해당 제1 이벤트가 발생한 전체 이미지(동영상) 또는 그 중 몇 장의 스틸 이미지를 서비스 서버(190)에게 제공한다.
제2 이벤트의 경우, 이벤트생성부(173)는 부주의 운전 상태를 확인할 수 있는 제2 이벤트 상태정보를 생성하여, 해당 제2 이벤트가 발생한 전체 이미지(동영상) 또는 그 중 몇 장의 스틸 이미지를 서비스 서버(190)에게 제공한다. 제2 이벤트는 여러 종류가 있기 때문에, 제2 이벤트 상태정보의 내용도 부주의 운전의 종류에 따라 다르게 설정할 수 있다.
실시 예에 따라, 제1 이벤트 상태정보와 제2 이벤트 상태정보에는 GPS 모듈(130)이 제공하는 차량 운행 데이터(위치, 속도, 방향정보 등)가 포함될 수도 있다.
한편, 서비스 서버(190)로 이벤트 정보를 제공하는 것 이외에도, 이벤트생성부(173)는 제1 이벤트 및/또는 제2 이벤트에 따라 긴급 대응조치를 수행할 수 있다. 예컨대 이벤트생성부(173)는 경보 메시지나 기저장된 음성을 출력할 수 있고, 특별한 조명을 점등하여 운전자의 주의를 상기시킬 수도 있다.
<서비스 서버의 이벤트 정보 축적: S415>
서비스 서버(190)는 특정 블랙박스(150)로부터 주기적 또는 비주기적으로 제1 이벤트 상태정보 및/또는 제2 이벤트 상태정보를 수신하면, 내부의 데이터 서버에 저장하고 관리하며, 기본적인 대응 조치를 수행한다.
또한, 서비스 서버(190)는 특정 블랙박스(또는 운전자)로부터 장기간에 걸쳐 수집한 제1 이벤트 상태정보와 제2 이벤트 상태정보를 이용하여 운전자 데이터를 생성할 수 있다.
이상의 방법으로 본 발명의 이벤트생성부(173)에 의한 졸음운전 및 부주의 운전 감시 서비스가 수행된다. 제1 이벤트와 제2 이벤트의 생성에 따라, 제어부(170) 또는 서비스 서버(190)는 다양한 사고 예방조치를 취할 수 있다.
실시 예: 서비스 서버
서비스 서버(190)는 본 발명의 블랙박스(150)에 의한 졸음/부주의 운전 감시 서비스를 전체적으로 운용하며, 그 동작을 위하여 운전자를 등록받아 관리할 수 있다. 운전자 등록을 통해, 서비스 서버(190)는 블랙박스 식별번호와 운전자 정보를 상호 매칭하여 저장하고 관리한다. 여기서, 운전자 정보는 운전자 식별번호, 로그인 아이디와 패스워드, 차량번호 등과 같은 기본 정보뿐만 아니라 운전자 휴대 단말기(190)의 전화번호, MAC 어드레스 등이 포함된다.
졸음/부주의 운전 감시 서비스와 관련하여, 서비스 서버(190)가 수행할 수 있는 조치들은 다음과 같다.
(1) 운전자 주의 상기를 위한 즉시 조치
1차적으로, 서비스 서버(190)는 제1 이벤트 상태정보와 제2 이벤트 상태정보를 접수하면, 사고 예방을 위하여 운전자의 주의를 상기시키기 위한 조치를 취할 수 있다.
서비스 서버(190)는 기설정된 경고 메시지나 음성을 블랙박스(150)에게 전송하여 출력하도록 제어할 수도 있고, 운전자의 휴대 전화기(미도시)로 전화를 걸수도 있고, 기저장된 제3자에게 전화를 걸어 해당 사실을 통지할 수도 있다.
(2) 빅데이터 기반의 운전자 운전 습관 분석
서비스 서버(190)는 장기간 저장된 제1 이벤트 상태정보와 제2 이벤트 상태정보를 이용하여 운전자의 운전 습관, 행동 양식에 대한 포괄적인 정보를 생성할 수 있다. 이렇게 생성된 자료들은 운전자의 운전습관과 관련된 재교육 자료로 사용될 수도 있다.
한편, 만약 제1 이벤트 또는 제2 이벤트 중에 차량 사고가 발생했다면, 서비스 서버(190)가 저장하고 관리 중인 제1 이벤트 상태정보와 제2 이벤트 상태정보와 부가적으로 저장된 이미지 또는 동영상는 졸음/ 부주의 운전이 사고를 유발한 것인지 여부를 확인하는 자료로 활용될 수 있다.
예를 들어, 서비스 서버(190)는 해당 운전자에 대한 감점 포인트를 기록할 수 있다. 제1 이벤트 상태정보를 접수하면 감점 2점, 제2 이벤트 상태정보를 접수하면 감점 1점 또는 2점 식이다. 이렇게 일정 기간 저장된 감점 포인트는 해당 운전자의 운전 습관 재교육 등을 위한 수단으로 사용될 수 있다. 서비스 서버(190)는 해당 운전자의 누적 감점 포인트를 블랙박스(150)와 사용자 휴대폰으로 다시 전송하여 운전자가 확인할 수 있도록 한다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (4)

  1. 차량에 설치되는 인캐빈 안전센서에 있어서,
    차량의 위치정보와 운행 데이터를 생성하는 GPS 모듈;
    전면창의 상단에 마련되며, 적외선 엘이디를 구비하여 운전자를 향해 적외선을 조사한 상태에서 운전자를 촬영하여 적외선 영상을 생성하는 제1 카메라; 및
    상기 운행 데이터를 기초로 상기 차량이 운행 중으로 확인될 때, 상기 제1 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하여 외부의 서비스 서버에게 제공하는 블랙박스를 포함하는 것을 특징으로 하는 인캐빈 안전센서.
  2. 제1항에 있어서,
    상기 블랙박스는,
    상기 영상처리를 수행하되, 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 눈을 감은 것으로 인식된 이미지에 대해 제1 인식정보를 생성하여 이벤트생성부에게 제공하는 영상처리부; 및
    기설정된 제1 기준시간 이상 연속하여 상기 제1 인식정보가 확인되면 운전자의 졸음운전에 관한 제1 이벤트를 생성하는 상기 이벤트생성부를 포함하는 것을 특징으로 하는 인캐빈 안전센서.
  3. 제2항에 있어서,
    상기 영상처리부는 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 전방이 아닌 곳을 주시하는 것으로 인식된 이미지에 대해 제2 인식정보를 생성하며,
    상기 이벤트생성부는 기설정된 제2 기준시간 이상 상기 제2 인식정보가 확인되는 상황이 기설정된 기준 횟수이상 반복적으로 나타나면 운전자의 부주의 운전에 대한 제2 이벤트를 생성하여 상기 서비스 서버에게 제공하는 것을 특징으로 하는 인캐빈 안전센서.
  4. 제1항에 있어서,
    상기 블랙박스는, 상기 상기 운행 데이터를 기초로 상기 차량이 기설정된 속도 이상으로 운행 중으로 확인될 때, 상기 제1 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하는 것을 특징으로 하는 인캐빈 안전센서.
KR1020200082969A 2020-07-06 2020-07-06 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법 KR20220005290A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200082969A KR20220005290A (ko) 2020-07-06 2020-07-06 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200082969A KR20220005290A (ko) 2020-07-06 2020-07-06 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법

Publications (1)

Publication Number Publication Date
KR20220005290A true KR20220005290A (ko) 2022-01-13

Family

ID=79342017

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200082969A KR20220005290A (ko) 2020-07-06 2020-07-06 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법

Country Status (1)

Country Link
KR (1) KR20220005290A (ko)

Similar Documents

Publication Publication Date Title
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
US10298741B2 (en) Method and device for assisting in safe driving of a vehicle
EP3006297B1 (en) Driving characteristics diagnosis device, driving characteristics diagnosis system, driving characteristics diagnosis method, information output device, and information output method
US11223381B2 (en) Phone docking station mounted on a vehicle for enhanced driving safety
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
WO2019087507A1 (ja) 漫然運転抑制システム
US11783600B2 (en) Adaptive monitoring of a vehicle using a camera
US20180204078A1 (en) System for monitoring the state of vigilance of an operator
US10666901B1 (en) System for soothing an occupant in a vehicle
US20230174074A1 (en) In-cabin safety sensor installed in vehicle and method of providing service platform thereof
KR102494530B1 (ko) 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법
KR102051136B1 (ko) 클라우드서버를 기반을 하는 인공지능 대쉬보드로봇을 이용한 사용자 상태인식시스템
CN111717083B (zh) 一种车辆交互方法和一种车辆
US20180022357A1 (en) Driving recorder system
KR20210119243A (ko) 졸음운전 및 부주의 운전 인식 기능을 구비한 블랙박스 시스템 및 그 서비스 제공방법
JP7114953B2 (ja) 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム
KR20220005290A (ko) 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
JP2014238707A (ja) ドライバ状態判定システム
US20190149777A1 (en) System for recording a scene based on scene content
WO2021005975A1 (ja) 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム
JP2015026255A (ja) 運転支援システムおよび運転支援方法
JP7060841B2 (ja) 運転評価装置、運転評価方法、及び運転評価プログラム
KR102588904B1 (ko) 차량에 설치되는 인캐빈 안전센서
JP6950597B2 (ja) 車載機、運転評価システム、情報処理方法、及びプログラム
KR20180012580A (ko) 스마트폰 카메라를 이용한 운전자 상태 확인시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application