KR102494530B1 - 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법 - Google Patents

차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법 Download PDF

Info

Publication number
KR102494530B1
KR102494530B1 KR1020200064491A KR20200064491A KR102494530B1 KR 102494530 B1 KR102494530 B1 KR 102494530B1 KR 1020200064491 A KR1020200064491 A KR 1020200064491A KR 20200064491 A KR20200064491 A KR 20200064491A KR 102494530 B1 KR102494530 B1 KR 102494530B1
Authority
KR
South Korea
Prior art keywords
driver
camera
image
driving
event
Prior art date
Application number
KR1020200064491A
Other languages
English (en)
Other versions
KR20210148497A (ko
Inventor
최성국
강관수
Original Assignee
주식회사 씽크아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씽크아이 filed Critical 주식회사 씽크아이
Priority to KR1020200064491A priority Critical patent/KR102494530B1/ko
Publication of KR20210148497A publication Critical patent/KR20210148497A/ko
Application granted granted Critical
Publication of KR102494530B1 publication Critical patent/KR102494530B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • G06Q50/40—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법이 개시된다. 본 발명의 카메라 장치는 운전자를 촬영한 영상을 이용하여 졸음운전이나 부주의 운전 상태를 인식할 수 있으며, 즉각 대응 조치를 구현할 뿐만 아니라 서비스 서버에 그 상태정보를 제공함으로써 운전자의 운전 습관 등을 기록할 수 있다. 이를 통해, 서비스 서버 또는 그 관리자의 차원에서 해당 차량 운전자의 졸음운전 또는 부주의 운전에 대해 다른 조치를 취할 수 있다.

Description

차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법{Camera Apparatus Installing at a Car for Detecting Drowsy Driving and Careless Driving and Method thereof}
본 발명은 차량에 설치되는 카메라 장치에 관한 것으로서, 카메라를 이용하여 졸음운전 및 부주의 운전 감시 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법에 관한 것이다.
자동차 운전 중에 졸음이나 부주의로 운전자의 주의가 산만해지면 필연적으로 사고로 이어진다. 운전 중 졸음뿐만 아니라 운전 중 흡연, 운전 중 주의산만 등 잠시라도 전방 주시를 게을리하면 곧 사고로 이어질 수 있다. 이런 상황을 운전자 개인의 주의에만 맡기기에는 그 부주의의 결과가 지대하기 때문에, 다양한 운전보조장치들이 개발되고 있다.
졸음운전이나 부주의 운전을 인식하는 방식은 여러 가지가 있는데, 카메라로 운전자를 촬영하여 영상을 분석하는 방식이 주로 사용되고, 지능형운전자보조시스템(ADAS: Advanced Driver Assistance Systems)을 이용해 차선 이탈 정보를 받아 부주의 상황을 인식하기도 한다. 영상을 분석하는 방식은 운전자의 얼굴, 특히 눈의 움직임을 촬영하여 운전자가 졸음 상태인지 또는 부주의 상태인지를 개별 알고리즘에 따라 판단한다. 졸음이나 주의 산만 상태가 인식되면, 자체 장치나 자동차 내부 시스템을 이용하여 시각적, 청각적, 촉각적인 방법으로 운전자에게 경고한다. 운전보조장치가 제공하는 경고로 상황이 개선되지 않고 운전자의 졸음이나 부주의 상태가 지속될 수 있다. 이런 때는 운전자의 상태를 외부에 전달할 필요도 있다.
졸음, 부주의와 관련된 운전보조장치는 자동차 제조사가 차량에 내장할 수도 있고, 시판되는 자동차에 부가 장착하는 방식으로 구현될 수도 있다. 부가 장착하는 방식의 운전보조장치 대부분은 스탠드 얼론(Stand Alone)으로 동작하도록 제작되어 운전석의 대시보드 상부 또는 계기판 앞에 설치하도록 구현된다. 이유는 운전자의 얼굴 높이보다 낮아 운전자 얼굴(특히 눈 부분)을 촬영하기에 가장 좋은 고정 위치이기 때문이다. 다만, 종래처럼, 차량의 운전석 대시보드 상단 또는 계기판 앞에 설치할 경우에는 차량의 핸들 등이 계속 또는 반복적으로 영상에 나타나서 잡음으로 작용한다. 그럼에도, 대시보드와 계기판에 카메라를 설치하는 것은, 차량의 핸들 등이 간섭하지 않는 위치가 대부분 운전자의 눈보다 높은 위치가 되는데, 이런 위치에서 촬영한 영상에서는 운전자의 얼굴의 눈을 정확하게 인식하는 것이 용이하지 않기 때문이다.
한편, 자동차마다 대시보드와 계기판의 높이가 다르고, 운전자의 앉은 키와 핸들의 위치와의 관계 등이 운전자마다 다르기 때문에, 이런 류의 운전보조장치는 개별 자동차에 특화되어 제작된다. 따라서 모든 자동차에 일반적으로 적용할 수 있는 장치가 없다. 일반적으로 화물차는 대시보드와 운전석 간의 거리가 승용차의 그것에 비해 멀다. 따라서 통상의 카메라 화각을 동일하게 적용할 때 화물차에서 운전자 얼굴이 상대적으로 매우 작게 나온다. 이러한 이유로 화물차용은 카메라의 화각이 좁은 것으로 설계됨으로써 운전자의 얼굴이 충분히 크게 나오게 한다. 이처럼 운전보조장치는 예를 들어 화물차용과 승용차용이 서로 다르게 설계되고 제조된다.
본 발명의 목적은, 졸음운전 및 부주의 운전 감시 서비스를 제공할 수 있는 차량에 설치되는 카메라 장치 및 그 서비스 제공방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 카메라 장치는 차량의 전면창의 상단에 설치되어 운전자의 졸음 운전상태 또는 부주의 운전상태 감시 서비스를 제공할 수 있다. 본 발명의 카메라 장치는 직접 또는 다른 장치를 통해 상기 서비스 서버가 연결된 인터넷에 접속할 수 있는 통신부와, 차량의 위치정보를 생성하는 GPS 모듈과, 운전자를 비추는 적외선 엘이디와, 운전자를 촬영하여 적외선 영상을 생성하는 카메라와, 상기 위치정보를 기초로 차량의 운행 데이터를 생성하는 운행데이터계산부와, 제어부를 포함한다. 제어부는 상기 운행 데이터를 기초로 상기 차량이 운행 중으로 확인될 때, 상기 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하여 상기 서비스 서버에게 제공할 수 있다.
이벤트 생성
실시 예에 따라, 상기 제어부는 영상처리부와 이벤트생성부를 포함한다. 영상처리부는 상기 영상처리를 수행하되, 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 눈을 감은 것으로 인식된 이미지에 대해 제1 인식정보를 생성하여 이벤트생성부에게 제공한다. 이벤트생성부는 기설정된 제1 기준시간 이상 연속하여 상기 제1 인식정보가 확인되면 운전자의 졸음운전에 관한 제1 이벤트를 생성한다.
실시 예에 따라, 상기 영상처리부는 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 전방이 아닌 곳을 주시하는 것으로 인식된 이미지에 대해 제2 인식정보를 생성할 수 있다. 이 경우, 상기 이벤트생성부는 기설정된 제2 기준시간 이상 상기 제2 인식정보가 확인되는 상황이 기설정된 기준 횟수이상 반복적으로 나타나면 운전자의 부주의 운전에 대한 제2 이벤트를 생성하여 상기 서비스 서버에게 제공할 수 있다.
다른 실시 예에 따라, 상기 이벤트생성부는, 상기 운행 데이터를 기초로 상기 차량이 기설정된 속도 이상으로 운행 중으로 확인될 때, 상기 제1 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성할 수 있다.
카메라 설정
다른 실시 예에 따라, 상기 제어부는 카메라설정부를 더 포함할 수 있다. 카메라설정부는 설정모드 중에 운전자를 촬영하여 생성한 원본 이미지에서 얼굴 영역의 크기를 계산한 다음, 기설정된 크기와 비교하여 그 차이만큼의 배율을 계산하여 줌 파라미터를 설정할 수 있다. 이 경우, 상기 영상처리부는 상기 카메라가 제공하는 이미지를 상기 줌 파라미터에 따라 확대 또는 축소하여 운전자 얼굴 영역의 크기를 일정한 크기 범위로 조정한 이미지를 기초로 영상처리를 수행하는 것이 바람직하다.
또 다른 실시 예에 따라, 상기 카메라설정부는, 상기 설정모드 중에 상기 카메라가 제공하는 이미지에서 운전자 좌우에 배치된 적어도 하나의 창(Window) 영역을 영상처리를 통해 인식하여 비처리영역으로 설정할 수 있다. 카메라설정부는 감시모드 중에 상기 카메라가 제공하는 이미지에서 비처리영역을 제외하고 계산된 화이트 밸런스 값으로 상기 카메라의 화이트 밸런스를 조정하도록 제어할 수 있다.
본 발명은 상기 카메라 장치의 감시 서비스 방법에도 미친다. 본 발명의 졸음운전 및/또는 부주의 운전 감시 서비스 방법은, 적외선 엘이디가 운전자에게 적외선을 비추고 내장된 카메라가 상기 운전자를 촬영하여 적외선 이미지를 생성하는 단계와; GPS 모듈이 차량의 위치정보를 생성하고, 운행데이터계산부가 상기 위치정보를 기초로 차량의 운행 데이터를 생성하여 상기 차량이 운행 중인지 판단하는 단계와; 제어부가 상기 운행 데이터를 기초로 상기 차량이 운행 중으로 확인될 때, 상기 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하여 통신부를 통해 인터넷에 연결하여 서비스 서버에게 제공하는 단계를 포함한다.
본 발명의 시스템은 차량에 설치되는 카메라 장치를 이용하여 운전자를 촬영하고 그 촬영 이미지에 대한 영상처리를 통해 졸음운전 또는 부주의 운전 형태를 인식할 수 있다.
이때 본 발명의 카메라 장치는 차량의 대시보드 이외에도 운전자의 전면 상부 등 어디라도 설치할 수 있을 뿐만 아니라, 설치 위치와 운전자 사이의 거리에 맞추어 자동으로 줌(Zoom) 파라미터를 설정하여 운전자의 동작을 인식하기에 충분한 이미지를 획득하기 때문에, 카메라 장치의 설치위치와 운전자 사이의 거리 등을 고려할 필요없이 영상처리에 적합한 영상을 획득할 수 있다.
또한, 본 발명의 카메라 장치는 운전자 이미지의 화이트 밸런스에 영향을 주는 자동차의 창문 영역을 감지하여, 화이트 밸런스 조정시에 해당 창문 영역의 픽셀값을 배제함으로써 영상처리에 적합한 이미지를 자동으로 만들 수 있다.
졸음 또는 부주의 운전이 인식되면, 카메라 장치는 경고음을 출력하거나 운전자 휴대 단말기로 전화를 걸거나, 가족들의 음성을 들려주는 등 운전에 집중할 수 있도록 하는 대응조치를 자동으로 제공한다.
한편, 본 발명에 따라 인식한 운전자의 운전 습관 중에서 졸음 또는 각종 부주의 운전 상태 등은 서비스 서버에 계속 누적되어 기록됨으로써 운전자의 운전 습관 등을 분석할 수 있는 자료로 활용할 수 있다.
예를 들어, 본 발명의 서비스 서버에 연결된 보험사 서버와 연계하여, 누적된 운전 습관에 기초하여 자동으로 보험료를 조정하거나, 사업장에 소속되어 기업의 차량을 운행하는 운전자에 대해서 운전 습관에 관한 안전교육 자료로 사용할 수 있으며, 졸음 또는 부주의 운전이 인식될 때마다 감점 포인트 등을 적용함으로써 운전 습관 개선에 기여할 수 있다. 이를 통해, 교통사고율을 줄이는데 획기적으로 기여할 수 있다.
도 1은 본 발명의 카메라 장치 및 서비스 서버의 블록도,
도 2는 본 발명의 카메라 장치가 설치된 차량의 일 예를 도시한 도면,
도 3은 운전 감시 서비스에 사용되는 적외선 영상의 예, 그리고
도 4는 본 발명의 일 실시 예에 따른 졸음운전 및 부주의 운전 감시 서비스의 설명에 제공되는 흐름도이다.
도 1을 참조하면, 본 발명의 서비스 시스템(100)은 차량(10) 내부에 설치되는 카메라 장치(110)와, 인터넷(30)을 통해 연결되는 서비스 서버(130) 및 보험사 서버(150)를 포함하여 운전자의 졸음운전 및 부주의 운전 관련한 종합 서비스를 제공한다. 여기서, 무선 인터넷(30)은 종래에 널리 알려진 인터넷(Internet)이다.
실시 예에 따라, 서비스 시스템(100)은 무선전화기나 태블릿과 같은 운전자 휴대 단말기(미도시) 등을 더 포함할 수도 있다. 운전자 휴대 단말기(미도시)는 인터넷(30)과 카메라 장치(110)에 개별적으로 접속할 수 있는 통신 수단을 구비하고 카메라 장치(110)와 인터넷(30) 사이를 연결하는 역할을 하면서, 실시 예에 따라 아래에서 설명하는 것처럼 경고 메시지 등을 수신할 수도 있다.
카메라 장치(110)는 차량(10) 내에 설치되어 운전자의 졸음운전 및 부주의 운전 인식을 위한 이미지를 생성하고 아래에서 설명하는 운행데이터를 생성하며, 인터넷(30)에 연결된 서비스 서버(130)와 함께 본 발명의 졸음운전 및 부주의 운전 경고 서비스를 운전자에게 제공한다.
도 2를 참조하면, 카메라 장치(110)는 통신부(201), 카메라(203), 적외선 엘이디(205), 지피에스(GPS) 모듈(207), 입력부(209), 표시부(211), 저장매체(213), 출력부(215) 및 제어부(230)를 포함한다. 카메라 장치(110)는 도 2에 도시된 것처럼 전체 구성을 하나의 케이스 내에 내장시켜 일체로 구현할 수도 있고, 카메라(203)만을 분리한 형태로 구현할 수도 있다.
전원부(미도시)는 카메라 장치(110)의 동작을 위한 직류 동작 전원을 제공한다. 전원부는 내장 배터리를 주전원으로 사용할 수도 있지만, 차량(10)의 휴즈박스(미도시)를 통해 차량(10)의 직류 전원(V+)을 공급받아 직류 동작전원을 공급할 수도 있다.
통신부(201)는 서비스 서버(130)에 접속하기 위한 무선 네트워크 수단으로서, 인터넷(30)에 접속할 수 있는 어떠한 형태의 통신 수단도 가능하다. 예컨대, 통신부(201)는 일반적인 엘티이(LTE)나 5G와 같은 이동통신망에 접속하기 위한 수단뿐만 아니라, LoRa, Sigfox, Ingenu, LTE-M, NB-IOT 등의 저전력 광대역 네트워크에 접속할 수 있는 수단도 사용할 수도 있다. 또한, 본 발명의 서비스 시스템(100)이 카메라 장치(110)와 인터넷(30) 사이를 연결하는 운전자 휴대 단말기(미도시)를 더 포함한 경우에, 통신부(201)는 운전자 휴대 단말기(미도시)와 연결 가능한 무선랜(Wireless)이나 블루투스(Bluetooth) 등이 될 수도 있다.
통신부(201)는 자신의 통신방식이 허요하는 대역폭에 따라 카메라(203)가 촬영한 스틸 이미지(Still Image) 또는 동영상 파일까지도 서비스 서버(130)로 전송할 수 있다. 예를 들어, 저전력 광대역 통신망의 경우에는 동영상 파일을 전송하기는 어렵고 스틸 이미지를 전송한다.
카메라(203)는 운전자의 졸음운전 및 부주의 운전을 인식하기 위한 수단으로써 운전자를 촬영하여 적외선 영상을 생성하며, 이를 위해 적외선 필터(203a), 렌즈(203b) 및 이미지 센서(203c)를 구비한다.
이미지 센서(203c)는 적외선 필터(203a)를 통해 입사되는 적외선을 이용하여 적외선 영상을 생성한다. 이미지 센서(203c)는 영상처리부(235)가 영상처리를 통해 운전자의 행동을 분석할 수 있을 정도의 해상도를 가져야 한다. 또한 아래에서 설명하는 것처럼 줌 파라미터(Zoom Parameter)에 의한 확대 또는 축소 영상에서도 운전자의 눈이나 입의 움직임 등을 인식할 수 있어서, 졸음 및/또는 부주의 운전을 식별할 수 있을 정도의 해상도를 가져야 한다. 카메라(203)가 줌을 위한 광학계를 구비하는 것이 좋겠지만 고가이고 소형화가 어려운 점 등을 고려하면 사실상 적용할 수 있는 것이 아니므로, 디지털 영상 확대 또는 축소에 의한 소위 '디지털 줌'을 적용하는 것이 바람직하다. 따라서 이미지 센서의 해상도는, 설정모드에서 선택된 줌 파라미터에 의한 이미지 확대 또는 축소하더라도 운전자 얼굴 이미지가 영상처리에 충분한 정도의 해상도이어야 한다.
적외선 필터(203a)는 적외선을 통과시키는 대역통과필터로서, 이미지 센서(203c)로 입사되는 광에서 적외선을 주로 통과시킨다. 본 발명에서 적외선 이미지를 생성하기 위해 사용하는 적외선 엘이디(205)가 대략 850nm 내지 940nm 파장을 사용하지만, 적외선 필터(203a)는 중심주파수와 대역폭을 설정하는 것에 따라 그 중에서도 특정 파정대역의 적외선을 필터링할 수 있다.
종래와 달리, 카메라(203)는 차량(10)의 전면창(11)에 설치한다. 전면창(11) 중에서는 운전석 전방부분 상단이 운전자를 촬영하기에 적합하다. 카메라(203)가 전면창(11) 상단에 설치됨으로써, 카메라(203)와 운전자 사이에 방해물이 없는 상태로 운전자를 촬영할 수 있다. 종래처럼 차량의 운전석 대시보드(13) 상단에 설치하는 것이 아니기 때문에, 차량의 핸들이나 운전자의 손과 팔이 영상에 반복적으로 나타나거나 아예 고정된 상태로 영상에 나타나는 문제가 발생하지 않는다.
다만, 운전자 전방 상단에 카메라를 설치하면 운전자의 동작, 특히 눈의 깜박임 등을 인식하는데 어려움이 있다. 이 문제를 해결하기 위해, 인공지능 기술의 딥러닝(Deep Learning) 엔진을 이용하여 운전자 전방 상단에서 촬영하여 인식되는 얼굴의 크기와 각도가 달라질 때의 영상을 분석할 수 있는데, 딥러닝은 연산처리가 많아 고성능 프로세서가 필요하다. 본 발명은 고성능 프로세서를 사용하지 않고도 이 문제를 해결하기 위해, 카메라(203)가 적외선 영상을 생성하도록 설계하였다. 우선 적외선 영상은 주야간 구분없이 사용할 수 있는 것과 더불어, 도 3에서 확인할 수 있는 것처럼 얼굴 주변 이미지를 제거하는 효과가 있다. 따라서 아래의 영상처리부(235)가 영상처리가 매우 용이해진다. 뿐만 아니라, 적외선 영상은 눈이나 코의 윤곽이 명확하고 잡음이 제거되는 특징이 있어서, 운전자의 동작을 인식하는데 유리하다.
적외선 엘이디(205)는 카메라(203)가 적외선 이미지를 촬영할 수 있도록 운전자를 향해 적외선을 출사한다. 적외선은 대략 850nm 내지 940nm 대역을 사용할 수 있다. 적외선 엘이디(205)가 운전자를 비추는 동안, 카메라(203)는 운전자에서 반사되는 적외선으로 도 3과 같은 적외선 이미지(영상)를 획득한다.
GPS 모듈(207)은 GPS 위성으로부터 GPS 신호를 수신하여 제어부(230)에게 제공한다. 도 1 및 도 2에서 GPS 모듈(207)은 카메라 장치(110)에 내장된 구성으로 도시되어 있는데, 실시 예에 따라 카메라 장치(110)와 별도의 구성으로 구현될 수도 있다.
입력부(209)는 운전자로부터 각종 제어명령을 입력받기 위한 버튼 등이 해당하고, 표시부(211)는 제어부(230)의 제어에 따라 각종 정보를 시각적으로 표시할 수 있는 엘시디(LCD), 오엘이디(OLED) 등이 해당하며, 카메라(203)가 생성한 영상을 표시할 수 있다. 저장매체(213)는 카메라(203)가 촬영한 적외선 영상의 전부 또는 일부가 저장되며, SD 카드 등을 사용할 수 있다. 출력부(215)는 음성 및 비프음 등의 소리를 출력하거나 이벤트 신호를 외부장치(예:진동 시트)로 출력한다.
제어부(230)는 본 발명의 카메라 장치(110)의 전반적인 동작을 제어한다. 따라서 제어부(230)는 카메라(203)를 이용한 적외선 영상촬영 및 녹화 기능을 수행하며, 본 발명에 특유한 졸음운전, 부주의 운전 방지 기능을 수행한다. 제어부(230)는 본 발명의 졸음운전, 부주의 운전 방지기능을 위해, 운행데이터계산부(231), 카메라설정부(233), 영상처리부(235) 및 이벤트생성부(237)를 포함한다.
운행데이터계산부(231)는 GPS 모듈(207)이 제공하는 신호를 이용하여 차량의 위치(좌표), 속도 및 차량의 진행방향과 같은 '운행 데이터'를 계산한다. 운행 데이터는 아래에서 설명하는 본 발명의 운행 중 서비스를 위해 차량(10)이 운행 중인지 여부를 확인하는데 사용된다. 운행데이터계산부(231)가 GPS 신호를 이용하여 운행 데이터를 계산하는 방법은 종래에 알려진 방법으로 얼마든지 할 수 있다.
카메라설정부(233)는 카메라(203)의 설정모드에서 '줌 파라미터'와 '비처리영역'을 설정함으로써, 영상처리부(235)의 영상 전처리를 지원한다. 여기서, 줌 파라미터는 카메라(203)가 촬영한 원본 이미지에 전처리과정으로 적용되는 확대(또는 축소) 비율로서, 영상처리부(235)는 줌 파라미터에 맞추어 카메라(203)가 생성한 원본 이미지를 확대 또는 축소함으로써 졸음 운전 및/또는 부주의 운전 인식에 적절한 해상도를 유지하면서도 운전자 중심의 이미지를 획득한 다음, 운전자의 얼굴 영역을 졸음 운전 또는 부주의 운전 인식을 위한 영상처리를 수행하고 저장매체(213)에 저장한다. 운전자의 얼굴 이미지가 기준 크기보다 작은 것이 문제이므로, 일반적으로 줌 파라미터는 확대 비율이 될 것이다.
비처리영역은 카메라(203)가 촬영한 영상에서 운전석 좌우에 위치한 차량(10)의 창(Window)(15)이 차지하는 영역을 말한다. 영상처리부(235)는 카메라(203)가 생성한 이미지에 대한 화이트 밸런스를 제어할 때 비처리영역의 픽셀값을 제외한 나머지 영역의 픽셀값을 이용하여 카메라(203)가 생성하는 이미지의 화이트 밸런스를 조정한다. 주간에 차량의 창(15)을 통해서 입사되는 자연채광에도 상당한 양의 적외선이 포함되어 있기 때문에, 주간에 카메라(203)가 촬영한 적외선 이미지는 전체적으로 밝은 이미지가 된다. 따라서 전체 픽셀의 픽셀값을 기초로 화이트 밸런스를 조정하면 운전자 얼굴 영역이 상대적으로 어둡게 조정되어 영상처리가 불가능해질 수 있다. 반대로 야간에는 자연채광이 없지만, 적외선 이미지에서 차량의 창 영역은 아주 어두운 부분이기 때문에, 전체 픽셀의 픽셀값을 기초로 화이트 밸런스를 조정하면 운전자 얼굴 영역이 아주 밝은 색으로 포화될 수 있어서 영상처리가 불가능해질 수 있다. 따라서 화이트 밸런스를 조정할 때, 차량의 창(15) 영역의 픽셀값을 고려하지 않도록 '비처리영역'을 설정한다. 카메라설정부(233)의 '줌 파라미터'와 '비처리영역' 설정방법은 아래에서 다시 자세히 설명한다.
영상처리부(235)는 카메라(203)가 기설정된 프레임 속도(예컨대 30 FPS)로 제공하는 원본 이미지에 대해 (1) 카메라설정부(233)가 계산한 줌 파라미터를 이용하여 전처리한 확대(또는 축소) 이미지를 생성한 다음, (2) 확대(또는 축소) 이미지를 기초로 졸음운전, 부주의 운전의 판단에 필요한 객체 인식을 수행하고, (3) 그 인식한 결과를 포함하는 인식정보를 이벤트생성부(237)에게 제공한다.
졸음운전, 부주의 운전의 판단에 필요한 객체 인식을 위해, 영상처리부(235)는 카메라(203)가 제공하는 모든 이미지를 영상처리하여 운전자의 얼굴과 눈뿐만 아니라 기타 주요 관심객체(담배, 무선전화기 등)를 인식한다. 실시 예에 따라서, 영상처리부(235)는 이벤트생성부(237)의 제어에 따라 차량이 운행 중일 때에만 이러한 영상처리를 수행할 수도 있다.
영상처리부(235)가 개별 이미지에서 객체와 객체의 동작을 인식하는 방법은 종래에 이미 개발되고 널리 알려졌으며, 본 발명에서는 종래에 널리 알려진 영상처리기법을 그대로 사용해도 무방하다. 한편, 전처리가 완료된 적외선 영상은 얼굴 부분 이외의 영상 정보가 거의 없고 얼굴 외곽선과 눈의 외곽선이 뚜렷하기 때문에, 운전자의 얼굴을 인식하고 눈의 움직임을 인식하는 것이 컬러이미지를 사용하는 것에 비해 상대적으로 용이하다.
이벤트생성부(237)는 운행데이터계산부(231)가 제공하는 운행 데이터를 이용하여 차량(10)이 운행 중인지를 판단하고, 차량이 운행 중인 경우에 한해 졸음운전 및 부주의 안전 감시 서비스와 관련된 감시 이벤트를 생성한다. 이벤트생성부(237)는 생성된 감시 이벤트(또는 그 정보)를 통신부(201)를 이용하여 직접 또는 다른 수단을 경유하여 인터넷(30)에 접속하여 서비스 서버(130)에게 제공한다.
감시 이벤트에는 (1) 운전자 졸음운전 상태를 판단하기 위한 제1 이벤트 및/또는 (2) 기타 운전자의 부주의 운전 상태를 판단하기 위한 제2 이벤트가 포함된다. 이하에서는 도 4를 참조하여, 이벤트생성부(237)에 의해 수행되는 본 발명의 졸음운전 및 부주의 안전 감시 서비스 제공방법을 상세하게 설명한다.
<차량 운행여부 판단: S401>
이벤트생성부(237)는 GPS 모듈(207)가 제공하는 신호를 주기적으로 수신하여 차량(10)의 운행데이터를 생성하고 차량(10)이 운행 중인지 여부를 판단하여, 차량(10)이 주행 중인 경우에는 졸음 운전 및/또는 부주의 운전을 감시하는 '감시모드'로 진입한다.
실시 예에 따라, 이벤트생성부(237)는 차량(10)이 운행 중이면서 일정 속도 이상인지를 판단할 수도 있다. 예를 들어, 차량을 주차하기 위해서 얼굴을 좌우나 후방으로 돌릴 때 전방 미주시 이벤트가 발생할 수 있는데 차량 속도가 30 Km 이상인 조건이 있으면, 주차중에는 감시 이벤트를 생성하지 않는다. 졸음, 휴대폰 통화, 흡연 등의 이벤트 동작 시나리오도 유사한 GPS 속도를 적용할 수 있다.
<카메라 이미지에 대한 전처리:S403>
적외선 엘이디(205)가 점등하고, 카메라(203)는 기설정된 프레임 속도로 적외선 영상을 생성하여 영상처리부(235)에게 제공한다.
영상처리부(235)는 카메라(203)가 기설정된 프레임 속도로 제공하는 원본 이미지를 카메라설정부(233)가 계산한 줌 파라미터를 이용하여 일정한 비율로 확대(또는 축소)하는 전처리를 수행하여 확대(또는 축소)된 이미지를 생성한다. 도 5를 참조하면, (a)는 카메라(203)의 이미지 센서(203c)가 생성한 원본 이미지이고, (b)는 영상처리부(235)가 줌 파라미터에 따라 전처리하여 확대한 이미지로서, 도 3의 적외선 이미지는 그 실제 이미지의 예다.
<전처리 이미지를 이용한 영상 분석:S405>
영상처리부(235)는 전처리한 이미지에서 운전자의 얼굴과 눈 뿐만 아니라 기타 주요 관심객체(담배, 무선전화기 등)를 1차 인식한다. 얼굴, 눈과 함께 기타 관심객체가 인식된 이미지에 대해서는 눈을 감은 상태인지 여부, 얼굴 또는 눈이 전방이 아닌 다른 곳을 주시하는지 여부, 담배나 무선 전화기가 인식되는지 여부를 인식하고, 모든 이미지에 대해 그 인식정보를 이벤트생성부(237)에게 제공한다.
한편 영상처리부(235)는 이미지로부터 감시 대상을 인식하지 못한 경우에도 인식정보를 생성함으로써 모든 이미지에 대해 인식정보를 제공할 수도 있고, 인식결과가 있는 경우에만 인식정보를 제공할 수도 있다. 실시 예에 따라, 영상처리부(235)는 카메라(203)가 제공하는 모든 영상에 대해 영상처리를 수행하는 것이 아니라, 감시모드 중에 한해 카메라 영상을 처리하고 인식정보를 생성할 수도 있다. 어떤 경우에도, 인식정보는 한 개 이미지 단위로 제공된다.
<제1 이벤트 또는 제2 이벤트의 생성조건 판단: S407, S409>
차량이 운행 중이면, 이벤트생성부(237)는 영상처리부(235)가 제공하는 인식정보를 누적하고 분석함으로써, 제1 이벤트 및/또는 제2 이벤트 생성 조건을 판단한다. 제1 이벤트와 제2 이벤트 생성 조건은 얼마든지 다양하게 설정할 수 있다.
제1 이벤트는 예를 들어, 제1 기준 시간(예컨대, 3초)이상 눈을 감은 상태가 지속되는지 여부로 판단할 수 있다. 만약 3초 이상 눈을 감은 상태가 지속되면 졸음운전으로 판단하고 카메라(203)가 초당 30 프레임(fps=30)의 이미지를 생성하는 경우라면, 이벤트생성부(237)는 연속하는 90 프레임의 이미지의 인식결과에서 운전자가 눈을 감고 있다는 '제1 인식정보'가 계속 확인되면, 졸음운전으로 판단할 수 있다.
제2 이벤트는 예를 들어, 제2 기준시간(예컨대, 2초)이상 얼굴이 전방이 아닌 다른 곳을 주시하는 상태가 기준 횟수(예컨대, 4회 이상) 이상 반복적으로 나타나면 부주의 운전에 해당하는 것으로 설정할 수 있다. 이벤트생성부(237)는 연속으로 제공되는 60 프레임의 이미지(2초 동안의 이미지)의 인식결과에서 운전자가 다른 곳을 주시하는 '제2 인식정보'가 계속 확인되고, 일정 시간범위 내에 동일/유사한 형태의 인식결과가 제공되는 것이 4회 이상 반복되면, 부주의 운전으로 판단할 수 있다.
또한, 예를 들어, 제3 기준시간(예컨대, 10초)이상 담배나 휴대 전화기가 연속 또는 비연속적으로 인식되면 부주의 운전에 해당하는 것으로 설정할 수 있다. 예를 들어, 이벤트생성부(237)는 연속으로 제공되는 300 프레임의 이미지(10초 동안의 이미지)의 인식결과에서 연속적 또는 비연속적으로 담배나 휴대 전화기가 인식된 '제3 인식정보'가 확인되면, 부주의 운전으로 판단할 수 있다.
<제1 이벤트 또는 제2 이벤트의 생성: S411, S413>
이벤트생성부(237)는 S407 단계의 판단결과가 제1 이벤트 생성조건 또는 제2 이벤트 생성조건에 해당하면, 제1 이벤트 및/또는 제2 이벤트를 생성한다.
<제1 이벤트 또는 제2 이벤트를 서비스 서버에게 전송: S415>
이벤트생성부(237)는 제1 이벤트 및/또는 제2 이벤트를 저장매체(213)에 저장함과 더불어, 통신부(201)를 이용하여 서비스 서버(130)에게 전송한다.
제1 이벤트의 경우, 이벤트생성부(237)는 졸음운전 상태를 확인할 수 있는 제1 이벤트 상태정보를 생성하여, 해당 제1 이벤트가 발생한 전체 이미지(동영상) 또는 그 중 몇 장의 스틸 이미지를 서비스 서버(130)에게 제공한다.
제2 이벤트의 경우, 이벤트생성부(237)는 부주의 운전 상태를 확인할 수 있는 제2 이벤트 상태정보를 생성하여, 해당 제2 이벤트가 발생한 전체 이미지(동영상) 또는 그 중 몇 장의 스틸 이미지를 서비스 서버(130)에게 제공한다. 제2 이벤트는 여러 종류가 있기 때문에, 제2 이벤트 상태정보의 내용도 부주의 운전의 종류에 따라 다르게 설정할 수 있다.
실시 예에 따라, 제1 이벤트 상태정보와 제2 이벤트 상태정보에는 운행데이터계산부(231)가 계산한 차량 운행 데이터(위치, 속도, 방향정보 등)가 포함될 수도 있다.
한편, 서비스 서버(130)로 이벤트 정보를 제공하는 것 이외에도, 이벤트생성부(237)는 제1 이벤트 및/또는 제2 이벤트에 따라 긴급 대응조치를 수행할 수 있다. 예컨대 이벤트생성부(237)는 경보 메시지나 기저장된 음성을 출력할 수 있고, 특별한 조명을 점등하여 운전자의 주의를 상기시킬 수도 있다.
<서비스 서버의 이벤트 정보 축적: S417>
서비스 서버(130)는 특정 카메라 장치(110)로부터 주기적 또는 비주기적으로 제1 이벤트 상태정보 및/또는 제2 이벤트 상태정보를 수신하면, 내부의 데이터 서버에 저장하고 관리하며, 기본적인 대응 조치를 수행한다.
또한, 서비스 서버(130)는 특정 카메라 장치(또는 운전자)로부터 장기간에 걸쳐 수집한 제1 이벤트 상태정보와 제2 이벤트 상태정보를 이용하여 운전자 데이터를 생성할 수 있다.
이상의 방법으로 본 발명의 이벤트생성부(237)에 의한 졸음운전 및 부주의 운전 감시 서비스가 수행된다. 제1 이벤트와 제2 이벤트의 생성에 따라, 제어부(230) 또는 서비스 서버(130)는 다양한 사고 예방조치를 취할 수 있다.
줌 파라미터의 생성
카메라설정부(233)는 카메라 장치(110)가 설정모드에 있을 때 줌 파라미터를 계산한다.
카메라설정부(233)는 운전자를 촬영하여 생성한 도 5의 (a)와 같은 원본 이미지에서 얼굴 영역의 크기를 계산한 다음, 기설정된 크기와 비교하여 그 차이만큼의 배율을 계산하여 줌 파라미터를 얻을 수 있다.
화이트 밸런스를 위한 비처리영역의 설정
카메라설정부(233)는 주간에 운전자를 촬영하여 생성한 도 5의 (a)와 같은 이미지를 기초로 '비처리영역'을 설정한다. 이를 위해, 카메라설정부(233)는 도 5의 (a)와 같은 적외선 이미지에서 운전자 좌우에 배치된 적어도 하나의 창(Window) 영역(S11, S13, S15)을 영상처리를 통해 인식하여 비처리영역으로 설정한다.
감시모드 중에, 카메라설정부(233)는 주기적으로 비처리영역을 제외하고 계산된 화이트 밸런스 값을 카메라(203)에게 제공하여 화이트 밸런스를 조정하도록 제어한다.
또는 영상처리부(235)가 운전자의 눈 등을 인식할 수 없을 정도로 전체 이미지의 픽셀값이 포화된 경우에, 카메라설정부(233)는 비처리영역을 제외하고 다시 계산된 화이트 밸런스 값을 카메라(203)에게 제공하여 화이트 밸런스를 조정하도록 제어할 수 있다.
실시 예: 서비스 서버
서비스 서버(130)는 본 발명의 카메라 장치(110)에 의한 졸음/부주의 운전 감시 서비스를 전체적으로 운용하며, 그 동작을 위하여 운전자를 등록받아 관리할 수 있다. 운전자 등록을 통해, 서비스 서버(130)는 블랙박스 식별번호와 운전자 정보를 상호 매칭하여 저장하고 관리한다. 여기서, 운전자 정보는 운전자 식별번호, 로그인 아이디와 패스워드, 차량번호 등과 같은 기본 정보뿐만 아니라 운전자 휴대 단말기의 전화번호, MAC 어드레스 등이 포함된다.
졸음/부주의 운전 감시 서비스와 관련하여, 서비스 서버(130)가 수행할 수 있는 조치들은 다음과 같다.
(1) 운전자 주의 상기를 위한 즉시 조치
1차적으로, 서비스 서버(130)는 제1 이벤트 상태정보와 제2 이벤트 상태정보를 접수하면, 사고 예방을 위하여 운전자의 주의를 상기시키기 위한 조치를 취할 수 있다.
서비스 서버(130)는 기설정된 경고 메시지나 음성을 카메라 장치(110)에게 전송하여 출력하도록 제어할 수도 있고, 운전자의 휴대 전화기(미도시)로 전화를 걸수도 있고, 기저장된 제3자에게 전화를 걸어 해당 사실을 통지할 수도 있다.
(2) 빅데이터 기반의 운전자 운전 습관 분석
서비스 서버(130)는 장기간 저장된 제1 이벤트 상태정보와 제2 이벤트 상태정보를 이용하여 운전자의 운전 습관, 행동 양식에 대한 포괄적인 '운전자 운행정보'를 생성할 수 있다. 이렇게 생성된 자료들은 운전자의 운전습관과 관련된 재교육 자료로 사용될 수도 있다.
한편, 만약 제1 이벤트 또는 제2 이벤트 중에 차량 사고가 발생했다면, 서비스 서버(130)가 저장하고 관리 중인 제1 이벤트 상태정보와 제2 이벤트 상태정보와 부가적으로 저장된 이미지 또는 동영상는 졸음/ 부주의 운전이 사고를 유발한 것인지 여부를 확인하는 자료로 활용될 수 있다.
예를 들어, 서비스 서버(130)는 해당 운전자에 대한 감점 포인트를 기록할 수 있다. 제1 이벤트 상태정보를 접수하면 감점 2점, 제2 이벤트 상태정보를 접수하면 감점 1점 또는 2점 식이다. 이렇게 일정 기간 저장된 감점 포인트는 해당 운전자의 운전 습관 재교육 등을 위한 수단으로 사용될 수 있다. 서비스 서버(130)는 해당 운전자의 누적 감점 포인트를 카메라 장치(110)와 사용자 휴대폰으로 다시 전송하여 운전자가 확인할 수 있도록 한다.
(3) 보험사 서버와 연동
서비스 서버(130)는 특정 운전자에 대한 '운전자 운행정보' 및/또는 누적 감점 포인트를 보험사 서버(150)에게 제공할 수 있으며, 보험사 서버(150)는 해당 운전자와의 자동차보험 계약에 따라 보험료 할증 또는 할인을 자동으로 적용할 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (9)

  1. 차량의 설치되며 외부 서비스 서버와 연결되는 카메라 장치에 있어서,
    직접 또는 다른 장치를 통해 상기 서비스 서버가 연결된 인터넷에 접속할 수 있는 통신부;
    차량의 위치정보를 생성하는 GPS 모듈;
    운전자를 비추는 적외선 엘이디;
    운전자를 촬영하여 적외선 영상을 생성하는, 내장된 카메라;
    상기 위치정보를 기초로 차량의 운행 데이터를 생성하는 운행데이터계산부; 및
    상기 운행 데이터를 기초로 상기 차량이 운행 중으로 확인될 때, 상기 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하여 상기 서비스 서버에게 제공하는 제어부를 포함하며,
    상기 제어부는,
    상기 영상처리를 수행하되, 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 눈을 감은 것으로 인식된 이미지에 대해 제1 인식정보를 생성하여 이벤트생성부에게 제공하는 영상처리부;
    기설정된 제1 기준시간 이상 연속하여 상기 제1 인식정보가 확인되면 운전자의 졸음운전에 관한 제1 이벤트를 생성하는 상기 이벤트생성부; 및
    설정모드 중에 운전자를 촬영하여 생성한 원본 이미지에서 얼굴 영역의 크기를 계산하고 기설정된 크기와 비교하여 그 차이만큼의 배율을 계산하여 줌 파라미터를 설정하고, 상기 카메라가 제공하는 이미지에서 운전자 좌우에 배치된 적어도 하나의 창(Window) 영역을 영상처리를 통해 인식하여 비처리영역으로 설정하는 카메라설정부를 포함하고,
    상기 영상처리부는 상기 카메라가 제공하는 이미지를 상기 줌 파라미터에 따라 확대 또는 축소하여 운전자 얼굴 영역의 크기를 일정한 크기 범위로 조정한 이미지를 기초로 영상처리를 수행함으로써 차량의 종류에 관계없이 상기 카메라 위치와 운전자 사이의 거리에 맞추어 상기 줌 파라미터가 조정되고,
    상기 카메라설정부는 감시모드 중에 상기 카메라가 제공하는 이미지에서 비처리영역을 제외하고 계산된 화이트 밸런스 값으로 상기 카메라의 화이트 밸런스를 조정하도록 제어하는 것을 특징으로 하는 카메라 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상처리부는 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 전방이 아닌 곳을 주시하는 것으로 인식된 이미지에 대해 제2 인식정보를 생성하며,
    상기 이벤트생성부는 기설정된 제2 기준시간 이상 상기 제2 인식정보가 확인되는 상황이 기설정된 기준 횟수이상 반복적으로 나타나면 운전자의 부주의 운전에 대한 제2 이벤트를 생성하여 상기 서비스 서버에게 제공하는 것을 특징으로 하는 카메라 장치.
  4. 제1항에 있어서,
    상기 이벤트생성부는,
    상기 운행 데이터를 기초로 상기 차량이 기설정된 속도 이상으로 운행 중으로 확인될 때, 상기 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하는 것을 특징으로 하는 카메라 장치.
  5. 삭제
  6. 삭제
  7. 차량의 설치된 카메라 장치의 서비스 방법에 있어서,
    설정모드 중에, 카메라설정부가 운전자를 촬영하여 생성한 원본 이미지에서 얼굴 영역의 크기를 계산한 다음, 기설정된 크기와 비교하여 그 차이만큼의 배율을 계산하여 줌 파라미터를 설정하는 단계;
    상기 설정모드 중에 상기 카메라설정부가 상기 카메라가 제공하는 이미지에서 운전자 좌우에 배치된 적어도 하나의 창(Window) 영역을 영상처리를 통해 인식하여 비처리영역으로 설정하는 단계;
    감시모드에 따라, 적외선 엘이디가 운전자에게 적외선을 비추고 내장된 카메라가 상기 운전자를 촬영하여 적외선 이미지를 생성하는 단계;
    상기 감시모드 중에 상기 카메라설정부가 상기 카메라가 제공하는 이미지에서 비처리영역을 제외하고 계산된 화이트 밸런스 값으로 상기 카메라의 화이트 밸런스를 조정하도록 제어하는 단계
    상기 감시모드 중에 GPS 모듈이 차량의 위치정보를 생성하고, 운행데이터계산부가 상기 위치정보를 기초로 차량의 운행 데이터를 생성하여 상기 차량이 운행 중인지 판단하는 단계;
    영상처리부가 상기 운행 데이터를 기초로 상기 차량이 운행 중으로 확인될 때, 상기 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하는 단계; 및
    이벤트생성부가 상기 영상처리를 통해 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하여 통신부를 통해 인터넷에 연결하여 서비스 서버에게 제공하는 단계를 포함하고,
    상기 영상처리를 수행하는 단계에서, 상기 영상처리부는 상기 카메라가 제공하는 이미지를 상기 줌 파라미터에 따라 확대 또는 축소하여 운전자 얼굴 영역의 크기를 일정한 크기 범위로 조정한 이미지를 기초로 영상처리를 수행함으로써 차량의 종류에 관계없이 상기 카메라 위치와 운전자 사이의 거리에 맞추어 상기 줌 파라미터가 조정되는 것을 특징으로 하는 카메라 장치의 졸음 운전상태 또는 부주의 운전 감시 서비스 방법.
  8. 삭제
  9. 삭제
KR1020200064491A 2020-05-28 2020-05-28 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법 KR102494530B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200064491A KR102494530B1 (ko) 2020-05-28 2020-05-28 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200064491A KR102494530B1 (ko) 2020-05-28 2020-05-28 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법

Publications (2)

Publication Number Publication Date
KR20210148497A KR20210148497A (ko) 2021-12-08
KR102494530B1 true KR102494530B1 (ko) 2023-02-02

Family

ID=78867653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200064491A KR102494530B1 (ko) 2020-05-28 2020-05-28 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법

Country Status (1)

Country Link
KR (1) KR102494530B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114348017A (zh) * 2021-12-17 2022-04-15 际络科技(上海)有限公司 基于车载终端和云端解析的驾驶员监控方法和系统
KR102446628B1 (ko) * 2022-07-25 2022-09-26 (주)아이트로닉스 졸음 운전 경고 기능을 갖는 하이패스 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019091469A (ja) * 2018-12-28 2019-06-13 Kddi株式会社 電子機器、制御方法及びプログラム
KR102010216B1 (ko) * 2019-06-26 2019-08-13 주식회사 에이스큐브 졸음 운전 방지 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150106986A (ko) * 2014-03-12 2015-09-23 주식회사 아이디프라임 서버기반 졸음감지 시스템 및 그 방법
JP6442209B2 (ja) * 2014-09-26 2018-12-19 キヤノン株式会社 画像処理装置およびその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019091469A (ja) * 2018-12-28 2019-06-13 Kddi株式会社 電子機器、制御方法及びプログラム
KR102010216B1 (ko) * 2019-06-26 2019-08-13 주식회사 에이스큐브 졸음 운전 방지 시스템

Also Published As

Publication number Publication date
KR20210148497A (ko) 2021-12-08

Similar Documents

Publication Publication Date Title
US9460601B2 (en) Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US10298741B2 (en) Method and device for assisting in safe driving of a vehicle
RU2756256C1 (ru) Система и способы контроля поведения водителя для управления автопарком в парке транспортных средств с использованием устройства формирования изображения, обращенного к водителю
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
WO2019232972A1 (zh) 驾驶管理方法和系统、车载智能系统、电子设备、介质
EP3006297B1 (en) Driving characteristics diagnosis device, driving characteristics diagnosis system, driving characteristics diagnosis method, information output device, and information output method
US20060259206A1 (en) Vehicle operator monitoring system and method
US20180026669A1 (en) Phone docking station for enhanced driving safety
JP2016103249A (ja) 運転支援装置および運転支援方法
KR102494530B1 (ko) 차량에 설치되어 졸음운전 및 부주의 운전 인식 서비스를 제공할 수 있는 카메라 장치 및 그 서비스 제공방법
US11783600B2 (en) Adaptive monitoring of a vehicle using a camera
US20230174074A1 (en) In-cabin safety sensor installed in vehicle and method of providing service platform thereof
US20150002286A1 (en) Display control apparatus
JP2014096632A (ja) 撮像システム
KR20190017383A (ko) 정보제공을 위한 차량용 통합 헤드업디스플레이장치
US20180022357A1 (en) Driving recorder system
KR20150061668A (ko) 졸음운전 경보 장치 및 그 방법
CN115720555A (zh) 用于提高自动驾驶车辆中用户警觉的方法和系统
CN111243235A (zh) 驾驶辅助方法及装置
US20190149777A1 (en) System for recording a scene based on scene content
JP2020150295A (ja) 車両防犯装置
KR20210119243A (ko) 졸음운전 및 부주의 운전 인식 기능을 구비한 블랙박스 시스템 및 그 서비스 제공방법
KR20220005290A (ko) 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
KR102588904B1 (ko) 차량에 설치되는 인캐빈 안전센서
KR101395803B1 (ko) 차량 블랙박스를 이용한 차량단속장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right