KR101950476B1

KR101950476B1 - 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량

Info

Publication number: KR101950476B1
Application number: KR1020170052762A
Authority: KR
Inventors: 김신욱
Original assignee: 만도헬라일렉트로닉스(주)
Priority date: 2017-04-25
Filing date: 2017-04-25
Publication date: 2019-04-29
Anticipated expiration: 2037-04-25
Also published as: US20180304806A1; KR20180119258A; DE102017214353B4; DE102017214353A1; US10369926B2

Abstract

본 발명은 운전자 상태 감지 시스템, 운전자 상태 감지 방법, 및 이를 포함하는 차량이 제공된다. 본 발명의 일 실시예에 따른 운전자 상태 감지 시스템은 단일 채널로 구성되어 영상을 촬영하는 영상 촬영부와 영상 속에서 감지된 운전자 이미지에서 적어도 하나 이상의 형상 포인트를 추출하고, 상기 형상 포인트의 변화량에 근거하여 산출된 형상 벡터를 미리 저장된 적어도 하나 이상의 졸음 벡터와 비교하여 상기 운전자의 졸음 상태 여부를 판단하는 제어부 및 운전자가 졸음 상태로 판단되면 경고하는 경고부를 포함한다.

Description

운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량 {DRIVER STATE SENSING SYSTEM, DRIVER STATE SENSING METHOD, AND VEHICLE INCLUDING THEREOF}

본 발명은 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 이를 포함한차량에 관한 것으로, 더욱 상세하게는 운전자의 시선이나 고개 변화를 추정하여 운전자 졸음 상태인지를 판단하고, 그에 따른 경고를 수행하기 위한 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 이를 포함한 차량에 관한 것이다.

오늘날, 졸음 운전으로 인해 발생되는 사고로 인하여 매년 많은 인명 피해가 발생되고 있다. 특히, 버스나 트럭과 같은 대형 차량의 운전자가 졸음 운전을 하게 되면 다른 차량의 운전자 및 대형 차량의 탑승자까지 피해를 입을 수 있는 등 큰 인명 피해가 발생할 수 있다.

이에 차량의 폭발적인 증가와 함께 발생되는 교통 사고를 감소시키기 위하여 세계 각국에서는 Advanced Safety Vehicle(ASV)의 개발에 많은 노력을 기울이고 있다. ASV에 속하여 개발중인 기술 분야로는 졸음 운전 경보 시스템, 야간 장애물 감지 시스템, 차의 위험 상태 경보 시스템 등을 들 수 있다.

이 중 졸음 운전 경보 시스템은 CCD 카메라를 통한 운전자의 상태 즉, 운전자 눈 깜박임 등의 거동 상태에 따른 영상 분석에 기초하여 졸음 운전을 판단한 뒤 운전자에게 경보하여 줌으로써 졸음 운전을 방해하여 안정된 차량 운행을 할 수 있도록 한다.

다만, 기존의 졸음 운전 경보 시스템은 운전자 눈동자의 깜박임을 감지하거나, 심박수, 뇌파의 측정 등 생체 신호를 이용하여 운전자의 졸림 정도나 부주의 상황 등을 인지하고자 하였다. 다만, 눈동자를 인식하는 것은 차량의 내부 조도 및 주변 환경의 밝기, 조명 상태, 외부 날씨에 영향을 받는 문제가 있다. 또한, 운전자가 안경을 쓰거나, 선글라스 등 눈동자 인식이 어려운 경우에 대처가 어려운 문제가 있다. 이에 스테레오 카메라를 장착하여 운전자의 모션을 감지하는 방법이 개발되었으나, 스테레오 카메라 구성을 위하여 이미지 센서의 추가 장착이 필요함에 따라 발생하는 비용 증가의 문제점, 및 스테레오 영상을 이용한 3D 이미지 추출 등에 과도한 연산량이 소모되어 실시간적인 영상 처리가 어려운 문제가 있다.

뿐만 아니라, 생체 신호를 인식하여 운전자의 상태를 감지하는 것은 생체 신호 인식 장치를 차량에 탑재하는 것으로 인하여 비용이 과도한 문제가 있다.

대한민국 등록특허공보 등록번호 10-0295850호

본 발명의 이러한 문제점을 해결하기 위한 것으로, 단일 카메라를 구성하여 운전자의 모션을 추출함에 따라 스테레오 카메라를 구성하는 경우에 필요한 과도한 연산량을 최소화하고자 한다.

또한, 스테레오 카메라뿐만 아니라, 생체 신호를 인식하여 운전자의 상태를감지하는 경우에 과도한 비용이 발생하는 문제점을 최소화하고자 한다.

또한, 운전자의 상태를 학습하여, 운전자의 상태를 실시간으로 판단함에 따라 즉각적인 경고를 하여 사고 발생을 최소화하고자 한다.

본 발명의 일 측면에 따르면, 단일 채널로 구성되어 영상을 촬영하는 영상 촬영부:와 상기 영상 속에서 감지된 운전자 이미지에서 적어도 하나 이상의 형상 포인트를 추출하고, 상기 형상 포인트의 변화량에 근거하여 산출된 형상 벡터를 미리 저장된 적어도 하나 이상의 졸음 벡터와 비교하여 상기 운전자의 졸음 상태 여부를 판단하는 제어부; 및 상기 운전자가 졸음 상태로 판단되면 경고하는 경고부;를 포함하는 운전자 상태 감지 시스템이 제공될 수 있다.

또한, 상기 제어부는 상기 형상 벡터를 산출하기 위하여 시차를 가지는 제 1 프레임의 제 1 형상 포인트와 제 2 프레임의 제 2 형상 포인트를 기초로 제 1 형상 벡터를 산출할 수 있다.

또한, 상기 제어부는 시차를 가지는 상기 제 1 프레임 및 상기 제 2 프레임을 저장하는 프레임 버퍼를 포함할 수 있다.

또한, 상기 제어부는 상기 산출된 형상 벡터를 미리 저장된 적어도 하나 이상의 졸음 벡터와 미리 설정된 제 1 임계값보다 작은 오차를 가지면 상기 운전자의 졸음 상태로 판단하고, 상기 산출된 형상 벡터를 학습할 수 있다.

본 발명의 다른 일 측면에 따르면, 단일 채널의 카메라 센서를 기초로 영상을 촬영하는 단계; 상기 영상 속에서 감지된 운전자 이미지에서 적어도 하나 이상의 형상 포인트를 추출하는 단계; 상기 형상 포인트의 변화량에 근거하여 형상 벡터를 산출하는 단계; 상기 산출된 형상 벡터를 미리 저장된 적어도 하나 이상의 졸음 벡터와 비교하여 상기 운전자의 졸음 상태를 판단하는 단계; 및 상기 운전자가 졸음 상태로 판단되면 경고하는 단계;를 포함하는 운전자 상태 감지 방법이 제공될 수 있다.

또한, 상기 형상 포인트의 변화량에 근거하여 형상 벡터를 산출하는 단계;는 제 1 프레임의 제 1 형상 포인트를 저장하는 단계; 상기 제 1 프레임과 시차를 가지는 제 2 프레임의 제 2 형상 포인트를 저장하는 단계; 및 상기 제 1 형상 포인트와 상기 제 2 형상 포인트를 기초로 상기 형상 벡터를 산출하는 단계;를 더 포함할 수 있다.

또한, 상기 산출된 형상 벡터를 미리 저장된 적어도 하나 이상의 졸음 벡터와 비교하여 상기 운전자의 졸음 상태를 판단하는 단계;는 상기 산출된 형상 벡터를 미리 저장된 적어도 하나 이상의 졸음 벡터와 미리 설정된 제 1 임계값보다 작은 오차를 가지면 상기 운전자의 졸음 상태로 판단하는 단계;를 더 포함할 수 있다.

또한, 상기 산출된 형상 벡터를 학습하는 단계;를 더 포함할 수 있다.

본 발명의 또 다른 일 측면에 따르면, 운전자 상태 감지 시스템에 있어서, 단일 채널로 구성되어 영상을 촬영하는 영상 촬영부: 와 상기 영상 속에서 감지된 운전자 이미지에서 적어도 하나 이상의 형상 포인트를 추출하고, 상기 형상 포인트의 변화량에 근거하여 산출된 형상 벡터를 미리 저장된 적어도 하나 이상의 졸음 벡터와 비교하여 상기 운전자의 졸음 상태 여부를 판단하는 제어부; 및 상기 운전자가 졸음 상태로 판단되면 경고하는 경고부;를 포함하는 차량이 제공될 수 있다.

또한, 상기 영상 촬영부는 단일 채널의 카메라 센서를 포함하고, 상기 카메라 센서는 상기 차량의 프런트 필러, 후방 미러, 또는, 대시 보드중 적어도 하나의 위치에 설치될 수 있다.

본 발명은 단일 카메라를 구성하여 운전자의 모션을 추출함에 따라 스테레오 카메라를 구성하는 경우에 필요되는 과도한 연산량을 필요로 하지 않을 수 있다.

또한, 스테레오 카메라뿐만 아니라, 생체 신호를 인식하여 운전자의 상태를감지하는 경우에 과도한 비용이 발생하는 문제점을 해결할 수 있다.

또한, 운전자의 상태를 학습하여, 운전자의 상태를 실시간으로 판단함에 따라 즉각적인 경고를 하여 사고 발생을 미연에 방지할 수 있다.

도 1은 일 실시 예에 따른 운전자 상태 감지 시스템을 포함한 차량의 내부를 도시한 개략도이다.
도 2는 일 실시 예에 따른 운전자 상태 감지 시스템의 블록도이다.
도 3은 일 실시 예에 따른 운전자 상태 감지 시스템에 포함된 전자 제어 유닛의 내부 블록도이다.
도 4(a)는 일 실시 예에 따른 영상 촬영부에서 획득한 N-1[sec]에서의 영상을 나타낸 개략도이다.
도 4(b)는 일 실시 예에 따른 영상 촬영부에서 획득한 N[sec]에서의 영상을 나타낸 개략도이다.
도 5는 일 실시 예에 따른 운전자 상태 감지 방법을 나타낸 순서도이다.
도 6은 다른 일 실시 예에 따른 운전자 상태 감지 방법을 나타낸 순서도이다.

이하에서는 본 발명의 실시 예를 첨부 도면을 참조하여 상세히 설명한다. 이하의 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달하기 위해 제시하는 것이다. 본 발명은 여기서 제시한 실시 예만으로 한정되지 않고 다른 형태로 구체화될 수도 있다. 도면은 본 발명을 명확히 하기 위해 설명과 관계없는 부분의 도시를 생략하고, 이해를 돕기 위해 구성요소의 크기를 다소 과장하여 표현할 수 있다.

도 1은 일 실시 예에 따른 운전자 상태 감지 시스템을 포함한 차량의 내부를 도시한 개략도이고, 도 2는 일 실시 예에 따른 운전자 상태 감지 시스템의 블록도이다.

본 발명에 따른 차량(1)은 도 1에 도시된 바와 같이 차체의 내부에는 탑승자가 앉는 시트(S1, S2), 차량(1)의 동작을 제어하고 차량(1)의 운행 정보를 표시하는 각종 계기가 마련되는 대시 보드(dash board) (30), 차량(1)에 포함된 부속 장치들을 조작하는 컨트롤 패널이 마련되는 센터 페시아(center fascia)(40), 기어 스틱 및 주차 브레이크 스틱 등이 마련되는 센터 콘솔(center console)(50), 차량(1)의 주행 방향을 조작하는 스티어링 휠(steering wheel) (60)이 마련될 수 있다.

시트(S1, S2)는 운전자가 편안하고 안정적인 자세로 차량(1)을 조작할 수 있도록 하며, 운전자가 앉는 운전석(S1), 동승자가 앉는 동승석(S2), 차량(1) 내 후방에 위치하는 뒷좌석(미도시)을 포함할 수 있다.

대시 보드(30)에는 상에 배치되어 주행과 관련된 정보를 표기하는 속도계기, 연료계기, 자동변속 선택레버 표시등, 타코 미터, 구간 거리계 등의 계기판 등이 마련될 수 있다. 따라서, 속도 계기 등의 표시를 기초로 운전자는 현재 차속을 실시간으로 확인이 가능할 수 있다.

센터 페시아(40)는 운전석(S1)과 조수석(S2) 사이에 마련되며, 오디오 기기, 공기 조화기 및 히터를 조정하기 위한 조작부, 차체(11~16) 내부의 온도를 조절하기 위한 공기조화기의 송풍구, 시거잭 등이 설치될 수 있다.

센터 콘솔(50)은 운전석(S1)과 조수석(S2) 사이에 센터 페시아(33)의 아래에 마련되며, 변속을 위한 기어 스틱 및 주차를 위한 주차 브레이크 스틱 등이 설치될 수 있다.

스티어링 휠(60)은 대시 보드(30)에 조향-축을 중심으로 회전 가능하게 부착되며, 차량(1)의 진행 방향을 변경하기 위하여 운전자는 스티어링 휠(60)을 시계 방향 또는 반시계 방향으로 회전시킬 수 있다. 운전자가 회전시키는 스티어링 휠(60)의 각도를 스티어링(steering)(미도시)휠 센서를 통하여 감지하여 운전자의 진행 방향 변경 의지를 확인할 수 있다.

또한, 도 1에 도시된 바와 같이, 운전자 상태 감지 시스템(160)은 운전자의 이동 및 상태를 감지하기 위한 카메라 센서(a, b, c)를 포함한다. 이 때, 카메라 센서(a 내지 c)는 모두 설치되는 것은 아니고, 제 1 카메라 센서(a), 제 2 카메라 센서(b), 또는 제 3 카메라 센서(c) 중 하나가 사용되어 1채널로 운전자를 촬영한다. 즉, 차량(1) 내 운전석(S1)에 앉아있는 운전자가 스티어링 휠(60)의 회전이나 기타 장애물에 영향을 받지 않고, 운전자의 관찰이 가능한 곳에 설치될 수 있다.

일 예로, 제 1 카메라 센서 (a)는 차체(1) 전방 유리와 측방 유리의 경계인 A 필러(프런트 필러)에 운전자를 향하여 설치될 수 있으며, 제 2 카메라 센서(b)는 백미러(후방 미러)에 설치되어 운전석(S1)에 앉아있는 운전자를 향하여 설치될 수 있으며, 제 3 카메라 센서(c)는 대시 보드(30) 상에 위치하여 운전자를 향하여 설치될 수도 있다. 다만, 설명된 위치에 한정되어 설치되는 것은 아니며, 운전자의 동작이 스티어링 휠(60)의 회전이나 기타 장애물에 영향을 받지 않으며, 설치가 용이한 곳에 설치될 수 있다. 즉, 운전자의 머리, 목, 어깨의 모션(motion)을 전체적으로 획득 가능한 위치에 설치될 수 있다.

다음으로는 위에서 설명한 카메라 센서를 포함한 운전자 상태 감지 시스템(160)의 구성에 대하여 설명한다. 구체적으로, 도 2는 일 실시 예에 따른 운전자 상태 감지 시스템의 블록도이다.

도 2를 참조하면, 운전자 상태 감지 시스템(160)은 영상 촬영부(10), 전자 제어유닛(100) 및 경고부(200)를 포함한다.

이 때, 영상 촬영부(10), 전자 제어 유닛(100)과 경고부(200)는 차량(1)의 통신 네트워크(NT)를 통하여 서로 통신할 수 있다. 차량 통신 네트워크(NT)는 최대 24.5Mbps(Mega-bits per second)의 통신 속도를 갖는 모스트(MOST, Media Oriented Systems Transport), 최대 10Mbpas의 통신 속도를 갖는 플렉스레이(FlexRay), 125kbps(kilo-bits per second) 내지 1Mbps의 통신 속도를 갖는 캔(CAN, Controller Area Network), 20kbps의 통신 속도를 갖는 린(LIN, Local Interconnect Network) 등의 통신 규약을 채용할 수 있다. 이와 같은 차량 통신 네트워크(NT)는 모스트, 플레스레이, 캔, 린 등 단일의 통신 규약을 채용할 수 있을 뿐만 아니라, 복수의 통신 규약을 채용할 수도 있다.

영상 촬영부(10)는 제 1 카메라(20)를 포함한다. 제 1 카메라(20)는 1채널의 카메라를 사용하여 운전석에서 운전 중인 운전자의 상태를 촬영할 수 있다. 이러한 제 1 카메라(20)는 도 1에 도시된 제 1 카메라 센서(a), 제 2 카메라 센서(b), 제 3 카메라 센서(c) 중 하나로 채용될 수 있다.

또한, 제 1 카메라(20)는 보통 그 이미지 센서로 CMOS를 사용할 수 있다. CMOS 이미지 센서는 노출된 이미지를 전기적인 형태로 바꾸어 전송하는 반도체 기억소자이다. 또한, 제 1 카메라(20)는 RGB 센서, 적외선 이미지 센서(Infrared image sensor) 등이 채용 가능하다.

따라서, 제 1 카메라(20)를 통하여 획득한 영상은 전자 제어 유닛(100)으로 전송될 수 있다.

전자 제어 유닛(100)은 운전자 상태 감지 시스템(160)을 총괄적으로 제어하는 것으로, 전자 제어 유닛(100)은 하드웨어적으로 영상 촬영부(10)에서 획득한 영상을 기초로 운전자의 상태를 판단하는 메인 프로세서(110)와 각종 데이터를 저장하는 메모리(120)를 포함한다.

이 때, 메모리(120)는 운전자 상태 감지 시스템(160)의 프로그램 및 데이터를 기억하는 것으로, 메모리(120)은 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read OnlyMemory: EEPROM) 등의 비휘발성 메모리를 포함할 수 있다.

비휘발성 메모리는 운전자 상태 감지 시스템(160)의 동작을 제어하기 위한 제어 프로그램 및 제어 데이터를 반 영구적으로 저장할 수 있으며, 휘발성 메모리는 비휘발성 메모리로부터 제어 프로그램 및 제어 데이터를 불러와 임시로 기억하고, 영상 촬영부(10)에서 감지한 운전자 영상 정보 및 메인 프로세서(110)에서 출력하는 각종 제어 신호를 임시로 저장할 수 있다.

이하에서는, 도 3에 도시된 바에 따른 운전자 상태 감지 시스템(160)의 전자 제어 유닛(100) 내 운전자의 졸음 상태 감지 방법에 대하여 설명한다.

먼저, 산출부(130)는 영상 촬영부(10)로부터 입력받은 영상 정보에서 형상 벡터(v)를 생성한다.

산출부(130)는 형상 벡터(v)을 생성하기 위하여 영상 촬영부(10)에서 획득한 N-1[sec] 시점의 프레임(frame)과 N[sec] 시점 프레임(frame) 사이의 차이 비교 연산을 수행한다. 즉, 산출부(130)는 영상 촬영부(10)에서 전송받은 영상 프레임에서 형상 포인트(point)를 추출하여 비교 대상을 생성한다.

이 때, 형상 포인트(feature point)는 특징점 이라고도 한다.

일 예로, 도 4에 도시된 바와 같이, N-1[sec] 시점의 영상에서 운전자의 눈동자를 N-1 [sec] 시점에서의 제 1 형상 포인트(point)(d1)로 추출하고, N [sec] 시점의 영상에서 운전자의 눈동자를 N[sec] 시점에서의 제 2 형상 포인트(point)(d2)로 추출하여 제 1 형상 포인트와 제 2 형상 포인트를 기초로 제 1 형상 벡터(v1)을 생성할 수 있다.

또한, 다른 일 예로, 도 4에 도시된 바와 같이, N-1[sec] 시점의 영상에서 운전자의 턱 부위를 N-1 [sec] 시점에서의 제 3 형상 포인트(point)(d3)로 추출하고, N [sec] 시점의 영상에서 운전자의 턱 부위를 N[sec] 시점에서의 제 4 형상 포인트(point)(d4)로 추출하여 제 3 형상 포인트와 제 4 형상 포인트를 기초로 제 2 형상 벡터(v2)을 생성할 수 있다.

이와 같이, 산출부(130)는 오로지 운전자의 눈동자를 인식하는 데 한정하지 않고, 운전자의 머리, 목, 어깨 등의 신체 움직임의 변화를 감지하기 위하여 복수개의 형상 포인트를 영상에서 추출할 수 있다.

이 때, 산출부(130)는 형상 포인트를 추출하기 위하여 영상 처리 기법으로서, 특징점의 검출과 특징량의 기술을 수행하여, 영상의 회전, 스케일의 변화, 조명 변화등에 강한 특징점을 찾는 Scale-Invariant Feature Transform(SIFT)이나 Speed-Up Robust Feature(SURF), 또는 AKAZE 알고리즘(Algorithm) 등의 사용이 가능하다.

따라서, 산출부(130)에서의 시차를 가진 프레임 사이의 차이 비교 연산을 수행하기 위하여 전자 제어 유닛(100)의 메모리(120)는 최소 2 프레임 이상의 영상 데이터를 저장할 수 있는 프레임 버퍼를 포함한다.

따라서, 산출부(130)는 형상 벡터(v1)의 크기와 방향을 기초로 운전자의 시선 변화 및 고개의 상하 또는 좌우 변화를 추정할 수 있다. 또한, 하나의 영상에서 복수의 형상 포인트(point)의 변화를 기초로 생성된 복수의 형상 벡터를 기초로 운전자의 시선 변화 및 고개의 상하 또는 좌우 변화를 추정할 수 있다.

다음으로, 판단부(140)는 산출된 형상 벡터(v)를 분석한다.

먼저, 판단부(140)는 산출된 형상 벡터(v)의 방향과 크기를 고려하여 운전석에서 운전 중인 운전자의 움직임이 아니라고 판단되는 형상 벡터(v)를 노이즈로 판단하는 필터링 과정을 수행한다. 또한, 판단부(140)는 형상 벡터(v)가 미리 설정한 움직임보다 적은 정도의 움직임인 경우 이 또한 필터링 과정을 통하여 운전자 인식 대상에서 제외시킨다.

또한, 판단부(140)는 형상 벡터(v)가 미리 설정된 범위 이내의 각도를 벗어난 벡터 성분을 포함하는 경우 필터링 과정을 통하여 운전자 인식 대상에서 제외시킬 수 있다.

다음으로, 판단부(140)는 학습부(150)에 미리 저장된 졸음 상태에서의 형상 벡터와 패턴 매칭등의 방법을 통하여 두 벡터 사이의 상대거리를 계산한다. 특히, 판단부(140)는 학습부(150)에 미리 저장된 복수 개의 패턴과 복수 번 패턴 매칭을 수행하여, 가장 상대거리가 작은(minimum) 형상 벡터를 찾아내는 과정을 계속하여 진행한다.

따라서, 판단부(140)가 복수 번의 패턴 매칭을 수행하여 결정한 형상 벡터가 미리 정의된 임계값보다 작은 상대거리가 산출되는 경우, 운전자가 졸음 상태인 것으로 판단한다.

또한, 판단부(140)는 복수개의 형상 벡터가 존재하는 경우, 복수개의 형상 벡터가 모두 각각 미리 정의된 임계값보다 작은 상대거리가 산출되는 경우에 운전자가 졸음 상태인 것으로 판단할 수도 있다. 다만, 이 때, 판단부(140)가 비교하는 미리 정의된 임계값은 비교적 큰 값으로 설정될 수 있어, 불필요한 경우에 졸음 운전으로 판단하는 경우를 방지할 수도 있다.

또한, 판단부(140)는 획득한 형상 벡터가 새로운 유형의 졸음 상태를 표현할 수 있는 형상 벡터로 판단되면, 학습부(150)에 추가적으로 저장시킨다.

즉, 학습부(150)는 판단부(140)에서 획득한 형상 벡터가 기존의 졸음 패턴 데이터베이스에 존재하지 않을 경우, 새로운 형태의 졸음 운전 패턴으로 데이터 베이스에 추가함으로써 학습을 시킬 수 있다. 이러한 학습부(150)는 도 2에서 설명한 메모리(120)에 포함되는 것으로, 그 중에서도 비휘발성 메모리인 플래시 메모리, 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read OnlyMemory: EEPROM) 등에 저장 될 수 있다.

또한, 도 3에 도시된 바와 같이, 운전자 상태 감지 시스템(160)은 소프트웨어적으로, 영상 촬영부(10)에서 획득한 영상을 기초로 운전자의 형상 벡터를 산출하는 산출부(130)와 산출부(130)에서 산출된 형상 벡터를 기초로 운전자가 졸음 상태인지를 판단하는 판단부(140) 및 획득한 영상 정보를 운전자가 졸음 상태인지를 판단하기 위한 데이터로서 학습 및 저장하는 학습부(150)로 구성될 수 있다. .

다음으로, 경고부(200)는 판단부(140)에서 운전자 졸음 상태로 판단한 경우, 차량의 스티어링 휠(60)에 진동을 주거나, 차량(1)에 포함된 스피커(미도시)를 통하여 경보 출력으로 운전자의 주의를 환기시키거나, 창문의 개방 등을 통하여 운전자가 졸음 상태를 벗어날 수 있도록 차량(1)의 각종 장치를 동작시킬 수 있다.

이상에서는 본 발명에 따른 운전자 상태 감지 시스템(160)의 구성에 대하여 설명하였다.

이하에서는 본 발명에 따른 운전자 상태 감지 시스템(160)의 동작에 대하여 설명하는 것으로, 도 5 및 도 6은 운전자 상태 감지 방법을 나타낸 순서도이다.

먼저, 도 5에 도시된 바와 같이, 운전자 상태 감지 시스템(160)은 운전자 영상을 획득한다(1000). 구체적으로, 영상 촬영부(10)에 포함된 제 1 카메라(20)가 운전자를 포함하여 영상을 획득할 수 있다.

이후, 획득한 영상을 기초로, 운전자 상태 감지 시스템(160)은 형상 벡터(v)를 생성한다(2000). 특히, 형상 벡터(v)를 생성하기 위하여 전자 제어 유닛(100) 내 산출부(130)는 형상 포인트를 추출하고, 형상 포인트를 기초로 형상 벡터(v)를 산출할 수 있다.

이후, 산출부(130)는 산출된 형상 벡터(v)를 기초로 운전자의 시선, 고개의 변화를 추정한다(3000). 일 예로, 운전자의 시선 변화를 추정하기 위하여 눈동자를 형상 포인트로 하여 산출한 형상 벡터를 분석하고, 고개의 변화를 추정하기 위하여 운전자 얼굴의 턱 부분을 복수의 형상 포인트로 하여 획득한 형상 벡터를 분석할 수 있다.

따라서, 산출부(130)에서 추정한 운전자의 시선, 고개의 변화 등을 기초로 판단부(140)가 운전자의 졸음 상태에 있는 것으로 판단하면(4000의 예), 경고부(200)를 통하여 운전자에게 졸음 경고를 수행한다(5000).

만일, 판단부(140)가 산출부(100)에서 추정한 운전자의 시선, 고개의 변화 등을 기초로 판단부(140)가 운전자의 졸음 상태에 있는 것이 아니라고 판단하면 판단하면(4000의 아니오), 이후 운전자의 졸음 상태를 판단하기 위하여 지속적으로 운전자의 영상을 획득한다(1000).

이하, 도 6에서는 도 5에서 형상 벡터 생성을 기초로 운전자의 시선, 또는 고개 변화를 추정하는 방법에 대하여 구체적으로 설명한다.

먼저, 도 5에서와 동일하게 운전자 상태 감지 시스템(160)은 운전자 영상을 획득한다(1000). 이후, 획득한 영상을 기초로, 운전자 상태 감지 시스템(160)은 형상 벡터(v)를 생성한다(1100).

이후, 운전자 상태 감지 시스템(160)은 생성한 형상 벡터(v)의 크기와 방향을 기초로 분석을 수행 시 제 1 임계값보다 생성된 형상 벡터가 작으면(1200의 아니오) 노이즈로 분류한다. 즉, 판단부(140)는 형상 벡터(v)가 미리 설정한 움직임보다 적은 정도(제 1 임계값)의 움직임인 경우 이 또한 필터링 과정을 통하여 운전자 인식 대상에서 제외시킨다. 이에, 노이즈로 분류된 형상 벡터(v) 역시 추후 노이즈로 분류 시킬 수 있는 학습 자료로서 생성된 형상 벡터를 저장시킨다(1700).

만일, 운전자 상태 감지 시스템(160)은 생성한 형상 벡터(v)의 크기와 방향을 기초로 분석을 수행 시 제 1 임계값보다 생성된 형상 벡터가 크면(1200의 예), 생성된 형상 벡터와 저장된 졸음 벡터의 상대거리를 산출한다.

이 때, 운전자 상태 감지 시스템(160)은 산출된 상대거리가 미리 설정한 제 2 임계값보다 작으면(1400의 예), 운전자 졸음으로 판단한다(1600).

따라서, 운전자 졸음으로 판단된 경우 운전자 상태 김지 시스템(160)은 운전자에게 경고를 수행하고(1600), 해당 형상 벡터를 이후 졸음 상태로 판단하기 위한 학습 자료로서 저장시킨다(1700).

만일, 운전자 상태 감지 시스템(160)은 산출된 상대거리가 미리 설정한 제 2 임계값보다 크면(1400의 아니오), 운전자가 졸음 상태가 아닌 것으로 판단하여, 이후, 운전자가 졸음 상태가 아닌 것으로 판단하기 위한 학습 자료로서 저장시킨다(1700).

이상에서는 개시된 발명의 일 실시예에 대하여 도시하고 설명하였지만, 개시된 발명은 상술한 특정의 실시예에 한정되지 아니하며 청구범위에서 청구하는 요지를 벗어남 없이 개시된 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의하여 다양한 변형실시가 가능함을 물론이고 이러한 변형실시들은 개시된 발명으로부터 개별적으로 이해될 수 없다.

160: 운전자 상태 감지 시스템

Claims

단일 채널로 구성되어 영상을 촬영하는 영상 촬영부;
상기 영상 속에서 감지된 운전자 이미지에서 적어도 하나의 형상 포인트를 추출하고, 상기 형상 포인트의 변화량에 근거하여 산출된 형상 벡터를 미리 저장된 적어도 하나의 졸음 벡터와 비교하여 상기 운전자의 졸음 상태 여부를 판단하는 제어부; 및
상기 운전자가 졸음 상태로 판단되면 경고하는 경고부;를 포함하고,
상기 제어부는,
상기 산출된 형상 벡터가 미리 설정된 제 1 임계값보다 작으면, 상기 형상 벡터를 노이즈 벡터로 학습시키고, 상기 산출된 형상 벡터가 상기 제 1 임계값보다 크고, 미리 저장된 적어도 하나의 졸음 벡터와 상기 산출된 형상 벡터의 상대거리가 미리 설정된 제 2 임계값보다 작으면 운전자의 졸음 상태로 판단하고, 상기 형상 벡터를 졸음 상태 벡터로 학습시키는 운전자 상태 감지 시스템.
제 1 항에 있어서,
상기 제어부는 상기 형상 벡터를 산출하기 위하여 시차를 가지는 제 1 프레임의 제 1 형상 포인트와 제 2 프레임의 제 2 형상 포인트를 기초로 제 1 형상 벡터를 산출하는 운전자 상태 감지 시스템.
제 2 항에 있어서,
상기 제어부는 시차를 가지는 상기 제 1 프레임 및 상기 제 2 프레임을 저장하는 프레임 버퍼를 포함하는 운전자 상태 감지 시스템.
삭제
단일 채널의 카메라 센서를 기초로 영상을 촬영하는 단계;
상기 영상 속에서 감지된 운전자 이미지에서 적어도 하나 이상의 형상 포인트를 추출하는 단계;
상기 형상 포인트의 변화량에 근거하여 형상 벡터를 산출하는 단계;
상기 산출된 형상 벡터를 미리 저장된 적어도 하나 이상의 졸음 벡터와 비교하여 상기 운전자의 졸음 상태를 판단하는 단계; 및
상기 운전자가 졸음 상태로 판단되면 경고하는 단계;를 포함하고,
상기 산출된 형상 벡터를 미리 저장된 적어도 하나의 졸음 벡터와 비교하는 단계는,
상기 산출된 형상 벡터가 미리 설정된 제 1 임계값보다작으면, 상기 형상 벡터를 노이즈 벡터로 학습시키고, 상기 산출된 형상 벡터가 상기 제 1 임계값보다 크고, 상기 미리 저장된 적어도 하나의 졸음 벡터와 상기 산출된 형상 벡터의 상대거리가 미리 설정된 제 2 임계값보다 작으면 운전자의 졸음 상태로 판단하고, 상기 형상 벡터를 졸음 상태 벡터로 학습시키는 단계;를 더 포함하는 운전자 상태 감지 방법.
제 5항에 있어서,
상기 형상 포인트의 변화량에 근거하여 형상 벡터를 산출하는 단계;는
제 1 프레임의 제 1 형상 포인트를 저장하는 단계; 및
상기 제 1 프레임과 시차를 가지는 제 2 프레임의 제 2 형상 포인트를 저장하는 단계; 및
상기 제 1 형상 포인트와 상기 제 2 형상 포인트를 기초로 상기 형상 벡터를 산출하는 단계;를 더 포함하는 운전자 상태 감지 방법.
삭제
삭제
운전자 상태 감지 시스템이 구비된 차량에 있어서,
단일 채널로 구성되어 영상을 촬영하는 영상 촬영부:
상기 영상 속에서 감지된 운전자 이미지에서 적어도 하나 이상의 형상 포인트를 추출하고, 상기 형상 포인트의 변화량에 근거하여 산출된 형상 벡터를 미리 저장된 적어도 하나 이상의 졸음 벡터와 비교하여 상기 운전자의 졸음 상태 여부를 판단하는 제어부; 및
상기 운전자가 졸음 상태로 판단되면 경고하는 경고부;를 포함하고,
상기 제어부는, 상기 산출된 형상 벡터가 제 1 임계값보다 작으면, 상기 형상 벡터를 노이즈 벡터로 학습시키고, 상기 산출된 형상 벡터가 상기 제 1 임계값보다 크고, 상기 미리 저장된 적어도 하나의 졸음 벡터와 상기 산출된 형상 벡터의 상대거리가 미리 설정된 제 2 임계값보다 작으면 운전자의 졸음 상태로 판단하고, 상기 형상 벡터를 졸음 상태 벡터로 학습시키는 차량.
제 9항에 있어서,
상기 영상 촬영부는 단일 채널의 카메라 센서를 포함하고,
상기 카메라 센서는 상기 차량의 프런트 필러, 후방 미러, 또는, 대시 보드중 적어도 하나의 위치에 설치되어 상기 운전자를 촬영하는 차량.
제 10항에 있어서,
상기 제어부는 상기 형상 벡터를 산출하기 위하여 시차를 가지는 제 1 프레임의 제 1 형상 포인트와 제 2 프레임의 제 2 형상 포인트를 기초로 제 1 형상 벡터를 산출하는 차량.
삭제