KR101386823B1

KR101386823B1 - 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치

Info

Publication number: KR101386823B1
Application number: KR1020130129628A
Authority: KR
Inventors: 김재철; 고재관; 박수진; 김우창; 이창희
Original assignee: 김재철; 고재관; 이창희; 김우창; 박수진
Priority date: 2013-10-29
Filing date: 2013-10-29
Publication date: 2014-04-17
Also published as: JP2016539446A; US20160272217A1; WO2015064980A1; CN105764735A

Abstract

사용자의 차량의 주행상태를 측정하는 GPS 장치를 포함하는 주행판단부와 사용자의 얼굴을 관찰할 수 있는 위치에 설치된 적외선 심도 센서와 적외선 카메라를 포함하는 촬영부에서 찍은 영상 및 3차원 깊이 정보를 전송받아 졸음판단부에서 제1단계 판단으로 사용자의 하품의 주기 고개의 끄덕임의 속도와 주기, 및 눈깜박임의 속도와 주기를 판단하여 졸음의 전조 행동이 있다고 판단되는 경우 “예비경고”를 출력한 후, 그 다음 제2단계 판단으로서 눈동자의 폐쇄상태, 시선의 정면주시 여부, 고개의 각도를 검사해 졸음의 실행 행동이 있는 경우 경고부를 통해 “본 경고”를 출력함으로써, 동작, 안면, 눈동자, 입모양 등 다양한 판단기준을 통하여 2단계에 걸친 단계적 판단으로 졸음으로 인한 것이 아닌 눈동자 폐쇄상태나 시선이 정면을 향하지 않거나 고개가 숙여지는 경우를 제외하고 오직 졸음운전 행위만을 정확하게 판단해내어 졸음운전을 통한 교통사고 및 인명피해와 경제적 손실을 미연에 방지할 수 있다.

Description

동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 {2 level Drowsy Driving Prevention Apparatus through motion, face, eye,and mouth recognition}

본 발명은 동작, 안면 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치에 관한 것으로, GPS 장치를 사용하여 사용자의 전진 주행 여부를 판단한 후 전진 주행 중일 때에만 사용자의 졸음상태를 감지하기 시작하며, 적외선 심도센서와 적외선 카메라를 동시에 이용하여 운전자의 동작, 안면, 눈, 하품하는 입모양을 인지하여 보다 정확하게 졸음운전 여부를 판단하며, 졸음운전이 아닌 이유로 눈을 감거나 시선이 다른 곳을 보는 경우를 제외시켜 정확한 졸음운전을 감지해 내기 위해 먼저 졸음의 전조단계를 판단하는 제1단계와 졸음의 실행단계를 판단하는 제2단계를 단계적으로 거쳐 제1단계 조건 중 하나 이상을 충족하고 그 이후에 제2단계 조건 중 하나 이상을 충족하는 경우에 한해서 최종적으로 졸음운전으로 확정 판단하는 2단계의 단계적인 방법을 사용하는 졸음운전 방지 장치에 관한 것이다.

종래의 졸음운전 방지 장치는 눈동자 영역만을 대상으로 특히 눈동자의 크기 및 원형도에 근거하여 졸음운전을 판단하여 경보신호를 출력하는 “운전자 눈동자 검출을 이용한 졸음운전 방지 방법 및 장치”(등록번호 10-1139963)와 얼굴영상 판독부에서 생성된 운전자 얼굴의 벡터템플리트와 저장된 운전자의 벡터템플리트를 비교 분석하여 졸음상태를 확인하는 “얼굴인식기술을 이용한 졸음운전 방지장치 및 이를 이용한 졸음운전 방지시스템”(등록번호 10-0778059), 그리고 차량의 주행속도가 평균 속도에서 많이 벗어나면 운전자가 졸고 있는지를 의심하여 운전자에게 졸음 방지를 위한 전화통화를 연결함으로써 졸음운전을 방지하는 “차량 주행 안내 장치의 졸음 운전 방지 방법”(공개번호 10-2012-0086572) 등이 있다.

그러나 이와 같은 종래 기술은 차량이 멈춰 있을 때도 작동하여 운전자가 정차 중인 차량에서 눈을 감거나 다른 곳을 응시할 경우에도 졸음운전 중인 것으로 판단하여 운전자에게 불편을 줄 수 있고, 후진하는 차량에서 운전자가 차량 뒤를 쳐다보거나 백미러를 볼 경우에도 눈동자가 다른 곳을 응시한다는 이유로 졸음운전으로 잘못 판단할 수 있는 단점이 있다.
또한 얼굴 영상 판독부에서 생성된 운전자의 벡터템플리트와 미리 저장된 운전자의 벡터템플리트를 비교 분석하는 방법은 미리 저장된 운전자의 벡터템플리트와 다르기만 하면 졸음운전으로 판단하여 그것이 정확하게 졸음에 의한 것인지 다른 이유에 의한 것인지 구별이 어렵고, 미리 저장된 벡터템플리트와 달라졌다는 이유만으로 졸음운전으로 속단하는 것은 부정확한 결과를 가져 올 수 있다는 단점이 있다.
그리고 종래의 기술은 운전자의 눈동자 영역만 판단하거나 눈동자의 개폐 여부로만 졸음운전을 판단함으로써 선글라스나 안경 등 장애물이 있어 눈을 인식하지 못하는 상황에는 아예 졸음판단이 불가능할 뿐 아니라 사용자가 졸음이 아닌 다른 이유로 다른 곳을 응시하거나 눈을 감거나, 눈동자가 폐쇄된 모든 상황을 졸음으로 판단해 버리는 단점이 있어 정확도가 무척 낮다. 또한 차량의 속도가 평균속도 이상인 경우를 졸음운전이 있다고 판단하는 종래의 졸음운전 방지 방법은 운전자가 졸음이 아닌 다른 이유로 주행속도가 평균속도에서 많이 벗어나는 경우 또는 주변 환경이 장애물로 작용하여 차량의 움직임이나 속도를 인식하지 못하는 상황에서는 졸음 여부 판단이 불가능하거나 정확도가 떨어지는 치명적인 단점이 있다.

삭제

위와 같은 문제들을 해결하기 위해서 본 발명은 인공위성을 이용한 GPS 단말기의 좌표 값의 변화를 활용하여 주행판단부에서 사용자의 차량이 전진 주행하고 있는 상태인지, 후진 중인지, 아니면 정차 중인지 여부를 먼저 판단하는 것을 그 특징으로 한다. 주행판단부의 판단이 전진 주행 상태일 때만 운전자의 안면 상태 영상정보를 입력 받는 적외선 카메라와 3차원 깊이 정보를 입력 받는 적외선 심도 센서로 구성된 촬영부가 촬영을 시작하고, 졸음판단부가 촬영부의 적외선 카메라 및 적외선 심도 센서로부터 상기 정보를 전송받아 졸음운전 여부를 판단하기 시작하는 것을 그 특징으로 한다.
또한 졸음판단부는 졸음운전의 인식율을 높이기 위해서 단지 눈동자만을 인식하거나 눈동자의 단순한 개폐 여부만 졸음 판단의 요소로 삼는 것이 아니라, 운전자의 하품의 주기와 눈 깜빡임의 속도와 주기 및 고개의 각도와 고개의 끄덕임의 속도와 주기를 결합하여 졸음여부를 더욱 정확하게 판단하는 것을 그 특징으로 한다.
졸음판단부는 졸음운전이 아닌 다른 원인으로 인한 눈동자의 감김이나 고개 숙임, 그리고 시선이 정면이 아닌 다른 곳을 보는 경우를 제외시키기 위하여 아래와 같이 2단계에 걸친 졸음운전 여부 판단 방법을 사용한다.
졸음의 전조를 판단하는 제1단계는 운전자의 하품의 주기와 눈 깜빡임의 속도와 주기 및 고개의 끄덕임의 속도와 주기로 졸음의 전조 행동이 있다고 판단하는 특징을 가지고, 졸음의 실행 행동 유무를 판단하는 제2단계는 졸음의 전조단계인 상기 제1단계를 거친 운전자에 한해서 해당 운전자의 눈동자의 폐쇄상태가 일정시간 이상 지속될 경우, 시선이 일정시간 이상 정면을 주시하지 않고 있는 경우, 고개가 일정각도 이상 숙여져 있는 시간이 일정 시간이상 지속될 경우를 졸음의 실행 행동이 있다고 판단하는 것을 특징으로 한다.
졸음판단부는 제1단계 졸음의 전조단계를 거쳐 제2단계 졸음의 실행단계로 진행된 경우에만 졸음운전으로 최종 판단하는 2단계에 걸친 단계적 졸음판단 방법에 의하여 졸음운전으로 최종 판단된 경우에만 졸음 운전자에게 경고 신호를 보내도록 하는 것을 그 특징으로 한다.

삭제

본 발명은 GPS단말기를 이용한 차량의 주행여부 판단 및 적외선 카메라와 적외선 심도 센서를 이용한 2단계의 졸음판단 방법으로 운전자의 졸음 여부를 최종 판단하여 경고음을 발생시킴으로써 아래와 같은 효과를 갖는다.

첫째, GPS단말기의 좌표 값의 변화를 활용하여 운전자의 차량이 전진 주행하고 있는 상태에서만 졸음운전 여부를 판단하여 정확한 졸음운전 판단이 가능하게 한다.
둘째, 단지 눈동자만을 인식하거나 눈동자의 단순한 개폐 여부만 졸음 판단의 요소로 삼는 것이 아니라, 운전자의 하품의 주기와 눈 깜빡임의 속도와 주기 및 고개의 각도와 고개의 끄덕임의 속도와 주기를 결합하여 졸음여부를 더욱 정확하게 판단하여 기존 시스템들의 인식률이 떨어지는 단점을 효과적으로 개선하였다.
셋째, 제1단계 졸음의 전조단계를 거쳐 제2단계 졸음의 실행단계로 진행된 경우에만 졸음운전으로 최종 판단하는 2단계에 걸친 단계적 졸음판단 방법에 의하여 졸음운전이 아닌 불필요한 상황에 경고신호가 나오는 오류와 불편함을 없애는 효과를 가져온다.
넷째, 적외선 카메라와 적외선 심도 센서를 이용하여 야간에도 졸음운전 측정이 가능하도록 하였고, 경고음 알림 장치를 이용하여 졸음운전 전조행위 판단시 예비경고음만을 발생시키고, 최종 졸음운전 실행 행동 판단시에 비로소 본경고음을 발생시켜 운전자의 졸음을 깨워 졸음운전을 방지함으로써 생명을 보호할 수 있다.

도면1
본 발명의 실시예에 따른 졸음운전 방지 장치의 구성도.
도면2
본 발명의 실시예에 따른 주행 판단부의 전진 주행 여부 판단 흐름도.
도면3
본 발명의 실시예에 따른 졸음판단부의 제 1단계 졸음 전조행동 판단 흐름도.
도면4
본 발명의 실시예에 따른 졸음판단부의 제 2단계 졸음 실행행동 판단 흐름도.
도면5
본 발명의 실시예에 따른 하품의 주기로 졸음 전조행동 판단 흐름도.
도면6
본 발명의 실시예에 따른 고개 끄덕임의 속도와 주기로 졸음 전조행동 판단 흐름도.
도면7
본 발명의 실시예에 따른 눈 깜빡임의 속도와 주기로 졸음 전조행동 판단 흐름도.
도면8
본 발명의 실시예에 따른 눈동자의 폐쇄상태의 지속시간으로 졸음실행행동 판단 흐름도.
도면9
본 발명의 실시예에 따른 시선이 정면을 주시하지 않는 상태의 지속시간으로 졸음 실행행동 판단 흐름도.
도면 10
본 발명의 실시예에 따른 고개의 숙여짐의 지속시간으로 졸음 실행행동 판단 흐름도.
도면 11
본 발명의 실시예에 따른 촬영부(적외선 카메라와 적외선 심도센서)를 통한 졸음판단부의 졸음판단 과정에 관한 종합구성도.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
본 발명은 도면1(대표도면)에서 볼 수 있듯이 졸음운전 방지 장치에 있어서, 전진 주행 중인 차량에서 운전자의 동작 및 안면, 그리고 눈동자와 입모양의 인지를 통하여, 졸음의 전조 행동 유무를 판단하는 제1단계 판단과정과 완성된 졸음의 실행 행동 유무를 판단하는 제2단계 판단과정으로 나누어 제1단계 판단과정에서 졸음의 전조행동이 있다고 판단된 후에 제2단계 판단과정에서 졸음의 실행 행동이 있다고 판단되는 경우에만 사용자가 졸음운전을 하고 있다고 최종 판단하고 경고음을 내도록 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치이다.

구체적으로 설명하면, 본 발명은 도면1(대표도면)에서와 같이 차량의 전진 주행여부를 판단하는 주행판단부, 운전자의 상태를 촬영하는 촬영부, 사용자의 졸음운전 여부를 판단하는 졸음판단부, 사용자에게 경고를 보내는 경보부, 그리고 위 주행판단부와 촬영부, 졸음판단부 및 경보부를 제어하는 컨트롤러로 구성된다.
여기서 차량의 전진 주행여부를 판단하는 주행판단부는 GPS단말기로부터 차량의 현재의 위치 좌표정보를 받아 이전 몇 초간의 위치 좌표정보와 비교하여 차량의 상태가 전진주행 중인지, 후진주행 중인지, 정차 중인지를 여부를 판단하는 것을 특징으로 하고 있다. 도면2는 위 주행판단부의 전진 주행 여부 판단 흐름도인 바, 시간대 별로 위성에서 송신한 위치정보를 GPS단말기로부터 받아 차량의 시간대 별 좌표값을 저장하여 시간대 별 위치 좌표값을 비교함으로써 전진, 정지, 후진 여부를 판단한다. 정상적인 차량주행의 경우 오랜 시간동안 (예컨대 5분이상) 계속하여 후진주행을 하는 경우는 거의 없고, 설령 그렇게 오랜 시간동안 후진 주행한다고 하더라도 운전자의 시선이나 고개는 차량 뒷면의 장애물을 보기 위해 의식적으로 뒤를 돌아보거나 정면이 아닌 차량 백미러를 오랜 시간 보고 있을 것이 분명하기 때문에 이러한 경우까지 졸음운전 판단을 실행할 경우 의식적인 고개 돌림이나 눈동자의 시선 돌림이 무의식적인 졸음운전의 행동으로 오인될 오류가 발생할 확률도 높고, 대부분 집중하여 짧은 시간동안 후진을 하는 운전자가 후진 주행 중인 잠깐 사이에 졸음운전을 할 가능성도 희박하여 실제로 후진 주행 중일 때 졸음운전 여부를 판단할 필요성도 크지 않기 때문에 오직 차량이 전진 주행 중일 때에만 졸음운전을 판단하기 위해 예컨대, 시간대별 전후 좌표값이 변화가 없다면 정차 중인 것으로 판단하고, 시간대별 전후 좌표값을 비교할 때 좌표값이 갑자기(또는 잠시 좌표값의 변화가 없다가) 종전 진행방향과 역방향으로 변한다면 후진 주행으로 판단하며, 시간대별 전후 좌표값이 일정시간 이상 계속하여 같은 방향으로(또는 역방향이 아니고 차량이 회전할 수 있는 각도 내의 방향으로) 일관되게 변한다면 전진 주행 중인 것으로 판단한다.
또한 상기 운전자의 상태를 촬영하는 촬영부는 도면 11과 같이 상기 운전자의 안면 상태 영상정보를 입력 받는 적외선 카메라와 3차원 깊이 정보를 입력 받는 적외선 심도 센서로 구성되는 바, 적외선 카메라는 밝은 곳은 물론, 어두운 곳에서도 상기 운전자의 얼굴 윤곽 및 눈의 외곽선, 눈동자의 흰자위와 검은자위 인식을 위하여 안면 상태 영상정보를 입력 받아 졸음판단부에 전송하는 기능을 하고, 적외선 심도 센서는 밝은 곳은 물론, 어두운 곳에서도 상기 운전자의 상체, 머리, 안면, 눈과 입의 위치 및 구체적인 움직임을 정확하게 판단하기 위하여 3차원 깊이 정보를 입력 받아 졸음판단부에 전송하는 기능을 한다.

그리고 상기 사용자의 졸음 여부를 판단하는 졸음판단부는 도면1(대표도면)과 같이 제 1단계 졸음전조 판단부와 제 2단계 졸음 실행 판단부로 구성되는 바, 졸음판단부는 상기 주행판단부의 판단이 전진 주행 상태일 때만 적외선 카메라 및 적외선 심도 센서로부터 영상 정보 및 센서의 3차원 깊이 정보를 전송받아 졸음운전 여부를 판단하고, 먼저 상기 운전자의 동작정보, 안면정보와 눈 및 입모양 정보를 이용하여 제1단계 판단과정으로 상기 운전자의 졸음의 전조 행동 유무를 인지하고, 그 다음 제2단계 판단과정으로 졸음의 실행 행동 유무를 판단하는 방법으로, 제1단계를 거쳐 제2단계로 이행된 경우에 한해서 최종적으로 졸음운전으로 확정하는 단계적 판단을 특징으로 한다.
여기서 졸음의 전조 행동을 판단하는 제1단계는 도면 3과 같이 촬영부로부터 전송받은 영상 정보 및 센서의 3차원 깊이 정보로부터 먼저 운전자의 얼굴 윤곽을 검출한 후, 다시 입, 머리, 코, 목의 위치를 검출하여 운전자의 하품의 주기를 계산하거나 고개의 끄덕임의 속도와 주기를 계산하거나, 또는 눈 위치를 검출한 후 눈동자의 외곽선과 눈동자의 흰자위와 검은자위를 인식하여 눈 깜빡임의 속도와 주기를 계산함으로써 졸음의 전조 행동 유무를 판단한다.
졸음의 전조 행동 판단 기준 중 하나인 ‘하품의 주기’는 도면 5와 같이 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 입의 위치를 파악한 후, 운전자의 입모양이 하품을 하는 것인지 여부를 파악하여 운전자의 하품의 횟수가 일정시간 내에 기준횟수 이상 발견될 경우 졸음의 전조 행동이 있다고 판단한다. 좀 더 구체적으로 설명하면 졸음판단부는 촬영부로부터 전송되어 온 정보를 통하여 운전자의 안면을 인식 후 운전자의 입의 위치를 판단한다. 그리고 이후 입의 모양을 검사하는데, 예컨대 완전 원형 대비 50% 이상 입이 벌어지거나 아래턱이 평상시보다 일정 정도 이상 내려가 있는 상태가 일정시간(예컨대 1초)이상 지속되는 경우에 1회의 하품이라 판단하고 일정 시간(예컨대 2분) 내에 운전자가 하품을 일정 횟수(예컨대 2회) 이상 하는 것을 졸음운전 전조단계로 판단한다.
졸음의 전조 행동 판단 기준 중 하나인 ‘고개의 끄덕임의 속도와 주기’는 도면 6과 같이 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 고개가 일정 각도 이상 숙여졌다가 다시 복귀하는 것을 1회의 끄덕임으로 간주하고, 상기 1회의 고개 끄덕임이 이루어지는 시간이 기준 시간 이상 소요될 정도로 느려질 경우만을 “졸음의 전조 끄덕임”으로 계산하여, 위 “졸음의 전조 끄덕임”이 일정 시간 내에 기준 횟수 이상 일어날 경우에 졸음의 전조 행동이 있다고 판단한다. 좀 더 구체적으로 설명하면 졸음판단부는 촬영부로부터 전송된 정보를 통하여 운전자의 안면을 인식 후 머리, 코, 목의 각 포인트를 잡는다. 이후 머리와 목의 연결선(직선)과 머리와 코의 연결선(직선)을 이용하여 각도를 측정한다. 예컨대 만약 30도 이상 고개가 아래로 숙여졌다가 다시 복귀하게 되면 이를 1회의 끄덕임으로 간주하고 그 1회의 끄덕임이 이루어진 소요시간을 저장한다. 위 1회의 고개 끄덕임이 이루어진 시간이 일정 기준 시간 이상(예컨대 3초 이상) 소요되는 경우에는 이를 “졸음의 전조 끄덕임”으로 파악하여 저장하고, 이러한 졸음의 전조 끄덕임이 일정 시간 내에(예컨대 3분 내에) 일정 횟수 이상(예컨대 2회 이상) 일어날 경우 졸음의 전조 행동이 있다고 판단하는 방법이다.
그리고 졸음의 전조 행동 판단 기준 중 하나인 ‘눈 깜빡임의 속도와 주기’는 도면 7과 같이 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 눈동자가 일정 부분 이상 가려졌다가 다시 보여지는 것을 1회의 눈 깜빡임으로 간주하고, 상기 1회의 눈 깜빡임이 이루어지는 시간이 기준 시간 이상 소요될 정도로 늦어질 경우만을 “졸음의 전조 깜빡임”으로 계산하여, 위 “졸음의 전조 깜빡임”이 일정 시간 내에 기준 횟수 이상 일어날 경우에 졸음의 전조 행동이 있다고 판단한다. 좀 더 구체적으로 설명하면 졸음판단부는 촬영부로부터 전송된 정보를 통하여 운전자의 눈의 외곽선, 눈동자의 흰자위와 검은자위 인식한 후, 예컨대 만약 눈동자가 50% 이상 가려졌다가 다시 50% 이상 떠지는 형태로 복귀하게 되면 이를 1회의 눈깜박임으로 간주하고 그 1회의 눈깜박임이 이루어진 소요시간을 저장한다. 위 1회의 눈깜박임이 이루어진 시간이 일정 기준 시간 이상(예컨대 1초 이상) 소요되는 경우에는 이를 “졸음의 전조 깜박임”으로 파악하여 계산하고, 이러한 졸음의 전조 깜박임이 일정 시간 내에(예컨대 1분 내에) 일정 횟수 이상(예컨대 2회 이상) 일어날 경우 졸음의 전조 행동이 있다고 판단하는 방법이다.

한편, 졸음의 실행 행동 유무를 판단하는 제2단계는, 도면 4와 같이 졸음의 전조단계인 상기 제1단계를 거친 운전자에 한해서 해당 운전자의 눈동자의 폐쇄상태가 일정시간 이상 지속될 경우, 또는 시선이 일정시간 이상 정면을 주시하지 않고 있는 경우, 또는 고개가 일정각도 이상 숙여져 있는 시간이 일정 시간이상 지속될 경우 졸음의 실행 행동이 있다고 판단하는 것을 특징으로 한다. 본 발명은 만약 제1단계 졸음의 전조 행동이 없이 바로 제2단계의 행동과 유사한 행동이 감지되는 경우에는 이를 졸음운전으로 판단하지 않는다는 점이 중요한 특징이다. 왜냐하면 제1단계 졸음의 전조 행동이 없이 바로 제2단계의 행동을 보이는 경우는 졸음이 아닌 다른 이유로 백미러나 창문 밖을 보거나 룸미러를 보거나 음악을 들으며 고개를 끄덕이는 경우 등 무수히 많기 때문에 이러한 행동을 졸음운전으로 인한 숙성된 졸음상태를 나타내는 제2단계의 행동들과 구분해서 판별할 수 있게 하기 위함이다.
졸음의 실행 행동 판단기준 중 하나인 운전자의 눈동자의 폐쇄상태는, 도면 8과 같이 촬영부로부터 전달받은 영상정보를 이용하여 운전자의 눈동자를 분석하여 운전자의 눈동자가 일정 정도 이상 감김 상태로 일정 시간 이상 지속적으로 폐쇄되어 있는지를 판단하고, 졸음의 실행 행동 판단기준 중 하나인 시선의 정면주시 여부는, 도면 9와 같이 촬영부로부터 전달받은 영상정보를 이용하여 운전자의 눈동자를 분석하여 운전자가 정면을 주시하지 않는다고 판단되는 시간이 일정 시간 이상 지속되는 경우 졸음의 실행단계로 판단하며, 졸음의 실행 행동 판단기준 중 하나인 고개의 각도는, 도면 10과 같이 촬영부로부터 전송받은 영상을 이용하여 운전자의 머리 기준점과 코 기준점의 각도를 계산하여 사용자의 고개의 각도를 측정한 후 기준시간 이상 지속적으로 일정 각도이상 기울어져 있는 경우 졸음의 실행단계로 판단한다.

그리고 사용자에게 경고를 하는 경보부는 도면1(대표도면)과 같이 제1단계인 졸음의 전조 행동이 판단되었을 때에는 예비 경고음을, 제1단계를 거쳐서 제2단계의 졸음의 실행 행동이 판단되었을 경우에는 본 경고음을 운전자에게 보내서 졸음운전상태임을 알려주는 것을 특징으로 한다.

또한 상기 주행판단부와 촬영부, 졸음판단부 및 경보부를 제어하는 컨트롤러는, 도면1(대표도면)과 같이 주행판단부로부터 전진 주행여부를 전달받아 정차 중이거나 후진 주행 중인 경우에는 촬영부에 촬영중지 명령을 전송하고, 전진 주행인 경우에 한해서 촬영부에 감지 명령을, 졸음판단부에는 제1단계 졸음 전조 행동의 유무 판단 명령을 각 전송하고, 졸음판단부로부터 제1단계 졸음 전조 행동이 있음을 전달받은 후에는 경보부에 예비 경고음을 보내도록 지시함과 동시에 졸음판단부에 제2단계 졸음 실행 행동의 유무 판단 명령을 전송하고, 졸음판단부로부터 제1단계를 거쳐서 제2단계 졸음의 실행 행동이 있음을 전달받은 경우에는 경보부에 본 경고음을 운전자에게 보내도록 지시하는 것을 특징으로 한다.

삭제

Claims

차량의 전진 주행여부를 판단하는 주행판단부, 운전자의 상태를 촬영하는 촬영부, 사용자의 졸음운전 여부를 판단하는 졸음판단부, 사용자에게 경고를 보내는 경보부, 그리고 위 주행판단부와 촬영부, 졸음판단부 및 경보부를 제어하는 컨트롤러로 구성된 졸음운전 방지 장치에 있어서, 상기 주행판단부는 GPS단말기로부터 차량의 현재의 위치 좌표정보를 받아 이전 몇 초간의 위치 좌표정보와 비교하여 차량의 상태가 전진주행 중인지, 후진주행 중인지 정차 중인지를 여부를 판단하여, 차량이 전진 주행 중인 경우에 한하여 운전자의 동작 및 안면, 그리고 눈동자와 입모양의 인지를 통하여 졸음의 전조 행동 유무를 판단하는 제1단계 판단과정과 완성된 졸음의 실행 행동 유무를 판단하는 제2단계 판단과정을 포함하며, 제1단계 판단과정에서 졸음의 전조행동이 있다고 판단된 후에 제2단계 판단과정에서 졸음의 실행 행동이 있다고 판단되는 경우에만 사용자가 졸음운전을 하고 있다고 최종 판단하고 경고음을 내도록 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
삭제
삭제
제 1항에 있어, 상기 운전자의 상태를 촬영하는 촬영부는
상기 운전자의 안면 상태 영상정보를 입력 받는 적외선 카메라와 3차원 깊이 정보를 입력 받는 적외선 심도 센서로 구성됨을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 4항에 있어, 적외선 카메라는
밝은 곳은 물론, 어두운 곳에서도 상기 운전자의 얼굴 윤곽 및 눈의 외곽선, 눈동자의 흰자위와 검은자위 인식을 위하여 안면 상태 영상정보를 입력 받아 졸음판단부에 전송하는 기능을 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 4항에 있어, 적외선 심도 센서는
밝은 곳은 물론, 어두운 곳에서도 상기 운전자의 상체, 머리, 안면, 눈과 입의 위치 및 움직임을 정확하게 판단하기 위하여 3차원 깊이 정보를 입력 받아 졸음판단부에 전송하는 기능을 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 1항에 있어, 상기 사용자의 졸음 여부를 판단하는 졸음판단부는
상기 주행판단부의 판단이 전진 주행 상태일 때만 적외선 카메라 및 적외선 심도 센서로부터 영상 정보 및 센서의 3차원 깊이 정보를 전송받아 졸음운전 여부를 판단하도록 하는 것으로, 제1단계 판단과정으로 상기 운전자의 졸음의 전조 행동 유무를 인지하고, 제2단계 판단과정으로 졸음의 실행 행동 유무를 판단하는 방법으로, 제1단계를 거쳐 제2단계로 이행된 경우에 한해서 최종적으로 졸음운전으로 확정하는 단계적 판단을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
삭제
제 7항에 있어,
졸음의 전조 행동을 판단하는 제1단계는 촬영부로부터 전송받은 영상 및 센서 정보로부터 먼저 운전자의 얼굴 윤곽을 검출한 후, 다시 입, 머리, 코, 목의 위치를 검출하여 운전자의 하품의 주기를 계산하거나, 고개의 끄덕임의 속도와 주기를 계산하거나, 또는 눈 위치를 검출한 후 눈동자의 외곽선과 눈동자의 흰자위와 검은자위를 인식하여 눈 깜빡임의 속도와 주기를 계산함으로써 졸음의 전조 행동 유무를 판단하는 특징을 가지는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 9항에 있어,
졸음의 전조 행동 판단 기준 중 하나인 ‘하품의 주기’는 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 입의 위치를 파악한 후, 운전자의 입모양 또는 아래 턱의 벌어짐의 정도로 하품을 하는 것인지 여부를 파악하여 운전자의 하품의 횟수가 일정시간 내에 기준횟수 이상 발견될 경우 졸음의 전조 행동이 있다고 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 9항에 있어,
졸음의 전조 행동 판단 기준 중 하나인 ‘고개의 끄덕임의 속도와 주기’는 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 고개가 일정 각도 이상 숙여졌다가 다시 복귀하는 것을 1회의 끄덕임으로 간주하고, 상기 1회의 고개 끄덕임이 이루어지는 시간이 기준 시간 이상 소요될 정도로 느려질 경우만을 “졸음의 전조 끄덕임”으로 계산하여, 위 “졸음의 전조 끄덕임”이 일정 시간 내에 기준 횟수 이상 일어날 경우에 졸음의 전조 행동이 있다고 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 9항에 있어,
졸음의 전조 행동 판단 기준 중 하나인 ‘눈 깜빡임의 속도와 주기’는 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 눈동자가 일정 부분 이상 가려졌다가 다시 보여지는 것을 1회의 눈 깜빡임으로 간주하고, 상기 1회의 눈 깜빡임이 이루어지는 시간이 기준 시간 이상 소요될 정도로 늦어질 경우만을 “졸음의 전조 깜빡임”으로 계산하여, 위 “졸음의 전조 깜빡임”이 일정 시간 내에 기준 횟수 이상 일어날 경우에 졸음의 전조 행동이 있다고 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 7항에 있어,
졸음의 실행 행동 유무를 판단하는 제2단계는, 상기 제1단계 졸음의 전조 행동 판단 기준 중 하나를 충족한다고 판단된 운전자에 한해서 해당 운전자의 눈동자의 폐쇄상태가 일정시간 이상 지속되거나 또는 시선이 일정시간 이상 정면을 주시하지 않고 있거나 또는 고개가 일정각도 이상 숙여져 있는 시간이 일정 시간이상 지속될 경우 졸음의 실행 행동이 있다고 판단하는 것을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 13항에 있어
졸음의 실행 행동 판단기준 중 하나인 운전자의 ‘눈동자의 폐쇄상태’는, 촬영부로부터 전달받은 영상정보를 이용하여 운전자의 눈동자를 분석하여 운전자의 눈동자가 일정 정도 이상 감김 상태로 일정 시간 이상 지속적으로 폐쇄되어 있는지를 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 13항에 있어
졸음의 실행 행동 판단기준 중 하나인 ‘시선의 정면주시 여부’는, 촬영부로부터 전달받은 영상정보를 이용하여 운전자의 눈동자를 분석하여 운전자가 정면을 주시하지 않는다고 판단되는 시간이 일정 시간 이상 지속되는 경우 졸음의 실행단계로 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 13항에 있어
졸음의 실행 행동 판단기준 중 하나인 ‘고개의 각도’는, 촬영부로부터 전송받은 영상을 이용하여 운전자의 머리 기준점과 코 기준점의 각도를 계산하여 사용자의 고개의 각도를 측정한 후 고개가 기준시간 이상 지속적으로 일정 각도이상 기울어져 있는 경우 졸음의 실행단계로 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 1항에 있어, 사용자에게 경고를 하는 경보부는
제1단계인 졸음의 전조 행동이 판단되었을 때에는 예비 경고음을, 제1단계를 거쳐서 제2단계의 졸음의 실행 행동이 판단되었을 경우에는 본 경고음을 운전자에게 보내서 졸음운전상태임을 알려주는 것을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
제 1항에 있어, 상기 주행판단부와 촬영부, 졸음판단부 및 경보부를 제어하는 컨트롤러는,
주행판단부로부터 전진 주행여부를 전달받아 정차 중이거나 후진 주행 중인 경우에는 촬영부에 촬영중지 명령을 전송하고, 전진 주행인 경우에 한해서 촬영부에 감지 명령을, 졸음판단부에는 제1단계 졸음 판단 명령을 각 전송하고, 졸음판단부로부터 제1단계 졸음 전조 행동이 있음을 전달받은 후에는 졸음판단부에 제2단계 졸음판단 명령을 전송하고 경보부에 예비 경고음을 보내도록 지시하며, 졸음판단부로부터 제1단계를 거쳐서 제2단계 졸음의 실행 행동이 있음을 전달받은 경우에는 경보부에 본 경고음을 운전자에게 보내도록 지시하는 것을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.