KR20140107880A - 졸음 운전 방지 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 차량을 운전하는 운전자의 얼굴을 촬영하여 졸음 운전 방지 경보 장치를 작동하는 졸음 운전 방지 시스템에 있어서, 운전자의 얼굴을 촬영하는 카메라, 상기 카메라부에 의해 촬영된 얼굴의 이미지를 출력하고, 상기 출력된 이미지 데이터를 근거로 졸음 운전을 판단하는 알고리즘을 수행하는 제어부, 및 상기 제어부에 의하여 졸음 운전을 경보하는 경보 장치가 구비되고, 상기 졸음 운전 알고리즘은 정상 상태의 눈동자의 이미지를 추출하고, 상기 눈동자의 면적을 계산하고, 상기 정상 상태의 눈동자 면적보다 일정 비율 이하로 적은 크기의 면적을 가지는 눈동자 이미지가 추출되면, 상기 제어부는 졸음 운정 방지 경보 장치를 작동하므로서, 운전자의 특별한 조작이나 운전자의 신체에 특정한 장비를 부착하지 않고, 자동차 운행 중에 운전자의 졸음운전 여부를 이미지 데이터를 사용하여 자동으로 실시간으로 감지하고 정확한 알고리즘을 통하여 졸음운전이 확인되면, 운전자에게 경고 신호를 출력하도록 하므로서 자동차 교통사고를 미연에 방지할 수 있게 된다.

Description

졸음 운전 방지 시스템 및 그 방법{method and system for checking doze at the vehicle}

본 발명은 운전자의 졸음 운전 방지 시스템 및 그 방법 관한 것으로서, 더욱 상세하게는 운전자의 눈 혹은 얼굴을 카메라 이미지 데이터로 판단하여 운전 중 운전자의 졸음 상태를 판단하고, 졸음 운전이 판단되면 경고 등이 실시되도록 하는 졸음 운전 방지 시스템 및 그 방법 방법에 관한 것이다.

운전중 졸음 운전에 의한 사고는 항시 발생되는 문제여서 이러한 졸음 운전 만 제대로 예방할 수 있다면 교통사고를 상당히 줄일 수 있다. 하지만 이를 위해서는 다양한 감지 시스템 및 방법이 동원되어야 하게 된다.

특히, 21세기에는 자동차의 운행속도 증가, 운행거리 및 운행시간의 증가, 운행 차량의 증가 등으로 인해 자동차 사고가 증가하고 있는 실정이다. 이런 자동차 사고는 사회적 비용을 증가시킬 뿐만아니라 운전자 개인에게 매우 심각한 영향을 미친다. 특히 우리나라의 경우 자동차로 인한 인명의 피해가 전쟁시 발생되는 인명의 손실보다 더 큰 것으로 집계되어 매우 심각한 사회적 문제가 된지 오래이다. 이에 따라 자동차로 인한 교통사고를 방지하기 위한 연구가 매우 활발하게 진행되고 있다.

그리고, 자동차의 안전 장치에는 운전자나 탑승자의 몸을 시트에 고정시켜 자동차 충돌 사고시 몸이 시트에서 이탈하여 다른 구조물과 충돌함으로 인한 2차 사고 발생을 줄려주는 안전벨트, 에어백 등을 들 수 있다. 또한 자동차는 충돌의 충격이 자동차 내부에 전달되지 않도록 충격 흡수 구조로 설계된다. 자동차 전후방의 충격 흡수 범퍼, 차량의 형태를 유지하는 외부 철판의 덧살 등이 그 역할을 한다.

자동차의 진행 방향을 결정하는 조향장치도 자동차 운전 속도에 반응하여 고속 운전일수록 그 조작이 어렵게 설정되어 고속 운전에서 급회전 등으로 인한 전복 사고를 방지하도록 하며 제동장치인 브레이크도 급브레이크 조작시 발생되는 자동차의 회전으로 인한 차선 이탈을 방지하기 위해 운전자가 브레이크를 조작하면 여러 단계에 걸쳐 순차적으로 작동한다. 이와 같은 순차 동작은 자동차를 빠르고 정확하게 정차시킬 수 있어 추돌 및 차선 이탈로 인한 2차 사고를 방지하게 한다. 또한 카메라를 자동차 여러 곳에 설치하여 운전자 시야의 사각지대에 대한 정보를 제공하므로서 보다 안전한 운전이 가능하게 하고 있다. 이처럼 자동차 및 자동차가 운행되는 도로에 운전자의 안전 운전을 돕는 여러 시설 및 기술들이 적용되고 있다.

또한, 대한민국 공개 특허(제10-2010-0046305)에는 졸음운전을 감지하는 장치에 있어서, 운전자의 머리 움직임을 측정하는 센서부와, 상기 센서부의 출력을 입력받아 상기 운전자의 머리가 좌우 또는 앞뒤로 움직이는 정도를 표현하는 머리 움직임 값을 생성하는 데이터 변환부와, 상기 생성된 머리 움직임 값이 미리 정해진 값 이상이면 상기 운전자에 대해 졸음운전으로 판정하는 졸음운전 판정부와, 상기 졸음운전 판정부에 의해 졸음운전으로 판정된 상기 운전자에 대해 경고신호를 출력하는 경고부를 포함하는 것을 특징으로 하는 졸음운전 감지 장치를 제공한다.

아울러, 대한민국 공개 특허(10-2006-0084750)에는 운전자의 얼굴을 촬영하기 위한 렌즈와, 줌 파라미터 조정을 위해 상기 렌즈를 앞 혹은 뒤로 이동시키는 제1모터와, 팬 파라미터 혹은 틸트 파라미터 조정을 위해 상기 렌즈를 수평 혹은 수직 방향으로 이동시키는 제2모터와, 상기 제어부는, 얼굴 요소 계산 결과를 기초로 상기 팬, 틸트, 줌 파라미터 조정을 하며, 상기 입력 영상으로부터 검출한 초기 얼굴 영역에서 수평 에지를 검출하고, 상기 수평 에지 검출 결과로부터 눈 영역과 입 영역을 검출한 후, 주 수직선과 주 수평선을 계산하고 상기 주 수직선과 주 수평선 계산 결과로 부터 주 영역을 계산하여 상기 얼굴 요소 계산을 함을 특징으로 하는 졸음운전 감지용 얼굴 검출 정규화 장치를 제공하고 있다.

그러나 상기의 방법으로는 운전자의 졸음 운전 상태를 정확히 판단하는 알고리즘을 제시하는 것은 아니며, 따라서, 정상 상태와 운전 상태를 비교하는 알고리즘을 구체화하여 경보를 졸음 운전 방지 시스템 및 그 방법이 필요한 실정이다.

선행기술 1 : 대한민국 공개특허 제10-2010-0046305 (2010년05월07일) 선행기술 2 : 대한민국 공개특허 제10-2006-0084750 (2006년07월25일)

본 발명의 목적은, 운전자 동공 혹은 얼굴 이미지 데이터를 검출하고 판단할 때, 정상상태의 운전자와 이미지 데이터와 운전중인 운전자의 이미지 데이터를 비요하여 실시간으로 졸음 운전 여부를 판단하며, 미리 정해진 알고리즘에 의하여 졸음 상태로 판단되면 운전자에게 경고 신호를 출력하도록 하는 것을 목적으로 한다.

본 발명의 목적은, 차량을 운전하는 운전자의 얼굴을 촬영하여 졸음 운전 방지 경보 장치를 작동하는 졸음 운전 방지 시스템에 있어서, 운전자의 얼굴을 촬영하는 카메라, 상기 카메라부에 의해 촬영된 얼굴의 이미지를 출력하고, 상기 출력된 이미지 데이터를 근거로 졸음 운전을 판단하는 알고리즘을 수행하는 제어부, 및 상기 제어부에 의하여 졸음 운전을 경보하는 경보 장치가 구비되고, 상기 졸음 운전 알고리즘은 정상 상태의 눈동자의 이미지를 추출하고, 상기 눈동자의 면적을 계산하고, 상기 정상 상태의 눈동자 면적보다 일정 비율 이하로 적은 크기의 면적을 가지는 눈동자 이미지가 추출되면, 상기 제어부는 졸음 운정 방지 경보 장치를 작동하므로서 해결된다.

그리고, 차량을 운전하는 운전자의 얼굴을 촬영하여 졸음 운전 방지 경보 장치를 작동하는 졸음 운전 방지 시스템에 있어서, 운전자의 얼굴을 촬영하는 카메라, 상기 카메라부에 의해 촬영된 얼굴의 이미지를 출력하고, 상기 출력된 이미지 데이터를 근거로 졸음 운전을 판단하는 알고리즘을 수행하는 제어부, 및 상기 제어부에 의하여 졸음 운전을 경보하는 경보 장치가 구비되고, 상기 졸음 운전 알고리즘은 운전을 시작하는 운전자를 일정 시간 일정 회수만큼 촬영하고 상기 촬영된 이미지 데이터를 근거로, 눈동자가 가장 크게 촬영되는 상태인 최고 값의 비율 값과 눈동자가 가장 작게 촬영되는 상태인 최저 값의 비율값을 계산하여 저장하고, 운전 상태의 운전자의 얼굴을 촬영하고 여 최저 값 혹은 최저 값에 가까운 값이 일정 시간 유지되면 졸음 운전 방지 경보 장치를 작동하게 된다.

또한, 차량을 운전하는 운전자의 얼굴을 촬영하여 졸음 운전 방지 경보 장치를 작동하는 졸음 운전 방지 방법에 있어서, 졸음 운전 방지 장치가 작동되면 제어부의 제어에 의하여 카메라는 운전자의 얼굴을 일정 시간 일정 회수 만큼 촬영하고, 카메라로부터 이미지 데이터가 출력되는 단계, 촬영되는 얼굴 이미지에서 눈동자의 이미지 변화에 따라 최고 비율값과 최저 비율값을 계산하는 단계,

제어부의 제어에 의하여 카메라는 운전 상태에 있는 운전자를 촬영하고, 이미지 데이터를 출력하여 비율값을 계산하게 되는 단계를 포함하고, 상기 운전 상태의 운전자 이미지에 데이터에 의하여 계산된 비율값이 최저 값 혹은 최저 값에 가까운 값이 일정 시간 유지되면, 상기 제어부는 졸음 운전 방지 장치를 작동하는 것을 특징으로 한다.

본 발명에 따르면, 운전자의 특별한 조작이나 운전자의 신체에 특정한 장비를 부착하지 않고, 자동차 운행 중에 운전자의 졸음운전 여부를 이미지 데이터를 사용하여 자동으로 실시간으로 감지하고 정확한 알고리즘을 통하여 졸음운전이 확인되면, 운전자에게 경고 신호를 출력하도록 하므로서 자동차 교통사고를 미연에 방지할 수 있게 된다.

도 1은 졸음운전 감지 장치의 설치 외형을 나타내는 종래 도면이다.
도 2는 본 발명의 졸음 운전 방치 장치의 구성도를 나타낸 도면이다.
도 3은 본 발명의 제어부의 상세 기능을 나타낸 블록도이다.
도 4는 본발명의 실시예에 따르는 졸음 운전 여부를 판단하는 기본 흐름도를 나타낸 도면이다.
도 5와 도 6은 이미지에서 검출 데이터를 출력하는 또 다른 실시예의 방법을 나타낸 도면이다.
도 7과 도 8은 눈동자의 면적 혹은 둘레를 통하여 졸음 운전을 판별하는 실시예의 도면이다.
도 9와 도 10은 졸음 운전을 판단하는 또 다른 실시예를 나타낸 도면이다.
도 11은 시간에 따른 비율 변화를 나타낸 실시예의 도면이다.
도 12는 비율 값에 의해 졸음 운전 상태를 판단하는 또 다른 실시예의 도면이다.

이하, 본 발명의 바람직한 실시예에 따른 다층 구조의 열방사 시트에 대해 상세히 설명하고자 한다.

이때, 공지의 기술인 경우 상세 기술적 설명을 생략한 상태에서 본 발명의 구성에 적용될 수가 있다.

도 1은 본 발명의 다층 방열 시트 구조도 이다.

도 1에 도시된 바와 같이, 본 발명의 방열 시트는 방사층(혹은 방열층)(21), 금속박막층(22), 열전도점착층(23), 이형필름층(24)을 포함한다.

열 방사층(21)은 본 발명의 열 방사 시트가 열원에서 전달 받은 열을 외부로 방출하는 역할을 하는 층이다.

이하, 본 발명의 바람직한 실시예에 졸음 운전 방지 시스템 및 그 방법에 대해 상세히 설명하고자 한다.

본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 졸음운전 감지 장치의 설치 외형을 나타내는 종래 도면이다.

도시된 바와 같이, 졸음운전 방지 장치(100)는 운전자의 얼굴 전면에 구비되도록 하며, 고정되는 위치는 자동차 상황에 따라 앞 유리창 틀 등이 될 수가 있다. 그리고 이미지 데이터를 검출하기 위한 카메라(110)이 더 구비되게 된다.

도 2는 본 발명의 졸음 운전 방치 장치의 구성도를 나타낸 도면이다.

본 발명의 바람직한 실시예에 의한 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치는 운전자의 얼굴을 촬영하는 카메라부(110); 상기 카메라부(110)에 의해 촬영된 얼굴로부터 눈동자 영역 데이터를 검출하는 이미지 검출부(125); 상기 이미지 검출부에 의해 검출된 눈동자가 정상상태인 경우 저장하는 메모리부(115); 상기 카메라부(110), 상기 이미지 검출부(125), 상기 메모리부(130)를 제어하여, 상기 이미지 검출부(125)로부터 보내오는 졸음상태의 눈동자 영역 데이터를 상기 저장부의 정상상태의 눈동자 영역 데이터와 비교하여 졸음여부판단결과 를 출력하는 제어부(115)를 포함한다. 한편 근거리 통신부(130)는 졸음 운전 방지 장치의 제어 상황을 필요에 따라 자동차 내의 다른 기기 혹은 휴대 단말기에 전송하여 줄 때 혹은 정보를 받을 때 사용되는 근거리 통신 모듈이다.

본 발명의 운전자 눈동자 검출을 이용한 졸음 운전 방지 장치는 스위치를 조작하여 제어부(115)의 제어하에 카메라부(110)로 하여금 운전자의 얼굴을 촬영하도록 한다. 몰론 운전자 감지 적외선 센서 등을 활용하여 자동으로 촬영이 이루어지게 할 수도 있게 된다.

본 발명의 제어부(115)는 졸음여부판단결과를 출력하는데, 상기 졸음여부판단결과가 졸음 운전이라면 상기 제어부(115)는 경보장치(135)에 제어신호를 출력하여 운전자에게 경보신호를 보내도록 하는 것이다. 이때, 본 발명에서는 상기 경보장치(135)에 대하여 상세한 도시는 생략하였지만, 소리, 알람, 진동, 빛, 공기 순환 등 다양한 형태가 될 수 있음은 당연하다.

또한, 본 발명의 저장부(115)는 ROM 및 RAM으로 이루어져 ROM에는 본 발명에 적용되는 할라이크 특징 및 아다부스트 학습알고리즘의 소프트웨어프로그램이 저장되어, 제어부(115)의 지령에 의해 눈동자 영역의 검출에 사용된다. 또한, 메모리부(120)의 RAM에는 정상상태 눈동자 영역 데이터를 임시로 보관할 수도 있다.

도 3은 본 발명의 제어부의 상세 기능을 나타낸 블록도이다.

도시된 바와 같이, 졸음 운전 방지 장치(100)는 제어부(115)를 중심으로, 메모리부(120), 전원부, 경보장치(135)등을 제어한다. 그리고 제어부(115)는 데이터 변환부(116), 졸음운전 판정부(117), 데이터 저장부(118)를 구비하고 있다.

적외선 센서부(121)는 복수개의 적외선 거리 센서로 이루어지며, 운전자의 얼굴 움직임을 측정(또는 감지)할 수 있다. 즉, 운전자의 얼굴이 운전자의 위치에 위치하는 가를 판단하게 된다.

데이터 변환부(116)는 적외선 센서부(121) 혹은 카메라(110)의 데이터 이미지 출력을 전달 받아 운전자의 동공 혹은 얼굴의 움직이는 정도를 좌표로 표현하는 움직임 값을 생성한다. 그리고, 데이터 저장부(116)는 정상운전 중인 운전자의 일정 시간 동안 정도의 얼굴 움직임 값을 저장한다. 혹은 졸음 운전 방지 장치의 기능을 수행하는 데 필요한 데이터를 저장한다.

또한, 졸음운전 판정부(117)는 데이터 변환부(116)에서 생성된 좌표 값을 미리 정해진 값이나 알고리즘으로 계산하고 판단하여 졸음운전 여부를 판단한다. 졸음운전 판정부(117)는 데이터 저장부(118)로부터 얻어진 운전 중인 운전자의 이미지 데이터 값을 판독하고 데이터 변환부(112)로부터 실시간으로 생성된 운전자의 움직임 이미지 데이터와 비교하여 졸음 운전 여부를 판단하게 된다.

그리고, 상기의 방법에 의하여 졸음운전으로 판단하게 되면, 제어부(115)는 경보장치(135)를 작동하게 된다.

도 4는 본발명의 실시예에 따르는 졸음 운전 여부를 판단하는 기본 흐름도를 나타낸 도면이다.

졸음 운전 방지 장치 시스템을 시작하게 되면, 상기 시스템은 작동된다. 이때 운전자가 수동으로 본 발명의 졸음 운전 방지 장치(100)의 작동을 실행할 수도 있지만, 적외선 센서부(121)에 의하여 운전자의 얼굴이 운전자의 위치에 위치하게 되는 것을 감지하면, 상기 감지 신호가 제어부(115)에 전달되어 졸음운전 방지 장치(100)가 작동되게 할 수 있다.(S 100 - S 105)

시스템이 작동되면 제어부(115)의 제어에 의하여 카메라(110)는 운전자의 얼굴을 촬영하고, 카메라(110)로부터 이미지 데이터가 출력되게 된다. (S 110 - S 115)

이때, 상기 카메라는 정해진 일정 시간(1분이 될 수도 있고 5 분이 될 수도 있다.)동안 운전자의 얼굴을 촬영하여, 데이터를 수집하고 제어부(115)는 상기 수집된 정상 상태의 이미지 데이터를 저장하게 된다.(S 120)

그리고, 카메라(115)는 제어부(115)의 제어에 의하여 운전중인 운전자의 얼굴을 촬영하여 데이터를 제어부로 출력하게 된다. (S125)

또한, 운전자의 정상 상태 이미지 데이터와 운전중인 운전자의 이미지 데이터를 비교하여, 정해진 알고리즘에 의하여 졸음운전 상태를 판단하게 된다, (S 130)

알고리즘에 의한 판단 결과 졸음 운전 상태이면, 제어부(115)는 졸음 운전 방지 경보 신호를 실행하게 되고,(S 135) 졸음 운전 상태가 아니면 운전중인 운전자를 촬용하고 판단하는 알고리즘을 다시 수행하게 된다.

그리고, 시스템을 정지시키면 본 발명의 시스템은 정지되게 된다.(S 140)

본 발명에 의하면, 본 발명은 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법을 수행하는 컴퓨터 판독 가능 프로그램을 저장한 기록매체에 있어서, 상기 컴퓨터 판독 가능 프로그램은 운전자의 얼굴을 촬영하는 얼굴촬영단계를 수행하는 프로그램코드; 상기 얼굴촬영단계에서 촬영된 얼굴 데이터로부터 눈동자영역 데이터를 검출하는 눈동자 영역 데이터 검출단계를 수행하는 프로그램코드; 상기 눈동자 영역 데이터 검출단계에서 검출된 눈동자가 정상상태인 경우 저장하는 저장단계를 수행하는 프로그램코드; 상기 눈동자 영역 데이터 검출단계로부터 보내오는 졸음상태의 눈동자 영역 데이터를 상기 저장부에 저장된 정상상태의 눈동자영역 데이터와 비교하여 졸음여부판단결과를 출력하는 졸음판단단계를 수행하는 프로그램코드를 포함하는 것을 특징으로 하는 운전자 눈동자 검출을 이용한 졸음 운전 방지 방법을 수행하는 컴퓨터 판독 가능 프로그램을 저장한 기록매체를 제공한다.

본 발명에서는 상기 촬영된 운전자의 얼굴로부터 할라이크 특징(Haar-like feature)을 이용하여 운전자 눈동자 영역을 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 눈동자 영역의 판단율을 높이고, 검출된 눈동자의 이진화 및 대칭성 판단을 통하여 눈동자 크기 및 원형도에 근거하여 졸음 운전을 판단한다.

또한, 상기 촬영된 운전자의 얼굴로부터 눈동자 영역 데이터를 검출하기 전에, 할라이크 특징(Haar-likefeature)을 이용하여 얼굴 영역 데이터를 검출하고, 아다부스트(AdaBoost) 학습알고리즘을 이용하여 검출된 얼굴 영역의 판단율을 높이고, 그 검출된 얼굴 영역 데이터로부터 상기 눈동자 영역 데이터를 검출한다.

또한, 상기 검출된 눈동자영역의 라벨링을 통하여 노이즈를 제거한다. 여기서, 상기 라벨링을 통한 노이즈 제거는 적절한 임계치로 이진화된 영상에서 사용되는 방식으로써 순차적으로 인접 픽셀들을 검색, 인접한 같은 픽셀들로 구성된 영역에 같은 라벨을 붙이는 라벨링 기법을 사용하여 붙여진 라벨값에 따라 영역이 나눠지고, 나눠진 영역의 특징에 따라 특정 라벨(Label)을 선택하고, 다른 라벨 들을 제거함으로써 검출하고자 하는 눈동자 영역 외의 다른 노이즈 영역을 제거한다.

Haar-like feature와 조명보정을 이용하여 검출된 눈 영역 데이터는 영상의 밝기 값만을 이용하여 흑백 이미지를 얻은 후 임계치를 이용하여 영상을 이진화한다. 눈동자 영역의 경우 밝기값이 매우 낮기 때문에 적절한 임계치를 이용하여 영역을 분리하면 눈동자와 눈썹 등의 부분을 검출하게 되고, 검출된 영역에서 눈동자는 기하학적으로 그 구성 면적이 눈썹이나 그 외의 다른 부분보다 크고, 원모양으로 구성되어 있으므로 영역의 기하학적 특성에 따른 라벨링(Labeling)을 통해 눈동자를 검출할 수 있다. 즉 상기의 이미지 데이터를 판단하고 검출하는 것은 통상의 이미지 데이터 판단 및 검출하는 방법을 사용한다.

도 5와 도 6은 이미지에서 검출 데이터를 출력하는 또 다른 실시예의 방법을 나타낸 도면이다.

도 5의 (A) 나타낸 바와 같이 본 발명의 카메라는 raw data 및 yuv방식을 이용할 수 있으나, 선명함과 정확성을 위해서 raw data을 사용 하는 것으로 한다. 그리고, 카메라 촬영을 시작하거나 특정인 모드 지원시에는 사진을 저장하게 된다. 혹은 졸음인식 기준을 채택할 수 있는 기준을 잡는 시간을 부여 한다. 즉, 운전자의 얼굴을 일정 시간 카메라(110)가 촬영할 수 있다는 것이다.

이때, 도 5의 (A)는 raw data 로 사진 촬영한 이미지로 픽셀단위로 선명하게 이미지가 캡쳐된 실시예를 나타낸 사진 도면이다.

그리고, 도 5의(B)는 도(A)에서 얻은 이미지를 통하여 눈동자를 정확하게 인식하기 위해서 brightness & sharpness & gamma등을 보정하여 명암을 구별할 수 있도록 보정을 실행한 후에 나타낸 사진 도면이다.

또한, 본 발명에서는 눈동자 부분을 명확히 인식하기 위하여 명암 반전 방법을 사용하게 된다. 도 6의 도(A)는 명암을 반전 시켜서 확연히 눈동자 부분을 인식 할 수 있도록 한 사진 도면이다.

그리고, 도6의 도(A)도에서 얻은 이미지 데이터를 통하여 명암을 구분하고, 가장 밝은 부분의 눈동자 및 동공을 인식하게 된다. 이렇게 하여 눈동자 동공의 이미지를 도 6의 도 (B)에서처럼 얻게 된다.

사람의 눈동자는 동그란 원이란 점을 이용하여, 눈동자의 반지름 및 지름을 아래와 같이 구할 수 있다. 가장 밝은 부분의 픽셀 개수를 파악하는 것이다.

지름은 D = 센서의 한 픽셀 사이즈 x 실제 픽셀 갯수

반지름은 r = 센서의 한 픽셀 사이즈 x 실제 픽셀 갯 수/ 2

( D = 2r )

사람의 눈동자는 동그란 원이므로 눈이 상하로 큰 사람 혹은 눈이 아래로 처진 사람도 상기의 방식으로 눈동자의 반지름 및 지름을 알 수 있다. 그렇게 되면, 눈동자의 전체 면적과 둘레는 아래와 같이 추정 가능하다.

전체 면적(S) = S＝πr^２

둘레(R) = 2πr

이상의 방법에 의하여, 실제 감고 있는 눈의 길이 및 면적을 구할 수가 있다, 그리고 자동차 운전 중인 운전자의 눈동자의 실제 면적 및 둘레를 구한다. 면적은 눈동자 최대 면적/둘레 범위 내에서 실제로 사람의 눈이 감기지 않은 부분의 면적을 구한다. 그 식은 아래와 같다.

눈을 감고 있지 않은 면적(Sa) = 한 픽셀 면적(한 픽셀의 가로x세로)x 감기지 않은 총 픽셀의 개수

눈을 감고 있지 않은 둘레(Sr) = 2Sa/r

(이때, 눈동자의 범위내의 픽셀을 기준으로 하고 평상시 및 졸음 시에도 동일하게 면적 및 둘레 계산 공식을 정하게 된다.

이상에서와 같은 방법으로 눈동자의 둘레와 면적을 구하게 되면 다음과 같이 졸음의 기준을 정할 수 있게 된다.

눈동자의 면적(Sa) 혹은 Rr(둘레)와 졸음이라고 판단 할 수 있는 면적(Ss) 혹은 둘레(Rs) 의 상관성을 지정한다.

예를들어, 최대 크기의 25%, 혹은 평상시 면적 및 둘레에서 약 50% 작아지면 졸음으로 판정하는 방법을 사용하게 된다.

도 7과 도 8은 눈동자의 면적 혹은 둘레를 통하여 졸음 운전을 판별하는 실시예의 도면이다.

먼저 도 7의 흐름도 방법에 의하여 정상상태 운전자의 눈 혹은 눈동자 이미지 데이터를 출력하게 된다.

졸음 운전 방지 장치 시스템을 시작하게 되면, 상기 시스템은 작동된다. 이때 운전자가 수동으로 본 발명의 졸음 운전 방지 장치(100)의 작동을 실행할 수도 있지만, 적외선 센서부(121)에 의하여 운전자의 얼굴이 운전자의 위치에 위치하게 되는 것을 감지하면, 상기 감지 신호가 제어부(115)에 전달되어 졸음운전 방지 장치(100)가 작동되게 할 수 있다.(S 150 - S 155)

시스템이 작동되면 제어부(115)의 제어에 의하여 카메라(110)는 운전자의 얼굴을 촬영하고, 카메라(110)로부터 이미지 데이터가 출력되게 된다. (S 160)

양쪽 이미지를 사용하게 되면, 큰 눈 혹은 평상시 눈 이미지 데이터를 출력하게 된다.(S 165 - S 170)

도 4 혹은 도 5와 6의 방법에 따라 눈동자의 이미지 데이터를 출력하고, 크기가 더 큰 눈동자를 판단하여, 크기가 더 큰 눈동자의 데이터 이미지를 출력한다는 것이다.

한편, 한쪽 눈의 이미지를 사용하게 되면, 한 쪽 눈(눈동자)의 이미지 데이터를 출력하게 된다.(S 175)

상기의 단계를 통하여 양쪽 눈 혹은 한쪽 눈(눈동자)의 이미지 데이터를 출력하여, 눈동자의 둘레와 면적을 구하고 저장하게 된다. (S 180)

즉, 운전자가 운전석에 위치하게 되면, 적외선 센서가 작동하고 일정 시간 동안 정상 상태의 눈 혹은 눈동자 이이미 데이터를 출력하게 된다.

상기의 방법에 의하여 정상 상태 운전자의 이미지 데이터를 출력한 다음 졸음 운전 감지 알고리즘을 수행하게 된다. (S 185)

도 8은 운전 중인 운전자의 이미지 데이터를 출력하고 경보 장치를 작동하는 흐름도를 나타낸 실시예의 도면이다. 졸음운전 알고리즘이 수행되면 시스템이 작동되고 제어부(115)의 제어에 의하여 카메라(110)는 운전중인 운전자의 얼굴을 촬영하고, 카메라(110)로부터 이미지 데이터가 출력되게 된다. (S 200)

양쪽 이미지를 사용하게 되면, 큰 눈 혹은 평상시 눈 이미지 데이터를 출력하게 된다.(S 205 - S 210)

도 4 혹은 도 5와 6의 방법에 따라 눈동자의 이미지 데이터를 출력하고, 크기가 더 큰 눈동자를 판단하여, 크기가 더 큰 눈동자의 데이터 이미지를 출력한다는 것이다. 한편, 한쪽 눈의 이미지를 사용하게 되면, 한 쪽 눈(눈동자)의 이미지 데이터를 출력하게 된다.(S 215)

상기의 단계를 통하여 양쪽 눈 혹은 한쪽 눈(눈동자)의 이미지 데이터를 출력하여, 눈동자의 둘레와 면적을 구하게 된다. (S 220)

그리고, 정상상태 운전자의 눈 혹은 눈동자 데이터와 운전중인 운전자의 눈 혹은 눈동자 데이터를 본 발명의 실시예의 방법에 의하여 비교하게 된다.(S 225)

졸음 운전 상태이면, 졸음 방지 경보 장치를 실행하여 운전자에게 알리게 되고,(S 230 - S 235) 졸음 운전 상태가 아니면 카메라를 제어하여 운전 중인 운전자의 얼굴을 촬영하게 되는 것이다.

운전자가 운전 좌석에 없는 것을 적외선 센서부(121)가 감지하거나, 운전자가 시스템 정지를 실행하게 되면 졸음 운전 방지 장치 시스템은 종료하게 된다.(S240)

도 9와 도 10은 졸음 운전을 판단하는 또 다른 실시예를 나타낸 도면이다.

운전자가 운전을 할 때, 아무리 정자세를 취하더라도 카메라(110)와 운전자의 얼굴 사이의 거리가 항상 일정할 수가 없게 된다, 따라서 운전자 얼굴에서 눈 주변 혹은 눈동자 사이의 면적을 구하고, 상기 면적에서 눈동자의 비율을 구하여 상기 비율로 졸음 운전 여부를 판단할 수가 있게 된다.

도 9는 비율을 구하는 방법의 한 실시예의 도면이다. 도(A)는 운전 상태의 운전자 얼굴을 나타낸 도면이고, 도(B)는 졸음 운전 상태의 운전자 얼굴을 나타낸 실시예의 도면이다. 졸음 운전 상태의 눈동자 세로의 길이 H1 이 짧아진다.

첫 번째 방법으로는, 눈 주변의 가로 길이를 W 라고 하소, 세로 길이를 H 라고 하면 상기 W와 H를 곱하게 되면, 눈 주면의 면적 SE 을 구할 수 있게 된다. 두 번째 방법으로는, 눈동자 사이의 거리 W1 값과 눈동자 지름의 거리 H1의 값을 곱하게 되면, 눈동자 사이의 면적 SE1 구할 수 있게 된다.

그리고, 눈동자의 면적 S 혹은 눈동자의 지름 D의 길이를 구하게 되면, 각각의 비율을 구할 수가 있게 된다. 즉, 아래와 같이 2 종류의 비율이 정해진다.

S/SE, S/SE1 (눈동자 한 개의 면적을 사용할 수도 있고 두 개의 면적을 사용할 수도 있다.)

한편, 면적 비율로 하지 않고, 거리 비율로 할 수도 있다. 예를들면, H1/W, H1/W1 혹은 H1/H 와 같은 길이 비율을 생각할 수가 있다.

한편, 눈동자의 비율로 값을 구할 수가 있다. 즉 눈동자 지름 D를 기준으로 하고, H1/D 의 비율을 계산할 수도 있는 것이다. 물론 D를 눈동자 지름으로 가정하고 눈동자 면적과 졸음 운전 상태에서 작아진 눈동자 면적의 비율을 계산할 수도 있다, 이때 면적은 픽셀 수의 계산이니 이미지 판별법에 의한 통상의 방법에 의하여 해당 이미지의 면적을 계산하는 것이다.

이때, 상기 면적 비율 혹은 길이 비율 중에서 하나 혹은 두 개 이상을 선택하여 졸음 운전 알고리즘을 실행할 때 사용하게 된다.

먼저 정상 상태의 비율을 구하게 된다. 운전자가 졸음 운전 방지 장치을 작동 시키거나. 적외선 센서의 감지에 의하여 졸음 운전 방지 장치가 작동되면, 카메라가 작동되어 일정 시간 일정 개수의 사진을 촬영하게 된다.

예를들어 1분 혹은 5 분간 500 장 혹은 1000장의 이미지를 촬영할 수가 있게 된다, 그리고 상기 촬영된 사진의 이미지 데이터를 출력하여, 상기 비율이 가장 큰 값이 가장 작은 값을 추출하게 된다.

예를들어 상기 비율이 가장 큰 값이 0.9 이고 가장 작은 값이 0 이면 가장 큰 값을 K 가장 작은 값을 L 이라고 지정한다.

이때, 상기 거리와 면적의 비율을 구하는 방법은 이미지의 거리를 구하거나 픽셀 수를 계산하는 방법을 사용할 수가 있다.

도 10은 운전자의 얼굴의 움직임을 판단하는 실시예의 도면이다. 졸음 운전을 하는 운전자가 고개를 숙이게 되면, X와 Y의 비율이 달라지게 된다. 즉 Y/X 의 비율 값이 달라지게 된다.

도 9와 마찬가지로 운전을 시작하게 되면 일정 시간 동안 일정 개수의 사진을 촬영하고, Y/X 이 가장 큰 값을 구하게 된다. 그러나 운전자가 최초 운전하는 시간 동안 고개를 숙이지 않을 수도 있으므로, 이 경우 최저 값은 운전중에 구할 수도 있게 된다.

도 11은 시간에 따른 비율 변화를 나타낸 실시예의 도면이다.

도 11에서는 운전중인 운전자의 이미지를 촬영한 다음, 본 발명의 앞의 실시예의 방법에 의하여 비율값을 구하고, 상기 비율 값이 시간에 따라 변하는 정도를 나타낸 실시예의 도면이다.

도면에서 b의 경우는 비율값이 최고 값이 되거나 최고 값과 최저 값이 교대로 나타나는 상태이고, c의 경우는 최저 값에 가까운 비율값이 일정시간 유지되는 상태이고, 또한 a의 경우는 최저 값이 일정 시간 유지되는 상태를 나타낸 것이다.

즉, 비율 값이 최저 값으로 일정 시간 유지되는 상태이거나, 최저 값에 가까운 비율값이 일정시간 유지되는 상태가 되면 졸음 운전 상태가 되는 것이다.

이때, 최저 값에 가까운 값을 최고 값의 0.3 이하로 할 수 있고, 최저 값 혹은 최저 값에 가까운 상태가 일정 시간 유지될 때 일정 시간을 1초 혹은 2초로 지정할 수가 있다.

도 12는 비율 값에 의해 졸음 운전 상태를 판단하는 또 다른 실시예의 도면이다.

먼저, 본 발명의 졸음 방지 시스템을 작동하기 전에, 운전자의 얼굴이 카메라에 제대로 촬용되는 가를 판단하는 과정을 실행할 수도 있게 된다. 즉, 졸음 운전 방지 장치(100) 위치 고정 설치 때에 수동 모드(Manual mode)를 추가하여, 설치 동작을 추가 할 수가 있다. 즉. 세트가 사람의 얼굴 및 눈을 tracking하도록 되어 있기 때문에 화면의 중심부 1/3~ 1/2 지점 안으로 운전자의 얼굴이 들어오면 부저에서 진동을 일으켜서 위치 선정이 잘 되었음을 알려 주거나 혹은 상태 LED 에서 녹색신호를 깜박거려서 설치가 잘 되었음을 인지하게 해 줄 수가 있다.

이를 위해서는 추가로 본 발명의 졸음 운전 방지 장치에 진동 부저 혹은 LED 램프가 더 구비되어 실시되어 진다. 단지 진동 부저나 LED 램프는 통상의 방법을 사용할 수가 있으므로 본 발명에서는 상기 장치를 별로도 도시하지는 않았다.

그리고, 상기의 기능으로 인해 거울, 기구변형 혹은 LCD 장착을 추가 하지 않아도 운전자의 얼굴이 카메라에 충분이 촬영되는 지를 판단할 수가 있게 된다.

한편, 운전자의 얼굴이 카메라에 제대로 촬영되는지를 판단하는 방법을 알고리즘적으로 실행할 수가 있게 된다. 즉, 통상의 사람의 이미지를 판단하는 방법에 의하여, 운전자 얼굴의 이미지를 판단하고, 도 10의 실시예 도면에서처럼 카메라 전체 화소 내에 운전자 얼굴의 이미지가 포함되었는가를 판단하게 된다.

상기의 과정을 진행한 다음, 본 발명의 졸은 운전 방지 장치가 제대로 장착되고, 졸음 운전 방지 장치 시스템을 시작하게 되게 된면, 상기 시스템은 작동된다. 이때 운전자가 수동으로 본 발명의 졸음 운전 방지 장치(100)의 작동을 실행할 수도 있지만, 적외선 센서부(121)에 의하여 운전자의 얼굴이 운전자의 위치에 위치하게 되는 것을 감지하면, 상기 감지 신호가 제어부(115)에 전달되어 졸음운전 방지 장치(100)가 작동되게 할 수 있다.(S 250 - S 255)

그리고, 시스템이 작동되면 제어부(115)의 제어에 의하여 카메라(110)는 운전자의 얼굴을 일정 시간 일정 회수 만큼 촬영하고, 카메라(110)로부터 이미지 데이터가 출력되게 된다. (S 260 - S 265) 이때 일정 시간은 1분 혹은 5 분이 될 수 있고 일정 회수는 500회 혹은 1000회 등이 될 수도 있지만, 반드시 상기 숫자에 한정되는 것은 아니다.

또한, 본 발명의 실시예에 추가로 부가 설명은 하지 않았지만, 운전자의 얼굴 이미지 정보가 미리 저장된 운전자의 경우는 초기 촬영을 생략할 수도 있음은 당연하다, 이러한 기능도 사람의 얼굴을 인식하는 통상의 방법에 의하여 실시할 수 있으므로 본 발명에서는 구체적은 설명을 생략하였다.

이때, 본 발명의 앞의 실시예의 방법에서처럼, 최고 비율값과 최저 비율값을 계산하게 된다.(S270) 즉, 촬영된 운전자 얼굴 이미지에서 눈동자의 이미지 변화에 따라 최고 비율값과 최저 비율값을 계산하는 단계가 된다. 즉 운전자가 졸게 되면 눈이 감겨 눈동자 크기가 줄어들게 되는 원리가 이용된다.

이러한 기능 수행은 제어부에 의하여 미리 정해진 알고리즘에 의하여 수행되게 된다, 그리고 최고 비율값과 최저 비율값을 메모리부(120)에 저장하게 된다.

그런 다음 제어부(115)의 제어에 의하여 카메라(110)은 운전 상태에 있는 운전자를 촬영하고, 이미지 데이터를 출력하여 비율값을 계산하게 된다.(S 285)

그리고, 상기의 이러한 과정은 제어부(115)의 데이터 변환부(116)와 데이터 저장부(118)가 수행하게 된다.

최저값 혹은 최저값에 가까운 비율값이 일정 시간 유지되면, 졸음 방지 경보 장치(135)가 작동되어 운전자에게 경보하고, 그렇지 않게 되면 운전 상태의 운전자를 다시 촬영하게 된다. S 285 -S 290)

이때, 최저값 혹은 최저값에 가까운 비율 값이 일정 시간 유지된다는 것은, 도 9와 도 11의 실시예에서 구해진 비율 값이 최저 값이거나 최저 값에 가까운 값이 일정 시간 유지된다는 것이다.

이때, 일정 시간은 1초 혹은 2초 일 수 있으며, 최저값에 가까운 값은 최고 값의 0.4 이하일 수 있다, 물론 상기의 숫자는 하나의 예이며, 본 발명의 알고리즘의 개념에 부합하게 된다면 본원 발명이 상기 숫자에 한정되는 것은 아니다.

그리고, 시스템이 종료되면 졸음 방지 장치의 작동은 종료 되게 된다.(S 295)

100 : 졸음 운전 방지 장치 110: 카메라
120 : 메모리부 125 : 이미지 검출부
115 ; 제어부 130 : 통신부
135 ; 경보 장치 121 : 적외선 센서부

Claims (3)

1. 차량을 운전하는 운전자의 얼굴을 촬영하여 졸음 운전 방지 경보 장치를 작동하는 졸음 운전 방지 시스템에 있어서,
   운전자의 얼굴을 촬영하는 카메라, 상기 카메라부에 의해 촬영된 얼굴의 이미지를 출력하고, 상기 출력된 이미지 데이터를 근거로 졸음 운전을 판단하는 알고리즘을 수행하는 제어부, 및 상기 제어부에 의하여 졸음 운전을 경보하는 경보 장치가 구비되고,
   상기 졸음 운전 알고리즘은 정상 상태의 눈동자의 이미지를 추출하고, 상기 눈동자의 면적을 계산하고, 상기 정상 상태의 눈동자 면적보다 일정 비율 이하로 적은 크기의 면적을 가지는 눈동자 이미지가 추출되면, 상기 제어부는 졸음 운정 방지 경보 장치를 작동하는 것을 특징으로 하는 졸음 운전 방지 시스템.
2. 차량을 운전하는 운전자의 얼굴을 촬영하여 졸음 운전 방지 경보 장치를 작동하는 졸음 운전 방지 시스템에 있어서,
   운전자의 얼굴을 촬영하는 카메라, 상기 카메라부에 의해 촬영된 얼굴의 이미지를 출력하고, 상기 출력된 이미지 데이터를 근거로 졸음 운전을 판단하는 알고리즘을 수행하는 제어부, 및 상기 제어부에 의하여 졸음 운전을 경보하는 경보 장치가 구비되고,
   상기 졸음 운전 알고리즘은 운전을 시작하는 운전자를 일정 시간 일정 회수만큼 촬영하고 상기 촬영된 이미지 데이터를 근거로, 눈동자가 가장 크게 촬영되는 상태인 최고 값의 비율 값과 눈동자가 가장 작게 촬영되는 상태인 최저 값의 비율값을 계산하여 저장하고,
   운전 상태의 운전자의 얼굴을 촬영하고 여 최저 값 혹은 최저 값에 가까운 값이 일정 시간 유지되면 졸음 운전 방지 경보 장치를 작동하는 것을 특징으로 하는 졸음 운전 방지 시스템.
3. 차량을 운전하는 운전자의 얼굴을 촬영하여 졸음 운전 방지 경보 장치를 작동하는 졸음 운전 방지 방법에 있어서,
   졸음 운전 방지 장치가 작동되면 제어부의 제어에 의하여 카메라는 운전자의 얼굴을 일정 시간 일정 회수 만큼 촬영하고, 카메라로부터 이미지 데이터가 출력되는 단계,
   촬영되는 얼굴 이미지에서 눈동자의 이미지 변화에 따라 최고 비율값과 최저 비율값을 계산하는 단계,
   제어부의 제어에 의하여 카메라는 운전 상태에 있는 운전자를 촬영하고, 이미지 데이터를 출력하여 비율값을 계산하게 되는 단계를 포함하고,
   상기 운전 상태의 운전자 이미지에 데이터에 의하여 계산된 비율값이 최저 값 혹은 최저 값에 가까운 값이 일정 시간 유지되면, 상기 제어부는 졸음 운전 방지 장치를 작동하는 것을 특징으로 하는 졸음 운전 방지 방법.

Images