KR20220083886A - 스마트워치와 얼굴인식을 이용한 졸음운전 감지 시스템 - Google Patents

Abstract

발명은 졸음운전 감지 장치 및 방법에 관한 것으로, 별도의 소프트웨어를 사용하여 오류 가 발생할 수 있는 여러 상황에서 선택적으로 상황에 맞는 장치의 민감도를 조정하여 오류를 줄일 수 있게 하는 시스템이다. 예를 들어서 얼굴 인식을 할 때, 방해요소를 착용하거나 톨게이트처럼 얼굴이 인식에 문제가 발생할 수 있을 상황에서 선택적으로 얼굴 인식보다는 맥박 감지의 민감도를 높여 판단 여부에 있어서 확실성을 주는 방법을 포함한다. 또한 집이나 직장, 주차장 등과 같이 졸음운전 판단이 필요하지 않은 장소에서는 자동적으로 감지 장치들이 중단을 시켜 졸음운전을 판단하는 데에 있어서 혼동을 줄여주는 시스템이다.

Description

스마트워치와 얼굴인식을 이용한 졸음운전 감지 시스템 {The system of Drowsiness Detection using smart watch and facial recognition}

본 발명은 졸음운전 감지 장치 및 방법에 관한 것으로, 더욱 상세하게는 카메라를 이용한 운전자 표정 변화 인식 및 스마트워치를 이용한 운전자 맥박 신호 검출을 통한 졸음운전 감지 시스템에 관한 것이다.

현재 졸음운전 방지를 위한 다양한 감지 시스템이 존재한다. 맥박을 감지하여 졸음운전을 판단하는 경보장치, 안전벨트의 복부 라인 벨트에서 호흡을 감지하는 경보장치, 이동통신 단말기의 카메라를 이용한 경보장치, 그리고 카메라를 이용해 표정 변화를 감지하는 경보장치 등이 존재한다. 하지만 기존의 맥박 감지나 호흡 분석 등의 신체 변화 감지 시스템은 운전자의 복장 상태나 운전 시 몸의 움직임 등으로 인해 인식률에 문제가 생길 수 있으므로 추가적인 측정 요소가 필요하다. 이동 통신 단말기에서 졸음운전 경보 시스템을 운영할 때, 다른 프로그램들과 충돌하여 오류가 발생할 수 있고 또 다른 알림과 혼동이 올 수 있다. 눈의 변화를 감지할 때 선글라스, 안경 등의 착용으로 측정에 혼동이 올 수 있다. 고정된 카메라로 표정 변화를 감지할 때 톨게이트, 주차장 등 다른 시설을 이용할 때 카메라 시야 밖으로 얼굴이 나갈 수 있어 측정에 오류가 생길 수 있다.

따라서, 본 발명은 이러한 단점을 보완하고 효율적인 졸음운전 방지를 위해 많은 사람들이 사용하는 스마트워치의 맥박 측정 시스템과 졸음운전 방지를 위한 안면 인식 카메라의 상호보완적 시스템을 구성하여 높은 정확도의 졸음운전 감지 시스템을 제공하고자 한다.

대한민국 공개특허 10-2011-0076743(2011.07.06. 공개) 대한민국 공개특허 10-2016-0129984(2016.11.10. 공개)

본 발명은 카메라를 이용한 졸음운전 감지는 운전자가 선글라스를 착용하고 있는 경우와 같이 복장 상태에 따라 인식률에 문제가 생기는 경우가 있다. 또한 톨게이트나 주차장과 같은 장소에서 운전자의 얼굴이 카메라의 시야각 밖으로 나갈 수밖에 없는 경우에 잘못된 졸음운전 판단이 내려질 수도 있는데 카메라 이외에 스마트 워치를 이용한 맥박 신호 측정을 추가적인 졸음운전 판단요소로 정하고 두 요소를 상호보완적으로 동작하게 함으로써 보다 효율적이고 정확한 졸음운전 감지 방법을 제공하는 것을 목표로 한다.

본 발명은 카메라 또는 스마트 워치와 내비게이션을 연동하여 특정 장소 즉 휴게소, 톨게이트, 주차장 등과 같이 졸음운전을 판단할 필요가 없거나 오류가 일어날 수 있는 장소들을 배제 카테고리로 설정하고 설정한 장소에서는 측정이 이루어지지 않게 한다. 또한 상황에 맞게 맥박 감지나 얼굴인식의 민감도를 조절하고 얼굴인식에 방해되는 요소를 착용할 때 또한 졸음운전 판단에 오류가 생길 수 있어 선택적으로 맥박 감지의 민감도를 높이는 단계를 포함한다.

본 발명은 여러 가지 상황에 따라 졸음운전의 판단 방법 중 적합한 방식을 채택함으로써 판단의 오류를 줄이고, 졸음운전의 판단이 필요하지 않은 상황에서는 프로그램의 작동을 중지하여 번거롭게 하지 않는다는 이점을 제공한다.

도 1은 방해요소 착용 유무에 따른 졸음운전 판단을 나타낸 흐름도.
도 2는 측정 요소의 유무와 측정 장비에 따른 졸음운전 판단을 나타낸 흐름도.
도 3은 위치정보에 따른 졸음운전 판단을 나타낸 흐름도.
도 4는 배제 카테고리들의 예시.
도 5는 졸음운전의 판단 과정에서 교차 검증을 나타낸 흐름도.

본 발명은 첨부된 도면들을 참조하여 설명할 것이다.

본 발명은 카메라에 의한 안면 인식과 스마트워치에 의한 맥박 측정을 통해 졸음운전을 판단하는 시스템이다. 카메라에 의한 안면 인식의 경우 기존에 입력된 데이터를 바탕으로 사용자의 안면이 정상의 범주를 벗어났다고 판단되면 졸음운전을 하고 있다고 판단, 졸음운전 알람을 울린다. 또한, 스마트워치에 의한 맥박 측정의 경우 스마트워치로부터 수신된 데이터를 바탕으로 사용자의 맥박이 정상의 범주를 벗어났다고 판단되면 졸음운전을 하고 있다고 판단, 졸음운전 알람을 울린다. 또한, 이 두 데이터를 상호 보완하여 사용자의 운전 상태를 기존보다 더 정밀하게 판단 가능하다.

도 1은 졸음운전 감지를 시작하기 전 ‘안면인식 저해요소 선택 카테고리’에서 사용자가 안면인식 저해요소의 착용 여부를 시스템에 알리면 시스템이 카메라의 감지도를 제어하는 시스템이다. 운전자가 색이 있는 안경 및 마스크를 착용하고 있는지를 입력한 다음 기타 안면인식을 방해하는 요소를 착용하고 있는지 판단한다. 이후 정상 신호가 출력되면 그때부터 본격적으로 안면 인식 및 맥박 측정을 이용한 졸음운전 판단을 시작한다.

도 2는 카메라에 의한 안면 인식과 스마트워치에 의한 맥박 측정 중 측정 요소의 유무에 따라 측정 장비의 민감도를 판단하는 시스템이다. 기본적인 시스템은 카메라에 의한 안면 인식 및 스마트워치에 의한 맥박 측정으로 졸음운전 감지 시스템이 진행된다. 진행하는 도중 스마트워치의 착용이 감지되지 않는 경우 카메라에 의한 안면 인식의 민감도를 상승하여 안면 인식의 졸음운전 판단 비중을 증가시킨다. 반면 사용자의 안경 혹은 마스크 착용으로 인해 안면인식에 어려움이 있는 경우 반대로 스마트워치에 의한 맥박 측정 민감도를 증가시켜 맥박 측정의 졸음운전 판단 비중을 증가시킨다.

도 3은 내비게이션으로부터 수집한 위치정보를 바탕으로 졸음운전 감지 시스템의 민감도 및 기능 여부를 판단하는 시스템이다. 본 시스템과 연동된 내비게이션으로부터 지속적인 위치정보를 수집한다. 이때 현 장소가 톨게이트인 경우 톨게이트를 지나가는 동안 안면 인식의 민감도를 감소하여 졸음운전을 판단한다. 만약 장소가 사용자가 미리 입력한 ‘졸음운전 배제 카테고리’에 속하는 장소일 경우 맥박 측정 시스템과 카메라에 의한 안면인식 기능을 정지하여 졸음운전 감지 시스템을 일시적으로 정지한다.

도 5는 운전자가 졸음운전을 한다고 판단되었을 때, 2차 검증을 진행하여 졸음운전을 교차 검증하는 시스템이다. 운전자가 ‘졸음운전을 한다’라고 판단을 내렸을 경우, 1차 졸음운전 판단 시 사용하지 않은 기기로 2차 졸음운전 감지를 한다. 만약 운전자가 스마트워치를 착용하지 않은 상태에서 카메라가 운전자에 대한 1차 졸음운전을 감지할 시 카메라를 통한 2차 졸음운전 감지를 한다. 최종적으로 운전자가 졸음운전을 한다고 판단한 경우, 운전자에게 졸음운전 알람을 보낸다.

Claims (5)

1. 특정 운전자의 졸음운전 판단 시스템에 있어서, 상기 시스템은 운전자의 스마트워치 착용 여부 그리고 안면인식 방해요소 착용 여부를 확인해 선택적으로 스마트워치와 안면인식 카메라를 작동시키는 1단계와 스마트워치와 안면인식 시스템에서 얻은 정보를 취합하여 경고 알람을 보내는 2단계로 구성된 것을 특징으로 하는 졸음운전 감지 시스템
2. 청구항 1에 있어서, 최초 시스템 작동 시 휴대용단말기 디스플레이 상에 ‘졸음운전 배제 카테고리’를 생성, 사용자가 졸음운전 감지를 원하지 않는 장소를 복수선택 후 시스템은 해당 선택을 바탕으로 졸음운전 판단 시 해당 장소를 배제하는 것을 특징으로 하는 졸음운전 감지 시스템
3. 청구항 1에 있어서, 운전자가 자동차 탑승 시 휴대용단말기 디스플레이 상에 ‘안면인식 저해요소 선택’ 카테고리를 생성하는 1 - 1단계와 운전자가 선택한 항목을 바탕으로 카메라의 민감도를 제어하는 1 - 2단계를 특징으로 하는 졸음운전 감지 시스템
4. 청구항 1에 있어서, 스마트워치가 운전자의 졸음운전을 감지 시 카메라를 통한 2차로 졸음운전 확인을 하고, 마찬가지로 카메라가 졸음운전을 감지 시 스마트워치를 통한 2차 졸음운전 확인을 한 후에 사용자에게 물리적 경고신호를 주는 것을 특징으로 하는 졸음운전 감지시스템
5. 청구항 3에 있어서, 사용자가 스마트워치를 착용하고 있지 않을 때 1단계 종료 후에 “부정확한 경고음이 갈 수 있습니다”라는 문자 창을 휴대용단말기 디스플레이 상에 띄우는 것을 특징으로 하는 졸음운전 감지시스템

Images