KR20200092739A - 운전자 상태 모니터링 방법 및 장치 - Google Patents

운전자 상태 모니터링 방법 및 장치 Download PDF

Info

Publication number
KR20200092739A
KR20200092739A KR1020190010049A KR20190010049A KR20200092739A KR 20200092739 A KR20200092739 A KR 20200092739A KR 1020190010049 A KR1020190010049 A KR 1020190010049A KR 20190010049 A KR20190010049 A KR 20190010049A KR 20200092739 A KR20200092739 A KR 20200092739A
Authority
KR
South Korea
Prior art keywords
driver
condition monitoring
face
eye
value
Prior art date
Application number
KR1020190010049A
Other languages
English (en)
Other versions
KR102161908B1 (ko
Inventor
이윤기
정형구
최효림
정여빈
Original Assignee
주식회사 에프에스솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프에스솔루션 filed Critical 주식회사 에프에스솔루션
Priority to KR1020190010049A priority Critical patent/KR102161908B1/ko
Publication of KR20200092739A publication Critical patent/KR20200092739A/ko
Application granted granted Critical
Publication of KR102161908B1 publication Critical patent/KR102161908B1/ko

Links

Images

Classifications

    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00221—
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 운전자 상태 모니터링 방법 및 장치를 개시한다. 본 발명에 따르면, 운전자 상태 모니터링 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 상기 차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하고, 미리 설정된 크기 및 비율을 갖는 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하고, 상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하고, 상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 운전자 상태 모니터링 장치가 제공된다.

Description

운전자 상태 모니터링 방법 및 장치{Driver status monitor method and apparatus}
본 발명은 운전자 상태 모니터링 방법 및 장치에 관한 것이다.
차량의 운행 시 운전자의 졸음, 부주의나 시계의 불량, 후방 차량의 전방 주시 의무 위반 등으로 교통사고가 빈번하게 발생하고 있다.
이를 방지하기 위해 최근 차량에 지능형 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)이 장착되고 있다.
지능형 운전자 보조 시스템은 첨단 감지 센서와 GPS, 통신, 지능형 영상 장비 등을 이용하여 주행 중 일부 상황을 차량 스스로 인지하여 상황을 판단, 자동차를 제어하거나 운전자가 미리 위험요소를 감지할 수 있도록 소리, 불빛, 진동 등으로 알려주는 운전자 보조 시스템이다.
이 중 운전자 상태 모니터링(Driver Status Monitoring: DSM) 시스템은 차량 내부의 카메라가 운전자의 영상을 처리하여 운전자의 졸음 여부, 전방 주시 태만 상태에 있는지를 판단한다.
운전자 상태 모니터링 시스템은 졸음 또는 전방 주시 태만 상태인 경우를 빠르게 판단하여 운전자에게 알람을 제공해야 하는데, 지금까지의 시스템은 인식 속도가 늦어 빠른 알람을 제공하지 못하는 문제점이 있다.
등록특허 10-1551262
상기한 종래기술의 문제점을 해결하기 위해, 운전자 상태에 대한 인식 속도를 높일 수 있는 운전자 상태 모니터링 방법 및 장치를 제안하고자 한다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 운전자 상태 모니터링 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 상기 차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하고, 미리 설정된 크기 및 비율을 갖는 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하고, 상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하고, 상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 운전자 상태 모니터링 장치가 제공된다.
상기 프로그램 명령어들은, 초기 시점에 서로 다른 크기와, 서로 다른 가로 및 세로 비율을 갖는 복수의 얼굴 특징 추출 필터를 랜덤하게 생성하고, 상기 획득된 영상에 상기 랜덤하게 생성된 복수의 얼굴 특징 추출 필터를 적용하여 얼굴 탐색 성공률이 가장 높은 얼굴 특징 추출 필터를 결정하고, 상기 결정된 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정할 수 있다.
상기 프로그램 명령어들은, 상기 결정된 얼굴 후보 영역에서 눈 영역 탐색 영역 및 브릿지 탐색 영역을 설정하고, 상기 브릿지 탐색 영역 내에 브릿지가 존재하는지 여부를 판단하고, 상기 브릿지가 존재하는 경우, 탐색된 브릿지를 기준으로 안경테를 탐색하고, 상기 안경테의 위치에 기초하여 선정된 눈 영역의 미리 설정된 개수의 프레임에서의 밝기 및 위치를 고려한 제1 값과 현재 프레임에서 눈 영역의 밝기 및 위치를 고려한 제2 값을 비교하여 눈 영역을 탐색할 수 있다.
상기 제1 계산값은 상기 미리 설정된 프레임 각각의 눈 영역의 평균 밝기값, 밝기 분산값, 위치 평균값 및 이들의 분산값이고, 상기 제2 계산값은 현재 프레임에서 눈 영역의 밝기값, 밝기 분산값, 위치값 및 이들의 분산값일 수 있다.
상기 프로그램 명령어들은, 상기 눈 영역으로부터 눈꺼풀을 탐색하고, 탐색된 눈꺼풀의 상태를 통해 운전자의 눈이 감긴 상태인지 여부를 판단하고, 눈이 감긴 상태가 미리 설정된 시간 동안 계속되는 경우 졸음 상태로 판단하여 알람을 생성할 수 있다.
상기 프로그램 명령어들은, 상기 눈 영역으로부터 코를 탐색하고, 미간의 위치와 코의 수평 축 위치 차이를 통해 얼굴의 회전각을 계산하고, 상기 회전각이 미리 설정된 임계치보다 큰 상태가 미리 설정된 시간 동안 계속되는 경우 전방 주시 태만 상태인 것으로 판단하여 알람을 생성할 수 있다.
본 발명의 다른 측면에 따르면, 운전자 상태 모니터링 방법으로서, 운전자의 얼굴에 맞는 크기 및 비율을 갖는 얼굴 특징 추출 필터를 결정하는 단계; 상기 차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하는 단계; 상기 결정된 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하는 단계; 상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하는 단계; 및 상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하는 단계를 포함하는 운전자 상태 모니터링 방법이 제공된다.
본 발명에 따르면, 사전에 운전자의 얼굴에 맞는 얼굴 특징 추출 필터를 사용하기 때문에 연산 속도를 한층 향상시킬 수 있다.
또한, 본 발명에 따르면 안경의 착용 여부를 판단하여 눈 영역을 검출하기 때문에 운전자 상태를 정확히 모니터링할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 운전자 상태 모니터링 장치의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 서로 다른 크기 및 비율을 갖는 얼굴 특징 추출 필터를 도시한 도면이다.
도 3은 본 실시예에 따른 얼굴 특징 추출 필터 생성 과정에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 안경 착용 여부를 고려한 눈 탐색 과정의 순서도이다.
도 5는 본 실시예에 따른 안경 착용 여부 및 눈의 탐색 과정을 설명하기 위한 도면이다.
도 6은 본 실시예에 따른 눈꺼풀 탐색 과정을 설명하기 위한 도면이다.
도 7은 본 실시예에 따른 전방 주시 태만 상태를 검출하는 과정을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명은 차량 내부에 설치된 카메라를 통해 운전자에 대한 영상을 획득하고, 획득된 영상에서 얼굴 및 얼굴 내 객체(부위)를 빠르게 탐색하여 운전자의 상태를 모니터링하고, 필요한 경우 알람을 제공한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 운전자 상태 모니터링 장치의 구성을 도시한 도면이다.
도 1에 도시된 바와 같이, 본 실시예에 따른 운전자 상태 모니터링 장치는 프로세서(100), 메모리(102), 카메라(104) 및 알람부(106)를 포함할 수 있다.
프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다.
메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(102)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.
이와 같은 메모리(102)에는 프로세서(100)에 의해 실행 가능한 프로그램 명령어들이 저장된다.
본 실시예에 따른 프로그램 명령어들은, 차량에 설치된 카메라(104)를 통해 입력된 영상에서 얼굴을 검출하고, 눈, 코 및 얼굴 회전각도 등을 검출하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지를 판단한다.
또한, 졸음 상태 또는 전방 주시 태만 상태가 미리 설정된 시간 동안 계속될 때 알람부(106)를 통해 알람이 출력되도록 한다.
여기서, 카메라는 광학 카메라 또는 적외선 카메라를 모두 포함할 수 있다.
운전자의 얼굴은 카메라의 설치 위치, 차량의 종류 및 운전 자세 등에 따라 달라지기 때문에 운전자의 얼굴에 해당하는 특징을 검출하는데 오랜 시간이 소요될 수 있다.
이를 위해, 본 발명의 바람직한 일 실시예에 따르면, 얼굴 특징 검출을 위한 다양한 크기 및 비율의 얼굴 특징 추출 필터가 사용된다.
도 2는 본 실시예에 따른 서로 다른 크기 및 비율을 갖는 얼굴 특징 추출 필터를 도시한 도면이다.
운전자 상태 모니터링 장치는, 운전자 상태 모니터링 실행 초기에 도 2와 같은 다양한 크기 및 가로 및 세로의 비율을 갖는 얼굴 특징 추출 필터를 사용하여 운전자의 얼굴을 탐색하고, 각 크기 및 비율 별로 얼굴 탐색 성공률을 판단한다.
운전자 상태 모니터링 장치는 실행 초기 시점에, 하나의 프레임에서 서로 다른 크기 및 비율의 얼굴 특징 추출 필터를 통해 스캔을 수행하여 얼굴 탐색 성공률이 높은 얼굴 특징 추출 필터를 결정한다.
이때, 운전자 상태 모니터링 장치는 각 필터 내에 얼굴에 해당하는 특징이 검출되는지 여부를 판단하여 얼굴 탐색 성공률을 결정하며, 운전자의 얼굴 크기 및 비율에 근접한 얼굴 특징 추출 필터를 결정한다.
본 실시예에 따르면, 운전자에 맞는 비율의 얼굴 특징 추출 필터를 미리 결정하여 운전자의 얼굴을 탐색하기 때문에 연산량을 대폭 감소시킬 수 있다.
운전자 상태 모니터링 장치는 카메라(104)를 통해 연속적으로 입력되는 영상에서 상기와 같이 결정된 얼굴 특징 추출 필터를 이용하여 얼굴을 탐색한다.
본 실시예에 따른 얼굴 특징 탐색에는 Haar Adaboost 알고리즘이 적용될 수 있고, 얼굴 특징 추출 필터는 Haar 필터일 수 있다.
이하에서는, 본 실시예에 따른 필터에 대해 상세하게 설명한다.
바람직하게 카메라(104)는 적외선 카메라일 수 있고, 운전자 상태 모니터링 장치는 적외선 카메라를 통해 입력된 흑백 이미지에서 적분 이미지를 생성하고, 음영 차이 기반의 Haar 필터를 이용한 약분류기로 구성된 강분류기를 통해 얼굴 위치 후보를 탐색한다. 이는 캐스케이드(Cascade) 분류기를 이용한 얼굴 특징 탐색 과정으로 정의할 수 있다.
Haar 필터들은 강화학습을 통해 생성된다.
도 3은 본 실시예에 따른 얼굴 특징 추출 필터 생성 과정에 대한 순서도이다.
보다 상세하게, 운전자 상태 모니터링 장치는 위치(x, y)와 넓이(w) 높이(h), 그리고 사용하는 특징에 대한 정보를 포함하는 복수의 Haar 필터 마스크를 랜덤으로 생성한다(단계 300). 여기서, 위치, 넓이 및 높이가 크기 및 비율로 정의될 수 있다.
운전자 상태 모니터링 장치는 단계 300에서 생성된 각 Haar 필터 마스크를 포지티브 샘플과 네거티브 샘플에 적용하여 필터링 결과값을 저장한다(단계 302).
이후, 각 필터 마스크의 위치, 넓이 및 높이를 변경하여 Haar 필터 마스크를 추가로 생성하고(단계 304), 추가로 생성된 Haar 필터 마스크에 대한 필터링 결과값을 추가적으로 계산한다(단계 306).
다음으로 단계 300에서 생성한 Haar 필터 마스크와 단계 304에서 추가로 생성한 Haar 필터 마스크를 평가 함수를 통해 평가한다(단계 308).
평가 함수는 아래의 수식과 같이 표현된다.
Figure pat00001
여기서,
Figure pat00002
는 포지티브 샘플에 대한 필터링 결과값의 분산이고,
Figure pat00003
는 네거티브 샘플에 대한 필터링 결과값의 분산이며, k는 현재 필터 마스크의 인덱스이다.
운전자 상태 모니터링 장치는 Score 함수의 값을 기반으로 평가 함수에 의해 우수한 것으로 판정된 필터 마스크로 교체한다(단계 310).
이후, 교체된 필터 마스크를 초기값으로 두고 상기한 단계 308를 반복 수행하고, 일정 횟수를 만족하거나 모든 필터 마스크의 변화가 없게되면 반복을 중지한다.
전술한 소정 크기 및 비율을 갖는 얼굴 특징 추출 필터는 도 3의 과정을 통해 결정된 Haar 필터들의 집합이다.
미리 설정된 크기 및 비율을 갖는 얼굴 특징 추출 필터를 통해 얼굴 후보 영역에 결정되는 경우, 운전자 상태 모니터링 장치는 신체 비율을 고려하여 눈 탐색 영역을 설정하여 눈을 탐색한다.
눈 영역의 탐색에 있어서 운전자가 안경 등을 착용한 경우에는 빛의 반사로 인해 얼굴 인식에 오류가 발생할 수 있다.
본 실시예에 따르면, 운전자 상태 모니터링의 신뢰도를 높일 수 있도록 운전자가 안경을 착용하고 있는지 여부를 우선적으로 판단한다.
도 4는 본 발명의 일 실시예에 따른 안경 착용 여부를 고려한 눈 탐색 과정의 순서도이다.
도 4를 참조하면, 얼굴 후보 영역에서 눈 탐색 영역을 설정한다(단계 400).
도 5는 본 실시예에 따른 안경 착용 여부 및 눈의 탐색 과정을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 얼굴 후보 영역 내에 소정 크기를 가진 영역이 눈 탐색 영역(500)으로 설정될 수 있다.
안경 착용 여부를 판단하기 위해, 운전자 상태 모니터링 장치는 눈 탐색 영역(500) 내에 브릿지 탐색 영역(502)을 설정한다(단계 402).
브릿지 탐색 영역(502)는 눈 탐색 영역(500)의 중앙 부분에 소정 크기로 설정될 수 있다.
운전자 상태 모니터링 장치는 브릿지 탐색 영역(502) 내에서 수직/수평 경계 부분의 밝기 변화를 통해 브릿지가 존재하는지 여부를 판단한다(단계 404).
브릿지(504)가 탐색되는 경우, 탐색된 브릿지(504)를 기준으로 안경테를 탐색한다(단계 406).
안경테(506)가 탐색되는 경우, 운전자 상태 모니터링 장치는 안경테(506)의 위치에 기초하여 선정된 눈 영역(508)의 최근 소정 개수의 프레임에서의 평균 밝기값, 밝기 분산값, 위치 평균값(사각형 중심점) 및 상기한 각 항목들의 분산값을 포함하는 제1 값을 산출한다(단계 408). 여기서, 단계 408는 현재 프레임에 인접한 미리 설정된 개수의 프레임 각각의 눈 영역에 대한 밝기 및 눈 위치에 대한 누적값을 산출하는 과정이다.
이후, 상기한 누적값을 현재 프레임의 눈 영역에 대해 계산된 제2 값들과 비교하여 신뢰도를 계산한다(단계 410).
여기서, 제2 값은 현재 프레임 눈 영역의 밝기값, 밝기 분산값, 위치값(눈 영역의 중심점) 및 이들의 분산값일 수 있다.
신뢰도 계산 식은 다음과 같다. .
Figure pat00004
여기서, zscore는 z 점수 값을 의미하고, w는 각 zscore를 조절하는 가중치이다. 각 눈에 대한 r 값이 계산되면 양 눈의 r 값을 비율을 통해 눈 영역을 결정한다. .
브릿지(504)가 탐색되지 않으면 기존 알고리즘을 이용하여 눈 영역을 탐색한다.
눈 영역이 탐색된 이후, 운전자 상태 모니터링 장치는 눈 영역으로부터 눈꺼풀을 탐색한다.
도 6은 본 실시예에 따른 눈꺼풀 탐색 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 눈꺼풀 탐색을 위해 영상을 수직 방향으로 하향 및 상향 이동하며 수직 경계 성분을 탐색한다.
상기한 탐색 과정을 통해 상안검과 하안검의 차이를 계산하고, 이를 통해 눈이 감긴 상태인지를 판단한다.
운전자 상태 모니터링 장치는 눈이 감긴 상태가 미리 설정된 시간 동안 계속될 때 알람부(106)를 통해 알람을 출력한다.
또한, 본 실시예에 따른 운전자 상태 모니터링 장치는, 코와 얼굴 각도를 계산하여 운전자가 전방 주시 태만 상태인지 여부를 판단한다.
도 7은 본 실시예에 따른 전방 주시 태만 상태를 검출하는 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 상기와 같이 계산된 눈 영역(700)과 겹치지 않는 얼굴의 하단부를 코 탐색 영역(702)으로 설정한다.
코 탐색을 위해 수평 경계 및 수직 경계 기반의 Haar 필터를 이용한 분류기가 사용될 수 있다.
운전자 상태 모니터링 장치는 미간의 위치(704)와 코의 수평 축 위치 차이를 계산하고, 코의 위치와 얼굴 중심부(706)에서 일정 거리를 두고 있다고 가정하여 얼굴의 회전각을 계산한다.
얼굴의 회전각이 미리 설정된 시간 동안 임계치보다 큰 경우 운전자 상태 모니터링 장치는 운전자가 전방 주시 태만 상태인 것으로 판단하여 알람을 생성한다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.

Claims (7)

  1. 운전자 상태 모니터링 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    상기 차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하고,
    미리 설정된 크기 및 비율을 갖는 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하고,
    상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하고,
    상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 운전자 상태 모니터링 장치.
  2. 제1항에 있어서,
    상기 프로그램 명령어들은,
    초기 시점에 서로 다른 크기와, 서로 다른 가로 및 세로 비율을 갖는 복수의 얼굴 특징 추출 필터를 랜덤하게 생성하고,
    상기 획득된 영상에 상기 랜덤하게 생성된 복수의 얼굴 특징 추출 필터를 적용하여 얼굴 탐색 성공률이 가장 높은 얼굴 특징 추출 필터를 결정하고,
    상기 결정된 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하는 운전자 상태 모니터링 장치.
  3. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 결정된 얼굴 후보 영역에서 눈 영역 탐색 영역 및 브릿지 탐색 영역을 설정하고,
    상기 브릿지 탐색 영역 내에 브릿지가 존재하는지 여부를 판단하고,
    상기 브릿지가 존재하는 경우, 탐색된 브릿지를 기준으로 안경테를 탐색하고,
    상기 안경테의 위치에 기초하여 선정된 눈 영역의 미리 설정된 개수의 프레임에서의 밝기 및 위치를 고려한 제1 값과 현재 프레임에서 눈 영역의 밝기 및 위치를 고려한 제2 값을 비교하여 눈 영역을 탐색하는 운전자 상태 모니터링 장치.
  4. 제3항에 있어서,
    상기 제1 계산값은 상기 미리 설정된 프레임 각각의 눈 영역의 평균 밝기값, 밝기 분산값, 위치 평균값 및 이들의 분산값이고,
    상기 제2 계산값은 현재 프레임에서 눈 영역의 밝기값, 밝기 분산값, 위치값 및 이들의 분산값인 운전자 상태 모니터링 장치.
  5. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 눈 영역으로부터 눈꺼풀을 탐색하고,
    탐색된 눈꺼풀의 상태를 통해 운전자의 눈이 감긴 상태인지 여부를 판단하고,
    눈이 감긴 상태가 미리 설정된 시간 동안 계속되는 경우 졸음 상태로 판단하여 알람을 생성하는 운전자 상태 모니터링 장치.
  6. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 눈 영역으로부터 코를 탐색하고,
    미간의 위치와 코의 수평 축 위치 차이를 통해 얼굴의 회전각을 계산하고,
    상기 회전각이 미리 설정된 임계치보다 큰 상태가 미리 설정된 시간 동안 계속되는 경우 전방 주시 태만 상태인 것으로 판단하여 알람을 생성하는 운전자 상태 모니터링 장치.
  7. 운전자 상태 모니터링 방법으로서,
    운전자의 얼굴에 맞는 크기 및 비율을 갖는 얼굴 특징 추출 필터를 결정하는 단계;
    상기 차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하는 단계;
    상기 결정된 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하는 단계;
    상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하는 단계; 및
    상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하는 단계를 포함하는 운전자 상태 모니터링 방법.



KR1020190010049A 2019-01-25 2019-01-25 운전자 상태 모니터링 방법 및 장치 KR102161908B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190010049A KR102161908B1 (ko) 2019-01-25 2019-01-25 운전자 상태 모니터링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190010049A KR102161908B1 (ko) 2019-01-25 2019-01-25 운전자 상태 모니터링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200092739A true KR20200092739A (ko) 2020-08-04
KR102161908B1 KR102161908B1 (ko) 2020-10-05

Family

ID=72048963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010049A KR102161908B1 (ko) 2019-01-25 2019-01-25 운전자 상태 모니터링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102161908B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112193175A (zh) * 2020-10-09 2021-01-08 安徽江淮汽车集团股份有限公司 监控摄像头调整机构的调整方法、调整机构及监控装置
KR102308658B1 (ko) 2020-09-16 2021-10-05 (주) 캔랩 운전자의 움직임을 모니터링 하기 위한 적외선 led를 작동시키는 방법 및 상기 적외선 led를 포함하는 운전자 감시 시스템
CN114697630A (zh) * 2020-12-28 2022-07-01 比亚迪半导体股份有限公司 驾驶员状态监测方法、装置、电子设备和可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220083889A (ko) 2020-12-11 2022-06-21 박규섭 운전자 상태 모니터링 방법과 복합 사고예방 메커니즘 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274265A (ja) * 2001-03-22 2002-09-25 Honda Motor Co Ltd ミラー調整装置
JP2008194309A (ja) * 2007-02-14 2008-08-28 Toyota Motor Corp 目検知装置、居眠り検知装置及び目検知装置の方法
JP2008269182A (ja) * 2007-04-18 2008-11-06 Fujitsu Ltd 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
KR101551262B1 (ko) 2008-05-28 2015-09-08 7352867 캐나다 인코포레이티드 졸음 이벤트의 검출을 위한 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274265A (ja) * 2001-03-22 2002-09-25 Honda Motor Co Ltd ミラー調整装置
JP2008194309A (ja) * 2007-02-14 2008-08-28 Toyota Motor Corp 目検知装置、居眠り検知装置及び目検知装置の方法
JP2008269182A (ja) * 2007-04-18 2008-11-06 Fujitsu Ltd 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
KR101551262B1 (ko) 2008-05-28 2015-09-08 7352867 캐나다 인코포레이티드 졸음 이벤트의 검출을 위한 방법 및 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102308658B1 (ko) 2020-09-16 2021-10-05 (주) 캔랩 운전자의 움직임을 모니터링 하기 위한 적외선 led를 작동시키는 방법 및 상기 적외선 led를 포함하는 운전자 감시 시스템
CN112193175A (zh) * 2020-10-09 2021-01-08 安徽江淮汽车集团股份有限公司 监控摄像头调整机构的调整方法、调整机构及监控装置
CN112193175B (zh) * 2020-10-09 2022-04-08 安徽江淮汽车集团股份有限公司 监控摄像头调整机构的调整方法、调整机构及监控装置
CN114697630A (zh) * 2020-12-28 2022-07-01 比亚迪半导体股份有限公司 驾驶员状态监测方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
KR102161908B1 (ko) 2020-10-05

Similar Documents

Publication Publication Date Title
KR102161908B1 (ko) 운전자 상태 모니터링 방법 및 장치
JP5359266B2 (ja) 顔認識装置、顔認識方法及び顔認識プログラム
JP4826506B2 (ja) 視線推定装置
AU2015276536B2 (en) Device, method, and computer program for detecting momentary sleep
CN101732055B (zh) 驾驶员疲劳检测方法及系统
US7830266B2 (en) Drowsy state determination device and method
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
KR101276770B1 (ko) 사용자 적응형 특이행동 검출기반의 안전운전보조시스템
JP2008146356A (ja) 視線方向推定装置及び視線方向推定方法
JP2016103249A (ja) 運転支援装置および運転支援方法
CN111506057A (zh) 辅助自动驾驶的自动驾驶辅助眼镜
KR102479049B1 (ko) 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
KR101914362B1 (ko) 차량 내/외부 정보 통합 분석 기반의 위험 상황 경고 시스템 및 그 방법
Rezaei et al. 3D cascade of classifiers for open and closed eye detection in driver distraction monitoring
KR101788211B1 (ko) 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
JP4895874B2 (ja) 目状態判別装置、目状態判別方法及び目状態判別プログラム
CN112183502B (zh) 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备
Hariri et al. Vision based smart in-car camera system for driver yawning detection
Kumar Morphology based facial feature extraction and facial expression recognition for driver vigilance
KR102304593B1 (ko) 시각장애인의 횡단보도 보행을 위한 가이드 장치 및 방법
KR101786579B1 (ko) 정면 얼굴 판단 방법 및 장치
JP7019394B2 (ja) 視認対象検知装置、視認対象検知方法、およびプログラム
JP2002029279A (ja) 覚醒度低下判定装置
CN116052136B (zh) 分心检测方法、车载控制器和计算机存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant