KR101798860B1 - 얼굴 방향 검출 장치 및 방법 - Google Patents

얼굴 방향 검출 장치 및 방법 Download PDF

Info

Publication number
KR101798860B1
KR101798860B1 KR1020160084311A KR20160084311A KR101798860B1 KR 101798860 B1 KR101798860 B1 KR 101798860B1 KR 1020160084311 A KR1020160084311 A KR 1020160084311A KR 20160084311 A KR20160084311 A KR 20160084311A KR 101798860 B1 KR101798860 B1 KR 101798860B1
Authority
KR
South Korea
Prior art keywords
face
face direction
nose
driver
angle
Prior art date
Application number
KR1020160084311A
Other languages
English (en)
Inventor
황인석
심상현
Original Assignee
(주)이즈테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이즈테크놀로지 filed Critical (주)이즈테크놀로지
Priority to KR1020160084311A priority Critical patent/KR101798860B1/ko
Application granted granted Critical
Publication of KR101798860B1 publication Critical patent/KR101798860B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G06K9/00248—
    • G06K9/00275—
    • G06K9/00281—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

본 발명은 얼굴 방향 검출 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 얼굴 영상을 촬영하는 단계, 촬영된 얼굴 영상에서 좌측 눈, 우측 눈 및 코를 검출하는 단계, 그리고 검출된 좌측 눈, 우측 눈 및 코를 이용하여 얼굴 방향 각도를 구하는 단계를 포함한다. 얼굴 방향 각도를 구하는 단계는, 좌측 눈, 우측 눈 및 코의 각 영역의 중심점을 구하는 단계, 그리고 좌측 눈, 우측 눈 및 코의 각 영역의 중심점을 이용하여 얼굴 방향 각도를 검출하는 단계를 포함할 수 있다. 본 발명에 의하면 복잡하지 않은 알고리즘을 통해 사람의 얼굴 방향을 간단하고 정확하게 검출할 수 있다.

Description

얼굴 방향 검출 장치 및 방법{Detection Apparatus and Method of Face Direction}
본 발명은 얼굴 방향 검출 장치 및 방법에 관한 것으로, 얼굴 영상에서 좌측 눈, 우측 눈 및 코를 검출하여 얼굴 방향을 검출하는 장치 및 방법에 관한 것이다.
일반적으로 ADAS(지능형 운전자 지원 시스템, Advanced Driver Assistance System) 중 운전자감시시스템(DSM)이나 상위 버전인 시선추적 기술이 대두되고 있다.
일본공개특허 제2003-308533호는 운전자의 정면 얼굴을 기초로 하고 다양한 방향에 대응한 얼굴 모델군을 생성해 두고, 카메라로 촬영한 화상과 얼굴 모델군을 비교하여 가장 일치하는 얼굴 모델을 선택하는 것으로 얼굴 방향을 검출하는 내용이 기재되어 있다. 그러나 이 방법은 사전에 다양한 얼굴 모델군을 생성해 두어야 했다.
차량을 운전하는 운전자가 한 명 또는 미리 정해진 소수인 경우에는 일본공개특허 제2003-308533호에 의한 방법을 적용할 수 있으나, 렌터카 등과 같이 차량을 운전하는 운전자를 미리 특정할 수 없는 경우 등에도 복잡하지 않은 알고리즘을 통해 운전자의 얼굴 방향을 검출해낼 수 있는 방법이 요구되고 있다.
일본공개특허 제2003-308533호(공개일 2003.10.31.)
따라서 본 발명이 해결하고자 하는 기술적 과제는 복잡하지 않은 알고리즘을 통해 얼굴 방향을 검출하는 얼굴 방향 검출 장치 및 방법을 제공하는 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명의 한 실시예에 따른 얼굴 방향 검출 방법은 얼굴 영상을 촬영하는 단계, 상기 촬영된 얼굴 영상에서 좌측 눈, 우측 눈 및 코를 검출하는 단계, 그리고 상기 검출된 좌측 눈, 우측 눈 및 코를 이용하여 얼굴 방향 각도를 구하는 단계를 포함한다.
상기 얼굴 방향 각도를 구하는 단계는, 상기 좌측 눈, 상기 우측 눈 및 상기 코의 각 영역의 중심점을 구하는 단계, 그리고 상기 좌측 눈, 상기 우측 눈 및 상기 코의 각 영역의 중심점을 이용하여 얼굴 방향 각도를 검출하는 단계를 포함할 수 있다.
상기 좌측 눈, 상기 우측 눈 및 상기 코의 각 영역의 중심점을 이용하여 아래 수학식에 의해 얼굴 방향 각도를 구할 수 있다.
Figure 112016064640089-pat00001
Figure 112016064640089-pat00002
여기서, r은 정면을 기준으로 얼굴 방향이 이루는 각도이고, xN1은 코 영역 중심의 x 좌표값, xP1은 우측 눈 영역 중심의 x 좌표값, xP2는 좌측 눈 영역 중심의 x 좌표값이며, r > 0 이면 얼굴 방향이 우측 방향을 이루고, r < 이면 얼굴 방향이 좌측 방향일 수 있다.
상기 얼굴 방향 각도가 미리 정해진 기준 범위를 넘어서면, 경고를 발생할 수 있다.
상기 방법은, 시작 모드에서 운전자에게 정면을 바라보도록 안내 메시지를 출력한 후 촬영된 운전자의 얼굴 영상에 대해서 상기 수학식을 적용하여 얼굴 방향 각도를 구하는 단계, 상기 시작 모드에서 구해진 얼굴 방향 각도가 미리 정해진 범위 이내이면 기준 얼굴 각도로 설정하는 단계, 주행 모드에서 촬영된 운전자의 얼굴 영상에 대해서 상기 수학식을 적용하여 얼굴 방향 각도를 구하는 단계, 그리고 상기 주행 모드에서 구해진 얼굴 방향 각도와 상기 기준 얼굴 각도를 기초로 경고 출력 조건을 만족하면 경고를 출력하는 단계를 더 포함할 수 있다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 얼굴 방향 검출 장치는, 얼굴 영상을 촬영하는 카메라, 상기 촬영된 얼굴 영상에서 좌측 눈, 우측 눈 및 코를 검출하는 얼굴 영역 검출부, 그리고 상기 검출된 좌측 눈, 우측 눈 및 코를 이용하여 얼굴 방향 각도를 구하는 얼굴 방향 검출부를 포함한다.
상기 얼굴 방향 검출부는, 상기 좌측 눈, 상기 우측 눈 및 상기 코의 각 영역의 중심점을 구하고, 상기 좌측 눈, 상기 우측 눈 및 상기 코의 각 영역의 중심점을 이용하여 얼굴 방향 각도를 검출할 수 있다.
상기 장치는 상기 얼굴 방향 각도가 미리 정해진 기준 범위를 넘어서면, 경고를 발생하는 경고부를 더 포함할 수 있다.
상기 장치는 시작 모드에서 운전자에게 정면을 바라보도록 안내 메시지를 출력하고, 상기 시작 모드에서 상기 안내 메시지가 출력된 후 촬영된 운전자의 얼굴 영상에 대해서 상기 수학식을 적용하여 구해진 얼굴 방향 각도가 미리 정해진 범위 이내이면 기준 얼굴 각도로 설정하는 제어부, 그리고 주행 모드에서 촬영된 운전자의 얼굴 영상에 대해서 상기 수학식을 적용하여 구해진 얼굴 방향 각도와 상기 기준 얼굴 각도를 기초로 경고 출력 조건을 만족하면 경고를 출력하는 경고부를 더 포함할 수 있다.
본 발명에 의하면 복잡하지 않은 알고리즘을 통해 사람의 얼굴 방향을 간단하고 정확하게 검출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 방향 검출 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상에서 얼굴 영역을 검출한 것을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 방향 검출 알고리즘을 설명하기 위해 제공되는 도면이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 방향 검출 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 얼굴 방향 검출 장치의 구성을 나타낸 블록도이다.
도 1을 참고하면, 본 발명의 일 실시예에 따른 얼굴 방향 검출 장치(100)는 카메라(110), 얼굴 영역 검출부(120), 얼굴 방향 검출부(130) 및 제어부(140)를 포함할 수 있다. 실시예에 따라서 본 발명에 따른 얼굴 방향 검출 장치(100)를 ADAS(지능형 운전자 지원 시스템, Advanced Driver Assistance System)와 같이 운전자 지원에 적용할 경우에는 경고부(150), 표시부(160) 및 입력부(170) 등을 더 포함할 수도 있다.
카메라(110)는 사람의 얼굴을 촬영하여 얼굴 영상을 획득할 수 있다.
운전자 지원에 적용할 경우 카메라(110)는 운전자의 얼굴을 촬영할 수 있도록 차량의 실내에 설치될 수 있다. 운전자가 운전석에 앉아서 정면을 바라볼 때 운전자의 얼굴 정면을 촬영할 수 있는 위치에 카메라(110)가 설치되는 것이 바람직하나, 운전자가 운전할 때 전방을 주시하는데 장애가 되지 않는 위치에 설치될 수도 있다. 본 발명은 반드시 운전자의 얼굴 방향을 검출하는 것에 한정되지는 않으나 이하에서는 운전자의 얼굴 방향을 검출하는 실시예에 대해서 설명한다.
얼굴 영역 검출부(120)는 카메라(110)에서 촬영된 영상에 대해 이미지 전처리, 예상 얼굴 영역 라벨링, 얼굴 영역 획득 등의 작업을 거쳐서 얼굴 영상에서 운전자의 좌측 눈, 우측 눈 및 코에 해당하는 영역을 검출해낼 수 있다. 얼굴 영상에서 사람의 눈, 코 및 입 등의 영역을 검출해내는 방법은 공지된 방법이 이용될 수 있다.
얼굴 방향 검출부(130)는 얼굴 영역 검출부(120)에서 검출된 운전자의 좌측 눈, 우측 눈 및 코에 해당하는 영역의 중심점을 이용하여 얼굴 방향을 검출해낼 수 있다.
도 2는 본 발명의 일 실시예에 따른 얼굴 방향 검출 알고리즘을 설명하기 위해 제공되는 도면이다.
도 2를 참고하면, (a)는 운전자가 우측 방향을 바라보고 있는 경우를 나타내고, (b)는 운전자가 정면 방향을 바라보고 있는 경우를 나타내며, (c)는 운전자가 좌측 방향을 바라보고 있는 경우를 나타낸다.
도 2에서 녹색 사각형은 얼굴 영상에서 검출된 우측 눈 영역 및 좌측 눈 영역을 나타내고, 파란색 사각형은 얼굴 영상에서 검출된 코 영역을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 얼굴 방향 검출 알고리즘을 설명하기 위해 제공되는 도면이다.
도 3을 참고하면, 우측 눈 영역(ER)에서 중심점(P1)의 x 좌표값(xP1)을 구하고, 좌측 눈 영역(EL)에서 중심점(P2)의 x 좌표값(xP2)을 구하고, 코 영역(N)에서 중심점(N1)의 x 좌표값(xN1)을 구할 수 있다.
그러면 각 영역의 중심점의 x 좌표값을 아래 수학식 1에 적용함으로써 얼굴 방향 검출부(130)는 운전자의 얼굴 방향 각도를 검출할 수 있다. 물론 카메라(110)가 운전자의 얼굴 정면에 설치된 경우, 운전자가 정면을 바라볼 때 수학식 1에 의해 구해지는 얼굴 방향 각도가 0°로 구해질 수 있으나, 실제 카메라(110)는 운전자 얼굴의 정면에 장착되기 어려우므로 얼굴 방향 각도를 보정할 필요가 있다.
Figure 112016064640089-pat00003
Figure 112016064640089-pat00004
여기서, r은 정면을 기준으로 얼굴 방향이 이루는 각도이고, xN1은 코 영역 중심의 x 좌표값, xP1은 우측 눈 영역 중심의 x 좌표값, xP2는 좌측 눈 영역 중심의 x 좌표값이며, r > 0 이면 얼굴 방향이 우측 방향을 이루고, r < 이면 얼굴 방향이 좌측 방향이다.
수학식 1에 의하면 각 영역의 중심점의 x 좌표값에 대해서만 계산에 이용하므로, y 좌표값은 이용하지 않아도 되어 종래 알고리즘보다 계산이 보다 간단해지면서도, 운전자가 전방 주시를 하고 있지 않은 정도를 검출하는데 충분한 정확도를 제공할 수 있다.
제어부(140)는 얼굴 방향 검출 장치(100)의 전체적인 동작을 제어한다.
제어부(140)는 운전자가 운전석에 착석한 후에 입력부(170)를 통해 시작 명령을 입력하거나 장치(100)의 전원을 온 시키면, 장치(100)가 시작 모드를 수행하도록 제어한다.
입력부(170)는 터치스크린, 키패드, 버튼 또는 마이크 등의 입력 수단이 이용될 수 있다.
제어부(140)는 시작 모드에서 차량에 설치된 모니터나 스피커 등과 같은 출력부(160)를 통해 "정면을 바라보세요" 등과 같은 안내 메시지를 출력한 후 카메라(110)를 통해 운전자의 정면 얼굴 영상을 획득할 수 있다.
출력부(160)는 얼굴 방향 검출 장치(100)에 전용으로 구비될 수 있으나, 실시예에 따라서는 내비게이션, 차량내 엔터테인먼트 디바이스 등과 같은 장치에 구비된 모니터, 스피커 등을 이용하도록 할 수도 있다.
제어부(140)는 시작 모드에서 획득된 운전자의 정면 얼굴 영상에서 좌측 눈, 우측 눈 및 코 영역을 구하고, 얼굴 방향 검출부(130)에서 수학식 1에 의해 얼굴 방향 각도를 검출하도록 할 수 있다.
제어부(140)는 시작 모드에서 검출된 얼굴 방향 각도를 기준 얼굴 방향 각도로 설정할 수 있다. 다만 시작 모드에서 검출된 얼굴 방향 각도가 미리 정해진 범위(예컨대 -10°~ 10°) 내에 있는 경우에만 기준 얼굴 방향 각도로 설정하도록 구현할 수 있다. 시작 모드에서 검출된 얼굴 방향 각도가 기준 범위에서 벗어난 경우에는 운전자에게 "다시 정면을 바라보세요"와 같은 메시지를 출력하여 기준 얼굴 방향 각도를 다시 설정하도록 할 수 있다.
제어부(140)는 시작 모드에서 기준 얼굴 방향 각도가 설정되면 장치(100)가 주행 모드를 수행하도록 제어한다.
제어부(140)는 주행 모드에서 획득된 운전자의 정면 얼굴 영상에서 좌측 눈, 우측 눈 및 코 영역을 구하고, 얼굴 방향 검출부(130)에서 수학식 1에 의해 얼굴 방향 각도(R)를 검출하도록 할 수 있다. 그리고 시작 모드에서 설정된 얼굴 방향 각도가 Rs 인 경우, 주행 모드에서 검출된 얼굴 방향 각도(R)에서 시작 모드에서 설정된 얼굴 방향 각도(Rs)를 빼주면 운전자의 보정된 얼굴 방향 각도(Rc)가 구해진다.
제어부(140)는 보정된 얼굴 방향 각도(Rc)가 미리 정해진 범위(예컨대 -30°~ 30°)를 벗어나면 경고부(150)를 통해 운전자가 전방을 주시하지 않고 있다는 경고를 발생시킬 수 있다.
경고부(150)는 시각적 방법, 촉각적 방법 또는 청각적 방법이나 복합적인 방법으로 경고를 출력할 수 있는 장치가 이용될 수 있다. 예컨대 경고부(150)는 스피커, LED 램프 또는 진동 모터 등이 이용될 수 있다. 진동 모터는 핸들에 진동을 주거나 사용자가 착석한 의자에 진동을 줄 수 있게 설치할 수 있다.
물론 실시예에 따라서 시작 모드를 수행하지 않고, 바로 주행 모드 상에서 수학식 1에 의해 구해지는 얼굴 방향 각도를 기준으로 경고를 발생하도록 구현하는 것도 가능하다.
한편 본 실시예에서는 보정된 얼굴 방향 각도(Rc)를 구하는 것으로 설명하였다. 그러나 실시예에 따라서 보정된 얼굴 방향 각도(Rc)를 구하지 않고, 경고 출력 조건으로 설정된 범위를 조정하도록 구현하는 것도 가능한다. 예컨대 시작 모드에서 구해진 얼굴 방향 각도가 5°이고, 경고 출력 조건으로 설정된 범위가 -30°~ 30°인 경우, 경고 출력 조건 범위를 -25°~ 35°로 변경하는 것도 가능하다. 이 경우 주행 모드 상에서 수학식 1에 의해 구해진 얼굴 방향 각도가 수정된 경고 출력 조건 범위에서 벗어나는 경우에 경고를 출력하도록 구현할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 얼굴 방향 검출 장치의 동작을 설명하기 위해 제공되는 흐름도이다.
도 4를 참고하면, 먼저 운전자가 운전석에 착석하여 시작 명령을 입력하면(S410), 얼굴 방향 검출 장치(100)는 시작 모드로 동작하면서, 운전자가 정면을 바라볼 수 있도록 "정면을 바라보세요"와 같은 안내 메시지를 출력한다(S420).
다음으로 얼굴 방향 검출 장치(100)는 시작 모드에서 획득된 얼굴 영상에 대해서 수학식 1에 따른 얼굴 방향 검출 알고리즘을 적용하여 얼굴 방향 각도를 구한다(S430).
단계(S430)에서 구해진 얼굴 방향 각도가 미리 정해진 범위를 벗어나면(S440-N), 얼굴 방향 검출 장치(100)는 다시 단계(S420 내지 단계(S440)를 반복한다.
한편 단계(S430)에서 구해진 얼굴 방향 각도가 미리 정해진 범위이면(S440-Y), 얼굴 방향 검출 장치(100)는 단계(S430)에서 구해진 얼굴 방향 각도를 기준 얼굴 방향 각도로 설정한다(S450).
다음으로 얼굴 방향 검출 장치(100)는 주행 모드 상에서 획득된 얼굴 영상에 수학식 1에 따른 얼굴 방향 검출 알고리즘을 적용하여 얼굴 방향 각도를 구한다(S460).
실시예에 따라서 얼굴 방향 검출 장치(100)는 단계(S460)에서 구해진 얼굴 방향 각도에 기준 얼굴 방향 각도를 이용하여 보정된 얼굴 방향 각도를 구할 수 있다(S470).
얼굴 방향 검출 장치(100)는 보정된 얼굴 방향 각도가 미리 정해진 경고 출력 범위에 해당하면(S480-Y), 운전자의 주의를 환기시키기 위한 경고를 시각적 방법, 촉각적 방법 또는 청각적 방법이나 복합적인 방법으로 출력시킬 수 있다(S490).
실시예에 따라서 시작 모드를 수행하지 않고 바로 주행 모드 상에서 구해지는 얼굴 방향 각도를 기준으로 경고를 발생시키도록 구현하는 것도 가능하며, 시작 모드를 수행하더라도 보정된 얼굴 방향 각도를 구하지 않고 경고 출력 조건 범위를 기준 얼굴 방향 각도에 의해 수정하여 동작하도록 구현하는 것도 가능하다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 얼굴 방향 검출 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

  1. 시작 모드에서 운전자에게 정면을 바라보도록 안내 메시지를 출력한 후 촬영된 운전자의 얼굴 영상에서 좌측 눈, 우측 눈 및 코의 각 영역의 중심점을 구하는 단계,
    시작 모드에서 구해진 상기 좌측 눈, 상기 우측 눈 및 상기 코의 각 영역의 중심점을 이용하여 아래 수학식에 의해 얼굴 방향 각도를 구하는 단계,
    상기 시작 모드에서 구해진 얼굴 방향 각도가 미리 정해진 범위 이내이면 기준 얼굴 각도로 설정하는 단계,
    주행 모드에서 촬영된 운전자의 얼굴 영상에 대해서 좌측 눈, 우측 눈 및 코의 각 영역의 중심점을 구하는 단계,
    주행 모드에서 구해진 상기 좌측 눈, 상기 우측 눈 및 상기 코의 각 영역의 중심점을 이용하여 아래 수학식에 의해 얼굴 방향 각도를 구하는 단계, 그리고
    상기 주행 모드에서 구해진 얼굴 방향 각도와 상기 기준 얼굴 각도를 기초로 경고 출력 조건을 만족하면 경고를 출력하는 단계
    를 포함하는 얼굴 방향 검출 방법:
    Figure 112017051553539-pat00013

    Figure 112017051553539-pat00014

    여기서, r은 정면을 기준으로 얼굴 방향이 이루는 각도이고, xN1은 코 영역 중심의 x 좌표값, xP1은 우측 눈 영역 중심의 x 좌표값, xP2는 좌측 눈 영역 중심의 x 좌표값이며, r > 0 이면 얼굴 방향이 우측 방향을 이루고, r < 이면 얼굴 방향이 좌측 방향임.
  2. 삭제
  3. 삭제
  4. 제 1 항에서,
    상기 얼굴 방향 각도가 미리 정해진 기준 범위를 넘어서면, 경고를 발생하는 얼굴 방향 검출 방법.
  5. 삭제
  6. 얼굴 영상을 촬영하는 카메라,
    상기 촬영된 얼굴 영상에서 좌측 눈, 우측 눈 및 코를 검출하는 얼굴 영역 검출부,
    상기 검출된 좌측 눈, 우측 눈 및 코의 각 영역의 중심점을 이용하여 아래 수학식에 의해 얼굴 방향 각도를 구하는 얼굴 방향 검출부, 그리고
    시작 모드에서 운전자에게 정면을 바라보도록 안내 메시지를 출력한 후 촬영된 운전자의 얼굴 영상에서 검출된 좌측 눈, 우측 눈 및 코의 각 영역의 중심점을 이용하여 구해진 얼굴 방향 각도가 미리 정해진 범위 이내이면 기준 얼굴 각도로 설정하고, 주행 모드에서 촬영된 운전자의 얼굴 영상에서 검출된 좌측 눈, 우측 눈 및 코의 각 영역의 중심점을 이용하여 구해진 얼굴 방향 각도와 상기 기준 얼굴 각도를 기초로 경고 출력 조건을 만족하면 경고를 출력시키는 제어부
    를 포함하는 얼굴 방향 검출 장치:
    Figure 112017051553539-pat00015

    Figure 112017051553539-pat00016

    여기서, r은 정면을 기준으로 얼굴 방향이 이루는 각도이고, xN1은 코 영역 중심의 x 좌표값, xP1은 우측 눈 영역 중심의 x 좌표값, xP2는 좌측 눈 영역 중심의 x 좌표값이며, r > 0 이면 얼굴 방향이 우측 방향을 이루고, r < 이면 얼굴 방향이 좌측 방향임.
  7. 삭제
  8. 삭제
  9. 제 6 항에서,
    상기 얼굴 방향 각도가 미리 정해진 기준 범위를 넘어서면, 경고를 발생하는 경고부를 더 포함하는 얼굴 방향 검출 장치.
  10. 삭제
KR1020160084311A 2016-07-04 2016-07-04 얼굴 방향 검출 장치 및 방법 KR101798860B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160084311A KR101798860B1 (ko) 2016-07-04 2016-07-04 얼굴 방향 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160084311A KR101798860B1 (ko) 2016-07-04 2016-07-04 얼굴 방향 검출 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101798860B1 true KR101798860B1 (ko) 2017-11-16

Family

ID=60806826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160084311A KR101798860B1 (ko) 2016-07-04 2016-07-04 얼굴 방향 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101798860B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011230A (zh) * 2019-12-20 2021-06-22 杭州萤石软件有限公司 一种人脸偏转角度的确定方法及装置
WO2024085505A1 (ko) * 2022-10-17 2024-04-25 연세대학교 산학협력단 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217614A (ja) * 2007-03-06 2008-09-18 Fujitsu Ten Ltd 顔方位判定装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217614A (ja) * 2007-03-06 2008-09-18 Fujitsu Ten Ltd 顔方位判定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011230A (zh) * 2019-12-20 2021-06-22 杭州萤石软件有限公司 一种人脸偏转角度的确定方法及装置
WO2024085505A1 (ko) * 2022-10-17 2024-04-25 연세대학교 산학협력단 동적 스마일 분석을 위한 얼굴 정면 여부 판단 방법 및 장치

Similar Documents

Publication Publication Date Title
JP6394281B2 (ja) 車載注意喚起システム、報知制御装置
US9485474B2 (en) System and method for learning driving information in vehicle
JP4926437B2 (ja) 車両の運転支援装置
US9436273B2 (en) Information processing device, method and computer-readable non-transitory recording medium
EP3588372B1 (en) Controlling an autonomous vehicle based on passenger behavior
JP2009245083A (ja) 脇見運転検出警報システム
US9410818B2 (en) Navigation device
US11210497B2 (en) Occupant modeling device, occupant modeling method, and occupant modeling program
JP2017027180A (ja) 車両制御装置及び車両制御方法
JP2014071519A (ja) 状態判定装置、運転支援システム、状態判定方法及びプログラム
JP2016018304A (ja) 安全確認判定装置、及び運転支援装置
JP6997880B2 (ja) 駐車支援装置
JP2017182776A (ja) 車両周辺監視装置及びコンピュータプログラム
JP6805716B2 (ja) 表示装置、表示方法、プログラム
KR101798860B1 (ko) 얼굴 방향 검출 장치 및 방법
JP5644414B2 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
JP2018139070A (ja) 車両用表示制御装置
JP6822325B2 (ja) 操縦支援装置、操縦支援方法、プログラム
JP2017191367A (ja) 安全運転支援装置及び安全運転支援プログラム
KR101566963B1 (ko) 작업 차량 상태를 고려하여 개체를 인식할 수 있는 어라운드 뷰 모니터링 방법, 이를 수행하는 어라운드 뷰 모니터링 장치 및 이를 저장하는 기록매체
JP2015022537A (ja) 車両用情報提示装置
JP2008305283A (ja) 運転支援装置および運転支援方法
KR101763389B1 (ko) 운전 부주의 경고 방법 및 시스템
WO2017096821A1 (zh) 安全驾驶检测方法及装置
KR101786579B1 (ko) 정면 얼굴 판단 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant