KR101786579B1 - 정면 얼굴 판단 방법 및 장치 - Google Patents

정면 얼굴 판단 방법 및 장치 Download PDF

Info

Publication number
KR101786579B1
KR101786579B1 KR1020170036329A KR20170036329A KR101786579B1 KR 101786579 B1 KR101786579 B1 KR 101786579B1 KR 1020170036329 A KR1020170036329 A KR 1020170036329A KR 20170036329 A KR20170036329 A KR 20170036329A KR 101786579 B1 KR101786579 B1 KR 101786579B1
Authority
KR
South Korea
Prior art keywords
face
similarity
region
feature group
regions
Prior art date
Application number
KR1020170036329A
Other languages
English (en)
Inventor
심상현
Original Assignee
(주) 이즈테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 이즈테크놀로지 filed Critical (주) 이즈테크놀로지
Priority to KR1020170036329A priority Critical patent/KR101786579B1/ko
Application granted granted Critical
Publication of KR101786579B1 publication Critical patent/KR101786579B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G06K9/00268—
    • G06K9/00832—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 정면 얼굴 판단 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 얼굴 영상을 촬영하는 단계, 촬영된 얼굴 영상에서 대칭을 이루고 있는 얼굴 특징군의 좌우 영역을 검출하는 단계, 검출된 얼굴 특징군의 좌우 영역 중 어느 한 영역을 좌우 반전시키는 단계, 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출하는 단계, 그리고 산출된 유사도를 기초로 얼굴 영상이 정면 얼굴인지 판단하는 단계를 포함한다. 본 발명에 의하면, 눈, 콧구멍 또는 입꼬리 등과 같이 얼굴에서 대칭을 이루고 있는 주요 얼굴 특징군의 좌우 영역 간의 유사도를 이용하여 얼굴 영상이 정면 얼굴인지 빠르게 판단할 수 있는 장점이 있다.

Description

정면 얼굴 판단 방법 및 장치{Method and Apparatus for Determining Front Face}
본 발명은 정면 얼굴 판단 방법 및 장치에 관한 것으로, 보다 자세하게는 얼굴의 특징을 이용하여 정면 얼굴을 판단할 수 있는 정면 얼굴 판단 방법 및 장치에 관한 것이다.
차량을 운전 중인 운전자에게 졸음이 오는 경우나 운전자가 운전에 집중하지 못하고 산만한 경우, 대형 사고로 발전할 가능성이 매우 높기 때문에 이를 예방하고 방지하는 것이 대단히 중요하다.
이에 운전자에게 적절한 주행 거리마다 충분한 휴식과 가벼운 스트레칭 등의 운동을 하도록 하거나, 운전 중에 졸음이 오는 경우 주행을 멈추고 휴식을 취할 것을 권고하여 졸음운전을 예방하고 있으나, 실제로는 여러 가지 이유로 인하여 상기와 같은 수칙을 지키기가 어려우며, 차량 주행 중에 순간적으로 졸음이 오는 경우도 비일비재하기 때문에 교통사고의 발생에서 졸음운전이 원인이 되는 경우가 여전히 줄지 않고 있다.
이러한 문제점을 해결하기 위하여 운전자의 얼굴 영상을 획득하여 눈 영역에서 눈꺼풀의 모양을 통해 졸음 여부를 감지하거나, 복잡한 알고리즘을 통해 운전자의 시선을 검출해내는 방법 등이 제시되고 있다.
일본공개특허 제2003-308533호는 운전자의 정면 얼굴을 기초로 하고 다양한 방향에 대응한 얼굴 모델군을 생성해 두고, 카메라로 촬영한 화상과 얼굴 모델군을 비교하여 가장 일치하는 얼굴 모델을 선택하는 것으로 얼굴 방향을 검출하는 내용이 기재되어 있으나, 이 방법은 사전에 다양한 얼굴 모델군을 생성해 두어야 하는 문제점이 있었다.
그리고 차량을 운전하는 운전자가 한 명 또는 미리 정해진 소수인 경우에는 일본공개특허 제2003-308533호에 의한 방법을 적용할 수 있으나, 렌터카 등과 같이 차량을 운전하는 운전자를 미리 특정할 수 없는 경우 등에도 복잡하지 않은 알고리즘을 통해 운전자의 얼굴 방향을 검출해낼 수 있는 방법이 요구되고 있다.
일본공개특허 제2003-308533호(공개일 2003. 10. 31.)
따라서 본 발명이 해결하고자 하는 기술적 과제는 대칭을 이루고 있는 얼굴 특징군의 좌우 영역 간의 유사도를 산출하여 얼굴 영상이 정면 얼굴인지 판단할 수 있는 정면 얼굴 판단 방법 및 장치를 제공하는 것이다.
또한, 본 발명은 명시적으로 언급된 목적 이외에도, 후술하는 본 발명의 구성으로부터 달성될 수 있는 다른 목적도 포함한다.
상기한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 정면 얼굴 판단 방법은 얼굴 영상을 촬영하는 단계, 상기 촬영된 얼굴 영상에서 대칭을 이루고 있는 얼굴 특징군의 좌우 영역을 검출하는 단계, 상기 검출된 얼굴 특징군의 좌우 영역 중 어느 한 영역을 좌우 반전시키는 단계, 상기 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출하는 단계, 그리고 상기 산출된 유사도를 기초로 상기 얼굴 영상이 정면 얼굴인지 판단하는 단계를 포함한다.
상기 얼굴 특징군은 눈, 콧구멍 및 입꼬리 중 적어도 하나를 포함할 수 있다.
상기 검출된 얼굴 특징군의 좌우 영역 중 좌 영역을 좌우 반전시킨 경우, 상기 반전되지 않은 나머지 영역은 상기 얼굴 특징군의 우 영역이고, 상기 검출된 얼굴 특징군의 좌우 영역 중 우 영역을 좌우 반전시킨 경우, 상기 반전되지 않은 나머지 영역은 상기 얼굴 특징군의 좌 영역일 수 있다.
상기 얼굴 특징군이 복수 개인 경우, 상기 복수 개의 얼굴 특징군에 대하여 상기 반전된 어느 한 영역과 상기 반전되지 않은 나머지 영역 간의 유사도를 모두 산출하고, 상기 유사도가 미리 정해진 기준 유사도보다 높은 얼굴 특징군의 수가 미리 정해진 기준 수보다 많은 얼굴 영상을 상기 정면 얼굴로 판단할 수 있다.
상기 유사도가 산출된 이후에는, 상기 촬영된 얼굴 영상에 대하여 상기 복수 개의 얼굴 특징군 중 유사도가 가장 높은 얼굴 특징군이 상기 정면 얼굴을 판단하는데 이용될 수 있다.
한편, 본 발명의 실시예에 따른 정면 얼굴 판단 장치는 얼굴 영상을 촬영하는 카메라, 상기 촬영된 얼굴 영상에서 대칭을 이루고 있는 얼굴 특징군의 좌우 영역을 검출하는 얼굴 특징군 검출부, 상기 검출된 얼굴 특징군의 좌우 영역 중 어느 한 영역을 좌우 반전시키는 반전부, 상기 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출하는 유사도 산출부, 그리고 상기 산출된 유사도를 기초로 상기 얼굴 영상이 정면 얼굴인지 판단하는 정면 얼굴 판단부를 포함한다.
상기 얼굴 특징군은 눈, 콧구멍 및 입꼬리 중 적어도 하나를 포함할 수 있다.
상기 검출된 얼굴 특징군의 좌우 영역 중 좌 영역을 좌우 반전시킨 경우, 상기 반전되지 않은 나머지 영역은 상기 얼굴 특징군의 우 영역이고, 상기 검출된 얼굴 특징군의 좌우 영역 중 우 영역을 좌우 반전시킨 경우, 상기 반전되지 않은 나머지 영역은 상기 얼굴 특징군의 좌 영역일 수 있다.
상기 유사도 산출부는 상기 얼굴 특징군이 복수 개인 경우, 상기 복수 개의 얼굴 특징군에 대하여 상기 반전된 어느 한 영역과 상기 반전되지 않은 나머지 영역 간의 유사도를 모두 산출하고, 상기 정면 얼굴 판단부는 상기 유사도가 미리 정해진 기준 유사도보다 높은 얼굴 특징군의 수가 미리 정해진 기준 수보다 많은 얼굴 영상을 상기 정면 얼굴로 판단할 수 있다.
상기 유사도가 산출된 이후에는, 상기 촬영된 얼굴 영상에 대하여 상기 복수 개의 얼굴 특징군 중 유사도가 가장 높은 얼굴 특징군이 상기 정면 얼굴을 판단하는데 이용될 수 있다.
이와 같이 본 발명의 실시예에 따른 정면 얼굴 판단 방법 및 장치에 따르면, 눈, 콧구멍 또는 입꼬리 등과 같이 얼굴에서 대칭을 이루고 있는 주요 얼굴 특징군의 좌우 영역 간의 유사도를 이용하여 얼굴 영상이 정면 얼굴인지 빠르게 판단할 수 있는 장점이 있다.
그리고 유사도가 산출된 이후에는 입력된 얼굴 영상에 대하여 유사도가 가장 높은 얼굴 특징군만을 이용하여 정면 얼굴을 판단할 수 있기 때문에 처리 속도 및 연산량을 더욱 줄일 수 있는 장점이 있다.
한편, 본 발명의 효과는 상술된 것에 국한되지 않고 후술하는 본 발명의 구성으로부터 도출될 수 있는 다른 효과도 본 발명의 효과에 포함된다.
도 1은 본 발명의 일 실시예에 따른 정면 얼굴 판단 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영역에서 얼굴 특징군의 좌우 영역을 검출한 것을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 특징군의 좌우 영역을 반전하는 과정을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 얼굴의 좌우 이동에 따른 얼굴 특징군의 좌우 영역을 비교한 것을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 얼굴 방향 각도를 계산하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 얼굴 방향 각도 계산 알고리즘을 설명하기 위해 제공되는 도면이다.
도 7은 본 발명의 일 실시예에 따른 정면 얼굴 판단 과정을 보여주는 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 정면 얼굴 판단 장치의 구성도를 나타낸다.
도 1에 도시한 바와 같이, 정면 얼굴 판단 장치(1)는 카메라(100), 얼굴 영역 검출부(200), 얼굴 특징군 검출부(300), 반전부(400), 유사도 산출부(500) 및 정면 얼굴 판단부(600)를 포함하여 구성된다. 실시예에 따라서 본 발명에 따른 정면 얼굴 판단 장치(1)를 지능형 운전자 지원 시스템(Advanced Driver Assistance System: ADAS)과 같이 운전자 지원에 적용할 경우에는 얼굴 방향 계산부(700), 부주의 판단부(800) 및 경고부(900) 등을 더 포함할 수도 있다.
카메라(100)는 사용자의 얼굴을 촬영하여 얼굴 영상을 획득할 수 있다.
운전자 지원에 적용할 경우 카메라(100)는 운전자의 얼굴을 촬영할 수 있도록 차량의 실내에 설치될 수 있다. 운전자가 운전석에 앉아서 정면을 바라볼 때 운전자의 정면 얼굴을 촬영할 수 있는 위치에 카메라(100)가 설치되는 것이 바람직하나, 운전자가 운전할 때 전방을 주시하는데 장애가 되지 않는 위치에 설치될 수도 있다.
얼굴 영역 검출부(200)는 카메라(100)에서 촬영된 얼굴 영상으로부터 얼굴 영역을 검출할 수 있다.
보다 자세하게는, 얼굴 영역 검출부(200)는 카메라(100)에서 촬영된 얼굴 영상에 대해 이미지 전처리, 예상 얼굴 영역 라벨링 또는 얼굴 영역 획득 등의 작업을 거쳐서 얼굴 영상에서 운전자의 얼굴 영역을 검출할 수 있다. 이미지 전처리를 위하여 가우시안 필터(Gaussian Filter), 중간값 필터(Median Filter), 그라디언트(Gradient) 또는 히스토그램 균등화(Histogram Equalization) 등의 방식이 사용될 수 있으며, 얼굴 영상에서 얼굴 영역을 검출해내는 방법은 공지된 방법이 이용될 수 있다.
얼굴 특징군 검출부(300)는 얼굴 영역 검출부(200)에서 검출된 얼굴 영역에서 얼굴 특징군의 좌우 영역을 검출해낼 수 있다. 얼굴 특징군은 눈, 콧구멍 및 입꼬리 중 적어도 하나를 포함할 수 있고, 얼굴 특징군 검출부(300)는 얼굴 영역에서 눈, 콧구멍 또는 입꼬리 등과 같이 대칭을 이루고 있는 얼굴 특징군의 좌우 영역을 검출할 수 있다.
특히 얼굴 특징군 검출부(300)는 얼굴 특징군별로 좌우 영역을 미리 정해진 직사각형으로 동일한 사이즈를 가지게 검출할 수 있다. 예컨대 눈에 대해서는 3*4 사이즈를 가지는 직사각형으로 검출 영역이 정해질 수 있고, 콧구멍에 대해서는 2*3 사이즈를 가지는 직사각형으로 검출 영역으로 정해질 수 있으며, 얼굴 특징군에 따라 좌우 영역을 검출하는 사이즈가 다르게 정해질 수 있다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영역에서 얼굴 특징군의 좌우 영역을 검출한 것을 예시한 도면으로서, 도 2를 참조하면, 얼굴 특징군 검출부(300)는 얼굴 영역(F)에서 눈의 좌우 영역(E1, E2), 콧구멍의 좌우 영역(N1, N2) 및 입꼬리의 좌우 영역(M1, M2)을 각각 검출할 수 있다. 즉 얼굴 특징군 검출부(300)는 하르 분류기(Haar Classifier), SVM(Support Vector Machine) 또는 템플릿 기법 등을 사용하여 얼굴 영역에서 얼굴 특징군의 좌우 영역을 검출할 수 있는데, 하기에서 설명할 유사도 산출 시 최적의 값이나 최적의 효과를 도출하기 위하여 얼굴 특징별로 좌우 같은 크기의 ROI(Region of Interest)를 검출할 수 있다.
반전부(400)는 검출된 얼굴 특징군의 좌우 영역 중 어느 한 영역을 좌우 반전시키고, 유사도 산출부(500)는 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출할 수 있다. 즉 반전부(400)가 얼굴 특징군의 좌우 영역 중 어느 한 영역을 좌우 반전시키면, 유사도 산출부(500)는 좌우 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출할 수 있다. 얼굴 특징군 검출부(300)에서 검출된 얼굴 특징군의 좌우 영역 중 좌 영역을 좌우 반전시킨 경우, 반전되지 않은 나머지 영역은 얼굴 특징군의 우 영역이고, 얼굴 특징군의 좌우 영역 중 우 영역을 좌우 반전시킨 경우, 반전되지 않은 나머지 영역은 얼굴 특징군의 좌 영역일 수 있다.
도 3은 본 발명의 일 실시예에 따른 얼굴 특징군의 좌우 영역을 반전하는 과정을 예시한 도면으로서, 도 3과 같이, 눈의 좌 영역 이미지(E1)와 눈의 우 영역 이미지(E2) 중에서 눈의 우 영역 이미지(E2)를 Y1축을 기준으로 좌우 반전시키면, 반전된 눈의 우 영역 이미지(E2_P)가 생성되는데, 이를 눈의 좌 영역 이미지(E1)와 비교하여 눈의 좌우 영역 간의 유사도를 산출할 수 있다. 그리고 콧구멍의 좌 영역 이미지(N1)와 콧구멍의 우 영역 이미지(N2) 중에서 콧구멍의 우 영역 이미지(N2)를 Y2축을 기준으로 좌우 반전시키면, 반전된 콧구멍의 우 영역 이미지(N2_P)가 생성되는데, 이를 콧구멍의 좌 영역 이미지(N1)와 비교하여 콧구멍의 좌우 영역 간의 유사도를 산출할 수 있다. 게다가 입꼬리의 좌 영역 이미지(M1)와 입꼬리의 우 영역 이미지(M2) 중에서 입꼬리의 우 영역 이미지(M2)를 Y3축을 기준으로 좌우 반전시키면, 반전된 입꼬리의 우 영역 이미지(M2_P)가 생성되는데, 이를 입꼬리의 좌 영역 이미지(M1)와 비교하여 입꼬리의 좌우 영역 간의 유사도를 산출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 얼굴의 좌우 이동에 따른 얼굴 특징군의 좌우 영역을 비교한 것을 예시한 도면을 나타낸다.
도 4를 참조하면, 정면 얼굴의 경우 눈, 콧구멍 및 입꼬리에 대칭성이 있다는 것에 기인하여 눈, 콧구멍 및 입꼬리의 좌우 영역 간에 모양이나 색 등의 유사도를 산출하여 정면 얼굴을 판단하는데 이용할 수 있다.
즉 얼굴 전체의 대칭성을 이용하는 것은 우선 정면 얼굴이 정확하게 검출되어야 대칭축을 잡을 수 있고, 얼굴 영상이 좌우로 이동되면 대칭성이 사라지는 한계점이 있으나, 본 발명은 얼굴이 좌우 방향으로 이동되어도 눈(N1, N2), 콧구멍(N1, N2) 또는 입꼬리(M1, M2) 등과 같이 얼굴 특징군의 좌우 영역 간의 모양과 색상은 어느 정도 유사성이 유지되기 때문에 이를 이용하여 정면 얼굴을 판단할 수 있는 것이다. 그리고 얼굴 전체의 대칭성을 이용하는 것이 아니라 눈, 콧구멍 또는 입꼬리 등과 같이 주요 얼굴 특징만을 이용하기 때문에 빠르게 정면 얼굴을 판단할 수 있다.
유사도 산출부(500)는 히스토그램 비교, 템플릿 매칭 또는 피처 패칭 등을 이용하여 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출할 수 있고, 다양한 유사도 비교 방법에서 사용되는 임계치(threshold)를 적절히 조절하여 정면 얼굴로 판단할 yaw(좌우 방향), roll(얼굴 기울기), pitch(상하 방향)의 유효 범위를 설정할 수 있다.
본 발명의 일 실시예에서는 템플릿 매칭 기법 중 정규화된 상호 상관(Normalized Cross Correlation) 방법을 이용하여 눈, 콧구멍 및 입꼬리 좌우 영역 간의 유사도를 비교하도록 한다.
얼굴 모델과 대응되는 얼굴 영상의 부분 영역(얼굴 특징군의 좌우 영역) 간의 유사도를 나타내는 상관계수 r 값은 영상 offset(u, v)에서 하기의 [수식 1]과 같이 주어진다.
[수식 1]
Figure 112017028535689-pat00001
여기서,
Figure 112017028535689-pat00002
는
Figure 112017028535689-pat00003
에서의 영상 밝기,
Figure 112017028535689-pat00004
는 상대적인 offset
Figure 112017028535689-pat00005
에서 대응되는 모델 밝기 및
Figure 112017028535689-pat00006
는 모델 화소의 개수이다.
본 발명의 일 실시예에서는 눈, 콧구멍 및 입꼬리의 특징별 검출 영역이 같이 때문에 u, v 값은 0이 되고, 상대 offset
Figure 112017028535689-pat00007
도 각각 0이 됨으로써 한 번의 비교로 빠르게 상관계수 r 값을 산출할 수 있다. 상관계수 r 값은 0 ~ 1 사이의 값을 가지며 r 값이 클수록 정면 얼굴로 매칭될 확률이 높다고 볼 수 있다.
이와 같이, 상관계수 r 값을 조절함으로써 정면 얼굴의 판단 범위를 조절할 수 있다. 즉 방향이 약간 좌우로 방향성을 가지고 있어도 정면 얼굴로 판단할 수 있다.
그리고 유사도 산출부(500)는 눈의 좌우 영역을 비교하여 유사도를 나타내는 지표인 상관계수 r_eye를 산출하고, 콧구멍의 좌우 영역을 비교하여 상관계수 r_nose를 산출하고, 입꼬리의 좌우 영역을 비교하여 상관계수 r_mouth를 산출할 수 있다.
정면 얼굴 판단부(600)는 산출된 유사도를 기초로 얼굴 영상이 정면 얼굴인지 판단할 수 있다. 정면 얼굴 판단부(600)는 눈, 콧구멍 및 입꼬리의 특징 중 한가지의 유사성 비교만으로도 얼굴 영상이 정면 얼굴인지 판단할 수 있는데, 예컨대, 입꼬리의 좌우 영역에 대한 유사도가 미리 정해진 기준 유사도보다 높으면, 얼굴 영상을 정면 얼굴로 판단할 수 있다.
그리고 정면 얼굴 판단부(600)는 신뢰성을 높이기 위하여 복수 개의 얼굴 특징군에 대한 유사도를 모두 산출하고, 유사도가 기준 유사도보다 높은 얼굴 특징군의 수가 미리 정해진 기준 수보다 많은 얼굴 영상을 정면 얼굴로 판단할 수 있다.
예컨대, 복수 개의 얼굴 특징군이 눈, 콧구멍 및 입꼬리와 같이 3개의 얼굴 특징군으로 이루어진 경우, 유사도 산출부(500)는 눈, 콧구멍 및 입꼬리의 좌우 영역 간의 유사도를 모두 산출하고, 정면 얼굴 판단부(600)는 산출된 3개의 얼굴 특징군에 대한 유사도 중에서 기준 유사도보다 높은 얼굴 특징군이 2개 이상 있는 경우, 해당 얼굴 영상을 정면 얼굴로 판단할 수 있다. 이때 3개의 얼굴 특징군에 대한 유사도가 모두 기준 유사도보다 높을 경우 가장 정면에 가까운 얼굴로 판단할 수 있다.
그리고 복수 개의 얼굴 특징군에 대한 유사도가 산출된 이후에는, 신규로 촬영되거나 입력되는 얼굴 영상에 대하여 복수 개의 얼굴 특징군 중 유사도가 가장 높은 얼굴 특징군이 정면 얼굴을 판단하는데 이용될 수 있다.
보다 자세하게는, 연산 속도를 향상시키기 위하여 눈, 콧구멍 및 입꼬리에 대한 유사도를 모두 산출하여 얼굴 영상이 정면 얼굴인지 아닌지를 판단한 이후에는 눈, 콧구멍 및 입꼬리 중에서 가장 유사도가 높은 얼굴 특징군만을 이용하여 정면 얼굴을 판단할 수 있다. 예를 들어, 눈, 콧구멍 및 입꼬리에 대한 유사도가 각각 0.5, 0.8, 0.7로 산출된 경우, 산출된 눈, 콧구멍 및 입꼬리에 대한 유사도를 비교하여 정면 얼굴을 판단하고, 그 이후 신규로 촬영된 얼굴 영상에 대해서는 콧구멍에 대한 유사도만을 산출하여 정면 얼굴을 판단하는데 이용할 수 있다.
이러한 경우, 유사도가 가장 높은 얼굴 특징군만을 이용하여 정면 얼굴을 판단할 수 있기 때문에 처리 속도 및 연산량을 더욱 줄일 수 있는 장점이 있다.
얼굴 방향 계산부(700)는 정면 얼굴 판단부(600)에서 판단된 정면 얼굴을 기준으로 운전자의 얼굴 방향 각도를 계산할 수 있다.
도 5는 본 발명의 일 실시예에 따른 얼굴 방향 각도를 계산하기 위한 예시도이다.
도 5를 참고하면, (a)는 운전자가 우측 방향을 바라보고 있는 경우를 나타내고, (b)는 운전자가 정면 방향을 바라보고 있는 경우를 나타내며, (c)는 운전자가 좌측 방향을 바라보고 있는 경우를 나타낸다.
도 5에서 녹색 사각형은 얼굴 영상에서 검출된 우측 눈 영역 및 좌측 눈 영역을 나타내고, 파란색 사각형은 얼굴 영상에서 검출된 코 영역을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 얼굴 방향 각도 계산 알고리즘을 설명하기 위해 제공되는 도면이다.
도 6을 참조하면, 우측 눈 영역(ER)에서 중심점(P1)의 x 좌표값(xP1)을 구하고, 좌측 눈 영역(EL)에서 중심점(P2)의 x 좌표값(xP2)을 구하고, 코 영역(N)에서 중심점(N1)의 x 좌표값(xN1)을 구할 수 있다.
그러면 각 영역의 중심점의 x 좌표값을 아래 [수식 2]에 적용함으로써 얼굴 방향 계산부(700)는 운전자의 얼굴 방향 각도를 계산할 수 있다. 물론 카메라(100)가 운전자의 얼굴 정면에 설치된 경우, 운전자가 정면을 바라볼 때 [수식 2]에 의해 구해지는 얼굴 방향 각도가 0°로 구해질 수 있으나, 실제 카메라(100)는 운전자 얼굴의 정면에 장착되기 어려우므로 얼굴 방향 각도를 보정할 필요가 있다.
[수식 2]
Figure 112017028535689-pat00008
Figure 112017028535689-pat00009
여기서, r은 정면을 기준으로 얼굴 방향이 이루는 각도이고, xN1은 코 영역 중심의 x 좌표값, xP1은 우측 눈 영역 중심의 x 좌표값, xP2는 좌측 눈 영역 중심의 x 좌표값이며, r > 0 이면 얼굴 방향이 우측 방향을 이루고, r < 이면 얼굴 방향이 좌측 방향이다.
[수식 2]에 의하면 각 영역의 중심점의 x 좌표값에 대해서만 계산에 이용하므로, y 좌표값은 이용하지 않아도 되어 종래 알고리즘보다 계산이 보다 간단해지면서도, 운전자가 전방 주시를 하고 있지 않은 정도를 검출하는데 충분한 정확도를 제공할 수 있다.
부주의 판단부(800)는 얼굴 방향 각도를 이용하여 운전자의 부주의 여부를 판단할 수 있다. 운전자가 부주의한 것으로 판단되면, 부주의 판단부(800)는 경고부(900)를 통해 운전자의 주의를 환기시키도록 경고를 발생시킬 수 있다.
경고부(900)는 시각적 방법, 촉각적 방법, 청각적 방법 또는 복합적인 방법으로 경고를 출력할 수 있는 장치가 이용될 수 있다. 예컨대 경고부(900)는 스피커, LED 램프 또는 진동 모터 등이 이용될 수 있다. 진동 모터는 핸들에 진동을 주거나 사용자가 착석한 의자에 진동을 줄 수 있게 설치할 수 있다.
도 7은 본 발명의 일 실시예에 따른 정면 얼굴 판단 과정을 보여주는 도면이다.
도 7을 참조하면, 사용자의 얼굴을 촬영하여 얼굴 영상을 촬영할 수 있다(S700).
운전자 지원에 적용할 경우 카메라(100)는 운전자의 얼굴을 촬영할 수 있도록 차량의 실내에 설치될 수 있다. 운전자가 운전석에 앉아서 정면을 바라볼 때 운전자의 정면 얼굴을 촬영할 수 있는 위치에 카메라(100)가 설치되는 것이 바람직하나, 운전자가 운전할 때 전방을 주시하는데 장애가 되지 않는 위치에 설치될 수도 있다.
다음으로, 촬영된 얼굴 영상에서 대칭을 이루고 있는 얼굴 특징군의 좌우 영역을 검출할 수 있다(S702).
보다 자세하게는, 카메라에서 촬영된 얼굴 영상에 대해 이미지 전처리, 예상 얼굴 영역 라벨링 또는 얼굴 영역 획득 등의 작업을 거쳐서 얼굴 영상에서 운전자의 얼굴 영역을 검출한 후, 검출된 얼굴 영역에서 얼굴 특징군의 좌우 영역을 검출해낼 수 있다. 그리고 얼굴 특징군별로 좌우 영역을 미리 정해진 직사각형으로 동일한 사이즈를 가지게 검출할 수 있다. 예컨대 눈에 대해서는 3*4 사이즈를 가지는 직사각형으로 검출 영역이 정해질 수 있고, 콧구멍에 대해서는 2*3 사이즈를 가지는 직사각형으로 검출 영역으로 정해질 수 있으며, 얼굴 특징군에 따라 좌우 영역을 검출하는 사이즈가 다르게 정해질 수 있다.
이미지 전처리를 위하여 가우시안 필터(Gaussian Filter), 중간값 필터(Median Filter), 그라디언트(Gradient) 또는 히스토그램 균등화(Histogram Equalization) 등의 방식이 사용될 수 있으며, 얼굴 영상에서 얼굴 영역을 검출해내는 방법은 공지된 방법이 이용될 수 있다.
그리고 얼굴 특징군은 눈, 콧구멍 및 입꼬리 중 적어도 하나를 포함할 수 있고, 하르 분류기(Haar Classifier), SVM(Support Vector Machine) 또는 템플릿 기법 등을 사용하여 얼굴 영역에서 얼굴 특징군의 좌우 영역을 검출할 수 있는데, 하기에서 설명할 유사도 산출 시 최적의 값이나 최적의 효과를 도출하기 위하여 얼굴 특징별로 좌우 같은 크기의 ROI(Region of Interest)를 검출할 수 있다.
그 다음, 검출된 얼굴 특징군의 좌우 영역 중 어느 한 영역을 좌우 반전(S702)시키고, 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출할 수 있다(S703). 즉 검출된 얼굴 특징군의 좌우 영역 중 어느 한 영역을 좌우 반전시키고, 좌우 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출할 수 있다.
여기서, 검출된 얼굴 특징군의 좌우 영역 중 좌 영역을 좌우 반전시킨 경우, 반전되지 않은 나머지 영역은 얼굴 특징군의 우 영역이고, 얼굴 특징군의 좌우 영역 중 우 영역을 좌우 반전시킨 경우, 반전되지 않은 나머지 영역은 얼굴 특징군의 좌 영역일 수 있다.
유사도 산출 과정에 대하여 구체적으로 설명하면, 히스토그램 비교, 템플릿 매칭 또는 피처 패칭 등을 이용하여 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출할 수 있고, 다양한 유사도 비교 방법에서 사용되는 임계치(threshold)를 적절히 조절하여 정면 얼굴로 판단할 yaw(좌우 방향), roll(얼굴 기울기), pitch(상하 방향)의 유효 범위를 설정할 수 있다.
본 발명의 일 실시예에서는 템플릿 매칭 기법 중 정규화된 상호 상관(Normalized Cross Correlation) 방법을 이용하여 눈, 콧구멍 및 입꼬리 좌우 영역 간의 유사도를 비교하도록 한다.
얼굴 모델과 대응되는 얼굴 영상의 부분 영역(얼굴 특징군의 좌우 영역) 간의 유사도를 나타내는 상관계수 r 값은 영상 offset(u, v)에서 하기의 [수식 1]과 같이 주어진다.
[수식 1]
Figure 112017028535689-pat00010
여기서,
Figure 112017028535689-pat00011
는
Figure 112017028535689-pat00012
에서의 영상 밝기,
Figure 112017028535689-pat00013
는 상대적인 offset
Figure 112017028535689-pat00014
에서 대응되는 모델 밝기 및
Figure 112017028535689-pat00015
는 모델 화소의 개수이다.
본 발명의 일 실시예에서는 눈, 콧구멍 및 입꼬리의 특징별 검출 영역이 같이 때문에 u, v 값은 0이 되고, 상대 offset
Figure 112017028535689-pat00016
도 각각 0이 됨으로써 한 번의 비교로 빠르게 상관계수 r 값을 산출할 수 있다. 상관계수 r 값은 0 ~ 1 사이의 값을 가지며 r 값이 클수록 정면 얼굴로 매칭될 확률이 높다고 볼 수 있다.
이와 같이, 상관계수 r 값을 조절함으로써 정면 얼굴의 판단 범위를 조절할 수 있다. 즉 방향이 약간 좌우로 방향성을 가지고 있어도 정면 얼굴로 판단할 수 있다.
그리고 눈의 좌우 영역을 비교하여 유사도를 나타내는 지표인 상관계수 r_eye를 산출하고, 콧구멍의 좌우 영역을 비교하여 상관계수 r_nose를 산출하고, 입꼬리의 좌우 영역을 비교하여 상관계수 r_mouth를 산출할 수 있다.
그런 후, 산출된 유사도를 기초로 얼굴 영상이 정면 얼굴인지 판단할 수 있다(S704).
보다 자세하게는, 눈, 콧구멍 및 입꼬리의 특징 중 한가지의 유사성 비교만으로도 얼굴 영상이 정면 얼굴인지 판단할 수 있는데, 예컨대, 입꼬리의 좌우 영역에 대한 유사도가 미리 정해진 기준 유사도보다 높으면, 얼굴 영상을 정면 얼굴로 판단할 수 있다.
그리고 신뢰성을 높이기 위하여 복수 개의 얼굴 특징군에 대한 유사도를 모두 산출하고, 유사도가 기준 유사도보다 높은 얼굴 특징군의 수가 미리 정해진 기준 수보다 많은 얼굴 영상을 정면 얼굴로 판단할 수 있다.
예컨대, 복수 개의 얼굴 특징군이 눈, 콧구멍 및 입꼬리와 같이 3개의 얼굴 특징군으로 이루어진 경우, 눈, 콧구멍 및 입꼬리의 좌우 영역 간의 유사도를 모두 산출하고, 산출된 3개의 얼굴 특징군에 대한 유사도 중에서 기준 유사도보다 높은 얼굴 특징군이 2개 이상 있는 경우, 해당 얼굴 영상을 정면 얼굴로 판단할 수 있다. 이때 3개의 얼굴 특징군에 대한 유사도가 모두 기준 유사도보다 높을 경우 가장 정면에 가까운 얼굴로 판단할 수 있다.
그리고 복수 개의 얼굴 특징군에 대한 유사도가 산출된 이후에는, 신규로 촬영되거나 입력되는 얼굴 영상에 대하여 복수 개의 얼굴 특징군 중 유사도가 가장 높은 얼굴 특징군이 정면 얼굴을 판단하는데 이용될 수 있다.
보다 자세하게는, 연산 속도를 향상시키기 위하여 눈, 콧구멍 및 입꼬리에 대한 유사도를 모두 산출하여 얼굴 영상이 정면 얼굴인지 아닌지를 판단한 이후에는 눈, 콧구멍 및 입꼬리 중에서 가장 유사도가 높은 얼굴 특징군만을 이용하여 정면 얼굴을 판단할 수 있다. 예를 들어, 눈, 콧구멍 및 입꼬리에 대한 유사도가 각각 0.5, 0.8, 0.7로 산출된 경우, 산출된 눈, 콧구멍 및 입꼬리에 대한 유사도를 비교하여 정면 얼굴을 판단하고, 그 이후 신규로 촬영된 얼굴 영상에 대해서는 콧구멍에 대한 유사도만을 산출하여 정면 얼굴을 판단하는데 이용할 수 있다.
이러한 경우, 유사도가 가장 높은 얼굴 특징군만을 이용하여 정면 얼굴을 판단할 수 있기 때문에 처리 속도 및 연산량을 더욱 줄일 수 있는 장점이 있다.
한편, 정면 얼굴 판단 장치(1)가 지능형 운전자 지원 시스템(Advanced Driver Assistance System: ADAS)과 같이 운전자 지원에 적용될 경우, 판단된 정면 얼굴을 기준으로 얼굴 방향 각도를 계산(S705)하고, 계산된 얼굴 방향 각도를 이용하여 운전자의 부주의 여부를 판단할 수 있다(S706).
그리고 운전자가 부주의한 것으로 판단(S707-Y)되면, 운전자의 주의를 환기시키도록 경고를 발생시킬 수 있다(S708).
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 정면 얼굴 판단 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
1: 정면 얼굴 판단 장치
100: 카메라
200: 얼굴 영역 검출부
300: 얼굴 특징군 검출부
400: 반전부
500: 유사도 산출부
600: 정면 얼굴 판단부

Claims (10)

  1. 제1 얼굴 영상을 촬영하는 촬영 단계,
    상기 촬영된 제1 얼굴 영상에서 대칭을 이루고 있는 눈, 콧구멍 및 입꼬리로 이루어진 복수의 얼굴 특징군의 좌우 영역을 각각 검출하는 제1 검출 단계,
    상기 검출된 복수의 얼굴 특징군의 좌우 영역 중 어느 한 영역을 각각 좌우 반전시키는 제1 반전 단계,
    상기 복수의 얼굴 특징군 각각에 대하여 상기 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 모두 산출하는 제1 유사도 산출 단계,
    상기 산출된 유사도가 미리 정해진 기준 유사도보다 높은 복수의 얼굴 특징군의 수가 미리 정해진 기준 수보다 많으면, 상기 제1 얼굴 영상을 정면 얼굴로 판단하는 제1 정면 얼굴 판단 단계,
    신규로 촬영되거나 입력되는 제2 얼굴 영상이 있는 경우, 상기 제2 얼굴 영상에 대하여 상기 제1 유사도 산출 단계에서 산출된 유사도가 가장 높은 얼굴 특징군의 좌우 영역을 검출하는 제2 검출 단계,
    상기 제2 검출 단계에서 검출된 얼굴 특징군의 좌우 영역 중 어느 한 영역을 좌우 반전시키는 제2 반전 단계,
    상기 제2 반전 단계에서 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출하는 제2 유사도 산출 단계, 그리고
    상기 제2 유사도 산출 단계에서 산출된 유사도가 상기 기준 유사도보다 높으면, 상기 제2 얼굴 영상을 상기 정면 얼굴로 판단하는 제2 정면 얼굴 판단 단계를 포함하는 정면 얼굴 판단 방법.
  2. 삭제
  3. 제 1 항에서,
    상기 검출된 얼굴 특징군의 좌우 영역 중 좌 영역을 좌우 반전시킨 경우, 상기 반전되지 않은 나머지 영역은 상기 얼굴 특징군의 우 영역이고,
    상기 검출된 얼굴 특징군의 좌우 영역 중 우 영역을 좌우 반전시킨 경우, 상기 반전되지 않은 나머지 영역은 상기 얼굴 특징군의 좌 영역인 정면 얼굴 판단 방법.
  4. 삭제
  5. 삭제
  6. 제1 얼굴 영상을 촬영하는 카메라(100),
    상기 촬영된 제1 얼굴 영상에서 대칭을 이루고 있는 눈, 콧구멍 및 입꼬리로 이루어진 복수의 얼굴 특징군의 좌우 영역을 각각 검출하는 얼굴 특징군 검출부(300),
    상기 검출된 복수의 얼굴 특징군의 좌우 영역 중 어느 한 영역을 각각 좌우 반전시키는 반전부(400),
    상기 복수의 얼굴 특징군 각각에 대하여 상기 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 모두 산출하는 유사도 산출부(500), 그리고
    상기 산출된 유사도가 미리 정해진 기준 유사도보다 높은 복수의 얼굴 특징군의 수가 미리 정해진 기준 수보다 많으면, 상기 제1 얼굴 영상을 정면 얼굴로 판단하는 정면 얼굴 판단부(600)를 포함하고,
    상기 얼굴 특징군 검출부(300)는,
    신규로 촬영되거나 입력되는 제2 얼굴 영상이 있는 경우, 상기 유사도 산출부(500)에서 산출된 유사도가 가장 높은 얼굴 특징군의 좌우 영역을 검출하고,
    상기 반전부(400)는,
    상기 검출된 얼굴 특징군의 좌우 영역 중 어느 한 영역을 좌우 반전시키고,
    상기 유사도 산출부(500)는,
    상기 반전된 어느 한 영역과 반전되지 않은 나머지 영역 간의 유사도를 산출하고,
    상기 정면 얼굴 판단부(600)는,
    상기 산출된 유사도가 상기 기준 유사도보다 높으면, 상기 제2 얼굴 영상을 상기 정면 얼굴로 판단하는 정면 얼굴 판단 장치.
  7. 삭제
  8. 제 6 항에서,
    상기 검출된 얼굴 특징군의 좌우 영역 중 좌 영역을 좌우 반전시킨 경우, 상기 반전되지 않은 나머지 영역은 상기 얼굴 특징군의 우 영역이고,
    상기 검출된 얼굴 특징군의 좌우 영역 중 우 영역을 좌우 반전시킨 경우, 상기 반전되지 않은 나머지 영역은 상기 얼굴 특징군의 좌 영역인 정면 얼굴 판단 장치.
  9. 삭제
  10. 삭제
KR1020170036329A 2017-03-22 2017-03-22 정면 얼굴 판단 방법 및 장치 KR101786579B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170036329A KR101786579B1 (ko) 2017-03-22 2017-03-22 정면 얼굴 판단 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170036329A KR101786579B1 (ko) 2017-03-22 2017-03-22 정면 얼굴 판단 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101786579B1 true KR101786579B1 (ko) 2017-10-18

Family

ID=60296272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170036329A KR101786579B1 (ko) 2017-03-22 2017-03-22 정면 얼굴 판단 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101786579B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200108196A (ko) * 2019-03-08 2020-09-17 동국대학교 산학협력단 운전자 부주의 측정 장치와 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007271554A (ja) 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 顔姿勢検出方法
KR101491832B1 (ko) * 2014-05-23 2015-02-12 동국대학교 산학협력단 영상 선택 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007271554A (ja) 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 顔姿勢検出方法
KR101491832B1 (ko) * 2014-05-23 2015-02-12 동국대학교 산학협력단 영상 선택 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200108196A (ko) * 2019-03-08 2020-09-17 동국대학교 산학협력단 운전자 부주의 측정 장치와 방법
KR102236469B1 (ko) * 2019-03-08 2021-04-07 동국대학교 산학협력단 운전자 부주의 측정 장치와 방법

Similar Documents

Publication Publication Date Title
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
WO2020087743A1 (zh) 非机动车交通违法监管方法、装置及电子设备
JP2022140519A (ja) プログラム、ヘルメット着用判定システム、ヘルメット着用判定方法
US9928404B2 (en) Determination device, determination method, and non-transitory storage medium
JP5482737B2 (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
CN104573623B (zh) 人脸检测装置、方法
JP5790762B2 (ja) 瞼検出装置
JP7240910B2 (ja) 乗員観察装置
KR102161908B1 (ko) 운전자 상태 모니터링 방법 및 장치
US20180039826A1 (en) Direction discrimination device and direction discrimination method
JP6213435B2 (ja) 注意過多状態判定装置及び注意過多状態判定プログラム
EP4439490A1 (en) Distracted driving detection method, vehicle-mounted controller, and computer storage medium
KR101786579B1 (ko) 정면 얼굴 판단 방법 및 장치
CN110892446A (zh) 分析装置、分析方法和程序
KR20170028631A (ko) 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치
KR101680833B1 (ko) 보행자 검출 경보 장치 및 방법
JP2020149507A (ja) 乗員観察装置
KR101798860B1 (ko) 얼굴 방향 검출 장치 및 방법
JP2022072972A (ja) 視線誘導装置
JP6863461B2 (ja) 解析装置、解析方法及びプログラム
US20240351521A1 (en) Driver monitoring device, driver monitoring method and driver monitoring computer program
JP7276013B2 (ja) 画像解析装置、画像解析方法、及びプログラム
US20220324475A1 (en) Driving support device, moving apparatus, driving support method, and storage medium
JP2024112560A (ja) 運転手用の行動評価装置及び方法
Kaur et al. Driver’s Drowsiness Detection System Using Machine Learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant