KR102371119B1 - 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법 - Google Patents

얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법 Download PDF

Info

Publication number
KR102371119B1
KR102371119B1 KR1020170153560A KR20170153560A KR102371119B1 KR 102371119 B1 KR102371119 B1 KR 102371119B1 KR 1020170153560 A KR1020170153560 A KR 1020170153560A KR 20170153560 A KR20170153560 A KR 20170153560A KR 102371119 B1 KR102371119 B1 KR 102371119B1
Authority
KR
South Korea
Prior art keywords
driver
state
driving
emotional state
normal
Prior art date
Application number
KR1020170153560A
Other languages
English (en)
Other versions
KR20190056520A (ko
Inventor
박상현
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020170153560A priority Critical patent/KR102371119B1/ko
Publication of KR20190056520A publication Critical patent/KR20190056520A/ko
Application granted granted Critical
Publication of KR102371119B1 publication Critical patent/KR102371119B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/81—Braking systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전자의 눈 깜박임 상태, 전방 주시 상태 외에도 얼굴 표정으로부터 파악한 가수면 상태와 운전자의 얼굴 특징을 검출하여 파악한 운전자의 감정 상태로부터 운전자의 전방 집중도를 판별하는 방법 및 이를 적용한 시스템이 제공된다. 본 전방 집중도 분석 방법은 운전자의 눈 깜박임 상태를 판별하는 단계; 운전자의 눈 깜박임 상태가 정상이면, 운전자의 전방 주시 상태를 판별하는 단계; 운전자의 전방 주시 상태가 정상이면, 운전자의 감정 상태를 파악하는 단계; 및 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 단계;를 포함한다.
이에 의해, 운전자의 눈 깜박임 상태, 전방 주시 상태 외에도 얼굴 표정으로부터 파악한 가수면 상태와 운전자의 얼굴 특징을 검출하여 파악한 운전자의 감정 상태로부터 운전자의 전방 집중도를 판별하여, 최상의 안전 운전을 지원할 수 있게 된다.

Description

얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법{Analysis Method for Forward Concentration using a Facial Expression Recognition Technology}
본 발명은 차량 안전 기술에 관한 것으로, 더욱 상세하게는 차량 내에 설치된 영상 센서를 이용하여 운전자 표정 인식을 통해 전방 집중도를 판별하는 방법에 관한 것이다.
도 1은 종래의 운전자 집중도 분석 방법의 설명에 제공되는 흐름도이다. 도 1에 도시된 바와 같이, 종래 기술에서는, 입력되는 영상 프레임에서 운전자의 얼굴 영역을 검출한 후, 다시 눈 영역에서 눈 깜빡임을 검출한다. 그리고, 검출된 눈 깜빡임을 분석하여 졸음 여부를 판단하고, 졸음 운전으로 판단되는 경우에는, 경고를 출력한다.
하지만, 이와 같은 방식의 졸음 운전 판단은, 가수면 상태, 이를 테면, 눈을 뜨고 자는 상태를 판별할 수 없다. 가수면 상태는 운전자의 눈 깜빡임을 통해서는 판별할 수 없기 때문이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 운전자의 눈 깜박임 상태, 전방 주시 상태 외에도 얼굴 표정으로부터 파악한 가수면 상태와 운전자의 얼굴 특징을 검출하여 파악한 운전자의 감정 상태로부터 운전자의 전방 집중도를 판별하는 방법 및 이를 적용한 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전방 집중도 분석 방법은 운전자의 눈 깜박임 상태를 판별하는 단계; 운전자의 눈 깜박임 상태가 정상이면, 운전자의 전방 주시 상태를 판별하는 단계; 운전자의 전방 주시 상태가 정상이면, 운전자의 감정 상태를 파악하는 단계; 및 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 단계;를 포함한다.
감정 상태 파악단계는, 운전자의 표정을 검출하여 운전자가 가수면 상태인지 판단하는 단계; 및 운전자가 가수면 상태가 아닌 것으로 판단되면, 운전자의 감정 상태를 판단하는 단계;를 포함할 수 있다.
감정 상태 판단 단계는, 운전자의 얼굴 영상에서 추출한 특징을 DB에 저장된 감정 상태에 따라 매칭된 특징들과 비교하여, 운전자의 감정 상태를 판단하는 것일 수 있다.
감정 상태는, 기쁨, 슬픔, 분노, 흥분, 공포 중 적어도 하나를 포함하는 것일 수 있다.
전방 집중도 판별 단계는, 판단된 감정 상태가 운전에 부적합한 것으로 기설정된 감정 상태이면, 운전자의 운전 패턴을 파악하는 단계; 및 운전자의 운전 패턴으로부터 운전자가 운전에 부적합한 상태인지 분석하는 단계;를 포함할 수 있다.
분석 단계는, 현재 타임 프레임에서의 운전 패턴과 이전 타임 프레임들에서의 운전 패턴과 비교하여 계산한 일치도를 기초로 운전자가 운전에 부적합한 상태인지 분석하는 것일 수 있다.
본 실시예에 따른 전방 집중도 분석 방법은 운전자의 전방 집중도가 기준 이하이면, 안전 운전을 위한 조치를 수행하는 단계;를 더 포함할 수 있다.
안전 운전을 위한 조치는, 추돌 경고 시스템(FCWS, Forward Collision Warning System) 가동, 차선 이탈 경고 시스템(LDWS, Lane Departure Warning System) 가동 및 긴급 제동 시스템(Autonomous Emergency Braking System) 중 적어도 하나를 포함할 수 있다.
운전자의 눈 깜박임, 전방 주시 상태 및 표정은, 차량에 설치된 하나의 영상 센서를 이용하여 획득하는 것일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 전방 집중도 분석 시스템은 운전자를 촬영하여 운전자 영상을 생성하는 영상 센서; 및 운전자 영상으로부터, 운전자의 눈 깜박임 상태를 판별하고, 운전자의 눈 깜박임 상태가 정상이면 운전자 영상으로부터 운전자의 전방 주시 상태를 판별하며, 운전자의 전방 주시 상태가 정상이면 운전자 영상으로부터 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하고, 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 프로세서;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 전방 집중도 분석 방법은 운전자의 눈 깜박임 상태와 전방 주시 상태가 정상이면, 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하는 단계; 및 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 단계;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 전방 집중도 분석 시스템은 운전자의 눈 깜박임 상태와 전방 주시 상태가 정상이면 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하고, 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 프로세서; 및 프로세서에서 판별한 운전자의 전방 집중도를 이용하여, 안전 운전을 위한 조치를 수행하는 ADAS(Advanced Driver Assistance System);을 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 운전자의 눈 깜박임 상태, 전방 주시 상태 외에도 얼굴 표정으로부터 파악한 가수면 상태와 운전자의 얼굴 특징을 검출하여 파악한 운전자의 감정 상태로부터 운전자의 전방 집중도를 판별하여, 최상의 안전 운전을 지원할 수 있게 된다.
도 1은 종래의 운전자 집중도 분석 방법의 설명에 제공되는 흐름도,
도 2는 본 발명의 일 실시예에 따른 운전자 전방 집중도 분석 시스템의 블럭도,
도 3은 본 발명의 다른 실시예에 따른 운전자 전방 집중도 분석 방법의 설명에 제공되는 흐름도,
도 4는 차량에 구현되는 운전자 전방 집중도 분석 시스템의 실제예를 제시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 운전자 전방 집중도 분석 시스템의 블럭도이다. 본 발명의 실시예에 따른 운전자 전방 집중도 분석 시스템은, 최상의 안전 운전 지원을 위한 방편으로, 운전자의 전방 집중도를 보다 다양한 측면에서 판별한다.
이를 위한, 본 발명의 실시예에 따른 운전자 전방 집중도 분석 시스템은, 도 2에 도시된 바와 같이, 영상 센서(110), 프로세서(120), 저장부(130) 및 차량 제어부(140)를 포함한다.
영상 센서(110)는 운전자를 촬영하여 운전자 영상을 생성하기 위한 카메라이다. 프로세서(120)는 운전자 영상에서 운전자의 눈 깜박임 상태, 전방 주시 상태를 파악하여 정상인지 판별한다.
또한, 프로세서(120)는 운전자의 표정을 검출하여 운전자가 가수면 상태인지 판단하고, 운전자의 얼굴 특징을 추출하여 감정 상태를 파악하여 전방 집중도를 판별한다.
차량 제어부(140)는 운전자의 운전 패턴을 파악하여 운전자의 전방 집중도를 판별을 보조한다. 또한, 차량 제어부(140)는 안전 운전을 위한 조치/제어를 수행한다.
저장부(130)는 운전자의 전방 집중도 판별에 필요한 정보가 저장되어 있는 저장매체이다.
이하에서는, 도 2에 도시된 시스템에 의해 운전자 전방 집중도를 분석하고, 그에 따른 안전 운전 조치를 수행하는 과정에 대해 도 3을 참조하여 상세히 설명한다. 도 3은 본 발명의 다른 실시예에 따른 운전자 전방 집중도 분석 방법의 설명에 제공되는 흐름도이다.
도 3에 도시된 바와 같이, 먼저, 영상 센서(110)가 운전자를 촬영하여 운전자 영상을 생성한다(S210).
그러면, 프로세서(120)는 운전자 영상에서 얼굴 영역을 검출하고, 얼굴 영역에서 눈 영역을 다시 검출한 후, 운전자의 눈 깜박임 상태가 정상인지 판별한다(S220).
S220단계에서 운전자의 눈 깜박임 상태가 비정상인 경우(S220-N), 즉 운전자가 졸음 상태인 경우에는, 차량 제어부(140)에 의한 안전 운전 조치가 수행된다(S300).
반면, S220단계에서 운전자의 눈 깜박임 상태가 정상인 경우(S220-Y), 즉 운전자가 졸음 상태가 아닌 경우, 프로세서(120)는 운전자의 전방 주시 상태를 판별한다(S230).
운전자의 전방 주시 상태가 비정상인 경우(S230-N), 즉 운전자가 전방을 주시하고 있지 않은 경우에도, 차량 제어부(140)에 의한 안전 운전 조치가 수행된다(S300).
반면, S230단계에서 운전자의 전방 주시 상태가 정상인 경우(S220-Y), 즉 운전자가 전방을 주시하고 있는 경우, 프로세서(120)는 운전자의 표정을 검출하여 운전자가 가수면 상태인지 판단한다(S240).
S240단계에서 운전자가 가수면 상태, 눈을 뜨고 자는 상태인 것으로 판단되면(S250-Y), 차량 제어부(140)에 의한 안전 운전 조치가 수행된다(S300).
반면, S240단계에서 운전자가 가수면 상태가 아닌 경우(S250-N), 프로세서(120)는 운전자의 감정 상태를 파악한다(S260).
S250단계에서의 감정 상태 파악은, 운전자 영상에서 검출한 운전자의 얼굴 영역으로부터 특징을 추출하고, 추출한 특징을 저장부(130)의 감정 DB에 구축되어 있는 감정 상태에 따라 매칭된 특징들과 비교하여, 일치도가 가장 높은 감정 상태를 결정하는 과정에 의한다.
S250단계에서 파악하는 감정 상태는, 기쁨, 슬픔, 분노, 흥분, 공포 등을 포함하는데, 필요와 구현에 따라 그 밖의 다른 감정 상태가 더 포함될 수 있음은 물론이다.
다음, 프로세서(120)와 차량 제어부(140)는, S250단계에서 파악된 운전자의 감정 상태를 기반으로, 운전자의 전방 집중도를 판별한다.
구체적으로, 프로세서(120)에 의해 S250단계에서 파악된 감정 상태가 운전에 부적합한 감정 상태이면(S270-Y), 차량 제어부(140)는 운전자의 운전 패턴을 파악한다(S280).
운전에 부적합한 감정 상태는 감정의 정도가 임계치를 넘어서는 상태로, 기설정되어 저장부(130)에 저장되어 있다.
다음, S280단계에서 파악된 운전 패턴 파악으로부터 운전자가 운전에 부적합한 상태인지 분석한다(S290). S270단계에서의 분석은 운전자의 운전 패턴이 이전의 운전 패턴과 유사한지 아니면 상이한지 여부를 판단하는 과정이다.
이를 위해, S290단계에서는, 현재 타임 프레임에서의 운전 패턴과 이전 타임 프레임들에서의 운전 패턴과 비교하여 계산한 일치도를 기초로 운전자가 운전에 부적합한 상태인지 판단한다.
S280단계에 파악된 운전 패턴으로부터 운전에 부적합한 상태로 판단되면(S290-Y). 운전자의 전방 집중도가 기준 이하로 떨어지는 것으로 판단하여, 차량 제어부(140)에 의한 안전 운전 조치가 수행된다(S300).
S300단계에서 차량 제어부(140)에 의해 수행되는 안전 운전 조치는, 추돌 경고 시스템(FCWS, Forward Collision Warning System) 가동, 차선 이탈 경고 시스템(LDWS, Lane Departure Warning System) 가동 및 긴급 제동 시스템(Autonomous Emergency Braking System) 등을 포함한다.
지금까지, 운전자 전방 집중도 분석 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
도 4에는 차량에 구현되는 운전자 전방 집중도 분석 시스템의 실제예를 제시하였다.
본 발명의 실시예에서는, 차량 내에 설치된 영상센서를 이용하여 운전자 표정인식, 얼굴특징을 추출/분석하여 운전자의 전방 집중도를 분석하고, 이를 활용하여 경고/제어하는 방법을 제시하였다.
특히, 본 발명의 실시예들에 따르면, 가수면 상태, 부적합한 감정 상태, 부적합한 운전 패턴과 같이, 운전자의 전방 집중도가 떨어지는 경우를 정확하게 판별할 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 영상 센서
120 : 프로세서
130 : 저장부
140 : 차량 제어부

Claims (12)

  1. 운전자의 눈 깜박임 상태를 판별하는 단계;
    운전자의 눈 깜박임 상태가 정상이 아니면, 안전 운전을 위한 조치를 수행하는 단계;
    운전자의 눈 깜박임 상태가 정상이면, 운전자의 전방 주시 상태를 판별하는 단계;
    운전자의 전방 주시 상태가 정상이 아니면, 안전 운전을 위한 조치를 수행하는 단계;
    운전자의 전방 주시 상태가 정상이면, 운전자의 감정 상태를 파악하는 단계;
    파악된 감정 상태가 운전에 부적합한 것으로 기설정된 감정 상태이면, 운전자의 운전 패턴을 파악하는 단계;
    운전자의 운전 패턴으로부터 운전자가 운전에 부적합한 상태인지 분석하여, 운전자의 전방 집중도를 판별하는 단계; 및
    운전자의 전방 집중도가 기준 이하이면, 안전 운전을 위한 조치를 수행하는 단계;를 포함하고,
    파악된 감정 상태가 기설정된 감정 상태가 아니면, 운전 패턴과 무관하게 안전 운전을 위한 조치를 수행하지 않는 것을 특징으로 하는 전방 집중도 분석 방법.
  2. 청구항 1에 있어서,
    감정 상태 파악단계는,
    운전자의 표정을 검출하여 운전자가 가수면 상태인지 판단하는 단계; 및
    운전자가 가수면 상태가 아닌 것으로 판단되면, 운전자의 감정 상태를 판단하는 단계;를 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  3. 청구항 2에 있어서,
    감정 상태 판단 단계는,
    운전자의 얼굴 영상에서 추출한 특징을 DB에 저장된 감정 상태에 따라 매칭된 특징들과 비교하여, 운전자의 감정 상태를 판단하는 것을 특징으로 하는 전방 집중도 분석 방법.
  4. 청구항 3에 있어서,
    감정 상태는,
    기쁨, 슬픔, 분노, 흥분, 공포 중 적어도 하나를 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  5. 삭제
  6. 청구항 1에 있어서,
    분석 단계는,
    현재 타임 프레임에서의 운전 패턴과 이전 타임 프레임들에서의 운전 패턴과 비교하여 계산한 일치도를 기초로 운전자가 운전에 부적합한 상태인지 분석하는 것을 특징으로 하는 전방 집중도 분석 방법.
  7. 삭제
  8. 청구항 1에 있어서,
    안전 운전을 위한 조치는,
    추돌 경고 시스템(FCWS, Forward Collision Warning System) 가동, 차선 이탈 경고 시스템(LDWS, Lane Departure Warning System) 가동 및 긴급 제동 시스템(Autonomous Emergency Braking System) 중 적어도 하나를 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  9. 청구항 1에 있어서,
    운전자의 눈 깜박임, 전방 주시 상태 및 표정은,
    차량에 설치된 하나의 영상 센서를 이용하여 획득하는 것을 특징으로 하는 전방 집중도 분석 방법.
  10. 운전자를 촬영하여 운전자 영상을 생성하는 영상 센서; 및
    운전자 영상으로부터, 운전자의 눈 깜박임 상태를 판별하고, 운전자의 눈 깜박임 상태가 정상이면 운전자 영상으로부터 운전자의 전방 주시 상태를 판별하며, 운전자의 전방 주시 상태가 정상이면 운전자 영상으로부터 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하고, 파악된 감정 상태가 운전에 부적합한 것으로 기설정된 감정 상태이면 운전자의 운전 패턴을 파악하며, 운전자의 운전 패턴으로부터 운전자가 운전에 부적합한 상태인지 분석하여 운전자의 전방 집중도를 판별하는 프로세서;
    프로세서에서 판별한 운전자의 눈 깜박임 상태가 정상이 아니면 안전 운전을 위한 조치를 수행하고, 운전자의 전방 주시 상태가 정상이 아니면 안전 운전을 위한 조치를 수행하며, 운전자의전방 집중도가 기준 이하이면 안전 운전을 위한 조치를 수행하며, 감정 상태가 기설정된 감정 상태가 아니면 운전 패턴과 무관하게 안전 운전을 위한 조치를 수행하지 않는 ADAS(Advanced Driver Assistance System);를 포함하는 것을 특징으로 하는 전방 집중도 분석 시스템.
  11. 운전자의 눈 깜박임 상태가 정상이 아니면, 안전 운전을 위한 조치를 수행하는 단계;
    운전자의 전방 주시 상태가 정상이 아니면, 안전 운전을 위한 조치를 수행하는 단계;
    운전자의 눈 깜박임 상태와 전방 주시 상태가 정상이면, 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하는 단계;
    파악된 감정 상태가 운전에 부적합한 것으로 기설정된 감정 상태이면, 운전자의 운전 패턴을 파악하는 단계;
    운전자의 운전 패턴으로부터 운전자가 운전에 부적합한 상태인지 분석하여, 운전자의 전방 집중도를 판별하는 단계;
    운전자의 전방 집중도가 기준 이하이면, 안전 운전을 위한 조치를 수행하는 단계;를 포함하고,
    파악된 감정 상태가 기설정된 감정 상태가 아니면, 운전 패턴과 무관하게 안전 운전을 위한 조치를 수행하지 않는 것을 특징으로 하는 전방 집중도 분석 방법.
  12. 운전자의 눈 깜박임 상태와 전방 주시 상태가 정상이면 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하고, 파악된 감정 상태가 운전에 부적합한 것으로 기설정된 감정 상태이면 운전자의 운전 패턴을 파악하며, 운전자의 운전 패턴으로부터 운전자가 운전에 부적합한 상태인지 분석하여 운전자의 전방 집중도를 판별하는 프로세서; 및
    프로세서에서 판별한 운전자의 눈 깜박임 상태가 정상이 아니면 안전 운전을 위한 조치를 수행하고, 운전자의 전방 주시 상태가 정상이 아니면 안전 운전을 위한 조치를 수행하며, 운전자의 전방 집중도가 기준 이하이면 안전 운전을 위한 조치를 수행하며, 감정 상태가 기설정된 감정 상태가 아니면 운전 패턴과 무관하게 안전 운전을 위한 조치를 수행하지 않는 ADAS(Advanced Driver Assistance System);을 포함하는 것을 특징으로 하는 전방 집중도 분석 시스템.
KR1020170153560A 2017-11-17 2017-11-17 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법 KR102371119B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170153560A KR102371119B1 (ko) 2017-11-17 2017-11-17 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170153560A KR102371119B1 (ko) 2017-11-17 2017-11-17 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법

Publications (2)

Publication Number Publication Date
KR20190056520A KR20190056520A (ko) 2019-05-27
KR102371119B1 true KR102371119B1 (ko) 2022-03-07

Family

ID=66679346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170153560A KR102371119B1 (ko) 2017-11-17 2017-11-17 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법

Country Status (1)

Country Link
KR (1) KR102371119B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102493790B1 (ko) 2022-11-07 2023-01-31 프랭크엑스 주식회사 인공지능 기반 장소 연계 안면 인식 정보 생성 방법, 장치 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102245319B1 (ko) 2020-11-17 2021-04-28 주식회사 서경산업 원격지 학습자의 집중도를 분석하는 시스템
CN112622892B (zh) * 2020-12-14 2023-03-24 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014238707A (ja) * 2013-06-07 2014-12-18 株式会社デンソー ドライバ状態判定システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101912703B1 (ko) * 2015-10-29 2019-01-14 주식회사 세코닉스 3채널 차량 상황 감시 장치 및 그 방법
KR102224805B1 (ko) * 2015-11-25 2021-03-09 현대자동차주식회사 긴급자동제동시스템 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014238707A (ja) * 2013-06-07 2014-12-18 株式会社デンソー ドライバ状態判定システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102493790B1 (ko) 2022-11-07 2023-01-31 프랭크엑스 주식회사 인공지능 기반 장소 연계 안면 인식 정보 생성 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR20190056520A (ko) 2019-05-27

Similar Documents

Publication Publication Date Title
US20170311863A1 (en) Emotion estimation device and emotion estimation method
KR102371119B1 (ko) 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법
US10748404B2 (en) Method and apparatus for recognising microsleep in a driver of a vehicle
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
US20160262682A1 (en) Driver monitoring apparatus
US9436878B2 (en) Lane mark recognition device
CN111144293A (zh) 带交互式活体检测的人脸身份认证系统及其方法
US10255487B2 (en) Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium
EP2860663A2 (en) Eye part detection apparatus
JP7154959B2 (ja) 走行状況判断情報基盤の運転者状態認識装置及び方法
EP2860665A2 (en) Face detection apparatus, and face detection method
CN108875617A (zh) 辅助驾驶方法和装置、车辆
US20200272810A1 (en) Response apparatus and response method
JP5139470B2 (ja) 眠気度推定装置および眠気度推定方法
US11393249B2 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
CN105989328A (zh) 检测人员使用手持装置的方法及装置
CN110620879A (zh) 一种人脸识别的动态补光装置及方法
KR101956166B1 (ko) 비주얼 큐를 이용하여 비디오 시퀀스에서 토킹 세그먼트를 검출하는 방법 및 장치
EP3000395A1 (en) System and method for monitoring a subject's eye
KR20120132337A (ko) 음성 인식을 이용하는 사용자 인터페이스 제어 장치 및 방법
EP2793102A2 (en) Information processing device
US11315362B2 (en) Emotion-recognition-based service provision apparatus for vehicle and method of controlling the same
CN107273789B (zh) 用于提供警告信号以识别将面临的微睡的方法
US20240212296A1 (en) Head mounted display, control method of head mounted display, and non-transitory computer readable medium
CN113034764A (zh) 门禁控制方法、装置、设备以及门禁系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant