KR20190056520A - 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법 - Google Patents

얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법 Download PDF

Info

Publication number
KR20190056520A
KR20190056520A KR1020170153560A KR20170153560A KR20190056520A KR 20190056520 A KR20190056520 A KR 20190056520A KR 1020170153560 A KR1020170153560 A KR 1020170153560A KR 20170153560 A KR20170153560 A KR 20170153560A KR 20190056520 A KR20190056520 A KR 20190056520A
Authority
KR
South Korea
Prior art keywords
driver
state
determining
determined
emotion
Prior art date
Application number
KR1020170153560A
Other languages
English (en)
Other versions
KR102371119B1 (ko
Inventor
박상현
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170153560A priority Critical patent/KR102371119B1/ko
Publication of KR20190056520A publication Critical patent/KR20190056520A/ko
Application granted granted Critical
Publication of KR102371119B1 publication Critical patent/KR102371119B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00845—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00308—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/81—Braking systems

Abstract

운전자의 눈 깜박임 상태, 전방 주시 상태 외에도 얼굴 표정으로부터 파악한 가수면 상태와 운전자의 얼굴 특징을 검출하여 파악한 운전자의 감정 상태로부터 운전자의 전방 집중도를 판별하는 방법 및 이를 적용한 시스템이 제공된다. 본 전방 집중도 분석 방법은 운전자의 눈 깜박임 상태를 판별하는 단계; 운전자의 눈 깜박임 상태가 정상이면, 운전자의 전방 주시 상태를 판별하는 단계; 운전자의 전방 주시 상태가 정상이면, 운전자의 감정 상태를 파악하는 단계; 및 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 단계;를 포함한다.
이에 의해, 운전자의 눈 깜박임 상태, 전방 주시 상태 외에도 얼굴 표정으로부터 파악한 가수면 상태와 운전자의 얼굴 특징을 검출하여 파악한 운전자의 감정 상태로부터 운전자의 전방 집중도를 판별하여, 최상의 안전 운전을 지원할 수 있게 된다.

Description

얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법{Analysis Method for Forward Concentration using a Facial Expression Recognition Technology}
본 발명은 차량 안전 기술에 관한 것으로, 더욱 상세하게는 차량 내에 설치된 영상 센서를 이용하여 운전자 표정 인식을 통해 전방 집중도를 판별하는 방법에 관한 것이다.
도 1은 종래의 운전자 집중도 분석 방법의 설명에 제공되는 흐름도이다. 도 1에 도시된 바와 같이, 종래 기술에서는, 입력되는 영상 프레임에서 운전자의 얼굴 영역을 검출한 후, 다시 눈 영역에서 눈 깜빡임을 검출한다. 그리고, 검출된 눈 깜빡임을 분석하여 졸음 여부를 판단하고, 졸음 운전으로 판단되는 경우에는, 경고를 출력한다.
하지만, 이와 같은 방식의 졸음 운전 판단은, 가수면 상태, 이를 테면, 눈을 뜨고 자는 상태를 판별할 수 없다. 가수면 상태는 운전자의 눈 깜빡임을 통해서는 판별할 수 없기 때문이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 운전자의 눈 깜박임 상태, 전방 주시 상태 외에도 얼굴 표정으로부터 파악한 가수면 상태와 운전자의 얼굴 특징을 검출하여 파악한 운전자의 감정 상태로부터 운전자의 전방 집중도를 판별하는 방법 및 이를 적용한 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 전방 집중도 분석 방법은 운전자의 눈 깜박임 상태를 판별하는 단계; 운전자의 눈 깜박임 상태가 정상이면, 운전자의 전방 주시 상태를 판별하는 단계; 운전자의 전방 주시 상태가 정상이면, 운전자의 감정 상태를 파악하는 단계; 및 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 단계;를 포함한다.
감정 상태 파악단계는, 운전자의 표정을 검출하여 운전자가 가수면 상태인지 판단하는 단계; 및 운전자가 가수면 상태가 아닌 것으로 판단되면, 운전자의 감정 상태를 판단하는 단계;를 포함할 수 있다.
감정 상태 판단 단계는, 운전자의 얼굴 영상에서 추출한 특징을 DB에 저장된 감정 상태에 따라 매칭된 특징들과 비교하여, 운전자의 감정 상태를 판단하는 것일 수 있다.
감정 상태는, 기쁨, 슬픔, 분노, 흥분, 공포 중 적어도 하나를 포함하는 것일 수 있다.
전방 집중도 판별 단계는, 판단된 감정 상태가 운전에 부적합한 것으로 기설정된 감정 상태이면, 운전자의 운전 패턴을 파악하는 단계; 및 운전자의 운전 패턴으로부터 운전자가 운전에 부적합한 상태인지 분석하는 단계;를 포함할 수 있다.
분석 단계는, 현재 타임 프레임에서의 운전 패턴과 이전 타임 프레임들에서의 운전 패턴과 비교하여 계산한 일치도를 기초로 운전자가 운전에 부적합한 상태인지 분석하는 것일 수 있다.
본 실시예에 따른 전방 집중도 분석 방법은 운전자의 전방 집중도가 기준 이하이면, 안전 운전을 위한 조치를 수행하는 단계;를 더 포함할 수 있다.
안전 운전을 위한 조치는, 추돌 경고 시스템(FCWS, Forward Collision Warning System) 가동, 차선 이탈 경고 시스템(LDWS, Lane Departure Warning System) 가동 및 긴급 제동 시스템(Autonomous Emergency Braking System) 중 적어도 하나를 포함할 수 있다.
운전자의 눈 깜박임, 전방 주시 상태 및 표정은, 차량에 설치된 하나의 영상 센서를 이용하여 획득하는 것일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 전방 집중도 분석 시스템은 운전자를 촬영하여 운전자 영상을 생성하는 영상 센서; 및 운전자 영상으로부터, 운전자의 눈 깜박임 상태를 판별하고, 운전자의 눈 깜박임 상태가 정상이면 운전자 영상으로부터 운전자의 전방 주시 상태를 판별하며, 운전자의 전방 주시 상태가 정상이면 운전자 영상으로부터 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하고, 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 프로세서;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 전방 집중도 분석 방법은 운전자의 눈 깜박임 상태와 전방 주시 상태가 정상이면, 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하는 단계; 및 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 단계;를 포함한다.
한편, 본 발명의 또다른 실시예에 따른, 전방 집중도 분석 시스템은 운전자의 눈 깜박임 상태와 전방 주시 상태가 정상이면 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하고, 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 프로세서; 및 프로세서에서 판별한 운전자의 전방 집중도를 이용하여, 안전 운전을 위한 조치를 수행하는 ADAS(Advanced Driver Assistance System);을 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 운전자의 눈 깜박임 상태, 전방 주시 상태 외에도 얼굴 표정으로부터 파악한 가수면 상태와 운전자의 얼굴 특징을 검출하여 파악한 운전자의 감정 상태로부터 운전자의 전방 집중도를 판별하여, 최상의 안전 운전을 지원할 수 있게 된다.
도 1은 종래의 운전자 집중도 분석 방법의 설명에 제공되는 흐름도,
도 2는 본 발명의 일 실시예에 따른 운전자 전방 집중도 분석 시스템의 블럭도,
도 3은 본 발명의 다른 실시예에 따른 운전자 전방 집중도 분석 방법의 설명에 제공되는 흐름도,
도 4는 차량에 구현되는 운전자 전방 집중도 분석 시스템의 실제예를 제시한 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 운전자 전방 집중도 분석 시스템의 블럭도이다. 본 발명의 실시예에 따른 운전자 전방 집중도 분석 시스템은, 최상의 안전 운전 지원을 위한 방편으로, 운전자의 전방 집중도를 보다 다양한 측면에서 판별한다.
이를 위한, 본 발명의 실시예에 따른 운전자 전방 집중도 분석 시스템은, 도 2에 도시된 바와 같이, 영상 센서(110), 프로세서(120), 저장부(130) 및 차량 제어부(140)를 포함한다.
영상 센서(110)는 운전자를 촬영하여 운전자 영상을 생성하기 위한 카메라이다. 프로세서(120)는 운전자 영상에서 운전자의 눈 깜박임 상태, 전방 주시 상태를 파악하여 정상인지 판별한다.
또한, 프로세서(120)는 운전자의 표정을 검출하여 운전자가 가수면 상태인지 판단하고, 운전자의 얼굴 특징을 추출하여 감정 상태를 파악하여 전방 집중도를 판별한다.
차량 제어부(140)는 운전자의 운전 패턴을 파악하여 운전자의 전방 집중도를 판별을 보조한다. 또한, 차량 제어부(140)는 안전 운전을 위한 조치/제어를 수행한다.
저장부(130)는 운전자의 전방 집중도 판별에 필요한 정보가 저장되어 있는 저장매체이다.
이하에서는, 도 2에 도시된 시스템에 의해 운전자 전방 집중도를 분석하고, 그에 따른 안전 운전 조치를 수행하는 과정에 대해 도 3을 참조하여 상세히 설명한다. 도 3은 본 발명의 다른 실시예에 따른 운전자 전방 집중도 분석 방법의 설명에 제공되는 흐름도이다.
도 3에 도시된 바와 같이, 먼저, 영상 센서(110)가 운전자를 촬영하여 운전자 영상을 생성한다(S210).
그러면, 프로세서(120)는 운전자 영상에서 얼굴 영역을 검출하고, 얼굴 영역에서 눈 영역을 다시 검출한 후, 운전자의 눈 깜박임 상태가 정상인지 판별한다(S220).
S220단계에서 운전자의 눈 깜박임 상태가 비정상인 경우(S220-N), 즉 운전자가 졸음 상태인 경우에는, 차량 제어부(140)에 의한 안전 운전 조치가 수행된다(S300).
반면, S220단계에서 운전자의 눈 깜박임 상태가 정상인 경우(S220-Y), 즉 운전자가 졸음 상태가 아닌 경우, 프로세서(120)는 운전자의 전방 주시 상태를 판별한다(S230).
운전자의 전방 주시 상태가 비정상인 경우(S230-N), 즉 운전자가 전방을 주시하고 있지 않은 경우에도, 차량 제어부(140)에 의한 안전 운전 조치가 수행된다(S300).
반면, S230단계에서 운전자의 전방 주시 상태가 정상인 경우(S220-Y), 즉 운전자가 전방을 주시하고 있는 경우, 프로세서(120)는 운전자의 표정을 검출하여 운전자가 가수면 상태인지 판단한다(S240).
S240단계에서 운전자가 가수면 상태, 눈을 뜨고 자는 상태인 것으로 판단되면(S250-Y), 차량 제어부(140)에 의한 안전 운전 조치가 수행된다(S300).
반면, S240단계에서 운전자가 가수면 상태가 아닌 경우(S250-N), 프로세서(120)는 운전자의 감정 상태를 파악한다(S260).
S250단계에서의 감정 상태 파악은, 운전자 영상에서 검출한 운전자의 얼굴 영역으로부터 특징을 추출하고, 추출한 특징을 저장부(130)의 감정 DB에 구축되어 있는 감정 상태에 따라 매칭된 특징들과 비교하여, 일치도가 가장 높은 감정 상태를 결정하는 과정에 의한다.
S250단계에서 파악하는 감정 상태는, 기쁨, 슬픔, 분노, 흥분, 공포 등을 포함하는데, 필요와 구현에 따라 그 밖의 다른 감정 상태가 더 포함될 수 있음은 물론이다.
다음, 프로세서(120)와 차량 제어부(140)는, S250단계에서 파악된 운전자의 감정 상태를 기반으로, 운전자의 전방 집중도를 판별한다.
구체적으로, 프로세서(120)에 의해 S250단계에서 파악된 감정 상태가 운전에 부적합한 감정 상태이면(S270-Y), 차량 제어부(140)는 운전자의 운전 패턴을 파악한다(S280).
운전에 부적합한 감정 상태는 감정의 정도가 임계치를 넘어서는 상태로, 기설정되어 저장부(130)에 저장되어 있다.
다음, S280단계에서 파악된 운전 패턴 파악으로부터 운전자가 운전에 부적합한 상태인지 분석한다(S290). S270단계에서의 분석은 운전자의 운전 패턴이 이전의 운전 패턴과 유사한지 아니면 상이한지 여부를 판단하는 과정이다.
이를 위해, S290단계에서는, 현재 타임 프레임에서의 운전 패턴과 이전 타임 프레임들에서의 운전 패턴과 비교하여 계산한 일치도를 기초로 운전자가 운전에 부적합한 상태인지 판단한다.
S280단계에 파악된 운전 패턴으로부터 운전에 부적합한 상태로 판단되면(S290-Y). 운전자의 전방 집중도가 기준 이하로 떨어지는 것으로 판단하여, 차량 제어부(140)에 의한 안전 운전 조치가 수행된다(S300).
S300단계에서 차량 제어부(140)에 의해 수행되는 안전 운전 조치는, 추돌 경고 시스템(FCWS, Forward Collision Warning System) 가동, 차선 이탈 경고 시스템(LDWS, Lane Departure Warning System) 가동 및 긴급 제동 시스템(Autonomous Emergency Braking System) 등을 포함한다.
지금까지, 운전자 전방 집중도 분석 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
도 4에는 차량에 구현되는 운전자 전방 집중도 분석 시스템의 실제예를 제시하였다.
본 발명의 실시예에서는, 차량 내에 설치된 영상센서를 이용하여 운전자 표정인식, 얼굴특징을 추출/분석하여 운전자의 전방 집중도를 분석하고, 이를 활용하여 경고/제어하는 방법을 제시하였다.
특히, 본 발명의 실시예들에 따르면, 가수면 상태, 부적합한 감정 상태, 부적합한 운전 패턴과 같이, 운전자의 전방 집중도가 떨어지는 경우를 정확하게 판별할 수 있게 된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 영상 센서
120 : 프로세서
130 : 저장부
140 : 차량 제어부

Claims (12)

  1. 운전자의 눈 깜박임 상태를 판별하는 단계;
    운전자의 눈 깜박임 상태가 정상이면, 운전자의 전방 주시 상태를 판별하는 단계;
    운전자의 전방 주시 상태가 정상이면, 운전자의 감정 상태를 파악하는 단계; 및
    파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 단계;를 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  2. 청구항 1에 있어서,
    감정 상태 파악단계는,
    운전자의 표정을 검출하여 운전자가 가수면 상태인지 판단하는 단계; 및
    운전자가 가수면 상태가 아닌 것으로 판단되면, 운전자의 감정 상태를 판단하는 단계;를 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  3. 청구항 2에 있어서,
    감정 상태 판단 단계는,
    운전자의 얼굴 영상에서 추출한 특징을 DB에 저장된 감정 상태에 따라 매칭된 특징들과 비교하여, 운전자의 감정 상태를 판단하는 것을 특징으로 하는 전방 집중도 분석 방법.
  4. 청구항 3에 있어서,
    감정 상태는,
    기쁨, 슬픔, 분노, 흥분, 공포 중 적어도 하나를 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  5. 청구항 2에 있어서,
    전방 집중도 판별 단계는,
    판단된 감정 상태가 운전에 부적합한 것으로 기설정된 감정 상태이면, 운전자의 운전 패턴을 파악하는 단계; 및
    운전자의 운전 패턴으로부터 운전자가 운전에 부적합한 상태인지 분석하는 단계;를 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  6. 청구항 5에 있어서,
    분석 단계는,
    현재 타임 프레임에서의 운전 패턴과 이전 타임 프레임들에서의 운전 패턴과 비교하여 계산한 일치도를 기초로 운전자가 운전에 부적합한 상태인지 분석하는 것을 특징으로 하는 전방 집중도 분석 방법.
  7. 청구항 1에 있어서,
    운전자의 전방 집중도가 기준 이하이면, 안전 운전을 위한 조치를 수행하는 단계;를 더 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  8. 청구항 7에 있어서,
    안전 운전을 위한 조치는,
    추돌 경고 시스템(FCWS, Forward Collision Warning System) 가동, 차선 이탈 경고 시스템(LDWS, Lane Departure Warning System) 가동 및 긴급 제동 시스템(Autonomous Emergency Braking System) 중 적어도 하나를 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  9. 청구항 1에 있어서,
    운전자의 눈 깜박임, 전방 주시 상태 및 표정은,
    차량에 설치된 하나의 영상 센서를 이용하여 획득하는 것을 특징으로 하는 전방 집중도 분석 방법.
  10. 운전자를 촬영하여 운전자 영상을 생성하는 영상 센서; 및
    운전자 영상으로부터, 운전자의 눈 깜박임 상태를 판별하고, 운전자의 눈 깜박임 상태가 정상이면 운전자 영상으로부터 운전자의 전방 주시 상태를 판별하며, 운전자의 전방 주시 상태가 정상이면 운전자 영상으로부터 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하고, 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 프로세서;를 포함하는 것을 특징으로 하는 전방 집중도 분석 시스템.
  11. 운전자의 눈 깜박임 상태와 전방 주시 상태가 정상이면, 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하는 단계; 및
    파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 단계;를 포함하는 것을 특징으로 하는 전방 집중도 분석 방법.
  12. 운전자의 눈 깜박임 상태와 전방 주시 상태가 정상이면 운전자의 표정을 검출하여 운전자의 감정 상태를 파악하고, 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 프로세서; 및
    프로세서에서 판별한 운전자의 전방 집중도를 이용하여, 안전 운전을 위한 조치를 수행하는 ADAS(Advanced Driver Assistance System);을 포함하는 것을 특징으로 하는 전방 집중도 분석 시스템.
KR1020170153560A 2017-11-17 2017-11-17 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법 KR102371119B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170153560A KR102371119B1 (ko) 2017-11-17 2017-11-17 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170153560A KR102371119B1 (ko) 2017-11-17 2017-11-17 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법

Publications (2)

Publication Number Publication Date
KR20190056520A true KR20190056520A (ko) 2019-05-27
KR102371119B1 KR102371119B1 (ko) 2022-03-07

Family

ID=66679346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170153560A KR102371119B1 (ko) 2017-11-17 2017-11-17 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법

Country Status (1)

Country Link
KR (1) KR102371119B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112622892A (zh) * 2020-12-14 2021-04-09 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统
KR102245319B1 (ko) 2020-11-17 2021-04-28 주식회사 서경산업 원격지 학습자의 집중도를 분석하는 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102493790B1 (ko) 2022-11-07 2023-01-31 프랭크엑스 주식회사 인공지능 기반 장소 연계 안면 인식 정보 생성 방법, 장치 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014238707A (ja) * 2013-06-07 2014-12-18 株式会社デンソー ドライバ状態判定システム
KR20170051197A (ko) * 2015-10-29 2017-05-11 주식회사 세코닉스 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치
KR20170060931A (ko) * 2015-11-25 2017-06-02 현대자동차주식회사 긴급자동제동시스템 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014238707A (ja) * 2013-06-07 2014-12-18 株式会社デンソー ドライバ状態判定システム
KR20170051197A (ko) * 2015-10-29 2017-05-11 주식회사 세코닉스 운전 패턴 분석을 통한 운전자 상태 감시 방법 및 장치
KR20170060931A (ko) * 2015-11-25 2017-06-02 현대자동차주식회사 긴급자동제동시스템 및 그 제어 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102245319B1 (ko) 2020-11-17 2021-04-28 주식회사 서경산업 원격지 학습자의 집중도를 분석하는 시스템
CN112622892A (zh) * 2020-12-14 2021-04-09 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统

Also Published As

Publication number Publication date
KR102371119B1 (ko) 2022-03-07

Similar Documents

Publication Publication Date Title
US11003245B2 (en) Method for automatically identifying at least one user of an eye tracking device and eye tracking device
US10748404B2 (en) Method and apparatus for recognising microsleep in a driver of a vehicle
CN106557723B (zh) 一种带交互式活体检测的人脸身份认证系统及其方法
CN112590794A (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
CN110826370B (zh) 车内人员的身份识别方法、装置、车辆及存储介质
CN111434553B (zh) 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
KR20190056520A (ko) 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법
JP7154959B2 (ja) 走行状況判断情報基盤の運転者状態認識装置及び方法
KR20190083155A (ko) 운전자 상태 검출 장치 및 그 방법
KR102161908B1 (ko) 운전자 상태 모니터링 방법 및 장치
JP2007163864A (ja) 表示制御装置、表示制御方法、表示制御プログラム、および表示制御プログラム記録媒体
Lashkov et al. Driver dangerous state detection based on OpenCV & dlib libraries using mobile video processing
CN108875617A (zh) 辅助驾驶方法和装置、车辆
JP2008090452A (ja) 検出装置、方法およびプログラム
JP5139470B2 (ja) 眠気度推定装置および眠気度推定方法
US11393249B2 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
KR101513540B1 (ko) 손 제스처 인식에 의한 차량 제어 장치 및 방법
EP3471055B1 (en) Comparison device and comparison method
JP7046748B2 (ja) 運転者状態判定装置および運転者状態判定方法
CN112926364A (zh) 头部姿态的识别方法及系统、行车记录仪和智能座舱
KR20210039583A (ko) 멀티모달 기반 사용자 구별 방법 및 장치
EP2998928A1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
KR20170028631A (ko) 정면 얼굴 영상의 복원을 통한 운전자 부주의 검출 방법 및 장치
US11315362B2 (en) Emotion-recognition-based service provision apparatus for vehicle and method of controlling the same
KR20200049936A (ko) 생체 인식 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant