KR20200056186A - 얼굴 인식 장치 및 방법 - Google Patents

얼굴 인식 장치 및 방법 Download PDF

Info

Publication number
KR20200056186A
KR20200056186A KR1020180140193A KR20180140193A KR20200056186A KR 20200056186 A KR20200056186 A KR 20200056186A KR 1020180140193 A KR1020180140193 A KR 1020180140193A KR 20180140193 A KR20180140193 A KR 20180140193A KR 20200056186 A KR20200056186 A KR 20200056186A
Authority
KR
South Korea
Prior art keywords
face
environmental
face recognition
environmental conditions
data
Prior art date
Application number
KR1020180140193A
Other languages
English (en)
Other versions
KR102681701B1 (ko
Inventor
김삼용
김진권
이병준
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180140193A priority Critical patent/KR102681701B1/ko
Priority to US16/447,164 priority patent/US10963678B2/en
Priority to CN201910649464.8A priority patent/CN111191496A/zh
Publication of KR20200056186A publication Critical patent/KR20200056186A/ko
Application granted granted Critical
Publication of KR102681701B1 publication Critical patent/KR102681701B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G06K9/00845—
    • G06K9/00268—
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 얼굴 인식 장치 및 방법에 관한 것으로, 본 발명에 따른 장치는 운전자의 얼굴 영상을 촬영하는 카메라, 상기 얼굴 영상 및 상기 얼굴 영상에 대응되는 하나 이상의 환경 조건을 포함하는 얼굴 데이터가 저장되는 DB, 및 얼굴 인식 기능이 실행되면 상기 얼굴 인식 시점의 환경 조건에 기초하여 얼굴 데이터를 추출하고, 상기 추출된 얼굴 데이터의 얼굴 영상에 기초하여 상기 운전자의 얼굴을 인식하는 제어부를 포함한다.

Description

얼굴 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING FACE}
본 발명은 얼굴 인식 장치 및 방법에 관한 것이다.
최근 차량에는 IMS(Integrated Memory Systems), USM(User Setting Menu) 등과 같이 운전자별로 프로필을 설정하고, 설정에 따라 제어하는 기능이 적용되고 있다.
상기 기능의 수행을 위해서는 운전자를 인증해야 한다. 운전자의 인증 방식으로는 스마트폰의 NFC, 지문인식, 얼굴인식 등이 적용될 수 있다.
얼굴인식은 스마트폰의 NFC, 지문인식 등의 방법에 비해 자연스럽게 등록 및 인식이 가능하다는 장점이 있다.
하지만, 얼굴 인식의 경우 얼굴 가림 현상이나 혹은 주변 환경 요인의 변화로 인해 인식 성능이 저하되는 문제가 있었다.
본 발명의 목적은, 운전자의 복수의 환경 조건에 따라 얼굴 데이터를 분류하여 저장함으로써 환경 요인의 변화에 따라 운전자의 얼굴 인식 성능이 저하되는 것을 방지하도록 한, 얼굴 인식 장치 및 방법을 제공함에 있다.
또한, 환경 요소별로 가중치를 부여하고 해밍 거리를 계산하여 유사한 조건의 얼굴 데이터를 기반으로 얼굴 인식을 수행함으로써 얼굴 인식 성능이 향상되도록 한, 얼굴 인식 장치 및 방법을 제공함에 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 얼굴 인식 장치는, 운전자의 얼굴 영상을 촬영하는 카메라, 상기 얼굴 영상 및 상기 얼굴 영상에 대응되는 하나 이상의 환경 조건을 포함하는 얼굴 데이터가 저장되는 DB, 및 얼굴 인식 기능이 실행되면 상기 얼굴 인식 시점의 환경 조건에 기초하여 얼굴 데이터를 추출하고, 상기 추출된 얼굴 데이터의 얼굴 영상에 기초하여 상기 운전자의 얼굴을 인식하는 제어부를 포함하는 것을 특징으로 한다.
상기 제어부는, 상기 DB에 저장된 얼굴 데이터 중 상기 얼굴 인식 시점의 환경 조건과 유사도가 가장 높은 환경 조건의 얼굴 데이터를 추출하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 장치는, 상기 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건의 각 환경 요소를 비교하여 상기 각 환경 요소별 해밍 거리(hamming distance)를 계산하고, 상기 계산된 각 환경 요소별 해밍 거리에 기초하여 유사도를 판단하는 판단부를 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 장치는, 상기 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건의 각 환경 요소를 부호화하는 변환부를 더 포함하는 것을 특징으로 한다.
상기 판단부는, 상기 부호화된 각 환경 요소를 비교하여 해밍 거리를 계산하는 것을 특징으로 한다.
상기 판단부는, 상기 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건 중 서로 대응되는 환경 요소의 부호가 서로 동일하면 해당 환경 요소의 해밍 거리를 0으로 계산하고, 그렇지 않으면 1로 계산하는 것을 특징으로 한다.
상기 판단부는, 상기 계산된 각 환경 요소별 해밍거리를 합한 값이 작을 수록 유사도가 높은 것으로 판단하는 것을 특징으로 한다.
상기 판단부는, 상기 각 환경 요소별로 가중치를 부여하고, 상기 계산된 각 환경 요소별 해밍 거리에 상기 가중치를 적용하여 유사도를 판단하는 것을 특징으로 한다.
상기 환경 조건은, 상기 얼굴 영상으로부터 추출된 특징 정보 및 차량의 상태 정보 중 적어도 하나 이상의 환경 요소를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 장치는, 상기 얼굴 영상을 분석하여 특징 정보를 추출하는 영상 분석부를 더 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따른 장치는, 상기 차량의 상태 정보를 수신하는 통신부를 더 포함하는 것을 특징으로 한다.
상기 제어부는, 차량이 주행하는 동안 실시간 혹은 일정 시간 단위마다 상기 얼굴 영상 및 상기 얼굴 영상에 대응되는 하나 이상의 환경 조건을 획득하는 것을 특징으로 한다.
상기 제어부는, 상기 얼굴 영상에 대응되는 환경 조건이 상기 운전자에 대응하여 기 저장된 얼굴 데이터의 환경 조건과 상이한 경우 상기 획득된 얼굴 영상 및 상기 얼굴 영상에 대응되는 환경 조건을 포함하는 얼굴 데이터를 추가로 생성하는 것을 특징으로 한다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 얼굴 인식 방법은, 운전자의 얼굴 영상을 촬영하는 단계, 상기 촬영된 운전자의 얼굴 영상 및 상기 얼굴 영상에 대응되는 하나 이상의 환경 조건을 포함하는 얼굴 데이터를 DB에 저장하는 단계, 및 얼굴 인식 기능이 실행되면, 상기 얼굴 인식 시점의 환경 조건에 기초하여 기 저장된 얼굴 데이터를 추출하고, 상기 추출된 얼굴 데이터의 얼굴 영상에 기초하여 상기 운전자의 얼굴을 인식하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 운전자의 복수의 환경 조건에 따라 얼굴 데이터를 분류하여 저장함으로써 환경 요인의 변화에 따라 운전자의 얼굴 인식 성능이 저하되는 것을 방지할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 환경 요소별로 가중치를 부여하고 해밍 거리를 계산하여 유사한 조건의 얼굴 데이터를 기반으로 얼굴 인식을 수행함으로써 얼굴 인식 성능을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치가 적용된 차량을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성을 도시한 도면이다.
도 3a 내지 도 9b는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 동작을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 방법에 대한 동작 흐름을 도시한 도면이다.
도 12는 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명에 따른 얼굴 인식 장치가 적용된 차량을 도시한 도면이다.
도 1에 도시된 바와 같이, 얼굴 인식 장치(100)는 카메라(130)를 통해 운전자의 얼굴 영상을 획득하고, 획득된 운전자의 얼굴 영상을 등록한다. 이때, 얼굴 인식 장치(100)는 운전자의 얼굴 영상 획득 시의 차량의 환경 조건을 확인하고, 확인된 환경 조건 정보를 운전자의 얼굴 영상과 함께 DB(150)에 등록할 수 있다.
이후, 얼굴 인식 장치(100)는 운전자의 얼굴을 인식하는 경우에, 해당 시점의 환경 조건과 유사한 환경 조건의 얼굴 데이터를 추출하고, 추출된 얼굴 데이터에 기초하여 운전자의 얼굴을 인식할 수 있다.
본 발명에 따른 얼굴 인식 장치(100)는 차량의 내부에 구현될 수 있다. 이때, 얼굴 인식 장치(100)는 차량의 내부 제어유닛들과 일체로 형성될 수 있다. 한편, 얼굴 인식 장치(100)는 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량의 제어유닛들과 연결될 수도 있다.
얼굴 인식 장치(100)의 세부 구성은 도 2의 실시예를 참조하도록 한다.
도 2는 본 발명의 일 실시예에 따른 얼굴 인식 장치의 구성을 도시한 도면이다. 도 2를 참조하면, 본 발명에 따른 얼굴 인식 장치(100)는 제어부(110), 인터페이스부(120), 카메라(130), 통신부(140), DB(150), 영상 분석부(160), 변환부(170) 및 판단부(180)를 포함할 수 있다. 여기서, 본 실시예에 따른 장치(100)의 제어부(110), 영상 분석부(160), 변환부(170) 및 판단부(180)는 적어도 하나 이상의 프로세서(processor)로서 구현될 수 있다.
제어부(110)는 얼굴 인식 장치(100)의 각 구성요소들 간에 전달되는 신호를 처리할 수 있다.
인터페이스부(120)는 운전자로부터의 제어 명령을 입력 받기 위한 입력수단과 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다.
여기서, 입력수단은 키 버튼을 포함할 수 있으며, 마우스, 조이스틱, 조그셔틀, 스타일러스 펜 등을 포함할 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키를 포함할 수도 있다.
출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다.
일 예로, 디스플레이는 운전자의 얼굴 데이터 등록을 위한 안내 화면을 표시할 수 있다. 또한, 디스플레이는 운전자의 얼굴 인식 결과를 안내하는 화면을 표시할 수도 있다.
이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
카메라(130)는 운전자의 얼굴 영상을 촬영하는 장치이다. 카메라(130)는 차량 내 운전자의 전방 위치에 배치될 수 있다. 카메라(130)는 차량의 시동 온(ON) 상태에서 지속적으로 혹은 일정 주기마다 운전자의 얼굴 영상을 촬영할 수 있다. 카메라(130)는 촬영된 얼굴 영상을 제어부(110)로 전달한다.
통신부(140)는 차량에 구비된 전장품 및/또는 제어유닛들과의 통신 인터페이스를 지원하는 통신모듈을 포함할 수 있다. 일 예로서, 통신모듈은 차량의 제어유닛들로부터 창문 개폐 상태, 썬루프 개방 상태 및/또는 시간대 정보 등의 정보를 수신할 수 있다.
여기서, 통신모듈은 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등의 차량 네트워크 통신을 지원하는 모듈을 포함할 수 있다.
또한, 통신모듈은 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을 위한 모듈을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax) 등이 포함될 수 있으며, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선통신(Infrared Data Association, IrDA) 등이 포함될 수 있다.
DB(150)는 장치(100)가 동작하는데 필요한 데이터 및/또는 알고리즘 등을 저장할 수 있다.
DB(150)는 얼굴 인식 동작을 수행하기 위한 명령 및/또는 알고리즘이 저장될 수 있다. 또한, DB(150)는 운전자별로 등록된 복수의 얼굴 데이터가 저장될 수도 있다. 이때, 복수의 얼굴 데이터는 얼굴 데이터에 포함된 환경 조건에 따라 분류되어 저장될 수 있다.
여기서, DB(150)는 RAM(Random Access Memory), SRAM(Static Random Access Memory), ROM(Read-Only Memory), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory)와 같은 저장매체를 포함할 수 있다.
제어부(110)는 운전자의 얼굴 신규 등록 요청에 따라 카메라(130)에 의해 촬영된 운전자의 얼굴 영상이 수신되면, 수신된 얼굴 영상을 영상 분석부(160)로 전달한다.
영상 분석부(160)는 얼굴 영상을 분석하여 특징 정보를 추출한다.
일 예로, 영상 분석부(160)는 얼굴 영상으로부터 입 및/또는 눈의 크기 정보를 추출하고, 추출된 입 및/또는 눈의 크기 정보에 기초하여 얼굴 표정이 무표정인지 혹은 웃음 표정인지에 대한 특징 정보를 추출할 수 있다.
또한, 영상 분석부(160)는 얼굴 영상으로부터 얼굴 방향이 정면을 향하는지, 좌측 또는 우측을 향하는지에 대한 특징 정보를 추출할 수 있다.
또한, 영상 분석부(160)는 얼굴 영상으로부터 운전자가 선글라스 및/또는 마스크 등의 액세서리를 착용했는지 여부에 대한 특징 정보를 추출할 수 있다.
영상 분석부(160)는 얼굴 영상을 분석하여 추출된 적어도 하나 이상의 특징 정보를 제어부(110)로 전달한다.
또한, 제어부(110)는 통신부(140)로부터 운전자의 얼굴 영상이 촬영된 시점의 차량의 상태 정보를 수신할 수 있다.
제어부(110)는 얼굴 영상과 함께, 얼굴 영상에 대응되는 하나 이상의 환경 조건을 포함하는 얼굴 데이터를 생성한다. 여기서, 얼굴 영상에 대응되는 하나 이상의 환경 조건은 복수의 환경 요소들, 즉, 얼굴 영상으로부터 추출된 특징 정보 및 통신부(140)로부터 수신된 차량의 상태 정보를 포함할 수 있다. 이하의 설명에서는 얼굴 영상에 대응되는 하나 이상의 환경 조건을 '제1 환경 조건'이라 칭하여 설명한다. 제어부(110)는 생성된 얼굴 데이터를 DB(150)에 저장한다.
제어부(110)는 차량이 주행하는 동안 실시간 혹은 일정 시간 단위마다 얼굴 영상 및 제1 환경 조건을 획득할 수 있다. 이때, 제어부(110)는 획득된 제1 환경 조건이 DB(150)에 저장된 얼굴 데이터의 환경 조건과 상이한 경우 상기 획득된 얼굴 영상 및 제1 환경 조건을 포함하는 얼굴 데이터를 추가로 생성하여 DB(150)에 저장하도록 한다.
따라서, DB(150)는 각 시점에 촬영된 운전자의 얼굴 영상 및 얼굴 영상에 대응되는 서로 다른 환경 요소의 제1 환경 조건을 포함하는 복수의 얼굴 데이터가 저장될 수 있다. 한편, DB(150)는 둘 이상의 운전자에 대응하는 얼굴 데이터가 저장될 수도 있다.
제어부(110)는 운전자의 얼굴 등록 절차가 진행되는 동안 안내 화면을 구성하여 인터페이스부(120)의 디스플레이 화면에 표시할 수 있다.
얼굴 등록 절차가 진행되는 동안의 안내 화면에 대한 실시예는 도 3a 내지 도 5를 참조하도록 한다.
도 3a 및 도 3b는 얼굴 등록 절차의 시작 안내 화면을 나타낸 것이고, 도 4a 내지 도 5는 얼굴 등록 절차의 진행 안내 화면을 나타낸 것이다.
제어부(110)는 운전자의 얼굴 신규 등록 요청이 있으면, 도 3a에 도시된 바와 같이 카메라(130)를 응시하도록 유도하는 메시지를 포함하는 제1 안내 화면을 구성하여 디스플레이 화면에 표시한다. 이후 제어부(110)는 운전자가 카메라(130)를 응시하면, 도 3b에 도시된 바와 같이 얼굴 영상 촬영을 위한 동작을 안내하는 제2 안내 화면을 구성하여 디스플레이 화면에 표시한다.
제어부(110)는 제1 및 제2 안내 화면에 의해 얼굴 영상 촬영이 시작되면, 도 4a 내지 도 4c에 도시된 바와 같이 제3 내지 제5 안내 화면을 통해 등록 진행률을 안내한다. 제어부(110)는 운전자의 얼굴 등록 절차의 진행이 완료되면, 도 5에 도시된 바와 같이 등록 완료를 안내하는 제6 안내 화면을 구성하여 디스플레이 화면에 표시한다.
제1 내지 제6 안내 화면은 안내 메시지, 이모티콘 및/또는 상태 바(bar) 등을 포함할 수 있다. 안내 화면은 그 외에도 얼굴 등록 절차의 진행상태를 안내할 수 있는 수단을 더 포함할 수도 있다.
제어부(110)는 운전자에 대응하여 DB(150)에 저장된 복수의 얼굴 데이터를 각 얼굴 데이터에 포함된 제1 환경 조건의 각 환경 요소에 따라 분류할 수 있다. 얼굴 데이터를 분류하는 실시예는 도 6을 참조하도록 한다.
도 6은 제1 환경 조건의 각 환경 요소에 따라 분류된 얼굴 데이터를 나타낸 것이다. 도 6을 참조하면, 각각의 얼굴 데이터는 각 시점에 촬영된 얼굴 영상을 포함할 수 있다.
또한, 각각의 얼굴 데이터는 얼굴 영상을 촬영한 시점에 획득한 제1 환경 조건을 포함할 수 있다. 여기서, 제1 환경 조건은 얼굴 표정, 얼굴 방향, 선글라스 착용 여부 및/또는 마스크 착용 여부 등의 특징 정보에 해당되는 환경 요소를 포함할 수 있다. 또한, 제1 환경 조건은 창문 개폐 여부, 썬루프 개방 여부 및/또는 시간대 등의 상태 정보에 해당되는 환경 요소를 포함할 수 있다.
도 6에 도시된 얼굴 데이터 중 제1 얼굴 데이터는 창문 및 썬루프 미개방, 주간, 무표정, 얼굴의 정면 방향, 선글라스 및 마스크 미착용에 해당하는 환경 요소를 포함한다.
제2 얼굴 데이터는 창문 및 썬루프 미개방, 주간, 무표정, 얼굴의 우측면 방향, 선글라스 및 마스크 미착용에 해당하는 환경 요소를 포함한다.
제3 얼굴 데이터는 창문 개방, 썬루프 미개방, 주간, 웃음 표정, 얼굴의 정면 방향, 선글라스 및 마스크 미착용에 해당하는 환경 요소를 포함한다.
제4 얼굴 데이터는 창문 및 썬루프 미개방, 주간, 무표정, 얼굴의 정면 방향, 선글라스 미착용 및 마스크 착용에 해당하는 환경 요소를 포함한다.
제5 얼굴 데이터는 창문 미개방, 썬루프 개방, 야간, 무표정, 얼굴의 정면 방향, 선글라스 및 마스크 착용에 해당하는 환경 요소를 포함한다.
도 6에 도시된 바와 같이, 제1 내지 제5 얼굴 데이터는 적어도 하나 이상의 환경 요소가 상이하다.
따라서, 본 발명에 따른 얼굴 인식 장치(100)는 제1 환경 조건의 각 환경 요소에 따라 분류된 운전자의 얼굴 데이터를 이용하여 각 환경 요소에 따른 얼굴 인식 성능을 향상시킬 수 있다.
제어부(110)는 얼굴 인식 기능이 실행되면 얼굴 인식 기능이 실행된 시점의 얼굴 영상 및 얼굴 인식 시점의 환경 조건을 획득한다. 이하의 설명에서는 얼굴 인식 시점의 환경 조건을 '제2 환경 조건'이라 칭하여 설명한다. 이때, 제어부(110)는 제2 환경 조건과 DB(150)에 저장된 복수의 얼굴 데이터에 포함된 제1 환경 조건의 각 환경 요소를 비교하여 제2 환경 조건과 유사도가 가장 높은 환경 조건의 얼굴 데이터를 추출한다. 제어부(110)는 추출된 얼굴 데이터의 얼굴 영상에 기초하여 운전자의 얼굴을 인식할 수 있다.
여기서, 제어부(110)는 제2 환경 조건과 유사도가 가장 높은 얼굴 데이터를 추출하기 위해 변환부(170) 및 판단부(180)의 동작을 제어한다.
먼저, 변환부(170)는 제어부(110)의 요청에 따라 DB(150)에 저장된 얼굴 데이터의 제1 환경 조건 및 제2 환경 조건의 각 환경 요소를 부호화한다.
여기서, 각 환경 요소를 부호화하는 실시예는 도 7을 참조하도록 한다.
도 7은 DB(150)에 저장된 각 얼굴 데이터에 포함된 제1 환경 조건의 각 환경 요소들을 부호화한 실시예를 나타낸 것이다. 변환부(170)는 'O'는 1로 부호화하고, 'X'는 0으로 부호화할 수 있다. 또한, 변환부(170)는 '주간' 시간대는 0으로 부호화하고, '야간' 시간대는 1로 부호화할 수 있다. 또한, 변환부(170)는 '무표정'에 해당하는 얼굴 표정은 0으로 부호화하고, '웃음'에 해당하는 얼굴 표정은 1로 부호화할 수 있다. 또한, 변환부(170)는 '정면' 얼굴 방향은 0으로, '좌측면' 얼굴 방향은 1로, 그리고 '우측면' 얼굴 방향은 2로 부호화할 수 있다.
상기 조건에 기초하여, 변환부(170)는 도 7의 도면부호 711과 같이, 제1 얼굴 데이터의 각 환경 요소들을 '0000000'으로 부호화할 수 있다. 또한, 변환부(170)는 도 7의 도면부호 712와 같이, 제2 얼굴 데이터의 각 환경 요소들을 '0000200'으로 부호화할 수 있다. 또한, 변환부(170)는 도 7의 도면부호 713과 같이, 제3 얼굴 데이터의 각 환경 요소들을 '1001000'으로 부호화할 수 있다.
판단부(180)는 하나 이상의 얼굴 데이터에 포함된 제1 환경 조건 및 상기 제2 환경 조건의 각 환경 요소에 해당되는 부호를 비교하여 해밍 거리(hamming distance)를 계산한다. 여기서, 판단부(180)는 각 환경 요소별 해밍거리를 합한 값으로부터 얼굴 데이터의 제1 환경 조건과 제2 환경 조건 간 해밍 거리를 계산할 수 있다.
도 7의 실시예에서, 제2 환경 조건의 각 환경 요소의 부호가 '0000000'이라 가정했을 때, 도면부호 715와 같이 제1 얼굴 데이터의 환경 조건과 제2 환경 조건의 각 환경 요소별 해밍 거리를 합한 값은 0이 되고, 제2 얼굴 데이터의 환경 조건과 제2 환경 조건의 각 환경 요소별 해밍 거리를 합한 값은 1이 되고, 제3 얼굴 데이터의 환경 조건과 제2 환경 조건의 각 환경 요소별 해밍 거리를 합산 값은 2가 된다.
여기서, 해밍 거리를 계산하는 실시예는 도 8을 참조하도록 한다.
도 8은 제1 환경 조건 및 제2 환경 조건의 각 환경 요소의 부호를 기반으로 해밍 거리를 계산하는 실시예를 나타낸 것이다. 도 8을 참조하면, No.1은 제2 환경 조건의 각 환경 요소별 부호를 나타낸 것이고, No.2는 제2 얼굴 데이터에 포함된 제1 환경 조건의 각 환경 요소별 부호를 나타낸 것이다.
이때, 제2 환경 조건의 각 환경 요소별 부호가 '0000000'이고, 제1 환경 조건의 각 환경 요소별 부호가 '0000200'이라 가정했을 때, 판단부(180)는 도 8의 도면부호 811과 같이 제1 환경 조건과 제2 환경 조건 중 대응되는 환경 요소의 부호가 '0'으로 서로 같으면 '0'으로 계산하고, 도면부호 812와 같이 제1 환경 조건과 제2 환경 조건 중 대응되는 환경 요소의 부호가 서로 다르면 '1'로 계산한다.
이와 같은 방식으로 제1 환경 조건 및 제2 환경 조건의 각 환경 요소별 해밍 거리를 계산하고, 이때 각 환경 요소별 해밍 거리를 합한 값은 도면부호 813과 같이 '1'(예, 0+0+0+0+1+0+0=1)이 된다.
판단부(180)는 계산된 해밍 거리에 기초하여 유사도를 판단한다. 이때, 판단부(180)는 계산된 각 환경 요소별 해밍 거리를 합한 값이 작을 수록 두 환경 조건 간 유사도가 높은 것으로 판단할 수 있다.
한편, 판단부(180)는 환경 조건의 각 환경 요소별로 가중치를 부여하고, 앞서 계산된 각 환경 요소별 해밍 거리에 가중치를 적용하여 유사도를 판단할 수도 있다.
이에, 환경 조건의 각 환경 요소별로 가중치를 부여하고, 가중치를 적용하여 해밍 거리를 계산하는 실시예는 도 9a 및 도 9b를 참조하도록 한다.
도 9a는 환경 조건의 각 환경 요소별로 가중치를 부여하는 실시예를 나타낸 것이고, 도 9b는 가중치를 적용하여 해밍 거리를 계산하는 실시예를 나타낸 것이다.
가중치는 조건 변화에 따라 얼굴 인식에 영향을 미치는 환경 요소에 대해 더 큰 값이 부여될 수 있다. 일 예로서, 창문 개폐 여부 보다는 썬루프 개폐 여부가 얼굴 인식에 더 큰 영향을 미칠 수 있다. 또한, 마스크 착용 여부는 얼굴 인식에 아주 큰 영향을 미칠 수 있다. 따라서, 판단부(180)는 도 9a에 도시된 바와 같이, 창문 개폐 여부에 해당되는 환경 요소에 1~2의 가중치를 부여하고, 썬루프 개방 여부에 해당되는 환경 요소에 3~4의 가중치를 부여하고, 시간대에 해당되는 환경 요소에 가중치 1~2, 얼굴 표정, 얼굴 방향, 선글라스 착용 여부에 해당되는 환경 요소에 가중치 2, 그리고 마스크 착용 여부에 해당되는 환경 요소에 가중치 3을 부여할 수 있다.
여기서, 빛의 환경 변화에 영향을 받는 창문 개폐 여부, 썬루프 개방 여부, 그리고 시간대 등의 환경 요소에 대응되는 가중치는 고정된 값이 아니라, 카메라 노출값에 따라 그 값을 세분화하여 부여할 수도 있다.
일 예로서, 창문 개폐 여부에 해당하는 환경 요소에 대해 카메라 노출값이 기준치 미만이면 가중치 1을 부여하고, 카메라 노출값이 기준치 이상이면 가중치 2를 부여할 수 있다.
도 9a와 같이 환경 조건의 각 환경 요소별로 가중치가 부여되면, 판단부(180)는 각 환경 요소별로 계산된 해밍 거리에 가중치를 곱한 값의 총 합으로부터 제1 환경 조건 및 제2 환경 조건 간 해밍 거리를 계산할 수 있다.
도 7과 같이 가중치를 부여하지 않은 경우 제2 얼굴 데이터의 환경 조건에 대해 계산된 해밍 거리는 '1'이 되지만, 도 9b와 같이 가중치를 부여한 경우 제2 얼굴 데이터의 환경 조건에 대해 계산된 해밍 거리는 '2'가 된다.
따라서, 판단부(180)는 가중치를 부여함으로써 각 얼굴 데이터의 제1 환경 조건과 제2 환경 조건 간 유사도를 더욱 정확하게 판단할 수 있다.
이때, 제어부(110)는 판단부(180)의 판단 결과에 따라 제2 환경 조건과 유사도가 가장 높은 얼굴 데이터를 추출한다. 일 예로서, 제어부(110)는 제2 환경 조건과 비교하여 해밍 거리가 '0'인 얼굴 데이터를 추출한다. 한편, 제2 환경 조건과 비교하여 해밍 거리가 '0'인 얼굴 데이터가 존재하지 않는 경우, 제어부는 해밍 거리가 가장 짧은 얼굴 데이터를 추출한다. 따라서, 제어부(110)는 추출된 얼굴 데이터의 얼굴 영상에 기초하여 운전자의 얼굴을 인식할 수 있다.
제어부(110)는 추출된 얼굴 데이터가 복수 개인 경우, 추출된 복수 개의 얼굴 데이터 중 각 환경 요소별 해밍 거리에 적용된 가중치가 낮은 얼굴 데이터를 기준으로 운전자의 얼굴 인식을 수행할 수 있다. 여기서, 가중치는 얼굴 인식에 크게 영향을 미치는 환경 요소일수록 큰 값이 부여되므로, 해밍 거리에 적용된 가중치가 낮은 얼굴 데이터일 수록 얼굴 인식 성능이 증가될 수 있다.
상기에서와 같이 동작하는 본 실시예에 따른 얼굴 인식 장치(100)는 메모리와 각 동작을 처리하는 프로세서를 포함하는 독립적인 하드웨어 장치 형태로 구현될 수 있으며, 마이크로프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
상기와 같이 구성되는 본 발명에 따른 얼굴 인식 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 10은 본 발명의 일 실시예에 따른 얼굴 인식 장치의 얼굴 등록 방법에 대한 동작 흐름을 나타낸 것이다.
도 10을 참조하면, 얼굴 인식 장치(100)는 운전자의 요청에 따라 얼굴 신규 등록 기능이 실행되면(S110), 카메라(130)에 의해 촬영된 운전자의 얼굴 영상을 획득한다(S120). 이때, 얼굴 인식 장치(100)는 'S120' 과정에서 획득된 얼굴 영상 및 통신부(140)를 통해 수신된 정보에 기초하여 얼굴 영상이 촬영된 시점의 제1 환경 조건을 확인한다(S130).
얼굴 인식 장치(100)는 DB(150)에 등록된 얼굴 데이터를 각 얼굴 데이터에 포함된 제1 환경 조건에 따라 분류하고(S140), 'S130' 과정에서 확인된 제1 환경 조건과 DB(150)에 기 등록된 얼굴 데이터를 비교한다.
만일, 'S130' 과정에서 확인된 제1 환경 조건이 기 등록된 얼굴 데이터에 포함되지 않은 새로운 조건에 해당하는 경우(S150), 얼굴 인식 장치(100)는 얼굴 영상 및 제1 환경 조건을 포함하는 얼굴 데이터를 운전자의 DB(150)에 추가한다(S160).
'S120' 내지 'S160' 과정은 차량의 주행이 종료된 때까지 반복하여 수행될 수 있다. 만일, 차량의 주행이 종료되면(S170), 얼굴 인식 장치(100)는 관련 동작을 종료한다.
도 11은 본 발명의 일 실시예에 따른 얼굴 인식 장치의 얼굴 인식 방법에 대한 동작 흐름을 나타낸 것이다.
도 11을 참조하면, 얼굴 인식 장치(100)는 얼굴 인식 기능이 실행되면(S210), 얼굴 인식 기능이 실행된 시점의 제2 환경 조건을 확인한다(S220).
얼굴 인식 장치(100)는 'S220' 과정에서 확인된 제2 환경 조건과 DB(150)에 저장된 복수의 얼굴 데이터에 포함된 제1 환경 조건을 비교하여 제2 환경 조건과 유사한 조건을 갖는 얼굴 데이터를 추출한다(S230). 여기서, 제2 환경 조건과 유사한 조건을 갖는 얼굴 데이터를 추출하는 동작에 대한 구체적인 설명은 도 7 내지 도 9a의 실시예를 참조하도록 한다.
이후, 얼굴 인식 장치(100)는 'S230' 과정에서 추출된 얼굴 데이터의 얼굴 영상에 기초하여 얼굴 인식 동작을 수행한다(S240).
얼굴 인식 장치(100)는 'S240' 과정에 의해 운전자의 얼굴 인식이 완료되면(S250), 관련 동작을 종료한다. 한편, 얼굴 인식 장치(100)는 'S240' 과정에 의해서도 운전자의 얼굴 인식이 완료되지 않으면, 얼굴 미인식 상태를 운전자에게 안내하고(S260), 'S220' 이후 절차를 다시 수행하도록 한다.
도 12는 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다. 도 12를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대해 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600)에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 얼굴 인식 장치 110: 제어부
120: 인터페이스부 130: 카메라
140: 통신부 150: DB
160: 영상 분석부 170: 변환부
180: 판단부

Claims (26)

  1. 운전자의 얼굴 영상을 촬영하는 카메라;
    상기 얼굴 영상 및 상기 얼굴 영상에 대응되는 하나 이상의 환경 조건을 포함하는 얼굴 데이터가 저장되는 DB; 및
    얼굴 인식 기능이 실행되면 얼굴 인식 시점의 환경 조건에 기초하여 얼굴 데이터를 추출하고, 상기 추출된 얼굴 데이터의 얼굴 영상에 기초하여 상기 운전자의 얼굴을 인식하는 제어부
    를 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  2. 청구항 1에 있어서,
    상기 제어부는,
    상기 DB에 저장된 얼굴 데이터 중 상기 얼굴 인식 시점의 환경 조건과 유사도가 가장 높은 환경 조건의 얼굴 데이터를 추출하는 것을 특징으로 하는 얼굴 인식 장치.
  3. 청구항 2에 있어서,
    상기 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건의 각 환경 요소를 비교하여 상기 각 환경 요소별 해밍 거리(hamming distance)를 계산하고, 상기 계산된 각 환경 요소별 해밍 거리에 기초하여 유사도를 판단하는 판단부를 더 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  4. 청구항 3에 있어서,
    상기 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건의 각 환경 요소를 부호화하는 변환부를 더 포함하고,
    상기 판단부는,
    상기 부호화된 각 환경 요소를 비교하여 해밍 거리를 계산하는 것을 특징으로 하는 얼굴 인식 장치.
  5. 청구항 4에 있어서,
    상기 판단부는,
    상기 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건 중 서로 대응되는 환경 요소의 부호가 서로 동일하면 해당 환경 요소의 해밍 거리를 0으로 계산하고, 그렇지 않으면 1로 계산하는 것을 특징으로 하는 얼굴 인식 장치.
  6. 청구항 3에 있어서,
    상기 판단부는,
    상기 계산된 각 환경 요소별 해밍거리를 합한 값이 작을 수록 유사도가 높은 것으로 판단하는 것을 특징으로 하는 얼굴 인식 장치.
  7. 청구항 3에 있어서,
    상기 판단부는,
    상기 각 환경 요소별로 가중치를 부여하고, 상기 계산된 각 환경 요소별 해밍 거리에 상기 가중치를 적용하여 유사도를 판단하는 것을 특징으로 하는 얼굴 인식 장치.
  8. 청구항 7에 있어서,
    상기 제어부는,
    상기 추출된 얼굴 데이터가 복수 개인 경우 상기 추출된 얼굴 데이터의 각 환경 요소별 해밍 거리에 적용된 가중치가 낮은 얼굴 데이터를 기준으로 상기 운전자의 얼굴 인식을 수행하는 것을 특징으로 하는 얼굴 인식 장치.
  9. 청구항 1에 있어서,
    상기 환경 조건은,
    상기 얼굴 영상으로부터 추출된 특징 정보 및 차량의 상태 정보 중 적어도 하나 이상의 환경 요소를 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  10. 청구항 9에 있어서,
    상기 얼굴 영상을 분석하여 특징 정보를 추출하는 영상 분석부를 더 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  11. 청구항 9에 있어서,
    상기 차량의 상태 정보를 수신하는 통신부를 더 포함하는 것을 특징으로 하는 얼굴 인식 장치.
  12. 청구항 1에 있어서,
    상기 제어부는,
    차량이 주행하는 동안 실시간 혹은 일정 시간 단위마다 상기 얼굴 영상 및 상기 얼굴 영상에 대응되는 하나 이상의 환경 조건을 획득하는 것을 특징으로 하는 얼굴 인식 장치.
  13. 청구항 1에 있어서,
    상기 제어부는,
    상기 얼굴 영상에 대응되는 환경 조건이 상기 운전자에 대응하여 기 저장된 얼굴 데이터의 환경 조건과 상이한 경우 상기 획득된 얼굴 영상 및 상기 얼굴 영상에 대응되는 환경 조건을 포함하는 얼굴 데이터를 추가로 생성하는 것을 특징으로 하는 얼굴 인식 장치.
  14. 운전자의 얼굴 영상을 촬영하는 단계;
    상기 촬영된 운전자의 얼굴 영상 및 상기 얼굴 영상에 대응되는 하나 이상의 환경 조건을 포함하는 얼굴 데이터를 DB에 저장하는 단계;
    얼굴 인식 기능이 실행되면, 얼굴 인식 시점의 환경 조건에 기초하여 기 저장된 얼굴 데이터를 추출하고, 상기 추출된 얼굴 데이터의 얼굴 영상에 기초하여 상기 운전자의 얼굴을 인식하는 단계
    를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  15. 청구항 14에 있어서,
    상기 운전자의 얼굴을 인식하는 단계는,
    상기 DB에 저장된 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건 간 유사도를 판단하는 단계; 및
    상기 DB에 저장된 얼굴 데이터 중 상기 얼굴 인식 시점의 환경 조건과 유사도가 가장 높은 환경 조건의 얼굴 데이터를 추출하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  16. 청구항 15에 있어서,
    상기 유사도를 판단하는 단계는,
    상기 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건의 각 환경 요소를 비교하여 각 환경 요소별 해밍 거리(hamming distance)를 계산하는 단계; 및
    상기 계산된 각 환경 요소별 해밍 거리에 기초하여 유사도를 판단하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  17. 청구항 16에 있어서,
    상기 각 환경 요소별 해밍 거리를 계산하는 단계는,
    상기 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건의 각 환경 요소를 부호화하는 단계; 및
    상기 부호화된 각 환경 요소를 비교하여 해밍 거리를 계산하는 단계를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  18. 청구항 17에 있어서,
    상기 각 환경 요소별 해밍 거리를 계산하는 단계는,
    상기 얼굴 데이터에 포함된 환경 조건 및 상기 얼굴 인식 시점의 환경 조건 중 서로 대응되는 환경 요소의 부호가 서로 동일하면 해당 환경 요소의 해밍 거리를 0으로 계산하고, 그렇지 않으면 1로 계산하는 것을 특징으로 하는 얼굴 인식 방법.
  19. 청구항 16에 있어서,
    상기 유사도를 판단하는 단계는,
    상기 계산된 각 환경 요소별 해밍 거리를 합한 값이 작을 수록 유사도가 높은 것으로 판단하는 것을 특징으로 하는 얼굴 인식 방법.
  20. 청구항 16에 있어서,
    상기 유사도를 판단하는 단계는,
    상기 각 환경 요소별로 가중치를 부여하는 단계; 및
    상기 계산된 각 환경 요소별 해밍 거리에 상기 가중치를 적용하여 유사도를 판단하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  21. 청구항 20에 있어서,
    상기 운전자의 얼굴을 인식하는 단계는,
    상기 추출된 얼굴 데이터가 복수 개인 경우 상기 추출된 얼굴 데이터의 각 환경 요소별 해밍 거리에 적용된 가중치가 낮은 얼굴 데이터를 기준으로 상기 운전자의 얼굴 인식을 수행하는 것을 특징으로 하는 얼굴 인식 방법.
  22. 청구항 14에 있어서,
    상기 환경 조건은,
    상기 얼굴 영상으로부터 추출된 특징 정보 및 차량의 상태 정보 중 적어도 하나 이상의 환경 요소를 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  23. 청구항 14에 있어서,
    상기 얼굴 영상을 분석하여 특징 정보를 추출하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  24. 청구항 14에 있어서,
    차량의 상태 정보를 수신하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  25. 청구항 14에 있어서,
    차량이 주행하는 동안 실시간 혹은 일정 시간 단위마다 상기 얼굴 영상 및 상기 얼굴 영상에 대응되는 하나 이상의 환경 조건을 획득하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 방법.
  26. 청구항 25에 있어서,
    상기 얼굴 영상에 대응되는 환경 조건이 상기 운전자에 대응하여 기 저장된 얼굴 데이터의 환경 조건과 상이한 경우 상기 획득된 얼굴 영상 및 상기 얼굴 영상에 대응되는 환경 조건을 포함하는 얼굴 데이터를 추가로 생성하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 인식 방법.
KR1020180140193A 2018-11-14 2018-11-14 얼굴 인식 장치 및 방법 KR102681701B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180140193A KR102681701B1 (ko) 2018-11-14 2018-11-14 얼굴 인식 장치 및 방법
US16/447,164 US10963678B2 (en) 2018-11-14 2019-06-20 Face recognition apparatus and face recognition method
CN201910649464.8A CN111191496A (zh) 2018-11-14 2019-07-18 面部识别装置和面部识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180140193A KR102681701B1 (ko) 2018-11-14 2018-11-14 얼굴 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200056186A true KR20200056186A (ko) 2020-05-22
KR102681701B1 KR102681701B1 (ko) 2024-07-05

Family

ID=70552347

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180140193A KR102681701B1 (ko) 2018-11-14 2018-11-14 얼굴 인식 장치 및 방법

Country Status (3)

Country Link
US (1) US10963678B2 (ko)
KR (1) KR102681701B1 (ko)
CN (1) CN111191496A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210025945A (ko) * 2019-08-28 2021-03-10 주식회사 아이즈솔 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761866A (zh) * 2022-09-23 2023-03-07 深圳市欧瑞博科技股份有限公司 用户智能识别方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100467152B1 (ko) * 2003-11-25 2005-01-24 (주)버뮤다정보기술 얼굴인식시스템에서 개인 인증 방법
US20130073114A1 (en) * 2011-09-16 2013-03-21 Drivecam, Inc. Driver identification based on face data
US20180322652A1 (en) * 2017-05-04 2018-11-08 Hanwha Techwin Co., Ltd. Object detection system and method, and computer readable recording medium

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100445800B1 (ko) * 2001-01-05 2004-08-25 학교법인 인하학원 상관관계를 이용한 유사도 측정의 얼굴 인증 방법
JP4675492B2 (ja) * 2001-03-22 2011-04-20 本田技研工業株式会社 顔画像を使用した個人認証装置
JP4314016B2 (ja) * 2002-11-01 2009-08-12 株式会社東芝 人物認識装置および通行制御装置
KR20060063599A (ko) * 2004-12-07 2006-06-12 한국전자통신연구원 사용자 인식 시스템 및 그 방법
KR20060076006A (ko) * 2004-12-29 2006-07-04 주식회사 케이티 다중 변수환경하에서의 얼굴 인식 방법
CN101504721A (zh) * 2009-03-13 2009-08-12 北京中星微电子有限公司 一种基于面部图像进行身份认证的方法及装置
WO2012071677A1 (en) * 2010-11-29 2012-06-07 Technicolor (China) Technology Co., Ltd. Method and system for face recognition
KR20120074820A (ko) * 2010-12-28 2012-07-06 대성전기공업 주식회사 얼굴 인식 기능을 이용한 차량 제어 시스템
US8552873B2 (en) * 2010-12-28 2013-10-08 Automotive Research & Testing Center Method and system for detecting a driving state of a driver in a vehicle
KR101180471B1 (ko) * 2011-09-27 2012-09-07 (주)올라웍스 한정된 메모리 환경 하에서 얼굴 인식 성능 향상을 위한 참조 얼굴 데이터베이스 관리 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR101271081B1 (ko) * 2011-10-31 2013-06-04 대성전기공업 주식회사 운전자 인식 장치 및 이의 제어 방법
KR101977887B1 (ko) * 2015-11-02 2019-05-13 주식회사 파이브지티 환경순응형 얼굴 인식 시스템 및 그 방법
JP6646216B2 (ja) * 2016-03-10 2020-02-14 富士通株式会社 情報処理装置、類似データ検索方法、及び類似データ検索プログラム
CN106295596A (zh) * 2016-08-17 2017-01-04 深圳市金立通信设备有限公司 一种基于人脸识别的解锁方法及终端
KR102288302B1 (ko) * 2017-07-03 2021-08-10 삼성전자주식회사 적외선 영상을 이용한 사용자 인증 방법 및 장치
KR101775874B1 (ko) * 2017-07-10 2017-09-19 동의대학교 산학협력단 깊이정보 기반의 안면인식 자동차제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100467152B1 (ko) * 2003-11-25 2005-01-24 (주)버뮤다정보기술 얼굴인식시스템에서 개인 인증 방법
US20130073114A1 (en) * 2011-09-16 2013-03-21 Drivecam, Inc. Driver identification based on face data
US20180322652A1 (en) * 2017-05-04 2018-11-08 Hanwha Techwin Co., Ltd. Object detection system and method, and computer readable recording medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210025945A (ko) * 2019-08-28 2021-03-10 주식회사 아이즈솔 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법

Also Published As

Publication number Publication date
CN111191496A (zh) 2020-05-22
US20200151433A1 (en) 2020-05-14
KR102681701B1 (ko) 2024-07-05
US10963678B2 (en) 2021-03-30

Similar Documents

Publication Publication Date Title
US10430645B2 (en) Facial recognition operations based on pose
US11042728B2 (en) Electronic apparatus for recognition of a user and operation method thereof
EP3523754B1 (en) Face liveness detection method and apparatus, and electronic device
CN105501158B (zh) 一种驾驶员识别融合的系统及方法
CN110751043B (zh) 基于人脸可见性的人脸识别方法、装置及存储介质
KR101326221B1 (ko) 안면 특징 검출
EP2863339B1 (en) Methods and systems for determing user liveness
KR20200125644A (ko) 생리적 특징 정보 기반의 신원 인증 방법, 장치, 시스템 및 매체
US11281892B2 (en) Technologies for efficient identity recognition based on skin features
US10733279B2 (en) Multiple-tiered facial recognition
KR102474245B1 (ko) 스와이프 입력에 기초하여 입력 문자를 판단하는 시스템 및 방법
KR20190127338A (ko) 차량 단말 및 그의 얼굴 인증 방법
KR102053581B1 (ko) 얼굴 인식 및 수기 서명 검증 기반의 사용자 인증 방법 및 장치
KR102222477B1 (ko) 안면인식 기능을 갖는 스피드 게이트 시스템 및 이의 동작방법
KR102681701B1 (ko) 얼굴 인식 장치 및 방법
KR20200071841A (ko) 차량용 음성명령어 처리 장치 및 그 방법
CN116508028A (zh) 用于行为生物测定的时空深度学习
US11734400B2 (en) Electronic device and control method therefor
AU2020100218B4 (en) Process for updating templates used in facial recognition
CN115147887A (zh) 人脸识别率提高方法、门禁设备及计算机可读存储介质
KR102632212B1 (ko) 얼굴 인식을 이용하여 차량 정보를 관리하는 전자 장치 및 그 동작 방법
CN115880530A (zh) 对抗攻击的检测方法和系统
KR20230060374A (ko) 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법
KR20200061083A (ko) 차량의 변속 제어 장치 및 방법
US20240203160A1 (en) Apparatus for identifying a face and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right