KR20230060374A - 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법 - Google Patents

얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법 Download PDF

Info

Publication number
KR20230060374A
KR20230060374A KR1020210145030A KR20210145030A KR20230060374A KR 20230060374 A KR20230060374 A KR 20230060374A KR 1020210145030 A KR1020210145030 A KR 1020210145030A KR 20210145030 A KR20210145030 A KR 20210145030A KR 20230060374 A KR20230060374 A KR 20230060374A
Authority
KR
South Korea
Prior art keywords
image
face
reference face
threshold
similarity score
Prior art date
Application number
KR1020210145030A
Other languages
English (en)
Inventor
김현상
안윤섭
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020210145030A priority Critical patent/KR20230060374A/ko
Priority to US17/862,955 priority patent/US20230126806A1/en
Priority to DE102022119726.3A priority patent/DE102022119726A1/de
Priority to CN202210950194.6A priority patent/CN116030513A/zh
Publication of KR20230060374A publication Critical patent/KR20230060374A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • B60K2370/152—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Medical Informatics (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Collating Specific Patterns (AREA)

Abstract

사용자의 외모 변화와 주변 환경의 변화에 유동적으로 대처할 수 있는 얼굴 인증 시스템은, 얼굴 인증 프로세스를 수행하기 위한 제1 이미지를 획득하는 카메라; 및 상기 얼굴 인증 프로세스가 시작된 것에 기초하여 상기 제1 이미지와 적어도 하나의 기준 얼굴 이미지를 비교하고, 상기 제1 이미지와 상기 적어도 하나의 기준 얼굴 이미지를 비교한 것에 기초하여 유사성 스코어를 결정하고, 상기 유사성 스코어가 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하고, 상기 유사성 스코어가 상기 제1 임계값보다 크고 제2 임계값보다 작은 것에 응답하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 제어부;를 포함한다.

Description

얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법{FACE VERIFICATION SYSTEM, VEHICLE COMPRISING THE SAME AND FACE VERIFICATION METHOD}
본 개시는 얼굴 인증 시스템, 얼굴 인증 시스템을 포함하는 차량 및 얼굴 인증 방법에 관한 것으로, 더욱 상세하게는 사용자의 외모 변화 및 환경 변화에 강건한 얼굴 인증 시스템, 얼굴 인증 시스템을 포함하는 차량 및 얼굴 인증 방법에 관한 것이다.
생체 인증 기술 중 하나인 얼굴 인증 기술은 정지 영상이나 동영상에 나타난 얼굴에 기초하여 사용자가 유효한(valid) 사용자인지 여부를 결정하는 인증 기술이다.
최근에는, 얼굴 인증 기술의 편리함과 효율성 때문에 보안 시스템, 모바일 인증 시스템, 차량 출입 및 시동 시스템 등의 다양한 응용 분야에서 얼굴 인증 기술이 널리 활용되고 있다.
다만, 종래의 얼굴 인증 기술에 의하면 사용자의 외모 변화와 주변 환경의 변화에 유동적으로 대처하지 못하기 때문에 진정 사용자가 얼굴 인증을 진행하더라도 인증 실패가 빈번하게 발생된다.
본 개시는 사용자의 외모 변화와 주변 환경의 변화에 유동적으로 대처할 수 있는 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법을 제공한다.
상술한 목적을 달성하기 위한 일 실시예에 따른 얼굴 인증 시스템은, 얼굴 인증 프로세스를 수행하기 위한 제1 이미지를 획득하는 카메라; 적어도 하나의 기준 얼굴 이미지를 저장하는 저장부; 및 상기 얼굴 인증 프로세스가 시작된 것에 기초하여 상기 제1 이미지와 상기 적어도 하나의 기준 얼굴 이미지를 비교하고, 상기 제1 이미지와 상기 적어도 하나의 기준 얼굴 이미지를 비교한 것에 기초하여 유사성 스코어를 결정하고, 상기 유사성 스코어가 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하고, 상기 유사성 스코어가 상기 제1 임계값보다 크고 제2 임계값보다 작은 것에 응답하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 제어부;를 포함할 수 있다.
또한, 상기 얼굴 인증 시스템은, 디스플레이;를 더 포함하고, 상기 제어부는, 상기 유사성 스코어가 상기 제1 임계값보다 작은 것에 응답하여 얼굴 인증이 실패한 것으로 결정하고, 상기 유사성 스코어가 상기 제1 임계값보다 작고 제3 임계값보다 큰 경우 다른 인증 수단에 의해 사용자 인증이 성공한 것에 기초하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 의사가 있는지 여부를 문의하기 위한 시각적 표시를 출력하도록 상기 디스플레이를 제어할 수 있다.
또한, 상기 제어부는, 상기 유사성 스코어가 상기 제1 임계값보다 작고 상기 제3 임계값보다 큰 경우 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 의사가 있다는 사용자 입력을 수신한 것에 기초하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 수 있다.
또한, 상기 적어도 하나의 기준 얼굴 이미지는 복수의 기준 얼굴 이미지를 포함하고, 상기 제어부는, 상기 제1 이미지와 상기 복수의 기준 얼굴 이미지를 각각 비교한 것에 기초하여 복수의 유사성 스코어를 결정하고, 상기 복수의 유사성 스코어 중 적어도 하나의 유사성 스코어가 상기 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하고, 상기 적어도 하나의 유사성 스코어가 상기 제1 임계값보다 크고 상기 복수의 유사성 스코어 모두가 상기 제2 임계값보다 작은 것에 응답하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 수 있다.
또한, 상기 제어부는, 상기 제1 이미지와 상기 복수의 기준 얼굴 이미지를 각각 비교한 것에 기초하여 복수의 유사성 스코어를 결정하고, 상기 복수의 유사성 스코어의 평균값이 상기 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정할 수 있다.
또한, 상기 제어부는, 상기 제1 이미지를 처리한 것에 기초하여 상기 제1 이미지의 획득 조건 또는 상기 제1 이미지에 포함된 사용자의 외모 조건 중 적어도 하나를 결정하고, 상기 제1 이미지의 획득 조건 또는 상기 사용자의 외모 조건 중 적어도 하나에 기초하여 상기 복수의 유사성 스코어 각각에 대한 가중치를 결정하고, 상기 복수의 유사성 스코어 각각에 대한 가중치를 반영하여 상기 복수의 유사성 스코어의 평균값을 결정할 수 있다.
또한, 상기 제어부는, 상기 카메라로부터 상기 제1 이미지를 획득하기 위한 노출값에 대한 정보를 수신하고, 상기 노출값에 대한 정보에 기초하여 상기 제1 이미지가 실외에서 획득된 것인지 실내에서 획득된 것인지 결정할 수 있다.
또한, 상기 제어부는, 상기 제1 이미지가 실외에서 획득된 것으로 결정되면 상기 제1 이미지를 상기 저장부의 제1 저장공간에 등록하고, 상기 제1 이미지가 실내에서 획득된 것으로 결정되면 상기 제1 이미지를 상기 저장부의 제2 저장공간에 등록할 수 있다.
또한, 상기 제어부는, 상기 제1 저장공간이 가득 찬 경우 상기 제1 이미지를 상기 제1 저장공간에 등록하기 위해 상기 제1 저장공간에 저장된 복수의 제1 기준 얼굴 이미지 중에서 어느 하나의 제1 기준 얼굴 이미지를 삭제하고, 상기 제2 저장공간이 가득 찬 경우 상기 제1 이미지를 상기 제2 저장공간에 등록하기 위해 상기 제2 저장공간에 저장된 복수의 제2 기준 얼굴 이미지 중에서 어느 하나의 제2 기준 얼굴 이미지를 삭제할 수 있다.
또한, 상기 제어부는, 상기 복수의 제1 기준 얼굴 이미지 각각의 저장 시점 또는 상기 복수의 제1 기준 얼굴 이미지 각각을 이용하여 산출된 유사성 스코어의 누적 평균값 중 적어도 하나에 기초하여 상기 복수의 제1 기준 얼굴 이미지 중에서 삭제의 대상이 되는 어느 하나의 제1 기준 얼굴 이미지를 결정하고, 상기 복수의 제2 기준 얼굴 이미지 각각의 저장 시점 또는 상기 복수의 제2 기준 얼굴 이미지 각각을 이용하여 산출된 유사성 스코어의 누적 평균값 중 적어도 하나에 기초하여 상기 복수의 제2 기준 얼굴 이미지 중에서 삭제의 대상이 되는 어느 하나의 제2 기준 얼굴 이미지를 결정할 수 있다.
또한, 상기 제어부는, 상기 복수의 제1 기준 얼굴 이미지 중에서 가장 오래 전에 저장되었거나 상기 유사성 스코어의 누적 평균값이 가장 낮거나 상기 저장 시점에 대응되는 제1 값과 상기 유사성 스코어의 누적 평균값에 대응되는 제2 값의 합이 가장 작은 제1 기준 얼굴 이미지를 상기 삭제의 대상이 되는 제1 기준 얼굴 이미지로 결정하고, 상기 복수의 제2 기준 얼굴 이미지 중에서 가장 오래 전에 저장되었거나 상기 유사성 스코어의 누적 평균값이 가장 낮거나 상기 저장 시점에 대응되는 제1 값과 상기 유사성 스코어의 누적 평균값에 대응되는 제2 값의 합이 가장 작은 제2 기준 얼굴 이미지를 상기 삭제의 대상이 되는 제2 기준 얼굴 이미지로 결정할 수 있다.
또한, 상기 제1 저장공간에 저장될 수 있는 최대 이미지 개수와 상기 제2 저장공간에 저장될 수 있는 최대 이미지 개수는 서로 상이할 수 있다.
또한, 상기 제어부는, 상기 제1 이미지를 처리한 것에 기초하여 인식된 사용자의 얼굴에서 눈, 코, 입이 모두 검출된 경우에만 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 상기 저장부에 등록할 수 있다.
상술한 목적을 달성하기 위한 일 실시예에 따른 얼굴 인증 방법은, 얼굴 인증 프로세스를 수행하기 위한 제1 이미지를 획득하고; 상기 얼굴 인증 프로세스가 시작된 것에 기초하여 상기 제1 이미지와 적어도 하나의 기준 얼굴 이미지를 비교하고; 상기 제1 이미지와 상기 적어도 하나의 기준 얼굴 이미지를 비교한 것에 기초하여 유사성 스코어를 결정하고; 상기 유사성 스코어가 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하고; 상기 유사성 스코어가 상기 제1 임계값보다 크고 제2 임계값보다 작은 것에 응답하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것;을 포함할 수 있다.
또한, 상기 얼굴 인증 방법은, 상기 유사성 스코어가 상기 제1 임계값보다 작은 것에 응답하여 얼굴 인증이 실패한 것으로 결정하고; 상기 유사성 스코어가 상기 제1 임계값보다 작고 제3 임계값보다 큰 경우 다른 인증 수단에 의해 사용자 인증이 성공한 것에 기초하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 의사가 있는지 여부를 문의하기 위한 시각적 표시를 출력하는 것;을 더 포함할 수 있다.
또한, 상기 얼굴 인증 방법은, 상기 유사성 스코어가 상기 제1 임계값보다 작고 상기 제3 임계값보다 큰 경우 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 의사가 있다는 사용자 입력을 수신한 것에 기초하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것;을 더 포함할 수 있다.
또한, 상기 적어도 하나의 기준 얼굴 이미지는 복수의 기준 얼굴 이미지를 포함하고, 상기 유사성 스코어를 결정하는 것은, 상기 제1 이미지와 상기 복수의 기준 얼굴 이미지를 각각 비교한 것에 기초하여 복수의 유사성 스코어를 결정하는 것;을 포함하고, 상기 얼굴 인증이 성공한 것으로 결정하는 것은, 상기 복수의 유사성 스코어 중 적어도 하나의 유사성 스코어가 상기 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하는 것;을 포함하고, 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것은, 상기 적어도 하나의 유사성 스코어가 상기 제1 임계값보다 크고 상기 복수의 유사성 스코어 모두가 상기 제2 임계값보다 작은 것에 응답하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것;을 포함할 수 있다.
또한, 상기 유사성 스코어를 결정하는 것은, 상기 제1 이미지와 상기 복수의 기준 얼굴 이미지를 각각 비교한 것에 기초하여 복수의 유사성 스코어를 결정하는 것;을 포함하고, 상기 얼굴 인증이 성공한 것으로 결정하는 것은,상기 복수의 유사성 스코어의 평균값이 상기 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하는 것;을 포함할 수 있다.
또한, 상기 복수의 유사성 스코어의 평균값이 상기 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하는 것은, 상기 제1 이미지를 처리한 것에 기초하여 상기 제1 이미지의 획득 조건 또는 상기 제1 이미지에 포함된 사용자의 외모 조건 중 적어도 하나를 결정하고; 상기 제1 이미지의 획득 조건 또는 상기 사용자의 외모 조건 중 적어도 하나에 기초하여 상기 복수의 유사성 스코어 각각에 대한 가중치를 결정하고; 상기 복수의 유사성 스코어 각각에 대한 가중치를 반영하여 상기 복수의 유사성 스코어의 평균값을 결정하는 것;을 포함할 수 있다.
또한, 상기 얼굴 인증 방법은, 상기 제1 이미지를 획득한 카메라로부터 노출값에 대한 정보를 수신하고; 상기 노출값에 대한 정보에 기초하여 상기 제1 이미지가 실외에서 획득된 것인지 실내에서 획득된 것인지 결정하는 것;을 더 포함할 수 있다.
또한, 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것은, 상기 제1 이미지가 실외에서 획득된 것으로 결정되면 상기 제1 이미지를 제1 저장공간에 등록하고; 상기 제1 이미지가 실내에서 획득된 것으로 결정되면 상기 제1 이미지를 제2 저장공간에 등록하는 것;을 포함할 수 있다.
또한, 상기 제1 이미지를 제1 저장공간에 등록하는 것은, 상기 제1 저장공간이 가득 찬 경우 상기 제1 이미지를 상기 제1 저장공간에 등록하기 위해 상기 제1 저장공간에 저장된 복수의 제1 기준 얼굴 이미지 중에서 어느 하나의 제1 기준 얼굴 이미지를 삭제하는 것;을 포함하고, 상기 제1 이미지를 제2 저장공간에 등록하는 것은, 상기 제2 저장공간이 가득 찬 경우 상기 제1 이미지를 상기 제2 저장공간에 등록하기 위해 상기 제2 저장공간에 저장된 복수의 제2 기준 얼굴 이미지 중에서 어느 하나의 제2 기준 얼굴 이미지를 삭제하는 것;을 포함할 수 있다.
또한, 상기 제1 저장공간에 저장된 복수의 제1 기준 얼굴 이미지 중에서 어느 하나의 제1 기준 얼굴 이미지를 삭제하는 것은, 상기 복수의 제1 기준 얼굴 이미지 각각의 저장 시점 또는 상기 복수의 제1 기준 얼굴 이미지 각각을 이용하여 산출된 유사성 스코어의 누적 평균값 중 적어도 하나에 기초하여 상기 복수의 제1 기준 얼굴 이미지 중에서 삭제의 대상이 되는 어느 하나의 제1 기준 얼굴 이미지를 결정하는 것;을 포함하고, 상기 제2 저장공간에 저장된 복수의 제2 기준 얼굴 이미지 중에서 어느 하나의 제2 기준 얼굴 이미지를 삭제하는 것은, 상기 복수의 제2 기준 얼굴 이미지 각각의 저장 시점 또는 상기 복수의 제2 기준 얼굴 이미지 각각을 이용하여 산출된 유사성 스코어의 누적 평균값 중 적어도 하나에 기초하여 상기 복수의 제2 기준 얼굴 이미지 중에서 삭제의 대상이 되는 어느 하나의 제2 기준 얼굴 이미지를 결정하는 것;을 포함할 수 있다.
또한, 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것은, 상기 제1 이미지를 처리한 것에 기초하여 인식된 사용자의 얼굴에서 눈, 코, 입이 모두 검출된 경우에만 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 상기 저장부에 등록하는 것;을 포함할 수 있다.
상술한 목적을 달성하기 위한 일 실시예에 따른 차량은, 상기 얼굴 인증 시스템을 포함할 수 있다.
본 개시에 따르면 사용자의 외모가 변화하더라도 얼굴 인증의 성공률을 향상시킬 수 있다.
또한, 본 개시에 따르면 사용자의 얼굴 이미지를 획득하는 환경이 변화하더라도 얼굴 인증의 성공률을 향상시킬 수 있다.
또한, 본 개시에 따르면 얼굴 인증의 보안성을 향상시킬 수 있다.
또한, 본 개시에 따르면, 제한된 저장공간을 이용하여 다양한 조건의 기준 얼굴 이미지를 확보할 수 있다.
도 1은 일 실시예에 따른 얼굴 인증 시스템의 구성을 도시한 블록도이다.
도 2는 일 실시예에 따른 얼굴 인증 시스템을 이용한 얼굴 인증 방법의 순서도이다.
도 3은 일 실시예에 따른 얼굴 인증 시스템의 유사성 스코어를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 얼굴 인증 시스템이 사용자에게 얼굴 이미지 등록 의사를 묻는 일 예를 도시한다.
도 5는 일 실시예에 따른 얼굴 인증 시스템이 기준 얼굴 이미지를 자동으로 등록하는 방법을 도시한 순서도이다.
도 6은 일 실시예에 따른 얼굴 인증 시스템의 저장부의 저장공간을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 얼굴 인증 시스템의 저장 공간이 가득 찬 경우 자동으로 기준 얼굴 이미지를 삭제하는 모습을 도시한 도면이다.
도 8은 일 실시예에 따른 얼굴 인증 시스템이 얼굴 인증을 수행하는 방법을 도시한 순서도이다.
도 9는 일 실시예에 따른 얼굴 인증 시스템이 복수의 유사성 스코어 각각에 가중치를 부여하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 얼굴 인증 시스템이 탑재된 전자 장치를 도시한다.
도 11은 일 실시예에 따른 얼굴 인증 시스템이 탑재된 차량을 도시한다.
도 12는 일 실시예에 따른 얼굴 인증 시스템이 탑재된 차량의 제어방법을 도시한 순서도이다.
개시된 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법 및 장치는 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 개시된 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 개시된 실시예들은 개시된 발명의 개시가 완전하도록 하고, 개시된 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 개시된 발명은 청구항의 범주에 의해 정의될 뿐이다.
개시된 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 발명에 대해 구체적으로 설명하기로 한다.
개시된 발명에서 사용되는 용어는 개시된 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 개시된 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 개시된 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법의 실시예에 대하여 개시된 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 개시된 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다. 또한, 도면에서 동일한 도면 부호는 동일한 구성요소를 나타내며, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 실시예에 따른 얼굴 인증 시스템의 구성을 도시한 블록도이다.
도 1을 참조하면, 일 실시예에 따른 얼굴 인증 시스템(1)은 카메라(100)와, 제어부(110)와, 저장부(120)와, 사용자 인터페이스부(130)를 포함할 수 있다.
카메라(100)는 사용자의 얼굴을 촬영하여 사용자의 얼굴 이미지(이하 '제1 이미지')를 획득할 수 있다.
카메라(100)는 운전자의 안면 영상을 획득할 수 있는 모든 구성을 의미할 수 있다. 예를 들어, 카메라(100)는 CMOS 이미지 센서 또는 CCD 이미지 센서를 채용할 수 있다.
카메라(100)는 사용자의 얼굴을 촬영하기 용이한 위치에 설치될 수 있다.
다양한 실시예에 따라, 카메라(100)는 주변 광량에 따라 노출값을 자동으로 조절할 수 있다. 노출값은 셔터스피드, 조리개, 및/또는 ISO 감도에 대한 설정값을 포함할 수 있다. 일 실시예에서, 카메라(100)는 주변이 밝을수록 노출값을 낮추고 주변이 어두울수록 노출값을 높일 수 있다.
예를 들어, 카메라(100)는 햇빛이 비추는 실외에서는 노출값을 미리 설정된 값 이하로 설정하고, 실외보다 어두운 실내에서는 노출값을 미리 설정된 값보다 크도록 설정할 수 있다.
카메라(100)는 제어부(110)의 제어 신호에 기초하여 동작할 수 있으며, 제1 이미지를 제어부(110)로 전달할 수 있다.
제어부(110)는 카메라(100)로부터 전달 받은 제1 이미지에 기초하여 다양한 기능을 수행할 수 있다.
예를 들어, 제어부(110)는 카메라(100)로부터 전달 받은 제1 이미지에 기초하여 얼굴 인증 프로세스를 진행할 수 있다. 또한, 제어부(110)는 제1 이미지에 기초하여 카메라(100)의 렌즈를 이동시키거나 카메라(100)를 회전시켜 카메라(100)의 촬영 영역(Field of View)을 조절할 수 있다.
제어부(110)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 제어부(110)는 카메라(100), 저장부(120), 사용자 인터페이스부(130) 및/또는 얼굴 인증 시스템(1)을 탑재하는 장치의 각종 구성과 전기적으로 연결되어, 카메라(100), 저장부(120), 사용자 인터페이스부(130) 및/또는 얼굴 인증 시스템(1)을 탑재하는 장치의 각종 구성을 제어할 수 있다.
제어부(110)가 복수의 메모리와 복수의 프로세서를 포함하는 경우에는 복수의 메모리와 복수의 프로세서가 하나의 칩에 집적될 수도 있고, 물리적으로 분리될 수도 있다. 또한, 제어부(110)는 카메라(100)로부터 획득한 영상을 처리하기 위한 이미지 프로세서를 포함할 수 있다.
예를 들어, 제어부(110)는 제1 이미지를 저장부(120)에 저장된 기준 얼굴 이미지와 비교하여 사용자를 인증하는 얼굴 인증 프로세스를 수행할 수 있다.
일 실시예에서, 제어부(110)는 제1 이미지에 대해 영상 전처리를 수행할 수 있다. 영상 전처리 과정은 제1 이미지를 얼굴 인증에 보다 적합한 형태로 처리하는 하나 이상의 과정을 포함할 수 있다. 예를 들어, 영상 전처리 과정은 제1 이미지에 포함된 노이즈를 제거하는 과정, 제1 이미지의 컨트라스트(contrast)를 증가시키는 과정, 제1 이미지에 포함된 블러(blur)를 제거하는 디블러링(deblurring) 과정, 배경 영역(background region)을 제거하는 과정, 제1 이미지에 포함된 왜곡(distortion)을 보정하는 와핑(warping) 과정 및 제1 이미지를 이진화(binarization)하는 과정 등을 포함할 수 있다.
제어부(110)는 제1 이미지에서 얼굴 영역을 검출한다. 제어부(110)는 예를 들어, Haar 기반의 캐스케이드 에이다부스트 분류기(Haar-based cascade adaboost classifier), 뉴럴 네트워크에 기반한 분류기 또는 서포트 벡터 머신(Support Vector Machine) 등을 이용하여 제1 이미지에서 얼굴 영역을 검출할 수 있다. 다만, 실시예의 범위가 이에 한정되는 것은 아니고, 제어부(110)는 다양한 얼굴 영역 검출 기법을 이용하여 제1 이미지에서 얼굴 영역을 검출할 수 있다.
제어부(110)는 검출된 얼굴 영역을 정규화(normalization)할 수 있다. 일 실시예에서, 제어부(110)는 검출된 얼굴 영역에서 얼굴의 특징점들(facial landmarks)을 검출하고, 검출된 특징점들에 기초하여 얼굴 영역을 정규화할 수 있다. 제어부(110)는 예를 들어, ACM(Active Contour Model), ASM(Active Shape Model), AAM(Active Appearance model), SDM(Supervised Descent Method) 또는 뉴럴 네트워크 등에 기초한 특징점 검출 기법을 이용하여 얼굴 영역에서 얼굴의 특징점들을 검출할 수 있다. 얼굴의 특징점들은 주요 얼굴 부위에 대한 특징점들로서, 예를 들어 눈썹, 눈, 코, 입술, 턱, 귀 또는 얼굴의 윤곽 등을 식별하기 위한 특징점들이다. 정규화는 예를 들어, 제1 이미지에서 얼굴 영역을 나타내는 얼굴 영상을 추출하는 영상 크롭핑(image cropping) 과정, 얼굴 영역에서 검출된 특징점들의 위치를 미리 정의된 기준 위치에 매칭시키는 과정 및 추출된 얼굴 영역의 크기를 조정하는 과정 등을 포함할 수 있다. 일 예에서, 제1 이미지에서 추출된 얼굴 영상은 패치 영상(patch image)의 형태를 가질 수 있다. 제어부(110)는 검출된 특징점들의 위치에 기초하여 아핀 변환(affine transformation)을 수행하는 것에 의해 특징점들의 위치를 기준 위치에 매칭시킬 수 있다. 여기서, 아핀 변환은 특징점들의 위치가 나타내는 벡터 공간을 다른 벡터 공간에 대응시키는 역할을 한다.
제어부(110)는 제1 이미지로부터 추출한 사용자의 얼굴의 특징점들을 기준 얼굴 이미지로부터 추출한 특징점들과 비교함으로써 제1 이미지와 기준 얼굴 이미지를 비교할 수 있으며, 비교 결과에 따라 유사성 스코어를 산출할 수 있다.
유사성 스코어란, 제1 이미지로부터 추출한 사용자의 얼굴의 특징점들과 기준 얼굴 이미지로부터 추출한 특징점들의 유사성을 수치화한 것으로, 특징점들의 유사성에 기초하여 산출될 수 있다.
제1 이미지로부터 추출한 사용자의 얼굴의 특징점들의 특징 값 및 기준 얼굴 이미지로부터 추출한 특징점들의 특징 값 간의 차이가 작을수록 유사성 스코어는 커지고, 차이가 클수록 유사성 스코어는 작아질 수 있다.
제어부(110)는 제1 이미지와 기준 얼굴 이미지 사이의 유사성 스코어를 산출하기 위해 다양한 알고리즘을 채택할 수 있다. 예를 들어, 제어부(110)는 제1 이미지로부터 추출한 사용자의 얼굴의 특징점들의 특징 값과 기준 얼굴 이미지로부터 추출한 특징점들의 특징 값을 비교하기 위한 알고리즘을 실행할 수 있다.
다양한 실시예에 따라, 제어부(110)는 기계학습에 의해 학습된 학습 모델을 이용하여 제1 이미지와 기준 얼굴 이미지 사이의 유사성 스코어를 산출할 수 있다.
저장부(120)는 얼굴 인증 프로세스를 진행하기 위해 필요한 각종 정보를 저장할 수 있다. 이를 위해, 저장부(120)는 적어도 하나의 메모리로 구현될 수 있다.
저장부(120)는 사용자의 진위 여부를 판단하기 위한 기준이 되는 기준 얼굴 이미지를 저장할 수 있다.
도면에는 제어부(110)와 저장부(120)가 따로 도시되어 있지만, 저장부(120)는 제어부(110)의 복수의 메모리 중 어느 하나에 해당할 수 있다.
사용자는 얼굴 등록 프로세스를 진행하여 저장부(120)에 기준 얼굴 이미지를 등록할 수 있다.
일 예로, 제어부(110)는 얼굴 등록 프로세스를 진행하기 위한 사용자 인터페이스(예: 가이드 메시지)를 출력하도록 사용자 인터페이스부(130)를 제어할 수 있으며, 사용자는 사용자 인터페이스부(130)를 통해 얼굴 등록 프로세스를 진행할 수 있다.
사용자는 사용자 인터페이스부(130)에서 제공되는 가이드에 따라, 카메라(100)를 통해 기준 얼굴 이미지를 입력함으로써 저장부(120)에 기준 얼굴 이미지를 저장할 수 있다.
저장부(120)는 적어도 하나의 기준 얼굴 이미지를 저장할 수 있다. 예를 들어, 저장부(120)는 복수의 사용자 각각에 대한 적어도 하나의 기준 얼굴 이미지를 저장할 수 있으며, 단일 사용자에 대한 복수의 기준 얼굴 이미지를 저장할 수도 있다.
복수의 사용자가 얼굴 인증 시스템(1)을 이용하는 경우, 제어부(110)는 제1 이미지에 기초하여 사용자를 특정하고, 특정된 사용자와 관련된 기준 얼굴 이미지에 기초하여 얼굴 인증 프로세스를 진행할 수 있다.
사용자 인터페이스부(130)는 얼굴 인증 프로세스 및/또는 얼굴 등록 프로세스와 관련된 각종 정보를 표시하기 위한 디스플레이부(131) 및 얼굴 인증 프로세스 및/또는 얼굴 등록 프로세스와 관련된 각종 사용자 입력을 수신하기 위한 입력부(132)를 포함할 수 있다.
디스플레이부(131)는 적어도 하나의 디스플레이를 포함할 수 있다. 적어도 하나의 디스플레이는 발광 다이오드(Light Emitting Diode: LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 액정 디스플레이(Liquid Crystal Display) 패널 및/또는 인디케이터일 수 있다. 또한, 디스플레이부(131)는 터치 스크린을 포함할 수 있다.
디스플레이부(131)는 얼굴 인증 프로세스의 인증 결과를 나타내는 시각적 표시를 출력할 수 있다. 예를 들어, 얼굴 인증 시스템(1)은 인디케이터의 점등을 통해 사용자에게 얼굴 인증의 성공 여부를 알릴 수 있다.
입력부(132)는 얼굴 인증 시스템(1)이 탑재되는 장치(예: 전자 장치 또는 차량)의 다양한 위치에 마련되는 버튼, 다이얼 및/또는 터치패드를 포함할 수 있다.
예를 들면, 입력부(132)는 푸시 버튼, 터치 버튼, 터치 패드, 터치 스크린, 다이얼, 스틱형 조작 장치 및/또는 트랙볼을 포함할 수 있다. 입력부(132)가 터치 스크린으로 구현되는 경우 입력부(132)는 디스플레이부(131)와 일체로 마련될 수도 있다.
입력부(132)는 얼굴 등록 프로세스를 진행하기 위한 사용자 입력 및/또는 자동 얼굴 등록의 의사를 확인하기 위한 사용자 입력을 수신할 수 있다.
이상에서는 얼굴 인증 시스템(1)의 각종 구성요소를 설명하였으나, 통상의 기술 범위 내에서 새로운 구성이 추가되거나 설명된 구성이 생략될 수 있다.
예를 들어, 얼굴 인증 시스템(1)은 외부 장치(예: 스마트 폰)로부터 영상을 수신하는 통신 모듈을 더 포함할 수 있으며, 이 경우 제어부(110)는 외부 장치로부터 수신된 입력 영상에 기초하여 얼굴 인증 프로세스를 진행할 수 있다.
도 2는 일 실시예에 따른 얼굴 인증 시스템을 이용한 얼굴 인증 방법의 순서도이다. 도 3은 일 실시예에 따른 얼굴 인증 시스템의 유사성 스코어를 설명하기 위한 도면이다. 도 4는 일 실시예에 따른 얼굴 인증 시스템이 사용자에게 얼굴 이미지 등록 의사를 묻는 일 예를 도시한다.
도 2를 참조하면, 제어부(110)는 미리 설정된 조건이 만족한 것에 기초하여 얼굴 인증 프로세스를 시작할 수 있다(1000).
예를 들어, 얼굴 인증 시스템(1)이 차량(3)에 탑재되는 경우, 제어부(110)는 차량(3)의 도어 핸들에 마련된 터치 센서가 터치 입력을 수신한 것에 기초하여 얼굴 인증 프로세스를 시작할 수 있다. 또 다른 예로, 제어부(110)는 차량(3)의 근접센서가 차량(3) 주위의 객체를 감지한 것에 기초하여 얼굴 인증 프로세스를 수행할 수 있다.
얼굴 인증 시스템(1)이 전자 장치(2)(예: 스마트 폰)에 탑재되는 경우, 제어부(110)는 전자 장치(2)의 디스플레이가 온된 것에 기초하여 얼굴 인증 프로세스를 수행할 수 있다. 또한, 제어부(110)는 전자 장치(2)의 애플리케이션으로부터 얼굴 인증 요청 메시지를 수신한 것에 기초하여 얼굴 인증 프로세스를 시작할 수 있다.
제어부(110)는 얼굴 인증 프로세스를 시작하기 위한 미리 설정된 조건이 만족된 것에 응답하여, 제1 이미지를 획득하도록 카메라(100)를 제어할 수 있다.
일 실시예에서, 카메라(100)는 얼굴 인증 프로세스를 시작하기 위한 미리 설정된 조건이 만족된 경우에만 동작함으로써, 전력 소모를 줄일 수 있다.
제어부(110)는 카메라(100)를 통해 촬영된 제1 이미지를 수신할 수 있다(1100).
이 때, 제1 이미지는 사용자의 얼굴을 포함할 수 있다.
제어부(110)는 제1 이미지를 처리한 것에 기초하여, 사용자의 얼굴 방향이 정면이 아닌 것으로 판단되거나, 사용자의 얼굴의 일부가 제1 이미지에 포함되어 있지 않은 것으로 판단되면 사용자 인터페이스부(130)를 제어하여 사용자에게 이미지의 재촬영을 요청할 수 있다.
제어부(110)는 얼굴 인증 프로세스가 시작된 것에 기초하여 제1 이미지와 적어도 하나의 기준 얼굴 이미지를 비교할 수 있다(1200). 적어도 하나의 기준 얼굴 이미지는 사용자가 얼굴 등록 프로세스를 진행하여 수동으로 등록한 기준 얼굴 이미지 및 일 실시예에 따른 얼굴 인증 시스템(1)에 의해 자동으로 등록된 기준 얼굴 이미지를 포함할 수 있다.
일 실시예에 따른 얼굴 인증 시스템(1)이 자동으로 기준 얼굴 이미지를 저장하는 방법은 이하에서 설명한다.
앞서 설명한 바와 같이, 제어부(110)는 제1 이미지와 적어도 하나의 기준 얼굴 이미지를 비교한 것에 기초하여 유사성 스코어를 결정할 수 있다.
제어부(110)는 제1 이미지와 적어도 하나의 기준 얼굴 이미지 사이의 유사성 스코어에 기초하여 얼굴 인증의 성공 여부를 결정할 수 있으며, 기준 얼굴 이미지의 자동 저장 여부를 결정할 수 있다.
도 3을 참조하면, 유사성 스코어에 따른 얼굴 인증 프로세스의 판단 기준을 확인할 수 있다.
유사성 스코어가 B1 구간에 해당하는 경우, 인증 대상체가 진정 사용자와 닮지 않은 타인으로 판정될 수 있다.
유사성 스코어가 B2 구간에 해당하는 경우, 인증 대상체가 진정 사용자와 일부 닮은 타인으로 판정될 수 있다.
유사성 스코어가 B3 구간에 해당하는 경우, 인증 대상체가 진정 사용자와 아주 유사한 타인으로 판정될 수 있다.
유사성 스코어가 B4 구간에 해당하는 경우, 인증 대상체가 진정 사용자와 거의 비슷한 외모를 갖는 타인이거나, 인증 대상체가 진정 사용자임에도 불구하고 외부 환경 조건에 따라 신뢰도가 낮은 것으로 판정될 수 있다.
유사성 스코어가 B5 구간에 해당하는 경우, 인증 대상체가 진정 사용자에 해당하지만, 외모 변화 및/또는 환경 변화가 있는 것으로 판정될 수 있다.
유사성 스코어가 B6 구간에 해당하는 경우, 인증 대상체가 진정 사용자에 해당하는 것으로 판정될 수 있다.
일 실시예에서, 제1 임계값은 얼굴 인증의 성공 여부를 결정하기 위한 임계값을 의미할 수 있다. 유사성 스코어가 제1 임계값보다 작은 인증 실패 구간(a1)에 해당하면 얼굴 인증이 실패하고, 유사성 스코어가 제1 임계값 이상인 인증 성공 구간(a2)에 해당하면 얼굴 인증이 성공할 수 있다.
자동 등록 구간(a2) 및 등록 의사 확인 구간(a4)은 후술하여 설명한다.
제어부(110)는 유사성 스코어가 제1 임계값 이상이면(1300의 예) 얼굴 인증이 성공한 것으로 결정할 수 있으며(1420), 유사성 스코어가 제1 임계값보다 작으면(1300의 아니오) 얼굴 인증이 실패한 것으로 결정할 수 있다(1550).
제2 임계값은 제1 이미지에 포함된 얼굴이 진정 사용자의 얼굴에는 해당하지만 사용자의 외모 변화 및/또는 환경 변화가 추정되는 임계값에 해당한다.
제어부(110)는 유사성 스코어가 제1 임계값 이상이고 제2 임계값보다 작으면 제1 이미지에 포함된 사용자의 얼굴은 기준 얼굴 이미지에 포함된 기준 얼굴과 매칭되나, 유사도가 다소 떨어지는 것으로 판단할 수 있다.
제3 임계값은 제1 이미지에 기초한 얼굴 인증은 실패하였으나 제1 이미지에 포함된 얼굴이 진정 사용자와 외모가 유사한 타인의 얼굴이거나 환경 변화가 큰 조건에서의 진정 사용자의 얼굴임을 추정하기 위한 임계값에 해당한다.
제어부(110)는 유사성 스코어가 제1 임계값보다 작고 제3 임계값보다 크면 제1 이미지에 포함된 얼굴은 진정 사용자와 외모가 유사한 타인의 얼굴이거나 환경 변화가 큰 조건에서의 진정 사용자의 얼굴임을 추정할 수 있다.
제1 임계값, 제2 임계값 및/또는 제3 임계값은 제어부(110)의 메모리 및/또는 저장부(120)에 미리 저장된 값일 수 있으며, 소프트웨어의 업데이트 또는 학습 모델의 학습에 따라 그 값이 변경될 수 있다.
다시 도 2를 참조하면, 제어부(110)는 유사성 스코어가 제1 임계값보다 크고 제2 임계값보다 작으면(1400의 예) 제1 이미지를 기준 얼굴 이미지로 등록할 수 있다(1410).
즉, 얼굴 인증 시스템(1)은 유사성 스코어가 자동 등록 구간(a2)에 해당하면 제1 이미지를 기준 얼굴 이미지로 등록할 수 있다.
본 명세서에서 제1 이미지를 기준 얼굴 이미지로 등록한다는 것은 얼굴 등록 프로세스를 통해 사용자가 직접 등록한 기준 얼굴 이미지를 보존한 채로, 제1 이미지를 추가적인 기준 얼굴 이미지로 등록한다는 것을 의미한다.
기준 얼굴 이미지로 등록된 제1 이미지는 추후에 얼굴 인증 프로세스를 진행하는 경우, 카메라(100)로부터 새롭게 획득된 이미지와의 비교 대상이 될 수 있다.
즉, 제어부(110)는 기준 얼굴 이미지로 등록된 제1 이미지 및 추후 진행되는 얼굴 인증 프로세스에서 카메라(100)로부터 획득된 사용자의 얼굴 이미지를 비교하여 유사성 스코어를 산출하고, 유사성 스코어에 따른 얼굴 인증의 성공 여부를 판단할 수 있다.
본 개시에 따르면, 사용자의 수동 조작 없이 제1 이미지를 자동으로 기준 얼굴 이미지로서 등록함으로써, 추후 얼굴 인증 프로세스의 과정에서의 인증 성공률을 향상시킬 수 있다.즉, 제1 이미지의 유사성 스코어가 제2 임계값보다 작은 경우 사용자의 외모 변화(예: 수염, 헤어컷, 안경, 악세서리 등)가 있다는 점이 추정되므로, 변화된 외모에 대한 특징점들을 포함하는 제1 이미지를 또 하나의 기준 얼굴 이미지로 활용함으로써 추후 얼굴 인증 프로세스의 과정에서의 인증 성공률을 향상시킬 수 있다.
다양한 실시예에 따라, 제어부(110)는 제1 이미지를 처리한 것에 기초하여 인식된 사용자의 얼굴에서 눈, 코, 입이 모두 검출된 경우에만 제1 이미지를 적어도 하나의 기준 얼굴 이미지로서 저장부(120)에 저장할 수 있다. 이에 따라, 얼굴 인증 시스템(1)의 보안성을 향상시킬 수 있다.
또한, 유사성 스코어가 자동 등록 구간(a2)에 해당하는 경우에만 제1 이미지를 기준 얼굴 이미지로서 등록하기 때문에, 한정된 저장공간을 효율적으로 사용할 수 있다.
다양한 실시예에 따라, 제어부(110)는 유사성 스코어가 제1 임계값보다 작은 것(1300의 아니오)에 응답하여 얼굴 인증이 실패한 것으로 결정할 수 있으나(1550), 특정 조건이 만족하는 경우에는 사용자의 의사를 확인하여 제1 이미지를 기준 얼굴 이미지로 등록할 수 있다.
예를 들어, 제어부(110)는 유사성 스코어가 제1 임계값보다 작고 제3 임계값보다 큰 경우(1500의 예), 다른 인증 수단에 의해 사용자 인증이 성공한 것(1510의 예)에 기초하여 제1 이미지를 기준 얼굴 이미지로서 등록할 의사가 있는지 여부를 문의하기 위한 시각적 표시를 출력하도록 디스플레이부(131)(예: 적어도 하나의 디스플레이)를 제어할 수 있다(1520).
즉, 얼굴 인증 시스템(1)은 유사성 스코어가 등록 의사 확인 구간(a4)에 해당하는 경우에는 사용자에게 제1 이미지의 등록 의사를 문의한 후, 사용자의 응답에 따라 제1 이미지를 기준 얼굴 이미지로서 활용할지 여부를 결정할 수 있다.
유사성 스코어가 등록 의사 확인 구간(a4)에 해당하면, 인증 대상체가 진정 사용자와 거의 비슷한 외모를 갖는 타인이거나 인증 대상체가 진정 사용자임에도 불구하고 외부 환경 조건에 따라 신뢰도가 낮은 것으로 판정될 수 있기 때문에, 제1 이미지에 포함된 인증 대상체가 진정 사용자인지 여부를 사용자에게 문의하여 신뢰도를 확보하기 위함이다.
또한, 얼굴 인증 시스템(1)은 유사성 스코어가 등록 의사 확인 구간(a4)에 해당하더라도, 다른 인증 수단에 의해 인증 대상체가 진정 사용자임이 확인되지 않는 이상 제1 이미지의 등록 의사를 확인하지 않을 수 있다.
이 때, 다른 인증 수단이란 다른 생체 인증 수단(예: 홍채 인식, 지문 인식 등)을 의미할 수도 있으며, 입력부(132)를 통한 수동 인증 수단(예: 패스워드, 패턴 등)을 의미할 수도 있다.
일실시예에서, 얼굴 인증 시스템(1)은 다른 인증 수단으로부터 인증 결과를 수신하기 위한 통신 모듈을 포함할 수 있다.
일 예로, 얼굴 인증 시스템(1)이 차량(3)에 탑재되는 경우, 얼굴 인증 시스템(1)은 타 인증 시스템(예: 지문 인증 시스템, 홍채 인증 시스템, 스마트키 인증 시스템)의 인증 결과에 대한 정보를 수신할 수 있다.
다양한 실시예에 따라, 얼굴 인증 시스템(1)이 차량(3)에 탑재되는 경우, 얼굴 인증 시스템(1)은 유사성 스코어가 등록 의사 확인 구간(a4)에 해당하는 제1 이미지를 메모리에 임시적으로 저장한 후, 사용자가 차량(3)의 시동을 건 것에 응답하여 디스플레이부(131)(예: AVN 장치)를 제어하여 제1 이미지를 표시하고, 사용자의 등록 의사를 문의하는 시각적 표시를 출력할 수 있다.
도 4를 참조하면, 등록 의사 확인 구간(a4)에 해당하는 제1 이미지에 기초하여 인증이 실패된 후, 사용자가 타 인증 수단으로 인증을 성공한 경우(예: 사용자가 차량(3)의 시동을 건 경우) 사용자 인터페이스부(130)는 제1 이미지와 더불어 사용자의 등록 의사를 문의하는 시각적 표시(예: 텍스트)를 출력할 수 있다.
사용자는 사용자 인터페이스부(130)에서 제공되는 버튼들(130a, 130b)을 통해 자신의 의사를 표현할 수 있으나, 사용자의 의사 표시 방식이 이에 한정되는 것은 아니다.
예를 들어, 사용자는 음성 명령을 통해 자신의 의사를 표시할 수도 있다.
제어부(110)는 제1 버튼(130a)을 통해 긍정의 의사를 표시하는 사용자 입력을 수신한 것에 기초하여 제1 이미지를 기준 얼굴 이미지로서 등록할 수 있다.
즉, 제어부(110)는 사용자로부터 제1 이미지를 기준 얼굴 이미지로 등록할 의사가 있다는 사용자 입력을 수신한 것(1530의 예)에 기초하여 제1 이미지를 기준 얼굴 이미지로 등록할 수 있다(1540).
또한, 제어부(110)는 제2 버튼(130b을 통해) 부정의 의사를 표시하는 사용자 입력을 수신한 것(1530의 아니오)에 기초하여 제1 이미지를 기준 얼굴 이미지로 등록하지 않은 채로 절차를 종료할 수 있다.
본 개시에 따르면, 제1 이미지에 포함된 인증 대상체가 진정 사용자와 거의 비슷한 외모를 갖는 타인이거나, 인증 대상체가 진정 사용자임에도 불구하고 외부 환경 조건에 따라 신뢰도가 낮은 것으로 판정될 수 있는 경우 사용자의 의사를 확인하여 제1 이미지를 기준 얼굴 이미지로 활용함으로써 추후 얼굴 인증 프로세스에서의 인증 성공률을 향상시킬 수 있다.
또한, 본 개시에 따르면 제1 이미지의 유사성 스코어가 등록 의사 확인 구간(a4)에 해당하는 경우 다른 인증 수단을 통해 인증이 완료된 경우에만 사용자에게 제1 이미지의 등록 의사를 확인함으로써, 얼굴 인증 시스템(1)의 보안성을 확보할 수 있다.
도 2에 도시된 얼굴 인증 시스템(1)의 이미지 자동 등록 과정에 의하면, 사용자의 외모 변화 또는 주변 환경 조건의 변화에 대처하여 기준 얼굴 이미지를 자동으로 업데이트함으로써 추후 얼굴 인증 프로세스의 인증 성공률을 높일 수 있다.
도 5는 일 실시예에 따른 얼굴 인증 시스템이 기준 얼굴 이미지를 자동으로 등록하는 방법을 도시한 순서도이다. 도 6은 일 실시예에 따른 얼굴 인증 시스템의 저장부의 저장공간을 설명하기 위한 도면이다. 도 7은 일 실시예에 따른 얼굴 인증 시스템의 저장 공간이 가득 찬 경우 자동으로 기준 얼굴 이미지를 삭제하는 모습을 도시한 도면이다.
도 5 내지 도 7을 참조하여 제1 이미지를 기준 얼굴 이미지로 저장하는 방법의 일 예를 설명한다.
제어부(110)는 제1 이미지를 기준 얼굴 이미지로 저장하는 경우(도 2의 1410, 1540), 제1 이미지를 미리 설정된 조건에 따라 분류하여, 분류 결과에 따라 제1 이미지를 저장할 저장공간을 결정할 수 있다.
제어부(110)는 얼굴 인증 프로세스를 진행하며 미리 설정된 기준에 따라 제1 이미지를 검사할 수 있다. 예를 들어, 제어부(110)는 얼굴 영역의 검출 위치, 얼굴 영역 내 가림 영역(예, 마스크 또는 안경)의 존재 여부, 얼굴 영역에 나타난 얼굴 표정, 사용자 정보(예, 성별 또는 나이), 제1 이미지의 조명(illumination) 상태 및 제1 이미지의 영상 품질(예, 블러니스(blurriness) 정도) 중 하나 이상을 검사할 수 있다. 이러한 검사 항목들은 각 검사 항목의 목적에 맞게 학습된 뉴럴 네트워크 또는 영상 화질 측정법(Image Quality Assessment; IQA)을 이용하여 검사될 수 있다.
얼굴 인증 시스템(1)은 제1 이미지의 얼굴 영역 내 가림 영역의 존재 여부, 얼굴 표정, 사용자 정보, 조명 상태 및/또는 영상 품질과 같은 검사 항목의 결과에 따라 제1 이미지를 복수의 카테고리 중 어느 하나의 카테고리로 분류하고, 분류된 카테고리에 대응되는 저장공간에 제1 이미지를 저장할 수 있다.
제1 이미지를 분류하기 위한 기준이 되는 검사 항목은 상술하여 설명한 것에 한정되지 않고, 다양한 실시예에 따라 추가되거나 변경될 수 있다.
한편, 상술한 검사항목 중에서 조명 상태는 얼굴 인증의 성공률이 저하되는 큰 요인으로 작용할 수 있다.
이에 따라, 일 실시예에 따른 얼굴 인증 시스템(1)은 제1 이미지의 카테고리 분류 기준으로 제1 이미지의 획득 장소가 실내인지 또는 실외인지 여부를 채택할 수 있으나, 분류 기준이 이에 한정되는 것은 아니다.
도 5를 참조하면, 제어부(110)는 제1 이미지가 실내에서 획득된 것인지 또는 실외에서 획득된 것인지 결정할 수 있다(2000).
일 예로, 앞서 설명한 바와 같이, 제어부(110)는 얼굴 인증 프로세스를 진행하기 위해 제1 이미지를 처리한 것에 기초하여 제1 이미지가 실내에서 획득된 것인지 실외에서 획득된 것인지 결정할 수 있다.
예를 들어, 제어부(110)는 제1 이미지의 명도 및/또는 채도에 기초하여 제1 이미지가 실내에서 획득된 것인지 실외에서 획득된 것인지 결정할 수 있다.
또 다른 예로, 제어부(110)는 카메라(100)로부터 노출값에 대한 정보를 수신하고, 노출값에 대한 정보에 기초하여 제1 이미지가 실내에서 획득된 것인지 실외에서 획득된 것인지 결정할 수 있다.
예를 들어, 제어부(110)는 제1 이미지를 획득하기 위해 설정된 카메라(100)의 노출값이 미리 설정된 값보다 작으면 제1 이미지가 실외에서 획득된 것으로 결정하고, 노출값이 미리 설정된 값보다 크면 제1 이미지가 실내에서 획득된 것으로 결정할 수 있다.
제어부(110)는 제1 이미지가 실외에서 획득된 것으로 결정되면(2100의 예) 제1 이미지를 저장부(120)의 제1 저장공간(126)에 등록할 수 있다(2220).
또한, 제어부(110)는 제1 이미지가 실내에서 획득된 것으로 결정되면(2200의 예) 제1 이미지를 저장부(120)의 제2 저장공간(127)에 등록할 수 있다(2320).
도 6을 참조하면, 저장부(120)의 저장공간은 복수의 카테고리로 구분될 수 있다. 이 때, 서로 상이한 저장공간은 서로 다른 하드웨어를 통해 물리적으로 구분되는 것뿐만 아니라, 소프트웨어적으로 구분되는 것을 의미할 수 있다.
일 예로, 저장부(120)의 저장공간은 사용자가 얼굴 등록 프로세스를 통해 수동으로 등록한 기준 얼굴 이미지(121-1)를 저장하는 기본 저장공간(121)과, 일 실시예에 따른 얼굴 인증 시스템(1)의 자동 저장 방법에 따라 자동으로 등록되는 기준 얼굴 이미지를 저장하는 업데이트 저장공간(125)을 포함할 수 있다.
기본 저장공간(121)에 저장된 기준 얼굴 이미지(121-1)는 사용자의 수동 작업에 의해서만 삭제될 수 있다. 즉, 기본 저장공간(121)에 저장된 기준 얼굴 이미지(121-1)는 사용자가 사용자 인터페이스부(130)를 통해 기준 얼굴 이미지(121-1)를 삭제하기 위한 명령을 입력한 경우에만 삭제될 수 있다.
사용자의 의사에 따라, 기본 저장공간(121)에는 단일 사용자에 관한 복수의 기준 얼굴 이미지가 저장될 수도 있고, 복수의 사용자 각각에 대한 적어도 하나의 기준 얼굴 이미지가 저장될 수도 있다.
업데이트 저장공간(125)은 복수의 카테고리에 따라 구분된 복수의 저장공간(예: 제1 저장공간(126) 및 제2 저장공간(127))을 포함할 수 있다.
일 예로, 제1 저장공간(126)에는 실외에서 획득된 것으로 분류된 적어도 하나의 기준 얼굴 이미지가 저장될 수 있으며, 제2 저장공간(127)에는 실내에서 획득된 것으로 분류된 적어도 하나의 기준 얼굴 이미지가 저장될 수 있으나, 이에 한정되는 것은 아니다. 또한, 업데이트 저장공간(125)에 포함되는 저장공간의 개수도 두 개에 한정되는 것은 아니다.
예를 들어, 제1 저장공간(126)에는 얼굴 영역 내 안경이 존재하는 이미지로 분류된 기준 얼굴 이미지가 저장될 수 있으며, 제2 저장공간(127)에는 얼굴 영역 내 마스크가 존재하는 이미지로 분류된 기준 얼굴 이미지가 저장될 수 있다.
또 다른 예로, 제3 저장공간에는 얼굴 영역 내 악세서리가 존재하는 이미지로 분류된 기준 얼굴 이미지가 저장될 수 있으며, 제4 저장공간에는 얼굴 영역 내 수염이 존재하는 이미지로 분류된 기준 얼굴 이미지가 저장될 수 있다.
일실시예에서, 제1 저장공간(126)에는 실외에서 획득된 n개(n은 자연수)의 기준 얼굴 이미지(126-1, 126-2, ..., 126-n)가 저장될 수 있으며, 제2 저장공간(127)에는 실내에서 획득된 m개(m은 자연수)의 기준 얼굴 이미지(127-1, 127-2, ..., 127-m)가 저장될 수 있다.
이 때, 제1 저장공간(126)에 저장될 수 있는 최대 이미지 개수인 n개와, 제2 저장공간(127)에 저장될 수 있는 최대 이미지 개수인 m개는 같거나 상이할 수 있다.
예를 들어, n과 m은 사용자가 주로 얼굴 인증을 수행하는 장소에 기초하여 미리 설정될 수 있다. 얼굴 인증 시스템(1)이 차량(3)에 탑재되는 경우, 사용자가 실외에서 얼굴 인증을 수행하는 횟수가 실내에서 얼굴 인증을 수행하는 횟수보다 많을 것으로 추정되므로 n이 m보다 클 수 있다. 예를 들어, n은 약 3으로, m은 약 5로 설정될 수 있으나 이에 한정되는 것은 아니다.
후술하여 설명할 바와 같이, 제1 저장공간(126)에 저장된 적어도 하나의 기준 얼굴 이미지(이하 '제1 기준 얼굴 이미지')와 제2 저장공간(127)에 저장된 적어도 하나의 기준 얼굴 이미지(이하 '제2 기준 얼굴 이미지')는 새로운 기준 얼굴 이미지에 등록에 의해 자동으로 삭제될 수 있다.
본 개시에 따르면, 제1 저장공간(126) 및 제2 저장공간(127)에 한정적인 개수의 기준 얼굴 이미지를 저장함으로써 기준 얼굴 이미지가 무분별하게 저장되어 얼굴 인증 시스템(1)의 보안성이 약화되는 것을 방지할 수 있다.
한편, 제1 카테고리의 기준 얼굴 이미지들(예: 실내 공간에서 획득된 기준 얼굴 이미지) 제2 카테고리의 기준 얼굴 이미지들(예: 실이 공간에서 획득된 기준 얼굴 이미지)이 한 개밖에 없는 경우, 새롭게 저장될 기준 얼굴 이미지가 카테고리에 따라 구분되지 않은 채로 업데이트 저장공간(125)에 저장된다면, 제1 카테고리의 기준 얼굴 이미지들이 다수 존재함에도 불구하고 하나밖에 존재하지 않는 제2 카테고리의 기준 얼굴 이미지가 자동으로 삭제될 수 있다.
본 개시에 따르면, 서로 상이한 카테고리의 기준 얼굴 이미지를 서로 상이한 카테고리를 갖는 복수의 저장공간에 저장함으로써, 사용자의 다양한 외모 변화 조건 및/또는 환경 조건에도 불구하고 얼굴 인증 성공률을 향상시킬 수 있다.
도 7을 참조하면, 제어부(110)는 제1 이미지가 실외에서 획득된 것으로 결정되고, 제1 저장공간(126)이 가득 찬 경우(2200의 예), 제1 저장공간(126)에 저장된 복수의 제1 기준 얼굴 이미지들 중에서 어느 하나의 제1 기준 얼굴 이미지를 삭제할 수 있으며(2210), 이에 따라 제1 이미지를 새로운 제1 기준 얼굴 이미지로서 제1 저장공간(126)에 등록할 수 있다(2220).
즉, 일 실시예에 따른 얼굴 인증 시스템(1)은 제1 저장공간(126)이 가득 찬 경우 제1 이미지를 제1 저장공간(126)에 등록하기 위해 기존에 미리 저장되어 있던 복수의 제1 기준 얼굴 이미지들(126-1, 126-2, ..., 126-n) 중에서 어느 하나의 제1 기준 얼굴 이미지(126-1 또는 126-2 또는..., 126-n)를 삭제할 수 있다.
다양한 실시예에 따라, 제어부(110)는 미리 설정된 기준에 따라 복수의 제1 기준 얼굴 이미지들(126-1, 126-2, ..., 126-n) 중에서 삭제의 대상이 되는 제1 기준 얼굴 이미지(126-1, 126-2, ..., 126-n)를 결정할 수 있다.
일 실시예에서, 제어부(110)는 복수의 제1 기준 얼굴 이미지(126-1, 126-2, ..., 126-n) 각각의 저장 시점 또는 복수의 제1 기준 얼굴 이미지(126-1, 126-2, ..., 126-n) 각각을 이용하여 산출된 유사성 스코어의 누적 평균값 중 적어도 하나에 기초하여 삭제의 대상이 되는 제1 기준 얼굴 이미지(126-1 또는 126-2 또는..., 126-n)를 결정할 수 있다.
예를 들어, 제어부(110)는 복수의 제1 기준 얼굴 이미지들(126-1, 126-2, ..., 126-n) 중에서 가장 오래 전에 저장된 제1 기준 얼굴 이미지를 삭제의 대상이 되는 제1 기준 얼굴 이미지로 결정할 수 있다.
본 개시에 따르면, 가장 오래 전에 저장된 제1 기준 얼굴 이미지를 가장 최근에 획득한 제1 기준 얼굴 이미지로 대체함으로써 사용자의 최신 외모 조건을 및/또는 최신 환경 조건을 반영할 수 있다.
또 다른 예로, 제어부(110)는 복수의 제1 기준 얼굴 이미지들(126-1, 126-2, ..., 126-n) 중에서 복수의 제1 기준 얼굴 이미지들(126-1, 126-2, ..., 126-n) 각각을 이용하여 산출한 유사성 스코어의 누적 평균값이 가장 작은 제1 기준 얼굴 이미지를 삭제의 대상이 되는 제1 기준 얼굴 이미지로 결정할 수 있다.
복수의 제1 기준 얼굴 이미지들(126-1, 126-2, ..., 126-n) 각각을 이용하여 산출한 유사성 스코어의 누적 평균값이란, 사용자가 제1-1 기준 얼굴 이미지(126-1)를 이용하여 얼굴 인증 프로세스를 적어도 한 회 진행하면서 산출된 적어도 하나의 유사성 스코어의 누적 평균값, 사용자가 제1-2 기준 얼굴 이미지(126-2)를 이용하여 얼굴 인증 프로세스를 적어도 한 회 진행하면서 산출된 적어도 하나의 유사성 스코어의 누적 평균값, 사용자가 제1-n 기준 얼굴 이미지를 이용하여 얼굴 인증 프로세스를 적어도 한 회 진행하면서 산출된 적어도 하나의 유사성 스코어의 누적 평균값을 의미할 수 있다.
예를 들어, 사용자가 제1-1 기준 얼굴 이미지(126-1)를 이용하여 얼굴 인증 프로세스를 네 번 진행하면서 산출된 네 개의 하나의 유사성 스코어가 {0.7, 0.5, 0.6, 0.6}인 경우 누적 평균값은 0.6에 해당할 수 있다.
본 개시에 따르면, 사용자가 얼굴 인증을 수행하기 위해 입력한 얼굴 이미지와의 매칭률이 가장 낮은 제1 기준 얼굴 이미지를 삭제함으로써 사용자의 최신 외모 조건을 및/또는 최신 환경 조건을 반영할 수 있다.
또 다른 예로, 제어부(110)는 복수의 제1 기준 얼굴 이미지들(126-1, 126-2, ..., 126-n)의 저장 시점 및 유사성 스코어의 누적 평균값에 기초하여 복수의 제1 기준 얼굴 이미지들 각각의 중요도를 산출하고, 중요도가 가장 낮은 제1 기준 얼굴 이미지를 삭제의 대상으로 결정할 수 있다.
구체적으로, 제어부(110)는 복수의 제1 기준 얼굴 이미지들(126-1, 126-2, ..., 126-n)의 저장 시점에 대응되는 제1 값과 복수의 제1 기준 얼굴 이미지들(126-1, 126-2, ..., 126-n)의 유사성 스코어의 누적 평균값에 대응되는 제2 값을 산출하고, 제1 값과 제2 값의 합이 가장 작은 제1 기준 얼굴 이미지를 삭제의 대상이 되는 제1 기준 얼굴 이미지로 결정할 수 있다.
제어부(110)는 저장 시점이 오래될수록 낮은 제1 값을 부여할 수 있으며, 누적 평균값이 낮을수록 낮은 제2 값을 부여할 수 있다.
예를 들어, 제어부(110)는 제1 기준 얼굴 이미지의 저장 시점이 1년 전인 경우 0.5점을, 저장 시점이 6개월 이전인 경우 0.7점을, 저장 시점이 3개월 이전인 경우 1점을 각각 부여할 수 있으며, 제1 기준 얼굴 이미지에 기반하여 산출된 유사성 스코어의 누적 평균값이 0.8 이상인 경우 1점을, 0.75 이상인 경우 0.7점을, 0.7 이상인 경우 0.5점을 부여할 수 있다.
저장 시점에 대응되는 제1 값 및 유사성 스코어의 누적 평균값에 대응되는 제2 값을 산출하는 방법은 제한 없이 채용될 수 있으며, 관련된 룩업 테이블이 메모리에 저장되어 있을 수 있다.
본 개시에 따르면, 저장 시점 및 매칭률에 기초하여 복수의 제1 기준 얼굴 이미지들 중에서 가장 중요도가 낮은 제1 기준 얼굴 이미지를 삭제함으로써 사용자의 최신 외모 조건을 및/또는 최신 환경 조건을 반영할 수 있다.
마찬가지로, 제어부(110)는 제1 이미지가 실내에서 획득된 것으로 결정되고, 제2 저장공간(127)이 가득 찬 경우(2300의 예), 제2 저장공간(127)에 저장된 복수의 제2 기준 얼굴 이미지들(127-1, 127-2, ..., 127-m) 중에서 어느 하나의 제2 기준 얼굴 이미지(127-1 또는 127-2 또는 ..., 127-m)를 삭제할 수 있으며(2310), 이에 따라 제1 이미지를 새로운 제2 기준 얼굴 이미지로서 제2 저장공간(127)에 등록할 수 있다(2320).
즉, 일 실시예에 따른 얼굴 인증 시스템(1)은 제2 저장공간(127)이 가득 찬 경우 제1 이미지를 제2 저장공간(127)에 등록하기 위해 기존에 미리 저장되어 있던 복수의 제2 기준 얼굴 이미지들(127-1, 127-2, ..., 127-m) 중에서 어느 하나의 제2 기준 얼굴 이미지를 삭제할 수 있다.
다양한 실시예에 따라, 제어부(110)는 미리 설정된 기준에 따라 복수의 제2 기준 얼굴 이미지들(127-1, 127-2, ..., 127-m) 중에서 삭제의 대상이 되는 제2 기준 얼굴 이미지를 결정할 수 있다. 미리 설정된 기준은 앞서 설명된 삭제의 대상이 되는 제1 기준 얼굴 이미지를 결정하기 위한 기준과 동일하므로, 이에 대한 설명은 생략한다.
도 8은 일 실시예에 따른 얼굴 인증 시스템이 얼굴 인증을 수행하는 방법을 도시한 순서도이다. 도 9는 일 실시예에 따른 얼굴 인증 시스템이 복수의 유사성 스코어 각각에 가중치를 부여하는 방법을 설명하기 위한 도면이다.
도 8 및 도 9를 참조하여 복수의 기준 얼굴 이미지를 이용한 얼굴 인증 방법의 일 예를 설명한다.
다양한 실시예에 따라, 제어부(110)는 제1 이미지(101)와 복수의 기준 얼굴 이미지 각각을 비교할 수 있다(3000).
제어부(110)는 제1 이미지(101)와 복수의 기준 얼굴 이미지 각각을 비교한 것에 기초하여, 복수의 유사성 스코어를 산출할 수 있다(3100).
구체적으로, 제어부(110)는 기본 저장공간(121)에 저장된 디폴트 기준 얼굴 이미지(121-1)와 제1 이미지(101)를 비교하여 유사성 스코어를 산출할 수 있으며, 업데이트 저장공간(125)에 저장된 적어도 하나의 기준 얼굴 이미지(126-1, 126-2, ..., 126-n, 127-1, 127-2, ..., 127-m) 각각과 제1 이미지(101)를 비교하여 (n+m)개의 유사성 스코어를 산출할 수 있다.
일실시예에서, 제어부(110)는 복수의 유사성 스코어 중에서 제1 임계값보다 큰 유사성 스코어가 적어도 한 개 존재하는 것에 기초하여 얼굴 인증이 성공한 것으로 결정할 수 있다.
다시 말해서, 일실시예에 따른 얼굴 인증 시스템(1)은 복수의 기준 얼굴 이미지들 중에서 제1 이미지(101)와의 유사성 스코어가 제1 임계값 이상인 기준 얼굴 이미지가 한 개라도 존재한다면 얼굴 인증이 성공한 것으로 결정할 수 있다.
이 경우, 제어부(110)는 복수의 유사성 스코어 중에서 제1 임계값보다 큰 유사성 스코어가 적어도 한 개 존재하며, 복수의 유사성 스코어 모두가 제2 임계값보다 작은 경우에만 제1 이미지(101)를 기준 얼굴 이미지로서 저장부(120)에 등록할 수 있다.
본 실시예에 따르면, 사용자의 외모 변화 또는 제1 이미지의 획득 조건(이하 '환경 조건')의 변화에 강건하게 얼굴 인증 성공률을 향상시킬 수 있다는 장점이 있는 반면, 보안성이 약화될 수 있다는 단점이 있다.
이에 따라, 다른 실시예에 따른 제어부(110)는 복수의 유사성 스코어의 평균값이 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정할 수 있다.
본 실시예에 따르면, 사용자의 외모 변화 또는 환경 조건의 변화에 따라 어느 정도 강건하게 인증 성공률을 유지하면서, 보안성이 약해지는 단점을 보완할 수 있다.
다양한 실시예에 따라, 제어부(110)는 복수의 유사성 스코어의 평균값에 기초하여 얼굴 인증의 성공 여부를 판단하되, 제1 이미지(101)의 획득 조건 및/또는 제1 이미지(101)에 포함된 사용자의 외모 조건 중 적어도 하나에 기초하여 복수의 유사성 스코어 각각에 대해 가중치를 부여한 후 평균값을 산출함으로써 얼굴 인증 시스템(1)의 보안성이 약해지는 단점을 보완한 채로 더욱 향상된 인증 성공률을 유지할 수 있다.
다시 도 8을 참조하면, 제어부(110)는 제1 이미지(101)를 처리한 것에 기초하여 제1 이미지(101)의 획득 조건 또는 제1 이미지(101)에 포함된 사용자의 외모 조건 중 적어도 하나를 결정하고, 제1 이미지(101)의 획득 조건 또는 사용자의 외모 조건 중 적어도 하나에 기초하여 복수의 유사성 스코어 각각에 대한 가중치를 결정할 수 있다(3200).
제어부(110)는 복수의 유사성 스코어 각각에 대한 가중치를 반영하여 복수의 유사성 스코어의 평균값을 결정하고, 가중치가 반영된 복수의 유사성 스코어의 평균값을 최종 유사성 스코어로 결정할 수 있다(3300).
제어부(110)는 최종 유사성 스코어가 제1 임계값 이상인 것에 기초하여(3400의 예) 얼굴 인증이 성공한 것으로 결정할 수 있으며, 최종 유사성 스코어가 제1 임계값보다 작은 것에 기초하여(3400의 아니오) 얼굴 인증이 실패한 것으로 결정할 수 있다(3420).
이하에서는 도 9를 참조하여 각각의 유사성 스코어에 가중치를 반영하는 방법을 설명한다. 설명의 편의를 위해서 기본 저장공간(121)에 디폴트 기준 얼굴 이미지(121-1)가 저장되어 있고, 제1 저장공간(126)에는 두 개의 제1 기준 얼굴 이미지(126-1, 126-2)가 저장되어 있고, 제2 저장공간(127)에는 하나의 제2 기준 얼굴 이미지(127-1)가 저장되어 있는 것으로 가정한다.
도 9를 참조하면, 제어부(110)는 제1 이미지(101)를 처리한 것에 기초하여 제1 이미지(101)의 획득 조건(예: 실외) 및 제1 이미지(101)에 포함된 사용자의 외모 조건(예: 안경, 수염)을 결정할 수 있다.
앞서 설명한 바와 같이, 기준 얼굴 이미지들(121-1, 126-1, 126-2, 127-1)에 대한 특징 값은 저장부(120)에 저장되어 있을 수 있으며, 이에 따라 제어부(110)는 기준 얼굴 이미지들(121-1, 126-1, 126-2, 127-1)의 조건이 제1 이미지(101)의 조건과 매칭되는지 여부를 판단할 수 있다.
예를 들어, 사용자가 안경을 착용하지 않고 수염을 기르지 않은 상태에서 실외에서 등록한 디폴트 기준 얼굴 이미지(121-1)는 제1 이미지(101)와 "실외 조건"만이 매칭된다. 또한, 사용자가 안경을 착용하고 수염을 기르지 않은 상태에서 실외에서 자동으로 등록된 제1-1 기준 얼굴 이미지(126-1)는 제1 이미지(101)와 "실외 조건" 및 "안경 조건"이 매칭된다. 또한, 사용자가 안경을 착용하고 수염을 기른 상태에서 실외에서 자동으로 등록된 제1-2 기준 얼굴 이미지(126-2)는 제1 이미지(101)와 "실외 조건", "안경 조건" 및 "수염 조건"이 매칭된다. 또한, 사용자가 안경을 착용하고 수염을 기르지 않은 상태에서 실내에서 자동으로 등록된 제2-1 기준 얼굴 이미지(127-1)는 제1 이미지(101)와 "안경 조건"만이 매칭된다.
제어부(110)는 조건의 매칭 여부에 따라 각 기준 얼굴 이미지(121-1, 126-1, 126-2, 127-1)로부터 산출된 유사성 스코어에 가중치를 부여할 수 있다.
예를 들어, 제어부(110)는 "실외 조건"이 매칭되는 경우에는 가중치 a를, "안경 조건"이 매칭되는 경우에는 가중치 b를, "수염 조건"이 매칭되는 경우에는 가중치 c를 적용할 수 있다. 각 조건에 대한 가중치 값은 메모리에 저장되어 있을 수 있다.
제어부(110)는 제1 이미지(101)와 디폴트 기준 얼굴 이미지(121-1)에 기초하여 산출된 유사성 스코어가 0.75에 해당하는 경우, 0.75에 가중치 a를 반영하여 디폴트 기준 얼굴 이미지(121-1)로부터 산출된 유사성 스코어를 변경할 수 있다.
마찬가지로, 제어부(110)는 제1 이미지(101)와 제1-1 기준 얼굴 이미지(126-1)에 기초하여 산출된 유사성 스코어가 0.8에 해당하는 경우, 0.8에 가중치 a 및 b를 반영할 수 있고, 제1 이미지(101)와 제1-2 기준 얼굴 이미지(126-2)에 기초하여 산출된 유사성 스코어가 0.9에 해당하는 경우, 0.9에 가중치 a, b 및 c를 반영할 수 있고, 제1 이미지(101)와 제2-1 기준 얼굴 이미지(127-1)에 기초하여 산출된 유사성 스코어가 0.5에 해당하는 경우, 0.5에 가중치 b를 반영할 수 있다.
본 실시예에 따르면, 사용자의 얼굴 이미지의 획득 조건 및/또는 사용자의 외모 조건과 조건이 가장 매칭되는 기준 얼굴 이미지에 대해 가중치를 부여함으로써 인증 성공률을 향상시킬 수 있다.
또한, 다양한 실시예에 따라 사용자는 사용자 인터페이스부(130)를 통해 자동으로 등록된 기준 얼굴 이미지들을 확인할 수 있으며, 수동으로 이를 삭제할 수 있음은 물론이다.
한편, 앞서 설명한 얼굴 인증 시스템(1) 다양한 장치에 탑재되어 활용될 수 있다.
도 10은 일 실시예에 따른 얼굴 인증 시스템이 탑재된 전자 장치를 도시한다.
도 10을 참조하면, 전자 장치(2)는 얼굴 인증 시스템(1)을 포함할 수 있다. 전자 장치(2)는 예를 들어, 사용자 단말(스마트 폰, 노트북, 랩탑 등)을 포함할 수 있으며, 각종 컴퓨팅 장치를 포함할 수 있다.
얼굴 인증 시스템(1)은 전자 장치(2)의 잠금을 해제하거나, 보안이 필요한 애플리케이션(예: 은행 업무와 관련된 애플리케이션)에 대해 본인 확인을 수행하는 등의 목적으로 활용될 수 있다.
도 11은 일 실시예에 따른 얼굴 인증 시스템이 탑재된 차량을 도시한다.
도 11을 참조하면, 차량(3)은 얼굴 인증 시스템(1)을 포함할 수 있다.
얼굴 인증 시스템(1)이 차량(3)에 탑재되는 경우, 카메라(100)는 운전석 측 에이-필라(A-Pillar) 및/또는 비-필라(B-Pillar)에 마련되어 도어(D) 외부의 사용자 및/또는 도어(D) 내부의 사용자를 촬영할 수 있다.
또한, 사용자 인터페이스부(130)는 차량(3)의 센터페시아, 헤드 유닛 및/또는 스티어링 휠에 마련될 수 있으며, 예를 들어, 차량(3)의 AVN 장치를 포함할 수 있다.
얼굴 인증 시스템(1)은 차량(3)의 잠금을 해제하거나, 차량(3)의 AVN 장치를 통해 보안이 필요한 애플리케이션(예: 은행 업무와 관련된 애플리케이션)에 대해 본인 확인을 수행하거나, 차량(3)의 시동을 걸기 위한 목적 등 다양한 목적으로 활용될 수 있다.
도 12는 일 실시예에 따른 얼굴 인증 시스템이 탑재된 차량의 제어방법을 도시한 순서도이다.
도 12를 참조하면, 일실시예에 따른 차량(3)은 미리 설정된 조건이 만족되면 얼굴 인증 시스템(1)을 이용하여 얼굴 인증 프로세스를 시작할 수 있다(4000).
예를 들어, 차량(3)은 도어가 잠겨있는 상태에서 도어 핸들에 마련된 터치 센서가 터치 입력을 수신한 것, 근접센서가 차량(3) 주위의 객체를 감지한 것, 또는 스마트키가 차량(3) 주변에 위치하는 것에 기초하여 얼굴 인증 프로세스를 시작할 수 있다.
또 다른 예로, 차량(3)은 시동이 꺼져있는 상태에서 사용자가 운전석에 탑승한 것에 기초하여 얼굴 인증 프로세스를 시작할 수 있다.
일실시예에 따른 차량(3)은 얼굴 인증이 성공한 것(4100의 예)에 기초하여 사용자에게 얼굴 인증이 성공했다는 것을 나타내는 피드백을 제공할 수 있다(4200).
예를 들어, 차량(3)은 얼굴 인증이 성공했다는 것을 나타내는 시각적 표시를 출력하거나, 음향을 출력함으로써 사용자에게 얼굴 인증이 성공된 것을 공지할 수 있다.
일실시예에 따른 차량(3)은 얼굴 인증 시스템(1)을 이용하여 얼굴 인증이 성공한 것에 기초하여(4100의 예), 얼굴 인증의 성공과 관련된 차량(3)의 기능을 수행할 수 있다(4300).
예를 들어, 차량(3)은 도어가 잠겨있는 상태에서 외부의 사용자가 얼굴 인증을 성공한 것에 기초하여 차량(3)의 도어 잠금을 해제할 수 있다. 또 다른 예로, 차량(3)은 차량(3)의 시동이 꺼져있는 상태에서 내부의 사용자가 얼굴 인증을 성공한 것에 기초하여 시동을 온시킬 수 있다.
일실시예에 따른 차량(3)은 얼굴 인증이 실패한 것(4100의 아니오)에 기초하여 사용자에게 얼굴 인증이 실패했다는 것을 나타내는 피드백을 제공할 수 있다(4150).
한편, 얼굴 인증 시스템(1) 및 차량(3)의 일부 구성요소는 소프트웨어 및/또는 Field Programmable Gate Array(FPGA) 및 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소일 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
1 : 얼굴 인증 시스템 2: 전자 장치
3: 차량 100 : 카메라
110: 제어부 120: 저장부
130: 사용자 인터페이스부 131: 디스플레이부
132: 입력부

Claims (20)

  1. 얼굴 인증 프로세스를 수행하기 위한 제1 이미지를 획득하는 카메라;
    적어도 하나의 기준 얼굴 이미지를 저장하는 저장부; 및
    상기 얼굴 인증 프로세스가 시작된 것에 기초하여 상기 제1 이미지와 상기 적어도 하나의 기준 얼굴 이미지를 비교하고, 상기 제1 이미지와 상기 적어도 하나의 기준 얼굴 이미지를 비교한 것에 기초하여 유사성 스코어를 결정하고, 상기 유사성 스코어가 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하고, 상기 유사성 스코어가 상기 제1 임계값보다 크고 제2 임계값보다 작은 것에 응답하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 상기 저장부에 등록하는 제어부;를 포함하는 얼굴 인증 시스템.
  2. 제1항에 있어서,
    디스플레이;를 더 포함하고,
    상기 제어부는,
    상기 유사성 스코어가 상기 제1 임계값보다 작은 것에 응답하여 얼굴 인증이 실패한 것으로 결정하고, 상기 유사성 스코어가 상기 제1 임계값보다 작고 제3 임계값보다 큰 경우 다른 인증 수단에 의해 사용자 인증이 성공한 것에 기초하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 의사가 있는지 여부를 문의하기 위한 시각적 표시를 출력하도록 상기 디스플레이를 제어하는 얼굴 인증 시스템.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 유사성 스코어가 상기 제1 임계값보다 작고 상기 제3 임계값보다 큰 경우 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 의사가 있다는 사용자 입력을 수신한 것에 기초하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 얼굴 인증 시스템.
  4. 제1항에 있어서,
    상기 적어도 하나의 기준 얼굴 이미지는 복수의 기준 얼굴 이미지를 포함하고,
    상기 제어부는,
    상기 제1 이미지와 상기 복수의 기준 얼굴 이미지를 각각 비교한 것에 기초하여 복수의 유사성 스코어를 결정하고, 상기 복수의 유사성 스코어 중 적어도 하나의 유사성 스코어가 상기 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하고, 상기 적어도 하나의 유사성 스코어가 상기 제1 임계값보다 크고 상기 복수의 유사성 스코어 모두가 상기 제2 임계값보다 작은 것에 응답하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 얼굴 인증 시스템.
  5. 제1항에 있어서,
    상기 적어도 하나의 기준 얼굴 이미지는 복수의 기준 얼굴 이미지를 포함하고,
    상기 제어부는,
    상기 제1 이미지와 상기 복수의 기준 얼굴 이미지를 각각 비교한 것에 기초하여 복수의 유사성 스코어를 결정하고, 상기 복수의 유사성 스코어의 평균값이 상기 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하는 얼굴 인증 시스템.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 제1 이미지를 처리한 것에 기초하여 상기 제1 이미지의 획득 조건 또는 상기 제1 이미지에 포함된 사용자의 외모 조건 중 적어도 하나를 결정하고, 상기 제1 이미지의 획득 조건 또는 상기 사용자의 외모 조건 중 적어도 하나에 기초하여 상기 복수의 유사성 스코어 각각에 대한 가중치를 결정하고, 상기 복수의 유사성 스코어 각각에 대한 가중치를 반영하여 상기 복수의 유사성 스코어의 평균값을 결정하는 얼굴 인증 시스템.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 카메라로부터 상기 제1 이미지를 획득하기 위한 노출값에 대한 정보를 수신하고, 상기 노출값에 대한 정보에 기초하여 상기 제1 이미지가 실외에서 획득된 것인지 실내에서 획득된 것인지 결정하는 얼굴 인증 시스템.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 제1 이미지가 실외에서 획득된 것으로 결정되면 상기 제1 이미지를 상기 저장부의 제1 저장공간에 등록하고, 상기 제1 이미지가 실내에서 획득된 것으로 결정되면 상기 제1 이미지를 상기 저장부의 제2 저장공간에 등록하는 얼굴 인증 시스템.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 제1 저장공간이 가득 찬 경우 상기 제1 이미지를 상기 제1 저장공간에 등록하기 위해 상기 제1 저장공간에 저장된 복수의 제1 기준 얼굴 이미지 중에서 어느 하나의 제1 기준 얼굴 이미지를 삭제하고, 상기 제2 저장공간이 가득 찬 경우 상기 제1 이미지를 상기 제2 저장공간에 등록하기 위해 상기 제2 저장공간에 저장된 복수의 제2 기준 얼굴 이미지 중에서 어느 하나의 제2 기준 얼굴 이미지를 삭제하는 얼굴 인증 시스템.
  10. 제9항에 있어서,
    상기 제어부는,
    상기 복수의 제1 기준 얼굴 이미지 각각의 저장 시점 또는 상기 복수의 제1 기준 얼굴 이미지 각각을 이용하여 산출된 유사성 스코어의 누적 평균값 중 적어도 하나에 기초하여 상기 복수의 제1 기준 얼굴 이미지 중에서 삭제의 대상이 되는 어느 하나의 제1 기준 얼굴 이미지를 결정하고, 상기 복수의 제2 기준 얼굴 이미지 각각의 저장 시점 또는 상기 복수의 제2 기준 얼굴 이미지 각각을 이용하여 산출된 유사성 스코어의 누적 평균값 중 적어도 하나에 기초하여 상기 복수의 제2 기준 얼굴 이미지 중에서 삭제의 대상이 되는 어느 하나의 제2 기준 얼굴 이미지를 결정하는 얼굴 인증 시스템.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 복수의 제1 기준 얼굴 이미지 중에서 가장 오래 전에 저장되었거나 상기 유사성 스코어의 누적 평균값이 가장 낮거나 상기 저장 시점에 대응되는 제1 값과 상기 유사성 스코어의 누적 평균값에 대응되는 제2 값의 합이 가장 작은 제1 기준 얼굴 이미지를 상기 삭제의 대상이 되는 제1 기준 얼굴 이미지로 결정하고, 상기 복수의 제2 기준 얼굴 이미지 중에서 가장 오래 전에 저장되었거나 상기 유사성 스코어의 누적 평균값이 가장 낮거나 상기 저장 시점에 대응되는 제1 값과 상기 유사성 스코어의 누적 평균값에 대응되는 제2 값의 합이 가장 작은 제2 기준 얼굴 이미지를 상기 삭제의 대상이 되는 제2 기준 얼굴 이미지로 결정하는 얼굴 인증 시스템.
  12. 제8항에 있어서,
    상기 제1 저장공간에 저장될 수 있는 최대 이미지 개수와 상기 제2 저장공간에 저장될 수 있는 최대 이미지 개수는 서로 상이한 얼굴 인증 시스템.
  13. 제1항에 있어서,
    상기 제어부는,
    상기 제1 이미지를 처리한 것에 기초하여 인식된 사용자의 얼굴에서 눈, 코, 입이 모두 검출된 경우에만 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 상기 저장부에 등록하는 얼굴 인증 시스템.
  14. 얼굴 인증 프로세스를 수행하기 위한 제1 이미지를 획득하고;
    상기 얼굴 인증 프로세스가 시작된 것에 기초하여 상기 제1 이미지와 적어도 하나의 기준 얼굴 이미지를 비교하고;
    상기 제1 이미지와 상기 적어도 하나의 기준 얼굴 이미지를 비교한 것에 기초하여 유사성 스코어를 결정하고;
    상기 유사성 스코어가 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하고;
    상기 유사성 스코어가 상기 제1 임계값보다 크고 제2 임계값보다 작은 것에 응답하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것;을 포함하는 얼굴 인증 방법.
  15. 제14항에 있어서,
    상기 유사성 스코어가 상기 제1 임계값보다 작은 것에 응답하여 얼굴 인증이 실패한 것으로 결정하고;
    상기 유사성 스코어가 상기 제1 임계값보다 작고 제3 임계값보다 큰 경우 다른 인증 수단에 의해 사용자 인증이 성공한 것에 기초하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 의사가 있는지 여부를 문의하기 위한 시각적 표시를 출력하는 것;을 더 포함하는 얼굴 인증 방법.
  16. 제15항에 있어서,
    상기 유사성 스코어가 상기 제1 임계값보다 작고 상기 제3 임계값보다 큰 경우 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록할 의사가 있다는 사용자 입력을 수신한 것에 기초하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것;을 더 포함하는 얼굴 인증 방법.
  17. 제14항에 있어서,
    상기 적어도 하나의 기준 얼굴 이미지는 복수의 기준 얼굴 이미지를 포함하고,
    상기 유사성 스코어를 결정하는 것은,
    상기 제1 이미지와 상기 복수의 기준 얼굴 이미지를 각각 비교한 것에 기초하여 복수의 유사성 스코어를 결정하는 것;을 포함하고,
    상기 얼굴 인증이 성공한 것으로 결정하는 것은,
    상기 복수의 유사성 스코어 중 적어도 하나의 유사성 스코어가 상기 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하는 것;을 포함하고,
    상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것은,
    상기 적어도 하나의 유사성 스코어가 상기 제1 임계값보다 크고 상기 복수의 유사성 스코어 모두가 상기 제2 임계값보다 작은 것에 응답하여 상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것;을 포함하는 얼굴 인증 방법.
  18. 제14항에 있어서,
    상기 적어도 하나의 기준 얼굴 이미지는 복수의 기준 얼굴 이미지를 포함하고,
    상기 유사성 스코어를 결정하는 것은,
    상기 제1 이미지와 상기 복수의 기준 얼굴 이미지를 각각 비교한 것에 기초하여 복수의 유사성 스코어를 결정하는 것;을 포함하고,
    상기 얼굴 인증이 성공한 것으로 결정하는 것은,
    상기 복수의 유사성 스코어의 평균값이 상기 제1 임계값보다 큰 것에 응답하여 얼굴 인증이 성공한 것으로 결정하는 것;을 포함하는 얼굴 인증 방법.
  19. 제14항에 있어서,
    상기 제1 이미지를 상기 적어도 하나의 기준 얼굴 이미지로서 등록하는 것은,
    상기 제1 이미지가 실외에서 획득된 것으로 결정되면 상기 제1 이미지를 제1 저장공간에 등록하고;
    상기 제1 이미지가 실내에서 획득된 것으로 결정되면 상기 제1 이미지를 제2 저장공간에 등록하는 것;을 포함하는 얼굴 인증 방법.
  20. 제1항 내지 제13항 중 어느 한 항의 얼굴 인증 시스템을 포함하는 차량.
KR1020210145030A 2021-10-27 2021-10-27 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법 KR20230060374A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210145030A KR20230060374A (ko) 2021-10-27 2021-10-27 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법
US17/862,955 US20230126806A1 (en) 2021-10-27 2022-07-12 Face authentication system, vehicle including the same, and face authentication method
DE102022119726.3A DE102022119726A1 (de) 2021-10-27 2022-08-05 Gesichtsauthentifizierungssystem, fahrzeug mit diesem system und verfahren zur gesichtsauthentifizierung
CN202210950194.6A CN116030513A (zh) 2021-10-27 2022-08-08 面部认证系统、包括面部认证系统的车辆及面部认证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210145030A KR20230060374A (ko) 2021-10-27 2021-10-27 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법

Publications (1)

Publication Number Publication Date
KR20230060374A true KR20230060374A (ko) 2023-05-04

Family

ID=85795611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210145030A KR20230060374A (ko) 2021-10-27 2021-10-27 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법

Country Status (4)

Country Link
US (1) US20230126806A1 (ko)
KR (1) KR20230060374A (ko)
CN (1) CN116030513A (ko)
DE (1) DE102022119726A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11921831B2 (en) * 2021-03-12 2024-03-05 Intellivision Technologies Corp Enrollment system with continuous learning and confirmation

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2505185A (en) * 2012-08-21 2014-02-26 Ibm Creating a backup image of a first memory space in a second memory space.
US10270748B2 (en) * 2013-03-22 2019-04-23 Nok Nok Labs, Inc. Advanced authentication techniques and applications
US20230394127A1 (en) * 2014-08-28 2023-12-07 Face Tec, Inc. Method and apparatus to dynamically control facial illumination
WO2016054640A1 (en) * 2014-10-03 2016-04-07 Ezuniverse Inc. Data management system
US20160350826A1 (en) * 2015-05-29 2016-12-01 Ebay Inc. High-quality image marketplace
US9747494B2 (en) * 2015-11-16 2017-08-29 MorphoTrak, LLC Facial matching system
JP6790995B2 (ja) * 2017-04-27 2020-11-25 富士通株式会社 照合装置、照合方法および照合プログラム
US11216541B2 (en) * 2018-09-07 2022-01-04 Qualcomm Incorporated User adaptation for biometric authentication
JP7419122B2 (ja) * 2020-03-18 2024-01-22 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム

Also Published As

Publication number Publication date
CN116030513A (zh) 2023-04-28
DE102022119726A1 (de) 2023-04-27
US20230126806A1 (en) 2023-04-27

Similar Documents

Publication Publication Date Title
US11693937B2 (en) Automatic retries for facial recognition
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
US9922238B2 (en) Apparatuses, systems, and methods for confirming identity
KR101495430B1 (ko) 바이오메트릭 인증을 위한 품질 메트릭
US9607138B1 (en) User authentication and verification through video analysis
US8675925B2 (en) Spoof detection for biometric authentication
US8787629B2 (en) Image processing based on line-of-sight of a person
US20170262472A1 (en) Systems and methods for recognition of faces e.g. from mobile-device-generated images of faces
US10769415B1 (en) Detection of identity changes during facial recognition enrollment process
US20120320181A1 (en) Apparatus and method for security using authentication of face
EP2336949B1 (en) Apparatus and method for registering plurality of facial images for face recognition
US11714889B2 (en) Method for authentication or identification of an individual
AU2017213464B2 (en) Methods and systems for determining user liveness and verifying user identities
JP2007128262A (ja) 顔照合装置
KR102137060B1 (ko) 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법
JP2007140823A (ja) 顔照合装置、顔照合方法及びプログラム
CN115776957A (zh) 基于驾驶员识别激活车辆的安全性模式
US12019724B2 (en) Device and method for authenticating user based on facial characteristics and mask characteristics of the user
KR20230060374A (ko) 얼굴 인증 시스템, 이를 포함하는 차량 및 얼굴 인증 방법
US11195009B1 (en) Infrared-based spoof detection
JP2008015871A (ja) 認証装置、及び認証方法
CN114202677A (zh) 认证车辆内部中的乘员的方法和系统
US20230256939A1 (en) Vehicle and Control Method Thereof
RU2815689C1 (ru) Способ, терминал и система для биометрической идентификации
RU2798179C1 (ru) Способ, терминал и система для биометрической идентификации