KR102563415B1 - 에지 ａｉ 기반의 얼굴 인식 장치 - Google Patents

에지 ａｉ 기반의 얼굴 인식 장치 Download PDF

Info

Publication number
KR102563415B1
KR102563415B1 KR1020200139463A KR20200139463A KR102563415B1 KR 102563415 B1 KR102563415 B1 KR 102563415B1 KR 1020200139463 A KR1020200139463 A KR 1020200139463A KR 20200139463 A KR20200139463 A KR 20200139463A KR 102563415 B1 KR102563415 B1 KR 102563415B1
Authority
KR
South Korea
Prior art keywords
processor
face
face recognition
image
buffer memory
Prior art date
Application number
KR1020200139463A
Other languages
English (en)
Other versions
KR20220055216A (ko
Inventor
이종민
장창은
Original Assignee
주식회사 에이직랜드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이직랜드 filed Critical 주식회사 에이직랜드
Priority to KR1020200139463A priority Critical patent/KR102563415B1/ko
Publication of KR20220055216A publication Critical patent/KR20220055216A/ko
Application granted granted Critical
Publication of KR102563415B1 publication Critical patent/KR102563415B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

에지 AI 기반의 얼굴 인식 장치가 개시된다.
본 발명의 일 실시예에 따른 에지 AI 기반의 얼굴 인식 장치는, 사용자의 얼굴에 대응하는 뎁스맵 이미지를 생성하는 3D 카메라와, 상기 사용자의 2D 얼굴 이미지를 생성하는 2D 카메라를 이용하여 상기 사용자의 얼굴을 인식하는 장치로서, 상기 3D 카메라에 의해 생성된 뎁스맵 이미지를 임시 저장하는 제1 버퍼 메모리; 상기 2D 카메라에 의해 생성된 얼굴 이미지를 임시 저장하는 제2 버퍼 메모리; 제1 신경망 모델을 이용하여 상기 제1 버퍼 메모리에 임시 저장된 뎁스맵 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 미리 등록된 뎁스맵 이미지의 특징 정보와 비교하여 제1 유사도를 산출하도록 구성된 제1 프로세서; 상기 제1 프로세서와 독립적으로 전력을 제공받아 동작하며, 제2 신경망 모델을 이용하여 상기 제2 버퍼 메모리에 임시 저장된 얼굴 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 미리 등록된 얼굴 이미지의 특징 정보와 비교하여 제2 유사도를 산출하도록 구성된 제2 프로세서; 및 상기 제1 프로세서와 상기 제2 프로세서에 각각 제공되는 전력을 제어하여 각각의 프로세서를 활성화하거나 비활성화하도록 구성된 제3 프로세서를 포함한다.

Description

에지 ＡＩ 기반의 얼굴 인식 장치{Edge AI-based face recognition device}
본 발명은 에지 AI 기반의 얼굴 인식 장치에 관한 것으로서, 더 상세하게는, 사용자의 얼굴에 대응하는 뎁스맵 이미지를 생성하는 3D 카메라와 상기 사용자의 얼굴 이미지를 생성하는 2D 카메라를 이용하여 상기 사용자의 얼굴을 인식하는 에지 AI 기반의 얼굴 인식 장치에 관한 것이다.
일반적으로, 얼굴 인식(Face Recognition) 기술은 카메라를 통해 촬영된 정지영상 또는 동영상 내에 존재하는 얼굴 이미지를 검출하고, 검출된 얼굴 이미지에 대해 얼굴 정렬, 광도 보정, 이미지 정규화 등의 전처리를 수행한 후, 전처리된 얼굴 이미지로부터 특징(feature)을 추출하여 해당 얼굴을 식별하는 기술을 말한다.
최근, 이러한 얼굴 인식 기술이 소위 에지 AI(edge Artificial Intelligence) 기술을 기반으로 스마트폰과 같은 모바일 단말, IoT(Internet of Things) 기기, 자율 주행 차량, 스마트 도어록(smart door-lock), 월 패드(wall-pad), CCTV(Closed Circuit Television) 등 다양한 로컬 디바이스에 적용됨에 따라, 얼굴 인식의 정확성을 개선하면서도 저전력으로 운영할 수 있는 얼굴 인식 장치에 대한 관심과 요청이 증가하고 있다.
그러나, 한국 등록특허공보 제10-0790223호, 한국 공개특허공보 제10-2018-0134280호 등에 개시된 바와 같이, 기존 기술은 거리 센서나 깊이 맵을 통해 단순히 사용자 얼굴의 입체성만을 검증하기 때문에, 사용자의 얼굴이 나타난 얼굴 사진이나 2D 이미지를 해당 사용자로 오인시키는 2D 스푸핑(spoofing) 공격을 방지할 수 있을 뿐, 기본적으로 실제 사람이 얼굴 인식의 대상인 경우에 요구되는 얼굴 인식의 정확성과 신뢰성을 개선할 수 없다는 문제점이 있다. 더욱이, 기존 기술은 에지 AI 기술을 기반으로 얼굴 인식을 수행하는 로컬 디바이스들의 저전력 운영을 가능하게 하는 방안을 제시하지 못하고 있는 문제점이 있다.
본 발명이 해결하고자 하는 기술적 과제는, 사진이나 영상 등을 이용한 스푸핑 공격을 방지함은 물론, 실제 사람이 얼굴 인식의 대상인 경우에 요구되는 얼굴 인식의 정확성과 신뢰성을 개선하고, 저전력 운영이 가능한 에지 AI 기반의 얼굴 인식 장치를 제공하는 것이다.
본 발명의 일 실시예에 따른 에지 AI 기반의 얼굴 인식 장치는, 얼굴 인식 절차가 개시되면, 사용자의 얼굴에 조사되어 반사된 광의 ToF(Time of Flight)를 측정하여 상기 사용자의 얼굴에 대응하는 뎁스맵 이미지를 생성하는 3D 카메라와, 상기 사용자의 얼굴을 촬영하여 상기 사용자의 얼굴 이미지를 생성하는 2D 카메라를 이용하여 상기 사용자의 얼굴을 인식하는 장치로서, 상기 3D 카메라에 의해 생성된 뎁스맵 이미지를 임시 저장하는 제1 버퍼 메모리; 상기 2D 카메라에 의해 생성된 얼굴 이미지를 임시 저장하는 제2 버퍼 메모리; 제1 신경망 모델을 이용하여 상기 제1 버퍼 메모리에 임시 저장된 뎁스맵 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 미리 등록된 뎁스맵 이미지의 특징 정보와 비교하여 제1 유사도를 산출하도록 구성된 제1 프로세서; 상기 제1 프로세서와 독립적으로 전력을 제공받아 동작하며, 제2 신경망 모델을 이용하여 상기 제2 버퍼 메모리에 임시 저장된 얼굴 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 미리 등록된 얼굴 이미지의 특징 정보와 비교하여 제2 유사도를 산출하도록 구성된 제2 프로세서; 및 상기 제1 프로세서와 상기 제2 프로세서에 각각 제공되는 전력을 제어하여 각각의 프로세서를 활성화하거나 비활성화하도록 구성된 제3 프로세서를 포함하고, 상기 제3 프로세서는, 상기 얼굴 인식 절차가 개시되기 전 상기 제1 프로세서와 상기 제2 프로세서를 모두 비활성화한 상태에서 상기 얼굴 인식 절차가 개시되면 상기 제1 프로세서와 상기 제2 프로세서 중 하나의 프로세서만을 선 활성화하고, 선 활성화된 프로세서에 의해 산출된 유사도가 미리 정해진 제1 임계값 이상이면 나머지 하나의 프로세서를 후 활성화하고, 후 활성화된 프로세서에 의해 산출된 유사도가 미리 정해진 제2 임계값 이상이면 상기 사용자의 얼굴 인식에 성공한 것으로 판단한다.
일 실시예에 있어서, 상기 제3 프로세서는, 상기 선 활성화된 프로세서에 의해 산출된 유사도가 상기 제1 임계값 미만이면, 상기 나머지 하나의 프로세서를 비활성화 상태로 유지하고 상기 제1 버퍼 메모리에 임시 저장된 뎁스맵 이미지와 상기 제2 버퍼 메모리에 임시 저장된 얼굴 이미지를 삭제하도록 구성된다.
일 실시예에 있어서, 상기 얼굴 인식 장치는 주위의 조도를 측정하는 조도 센서를 더 포함하고, 상기 제3 프로세서는, 상기 얼굴 인식 절차의 개시 후 상기 제1 프로세서와 상기 제2 프로세서 중 하나의 프로세서를 선 활성화하기 전, 상기 조도 센서에 의해 측정된 조도가 기준 조도 미만이면 상기 제1 프로세서를 선 활성화하도록 구성된다.
일 실시예에 있어서, 상기 제3 프로세서는, 상기 제2 프로세서의 동작 모드를 단일 이미지 모드 또는 다중 이미지 모드로 설정하도록 구성되고, 상기 2D 카메라는, 상기 단일 이미지 모드가 설정되면 상기 사용자의 얼굴을 하나의 각도로 촬영한 단일의 얼굴 이미지를 생성하여 상기 제2 버퍼 메모리에 저장하고, 상기 다중 이미지 모드가 설정되면 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 복수의 얼굴 이미지를 생성하여 상기 제2 버퍼 메모리에 저장하도록 구성되고, 상기 제2 프로세서는, 상기 단일 이미지 모드가 설정되면 상기 제2 버퍼 메모리에 저장되는 상기 단일의 얼굴 이미지에 대해 상기 제2 유사도를 산출하고, 상기 다중 이미지 모드가 설정되면 상기 제2 버퍼 메모리에 저장되는 상기 복수의 얼굴 이미지 각각에 대해 상기 제2 유사도를 산출하도록 구성된다.
일 실시예에 있어서, 상기 제3 프로세서는, 상기 다중 이미지 모드가 설정되고 상기 제2 프로세서가 상기 제1 프로세서보다 선 활성화된 경우, 상기 제2 프로세서에 의해 산출되는 제2 유사도들을 미리 정해진 임계값과 비교하여 상기 제2 유사도들이 모두 해당 임계값 이상이거나 상기 제2 유사도들의 평균값이 해당 임계값 이상이면 상기 제1 프로세서를 후 활성화하도록 구성된다.
일 실시예에 있어서, 상기 제3 프로세서는, 상기 다중 이미지 모드가 설정되고 상기 제2 프로세서가 상기 제1 프로세서보다 후 활성화된 경우, 상기 제2 프로세서에 의해 산출되는 제2 유사도들을 미리 정해진 임계값과 비교하여 상기 제2 유사도들이 모두 해당 임계값 이상이거나 상기 제2 유사도들의 평균값이 해당 임계값 이상이면 상기 사용자의 얼굴 인식에 성공한 것으로 판단하도록 구성된다.
본 발명에 따르면, 사용자 얼굴에 대응하는 뎁스맵 이미지와 미리 등록된 뎁스맵 이미지 간의 유사도를 산출하도록 훈련된 제1 신경망 모델과, 사용자 얼굴에 대응하는 2D 얼굴 이미지와 미리 등록된 2D 얼굴 이미지 간의 유사도를 산출하도록 훈련된 제2 신경망 모델을 통해 각각 서로 다른 방식의 얼굴 인식을 수행하고, 이와 같이 서로 다른 방식으로 수행된 얼굴 인식 결과들을 상보적으로 고려하여 최종적인 얼굴 인식 결과를 도출함으로써, 사진이나 영상 등을 이용한 스푸핑 공격을 방지함은 물론, 실제 사람이 얼굴 인식의 대상인 경우에 요구되는 얼굴 인식의 정확성과 신뢰성을 개선할 수 있다.
또한, 기본적으로 중앙 집중화 시스템과의 통신이나 클라우드 컴퓨팅에 의하지 않고 에지 AI 기술을 적용하여 로컬 디바이스에서 자체적으로 얼굴 인식을 수행하되, 얼굴 인식에 필요한 프로세스들을 개별적으로 구성된 복수의 프로세서에 분담시키고, 각각의 프로세서에 공급되는 전력과 메모리를 얼굴 인식 결과에 따라 적응적으로 관리함으로써, 로컬 디바이스의 저전력 운영을 가능하게 하면서도 얼굴 인식의 속도를 향상시킬 수 있다.
또한, 복수의 카메라를 통해 3D 이미지를 구성하는 방식을 사용하지 않고, 단일의 카메라를 통해 서로 다른 각도로 촬영된 복수의 2D 얼굴 이미지를 각각 사전 등록된 얼굴 이미지와 비교하여 유사도를 산출하고, 산출된 유사도들을 모두 고려하여 해당 사용자의 얼굴 인식 성공 여부를 결정함으로써, 얼굴 인식의 시간과 소비 전력을 감소시키면서도 얼굴 인식의 정확성과 신뢰성을 더욱 개선할 수 있다.
나아가, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면, 본 발명에 따른 다양한 실시예들이 상기 언급되지 않은 여러 기술적 과제들을 해결할 수 있음을 이하의 설명으로부터 자명하게 이해할 수 있을 것이다.
도 1은 2D 카메라를 기반으로 얼굴 인식을 수행하는 모바일 단말의 일례를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 에지 AI 기반의 얼굴 인식 장치를 나타낸 블록도이다.
도 3은 본 발명에 적용 가능한 CNN의 일례를 나타낸 도면이다.
도 4는 도 2에 도시된 제1 프로세서의 활성화 시 동작을 나타낸 흐름도이다.
도 5는 도 2에 도시된 제2 프로세서의 활성화 시 동작을 나타낸 흐름도이다.
도 6은 다중 이미지 모드에서 제2 프로세서에 의해 선택되는 얼굴 이미지들의 일례를 나타낸 도면이다.
도 7은 도 2에 도시된 제3 프로세서의 동작을 나타낸 흐름도이다.
이하, 본 발명의 기술적 과제에 대한 해결 방안을 명확화하기 위해 첨부도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련 공지기술에 관한 설명이 오히려 본 발명의 요지를 불명료하게 하는 경우 그에 관한 설명은 생략하기로 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이들은 설계자, 제조자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 후술되는 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1에는 2D 카메라를 기반으로 얼굴 인식을 수행하는 모바일 단말의 일례가 도시되어 있다.
도 1에 도시된 바와 같이, 2D(2-Dimensional) 카메라를 기반으로 하는 얼굴 인식(face recognition) 방식이 스마트폰이나 태블릿 PC 등과 같은 모바일 단말(10)에 적용된 경우, 사용자(U)는 모바일 단말(10)의 카메라(12)로 자신의 얼굴을 촬영하고, 모바일 단말(10)은 촬영된 얼굴 이미지에서 특징 정보를 추출하여 얼굴 인식을 수행하게 된다. 이 경우, 모바일 단말(10)의 디스플레이(14)에는 카메라(12)를 통해 촬영되는 이미지가 실시간으로 표시될 수 있다.
이와 같이, 2D 카메라를 기반으로 얼굴 인식이 수행되는 경우, 모바일 단말(10)은 사전에 입력된 사용자의 얼굴 이미지에서 특징 정보를 추출하여 데이터베이스에 저장한 후, 얼굴 인식 절차 진행 중 촬영된 사용자의 얼굴 이미지에서 특징 정보를 추출하고, 추출된 특징 정보와 데이터베이스에 저장된 특징 정보 간의 유사성을 확인하여 얼굴 인식 성공 여부를 결정하게 된다.
그러나, 일반적인 2D 카메라 기반의 얼굴 인식 기술은 사용자의 얼굴이 나타난 사진, 영상, 3D 마스크 등을 해당 사용자로 오인시키는 스푸핑(spoofing) 공격에 취약하다. 따라서, 본 발명은 3D 카메라를 통해 생성되는 뎁스맵 이미지와 2D 카메라를 통해 생성되는 2D 이미지를 상보적으로 이용하여 얼굴 인식을 수행함으로써, 사진이나 영상 등을 이용한 스푸핑 공격을 방지함은 물론, 실제 사람이 얼굴 인식의 대상인 경우에 요구되는 얼굴 인식의 정확성과 신뢰성을 개선할 수 있다.
도 2에는 본 발명의 일 실시예에 따른 에지 AI 기반의 얼굴 인식 장치(100)가 블록도로 도시되어 있다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴 인식 장치(100)는 3D 카메라(3-Dimensional camera)(110), 2D 카메라(2-Dimensional camera)(120), 조도 센서(illuminance sensor)(130), 입력부(140), 출력부(150), 전원부(160) 및 제어부(170)를 포함할 수 있다.
상기 3D 카메라(110)는 얼굴 인식 대상 사용자의 얼굴에 적외선과 같은 광을 조사하고, 얼굴 표면의 여러 지점에서 반사되어 수신되는 광들의 ToF(Time of Flight)를 측정하여 해당 사용자의 얼굴에 대응하는 뎁스맵 이미지(depth-map image)를 생성하도록 구성된다. 이를 위해, 3D 카메라(110)는 광을 조사하는 광원과, 반사 광을 수신하는 리셉터 어레이를 포함할 수 있다. 상기 리셉터 어레이는 각각 인페이즈 리셉터(in phase receptor)와 아웃페이즈 리셉터(out phase receptor)로 구성되어 소정 패널에 격자 형태로 배열되는 다수의 리셉터 쌍을 포함할 수 있다.
상기 2D 카메라(120)는 얼굴 인식 대상 사용자의 얼굴을 촬영하여 2D 얼굴 이미지를 생성하도록 구성된다. 이 경우, 2D 이미지는 RGB(Red-Green-Blue) 컬러 이미지로 생성되거나 흑백 이미지로 생성될 수 있다. 이를 위해, 2D 카메라(120)는 CMOS(Complementary Metal-Oxide Semiconductor)나 CCD(Charge Coupled Device) 등과 같은 이미지 센서를 포함할 수 있다.
상기 조도 센서(130)는 얼굴 인식 장치(100) 주위의 조도(illuminance)를 측정하도록 구성된다. 이를 위해, 조도 센서(130)는 반도체의 감광 기전 효과를 이용하여 기전력을 일으키는 광전지(photoelectric cell)를 포함할 수 있다.
상기 입력부(140)는 얼굴 인식 장치(100)의 사용자의 명령이나 데이터를 입력받도록 구성된다. 이를 위해, 입력부(140)는 키보드, 조작 버튼, 터치 패널, 음성 인식 장치 등과 같은 다양한 입력 장치를 실시예에 따라 선택적으로 포함할 수 있다.
상기 출력부(150)는 시각적 또는 청각적 데이터나 정보를 출력하도록 구성된다. 이를 위해, 출력부(150)는 모니터, 디스플레이 패널 또는 터치 스크린 등과 같은 시각적 출력 장치와, 스피커와 같은 청각적 출력 장치를 포함할 수 있다.
상기 전원부(160)는 상기 얼굴 인식 장치(100)의 동작에 필요한 전력을 공급하도록 구성된다. 이를 위해, 전원부(160)는 배터리, BMS(Battery Management System), 변압기, 정류기 등을 실시예에 따라 선택적으로 포함할 수 있다.
상기 제어부(170)는 얼굴 인식 장치(100)의 전반적인 동작을 제어하며 얼굴 인식 프로세스를 수행하도록 구성된다. 이를 위해, 제어부(170)는 제1 버퍼 메모리(172a), 제2 버퍼 메모리(172b), 제1 프로세서(174a), 제2 프로세서(174b), 제3 프로세서(176) 및 RAM(Random Access Memory)(178)을 포함할 수 있다. 이러한 제어부(170)는 ASIC(application-specific integrated circuit)이나 SoC(System on Chip) 형태로 구현될 수 있다.
상기 제1 버퍼 메모리(172a)는 3D 카메라(110)에 의해 생성된 뎁스맵 이미지를 임시 저장하도록 구성되고, 상기 제2 버퍼 메모리(172b)는 2D 카메라(120)에 의해 생성된 2D 얼굴 이미지를 임시 저장하도록 구성된다.
상기 제1 프로세서(174a)는 제1 신경망 모델(neural network model)을 이용하여 제1 버퍼 메모리(172a)에 임시 저장된 뎁스맵 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 미리 등록된 뎁스맵 이미지의 특징 정보와 비교하여 뎁스맵 이미지 유사도를 산출하도록 구성된다.
상기 제2 프로세서(174b)는 상기 제1 프로세서(174a)와 독립적으로 전력을 제공받아 동작하며, 제2 신경망 모델을 이용하여 상기 제2 버퍼 메모리(172b)에 임시 저장된 얼굴 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 미리 등록된 얼굴 이미지의 특징 정보와 비교하여 얼굴 이미지 유사도를 산출하도록 구성된다.
상기 제3 프로세서(176)는 사용자에 대한 얼굴 인식 절차가 개시되면, 3D 카메라(110)와 2D 카메라(120)를 제어하여 뎁스맵 이미지와 2D 얼굴 이미지를 생성하고, 제1 프로세서(174a)와 제2 프로세서(174b)에 각각 제공되는 전력을 제어하여 각각의 프로세서를 활성화(enable)하거나 비활성화(disable)하도록 구성된다.
상기 RAM(178)은 얼굴 인식 장치(100) 또는 제어부(170)의 동작 필요한 컴퓨터 프로그램, 데이터 등을 저장하도록 구성된다. 이를 위해, RAM(178)은 SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 등을 선택적으로 포함할 수 있다.
도 3에는 본 발명에 적용 가능한 CNN(Convolutional Neural Network)의 일례가 도시되어 있다.
도 3에 도시된 바와 같이, CNN(Convolutional Neural Network)은 다중 레이어 구조를 가진다. CNN은 컨벌루션(convolution)을 포함한 신경망으로서, 입력 레이어(input layer)와 출력 레이어(output layer), 이러한 두 레이어 사이에 위치하는 히든 레이어들(hidden layers)을 포함하며, 빅 데이터를 이용한 특징 표현 학습(feature　representation learning)을 수행하여, 다중 레이어 구조를 갖는 다양한 특징 추출 필터를 자동으로 생성한다.
CNN의 주요 레이어로는 컨벌루션, 활성화/ReLU(Rectified Linear Unit), 풀링 등이 있다. 컨벌루션은 특징을 활성화하는 커벌루션 필터 집합을 통해 이미지의 피처 맵(feature map)을 생성한다. ReLU는 음수값을 0에 매핑하고 양수값을 유지하여 더 빠르고 효과적인 학습을 가능하게 하며, 비선형성을 주어 다음 레이어로 전달하게 한다. 이때, 활성화된 특징만 다음 레이어로 전달되기 때문에 이 과정을　활성화라 부른다. 풀링은 비선형 다운샘플링을 수행하고 네트워크에서 학습해야 하는 매개변수의 수를 줄여 출력을 간소화한다.
이러한 CNN(Convolutional Neural Network) 기반의 얼굴 인식 기술은 다양한 환경에서 수집된 대용량의 얼굴 이미지 데이터를 이용하여 CNN 모델을 훈련시키고, 이와 같이 훈련된 CNN 모델을 통해 고차원적인 얼굴 특징을 추출하여 인식할 수 있다.
도 4에는 도 2에 도시된 제1 프로세서(174a)의 활성화 시 동작이 흐름도로 도시되어 있다. 도 4를 참조하여, 상기 제1 프로세서(174a)의 세부 동작들을 시계열적으로 설명한다.
도 4에 도시된 바와 같이, 상기 제1 프로세서(174a)는 얼굴 인식 절차가 개시되어 상기 제3 프로세서(176)에 의해 활성화되면, 상기 제1 버퍼 메모리(172a)에 임시 저장된 뎁스맵 이미지를 수신할 수 있다(S400).
그 다음, 상기 제1 프로세서(174a)는 미리 훈련된 제1 신경망 모델을 이용하여 수신된 뎁스맵 이미지에서 특징 정보를 추출하고(S410), 추출된 특징 정보를 미리 등록된 뎁스맵 이미지의 특징 정보와 비교하여 뎁스맵 이미지 유사도를 산출한다(S420). 이를 위해, 상기 제1 신경망 모델은 다양한 얼굴들의 뎁스맵 이미지들과 CASIA-SURF / Pandora/ HRRFaceD /curtinFaces 등의 dataset을 통해 미리 훈련되어, 얼굴 인식 절차에서 3D 카메라(110)에 의해 생성된 뎁스맵 이미지에서 특징 벡터(feature vector)를 추출하도록 구성될 수 있다.
그 다음, 상기 제1 프로세서(174a)는 산출된 뎁스맵 이미지 유사도를 제3 프로세서(176)로 전달한다(S430). 상기 뎁스맵 이미지 유사도를 전달한 상기 제1 프로세서(174a)는 다시 비활성화 상태로 돌아갈 수 있다.
도 5에는 도 2에 도시된 제2 프로세서(174b)의 활성화 시 동작이 흐름도로 도시되어 있다. 도 5를 참조하여, 상기 제2 프로세서(174b)의 세부 동작들을 시계열적으로 설명한다.
도 5에 도시된 바와 같이, 상기 제2 프로세서(174b)는 얼굴 인식 절차가 개시되어 상기 제3 프로세서(176)에 의해 활성화되면, 사전에 설정된 동작 모드에 따라 상기 제2 버퍼 메모리(172b)에 임시 저장된 1 또는 2 이상의 2D 얼굴 이미지를 수신한다.
아래에서 다시 설명하겠지만, 상기 제3 프로세서(176)는 사전에 상기 제2 프로세서(174b)의 동작 모드를 ‘단일 이미지 모드’ 또는 ‘다중 이미지 모드’로 설정할 수 있다.
즉, 상기 제2 프로세서(174b)의 동작 모드로서 ‘단일 이미지 모드’가 설정되면, 상기 제2 프로세서(174b)는 특정 각도로 촬영되어 제2 버퍼 메모리(172b)에 저장된 단일의 얼굴 이미지를 수신할 수 있다(S500, S510).
그 다음, 상기 제2 프로세서(174b)는 미리 훈련된 제2 신경망 모델을 이용하여 수신된 얼굴 이미지에서 특징 정보를 추출하고(S512), 추출된 특징 정보를 미리 등록된 얼굴 이미지의 특징 정보와 비교하여 얼굴 이미지 유사도를 산출할 수 있다(S514).
그 다음, 상기 제2 프로세서(174b)는 산출된 얼굴 이미지 유사도를 제3 프로세서(176)로 전달할 수 있다(S530). 상기 얼굴 이미지 유사도를 전달한 상기 제2 프로세서(174b)는 다시 비활성화 상태로 돌아갈 수 있다.
반면, 상기 제2 프로세서(174b)의 동작 모드로서 ‘다중 이미지 모드’가 설정되면, 상기 제2 프로세서(174b)는 여러 각도로 촬영되어 제2 버퍼 메모리(172b)에 저장된 다수의 얼굴 이미지를 수신할 수 있다(S500, S520).
그 다음, 상기 제2 프로세서(174b)는 수신된 얼굴 이미지들 중 미리 정해진 각도로 촬영되되 각각 서로 다른 각도로 촬영된 복수의 얼굴 이미지를 선택할 수 있다(S522). 이 경우, 상기 제2 프로세서(174b)는 각각의 얼굴 이미지에 나타난 얼굴 영역의 형태, 얼굴 영역에서 얼굴의 특징을 이루는 랜드마크(landmark)의 위치, 랜드마크들 간의 상대적 배치 관계 등을 기준으로 해당 얼굴 이미지의 촬영 각도를 식별할 수 있다. 또한, 상기 제2 프로세서(174b)에 의해 선택되는 얼굴 이미지들은, 얼굴 인식 절차 수행 전 등록 단계에서 사전 등록된 얼굴 이미지들과 각각 대응하는 각도로 촬영된 얼굴 이미지들일 수 있다.
도 6에는 다중 이미지 모드에서 제2 프로세서에 의해 선택되는 얼굴 이미지들의 일례가 도시되어 있다.
도 6에 도시된 바와 같이, 사전 등록 단계에서, 사용자 얼굴의 정면, 좌측 45도 및 우측 45도 각도로 각각 촬영된 얼굴 이미지들이 등록된 경우, 상기 제2 프로세서(174b)는 수신된 얼굴 이미지들 중에서 상기 등록된 얼굴 이미지들에 각각 대응하는 각도로 촬영된 얼굴 이미지들을 선택할 수 있다. 즉, 상기 제2 프로세서(174b)는 상기 수신된 얼굴 이미지들 중 사용자 얼굴의 정면에서 촬영된 얼굴 이미지(F1), 사용자 얼굴의 좌측 45도 각도로 촬영된 얼굴 이미지(F2), 및 사용자 얼굴의 우측 45도 각도로 촬영된 얼굴 이미지(F3)를 선택할 수 있다.
다시 도 5를 참조하면, 상기 제2 프로세서(174b)는 상기와 같이 선택된 촬영 각도별 얼굴 이미지에서 각각 특징 정보를 추출하고(S524), 추출된 촬영 각도별 특징 정보를 각각 사전 등록된 얼굴 이미지의 특징 정보와 비교하여 촬영 각도별 얼굴 이미지 유사도를 산출할 수 있다(S526).
그 다음, 상기 제2 프로세서(174b)는 산출된 촬영 각도별 얼굴 이미지 유사도를 제3 프로세서(176)로 전달할 수 있다(S530). 상기 촬영 각도별 얼굴 이미지 유사도를 전달한 상기 제2 프로세서(174b)는 다시 비활성화 상태로 돌아갈 수 있다.
도 7에는 도 2에 도시된 제3 프로세서(176)의 동작이 흐름도로 도시되어 있다. 도 7을 참조하여, 상기 제3 프로세서(176)의 세부 동작들을 시계열적으로 설명한다.
도 7에 도시된 바와 같이, 상기 제3 프로세서(176)는 사용자에 대한 얼굴 인식 절차가 개시되기 전 제1 프로세서(174a)와 제2 프로세서(174b)를 모두 비활성화한 상태에서, 상기 얼굴 인식 절차가 개시되면 제1 프로세서(174a)와 제2 프로세서(174b) 중 하나의 프로세서만을 선 활성화하고, 선 활성화된 프로세서에 의해 산출된 유사도가 미리 정해진 제1 임계값 이상이면 나머지 하나의 프로세서를 후 활성화하고, 후 활성화된 프로세서에 의해 산출된 유사도가 미리 정해진 제2 임계값 이상이면 상기 사용자의 얼굴 인식에 성공한 것으로 판단할 수 있다.
즉, 사용자에 대한 얼굴 인식 절차가 개시되면, 상기 제3 프로세서(176)는 3D 카메라(110)와 2D 카메라(120)를 각각 제어하여 해당 사용자의 얼굴에 대응하는 뎁스맵 이미지와 2D 얼굴 이미지를 생성하고, 생성된 뎁스맵 이미지와 얼굴 이미지를 각각 제1 버퍼 메모리(172a)와 제2 버퍼 메모리(172b)에 저장할 수 있다(S700).
특히, 상기 제2 프로세서(174b)의 동작 모드로서 상기 ‘다중 이미지 모드’가 설정되어 있는 경우, 상기 제3 프로세서(176)는 얼굴 인식 장치(100)의 출력부(150)를 통해 사용자에게 얼굴을 좌측 또는 우측으로 천천히 돌려줄 것을 요청하는 메시지를 출력하고, 해당 메시지에 따라 사용자가 얼굴을 돌리는 동안 2D 카메라(120)를 통해 연속 촬영을 수행하여 해당 사용자의 얼굴을 여러 각도로 촬영한 다수의 얼굴 이미지를 생성할 수 있다. 즉, 상기 2D 카메라(120)는 상기 ‘단일 이미지 모드’가 설정되어 있는 경우, 해당 사용자의 얼굴을 하나의 각도로 촬영한 단일의 얼굴 이미지를 생성하여 제2 버퍼 메모리(172b)에 저장하고, 상기 ‘다중 이미지 모드’가 설정되어 있는 경우, 해당 사용자의 얼굴을 각각 다른 각도로 촬영한 복수의 얼굴 이미지를 생성하여 제2 버퍼 메모리(172b)에 저장하게 된다.
그 다음, 상기 제3 프로세서(176)는 제1 프로세서(174a)와 제2 프로세서(174b) 중 하나의 프로세서를 선 활성화하기 전, 상기 조도 센서(130)에 의해 측정된 조도에 따라 선 활성화할 프로세서를 결정할 수 있다(S710).
예컨대, 상기 조도 센서(130)에 의해 측정된 조도 값이 미리 정해진 기준 조도 미만인 경우(S712), 낮은 조도에서도 높은 정확도를 보장할 수 있는 뎁스맵 이미지를 이용한 얼굴 인식을 먼저 수행하기 위해, 상기 제3 프로세서(176)는 제1 프로세서(174a)를 선 활성화하고, 그 결과 제1 프로세서(174a)에 의해 산출되는 뎁스맵 이미지 유사도를 수신할 수 있다(S720).
이 경우, 제1 프로세서(174a)에서 수신된 뎁스맵 이미지 유사도가 대응 임계값 이상이면(S722), 상기 제3 프로세서(176)는 제2 프로세서(174b)를 후 활성화하고, 그 결과 제2 프로세서(174b)에 의해 산출되는 얼굴 이미지 유사도를 수신할 수 있다(S724).
제2 프로세서(174b)에서 수신된 얼굴 이미지 유사도가 대응 임계값 이상이면(S726), 상기 제3 프로세서(176)는 해당 사용자의 얼굴 인식에 성공한 것으로 판단하고, 출력부(150)를 통해 얼굴 인식 성공 메시지를 출력할 수 있다(S740).
반면, 제2 프로세서(174b)에서 수신된 얼굴 이미지 유사도가 대응 임계값 미만이면(S726), 상기 제3 프로세서(176)는 해당 사용자의 얼굴 인식에 실패한 것으로 판단하고, 제1 버퍼 메모리(172a)에 임시 저장된 뎁스맵 이미지와 제2 버퍼 메모리(172b)에 임시 저장된 얼굴 이미지를 삭제할 수 있다(S750). 그리고 상기 제3 프로세서(176)는 상기 얼굴 인식 장치(100)의 출력부(150)를 통해 얼굴 인식 실패 메시지를 출력할 수 있다(S760).
또한, 앞서 제1 프로세서(174a)에서 수신된 뎁스맵 이미지 유사도가 대응 임계값 미만인 경우에도(S722), 상기 제3 프로세서(176)는 해당 사용자의 얼굴 인식에 실패한 것으로 판단하고, 제2 프로세서(174b)를 비활성화 상태로 유지하면서, 제1 버퍼 메모리(172a)에 임시 저장된 뎁스맵 이미지와 제2 버퍼 메모리(172b)에 임시 저장된 얼굴 이미지를 삭제할 수 있다(S750). 그리고 상기 제3 프로세서(176)는 상기 얼굴 인식 장치(100)의 출력부(150)를 통해 얼굴 인식 실패 메시지를 출력할 수 있다(S760).
한편, 상기 제3 프로세서(176)는 제1 프로세서(174a)와 제2 프로세서(174b) 중 하나의 프로세서를 선 활성화하기 전, 상기 조도 센서(130)에 의해 측정된 조도 값이 미리 정해진 기준 조도 이상이고(S712), 제2 프로세서(174b)의 동작 모드로서 ‘다중 이미지 모드’가 설정되어 있는 경우(S714), 상기 제3 프로세서(176)는 제2 프로세서(174b)를 선 활성화하고, 그 결과 제2 프로세서(174b)에 의해 산출되는 촬영 각도별 얼굴 이미지 유사도를 수신할 수 있다(S730).
이 경우, 제2 프로세서(174b)에서 수신된 촬영 각도별 얼굴 이미지 유사도가 모두 미리 정해진 임계값 이상이거나, 상기 촬영 각도별 얼굴 이미지 유사도의 평균값이 미리 정해진 임계값 이상이면(S732), 상기 제3 프로세서(176)는 제1 프로세서(174a)를 후 활성화하고, 그 결과 제1 프로세서(174a)에 의해 산출되는 뎁스맵 이미지 유사도를 수신할 수 있다(S734).
이와 같이 제1 프로세서(174a)에서 수신된 뎁스맵 이미지 유사도가 대응 임계값 이상이면(S736), 상기 제3 프로세서(176)는 해당 사용자의 얼굴 인식에 성공한 것으로 판단하고, 출력부(150)를 통해 얼굴 인식 성공 메시지를 출력할 수 있다(S740).
반면, 제1 프로세서(174a)에서 수신된 얼굴 이미지 유사도가 대응 임계값 미만이면, 상기 제3 프로세서(176)는 해당 사용자의 얼굴 인식에 실패한 것으로 판단하고, 제1 버퍼 메모리(172a)에 임시 저장된 뎁스맵 이미지와 제2 버퍼 메모리(172b)에 임시 저장된 얼굴 이미지를 삭제할 수 있다(S750). 그리고 상기 제3 프로세서(176)는 상기 얼굴 인식 장치(100)의 출력부(150)를 통해 얼굴 인식 실패 메시지를 출력할 수 있다(S760).
또한, 앞서 제2 프로세서(174b)에서 수신된 촬영 각도별 얼굴 이미지 유사도중 어느 하나가 대응 임계값 미만이거나, 상기 촬영 각도별 얼굴 이미지 유사도의 평균값이 대응 임계값 미만인 경우에도(S732), 상기 제3 프로세서(176)는 해당 사용자의 얼굴 인식에 실패한 것으로 판단하고, 제1 프로세서(174a)를 비활성화 상태로 유지하면서, 제1 버퍼 메모리(172a)에 임시 저장된 뎁스맵 이미지와 제2 버퍼 메모리(172b)에 임시 저장된 얼굴 이미지를 삭제할 수 있다(S750). 그리고 상기 제3 프로세서(176)는 상기 얼굴 인식 장치(100)의 출력부(150)를 통해 얼굴 인식 실패 메시지를 출력할 수 있다(S760).
상기와 같이, 제1 버퍼 메모리(172a)에 임시 저장된 뎁스맵 이미지와 제2 버퍼 메모리(172b)에 임시 저장된 얼굴 이미지를 삭제하는 경우, 제3 프로세서(176)는 제1 버퍼 메모리(172a)와 제2 버퍼 메모리(172b)에 제공되는 전력을 차단할 수 있다.
한편, 본 발명에 따른 실시예들은 컴퓨터 시스템과 이러한 컴퓨터 시스템을 구동하는 컴퓨터 프로그램으로 구현될 수 있다. 본 발명의 실시예들이 컴퓨터 프로그램으로 구현되는 경우, 본 발명의 구성요소들은 해당 컴퓨터 시스템을 통해 해당 동작이나 작업을 실행하는 프로그램 세그먼트들이다. 이러한 컴퓨터 프로그램 내지 프로그램 세그먼트들은 컴퓨터로 판독 가능한 다양한 기록매체에 저장될 수 있다. 컴퓨터로 판독 가능한 기록매체에는 컴퓨터 시스템이 읽어들일 수 있는 데이터를 기록하는 모든 종류의 매체가 포함된다. 예컨대, 컴퓨터로 판독 가능한 기록매체에는 ROM, RAM, EEPROM, 레지스터, 플래시 메모리, CD-ROM, 자기 테이프, 하드 디스크, 플로피디스크, 또는 광 데이터 기록장치 등이 포함될 수 있다. 또한, 이러한 기록매체는 다양한 네트워크로 연결된 컴퓨터 시스템들에 분산 배치되어 프로그램 코드들을 분산 방식으로 저장하거나 실행시킬 수 있다.
상술한 바와 같이, 본 발명에 따르면, 사용자 얼굴에 대응하는 뎁스맵 이미지와 미리 등록된 뎁스맵 이미지 간의 유사도를 산출하도록 훈련된 제1 신경망 모델과, 사용자 얼굴에 대응하는 2D 얼굴 이미지와 미리 등록된 2D 얼굴 이미지 간의 유사도를 산출하도록 훈련된 제2 신경망 모델을 통해 각각 서로 다른 방식의 얼굴 인식을 수행하고, 이와 같이 서로 다른 방식으로 수행된 얼굴 인식 결과들을 상보적으로 고려하여 최종적인 얼굴 인식 결과를 도출함으로써, 사진이나 영상 등을 이용한 스푸핑 공격을 방지함은 물론, 실제 사람이 얼굴 인식의 대상인 경우에 요구되는 얼굴 인식의 정확성과 신뢰성을 개선할 수 있다.
또한, 기본적으로 중앙 집중화 시스템과의 통신이나 클라우드 컴퓨팅에 의하지 않고 에지 AI 기술을 적용하여 로컬 디바이스에서 자체적으로 얼굴 인식을 수행하되, 얼굴 인식에 필요한 프로세스들을 개별적으로 구성된 복수의 프로세서에 분담시키고, 각각의 프로세서에 공급되는 전력과 메모리를 얼굴 인식 결과에 따라 적응적으로 관리함으로써, 로컬 디바이스의 저전력 운영을 가능하게 하면서도 얼굴 인식의 속도를 향상시킬 수 있다.
또한, 복수의 카메라를 통해 3D 이미지를 구성하는 방식을 사용하지 않고, 단일의 카메라를 통해 서로 다른 각도로 촬영된 복수의 2D 얼굴 이미지를 각각 사전 등록된 얼굴 이미지와 비교하여 유사도를 산출하고, 산출된 유사도들을 모두 고려하여 해당 사용자의 얼굴 인식 성공 여부를 결정함으로써, 얼굴 인식의 시간과 소비 전력을 감소시키면서도 얼굴 인식의 정확성과 신뢰성을 더욱 개선할 수 있다.
나아가, 본 발명에 따른 실시예들은, 당해 기술 분야는 물론 관련 기술 분야에서 본 명세서에 언급된 내용 이외의 다른 여러 기술적 과제들을 해결할 수 있음은 물론이다.
지금까지 본 발명에 대해 구체적인 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 기술적 범위에서 다양한 변형 실시예들이 구현될 수 있음을 명확하게 이해할 수 있을 것이다. 그러므로 앞서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 할 것이다. 즉, 본 발명의 진정한 기술적 사상의 범위는 청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.
100 : 얼굴 인식 장치 110 : 3D 카메라
120 : 2D 카메라 130 : 조도 센서
140 : 입력부 150 : 출력부
160 : 전원부 170 : 제어부
172a: 제1 버퍼 메모리 172b: 제2 버퍼 메모리
174a: 제1 프로세서 174b: 제2 프로세서
176 : 제3 프로세서 178 : RAM

Claims (6)

  1. 얼굴 인식 절차가 개시되면, 사용자의 얼굴에 조사되어 반사된 광의 ToF(Time of Flight)를 측정하여 상기 사용자의 얼굴에 대응하는 뎁스맵 이미지를 생성하는 3D 카메라와, 상기 사용자의 얼굴을 촬영하여 상기 사용자의 얼굴 이미지를 생성하는 2D 카메라를 이용하여, 상기 사용자의 얼굴을 인식하는 에지 AI 기반의 얼굴 인식 장치로서,
    상기 3D 카메라에 의해 생성된 뎁스맵 이미지를 임시 저장하는 제1 버퍼 메모리;
    상기 2D 카메라에 의해 생성된 얼굴 이미지를 임시 저장하는 제2 버퍼 메모리;
    제1 신경망 모델을 이용하여 상기 제1 버퍼 메모리에 임시 저장된 뎁스맵 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 미리 등록된 뎁스맵 이미지의 특징 정보와 비교하여 제1 유사도를 산출하도록 구성된 제1 프로세서;
    상기 제1 프로세서와 독립적으로 전력을 제공받아 동작하며, 제2 신경망 모델을 이용하여 상기 제2 버퍼 메모리에 임시 저장된 얼굴 이미지에서 특징 정보를 추출하고, 추출된 특징 정보를 미리 등록된 얼굴 이미지의 특징 정보와 비교하여 제2 유사도를 산출하도록 구성된 제2 프로세서; 및
    상기 제1 프로세서와 상기 제2 프로세서에 각각 제공되는 전력을 제어하여 각각의 프로세서를 활성화하거나 비활성화하도록 구성된 제3 프로세서를 포함하고,
    상기 제2 프로세서는 동작 모드로써, 단일 이미지 모드 또는 다중 이미지 모드로 설정되고,
    상기 제1 프로세서가 산출한 제1 유사도와 상기 제2 프로세서가 산출한 제2 유사도가 상기 제3 프로세서로 전달되면, 상기 제1 프로세서와 상기 제2 프로세서는 비활성화상태로 돌아가고,
    상기 제3 프로세서는, 상기 얼굴 인식 절차가 개시되기 전 상기 제1 프로세서와 상기 제2 프로세서를 모두 비활성화한 상태에서 상기 얼굴 인식 절차가 개시되면 상기 제1 프로세서와 상기 제2 프로세서 중 하나의 프로세서만을 선 활성화하고, 선 활성화된 프로세서에 의해 산출된 유사도가 미리 정해진 제1 임계값 이상이면 나머지 하나의 프로세서를 후 활성화하고, 후 활성화된 프로세서에 의해 산출된 유사도가 미리 정해진 제2 임계값 이상이면 상기 사용자의 얼굴 인식에 성공한 것으로 판단하고,
    상기 얼굴 인식 장치 주위의 조도를 측정하는 조도 센서를 더 포함하고,
    상기 제3 프로세서는, 상기 얼굴 인식 절차의 개시 후 상기 제1 프로세서와 상기 제2 프로세서 중 하나의 프로세서를 선 활성화하기 전, 상기 조도 센서에 의해 측정된 조도가 기준 조도 미만인 경우, 상기 제1 프로세서를 선 활성화하도록 구성하고,
    상기 제1 프로세서에 의해 산출된 상기 제1 유사도가 대응 임계값 이상이면, 상기 제2 프로세서를 단일 이미지 모드로 후 활성화하고, 상기 제2 프로세서에 의해 산출되는 상기 제2 유사도가 대응 임계값 이상이면 얼굴 인식에 성공한 것으로 판단하고,
    상기 조도 센서에 의해 측정된 조도 값이 미리 정해진 기준 조도 이상이고, 상기 제2 프로세서의 동작 모드로서 다중 이미지 모드가 설정되어 있는 경우, 상기 제3 프로세서는 상기 제2 프로세서를 선 활성화하도록 구성하고,
    상기 제2 프로세서에서 산출된 제2 유사도가 대응 임계값 이상이면, 상기 제1 프로세서를 후 활성화하고, 상기 제1 프로세서에 의해 산출되는 상기 제1 유사도가 대응 임계값 이상이면, 얼굴 인식에 성공한 것으로 판단하는 에지 AI 기반의 얼굴 인식 장치.
  2. 제1항에 있어서,
    상기 제3 프로세서는, 상기 선 활성화된 프로세서에 의해 산출된 유사도가 상기 제1 임계값 미만이면, 상기 나머지 하나의 프로세서를 비활성화 상태로 유지하고 상기 제1 버퍼 메모리에 임시 저장된 뎁스맵 이미지와 상기 제2 버퍼 메모리에 임시 저장된 얼굴 이미지를 삭제하도록 구성된 에지 AI 기반의 얼굴 인식 장치
  3. 삭제
  4. 제1항에 있어서,
    상기 제3 프로세서는, 상기 제2 프로세서의 동작 모드를 단일 이미지 모드 또는 다중 이미지 모드로 설정하도록 구성되고,
    상기 2D 카메라는, 상기 단일 이미지 모드가 설정되면 상기 사용자의 얼굴을 하나의 각도로 촬영한 단일의 얼굴 이미지를 생성하여 상기 제2 버퍼 메모리에 저장하고, 상기 다중 이미지 모드가 설정되면 상기 사용자의 얼굴을 각각 다른 각도로 촬영한 복수의 얼굴 이미지를 생성하여 상기 제2 버퍼 메모리에 저장하도록 구성되고,
    상기 제2 프로세서는, 상기 단일 이미지 모드가 설정되면 상기 제2 버퍼 메모리에 저장되는 상기 단일의 얼굴 이미지에 대해 상기 제2 유사도를 산출하고, 상기 다중 이미지 모드가 설정되면 상기 제2 버퍼 메모리에 저장되는 상기 복수의 얼굴 이미지 각각에 대해 상기 제2 유사도를 산출하도록 구성된 것을 특징으로 하는 에지 AI 기반의 얼굴 인식 장치.
  5. 제4항에 있어서,
    상기 제3 프로세서는, 상기 다중 이미지 모드가 설정되고 상기 제2 프로세서가 상기 제1 프로세서보다 선 활성화된 경우, 상기 제2 프로세서에 의해 산출되는 제2 유사도들을 미리 정해진 임계값과 비교하여 상기 제2 유사도들이 모두 해당 임계값 이상이거나 상기 제2 유사도들의 평균값이 해당 임계값 이상이면 상기 제1 프로세서를 후 활성화하도록 구성된 것을 특징으로 하는 에지 AI 기반의 얼굴 인식 장치.
  6. 제4항에 있어서,
    상기 제3 프로세서는, 상기 다중 이미지 모드가 설정되고 상기 제2 프로세서가 상기 제1 프로세서보다 후 활성화된 경우, 상기 제2 프로세서에 의해 산출되는 제2 유사도들을 미리 정해진 임계값과 비교하여 상기 제2 유사도들이 모두 해당 임계값 이상이거나 상기 제2 유사도들의 평균값이 해당 임계값 이상이면 상기 사용자의 얼굴 인식에 성공한 것으로 판단하도록 구성된 것을 특징으로 하는 에지 AI 기반의 얼굴 인식 장치.
KR1020200139463A 2020-10-26 2020-10-26 에지 ａｉ 기반의 얼굴 인식 장치 KR102563415B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200139463A KR102563415B1 (ko) 2020-10-26 2020-10-26 에지 ａｉ 기반의 얼굴 인식 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200139463A KR102563415B1 (ko) 2020-10-26 2020-10-26 에지 ａｉ 기반의 얼굴 인식 장치

Publications (2)

Publication Number Publication Date
KR20220055216A KR20220055216A (ko) 2022-05-03
KR102563415B1 true KR102563415B1 (ko) 2023-08-04

Family

ID=81591064

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200139463A KR102563415B1 (ko) 2020-10-26 2020-10-26 에지 ａｉ 기반의 얼굴 인식 장치

Country Status (1)

Country Link
KR (1) KR102563415B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080122577A1 (en) * 2003-05-12 2008-05-29 Srinivas Gutta System and Method for Selectively Activating Biometric Sensors
KR102317180B1 (ko) * 2017-06-08 2021-10-27 (주)이더블유비엠 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법

Also Published As

Publication number Publication date
KR20220055216A (ko) 2022-05-03

Similar Documents

Publication Publication Date Title
US10217195B1 (en) Generation of semantic depth of field effect
US10198823B1 (en) Segmentation of object image data from background image data
JP2020523665A (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
JP7026225B2 (ja) 生体検出方法、装置及びシステム、電子機器並びに記憶媒体
JP2022118730A (ja) 車両のドアロック解除方法及び装置、システム、車両、電子機器並びに記憶媒体
US10824849B2 (en) Method, apparatus, and system for resource transfer
KR101241625B1 (ko) 얼굴 인식 환경 통지 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
CN112364827B (zh) 人脸识别方法、装置、计算机设备和存储介质
US20120300092A1 (en) Automatically optimizing capture of images of one or more subjects
US11227149B2 (en) Method and apparatus with liveness detection and object recognition
US20230252120A1 (en) Method and apparatus with selective combined authentication
WO2012089902A1 (en) Method, apparatus, and computer program product for image clustering
CN107707871A (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
TW201835805A (zh) 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體
CN112052830B (zh) 人脸检测的方法、装置和计算机存储介质
JP6157165B2 (ja) 視線検出装置及び撮像装置
CN110351543A (zh) 适应性红外线投影控制的方法以及装置
CN112052832A (zh) 人脸检测的方法、装置和计算机存储介质
US11651622B2 (en) Method, device and non-transitory computer readable medium of facial recognition
KR102563415B1 (ko) 에지 ａｉ 기반의 얼굴 인식 장치
WO2024032125A1 (zh) 摄像头监控方法及装置
US20210287026A1 (en) Method and apparatus with liveness verification
KR20200083188A (ko) 라이브니스 검출 방법 및 장치, 이를 이용한 객체 인식 방법
KR20240060968A (ko) 얼굴인식에 대한 안티스푸핑 방법 및 그 장치
Cheng et al. Mitigating the effects of variable illumination for tracking across disjoint camera views

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant