KR20220073021A - Chip for face recognition based on heterogeneous sensors and face recognition device using the same - Google Patents

Chip for face recognition based on heterogeneous sensors and face recognition device using the same Download PDF

Info

Publication number
KR20220073021A
KR20220073021A KR1020200160683A KR20200160683A KR20220073021A KR 20220073021 A KR20220073021 A KR 20220073021A KR 1020200160683 A KR1020200160683 A KR 1020200160683A KR 20200160683 A KR20200160683 A KR 20200160683A KR 20220073021 A KR20220073021 A KR 20220073021A
Authority
KR
South Korea
Prior art keywords
face recognition
image
processor
target area
mode
Prior art date
Application number
KR1020200160683A
Other languages
Korean (ko)
Other versions
KR102588696B1 (en
Inventor
정의진
Original Assignee
(주)비퍼플
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)비퍼플 filed Critical (주)비퍼플
Priority to KR1020200160683A priority Critical patent/KR102588696B1/en
Publication of KR20220073021A publication Critical patent/KR20220073021A/en
Application granted granted Critical
Publication of KR102588696B1 publication Critical patent/KR102588696B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

이종 센서 기반의 얼굴 인식용 칩 및 얼굴 인식 장치가 개시된다.
본 발명의 일 실시예에 따른 이종 센서 기반의 얼굴 인식용 칩은, 복수의 이미지 센서에 의해 생성된 타깃 영역 이미지들을 해당 타깃 영역 이미지를 생성한 이미지 센서별로 구분하여 저장하는 복수의 버퍼 메모리; 타깃 영역에 출현하여 거리 센서에 의해 센싱된 객체의 거리에 따라 상기 얼굴 인식용 칩의 동작 모드를 단일 이미지 모드 또는 다중 이미지 모드로 설정하고, 설정된 동작 모드에 따라 상기 복수의 버퍼 메모리에 각각 공급되는 전력을 제어하는 제1 프로세서; 및 상기 단일 이미지 모드가 설정되면 상기 복수의 버퍼 메모리 중 메인 버퍼 메모리에 저장된 타깃 영역 이미지를 이용하여 얼굴 인식을 수행하고, 상기 다중 이미지 모드가 설정되면 상기 복수의 버퍼 메모리에 저장된 복수의 타깃 영역 이미지를 이용하여 얼굴 인식을 수행하는 제2 프로세서를 포함한다.Disclosed are a face recognition chip and a face recognition device based on heterogeneous sensors.
A heterogeneous sensor-based face recognition chip according to an embodiment of the present invention includes: a plurality of buffer memories for classifying target area images generated by a plurality of image sensors for each image sensor generating the target area image and storing; The operation mode of the face recognition chip is set to a single image mode or multiple image mode according to the distance of an object that appears in the target area and sensed by the distance sensor, and is supplied to the plurality of buffer memories according to the set operation mode, respectively a first processor for controlling power; and when the single image mode is set, face recognition is performed using the target area images stored in the main buffer memory among the plurality of buffer memories, and when the multiple image mode is set, the plurality of target area images stored in the plurality of buffer memories and a second processor for performing face recognition using

Description

이종 센서 기반의 얼굴 인식용 칩 및 이를 이용한 얼굴 인식 장치{Chip for face recognition based on heterogeneous sensors and face recognition device using the same}Chip for face recognition based on heterogeneous sensors and face recognition device using the same}

본 발명은 이종 센서 기반의 얼굴 인식용 칩 및 이를 이용한 얼굴 인식 장치에 관한 것으로서, 더 상세하게는, 객체의 거리를 센싱하는 거리 센서와 객체의 이미지를 생성하는 이미지 센서를 기반으로 얼굴 인식을 수행하는 얼굴 인식용 칩 및 이를 이용한 얼굴 인식 장치에 관한 것이다.The present invention relates to a chip for face recognition based on a heterogeneous sensor and a face recognition apparatus using the same, and more particularly, performs face recognition based on a distance sensor for sensing the distance of an object and an image sensor for generating an image of the object It relates to a face recognition chip and a face recognition device using the same.

일반적으로, 얼굴 인식(Face Recognition) 기술은 카메라를 통해 촬영된 정지영상 또는 동영상 내에 존재하는 얼굴 이미지를 검출하고, 검출된 얼굴 이미지에 대해 얼굴 정렬, 광도 보정, 이미지 정규화 등의 전처리를 수행한 후, 전처리된 얼굴 이미지로부터 특징(feature)을 추출하여 해당 얼굴을 식별하는 기술을 말한다.In general, Face Recognition technology detects a face image present in a still image or video captured by a camera, and performs pre-processing such as face alignment, luminance correction, and image normalization on the detected face image. , refers to a technology for identifying a corresponding face by extracting a feature from the preprocessed face image.

최근, 이러한 얼굴 인식 기술이 스마트 도어록(smart door-lock), 월 패드(wall-pad), CCTV(Closed Circuit Television), 모바일 단말, IoT(Internet of Things) 기기, 자율 주행 차량 등 다양한 로컬 디바이스에 적용됨에 따라, 저전력 운영이 가능하면서도 얼굴 인식의 정확성을 보장하는 얼굴 인식 장치에 대한 관심과 요청이 증가하고 있다.Recently, this face recognition technology has been applied to various local devices such as smart door-locks, wall-pads, CCTV (Closed Circuit Television), mobile terminals, Internet of Things (IoT) devices, and autonomous vehicles. As it is applied, interest and requests for a face recognition device that can operate with low power and ensure accuracy of face recognition are increasing.

그러나, 한국 등록특허공보 제10-1988279호에 개시된 바와 같이, 기존 기술은 객체 검출을 위해 상이한 종류의 이미지 센서들을 이용하면서도 이러한 이미지 센서들을 전력 효율적으로 운영하는 방안을 제시하지 못하고 있다는 문제점이 있다.However, as disclosed in Korean Patent No. 10-1988279, the existing technology has a problem in that it uses different types of image sensors for object detection and does not suggest a method for efficiently operating these image sensors.

또한, 한국 공개특허공보 제10-2014-0089697호에 개시된 바와 같이, 기존 기술은 단말기에 구비된 단일의 카메라로 촬영된 영상을 통해 사용자의 얼굴을 인식하기 때문에, 해당 카메라의 성능에 따라 얼굴 인식이 가능한 거리가 제한되고, 사용자가 원거리에 위치할수록 촬영 영상에 나타난 사용자 얼굴의 해상도가 떨어지게 되어 얼굴 인식의 정확성을 보장할 수 없게 되는 문제점이 있다. 또한, 얼굴 인식 가능 거리를 증가시키기 위해 고해상도 카메라를 사용할 경우, 얼굴 인식 장치의 제조 비용이 증가하고 근거리에 위치한 사용자의 얼굴 인식 시에는 비용 효율성이 떨어지는 문제점이 있다.In addition, as disclosed in Korean Patent Application Laid-Open No. 10-2014-0089697, the existing technology recognizes a user's face through an image captured by a single camera provided in the terminal, and thus recognizes a face according to the performance of the camera. This possible distance is limited, and as the user is located further away, the resolution of the user's face shown in the captured image is lowered, and thus the accuracy of face recognition cannot be guaranteed. In addition, when a high-resolution camera is used to increase the face recognition distance, the manufacturing cost of the face recognition device increases, and there is a problem in that cost-effectiveness decreases when the face of a user located in a short distance is recognized.

본 발명이 해결하고자 하는 기술적 과제는 얼굴 인식 장치의 전력 효율성을 개선하고 제조 비용을 절감하면서도, 얼굴 인식의 거리 제한을 완화하고 얼굴 인식의 정확성을 보장하는 이종 센서 기반의 얼굴 인식용 칩 및 이를 이용한 얼굴 인식 장치를 제공하는 것이다.The technical problem to be solved by the present invention is to improve the power efficiency of the face recognition device and reduce the manufacturing cost, while alleviating the distance limitation of the face recognition and ensuring the accuracy of face recognition, and a chip for face recognition based on a heterogeneous sensor using the same To provide a face recognition device.

본 발명의 일 실시예에 따른 이종 센서 기반의 얼굴 인식용 칩은, 타깃 영역에 출현한 객체의 거리를 센싱하는 거리 센서, 및 상기 타깃 영역을 서로 다른 시각으로 촬영한 타깃 영역 이미지들을 생성하는 복수의 이미지 센서와 연동하여 얼굴 인식을 수행하는 것으로서, 상기 복수의 이미지 센서에 의해 생성된 타깃 영역 이미지들을 해당 타깃 영역 이미지를 생성한 이미지 센서별로 구분하여 저장하는 복수의 버퍼 메모리; 상기 거리 센서에 의해 센싱된 거리에 따라 상기 얼굴 인식용 칩의 동작 모드를 단일 이미지 모드 또는 다중 이미지 모드로 설정하고, 설정된 동작 모드에 따라 상기 복수의 버퍼 메모리에 각각 공급되는 전력을 제어하는 제1 프로세서; 및 상기 단일 이미지 모드가 설정되면 상기 복수의 버퍼 메모리 중 메인 버퍼 메모리에 저장된 타깃 영역 이미지를 이용하여 얼굴 인식을 수행하고, 상기 다중 이미지 모드가 설정되면 상기 복수의 버퍼 메모리에 저장된 복수의 타깃 영역 이미지를 이용하여 얼굴 인식을 수행하는 제2 프로세서를 포함하고, 상기 제1 프로세서는, 상기 단일 이미지 모드가 설정되면 상기 복수의 버퍼 메모리 중 상기 메인 버퍼 메모리를 제외한 나머지 버퍼 메모리에 제공되는 전력을 제1 레벨로 제어하면서 상기 메인 버퍼 메모리에 제공되는 전력을 상기 제1 레벨보다 큰 제2 레벨로 제어하고, 상기 다중 이미지 모드가 설정되면 상기 복수의 버퍼 메모리에 각각 제공되는 전력을 모두 상기 제2 레벨로 제어하도록 구성된다.A chip for face recognition based on a heterogeneous sensor according to an embodiment of the present invention includes a distance sensor sensing a distance of an object appearing in a target area, and a plurality of generating target area images obtained by photographing the target area from different viewpoints. a plurality of buffer memories for performing face recognition in conjunction with an image sensor of a plurality of buffer memories for storing target area images generated by the plurality of image sensors by classifying the target area images for each image sensor generating the target area image; The first operation mode of the face recognition chip is set to a single image mode or a multi-image mode according to the distance sensed by the distance sensor, and the power supplied to the plurality of buffer memories is controlled according to the set operation mode. processor; and when the single image mode is set, face recognition is performed using the target area images stored in the main buffer memory among the plurality of buffer memories, and when the multiple image mode is set, the plurality of target area images stored in the plurality of buffer memories and a second processor that performs face recognition using While controlling the level, the power provided to the main buffer memory is controlled to a second level greater than the first level, and when the multi-image mode is set, all power provided to the plurality of buffer memories is set to the second level. configured to control.

일 실시예에 있어서, 상기 제1 프로세서는, 상기 타깃 영역에 객체가 출현하기 전이면 상기 동작 모드를 슬립 모드로 설정하고, 상기 복수의 버퍼 메모리에 각각 제공되는 전력을 모두 상기 제1 레벨로 제어하거나 차단하도록 구성된다.In an embodiment, the first processor sets the operation mode to a sleep mode before an object appears in the target area, and controls all power supplied to the plurality of buffer memories to the first level. or configured to block.

일 실시예에 있어서, 상기 얼굴 인식용 칩은, 상기 제2 프로세스에 동작 클럭을 제공하는 클럭 제공부를 더 포함하고, 상기 제1 프로세서는, 상기 단일 이미지 모드가 설정되면 상기 클럭 제공부를 제어하여 제1 주파수의 동작 클럭을 상기 제2 프로세서에 제공하고, 상기 다중 이미지 모드가 설정되면 상기 클럭 제공부를 제어하여 상기 제1 주파수보다 높은 제2 주파수의 동작 클럭을 상기 제2 프로세서에 제공하도록 구성된다.In an embodiment, the face recognition chip further includes a clock providing unit that provides an operation clock to the second process, and the first processor controls the clock providing unit when the single image mode is set. and providing an operating clock of one frequency to the second processor, and controlling the clock providing unit to provide an operating clock of a second frequency higher than the first frequency to the second processor when the multi-image mode is set.

일 실시예에 있어서, 상기 제1 프로세서는, 상기 타깃 영역에 객체가 출현하기 전이면 상기 동작 모드를 슬립 모드로 설정하고, 상기 클럭 제공부를 제어하여 상기 제2 프로세서에 제공되는 동작 클럭을 차단하도록 구성된다.In an embodiment, the first processor is configured to set the operation mode to a sleep mode before an object appears in the target area, and control the clock providing unit to block the operation clock provided to the second processor. is composed

일 실시예에 있어서, 상기 제1 프로세서는, 상기 거리 센서에 의해 센싱된 거리가 미리 정해진 임계 거리를 초과하지 않으면 상기 동작 모드를 상기 단일 이미지 모드로 설정하고, 상기 센싱된 거리가 상기 임계 거리를 초과하면 상기 동작 모드를 상기 다중 이미지 모드로 설정하도록 구성된다.In one embodiment, the first processor is configured to set the operation mode to the single image mode if the distance sensed by the distance sensor does not exceed a predetermined threshold distance, and the sensed distance is the threshold distance if exceeded, set the operation mode to the multi-image mode.

일 실시예에 있어서, 상기 제1 프로세서는, 상기 동작 모드를 설정하기 전에 상기 복수의 이미지 센서 중 메인 이미지 센서를 지정하도록 구성되고, 상기 메인 버퍼 메모리는, 상기 복수의 버퍼 메모리 중 상기 메인 이미지 센서에 의해 생성된 타깃 영역 이미지를 저장하는 버퍼 메모리에 해당한다.In an embodiment, the first processor is configured to designate a main image sensor among the plurality of image sensors before setting the operation mode, and the main buffer memory includes: the main image sensor among the plurality of buffer memories Corresponds to the buffer memory that stores the target area image created by .

일 실시예에 있어서, 상기 제2 프로세서는, 상기 단일 이미지 모드가 설정되면 상기 메인 버퍼 메모리에 저장된 타깃 영역 이미지에서 얼굴 이미지를 검출하고, 검출된 얼굴 이미지를 미리 학습된 얼굴 인식용 딥러닝 모델에 입력하여 얼굴 인식을 수행하도록 구성된다.In one embodiment, when the single image mode is set, the second processor detects a face image from the target area image stored in the main buffer memory, and applies the detected face image to a pre-trained deep learning model for face recognition. is configured to perform face recognition by input.

일 실시예에 있어서, 상기 제2 프로세서는, 상기 다중 이미지 모드가 설정되면 상기 복수의 버퍼 메모리에 저장된 복수의 타깃 영역 이미지에서 각각 얼굴 이미지를 검출하고, 검출된 얼굴 이미지들을 통해 해당 얼굴 이미지들보다 해상도가 높은 고해상도 얼굴 이미지를 생성하고, 상기 고해상도 얼굴 이미지를 미리 학습된 얼굴 인식용 딥러닝 모델에 입력하여 얼굴 인식을 수행하도록 구성된다.In an embodiment, when the multi-image mode is set, the second processor detects a face image from a plurality of target area images stored in the plurality of buffer memories, respectively, and uses the detected face images to compare the face images. It is configured to generate a high-resolution face image with high resolution, and to perform face recognition by inputting the high-resolution face image to a pre-trained deep learning model for face recognition.

본 발명의 일 실시예에 따른 얼굴 인식 장치는, 상기 얼굴 인식용 칩을 이용하여 얼굴 인식을 수행하는 장치로서, 상기 거리 센서 및 상기 복수의 이미지 센서를 포함하도록 구성된다.A face recognition apparatus according to an embodiment of the present invention is an apparatus for performing face recognition using the face recognition chip, and is configured to include the distance sensor and the plurality of image sensors.

본 발명에 따르면, 얼굴 인식 대상 객체의 거리에 따라 얼굴 인식에 사용되는 이미지 센서와 버퍼 메모리의 개수, 버퍼 메모리와 프로세서에 제공되는 전력 등을 적응적으로 변경함으로써, 얼굴 인식 장치의 전력 효율성을 개선하고 제조 비용을 절감하면서도, 얼굴 인식의 거리 제한을 완화하고 얼굴 인식의 정확성을 보장할 수 있다.According to the present invention, the power efficiency of the face recognition device is improved by adaptively changing the number of image sensors and buffer memories used for face recognition, and power provided to the buffer memory and the processor according to the distance of the face recognition target object. and reduce manufacturing cost, while easing the distance limitation of face recognition and ensuring the accuracy of face recognition.

또한, 복수의 이미지 센서를 통해 동일한 타깃 영역을 서로 다른 시각으로 촬영한 타깃 영역 이미지들을 생성하고, 이러한 타깃 영역 이미지들에서 각각 얼굴 인식 대상 객체의 얼굴 이미지를 검출하고, 검출된 얼굴 이미지들을 기반으로 얼굴 인식에 사용될 고해상도 얼굴 이미지를 생성함으로써, 저가의 저해상도 이미지 센서가 사용되는 경우 또는 얼굴 인식 대상 객체가 단일의 이미지 센서로 얼굴 인식을 수행할 수 없는 원거리에 위치하는 경우에도 얼굴 인식의 정확성과 신뢰성을 높은 수준으로 보장할 수 있다.In addition, target area images obtained by photographing the same target area from different viewpoints are generated through a plurality of image sensors, and a face image of a face recognition target object is detected from the target area images, respectively, and based on the detected face images By generating a high-resolution face image to be used for face recognition, the accuracy and reliability of face recognition even when a low-cost, low-resolution image sensor is used or when the target object for face recognition is located at a distance where face recognition cannot be performed with a single image sensor can be guaranteed to a high level.

또한, 얼굴 인식 장치에 구비된 이미지 센서들로 하여금 근거리 얼굴 인식과 원거리 얼굴 인식에 모두 사용되는 메인 이미지 센서의 역할을 상호 교번하여 수행하도록 함으로써, 이미지 센서들의 불균형한 열화를 방지하고 얼굴 인식 장치의 유지·보수를 용이하게 할 수 있다.In addition, by having the image sensors provided in the face recognition device alternately perform the roles of the main image sensor used for both short-distance face recognition and long-distance face recognition, unbalanced deterioration of image sensors is prevented and Maintenance can be facilitated.

나아가, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면, 본 발명에 따른 다양한 실시예들이 상기 언급되지 않은 여러 기술적 과제들을 해결할 수 있음을 이하의 설명으로부터 자명하게 이해할 수 있을 것이다.Furthermore, those of ordinary skill in the art to which the present invention pertains will clearly understand from the following description that various embodiments according to the present invention can solve various technical problems not mentioned above.

도 1은 본 발명의 일 실시예에 따른 얼굴 인식 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 인식용 칩의 제1 프로세서에 의해 수행되는 동작 모드 설정 프로세스를 나타낸 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 인식용 칩의 제2 프로세서에 의해 수행되는 얼굴 인식 프로세스를 나타낸 흐름도이다.
도 4는 도 1의 얼굴 인식 장치에 포함된 이미지 센서들의 촬영 영역을 나타낸 도면이다.
도 5는 도 1의 얼굴 인식 장치에 의해 생성되는 타깃 영역 이미지들의 일례를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 얼굴 인식용 칩의 고해상도 얼굴 이미지 생성 방식을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 얼굴 인식용 칩의 메인 이미지 센서 변경 프로세스를 나타낸 흐름도이다.1 is a block diagram illustrating a face recognition apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating an operation mode setting process performed by a first processor of a face recognition chip according to an embodiment of the present invention.
3 is a flowchart illustrating a face recognition process performed by a second processor of a face recognition chip according to an embodiment of the present invention.
4 is a diagram illustrating photographing areas of image sensors included in the face recognition apparatus of FIG. 1 .
5 is a diagram illustrating an example of target area images generated by the face recognition apparatus of FIG. 1 .
6 is a diagram illustrating a method of generating a high-resolution face image of a face recognition chip according to an embodiment of the present invention.
7 is a flowchart illustrating a process of changing a main image sensor of a chip for face recognition according to an embodiment of the present invention.

이하, 본 발명의 기술적 과제에 대한 해결 방안을 명확화하기 위해 첨부도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 다만, 본 발명을 설명함에 있어서 관련 공지기술에 관한 설명이 오히려 본 발명의 요지를 불명료하게 하는 경우 그에 관한 설명은 생략하기로 한다. 또한, 본 명세서에서 사용되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이들은 설계자, 제조자 등의 의도 또는 관례 등에 따라 달라질 수 있을 것이다. 그러므로 후술되는 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to clarify solutions to the technical problems of the present invention. However, in the description of the present invention, if the description of the related known technology rather obscures the gist of the present invention, the description thereof will be omitted. In addition, the terms used in this specification are terms defined in consideration of functions in the present invention, and these may vary according to the intentions or customs of designers, manufacturers, and the like. Therefore, definitions of terms to be described below should be made based on the content throughout this specification.

도 1에는 본 발명의 일 실시예에 따른 얼굴 인식 장치(10)가 블록도로 도시되어 있다.1 is a block diagram illustrating a face recognition apparatus 10 according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 얼굴 인식 장치(10)는 객체 감지 센서(12), 거리 센서(14), 복수의 이미지 센서(16a 내지 16d) 및 전원부(18)를 포함하며, 본 발명의 일 실시예에 따른 얼굴 인식용 칩(100)을 더 포함한다.As shown in FIG. 1 , the face recognition apparatus 10 according to an embodiment of the present invention includes an object detection sensor 12 , a distance sensor 14 , a plurality of image sensors 16a to 16d and a power supply unit 18 . It includes, and further includes a chip 100 for face recognition according to an embodiment of the present invention.

상기 객체 감지 센서(12)는 소정 타깃 영역에 출현한 객체를 감지하도록 구성된다. 이러한 객체 감지 센서(12)는 다양한 방식으로 구성될 수 있다. 예컨대, 객체 감지 센서(12)는 초음파 센서나 적외선 센서를 이용하여 객체의 동작을 센싱함으로써 객체를 감지하도록 구성되거나, 객체와 접촉하여 해당 객체를 감지하도록 구성될 수 있다.The object detection sensor 12 is configured to detect an object that appears in a predetermined target area. The object detection sensor 12 may be configured in various ways. For example, the object detection sensor 12 may be configured to detect an object by sensing the motion of the object using an ultrasonic sensor or an infrared sensor, or may be configured to detect a corresponding object in contact with the object.

상기 거리 센서(14)는 상기 타깃 영역에 출현한 객체까지의 거리를 센싱하도록 구성된다. 이러한 거리 센서(14)는 적외선 신호나 초음파 신호와 같은 파동 신호를 타깃 영역으로 송출하고, 타깃 영역에 위치한 객체에 의해 반사된 반사 신호를 수신하여 상기 파동 신호의 ToF(Time of Flight)를 산출하고, 상기 파동 신호의 이동 속도와 산출된 ToF를 이용하여 상기 객체까지의 거리를 센싱하도록 구성될 수 있다.The distance sensor 14 is configured to sense a distance to an object appearing in the target area. The distance sensor 14 transmits a wave signal such as an infrared signal or an ultrasonic signal to a target area, receives a reflected signal reflected by an object located in the target area, and calculates a Time of Flight (ToF) of the wave signal, , may be configured to sense the distance to the object using the movement speed of the wave signal and the calculated ToF.

실시예에 따라, 상기 거리 센서(14)는 객체 감지 센서(12)와 통합적으로 구성될 수도 있다. 즉, 상기 거리 센서(14)는 수시로 또는 주기적으로 파동 신호를 송출하고, 반사 신호의 수신 여부나 상기 파동 신호의 ToF 변화 여부를 통해 상기 타깃 영역에 출현한 객체를 감지하도록 구성될 수 있다.According to an embodiment, the distance sensor 14 may be integrally configured with the object detection sensor 12 . That is, the distance sensor 14 may be configured to transmit a wave signal from time to time or periodically, and to detect an object appearing in the target area based on whether a reflected signal is received or whether the ToF of the wave signal is changed.

상기 복수의 이미지 센서(16a 내지 16d)는 각각 독립적으로 제어되는 이미지 센서들로서, 상호 인접한 위치에서 상기 타깃 영역을 서로 다른 시각으로 촬영한 타깃 영역 이미지들을 생성하도록 구성된다. 이를 위해, 각각의 이미지 센서는 CMOS(Complementary Metal-Oxide Semiconductor)나 CCD(Charge Coupled Device) 등을 포함할 수 있다. 도 1에는 얼굴 인식 장치(10)가 4개의 이미지 센서(16a 내지 16d)를 포함하는 것으로 도시되어 있으나, 얼굴 인식 장치(10)가 포함하는 이미지 센서의 갯수는 실시예에 따라 변경될 수 있다.The plurality of image sensors 16a to 16d are independently controlled image sensors, and are configured to generate target area images obtained by photographing the target area from mutually adjacent positions from different viewpoints. To this end, each image sensor may include a complementary metal-oxide semiconductor (CMOS) or a charge coupled device (CCD). Although the face recognition apparatus 10 is illustrated as including four image sensors 16a to 16d in FIG. 1 , the number of image sensors included in the face recognition apparatus 10 may be changed according to an embodiment.

상기 전원부(18)는 상기 얼굴 인식 장치(10)의 동작에 필요한 전력을 공급하도록 구성된다. 이를 위해, 전원부(18)는 배터리, BMS(Battery Management System), 변압기, 정류기 등을 선택적으로 포함할 수 있다.The power supply unit 18 is configured to supply power necessary for the operation of the face recognition device 10 . To this end, the power supply unit 18 may selectively include a battery, a battery management system (BMS), a transformer, a rectifier, and the like.

본 발명에 따른 얼굴 인식용 칩(100)은 상기 얼굴 인식 장치(10)에 적용되어 거리 센서(14)와 이미지 센서(16a 내지 16d)를 기반으로 얼굴 인식을 수행하도록 구성된다.The face recognition chip 100 according to the present invention is applied to the face recognition device 10 and is configured to perform face recognition based on the distance sensor 14 and the image sensors 16a to 16d.

이를 위해, 본 발명의 일 실시예에 따른 얼굴 인식용 칩(100)은 복수의 버퍼 메모리(110a 내지 110d), 제1 프로세서(120), 제2 프로세서(130), 클럭 제공부(140) 및 RAM(150)을 포함할 수 있다. 이러한 얼굴 인식용 칩(100)은 SoC(System on Chip) 형태로 구현될 수 있다.To this end, the face recognition chip 100 according to an embodiment of the present invention includes a plurality of buffer memories 110a to 110d, a first processor 120 , a second processor 130 , a clock providing unit 140 and RAM 150 may be included. The face recognition chip 100 may be implemented in the form of a SoC (System on Chip).

상기 복수의 버퍼 메모리(110a 내지 110d)는 복수의 이미지 센서(16a 내지 16d)와 일대일로 연결되어, 각각의 이미지 센서(16a 내지 16d)에 의해 생성된 타깃 영역 이미지들을 해당 타깃 영역 이미지를 생성한 이미지 센서별로 구분하여 저장하도록 구성된다. 또한, 상기 복수의 버퍼 메모리(110a 내지 110d)는 각각 독립적인 전력 라인을 통해 전력을 공급받도록 구성된다.The plurality of buffer memories 110a to 110d are connected one-to-one with the plurality of image sensors 16a to 16d, and the target area images generated by the respective image sensors 16a to 16d are used to generate corresponding target area images. It is configured to be stored separately for each image sensor. In addition, each of the plurality of buffer memories 110a to 110d is configured to receive power through independent power lines.

상기 제1 프로세서(120)는 거리 센서(14)에 의해 센싱된 얼굴 인식 대상 객체의 거리에 따라 얼굴 인식용 칩(100)의 동작 모드를, 단일 이미지 모드 또는 다중 이미지 모드로 설정하고, 설정된 동작 모드에 따라 복수의 버퍼 메모리(110a 내지 110d)에 각각 공급되는 전력을 제어하도록 구성된다.The first processor 120 sets the operation mode of the face recognition chip 100 to a single image mode or a multiple image mode according to the distance of the face recognition target object sensed by the distance sensor 14, and sets the set operation It is configured to control the power respectively supplied to the plurality of buffer memories 110a to 110d according to the mode.

아래에서 다시 설명하겠지만, 본 발명에서 ‘단일 이미지 모드’는 얼굴 인식용 칩(100)이 상기 복수의 이미지 센서(16a 내지 16d) 중 미리 지정된 메인 이미지 센서에 의해 생성되는 타깃 영역 이미지에서 얼굴 이미지를 검출하여 얼굴 인식을 수행하는 동작 모드이고, ‘다중 이미지 모드’는 얼굴 인식용 칩(100)이 상기 복수의 이미지 센서(16a 내지 16d)를 통해 생성된 복수의 타깃 영역 이미지에서 각각 얼굴 이미지를 검출하여 얼굴 인식을 수행하는 동작 모드이다.As will be described again below, in the present invention, the 'single image mode' means that the face recognition chip 100 selects a face image from a target area image generated by a pre-designated main image sensor among the plurality of image sensors 16a to 16d. It is an operation mode for detecting and performing face recognition, and in the 'multi-image mode', the face recognition chip 100 detects a face image from a plurality of target area images generated through the plurality of image sensors 16a to 16d, respectively. This is an operation mode for performing face recognition.

이 경우, 제1 프로세서(120)는 거리 센서(14)에 의해 센싱된 거리가 미리 정해진 임계 거리를 초과하지 않으면 상기 동작 모드를 단일 이미지 모드로 설정하고, 상기 센싱된 거리가 미리 정해진 임계 거리를 초과하면 상기 동작 모드를 다중 이미지 모드로 설정하도록 구성될 수 있다.In this case, if the distance sensed by the distance sensor 14 does not exceed a predetermined threshold distance, the first processor 120 sets the operation mode to the single image mode, and the sensed distance exceeds the predetermined threshold distance. If exceeded, it may be configured to set the operation mode to a multi-image mode.

동작 모드 설정의 기준이 되는 임계 거리는, 이미지 센서들(16a 내지 16d)의 성능에 따라 다르게 결정될 수 있다. 즉, 각각의 이미지 센서를 통해 생성되는 이미지의 해상도가 높을수록, 상기 임계 거리는 더 먼 거리로 결정될 수 있다. 반면, 각각의 이미지 센서를 통해 촬영되는 이미지의 해상도가 낮을수록, 상기 임계 거리는 더 가까운 거리로 결정될 수 있다. 그 이유는, 이미지 센서의 성능이 높아질수록 단일 이미지 모드에서 정확한 얼굴 인식이 가능한 객체의 거리가 증가하기 때문이다.The threshold distance serving as a reference for setting the operation mode may be determined differently depending on the performance of the image sensors 16a to 16d. That is, the higher the resolution of the image generated by each image sensor, the greater the critical distance may be determined. On the other hand, as the resolution of an image captured by each image sensor is lower, the threshold distance may be determined to be a closer distance. The reason is that as the performance of the image sensor increases, the distance of an object capable of accurately recognizing a face in a single image mode increases.

또한, 제1 프로세서(120)는 상기 타깃 영역에 얼굴 인식 대상 객체가 출현하기 전이면, 상기 얼굴 인식용 칩(100)의 동작 모드를 ‘슬립 모드(또는, 대기 모드)’로 설정하도록 구성될 수 있다.Also, before the face recognition target object appears in the target area, the first processor 120 may be configured to set the operation mode of the face recognition chip 100 to a 'sleep mode (or standby mode)'. can

상기 제2 프로세서(130)는 제1 프로세서(120)와 독립적으로 구성된 프로세서로서, 슬립 모드가 설정되면 얼굴 인식을 수행하지 않는 슬립 상태를 유지하고, 단일 이미지 모드가 설정되면 상기 복수의 버퍼 메모리(110a 내지 110d) 중 미리 정해진 메인 버퍼 메모리에 저장되는 타깃 영역 이미지를 이용하여 얼굴 인식을 수행하고, 다중 이미지 모드가 설정되면 상기 복수의 버퍼 메모리(110a 내지 110d)에 분산 저장된 복수의 타깃 영역 이미지를 이용하여 얼굴 인식을 수행하도록 구성된다.The second processor 130 is a processor configured independently of the first processor 120. When the sleep mode is set, the second processor 130 maintains a sleep state in which face recognition is not performed, and when a single image mode is set, the plurality of buffer memories ( Among 110a to 110d), face recognition is performed using the target area image stored in a predetermined main buffer memory, and when the multi-image mode is set, a plurality of target area images distributed and stored in the plurality of buffer memories 110a to 110d are retrieved. It is configured to perform face recognition using

상기 클럭 제공부(140)는 제2 프로세서(130)에 동작 클럭을 제공하되, 제1 프로세서(120)에 의해 설정된 동작 모드에 따라 상이한 주파수의 동작 클럭을 제공하도록 구성된다.The clock providing unit 140 provides an operating clock to the second processor 130 , and is configured to provide an operating clock of a different frequency according to an operating mode set by the first processor 120 .

상기 RAM(Random Access Memory)(150)은 얼굴 인식용 칩(100)의 동작 필요한 컴퓨터 프로그램, 데이터 등을 저장하도록 구성된다. 이를 위해, RAM(150)은 SRAM(Static Random Access Memory), DRAM(Dynamic Random Access Memory) 등을 선택적으로 포함할 수 있다.The random access memory (RAM) 150 is configured to store computer programs and data necessary for the operation of the face recognition chip 100 . To this end, the RAM 150 may selectively include a static random access memory (SRAM), a dynamic random access memory (DRAM), or the like.

도 2에는 본 발명의 일 실시예에 따른 얼굴 인식용 칩(100)의 제1 프로세서(120)에 의해 수행되는 동작 모드 설정 프로세스가 흐름도로 도시되어 있다. 도 2를 참조하여, 상기 얼굴 인식용 칩(100)의 세부 동작들을 시계열적으로 설명한다.2 is a flowchart illustrating an operation mode setting process performed by the first processor 120 of the face recognition chip 100 according to an embodiment of the present invention. Detailed operations of the face recognition chip 100 will be described in time series with reference to FIG. 2 .

도 2에 도시된 바와 같이, 얼굴 인식용 칩(100)의 제1 프로세서(120)는 객체 감지 센서(12)를 통해 타깃 영역을 수시로 또는 주기적으로 모니터링할 수 있다(S200).As shown in FIG. 2 , the first processor 120 of the face recognition chip 100 may frequently or periodically monitor the target area through the object detection sensor 12 ( S200 ).

상기 타깃 영역에 얼굴 인식 대상 객체가 출현하기 전이면, 제1 프로세서(120)는 상기 얼굴 인식용 칩(100)의 동작 모드를 ‘슬립 모드’로 설정한다(S210, S240).Before the face recognition target object appears in the target area, the first processor 120 sets the operation mode of the face recognition chip 100 to the 'sleep mode' (S210, S240).

반면, 상기 타깃 영역에서 얼굴 인식 대상 객체가 출현하여 객체 감지 센서(12)를 통해 해당 객체가 감지되면, 제1 프로세서(120)는 거리 센서(14)를 제어하여 객체까지의 거리를 센싱한다(S210, S220).On the other hand, when a face recognition target object appears in the target area and the corresponding object is detected through the object detection sensor 12, the first processor 120 controls the distance sensor 14 to sense the distance to the object ( S210, S220).

그 다음, 제1 프로세서(120)는 거리 센서(14)에 의해 센싱된 객체의 거리에 따라 얼굴 인식용 칩(100)의 동작 모드를, ‘단일 이미지 모드’ 또는 ‘다중 이미지 모드’로 설정한다(S230, S250, S260).Then, the first processor 120 sets the operation mode of the face recognition chip 100 to 'single image mode' or 'multi image mode' according to the distance of the object sensed by the distance sensor 14 (S230, S250, S260).

즉, 거리 센서(14)에 의해 센싱된 거리가 미리 정해진 임계 거리를 초과하지 않으면, 제1 프로세서(120)는 상기 동작 모드를 단일 이미지 모드로 설정한다(S250). 반면, 거리 센서(14)에 의해 센싱된 거리가 미리 정해진 임계 거리를 초과하면, 제1 프로세서(120)는 상기 동작 모드를 다중 이미지 모드로 설정한다(S260).That is, if the distance sensed by the distance sensor 14 does not exceed a predetermined threshold distance, the first processor 120 sets the operation mode to the single image mode (S250). On the other hand, if the distance sensed by the distance sensor 14 exceeds a predetermined threshold distance, the first processor 120 sets the operation mode to the multi-image mode (S260).

이와 같이, 얼굴 인식용 칩(100)의 동작 모드가 설정되면, 제1 프로세서(120)는 설정된 동작 모드의 종류에 따라 복수의 버퍼 메모리(110a 내지 110d)에 각각 제공되는 전력과, 제2 프로세서(130)에 제공되는 동작 클럭을 제어한다.In this way, when the operation mode of the face recognition chip 100 is set, the first processor 120 receives power respectively provided to the plurality of buffer memories 110a to 110d and the second processor 120 according to the type of the set operation mode. Controls the operation clock provided to (130).

즉, 슬립 모드가 설정되면(S240), 제1 프로세서(120)는 상기 복수의 버퍼 메모리(110a 내지 110d)에 각각 제공되는 전력을 모두 저전력 레벨인 제1 레벨로 제어하거나 차단하고(S242), 상기 클럭 제공부(140)를 제어하여 제2 프로세서(130)에 제공되는 동작 클럭을 차단한다(S244).That is, when the sleep mode is set (S240), the first processor 120 controls or cuts all power provided to the plurality of buffer memories 110a to 110d to the first level, which is a low power level, respectively (S242), By controlling the clock providing unit 140, the operation clock provided to the second processor 130 is cut off (S244).

한편, 단일 이미지 모드가 설정되면(S250), 제1 프로세서(120)는 복수의 버퍼 메모리(110a 내지 110d) 중 미리 지정된 메인 버퍼 메모리를 제외한 나머지 버퍼 메모리에 제공되는 전력을 저전력 레벨인 제1 레벨로 제어하면서, 상기 메인 버퍼 메모리에 제공되는 전력을 상기 제1 레벨보다 큰 제2 레벨로 제어하고(S252), 상기 클럭 제공부(140)를 제어하여 제1 주파수의 동작 클럭을 제2 프로세서(130)에 제공한다(S254).On the other hand, when the single image mode is set ( S250 ), the first processor 120 controls the power provided to the remaining buffer memories except for the pre-designated main buffer memory among the plurality of buffer memories 110a to 110d at a first level, which is a low power level. while controlling the power provided to the main buffer memory to a second level greater than the first level (S252), and controlling the clock providing unit 140 to set the operation clock of the first frequency to the second processor ( 130) (S254).

또한, 다중 이미지 모드가 설정되면(S260), 제1 프로세서(120)는 복수의 버퍼 메모리(110a 내지 110d)에 각각 제공되는 전력을 모두 고전력 레벨인 제2 레벨로 제어하고(S262), 상기 클럭 제공부(140)를 제어하여 상기 제1 주파수보다 높은 제2 주파수의 동작 클럭을 제2 프로세서(130)에 제공한다(S264).Also, when the multi-image mode is set (S260), the first processor 120 controls all of the power supplied to the plurality of buffer memories 110a to 110d to a second level, which is a high power level (S262), and the clock By controlling the providing unit 140, the operating clock of a second frequency higher than the first frequency is provided to the second processor 130 (S264).

그 결과, 제2 프로세서(130)는 제1 프로세서(120)에 의해 설정된 동작 모드의 종류에 따라 상이한 얼굴 인식 프로세스를 수행하게 된다(S270).As a result, the second processor 130 performs different face recognition processes according to the type of operation mode set by the first processor 120 ( S270 ).

제1 프로세서(120)는 얼굴 인식 장치(10)의 동작이 계속되는 동안 상술한 동작 모드 설정 프로세스를 반복할 수 있다(S280).The first processor 120 may repeat the above-described operation mode setting process while the operation of the face recognition apparatus 10 continues ( S280 ).

도 3에는 본 발명의 일 실시예에 따른 얼굴 인식용 칩(100)의 제2 프로세서(130)에 의해 수행되는 얼굴 인식 프로세스가 흐름도로 도시되어 있다. 도 3을 참조하여, 상기 얼굴 인식용 칩(100)의 세부 동작들을 시계열적으로 설명한다.3 is a flowchart illustrating a face recognition process performed by the second processor 130 of the face recognition chip 100 according to an embodiment of the present invention. Detailed operations of the face recognition chip 100 will be described in time series with reference to FIG. 3 .

도 3에 도시된 바와 같이, 얼굴 인식용 칩(100)의 동작 모드로서 슬립 모드가 설정되면, 제2 프로세서(130)는 클럭 제공부(140)로부터 동작 클럭을 제공받지 못하여 슬립 상태를 유지하게 된다(S300).As shown in FIG. 3 , when the sleep mode is set as the operation mode of the face recognition chip 100 , the second processor 130 does not receive the operation clock from the clock providing unit 140 to maintain the sleep state. becomes (S300).

반면, 얼굴 인식용 칩(100)의 동작 모드로서 단일 이미지 모드가 설정되면(S310), 제2 프로세서(130)는 복수의 버퍼 메모리(110a 내지 110d) 중 메인 버퍼 메모리에 저장된 타깃 영역 이미지를 수신하고(S320), 수신된 타깃 영역 이미지에서 얼굴 이미지를 검출한다(S322). 아래에서 다시 설명하겠지만, 상기 메인 버퍼 메모리는 복수의 이미지 센서(16a 내지 16d) 중 메인 이미지 센서로 지정된 이미지 센서(예컨대, 도 1의 16a)의 타깃 영역 이미지를 저장하는 버퍼 메모리(예컨대, 도 1의 110a)이다.On the other hand, when the single image mode is set as the operation mode of the face recognition chip 100 ( S310 ), the second processor 130 receives the target area image stored in the main buffer memory among the plurality of buffer memories 110a to 110d. and (S320), a face image is detected from the received target area image (S322). As will be described again below, the main buffer memory is a buffer memory (eg, FIG. 1 ) that stores a target area image of an image sensor (eg, 16a of FIG. 1 ) designated as the main image sensor among the plurality of image sensors 16a to 16d. of 110a).

이 경우, 제2 프로세서(130)는 얼굴 이미지 검출용 딥러닝 모델을 이용하여 상기 수신된 타깃 영역 이미지에서 얼굴 이미지를 검출할 수 있다. 상기 얼굴 이미지 검출용 딥러닝 모델은 얼굴 이미지를 포함하고 있는 많은 수의 이미지를 이용하여 얼굴 이미지를 검출하도록 학습된 CNN(Convolutional Neural Network)을 포함할 수 있다. 전체 이미지에서 검출되는 얼굴 이미지는 전체 이미지를 기준으로 결정되는 상대적 좌표 (X, Y)와 신뢰도 값으로 정의될 수 있다. 상기 신뢰도는 일종의 확률 값으로서 0에서 1까지의 범위를 가지나, 실험적 또는 이론적으로 결정된 임계값(threshold)을 기준으로 그 이상의 신뢰도를 갖는 이미지 부분만이 얼굴 이미지로 검출될 수 있다.In this case, the second processor 130 may detect a face image from the received target region image by using a deep learning model for detecting a face image. The deep learning model for detecting face images may include a Convolutional Neural Network (CNN) trained to detect face images using a large number of images including face images. A face image detected from the entire image may be defined with relative coordinates (X, Y) and reliability values determined based on the entire image. The reliability is a kind of probability value and has a range from 0 to 1, but only an image portion having a reliability higher than or equal to an experimentally or theoretically determined threshold may be detected as a face image.

그 다음, 제2 프로세서(130)는 검출된 얼굴 이미지를 미리 학습된 얼굴 인식용 딥러닝 모델에 입력하여 얼굴 인식을 수행한다(S340).Next, the second processor 130 performs face recognition by inputting the detected face image into a pre-trained deep learning model for face recognition (S340).

한편, 얼굴 인식용 칩(100)의 동작 모드로서 다중 이미지 모드가 설정되면(S310), 제2 프로세서(130)는 상기 복수의 버퍼 메모리(110a 내지 110d)에 저장된 복수의 타깃 영역 이미지를 수신하고(S330), 수신된 타깃 영역 이미지들에서 각각 얼굴 이미지를 검출한다(S332). 상기 수신된 타깃 영역 이미지들은 동일한 타깃 영역을 촬영한 이미지들로서 해당 타깃 영역을 동일 시점에 서로 다른 시각으로 촬영한 이미지들이다.On the other hand, when the multi-image mode is set as the operation mode of the face recognition chip 100 (S310), the second processor 130 receives a plurality of target area images stored in the plurality of buffer memories 110a to 110d, and (S330), a face image is detected from each of the received target region images (S332). The received target area images are images obtained by photographing the same target area, and are images obtained by photographing the corresponding target area at the same time and from different viewpoints.

그 다음, 제2 프로세서(130)는 검출된 얼굴 이미지들 중 동일 얼굴에 해당하는 복수의 얼굴 이미지를 선택하고(S334), 선택된 복수의 얼굴 이미지에서 각각 획득되는 픽셀들의 위치 정보와 화소값 정보를 이용하여 고해상도 얼굴 이미지를 구성할 픽셀들에 대한 보간(interpolation)을 수행함으로써 해당 얼굴 이미지들보다 해상도가 높은 고해상도 얼굴 이미지를 생성한다(S336).Next, the second processor 130 selects a plurality of face images corresponding to the same face from among the detected face images (S334), and obtains position information and pixel value information of pixels each obtained from the plurality of selected face images. A high-resolution face image having a higher resolution than that of the corresponding face images is generated by performing interpolation on the pixels constituting the high-resolution face image (S336).

일반적으로, 이미지 처리 시의 연산량과 처리속도는 해당 이미지의 크기에 비례하여 증가하게 된다. 따라서, 본 발명은 복수의 이미지 센서(16a 내지 16d)를 통해 생성된 각각의 타깃 영역 이미지를 그대로 이용하여 고해상도 타깃 영역 이미지를 생성하는 것이 아니라, 각각의 타깃 영역 이미지에서 검출된 얼굴 이미지만을 이용하여 고해상도 얼굴 이미지를 생성하는 것이다.In general, the amount of computation and processing speed during image processing increase in proportion to the size of the image. Therefore, in the present invention, a high-resolution target area image is not generated by using each target area image generated by the plurality of image sensors 16a to 16d as it is, but only a face image detected from each target area image is used. It is to create high-resolution face images.

그 다음, 제2 프로세서(130)는 생성된 고해상도 얼굴 이미지를 상기 얼굴 인식용 딥러닝 모델에 입력하여 얼굴 인식을 수행한다(S340). 이 경우, 상기 얼굴 인식용 딥러닝 모델은 입력된 얼굴 이미지로부터 특징 벡터를 추출하고, 미리 등록된 얼굴 이미지의 특징 벡터와 추출된 특징 벡터를 비교하여 유사도를 산출할 수 있다. 미리 등록된 얼굴 이미지의 특징 벡터와 입력된 얼굴 이미지의 특징 벡터 간의 유사도는 cosine-similarity와 같은 비교 방법을 사용하여 산출될 수 있으며, 산출된 유사도가 기준 임계값 이상이면 인식 성공, 그렇지 않으면 인식 실패로 판단될 수 있다.Next, the second processor 130 performs face recognition by inputting the generated high-resolution face image to the deep learning model for face recognition (S340). In this case, the deep learning model for face recognition may extract a feature vector from the input face image, and calculate the similarity by comparing the feature vector of the pre-registered face image with the extracted feature vector. The degree of similarity between the feature vector of the pre-registered face image and the feature vector of the input face image can be calculated using a comparison method such as cosine-similarity. can be judged as

그 다음, 제2 프로세서(130)는 얼굴 인식 결과를 출력한다(S350). 즉, 상기 얼굴 인식용 딥러닝 모델을 통해 산출된 유사도가 기준 임계값 이상이면, 제2 프로세서(130)는 얼굴 인식에 성공한 것으로 판단하고 해당 얼굴 인식 결과를 소정 출력 장치를 통해 출력할 수 있다. 반면, 상기 얼굴 인식용 딥러닝 모델을 통해 산출된 유사도가 기준 임계값 미만이면, 제2 프로세서(130)는 얼굴 인식에 실패한 것으로 판단하고 해당 얼굴 인식 결과를 상기 출력 장치를 통해 출력할 수 있다.Next, the second processor 130 outputs the face recognition result (S350). That is, when the degree of similarity calculated through the deep learning model for face recognition is equal to or greater than the reference threshold, the second processor 130 may determine that the face recognition has been successful and output the face recognition result through a predetermined output device. On the other hand, if the degree of similarity calculated through the deep learning model for face recognition is less than the reference threshold, the second processor 130 may determine that the face recognition has failed and output the corresponding face recognition result through the output device.

도 4에는 도 1의 얼굴 인식 장치(10)에 포함된 이미지 센서들(16a 내지 16d)의 촬영 영역이 도시되어 있다.4 illustrates photographing areas of the image sensors 16a to 16d included in the face recognition apparatus 10 of FIG. 1 .

도 4에 도시된 바와 같이, 상기 얼굴 인식 장치(10)의 이미지 센서들(16a 내지 16d)은 각각 일정 범위의 촬영 영역(A1 내지 A4)을 촬영하도록 배치되되, 동일한 타깃 영역(At)을 포함하여 촬영하도록 상호 인접한 위치에 배치된다.As shown in FIG. 4 , the image sensors 16a to 16d of the face recognition apparatus 10 are respectively arranged to photograph the photographing areas A1 to A4 in a certain range, and include the same target area At. and placed in adjacent positions to shoot.

아래에서 다시 설명하겠지만, 상기 타깃 영역(At)은 복수의 이미지 센서(16a 내지 16d)를 통해 생성된 이미지들을 융합 또는 합성하여 고해상도 이미지를 생성할 수 있는 디스패리티 지원 영역(disparity support area)에 해당한다.As will be described again below, the target area At corresponds to a disparity support area capable of generating a high-resolution image by fusing or synthesizing images generated by the plurality of image sensors 16a to 16d. do.

도 5에는 도 1의 얼굴 인식 장치(10)에 의해 생성되는 타깃 영역 이미지들의 일례가 도시되어 있다.5 illustrates an example of target area images generated by the face recognition apparatus 10 of FIG. 1 .

도 5에 도시된 바와 같이, 상호 동일한 타깃 영역(At)을 촬영하도록 배치된 복수의 이미지 센서(16a 내지 16d)를 통해 생성된 이미지들(I1 내지 I4)은, 각각 상기 타깃 영역(At)을 나타내는 이미지 부분(It)을 포함하게 된다. 따라서, 얼굴 인식 대상 객체가 상기 타깃 영역(At)에 출현한 경우, 상기 복수의 이미지 센서(16a 내지 16d)를 통해 동일 시점에 촬영된 이미지들(I1 내지 I4)에는 공통적으로 해당 객체의 이미지가 포함된다.As shown in FIG. 5 , images I1 to I4 generated by a plurality of image sensors 16a to 16d arranged to photograph the same target area At are, respectively, the target area At. It will include the image part (It) that represents it. Accordingly, when the face recognition target object appears in the target area At, the images I1 to I4 captured at the same time by the plurality of image sensors 16a to 16d have an image of the corresponding object in common. Included.

상기 이미지들(I1 내지 I4)에 각각 포함된 상기 객체의 이미지는 해당 이미지를 구성하는 픽셀들의 위치 정보와 화소값 정보로 정의될 수 있다. 이 경우, 상기 위치 정보는 전체 이미지를 기준으로 정해지는 각 픽셀의 좌표값(Xn, Yn)을 포함할 수 있으며, 상기 화소값 정보는 0에서 255 사이에서 정해지는 각 픽셀의 RGB 값을 포함할 수 있다.The image of the object included in each of the images I1 to I4 may be defined by position information and pixel value information of pixels constituting the image. In this case, the location information may include coordinate values (Xn, Yn) of each pixel determined based on the entire image, and the pixel value information may include an RGB value of each pixel determined between 0 and 255. can

도 6에는 본 발명의 일 실시예에 따른 얼굴 인식용 칩(100)의 고해상도 얼굴 이미지 생성 방식이 도시되어 있다.6 illustrates a method of generating a high-resolution face image of the chip 100 for face recognition according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 상기 얼굴 인식용 칩(100)의 제2 프로세서(130)는 수퍼 레졸루션(super resolution) 기법을 통해, 상호 인접한 시점(viewpoint)에서 촬영된 저해상도 얼굴 이미지들(F1 내지 F4)을 합성함으로써 고해상도 얼굴 이미지(Fo)를 생성할 수 있다. 즉, 제2 프로세서(130)는 저해상도 얼굴 이미지들(F1 내지 F4)에서 각각 획득되는 픽셀들의 위치 정보와 화소값 정보를 이용하여 고해상도 얼굴 이미지를 구성할 픽셀들의 화소값을 보간(interpolation)함으로써 고해상도 얼굴 이미지(Fo)를 생성할 수 있다.As shown in FIG. 6 , the second processor 130 of the face recognition chip 100 uses a super resolution technique to capture low-resolution face images F1 to F1 taken from mutually adjacent viewpoints. By synthesizing F4), a high-resolution face image Fo can be generated. That is, the second processor 130 interpolates the pixel values of the pixels constituting the high-resolution face image by using the position information and the pixel value information of the pixels obtained from the low-resolution face images F1 to F4, respectively, so that the high-resolution face image is interpolated. A face image Fo can be generated.

도 7에는 본 발명의 일 실시예에 따른 얼굴 인식용 칩(100)에 의해 수행되는 메인 이미지 센서 변경 프로세스가 흐름도로 도시되어 있다. 도 7을 참조하여, 상기 얼굴 인식용 칩(100)의 추가적인 세부 동작들을 시계열적으로 설명한다.7 is a flowchart illustrating a main image sensor change process performed by the face recognition chip 100 according to an embodiment of the present invention. With reference to FIG. 7 , additional detailed operations of the face recognition chip 100 will be described in time series.

도 7에 도시된 바와 같이, 상기 얼굴 인식용 칩(100)의 제1 프로세서(120)는 상기 복수의 이미지 센서(16a 내지 16d) 중에서 메인 이미지 센서로 사용될 하나의 이미지 센서를 지정하고, 상기 메인 이미지 센서로 지정된 이미지 센서의 사용량에 따라 후속 메인 이미지 센서로 사용될 이미지 센서를 다시 지정하도록 구성된다. 이 경우, 이미지 센서의 사용량은 해당 이미지 센서의 데이터 처리량 또는 사용시간을 기준으로 결정될 수 있다.As shown in FIG. 7 , the first processor 120 of the face recognition chip 100 designates one image sensor to be used as a main image sensor among the plurality of image sensors 16a to 16d, and and re-designating an image sensor to be used as a subsequent main image sensor according to the usage of the image sensor designated as the image sensor. In this case, the usage amount of the image sensor may be determined based on the data processing amount or usage time of the corresponding image sensor.

구체적으로 설명하면, 제1 프로세서(120)는 상기 얼굴 인식용 칩(100)의 동작 모드를 설정하기 전에 복수의 이미지 센서(16a 내지 16d) 중 메인 이미지 센서로서 이미지 센서 1(16a)을 지정한 후, 얼굴 인식 프로세스가 수행되는 동안 사용되는 이미지 센서의 사용량을 모니터링하고(700), 이미지 센서별 누적 사용량을 산출하여 이미지 센서별 누적 사용량을 포함하는 센서 사용 정보를 생성하거나 생성된 센서 사용 정보를 갱신한다(S710).Specifically, before setting the operation mode of the face recognition chip 100 , the first processor 120 designates the image sensor 1 16a as the main image sensor among the plurality of image sensors 16a to 16d. , monitoring the usage of the image sensor used during the face recognition process ( 700 ), calculating the cumulative usage for each image sensor, and generating sensor usage information including the cumulative usage for each image sensor or updating the generated sensor usage information do (S710).

그 다음, 메인 이미지 센서로 지정된 이미지 센서 1(16a)의 누적 사용량이 미리 결정된 기준 사용량에 도달하면, 제1 프로세서(120)는 상기 이미지 센서 1(16a)를 대신하여 이미지 센서 2(16b)를 후속 메인 이미지 센서로 지정한다.Then, when the accumulated usage amount of the image sensor 1 (16a) designated as the main image sensor reaches a predetermined reference usage amount, the first processor 120 replaces the image sensor 1 (16a) with the image sensor 2 (16b). Subsequent designation as the main image sensor.

즉, 제1 프로세서(120)는 생성 또는 갱신된 센서 사용 정보를 참조하여, 메인 이미지 센서로 지정된 이미지 센서 1(16a)의 사용량, 타 이미지 센서와의 사용량 차이 등을 확인한다(S720).That is, the first processor 120 refers to the generated or updated sensor usage information, and checks the usage amount of the image sensor 1 16a designated as the main image sensor, the usage difference with other image sensors, etc. (S720).

확인 결과, 상기 이미지 센서 1(16a)의 사용량 또는 타 이미지 센서와의 사용량 차이가 미리 결정된 기준 사용량에 도달한 것으로 판단되면(S730), 제1 프로세서(120)는 상기 이미지 센서 1(16a) 대신에 이미지 센서 2(16b)를 후속 메인 카메라로 지정하여 메인 카메라를 변경한다(S740). 이 경우, 후속 메인 카메라로 지정되는 이미지 센서 2(16b)는 상기 센서 사용 정보에 따른 누적 사용량이 가장 적은 이미지 센서이거나, 상기 이미지 센서 1(16a) 다음에 메인 이미지 센서로 지정되도록 미리 정해진 이미지 센서일 수 있다.As a result of the check, if it is determined that the usage difference of the image sensor 1 ( 16a ) or the usage difference with other image sensors has reached a predetermined reference usage amount ( S730 ), the first processor 120 is configured to replace the image sensor 1 ( 16a ) The main camera is changed by designating the image sensor 2 ( 16b ) as a subsequent main camera ( S740 ). In this case, the image sensor 2 ( 16b ) designated as the subsequent main camera is the image sensor with the lowest accumulated usage according to the sensor usage information, or an image sensor predetermined to be designated as the main image sensor after the image sensor 1 ( 16a ). can be

이와 같이, 상기 이미지 센서 2(16b)가 후속 메인 이미지 센서로 지정된 후 상기 얼굴 인식용 칩(100)의 동작 모드가 단일 이미지 모드로 설정되면, 상기 얼굴 인식용 칩(100)의 제2 프로세서(130)는 상기 이미지 센서 2(16b)의 이미지를 저장하는 버퍼 메모리(110b)에서만 타깃 영역 이미지를 수신하여 얼굴 이미지를 검출하고, 검출된 얼굴 이미지를 상기 딥러닝 모델에 입력하여 얼굴 인식을 수행하게 된다. 이러한 과정들은 상기 얼굴 인식 장치(10)의 동작이 중단되기 전까지 반복될 수 있다(S750).As such, when the operation mode of the face recognition chip 100 is set to a single image mode after the image sensor 2 16b is designated as a subsequent main image sensor, the second processor ( 130) receives the target area image only from the buffer memory 110b that stores the image of the image sensor 2 16b, detects a face image, and inputs the detected face image to the deep learning model to perform face recognition do. These processes may be repeated until the operation of the face recognition apparatus 10 is stopped (S750).

한편, 본 발명에 따른 실시예들은 컴퓨터 시스템과 이러한 컴퓨터 시스템을 구동하는 컴퓨터 프로그램으로 구현될 수 있다. 본 발명의 실시예들이 컴퓨터 프로그램으로 구현되는 경우, 본 발명의 구성요소들은 해당 컴퓨터 시스템을 통해 해당 동작이나 작업을 실행하는 프로그램 세그먼트들이다. 이러한 컴퓨터 프로그램 내지 프로그램 세그먼트들은 컴퓨터로 판독 가능한 다양한 기록매체에 저장될 수 있다. 컴퓨터로 판독 가능한 기록매체에는 컴퓨터 시스템이 읽어들일 수 있는 데이터를 기록하는 모든 종류의 매체가 포함된다. 예컨대, 컴퓨터로 판독 가능한 기록매체에는 ROM, RAM, EEPROM, 레지스터, 플래시 메모리, CD-ROM, 자기 테이프, 하드 디스크, 플로피디스크, 또는 광 데이터 기록장치 등이 포함될 수 있다. 또한, 이러한 기록매체는 다양한 네트워크로 연결된 컴퓨터 시스템들에 분산 배치되어 프로그램 코드들을 분산 방식으로 저장하거나 실행시킬 수 있다.Meanwhile, the embodiments according to the present invention may be implemented as a computer system and a computer program for driving the computer system. When the embodiments of the present invention are implemented as a computer program, the elements of the present invention are program segments that execute corresponding operations or tasks through a corresponding computer system. These computer programs or program segments may be stored in various computer-readable recording media. The computer-readable recording medium includes any type of medium for recording data readable by a computer system. For example, the computer-readable recording medium may include ROM, RAM, EEPROM, registers, flash memory, CD-ROM, magnetic tape, hard disk, floppy disk, or an optical data recording device. In addition, such a recording medium may be distributed in various network-connected computer systems to store or execute program codes in a distributed manner.

상술한 바와 같이, 본 발명에 따르면, 얼굴 인식 대상 객체의 거리에 따라 얼굴 인식에 사용되는 이미지 센서와 버퍼 메모리의 개수, 버퍼 메모리와 프로세서에 제공되는 전력 등을 적응적으로 변경함으로써, 얼굴 인식 장치의 전력 효율성을 개선하고 제조 비용을 절감하면서도, 얼굴 인식의 거리 제한을 완화하고 얼굴 인식의 정확성을 보장할 수 있다.As described above, according to the present invention, by adaptively changing the number of image sensors and buffer memories used for face recognition, power provided to the buffer memory and the processor, etc. according to the distance of the face recognition target object, the face recognition apparatus While improving the power efficiency of face recognition and reducing manufacturing cost, it can relax the distance limitation of face recognition and ensure the accuracy of face recognition.

또한, 복수의 이미지 센서를 통해 동일한 타깃 영역을 서로 다른 시각으로 촬영한 타깃 영역 이미지들을 생성하고, 이러한 타깃 영역 이미지들에서 각각 얼굴 인식 대상 객체의 얼굴 이미지를 검출하고, 검출된 얼굴 이미지들을 기반으로 얼굴 인식에 사용될 고해상도 얼굴 이미지를 생성함으로써, 저가의 저해상도 이미지 센서가 사용되는 경우 또는 얼굴 인식 대상 객체가 단일의 이미지 센서로 얼굴 인식을 수행할 수 없는 원거리에 위치하는 경우에도 얼굴 인식의 정확성과 신뢰성을 높은 수준으로 보장할 수 있다.In addition, target area images obtained by photographing the same target area from different viewpoints are generated through a plurality of image sensors, and a face image of a face recognition target object is detected from the target area images, respectively, and based on the detected face images By generating high-resolution face images to be used for face recognition, the accuracy and reliability of face recognition even when a low-cost, low-resolution image sensor is used or when the target object for face recognition is located at a distance where a single image sensor cannot perform face recognition. can be guaranteed to a high level.

또한, 얼굴 인식 장치에 구비된 이미지 센서들로 하여금 근거리 얼굴 인식과 원거리 얼굴 인식에 모두 사용되는 메인 이미지 센서의 역할을 상호 교번하여 수행하도록 함으로써, 이미지 센서들의 불균형한 열화를 방지하고 얼굴 인식 장치의 유지·보수를 용이하게 할 수 있다.In addition, by having the image sensors provided in the face recognition device alternately perform the roles of the main image sensor used for both short-distance face recognition and long-distance face recognition, unbalanced deterioration of image sensors is prevented and Maintenance can be facilitated.

나아가, 본 발명에 따른 실시예들은, 당해 기술 분야는 물론 관련 기술 분야에서 본 명세서에 언급된 내용 이외의 다른 여러 기술적 과제들을 해결할 수 있음은 물론이다.Furthermore, it goes without saying that the embodiments according to the present invention can solve various technical problems other than those mentioned herein in the related technical field as well as the related technical field.

지금까지 본 발명에 대해 구체적인 실시예들을 참고하여 설명하였다. 그러나 당업자라면 본 발명의 기술적 범위에서 다양한 변형 실시예들이 구현될 수 있음을 명확하게 이해할 수 있을 것이다. 그러므로 앞서 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 할 것이다. 즉, 본 발명의 진정한 기술적 사상의 범위는 청구범위에 나타나 있으며, 그와 균등범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to specific examples. However, those skilled in the art will clearly understand that various modified embodiments can be implemented within the technical scope of the present invention. Therefore, the embodiments disclosed above should be considered in an illustrative rather than a restrictive point of view. That is, the scope of the true technical spirit of the present invention is indicated in the claims, and all differences within the scope of equivalents thereto should be construed as being included in the present invention.

10 : 얼굴 인식 장치
12 : 객체 감지 센서
14 : 거리 센서
16a-16d: 이미지 센서
18 : 전원부
100 : 얼굴 인식용 칩
110a-110d : 버퍼 메모리
120 : 제1 프로세서
130 : 제2 프로세서
140 : 클럭 제공부
150 : RAM10: face recognition device
12: object detection sensor
14: distance sensor
16a-16d: image sensor
18: power supply
100: chip for face recognition
110a-110d: buffer memory
120: first processor
130: second processor
140: clock providing unit
150 : RAM

Claims (9)

타깃 영역에 출현한 객체의 거리를 센싱하는 거리 센서, 및 상기 타깃 영역을 서로 다른 시각으로 촬영한 타깃 영역 이미지들을 생성하는 복수의 이미지 센서와 연동하여 얼굴 인식을 수행하는 이종 센서 기반의 얼굴 인식용 칩으로서,
상기 복수의 이미지 센서에 의해 생성된 타깃 영역 이미지들을 해당 타깃 영역 이미지를 생성한 이미지 센서별로 구분하여 저장하는 복수의 버퍼 메모리;
상기 거리 센서에 의해 센싱된 거리에 따라 상기 얼굴 인식용 칩의 동작 모드를 단일 이미지 모드 또는 다중 이미지 모드로 설정하고, 설정된 동작 모드에 따라 상기 복수의 버퍼 메모리에 각각 공급되는 전력을 제어하는 제1 프로세서; 및
상기 단일 이미지 모드가 설정되면 상기 복수의 버퍼 메모리 중 메인 버퍼 메모리에 저장된 타깃 영역 이미지를 이용하여 얼굴 인식을 수행하고, 상기 다중 이미지 모드가 설정되면 상기 복수의 버퍼 메모리에 저장된 복수의 타깃 영역 이미지를 이용하여 얼굴 인식을 수행하는 제2 프로세서를 포함하고,
상기 제1 프로세서는, 상기 단일 이미지 모드가 설정되면 상기 복수의 버퍼 메모리 중 상기 메인 버퍼 메모리를 제외한 나머지 버퍼 메모리에 제공되는 전력을 제1 레벨로 제어하면서 상기 메인 버퍼 메모리에 제공되는 전력을 상기 제1 레벨보다 큰 제2 레벨로 제어하고, 상기 다중 이미지 모드가 설정되면 상기 복수의 버퍼 메모리에 각각 제공되는 전력을 모두 상기 제2 레벨로 제어하는 이종 센서 기반의 얼굴 인식용 칩.For face recognition based on a heterogeneous sensor that performs face recognition in conjunction with a distance sensor that senses the distance of an object appearing in the target area, and a plurality of image sensors that generate target area images obtained by photographing the target area from different viewpoints As a chip,
a plurality of buffer memories for classifying and storing target region images generated by the plurality of image sensors for each image sensor generating the target region images;
The first operation mode of the face recognition chip is set to a single image mode or a multiple image mode according to the distance sensed by the distance sensor, and the power supplied to each of the plurality of buffer memories is controlled according to the set operation mode. processor; and
When the single image mode is set, face recognition is performed using the target area images stored in the main buffer memory among the plurality of buffer memories, and when the multiple image mode is set, the plurality of target area images stored in the plurality of buffer memories are used. A second processor for performing face recognition using
When the single image mode is set, the first processor controls the power provided to the remaining buffer memories except for the main buffer memory among the plurality of buffer memories to a first level while reducing the power provided to the main buffer memory to the second level. A heterogeneous sensor-based face recognition chip that controls to a second level greater than one level, and controls all power supplied to the plurality of buffer memories to the second level when the multi-image mode is set. 제1항에 있어서,
상기 제1 프로세서는, 상기 타깃 영역에 객체가 출현하기 전이면 상기 동작 모드를 슬립 모드로 설정하고, 상기 복수의 버퍼 메모리에 각각 제공되는 전력을 모두 상기 제1 레벨로 제어하거나 차단하도록 구성된 것을 특징으로 하는 이종 센서 기반의 얼굴 인식용 칩.According to claim 1,
The first processor is configured to set the operation mode to a sleep mode before an object appears in the target area, and to control or cut off all power respectively provided to the plurality of buffer memories to the first level A chip for face recognition based on a heterogeneous sensor. 제1항에 있어서,
상기 얼굴 인식용 칩은, 상기 제2 프로세스에 동작 클럭을 제공하는 클럭 제공부를 더 포함하고,
상기 제1 프로세서는, 상기 단일 이미지 모드가 설정되면 상기 클럭 제공부를 제어하여 제1 주파수의 동작 클럭을 상기 제2 프로세서에 제공하고, 상기 다중 이미지 모드가 설정되면 상기 클럭 제공부를 제어하여 상기 제1 주파수보다 높은 제2 주파수의 동작 클럭을 상기 제2 프로세서에 제공하도록 구성된 것을 특징으로 하는 이종 센서 기반의 얼굴 인식용 칩.The method of claim 1,
The face recognition chip further includes a clock providing unit that provides an operation clock to the second process,
When the single image mode is set, the first processor controls the clock providing unit to provide an operation clock of a first frequency to the second processor, and when the multiple image mode is set, controls the clock providing unit to control the first A heterogeneous sensor-based face recognition chip, characterized in that it is configured to provide an operation clock of a second frequency higher than the frequency to the second processor. 제3항에 있어서,
상기 제1 프로세서는, 상기 타깃 영역에 객체가 출현하기 전이면 상기 동작 모드를 슬립 모드로 설정하고, 상기 클럭 제공부를 제어하여 상기 제2 프로세서에 제공되는 동작 클럭을 차단하도록 구성된 것을 특징으로 하는 이종 센서 기반의 얼굴 인식용 칩.4. The method of claim 3,
The first processor is configured to set the operation mode to a sleep mode before an object appears in the target area, and to control the clock providing unit to block the operation clock provided to the second processor A sensor-based face recognition chip. 제1항에 있어서,
상기 제1 프로세서는, 상기 거리 센서에 의해 센싱된 거리가 미리 정해진 임계 거리를 초과하지 않으면 상기 동작 모드를 상기 단일 이미지 모드로 설정하고, 상기 센싱된 거리가 상기 임계 거리를 초과하면 상기 동작 모드를 상기 다중 이미지 모드로 설정하도록 구성된 것을 특징으로 하는 이종 센서 기반의 얼굴 인식용 칩.According to claim 1,
The first processor is configured to set the operation mode to the single image mode when the distance sensed by the distance sensor does not exceed a predetermined threshold distance, and change the operation mode to the single image mode when the sensed distance exceeds the threshold distance A heterogeneous sensor-based face recognition chip, characterized in that configured to set the multi-image mode. 제1항에 있어서,
상기 제1 프로세서는, 상기 동작 모드를 설정하기 전에 상기 복수의 이미지 센서 중 메인 이미지 센서를 지정하도록 구성되고,
상기 메인 버퍼 메모리는, 상기 복수의 버퍼 메모리 중 상기 메인 이미지 센서에 의해 생성된 타깃 영역 이미지를 저장하는 버퍼 메모리인 것을 특징으로 하는 이종 센서 기반의 얼굴 인식용 칩.According to claim 1,
the first processor is configured to designate a main image sensor among the plurality of image sensors before setting the operation mode;
wherein the main buffer memory is a buffer memory for storing the target area image generated by the main image sensor among the plurality of buffer memories. 제1항에 있어서,
상기 제2 프로세서는, 상기 단일 이미지 모드가 설정되면 상기 메인 버퍼 메모리에 저장된 타깃 영역 이미지에서 얼굴 이미지를 검출하고, 검출된 얼굴 이미지를 미리 학습된 얼굴 인식용 딥러닝 모델에 입력하여 얼굴 인식을 수행하도록 구성된 것을 특징으로 하는 이종 센서 기반의 얼굴 인식용 칩.According to claim 1,
When the single image mode is set, the second processor detects a face image from the target area image stored in the main buffer memory, and inputs the detected face image to a pre-trained deep learning model for face recognition to perform face recognition A chip for face recognition based on a heterogeneous sensor, characterized in that it is configured to do so. 제1항에 있어서,
상기 제2 프로세서는, 상기 다중 이미지 모드가 설정되면 상기 복수의 버퍼 메모리에 저장된 복수의 타깃 영역 이미지에서 각각 얼굴 이미지를 검출하고, 검출된 얼굴 이미지들을 통해 해당 얼굴 이미지들보다 해상도가 높은 고해상도 얼굴 이미지를 생성하고, 상기 고해상도 얼굴 이미지를 미리 학습된 얼굴 인식용 딥러닝 모델에 입력하여 얼굴 인식을 수행하도록 구성된 것을 특징으로 하는 이종 센서 기반의 얼굴 인식용 칩.According to claim 1,
When the multi-image mode is set, the second processor detects a face image from a plurality of target area images stored in the plurality of buffer memories, respectively, and a high-resolution face image having a higher resolution than the corresponding face images through the detected face images and to perform face recognition by inputting the high-resolution face image to a pre-trained deep learning model for face recognition. 제1항 내지 제8항 중 어느 한 항에 따른 얼굴 인식용 칩을 이용한 얼굴 인식 장치로서, 상기 거리 센서 및 상기 복수의 이미지 센서를 포함하는 얼굴 인식 장치.A face recognition device using the chip for face recognition according to any one of claims 1 to 8, comprising the distance sensor and the plurality of image sensors.
KR1020200160683A 2020-11-26 2020-11-26 Chip for face recognition based on heterogeneous sensors and face recognition device using the same KR102588696B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200160683A KR102588696B1 (en) 2020-11-26 2020-11-26 Chip for face recognition based on heterogeneous sensors and face recognition device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200160683A KR102588696B1 (en) 2020-11-26 2020-11-26 Chip for face recognition based on heterogeneous sensors and face recognition device using the same

Publications (2)

Publication Number Publication Date
KR20220073021A true KR20220073021A (en) 2022-06-03
KR102588696B1 KR102588696B1 (en) 2023-10-12

Family

ID=81983088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200160683A KR102588696B1 (en) 2020-11-26 2020-11-26 Chip for face recognition based on heterogeneous sensors and face recognition device using the same

Country Status (1)

Country Link
KR (1) KR102588696B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017204787A (en) * 2016-05-12 2017-11-16 キヤノン株式会社 Image processing apparatus, control method thereof, imaging apparatus, and program
JP2018515966A (en) * 2015-04-01 2018-06-14 ソニー株式会社 Power-saving composite camera system
JP2018102908A (en) * 2016-12-26 2018-07-05 セイコーエプソン株式会社 Biological information measuring device, wearable apparatus, and sensor information processing device
JP2018136723A (en) * 2017-02-21 2018-08-30 富士通株式会社 Information processor, and method and program for biometric authentication

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018515966A (en) * 2015-04-01 2018-06-14 ソニー株式会社 Power-saving composite camera system
JP2017204787A (en) * 2016-05-12 2017-11-16 キヤノン株式会社 Image processing apparatus, control method thereof, imaging apparatus, and program
JP2018102908A (en) * 2016-12-26 2018-07-05 セイコーエプソン株式会社 Biological information measuring device, wearable apparatus, and sensor information processing device
JP2018136723A (en) * 2017-02-21 2018-08-30 富士通株式会社 Information processor, and method and program for biometric authentication

Also Published As

Publication number Publication date
KR102588696B1 (en) 2023-10-12

Similar Documents

Publication Publication Date Title
CN106709895B (en) Image generation method and apparatus
EP3788597A1 (en) Associating lidar data and image data
WO2019042426A1 (en) Augmented reality scene processing method and apparatus, and computer storage medium
JP2010263581A (en) Object recognition apparatus and object recognition method
US11119501B2 (en) Moving robot and control method for the same
JP2023518562A (en) Method and system for hand-gesture-based control of devices
US7499574B1 (en) Video-based face recognition using probabilistic appearance manifolds
CN113508420A (en) Object tracking device and object tracking method
US11825218B2 (en) Dynamic region of interest (ROI) for event-based vision sensors
JP7255173B2 (en) Human detection device and human detection method
JP5279517B2 (en) Object detection apparatus and object detection method
US11381743B1 (en) Region of interest capture for electronic devices
KR102429337B1 (en) Image processing device stabilizing image and method of stabilizing image
CN113721631A (en) Sensor data processing method, system and readable storage medium
US20210256720A1 (en) Vanishing point extraction devices and methods of extracting vanishing point
WO2021164000A1 (en) Image processing method, apparatus, device and medium
KR20220073021A (en) Chip for face recognition based on heterogeneous sensors and face recognition device using the same
US20110090340A1 (en) Image processing apparatus and image processing method
JP6296769B2 (en) Object detection device
KR102319593B1 (en) Compressed Information Producing Method, Device, and Computer Program Thereof
US10074187B2 (en) Image recognition system and semiconductor integrated circuit
JP2002216131A (en) Image collating device, image collating method and storage medium
KR102588697B1 (en) Face recognition device and method based on Artificial Intelligence
CN113033551A (en) Object detection method, device, equipment and storage medium
US20230286166A1 (en) Robot and method for controlling thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant