KR101992307B1 - 얼굴 검출기가 집적된 cmos 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법 - Google Patents

얼굴 검출기가 집적된 cmos 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법 Download PDF

Info

Publication number
KR101992307B1
KR101992307B1 KR1020180009756A KR20180009756A KR101992307B1 KR 101992307 B1 KR101992307 B1 KR 101992307B1 KR 1020180009756 A KR1020180009756 A KR 1020180009756A KR 20180009756 A KR20180009756 A KR 20180009756A KR 101992307 B1 KR101992307 B1 KR 101992307B1
Authority
KR
South Korea
Prior art keywords
image
face
detector
image sensor
chip
Prior art date
Application number
KR1020180009756A
Other languages
English (en)
Inventor
봉경렬
Original Assignee
주식회사 유엑스팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유엑스팩토리 filed Critical 주식회사 유엑스팩토리
Priority to KR1020180009756A priority Critical patent/KR101992307B1/ko
Application granted granted Critical
Publication of KR101992307B1 publication Critical patent/KR101992307B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06K9/00228—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system

Abstract

본 발명의 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법에 따르면, 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용하여 저 전력 얼굴 인식 시스템을 구현하여 반도체 칩에서 자체적으로 얼굴의 유무와 위치를 판단한 뒤, 얼굴이 없을 때에는 칩 외부로 이미지 데이터의 전송을 정지하여 디지털 프로세서 칩은 동작하지 않는 상태로 대기할 수 있어 기존의 시스템 전력 소모에 해당하는 부분을 줄일 수 있으며, 얼굴이 검출되었을 때에도 해당 얼굴의 이미지만 추출하여 칩 외부로 전송되도록 하여 이미지 센서 칩은 촬영한 영상 전체를 보내는 대신 검출된 얼굴 영역 이미지만을 전송할 수 있기 때문에, 데이터 전송에 소모되는 전력을 감소시킬 수 있는 효과가 있다.

Description

얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법{Low Power Face Recognition System using CMOS Image Sensor Integrated with a Face Detector}
본 발명은 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법에 관한 것으로, 더욱 상세하게는 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용하여 저 전력 얼굴 인식 시스템을 구현하여 반도체 칩에서 자체적으로 얼굴의 유무와 위치를 판단한 뒤, 얼굴이 없을 때에는 칩 외부로 이미지 데이터의 전송을 정지할 수 있고, 얼굴이 있을 때에는 해당 얼굴의 이미지만 추출하여 칩 외부로 전송되도록 한 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법에 관한 것이다.
일반적으로 CMOS 이미지 센서는 휴대전화 카메라 및 디지털 카메라 등에 사용되는 영상 소자 부품인 이미지 센서의 일종으로, 광학 영상의 강약과 색채를 감지하여 디지털 데이터로 변환해주는 장치이다.
어떠한 이미지를 보았을 때, 빛에 의해 발생된 전자를 전압으로 바꾸어 출력시키는 방식으로 처리속도가 빠르며, 논리 회로를 온 칩(On-Chip)화 하여 통합하기 쉽다는 특징이 있다.
또한, CMOS 이미지 센서에 집적된 얼굴 검출기는 컴퓨터 비전을 이용하여 얼굴이 존재하는 위치를 알려준다.
얼굴 인식 시스템의 동작 순서는 이미지 캡쳐, 얼굴 검출, 얼굴 인식의 단계들로 구성된다.
이미지를 캡쳐하면, 먼저 얼굴 검출 과정을 통해 이미지 프레임에 포함된 얼굴들을 검출하고 얼굴 이미지 영역만을 추출한다.
이 단계에서는 각각의 얼굴 이미지가 누구의 것인지는 판단하지 않고, 사람의 얼굴인지 아닌지 만을 기준으로 한다.
이미지 프레임에 포함된 얼굴 이미지만을 추출하고 나면, 각각의 얼굴 이미지에 대해서 얼굴 인식을 수행한다.
얼굴 인식은 입력된 얼굴 이미지가 어떤 사람의 얼굴인지 분류하거나, 미리 등록되어 있던 얼굴 이미지와 일치하는지 아닌지 여부를 판단한다.
이러한 얼굴 인식 시스템은 두 가지의 하드웨어 요소를 포함한다.
먼저, 영상을 촬영하는 이미지 센서가 영상을 디지털 포맷으로 변환하여 프레임 단위로 출력한다.
그 다음엔 디지털 프로세서가 출력된 프레임을 전달받아 얼굴 검출 및 얼굴 인식을 포함한 영상 처리를 수행한다.
이러한 기존의 얼굴 인식 시스템은 영상을 촬영하는 이미지 센서 칩과 영상을 처리하는 디지털 프로세서 칩을 이용하여 구현되었다.
그리고 이를 바탕으로 저 전력 이미지 센서 설계 혹은 얼굴 처리 전용 하드웨어 설계와 같이 각각의 단계에서 전력 소모를 줄이기 위한 연구들이 이루어졌다.
하지만, 이러한 시스템 아키텍처에서는 영상에 얼굴이 존재하지 않아 얼굴 인식이 불필요한 상황에서도, 디지털 프로세서가 얼굴 검출을 수행하여 얼굴이 있는지 없는지를 판단하기 위해서는 이미지 센서 칩이 촬영한 영상을 디지털 프로세서로 전송하여야 했다.
즉, 이미지 센서 칩과 디지털 프로세서 칩 간의 데이터 전송을 전체 영상 크기에 해당하는 대역으로 항상 유지해야만 했고, 이로 인한 전력 소모로 인해 시스템 전체 전력 소모를 낮추는 데에 한계가 있는 문제점이 있었다.
대한민국 공개특허공보 공개번호 제10-2011-0054311호
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용하여 저 전력 얼굴 인식 시스템을 구현하여 반도체 칩에서 자체적으로 얼굴의 유무와 위치를 판단한 뒤, 얼굴이 없을 때에는 칩 외부로 이미지 데이터의 전송을 정지하여, 디지털 프로세서 칩은 동작하지 않는 상태로 대기할 수 있어 기존의 시스템 전력 소모에 해당하는 부분을 줄일 수 있으며, 얼굴이 검출되었을 때에도 해당 얼굴의 이미지만 추출하여 칩 외부로 전송되도록 하여 이미지 센서 칩은 촬영한 영상 전체를 보내는 대신 검출된 얼굴 영역 이미지만을 전송할 수 있기 때문에, 데이터 전송에 소모되는 전력을 감소시킬 수 있는 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법을 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명의 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템은, 이미지를 획득하는 이미지 획득수단과 획득된 이미지에서 얼굴을 검출하는 얼굴 검출수단을 하나의 반도체 칩 내에 집적하여 자체적으로 얼굴 이미지의 유/무 및 위치를 판단할 수 있는 것으로, 획득된 이미지에서 얼굴 이미지가 존재할 때에는 해당 얼굴의 이미지만을 추출하여 외부의 디지털 프로세서 칩으로 전송되도록 하고, 획득된 이미지에서 얼굴 이미지가 존재하지 않을 때에는 외부의 디지털 프로세서 칩으로 이미지 데이터 전송이 되지 않도록 하는 이미지 센서 칩을 포함하여 구성된다.
디지털 프로세서 칩은 얼굴 이미지를 전달받아 미리 등록된 얼굴 정보와 비교하는 인식 과정을 수행하는 것으로, 이미지 센서 칩으로부터 얼굴 이미지가 전달되지 않으면, 슬립 상태 또는 파워 오프 상태로 전환될 수 있다.
디지털 프로세서 칩은 슬립 상태 또는 파워 오프 상태로 전환되었다가, 이미지 센서 칩으로부터 얼굴 이미지가 전달되면 슬립 상태 또는 파워 오프 상태로부터 복귀되어 얼굴 인식 과정을 수행할 수 있다.
이미지 센서 칩은 이미지를 획득하기 위한 픽셀 어레이와 이미징 회로, 획득된 이미지로부터 얼굴 검출을 위한 메모리와 얼굴 검출기, 칩 외부와의 통신을 위한 I/O 블록 및 상기 픽셀 어레이, 이미징 회로, 메모리, 얼굴 검출기 및 I/O 블록의 동작 제어를 수행하는 컨트롤러를 포함하여 하나의 칩으로 집적되어 구성될 수 있다.
그리고 상술한 목적을 달성하기 위한 본 발명의 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 방법은 이미지를 획득하는 이미지 획득수단과 획득된 이미지에서 얼굴을 검출하는 얼굴 검출수단이 하나의 반도체 칩 내에 집적되어 구성된 이미지 센서 칩을 통하여 자체적으로 얼굴 이미지의 유/무 및 위치를 판단하는 단계를 포함하는 것으로, 획득된 이미지에서 얼굴 이미지가 존재할 때에는 해당 얼굴의 이미지만을 추출하여 외부의 디지털 프로세서 칩으로 전송되도록 하는 단계, 또는 획득된 이미지에서 얼굴 이미지가 존재하지 않을 때에는 외부의 디지털 프로세서 칩으로 이미지 데이터 전송이 되지 않도록 하는 단계를 포함한다.
디지털 프로세서 칩을 통하여 미리 등록된 얼굴 정보와 전달받은 얼굴 이미지를 비교하는 인식 과정을 수행하는 단계를 포함하는 것으로, 이미지 센서 칩으로부터 얼굴 이미지가 전달되지 않으면, 디지털 프로세서 칩은 슬립 상태 또는 파워 오프 상태로 전환되는 단계를 포함할 수 있다.
디지털 프로세서 칩은 슬립 상태 또는 파워 오프 상태로 전환되었다가, 이미지 센서 칩으로부터 얼굴 이미지가 전달되면 슬립 상태 또는 파워 오프 상태로부터 복귀되어 얼굴 인식 과정을 수행하는 단계를 포함할 수 있다.
이상에서 설명한 바와 같은 본 발명의 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법에 따르면, 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용하여 저 전력 얼굴 인식 시스템을 구현하여 반도체 칩에서 자체적으로 얼굴의 유무와 위치를 판단한 뒤, 얼굴이 없을 때에는 칩 외부로 이미지 데이터의 전송을 정지하여, 디지털 프로세서 칩은 동작하지 않는 상태로 대기할 수 있어 기존의 시스템 전력 소모에 해당하는 부분을 줄일 수 있으며, 얼굴이 검출되었을 때에도 해당 얼굴의 이미지만 추출하여 칩 외부로 전송되도록 하여 이미지 센서 칩은 촬영한 영상 전체를 보내는 대신 검출된 얼굴 영역 이미지만을 전송할 수 있기 때문에, 데이터 전송에 소모되는 전력을 감소시킬 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템을 나타낸 블록도이며,
도 2는 본 발명의 일실시예에 따른 얼굴 검출기가 집적된 CMOS 이미지 센서를 나타낸 블록도이며,
도 3은 본 발명의 일실시예에 따른 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템을 통한 동작 과정을 설명하기 위한 블록도이며,
도 4는 본 발명의 일실시예에 따른 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템을 통한 동작 과정을 설명하기 위한 플로우차트이며,
도 5는 본 발명의 일실시예에 따른 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 이미지 센서 칩 구조를 나타낸 블록도이며,
도 6은 본 발명의 일실시예에 따른 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 얼굴 검출의 동작 과정을 설명하기 위한 도면이며,
도 7은 본 발명의 일실시예에 따른 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 얼굴 검출의 동작 과정에 따른 측정 결과는 나타낸 그래프이며,
도 8은 본 발명의 일실시예에 따른 Haar-like 필터링을 이용한 얼굴 검출 회로 및 아날로그 메모리의 회로도이며,
도 9는 본 발명의 일실시예에 따른 Haar-like 필터링을 이용한 얼굴 검출 회로 및 아날로그 메모리의 회로를 이용한 흑색 또는 백색 영역의 아날로그 메모리 셀을 비교하여 '통과' 또는 '실패'를 출력하는 타이밍 다이어그램이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.
최근에는 스마트 기기들의 차세대 UI/UX(User Interfaces & User Experience)를 위해 상시 작동되는 CIS(CMOS Image Sensor)를 기반으로 하는 얼굴 인식 기술에 대해 많이 연구되고 있다.
특히 배터리로 동작하는 모바일 스마트 기기들의 경우, 동작 시간을 유지하기 위해 상시 작동되는 얼굴 검출의 전력 소모는 매우 낮아야 한다.
본 발명의 일실시예에 따른 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템은 도 1에 나타낸 바와 같이, 이미지 캡쳐 수단과 얼굴 검출 수단이 구비된 이미지 센서 칩(100)과 얼굴 인식 수단이 구비된 디지털 프로세서 칩(300)을 포함하여 구성된다.
상기 이미지 센서 칩(100)은 도 2에 나타낸 바와 같이, 이미지를 획득하기 위하여 빛을 전기 신호로 변환하는 픽셀 어레이(110), 픽셀 어레이(110)로부터 신호를 읽어내고 증폭하는 이미징 회로(130), 이미징 회로(130)에서 전달된 아날로그 신호를 디지털 신호로 변환하는 데이터 컨버터(170), 얼굴을 검출하는 얼굴 검출기(150), 이미지 센서 칩(100)과 디지털 프로세서 칩(300) 사이에서 통신을 수행하기 위한 I/O 블록(180), 상기 픽셀 어레이(110), 이미징 회로(130), 데이터 컨버터(170), 얼굴 검출기(150) 및 I/O 블록(180)의 동작 제어를 수행하는 컨트롤러(190)를 포함하여 하나의 반도체 칩으로 집적되어 구성된다.
디지털 프로세서 칩(300)은 얼굴 인식(Face Recognition)이 이루어지는 것으로, 이미지 센서 칩(100)으로부터 전달받은 얼굴 이미지에 대해 CNN과 같은 알고리즘을 이용하여 얼굴 인식을 수행한다.
상술한 바와 같이 이미지 센서 칩(100)과 디지털 프로세서 칩(300)이 구성되면, 도 3 및 도 4에 나타낸 바와 같이 이미지 센서 칩(100)은 상시 이미지를 획득하고(S110), 획득된 이미지에 대해 얼굴 검출(Face Detection)이 이루어지는 것으로(S120), 획득된 이미지에서 얼굴이 검출되면(S130), 얼굴 이미지만 추출하여(S140), 디지털 프로세서 칩(300)으로 전달한다(S150).
이미지 센서 칩(100)은 획득된 이미지에서 얼굴이 검출되면, 이미지 센서 칩(100)과 디지털 프로세서 칩(300) 사이의 데이터 전송은 이미지 프레임 전체와 검출된 얼굴의 위치 정보를 모두 포함할 수도 있으나, 검출된 얼굴의 이미지만을 추출하여 전송함으로써, 이미지 센서 칩(100)과 디지털 프로세서 칩(300) 사이의 데이터 전송에 소모되는 데이터 전송량과 이에 따른 전력 소모를 감소시킬 수 있다.
한편, 획득된 이미지에서 얼굴이 검출되지 않으면(S130), 도 3에 나타낸 바와 같이, 이미지 센서 칩(100)에서 디지털 프로세서 칩(300)으로 데이터를 전송하지 않고, 이에 따라 디지털 프로세서 칩(300)은 동작하지 않는 상태, 즉 슬립(sleep) 또는 파워 오프 상태로 대기할 수 있으므로, 디지털 프로세서 칩(300)이 불필요하게 작동하지 않게 되어 이에 해당하는 전력을 절약할 수 있다.
아울러, 디지털 프로세서 칩(300)은 슬립 상태 또는 파워 오프 상태로 전환되었다가, 이미지 센서 칩(100)으로부터 얼굴 이미지가 전달되면 슬립 상태 또는 파워 오프 상태로부터 복귀되어 얼굴 인식 과정을 수행한다.
얼굴 검출기(150)를 이미지 센서 칩(100)에 함께 집적하여 구현할 때, 이미지 센서 칩(100)과 별도의 칩에 구현한 기존의 얼굴 검출기에서 디지털 이미지 정보만을 가지고 처리했던 것과는 다르게, 이미지 센서 내의 아날로그 이미지 정보와 디지털 이미지 정보를 모두 활용하여 얼굴 검출기를 저 전력화 하는 것이 가능하다.
도 5에 나타낸 바와 같이, 이미지 센서에 집적된 얼굴 검출기는 디지털 검출기와 아날로그 검출회로를 모두 사용할 수 있으며, 디지털 검출기와 아날로그 검출회로는 연산 과정에 필요한 이미지 정보를 저장하기 위해 각각 디지털 메모리와 아날로그 메모리를 가진다.
도 6에 나타난 바와 같이, 이미지 센서 내의 픽셀 어레이에서 이미징 회로를 통해 읽어들인 아날로그 이미지를 아날로그 검출 회로가 처리하고, 그 후 데이터 컨버터를 거쳐 디지털로 변환된 이미지를 디지털 검출기가 처리하여 마무리한다.
이때, 얼굴 검출기에 입력되는 정보는 이미지 전체에서 고르게 뽑은 다수의 이미지 패치들로 얼굴 검출기는 각각의 이미지 패치가 얼굴인지 아닌지를 판단하게 되는데, 이 구현 예시에서는 전체 이미지 패치들 중 아날로그 검출 회로에서 걸러진 일부의 이미지 패치들만을 디지털 정보로 변환하여 디지털 검출기가 처리하게 된다.
아날로그 검출 회로는 일반적으로 동작을 위해 바이어스 전류(bias current)가 필요하기 때문에 연산의 에너지 효율은 디지털 검출기보다 떨어질 수 있으나, 데이터 컨버터를 거치지 않은 아날로그 이미지를 직접 처리할 수 있다는 장점이 있다.
디지털 검출기는 아날로그 방식에 비해 나은 에너지 효율과 더 정확한 연산이 가능하다는 것이 장점이나, 디지털 이미지를 만들기 위한 데이터 변환과 이미지 전처리 단계에서 에너지 소모가 발생한다.
일반적으로 전체 얼굴 검출의 연산량 중 일부만을 수행하여도 얼굴일 가능성이 낮은 대부분의 이미지 패치들을 걸러낼 수 있다.
따라서 아날로그 검출기가 아날로그 이미지에 대해 약간의 연산을 먼저 수행하여 더 이상 처리할 필요가 없는 대부분의 이미지 패치들을 걸러낼 수 있고, 그 이상의 연산이 필요한 일부의 이미지 패치들에 대해서만 데이터 변환을 통한 디지털 이미지화와 이미지 전처리를 수행하여 디지털 검출기로 넘겨줄 수 있다.
즉, 아날로그 검출 회로가 에너지 효율 자체로는 디지털 검출기보다 안좋지만, 픽셀 -> 아날로그 이미지 정보 -> 디지털 이미지 정보로 이어지는 과정에서, 아날로그 검출 회로는 아날로그 이미지 정보를 받아들여 얼굴이 아닐 확률이 높은 패치 부분들을 먼저 걸러줄 수 있기 때문에, 그 이후에는 일부의 이미지만 디지털 이미지 정보로 변환하여 디지털 검출기가 처리할 수 있는 것이다.
따라서 전체 이미지를 모두 디지털 이미지 정보로 변환해서 디지털 검출기로만 처리할 때보다 더 나은 전력 효율을 가지게 되는 것이다.
도 7에 나타낸 바와 같이, 아날로그와 디지털을 같이 사용하였을 때 초기의 스테이지들(1~3)에 대해서 에너지 소모가 더 작다는 것을 알 수 있다.
그런데 다른 그래프에 나타난 것과 같이 90%이상의 입력 이미지 패치들은 초기의 스테이지에서 연산이 완료되므로, 전체적으로 봤을 때 에너지 소모가 감소하게 되는 것이다.
따라서 전체 에너지 소모를 살펴보면 아날로그 검출기로 인한 에너지 소모가 일부 추가되지만, 이를 통해 대부분의 이미지 패치들이 걸러짐에 따라 데이터 컨버터, 이미지 전처리, 디지털 검출기에 대한 에너지 소모가 감소하여, 전체 얼굴 검출의 에너지 효율이 향상된다.
도 8은 Haar-like 필터를 이용하여 얼굴 검출 알고리즘의 연산을 수행하기 위한 아날로그 메모리와 아날로그 검출 회로의 구현 예시를 나타낸다.
아날로그 메모리 셀은 픽셀 어레이로부터 이미징 회로를 통해 읽어들인 각 픽셀의 전압 신호를 일시적으로 저장하기 위한 것으로, 샘플링 커패시터 Cmem, 입력 커패시터 Cin, 버퍼 및 복수의 스위치들이 포함되어 구성된다.
Haar-like 필터링의 기본 연산은 Haar-like 필터의 흑색 및 백색 영역 각각에 대해 밝기의 합을 구하여 서로 비교하는 것인데, 아날로그 검출 회로의 동작 시 아날로그 메모리에서 흑색 및 백색 영역의 픽셀 값들을 저장하고 있는 아날로그 메모리 셀로부터 Vmem ?? Vref에 비례하는 전하들을 아날로그 검출 회로로 입력하여 Cblack 또는 Cwhite에 각각 축적시키면, 밝기의 합에 해당하는 전압 Vblack 및 Vwhite가 만들어져 이를 비교하게 된다.
따라서 도 9에 나타낸 바와 같이, 리셋 이후에 filter의 흑색 백색 영역에 맞추어 스위치를 조정하고, SEL 신호를 enable 시키면 vblack과 vwhite가 픽셀 영역의 합에 해당하는 전압으로 변경되어, 이 둘을 비교한 신호가 하나의 haar-like filter의 결과에 해당하는 출력이 된다.
얼굴 검출은 다수의 haar-like filter를 적용하여 각각의 필터링 결과들을 종합하여 판단하게 되므로 위의 과정을 서로 다른 필터 모양에 대해서 반복 수행하게 된다.
이상에서 설명한 바와 같은 본 발명의 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법에 따르면 상시 작동이 가능한 상태로 착용형 장치에서 성공적으로 구현될 수 있는 것으로, 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용하여 저 전력 얼굴 인식 시스템을 구현하여 반도체 칩에서 자체적으로 얼굴의 유무와 위치를 판단한 뒤, 얼굴이 없을 때에는 칩 외부로 이미지 데이터의 전송을 정지하여, 디지털 프로세서 칩은 동작하지 않는 상태로 대기할 수 있어 기존의 시스템 전력 소모에 해당하는 부분을 줄일 수 있으며, 얼굴이 검출되었을 때에도 해당 얼굴의 이미지만 추출하여 칩 외부로 전송되도록 하여 이미지 센서 칩은 촬영한 영상 전체를 보내는 대신 검출된 얼굴 영역 이미지만을 전송할 수 있기 때문에, 데이터 전송에 소모되는 전력을 감소시킬 수 있는 효과가 있다.
이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.
100: 이미지 센서 칩 110: 픽셀 어레이
130: 이미징 회로 150: 얼굴 검출기
170: 데이터 컨버터 180: I/O
190: 컨트롤러 300: 디지털 프로세서 칩

Claims (8)

  1. 이미지를 획득하는 이미지 획득수단과 획득된 이미지에서 얼굴을 검출하는 얼굴 검출수단을 하나의 반도체 칩 내에 집적하여 자체적으로 얼굴 이미지의 유/무 및 위치를 판단할 수 있는 것으로, 획득된 이미지에서 얼굴 이미지가 존재할 때에는 해당 얼굴의 이미지만을 추출하여 외부의 디지털 프로세서 칩으로 전송되도록 하고, 획득된 이미지에서 얼굴 이미지가 존재하지 않을 때에는 외부의 디지털 프로세서 칩으로 이미지 데이터 전송이 되지 않도록 하는 이미지 센서 칩을 포함하여 구성된 것을 특징으로 하며; 이미지 센서 칩은 이미지를 획득하기 위하여 빛을 전기 신호로 변환하는 픽셀 어레이, 픽셀 어레이로부터 신호를 읽어내고 증폭하는 이미징 회로, 이미징 회로에서 전달된 아날로그 신호를 디지털 신호로 변환하는 데이터 컨버터, 얼굴을 검출하는 얼굴 검출기, 이미지 센서 칩과 디지털 프로세서 칩 사이에서 통신을 수행하기 위한 I/O 블록, 상기 픽셀 어레이, 이미징 회로, 데이터 컨버터, 얼굴 검출기 및 I/O 블록의 동작 제어를 수행하는 컨트롤러를 포함하여 하나의 칩으로 집적되어 구성되고;
    얼굴 검출기는 디지털 검출기와 아날로그 검출회로를 사용하여 구성되고, 디지털 검출기와 아날로그 검출회로는 얼굴을 검출하는 연산 과정에 필요한 것으로 이미지 센서 칩으로 입력된 이미지 정보를 저장하기 위해 각각 디지털 메모리와 아날로그 메모리를 가지며;
    픽셀 어레이에서 이미징 회로를 통해 읽어들인 아날로그 이미지를 아날로그 검출 회로가 먼저 처리하고, 그 후 데이터 컨버터를 거쳐 디지털로 변환된 이미지를 디지털 검출기가 처리하는 것으로, 얼굴 검출기에 입력되는 정보는 이미지 전체에서 고르게 뽑은 다수의 이미지 패치들로 얼굴 검출기는 각각의 이미지 패치가 얼굴인지 아닌지를 판단하며; 아날로그 검출 회로는 전체 얼굴 검출의 연산량 중 일부만을 수행하여도 얼굴일 가능성이 낮은 이미지 패치들을 걸러내기 위하여, 아날로그 이미지에 대해 연산을 먼저 수행하여 전체 얼굴 검출의 연산량 중 일부만을 수행하여도 얼굴일 가능성이 낮아 더 이상 처리할 필요가 없는 얼굴이 아닌 이미지 패치들을 먼저 걸러내고, 이어서, 얼굴을 검출하는 연산 과정이 필요한 나머지 일부의 패치들에 대해서만 데이터 변환을 통한 디지털 이미지화와 이미지 전처리를 수행하여 디지털 검출기로 넘겨 처리할 수 있도록 하여, 전체 이미지를 모두 디지털 이미지 정보로 변환해서 디지털 검출기로만 처리할 때보다 더 나은 전력 효율을 가지게 되는 것을 특징으로 한 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템.
  2. 청구항 1에 있어서, 디지털 프로세서 칩은 얼굴 이미지를 전달받아 미리 등록된 얼굴 정보와 비교하는 인식 과정을 수행하는 것으로, 이미지 센서 칩으로부터 얼굴 이미지가 전달되지 않으면, 슬립 상태 또는 파워 오프 상태로 전환되는 것을 특징으로 한 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템.
  3. 청구항 2에 있어서, 디지털 프로세서 칩은 슬립 상태 또는 파워 오프 상태로 전환되었다가, 이미지 센서 칩으로부터 얼굴 이미지가 전달되면 슬립 상태 또는 파워 오프 상태로부터 복귀되어 얼굴 인식 과정을 수행하는 것을 특징으로 한 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 시스템.
  4. 삭제
  5. 이미지를 획득하는 이미지 획득수단과 획득된 이미지에서 얼굴을 검출하는 얼굴 검출수단이 하나의 반도체 칩 내에 집적되어 구성된 이미지 센서 칩을 통하여 자체적으로 얼굴 이미지의 유/무 및 위치를 판단하는 단계를 포함하는 것으로; 획득된 이미지에서 얼굴 이미지가 존재할 때에는 해당 얼굴의 이미지만을 추출하여 외부의 디지털 프로세서 칩으로 전송되도록 하는 단계; 또는 획득된 이미지에서 얼굴 이미지가 존재하지 않을 때에는 외부의 디지털 프로세서 칩으로 이미지 데이터 전송이 되지 않도록 하는 단계를 포함하며;
    픽셀 어레이에서 이미징 회로를 통해 읽어들인 아날로그 이미지를 아날로그 검출 회로에서 먼저 처리하는 단계; 그 후 데이터 컨버터를 거쳐 디지털로 변환된 이미지를 디지털 검출기가 처리하는 단계를 포함하는 것으로, 아날로그 검출 회로는 전체 얼굴 검출의 연산량 중 일부만을 수행하여도 얼굴일 가능성이 낮은 이미지 패치들을 걸러내기 위하여, 아날로그 이미지에 대해 연산을 먼저 수행하여 전체 얼굴 검출의 연산량 중 일부만을 수행하여도 얼굴일 가능성이 낮아 더 이상 처리할 필요가 없는 얼굴이 아닌 이미지 패치들을 먼저 걸러내는 단계; 이어서, 얼굴을 검출하는 연산 과정이 필요한 나머지 일부의 패치들에 대해서만 데이터 변환을 통한 디지털 이미지화와 이미지 전처리를 수행하여 디지털 검출기로 넘겨 처리할 수 있도록 하여, 전체 이미지를 모두 디지털 이미지 정보로 변환해서 디지털 검출기로만 처리할 때보다 더 나은 전력 효율을 가지게 되는 단계를 포함하는 것을 특징으로 하는 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 방법.
  6. 청구항 5에 있어서, 디지털 프로세서 칩을 통하여 미리 등록된 얼굴 정보와 전달받은 얼굴 이미지를 비교하는 인식 과정을 수행하는 단계를 포함하는 것으로; 이미지 센서 칩으로부터 얼굴 이미지가 전달되지 않으면 디지털 프로세서 칩은 슬립 상태 또는 파워 오프 상태로 전환되는 단계를 포함하는 것을 특징으로 하는 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 방법.
  7. 청구항 5에 있어서, 디지털 프로세서 칩은 슬립 상태 또는 파워 오프 상태로 전환되었다가, 이미지 센서 칩으로부터 얼굴 이미지가 전달되면 슬립 상태 또는 파워 오프 상태로부터 복귀되어 얼굴 인식 과정을 수행하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 방법.
  8. 청구항 5항 내지 청구항 7항 중 어느 한 항의 얼굴 검출기가 집적된 CMOS 이미지 센서를 이용한 저 전력 얼굴 인식 방법을 실행하는 프로그램이 기록되어 컴퓨터로 읽을 수 있는 기록매체.
KR1020180009756A 2018-01-26 2018-01-26 얼굴 검출기가 집적된 cmos 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법 KR101992307B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180009756A KR101992307B1 (ko) 2018-01-26 2018-01-26 얼굴 검출기가 집적된 cmos 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180009756A KR101992307B1 (ko) 2018-01-26 2018-01-26 얼굴 검출기가 집적된 cmos 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101992307B1 true KR101992307B1 (ko) 2019-06-25

Family

ID=67065544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180009756A KR101992307B1 (ko) 2018-01-26 2018-01-26 얼굴 검출기가 집적된 cmos 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101992307B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054311A (ko) 2009-11-17 2011-05-25 삼성전자주식회사 영상 처리 방법 및 장치
KR20150142115A (ko) * 2014-06-10 2015-12-22 재단법인 다차원 스마트 아이티 융합시스템 연구단 얼굴 인식을 이용하는 배터리 기반의 저전력 도어락 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110054311A (ko) 2009-11-17 2011-05-25 삼성전자주식회사 영상 처리 방법 및 장치
KR20150142115A (ko) * 2014-06-10 2015-12-22 재단법인 다차원 스마트 아이티 융합시스템 연구단 얼굴 인식을 이용하는 배터리 기반의 저전력 도어락 장치

Similar Documents

Publication Publication Date Title
US11431937B2 (en) Data rate control for event-based vision sensor
US11068712B2 (en) Low-power iris scan initialization
CN108462844B (zh) 用于像素合并和读出的方法和装置
US20200160052A1 (en) Image sensor for vision based human computer interaction
US20180270436A1 (en) Image sensor for vision based on human computer interaction
US10095941B2 (en) Vision recognition apparatus and method
KR20170063643A (ko) 이벤트들-기반 시각 센서를 이용한 저-전력 상시-온 얼굴 검출, 추적, 인식 및/또는 분석
US8009202B2 (en) Device and method for capturing an image of a human face
US20130324190A1 (en) Multi-purpose camera system supporting normal camera functionality and additional user input functionality
US20220053158A1 (en) Photographing device having two output interfaces
US20230156323A1 (en) Imaging apparatus, imaging control method, and program
CN111183431A (zh) 指纹识别方法及终端设备
KR101992307B1 (ko) 얼굴 검출기가 집적된 cmos 이미지 센서를 이용한 저 전력 얼굴 인식 시스템 및 방법
US9088699B2 (en) Image communication method and apparatus which controls the output of a captured image
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
US20060261256A1 (en) Method for operating an electronic imaging system, and electronics imaging system
CN116048196B (zh) 开合盖检测方法及相关装置
CN114666521B (zh) 具有用于影像取样的可调整参数的影像感测装置
US11910110B2 (en) Transfer control device, image processing device, transfer control method, and program
CN111371991A (zh) 物体识别系统及其控制方法
CN115585885A (zh) 多区多光谱检测装置及其检测方法、电子设备
CN114785919A (zh) 一种图像处理芯片及方法
JPH09282440A (ja) ビデオカメラ
WO2018136326A1 (en) Low-power iris scan initialization
KR20100038709A (ko) 감시 카메라

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant