KR102357965B1 - 객체 인식 방법 및 장치 - Google Patents

객체 인식 방법 및 장치 Download PDF

Info

Publication number
KR102357965B1
KR102357965B1 KR1020150004146A KR20150004146A KR102357965B1 KR 102357965 B1 KR102357965 B1 KR 102357965B1 KR 1020150004146 A KR1020150004146 A KR 1020150004146A KR 20150004146 A KR20150004146 A KR 20150004146A KR 102357965 B1 KR102357965 B1 KR 102357965B1
Authority
KR
South Korea
Prior art keywords
event
vision sensor
mode
based vision
object recognition
Prior art date
Application number
KR1020150004146A
Other languages
English (en)
Other versions
KR20160086605A (ko
Inventor
이규빈
박근주
류현석
이준행
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150004146A priority Critical patent/KR102357965B1/ko
Priority to US14/714,437 priority patent/US9875390B2/en
Publication of KR20160086605A publication Critical patent/KR20160086605A/ko
Application granted granted Critical
Publication of KR102357965B1 publication Critical patent/KR102357965B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

객체를 인식하는 기법이 개시된다. 일 실시예에 따른 객체 인식 기법은 저 전력 모드에서 이벤트 기반 비전 센서의 서브 샘플링을 통하여 객체 인식을 수행할지 여부를 판단하고, 정상 모드에서 이벤트 기반 비전 센서의 풀 샘플링을 통하여 객체 인식을 수행한다.

Description

객체 인식 방법 및 장치{METHOD OF RECOGNIZING OBJECT AND APPARATUS THEREOF}
아래 실시예들은 객체 인식 방법 및 장치에 관한 것이다.
모바일 기기에는 대기 모드 시에 전력을 적게 소모해야 하는 필요성과 대기 모드에서도 여러 가지 스마트 기능을 수행할 수 있어야 하는 필요성이 서로 상충하면서 존재한다. 이에 따라, 대기 모드에서는 최소한의 센서 및 부품만이 간헐적으로 깨어나 기능을 수행해야 하며, 전력 소모가 큰 디스플레이나 카메라 모듈은 사용할 수 없다. 이러한 이유로 대기 모드에서의 종래의 스마트 기능은 단순한 가속도 센서 등을 사용하는 정도로 국한되어 있다.
실시예들은 이벤트 기반 비전 센서를 이용하여 대기 모드에서 전력을 적게 소모하면서 얼굴을 인식하여 대기 모드를 해제하고 동시에 얼굴 인증을 통해 기기를 잠금 해제를 할 수 있는 기능을 제공할 수 있다.
상기 이벤트 기반 비전 센서는 복수의 픽셀들을 포함하고, 상기 복수의 픽셀들 중 빛의 변화 또는 객체의 움직임을 감지한 픽셀에 대응하는 이벤트 신호를 출력할 수 있다. 실시예들은 통상적인 비전 센서처럼 일정 시간의 셔터 스피드로 영상을 생성하는 것과 달리, 이벤트 정보를 모으는 시간을 적응적으로 변경함으로써 객체가 속도와 무관하게 항상 좋은 품질의 영상을 생성하는 기술을 제공할 수 있다.
일 측에 따른 객체 인식 방법은 이벤트 기반 비전 센서가 제1 모드로 샘플링을 수행하도록 상기 이벤트 기반 비전 센서를 제어하는 단계; 상기 이벤트 기반 비전 센서에서 출력되는 제1 이벤트 신호들에 기초하여 객체 인식을 수행할지 여부를 판단하는 단계; 상기 객체 인식을 수행한다는 판단에 따라, 상기 이벤트 기반 비전 센서가 제2 모드로 샘플링을 수행하도록 상기 이벤트 기반 비전 센서를 제어하는 단계; 및 상기 이벤트 기반 비전 센서에서 출력되는 제2 이벤트 신호들에 기초하여 객체 인식을 수행하는 단계를 포함한다.
이벤트 기반 비전 센서가 제1 모드로 샘플링을 수행하도록 상기 이벤트 기반 비전 센서를 제어하는 단계는 상기 이벤트 기반 비전 센서에 포함된 픽셀들 중 일부 픽셀들이 샘플링을 수행하는 것을 차단하는 단계; 및 상기 일부 픽셀들에 대응하는 이벤트 신호들이 상기 이벤트 기반 비전 센서의 외부로 출력되는 것을 차단하는 단계 중 적어도 하나를 포함할 수 있다.
상기 객체 인식을 수행할지 여부를 판단하는 단계는 단위 시간 당 제1 이벤트 신호들의 수를 측정하는 단계; 및 상기 단위 시간 당 제1 이벤트 신호들의 수와 미리 정해진 임계 값과 비교하는 단계; 상기 단위 시간 당 제1 이벤트 신호들의 수가 상기 미리 정해진 임계 값보다 큰 경우, 상기 제1 이벤트 신호들로부터 특징을 추출하는 단계; 및 상기 특징과 미리 정해진 특징을 비교함으로써, 상기 객체 인식을 수행할지 여부를 판단하는 단계를 포함할 수 있다.
상기 객체 인식을 수행하는 단계는 상기 제2 이벤트 신호들과 관련된 미리 정해진 조건이 만족되는지 여부를 판단하는 단계; 상기 미리 정해진 조건이 만족된다는 판단에 따라, 상기 제2 이벤트 신호들에 기초하여 영상을 생성하는 단계; 및 상기 영상에 기초하여 상기 객체 인식을 수행하는 단계를 포함할 수 있다.
상기 미리 정해진 조건이 만족되는지 여부를 판단하는 단계는 상기 제2 이벤트 신호들의 개수를 측정하는 단계; 상기 제2 이벤트 신호들 사이의 위치 관계를 계산하는 단계; 및 상기 개수와 상기 위치 관계에 기초하여 결정되는 임계 값을 비교함으로써, 상기 미리 정해진 조건이 만족되는지 여부를 판단하는 단계를 포함할 수 있다.
상기 미리 정해진 조건이 만족되는지 여부를 판단하는 단계는 상기 제2 이벤트 신호들의 개수를 측정하는 단계; 상기 제2 이벤트 신호들의 위치와 관련된 분산을 계산하는 단계; 및 상기 개수와 상기 분산에 기초하여 결정되는 임계 값을 비교함으로써, 상기 미리 정해진 조건이 만족되는지 여부를 판단하는 단계를 포함할 수 있다.
상기 미리 정해진 조건이 만족되는지 여부를 판단하는 단계는 상기 제2 이벤트 신호들을 누적 저장하는 단계; 누적 저장된 결과에 기초하여 상기 제2 이벤트 신호들과 관련된 솔리드 레벨(solid level)을 계산하는 단계; 및 상기 솔리드 레벨과 미리 정해진 임계 값을 비교함으로써, 상기 미리 정해진 조건이 만족되는지 여부를 판단하는 단계를 포함할 수 있다.
일 측에 따른 객체 인식 장치는 이벤트 기반 비전 센서; 상기 이벤트 기반 비전 센서의 모드를 제어하는 제어부; 및 상기 이벤트 기반 비전 센서가 제1 모드로 동작하는 경우 상기 이벤트 기반 비전 센서에서 출력되는 제1 이벤트 신호들에 기초하여 객체 인식을 수행할지 여부를 판단하고, 상기 이벤트 기반 비전 센서가 제2 모드로 동작하는 경우 상기 이벤트 기반 비전 센서에서 출력되는 제2 이벤트 신호들에 기초하여 객체 인식을 수행하는 처리부를 포함한다.
도 1은 일 실시예에 따른 객체 인식 장치를 나타낸 블록도.
도 2 및 도 3은 일 실시예에 따른 제어부의 동작을 설명하는 도면들.
도 4는 일 실시예에 따른 처리부의 동작을 설명하는 도면.
도 5 내지 도 9는 일 실시예에 따른 이벤트-영상 변환을 설명하는 도면들.
도 10은 일 실시예에 따른 객체 인식 방법을 나타낸 동작 흐름도.
도 11 및 도 12는 일 실시예에 따른 객체 인식 기법이 적용되는 시나리오를 설명하는 도면들.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 객체를 인식하는 데 사용될 수 있다. 실시예들은 스마트 폰, 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 저 전력 모드와 인증 기능이 필요한 다양한 형태의 제품으로 구현될 수 있다.
도 1은 일 실시예에 따른 객체 인식 장치를 나타낸 블록도이다. 도 1을 참조하면, 일 실시예에 따른 객체 인식 장치(100)는 이벤트 기반 비전 센서(110), 제어부(120), 및 처리부(130)를 포함한다. 제어부(120) 및 처리부(130)는 소프트웨어 모듈, 하드웨어 모듈, 또는 이들의 다양한 조합으로 구현될 수 있다.
이벤트 기반 비전 센서(110)는 픽셀 어레이(pixel array)를 포함한다. 픽셀 어레이에 포함된 각 픽셀들은 해당 픽셀로 입사되는 빛의 변화를 감지할 수 있다. 이하, 빛의 변화는 빛의 세기(intensity)의 변화일 수 있다. 또한, 이벤트 기반 비전 센서(110)가 입사되는 빛의 변화를 감지하는 동작은 샘플링 이라고 지칭될 수 있다. 이벤트 기반 비전 센서(110)는 빛의 변화가 감지된 픽셀에 대응하는 이벤트 신호를 출력할 수 있다. 이벤트 신호는 빛의 변화를 감지한 픽셀을 지시하는 정보(예를 들어, 픽셀 좌표 또는 픽셀 인덱스 등)를 포함할 수 있다.
픽셀 어레이에 포함된 모든 픽셀들을 프레임 단위로 스캔(scan)하는 프레임 기반 비전 센서와 달리, 이벤트 기반 비전 센서(110)는 빛의 변화를 감지한 픽셀만을 이용하여 이벤트 신호를 출력할 수 있다. 예를 들어, 특정 픽셀에서 빛이 밝아지거나 어두워지는 이벤트가 감지되는 경우, 이벤트 기반 비전 센서(110)는 해당 픽셀에 대응하는 온(ON) 이벤트 신호 또는 오프(OFF) 이벤트 신호를 출력할 수 있다.
이벤트 기반 비전 센서(110)는 객체(object)의 움직임을 감지하여 이벤트 신호를 출력할 수 있다. 객체는 피사체일 수 있다. 이벤트 기반 비전 센서(110)로 입사되는 빛의 변화는 객체의 움직임에 기인할 수 있다. 예를 들어, 광원이 고정되어 있고 객체는 스스로 발광하지 않는 경우를 상정하면, 이벤트 기반 비전 센서(110)로 입사되는 빛은 광원에서 발생되어 객체에 의해 반사된 빛일 수 있다. 객체가 움직이지 않는 경우, 움직임이 없는 상태의 객체에 의해 반사되는 빛은 실질적으로 변하지 않으므로, 이벤트 기반 비전 센서(110)에 입사되는 빛의 변화도 발생되지 않는다. 반면, 객체가 움직이는 경우, 움직이는 객체에 의해 반사되는 빛은 객체의 움직임에 따라 변하므로, 이벤트 기반 비전 센서(110)에 입사되는 빛의 변화가 발생될 수 있다.
제어부(120)는 이벤트 기반 비전 센서(110)의 모드(mode)를 제어할 수 있다. 이벤트 기반 비전 센서(110)는 제1 모드 또는 제2 모드에서 동작할 수 있다. 제1 모드는 저 전력 모드(low power mode)에 해당하고, 제2 모드는 정상 모드(normal mode)에 해당할 수 있다.
제어부(120)는 이벤트 기반 비전 센서(110)가 저 전력 모드에 해당하는 제1 모드에서 동작하도록, 이벤트 기반 비전 센서(110)를 제어할 수 있다. 제1 모드에서 이벤트 기반 비전 센서(110)가 빛의 변화를 감지하는 동작은 서브 샘플링 이라고 지칭될 수 있고, 서브 샘플링 결과 이벤트 기반 비전 센서(110)에 의하여 출력되는 이벤트 신호들은 제1 이벤트 신호들이라고 지칭될 수 있다.
도 2를 참조하면, 이벤트 기반 비전 센서(110)는 픽셀 어레이(111), 전력 제어부(112), 및 이벤트 콜렉터(event collector)(113)을 포함할 수 있다. 제어부(120)는 이벤트 기반 비전 센서(110)가 제1 모드에서 동작하도록, 전력 제어부(112) 및/또는 이벤트 콜렉터(113)를 제어할 수 있다.
일 실시예에 따르면, 제어부(120)는 전력 제어부(112)를 이용하여 픽셀 어레이(111)에 포함된 픽셀들 중 적어도 일부 픽셀들이 샘플링을 수행하는 것을 차단할 수 있다. 예를 들어, 제어부(120)는 픽셀 어레이(111)에 포함된 픽셀들 중 적어도 일부 픽셀들에 공급되는 전력이 차단되도록, 전력 제어부(112)를 제어할 수 있다. 전력이 차단된 픽셀들은 샘플링을 수행할 수 없다.
전력 제어부(112)는 제어부(120)로부터 제어 신호를 수신하고, 제어 신호에 따라 픽셀 어레이(111)의 각 픽셀에 인가되는 바이어스 전압을 제어할 수 있다. 예를 들어, 전력 제어부(112)는 제어부(120)로부터 제1 모드를 지시하는 제어 신호를 수신하는 경우, 픽셀 어레이(111)에 포함된 픽셀들 중 적어도 일부 픽셀들을 위한 PMOS 트랜지스터의 게이트(gate)에 Vdd 전압을 인가하고, 해당 픽셀들을 위한 NMOS 트랜지스터의 게이트에 GND 전압을 인가할 수 있다.
이벤트 기반 비전 센서(110)는 픽셀 어레이(111)에 포함된 픽셀들의 일부만을 이용하여 샘플링을 수행할 수 있고, 이로 인하여 이벤트 기반 비전 센서(110)는 저 전력으로 동작할 수 있다.
다른 실시예에 따르면, 제어부(120)는 이벤트 콜렉터(113)를 이용하여 픽셀 어레이(111)에 포함된 픽셀들 중 적어도 일부 픽셀들에 대응하는 이벤트 신호들이 외부로 출력되는 것을 차단할 수 있다. 예를 들어, 제어부(120)는 픽셀 어레이(111)에 포함된 픽셀들 중 적어도 일부 픽셀들에 대응하는 이벤트 신호들을 처리부(130)로 전달하지 않도록, 이벤트 콜렉터(113)를 제어할 수 있다.
픽셀 어레이(111)에 포함된 특정 픽셀에서 빛의 변화가 감지되는 경우, 해당 픽셀은 빛의 변화를 감지하였음을 알리는 센서 신호를 발생시킨다. 이벤트 콜렉터(113)는 센서 신호를 수신하고, 수신된 센서 신호를 발생시킨 픽셀에 대응하는 이벤트 신호를 처리부(130)로 출력한다.
이벤트 콜렉터(113)는 제어부(120)로부터 제1 모드를 지시하는 제어 신호를 수신하는 경우, 픽셀 어레이(111)에 포함된 픽셀들 중 적어도 일부 픽셀로부터 센서 신호가 수신되더라도 해당 픽셀에 대응하는 이벤트 신호를 처리부(130)로 출력하지 않을 수 있다.
이로 인하여, 이벤트 신호가 출력되기 위하여 소모되는 동적 전력(dynamic power)이 감소될 수 있다. 또한, 출력된 이벤트 신호를 처리하기 위한 연산 전력(computing power)이 감소될 수 있다.
또 다른 실시예에 따르면, 제어부(120)는 이벤트 기반 비전 센서(110)가 제1 모드에서 동작하도록 전력 제어부(112) 및 이벤트 콜렉터(113)를 함께 제어할 수 있다. 해당 분야에서 통상의 지식을 가진 자라면 전술한 사항들로부터 전력 제어부(112) 및 이벤트 콜렉터(113)를 함께 제어하는 동작을 이해할 수 있으므로, 보다 상세한 설명은 생략한다.
제1 모드에서 제어 대상이 되는 적어도 일부 픽셀들은 다양한 방식에 따라 결정될 수 있다. 도 3(a)는 시간의 흐름에 따라 서로 다른 위치의 픽셀들에 의하여 발생되는 센서 신호들을 나타낸 그래프이다. 도 3(b)를 참조하면, 제1 모드에서 제어 대상이 되는 적어도 일부 픽셀들은 시간적 요소에 의하여 결정될 수 있다. 예를 들어, 제1 시간 구간(311), 제2 시간 구간(312), 및 제3 시간 구간(313)에서 모든 픽셀들이 제어 대상으로 결정될 수 있다. 이 경우, 제1 시간 구간(311), 제2 시간 구간(312), 및 제3 시간 구간(313)에서 모든 픽셀들의 샘플링이 차단되거나, 모든 픽셀들에 대응하는 이벤트 신호의 출력이 차단될 수 있다. 제1 시간 구간(311), 제2 시간 구간(312), 및 제3 시간 구간(313)은 미리 정해진 주기, 동적으로 갱신되는 주기, 또는 랜덤 주기 등 다양한 형태로 설정될 수 있다. 서브 샘플링을 통하여 객체의 형상을 판단해야 하는 경우, 적어도 일부 픽셀들을 결정하기 위하여 시간적 요소가 이용될 수 있다.
도 3(c)를 참조하면, 제1 모드에서 제어 대상이 되는 적어도 일부 픽셀들은 공간적 요소에 의하여 결정될 수 있다. 예를 들어, 제1 픽셀 위치(321)에 해당하는 픽셀 또는 픽셀들이 제어 대상으로 결정될 수 있다. 이 경우, 제1 픽셀 위치(321)에 해당하는 픽셀 또는 픽셀들의 샘플링이 차단되거나, 해당하는 픽셀 또는 픽셀들에 대응하는 이벤트 신호의 출력이 차단될 수 있다. 제1 픽셀 위치(321)는 특정 위치, 특정 열, 또는 특정 행 등 다양한 형태로 설정될 수 있다. 서브 샘플링을 통하여 빠른 속도로 움직이는 객체를 감지해야 하는 경우, 적어도 일부 픽셀들을 결정하기 위하여 공간적 요소가 이용될 수 있다.
도 3(d)를 참조하면, 제1 모드에서 제어 대상이 되는 적어도 일부 픽셀들은 시간적 요소 및 공간적 요소의 조합에 의하여 결정될 수 있다. 해당 분야에서 통상의 지식을 가진 자라면 전술한 사항들로부터 시간적 요소 및 공간적 요소를 다양하게 조합하는 방식들을 이해할 수 있으므로, 보다 상세한 설명은 생략한다.
다시 도 2를 참조하면, 제어부(120)는 이벤트 기반 비전 센서(110)가 정상 모드에 해당하는 제2 모드에서 동작하도록, 이벤트 기반 비전 센서(110)를 제어할 수 있다. 예를 들어, 제어부(120)는 제2 모드에서 전력 제어부(112) 및 이벤트 콜렉터(113)가 정상 모드로 동작하도록 제어할 수 있다. 제2 모드에서 이벤트 기반 비전 센서(110)가 빛의 변화를 감지하는 동작은 풀 샘플링 이라고 지칭될 수 있고, 풀 샘플링 결과 이벤트 기반 비전 센서(110)에 의하여 출력되는 이벤트 신호들은 제2 이벤트 신호들이라고 지칭될 수 있다.
처리부(130)는 이벤트 기반 비전 센서(110)에서 출력되는 이벤트 신호들을 이용하여, 객체를 인식할 수 있다. 예를 들어, 처리부(130)는 제1 이벤트 신호들에 기초하여 객체 인식을 수행할지 여부를 판단하고, 제2 이벤트 신호들에 기초하여 객체 인식을 수행할 수 있다. 이하, 도 4 내지 도 9를 참조하여 처리부(130)의 동작을 상세하게 설명한다.
도 4를 참조하면, 처리부(130)는 이벤트 기반 비전 센서(110)의 모드에 따라 다르게 동작할 수 있다. 예를 들어, 처리부(130)는 제1 모드를 위한 단계들(410)을 수행할 수 있다. 단계(411)에서 처리부(130)는 제1 모드로 동작하는 이벤트 기반 비전 센서(110)로부터 서브 샘플링 결과를 수신할 수 있다. 단계(412)에서 처리부(130)는 단위 시간당 이벤트들을 검출할 수 있다. 단위 시간은 미리 설정되거나, 동적으로 갱신될 수 있다. 단위 시간당 이벤트들은 단위 시간 동안 수신되는 이벤트들로, 각 이벤트들은 위치 정보 및/또는 시간 정보를 포함할 수 있다. 위치 정보는 해당 이벤트 신호에 대응하는 픽셀의 위치를 지시하고, 시간 정보는 해당 이벤트 신호가 발생된 시간을 지시할 수 있다.
단계(413)에서 처리부(130)는 단위 시간당 이벤트들의 개수와 미리 정해진 임계 값을 비교할 수 있다. 비교 결과, 단위 시간당 이벤트들의 개수가 미리 정해진 임계 값 이하인 경우, 처리부(130)는 단계(411)로 되돌아가 서브 샘플링 결과를 수신할 수 있다.
비교 결과, 단위 시간당 이벤트들의 개수가 미리 정해진 임계 값보다 큰 경우, 단계(414)에서 처리부(130)는 단위 시간당 이벤트들로부터 특징을 추출할 수 있다. 처리부(130)는 단위 시간당 이벤트에 포함된 위치 정보 및/또는 시간 정보에 기초하여 특징을 추출할 수 있다. 예를 들어, 처리부(130)는 단위 시간당 이벤트에 포함된 위치 정보를 이용하여, 단위 시간당 이벤트에 대응하는 픽셀들의 분포와 관련된 특징을 추출할 수 있다.
단계(415)에서 처리부(130)는 추출된 특징과 미리 정해진 특징이 매칭되는지 여부를 판단할 수 있다. 미리 정해진 특징은 인식하고자 하는 객체로부터 사전에 추출된 특징일 수 있다. 미리 정해진 특징은 동적으로 갱신될 수도 있다. 예를 들어, 제2 모드에서 객체 인식이 빈번하게 실패하는 경우, 해당 결과에 기초하여 특징이 갱신될 수 있다.
추출된 특징과 미리 정해진 특징이 매칭되지 않는다고 판단되는 경우, 처리부(130)는 단계(411)로 되돌아가 서브 샘플링 결과를 수신할 수 있다. 이 때, 단계(416)에서 딜레이가 적용될 수 있다. 딜레이의 길이는 미리 정해지거나, 동적으로 갱신될 수 있다. 예를 들어, 실패 횟수가 거듭될수록 딜레이의 길이가 증가될 수 있다.
추출된 특징과 미리 정해진 특징이 매칭된다고 판단되는 경우, 처리부(130)는 제2 모드를 위한 단계들(420)을 수행할 수 있다. 단계(421)에서 처리부(130)는 제2 모드로 동작하는 이벤트 기반 비전 센서(110)로부터 풀 샘플링 결과를 수신할 수 있다. 단계(422)에서 처리부(130)는 이벤트-영상 변환을 수행할 수 있다. 예를 들어, 처리부(130)는 제2 이벤트 신호들을 이용하여 영상을 생성할 수 있다. 이벤트-영상 변환과 관련된 보다 상세한 사항들은 도 5 내지 도 9를 통하여 후술한다.
단계(423)에서 처리부(130)는 생성된 영상을 이용하여 객체를 인식할 수 있다. 단계(423)에는 영상을 이용하여 객체를 인식하는 다양한 기법들이 적용될 수 있다. 예를 들어, 처리부(130)는 학습 기반 분류기를 이용하여 영상으로부터 객체를 인식할 수 있다.
단계(424)에서 처리부(130)는 객체 인식이 성공하였는지 여부를 판단할 수 있다. 예를 들어, 처리부(130)는 인식된 객체가 기 등록된 객체 유형들 중 하나로 분류되는 경우 객체 인식이 성공하였다고 판단할 수 있다. 반면, 처리부(130)는 인식된 객체가 기 등록된 객체 유형들 중 어디에도 해당하지 않는 경우 객체 인식이 실패하였다고 판단할 수 있다.
객체 인식이 성공하였다고 판단되는 경우, 단계(425)에서 처리부(130)는 인식 결과를 출력할 수 있다. 인식 결과는 객체 유형을 지시하는 아이디일 수 있다. 또는, 처리부(130)는 인식 결과에 대응하는 동작을 수행할 수 있다. 예를 들어, 처리부(130)는 휴대용 단말에 기 등록된 사용자의 얼굴이 인식되었다고 판단되는 경우, 휴대용 단말을 언 락(unlock)하는 동작을 수행할 수 있다.
객체 인식이 실패하였다고 판단되는 경우, 단계(426)에서 제2 모드로 동작하는 허용 시간이 도과하였는지 여부가 판단될 수 있다. 허용 시간이 아직 도과하지 않았다고 판단되는 경우, 처리부(130)는 단계(421)로 되돌아가 풀 샘플링 결과를 수신할 수 있다. 이 때, 단계(427)에서 딜레이가 적용될 수 있다. 딜레이의 길이는 미리 정해지거나, 동적으로 갱신될 수 있다. 허용 시간이 도과하였다고 판단되는 경우, 처리부(130)는 단계(411)로 되돌아가 서브 샘플링 결과를 수신할 수 있다. 이 때, 단계(428)에서 딜레이가 적용될 수 있다. 딜레이의 길이는 미리 정해지거나, 동적으로 갱신될 수 있다. 단계(426)을 통하여, 처리부(130)는 허용 시간 동안 객체 인식에 실패하는 경우 제2 모드를 위한 단계들(420)의 루프에서 빠져나올 수 있다.
이하, 도 5 내지 도 9를 참조하여 단계(422)의 이벤트-영상 변환을 상세하게 설명한다. 도 5를 참조하면, 처리부(130)는 단계(510)에서 이벤트-영상 변환을 위한 조건이 만족되는지 여부를 판단할 수 있다. 이벤트 기반 비전 센서(110)는 빛의 변화 또는 객체의 움직임에 반응하여 이벤트 신호를 출력하므로, 빛의 변화 또는 객체의 움직임이 빠를수록 동일한 시간 구간 동안 많은 이벤트 신호들이 출력될 수 있다. 이에 따라, 고정된 시간 구간을 이용하여 이벤트 신호들을 수집하는 경우, 빛의 변화 또는 객체의 움직임의 속도에 따라 수집되는 이벤트 신호들의 수가 적절하지 않을 수 있다.
단계(520)에서 처리부(130)는 수집된 이벤트 신호들에 기초하여 영상을 생성하므로, 수집되는 이벤트 신호들의 수가 적절하지 않은 경우 생성되는 영상의 품질이 감소될 수 있다. 처리부(130)는 단계(510)에서 수집된 이벤트 신호들의 수가 적절한지 여부를 판단할 수 있다. 예를 들어, 처리부(130)는 이벤트 신호들의 위치 관계를 이용하여, 수집된 이벤트 신호들의 수가 적절한지 여부를 판단할 수 있다. 이벤트 신호들의 위치 관계는 이벤트 신호들에 대응하는 위치들 사이의 관계로, 예를 들어, 이벤트 신호들의 위치가 분포된 양상, 이벤트 신호들의 위치가 서로 흩어진 정도, 이벤트 신호들의 위치가 서로 밀집한 정도 등을 포함할 수 있다. 처리부(130)는 이벤트 신호들의 위치 관계에 기초하여 결정되는 임계 값과 수집된 이벤트 신호들의 수를 비교함으로써, 수집된 이벤트 신호들의 수가 적절한지 여부를 판단할 수 있다.
일 예로, 처리부(130)는 이벤트 신호들의 분산을 이용하여 수집된 이벤트 신호들의 수가 적절한지 여부를 판단할 수 있다. 도 6을 참조하면, 단계(610)에서 처리부(130)는 이벤트 신호들의 개수를 측정할 수 있다. 또한, 단계(620)에서 처리부(130)는 이벤트 신호들과 관련된 분산을 계산할 수 있다. 처리부(130)는 이벤트 신호에 포함된 위치 정보를 이용하여, x축 방향의 분산 σx 및 y축 방향의 분산 σy를 계산할 수 있다. 도 7을 참조하면, x축 방향의 분산 σx(711)는 이벤트 신호들(710)이 x축 방향으로 분포된 정도를 나타내고, y축 방향의 분산 σy(712)는 이벤트 신호들(710)이 y축 방향으로 분포된 정도를 나타낼 수 있다.
단계(630)에서 처리부(130)는 이벤트 신호들의 개수와 분산 기반 임계 값을 비교할 수 있다. 분산 기반 임계 값은 분산에 기초하여 결정되는 임계 값으로, x축 방향의 분산 σx 및 y축 방향의 분산 σy의 함수인 f(σx, σy)로 표현될 수 있다. f(σx, σy)는 다양하게 설정될 수 있다. 예를 들어, f(σx, σy)는 수학식 1과 같이 설정될 수 있다.
Figure 112015002842365-pat00001
처리부(130)는 수학식 1을 효율적으로 연산하기 위하여, 표 1의 알고리즘을 이용할 수 있다. 표 1에서 α는 2인 경우를 가정한다.
단계(640)에서 처리부(130)는 이벤트-영상 변환을 위한 조건이 만족되는지 여부를 판단할 수 있다. 예를 들어, 이벤트 신호들의 개수가 f(σx, σy)보다 큰 경우, 처리부(130)는 이벤트-영상 변환을 위한 조건이 만족된다고 판단할 수 있다.
다른 예로, 처리부(130)는 이벤트 신호들과 관련된 솔리드 레벨(solid level)을 이용하여 수집된 이벤트 신호들의 수가 적절한지 여부를 판단할 수 있다. 솔리드 레벨은 이벤트 신호들의 위치 관계에 기초하여 계산되는 파라미터이다. 솔리드 레벨은 이벤트 신호들의 솔리디티(solidity)를 지시하는 파라미터일 수 있다. 예를 들어, 솔리드 레벨은 수집된 이벤트 신호들의 위치가 서로 밀집한 정도를 지시하는 척도일 수 있다. 또는, 솔리드 레벨은 이벤트 신호들이 모여 생성되는 형상의 뚜렷한 정도를 지시하는 척도일 수 있다. 일 예로, 솔리드 레벨은 특정 이벤트 신호에 대응하는 주변 이벤트들의 수가 미리 정해진 수보다 크면 증가되고, 해당 이벤트 신호에 대응하는 주변 이벤트들의 수가 미리 정해진 수보다 작으면 감소되는 파라미터일 수 있다. 특정 이벤트 신호의 위치 정보에 기초하여 해당 이벤트 신호의 위치가 결정될 수 있고, 결정된 위치 주변의 미리 정해진 영역 내에 포함된 이벤트 신호들이 주변 이벤트 신호들로 결정될 수 있다.
도 8을 참조하면, 단계(810)에서 처리부(130)는 이벤트 신호들을 누적하여 저장할 수 있다. 예를 들어, 처리부(130)는 이벤트 기반 비전 센서(110)의 픽셀 어레이(111)에 대응하는 원소들을 포함하는 이벤트 맵을 이용하여 이벤트 신호들을 누적하여 저장할 수 있다. 이벤트 맵에 포함된 각 원소들의 값은 '0'으로 초기화될 수 있다. 처리부(130)는 수신된 이벤트 신호의 위치 정보에 기초하여, 수신된 이벤트 신호에 대응하는 원소의 값을 '1'로 설정할 수 있다.
단계(820)에서 처리부(130)는 누적 저장된 결과에 기초하여 솔리드 레벨을 계산할 수 있다. 예를 들어, 처리부(130)는 수학식 2를 이용하여 솔리드 레벨 s 를 계산할 수 있다. 솔리드 레벨 s 는 미리 정해진 값으로 초기화된 후, 수학식 2를 통하여 갱신될 수 있다. 솔리드 레벨 s 는 0과 1 사이의 값을 가질 수 있다.
Figure 112015002842365-pat00002
여기서,
Figure 112015002842365-pat00003
는 솔리드 레벨의 변화 량이고,
Figure 112015002842365-pat00004
는 결정 민감도(decision sensitivity)이다.
Figure 112015002842365-pat00005
는 0과 1 사이의 상수(constant)일 수 있다.
Figure 112015002842365-pat00006
는 해비사이드 스텝 함수(heaviside step function)이다. 내부 값이 0보다 크면
Figure 112015002842365-pat00007
는 1이고, 그 외의 경우
Figure 112015002842365-pat00008
는 0일 수 있다.
m 은 이벤트 맵이다. 이벤트 맵 m 에서 특정 이벤트 신호 e에 대응하는 원소의 i번째 이웃 원소가 '1'로 설정된 경우
Figure 112015002842365-pat00009
는 1이고, 그 외의 경우
Figure 112015002842365-pat00010
는 0일 수 있다. θ 는 임계 값이다.
단계(830)에서 처리부(130)는 솔리드 레벨과 미리 정해진 임계 레벨(예를 들어, 0.4 등)을 비교할 수 있다. 단계(840)에서 처리부(130)는 이벤트-영상 변환을 위한 조건이 만족되는지 여부를 판단할 수 있다. 예를 들어, 솔리드 레벨이 임계 레벨보다 큰 경우, 처리부(130)는 이벤트-영상 변환을 위한 조건이 만족된다고 판단할 수 있다.
도 9를 참조하면, 처리부(130)는 솔리드 레벨을 이용함으로써, 객체가 단순한 패턴을 가지는 경우(910) 및 복잡한 패턴을 가지는 경우(920) 모두에서 적절한 수의 이벤트 신호들을 수집할 수 있다.
도 6 내지 도 9를 참조하여 전술한 실시예들에 따라 적절한 수의 이벤트 신호들이 수집되면, 도 5의 단계(520)에서 영상이 생성될 수 있다. 수집된 이벤트 신호들은 위치 정보를 포함하므로, 해당 위치 정보를 이용하여 이벤트 신호들에 대응하는 포인트들이 2차원 평면 위에 배치될 수 있다. 예를 들어, 도 7 및/또는 도 9와 같은 영상이 생성될 수 있다. 경우에 따라서, 처리부(130)는 생성된 영상에 노이즈 필터링, 에지 디텍션 등 다양한 영상 처리 기법을 적용할 수도 있다.
도 10은 일 실시예에 따른 객체 인식 방법을 나타낸 동작 흐름도이다. 도 10을 참조하면, 일 실시예에 따른 객체 인식 방법은 제1 모드로 샘플링을 수행하도록 이벤트 기반 비전 센서를 제어하는 단계(1010), 제1 이벤트 신호들에 기초하여 객체 인식을 수행할지 여부를 판단하는 단계(1020), 객체 인식을 수행한다는 판단에 따라 제2 모드로 샘플링을 수행하도록 이벤트 기반 비전 센서를 제어하는 단계(1030) 및 제2 이벤트 신호들에 기초하여 객체 인식을 수행하는 단계(1040)를 포함한다. 도 10에 도시된 각 단계들에는 도 1 내지 도 9를 통하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 11 및 도 12는 일 실시예에 따른 객체 인식 기법이 적용되는 시나리오를 설명하는 도면들이다. 도 11을 참조하면, 일 실시예에 따른 객체 인식 기법은 스마트 폰(1110) 등 휴대 단말에 적용될 수 있다. 예를 들어, 스마트 폰(1110)은 이벤트 기반 비전 센서(1115)를 포함할 수 있다. 이벤트 기반 비전 센서(1115)는 도 1의 이벤트 기반 비전 센서(110)에 대응할 수 있다.
스마트 폰(1110)은 프로세서를 포함할 수 있다. 프로세서는 도 1의 제어부(100)의 동작 및/또는 처리부(130)의 동작을 수행할 수 있다. 경우에 따라, 스마트 폰(1110)은 도 1의 제어부(100) 및/또는 처리부(130)에 해당하는 전용 하드웨어 모듈을 포함할 수도 있다.
스마트 폰(1110)은 잠금 상태(lock status)에서 서브 샘플링을 수행할 수 있다. 서브 샘플링 결과를 이용하여 스마트 폰(1110)은 사용자의 얼굴(1120)을 감지할 수 있다. 스마트 폰(1110)은 사용자의 얼굴(1120)이 감지되면 풀 샘플링을 수행하고, 풀 샘플링 결과를 이용하여 사용자의 얼굴(1120)을 인증(verification)할 수 있다. 스마트 폰(1110)은 인증 결과에 기초하여 잠금 상태를 해제(unlock)할 수 있다.
이처럼, 실시예들은 잠금 상태를 해제하기 위한 별도의 입력 없이, 자동으로 사용자를 인증하고 잠금을 해제하는 기술을 제공할 수 있다. 예를 들어, 스마트 폰(1110)을 주머니에서 꺼내어 얼굴에 향하는 행동만으로, 사용자 인증 및 잠금 해제가 수행될 수 있다. 이러한 기술은 올웨이즈-온-페이스-언락(always-on-face-unlock) 기법이라고 지칭될 수 있다. 실시예들은 잠금 상태의 대부분의 시간 구간에서 서브 샘플링을 이용하여 저 전력 모드로 동작하므로, 휴대 단말의 전력 소비 문제를 방지할 수 있다.
도 12를 참조하면, 단계(1210)에서 서브 샘플링이 수행될 수 있다. 스마트 폰(1110)은 잠금 상태이자 슬립 상태일 수 있다. 단계(1220)에서 서브 샘플링 결과를 이용하여 특징이 추출될 수 있다. 단계(1230)에서 특징 추출 결과를 이용하여 얼굴이 감지되었는지 여부가 판단될 수 있다. 얼굴이 감지되었다고 판단되면, 단계(1240)에서 스마트 폰(1110)은 웨이크 업(wake up)될 수 있다. 예를 들어, 스마트 폰(1110)의 디스플레이가 온(ON)될 수 있다.
단계(1250)에서 풀 샘플링이 수행될 수 있다. 단계(1260)에서 풀 샘플링 결과를 이용하여 영상이 생성될 수 있다. 단계(1270)에서 영상을 이용하여 사용자의 얼굴이 인식될 수 있다. 단계(1280)에서 얼굴 인식 결과가 기 인증 사용자에 부합하는지 여부가 판단될 수 있다. 얼굴 인식 결과가 기 인증 사용자에 부합하지 않는 경우, 단계(1295)에서 스마트 폰(1110)은 슬립 상태로 되돌아갈 수 있다. 이 경우, 잠금 상태는 해제되지 않는다. 얼굴 인식 결과가 기 인증 사용자에 부합하는 경우, 단계(1290)에서 잠금 상태가 해제될 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (22)

  1. 빛의 세기 변화를 감지하는 픽셀들을 포함하는 이벤트 기반 비전 센서가 제1 모드로 샘플링을 수행하여, 상기 제1 모드의 상기 샘플링에 기초하여 상기 빛의 세기 변화에 대응하는 제1 이벤트 신호들이 출력되도록 상기 이벤트 기반 비전 센서를 제어하는 단계;
    상기 제1 이벤트 신호들에 기초하여 객체 인식을 수행할지 여부를 판단하는 단계;
    상기 객체 인식을 수행한다는 판단에 따라, 상기 이벤트 기반 비전 센서가 제2 모드로 샘플링을 수행하여 상기 제2 모드의 상기 샘플링에 기초하여 상기 빛의 세기 변화에 대응하는 제2 이벤트 신호들을 출력하도록 상기 이벤트 기반 비전 센서를 제어하는 단계; 및
    상기 제2 이벤트 신호들에 기초하여 상기 객체 인식을 수행하는 단계를 포함하고,
    상기 제1 모드로 상기 샘플링을 수행하도록 상기 이벤트 기반 비전 센서를 제어하는 단계는 상기 이벤트 기반 비전 센서에 포함된 상기 픽셀들 중 일부 픽셀들이 샘플링을 수행하는 것을 차단하는 단계를 포함하는 객체 인식 방법.
  2. 제1항에 있어서,
    상기 제1 모드는 저 전력 모드를 포함하고, 상기 제2 모드는 정상 모드를 포함하는, 객체 인식 방법.
  3. 제1항에 있어서,
    상기 제1 모드로 상기 샘플링을 수행하도록 상기 이벤트 기반 비전 센서를 제어하는 단계는 상기 일부 픽셀들에 대응하는 이벤트 신호들이 상기 이벤트 기반 비전 센서의 외부로 출력되는 것을 차단하는 단계를 더 포함하는 객체 인식 방법.
  4. 제1항에 있어서,
    상기 객체 인식을 수행할지 여부를 판단하는 단계는:
    단위 시간 당 제1 이벤트 신호들의 수를 측정하는 단계; 및
    상기 단위 시간 당 제1 이벤트 신호들의 수와 미리 정해진 임계 값과 비교함으로써, 상기 객체 인식을 수행할지 여부를 판단하는 단계를 포함하는 객체 인식 방법.
  5. 제1항에 있어서,
    상기 객체 인식을 수행할지 여부를 판단하는 단계는:
    상기 제1 이벤트 신호들로부터 특징을 추출하는 단계; 및
    상기 특징과 미리 정해진 특징을 비교함으로써, 상기 객체 인식을 수행할지 여부를 판단하는 단계를 포함하는 객체 인식 방법.
  6. 제1 모드 또는 제2 모드로 동작하고 빛의 세기 변화를 감지하는 픽셀들을 포함하는 이벤트 기반 비전 센서;
    상기 이벤트 기반 비전 센서가 제1 모드 또는 제2 모드로 동작할지 여부를 제어하는 제어부; 및
    상기 이벤트 기반 비전 센서가 제1 모드로 동작하는 경우 상기 이벤트 기반 비전 센서에서 출력되는 제1 이벤트 신호들에 기초하여 객체 인식을 수행할지 여부를 판단하고, 상기 이벤트 기반 비전 센서가 제2 모드로 동작하는 경우 상기 이벤트 기반 비전 센서에서 출력되는 제2 이벤트 신호들에 기초하여 상기 객체 인식을 수행하는 처리부를 포함하고,
    상기 제어부는 상기 제1 모드에서, 상기 이벤트 기반 비전 센서에 포함된 상기 픽셀들 중 적어도 일부 픽셀들이 샘플링을 수행하는 것을 차단하되,
    상기 제1 이벤트 신호들 및 상기 제2 이벤트 신호들은 상기 빛의 세기 변화에 대응되는 객체 인식 장치.
  7. 제6항에 있어서,
    상기 제어부는 상기 제1 모드에서, 상기 적어도 일부 픽셀들에 대응하는 이벤트 신호들이 상기 이벤트 기반 비전 센서의 외부로 출력되는 것을 차단하는, 객체 인식 장치.
  8. 제6항에 있어서,
    상기 처리부는 상기 제1 이벤트 신호들로부터 특징을 추출하고, 상기 특징과 미리 정해진 특징을 비교함으로써 상기 객체 인식을 수행할지 여부를 판단하는, 객체 인식 장치.
  9. 제6항에 있어서,
    상기 처리부는 상기 제2 이벤트 신호들과 관련된 미리 정해진 조건이 만족되는지 여부를 판단하고, 상기 미리 정해진 조건이 만족된다는 판단에 따라, 상기 제2 이벤트 신호들에 기초하여 영상을 생성하며, 상기 영상에 기초하여 상기 객체 인식을 수행하는, 객체 인식 장치.
  10. 제6항에 있어서,
    상기 이벤트 기반 비전 센서는 빛의 변화 또는 객체의 움직임을 감지한 픽셀에 대응하는 이벤트 신호를 출력하는, 객체 인식 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
KR1020150004146A 2015-01-12 2015-01-12 객체 인식 방법 및 장치 KR102357965B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150004146A KR102357965B1 (ko) 2015-01-12 2015-01-12 객체 인식 방법 및 장치
US14/714,437 US9875390B2 (en) 2015-01-12 2015-05-18 Method and apparatus for recognizing object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150004146A KR102357965B1 (ko) 2015-01-12 2015-01-12 객체 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160086605A KR20160086605A (ko) 2016-07-20
KR102357965B1 true KR102357965B1 (ko) 2022-02-03

Family

ID=56367887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150004146A KR102357965B1 (ko) 2015-01-12 2015-01-12 객체 인식 방법 및 장치

Country Status (2)

Country Link
US (1) US9875390B2 (ko)
KR (1) KR102357965B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
US10367540B1 (en) * 2018-02-20 2019-07-30 Cypress Semiconductor Corporation System and methods for low power consumption by a wireless sensor device
TW202406328A (zh) * 2018-03-15 2024-02-01 日商尼康股份有限公司 感測器以及具備其之攝像裝置
KR102503543B1 (ko) 2018-05-24 2023-02-24 삼성전자주식회사 다이나믹 비전 센서, 전자 장치 및 이의 데이터 전송 방법
CN109284728B (zh) * 2018-10-08 2020-12-18 深圳市微埃智能科技有限公司 识别物品的方法、装置、设备和存储介质
KR20220079972A (ko) * 2019-11-12 2022-06-14 애플 인크. 저전력 동기식 판독을 이용하는 센서
US20220394196A1 (en) * 2019-11-12 2022-12-08 Apple Inc. Sensor data encoding with synchronous readout
IL274418B (en) 2020-05-03 2021-12-01 Elbit Systems Electro Optics Elop Ltd Systems and methods for enhanced motion detection, objective tracking, situational awareness and super-resolution video using microscanning images
KR20220019170A (ko) 2020-08-07 2022-02-16 삼성전자주식회사 대기 모드에서 오브젝트 검출을 위한 프로세서, 이를 포함하는 전자 장치 및 그의 작동 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256066A (ja) * 2009-04-22 2010-11-11 Sharp Corp 光学センサおよびそれを備えた機器

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621519A (en) * 1995-07-31 1997-04-15 Neopath, Inc. Imaging system transfer function control method and apparatus
JP4016227B2 (ja) 1998-01-07 2007-12-05 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4617623B2 (ja) 2001-08-29 2011-01-26 富士電機システムズ株式会社 被写体の明暗による順位付け方法およびその光センサ装置
US7619669B2 (en) * 2003-12-29 2009-11-17 Micron Technologies, Inc. Power savings with multiple readout circuits
WO2006022077A1 (ja) 2004-08-23 2006-03-02 Sony Corporation 撮像装置、撮像結果の処理方法及び集積回路
US7227464B2 (en) 2005-06-30 2007-06-05 Em Microelectronic-Marin Sa Auto wake-up method from sleep mode of an optical motion sensing device
FR2923339B1 (fr) 2007-11-05 2009-12-11 Commissariat Energie Atomique Procede de lecture d'une matrice bidimensielle de pixels et dispositif pour la mise en oeuvre d'un tel procede
US8698092B2 (en) 2010-09-10 2014-04-15 Samsung Electronics Co., Ltd. Method and apparatus for motion recognition
US8994499B2 (en) * 2011-03-16 2015-03-31 Apple Inc. Locking and unlocking a mobile device using facial recognition
KR101792866B1 (ko) 2011-04-06 2017-11-20 삼성전자주식회사 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
KR101909082B1 (ko) * 2012-01-31 2018-10-18 삼성전자주식회사 사용자 인터랙션을 이용하여 이동 단말을 제어하는 장치 및 방법
US8892163B2 (en) * 2012-03-06 2014-11-18 Omni Vision Technologies, Inc. Image sensor having a pulsed mode of operation
IL219773A (en) * 2012-05-13 2015-09-24 Elbit Sys Electro Optics Elop Device and method for increasing the resolution of vacuum-based infrared imaging detectors and cryogenic coolers
KR102070562B1 (ko) 2012-06-19 2020-01-30 삼성전자주식회사 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법
KR20140071802A (ko) * 2012-12-04 2014-06-12 주식회사 엘지유플러스 얼굴 인식을 통한 휴대 단말기 숏컷 정보 실행 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010256066A (ja) * 2009-04-22 2010-11-11 Sharp Corp 光学センサおよびそれを備えた機器

Also Published As

Publication number Publication date
KR20160086605A (ko) 2016-07-20
US20160203610A1 (en) 2016-07-14
US9875390B2 (en) 2018-01-23

Similar Documents

Publication Publication Date Title
KR102357965B1 (ko) 객체 인식 방법 및 장치
US20240020980A1 (en) Active presence detection with depth sensing
USRE48780E1 (en) Method and apparatus for extracting static pattern based on output of event-based sensor
US9195878B2 (en) Method of controlling an electronic device
KR102399017B1 (ko) 이미지 생성 방법 및 장치
KR102465532B1 (ko) 객체 인식 방법 및 장치
US9600064B2 (en) Method and apparatus for biometric authentication based on face recognition
KR102530219B1 (ko) 동작 인식의 오류를 검출하는 방법 및 장치
US9280702B2 (en) Image processing device and image processing method
JP6488083B2 (ja) 駐車区画占有率判定のための映像および視覚ベースのアクセス制御のハイブリッド方法およびシステム
US20160140399A1 (en) Object detection apparatus and method therefor, and image recognition apparatus and method therefor
JP2018032391A (ja) ライブネス検査方法及び装置
KR102248404B1 (ko) 움직임 분석 방법 및 움직임 분석 장치
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10503885B2 (en) Electronic device and unlocking method therefor
EP2992403B1 (en) Depth sensors
CN111801706A (zh) 视频对象检测
KR20140071802A (ko) 얼굴 인식을 통한 휴대 단말기 숏컷 정보 실행 시스템 및 방법
US9866798B2 (en) Image processing apparatus, method and program for controlling an image processing apparatus based on detected user movement
US20170060255A1 (en) Object detection apparatus and object detection method thereof
US20180157905A1 (en) Image processing device, image processing method, and storage medium
KR20210074749A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
US20240086528A1 (en) Electronic device lock adjustments
KR20240035842A (ko) 3d 얼굴 인식 시스템
KR101751417B1 (ko) 사용자 자세 인식 장치 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant