KR20120026956A - 동작 인식 장치 및 그 방법 - Google Patents

동작 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20120026956A
KR20120026956A KR1020110031492A KR20110031492A KR20120026956A KR 20120026956 A KR20120026956 A KR 20120026956A KR 1020110031492 A KR1020110031492 A KR 1020110031492A KR 20110031492 A KR20110031492 A KR 20110031492A KR 20120026956 A KR20120026956 A KR 20120026956A
Authority
KR
South Korea
Prior art keywords
motion
events
light
gesture recognition
spatiotemporal
Prior art date
Application number
KR1020110031492A
Other languages
English (en)
Other versions
KR101779564B1 (ko
Inventor
이준행
델부럭 토비
류현석
박근주
신창우
Original Assignee
삼성전자주식회사
유니버시티 오브 취리히
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 유니버시티 오브 취리히 filed Critical 삼성전자주식회사
Priority to US13/229,429 priority Critical patent/US8698092B2/en
Publication of KR20120026956A publication Critical patent/KR20120026956A/ko
Priority to US14/199,164 priority patent/US9317127B2/en
Application granted granted Critical
Publication of KR101779564B1 publication Critical patent/KR101779564B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

동작 인식 장치 및 그 방법이 제공된다. 일 측면에 따르면, 적어도 하나의 이미지 센서를 이용하여, 피사체 중 움직임이 발생한 부분을 센싱하여 이벤트를 출력하고, 이벤트를 이용하여 움직임이 발생한 부분의 움직임 궤적을 추적하며,, 추적된 움직임 궤적에 따라 기기의 동작을 제어할 수 있다.

Description

동작 인식 장치 및 그 방법{Method and Apparatus for Motion Recognition}
기술분야는 동작 인식 장치 및 그 방법에 관한 것으로서, 피사체 중 움직임이 발생한 부분을 센싱하여 움직임 궤적을 추적하고, 추적된 움직임 궤적에 따라 기기의 동작을 제어할 수 있다.
인간과 전자 기기 사이의 상호작용을 위한 UI(User Interface)로서 키보드, 마우스, 또는 터치 패널 등을 들 수 있다. 예를 들어, 터치 패널에서 사용되는 터치 기술의 경우, 사용자는 반드시 화면에 터치를 하여 UI를 조작할 수 있다. 터치 횟수가 증가함에 따라 패널의 화면이 손상될 수 있으며, 사용자는 직접 접촉에 의해 위생적으로 불쾌감을 느낄 수 있다. 따라서, 인간과 전자 기기 사이에 자연스러우면서도 상호작용이 강화된 직관적인 인터페이싱 기술을 제공하여 사용자 편의를 향상시킬 필요성이 있다.
일 측면에 있어서, 피사체 중 움직임이 발생한 부분을 센싱하여 이벤트들을 출력하는 이미지 센서; 출력되는 이벤트들의 시공간 상관도를 이용하여 움직임이 발생한 부분의 움직임 궤적을 추적하는 움직임 추적부; 및 추적된 움직임 궤적으로부터 움직임이 발생한 부분의 동작 패턴을 판단하는 동작 패턴 판단부를 포함하는, 동작 인식 장치가 제공된다.
상기 피사체의 움직임을 센싱하기 위해 상기 피사체를 향한 광을 출력하는 광원부를 더 포함할 수 있다.
이때, 상기 광원부는, 적외선 광을 출력할 수 있다.
빛의 세기를 측정하는 광 측정부; 및 상기 광 측정부에서 측정한 상기 빛의 세기가 기설정한 광량보다 작은 경우, 광을 출력하는 광원부를 더 포함할 수 있다.
이미지 센서가 복수 개인 경우, 복수 개의 이미지 센서들로부터 출력되는 이벤트들의 히스토그램을 이용하여, 이미지 센서들 간의 시차를 산출하는 시차 산출부; 및 산출된 시차를 기준으로 복수 개의 이미지 센서들로부터 출력되는 이벤트들을 합성하는 합성부를 더 포함할 수 있다.
산출된 시차를 이용하여 움직임이 발생한 부분의 깊이를 산출하는 깊이 산출부를 더 포함할 수 있다.
이미지 센서들 각각은, 복수 개의 센싱 유닛들로 이루어지며, 복수 개의 센싱 유닛들 중 움직임이 발생한 부분에 대응하는 타겟 센싱 유닛들이 이벤트를 출력할 수 있다.
움직임 추적부는, 타겟 센싱 유닛들로부터 입력되는 이벤트들을 이용하여, 타겟 센싱 유닛들 간의 시공간 상관도를 각각 산출하는 복수 개의 시공간 상관기들; 및 각각 산출되는 시공간 상관도의 고저(高低)를 이용하여, 움직임이 발생한 부분의 움직임 궤적을 추적하는 움직임 궤적 추적부를 포함할 수 있다.
복수 개의 시공간 상관기들은, 각각 시공간 상관도를 나타내는 내부 상태값을 가지며, 이벤트들이 입력될 때마다 내부 상태값을 증가시키고, 증가된 내부 상태값과 설정된 임계값을 비교하여 시공간 상관도의 고저를 판단할 수 있다.
한편, 동작 인식 장치는 빛의 세기를 측정하는 광 측정부를 더 포함하고, 상기 복수 개의 시공간 상관기들은, 상기 빛의 세기를 고려해서 상기 임계값을 설정할 수 도 있다.
다른 한편, 상기 동작 인식 장치는 상기 이미지 센서가 복수 개인 경우, 상기 이미지 센서들 간의 시차를 이용하여 상기 움직임이 발생한 부분의 깊이를 산출하는 깊이 산출부를 더 포함하고, 상기 복수 개의 시공간 상관기들은, 상기 움직임이 발생한 부분의 깊이를 고려해서 상기 임계값을 설정할 수도 있다.
움직임 궤적 추적부는, 복수 개의 시공간 상관기들 중 시공간 상관도가 높은 시공간 상관기들을 그룹핑하여 하나의 클러스터-움직임이 발생한 부분에 대응하는 형상임-를 생성하고, 생성된 클러스터의 중심 위치와 이전에 산출된 클러스터의 중심 위치를 연계하여 움직임 궤적을 추적할 수 있다.
복수 개의 시공간 상관기들은, 이미지 센서의 분할된 영역들과 각각 매핑되며, 분할된 영역들은 적어도 하나의 주변 영역과 오버랩될 수 있다.
판단된 동작 패턴을 참조하여 제어 명령을 출력하는 동작 제어부를 더 포함할 수 있다.
다른 측면에 있어서, 이미지 센서에 의해 촬영되는 피사체 중 움직임이 발생한 부분을 센싱하여 이벤트들을 출력하는 단계; 출력되는 이벤트들의 시공간 상관도를 이용하여 움직임이 발생한 부분의 움직임 궤적을 추적하는 단계; 및 추적된 움직임 궤적으로부터 움직임이 발생한 부분의 동작 패턴을 판단하는 단계를 포함하는, 동작 인식 방법이 제공된다.
상기 이벤트들을 출력하는 단계 이전에, 상기 피사체의 움직임을 센싱하기 위해 상기 피사체를 향한 광을 출력하는 단계를 더 포함할 수 있다.
상기 이벤트들을 출력하는 단계 이전에, 빛의 세기를 측정하는 단계; 및 상기 광 측정부에서 측정한 상기 빛의 세기가 기설정한 광량보다 작은 경우, 광을 출력하는 단계를 더 포함할 수 있다.
이미지 센서가 복수 개인 경우, 복수 개의 카메라들의 이미지 센서들로부터 출력되는 이벤트들의 히스토그램을 이용하여, 이미지 센서들 간의 시차를 산출하는 단계; 및 산출된 시차를 기준으로 복수 개의 이미지 센서들로부터 출력되는 이벤트들을 합성하는 단계; 산출된 시차를 이용하여 움직임이 발생한 부분의 깊이를 산출하는 단계를 더 포함할 수 있다.
복수 개의 시공간 상관기들이, 타겟 센싱 유닛들로부터 입력되는 이벤트들을 이용하여, 타겟 센싱 유닛들 간의 시공간 상관도를 각각 산출하는 단계를 더 포함하며, 추적하는 단계는, 각각 산출되는 시공간 상관도의 고저(高低)를 이용하여, 움직임이 발생한 부분의 움직임 궤적을 추적할 수 있다.
복수 개의 시공간 상관기들은 각각 시공간 상관도를 나타내는 내부 상태값을 가지며, 산출하는 단계는, 이벤트들이 입력될 때마다 내부 상태값을 증가시키고, 증가된 내부 상태값과 설정된 임계값을 비교하여 시공간 상관도의 고저를 판단할 수 있다.
한편, 빛의 세기를 측정하는 단계를 더 포함하고, 상기 산출하는 단계는, 상기 빛의 세기를 고려해서 상기 임계값을 설정할 수 있다.
다른 한편, 상기 이미지 센서가 복수 개인 경우, 상기 이미지 센서들 간의 시차를 이용하여 상기 움직임이 발생한 부분의 깊이를 산출하는 단계를 더 포함하고, 상기 산출하는 단계는, 상기 움직임이 발생한 부분의 깊이를 고려해서 상기 임계값을 설정할 수 있다.
움직임 궤적을 추적하는 단계는, 복수 개의 시공간 상관기들 중 시공간 상관도가 높은 시공간 상관기들을 그룹핑하여 하나의 클러스터-움직임이 발생한 부분에 대응하는 형상임-를 생성하는 단계; 생성된 클러스터의 중심 위치를 산출하는 단계; 및 산출된 중심 위치와 이전에 산출된 중심 위치를 연계하여 움직임 궤적을 추적하는 단계를 포함할 수 있다.
판단된 동작 패턴을 참조하여 제어 명령을 출력하는 단계를 더 포함할 수 있다.
또 다른 측면에 있어서, 피사체 중 움직임이 발생한 부분을 센싱하여 이벤트들을 출력하는 이미지 센서; 및 상기 출력되는 이벤트들의 시공간 상관도를 이용하여 상기 움직임이 발생한 부분의 움직임 궤적을 추적하고, 상기 추적된 움직임 궤적으로부터 상기 움직임이 발생한 부분의 동작 패턴을 판단하고, 상기 판단된 동작 패턴을 참조하여 대응하는 사용자의 입력 신호를 식별하도록 구성된(configured) 적어도 하나의 프로세서,를 포함하는, 사용자의 동작 입력을 감지하는 동작 인식 장치가 제공된다.
동작 인식 장치 및 그 방법에 의하면, 이미지 센서는 일정한 시간 간격으로 이미지를 출력하는 기존의 센서와 달리 광의 강도 변화가 있는 센싱 유닛에서만 이벤트를 출력함으로써 고정된 이미지를 제외한 움직이는 객체만을 검출할 수 있다. 이에 의해, 동작 인식 장치 및 그 방법은 움직이는 객체를 인식하기 위하여 수반되는 이미지 전처리 과정을 생략할 수 있으며, 기존의 동작 인식 시스템에서 필요로 하는 높은 컴퓨팅 파워를 필요로 하지 않는다.
또한, 동작 인식 장치 및 그 방법에 의하면, 1ms 수준의 매우 빠른 속도로 객체의 움직임을 인식할 수 있으므로, 실시간으로 움직임을 인식할 수 있다.
또한, 동작 인식 장치 및 그 방법에 의하면, 복수 개의 이미지 센서를 이용함으로써 움직임이 발생한 객체의 깊이 정보를 알 수 있다. 깊이 정보는 손을 몸 앞으로 내미는 push 동작 등 깊이감을 가지는 동작 인식에 사용될 수 있다. 또한, 깊이 정보는 배경 잡음을 제거할 때도 사용될 수 있다. 예를 들어, 움직인 사람과 카메라들과의 깊이 정보를 알고 있는 경우, 움직인 사람보다 먼 거리에서 발생하는 움직임은 무시함으로써, 사람 뒤에서 움직임이 발생하여도 정확하게 동작을 인식할 수 있다.
도 1은 제1동작 인식 장치의 구성 예를 나타낸다.
도 2는 제1움직임 추적부의 구성 예를 도시한 도면이다.
도 3은 제1이미지 센서를 이루는 센싱 유닛들의 어레이 및 수신 필드의 일 예를 도시한 도면이다.
도 4는 제1 내지 제n시공간 상관기들 간의 공간적인 연관성을 설명하기 위한 도면이다. 의 일 예를 보여주는 도면이다.
도 5는 제1 내지 제n시공간 상관기들을 그룹핑하여 제1 내지 제3클러스터들을 생성한 일 예를 보여주는 도면이다.
도 6은 생성된 클러스터를 이용하여 움직임이 발생한 부분의 움직임 궤적을 추적하는 일 예를 설명하기 위한 도면이다.
도 7은 출력되는 이벤트로부터 움직임 궤적을 추적하는 일련의 과정을 보여주는 도면이다.
도 8은 제2동작 인식 장치의 구성 예를 나타낸다.
도 9는 제1 및 제2촬영부의 제1 및 제2이미지 센서들로부터 출력된 이벤트들의 일 예를 도시한 도면이다.
도 10은 이벤트들의 히스토그램으로부터 시차를 구하는 과정을 설명하기 위한 도면이다.
도 11은 제1동작 인식 장치의 동작 인식 방법을 설명하기 위한 흐름도이다.
도 12는 제2동작 인식 장치의 동작 인식 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 제1동작 인식 장치(100)의 구성 예를 나타낸다.
도 1을 참조하면, 피사체의 움직임에 따라 동작 패턴을 인식하는 제1동작 인식 장치(100)는 제1촬영부(110), 제1움직임 추적부(120), 제1동작 패턴 판단부(130), 제1패턴 저장부(140) 및 제1동작 제어부(150)를 포함할 수 있다.
제1촬영부(110)는 피사체를 촬영하며, 동영상, 정지영상 촬영이 가능한 카메라를 예로 들 수 있다. 제1촬영부(110)는 하나 이상의 렌즈를 포함하는 광학계(미도시)와, 제1이미지 센서(111)를 포함한다. 피사체는 움직임이 가능한 사람, 동물, 로봇 등 다양하다.
제1이미지 센서(111)는 피사체 중 움직임이 발생한 부분을 센싱하여 이벤트들을 출력한다. 제1이미지 센서(111)는 후술할 도 3에 도시된 바와 같이 어레이된 복수 개의 센싱 유닛들을 포함한다. 센싱 유닛들은 영상의 픽셀단위로 구비될 수 있다. 예를 들어, 제1촬영부(110)에서 출력되는 영상이 60×60인 경우, 센싱 유닛들은 60×60 형태로 구비될 수 있다.
센싱 유닛들은 수광소자(Light Receiving Element)일 수 있다. 피사체 또는 피사체의 일부가 움직이는 경우, 제1이미지 센서(111)의 센싱 유닛들에 의해 센싱되는 광의 강도는 변한다. 제1이미지 센서(111)의 경우, 센싱 유닛들 중 광의 강도 변화가 센싱되는 타겟 센싱 유닛들이 이벤트를 출력한다. 즉, 센싱 유닛들 중 움직임이 발생한 부분에 대응하는 타겟 센싱 유닛들이 이벤트를 출력한다. 타겟 센싱 유닛은 이벤트를 출력하는 센싱 유닛이다.
이벤트는 {이벤트가 발생한 시간, 이벤트를 출력한 센싱 유닛의 위치, 극성} 등의 정보를 포함한다. 극성(polarity)은 센싱 유닛에서 수광된 광의 강도가 증가하여 이벤트가 발생한 경우 'on'이 되며, 수광된 광의 강도가 감소하여 이벤트가 발생한 경우 'off'가 된다. 이 때, 각 센싱 유닛은 광의 강도 변화량이 설정된 기준값보다 크거나 작을 때, 이벤트를 출력할 수 있다.
제1움직임 추적부(120)는 제1이미지 센서(111)로부터 출력되는 이벤트들의 시공간 상관도(Spatiotemporal Correlation)를 이용하여, 움직임이 발생한 부분의 움직임 궤적을 추적할 수 있다.
도 2는 제1움직임 추적부(120)의 구성 예를 도시한 도면이다.
도 2를 참조하면, 제1움직임 추적부(120)는 제1 내지 제n시공간 상관기들(Spatiotemporal Correlator) (121-1, 121-2, …, 121-n, n은 양수) 및 제1움직임 궤적 추적부(123)를 포함한다.
제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)은 타겟 센싱 유닛들로부터 입력되는 이벤트들을 이용하여, 타겟 센싱 유닛들 간의 시공간 상관도를 각각 산출할 수 있다.
이하에서는 시공간 상관도를 설명하기 위하여, 도 3을 참조하여 먼저 수신 필드(Receptive Field)에 대해 설명하며, 제1시공간 상관기(121-1)를 예로 들어 설명한다.
도 3은 제1이미지 센서(111)를 이루는 센싱 유닛들의 어레이 및 수신 필드의 일 예를 도시한 도면이다.
도 3을 참조하면, 제1시공간 상관기(121-1)는 제1이미지 센서(111) 중 특정 영역을 이루는 센싱 유닛들로부터 출력되는 이벤트를 입력받는다. 특정 영역은 곧 수신 필드를 의미한다. 제1시공간 상관기(121-1)와 전기적으로 연결되어 제1시공간 상관기(121-1)에게 이벤트를 출력할 수 있는 센싱 유닛들이 차지하는 영역을 수신 필드이라 한다. 수신 필드는 m×m(m은 양수) 크기를 가질 수 있다. 따라서, 제1시공간 상관기(121-1)는 수신 필드의 센싱 유닛들 중 적어도 하나로부터 이벤트를 입력받을 수 있다. 제2 내지 제n시공간 상관기(121-2, …, 121-n) 역시 대응하는 수신 필드의 센싱 유닛들과 연결되어 이벤트를 입력받을 수 있다.
다시 도 2를 참조하면, 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)은 각각 현재의 시공간 상관도를 나타내는 내부 상태값을 갖는다. 각 내부 상태값은 서로 동일하거나 또는 다를 수 있으며, 일 예로 전압값일 수 있다. 내부 상태값은 현재의 내부 상태값과, 새로 입력되는 이벤트에 의해 결정될 수 있다. 이벤트가 입력되는 경우, 내부 상태값은 증가하며, 이벤트의 입력이 없는 경우, 설정된 시간이 지남에 따라 내부 상태값은 감소할 수 있다. 내부 상태값의 감소는 내부 상태값을 저장하는 메모리의 대역폭(bandwidth) 로드를 최소화할 수 있다.
자세히 설명하면, 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)은 해당하는 제1이미지 센서(111)로부터 이벤트들이 입력될 때마다 내부 상태값을 증가시키고, 증가된 내부 상태값과 설정된 임계값을 비교하여 시공간 상관도의 고저(高低)를 판단할 수 있다. 시공간 상관도는 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n) 각각으로 입력된 이벤트들간의 시간적 상관도와 공간적 상관도를 의미한다.
[수학식 1]은 입력되는 이벤트에 의해 제n시공간 상관기(121-n, n=1, 2, 3, …)로부터 출력되는 출력값을 산출하기 위한 관계식이다.
Figure pat00001
Figure pat00002
[수학식 1]을 참조하면, Qn(t)는 시간 t에서 제n시공간 상관기(121-n)의 내부 상태값, Qn(tprev)는 이전 시간에서 제n시공간 상관기(121-n)의 내부 상태값, 즉, 현재의 내부 상태값, tprev는 이전에 입력된 이벤트 세트들 중 가장 최근에 이벤트 세트가 발생한 시간이다. 또한, e(t)는 시간 t에서 입력되는 이벤트 세트, outn(t)는 제n시공간 상관기(121-n)의 출력값,
Figure pat00003
는 임계값이다. 이벤트 세트는 시간 t에서 발생하는 이벤트들에 대한 단순 정보를 나타낸다. 예를 들어, 처음 t=0라는 시간에 이벤트가 세 개가 발생했다면 e(0) = {e_1, e_2, e_3}이다. e_n(n=은 n=1, 2, 3, …)은 n번째 타겟 센싱 유닛의 이벤트이다.
제n시공간 상관기(121-n)는 시간 t에서, 대응하는 수신 필드의 센싱 유닛들 중 하나의 타겟 센싱 유닛으로부터 이벤트가 입력되면, 이전의 내부 상태값(Qn(tprev))을 증가시킨다. 증가되는 정도는 이벤트를 발생한 타겟 센싱 유닛에 설정된 가중치의 영향을 받는다. 따라서, 동시에 복수 개의 이벤트가 입력되면, 증가되는 속도도 빨라진다. 가중치는 센싱 유닛들마다 다르게 설정될 수 있다.
제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)은 시공간 상관도의 고저에 따라 다른 출력값을 제1움직임 궤적 추적부(123)로 출력한다. 즉, 제n시공간 상관기(121-n)는 내부 상태값(Qn(t))이 설정된 임계값(
Figure pat00004
)을 초과하면, 제n시공간 상관기(121-n)로 이벤트를 출력한 타겟 센싱 유닛들 간의 시공간 상관도가 높은 것으로 판단하고, 1을 출력한다. 또한, 제n시공간 상관기(121-n)는 내부 상태값(Qn(t))이 설정된 임계값(
Figure pat00005
)보다 작거나 같으면, 시공간 상관도가 낮은 것으로 판단하고, 0을 출력할 수 있다. '1'은 'high' 또는 'true' 형태로도 대신 출력되며, '0'은 'low' 또는 'false' 형태로 대신 출력될 수 있다. 선택적으로, 제n시공간 상관기(121-n)의 출력이 '1'인 된 후, 제n시공간 상관기(121-n)는 제n시공간 상관기(121-n)의 내부 상태값을 설정된 양만큼 감소시킬 수 있다.
상술한 설명에 의하면, 제n시공간 상관기(121-n)에 의해 산출되는 내부 상태값(Qn(t))은 타겟 센싱 유닛들로부터 제n시공간 상관기(121-n)로 입력되는 이벤트들의 공간적 연관성 및 시간적 연관성을 나타낼 수 있다. 예를 들어, 하나의 타겟 센싱 유닛으로부터 연속적으로 이벤트들이 제n시공간 상관기(121-n)로 입력되면, 내부 상태값(Qn(t))은 입력되는 이벤트들간의 시간적 연관성을 나타낼 수 있다. 또한, 두 개의 타겟 센싱 유닛으로부터 동시에 두 개의 이벤트가 제n시공간 상관기(121-n)로 입력되면, 즉, 두 개의 타겟 센싱 유닛이 근접하며, 동일한 제n시공간 상관기(121-n)에 연결되어 있으면, 두 개의 이벤트들은 공간적으로 높은 연관성을 갖는다. 두 개의 타겟 센싱 유닛으로부터 동시에 두 개의 이벤트가 입력되었으므로 두 개의 이벤트들은 시간적 상관성도 갖는다.
한편, 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)은 서로 공간적인 연관성을 가질 수 있다.
도 4는 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n) 간의 공간적인 연관성을 설명하기 위한 도면이다.
도 4를 참조하면, 제1이미지 센서(111)는 복수 개의 수신 필드들로 논리적으로 분할될 수 있다. 분할된 수신 필드들은 적어도 하나의 주변 영역과 오버랩된다. 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)은 제1이미지 센서(111)의 분할된 수신 필드들과 각각 매핑될 수 있다. 각 수신 필드에 위치하는 센싱 유닛들은 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n) 중 대응하는 시공간 상관기에게 이벤트를 출력한다.
도 4에서, C(i,j)는 제1이미지 센서(111)의 중심에 위치하는 수신 필드의 중심 좌표이다. C(i-1,j)는 중심 좌표가 x축 방향(즉, 수평 방향)으로 '1'만큼 이동한 수신 필드의 중심 좌표이다. 도 4의 경우, '1'은 3개의 픽셀만큼 이격되었음을 의미하며, 이는 변경가능하다.
도 4에 도시된 바와 같이, 수신 필드들이 일부 오버랩되는 것은 동일한 이벤트가 동시에 적어도 두 개의 시공간 상관기로 출력될 수 있음을 의미한다. 수신 필드들이 일부 오버랩되는 영역을 가짐으로써, 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n) 간의 공간적 상관도 또는 수신 필드들 간의 공간적 상관도가 부여될 수 있다. 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n) 간의 공간적 상관도는 움직임 궤적을 추적할 때 영향을 미칠 수 있다.
다시 도 2를 참조하면, 제1움직임 궤적 추적부(123)는 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)로부터 각각 산출되는 시공간 상관도의 출력값, 즉, 고저(高低)를 이용하여, 움직임이 발생한 부분의 움직임 궤적을 추적할 수 있다.
제1움직임 궤적 추적부(123)는 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n) 중 시공간 상관도가 높은 시공간 상관기들을 그룹핑하여 하나의 클러스터를 생성한다. 구체적으로 설명하면, 제1움직임 궤적 추적부(123)는 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n) 중 '1'을 출력한 시공간 상관기들을 수신 필드의 겹침을 기준으로 그룹핑한다. 즉, 제1움직임 궤적 추적부(123)는 서로 겹치는 시공간 상관기들을 그룹핑하여 하나의 클러스터를 생성한다. '1'을 출력하였음은 높은 시공간 상관도를 가짐을 의미한다.
도 5는 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)을 그룹핑하여 제1 내지 제3클러스터들(cluster n, n=1, 2, 3)을 생성한 일 예를 보여주는 도면이다.
도 5를 참조하면, 제1클러스터(cluster 1)는 서로 오버랩되는 두 개의 수신 필드(51, 53)를 그룹핑하여 생성된다. 제2클러스터(cluster 2)는 서로 오버랩되는 10의 수신 필드들을 그룹핑하여 생성된다. 제3클러스터(cluster 3)는 서로 오버랩되는 7개의 수신 필드들을 그룹핑하여 생성된다.
한편, 제1움직임 궤적 추적부(123)는 클러스터를 이용하여 움직임이 발생한 부분의 위치를 알 수 있다. 즉, 제1이미지 센서(111)는 광의 광도에 변화가 있는 타겟 센싱 유닛만 이벤트를 출력하므로, 이벤트들 간의 시공간 상관도를 이용하여 움직임이 발생한 부분을 찾을 수 있다. 이를 위하여, 제1움직임 궤적 추적부(123)는 클러스터의 중심 위치를 산출하며, 산출된 중심 위치와 이전에 산출된 클러스터의 중심 위치를 연계하여 움직임 궤적을 추적할 수 있다. 클러스터는 움직임이 발생한 부분에 대응하는 형상을 가질 수 있다.
제1움직임 궤적 추적부(123)는 클러스터에 포함된 각 시공간 상관기의 위치와 상수를 승산하고, 승산 결과들의 평균값을 클러스터의 중심 위치로 정할 수 있다. 시공간 상관기의 위치는 시공간 상관기가 커버하는 영역을 대표하는 위치일 수 있다. 상수는 시공간 상관기들에서 산출된 내부 상태값(Q(t)), 특정 시간 구간 동안 시공간 상관기들에게 입력된 이벤트들의 개수 등 다양한 값이 될 수 있다.
예를 들어, 클러스터가 제1 및 제2시공간 상관기(121-1, 121-2)의 그룹핑에 의해 생성되었으며, 제1시공간 상관기(121-1)의 내부 상태값은 Q1, 제2시공간 상관기(121-2)의 내부 상태값은 Q2이다. 그리고, 제1시공간 상관기(121-1)를 대표하는 위치는 (x1, y1), 제2시공간 상관기(121-2)를 대표하는 위치는 (x2, y2)이다. 제1움직임 궤적 추적부(123)는 [수학식 2]를 이용하여 클러스터의 중심 위치를 산출할 수 있다.
Figure pat00006
Figure pat00007
[수학식 2]에서, x'는 클러스터의 중심 위치의 x좌표, y'는 중심 위치의 y좌표이다.
도 6은 생성된 클러스터를 이용하여 움직임이 발생한 부분의 움직임 궤적을 추적하는 일 예를 설명하기 위한 도면이다.
제1움직임 궤적 추적부(123)는 클러스터가 생성될 때마다 클러스터의 중심 위치를 산출한다. 도 6을 참조하면, 제1움직임 궤적 추적부(123)는 시간 t1, t2, t3에서 순차적으로 클러스터를 생성하고, 각 클러스터의 중심 위치를 산출한다. 그리고, 제1움직임 궤적 추적부(123)는 산출된 중심 위치를 연결하여 움직임 궤적을 추적한다. 즉, 움직임이 발생한 부분의 움직임 궤적은, 그룹화된 시공간 상관기들(즉, 그룹화된 수신 필드들)의 위치를 산출함으로써 추적될 수 있다.
도 7은 출력되는 이벤트로부터 움직임 궤적을 추적하는 일련의 과정을 보여주는 도면이다.
도 7을 참조하면, 흰색 포인트는 광의 강도가 감소하여 발생한 'off' 극성의 이벤트, 검은색 포인트는 광의 광도가 증가하여 발생한 'on' 극성의 이벤트이다. 이벤트들이 모여있는 부분이 제1이미지 센서(111)에 의해 센싱된 움직임이 있는 부분이다. 이벤트들의 밀집도가 클수록 움직임 변화가 큼을 의미한다. 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)은 입력되는 이벤트들을 이용하여 시공간 상관도의 고저를 나타내는 출력값을 출력한다. 제1움직임 궤적 추적부(123)는 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n) 중 '1'을 출력한 시공간 상관기들을 그룹핑하여 클러스터를 생성하고, 클러스터의 중심 위치(p)를 산출한다. 제1움직임 궤적 추적부(123)는 산출된 중심 위치를 이전에 산출된 중심 위치와 연결하여 움직임 궤적을 추적할 수 있다. 도 7에서 'object'는 움직임이 발생한 부분으로서 클러스터에 대응하는 영역으로, 손을 예로 들 수 있다.
다시 도 1을 참조하면, 제1동작 패턴 판단부(130)는 제1움직임 추적부(120)에서 추적된 움직임 궤적으로부터, 움직임이 발생한 부분의 동작 패턴을 판단할 수 있다. 특히, 제1동작 패턴 판단부(130)는 추적된 움직임 궤적으로부터 동작 패턴을 표현하기 위한 특징 성분들을 구하고, 특징 성분들과 제1패턴 저장부(140)에 저장된 동작 패턴들을 비교하여, 움직임이 발생한 부분의 동작 패턴을 판단할 수 있다. 특징 성분들로는 클러스터의 위치, 클러스터가 움직인 방향, 클러스터의 움직임 각도 등 다양한 파라미터를 예로 들 수 있다.
제1패턴 저장부(140)는 복수 개의 특징 성분들의 값과 그에 대응하는 동작 패턴을 저장할 수 있다.
제1동작 제어부(150)는 판단된 동작 패턴을 참조하여 사용자의 입력 신호를 식별하고, 식별된 사용자의 입력 신호에 따라 기기(미도시)를 제어하기 위한 제어 명령을 기기에게 출력할 수 있다. 기기는 제1동작 인식 장치(100)와 유무선 통신 가능한 곳에 구비되거나, 또는, 기기 내에 제1동작 인식 장치(100)가 구비될 수 있다.
한편, 피사체의 움직임에 따라 이벤트를 출력하는 제1이미지 센서(111)는 주변 밝기에 영향을 받는다, 즉, 제1이미지 센서(111)는 주변 밝기가 어두운 경우 밝을 때 보다 상대적으로 출력하는 이벤트가 감소된다.
주변 밝기의 영향을 줄이기 위해 제1동작 인식 장치(100)는 제1광원부(160)와 제1광 측정부(170) 중에서 하나 또는 모두를 더 포함할 수도 있다.
먼저, 제1광원부(160)만 제1동작 인식 장치(100)에 추가된 경우, 제1광원부(160)는 어두울 때에도 피사체의 움직임을 정확히 센싱하기 위해 피사체를 향한 광을 출력한다. 이때, 출력하는 광은 적외선 광이 될 수 있다.
다음으로, 제1광원부(160)와 제1광 측정부(170)가 모두 제1동작 인식 장치(100)에 추가된 경우, 제1광 측정부(170)는 빛의 세기를 측정한다. 그리고, 제1광원부(160)는 제1광 측정부(170)에서 측정한 빛의 세기가 기설정한 광량보다 작은 경우, 광을 출력한다.
먼저, 제1광 측정부(170)만 제1동작 인식 장치(100)에 추가된 경우, 제1광 측정부(170)는 빛의 세기를 측정한다. 그리고, 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)은 시공간 상관도의 고저(高低)를 판단하기에 앞서 빛의 세기를 고려해서 임계값을 설정한다. 즉, 제1 내지 제n시공간 상관기들(121-1, 121-2, …, 121-n)은 빛의 세기가 약하면, 임계값을 상대적으로 낮게 설정하고, 빛의 세기가 강하면, 임계값을 상대적으로 높게 설정할 수 있다.
또한, 도 1의 예에서, 제1동작 인식 장치(100)는 제어부(미도시)를 더 포함할 수 있다. 제어부(미도시)는 제1동작 인식 장치(100)의 전반적인 동작을 제어할 수 있다. 그리고, 제어부(미도시)는 제1움직임 추적부(120), 제1동작 패턴 판단부(130) 및 제1동작 제어부(150)의 기능을 수행할 수 있다. 제어부(미도시), 제1움직임 추적부(120), 제1동작 패턴 판단부(130) 및 제1동작 제어부(150)를 구분하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 제어부(미도시)는 제1움직임 추적부(120), 제1동작 패턴 판단부(130) 및 제1동작 제어부(150) 각각의 기능을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 또한, 제어부(미도시)는 제1움직임 추적부(120), 제1동작 패턴 판단부(130) 및 제1동작 제어부(150) 각각의 기능 중 일부를 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.
도 8은 제2동작 인식 장치(200)의 구성 예를 나타낸다.
도 8을 참조하면, 피사체의 움직임에 따라 동작 패턴을 인식하는 제2동작 인식 장치(200)는 제1촬영부(811), 제2촬영부(812), 제3촬영부(813), 시차 산출부(820), 깊이 산출부(830), 합성부(840), 제2움직임 추적부(850), 제2동작 패턴 판단부(860), 제2패턴 저장부(870) 및 제2동작 제어부(880)를 포함할 수 있다.
제1 내지 제3촬영부(811, 812, 813), 제2움직임 추적부(850), 제2동작 패턴 판단부(860), 제2패턴 저장부(870) 및 제2동작 제어부(880)는 도 1의 제1촬영부(110), 제1움직임 추적부(120), 제1동작 패턴 판단부(130), 제1패턴 저장부(140) 및 제1동작 제어부(150)와 유사하므로 상세한 설명은 생략한다.
제2동작 인식 장치(200)는 복수 개의 촬영부를 포함할 수 있으며, 도 2에는 3개의 촬영부들(811, 812, 813)이 도시된다. 제1 내지 제3촬영부들(811, 812, 813)은 동일하거나 서로 다른 피사체를 촬영하며, 각각 제1 내지 제3이미지 센서(811a, 812a, 813a)를 구비한다. 제1 내지 제3이미지 센서(811a, 812a, 813a)는 움직임이 발생한 부분을 센싱하여 이벤트를 출력하며, 제1이미지 센서(111)와 유사한 동작을 수행한다.
시차 산출부(820)는 제1 내지 제3이미지 센서들(811a, 812a, 813a)로부터 출력되는 이벤트들의 히스토그램을 이용하여, 제1 내지 제3이미지 센서들(811a, 812a, 813a) 간의 시차(disparity)를 산출할 수 있다. 예를 들어, 두 개의 제1 및 제2촬영부(811, 812)가 구비되고, 동일한 피사체를 촬영하는 경우, 제1촬영부(811) 및 제2촬영부(812)는 각각 사람의 좌안과 우안에 대응하며, 따라서, 산출되는 시차는 양안 시차일 수 있다.
한편, 제1 내지 제3촬영부들(811, 812, 813)을 이용하여 동작 인식을 수행하는 경우, 제2동작 인식 장치(800)는 움직임이 발생한 부분의 움직임을 3차원적으로 인식할 수 있다. 즉, 제2동작 인식 장치(800)는 움직임이 발생한 부분의 상하 또는 좌우의 2차원적 위치 정보뿐만 아니라, 제1 내지 제3촬영부들(811, 812, 813)과 움직임이 발생한 부분까지의 깊이를 획득할 수 있다.
도 9는 제1 및 제2촬영부(811, 812)의 제1 및 제2이미지 센서들(811a, 812a)로부터 출력된 이벤트들의 일 예를 도시한 도면이다.
도 9를 참조하면, 제1이벤트는 제1이미지 센서(811a)로부터 출력되는 이벤트, 제2이벤트는 제2이미지 센서(812a)로부터 출력되는 이벤트이다. 제1이벤트와 제2이벤트의 분포 형태는 유사함을 알 수 있다.
시차 산출부(820)는 제1이벤트에 대한 제1히스토그램과, 제2이벤트에 대한 제2히스토그램을 x축 어드레스를 기준으로 구한다.
도 10은 이벤트들의 히스토그램으로부터 시차를 구하는 과정을 설명하기 위한 도면이다.
도 10을 참조하면, x축 어드레스는 제1이미지 센서(811a)를 이루는 센싱 유닛들의 위치 중 x축 좌표이며, Bins는 동시에 제1이벤트를 발생한 타겟 센싱 유닛들 중 동일한 x축 어드레스(xi)를 가지는 타겟 센싱 유닛들의 개수이다. 제1 히스토그램은 모든 x축 어드레스에 대해 Bins가 산출된 결과이다. 이는 제2히스토그램 역시 이와 동일하므로 상세한 설명은 생략한다.
시차 산출부(820)는 제1히스토그램과 제2히스토그램의 상호 연관성을 이용하여 양안 시차의 값을 구할 수 있다. 즉, 시차 산출부(820)는 제1히스토그램과 제2히스토그램 중 하나, 예를 들어, 제1히스토그램을, x축 방향으로 일정 오프셋 간격으로 이동하며, 이동된 후 제1히스토그램과 제2히스토그램의 상호 연관성을 구한다. 상호 연관성은 제1 및 제2히스토그램의 형태의 닮은 정도를 나타내며, 상호 연관성이 1이면 서로 일치함을 의미한다. 시차 산출부(820)는 제1히스토그램과 제2히스토그램과 가장 일치할 때, 즉, 상호 연관성이 1에 가장 근접하거나 1인 경우, 제1히스토그램이 이동한 거리를 양안 시차로 정한다.
깊이 산출부(830)는 산출된 시차, 예를 들어, 양안 시차를 이용하여 움직임이 발생한 부분의 깊이를 산출할 수 있다. 시차로부터 깊이를 산출하는 알고리즘은 주지된 다양한 기술들 중 하나를 사용할 수 있다. 산출된 시차가 클수록 움직임이 발생한 부분이 제1 및 제2촬영부들(811, 812)과 가까이 있음을 의미한다.
합성부(840)는 시차 산출부(820)에서 산출된 시차를 기준으로 제1 및 제2이미지 센서(812a)로부터 출력되는 이벤트들을 합성하여, 이벤트들로 이루어지는 하나의 영상을 출력할 수 있다. 예를 들어, 합성부(840)는 도 10에 의해 산출된 양안 시차를 이용하여 움직임이 가장 큰 부분이 가장 잘 겹치도록, 제1 및 제2이미지 센서들(811a, 812a)로부터 출력되는 제1 및 제2이벤트들로 이루어지는 영상을 합성할 수 있다.
제2움직임 추적부(850)는 합성부(840)로부터 출력되는 영상의 이벤트들로부터, 복수 개의 시공간 상관기들을 이용하여 움직임이 발생한 부분을 판단 및 움직임 궤적을 추적할 수 있다. 합성부(840)로부터 출력되는 영상을 이루는 이벤트들의 분포는 밀집된 영역과 덜 밀집된 영역으로 구분될 수 있다. 제2움직임 추적부(850)는 이벤트들의 밀집도가 가장 큰 영역의 이벤트들을 이용하여 움직임 궤적을 추적할 수 있다. 이벤트들의 밀집도가 큰 것은 움직임 정도가 큰 것을 의미하기 때문이다.
제2움직임 추적부(850)는 움직임 궤적을 추적할 때, 깊이 산출부(830)를 통해 산출된 움직임이 발생한 부분의 깊이를 고려할 수 있다. 보다 상세히 설명하면,
제2움직임 추적부(850)에 포함된 시공간 상관기들은 시공간 상관도의 고저(高低)를 판단하기에 앞서 움직임이 발생한 부분의 깊이를 고려해서 임계값을 설정한다. 즉, 제2움직임 추적부(850)에 포함된 시공간 상관기들은 움직임이 발생한 부분의 깊이가 멀면, 임계값을 상대적으로 낮게 설정하고, 움직임이 발생한 부분의 깊이가 가까우면, 임계값을 상대적으로 높게 설정할 수 있다.
제2동작 패턴 판단부(860)는 제2움직임 추적부(850)에서 추적된 움직임 궤적으로부터, 움직임이 발생한 부분의 동작 패턴을 판단할 수 있다. 특히, 제2동작 패턴 판단부(860)는 제2패턴 저장부(870)에 저장된 동작 패턴들을 이용하여, 움직임이 발생한 부분의 동작 패턴을 판단할 수 있다.
제2동작 제어부(880)는 판단된 동작 패턴을 참조하여 사용자의 입력 신호를 식별하고, 식별된 사용자의 입력 신호에 따라 기기(미도시)를 제어하기 위한 제어 명령을 기기에게 출력할 수 있다.
한편, 피사체의 움직임에 따라 이벤트를 출력하는 제1 내지 제3이미지 센서들(811a, 812a, 813a)은 주변 밝기에 영향을 받는다, 즉, 제1 내지 제3이미지 센서들(811a, 812a, 813a)은 주변 밝기가 어두운 경우 밝을 때 보다 상대적으로 출력하는 이벤트가 감소된다.
주변 밝기의 영향을 줄이기 위해 제2동작 인식 장치(200)는 제2광원부(890)와 제2광 측정부(895) 중에서 하나 또는 모두를 더 포함할 수도 있다.
먼저, 제2광원부(890)만 제2동작 인식 장치(200)에 추가된 경우, 제2광원부(890)는 어두울 때에도 피사체의 움직임을 정확히 센싱하기 위해 피사체를 향한 광을 출력한다. 이때, 출력하는 광은 적외선 광이 될 수 있다.
다음으로, 제2광원부(890)와 제2광 측정부(895)가 모두 제1동작 인식 장치(100)에 추가된 경우, 제2광 측정부(895)는 빛의 세기를 측정한다. 그리고, 제2광원부(890)는 제2광 측정부(895)에서 측정한 빛의 세기가 기설정한 광량보다 작은 경우, 광을 출력한다.
먼저, 제2광 측정부(895)만 제2동작 인식 장치(200)에 추가된 경우, 제2광 측정부(895)는 빛의 세기를 측정한다. 그리고, 제2움직임 추적부(850)에 포함된 시공간 상관기들은 시공간 상관도의 고저(高低)를 판단하기에 앞서 빛의 세기를 고려해서 임계값을 설정한다. 즉, 제2움직임 추적부(850)에 포함된 시공간 상관기들은 빛의 세기가 약하면, 임계값을 상대적으로 낮게 설정하고, 빛의 세기가 강하면, 임계값을 상대적으로 높게 설정할 수 있다.
또한, 도 8의 예에서, 제2동작 인식 장치(800)는 제어부(미도시)를 더 포함할 수 있다. 제어부(미도시)는 제2동작 인식 장치(800)의 전반적인 동작을 제어할 수 있다. 그리고, 제어부(미도시)는 시차 산출부(820), 깊이 산출부(830), 합성부(840), 제2움직임 추적부(850), 제2동작 패턴 판단부(860) 및 제2동작 제어부(880)의 기능을 수행할 수 있다. 제어부(미도시), 시차 산출부(820), 깊이 산출부(830), 합성부(840), 제2움직임 추적부(850), 제2동작 패턴 판단부(860) 및 제2동작 제어부(880)를 구분하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 제어부(미도시)는 시차 산출부(820), 깊이 산출부(830), 합성부(840), 제2움직임 추적부(850), 제2동작 패턴 판단부(860) 및 제2동작 제어부(880) 각각의 기능을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 또한, 제어부(미도시)는 시차 산출부(820), 깊이 산출부(830), 합성부(840), 제2움직임 추적부(850), 제2동작 패턴 판단부(860) 및 제2동작 제어부(880) 각각의 기능 중 일부를 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.
도 11은 제1동작 인식 장치의 동작 인식 방법을 설명하기 위한 흐름도이다.
도 11의 각 단계는 도 1의 제1동작 인식 장치(100)의 제어부(미도시) 또는 프로세서(미도시)에 의해 동작될 수 있다.
1110단계에서, 제1동작 인식 장치는 광 측정부를 포함하는 경우 빛의 세기를 측정한다,
1112단계에서. 제1동작 인식 장치는 피사체의 움직임을 센싱하기 위해 피사체를 향한 광을 출력한다. 이때, 1112단계의 광 출력은 피사체를 촬영할 때마다 발생할 수도 있고, 1110단계에서 측정한 빛의 세기가 기설정한 광량 미만인 경우에만 출력될 수도 있다.
상기 1110단계와 1112단계는 선택적인 단계로 동작 인식 방법에 포함되지 않을 수도 있고, 두 단계의 일부만 포함될 수도 있다.
1114단계에서, 제1동작 인식 장치는 카메라를 이용하여 피사체를 촬영하며, 피사체를 촬영 중 움직임이 발생한 부분에 대응하는 센싱 유닛을 통해 이벤트들을 대응하는 시공간 상관기들에게 출력한다. 카메라는 복수 개의 센싱 유닛들이 어레이된 이미지 센서를 구비하며, 이미지 센서는 광 강도의 변화량을 통해 움직임이 발생한 부분의 센싱 유닛이 이벤트를 출력하도록 한다.
1116단계에서 시공간 상관도의 고저(高低)를 판단하는 척도인 임계값을 설정한다. 이때, 임계값은 실험에 의해 기설정된 값으로 고정될 수도 있고, 1110단계에서 측정한 빛의 세기에 따라 가변 될 수도 있다.
1118단계에서, 제1동작 인식 장치는 입력되는 이벤트들을 이용하여 시공간 상관기들의 내부 상태값을 증가시킨다. 내부 상태값은 이벤트들 간의 시공간 상관도를 나타내는 척도가 될 수 있다.
1120단계에서, 제1동작 인식 장치는 시공간 상관기들 별로 내부 상태값과 임계값을 비교한다.
1120단계의 비교결과, 증가된 내부 상태값이 설정된 임계값을 초과하면, 1122단계에서, 제1동작 인식 장치는 해당 시공간 상관기의 시공간 상관도가 높은 것으로 판단하고, 출력값 '1'을 출력한다.
1120단계의 비교결과, 증가된 내부 상태값이 설정된 임계값을 이하하면, 1124단계에서, 제1동작 인식 장치는 해당 시공간 상관기의 시공간 상관도가 낮은 것으로 판단하고, 출력값 '0'을 출력한다.
1126단계에서, 제1동작 인식 장치는 출력값이 '1'인 시공간 상관기들을 그룹핑하여 클러스터를 생성한다. 이 때, 제1동작 인식 장치는 주변의 시공간 상관기들과 오버랩되는 시공간 상관기들을 하나의 클러스터로 그룹핑한다.
1128단계에서, 제1동작 인식 장치는 각 클러스터의 중심 위치를 산출한다. 예를 들어, 제1동작 인식 장치는 클러스터에 포함된 각 시공간 상관기의 위치와 상수를 이용하여 클러스터의 중심 위치를 구할 수 있다.
1130단계에서, 제1동작 인식 장치는 산출된 중심 위치와 이전에 산출된 클러스터의 중심 위치를 연계하여 움직임이 발생한 부분의 움직임 궤적을 추적한다.
1132단계에서, 제1동작 인식 장치는 추적된 움직임 궤적으로부터 동작 패턴을 표현하기 위한 특징 성분들을 추출한다.
1134단계에서, 제1동작 인식 장치는 추출된 특징 성분들과 기저장된 동작 패턴들을 비교하여, 움직임이 발생한 부분의 동작 패턴을 판단하고, 판단된 동작 패턴을 참조하여 기기(미도시)의 동작을 제어할 수 있다. 기기(미도시)는 제1동작 인식 장치와 연결되어 있거나, 기기 내에 제1동작 인식 장치가 구비될 수 있다.
도 12는 제2동작 인식 장치의 동작 인식 방법을 설명하기 위한 흐름도이다.
도 12의 각 단계는 도 8의 제2동작 인식 장치(800)의 제어부(미도시) 또는 프로세서(미도시)에 의해 동작될 수 있다.
1210단계에서, 제2동작 인식 장치는 광 측정부를 포함하는 경우 빛의 세기를 측정한다,
1212단계에서. 제1동작 인식 장치는 피사체의 움직임을 센싱하기 위해 피사체를 향한 광을 출력한다. 이때, 1212단계의 광 출력은 피사체를 촬영할 때마다 발생할 수도 있고, 1210단계에서 측정한 빛의 세기가 기설정한 광량 미만인 경우에만 출력될 수도 있다.
상기 1210단계와 1212단계는 선택적인 단계로 동작 인식 방법에 포함되지 않을 수도 있고, 두 단계의 일부만 포함될 수도 있다.
1214단계에서, 제2동작 인식 장치는 복수 개의 카메라를 이용하여 피사체를 촬영하며, 피사체 중 움직임이 발생한 부분에 대응하는 타겟 센싱 유닛을 통해 이벤트들을 해당 시공간 상관기들에게 출력한다.
1216단계에서, 제2동작 인식 장치는 복수 개의 카메라에 구비된 이미지 센서들로부터 출력되는 이벤트들에 대한 히스토그램을 생성한다.
1218단계에서, 제2동작 인식 장치는 생성된 히스토그램들 중 하나를 x축 방향으로 일정 오프셋 간격으로 이동하며, 이동된 후 히스토그램들 간의 상호 연관성을 구한다.
1220단계에서, 제2동작 인식 장치는 상호 연관성이 가장 클 때, 즉, 상호 연관성이 1에 가장 근접하거나 1인 경우, 히스토그램이 x축 방향으로 이동한 거리(즉, 오프셋)를 시차로 정한다.
1222단계에서, 제2동작 인식 장치는 산출된 시차를 이용하여 움직임이 발생한 부분의 깊이를 산출할 수 있다.
1224단계에서, 제2동작 인식 장치는 산출된 시차를 기준으로, 1214단계로부터 입력되는 이벤트들을 합성하여, 이벤트들로 이루어지는 하나의 영상을 출력할 수 있다.
1226단계에서 시공간 상관도의 고저(高低)를 판단하는 척도인 임계값을 설정한다. 이때, 임계값은 실험에 의해 기설정된 값으로 고정될 수도 있고, 1210단계에서 측정한 빛의 세기에 따라 가변 될 수도 있다.
복수 개의 카메라에 의해 획득되는 이벤트들로 이루어지는 영상이 하나로 합성되고, 임계값이 설정되면, 제2동작 인식 장치는 도 11의 1118단계로 진입하여 움직임 궤적을 추적하고 동작을 제어하는 동작을 수행할 수 있다. 즉, 이벤트들이 합성된 이후의 동작은 도 11을 참조하여 설명한 동작과 유사하므로 상세한 설명은 생략한다.
상술한 제1 및 제2동작 인식 장치는 TV, 컴퓨터, Game Console등 다양한 어플리케이션 프로그램을 활용하는 기기에서 기존의 Remote Controller를 대체하여 응용될 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 제1동작 인식 장치 110: 제1촬영부
120: 제1움직임 추적부 130: 제1동작 패턴 판단부
140: 제1패턴 저장부 150: 제1동작 제어부
160: 제1광원부 170: 제1광 측정부
121-1, 121-2, …, 121-n: 제1 내지 제n시공간 상관기들

Claims (28)

  1. 피사체 중 움직임이 발생한 부분을 센싱하여 이벤트들을 출력하는 이미지 센서;
    상기 출력되는 이벤트들의 시공간 상관도를 이용하여 상기 움직임이 발생한 부분의 움직임 궤적을 추적하는 움직임 추적부; 및
    상기 추적된 움직임 궤적으로부터 상기 움직임이 발생한 부분의 동작 패턴을 판단하는 동작 패턴 판단부
    를 포함하는, 동작 인식 장치.
  2. 제1항에 있어서,
    상기 피사체의 움직임을 센싱하기 위해 상기 피사체를 향한 광을 출력하는 광원부
    를 더 포함하는, 동작 인식 장치.
  3. 제2항에 있어서,
    상기 광원부는,
    적외선 광을 출력하는,
    동작 인식 장치.
  4. 제1항에 있어서,
    빛의 세기를 측정하는 광 측정부; 및
    상기 광 측정부에서 측정한 상기 빛의 세기가 기설정한 광량보다 작은 경우, 광을 출력하는 광원부
    를 더 포함하는, 동작 인식 장치.
  5. 제1항에 있어서,
    상기 이미지 센서가 복수 개인 경우, 상기 복수 개의 이미지 센서들로부터 출력되는 이벤트들의 히스토그램을 이용하여, 상기 이미지 센서들 간의 시차를 산출하는 시차 산출부; 및
    상기 산출된 시차를 기준으로 상기 복수 개의 이미지 센서들로부터 출력되는 이벤트들을 합성하는 합성부
    를 더 포함하는, 동작 인식 장치.
  6. 제5항에 있어서,
    상기 산출된 시차를 이용하여 상기 움직임이 발생한 부분의 깊이를 산출하는 깊이 산출부
    를 더 포함하는, 동작 인식 장치.
  7. 제1항에 있어서,
    상기 이미지 센서는, 복수 개의 센싱 유닛들로 이루어지며, 상기 복수 개의 센싱 유닛들 중 상기 움직임이 발생한 부분에 대응하는 타겟 센싱 유닛들이 상기 이벤트를 출력하는, 동작 인식 장치.
  8. 제7항에 있어서,
    상기 움직임 추적부는,
    상기 타겟 센싱 유닛들로부터 입력되는 이벤트들을 이용하여, 상기 타겟 센싱 유닛들 간의 시공간 상관도를 각각 산출하는 복수 개의 시공간 상관기들; 및
    상기 각각 산출되는 시공간 상관도의 고저(高低)를 이용하여, 상기 움직임이 발생한 부분의 움직임 궤적을 추적하는 움직임 궤적 추적부
    를 포함하는, 동작 인식 장치.
  9. 제8항에 있어서,
    상기 복수 개의 시공간 상관기들은, 각각 상기 시공간 상관도를 나타내는 내부 상태값을 가지며, 상기 이벤트들이 입력될 때마다 상기 내부 상태값을 증가시키고, 상기 증가된 내부 상태값과 설정된 임계값을 비교하여 상기 시공간 상관도의 고저를 판단하는, 동작 인식 장치.
  10. 제9항에 있어서,
    상기 동작 인식 장치는 빛의 세기를 측정하는 광 측정부를 더 포함하고,
    상기 복수 개의 시공간 상관기들은,
    상기 빛의 세기를 고려해서 상기 임계값을 설정하는
    동작 인식 장치.
  11. 제9항에 있어서,
    상기 동작 인식 장치는 상기 이미지 센서가 복수 개인 경우, 상기 이미지 센서들 간의 시차를 이용하여 상기 움직임이 발생한 부분의 깊이를 산출하는 깊이 산출부를 더 포함하고,
    상기 복수 개의 시공간 상관기들은,
    상기 움직임이 발생한 부분의 깊이를 고려해서 상기 임계값을 설정하는
    동작 인식 장치.
  12. 제8항에 있어서,
    상기 움직임 궤적 추적부는, 상기 복수 개의 시공간 상관기들 중 상기 시공간 상관도가 높은 시공간 상관기들을 그룹핑하여 하나의 클러스터-상기 움직임이 발생한 부분에 대응하는 형상임-를 생성하고, 상기 생성된 클러스터의 중심 위치와 이전에 산출된 클러스터의 중심 위치를 연계하여 상기 움직임 궤적을 추적하는, 동작 인식 장치.
  13. 제8항에 있어서,
    상기 복수 개의 시공간 상관기들은, 상기 이미지 센서의 분할된 영역들과 각각 매핑되며, 상기 분할된 영역들은 적어도 하나의 주변 영역과 오버랩되는, 동작 인식 장치.
  14. 제1항에 있어서,
    상기 판단된 동작 패턴을 참조하여 제어 명령을 출력하는 동작 제어부
    를 더 포함하는, 동작 인식 장치.
  15. 이미지 센서에 의해 촬영되는 피사체 중 움직임이 발생한 부분을 센싱하여 이벤트들을 출력하는 단계;
    상기 출력되는 이벤트들의 시공간 상관도를 이용하여 상기 움직임이 발생한 부분의 움직임 궤적을 추적하는 단계; 및
    상기 추적된 움직임 궤적으로부터 상기 움직임이 발생한 부분의 동작 패턴을 판단하는 단계
    를 포함하는, 동작 인식 방법.
  16. 제15항에 있어서,
    상기 이벤트들을 출력하는 단계 이전에,
    상기 피사체의 움직임을 센싱하기 위해 상기 피사체를 향한 광을 출력하는 단계
    를 더 포함하는, 동작 인식 방법.
  17. 제15항에 있어서,
    상기 이벤트들을 출력하는 단계 이전에,
    빛의 세기를 측정하는 단계; 및
    상기 광 측정부에서 측정한 상기 빛의 세기가 기설정한 광량보다 작은 경우, 광을 출력하는 단계
    를 더 포함하는, 동작 인식 방법.
  18. 제15항에 있어서,
    상기 이미지 센서가 복수 개인 경우, 상기 복수 개의 이미지 센서들로부터 출력되는 이벤트들의 히스토그램을 이용하여, 상기 이미지 센서들 간의 시차를 산출하는 단계; 및
    상기 산출된 시차를 기준으로 상기 복수 개의 이미지 센서들로부터 출력되는 이벤트들을 합성하는 단계
    를 더 포함하는, 동작 인식 방법.
  19. 제18항에 있어서,
    상기 산출된 시차를 이용하여 상기 움직임이 발생한 부분의 깊이를 산출하는 단계
    를 더 포함하는, 동작 인식 방법.
  20. 제15항에 있어서,
    상기 이미지 센서는, 복수 개의 센싱 유닛들로 이루어지며, 상기 복수 개의 센싱 유닛들 중 상기 움직임이 발생한 부분에 대응하는 타겟 센싱 유닛들이 상기 이벤트를 출력하는, 동작 인식 방법.
  21. 제20항에 있어서,
    복수 개의 시공간 상관기들이, 상기 타겟 센싱 유닛들로부터 입력되는 이벤트들을 이용하여, 상기 타겟 센싱 유닛들 간의 시공간 상관도를 각각 산출하는 단계
    를 더 포함하며,
    상기 추적하는 단계는,
    상기 각각 산출되는 시공간 상관도의 고저(高低)를 이용하여, 상기 움직임이 발생한 부분의 움직임 궤적을 추적하는, 동작 인식 방법.
  22. 제21항에 있어서,
    상기 복수 개의 시공간 상관기들은 각각 상기 시공간 상관도를 나타내는 내부 상태값을 가지며,
    상기 산출하는 단계는,
    상기 이벤트들이 입력될 때마다 상기 내부 상태값을 증가시키고, 상기 증가된 내부 상태값과 설정된 임계값을 비교하여 상기 시공간 상관도의 고저를 판단하는, 동작 인식 방법.
  23. 제22항에 있어서,
    빛의 세기를 측정하는 단계를 더 포함하고,
    상기 산출하는 단계는,
    상기 빛의 세기를 고려해서 상기 임계값을 설정하는
    동작 인식 방법.
  24. 제22항에 있어서,
    상기 이미지 센서가 복수 개인 경우, 상기 이미지 센서들 간의 시차를 이용하여 상기 움직임이 발생한 부분의 깊이를 산출하는 단계를 더 포함하고,
    상기 산출하는 단계는,
    상기 움직임이 발생한 부분의 깊이를 고려해서 상기 임계값을 설정하는
    동작 인식 방법.
  25. 제21항에 있어서,
    상기 움직임 궤적을 추적하는 단계는,
    상기 복수 개의 시공간 상관기들 중 상기 시공간 상관도가 높은 시공간 상관기들을 그룹핑하여 하나의 클러스터-상기 움직임이 발생한 부분에 대응하는 형상임-를 생성하는 단계;
    상기 생성된 클러스터의 중심 위치를 산출하는 단계; 및
    상기 산출된 중심 위치와 이전에 산출된 클러스터의 중심 위치를 연계하여 상기 움직임 궤적을 추적하는 단계
    를 포함하는, 동작 인식 방법.
  26. 제21항에 있어서,
    상기 복수 개의 시공간 상관기들은 상기 이미지 센서의 분할된 영역들과 각각 매핑되며, 상기 분할된 영역들은 적어도 하나의 주변 영역과 오버랩되는, 동작 인식 방법.
  27. 제15항에 있어서,
    상기 판단된 동작 패턴을 참조하여 제어 명령을 출력하는 단계
    를 더 포함하는, 동작 인식 방법.
  28. 피사체 중 움직임이 발생한 부분을 센싱하여 이벤트들을 출력하는 이미지 센서; 및
    상기 출력되는 이벤트들의 시공간 상관도를 이용하여 상기 움직임이 발생한 부분의 움직임 궤적을 추적하고, 상기 추적된 움직임 궤적으로부터 상기 움직임이 발생한 부분의 동작 패턴을 판단하고, 상기 판단된 동작 패턴을 참조하여 대응하는 사용자의 입력 신호를 식별하도록 구성된(configured) 적어도 하나의 프로세서,
    를 포함하는, 사용자의 동작 입력을 감지하는 동작 인식 장치.
KR1020110031492A 2010-09-10 2011-04-06 동작 인식 장치 및 그 방법 KR101779564B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/229,429 US8698092B2 (en) 2010-09-10 2011-09-09 Method and apparatus for motion recognition
US14/199,164 US9317127B2 (en) 2010-09-10 2014-03-06 Method and apparatus for motion recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100089040 2010-09-10
KR20100089040 2010-09-10

Publications (2)

Publication Number Publication Date
KR20120026956A true KR20120026956A (ko) 2012-03-20
KR101779564B1 KR101779564B1 (ko) 2017-09-20

Family

ID=46132613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110031492A KR101779564B1 (ko) 2010-09-10 2011-04-06 동작 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101779564B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140011690A (ko) * 2012-07-18 2014-01-29 삼성전자주식회사 반사광의 광량 변화를 이용한 근접 센서 및 근접 센싱 방법
KR20150014342A (ko) * 2013-07-29 2015-02-06 삼성전자주식회사 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법
KR20150082871A (ko) * 2014-01-08 2015-07-16 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2015174623A1 (ko) * 2014-05-16 2015-11-19 삼성전자주식회사 입력 처리 장치 및 방법
KR20160058449A (ko) * 2014-11-17 2016-05-25 삼성전자주식회사 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
US9767571B2 (en) 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
US10366498B2 (en) 2015-07-30 2019-07-30 Samsung Electronics Co., Ltd. Method and device for recognizing motion

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488042B2 (en) 2009-01-28 2013-07-16 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140011690A (ko) * 2012-07-18 2014-01-29 삼성전자주식회사 반사광의 광량 변화를 이용한 근접 센서 및 근접 센싱 방법
KR20150014342A (ko) * 2013-07-29 2015-02-06 삼성전자주식회사 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법
US9767571B2 (en) 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
KR20150082871A (ko) * 2014-01-08 2015-07-16 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2015174623A1 (ko) * 2014-05-16 2015-11-19 삼성전자주식회사 입력 처리 장치 및 방법
KR20150131761A (ko) * 2014-05-16 2015-11-25 삼성전자주식회사 입력 처리 장치 및 방법
US10817138B2 (en) 2014-05-16 2020-10-27 Samsung Electronics Co., Ltd. Device and method for input process
KR20160058449A (ko) * 2014-11-17 2016-05-25 삼성전자주식회사 이벤트에 기반하여 객체의 이동을 감지하는 장치 및 방법
US10366498B2 (en) 2015-07-30 2019-07-30 Samsung Electronics Co., Ltd. Method and device for recognizing motion
US10970850B2 (en) 2015-07-30 2021-04-06 Samsung Electronics Co., Ltd. Method and device for recognizing motion

Also Published As

Publication number Publication date
KR101779564B1 (ko) 2017-09-20

Similar Documents

Publication Publication Date Title
KR101792866B1 (ko) 이벤트 센서와 칼라 센서를 이용한 동작 인식 장치 및 그 방법
US8698092B2 (en) Method and apparatus for motion recognition
KR101880998B1 (ko) 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
CN107466411B (zh) 二维红外深度感测
CN109076145B (zh) 用于主动式照明深度相机的自动范围控制
KR101779564B1 (ko) 동작 인식 장치 및 그 방법
CN204480228U (zh) 运动感测和成像设备
US9465444B1 (en) Object recognition for gesture tracking
CN108156450B (zh) 用于校准摄像机的方法、校准设备、校准系统以及机器可读的存储介质
US20140037135A1 (en) Context-driven adjustment of camera parameters
CN111417983A (zh) 基于事件相机的可变形对象跟踪
US20120056982A1 (en) Depth camera based on structured light and stereo vision
US20150002419A1 (en) Recognizing interactions with hot zones
CN103970264B (zh) 手势辨识与控制方法及其装置
CN110998659A (zh) 图像处理系统、图像处理方法、及程序
JP7334141B2 (ja) マルチモーダル密対応関係画像処理システム、レーダー撮像システム、方法およびブログラム
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
TW201351977A (zh) 用於影像辨識之影像擷取方法及其系統
Le Ba et al. A 256 pixel, 21.6 μW infrared gesture recognition processor for smart devices
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
KR101289883B1 (ko) 영역 별로 임계치를 다르게 적용한 마스크 이미지 생성 장치 및 그 방법
CN117128892A (zh) 一种三维信息测量装置、测量方法和电子设备
CN113841180A (zh) 用于捕获物体的运动的方法以及运动捕获系统
JP2012128692A (ja) 映像処理装置、映像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant