KR102091473B1 - 이벤트 기반 센서를 이용한 피사체의 움직임 분석 방법 - Google Patents

Abstract

피사체의 움직임 분석 방법은 이벤트 기반 센서로부터 피사체의 밝기 변화에 상응하는 복수의 이벤트들을 수신하는 단계, 이벤트들의 속도 및 방향을 계산하는 단계, 속도 및 상기 방향을 복수의 속도 구간들 및 복수의 방향 구간들로 구분하여 속도 구간들 및 방향 구간들의 조합들에 각각 상응하는 이벤트들의 빈도들을 나타내는 복수의 셀들을 포함하는 움직임 분석 테이블을 생성하는 단계 및 움직임 분석 테이블에 기초하여 피사체의 움직임을 판단하는 단계를 포함한다.

Description

이벤트 기반 센서를 이용한 피사체의 움직임 분석 방법{METHOD FOR ANALYZING MOTION OF SUBJECT USING EVENT BASED SENSOR}

본 발명은 움직임 분석에 관한 것으로서, 더욱 상세하게는 이벤트 기반 센서(Event based sensor; EBS)를 이용한 피사체의 움직임을 분석하는 방법에 관한 것이다.

이벤트 기반 센서(EBS)는 피사체의 밝기 변화에 상응하는 이벤트들을 발생시키는 이미지 센서의 일종이다. 이벤트 기반 센서를 기반으로 하는 피사체의 움직임 분석 방법은 배경의 밝기 변화가 심한 야외 환경에서 움직임 인식도가 크게 떨어지는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은 이벤트 기반 센서를 이용한 피사체의 움직임을 분석하는 방법을 제공하는데 있다.

상기 일 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 피사체의 움직임 분석 방법은 이벤트 기반 센서(Event based sensor)로부터 피사체의 밝기 변화에 상응하는 복수의 이벤트들을 수신하는 단계, 상기 이벤트들의 속도 및 방향을 계산하는 단계, 상기 속도 및 상기 방향을 복수의 속도 구간들 및 복수의 방향 구간들로 구분하여 상기 속도 구간들 및 상기 방향 구간들의 조합들에 각각 상응하는 이벤트들의 빈도들을 나타내는 복수의 셀들을 포함하는 움직임 분석 테이블을 생성하는 단계 및 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임을 판단하는 단계를 포함한다.

일 실시예에 있어서, 상기 피사체의 움직임을 판단하는 단계는 프레임 평균 속도 및 상기 움직임 분석 테이블에 기초하여 상기 움직임 분석 테이블에 포함되는 최고 빈도 셀의 방향 구간의 대표 값을 상기 피사체의 움직임 방향으로 판단하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 최고 빈도 셀의 방향 구간의 대표 값을 상기 피사체의 움직임 방향으로 판단하는 단계는 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 임계 빈도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 상기 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 다수 판별 기준치를 곱한 값보다 큰 경우에 수행될 수 있다.

일 실시예에 있어서, 상기 피사체의 움직임을 판단하는 단계는 프레임 평균 속도 및 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임 속도를 판단하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 피사체의 움직임 속도를 판단하는 단계는 상기 프레임 평균 속도가 정상 움직임 하한 속도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 제1 임계 빈도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 상기 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 제1 다수 판별 기준치를 곱한 값보다 큰 제1 케이스의 경우, 상기 피사체의 움직임 속도를 제1 정상 움직임 속도로 판단할 수 있다.

일 실시예에 있어서, 상기 피사체의 움직임 속도를 판단하는 단계는 상기 프레임 평균 속도가 정상 움직임 하한 속도보다 작고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 제2 임계 빈도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 상기 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 제2 다수 판별 기준치를 곱한 값보다 큰 제2 케이스의 경우, 상기 피사체의 움직임 속도를 제2 정상 움직임 속도로 판단할 수 있다.

일 실시예에 있어서, 상기 피사체의 움직임 속도를 판단하는 단계는 상기 제1 케이스 및 상기 제2 케이스를 제외한 경우, 상기 피사체의 움직임 속도를 0으로 판단하여 상기 피사체를 배경으로 결정할 수 있다.

일 실시예에 있어서, 상기 피사체의 움직임을 판단하는 단계는 프레임 평균 속도가 정상 움직임 하한 속도보다 작고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 임계 빈도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 상기 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 다수 판별 기준치를 곱한 값보다 작은 경우, 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계는 상기 움직임 분석 테이블의 속도 구간들에 포함되는 일부 속도 구간들의 간격을 조절할 수 있다.

일 실시예에 있어서, 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계는 상기 움직임 분석 테이블의 전체 속도 구간들의 간격을 조절할 수 있다.

일 실시예에 있어서, 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계의 수행 후, 상기 움직임 분석 테이블을 생성하는 단계 및 상기 피사체의 움직임을 판단하는 단계를 재수행할 수 있다.

일 실시예에 있어서, 상기 이벤트들은 상기 이벤트들이 발생한 픽셀의 위치 정보, 시간 정보 및 극성 정보를 포함할 수 있다.

일 실시예에 있어서, 상기 극성 정보는 양성 극성 정보 또는 음성 극성 정보일 수 있다.

일 실시예에 있어서, 상기 이벤트들의 속도 및 방향을 계산하는 단계는 제1 픽셀에서 발생한 제1 이벤트 및 상기 제1 픽셀의 주위에 위치하는 제2 픽셀에서 발생한 제2 이벤트에 기초하여 상기 제1 이벤트의 속도 및 방향을 계산할 수 있다.

일 실시예에 있어서, 상기 제1 픽셀 및 상기 제1 픽셀 주위에 위치하는 N개의 픽셀을 포함하는 윈도우 내에 상기 제2 픽셀이 위치할 수 있다.

본 발명의 일 실시예에 따른 피사체의 움직임 분석 방법은 움직임 분석 테이블을 이용하여 피사체와 배경을 구분하고, 피사체의 움직임 방향 및 피사체의 움직임 속도를 판단함으로써, 피사체의 움직임을 정확히 판단할 수 있다.

도 1은 본 발명의 일 실시예에 따른 피사체의 움직임 분석 방법을 나타내는 순서도이다.
도 2는 도 1의 순서도에 포함되는 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임을 판단하는 단계를 나타내는 순서도이다.
도 3은 이벤트들이 발생한 픽셀의 위치 정보 및 이벤트들의 극성 정보를 나타내는 도면이다.
도 4는 도 1의 순서도에 포함되는 상기 이벤트들의 속도 및 방향을 계산하는 단계가 수행되는 과정을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 움직임 분석 테이블을 나타내는 도면이다.
도 6은 도 1의 순서도에 포함되는 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임을 판단하는 단계를 나타내는 순서도이다.
도 7은 본 발명의 일 실시예에 따른 피사체의 움직임 분석 장치를 나타내는 블록도이다.
도 8은 본 발명의 일 실시예에 따른 컴퓨팅 시스템을 나타내는 블록도이다.
도 9는 도 8의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 피사체의 움직임 분석 방법을 나타내는 순서도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 피사체의 움직임 분석 방법은 이벤트 기반 센서(Event based sensor)로부터 피사체의 밝기 변화에 상응하는 복수의 이벤트들을 수신하는 단계(단계 S110)를 포함한다. 상기 이벤트 기반 센서로부터 수신된 피사체의 밝기 변화에 상응하는 이벤트들에 대하여 도 3을 참조하여 후술한다.

상기 피사체의 움직임 분석 방법은 상기 이벤트들의 속도 및 방향을 계산하는 단계(단계 S120)를 포함한다. 상기 이벤트들의 속도 및 방향을 계산하는 과정은 도 4를 참조하여 후술한다.

상기 피사체의 움직임 분석 방법은 상기 속도 및 상기 방향을 복수의 속도 구간들 및 복수의 방향 구간들로 구분하여 상기 속도 구간들 및 상기 방향 구간들의 조합들에 각각 상응하는 이벤트들의 빈도들을 나타내는 복수의 셀들을 포함하는 움직임 분석 테이블을 생성하는 단계(단계 S130)를 포함한다. 상기 움직임 분석 테이블에 대하여 도 5를 참조하여 후술한다.

상기 피사체의 움직임 분석 방법은 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임을 판단하는 단계(단계 S140)를 포함한다. 상기 피사체의 움직임을 판단하는 과정은 도 6을 참조하여 후술한다.

도 2는 도 1의 순서도에 포함되는 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임을 판단하는 단계를 나타내는 순서도이다.

도 2를 참조하면, 도 1의 순서도에 포함되는 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임을 판단하는 단계(S140)는 프레임 평균 속도 및 상기 움직임 분석 테이블에 기초하여 상기 움직임 분석 테이블에 포함되는 최고 빈도 셀의 방향 구간의 대표 값을 상기 피사체의 움직임 방향으로 판단하는 단계(단계 S151), 프레임 평균 속도 및 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임 속도를 판단하는 단계(단계 S152) 및 프레임 평균 속도가 정상 움직임 하한 속도보다 작고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 임계 빈도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 상기 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 다수 판별 기준치를 곱한 값보다 작은 경우, 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계(단계 S153)를 포함할 수 있다.

상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계(S153)의 수행 후, 상기 움직임 분석 테이블을 생성하는 단계(S130) 및 상기 피사체의 움직임을 판단하는 단계(S140)를 재수행할 수 있다(TO S130).

상기 움직임 분석 테이블에 포함되는 최고 빈도 셀의 방향 구간의 대표 값을 상기 피사체의 움직임 방향으로 판단하는 단계(S151), 상기 피사체의 움직임 속도를 판단하는 단계(S152) 및 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계(S153)에 대하여 도 6을 참조하여 자세하게 후술한다.

도 3은 이벤트들이 발생한 픽셀의 위치 정보 및 이벤트들의 극성 정보를 나타내는 도면이다.

도 3을 참조하면, 도 3은 이벤트 기반 센서(Event Based Sensor)에 의해 생성된 피사체(사람의 손)의 밝기 변화에 상응하는 이벤트들이 발생한 픽셀의 위치 정보 및 상기 이벤트들의 극성 정보를 나타내는 도면(100)이다.

이벤트 기반 센서는 이미지 센서의 일종으로, 피사체 중 밝기가 변화한 부분을 센싱하여 이벤트들로서 출력한다. 피사체는 움직임이 가능한 사람, 동물 등 다양할 수 있다. 이벤트들은 이벤트들이 발생한 픽셀의 위치 정보, 시간 정보 및 극성(Polarity) 정보를 포함할 수 있다.

이벤트 기반 센서는 픽셀 프레임(110)의 픽셀들마다 할당된 이벤트 센싱 유닛들을 포함한다. 이벤트 센싱 유닛들 각각은 이벤트를 생성할 수 있다. 이벤트 센싱 유닛은 수광된 광의 강도가 증가하는 경우, 이벤트 센싱 유닛에 상응하는 픽셀의 위치 정보(X 좌표, Y 좌표), 수광된 광의 강도가 증가한 시점의 시간 정보(Time stamp) 및 양성 극성 정보를 포함하는 이벤트를 생성할 수 있다. 이벤트 센싱 유닛은 수광된 광의 강도가 감소하는 경우, 이벤트 센싱 유닛에 상응하는 픽셀의 위치 정보, 수광된 광의 강도가 감소한 시점의 시간 정보 및 음성 극성 정보를 포함하는 이벤트를 생성할 수 있다. 예를 들어, 제1 픽셀(120)에서 발생한 이벤트는 제1 픽셀(120)의 X 좌표로서 40, 제1 픽셀(120)의 Y 좌표로서 40, 양성 극성 정보를 포함한다. 이벤트 센싱 유닛은 광의 강도 변화량이 설정된 기준치보다 크거나 작을 때 이벤트들을 생성할 수 있다.

도 3의 도면에서 하얀 점으로 표시된 픽셀에서 발생한 이벤트는 이벤트 센싱 유닛에 수광된 광의 광도가 증가하는 경우 이벤트 센싱 유닛이 생성하는 이벤트이다. 도 3의 도면에서 검은 점으로 표시된 픽셀에서 발생한 이벤트는 이벤트 센싱 유닛에 수광된 광의 광도가 감소하는 경우 이벤트 센싱 유닛이 생성하는 이벤트이다.

도 4는 도 1의 순서도에 포함되는 상기 이벤트들의 속도 및 방향을 계산하는 단계가 수행되는 과정을 나타내는 도면이다.

도 4를 참조하면, 픽셀 프레임(210)은 제1 픽셀(221), 제2 픽셀(222), 제3 픽셀(223), 제4 픽셀(224) 및 제5 픽셀(225)을 포함한다. 제1 윈도우(230)는 제1 픽셀(221), 제2 픽셀(222) 및 제5 픽셀(225)을 포함한다.

제1 픽셀(221)에서 발생한 제1 이벤트는 (X1, Y1, T1, 0)의 정보를 포함한다. 다시 말해서, 제1 이벤트는 (X1, Y1) 좌표의 픽셀에서 T1의 시간에 발생하였으며, 음성 극성 정보(0)를 포함한다. 제2 픽셀(222)에서 발생한 제2 이벤트는 (X2, Y2, T2, 0)의 정보를 포함한다. 제3 픽셀(223)에서 발생한 제3 이벤트는 (X3, Y3, T3, 0)의 정보를 포함한다. 제4 픽셀(224)에서 발생한 제4 이벤트는 (X4, Y4, T4, 0)의 정보를 포함한다. 제2 이벤트, 제3 이벤트 및 제4 이벤트는 제1 이벤트에 기초하여 이해할 수 있으므로 설명을 생략한다. 제5 픽셀(225)에서 발생한 제5 이벤트는 (X5, Y5, T5, 1)의 정보를 포함한다. 다시 말해서, 제5 이벤트는 (X5, Y5) 좌표의 픽셀에서 T5의 시간에 발생하였으며, 양성 극성 정보(1)를 포함한다.

도 1의 순서도에 포함되는 상기 이벤트들의 속도 및 방향을 계산하는 단계(S120)는 일정한 이벤트 발생 구간(T0 ~ TMAX)에서 발생한 상기 제1 이벤트 (T0 < T1 < TMAX), 상기 제2 이벤트 (T0 < T2 < TMAX), 상기 제3 이벤트 (T0 < T3 < TMAX), 상기 제4 이벤트 (T0 < T4 < TMAX) 및 상기 제5 이벤트 (T0 < T5 < TMAX)의 정보에 기초하여, 상기 제1 이벤트, 상기 제2 이벤트, 상기 제3 이벤트, 상기 제4 이벤트 및 상기 제5 이벤트의 속도 및 방향을 계산할 수 있다.

픽셀 프레임(210)에서 일정한 이벤트 발생 구간(T0 ~ TMAX)에서 이벤트의 최대 이동 한계 범위를 나타내는 윈도우 내에서 이벤트들 간의 주체의 동일성을 판단한다. 제1 픽셀(221)이 중앙에 위치한 제1 윈도우(230)는 제1 픽셀(221)에서 발생한 제1 이벤트가 일정한 이벤트 발생 구간(T0 ~ TMAX) 내에 이동할 수 있는 최대 이동 한계 범위를 나타낸다. 제1 이벤트와 주체가 동일할 수 있는 이벤트는 제1 윈도우(230) 내에 존재하는 제2 픽셀(222)에서 발생한 제2 이벤트 또는 제1 윈도우(230) 내에 존재하는 제5 픽셀(225)에서 발생한 제5 이벤트이다. 제1 윈도우(230) 밖에 존재하는 제3 픽셀(223)에서 발생한 제3 이벤트 또는 제1 윈도우(230) 밖에 존재하는 제4 픽셀(224)에서 발생한 제4 이벤트는 제1 이벤트와 동일한 주체를 가질 수 없다.

윈도우 내에 존재하는 픽셀에서 발생한 두 개의 이벤트가 각각 음성 극성 정보 및 양성 극성 정보를 포함하는 경우, 두 이벤트들 간에는 이벤트 주체가 동일할 수 없으므로, 두 이벤트들 간의 속도 및 방향을 계산하지 않는다. 예를 들어, 제1 이벤트가 발생한 제1 픽셀(221)을 포함하는 제1 윈도우(230) 내에 제5 픽셀(225)에서 발생한 제5 이벤트가 존재하지만, 제1 이벤트는 음성 극성 정보를 포함하고, 제5 이벤트는 양성 극성 정보를 포함하므로, 제1 이벤트의 주체와 제5 이벤트의 주체는 동일할 수 없다. 따라서, 제1 이벤트와 제5 이벤트 간의 속도 및 방향을 계산하지 않는다.

제1 이벤트의 주체와 제2 이벤트의 주체가 동일하다고 판단되는 경우, 제1 이벤트의 움직임(223)의 방향은 (X2 - X1, Y2 - Y1)으로 표현될 수 있고, 제1 이벤트의 움직임(223)의 속도는 [수학식 1]과 같이 나타낼 수 있다. (단, T1 < T2)

제1 이벤트가 발생한 제1 픽셀(221) 주변에 제1 윈도우(230)가 존재한 것과 마찬가지로, 제2 이벤트가 발생한 제2 픽셀(222) 주변에 제2 윈도우가 존재할 수 있고, 제3 이벤트가 발생한 제3 픽셀(223) 주변에 제3 윈도우가 존재할 수 있고, 제4 이벤트가 발생한 제4 픽셀(224) 주변에 제4 윈도우가 존재할 수 있고, 제5 이벤트가 발생한 제5 픽셀(225) 주변에 제5 윈도우가 존재할 수 있다. 제2 윈도우 내지 제5 윈도우 내에서 제2 이벤트 내지 제5 이벤트와 각각 주체가 동일한 이벤트들을 찾고, 상기 주체가 동일한 이벤트들에 기초하여 제2 이벤트 내지 제5 이벤트의 방향 및 속도를 계산할 수 있다. 제2 이벤트 내지 제5 이벤트의 방향 및 속도를 계산하는 방법은 상기 제1 이벤트의 방향 및 속도를 계산하는 방법에 기초하여 이해할 수 있으므로 설명을 생략한다.

일 실시예에서, 윈도우는 N+1 개의 픽셀을 포함할 수 있다. 예를 들어, 제1 윈도우(230)는 제1 픽셀(221)을 포함하고, N개의 픽셀을 더 포함할 수 있다. N은 양의 정수일 수 있다. 제1 윈도우(230)의 모양이 정사각형이고, 제1 윈도우(230)의 중앙에 제1 픽셀(221)이 위치할 수 있도록, N은 8, 24 또는 48 등의 값을 가질 수 있다.

제1 픽셀(221)을 포함하며, N개의 픽셀을 더 포함하는 제1 윈도우(230) 내에서 제1 픽셀(221)에서 발생한 제1 이벤트와 주체가 동일한 이벤트들을 찾고, 제1 이벤트와 주체가 동일한 이벤트들 간의 속도 및 방향을 판단하는 방법을 N 인접 픽셀 처리 방법(N-neighborhood pixel processing)이라 한다. 픽셀 프레임(210)에서 발생한 모든 이벤트들 간의 주체의 동일성 및 속도, 방향을 계산하기 위해서는 막대한 연산량이 필요하다. N 인접 픽셀 처리 방법은하나의 이벤트와 주체의 동일성을 판단하는 대상 이벤트들을 윈도우 내로 제한하여 모든 이벤트들 간의 주체의 동일성 및 속도, 방향을 계산하는 방법보다 연산량을 크게 줄일 수 있다.

상기 이벤트들 간의 속도 및 방향을 계산하는 과정은 양성 극성 정보를 포함하는 이벤트들 간의 속도 및 방향을 계산할 때도 적용될 수 있다.

도 5는 본 발명의 일 실시예에 따른 움직임 분석 테이블을 나타내는 도면이다.

도 5를 참조하면, 움직임 분석 테이블(300)은 복수의 셀들을 포함한다. 상기 셀들은 복수의 속도 구간들(V1 내지 VN) 및 복수의 방향 구간들(D1 내지 DM)의 조합들에 각각 상응한다. 도 4의 과정을 통해 계산된 이벤트들의 속도 및 방향은 상기 속도 구간들 및 상기 방향 구간들로 구분된다.

일 실시예로, M이 12의 값을 가지는 경우 움직임 분석 테이블(300)은 방향 구간들로서 제1 방향 범위(D1) 내지 제12 방향 범위(D12)를 가질 수 있다. 제1 방향 범위는 0도 이상 30도 미만의 방향을 나타낼 수 있다. 제2 방향 범위(D2)는 30도 이상 60도 미만의 방향을 나타낼 수 있다. 제12 방향 범위(D12)는 330도 이상 360도(0도) 미만의 방향을 나타낼 수 있다. 제3 방향 범위 내지 제11 방향 범위는 위 설명에 기초하여 이해할 수 있으므로 설명을 생략한다.

일 실시예로, N이 10의 값을 가지고 이벤트의 움직임 한계 속도가 VMAX pps(pixels per second)인 경우, 움직임 분석 테이블(300)은 속도 구간들로서 제1 속도 범위(V1) 내지 제10 속도 범위(V10)를 가질 수 있다. 제1 속도 범위는 0 pps 이상 VMAX/10 pps 미만의 속도를 나타낼 수 있다. 제2 속도 범위(V2)는 VMAX/10 pps 이상 VMAX*2/10 pps 미만의 속도를 나타낼 수 있다. 제3 속도 범위(V3)는 VMAX*2/10 pps 이상 VMAX*3/10 pps 미만의 속도를 나타낼 수 있다. 제 10 속도 범위는 VMAX*9/10 pps 이상 VMAX pps 미만의 속도를 나타낼 수 있다. 제4 속도 범위 내지 제9 속도 범위는 위 설명에 기초하여 이해할 수 있으므로 설명을 생략한다. 움직임 분석 테이블(300)의 속도 구간들의 간격은 동일할 수도 있고, 상이할 수도 있다.

움직임 분석 테이블(300)에서 제1 속도 범위(V1) 및 제1 방향 범위(D1)의 조합에 상응하는 셀(311)은 전체 이벤트들의 수 대비 제1 속도 범위(V1)에 속하는 속도 및 제1 방향 범위(D1)에 속하는 방향을 가지는 이벤트들의 수의 비율로서 표현되는 이벤트들의 빈도(C11)를 포함한다. 움직임 분석 테이블(300)에 포함된 속도 범위들(V1 내지 VN) 및 방향 범위들(D1 내지 DM)의 조합들에 각각 상응하는 셀들은 각각 이벤트들의 빈도들(C21, CM1, C12, C22, CM2, C13, C23, CM3, C1N, C2N, CMN)을 포함한다.

일 실시예에서, 도 2의 순서도의 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계(S153)는 움직임 분석 테이블(300)의 속도 구간들(V1 내지 VN)에 포함되는 일부 속도 구간들의 간격을 조절하는 단계일 수 있다. 다른 실시예에서, 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계(S153)는 움직임 분석 테이블(300)의 전체 속도 구간들(V1 내지 VN)의 간격을 조절하는 단계일 수 있다.

도 6은 도 1의 순서도에 포함되는 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임을 판단하는 단계를 나타내는 순서도이다.

도 6을 참조하면, 최고 빈도 셀은 움직임 분석 테이블(300)이 포함하는 셀들 중에서 빈도가 가장 큰 셀을 지칭한다.

피사체의 움직임을 판단하기 위해, 프레임 평균 속도(VFA)를 정상 움직임 하한 속도(NV)와 비교한다(단계 S141).

프레임 평균 속도(VFA)가 정상 움직임 하한 속도(NV)보다 큰 경우(S141: YES), 최고 빈도 셀의 빈도(RFM)와 빠른 움직임 속도에 상응하는 임계 빈도(RDHH)를 비교한다(단계 S142). 최고 빈도 셀의 빈도(RFM)가 빠른 움직임 속도에 상응하는 임계 빈도(RDDH)보다 큰 경우(S142: YES), “최고 빈도 셀이 움직임 분석 테이블(300)에서 지배적이다”라고 판단한다. 최고 빈도 셀의 빈도(RFM)가 빠른 움직임 속도에 상응하는 임계 빈도(RDDH)보다 작은 경우(S142: NO), “최고 빈도 셀이 움직임 분석 테이블(300)에서 지배적이지 않다”라고 판단하고, 피사체의 속도 및 방향을 결정하는 단계(단계 S146)에서 피사체를 배경으로 판단하고, 피사체의 방향을 결정하지 않고, 피사체의 속도를 0으로 결정한다. 상기 최고 빈도 셀의 빈도(RFM)와 빠른 움직임 속도에 상응하는 임계 빈도(RDHH)를 비교하는 단계(S142)는 빠른 움직임 속도에 상응하는 임계 빈도(RDDH), 다시 말해 절대적인 량에 기초하여 최고 빈도 셀의 움직임 분석 테이블(300) 내에서의 지배적 여부를 판단한다.

최고 빈도 셀의 빈도(RFM)가 빠른 움직임 속도에 상응하는 임계 빈도(RDDH)보다 큰 경우(S142: YES), 최고 빈도 셀의 빈도(RFM)와 움직임 분석 테이블(300)에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 움직임 분석 테이블(300)에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도(RGL)와 빠른 움직임 속도에 상응하는 다수 판별 기준치(TH)를 곱한 값을 비교한다(단계 S143). 상기 최저 빈도 셀은 움직임 분석 테이블(300) 상에서 상기 최고 빈도 셀과 동일한 속도 구간을 가지며, 상기 최고 빈도 셀과 상이한 방향 구간을 가지며, 상기 속도 구간에서 최저 빈도를 가지는 셀을 말한다. 상기 반대 방향의 셀은 상기 최고 빈도 셀과 동일한 속도 구간을 가지며, 상기 최고 빈도 셀과 반대 방향의 방향 구간을 가지는 셀을 말한다. 최고 빈도 셀의 빈도(RFM)가 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 빠른 움직임 속도에 상응하는 다수 판별 기준치(TH)를 곱한 값보다 큰 경우(S143: YES), “최고 빈도 셀의 빈도(RFM)가 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 비해 월등히 크다”고 판단하고, 상기 피사체의 속도 및 방향을 결정하는 단계(S146)에서 상기 최고 빈도 셀의 방향 구간의 대표 값을 상기 피사체의 방향으로 판단할 수 있다. 상기 방향 구간의 대표 값은 상기 방향 구간의 평균값(Average value)일 수도 있고, 중앙값(Median value)일 수도 있다. 최고 빈도 셀의 빈도(RFM)가 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 빠른 움직임 속도에 상응하는 다수 판별 기준치(TH)를 곱한 값보다 작은 경우(S143: NO), “최고 빈도 셀의 빈도(RFM)가 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 비해 월등히 크지 않다”고 판단하고, 상기 피사체의 속도 및 방향을 결정하는 단계(S146)에서 피사체를 배경으로 판단하고, 피사체의 방향을 결정하지 않고, 피사체의 속도를 0으로 결정한다. 최고 빈도 셀의 빈도(RFM)와 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 빠른 움직임 속도에 상응하는 다수 판별 기준치(TH)를 곱한 값을 비교하는 단계(S143)는 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL), 다시 말해 상대적인 량에 기초하여 최고 빈도 셀의 움직임 분석 테이블(300) 내에서의 지배적 여부를 판단한다.

프레임 평균 속도(VFA)가 정상 움직임 하한 속도(NV)보다 작은 경우(S141: NO), 최고 빈도 셀의 빈도(RFM)와 느린 움직임 속도에 상응하는 임계 빈도(RDHL)를 비교한다(단계 S144). 최고 빈도 셀의 빈도(RFM)가 느린 움직임 속도에 상응하는 임계 빈도(RDDL)보다 큰 경우(S144: YES), “최고 빈도 셀이 움직임 분석 테이블(300)에서 지배적이다”라고 판단한다. 최고 빈도 셀의 빈도(RFM)가 느린 움직임 속도에 상응하는 임계 빈도(RDDL)보다 작은 경우(S144: NO), “최고 빈도 셀이 움직임 분석 테이블(300)에서 지배적이지 않다”라고 판단하고, 상기 피사체의 속도 및 방향을 결정하는 단계(S146)에서 피사체를 배경으로 판단하고, 피사체의 방향을 결정하지 않고, 피사체의 속도를 0으로 결정한다. 상기 최고 빈도 셀의 빈도(RFM)와 느린 움직임 속도에 상응하는 임계 빈도(RDHL)를 비교하는 단계(S144)는 빠른 움직임 속도에 상응하는 임계 빈도(RDDL), 다시 말해 절대적인 량에 기초하여 최고 빈도 셀의 움직임 분석 테이블(300) 내에서의 지배적 여부를 판단한다.

최고 빈도 셀의 빈도(RFM)가 느린 움직임 속도에 상응하는 임계 빈도(RDDL)보다 큰 경우(S144: YES), 최고 빈도 셀의 빈도(RFM)와 움직임 분석 테이블(300)에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 움직임 분석 테이블(300)에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도(RGL)와 느린 움직임 속도에 상응하는 다수 판별 기준치(TL)를 곱한 값을 비교한다(단계 S145). 최고 빈도 셀의 빈도(RFM)가 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 느린 움직임 속도에 상응하는 다수 판별 기준치(TL)를 곱한 값보다 큰 경우(S145: YES), “최고 빈도 셀의 빈도(RFM)가 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 비해 월등히 크다”고 판단하고, 상기 피사체의 속도 및 방향을 결정하는 단계(S146)에서 상기 최고 빈도 셀의 방향 구간의 대표 값을 상기 피사체의 방향으로 판단할 수 있다. 최고 빈도 셀의 빈도(RFM)가 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 느린 움직임 속도에 상응하는 다수 판별 기준치(TL)를 곱한 값보다 작은 경우(S145: NO), “최고 빈도 셀의 빈도(RFM)가 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 비해 월등히 크지 않다”고 판단하고, 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하고(S153), 상기 피사체의 속도 및 방향을 결정하는 단계(S146)에서 피사체를 배경으로 판단하고, 피사체의 방향을 결정하지 않고, 피사체의 속도를 0으로 결정한다. 상기 최고 빈도 셀의 빈도(RFM)와 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 느린 움직임 속도에 상응하는 다수 판별 기준치(TL)를 곱한 값을 비교하는 단계(S145)는 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL), 다시 말해 상대적인 량에 기초하여 최고 빈도 셀의 움직임 분석 테이블(300) 내에서의 지배적 여부를 판단한다.

상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계(S153)에서는 최고 빈도 셀의 빈도(RFM)가 상대적으로 상기 최저 빈도 셀의 빈도 또는 상기 반대 방향 셀의 빈도(RGL)에 느린 움직임 속도에 상응하는 다수 판별 기준치(TL)를 곱한 값보다 커질 수 있도록 움직임 분석 테이블(300)의 속도 구간들(V1 내지 VN)의 간격을 조절할 수 있다. 움직임 분석 테이블(300)의 속도 구간들(V1 내지 VN)에 포함되는 일부 속도 구간들의 간격이 조절될 수 있으며, 움직임 분석 테이블(300)의 전체 속도 구간들(V1 내지 VN)의 간격이 조절될 수도 있다.

도 2의 순서도의 단계들과 도 6의 순서도의 단계들의 대응 관계를 기술하면 다음과 같다.

상기 최고 빈도 셀의 방향 구간의 대표 값을 상기 피사체의 움직임 방향으로 판단하는 단계(S151)는 최고 빈도 셀의 빈도(RFM)가 움직임 분석 테이블의 임계 빈도(RDHH 또는 RDHL)보다 크고(S142: YES, S144: YES), 최고 빈도 셀의 빈도(RFM)가 움직임 분석 테이블(300)에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 움직임 분석 테이블(300)에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도(RGL)와 다수 판별 기준치(TH 또는 TL)를 곱한 값보다 큰 경우(S143: YES, S145: YES)에 수행될 수 있다.

상기 피사체의 움직임 속도를 판단하는 단계(S152)는 프레임 평균 속도가 정상 움직임 하한 속도보다 크고(S141: YES), 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 제1 임계 빈도보다 크고(S142: YES), 최고 빈도 셀의 빈도가 움직임 분석 테이블에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 움직임 분석 테이블에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 제1 다수 판별 기준치를 곱한 값보다 큰 경우(S143: YES)인 제1 케이스의 경우, 피사체의 움직임 속도를 제1 정상 움직임 속도로 판단(S146)할 수 있다. 일 실시예에서, 상기 제1 정상 움직임 속도는 빠른 움직임 속도 또는 자연스럽고 빠른(Natural and fast) 움직임 속도로 표현될 수 있다.

상기 피사체의 움직임 속도를 판단하는 단계(S152)는 프레임 평균 속도가 정상 움직임 하한 속도보다 작고(S141: NO), 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 제2 임계 빈도보다 크고(S144: YES), 최고 빈도 셀의 빈도가 움직임 분석 테이블에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 움직임 분석 테이블에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 제2 다수 판별 기준치를 곱한 값보다 큰 경우(S145: YES)인 제2 케이스의 경우, 피사체의 움직임 속도를 제2 정상 움직임 속도로 판단(S146)할 수 있다. 일 실시예에서, 상기 제2 정상 움직임 속도는 느린 움직임 속도 또는 매우 느린(Very slow) 움직임 속도로 표현될 수 있다.

상기 피사체의 움직임 속도를 판단하는 단계(S152)는 제1 케이스 및 상기 제2 케이스를 제외한 경우, 피사체의 움직임 속도를 0으로 판단하여 피사체를 배경으로 결정(S146)할 수 있다.

상기 피사체의 움직임을 판단하는 단계(S140)는 프레임 평균 속도가 정상 움직임 하한 속도보다 작고(S141: NO), 최고 빈도 셀의 빈도가 움직임 분석 테이블의 임계 빈도보다 크고(S144: YES), 최고 빈도 셀의 빈도가 움직임 분석 테이블에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 움직임 분석 테이블에서 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 다수 판별 기준치를 곱한 값보다 작은 (S145: NO) 경우, 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계(S153)를 포함할 수 있다.

도 7은 본 발명의 일 실시예에 따른 피사체의 움직임 분석 장치를 나타내는 블록도이다.

도 7을 참조하면, 피사체의 움직임 분석 장치(400)는 움직임 기반 센서부(EBS SENSOR), 움직임 분석 테이블 생성부(MAT GENERATING UNIT), 메모리 장치(MEMORY DEVICE) 및 움직임 분석부(MOTION ANALYSING UNIT)를 포함할 수 있다.

움직임 기반 센서부(EBS SENSOR)는 피사체의 밝기 변화에 상응하는 복수의 이벤트들(EVENTS)을 생성할 수 있다. 이벤트들(EVENTS)에 대하여 도 3을 참조하여 전술하였으므로 설명을 생략한다.

움직임 분석 테이블 생성부(MAT GENERATING UNIT)는 이벤트들(EVENTS)의 속도 및 방향을 계산하고, 상기 속도 및 상기 방향을 복수의 속도 구간들 및 복수의 방향 구간들로 구분하고, 상기 속도 구간들 및 상기 방향 구간들의 조합들에 각각 상응하는 이벤트들의 빈도들을 나타내는 복수의 셀들을 포함하는 움직임 분석 테이블(MAT)을 생성할 수 있다. 이벤트들(EVENTS)의 속도 및 방향을 계산하는 방법은 도 4를 참조하여 전술하였고, 움직임 분석 테이블(MAT)을 생성하는 방법은 도 5를 참조하여 전술하였으므로 설명을 생략한다.

메모리 장치(MEMORY DEVICE)는 움직임 분석 테이블 생성부(MAT GENERATING UNIT)에서 생성한 움직임 분석 테이블(MAT)을 저장 및 로드(Load)할 수 있다.

움직임 분석부(MOTION ANALYSING UNIT)는 메모리 장치(MEMORY DEVICE)로부터 로드된 움직임 분석 테이블(MAT)에 기초하여 피사체의 움직임을 판단하여 움직임 정보(MOTION INFO)를 출력한다. 피사체의 움직임을 판단하는 방법은 도 6을 참조하여 전술하였으므로 설명을 생략한다.

움직임 분석 테이블 생성부(MAT GENERATING UNIT) 및 움직임 분석부(MOTION ANALYSING UNIT)는 하드웨어로 구현될 수도 있고, 소프트웨어로 구현될 수도 있다.

도 8은 본 발명의 일 실시예에 따른 컴퓨팅 시스템을 나타내는 블록도이다.

도 8을 참조하면, 컴퓨팅 시스템(500)은 이미지 센서(510), 프로세서(520) 및 저장 장치(STORAGE DEVICE)(530)를 포함한다.

이미지 센서(510)는 입사광에 상응하는 디지털 신호를 생성한다. 저장 장치(530)는 상기 디지털 신호를 저장한다. 프로세서(520)는 이미지 센서(510) 및 저장 장치(530)의 동작을 제어한다.

컴퓨팅 시스템(500)은 메모리 장치(MEMORY DEVICE)(540), 입출력 장치(550) 및 전원 장치(560)를 더 포함할 수 있다. 또한, 도 8에는 도시되지 않았지만, 컴퓨팅 시스템(500)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.

프로세서(520)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라서, 프로세서(520)는 마이크로프로세서 (microprocessor), 중앙 처리 장치(CPU, Central Processing Unit)일 수 있다. 프로세서(520)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 저장 장치(530), 메모리 장치(540) 및 입출력 장치(550)에 연결되어 통신을 수행할 수 있다. 실시예에 따라서, 프로세서(520)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다.

저장 장치(530)는 플래시 메모리 장치(flash memory device), 솔리드 스테이트 드라이브(Solid State Drive; SSD), 하드 디스크 드라이브(Hard Disk Drive; HDD), 씨디롬(CD-ROM) 및 모든 형태의 비휘발성 메모리 장치 등을 포함할 수 있다.

메모리 장치(540)는 컴퓨팅 시스템(500)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(540)는 동적 랜덤 액세스 메모리(Dynamic Random Access Memory; DRAM), 정적 랜덤 액세스 메모리(Static Random Access Memory; SRAM) 등과 같은 휘발성 메모리 장치 및 이피롬(Erasable Programmable Read-Only Memory; EPROM), 이이피롬(Electrically Erasable Programmable Read-Only Memory; EEPROM) 및 플래시 메모리 장치(flash memory device) 등과 같은 비휘발성 메모리 장치를 포함할 수 있다.

입출력 장치(550)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 전원 장치(560)는 컴퓨팅 시스템(500)의 동작에 필요한 동작 전압을 공급할 수 있다.

이미지 센서(510)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(520)와 연결되어 통신을 수행할 수 있다.

이미지 센서(510)는 도 1의 순서도에 포함되는 이벤트 기반 센서일 수 있다. 도 1의 순서도의 단계들은 프로세서(520)에서 수행될 수 있다. 도 1의 순서도에 포함되는 움직임 분석 테이블은 메모리 장치(MEMORY DEVICE)(540)에 저장될 수 있다.

이미지 센서(510)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 이미지 센서(510)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.

실시예에 따라서, 이미지 센서(510)는 프로세서(520)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.

한편, 컴퓨팅 시스템(500)은 이미지 센서(510)를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(500)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.

도 9는 도 8의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

도 9를 참조하면, 컴퓨팅 시스템(600)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치(예를 들어, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등)로 구현될 수 있고, 어플리케이션 프로세서(610), 이미지 센서(640) 및 디스플레이(650) 등을 포함할 수 있다.

어플리케이션 프로세서(610)의 CSI 호스트(612)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 이미지 센서(640)의 CSI 장치(641)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, CSI 호스트(612)는 광 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(641)는 광 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(610)의 DSI 호스트(611)는 디스플레이 시리얼 인터페이스(Display Serial Interface DSI)를 통하여 디스플레이(650)의 DSI 장치(651)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, DSI 호스트(611)는 광 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(651)는 광 디시리얼라이저(DES)를 포함할 수 있다.

이미지 센서(640)는 도 1의 순서도에 포함되는 이벤트 기반 센서일 수 있다. 도 1의 순서도의 단계들은 어플리케이션 프로세서(610)에서 수행될 수 있다. 도 1의 순서도에 포함되는 움직임 분석 테이블은 메모리 장치 (685)에 저장될 수 있다.

또한, 컴퓨팅 시스템(600)은 어플리케이션 프로세서(610)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(660)을 더 포함할 수 있다. 컴퓨팅 시스템(600)의 PHY(613)와 RF 칩(660)의 PHY(661)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(610)는 PHY(661)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(614)를 더 포함할 수 있고, RF 칩(660)은 DigRF MASTER(614)를 통하여 제어되는 DigRF SLAVE(662)를 더 포함할 수 있다.

한편, 컴퓨팅 시스템(600)은 지피에스(Global Positioning System; GPS)(620), 스토리지(670), 마이크(680), 디램(Dynamic Random Access Memory; DRAM)(685) 및 스피커(690)를 포함할 수 있다. 또한, 컴퓨팅 시스템(600)은 초광대역(Ultra WideBand; UWB)(710), 무선랜(Wireless Local Area Network; WLAN)(720) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(730) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(600)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.

본 발명의 실시예들에 따른 피사체의 움직임 분석 방법은, 이벤트 기반 센서를 이용하여 피사체의 움직임 분석을 수행할 수 있는 디지털 카메라, 캠코더, 노트북 및 스마트폰을 비롯한 여러 영상 장비들에 유용하게 적용될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (10)

1. 이벤트 기반 센서(Event based sensor)에 의하여 픽셀들에 수신된 광에 기초하여 검출된 피사체의 밝기 변화에 상응하는 복수의 이벤트들을 생성하는 단계;
   상기 이벤트들 최대 이동 한계 범위를 나타내는 윈도우 내의 이벤트들 간의 주체의 동일성에 기초하여 상기 이벤트들의 속도들 및 상기 이벤트들의 방향들을 계산하는 단계;
   상기 속도들 및 상기 방향들을 복수의 속도 구간들 및 복수의 방향 구간들로 구분하여 상기 속도 구간들 및 상기 방향 구간들의 조합들에 각각 상응하는 이벤트들의 빈도들을 나타내는 복수의 셀들을 포함하는 움직임 분석 테이블을 생성하는 단계; 및
   상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임을 판단하는 단계를 포함하는 피사체의 움직임 분석 방법.
2. 제1 항에 있어서,
   상기 피사체의 움직임을 판단하는 단계는,
   프레임 평균 속도 및 상기 움직임 분석 테이블에 기초하여 상기 움직임 분석 테이블에 포함되는 최고 빈도 셀의 방향 구간의 대표 값을 상기 피사체의 움직임 방향으로 판단하는 단계를 포함하는 것을 특징으로 하는 피사체의 움직임 분석 방법.
3. 제2 항에 있어서,
   상기 최고 빈도 셀의 방향 구간의 대표 값을 상기 피사체의 움직임 방향으로 판단하는 단계는,
   상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 임계 빈도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 상기 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 다수 판별 기준치를 곱한 값보다 큰 경우에 수행되는 것을 특징으로 하는 피사체의 움직임 분석 방법.
4. 제1 항에 있어서,
   상기 피사체의 움직임을 판단하는 단계는,
   프레임 평균 속도 및 상기 움직임 분석 테이블에 기초하여 상기 피사체의 움직임 속도를 판단하는 단계를 포함하는 것을 특징으로 하는 피사체의 움직임 분석 방법.
5. 제4 항에 있어서,
   상기 피사체의 움직임 속도를 판단하는 단계는,
   상기 프레임 평균 속도가 정상 움직임 하한 속도보다 크고, 상기 움직임 분석 테이블이 포함하는 상기 복수의 셀들 중 빈도가 가장 큰 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 제1 임계 빈도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 상기 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 제1 다수 판별 기준치를 곱한 값보다 큰 제1 케이스의 경우, 상기 피사체의 움직임 속도를 제1 정상 움직임 속도로 판단하는 것을 특징으로 하는 피사체의 움직임 분석 방법.
6. 제5 항에 있어서,
   상기 피사체의 움직임 속도를 판단하는 단계는,
   상기 프레임 평균 속도가 정상 움직임 하한 속도보다 작고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 제2 임계 빈도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 상기 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 제2 다수 판별 기준치를 곱한 값보다 큰 제2 케이스의 경우, 상기 피사체의 움직임 속도를 제2 정상 움직임 속도로 판단하는 것을 특징으로 하는 피사체의 움직임 분석 방법.
7. 제6 항에 있어서,
   상기 피사체의 움직임 속도를 판단하는 단계는,
   상기 제1 케이스 및 상기 제2 케이스를 제외한 경우, 상기 피사체의 움직임 속도를 0으로 판단하여 상기 피사체를 배경으로 결정하는 것을 특징으로 하는 피사체의 움직임 분석 방법.
8. 제1 항에 있어서,
   상기 피사체의 움직임을 판단하는 단계는,
   프레임 평균 속도가 정상 움직임 하한 속도보다 작고, 상기 움직임 분석 테이블이 포함하는 상기 복수의 셀들 중 빈도가 가장 큰 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블의 임계 빈도보다 크고, 상기 최고 빈도 셀의 빈도가 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 최저 빈도 셀의 빈도 또는 상기 움직임 분석 테이블에서 상기 최고 빈도 셀의 속도 구간에 해당하는 셀들 중 상기 최고 빈도 셀의 방향과 반대 방향의 셀의 빈도와 다수 판별 기준치를 곱한 값보다 작은 경우, 상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계를 포함하는 것을 특징으로 하는 피사체의 움직임 분석 방법.
9. 제8 항에 있어서,
   상기 움직임 분석 테이블의 속도 구간들의 간격을 조절하는 단계의 수행 후, 상기 움직임 분석 테이블을 생성하는 단계 및 상기 피사체의 움직임을 판단하는 단계를 재수행하는 것을 특징으로 하는 피사체의 움직임 분석 방법.
10. 제1 항에 있어서,
    상기 이벤트들은 상기 이벤트들이 발생한 픽셀의 위치 정보, 시간 정보 및 극성 정보를 포함하는 것을 특징으로 하는 피사체의 움직임 분석 방법.

Images