KR20150014342A - 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법 - Google Patents

이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법 Download PDF

Info

Publication number
KR20150014342A
KR20150014342A KR1020130098273A KR20130098273A KR20150014342A KR 20150014342 A KR20150014342 A KR 20150014342A KR 1020130098273 A KR1020130098273 A KR 1020130098273A KR 20130098273 A KR20130098273 A KR 20130098273A KR 20150014342 A KR20150014342 A KR 20150014342A
Authority
KR
South Korea
Prior art keywords
pixel
pattern
motion
pixel group
pixels
Prior art date
Application number
KR1020130098273A
Other languages
English (en)
Other versions
KR102129916B1 (ko
Inventor
이준행
류현석
이규빈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/331,405 priority Critical patent/US9767571B2/en
Priority to EP14178332.4A priority patent/EP2838069B1/en
Priority to JP2014153621A priority patent/JP6483370B2/ja
Priority to CN201410366650.8A priority patent/CN104346427B/zh
Publication of KR20150014342A publication Critical patent/KR20150014342A/ko
Application granted granted Critical
Publication of KR102129916B1 publication Critical patent/KR102129916B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법이 개시된다. 일 실시예에 따른 영상 분석 장치는 입력 영상에 포함된 이벤트 정보에 대응되는 적어도 하나의 픽셀군의 패턴을 분류하고, 분류된 적어도 하나의 패턴에 기초하여 오브젝트의 외형 및 오브젝트의 모션 중 적어도 하나를 분석한다.

Description

이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법{APPARATUS AND METHOD FOR ANALYZING AN IMAGE INCLUDING EVENT INFORMATION}
아래 실시예들은 영상 분석 장치에 관한 것으로, 입력 영상에 포함된 오브젝트를 분석하는 기술에 관한 것이다.
이미지 프로세싱(image processing)은 넓게는 입출력이 영상인 모든 형태의 정보 처리를 가리키며, 예를 들어 사진이나 동영상을 분석하거나 처리하는 작업 등을 포함할 수 있다.
비전 센서는 이미지 프로세싱을 위한 입력 데이터를 센싱하는 장치로서, 예를 들어 반도체 소자의 제조 기술을 이용하여 집적회로화 된 광전 변환 소자 등을 포함할 수 있다.
일 측에 따른 영상 분석 장치는 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀에 인접한 복수의 인접 픽셀들을 포함하는 적어도 하나의 픽셀군의 패턴을 분류하는 분류부; 및 상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 오브젝트의 외형 및 상기 오브젝트의 모션 중 적어도 하나를 분석하는 분석부를 포함한다.
이 때, 상기 분류부는 상기 적어도 하나의 픽셀의 타임 스탬프와 상기 복수의 인접 픽셀들의 타임스탬프들 사이의 차이에 기초하여 상기 복수의 인접 픽셀들의 유형들을 결정하는 유형 결정부; 및 상기 복수의 인접 픽셀들의 유형들에 기초하여 상기 적어도 하나의 픽셀군의 패턴을 결정하는 패턴 결정부를 포함할 수 있다.
또한, 상기 분석부는 상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 적어도 하나의 픽셀군에 대응되는 속도를 계산하는 계산부; 및 상기 적어도 하나의 픽셀군에 대응되는 속도에 기초하여 상기 오브젝트의 모션을 분석하는 모션 분석부를 포함할 수 있다.
또한, 상기 영상 분석 장치는 상기 오브젝트의 모션에 기초하여 사용자 입력을 위한 포인트의 상대 좌표의 변화량을 계산하고, 상기 상대 좌표의 변화량에 기초하여 사용자 입력을 처리하는 처리부를 더 포함할 수 있다.
다른 일 측에 따른 영상 분석 장치는 오브젝트의 움직임이 감지된 제1 이벤트 신호에 기초하여 상기 제1 이벤트 신호에 대응되는 적어도 하나의 제1 픽셀과 상기 적어도 하나의 제1 픽셀에 인접한 복수의 제1 인접 픽셀들을 포함하는 적어도 하나의 제1 픽셀군의 패턴을 분류하고, 상기 오브젝트의 움직임이 감지된 제2 이벤트 신호에 기초하여 상기 제2 이벤트 신호에 대응되는 적어도 하나의 제2 픽셀과 상기 적어도 하나의 제2 픽셀에 인접한 복수의 제2 인접 픽셀들을 포함하는 적어도 하나의 제2 픽셀군의 패턴을 분류하는 분류부; 상기 적어도 하나의 제1 픽셀군의 패턴에 기초하여 상기 오브젝트의 제1 외형을 검출하고, 상기 적어도 하나의 제2 픽셀군의 패턴에 기초하여 상기 오브젝트의 제2 외형을 검출하며, 상기 제1 외형과 상기 제2 외형에 기초하여 상기 오브젝트의 깊이를 분석하는 분석부를 포함한다.
또 다른 일 측에 따른 영상 분석 방법은 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀에 인접한 복수의 인접 픽셀들을 포함하는 적어도 하나의 픽셀군의 패턴을 분류하는 단계; 및 상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 오브젝트의 외형 및 상기 오브젝트의 모션 중 적어도 하나를 분석하는 단계를 포함한다.
또 다른 일 측에 따른 영상 분석 방법은 오브젝트의 이벤트 신호를 입력 받는 단계; 상기 이벤트 신호에 해당하는 픽셀에 인접한 복수의 인접 픽셀들을 선택하는 단계; 미리 설정된 패턴들 중에서 상기 복수의 인접 픽셀들에 저장된 정보에 해당하는 패턴을 선택하는 단계; 및 상기 선택된 패턴을 이용하여 상기 오브젝트의 외형을 분석하는 단계를 포함한다.
도 1은 일 실시예에 따른 영상 분석 장치를 나타낸 블록도.
도 2a 내지 도 2c는 일 실시예에 따른 미리 정해진 복수의 에지 패턴들을 설명하기 위한 도면.
도 3a 및 도 3b는 일 실시예에 따른 픽셀군의 패턴을 분류하는 기법을 설명하기 위한 도면.
도 4는 일 실시예에 따른 픽셀군의 외형선 방향을 결정하는 기법을 설명하기 위한 도면.
도 5a 내지 도 5b는 일 실시예에 따른 입력 영상에 기초하여 오브젝트의 외형을 분석하는 기법을 설명하기 위한 도면.
도 6은 일 실시예에 따른 픽셀군에 대응되는 속도를 계산하는 기법을 설명하기 위한 도면.
도 7은 일 실시예에 따른 리지드 바디 모델(rigid body model)을 이용하여 오브젝트의 모션을 분석하는 기법을 설명하기 위한 도면.
도 8a 내지 도 8d는 일 실시예에 따른 오브젝트의 모션 분석의 정확도를 향상시키는 기법을 설명하기 위한 도면.
도 9는 일 실시예에 따른 오브젝트의 이동 속도에 기초하여 사용자 입력을 처리하는 기법을 설명하기 위한 도면.
도 10은 일 실시예에 따른 오브젝트의 깊이에 기초하여 사용자 입력을 처리하는 기법을 설명하기 위한 도면.
도 11은 일 실시예에 따른 영상 분석 방법을 나타낸 동작 흐름도.
도 12는 일 실시예에 따른 3차원 영상 분석 장치를 나타낸 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 영상 분석 장치를 나타낸 블록도이다.
도 1을 참조하여 일 실시예에 따른 영상 분석 장치를 설명하기에 앞서 영상 분석 장치에 의해 이용되는 입력 영상을 간략히 설명한다. 일 실시예에 따른 입력 영상은 오브젝트를 촬영하는 이벤트 기반 비전 센서의 출력 영상일 수 있다. 이벤트 기반 비전 센서는 미리 정해진 이벤트를 감지함에 따라 시간 비동기적으로 이벤트 신호를 출력할 수 있다. 미리 정해진 이벤트는 입사되는 빛의 명암 변화를 포함할 수 있다. 예를 들어, 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 밝아지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 ON 이벤트를 출력할 수 있다. 또한, 이벤트 기반 비전 센서는 특정 픽셀에서 빛이 어두워지는 이벤트를 감지하는 경우, 해당 픽셀에 대응하는 OFF 이벤트를 출력할 수 있다.
이벤트 기반 비전 센서는 프레임 기반 비전 센서와 달리 각 픽셀의 포토 다이오드의 출력을 프레임 단위로 스캔하지 않고, 빛의 변화가 있는 부분의 픽셀 데이터만을 출력할 수 있다. 비전 센서로 입사되는 빛의 명암 변화는 피사체의 움직임에 기인할 수 있다. 예를 들어, 시간의 흐름에 따라 광원이 실질적으로 고정되어 있고 피사체는 스스로 발광하지 않는 경우를 가정하자. 이 경우, 비전 센서로 입사되는 빛은 광원에서 발생되어 피사체에 의해 반사된 빛이다. 피사체가 움직이지 않는 경우, 움직임이 없는 상태의 피사체에 의해 반사되는 빛은 실질적으로 변하지 않으므로, 이벤트 기반 비전 센서에 입사되는 빛의 명암 변화도 발생되지 않는다. 반면, 피사체가 움직이는 경우, 움직이는 피사체에 의해 반사되는 빛은 피사체의 움직임에 따라 변하므로, 비전 센서에 입사되는 빛의 명암 변화가 발생될 수 있다.
이벤트 기반 비전 센서는 동적 비전 센서(Dynamic Vision Sensor)를 포함할 수 있다. 동적 비전 센서는 인간의 망막 시신경의 동작원리를 이용한 수동 비전 센서를 포함할 수 있다. 동적 비전 센서는 이벤트 기반의 비전 센서로, 오브젝트의 움직임에 반응하여 이벤트 신호를 출력할 수 있다. 이벤트 신호는 오브젝트의 움직임에 반응하여 시간 비동기적으로 생성된 정보를 포함할 수 있다. 이벤트 신호는 인간의 망막으로부터 뇌로 전달되는 시신경 신호와 같은 정보를 포함할 수 있다. 예를 들어, 이벤트 신호는 정지된 사물에 대하여는 발생되지 않고, 움직이는 사물이 감지되는 경우에 한하여 발생될 수 있다. 이벤트 신호에 포함된 적어도 하나의 픽셀은 움직임이 감지된 오브젝트에 대응될 수 있다.
도 1을 참조하면, 일 실시예에 따른 영상 분석 장치(100)는 분류부(110) 및 분석부(120)를 포함한다. 분류부(110)는 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 적어도 하나의 픽셀군의 패턴을 분류할 수 있다. 픽셀군은 이벤트 신호에 대응되는 픽셀 및 해당 픽셀 주변의 복수의 인접 픽셀들을 포함할 수 있다.
이하, 설명의 편의를 위하여 이벤트 신호에 대응되는 픽셀이 픽셀군의 중앙에 위치하고, 해당 픽셀의 주변으로 배치된 8개의 인접 픽셀들이 픽셀군에 포함되는 경우를 가정한다. 물론 이러한 픽셀군의 구성 방식은 예시적인 사항에 불과하며, 픽셀군의 구성 방식은 다양하게 변형될 수 있다.
분류부(110)는 이벤트 신호에 대응되는 픽셀군이 미리 정해진 복수의 에지 패턴들에 대응되는지 여부를 판단할 수 있다. 예를 들어, 도 2a를 참조하면, 미리 정해진 복수의 에지 패턴들은 24개의 에지 패턴들(P1 내지 P24)을 포함할 수 있다. 24개의 에지 패턴들(P1 내지 P24)은 오브젝트의 외형선과 관련된 패턴들일 수 있다. 분류부(110)는 이벤트 신호에 대응되는 픽셀군이 미리 정해진 복수의 에지 패턴들 중 어느 하나에 대응된다고 판단되는 경우, 그 픽셀군의 패턴을 대응되는 에지 패턴으로 결정할 수 있다. 예를 들어, 분류부(110)는 이벤트 신호에 대응되는 픽셀군이 도 2a의 에지 패턴(P1)에 대응된다는 판단에 따라, 그 픽셀군을 에지 패턴(P1)으로 분류할 수 있다. 분류부(110)는 이벤트 신호에 대응되는 픽셀군이 미리 정해진 복수의 에지 패턴들 중 어디에도 대응되지 않는다고 판단되는 경우, 그 픽셀군은 오브젝트의 외형선과 관련되지 않는 픽셀군이라고 판단하고 처분(discard)할 수 있다.
분류부(110)가 이벤트 신호에 대응되는 픽셀군의 패턴을 분류하는 기법에 관한 보다 상세한 사항들은 도 2a 내지 도 3b를 참조하여 후술한다.
분석부(120)는 분류부(110)에 의해 분류된 적어도 하나의 픽셀군의 패턴에 기초하여 오브젝트의 외형 및 오브젝트의 모션 중 적어도 하나를 분석할 수 있다. 분석부(120)는 픽셀군의 패턴을 이용하여 그 픽셀군에 대응되는 외형선의 방향을 결정함으로써 오브젝트의 외형을 분석할 수 있다. 또는, 분석부(120)는 오브젝트의 외형선과 관련된 픽셀군에 대응되는 속도를 계산하고, 계산된 속도에 기초하여 오브젝트의 모션을 분석할 수 있다. 분석부(120)는 오브젝트의 이동 속도 성분, 오브젝트의 회전 속도 성분, 및 오브젝트의 스케일링 속도 성분 중 적어도 하나를 결정함으로써 오브젝트의 모션을 분석할 수 있다.
분석부(120)의 동작과 관련된 보다 상세한 사항들은 도 4 내지 도 8d를 참조하여 후술한다.
도 2a 내지 도 2c는 일 실시예에 따른 미리 정해진 복수의 에지 패턴들을 설명하기 위한 도면이다. 도 2a를 참조하면, 일 실시예에 따른 복수의 에지 패턴들은 오브젝트의 외형선과 관련되어 미리 정해질 수 있다.
일 실시예에 따른 이벤트 신호는 미리 정해진 이벤트가 감지된 타임 스탬프(time stamp), 이벤트의 유형을 지시하는 지시자, 및 해당 이벤트가 감지된 픽셀의 인덱스를 포함할 수 있다.
일 실시예에 따른 영상 분석 장치는 이벤트가 감지된 픽셀의 타임 스탬프 및 인접 픽셀들의 타임 스탬프들 사이의 차이에 기초하여 픽셀군의 패턴을 분류할 수 있다. 영상 분석 장치는 픽셀군의 패턴을 분류하기 위하여, 인접 픽셀들의 유형들을 결정할 수 있다. 영상 분석 장치는 이벤트가 감지된 픽셀의 타임 스탬프와 인접 픽셀들 각각의 타임 스탬프 차이를 계산하고, 계산 결과에 따라 인접 픽셀들 각각의 유형을 결정할 수 있다.
영상 분석 장치는 전체 픽셀들에 대응되는 타임 스탬프들을 관리하는 자료 구조를 이용할 수 있다. 영상 분석 장치는 이벤트 신호를 감지하는 경우, 이벤트 신호에 포함된 픽셀들의 타임 스탬프를 업데이트할 수 있다. 이 경우, 영상 분석 장치는 기존에 저장되어 있던 정보는 폐기하고, 새로 업데이트되는 정보만 저장할 수 있다.
영상 분석 장치는 수학식 1을 이용하여, 인접 픽셀들의 유형을 결정할 수 있다.
Figure pat00001
여기서, tev는 이벤트가 발생된 픽셀의 타임 스탬프이고, tnx는 인접 픽셀의 타임 스탬프이다. TE는 E-타입을 결정하기 위한 임계치이고, TS는 S-타입을 결정하기 위한 임계치이다. TE와 Ts는 픽셀의 민감도 혹은 적용 애플리케이션에 따라 설정될 수 있다. 예를 들어, 움직임을 감지하려는 오브젝트가 사용자의 손인 경우, TE와 Ts는 수 밀리 초에서 수십 밀리 초로 설정될 수 있다. 또는, 움직임을 감지하려는 오브젝트가 사용자의 손보다 훨씬 빠른 물체인 경우, TE와 Ts는 수 마이크로 초 단위 이하로 설정될 수 있다. TE와 Ts는 수학식1에서 표현된 것처럼 서로 다른 값으로 설정될 수 있고, 경우에 따라 동일한 값으로 설정될 수 있다.
영상 분석 장치는 인접 픽셀에서 마지막으로 이벤트가 감지된 시간으로부터 현재 이벤트가 감지된 시간까지 일정 시간 이상 경과된 경우, 그 인접 픽셀을 E-타입으로 결정할 수 있다. 예를 들어, 현재 이벤트가 감지된 픽셀 주변의 인접 픽셀들 중 과거의 일정 시간(예를 들어, TE)동안 새로운 이벤트가 감지되지 않은 인접 픽셀은 E-타입의 인접 픽셀로 분류될 수 있다.
영상 분석 장치는 인접 픽셀에서 마지막으로 이벤트가 감지된 시간으로부터 일정 시간 이내에 현재 이벤트가 감지된 경우, 그 인접 픽셀을 S-타입으로 결정할 수 있다. 예를 들어, 현재 이벤트가 감지된 픽셀 주변의 인접 픽셀들 중 과거의 일정 시간(예를 들어, TS) 이내에 새로운 이벤트가 감지된 인접 픽셀은 S-타입의 인접 픽셀로 분류될 수 있다.
미리 정해진 에지 패턴들은 인접한 픽셀들을 포함할 수 있다. 예를 들어 이벤트 발생 픽셀과 가장 근접한 상하좌우 픽셀들만 사용하는 경우, 도 2a에서 보여지는 바와 같이 미리 정해진 에지 패턴들은 n1 내지 n8의 인접 픽셀들을 포함할 수 있다. 미리 정해진 에지 패턴들을 구성하는 인접 픽셀들의 유형의 조합들은 각각 상이할 수 있다.
예를 들어, 에지 패턴(P1)은 E-타입의 n1, n2 및 n4(210)를 포함하고, S-타입의 n3 및 n6(220)을 포함할 수 있다. 영상 분석 장치는 일정 시간(예를 들어, TE)동안 새로운 이벤트가 감지되지 않는 n1, n2 및 n4(210) 방향의 인접 픽셀들 및 일정 시간(예를 들어, TS) 이내에 새로운 이벤트가 감지되는 n3 및 n6(220) 방향의 인접 픽셀들을 포함하는 픽셀군을 에지 패턴(P1)으로 분류할 수 있다. 이 경우, 영상 분석 장치는 일정 시간(예를 들어, TS) 이내에 새로운 이벤트가 감지된 S-타입의 n3 및 n6(220)을 이용하여 해당 픽셀군에 의한 외형선의 방향을 분석할 수 있다. 왜냐하면, 오브젝트의 움직임에 따라 새로운 이벤트가 발생되는 경우, 오브젝트의 외형선에 포함되는 픽셀들 위치의 이벤트들은 실질적으로 동일한 시간에 감지될 수 있기 때문이다. 도 4를 통하여 자세히 설명하겠지만, 에지 패턴(P1)은 n3 및 n6(220)를 연결하는 선 방향의 외형선으로 매핑될 수 있다.
마찬가지로, 에지 패턴(P24)는 E-타입의 n5, n7 및 n8(240)을 포함하고, S-타입의 n3 및 n6(250)을 포함할 수 있다. 영상 분석 장치는 일정 시간(예를 들어, TE)동안 새로운 이벤트가 감지되지 않는 n5, n7 및 n8(240) 방향의 인접 픽셀들 및 일정 시간(예를 들어, TS) 이내에 새로운 이벤트가 감지되는 n3 및 n6(250) 방향의 인접 픽셀들을 포함하는 픽셀군을 에지 패턴(P24)로 분류할 수 있다. 이 경우, 영상 분석 장치는 일정 시간(예를 들어, TS) 이내에 새로운 이벤트가 감지된 S-타입의 n3 및 n6(250)을 이용하여 해당 픽셀군에 의한 외형선의 방향을 분석할 수 있다. 도 4를 통하여 자세히 설명하겠지만, 에지 패턴(P24)은 n3 및 n6(250)를 연결하는 선 방향의 외형선으로 매핑될 수 있다.
다른 실시예에 따른 영상 분석 장치는 도 2a의 실시예와 같이 주변 8개의 인접 픽셀들을 이용하는 대신, 더 많은 인접 픽셀들을 이용할 수 있다. 예를 들어, 영상 분석 장치는 도 2b에서 도시된 것처럼 24개의 인접 픽셀들을 이용하거나, 도 2c에서 도시된 것처럼 48개의 인접 픽셀들을 이용할 수 있다. 물론, 도 2a, 도 2b 및 도 2c의 실시예들은 예시적인 사항에 불과할 뿐, 도 2a, 도 2b 및 도 2c의 실시예들은 다양하게 변형될 수 있다.
영상 분석 장치는 픽셀군에 포함된 인접 픽셀들의 유형들을 미리 정해진 복수의 에지 패턴들에 포함된 인접 픽셀들의 유형들과 비교함으로써, 픽셀군의 패턴을 에지 패턴들 중 어느 하나로 결정할 수 있다. 영상 분석 장치는 픽셀군에 포함된 인접 픽셀들의 유형들과 일치하는 구성의 인접 픽셀들을 갖는 에지 패턴을 그 픽셀군의 패턴으로 결정할 수 있다.
경우에 따라서, 미리 정해진 에지 패턴에 포함된 인접 픽셀들 중 일부는 돈-케어(don?-care) 타입일 수 있다. 예를 들어, 에지 패턴(P1)은 돈-케어 타입의 n5, n7 및 n8(230)을 포함할 수 있다. 에지 패턴(P24)는 돈-케어 타입의 n1, n2 및 n3(260)를 포함할 수 있다.
영상 분석 장치는 에지 패턴들에 포함된 인접 픽셀들 중 돈-케어 타입이 아닌 인접 픽셀들만을 이용함으로써, 픽셀군의 패턴을 분류할 수 있다. 예를 들어, 영상 분석 장치는 픽셀군이 에지 패턴(P1)에 대응되는지 여부를 판단할 때 n5, n7 및 n8(230)은 고려하지 않을 수 있다. 마찬가지로, 영상 분석 장치는 픽셀군이 에지 패턴(P24)에 대응되는지 여부를 판단할 때 n1, n2 및 n4(260)는 고려하지 않을 수 있다.
미리 정해진 복수의 에지 패턴들은 다양한 방식으로 저장될 수 있다. 예를 들어, 24개의 에지 패턴들(P1~P24) 각각에 포함된 E-타입의 인접 픽셀들 및 S-타입의 인접 픽셀들은 표 1과 같은 비트값 형식으로 저장될 수 있다.
P1E = 11010000 (D0)
P1S = 00100100 (24)
P2E = 11110000 (F0)
P2S = 00001100 (0C)
P3E = 11100000 (E0)
P3S = 00011000 (18)
P4E = 11101000 (E8)
P4S = 00010001 (11)
P5E = 01101000 (68)
P5S = 10000001 (81)
P6E = 11010100 (D4)
P6S = 00100010 (22)
P7E = 11110100 (F4)
P7S = 00001010 (0A)
P8E = 11111000 (F8)
P8S = 00000101 (05)
P9E = 11101001 (E9)
P9S = 00010010 (12)
P10E = 01101001 (69)
P10S = 10000010 (82)
P11E = 10010100 (94)
P11S = 01000010 (42)
P12E = 11010110 (D6)
P12S = 00100001 (21)		 P13E = 01101011 (6B)
P13S = 10000100 (84)
P14E = 00101001 (29)
P14S = 01000010 (42)
P15E = 10010110 (96)
P15S = 01000001 (41)
P16E = 10010111 (97)
P16S = 01001000 (48)
P17E = 00011111 (1F)
P17S = 10100000 (A0)
P18E = 00101111 (2F)
P18S = 01010000 (50)
P19E = 00101011 (2B)
P19S = 01000100 (44)
P20E = 00010110 (16)
P20S = 10000001 (81)
P21E = 00010111 (17)
P21S = 10001000 (88)
P22E = 00000111 (07)
P22S = 00011000 (18)
P23E = 00001111 (0F)
P23S = 00110000 (30)
P24E = 00001011 (0B)
P24S = 00100100 (24)
여기서, PnE는 에지 패턴(Pn)에 포함된 E-타입의 인접 픽셀들을 지시할 수 있다. 8개의 인접 픽셀들이 이용되는 경우를 가정하면, PnE는 8 비트로 구성될 수 있고, 8개의 비트들은 각각 n1~n8에 대응될 수 있다. 8개의 비트들 중 E-타입의 인접 픽셀에 대응되는 비트는 '1'로 설정되고, 그렇지 않은 비트는 '0'으로 설정될 수 있다. 예를 들어, 에지 패턴(P1)은 E-타입의 인접 픽셀로 n1, n2 및 n4(210)를 포함하므로, P1E의 비트값은 첫 번째 비트, 두 번째 비트 및 네 번째 비트가 '1'인 "11010000"로 설정될 수 있다. P1E의 비트값 "11010000"은 16진수로 표현될 수 있으며, 이 경우 P1E의 비트값은 "D0"으로 표현될 수 있다. 물론 다른 실시예에 따라 24개의 인접 픽셀들이 이용되는 경우 PnE는 24비트로 구성될 수 있고, 48개의 인접 픽셀들이 이용되는 경우 PnE는 48 비트로 구성될 수 있다.
또한, PnS는 에지 패턴(Pn)에 포함된 S-타입의 인접 픽셀들을 지시할 수 있다. 8개의 인접 픽셀들이 이용되는 경우를 가정하면, PnS는 8 비트로 구성될 수 있고, 8개의 비트들은 각각 n1~n8에 대응될 수 있다. 8개의 비트들 중 S-타입의 인접 픽셀에 대응되는 비트는 '1'로 설정되고, 그렇지 않은 비트는 '0'으로 설정될 수 있다. 예를 들어, 에지 패턴(P1)은 S-타입의 인접 픽셀로 n3 및 n6(220)을 포함하므로, P1S의 비트값은 세 번째 비트 및 여섯 번째 비트가 '1'인 "00100100"로 설정될 수 있다. P1S의 비트값 "00100100"은 16진수로 표현될 수 있으며, 이 경우 P1S의 비트값은 "24"로 표현될 수 있다. 물론 다른 실시예에 따라 24개의 인접 픽셀들이 이용되는 경우 PnS는 24비트로 구성될 수 있고, 48개의 인접 픽셀들이 이용되는 경우 PnS는 48 비트로 구성될 수 있다.
일 실시예에 따른 영상 분석 장치는 PnE에 의해 지시되는 인접 픽셀들이 E-타입인지 여부 및 PnS에 의해 지시되는 인접 픽셀들이 S-타입인지 여부를 확인함으로써, 픽셀군이 에지 패턴(Pn)에 해당하는지 여부를 판단할 수 있다.
일 실시예에 따른 영상 분석 장치는 픽셀군의 패턴을 분류 시, 돈-케어 타입의 인접 픽셀들은 고려하지 않을 수 있다. 이에 따라, 영상 분석 장치는 돈-케어 타입의 인접 픽셀들을 명시적으로 지시하는 정보를 따로 이용하지 않을 수 있다. 예를 들어, 에지 패턴(Pn)에서 돈-케어 타입의 인접 픽셀들에 대응되는 비트들은 PnE 및 PnS에서 모두 '0'으로 설정될 수 있다. 다만, PnE와 PnS를 비트 단위 OR 연산을 시킨 결과에서 '0'인 비트는 돈-케어 타입의 인접 픽셀을 지시할 수 있다. 예를 들어, P1E = "11010000"와 P1S = "00100100"를 비트 단위 OR 연산을 시키면 P1E OR P1S = "11110100"이다. P1E OR P1S에서 '0'인 비트는 다섯 번째 비트, 일곱 번째 비트 및 여덟 번째 비트이므로, P1E OR P1S = "11110100"는 에지 패턴(P1)에 포함된 돈-케어 타입의 인접 픽셀들이 n5, n7 및 n8(230) 임을 지시할 수 있다.
표 1은 에지 패턴(Pn)에 포함된 E-타입 인접 픽셀과 S-타입 인접 픽셀을 표현하기 위한 일 실시예이다. 해당 분야에서 통상의 지식을 가진 자라면, 에지 패턴(Pn)에 포함된 E-타입 인접 픽셀과 S-타입 인접 픽셀을 표현하기 위하여 표 1을 다양하게 변형할 수 있다.
도 3a 및 도 3b는 일 실시예에 따른 픽셀군의 패턴을 분류하는 기법을 설명하기 위한 도면이다.
도 3a를 참조하면, 일 실시예에 따른 24개의 에지 패턴들(P1~P24)은 6개의 그룹들(310, 320, 330, 340, 350, 360)로 그룹화될 수 있다. 예를 들어, 24개의 에지 패턴들(P1~P24)은 E-타입의 인접 픽셀들이 공통되는지 여부에 따라 6개의 그룹들(310, 320, 330, 340, 350, 360)로 그룹화될 수 있다. 그룹(310)은 E-타입의 n1, n2 및 n4를 포함하는 에지 패턴들(P1, P2, P6, P7, P8)로 구성될 수 있다. 그룹(320)은 E-타입의 n2, n3 및 n5를 포함하는 에지 패턴들(P4, P5, P9, P10, P13)로 구성될 수 있다. 도 2에서 E-타입으로 표현된 픽셀들 중 그룹에 공통된 픽셀들은 도 3a에서 “
Figure pat00002
“으로 표현되었다.
6개의 그룹들 및 각각의 그룹들에 포함된 에지 패턴들은 표 2와 같이 마스킹 비트값(E) 및 추가 비트값들(G)로 구분될 수 있다.
E1 : 11010000
G11 : 00000100
G12 : 00100000
G13 : 00001000
E2 : 01101000
G21 : 10000000
G22 : 00000001
G23 : 00000010
E3 : 00010110
G31 : 00000001
G32 : 10000000
G33 : 01000000
E4 : 00001011
G41 : 00100000
G42 : 00000100
G43 : 00010000
G51 : 01000010
G52 : 00011000
일 실시예에 따른 영상 분석 장치는 픽셀군의 인접 픽셀들 중 마스킹 비트값(E)에 대응되는 위치의 인접 픽셀들이 E-타입인지 여부를 확인함으로써 픽셀군의 패턴이 속하는 그룹을 판단할 수 있다. 영상 분석 장치는 해당 그룹의 추가 비트값들(G)에 대응되는 위치의 인접 픽셀들이 E-타입인지 여부를 확인함으로써 픽셀군의 패턴을 판단할 수 있다.
예를 들어, 그룹(310)에 포함된 에지 패턴들(P1, P2, P6, P7, P8)은 모두 E-타입의 n1, n2 및 n4를 포함하므로, 그룹(310)을 대표하는 마스킹 비트 E1의 첫 번째 비트, 두 번째 비트 및 네 번째 비트는 '1'로 설정될 수 있다. 일 실시예에 따른 영상 분석 장치는 E1을 이용하여 n1, n2 및 n4가 E-타입의 인접 픽셀인지 여부를 확인함으로써, 픽셀군이 그룹(310)에 포함되는지 여부를 판단할 수 있다.
또한, 일 실시예에 따른 영상 분석 장치는 G11, G12 및 G13을 이용하여 그룹(310)으로 분류된 픽셀군이 정확히 어느 에지 패턴에 대응되는지 여부를 판단할 수 있다. 예를 들어, G11은 여섯 번째 비트가 '1'로 설정된 추가 비트값이다. 영상 분석 장치는 G11을 이용하여 픽셀군의 n6가 E-타입인지 여부를 확인할 수 있다.
영상 분석 장치는 픽셀군의 n6가 E-타입이라는 판단에 따라, 픽셀군이 에지 패턴(P6) 또는 에지 패턴(P7)에 해당한다고 판단할 수 있다. 나아가, 영상 분석 장치는 G12를 이용하여 픽셀군의 n3가 E-타입인지 여부를 확인함으로써, 픽셀군이 에지 패턴(P6) 및 에지 패턴(P7) 중 어느 패턴에 해당하는지를 판단할 수 있다. 예를 들어, 픽셀군의 n3가 E-타입인 경우 영상 분석 장치는 픽셀군이 에지 패턴(P7)에 해당한다고 판단할 수 있다. 반면, 픽셀군의 n3가 E-타입이 아닌 경우 영상 분석 장치는 픽셀군이 에지 패턴(P6)에 해당한다고 판단할 수 있다.
영상 분석 장치는 픽셀군의 n6가 E-타입이 아니라는 판단에 따라, 픽셀군이 에지 패턴(P1), 에지 패턴(P2) 또는 에지 패턴(P8)에 해당한다고 판단할 수 있다. 나아가, 영상 분석 장치는 G12를 이용하여 픽셀군의 n3가 E-타입인지 여부를 확인하고, 픽셀군의 n3가 E-타입이 아닌 경우 픽셀군이 에지 패턴(P1)에 해당한다고 판단할 수 있다. 영상 분석 장치는 픽셀군의 n3가 E-타입이 아닌 경우, G13을 이용하여 픽셀군의 n5가 E-타입인지 여부를 확인할 수 있다. 픽셀군의 n5가 E-타입인 경우 영상 분석 장치는 픽셀군을 에지 패턴(P8)에 해당한다고 판단하고, 픽셀군의 n5가 E-타입이 아닌 경우 영상 분석 장치는 픽셀군을 에지 패턴(P2)에 해당한다고 판단할 수 있다.
영상 분석 장치는 E1 내지 E4의 마스킹 비트값에 대응되는 위치의 인접 픽셀들이 E-타입이 아닌 경우, 픽셀군의 패턴이 그룹(350) 또는 그룹(360)에 속한다고 판단할 수 있다. 영상 분석 장치는 G51 및 G52의 추가 비트값들에 대응되는 위치의 인접 픽셀들이 S-타입인지 여부를 확인함으로써 픽셀군이 그룹(350) 및 그룹(360) 중 어느 그룹에 속하는지 여부를 판단할 수 있다.
예를 들어, 일 실시예에 따른 영상 분석 장치는 G51을 이용하여 픽셀군이 그룹(360)에 속하는지 여부를 판단할 수 있다. G51은 두 번째 비트 및 일곱 번째 비트가 '1'로 설정된 추가 비트값이다. 영상 분석 장치는 G51을 이용하여 픽셀군의 n2 및 n7이 S-타입인지 여부를 확인함으로써, 픽셀군이 그룹(360)에 속하는지 여부를 판단할 수 있다. 나아가, 영상 분석 장치는 n2 및 n7을 제외한 나머지 하나의 인접 픽셀이 E-타입인지 여부를 추가로 확인함으로써, 픽셀군이 에지 패턴(P11) 및 에지 패턴(P14) 중 어느 패턴으로 분류되는지 여부를 판단할 수 있다.
또한, 일 실시예에 따른 영상 분석 장치는 G52를 이용하여 픽셀군이 그룹(350)에 속하는지 여부를 판단할 수 있다. G52는 네 번째 비트 및 다섯 번째 비트가 '1'로 설정된 추가 비트값이다. 영상 분석 장치는 G52를 이용하여 픽셀군의 n4 및 n5가 S-타입인지 여부를 확인함으로써, 픽셀군이 그룹(350)에 속하는지 여부를 판단할 수 있다. 나아가, 영상 분석 장치는 n4 및 n5를 제외한 나머지 하나의 인접 픽셀이 E-타입인지 여부를 추가로 확인함으로써, 픽셀군이 에지 패턴(P3) 및 에지 패턴(P22) 중 어느 패턴으로 분류되는지 여부를 판단할 수 있다.
도 3b를 참조하면, 일 실시예에 따른 영상 분석 장치는 픽셀군에 포함된 E-타입 인접 픽셀들을 이용하여 해당 픽셀군의 에지 패턴을 분류할 수 있다. 영상 분석 장치는 E-타입 인접 픽셀을 위한 임계값 TE 및 S-타입 인접 픽셀을 위한 임계값 TS가 동일한 경우, 후술하는 방법을 이용하여 픽셀군의 에지 패턴을 분류할 수 있다.
보다 구체적으로, 영상 분석 장치는 인접 픽셀 b0 내지 b7이 E-타입 인접 픽셀인지 여부를 확인할 수 있다. 영상 분석 장치는 각각의 인접 픽셀이 E-타입인 경우 해당 픽셀에 대응되는 비트를 '1'로 설정하고, 그렇지 않은 경우 해당 픽셀에 대응되는 비트를 '0'으로 설정할 수 있다. 영상 분석 장치는 수학식 2를 이용하여 P-val을 계산할 수 있다.
Figure pat00003
여기서, B는 8 비트의 비트값으로, b0b1b2b3b4b5b6b7이다. (B<<1)은 B를 비트 단위로 왼쪽으로 1 비트만큼 사이클릭 쉬프트한 값으로, b1b2b3b4b5b6b7b0이다. (B>>1)은 B를 비트 단위로 오른쪽으로 1 비트만큼 사이클릭 쉬프트한 값으로, b7b0b1b2b3b4b5b6이다. AND는 (B<<1), B 및 (B>>1)을 비트 단위로 AND 연산한 결과 비트값이다.
영상 분석 장치는 표 3과 같은 룩-업 테이블을 이용하여 계산된 P-val로부터 에지 패턴을 판단할 수 있다. 예를 들어, 계산된 P-val이 "00000001"인 경우, 영상 분석 장치는 해당 픽셀군이 에지 패턴(P11)에 해당한다고 판단할 수 있다. 영상 분석 장치는 계산된 P-val이 표 3의 룩-업 테이블에 존재하지 않는 값인 경우, 미리 정해진 에지 패턴들 중 어디에도 해당하지 않는다고 판단할 수 있다.
Figure pat00004
P-val이 십진수로 17, 34, 68 및 136인 경우, 두 개의 에지 패턴들이 후보가 될 수 있다. 이는 돈-케어 타입의 인접 픽셀이 E-타입의 인접 픽셀인 경우로 인하여 발생되는 것으로, 영상 분석 장치는 미리 정해진 룰에 따라 어느 하나의 에지 패턴을 선택할 수 있다. 예를 들어, 영상 분석 장치는 추가로 미리 정해진 인접 픽셀의 유형을 판단함으로써 두 개의 에지 패턴 후보들 중 어느 하나의 에지 패턴을 선택할 수 있다. 또는, 영상 분석 장치는 랜덤하게 어느 하나의 에지 패턴을 선택할 수 있다.
도 4는 일 실시예에 따른 픽셀군의 외형선 방향을 결정하는 기법을 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 미리 정해진 복수의 에지 패턴들은 특정 방향을 가지는 외형선으로 매핑될 수 있다.
복수의 에지 패턴들은 S-타입의 인접 픽셀들이 배치된 주 방향을 가지는 외형선으로 매핑될 수 있다. 예를 들어, 에지 패턴들(P1, P7, P18, P24)(410)은 E2번째 방향을 가지는 외형선(415)으로 매핑될 수 있다. 또한, 에지 패턴들(P11, P12, P13, P14)(420)은 E4번째 방향을 가지는 외형선(425)으로 매핑될 수 있다. 동일한 방식으로 24개의 에지 패턴들은 표 4와 같이 8개 방향의 외형선들로 매핑될 수 있다.
P1 E2 P13 E4
P2 E1 P14 E4
P3 E0 P15 E5
P4 E7 P16 E6
P5 E6 P17 E0
P6 E3 P18 E2
P7 E2 P19 E3
P8 E0 P20 E6
P9 E6 P21 E7
P10 E5 P22 E0
P11 E4 P23 E1
P12 E4 P24 E2
일 실시예에 따른 영상 분석 장치는 이벤트가 감지된 픽셀에 대응되는 픽셀군의 패턴을 분류할 수 있다. 분류된 패턴들 각각은 표 4와 같은 외형선들로 매핑될 수 있으므로, 영상 분석 장치는 이벤트가 감지된 픽셀들 각각에서의 외형선 방향을 인지할 수 있다. 예를 들어, 표 4를 이용하여 매핑된 에지 패턴들은 각 이벤트 픽셀에서의 에지(edge)로 저장될 수 있고, 영상 분석 장치는 복수의 픽셀들에 대하여 저장된 에지 정보를 조합함으로써, 오브젝트의 외형을 판단할 수 있다.
보다 구체적으로, 영상 분석 장치가 움직이는 사람의 손에 의하여 발생된 이벤트 신호를 수신하는 경우를 가정하자. 이 경우, 이벤트 픽셀들은 사람의 손의 외형선에 대응되는 픽셀들 및 사람의 손의 내부에 대응되는 픽셀들을 모두 포함할 수 있다. 영상 분석 장치는 도 2a 내지 도 2c를 통하여 전술한 방법을 이용하여 이벤트 픽셀들 각각의 픽셀군이 어느 에지 패턴에 대응되는지 여부를 판단할 수 있다. 이 때, 미리 정해진 에지 패턴들은 외형선에 해당하는 에지 패턴들만 포함할 수 있다. 따라서, 영상 분석 장치는 사람의 손의 내부에 대응되는 픽셀들은 미리 정해진 에지 패턴들 중 어디에도 해당하지 않는다고 판단할 수 있고, 사람의 손의 외형선에 대응되는 픽셀들은 미리 정해진 에지 패턴들 중 어느 하나에 해당한다고 판단할 수 있다. 사람의 손의 외형선에 대응되는 픽셀들 각각이 미리 정해진 에지 패턴들 중 어느 하나에 해당한다고 판단되면, 영상 분석 장치는 표 4를 이용하여 사람의 손의 외형선에 대응되는 픽셀들 각각에서 해당 에지 패턴에 대응되는 외형선의 방향을 판단할 수 있다. 따라서, 영상 분석 장치는 사람의 손의 외형선에 대응되는 픽셀들 각각에서의 외형선 방향을 판단할 수 있고, 복수의 외형선 방향들을 종합하여 사람의 손의 외형을 판단할 수 있다.
도 5a 내지 도 5b는 일 실시예에 따른 입력 영상에 기초하여 오브젝트의 외형을 분석하는 기법을 설명하기 위한 도면이다.
도 5a를 참조하면, 일 실시예에 따른 입력 영상은 원통형의 중심부 주변에 위치된 8개의 막대들이 동일한 회전 속도로 시계 방향으로 회전하는 것을 촬영한 이벤트 기반 비전 센서의 출력 영상일 수 있다. 이 경우, 이벤트 기반 비전 센서는 밝아지는 이벤트 및 어두워지는 이벤트를 감지하여 이벤트 신호를 출력할 수 있다. 이벤트 기반 비전 센서는 시계 방향으로 회전되는 8개의 막대들에 의하여 이미지 내의 복수의 픽셀들의 명암이 미리 정해진 수치 이상 밝아지거나 어두워지는 것을 감지하여 이벤트 신호를 출력할 수 있다. 도 5a에서, 검은점(■)으로 표시된 것이 어두워지는 이벤트를 감지한 센서의 출력이고, 하얀점(□)으로 표시된 것이 밝아지는 이벤트를 감지한 센서의 출력이다. 도 5b를 참조하면, 일 실시예에 따른 영상 분석 장치는 도 5a의 입력 영상을 이용하여 오브젝트의 외형을 분석할 수 있다.
영상 분석 장치는 도 1 내지 도 4를 통하여 기술한 기법들을 이용하여 미리 정해진 에지 패턴들에 대응되는 픽셀군을 선별하고, 선별된 픽셀군에 대응되는 외형선의 방향에 따라 오브젝트의 외형을 추정할 수 있다. 이로 인하여, 영상 분석 장치는 입력 영상에 포함된 트레일링 효과(trailing effect) 등에 의한 노이즈를 효과적으로 제거할 수 있다.
일 실시예에 따른 영상 분석 장치는 오브젝트의 외형뿐 아니라 오브젝트의 모션도 분석할 수 있다. 전술한 기법들을 이용하여 이벤트 신호로부터 오브젝트의 외형을 분석한 후, 영상 분석 장치는 오브젝트의 외형선에 대응되는 픽셀들 각각에서의 속도를 계산할 수 있고, 외형선에 대응되는 픽셀들 각각에서의 속도를 이용하여 오브젝트의 모션을 분석할 수 있다. 이하, 도 6을 참조하여 영상 분석 장치가 오브젝트의 외형선에 대응되는 픽셀들 각각에서의 속도를 계산하는 동작을 설명하고, 도 7을 참조하여 영상 분석 장치가 오브젝트의 모션을 분석하는 동작을 상세히 설명한다.
도 6은 일 실시예에 따른 픽셀군에 대응되는 속도를 계산하는 기법을 설명하기 위한 도면이다. 도 6을 참조하면, 일 실시예에 따른 픽셀군은 움직임 방향 정보를 포함할 수 있고, 일 실시예에 따른 영상 분석 장치는 인접 픽셀들을 이용하여 픽셀군에 대응되는 속도를 계산할 수 있다.
이 때, 영상 분석 장치는 오브젝트의 외형선에 대응되는 픽셀군의 속도를 계산할 수 있다. 예를 들어, 영상 분석 장치는 이벤트 신호에 포함된 복수의 픽셀들 모두에 대하여 해당 픽셀군의 속도를 계산하는 대신, 도 2a 내지 도 2c의 미리 정해진 에지 패턴들(P1~P24)로 분류된 픽셀군에 대하여만 해당 픽셀군의 속도를 계산할 수 있다. 전술한 바와 같이, 미리 정해진 에지 패턴들(P1~P24)은 오브젝트의 외형선에 대응되는 에지 패턴들만을 포함할 수 있으므로, 영상 분석 장치는 오브젝트의 외형선에 대응되는 픽셀군의 속도만을 계산할 수 있다.
영상 분석 장치는 수학식 3을 이용하여 픽셀군에 대응되는 x축 방향 속도 Vx와 y축 방향 속도 Vy를 계산할 수 있다.
Figure pat00005
θi,a 및 θi,b는 픽셀군의 중심을 기준으로 S-타입인 i번째 인접 픽셀을 커버하는 범위의 경계 각도들일 수 있다. 예를 들어, n5가 S-타입인 경우, θ5,a(620) 및 θ5,b(610)는 픽셀군의 중심을 기준으로 n5를 커버하는 범위의 경계 각도들일 수 있다.
영상 분석 장치는 수학식 4를 이용하여 타임 스탬프의 노이즈에 대한 민감도를 완화시킬 수 있다.
Figure pat00006
여기서, <dt>는 수학식 5와 같다.
Figure pat00007
영상 분석 장치는 수학식 3 내지 수학식 5를 통하여 계산된 x축 방향 속도 Vx와 y축 방향 속도 Vy를 픽셀군에 대응하는 속도로 저장할 수 있다. 물론 픽셀군에 대응하는 속도는 해당 픽셀군의 중심에 위치한 이벤트 픽셀의 속도로 이해될 수 있다. 전술한 바와 같이, 영상 분석 장치는 미리 정해진 에지 패턴들을 이용하여 오브젝트의 외형선에 대응되는 이벤트 픽셀들에 대하여만 x축 방향 속도 Vx와 y축 방향 속도 Vy를 계산할 수 있다. 이하, 도 7을 참조하여 오브젝트의 외형선에 대응되는 이벤트 픽셀들의 속도들을 이용하여 오브젝트의 모션을 분석하는 방법을 설명한다.
도 7은 일 실시예에 따른 리지드 바디 모델(rigid body model)을 이용하여 오브젝트의 모션을 분석하는 기법을 설명하기 위한 도면이다. 도 7을 참조하면, 일 실시예에 따른 영상 분석 장치는 오브젝트(700)의 4-DOF(degree of freedom) 모션을 분석할 수 있다.
예를 들어, 오브젝트(700)의 움직임이 감지된 입력 영상을 분석하는 경우를 가정하자. 오브젝트(700)는 2차원 평면상의 이동 속도 Vp(740)로 이동할 수 있다. 또는, 오브젝트(700)는 회전 중심 Oc(720)를 기준으로 각속도 ω(721)로 회전할 수 있다. 또는, 오브젝트(700)는 스케일링 중심 Oz(730)을 기준으로 스케일링 속도 Vz로 확대 또는 축소될 수 있다.
영상 분석 장치는 오브젝트(700)의 이동 속도 성분, 회전 속도 성분, 스케일링 속도 성분을 분석할 수 있다. 도 1 내지 도 6을 통하여 기술된 사항들을 이용하여, 영상 분석 장치는 오브젝트(700)의 외형선에 존재하는 임의의 점 Pi(710)의 속도 Vi를 계산할 수 있다. 예를 들어, 속도 Vi는 수학식 3 내지 수학식 5를 통하여 계산된 x축 방향 속도 Vx와 y축 방향 속도 Vy일 수 있다.
영상 분석 장치는 Vi를 수학식 6과 같이 모델링할 수 있다.
Figure pat00008
여기서, Vzi(731), Vri(722), Vp(740)는 각각 Pi(710)에서의 스케일링 속도 성분, 회전 속도 성분, 이동 속도 성분이다. 영상 분석 장치는 Vi를 수학식 6과 같이 모델링함으로써, 오브젝트(700)의 외형선 위에 위치하는 점 Pi(710)에서의 속도 Vi를 스케일링 속도 성분, 회전 속도 성분 및 이동 속도 성분으로 분할할 수 있다. 이 때, 수학식 6은 수학식 7과 같이 표현될 수 있다.
Figure pat00009
여기서, tPi는 스케일링 속도 성분으로, 스케일링 중심 Oz(730)을 원점으로 하는 좌표 Pi(710)는 벡터 Vzi(731)의 방향과 크기를 나타낼 수 있고, 파라미터 t는 벡터 Vzi(731)의 크기를 스케일링할 수 있다. ωA(Pi-Oc)는 회전 속도 성분으로, 좌표 차이 (Pi-Oc)는 회전 중심 Oc(720)으로부터 좌표 Pi(710)를 향하는 벡터의 방향과 크기를 나타낼 수 있고, 매트릭스 A는 회전 중심 Oc(720)으로부터 좌표 Pi(710)를 향하는 벡터를 회전시키는 회전 매트릭스이다. 예를 들어 매트릭스
Figure pat00010
일 수 있다. 매트릭스 A로 인하여 회전된 벡터는 벡터 Vri(722)를 지시할 수 있으며, 파라미터 ω는 벡터 Vri(722)의 크기를 스케일링할 수 있다.
일 실시예에 따른 영상 분석 장치는 오브젝트(700)의 외형선 위에 위치하는 복수의 점들의 좌표(Pi) 및 해당 점들에서의 속도들(Vi)을 알고 있으므로, 수학식 7을 이용하여 스케일링 속도 성분 파라미터 t, 회전 속도 성분 파라미터 ω, 회전 중심 Oc, 및 이동 속도 성분 Vp를 계산할 수 있다. 이처럼 일 실시예에 따른 영상 분석 장치는 오브젝트의 4-DOF인 이동 속도 성분, 회전 속도 성분, 및 스케일링 속도 성분 중 적어도 하나를 분석할 수 있다.
수학식 7을 이용하여 스케일링 속도 성분 파라미터 t, 회전 속도 성분 파라미터 ω, 회전 중심 Oc, 및 이동 속도 성분 Vp를 계산하는 방법은 다양하게 구현될 수 있다. 일 실시예에 따라 수학식 7을 정리하면 수학식 8이 도출될 수 있다.
Figure pat00011
여기서, Pi는 오브젝트(700)의 외형선 위에 위치하는 i번째 점의 좌표이고,
Figure pat00012
는 오브젝트(700)의 외형선 위에 위치하는 좌표들의 평균이다. Vi는 오브젝트(700)의 외형선 위에 위치하는 i번째 점에서의 속도이고,
Figure pat00013
는 오브젝트(700)의 외형선 위에 위치하는 점들에서의 속도들의 평균이다. 각각의 변수들은 수학식 9 내지 12과 같다.
Figure pat00014
Figure pat00015
Figure pat00016
Figure pat00017
일 실시예에 따른 영상 분석 장치는 수학식 3 내지 수학식 5를 이용하여 x축 방향 속도 Vx와 y축 방향 속도 Vy를 계산하여 픽셀 Pi에서의 속도 Vi로 저장할 수 있다. 영상 분석 장치는 각 픽셀의 좌표 Pi 및 각 픽셀에서의 속도 Vi를 이용하여
Figure pat00018
및
Figure pat00019
를 계산할 수 있다. 영상 분석 장치는 복수의 Pi들, 복수의 Vi들,
Figure pat00020
,
Figure pat00021
및 수학식 8을 이용하여, 파라미터 t 및 파라미터 ω를 계산할 수 있다. 예를 들어, 수도 인버스(Pseudo Inverse) 기법에 의하여, 수학식 8로부터 수학식 13 내지 14가 도출될 수 있다.
Figure pat00022
Figure pat00023
여기서, σ2(P) = σ2(x) + σ2(y)이고, σ(·)는 표준 편차(standard deviation)를 계산하는 연산자이다. σ(x, y) = E[(x-E[x])(y-E[y])]이고, E[·]는 기대 값(expectation value) 또는 평균(average)를 계산하는 연산자이다. 영상 분석 장치는 수학식 13 및 수학식 14를 이용하여 스케일링 속도 성분 파라미터 t 및 회전 속도 성분 파라미터 ω를 계산할 수 있다.
도 8a 내지 도 8d는 일 실시예에 따른 오브젝트의 모션 분석의 정확도를 향상시키는 기법을 설명하기 위한 도면이다.
도 8a를 참조하면, 일 실시예에 따른 영상 분석 장치는 픽셀군보다 큰 관측 영역을 이용하여 모션 분석의 정확도를 향상시킬 수 있다. 관측 영역은 복수의 픽셀군들을 포함하는 픽셀군들의 집합으로, 예를 들어 오브젝트의 외형선을 따라 오브젝트가 일정한 크기로 분할된 영역을 포함할 수 있다.
관측 영역의 선택에 있어서, 일 실시예에 따른 영상 분석 장치는 포함되는 픽셀군들의 패턴들의 다양성을 고려할 수 있다. 예를 들어, 영상 분석 장치는 픽셀군들의 패턴이 다양한 관측 영역을 선택하여, 모션 분석을 수행할 수 있다.
예를 들어, 오브젝트(800)이 회전, 축소 및 확대되지 않으면서 오른쪽 방향(820)으로 이동하는 경우를 가정하자. 이 때, 오브젝트(800)는 직사각형 모양의 사물로, 비스듬히 기울어진 상태로 이동할 수 있다. 관측 영역(810)은 동일하거나 유사한 패턴을 가지는 픽셀군들(811)만을 포함할 수 있다. 관측 영역(810)에 포함된 픽셀군들(811)에 기초하여 모션 분석을 수행하는 경우, 실제 이동 방향이 오른쪽 방향(820)임에도 불구하고 오른쪽 아래 방향(812)으로 이동하는 것으로 분석될 수 있다. 영상 분석 장치는 오브젝트(800)의 외형선 중 직선 부분만을 포함하는 관측 영역(810)이 아닌 직각으로 꺾인 부분을 포함하는 관측 영역(830)을 선택할 수 있다. 영상 분석 장치는 다양한 패턴의 픽셀군들을 포함하는 관측 영역을 선택함으로써, 모션 분석의 정확도를 향상시킬 수 있다.
다른 실시예에 따른 영상 분석 장치는 LOH(Level of Homogeneity)를 이용하여 모션 분석의 정확도를 향상시킬 수 있다. 예를 들어, 영상 분석 장치는 수학식 15를 이용하여 패치의 LOH를 계산하고, 낮은 LOH를 가지는 패치를 선택할 수 있다. 여기서, 패치는 3 x 3 크기 이상의 픽셀들을 포함하는 픽셀군을 포함할 수 있다.
Figure pat00024
여기서, θref와 θi는 각각 패치의 중심에 위치하는 픽셀의 외형선 각도 및 i번째 인접 픽셀의 외형선 각도이다. LOH가 낮은 경우 해당 패치에 포함되는 픽셀군의 패턴들이 유사함을 나타내고, LOH가 높은 경우 해당 패치에 포함되는 픽셀군의 패턴들이 상이함을 나타낼 수 있다. 영상 분석 장치는 LOH가 낮은 패치를 선택함으로써, 다양한 패턴의 픽셀군들을 포함하는 관측 영역을 선택할 수 있다.
도 8b는 LOH를 이용한 모션 분석의 정확도 향상을 보여주는 일 예이다. 예를 들어, 오브젝트(800)이 오른쪽 방향(820)으로 움직이는 경우를 가정하자. 관측 영역(810)에서 오브젝트(800)의 움직임을 관측하는 경우, 오브젝트(800)의 외형선은 시간 t에서 에지(831)과 같이 관측되고 시간 t+Δt에서 에지(832)와 같이 관측될 수 있다. 이 경우, 오브젝트(800)는 오른쪽 방향(820)으로만 움직였으므로, 오브젝트(800)의 실제 움직임 속도는 속도 벡터(840)로 표현될 수 있다. 만약 LOH를 이용한 모션 분석을 이용하지 않는다면, 오브젝트(800)의 움직임 속도는 속도 벡터(850)로 계산될 수 있다. 속도 벡터(850)은 오브젝트(800)의 실제 움직임 속도를 나타내는 속도 벡터(840)와 방향 및 크기가 모두 상이하다.
LOH를 이용한 모션 분석을 이용하는 경우, 오브젝트(800)의 움직임 속도는 속도 벡터(860)으로 계산될 수 있다. 속도 벡터(860)은 오브젝트(800)의 실제 움직임 속도를 나타내는 속도 벡터(840)와 동일한 방향을 가지나, 여전히 크기는 상이할 수 있다.
도 8c를 참조하면, 오브젝트들이 동일한 속도 및 방향을 갖는 실제 속도(872)로 움직인다 하더라도, 오브젝트의 외형(871)에 따라서 계산되는 속도(873)의 크기가 상이할 수 있다. 예를 들어, 실제 이동하는 방향(예를 들어, x축 방향)으로의 벡터 성분이 작은 외형을 가질수록 계산되는 속도의 크기는 작아질 수 있다.
도 8d를 참조하면, 일 실시예에 따른 영상 분석 장치는 수학식 16 및 수학식 17을 이용하여 오브젝트(800)의 움직임 속도의 크기를 보정할 수 있다. 보다 구체적으로, 영상 분석 장치는 단계 881에서 에지 이벤트로서 Vi를 수신할 수 있다. 영상 분석 장치는 Vi를 이용하여 Vp, Oc, t, ω를 계산할 수 있다. 단계 881 및 단계 882에는 도 1 내지 도 7을 참조하여 전술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다. 영상 분석 장치는 단계 883에서 LOH를 이용한 모션 분석을 통하여 Vp를 계산할 수 있다. 마찬가지로, 단계 883에는 도 8a를 통하여 전술한 사항들이 그대로 적용될 수 있다.
영상 분석 장치는 단계 884에서 수학식 16을 이용하여 Vi gen을 계산할 수 있다. 수학식 16에 이용되는 파라미터들의 의미는 수학식 7에 이용되는 파라미터들의 의미와 동일하다.
Figure pat00025
영상 분석 장치는 단계 885에서 수학식 17을 이용하여 Vi cor를 계산할 수 있다. 여기서, θ는 Vi와 Vi gen 사이의 각도 차이로, 도 8b의 각도(855)에 해당한다.
Figure pat00026
Vi는 오브젝트의 실제 움직임 방향과 상이한 방향을 가지지만, LOH를 고려하지 않고 모든 외형선에 대하여 움직임 속도를 계산한 것이므로, 실제 움직임 속도와 유사한 크기를 가질 수 있다. 반면, Vi gen은 오브젝트의 실제 움직임 방향과 동일한 방향을 가지지만, 낮은 LOH의 관측 범위에 있는 외형선에 대하여만 움직임 속도를 계산한 것이므로, 실제 움직임 속도보다 작은 크기를 가질 수 있다. 따라서, 영상 분석 장치는 수학식 17을 이용하여 Vi로부터는 벡터의 크기를 얻고, Vi gen으로부터는 벡터의 방향을 얻음으로써 Vi cor를 계산할 수 있다.
다른 실시예에 따르면, 영상 분석 장치는 단계 882 내지 단계 885를 두 번 이상 이터레이션(iteration)할 수 있다. 예를 들어, θ가 90도인 경우, tan90°는 무한대이므로 Vi cor가 계산되기 어려울 수 있다. 이 경우, 영상 분석 장치는 두 번 이상에 걸쳐 Vi를 회전시킴으로써 Vi cor를 계산할 수 있다. 이 때,
Figure pat00027
가 만족되어야 하며,
Figure pat00028
는 k번째 이터레이션에서 허용되는 최대 회전 각도이다.
도 9는 일 실시예에 따른 오브젝트의 이동 속도에 기초하여 사용자 입력을 처리하는 기법을 설명하기 위한 도면이다.
도 9를 참조하면, 일 실시예에 따른 영상 분석 장치는 오브젝트의 모션에 기초하여 사용자 입력을 처리할 수 있다.
영상 분석 장치는 도 1 내지 도 8을 통하여 기술한 사항들을 이용하여 오브젝트(910)의 이동 속도(915)를 계산할 수 있다. 영상 분석 장치는 계산된 이동 속도(915)를 이용하여 사용자 입력을 위한 포인트의 상대 좌표의 변화량을 계산할 수 있다.
영상 분석 장치는 상대 좌표의 변화량에 기초하여 사용자 입력을 처리할 수 있다. 예를 들어, 영상 분석 장치는 계산된 상대 좌표의 변화량에 따라 디스플레이(920)에 표시된 커서의 위치를 기존 위치(921)에서 신규 위치(922)로 이동시킬 수 있다.
도면에 표시하지 않았으나, 일 실시예에 따른 사용자 입력 처리 장치는 인식부 및 처리부를 포함할 수 있다. 인식부는 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 오브젝트의 모션을 인식할 수 있다. 예를 들어, 인식부는 도 1 내지 도 8을 통하여 기술한 사항들을 이용하여 오브젝트(910)의 이동 속도(915)를 계산할 수 있다. 처리부는 인식부에 의해 인식된 오브젝트의 모션에 기초하여 사용자 입력을 위한 상대 좌표를 업데이트할 수 있다. 예를 들어, 처리부는 인식부에 의해 계산된 이동 속도(915)를 이용하여 사용자 입력을 위한 상대 좌표의 변화량을 계산할 수 있다. 처리부는 상대 좌표의 변화량에 따라 상대 좌표를 업데이트하고, 업데이트된 상대 좌표를 이용하여 사용자 입력을 처리할 수 있다.
도 10은 일 실시예에 따른 오브젝트의 깊이에 기초하여 사용자 입력을 처리하는 기법을 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시예에 따른 영상 분석 장치는 동일한 오브젝트의 움직임에 대하여 공간적으로 이격된 두 위치에서 감지된 서로 다른 두 개의 이벤트 신호를 이용하여 오브젝트의 깊이를 추가적으로 분석할 수 있다. 예를 들어, 센서(1020)은 왼쪽 눈에 대응되는 제1 센서 및 오른쪽 눈에 대응되는 제2 센서를 포함할 수 있다. 일 실시예에 따른 영상 분석 장치는 양쪽 눈에 대응되는 두 개의 센서들로부터 출력되는 영상의 차이를 이용하여 오브젝트까지의 깊이를 측정할 수 있다.
표 5를 참조하면, 영상 분석 장치는 왼쪽 눈과 오른쪽 눈에 대응되는 각각의 패치들의 LOS(Level of Similarity)를 극대화시키는 기법을 이용하여 두 영상의 차이(disparity)를 계산할 수 있다. 보다 구체적으로, 일 실시예에 따른 영상 분석 장치는 왼쪽 눈에 대응되는 센서로부터 출력되는 이벤트 신호와 오른쪽 눈에 대응되는 센서로부터 출력되는 이벤트 신호를 모두 처리할 수 있다. 예를 들어, 영상 분석 장치는 두 이벤트 신호들 각각을 이용하여 에지 패턴을 분류함으로써 외형선에 대응되는 픽셀들을 검출하고, 검출된 픽셀들의 에지 패턴에 기초하여 해당 픽셀에서의 외형선의 방향을 판단할 수 있다. 이 경우, 영상 분석 장치는 오브젝트의 윤곽 두 개가 일정 간격만큼 떨어진 채로 겹쳐진 영상을 얻을 수 있다. 영상 분석 장치는 오브젝트의 윤곽 두 개가 일정 간격만큼 떨어진 채로 겹쳐진 영상에 표 5의 알고리즘을 적용함으로써, 오브젝트의 윤곽 두 개가 떨어진 간격, 다시 말해, 두 영상의 차이를 계산할 수 있다.
Figure pat00029
여기서, (x, y)는 영상 내 패치의 좌표이고, 패치에는 복수의 점들이 포함될 수 있다. (xi, yi)는 (x, y) 좌표의 패치에 포함된 i번째 점의 좌표이며, d는 두 영상의 차이이다. 두 영상은 각각 왼쪽 눈에 대응되는 센서와 오른쪽 눈에 대응되는 센서로부터 수신되므로, 두 영상은 주로 x축 방향으로 이격되어 있다. 따라서, d는 두 영상이 x축 방향으로 이격된 정도를 나타낼 수 있다. θ(xi, yi)는 오리엔테이션 각도(orientation angle)로, (xi, yi) 좌표의 점에서 계산된 외형선의 방향에 대응될 수 있다.
lLOS(x,y,d)는 (x,y) 좌표의 단일 패치에서의 LOS를 평가하기 위한 수식이고, rLOS(y,d)는 y 좌표의 1차원 라인(line)에서의 LOS를 평가하기 위한 수식이며, gLOS(d)는 영상 전체의 2차원 영역(area)에서의 LOS를 평가하기 위한 수식이다.
영상 분석 장치는 LOS(x,y,d)가 최대가 되도록 하는 d를 계산할 수 있다. LOS(x,y,d)가 최대가 되려면 θ(xi, yi)와 θ(xi+d, yi)의 차이가 최소가 되어야 하므로, 영상 분석 장치는 θ(xi, yi)와 θ(xi+d, yi)의 차이가 최소가 되도록 하는 d를 계산할 수 있다.
영상 분석 장치는 계산된 두 영상의 차이가 클수록 오브젝트의 깊이를 얕게 추정하고, 두 영상의 차이가 작을수록 오브젝트의 깊이를 깊게 추정할 수 있다. 영상 분석 장치는 추정된 오브젝트의 깊이에 기초하여 사용자 입력을 처리할 수 있다.
영상 분석 장치는 센서(1020)로부터의 오브젝트(1010)의 깊이에 대응되는 동작 모드를 판단할 수 있다. 예를 들어, 센서(1020)로부터의 깊이에 따라 제1 동작 모드 영역(1031), 제2 동작 모드 영역(1032), 제3 동작 모드 영역(1033), 및 배경 영역(1034)이 미리 설정될 수 있다.
영상 분석 장치는 오브젝트(1010)의 깊이가 제2 동작 모드 영역(1032)에 해당한다고 판단되는 경우, 오브젝트(1010)를 이용한 입력을 제2 동작 모드 영역(1032)에 대응되는 사용자 입력 처리 방식으로 처리할 수 있다.
도 11은 일 실시예에 따른 영상 분석 방법을 나타낸 동작 흐름도이다.
도 11을 참조하면, 일 실시예에 따른 영상 분석 장치는 단계 1110에서 이벤트 정보를 읽을 수 있다. 영상 분석 장치는 단계 1120에서 발생된 이벤트의 위치 및 발생 시간에 기초하여 이벤트 발생 시간 맵을 업데이트할 수 있다. 영상 분석 장치는 단계 1130에서 이벤트 발생 시간 맵을 참조하여 발생된 이벤트의 주변 이벤트 발생 시간의 패턴을 분석할 수 있다.
영상 분석 장치는 단계 1140에서 이벤트 발생 패턴에 따라 에지(edge)의 방향성을 분류할 수 있다. 영상 분석 장치는 단계 1150에서 에지 방향 패턴 및 이벤트 발생 패턴에 따라 속도 성분을 추출할 수 있다.
영상 분석 장치는 단계 1160에서 물체의 움직임을 분석하기 위하여 이벤트 정보를 누적할 수 있다. 영상 분석 장치는 단계 1170에서 누적된 이벤트의 수가 충분한지 여부를 판단할 수 있다. 판단 결과, 누적된 이벤트의 수가 충분하지 않은 경우 영상 분석 장치는 단계 1175에서 누적 시간이 충분하였는지 여부를 판단할 수 있다. 누적 시간이 충분하지 않은 경우, 영상 분석 장치는 단계 1110으로 돌아가 새로운 이벤트 정보를 추가로 누적할 수 있다.
누적된 이벤트의 수가 충분하거나, 누적된 이벤트의 수가 충분하지 않더라도 누적 시간이 충분한 경우, 영상 분석 장치는 단계 1180에서 물체 위치 및 움직임 속도를 요소 별로 분리할 수 있다. 영상 분석 장치는 움직임 속도 요소로 이동 속도, 팽창 또는 수축 속도, 회전 속도를 획득할 수 있다.
영상 분석 장치는 단계 1190에서 물체의 주된 움직임 요소를 판단할 수 있다. 예를 들어, 영상 분석 장치는 이동 속도, 팽창 또는 수축 속도, 회전 속도 중 물체의 움직임에 큰 비중을 차지하는 적어도 하나의 움직임 요소를 판단할 수 있다.
도 11에 도시된 각 단계들에는 도 1 내지 도 10을 통하여 기술된 사항들이 그대로 적용될 수 있으므로 보다 상세한 설명은 생략한다.
도 12는 일 실시예에 따른 3차원 영상 분석 장치를 나타낸 블록도이다.
도 12를 참조하면, 일 실시예에 따른 3차원 영상 분석 장치(1200)는 적어도 두 쌍의 영상 변화 감지부(1210, 1215), 에지 방향 정보 추출부(1220, 1225), 속도 정보 추출부(1230, 1235), 및 평균 에지 방향 정보 추출부(1240, 1245)를 포함한다.
또한, 3차원 영상 분석 장치(1200)는 디스퍼리티 맵(disparity map) 추출부(1250), 거리 정보 매핑부(1260), 및 3차원 위치/움직임 분석부(1270)를 더 포함할 수 있다.
도 12에 도시된 각 모듈들에는 도 1 내지 도 11을 통하여 기술된 사항들이 그대로 적용될 수 있으므로 보다 상세한 설명은 생략한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (30)

  1. 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀에 인접한 복수의 인접 픽셀들을 포함하는 적어도 하나의 픽셀군의 패턴을 분류하는 분류부; 및
    상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 오브젝트의 외형 및 상기 오브젝트의 모션 중 적어도 하나를 분석하는 분석부
    를 포함하는 영상 분석 장치.
  2. 제1항에 있어서,
    상기 분류부는, 상기 적어도 하나의 픽셀군이 미리 정해진 복수의 에지 패턴들 중 어느 하나에 대응되는지 여부를 판단하고, 상기 판단에 기초하여 상기 적어도 하나의 픽셀군의 패턴을 대응되는 에지 패턴으로 결정하는 영상 분석 장치.
  3. 제2항에 있어서,
    상기 분류부는, 상기 판단에 기초하여 상기 적어도 하나의 픽셀군 중 상기 미리 정해진 복수의 에지 패턴들 중 어디에도 대응되지 않는 픽셀군을 처분(discard)하는 영상 분석 장치.
  4. 제1항에 있어서,
    상기 분류부는
    상기 적어도 하나의 픽셀의 타임 스탬프와 상기 복수의 인접 픽셀들의 타임스탬프들 사이의 차이에 기초하여 상기 복수의 인접 픽셀들의 유형들을 결정하는 유형 결정부; 및
    상기 복수의 인접 픽셀들의 유형들에 기초하여 상기 적어도 하나의 픽셀군의 패턴을 결정하는 패턴 결정부
    를 포함하는 영상 분석 장치.
  5. 제4항에 있어서,
    상기 복수의 인접 픽셀의 유형들은, 타임 스탬프의 차이가 제1 임계치 이하인 제1 유형 및 타임 스탬프의 차이가 제2 임계치 이상인 제2 유형 중 어느 하나를 포함하는 영상 분석 장치.
  6. 제1항에 있어서,
    상기 분석부는
    상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 적어도 하나의 픽셀군에 대응되는 외형선의 방향을 결정하는 외형 분석부
    를 포함하는 영상 분석 장치.
  7. 제1항에 있어서,
    상기 분석부는
    상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 적어도 하나의 픽셀군에 대응되는 속도를 계산하는 계산부; 및
    상기 적어도 하나의 픽셀군에 대응되는 속도에 기초하여 상기 오브젝트의 모션을 분석하는 모션 분석부
    를 포함하는 영상 분석 장치.
  8. 제7항에 있어서,
    상기 오브젝트의 모션은, 상기 오브젝트의 이동 속도 성분, 상기 오브젝트의 회전 속도 성분 및 상기 오브젝트의 스케일링 속도 성분 중 적어도 하나를 포함하는 영상 분석 장치.
  9. 제7항에 있어서,
    상기 분석부는
    관측 영역에 포함되는 픽셀군들의 패턴들의 다양성에 기초하여 복수의 관측 영역들 중 상기 오브젝트의 모션 분석을 위한 적어도 하나의 관측 영역을 선택하는 선택부
    를 더 포함하는 영상 분석 장치.
  10. 제1항에 있어서,
    상기 오브젝트의 모션에 기초하여 사용자 입력을 위한 포인트의 상대 좌표의 변화량을 계산하고, 상기 상대 좌표의 변화량에 기초하여 사용자 입력을 처리하는 처리부
    를 더 포함하는 영상 분석 장치.
  11. 오브젝트의 움직임이 감지된 제1 이벤트 신호에 기초하여 상기 제1 이벤트 신호에 대응되는 적어도 하나의 제1 픽셀과 상기 적어도 하나의 제1 픽셀에 인접한 복수의 제1 인접 픽셀들을 포함하는 적어도 하나의 제1 픽셀군의 패턴을 분류하고, 상기 오브젝트의 움직임이 감지된 제2 이벤트 신호에 기초하여 상기 제2 이벤트 신호에 대응되는 적어도 하나의 제2 픽셀과 상기 적어도 하나의 제2 픽셀에 인접한 복수의 제2 인접 픽셀들을 포함하는 적어도 하나의 제2 픽셀군의 패턴을 분류하는 분류부; 및
    상기 적어도 하나의 제1 픽셀군의 패턴에 기초하여 상기 오브젝트의 제1 외형을 검출하고, 상기 적어도 하나의 제2 픽셀군의 패턴에 기초하여 상기 오브젝트의 제2 외형을 검출하며, 상기 제1 외형과 상기 제2 외형에 기초하여 상기 오브젝트의 깊이를 분석하는 분석부
    를 포함하는 영상 분석 장치.
  12. 제11항에 있어서,
    상기 제1 이벤트 신호는 제1 위치에서 상기 오브젝트의 움직임이 감지된 신호이고, 상기 제2 이벤트 신호는 상기 제1 위치와 공간적으로 이격된 제2 위치에서 상기 움직임이 감지된 신호인 영상 분석 장치.
  13. 제11항에 있어서,
    상기 분석부는, 상기 제1 외형과 상기 제2 외형 사이의 거리를 계산하고, 상기 제1 외형과 상기 제2 외형 사이의 거리가 멀수록 상기 오브젝트의 깊이를 얕게 추정하며, 상기 제1 외형과 상기 제2 외형 사이의 거리가 가까울수록 상기 오브젝트의 깊이를 깊게 추정하는 영상 분석 장치.
  14. 제11항에 있어서,
    상기 오브젝트의 깊이에 대응되는 동작 모드를 판단하고, 상기 동작 모드에 기초하여 사용자 입력을 처리하는 처리부
    를 더 포함하는 영상 분석 장치.
  15. 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀에 인접한 복수의 인접 픽셀들을 포함하는 적어도 하나의 픽셀군의 패턴을 분류하는 단계; 및
    상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 오브젝트의 외형 및 상기 오브젝트의 모션 중 적어도 하나를 분석하는 단계
    를 포함하는 영상 분석 방법.
  16. 제15항에 있어서,
    상기 분류하는 단계는
    상기 적어도 하나의 픽셀의 타임 스탬프와 상기 복수의 인접 픽셀들의 타임스탬프들 사이의 차이에 기초하여 상기 복수의 인접 픽셀들의 유형들을 결정하는 단계; 및
    상기 복수의 인접 픽셀들의 유형들에 기초하여 상기 적어도 하나의 픽셀군이 미리 정해진 복수의 에지 패턴들 중 어느 하나에 대응되는지 여부를 판단하는 단계;
    상기 판단에 따라, 상기 적어도 하나의 픽셀군 중 상기 미리 정해진 복수의 에지 패턴들 중 어디에도 대응되지 않는 픽셀군을 처분하는 단계; 및
    상기 판단에 따라, 상기 적어도 하나의 픽셀군의 패턴을 대응되는 에지 패턴으로 결정하는 단계
    를 포함하는 영상 분석 방법.
  17. 제15항에 있어서,
    상기 분석하는 단계는
    상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 적어도 하나의 픽셀군에 대응되는 외형선의 방향을 결정하는 단계
    를 포함하는 영상 분석 방법.
  18. 제15항에 있어서,
    상기 분석하는 단계는
    관측 영역에 포함되는 픽셀군들의 패턴들의 다양성에 기초하여 복수의 관측 영역들 중 상기 오브젝트의 모션 분석을 위한 적어도 하나의 관측 영역을 선택하는 단계;
    상기 적어도 하나의 관측 영역에 포함된 복수의 픽셀군들에 대응되는 속도들을 계산하는 단계; 및
    상기 복수의 픽셀군에 대응되는 속도들에 기초하여 상기 오브젝트의 모션을 분석하는 단계
    를 포함하는 영상 분석 방법.
  19. 제15항에 있어서,
    상기 오브젝트의 모션에 포함된 상기 오브젝트의 이동 속도에 기초하여 사용자 입력을 위한 포인트의 상대 좌표의 변화량을 계산하는 단계; 및
    상기 상대 좌표의 변화량에 기초하여 사용자 입력을 처리하는 단계
    를 더 포함하는 영상 분석 방법.
  20. 오브젝트의 이벤트 신호를 입력 받는 단계;
    상기 이벤트 신호에 해당하는 픽셀에 인접한 복수의 인접 픽셀들을 선택하는 단계;
    미리 설정된 패턴들 중에서 상기 복수의 인접 픽셀들에 저장된 정보에 해당하는 패턴을 선택하는 단계; 및
    상기 선택된 패턴을 이용하여 상기 오브젝트의 외형을 분석하는 단계
    를 포함하는 영상 분석 방법.
  21. 제20항에 있어서,
    상기 패턴을 선택하는 단계는
    상기 복수의 인접 픽셀들에 저장된 타임 스탬프와 상기 이벤트 신호에 해당하는 픽셀의 타임 스탬프 사이의 차이에 기초하여 상기 복수의 인접 픽셀들의 유형들을 판단하는 단계; 및
    상기 유형들에 기초하여 상기 미리 설정된 패턴들 중 상기 패턴을 선택하는 단계
    를 포함하는 영상 분석 방법.
  22. 제20항에 있어서,
    상기 패턴을 선택하는 단계는
    상기 복수의 인접 픽셀들에 저장된 정보가 상기 미리 설정된 패턴들 중 어디에도 해당하지 않는 경우, 상기 이벤트 신호에 해당하는 픽셀을 처분하는 단계
    를 포함하는 영상 분석 방법.
  23. 제20항에 있어서,
    상기 오브젝트의 외형을 이용하여 상기 오브젝트의 움직임을 분석하는 단계
    를 더 포함하는 영상 분석 방법.
  24. 제15항 내지 제23항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  25. 오브젝트의 움직임이 감지된 이벤트 신호를 포함하는 입력 영상에 기초하여 상기 오브젝트의 모션을 인식하는 인식부; 및
    상기 오브젝트의 모션에 기초하여 사용자 입력을 위한 상대 좌표를 업데이트하는 처리부
    를 포함하는 사용자 입력 처리 장치.
  26. 제25항에 있어서,
    상기 오브젝트의 모션은, 상기 오브젝트의 이동 속도 성분, 상기 오브젝트의 회전 속도 성분 및 상기 오브젝트의 스케일링 속도 성분 중 적어도 하나를 포함하는 사용자 입력 처리 장치.
  27. 제25항에 있어서,
    상기 인식부는
    상기 입력 영상에 기초하여 상기 이벤트 신호에 대응되는 적어도 하나의 픽셀 및 상기 적어도 하나의 픽셀에 인접한 복수의 인접 픽셀들을 포함하는 적어도 하나의 픽셀군의 패턴을 분류하는 분류부; 및
    상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 오브젝트의 모션을 분석하는 분석부
    를 포함하는 사용자 입력 처리 장치.
  28. 제27항에 있어서,
    상기 분류부는
    상기 적어도 하나의 픽셀의 타임 스탬프와 상기 복수의 인접 픽셀들의 타임스탬프들 사이의 차이에 기초하여 상기 복수의 인접 픽셀들의 유형들을 결정하는 유형 결정부; 및
    상기 복수의 인접 픽셀들의 유형들에 기초하여 상기 적어도 하나의 픽셀군의 패턴을 결정하는 패턴 결정부
    를 포함하는 사용자 입력 처리 장치.
  29. 제27항에 있어서,
    상기 분석부는
    상기 적어도 하나의 픽셀군의 패턴에 기초하여 상기 적어도 하나의 픽셀군에 대응되는 속도를 계산하는 계산부; 및
    상기 적어도 하나의 픽셀군에 대응되는 속도에 기초하여 상기 오브젝트의 모션을 분석하는 모션 분석부
    를 포함하는 사용자 입력 처리 장치.
  30. 제25항에 있어서,
    상기 처리부는 상기 오브젝트의 모션에 기초하여 상기 상대 좌표의 변화량을 계산하고, 상기 상대 좌표의 변화량에 기초하여 상기 상대 좌표를 업데이트하며, 상기 업데이트된 상대 좌표에 기초하여 사용자 입력을 처리하는 사용자 입력 처리 장치.
KR1020130098273A 2013-07-29 2013-08-20 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법 KR102129916B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/331,405 US9767571B2 (en) 2013-07-29 2014-07-15 Apparatus and method for analyzing image including event information
EP14178332.4A EP2838069B1 (en) 2013-07-29 2014-07-24 Apparatus and method for analyzing image including event information
JP2014153621A JP6483370B2 (ja) 2013-07-29 2014-07-29 イベント情報を含む映像を分析する装置及び方法並びにユーザ入力処理装置
CN201410366650.8A CN104346427B (zh) 2013-07-29 2014-07-29 用于分析包括事件信息的图像的设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130089254 2013-07-29
KR20130089254 2013-07-29

Publications (2)

Publication Number Publication Date
KR20150014342A true KR20150014342A (ko) 2015-02-06
KR102129916B1 KR102129916B1 (ko) 2020-08-05

Family

ID=52571225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130098273A KR102129916B1 (ko) 2013-07-29 2013-08-20 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102129916B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160058427A (ko) * 2014-11-17 2016-05-25 삼성전자주식회사 움직임 분석 방법 및 움직임 분석 장치
KR20170050556A (ko) * 2015-10-30 2017-05-11 삼성전자주식회사 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
US10346506B2 (en) 2016-08-02 2019-07-09 Samsung Electronics Co., Ltd. Event signal processing method and apparatus
KR20210098043A (ko) * 2020-01-31 2021-08-10 광주과학기술원 가상 오브젝트의 좌표 추정 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262958A1 (en) * 2005-05-19 2006-11-23 Objectvideo, Inc. Periodic motion detection with applications to multi-grabbing
KR20120026956A (ko) * 2010-09-10 2012-03-20 삼성전자주식회사 동작 인식 장치 및 그 방법
KR20130040517A (ko) * 2011-10-14 2013-04-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060262958A1 (en) * 2005-05-19 2006-11-23 Objectvideo, Inc. Periodic motion detection with applications to multi-grabbing
KR20120026956A (ko) * 2010-09-10 2012-03-20 삼성전자주식회사 동작 인식 장치 및 그 방법
KR20130040517A (ko) * 2011-10-14 2013-04-24 삼성전자주식회사 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Event-based stereomatching approaches for frameless address event stereo data *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160058427A (ko) * 2014-11-17 2016-05-25 삼성전자주식회사 움직임 분석 방법 및 움직임 분석 장치
KR20170050556A (ko) * 2015-10-30 2017-05-11 삼성전자주식회사 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
US10346506B2 (en) 2016-08-02 2019-07-09 Samsung Electronics Co., Ltd. Event signal processing method and apparatus
KR20210098043A (ko) * 2020-01-31 2021-08-10 광주과학기술원 가상 오브젝트의 좌표 추정 방법

Also Published As

Publication number Publication date
KR102129916B1 (ko) 2020-08-05

Similar Documents

Publication Publication Date Title
EP2838069B1 (en) Apparatus and method for analyzing image including event information
TWI536318B (zh) 深度測量之品質提升
CN105335955B (zh) 对象检测方法和对象检测装置
WO2012066785A1 (ja) 人数カウント装置、人数カウント方法及び人数カウントプログラム
KR20150121179A (ko) 실시간 스테레오 정합
EP2983131A1 (en) Method and device for camera calibration
CN105354819A (zh) 深度数据测量系统、深度数据确定方法和装置
EP2476999B1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
KR102129916B1 (ko) 이벤트 정보를 포함하는 영상을 분석하는 장치 및 방법
CN105892633A (zh) 手势识别方法及虚拟现实显示输出设备
WO2014108976A1 (ja) 物体検出装置
CN105138979A (zh) 基于立体视觉的运动人体头部检测方法
JP2010009236A (ja) 平面領域推定装置及びプログラム
JP6466679B2 (ja) 物体検出装置
CN114359403A (zh) 一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置
US9842402B1 (en) Detecting foreground regions in panoramic video frames
CN110706202B (zh) 一种非典型目标探测方法、装置和计算机可读存储介质
JP7375806B2 (ja) 画像処理装置、及び画像処理方法
CN113011212B (zh) 图像识别方法、装置及车辆
JP7117878B2 (ja) 処理装置、及びプログラム
EP3879810A1 (en) Imaging device
CN110349133A (zh) 物体表面缺陷检测方法、装置
EP3001141B1 (en) Information processing system and information processing method
US20180274918A1 (en) Three-dimensional measurement apparatus, non-transitory computer readable medium, and three-dimensional measurement system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant