KR20140054865A

KR20140054865A - 동작 인식 방법 및 동작 인식 장치

Info

Publication number: KR20140054865A
Application number: KR1020120120883A
Authority: KR
Inventors: 진영구; 김정섭; 권동욱; 김경일; 김민호; 이기상; 이상보; 이진경; 최진욱
Original assignee: 삼성전자주식회사
Priority date: 2012-10-30
Filing date: 2012-10-30
Publication date: 2014-05-09
Also published as: KR101909630B1; US20170372486A1; CN103793685B; US9715740B2; US20140119603A1; DE102013111706A1; CN103793685A; US10186045B2

Abstract

장면에 포함되는 물체의 동작 인식을 위하여, 촬영 장치로부터 장면에 대한 제1 해상도의 깊이 데이터 및 상기 제1 해상도보다 높은 제2 해상도의 이차원 데이터를 주기적으로 획득한다. 상기 깊이 데이터에 기초하여 추적 대상 물체를 인식하여 상기 추적 대상 물체를 포함하며 상기 장면의 일부에 해당하는 동작 추적 영역을 지정한다. 상기 동작 추적 영역에 대한 상기 제2 해상도의 추적 영역 데이터를 주기적으로 획득한다. 상기 추적 영역 데이터에 기초하여 상기 추적 대상 물체의 동작을 분석한다.

Description

동작 인식 방법 및 동작 인식 장치{Method and apparatus of recognizing a motion}

본 발명은 이미지 데이터의 처리에 관한 것으로서, 더욱 상세하게는 깊이 데이터와 이차원 데이터에 기초한 동작 인식 방법 및 동작 인식 장치에 관한 것이다.

이차원(2D: two-dimensional) 이미지 센서(image sensor)를 이용하여 획득한 이차원 데이터를 이용하여 물체(object)의 형태 또는 물체의 동작을 인식하는 방법이 개발되고 있다. 특히 사용자의 동작을 인식하는 기술이 개발되어 사용자 인터페이스(UI: user interface) 분야에 이용되고 있다. 동작 인식을 위한 이차원 데이터로서 컬러 이미지 (color image) 데이터 또는 흑백 이미지(black and white image) 데이터가 이용될 수 있다.

한편, 깊이 센서(depth sensor)를 이용하여 획득한 깊이 데이터를 이용하여 물체의 위치 또는 물체의 동작을 인식하는 방법이 개발되고 있다. 깊이 데이터는 센서와 피사체까지의 거리에 관한 정보를 포함한다.

이차원 데이터는 일반적으로 고해상도로 제공될 수 있으나, 동작 인식을 위한 데이터 처리과정에서 이차원 데이터에 기초하여 물체와 배경을 구분하는 것이 곤란하다. 반면에 깊이 데이터는 그 특성상 저해상도로 제공되는 것이 일반적이며 동작 인식을 위한 데이터 처리과정에서 깊이 데이터에 기초하여 복잡한 물체의 형태를 파악하는 것이 곤란하다.

상기와 같은 문제점을 해결하기 위한 본 발명의 일 목적은, 깊이 데이터와 이차원 데이터에 기초하여 효율적으로 물체의 동작을 파악할 수 있는 동작 인식 방법을 제공하는 것이다.

본 발명의 다른 목적은, 깊이 데이터와 이차원 데이터에 기초하여 효율적으로 사물의 동작을 파악할 수 있는 동작 인식 장치를 제공하는 것이다.

본 발명의 또 다른 목적은, 상기 동작 인식 장치 및/또는 방법이 적용되는 시스템을 제공하는 것이다.

상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 동작 인식 방법은, 촬영 장치로부터 장면에 대한 제1 해상도의 깊이 데이터 및 상기 제1 해상도보다 높은 제2 해상도의 이차원 데이터를 주기적으로 획득하는 단계, 상기 깊이 데이터에 기초하여 추적 대상 물체를 인식하여 상기 추적 대상 물체를 포함하며 상기 장면의 일부에 해당하는 동작 추적 영역을 지정하는 단계, 상기 동작 추적 영역에 대한 상기 제2 해상도의 추적 영역 데이터를 주기적으로 획득하는 단계, 및 상기 추적 영역 데이터에 기초하여 상기 추적 대상 물체의 동작을 분석하는 단계를 포함한다.

일 실시예에서, 상기 깊이 데이터 및 상기 이차원 데이터를 주기적으로 획득하는 단계는, 상기 제1 해상도의 깊이 픽셀들을 이용하여 하나의 프레임에 상응하는 상기 깊이 데이터를 제1 프레임 주기마다 제공하는 단계, 및 상기 제2 해상도의 컬러 픽셀들을 이용하여 하나의 프레임에 상응하는 상기 이차원 데이터를 제2 프레임 주기마다 제공하는 단계를 포함할 수 있다.

상기 동작 인식 방법은, 상기 제1 프레임 주기와 상기 제2 프레임 주기가 서로 다른 경우, 상기 깊이 데이터와 상기 이차원 데이터를 시간적으로 동기화하는 단계를 더 포함할 수 있다.

상기 추적 영역 데이터는 상기 제1 프레임 주기 또는 상기 제2 프레임 주기마다 제공될 수 있다.

상기 제2 해상도의 추적 영역 데이터를 주기적으로 획득하는 단계는, 상기 하나의 프레임에 상응하는 상기 제2 해상도의 이차원 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제2 해상도의 영역 이미지 데이터를 추출하는 단계, 및 상기 제2 해상도의 영역 이미지 데이터를 상기 추적 영역 데이터로서 제공하는 단계를 포함할 수 있다.

상기 제2 해상도의 추적 영역 데이터를 주기적으로 획득하는 단계는, 상기 하나의 프레임에 상응하는 상기 제1 해상도의 깊이 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제1 해상도의 영역 깊이 데이터를 추출하는 단계; 상기 하나의 프레임에 상응하는 상기 제2 해상도의 이차원 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제2 해상도의 영역 이미지 데이터를 추출하는 단계; 상기 제2 해상도의 영역 이미지 데이터를 이용하여 상기 제1 해상도의 영역 깊이 데이터를 상기 제2 해상도의 영역 깊이 데이터로 보정하는 단계, 및 상기 제2 해상도의 영역 깊이 데이터를 상기 추적 영역 데이터로서 제공하는 단계를 포함할 수 있다.

상기 깊이 픽셀들과 상기 컬러 픽셀들은 하나의 픽셀 어레이에 배열될 수 있다.

상기 깊이 픽셀들과 상기 컬러 픽셀들은 공간적으로 이격된 서로 다른 픽셀 어레이들에 각각 배열될 수 있다.

일 실시예에서, 상기 깊이 데이터 및 상기 이차원 데이터를 주기적으로 획득하는 단계는, 서로 다른 위상을 갖는 복수의 복조 신호들에 응답하여 동작하는 비행시간(TOF: time of flight) 방식의 깊이 픽셀들을 이용하여 상기 하나의 프레임에 상응하는 비가공 데이터(raw data)를 주기적으로 제공하는 단계, 및 상기 비가공 데이터에 기초하여 상기 제1 해상도의 깊이 데이터 및 상기 제2 해상도의 이차원 데이터를 계산하는 단계를 포함할 수 있다.

상기 제1 해상도의 깊이 데이터 및 상기 제2 해상도의 이차원 데이터를 계산하는 단계는, 상기 비가공 데이터를 M (M은 2이상의 자연수)비트씩 조합하여 상기 제1 해상도의 깊이 데이터를 제공하는 단계, 및 상기 비가공 데이터를 N (N은 M이하의 자연수) 비트씩 조합하여 상기 제2 해상도의 이차원 데이터를 제공하는 단계를 포함할 수 있다.

상기 복조 신호들은 상기 촬영 장치의 송신광에 대하여 각각 0도, 90도, 180도 및 270도의 위상차를 가질 수 있다.

상기 비가공 데이터의 비트값들 중에서 상기 0도, 90도, 180도 및 270도의 위상차를 갖는 복조 신호들에 각각 상응하는 4개의 비트값들에 기초하여 상기 깊이 데이터의 1개의 비트값을 제공할 수 있다.

상기 제2 해상도의 이차원 데이터를 제공하는 단계는, 상기 비가공 데이터의 비트값들 중에서 상기 0도의 위상차를 갖는 복조 신호 및 상기 180도의 위상차를 갖는 복조 신호에 상응하는 2개의 비트값들을 합산하여 상기 이차원 데이터의 1개의 비트값을 제공하는 단계, 및 상기 비가공 데이터의 비트값들 중에서 상기 90도의 위상차를 갖는 복조 신호 및 상기 270도의 위상차를 갖는 복조 신호에 상응하는 2개의 비트값들을 합산하여 상기 이차원 데이터의 1개의 비트값을 제공하는 단계를 포함할 수 있다.

상기 제2 해상도의 추적 영역 데이터를 주기적으로 획득하는 단계는, 상기 하나의 프레임에 상응하는 상기 제1 해상도의 깊이 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제1 해상도의 영역 깊이 데이터를 추출하는 단계, 상기 하나의 프레임에 상응하는 상기 제2 해상도의 이차원 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제2 해상도의 영역 이미지 데이터를 추출하는 단계, 상기 제2 해상도의 영역 이미지 데이터를 이용하여 상기 제1 해상도의 영역 깊이 데이터를 상기 제2 해상도의 영역 깊이 데이터로 보정하는 단계, 및 상기 제2 해상도의 영역 깊이 데이터를 상기 추적 영역 데이터로서 제공하는 단계를 포함할 수 있다.

상기 동작 추적 영역을 지정하는 단계는, 상기 장면에 대한 프레임 상에서의 상기 동작 추적 영역의 중심 좌표를 지정하는 단계, 및 상기 프레임 상에서의 상기 동작 추적 영역의 크기를 지정하는 단계를 포함할 수 있다.

상기 동작 인식 방법은, 상기 추적 대상 물체의 동작에 따라서 상기 동작 추적 영역을 갱신하는 단계를 더 포함할 수 있다.

상기 동작 추적 영역을 갱신하는 단계는, 상기 깊이 데이터에 기초하여 상기 추적 대상 물체의 상기 장면에 대한 프레임 상에서의 위치 변화를 검출하는 단계, 및 상기 위치 변화에 따라서 상기 프레임 상에서의 상기 동작 추적 영역의 중심 좌표를 변경하는 단계를 포함할 수 있다.

상기 동작 추적 영역을 갱신하는 단계는, 상기 깊이 데이터에 기초하여 상기 추적 대상 물체의 거리의 변화를 검출하는 단계, 상기 추적 대상 물체의 거리가 증가하는 경우 상기 동작 추적 영역의 크기를 감소하는 단계, 및 상기 추적 대상 물체의 거리가 감소하는 경우 상기 동작 추적 영역의 크기를 증가하는 단계를 포함할 수 있다.

상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 동작 인식 장치는, 장면에 대한 제1 해상도의 깊이 데이터 및 상기 제1 해상도보다 높은 제2 해상도의 이차원 데이터를 주기적으로 제공하는 촬영부, 상기 깊이 데이터에 기초하여 추적 대상 물체를 인식하여 상기 추적 대상 물체를 포함하며 상기 장면의 일부에 해당하는 동작 추적 영역을 지정하고, 상기 동작 추적 영역에 대한 상기 제2 해상도의 추적 영역 데이터를 주기적으로 제공하는 동작 영역 추적부, 및 상기 추적 영역 데이터에 기초하여 상기 추적 대상 물체의 동작을 분석하는 동작 분석부를 포함한다.

상기 촬영부는, 상기 깊이 데이터를 제1 프레임 주기마다 제공하는 상기 제1 해상도의 깊이 픽셀들과 상기 이차원 데이터를 제2 프레임 주기마다 제공하는 상기 제2 해상도의 컬러 픽셀들이 교차하여 배열된 하나의 픽셀 어레이를 포함할 수 있다.

상기 촬영부는, 상기 깊이 데이터를 제1 프레임 주기마다 제공하는 상기 제1 해상도의 깊이 픽셀들이 배열된 제1 픽셀 어레이, 및 상기 이차원 데이터를 제2 프레임 주기마다 제공하는 상기 제2 해상도의 컬러 픽셀들이 배열된 제2 픽셀 어레이를 포함할 수 있다.

상기 촬영부는, 서로 다른 위상을 갖는 복수의 복조 신호들에 응답하여 동작하는 비행시간(TOF: time of flight) 방식으로 상기 하나의 프레임에 상응하는 비가공 데이터(raw data)를 주기적으로 제공하는 깊이 픽셀들이 배열된 하나의 픽셀 어레이를 포함할 수 있다.

상기 복조 신호들은 변조광에 대하여 각각 0도, 90도, 180도 및 270도의 위상차를 갖고, 상기 0도, 90도, 180도 및 270도의 위상차를 각각 갖는 4개의 깊이 픽셀들의 출력들을 조합하여 상기 깊이 데이터의 1개의 비트값을 제공할 수 있다.

상기 또 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 시스템은 장면에 대한 제1 해상도의 깊이 데이터 및 상기 제1 해상도보다 높은 제2 해상도의 이차원 데이터를 주기적으로 제공하는 촬영 장치, 상기 깊이 데이터에 기초하여 추적 대상 물체를 인식하여 상기 추적 대상 물체를 포함하며 상기 장면의 일부에 해당하는 동작 추적 영역을 지정하고, 상기 동작 추적 영역에 대한 상기 제2 해상도의 추적 영역 데이터를 주기적으로 제공하는 동작 영역 추적부, 상기 추적 영역 데이터에 기초하여 상기 추적 대상 물체의 동작을 분석하는 동작 분석부, 및 상기 동작 분석부의 분석 결과에 기초하여 상기 추적 대상 물체의 동작에 상응하는 이벤트를 발생하는 제어 장치를 포함할 수 있다.

상기 시스템은 사용자의 동작을 인식하여 동작하는 사용자 인터페이스 시스템이고, 상기 추적 대상 물체는 상기 사용자의 신체 또는 신체의 일부를 포함할 수 있다.

본 발명의 실시예들에 따른 동작 인식 방법 및 동작 인식 장치는, 저해상도의 깊이 데이터를 이용하여 배경과 구분되는 추적 대상 물체를 파악하고, 고해상도의 추적 영역 데이터를 이용하여 추적 대상 물체의 종류, 형태 및/또는 동작을 분석함으로써 추적 대상 물체의 동작을 정밀하게 인식할 수 있다.

본 발명의 실시예들에 따른 동작 인식 방법 및 동작 인식 장치는, 전체 프레임의 일부에 해당하는 동작 추적 영역에 대한 추적 영역 데이터에 기초하여 추적 대상 물체의 동작을 분석함으로써, 데이터의 전송량 및 연산량을 현저히 감소하여 동작 인식의 처리 속도 및 효율성을 향상시킬 수 있다.

도 1은 본 발명의 실시예들에 따른 동작 인식 방법을 나타내는 순서도이다.
도 2는 본 발명의 실시예들에 따른 시스템의 사용 상태를 나타내는 도면이다.
도 3은 본 발명의 실시예들에 따른 시스템을 개략적으로 나타내는 블록도이다.
도 4는 본 발명의 실시예들에 따른 동작 인식 장치에 포함되는 촬영 장치를 나타내는 블록도이다.
도 5는 도 4의 촬영 장치에 포함되는 센싱부의 일 예를 나타내는 도면이다.
도 6은 도 5의 센싱부에 포함된 픽셀 어레이의 일 예를 나타내는 도면이다.
도 7은 촬영 장치를 이용하여 획득한 깊이 데이터에 상응하는 프레임을 나타내는 도면이다.
도 8은 촬영 장치를 이용하여 획득한 이차원 데이터에 상응하는 프레임을 나타내는 도면이다.
도 9는 본 발명의 실시예들에 따라서 지정된 동작 추적 영역의 일 예를 나타내는 도면이다.
도 10은 도 4의 촬영 장치에 포함되는 센싱부의 다른 예를 나타내는 도면이다.
도 11a 및 도 11b는 도 10의 센싱부에 포함된 픽셀 어레이들의 일 예를 나타내는 도면들이다.
도 12a 내지 도 12d는 픽셀 어레이에 포함되는 단위 픽셀의 예들을 나타내는 회로도들이다.
도 13은 본 발명의 일 실시예에 따른 동작 인식 방법을 나타내는 순서도이다.
도 14는 본 발명의 일 실시예에 따른 동작 인식 장치에 포함되는 동작 영역 추적부를 나타내는 블록도이다.
도 15a, 도 15b 및 도 15c는 도 14의 동작 영역 추적부에 포함되는 동기화부의 동작의 예들을 나타내는 도면들이다.
도 16은 도 14의 동작 영역 추적부에 의해 제공되는 추적 영역 데이터를 설명하기 위한 도면이다.
도 17a 및 도 17b는 본 발명의 일 실시예에 따른 동작 추적 영역의 갱신 방법을 설명하기 위한 도면들이다.
도 18은 본 발명의 일 실시예에 따른 동작 인식 방법을 나타내는 순서도이다.
도 19는 본 발명의 일 실시예에 따른 동작 인식 장치에 포함되는 동작 영역 추적부를 나타내는 블록도이다.
도 20은 도 19의 동작 영역 추적부에 의해 제공되는 추적 영역 데이터를 설명하기 위한 도면이다.
도 21은 본 발명의 일 실시예에 따른 동작 인식 방법을 나타내는 순서도이다.
도 22는 본 발명의 일 실시예에 따른 동작 인식 장치에 포함되는 동작 영역 추적부를 나타내는 블록도이다.
도 23은 깊이 센서에 포함되는 픽셀 어레이의 일 예를 나타내는 도면이다.
도 24는 도 23의 픽셀 어레이에 포함되는 깊이 픽셀들의 일 예를 나타내는 회로도이다.
도 25는 도 24의 깊이 픽셀들의 비행시간 방식의 동작을 나타내는 타이밍도이다.
도 26은 깊이 데이터를 제공하기 위한 깊이 픽셀들의 조합의 일 예를 설명하기 위한 도면이다.
도 27은 깊이 픽셀들을 이용하여 획득한 비가공 데이터로부터 이차원 데이터를 계산하는 방법을 설명하기 위한 도면이다.
도 28a 및 도 28b는 이차원 데이터를 제공하기 위한 깊이 픽셀들의 조합의 예들을 설명하기 위한 도면이다.
도 29는 본 발명의 일 실시예에 따른 카메라 시스템을 나타내는 블록도이다.
도 30은 본 발명의 일 실시예에 따른 동작 인식 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.
도 31은 도 30의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예들에 따른 동작 인식 방법을 나타내는 순서도이다.

도 1을 참조하면, 촬영 장치(image capturing device)로부터 장면(scene or sequence of scenes)에 대한 제1 해상도(RES1)의 깊이 데이터(depth data) 및 제1 해상도(RES1)보다 높은 제2 해상도(RES2)의 이차원 데이터(two-dimensional data)를 주기적으로 획득한다(단계 S200). 예를 들어, 제1 해상도(RES1)는 320*240 화소의 QVGA(quarter video graphic array) 해상도 또는 이보다 작은 해상도일 수 있고, 상기 제2 해상도(RES2)는 1280*720 화소의 HD(high definition) 해상도 또는 이보다 큰 해상도일 수 있다.

깊이 데이터(ZDATA)는 촬영 장치에 의해 캡쳐되는 장면에 대한 거리 정보를 나타내고 이차원 데이터(CDATA)는 상기 장면에 대한 이미지 정보를 나타낸다. 깊이 데이터(ZDATA)는 상기 장면의 각 지점들에 대한 거리 정보를 화소 단위로 표현한 깊이 맵(depth map)의 형태로 제공될 수 있다. 이차원 데이터(CDATA)는 상기 장면에 대한 컬러 이미지를 나타낼 수도 있고 흑백 이미지를 나타낼 수도 있다.

깊이 데이터(ZDATA) 및 이차원 데이터(CDATA)는 프레임 단위로 주기적으로 제공될 수 있다. 깊이 데이터(ZDATA)의 프레임들 사이의 시간 간격인 제1 프레임 주기(PFRAME1)와 이차원 데이터(CDATA)의 프레임들 사이의 시간 간격인 제2 프레임 주기(PFRAME2)는 동일할 수도 있고 상이할 수도 있다. 예를 들어, 깊이 데이터(ZDATA)의 프레임율(frame rate)은 15~30 fps(frame per second)일 수 있고, 이차원 데이터(CDATA)의 프레임율은 30~60 fps 일 수 있다.

장면은 고정된 배경과 움직이는 추적 대상 물체를 포함할 수 있다. 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체(target object)를 인식하여 상기 추적 대상 물체를 포함하며 상기 장면의 일부에 해당하는 동작 추적 영역(MTR)을 지정한다(단계 S400). 추적 대상 물체의 인식은 순차적으로 제공되는 복수의 프레임에 상응하는 깊이 데이터(ZDATA)에 기초하여 수행될 수 있다.

추적 대상 물체는 공, 사람 등과 같이 일반적으로 독립된 개체로 인식되는 것일 수도 있고, 손, 팔, 머리 등과 같이 신체의 일부일 수도 있다. 추적 대상 물체의 인식은 캡쳐되는 영상의 종류에 따라서 다양한 기준에 의해 수행될 수 있다.

예를 들어, 장면에 복수의 움직이는 물체들이 포함되는 경우, 추적 대상 물체의 종류, 거리, 동작 속도 등의 기준에 따라서 적어도 하나의 추적 대상 물체가 결정될 수 있다. 일 실시예에서, 추적 대상 물체의 인식을 위하여 깊이 데이터(ZDATA)에 기초한 간단한 삼차원 인식 알고리즘이 이용될 수 있다.

이와 같은 추적 대상 물체의 인식에 기초하여 동작 추적 영역(MTR)을 지정한다. 일반적으로 추적 대상 물체는 장면의 일부분에 해당하고, 결과적으로 동작 추적 영역(MTR)은 장면에 상응하는 전체 프레임의 일부분에 해당한다.

동작 추적 영역(MTR)이 지정되면, 동작 추적 영역(MTR)에 대한 제2 해상도(RES2)의 추적 영역 데이터(TRDATA)를 주기적으로 획득한다(단계 S600). 추적 영역 데이터(TRDATA)의 제공 방법에 관한 실시예들은 후술한다. 동작 추적 영역(MTR)은 프레임의 일부분에 해당하므로 추적 영역 데이터(TRDATA)의 양(amount)은 전체 프레임 데이터의 양보다 작다. 프레임의 사이즈에 대한 동작 추적 영역(MTR)의 비가 감소할수록 추적 영역 데이터(TRDATA)는 현저하게 그 양이 감소될 수 있다.

추적 영역 데이터(TRDATA)에 기초하여 추적 대상 물체의 동작을 분석한다(단계 S800). 동작의 분석은 당업자에게 알려진 다양한 방법들이 이용될 수 있다. 다만, 종래의 동작 분석은 전체 프레임에 상응하는 데이터에 기초하여 수행되는 반면에, 본 발명의 실시예들에 따른 동작 분석은 상대적으로 높은 제2 해상도(RES2)를 가지면서도 동시에 데이터량이 감소된 추적 영역 데이터(TRDATA)에 기초하여 수행된다.

이와 같이, 본 발명의 실시예들에 따른 동작 인식 방법은, 저해상도(RES1)의 깊이 데이터(ZDATA)를 이용하여 배경과 구분되는 추적 대상 물체를 먼저 파악하고, 고해상도(RES2)의 추적 영역 데이터(TRDATA)를 이용하여 추적 대상 물체의 종류, 형태 및/또는 동작을 분석함으로써 추적 대상 물체의 동작을 정밀하게 인식할 수 있다.

또한, 전체 프레임의 일부분에 해당하는 동작 추적 영역(MTR)에 대한 추적 영역 데이터(TRDATA)에 기초하여 추적 대상 물체의 동작을 분석함으로써, 동작 분석에 필요한 데이터의 전송량 및 연산량을 현저히 감소하여 동작 인식의 처리 속도 및 효율성을 향상시킬 수 있다.

도 2는 본 발명의 실시예들에 따른 시스템의 사용 상태를 나타내는 도면이고, 도 3은 본 발명의 실시예들에 따른 시스템을 개략적으로 나타내는 블록도이다.

도 2에 표현된 바와 같이 시스템(10)은 사용자(15)의 동작을 인식하여 동작하는 사용자 인터페이스 시스템(user interface system)일 수 있다. 전술한 추적 대상 물체는 사용자(15)의 신체 또는 손, 팔, 머리, 몸통과 같은 신체의 일부를 포함할 수 있다.

도 2 및 도 3을 참조하면, 시스템(10)은 동작 인식 장치(motion recognizing device)(20) 및 제어 장치(control device)(CTRL)(30)를 포함할 수 있다. 사용자 인터페이스를 위한 표시 장치(display device) (DISP)(41), 스피커(speaker)(SPK)(43), 마이크(microphone)(MIC)(45) 등은 각각 별개의 장치로서 제어 장치(30)에 연결되거나 제어 장치(30)에 일체적으로 포함되어 형성될 수 있다. 제어 장치(30)는 메모리, 프로세서 등을 포함하는 임의의 장치일 수 있으며, 예를 들어, 노트북, 랩탑 컴퓨터, 텔레비전 세트, 게임기 등일 수 있다.

동작 인식 장치(20)는 촬영부(image capturing unit)(SEN)(100), 동작 영역 추적부(motion region tracker)(MRT)(300) 및 동작 분석부(motion analyzer)(MANAL)(500)를 포함할 수 있다. 촬영부(100)는 다른 구성 요소들과 독립된 별개의 촬영 장치(image capturing device)로 구현될 수도 있다.

동작 영역 추적부(500)와 동작 분석부(500)의 적어도 일부는 소프트웨어로 구현될 수 있다. 이 경우 상기 소프트웨어는 범용 프로세서 또는 전용 프로세서에 의해 실행될 수 있는 프로그램 코드로 구현될 수 있으며, 메인 프로그램에 의해 호출되어 실행되는 서브 루틴의 형태로 구현될 수 있다. 실시예에 따라서, 동작 분석부(500)는 제어 장치(30)에 포함될 수 있으며, 동작 영역 추적부(300)와 동작 분석부(500)가 제어 장치(30)에 포함될 수도 있다.

도 1을 참조하여 전술한 바와 같이, 촬영부(100) 또는 촬영 장치는 장면(scene)에 대한 제1 해상도(RES1)의 깊이 데이터(depth data) 및 제1 해상도(RES1)보다 높은 제2 해상도(RES2)의 이차원 데이터(two-dimensional data)를 주기적으로 획득한다(단계 S200). 동작 영역 추적부(300)는 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체(target object)를 인식하여 상기 추적 대상 물체를 포함하며 상기 장면의 일부에 해당하는 동작 추적 영역(MTR)을 지정한다(단계 S400). 또한 동작 영역 추적부(300)는 동작 추적 영역(MTR)에 대한 제2 해상도(TRDATA)의 추적 영역 데이터(TRDATA)를 주기적으로 제공한다(단계 S600). 동작 분석부(500)는 추적 영역 데이터(TRDATA)에 기초하여 추적 대상 물체의 동작을 분석한다(단계 S800).

촬영 장치(100) 및 동작 영역 추적부(300)의 실시예들은 도 4 내지 도 28b를 참조하여 후술한다. 동작 분석부(500)는 당업자에게 알려진 다양한 방법으로 구현될 수 있으나, 본 발명의 실시예들에 따라서 전체 프레임에 상응하는 데이터가 아닌 동작 추적 영역(MTR)에 상응하는 추적 영역 데이터(TRDATA)에 기초하여 동작 분석을 수행하도록 구현된다.

제어 장치(30)는 동작 분석부(500)의 분석 결과에 기초하여 추적 대상 물체의 동작에 상응하는 이벤트를 발생한다. 상기 이벤트는 출력 장치들(41, 43)을 통하여 사용자에게 전달될 수 있다. 예를 들어, 제어 장치(30)는 사용자(15)의 동작에 상응하는 화면 및/또는 음향을 표시 장치(41) 및/또는 스피커(43)를 통하여 사용자(15)에게 전달할 수 있다.

도 4는 본 발명의 실시예들에 따른 동작 인식 장치에 포함되는 촬영 장치를 나타내는 블록도이다.

도 4를 참조하면, 촬영 장치(100)는 변조된(modulated) 송신광(TX)을 조사하는 광원(LS)(110), 센싱부(130) 및 제어 신호들(SYNC, CTRL)을 발생하여 광원(110)과 센싱부(130)를 제어하는 타이밍 콘트롤러((150)를 포함할 수 있다. 센싱부(130)는 수신광(RX)을 전기적 신호로 변환하기 위한 적어도 하나의 깊이 픽셀 (또는 거리 픽셀)을 포함할 수 있다. 또한 센싱부(130)는 가시광(VL)을 전기적 신호로 변환하기 위한 적어도 하나의 컬러 픽셀을 포함할 수 있다.

광원(110)은 소정의 파장을 가지도록 변조된 광(예를 들어, 적외선 또는 근적외선)을 출력할 수 있다. 광원(110)에서 발생된 송신광(TX)은 렌즈(51)를 통하여 피사체(60)에 포커싱될 수 있다. 광원(110)은 제어 신호(CTRL)에 의해 제어되어 세기가 주기적으로 변하는 송신광(TX)을 출력할 수 있다. 광원(110)은 발광 다이오드(light emitting diode, LED), 레이저 다이오드 등으로 구현될 수 있다.

타이밍 콘트롤러(150)에서 발생되는 제어 신호(CTRL)는 도 12a 내지 12d를 참조하여 후술하는 리셋 신호(RST), 전송 제어 신호(TG), 도 24 및 도 25를 참조하여 후술하는 복조 신호들(TG1~TG4)) 등을 포함할 수 있다. 광원에 제공되는 제어 신호(SYNC)는 복조 신호(TG1~TG4)와의 동기화를 위한 신호를 포함할 수 있다.

센싱부(130)는 일정한 해상도의 깊이 픽셀 및/또는 컬러 픽셀들이 배열된 픽셀 어레이(PX)를 포함한다. 또한 센싱부(130)는 아날로그-디지털 변환부(ADC) 및 픽셀 어레이(PX) 내의 특정한 픽셀을 선택하기 위한 선택 회로(ROW, COL) 등을 포함할 수 있다.

일 실시예에서, 촬영 장치(100)는 거리 정보를 제공하기 위한 깊이 픽셀과 이미지 정보를 제공하기 위한 컬러 픽셀을 포함하는 3차원 이미지 센서일 수 있다. 이 경우 센싱부(130)는 도 6을 참조하여 후술하는 바와 같이 복수의 깊이 픽셀들 및 복수의 컬러 픽셀들이 배열된 픽셀 어레이(PX_CZ)를 포함할 수 있다.

다른 실시예에서, 촬영 장치(100)는 별개의 깊이 센서와 이차원 이미지 센서를 포함할 수 있다. 이 경우 센싱부(130)는 도 11a 및 도 11b를 참조하여 후술하는 바와 같이 복수의 컬러 픽셀들이 배열된 픽셀 어레이(PX_C) 및 복수의 깊이 픽셀들이 배열된 픽셀 어레이(PX_Z)를 포함할 수 있다.

또 다른 실시예에서, 촬영 장치(100)는 깊이 센서만을 포함할 수 있다. 이 경우 센싱부(130)는 도 23을 참조하여 후술하는 바와 같이 복수의 깊이 픽셀들이 배열된 하나의 픽셀 어레이(PX_Z)를 포함할 수 있다.

실시예에 따라서, 아날로그-디지털 변환부(ADC)는 각 컬럼 라인마다 연결된 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 병렬로 변환하는 컬럼 아날로그-디지털 변환을 수행하거나, 단일한 아날로그-디지털 변환기를 이용하여 상기 아날로그 신호들을 순차적으로 변환하는 단일 아날로그-디지털 변환을 수행할 수 있다.

실시예에 따라서, 아날로그-디지털 변환부(ADC)는 전술한 노이즈 전압(VB) 및 복조 전압(VD)에 기초하여 유효 전압, 즉 유효 신호 성분을 추출하기 위한 상관 이중 샘플링(Correlated Double Sampling; CDS)부를 포함할 수 있다.

일 실시예에서, 상기 CDS부는 노이즈 성분을 나타내는 아날로그 노이즈 전압 신호와 신호 성분을 나타내는 아날로그 복조 전압 신호의 차이에 기초하여 상기 유효 전압을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다.

다른 실시예에서, 상기 CDS부는 상기 아날로그 노이즈 전압 신호와 상기 아날로그 복조 전압 신호를 디지털 신호들로 각각 변환한 후 상기 유효 신호 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다.

또 다른 실시예에서, 상기 CDS부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.

도 5는 도 4의 촬영 장치에 포함되는 센싱부의 일 예를 나타내는 도면이다. 도 4의 촬영 장치(100)가 3차원 이미지 센서인 경우에 해당하는 센싱부(130a)의 일 예가 도 5에 도시되어 있다.

도 5를 참조하면, 센싱부(130a)는 복수의 컬러 픽셀들과 복수의 깊이 픽셀들이 배열된 픽셀 어레이(PX_CZ), 컬러 픽셀 선택 회로(CROW, CCOL), 깊이 픽셀 선택 회로(ZROW, ZCOL), 컬러 픽셀 컨버터(CADC) 및 깊이 픽셀 컨버터(ZADC)를 포함할 수 있다. 컬러 픽셀 선택 회로(CROW, CCOL)와 컬러 픽셀 컨버터(CADC)는 픽셀 어레이(PX_CZ) 내의 컬러 픽셀을 제어하여 영상 정보(RCDATA)를 제공하고, 깊이 픽셀 선택 회로(ZROW, ZCOL)와 깊이 픽셀 컨버터(ZADC)는 픽셀 어레이(PX_CZ) 내의 깊이 픽셀을 제어하여 거리 정보(RZDATA)를 제공한다.

센싱부(130a)에서 제공되는 영상 정보(RCDATA)와 거리 정보(RZDATA)는 비가공 데이터(raw data)이며, 이러한 비가공 데이터에 기초하여 전술한 이차원 데이터(CDATA)와 깊이 데이터(ZDATA)가 제공될 수 있다.

이와 같이 3차원 이미지 센서에서는 영상의 컬러 정보(RCDATA) 및 거리 정보(RZDATA)를 제공하기 위하여 컬러 픽셀들을 제어하는 구성 요소들과 깊이 픽셀들을 제어하는 구성 요소들이 별도로 구비되어 서로 독립적으로 동작할 수 있다.

도 6은 도 5의 센싱부에 포함된 픽셀 어레이의 일 예를 나타내는 도면이다.

도 6을 참조하면, 픽셀 어레이(PX_CZ)는 컬러 영상 정보를 제공하는 컬러 픽셀들(R, G, B) 및 거리 정보를 제공하는 깊이 픽셀(Z)을 포함한다. 예를 들어, 픽셀 어레이(PX_CZ)에서, 레드 픽셀(R), 그린 픽셀(G), 블루 픽셀(B) 및 깊이 픽셀(Z)을 포함하는 픽셀 패턴(101)이 반복적으로 배치될 수 있다.

각 컬러 픽셀(R, G, B)은 가시광선에 의해 생성된 전자-정공 쌍(Electron-Hole Pair; EHP) 중 전자를 수집하는 광검출 영역을 포함하고, 깊이 픽셀(Z)은 적외선(또는 근적외선)에 의해 생성된 전자를 수집하는 광검출 영역을 포함할 수 있다. 예를 들어, 각 깊이 픽셀(Z)은 상기 가시광선보다 긴 파장을 가지는 상기 적외선(또는 근적외선)에 의해 효율적으로 생성될 수 있도록 상기 컬러 픽셀들(R, G, B)보다 큰 깊이를 가지는 포토다이오드를 포함할 수 있다. 이에 따라, 깊이 픽셀(Z)의 양자 효율(Quantum Efficiency; QE)이 향상될 수 있다.

컬러 픽셀들(R, G, B)의 상부에는 컬러 필터들이 형성되고, 깊이 픽셀(Z)의 상부에는 적외선(또는 근적외선) 필터가 형성될 수 있다. 즉, 레드 픽셀(R)에는 레드 필터가 형성되고, 그린 픽셀(G)에는 그린 필터가 형성되며, 블루 픽셀(B)에는 블루 필터가 형성되고, 깊이 픽셀(Z)에는 적외선(또는 근적외선) 패스 필터가 형성될 수 있다. 또한, 컬러 픽셀들(R, G, B)에는 적외선(또는 근적외선) 차단(Cut) 필터가 더 형성될 수 있다.

도 6에는 픽셀 패턴(101)의 일 예가 도시되어 있으나, 픽셀 패턴은 다양하게 변형될 수 있다. 예를 들어, 하나의 컬러 픽셀과 하나의 깊이 픽셀의 면적의 비, 픽셀 어레이(PX_CZ) 내의 컬러 픽셀들의 개수와 깊이 픽셀들의 개수의 비 및 픽셀 패턴 내의 컬러 픽셀과 깊이 픽셀의 배치 등은 다양하게 변형될 수 있다.

도 7은 촬영 장치를 이용하여 획득한 깊이 데이터에 상응하는 프레임을 나타내는 도면이고, 도 8은 촬영 장치를 이용하여 획득한 이차원 데이터에 상응하는 프레임을 나타내는 도면이고, 도 9는 본 발명의 실시예들에 따라서 지정된 동작 추적 영역의 일 예를 나타내는 도면이다.

도 7 및 도 8에 도시된 바와 같이, 촬영 장치(100)로부터 제공되는 깊이 데이터(ZDATA)에 상응하는 프레임은 상대적으로 낮은 제1 해상도(RES1)를 갖고 이차원 데이터(CDATA)에 상응하는 프레임은 상대적으로 높은 제2 해상도(RES2)를 갖는다. 예를 들어, 제1 해상도(RES1)는 320*240 화소의 QVGA(quarter video graphic array) 해상도 또는 이보다 작은 해상도일 수 있고, 상기 제2 해상도(RES2)는 1280*720 화소의 HD(high definition) 해상도 또는 이보다 큰 해상도일 수 있다.

도 3의 동작 영역 추적부(300)는 깊이 데이터(ZDATA), 즉 깊이 프레임(DF)에 기초하여 추적 대상 물체(target object)를 인식하여 상기 추적 대상 물체를 포함하며 촬영 장치(100)에 의해 캡쳐되는 장면의 일부에 해당하는 동작 추적 영역(MTR)을 지정한다.

장면은 고정된 배경과 움직이는 추적 대상 물체를 포함할 수 있다. 예를 들어, 상기 추적 대상 물체는 도 9에 도시된 바와 같이 사람의 손이 될 수 있고 동작 영역 추적부(300)는 이를 인식하여 동작 추적 영역(MRT)을 지정한다.

동작 영역 추적부(300)는 순차적으로 제공되는 복수의 프레임에 상응하는 깊이 데이터(ZDATA)에 기초하여 동작 추적 영역(MTR)을 지정할 수 있다. 일반적으로, 추적 대상 물체는 공, 사람 등과 같이 독립된 개체로 인식되는 것일 수도 있고, 손, 팔, 머리 등과 같이 신체의 일부일 수도 있다. 추적 대상 물체의 인식은 캡쳐되는 영상의 종류에 따라서 다양한 기준에 의해 수행될 수 있다. 예를 들어, 장면에 복수의 움직이는 물체들이 포함되는 경우, 추적 대상 물체의 종류, 거리, 동작 속도 등의 기준에 따라서 적어도 하나의 추적 대상 물체가 결정될 수 있다. 일 실시예에서, 추적 대상 물체의 인식을 위하여 깊이 데이터(ZDATA)에 기초한 간단한 삼차원 인식 알고리즘이 이용될 수 있다.

일 실시예에서, 도 9에 도시된 바와 같이, 동작 추적 영역(MTR)의 지정은 장면에 대한 프레임(DF) 상에서의 동작 추적 영역(MTR)의 중심 좌표(x,y)와 프레임(DF) 상에서의 동작 추적 영역(MTR)의 크기(Lx, Ly)를 지정하는 방식으로 수행될 수 있다. 다른 실시예에서, 동작 추적 영역(MTR)의 지정은 동작 추적 영역(MTR)의 4개의 꼭지점들의 좌표를 지정하는 방식으로 수행될 수도 있다.

도 9에 도시된 바와 같이, 일반적으로 추적 대상 물체는 장면의 일부분에 해당하고, 결과적으로 동작 추적 영역(MTR)은 장면에 상응하는 전체 프레임의 일부분에 해당한다.

도 10은 도 4의 촬영 장치에 포함되는 센싱부의 다른 예를 나타내는 도면이다. 도 4의 촬영 장치(100)가 별개의 깊이 센서와 이차원 이미지 센서를 포함하는 경우의 센싱부(130b)의 일 예가 도 10에 도시되어 있다.

도 10을 참조하면, 센싱부(130b)는 복수의 컬러 픽셀들이 배열된 제1 픽셀 어레이(PX_C)와 복수의 깊이 픽셀들이 배열된 제2 픽셀 어레이(PX_Z)를 포함할 수 있다. 영상의 컬러 정보를 위한 가시광(VL)과 거리 정보를 위한 반사광(RX)은 빔 스플릿터(beam splitter)(55)에 의해 분리되어 각각의 픽셀 어레이들(PX_C, PX_Z)에 조사(illuminate)될 수 있다.

컬러 픽셀 선택 회로(CROW, CCOL), 깊이 픽셀 선택 회로(ZROW, ZCOL), 컬러 픽셀 컨버터(CADC) 및 깊이 픽셀 컨버터(ZADC)는 각각의 픽셀 어레이들(PX_C, PX_Z)에 인접하여 배치될 수 있다. 컬러 픽셀 선택 회로(CROW, CCOL)와 컬러 픽셀 컨버터(CADC)는 제1 픽셀 어레이(PX_C) 내의 컬러 픽셀을 제어하여 영상 정보(RCDATA)를 제공하고, 깊이 픽셀 선택 회로(ZROW, ZCOL)와 깊이 픽셀 컨버터(ZADC)는 제2 픽셀 어레이(PX_Z) 내의 깊이 픽셀을 제어하여 거리 정보(RZDATA)를 제공한다. 센싱부(130b)에서 제공되는 영상 정보(RCDATA)와 거리 정보(RZDATA)는 비가공 데이터(raw data)일 수 있으며, 이러한 비가공 데이터에 기초하여 전술한 이차원 데이터(CDATA)와 깊이 데이터(ZDATA)가 제공될 수 있다.

이와 같이, 별개의 깊이 센서와 2차원 이미지 센서는 영상의 컬러 정보(RCDATA) 및 거리 정보(RZDATA)를 제공하기 위하여 컬러 픽셀들을 제어하는 구성 요소들과 깊이 픽셀들을 제어하는 구성 요소들이 별도로 구비되어 서로 독립적으로 동작할 수 있다.

도 11a 및 도 11b는 도 10의 센싱부에 포함된 픽셀 어레이들의 일 예를 나타내는 도면들이다.

도 11a를 참조하면, 제1 픽셀 어레이(PX_C)는 컬러 영상 정보를 제공하는 컬러 픽셀들(R, G, B)을 포함한다. 즉, 픽셀 어레이(PX_CZ)에서, 레드 픽셀(R), 그린 픽셀(G), 블루 픽셀(B)을 포함하는 픽셀 패턴(102)이 반복적으로 배치될 수 있다. 각 컬러 픽셀(R, G, B)은 가시광선에 의해 생성된 전자-정공 쌍(Electron-Hole Pair; EHP) 중 전자를 수집하는 광검출 영역을 포함할 수 있다. 컬러 픽셀들(R, G, B)의 상부에는 컬러 필터들이 형성될 수 있다. 예를 들어, 레드 픽셀(R)에는 레드 필터가 형성되고, 그린 픽셀(G)에는 그린 필터가 형성되며, 블루 픽셀(B)에는 블루 필터가 형성될 수 있다.

도 11b를 참조하면, 제2 픽셀 어레이(PX_Z)는 거리 정보를 제공하는 깊이 픽셀(Z)을 포함한다. 예를 들어, 동일한 깊이 픽셀(Z)들이 반복적으로 배치될 수 있다. 깊이 픽셀(Z)은 적외선(또는 근적외선)에 의해 생성된 전자를 수집하는 광검출 영역을 포함할 수 있다. 깊이 픽셀(Z)의 상부에는 적외선(또는 근적외선) 필터가 형성될 수 있다.

도 12a 내지 도 12d는 픽셀 어레이에 포함되는 단위 픽셀의 예들을 나타내는 회로도들이다.

도 12a 내지 도 12d에 도시된 단위 픽셀(200a, 200b, 200c, 200d)은 컬러 포토다이오드를 포함하는 컬러 픽셀이거나, 거리 포토다이오드를 포함하는 깊이 픽셀일 수 있다.

도 12a를 참조하면, 단위 픽셀(200a)은, 광 감지 소자(Photo Sensitive Device)로서 포토다이오드(PD)를 포함하고, 독출 회로(Readout Circuit)로서 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다.

예를 들어, 포토다이오드(PD)는 p형 기판에 형성되는 n형 영역을 포함할 수 있으며, 상기 n형 영역과 상기 p형 기판이 p-n 접합 포토다이오드일 수 있다. 포토다이오드(PD)는 외부로부터 광(예를 들어, 가시광선 또는 적외선)을 수신하고, 수신된 광에 기초하여 광 전하(Photo Charge)를 생성한다. 실시예에 따라, 단위 픽셀(200a)은 포토다이오드(PD)와 함께, 또는 포토다이오드(PD)를 대신하여 포토 트랜지스터, 포토 게이트, 핀드 포토 다이오드 등을 포함할 수 있다.

포토다이오드(PD)에서 생성된 광 전하는 전송 트랜지스터(TX)를 통하여 플로팅 디퓨전 노드(FD)로 전송된다. 예를 들어, 전송 제어 신호(TG)가 제1 레벨(예컨대, 하이 레벨)을 가질 때에 전송 트랜지스터(TX)가 턴온되고, 포토다이오드(PD)에서 생성된 광 전하는 턴온된 전송 트랜지스터(TX)를 통하여 플로팅 디퓨전 노드(FD)로 전송될 수 있다.

드라이브 트랜지스터(DX)는 소스 팔로워 버퍼 증폭기(Source Follower buffer Amplifier) 역할을 하여 플로팅 디퓨전 노드(FD)에 충전된 전하에 대응하는 신호를 증폭할 수 있다. 선택 트랜지스터(SX)는 선택 신호(SEL)에 응답하여 상기 증폭된 신호를 컬럼 라인(COL)에 전송할 수 있다. 플로팅 디퓨전 노드(FD)는 리셋 트랜지스터(RX)에 의해 리셋될 수 있다. 예를 들어, 리셋 트랜지스터(RX)는 리셋 신호(RS)에 응답하여 플로팅 디퓨전 영역(FD)에 저장되어 있는 광 전하를 상관 이중 샘플링(CDS: Correlated Double Sampling) 동작을 위한 일정한 주기로 방전시킬 수 있다.

도 12a에서는 하나의 포토다이오드(PD)와 4개의 트랜지스터들(TX, RX, DX, SX)을 구비하는 단위 픽셀을 예시하고 있지만 본 발명에 따른 실시예가 이에 한정되는 것은 아니다. 단위 픽셀의 다른 실시예가 도 12b 내지 도 12d에 도시된다.

도 12b를 참조하면, 단위 픽셀(200b)은, 광 감지 소자로서 포토다이오드(PD)를 포함하고, 독출 회로로서 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다. 즉, 단위 픽셀(200b)은 3-트랜지스터 구조를 가질 수 있다.

도 12c를 참조하면, 단위 픽셀(200c)은 광 감지 소자로서 포토다이오드(PD)를 포함하고, 독출 회로로서 전송 트랜지스터(TX), 게이트 트랜지스터(GX), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다. 즉, 단위 픽셀(200c)은 5-트랜지스터 구조를 가질 수 있다. 게이트 트랜지스터(GX)는 선택 신호(SEL)에 응답하여 전송 제어 신호(TG)를 전송 트랜지스터(TX)에 선택적으로 인가할 수 있다.

도 12d를 참조하면, 단위 픽셀(200d)은 광 감지 소자로서 포토다이오드(PD)를 포함하고, 독출 회로로서 포토 트랜지스터(PX)(또는 포토 게이트), 전송 트랜지스터(TX), 리셋 트랜지스터(RX), 드라이브 트랜지스터(DX) 및 선택 트랜지스터(SX)를 포함할 수 있다. 즉, 단위 픽셀(200d)은 5-트랜지스터 구조를 가질 수 있다. 또한, 단위 픽셀(200d)은 게이트 트랜지스터(GX) 또는 바이어스 트랜지스터를 더 포함하는 6-트랜지스터 구조를 가질 수 있다.

포토 트랜지스터(PX)는 포토 게이트 신호(PG)에 응답하여 온/오프될 수 있다. 포토 트랜지스터(PX)가 온 상태일 때, 포토다이오드(PD)는 입사되는 빛을 감지하여 광 전하를 생성할 수 있다. 반면, 포토 트랜지스터(PX)가 오프 상태일 때, 포토다이오드(PD)는 입사되는 빛을 감지하지 않을 수 있다.

도 13은 본 발명의 일 실시예에 따른 동작 인식 방법을 나타내는 순서도이다.

도 13을 참조하면, 촬영 장치(100)는 제1 해상도(RES1)의 깊이 픽셀들(Z)을 이용하여 하나의 프레임에 상응하는 깊이 데이터(ZDATA)를 제1 프레임 주기(PFRAME1)마다 제공한다(단계 S212). 또한 촬영 장치(100)는 제2 해상도의 이미지 픽셀들(R, G, B)을 이용하여 하나의 프레임에 상응하는 이차원 데이터(CDATA)를 제2 프레임 주기(PFRAME2)마다 제공한다(단계 S214). 이 경우 촬영 장치(100)는 도 6에 도시된 것과 같이 깊이 픽셀들(Z)과 컬러 픽셀들(R, G, B)이 배열된 하나의 픽셀 어레이(PX_CZ)를 포함할 수도 있고, 도 11a 및 11b에 도시된 것과 같이 깊이 픽셀들(Z)과 컬러 픽셀들(R, G, B)이 각각 배열되고 공간적으로 이격된 픽셀 어레이들(PX_Z, PX_C)을 포함할 수도 있다. 즉 촬영 장치(100)는 삼차원 이미지 센서를 포함할 수도 있고, 별개의 깊이 센서와 이차원 이미지 센서를 포함할 수도 있다.

동작 영역 추적부(300)는 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체를 인식하여 동작 추적 영역(MTR)을 지정한다(단계 S400). 동작 영역 추적부(300)는 하나의 프레임에 상응하는 제2 해상도(RES2)의 이차원 데이터 중에서 동작 추적 영역(MTR)에 상응하는 제2 해상도(RES2)의 영역 이미지 데이터를 추출한다(단계 S612). 동작 영역 추적부(300)는 제2 해상도(RES2)의 영역 이미지 데이터를 추적 영역 데이터(TRDATA)로서 제공한다(단계 S614). 동작 분석부(500)는 주기적으로 제공되는 추적 영역 데이터(TRDATA)에 기초하여 추적 대상 물체의 동작을 분석한다(단계 S800).

도 14는 본 발명의 일 실시예에 따른 동작 인식 장치에 포함되는 동작 영역 추적부를 나타내는 블록도이다.

도 14를 참조하면, 동작 영역 추적부(300a)는 데이터 버퍼(data buffer)(BUFF)(310), 동기화부(synchronizer)(SYNC)(330), 추적 영역 결정부(tracking region determinator)(REGD)(350) 및 데이터 추출부(data extractor)(EXTR)(370)를 포함할 수 있다.

데이터 버퍼(310)는 촬영 장치(100)로부터 제1 프레임 주기(PFRAME1)마다 제공되는 깊이 데이터(ZDATA) 및 제2 프레임 주기(PFRAME2)마다 제공되는 이차원 데이터(CDATA)를 저장한다.

동기화부(330)는 제1 프레임 주기(PFRAME1)와 제2 프레임 주기(PFRAME2)가 서로 다른 경우, 깊이 데이터(ZDATA)와 이차원 데이터(CDATA)를 시간적으로 동기화하여 제공한다. 동기화부(330)의 동기화 동작은 도 15a, 도 15b 및 도 15c를 참조하여 후술한다. 제1 프레임 주기(PFRAME1)와 제2 프레임 주기(PFRAME2)가 동일한 경우 동기화부(330)는 생략될 수 있다. 추적 영역 결정부(350)는 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체를 인식하여 동작 추적 영역(MTR)을 지정한다. 지정된 동작 추적 영역(MTR)은 도 9를 참조하여 설명한 바와 같이 동작 추적 영역(MTR)의 중심 좌표 (x, y) 및 크기 (Lx, Ly)의 값으로서 데이터 추출부(370)에 제공될 수 있다. 데이터 추출부(370)는 하나의 프레임에 상응하는 제2 해상도(RES2)의 이차원 데이터 중에서 동작 추적 영역(MTR)에 상응하는 제2 해상도(RES2)의 영역 이미지 데이터를 추출하고(단계 S612), 추출된 영역 이미지 데이터를 추적 영역 데이터(TRDATA)로서 제공한다(단계 S614).

이와 같이, 저해상도의 깊이 데이터(ZDATA)에 기초하여 배경과 구분되는 추적 대상 물체를 파악하고 고해상도의 추적 영역 데이터(TRDATA), 즉 이차원 데이터(CDATA)의 일부에 해당하는 영역 이미지 데이터에 기초하여 추적 대상 물체의 종류, 형태 및/또는 동작을 분석함으로써 추적 대상 물체의 동작을 정밀하게 인식할 수 있다.

도 15a, 도 15b 및 도 15c는 도 14의 동작 영역 추적부에 포함되는 동기화부의 동기화 동작의 예들을 나타내는 도면들이다.

도 15a, 도 15b 및 도 15c에 도시된 바와 같이, 깊이 데이터(ZDATA)의 제1 프레임 주기(PFRAME1)와 이차원 데이터(CDATA)의 제2 프레임 주기(PFRAME2)는 서로 다를 수 있다. 예를 들어, 깊이 데이터(ZDATA)의 프레임율은 20 fps 이고 이차원 데이터(CDATA)의 프레임율은 60 fps 일 수 있다.

촬영 장치(100)는 장면에 대한 깊이 정보를 센싱하여 제1 깊이 프레임 데이터(DF1)를 제공하는 동안에 장면에 대한 이미지 정보를 센싱하여 제1, 제2 및 제3 이차원 프레임 데이터(CF1, CF2, CF3)를 제공할 수 있다. 마찬가지로, 촬영 장치(100)는 장면에 대한 깊이 정보를 센싱하여 제2 깊이 프레임 데이터(DF2)를 제공하는 동안에 장면에 대한 이미지 정보를 센싱하여 제4, 제5 및 제6 이차원 프레임 데이터(CF4, CF5, CF6)를 제공할 수 있다. 추적 영역 데이터(TRDATA)는 동기화부(330)의 동작에 따라서 제1 프레임 주기(PFRAME1) 또는 제2 프레임 주기(PFRAME2)마다 제공될 수 있다.

도 15a를 참조하면, 도 14의 동기화부(330)는 촬영 장치(100)로부터 실질적으로 동시에 제공되는 깊이 프레임 데이터와 이차원 프레임 데이터를 동기화하여 추적 영역 결정부(350) 및 데이터 추출부(370)에 제공할 수 있다. 즉, 제1 깊이 프레임 데이터(DF1)와 제3 이차원 프레임 데이터(CF3)를 동기화하여 제공하고, 제2 깊이 프레임 데이터(DF2)와 제6 이차원 프레임 데이터(CF6)를 동기화하여 제공할 수 있다.

데이터 추출부(370)는 제3 이차원 프레임 데이터(CF3) 중에서 제1 깊이 프레임 데이터(DF1)에 기초하여 지정된 동작 추적 영역(MTR1)에 상응하는 부분을 추출하여 제1 추적 영역 데이터(TR1)를 제공하고, 제6 이차원 프레임 데이터(CF6) 중에서 제2 깊이 프레임 데이터(DF2)에 기초하여 지정된 동작 추적 영역(MTR2)에 상응하는 부분을 추출하여 제2 추적 영역 데이터(TR2)를 제공할 수 있다. 이와 같은 방식으로 추적 영역 데이터(TR1, TR2)는 제1 프레임 주기(PFRAME1) 마다 제공될 수 있다.

도 15b를 참조하면, 도 14의 동기화부(330)는 촬영 장치(100)로부터 서로 다른 시간에 제공되는 깊이 프레임 데이터와 이차원 프레임 데이터를 동기화하여 추적 영역 결정부(350) 및 데이터 추출부(370)에 제공할 수 있다. 즉, 제1 깊이 프레임 데이터(DF1)와 제2 이차원 프레임 데이터(CF2)를 동기화하여 제공하고, 제2 깊이 프레임 데이터(DF2)와 제5 이차원 프레임 데이터(CF5)를 동기화하여 제공할 수 있다. 이는 깊이 프레임 데이터의 센싱 주기는 이차원 프레임 데이터의 센싱 주기보다 길기 때문에, 깊이 프레임 데이터와 상기 깊이 프레임 데이터의 센싱 구간의 중간 시점에 상응하는 이차원 프레임 데이터를 동기화하기 위한 것이다.

데이터 추출부(370)는 제2 이차원 프레임 데이터(CF2) 중에서 제1 깊이 프레임 데이터(DF1)에 기초하여 지정된 동작 추적 영역(MTR1)에 상응하는 부분을 추출하여 제1 추적 영역 데이터(TR1)를 제공하고, 제5 이차원 프레임 데이터(CF5) 중에서 제2 깊이 프레임 데이터(DF2)에 기초하여 지정된 동작 추적 영역(MTR2)에 상응하는 부분을 추출하여 제2 추적 영역 데이터(TR2)를 제공할 수 있다. 이와 같은 방식으로 추적 영역 데이터(TR1, TR2)는 제1 프레임 주기(PFRAME1) 마다 제공될 수 있다.

도 15c를 참조하면, 도 14의 동기화부(330)는 촬영 장치(100)로부터 깊이 프레임 데이터와 동일한 센싱 주기에 상응하는 세 개의 이차원 프레임 데이터를 동기화하여 추적 영역 결정부(350) 및 데이터 추출부(370)에 제공할 수 있다. 즉, 제1 깊이 프레임 데이터(DF1)와 제1, 제2 및 제3 이차원 프레임 데이터(CF1, CF2, CF3)를 동기화하여 제공하고, 제2 깊이 프레임 데이터(DF2)와 제4, 제5 및 제6 이차원 프레임 데이터(CF4, CF5, CF6)를 동기화하여 제공할 수 있다.

데이터 추출부(370)는 제1, 제2 및 제3 이차원 프레임 데이터(CF1, CF2, CF3) 중에서 제1 깊이 프레임 데이터(DF1)에 기초하여 지정된 동작 추적 영역(MTR1)에 상응하는 부분들을 각각 추출하여 제1, 제2 및 제3 추적 영역 데이터(TR1, TR2, TR3)를 제공하고, 제4, 제5 및 제6 이차원 프레임 데이터(CF4, CF5, CF6) 중에서 제2 깊이 프레임 데이터(DF2)에 기초하여 지정된 동작 추적 영역(MTR2)에 상응하는 부분들을 각각 추출하여 제4, 제5 및 제6 추적 영역 데이터(TR4, TR5, TR6)를 제공할 수 있다. 이와 같은 방식으로 추적 영역 데이터(TR1~TR6)는 제2 프레임 주기(PFRAME2) 마다 제공될 수 있다.

도 16은 도 14의 동작 영역 추적부에 의해 제공되는 추적 영역 데이터를 설명하기 위한 도면이다.

도 16에는 이차원 데이터(CDATA)에 대응하는 이차원 이미지 프레임 및 이로부터 추출된 추적 영역 데이터(TRDATA)가 도시되어 있다. 전술한 바와 같이, 이차원 데이터(CDATA) 중에서 동작 추적 영역(MTR)에 상응하는 부분이 추적 영역 데이터(TRDATA)로서 제공될 수 있다. 고해상도의 이차원 데이터(CDATA) 중에서 동작 추적 영역(MTR)에 상응하는 부분에 기초하여 동작 분석을 수행함으로써 데이터의 전송량 및 연산량을 감소하고 효율적인 동작 분석을 수행할 수 있다.

도 17a 및 도 17b는 본 발명의 일 실시예에 따른 동작 추적 영역의 갱신 방법을 설명하기 위한 도면들이다.

도 17a 및 도 17b에는 동작 추적 영역들(MTR1~MTR4)과 이에 각각 상응하는 추적 영역 데이터(TRDATA1~TRDATA4)가 도시되어 있다. 도 17a 및 도 17b에 도시된 바와 같이, 추적 대상 물체의 동작에 따라서 동작 추적 영역을 갱신할 수 있다. 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체의 프레임 상에서의 위치 변화를 검출하고, 상기 위치 변화에 따라서 상기 프레임 상에서의 동작 추적 영역의 중심 좌표를 변경할 수 있다. 또한 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체의 거리의 변화를 검출하고, 검출된 거리의 변화에 기초하여 동작 추적 영역의 크기를 변경할 수 있다.

도 17a는 촬영 장치(100)로부터 추적 대상 물체까지의 거리가 증가하는 경우를 나타내고, 도 17b는 촬영 장치(100)로부터 추적 대상 물체까지의 거리가 감소하는 경우를 나타낸다. 도 17a에 도시된 바와 같이, 추적 대상 물체의 거리가 증가하는 경우, 중심 좌표는 (x1, y1)에서 (x2, y2)로 변경되고, 동작 추적 영역의 크기는 (Lx1, Ly1)에서 (Lx2, Ly2)로 감소할 수 있다. 또한, 도 17b에 도시된 바와 같이, 추적 대상 물체의 거리가 감소하는 경우, 중심 좌표는 (x3, y3)에서 (x4, y4)로 변경되고, 동작 추적 영역의 크기는 (Lx3, Ly3)에서 (Lx4, Ly4)로 증가할 수 있다.

도 18은 본 발명의 일 실시예에 따른 동작 인식 방법을 나타내는 순서도이다.

도 18을 참조하면, 촬영 장치(100)는 제1 해상도(RES1)의 깊이 픽셀들(Z)을 이용하여 하나의 프레임에 상응하는 깊이 데이터(ZDATA)를 제1 프레임 주기(PFRAME1)마다 제공한다(단계 S222). 또한 촬영 장치(100)는 제2 해상도의 이미지 픽셀들(R, G, B)을 이용하여 하나의 프레임에 상응하는 이차원 데이터(CDATA)를 제2 프레임 주기(PFRAME2)마다 제공한다(단계 S224). 이 경우 촬영 장치(100)는 도 6에 도시된 것과 같이 깊이 픽셀들(Z)과 컬러 픽셀들(R, G, B)이 배열된 하나의 픽셀 어레이(PX_CZ)를 포함할 수도 있고, 도 11a 및 11b에 도시된 것과 같이 깊이 픽셀들(Z)과 컬러 픽셀들(R, G, B)이 각각 배열되고 공간적으로 이격된 픽셀 어레이들(PX_Z, PX_C)을 포함할 수도 있다. 즉 촬영 장치(100)는 삼차원 이미지 센서일 수도 있고, 별개의 깊이 센서와 이차원 이미지 센서를 포함할 수도 있다.

동작 영역 추적부(300)는 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체를 인식하여 동작 추적 영역(MTR)을 지정한다(단계 S400). 동작 영역 추적부(300)는 하나의 프레임에 상응하는 제1 해상도(RES1)의 깊이 데이터(ZDATA) 중에서 동작 추적 영역(MTR)에 상응하는 제1 해상도(RES1)의 영역 깊이 데이터를 추출하고(단계 S622), 하나의 프레임에 상응하는 제2 해상도(RES2)의 이차원 데이터(CDATA) 중에서 동작 추적 영역(MTR)에 상응하는 제2 해상도(RES2)의 영역 이미지 데이터를 추출한다(단계 S624). 동작 영역 추적부(300)는 제2 해상도(RES2)의 영역 이미지 데이터를 이용하여 제1 해상도(RES1)의 영역 깊이 데이터를 제2 해상도(RES2)의 영역 깊이 데이터로 보정하고(단계 S626), 제2 해상도(RES2)의 영역 깊이 데이터를 추적 영역 데이터(TRDATA)로서 제공한다(단계 S628). 동작 분석부(500)는 추적 영역 데이터(TRDATA)에 기초하여 추적 대상 물체의 동작을 분석한다(단계 S800).

도 19는 본 발명의 일 실시예에 따른 동작 인식 장치에 포함되는 동작 영역 추적부를 나타내는 블록도이다.

도 19를 참조하면, 동작 영역 추적부(300b)는 데이터 버퍼(BUFF)(310), 동기화부(SYNC)(330), 추적 영역 결정부(REGD)(350), 데이터 추출부(371) 및 보정부(image enhancer)(ENH)(381)를 포함할 수 있다. 데이터 버퍼(310)는 촬영 장치(100)로부터 제1 프레임 주기(PFRAME1)마다 제공되는 깊이 데이터(ZDATA) 및 제2 프레임 주기(PFRAME2)마다 제공되는 이차원 데이터(CDATA)를 저장한다.

동기화부(330)는 제1 프레임 주기(PFRAME1)와 제2 프레임 주기(PFRAME2)가 서로 다른 경우, 깊이 데이터(ZDATA)와 이차원 데이터(CDATA)를 시간적으로 동기화하여 제공한다. 동기화부(330)의 동기화 동작은 도 15a, 도 15b 및 도 15c를 참조하여 전술한 바와 같다. 제1 프레임 주기(PFRAME1)와 제2 프레임 주기(PFRAME2)가 동일한 경우 동기화부(330)는 생략될 수 있다.

추적 영역 결정부(350)는 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체를 인식하여 동작 추적 영역(MTR)을 지정한다. 지정된 동작 추적 영역(MTR)은 도 9를 참조하여 설명한 바와 같이 동작 추적 영역(MTR)의 중심 좌표 (x, y) 및 크기 (Lx, Ly)의 값으로서 데이터 추출부(371)에 제공될 수 있다.

데이터 추출부(371)는 제1 추출부(EXTR1)(372) 및 제2 추출부(EXTR2)(373)를 포함한다. 제1 추출부(372)는 하나의 프레임에 상응하는 제1 해상도(RES1)의 깊이 데이터(ZDATA) 중에서 동작 추적 영역(MTR)에 상응하는 제1 해상도(RES1)의 영역 깊이 데이터를 추출하고(단계 S622), 제2 추출부(373)는 하나의 프레임에 상응하는 제2 해상도(RES2)의 이차원 데이터(CDATA) 중에서 동작 추적 영역(MTR)에 상응하는 제2 해상도(RES2)의 영역 이미지 데이터를 추출한다(단계 S624).

보정부(381)는 제2 해상도(RES2)의 영역 이미지 데이터를 이용하여 제1 해상도(RES1)의 영역 깊이 데이터를 제2 해상도(RES2)의 영역 깊이 데이터로 보정하고(단계 S626), 제2 해상도(RES2)의 영역 깊이 데이터를 추적 영역 데이터(TRDATA)로서 제공한다(단계 S628). 예를 들어, 보정부(381)는 제2 해상도(RES2)의 영역 이미지 데이터로부터 에지(edge) 또는 텍스쳐(texture) 정보를 추출하고 이를 이용하여 제1 해상도(RES1)의 영역 깊이 데이터를 제2 해상도(RES2)의 영역 깊이 데이터로 보정할 수 있다.

이와 같이, 저해상도의 깊이 데이터(ZDATA)에 기초하여 배경과 구분되는 추적 대상 물체를 파악하고 고해상도의 추적 영역 데이터(TRDATA), 즉 이차원 데이터(CDATA)의 일부에 대해 해상도를 향상시킨 영역 이미지 데이터에 기초하여 추적 대상 물체의 종류, 형태 및/또는 동작을 분석함으로써 추적 대상 물체의 동작을 정밀하게 인식할 수 있다. 본 발명의 실시예들에 따라서 프레임의 전체가 아닌 일부에 대해서만 고해상도의 이차원 데이터를 이용하여 깊이 데이터의 해상도를 향상시키는 것을 로컬 수퍼-레졸류션(local super-resolution)이라 할 수 있다.

도 20은 도 19의 동작 영역 추적부에 의해 제공되는 추적 영역 데이터를 설명하기 위한 도면이다.

도 20에는 깊이 데이터(ZDATA')에 대응하는 하나의 프레임 및 이로부터 추출된 추적 영역 데이터(TRDATA')가 도시되어 있다. 전술한 바와 같이, 깊이 데이터(ZDATA') 중에서 동작 추적 영역(MTR)에 상응하는 부분을 이차원 데이터(CDATA)를 이용하여 보정한 것이 추적 영역 데이터(TRDATA')로서 제공될 수 있다. 도 20에 도시된 바와 같이 깊이 데이터(ZDATA')와 비교하여 추적 영역 데이터(TRDATA')는 추적 대상 물체의 에지가 보강된 것을 알 수 있다. 저해상도의 이차원 데이터(ZDATA') 중에서 동작 추적 영역(MTR)에 상응하는 부분의 해상도를 향상시켜 동작 분석을 수행함으로써 데이터의 전송량 및 연산량을 감소하고 효율적인 동작 분석을 수행할 수 있다.

도 21은 본 발명의 일 실시예에 따른 동작 인식 방법을 나타내는 순서도이다.

도 21을 참조하면, 촬영 장치(100)는 비행시간(TOF: time of flight) 방식의 깊이 픽셀들을 이용하여 하나의 프레임에 상응하는 비가공 데이터(RZDATA)를 주기적으로 제공한다(단계 S232). 이 경우 촬영 장치(100)는 도 23에 도시된 것과 같이 깊이 픽셀들(Z)이 배열된 하나의 픽셀 어레이(PX_Z)를 포함할 수 있다. 즉 촬영 장치(100)는 깊이 센서일 수 있다.

동작 영역 추적부(300)는, 도 26을 참조하여 후술하는 바와 같이, 비가공 데이터(RZDATA)를 M (M은 2이상의 자연수)비트씩 조합하여 제1 해상도(RES1)의 깊이 데이터(ZDATA)를 제공하고(단계 234), 도 28a 및 도 28b를 참조하여 후술하는 바와 같이 비가공 데이터(RZDATA)를 N (N은 M이하의 자연수) 비트씩 조합하여 제2 해상도(RES2)의 이차원 데이터(BWDATA)를 제공한다(단계 S236). 이차원 데이터(BWDATA)는 흑백 이미지 데이터일 수 있다.

동작 영역 추적부(300)는 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체를 인식하여 동작 추적 영역(MTR)을 지정한다(단계 S400). 동작 영역 추적부(300)는 하나의 프레임에 상응하는 제1 해상도(RES1)의 깊이 데이터(ZDATA) 중에서 동작 추적 영역(MTR)에 상응하는 제1 해상도(RES1)의 영역 깊이 데이터를 추출하고(단계 S632), 하나의 프레임에 상응하는 제2 해상도(RES2)의 이차원 데이터(BWDATA) 중에서 동작 추적 영역(MTR)에 상응하는 제2 해상도(RES2)의 영역 이미지 데이터를 추출한다(단계 S634). 동작 영역 추적부(300)는 제2 해상도(RES2)의 영역 이미지 데이터를 이용하여 제1 해상도(RES1)의 영역 깊이 데이터를 제2 해상도(RES2)의 영역 깊이 데이터로 보정하고(단계 S636), 제2 해상도(RES2)의 영역 깊이 데이터를 추적 영역 데이터(TRDATA)로서 제공한다(단계 S638). 동작 분석부(500)는 추적 영역 데이터(TRDATA)에 기초하여 추적 대상 물체의 동작을 분석한다(단계 S800).

도 22는 본 발명의 일 실시예에 따른 동작 인식 장치에 포함되는 동작 영역 추적부를 나타내는 블록도이다.

도 22를 참조하면, 동작 영역 추적부(300c)는 제1 계산부(CAL1)(305), 제2 계산부(CAL2)(306), 데이터 버퍼(BUFF)(315), 추적 영역 결정부(REGD)(355), 데이터 추출부(375) 및 보정부(enhancer)(ENH)(385)를 포함할 수 있다. 제1 계산부(305)는 촬영 장치(100)로부터 주기적으로 제공되는 비가공 데이터(RZDATA)를 M (M은 2이상의 자연수)비트씩 조합하여 제1 해상도(RES1)의 깊이 데이터(ZDATA)를 제공하고(단계 234), 제2 계산기(306)는 비가공 데이터(RZDATA)를 N (N은 M이하의 자연수) 비트씩 조합하여 제2 해상도(RES2)의 이차원 데이터(BWDATA)를 제공한다(단계 S236). 데이터 버퍼(315)는 제1 계산기(305)로부터 제공되는 깊이 데이터(ZDATA) 및 제2 계산기(306)로부터 제공되는 이차원 데이터(BWDATA)를 저장한다. 추적 영역 결정부(355)는 깊이 데이터(ZDATA)에 기초하여 추적 대상 물체를 인식하여 동작 추적 영역(MTR)을 지정한다. 지정된 동작 추적 영역(MTR)은 도 9를 참조하여 설명한 바와 같이 동작 추적 영역(MTR)의 중심 좌표 (x, y) 및 크기 (Lx, Ly)의 값으로서 데이터 추출부(375)에 제공될 수 있다.

데이터 추출부(375)는 제1 추출부(EXTR1)(376) 및 제2 추출부(EXTR2)(377)를 포함한다. 제1 추출부(376)는 하나의 프레임에 상응하는 제1 해상도(RES1)의 깊이 데이터(ZDATA) 중에서 동작 추적 영역(MTR)에 상응하는 제1 해상도(RES1)의 영역 깊이 데이터를 추출하고(단계 S632), 제2 추출부(377)는 하나의 프레임에 상응하는 제2 해상도(RES2)의 이차원 데이터(BWDATA) 중에서 동작 추적 영역(MTR)에 상응하는 제2 해상도(RES2)의 영역 이미지 데이터를 추출한다(단계 S634).

보정부(385)는 제2 해상도(RES2)의 영역 이미지 데이터를 이용하여 제1 해상도(RES1)의 영역 깊이 데이터를 제2 해상도(RES2)의 영역 깊이 데이터로 보정하고(단계 S636), 제2 해상도(RES2)의 영역 깊이 데이터를 추적 영역 데이터(TRDATA)로서 제공한다(단계 S638). 예를 들어, 보정부(385)는 제2 해상도(RES2)의 영역 이미지 데이터로부터 에지(edge) 또는 텍스쳐(texture) 정보를 추출하고 이를 이용하여 제1 해상도(RES1)의 영역 깊이 데이터를 제2 해상도(RES2)의 영역 깊이 데이터로 보정할 수 있다.

이와 같이, 저해상도의 깊이 데이터(ZDATA)에 기초하여 배경과 구분되는 추적 대상 물체를 파악하고 고해상도의 추적 영역 데이터(TRDATA), 즉 이차원 데이터(BWDATA)의 일부에 대해 해상도를 향상시킨 영역 이미지 데이터에 기초하여 추적 대상 물체의 종류, 형태 및/또는 동작을 분석함으로써 추적 대상 물체의 동작을 정밀하게 인식할 수 있다.

이차원 이미지 센서 또는 삼차원 이미지 센서 없이 깊이 센서만을 이용하여 저해상도의 깊이 데이터(ZDATA) 및 고해상도의 이차원 데이터(BWDATA)를 획득하고, 프레임의 일부에 대해서만 고해상도의 이차원 데이터를 이용하여 깊이 데이터의 해상도를 향상시키는 로컬 수퍼-레졸류션(local super-resolution)을 수행할 수 있다.

도 23은 깊이 센서에 포함되는 픽셀 어레이의 일 예를 나타내는 도면이다.

도 23을 참조하면, 픽셀 어레이(PX_Z)는 거리 정보를 제공하기 위한 깊이 픽셀들(Z1, Z2, Z3, Z4)을 포함한다. 깊이 픽셀들(Z1, Z2, Z3, Z4)은 서로 다른 위상을 갖는 복수의 복조 신호들에 응답하여 동작하는 비행시간(TOF) 방식의 픽셀들일 수 있다. 예를 들어, Z1 은 도 4의 촬영 장치(100)의 송신광(TX)에 대하여 0도의 위상차를 갖는 복조 신호에 응답하여 동작하는 픽셀이고, Z2는 송신광(TX)에 대하여 90도의 위상차를 갖는 복조 신호에 응답하여 동작하는 픽셀이고, Z3은 송신광(TX)에 대하여 180도의 위상차를 갖는 복조 신호에 응답하여 동작하는 픽셀이고, Z4는 송신광(TX)에 대하여 270도의 위상차를 갖는 복조 신호에 응답하여 동작하는 픽셀일 수 있다. 픽셀 어레이(PX_Z)에는 서로 다른 위상을 갖는 복조 신호들에 응답하여 동작하는 깊이 픽셀들(Z1, Z2, Z3, Z4)의 패턴이 반복적으로 배치될 수 있다.

도 24는 도 23의 픽셀 어레이에 포함되는 깊이 픽셀들의 일 예를 나타내는 회로도이다. 도 24에는 도 23의 픽셀 어레이에 포함된 하나의 패턴(103)이 도시되어 있다.

도 12a, 12b, 12c 및 12d에 도시된 싱글-탭(single tab) 구조의 단위 픽셀들과는 다르게 도 24의 픽셀들(Z1, Z2, Z3, Z4)은 2-탭 구조를 가지며 비행시간 방식의 거리 측정을 위한 깊이 픽셀로 이용될 수 있다.

도 24를 참조하면, 제1 픽셀(Z1) 및 제3 픽셀(Z3)은 광 감지 소자(Photo Sensitive Device)로서 하나의 포토다이오드(PD)를 공유하고, 제1 독출 회로(Readout Circuit)로서 제1 전송 트랜지스터(TX1), 제1 리셋 트랜지스터(RX1), 제1 드라이브 트랜지스터(DX1) 및 제1 선택 트랜지스터(SX1)를 포함하고, 제3 독출 회로로서 제3 전송 트랜지스터(TX3), 제3 리셋 트랜지스터(RX3), 제3 드라이브 트랜지스터(DX3) 및 제3 선택 트랜지스터(SX3)를 포함할 수 있다. 마찬가지로 제2 픽셀(Z2) 및 제4 픽셀(Z4)은 광 감지 소자로서 하나의 포토다이오드(PD)를 공유하고, 제2 독출 회로로서 제2 전송 트랜지스터(TX2), 제2 리셋 트랜지스터(RX2), 제2 드라이브 트랜지스터(DX2) 및 제2 선택 트랜지스터(SX2)를 포함하고, 제4 독출 회로로서 제4 전송 트랜지스터(TX4), 제4 리셋 트랜지스터(RX4), 제4 드라이브 트랜지스터(DX4) 및 제4 선택 트랜지스터(SX4)를 포함할 수 있다.

예를 들어, 포토다이오드(PD)는 p형 기판에 형성되는 n형 영역을 포함할 수 있으며, 상기 n형 영역과 상기 p형 기판이 p-n 접합 포토다이오드에 상응할 수 있다. 포토다이오드(PD)는 외부로부터 광(예를 들어, 가시광선 또는 적외선)을 수신하고, 수신된 광에 기초하여 광 전하(Photo Charge)를 생성한다. 실시예에 따라, 깊이 픽셀들은 포토다이오드(PD)와 함께, 또는 포토다이오드(PD)를 대신하여 포토 트랜지스터, 포토 게이트, 핀드 포토 다이오드 등을 포함할 수 있다.

포토다이오드(PD)에서 생성된 광 전하는 전송 트랜지스터들(TX1, TX2, TX3, TX4)을 통하여 플로팅 디퓨전 노드들(FD1, FD2, FD3, FD4)로 각각 전송된다. 제1 내지 제4 복조 신호들(TG1, TG2, TG3, TG4)은 전술한 바와 같이 송신광(TX)에 대하여 각각 0도, 90도, 180도, 270도의 위상차를 갖는 신호들일 수 있다. 이와 같이 이와 같이 서로 다른 위상을 갖는 복조 신호들(TG1, TG2, TG3, TG4)을 이용하여 피사체에 의해 반사되어 온 적외선의 비행시간을 측정함으로써 피사체까지의 거리를 계산할 수 있다.

드라이브 트랜지스터들(DX1, DX2, DX3, DX4)은 소스 팔로워 버퍼 증폭기(Source Follower buffer Amplifier) 역할을 하여 플로팅 디퓨전 노드들(FD1, FD2, FD3, FD4)에 충전된 전하에 대응하는 신호들을 각각 증폭할 수 있다. 선택 트랜지스터들(SX1, SX2, SX3, SX4)은 선택 신호들(SEL1, SEL2, SEL3, SEL4)에 응답하여 상기 증폭된 신호들을 컬럼 라인들(COL1, COL2)에 각각 전송할 수 있다. 플로팅 디퓨전 노드들(FD1, FD2, FD3, FD4)은 리셋 트랜지스터들(RX1, RX2, RX3, RX4)에 의해 각각 리셋될 수 있다. 예를 들어, 리셋 트랜지스터들(RX1, RX2, RX3, RX4)은 리셋 신호들(RS1, RS2, RS3, RS4)에 응답하여 플로팅 디퓨전 영역들(FD1, FD2, FD3, FD4)에 저장되어 있는 광 전하를 상관 이중 샘플링(CDS: Correlated Double Sampling) 동작을 위한 일정한 주기로 방전시킬 수 있다.

도 24에 도시된 픽셀들(Z1, Z2, Z3, Z4)은 거리 측정을 위한 2-탭 구조의 깊이 픽셀의 일 예일 뿐이며, 깊이 픽셀은 싱글-탭 구조, 4-탭 구조 등 다양한 구조로 형성될 수 있다. 깊이 픽셀의 구조에 따라서 제어 신호들의 적합한 타이밍들이 결정될 수 있다.

도 25는 도 24의 깊이 픽셀들의 비행시간 방식의 동작을 나타내는 타이밍도이다.

도 25를 참조하면, 집광 시간(TINT) 동안 피사체에 변조된 송신광(TX)을 조사(illumination)한다. 도 4를 참조하여 전술한 바와 같이, 촬영 장치(100)는 주기적으로 변동하는 세기를 가지는 송신광(TX)을 피사체에 조사하기 위한 광원 또는 발광 장치를 포함할 수 있다. 예를 들어, 촬영 장치(100)는 약 10 내지 약 200 MHz의 주파수로 상기 광원을 턴-온 및 턴-오프시키는 방식으로 송신광(TX)을 변조할 수 있다. 도 25에는 송신광(TX) 및 복조 신호들(TG1~TG4)이 집광 시간(TINT) 동안 연속적인 펄스들을 가지는 펄스 트레인을 형성하는 실시예가 도시되어 있으나, 다른 실시예에서, 송신광(TX) 및 복조 신호들(TG1~TG4)은 제1 로직 레벨 및 제2 로직 레벨 사이를 주기적으로 천이하는 임의의 신호로서, 사인 신호, 코사인 신호 등일 수 있다.

송신광(TX)은 피사체에 의해 반사되어 수신광(RX)으로서 상기 광감지 장치에 도달한다. 수신광(RX)은 송신광(TX)에 대하여 광의 비행시간(TOF)만큼 지연된다. 수신광(RX)에 의해 상기 광감지 장치에 포함된 깊이 픽셀의 광검출 영역(PD)에서 광전하가 발생한다.

집광 시간(TINT) 동안 주기적으로 변동하는 세기를 가지는 복조 신호들(TG1~TG4)은 송신광(TX)과 일정한 위상차를 갖는다. 이러한 복조 신호들(TG1~TG4)의 위상에 각각 상응하는 광전하의 양(Q1~Q4)을 구하면 TOF를 구할 수 있다.

촬영 장치로부터 상기 피사체까지의 거리를 D, 빛의 속도를 c라 하면, 수학식 D = TOF*c/2를 이용하여 D가 계산될 수 있다. 도 25에는 송신광(TX)과 서로 다른 위상을 갖는 4개의 복조 신호들(TG1~TG4)이 도시되어 있으나, 실시예에 따라서 다른 조합의 복조 신호들이 이용될 수도 있다. 예를 들어, 송신광(TX)과 동일한 위상을 갖는(즉, 0도의 위상차를 갖는) 제1 복조 신호(TG1) 및 송신광(TX)과 반대 위상을 갖는(즉, 180도의 위상차를 갖는) 제3 복조 신호(TG3)만을 이용하여 TOF를 측정할 수도 있다. 도 25에 도시하지는 않았으나, 광검출 영역(PD) 등을 초기화하기 위하여 집광이 시작되기 전에 리셋 신호(RST) 등이 활성화되어, 광검출 영역(PD) 및 플로팅 확산 영역(FD)이 초기화될 수 있다.

집광된 광전하의 양을 측정하기 위한 독출 시간(TRD) 동안, 집적된 광전하의 양(Q1~Q4)에 상응하는 데이터 비트들(D1~D4)이 컬럼 라인들(COL1, COL2)을 통하여 제공된다. 이러한 데이터 비트들(D1~D4)은 전술한 비가공 데이터(RZDATA)로서 출력되어 깊이 데이터(ZDATA) 및 이차원 데이터(BWDATA)를 계산하는데 이용된다.

도 26은 깊이 데이터를 제공하기 위한 깊이 픽셀들의 조합의 일 예를 설명하기 위한 도면이다.

도 26을 참조하면, 비가공 데이터(RZDATA)의 비트값들 중에서 0도, 90도, 180도 및 270도의 위상차를 갖는 복조 신호들(TG1~TG4)에 각각 상응하는 4개의 비트값들(D1~D4)에 기초하여 깊이 데이터(ZDATA)의 1개의 비트값을 제공할 수 있다. 즉 4개의 깊이 픽셀들(Z1, Z2, Z3, Z4)로 이루어진 조합(CMB)에 의해 깊이 데이터(ZDATA)의 1비트가 제공될 수 있다.

전술한 바와 같이 0도, 90도, 180도 및 270도의 위상차를 갖는 복조 신호들(TG1~TG4)에 상응하는 광전하의 양(Q1~Q4)에 기초하여 비행시간(TOF)을 계산함으로써 깊이 데이터(ZDATA)의 1비트가 계산될 수 있다. 도 26에는 깊이 데이터(ZDATA)의 각 비트에 해당하는 위치들이 작은 사각형 점들로 표시되어 있다. 깊이 픽셀들이 2X*2Y의 매트릭스 형태로 배열된 경우 깊이 데이터(ZDATA)의 해상도는 X*Y가 된다.

도 27은 깊이 픽셀들을 이용하여 획득한 비가공 데이터로부터 이차원 데이터를 계산하는 방법을 설명하기 위한 도면이다.

도 27을 참조하면, 비가공 데이터(RZDATA)의 비트값들(D1, D2, D3, D4) 중에서 서로 반대되는 위상을 갖는 복조 신호들에 상응하는 2개의 비트값들을 합산하여 이차원 데이터(BWDATA)의 1개의 비트값을 제공할 수 있다. 비가공 데이터(RZDATA)의 비트값들(D1~D4) 중에서 0도의 위상차를 갖는 복조 신호(TG1) 및 180도의 위상차를 갖는 복조 신호(TG3)에 상응하는 2개의 비트값들(D1, D3)을 합산하여 이차원 데이터의 1개의 비트값(D1+D3)을 제공할 수 있다. 또한 비가공 데이터(RZDATA)의 비트값들(D1~D4) 중에서 90도의 위상차를 갖는 복조 신호(TG2) 및 270도의 위상차를 갖는 복조 신호(TG4)에 상응하는 2개의 비트값들(D2, D4)을 합산하여 이차원 데이터의 1개의 비트값(D2+D4)을 제공할 수 있다. 이와 같이 서로 반대되는 위상을 갖는 복조 신호들에 상응하는 2개의 비트값들을 합산하여 계산된 이차원 데이터(BWDATA)는 흑백 이미지를 나타낼 수 있다.

도 28a 및 도 28b는 이차원 데이터를 제공하기 위한 깊이 픽셀들의 조합의 예들을 설명하기 위한 도면이다.

도 27을 참조하여 설명한 바와 같이, 서로 반대되는 위상을 갖는 복조 신호들에 상응하는 2개의 비트값들을 합산하여 이차원 데이터(BWDATA)의 1개의 비트값을 제공할 수 있다.

도 28a를 참조하면, 제1 조합(CMB1) 또는 제3 조합(CMB3)으로 표시된 바와 같이, 0도 및 180도의 위상차를 갖는 복조 신호들에 상응하는 픽셀들(Z1, Z3)로부터의 2개의 비트값들을 합산하여 이차원 데이터(BWDATA)의 1개의 비트값을 제공할 수 있고, 제2 조합(CMB2) 또는 제4 조합(CMB4)으로 표시된 바와 같이, 90도 및 270도의 위상차를 갖는 복조 신호들에 상응하는 픽셀들(Z2, Z4)로부터의 2개의 비트값들을 합산하여 이차원 데이터(BWDATA)의 1개의 비트값을 제공할 수 있다.

도 28a에는 이차원 데이터(BWDATA)의 각 비트에 해당하는 위치들이 작은 원형의 점들로 표시되어 있다. 깊이 픽셀들이 2X*2Y의 매트릭스 형태로 배열된 경우 이차원 데이터(BWDATA)의 해상도는 (2X-1)*(2Y-1)가 된다.

도 28b를 참조하면, 제5 내지 제8 조합들(CMB5~CMB8)로 표시된 바와 같이, 0도, 90도, 180도 및 270도의 위상차를 갖는 복조 신호들에 상응하는 픽셀들(Z1~Z4)로부터의 4개의 비트값들을 합산하여 이차원 데이터(BWDATA)의 1개의 비트값을 제공할 수 있다.

도 28b에는 이차원 데이터(BWDATA)의 각 비트에 해당하는 위치들이 작은 삼각형의 점들로 표시되어 있다. 깊이 픽셀들이 2X*2Y의 매트릭스 형태로 배열된 경우 이차원 데이터(BWDATA)의 해상도는 (2X-1)*(2Y-1)가 된다.

도 27을 참조하여 설명한 바와 같이, 비가공 데이터(RZDATA)를 M 비트씩, 예를 들어, 4 비트씩 조합하여 상대적으로 낮은 제1 해상도 (X*Y)의 깊이 데이터(ZDATA)를 제공할 수 있고, 도 28a 및 도 28b를 참조하여 설명한 바와 같이, 비가공 데이터(RZDATA)를 N 비트씩, 예를 들어, 2 비트씩 또는 4비트씩 조합하여 상대적으로 높은 제2 해상도 (2X-1)*(2Y-1)의 이차원 데이터(BWDATA)를 제공할 수 있다.

이와 같이, 2차원 이미지 센서 없이 깊이 센서만을 이용하여 깊이 데이터(ZDATA) 및 이차원 데이터(BWDATA)를 획득할 수 있고, 이를 이용하여 전술한 로컬 수퍼-레졸류션을 수행할 수 있다.

도 29는 본 발명의 일 실시예에 따른 카메라 시스템을 나타내는 블록도이다.

도 29를 참조하면, 카메라 시스템(800)은 수광 렌즈(810), 촬영 장치(900), 엔진부(840) 및 호스트/어플리케이션(850)을 포함할 수 있다. 촬영 장치(900)는 이미지 센서 칩(820) 및 광원 모듈(830)을 포함할 수 있다. 실시예에 따라, 센서 칩(820) 및 광원 모듈(830)은 각각 별도의 장치로 구현되거나, 광원 모듈(830) 중 적어도 일부의 구성이 센서 칩(820)에 포함되도록 구현될 수 있다. 또한 수광 렌즈(810)는 촬영 장치(900)의 일부 구성 요소로서 포함될 수도 있다.

수광 렌즈(810)는 센서 칩(820)의 수광 영역(예를 들어, 전술한 픽셀 어레이에 포함된 깊이 픽셀들 및/또는 컬러 픽셀들)으로 입사광을 집광시킬 수 있다. 센서 칩(820)은 수광 렌즈(810)를 통하여 입사된 광에 기초하여 거리 정보 및/또는 컬러 영상 정보를 포함하는 데이터(DATA1)를 생성할 수 있다. 예를 들어, 센서 칩(820)에서 생성되는 데이터(DATA1)는 전술한 바와 같이 광원 모듈(830)에서 방출된 적외선 또는 근적외선을 이용하여 생성된 거리 데이터(RZDATA) 및/또는 외부 가시광선을 이용하여 생성된 베이어 패턴의 이차원 데이터(RCDATA)를 포함할 수 있다. 센서 칩(820)은 클록 신호(CLK)에 기초하여 데이터(DATA1)를 엔진부(840)에 제공할 수 있다. 실시예에 따라, 센서 칩(820)은 MIPI(Mobile Industry Processor Interface) 및/또는 CSI(Camera Serial Interface)를 통하여 엔진부(840)와 인터페이싱할 수 있다.

엔진부(840)는 촬영 장치(900)를 제어할 수 있다. 또한, 엔진부(840)는 센서 칩(820)으로부터 수신된 데이터(DATA1)를 처리할 수 있다. 본 발명의 실시예들에 따른 동작 인식 방법을 수행하기 위하여, 엔진부(840)는 도 3 등을 참조하여 설명한 바와 같은 동작 영역 추적부(300) 및/또는 동작 분석부(500)를 포함할 수 있다. 엔진부(840)는 동작 인식 방법의 수행 이외의 데이터 처리를 수행할 수도 있다. 예를 들어, 엔진부(840)는 센서 칩(820)으로부터 수신된 데이터(DATA1)에 기초하여 입체 컬러 데이터를 생성할 수 있다. 다른 예에서, 엔진부(840)는 데이터(DATA1)에 포함된 상기 이차원 데이터(RCDATA)에 기초하여 휘도 성분, 상기 휘도 성분과 청색 성분의 차, 및 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다. 엔진부(840)는 호스트/어플리케이션(850)에 연결될 수 있으며, 엔진부(840)는 마스터 클록(MCLK)에 기초하여 데이터(DATA2)를 호스트/어플리케이션(850)에 제공할 수 있다. 또한, 엔진부(840)는 SPI(Serial Peripheral Interface) 및/또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(850)과 인터페이싱할 수 있다.

도 30은 본 발명의 일 실시예에 따른 동작 인식 장치를 포함하는 컴퓨팅 시스템을 나타내는 블록도이다.

도 30을 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 메모리 장치(1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 촬영 장치(900)를 포함할 수 있다. 한편, 도 30에는 도시되지 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.

프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030), 촬영 장치(900) 및 입출력 장치(1040)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(1020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.

촬영 장치(900)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 촬영 장치(900)는 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.

컴퓨팅 시스템(1000)은 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 컴퓨팅 시스템(1000)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.

한편, 컴퓨팅 시스템(1000)은 본 발명의 실시예들에 따른 동작 인식 방법을 수행하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.

도 31은 도 30의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

도 31을 참조하면, 컴퓨팅 시스템(1100)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(1110), 이미지 센서(1140) 및 디스플레이(1150) 등을 포함할 수 있다. 어플리케이션 프로세서(1110)의 CSI 호스트(1112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 이미지 센서(1140)의 CSI 장치(1141)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, CSI 호스트(1112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(1110)의 DSI 호스트(1111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(1150)의 DSI 장치(1151)와 시리얼 통신을 수행할 수 있다.

일 실시예에서, DSI 호스트(1111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(1100)은 어플리케이션 프로세서(1110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(1160)을 더 포함할 수 있다. 컴퓨팅 시스템(1100)의 PHY(1113)와 RF 칩(1160)의 PHY(1161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(1110)는 PHY(1161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(1114)를 더 포함할 수 있다.

한편, 컴퓨팅 시스템(1100)은 지피에스(Global Positioning System; GPS)(1120), 스토리지(1170), 마이크(1180), 디램(Dynamic Random Access Memory; DRAM)(1185) 및 스피커(1190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(1100)은 초광대역(Ultra WideBand; UWB)(1210), 무선 랜(Wireless Local Area Network; WLAN)(1220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(1230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(1100)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.

본 발명의 실시예들에 따른 동작 인식 방법 및 동작 인식 장치는 움직이는 물체에 대한 정밀하고 신속한 인식이 필요한 임의의 장치 및 시스템에 유용하게 이용될 수 있다. 특히 발명의 실시예들에 따른 동작 인식 방법 및 동작 인식 장치는 사용자의 동작에 기초한 유저 인터페이스를 필요로 하는 장치 및 시스템에 더욱 유용하게 이용될 수 있다.

상기에서는 본 발명이 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

100: 촬영 장치
300: 동작 영역 추적부
500: 동작 분석부
ZDATA: 깊이 데이터
CDATA: 이차원 데이터
RZDATA: 비가공 데이터
TRDATA: 추적 영역 데이터
MTR: 동작 추적 영역

Claims

촬영 장치로부터 장면에 대한 제1 해상도의 깊이 데이터 및 상기 제1 해상도보다 높은 제2 해상도의 이차원 데이터를 주기적으로 획득하는 단계;
상기 깊이 데이터에 기초하여 추적 대상 물체를 인식하여 상기 추적 대상 물체를 포함하며 상기 장면의 일부에 해당하는 동작 추적 영역을 지정하는 단계;
상기 동작 추적 영역에 대한 상기 제2 해상도의 추적 영역 데이터를 주기적으로 획득하는 단계; 및
상기 추적 영역 데이터에 기초하여 상기 추적 대상 물체의 동작을 분석하는 단계를 포함하는 동작 인식 방법.
제1 항에 있어서, 상기 깊이 데이터 및 상기 이차원 데이터를 주기적으로 획득하는 단계는,
상기 제1 해상도의 깊이 픽셀들을 이용하여 하나의 프레임에 상응하는 상기 깊이 데이터를 제1 프레임 주기마다 제공하는 단계; 및
상기 제2 해상도의 컬러 픽셀들을 이용하여 하나의 프레임에 상응하는 상기 이차원 데이터를 제2 프레임 주기마다 제공하는 단계를 포함하는 것을 특징으로 하는 동작 인식 방법.
제2 항에 있어서,
상기 제1 프레임 주기와 상기 제2 프레임 주기가 서로 다른 경우, 상기 깊이 데이터와 상기 이차원 데이터를 시간적으로 동기화하는 단계를 더 포함하는 것을 특징으로 하는 동작 인식 방법.
제3 항에 있어서,
상기 추적 영역 데이터는 상기 제1 프레임 주기 또는 상기 제2 프레임 주기마다 제공되는 것을 특징으로 하는 동작 인식 방법.
제2 항에 있어서, 상기 제2 해상도의 추적 영역 데이터를 주기적으로 획득하는 단계는,
상기 하나의 프레임에 상응하는 상기 제2 해상도의 이차원 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제2 해상도의 영역 이미지 데이터를 추출하는 단계; 및
상기 제2 해상도의 영역 이미지 데이터를 상기 추적 영역 데이터로서 제공하는 단계를 포함하는 것을 특징으로 하는 동작 인식 방법.
제2 항에 있어서, 상기 제2 해상도의 추적 영역 데이터를 주기적으로 획득하는 단계는,
상기 하나의 프레임에 상응하는 상기 제1 해상도의 깊이 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제1 해상도의 영역 깊이 데이터를 추출하는 단계;
상기 하나의 프레임에 상응하는 상기 제2 해상도의 이차원 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제2 해상도의 영역 이미지 데이터를 추출하는 단계;
상기 제2 해상도의 영역 이미지 데이터를 이용하여 상기 제1 해상도의 영역 깊이 데이터를 상기 제2 해상도의 영역 깊이 데이터로 보정하는 단계; 및
상기 제2 해상도의 영역 깊이 데이터를 상기 추적 영역 데이터로서 제공하는 단계를 포함하는 것을 특징으로 하는 동작 인식 방법.
제2 항에 있어서,
상기 깊이 픽셀들과 상기 컬러 픽셀들은 하나의 픽셀 어레이에 배열된 것을 특징으로 하는 동작 인식 방법.
제2 항에 있어서,
상기 깊이 픽셀들과 상기 컬러 픽셀들은 공간적으로 이격된 서로 다른 픽셀 어레이들에 각각 배열된 것을 특징으로 하는 동작 인식 방법.
제1 항에 있어서, 상기 깊이 데이터 및 상기 이차원 데이터를 주기적으로 획득하는 단계는,
서로 다른 위상을 갖는 복수의 복조 신호들에 응답하여 동작하는 비행시간(TOF: time of flight) 방식의 깊이 픽셀들을 이용하여 상기 하나의 프레임에 상응하는 비가공 데이터(raw data)를 주기적으로 제공하는 단계; 및
상기 비가공 데이터에 기초하여 상기 제1 해상도의 깊이 데이터 및 상기 제2 해상도의 이차원 데이터를 계산하는 단계를 포함하는 것을 특징으로 하는 동작 인식 방법.
제9 항에 있어서, 상기 제1 해상도의 깊이 데이터 및 상기 제2 해상도의 이차원 데이터를 계산하는 단계는,
상기 비가공 데이터를 M (M은 2이상의 자연수)비트씩 조합하여 상기 제1 해상도의 깊이 데이터를 제공하는 단계; 및
상기 비가공 데이터를 N (N은 M이하의 자연수) 비트씩 조합하여 상기 제2 해상도의 이차원 데이터를 제공하는 단계를 포함하는 것을 특징으로 하는 동작 인식 방법.
제9 항에 있어서,
상기 복조 신호들은 상기 촬영 장치의 송신광에 대하여 각각 0도, 90도, 180도 및 270도의 위상차를 갖는 것을 특징으로 하는 동작 인식 방법.
제11 항에 있어서,
상기 비가공 데이터의 비트값들 중에서 상기 0도, 90도, 180도 및 270도의 위상차를 갖는 복조 신호들에 각각 상응하는 4개의 비트값들에 기초하여 상기 깊이 데이터의 1개의 비트값을 제공하는 것을 특징으로 하는 동작 인식 방법.
제11 항에 있어서, 상기 제2 해상도의 이차원 데이터를 제공하는 단계는,
상기 비가공 데이터의 비트값들 중에서 상기 0도의 위상차를 갖는 복조 신호 및 상기 180도의 위상차를 갖는 복조 신호에 상응하는 2개의 비트값들을 합산하여 상기 이차원 데이터의 1개의 비트값을 제공하는 단계; 및
상기 비가공 데이터의 비트값들 중에서 상기 90도의 위상차를 갖는 복조 신호 및 상기 270도의 위상차를 갖는 복조 신호에 상응하는 2개의 비트값들을 합산하여 상기 이차원 데이터의 1개의 비트값을 제공하는 단계를 포함하는 것을 특징으로 하는 동작 인식 방법.
제9 항에 있어서, 상기 제2 해상도의 추적 영역 데이터를 주기적으로 획득하는 단계는,
상기 하나의 프레임에 상응하는 상기 제1 해상도의 깊이 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제1 해상도의 영역 깊이 데이터를 추출하는 단계;
상기 하나의 프레임에 상응하는 상기 제2 해상도의 이차원 데이터 중에서 상기 동작 추적 영역에 상응하는 상기 제2 해상도의 영역 이미지 데이터를 추출하는 단계;
상기 제2 해상도의 영역 이미지 데이터를 이용하여 상기 제1 해상도의 영역 깊이 데이터를 상기 제2 해상도의 영역 깊이 데이터로 보정하는 단계; 및
상기 제2 해상도의 영역 깊이 데이터를 상기 추적 영역 데이터로서 제공하는 단계를 포함하는 것을 특징으로 하는 동작 인식 방법.
제1 항에 있어서, 상기 동작 추적 영역을 지정하는 단계는,
상기 장면에 대한 프레임 상에서의 상기 동작 추적 영역의 중심 좌표를 지정하는 단계; 및
상기 프레임 상에서의 상기 동작 추적 영역의 크기를 지정하는 단계를 포함하는 것을 특징으로 하는 동작 인식 방법.
장면에 대한 제1 해상도의 깊이 데이터 및 상기 제1 해상도보다 높은 제2 해상도의 이차원 데이터를 주기적으로 제공하는 촬영부;
상기 깊이 데이터에 기초하여 추적 대상 물체를 인식하여 상기 추적 대상 물체를 포함하며 상기 장면의 일부에 해당하는 동작 추적 영역을 지정하고, 상기 동작 추적 영역에 대한 상기 제2 해상도의 추적 영역 데이터를 주기적으로 제공하는 동작 영역 추적부; 및
상기 추적 영역 데이터에 기초하여 상기 추적 대상 물체의 동작을 분석하는 동작 분석부를 포함하는 동작 인식 장치.
제16 항에 있어서, 상기 촬영부는,
상기 깊이 데이터를 제1 프레임 주기마다 제공하는 상기 제1 해상도의 깊이 픽셀들과 상기 이차원 데이터를 제2 프레임 주기마다 제공하는 상기 제2 해상도의 컬러 픽셀들이 교차하여 배열된 하나의 픽셀 어레이를 포함하는 것을 특징으로 하는 동작 인식 장치.
제16 항에 있어서, 상기 촬영부는,
상기 깊이 데이터를 제1 프레임 주기마다 제공하는 상기 제1 해상도의 깊이 픽셀들이 배열된 제1 픽셀 어레이; 및
상기 이차원 데이터를 제2 프레임 주기마다 제공하는 상기 제2 해상도의 컬러 픽셀들이 배열된 제2 픽셀 어레이를 포함하는 것을 특징으로 하는 동작 인식 장치.
제16 항에 있어서, 상기 촬영부는,
서로 다른 위상을 갖는 복수의 복조 신호들에 응답하여 동작하는 비행시간(TOF: time of flight) 방식으로 상기 하나의 프레임에 상응하는 비가공 데이터(raw data)를 주기적으로 제공하는 깊이 픽셀들이 배열된 하나의 픽셀 어레이를 포함하는 것을 특징으로 하는 동작 인식 장치.
제19 항에 있어서,
상기 복조 신호들은 변조광에 대하여 각각 0도, 90도, 180도 및 270도의 위상차를 갖고, 상기 0도, 90도, 180도 및 270도의 위상차를 각각 갖는 4개의 깊이 픽셀들의 출력들을 조합하여 상기 깊이 데이터의 1개의 비트값을 제공하는 것을 특징으로 하는 동작 인식 장치.