KR101473234B1 - 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템 - Google Patents

Abstract

본 발명은 사용자의 동작에 대해 카메라를 이용하여 취득된 이미지의 분석을 통해 사용자의 신체 특정 부위를 트래킹함으로써 화면에 디스플레이되는 영상이 사용자의 동작에 대응하여 변화할 수 있도록 함으로써 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스를 구현할 수 있도록 하는 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템을 제공하기 위한 것으로서, 본 발명의 일 실시예에 따른 신체 트래킹에 기반한 영상 디스플레이 시스템은, 사용자 머리 위쪽에 설치되어 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 촬영하는 카메라; 상기 신체 영상에 기초하여 상기 사용자의 신체의 적어도 일부를 특정하고, 특정된 신체 영역의 위치 정보를 추출하는 공간 정보 추출부; 상기 추출된 신체 영역의 위치 정보에 기초하여 상기 사용자의 공간적 변이를 판정하는 공간적 변이 판정부; 및 상기 판정된 사용자의 공간적 변이에 기초하여 영상을 렌더링하는 영상 렌더링부를 포함한다.

Description

신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템{METHOD AND SYSTEM FOR DISPLAYING AN IMAGE BASED ON BODY TRACKING}

본 발명은 영상 디스플레이에 관한 것으로, 더욱 상세하게는 3차원 환경 내에서 사용자의 신체 트래킹에 기반한 영상 디스플레이에 관한 것이다.

특별한 인터페이스 디바이스를 장착하지 않고도 기계를 조작할 수 있도록 사용자의 움직임 인식을 이용하는 맨-머신 인터페이스가 다양하게 개발 및 활용되고 있다.

통상적으로 맨-머신 인터페이스는 사용자가 메뉴가 디스플레이된 화면을 보면서 특정 동작을 유발하는 메뉴를 선택하거나 아이템을 조작하는 방식으로 이루어지므로, 화면을 향하고 있는 사용자의 신체 및 동작을 가장 잘 관찰할 수 있도록 화면에 인접하여 설치된 카메라를 통해 촬영한 사용자의 정면 이미지에 기초한다.

그러나, 실내에 가상 골프장을 디스플레이할 수 있는 스크린을 설치하고 사용자가 볼을 상기 스크린을 향해 타격하면 볼의 속도, 방향 등을 감지하여 상기 스크린상에 볼의 진행을 표시해 주는, 이른바 스크린 골프와 같은 특정 응용 분야에서는 화면과 사용자의 거리가 상대적으로 멀어 사용자의 움직임을 공간적으로 에러 없이 해석하기 곤란할 수 있다.

따라서 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스는 기존과는 다른 방식으로 사용자의 동작을 인식하고 이를 인터페이스에 적용하는 것이 필요하다.

이와 같은 스크린 골프 시스템에서의 사용자의 동작에 기반한 인터페이스에 관하여 특허출원 제10-2010-0140756호 및 제10-2010-0018298호 등에 개시되어 있으나, 이러한 종래의 기술은 저가로 구현할 수 있는 장점은 있으나 사용자의 한정된 제스처만을 인식할 수 있다는 점에서 사용자의 자유로운 동작에 기반한 맨-머신 인터페이스의 장점을 가질 수 없는 한계가 있었다.

본 출원인은 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스를 구현하기 위하여 카메라를 통해 촬영된 사용자의 이미지로부터 뎁스 정보를 취득하고 이를 통해 사용자의 신체 특정 부위의 위치를 트래킹할 수 있는 기술에 대해 특허출원 제10-2011-0080799호로서 특허출원을 한 바 있다.

본 발명은 사용자의 동작에 대해 카메라를 이용하여 취득된 이미지의 분석을 통해 사용자의 신체 특정 부위를 트래킹함으로써 화면에 디스플레이되는 영상이 사용자의 동작에 대응하여 변화할 수 있도록 함으로써 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스를 구현할 수 있도록 하는 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템을 제공하기 위한 것이다.

본 발명의 일 실시예에 따른 신체 트래킹에 기반한 영상 디스플레이 시스템은, 사용자 머리 위쪽에 설치되어 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 촬영하는 카메라; 상기 신체 영상에 기초하여 상기 사용자의 신체의 적어도 일부를 특정하고, 특정된 신체 영역의 위치 정보를 추출하는 공간 정보 추출부; 상기 추출된 신체 영역의 위치 정보에 기초하여 상기 사용자의 공간적 변이를 판정하는 공간적 변이 판정부; 및 상기 판정된 사용자의 공간적 변이에 기초하여 영상을 렌더링하여 디스플레이하는 영상 렌더링부를 포함한다.

또한 바람직하게는, 상기 공간 정보 추출부는, 뎁스 정보를 이용하여 상기 카메라로부터 수신된 신체 영상 내에서 상기 사용자의 머리 영역을 특정하고 상기 특정된 머리 영역의 위치 정보를 획득하도록 구성되며, 상기 공간적 변이 판정부는, 상기 공간 정보 추출부에 의해 획득된 머리 영역의 위치 정보에 기초하여 상기 사용자의 공간적 위치 변이를 판정하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 공간적 변이 판정부는, 상기 신체 영상의 중심 좌표와 상기 특정된 머리 영역의 위치 정보 간의 위치 차이를 나타내는 움직임 벡터에 기초하여 상기 공간적 변이를 판정하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 공간적 변이 판정부는, 현 시점 이전의 특정 시점에서 특정된 머리 영역의 위치 정보와 현 시점에서 특정된 머리 영역의 위치 정보 간의 상대적 차이를 나타내는 움직임 벡터에 기초하여 상기 공간적 변이를 판정하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상 렌더링부는, 상기 공간적 변이 판정부에 의해 판정된 상기 사용자의 공간적 변이에 대응하여 시프트된 시점의 영상을 렌더링하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상 렌더링부는, 상기 공간적 변이 판정부에 의해 판정된 상기 사용자의 공간적 변이에 대응하는 만큼 회전된 시점의 영상을 렌더링하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상 렌더링부는, 상기 공간적 변이 판정부에 의해 판정된 상기 사용자의 공간적 변이에 대해 전후 방향의 공간적 변이에 대해서는 영상이 확대/축소되도록 렌더링하고 좌우 방향의 공간적 변이에 대해서는 영상이 시프트되도록 렌더링하도록 설정되어, 임의의 공간적 변이에 대해 상기 움직임 벡터의 크기 및 방향에 대응하여 영상을 확대/축소 및 시프트 중 적어도 하나에 따라 렌더링하도록 구성되는 것을 특징으로 한다.

또한 바람직하게는, 상기 영상 렌더링부는, 상기 공간적 변이 판정부에 의해 판정된 상기 사용자의 공간적 변이에 대해 전후 방향의 공간적 변이에 대해서는 영상이 확대/축소되도록 렌더링하고 좌우 방향의 공간적 변이에 대해서는 그 공간적 변이에 대응하는 만큼 회전된 시점의 영상을 렌더링하도록 설정되어, 임의의 공간적 변이에 대해 상기 움직임 벡터의 크기 및 방향에 대응하여 영상을 확대/축소 및 회전 중 적어도 하나에 따라 렌더링하도록 구성되는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 신체 트래킹에 기반한 영상 디스플레이 방법은, 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 수신하는 단계; 상기 신체 영상에 기초하여 상기 사용자의 신체의 적어도 일부를 특정하고, 특정된 신체 영역의 위치 정보를 추출하는 단계; 상기 추출된 신체 영역의 위치 정보에 기초하여 상기 사용자의 공간적 변이를 판정하는 단계; 및 상기 판정된 사용자의 공간적 변이에 대응하는 영상을 렌더링하는 단계를 포함한다.

또한 바람직하게는, 상기 신체 영역의 위치 정보를 획득하는 단계는, 뎁스 정보를 이용하여 상기 신체 영상 내에서 상기 사용자의 머리 영역을 특정하는 단계; 및 상기 특정된 머리 영역의 위치 정보를 획득하는 단계를 포함하되, 상기 머리 영역은 상기 신체 영상 내에서 소정의 범위에 속한 뎁스 정보를 갖는 픽셀들로써 특정되고, 상기 소정의 범위는 상기 신체 영상 내의 뎁스 정보 중 가장 작은 뎁스 정보에서부터 머리 영역과 어깨 영역을 구분 짓는 문턱값으로서의 뎁스 정보까지의 범위인 것을 특징으로 한다.

또한 바람직하게는, 상기 사용자의 공간적 변이를 판정하는 단계는, 상기 획득된 머리 영역의 위치 정보에 기초하여 상기 사용자의 공간적 위치 변이를 판정하는 것을 특징으로 한다.

또한 바람직하게는, 상기 사용자의 공간적 위치 변이는 상기 신체 영상의 중심 좌표와 상기 특정된 머리 영역의 위치 정보 간의 위치 차이를 나타내는 움직임 벡터에 기초하여 판정되는 것을 특징으로 한다.

또한 바람직하게는, 상기 사용자의 공간적 위치 변이는 현 시점 이전의 특정 시점에서 특정된 머리 영역의 위치 정보와 현 시점에서 특정된 머리 영역의 위치 정보 간의 상대적 차이를 나타내는 움직임 벡터에 기초하여 판정되는 것을 특징으로 한다.

또한 바람직하게는, 상기 판정된 사용자의 공간적 위치 변이 및 상기 사용자와 스크린 간의 거리에 기초하여 스크린 기준의 공간적 위치 변이를 획득하는 단계를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 렌더링하는 단계는, 상기 사용자의 공간적 위치 변이를 나타내는 움직임 벡터를 획득하는 단계; 상기 획득된 움직임 벡터만큼 스크린에 평행하게 시프트된 시점을 결정하는 단계; 및 상기 결정된 시점에 대응하는 영상을 렌더링하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 렌더링하는 단계는, 상기 사용자의 공간적 위치 변이를 고려하여 상기 사용자가 피사체를 응시하는 시점을 결정하는 단계; 및 상기 결정된 시점을 고려하여 상기 피사체를 중심으로 회전된 영상을 렌더링하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 렌더링하는 단계는, 상기 스크린 기준의 공간적 위치 변이를 고려하여 스크린에 평행하게 시프트된 시점 또는 상기 사용자가 피사체를 응시하는 시점을 결정하는 단계; 및 상기 결정된 시점에 대응하는 영상을 렌더링하는 것을 특징으로 한다.

또한 바람직하게는, 상기 신체 영역의 위치 정보를 추출하는 단계는, 상기 머리 영역의 주변에 나타나는 소정 범위의 뎁스 정보를 가진 픽셀들로써 어깨 영역을 특정하는 단계; 상기 특정된 어깨 영역의 주변에 나타나는 소정 범위의 뎁스 정보를 가진 픽셀들로써 팔 영역을 특정하는 단계; 및 상기 특정된 팔 영역의 위치 정보를 획득하는 단계를 더 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 사용자의 공간적 위치 변이를 판정하는 단계는, 상기 획득된 팔 영역의 위치 정보로부터 팔 영역의 이동 방향 정보 및 이동 거리 정보를 유도하는 단계; 및 상기 유도된 이동 방향 정보 및 이동 거리 정보를 이용하여 상기 사용자의 공간적 위치 변이를 판정하는 단계를 포함하는 것을 특징으로 한다.

또한 바람직하게는, 상기 렌더링하는 단계는, 상기 판정된 공간적 위치 변이에 상응하는 시프트된 시점을 결정하는 단계; 및 상기 결정된 시점에 상응하는 영상을 렌더링하는 단계를 포함하는 것을 특징으로 한다.

한편, 본 발명의 일 실시예에 따른 가상 골프 시뮬레이션 시스템의 사용자 제스처에 기반한 영상 디스플레이 방법은, 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 수신하는 단계; 상기 신체 영상에 기초하여 상기 사용자의 신체의 적어도 일부를 특정하고, 특정된 신체 영역의 위치 정보를 추출하는 단계; 상기 추출된 신체 영역의 위치 정보에 기초하여 상기 사용자의 공간적 변이를 판정하는 단계; 및 상기 판정된 사용자의 공간적 변이에 기초하여 설정된 카메라 뷰 방식으로 시뮬레이션 영상을 렌더링하여 디스플레이하는 단계를 포함한다.

본 발명에 따른 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템은 사용자의 동작에 대해 카메라를 이용하여 취득된 이미지의 분석을 통해 사용자의 신체 특정 부위를 트래킹함으로써 화면에 디스플레이되는 영상이 사용자의 동작에 대응하여 변화할 수 있도록 함으로써 스크린 골프와 같은 특정 공간 내에서의 맨-머신 인터페이스를 효과적으로 구현하여 사용자에게 실감 영상을 제공할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 신체 트래킹에 기반한 영상 디스플레이 시스템을 개념적으로 설명하기 위한 구성도이다.
도 2는 본 발명의 일 실시예에 따른 신체 트래킹에 기반한 영상 디스플레이 시스템을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 공간 정보 추출부에서 사용자의 신체의 일부 영역을 특정하는 방법을 도시한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 시스템의 카메라에 의해 획득된 사용자의 신체 영상의 일 예를 나타낸 것이다.
도 5의 (a) 및 (b)는 본 발명의 일 실시예에 따른 공간적 변이 판정부에서 머리 영역의 위치 정보에 기초하여 사용자의 공간적 위치 변이를 판정하는 방법을 도시한 것이다.
도 6 내지 도 11은 본 발명의 일 실시예에 따른 영상 디스플레이 시스템에서 사용자의 공간적 변이에 대응하여 영상 렌더링이 이루어지는 여러 가지 예에 관하여 각각 설명하기 위한 도면들이다.
도 12의 (a) 및 (b)는 본 발명의 일 실시예에 따른 공간적 변이 판정부에서 스크린을 기준으로 사용자의 공간적 각도 변이를 판정하는 방법을 도시한 것이다.
도 13의 (a) 및 (b)는 본 발명의 일 실시예에 따른 영상 렌더링부에서 공간적 위치 변이와 공간적 각도 변이를 이용하여 영상을 렌더링하는 방법을 도시한 것이다.
도 14a 내지 도 14c는 본 발명의 다른 일 실시예에 따른 영상 디스플레이 시스템에서 사용자의 공간적 변이에 대응하여 영상 렌더링이 이루어지는 여러 가지 예에 관하여 나타낸 도면들이다.
도 15는 본 발명의 또 다른 일 실시예에 따른 영상 디스플레이 방법에 관하여 나타낸 순서도이다.
도 16은 본 발명의 또 다른 일 실시예에 따른 시스템의 카메라에 의해 획득된 사용자의 신체 영상의 일 예를 나타낸 것이다.
도 17의 (a) 및 (b)는 본 발명의 또 다른 일 실시예에 따른 영상 디스플레이 시스템에서 사용자의 공간적 변이에 대응하여 영상 렌더링이 이루어지는 여러 가지 예에 관하여 설명하기 위한 도면이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며, 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일실시예에 따른 신체 트래킹에 기반한 영상 디스플레이 시스템을 개념적으로 설명하기 위한 구성도이다.

도 1을 참조하면, 영상 디스플레이 시스템(10)은 사용자(11), 스크린(12), 카메라(13), 영상 처리부(14)로써 예시적으로 설명될 수 있다.

사용자(11)는 적어도 두부가 나머지 신체보다 상단에 위치하도록 직립 자세를 취하거나, 무릎을 굽히더라도 상체는 두부가 어깨보다 상단에 위치하는 자세로 스크린(12) 앞에 서 있다.

스크린(12)에는 영상 처리부(14)로부터 출력된 영상이 디스플레이되며, 나아가 사용자(11)가 선택하고자 하는 메뉴 또는 조작하고자 하는 아이템 등이 표시되어 있을 수 있다.

카메라(13)는 촬영 방향이나, 촬영 각도와 화각을 변경할 수 있는 PTZ(pan, tilt, zoom) 카메라일 수 있다. 또한, 카메라(13)는 피사체의 뎁스 정보를 가진 3D 영상을 얻을 수 있는 구조광(structured light) 방식 또는 TOF(time of flight) 방식의 3D 카메라, 또는 2D 카메라와 3D 카메라의 조합을 통해 색상 정보와 뎁스 정보를 가진 하이브리드 영상을 얻을 수 있는 하이브리드 카메라로 구현될 수도 있다.

카메라(13)는 일정 높이의 천장에 설치되어 천장에서 바닥면을 향한 상태로 사용자(11)의 신체의 적어도 일부를 포함하는 신체 영상을 획득할 수 있다. 카메라(13)의 종류와 구성에 따라, 사용자(11)의 신체 영상은 3D 영상 또는 RGBD 하이브리드 영상 중 어느 하나가 될 수 있다.

영상 처리부(10)는 카메라(13)에서 획득한 신체 영상, 즉 3D 영상 또는 RGBD 하이브리드 영상 중 어느 하나에 기초하여 머리, 어깨 등 신체의 적어도 일부를 특정하고 트래킹함으로써, 사용자(11)의 공간적 변이에 따른 영상 처리를 수행할 수 있다.

도 2는 본 발명의 일 실시예에 따른 신체 트래킹에 기반한 영상 디스플레이 시스템을 도시한 블록도이다.

도 2를 참조하면, 본 발명의 영상 디스플레이 시스템은 카메라(13), 공간 정보 추출부(14), 공간적 변이 판정부(15), 제어부(16), 메모리(17), 영상 렌더링부(18), 영상 출력부(19)를 포함할 수 있다.

카메라(13)에서 획득한 신체 영상 즉, 3D 영상 또는 RGBD 하이브리드 영상은 공간 정보 추출부(14)에 인가된다.

공간 정보 추출부(14)는 3D 영상 또는 RGBD 하이브리드 영상에 포함된 사용자(11)의 신체 중 관심 영역(예를 들어, 머리, 어깨 등)을 특정하고, 특정된 신체 영역의 위치 정보를 추출한다. 또한, 공간 정보 추출부(14)는 특정된 신체 영역의 위치 정보를 공간적 변이 판정부(15)로 전달한다.

공간적 변이 판정부(15)는 공간 정보 추출부(14)로부터 전달된 정보를 기초로 사용자(11)의 타석에서의 공간적 위치 변이 및/또는 공간적 각도 변이를 판정하며, 판정된 공간적 변이에 따라 지정된 명령이 제어부(16)에 입력된다.

제어부(16)는 메모리(17)에 저장된 프로그램 내지 데이터에 대해 명령을 수행하고, 영상 렌더링부(18)는 상기 명령의 수행 결과에 따라 변화된 영상을 생성한다. 변화된 영상은 영상 출력부(19)에 의해 스크린(12)에 표시될 수 있다.

도 3은 본 발명의 일 실시예에 따른 공간 정보 추출부(14)에서 사용자(11)의 신체의 일부 영역을 특정하는 방법을 도시한 순서도이다.

도 3을 참조하면, 단계(S31)에서, 공간 정보 추출부(14)는 카메라(13)로부터 사용자(11)의 신체의 적어도 일부가 포함된 신체 영상을 수신할 수 있다.

단계(S32)에서는, 뎁스 정보를 이용하여 수신된 신체 영상 내에서 머리 영역을 특정하고, 특정된 머리 영역의 위치 정보를 획득할 수 있다. 본 발명의 뎁스 정보라 함은 카메라(13)의 위치를 기준으로 카메라(13)의 위치와 사용자(11) 간의 거리를 상대적인 값으로 수치화한 정보를 의미한다.

구체적으로, 수신된 신체 영상 내에서 소정의 범위에 속한 뎁스 정보를 갖는 픽셀들을 머리 영역으로 특정할 수 있다. 여기서, 소정의 범위는 신체 영상 내의 뎁스 정보 중 가장 작은 뎁스 정보(예를 들어, 0)에서부터 머리 영역과 어깨 영역을 구분 짓는 문턱값으로서의 뎁스 정보까지의 범위를 의미할 수 있다.

본 발명에 따른 소정의 범위는 다수의 사용자들로부터 추출한 통계적 데이터를 이용하여 결정될 수 있다. 또는, 현재 사용자(11)가 스크린(12) 앞에 머리가 다른 신체 부위보다 상단에 위치한 자세로 서 있거나 앉아 있는 모습을 촬영하고, 촬영된 영상을 기준 영상으로 하여 이로부터 머리 영역을 특정하는 뎁스 정보의 범위를 추출할 수 있다. 이때 추출된 뎁스 정보의 범위를 본 발명의 소정의 범위로 설정할 수도 있다.

한편, 특정된 머리 영역의 중심 좌표를 해당 머리 영역의 위치 정보로 획득할 수 있다. 또는, 특정된 머리 영역 내에서 가장 작은 뎁스 정보를 갖는 픽셀의 좌표로부터 머리 영역의 위치 정보를 획득할 수도 있다.

도 4는 사용자의 정수리 위쪽에서 획득한 신체 영상의 일 예로서 이를 통해 사용자의 머리 영역을 특정하고 트래킹할 수 있다. 도 4에 도시된 바와 같이 사용자의 머리 부분이 카메라에 가장 가까워 픽셀 값들이 밝게 나타나고 나머지 몸통 부위들이 카메라와의 거리에 따라 어두워지는 픽셀 값들로 나타난다.

즉 머리 영역은 소정 범위의 깊이 정보를 갖는 픽셀들의 영역이며 이런 픽셀들의 영역을 머리 영역으로 특정할 수 있다.

다시 도 3으로 돌아와서, 단계(S33)에서는, 머리 영역의 주변에 나타나는 소정 범위의 뎁스 정보를 가진 픽셀들로써 어깨 영역을 특정하고, 특정된 어깨 영역의 양 끝 부분에 해당하는 어깨 영역의 위치 정보를 획득한다.

수신된 신체 영상의 히스토그램을 분석하면, 머리 영역 주변에 높은 빈도수를 갖는, 그리고 상대적으로 낮은 뎁스 정보를 갖는 픽셀들은 사용자(11)의 어깨 영역에 해당할 수 있다. 따라서, 소정 범위의 뎁스 정보들을 가진 픽셀들로써 어깨 영역을 특정할 수 있다.

여기서, 소정 범위의 뎁스 정보들은 단계(S33)에서 살펴본 방법과 같이, 다수의 사용자들로부터 추출한 통계적 데이터를 이용하여 결정될 수도 있고, 기준 영상에서 사용자(11)의 어깨 영역을 특정하는 뎁스 정보의 범위를 이용하여 결정될 수도 있다.

도 5는 본 발명의 일 실시예에 따른 공간적 변이 판정부(15)에서 머리 영역의 위치 정보에 기초하여 사용자(11)의 공간적 위치 변이를 판정하는 방법을 도시한 것이다.

공간적 위치 변이는 획득된 영상 내에서 사용자의 신체 중 적어도 일부가 특정 위치에서 다른 특정 위치로 이동한 경우, 그 위치가 변화된 정도를 의미할 수 있다.

도 5(a)를 참조하면, 사용자의 공간적 위치 변이는 카메라에 의해 획득된 영상의 중심점을 기준으로 결정될 수 있다.

구체적으로, 사용자의 공간적 위치 변이는 획득된 영상의 중심점에 대한 현재 특정된 머리 영역의 위치 차이에 의해 정의될 수 있는데, 이는 도 5(a)에 도시된 바와 같이 움직임 벡터로 설명할 수 있다.

즉, 획득 영상에서 중심점으로부터 현재머리위치까지의 수직방향 벡터(VVT) 및 수평방향 벡터(HVT)에 의해 현재 사용자의 위치와 방향을 알 수 있으며 이를 통해 사용자의 움직임에 대한 공간적 변이 정보를 획득할 수 있다. 또는 획득 영상의 중심점에서 현재머리위치로의 벡터(VT)를 이용하여 공간적 변이 정보를 알 수 있다.

여기서 공간적 변이 판정부가 사용자의 움직임에 대한 공간적 변이를 수평방향 벡터(HVT)만으로 판단하는 경우 영상 렌더링부는 사용자가 전방으로 움직이거나 후방으로 움직이는 것은 고려하지 않고 좌우 방향으로의 움직임만을 판정하여 화면 뷰가 이에 대응하도록 영상 렌더링을 수행할 수 있다.

또한 공간적 변이 판정부가 사용자의 움직임에 대한 공간적 변이를 수직방향 벡터(VVT) 및 수평방향 벡터(HVT)에 의해 판단하는 경우 영상 렌더링부는 사용자가 전방 쪽으로 움직임에 따라 화면을 확대하고 사용자가 후방 쪽으로 움직임에 따라 화면을 축소하며 사용자가 좌우 방향으로 움직임에 따라 화면 뷰가 시프트되거나 회전되는 등의 영상 렌더링이 이루어지도록 할 수 있다.

또한 공간적 변이 판정부가 사용자의 움직임에 대한 공간적 변이를 벡터(VT)에 의해 판단하는 경우 벡터의 방향과 크기, 즉 사용자가 움직인 방향과 사용자가 움직인 거리에 따라 화면 뷰가 이에 대응하여 변화하도록(즉, 화면 뷰가 확대, 축소, 좌우 시프트 또는 회전 등) 영상 렌더링을 수행할 수 있다. 이는 아래 도 5(b)에 도시된 바에 따른 공간적 변이 판정의 경우에도 동일하게 적용될 수 있다.

한편, 도 5(b)를 참조하면, 사용자의 공간적 위치 변이는 이전에 특정된 머리 영역의 위치 정보를 기준으로 결정될 수도 있다.

구체적으로, 사용자의 공간적 위치 변이는 이전에 특정된 머리 영역의 위치에 대한 현재 특정된 머리 영역의 위치의 위치 차이에 의해 정의될 수 있는데, 이 역시 도 5(b)에 도시된 바와 같이 움직임 벡터로 설정할 수 있다.

먼저 이전 머리위치와 현재 머리위치가 결정되면 상기 이전 머리위치로부터 현재 머리위치로 이르는 수직방향 벡터(VVT) 및/또는 수평방향 벡터(HVT)에 의해 현재 사용자의 위치와 방향을 알 수 있으며 이를 통해 사용자의 움직임에 대한 공간적 변이 정보를 획득할 수 있다. 또는 획득 영상의 중심점에서 현재머리위치로의 벡터(VT)를 이용하여 공간적 변이 정보를 알 수 있다.

여기서 이전 머리위치는 다양한 방법으로 결정될 수 있는데, 카메라에 의해 취득되는 영상의 프레임 단위로 파악하여, 현재 프레임에서 특정된 머리 위치를 ‘현재 머리위치’라고 하면 이전 프레임 또는 미리 설정된 간격 이전의 프레임(예컨대 3 프레임 이전 프레임)에서 특정된 머리위치를 ‘이전 머리위치’라고 결정할 수 있다.

또는, 시간 간격을 미리 설정해 놓고 현재 특정된 머리위치를 ‘현재 머리위치’로 하고 현재 시점으로부터 상기 미리 설정된 시간 간격 이전에 특정된 머리위치를 ‘이전 머리위치’로 결정할 수 있다. 예컨대 0.5초의 시간 간격을 미리 설정했다면, 현재 획득영상으로부터 추적된 머리위치를 현재 머리위치로 특정하고 현재 시점 보다 0.5초 이전에 특정된 머리 위치를 이전 머리위치로 특정할 수 있다.

상기한 바와 같이 사용자의 머리위치를 특정하고 트래킹함에 따라 사용자의 공간적 변이를 판정하면 이에 대응하여 화면에 영상을 렌더링하는데, 이에 대한 구체적인 사항은 도 6 내지 도 11을 참조하여 설명하도록 한다.

먼저, 도 6 및 도 7을 참조하여 본 발명의 일 실시예에 따른 영상 디스플레이 시스템에서 사용자의 공간적 변이에 대응하여 영상 렌더링이 이루어지는 일 예에 관하여 설명한다.

도 6 및 도 7에 도시된 예는 공간적 변이 판정부에 의해 판정된 사용자의 공간적 변이에 대응하여 시프트된 시점의 영상을 렌더링하는 경우를 나타내고 있다.

도 6의 (b)는 도 6의 (a)의 상태에서 사용자가 좌측으로 이동함에 따른 화면의 변화를 나타낸 것이고, 도 6의 (c)는 도 6의 (a)의 상태에서 사용자가 우측으로 이동함에 따른 화면의 변화를 나타낸 것이다.

즉, 도 6에서는 공간적 변이 판정 결과 사용자가 (a)에서 (b)로 움직인 경우 렌더링 영상이 이에 대응하여 평행하게 시프트되어 나타나고, 사용자가 (a)에서 (c)로 움직인 경우 렌더링 영상이 이에 대응하여 평행하게 시프트되어 나타나는 경우를 보여준다.

이를 좀 더 구체적으로 설명하면, 도 7의 (a)는 도 6의 (a)와 대응되는 상태이고, 도 7의 (b)는 도 6의 (b)와 대응되는 상태이며, 도 7의 (c)는 도 6의 (c)와 대응되는 상태를 나타내고 있는데, 도 7에 도시된 바와 같이 도 6의 (a)상태에서 (b)상태로 공간적 변이가 발생하면 전체 영상이 I라고 가정할 때 도 7의 (a)에 도시된 V1 화면 뷰에서부터 시프트되어 렌더링된 영상의 V2 화면 뷰로 변화하게 되고, 도 6의 (a)상태에서 (c)상태로 공간적 변이가 발생하면 도 7의 (a)에 도시된 V1 화면 뷰에서부터 시프트되어 렌더링된 영상의 V3 화면 뷰로 변화하게 된다.

즉, 사용자가 좌측 또는 우측으로 공간적 변이를 발생시키면 이에 대응하여 화면 뷰가 좌측으로 또는 우측으로 시프트되어 표현되는 것이다.

여기서는 사용자가 좌측 또는 우측으로의 공간적 변이가 발생하는 경우만을 설명하였으나 이에 한정되지 않고 사용자가 전방 또는 후방으로 공간적 변이를 발생시키는 경우에도 렌더링 영상이 이에 대응하여 변화할 수 있으며, 사용자의 공간적 변이가 전방으로 이루어지게 되면 화면 뷰가 확대되어 나타나도록 할 수 있고 사용자의 공간적 변이가 후방으로 이루어지게 되면 화면 뷰가 축소되어 나타나도록 할 수 있다.

나아가, 사용자가 대각선 방향으로 움직이는 등 임의의 공간적 변이가 발생하는 경우에 대해서는 전후 방향의 공간적 변이에 따른 영상의 확대/축소 및 좌우 방향의 공간적 변이에 따른 영상의 시프트가 적절히 적용되어 렌더링 영상이 표시될 수 있다.

한편, 도 8 및 도 9를 참조하여 본 발명의 일 실시예에 따른 영상 디스플레이 시스템에서 사용자의 공간적 변이에 대응하여 영상 렌더링이 이루어지는 다른 일 예에 관하여 설명한다.

도 8 및 도 9에 도시된 예는 공간적 변이 판정부에 의해 판정된 사용자의 공간적 변이에 대응하는 만큼 회전된 시점의 영상을 렌더링하는 경우를 나타내고 있다.

도 8의 (b)는 도 8의 (a)의 상태에서 사용자가 좌측으로 이동함에 따른 화면의 변화를 나타낸 것이고, 도 8의 (c)는 도 8의 (a)의 상태에서 사용자가 우측으로 이동함에 따른 화면의 변화를 나타낸 것이다.

즉, 도 8에서는 공간적 변이 판정 결과 사용자가 (a)에서 (b)로 움직인 경우 렌더링 영상이 이에 대응하여 회전되어 나타나고, 사용자가 (a)에서 (c)로 움직인 경우 렌더링 영상이 이에 대응하여 회전되어 나타나는 경우를 보여준다.

이를 좀 더 구체적으로 설명하면, 도 9의 (a)는 도 8의 (a)와 대응되는 상태이고, 도 9의 (b)는 도 8의 (b)와 대응되는 상태이며, 도 9의 (c)는 도 8의 (c)와 대응되는 상태를 나타내고 있는데, 도 9에 도시된 바와 같이 도 8의 (a)상태에서 (b)상태로 공간적 변이가 발생하면 전체 영상이 I라고 가정할 때 도 9의 (a)에 도시된 VR1 화면 뷰에서부터 회전되어 렌더링된 영상의 VR2 화면 뷰로 변화하게 되고, 도 8의 (a)상태에서 (c)상태로 공간적 변이가 발생하면 도 9의 (a)에 도시된 VR1 화면 뷰에서부터 회전되어 렌더링된 영상의 VR3 화면 뷰로 변화하게 된다.

즉, 사용자가 좌측 또는 우측으로 공간적 변이를 발생시키면 이에 대응하여 화면 뷰가 좌측으로 또는 우측으로 회전되어 표현되는 것이다.

여기서는 사용자가 좌측 또는 우측으로의 공간적 변이가 발생하는 경우만을 설명하였으나 이에 한정되지 않고 사용자가 전방 또는 후방으로 공간적 변이를 발생시키는 경우에도 렌더링 영상이 이에 대응하여 변화할 수 있으며, 사용자의 공간적 변이가 전방으로 이루어지게 되면 화면 뷰가 확대되어 나타나도록 할 수 있고 사용자의 공간적 변이가 후방으로 이루어지게 되면 화면 뷰가 축소되어 나타나도록 할 수 있다.

나아가, 사용자가 대각선 방향으로 움직이는 등 임의의 공간적 변이가 발생하는 경우에 대해서는 전후 방향의 공간적 변이에 따른 영상의 확대/축소 및 좌우 방향의 공간적 변이에 따른 영상의 회전이 적절히 적용되어 렌더링 영상이 표시될 수 있다.

한편, 도 10 및 도 11을 참조하여 본 발명의 일 실시예에 따른 영상 디스플레이 시스템에서 사용자의 공간적 변이에 대응하여 영상 렌더링이 이루어지는 또 다른 일 예에 관하여 설명한다.

도 10 및 도 11에 도시된 예는 공간적 변이 판정부에 의해 판정된 사용자의 공간적 변이에 대응하여 화면을 기준으로하여 시프트 및 회전된 시점의 영상을 렌더링하는 경우를 나타내고 있다.

도 10의 (b)는 도 10의 (a)의 상태에서 사용자가 좌측으로 이동함에 따른 화면의 변화를 나타낸 것이고, 도 10의 (c)는 도 10의 (a)의 상태에서 사용자가 우측으로 이동함에 따른 화면의 변화를 나타낸 것이다.

즉, 도 10에서는 공간적 변이 판정 결과 사용자가 (a)에서 (b)로 움직인 경우 렌더링 영상이 이에 대응하여 시프트 및 회전되어 나타나고, 사용자가 (a)에서 (c)로 움직인 경우 렌더링 영상이 이에 대응하여 시프트 및 회전되어 나타나는 경우를 보여준다.

도 11의 (a), (b) 및 (c)는 각각 영상이 출력되어 나타나는 스크린 화면을 사용자가 바라보는 시야각(VU)을 가상으로 나타낸 것이다.

도 11의 (a)의 시야각으로 보이는 화면을 도 10의 (a)에 도시된 화면 뷰로 보이도록 영상 렌더링이 이루어지게 되고, 도 11의 (b)의 시야각으로 보이는 화면을 도 10의 (b)에 도시된 화면 뷰로 보이도록 영상 렌더링이 이루어지게 되며(이때 공간적 변이는 도 10의 (b)에 도시된 바와 같음), 도 11의 (c)의 시야각으로 보이는 화면을 도 10의 (c)에 도시된 화면 뷰로 보이도록 영상 렌더링이 이루어지게 된다(이때 공간적 변이는 도 10의 (c)에 도시된 바와 같음).

즉 도 10의 (a)에 도시된 상태에서 (b)에 도시된 상태로 공간적 변이가 발생하면 이에 따라 보이는 렌더링 영상은 도 11의 (b)의 시야각으로 보이는 화면이 되는 것이고 이는 화면이 공간적 변이에 대응하여 소정 시프트되는 동시에 소정 회전된 상태의 화면이 되는 것이다. 마찬가지로 도 10의 (a)에 도시된 상태에서 (c)에 도시된 상태로 공간적 변이가 발생하면 이에 따라 보이는 렌더링 영상은 도 11의 (c)의 시야각으로 보이는 화면이 되는 것이고 이는 화면이 공간적 변이에 대응하여 소정 시프트되는 동시에 소정 회전된 상태의 화면이 되는 것이다.

여기서는 사용자가 좌측 또는 우측으로의 공간적 변이가 발생하는 경우만을 설명하였으나 이에 한정되지 않고 사용자가 전방 또는 후방으로 공간적 변이를 발생시키는 경우에도 렌더링 영상이 이에 대응하여 변화할 수 있으며, 사용자의 공간적 변이가 전방으로 이루어지게 되면 화면 뷰가 확대되어 나타나도록 할 수 있고 사용자의 공간적 변이가 후방으로 이루어지게 되면 화면 뷰가 축소되어 나타나도록 할 수 있다.

나아가, 사용자가 대각선 방향으로 움직이는 등 임의의 공간적 변이가 발생하는 경우에 대해서는 전후 방향의 공간적 변이에 따른 영상의 확대/축소 및 좌우 방향의 공간적 변이에 따른 영상의 시프트 및 회전이 적절히 적용되어 렌더링 영상이 표시될 수 있다.

한편, 도 12는 본 발명의 다른 일 실시예에 따른 공간적 변이 판정부(15)에서 어깨 영역의 위치 정보에 기초하여 사용자(11)의 공간적 각도 변이를 판정하는 방법을 도시한 것이다.

도 12(a)를 참조하면, a, b는 각각 좌우 어깨 위치를 의미한다. 이 경우, 영상 내의 사용자(11)의 신체는 정면을 기준으로 오른쪽 방향으로 일정 각도만큼 틀어져 있다고 볼 수 있다.

구체적으로, a, b를 잇는 선분을 가정하면, 이 선분에 직각을 이루는 법선과 정면 방향을 나타내는 점선 간의 각도 차이를 나타내는 차분 각도 정보(θ)를 획득할 수 있다. 차분 각도 정보를 획득함으로써, 영상 내의 사용자(11)의 몸체가 정면을 기준으로 회전된 정도를 알 수 있다.

한편, 정면 방향을 나타내는 점선의 각도(90°)와 법선이 나타내는 각도 간의 차이로부터 차분 부호 정보를 획득할 수 있다.

여기서, 차분 부호 정보는 수평선을 기준으로 정면 방향이 나타내는 각도에서 좌우 어깨 위치를 잇는 선분에 직각을 이루는 법선이 나타내는 각도를 뺀 값의 부호를 나타낸다. 차분 부호 정보를 획득함으로써, 영상 내의 사용자(11)의 몸체가 정면을 기준으로 왼쪽 방향으로 회전되어 있는지, 아니면 오른쪽 방향으로 회전되어 있는지를 알 수 있다.

도 12(a)의 경우, 정면 방향을 나타내는 점선의 각도와 법선이 나타내는 각도 간의 차이는 0보다 큰 값을 가지므로, + 부호를 나타내는 차분 부호 정보를 획득할 수 있다. 이로써 영상 내의 사용자(11)의 몸체가 정면을 기준으로 오른쪽 방향으로 회전되어 있음을 알 수 있다.

도 12(b)를 참조하면, 마찬가지로 a, b는 각각 좌우 어깨 위치를 의미한다. 이 경우, 영상 내의 사용자(11)의 신체는 정면을 기준으로 왼쪽 방향으로 일정 각도만큼 틀어져 있다고 볼 수 있다.

이 경우에도, a, b를 잇는 선분을 가정하면, 이 선분에 직각을 이루는 법선과 정면 방향을 나타내는 점선 간의 각도 차이를 나타내는 차분 각도 정보(θ)를 획득할 수 있으며, 여기서 획득된 차분 각도 정보로부터 영상 내의 사용자(11)의 몸체가 정면을 기준으로 회전된 정도를 알 수 있다.

또한, 도 12(b)의 경우에도 수평선을 기준으로 정면 방향이 나타내는 각도에서 좌우 어깨 위치를 잇는 선분에 직각을 이루는 법선이 나타내는 각도를 뺀 값의 부호를 나타내는 차분 부호 정보를 획득할 수 있다.

도 12(b)를 참조하면, 정면 방향을 나타내는 점선의 각도와 법선이 나타내는 각도 간의 차이는 0보다 작은 값을 가지므로, - 부호를 나타내는 차분 부호 정보를 획득할 수 있다. 이로부터 영상 내의 사용자(11)의 몸체가 정면을 기준으로 왼쪽 방향으로 회전되어 있음을 알 수 있다.

이와 같이, 본 발명의 공간적 각도 변이는 차분 각도 정보와 차분 부호 정보로써 나타낼 수 있다.

도 13은 본 발명의 다른 일 실시예에 따른 공간적 변이 판정부(15)에서 스크린(12)을 기준으로 사용자(11)의 공간적 변이를 판정하는 방법을 도시한 것이다.

도 13을 참조하면, 이는 스크린(12)에 표시되는 3D 영상 또는 하이브리드 영상을 스크린 위쪽에서 바라본 것으로, 사용자와 사용자가 응시하는 3D 영상 또는 하이브리드 영상 내의 피사체 간의 위치 관계를 가상의 2차원으로 구현한 것이다.

도 13(a)에서 좌표 S(x, y)는 공간적 변이가 발생하기 전의 사용자(11)의 위치를 의미하며, 상세하게는 사용자(11)의 머리 영역의 위치를 의미할 수 있다. 좌표 Q(x, y’)는 사용자(11)가 응시하는 3D 영상 또는 하이브리드 영상 내의 피사체의 가상 위치를 의미한다. 사용자(11)는 스크린(12)으로부터 일정 거리 d만큼 떨어진 곳에 위치한다. 여기서, 사용자(11)는 좌표 S(x, y)를 기준으로 x축 방향으로 a만큼 이동하여 좌표 R(x+a, y)에 위치해 있고, 해당 위치에서 사용자(11)는 피사체의 가상 위치를 응시하고 있음을 가정하도록 한다.

이때, 사용자(11)의 현재 위치인 좌표 R(x+a, y)로의 공간적 위치 변이를 스크린(12) 상에 동일하게 적용할 경우, 사용자(11)는 피사체의 가상 위치인 좌표 Q(x, y’)를 응시하지 아니하고, 해당 피사체의 뒤쪽에 위치하는 다른 피사체를 응시하게 된다. 따라서, 사용자(11)와 스크린(12) 간의 거리를 고려하여 사용자(11)를 기준으로 획득된 공간적 위치 변이를 스크린(12)을 기준으로 한 공간적 위치 변이로 보정할 필요가 있다.

구체적으로, 도 13(a)를 참조하면, 사용자(11)를 기준으로 볼 때 사용자(11)가 왼쪽 방향으로 a만큼 이동하여 공간적 위치 변이 발생한 경우, 스크린(12)을 기준으로는 왼쪽 방향으로 a’만큼의 공간적 위치 변이가 발생할 수 있다. 여기서, 스크린(12)을 기준으로 한 공간적 위치 변이 a’는 스크린(12)을 기준으로 피사체의 가상 위치, 사용자(11)와 스크린(12) 간의 거리, 그리고 사용자(11)를 기준으로 한 공간적 위치 변이에 기초하여 결정될 수 있다. 예를 들어, 스크린(12)을 기준으로 한 공간적 위치 변이 a’는 다음 수학식 1과 같이 획득될 수 있다.

[ 수학식 1]

한편, 도 13(b)는 사용자(11)가 좌표 S(x, y)를 기준으로 x축 방향으로 a만큼의 공간적 위치 변이가 발생하여 좌표 R(x+a, y)에 위치해 있고, 정면을 기준으로 오른쪽 방향으로 θU 만큼의 공간적 각도 변이로 회전되어 있는 상태를 가정하도록 한다.

이때, 사용자(11)의 현재 위치인 좌표 R(x+a, y)를 기준으로 획득된 공간적 각도 변이 즉, 오른쪽 방향으로의 θu 를 스크린(12)을 기준으로 동일하게 적용할 경우, 사용자(11)는 피사체의 가상 위치인 좌표 Q(x, y’)를 응시하지 아니하고, 해당 피사체의 뒤쪽에 위치하는 다른 피사체를 응시하게 될 수 있다. 따라서, 사용자(11)를 기준으로 획득된 공간적 각도 변이를 스크린(12)을 기준으로 한 공간적 각도 변이로 보정할 필요가 있다.

구체적으로, 사용자(11)의 공간적 위치 변이에 따른 위치 즉, R(x+a, y)에 대응하는 스크린(12) 상의 위치는 좌표 T(x+a, y”)이다. 스크린(12) 상의 좌표 T(x+a, y”)에서 사용자(11)가 응시하는 피사체로의 공간적 각도 변이는 θs 이다.

공간적 각도 변이는 θs 를 획득하는 방법에 대해서 살펴보면, 우선 vd는 좌표 T(x+a, y”)와 좌표 P(x+a, y’) 간의 가상 거리를 vd라 정의한다. 여기서, 좌표 P(x+a, y’)는 좌표 Q(x, y’)에서 사용자(11)의 공간적 위치 변이만큼, 상세하게는 x축 방향으로 a만큼 이동한 위치에 해당한다. 이 때, θs 는 사용자(11)의 공간적 위치 변이 중 x축 방향으로의 이동한 거리 a와 가상 거리 vd에 기초하여 획득될 수 있다. 예를 들어, θs 는 다음 수학식 2와 같이 획득될 수 있다.

[ 수학식 2]

한편, 가상 거리 vd는 사용자(11)의 공간적 위치 변이 중 x축 방향으로의 이동한 거리 a, 사용자(11)를 기준으로 한 공간적 각도 변이, 그리고 사용자(11)와 스크린(12) 간의 거리에 기초하여 획득될 수 있다. 예를 들어, 가상 거리 vd는 다음 수학식 3과 같이 획득될 수 있다.

[ 수학식 3]

따라서, 스크린(12)을 기준으로 한 공간적 각도 변이는 사용자(11)의 공간적 위치 변이 중 x축 방향으로의 이동한 거리 a, 사용자(11)를 기준으로 한 공간적 각도 변이, 그리고 사용자(11)와 스크린(12) 간의 거리에 기초하여 획득될 수 있음을 알 수 있다.

도 14a 내지 도 14c는 본 발명의 다른 일 실시예에 따른 영상 렌더링부(18)에서 사용자(11)의 공간적 변이를 이용하여 영상을 렌더링하는 방법을 도시한 것이다.

도 14a는 사용자(11)가 몸체를 정면 방향으로 유지한 채, 사용자(11)가 응시하는 시점이 좌측 또는 우측 중 어느 일방향으로 이동한 경우이다.

도 2, 도 12 및 도 13에 기초하여 도 14a를 참조하여 설명하면, 사용자(11)의 위치가 좌측 또는 우측 중 어느 일방향으로 이동한 경우, 공간적 변이 판정부(15)에서 획득된 공간적 위치 변이만큼 시프트된 시점의 영상을 렌더링할 수 있다.

예를 들어, 사용자(11)의 공간적 변이가 발생하기 전의 사용자(11)의 위치를 좌표 (0, 0)로 가정한다. 이 경우, 사용자(11)가 스크린(12)과 평행하게 x축 방향으로 a만큼 이동한 경우, 공간적 변이 판정부(15)에서는 공간적 위치 변이로서 움직임 벡터 (a, 0)를 획득한다. 영상 렌더링부(18)는 움직임 벡터 (a, 0)만큼 시프트된 시점을 결정하고, 해당 시점에 대응하는 영상을 렌더링할 수 있다.

또는, 사용자(11)가 x축 방향으로 a만큼, 그리고 y축 방향으로 b만큼 이동한 경우, 공간적 변이 판정부(15)에서는 공간적 위치 변이로서 움직임 벡터 (a, b)를 획득하고, 영상 렌더링부(18)에서는 움직임 벡터 (a, b)만큼 스크린(12)에 평행하게 시프트된 시점을 결정하고, 해당 시점에 대응하는 영상을 렌더링할 수 있다. 나아가, y축 방향으로의 공간적 위치 변이인 b 값이 양수인 경우, 이는 사용자(11)가 스크린(12) 쪽으로 가까워지도록 공간적 위치 변이가 발생한 것이므로, 영상 렌더링부(18)는 사용자(11)가 y축 방향으로 이동한 거리에 대응하는 근거리 영상을 생성할 수 있다.

반대로, y축 방향으로의 공간적 위치 변이인 b 값이 양수인 경우, 이는 사용자(11)가 스크린(12)으로부터 멀어지도록 공간적 위치 변이가 발생한 것이므로, 영상 렌더링부(18)는 사용자(11)가 y축 방향으로 이동한 거리에 대응하는 원거리 영상을 생성할 수 있다.

도 14b는 사용자(11)가 피사체를 응시하면서 사용자(11)의 위치가 좌측 또는 우측 중 어느 일방향으로 이동한 경우이다. 사용자(11)가 피사체에 대한 응시를 유지하면서 좌측 또는 우측으로 이동하는 경우로는, i) 사용자(11)가 몸체의 각도를 일정하게 유지하면서 피사체 방향으로 시선을 유지하는 경우, 또는 ii) 사용자(11)가 좌측 또는 우측으로 이동하면서 몸체를 일정 각도로 회전하여 피사체 방향으로의 시선을 유지하는 경우가 있을 수 있다.

위 i)의 경우는 사용자(11)가 피사체 방향으로 시선을 유지하는 것을 전제로 하므로, 영상 렌더링부(18)는 공간적 변이 판정부(15)에서 판정된 공간적 위치 변이를 고려하여 사용자(11)가 피사체를 응시하는 시점을 결정할 수 있다. 그런 다음, 해당 시점에 대응하는 것으로서, 상기 피사체를 중심으로 회전된 영상을 렌더링할 수 있다.

한편, 위 ii)의 경우는 사용자(11)가 몸체를 일정 각도로 회전함에 따라 공간적 각도 변이가 발생하게 된다. 따라서, 사용자(11)의 공간적 위치 변이뿐만 아니라 공간적 각도 변이를 더 고려해서 사용자(11)가 피사체를 응시하는 시점을 결정하고, 마찬가지로 해당 시점에 대응하는 것으로서, 상기 피사체를 중심으로 회전된 영상을 렌더링할 수 있다.

도 14c도 사용자(11)가 피사체를 응시하면서 사용자(11)의 위치가 좌측 또는 우측 중 어느 일방향으로 이동한 경우이다. 다만, 도 14c의 경우는 사용자(11) 위치 기반의 공간적 변이로부터 유도되는 스크린(12) 기준의 공간적 변이를 고려하여 영상을 렌더링하는 경우이다.

즉, 영상 렌더링부(18)는 공간적 변이 판정부(15)에서 판정된 스크린(12) 기준의 공간적 변이에 따라 사용자(11)가 응시하는 시점을 결정하고, 해당 시점에 대응하는 영상을 렌더링할 수 있다.

여기서, 해당 시점에 대응하는 영상은 도 14a에서 살펴본 바와 같이 사용자(11)의 공간적 위치 변이만큼 스크린(12)에 평행하게 시프트된 시점의 영상일 수 있고, 또는 도 14b에서 살펴본 바와 같이 사용자(11)의 공간적 위치 변이 및/또는 공간적 각도 변이를 고려하여 사용자(11)가 응시하는 피사체를 중심으로 일정 각도 회전된 영상을 렌더링할 수도 있다.

한편, 본 발명에 따른 영상 처리부(10)는 사용자(11)의 팔 영역을 추적하여 사용자(11)의 공간적 변이를 판정하고, 그에 상응하는 영상을 렌더링할 수 있으며, 이하 도 15를 참조하여 살펴 보기로 한다.

도 15는 본 발명의 또 다른 일 실시예에 따른 영상 처리부(10)에서 사용자(11)의 팔 영역의 위치 변화에 기반한 영상 렌더링 방법을 도시한 순서도이다.

도 15를 참조하면, 단계(S81)에서, 공간 정보 추출부(14)는 사용자(11)의 신체의 적어도 일부가 포함된 신체 영상에서 사용자(11)의 팔 영역을 특정하고, 팔 영역의 위치 정보를 획득할 수 있다.

즉 앞서 설명한 도 3 내지 도 13에 도시된 사항은 사용자의 머리 영역을 특정하고 그 위치 정보를 통해 공간적 변이를 판정하여 영상 렌더링이 이루어지는 것이었는데, 사용자가 움직임에 따라 화면 뷰를 변화시킬 수도 있지만 사용자가 그 자리에 서서 팔을 앞으로 내밀어서 팔의 움직임으로 화면 뷰를 변화시킬 수도 있는 것이므로 상기 S81 단계는, 바람직하게는 사용자가 팔을 앞으로 내미는 등 카메라에 의한 획득 영상을 통해 어깨 영역으로부터 팔 영역의 특정이 가능한 경우 그 팔 영역의 위치 정보를 획득하고 이후에는 팔 영역의 움직임에 기반하여 영상 렌더링이 이루어지도록 한 것이다.

특정된 어깨 영역의 양 끝 부분에서부터 소정 범위의 뎁스 정보를 가진 픽셀들로써 팔 영역을 특정할 수 있다.

도 16은 사용자의 정수리 위쪽에서 획득한 신체 영상의 일 예로서 이를 통해 사용자의 머리 영역을 특정하고, 이를 기초로 어깨 영역을 특정하며, 다시 어깨 영역의 양쪽 끝점으로부터 뎁스 정보가 일정 범위 내에 존재하는 픽셀값을 갖는 픽셀들을 특정함으로써 팔 영역을 특정할 수 있다.

즉, 사용자가 화면의 스크롤을 위해 팔을 앞으로 내미는 제스처를 취하면 카메라에 의해 획득된 신체 영상에서 머리 영역과 어깨 영역이 순차적으로 특정되고 어깨 영역으로부터 팔 영역이 용이하게 특정될 수 있어 팔 영역을 지속적으로 트래킹 하는 것이 가능하게 되는 것이다.

이와 같이 사용자의 팔 영역이 특정되면 그 팔 영역 내의 어느 하나의 픽셀 위치를 팔 영역의 위치 정보로 설정할 수 있다. 예를 들어, 특정된 팔 영역의 중심 픽셀을 팔 영역의 위치 정보로 설정할 수 있다. 또는, 특정된 팔 영역이 오른팔인 경우, 좌우 어깨 위치 중 우측 어깨 위치의 좌표를 중심으로 회전하는 선분을 가정한다. 이 선분이 소정 각도씩 회전할 때마다 만나는 팔 영역 내의 픽셀 중 가장 먼 픽셀의 위치를 추출한다. 이때 추출되는 픽셀의 위치 중에서 우측 어깨 위치의 좌표로부터 가장 먼 픽셀의 위치를 팔 영역의 위치 정보로 설정할 수도 있다.

다시 도 15으로 돌아와서, 단계 (S82)에서, 공간적 변이 판정부(15)는 획득된 팔 영역의 위치 정보에 기반하여 사용자(11)의 공간적 위치 변이 및/또는 공간적 각도 변이를 판정할 수 있다.

공간 정보 추출부(14)에서 획득된 팔 영역의 위치 정보로부터 팔 영역의 이동 방향 정보 및 이동 거리 정보를 유도하고, 유도된 이동 방향 정보 및 이동 거리 정보를 이용하여 공간적 위치 변이를 판정할 수 있다. 여기서, 이동 방향 정보라 함은 현재 특정된 팔 영역의 위

치가 이전에 특정된 팔 영역의 위치를 기준으로 좌측으로 이동하는지, 아니면 우측으로 이동하는지를 나타내는 정보를 의미한다. 또한, 이동 거리 정보는 현재 특정된 팔 영역의 위치와 이전에 특정된 팔 영역의 위치 간의 거리를 의미한다.

나아가, 현재 특정된 팔 영역의 위치와 이전에 특정된 팔 영역의 위치에 기반하여 사용자(11)의 공간적 각도 변이를 판정할 수 있다.

이때, 현재 특정된 팔 영역의 위치, 이전에 특정된 팔 영역의 위치 그리고 사용자(11)의 몸통을 특정하는 특징점의 위치를 꼭지점으로 하는 삼각형을 가정한다.

여기서, 현재 특정된 팔 영역의 위치와 특징점의 위치를 잇는 변과 이전에 특정된 팔 영역의 위치와 특징점의 위치를 잇는 변 간의 각도를 획득할 수 있다. 획득된 양 변 간의 각도로부터 사용자(11)의 공간적 각도 변이를 판정할 수 있다.

단계 (S83)에서, 영상 렌더링부(18)는 사용자(11)의 공간적 위치 변이 및 공간적 각도 변이 중 적어도 하나를 이용하여 이에 상응하는 영상을 렌더링할 수 있으며, 이는 도 17을 참조하여 살펴 보기로 한다.

도 17은 본 발명의 또 다른 일 실시예에 따른 영상 렌더링부(18)에서 사용자(11)의 팔 영역의 공간적 변이에 따른 영상 렌더링 방법을 도시한 것이다.

도 17(a)는 사용자(11)의 팔 영역이 일정 거리만큼 좌측 방향으로 이동한 경우이다. 도 17(a)를 참조하면, 사용자(11)의 팔 영역의 위치가 좌측 방향으로 이동한 경우(U1), 영상 렌더링부(18)는 공간적 변이 판정부(15)에서 판정된 공간적 위치 변이에 상응하도록 좌측으로 시프트된 시점을 결정한다.

여기서, 시프트된 시점은 좌측 방향으로 일정 거리만큼 이동한 팔 영역의 공간적 위치 변이에 따라 변경되는 사용자(11)의 시점이다. 그런 다음, 영상 렌더링부(18)는 공간적 위치 변이에 상응하는 시프트된 시점의 영상(12a)을 렌더링할 수 있다.

또는, 공간적 변이 판정부(15)에서 사용자(11)의 팔 영역의 위치에 기반하여 사용자(11)의 공간적 각도 변이를 획득한 경우, 영상 렌더링부(18)는 사용자(11)의 공간적 각도 변이만큼 회전된 사용자(11)의 시점을 결정하고, 해당 시점에 대응하는 영상을 렌더링할 수도 있다.

도 17(b)는 사용자(11)의 팔 영역이 일정 거리만큼 우측 방향으로 이동한 경우이다. 도 17(b)를 참조하면, 앞서 살펴본 바와 같이 사용자(11)의 팔 영역의 위치가 우측 방향으로 이동한 경우(U2), 영상 렌더링부(18)는 공간적 변이 판정부(15)에서 판정된 공간적 위치 변이에 상응하도록 우측으로 시프트된 시점을 결정하고, 해당 시점의 영상(12b)을 렌더링할 수 있다.

또는, 공간적 변이 판정부(15)에서 사용자(11)의 팔 영역의 위치에 기반하여 사용자(11)의 공간적 각도 변이를 획득한 경우, 영상 렌더링부(18)는 사용자(11)의 공간적 각도 변이만큼 회전된 사용자(11)의 시점을 결정하고, 해당 시점에 대응하는 영상을 렌더링할 수 있다.

도 17의 (a) 및 (b)에서는 설명의 편의를 위해 화면 영상(12a 또는 12b)에 사용자가 팔로써 제스처를 취하는 영상(U1 또는 U2)을 겹쳐서 표시하였으나 반드시 이와 같이 겹쳐져서 표시되는 것은 아니며 사용자의 제스처 부분은 보이지 않도록 할 수 있다.

Claims (21)

1. 사용자 머리 위쪽에 설치되어 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 촬영하는 카메라;
   상기 신체 영상에 기초하여 상기 사용자의 신체의 적어도 일부를 특정하고, 특정된 신체 영역의 위치 정보를 추출하는 공간 정보 추출부;
   상기 추출된 신체 영역의 위치 정보에 기초하여 상기 사용자의 공간적 변이를 판정하는 공간적 변이 판정부; 및
   상기 공간적 변이 판정부에 의해 판정된 상기 사용자의 공간적 변이에 대해 전후 방향의 공간적 변이에 대해서는 영상이 확대/축소되도록 렌더링하고 좌우 방향의 공간적 변이에 대해서는 영상이 시프트되도록 렌더링하여 디스플레이하는 영상 렌더링부를 포함하는 영상 디스플레이 시스템.
2. 사용자 머리 위쪽에 설치되어 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 촬영하는 카메라;
   상기 신체 영상에 기초하여 상기 사용자의 신체의 적어도 일부를 특정하고, 특정된 신체 영역의 위치 정보를 추출하는 공간 정보 추출부;
   상기 추출된 신체 영역의 위치 정보에 기초하여 상기 사용자의 공간적 변이를 판정하는 공간적 변이 판정부; 및
   상기 공간적 변이 판정부에 의해 판정된 상기 사용자의 공간적 변이에 대해 전후 방향의 공간적 변이에 대해서는 영상이 확대/축소되도록 렌더링하고 좌우 방향의 공간적 변이에 대해서는 그 공간적 변이에 대응하는 만큼 회전된 시점의 영상을 렌더링하여 디스플레이하는 영상 렌더링부를 포함하는 영상 디스플레이 시스템.
3. 제1항에 있어서,
   상기 공간적 변이 판정부는,
   상기 신체 영상의 중심 좌표와 상기 특정된 머리 영역의 위치 정보 간의 위치 차이를 나타내는 움직임 벡터에 기초하여 상기 공간적 변이를 판정하도록 구성되며,
   상기 영상 렌더링부는,
   임의의 공간적 변이에 대해 상기 움직임 벡터의 크기 및 방향에 대응하여 영상을 확대/축소 및 시프트 중 적어도 하나에 따라 렌더링하도록 구성되는 것을 특징으로 하는 영상 디스플레이 시스템.
4. 제1항에 있어서,
   상기 공간적 변이 판정부는,
   현 시점 이전의 특정 시점에서 특정된 머리 영역의 위치 정보와 현 시점에서 특정된 머리 영역의 위치 정보 간의 상대적 차이를 나타내는 움직임 벡터에 기초하여 상기 공간적 변이를 판정하도록 구성되며,
   상기 영상 렌더링부는,
   임의의 공간적 변이에 대해 상기 움직임 벡터의 크기 및 방향에 대응하여 영상을 확대/축소 및 시프트 중 적어도 하나에 따라 렌더링하도록 구성되는 것을 특징으로 하는 영상 디스플레이 시스템.
5. 제2항에 있어서,
   상기 공간적 변이 판정부는,
   상기 신체 영상의 중심 좌표와 상기 특정된 머리 영역의 위치 정보 간의 위치 차이를 나타내는 움직임 벡터에 기초하여 상기 공간적 변이를 판정하도록 구성되며,
   상기 영상 렌더링부는,
   임의의 공간적 변이에 대해 상기 움직임 벡터의 크기 및 방향에 대응하여 영상을 확대/축소 및 회전 중 적어도 하나에 따라 렌더링하도록 구성되는 것을 특징으로 하는 영상 디스플레이 시스템.
6. 제2항에 있어서,
   상기 공간적 변이 판정부는,
   현 시점 이전의 특정 시점에서 특정된 머리 영역의 위치 정보와 현 시점에서 특정된 머리 영역의 위치 정보 간의 상대적 차이를 나타내는 움직임 벡터에 기초하여 상기 공간적 변이를 판정하도록 구성되며,
   상기 영상 렌더링부는,
   임의의 공간적 변이에 대해 상기 움직임 벡터의 크기 및 방향에 대응하여 영상을 확대/축소 및 회전 중 적어도 하나에 따라 렌더링하도록 구성되는 것을 특징으로 하는 영상 디스플레이 시스템.
7. 제1항 또는 제2항에 있어서,
   상기 공간 정보 추출부는,
   뎁스 정보를 이용하여 상기 카메라로부터 수신된 신체 영상 내에서 상기 사용자의 머리 영역을 특정하고 상기 특정된 머리 영역의 위치 정보를 획득하도록 구성되며,
   상기 공간적 변이 판정부는,
   상기 공간 정보 추출부에 의해 획득된 머리 영역의 위치 정보에 기초하여 상기 사용자의 공간적 위치 변이를 판정하도록 구성되는 것을 특징으로 하는 영상 디스플레이 시스템.
8. 삭제
9. 삭제
10. 사용자의 신체의 적어도 일부를 포함하는 신체 영상을 수신하는 단계;
    상기 신체 영상에 기초하여 상기 사용자의 신체의 적어도 일부를 특정하고, 특정된 신체 영역의 위치 정보를 추출하는 단계;
    상기 추출된 신체 영역의 위치 정보에 기초하여 상기 사용자의 공간적 변이를 판정하는 단계; 및
    상기 판정된 사용자의 공간적 변이에 기초하여 설정된 카메라 뷰 방식으로 영상을 렌더링하는 단계를 포함하며,
    상기 카메라 뷰 방식은,
    사용자의 제스처에 따라 자동으로 복수개의 미리 설정된 카메라 뷰 중 어느 하나가 실행되는 자동 방식과 사용자의 설정에 의해 실행되는 사용자 설정 방식을 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
11. 제 10항에 있어서,
    상기 신체 영역의 위치 정보를 추출하는 단계는,
    상기 신체 영상에 기초하여 상기 사용자의 머리 영역을 특정하고 상기 특정된 머리 영역의 위치 정보를 추출하는 단계를 포함하며,
    상기 사용자의 공간적 변이를 판정하는 단계는,
    상기 특정된 머리 영역의 위치 정보에 기초하여 상기 사용자의 공간적 위치 변이를 판정하는 것을 특징으로 하는 영상 디스플레이 방법.
12. 제 11항에 있어서, 상기 사용자의 공간적 위치 변이는 상기 신체 영상의 중심 좌표와 상기 특정된 머리 영역의 위치 정보 간의 위치 차이를 나타내는 움직임 벡터에 기초하여 판정되는 것을 특징으로 하는 영상 디스플레이 방법.
13. 제 11항에 있어서, 상기 사용자의 공간적 위치 변이는 현 시점 이전의 특정 시점에서 특정된 머리 영역의 위치 정보와 현 시점에서 특정된 머리 영역의 위치 정보 간의 상대적 차이를 나타내는 움직임 벡터에 기초하여 판정되는 것을 특징으로 하는 영상 디스플레이 방법.
14. 제 11항에 있어서,
    상기 판정된 사용자의 공간적 위치 변이 및 상기 사용자와 스크린 간의 거리에 기초하여 스크린 기준의 공간적 위치 변이를 획득하는 단계를 더 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
15. 제 11항에 있어서, 상기 렌더링하는 단계는,
    상기 사용자의 공간적 위치 변이를 나타내는 움직임 벡터를 획득하는 단계;
    상기 획득된 움직임 벡터만큼 스크린에 평행하게 시프트된 시점을 결정하는 단계; 및
    상기 결정된 시점에 대응하는 영상을 렌더링하는 단계를 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
16. 제 11항에 있어서, 상기 렌더링하는 단계는,
    상기 사용자의 공간적 위치 변이를 고려하여 상기 사용자가 피사체를 응시하는 시점을 결정하는 단계; 및
    상기 결정된 시점을 고려하여 상기 피사체를 중심으로 회전된 영상을 렌더링하는 단계를 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
17. 제 14항에 있어서, 상기 렌더링하는 단계는,
    상기 스크린 기준의 공간적 위치 변이를 고려하여 스크린에 평행하게 시프트된 시점 또는 상기 사용자가 피사체를 응시하는 시점을 결정하는 단계; 및
    상기 결정된 시점에 대응하는 영상을 렌더링하는 것을 특징으로 하는 영상 디스플레이 방법.
18. 제 10항에 있어서, 상기 신체 영역의 위치 정보를 추출하는 단계는,
    상기 신체 영상에 기초하여 상기 사용자의 머리 영역을 특정하고 상기 머리 영역의 주변에 나타나는 소정 범위의 뎁스 정보를 가진 픽셀들로써 어깨 영역을 특정하는 단계;
    상기 특정된 어깨 영역의 주변에 나타나는 소정 범위의 뎁스 정보를 가진 픽셀들로써 팔 영역을 특정하는 단계; 및
    상기 특정된 팔 영역의 위치 정보를 획득하는 단계를 더 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
19. 제 18항에 있어서, 상기 사용자의 공간적 위치 변이를 판정하는 단계는,
    상기 획득된 팔 영역의 위치 정보로부터 팔 영역의 이동 방향 정보 및 이동 거리 정보를 유도하는 단계; 및
    상기 유도된 이동 방향 정보 및 이동 거리 정보를 이용하여 상기 사용자의 공간적 위치 변이를 판정하는 단계를 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
20. 제 19항에 있어서, 상기 렌더링하는 단계는,
    상기 판정된 공간적 위치 변이에 상응하는 시프트된 시점을 결정하는 단계; 및
    상기 결정된 시점에 상응하는 영상을 렌더링하는 단계를 포함하는 것을 특징으로 하는 영상 디스플레이 방법.
21. 가상 골프 시뮬레이션 시스템의 사용자 제스처에 기반한 영상 디스플레이 방법으로서,
    사용자의 신체의 적어도 일부를 포함하는 신체 영상을 수신하는 단계;
    상기 신체 영상에 기초하여 상기 사용자의 신체의 적어도 일부를 특정하고, 특정된 신체 영역의 위치 정보를 추출하는 단계;
    상기 추출된 신체 영역의 위치 정보에 기초하여 상기 사용자의 공간적 변이를 판정하는 단계; 및
    상기 공간적 변이 판정부에 의해 판정된 상기 사용자의 공간적 변이에 대해 전후 방향의 공간적 변이에 대해서는 시뮬레이션 영상이 확대/축소되도록 렌더링하고, 좌우 방향의 공간적 변이에 대해서는 시뮬레이션 영상이 시프트되도록 렌더링하거나 그 공간적 변이에 대응하는 만큼 회전된 시점의 시뮬레이션 영상을 렌더링하여 디스플레이하는 단계를 포함하는 가상 골프 시뮬레이션 시스템의 사용자 제스처에 기반한 영상 디스플레이 방법.

Images