KR101687986B1 - 모션 인식을 활용한 영상 매핑 방법 - Google Patents

Abstract

본 발명은 사용자의 모션을 인식하여 영상을 매핑하는 모션 인식을 활용한 영상 매핑 방법에 관한 것으로, 더욱 상세하게는, 모션인식장치를 이용하여 사용자의 모션을 인식하고, 상기 모션의 변위량에 따른 변화 영상을 투사하는 모션 인식을 활용한 영상 매핑 방법에 관한 것이며, 본 발명은 모션인식장치, 제어장치, 영상투사장치 그리고 투사객체를 포함하여 구성되는 모션 인식을 활용한 영상 매핑 방법에 있어서, (A) 제어장치가 데이터베이스에 저장된 가상공간데이터로부터 투사객체에 출력할 투사 영상을 독출하는 단계와; (B) 상기 제어장치가 투사객체의 배열에 따라 상기 투사 영상을 보정하여 개별 영상을 생성하는 단계와; (C) 상기 제어장치가 생성된 상기 개별 영상을 영상투사장치와 매핑하는 단계와; (D) 상기 영상투사장치가 투사객체에 상기 개별 영상을 출력하는 단계; 그리고 (E) 상기 제어장치가 사용자 입력에 따라 출력 영상을 변환하여 출력하는 단계를 포함하여 수행됨을 특징으로 하는 모션을 활용한 퍼포먼스 구현 방법을 포함하여 구성된다.
그리고 본 발명은 사용자의 모션에 따라 객체에 투사되는 영상의 위치 변경 또는 방향 전환이 가능하여, 사용자가 실제 현장 내에 존재하는 것 같은 가상 현실감을 느낄 수 있는 효과가 있다.

Description

모션 인식을 활용한 영상 매핑 방법 { METHOD FOR IMAGE MAPPING USING MOTION RECOGNITION }

본 발명은 사용자의 모션을 인식하여 영상을 매핑하는 모션 인식을 활용한 영상 매핑 방법에 관한 것으로, 더욱 상세하게는, 모션인식장치를 이용하여 사용자의 모션을 인식하고, 상기 모션의 변위량에 따른 변화 영상을 투사하는 모션 인식을 활용한 영상 매핑 방법에 관한 것이며, 문화체육관광부의 문화기술연구개발사업 인터랙티브 공연기술의 고도화를 통한 창작 뮤지컬쇼 (Color&Thing) 퍼포먼스의 실감 인터랙티브 공연 기술개발 과제 (수행기간 2014-08-01~2015-05-31)를 수행함에 있어 산출된 결과물에 대한 발명이다.

최근, 프로젝터를 이용하여 객체에 영상을 투사하는 기법이 일상 생활뿐만 아니라, 다양한 공연 예술 분야에서 많이 활용되고 있다.

특히, 최근에는 센서기술의 발달과 더불어 사용자의 움직임(모션)을 인식하여 이로부터 사용자 명령을 추출하고 해당 명령에 따른 동작을 수행하는 제어기술이 활발하게 연구되어, 프로젝터를 이용하여 객체에 영상을 투사하는 기법과 함께 사용되고 있다.

이와 같은 노력의 결과로, 종래기술 대한민국 등록특허 제10-1288590호에는 미리 정해진 모션을 적외선 카메라를 이용하여 감지하고, 이에 따라 사용자가 원하는 이미지 배경이나 영상을 투사하는 적외선 카메라를 이용한 모션 제어 장치 및 방법에 관한 기술이 개발된 바 있다.

그러나, 종래 기술의 경우, 사용자의 손 움직임을 인식하여 페이지 이동과 확대, 축소, 입체영상 나타내기 등의 간단한 효과만을 구현할 수 있는 문제점이 있었다.

대한민국 등록특허 제10-1288590호

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출된 것으로, 본 발명은 사용자가 실제 현장 내에 존재하는 것 같은 가상 현실감을 느낄 수 있도록, 사용자의 모션 변위량을 감지하여 상기 모션 변위량에 따라 변화된 영상을 투사하는 모션 인식을 활용한 영상 매핑 방법을 제공하는 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 특징에 따르면 본 발명은, 모션인식장치, 제어장치, 영상투사장치 그리고 투사객체를 포함하여 구성되는 모션 인식을 활용한 영상 매핑 방법에 있어서, (A) 제어장치가 데이터베이스에 저장된 가상공간데이터로부터 투사객체에 출력할 투사 영상을 독출하는 단계와; (B) 상기 제어장치가 투사객체의 배열에 따라 상기 투사 영상을 보정하여 개별 영상을 생성하는 단계와; (C) 상기 제어장치가 생성된 상기 개별 영상을 영상투사장치와 매핑하는 단계와; (D) 상기 영상투사장치가 투사객체에 상기 개별 영상을 출력하는 단계; 그리고 (E) 상기 제어장치가 사용자 입력에 따라 출력 영상을 변환하여 출력하는 단계를 포함하여 수행되는 모션을 활용한 퍼포먼스 구현 방법을 포함하여 구성된다.

그리고 상기 제(E)단계는, (E1) 상기 모션인식장치로부터 인식된 사용자 및 사용자의 모션 변화를 상기 제어장치가 수신하는 단계와; (E2) 상기 제어장치가 수신된 사용자의 모션 입력을 판별하는 단계와; (E3) 사용자의 입력 모션이 회전 명령인 경우, 상기 회전 명령에 따라 상기 가상공간데이터의 출력 방향을 변화시키는 단계와; (E4) 사용자의 입력 모션이 이동 명령인 경우, 상기 이동 명령에 따라 상기 가상공간데이터의 출력 위치를 변화시키는 단계; 그리고 (E5) 상기 제(E3)단계 또는 제(E4)단계의 수행 결과, 상기 영상투사장치가 변화된 출력 영상을 상기 투사객체에 출력하는 단계를 포함하여 수행될 수 있다.

또한, 상기 기준위치는 상기 제(E1)단계에서 사용자 인식 시 저장될 수 있다.

한편, 상기 제(E3)단계의 회전 명령은, 상기 기준위치로부터의 사용자의 회전 방향 및 회전량일 수 있다.

그리고 상기 회전 방향 및 회전량은 사용자의 어깨 위치를 기준으로 판단될 수 있다.

또한, 상기 제(E3)단계의 출력 방향의 변화는, 상기 기준위치로부터 전방에 위치한 사용자의 어깨 방향으로, 상기 회전량과 비례적인 속도의 영상 회전일 수 있다.

한편, 상기 제(E4)단계의 이동 명령은, 상기 기준위치로부터 사용자의 위치 변화일 수 있다.

그리고 상기 위치 변화는 사용자 신체의 기울기 방향 및 기울기 변화량으로 판단할 수 있다.

또한, 상기 제(E4)단계의 출력 위치의 변화는, 상기 기준위치로부터 사용자 위치가 변화된 방향으로, 사용자 신체의 기울기 변화량과 비례하는 속도의 영상 이동일 수 있다.

위에서 살핀 바와 같은 본 발명에 의한 모션 인식을 활용한 영상 매핑 방법에서는 다음과 같은 효과를 기대할 수 있다.

본 발명은 사용자의 모션에 따라 객체에 투사되는 영상의 위치 변경 또는 방향 전환이 가능하여, 사용자가 실제 현장 내에 존재하는 것 같은 가상 현실감을 느낄 수 있는 효과가 있다.

도 1은 본 발명에 의한 모션 인식을 활용한 영상 매핑 시스템의 전체구성도.
도 2는 본 발명에 의한 모션 인식을 활용한 영상 매핑 시스템의 구성을 도시한 블록도.
도 3은 본 발명에 의한 모션 인식을 활용한 영상 매핑 방법을 도시한 흐름도.
도 4는 본 발명에 의한 사용자의 입력에 따라 상기 개별 영상을 변환하여 출력하는 방법을 도시한 흐름도.
도 5a 내지 도 5c는 본 발명에서 영상을 회전시키기 위해 사용자가 입력 가능한 모션을 도시한 예시도.
도 6a 내지 도 6c는 본 발명에서 영상을 이동시키기 위해 사용자가 입력 가능한 모션을 도시한 예시도.

이하에서는 첨부된 도면을 참조하여 본 발명의 구체적인 실시예에 의한 모션 인식을 활용한 영상 매핑 방법을 살펴보기로 한다.

먼저, 본 발명에 의한 모션 인식을 활용한 영상 매핑 방법을 실행하기 위한 시스템의 구성을 설명하기로 한다.

도 1은 본 발명에 의한 모션 인식을 활용한 영상 매핑 시스템의 전체구성도이고, 도 2는 본 발명에 의한 모션 인식을 활용한 영상 매핑 시스템의 구성을 도시한 블록도이다.

도 1에 도시된 바와 같이, 본 발명에 의한 모션 인식을 활용한 영상 매핑 시스템은 모션인식장치(100), 제어장치(200), 영상투사장치(300) 그리고 투사객체(400)를 포함하여 구성된다.

상기 모션인식장치(100)는 물체의 움직임을 인식할 수 있는 장치로, 기본적으로 움직임뿐만 아니라 물체의 형태를 인식할 수 있도록 구성된다. 따라서, 상기 모션인식장치(100)는 마이크로소프트사에서 2010년 11월에 출시한 xbox360의 움직임 감지 카메라로 깊이 영상과 색상 영상을 획득할 수 있는 키넥트 카메라로 구성될 수 있다.

상기 키넥트 카메라는 특정한 라이트패턴을 방사하여, 카메라로 왜곡된 라이트패턴을 찍어서 3D 구조물을 인지하는 방식으로, 대략 유효거리 3.5m 내에서, 비교적 큰 640*480의 Depth 해상도, 30FPS 및 저렴한 가격이라는 장점이 있다.

그리고 상기 제어장치(200)는 상기 모션인식장치(100) 그리고 상기 영상투사장치(300)와 연결되어, 상기 투사객체(400)에 매핑할 영상을 독출하고, 분할 영상을 생성하여 상기 영상투사장치(300)로 하여금 매핑하도록 하며, 사용자의 모션에 따라 매핑되는 영상을 변화시키기 위한 장치로, 도 2에 도시된 바와 같이, 기준영상저장부(210), 산출부(220), 영상구성부(230), 제어부(240) 그리고 데이터베이스(250)를 포함하여 구성된다.

먼저, 상기 기준영상저장부(210)는 영상의 초기 화면 설정을 위하여 초기 영상의 위치와 방향을 저장하는 역할을 하고, 상기 산출부(220)는 상기 모션인식장치(100)로부터 전달된 사용자의 영상에서 모션 변위량을 감지하여, 상기 모션 변위량에 따른 회전 속도 또는 이동 속도를 산출하는 역할을 한다.

그리고 상기 영상구성부(230)는 상기 모션과 모션 변위량에 따라 영상을 회전시키거나 이동시켜 변화된 영상을 구성하는 역할을 하며, 상기 데이터베이스(250)는 객체(400)에 투사할 영상에 관한 데이터를 저장하는 역할을 한다.

또한, 상기 제어부(240)는 데이터베이스(250)에 저장된 영상을 독출하여, 분할 영상을 생성하고, 분할 영상을 상기 영상투사장치(300)로 전송하며, 기준영상저장부(210)에 저장된 초기 영상에서 사용자로부터 입력된 모션의 변위에 따라 상기 영상구성부(230)로 하여금 영상을 변화시켜, 변화된 영상을 상기 영상투사장치(300)로 전달하는 역할을 한다.

한편, 상기 영상투사장치(300)는 변화된 영상을 상기 제어장치(200)로부터 전달받아 상기 투사객체(400)에 투사하는 장치로, 상기 투사객체(400)에 영상을 투사하여 사용자가 실제 영상 내에 존재하는 것 같은 가상 현실감을 느끼게 해주는 역할을 한다.

그리고 상기 투사객체(400)는 영상투사장치(300)로부터 영상이 투사되는 객체로, 다각형 플레이트, 스크린 등의 다양한 종류로 형성될 수 있으며, 전방에 설치되는 객체를 기준으로 좌측면, 우측면, 하면으로 배치되는 것이 바람직하다.

이하에서는 본 발명에 의한 모션 인식을 활용한 영상 매핑 방법을 도 3을 참고하여 상세히 설명하도록 한다.

도 3은 본 발명에 의한 모션 인식을 활용한 영상 매핑 방법을 도시한 흐름도이다.

먼저, 본 발명에 의한 모션 인식을 활용한 영상 매핑 방법은 제어장치(200)가 데이터베이스(250)에 저장된 가상 공간 데이터로부터 투사 영상을 독출하는 것으로 시작된다(S100).

여기에서, 상기 투사 영상은 2차원 영상으로부터 독출한 것일 수도 있고, 3차원 영상으로부터 각각의 방향에서 영상을 독출한 것일 수도 있다.

이후, 상기 제어장치(200)는 독출한 영상을 전방, 좌측면, 우측면, 하면을 포함하는 4면으로 구성되는 투사객체(400)에 매핑하기 위하여, 상기 투사 영상을 보정하여 상기 투사객체(400)의 배열 상태와 동일한 배열 구성을 가지는 개별 영상을 생성한다(S200).

예를 들어, 사용자는 마우스 드래그 또는 클릭을 통하여 상기 제어장치(200)에 설치된 영상 분할 프로그램 상에서 각각의 투사객체(400) 위치와 크기를 설정할 수 있으며, 평면으로 구성되는 출력 영상을 4면으로 분할하여 자연스럽게 출력하기 위하여 영상 내 존재하는 사물의 크기를 줄이거나 늘리는 보정을 할 수 있지만 본 명세서에서 이에 대하여 자세히 설명하지는 않기로 한다.

그리고 생성된 상기 개별 영상을 영상투사장치(300)와 매핑하고(S300), 상기 영상투사장치(300)는 4면으로 구성되는 투사객체(400)에 각각 상기 개별 영상을 출력한다(S400).

상기 개별 영상을 출력한 이후에는, 사용자의 입력에 따라 상기 개별 영상을 변환하여 출력한다(S500).

여기서, 사용자의 입력에 따라 상기 개별 영상을 변환하여 출력하는 방법에 대해서는 도 4를 참고하여 상세히 설명하기로 한다.

도 4는 본 발명에 의한 사용자의 입력에 따라 상기 개별 영상을 변환하여 출력하는 방법을 도시한 흐름도이다.

먼저, 본 발명에 의한 사용자의 입력에 따라 상기 개별 영상을 변환하여 출력은 모션인식장치(100)가 사용자를 인식하는 것으로 시작된다(S510).

여기서, 모션의 변위량을 감지하기 위해 사용자의 기준위치를 저장한다.

이후, 상기 제어장치(200)는 사용자의 모션 입력을 감지한다(S520).

본 발명에서는 사용자에게 실제 현장 내에 존재하는 것 같은 가상 현실감을 느끼게 하기 위해서, 사용자의 다양한 움직임을 사용자가 시선을 변화시키기 위한 모션, 사용자가 방향을 바꾸기 위한 모션 그리고 사용자의 위치를 변화시키기 위한 모션으로 구분하여 판단한다.

예를 들어, 일반적인 사용자가 방향을 바꿔 걸어가는 과정을 구분 동작 단위로 살펴보면, 먼저, 바꿀 방향으로 고개를 돌려 바라보고, 그 방향으로 몸을 회전시켜 돌리고, 앞으로 걸어나가서 바뀐 방향으로 이동하게 된다.

이와 같이, 공간 내를 이동하기 위한 사용자의 동작을 세가지로 나눠서 표시할 것이다.

먼저, 사용자가 시선을 변화시키기 위한 모션이라 하면, 통상 사용자가 시선 변화를 위해 얼굴 방향을 돌리는 움직임을 말한다.

이때, 본 발명에서는 상기 투사 객체(400)가 3차원으로 설치되므로, 영상의 변화 없이도, 시선 방향이 변하면 현장에서 시선 방향이 변하는 것과 같은 효과를 나타내게 된다.

따라서, 사용자가 시선을 변화시키기 위한 모션의 경우에는 다른 출력의 변화 없이도 현장에서 이루어지는 것과 같은 효과를 나타낼 수 있다.

한편, 사용자가 방향을 바꾸기 위한 모션을 취한 경우에는, 현실에서는 회전 정도에 따라 실제 보여지는 시야 방향이 결정된다. 그러나, 가상공간에서는 공간의 제약이 있기 때문에 회전 방향이 변하더라도 사용자의 위치는 정위치를 유지시켜야 한다. 따라서, 회전한 상태를 유지하여 출력 형태를 변화시키는 것이 불가능하므로, 회전량과 회전 속도를 결정함에 있어서, 사용자의 신체 회전 유지시간과 각을 이용한다.

예를 들어, 실제에서는 똑같이 신체의 회전각과 속도에 따라서 시야의 변화가 일어나지만, 본 발명에서는 회전각에 따라 회전 변화 속도가 결정되고, 회전 유지 시간에 따라 전체적인 회전량을 결정하게 된다.

이때, 사용자의 신체의 회전에서 변화가 가장 큰 부분이 어깨선이므로, 본 발명의 실시예에서는 어깨선을 기준으로 삼는 것을 원칙으로 한다.

따라서, 사용자 신체 회전의 기준을 어깨선을 기준으로 삼은 경우에, 어깨의 회전 위치와 회전 방향이 매칭되고, 회전 정도와 회전 속도가 매칭된다.

이때, 사용자의 신체 회전이 기준위치로 돌아오는 경우에는, 회전을 정지하게 된다. 이 결과, 사용자의 신체가 회전되어 유지되는 시간 동안 개별 영상이 회전되므로, 결국 회전 유지시간이 전체적인 회전량을 결정하게 된다.

한편, 사용자의 위치를 변화시키기 위한 모션을 취한 경우에는, 사용자 기준위치로부터의 사용자의 위치 변화에 따라서, 상기 위치 변화 방향과 위치 변화 정도에 따라 이동 방향과 이동 속도가 결정된다.

구체적으로는, 상기 기준 위치로부터 신체의 위치가 이동 방향을 결정하고, 상기 기준 위치에서 신체 위치의 상대적인 변화량에 따라 이동 속도를 결정한다.

여기에서도 마찬가지로, 본 발명에서는 공간적인 제약이 있기 때문에, 사용자의 신체가 기준위치로 돌아오는 경우에 개별 영상의 이동을 정지한다. 결국, 이동된 위치로의 유지시간 동안 이동이 지속되므로, 결국 전체적인 개별 영상의 이동량은 이동된 위치에서의 유지시간으로 결정된다.

한편, 바람직하게는 사용자의 신체 위치 변화란 실질적인 사용자의 움직임을 최소화하기 위하여 본 명세서에서는 사용자 신체의 기울기 변화를 기준으로 삼는다.

한편, 상기 제520단계에서 인식한 사용자의 모션이 회전 명령인지 여부를 판별한다(S530).

상기 제530단계의 판별 결과, 사용자의 모션이 회전 명령이라면, 상기 기준위치로부터 모션의 변위량을 감지하고(S540), 상기 모션의 변위량에 따른 회전 방향 및 속도를 산출하게 된다(S550).

본 발명에서 회전 명령이란, 도 5a에 도시된 바와 같이, 정자세로 서있던 사용자의 어깨가 상기 기준위치(S1)로부터 일정 각도 이상 회전한 것을 의미한다.

예를 들어, 도 5a에 도시된 바와 같이, 사용자가 상기 기준위치(S1)로부터 α1의 각도로 우측 어깨를 전방으로 하고 좌측 어깨를 후방으로 하는 모션 명령이 입력된 경우에는, 영상을 α1만큼의 속도로 우측방향으로 회전시켜, 좌측의 투사객체(400)에 출력되던 개별 영상이 회전되어 전방의 투사객체(400)에 출력되도록 한다.

이때, 회전 방향은 어깨 회전의 방향에 대응하고, 회전 속도는 상기 기준 위치(S1)로부터 어깨의 회전각에 비례한다.

그리고 도 5b에 도시된 바와 같이, 사용자가 기준위치(S1)로부터 α2의 각도로 좌측 어깨를 전방으로 하고 우측 어깨를 후방으로 하였을 경우에는, 영상을 α2만큼의 속도로 좌측방향으로 회전시켜, 우측의 투사객체(400)에 출력되던 개별 영상을 좌측으로 회전시켜 전방의 투사객체(400)에 출력되도록 한다.

또한, 도 5c에 도시된 바와 같이, 사용자가 기준위치(S1)로부터 α3의 각도로 우측 어깨를 전방으로 하고 좌측 어깨를 후방으로 하였을 경우에는, 영상을 α3만큼의 속도로 우측방향으로 회전시켜, 회전각이 α1보다 작기 때문에 전술한 바와 같이 도 5a에 도시된 경우보다 영상이 더 느리게 회전하게 된다.

한편, 상기 제530단계의 판별 결과, 사용자의 모션이 회전 명령이 아니라면, 상기 모션이 이동 명령인지 판별한다(S560).

여기에서, 이동 명령이란, 정자세로 기준위치(S2)에 서있던 사용자가 일정방향으로 일정각도 이상 몸을 기울인 것을 의미한다.

그리고 상기 제560단계의 판별 결과, 상기 모션이 이동 명령이라면, 모션의 변위량을 감지하고(S570), 모션 변위량에 따른 이동 방향 및 속도를 산출한다(S580).

여기에서, 모션의 변위량이란 기준위치(S2)로부터 사용자가 기울인 몸의 기울기를 의미하는데, 도 6a에 도시된 바와 같이, 사용자가 몸을 상기 기준위치(S2)로부터 우측으로 β1만큼 기울였을 때, 개별 영상을 β1의 속도로 우측으로 이동시키게 된다.

이때, 이동 방향은 몸이 기울인 방향에 대응되고, 이동 속도는 상기 기준위치(S2)로부터의 몸의 기울기에 비례한다.

그리고 도 6b에 도시된 바와 같이, 사용자가 상기 기준위치(S2)로부터 좌측으로 β2만큼 몸을 기울인 경우에는 개별 영상을 β2의 속도로 좌측으로 이동시킨다.

또한, 도 6c에 도시된 바와 같이, 사용자가 몸을 상기 기준위치(S2)로부터 우측으로 β3만큼 기울였을 때는, 도 6a에 도시된 바와 같이, 사용자가 몸을 기준위치(S2)로부터 우측으로 β1만큼 기울인 것보다 기울기가 작기 때문에, 개별 영상을 느리게 우측으로 이동시키게 된다.

또한, 사용자가 기준위치(S2)로부터 전방으로 몸을 기울인 경우에는, 개별 영상을 전방으로 이동시키고, 사용자가 기준위치(S2)로부터 후방으로 몸을 기울인 경우에는 개별 영상을 후방으로 이동시켜 사용자가 현장에서 움직이는 것 같은 가상 현실감을 느낄 수 있게 한다.

한편, 상기 제560단계의 판별 결과, 상기 모션이 이동 명령이 아니라면, 기설정된 모션이 아니기 때문에 계속해서 사용자의 모션 입력을 감지한다(S520).

또한, 상기 제550단계와 제580단계 이후에는, 상기 영상투사장치(300)가 투사객체(400)에 변화된 개별 영상을 출력하고(S590), 지속적으로 사용자 모션 입력을 감지한다(S520).

본 발명의 권리는 이상에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리 범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.

본 발명은 사용자의 모션을 인식하여 영상을 매핑하는 모션 인식을 활용한 영상 매핑 방법에 관한 것으로, 더욱 상세하게는, 모션인식장치를 이용하여 사용자의 모션을 인식하고, 상기 모션의 변위량에 따른 변화 영상을 투사하는 모션 인식을 활용한 영상 매핑 방법에 관한 것이며, 본 발명은 사용자의 모션에 따라 객체에 투사되는 영상의 위치 변경 또는 방향 전환이 가능하여, 사용자가 실제 현장 내에 존재하는 것 같은 가상 현실감을 느낄 수 있는 효과가 있다.

100 : 모션인식장치 200 : 제어장치
210 : 기준영상저장부 220 : 산출부
230 : 영상구성부 240 : 제어부
250 : 데이터베이스 300 : 영상투사장치
400 : 투사객체

Claims (9)

1. 모션인식장치, 제어장치, 영상투사장치 그리고 투사객체를 포함하여 구성되는 모션 인식을 활용한 영상 매핑 방법에 있어서,
   (A) 제어장치가 데이터베이스에 저장된 가상공간데이터로부터 투사객체에 출력할 투사 영상을 독출하는 단계와;
   (B) 상기 제어장치가 투사객체의 배열에 따라 상기 투사 영상을 보정하여 개별 영상을 생성하는 단계와;
   (C) 상기 제어장치가 생성된 상기 개별 영상을 영상투사장치와 매핑하는 단계와;
   (D) 상기 영상투사장치가 투사객체에 상기 개별 영상을 출력하는 단계; 그리고
   (E) 상기 제어장치가 사용자 입력에 따라 출력 영상을 변환하여 출력하는 단계를 포함하여 수행되고:
   상기 제(E)단계는,
   (E1) 상기 모션인식장치로부터 인식된 사용자 및 사용자의 모션 변화를 상기 제어장치가 수신하는 단계와;
   (E2) 상기 제어장치가 수신된 사용자의 모션 입력을 판별하는 단계와;
   (E3) 사용자의 입력 모션이 회전 명령인 경우, 상기 회전 명령에 따라 상기 가상공간데이터의 출력 방향을 변화시키는 단계와;
   (E4) 사용자의 입력 모션이 이동 명령인 경우, 상기 이동 명령에 따라 상기 가상공간데이터의 출력 위치를 변화시키는 단계; 그리고
   (E5) 상기 제(E3)단계 또는 제(E4)단계의 수행 결과, 상기 영상투사장치가 변화된 출력 영상을 상기 투사객체에 출력하는 단계를 포함하여 수행되며:
   상기 제(E3)단계의 회전 명령은,
   기준위치로부터의 사용자의 회전 방향 및 회전량에 의해 생성되고;
   상기 제(E3)단계의 출력 방향의 변화는,
   상기 기준위치로부터 전방에 위치한 사용자의 상기 회전량과 비례적인 속도의 영상 회전변화이며;
   상기 제(E3)단계의 출력방향의 변화량은,
   상기 사용자의 회전량 및 회전유지시간에 의해 결정되고:
   상기 제(E4)단계의 이동 명령은,
   사용자 신체의 기울기 방향 및 기울기 변화량으로 판단된 상기 기준위치로부터 사용자의 위치 변화에 의해 생성되고;
   상기 제(E4)단계의 출력 위치의 변화는,
   상기 기준위치로부터 사용자 위치가 변화된 방향으로, 사용자 신체의 기울기 변화량과 비례하는 속도의 영상 이동이며;
   상기 제(E4)단계의 출력 위치의 변화량은,
   상기 사용자 신체의 기울기 변화량 및 기울기 변화 유지시간에 의해 결정됨을 특징으로 하는 모션을 활용한 퍼포먼스 구현 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 제 1 항에 있어서,
   상기 회전 방향 및 회전량은 사용자의 어깨 위치를 기준으로 판단함을 특징으로 하는 모션을 활용한 퍼포먼스 구현 방법.
   
6. 제 5 항에 있어서,
   상기 기준위치는 상기 제(E1)단계에서 사용자 인식 시 저장됨을 특징으로 하는 모션을 활용한 퍼포먼스 구현 방법.
   
7. 삭제
8. 삭제
9. 삭제

Images