KR20140078853A

KR20140078853A - 증강현실시스템 및 그 제어방법

Info

Publication number: KR20140078853A
Application number: KR20120148048A
Authority: KR
Inventors: 김학준; 한탁돈; 김하영; 서종훈; 채승호
Original assignee: 삼성전자주식회사
Priority date: 2012-12-18
Filing date: 2012-12-18
Publication date: 2014-06-26
Also published as: US20140168267A1; WO2014098416A1

Abstract

본 발명은 카메라 및 프로젝터를 구비한 증강현실시스템 및 그 제어방법에 관한 것으로서, 증강현실시스템의 제어방법은, 사용자의 제1제스처에 따라 작업영역에서 변환을 수행할 변환영역을 결정하는 단계와; 상기 결정된 변환영역에 대한 촬상이미지를 획득하는 단계와; 상기 획득된 촬상이미지로부터 상기 결정된 변환영역에 대한 가상이미지를 생성하는 단계와; 상기 생성된 가상이미지를 상기 작업영역에 표시하는 단계와; 사용자의 제2제스처에 따라 상기 표시된 가상이미지에 대한 조작 기능을 수행하는 단계를 포함한다.
이에 의하여, 사용자의 편의성을 고려한 다양한 인터랙션을 활용한 증강현실을 구현할 수 있다.

Description

증강현실시스템 및 그 제어방법{AUGMENTED REALITY SYSTEM AND CONTROL METHOD THEREOF}

본 발명은 증강현실시스템 및 그 제어방법에 관한 것으로서, 보다 구체적으로는, 프로젝터와, 카메라를 이용한 증강현실시스템 및 그 제어방법에 관한 것이다.

최근 증강현실시스템에 관한 연구가 계속되어 오고 있다. 그런데, 종래의 증강현실시스템에서는 프로젝터를 이용한 프로젝션 기반 증강현실 상황에 대한 고려가 아직 부족하다. 또한, 사용자와의 인터랙션을 고려할 때, 관련 기술로서 디스플레이장치 상의 터치를 이용하여 인터랙션하는 기술이 있다. 그러나, 이러한 기술에서는 사용자와의 인터랙션이 디스플레이장치 상의 터치에 국한되므로, 사용자의 편의성이 제한된다. 나아가, 종래의 증강현실시스템에서는 카메라를 이용한 비전을 활용한 다양한 시나리오에 대한 고려가 아직 부족하다.

따라서 본 발명의 목적은, 사용자의 편의성을 고려한 다양한 인터랙션을 활용한 프로젝션 기반의 증강현실시스템 및 그 제어방법을 제공하는 것이다.

본 발명의 상기 목적은, 사용자의 제1제스처에 따라 작업영역에서 변환을 수행할 변환영역을 결정하는 단계와; 상기 결정된 변환영역에 대한 촬상이미지를 획득하는 단계와; 상기 획득된 촬상이미지로부터 상기 결정된 변환영역에 대한 가상이미지를 생성하는 단계와; 상기 생성된 가상이미지를 상기 작업영역에 표시하는 단계와; 사용자의 제2제스처에 따라 상기 표시된 가상이미지에 대한 조작 기능을 수행하는 단계를 포함하는 증강현실시스템의 제어방법에 의해서 달성될 수 있다.

증강현실시스템의 제어방법은, 상기 작업영역에 영역가이드를 표시하는 단계와; 상기 사용자의 제1제스처에 따라 상기 표시된 영역가이드를 이동, 확대, 축소 또는 회전시키는 단계를 더 포함하고, 상기 변환영역을 결정하는 단계는, 상기 작업영역에서 상기 영역가이드에 대응하는 부분을 상기 변환영역으로 결정하는 단계를 포함할 수 있다.

증강현실시스템의 제어방법은, 상기 사용자의 제1제스처는 상기 작업영역에 대하여 상기 변환영역을 나타내는 경계를 지정하는 동작을 포함하며, 상기 가상이미지를 생성하는 단계는, 상기 촬상이미지 중에서 상기 지정된 경계에 대응하는 부분에 대하여 상기 가상이미지를 생성하는 단계를 포함할 수 있다.

상기 조작기능은, 상기 가상이미지의 이동, 변형, 회전 및 저장 중 적어도 하나를 포함할 수 있다.

상기 조작기능을 수행하는 단계는, 상기 사용자의 제2제스처에 따라 상기 변환영역의 이동 경로를 지정하는 단계와; 상기 지정된 이동 경로를 따라 상기 가상이미지를 이동시키는 단계를 포함할 수 있다.

증강현실시스템의 제어방법은, 상기 작업영역 상의 적어도 하나의 마커의 위치에 상기 마커에 대응하는 제2가상이미지를 표시하는 단계를 더 포함할 수 있다.

증강현실시스템의 제어방법은, 상기 마커의 이동에 따라 상기 제2가상이미지를 이동시켜 표시하는 단계를 더 포함할 수 있다.

증강현실시스템의 제어방법은, 상기 사용자의 제2제스처에 따라 상기 제2가상이미지에 대한 상기 조작기능을 수행하는 단계를 더 포함할 수 있다.

상기 제2가상이미지는 복수의 메뉴항목을 나타내며, 증강현실시스템의 제어방법은, 상기 복수의 메뉴항목 중에서 사용자의 제3제스처에 따라 선택된 어느 하나의 메뉴항목에 대응하는 효과의 가상이미지를 표시하는 단계를 더 포함할 수 있다.

본 발명의 상기 목적은, 작업영역에 대한 촬상이미지를 획득하는 카메라와; 상기 작업영역에 이미지를 투사하는 프로젝터와; 사용자의 제1제스처에 따라 상기 작업영역에서 변환을 수행할 변환영역을 결정하고, 상기 카메라에 의해 획득된 촬상이미지에 기초하여 상기 결정된 변환영역에 대한 가상이미지를 생성하여, 상기 생성된 가상이미지를 상기 프로젝터를 이용하여 상기 작업영역에 표시하고, 사용자의 제2제스처에 따라 상기 표시된 가상이미지에 대한 조작기능을 수행하도록 제어하는 제어장치를 포함하는 증강현실시스템에 의해서도 달성될 수 있다.

상기 제어장치는, 상기 프로젝터를 이용하여 상기 작업영역에 영역가이드를 표시하고, 상기 사용자의 제1제스처에 따라 상기 표시된 영역가이드를 이동, 확대, 축소 또는 회전시키며, 상기 작업영역에서 상기 영역가이드에 대응하는 부분을 상기 변환영역으로 결정할 수 있다.

상기 사용자의 제1제스처는 상기 작업영역에 대하여 상기 변환영역을 나타내는 경계를 지정하는 동작을 포함하며, 상기 제어장치는, 상기 촬상이미지 중에서 상기 지정된 경계에 대응하는 부분에 대하여 상기 가상이미지를 생성할 수 있다.

상기 제어장치는, 상기 사용자의 제2제스처에 따라 상기 변환영역의 이동 경로를 지정하고, 상기 지정된 이동 경로를 따라 상기 가상이미지를 이동시킬 수 있다.

상기 제어장치는, 상기 프로젝터를 이용하여 상기 작업영역 상의 적어도 하나의 마커의 위치에 상기 마커에 대응하는 제2가상이미지를 표시할 수 있다.

상기 제어장치는, 상기 마커의 이동에 따라 상기 제2가상이미지를 이동시켜 표시할 수 있다.

상기 제어장치는, 상기 사용자의 제2제스처에 따라 상기 제2가상이미지에 대한 상기 조작기능을 수행할 수 있다.

상기 제2가상이미지는 복수의 메뉴항목을 나타내며, 상기 제어장치는, 상기 복수의 메뉴항목 중에서 사용자의 제3제스처에 따라 선택된 어느 하나의 메뉴항목에 대응하는 효과의 가상이미지를 표시할 수 있다.

본 발명의 상기 목적은, 제1가상이미지를 작업영역 혹은 상기 작업영역 내에 있는 사용자의 신체의 일부에 표시하는 단계와; 사용자의 제1제스처에 따라 상기 제1가상이미지를 제2가상이미지로 변경하여 표시하는 단계와; 사용자의 제2제스처에 따라 상기 표시된 제2가상이미지에 대한 조작 기능을 수행하는 단계를 포함하는 증강현실시스템의 제어방법에 의해서도 달성될 수 있다.

상기 표시하는 단계는, 상기 신체의 일부에 대응하는 크기의 상기 제1가상이미지 또는 상기 제2가상이미지를 표시하는 단계를 포함할 수 있다.

증강현실시스템의 제어방법은, 사용자의 제3제스처에 따라 상기 제2가상이미지를 상기 조작기능을 수행할 가상이미지로 선택하는 단계를 더 포함할 수 있다.

증강현실시스템의 제어방법은, 상기 선택된 제2가상이미지를 상기 작업영역에 대응하는 크기로 표시하는 단계를 더 포함할 수 있다.

상기 변경하여 표시하는 단계는, 미리 저장된 복수의 가상이미지 중에서 선택된 상기 제1가상이미지의 표시 후 상기 제1가상이미지의 다음 순서의 상기 제2가상이미지를 표시하는 단계를 포함할 수 있다.

본 발명의 상기 목적은, 작업영역에 대한 촬상이미지를 획득하는 카메라와; 상기 작업영역에 이미지를 투사하는 프로젝터와; 상기 프로젝터를 이용하여 제1가상이미지를 상기 작업영역 혹은 상기 작업영역 내에 있는 사용자의 신체의 일부에 표시하고, 상기 획득된 촬상이미지를 이용하여 사용자의 제1제스처에 따라 상기 제1가상이미지를 제2가상이미지로 변경하여 표시하며, 사용자의 제2제스처에 따라 상기 표시된 제2가상이미지에 대한 조작 기능을 수행하도록 제어하는 제어장치를 포함하는 증강현실시스템에 의해서도 달성될 수 있다.

상기 제어장치는, 상기 신체의 일부에 대응하는 크기의 상기 제1가상이미지 또는 상기 제2가상이미지를 표시할 수 있다.

상기 제어장치는, 사용자의 제3제스처에 따라 상기 제2가상이미지를 상기 조작기능을 수행할 가상이미지로 선택할 수 있다.

상기 제어장치는, 상기 선택된 제2가상이미지를 상기 작업영역에 대응하는 크기로 표시할 수 있다.

상기 제어장치는, 미리 저장된 복수의 가상이미지 중에서 선택된 상기 제1가상이미지의 표시 후 상기 제1가상이미지의 다음 순서의 상기 제2가상이미지를 표시할 수 있다.

상기한 바와 같이, 본 발명에 의하면, 사용자의 편의성을 고려한 다양한 인터랙션을 활용한 프로젝션 기반의 증강현실시스템 및 그 제어방법을 제공할 수 있다.

도 1은 본 발명의 일실시예에 의한 증강현실시스템의 구성을 도시한 블록도이며,
도 2는 본 발명의 일실시예에 의한 증강현실시스템을 이용한 작업이 이루어지는 환경의 일례를 도시하며,
도 3은 본 발명의 일실시예에 의한 카메라 및 프로젝터의 구체적인 구현 형태의 예시들을 나타내며,
도 4는 본 발명의 일실시예에 의한 증강현실시스템의 동작을 도시한 흐름도이며,
도 5는 본 발명의 일실시예에 의한 사용자의 인터랙션과, 이에 대응하는 증강현실시스템의 동작의 일례를 도시하며,
도 6은 본 발명의 일실시예에 의한 사용자의 제스처에 대응하여 가상이미지의 크기를 크게 조작하는 다른 예를 도시하며,
도 7은 본 발명의 일실시예에 의한 사용자의 제스처에 따른 변환영역의 지정과, 가상이미지에 대한 조작기능을 구현한 일례를 도시하며,
도 8은 본 발명의 일실시예에 의한 사용자의 제스처에 따른 변환영역의 지정과, 가상이미지에 대한 조작기능을 구현한 다른 예를 도시하며,
도 9는 본 발명의 일실시예에 의한 사용자의 제스처에 따른 변환영역의 지정과, 가상이미지에 대한 조작기능을 구현한 다른 예를 도시하며,
도 10은 본 발명의 일실시예에 의한 사용자의 제스처에 따라 가상이미지에 대한 조작기능을 구현한 다른 예를 도시하며,
도 11은 본 발명의 일실시예에 의한 사용자의 제스처에 따른 가상 효과를 적용하는 구체적인 예를 도시하며,
도 12는 본 발명의 일실시예에 의한 사용자의 제스처에 따라 가상이미지에 대한 조작기능을 구현한 다른 예를 도시하며,
도 13은 본 발명의 일실시예에 의한 사용자의 제스처에 따른 애니메이션 효과를 적용하는 구체적인 예를 도시하며,
도 14는 본 발명의 일실시예에 의한 증강현실시스템의 동작의 다른 예를 도시하는 흐름도이며,
도 15는 본 발명의 일실시예에 의한 사용자의 제스처에 따라 가상이미지에 대한 조작기능을 구현한 예를 도시하며,
도 16은 본 발명의 일실시예에 의한 사용자의 제스처에 따른 가상이미지를 변경하는 다른 예를 도시하며,
도 17은 본 발명의 일실시예에 의한 사용자의 제스처에 따른 가상이미지의 변경 및 조작기능을 수행하는 다른 예를 도시하며,
도 18은 본 발명의 일실시예에 의한 사용자의 제스처에 따라 가상이미지를 표시하는 다른 예를 도시하며,
도 19는 본 발명의 일실시예에 의한 사용자의 제스처에 따라 가상이미지를 표시하는 보다 구체적인 예를 도시하며,
도 20은 본 발명의 일실시예에 의한 마커를 활용하여 가상이미지를 표시하는 예를 도시하며,
도 21은 본 발명의 일실시예에 의한 마커를 활용하여 가상이미지를 표시하는 보다 구체적인 예를 도시하며,
도 22는 본 발명의 일실시예에 의한 마커를 활용하여 가상이미지를 표시하는 다른 예를 도시하며,
도 23은 본 발명의 일실시예에 의한 마커를 활용하여 가상이미지를 표시하는 보다 구체적인 예를 도시한다.

이하, 본 발명의 일실시예에 관하여 상세히 설명한다. 도 1은 본 발명의 일실시예에 의한 증강현실시스템의 구성을 도시한 블록도이다. 도 2는 증강현실시스템(1)을 이용한 작업이 이루어지는 환경의 일례를 도시한다. 도 1에 도시된 바와 같이, 증강현실시스템(1)은 카메라(11)와, 프로젝터(12)와, 제어장치(13)를 포함할 수 있다. 카메라(11)는 증강현실에서의 비전을 구현하기 위한 것으로서, 작업이 이루어지는 영역(도 2의 21 참조, 이하, '작업영역'이라고도 함)의 촬상이미지를 획득한다. 또한, 카메라(11)는 사용자의 제스처를 인식할 수 있다. 카메라(11)는 하나의 구성으로 구현되거나, 혹은 사용자의 제스처를 인식하기 위한 적외선 방식의 제1카메라와, 작업영역의 이미지를 인식하기 위한 제2카메라를 포함할 수 있다. 프로젝터(12)는 작업영역(21)에 가상이미지(도 2의 24 참조; virtual image)를 투사시켜 표시한다. 제어장치(13)는 카메라(11) 및 프로젝터(12)와 연결되어, 증강현실에 관한 이미지처리와, 전반적인 제어를 수행한다.

제어장치(13)는 카메라(11) 및 프로젝터(12)와 유선 혹은 무선으로 연결될 수 있다. 제어장치(13)는 카메라(11) 및 프로젝터(12) 중 적어도 하나와 별도의 장치로 구현되거나, 혹은 이들과 함께 하나의 장치로 구현될 수도 있다. 제어장치(13)는 카메라(11)를 통하여 획득된 촬상이미지에 기초하여 사용자의 신체의 일부, 예컨대, 손(도 2의 23 참조) 등을 이용한 제스처에 따라 가상이미지(24)를 생성하고, 생성된 가상이미지(24)를 프로젝터(12)를 통하여 작업영역(21)에 표시하도록 제어를 수행한다. 제어장치(13)는, 도 1에 도시된 바와 같이, 인터페이스부(14), 영상처리부(15) 및 제어부(16)를 포함할 수 있다. 인터페이스부(14)는 카메라(11) 및 프로젝터(12)와의 통신을 수행한다. 영상처리부(15)는 제어부(16)의 제어에 따라 카메라(11)를 통하여 획득된 촬상이미지에 대한 이미저처리를 수행하고, 가상이미지(24)를 생성한다. 제어부(16)는 사용자의 제스처에 따라 가상이미지(24)를 생성하고, 생성된 가상이미지(24)가 작업영역(21)에 표시되도록 영상처리부(15)를 제어한다. 제어부(16)는 상기와 같은 제어의 수행을 가능하게 하는 제어프로그램과, 제어프로그램이 저장되는 플래시메모리, 하드디스크 등과 같은 비휘발성의 메모리와, 저장된 제어프로그램의 전부 또는 일부가 일시적으로 로딩되는 램과 같은 휘발성의 메모리와, 로딩된 제어프로그램을 실행하는 CPU와 같은 마이크로프로세서를 포함할 수 있다. 영상처리부(15)도 프로그램인 소프트웨어의 형태로 마련될 수 있으며, 이 경우, 제어부(16)의 하드웨어(비휘발성의 메모리, 휘발성의 메모리 및 마이크로프로세서)를 공유할 수 있다.

도 2를 참조하면, 작업영역(21)은 물리적인 작업공간으로서 책상, 바닥, 벽, 칠판, 종이 등의 평면의 공간을 말한다. 사용자는 실제의 펜(17)을 이용하여 작업영역(21) 상에 그림을 그리거나, 글자(22; 이하, 통칭하여 '그림 등'이라 함)를 쓸 수 있다. 본 발명의 일실시예에 의하면, 카메라(11) 및 프로젝터(12)는 펜(17)에 마련될 수 있다. 도 3은 본 발명의 일실시예에 의한 카메라(11) 및 프로젝터(12)의 구체적인 구현 형태의 예시들을 나타낸다. 카메라(11) 및 프로젝터(12)는, 도 3의 (a)에 도시된 바와 같이, 펜(17)에 직접 부착되어 마련되거나, 도 3의 (b)에 도시된 바와 같이, 펜(17)과는 떨어져 천장, 벽 등(31)에 설치되어 마련될 수 있다. 또는 다른 실시예로서, 카메라(11) 및 프로젝터(12)는, 도 3의 (c)에 도시된 바와 같이, 소정의 지지대(32)에 설치될 수도 있다. 또는 다른 실시예로서, 도 3의 (d)에 도시된 바와 같이, 프로젝터(12)는 카메라(11)와는 별도로 마련되어, 지지대(32)에 마련된 반사수단(33)을 통해 가상이미지를 투사시킬 수 있다. 다른 실시예로서, 도시되지는 않으나, 카메라(11) 및 프로젝터(12) 모두가 반사수단(33)을 통해 촬상 및 투사를 할 수도 있다. 도 2 및 3과, 이하의 도면에서는, 편의 상 제어장치(13)의 도시는 생략된다.

도 2를 다시 참조하면, 사용자는 작업영역(21) 상에서 증강현실의 인터랙션을 위한 제스처(23)를 한다. 사용자의 제스처(23)는 다양할 수 있으며, 예컨대, 펜(17)을 쥐고 있지 않은 다른 손을 이용하여 이루어질 수 있다. 사용자의 제스처(23)는 특정한 손의 모양이나, 동작을 포함할 수 있다. 카메라(11)는 제스처(23)를 포함하는 촬상이미지를 획득한다. 획득된 촬상이미지는 제어장치(13)에 전달된다. 제어장치(13)는 사용자의 제스처(23)에 대응하는 가상이미지(24)를 생성한다. 생성된 가상이미지(24)는 프로젝터(12)를 통해 작업영역(21) 상에 표시된다. 가상이미지(24)는 정지된 이미지뿐만 아니라, 움직이는 이미지를 포함한다. 가상이미지(24)는 사용자의 손 등의 신체의 일부(23)에 표시될 수도 있고, 사용자의 신체의 일부(23)를 벗어난 작업영역(21) 상의 임의의 위치에 표시될 수도 있다. 또한, 가상이미지(24)는 사용자가 펜(17)을 이용하여 작업 중인 그림 등(22)에 대응하는 위치에 표시될 수도 있고, 혹은 그림 등(22)과는 무관하게 작업영역(21) 상의 다른 위치에 표시될 수도 있다. 또한, 사용자는 손으로 만질 수 있는 실제의 오브젝트인 마커(26)를 활용하여 인터랙션할 수도 있다(상세하게는 후술함).

도 4는 본 발명의 일실시예에 의한 증강현실시스템(1)의 동작을 도시한 흐름도이다. 먼저, 동작 S41에서, 증강현실시스템(1)은 사용자의 제1제스처에 따라 작업영역(21)에서 변환을 수행할 변환영역을 결정한다. 다음으로, 동작 S42에서, 증강현실시스템(1)은 카메라(11)를 이용하여, 결정된 변환영역에 대한 촬상이미지를 획득한다. 다음으로, 동작 S43에서, 증강현실시스템(1)은 제어장치(13)를 이용하여, 획득된 촬상이미지로부터 변환영역에 대한 가상이미지(24)를 생성한다. 다음으로, 동작 S44에서, 증강현실시스템(1)은 프로젝터(12)를 이용하여, 생성된 가상이미지(24)를 작업영역(21)에 표시한다. 다음으로, 동작 S45에서, 증강현실시스템(1)은 사용자의 제2제스처에 따라, 표시된 가상이미지(24)에 대한 조작기능을 수행한다. 이하, 본 발명의 일실시예에 의한 증강현실시스템(1)에 관하여 보다 구체적으로 설명한다.

도 5는 본 발명의 일실시예에 의한 사용자의 인터랙션과, 이에 대응하는 증강현실시스템(1)의 동작의 일례를 도시한다. 먼저, 도 5의 (a1)을 참조하면, 사용자는 작업영역(21) 상에 펜(17)을 이용하여 그림 등(51)을 그린다. 다른 실시예로서, 도 5의 (a2)을 참조하면, 작업영역(21) 상에는 그림 등이 포함된 신문이나, 잡지, 사진 등(52)이 마련될 수도 있다. 다음으로, 도 5의 (b1)을 참조하면, 사용자는 소정의 제스처(581)를 하여 변환하고자 하는 변환영역(53)을 지정한다. 변환영역(53)을 지정하는 사용자의 제스처(581)는 다양할 수 있으며, 예컨대, 그림 등(51)의 위에 변환영역(53)에 대응하는 박스 형태를 지정하는 손 동작일 수 있다. 본 실시예에서는, 변환영역(53)의 지정을 가이드하기 위한 소정의 이미지(상세하게는 후술함)를 표시할 수 있다. 다른 실시예로서, 도 5의 (b2)을 참조하면, 사용자는 변환영역을 지정하기 위한 제스처로서, 펜(17)을 이용하여 신문 등(52)에 변환영역을 나타내는 경계(54)를 그릴 수 있다. 변환영역(53) 또는 경계(54)가 지정 혹은 결정되면, 제어장치(13)는 변환영역(53) 또는 경계(54) 범위 내의 변환영역을 포함하는 촬상이미지를 이미지 분석하여, 변환영역(53) 또는 경계(54) 범위 내의 변환영역에 대응하는 가상이미지를 생성한다.

다음으로, 도 5의 (c1)을 참조하면, 증강현실시스템(1)은 생성된 가상이미지(55)를 변환영역(53)에 투사시켜 표시한다. 다른 실시예로서, 도 5의 (c2)을 참조하면, 증강현실시스템(1)은 생성된 가상이미지(56)를 경계(54) 범위의 변환영역에 투사시켜 표시한다. 다음으로, 도 5의 (d1)을 참조하면, 사용자는 표시된 가상이미지(55)에 대하여 소정 조작기능을 위한 제스처(583)를 한다. 예컨대, 사용자는 가상이미지(55) 위에 손을 덮었다가 떼는 제스처(583)를 함으로써, 가상이미지(55)를 증강현실시스템(1)에 저장시키는 조작기능을 수행하도록 할 수 있다. 다른 예로서, 도 5의 (d2)을 참조하면, 사용자는 가상이미지(55) 위를 손가락으로 터치한 상태로 소정 방향(56)으로 드래그함으로써, 증강현실시스템(1)이 가상이미지(55, 57)를 이동시키는 조작기능을 수행하도록 할 수 있다. 또 다른 예로서, 사용자는 두 개의 손가락으로 가상이미지(57)를 터치한 채로 두 손가락을 벌림으로써, 증강현실시스템(1)이 가상이미지(57)의 크기를 크게 하는 조작기능을 수행하도록 할 수 있다. 도 5의 (e)를 참조하면, 증강현실시스템(1)은 사용자의 다양한 제스처에 대응하는 가상이미지(57)에 대한 조작기능을 수행하며, 사용자는 가상이미지(57)를 조작하면서, 펜(17)을 이용하여 원하는 그림 등(511)을 그릴 수 있다. 즉, 사용자의 다양한 제스처에 대응하는 조작에 따라 가상이미지(57)가 이동, 변형 또는 회전되면서 일련의 과정으로 변화된다.

도 6은 사용자의 제스처(61)에 대응하여 가상이미지(62)의 크기를 크게 조작하는 다른 예를 도시한다. 가상이미지(62)에 대한 조작기능은 이에 한정되지 않으며, 가상이미지(62)의 크기를 작게 하거나, 가상이미지(62)를 회전시키거나, 가상이미지(62)의 색상이나, 질감을 변화시키는 등 다양할 수 있다. 본 실시예에 의하면, 변형된 가상이미지(62)는 실제의 그림과 함께 비교 또는 참조될 수 있어서, 사용자의 편의성이 향상된다.

도 7은 사용자의 제스처에 따른 변환영역의 지정과, 가상이미지에 대한 조작기능을 구현한 일례를 도시한다. 먼저, 도 7의 (a)를 참조하면, 증강현실시스템(1)은 변환영역의 지정을 가이드하기 위하여, 그림 등(71)의 위에 가이드이미지(73)를 표시한다. 본 실시예의 가이드이미지(73)는 박스형태일 수 있다. 도시되지는 않으나, 증강현실시스템(1)은 가이드이미지(73)의 중심점을 나타내는 커서를 더 표시할 수 있다. 사용자는 커서를 터치하여 드래그하는 제스처(72)를 통해 가이드이미지(73)의 중심점을 이동시킬 수 있다. 가이드이미지(73)의 중심점이 소정 위치에서 정해지면, 가이드이미지(73)는 중심점에서 작은 크기로 시작하여, 사용자의 제스처(72)에 따라 점점 크게 변할 수 있다. 사용자는 가이드이미지(73)가 원하는 크기에 도달하면 제스처(72)를 중지하며, 증강현실시스템(1)은 현재의 가이드이미지(73)에 대응하는 영역을 변환영역으로 결정한다. 다음으로, 도 7의 (b)를 참조하면, 증강현실시스템(1)은 가이드이미지(73)에 의해 결정된 변환영역에 대응하는 가상이미지(74)를 생성하고, 생성된 가상이미지(74)를 표시한다. 사용자는 추가의 제스처(75)를 함으로써, 예컨대, 가상이미지(74)를 터치한 채로 손가락을 벌리거나, 좁힘으로써, 가상이미지(74)의 크기가 커지거나, 작아지도록 할 수 있다. 증강현실시스템(1)은 촬상이미지를 분석하여 사용자의 제스처(75)를 파악하고, 대응하는 조작기능으로서 가상이미지(74)의 크기를 변경하여 표시한다.

도 8은 사용자의 제스처에 따른 변환영역의 지정과, 가상이미지에 대한 조작기능을 구현한 다른 예를 도시한다. 본 실시예에서, 사용자는 작업영역(21) 상에 놓여진 사진, 잡지, 신문 등에 포함된 그림 등(82)에 대하여 펜(17)을 이용하여, 변환영역을 지정하기 위한 경계(83)를 그린다. 다른 실시예로서, 그림 등(82)은 사용자가 미리 그려둔 것일 수도 있다. 이어, 사용자가 변환 영역을 결정하고자 하는 제스처, 예컨대, 경계(83) 범위 내의 변환 영역을 터치하는 제스처를 하면, 경계(83) 범위 내의 변환 영역에 대응하는 가상이미지(85)가 표시된다. 이어, 사용자가 가상이미지(85)를 터치한 채로 드래그하는 제스처(84)를 하면, 가상이미지(85)가 사용자가 그리고 있는 그림(81)으로 이동된다. 다른 실시예로서, 그림(81)은 사용자가 현재 그리고 있는 것은 물론, 이전에 그려둔 것일 수도 있다. 본 실시예에 의하면, 여러 그림들로부터 원하는 그림들의 조각들을 모아서 활용하는 것이 가능하다.

도 9는 사용자의 제스처에 따른 변환영역의 지정과, 가상이미지에 대한 조작기능을 구현한 다른 예를 도시한다. 먼저, 도 9의 (a)를 참조하면, 사용자는 작업영역(21) 상에 놓여진 그림(91)에 대하여 변환영역을 지정하기 위한 경계(92)를 그린다. 도 9의 (b)를 참조하면, 그림(91)에 대하여 변환영역을 지정하기 위한 경계(92)가 다 그려지면, 증강현실시스템(1)은 촬상이미지를 분석하여 경계(92)를 파악하고, 경계(92) 범위 내의 변환영역의 가상이미지를 생성한다. 증강현실시스템(1)은 생성된 가상이미지를 우선 경계(92)에 대응하는 위치에 표시한다. 이어, 사용자의 제스처(93)가 있으면, 증강현실시스템(1)은 사용자의 제스처(93)에 대응하여 가상이미지에 대한 조작기능을 수행한다. 도 9의 (b)의 경우, 사용자가 가상이미지(94)를 터치한 채로 아래로 드래그하는 제스처(93)를 하면, 가상이미지(94)를 드래그하는 방향으로 이동시켜 표시한다.

도 10은 사용자의 제스처에 따라 가상이미지에 대한 조작기능을 구현한 다른 예를 도시한다. 본 실시예에서는, 사용자의 제스처(102)에 의해 그림(101)에 소정의 가상 효과(103)를 적용해 볼 수 있다. 도 11은 사용자의 제스처에 따른 가상 효과를 적용하는 구체적인 예를 도시한다. 먼저, 도 11의 (a)를 참조하면, 작업영역(21)에 그림(111)이 그려져 있다. 사용자는 그림(111)에 가상 효과를 적용하기 위한 제스처를 하기 직전의 준비상태(112)에 있다. 예컨대, 제스처의 준비상태(112)는 그림(111)의 영역 바깥의 위치에서 손바닥을 펴서 세워 둔 상태일 수 있다. 다음으로, 도 11의 (b)를 참조하면, 사용자는 손바닥을 세운 채로 그림(111) 위를 훑듯이 지나가는 제스처(113)를 한다. 증강현실시스템(1)은 이와 같은 제스처(113)에 대응하는 조작기능으로서, 그림(111)에서 손바닥이 지나간 부분에 소정의 가상 효과(114)를 적용하여 표시한다. 가상 효과(114)는 그림(111)에 소정 색상을 입혀 본다거나, 소정 질감을 적용하는 것일 수 있다. 도 11의 (c)를 참조하면, 사용자의 제스처(116)는 손바닥이 그림(115)을 완전히 지나간 상태이고, 증강현실시스템(1)은 그림(115) 전체에 대하여 소정 색상 혹은 질감을 적용한다.

도 12는 사용자의 제스처에 따라 가상이미지에 대한 조작기능을 구현한 다른 예를 도시한다. 본 실시예에서는, 사용자의 제스처(122)에 의해 그림(121)에 애니메이션 효과(123)를 적용해 볼 수 있다. 도 13은 사용자의 제스처에 따른 애니메이션 효과를 적용하는 구체적인 예를 도시한다. 먼저, 도 13의 (a)를 참조하면, 사용자는 그림(131)에 대하여 애니메이션 효과를 적용할 이동경로(133)를 지정하는 제스처(132)를 할 수 있다. 구체적으로는, 우선 사용자는 그림(131)을 터치한 채로 원하는 이동경로(133)로 드래그한다. 증강현실시스템(1)은 사용자의 제스처(132)에 따라 이동경로(133)를 가상이미지로서 표시한다. 사용자가 소정 지점(136)에서 드래그를 소정 시간 동안 멈추면, 증강현실시스템(1)은 해당 시간(예컨대 2.5초)을 이동경로(133) 상에 가상이미지로서 표시한다. 사용자는 계속하여 이동경로(133)를 지정하는 제스처(132)를 하며, 증강현실시스템(1)은 제스처(132)에 따라 이동경로(133)를 가상이미지로서 표시한다. 도 13의 (b)를 참조하면, 이동경로(134)의 지정이 완료되면, 증강현실시스템(1)은 그림(131)에 대응하는 가상이미지(135)를 생성하고, 가상이미지(135)를 그림(131)로부터 이동경로(134)를 따라 점차적으로 이동시켜 표시함으로써 애니메이션 효과를 제공한다. 가상이미지(135)를 이동시키는 속도는 사용자가 지정한 시간에 기초한다.

도 14는 본 발명의 일실시예에 의한 증강현실시스템(1)의 동작의 다른 예를 도시하는 흐름도이다. 먼저, 동작 S141에서, 증강현실시스템(1)은 제1가상이미지를 작업영역 혹은 사용자의 신체의 일부에 표시한다. 다음으로, 동작 S142에서, 증강현실시스템(1)은 사용자의 제1제스처에 따라 제1가상이미지를 제2가상이미지로 변경하여 표시한다. 동작 S143에서, 증강현실시스템(1)은 사용자의 제2제스처에 따라 제2가상이미지에 대한 조작기능을 수행한다. 이하, 본 실시예에 대하여 보다 구체적으로 설명한다.

도 15는 본 발명의 일실시예에 의한 사용자의 제스처에 따라 가상이미지에 대한 조작기능을 구현한 예를 도시한다. 먼저, 도 15의 (a1)을 참조하면, 증강현실시스템(1)은 사용자의 신체의 일부, 예컨대, 사용자의 손바닥(151)에 제1가상이미지(152)를 표시한다. 이 경우, 증강현실시스템(1)은 촬상이미지를 분석하여 사용자의 손바닥(151)의 위치와, 영역을 파악하고, 이에 대응하는 위치와, 크기의 제1가상이미지(152)를 표시할 수 있다. 다른 실시예로서, 도 15의 (a2)을 참조하면, 증강현실시스템(1)은 작업영역(21) 상에 제1가상이미지(154)를 표시할 수도 있다. 이 경우, 증강현실시스템(1)은 사용자의 손(153)의 위치나, 모양에 대응하는 위치와, 크기의 제1가상이미지(154)를 표시할 수 있다.

다음으로, 도 15의 (b1)을 참조하면, 사용자는 손을 이용한 제스처(155)를 하여 제1가상이미지(152)를 제2가상이미지(155)로 변경한다. 혹은 사용자의 제스처는 펜(17)을 이용한 것일 수도 있다. 다른 실시예로서, 도 15의 (b2)는 제1가상이미지(154)를 제2가상이미지(158)로 변경하는 사용자의 제스처(155)의 다른 예를 보여준다. 다음으로, 도 15의 (c1)을 참조하면, 사용자는 손을 이용한 추가의 제스처(159)를 하여 제2가상이미지(1591)에 대한 조작기능이 이루어지도록 한다. 다른 실시예로서, 도 15의 (c2)는 제2가상이미지(1593)에 대한 조작기능이 이루어지도록 하는 사용자의 제스처(1592)의 다른 예를 보여준다. 본 실시예의 조작기능은 도 1 내지 14를 참조하여 설명한 조작기능과 마찬가지일 수 있다. 다음으로, 도 15의 (d)을 참조하면, 사용자는 제2가상이미지(1594)에 대한 조작을 하면서, 펜(17)을 이용하여 그림 등(1595)을 계속하여 그릴 수 있다. 도 16은 사용자의 제스처(161)에 따른 가상이미지(162)를 변경하는 다른 예를 도시한다. 이와 같이, 사용자는 자신의 손바닥을 가상 이미지를 표시할 수 있는 보조 디스플레이로서 활용할 수 있다.

도 17은 사용자의 제스처에 따른 가상이미지의 변경 및 조작기능을 수행하는 다른 예를 도시한다. 먼저, 도 17의 (a)를 참조하면, 사용자가 손바닥을 펼치는 제스처(171)를 하면, 증강현실시스템(1)은 사용자의 손바닥 위에 가상이미지(172)를 표시한다. 가상이미지(172)는 증강현실시스템(1)에 저장된 복수의 가상이미지 중의 하나일 수 있다. 증강현실시스템(1)에 저장된 복수의 가상이미지는 도 5의 (d1)을 참조하여 설명한 저장의 조작기능에 의해 저장될 것일 수 있다. 가상이미지(172)가 표시된 상태에서, 예컨대, 사용자가 손을 쥐었다가 다시 펴는 제스처를 하면, 증강현실시스템(1)은 저장된 복수의 가상이미지 중에서 현재 표시되고 있는 것의 다음 순서의 가상이미지를 표시할 수 있다. 이에 의해, 사용자의 제스처(171)에 따라 가상이미지(172)가 변경될 수 있다. 이와 같이, 사용자는 제스처(171)를 통해 원하는 가상이미지(172)를 검색할 수 있다.

다음으로, 도 17의 (b)를 참조하면, 사용자는 원하는 가상이미지(172)가 검색되면, 다른 제스처, 예컨대, 손바닥을 세운 다음 주먹을 쥐는 제스처(173)를 하고, 이에 따라 증강현실시스템(1)은 크기가 축소된 가상이미지(174)를 사용자의 주먹 위에 표시되도록 한다. 다른 실시예로서, 가상이미지(174)는 사용자의 주먹이 아닌 다른 곳에 표시될 수도 있다. 다음으로, 도 17의 (c)를 참조하면, 사용자가 새로운 제스처, 예컨대, 두 손가락을 펴서 작업영역(21)을 짚는 제스처(175)를 하면, 증강현실시스템(1)은 작업영역(21) 상에 작업에 적합한 크기의 가상이미지(176)를 표시한다. 이에 따라, 사용자는 가상이미지(176)에 활용하여 실제 그림 작업(177)을 계속할 수 있다. 예컨대, 사용자는 두 손가락을 이용한 제스처를 통해 가상이미지(176)의 크기를 축소 또는 확대하거나, 다른 제스처를 이용하여 가상이미지(176)를 이동 혹은 회전시킬 수 있다.

도 18은 사용자의 제스처에 따라 가상이미지를 표시하는 다른 예를 도시한다. 본 실시예에서, 사용자는 소정 제스처, 예컨대 손을 직각 모양으로 하여, 손등을 위로 한 채 작업영역(21)에 올려 놓는 제스처(181)를 통해서, 대응하는 가상이미지(182)가 표시되고, 사용자는 이를 활용하여 그림 등(183)을 그리는 작업을 할 수가 있다.

구체적인 예로서, 도 19의 (a)는, 예컨대 손을 직각 모양으로 하여, 손등을 위로 한 채 작업영역(21)에 올려 놓는 제스처(192)에 대응하여, 그림(191) 상에 작업을 가이드하는 격자 표시의 가상이미지(193)가 표시되는 예를 도시한다. 도 19의 (b)는, 예컨대, 엄지과 검지를 소정 정도 벌린 상태로 작업영역(21)에 올려 놓는 제스처(194)에 대응하여, 그림(191)의 소실점을 가늠할 수 있게 하는 각도 표시의 가상이미지(195)가 표시되는 예를 도시한다. 한편, 도 19의 (c)는, 도 19의 (a)에서와 유사한 제스처에서 사용자가 손을 든 후 다시 작업영역(21)에 올려 놓는 제스처(197)에 대응하여, 그림(196)에 소정 색상이나, 질감, 배경이미지 등을 미리 적용해 보는 효과의 가상이미지(198)가 표시되는 예를 도시한다.

도 20은 마커(marker)를 활용하여 가상이미지를 표시하는 예를 도시한다. 본 실시예의 마커(202)는 작업영역(21) 상에 올려 놓을 수 있는 소정 형상의 물체로서, 사용자가 실제로 만지고 이동 가능하다. 증강현실시스템(1)은 마커(202)를 인식하여 이에 대응하는 그림 등(201)의 내용과 연관된 가상 이미지(203)를 표시할 수 있다. 이에 따라, 사용자는 마커(202)를 활용하여 이를 움직이면서 그림 등의 구도나, 배치를 손쉽게 변경해 볼 수 있다.

구체적인 예로서, 도 21의 (a)는, 그림(211) 위에 마커(212)가 놓여진 위치에 대응하는 가상이미지(213)가 표시되는 예를 도시한다. 가상이미지(213)는 예컨대, 마커(212)에 마련된 모양에 대응하여 나무, 자동차 등을 나타낼 수 있다. 도 21의 (b)를 참조하면, 사용자는 마커(214)를 집어 옮길 수 있으며, 증강현실시스템(1)은 마커(214)의 이동을 인식하여, 대응하는 자동차의 가상이미지(215)를 마커(214)의 이동에 따라 이동시켜 표시한다. 도 21의 (c)를 참조하면, 사용자는 제스처(216)를 하여, 마커(218)에 표시된 가상이미지(217)에 대한 조작기능, 예컨대, 가상이미지(217)의 크기를 크게 하거나, 작게 할 수 있다.

도 22는 마커를 활용하여 가상이미지를 표시하는 다른 예를 도시한다. 본 실시예의 마커(221)에 대응하여 표시되는 가상이미지(222)는 복수의 메뉴항목을 포함한다. 사용자는 복수의 메뉴항목 중 어느 하나(223)를 선택하고, 이를 그림(225)에 적용하는 제스처(224)를 할 수 있으며, 증강현실시스템(1)은 이러한 제스처(224)에 따라 선택된 메뉴항목(223)에 대응하는 효과의 가상이미지(226)를 그림(225)에 표시할 수 있다.

구체적인 예로서, 도 23의 (a)는, 작업영역(21) 상의 소정 위치에 마커(231)가 놓여 있는 상태를 도시한다. 증강현실시스템(1)은 마커(231)를 인식하여 복수의 메뉴항목을 포함하는 가상이미지(232)를 표시한다. 본 실시예의 메뉴항목은 색상 팔레트일 수 있다. 다음으로, 도 23의 (b)를 참조하면, 사용자는 가상이미지(232)의 복수의 메뉴항목 중 어느 하나(233)를 선택한다. 이어, 도 23의 (c)에 도시된 바와 같이, 사용자가 그림의 소정 부분(234)을 선택하면, 증강현실시스템(1)은 선택된 메뉴항목(233)의 색상을 그림의 소정 부분(234)에 적용하는 효과의 가상이미지(235)를 표시한다.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

1: 증강현실시스템
11: 카메라
12: 프로젝터
13: 제어장치

Claims

사용자의 제1제스처에 따라 작업영역에서 변환을 수행할 변환영역을 결정하는 단계와;
상기 결정된 변환영역에 대한 촬상이미지를 획득하는 단계와;
상기 획득된 촬상이미지로부터 상기 결정된 변환영역에 대한 가상이미지를 생성하는 단계와;
상기 생성된 가상이미지를 상기 작업영역에 표시하는 단계와;
사용자의 제2제스처에 따라 상기 표시된 가상이미지에 대한 조작 기능을 수행하는 단계를 포함하는 증강현실시스템의 제어방법.
제1항에 있어서,
상기 작업영역에 영역가이드를 표시하는 단계와;
상기 사용자의 제1제스처에 따라 상기 표시된 영역가이드를 이동, 확대, 축소 또는 회전시키는 단계를 더 포함하고,
상기 변환영역을 결정하는 단계는, 상기 작업영역에서 상기 영역가이드에 대응하는 부분을 상기 변환영역으로 결정하는 단계를 포함하는 증강현실시스템의 제어방법.
제1항에 있어서,
상기 사용자의 제1제스처는 상기 작업영역에 대하여 상기 변환영역을 나타내는 경계를 지정하는 동작을 포함하며,
상기 가상이미지를 생성하는 단계는,
상기 촬상이미지 중에서 상기 지정된 경계에 대응하는 부분에 대하여 상기 가상이미지를 생성하는 단계를 포함하는 증강현실시스템의 제어방법.
제1항에 있어서,
상기 조작기능은, 상기 가상이미지의 이동, 변형, 회전 및 저장 중 적어도 하나를 포함하는 증강현실시스템의 제어방법.
제1항에 있어서,
상기 조작기능을 수행하는 단계는,
상기 사용자의 제2제스처에 따라 상기 변환영역의 이동 경로를 지정하는 단계와;
상기 지정된 이동 경로를 따라 상기 가상이미지를 이동시키는 단계를 포함하는 증강현실시스템의 제어방법.
제1항에 있어서,
상기 작업영역 상의 적어도 하나의 마커의 위치에 상기 마커에 대응하는 제2가상이미지를 표시하는 단계를 더 포함하는 증강현실시스템의 제어방법.
제6항에 있어서,
상기 마커의 이동에 따라 상기 제2가상이미지를 이동시켜 표시하는 단계를 더 포함하는 증강현실시스템의 제어방법.
제6항에 있어서,
상기 사용자의 제2제스처에 따라 상기 제2가상이미지에 대한 상기 조작기능을 수행하는 단계를 더 포함하는 증강현실시스템의 제어방법.
제6항에 있어서,
상기 제2가상이미지는 복수의 메뉴항목을 나타내며,
상기 복수의 메뉴항목 중에서 사용자의 제3제스처에 따라 선택된 어느 하나의 메뉴항목에 대응하는 효과의 가상이미지를 표시하는 단계를 더 포함하는 증강현실시스템의 제어방법.
작업영역에 대한 촬상이미지를 획득하는 카메라와;
상기 작업영역에 이미지를 투사하는 프로젝터와;
사용자의 제1제스처에 따라 상기 작업영역에서 변환을 수행할 변환영역을 결정하고, 상기 카메라에 의해 획득된 촬상이미지에 기초하여 상기 결정된 변환영역에 대한 가상이미지를 생성하여, 상기 생성된 가상이미지를 상기 프로젝터를 이용하여 상기 작업영역에 표시하고, 사용자의 제2제스처에 따라 상기 표시된 가상이미지에 대한 조작기능을 수행하도록 제어하는 제어장치를 포함하는 증강현실시스템.
제10항에 있어서,
상기 제어장치는, 상기 프로젝터를 이용하여 상기 작업영역에 영역가이드를 표시하고, 상기 사용자의 제1제스처에 따라 상기 표시된 영역가이드를 이동, 확대, 축소 또는 회전시키며, 상기 작업영역에서 상기 영역가이드에 대응하는 부분을 상기 변환영역으로 결정하는 증강현실시스템.
제10항에 있어서,
상기 사용자의 제1제스처는 상기 작업영역에 대하여 상기 변환영역을 나타내는 경계를 지정하는 동작을 포함하며,
상기 제어장치는, 상기 촬상이미지 중에서 상기 지정된 경계에 대응하는 부분에 대하여 상기 가상이미지를 생성하는 증강현실시스템.
제10항에 있어서,
상기 조작기능은, 상기 가상이미지의 이동, 변형, 회전 및 저장 중 적어도 하나를 포함하는 증강현실시스템.
제10항에 있어서,
상기 제어장치는, 상기 사용자의 제2제스처에 따라 상기 변환영역의 이동 경로를 지정하고, 상기 지정된 이동 경로를 따라 상기 가상이미지를 이동시키는 증강현실시스템.
제10항에 있어서,
상기 제어장치는, 상기 프로젝터를 이용하여 상기 작업영역 상의 적어도 하나의 마커의 위치에 상기 마커에 대응하는 제2가상이미지를 표시하는 증강현실시스템.
제15항에 있어서,
상기 제어장치는, 상기 마커의 이동에 따라 상기 제2가상이미지를 이동시켜 표시하는 증강현실시스템.
제15항에 있어서,
상기 제어장치는, 상기 사용자의 제2제스처에 따라 상기 제2가상이미지에 대한 상기 조작기능을 수행하는 증강현실시스템.
제15항에 있어서,
상기 제2가상이미지는 복수의 메뉴항목을 나타내며,
상기 제어장치는, 상기 복수의 메뉴항목 중에서 사용자의 제3제스처에 따라 선택된 어느 하나의 메뉴항목에 대응하는 효과의 가상이미지를 표시하는 증강현실시스템.
제1가상이미지를 작업영역 혹은 상기 작업영역 내에 있는 사용자의 신체의 일부에 표시하는 단계와;
사용자의 제1제스처에 따라 상기 제1가상이미지를 제2가상이미지로 변경하여 표시하는 단계와;
사용자의 제2제스처에 따라 상기 표시된 제2가상이미지에 대한 조작 기능을 수행하는 단계를 포함하는 증강현실시스템의 제어방법.
제19항에 있어서,
상기 표시하는 단계는,
상기 신체의 일부에 대응하는 크기의 상기 제1가상이미지 또는 상기 제2가상이미지를 표시하는 단계를 포함하는 증강현실시스템의 제어방법.
제19항에 있어서,
사용자의 제3제스처에 따라 상기 제2가상이미지를 상기 조작기능을 수행할 가상이미지로 선택하는 단계를 더 포함하는 증강현실시스템의 제어방법.
제21항에 있어서,
상기 선택된 제2가상이미지를 상기 작업영역에 대응하는 크기로 표시하는 단계를 더 포함하는 증강현실시스템의 제어방법.
제19항에 있어서,
상기 변경하여 표시하는 단계는,
미리 저장된 복수의 가상이미지 중에서 선택된 상기 제1가상이미지의 표시 후 상기 제1가상이미지의 다음 순서의 상기 제2가상이미지를 표시하는 단계를 포함하는 증강현실시스템의 제어방법.
제19항에 있어서,
상기 조작기능은, 상기 가상이미지의 이동, 변형, 회전 및 저장 중 적어도 하나를 포함하는 증강현실시스템의 제어방법.
작업영역에 대한 촬상이미지를 획득하는 카메라와;
상기 작업영역에 이미지를 투사하는 프로젝터와;
상기 프로젝터를 이용하여 제1가상이미지를 상기 작업영역 혹은 상기 작업영역 내에 있는 사용자의 신체의 일부에 표시하고, 상기 획득된 촬상이미지를 이용하여 사용자의 제1제스처에 따라 상기 제1가상이미지를 제2가상이미지로 변경하여 표시하며, 사용자의 제2제스처에 따라 상기 표시된 제2가상이미지에 대한 조작 기능을 수행하도록 제어하는 제어장치를 포함하는 증강현실시스템.
제25항에 있어서,
상기 제어장치는, 상기 신체의 일부에 대응하는 크기의 상기 제1가상이미지 또는 상기 제2가상이미지를 표시하는 증강현실시스템.
제25항에 있어서,
상기 제어장치는, 사용자의 제3제스처에 따라 상기 제2가상이미지를 상기 조작기능을 수행할 가상이미지로 선택하는 증강현실시스템.
제27항에 있어서,
상기 제어장치는, 상기 선택된 제2가상이미지를 상기 작업영역에 대응하는 크기로 표시하는 증강현실시스템.
제25항에 있어서,
상기 제어장치는, 미리 저장된 복수의 가상이미지 중에서 선택된 상기 제1가상이미지의 표시 후 상기 제1가상이미지의 다음 순서의 상기 제2가상이미지를 표시하는 증강현실시스템.
제25항에 있어서,
상기 조작기능은, 상기 가상이미지의 이동, 변형, 회전 및 저장 중 적어도 하나를 포함하는 증강현실시스템.