KR100930370B1

KR100930370B1 - 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체

Info

Publication number: KR100930370B1
Application number: KR1020080012730A
Authority: KR
Inventors: 우운택; 하태진; 이영호
Original assignee: 광주과학기술원
Priority date: 2007-11-30
Filing date: 2008-02-12
Publication date: 2009-12-08
Also published as: KR20090056760A

Abstract

본 발명은 증강현실 저작 방법 및 그 시스템에 대한 것이다. 더욱 상세하게는 본 발명은 아날로그 책과 디지털 콘텐츠를 결합하여 사용자가 실제 책과 멀티미디어 콘텐츠를 동시에 체감할 수 있도록 하는 디지로그 북을 효과적으로 저작하기 위한 인터페이스 및 저작 도구를 제공하는 증강현실 저작 방법 및 그 시스템에 대한 것이다.

본 발명은 증강 현실 저작을 위한 시스템에 있어서, 실제 환경의 영상을 획득하는 영상 획득 장치; 장치식별 마커를 구비한 수동 조작 장치; 및 증강 현실 저작 장치를 포함하되, 상기 증강 현실 저작 장치는 상기 영상 획득 장치로부터 획득된 영상으로부터 증강 현실 환경의 기준을 설정하는 마커를 트래킹하고, 상기 장치식별 마커를 트래킹하여 증강 현실 환경에서의 상기 수동 조작 장치의 위치를 판별하며, 상기 수동 조작 장치로 증강될 가상 객체를 선택하고 저작하도록 하는 것을 특징으로 하는 증강 현실 저작 시스템 및 그 방법을 제공한다.

증강 현실, AR, 저작, 디지로그 북, 인터페이스

Description

증강현실 저작 방법 및 시스템과 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체{Method and System for Authoring Augmented Reality, and Record Media Recorded Program Realizing the Same}

통상적으로 전자책이란 좁은 의미로는 종이에 인쇄된 책이 아닌 XML, 디지털 이미지, 멀티미디어 등으로 제작해 컴퓨터나 PDA, 휴대폰과 같은 단말기 화면을 통해 보는 디지털 책을 말한다. 한국전자출판협회가 정의한 규정은 전자책을 '도서로 간행되었거나 도서로 간행될 수 있는 저작물의 내용을 디지털 데이터로 CD-ROM, DVD 등의 전자책 기록 매체 또는 저장 장치에 수록하고 유무선 정보통신망을 경유해 컴퓨터 또는 휴대 단말기 등을 이용해 그 내용을 보고 들을 수 있는 것'이라 정의한다.

최근 컴퓨터와 핸드폰, PMP 등과 같은 단말기로 이용할 수 있는 다양한 전자책이 개발되어 왔다. PDF, XML 등의 1세대 전자책과 Flash 등 멀티미디어가 결합된 2세대 전자책이 활발히 개발되어 기존의 종이책(paper book)을 대체할 수 있는 수단으로 각광받아 왔다. 그러나 이러한 전자책이 기존의 종이책을 완전히 대체할 것이라는 초기 예상과는 달리 종이책의 활용은 더욱 증가되는 추세이다. 그 이유는 디지털 전자책이 소장의 편리함, 이동의 편리함 등의 장점을 갖지만, 기존의 아날로그 책(종이책)이 갖고 있는 다양한 장점을 대체하지는 못하기 때문이다.

한편, 최근 컴퓨터 그래픽, 컴퓨터 비전 등의 기술을 기반으로 연구되고 있는 증강/혼합 현실(Augmented/Mixed Reality)이 발전함에 따라, 이러한 기술을 응용하여 종이책과 디지털 콘텐츠를 결합한 다양한 책 제작 시도가 있었다. 일본의 레키모토 (Rekimoto)는 1998년에 2차원 matrix 코드를 이용한 증강현실 시스템을 선보였다(Jun Rekimoto, "Matric: A Realtime Object Identification and Registration Method for Augmented Reality," Asia Pacific Computer Human Interaction ( APCHI 98), pp.63-68, 1998). 2001년 빌링허스트(Mark Billinghurst)와 가토(Kato)는 최초로 책의 형태를 갖춘 매직 북(Magic Book)을 선보였다(Mark Billinghurst, Hero Kato, Ivan poupyrev, "The Magic Book: A Transitional AR Interface," IEEE Computers and Graphics, pp.745-753, 2001). 그 후, 사소(Saso)가 "Little Red"라는 매직 북(magic book)을 선보였으며(enji Lguchi, Masa Inakage, Tomoki Saso, "Little Red MR: Storytelling in Mixed Reality," SIGGRAPH 2003), 시바타(Shibata)는 "Vivid Encyclopedia"를 선보였다(Shibata Fumihisa, Yoshida Yusuke, Furuno Koki, Sakai Toshio, Kiguchi Kenji, Kimura Asako, Tamura Hideyuki, "Vivide Encyclopidea: MR Pictorial Book of Insects", Vitual Reality Society of Japan Annual Conference , pp.611-612, 2004).

현재 뉴질랜드 HIT Lab을 중심으로 연구 개발되고 있는 매직 북(Magicbook)은 책을 실제공간, 증강현실공간, 그리고 가상현실공간을 넘나드는 "변천형 인터페이스"를 사용하고 있다. 하지만, 특수하게 디자인된 정사각 마커를 사용함으로써, 이 마커를 삽입한 책만을 사용할 수 있는 문제점이 발생하였다. 즉, 일반적인 출판물에 마커를 추가하기 전에는 사용할 수 없었다. 2007년에 가토(Kato)가 다시 선보인 Virtual pop-up book은 마커를 사용하지 않고 그림의 특징점(feature)를 이용하여 보다 책에 가까운 형태를 갖추었다(Nobuko Taketa, Kenichi Hayashi, Hirokazu Kato, Shogo Noshida, "Virtual Pop-Up Book Based on Augmented REality," Symposium on Human Interface ( LNCS ), 4558, pp. 475-484, 2007).

한편, 시각적 효과에 대한 연구가 많이 진행된 반면, 음향과 촉각 제시를 위한 연구는 시작단계이다. 음향에 대한 연구 예로, Listen Reader은 전기적인 센서를 이용하여 독자가 책을 읽을 때 소리를 증강시켜주는 연구를 수행하였다(Maribeth Back, Jonathan Cohen, Rich Gold, Steve Harrison, Scott Minneman, "Listen Reader : an electronically augmented paper-based book, CHI ~1, pp. 23-29, 2001). 하지만, 촉각 제시는 증강/혼합현실 응용을 위해 광범위하게 연구가 진행되고 있지만, 서적을 위해 연구된 예는 아직까지 찾기 어렵다.

본 발명에서 사용하는 "디지로그 북"이란 용어는 증강현실 환경에서 출판물 (종이책)에 인간의 시각, 청각, 촉각을 자극하는 멀티미디어 콘텐츠를 융합시켜 종이책에서 제공할 수 없는 부가적인 정보를 제공하는 책을 의미한다. 이러한 디지로그 북은 종이책의 장점인 존재감을 갖추며, 전자책의 장점인 멀티미디어 이용이 가능하다. 또한, 종이책에서 얻을 수 없는 정보를 다양한 멀티미디어 콘텐츠를 통해 획득할 수 있으며, 동일한 종이책에 목적과 상황에 따른 다양한 멀티미디어 시나리오를 결합할 수 있어, 개인화된 디지로그 북 제작이 가능하다는 장점이 있을 수 있다.

그러나 디지로그 북의 제작은 증강현실 프로그래밍에 대한 전문적인 지식이 있는 자만이 할 수 있어 프로그래밍에 대한 전문적인 지식이 없는 자들은 손쉽게 저작할 수 없는 문제점이 있다. 또한, 증강현실기반 콘텐츠를 제작하기 위한 저작도구로서 ARToolkit(http://www.hitl.washington.edu/ARToolKit), AMIRE(P.Grimm, M.Haller, V.Paelke, S.Reinhold, C.Reimann, R.Zauner, "AMIRE - authoring mixed reality," Augmented Reality Toolkit, The First IEEE International Workshop, 2002), ARIRL(F.Ledermann, D.Schmalstieg, "APRIL A High-level Framework for Creating Augmented Reality," the 2005 IEEE Conference 2005 on Virtual Reality, pp. 187 - 194, 2005), DART(B.MacIntyre, M.Gandy, S. Dow and Jay David Bolter, “DART: A Toolkit for Rapid Design Exploration of Augmented Reality Experiences,” ISMAR, pp. 172- 181, 2004), MIDAS(J.Yim, T.Nam, “Developing Tangible Interaction and Augmented Reality in Director,” CHI, pp. 1541-1541, 2004) 등의 다양한 시도가 있었으나 이들은 증강현실 응용을 위한 저작 도구이기 때문에 책을 위한 저작도구로서는 특화되어 있지 않다.

본 발명은 상기한 문제점을 해결하기 위하여, 사용자에게 편리한 인터페이스를 제공하고 저작에 필요한 다양한 가상 객체를 직관적으로 선택하여 활용할 수 있도록 제공하며 GUI 환경을 통해 증강 현실을 저작할 수 있도록 하는 증강 현실 저작 시스템 및 그 방법과 이를 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함을 그 목적으로 한다.

본 발명은 상기한 문제점을 해결하기 위하여, 증강 현실 저작을 위한 시스템에 있어서, 실제 환경의 영상을 획득하는 영상 획득 장치; 장치식별 마커를 구비한 수동 조작 장치; 및 증강 현실 저작 장치를 포함하되, 상기 증강 현실 저작 장치는 상기 영상 획득 장치로부터 획득된 영상으로부터 증강 현실 환경의 기준을 설정하는 마커를 트래킹하고, 상기 장치식별 마커를 트래킹하여 증강 현실 환경에서의 상기 수동 조작 장치의 위치를 판별하며, 상기 수동 조작 장치로 증강될 가상 객체를 선택하고 저작하도록 하는 것을 특징으로 하는 증강 현실 저작 시스템을 제공한다.

바람직하게, 상기 증강 현실 저작 장치는, 상기 영상 획득 장치로부터 획득된 상기 영상으로부터 증강 현실 환경의 기준을 설정하는 상기 마커를 트래킹하는 마커 트래킹부와, 상기 장치식별 마커를 트래킹하는 조작장치 트래킹부와, 저작될 상기 가상 객체를 사용자에게 제시하는 가상객체 콘텐츠부와, 상기 수동 조작 장치와 상기 가상 객체의 충돌을 검출하여 가상 객체의 선택 여부를 결정하는 가상객체 선택부와, 상기 수동 조작 장치의 조작 신호를 입력받는 조작 장치 입출력부와, 상기 수동 조작 장치의 조작에 따라 상기 가상 객체의 속성을 저작하는 가상객체 저작부, 및 상기 영상 획득 장치로부터 획득된 영상에 상기 가상 객체의 선택, 저작 상태 및 최종 결과를 출력하도록 렌더링하는 통합 렌더링부를 포함하는 것을 특징으로 한다.

또한, 상기 수동 조작 장치는, 상기 장치식별 마커 외에 손잡이부 및 조작 버튼을 추가로 구비하는 것을 특징으로 한다.

바람직하게, 상기 가상객체 저작부는 상기 가상 객체의 저작을 위한 메뉴를 제공하는 시각 저작 메뉴 제공부와 상기 가상 객체의 속성을 변경하는 가상객체 속성 변경부를 포함하는 시각 저작부를 구비하며, 상기 가상객체 콘텐츠부로부터 상기 수동 조작 장치를 이용하여 선택된 상기 가상 객체는, 드랙 앤 드랍 방식으로 상기 증강 현실 환경으로 복사되며 상기 수동 조작 장치의 이동 또는 회전에 따라 이동 또는 회전되는 것을 특징으로 한다.

또한, 본 발명은 영상 획득 장치와 수동 조작 장치를 이용하여 증강 현실을 저작하는 증강 현실 저작 장치에 있어서, 상기 영상 획득 장치로부터 획득된 영상으로부터 증강 현실 환경의 기준을 설정하는 상기 마커를 트래킹하는 마커 트래킹부; 상기 수동 조작 장치의 장치식별 마커를 트래킹하는 조작장치 트래킹부; 저작될 가상 객체를 사용자에게 제시하는 가상객체 콘텐츠부; 상기 수동 조작 장치와 상기 가상 객체의 충돌을 검출하여 가상 객체의 선택 여부를 결정하는 가상 객체 선택부; 상기 수동 조작 장치의 조작 신호를 입력받는 조작 장치 입출력부; 상기 수동 조작 장치의 조작에 따라 상기 가상 객체의 속성을 저작하는 가상객체 저작부; 및 상기 영상 획득 장치로부터 획득된 영상에 상기 가상 객체의 선택, 저작 상태 및 최종 결과를 출력하도록 렌더링하는 통합 렌더링부를 포함하는 것을 특징으로 하는 증강 현실 저작 장치를 제공한다.

또한, 본 발명은 영상 획득 장치와 수동 조작 장치 및 증강 현실 저작 장치를 이용한 증강 현실 저작 방법에 있어서, (a) 상기 영상 획득 장치로 획득된 영상에서 기준 좌표계를 설정할 마커를 트래킹하는 단계; (b) 상기 영상에서 상기 수동 조작 장치의 장치식별 마커를 트래킹하는 단계; (c) 저작에 사용될 선택 가능한 가상 객체를 제시하는 단계; (d) 상기 수동 조작 장치와 상기 가상 객체의 충돌을 판별하여 상기 가상 객체를 선택하는 단계; 및 (e) 상기 수동 조작 장치를 이용하여 상기 가상 객체를 증강 현실 환경으로 복사하고 상기 가상 객체의 속성을 변경하는 단계를 포함하는 것을 특징으로 하는 증강 현실 저작 방법을 제공한다.

바람직하게 본 발명에 따른 증강 현실 저작 방법은, (f) 저작이 이루어지는 증강 현실 환경의 상태를 실시간으로 디스플레이하는 단계를 추가로 포함하는 것을 특징으로 한다.

또한 본 발명은 상기한 바에 따른 증강 현실 저작 방법을 실행시키기 위한 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록매체를 제공한다.

본 발명에 따르면 프로그래밍에 대한 전문적인 지식이 없는 사용자도 손쉽게 가상 현실 환경을 저작할 수 있으며 기존 GUI 인터페이스 방식의 포인팅, 클릭, 드 랙앤드랍, 복사 기법을 그대로 활용할 수 있어 신속하고 직관적으로 가상 객체의 속성을 변경할 수 있는 효과가 있다.

또한 본 발명은 다양한 가상 객체를 사용자가 손쉽게 활용할 수 있도록 제공함으로써 가상 객체의 선택이 가능하게 함으로써 증강 현실 환경의 저작이 더욱 용이해지는 장점이 있다.

본 발명은 증강 현실 저작 방법 및 시스템에 관한 것으로 증강 현실에서 증강될 가상 객체를 쉽게 저작할 수 있도록 하는데 기본적인 특징이 있다. 또한 본 발명은 보다 구체적인 적용으로서 디지로그 북을 제공하기 위하여 디지로그 북에서 제공하는 마커에 대응되는 가상 객체를 용이하게 저작할 수 있도록 하는데 실질적인 특징이 있다.

일반적인 증강 현실 시스템에 있어서는 영상 획득 장치(110)가 증강될 가상 객체를 표상하는 마커를 비롯한 실제 환경의 영상을 입력받아 이에 대응하는 가상 객체를 시각, 청각, 또는 촉각 등의 방식을 통해 사용자에게 제시할 수 있다. 가상 객체는 시각, 청각, 또는 촉각 정보를 포함하는 멀티미디어 콘텐츠로 이해될 수 있다. 여기서 마커에 대응하는 가상 객체를 보다 손쉬운 방법으로 저작하도록 하는 것이 본 발명의 차별적인 특징이다.

본 발명에 따른 증강 현실 저작 시스템 및 방법을 설명하기에 앞서서 이를 구현하기 위한 기술의 개요를 설명한다.

증강 현실을 구현하기 위한 기본적인 기술은, 레지스트레이 션(registration), 트래킹(Tracking), 그리고 카메라 보정(Camera calibration)을 포함한다. 레지스트레이션이란 가상 환경에서 가상 객체를 증강시킬 위치와 증강될 가상 객체를 등록하는 과정을 말한다. 통상적으로는 레지스트레이션을 위하여 현실 환경에 가상 객체를 표상하는 마커(2차원적인 마커, 3차원 이미지, 또는 2차원 이미지를 사용할 수 있음)를 위치시킨 후 해당 마커를 식별하도록 한다. 이를 일반화하여 설명하면, 레지스트레이션을 위하여 현실 세계의 어떤 지점의 3차원 좌표가 필요하며 이 좌표는 카메라를 기준으로 카메라 좌표로 계산될 수 있다. 이러한 3차원 좌표를 얻기 위해서 카메라 입력 영상으로부터 특이점(즉, 마커)을 획득하고 이 특이점의 3차원 좌표를 추적한다. 이를 트래킹이라 하며, 매 영상 프레임 마다 위치를 추적하여 움직이는 카메라의 영상입력에서도 가상의 그래픽 객체의 증강을 가능하게 한다. 한편, 카메라 입력 영상으로부터 획득된 특이점과 카메라의 정확한 상관관계를 계산하기 위해서는 카메라 파라미터를 획득해야 한다. 이 과정을 카메라 보정이라 부른다. 카메라 보정은 카메라의 초점거리 등 내부 변수와 외부 변수를 계산해 내어 카메라 모델을 형성한다.

증강 현실의 저작은 시각 저작, 청각 저작, 촉각 저작, 및 이벤트 저작을 포함할 수 있다. 시각 저작은 독자에게 보여줄 3D 모델의 배치, 이동, 회전, 크기/색상 조작 과정을 거쳐 장면(scene)을 생성한다. 청각 저작은 제작된 장면에 필요한 음향효과를 삽입하는 과정이며 배경음악과 이벤트에 따른 음향 등을 필요한 시기에 들릴 수 있도록 저작한다. 촉각 저작은 독자가 햅틱 장치로 물체를 만졌을 때, 느껴야 하는 재질감, 무게감 등을 입히는 작업이다. 이벤트저작은 조건문을 이용하여 어떠한 조건하에 어떠한 시각적이거나 청각적인 효과가 나타날 것인지를 저작하는 것이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템의 개략적인 구성을 도시한 블록도이다.

본 발명에 따른 증강 현실 저작 시스템(100)은 영상 획득 장치(110), 수동 조작 장치(150), 증강현실 저작 장치(120), 및 디스플레이 장치(148)를 포함한다.

영상 획득 장치(110)는 실제 환경(102)의 영상을 취득하는 기능을 수행한다. 여기서 실제 환경(102)은 마커를 포함한 실제 책의 특정 페이지일 수 있다. 마커는 전술한 바와 같이 2차원 도안으로 표현된 2차원 마커, 2차원 이미지, 또는 3차원 이미지일 수 있다.

수동 조작 장치(150)는 저작에 필요한 이산적 또는 연속적 신호를 입력하는 기능을 수행하며, 진동자와 같은 촉각 전달기가 구비되는 경우에는 촉각 신호를 사용자에게 전달하는 기능을 수행할 수도 있다. 이러한 수동 조작 장치(150)의 상세한 실시예에 대해서는 후술하도록 한다.

증강현실 저작 장치(120)는 영상 획득 장치(110)로부터 입력된 실제 환경(102)에 대한 영상에서 마커를 트래킹하여 증강될 가상 객체의 저작을 위한 기준 좌표계를 설정하고 수동 조작 장치(150)로부터 입력된 신호를 바탕으로 증강될 가상 객체의 선택과 속성 변경 및 저작이 이루어지도록 하는 기능을 수행한다.

증강현실 저작 장치(120)는, 마커 트래킹부(122), 조작장치 트래킹부(124), 가상객체 콘텐츠부(126), 가상객체 선택부(128), 조작장치 입출력부(130), 및 가상객체 저작부(134)를 포함한다. 더불어 증강현실 저작 장치(120)는 수동 조작 장치(150)를 이용하여 가상객체 콘텐츠부(126)에서 제시하는 가상 객체를 선택할 때 증강 현실 환경에서 수동 조작 장치(150)의 지시부가 가상 객체와 충돌하면 충돌 여부를 검출하고 수동 조작 장치(150)의 촉각 전달기를 통해 반력을 제공하도록 하는 반력 제공부(132)를 추가로 구비할 수 있다.

마커 트래킹부(122)는 영상 획득 장치(110)에서 획득된 실제 환경의 영상에서 마커를 검출하고 트래킹하는 기능을 수행한다. 트래킹된 마커의 위치 정보를 바탕으로 마커 트래킹부(122)는 증강 현실 환경에서 가상 객체를 증강시킬 때 기준이 되는 기준 좌표계를 설정한다.

조작장치 입출력부(130)는 수동 조작 장치(150)로부터의 조작 신호를 입력받는 기능을 수행하는데, 조작장치 입출력부(130)와 수동 조작 장치(150)와의 통신은 유선 또는 무선으로 이루어질 수 있다.

조작장치 트래킹부(124)는 수동 조작 장치(150)에 부착된 장치 식별 마커를 검출하고 트래킹하는 기능을 수행한다. 이를 위해 수동 조작 장치(150)는 후술하는 바와 같이 현실 환경에서의 수동 조작 장치(150)의 위치 및 방위 정보를 증강 현실 환경에서 파악할 수 있도록 하기 위하여 장치 식별 마커를 구비한다.

가상객체 콘텐츠부(126)는 저작될 다양한 가상 객체를 저장하고 사용자에게 가상 객체를 제시하는 기능을 수행한다. 가상객체 콘텐츠부(126)의 가상 객체는 2차원 또는 3차원 이미지, 음악이나 음향효과와 같은 청각 매체, 비디오 매체를 포함할 수 있고 필요에 따라서는 촉각 정보도 포함할 수 있다. 바람직하게는 가상객체 콘텐츠부(126)에서 이용할 수 있는 가상 객체를 미리 사용자에게 제공할 수 있도록 하며, 사용자가 직접 제작한 가상 객체도 제공될 수 있도록 함이 바람직하다. 가상객체 콘텐츠부(126)는 일종의 데이터베이스 또는 저장 장치로서의 기능도 함께 수행하도록 하며 사용자가 검색을 통해 원하는 가상 객체를 선택할 수 있도록 하는 것도 바람직하다. 또한, 저작의 편이를 위해 선택 가능한 가상 객체를 증강 현실 환경에서 별도의 윈도우 또는 시각 디스플레이 영역의 일부 분할된 윈도우를 통해 시각적으로 제시하는 것도 바람직하다. 다른 방법으로서, 사용자는 저작에 사용될 가상 객체에 대응하는 가상객체 선택용 마커를 현실 환경에 별도로 위치시키고 마커 트래킹부(122)를 통해 트래킹된 가상객체 선택용 마커에 대응하는 가상 객체를 시각 디스플레이 방식으로 제시하는 것도 바람직하다.

가상객체 선택부는 수동 조작 장치(150)로부터 입력된 신호를 바탕으로 가상 객체 콘텐츠부(126)에서 제공하는 가상 객체를 선택하는 기능을 수행한다. 수동 조작 장치(150)를 이용하여 가상 객체를 선택하는 방식은 이후에서 구체적으로 설명하도록 한다.

가상객체 저작부(134)는 가상객체 선택부(128)를 통해 선택된 가상 객체의 속성을 저작하는 기능을 수행한다. 바람직하게는 가상객체 저작부(134)는 시각적 가상 객체를 위한 시각 저작부(136), 청각 매체를 위한 청각 저작부(138), 촉각 정보를 위한 촉각 저작부(140), 및 이벤트 정보 처리를 위한 이벤트 저작부(142)를 포함할 수 있다.

통합 렌더링부(146)는 영상 획득 장치(110)를 통해 획득된 실제 환경(102)에 대한 영상과 증강된 가상 객체의 영상, 가상객체 선택부(128)를 통해 선택되는 가상 객체에 대한 영상, 또는 가상객체 저작부(134)를 통해 저작이 수행되는 상태 등을 시청각적, 또는/및 촉각적 방식으로 렌더링하여 디스플레이 장치(148)를 통해 즉각적으로 제시될 수 있도록 한다. 바람직하게는 저작이 이루어지는 상황이 위지윅(WISISIG) 방식으로 제시될 수 있도록 한다.

디스플레이 장치(148)는 시각 디스플레이 장치(148a), 청각 디스플레이 장치(148b) 및 촉각 디스플레이 장치(148c)를 포함할 수 있다. 한편, 본 발명에 있어서 촉각 정보의 디스플레이는 수동 조작 장치(150)의 촉각 전달기를 통해 제시될 수도 있다.

도 2는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 수동 조작 장치를 도시한 도면이다.

수동 조작 장치(150)는 돌출된 봉 형상의 지시부(152), 장치 식별 마커(154), 손잡이부(156), 및 조작 버튼(158)을 포함한다. 이러한 수동 조작 장치(150)는 일종의 마우스와 같은 입력 수단으로 이해될 수 있는데, 증강 현실에서의 적용을 위해 현실 환경에서의 수동 조작 장치(150)의 위치가 확인될 수 있도록 장치 식별 마커(154)가 구비되는 것이다.

장치 식별 마커(154)는 수동 조작 장치(150)를 표상하며, 수동 조작 장치(150)의 위치 및 방위 정보가 증강 현실 환경에서 판별될 수 있도록 한다. 장치 식별 마커(154)의 크기를 미리 알고 있는 경우 영상 획득 장치(110)를 통해 획득된 영상에서의 장치 식별 마커(154)의 크기를 통해 장치 식별 마커(154)의 위치 정보를 확인하는 것도 가능하다. 또한 조작장치 트래킹부(124)는 장치 식별 마커(154)의 위치 및 회전 정도를 트래킹함으로써 수동 조작 장치(150)의 위치 및 방위 정보를 확인할 수 있다. 일 실시예로서 장치 식별 마커(154)는 정육면체의 전후좌우면에 부착된 형태로 구비될 수 있다.

지시부(152)는 수동 조작 장치(150)를 이용하여 가상 객체를 선택할 때 수동 조작 장치(150)가 지시하는 지점을 확인할 수 있도록 짧은 봉 형상으로 구비된다. 지시부(152)의 크기를 알고 있다면, 증강 현실 환경에서 수동 조작 장치(150)의 지시부(152)의 말단 위치는 장치 식별 마커(154)의 위치 및 방위 정보로부터 확인될 수 있다. 사용자의 편의를 위해 증강 현실 환경에서는 수동 조작 장치(150)의 지시부(152)의 말단의 위치에 구형의 가상 포인터를 증강시키는 것도 가능하다.

손잡이부(156)는 사용자가 손으로 잡을 수 있도록 형성되는 부분이다.

조작 버튼(158)은 마우스의 버튼과 동일한 기능을 수행하는 것으로 이해될 수 있다. 조작 버튼(158)을 이용하여 사용자는 증강 현실 환경에서의 조작 명령을 전달할 수 있다.

한편, 도시되지는 않았으나 수동 조작 장치(150)는 조작장치 입출력부(130)와 신호를 송수신할 수 있는 송수신 장치가 구비된다. 또한, 바람직하게는 수동 조작 장치(150)는 진동자와 같은 촉각 전달기를 구비함이 바람직하다. 수동 조작 장치(150)를 이용하여 증강 현실 환경에서의 가상 객체를 선택할 때, 수동 조작 장치(150)의 지시부가 가상 객체와 충돌하는 경우 반력 제공부(132)는 충돌 여부를 검출하고 수동 조작 장치(150)의 촉각 전달기로 진동 신호가 전달되도록 함으로써 사용자가 촉각 전달기의 진동을 통해 가상 객체의 선택을 확인할 수 있도록 함이 바람직하다.

도 3은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 가상객체 저작부의 구체적인 기능을 설명하는 도면이다.

시각 저작부(136)는 시각 저작 메뉴 제공부(136a)와 가상객체 속성 변경부(136b)를 포함한다. 시각 저작 메뉴 제공부(136a)는 선택된 시각적 가상 객체에 대한 선택 메뉴를 제공하는데, 오려두기, 복사하기, 지우기 등의 선택 메뉴를 제공할 수 있다. 이러한 기능은 마우스로 특정 대상을 선택하고 오른쪽 버튼을 눌렀을 때 나타나는 메뉴와 같은 것으로 이해될 수 있다. 가상객체 속성 변경부(136b)는 선택된 시각적 가상 객체의 증강 현실 환경에서의 위치 이동, 회전, 색상 변경, 크 기 변경 등의 기능을 수행한다.

청각 저작부(138)는 선택된 청각 가상 객체의 시작 시간, 종료 시간을 설정하고, 소리의 크기나 음향 효과 등을 추가할 수 있도록 하는 기능을 수행한다. 청각 저작부(138)는 이벤트 저작부(142)와 결합하여 보다 효과적인 저작이 이루어지도록 할 수 있다. 예컨데, 저작이 완료된 증강 현실 환경에서 수동 조작 장치(150)를 이용하여 특정 가상 객체를 선택하면 지정된 청각 가상 객체가 플레이되도록 하는 것을 들 수 있다.

촉각 저작부(140)는 사용자에게 제시될 촉각 정보를 저작하는 기능을 수행한다. 촉각 저작부(140)는 사용자가 촉각 디스플레이 장치(148c)를 이용하여 증강 현실 환경을 이용하는 경우 사용자에게 제시될 반력이나 촉감 정보를 저작할 수 있도록 한다. 한편, 사용자가 진동자와 같은 촉각 제시기가 포함된 수동 조작 장치(150)를 이용하는 경우에는 촉각 저작부(140)는 진동자의 진동 주기 또는 진동 세기를 저작할 수 있도록 한다.

이벤트 저작부(142)는 특정 조건이 만족하는 경우 그에 따른 가상 객체가 증강되도록 하는 환경을 설정한다. 예컨대, 사용자가 특정 가상 객체를 선택한 경우 그에 따른 특정한 시각적 또는 촉각적 가상 객체를 출력하거나 촉각 정보를 제시할 수 있도록 하는 것을 들 수 있다.

다음으로는 수동 조작 장치(150) 및 시각 저작부(136)를 이용하여 가상 객체를 선택하고 저작하는 구체적인 과정을 설명하도록 한다.

도 4는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 수동 조작 장치를 이용하여 가상 객체를 선택하는 것을 도시한 도면이고, 도 5는 도 4의 과정을 실제 구현하여 실험한 상태를 도시한 도면이다.

도 4를 참조하면, 가상객체 선택부(128)는 수동 조작 장치(150)의 지시부(152)가 증강 현실 환경에서 점유하는 위치에 대응하는 가상선(404)과 가상 객체(400)의 경계구(402) 간의 거리가 소정 거리 내에 있을 때 그 가상 객체(400)가 선택된 것으로 판단한다. 이 때 반력 제공부(132)는 수동 조작 장치(150)의 촉각 제시기로 진동 신호를 전달하여 특정 가상 객체가 선택되었음을 사용자에게 전달할 수 있도록 함이 바람직하다. 또한, 특정 가상 객체가 선택되었을 때 그 가상 객체의 주변(billboard) 또는 화면의 하단에 상태정보 표시부(406)를 구비하여 그 가상 객체의 상태 정보를 표시하도록 함이 바람직하다.

도 5를 참조하면, 실제 구현에 있어서 수동 조작 장치(150)의 지시부(152)의 말단에 포인터(500)를 증강시켜 수동 조작 장치(150)가 지시하는 바를 사용자가 증강 현실 환경에서 확인할 수 있도록 하였다. 그리고 상기 포인터(500)가 특정 가상 객체(400)와 소정 거리 이내에 위치하면 충돌로 간주하여 해당 가상 객체(400)를 선택할 수 있도록 하였다. 도 5의 (a)는 수동 조작 장치(150)가 가상 객체(400)와 충돌되는 상태를 나타내며, (b)는 가상 객체(400)가 선택되고 가상 객체에 대한 설명이 화면 하단의 상태정보 표시부(406)에 표시되는 상태를 나타낸다. 여기서 사용자가 수동 조작 장치(150)의 조작 버튼(158)을 클릭하면(예컨대, 마우스와 같이 오른쪽 버튼을 클릭하면) 가상 객체(400)의 상태 정보를 확인하도록 할 수 있다.

도 6은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 가상 객체의 속성을 변경하는 것을 도시한 도면이고, 도 7은 도 6의 과정을 실제 구현하여 실험한 상태를 도시한 도면이다.

가상 객체(400)의 속성 변경은 수동 조작 장치(150)를 이용하여 이루어질 수 있다. 도 6의 (a)와 (b)는 수동 조작 장치(150)의 움직임을 통해 가상 객체(400)의 이동과 회전을 설명한다. 가상 객체(400)를 선택하고 수동 조작 장치(150)의 조작 버튼(예컨대, 마우스의 경우와 같이 왼쪽 버튼)을 누른 상태에서 수동 조작 장치(150)를 움직이면 이에 따라 가상 객체(400)가 이동 또는 회전하게 됨으로써 가상 객체(400)의 속성이 변화된다. 또한 도 6의 (c)의 경우에 있어서는 가상 객체(400)를 선택한 상태에서 수동 조작 장치(150)와 가상 객체(400)와의 거리를 변화시킴에 따라 가상 객체의 크기를 변화시키는 것을 나타낸다. 또한 도 6의 (d)의 경우에 있어서는 가상 객체를 기준으로 생성된 컬러 팔레트(600)를 설정하여 수동 조작 장치(150)를 이용하여 가상 객체의 색상을 변경하는 것을 나타낸다.

물론 각각의 경우에 있어서 가상 객체(400)의 수평 또는 수직 이동 거리, 회전 각도, 또는 스케일 등은 사용자가 키보드를 통해 문자 입력을 함으로써 이루어지도록 하는 것도 가능하나, 도 6의 경우와 같이 수동 조작 장치(150)를 이용할 경우에는 사용자는 직감적으로 가상 객체(400)의 속성을 변경할 수 있게 된다.

도 7의 (a-b)는 가상 객체(400)의 위치/회전 속성을 변경하는 과정을 보인다. 수동 조작 장치(150) 앞 부분에 증강된 포인터(500)를 가상 객체(400)와 충돌시킨 후, 수동 조작 장치(150)의 왼쪽 버튼을 누른 채 이동한다. 이동하면 수동 조 작 장치(150)에 부착된 장치 식별 마커(154)를 통해 얻어온 카메라 자세를 가상 객체(400)에 적용하여 가상 객체(400)의 위치 이동 및 회전을 가능하게 하고, 왼쪽 버튼을 놓게 되면 가상 객체(400)의 위치 이동 및 회전은 멈추게 된다.

도 7의 (c-d)는 가상 객체(400)의 크기를 변경하는 과정을 보여준다. 가상 객체(400)의 중심 좌표축을 기준으로 수동 조작 장치(150)와의 거리 차이를 이용하여 가상 객체의 크기를 변경한다.

마지막으로 도 7의 (e-f)는 가상 객체(400)의 색상을 변경하는 결과를 보인다. 가상 객체(400)의 중심 좌표축을 기준으로 생성된 3D 컬러 팔레트(600)에서 설정하고자 하는 특정 컬러를 선택하고 수동 조작 장치(150)의 왼쪽 버튼을 누른다. 이 컬러 팔레트(600)는 정육면체 형태로 각 축은 적색/녹색/청색(RGB)을 나타낸다.

도 8은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서, 가상 객체를 복사하는 것을 도시한 도면이고, 도 9는 도 8의 과정을 실제 구현하여 실험한 상태를 도시한 도면이다.

가상객체 콘텐츠부(126)는 시각 이미지, 동영상, 청각 매체 등을 포함한 가상 객체를 증강 현실 저작에 제공하는 기능을 수행하는 것으로 설명한 바 있다. 사용자는 가상 객체의 DB 역할을 수행하는 가상객체 콘텐츠부(126)로부터 가상 객체(400)를 선택하여 이를 드랙 앤 드랍(drag and drop) 방식으로 복사할 수 있다. 바람직하게는 선택할 수 있는 가상 객체는 사용자의 시각 디스플레이 장치의 소정 영역에 표시될 수 있도록 한다.

도 8에 따르면, 사용자는 수동 조작 장치(150)를 이용하여 가상객체 콘텐츠 부(126)에서 제공하는 가상 객체 폴더(800)로부터 가상 객체(400)를 선택한 후 드랙 앤 드랍 방식으로 증강 현실 환경에 복사할 수 있다. 복사된 가상 객체(400)의 속성 변경은 도 6을 참조하여 기술된 바에 따를 수 있다. 여기서 선택 가능한 가상 객체(400)를 증강 현실 환경에서 나타내기 위하여 가상객체용 마커(802)를 실제 환경에 구비하도록 할 수 있다. 가상객체용 마커(802)는 물리적인 마커로서 실제 환경의 일부에 배치하여 놓으면 가상객체 콘텐츠부(126)를 이를 증강시켜 가상 객체 폴더(800)로 제시함으로써 사용자가 선택할 수 있도록 한다.

도 9를 참조하면, 가상 객체(400)를 복사하는 방법으로 폴더 메타포를 이용하였다. 도 8에서 설명한 바와 같이 가상객체용 마커(802)를 이용하여 선택 가능한 가상 객체(400)를 증강시킨다. 증강 현실 환경에서는 3D 가상객체, 사운드, 동영상 등과 같은 멀티미디어 파일들을 시청각적으로 보여질 수 있다. 도 9는 복사 기능의 과정을 보여주는데, (a)는 가상 객체(400)를 선택하는 것을, (b)는 드랙 앤 드랍을 통해 가상 객체(400)를 복사는 것을 나타낸다. 상단에 있는 종이(900)에 증강된 다양한 가상 객체를 수동 조작 장치(150)를 이용하여 선택하고 드래그하고 드롭하는 방법으로 하단에 있는 종이(902)로 가상 객체(400)를 복사할 수 있다. 본 구현에서는 상단에 총 9개의 3D 가상 객체를 3 행 3열로, 마커 크기인 4cm 크기로 배치하였다. 3D 가상 객체는 정적인 모델과 애니메이션이 가능한 동적인 모델로 구성된다.

다음으로 본 발명에 따른 증강 현실 저작 방법에 대하여 설명한다.

도 10은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 방법의 순서도이다.

영상 획득 장치(110)는 실제 환경에 대한 영상을 획득한다. 바람직하게는 실제 환경은 물리적인 책이나 그림일 수 있다. 또한, 실제 환경의 정보에는 사용자가 조작하는 수동 조작 장치(150)의 영상이 포함된다.

마커 트래킹부(122)는 영상 획득 장치(110)에서 획득된 영상에서 기준 좌표계를 설정할 마커를 트래킹한다. 한편, 조작장치 트래킹부(124)는 장치 식별 마커(154)를 트래킹하여 수동 조작 장치(150)의 위치 및 방위 정보를 산출한다.

가상객체 콘텐츠부(126)는 사용자에게 선택 가능한 가상 객체를 제시한다. 하나의 수단으로써 사용자는 현실 환경에 가상 객체를 표상하는 가상객체용 마커를 현실 환경에 구비하고 마커 트래킹부(122)가 가상 객체용 마커를 트래킹함에 따라 대응되는 가상 객체가 가상객체 콘텐츠부(126)를 통해 사용자에게 제시되도록 할 수 있다.

사용자가 수동 조작 장치(150)를 이동시켜 가상 객체와 충돌하는 경우 가상객체 선택부(128)는 사용자가 그 가상 객체를 선택하는 것으로 판별한다. 이 때 반력 제공부(132)는 충돌 결과에 따른 반력을 진동의 형태로서 수동 조작 장치(150)에 제공함으로써 가상 객체가 선택되었음을 피드백할 수 있다.

다음으로 수동 조작 장치(150)의 입력 신호에 따라 선택된 가상 객체를 증강 현실 환경으로 복사되고 가상객체 저작부(134)는 수동 조작 장치(150)의 입력에 따라 가상 객체의 속성을 저작한다. 가상객체 저작부(134)는 가상 객체의 속성 변경에 있어서 선택된 가상 객체의 종류에 따라 적절한 저작 도구가 제공될 수 있도록 함이 바람직하다. 예컨대 선택된 가상 객체가 시각 매체인 경우에는 시각 저작 부(136)의 기능이 활성화되고, 청각 매체인 경우에는 청각 저작부(138)의 기능이 활성화될 수 있다.

저작이 이루어지는 동안 통합 렌더링부(146)는 저작된 증강 현실 환경의 상태를 디스플레이 장치(148)를 통해 실시간으로 출력되도록 한다. 기본적으로 디스플레이 장치(148)는 시각 디스플레이를 포함하여 저작되는 상태를 시각적으로 출력하며, 청각이나 촉각 역시 자동 또는 사용자의 선택에 따라 출력시켜 저작된 상태를 즉각적으로 확인할 수 있도록 한다.

저작이 완료되면 저작된 정보를 저장한다. 도 1에 따른 시스템에 있어서는 저장 장치를 도시하지 않았으나 특정 마커가 나타내는 현실 환경, 예컨대 책의 특정 페이지에 대하여 증강될 가상 객체의 정보를 저장 장치를 이용하여 저장할 수 있으며, 일례로서 저작된 정보는 XML 형태의 표준화된 파일로 저장될 수 있다. 저장 장치에 대해서는 당업자에게 자명하므로 추가적인 설명은 생략한다.

한편, 이러한 증강 현실 저작 방법은 프로그램 형태로 제공되어 특별한 프로그래밍 지식이 없는 사용자도 편리한 방법으로 증강 현실을 저작할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 사용자에게 편리한 인터페이스를 제공하는 증강 현실 저작 방법 및 시스템을 제공함으로써 증강 현실을 이용한 다양한 기술 분야에 적용이 가능하며, 특히 디지로그 북과 같은 매체를 통하여 보다 현실감있고 다양한 정보를 제공하는 증강 현실 환경의 저작이 가능하여 산업상 이용가능성이 매우 높다.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템의 개략적인 구성을 도시한 블록도,

도 2는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 수동 조작 장치를 도시한 도면,

도 3은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 가상객체 저작부의 구체적인 기능을 설명하는 도면,

도 4는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 수동 조작 장치를 이용하여 가상 객체를 선택하는 것을 도시한 도면,

도 5는 도 4의 과정을 실제 구현하여 실험한 상태를 도시한 도면,

도 6은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 가상 객체의 속성을 변경하는 것을 도시한 도면,

도 7은 도 6의 과정을 실제 구현하여 실험한 상태를 도시한 도면,

도 8은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서, 가상 객체를 복사하는 것을 도시한 도면,

도 9는 도 8의 과정을 실제 구현하여 실험한 상태를 도시한 도면,

<도면의 주요 부분에 대한 도면부호의 설명>

100 : 증강 현실 저작 시스템 110 : 영상 획득 장치

120 : 증강현실 저작 장치 122 : 마커 트래킹부

124 : 조작장치 트래킹부 126 : 가상객체 콘텐츠부

128 : 가상객체 선택부 130 : 조작장치 입출력부

132 : 반력 제공부 134 : 가상객체 저작부

146 : 통합 렌더링부 148 : 디스플레이 장치

150 : 수동 조작 장치

Claims

증강 현실 저작을 위한 시스템에 있어서,

실제 환경의 영상을 획득하는 영상 획득 장치;

장치식별 마커를 구비한 수동 조작 장치; 및

증강 현실 저작 장치를 포함하되,

상기 증강 현실 저작 장치는 상기 영상 획득 장치로부터 획득된 영상으로부터 증강 현실 환경의 기준을 설정하는 마커를 트래킹하고, 상기 장치식별 마커를 트래킹하여 증강 현실 환경에서의 상기 수동 조작 장치의 위치를 판별하며, 상기 수동 조작 장치로 증강될 가상 객체를 선택하고 저작하도록 하는 것을 특징으로 하는 증강 현실 저작 시스템.
제 1 항에 있어서,

상기 증강 현실 저작 장치는,

상기 영상 획득 장치로부터 획득된 상기 영상으로부터 증강 현실 환경의 기준을 설정하는 상기 마커를 트래킹하는 마커 트래킹부와,

상기 장치식별 마커를 트래킹하는 조작장치 트래킹부와,

저작될 상기 가상 객체를 사용자에게 제시하는 가상객체 콘텐츠부와,

상기 수동 조작 장치와 상기 가상 객체의 충돌을 검출하여 가상 객체의 선택 여부를 결정하는 가상객체 선택부와,

상기 수동 조작 장치의 조작 신호를 입력받는 조작 장치 입출력부와,

상기 수동 조작 장치의 조작에 따라 상기 가상 객체의 속성을 저작하는 가상객체 저작부, 및

상기 영상 획득 장치로부터 획득된 영상에 상기 가상 객체의 선택, 저작 상태 및 최종 결과를 출력하도록 렌더링하는 통합 렌더링부

를 포함하는 것을 특징으로 하는 증강 현실 저작 시스템.
제 2 항에 있어서,

상기 수동 조작 장치는, 상기 장치식별 마커 외에 손잡이부 및 조작 버튼을 추가로 구비하는 것을 특징으로 하는 증강 현실 저작 시스템.
제 3 항에 있어서,

상기 수동 조작 장치는 돌출된 봉 형상의 지시부를 추가로 구비하는 것을 특징으로 하는 증강 현실 저작 시스템.
제 2 항에 있어서,

상기 수동 조작 장치는 촉각 제시기를 추가로 포함하고, 상기 증강 현실 저작 장치는 반력 제공부를 추가로 구비하여, 상기 수동 조작 장치로 상기 가상 객체를 선택시 상기 반력 제공부는 상기 촉각 제시기로 구동 신호를 전송하는 것을 특징으로 하는 증강 현실 저작 시스템.
제 2 항에 있어서,

상기 가상객체 콘텐츠부는 상기 가상 객체를 폴더 형식으로 사용자에게 제공하는 것을 특징으로 하는 증강 현실 저작 시스템.
제 2 항에 있어서,

상기 가상객체 저작부는 상기 가상 객체의 저작을 위한 메뉴를 제공하는 시각 저작 메뉴 제공부와 상기 가상 객체의 속성을 변경하는 가상객체 속성 변경부를 포함하는 시각 저작부를 구비하는 것을 특징으로 하는 증강 현실 저작 시스템.
제 2 항에 있어서,

상기 가상객체 콘텐츠부로부터 상기 수동 조작 장치를 이용하여 선택된 상기 가상 객체는, 드랙 앤 드랍 방식으로 상기 증강 현실 환경으로 복사되며 상기 수동 조작 장치의 이동 또는 회전에 따라 이동 또는 회전되는 것을 특징으로 하는 증강 현실 저작 시스템.
제 2 항에 있어서,

상기 수동 조작 장치로 선택된 상기 가상 객체는, 상기 수동 조작 장치와 상기 가상 객체와의 거리에 따라 그 크기가 변경되는 것을 특징으로 하는 증강 현실 저작 시스템.
제 2 항에 있어서,

상기 수동 조작 장치로 선택된 상기 가상 객체는, 증강 현실 환경에서 제공되는 컬러 팔레트를 이용하여 그 색상이 변경되는 것을 특징으로 하는 증강 현실 저작 시스템.
제 7 항에 있어서,

상기 가상객체 저작부는,

청각적 가상 객체의 출력 조건을 설정하는 청각 저작부, 촉각적 가상 객체의 출력 조건을 설정하는 촉각 저작부, 또는 특정된 조건에 따라 가상 객체의 출력 여부를 설정하는 이벤트 저작부 중 적어도 하나를 추가로 구비하는 것을 특징으로 하는 증강 현실 저작 시스템.
제 4 항에 있어서,

상기 수동 조작 장치의 상기 지시부의 말단에 포인터를 증강시켜 상기 수동 조작 장치가 지시하는 지점을 표시하는 것을 특징으로 하는 증강 현실 저작 시스템.
영상 획득 장치와 수동 조작 장치를 이용하여 증강 현실을 저작하는 증강 현실 저작 장치에 있어서,

상기 영상 획득 장치로부터 획득된 영상으로부터 증강 현실 환경의 기준을 설정하는 마커를 트래킹하는 마커 트래킹부;

상기 수동 조작 장치의 장치식별 마커를 트래킹하는 조작장치 트래킹부;

저작될 가상 객체를 사용자에게 제시하는 가상객체 콘텐츠부;

상기 수동 조작 장치와 상기 가상 객체의 충돌을 검출하여 가상 객체의 선택 여부를 결정하는 가상 객체 선택부;

상기 수동 조작 장치의 조작 신호를 입력받는 조작 장치 입출력부;

상기 수동 조작 장치의 조작에 따라 상기 가상 객체의 속성을 저작하는 가상객체 저작부; 및

상기 영상 획득 장치로부터 획득된 영상에 상기 가상 객체의 선택, 저작 상태 및 최종 결과를 출력하도록 렌더링하는 통합 렌더링부

를 포함하는 것을 특징으로 하는 증강 현실 저작 장치.
제 13 항에 있어서,

상기 가상 객체 선택부에서 상기 수동 조작 장치가 상기 가상 객체를 선택한 것으로 판별한 경우 상기 수동 조작 장치로 반력을 제공하는 반력 제공부를 추가로 포함하는 것을 특징으로 하는 증강 현실 저작 장치.
제 13 항에 있어서,

상기 가상객체 콘텐츠부는 상기 가상 객체를 폴더 형식으로 사용자에게 제공하는 것을 특징으로 하는 증강 현실 저작 장치.
제 13 항에 있어서,

상기 가상객체 저작부는 상기 가상 객체의 저작을 위한 메뉴를 제공하는 시각 저작 메뉴 제공부와 상기 가상 객체의 속성을 변경하는 가상객체 속성 변경부를 포함하는 시각 저작부를 구비하는 것을 특징으로 하는 증강 현실 저작 장치.
제 16 항에 있어서,

상기 가상객체 저작부는,

청각적 가상 객체의 출력 조건을 설정하는 청각 저작부, 촉각적 가상 객체의 출력 조건을 설정하는 촉각 저작부, 또는 특정된 조건에 따라 가상 객체의 출력 여부를 설정하는 이벤트 저작부 중 적어도 하나를 추가로 구비하는 것을 특징으로 하는 증강 현실 저작 장치.
제 16 항에 있어서,

상기 가상 객체의 속성 변경은 상기 수동 조작 장치의 이동, 회전에 따라 이루어지는 것을 특징으로 하는 증강 현실 저작 장치.
영상 획득 장치와 수동 조작 장치 및 증강 현실 저작 장치를 이용한 증강 현실 저작 방법에 있어서,

(a) 상기 영상 획득 장치로 획득된 영상에서 기준 좌표계를 설정할 마커를 트래킹하는 단계;

(b) 상기 영상에서 상기 수동 조작 장치의 장치식별 마커를 트래킹하는 단계;

(c) 저작에 사용될 선택 가능한 가상 객체를 제시하는 단계;

(d) 상기 수동 조작 장치와 상기 가상 객체의 충돌을 판별하여 상기 가상 객체를 선택하는 단계; 및

(e) 상기 수동 조작 장치를 이용하여 상기 가상 객체를 증강 현실 환경으로 복사하고 상기 가상 객체의 속성을 변경하는 단계

를 포함하는 것을 특징으로 하는 증강 현실 저작 방법.
제 19 항에 있어서,

(f) 저작이 이루어지는 증강 현실 환경의 상태를 실시간으로 디스플레이하는 단계

를 추가로 포함하는 것을 특징으로 하는 증강 현실 저작 방법.
제 19 항에 있어서,

상기 (d) 단계에 따라 상기 가상 객체가 선택된 경우 상기 수동 조작 장치로 촉각 신호를 전달하는 것을 특징으로 하는 증강 현실 저작 방법.
제 19 항에 있어서,

상기 (c) 단계는 상기 가상 객체를 폴더 형식으로 사용자에게 제공하는 것을 특징으로 하는 증강 현실 저작 방법.
제 19 항에 있어서,

상기 (e) 단계에 있어서, 선택된 상기 가상 객체의 복사는 상기 수동 조작 장치를 이용한 드랙 앤 드랍 방식으로 이루어지는 것을 특징으로 하는 증강 현실 저작 방법.
제 19 항에 있어서,

상기 (e) 단계에 있어서, 상기 가상 객체의 속성 변경은 상기 가상 객체의 종류에 따라 개별적으로 이루어지는 것을 특징으로 하는 증강 현실 저작 방법.
제 19 항에 있어서,

상기 (e) 단계에 있어서 상기 가상 객체가 시각적 이미지인 경우 상기 가상 객체의 이동 또는 회전은 상기 수동 조작 장치의 이동 또는 회전에 의해 이루어지는 것을 특징으로 하는 증강 현실 저작 방법.
제 25 항에 있어서,

상기 가상 객체는, 상기 가상 객체와 상기 수동 조작 장치의 거리에 따라 그 크기가 변경되는 것을 특징으로 하는 증강 현실 저작 방법.
제 19 항에 있어서,

상기 (e) 단계에 있어서, 상기 가상 객체가 청각적 매체인 경우에는 그 시작 시간과 종료 시간을 설정하도록 하는 것을 특징으로 하는 증강 현실 저작 방법.
제 19 항 내지 제 27 항 중 어느 한 항에 따른 증강 현실 저작 방법을 실행시키기 위한 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록매체.