KR100985206B1 - 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템 - Google Patents

증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템 Download PDF

Info

Publication number
KR100985206B1
KR100985206B1 KR1020080094713A KR20080094713A KR100985206B1 KR 100985206 B1 KR100985206 B1 KR 100985206B1 KR 1020080094713 A KR1020080094713 A KR 1020080094713A KR 20080094713 A KR20080094713 A KR 20080094713A KR 100985206 B1 KR100985206 B1 KR 100985206B1
Authority
KR
South Korea
Prior art keywords
model
augmented reality
authoring
tool
manual
Prior art date
Application number
KR1020080094713A
Other languages
English (en)
Other versions
KR20100032267A (ko
Inventor
우운택
이형묵
Original Assignee
(주)지아트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)지아트 filed Critical (주)지아트
Publication of KR20100032267A publication Critical patent/KR20100032267A/ko
Application granted granted Critical
Publication of KR100985206B1 publication Critical patent/KR100985206B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces

Abstract

본 발명은 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템에 대한 것이다. 더욱 상세하게는, 본 발명은 자석과 버튼이 내장된 육면체 형상의 수동 조작 도구와, 이를 이용하여 3D 모델을 제공하는 팔레트로부터 3D 모델을 선택하고 결합함으로써 증강 현실 환경에서의 가상 객체를 형성하는 것을 특징으로 하는 증강 현실 저작 방법 및 그 시스템에 대한 것이다.
본 발명은, 증강 현실 환경에서의 가상 객체 저작을 위한 증강 현실 저작 시스템에 있어서, 현실 환경에 대한 영상을 취득하는 영상 취득 장치; 상기 현실 환경에 구비되며 사용자가 수동으로 조작하는 수동 조작 도구; 사용 가능한 3D 모델을 상기 증강 현실 환경의 팔레트 영역에 제공하고, 상기 수동 조작 도구를 트래킹하여 조작 신호를 입력받으며, 상기 3D 모델을 결합하여 상기 가상 객체를 저작하도록 하는 저작 장치; 및 상기 영상 취득 장치를 통해 획득한 상기 현실 환경에 대한 영상에 상기 3D 모델을 포함한 영상을 증강시켜 사용자에게 제시하는 디스플레이 장치를 포함하는 것을 특징으로 하는 증강 현실 저작 시스템을 제공한다.
Figure R1020080094713
증강 현실, 저작, 가상 객체, 3D 모델, AR

Description

증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템{Device for Authoring Augmented Reality, Method and System for Authoring Augmented Reality Using the Same}
본 발명은 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템에 대한 것이다. 더욱 상세하게는, 본 발명은 자석과 버튼이 내장된 육면체 형상의 수동 조작 도구와, 이를 이용하여 3D 모델을 제공하는 팔레트로부터 3D 모델을 선택하고 결합함으로써 증강 현실 환경에서의 가상 객체를 형성하는 것을 특징으로 하는 증강 현실 저작 방법 및 그 시스템에 대한 것이다.
증강 현실(Augmented Reality)은 현실 공간에 가상의 객체를 정합하는 기술로 가상 현실보다 높은 현실감을 제공할 수 있다. 초기에는 증강을 위해 현실 공간의 특정 위치를 인식하고 추적하는 기술과 증강된 가상 객체들 간의 상호 작용을 위한 기술에 초점이 맞추어져 연구가 진행되어 왔다. 하지만 최근 들어 이러한 기술들을 적극 활용할 수 있는 다양한 증강 현실 응용 프로그램 혹은 콘텐츠 저작 도구에 대한 연구가 활발하게 진행되고 있다.
이러한 증강 현실 수동 조작 도구에서 3D 모델은 콘텐츠를 구성하는 가장 기 본적인 요소이다. 3D 모델은 증강 현실 콘텐츠에서 이야기의 중심이 되는 등장 인물 혹은 이와 상호 작용하기 위한 주변 객체의 역할을 하게 된다. AMIRE는 재사용 가능한 컴포넌트 기반 저작 환경을 지원하는 증강 현실 응용 프로그램 저작 도구이며 스크립트를 이용하여 각 컴포넌트가 지니는 3D 모델의 위치 및 속성 변경이 가능하다(Grimm P., Haller M., Paelke V., Reinhold S., Reimann C., and Zauner J., "AMIRE - Authoring Mixed Reality," IARTW2002 ). DART는 디자이너를 위한 매크로미디어 디렉터, 즉 그래픽 사용자 인터페이스 기반 증강현실 콘텐츠 저작도구로 스토리보드 작업을 통해 콘텐츠 프로토타입을 제작할 수 있다(MacIntyre B., Gandy M., Dow S., and David B. J.. "DART: A Toolkit for Rapid Design Exploration of Augmented Reality Experiences." UIST 2004.).
하지만 이러한 저작 도구는 모두 3D Max, Maya 등의 모델링 소프트웨어에 의해 미리 완성된 3D 모델을 불러들여 배치하고 속성을 변경하는 정도의 기능만을 제공하기 때문에 사용자의 의도가 반영된 새로운 복합 모델 생성이 어렵다. 또한 그래픽 사용자 인터페이스 혹은 스크립트 기반의 저작환경을 제공하기 때문에 프로그래밍이나 컴퓨터 이용 경험이 부족한 일반 사용자들이 친숙하게 다가가기 어려운 단점이 있다. TARM(Park J. Y. and Lee J. W, Tangible Augmented Reality Modeling, ICEC 2004)은 감각형 인터페이스 기반 증강현실 모델링 시스템으로 직관적인 인터페이스를 제공하나 연결성이 약한 상호작용 기법을 제공함으로써 단순한 모델링 작업에도 적지 않은 시간을 필요로 한다.
본 발명은 자석과 버튼이 내장된 육면체 형상의 수동 조작 도구와, 이를 이용하여 3D 모델을 제공하는 팔레트로부터 3D 모델을 선택하고 조립함으로써 증강 현실 환경에서의 가상 객체를 형성하는 것을 특징으로 하는 증강 현실 저작 방법 및 그 시스템을 제공함을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명은, 증강 현실 환경에서의 가상 객체 저작을 위한 증강 현실 저작 시스템에 있어서, 현실 환경에 대한 영상을 취득하는 영상 취득 장치; 상기 현실 환경에 구비되며 사용자가 수동으로 조작하는 수동 조작 도구; 사용 가능한 3D 모델을 상기 증강 현실 환경의 팔레트 영역에 제공하고, 상기 수동 조작 도구를 트래킹하여 조작 신호를 입력받으며, 상기 3D 모델을 결합하여 상기 가상 객체를 저작하도록 하는 저작 장치; 및 상기 영상 취득 장치를 통해 획득한 상기 현실 환경에 대한 영상에 상기 3D 모델을 포함한 영상을 증강시켜 사용자에게 제시하는 디스플레이 장치를 포함하며, 상기 저작 장치는, 상기 수동 조작 장치를 트래킹하는 마커 트래킹부, 상기 3D 모델을 증강시켜 상기 팔레트를 구성하는 팔레트 구성부, 상기 수동 조작 도구와 상기 3D 모델의 위치 관계를 이용하여 상기 3D 모델의 선택 여부를 결정하는 3D 모델 선택부, 상기 수동 조작 도구의 조작에 의해 상기 3D 모델의 결합을 수행하는 3D 모델 결합부, 상기 현실 환경에 상기 3D 모델을 포함한 가상 환경을 증강시켜 상기 디스플레이 장치로 출력하는 통합 렌더링부, 및 이들을 제어하는 주제어부를 포함하는 것을 특징으로 하는 증강 현실 저작 시스템을 제공한다.
바람직하게는, 상기 수동 조작 도구는, 육면체 형상이며 상기 육면체의 각 면의 중앙에는 중앙 자석이 구비되며, 적어도 한 쌍으로 이루어지는 것을 특징으로 한다.
바람직하게는, 상기 수동 조작 도구의 상기 육면체 각 면에는 상기 중앙 자석을 중심으로 일정 각도로 배치된 보조 자석이 추가로 포함되는 것을 특징으로 한다.
바람직하게는, 상기 수동 조작 도구의 상기 육면체의 모서리 중 적어도 하나에는 조작 버튼이 구비되고, 그 내부에는 조작 버튼 제어부가 구비되며, 상기 저작 장치에는 상기 조작 버튼 제어부의 조작 신호를 수신하는 수동 조작 도구 입력부가 구비되는 것을 특징으로 한다.
또한 본 발명은, 현실 환경에 대한 영상을 취득하는 영상 취득 장치, 사용 가능한 3D 모델을 상기 증강 현실 환경의 팔레트 영역에 제공하고 상기 3D 모델을 이용한 가상 객체의 저작을 수행하는 저작 장치, 및 증강 현실 환경을 사용자에게 제시하는 디스플레이 장치를 포함하는 증강 현실 저작 시스템에 사용되는 조작 도구에 있어서, 육면체 형상이며 상기 육면체의 각 면의 중앙에는 중앙 자석이 구비되고, 상기 육면체의 각 면에는 상기 저작 장치에서 식별하기 위한 수동 조작 도구 식별 마커가 구비되는 것을 특징으로 하는 수동 조작 도구를 제공한다.
또한 본 발명은, 현실 환경에 대한 영상을 취득하는 영상 취득 장치, 사용 가능한 3D 모델을 상기 증강 현실 환경의 팔레트 영역에 제공하고 상기 3D 모델을 이용한 가상 객체의 저작을 수행하는 저작 장치, 상기 3D 모델을 조작하여 저작을 수행하는 한 쌍의 수동 조작 도구 및 증강 현실 환경을 사용자에게 제시하는 디스플레이 장치를 포함하여 증강 현실 환경에서 가상 객체를 저작하는 방법에 있어서, (a) 상기 3D 모델을 상기 현실 환경에 증강시켜 팔레트를 구성하는 단계; (b) 상기 수동 조작 도구를 트래킹하여 상기 수동 조작 도구가 상기 3D 모델을 선택하는지 여부를 판단하는 단계; (c) 상기 수동 조작 도구 각각이 선택한 상기 3D 모델을 상호 결합하는 단계; 및 (d) 상기 3D 모델을 상호 결합한 결과물인 가상 객체를 상기 증강 현실 환경의 스테이지 영역에 위치시키는 단계를 포함하는 증강 현실 저작 방법을 제공한다.
바람직하게, 상기 (a) 단계에서는 상기 3D 모델의 외곽에는 외곽 박스가 함께 증강되고, 상기 (b) 단계에서는 상기 수동 조작 도구가 상기 외곽 박스와 충돌 또는 일정 거리 이내에 위치하는 경우 상기 3D 모델이 선택되는 것으로 판단하는 것을 특징으로 한다.
바람직하게는, 상기 저작 방법은 상기 수동 조작 도구의 조작 상태에 따라 상기 외곽 박스의 색상을 변화시켜 사용자가 상기 조작 상태를 확인하도록 하는 것을 특징으로 한다.
바람직하게는, 상기 저작 방법은 상기 수동 조작 도구의 상호간 위치 관계 또는 상호간 회전 관계를 바탕으로 상기 3D 모델의 속성 변경 또는 결합 관계 변경을 수행하는 단계를 추가로 포함하는 것을 특징으로 한다.
바람직하게는, 상기 저작 방법은, 상기 수동 조작 도구의 상기 조작 버튼의 기능에 따라 상기 수동 조작 도구에 조작 버튼 식별 표지를 증강시키는 단계를 추가로 포함하는 것을 특징으로 한다.
본 발명에 따르면 사용자는 수동 조작 도구를 이용하여 증강 현실 환경에서 블록 단위로 모델링된 3D 모델을 선택하고 이들을 결합하여 가상 객체를 직관적으로 생성할 수 있다.
또한, 본 발명에 따른 수동 조작 도구는 자석을 내장하여 사용자가 조작에 따른 반력을 느낄 수 있고 조작 버튼을 구비하여 가상 객체의 저작 능률을 향상시킬 수 있는 장점이 있다.
또한, 본 발명은 가상 객체의 저작뿐 아니라 증강 현실 환경에서 블록 쌓기, 블록 조립 등의 놀이를 즐길 수 있도록 하여 어린이의 지능 개발 및 정서 함양에 도움을 줄 수 있는 효과가 있다. 특히 큐브 형태의 수동 조작 도구는 조작의 편리성 및 직관성을 제공하여 연령대에 상관없이 효과적인 조작을 가능하게 한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되 는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템의 구성도이다.
본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템(100)은, 현실 환경(110)에 대한 영상을 취득하는 영상 취득 장치(120)와, 사용자가 현실 환경(110)에서 조작하여 가상 객체의 저작을 가능하게 하는 수동 조작 도구(130)와, 사용자에게 사용가능한 3D 모델을 제공하고 상기 수동 조작 도구(130)를 트래킹하고 조작 신호를 입력받아 3D 모델을 이용한 저작이 가능하도록 하는 저작 장치(140)와, 사용자에게 저작 환경과 저작 과정을 시각적으로 출력하는 디스플레이 장치(160)를 포함한다.
현실 환경(110)에는 바람직하게는 팔레트 구성용 마커(112)와 스테이지 구성용 마커(114)를 포함한다. 팔레트 구성용 마커(112)는 적어도 1개 이상 구비되며, 각각의 팔레트 구성용 마커(112)는 특정 3D 모델을 표상한다. 스테이지 구성용 마커(114)는 사용자가 가상 객체를 저작하는 과정에서 중간 결과물 또는 최종 결과물을 임시 저장하는 스테이지를 표상한다. 저작 과정 중에 있어서 사용자가 저작한 가상 객체는 상기 스테이지 구성용 마커(114)에 대응하여 저작 장치(140)에서 임시 저장되고 사용자에게 증강된다.
영상 취득 장치(120)는 현실 환경(110)의 영상을 취득하여 저작 장치(140)로 전송하는 기능을 수행한다. 영상 취득 장치(120)는 디지털 또는 아날로그 방식의 카메라일 수 있다.
수동 조작 도구(130)는 바람직하게는 한 쌍의 수동 조작 도구(130a, 130b)를 포함하여 사용자가 양 손에 하나씩 구비하여 조작할 수 있도록 한다. 수동 조작 도구(130)는 조작의 편리성을 위하여 바람직하게는 정육면체 형상으로 이루어지며, 각 면에는 수동 조작 도구(130)의 위치 및 방위를 트래킹하기 위한 수동 조작 도구 식별 마커(131a, 131b)가 구비된다. 수동 조작 도구(130)에 대해서는 이하에서 상술하도록 한다.
저작 장치(140)는 마커 트래킹부(142), 수동 조작 도구 입력부(144), 주제어부(146), 팔레트 구성부(148), 3D 모델 선택부(152), 3D 모델 결합부(154), 스테이지 관리부(156), 및 통합 렌더링부(158)를 포함한다. 한편 팔레트 구성부(148)에는 3D 모델 데이터베이스(150)가 구비될 수 있다.
마커 트래킹부(142)는 현실 환경(110)에 구비되는 팔레트 구성용 마커(112), 스테이지 구성용 마커(114), 및 수동 조작 도구(130)의 수동 조작 도구 식별 마커(131a, 131b)를 검출하고 트래킹하는 기능을 수행한다.
수동 조작 도구 입력부(114)는 수동 조작 도구(130)에 구비된 조작 버튼(추후 설명)의 조작 신호를 수신하는 기능을 수행한다. 바람직하게는 수동 조작 도구 입력부(114)와 수동 조작 도구(130)는 블루투스(Bluetooth), 지그비(Zigbee) 등과 같은 무선 통신 방식으로 신호를 송수신한다.
팔레트 구성부(148)는 사용 가능한 3D 모델을 3D 모델 데이터베이스(150)로 부터 불러들여 사용자에게 증강시키는 기능을 수행한다. 본 발명에서 3D 모델은 원기둥, 정육면체, 직육면체, 봉, 원판 등과 같이 기본적인 형상이거나 기 저작된 가상 객체일 수 있으며, 사용자가 즉각 사용할 수 있는 형태로 모델링된 것을 의미한다. 팔레트 구성부(148)는 이들 3D 모델을 디스플레이 장치(160)를 통해 사용자에게 증강시켜 팔레트를 구성한다. 한편, 이들 3D 모델은 현실 환경(110)에 구비되는 팔레트 구성용 마커(112)에 각각 대응될 수 있으나, 본 발명은 이에 한정되는 것은 아니다. 하나의 팔레트 구성용 마커(112)에 대응하여 1군의 3D 모델이 팔레트에 증강될 수 있으며, 경우에 따라서는 팔레트 구성용 마커(112)를 사용하지 않고 현실 환경(110)의 특정 영역에 3D 모델이 증강되도록 하는 것도 가능하다.
3D 모델 선택부(152)는 마커 트래킹부(142)에서 트래킹된 수동 조작 도구(130)의 위치를 트래킹하여 수동 조작 도구(130)가 특정 3D 모델을 선택하는지 여부를 판단하는 기능을 수행한다. 더불어 3D 모델 선택부(152)는 수동 조작 도구(130)가 특정 3D 모델을 선택한 경우 그 3D 모델을 복사하여 수동 조작 도구(130)의 이동에 따라 함께 이동할 수 있도록 하는 기능을 수행한다.
3D 모델 결합부(154)는 수동 조작 도구(130)가 선택한 적어도 두 개의 3D 모델을 상호 결합하여 하나의 객체로 결합하는 기능을 수행한다. 이러한 3D 모델의 결합에 있어서 3D 모델 결합부(154)는 수동 조작 도구(130)의 위치나 방위의 변화, 또는 수동 조작 도구(130)에 구비된 조작 버튼의 조작 신호에 따라 3D 모델의 결합 정도를 판단하도록 함이 바람직하다.
스테이지 관리부(156)는 사용자가 수동 조작 도구(130)를 이용하여 임시 저 작된 가상 객체 또는 저작이 완료된 가상 객체를 저장하고 이를 증강 현실 환경의 스테이지 영역에 위치하도록 한다. 이 때 증강 현실 환경의 스테이지 영역은 현실 환경(110)에 구비된 스테이지 식별 마커(114)를 기준으로 설정할 수 있다.
통합 렌더링부(158)는 영상 취득 장치(120)에서 취득한 현실 환경의 영상에 3D 모델, 가상 객체의 저작 과정에 따른 변화, 저작을 보조하기 위한 영상 등을 증강시켜 디스플레이 장치(160)로 출력한다.
디스플레이 장치(160)는 증강 현실 환경을 사용자에게 시각적으로 출력하며, 사용자는 디스플레이 장치(160)에 출력된 증강 현실 환경을 보면서 가상 객체의 저작을 수행한다.
본 발명에 따른 증강 현실 저작 시스템을 이용한 구체적인 저작 과정과 실시예에 대해서 설명하기에 앞서 수동 조작 도구(130)에 대하여 보다 상세히 설명한다.
도 2는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 수동 조작 도구의 사시도이며, 도 3a는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 다른 실시예에 따른 수동 조작 도구의 사시도이고, 도 3b는 이러한 수동 조작 도구 한 쌍의 결합 및 조작례를 설명하기 위한 도면이다.
도 2를 참조하면, 수동 조작 도구(130)는 전술한 바와 같이 육면체 형상으로 이루어지며, 특징적인 구성으로 각 면(132)의 중앙에는 중앙 자석(134)이 구비된다. 또한 육면체의 모서리 중 적어도 하나에는 조작 버튼(136)이 구비되고, 수동 조작 도구(130)의 내부에는 조작 버튼(136)의 조작 신호를 입력받고 이를 저작 장 치(140)의 수동 조작 도구 입력부(144)로 송신하는 버튼 제어부(138)를 구비한다.
수동 조작 도구(130)는 한 쌍으로 이루어지고 사용자는 한 쌍의 수동 조작 도구(130) 각각을 이용하여 3D 모델을 선택한 후 선택된 3D 모델을 결합하게 된다. 이 때 3D 모델의 정확한 결합을 위해서는 수동 조작 도구(130)가 정확히 맞물리도록 하는 것이 요구되며 또한 사용자는 수동 조작 도구(130)의 결합 상태에 따른 힘을 느끼는 것이 바람직하다. 수동 조작 도구(130)에 구비되는 중앙 자석(134)은 한 쌍의 수동 조작 도구(130a, 130b)가 결합될 때 사용자에게 그 힘을 느낄 수 있도록 함과 동시에 수동 조작 도구(130a, 130b)가 상호 정확한 위치에서 접촉할 수 있도록 한다.
한편, 도 3a를 참조하면, 수동 조작 도구(130)의 다른 실시예로서 수동 조작 도구(130) 각 면의 중앙 자석(134) 주위로 보조 자석(170)이 일정한 각도로 배치된다. 도 3b와 같이 한 쌍의 수동 조작 도구(130a, 130b)을 상호 접촉한 상태에서 어느 하나의 수동 조작 도구(130b)를 회전시킴에 있어서 각각의 수동 조작 도구(130a, 130b)에 구비된 보조 자석(170)이 일정한 각도마다 서로 접하게 됨으로써 사용자는 회전 정도를 감각할 수 있게 된다. 도 3a의 경우 보조 자석(170)은 중앙 자석(134)을 중심으로 90도 간격으로 배치되어 있으나 본 발명의 실시에 있어서는 중앙 자석(134)은 그 외의 각도(예컨대, 60도, 45도 등)로 배치될 수 있음은 물론이다.
도 4는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 방법을 도시한 순서도이다.
현실 환경(110)에 대한 영상이 영상 취득 장치(120)에서 획득되어 마커 트래킹부(142)로 전달되어 있는 상태에서 팔레트 구성부(148)는 3D 모델 데이터베이스(150)에 저장된 3D 모델을 디스플레이 장치(160)로 출력되는 영상 중의 팔레트로 출력하여 증강한다(S400).
수동 조작 도구(130)를 이용하여 팔레트 상에 증강된 3D 모델을 선택한다(S402). 3D 모델의 선택은 수동 조작 도구(130)를 트래킹하여 수동 조작 도구(130)가 증강된 3D 모델과 충돌하거나 또는 3D 모델과 일정 거리 이내에 위치하는 경우 이루어지는 것으로 설정될 수 있다. 또한 경우에 따라서는 수동 조작 장치(130)가 3D 모델과 충돌 또는 일정 거리 이내에 위치하면 이를 사용자에게 시각 또는 청각으로 표시하고 사용자가 수동 조작 장치(130)의 조작 버튼(136)을 누름으로써 3D 모델이 선택되는 것도 가능하다.
선택된 3D 모델들을 수동 조작 도구(130)를 이용하여 상호 결합한다(S404). 3D 모델의 상호 결합은 수동 조작 도구(130)를 이용하여 3D 모델을 상호 근접시키거나 접촉하도록 이동시키면 이루어질 수 있다. 다른 방법으로 수동 조작 도구(130) 중 어느 하나를 회전시키고 이를 트래킹함으로써 3D 모델을 결합하도록 입력하는 것도 가능하다. 또 다른 방법으로 위의 두 가지 중 어느 하나의 조작을 수행한 후 수동 조작 도구(130)의 조작 버튼(136)을 누름으로써 결합 완료의 명령을 하는 것도 가능하다.
이렇게 3D 모델을 결합하여 완성된 가상 객체를 스테이지로 복사하고(S406), 가상 객체의 저작 완료 여부를 판단한다(S408). 가상 객체의 저작이 완료된 경우에 는 스테이지 관리부(156)는 가상 객체를 저장한다(S410). 만약, 가상 객체의 저작이 완료되지 않은 상태인 경우 수동 조작 장치(130)에서 기선택된 3D 모델을 삭제하고(S412), 다시 팔레트 또는 스테이지에 존재하는 3D 모델 또는 임시 완성된 가상 객체를 선택한 후(S402), 위의 단계를 반복한다.
이상에서 설명한 본 발명의 바람직한 실시예에 따른 증강 현실 저작 장치 및 방법을 실제 구현한 실시례를 바탕으로 구체적으로 설명한다. 이하의 실시례를 참조하면 본 발명의 구성과 특징을 보다 명확히 이해할 수 있을 것이다.
도 5는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 장치 및 방법을 이용하여 현실 환경에 팔레트를 증강시켜 디스플레이 장치로 출력한 화면을 나타낸다.
디스플레이 장치(160)에는 팔레트 구성용 마커(112)와 스테이지 구성용 마커(114) 및 수동 조작 도구(130)를 포함하는 현실 환경(110)에 적어도 1개의 3D 모델(510)을 포함하는 팔레트(500)가 증강되어 출력된다. 한편, 스테이지 구성용 마커(114)에 대응하여 스테이지(520) 영역이 함께 증강될 수 있다.
사용자는 이러한 환경에서 수동 조작 도구(130)를 이용하여 팔레트(500)에 구비되는 3D 모델(510)을 선택하고 수동 조작 도구(130)의 조작을 통해 3D 모델(510)을 상호 결합할 수 있게 된다. 한편, 3D 모델(510)을 증강시킴에 있어서 3D 모델(510)의 외곽을 나타내는 외곽 박스(512)를 함께 표시하여 수동 조작 장치(130)가 상기 외곽 박스(512)와 충돌하거나 외곽 박스(512)의 중심부와 일정 거 리 이내에 위치하는 경우 가상 객체(510)가 선택되도록 할 수 있다.
일단 3D 모델(510)을 선택하면 3D 모델(510)은 수동 조작 도구(130) 위치로 복사되고 수동 조작 도구(130)의 이동 및 회전에 따라 함께 움직인다. 수동 조작 도구(130)는 각 면에 다수의 수동 조작 도구 식별 마커(131a, 131b)를 구비함으로 강건한 인식 및 추적이 가능하다. 또한, 한 쌍의 수동 조작 도구(130)는 그 위치에 따라 32가지 형태의 초기 결합 위치를 가능하게 하며, 나아가 3D 모델(510) 결합의 선택범위를 넓히고 세부 결합의 시간을 단축시킴으로써 전체 조립시간을 줄인다.
한편, 두 개의 수동 조작 도구(130)를 이용한 조립은 조립 과정을 단순화시키는 장점이 있는 반면 수동 조작 도구(130) 간 3D 모델 이동만이 가능한 순차적 조립만을 지원하는 한계점을 가진다. 이를 보완하기 위해 중간 과정을 저장하는 공간인 스테이지(520)가 필요한 것이다. 즉, 스테이지(520)는는 조립 중간 과정의 복합 모델을 미리 배치하거나 결합 완료된 모델(즉 최종의 가상 객체)의 저장소이다.
도 6은 수동 조작 도구를 이용하여 3D 모델을 선택하고, 선택된 3D 모델을 상호 결합하며, 선택된 3D 모델을 수동 조작 도구에서 삭제할 경우 외곽 박스를 변화시킴으로써 사용자에게 직관적인 조작을 가능하도록 하는 상태를 도시한 도면이다.
설명의 편의를 위해 수동 조작 도구(130) 중 왼쪽 것을 제 1 수동 조작 도구(130a)라 하고, 오른쪽 것을 제 2 수동 조작 도구(130b)라 한다. 또한, 제 1 수동 조작 도구(130a)로 선택한 3D 모델을 제 1 3D 모델(512a)이라 하고, 제 2 수동 조작 도구(130a)로 선택한 3D 모델을 제 2 3D 모델(512b)이라 한다.
도 6의 (a)는 제 2 수동 조작 도구(130b)를 이용하여 제 2 3D 모델(510b)을 선택한 상태를 도시한다. 제 2 수동 조작 도구(130b)를 이용하여 제 2 3D 모델(510b)을 선택한 경우 제 2 외곽 박스(512b)의 색상을 변화시켜(예컨대, 파란색에서 노란색으로) 사용자가 제 2 3D 모델(510b)이 선택되었음을 직관적으로 확인할 수 있도록 한다.
도 6의 (b)는 한 쌍의 수동 조작 도구(130a, 130b)를 이용하여 두 개의 3D 모델(510a, 510b)을 결합하는 상태를 도시한다. 제 1 수동 조작 도구(130a)와 제 2 수동 조작 도구(130b)가 일정 거리 이내로 근접하면 제 1 3D모델(510a)과 제 2 3D 모델(510b)가 초기 결합되었되고, 이를 나타내기 위하여 제 2 외곽 박스(512b)의 색상을 변화시켜(예컨대, 노란색에서 빨간색으로) 사용자가 두 개의 3D 모델(510a, 510b)의 초기 결합을 확인할 수 있도록 한다.
도 6의 (c)는 제 2 수동 조작 도구(130b)로부터 기 선택된 3D 모델을 삭제하는 경우를 도시하는데, 이 때에는 제 2 외곽 박스(512b)를 또 다른 색으로 변화시켜(예컨대, 빨간색에서 검정색으로) 사용자에게 시각적 피드백을 제공한다.
다음으로, 도 7은 수동 조작 도구를 이용하여 초기 결합된 3D 모델의 결합체를 추가 결합하는 과정을 도시한 도면이다.
3D 모델들(130a, 130b)의 결합 위치를 조정하기 위하여 수동 조작 도구(130a, 130b)에 대하여 실제 가구나 완구 제품 등의 조립 상황에서 흔히 볼 수 있는 드라이버를 이용한 나사 죄기 메타포를 적용한다.
수동 조작 도구(130a, 130b)는 초기 결합 상황에 따라 각각 나사와 드라이버에 대응되며 드라이버에 해당하는 제2 수동 조작 도구(130b)가 회전하는 방향에 따라 제 2 3D 모델(130b)의 이동이 수행된다. 도 7은 오른손에 쥐고 있는 제 2 수동 조작 도구(130b)가 시계방향으로 회전함에 따라 바퀴 모양의 제 2 3D 모델(510b)이 안쪽으로 이동하는 모습을 순차적으로 보여준다. 여기서 제 2 수동 조작 도구(130b)를 반 시계방향으로 회전하면 제 2 3D 모델(510b)이 바깥쪽으로 이동한다.
한편, 이상의 과정에서 수동 조작 도구(130a, 130b)를 이용한 3D 모델(510a, 510b) 의 선택, 결합 완료, 스테이지(520)로의 복사 등의 조작 완료 신호는 수동 조작 도구(130a, 130b)에 구비된 조작 버튼(136)을 누름으로써 수행될 수 있다.
도 8은 본 발명의 바람직한 실시예에 따른 증강현실 저작 시스템 및 방법을 이용하여 블록 단위의 3D 모델을 결합하여 자동차를 제작한 예를 도시한 도면이다.
도 8에 있어서 (a)는 3D 모델을 선택하는 과정, (b)는 바퀴와 축을 결합하여 조립하는 과정, (c)는 조립된 바퀴와 축의 결합물을 스테이지에 임시 저장한 상태에서 차체부를 선택하는 과정, (d)는 차체부에 바퀴와 축을 결합하여 최종적으로 자동차 가상 객체를 생성하여 스테이지로 이동시킨 상태를 나타낸다.
이상에서의 설명에서는 수동 조작 도구(130)의 조작 버튼(136)에 대하여 개별적인 기능을 특정하지 않았으나 발명의 실시에 있어서는 각 조작 버튼(136) 별로 별도의 기능(예컨대, 선택 완료, 작업 완료, 복사, 삭제 등)을 부여할 수 있다. 그 런데 사용자가 이를 용이하게 식별하는 것이 곤란하므로 본 발명의 실시에 있어서는 각 조작 버튼의 기능을 식별하는 식별 표지를 증강시켜 제시하는 것이 편리하다.
도 9는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 방법 및 시스템에 있어서, 수동 조작 도구의 조작 버튼의 기능을 표시하는 조작 버튼 식별 표지를 증강시킨 상태를 도시한다.
수동 조작 도구(130)의 꼭지점에 배치된 조작 버튼(136)의 위치에 각기 다른 색상의 조작 버튼 식별 표지(900)가 표시된다. 이는 도 1의 주제어부(146)가 마커 트래킹부(142)를 통해 트래킹된 수동 조작 도구(130)의 위치 및 방위에 따라 조작 버튼 식별 표지(900)를 증강시켜 통합 렌더링부(158)를 통해 출력하도록 함으로써 이루어질 수 있다.
또한 바람직하게는 도 9에 있어서 조작 버튼 식별 표지의 각 색상에 따른 조작 버튼(136)의 기능이 화면의 일부에 표시되도록 함으로써 사용자의 편의를 도모하도록 할 수 있다.
마지막으로 본 발명에 따른 수동 조작 도구(130)를 이용하여 선택된 3D 모델(510)을 변형시키는 실시예를 설명한다. 이러한 수동 조작 장치(130)의 조작이 마커 트래킹부(142)를 통해 트래킹되면 주제어부(146)는 수동 조작 장치(130)의 위치 및 방위 변화를 인식하고, 이에 따라 3D 모델의 속성이 변화될 수 있도록 한다.
도 10은 수동 조작 장치를 이용하여 3D 모델의 스케일을 변화시키는 상태를 도시한 도면이다. 도 10에서 우측과 같이 수동 조작 장치(130)를 회전시킴으로써 3D 모델(510)의 크기를 증가시켰다. 한편, 도 11은 수동 조작 장치를 이용하여 3D 모델을 일방향으로 확대시키는 상태를 도시한 도면이다. 도 11의 우측과 같이 수동 조작 장치(130) 상호간의 거리를 증가시킴에 따라 3D 모델(510)이 일방향으로 크기가 증가하였다.
다만 이상에서 설명한 수동 조작 장치를 이용한 3D 모델의 결합과 속성 변경 등은 본 발명을 이용한 가능한 실시 형태의 일례에 불과한 것으로 이 외에도 다양한 저작 활동이 가능함은 물론이다.
한편, 수동 조작 도구(130)를 이용하여 3D 모델(510)의 속성 변경하거나 결합함에 있어서 주제어부는 수동 조작 도구(130)의 조작 방향을 가이드하기 위하여 조작 방향 또는 조작에 따른 간단한 설명을 사용자에게 증강시켜 줄 수 있다. 예컨대, 도 10과 같은 상황에서 3D 모델(510)의 크기를 증가시키는 것은 시계방향 회전으로, 크기를 감소시키는 것은 반시계 방향 회전으로 화살표를 증강시켜 사용자가 직관적으로 3D 모델(510)을 변형시킬 수 있도록 할 수 있다. 또한 도 11과 같은 상황에서는 수동 조작 도구(130)를 바깥쪽으로 이동하면 3D 모델(510)의 크기가 그 방향으로 증가됨을 가이드하기 위하여 바깥쪽 방향의 화살표를 증강시킬 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상 을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템의 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 수동 조작 도구의 사시도,
도 3a는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 다른 실시예에 따른 수동 조작 도구의 사시도,
도 3b는 이러한 수동 조작 도구 한 쌍의 결합 및 조작례를 설명하기 위한 도면,
도 4는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 방법을 도시한 순서도,
도 5는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 장치 및 방법을 이용하여 현실 환경에 팔레트를 증강시켜 디스플레이 장치로 출력한 화면,
도 6은 수동 조작 도구를 이용하여 3D 모델을 선택하고, 선택된 3D 모델을 상호 결합하며, 선택된 3D 모델을 수동 조작 도구에서 삭제할 경우 외곽 박스를 변화시킴으로써 사용자에게 직관적인 조작을 가능하도록 하는 상태를 도시한 도면,
도 7은 수동 조작 도구를 이용하여 초기 결합된 3D 모델의 결합체를 추가 결합하는 과정을 도시한 도면
도 8은 본 발명의 바람직한 실시예에 따른 증강현실 저작 시스템 및 방법을 이용하여 블록 단위의 3D 모델을 결합하여 자동차를 제작한 예를 도시한 도면,
도 9는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 방법 및 시스템에 있어서, 수동 조작 도구의 조작 버튼의 기능을 표시하는 조작 버튼 식별 표지를 증강시킨 상태를 도시한 도면,
도 10은 수동 조작 장치를 이용하여 3D 모델의 스케일을 변화시키는 상태를 도시한 도면,
도 11은 수동 조작 장치를 이용하여 3D 모델을 일방향으로 확대시키는 상태를 도시한 도면이다.
<도면의 주요 부호에 대한 설명>
100 : 증강 현실 저작 시스템 110 : 현실 환경
120 : 영상 취득 장치 130, 130a, 130b : 수동 조작 도구
140 : 저작 장치 160 : 디스플레이 장치
500 : 팔레트 510, 510a, 510b : 3D 모델
900 : 조작 버튼 식별 표지

Claims (21)

  1. 증강 현실 환경에서의 가상 객체 저작을 위한 증강 현실 저작 시스템에 있어서,
    현실 환경에 대한 영상을 취득하는 영상 취득 장치;
    상기 현실 환경에 구비되며 사용자가 수동으로 조작하는 수동 조작 도구로서, 적어도 한 쌍으로 구성되며 결합면에 중앙 자석을 구비하는 수동 조작 도구;
    사용 가능한 3D 모델을 상기 증강 현실 환경의 팔레트 영역에 제공하고, 상기 수동 조작 도구를 트래킹하여 조작 신호를 입력받으며, 상기 3D 모델을 결합하여 상기 가상 객체를 저작하도록 하는 저작 장치; 및
    상기 영상 취득 장치를 통해 획득한 상기 현실 환경에 대한 영상에 상기 3D 모델을 포함한 영상을 증강시켜 사용자에게 제시하는 디스플레이 장치를 포함하며,
    상기 저작 장치는, 상기 수동 조작 장치를 트래킹하는 마커 트래킹부, 상기 3D 모델을 증강시켜 상기 팔레트를 구성하는 팔레트 구성부, 상기 수동 조작 도구와 상기 3D 모델의 위치 관계를 이용하여 상기 3D 모델의 선택 여부를 결정하는 3D 모델 선택부, 상기 수동 조작 도구의 조작에 의해 상기 3D 모델의 결합을 수행하는 3D 모델 결합부, 상기 현실 환경에 상기 3D 모델을 포함한 가상 환경을 증강시켜 상기 디스플레이 장치로 출력하는 통합 렌더링부, 및 이들을 제어하는 주제어부를 포함하는 것을 특징으로 하는 증강 현실 저작 시스템.
  2. 제 1 항에 있어서,
    상기 수동 조작 도구는 육면체 형상인 것을 특징으로 하는 증강 현실 저작 시스템.
  3. 제 2 항에 있어서,
    상기 수동 조작 도구의 상기 육면체 각 면에는 상기 중앙 자석을 중심으로 일정 각도로 배치된 보조 자석이 추가로 포함되는 것을 특징으로 하는 증강 현실 저작 시스템.
  4. 제 2 항에 있어서,
    상기 수동 조작 도구의 상기 육면체의 모서리 중 적어도 하나에는 조작 버튼이 구비되고, 그 내부에는 조작 버튼 제어부가 구비되며, 상기 저작 장치에는 상기 조작 버튼 제어부의 조작 신호를 수신하는 수동 조작 도구 입력부가 구비되는 것을 특징으로 하는 증강 현실 저작 시스템.
  5. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 수동 조작 도구의 상기 육면체의 각 면에는 수동 조작 도구 식별 마커가 구비되는 것을 특징으로 하는 증강 현실 저작 시스템.
  6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 현실 환경에는 상기 팔레트를 구성하기 위한 팔레트 구성용 마커가 구비되는 것을 특징으로 하는 증강 현실 저작 시스템.
  7. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 현실 환경에는 스테이지 구성용 마커가 구비되고, 상기 저작 장치에는 스테이지 관리부가 구비되어, 상기 3D 모델을 결합한 가상 객체를 증강 현실 환경에서 관리하도록 하는 것을 특징으로 하는 증강 현실 저작 시스템.
  8. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 3D 모델의 외곽에는 외곽 박스가 함께 증강되고, 상기 수동 조작 도구가 상기 외곽 박스와 충돌 또는 일정 거리 이내에 위치하는 경우 상기 3D 모델을 선택하도록 하는 것을 특징으로 하는 증강 현실 저작 시스템.
  9. 제 8 항에 있어서,
    상기 수동 조작 도구의 조작 상태에 따라 상기 외곽 박스의 색상을 변화시켜 사용자가 상기 조작 상태를 확인하도록 하는 것을 특징으로 하는 증강 현실 저작 시스템.
  10. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 저작 장치의 상기 3D 모델 결합부는 상기 수동 조작 도구의 상호간 위 치 관계 또는 상호간 회전 관계를 바탕으로 상기 3D 모델의 속성 변경 또는 결합 관계 변경을 수행하는 것을 특징으로 하는 증강 현실 저작 시스템.
  11. 제 4 항에 있어서,
    상기 조작 버튼은 적어도 2개 이상 구비되며 조작 버튼의 조작에 따른 기능이 상이하고, 상기 주제어부는 상기 수동 조작 장치에 상기 조작 버튼의 기능을 표시하는 조작 버튼 식별 표지를 증강시키는 것을 특징으로 하는 증강 현실 저작 시스템.
  12. 현실 환경에 대한 영상을 취득하는 영상 취득 장치, 사용 가능한 3D 모델을 증강 현실 환경의 팔레트 영역에 제공하고 상기 3D 모델을 이용한 가상 객체의 저작을 수행하는 저작 장치, 및 증강 현실 환경을 사용자에게 제시하는 디스플레이 장치를 포함하는 증강 현실 저작 시스템에 사용되는 조작 도구에 있어서,
    육면체 형상이며 상기 육면체의 각 면의 중앙에는 중앙 자석이 구비되고, 상기 육면체의 각 면에는 상기 저작 장치에서 식별하기 위한 수동 조작 도구 식별 마커가 구비되는 것을 특징으로 하는 수동 조작 도구.
  13. 제 12 항에 있어서,
    상기 수동 조작 도구의 상기 육면체 각 면에는 상기 중앙 자석을 중심으로 일정 각도로 배치된 보조 자석이 추가로 포함되는 것을 특징으로 하는 수동 조작 도구.
  14. 제 12 항 또는 제 13 항에 있어서,
    상기 수동 조작 도구의 상기 육면체의 모서리 중 적어도 하나에는 조작 버튼이 구비되고, 그 내부에는 조작 버튼의 조작 신호를 상기 저작 장치로 전송하는 조작 버튼 버튼 제어부가 구비되는 것을 특징으로 하는 수동 조작 도구.
  15. 현실 환경에 대한 영상을 취득하는 영상 취득 장치, 사용 가능한 3D 모델을 증강 현실 환경의 팔레트 영역에 제공하고 상기 3D 모델을 이용한 가상 객체의 저작을 수행하는 저작 장치, 상기 3D 모델을 조작하여 저작을 수행하는 한 쌍의 수동 조작 도구 및 증강 현실 환경을 사용자에게 제시하는 디스플레이 장치를 포함하여 증강 현실 환경에서 가상 객체를 저작하는 방법에 있어서,
    (a) 상기 3D 모델을 상기 현실 환경에 증강시켜 팔레트를 구성하는 단계;
    (b) 상기 수동 조작 도구를 트래킹하여 상기 수동 조작 도구가 상기 3D 모델을 선택하는지 여부를 판단하는 단계;
    (c) 상기 수동 조작 도구 각각이 선택한 상기 3D 모델을 상호 결합하는 단계; 및
    (d) 상기 3D 모델을 상호 결합한 결과물인 가상 객체를 상기 증강 현실 환경의 스테이지 영역에 위치시키는 단계
    를 포함하며, 상기 수동 조작 도구는 그 결합면에 중앙 자석이 구비되는 것을 특징으로 하는 증강 현실 저작 방법.
  16. 제 15 항에 있어서,
    상기 수동 조작 도구는 육면체 형상이며, 상기 육면체의 각 면에는 상기 저작 장치에서 식별하기 위한 수동 조작 도구 식별 마커가 구비되는 것을 특징으로 하는 증강 현실 저작 방법.
  17. 제 16 항에 있어서,
    상기 수동 조작 도구의 상기 육면체의 모서리 중 적어도 하나에는 조작 버튼이 구비되고, 그 내부에는 조작 버튼의 조작 신호를 상기 저작 장치로 전송하는 조작 버튼 버튼 제어부가 구비되는 것을 특징으로 하는 증강 현실 저작 방법.
  18. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 (a) 단계에서는 상기 3D 모델의 외곽에는 외곽 박스가 함께 증강되고, 상기 (b) 단계에서는 상기 수동 조작 도구가 상기 외곽 박스와 충돌 또는 일정 거리 이내에 위치하는 경우 상기 3D 모델이 선택되는 것으로 판단하는 것을 특징으로 하는 증강 현실 저작 방법.
  19. 제 18 항에 있어서,
    상기 수동 조작 도구의 조작 상태에 따라 상기 외곽 박스의 색상을 변화시켜 사용자가 상기 조작 상태를 확인하도록 하는 것을 특징으로 하는 증강 현실 저작 방법.
  20. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 수동 조작 도구의 상호간 위치 관계 또는 상호간 회전 관계를 바탕으로 상기 3D 모델의 속성 변경 또는 결합 관계 변경을 수행하는 단계를 추가로 포함하는 것을 특징으로 하는 증강 현실 저작 방법.
  21. 제 17 항에 있어서,
    상기 수동 조작 도구의 상기 조작 버튼의 기능에 따라 상기 수동 조작 도구에 조작 버튼 식별 표지를 증강시키는 단계를 추가로 포함하는 것을 특징으로 하는 증강 현실 저작 방법.
KR1020080094713A 2008-09-17 2008-09-26 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템 KR100985206B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080090932 2008-09-17
KR1020080090932 2008-09-17

Publications (2)

Publication Number Publication Date
KR20100032267A KR20100032267A (ko) 2010-03-25
KR100985206B1 true KR100985206B1 (ko) 2010-10-05

Family

ID=42181586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080094713A KR100985206B1 (ko) 2008-09-17 2008-09-26 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템

Country Status (1)

Country Link
KR (1) KR100985206B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101338043B1 (ko) * 2012-03-05 2013-12-09 한국과학기술연구원 실감 인터랙션을 이용한 인지재활 시스템 및 방법
KR101853059B1 (ko) 2016-08-10 2018-04-30 한국과학기술연구원 가상 모델 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
CN111077983A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及交互设备
CN111083463A (zh) * 2018-10-18 2020-04-28 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、终端设备及显示系统
WO2020078443A1 (zh) 2018-10-18 2020-04-23 广东虚拟现实科技有限公司 基于增强现实的虚拟内容显示方法、系统及终端设备
KR102069878B1 (ko) * 2019-01-31 2020-02-11 (주)이이알에스소프트 블록형 스마트토이를 활용한 증강현실 기반 교육용 프로그래밍언어 저작 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090056792A (ko) * 2007-11-30 2009-06-03 광주과학기술원 증강 현실을 위한 입력 인터페이스, 이를 구비한 증강 현실시스템
KR20090056760A (ko) * 2007-11-30 2009-06-03 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090056792A (ko) * 2007-11-30 2009-06-03 광주과학기술원 증강 현실을 위한 입력 인터페이스, 이를 구비한 증강 현실시스템
KR20090056760A (ko) * 2007-11-30 2009-06-03 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체

Also Published As

Publication number Publication date
KR20100032267A (ko) 2010-03-25

Similar Documents

Publication Publication Date Title
CN110531846B (zh) 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
KR100985206B1 (ko) 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템
KR100968944B1 (ko) 로봇 동기화 장치 및 그 방법
US7536655B2 (en) Three-dimensional-model processing apparatus, three-dimensional-model processing method, and computer program
Marner et al. Spatial user interfaces for large-scale projector-based augmented reality
Sukan et al. Quick viewpoint switching for manipulating virtual objects in hand-held augmented reality using stored snapshots
US20140176607A1 (en) Simulation system for mixed reality content
KR20120042440A (ko) 조립 과정 가시화 장치 및 방법
Lee et al. Two-handed tangible interaction techniques for composing augmented blocks
KR20090056760A (ko) 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
WO2019203952A1 (en) Systems and methods for applications of augmented reality
Kaimoto et al. Sketched reality: Sketching bi-directional interactions between virtual and physical worlds with ar and actuated tangible ui
Bogosian et al. Work in progress: towards an immersive robotics training for the future of architecture, engineering, and construction workforce
Alvarez et al. VRMDS: an intuitive virtual environment for supporting the conceptual design of mechanisms
Monteiro et al. Teachable reality: Prototyping tangible augmented reality with everyday objects by leveraging interactive machine teaching
Cao et al. Ani-bot: A modular robotics system supporting creation, tweaking, and usage with mixed-reality interactions
GB2539182A (en) Dynamic augmented reality system
Bruns et al. Bridging the Gap Between Real and Virtual Modeling: A New Approach to Human-computer Interaction
Osorio-Gómez et al. An augmented reality tool to validate the assembly sequence of a discrete product
Billinghurst et al. Tangible interfaces for ambient augmented reality applications
Mollet et al. Virtual and augmented reality with head-tracking for efficient teleoperation of groups of robots
Hempe et al. Taking the step from edutainment to eRobotics-A novel approach for an active render-framework to face the challenges of modern, multi-domain VR simulation systems
Hempe et al. A semantics-based, active render framework to realize complex eRobotics applications with realistic virtual testing environments
Ma A Mixed Modeling Environment Exploring Tangible and Digital Interactions for Iterative Design Modeling
Olson et al. Analysis and design of a two-wheeled robot with multiple user interface inputs and vision feedback control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130607

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150817

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170904

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee