KR20100032267A

KR20100032267A - Device for authoring augmented reality, method and system for authoring augmented reality using the same

Info

Publication number: KR20100032267A
Application number: KR1020080094713A
Authority: KR
Inventors: 우운택; 이형묵
Original assignee: (주)지아트
Priority date: 2008-09-17
Filing date: 2008-09-26
Publication date: 2010-03-25
Also published as: KR100985206B1

Abstract

PURPOSE: An AR(Augmented Reality) authoring system and a system using a manual AR operation tool are provided so that 3D model is selected from a palette offering 3D model and it puts together to the manual operation tool of the rectangular shape in which magnet and button are built in. The virtual object at the AR environment is formed. CONSTITUTION: A picture recognizing apparatus(120) acquires an image about a reality environment. A manual operation tool(130) is included in a reality environment. An apparatus(140) offers 3D(Dimensional) model to a palette area of the AR(Augmented Reality) environment. The apparatus the manual operation tool the tracking. The actuating signal is input. And 3D model is united. The virtual object is authored. A display device(160) reinforces an image including 3D model in an image about the reality environment.

Description

Device for Authoring Augmented Reality, Method and System for Authoring Augmented Reality Using the Same}

본 발명은 증강 현실 수동 조작 도구 및 이를 이용한 증강 현실 저작 방법과 그 시스템에 대한 것이다. 더욱 상세하게는, 본 발명은 자석과 버튼이 내장된 육면체 형상의 수동 조작 도구와, 이를 이용하여 3D 모델을 제공하는 팔레트로부터 3D 모델을 선택하고 결합함으로써 증강 현실 환경에서의 가상 객체를 형성하는 것을 특징으로 하는 증강 현실 저작 방법 및 그 시스템에 대한 것이다. The present invention relates to augmented reality manual operation tool, augmented reality authoring method and system using the same. More specifically, the present invention is directed to forming a virtual object in an augmented reality environment by selecting and combining a 3D model from a cube-shaped manual manipulation tool with a magnet and a button, and using the same to provide a 3D model. An augmented reality authoring method and system thereof characterized by the above.

증강 현실(Augmented Reality)은 현실 공간에 가상의 객체를 정합하는 기술로 가상 현실보다 높은 현실감을 제공할 수 있다. 초기에는 증강을 위해 현실 공간의 특정 위치를 인식하고 추적하는 기술과 증강된 가상 객체들 간의 상호 작용을 위한 기술에 초점이 맞추어져 연구가 진행되어 왔다. 하지만 최근 들어 이러한 기술들을 적극 활용할 수 있는 다양한 증강 현실 응용 프로그램 혹은 콘텐츠 저작 도구에 대한 연구가 활발하게 진행되고 있다.Augmented Reality is a technology of matching virtual objects in the real space to provide higher realism than virtual reality. Initially, researches have been focused on technologies for recognizing and tracking specific positions of real space for augmentation and technologies for interaction between augmented virtual objects. Recently, however, researches on various augmented reality applications or content authoring tools that can take advantage of these technologies have been actively conducted.

이러한 증강 현실 수동 조작 도구에서 3D 모델은 콘텐츠를 구성하는 가장 기 본적인 요소이다. 3D 모델은 증강 현실 콘텐츠에서 이야기의 중심이 되는 등장 인물 혹은 이와 상호 작용하기 위한 주변 객체의 역할을 하게 된다. AMIRE는 재사용 가능한 컴포넌트 기반 저작 환경을 지원하는 증강 현실 응용 프로그램 저작 도구이며 스크립트를 이용하여 각 컴포넌트가 지니는 3D 모델의 위치 및 속성 변경이 가능하다(Grimm P., Haller M., Paelke V., Reinhold S., Reimann C., and Zauner J., "AMIRE - Authoring Mixed Reality," IARTW2002 ). DART는 디자이너를 위한 매크로미디어 디렉터, 즉 그래픽 사용자 인터페이스 기반 증강현실 콘텐츠 저작도구로 스토리보드 작업을 통해 콘텐츠 프로토타입을 제작할 수 있다(MacIntyre B., Gandy M., Dow S., and David B. J.. "DART: A Toolkit for Rapid Design Exploration of Augmented Reality Experiences." UIST 2004.). In this augmented reality manual manipulation tool, the 3D model is the most fundamental component of the content. The 3D model serves as the main character of the story or surrounding objects to interact with it in augmented reality content. AMIRE is an augmented reality application authoring tool that supports a reusable component-based authoring environment and allows scripts to change the location and properties of the 3D model of each component (Grimm P., Haller M., Paelke V., Reinhold). S., Reimann C., and Zauner J., "AMIRE-Authoring Mixed Reality," IARTW2002 ) . DART is a macromedia director for designers, augmented reality content authoring tools based on a graphical user interface that allows storyboarding to create content prototypes (MacIntyre B., Gandy M., Dow S., and David BJ. " DART: A Toolkit for Rapid Design Exploration of Augmented Reality Experiences. " UIST 2004. ) .

하지만 이러한 저작 도구는 모두 3D Max, Maya 등의 모델링 소프트웨어에 의해 미리 완성된 3D 모델을 불러들여 배치하고 속성을 변경하는 정도의 기능만을 제공하기 때문에 사용자의 의도가 반영된 새로운 복합 모델 생성이 어렵다. 또한 그래픽 사용자 인터페이스 혹은 스크립트 기반의 저작환경을 제공하기 때문에 프로그래밍이나 컴퓨터 이용 경험이 부족한 일반 사용자들이 친숙하게 다가가기 어려운 단점이 있다. TARM(Park J. Y. and Lee J. W, Tangible Augmented Reality Modeling, ICEC 2004)은 감각형 인터페이스 기반 증강현실 모델링 시스템으로 직관적인 인터페이스를 제공하나 연결성이 약한 상호작용 기법을 제공함으로써 단순한 모델링 작업에도 적지 않은 시간을 필요로 한다.However, all of these authoring tools are difficult to create a new complex model that reflects the user's intention because they provide only the functions of loading, placing, and changing the 3D models that have been completed by modeling software such as 3D Max and Maya. In addition, since it provides a graphical user interface or script-based authoring environment, it is difficult for general users who are inexperienced in programming or using a computer to be familiar with it. TARM (Park JY and Lee J. W, Tangible Augmented Reality Modeling ( ICEC 2004) is a sensory interface-based augmented reality modeling system that provides an intuitive interface but provides a low-connectivity interaction technique that can take a lot of time for simple modeling tasks. in need.

본 발명은 자석과 버튼이 내장된 육면체 형상의 수동 조작 도구와, 이를 이용하여 3D 모델을 제공하는 팔레트로부터 3D 모델을 선택하고 조립함으로써 증강 현실 환경에서의 가상 객체를 형성하는 것을 특징으로 하는 증강 현실 저작 방법 및 그 시스템을 제공함을 목적으로 한다. Augmented reality characterized in that a virtual object in an augmented reality environment by selecting and assembling a 3D model from a palette providing a 3D model using a hexahedral manual operation tool with a magnet and a button embedded therein Its purpose is to provide a method and system for authoring.

상기한 목적을 달성하기 위하여 본 발명은, 증강 현실 환경에서의 가상 객체 저작을 위한 증강 현실 저작 시스템에 있어서, 현실 환경에 대한 영상을 취득하는 영상 취득 장치; 상기 현실 환경에 구비되며 사용자가 수동으로 조작하는 수동 조작 도구; 사용 가능한 3D 모델을 상기 증강 현실 환경의 팔레트 영역에 제공하고, 상기 수동 조작 도구를 트래킹하여 조작 신호를 입력받으며, 상기 3D 모델을 결합하여 상기 가상 객체를 저작하도록 하는 저작 장치; 및 상기 영상 취득 장치를 통해 획득한 상기 현실 환경에 대한 영상에 상기 3D 모델을 포함한 영상을 증강시켜 사용자에게 제시하는 디스플레이 장치를 포함하며, 상기 저작 장치는, 상기 수동 조작 장치를 트래킹하는 마커 트래킹부, 상기 3D 모델을 증강시켜 상기 팔레트를 구성하는 팔레트 구성부, 상기 수동 조작 도구와 상기 3D 모델의 위치 관계를 이용하여 상기 3D 모델의 선택 여부를 결정하는 3D 모델 선택부, 상기 수동 조작 도구의 조작에 의해 상기 3D 모델의 결합을 수행하는 3D 모델 결합부, 상기 현실 환경에 상기 3D 모델을 포함한 가상 환경을 증강시켜 상기 디스플레이 장치로 출력하는 통합 렌더링부, 및 이들을 제어하는 주제어부를 포함하는 것을 특징으로 하는 증강 현실 저작 시스템을 제공한다. In order to achieve the above object, the present invention provides an augmented reality authoring system for virtual object authoring in an augmented reality environment, comprising: an image acquisition device for acquiring an image of a real environment; A manual manipulation tool provided in the real environment and manually operated by a user; An authoring apparatus for providing a usable 3D model in a palette area of the augmented reality environment, tracking the manual manipulation tool to receive a manipulation signal, and combining the 3D model to author the virtual object; And a display device for augmenting and presenting an image including the 3D model to an image of the real environment obtained through the image capturing device, and presenting the image to the user, wherein the authoring device comprises: a marker tracking unit for tracking the manual manipulation device A palette construction unit configured to construct the palette by augmenting the 3D model, a 3D model selection unit determining whether to select the 3D model using a positional relationship between the manual manipulation tool and the 3D model, and operation of the manual manipulation tool And a 3D model combiner configured to combine the 3D model, an integrated renderer configured to augment a virtual environment including the 3D model in the real environment, and output the same to the display device, and a main controller to control the 3D model. It provides an augmented reality authoring system.

바람직하게는, 상기 수동 조작 도구는, 육면체 형상이며 상기 육면체의 각 면의 중앙에는 중앙 자석이 구비되며, 적어도 한 쌍으로 이루어지는 것을 특징으로 한다. Preferably, the manual operation tool has a hexahedron shape, and a central magnet is provided at the center of each side of the hexahedron, and is characterized in that it comprises at least one pair.

바람직하게는, 상기 수동 조작 도구의 상기 육면체 각 면에는 상기 중앙 자석을 중심으로 일정 각도로 배치된 보조 자석이 추가로 포함되는 것을 특징으로 한다. Preferably, the hexahedral surface of the manual operation tool is characterized in that it further comprises an auxiliary magnet disposed at an angle with respect to the center magnet.

바람직하게는, 상기 수동 조작 도구의 상기 육면체의 모서리 중 적어도 하나에는 조작 버튼이 구비되고, 그 내부에는 조작 버튼 제어부가 구비되며, 상기 저작 장치에는 상기 조작 버튼 제어부의 조작 신호를 수신하는 수동 조작 도구 입력부가 구비되는 것을 특징으로 한다. Preferably, at least one of the corners of the hexahedron of the manual operation tool is provided with an operation button, the operation button control unit is provided therein, the authoring device manual operation tool for receiving an operation signal of the operation button control unit Characterized in that the input unit is provided.

또한 본 발명은, 현실 환경에 대한 영상을 취득하는 영상 취득 장치, 사용 가능한 3D 모델을 상기 증강 현실 환경의 팔레트 영역에 제공하고 상기 3D 모델을 이용한 가상 객체의 저작을 수행하는 저작 장치, 및 증강 현실 환경을 사용자에게 제시하는 디스플레이 장치를 포함하는 증강 현실 저작 시스템에 사용되는 조작 도구에 있어서, 육면체 형상이며 상기 육면체의 각 면의 중앙에는 중앙 자석이 구비되고, 상기 육면체의 각 면에는 상기 저작 장치에서 식별하기 위한 수동 조작 도구 식별 마커가 구비되는 것을 특징으로 하는 수동 조작 도구를 제공한다. The present invention also provides an image acquisition device for acquiring an image of a real environment, an authoring device for providing a usable 3D model to a palette area of the augmented reality environment, and authoring a virtual object using the 3D model, and augmented reality. A manipulation tool for use in an augmented reality authoring system comprising a display device for presenting an environment to a user, comprising: a hexahedron shape, with a central magnet at the center of each side of the hexahedron, and on each side of the hexahedron Manual operation tool for identification Provides a manual operation tool, characterized in that an identification marker is provided.

또한 본 발명은, 현실 환경에 대한 영상을 취득하는 영상 취득 장치, 사용 가능한 3D 모델을 상기 증강 현실 환경의 팔레트 영역에 제공하고 상기 3D 모델을 이용한 가상 객체의 저작을 수행하는 저작 장치, 상기 3D 모델을 조작하여 저작을 수행하는 한 쌍의 수동 조작 도구 및 증강 현실 환경을 사용자에게 제시하는 디스플레이 장치를 포함하여 증강 현실 환경에서 가상 객체를 저작하는 방법에 있어서, (a) 상기 3D 모델을 상기 현실 환경에 증강시켜 팔레트를 구성하는 단계; (b) 상기 수동 조작 도구를 트래킹하여 상기 수동 조작 도구가 상기 3D 모델을 선택하는지 여부를 판단하는 단계; (c) 상기 수동 조작 도구 각각이 선택한 상기 3D 모델을 상호 결합하는 단계; 및 (d) 상기 3D 모델을 상호 결합한 결과물인 가상 객체를 상기 증강 현실 환경의 스테이지 영역에 위치시키는 단계를 포함하는 증강 현실 저작 방법을 제공한다. The present invention also provides an image acquisition device for acquiring an image of a real environment, an authoring device for providing a usable 3D model to a palette area of the augmented reality environment and authoring a virtual object using the 3D model, the 3D model A method of authoring a virtual object in an augmented reality environment, including a pair of manual manipulation tools for performing an authoring operation and a display device for presenting an augmented reality environment to a user, comprising: (a) generating the 3D model from the reality environment; Constructing a pallet by augmenting it; (b) tracking the manual manipulation tool to determine whether the manual manipulation tool selects the 3D model; (c) mutually combining the 3D models selected by each of the manual manipulation tools; And (d) placing a virtual object, which is a result of combining the 3D model, on a stage area of the augmented reality environment.

바람직하게, 상기 (a) 단계에서는 상기 3D 모델의 외곽에는 외곽 박스가 함께 증강되고, 상기 (b) 단계에서는 상기 수동 조작 도구가 상기 외곽 박스와 충돌 또는 일정 거리 이내에 위치하는 경우 상기 3D 모델이 선택되는 것으로 판단하는 것을 특징으로 한다.Preferably, in the step (a), the outer box is augmented together in the outer part of the 3D model, and in the step (b), the 3D model is selected when the manual operation tool collides with the outer box or is located within a certain distance. It is characterized by determining that.

바람직하게는, 상기 저작 방법은 상기 수동 조작 도구의 조작 상태에 따라 상기 외곽 박스의 색상을 변화시켜 사용자가 상기 조작 상태를 확인하도록 하는 것을 특징으로 한다. Preferably, the authoring method is characterized in that the user confirms the operation state by changing the color of the outer box according to the operation state of the manual operation tool.

바람직하게는, 상기 저작 방법은 상기 수동 조작 도구의 상호간 위치 관계 또는 상호간 회전 관계를 바탕으로 상기 3D 모델의 속성 변경 또는 결합 관계 변경을 수행하는 단계를 추가로 포함하는 것을 특징으로 한다. Preferably, the authoring method is characterized in that it further comprises the step of changing the properties of the 3D model or the change in the coupling relationship based on the mutual positional relationship or mutual rotational relationship of the manual operation tool.

바람직하게는, 상기 저작 방법은, 상기 수동 조작 도구의 상기 조작 버튼의 기능에 따라 상기 수동 조작 도구에 조작 버튼 식별 표지를 증강시키는 단계를 추가로 포함하는 것을 특징으로 한다. Preferably, the authoring method is characterized in that it further comprises the step of enhancing the operation button identification mark on the manual operation tool according to the function of the operation button of the manual operation tool.

본 발명에 따르면 사용자는 수동 조작 도구를 이용하여 증강 현실 환경에서 블록 단위로 모델링된 3D 모델을 선택하고 이들을 결합하여 가상 객체를 직관적으로 생성할 수 있다. According to the present invention, a user may select a 3D model modeled in units of blocks in an augmented reality environment using a manual manipulation tool and combine them to intuitively create a virtual object.

또한, 본 발명에 따른 수동 조작 도구는 자석을 내장하여 사용자가 조작에 따른 반력을 느낄 수 있고 조작 버튼을 구비하여 가상 객체의 저작 능률을 향상시킬 수 있는 장점이 있다. In addition, the manual operation tool according to the present invention has a merit that the user can feel the reaction force according to the operation by embedding the magnet and improve the authoring efficiency of the virtual object by including the operation button.

또한, 본 발명은 가상 객체의 저작뿐 아니라 증강 현실 환경에서 블록 쌓기, 블록 조립 등의 놀이를 즐길 수 있도록 하여 어린이의 지능 개발 및 정서 함양에 도움을 줄 수 있는 효과가 있다. 특히 큐브 형태의 수동 조작 도구는 조작의 편리성 및 직관성을 제공하여 연령대에 상관없이 효과적인 조작을 가능하게 한다. In addition, the present invention has an effect that can help the development of children's intelligence and emotional development by allowing the play of blocks, blocks assembly, etc. in the augmented reality environment as well as the creation of virtual objects. In particular, the cube-type manual operation tools provide convenience and intuition of operation to enable effective operation regardless of age group.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되 는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible, even if shown on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the following will describe a preferred embodiment of the present invention, but the technical idea of the present invention is not limited thereto and may be variously modified and modified by those skilled in the art.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템의 구성도이다. 1 is a block diagram of an augmented reality authoring system according to a preferred embodiment of the present invention.

본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템(100)은, 현실 환경(110)에 대한 영상을 취득하는 영상 취득 장치(120)와, 사용자가 현실 환경(110)에서 조작하여 가상 객체의 저작을 가능하게 하는 수동 조작 도구(130)와, 사용자에게 사용가능한 3D 모델을 제공하고 상기 수동 조작 도구(130)를 트래킹하고 조작 신호를 입력받아 3D 모델을 이용한 저작이 가능하도록 하는 저작 장치(140)와, 사용자에게 저작 환경과 저작 과정을 시각적으로 출력하는 디스플레이 장치(160)를 포함한다. The augmented reality authoring system 100 according to an exemplary embodiment of the present invention includes an image acquisition device 120 for acquiring an image of a real environment 110, and a user's manipulation of a virtual object in a real environment 110. Manual manipulation tool 130 to enable the, and authoring device 140 to provide a 3D model usable to the user and to track the manual manipulation tool 130 and receive a manipulation signal to enable authoring using the 3D model And a display device 160 that visually outputs the authoring environment and the authoring process to the user.

현실 환경(110)에는 바람직하게는 팔레트 구성용 마커(112)와 스테이지 구성용 마커(114)를 포함한다. 팔레트 구성용 마커(112)는 적어도 1개 이상 구비되며, 각각의 팔레트 구성용 마커(112)는 특정 3D 모델을 표상한다. 스테이지 구성용 마커(114)는 사용자가 가상 객체를 저작하는 과정에서 중간 결과물 또는 최종 결과물을 임시 저장하는 스테이지를 표상한다. 저작 과정 중에 있어서 사용자가 저작한 가상 객체는 상기 스테이지 구성용 마커(114)에 대응하여 저작 장치(140)에서 임시 저장되고 사용자에게 증강된다. The real environment 110 preferably includes a palette construction marker 112 and a stage construction marker 114. At least one pallet marker 112 is provided, and each pallet marker 112 represents a specific 3D model. The marker 114 for constructing the stage represents a stage for temporarily storing intermediate or final results in the process of authoring a virtual object. In the authoring process, the virtual object authored by the user is temporarily stored in the authoring device 140 and augmented to the user in response to the marker 114 for the stage configuration.

영상 취득 장치(120)는 현실 환경(110)의 영상을 취득하여 저작 장치(140)로 전송하는 기능을 수행한다. 영상 취득 장치(120)는 디지털 또는 아날로그 방식의 카메라일 수 있다. The image capturing apparatus 120 performs a function of acquiring an image of the real environment 110 and transmitting the image to the authoring apparatus 140. The image capturing apparatus 120 may be a digital or analog camera.

수동 조작 도구(130)는 바람직하게는 한 쌍의 수동 조작 도구(130a, 130b)를 포함하여 사용자가 양 손에 하나씩 구비하여 조작할 수 있도록 한다. 수동 조작 도구(130)는 조작의 편리성을 위하여 바람직하게는 정육면체 형상으로 이루어지며, 각 면에는 수동 조작 도구(130)의 위치 및 방위를 트래킹하기 위한 수동 조작 도구 식별 마커(131a, 131b)가 구비된다. 수동 조작 도구(130)에 대해서는 이하에서 상술하도록 한다. The manual operation tool 130 preferably includes a pair of manual operation tools 130a and 130b to allow the user to operate one by one in both hands. The manual operation tool 130 is preferably made in a cube shape for convenience of operation, and each surface has manual operation tool identification markers 131a and 131b for tracking the position and orientation of the manual operation tool 130. It is provided. The manual operation tool 130 will be described later in detail.

저작 장치(140)는 마커 트래킹부(142), 수동 조작 도구 입력부(144), 주제어부(146), 팔레트 구성부(148), 3D 모델 선택부(152), 3D 모델 결합부(154), 스테이지 관리부(156), 및 통합 렌더링부(158)를 포함한다. 한편 팔레트 구성부(148)에는 3D 모델 데이터베이스(150)가 구비될 수 있다. Authoring device 140 is a marker tracking unit 142, manual operation tool input unit 144, main control unit 146, palette configuration unit 148, 3D model selection unit 152, 3D model combiner 154, A stage manager 156, and an integrated renderer 158. The palette component 148 may be provided with a 3D model database 150.

마커 트래킹부(142)는 현실 환경(110)에 구비되는 팔레트 구성용 마커(112), 스테이지 구성용 마커(114), 및 수동 조작 도구(130)의 수동 조작 도구 식별 마커(131a, 131b)를 검출하고 트래킹하는 기능을 수행한다. The marker tracking unit 142 uses a palette marker 112, a stage marker 114, and a manual manipulation tool identification marker 131a, 131b of the manual manipulation tool 130 provided in the real environment 110. Detect and track.

수동 조작 도구 입력부(114)는 수동 조작 도구(130)에 구비된 조작 버튼(추후 설명)의 조작 신호를 수신하는 기능을 수행한다. 바람직하게는 수동 조작 도구 입력부(114)와 수동 조작 도구(130)는 블루투스(Bluetooth), 지그비(Zigbee) 등과 같은 무선 통신 방식으로 신호를 송수신한다. The manual operation tool input unit 114 performs a function of receiving an operation signal of an operation button (described later) provided in the manual operation tool 130. Preferably, the manual operation tool input unit 114 and the manual operation tool 130 transmit and receive signals in a wireless communication method such as Bluetooth, Zigbee, or the like.

팔레트 구성부(148)는 사용 가능한 3D 모델을 3D 모델 데이터베이스(150)로 부터 불러들여 사용자에게 증강시키는 기능을 수행한다. 본 발명에서 3D 모델은 원기둥, 정육면체, 직육면체, 봉, 원판 등과 같이 기본적인 형상이거나 기 저작된 가상 객체일 수 있으며, 사용자가 즉각 사용할 수 있는 형태로 모델링된 것을 의미한다. 팔레트 구성부(148)는 이들 3D 모델을 디스플레이 장치(160)를 통해 사용자에게 증강시켜 팔레트를 구성한다. 한편, 이들 3D 모델은 현실 환경(110)에 구비되는 팔레트 구성용 마커(112)에 각각 대응될 수 있으나, 본 발명은 이에 한정되는 것은 아니다. 하나의 팔레트 구성용 마커(112)에 대응하여 1군의 3D 모델이 팔레트에 증강될 수 있으며, 경우에 따라서는 팔레트 구성용 마커(112)를 사용하지 않고 현실 환경(110)의 특정 영역에 3D 모델이 증강되도록 하는 것도 가능하다. The palette component 148 loads a usable 3D model from the 3D model database 150 and augments the user. In the present invention, the 3D model may be a basic shape or a virtual object, such as a cylinder, a cube, a cube, a rod, a disc, or the like, and is modeled in a form that a user can use immediately. The palette unit 148 constructs a palette by augmenting these 3D models to the user through the display apparatus 160. Meanwhile, the 3D models may correspond to the markers 112 for palette construction provided in the real environment 110, but the present invention is not limited thereto. One group of 3D models may be augmented to a palette in correspondence with one palette marker 112, and in some cases, 3D may be added to a specific area of the real environment 110 without using the palette marker 112. It is also possible to allow the model to be augmented.

3D 모델 선택부(152)는 마커 트래킹부(142)에서 트래킹된 수동 조작 도구(130)의 위치를 트래킹하여 수동 조작 도구(130)가 특정 3D 모델을 선택하는지 여부를 판단하는 기능을 수행한다. 더불어 3D 모델 선택부(152)는 수동 조작 도구(130)가 특정 3D 모델을 선택한 경우 그 3D 모델을 복사하여 수동 조작 도구(130)의 이동에 따라 함께 이동할 수 있도록 하는 기능을 수행한다. The 3D model selection unit 152 tracks the position of the manual manipulation tool 130 tracked by the marker tracking unit 142 to determine whether the manual manipulation tool 130 selects a specific 3D model. In addition, when the manual manipulation tool 130 selects a specific 3D model, the 3D model selection unit 152 performs a function of copying the 3D model and moving the same along with the movement of the manual manipulation tool 130.

3D 모델 결합부(154)는 수동 조작 도구(130)가 선택한 적어도 두 개의 3D 모델을 상호 결합하여 하나의 객체로 결합하는 기능을 수행한다. 이러한 3D 모델의 결합에 있어서 3D 모델 결합부(154)는 수동 조작 도구(130)의 위치나 방위의 변화, 또는 수동 조작 도구(130)에 구비된 조작 버튼의 조작 신호에 따라 3D 모델의 결합 정도를 판단하도록 함이 바람직하다. The 3D model combiner 154 combines at least two 3D models selected by the manual manipulation tool 130 into one object. In the coupling of the 3D model, the 3D model coupling unit 154 is coupled to the 3D model according to a change in the position or orientation of the manual operation tool 130 or an operation signal of an operation button provided in the manual operation tool 130. It is desirable to determine.

스테이지 관리부(156)는 사용자가 수동 조작 도구(130)를 이용하여 임시 저 작된 가상 객체 또는 저작이 완료된 가상 객체를 저장하고 이를 증강 현실 환경의 스테이지 영역에 위치하도록 한다. 이 때 증강 현실 환경의 스테이지 영역은 현실 환경(110)에 구비된 스테이지 식별 마커(114)를 기준으로 설정할 수 있다. The stage manager 156 stores a temporary created virtual object or a completed virtual object using a manual manipulation tool 130 and places the same in a stage area of the augmented reality environment. In this case, the stage area of the augmented reality environment may be set based on the stage identification marker 114 provided in the reality environment 110.

통합 렌더링부(158)는 영상 취득 장치(120)에서 취득한 현실 환경의 영상에 3D 모델, 가상 객체의 저작 과정에 따른 변화, 저작을 보조하기 위한 영상 등을 증강시켜 디스플레이 장치(160)로 출력한다. The integrated rendering unit 158 augments the 3D model, the change according to the authoring process of the virtual object, the image for assisting the authoring, and the like on the image of the real environment acquired by the image capturing apparatus 120 and outputs the image to the display apparatus 160. .

디스플레이 장치(160)는 증강 현실 환경을 사용자에게 시각적으로 출력하며, 사용자는 디스플레이 장치(160)에 출력된 증강 현실 환경을 보면서 가상 객체의 저작을 수행한다. The display device 160 visually outputs the augmented reality environment to the user, and the user performs the authoring of the virtual object while viewing the augmented reality environment output to the display device 160.

본 발명에 따른 증강 현실 저작 시스템을 이용한 구체적인 저작 과정과 실시예에 대해서 설명하기에 앞서 수동 조작 도구(130)에 대하여 보다 상세히 설명한다. Before describing the specific authoring process and the embodiment using the augmented reality authoring system according to the present invention will be described in more detail with respect to the manual operation tool 130.

도 2는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 수동 조작 도구의 사시도이며, 도 3a는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 다른 실시예에 따른 수동 조작 도구의 사시도이고, 도 3b는 이러한 수동 조작 도구 한 쌍의 결합 및 조작례를 설명하기 위한 도면이다. 2 is a perspective view of a manual manipulation tool in an augmented reality authoring system according to a preferred embodiment of the present invention, and FIG. 3A illustrates a manual manipulation tool according to another embodiment in an augmented reality authoring system according to a preferred embodiment of the present invention. It is a perspective view, and FIG. 3B is a figure for demonstrating the combination and operation example of such a pair of manual operation tools.

도 2를 참조하면, 수동 조작 도구(130)는 전술한 바와 같이 육면체 형상으로 이루어지며, 특징적인 구성으로 각 면(132)의 중앙에는 중앙 자석(134)이 구비된다. 또한 육면체의 모서리 중 적어도 하나에는 조작 버튼(136)이 구비되고, 수동 조작 도구(130)의 내부에는 조작 버튼(136)의 조작 신호를 입력받고 이를 저작 장 치(140)의 수동 조작 도구 입력부(144)로 송신하는 버튼 제어부(138)를 구비한다. Referring to FIG. 2, the manual operation tool 130 has a hexahedron shape as described above, and a central magnet 134 is provided at the center of each surface 132 in a characteristic configuration. In addition, at least one of the corners of the cube is provided with an operation button 136, the inside of the manual operation tool 130 receives the operation signal of the operation button 136 and receives the manual operation tool input unit of the authoring device 140 ( And a button control unit 138 for transmitting to 144.

수동 조작 도구(130)는 한 쌍으로 이루어지고 사용자는 한 쌍의 수동 조작 도구(130) 각각을 이용하여 3D 모델을 선택한 후 선택된 3D 모델을 결합하게 된다. 이 때 3D 모델의 정확한 결합을 위해서는 수동 조작 도구(130)가 정확히 맞물리도록 하는 것이 요구되며 또한 사용자는 수동 조작 도구(130)의 결합 상태에 따른 힘을 느끼는 것이 바람직하다. 수동 조작 도구(130)에 구비되는 중앙 자석(134)은 한 쌍의 수동 조작 도구(130a, 130b)가 결합될 때 사용자에게 그 힘을 느낄 수 있도록 함과 동시에 수동 조작 도구(130a, 130b)가 상호 정확한 위치에서 접촉할 수 있도록 한다. The manual manipulation tools 130 are made up of a pair, and the user selects a 3D model using each of the pair of manual manipulation tools 130 and then combines the selected 3D models. At this time, it is required for the manual manipulation tool 130 to be accurately engaged in order to accurately combine the 3D model, and the user may feel the force according to the engagement state of the manual manipulation tool 130. The central magnet 134 provided in the manual operation tool 130 allows the user to feel the force when the pair of manual operation tools 130a and 130b are coupled, and at the same time, the manual operation tools 130a and 130b are provided. Ensure contact with each other at the correct location.

한편, 도 3a를 참조하면, 수동 조작 도구(130)의 다른 실시예로서 수동 조작 도구(130) 각 면의 중앙 자석(134) 주위로 보조 자석(170)이 일정한 각도로 배치된다. 도 3b와 같이 한 쌍의 수동 조작 도구(130a, 130b)을 상호 접촉한 상태에서 어느 하나의 수동 조작 도구(130b)를 회전시킴에 있어서 각각의 수동 조작 도구(130a, 130b)에 구비된 보조 자석(170)이 일정한 각도마다 서로 접하게 됨으로써 사용자는 회전 정도를 감각할 수 있게 된다. 도 3a의 경우 보조 자석(170)은 중앙 자석(134)을 중심으로 90도 간격으로 배치되어 있으나 본 발명의 실시에 있어서는 중앙 자석(134)은 그 외의 각도(예컨대, 60도, 45도 등)로 배치될 수 있음은 물론이다. Meanwhile, referring to FIG. 3A, as another embodiment of the manual manipulation tool 130, the auxiliary magnet 170 is disposed at a predetermined angle around the center magnet 134 of each surface of the manual manipulation tool 130. As shown in FIG. 3B, the auxiliary magnet provided in each of the manual operation tools 130a and 130b in rotating one of the manual operation tools 130b in a state in which the pair of manual operation tools 130a and 130b are in contact with each other. By contacting each other at predetermined angles 170, the user can sense the degree of rotation. In the case of FIG. 3A, the auxiliary magnets 170 are arranged at intervals of 90 degrees around the center magnets 134. However, in the embodiment of the present invention, the center magnets 134 have other angles (eg, 60 degrees, 45 degrees, etc.). Of course, it can be arranged as.

도 4는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 방법을 도시한 순서도이다. 4 is a flowchart illustrating an augmented reality authoring method according to a preferred embodiment of the present invention.

현실 환경(110)에 대한 영상이 영상 취득 장치(120)에서 획득되어 마커 트래킹부(142)로 전달되어 있는 상태에서 팔레트 구성부(148)는 3D 모델 데이터베이스(150)에 저장된 3D 모델을 디스플레이 장치(160)로 출력되는 영상 중의 팔레트로 출력하여 증강한다(S400).While the image of the real environment 110 is acquired by the image capturing apparatus 120 and transmitted to the marker tracking unit 142, the palette component 148 displays the 3D model stored in the 3D model database 150. The image is output to the palette in the image output to 160 and augmented (S400).

수동 조작 도구(130)를 이용하여 팔레트 상에 증강된 3D 모델을 선택한다(S402). 3D 모델의 선택은 수동 조작 도구(130)를 트래킹하여 수동 조작 도구(130)가 증강된 3D 모델과 충돌하거나 또는 3D 모델과 일정 거리 이내에 위치하는 경우 이루어지는 것으로 설정될 수 있다. 또한 경우에 따라서는 수동 조작 장치(130)가 3D 모델과 충돌 또는 일정 거리 이내에 위치하면 이를 사용자에게 시각 또는 청각으로 표시하고 사용자가 수동 조작 장치(130)의 조작 버튼(136)을 누름으로써 3D 모델이 선택되는 것도 가능하다. The 3D model augmented on the palette is selected using the manual manipulation tool 130 (S402). The selection of the 3D model may be set to be made when the manual manipulation tool 130 is tracked so that the manual manipulation tool 130 collides with the augmented 3D model or is located within a certain distance from the 3D model. In some cases, when the manual operation device 130 is located within a certain distance or collides with the 3D model, the manual operation device 130 is visually or audibly displayed to the user, and the user presses the operation button 136 of the manual operation device 130 to display the 3D model. It is also possible to be selected.

선택된 3D 모델들을 수동 조작 도구(130)를 이용하여 상호 결합한다(S404). 3D 모델의 상호 결합은 수동 조작 도구(130)를 이용하여 3D 모델을 상호 근접시키거나 접촉하도록 이동시키면 이루어질 수 있다. 다른 방법으로 수동 조작 도구(130) 중 어느 하나를 회전시키고 이를 트래킹함으로써 3D 모델을 결합하도록 입력하는 것도 가능하다. 또 다른 방법으로 위의 두 가지 중 어느 하나의 조작을 수행한 후 수동 조작 도구(130)의 조작 버튼(136)을 누름으로써 결합 완료의 명령을 하는 것도 가능하다. The selected 3D models are combined with each other using the manual manipulation tool 130 (S404). The mutual coupling of the 3D models may be accomplished by using the manual manipulation tool 130 to move the 3D models into proximity or contact with each other. Alternatively, it is also possible to input to join the 3D model by rotating and tracking any of the manual manipulation tools 130. Alternatively, after performing any one of the above two operations by pressing the operation button 136 of the manual operation tool 130, it is also possible to command the completion of the combination.

이렇게 3D 모델을 결합하여 완성된 가상 객체를 스테이지로 복사하고(S406), 가상 객체의 저작 완료 여부를 판단한다(S408). 가상 객체의 저작이 완료된 경우에 는 스테이지 관리부(156)는 가상 객체를 저장한다(S410). 만약, 가상 객체의 저작이 완료되지 않은 상태인 경우 수동 조작 장치(130)에서 기선택된 3D 모델을 삭제하고(S412), 다시 팔레트 또는 스테이지에 존재하는 3D 모델 또는 임시 완성된 가상 객체를 선택한 후(S402), 위의 단계를 반복한다. The 3D model is combined to copy the completed virtual object to the stage (S406), and it is determined whether the virtual object has been authored (S408). When the authoring of the virtual object is completed, the stage manager 156 stores the virtual object (S410). If the authoring of the virtual object is not completed, the manual manipulation device 130 deletes the pre-selected 3D model (S412), and again selects the 3D model or temporary completed virtual object existing on the palette or stage ( S402), repeat the above steps.

이상에서 설명한 본 발명의 바람직한 실시예에 따른 증강 현실 저작 장치 및 방법을 실제 구현한 실시례를 바탕으로 구체적으로 설명한다. 이하의 실시례를 참조하면 본 발명의 구성과 특징을 보다 명확히 이해할 수 있을 것이다. The augmented reality authoring apparatus and method according to a preferred embodiment of the present invention described above will be described in detail based on the embodiment of the actual implementation. With reference to the following embodiments will be able to more clearly understand the configuration and features of the present invention.

도 5는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 장치 및 방법을 이용하여 현실 환경에 팔레트를 증강시켜 디스플레이 장치로 출력한 화면을 나타낸다. 5 illustrates a screen output by augmenting a palette in a real environment using the augmented reality authoring apparatus and method according to an exemplary embodiment of the present invention and outputting it to a display device.

디스플레이 장치(160)에는 팔레트 구성용 마커(112)와 스테이지 구성용 마커(114) 및 수동 조작 도구(130)를 포함하는 현실 환경(110)에 적어도 1개의 3D 모델(510)을 포함하는 팔레트(500)가 증강되어 출력된다. 한편, 스테이지 구성용 마커(114)에 대응하여 스테이지(520) 영역이 함께 증강될 수 있다. The display device 160 includes a palette including at least one 3D model 510 in a real environment 110 including a marker 112 for constructing a palette, a marker 114 for constructing a stage, and a manual manipulation tool 130. 500) is augmented and output. Meanwhile, the area of the stage 520 may be augmented in correspondence with the marker 114 for the stage configuration.

사용자는 이러한 환경에서 수동 조작 도구(130)를 이용하여 팔레트(500)에 구비되는 3D 모델(510)을 선택하고 수동 조작 도구(130)의 조작을 통해 3D 모델(510)을 상호 결합할 수 있게 된다. 한편, 3D 모델(510)을 증강시킴에 있어서 3D 모델(510)의 외곽을 나타내는 외곽 박스(512)를 함께 표시하여 수동 조작 장치(130)가 상기 외곽 박스(512)와 충돌하거나 외곽 박스(512)의 중심부와 일정 거 리 이내에 위치하는 경우 가상 객체(510)가 선택되도록 할 수 있다. In such an environment, the user may select the 3D model 510 included in the palette 500 using the manual manipulation tool 130, and may combine the 3D models 510 with each other through the manipulation of the manual manipulation tool 130. do. Meanwhile, in augmenting the 3D model 510, the outer box 512 indicating the outline of the 3D model 510 is displayed together, such that the manual operation device 130 collides with the outer box 512 or the outer box 512. When located within a certain distance of the center and the virtual object 510 may be selected.

일단 3D 모델(510)을 선택하면 3D 모델(510)은 수동 조작 도구(130) 위치로 복사되고 수동 조작 도구(130)의 이동 및 회전에 따라 함께 움직인다. 수동 조작 도구(130)는 각 면에 다수의 수동 조작 도구 식별 마커(131a, 131b)를 구비함으로 강건한 인식 및 추적이 가능하다. 또한, 한 쌍의 수동 조작 도구(130)는 그 위치에 따라 32가지 형태의 초기 결합 위치를 가능하게 하며, 나아가 3D 모델(510) 결합의 선택범위를 넓히고 세부 결합의 시간을 단축시킴으로써 전체 조립시간을 줄인다. Once the 3D model 510 is selected, the 3D model 510 is copied to the position of the manual manipulation tool 130 and moves together as the manual manipulation tool 130 moves and rotates. The manual manipulation tool 130 includes a plurality of manual manipulation tool identification markers 131a and 131b on each side thereof, thereby enabling robust recognition and tracking. In addition, the pair of manual operation tools 130 enables 32 types of initial coupling positions according to their positions, and further expands the overall assembly time by widening the selection range of the 3D model 510 and shortening the details of the coupling. Reduce

한편, 두 개의 수동 조작 도구(130)를 이용한 조립은 조립 과정을 단순화시키는 장점이 있는 반면 수동 조작 도구(130) 간 3D 모델 이동만이 가능한 순차적 조립만을 지원하는 한계점을 가진다. 이를 보완하기 위해 중간 과정을 저장하는 공간인 스테이지(520)가 필요한 것이다. 즉, 스테이지(520)는는 조립 중간 과정의 복합 모델을 미리 배치하거나 결합 완료된 모델(즉 최종의 가상 객체)의 저장소이다. On the other hand, the assembly using the two manual operation tools 130 has the advantage of simplifying the assembly process, but has a limitation that supports only the sequential assembly that can only move the 3D model between the manual operation tools 130. To compensate for this, a stage 520, which is a space for storing intermediate processes, is required. That is, the stage 520 is a storage of a pre-arranged or combined model (ie, the final virtual object) of the complex model of the intermediate assembly process.

도 6은 수동 조작 도구를 이용하여 3D 모델을 선택하고, 선택된 3D 모델을 상호 결합하며, 선택된 3D 모델을 수동 조작 도구에서 삭제할 경우 외곽 박스를 변화시킴으로써 사용자에게 직관적인 조작을 가능하도록 하는 상태를 도시한 도면이다. FIG. 6 illustrates a state in which a 3D model is selected using a manual manipulation tool, the selected 3D models are mutually coupled, and a user can intuitively operate by changing the outer box when deleting the selected 3D model from the manual manipulation tool. One drawing.

설명의 편의를 위해 수동 조작 도구(130) 중 왼쪽 것을 제 1 수동 조작 도구(130a)라 하고, 오른쪽 것을 제 2 수동 조작 도구(130b)라 한다. 또한, 제 1 수동 조작 도구(130a)로 선택한 3D 모델을 제 1 3D 모델(512a)이라 하고, 제 2 수동 조작 도구(130a)로 선택한 3D 모델을 제 2 3D 모델(512b)이라 한다. For convenience of explanation, the left one of the manual operation tools 130 is called the first manual operation tool 130a, and the right one is called the second manual operation tool 130b. The 3D model selected by the first manual manipulation tool 130a is referred to as a first 3D model 512a, and the 3D model selected by the second manual manipulation tool 130a is referred to as a second 3D model 512b.

도 6의 (a)는 제 2 수동 조작 도구(130b)를 이용하여 제 2 3D 모델(510b)을 선택한 상태를 도시한다. 제 2 수동 조작 도구(130b)를 이용하여 제 2 3D 모델(510b)을 선택한 경우 제 2 외곽 박스(512b)의 색상을 변화시켜(예컨대, 파란색에서 노란색으로) 사용자가 제 2 3D 모델(510b)이 선택되었음을 직관적으로 확인할 수 있도록 한다. FIG. 6A illustrates a state in which the second 3D model 510b is selected using the second manual operation tool 130b. When the second 3D model 510b is selected using the second manual manipulation tool 130b, the color of the second outer box 512b is changed (for example, from blue to yellow) so that the user can change the color of the second 3D model 510b. Intuitively confirms that this is selected.

도 6의 (b)는 한 쌍의 수동 조작 도구(130a, 130b)를 이용하여 두 개의 3D 모델(510a, 510b)을 결합하는 상태를 도시한다. 제 1 수동 조작 도구(130a)와 제 2 수동 조작 도구(130b)가 일정 거리 이내로 근접하면 제 1 3D모델(510a)과 제 2 3D 모델(510b)가 초기 결합되었되고, 이를 나타내기 위하여 제 2 외곽 박스(512b)의 색상을 변화시켜(예컨대, 노란색에서 빨간색으로) 사용자가 두 개의 3D 모델(510a, 510b)의 초기 결합을 확인할 수 있도록 한다. FIG. 6B illustrates a state in which two 3D models 510a and 510b are combined by using a pair of manual manipulation tools 130a and 130b. When the first manual manipulation tool 130a and the second manual manipulation tool 130b are close to each other within a predetermined distance, the first 3D model 510a and the second 3D model 510b are initially combined. The color of the outer box 512b is changed (eg from yellow to red) to allow the user to see the initial combination of the two 3D models 510a and 510b.

도 6의 (c)는 제 2 수동 조작 도구(130b)로부터 기 선택된 3D 모델을 삭제하는 경우를 도시하는데, 이 때에는 제 2 외곽 박스(512b)를 또 다른 색으로 변화시켜(예컨대, 빨간색에서 검정색으로) 사용자에게 시각적 피드백을 제공한다.FIG. 6C illustrates a case of deleting a pre-selected 3D model from the second manual manipulation tool 130b, in which the second outer box 512b is changed to another color (for example, red to black). Provide visual feedback to the user.

다음으로, 도 7은 수동 조작 도구를 이용하여 초기 결합된 3D 모델의 결합체를 추가 결합하는 과정을 도시한 도면이다. Next, FIG. 7 is a diagram illustrating a process of additionally combining the combined body of the initially combined 3D model using a manual manipulation tool.

3D 모델들(130a, 130b)의 결합 위치를 조정하기 위하여 수동 조작 도구(130a, 130b)에 대하여 실제 가구나 완구 제품 등의 조립 상황에서 흔히 볼 수 있는 드라이버를 이용한 나사 죄기 메타포를 적용한다. In order to adjust the engagement position of the 3D models 130a and 130b, a screw-tapping metaphor using a screwdriver which is commonly seen in an assembly situation of a real furniture or a toy product is applied to the manual operation tools 130a and 130b.

수동 조작 도구(130a, 130b)는 초기 결합 상황에 따라 각각 나사와 드라이버에 대응되며 드라이버에 해당하는 제2 수동 조작 도구(130b)가 회전하는 방향에 따라 제 2 3D 모델(130b)의 이동이 수행된다. 도 7은 오른손에 쥐고 있는 제 2 수동 조작 도구(130b)가 시계방향으로 회전함에 따라 바퀴 모양의 제 2 3D 모델(510b)이 안쪽으로 이동하는 모습을 순차적으로 보여준다. 여기서 제 2 수동 조작 도구(130b)를 반 시계방향으로 회전하면 제 2 3D 모델(510b)이 바깥쪽으로 이동한다. The manual manipulation tools 130a and 130b correspond to screws and drivers, respectively, according to the initial engagement situation, and the movement of the second 3D model 130b is performed according to the direction in which the second manual manipulation tool 130b corresponding to the driver rotates. do. FIG. 7 sequentially shows the wheel-shaped second 3D model 510b moving inward as the second manual operation tool 130b held in the right hand rotates clockwise. Here, when the second manual operation tool 130b is rotated counterclockwise, the second 3D model 510b moves outward.

한편, 이상의 과정에서 수동 조작 도구(130a, 130b)를 이용한 3D 모델(510a, 510b) 의 선택, 결합 완료, 스테이지(520)로의 복사 등의 조작 완료 신호는 수동 조작 도구(130a, 130b)에 구비된 조작 버튼(136)을 누름으로써 수행될 수 있다. Meanwhile, in the above process, an operation completion signal such as selection of 3D models 510a and 510b using the manual operation tools 130a and 130b, completion of coupling, and copying to the stage 520 is provided in the manual operation tools 130a and 130b. Can be performed by pressing the manipulated button 136.

도 8은 본 발명의 바람직한 실시예에 따른 증강현실 저작 시스템 및 방법을 이용하여 블록 단위의 3D 모델을 결합하여 자동차를 제작한 예를 도시한 도면이다.8 is a diagram illustrating an example of a vehicle manufactured by combining a 3D model in units of blocks using an augmented reality authoring system and method according to an exemplary embodiment of the present invention.

도 8에 있어서 (a)는 3D 모델을 선택하는 과정, (b)는 바퀴와 축을 결합하여 조립하는 과정, (c)는 조립된 바퀴와 축의 결합물을 스테이지에 임시 저장한 상태에서 차체부를 선택하는 과정, (d)는 차체부에 바퀴와 축을 결합하여 최종적으로 자동차 가상 객체를 생성하여 스테이지로 이동시킨 상태를 나타낸다. In Figure 8 (a) is a process of selecting the 3D model, (b) is a process of assembling the wheel and the shaft, (c) is selected in the state of the vehicle body in the temporarily stored combination of the assembled wheel and the shaft on the stage In the process, (d) shows the state in which the wheel and the shaft are coupled to the vehicle body to finally generate the vehicle virtual object and move to the stage.

이상에서의 설명에서는 수동 조작 도구(130)의 조작 버튼(136)에 대하여 개별적인 기능을 특정하지 않았으나 발명의 실시에 있어서는 각 조작 버튼(136) 별로 별도의 기능(예컨대, 선택 완료, 작업 완료, 복사, 삭제 등)을 부여할 수 있다. 그 런데 사용자가 이를 용이하게 식별하는 것이 곤란하므로 본 발명의 실시에 있어서는 각 조작 버튼의 기능을 식별하는 식별 표지를 증강시켜 제시하는 것이 편리하다. In the above description, the individual functions are not specified for the operation button 136 of the manual operation tool 130, but in the practice of the invention, separate functions (for example, selection completion, operation completion, and copying) are performed for each operation button 136. , Delete, etc.). However, since it is difficult for the user to easily identify it, it is convenient in the practice of the present invention to augment and present the identification mark identifying the function of each operation button.

도 9는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 방법 및 시스템에 있어서, 수동 조작 도구의 조작 버튼의 기능을 표시하는 조작 버튼 식별 표지를 증강시킨 상태를 도시한다. 9 illustrates a state in which an operation button identification mark indicating a function of an operation button of a manual operation tool is enhanced in the augmented reality authoring method and system according to a preferred embodiment of the present invention.

수동 조작 도구(130)의 꼭지점에 배치된 조작 버튼(136)의 위치에 각기 다른 색상의 조작 버튼 식별 표지(900)가 표시된다. 이는 도 1의 주제어부(146)가 마커 트래킹부(142)를 통해 트래킹된 수동 조작 도구(130)의 위치 및 방위에 따라 조작 버튼 식별 표지(900)를 증강시켜 통합 렌더링부(158)를 통해 출력하도록 함으로써 이루어질 수 있다. The manipulation button identification mark 900 of different colors is displayed at the position of the manipulation button 136 disposed at the vertex of the manual manipulation tool 130. This is because the main control unit 146 of FIG. 1 augments the operation button identification mark 900 according to the position and orientation of the manual operation tool 130 tracked through the marker tracking unit 142 through the integrated rendering unit 158. This can be done by outputting.

또한 바람직하게는 도 9에 있어서 조작 버튼 식별 표지의 각 색상에 따른 조작 버튼(136)의 기능이 화면의 일부에 표시되도록 함으로써 사용자의 편의를 도모하도록 할 수 있다. In addition, in Fig. 9, the function of the operation button 136 corresponding to each color of the operation button identification mark can be displayed on a part of the screen so as to facilitate the user's convenience.

마지막으로 본 발명에 따른 수동 조작 도구(130)를 이용하여 선택된 3D 모델(510)을 변형시키는 실시예를 설명한다. 이러한 수동 조작 장치(130)의 조작이 마커 트래킹부(142)를 통해 트래킹되면 주제어부(146)는 수동 조작 장치(130)의 위치 및 방위 변화를 인식하고, 이에 따라 3D 모델의 속성이 변화될 수 있도록 한다. Finally, an embodiment of deforming the selected 3D model 510 using the manual operation tool 130 according to the present invention will be described. When the manipulation of the manual manipulation unit 130 is tracked through the marker tracking unit 142, the main control unit 146 recognizes the position and orientation change of the manual manipulation unit 130, and accordingly, the property of the 3D model may be changed. To help.

도 10은 수동 조작 장치를 이용하여 3D 모델의 스케일을 변화시키는 상태를 도시한 도면이다. 도 10에서 우측과 같이 수동 조작 장치(130)를 회전시킴으로써 3D 모델(510)의 크기를 증가시켰다. 한편, 도 11은 수동 조작 장치를 이용하여 3D 모델을 일방향으로 확대시키는 상태를 도시한 도면이다. 도 11의 우측과 같이 수동 조작 장치(130) 상호간의 거리를 증가시킴에 따라 3D 모델(510)이 일방향으로 크기가 증가하였다. 10 is a diagram illustrating a state of changing the scale of the 3D model by using a manual operation device. In FIG. 10, the size of the 3D model 510 is increased by rotating the manual operation apparatus 130 as shown in the right side. On the other hand, Figure 11 is a view showing a state in which the 3D model is expanded in one direction by using a manual operation device. As shown in the right side of FIG. 11, as the distance between the manual manipulation devices 130 increases, the size of the 3D model 510 increases in one direction.

다만 이상에서 설명한 수동 조작 장치를 이용한 3D 모델의 결합과 속성 변경 등은 본 발명을 이용한 가능한 실시 형태의 일례에 불과한 것으로 이 외에도 다양한 저작 활동이 가능함은 물론이다. However, the combination and the property change of the 3D model using the manual operation apparatus described above are just examples of possible embodiments using the present invention.

한편, 수동 조작 도구(130)를 이용하여 3D 모델(510)의 속성 변경하거나 결합함에 있어서 주제어부는 수동 조작 도구(130)의 조작 방향을 가이드하기 위하여 조작 방향 또는 조작에 따른 간단한 설명을 사용자에게 증강시켜 줄 수 있다. 예컨대, 도 10과 같은 상황에서 3D 모델(510)의 크기를 증가시키는 것은 시계방향 회전으로, 크기를 감소시키는 것은 반시계 방향 회전으로 화살표를 증강시켜 사용자가 직관적으로 3D 모델(510)을 변형시킬 수 있도록 할 수 있다. 또한 도 11과 같은 상황에서는 수동 조작 도구(130)를 바깥쪽으로 이동하면 3D 모델(510)의 크기가 그 방향으로 증가됨을 가이드하기 위하여 바깥쪽 방향의 화살표를 증강시킬 수 있다. Meanwhile, in changing or combining the attributes of the 3D model 510 using the manual manipulation tool 130, the main control unit augments the user with a brief description according to the manipulation direction or manipulation to guide the manipulation direction of the manual manipulation tool 130. I can let you. For example, in the situation as shown in FIG. 10, increasing the size of the 3D model 510 in a clockwise rotation, and decreasing the size increases an arrow in a counterclockwise rotation so that the user may intuitively deform the 3D model 510. You can do that. In addition, in the situation as shown in FIG. 11, when the manual operation tool 130 is moved outward, the arrow in the outward direction may be augmented to guide the increase in the size of the 3D model 510.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상 을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions may be made by those skilled in the art without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

도 1은 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템의 구성도,1 is a block diagram of an augmented reality authoring system according to a preferred embodiment of the present invention,

도 2는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 수동 조작 도구의 사시도, 2 is a perspective view of a manual operation tool in the augmented reality authoring system according to a preferred embodiment of the present invention,

도 3a는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 시스템에 있어서 다른 실시예에 따른 수동 조작 도구의 사시도, 3A is a perspective view of a manual operation tool according to another embodiment in an augmented reality authoring system according to a preferred embodiment of the present invention;

도 3b는 이러한 수동 조작 도구 한 쌍의 결합 및 조작례를 설명하기 위한 도면,3B is a view for explaining the combination and operation example of a pair of such manual operation tools;

도 4는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 방법을 도시한 순서도,4 is a flow chart illustrating an augmented reality authoring method according to a preferred embodiment of the present invention;

도 5는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 장치 및 방법을 이용하여 현실 환경에 팔레트를 증강시켜 디스플레이 장치로 출력한 화면,5 is a screen for augmenting a palette in a real environment using the augmented reality authoring apparatus and method according to an embodiment of the present invention and outputting it to a display device;

도 6은 수동 조작 도구를 이용하여 3D 모델을 선택하고, 선택된 3D 모델을 상호 결합하며, 선택된 3D 모델을 수동 조작 도구에서 삭제할 경우 외곽 박스를 변화시킴으로써 사용자에게 직관적인 조작을 가능하도록 하는 상태를 도시한 도면,FIG. 6 illustrates a state in which a 3D model is selected using a manual manipulation tool, the selected 3D models are mutually coupled, and a user can intuitively operate by changing the outer box when deleting the selected 3D model from the manual manipulation tool. One drawing,

도 7은 수동 조작 도구를 이용하여 초기 결합된 3D 모델의 결합체를 추가 결합하는 과정을 도시한 도면FIG. 7 is a diagram illustrating a process of additionally combining a combination of an initially joined 3D model using a manual manipulation tool.

도 8은 본 발명의 바람직한 실시예에 따른 증강현실 저작 시스템 및 방법을 이용하여 블록 단위의 3D 모델을 결합하여 자동차를 제작한 예를 도시한 도면,8 is a view showing an example of manufacturing a car by combining a block-by-block 3D model using augmented reality authoring system and method according to an embodiment of the present invention,

도 9는 본 발명의 바람직한 실시예에 따른 증강 현실 저작 방법 및 시스템에 있어서, 수동 조작 도구의 조작 버튼의 기능을 표시하는 조작 버튼 식별 표지를 증강시킨 상태를 도시한 도면, 9 is a diagram illustrating a state in which an operation button identification mark indicating a function of an operation button of a manual operation tool is augmented in the augmented reality authoring method and system according to a preferred embodiment of the present invention;

도 10은 수동 조작 장치를 이용하여 3D 모델의 스케일을 변화시키는 상태를 도시한 도면,10 is a view showing a state of changing the scale of the 3D model using a manual operation device,

도 11은 수동 조작 장치를 이용하여 3D 모델을 일방향으로 확대시키는 상태를 도시한 도면이다.11 is a diagram illustrating a state in which the 3D model is enlarged in one direction by using a manual operation device.

<도면의 주요 부호에 대한 설명><Description of Major Symbols in Drawing>

100 : 증강 현실 저작 시스템 110 : 현실 환경100: Augmented Reality Authoring System 110: Real Environment

120 : 영상 취득 장치 130, 130a, 130b : 수동 조작 도구120: image acquisition device 130, 130a, 130b: manual operation tool

140 : 저작 장치 160 : 디스플레이 장치140: authoring device 160: display device

500 : 팔레트 510, 510a, 510b : 3D 모델500: Pallet 510, 510a, 510b: 3D model

900 : 조작 버튼 식별 표지900: operation button identification mark

Claims

In the augmented reality authoring system for virtual object authoring in an augmented reality environment,

An image acquisition device for acquiring an image of a real environment;

A manual manipulation tool provided in the real environment and manually operated by a user;

An authoring apparatus for providing a usable 3D model in a palette area of the augmented reality environment, tracking the manual manipulation tool to receive a manipulation signal, and combining the 3D model to author the virtual object; And

And a display device for augmenting an image including the 3D model and presenting the image to the user in the image of the real environment obtained through the image acquisition device.

The authoring apparatus includes a marker tracking unit for tracking the manual manipulation apparatus, a palette construction unit for constructing the palette by augmenting the 3D model, and selecting the 3D model using the positional relationship between the manual manipulation tool and the 3D model. 3D model selection unit for determining whether or not, 3D model combiner for performing the combination of the 3D model by the operation of the manual operation tool, to augment the virtual environment including the 3D model to the real environment to output to the display device An augmented reality authoring system comprising an integrated rendering unit, and a main control unit for controlling them.

The method of claim 1,

The manual operation tool,

An augmented reality authoring system, characterized in that the cube is formed of at least a pair of central magnets in the center of each side of the cube.

The method of claim 2,

Augmented reality authoring system, characterized in that the hexahedral surface of the manual operation tool further comprises an auxiliary magnet disposed at an angle around the central magnet.

The method of claim 2,

At least one of the corners of the hexahedron of the manual operation tool is provided with an operation button, the operation button control unit is provided therein, the authoring device is provided with a manual operation tool input unit for receiving an operation signal of the operation button control unit Augmented reality authoring system, characterized in that.

The method according to any one of claims 2 to 4,

Augmented reality authoring system, characterized in that each surface of the hexahedron of the manual manipulation tool is provided with a manual manipulation tool identification marker.

The method according to any one of claims 1 to 4,

The augmented reality authoring system, characterized in that the marker for the palette configuration for configuring the palette in the real environment.

The method according to any one of claims 1 to 4,

The reality environment is provided with a marker for configuring the stage, the authoring device is provided with a stage management unit, the augmented reality authoring system, characterized in that to manage the virtual object combined with the 3D model in an augmented reality environment.

The method according to any one of claims 1 to 4,

Augmented reality authoring system, characterized in that the outer box is augmented with the outside of the 3D model, and if the manual operation tool collides with the outer box or located within a certain distance.

The method of claim 8,

Augmented reality authoring system, characterized in that for the user to confirm the operation state by changing the color of the outer box in accordance with the operation state of the manual operation tool.

The method according to any one of claims 2 to 4,

The 3D model combining unit of the authoring apparatus, characterized in that for changing the properties of the 3D model or change the coupling relationship based on the mutual positional relationship or mutual rotational relationship of the manual manipulation tool.

The method of claim 4, wherein

Augmented reality characterized in that the at least two operation buttons are provided and the function according to the operation of the operation button is different, and the main control unit enhances the operation button identification mark for displaying the function of the operation button on the manual operation device Authoring system.

An image acquisition device for acquiring an image of a real environment, a usable device for providing a usable 3D model to a palette area of the augmented reality environment, authoring a virtual object using the 3D model, and an augmented reality environment are presented to a user. In the operation tool used in the augmented reality authoring system comprising a display device,

A hexahedron shape, a central magnet is provided at the center of each side of the hexahedron, manual operation tool, characterized in that each side of the hexahedron is provided with a manual operation tool identification marker for identification in the authoring apparatus.

13. The method of claim 12,

The hexahedron surface of the manual operation tool is a manual operation tool, characterized in that further comprises an auxiliary magnet disposed at a predetermined angle around the central magnet.

The method according to claim 12 or 13,

At least one of the corners of the hexahedron of the manual operation tool is provided with an operation button, the operation button button control unit for transmitting an operation signal of the operation button to the authoring device therein.

An image capturing apparatus for acquiring an image of a real environment, an authoring apparatus for providing a usable 3D model to a palette area of the augmented reality environment, and authoring a virtual object using the 3D model, and manipulating the 3D model. In the method of authoring a virtual object in an augmented reality environment, including a display device for presenting to the user a pair of manual operation tools to perform,

(a) constructing a palette by augmenting the 3D model in the real environment;

(b) tracking the manual manipulation tool to determine whether the manual manipulation tool selects the 3D model;

(c) mutually combining the 3D models selected by each of the manual manipulation tools; And

(d) placing a virtual object, which is a result of combining the 3D models, in a stage area of the augmented reality environment

Augmented reality authoring method comprising a.

The method of claim 15,

The manual manipulation tool is a hexahedron shape, a central magnet is provided at the center of each side of the hexahedron, each face of the hexahedron is provided with a manual manipulation tool identification marker for identification in the authoring apparatus Way.

The method of claim 16,

At least one of the corners of the hexahedron of the manual operation tool is provided with an operation button, the inside of the augmented reality authoring method characterized in that the operation button button control unit for transmitting an operation signal of the operation button to the authoring device.

The method according to any one of claims 15 to 17,

In the step (a), the outer box is augmented together with the outer box, and in the step (b), when the manual manipulation tool collides with the outer box or is located within a predetermined distance, the 3D model is determined to be selected. Augmented reality authoring method, characterized in that.

The method of claim 18,

Augmented reality authoring method characterized in that the user to confirm the operation state by changing the color of the outer box in accordance with the operation state of the manual operation tool.

The method according to any one of claims 15 to 17,

And changing a property or a coupling relationship of the 3D model based on mutual positional relations or mutual rotational relations of the manual manipulation tools.

The method of claim 17,

And augmenting an operation button identification mark on the manual operation tool according to the function of the operation button of the manual operation tool.