KR102075383B1 - Augmented reality system linked to smart device - Google Patents

Augmented reality system linked to smart device Download PDF

Info

Publication number
KR102075383B1
KR102075383B1 KR1020160157521A KR20160157521A KR102075383B1 KR 102075383 B1 KR102075383 B1 KR 102075383B1 KR 1020160157521 A KR1020160157521 A KR 1020160157521A KR 20160157521 A KR20160157521 A KR 20160157521A KR 102075383 B1 KR102075383 B1 KR 102075383B1
Authority
KR
South Korea
Prior art keywords
augmented reality
virtual object
unit
information
smart device
Prior art date
Application number
KR1020160157521A
Other languages
Korean (ko)
Other versions
KR20180058895A (en
Inventor
정성욱
조현우
구본기
권승준
길연희
김현진
김희권
신희숙
유초롱
유호영
이수웅
이영운
이준우
이지수
지형근
채원석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160157521A priority Critical patent/KR102075383B1/en
Publication of KR20180058895A publication Critical patent/KR20180058895A/en
Application granted granted Critical
Publication of KR102075383B1 publication Critical patent/KR102075383B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72519—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 실시 예에 따른 증강현실 구현 방법은, 증강현실 구현장치에 의한 증강현실이 구현된 상태에서, 상기 증강현실 구현장치가 사용자와 가상 객체의 인터랙션에 따라 발생하는 이벤트를 인식하는 단계; 상기 증강현실 구현 장치가 상기 가상 객체의 정보를 스마트 기기로 전송하는 단계; 상기 스마트 기기가 상기 가상 객체에 대한 사용자 입력을 상기 가상 객체에 적용하여 변형 가상 객체를 생성하고, 생성된 변형 가상 객체의 정보를 상기 증강현실 구현장치로 전송하는 단계; 및 상기 증강현실 구현장치가 상기 변형 가상 객체의 정보를 바탕으로, 기 저장된 가상 객체를 렌더링하여, 증강현신을 구현하는 단계를 포함한다. Augmented reality implementation method according to an embodiment of the present invention, the augmented reality in a state in which augmented reality is implemented by the augmented reality, the augmented reality implementation apparatus recognizes an event generated according to the interaction of the user and the virtual object; Transmitting, by the augmented reality implementation device, information of the virtual object to a smart device; Generating, by the smart device, a modified virtual object by applying a user input for the virtual object to the virtual object, and transmitting information on the created modified virtual object to the augmented reality implementation device; And implementing, by the augmented reality implementation device, augmented reality by rendering a pre-stored virtual object based on the information of the deformed virtual object.

Description

스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법{Augmented reality system linked to smart device}Augmented reality system linked with smart devices and augmented reality implementation method using the same {Augmented reality system linked to smart device}

본 발명은 증강현실 시스템에 관한 것으로, 상세하게는 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증강현실 구현 방법에 관한 것이다.
The present invention relates to an augmented reality system, and more particularly, to an augmented reality system and a method for implementing augmented reality using the same.

증강현실 기술은 카메라로부터 들어오는 영상에서 정의된 마커나 학습된 자연 영상 정보를 추출하여 증강할 물체의 위치와 자세를 추정하고, 이를 이용해 3차원의 가상 콘텐츠, 그림, 동영상 등의 멀티미디어 콘텐츠를 덧입혀 보여주는 기술이다.Augmented reality technology extracts the defined marker or learned natural image information from the camera image, estimates the position and posture of the object to be augmented, and uses it to add multimedia contents such as 3D virtual content, pictures, and videos. It's a skill to show.

증강현실 기술을 실현하기 위하여 구현된 증강현실 시스템은 다양한 분야에서 활용되고 있는데, 일례로 교육용으로도 활용되고 있다.Augmented reality system implemented to realize augmented reality technology is being used in various fields, for example, it is also used for education.

현재, 교육용으로 사용되는 증강현실 시스템은 대형 스크린(혹은 모니터)을 이용하여 증강현실을 구현하고 있으며, 카메라 영상에서 사용자를 분리하고, 정면의 대형 스크린에 가상 객체 및 사람을 증강시켜 가상 객체와의 상호 작용을 통해 가상 환경에서의 교육적 효과를 이끌어 내고 있다.Currently, the augmented reality system used for education implements augmented reality using a large screen (or monitor), separates the user from the camera image, and augments virtual objects and people on the large screen in front of the virtual object. Interactions lead to educational effects in virtual environments.

한편, 2D 기반의 증강현실 시스템은, 카메라를 이용하여 입력 영상에서 사람의 제스처 및 배경을 인지하고, 인지 결과를 모니터에 증강시키고, 2D 가상 객체를 증강시켜 사용자와의 상호 작용을 유도한다. Meanwhile, the 2D-based augmented reality system uses a camera to recognize a human gesture and a background in an input image, augment a recognition result on a monitor, and augment a 2D virtual object to induce interaction with a user.

하지만, 이러한 2D 기반의 증강현실 시스템은, 조명 및 환경 조건에 의하여 시스템의 안정화가 필수적으로 필요하게 된다. 즉, 2D 기반의 증강현실 시스템을 외부환경에서 이용하기에는 여러 가지의 제약 조건이 따른다.However, such a 2D-based augmented reality system, the stabilization of the system is essentially necessary due to lighting and environmental conditions. In other words, there are various constraints to use 2D-based augmented reality system in an external environment.

그리고, 3D 기반의 증강현실 시스템은, RGB-D 장치를 활용하여 깊이 정보까지 입력받아, 컬러 영상 및 깊이 영상을 분석할 수 있다.The 3D-based augmented reality system may receive depth information by using an RGB-D device and analyze a color image and a depth image.

이와 같이, 3D 기반의 증강현실 시스템은, 3차원 공간의 깊이 정보를 입력으로 사용하기 때문에, 공간상의 객체의 위치 정보를 추정할 수 있고, 이를 증강현실 구현에 활용한다.As described above, since the 3D-based augmented reality system uses the depth information of the 3D space as an input, the 3D-based augmented reality system can estimate the position information of the object in the space, and use it to implement the augmented reality.

하지만, 기존의 시스템은 모든 가상 환경을 정면의 디스플레이에 증강시킨다는 한계가 있고, 다수의 사용자가 이용하는 경우 서비스가 제한되는 문제점이 있다.However, the existing system has a limitation in that all virtual environments are augmented to the front display, and there is a problem in that a service is limited when a plurality of users use them.

즉, 하나의 주 디스플레이에 모든 효과가 증강되기 때문에, 모든 사용자는 주 디스플레이를 통해서만 효과를 체험하게 되고, 주 디스플레이를 제외하고는 가상 체험을 할 수 없다는 단점이 있다.That is, since all effects are augmented in one main display, all users experience the effect only through the main display, and there is a disadvantage in that virtual experience cannot be performed except the main display.

위와 같은 문제점을 해결하기 위해서는 다수의 사용자가 참여할 수 있도록 구현된 개인용 디바이스(ex, 모바일, 스마트 패드 등)가 필요하게 된다. 하지만, 현재 시판되고 있는 상업용 개인용 디바이스의 경우, 제한된 리소스(ex, 처리 속도, 배터리 문제 등)로 인하여, 고성능의 알고리즘을 처리하기에는 제한이 따른다.
In order to solve the above problems, a personal device (ex, mobile, smart pad, etc.) implemented to allow a large number of users to participate is required. However, in the case of commercial personal devices currently on the market, due to limited resources (ex, processing speed, battery problems, etc.), there is a limitation in processing a high performance algorithm.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은, 사용자에 의해 스마트 기기에 입력되는 가상 객체를 스마트 기기와의 연동을 통해 입력받고, 입력받은 가상 객체를 반영하여 증강현실을 구현하는 증강현실 시스템 및 이를 이용한 증강현실 구현 방법을 제공함에 있다.
Accordingly, the present invention has been proposed to solve the problems of the prior art as described above, and an object of the present invention is to receive a virtual object input to a smart device by a user through interworking with the smart device and receive the received virtual The present invention provides an augmented reality system for implementing augmented reality by reflecting an object and an augmented reality implementation method using the same.

상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 증강현실 시스템은, 실제 공간을 촬영하여 실제 영상 정보를 획득하는 카메라부; 및 상기 카메라부에 의해 획득되는 실제 영상 정보와 기 저장된 가상 객체를 렌더링하여 증강 현실을 디스플레이부에 구현하는 한편, 상기 디스플레이부에서 발생하는 이벤트를 분석하여, 분석 결과를 스마트 기기로 제공하는 증강현실 구현부를 포함하고, 상기 증강현실 구현부는 상기 스마트 기기로부터 전송되는 가상 객체를 반영하여 증강 현실을 구현한다.
상기 증강현실 구현부는, 상기 카메라로부터의 실제영상 정보를 바탕으로 실제 공간에 대한 3차원 공간을 생성하는 3차원 공간 생성부; 상기 디스플레이부에서 발생된 이벤트를 분석하여 분석 결과를 제공하는 인터랙션부; 및 상기 3차원 공간 생성부로부터의 3차원 공간 정보, 객체정보 데이터베이스에 저장된 가상 객체 및 상기 스마트 기기로부터의 가상 객체를 렌더링하여 증강 영상을 생성하는 증강영상 생성부를 포함한다.
상기 증강영상 생성부는, 상기 인터랙션부로부터 제공되는 이벤트 분석 결과, 상기 인터랙션부로부터 제공되는 사용자에 대한 위치 정보 및 제스처 정보 중 적어도 하나 이상을 반영하여 증강 영상을 생성한다.
상기 스마트 기기는, 상기 증강현실 구현부로부터의 분석 결과를 바탕으로, 이벤트 정보를 인식하는 상기 이벤트 인식부; 상기 이벤트 인식부로부터의 이벤트 정보에 포함된 가상 객체의 정보에 상응하는 가상 객체를 생성하여 제공하는 가상객체 생성부; 상기 가상객체 생성부로부터의 가상 객체를 표시하는 한편, 사용자의 입력을 인식하는 사용자 인터페이스; 및 상기 가상객체 생성부로부터의 가상 객체에 상기 사용자 인터페이스로부터의 사용자 입력을 적용하여, 상기 증강현실 구현장치로 제공하는 가상객체 렌더링부를 포함한다.

발명의 실시 예에 따른 증강현실 구현방법은, 증강현실 구현장치에 의한 증강현실이 구현된 상태에서, 상기 증강현실 구현장치가 사용자와 가상 객체의 인터랙션에 따라 발생하는 이벤트를 인식하는 단계; 상기 증강현실 구현 장치가 상기 가상 객체의 정보를 스마트 기기로 전송하는 단계; 상기 스마트 기기가 상기 가상 객체에 대한 사용자 입력을 상기 가상 객체에 적용하여 변형된 가상 객체를 생성하고, 변형된 가상 객체의 정보를 상기 증강현실 구현장치로 전송하는 단계; 및 상기 증강현실 구현장치가 상기 변형된 가상 객체의 정보와 기 저장된 가상 객체를 렌더링하여, 증강현실을 구현하는 단계를 포함한다.
Augmented reality system according to an embodiment of the present invention for achieving the above object, the camera unit for obtaining the actual image information by taking a real space; And augmented reality that implements augmented reality on a display unit by rendering the actual image information and the pre-stored virtual object obtained by the camera unit, and analyzes an event occurring in the display unit and provides an analysis result to a smart device. The implementation unit, the augmented reality implementation unit implements augmented reality by reflecting the virtual object transmitted from the smart device.
The augmented reality implementation unit, a three-dimensional space generation unit for generating a three-dimensional space for the actual space based on the actual image information from the camera; An interaction unit for analyzing an event generated by the display unit and providing an analysis result; And an augmented image generator configured to generate an augmented image by rendering the 3D spatial information from the 3D space generator, a virtual object stored in an object information database, and a virtual object from the smart device.
The augmented image generation unit generates an augmented image by reflecting at least one or more of location information and gesture information of a user provided from the interaction unit as a result of the event analysis provided from the interaction unit.
The smart device may include the event recognizing unit recognizing event information based on an analysis result from the augmented reality implementation unit; A virtual object generation unit generating and providing a virtual object corresponding to the information of the virtual object included in the event information from the event recognition unit; A user interface displaying a virtual object from the virtual object generating unit and recognizing a user input; And a virtual object rendering unit applying the user input from the user interface to the virtual object from the virtual object generating unit and providing the augmented reality implementation device to the virtual object.

An augmented reality implementation method according to an embodiment of the present invention, the augmented reality in a state in which augmented reality is implemented, the augmented reality implementation apparatus recognizes an event generated according to the interaction of the user and the virtual object; Transmitting, by the augmented reality implementation device, information of the virtual object to a smart device; Generating, by the smart device, a modified virtual object by applying a user input for the virtual object to the virtual object, and transmitting information of the modified virtual object to the augmented reality implementation device; And implementing, by the apparatus for augmented reality, augmented reality by rendering information of the modified virtual object and prestored virtual objects.

이와 같은 본 발명의 실시 예에 따르면, 증강현실 구현장치와 스마트 기기의 연동을 통한 증강현실 구현방법이 제공된다.According to the embodiment of the present invention as described above, an augmented reality implementation method through interworking of the augmented reality implementation apparatus and the smart device is provided.

따라서, 증강현실 구현장치는 스마트 기기로부터 전송되는 정보를 반영하여 증강현실을 구현할 수 있다.Therefore, the augmented reality implementation device may implement augmented reality by reflecting information transmitted from the smart device.

특히, 본 발명의 증강현실 구현방법에 따르면, 증강현실된 가상 객체와 사용자와의 인터랙션에 따라 발생하는 이벤트가 스마트 기기로 제공되고, 사용자가 이벤트에 대한 처리를 수행할 수 있다.In particular, according to the augmented reality implementation method of the present invention, the event generated according to the interaction between the augmented reality virtual object and the user is provided to the smart device, the user can process the event.

따라서, 스마트 기기를 소지한 사용자는 증강현실 구현에 직접 참여할 수 있기 때문에, 교육적인 효과를 극대화할 수 있다.
Therefore, the user having a smart device can directly participate in the implementation of augmented reality, thereby maximizing the educational effect.

도 1은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템의 스마트 기기의 구성을 도시한 도면이다.
도 3은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 동작을 도시한 순서도이다.1 is a diagram illustrating a configuration of an augmented reality system interoperating with a smart device according to an embodiment of the present invention.
2 is a diagram illustrating a configuration of a smart device of an augmented reality system according to a preferred embodiment of the present invention.
3 is a flowchart illustrating an operation of an AR system interoperating with a smart device according to an exemplary embodiment of the present invention.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.With respect to the embodiments of the present invention disclosed in the text, specific structural to functional descriptions are merely illustrated for the purpose of describing the embodiments of the present invention, embodiments of the present invention may be implemented in various forms and It should not be construed as limited to the embodiments described.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.As the inventive concept allows for various changes and numerous modifications, particular embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to the specific form disclosed, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.When a component is said to be “connected” or “connected” to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may exist in the middle. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that no other component exists in the middle. Other expressions describing the relationship between components, such as "between" and "immediately between," or "neighboring to," and "direct neighboring to" should be interpreted as well.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms “comprise” or “have” are intended to indicate that the disclosed feature, number, step, operation, component, part, or combination thereof exists, and that one or more other features or numbers, It should be understood that it does not exclude in advance the possibility of the presence or addition of steps, actions, components, parts or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
On the other hand, when an embodiment is otherwise implemented, a function or operation specified in a specific block may occur differently from the order specified in the flowchart. For example, two consecutive blocks may actually be performed substantially simultaneously, and the blocks may be performed upside down depending on the function or operation involved.

이하, 본 발명에서 제안하는 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증강현실 구현 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, an augmented reality system interoperating with a smart device proposed by the present invention and an augmented reality implementation method using the same will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of an augmented reality system interoperating with a smart device according to an embodiment of the present invention.

도 1에 도시된 스마트 기기와 연동하는 증강현실 시스템(100, 이하 ‘시스템’)은 사용자에 의해 스마트 기기에 입력되는 가상 객체를 스마트 기기와의 연동을 통해 입력받고, 입력받은 가상 객체를 반영하여 증강현실을 구현한다.The augmented reality system (100, hereinafter referred to as 'system') that interoperates with the smart device shown in FIG. 1 receives a virtual object input to the smart device by the user through interworking with the smart device, and reflects the received virtual object. Implement augmented reality

이를 위해, 상기 시스템(100)은 기능을 수행하는 적어도 하나 이상의 프로세서를 포함하고, 또한 기능 수행을 위한 정보 혹은 수행 결과를 저장하는 적어도 하나 이상의 메모리를 포함할 수 있다.To this end, the system 100 may include at least one or more processors that perform a function, and may also include at least one or more memories that store information or a result of performing the function.

구체적으로, 상기 시스템(100)은, 서로 연동하는 증강현실 구현장치(110) 및 스마트 기기(130)로 구성될 수 있다.In detail, the system 100 may include an augmented reality implementation apparatus 110 and a smart device 130 that interoperate with each other.

그리고, 상기 증강현실 구현장치(110)는 카메라부(111), 증강현실 구현부(113) 및 디스플레이부(115)로 구성될 수 있다.In addition, the apparatus for implementing augmented reality 110 may include a camera 111, an augmented reality implementer 113, and a display 115.

상기 카메라부(111)는 증강현실 공간을 구축하기 위해 실제 공간을 촬영하여 실제 영상 정보를 획득한다.The camera unit 111 acquires real image information by photographing a real space to build an augmented reality space.

이때, 상기 카메라부(111)는 RGB 카메라와 깊이 카메라로 구성되어, 이미지정보와 함께, 색상 정보 및 깊이 정보를 함께 획득한다.At this time, the camera unit 111 is composed of an RGB camera and a depth camera, and acquires color information and depth information together with the image information.

상기 증강현실 구현부(113)는 카메라부(111)에 의해 획득되는 실제 영상 정보와 기 저장된 가상 객체를 렌더링하여 증강현실을 디스플레이부(115)에 구현하는 한편, 디스플레이부(115)에서 발생하는 이벤트를 분석하여, 분석 결과를 스마트 기기(130)로 제공한다.The augmented reality implementation unit 113 implements augmented reality on the display unit 115 by rendering the actual image information and the pre-stored virtual object obtained by the camera unit 111, while generated in the display unit 115 The event is analyzed and the analysis result is provided to the smart device 130.

또한, 상기 증강현실 구현부(113)는 스마트 기기(130)로부터 전송되는 가상 객체를 반영하여 증강현실을 구현한다.In addition, the augmented reality implementation unit 113 implements augmented reality by reflecting the virtual object transmitted from the smart device 130.

상기 디스플레이부(115)는 증강현실 구현부(113)로부터 제공되는 영상을 디스플레이 하는 한편, 발생하는 이벤트를 증강현실 구현부(113)로 출력한다.The display unit 115 displays an image provided from the augmented reality implementation unit 113 and outputs the generated event to the augmented reality implementation unit 113.

구체적으로, 상기 증강현실 구현부(113)는 3차원 공간 생성부(113a), 인터랙션부(113b), 증강영상 생성부(113c) 및 객체정보 데이터베이스(113d)로 구성될 수 있다.In detail, the augmented reality implementation unit 113 may include a 3D space generator 113a, an interaction unit 113b, an augmented image generator 113c, and an object information database 113d.

상기 3차원 공간 생성부(113a)는 카메라부(111)로부터 전송되는 이미지 정보, 색상 정보 및 깊이 정보를 바탕으로, 3차원 공간을 생성하여 증강영상 생성부(113c)로 제공한다.The 3D space generation unit 113a generates a 3D space based on the image information, color information, and depth information transmitted from the camera unit 111 and provides the 3D space to the augmented image generation unit 113c.

특히, 상기 3차원 공간 생성부(113a)는 이미지 정보, 색상 정보 및 깊이 정보를 바탕으로 3차원 메쉬(mesh) 정보를 생성하여 증강영상 생성부(113c)로 제공한다.In particular, the 3D space generator 113a generates 3D mesh information based on the image information, color information, and depth information, and provides the 3D mesh information to the augmented image generator 113c.

상기 3차원 메쉬 정보를 생성하는 과정을 살펴보면, 상기 3차원 공간 생성부(111a)는 RGB 카메라와 깊이 카메라 간의 내부(intrinsic) 및 외부(extrinsic) 파라미터를 계산하고, 카메라부(111)로부터 들어오는 깊이정보 데이터(Point Cloud)들을 카메라 파라미터 값을 이용하여 컬러 정보와 깊이 정보를 정합시키고, 메쉬로 변환하는 작업을 수행함으로써, 3차원 메쉬 정보를 생성한다.Looking at the process of generating the three-dimensional mesh information, the three-dimensional space generator 111a calculates the internal (intrinsic) and external (extrinsic) parameters between the RGB camera and the depth camera, the depth coming from the camera unit 111 The 3D mesh information is generated by matching color data and depth information using the camera parameter values and converting the information data into a mesh.

이때, 상기 3차원 공간 생성부(111a)는 Tasi의 캘리브레이션 알고리즘과 같은 방법을 사용하여 내부 파라미터를 계산하고, 기준 카메라를 기반으로 상대적인 카메라의 외부 파라미터를 계산한다.In this case, the 3D space generator 111a calculates an internal parameter using a method similar to Tasi's calibration algorithm, and calculates an external parameter of a relative camera based on the reference camera.

상기 인터랙션부(113b)는 디스플레이부(115)로부터 발생된 이벤트를 인식 및 분석하여, 분석 결과를 스마트 기기(130)로 제공한다. 또한, 상기 인터랙션부(113b)는 분석 결과를 증강영상 생성부(113)로 제공할 수도 있다.The interaction unit 113b recognizes and analyzes an event generated from the display 115, and provides an analysis result to the smart device 130. In addition, the interaction unit 113b may provide the analysis result to the augmented image generation unit 113.

예를 들어, 상기 디스플레이부(115)에 디스플레이되는 가상 객체가 터치된 경우, 이러한 가상 객체 터치(이벤트)는 인터랙션부(113b)에 의해 인식되고, 인터랙션부(113b)는 이벤트를 분석하여, 분석 결과를 스마트 기기(130) 및/또는 증강영상 생성부(113c)로 제공한다.For example, when a virtual object displayed on the display 115 is touched, such a virtual object touch (event) is recognized by the interaction unit 113b, and the interaction unit 113b analyzes the event and analyzes the event. The result is provided to the smart device 130 and / or the augmented image generator 113c.

이때, 기 설정된 바에 따라, 인터랙션부(113b)가 생성하는 분석 결과는 다를 수 있으며, 예를 들어, 상기 인터랙션부(113b)는 터치된 가상 객체에 대한 정보(ex, 종류, 위치, 포즈 등)를 스마트 기기(130) 및/또는 증강영상 생성부(113c)로 제공할 수 있다.In this case, according to a predetermined setting, the analysis result generated by the interaction unit 113b may be different. For example, the interaction unit 113b may have information (ex, type, position, pose, etc.) about the touched virtual object. May be provided to the smart device 130 and / or the augmented image generator 113c.

또한, 상기 인터랙션부(113b)는 사용자의 위치 및 제스처를 검출하고, 검출된 사용자에 대한 위치 정보 및 제스처 정보를 증강영상 생성부(113b)로 제공할 수 있다.In addition, the interaction unit 113b may detect the location and gesture of the user and provide the detected location information and gesture information to the augmented image generation unit 113b.

상기 증강영상 생성부(113c)는 3차원 공간 생성부(113a)로부터 제공되는 3차원 공간과 객체정보 데이터베이스(113d)에 저장된 가상 객체를 렌더링하여 증강영상을 생성하여, 디스플레이부(115)로 출력한다.The augmented image generating unit 113c generates augmented image by rendering a virtual object stored in the 3D space and the object information database 113d provided from the 3D space generating unit 113a and outputs it to the display unit 115. do.

또한, 상기 증강영상 생성부(113c)는 스마트 기기(130)로부터 전송되는 가상 객체를 반영하여 증강영상을 생성할 수 있다.In addition, the augmented image generator 113c may generate an augmented image by reflecting a virtual object transmitted from the smart device 130.

또한, 상기 증강영상 생성부(113c)는 인터랙션부(113b)로부터 제공되는 이벤트 분석 결과를 반영하여 증강영상을 생성할 수 있다.In addition, the augmented image generating unit 113c may generate an augmented image by reflecting an event analysis result provided from the interaction unit 113b.

또한, 상기 증강영상 생성부(113c)는 인터랙션부(113b)로부터 제공되는 사용자에 대한 위치 정보 및 제스처 정보를 반영하여 증강영상을 생성할 수 있다.In addition, the augmented image generating unit 113c may generate an augmented image by reflecting location information and gesture information about a user provided from the interaction unit 113b.

상기 객체정보 데이터베이스(113d)는 본 발명의 증강현실 시스템(100)을 통해 구현하고자 하는 증강현실과 관련된 객체 정보를 기 저장하고 있다.The object information database 113d previously stores object information related to augmented reality to be implemented through the augmented reality system 100 of the present invention.

예를 들어, 상기 객체정보 데이터베이스(113d)에는 객체에 대한 형태 정보 및 동작 정보가 저장될 수 있으며, 이외에도 증강현실 구현을 위한 다양한 정보가 저장될 수 있다.
For example, the object information database 113d may store shape information and operation information about an object, and various kinds of information for implementing augmented reality may also be stored.

상기 스마트 기기(130)는 사용자에 의해 입력되는 정보를 바탕으로 생성된 가상 객체를 증강현실 구현부(113)로 제공하며, 증강현실 구현부(113)로부터 제공되는 이벤트 분석 결과를 수신하고, 이벤트 분석 결과를 표시하여 사용자에게 제공할 수 있다.The smart device 130 provides the virtual object generated based on the information input by the user to the augmented reality implementation unit 113, receives an event analysis result provided from the augmented reality implementation unit 113, the event The analysis result can be displayed and provided to the user.

도 2는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템의 스마트 기기의 구성을 도시한 도면이다.2 is a diagram illustrating a configuration of a smart device of an augmented reality system according to a preferred embodiment of the present invention.

도 2를 참조하면, 상기 스마트 기기(130)는 이벤트 인식부(131), 가상객체 생성부(133), 사용자 인터페이스(135) 및 가상객체 렌더링부(137)를 포함한다.Referring to FIG. 2, the smart device 130 includes an event recognizer 131, a virtual object generator 133, a user interface 135, and a virtual object renderer 137.

상기 이벤트 인식부(131)는 증강현실 구현부(113)로부터 전송되는 이벤트 분석 결과를 수신 및 분석하여, 발생된 이벤트 정보를 인식한다. 이때, 상기 이벤트 정보는 디스플레이부(115) 상의 터치된 가상객체의 정보를 포함할 수 있다.The event recognition unit 131 receives and analyzes an event analysis result transmitted from the augmented reality implementation unit 113 to recognize the generated event information. In this case, the event information may include information of the touched virtual object on the display 115.

그리고, 상기 이벤트 인식부(131)는 인식된 이벤트 정보를 가상객체 생성부(133)로 제공할 수 있다.The event recognizer 131 may provide the recognized event information to the virtual object generator 133.

상기 가상객체 생성부(133)는 이벤트 인식부(131)로부터 제공되는 이벤트 정보에 포함된 가상객체의 정보에 상응하는 가상 객체를 사용자 인터페이스(135)에 제공하여 사용자 인터페이스(135)가 가상 객체를 표시하도록 함으로써, 사용자가 디스플레이부(115) 상의 터치된 가상 객체를 확인할 수 있도록 한다.The virtual object generation unit 133 provides a virtual object corresponding to the information of the virtual object included in the event information provided from the event recognition unit 131 to the user interface 135 so that the user interface 135 can access the virtual object. By displaying, the user can check the touched virtual object on the display 115.

또한, 상기 가상객체 생성부(133)는 가상 객체를 가상객체 렌더링부(137)로 제공할 수 있다.In addition, the virtual object generator 133 may provide a virtual object to the virtual object renderer 137.

이때, 상기 가상객체 생성부(133)는 디스프레이부(115) 상의 3D 가상 객체를 2D로 변환하는 과정을 수행하여, 사용자 인터페이스(135) 및 가상객체 렌더링부(137)로 2D 가상 객체를 제공한다.In this case, the virtual object generator 133 converts the 3D virtual object on the display unit 115 into 2D to provide the 2D virtual object to the user interface 135 and the virtual object renderer 137. .

상기 사용자 인터페이스(135)는 UI(User Interface)/UX(User Experience) 제공 가능한 인터페이스로서, 가상객체 생성부(133)로부터 제공되는 가상 객체를 표시한다. 그리고, 상기 사용자 인터페이스(135)는 사용자의 입력을 인식하고, 인식된 입력은 가상객체 렌더링부(137)로 제공된다.The user interface 135 is a UI (User Interface) / UX (User Experience) providing interface, and displays a virtual object provided from the virtual object generating unit 133. The user interface 135 recognizes a user's input, and the recognized input is provided to the virtual object renderer 137.

상기 가상객체 렌더링부(137)는 가상객체 생성부(133)로부터 제공되는 가상 객체에 사용자 인터페이스(135)로부터 제공되는 입력을 적용하여 변형된 가상 객체를 생성한다.The virtual object renderer 137 generates a modified virtual object by applying an input provided from the user interface 135 to the virtual object provided from the virtual object generator 133.

그리고, 상기 가상객체 렌더링부(137)는 생성된 변형 가상 객체를 3D 모델로 렌더링하는 과정과 2D로 표현하는 과정을 수행한다.The virtual object rendering unit 137 renders the generated deformed virtual object as a 3D model and expresses it in 2D.

또한, 상기 가상객체 렌더링부(137)는 생성된 변형 가상 객체를 사용자 인터페이스(135)를 통해 표시할 수 있고, 또한 증강영상 생성부(133c)로 전송할 수 있다.
In addition, the virtual object rendering unit 137 may display the generated deformed virtual object through the user interface 135 and transmit the generated deformed virtual object to the augmented image generating unit 133c.

이상에서는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템을 구성하는 증강현실 구현장치 및 스마트 기기의 세부 구성 및 각 구성별 기능에 대해서 살펴보았다. 이하에서는 본 발명의 바람직한 실시 예에 따른 증강현실 시스템의 동작에 대해서 좀 더 구체적으로 살펴보기로 한다.
In the above, the detailed configuration of the augmented reality implementation apparatus and the smart device constituting the augmented reality system according to an embodiment of the present invention and the function of each component have been described. Hereinafter, the operation of the augmented reality system according to a preferred embodiment of the present invention will be described in more detail.

도 3은 본 발명의 바람직한 실시 예에 따른 스마트 기기와 연동하는 증강현실 시스템의 동작을 도시한 순서도이다.3 is a flowchart illustrating an operation of an AR system interoperating with a smart device according to an exemplary embodiment of the present invention.

도 3을 참조하면, 증강현실 구현장치(110)는 카메라부(111)에 의해 획득되는 정보를 바탕으로 생성되는 3차원 공간 정보와 객체정보 데이터베이스(113d)에 저장된 가상 객체를 렌더링하여 증강영상을 생성하여 디스플레이부(115)에 출력하여, 증강현실을 구현한다(S300).Referring to FIG. 3, the augmented reality implementation apparatus 110 renders an augmented image by rendering virtual objects stored in the 3D spatial information and the object information database 113d generated based on the information obtained by the camera unit 111. The generated and output to the display unit 115, to implement augmented reality (S300).

상기 단계 S300에서와 같이 증강현실이 구현된 상태에서, 증강현실 구현장치(110)는 사용자와 가상 객체의 인터랙션에 따른 이벤트 발생을 인식하면(S310), 인터랙션된 가상 객체의 정보를 스마트 기기(130)로 전송한다(S320).In the state in which augmented reality is implemented as in step S300, when the augmented reality implementation apparatus 110 recognizes an event occurrence according to an interaction between a user and a virtual object (S310), the smart device 130 reads information on the interacted virtual object. Transmit (S320).

상기 단계 S320에 따라 전송된 가상 객체 정보를 수신하면, 스마트 기기(130)는, 가상 객체 정보에 상응하는 가상 객체를 사용자 인터페이스(135)를 통해 표시한다(S330).Upon receiving the virtual object information transmitted in step S320, the smart device 130 displays the virtual object corresponding to the virtual object information through the user interface 135 (S330).

그리고, 상기 단계 S330에 따라 표시된 가상 객체에 대한 사용자 입력을 가상 객체에 적용하여 변형된 가상 객체를 생성하고(S340), 생성된 변형 가상 객체의 정보를 증강현실 구현장치(110)로 전송한다(S350).In addition, the user input for the virtual object displayed according to the step S330 is applied to the virtual object to generate a modified virtual object (S340), and transmits the information of the generated modified virtual object to the AR implementation device 110 ( S350).

상기 단계 S350에 따라 전송된 변형 가상 객체의 정보를 수신하면, 증강현실 구현장치(110)는 기 저장된 가상 객체를 변형 가상 객체의 정보를 바탕으로 렌더링하여 디스플레이부(115)에 3차원으로 출력하여, 증강현실을 구현한다(S360).
When receiving the information on the deformed virtual object transmitted in step S350, the augmented reality implementation apparatus 110 renders the pre-stored virtual object based on the information of the deformed virtual object to output to the display 115 in three dimensions Implement augmented reality (S360).

이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
Although all components constituting the embodiments of the present invention described above are described as being combined or operating in combination, the present invention is not necessarily limited to these embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all the components may be implemented as one independent hardware, each or some of the components may be selectively combined to perform some or all of the functions combined in one or more hardware. It may be implemented as a computer program having a. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, and the like, and read and executed by a computer, thereby implementing embodiments of the present invention. The recording medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.

이상에서와 같이, 본 발명에 따른 스마트 기기와 연동하는 증강현실 시스템 및 이를 이용한 증간현실 구현 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.As described above, the augmented reality system and the method for implementing augmented reality using the same according to the present invention has been described according to an embodiment, but the scope of the present invention is not limited to a specific embodiment, and related to the present invention Thus, various alternatives, modifications, and changes can be made to those skilled in the art without departing from the scope of the present invention.

따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
Accordingly, the embodiments described in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention, but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The scope of protection of the present invention should be interpreted by the claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100 : 증강현실 시스템 110 : 증강현실 구현장치
111 : 카메라부 113 : 증강현실 구현부
113a : 3차원 공간 생셩부 113b : 인터랙션부
113c ; 증강영상 생성부 113d : 객체정보 데이터베이스
115 : 디스플레이부 130 : 스마트 기기
131 : 이벤트 인식부 133 : 가상객체 생성부
135 : 사용자 인터페이스 137 : 가상객체 렌더링부100: augmented reality system 110: augmented reality implementation device
111: camera unit 113: augmented reality implementation unit
113a: Three-dimensional space generation part 113b: Interaction part
113c; Augmented image generation unit 113d: object information database
115: display unit 130: smart device
131: event recognition unit 133: virtual object generation unit
135: user interface 137: virtual object rendering unit

Claims (5)

서로 연동하는 증강현실 구현장치와 스마트 기기를 포함하는 증강현실 시스템으로서,
실제 공간을 촬영하여 실제 영상 정보를 획득하는 카메라부;
하기 증강 현실 구현부가 랜더링한 증강 현실을 표시하는 디스플레이부;
상기 카메라부에 의해 획득되는 실제 영상 정보와 기 저장된 가상 객체의 렌더링하여 증강 현실을 구현하고, 상기 디스플레이부에서 발생하는 사용자의 터치 이벤트를 분석하여, 터치된 가상 객체에 대한 정보를 하기 스마트 기기로 제공하는 증강현실 구현부;를 포함하는 증강현실 구현장치 및,
상기 증강현실 구현장치의 상기 증강현실 구현부에서 전달된 상기 터치된 가상 객체에 대한 정보를 기초로 상응하는 가상 객체를 생성하여 사용자 인터페이스에 표시함으로써 사용자가 상기 증강현실 구현장치의 상기 디스플레이부 상에서 터치된 가상 객체를 확인할 수 있도록 하고, 표시된 상기 가상 객체에 대한 사용자 입력을 적용하여 변형된 가상 객체를 생성하고 표시하며, 변형된 상기 가상 객체를 상기 증강현실 구현부로 전송하는 스마트 기기
를 포함하되,
상기 증강현실 구현장치의 상기 증강현실 구현부는 상기 스마트 기기로부터 상기 변형된 가상 객체를 입력받으면 이를 반영하여 증강 현실을 구현하는 것
인 증강현실 시스템.As an augmented reality system comprising augmented reality implementation device and smart devices that interoperate with each other,
A camera unit for photographing a real space to obtain real image information;
A display unit displaying the augmented reality rendered by the augmented reality implementation unit;
Augmented reality is implemented by rendering the actual image information obtained by the camera unit and the pre-stored virtual objects, and analyzing the user's touch event generated in the display unit to inform the touched virtual object to the smart device. Augmented reality implementation apparatus comprising;
The user touches on the display unit of the augmented reality implementation apparatus by generating a corresponding virtual object and displaying the corresponding virtual object on the user interface based on the information on the touched virtual object transmitted from the augmented reality implementation unit of the augmented reality implementation apparatus. The smart device to check the virtual object, to generate and display a modified virtual object by applying a user input for the displayed virtual object, and transmits the modified virtual object to the augmented reality implementation unit
Including,
When the augmented reality implementation unit of the augmented reality implementation device receives the modified virtual object from the smart device to reflect this to implement augmented reality
Augmented reality system. 제 1 항에 있어서,
상기 증강현실 구현부는,
상기 카메라로부터의 실제영상 정보를 바탕으로 실제 공간에 대한 3차원 공간을 생성하는 3차원 공간 생성부;
상기 디스플레이부에서 발생된 이벤트를 분석하여 분석 결과를 제공하는 인터랙션부; 및
상기 3차원 공간 생성부로부터의 3차원 공간 정보, 객체정보 데이터베이스에 저장된 가상 객체 및 상기 스마트 기기로부터의 가상 객체를 렌더링하여 증강 영상을 생성하는 증강영상 생성부를 포함하는
증강현실 시스템.The method of claim 1,
The augmented reality implementation unit,
A three-dimensional space generator for generating a three-dimensional space with respect to the actual space based on the actual image information from the camera;
An interaction unit for analyzing an event generated by the display unit and providing an analysis result; And
And an augmented image generator configured to generate an augmented image by rendering the 3D space information from the 3D space generator, the virtual object stored in the object information database, and the virtual object from the smart device.
Augmented Reality System. 제 2 항에 있어서,
상기 증강영상 생성부는, 상기 인터랙션부로부터 제공되는 이벤트 분석 결과, 상기 인터랙션부로부터 제공되는 사용자에 대한 위치 정보 및 제스처 정보 중 적어도 하나 이상을 반영하여 증강 영상을 생성하는
증강현실 시스템.The method of claim 2,
The augmented image generating unit generates an augmented image by reflecting at least one or more of a location analysis result and a gesture information of a user provided from the interaction unit, as a result of the event analysis provided from the interaction unit.
Augmented Reality System. 제 1 항에 있어서,
상기 스마트 기기는,
상기 증강현실 구현부로부터의 분석 결과를 바탕으로, 이벤트 정보를 인식하는 이벤트 인식부;
상기 이벤트 인식부로부터의 이벤트 정보에 포함된 가상 객체의 정보에 상응하는 가상 객체를 생성하여 제공하는 가상객체 생성부;
상기 가상객체 생성부로부터의 가상 객체를 표시하는 한편, 사용자의 입력을 인식하는 사용자 인터페이스; 및
상기 가상객체 생성부로부터의 가상 객체에 상기 사용자 인터페이스로부터의 사용자 입력을 적용하여, 상기 증강현실 구현장치의 상기 증강현실 구현부로 제공하는 가상객체 렌더링부를 포함하는
증강현실 시스템.The method of claim 1,
The smart device,
An event recognition unit recognizing event information based on an analysis result from the augmented reality implementation unit;
A virtual object generation unit generating and providing a virtual object corresponding to the information of the virtual object included in the event information from the event recognition unit;
A user interface displaying a virtual object from the virtual object generating unit and recognizing a user input; And
And a virtual object renderer configured to apply a user input from the user interface to the virtual object from the virtual object generator and provide the augmented reality implementer to the augmented reality implementer.
Augmented Reality System. 증강현실 구현장치에 의한 증강현실이 구현된 상태에서, 상기 증강현실 구현장치가 상기 증강현실 구현장치의 디스플레이부에 표시되는 가상 객체 중 적어도 하나에 대한 사용자의 터치 이벤트를 인식하는 단계;
상기 증강현실 구현 장치가 인식된 상기 터치 이벤트에 기초하여 상기 디스플레이부 상에서 터치된 가상 객체의 정보를 포함하는 이벤트 분석 결과를 스마트 기기로 전송하는 단계;
상기 스마트 기기가 수신한 상기 터치된 가상 객체 정보 정보에 상응하는 가상 객체를 생성하고 사용자 인터페이스에 표시하며, 사용자 입력을 생성된 상기 사용자 인터페이스에 표시된 가상 객체에 적용하여 변형 가상 객체를 생성하고, 상기 변형 가상 객체의 정보를 상기 증강현실 구현장치로 전송하는 단계; 및
상기 증강현실 구현장치가 기 저장된 가상 객체를 상기 변형 가상 객체의 정보를 바탕으로 렌더링하여, 상기 변형 가상 객체를 반영하는 증강현실을 구현하는 단계를 포함하는
증강현실 구현방법. In a state where augmented reality is implemented by an augmented reality implementing apparatus, recognizing, by the augmented reality implementing apparatus, a user's touch event with respect to at least one of the virtual objects displayed on a display unit of the augmented reality implementing apparatus;
Transmitting, by the apparatus for augmented reality, an event analysis result including information of a virtual object touched on the display unit based on the recognized touch event to a smart device;
Creates a virtual object corresponding to the touched virtual object information received by the smart device and displays on the user interface, generates a modified virtual object by applying a user input to the virtual object displayed on the generated user interface, Transmitting information of a deformed virtual object to the augmented reality implementation device; And
The augmented reality implementation apparatus renders a pre-stored virtual object based on the information of the deformed virtual object, and implements augmented reality reflecting the deformed virtual object;
Augmented reality implementation method.
KR1020160157521A 2016-11-24 2016-11-24 Augmented reality system linked to smart device KR102075383B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160157521A KR102075383B1 (en) 2016-11-24 2016-11-24 Augmented reality system linked to smart device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160157521A KR102075383B1 (en) 2016-11-24 2016-11-24 Augmented reality system linked to smart device

Publications (2)

Publication Number Publication Date
KR20180058895A KR20180058895A (en) 2018-06-04
KR102075383B1 true KR102075383B1 (en) 2020-02-12

Family

ID=62628095

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160157521A KR102075383B1 (en) 2016-11-24 2016-11-24 Augmented reality system linked to smart device

Country Status (1)

Country Link
KR (1) KR102075383B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102619004B1 (en) 2018-12-14 2023-12-29 삼성전자 주식회사 Robot control apparatus and method for learning task skill of the robot
KR20200137523A (en) 2019-05-30 2020-12-09 이은령 System for Sharing Augmented Reality contents and Driving method thereof
KR102353037B1 (en) 2019-11-20 2022-01-19 김재근 Augmented Reality Device Stationary Smart Phone
KR20200138096A (en) 2020-06-25 2020-12-09 이은령 System for Sharing Augmented Reality contents and Driving method thereof
KR20220077000A (en) 2020-12-01 2022-06-08 김재근 Augmented Re|ality Instrument for Education

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120057799A (en) * 2010-11-29 2012-06-07 삼성전자주식회사 Method and apparatus for providing dictionary function in a portable terminal
KR20140010616A (en) * 2012-07-16 2014-01-27 한국전자통신연구원 Apparatus and method for processing manipulation of 3d virtual object
KR101615171B1 (en) * 2014-01-22 2016-05-12 단국대학교 산학협력단 system and method for providing collaborative contents service based on augmented reality

Also Published As

Publication number Publication date
KR20180058895A (en) 2018-06-04

Similar Documents

Publication Publication Date Title
KR102075383B1 (en) Augmented reality system linked to smart device
KR101940720B1 (en) Contents authoring tool for augmented reality based on space and thereof method
US20220319139A1 (en) Multi-endpoint mixed-reality meetings
JP2017531227A (en) Interface providing method and apparatus for recognizing operation in consideration of user's viewpoint
US11475662B2 (en) Real time object surface identification for augmented reality environments
US9501810B2 (en) Creating a virtual environment for touchless interaction
KR101743764B1 (en) Method for providing ultra light-weight data animation type based on sensitivity avatar emoticon
KR102358543B1 (en) Authoring of augmented reality experiences using augmented reality and virtual reality
US20200211243A1 (en) Image bounding shape using 3d environment representation
Sheldon et al. Putting the AR In (AR) chitecture
US20200233489A1 (en) Gazed virtual object identification module, a system for implementing gaze translucency, and a related method
US11449189B1 (en) Virtual reality-based augmented reality development system
JP2023039426A (en) Computer implementation method, information processing system, computer program (spatio-temporal relation based mr content arrangement)
Regenbrecht et al. Preaching voxels: An alternative approach to mixed reality
US20160367893A1 (en) Digital content creation
WO2024002086A1 (en) Image processing method and apparatus, electronic device and readable storage medium
KR102346325B1 (en) System and method for producing webtoon using three dimensional data
JP2023124678A (en) Image processing device, image processing method, and image processing program
KR101630257B1 (en) 3D image providing system and providing method thereof
KR20180053494A (en) Method for constructing game space based on augmented reality in mobile environment
KR20170002921A (en) Apparatus and method for creating digital building instruction
Pavlopoulou et al. A Mixed Reality application for Object detection with audiovisual feedback through MS HoloLenses
Hu et al. Towards Using Generative AI for Facilitating Image Creation in Spatial Augmented Reality
Sreekanta Augmented Reality Used in Detection of Measurement Error in the Object
Fuglseth Object Detection with HoloLens 2 using Mixed Reality and Unity a proof-of-concept

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant