KR20120009637A - Method for Managing Audio-Object using Zoom-In Event, Augmented Reality Device and Recording Medium - Google Patents

Method for Managing Audio-Object using Zoom-In Event, Augmented Reality Device and Recording Medium Download PDF

Info

Publication number
KR20120009637A
KR20120009637A KR1020100069725A KR20100069725A KR20120009637A KR 20120009637 A KR20120009637 A KR 20120009637A KR 1020100069725 A KR1020100069725 A KR 1020100069725A KR 20100069725 A KR20100069725 A KR 20100069725A KR 20120009637 A KR20120009637 A KR 20120009637A
Authority
KR
South Korea
Prior art keywords
real
data
output
audio
display position
Prior art date
Application number
KR1020100069725A
Other languages
Korean (ko)
Other versions
KR101705122B1 (en
Inventor
김재형
홍종철
이정규
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Priority to KR1020100069725A priority Critical patent/KR101705122B1/en
Publication of KR20120009637A publication Critical patent/KR20120009637A/en
Application granted granted Critical
Publication of KR101705122B1 publication Critical patent/KR101705122B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes

Abstract

PURPOSE: An audio object data operating method using a zoom-in event is provided to offer audio object data for a specific object by receiving real data including the audio object data. CONSTITUTION: An AR(Augmented Reality) apparatus recognizes a real object by analyzing real data. When a zoom-in event is occurred, the AR apparatus confirms the existence of the real object in the real data(300). In case real data is included in the AR apparatus, the AR apparatus confirms audio object data corresponding to real object identification information(305, 310). In case the audio object data is existed, the AR apparatus outputs the audio object data(315, 320).

Description

줌인 이벤트를 이용한 오디오객체 데이터 운용방법 및 이를 위한 증강현실 장치와, 기록매체{Method for Managing Audio-Object using Zoom-In Event, Augmented Reality Device and Recording Medium}Method for operating audio object data using zoom in event and augmented reality device and recording medium {Method for Managing Audio-Object using Zoom-In Event, Augmented Reality Device and Recording Medium}

본 발명은 증강현실 장치를 통해 획득되는 실제현실 데이터 상에 포함된 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)가 줌인 이벤트 발생을 통해 하나의 실제객체(또는 가상객체 표시 위치)만 출력되는 상태인 경우, 상기 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터를 출력하는 방법 및 증강현실 장치에 관한 것이다.
According to the present invention, only one real object (or virtual object display position) is generated by generating an event in which the real object (or virtual object display position) to output the virtual object data included in the real data acquired through the augmented reality device is zoomed. The present invention relates to a method and an augmented reality device for outputting audio object data corresponding to the real object (or a virtual object display position) in the output state.

정보통신 기술의 발전으로 인해, 휴대폰 등의 무선단말은 종래의 단순한 통화기능을 뛰어넘어, 다양한 서비스를 제공하고 있는 실정이다.
Due to the development of information and communication technology, wireless terminals such as mobile phones go beyond the conventional simple call functions and provide various services.

그 중에서 현재도 끊임없는 이슈가 발생되고 있는 분야는 증강현실(Augmented Reality)로서, 무선단말 상에 구비된 실제현셀 데이터를 획득하는 장치(예를들어, 카메라 등)를 통해 실제객체 데이터를 획득한 후, 획득된 실제객체 데이터 상에 포함된 각종 표식 등을 이용한 가상객체 데이터를 출력할 위치를 확인하여, 무선단말을 통해 제공하는 방법을 통해, 사용자가 해당 위치에 대한 더욱 자세한 정보의 획득이 가능하도록 해주고 있다.
Among them, an issue that is still occurring continuously is Augmented Reality, which acquires real object data through a device (for example, a camera) that acquires real cell data provided on a wireless terminal. After that, the user can obtain more detailed information on the corresponding position through a method of confirming a position to output virtual object data using various markers and the like included on the obtained real object data and providing the same through a wireless terminal. I'm doing it.

하지만, 현재 서비스되고 있는 방법은 단순한 텍스트 등의 그래픽 데이터를 위주로 하고 있으며, 이러한 이유로 특정 객체에 대한 오디오객체 데이터를 제공하는 방법은 전무한 상태이다.
However, currently available methods focus on graphic data such as simple text, and for this reason, there is no way to provide audio object data for a specific object.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 사용자가 이용하는 무선단말 등의 증강현실 장치를 통해 실제현실 데이터를 획득시, 획득된 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치)를 이용하여 오디오객체 데이터를 제공하는 방법 및 증강현실 장치에 관한 것이다.
An object of the present invention for solving the above problems is, when acquiring the reality data through the augmented reality device such as a wireless terminal used by the user, the actual object (or virtual object display position included in the acquired real data) The present invention relates to a method for providing audio object data using a) and an augmented reality device.

본 발명에 따른 줌인 이벤트를 이용한 오디오객체 운용방법은, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 단계와, 증강현실 장치에서 실제현실 데이터를 판독하여 인식된 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 출력중인 상태에서, 줌인 이벤트의 발생 여부를 확인하는 단계와, 줌인 이벤트가 발생된 것으로 확인되면, 증강현실 장치에서 출력중인 실제현실 데이터 상에 하나의 실제객체(또는 가상객체 표시 위치)를 포함하는지 여부를 확인하는 단계와, 하나의 실제객체(또는 가상객체 표시 위치)를 포함하는 경우, 증강현실 장치에서 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보에 대응하는 오디오객체 데이터가 존재하는지 여부를 확인하는 단계와, 오디오객체 데이터가 존재하는 경우, 증강현실 장치에서 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터가 출력되도록 처리하는 단계를 포함한다.
In the method of operating an audio object using a zoom-in event according to the present invention, the AR device acquires real data through real reality acquisition means, reads the obtained real data, and then displays a real object (or a virtual object display position). And recognizing whether or not a zoom-in event occurs while reading virtual reality data from the augmented reality device and outputting virtual object data on a recognized real object (or virtual object display position). If it is confirmed that the generated, the step of checking whether or not to include one real object (or virtual object display position) on the real data output from the augmented reality device, and one real object (or virtual object display position) In the case of including, real object identification for the one real object (or virtual object display position) in the augmented reality device Checking whether there is audio object data corresponding to the information; and if there is audio object data, the augmented reality device outputs audio object data corresponding to the one real object (or a virtual object display position). Processing.

본 발명에 따르면, 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치)를 이용한 오디오객체 데이터의 제공이 가능하며, 이를 이용한 다양한 정보의 효과적인 제공이 가능해진다.
According to the present invention, it is possible to provide audio object data using a real object (or a virtual object display position) included in the real data, and it is possible to effectively provide various information using the same.

또한, 오디오객체 데이터가 실제현실 데이터 상에 포함된 모든 실제객체(또는 가상객체 표시 위치)를 통해 제공될 경우, 사용자가 분별이 불가능한 상태가 발생할 수 있으나, 줌인 이벤트를 이용한 사용자가 원하는 특정 실제객체(또는 가상객체 표시 위치)에 대한 오디오객체 데이터의 제공이 가능하다.
In addition, when the audio object data is provided through all the real objects (or virtual object display positions) included in the real data, a state in which the user cannot distinguish can occur, but the specific real object desired by the user using the zoom-in event may occur. It is possible to provide audio object data for the (or virtual object display position).

도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정을 도시한 도면이다.
도 5는 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정을 도시한 도면이다.
도 6은 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정에 대한 예시를 도시한 도면이다.1 is a view showing a configuration of augmented reality device according to an embodiment of the present invention.
FIG. 2 illustrates outputting virtual object data on real objects with respect to real data being output according to an embodiment of the present invention, and when a specific real object is enlarged through a zoom-in event, audio associated with the enlarged specific real object A diagram illustrating a process of outputting object data.
FIG. 3 illustrates outputting virtual object data on a real object with respect to real data being output according to an embodiment of the present invention, and when a specific real object is enlarged by generating a zoom-in event, audio associated with the enlarged specific real object A diagram illustrating a process of outputting object data.
FIG. 4 illustrates output of virtual object data on a real object for real data being output according to an embodiment of the present invention, and when a specific real object is enlarged by generating a zoom-in event, audio associated with the enlarged specific real object A diagram illustrating a process of outputting object data.
FIG. 5 illustrates output of virtual object data on a real object for real data being output according to an exemplary embodiment of the present invention, but when a specific real object is enlarged by generating a zoom-in event, audio associated with the enlarged specific real object A diagram illustrating a process of outputting object data.
FIG. 6 illustrates output of virtual object data on real objects with respect to real data being output according to an embodiment of the present invention, and when a specific real object is enlarged by generating a zoom-in event, audio associated with the enlarged specific real object An example of a process of outputting object data is shown.

본 발명에 따른 줌인 이벤트를 이용한 오디오객체 운용방법은, 증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 단계와, 증강현실 장치에서 실제현실 데이터를 판독하여 인식된 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 출력중인 상태에서, 줌인 이벤트의 발생 여부를 확인하는 단계와, 줌인 이벤트가 발생된 것으로 확인되면, 증강현실 장치에서 출력중인 실제현실 데이터 상에 하나의 실제객체(또는 가상객체 표시 위치)를 포함하는지 여부를 확인하는 단계와, 하나의 실제객체(또는 가상객체 표시 위치)를 포함하는 경우, 증강현실 장치에서 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보에 대응하는 오디오객체 데이터가 존재하는지 여부를 확인하는 단계와, 오디오객체 데이터가 존재하는 경우, 증강현실 장치에서 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터가 출력되도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
In the method of operating an audio object using a zoom-in event according to the present invention, the AR device acquires real data through real reality acquisition means, reads the obtained real data, and then displays a real object (or a virtual object display position). And recognizing whether or not a zoom-in event occurs while reading virtual reality data from the augmented reality device and outputting virtual object data on a recognized real object (or virtual object display position). If it is confirmed that the generated, the step of checking whether or not to include one real object (or virtual object display position) on the real data output from the augmented reality device, and one real object (or virtual object display position) In the case of including, real object identification for the one real object (or virtual object display position) in the augmented reality device Checking whether there is audio object data corresponding to the information; and if there is audio object data, the augmented reality device outputs audio object data corresponding to the one real object (or a virtual object display position). Characterized in that it comprises a step of processing.

본 발명에 따른 줌인 이벤트를 이용한 오디오객체 운용방법은, 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터가 출력중인 상태에서 줌아웃 이벤트가 발생되면, 증강현실 장치에서 상기 출력중인 오디오객체 데이터가 더 이상 출력되지 않도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
In the method of operating an audio object using a zoom-in event according to the present invention, when a zoom-out event occurs while audio object data corresponding to the one real object (or a virtual object display position) is being output, the augmented reality device is outputting the zoom out event. And processing the audio object data to no longer be output.

본 발명에 따른 줌인 이벤트를 이용한 오디오객체 운용방법은, 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터가 출력중인 상태에서 증강현실 장치를 통해 출력중인 오디오객체 데이터에 대응하는 실제객체 식별정보가 변경되면, 증강현실 장치에서 기 출력중인 오디오객체 데이터가 더 이상 출력되지 않도록 처리하고, 출력중인 실제현실 데이터에 포함된 실제객체(또는 가상객체 표시 위치)가 하나의 실제객체(또는 가상객체 표시 위치)인지 여부를 확인하는 단계와, 상기 확인결과 하나의 실제객체(또는 가상객체 표시 위치)가 출력중인 경우, 상기 출력중인 하나의 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보를 확인하고, 상기 확인된 실제객체 식별 정보에 대응하는 오디오객체 데이터가 출력되도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
In the method of operating an audio object using a zoom-in event according to the present invention, an audio object data corresponding to the one real object (or a virtual object display position) is being output and corresponding to the audio object data being output through the augmented reality device. When the real object identification information is changed, the augmented reality device processes the audio object data that is being output in advance so that it is no longer outputted, and the real object (or virtual object display position) included in the real reality data being output is one real object ( Or a virtual object display position), and if one real object (or virtual object display position) is being output as a result of the checking, the actual information on the one actual object (or virtual object display position) being outputted The object identification information is checked, and audio object data corresponding to the checked real object identification information is output. It characterized by comprising the step of: lock process.

한편, 상기 전술한 줌인 이벤트를 이용한 오디오객체 운용방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체를 포함한다.
On the other hand, it includes a computer-readable recording medium, characterized in that for recording a program for executing the audio object operating method using the above-described zoom-in event.

한편, 본 발명에 따른 줌인 이벤트를 이용한 오디오객체 데이터를 출력하는 증강현실 장치는, 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하고, 인식된 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 출력중인 상태에서, 줌인 이벤트의 발생 여부를 확인하는 이벤트 확인부와, 상기 확인결과, 줌인 이벤트가 발생된 것으로 확인되면, 증강현실 장치에서 출력중인 실제현실 데이터 상에 하나의 실제객체(또는 가상객체 표시 위치)를 포함하는지 여부를 확인하고, 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보에 대응하는 오디오객체 데이터가 존재하는지 여부를 확인하는 오디오출력 결정부와, 상기 확인결과, 오디오객체 데이터가 존재하는 경우, 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보를 기반으로 오디오객체 데이터가 입력되도록 처리하는 오디오객체 입력부 및 상기 입력된 오디오객체 데이터가 출력되도록 처리하는 오디오객체 출력부를 구비하여 이루어지는 것을 특징으로 한다.
On the other hand, the augmented reality device for outputting the audio object data using the zoom-in event according to the present invention, obtains the real data through the real-world acquiring means, and read the obtained real data to display the real object (or virtual object) Position) and outputting virtual object data on the recognized physical object (or virtual object display position), an event checking unit for checking whether a zoom-in event has occurred, and as a result of the checking, the zoom-in event is generated. If it is confirmed that the augmented reality device is outputting the actual reality data output to the real object (or virtual object display position) to determine whether or not, and the real object for the one (or virtual object display position) An audio output determination unit for confirming whether or not audio object data corresponding to the identification information exists; When the audio object data exists, an audio object input unit for processing audio object data is input based on real object identification information of the one real object (or virtual object display position), and the input audio object data is outputted. And an audio object output unit for processing.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, with reference to the accompanying drawings and description will be described in detail the operating principle of the preferred embodiment of the present invention. However, the drawings and the following description shown below are for the preferred method among various methods for effectively explaining the features of the present invention, the present invention is not limited only to the drawings and description below. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or custom. Therefore, the definition should be made based on the contents throughout the present invention.

또한, 이하 실시되는 본 발명의 바람직한 실시예는 본 발명을 이루는 기술적 구성요소를 효율적으로 설명하기 위해 각각의 시스템 기능구성에 기 구비되어 있거나, 또는 본 발명이 속하는 기술분야에서 통상적으로 구비되는 시스템 기능구성은 가능한 생략하고, 본 발명을 위해 추가적으로 구비되어야 하는 기능구성을 위주로 설명한다. 만약 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면, 하기에 도시하지 않고 생략된 기능구성 중에서 종래에 기 사용되고 있는 구성요소의 기능을 용이하게 이해할 수 있을 것이며, 또한 상기와 같이 생략된 구성요소와 본 발명을 위해 추가된 구성요소 사이의 관계도 명백하게 이해할 수 있을 것이다.
It is to be understood that both the foregoing general description and the following detailed description of the present invention are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. The configuration is omitted as much as possible, and a functional configuration that should be additionally provided for the present invention is mainly described. Those skilled in the art will readily understand the functions of components that have been used in the prior art among the functional configurations that are not shown in the following description, The relationship between the elements and the components added for the present invention will also be clearly understood.

또한, 이하 실시예는 본 발명의 핵심적인 기술적 특징을 효율적으로 설명하기 위해 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 명백하게 이해할 수 있도록 용어를 적절하게 변형하여 사용할 것이나, 이에 의해 본 발명이 한정되는 것은 결코 아니다.
In order to efficiently explain the essential technical features of the present invention, the following embodiments properly modify the terms so that those skilled in the art can clearly understand the present invention, It is by no means limited.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
As a result, the technical spirit of the present invention is determined by the claims, and the following examples are one means for efficiently explaining the technical spirit of the present invention to those skilled in the art to which the present invention pertains. It is only.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
1 is a view showing the configuration of augmented reality device 100 according to an embodiment of the present invention.

보다 상세하게 본 도면1은 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, in FIG. 1, when virtual object data is output on a real object for outputting real data, the specific object is enlarged by generating a zoom-in event, audio object data associated with the enlarged specific real object is displayed. As shown in the output configuration, those of ordinary skill in the art to which the present invention pertains, various implementation methods (for example, a part) for the configuration of the augmented reality device 100 by referring to and / or modifying the present Figure 1 It may be inferred that the implementation is omitted, subdivided, or combined), but the present invention includes all the implementation methods inferred, the technical features are limited only by the implementation method shown in FIG. Not.

또한, 본 도면1에 도시된 각각의 기능 구성부는 통신망 상의 서버(예를들어, 증강현실 서비스를 제공하는 서버(도시생략)) 상에 구비되는 것이 가능하다.
In addition, each functional component shown in FIG. 1 may be provided on a server (for example, a server providing an augmented reality service (not shown)) on a communication network.

본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상객체 데이터를 획득하는 기능, 상기 실제현실 데이터에 포함된 실제객체(또는 가상객체 데이터 표시할 위치 값)를 결정하는 기능 및 상기 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)에 상기 획득된 가상객체 데이터를 표시하여 출력하는 기능 중 적어도 하나의 기능을 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 상기 가상객체 데이터를 획득하는 방식, 상기 실제객체(또는 가상객체 표시 위치)를 결정하는 방식 및 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식에 의해 한정되지 아니한다.
The augmented reality device 100 of the present invention is a function for acquiring the reality data, a function for acquiring the virtual object data, a function for determining the real object (or position value to display the virtual object data) included in the real data; A generic term for a device having at least one function of displaying and outputting the obtained virtual object data on a real object (or a virtual object display position) on the real data, the method of acquiring the real data; The method of obtaining virtual object data, the method of determining the real object (or the virtual object display position), and the method of displaying the virtual object data on the real data are not limited thereto.

예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 획득되거나, 또는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신되는 것이 가능하다.
For example, the reality data may be obtained in real time through a camera, from a memory in the augmented reality device 100, or may be received through a communication network.

또한, 상기 가상객체 데이터는 상기 증강현실 장치(100) 내 메모리로부터 획득되거나, 또는 통신망을 통해 수신되거나, 또는 상기 메모리에 저장되거나 통신망을 통해 수신되는 결합 가능한 폴리곤(Polygon) 데이터에 텍스쳐(Texture) 데이터를 매핑/렌더링하여 실시간 생성되는 것이 가능하다.
In addition, the virtual object data may be obtained from a memory in the augmented reality device 100 or may be textured through combinable polygon data stored in the memory or received through a communication network. It is possible to generate data in real time by mapping / rendering data.

또한, 상기 오디오객체 데이터는 상기 증강현실 장치(100) 내 메모리부(185)터 획득되거나, 또는 통신망을 통해 수신되는 것이 가능하다.
In addition, the audio object data may be obtained from the memory unit 185 in the augmented reality device 100 or may be received through a communication network.

또한, 상기 실제현실 데이터에 포함되는 실제객체(또는 가상객체 표시 위치)는 마커 방식과 마커리스 방식 중 어느 하나의 방식을 통해 결정되거나, 또는 상기 실제현실 데이터의 색상/채도 값을 판독하여 결정되는 색상/채도 영역에 대한 기하학적 구조(또는 팔레트 구성)와 실제객체의 기하학적 구조(또는 팔레트 구성)를 인식하여 결정되는 것이 가능하다.
In addition, the real object (or virtual object display position) included in the real data is determined by one of a marker method and a markerless method, or is determined by reading the color / saturation value of the real data. It can be determined by recognizing the geometry (or palette configuration) for the hue / saturation region and the geometry (or palette configuration) of the real object.

또한, 상기 실제현실 데이터 상에 상기 가상객체 데이터를 표시하는 방식은 상기 실제현실 데이터와 가상객체 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 실제현실 계층(Layer)와 적어도 하나의 가상현실 계층을 구비한 출력 데이터를 구성한 후 상기 출력 데이터의 실제현실 계층에 상기 실제현실 데이터를 출력함과 동시에 적어도 하나의 가상현실 계층에 가상객체 데이터를 표시하는 방식을 적어도 하나 포함되는 것이 가능하다.
The method of displaying the virtual object data on the real data may include generating and displaying one output data combining the real data and the virtual object data, the layer and the at least one virtual reality. After configuring the output data having the reality layer, it is possible to include at least one method of outputting the reality data to the reality layer of the output data and at the same time displaying the virtual object data on at least one virtual reality layer.

만약 상기 실제현실 데이터가 투명 디스플레이에 표시되는 경우, 상기 가상객체 데이터는 상기 실제객체와 관측자의 시선방향이 만나는 투명 디스플레이 위치에 상기 실제객체에 대응하는 가상객체 데이터를 출력하는 형태로 표시될 수 있다.
If the real data is displayed on the transparent display, the virtual object data may be displayed in a form of outputting virtual object data corresponding to the real object at a transparent display position where the line of sight of the real object and the observer meet. .

또한, 상기 증강현실 장치(100)는 상기 장치의 이용 분야와 외형(또는 구조) 및 접속되는 통신망에 의해 한정되지 아니한다.
In addition, the augmented reality device 100 is not limited by the field of use of the device and the appearance (or structure) and the communication network to be connected.

예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 설치 장치 형태 등으로 구현될 수 있다.
For example, the augmented reality device 100 is in the form of a stand-alone device with each component unit integrated in one case, the form of an interlocking device provided separately from each component connected to two or more devices, installed in a specific object / building / space It may be implemented in the form of an installation device.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(125), 메모리부(185), 비디오 출력부(105) 및 오디오 출력부(110)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(180)를 더 구비하고, 가상객체 데이터를 획득하는 방식에 따라 통신부를 더 구비하고, 가상객체 데이터가 표시될 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)를 결정하는 방식에 따라 센서부(175)를 더 구비하고, 사용자 조작을 위한 조작부(115)를 더 구비할 수 있다.
Referring to FIG. 1, the augmented reality device 100 includes a control unit 125, a memory unit 185, a video output unit 105, and an audio output unit 110, and a method of acquiring real reality data. And a camera unit 180 according to the method, and further comprising a communication unit according to a method of acquiring the virtual object data, and a method of determining a real object (or a virtual object display position) on the real data on which the virtual object data is to be displayed. In addition, the sensor unit 175 may be further provided, and an operation unit 115 for user operation may be further provided.

상기 제어부(125)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(125) 내에 도시하여 설명하기로 한다.
The control unit 125 physically includes a processor, an execution memory, and a bus, and functionally records a function of processing a program included in the augmented reality device 100 to be loaded into the execution memory and operated by the processor. To perform. 1 will be described with reference to the program components provided in the augmented reality device 100 in the control unit 125 for convenience.

상기 메모리부(185)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(125)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
The memory unit 185 includes a non-volatile memory, and functionally stores a program code to be loaded into the controller 125 and a data storage medium used by the program code. Here, the program code includes a system program code for operating / controlling the basic operations of the augmented reality device 100, and an application program code for providing various application services provided in the augmented reality device 100.

본 발명의 실시 방법에 따르면, 상기 메모리부(185)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(185)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
According to an embodiment of the present invention, the memory unit 185 may store the reality data, and in this case, the memory unit 185 may perform a function of a reality acquisition means for acquiring the reality data. have.

본 발명의 실시 방법에 따르면, 상기 메모리부(185)는 상기 가상객체 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(185)는 상기 가상객체 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
According to the exemplary embodiment of the present invention, the memory unit 185 may store the virtual object data, and in this case, the memory unit 185 may perform a function of a virtual reality acquiring means for acquiring the virtual object data. have.

본 발명의 실시 방법에 따르면, 상기 메모리부(185)는 상기 실제현실 획득수단을 통해 획득된 실제현실 데이터 상에 포함되는 실제객체(또는 가상객체 표시 위치)를 식별하기 위한 실제객체 식별 정보와, 오디오 데이터를 포함하는 오디오객체 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(185)는 상기 오디오객체 데이터를 획득하는 오디오객체 획득수단의 기능 수행이 가능하다.
According to the exemplary embodiment of the present invention, the memory unit 185 may include real object identification information for identifying a real object (or a virtual object display position) included in the real data acquired through the real reality acquisition means, Audio object data including audio data may be stored. In this case, the memory unit 185 may perform a function of an audio object obtaining unit for acquiring the audio object data.

상기 비디오 출력부(105)는 실제현실 데이터 상의 실제객체에 가상객체 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 디스플레이 중 어느 하나를 포함 가능하다.
The video output unit 105 includes an output device for displaying virtual object data on a real object on the real data, and may include any one of a general output device such as an LCD and a transparent display such as glasses, goggles, and glass windows. .

상기 오디오 출력부(110)는 상기 비디오 출력부(105)를 통해 출력중인 실제현실 데이터 상에 포함된 하나 이상의 실제객체(또는 가상객체 표시 위치)에 대한 줌인 이벤트 발생을 통해 하나의 실제객체(또는 가상객체 표시 위치)가 출력되는 경우, 출력중인 하나의 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터를 출력하는 출력장치를 포함하며, 스피커와 같은 일반 출력장치와 블루투스 등의 무선 출력장치 중 하나 이상을 포함하는 것이 가능하다.
The audio output unit 110 generates one real object (or a zoom-in event for one or more real objects (or virtual object display positions) included in the real data being output through the video output unit 105. A virtual object display position), an output device for outputting audio object data corresponding to one actual object (or virtual object display position) being outputted, and a general output device such as a speaker and a wireless output such as Bluetooth. It is possible to include one or more of the devices.

상기 카메라부(180)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 실시간 획득하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 즉, 상기 카메라부(180)는 상기 증강현실 장치(100)에서 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
The camera unit 180 includes a device for real-time acquisition of raster-based real reality data in a bitmap manner from a camera composed of an optical unit and a charge coupled device (CCD). In this case, the reality data may include image data or video data. That is, the camera unit 180 may perform a function of real reality acquiring means for acquiring real reality data in real time from the augmented reality device 100.

본 발명의 실시 방법에 따르면, 상기 카메라부(180)는 상기 센서부(175)와 연동하여 센서 입력에 필요한 특정 데이터만 선택적으로 획득하거나, 또는 이미지(또는 동영상) 형태의 센싱 데이터를 획득하는 센서부(175)의 기능을 수행할 수 있다.
According to the exemplary embodiment of the present invention, the camera unit 180 interlocks with the sensor unit 175 to selectively acquire only specific data necessary for sensor input or to obtain sensing data in the form of an image (or a video). The function of the unit 175 may be performed.

예를들어, 상기 카메라부(180)와 센서부(175)가 연동하는 경우, 상기 카메라부(180)는 상기 센서부(175)가 센싱하는 영역의 실제현실 데이터만 선택적으로 획득할 수 있으며, 이를 위해 상기 카메라부(180)와 센서부(175)의 시선 방향이 일치되도록 설정된다.
For example, when the camera unit 180 and the sensor unit 175 are interlocked, the camera unit 180 may selectively acquire only actual reality data of an area sensed by the sensor unit 175, To this end, the direction of the line of sight of the camera unit 180 and the sensor unit 175 is set to match.

또는, 상기 카메라부(180)는 실제현실 데이터를 획득함과 동시에, 상기 실제현실 데이터를 판독하여 지정된 센싱 대상의 이미지(또는 동영상) 데이터를 센싱하는 센서부(175)의 기능을 수행할 수 있다.
Alternatively, the camera unit 180 may perform the function of the sensor unit 175 for acquiring the real data and at the same time reading the real data and sensing the image (or video) data of the specified sensing target. .

상기 통신부는 상기 증강현실 장치(100)가 접속하는 유선(또는 무선) 통신망에 따라 어느 하나의 통신 규격과 프로토콜을 기반으로 상기 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망 상의 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
The communication unit includes a communication module connected to the communication network based on any one communication standard and protocol according to a wired (or wireless) communication network to which the augmented reality device 100 is connected, and a server (or device) on the communication network. And a communication channel or a communication channel with another augmented reality device 100.

본 발명의 실시 방법에 따르면, 상기 통신부는 통신망 상의 서버(또는 장치)로부터 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 가상객체 데이터를 수신하는 가상현실 획득수단의 기능을 수행하거나, 또는 상기 통신망 상의 서버(또는 장치)에 저장된 오디오객체 데이터를 수신하는 오디오객체 획득수단의 기능을 수행한다.
According to an exemplary embodiment of the present invention, the communication unit performs a function of real reality acquiring means for receiving real reality data from a server (or device) on a communication network, or stores virtual object data stored in a server (or device) on the communication network. It performs a function of the virtual reality acquiring means for receiving or performs the function of an audio object acquiring means for receiving audio object data stored in a server (or device) on the communication network.

상기 센서부(175)는 상기 증강현실 장치(100)에 구비된 적어도 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센싱 신호를 획득하여 데이터 처리가 가능한 센싱 데이터로 변환하는 센서모듈을 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득함과 동시에 상기 실제현실 데이터로부터 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 만약 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(175)는 상기 카메라부(180)와 통합될 수 있다.
The sensor unit 175 includes a sensor module that obtains a sensing signal in the form of an analog signal or a digital signal from at least one sensor provided in the augmented reality device 100 and converts the sensing signal into sensing data capable of data processing. Here, the sensor is an electrical signal sensor for generating an electrical signal (for example, resistance, current, voltage) in accordance with environmental changes, and while obtaining the real data, such as the camera and at the same time the specific input required for the sensor input from the real data It may include a camera sensor to selectively acquire only data. If the sensor includes a camera sensor, the sensor unit 175 may be integrated with the camera unit 180.

상기 조작부(115)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 입력모듈을 포함한다. 상기 조작부(115)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 비디오 출력부(105)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(180) 또는 센서부(175)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.
The manipulation unit 115 includes an input module for receiving the user manipulation when the augmented reality device 100 requires user manipulation. The operation unit 115 includes a key input module including a key button to receive information required for user operation and a touch screen module to receive information required for user operation through interworking with the video output unit 105. The electronic device may further include a user recognition module that recognizes any one of a user's hand motion, a body motion, and an eye movement in cooperation with the camera unit 180 or the sensor unit 175 to receive information necessary for user operation.

도면1을 참조하면, 상기 증강현실 장치(100)는, 적어도 하나의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(130)와, 상기 실제현실 데이터로부터 가상객체 데이터를 출력할 실제객체를 인식하는 실제객체 인식부(135)와, 상기 실제객체에 표시할 가상객체 데이터를 결정하는 가상객체 결정부(140)와, 적어도 하나의 가상현실 획득수단을 통해 상기 결정된 가상객체 데이터를 입력하는 가상객체 입력부(145)와, 상기 가상객체 데이터를 상기 실제현실 데이터 상의 실제객체에 표시하여 상기 비디오 출력부(105)를 통해 출력하는 증강현실 표시부(150)를 구비한다.
Referring to FIG. 1, the augmented reality apparatus 100 may include a real reality input unit 130 for inputting real reality data through at least one real reality acquisition means, and a real object for outputting virtual object data from the real reality data. Input the determined virtual object data through a real object recognition unit 135 for recognizing an object, a virtual object determination unit 140 for determining virtual object data to be displayed on the real object, and at least one virtual reality acquisition unit. The virtual object input unit 145 and the augmented reality display unit 150 for displaying the virtual object data on the real object on the real data and output through the video output unit 105.

상기 실제현실 입력부(130)는 상기 카메라부(180)를 통해 실제현실 데이터를 실시간 입력하거나, 또는 상기 메모리부(185)에 저장된 실제현실 데이터를 입력하거나, 또는 상기 통신부를 통해 실제현실 데이터를 수신하며, 상기 입력된 실제현실 데이터는 상기 비디오 출력부(105)를 통해 출력되거나 또는 상기 증강현실 표시부(150)로 전달된다.
The reality input unit 130 inputs real reality data in real time through the camera unit 180, inputs real reality data stored in the memory unit 185, or receives real reality data through the communication unit. The input reality data is output through the video output unit 105 or transmitted to the augmented reality display unit 150.

상기 실제현실 데이터가 입력되면, 상기 실제객체 인식부(135)는 상기 실제현실 데이터를 판독하여 가상객체 데이터를 출력할 적어도 하나의 실제객체(또는 가상객체 표시 위치)를 인식한다.
When the real data is input, the real object recognition unit 135 recognizes at least one real object (or virtual object display position) to read the real data and output the virtual object data.

본 발명의 일 실시 방법에 따르면, 상기 실제객체 인식부(135)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 미리 정의된 마커를 검출하고, 상기 마커가 검출된 위치를 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)로 인식할 수 있다. 여기서, 상기 마커는 미리 정의된 기호, 부호, 문양 중 어느 하나를 포함할 수 있다.
According to an exemplary embodiment of the present invention, the real object recognition unit 135 reads the real data to extract a hue / saturation value, reads the extracted hue / saturation value, and detects a predefined marker. The position at which the marker is detected may be recognized as a real object (or a virtual object display position) to output the virtual object data. Here, the marker may include any one of a predefined symbol, sign, or pattern.

본 발명의 다른 일 실시 방법에 따르면, 상기 메모리부(185)는 상기 실제현실 데이터에 포함된 실제객체를 인식하는 객체 인식 정보를 저장할 수 있으며, 이 경우 상기 실제객체 인식부(135)는 상기 실제현실 데이터를 판독하여 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 통해 구분되는 영역의 경계 선을 검출하고, 상기 검출된 경계선을 연결 및 조합하여 기하학 구조를 인식하거나 상기 경계선 내의 색상/채도 분포 패턴을 인식한 후, 상기 인식된 기하학 구조와 분포 패턴을 상기 객체 인식 정보에 미리 정의된 실제객체들의 기하학 구조와 분포 패턴과 비교하여 상기 실제현실 데이터에 포함된 실제객체를 인식할 수 있다.
According to another exemplary embodiment of the present invention, the memory unit 185 may store object recognition information for recognizing a real object included in the real data, and in this case, the real object recognition unit 135 Read the real data to extract the hue / saturation value, read the extracted hue / saturation value to detect the boundary line of the area divided by the hue / saturation, and connect and combine the detected boundary line After recognizing or recognizing the color / chroma distribution pattern in the boundary line, the recognized geometry and distribution pattern is included in the real data by comparing the geometry and distribution pattern of the real objects predefined in the object recognition information Recognized real objects.

여기서, 상기 색상/채도 값은 RGB(Red, Green, Blue) 팔레트 값을 색상/채도로 변환하는 행렬식을 통해 추출될 수 있으며, 상기 객체 인식 정보는 상기 실제현실 데이터의 색상/채도를 판독하여 색상/채도 상의 기하학 구조 정보와 상기 색상/채도의 분포 패턴 정보가 획득되는 경우, 상기 획득된 기하학 구조와 분포 패턴에 대응하는 실제객체가 무엇인지 판별할 수 있도록 미리 정의된 실제객체들의 기하학 구조와 분포 패턴을 포함한다.
Here, the hue / saturation value may be extracted through a determinant for converting RGB (Red, Green, Blue) palette values into hue / saturation, and the object recognition information may be obtained by reading hue / saturation of the real data. When the geometric structure information on the saturation and the distribution pattern information of the hue / saturation are obtained, the geometric structure and distribution of the predefined real objects so as to determine what the real object corresponding to the obtained geometric structure and distribution pattern is Contains a pattern.

본 발명의 또다른 일 실시 방법에 따르면, 상기 실제객체 인식부(135)는 상기 실제현실 데이터를 상기 마커를 인식하는 서버(또는 장치)로 전송하거나, 또는 상기 객체 인식 정보를 구비한 서버(또는 장치)로 전송하여 상기 실제현실 데이터 상에 상기 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)로 인식할 수 있다.
According to another exemplary embodiment of the present invention, the real object recognition unit 135 transmits the real reality data to a server (or device) that recognizes the marker, or a server (or which has the object recognition information). Device) to be recognized as a real object (or a virtual object display position) to output the virtual object data on the real data.

한편, 상기 실제현실 데이터가 카메라부(180)를 통해 실시간 입력되는 경우, 상기 실제객체 인식부(135)는 상기 센서부(175)와 카메라부(180)의 시선 방향을 일치시킨 후, 상기 카메라부(180)를 통해 입력되는 실제현실 데이터의 좌표계와 상기 센서부(175)를 통해 센싱되는 센싱 신호의 좌표계를 매칭하여 특정 센싱 신호가 검출되는 좌표 값을 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)로 인식할 수 있다.
On the other hand, when the real data is input in real time through the camera unit 180, the real object recognition unit 135 matches the direction of the line of sight of the sensor unit 175 and the camera unit 180, the camera By matching the coordinate system of the actual reality data input through the unit 180 and the coordinate system of the sensing signal sensed by the sensor unit 175, the actual object (or outputting the virtual object data to the coordinate value where the specific sensing signal is detected) (or Virtual object display position).

또는, 상기 실제현실 데이터가 상기 메모리부(185)에 저장되거나 또는 통신부를 통해 수신되고 상기 실제현실 데이터에 상기 실제객체 위치를 판별하는 메타 데이터가 포함(또는 링크)된 경우, 상기 실제객체 인식부(135)는 상기 실제현실 데이터에 포함(또는 링크)된 메타 데이터를 참조하여 상기 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)를 인식할 수 있다.
Alternatively, when the real data is stored in the memory unit 185 or received through a communication unit, and the meta data for determining the location of the real object is included (or linked) in the real data, the real object recognition unit The reference unit 135 may recognize a real object (or a virtual object display position) to output the virtual object data with reference to metadata included in (or linked to) the real data.

상기 가상객체 결정부(140)는 상기 실제현실 데이터로부터 검출된 실제객체에 표시할 가상객체 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 실제객체에 표시할 가상객체 데이터가 어느 하나의 가상객체 데이터로 고정되는 경우, 상기 가상객체 결정부(140)는 상기 고정된 상기 실제객체 인식부(135)를 통해 인식된 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.
The virtual object determiner 140 determines the virtual object data to be displayed on the real object detected from the real data. If the virtual object data to be displayed on the real object on the real data is fixed to any one of the virtual object data, the virtual object determiner 140 is recognized through the fixed real object recognizer 135. You can decide the virtual object data to be displayed on the real object.

본 발명의 일 실시 방법에 따르면, 상기 실제객체가 마커를 통해 인식된 경우, 상기 가상객체 결정부(140)는 상기 마커 모양/형태/색상/구조를 판독하여 상기 실제객체에 표시할 가상객체 데이터를 결정할 수 있다. 만약 상기 마커에 상기 가상객체 데이터를 결정하기 위한 정보가 부호화되어 포함된 경우, 상기 가상객체 결정부(140)는 상기 실제객체 인식부(135)를 통해 인식된 마커에 포함된 부호화 정보를 인식 및 판독하여 상기 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.
According to the exemplary embodiment of the present invention, when the real object is recognized through a marker, the virtual object determiner 140 reads the marker shape / shape / color / structure to display the virtual object data on the real object. Can be determined. If the marker includes information for determining the virtual object data, the virtual object determiner 140 recognizes and encodes the encoded information included in the marker recognized by the real object recognizer 135. The virtual object data to be read and displayed on the real object may be determined.

본 발명의 다른 일 실시 방법에 따르면, 상기 가상객체 결정부(140)는 상기 실제객체 인식부(135)를 통해 인식된 실제객체의 모양/형태/색상/구조를 판독하여 상기 실제객체에 표시할 가상객체 데이터를 결정할 수 있다. 또는 상기 실제현실 데이터에 상기 가상객체 데이터를 결정하기 위한 별도의 표시가 포함된 경우, 상기 표시를 판독하여 상기 실제객체 인식부(135)를 통해 인식된 실제객체에 표시할 가상객체 데이터를 결정할 수 있다.
According to another exemplary embodiment of the present invention, the virtual object determiner 140 reads the shape / shape / color / structure of the real object recognized by the real object recognizer 135 and displays it on the real object. Virtual object data can be determined. Alternatively, when the actual reality data includes a separate display for determining the virtual object data, the display may be read to determine the virtual object data to be displayed on the real object recognized by the real object recognition unit 135. have.

한편, 상기 실제현실 데이터가 메모리부(185)에 저장되어 있거나 또는 통신부를 통해 수신되고 상기 실제현실 데이터에 상기 실제객체 인식부(135)를 통해 인식된 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정하는 메타 데이터가 포함(또는 링크)된 경우, 상기 가상객체 결정부(140)는 상기 메타 데이터를 참조하여 상기 실제객체(또는 가상객체 표시 위치)에 표시할 가상객체 데이터를 결정할 수 있다.
Meanwhile, the real data is stored in the memory unit 185 or received through the communication unit and displayed on the real object (or virtual object display position) recognized by the real object recognition unit 135 in the real data. When metadata for determining virtual object data to be included is included (or linked), the virtual object determiner 140 may refer to the metadata to display virtual object data to be displayed on the real object (or virtual object display position). You can decide.

상기 가상객체 입력부(145)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상객체 데이터 중 상기 가상객체 결정부(140)를 통해 결정된 가상객체 데이터를 상기 실제현실 데이터의 실제객체에 표시할 가상객체 데이터로 입력한다.
The virtual object input unit 145 may store the virtual object data determined by the virtual object determiner 140 among the virtual object data stored in the memory, received through a communication network, or generated in real time. Enter the virtual object data to be displayed on the object.

상기 증강현실 표시부(150)는 상기 실제현실 입력부(130)를 통해 입력되는 실제현실 데이터 상의 실제객체(또는 가상객체 표시 위치)에 상기 가상객체 입력부(145)를 통해 입력되는 가상객체 데이터를 표시한 후, 상기 비디오 출력부(105)를 통해 출력한다.
The augmented reality display unit 150 displays the virtual object data input through the virtual object input unit 145 to a real object (or a virtual object display position) on the real data input through the real reality input unit 130. Then, the output through the video output unit 105.

본 발명의 일 실시 방법에 따르면, 상기 증강현실 표시부(150)는 상기 실제현실 데이터 상의 실제객체에 투명영역을 포함하는 가상객체 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 비디오 출력부(105)를 통해 출력할 수 있다.
According to an exemplary embodiment of the present invention, the augmented reality display unit 150 generates augmented reality data by superimposing virtual object data including a transparent area on a real object on the real reality data, and generating the augmented reality data. It may be output through the video output unit 105.

본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 표시부(150)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 실제객체 위치에 대응하는 가상현실 계층에 가상객체 데이터를 출력하여 상기 비디오 출력부(105)를 통해 출력할 수 있다.
According to another exemplary embodiment of the present invention, the augmented reality display unit 150 configures an augmented reality data format including a reality layer and a virtual reality layer, and then stores the reality data in the reality layer of the augmented reality data format. The virtual object data may be output to the virtual reality layer corresponding to the actual object position of the real data and output through the video output unit 105.

본 발명의 또다른 일 실시 방법에 따르면, 상기 비디오 출력부(105)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 표시부(150)는 상기 실제객체 인식부(135)를 통해 결정된 투명 디스플레이 상의 실제객체 위치에 상기 가상객체 데이터만 표시하여 출력할 수 있다.
According to another embodiment of the present invention, when the video output unit 105 includes a transparent display, the augmented reality display unit 150 is a real object on the transparent display determined by the real object recognition unit 135 Only the virtual object data may be displayed and output at the position.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 실제객체 인식부(135)를 통해 상기 입력된 실제현실 데이터에 대한 적어도 하나 이상의 실제객체가 인식된 경우, 상기 출력중인 실제현실 데이터에 대한 줌인 이벤트 발생여부와 줌아웃 이벤트 발생여부를 확인하는 이벤트 확인부(155)와, 상기 출력중인 실제현실 데이터에 줌인 이벤트 발생에 따른 줌인 효과가 적용된 실제현실 데이터 획득(즉, 실제현실 획득수단을 통해 실제현실 데이터를 재 획득)되고, 상기 획득된 실제현실 데이터에 대한 가상객체 데이터를 출력할 실제객체가 인식되면, 상기 인식된 실제객체를 기반으로 오디오객체 데이터 출력이 가능한지 여부를 결정하고, 오디오객체 데이터의 출력이 가능한 경우 오디오객체 데이터를 출력할 대상 실제객체(또는 가상객체 표시 위치)를 결정하는 오디오출력 결정부(160)와, 상기 오디오객체 획득수단을 통해 상기 인식된 실제객체에 대응하여 출력할 오디오객체 데이터를 입력하는 오디오객체 입력부(165)와, 줌인 이벤트가 발생한 경우, 상기 오디오객체 데이터를 상기 오디오 출력부(110)를 통해 출력하고, 줌아웃 이벤트가 발생한 경우, 기 출력중인 오디오객체 데이터가 출력되지 않도록 중지 처리하는 오디오객체 출력부(170)를 구비한다.
Referring to FIG. 1, when at least one real object of the real data inputted through the real object recognition unit 135 is recognized, the augmented reality device 100 is applied to the real data being output. An event checking unit 155 for checking whether a zoom-in event is generated and whether a zoom-out event is generated, and obtaining real reality data to which a zoom-in effect according to a zoom-in event occurs is applied to the real data being output (that is, through a real reality acquisition unit). Re-acquiring real reality data), and if a real object to output virtual object data for the obtained real reality data is recognized, it is determined whether audio object data can be output based on the recognized real object, and an audio object If the data can be output, determine the target object (or virtual object display position) to output the audio object data. An audio output determining unit 160, an audio object input unit 165 for inputting audio object data to be output in correspondence with the recognized real object through the audio object obtaining unit, and the audio object when a zoom-in event occurs. An audio object output unit 170 outputs data through the audio output unit 110 and stops processing of outputting audio object data when a zoom out event occurs.

상기 실제객체 인식부(135)를 통해 상기 입력된 실제현실 데이터에 대한 적어도 하나 이상의 실제객체가 인식된 경우, 상기 이벤트 확인부(155)는 상기 증강현실 장치(100)에 구비된 카메라를 상기 조작부(115)를 통해 조작하여, 줌인을 요청하는 경우를 확인하여 줌인 이벤트가 발생하는지 여부를 확인한다.
When at least one real object with respect to the inputted real data is recognized through the real object recognition unit 135, the event checking unit 155 may operate the camera provided in the augmented reality device 100. Through operation 115, a case where a zoom-in request is requested is checked to determine whether a zoom-in event occurs.

상기 출력중인 실제현실 데이터에 대한 줌인 이벤트 요청이 입력되고, 이에 대응하여 상기 비디오 출력부(105)를 통해 출력중인 실제현실 데이터(또는 상기 실제현실 획득수단을 통해 획득되는 실제현실 데이터)에 대한 가상객체 데이터를 출력할 실제객체가 인식되면, 상기 오디오출력 결정부(160)는 상기 인식된 실제객체에 대응하는 오디오객체 데이터 출력이 가능한지 여부를 결정하고, 오디오객체 데이터 출력이 가능한 경우 오디오객체 데이터를 출력할 대상 실제객체(또는 가상객체 표시 위치)를 결정한다.
An event request for zooming in on the real data being output is input, and corresponding to the virtual reality data (or real data acquired through the real reality acquiring means) being output through the video output unit 105 in response thereto. When the real object to output the object data is recognized, the audio output determiner 160 determines whether audio object data corresponding to the recognized real object is possible or not, and if audio object data can be output, the audio object data is determined. Determines the target real object (or virtual object display position) to output.

여기서, 상기 오디오객체 데이터가 출력되는 상태에서 줌아웃 이벤트 확인 없이, 실제현실 데이터가 변경되어 변경된 실제현실 데이터를 기반으로 확인되는 실제객체(또는 가상객체 표시 위치)가 변경된 경우, 변경된 실제객체에 대한 오디오객체 데이터 출력이 가능한지 여부를 결정하고, 오디오객체 데이터 출력이 가능한 경우, 오디오객체 데이터를 출력할 대상 실제객체(또는 가상객체 표시 위치)를 결정하여, 줌인 이벤트를 발생시키지 않고 오디오객체 데이터가 출력되도록 처리하는 것이 가능하다.
Here, when the real object (or virtual object display position) that is checked based on the changed real reality data is changed without changing the zoom-out event while the audio object data is output, the audio of the changed real object is changed. Determine whether object data output is possible, and if audio object data output is possible, determine a target object (or virtual object display position) to output audio object data so that the audio object data is output without generating a zoom-in event. It is possible to process.

본 발명의 실시 방법에 따르면, 상기 인식된 실제객체에 대한 오디오객체 데이터 출력이 가능한지 여부 확인은, 상기 비디오 출력부(105)를 통해 출력중인 실제현실 데이터(또는 상기 실제현실 획득수단을 통해 획득된 실제현실 데이터)에 대한 가상객체 데이터를 출력할 대상 실제객체(또는 가상객체 표시 위치)가 인식되면, 상기 인식된 실제객체의 수량이 하나의 실제객체인지 여부를 확인하여, 상기 인식된 실제객체(또는 가상객체 표시 위치)에 대한 오디오객체 데이터 출력이 가능한지 여부를 확인하고, 상기 인식된 실제객체(또는 가상객체 표시 위치)를 기반으로 오디오객체 데이터 출력이 가능한 것으로 확인되면, 상기 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보를 확인하여, 오디오객체 데이터를 출력할 대상 실제객체(또는 가상객체 표시 위치)를 결정한다.
According to the exemplary embodiment of the present invention, whether the output of the audio object data for the recognized real object is possible may be obtained through the real data (or the real reality acquiring means) which is being output through the video output unit 105. When the target real object (or virtual object display position) for outputting the virtual object data for the real reality data is recognized, it is determined whether the quantity of the recognized real object is one real object, and the recognized real object ( Or checking whether the audio object data output to the virtual object display position is possible, and if it is determined that the audio object data output is possible based on the recognized real object (or the virtual object display position), the real object (or virtual Check the actual object identification information on the object display position, and output the target object (or It determines the object display position).

만약, 상기 비디오 출력부(105)를 통해 출력중인 실제현실 데이터(또는 상기 실제현실 획득수단을 통해 획득된 실제현실 데이터)에 대한 다수의 실제객체(또는 가상객체 표시 위치)가 인식되는 경우, 상기 인식된 실제객체 중 오디오객체 데이터를 출력할 대상 실제객체(또는 가상객체 표시 위치)를 사용자에게 요청하여 확인된 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보를 확인하여, 오디오객체 데이터를 출력할 대상 실제객체(또는 가상객체 표시 위치)를 결정한다.
If a plurality of real objects (or virtual object display positions) with respect to real data (or real data acquired through the real reality acquiring means) that are being output through the video output unit 105 are recognized, the Audio object data is checked by confirming the actual object identification information of the identified real object (or virtual object display position) by requesting the user for a target real object (or virtual object display position) to output audio object data among the recognized real objects. Determines the target real object (or virtual object display position) to output.

상기 오디오객체 입력부(165)는 상기 메모리부(185) 상에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 오디오객체 데이터 중 상기 오디오출력 결정부(160)를 통해 오디오객체 데이터 출력이 결정된 대상 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별정보를 기반으로 상기 실제현실 데이터에 포함된 실제객체에 대응하여 출력할 오디오객체 데이터로 입력한다.
The audio object input unit 165 may store audio object data output through the audio output determining unit 160 among audio object data stored in the memory unit 185 or received through a communication network or generated in real time. Input as audio object data to be output corresponding to the real object included in the real data based on the real object identification information on the determined target real object (or virtual object display position).

상기 오디오객체 출력부(170)는 상기 오디오객체 입력부(165)를 통해 입력되는 오디오객체 데이터를 상기 오디오 출력부(110)를 통해 출력한다.
The audio object output unit 170 outputs audio object data input through the audio object input unit 165 through the audio output unit 110.

도면2는 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정을 도시한 도면이다.
FIG. 2 is a view illustrating audio data associated with the enlarged specific real object when the virtual object data is output on the real object with respect to the real data being output according to an exemplary embodiment of the present invention, and the specific real object is enlarged by generating a zoom-in event. A diagram illustrating a process of outputting object data.

보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에서 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, in FIG. 2, the virtual object data is output on the real object for the real data being output from the augmented reality device 100 shown in FIG. 1, but the specific real object is enlarged by generating a zoom in event. , Which illustrates a process of outputting audio object data associated with the enlarged specific real object, and a person of ordinary skill in the art to which the present invention pertains may refer to and / or modify FIG. Various implementation methods (e.g., implementation steps in which some steps are omitted or changed in order) may be inferred, but the present invention includes all the implementation methods inferred above, and only the implementation method shown in FIG. The technical features are not limited.

도면2를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 구비된 적어도 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 획득하고(200), 상기 획득된 실제현실 데이터를 기반으로 가상객체 데이터를 출력할 대상 실제객체(또는 가상객체 표시 위치)를 인식한다(205).
Referring to FIG. 2, the augmented reality device 100 illustrated in FIG. 1 acquires real data through at least one real reality acquiring means (200), and virtualizes the data based on the obtained real data. A target real object (or a virtual object display position) to output the object data is recognized (205).

만약, 상기 획득된 실제현실 데이터를 기반으로 가상객체 데이터를 출력할 대상 실제객체(또는 가상객체 표시 위치)가 확인되면(210), 상기 증강현실 장치(100)는 상기 인식된 실제객체(또는 가상객체 표시 위치)가 적어도 두개 이상인지 여부를 확인한다(215).
If the target real object (or virtual object display position) for outputting the virtual object data is identified based on the obtained real reality data (210), the augmented reality device 100 determines the recognized real object (or virtual). It is checked whether the object display position) is at least two or more (215).

만약, 상기 실제현실 획득수단을 통해 획득된 실제현실 데이터를 기반으로 인식된 실제객체(또는 가상객체 표시 위치)가 하나의 실제객체(또는 가상객체 표시 위치)를 포함하는 경우(220), 이하 도면5에 도시된 과정에 따라 처리한다.
If the real object (or virtual object display position) recognized based on the real data acquired through the reality acquisition means includes one real object (or virtual object display position) (220), the following drawings Process according to the procedure shown in 5.

반면, 상기 실제현실 획득수단을 통해 획득된 실제현실 데이터를 기반으로 인식된 실제객체(또는 가상객체 표시 위치)가 적어도 두개 이상의 실제객체(또는 가상객체 표시 위치)를 포함하는 경우(220), 상기 증강현실 장치(100)는 상기 출력중인 실제현실 데이터에 대한 줌인 이벤트 발생여부를 확인한다(225).
On the other hand, if the real object (or virtual object display position) recognized based on the real data acquired through the real reality acquiring means includes at least two or more real objects (or virtual object display positions) (220), The augmented reality device 100 checks whether a zoom-in event occurs with respect to the real data being output (225).

만약, 상기 출력중인 실제현실 데이터에 대한 줌인 이벤트가 발생하면(230), 상기 증강현실 장치(100)는 상기 증강현실 장치(100) 상에 구비된 실제현실 획득수단을 통해 실제현실 데이터를 재 획득하고, 획득된 실제현실 데이터를 기반으로 가상객체 데이터를 출력할 실제객체(또는 가상객체 표시 위치)를 재 인식하여 인식된 실제객체(또는 가상객체 표시 위치)가 하나의 실제객체(또는 가상객체 표시 위치)를 포함하는지 여부를 확인하는 과정을 반복 수행한다.
If a zoom-in event for the output real data is generated (230), the augmented reality device 100 re-acquires the real data through the real reality acquisition means provided on the augmented reality device 100; And recognizing the real object (or virtual object display position) to output the virtual object data based on the obtained real reality data, the recognized real object (or virtual object display position) is represented by one real object (or virtual object display position). Repeat the process of checking whether or not to include the location).

여기서, 상기 실제현실 데이터는 실제현실 획득수단을 통해 재 획득되지 않고, 기 획득된 실제현실 데이터를 줌인 처리하여 상기 증강현실 장치(100)를 통해 출력되는 실제현실 데이터 중 일부인 것이 가능하며, 이에 의해 본 발명이 한정되지 아니한다.
Here, the reality data is not re-acquired through the reality acquisition means, but may be a part of the reality data output through the augmented reality apparatus 100 by zooming-in the previously obtained reality data. The present invention is not limited.

도면3은 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정을 도시한 도면이다.
FIG. 3 shows the virtual object data output on the real object with respect to the real data being output according to the embodiment of the present invention, and when the specific real object is enlarged through the occurrence of a zoom-in event, A diagram illustrating a process of outputting object data.

보다 상세하게 본 도면3은 상기 도면2에 도시된 과정에 따라 증강현실 장치(100)를 통해 출력중인 실제현실 데이터에 대한 줌인 이벤트가 발생된 이후, 상기 줌인 이벤트 발생을 통해 상기 도면1에 도시된 증강현실 장치(100) 상에 출력중인 실제객체에 대한 오디오객체 데이터 출력가능 여부를 확인하여, 오디오객체 데이터를 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, FIG. 3 illustrates the zoom-in event generated after the zoom-in event for the real data being output through the augmented reality device 100 according to the process illustrated in FIG. 2. The process of outputting the audio object data by checking whether the audio object data for the real object being output on the augmented reality device 100 is output, and the person having ordinary skill in the art to which the present invention pertains However, various implementation methods (e.g., some steps may be omitted or the order may be changed) may be inferred by referring to and / or modifying the drawing 3, but the present invention is directed to all implementation methods inferred from the above. It is made, including, and the technical features are not limited only to the implementation method shown in FIG.

도면3을 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 줌인 이벤트 발생을 통해 출력되는 실제객체가 하나의 실제객체인지 여부를 확인한다(300).
Referring to FIG. 3, the augmented reality device 100 illustrated in FIG. 1 checks whether or not a real object output through a zoom-in event is one real object (300).

만약, 상기 줌인 이벤트를 통해 상기 증강현실 장치(100) 상에 출력중인 실제객체가 하나의 실제객체인 경우(305), 상기 증강현실 장치(100)는 줌인 이벤트 발생에 따라 출력중인 실제객체에 대응하는 오디오객체 데이터의 유무를 확인한다(310).
If the real object being output on the augmented reality device 100 through the zoom-in event is one real object (305), the augmented reality device 100 corresponds to the real object being output in accordance with a zoom-in event. The presence or absence of audio object data is checked (310).

만약, 상기 줌인 이벤트가 발생에 따라 출력중인 실제객체에 대응하는 오디오객체 데이터가 존재하는 경우(315), 상기 증강현실 장치(100)는 상기 확인된 실제객체에 대응하는 오디오객체 데이터가 출력되도록 처리한다(320).
If there is audio object data corresponding to the actual object being output as the zoom-in event occurs (315), the augmented reality device 100 processes the audio object data corresponding to the identified real object to be output. (320).

이후, 상기 증강현실 장치(100)에서 오디오객체 데이터가 출력중인 상태에서, 상기 증강현실 장치(100)를 통해 출력중인 실제객체에 대한 줌아웃 이벤트가 발생하는지 여부를 확인한다(325).
Thereafter, in the state in which the audio object data is being output from the augmented reality device 100, it is determined whether a zoom out event for the real object being output through the augmented reality device 100 occurs (325).

만약, 사기 출력중인 오디오객체 데이터에 대한 줌아웃 이벤트가 발생하면(330), 상기 증강현실 장치(100)는 출력중인 오디오객체 데이터가 출력되지 않도록 처리한다(335).
If a zoom-out event for the audio object data being output fraud occurs (330), the augmented reality device 100 processes the output audio object data not to be output (335).

도면4는 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정을 도시한 도면이다.
Figure 4 outputs the virtual object data on the real object for the real data being output in accordance with an embodiment of the present invention, when a specific real object is enlarged by generating a zoom-in event, the audio associated with the enlarged specific real object A diagram illustrating a process of outputting object data.

보다 상세하게 본 도면4는 상기 도면2 및 도면3에 도시된 과정에 따라 증강현실 장치(100)를 통해 출력중인 실제현실 데이터에 대한 줌인 이벤트가 발생되고, 발생된 줌인 이벤트에 대응하여 특정 실제객체에 대한 오디오객체 데이터를 출력하는 상태에서, 출력중인 오디오객체 데이터에 대응하는 실제객체가 변하는 경우에 대한 처리 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, FIG. 4 illustrates a zoom-in event for real data being output through the augmented reality device 100 according to the processes illustrated in FIGS. 2 and 3, and a specific real object corresponding to the generated zoom-in event. This is a process for the case where the actual object corresponding to the audio object data being output is changed in the state of outputting the audio object data for the present invention. By referring to and / or modifying 4, various implementations of the process (e.g., implementations where some steps have been omitted or reordered) may be inferred, but the present invention includes all such implementations inferred. The technical features are not limited only to the implementation method shown in FIG. 4.

도면4를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 상기 도면2 및 도면3에 도시된 과정에 따라 특정 실제객체에 대응하는 오디오객체 데이터가 출력중인 상태에서, 오디오객체 데이터가 출력중인 실제객체의 인식상태를 확인한다(400).
Referring to FIG. 4, the augmented reality apparatus 100 illustrated in FIG. 1 is configured to output audio object data in a state in which audio object data corresponding to a specific real object is being output according to the processes illustrated in FIGS. 2 and 3. Check the recognition status of the actual object being output (400).

여기서, 오디오객체 데이터가 출력중인 실제객체의 인식상태 확인은, 상기 증강현실 장치(100)를 통해 출력중인 실제현실 데이터를 기반으로 확인되는 하나의 특정 실제객체가 인식되어, 인식된 하나의 특정 실제객체에 대응하는 오디오객체 데이터가 출력중인 상태에서, 상기 증강현실 장치(100)를 통해 출력중인 오디오객체 데이터에 대응하는 특정 실제객체가 더 이상 출력되지 않는 상태(즉, 실제객체 식별 정보의 변화)를 확인한다.
Here, the recognition status of the real object outputting the audio object data is one specific real object identified based on the real data output through the augmented reality device 100 is recognized, the recognized one specific real In a state in which audio object data corresponding to an object is being output, a state in which a specific real object corresponding to the audio object data being output through the augmented reality device 100 is no longer output (that is, a change in real object identification information). Check it.

만약, 오디오객체 데이터가 출력중인 실제객체의 인식상태가 변경되어, 출력중인 오디오객체 데이터에 대응하는 실제객체가 아닌 경우(405), 기 출력중인 오디오객체 데이터가 더 이상 출력되지 않도록 처리하고, 상기 증강현실 장치(100)는 출력중인 실제객체가 하나의 실제객체인지 여부를 확인한다(410).
If the recognition state of the real object outputting the audio object data is changed and is not the real object corresponding to the output audio object data (405), the audio object data being output is no longer outputted. The augmented reality device 100 checks whether the real object being output is one real object (410).

만약, 출력중인 실제객체가 하나의 실제객체로 확인되면(415), 상기 증강현실 장치(100)는 상기 확인된 실제객체에 대응하는 오디오객체 데이터 유무를 확인한다(420).
If the real object being output is identified as one real object (415), the augmented reality device 100 checks the presence or absence of audio object data corresponding to the checked real object (420).

만약, 상기 확인된 실제객체에 대응하는 오디오객체 데이터가 확인되면(425), 상기 증강현실 장치(100)는 상기 확인된 실제객체에 대응하는 오디오객체 데이터가 출력되도록 처리한다(430).
If the audio object data corresponding to the checked real object is confirmed (425), the augmented reality device 100 processes the audio object data corresponding to the checked real object to be output (430).

도면5는 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정을 도시한 도면이다.
Figure 5 outputs virtual object data on a real object with respect to the real data being output according to an embodiment of the present invention, when a specific real object is enlarged by generating a zoom-in event, the audio associated with the enlarged specific real object A diagram illustrating a process of outputting object data.

보다 상세하게 본 도면5는 상기 도면2에 도시된 과정에 따라 증강현실 장치(100)를 통해 출력중인 실제현실 데이터 상에 포함된 실제객체가 하나인 경우, 출력중인 실제현실 데이터에 대한 줌인 이벤트 발생에 따라 오디오객체 데이터를 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, in FIG. 5, when there is one real object included in the real data being output through the augmented reality device 100 according to the process illustrated in FIG. 2, a zoom-in event occurs for the real data being output. According to the present invention, a process of outputting audio object data according to the present invention will be described by those of ordinary skill in the art to which the present invention pertains. Steps may be omitted, or the order of implementation may be changed), but the present invention includes all the implementation methods inferred, and the technical features are not limited to the implementation method shown in FIG. .

도면5를 참조하면, 상기 도면1에 도시된 증강현실 장치(100)는 인식된 실제객체에 대한 줌인 이벤트 발생여부를 확인한다(500).
Referring to FIG. 5, the augmented reality device 100 illustrated in FIG. 1 checks whether a zoom-in event occurs for a recognized real object (500).

만약, 상기 출력중인 실제현실 데이터에 대한 줌인 이벤트가 발생한 경우(505), 상기 증강현실 장치(100)는 줌인 이벤트가 발생한 대상 실제객체에 대응하는 오디오객체 데이터 유무를 확인한다(510).
If a zoom in event occurs for the output real reality data (505), the augmented reality device 100 checks whether there is audio object data corresponding to the target real object in which the zoom in event occurred (510).

여기서, 줌인 이벤트 발생에 따라 줌인을 통해 출력중인 실제현실 데이터에 대한 실제객체가 인식상태인 것을 전제로 하며, 실제객체가 인식 상태지 여부를 확인하는 과정이 더 포함되는 것이 가능하다.
In this case, it is assumed that the actual object for the real data being output through the zoom-in according to the occurrence of the zoom-in event is in a recognized state, and the process may further include checking whether the real object is in the recognized state.

만약, 줌인 이벤트를 통해 출력중인 실제객체에 대응하는 오디오객체가 존재하는 경우(515), 상기 증강현실 장치(100)는 실제객체에 대응하는 오디오객체 데이터가 출력되도록 처리한다(520).
If there is an audio object corresponding to the real object being output through the zoom-in event (515), the augmented reality device 100 processes the audio object data corresponding to the real object to be output (520).

이후, 상기 증강현실 장치(100)는 오디오객체 데이터가 출력중인 실제객체에 대한 줌아웃 이벤트의 발생여부를 확인한다(525).
Thereafter, the augmented reality device 100 checks whether a zoom out event has occurred for a real object from which audio object data is being output (525).

만약, 상기 출력중인 오디오객체 데이터에 대응하는 실제객체에 대한 줌아웃 이벤트가 발생하는 경우(530), 상기 증강현실 장치(100)는 기 출력중인 오디오객체 데이터가 출력되지 않도록 처리한다(535).
If a zoom out event for a real object corresponding to the output audio object data occurs (530), the augmented reality device 100 processes the audio object data that is being output beforehand (535).

반면, 상기 출력중인 오디오객체 데이터에 대응하는 실제객체에 대한 줌아웃 이벤트가 발생하지 않는 경우(530), 상기 증강현실 장치(100)는 출력중인 오디오객체 데이터에 데응하는 실제객체의 인식상태를 확인한다(540).
On the other hand, when the zoom-out event for the real object corresponding to the output audio object data does not occur (530), the augmented reality device 100 checks the recognition state of the real object corresponding to the output audio object data. (540).

만약, 출력중인 오디오객체 데이터에 대응하는 실제객체가 인식중이 아닌 경우(545), 상기 증강현실 장치(100)는 출력중인 오디오객체 데이터가 출력되지 않도록 처리한다(550).
If the real object corresponding to the output audio object data is not recognized (545), the augmented reality device 100 processes the output audio object data not to be output (550).

도면6은 본 발명의 실시 방법에 따라 출력중인 실제현실 데이터에 대한 실제객체 상에 가상객체 데이터를 출력하되, 줌인 이벤트 발생을 통해 특정 실제객체를 확대하는 경우, 상기 확대된 특정 실제객체와 연관된 오디오객체 데이터를 출력하는 과정에 대한 예시를 도시한 도면이다.
6 illustrates outputting virtual object data on real objects with respect to real data being output according to an embodiment of the present invention, and when a specific real object is enlarged by generating a zoom-in event, audio associated with the enlarged specific real object An example of a process of outputting object data is shown.

보다 상세하게 본 도면6은 상기 도면2 내지 도면5에 도시된 과정에 따라 증강현실 장치(100)를 통해 출력중인 실제현실 데이터에 대한 줌인 이벤트가 발생되고, 상기 줌인 이벤트 발생을 통해 출력중인 실제현실 데이터 상에 포함된 실제객체(또는 가상객체 표시 위치)가 하나의 실제객체(또는 가상객체 표시 위치)인 경우, 상기 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터를 출력하는 예시를 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, in FIG. 6, a zoom-in event is generated for real data that is being output through the augmented reality device 100 according to the processes illustrated in FIGS. 2 to 5, and the real reality is being output through the generation of the zoom-in event. If the real object (or virtual object display position) included in the data is one real object (or virtual object display position), an example of outputting audio object data corresponding to the real object (or virtual object display position) will be described. As illustrated, those of ordinary skill in the art to which the present invention pertains may refer to and / or modify this drawing 6 to implement various methods (e.g., some steps may be omitted or the order may be changed). Method) may be inferred, but the present invention includes all the implementation methods inferred, and only the implementation method shown in FIG. The technical features are not limited.

도면6을 참조하면, 증강현실 장치(100)를 통해 획득되는 실제현실 데이터 상에는 총 3개의 실제객체(또는 가상객체 표시 위치)를 포함하며, 상기 실제현실 데이터에 대한 줌인 이벤트가 발생되어, 상기 증강현실 장치(100)를 통해 출력중인 실제현실 데이터 상에 하나의 Building B라는 실제객체(또는 가상객체 표시 위치)가 존재하게 될 경우, 상기 Building B 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터가 출력된다.
Referring to FIG. 6, a total of three real objects (or virtual object display positions) are included on the real data acquired through the augmented reality device 100, and a zoom-in event for the real data is generated. When a real object called building B (or a virtual object display position) exists on the real data output through the reality device 100, audio corresponding to the building B real object (or virtual object display position) The object data is output.

여기서, 줌인 이벤트를 통해 출력중인 실제현실 데이터 상에 하나의 실제객체(또는 가상객체 표시 위치)가 출력된 상태에서 상기 증강현실 장치(100)의 방향을 전환하여, Building A 또는 Building C 실제객체(또는 가상객체 표시 위치)가 출력되는 경우, 별도의 줌인 이벤트 확인과정 없이 Building A 또는 Building C 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터가 출력되는 것이 가능하다.
Here, the direction of the augmented reality device 100 is switched in a state in which one real object (or a virtual object display position) is output on the real data being output through the zoom-in event, and the building A or building C real object ( Alternatively, when the virtual object display position) is output, audio object data corresponding to a Building A or Building C real object (or a virtual object display position) may be output without a separate zoom-in event checking process.

100 : 증강현실 장치
105 : 비디오 출력부
110 : 오디오 출력부
115 : 조작부
120 : 통신부
125 : 제어부
130 : 실제현실 입력부
135 : 실제객체 인식부
140 : 가상객체 결정부
145 : 가상객체 입력부
150 : 증강현실 표시부
155 : 이벤트 확인부
160 : 오디오출력 결정부
165 : 오디오객체 입력부
170 : 오디오객체 출력부
175 : 센서부
180 : 카메라부
185 : 메모리부100: augmented reality device
105: video output
110: audio output
115: control panel
120: communication unit
125: control unit
130: real reality input unit
135: real object recognition unit
140: virtual object determination unit
145: virtual object input unit
150: augmented reality display unit
155: event confirmation unit
160: audio output determination unit
165: audio object input unit
170: audio object output unit
175: sensor unit
180: camera unit
185: memory section

Claims (5)

증강현실 장치에서 실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하는 단계;
증강현실 장치에서 실제현실 데이터를 판독하여 인식된 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 출력중인 상태에서, 줌인 이벤트의 발생 여부를 확인하는 단계;
줌인 이벤트가 발생된 것으로 확인되면, 증강현실 장치에서 출력중인 실제현실 데이터 상에 하나의 실제객체(또는 가상객체 표시 위치)를 포함하는지 여부를 확인하는 단계;
하나의 실제객체(또는 가상객체 표시 위치)를 포함하는 경우, 증강현실 장치에서 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보에 대응하는 오디오객체 데이터가 존재하는지 여부를 확인하는 단계;
오디오객체 데이터가 존재하는 경우, 증강현실 장치에서 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터가 출력되도록 처리하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 줌인 이벤트를 이용한 오디오객체 운용방법.
Acquiring the actual reality data through the reality acquisition means in the augmented reality device, and reading the obtained reality data to recognize a real object (or a virtual object display position);
Determining whether a zoom-in event occurs while reading virtual reality data from the augmented reality device and outputting virtual object data on a recognized real object (or virtual object display position);
If it is determined that a zoom-in event is generated, checking whether the augmented reality device includes one real object (or a virtual object display position) on the real data outputted from the augmented reality device;
When including one real object (or virtual object display position), the augmented reality device checks whether there is audio object data corresponding to real object identification information about the one real object (or virtual object display position) Making;
And processing the audio object data corresponding to the one real object (or a virtual object display position) in the augmented reality device when the audio object data exists. How to operate the object.
제 1항에 있어서,
상기 하나의 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터가 출력중인 상태에서 줌아웃 이벤트가 발생되면, 증강현실 장치에서 상기 출력중인 오디오객체 데이터가 더 이상 출력되지 않도록 처리하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 줌인 이벤트를 이용한 오디오객체 운용방법.
The method of claim 1,
If the zoom-out event occurs while the audio object data corresponding to the one real object (or the virtual object display position) is being output, processing the audio object data being output by the augmented reality device to no longer be output; An audio object operating method using a zoom-in event characterized in that it comprises a.
제 1항에 있어서,
상기 하나의 실제객체(또는 가상객체 표시 위치)에 대응하는 오디오객체 데이터가 출력중인 상태에서 증강현실 장치를 통해 출력중인 오디오객체 데이터에 대응하는 실제객체 식별정보가 변경되면, 증강현실 장치에서 기 출력중인 오디오객체 데이터가 더 이상 출력되지 않도록 처리하고, 출력중인 실제현실 데이터에 포함된 실제객체(또는 가상객체 표시 위치)가 하나의 실제객체(또는 가상객체 표시 위치)인지 여부를 확인하는 단계;
상기 확인결과 하나의 실제객체(또는 가상객체 표시 위치)가 출력중인 경우, 상기 출력중인 하나의 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보를 확인하고, 상기 확인된 실제객체 식별 정보에 대응하는 오디오객체 데이터가 출력되도록 처리하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 줌인 이벤트를 이용한 오디오객체 운용방법.
The method of claim 1,
When the real object identification information corresponding to the audio object data output through the augmented reality device is changed while the audio object data corresponding to the one real object (or the virtual object display position) is being output, the augmented reality device outputs the preliminary output. Processing the audio object data being outputted to no longer be output and checking whether the real object (or virtual object display position) included in the output real reality data is one real object (or virtual object display position);
When one real object (or virtual object display position) is outputted as a result of the checking, the real object identification information of the one real object (or virtual object display position) being output is checked, and the identified real object identification information is checked. Processing to output audio object data corresponding to the audio object operating method using a zoom-in event.
제 1항 내지 제 3항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체.
A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 1 to 3.
실제현실 획득수단을 통해 실제현실 데이터를 획득하고, 상기 획득된 실제현실 데이터를 판독하여 실제객체(또는 가상객체 표시 위치)를 인식하고, 인식된 실제객체(또는 가상객체 표시 위치)에 대한 가상객체 데이터를 출력중인 상태에서, 줌인 이벤트의 발생 여부를 확인하는 이벤트 확인부;
상기 확인결과, 줌인 이벤트가 발생된 것으로 확인되면, 증강현실 장치에서 출력중인 실제현실 데이터 상에 하나의 실제객체(또는 가상객체 표시 위치)를 포함하는지 여부를 확인하고, 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보에 대응하는 오디오객체 데이터가 존재하는지 여부를 확인하는 오디오출력 결정부;
상기 확인결과, 오디오객체 데이터가 존재하는 경우, 상기 하나의 실제객체(또는 가상객체 표시 위치)에 대한 실제객체 식별 정보를 기반으로 오디오객체 데이터가 입력되도록 처리하는 오디오객체 입력부; 및
상기 입력된 오디오객체 데이터가 출력되도록 처리하는 오디오객체 출력부;를 구비하여 이루어지는 것을 특징으로 하는 줌인 이벤트를 이용한 오디오객체 데이터를 출력하는 증강현실 장치.Acquire real reality data through the real reality acquisition means, recognize the real object (or virtual object display position) by reading the obtained real reality data, and virtual object for the recognized real object (or virtual object display position) An event checking unit for checking whether a zoom-in event has occurred while outputting data;
As a result of the checking, when it is confirmed that the zoom-in event is generated, it is determined whether one real object (or a virtual object display position) is included in the real data output from the augmented reality device, and the one real object (or An audio output determiner for checking whether there is audio object data corresponding to real object identification information for the virtual object display position);
An audio object input unit configured to process audio object data to be input based on real object identification information of the one real object (or a virtual object display position) when audio object data exists; And
And an audio object output unit configured to process the input audio object data to be output. 2.
KR1020100069725A 2010-07-19 2010-07-19 Method for Operating Audio-Object by using Augmented Reality KR101705122B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100069725A KR101705122B1 (en) 2010-07-19 2010-07-19 Method for Operating Audio-Object by using Augmented Reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100069725A KR101705122B1 (en) 2010-07-19 2010-07-19 Method for Operating Audio-Object by using Augmented Reality

Publications (2)

Publication Number Publication Date
KR20120009637A true KR20120009637A (en) 2012-02-02
KR101705122B1 KR101705122B1 (en) 2017-02-23

Family

ID=45834407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100069725A KR101705122B1 (en) 2010-07-19 2010-07-19 Method for Operating Audio-Object by using Augmented Reality

Country Status (1)

Country Link
KR (1) KR101705122B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170142747A (en) * 2016-06-20 2017-12-28 서울과학기술대학교 산학협력단 Method for providing immersive audio with linked to portable terminal in personal broadcasting

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009147768A (en) * 2007-12-17 2009-07-02 Hitachi Ltd Video-audio recording apparatus, and video-audio reproducing apparatus
KR20090100436A (en) * 2007-01-05 2009-09-23 또딸 이메르지옹 Method and device for the real time imbedding of virtual objects in an image stream using data from a real scene represented by said images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090100436A (en) * 2007-01-05 2009-09-23 또딸 이메르지옹 Method and device for the real time imbedding of virtual objects in an image stream using data from a real scene represented by said images
JP2009147768A (en) * 2007-12-17 2009-07-02 Hitachi Ltd Video-audio recording apparatus, and video-audio reproducing apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170142747A (en) * 2016-06-20 2017-12-28 서울과학기술대학교 산학협력단 Method for providing immersive audio with linked to portable terminal in personal broadcasting

Also Published As

Publication number Publication date
KR101705122B1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
US10122888B2 (en) Information processing system, terminal device and method of controlling display of secure data using augmented reality
KR101797260B1 (en) Information processing apparatus, information processing system and information processing method
CN110442245A (en) Display methods, device, terminal device and storage medium based on physical keyboard
CN104364800A (en) Facilitating analysis and interpretation of associated visible light and infrared (IR) image information
CN106713696A (en) Image processing method and device
KR101619512B1 (en) Method for Interchanging between Augmented Reality Device
CN109413399A (en) Use the devices and methods therefor of depth map synthetic object
KR20110136038A (en) System for tracking augmented reality device using several sensor
KR20120009638A (en) Method for Managing Virtual-Object Data about Non-Recognition Reality-Object, Augmented Reality Device and Recording Medium
KR101638630B1 (en) Method for Optimizing a Augmented Reality Data
KR101692764B1 (en) Method for Providing Augmented Reality by using Virtual Point
KR20120009639A (en) Method for Managing Selectable Virtual-Object Data using User's Order, Augmented Reality Device and Recording Medium
KR20120026711A (en) Method for outputting audio-object, augmented reality device
KR20110136035A (en) Adaptive augmented reality device to real world
KR20120009637A (en) Method for Managing Audio-Object using Zoom-In Event, Augmented Reality Device and Recording Medium
KR20110136040A (en) Terminal with augmented reality based on customer's eye
JP6708384B2 (en) Output control device, output control method, setting device, setting method, and program
CN106055108B (en) Virtual touch screen control method and system
KR101680124B1 (en) Method for Transferring Augmented Reality between Different Platform
KR101803532B1 (en) Method Controlling Quality of Augmented Reality
KR20170086005A (en) Method for Providing Augmented Reality by using Distance Difference
KR20180130095A (en) Method for Displaying Selectable Virtual-Object Data of Augmented Reality
KR20170143476A (en) Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order
KR20170052553A (en) Method for Displaying Selectable Virtual-Object Data of Augmented Reality by using User's Order
KR102117510B1 (en) Method for Displaying Selectable Virtual-Object Data of Augmented Reality

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 4