KR102474528B1

KR102474528B1 - Apparatus and Method for Outputting a Realistic Augmented Reality Image

Info

Publication number: KR102474528B1
Application number: KR1020200037216A
Authority: KR
Inventors: 이광훈; 한부전; 추정훈
Original assignee: 한국광기술원
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2022-12-06
Also published as: KR20210120470A

Abstract

현실감 있는 증강현실 영상을 출력하는 장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 증강현실 영상을 출력하는 영상 출력부와 상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부와 상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부 및 출력될 증강현실 영상과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치를 제공한다.An apparatus and method for outputting a realistic augmented reality image are disclosed.
According to an aspect of the present embodiment, an image output unit that outputs an augmented reality image, a mirror unit that reflects an augmented reality image output from the image output unit to the wearer's eyeball, and transmits light incident from the outside, and the mirror unit Arranged on one side, the adjustment unit for adjusting the transmittance of some or all of the light incident on the mirror unit from the outside and the augmented reality image to be output and the object existing outside in the direction of the augmented reality image to be output Check whether the overlap, It provides an augmented reality image output device comprising a control unit for controlling the adjustment unit or the image output unit according to the confirmation result.

Description

Apparatus and Method for Outputting a Realistic Augmented Reality Image}

본 발명은 현실감 있는 증강현실 영상을 출력하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for outputting a realistic augmented reality image.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this part merely provide background information on the present embodiment and do not constitute prior art.

증강현실(Augmented Reality)이란, 실제 환경에 3차원 영상을 삽입하여 현실 세계 정보와 가상의 영상을 혼합한 것을 의미한다.Augmented Reality means mixing real world information and virtual images by inserting a three-dimensional image into a real environment.

현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고, 때로는 사용자가 필요로 하는 정보가 부족할 수도 있다. 그러나 증강현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자에게 현실 세계와 필요한 정보의 상호 작용이 이루어지도록 하는 것이다.Real-world information includes information that users do not need, and sometimes information that users need may be lacking. However, by combining the real world and the virtual world, the augmented reality system allows users to interact with the real world and necessary information in real time.

종래의 증강현실 영상 출력장치는 증강현실 영상을 출력함에 있어 착용자의 시각에서 보이는 실제 물체들과의 원근과는 무관하게 일정한 영상을 출력한다. 즉, 종래의 증강현실 영상 출력장치는 착용자의 안구를 기준으로 출력될 증강현실 영상으로부터 가까이에 위치하고 있는 물체와의 관계 및 출력될 영상으로부터 멀리 위치하고 있는 물체와의 관계를 고려하지 않은 채, 일정하게 영상을 출력한다. 이러한 사정에 의해, 착용자는 단지 현실 세계 정보와 증강현실 영상 정보를 함께 시청하는 정도만을 느낄 수 있을 뿐, 증강현실 영상이 현실 세계에 반영된 것과 같은 현실감을 느끼지는 못하게 되는 문제점이 있다.When outputting an augmented reality image, a conventional augmented reality image output device outputs a constant image regardless of the perspective of real objects seen from the wearer's point of view. That is, the conventional augmented reality image output device does not consider the relationship with an object located close to the augmented reality image to be output based on the wearer's eyeball and the relationship with an object located far from the image to be output. output the video Due to these circumstances, there is a problem in that the wearer can only feel the degree of viewing the real world information and the augmented reality image information together, but cannot feel the sense of reality as the augmented reality image is reflected in the real world.

본 발명의 일 실시예는, 출력될 공간에 배치된 물체들과 증강현실 영상의 중첩여부를 고려하여, 출력할 증강현실 영상이나 입사하는 광량을 조절함으로써 현실감을 향상시킨 증강현실 영상 출력장치 및 방법을 제공하는 데 일 목적이 있다.An embodiment of the present invention is an augmented reality image output device and method that improves a sense of reality by adjusting the amount of an augmented reality image to be output or the amount of incident light in consideration of whether objects arranged in a space to be output and whether the augmented reality image overlaps with each other. It has one purpose to provide.

본 발명의 일 측면에 의하면, 증강현실 영상을 출력하는 영상 출력부와 상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부와 상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부 및 출력될 증강현실 영상과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치를 제공한다.According to one aspect of the present invention, an image output unit that outputs an augmented reality image, a mirror unit that reflects an augmented reality image output from the image output unit to the wearer's eyeball, and transmits light incident from the outside, and the mirror unit Arranged on one side, the adjustment unit for adjusting the transmittance of some or all of the light incident on the mirror unit from the outside and the augmented reality image to be output and the object existing outside in the direction of the augmented reality image to be output Check whether the overlap, It provides an augmented reality image output device comprising a control unit for controlling the adjustment unit or the image output unit according to the confirmation result.

본 발명의 일 측면에 의하면, 상기 조정부는 외부로부터 상기 미러부로 광이 입사되는 방향을 기준으로 상기 미러부의 전방에 배치되는 것을 특징으로 한다.According to one aspect of the present invention, the adjustment unit is characterized in that it is disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit.

본 발명의 일 측면에 의하면, 상기 미러부는 하프 미러인 것을 특징으로 한다.According to one aspect of the present invention, the mirror unit is characterized in that a half mirror.

본 발명의 일 측면에 의하면, 상기 영상 출력부가 출력할 수 있는 증강현실 영상의 총 면적은 광이 외부로부터 상기 미러부로 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image that can be output by the image output unit is equal to or proportional to the area where light is incident to the mirror unit from the outside.

본 발명의 일 측면에 의하면, 증강현실 영상을 출력하는 출력과정과 상기 출력과정에서 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정과 외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체를 확인하는 확인과정 및 상기 확인과정의 확인결과에 따라 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정을 포함하는 것을 특징으로 하는 증강현실 영상 출력방법을 제공한다.According to one aspect of the present invention, an output process of outputting an augmented reality image, a generation process of reflecting the augmented reality image output in the output process to the wearer's eyeball, and transmitting light incident from the outside, and The adjustment process of adjusting some or all of the transmittance, the confirmation process of confirming an object existing outside in the direction of the augmented reality image to be output, and the transmittance adjusted in the adjustment process or the output process according to the confirmation result of the confirmation process. It provides an augmented reality image output method comprising a control process for controlling the output augmented reality image.

본 발명의 일 측면에 의하면, 상기 생성과정은 미러부에 의해 동작되는 것을 특징으로 한다.According to one aspect of the present invention, the generating process is characterized in that it is operated by a mirror unit.

본 발명의 일 측면에 의하면, 상기 출력과정에서 출력되는 증강현실 영상의 총 면적은 광이 외부로부터 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image output in the output process is equal to or proportional to the area into which light is incident from the outside.

본 발명의 일 측면에 의하면, 착용자의 시선을 센싱하는 센서부와 증강현실 영상을 출력하는 영상 출력부와 상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부와 상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부와 상기 증강현실 영상이 출력될 공간 내 존재하는 물체의 특성을 저장하는 메모리부 및 상기 센서부가 센싱한 결과를 토대로, 착용자의 시야 내 존재하는 물체의 특성을 상기 메모리부로부터 추출하고, 추출된 물체의 특성을 토대로 출력될 증강현실 영상과 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치를 제공한다.According to one aspect of the present invention, a sensor unit for sensing a wearer's gaze, an image output unit for outputting an augmented reality image, and an augmented reality image output from the image output unit are reflected to the wearer's eyeballs, and light incident from the outside is reflected. A mirror unit for transmission, an adjustment unit disposed on one side of the mirror unit for adjusting the transmittance of some or all of light incident from the outside to the mirror unit, and a memory for storing characteristics of an object existing in a space where the augmented reality image is to be output. Based on the sensing result of the unit and the sensor unit, the characteristics of an object existing in the wearer's field of view are extracted from the memory unit, and the augmented reality image to be output based on the extracted characteristics of the object is matched with the object existing in the wearer's field of view. It provides an augmented reality image output device comprising a control unit for checking overlapping and controlling the adjustment unit or the video output unit according to the confirmation result.

본 발명의 일 측면에 의하면, 착용자의 시선을 센싱하는 센싱과정과 증강현실 영상을 출력하는 출력과정과 상기 출력과정에서 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정과 외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정과 상기 센싱과정에서 센싱된 결과를 토대로, 착용자의 시야 내 존재하는 물체의 특성을 추출하는 추출과정과 상기 추출과정으로부터 추출된 물체의 특성을 토대로 출력될 증강현실 영상과 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하는 확인과정 및 상기 확인과정의 확인결과에 따라 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정을 포함하는 것을 특징으로 하는 증강현실 영상 출력방법을 제공한다.According to one aspect of the present invention, a sensing process for sensing the wearer's gaze, an output process for outputting an augmented reality image, and an augmented reality image output during the output process are reflected to the wearer's eyeball, while light incident from the outside is transmitted. An extraction process of extracting the characteristics of an object existing in the wearer's field of view based on the result of the generating process, the adjustment process of adjusting the transmittance of some or all of the light incident from the outside, and the sensing process, and extraction from the extraction process A confirmation process of checking whether the augmented reality image to be output overlaps with an object existing in the wearer's field of view based on the characteristics of the displayed object, and the transmittance adjusted in the adjustment process according to the confirmation result of the confirmation process or the output in the output process. It provides an augmented reality image output method comprising a control process for controlling the augmented reality image to be.

이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 출력될 공간에 배치된 물체들과 증강현실 영상의 중첩여부를 고려하여, 출력할 증강현실 영상이나 입사하는 광량을 조절하기 때문에, 출력되는 증강현실 영상의 현실감을 향상시킬 수 있는 장점이 있다.As described above, according to one aspect of the present invention, since the augmented reality image to be output or the amount of incident light is adjusted in consideration of whether the augmented reality image overlaps with the objects arranged in the space to be output, the augmented reality image to be output is adjusted. It has the advantage of improving the realism of real images.

도 1은 본 발명의 일 실시예에 따른 다초점 광학계를 포함한 증강현실 영상 출력 장치의 실시예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 영상 출력장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 광학계의 구성도이다.
도 4 내지 6은 본 발명의 일 실시예에 따라 출력되는 증강현실 영상과 현실 세계의 물체와의 관계를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 광학계로부터 증강현실 영상이 출력되는 방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 증강현실 영상 출력장치가 증강현실 영상을 출력하는 방법을 도시한 순서도이다.1 is a diagram showing an embodiment of an augmented reality image output device including a multifocal optical system according to an embodiment of the present invention.
2 is a configuration diagram of an augmented reality image output device according to an embodiment of the present invention.
3 is a configuration diagram of an optical system according to an embodiment of the present invention.
4 to 6 are diagrams illustrating the relationship between an augmented reality image output according to an embodiment of the present invention and an object in the real world.
7 is a flowchart illustrating a method of outputting an augmented reality image from an optical system according to an embodiment of the present invention.
8 is a flowchart illustrating a method of outputting an augmented reality image by an augmented reality image output device according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and technical scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no intervening element exists.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. It should be understood that terms such as "include" or "having" in this application do not exclude in advance the possibility of existence or addition of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification. .

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't

또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.In addition, each configuration, process, process or method included in each embodiment of the present invention may be shared within a range that does not contradict each other technically.

도 1은 본 발명의 일 실시예에 따른 다초점 광학계를 포함한 증강현실 영상 출력 장치의 실시예를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 증강현실 영상 출력장치의 구성도이다.1 is a diagram showing an embodiment of an augmented reality image output device including a multifocal optical system according to an embodiment of the present invention, and FIG. 2 is a configuration diagram of an augmented reality image output device according to an embodiment of the present invention. .

도 1 및 도 2를 참조하면, 증강현실 영상 출력 장치(100)는 통신부(210), 메모리부(220), 제어부(230), 영상 출력부(240), 광학계(250), 센서부(260) 및 전원부(270)를 포함한다.1 and 2, the augmented reality image output device 100 includes a communication unit 210, a memory unit 220, a control unit 230, an image output unit 240, an optical system 250, a sensor unit 260 ) and a power supply unit 270.

통신부(210)는 외부로부터 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성 정보 및 출력하고자 하는 증강현실 영상의 특성 정보를 수신한다.The communication unit 210 receives from the outside the characteristic information of objects existing in the real space where the wearer exists and the characteristic information of the augmented reality image to be output.

통신부(210)는 유·무선 통신을 이용하여 외부로부터 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성 정보를 수신한다. 통신부(210)는 특정 공간의 물체의 특성을 측정하는 장치, 예를 들어, 뎁스(Depth) 카메라, TOF(Time of Flight) 카메라 또는 스테레오 카메라 등으로부터 수신한다. 여기서, 물체의 특성은 물체가 특정 공간 내에서 위치한 절대좌표 및 물체의 면적이나 부피 등을 포함한다. 통신부(210)는 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성을 외부의 장치로부터 수신한다.The communication unit 210 receives characteristic information of objects existing in the real space where the wearer exists from the outside using wired/wireless communication. The communication unit 210 receives information from a device that measures the characteristics of an object in a specific space, for example, a depth camera, a time of flight (TOF) camera, or a stereo camera. Here, the characteristics of the object include absolute coordinates where the object is located in a specific space and the area or volume of the object. The communication unit 210 receives characteristics of objects existing in the real space where the wearer exists from an external device.

통신부(210)는 유·무선 통신을 이용하여 외부로부터 출력하고자 하는 증강현실 영상의 특성정보를 수신한다. 마찬가지로, 증강현실 영상의 특성정보는 출력하고자 하는 증강현실 영상의 내용, 출력할 절대좌표 및 증강현실 영상의 면적이나 부피 등을 포함한다. 통신부(210)는 증강현실 영상의 특성정보를 외부로부터 수신함으로써, 영상 출력부(240)가 증강현실 영상을 출력할 수 있도록 한다.The communication unit 210 receives characteristic information of an augmented reality image to be output from the outside using wired/wireless communication. Similarly, the characteristic information of the augmented reality image includes the content of the augmented reality image to be output, absolute coordinates to be output, and the area or volume of the augmented reality image. The communication unit 210 enables the image output unit 240 to output the augmented reality image by receiving characteristic information of the augmented reality image from the outside.

통신부(210)는 유·무선 통신을 이용하여 착용자로부터 영상 또는 광의 광량의 설정에 관한 제어신호를 수신할 수 있다. 후술하는 바와 같이, 물체와 출력될 증강현실 영상에 중첩이 발생하는 경우, 중첩이 발생한 영역만큼 물체나 영상에서 광량의 저하가 발생한다. 이때, 착용자는 광량의 저하 정도를 원하는 대로 설정할 수 있으며, 광량의 설정에 관한 제어신호를 통신부(210)로 별도의 단말을 이용하여 전송할 수 있다. 통신부(210)는 광량의 설정에 관한 제어신호를 수신하여 제어부(230)로 전달한다.The communication unit 210 may receive a control signal related to setting the amount of image or light from the wearer using wired/wireless communication. As will be described later, when overlapping occurs between an object and an augmented reality image to be output, a decrease in the amount of light in the object or image occurs as much as the area where the overlap occurs. At this time, the wearer can set the degree of decrease in the amount of light as desired, and can transmit a control signal related to the setting of the amount of light to the communication unit 210 using a separate terminal. The communication unit 210 receives a control signal for setting the amount of light and transmits it to the control unit 230 .

메모리부(220)는 통신부(210)가 수신한 현실 공간 내 존재하는 물체들의 특성 정보 및 출력하고자 하는 증강현실 영상의 특성 정보를 저장한다. 제어부(230)가 수신한 정보들을 수신 후에 처리할 수 있도록, 메모리부(220)는 이러한 정보들을 저장한다.The memory unit 220 stores characteristic information of objects existing in the real space received by the communication unit 210 and characteristic information of an augmented reality image to be output. The memory unit 220 stores such information so that the control unit 230 can process the received information after receiving it.

제어부(230)는 메모리부(220)에 저장된 데이터 또는 센서부(260)가 센싱한 센싱값을 토대로, 영상 출력부(240) 또는 광학계(250)의 동작을 제어한다.The control unit 230 controls the operation of the image output unit 240 or the optical system 250 based on data stored in the memory unit 220 or a sensing value sensed by the sensor unit 260 .

제어부(230)는 메모리부(220)에 저장된 데이터를 고려하여, 출력될 증강현실 영상과 출력될 증강현실 영상의 방향에 존재하는 물체의 중첩여부를 확인한다. 제어부(230)는 메모리부(220)에 저장된 출력하고자 하는 증강현실 영상의 특성정보를 분석하여, 착용자가 존재하는 현실 공간 내에서 어느 좌표로 얼마 만큼의 면적을 갖는 증강현실 영상이 출력될 것인지 판단한다. 제어부(230)는 메모리부(220)에 저장된 물체들의 특성정보를 분석하여, 출력될 증강현실 영상의 방향에 위치하고 있는 물체들의 특성정보를 추출한다. 제어부(230)는 특성정보 내 좌표를 분석하여 착용자의 안구를 기준으로 각 물체와 증강현실 영상의 원근을 파악할 수 있으며, 특성정보 내 면적을 추출하여, 증강현실 영상이 출력되는 방향을 기준으로 각 물체와 증강현실 영상이 서로 중첩(Occlusion)되는지를 확인한다. 예를 들어, 제어부(230)는 착용자의 안구를 기준으로 출력될 증강현실 영상보다 가까이 또는 멀리 있는 물체의 좌표와 면적을 고려하여, 특정 면적의 증강현실 영상가 특정 좌표로 출력되면 해당 물체와 얼마의 면적만큼 중첩(Occlusion)이 일어날 것인지 확인할 수 있다.The control unit 230 checks whether an augmented reality image to be output and an object existing in the direction of the augmented reality image to be output overlap in consideration of the data stored in the memory unit 220 . The control unit 230 analyzes the characteristic information of the augmented reality image to be output stored in the memory unit 220 and determines which coordinates and how much area the augmented reality image will be output in the real space where the wearer exists. do. The control unit 230 analyzes the characteristic information of the objects stored in the memory unit 220 and extracts the characteristic information of the objects located in the direction of the augmented reality image to be output. The controller 230 analyzes the coordinates in the characteristic information to determine the distance of each object and the augmented reality image based on the wearer's eyeball, extracts the area within the characteristic information, and extracts the area in the characteristic information to each object based on the direction in which the augmented reality image is output. Check whether the object and the augmented reality image overlap each other (occlusion). For example, the controller 230 considers the coordinates and area of an object that is closer or farther than the augmented reality image to be output based on the wearer's eyeball, and when an augmented reality image of a specific area is output to specific coordinates, the object and how much You can check whether occlusion will occur as much as the area.

나아가, 제어부(230)는 메모리부(220)에 저장된 데이터 뿐만 아니라 센서부(260)가 센싱한 센싱값을 함께 고려하여, 중첩여부를 확인할 수 있다. 전술한 대로, 제어부(230)는 출력될 증강현실 영상의 방향에 위치하는 물체들의 특성정보뿐만 아니라, 센서부(260)가 센싱한, 착용자의 시선을 고려하여, 메모리부(220)에서 착용자의 시야 내 존재하는 물체들의 특성정보를 추출한다. 착용자가 증강현실 영상 출력장치(100)를 착용한 채 이동하거나, 착용한 상태에서 시선을 다른 방향으로 돌리는 경우가 발생할 수 있다. 이러한 경우, 출력되어야 할 증강현실 영상의 내용뿐만 아니라, 증강현실 영상과 착용자의 시선 상에 위치하는 물체도 변할 수 있으며, 물체가 바뀌지 않더라도 착용자의 시선에 의해 물체와 증강현실 영상이 중첩되는지 여부와 중첩되는 면적이 변할 수 있다. 예를 들어, 육면체를 출력하는 증강현실 영상을 가정하면, 정면에서는 단순하게 사각형으로 출력되던 증강현실 영상의 내용이 측면에서는 입체적인 육면체의 내용으로 변할 수 있다. 또한, 내용이 입체적인 육면체로 변하며, 중첩되지 않고 있었던 다른 물체와 중첩이 발생할 수도 있고, 기 중첩되던 물체와 중첩되는 면적이 증가하거나 감소할 수도 있다. 제어부(230)는 메모리부(220)에 저장된 데이터 뿐만 아니라 센서부(260)가 센싱한 센싱값을 함께 고려하여, 착용자의 시선변화에도 능동적으로 영상과 물체의 중첩여부를 확인한다.Furthermore, the control unit 230 may determine whether the data is overlapped by considering the sensing value sensed by the sensor unit 260 as well as the data stored in the memory unit 220 . As described above, the control unit 230 considers not only the characteristic information of objects located in the direction of the augmented reality image to be output, but also the wearer's line of sight sensed by the sensor unit 260, in the memory unit 220. Extracts characteristic information of objects existing in the field of view. It may happen that the wearer moves while wearing the augmented reality image output device 100, or turns his or her gaze in a different direction while wearing the augmented reality image output device 100. In this case, not only the content of the augmented reality image to be output, but also the augmented reality image and the object located on the wearer's line of sight may change, and even if the object does not change, whether the object and the augmented reality image are overlapped by the wearer's line of sight The overlapping area may vary. For example, assuming an augmented reality image that outputs a hexahedron, content of the augmented reality image that is simply output as a square from the front may be changed to three-dimensional content from a hexahedron from the side. In addition, the content is changed into a three-dimensional hexahedron, overlapping with other non-overlapping objects may occur, and the area overlapping with previously overlapping objects may increase or decrease. The control unit 230 considers not only the data stored in the memory unit 220 but also the sensing value sensed by the sensor unit 260 and actively checks whether the image and the object overlap even when the wearer's gaze changes.

제어부(230)는 영상과 물체의 중첩여부 확인결과에 따라, 영상 출력부(240) 또는 광학계(250)를 제어한다. 영상과 물체가 중첩됨에 있어 여러 경우가 존재하며, 각 경우는 도 4 내지 6에 도시되어 있다.The controller 230 controls the image output unit 240 or the optical system 250 according to a result of checking whether the image and the object overlap. There are several cases in which images and objects overlap, and each case is shown in FIGS. 4 to 6 .

도 4 내지 6은 본 발명의 일 실시예에 따라 출력되는 증강현실 영상과 현실 세계의 물체와의 관계를 도시한 도면이다.4 to 6 are diagrams illustrating the relationship between an augmented reality image output according to an embodiment of the present invention and an object in the real world.

도 4를 참조하면, 출력될 증강현실 영상(410)이 물체(420)보다 착용자의 안구를 기준으로 가까이에 출력되는 경우가 존재한다. 이때, 출력될 증강현실 영상(410)과 물체(420)의 각각의 면적이나 부피에 따라, 중첩이 발생하는 영역(430)이 존재할 수 있다. 중첩이 발생하는 경우, 중첩이 발생하는 영역(430)에서는 착용자의 안구를 기준으로 증강현실 영상(410)이 물체(420)보다 가까이 존재하기 때문에, 현실감이 향상되기 위해서는 중첩이 발생하는 영역(430)에서 증강현실 영상(410)이 착용자에 보여야 하며 물체(420)는 거의 보이지 않아야 한다. 확인 결과에 따라, 출력될 증강현실 영상(410)이 착용자의 안구를 기준으로 물체(420)보다 가까이 존재하는 경우에서 중첩이 발생한 경우, 제어부(230)는 외부로부터 광학계(250)로 입사되는, 실제 환경 상에 대응되는 광 중 중첩이 발생하는 영역(430)에 대응되는 부분에 대해 해당 부분의 투과율을 저하시키도록 광학계(250)를 제어한다. 중첩이 발생하는 영역(430)에 대응되는 부분의 광 투과율이 저하되기 때문에, 착용자에게 해당 부분은 어둡게 보이거나 잘 안보이게 되어, 상대적으로 증강현실 영상(410)만이 뚜렷하게 보이게 된다. 이로서, 착용자는 증강현실 영상(410)이 물체(420)보다 자신에 가까이 배치되어 있음을 인지할 수 있다.Referring to FIG. 4 , there is a case where an augmented reality image 410 to be output is output closer to the wearer's eyeball than the object 420 . In this case, an overlapping region 430 may exist according to the respective areas or volumes of the augmented reality image 410 and the object 420 to be output. When overlapping occurs, since the augmented reality image 410 exists closer than the object 420 based on the wearer's eyeball in the overlapping region 430, in order to improve the sense of reality, the overlapping region 430 ), the augmented reality image 410 should be visible to the wearer and the object 420 should be almost invisible. According to the confirmation result, if overlap occurs when the augmented reality image 410 to be output is closer than the object 420 based on the wearer's eyeball, the controller 230 is incident to the optical system 250 from the outside, The optical system 250 is controlled to reduce the transmittance of the portion corresponding to the region 430 where overlapping occurs among the light corresponding to the real environment. Since the light transmittance of the portion corresponding to the overlapping region 430 is lowered, the corresponding portion appears dark or difficult to see to the wearer, and only the augmented reality image 410 is relatively clearly visible. As a result, the wearer may recognize that the augmented reality image 410 is disposed closer to the wearer than the object 420 .

도 5를 참조하면, 출력될 증강현실 영상(410)이 물체(510)보다 착용자의 안구를 기준으로 먼 위치에 출력되는 경우가 존재한다. 마찬가지로, 출력될 증강현실 영상(410)과 물체(510)의 각각의 면적이나 부피에 따라, 중첩이 발생하는 영역(520)이 존재할 수 있다. 중첩이 발생하는 경우, 중첩이 발생하는 영역(520)에서는 착용자의 안구를 기준으로 물체(510)가 증강현실 영상(410)보다 가까이 존재하기 때문에, 현실감이 향상되기 위해서는 중첩이 발생하는 영역(520)에서 물체(510)가 착용자에 보여야 하며 증강현실 영상(410)은 거의 보이지 않아야 한다. 이에, 제어부(230)는 영상 출력부(240)를 제어하여, 출력될 증강현실 영상(410) 중 중첩이 발생하는 영역(520) 부분으로 출력될 부분의 광량을 저하시킨다. 중첩이 발생하는 영역(520)으로 출력될 증강현실 영상의 광량이 낮기 때문에, 착용자에게 해당 부분은 어둡게 보이거나 잘 안보이게 되어, 상대적으로 물체(510)만이 뚜렷하게 보이게 된다. 이로서, 착용자는 물체(510)가 증강현실 영상(410)보다 자신에 가까이 배치되어 있음을 인지할 수 있다.Referring to FIG. 5 , there is a case where an augmented reality image 410 to be output is output at a location farther from the object 510 with respect to the wearer's eyeball. Similarly, an overlapping region 520 may exist according to the respective areas or volumes of the augmented reality image 410 and the object 510 to be output. When overlapping occurs, since the object 510 exists closer to the wearer's eyeball than the augmented reality image 410 in the overlapping area 520, in order to improve the sense of reality, the overlapping area 520 ), the object 510 should be visible to the wearer, and the augmented reality image 410 should hardly be visible. Accordingly, the control unit 230 controls the image output unit 240 to reduce the amount of light of the portion of the augmented reality image 410 to be output to the region 520 where overlapping occurs. Since the amount of light of the augmented reality image to be output to the area 520 where overlapping occurs is low, the corresponding part appears dark or difficult to see to the wearer, so that only the object 510 is seen relatively clearly. As a result, the wearer may recognize that the object 510 is disposed closer to the wearer than the augmented reality image 410 .

한편, 도 6을 참조하면, 증강현실 영상(410)이 출력될 좌표로 다양한 좌표에 배치된 다양한 물체(420, 510)들이 존재할 수 있다. 이러한 경우, 제어부(230)는 각각의 물체와 증강현실 영상(410)과의 중첩이 발생하는 영역(430, 520)을 파악하여, 착용자의 안구를 기준으로 원근에 따라 광학계(250)를 제어하거나 영상 출력부(240)를 제어한다.Meanwhile, referring to FIG. 6 , various objects 420 and 510 disposed at various coordinates may exist as coordinates at which an augmented reality image 410 is output. In this case, the control unit 230 determines the regions 430 and 520 where each object overlaps with the augmented reality image 410, and controls the optical system 250 according to the perspective based on the wearer's eyeball, or The video output unit 240 is controlled.

다시 도 2를 참조하면, 제어부(230)는 영상과 물체의 중첩여부와 중첩시 착용자 안구를 기준으로 영상과 물체의 원근에 따라, 영상 출력부(240)나 광학계(250)를 제어한다. 전술한 대로, 제어부(230)는 증강현실 영상이 착용자 안구를 기준으로 물체보다 근접한 상태에서 중첩이 발생하는 경우, 중첩이 발생한 영역에 대해 물체의 해당 영역이 착용자에 잘 보이지 않도록 광학계(250)를 제어한다. 반대로, 제어부(230)는 증강현실 영상이 착용자 안구를 기준으로 물체보다 먼 상태에서 중첩이 발생하는 경우, 중첩이 발생한 영역에 대해 영상의 해당 영역이 착용자에 잘 보이지 않도록 영상 출력부(240)를 제어한다.Referring back to FIG. 2 , the control unit 230 controls the image output unit 240 or the optical system 250 according to whether the image and the object overlap or not and the perspective of the image and the object based on the wearer's eyeball when the image overlaps. As described above, when overlapping occurs in a state where the augmented reality image is closer to the wearer's eye than the object, the controller 230 sets the optical system 250 so that the corresponding region of the object is not easily visible to the wearer. Control. Conversely, when overlapping occurs in a state where the augmented reality images are farther from the wearer's eyes than the object, the controller 230 outputs the image output unit 240 so that the corresponding region of the image is not easily visible to the wearer. Control.

나아가, 제어부(230)는 센서부(260)가 센싱한 센싱값을 함께 고려하여, 영상 출력부(240)나 광학계(250)를 제어한다. 전술한 대로, 착용자의 시선 방향에 따라, 출력될 증강현실 영상의 내용이 가변될 수 있다. 이처럼, 제어부(230)는 착용자의 시선에 따른 상대좌표를 반영하여, 출력할 증강현실 영상을 조정한다. 조정되는 내용으로는 출력될 증강현실 영상의 내용 뿐만 아니라, 출력될 증강현실 영상의 면적이나 부피도 포함될 수 있다. 전술한 예와 같이, 육면체를 출력하는 증강현실 영상을 가정하면, 정면에서와 측면에서 출력되는 증강현실 영상의 내용뿐만 아니라 면적이나 부피까지 달라질 수 있다. 또한, 제어부(230)는 착용자의 시선에 따라 달라지는 증강현실 영상의 특성(내용 및 면적이나 부피)에 의해, 착용자의 시선이 달라지면 물체와의 중첩여부 및 발생한 중첩의 면적이 달라질 수 있다. 따라서, 제어부(230)는 센싱값을 고려하여 착용자의 시선이 달라진 경우, 출력할 증강현실 영상의 내용을 조정하며, 이와 함께 착용자의 시야 내 존재하는 물체들 및 그것들과 영상 간에 중첩여부와 면적 등을 다시 조정한다. 제어부(230)는 조정된 내용에 따라, 영상 출력부(240)나 광학계(250)를 다시 제어한다.Furthermore, the controller 230 controls the image output unit 240 or the optical system 250 by considering the sensing value sensed by the sensor unit 260 together. As described above, the contents of the augmented reality image to be output may be varied according to the direction of the wearer's gaze. As such, the controller 230 adjusts the augmented reality image to be output by reflecting the relative coordinates according to the wearer's gaze. The content to be adjusted may include not only the content of the augmented reality image to be output, but also the area or volume of the augmented reality image to be output. As in the above example, assuming an augmented reality image that outputs a hexahedron, not only the content of the augmented reality image output from the front and the side, but also the area or volume may vary. In addition, the control unit 230 may change whether the wearer's gaze changes depending on the characteristics (content and area or volume) of the augmented reality image that vary depending on the wearer's gaze, and whether or not the overlapped area overlaps with the object. Therefore, the control unit 230 adjusts the content of the augmented reality image to be output when the wearer's line of sight changes in consideration of the sensed value, and at the same time, the objects existing in the wearer's field of view and overlap between them and the image, the area, etc. readjust the The control unit 230 controls the image output unit 240 or the optical system 250 again according to the adjusted content.

제어부(230)는 광량의 설정에 관한 제어신호에 따라, 영상 출력부(240)나 광학계(250)를 제어한다. 제어부(230)는 중첩이 발생한 영역에 대해 광량을 조정함에 있어, 통신부(210)가 착용자로부터 수신한 광량의 설정에 관한 제어신호에 따라 조정할 수 있다. 제어부(230)는 해당 제어신호에 따라 광량을 조정하도록 영상 출력부(240)나 광학계(250)를 제어함으로써, 착용자의 만족감을 향상시킬 수 있다.The controller 230 controls the image output unit 240 or the optical system 250 according to a control signal related to setting the amount of light. The control unit 230 may adjust the amount of light for the overlapped region according to a control signal for setting the amount of light received by the communication unit 210 from the wearer. The controller 230 may improve the wearer's satisfaction by controlling the image output unit 240 or the optical system 250 to adjust the amount of light according to the corresponding control signal.

영상 출력부(240)는 메모리부(220) 내 저장된 출력하고자 하는 증강현실 영상의 특성 정보 및 제어부(230)의 제어에 따라 증강현실 영상을 출력한다. 영상 출력부(240)는 메모리부(220) 내 저장된 증강현실 영상을 출력하되, 제어부(230)의 제어에 따라, 증강현실 영상의 내용이나 중첩이 발생한 영역에 광량을 조정하여 출력할 수 있다.The image output unit 240 outputs an augmented reality image according to the characteristic information of the augmented reality image to be output stored in the memory unit 220 and the control of the controller 230 . The image output unit 240 outputs the augmented reality image stored in the memory unit 220, but according to the control of the controller 230, adjusts the amount of light in the content of the augmented reality image or overlapping region and outputs it.

광학계(250)는 출력된 증강현실 영상과 외부로부터 입사되는, 실제 환경 상의 광을 착용자의 안구로 입사시킨다. 광학계(250)에 대해서는 도 3에 상세히 도시되어 있다.The optical system 250 causes the output augmented reality image and light on the real environment incident from the outside to the wearer's eyeballs. The optical system 250 is shown in detail in FIG. 3 .

도 3은 본 발명의 일 실시예에 따른 광학계의 구성도이다.3 is a configuration diagram of an optical system according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 광학계(250)는 미러부(310) 및 조정부(320)를 포함한다.Referring to FIG. 3 , an optical system 250 according to an embodiment of the present invention includes a mirror unit 310 and an adjustment unit 320 .

미러부(310)는 영상 출력부(240)로부터 출력된 증강현실 영상을 착용자의 안구 방향으로 반사시킨다. 영상 출력부(240)는 외부로부터 입사되는, 실제 환경상의 광의 진로에 영향을 주어서는 안되기 때문에, 외부로부터 광이 입사되는 방향이 아닌 다른 방향(특히, 미러부(310)에 의해 광이 착용자의 안구로 반사될 수 있는 방향)에 배치되어 증강현실 영상을 출력한다. 미러부(310)는 출력된 증강현실 영상을 반사하여, 착용자의 안구로 입사시킨다.The mirror unit 310 reflects the augmented reality image output from the image output unit 240 toward the wearer's eyeball. Since the image output unit 240 should not affect the path of light incident from the outside in the real environment, the direction other than the direction in which light is incident from the outside (in particular, the mirror unit 310 directs the light toward the wearer's body) It is placed in a direction that can be reflected to the eye) to output an augmented reality image. The mirror unit 310 reflects the output augmented reality image and makes it incident to the wearer's eyes.

미러부(310)는 외부로부터 입사되는, 실제 환경상의 광을 투과시켜 착용자의 안구로 입사시킨다. 외부의 물체나 환경(330)을 착용자가 인식할 수 있도록, 미러(310)는 외부로부터 입사되는, 실제 환경상의 광은 투과시켜 착용자의 안구로 입사될 수 있도록 한다. The mirror unit 310 transmits light incident from the outside, in the real environment, and makes it incident to the wearer's eyes. In order for the wearer to recognize an external object or environment 330 , the mirror 310 transmits light from the real environment incident from the outside so that it enters the wearer's eyes.

미러부(310)는 하프 미러(Half Mirror)로 구현될 수 있으나 반드시 이에 한정되는 것은 아니고, 일 방향에서 입사되는 광은 반사시키는 반면, 다른 방향에서 입사되는 광은 투과시키는 성질을 갖는 광학기기면 어떠한 것으로 대체되어도 무방하다.The mirror unit 310 may be implemented as a half mirror, but is not necessarily limited thereto, and is an optical device having a property of reflecting light incident from one direction while transmitting light incident from another direction. It is free to replace with anything.

조정부(320)는 외부로부터 미러부(310)로 입사되는 광의 일부 또는 전부의 투과율을 조정한다. 조정부(320)는 외부로부터 미러부(310)로 광이 입사하는 방향을 기준으로 미러부(310)의 전방에 배치되어, 외부로부터 미러부(310)로 입사되는 광의 일부 또는 전부의 투과율을 조정한다. 조정부(320)는 외부의 신호에 따라 일부 또는 전부분의 광 투과율을 조정할 수 있는 소자로 구현되어, 제어부(230)의 제어에 따라 일부 또는 전부분의 광 투과율을 조정한다. 조정부(320)가 일부 또는 전부의 광 투과율을 조정함으로써, 증강현실 영상이 출력되는 방향에 배치된(착용자의 시선 상에 배치된) 물체 내 중첩이 발생한 영역의 광 투과율을 조정(주로, 어둡게)할 수 있다.The adjusting unit 320 adjusts transmittance of some or all of light incident from the outside to the mirror unit 310 . The adjustment unit 320 is disposed in front of the mirror unit 310 based on the direction in which light is incident from the outside to the mirror unit 310, and adjusts the transmittance of some or all of the light incident on the mirror unit 310 from the outside. do. The adjusting unit 320 is implemented as an element capable of adjusting part or all of the light transmittance according to an external signal, and adjusts part or all of the light transmittance under the control of the control unit 230 . The adjustment unit 320 adjusts (mainly, darkens) the light transmittance of the overlapping region in the object disposed in the direction in which the augmented reality image is output (disposed on the wearer's line of sight) by adjusting some or all of the light transmittance. can do.

조정부(320)는 영상 출력부(240)가 증강현실 영상을 출력할 수 있는 총 면적과 동일하거나 비례하는 면적을 가질 수 있다. 영상 출력부(240)가 어떠한 위치에 증강현실 영상을 출력하여 물체와의 중첩을 발생시킬지 모르기 때문에, 조정부(320)는 영상 출력부(240)가 임의의 위치로 증강현실 영상을 출력하여 중첩을 유발하더라도, 경우에 따라 중첩되는 면적만큼 광 투과율을 조정할 수 있도록 영상 출력부(240)가 증강현실 영상을 출력할 수 있는 총 면적과 동일하거나 비례하는 면적을 가질 수 있다. The adjustment unit 320 may have an area equal to or proportional to a total area over which the image output unit 240 can output an augmented reality image. Since the image output unit 240 does not know at what position to output the augmented reality image to cause overlap with the object, the adjustment unit 320 outputs the augmented reality image to an arbitrary position of the image output unit 240 to prevent overlapping. Even if it is caused, in some cases, the image output unit 240 may have an area equal to or proportional to the total area capable of outputting an augmented reality image so that light transmittance can be adjusted by an overlapping area.

다시 도 2를 참조하면, 센서부(260)는 착용자의 시선을 센싱한다. 센서부(260)는 착용자의 시선을 센싱하기 위해 눈동자의 움직임 등을 센싱할 수 있으며, 정확한 센싱을 위해 하나 이상의 센서를 포함할 수 있다. 센서부(260)는 센싱값을 제어부(230)로 전달한다.Referring back to FIG. 2 , the sensor unit 260 senses the wearer's gaze. The sensor unit 260 may sense movement of pupils in order to sense the wearer's gaze, and may include one or more sensors for accurate sensing. The sensor unit 260 transfers the sensed value to the controller 230 .

전원부(270)는 증강현실 영상 출력장치(100) 내 각 구성(210 내지 260)을 작동시키는 전원을 각 구성으로 공급한다.The power supply unit 270 supplies power for operating each component 210 to 260 in the augmented reality image output device 100 to each component.

도 7은 본 발명의 일 실시예에 따른 광학계로부터 증강현실 영상이 출력되는 방법을 도시한 순서도이다.7 is a flowchart illustrating a method of outputting an augmented reality image from an optical system according to an embodiment of the present invention.

제어부(230)는 메모리부(220) 내 기 저장된 데이터로부터 출력될 증강현실 영상의 방향으로 존재하는 물체의 좌표와 면적을 추출한다(S710). 제어부(230)는 메모리부(220) 내 저장된 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성 정보로부터 출력될 증강현실 영상의 방향으로 존재하는 물체의 특성정보(좌표 및 면적이나 부피)를 추출한다. The control unit 230 extracts the coordinates and area of an object existing in the direction of the augmented reality image to be output from data stored in the memory unit 220 (S710). The control unit 230 extracts the characteristic information (coordinates and area or volume) of objects existing in the direction of the augmented reality image to be output from the characteristic information of the objects existing in the real space where the wearer exists stored in the memory unit 220. .

제어부(230)는 출력할 증강현실 영상의 좌표 및 면적을 확인한다(S720). 제어부(230)는 통신부(210)가 수신하여 메모리부(220) 내 저장해둔 출력할 증강현실 영상의 특성정보(좌표 및 면적이나 부피)를 확인한다.The controller 230 checks the coordinates and area of the augmented reality image to be output (S720). The control unit 230 checks the characteristic information (coordinates and area or volume) of the augmented reality image to be output, received by the communication unit 210 and stored in the memory unit 220 .

제어부(230)는 증강현실 영상과 물체 간 중첩여부를 확인한다(S730).The controller 230 checks whether the augmented reality image and the object overlap (S730).

증강현실 영상과 물체 간 중첩이 발생하지 않는 경우, 영상 출력부(240)는 증강현실 영상을 출력한다(S740). 증강현실 영상의 출력에 있어, 별도로 영상의 현실감에 관한 문제가 발생할 여지가 없기 때문에, 영상 출력부(240)는 제어부(230)에 따라 증강현실 영상을 출력한다. When overlap between the augmented reality image and the object does not occur, the image output unit 240 outputs the augmented reality image (S740). In the output of the augmented reality image, since there is no room for a problem related to the reality of the image separately, the image output unit 240 outputs the augmented reality image according to the control unit 230.

증강현실 영상과 물체 간 중첩이 발생하는 경우, 제어부(230)는 증강현실 영상이 물체보다 착용자에 근접하여 출력될지 여부를 판단한다(S750). 제어부(230)는 추출한 증강현실 영상과 물체의 특성정보로부터, 착용자의 안구를 기준으로 출력될 증강현실 영상이 중첩을 발생시키는 물체보다 착용자에 근접하여 출력될지를 판단한다.When overlap between the augmented reality image and the object occurs, the controller 230 determines whether the augmented reality image is to be output closer to the wearer than the object (S750). The controller 230 determines whether the augmented reality image to be output based on the eyeballs of the wearer is to be output closer to the wearer than the object causing the overlap, based on the extracted augmented reality image and object characteristic information.

증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우, 광학계(250)는 외부로부터 증강현실 영상과 물체가 중첩되는 면적부분으로 입사될 광량의 투과율을 조정한다(S760). 광학계(250)는 제어부(230)의 제어에 따라, 중첩이 발생한 영역으로 입사될 광량의 투과율을 조정함으로써, 물체가 증강현실 영상에 가려진 듯한 효과를 유도한다. 이로서, 착용자는 물체가 증강현실 영상보다 멀리 있는 것처럼 인식할 수 있다.When the augmented reality image is output closer to the wearer than the object, the optical system 250 adjusts the transmittance of the amount of light incident from the outside into the area portion where the augmented reality image and the object overlap (S760). The optical system 250 induces an effect as if the object is covered by the augmented reality image by adjusting the transmittance of the amount of light to be incident on the overlapping area under the control of the control unit 230 . As a result, the wearer can recognize the object as if it is further away than the augmented reality image.

증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우, 영상 출력부(240)는 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 조정한다(S770). 영상 출력부(240)는 제어부(230)의 제어에 따라, 중첩이 발생한 영역으로 출력될 증강현실 영상의 광량을 조정함으로써, 증강현실 영상이 물체에 가려진 듯한 효과를 유도한다. 이로서, 착용자는 증강현실 영상이 물체보다 멀리 있는 것처럼 인식할 수 있다.When the augmented reality image is output farther from the wearer than the object, the image output unit 240 adjusts the amount of light of the augmented reality image to be output to a portion where the augmented reality image and the object overlap (S770). The image output unit 240 induces an effect as if the augmented reality image is obscured by an object by adjusting the amount of light of the augmented reality image to be output to the region where the overlap occurs under the control of the controller 230 . As a result, the wearer can recognize the augmented reality image as if it is further away than the object.

증강현실 영상과 중첩을 유발하는 물체가 복수 개이며, 각각의 원근이 증강현실 영상을 기준으로 상이할 경우, 전술한 S760 과정과 S770 과정은 동시에 수행될 수 있다.When there are a plurality of objects that cause overlapping with the augmented reality image, and each perspective is different based on the augmented reality image, the above-described steps S760 and S770 may be performed simultaneously.

도 8은 본 발명의 일 실시예에 따른 증강현실 영상 출력장치가 증강현실 영상을 출력하는 방법을 도시한 순서도이다.8 is a flowchart illustrating a method of outputting an augmented reality image by an augmented reality image output device according to an embodiment of the present invention.

센서부(260)는 착용자의 시선을 센싱한다(S810).The sensor unit 260 senses the wearer's gaze (S810).

제어부(230)는 메모리부(220) 내 기 저장된 데이터로부터 착용자의 시야 내 존재하는 물체의 좌표와 면적을 추출한다(S820).The controller 230 extracts the coordinates and area of an object existing in the wearer's field of view from data previously stored in the memory unit 220 (S820).

제어부(230)는 출력할 증강현실 영상의 좌표 및 면적을 확인한다(S830).The controller 230 checks the coordinates and area of the augmented reality image to be output (S830).

제어부(230)는 착용자의 시선을 기준으로 증강현실 영상과 물체 간 중첩여부를 확인한다(S840).The controller 230 checks whether the augmented reality image and the object overlap based on the wearer's gaze (S840).

증강현실 영상과 물체 간 중첩이 발생하지 않는 경우, 영상 출력부(240)는 증강현실 영상을 출력한다(S850).When overlap between the augmented reality image and the object does not occur, the image output unit 240 outputs the augmented reality image (S850).

증강현실 영상과 물체 간 중첩이 발생하는 경우, 제어부(230)는 증강현실 영상이 물체보다 착용자에 근접하여 출력될지 여부를 판단한다(S860).When overlapping between the augmented reality image and the object occurs, the controller 230 determines whether the augmented reality image is output closer to the wearer than the object (S860).

증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우, 광학계(250)는 외부로부터 증강현실 영상과 물체가 중첩되는 면적부분으로 입사될 광량의 투과율을 조정한다(S870).When the augmented reality image is output closer to the wearer than the object, the optical system 250 adjusts the transmittance of the amount of light incident from the outside into the area portion where the augmented reality image and the object overlap (S870).

증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우, 영상 출력부(240)는 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 조정한다(S880). When the augmented reality image is output further from the wearer than the object, the image output unit 240 adjusts the amount of light of the augmented reality image to be output to a portion where the augmented reality image and the object overlap (S880).

도 7 및 8에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 7 및 8에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 7 및 8은 시계열적인 순서로 한정되는 것은 아니다.In FIGS. 7 and 8 , it is described that each process is sequentially executed, but this is merely an example of the technical idea of one embodiment of the present invention. In other words, those skilled in the art to which an embodiment of the present invention belongs may change and execute the order described in FIGS. 7 and 8 without departing from the essential characteristics of an embodiment of the present invention, or at least one of each process. Since various modifications and variations can be applied by executing the process in parallel, FIGS. 7 and 8 are not limited to a time-series order.

한편, 도 7 및 8에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the processes shown in FIGS. 7 and 8 can be implemented as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored. That is, computer-readable recording media include storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical reading media (eg, CD-ROM, DVD, etc.). In addition, the computer-readable recording medium may be distributed to computer systems connected through a network to store and execute computer-readable codes in a distributed manner.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present embodiment, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical idea of the present embodiment, but to explain, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of this embodiment should be construed according to the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of rights of this embodiment.

100: 증강현실 영상 출력장치
210: 통신부
220: 메모리부
230: 제어부
240: 영상 출력부
250: 광학계
260: 센서부
270: 전원부
310: 미러부
320: 조정부
410: 증강현실 영상
420, 510: 물체
430, 520: 중첩이 발생한 영역100: augmented reality image output device
210: communication department
220: memory unit
230: control unit
240: video output unit
250: optical system
260: sensor unit
270: power supply
310: mirror unit
320: adjustment unit
410: augmented reality video
420, 510: object
430, 520: overlapping area

Claims

An image output unit for outputting an augmented reality image;
a mirror unit that reflects the augmented reality image output from the image output unit to the wearer's eyeballs and transmits light incident from the outside;
A total area that is disposed in front of the mirror unit based on the direction in which light is incident from the outside to the mirror unit, adjusts the transmittance of some or all of the light incident from the outside to the mirror unit, and the image output unit can output an augmented reality image. Adjustment unit having an area equal to or proportional to; and
Check whether the augmented reality image to be output overlaps with an external object in the direction of the augmented reality image to be output, and according to the check result, the augmented reality image to be output based on the wearer's eyeball is closer to the wearer than the object that causes the overlap. Including a control unit for controlling the adjustment unit or the video output unit by determining whether the output is close to
The total area of the augmented reality image that can be output by the image output unit is equal to or proportional to the area in which light is incident to the mirror unit from the outside,
The control unit may include, when an overlap between an augmented reality image and an object occurs, when the augmented reality image is output closer to the wearer than the object, an area in which overlapping between the augmented reality image and the object occurs, which is incident from the outside to the adjustment unit. Controls the adjustment unit to lower the light transmittance of the portion corresponding to the corresponding portion, and when the augmented reality image is output farther from the wearer than the object, the augmented reality image to be output to the portion where the object overlaps. Augmented reality image output device characterized in that for controlling the image output unit to reduce the amount of light of the real image.

delete

According to claim 1,
The mirror part,
Augmented reality image output device characterized in that the half mirror.

delete

An output process of outputting an augmented reality image;
a generation process of reflecting the augmented reality image output in the output process by the mirror unit to the wearer's eyeballs, and transmitting light incident from the outside;
an adjustment process of adjusting transmittance of some or all of light incident from the outside by an adjustment unit disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit;
A confirmation process of confirming an object existing outside in the direction of the augmented reality image to be output; and
According to the confirmation result of the confirmation process, it is determined whether the augmented reality image to be output based on the wearer's eyeballs is output closer to the wearer than the object that causes overlap, and the transmittance adjusted in the adjustment process or the augmentation output in the output process is determined. Including a control process for controlling the real image,
The adjustment unit has an area equal to or proportional to the total area of the image output unit capable of outputting an augmented reality image, and the total area capable of outputting the augmented reality image is equal to or proportional to an area into which light is incident from the outside,
In the control process, when overlap between the augmented reality image and the object occurs, when the augmented reality image is output closer to the wearer than the object, overlapping between the augmented reality image and the object incident from the outside into the adjusting unit occurs The light transmittance of the portion corresponding to the region is reduced, and when the augmented reality image is output farther from the wearer than the object, the amount of light of the augmented reality image to be output to the portion where the augmented reality image and the object overlap Augmented reality image output method, characterized in that the deterioration.

delete

According to claim 5,
The mirror part,
Augmented reality image output method, characterized in that the half mirror.

delete

a sensor unit for sensing a wearer's gaze;
An image output unit for outputting an augmented reality image;
a mirror unit that reflects the augmented reality image output from the image output unit to the wearer's eyeballs and transmits light incident from the outside;
A total area that is disposed in front of the mirror unit based on the direction in which light is incident from the outside to the mirror unit, adjusts the transmittance of some or all of the light incident from the outside to the mirror unit, and the image output unit can output an augmented reality image. Adjustment unit having an area equal to or proportional to;
a memory unit for storing characteristics of an object existing in a space in which the augmented reality image is to be output; and
Based on the result sensed by the sensor unit, characteristic information including coordinates, areas, or volumes of an object existing within the wearer's field of view is extracted from the memory unit, and characteristics of an augmented reality image to be output based on the extracted characteristic information of the object. After checking the information, it is checked whether it overlaps with an object existing in the wearer's field of view, and according to the check result, it is determined whether the augmented reality image to be output based on the wearer's eyeball will be output closer to the wearer than the object that causes the overlap. Including a control unit for controlling the adjustment unit or the video output unit,
The total area of the augmented reality image that can be output by the image output unit is equal to or proportional to the area in which light is incident to the mirror unit from the outside,
The control unit may include, when an overlap between an augmented reality image and an object occurs, when the augmented reality image is output closer to the wearer than the object, an area in which overlapping between the augmented reality image and the object occurs, which is incident from the outside to the adjustment unit. Controls the adjustment unit to lower the light transmittance of the portion corresponding to the corresponding portion, and when the augmented reality image is output farther from the wearer than the object, the augmented reality image to be output to the portion where the object overlaps. Augmented reality image output device characterized in that for controlling the image output unit to reduce the amount of light of the real image.

delete

a sensing process of sensing the wearer's gaze;
An output process of outputting an augmented reality image;
a generation process of reflecting the augmented reality image output in the output process by the mirror unit to the wearer's eyeballs, while transmitting light incident from the outside;
adjusting transmittance of some or all of light incident from the outside by an adjustment unit disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit;
an extraction process of extracting a characteristic of an object existing in the wearer's field of view based on a result sensed in the sensing process;
A confirmation process of checking whether an augmented reality image to be output based on the characteristics of the object extracted from the extraction process overlaps with an object existing in the field of view of the wearer; and
According to the confirmation result of the confirmation process, it is determined whether the augmented reality image to be output based on the wearer's eyeballs is output closer to the wearer than the object that causes overlap, and the transmittance adjusted in the adjustment process or the augmentation output in the output process is determined. Including a control process for controlling the real image,
The adjustment unit has an area equal to or proportional to the total area of the image output unit capable of outputting an augmented reality image, and the total area capable of outputting the augmented reality image is equal to or proportional to an area into which light is incident from the outside,
In the control process, when overlap between the augmented reality image and the object occurs, when the augmented reality image is output closer to the wearer than the object, overlapping between the augmented reality image and the object incident from the outside to the adjusting unit occurs The light transmittance of the portion corresponding to the region is reduced, and when the augmented reality image is output farther from the wearer than the object, the amount of light of the augmented reality image to be output to the portion where the augmented reality image and the object overlap Augmented reality image output method, characterized in that the degradation.

delete