KR102474528B1 - Apparatus and Method for Outputting a Realistic Augmented Reality Image - Google Patents
Apparatus and Method for Outputting a Realistic Augmented Reality Image Download PDFInfo
- Publication number
- KR102474528B1 KR102474528B1 KR1020200037216A KR20200037216A KR102474528B1 KR 102474528 B1 KR102474528 B1 KR 102474528B1 KR 1020200037216 A KR1020200037216 A KR 1020200037216A KR 20200037216 A KR20200037216 A KR 20200037216A KR 102474528 B1 KR102474528 B1 KR 102474528B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- output
- reality image
- unit
- wearer
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
Abstract
현실감 있는 증강현실 영상을 출력하는 장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 증강현실 영상을 출력하는 영상 출력부와 상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부와 상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부 및 출력될 증강현실 영상과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치를 제공한다.An apparatus and method for outputting a realistic augmented reality image are disclosed.
According to an aspect of the present embodiment, an image output unit that outputs an augmented reality image, a mirror unit that reflects an augmented reality image output from the image output unit to the wearer's eyeball, and transmits light incident from the outside, and the mirror unit Arranged on one side, the adjustment unit for adjusting the transmittance of some or all of the light incident on the mirror unit from the outside and the augmented reality image to be output and the object existing outside in the direction of the augmented reality image to be output Check whether the overlap, It provides an augmented reality image output device comprising a control unit for controlling the adjustment unit or the image output unit according to the confirmation result.
Description
본 발명은 현실감 있는 증강현실 영상을 출력하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for outputting a realistic augmented reality image.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this part merely provide background information on the present embodiment and do not constitute prior art.
증강현실(Augmented Reality)이란, 실제 환경에 3차원 영상을 삽입하여 현실 세계 정보와 가상의 영상을 혼합한 것을 의미한다.Augmented Reality means mixing real world information and virtual images by inserting a three-dimensional image into a real environment.
현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고, 때로는 사용자가 필요로 하는 정보가 부족할 수도 있다. 그러나 증강현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자에게 현실 세계와 필요한 정보의 상호 작용이 이루어지도록 하는 것이다.Real-world information includes information that users do not need, and sometimes information that users need may be lacking. However, by combining the real world and the virtual world, the augmented reality system allows users to interact with the real world and necessary information in real time.
종래의 증강현실 영상 출력장치는 증강현실 영상을 출력함에 있어 착용자의 시각에서 보이는 실제 물체들과의 원근과는 무관하게 일정한 영상을 출력한다. 즉, 종래의 증강현실 영상 출력장치는 착용자의 안구를 기준으로 출력될 증강현실 영상으로부터 가까이에 위치하고 있는 물체와의 관계 및 출력될 영상으로부터 멀리 위치하고 있는 물체와의 관계를 고려하지 않은 채, 일정하게 영상을 출력한다. 이러한 사정에 의해, 착용자는 단지 현실 세계 정보와 증강현실 영상 정보를 함께 시청하는 정도만을 느낄 수 있을 뿐, 증강현실 영상이 현실 세계에 반영된 것과 같은 현실감을 느끼지는 못하게 되는 문제점이 있다.When outputting an augmented reality image, a conventional augmented reality image output device outputs a constant image regardless of the perspective of real objects seen from the wearer's point of view. That is, the conventional augmented reality image output device does not consider the relationship with an object located close to the augmented reality image to be output based on the wearer's eyeball and the relationship with an object located far from the image to be output. output the video Due to these circumstances, there is a problem in that the wearer can only feel the degree of viewing the real world information and the augmented reality image information together, but cannot feel the sense of reality as the augmented reality image is reflected in the real world.
본 발명의 일 실시예는, 출력될 공간에 배치된 물체들과 증강현실 영상의 중첩여부를 고려하여, 출력할 증강현실 영상이나 입사하는 광량을 조절함으로써 현실감을 향상시킨 증강현실 영상 출력장치 및 방법을 제공하는 데 일 목적이 있다.An embodiment of the present invention is an augmented reality image output device and method that improves a sense of reality by adjusting the amount of an augmented reality image to be output or the amount of incident light in consideration of whether objects arranged in a space to be output and whether the augmented reality image overlaps with each other. It has one purpose to provide.
본 발명의 일 측면에 의하면, 증강현실 영상을 출력하는 영상 출력부와 상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부와 상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부 및 출력될 증강현실 영상과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치를 제공한다.According to one aspect of the present invention, an image output unit that outputs an augmented reality image, a mirror unit that reflects an augmented reality image output from the image output unit to the wearer's eyeball, and transmits light incident from the outside, and the mirror unit Arranged on one side, the adjustment unit for adjusting the transmittance of some or all of the light incident on the mirror unit from the outside and the augmented reality image to be output and the object existing outside in the direction of the augmented reality image to be output Check whether the overlap, It provides an augmented reality image output device comprising a control unit for controlling the adjustment unit or the image output unit according to the confirmation result.
본 발명의 일 측면에 의하면, 상기 조정부는 외부로부터 상기 미러부로 광이 입사되는 방향을 기준으로 상기 미러부의 전방에 배치되는 것을 특징으로 한다.According to one aspect of the present invention, the adjustment unit is characterized in that it is disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit.
본 발명의 일 측면에 의하면, 상기 미러부는 하프 미러인 것을 특징으로 한다.According to one aspect of the present invention, the mirror unit is characterized in that a half mirror.
본 발명의 일 측면에 의하면, 상기 영상 출력부가 출력할 수 있는 증강현실 영상의 총 면적은 광이 외부로부터 상기 미러부로 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image that can be output by the image output unit is equal to or proportional to the area where light is incident to the mirror unit from the outside.
본 발명의 일 측면에 의하면, 증강현실 영상을 출력하는 출력과정과 상기 출력과정에서 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정과 외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체를 확인하는 확인과정 및 상기 확인과정의 확인결과에 따라 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정을 포함하는 것을 특징으로 하는 증강현실 영상 출력방법을 제공한다.According to one aspect of the present invention, an output process of outputting an augmented reality image, a generation process of reflecting the augmented reality image output in the output process to the wearer's eyeball, and transmitting light incident from the outside, and The adjustment process of adjusting some or all of the transmittance, the confirmation process of confirming an object existing outside in the direction of the augmented reality image to be output, and the transmittance adjusted in the adjustment process or the output process according to the confirmation result of the confirmation process. It provides an augmented reality image output method comprising a control process for controlling the output augmented reality image.
본 발명의 일 측면에 의하면, 상기 생성과정은 미러부에 의해 동작되는 것을 특징으로 한다.According to one aspect of the present invention, the generating process is characterized in that it is operated by a mirror unit.
본 발명의 일 측면에 의하면, 상기 미러부는 하프 미러인 것을 특징으로 한다.According to one aspect of the present invention, the mirror unit is characterized in that a half mirror.
본 발명의 일 측면에 의하면, 상기 출력과정에서 출력되는 증강현실 영상의 총 면적은 광이 외부로부터 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image output in the output process is equal to or proportional to the area into which light is incident from the outside.
본 발명의 일 측면에 의하면, 착용자의 시선을 센싱하는 센서부와 증강현실 영상을 출력하는 영상 출력부와 상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부와 상기 미러부의 일측에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정부와 상기 증강현실 영상이 출력될 공간 내 존재하는 물체의 특성을 저장하는 메모리부 및 상기 센서부가 센싱한 결과를 토대로, 착용자의 시야 내 존재하는 물체의 특성을 상기 메모리부로부터 추출하고, 추출된 물체의 특성을 토대로 출력될 증강현실 영상과 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하는 것을 특징으로 하는 증강현실 영상 출력장치를 제공한다.According to one aspect of the present invention, a sensor unit for sensing a wearer's gaze, an image output unit for outputting an augmented reality image, and an augmented reality image output from the image output unit are reflected to the wearer's eyeballs, and light incident from the outside is reflected. A mirror unit for transmission, an adjustment unit disposed on one side of the mirror unit for adjusting the transmittance of some or all of light incident from the outside to the mirror unit, and a memory for storing characteristics of an object existing in a space where the augmented reality image is to be output. Based on the sensing result of the unit and the sensor unit, the characteristics of an object existing in the wearer's field of view are extracted from the memory unit, and the augmented reality image to be output based on the extracted characteristics of the object is matched with the object existing in the wearer's field of view. It provides an augmented reality image output device comprising a control unit for checking overlapping and controlling the adjustment unit or the video output unit according to the confirmation result.
본 발명의 일 측면에 의하면, 상기 조정부는 외부로부터 상기 미러부로 광이 입사되는 방향을 기준으로 상기 미러부의 전방에 배치되는 것을 특징으로 한다.According to one aspect of the present invention, the adjustment unit is characterized in that it is disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit.
본 발명의 일 측면에 의하면, 상기 영상 출력부가 출력할 수 있는 증강현실 영상의 총 면적은 광이 외부로부터 상기 미러부로 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image that can be output by the image output unit is equal to or proportional to the area where light is incident to the mirror unit from the outside.
본 발명의 일 측면에 의하면, 착용자의 시선을 센싱하는 센싱과정과 증강현실 영상을 출력하는 출력과정과 상기 출력과정에서 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정과 외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정과 상기 센싱과정에서 센싱된 결과를 토대로, 착용자의 시야 내 존재하는 물체의 특성을 추출하는 추출과정과 상기 추출과정으로부터 추출된 물체의 특성을 토대로 출력될 증강현실 영상과 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하는 확인과정 및 상기 확인과정의 확인결과에 따라 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정을 포함하는 것을 특징으로 하는 증강현실 영상 출력방법을 제공한다.According to one aspect of the present invention, a sensing process for sensing the wearer's gaze, an output process for outputting an augmented reality image, and an augmented reality image output during the output process are reflected to the wearer's eyeball, while light incident from the outside is transmitted. An extraction process of extracting the characteristics of an object existing in the wearer's field of view based on the result of the generating process, the adjustment process of adjusting the transmittance of some or all of the light incident from the outside, and the sensing process, and extraction from the extraction process A confirmation process of checking whether the augmented reality image to be output overlaps with an object existing in the wearer's field of view based on the characteristics of the displayed object, and the transmittance adjusted in the adjustment process according to the confirmation result of the confirmation process or the output in the output process. It provides an augmented reality image output method comprising a control process for controlling the augmented reality image to be.
본 발명의 일 측면에 의하면, 상기 생성과정은 미러부에 의해 동작되는 것을 특징으로 한다.According to one aspect of the present invention, the generating process is characterized in that it is operated by a mirror unit.
본 발명의 일 측면에 의하면, 상기 출력과정에서 출력되는 증강현실 영상의 총 면적은 광이 외부로부터 입사되는 면적과 동일하거나 비례하는 것을 특징으로 한다.According to one aspect of the present invention, the total area of the augmented reality image output in the output process is equal to or proportional to the area into which light is incident from the outside.
이상에서 설명한 바와 같이, 본 발명의 일 측면에 따르면, 출력될 공간에 배치된 물체들과 증강현실 영상의 중첩여부를 고려하여, 출력할 증강현실 영상이나 입사하는 광량을 조절하기 때문에, 출력되는 증강현실 영상의 현실감을 향상시킬 수 있는 장점이 있다.As described above, according to one aspect of the present invention, since the augmented reality image to be output or the amount of incident light is adjusted in consideration of whether the augmented reality image overlaps with the objects arranged in the space to be output, the augmented reality image to be output is adjusted. It has the advantage of improving the realism of real images.
도 1은 본 발명의 일 실시예에 따른 다초점 광학계를 포함한 증강현실 영상 출력 장치의 실시예를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 영상 출력장치의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 광학계의 구성도이다.
도 4 내지 6은 본 발명의 일 실시예에 따라 출력되는 증강현실 영상과 현실 세계의 물체와의 관계를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 광학계로부터 증강현실 영상이 출력되는 방법을 도시한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 증강현실 영상 출력장치가 증강현실 영상을 출력하는 방법을 도시한 순서도이다.1 is a diagram showing an embodiment of an augmented reality image output device including a multifocal optical system according to an embodiment of the present invention.
2 is a configuration diagram of an augmented reality image output device according to an embodiment of the present invention.
3 is a configuration diagram of an optical system according to an embodiment of the present invention.
4 to 6 are diagrams illustrating the relationship between an augmented reality image output according to an embodiment of the present invention and an object in the real world.
7 is a flowchart illustrating a method of outputting an augmented reality image from an optical system according to an embodiment of the present invention.
8 is a flowchart illustrating a method of outputting an augmented reality image by an augmented reality image output device according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, or substitutes included in the spirit and technical scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에서, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no intervening element exists.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. It should be understood that terms such as "include" or "having" in this application do not exclude in advance the possibility of existence or addition of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification. .
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호간 모순되지 않는 범위 내에서 공유될 수 있다.In addition, each configuration, process, process or method included in each embodiment of the present invention may be shared within a range that does not contradict each other technically.
도 1은 본 발명의 일 실시예에 따른 다초점 광학계를 포함한 증강현실 영상 출력 장치의 실시예를 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 증강현실 영상 출력장치의 구성도이다.1 is a diagram showing an embodiment of an augmented reality image output device including a multifocal optical system according to an embodiment of the present invention, and FIG. 2 is a configuration diagram of an augmented reality image output device according to an embodiment of the present invention. .
도 1 및 도 2를 참조하면, 증강현실 영상 출력 장치(100)는 통신부(210), 메모리부(220), 제어부(230), 영상 출력부(240), 광학계(250), 센서부(260) 및 전원부(270)를 포함한다.1 and 2, the augmented reality
통신부(210)는 외부로부터 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성 정보 및 출력하고자 하는 증강현실 영상의 특성 정보를 수신한다.The
통신부(210)는 유·무선 통신을 이용하여 외부로부터 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성 정보를 수신한다. 통신부(210)는 특정 공간의 물체의 특성을 측정하는 장치, 예를 들어, 뎁스(Depth) 카메라, TOF(Time of Flight) 카메라 또는 스테레오 카메라 등으로부터 수신한다. 여기서, 물체의 특성은 물체가 특정 공간 내에서 위치한 절대좌표 및 물체의 면적이나 부피 등을 포함한다. 통신부(210)는 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성을 외부의 장치로부터 수신한다.The
통신부(210)는 유·무선 통신을 이용하여 외부로부터 출력하고자 하는 증강현실 영상의 특성정보를 수신한다. 마찬가지로, 증강현실 영상의 특성정보는 출력하고자 하는 증강현실 영상의 내용, 출력할 절대좌표 및 증강현실 영상의 면적이나 부피 등을 포함한다. 통신부(210)는 증강현실 영상의 특성정보를 외부로부터 수신함으로써, 영상 출력부(240)가 증강현실 영상을 출력할 수 있도록 한다.The
통신부(210)는 유·무선 통신을 이용하여 착용자로부터 영상 또는 광의 광량의 설정에 관한 제어신호를 수신할 수 있다. 후술하는 바와 같이, 물체와 출력될 증강현실 영상에 중첩이 발생하는 경우, 중첩이 발생한 영역만큼 물체나 영상에서 광량의 저하가 발생한다. 이때, 착용자는 광량의 저하 정도를 원하는 대로 설정할 수 있으며, 광량의 설정에 관한 제어신호를 통신부(210)로 별도의 단말을 이용하여 전송할 수 있다. 통신부(210)는 광량의 설정에 관한 제어신호를 수신하여 제어부(230)로 전달한다.The
메모리부(220)는 통신부(210)가 수신한 현실 공간 내 존재하는 물체들의 특성 정보 및 출력하고자 하는 증강현실 영상의 특성 정보를 저장한다. 제어부(230)가 수신한 정보들을 수신 후에 처리할 수 있도록, 메모리부(220)는 이러한 정보들을 저장한다.The
제어부(230)는 메모리부(220)에 저장된 데이터 또는 센서부(260)가 센싱한 센싱값을 토대로, 영상 출력부(240) 또는 광학계(250)의 동작을 제어한다.The
제어부(230)는 메모리부(220)에 저장된 데이터를 고려하여, 출력될 증강현실 영상과 출력될 증강현실 영상의 방향에 존재하는 물체의 중첩여부를 확인한다. 제어부(230)는 메모리부(220)에 저장된 출력하고자 하는 증강현실 영상의 특성정보를 분석하여, 착용자가 존재하는 현실 공간 내에서 어느 좌표로 얼마 만큼의 면적을 갖는 증강현실 영상이 출력될 것인지 판단한다. 제어부(230)는 메모리부(220)에 저장된 물체들의 특성정보를 분석하여, 출력될 증강현실 영상의 방향에 위치하고 있는 물체들의 특성정보를 추출한다. 제어부(230)는 특성정보 내 좌표를 분석하여 착용자의 안구를 기준으로 각 물체와 증강현실 영상의 원근을 파악할 수 있으며, 특성정보 내 면적을 추출하여, 증강현실 영상이 출력되는 방향을 기준으로 각 물체와 증강현실 영상이 서로 중첩(Occlusion)되는지를 확인한다. 예를 들어, 제어부(230)는 착용자의 안구를 기준으로 출력될 증강현실 영상보다 가까이 또는 멀리 있는 물체의 좌표와 면적을 고려하여, 특정 면적의 증강현실 영상가 특정 좌표로 출력되면 해당 물체와 얼마의 면적만큼 중첩(Occlusion)이 일어날 것인지 확인할 수 있다.The
나아가, 제어부(230)는 메모리부(220)에 저장된 데이터 뿐만 아니라 센서부(260)가 센싱한 센싱값을 함께 고려하여, 중첩여부를 확인할 수 있다. 전술한 대로, 제어부(230)는 출력될 증강현실 영상의 방향에 위치하는 물체들의 특성정보뿐만 아니라, 센서부(260)가 센싱한, 착용자의 시선을 고려하여, 메모리부(220)에서 착용자의 시야 내 존재하는 물체들의 특성정보를 추출한다. 착용자가 증강현실 영상 출력장치(100)를 착용한 채 이동하거나, 착용한 상태에서 시선을 다른 방향으로 돌리는 경우가 발생할 수 있다. 이러한 경우, 출력되어야 할 증강현실 영상의 내용뿐만 아니라, 증강현실 영상과 착용자의 시선 상에 위치하는 물체도 변할 수 있으며, 물체가 바뀌지 않더라도 착용자의 시선에 의해 물체와 증강현실 영상이 중첩되는지 여부와 중첩되는 면적이 변할 수 있다. 예를 들어, 육면체를 출력하는 증강현실 영상을 가정하면, 정면에서는 단순하게 사각형으로 출력되던 증강현실 영상의 내용이 측면에서는 입체적인 육면체의 내용으로 변할 수 있다. 또한, 내용이 입체적인 육면체로 변하며, 중첩되지 않고 있었던 다른 물체와 중첩이 발생할 수도 있고, 기 중첩되던 물체와 중첩되는 면적이 증가하거나 감소할 수도 있다. 제어부(230)는 메모리부(220)에 저장된 데이터 뿐만 아니라 센서부(260)가 센싱한 센싱값을 함께 고려하여, 착용자의 시선변화에도 능동적으로 영상과 물체의 중첩여부를 확인한다.Furthermore, the
제어부(230)는 영상과 물체의 중첩여부 확인결과에 따라, 영상 출력부(240) 또는 광학계(250)를 제어한다. 영상과 물체가 중첩됨에 있어 여러 경우가 존재하며, 각 경우는 도 4 내지 6에 도시되어 있다.The
도 4 내지 6은 본 발명의 일 실시예에 따라 출력되는 증강현실 영상과 현실 세계의 물체와의 관계를 도시한 도면이다.4 to 6 are diagrams illustrating the relationship between an augmented reality image output according to an embodiment of the present invention and an object in the real world.
도 4를 참조하면, 출력될 증강현실 영상(410)이 물체(420)보다 착용자의 안구를 기준으로 가까이에 출력되는 경우가 존재한다. 이때, 출력될 증강현실 영상(410)과 물체(420)의 각각의 면적이나 부피에 따라, 중첩이 발생하는 영역(430)이 존재할 수 있다. 중첩이 발생하는 경우, 중첩이 발생하는 영역(430)에서는 착용자의 안구를 기준으로 증강현실 영상(410)이 물체(420)보다 가까이 존재하기 때문에, 현실감이 향상되기 위해서는 중첩이 발생하는 영역(430)에서 증강현실 영상(410)이 착용자에 보여야 하며 물체(420)는 거의 보이지 않아야 한다. 확인 결과에 따라, 출력될 증강현실 영상(410)이 착용자의 안구를 기준으로 물체(420)보다 가까이 존재하는 경우에서 중첩이 발생한 경우, 제어부(230)는 외부로부터 광학계(250)로 입사되는, 실제 환경 상에 대응되는 광 중 중첩이 발생하는 영역(430)에 대응되는 부분에 대해 해당 부분의 투과율을 저하시키도록 광학계(250)를 제어한다. 중첩이 발생하는 영역(430)에 대응되는 부분의 광 투과율이 저하되기 때문에, 착용자에게 해당 부분은 어둡게 보이거나 잘 안보이게 되어, 상대적으로 증강현실 영상(410)만이 뚜렷하게 보이게 된다. 이로서, 착용자는 증강현실 영상(410)이 물체(420)보다 자신에 가까이 배치되어 있음을 인지할 수 있다.Referring to FIG. 4 , there is a case where an
도 5를 참조하면, 출력될 증강현실 영상(410)이 물체(510)보다 착용자의 안구를 기준으로 먼 위치에 출력되는 경우가 존재한다. 마찬가지로, 출력될 증강현실 영상(410)과 물체(510)의 각각의 면적이나 부피에 따라, 중첩이 발생하는 영역(520)이 존재할 수 있다. 중첩이 발생하는 경우, 중첩이 발생하는 영역(520)에서는 착용자의 안구를 기준으로 물체(510)가 증강현실 영상(410)보다 가까이 존재하기 때문에, 현실감이 향상되기 위해서는 중첩이 발생하는 영역(520)에서 물체(510)가 착용자에 보여야 하며 증강현실 영상(410)은 거의 보이지 않아야 한다. 이에, 제어부(230)는 영상 출력부(240)를 제어하여, 출력될 증강현실 영상(410) 중 중첩이 발생하는 영역(520) 부분으로 출력될 부분의 광량을 저하시킨다. 중첩이 발생하는 영역(520)으로 출력될 증강현실 영상의 광량이 낮기 때문에, 착용자에게 해당 부분은 어둡게 보이거나 잘 안보이게 되어, 상대적으로 물체(510)만이 뚜렷하게 보이게 된다. 이로서, 착용자는 물체(510)가 증강현실 영상(410)보다 자신에 가까이 배치되어 있음을 인지할 수 있다.Referring to FIG. 5 , there is a case where an
한편, 도 6을 참조하면, 증강현실 영상(410)이 출력될 좌표로 다양한 좌표에 배치된 다양한 물체(420, 510)들이 존재할 수 있다. 이러한 경우, 제어부(230)는 각각의 물체와 증강현실 영상(410)과의 중첩이 발생하는 영역(430, 520)을 파악하여, 착용자의 안구를 기준으로 원근에 따라 광학계(250)를 제어하거나 영상 출력부(240)를 제어한다.Meanwhile, referring to FIG. 6 ,
다시 도 2를 참조하면, 제어부(230)는 영상과 물체의 중첩여부와 중첩시 착용자 안구를 기준으로 영상과 물체의 원근에 따라, 영상 출력부(240)나 광학계(250)를 제어한다. 전술한 대로, 제어부(230)는 증강현실 영상이 착용자 안구를 기준으로 물체보다 근접한 상태에서 중첩이 발생하는 경우, 중첩이 발생한 영역에 대해 물체의 해당 영역이 착용자에 잘 보이지 않도록 광학계(250)를 제어한다. 반대로, 제어부(230)는 증강현실 영상이 착용자 안구를 기준으로 물체보다 먼 상태에서 중첩이 발생하는 경우, 중첩이 발생한 영역에 대해 영상의 해당 영역이 착용자에 잘 보이지 않도록 영상 출력부(240)를 제어한다.Referring back to FIG. 2 , the
나아가, 제어부(230)는 센서부(260)가 센싱한 센싱값을 함께 고려하여, 영상 출력부(240)나 광학계(250)를 제어한다. 전술한 대로, 착용자의 시선 방향에 따라, 출력될 증강현실 영상의 내용이 가변될 수 있다. 이처럼, 제어부(230)는 착용자의 시선에 따른 상대좌표를 반영하여, 출력할 증강현실 영상을 조정한다. 조정되는 내용으로는 출력될 증강현실 영상의 내용 뿐만 아니라, 출력될 증강현실 영상의 면적이나 부피도 포함될 수 있다. 전술한 예와 같이, 육면체를 출력하는 증강현실 영상을 가정하면, 정면에서와 측면에서 출력되는 증강현실 영상의 내용뿐만 아니라 면적이나 부피까지 달라질 수 있다. 또한, 제어부(230)는 착용자의 시선에 따라 달라지는 증강현실 영상의 특성(내용 및 면적이나 부피)에 의해, 착용자의 시선이 달라지면 물체와의 중첩여부 및 발생한 중첩의 면적이 달라질 수 있다. 따라서, 제어부(230)는 센싱값을 고려하여 착용자의 시선이 달라진 경우, 출력할 증강현실 영상의 내용을 조정하며, 이와 함께 착용자의 시야 내 존재하는 물체들 및 그것들과 영상 간에 중첩여부와 면적 등을 다시 조정한다. 제어부(230)는 조정된 내용에 따라, 영상 출력부(240)나 광학계(250)를 다시 제어한다.Furthermore, the
제어부(230)는 광량의 설정에 관한 제어신호에 따라, 영상 출력부(240)나 광학계(250)를 제어한다. 제어부(230)는 중첩이 발생한 영역에 대해 광량을 조정함에 있어, 통신부(210)가 착용자로부터 수신한 광량의 설정에 관한 제어신호에 따라 조정할 수 있다. 제어부(230)는 해당 제어신호에 따라 광량을 조정하도록 영상 출력부(240)나 광학계(250)를 제어함으로써, 착용자의 만족감을 향상시킬 수 있다.The
영상 출력부(240)는 메모리부(220) 내 저장된 출력하고자 하는 증강현실 영상의 특성 정보 및 제어부(230)의 제어에 따라 증강현실 영상을 출력한다. 영상 출력부(240)는 메모리부(220) 내 저장된 증강현실 영상을 출력하되, 제어부(230)의 제어에 따라, 증강현실 영상의 내용이나 중첩이 발생한 영역에 광량을 조정하여 출력할 수 있다.The
광학계(250)는 출력된 증강현실 영상과 외부로부터 입사되는, 실제 환경 상의 광을 착용자의 안구로 입사시킨다. 광학계(250)에 대해서는 도 3에 상세히 도시되어 있다.The
도 3은 본 발명의 일 실시예에 따른 광학계의 구성도이다.3 is a configuration diagram of an optical system according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 일 실시예에 따른 광학계(250)는 미러부(310) 및 조정부(320)를 포함한다.Referring to FIG. 3 , an
미러부(310)는 영상 출력부(240)로부터 출력된 증강현실 영상을 착용자의 안구 방향으로 반사시킨다. 영상 출력부(240)는 외부로부터 입사되는, 실제 환경상의 광의 진로에 영향을 주어서는 안되기 때문에, 외부로부터 광이 입사되는 방향이 아닌 다른 방향(특히, 미러부(310)에 의해 광이 착용자의 안구로 반사될 수 있는 방향)에 배치되어 증강현실 영상을 출력한다. 미러부(310)는 출력된 증강현실 영상을 반사하여, 착용자의 안구로 입사시킨다.The
미러부(310)는 외부로부터 입사되는, 실제 환경상의 광을 투과시켜 착용자의 안구로 입사시킨다. 외부의 물체나 환경(330)을 착용자가 인식할 수 있도록, 미러(310)는 외부로부터 입사되는, 실제 환경상의 광은 투과시켜 착용자의 안구로 입사될 수 있도록 한다. The
미러부(310)는 하프 미러(Half Mirror)로 구현될 수 있으나 반드시 이에 한정되는 것은 아니고, 일 방향에서 입사되는 광은 반사시키는 반면, 다른 방향에서 입사되는 광은 투과시키는 성질을 갖는 광학기기면 어떠한 것으로 대체되어도 무방하다.The
조정부(320)는 외부로부터 미러부(310)로 입사되는 광의 일부 또는 전부의 투과율을 조정한다. 조정부(320)는 외부로부터 미러부(310)로 광이 입사하는 방향을 기준으로 미러부(310)의 전방에 배치되어, 외부로부터 미러부(310)로 입사되는 광의 일부 또는 전부의 투과율을 조정한다. 조정부(320)는 외부의 신호에 따라 일부 또는 전부분의 광 투과율을 조정할 수 있는 소자로 구현되어, 제어부(230)의 제어에 따라 일부 또는 전부분의 광 투과율을 조정한다. 조정부(320)가 일부 또는 전부의 광 투과율을 조정함으로써, 증강현실 영상이 출력되는 방향에 배치된(착용자의 시선 상에 배치된) 물체 내 중첩이 발생한 영역의 광 투과율을 조정(주로, 어둡게)할 수 있다.The adjusting
조정부(320)는 영상 출력부(240)가 증강현실 영상을 출력할 수 있는 총 면적과 동일하거나 비례하는 면적을 가질 수 있다. 영상 출력부(240)가 어떠한 위치에 증강현실 영상을 출력하여 물체와의 중첩을 발생시킬지 모르기 때문에, 조정부(320)는 영상 출력부(240)가 임의의 위치로 증강현실 영상을 출력하여 중첩을 유발하더라도, 경우에 따라 중첩되는 면적만큼 광 투과율을 조정할 수 있도록 영상 출력부(240)가 증강현실 영상을 출력할 수 있는 총 면적과 동일하거나 비례하는 면적을 가질 수 있다. The
다시 도 2를 참조하면, 센서부(260)는 착용자의 시선을 센싱한다. 센서부(260)는 착용자의 시선을 센싱하기 위해 눈동자의 움직임 등을 센싱할 수 있으며, 정확한 센싱을 위해 하나 이상의 센서를 포함할 수 있다. 센서부(260)는 센싱값을 제어부(230)로 전달한다.Referring back to FIG. 2 , the
전원부(270)는 증강현실 영상 출력장치(100) 내 각 구성(210 내지 260)을 작동시키는 전원을 각 구성으로 공급한다.The
도 7은 본 발명의 일 실시예에 따른 광학계로부터 증강현실 영상이 출력되는 방법을 도시한 순서도이다.7 is a flowchart illustrating a method of outputting an augmented reality image from an optical system according to an embodiment of the present invention.
제어부(230)는 메모리부(220) 내 기 저장된 데이터로부터 출력될 증강현실 영상의 방향으로 존재하는 물체의 좌표와 면적을 추출한다(S710). 제어부(230)는 메모리부(220) 내 저장된 착용자가 존재하는 현실 공간 내 존재하는 물체들의 특성 정보로부터 출력될 증강현실 영상의 방향으로 존재하는 물체의 특성정보(좌표 및 면적이나 부피)를 추출한다. The
제어부(230)는 출력할 증강현실 영상의 좌표 및 면적을 확인한다(S720). 제어부(230)는 통신부(210)가 수신하여 메모리부(220) 내 저장해둔 출력할 증강현실 영상의 특성정보(좌표 및 면적이나 부피)를 확인한다.The
제어부(230)는 증강현실 영상과 물체 간 중첩여부를 확인한다(S730).The
증강현실 영상과 물체 간 중첩이 발생하지 않는 경우, 영상 출력부(240)는 증강현실 영상을 출력한다(S740). 증강현실 영상의 출력에 있어, 별도로 영상의 현실감에 관한 문제가 발생할 여지가 없기 때문에, 영상 출력부(240)는 제어부(230)에 따라 증강현실 영상을 출력한다. When overlap between the augmented reality image and the object does not occur, the
증강현실 영상과 물체 간 중첩이 발생하는 경우, 제어부(230)는 증강현실 영상이 물체보다 착용자에 근접하여 출력될지 여부를 판단한다(S750). 제어부(230)는 추출한 증강현실 영상과 물체의 특성정보로부터, 착용자의 안구를 기준으로 출력될 증강현실 영상이 중첩을 발생시키는 물체보다 착용자에 근접하여 출력될지를 판단한다.When overlap between the augmented reality image and the object occurs, the
증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우, 광학계(250)는 외부로부터 증강현실 영상과 물체가 중첩되는 면적부분으로 입사될 광량의 투과율을 조정한다(S760). 광학계(250)는 제어부(230)의 제어에 따라, 중첩이 발생한 영역으로 입사될 광량의 투과율을 조정함으로써, 물체가 증강현실 영상에 가려진 듯한 효과를 유도한다. 이로서, 착용자는 물체가 증강현실 영상보다 멀리 있는 것처럼 인식할 수 있다.When the augmented reality image is output closer to the wearer than the object, the
증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우, 영상 출력부(240)는 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 조정한다(S770). 영상 출력부(240)는 제어부(230)의 제어에 따라, 중첩이 발생한 영역으로 출력될 증강현실 영상의 광량을 조정함으로써, 증강현실 영상이 물체에 가려진 듯한 효과를 유도한다. 이로서, 착용자는 증강현실 영상이 물체보다 멀리 있는 것처럼 인식할 수 있다.When the augmented reality image is output farther from the wearer than the object, the
증강현실 영상과 중첩을 유발하는 물체가 복수 개이며, 각각의 원근이 증강현실 영상을 기준으로 상이할 경우, 전술한 S760 과정과 S770 과정은 동시에 수행될 수 있다.When there are a plurality of objects that cause overlapping with the augmented reality image, and each perspective is different based on the augmented reality image, the above-described steps S760 and S770 may be performed simultaneously.
도 8은 본 발명의 일 실시예에 따른 증강현실 영상 출력장치가 증강현실 영상을 출력하는 방법을 도시한 순서도이다.8 is a flowchart illustrating a method of outputting an augmented reality image by an augmented reality image output device according to an embodiment of the present invention.
센서부(260)는 착용자의 시선을 센싱한다(S810).The
제어부(230)는 메모리부(220) 내 기 저장된 데이터로부터 착용자의 시야 내 존재하는 물체의 좌표와 면적을 추출한다(S820).The
제어부(230)는 출력할 증강현실 영상의 좌표 및 면적을 확인한다(S830).The
제어부(230)는 착용자의 시선을 기준으로 증강현실 영상과 물체 간 중첩여부를 확인한다(S840).The
증강현실 영상과 물체 간 중첩이 발생하지 않는 경우, 영상 출력부(240)는 증강현실 영상을 출력한다(S850).When overlap between the augmented reality image and the object does not occur, the
증강현실 영상과 물체 간 중첩이 발생하는 경우, 제어부(230)는 증강현실 영상이 물체보다 착용자에 근접하여 출력될지 여부를 판단한다(S860).When overlapping between the augmented reality image and the object occurs, the
증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우, 광학계(250)는 외부로부터 증강현실 영상과 물체가 중첩되는 면적부분으로 입사될 광량의 투과율을 조정한다(S870).When the augmented reality image is output closer to the wearer than the object, the
증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우, 영상 출력부(240)는 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 조정한다(S880). When the augmented reality image is output further from the wearer than the object, the
도 7 및 8에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 7 및 8에 기재된 순서를 변경하여 실행하거나 각 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 7 및 8은 시계열적인 순서로 한정되는 것은 아니다.In FIGS. 7 and 8 , it is described that each process is sequentially executed, but this is merely an example of the technical idea of one embodiment of the present invention. In other words, those skilled in the art to which an embodiment of the present invention belongs may change and execute the order described in FIGS. 7 and 8 without departing from the essential characteristics of an embodiment of the present invention, or at least one of each process. Since various modifications and variations can be applied by executing the process in parallel, FIGS. 7 and 8 are not limited to a time-series order.
한편, 도 7 및 8에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the processes shown in FIGS. 7 and 8 can be implemented as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored. That is, computer-readable recording media include storage media such as magnetic storage media (eg, ROM, floppy disk, hard disk, etc.) and optical reading media (eg, CD-ROM, DVD, etc.). In addition, the computer-readable recording medium may be distributed to computer systems connected through a network to store and execute computer-readable codes in a distributed manner.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present embodiment, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical idea of the present embodiment, but to explain, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of this embodiment should be construed according to the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of rights of this embodiment.
100: 증강현실 영상 출력장치
210: 통신부
220: 메모리부
230: 제어부
240: 영상 출력부
250: 광학계
260: 센서부
270: 전원부
310: 미러부
320: 조정부
410: 증강현실 영상
420, 510: 물체
430, 520: 중첩이 발생한 영역100: augmented reality image output device
210: communication department
220: memory unit
230: control unit
240: video output unit
250: optical system
260: sensor unit
270: power supply
310: mirror unit
320: adjustment unit
410: augmented reality video
420, 510: object
430, 520: overlapping area
Claims (14)
상기 영상 출력부로부터 출력되는 증강현실 영상을 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부;
외부로부터 상기 미러부로 광이 입사하는 방향을 기준으로 미러부의 전방에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하고, 상기 영상 출력부가 증강현실 영상을 출력할 수 있는 총면적과 동일하거나 비례하는 면적을 갖는 조정부; 및
출력될 증강현실 영상과 출력될 증강현실 영상의 방향으로 외부에 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 착용자의 안구를 기준으로 출력될 증강현실 영상이 중첩을 발생시키는 물체보다 착용자에 근접하여 출력될지를 판단하여 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하되,
상기 영상 출력부가 출력할 수 있는 증강현실 영상의 총 면적은 광이 외부로부터 상기 미러부로 입사되는 면적과 동일하거나 비례하는 것이고,
상기 제어부는, 증강현실 영상과 물체 간 중첩이 발생하면 상기 증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우에, 상기 외부로부터 상기 조정부로 입사되는, 증강현실 영상과 물체 간 중첩이 발생하는 영역에 대응되는 부분에 대해 해당 부분의 광 투과율을 저하시키도록 상기 조정부를 제어하고, 상기 증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우에, 상기 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 저하시키도록 상기 영상 출력부를 제어하는 것을 특징으로 하는 증강현실 영상 출력장치.An image output unit for outputting an augmented reality image;
a mirror unit that reflects the augmented reality image output from the image output unit to the wearer's eyeballs and transmits light incident from the outside;
A total area that is disposed in front of the mirror unit based on the direction in which light is incident from the outside to the mirror unit, adjusts the transmittance of some or all of the light incident from the outside to the mirror unit, and the image output unit can output an augmented reality image. Adjustment unit having an area equal to or proportional to; and
Check whether the augmented reality image to be output overlaps with an external object in the direction of the augmented reality image to be output, and according to the check result, the augmented reality image to be output based on the wearer's eyeball is closer to the wearer than the object that causes the overlap. Including a control unit for controlling the adjustment unit or the video output unit by determining whether the output is close to
The total area of the augmented reality image that can be output by the image output unit is equal to or proportional to the area in which light is incident to the mirror unit from the outside,
The control unit may include, when an overlap between an augmented reality image and an object occurs, when the augmented reality image is output closer to the wearer than the object, an area in which overlapping between the augmented reality image and the object occurs, which is incident from the outside to the adjustment unit. Controls the adjustment unit to lower the light transmittance of the portion corresponding to the corresponding portion, and when the augmented reality image is output farther from the wearer than the object, the augmented reality image to be output to the portion where the object overlaps. Augmented reality image output device characterized in that for controlling the image output unit to reduce the amount of light of the real image.
상기 미러부는,
하프 미러인 것을 특징으로 하는 증강현실 영상 출력장치.According to claim 1,
The mirror part,
Augmented reality image output device characterized in that the half mirror.
미러부에 의해 상기 출력과정에서 출력되는 증강현실 영상을 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정;
외부로부터 상기 미러부로 광이 입사하는 방향을 기준으로 상기 미러부의 전방에 배치된 조정부에 의해 외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정;
출력될 증강현실 영상의 방향으로 외부에 존재하는 물체를 확인하는 확인과정; 및
상기 확인과정의 확인결과에 따라 착용자의 안구를 기준으로 출력될 증강현실 영상이 중첩을 발생시키는 물체보다 착용자에 근접하여 출력될지를 판단하여 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정을 포함하되,
상기 조정부는 영상 출력부가 증강현실 영상을 출력할 수 있는 총면적과 동일하거나 비례하는 면적을 갖고, 상기 증강현실 영상을 출력할 수 있는 총 면적은 광이 외부로부터 입사되는 면적과 동일하거나 비례하는 것이고,
상기 제어 과정은, 증강현실 영상과 물체 간 중첩이 발생하면 상기 증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우에, 상기 외부로부터 상기 조정부로 입사되는, 증강현실 영상과 물체 간 중첩이 발생하는 영역에 대응되는 부분에 대해 해당 부분의 광 투과율을 저하시키고, 상기 증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우에, 상기 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 저하시키는 것을 특징으로 하는 증강현실 영상 출력방법.An output process of outputting an augmented reality image;
a generation process of reflecting the augmented reality image output in the output process by the mirror unit to the wearer's eyeballs, and transmitting light incident from the outside;
an adjustment process of adjusting transmittance of some or all of light incident from the outside by an adjustment unit disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit;
A confirmation process of confirming an object existing outside in the direction of the augmented reality image to be output; and
According to the confirmation result of the confirmation process, it is determined whether the augmented reality image to be output based on the wearer's eyeballs is output closer to the wearer than the object that causes overlap, and the transmittance adjusted in the adjustment process or the augmentation output in the output process is determined. Including a control process for controlling the real image,
The adjustment unit has an area equal to or proportional to the total area of the image output unit capable of outputting an augmented reality image, and the total area capable of outputting the augmented reality image is equal to or proportional to an area into which light is incident from the outside,
In the control process, when overlap between the augmented reality image and the object occurs, when the augmented reality image is output closer to the wearer than the object, overlapping between the augmented reality image and the object incident from the outside into the adjusting unit occurs The light transmittance of the portion corresponding to the region is reduced, and when the augmented reality image is output farther from the wearer than the object, the amount of light of the augmented reality image to be output to the portion where the augmented reality image and the object overlap Augmented reality image output method, characterized in that the deterioration.
상기 미러부는,
하프 미러인 것을 특징으로 하는 증강현실 영상 출력방법.According to claim 5,
The mirror part,
Augmented reality image output method, characterized in that the half mirror.
증강현실 영상을 출력하는 영상 출력부;
상기 영상 출력부로부터 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 미러부;
외부로부터 상기 미러부로 광이 입사하는 방향을 기준으로 미러부의 전방에 배치되어, 외부로부터 상기 미러부로 입사되는 광의 일부 또는 전부의 투과율을 조정하고, 상기 영상 출력부가 증강현실 영상을 출력할 수 있는 총면적과 동일하거나 비례하는 면적을 갖는 조정부;
상기 증강현실 영상이 출력될 공간 내 존재하는 물체의 특성을 저장하는 메모리부; 및
상기 센서부가 센싱한 결과를 토대로, 착용자의 시야 내 존재하는 물체에 대한 좌표, 면적 또는 부피를 포함한 특성 정보를 상기 메모리부로부터 추출하고, 추출된 물체의 특성 정보를 토대로 출력될 증강현실 영상의 특성 정보를 확인한 후 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하여, 확인결과에 따라 착용자의 안구를 기준으로 출력될 증강현실 영상이 중첩을 발생시키는 물체보다 착용자에 근접하여 출력될지를 판단하여 상기 조정부 또는 상기 영상 출력부를 제어하는 제어부를 포함하되,
상기 영상 출력부가 출력할 수 있는 증강현실 영상의 총 면적은 광이 외부로부터 상기 미러부로 입사되는 면적과 동일하거나 비례하는 것이고,
상기 제어부는, 증강현실 영상과 물체 간 중첩이 발생하면 상기 증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우에, 상기 외부로부터 상기 조정부로 입사되는, 증강현실 영상과 물체 간 중첩이 발생하는 영역에 대응되는 부분에 대해 해당 부분의 광 투과율을 저하시키도록 상기 조정부를 제어하고, 상기 증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우에, 상기 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 저하시키도록 상기 영상 출력부를 제어하는 것을 특징으로 하는 증강현실 영상 출력장치.a sensor unit for sensing a wearer's gaze;
An image output unit for outputting an augmented reality image;
a mirror unit that reflects the augmented reality image output from the image output unit to the wearer's eyeballs and transmits light incident from the outside;
A total area that is disposed in front of the mirror unit based on the direction in which light is incident from the outside to the mirror unit, adjusts the transmittance of some or all of the light incident from the outside to the mirror unit, and the image output unit can output an augmented reality image. Adjustment unit having an area equal to or proportional to;
a memory unit for storing characteristics of an object existing in a space in which the augmented reality image is to be output; and
Based on the result sensed by the sensor unit, characteristic information including coordinates, areas, or volumes of an object existing within the wearer's field of view is extracted from the memory unit, and characteristics of an augmented reality image to be output based on the extracted characteristic information of the object. After checking the information, it is checked whether it overlaps with an object existing in the wearer's field of view, and according to the check result, it is determined whether the augmented reality image to be output based on the wearer's eyeball will be output closer to the wearer than the object that causes the overlap. Including a control unit for controlling the adjustment unit or the video output unit,
The total area of the augmented reality image that can be output by the image output unit is equal to or proportional to the area in which light is incident to the mirror unit from the outside,
The control unit may include, when an overlap between an augmented reality image and an object occurs, when the augmented reality image is output closer to the wearer than the object, an area in which overlapping between the augmented reality image and the object occurs, which is incident from the outside to the adjustment unit. Controls the adjustment unit to lower the light transmittance of the portion corresponding to the corresponding portion, and when the augmented reality image is output farther from the wearer than the object, the augmented reality image to be output to the portion where the object overlaps. Augmented reality image output device characterized in that for controlling the image output unit to reduce the amount of light of the real image.
증강현실 영상을 출력하는 출력과정;
미러부에 의해 상기 출력과정에서 출력되는 증강현실 영상은 착용자의 안구로 반사시키되, 외부로부터 입사되는 광은 투과시키는 생성과정;
외부로부터 상기 미러부로 광이 입사하는 방향을 기준으로 상기 미러부의 전방에 배치된 조정부에 의해 외부로부터 입사되는 광의 일부 또는 전부의 투과율을 조정하는 조정과정;
상기 센싱과정에서 센싱된 결과를 토대로, 착용자의 시야 내 존재하는 물체의 특성을 추출하는 추출과정;
상기 추출과정으로부터 추출된 물체의 특성을 토대로 출력될 증강현실 영상과 착용자의 시야 내 존재하는 물체와의 중첩여부를 확인하는 확인과정; 및
상기 확인과정의 확인결과에 따라 착용자의 안구를 기준으로 출력될 증강현실 영상이 중첩을 발생시키는 물체보다 착용자에 근접하여 출력될지를 판단하여 상기 조정과정에서 조정되는 투과율 또는 상기 출력과정에서 출력되는 증강현실 영상을 제어하는 제어과정을 포함하되,
상기 조정부는 영상 출력부가 증강현실 영상을 출력할 수 있는 총면적과 동일하거나 비례하는 면적을 갖고, 상기 증강현실 영상을 출력할 수 있는 총 면적은 광이 외부로부터 입사되는 면적과 동일하거나 비례하는 것이고,
상기 제어 과정은, 증강현실 영상과 물체 간 중첩이 발생하면 상기 증강현실 영상이 물체보다 착용자에 근접하여 출력되는 경우에, 상기 외부로부터 상기 조정부로 입사되는, 증강현실 영상과 물체 간 중첩이 발생하는 영역에 대응되는 부분에 대해 해당 부분의 광 투과율을 저하시키고, 상기 증강현실 영상이 물체보다 착용자로부터 멀리 출력되는 경우에, 상기 증강현실 영상과 물체가 중첩되는 부분으로 출력될 증강현실 영상의 광량을 저하시키는 것을 특징으로하는 증강현실 영상 출력방법.a sensing process of sensing the wearer's gaze;
An output process of outputting an augmented reality image;
a generation process of reflecting the augmented reality image output in the output process by the mirror unit to the wearer's eyeballs, while transmitting light incident from the outside;
adjusting transmittance of some or all of light incident from the outside by an adjustment unit disposed in front of the mirror unit based on a direction in which light is incident from the outside to the mirror unit;
an extraction process of extracting a characteristic of an object existing in the wearer's field of view based on a result sensed in the sensing process;
A confirmation process of checking whether an augmented reality image to be output based on the characteristics of the object extracted from the extraction process overlaps with an object existing in the field of view of the wearer; and
According to the confirmation result of the confirmation process, it is determined whether the augmented reality image to be output based on the wearer's eyeballs is output closer to the wearer than the object that causes overlap, and the transmittance adjusted in the adjustment process or the augmentation output in the output process is determined. Including a control process for controlling the real image,
The adjustment unit has an area equal to or proportional to the total area of the image output unit capable of outputting an augmented reality image, and the total area capable of outputting the augmented reality image is equal to or proportional to an area into which light is incident from the outside,
In the control process, when overlap between the augmented reality image and the object occurs, when the augmented reality image is output closer to the wearer than the object, overlapping between the augmented reality image and the object incident from the outside to the adjusting unit occurs The light transmittance of the portion corresponding to the region is reduced, and when the augmented reality image is output farther from the wearer than the object, the amount of light of the augmented reality image to be output to the portion where the augmented reality image and the object overlap Augmented reality image output method, characterized in that the degradation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200037216A KR102474528B1 (en) | 2020-03-27 | 2020-03-27 | Apparatus and Method for Outputting a Realistic Augmented Reality Image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200037216A KR102474528B1 (en) | 2020-03-27 | 2020-03-27 | Apparatus and Method for Outputting a Realistic Augmented Reality Image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210120470A KR20210120470A (en) | 2021-10-07 |
KR102474528B1 true KR102474528B1 (en) | 2022-12-06 |
Family
ID=78114595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200037216A KR102474528B1 (en) | 2020-03-27 | 2020-03-27 | Apparatus and Method for Outputting a Realistic Augmented Reality Image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102474528B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024096485A1 (en) * | 2022-11-03 | 2024-05-10 | 삼성전자 주식회사 | Wearable device that adjusts light transmittance according to illuminace of external light source and control method thereof |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100809479B1 (en) * | 2006-07-27 | 2008-03-03 | 한국전자통신연구원 | Face mounted display apparatus and method for mixed reality environment |
KR20130099317A (en) * | 2012-02-29 | 2013-09-06 | 한국전자통신연구원 | System for implementing interactive augmented reality and method for the same |
KR101938666B1 (en) * | 2012-08-08 | 2019-01-15 | 엘지전자 주식회사 | Video processing apparatus and method thereof |
KR20150070874A (en) * | 2013-12-17 | 2015-06-25 | 엘지전자 주식회사 | Grass type device and control method thereof |
-
2020
- 2020-03-27 KR KR1020200037216A patent/KR102474528B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20210120470A (en) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10451875B2 (en) | Smart transparency for virtual objects | |
KR102350300B1 (en) | Gaze swipe selection | |
CN109564472B (en) | Method, medium, and system for selecting an interaction method with a virtual object | |
US9767720B2 (en) | Object-centric mixed reality space | |
US9384737B2 (en) | Method and device for adjusting sound levels of sources based on sound source priority | |
US9646511B2 (en) | Wearable food nutrition feedback system | |
JP5961736B1 (en) | Method and program for controlling head mounted display system | |
US20190011908A1 (en) | Control method, control system, and smart glasses for first person view unmanned aerial vehicle flight | |
US9105210B2 (en) | Multi-node poster location | |
US9696547B2 (en) | Mixed reality system learned input and functions | |
US11301677B2 (en) | Deep learning for three dimensional (3D) gaze prediction | |
KR20150123226A (en) | Wearable behavior-based vision system | |
US20120274745A1 (en) | Three-dimensional imager and projection device | |
US20130321390A1 (en) | Augmented books in a mixed reality environment | |
KR20160111942A (en) | Automated content scrolling | |
US11282481B2 (en) | Information processing device | |
US20210068652A1 (en) | Glint-Based Gaze Tracking Using Directional Light Sources | |
KR20110136012A (en) | Augmented reality device to track eyesight direction and position | |
JP7547504B2 (en) | Display device and display method | |
KR102474528B1 (en) | Apparatus and Method for Outputting a Realistic Augmented Reality Image | |
JP6647150B2 (en) | Information display device | |
JP6598575B2 (en) | Method and program for controlling head mounted display system | |
KR20180004077A (en) | Method for Providing Adaptive Augmented Reality by using Tracking Eyesight | |
KR20200057480A (en) | Apparatus for controlling augmented reality, method of implementing augmented reality using the same, and system of implementing augmented reality including the same | |
KR102637117B1 (en) | Method and apparatus for virtual reality, augmented reality and mixed reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |