KR101983249B1 - An augmented reality system with dynamic representation technique of augmented images according to distance from an object - Google Patents
An augmented reality system with dynamic representation technique of augmented images according to distance from an object Download PDFInfo
- Publication number
- KR101983249B1 KR101983249B1 KR1020170180859A KR20170180859A KR101983249B1 KR 101983249 B1 KR101983249 B1 KR 101983249B1 KR 1020170180859 A KR1020170180859 A KR 1020170180859A KR 20170180859 A KR20170180859 A KR 20170180859A KR 101983249 B1 KR101983249 B1 KR 101983249B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- information
- user
- virtual
- distance
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 증강현실 시스템에 관한 것으로서, 더 상세하게는 대상물과의 거리에 따라 가상객체의 정보량이 조절되는 증강현실 시스템에 관한 것이다.The present invention relates to an augmented reality system, and more particularly, to an augmented reality system in which the amount of information of a virtual object is adjusted according to a distance from an object.
최근 카메라 모듈을 이용한 촬영 시 현실의 공간에 다양한 정보를 덧씌워 보여 주는 증강 현실(augmented reality) 기법을 이용한 컨텐츠 제공이 활발히 연구되고 있다.Recently, the provision of content using an augmented reality technique that overlays a variety of information in the space of reality when photographing with a camera module has been actively studied.
증강현실(Augmented Reality, AR)이란 가상현실(Virtual Reality, VR)의 한 분야에 속하는 기술이며, 사용자가 감각으로 느끼는 실제환경에 가상환경을 합성하여 원래의 실제환경에 가상환경이 존재하는 것처럼 느끼게 하는 컴퓨터 기법이다.Augmented Reality (AR) is a technology belonging to the field of Virtual Reality (VR), and it synthesizes the virtual environment into the real environment that the user feels and makes it feel as if the virtual environment exists in the original real environment. Is a computer technique.
이러한 증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리 현실 세계의 기반에 가상사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 장점이 있다.This augmented reality has the advantage of reinforcing and providing additional information, which is difficult to obtain only by the real world, by synthesizing a virtual object on the basis of the real world, unlike the existing virtual reality targeting only virtual spaces and objects.
즉, 사용자가 보고 있는 실사 영상에 컴퓨터 그래픽으로 만들어진 가상환경, 예를 들면, 3차원 가상환경을 정합함으로써 구현된 현실을 증강현실이라고 할 수 있다. 여기서, 3차원 가상환경은 사용자가 바라보는 실사 영상에서 필요한 정보를 제공해주고, 3차원 가상영상은 실사영상과 정합되어 사용자의 몰입도를 높일 수 있다.That is, augmented reality may be referred to as a reality that is realized by matching a virtual environment, for example, a three-dimensional virtual environment, made of computer graphics with a live image viewed by a user. Here, the 3D virtual environment provides the necessary information in the live image viewed by the user, and the 3D virtual image may be matched with the live image to increase the user's immersion.
이러한 증강현실은 단순 가상현실 기술에 비하여 3차원 가상환경에 실사영상도 같이 제공하여 현실환경과 가상환경과의 구분이 모호해지게 함으로써, 보다 나은 현실감을 제공할 수 있다.Such augmented reality can provide better realism by blurring the distinction between the real environment and the virtual environment by providing a real-time image to the three-dimensional virtual environment as compared to the simple virtual reality technology.
이와 같은 증강현실 시스템의 장점에 기인하여, 최근 세계적으로 증강현실을 접목한 기술에 대해 활발한 연구/개발이 진행되고 있다. 예를 들어, 증강 현실 기술은 방송, 광고, 전시, 게임, 테마 파크, 군용, 교육 및 프로모션 등의 분야에서 실용화가 진행 중인 상태이다.Due to the advantages of such an augmented reality system, active research / development is being progressed in recent years on the technology that combines augmented reality. For example, augmented reality technology is in practical use in the fields of broadcasting, advertising, exhibitions, games, theme parks, military, education and promotion.
이동 단말기는 최근 휴대폰, PDA(personal digital assistants), UMPC(ultra mobile personalcomputer) 등 모바일 기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 핸드헬드(handheld) 증강현실시스템이 가능해 졌다.The mobile terminal has recently been able to become a handheld augmented reality system by improving the computing capability of mobile devices such as mobile phones, personal digital assistants (PDAs), ultra mobile personal computers (UMPCs) and the development of wireless network devices.
이러한 시스템이 가능해지면서 모바일 기기를 사용한 증강현실 어플리케이션이 다수 개발되었다. 그리고 모바일 기기의 보급이 매우 빠르게 보편화되어 증강현실 어플리케이션을 접할 수 있는 환경이 조성되고 있는 상황이다.As these systems become possible, many augmented reality applications using mobile devices have been developed. In addition, the spread of mobile devices has become very popular and the environment for accessing augmented reality applications is being created.
더불어, 단말기의 증강현실을 이용한 다양한 부가서비스에 대한 사용자 요구가 증대하고 있으며, 이를 이용하여 단말기 사용자에게 다양한 증강현실 컨텐츠를 적용하려는 시도가 증가하고 있다.In addition, user demand for various value-added services using augmented reality of a terminal is increasing, and attempts to apply various augmented reality contents to a terminal user using the terminal are increasing.
한국특허 공개번호 제10-2016-0092292호는 "광고물에 대한 증강현실 서비스 제공 시스템 및 방법"에 관한 것으로서, 광고물에 증강현실을 적용하여 광고 대상에 관련된 정보들을 피광고자가 손쉽게 취득할 수 있고 흥미롭게 몰입하여 습득할 수 있도록 하는 등 효과적으로 전달할 수 있는 시스템을 제안하고 있다.Korean Patent Publication No. 10-2016-0092292 relates to a "system and method for providing augmented reality service for advertisements," wherein the advertiser can easily obtain information related to an advertisement target by applying augmented reality to the advertisements. In addition, it is proposed a system that can deliver effectively, such as to be immersed and learned interestingly.
한편, 사용자의 몸에 착용할 수 있는 다양한 웨어러블 디바이스 제품이 출시되고 있다. 특히 모바일 기술과 투명 디스플레이 기술을 안경에 적용하여 사용자가 안경을 통해 다양한 정보를 확인할 수 있는 시스템이 개발되고 있다.Meanwhile, various wearable device products that can be worn on a user's body have been released. In particular, by applying mobile technology and transparent display technology to the glasses, a system that allows the user to check a variety of information through the glasses are being developed.
도 1은 종래의 증강현실 시스템에서 표시되는 가상객체를 도시한 도면이다.1 is a diagram illustrating a virtual object displayed in a conventional augmented reality system.
도 1을 참조하면, 종래의 증강현실 시스템은 안경의 투명 디스플레이에 너무 많은 가상객체를 표시하므로 사용자의 시선을 가리게 되며 이러한 이유로 인해 사용자가 필요한 정보를 인지하기 어려운 문제가 발생한다.Referring to FIG. 1, the conventional augmented reality system displays too many virtual objects on a transparent display of glasses, thereby obscuring the eyes of the user, which causes a problem that the user cannot recognize the necessary information.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 객체와 사용자와의 거리에 따라 가상객체의 정보량이 동적으로 자동 조절되는 증강현실 시스템을 제공한다.The present invention has been proposed to solve the above technical problem, and provides an augmented reality system in which the amount of information of the virtual object is automatically adjusted according to the distance between the object and the user.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 3차원 가상영상을 표시함에 있어서, 현재위치정보와 상기 실제영상정보에 대응하는 상기 3차원 가상영상을 사용자의 시야범위 내에 표시하는 증강현실안경과, 상기 증강현실안경으로부터 전송되는 상기 현재위치정보와 상기 실제영상정보에 대응되는 상기 3차원 가상영상을 상기 증강현실안경에 실시간으로 제공하는 서버를 포함하고, 상기 실제영상정보의 실제객체에 각각 할당되어 표시되는 상기 3차원 가상영상의 가상객체의 정보량은, 상기 실제객체와 상기 사용자와의 거리에 따라 동적으로 조절되어 상기 증강현실안경에 표시되는 것을 특징으로 하는 증강현실 시스템이 제공된다.According to an embodiment of the present invention for solving the above problems, there is a built-in video camera for capturing the image around the user to obtain the actual image information and in displaying a three-dimensional virtual image on a transparent display, the current position information and the The augmented reality glasses for displaying the 3D virtual image corresponding to the actual image information within a user's field of view, the current position information transmitted from the augmented reality glasses, and the 3D virtual image corresponding to the real image information. And a server providing the augmented reality glasses in real time, wherein the amount of information of the virtual object of the 3D virtual image, which is allocated to the real object of the real image information and displayed, is dynamically changed according to the distance between the real object and the user. Provided with augmented reality system characterized in that the controlled to be displayed on the augmented reality glasses .
또한, 본 발명의 증강현실 시스템은 상기 사용자와 상기 실제객체 사이의 거리가 소정의 이격거리 내에 도달할 때부터 상기 실제객체에 할당된 상기 가상객체가 표시되기 시작하되, 상기 사용자와 상기 실제객체 사이의 거리가 가까워질수록 좀 더 세부적인 정보의 상기 가상객체가 표시되는 것을 특징으로 한다.In addition, the augmented reality system of the present invention starts to display the virtual object assigned to the real object when the distance between the user and the real object reaches within a predetermined distance, between the user and the real object As the distance is closer, the virtual object of more detailed information is displayed.
또한, 본 발명에 포함되는 상기 증강현실안경은, 사용자가 확인하고 싶은 상기 가상객체를 응시한 상태에서 진동이 발생했을 경우, 진동의 변화율에 대응하는 이동거리를 산출한 후 응시방향과 산출된 이동거리를 토대로 상기 가상객체의 정보량을 재설정하여 표시하는 것을 특징으로 한다.In addition, the augmented reality glasses included in the present invention, when the vibration occurs in the state staring at the virtual object that the user wants to check, after calculating the moving distance corresponding to the rate of change of the vibration gaze direction and the calculated movement The information amount of the virtual object is reset and displayed based on a distance.
또한, 본 발명에 포함되는 상기 증강현실안경은, 위성위치정보를 상기 현재위치정보로써 상기 서버에 제공하는 것을 특징으로 한다.In addition, the augmented reality glasses included in the present invention, characterized in that to provide the satellite position information to the server as the current position information.
또한, 본 발명에 포함되는 상기 증강현실안경은, 위성위치정보를 상기 현재위치정보로써 상기 서버에 제공하되, 검색된 적어도 하나 이상의 와이파이(Wi-Fi) 중계기의 신호세기를 추가로 파악하여 상기 서버로 전달하는 것을 특징으로 한다.The augmented reality glasses included in the present invention provide satellite position information to the server as the current position information, and further identify signal strengths of at least one Wi-Fi repeater to the server. It is characterized by transmitting.
또한, 본 발명의 증강현실 시스템은, 와이파이 통신모듈이 내장되며 실내의 공간에 일정한 간격으로 배치되는 복수의 센싱부;를 더 포함하고, 상기 복수의 센싱부는 상기 증강현실안경에서 주기적으로 출력되는 와이파이 핫스팟(WIFI HOTSPOT) 신호를 감지할 때마다 그 감지정보를 상기 서버로 전송하는 것을 특징으로 한다.In addition, the augmented reality system of the present invention, the Wi-Fi communication module is built-in further comprises a plurality of sensing units disposed at regular intervals in the room space, the plurality of sensing units Wi-Fi periodically output from the augmented reality glasses Each time a WIFI HOTSPOT signal is detected, the detection information is transmitted to the server.
본 발명의 실시예에 따른 증강현실 시스템은, 객체와 사용자와의 거리에 따라 가상객체의 정보량이 동적으로 자동 조절되므로, 사용자가 편리하게 원하는 가상객체의 정보를 확인할 수 있다.In the augmented reality system according to an embodiment of the present invention, since the amount of information of the virtual object is automatically adjusted according to the distance between the object and the user, the user can conveniently check the information of the desired virtual object.
따라서 증강현실광고의 형태로 가상객체가 표시될 경우 사용자가 해당 가상객체를 집중력 있게 인지하는 시간이 길어지게 되어 광고효과가 상승할 수 있다.Therefore, when the virtual object is displayed in the form of augmented reality advertising, the time for the user to concentrate on the virtual object can be lengthened, thereby increasing the advertising effect.
도 1은 종래의 증강현실 시스템에서 표시되는 가상객체를 도시한 도면
도 2는 본 발명의 실시예에 따른 증강현실 시스템(1)의 구성도
도 3 및 도 4는 증강현실 시스템(1)의 동작원리를 나타낸 도면
도 5는 증강현실 시스템(1)의 증강현실안경(100)의 구성도
도 5a는 증강현실안경(100)의 예시도
도 6은 증강현실 시스템(1)의 안전모드가 동작하는 상태도
도 7은 증강현실 시스템(1)의 오버헤드 뷰 모드(Overhead View Mode)가 동작하는 상태도1 is a view showing a virtual object displayed in a conventional augmented reality system
2 is a block diagram of an augmented
3 and 4 are views showing the operation principle of the augmented reality system (1)
5 is a block diagram of the augmented
Figure 5a is an illustration of the augmented
6 is a state in which the safe mode of the augmented
7 is a state diagram in which an overhead view mode of the augmented
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention.
도 2는 본 발명의 실시예에 따른 증강현실 시스템(1)의 구성도이고, 도 3 및 도 4는 증강현실 시스템(1)의 동작원리를 나타낸 도면이다.2 is a configuration diagram of the augmented
본 실시예에 따른 증강현실 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.Augmented
도 2 내지 도 4를 참조하면, 증강현실 시스템(1)은 증강현실안경(100)과, 서버(200)와, 복수의 센싱부(300)를 포함하여 구성된다. 여기에서 복수의 센싱부(300)는 실시예에 따라 증강현실 시스템(1)에 선택적으로 구비될 수 있는 구성이다.2 to 4, the augmented
증강현실안경(100)은 사용자 주위의 영상을 촬영하여 실제영상정보를 획득하는 영상 카메라가 내장되며 투명 디스플레이에 3차원 가상영상을 표시함에 있어서, 현재위치정보와 실제영상정보에 대응하는 3차원 가상영상을 사용자의 시야범위 내에 표시한다.The augmented
서버(200)는 증강현실안경(100)으로부터 전송되는 현재위치정보와 실제영상정보에 대응되는 3차원 가상영상을 증강현실안경(100)에 실시간으로 제공한다.The
증강현실안경(100)은 기본적으로 위성위치정보를 현재위치정보로써 서버(200)에 제공하도록 구성된다. 증강현실안경(100)에 통신모듈이 포함되어 있을 경우, 위성위치정보 뿐만 아니라 주변의 와이파이(Wi-Fi) 중계기의 위치, 기지국 위치 등이 현재위치정보로써 서버(200)에 추가로 제공될 수 있다.Augmented
예를 들어 특히 실내에서는 위성위치정보를 수신할 수 없는 경우가 많으므로, 증강현실안경(100)은, 검색된 적어도 하나 이상의 와이파이(Wi-Fi) 중계기의 신호세기를 추가로 파악하여 서버(200)로 전달할 수 있다. 즉 실내에 위치한 와이파이(Wi-Fi) 중계기의 절대위치는 미리 서버(200)에 저장되어 있으므로, 증강현실안경(100)이 검색된 와이파이(Wi-Fi) 중계기의 고유번호와 신호세기를 추가로 제공할 경우, 서버(200)에서는 증강현실안경(100)의 상대적인 이동경로를 파악할 수 있다.For example, in particular, since indoors may not be able to receive satellite location information in many cases, the
즉, 증강현실안경(100)과 와이파이(Wi-Fi) 중계기 사이의 상대적인 거리를 신호세기로써 확인할 수 있으며 이웃하는 와이파이(Wi-Fi) 중계기와의 신호세기 변화를 토대로 이동방향을 산출할 수 있다. 실내에서 현재위치정보를 획득하는 추가적인 방식에 대해서는 후술하기로 한다.That is, the relative distance between the augmented
따라서 서버(200)는 증강현실안경(100)을 착용한 사용자의 현재위치정보와, 증강현실안경(100)의 영상 카메라에서 촬영된 실제영상정보를 통해 각각의 실제객체에 할당된 가상객체를 파악하고, 이에 대한 정보를 증강현실안경(100)으로 실시간으로 전송한다.Therefore, the
한편, 실제영상정보의 실제객체에 각각 할당되어 표시되는 3차원 가상영상의 가상객체의 정보량은, 실제객체와 사용자와의 거리에 따라 동적으로 자동 조절되어 증강현실안경(100)에 표시된다.On the other hand, the amount of information of the virtual object of the three-dimensional virtual image that is assigned to the real object of the real image information, respectively, is dynamically adjusted according to the distance between the real object and the user is displayed on the augmented
따라서 사용자가 객체에 가까이 접근하였을 때 가상객체가 좀 더 세부적인 정보를 표시하므로, 사용자가 편리하게 원하는 가상객체의 정보를 확인할 수 있다. 즉, 사용자가 해당 가상객체를 집중력 있게 인지하는 시간이 길어지게 되어 정보전달 효과가 상승할 수 있다.Therefore, the virtual object displays more detailed information when the user approaches the object, so the user can conveniently check the information of the desired virtual object. That is, the time for the user to concentrate on the virtual object can be lengthened and the information transfer effect can be increased.
일반적으로 사용자는 관심있는 객체에 대한 정보를 좀 더 가까이에서 보려하는 경향이 있으므로, 사용자가 관심 객체와 멀리 떨어져 있을 때는 추상적으로 정보를 표시하고, 사용자가 관심 객체에 근접할 경우 좀 더 상세한 정보를 표시하도록 동작한다.In general, users tend to see information about objects of interest more closely, so they display information abstractly when the user is far from objects of interest, and more detailed information when the user is close to objects of interest. To display.
상기와 같이 구성되는 증강현실 시스템(1)의 세부구성과 주요동작을 좀 더 상세히 살펴보면 다음과 같다.Looking at the detailed configuration and the main operation of the augmented reality system (1) configured as described above in more detail.
도 3 및 도 4는 증강현실 시스템(1)의 동작원리를 나타낸 도면이다.3 and 4 are views showing the operating principle of the augmented reality system (1).
도 3 및 도 4를 참조하면, 사용자와 실제객체 또는 가상객체 사이의 거리가 소정의 이격거리(D1) 내에 도달할 때부터 실제객체에 할당된 가상객체가 표시되기 시작하며, 사용자와 실제객체 또는 가상객체 사이의 거리가 가까워질수록 좀 더 세부적인 정보의 가상객체가 표시된다.3 and 4, when the distance between the user and the real object or the virtual object reaches a predetermined distance D1, the virtual object assigned to the real object starts to be displayed. As the distance between virtual objects gets closer, more detailed virtual objects are displayed.
즉, 하나의 실제객체에 할당된 가상객체의 정보는 계층화되어 있다. 도 4에 도시된 바와 같이, That is, the information of the virtual object assigned to one real object is layered. As shown in FIG. 4,
가장 추상적인 가상객체(A)는 사용자가 소정의 이격거리(D1)에 진입할 때 표시되고, 사용자가 실제객체 또는 가상객체에 좀 더 접근(D2)할 경우 좀 더 구체적인 정보를 갖는 가상객체(A1, A2)가 표시된다. 또한, 사용자가 실제객체 또는 가상객체에 가장 가까이 접근(D3)할 경우 가장 구체적인 정보를 갖는 가상객체(A1-1, A1-2, A2-1, A2-2)가 표시된다.The most abstract virtual object A is displayed when the user enters a predetermined distance D1, and the virtual object having more specific information when the user approaches the real object or the virtual object more D2. A1, A2) are displayed. In addition, when the user approaches the real object or the virtual object nearest (D3), the virtual objects A1-1, A1-2, A2-1, and A2-2 having the most specific information are displayed.
예를 들어 사용자의 전방에 실제객체로써 자동 판매기가 배치되어 있다고 가정하면,For example, suppose that a vending machine is placed in front of a user as a real object.
사용자가 소정의 이격거리(D1)내로 진입할 때, 자동 판매기에 할당된 가상객체가 표시된다. 여기에서 가상객체는 자동 판매기의 아이콘으로 가정한다.When the user enters the predetermined distance D1, the virtual object assigned to the vending machine is displayed. Here, the virtual object is assumed to be an icon of the vending machine.
다음으로 사용자가 자동 판매기에 좀 더 접근(D2)할 경우, 자판기에서 판매되고 있는 음료수 제품들의 아이콘이 더 상세한 정보의 가상객체로써 표시될 수 있다.Next, when the user approaches the vending machine D2, the icons of the beverage products sold in the vending machine may be displayed as virtual objects of more detailed information.
마지막으로 사용자가 자동 판매기에 가장 가까이 접근(D3)할 경우, 각 음료수 제품의 칼로리, 성분 등이 더 상세한 정보의 가상객체로써 표시될 수 있다.Finally, when the user approaches D3 closest to the vending machine, the calories, ingredients, etc. of each beverage product may be displayed as a virtual object of more detailed information.
다른 예를 들면, 사용자의 전방에 실제객체로써 자동차 판매점이 있다고 가정하면,In another example, suppose there is a car dealership in front of the user as a real object.
사용자가 소정의 이격거리(D1)내로 진입할 때, 자동차 판매점에 할당된 가상객체가 표시된다. 여기에서 가상객체는 판매되는 자동차 브랜드 아이콘으로 가정한다.When the user enters the predetermined distance D1, the virtual object assigned to the car dealership is displayed. In this case, the virtual object is assumed to be a car brand icon that is sold.
다음으로 사용자가 자동차 판매점에 좀 더 접근(D2)할 경우, 판매되고 있는 다양한 종류의 자동차 아이콘이 더 상세한 정보의 가상객체로써 표시될 수 있다. 이때, 현재 전시되어 있는 자동차, 즉 실제객체가 있을 경우 그 실제객체 주변에 가상객체가 표시될 수 있으며, 전시되어 있지 않는 자동차, 즉 실제객체가 없을 경우에도 주변영역에 가상객체가 표시될 수 있다.Next, when the user approaches the vehicle dealership (D2) more, various kinds of car icons that are sold may be displayed as virtual objects of more detailed information. In this case, a virtual object may be displayed around a real object if there is a car currently displayed, that is, a real object, and a virtual object may be displayed in a surrounding area even when there is no car, that is, a real object. .
마지막으로 사용자가 자동차 판매점에 가장 가까이 접근(D3)할 경우, 판매되고 있는 자동차의 제원, 가격, 예상 출고일 등이 좀 더 상세한 정보의 가상객체로써 표시될 수 있다.Finally, when the user approaches the car dealership (D3) closest, the specification, price, expected release date, etc. of the car being sold may be displayed as a virtual object of more detailed information.
한편, 증강현실안경(100)은 사용자가 확인하고 싶은 가상객체 또는 실제객체를 응시한 상태에서 진동이 발생했을 경우, 진동의 변화율에 대응하는 이동거리를 산출한 후 응시방향과 산출된 이동거리를 토대로 가상객체의 정보량을 재설정하여 표시할 수 있다.On the other hand, the
즉, 사용자가 직접 이동하지 않고 진동을 통해 가상으로 이동했다고 가정하거나, 진동으로 이동거리에 가중치를 부여하고, 그 가상 이동거리에 따라 가상객체의 정보량을 재설정하여 표시할 수 있다.That is, it may be assumed that the user has moved virtually through vibration without directly moving, or the moving distance is weighted by vibration, and the information amount of the virtual object may be reset and displayed according to the virtual moving distance.
즉, 진동의 변화율이 크다는 것은 사용자가 달리거나 빠르게 움직이는 것이며, 진동의 변화율이 작다는 것은 사용자가 천천히 움직이는 것에 해당하는 것이므로, 이를 토대로 이동거리를 산출할 수 있다. 따라서 사용자가 실제 움직이지 않고 고개 등을 위 아래로 흔들면서 진동을 부여하여 가상의 이동거리를 반영할 수도 있을 것이다.That is, a large change rate of vibration means that the user runs or moves quickly, and a small change rate of vibration corresponds to a user moving slowly, and thus the moving distance can be calculated based on this. Therefore, the user may reflect the virtual moving distance by giving vibration while shaking the head up and down without actually moving.
사용자가 확인하고 싶은 방향을 응시한 상태, 예를 들어 사용자가 오른쪽으로 고개를 돌리고 오른쪽을 바라보는 동시에 진동이 계속해서 발생할 경우, 증강현실안경(100)은 사용자의 응시방향과 진동을 토대로 이동방향 및 이동거리를 산출한다.When the user gazes at the direction that the user wants to check, for example, when the user turns his head to the right and looks at the right side and the vibration continues to occur, the
즉, 증강현실안경(100)은 내장된 센서를 통해 사용자의 머리 회전을 감지하고, 진동을 감지한 후 가상의 현재위치를 산출하는데, 걷거나 뛰는 행동을 진동의 변화율을 통해 그 이동거리를 파악한다. That is, the
증강현실안경(100)은 사용자가 응시한 방향을 감지할 때, 머리의 회전방향을 토대로 응시방향을 감지하도록 구성될 수 있고, 눈동자의 이동방향을 감지하여 응시방향을 감지하도록 구성될 수 있을 것이다.The
또한, 머리의 회전방향 및 눈동자의 이동방향을 동시에 감지하고, 두 감지결과에 우선비중을 달리하여 응시방향을 보다 정밀하게 산출할 수 있다. 즉, 머리의 회전으로 인한 회전각도 감지에 50% 내지 100%의 비중을 부여하고, 눈동자의 이동방향에 0% 내지 60%의 비중을 부여하여 응시방향을 산출하도록 구성될 수 있을 것이다. In addition, the direction of rotation of the head and the direction of movement of the pupil are simultaneously sensed, and the gaze direction can be more precisely calculated by varying the priority ratio of the two detection results. That is, it may be configured to calculate the gaze direction by giving a specific gravity of 50% to 100% in the rotation angle detection due to the rotation of the head, and giving a specific gravity of 0% to 60% in the moving direction of the pupil.
또한, 증강현실안경(100)에서 이동거리확장 설정모드를 선택하고 실행하여, 산출된 가상 이동거리의 2배 내지 100배의 거리 가중치가 반영되도록 사용자가 설정할 수도 있다.In addition, by selecting and executing the movement distance extension setting mode in the
또한, 증강현실안경(100)은 진동의 변화율에 대응하는 이동거리를 산출함에 있어서, 노이즈 값을 제외하기 위해, 진동 크기의 상위값 10%와 하위값 20%를 제외하고, 나머지 진동값의 변화율을 토대로 이동거리를 산출할 수 있다.In addition, the
결과적으로 사용자는 실제로 실제객체 또는 가상객체로 접근하지 않거나, 아주 조금 접근하더라도 실제객체 또는 가상객체 바로 앞에 접근한 것과 같은 정보량을 갖는 가상객체를 확인할 수 있다.As a result, a user can identify a virtual object that does not actually access the real object or the virtual object, or has the same amount of information as if the object or virtual object is accessed in front of it.
도 5는 증강현실 시스템(1)의 증강현실안경(100)의 구성도이고, 도 5a는 증강현실안경(100)의 예시도이다.5 is a configuration diagram of the
도 5 및 도 5a를 참조하면, 증강현실안경(100)은 투명 디스플레이(110)와, 좌측 전방 카메라(121)와, 우측 전방 카메라(122)와, 좌측 3D센서(131)와, 우측 3D센서(132)와, 위성모듈(141)과, 통신모듈(142)과, 9축 센서(143)와, 배터리(144)와, 인식 카메라(145)와, 제어부(150)를 포함하여 구성된다.5 and 5A, the
투명 디스플레이(110)는 투명한 재질의 디스플레이로써 증강현실안경(100)의 렌즈를 구성한다. 따라서 사용자가 전방을 주시한 상태에서 실제객체와 가상객체를 동시에 확인할 수 있다. 이때 투명 디스플레이(110)는 렌즈 전체 또는 렌즈 일부에 탑재될 수 있다.The
좌측 전방 카메라(121)는 안경의 좌측에 탑재되어 전방의 실제영상정보를 획득한다. 또한, 우측 전방 카메라(122)는 안경의 우측에 탑재되어 전방의 실제영상정보를 획득한다.The left
좌측 3D센서(131) 및 우측 3D센서(132)는 좌측 전방 카메라(121) 및 우측 전방 카메라(122)와 연동되어 전방의 3D영상을 촬영할 수 있도록 동작한다. 즉 촬영된 3D 영상은 내장된 메모리에 저장되거나 서버(200)로 전송될 수 있다. 참고적으로 실시예에 따라 전방 카메라 및 3D센서가 하나씩 배치되어 실제영상정보를 획득하도록 구성될 수도 있을 것이다. 전방 카메라는 적외선 영역 및 가시광선 영역을 모두 촬영할 수 있도록 구성되는 것이 바람직하다.The
위성모듈(141)은 위성위치정보를 획득하기 위해 구비되고, 통신모듈(142)은 와이파이(Wi-Fi) 통신모듈, 블루투스 통신모듈, 광대역(3G, 4G, LTE) 통신모듈이 탑재될 수 있다.The satellite module 141 is provided to acquire satellite location information, and the
9축 센서(143)는 가속도 3축, 관성 3축, 지자기 3축으로 총 9축의 값이 측정되기 때문에 9축 센서라고 지칭되며, 온도값에 대한 보정을 위해 온도센서가 추가로 구비될 수 있다. 9축 센서(143)는 증강현실안경(100)의 3차원적인 움직임을 감지하여 사용자의 응시방향, 이동방향, 기울기 등을 감지할 수 있다.The nine-
배터리(144)는 증강현실안경(100)에 구동전원을 공급할 수 있도록 구성되며 충전 가능한 리튬이온 배터리나, 의사 캐패시터로 구성될 수 있다.The
참고적으로, 배터리(144)는 복수의 의사 캐패시터(Pseudo Capacitor)로 구성될 수 있는데, 의사 캐패시터(Pseudo Capacitor)는 전극에서의 이차원적인 산화-환원 반응을 이용하므로 일반적인 캐패시터보다 우수한 축전용량을 가지며 수명이 상대적으로 긴 장점이 있다. For reference, the
인식 카메라(145)는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지한다. 인식 카메라(145)는 좌측 및 우측에 각각 배치되는 것이 가장 바람직하며 어느 한 방향에만 배치될 수도 있다. The
기본적으로 인식 카메라(145)는 사용자의 눈이 위치한 방향으로 촬영되고 있으나, 투명 디스플레이(110)에서 반사되는 눈의 영상을 촬영하여 눈동자의 움직임, 응시방향, 크기변화 등을 감지하도록 구성될 수도 있을 것이다.Basically, the
제어부(150)는 투명 디스플레이(110), 좌측 전방 카메라(121), 우측 전방 카메라(122), 좌측 3D센서(131), 우측 3D센서(132), 위성모듈(141), 통신모듈(142), 9축 센서(143), 배터리(144), 인식 카메라(145)의 동작을 제어한다.The
한편, 제어부(150)는 충전전력의 크기에 따라 복수의 의사 캐패시터 중 적어도 어느 하나를 선택적으로 충전하도록 구성될 수 있다. 그 충전방식에 대해서 상세히 설명하면 다음과 같다.The
복수의 의사 캐패시터가 3개 배치될 경우, 즉 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터가 배치된다고 가정한다. 이때 제1 의사 캐패시터의 충전용량이 가장 크고, 제2 의사 캐패시터의 충전용량은 제1 의사 캐패시터보다 작고, 제3 의사 캐패시터의 충전용량은 제2 의사 캐패시터보다 더 작다고 가정한다.It is assumed that when a plurality of pseudo capacitors are arranged, that is, a first pseudo capacitor, a second pseudo capacitor and a third pseudo capacitor are arranged. At this time, it is assumed that the charging capacity of the first pseudo capacitor is the largest, the charging capacity of the second pseudo capacitor is smaller than that of the first pseudo capacitor, and the charging capacity of the third pseudo capacitor is smaller than the second pseudo capacitor.
제어부(150)는 제1 의사 캐패시터, 제2 의사 캐패시터 및 제3 의사 캐패시터의 충전량을 감지한 후, 충전량이 가장 높은 순서대로 구동전력을 공급한다.The
예를 들면, 제1 의사 캐패시터의 충전량이 60%이고, 제2 의사 캐패시터의 충전량이 70%이고, 제3 의사 캐패시터의 충전량이 80%일 경우,For example, when the charge amount of the first pseudo capacitor is 60%, the charge amount of the second pseudo capacitor is 70%, and the charge amount of the third pseudo capacitor is 80%,
제3 의사 캐패시터의 전력을 우선으로 공급하다가, 충전량이 40%에 도달하면 제3 의사 캐패시터의 전력공급을 차단하고 제2 의사 캐패시터의 전력을 공급한다. 또한, 제2 의사 캐패시터의 충전량이 40%에 도달하면 제2 의사 캐패시터의 전력공급을 차단하고 제1 의사 캐패시터의 전력을 공급한다.While the power of the third pseudo capacitor is first supplied, when the charge amount reaches 40%, the power supply of the third pseudo capacitor is cut off and the power of the second pseudo capacitor is supplied. In addition, when the charge amount of the second pseudo capacitor reaches 40%, the power supply of the second pseudo capacitor is cut off and the power of the first pseudo capacitor is supplied.
또한, 제1 내지 제3 의사 캐패시터의 충전량이 모두 40% 이하 일 경우, 제어부(150)는 제1 내지 제3 의사 캐패시터를 병렬로 연결하여 구동전력을 공급한다.In addition, when the charging amount of the first to third pseudo capacitors is all 40% or less, the
도 6은 증강현실 시스템(1)의 안전모드가 동작하는 상태도이다.6 is a state diagram in which the safe mode of the
증강현실 시스템(1)은 사용자의 안전을 위해 안전모드가 설정될 수 있다.The
안전모드가 설정될 경우, 증강현실안경(100)은 전방 카메라(121, 123)를 통해 사용자에게 접근하는 실제객체를 감지한다. 즉, 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게 접근하는 것을 감지하여 위험상황을 투명 디스플레이(110)에 표시할 수 있다.When the safety mode is set, the
도 6을 참조하면, 사용자가 전방을 주시하고 있는 상태의 화면이 도시되어 있는데, 중앙에 점선으로 표시된 사각영역은 시선집중구역으로 정의되며 점선의 테두리로 그 영역이 정의되어 있다. 이때, 전방 카메라(121, 122)에서 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 빠르게(소정의 속도 이상) 접근하는 것을 감지할 경우,Referring to FIG. 6, a screen in which a user is looking forward is shown. A rectangular area indicated by a dotted line in the center is defined as a gaze concentration area and the area is defined by a dotted line border. At this time, when the
시선집중구역의 크기가 자동으로 확장되고, 화면에 표시되고 있는 가상객체는 시선집중구역의 외곽방향으로 자동이동하거나, 그 투명도가 더욱 강화되어 사용자가 접근하는 실제객체를 용이하게 인지할 수 있도록 동작한다. The size of the focused area is automatically expanded and the virtual objects displayed on the screen are automatically moved in the outward direction of the focused area, or the transparency is further enhanced so that the user can easily recognize the actual object approaching. do.
사용자에게 접근하는 실제객체의 속도에 비례(정비례 또는 제곱에 비례)하여 시선집중구역의 크기, 가상객체의 투명도, 외곽방향으로 이동하는 가상객체의 이동속도가 자동 결정될 수 있다.The size of the gaze concentration zone, the transparency of the virtual object, and the moving speed of the virtual object moving in the outward direction may be automatically determined in proportion to the speed of the real object approaching the user (proportionally or in proportion to the square).
또한, 인식 카메라(145)가 사용자의 눈동자의 방향을 감지할 경우, 시선집중구역은 눈동자의 방향에 따라 자동 이동하도록 동작한다. 즉, 사용자의 눈이 오른쪽을 응시하고 있을 경우 시선집중구역은 오른쪽 방향으로 이동한 상태이다. 이때, 전방 카메라(121, 123)에서 자동차, 자전거 등과 같이 사용자에게 위험이 될 수 있는 실제객체가 사용자 방향으로 접근 - 정면에서 접근 - 하는 것을 감지할 경우, 시선집중구역은 상술한 바와 같은 안전동작을 진행하되, 사용자의 정면방향으로 시선집중구역이 자동이동한다.In addition, when the
즉, 시선집중구역은 사용자에게 빠르게 접근하는 실제객체의 방향으로 자동이동하도록 설정될 수도 있을 것이다.That is, the gaze concentration zone may be set to automatically move in the direction of a real object approaching the user quickly.
참고적으로 인식 카메라(145)는 사용자의 눈동자의 움직임과, 눈동자의 응시방향, 눈의 크기변화를 감지할 수 있으므로, 이러한 눈동자의 크기변화를 토대로 동작명령을 지시할 수 있다. For reference, the
예를 들면 사용자가 눈을 소정의 시간동안 크게 뜰 때마다 점차적으로 하위 정보에 해당하는 가상정보를 표시하고, 눈을 소정의 시간동안 작게 뜰 때마다 점차적으로 상위 정보에 해당하는 가상정보를 표시하도록 지시될 수 있다. 또한, 인식 카메라(145)의 명령 인식률을 향상시키기 위해 사용자의 눈썹에 지시용 눈썹을 부착할 수도 있다. 지시용 눈썹은 소정의 적외선 파장을 반사하는 반사도료가 코팅되어 있으며, 인식 카메라(145)는 그 적외선 파장을 인식할 수 있도록 구성되어 명령 인식율을 향상시킬 수도 있을 것이다.For example, the virtual information corresponding to the lower level information is gradually displayed whenever the user opens the eyes for a predetermined time, and the virtual information corresponding to the upper level information is gradually displayed whenever the eyes are opened for the predetermined time. Can be indicated. In addition, the instruction eyebrow may be attached to the eyebrow of the user in order to improve the command recognition rate of the
도 7은 증강현실 시스템(1)의 오버헤드 뷰 모드(Overhead View Mode)가 동작하는 상태도이다.7 is a state diagram in which an overhead view mode of the
도 7을 참조하면, 증강현실 시스템(1)은 오버헤드 뷰 모드(Overhead View Mode)가 설정될 수 있다.Referring to FIG. 7, the
오버헤드 뷰 모드(Overhead View Mode)는 사용자의 머리 위에서 촬영되어 합성된 영상이 투명 디스플레이(110)에 표시되는 모드를 의미한다.The overhead view mode refers to a mode in which an image captured and synthesized on the user's head is displayed on the
즉, 도면에 미도시되었으나 증강현실안경(100)에는 적외선 영역 및 가시광선 영역을 촬영할 수 있는 복수의 뷰 카메라가 안경 프레임을 따라 추가적으로 배열될 수 있다. 따라서 복수의 뷰 카메라에서 촬영된 영상을 합성하여 사용자의 시야에 제공할 수 있는데, 주간 뿐만 아니라 특히 야간에는 사용자가 안전하게 이동할 수 있는 발바닥 궤적을 표시할 수 있다. 이때, 발바닥 궤적은 소정의 이전 위치를 기준으로한 지면의 높이가 표시되어 사용자가 보다 안전하게 이동하는데 도움을 줄 수 있다.That is, although not shown in the drawing, a plurality of view cameras capable of capturing an infrared ray region and a visible ray region may be additionally arranged along the glasses frame in the
또한, 증강현실 시스템(1)은 와이파이 통신모듈이 내장되며 실내의 공간에 일정한 간격으로 배치되는 복수의 센싱부(300)를 더 포함하여 구성될 수 있다.The
복수의 센싱부(300)는 실내에서 증강현실안경(100)의 위치를 감지할 수 있도록 선택적으로 배치될 수 있으며,A plurality of
복수의 센싱부(300)는 증강현실안경(100)에서 주기적으로 출력되는 와이파이 핫스팟(WIFI HOTSPOT) 신호를 감지할 때마다 그 감지정보를 서버(200)로 전송하여, 서버(200)에서 복수의 센싱부(300)의 절대위치를 기준으로 증강현실안경(100)의 상대적 위치를 파악할 수 있을 것이다.Each of the plurality of sensing
상술한 바와 같이 제안한 시스템에서는 실외에서는 위성위치정보를 바탕으로 현재위치정보를 획득하고, 실내에서는 와이파이 신호를 이용하여 현재위치정보를 획득하는 방식을 설명하였다.As described above, the proposed system has described a method of acquiring the current location information based on satellite location information outdoors and the current location information using a Wi-Fi signal indoors.
한편, 실내 및 실외에서 현재위치정보를 획득할 수 있는 추가적인 방식에 대해 설명하면 다음과 같다.Meanwhile, an additional method of acquiring current location information indoors and outdoors is described as follows.
와이파이 신호를 이용하는 방식은 기본적으로 삼각측량 및 핑거 프린팅 방식으로 구분할 수 있다.The method using the Wi-Fi signal can be basically divided into triangulation and finger printing methods.
우선, 삼각측량은 3개 이상의 AP(Access Point)로부터 신호강도(Received Signal Strength, RSS)를 측정하고 신호강도를 거리로 환산한 후 방정식을 통해 위치를 계산하는 방식이다.First, triangulation is a method of measuring Received Signal Strength (RSS) from three or more APs (Access Points), converting signal strength into distance, and calculating a position through an equation.
다음으로, 핑거 프린팅 방식은 실내 공간을 작은 셀(cell)로 나누고 각 셀에서 직접 신호강도 값을 수집하고 데이터베이스화하여 라디오맵(Radio Map)을 구축한 후, 사용자 위치에서 수신된 신호강도 값을 데이터베이스와 비교하여 가장 유사한 신호 패턴을 보이는 셀을 사용자의 위치로 추정하는 방식이다.Next, the fingerprint printing method divides the indoor space into small cells, collects signal strength values directly from each cell, constructs a radio map by database, and then uses the signal strength values received from the user's location. Compared to the database, the cell showing the most similar signal pattern is estimated by the user's location.
다음으로, 주변에 스마트폰을 가진 다수의 사용자로부터 직간접적으로 와이파이 신호를 교환하면서 각 스마트폰의 위치 데이터를 수집하는 방식을 사용할 수도 있다.Next, a method of collecting location data of each smartphone may be used while exchanging Wi-Fi signals directly or indirectly from a plurality of users having smartphones in the vicinity.
또한, 증강현실안경(100)의 통신모듈(142)은 블루투스 통신모듈을 포함하고 있으므로, 블루투스 통신을 이용하여 현재위치정보를 파악할 수 있다.In addition, since the
우선, 실내공간에 복수의 비콘을 배치시킨 후 어느 하나의 비콘과 통신을 진행할 때 그 비콘 주변에 사용자가 위치하고 있다고 추정하는 방식이 있다.First, there is a method of estimating that a user is located around the beacon when communicating with any one beacon after arranging a plurality of beacons in the indoor space.
다음으로, 반구의 형태의 표면에 다수의 지향성 안테나가 배열된 수신기를 실내공간에 배치한 후, 증강현실안경(100)에서 발신한 신호를 수신하는 특정 지향성 안테나의 식별을 통해 사용자의 위치를 추정하는 방식이 있다. 이때, 2개 이상의 수신기를 배치할 경우 사용자의 위치를 삼차원형태로 식별할 수도 있다.Next, after arranging a receiver having a plurality of directional antennas arranged on the surface of the hemisphere in the indoor space, the position of the user is estimated by identifying a specific directional antenna for receiving a signal transmitted from the augmented
또한, 위성위치정보를 토대로 사용자의 현재위치정보를 파악하고 있다가, 위성위치정보의 음영지역에 진입할 경우, 9축 센서(143)의 정보를 이용하여 속도 및 이동방향을 추정하는 방식이다. 즉, 걸음 수 측정(Step counting), 보폭 추정(Stride length estimation), 방향 추정(Heading estimation)을 통해 실내에서 사용자의 위치를 추정할 수 있다. 이때, 추정정보의 정확성을 높이기 위해 사용자의 신체조건(키, 몸무게, 보폭) 등의 정보를 입력받아 위치추정 연산에 사용할 수도 있다. 9축 센서(143)의 정보를 이용할 때, 상술한 와이파이 통신을 이용한 위치추정기법을 결합하여 추정정보의 정확성을 향상시킬 수 있다.In addition, after grasping the current location information of the user based on the satellite location information, when entering the shaded area of the satellite location information, it is a method of estimating the speed and direction of movement using the information of the 9-
즉, 와이파이 기법으로 다소 정확도가 낮더라도 전역적으로(globally) 절대적인 좌표(absolute position)를 계산하고, 9축 센서(143)의 정보를 통해 지역적으로(locally) 높은 정확도의 상대 측위(relative position)를 결합하여 정확도를 향상 시킬 수 있다. 또한, 추가적으로 블루투스 통신방식을 적용하여 위치추정정보의 정확성을 보다 향상시킬 수도 있을 것이다.In other words, even though the accuracy is somewhat low by the Wi-Fi technique, the absolute position is calculated globally and the relative position of the locally high accuracy is obtained through the information of the 9-
또한, 실내공간에는 위치를 구분할 수 있는 고유의 자기장 정보가 형성되어 있으므로, 각 공간의 자기장맵을 구축한 후, 와이파이를 이용한 핑거 프린팅 방식과 유사하게 현재위치를 추정하는 방법이 적용될 수 있다. 이때, 사용자가 이동하면서 발생하는 자기장의 변화추세를 추가적인 정보로 이용할 수도 있다.In addition, since the unique magnetic field information for distinguishing the location is formed in the indoor space, a method of estimating the current position may be applied after constructing the magnetic field map of each space, similar to the fingerprint printing method using Wi-Fi. In this case, the change trend of the magnetic field generated as the user moves may be used as additional information.
또한, 실내공간에 설치된 조명을 활용하는 방법이 있다. 즉, LED 조명을 사람이 식별할 수 없을 정도의 빠르기로 점멸하면서, 특정 위치 식별자를 출력하고 증강현실안경(100)의 카메라가 특정 위치 식별자를 인식하여 위치를 추정하는 방식이 사용될 수 있다.In addition, there is a method of utilizing the lighting installed in the indoor space. That is, while blinking the LED light as fast as the human can not identify, a method of outputting a specific location identifier and the camera of the
또한, 실내공간의 여러 위치와 다양한 각도에서 찍은 이미지들을 데이터베이스화 한 다음 사용자 위치에서 찍은 사진을 매칭하는 기법이 있으며, 실내 공간의 다양한 랜드마크(간판, 상표, 방 번호, 표지판 등)를 추가 식별함으로써 위치를 교정하는 방식이 사용될 수 있다.In addition, there is a technique that makes a database of images taken from various locations and various angles of the indoor space and then matches pictures taken at the user's location, and additionally identifies various landmarks (signboards, trademarks, room numbers, signs, etc.) of the indoor space. Thereby correcting the position can be used.
참고적으로 실내공간에서 현재위치정보를 획득하는 방식은 상술한 방식을 적어도 하나 이상 조합하여 정확도를 향상시키는 것이 가장 바람직하다.For reference, the method of acquiring the current location information in the indoor space is most preferable to improve accuracy by combining at least one of the above-described methods.
또한, 증강현실안경(100)의 연산능력과, 저장 공간이 충분한 경우, 증강현실 시스템(1)은 서버(200)의 구성없이 증강현실안경(100) 자체에서 서버(200)의 역할을 수행하도록 구성될 수도 있을 것이다.In addition, when the
본 발명의 실시에 따른 증강현실 시스템(1)은, 객체와 사용자와의 거리에 따라 가상객체의 정보량이 동적으로 조절되므로, 사용자가 편리하게 원하는 가상객체의 정보를 확인할 수 있다.In the
따라서 증강현실광고의 형태로 가상객체가 표시될 경우 사용자가 해당 가상객체를 집중력 있게 인지하는 시간이 길어지게 되어 광고효과가 상승할 수 있다.Therefore, when the virtual object is displayed in the form of augmented reality advertising, the time for the user to concentrate on the virtual object can be lengthened, thereby increasing the advertising effect.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As such, those skilled in the art will appreciate that the present invention can be implemented in other specific forms without changing the technical spirit or essential features thereof. Therefore, the above-described embodiments are to be understood as illustrative in all respects and not as restrictive. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.
100 : 증강현실안경
200 : 서버
300 : 센싱부
110 : 투명 디스플레이
121 : 좌측 전방 카메라
122 : 우측 전방 카메라
131 : 좌측 3D센서
132 : 우측 3D센서
141 : 위성모듈
142 : 통신모듈
143 : 9축 센서
144 : 배터리
145 : 인식 카메라
150 : 제어부100: Augmented Reality Glasses
200: server
300: sensing unit
110: transparent display
121: left front camera
122: right front camera
131: left 3D sensor
132: right 3D sensor
141: satellite module
142: communication module
143: 9-axis sensor
144: battery
145: Recognition Camera
150: control unit
Claims (6)
상기 증강현실안경으로부터 전송되는 상기 현재위치정보와 상기 실제영상정보에 대응되는 상기 3차원 가상영상을 상기 증강현실안경에 실시간으로 제공하는 서버; 및
와이파이 통신모듈이 내장되며 실내의 공간에 일정한 간격으로 배치되는 복수의 센싱부;를 포함하고,
상기 실제영상정보의 실제객체에 각각 할당되어 표시되는 상기 3차원 가상영상의 가상객체의 정보량은, 상기 실제객체와 상기 사용자와의 거리에 따라 동적으로 조절되어 상기 증강현실안경에 표시되고,
상기 복수의 센싱부는 상기 증강현실안경에서 주기적으로 출력되는 와이파이 핫스팟(WIFI HOTSPOT) 신호를 감지할 때마다 신호세기를 상기 서버로 전송하고, 상기 서버는 적어도 3개 이상의 신호세기를 거리로 환산한 후 삼각측량을 적용하여 상기 증강현실안경의 위치를 전역적으로 파악하고, 상기 증강현실안경의 9축 센서의 정보와 사용자의 키 및 보폭의 정보를 토대로 상기 증강현실안경의 위치를 지역적으로 파악하는 것을 특징으로 하는 증강현실 시스템.
Built-in video camera for capturing the image around the user to obtain the actual image information, and in displaying the 3D virtual image on the transparent display, the 3D virtual image corresponding to the current position information and the actual image information to the user's field of view Augmented reality glasses displayed within the range;
A server providing the augmented reality glasses with the 3D virtual image corresponding to the current position information and the actual image information transmitted from the augmented reality glasses in real time; And
Wi-Fi communication module is built-in; a plurality of sensing units disposed at regular intervals in the indoor space; includes;
The amount of information of the virtual object of the 3D virtual image, which is allocated to the real object of the real image information, respectively, is dynamically adjusted according to the distance between the real object and the user, and displayed on the augmented reality glasses.
Each of the plurality of sensing units transmits signal strength to the server every time a Wi-Fi HOTSPOT signal is periodically output from the AR glasses, and the server converts at least three signal strengths into a distance. Applying triangulation to globally grasp the position of the augmented reality glasses, and locally grasping the position of the augmented reality glasses based on information of the 9-axis sensor of the augmented reality glasses and the user's height and information. Augmented reality system characterized by.
상기 사용자와 상기 실제객체 사이의 거리가 소정의 이격거리 내에 도달할 때부터 상기 실제객체에 할당된 상기 가상객체가 표시되기 시작하되, 상기 사용자와 상기 실제객체 사이의 거리가 가까워질수록 좀 더 세부적인 정보의 상기 가상객체가 표시되는 것을 특징으로 하는 증강현실 시스템.
The method of claim 1,
When the distance between the user and the real object reaches within a predetermined distance, the virtual object assigned to the real object starts to be displayed, and the closer the distance between the user and the real object is, the more detailed the object is. Augmented reality system, characterized in that the virtual object of the information is displayed.
상기 증강현실안경은,
사용자가 확인하고 싶은 상기 가상객체를 응시한 상태에서 진동이 발생했을 경우, 진동의 변화율에 대응하는 이동거리를 산출한 후 응시방향과 산출된 이동거리를 토대로 상기 가상객체의 정보량을 재설정하여 표시하는 것을 특징으로 하는 증강현실 시스템.
The method of claim 1,
The augmented reality glasses,
When vibration occurs while gazing at the virtual object that the user wants to check, calculating the moving distance corresponding to the rate of change of vibration, and then resetting and displaying the amount of information of the virtual object based on the gaze direction and the calculated moving distance. Augmented reality system, characterized in that.
상기 증강현실안경은,
위성위치정보를 상기 현재위치정보로써 상기 서버에 제공하는 것을 특징으로 하는 증강현실 시스템.
The method of claim 1,
The augmented reality glasses,
Augmented reality system, characterized in that to provide the satellite position information to the server as the current position information.
상기 증강현실안경은,
위성위치정보를 상기 현재위치정보로써 상기 서버에 제공하되, 검색된 적어도 하나 이상의 와이파이(Wi-Fi) 중계기의 신호세기를 추가로 파악하여 상기 서버로 전달하는 것을 특징으로 하는 증강현실 시스템.
The method of claim 1,
The augmented reality glasses,
Augmented reality system characterized in that to provide the satellite location information to the server as the current location information, the signal strength of the at least one or more Wi-Fi repeater retrieved and forwarded to the server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170180859A KR101983249B1 (en) | 2017-12-27 | 2017-12-27 | An augmented reality system with dynamic representation technique of augmented images according to distance from an object |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170180859A KR101983249B1 (en) | 2017-12-27 | 2017-12-27 | An augmented reality system with dynamic representation technique of augmented images according to distance from an object |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101983249B1 true KR101983249B1 (en) | 2019-08-28 |
Family
ID=67774943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170180859A KR101983249B1 (en) | 2017-12-27 | 2017-12-27 | An augmented reality system with dynamic representation technique of augmented images according to distance from an object |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101983249B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112616048A (en) * | 2020-12-14 | 2021-04-06 | 京东方科技集团股份有限公司 | AR glasses, display method and system thereof, and image processing method and device |
CN116249074A (en) * | 2022-12-30 | 2023-06-09 | 深圳影目科技有限公司 | Information display method of intelligent wearable device, intelligent wearable device and medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120017869A (en) * | 2010-08-20 | 2012-02-29 | 주식회사 팬택 | Terminal device and method for providing step object information |
KR20140129936A (en) * | 2013-04-30 | 2014-11-07 | 인텔렉추얼디스커버리 주식회사 | A Head Mounted Display and A Method for Providing Contents Using the Same |
KR20160018436A (en) * | 2014-08-08 | 2016-02-17 | 그렉 반 쿠렌 | Virtual reality system and audition game system using the same |
KR20160092292A (en) | 2015-01-27 | 2016-08-04 | 주식회사 아이마카 | System and method for providing augmented reality service of materials for an promotional objects |
KR101703924B1 (en) * | 2015-09-22 | 2017-02-07 | 하태진 | 3d virtual reality system using 3d-spectacles for virtual image display |
-
2017
- 2017-12-27 KR KR1020170180859A patent/KR101983249B1/en active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20120017869A (en) * | 2010-08-20 | 2012-02-29 | 주식회사 팬택 | Terminal device and method for providing step object information |
KR20140129936A (en) * | 2013-04-30 | 2014-11-07 | 인텔렉추얼디스커버리 주식회사 | A Head Mounted Display and A Method for Providing Contents Using the Same |
KR20160018436A (en) * | 2014-08-08 | 2016-02-17 | 그렉 반 쿠렌 | Virtual reality system and audition game system using the same |
KR20160092292A (en) | 2015-01-27 | 2016-08-04 | 주식회사 아이마카 | System and method for providing augmented reality service of materials for an promotional objects |
KR101703924B1 (en) * | 2015-09-22 | 2017-02-07 | 하태진 | 3d virtual reality system using 3d-spectacles for virtual image display |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112616048A (en) * | 2020-12-14 | 2021-04-06 | 京东方科技集团股份有限公司 | AR glasses, display method and system thereof, and image processing method and device |
CN112616048B (en) * | 2020-12-14 | 2023-05-09 | 京东方科技集团股份有限公司 | AR glasses, display method and system thereof, image processing method and device |
CN116249074A (en) * | 2022-12-30 | 2023-06-09 | 深圳影目科技有限公司 | Information display method of intelligent wearable device, intelligent wearable device and medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102103980B1 (en) | An augmented reality system to which a dynamic expression technique of an augmented image according to a user's gaze information is applied | |
KR101898075B1 (en) | Augmented Reality System with Space and Object Recognition | |
KR101985703B1 (en) | Augmented reality service Software as a Service based Augmented Reality Operating System | |
JP7268692B2 (en) | Information processing device, control method and program | |
US10665036B1 (en) | Augmented reality system and method with dynamic representation technique of augmented images | |
US10719993B1 (en) | Augmented reality system and method with space and object recognition | |
KR102500722B1 (en) | Virtual prop transfer method and device, electronic device and computer storage medium | |
US10949671B2 (en) | Augmented reality system capable of manipulating an augmented reality object and an augmented reality method using the same | |
KR101898088B1 (en) | Augmented Reality System with Frame Region Recording and Reproduction Technology Based on Object Tracking | |
US10169923B2 (en) | Wearable display system that displays a workout guide | |
KR101983256B1 (en) | Augmented reality system with dynamic representation technique of augmented image considering mutual positional relationship between objects | |
KR102012835B1 (en) | An augmented reality system capable of manipulating an augmented reality object using three-dimensional attitude information and recognizes handwriting of character | |
WO2017115618A1 (en) | Information processing apparatus, information processing method, and program | |
US10726631B1 (en) | Augmented reality system and method with frame region recording and reproduction technology based on object tracking | |
US20160041388A1 (en) | Head mounted display, information system, control method for head mounted display, and computer program | |
US20140198017A1 (en) | Wearable Behavior-Based Vision System | |
CN111108531B (en) | Information processing apparatus, information processing method, and program | |
JP7191210B2 (en) | Virtual environment observation method, device and storage medium | |
EP3128413A1 (en) | Sharing mediated reality content | |
KR101983249B1 (en) | An augmented reality system with dynamic representation technique of augmented images according to distance from an object | |
KR102012831B1 (en) | An augmented reality system capable of manipulating an augmented reality object using three-dimensional attitude information | |
KR101945294B1 (en) | Augmented reality system that can identify similar objects | |
JP2016122277A (en) | Content providing server, content display terminal, content providing system, content providing method, and content display program | |
KR20150077607A (en) | Dinosaur Heritage Experience Service System Using Augmented Reality and Method therefor | |
KR102103991B1 (en) | Mixed reality-based mini folding screen system |