KR102232792B1 - Apparatus for providing information and method for providing information - Google Patents

Apparatus for providing information and method for providing information Download PDF

Info

Publication number
KR102232792B1
KR102232792B1 KR1020200096918A KR20200096918A KR102232792B1 KR 102232792 B1 KR102232792 B1 KR 102232792B1 KR 1020200096918 A KR1020200096918 A KR 1020200096918A KR 20200096918 A KR20200096918 A KR 20200096918A KR 102232792 B1 KR102232792 B1 KR 102232792B1
Authority
KR
South Korea
Prior art keywords
user
target
image
angle
measuring
Prior art date
Application number
KR1020200096918A
Other languages
Korean (ko)
Inventor
곽휘권
김영광
김형준
고윤수
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020200096918A priority Critical patent/KR102232792B1/en
Application granted granted Critical
Publication of KR102232792B1 publication Critical patent/KR102232792B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

The present invention is an apparatus provided to a plurality of users, respectively, and providing information on a visible region according to gaze directions of users. The apparatus comprises: a photographing unit photographing an image of a visible region; a position measuring unit acquiring position information of a target by using the image captured by a first user, who detects a target in a visible region among a plurality of users; and an augmented reality generation unit displaying a virtual image in which a virtual target image is superimposed on the image, which is photographed by a second user, in which the target is located in the visible region by using the position information of the target acquired from the position measuring unit.

Description

정보 제공 장치 및 정보 제공 방법{Apparatus for providing information and method for providing information }Information providing device and method for providing information {Apparatus for providing information and method for providing information}

본 발명은 정보 제공 장치 및 정보 제공 방법에 관한 것으로, 복수의 사용자에게 표적에 대한 가상 영상을 전시할 수 있는 정보 제공 장치 및 정보 제공 방법에 관한 것이다.The present invention relates to an information providing apparatus and an information providing method, and to an information providing apparatus and an information providing method capable of displaying a virtual image of a target to a plurality of users.

미래의 전장은 단위 무기체계별 플랫폼 중심의 전장에서 모든 무기체계가 기술적 연결성과 상호 운용성을 통하여 관련 부대 및 요원들이 필요한 정보를 공유하는 네트워크 중심의 작전환경으로 변화하고 있다. 즉, 네트워크를 통하여 전장의 상황을 인식하거나 전장 상황을 공유할 수 있다. 이에, 전장 상황에서 전투력을 극대화할 수 있다. The battlefield of the future is changing from a battlefield centered on a platform for each unit weapon system to a network-oriented operational environment in which all weapon systems share necessary information through technical connectivity and interoperability. That is, the battlefield situation can be recognized or the battlefield situation can be shared through the network. Thus, it is possible to maximize combat power in a battlefield situation.

일반적으로, 네트워크 중심의 작전환경에서, 전장 상황의 감시하기 위한 수단으로 센서노드를 사용하였다. 즉, 센서노드가 수집하는 1차원 정보를 통해 전장 상황을 감시 혹은 정찰할 수 있다. 이를 위해, 센서노드가 전장 상황이 발생될 수 있는 지역에 미리 배치되어, 전장 상황이 발생했을 때 해당 지역의 정보를 수집 및 전송하였다. In general, in a network-oriented operational environment, sensor nodes were used as a means to monitor battlefield conditions. In other words, it is possible to monitor or reconnaissance of the battlefield situation through the one-dimensional information collected by the sensor node. To this end, the sensor nodes were pre-arranged in areas where battlefield conditions could occur, and when battlefield conditions occurred, information on the corresponding area was collected and transmitted.

하지만, 네트워크 중심의 작전환경을 수행함에 있어서, 센서노드가 배치되지 않은 지역에서의 전장 상황 정보를 수집하지 못하는 문제가 발생하였다. 또한, 센서노드로 정보를 수집함으로 주변 방해물이 정보 수집을 방해할 경우, 해당 지역의 정보를 원활하게 수집하지 못하는 문제가 발생하였다. 이에 더하여, 센서노드를 통해 수집되는 1차원적 정보만으로는 전투원들 사이에 정보를 원활하게 공유하지 못하는 문제가 있었다. 이에, 센서노드가 설치되지 않은 지역에서도 네트워크 중심의 작전환경을 수행할 수 있고, 전투원들 사이에 정보 공유가 원활할 수 있는 장치 혹은 방법이 필요한 실정이다.However, in performing a network-oriented operational environment, there has been a problem in that it is not possible to collect information on the battlefield situation in an area where the sensor node is not deployed. In addition, when information is collected by a sensor node, if nearby obstacles interfere with the collection of information, there has been a problem that the information of the corresponding area cannot be collected smoothly. In addition, there is a problem in that information can not be seamlessly shared among combatants using only the one-dimensional information collected through the sensor node. Accordingly, there is a need for a device or method capable of performing a network-oriented operational environment even in an area where a sensor node is not installed, and enabling information sharing between combatants to be smooth.

KR 10-0660025 B1KR 10-0660025 B1

본 발명은 복수의 사용자에게 표적에 대한 가상 영상을 전시할 수 있는 정보 제공 장치 및 정보 제공 방법에 관한 것이다.The present invention relates to an information providing apparatus and an information providing method capable of displaying a virtual image of a target to a plurality of users.

본 발명은 복수의 사용자들에게 가시 영역의 정보를 공유할 수 있는 정보 제공 장치 및 정보 제공방법에 관한 것이다.The present invention relates to an information providing apparatus and an information providing method capable of sharing information of a visible region with a plurality of users.

본 발명의 실시 예에 따른 정보 제공 장치는 복수의 사용자에게 각각 제공되어, 사용자의 시선방향에 따른 가시 영역에 대한 정보를 제공하는 장치로서, 가시 영역의 영상을 촬영하기 위한 촬영부; 복수의 사용자 중 가시 영역에서 표적을 탐지한 제1 사용자로부터 촬영된 영상을 이용하여 표적의 위치 정보를 획득하기 위한 위치측정부; 및 상기 위치측정부로부터 획득된 표적의 위치 정보를 이용하여, 가시 영역 내에 표적이 위치하는 제2 사용자로부터 촬영된 영상에, 가상의 표적 영상이 중첩된 가상 영상을 전시하기 위한 증강 현실 생성부;를 포함한다.An information providing apparatus according to an embodiment of the present invention is a device that is provided to a plurality of users and provides information on a visible region according to a user's gaze direction, comprising: a photographing unit for capturing an image of the visible region; A location measuring unit for acquiring location information of a target using an image captured from a first user who detects a target in a visible area among a plurality of users; And an augmented reality generation unit for displaying a virtual image in which a virtual target image is superimposed on an image captured by a second user in which the target is located in the visible area, using the position information of the target obtained from the position measuring unit. Includes.

상기 위치측정부는, 상기 제1 사용자를 기준으로 표적을 향하는 표적방향을 측정하는 방향측정기; 및 상기 제1 사용자로부터 표적까지의 거리를 측정하는 거리연산기;를 포함한다.The position measuring unit may include a direction measuring device for measuring a target direction toward a target with respect to the first user; And a distance calculator that measures a distance from the first user to a target.

상기 촬영부는, 사용자의 시선방향을 감지하는 시선감지기를 포함하고, 상기 방향측정기는, 상기 제1 사용자의 시선방향으로부터 상기 표적방향까지의 각도를 측정하는 제1 각도연산부재; 상기 제1 사용자의 시선방향으로부터 진북방향까지의 각도를 측정하는 제2 각도연산부재; 및 상기 제1 사용자의 시선방향으로부터 상기 표적방향까지의 각도와 상기 제1 사용자의 시선방향으로부터 진북방향까지의 각도의 차를 이용하여 상기 진북방향과 상기 표적방향 사이의 각도를 측정하는 제3 각도연산부재;를 포함한다.The photographing unit includes a gaze detector for detecting a gaze direction of the user, and the direction measurer includes: a first angle calculating member for measuring an angle from the gaze direction of the first user to the target direction; A second angle calculating member for measuring an angle from the first user's line of sight to the true north direction; And a third angle measuring the angle between the true north direction and the target direction by using the difference between the angle from the first user's gaze direction to the target direction and the first user’s gaze direction to the true north direction. It includes; an operation member.

상기 거리연산기는, 적어도 둘 이상의 제1 사용자로부터 얻어진 표적방향과 적어도 둘 이상의 제1 사용자의 위치 정보를 이용하여 상기 제1 사용자로부터 표적까지의 거리를 측정한다.The distance calculator measures a distance from the first user to a target using a target direction obtained from at least two first users and location information of at least two first users.

상기 거리연산기는, 적어도 둘 이상의 제1 사용자를 기준으로 표적을 향하는 표적방향의 교차점을 확인하는 교차점확인부재; 및 상기 제1 사용자로부터 표적까지의 거리를 측정하는 거리측정부재;를 포함한다.The distance calculator includes: an intersection check member for checking an intersection point in a target direction toward a target with respect to at least two or more first users; And a distance measuring member for measuring a distance from the first user to a target.

상기 거리측정부재는, 적어도 둘 이상의 제1 사용자 중 어느 하나와 다른 하나 사이의 거리 및 각도와, 어느 하나의 제1 사용자와 표적 사이의 각도를 이용하여 하기 수학식 1로부터 거리를 측정한다.The distance measuring member measures the distance from Equation 1 below using a distance and an angle between one of the at least two first users and the other, and an angle between any one of the first users and the target.

[수학식 1]

Figure 112020081421709-pat00001
[Equation 1]
Figure 112020081421709-pat00001

(여기서, a는 어느 하나의 제1 사용자와 표적 사이의 거리이고, b는 제1 사용자 사이의 거리리고, A는 다른 하나의 제1 사용자가 어느 하나의 제1 사용자를 향하는 방향과 표적방향 사이의 각도이고, B는 표적을 기준으로 어느 하나의 제1 사용자를 향하는 방향과 표적을 기준으로 다른 하나의 제1 사용자를 향하는 방향 사이의 각도를 의미한다.)(Here, a is the distance between any one first user and the target, b is the distance between the first user, and A is between the direction in which the other first user faces any one first user and the target direction. Is the angle of, and B is the angle between a direction toward one first user with respect to the target and a direction toward another first user with respect to the target.)

상기 거리연산기는, GPS 위성 정보를 활용하여 상기 제1 사용자의 위치 정보를 산출한다.The distance calculator calculates location information of the first user by using GPS satellite information.

상기 시선감지기는, 헤드 트래킹(Head Tracking)과 시선 트래킹(Eye Tracking) 중 적어도 어느 하나의 방식을 이용하여 시선방향을 탐지한다.The gaze detector detects the gaze direction using at least one of head tracking and eye tracking.

상기 증강현실 생성부는, 상기 제1 사용자의 촬영부로부터 촬영된 표적에 대한 영상을 인식하여 저장하는 영상인식기; 상기 위치측정부에서 측정된 표적의 좌표를 이용하여 상기 제2 사용자의 촬영부로부터 촬영된 영상에 표적의 영상을 중첩시키는 영상중첩기;를 포함한다.The augmented reality generation unit may include an image recognizer for recognizing and storing an image of a target photographed by the first user's photographing unit; And an image superimator for superimposing the image of the target on the image captured by the second user's photographing unit by using the coordinates of the target measured by the position measuring unit.

상기 영상중첩기는, 표적의 영상이 중첩된 가상 영상에 도형 또는 그림을 표시하는 방식 및 표적에 대한 설명을 문자로 나타내는 방식 중 적어도 어느 하나를 통해 상기 가시 영역에 대한 상황 정보를 중첩한다.The image superposition unit superimposes context information on the visible region through at least one of a method of displaying a figure or a picture on a virtual image in which an image of a target is superimposed and a method of displaying a description of the target in text.

본 발명의 실시 예에 따른 정보 제공 방법은 복수의 사용자에게 각각 제공되어, 사용자의 시선방향에 따른 가시 영역에 대한 정보를 제공하는 방법으로서, 복수의 사용자의 시선이 향하는 가시 영역을 촬영하는 과정; 상기 복수의 사용자 중 표적을 탐지한 제1 사용자로부터 촬영된 영상을 이용하여 표적의 위치 정보를 획득하는 과정; 및 획득된 위치 정보를 이용하여, 가시 영역 내에 표적이 위치하는 제2 사용자로부터 촬영된 영상에 가상의 표적 영상이 중첩된 가상 영상을 상기 제2 사용자에게 전시하는 과정;을 포함한다.An information providing method according to an embodiment of the present invention is a method of providing information on a visible area according to a user's gaze direction by being provided to a plurality of users, respectively, comprising: photographing a viewable area to which gazes of a plurality of users are directed; Obtaining location information of a target using an image captured from a first user who detects a target among the plurality of users; And displaying, to the second user, a virtual image in which a virtual target image is superimposed on an image captured by a second user in which the target is located in the visible area, using the obtained location information.

상기 표적의 위치 정보를 획득하는 과정은, 상기 제1 사용자를 기준으로 표적을 향하는 표적방향을 측정하는 과정; 상기 제1 사용자로부터 표적까지의 거리를 측정하는 과정;을 포함한다.The process of obtaining the location information of the target may include measuring a target direction toward the target with respect to the first user; It includes; measuring a distance from the first user to the target.

상기 제1 사용자를 기준으로 표적을 향하는 표적방향을 측정하는 과정은, 상기 제1 사용자의 시선방향으로부터 상기 표적방향까지의 각도를 측정하는 과정; 상기 제1 사용자의 시선방향으로부터 진북방향까지의 각도를 측정하는 과정; 상기 제1 사용자의 시선방향으로부터 상기 표적방향까지의 각도와 상기 제1 사용자의 시선방향으로부터 진북방향까지의 각도의 차를 이용하여 상기 진북방향과 상기 표적방향 사이의 각도를 측정하는 과정;을 포함한다.The process of measuring a target direction toward a target with respect to the first user may include: measuring an angle from the first user's gaze direction to the target direction; Measuring an angle from the first user's line of sight to the true north direction; Measuring an angle between the true north direction and the target direction using the difference between the angle from the first user's gaze direction to the target direction and the first user’s gaze direction to true north direction; do.

상기 제1 사용자로부터 표적까지의 거리를 측정하는 과정은, 적어도 둘 이상의 제1 사용자 중 어느 하나와 다른 하나 사이의 거리 및 각도와, 어느 하나의 제1 사용자와 표적 사이의 각도를 이용하여 하기 수학식 1로부터 거리를 측정하는 과정을 포함한다.The process of measuring the distance from the first user to the target includes the following math using the distance and angle between any one of at least two first users and the other, and the angle between any one of the first users and the target. It includes the process of measuring the distance from Equation 1.

[수학식 1]

Figure 112020081421709-pat00002
[Equation 1]
Figure 112020081421709-pat00002

(여기서, a는 어느 하나의 제1 사용자와 표적 사이의 거리이고, b는 제1 사용자 사이의 거리리고, A는 다른 하나의 제1 사용자가 어느 하나의 제1 사용자를 향하는 방향과 표적방향 사이의 각도이고, B는 표적을 기준으로 어느 하나의 제1 사용자를 향하는 방향과 표적을 기준으로 다른 하나의 제1 사용자를 향하는 방향 사이의 각도를 의미한다.)(Here, a is the distance between any one first user and the target, b is the distance between the first user, and A is between the direction in which the other first user faces any one first user and the target direction. Is the angle of, and B is the angle between a direction toward one first user with respect to the target and a direction toward another first user with respect to the target.)

상기 가상 영상을 상기 제2 사용자에게 전시하는 과정은, 상기 제1 사용자의 촬영부로부터 촬영된 표적에 대한 영상을 인식하여 저장하는 과정; 상기 제2 사용자의 촬영부로부터 촬영된 영상에 표적의 영상을 결합시키는 과정;을 포함한다.The process of displaying the virtual image to the second user may include recognizing and storing an image of a target photographed by the first user's photographing unit; And combining the image of the target with the image captured by the second user's photographing unit.

상기 제2 사용자의 촬영부로부터 촬영된 영상에 표적의 영상을 결합시키는 과정은, 각각의 제2 사용자의 주변 구조물 뒤에 있는 표적의 영상을 주변 구조물 앞에 중첩시키는 과정;을 포함한다.The process of combining the image of the target with the image captured by the second user's photographing unit includes a process of overlapping the image of the target behind the surrounding structures of each second user in front of the surrounding structures.

상기 표적의 영상을 주변 구조물 앞에 중첩시키는 과정은, 상기 실제 시각 영상과 저장된 표적의 영상을 상하계층 구조 형태로 중첩시킨다.In the process of superimposing the target image in front of the surrounding structures, the actual visual image and the stored target image are superimposed in the form of a hierarchical structure.

본 발명의 실시 예에 따르면, 복수의 사용자의 시선이 향하는 가시 영역을 사용자들이 각각 촬영하므로, 사용자들의 주변 환경의 실제적인 상황을 관측할 수 있다. 이에, 사용자에게 실제 필요한 정보만을 취합하여 사용자에게 더욱 적합한 정보를 전송할 수 있다.According to an exemplary embodiment of the present invention, since each of the users photographs a viewable area to which the eyes of a plurality of users are directed, it is possible to observe the actual situation of the user's surrounding environment. Accordingly, it is possible to collect only information actually necessary for the user and transmit more appropriate information to the user.

또한, 복수의 사용자가 촬영한 영상 정보를 취합하여 해당 지역의 정보를 제공하므로, 해당 지역의 더욱 정밀한 정보를 공유할 수 있다. In addition, since image information captured by a plurality of users is collected and information on a corresponding region is provided, more precise information on a corresponding region can be shared.

또한, 복수의 사용자가 서로 가시 영역에 대한 정보를 공유하므로, 복수의 사용자 중 주변 구조물로 인해 시야가 가려진 사용자들도 시야가 가려진 해당 지역의 정보를 확인할 수 있다. In addition, since the plurality of users share information on the viewable area with each other, users whose view is obscured due to surrounding structures among the plurality of users can also check the information of the corresponding area where the view is blocked.

또한, 시야가 가려진 해당 지역에 표적의 이미지를 중첩하여, 주변 구조물로 인해 시야가 가려진 사용자들에게 가상 영상으로 표적을 인식하도록 할 수 있다.In addition, by superimposing an image of a target in a corresponding area where the field of view is obscured, users whose field of view is obscured by surrounding structures may recognize the target as a virtual image.

도 1은 본 발명의 실시 예에 따른 정보 제공 장치와 사용자의 관계를 도시한 도면.
도 2는 본 발명의 실시 예에 따른 정보 제공 장치의 구조를 도시한 도면.
도 3은 복수의 사용자들의 가시 영역을 도시한 도면.
도 4는 본 발명의 실시 예에 따른 표적의 좌표를 구하는 모습을 나타내는 도면.
도 5는 본 발명의 실시 예에 따른 가시 영역에 표적을 중첩시켜 가상 영상을 전시하는 모습을 나타내는 도면.
도 6은 본 발명의 실시 예에 따른 정보 제공 방법을 나타내는 플로우차트.1 is a diagram illustrating a relationship between an information providing device and a user according to an embodiment of the present invention.
2 is a diagram showing the structure of an information providing apparatus according to an embodiment of the present invention.
3 is a diagram illustrating a viewable area of a plurality of users.
4 is a view showing a state of obtaining the coordinates of a target according to an embodiment of the present invention.
5 is a view showing a state in which a virtual image is displayed by overlapping a target on a visible area according to an exemplary embodiment of the present invention.
6 is a flowchart illustrating a method of providing information according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 발명을 상세하게 설명하기 위해 도면은 과장될 수 있고, 도면상에서 동일 부호는 동일한 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in more detail with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only the present embodiments make the disclosure of the present invention complete, and the scope of the invention to those of ordinary skill in the art It is provided to inform you. In order to describe the invention in detail, the drawings may be exaggerated, and the same reference numerals refer to the same elements in the drawings.

도 1은 본 발명의 실시 예에 따른 정보 제공 장치와 사용자의 관계를 도시한 도면이고, 도 2는 본 발명의 실시 예에 따른 정보 제공 장치의 구조를 도시한 도면이고, 도 3은 복수의 사용자들의 가시 영역을 도시한 도면이고, 도 4는 본 발명의 실시 예에 따른 표적의 좌표를 구하는 모습을 나타내는 도면이다.1 is a diagram showing a relationship between an information providing device and a user according to an embodiment of the present invention, FIG. 2 is a diagram showing a structure of an information providing device according to an embodiment of the present invention, and FIG. 3 is a plurality of users It is a view showing a visible area of the field, and FIG. 4 is a view showing a state of obtaining coordinates of a target according to an embodiment of the present invention.

도 1 내지 도 4를 참조하여, 본 발명의 실시 예에 따른 정보 제공 장치에 대해 설명하기로 한다. An information providing apparatus according to an embodiment of the present invention will be described with reference to FIGS. 1 to 4.

본 발명의 실시 예에 따른 정보 제공 장치(100)는, 복수의 사용자에게 각각 제공되어, 사용자의 시선방향에 따른 가시 영역에 대한 정보를 제공하는 장치로서, 가시 영역의 영상을 촬영하기 위한 촬영부(110), 복수의 사용자 중 가시 영역에서 표적을 탐지한 제1 사용자(사용자1,사용자2)로부터 촬영된 영상을 이용하여 표적(P)의 위치 정보를 획득하기 위한 위치측정부(120), 위치측정부(120)로부터 획득된 표적(P)의 위치 정보를 이용하여, 가시 영역 내에 표적이 위치하는 제2 사용자(사용자3,사용자4)로부터 촬영된 영상에, 가상의 표적 영상이 중첩된 가상 영상을 전시하기 위한 증강 현실 생성부(130)를 포함할 수 있다. 또한, 정보 제공 장치(100)는 표적(P)의 이미지가 중첩된 가상 영상을 전시할 수 있는 디스플레이부(140)를 더 포함할 수 있다. The information providing apparatus 100 according to an embodiment of the present invention is a device that is provided to a plurality of users and provides information on a visible region according to the user's gaze direction, and a photographing unit for photographing an image of the visible region (110), a location measuring unit 120 for acquiring location information of the target P using an image captured from a first user (user 1, user 2) who has detected a target in a visible region among a plurality of users, Using the location information of the target P obtained from the location measurement unit 120, a virtual target image is superimposed on an image captured by a second user (user 3, user 4) where the target is located in the visible area. It may include an augmented reality generator 130 for displaying a virtual image. In addition, the information providing apparatus 100 may further include a display unit 140 capable of displaying a virtual image in which an image of the target P is superimposed.

여기서, 가시 영역은 각각의 사용자의 시선이 향하는 시선방향을 기준으로 사용자가 눈으로 확인할 수 있는 영역일 수 있다. 즉, 가시 영역은 사용자를 기준으로 시선방향을 따라서 방사형으로 확장되는 소정의 공간일 수 있다. 또한, 표적(P)은 사용자가 인식할 수 있는 대상체, 예컨데 군용차 혹은 탱크일 수 있다.Here, the visible area may be an area that the user can visually check based on the gaze direction to which each user's gaze is directed. That is, the visible area may be a predetermined space that radially extends along the line of sight with respect to the user. In addition, the target P may be an object that the user can recognize, for example, a military vehicle or a tank.

한편, 하기에서는 사용자의 시선이 향하는 방향을 시선방향이라고 한다. 또한, 복수의 사용자 중 표적(P)을 감지한 사용자를 제1 사용자(사용자1,사용자2)라 하고, 표적(P)을 감지하지 못한 사용자를 제2 사용자(사용자3,사용자4)라 한다. 즉, 제1 사용자는 가시 영역 내에 표적(P)이 보이는 사용자일 수 있고, 제2 사용자는 가시 영역 내에 표적(P)이 존재하긴 하지만, 표적(P)이 주변 구조물에 의해 가려져 보이지 않는 사용자일 수 있다.Meanwhile, in the following, the direction in which the user's gaze is directed is referred to as the gaze direction. In addition, a user who detects the target P among the plurality of users is referred to as a first user (user 1, user 2), and a user who does not detect the target P is referred to as a second user (user 3, user 4). . That is, the first user may be a user who sees the target P in the visible area, and the second user is a user whose target P is obscured by surrounding structures, although the target P exists in the visible area. I can.

한편, 촬영부(110), 위치측정부(120), 증강 현실 생성부(130), 디스플레이부(140)는 복수의 사용자(사용자1,사용자2,사용자3,사용자4)에게 각각 마련될 수 있다. 또는, 촬영부(110), 디스플레이부(140)만 복수의 사용자(사용자1,사용자2,사용자3,사용자4)에게 각각 마련되고, 위치측정부(120) 및 증강현실 생성부(130)는 중앙 통제시스템에 마련될 수 있다. 복수의 사용자가 위치측정부(120) 및 증강현실 생성부(130)를 공유할 수 있다. 본 발명의 실시 예에서는 촬영부(110), 위치측정부(120), 증강 현실 생성부(130), 디스플레이부(140)가 복수의 사용자(사용자1,사용자2,사용자3,사용자4)에게 각각 마련되는 경우를 예시적으로 설명한다.On the other hand, the photographing unit 110, the location measuring unit 120, the augmented reality generation unit 130, and the display unit 140 may be provided for each of a plurality of users (user 1, user 2, user 3, and user 4). have. Alternatively, only the photographing unit 110 and the display unit 140 are provided for a plurality of users (user 1, user 2, user 3, and user 4), respectively, and the location measurement unit 120 and the augmented reality generation unit 130 It can be arranged in a central control system. A plurality of users may share the location measurement unit 120 and the augmented reality generation unit 130. In an embodiment of the present invention, the photographing unit 110, the position measuring unit 120, the augmented reality generation unit 130, and the display unit 140 are provided to a plurality of users (user 1, user 2, user 3, user 4). A case where each is provided will be described as an example.

촬영부(110)는 사용자의 시선이 향하는 가시 영역의 실제 영상을 촬영할 수 있다. 즉, 각각의 사용자가 시각 방향에 대한 가시 영역을 촬영할 수 있다. 이에, 특정 영역만 감시하는 것이 아닌, 실제 사용자가 위치한 인근 지역에 대한 영상을 촬영하여 사용자에게 적합한 정보를 제공할 수 있다.The photographing unit 110 may capture an actual image of a visible area to which the user's gaze is directed. That is, each user can capture a viewable area in the visual direction. Accordingly, not only a specific area is monitored, but an image of a nearby area in which an actual user is located is captured to provide appropriate information to the user.

또한, 촬영부(110)는 이미지 센서에 의해 얻어지는 가시 영역 내의 실제 피사체에 대한 영상정보를 정지 영상 혹은 동영상의 형태로 수집할 수 있다. 이에, 사용자의 가시 영역에 표적(P)이 있을 경우, 표적(P)을 인식하여 표적(P)의 이미지를 저장할 수 있다. 예를 들어, 촬영부(110)는 CCD(Charged Coupled Device), 전자광학(EO)센서, 적외선(IR)센서, SAR(Synthetic Aperture Rader)와 같은 카메라, 센서, 레이더 등을 포함할 수 있다. 촬영부(110)는 관측한 영상정보를 위치측정부(120) 및 증강현실 생성부(130)에 제공할 수 있다. In addition, the photographing unit 110 may collect image information about an actual subject in the visible region obtained by the image sensor in the form of a still image or a moving image. Accordingly, when there is a target P in the visible region of the user, the target P may be recognized and an image of the target P may be stored. For example, the photographing unit 110 may include a CCD (Charged Coupled Device), an electron optical (EO) sensor, an infrared (IR) sensor, a camera such as a Synthetic Aperture Rader (SAR), a sensor, a radar, and the like. The photographing unit 110 may provide the observed image information to the location measurement unit 120 and the augmented reality generation unit 130.

또한, 촬영부(110)는 시선감지기(111)를 포함할 수 있다. 시선감지기(111)는 복수의 사용자의 시선방향을 감지할 수 있다. 즉, 시선감지기(111)는 제1 사용자 및 타 사용자 각각의 시선방향을 감지할 수 있다. 또한, 시선감지기(111)는 헤드 트래킹(Head tracking)과 시선 트래킹(Eye tracking) 중 적어도 어느 하나의 방식을 이용하여 사용자의 시선방향을 탐지할 수 있다. In addition, the photographing unit 110 may include a gaze detector 111. The gaze detector 111 may detect gaze directions of a plurality of users. That is, the gaze detector 111 may detect the gaze directions of the first user and the other user. In addition, the gaze detector 111 may detect a user's gaze direction using at least one of head tracking and eye tracking.

여기서, 헤드 트래킹은 사용자 머리의 움직임을 추적하는 기술로서, 사용자의 머리 중심을 3차원 좌표계(x축, y축, z축)의 원점으로 하여 사용자의 전후 좌우 상하 움직임을 추적하는 기술일 수 있다. 이를 위해, 시선감지기(111)는 머리 움직임에 따른 위치 값을 파악하기 위해 자이로 센서(미도시)를 포함할 수 있다. 자이로 센서는 3차원 좌표계를 중심으로 사용자의 머리의 회전을 측정하여, 사용자의 시선방향을 탐지할 수 있다. 한편, 시선 트래킹은 사용자의 눈의 움직임을 추적하는 기술로서, 사용자의 눈을 3차원 좌표계(x축, y축, z축)의 원점으로 하여 움직임을 추적하는 기술일 수 있다. 이에, 시선감지기(111)를 통해 제1 사용자의 시선방향을 탐지하여 제1 사용자를 기준으로 한 표적(P)의 대략적인 위치를 확인할 수 있다.Here, head tracking is a technology that tracks the movement of the user's head, and may be a technology that tracks the user's front, rear, left, right, up and down movements by using the center of the user's head as the origin of the 3D coordinate system (x-axis, y-axis, z-axis) . To this end, the gaze detector 111 may include a gyro sensor (not shown) to determine a position value according to a head movement. The gyro sensor may detect the user's gaze direction by measuring the rotation of the user's head around the 3D coordinate system. Meanwhile, gaze tracking is a technology for tracking the movement of the user's eye, and may be a technology for tracking the movement by using the user's eye as an origin of a three-dimensional coordinate system (x-axis, y-axis, z-axis). Accordingly, by detecting the gaze direction of the first user through the gaze detector 111, the approximate position of the target P based on the first user may be confirmed.

위치측정부(120)는 복수의 사용자 중 가시 영역에서 표적을 탐지한 제1 사용자(사용자1,사용자2)로부터 촬영된 영상을 이용하여, 표적(P)의 위치 정보를 획득할 수 있다. 여기서, 위치 정보는 표적(P)의 좌표를 포함할 수 있다. 이를 위해, 위치측정부(120)는 제1 사용자(사용자1,사용자2)를 기준으로 표적(P)을 향하는 표적방향을 측정하는 방향측정기(121) 및 제1 사용자(사용자1,사용자2)로부터 표적(P)까지의 거리를 측정하는 거리연산기(122)를 포함할 수 있다.The location measurement unit 120 may obtain location information of the target P by using an image captured from a first user (user 1, user 2) who has detected a target in a visible region among a plurality of users. Here, the location information may include the coordinates of the target P. To this end, the position measuring unit 120 includes a direction measuring device 121 and a first user (user 1, user 2) measuring the target direction toward the target P based on the first user (user 1, user 2). It may include a distance calculator 122 for measuring the distance from the target (P).

방향측정기(121)는 상술한 바와 같이, 제1 사용자(사용자1,사용자2)에 대한 표적(P)까지의 방향을 측정할 수 있다. 예를 들어, 방향측정기(121)는 제1 사용자(사용자1,사용자2)와 표적(P)사이의 각도를 산출하여 제1 사용자(사용자1,사용자2)를 기준으로 표적(P)을 향하는 표적방향을 측정할 수 있다. 이를 위해, 방향측정기(121)는 제2 각도연산부재(121b), 제1 각도연산부재(121a) 및 제3 각도연산부재(121c)를 포함할 수 있다.As described above, the direction measurer 121 may measure the direction to the target P for the first user (user 1, user 2). For example, the direction finder 121 calculates the angle between the first user (user 1, user 2) and the target P, and is directed toward the target P based on the first user (user 1, user 2). Target direction can be measured. To this end, the direction measuring device 121 may include a second angle calculating member 121b, a first angle calculating member 121a, and a third angle calculating member 121c.

도 3 내지 도 4를 참조하면, 제1 각도연산부재(121a)는 시선방향으로부터 표적방향까지의 각도를 측정할 수 있다. 여기서, 제1 사용자(사용자1,사용자2)의 시선방향은 동일하지 않을 수 있다. 즉, 시선방향과 표적방향은 서로 원점은 제1 사용자(사용자1,사용자2)의 머리로 동일하지만, 각각의 종점은 각각 서로 다를 수 있다. 이에, 제1 각도연산부재(121a)를 이용하여 제1 사용자(사용자1,사용자2)의 시선방향을 기준으로 표적방향까지의 상대적인 각도를 측정하여 시선방향을 보정해 줄 수 있다. 3 to 4, the first angle calculating member 121a may measure an angle from a viewing direction to a target direction. Here, the first user (user 1, user 2) may not have the same gaze direction. That is, the gaze direction and the target direction have the same origin as the head of the first user (user 1 and user 2), but each end point may be different from each other. Accordingly, the relative angle of the first user (user 1, user 2) to the target direction based on the gaze direction of the first user (user 1, user 2) may be measured to correct the gaze direction.

예를 들어, 제1 각도연산부재(121a)는 시선방향과 표적방향을 벡터 값으로 변환한 후, 두 벡터 값의 내적으로 두 방향 사이의 각도를 계산할 수 있다. 한편, 제1 각도연산부재(121a)는 방위각을 기준으로 3차원 좌표를 변수하는 방향벡터를 통해 각도를 연산할 수도 있다. 하지만, 제1 각도연산부재(121a)가 각도를 연산하는 방법은 이에 한정되지 않고 다양할 수 있다.For example, after converting the gaze direction and the target direction to a vector value, the first angle calculating member 121a may calculate an angle between the two directions internally of the two vector values. Meanwhile, the first angle calculating member 121a may calculate an angle through a direction vector for variable three-dimensional coordinates based on the azimuth angle. However, the method of calculating the angle by the first angle calculating member 121a is not limited thereto and may be various.

이에, 제1 사용자 중 어느 하나의 사용자(사용자1)의 시선방향을 기준으로 표적방향까지의 각도를 β'로 측정할 수 있고, 제1 사용자 중 다른 하나의 사용자(사용자2)의 시선방향을 기준으로 표적방향까지의 각도를 β''로 측정할 수 있다.Accordingly, the angle to the target direction based on the gaze direction of any one of the first users (user 1) can be measured as β', and the gaze direction of the other user (user 2) among the first users As a reference, the angle to the target direction can be measured as β''.

한편, 제1 각도연산부재(121a)가 각도를 연산함에 있어서, 제1 사용자(사용자1,사용자2)의 시선방향을 기준으로 표적방향까지의 각도를 양각 혹은 음각으로 측정할 수 있다. 도 4에 도시된 바와 같이, 제1 사용자 중 어느 하나의 사용자(사용자1)의 시선방향을 기준으로 표적방향까지의 각도(β')는 시계방향을 따라 각도가 형성되므로 양각으로 측정될 수 있다. 반면, 제1 사용자 중 다른 하나의 사용자(사용자2)의 시선방향을 기준으로 표적방향까지의 각도(β'')는 반시계방향을 따라 각도가 형성되므로 음각으로 측정될 수 있다.Meanwhile, when the first angle calculating member 121a calculates the angle, the angle to the target direction based on the gaze direction of the first user (user 1, user 2) may be measured as positive or negative. As shown in FIG. 4, the angle β'from the gaze direction of any one of the first users (user 1) to the target direction is formed in a clockwise direction, so it can be measured as a positive angle. . On the other hand, the angle β ″ to the target direction based on the gaze direction of the other user (user 2) among the first users can be measured as an intaglio because the angle is formed in the counterclockwise direction.

제2 각도연산부재(121b)는 제1 사용자(사용자1,사용자2)의 시선방향으로부터 진북방향까지의 각도를 측정할 수 있다. 여기서, 진북방향은 진북(眞北, true north)을 가리키는 방향으로서, 각각의 사용자의 머리를 원점으로 하고, 북극성, 즉 북쪽을 종점으로 하는 방향일 수 있다. 이에, 도 3에 도시된 바와 같이, 진북방향은 각각의 사용자를 기준으로 도면상 수직하게 상측을 향하는 방향일 수 있다. The second angle calculating member 121b may measure an angle from a line of sight direction of the first user (user 1, user 2) to the true north direction. Here, the true north direction is a direction pointing to true north, and may be a direction in which the head of each user is an origin and a polar star, that is, north is an end point. Accordingly, as shown in FIG. 3, the true north direction may be a direction vertically facing upward in the drawing based on each user.

예를 들어, 제2 각도연산부재(121b)는 제1 각도연산부재(121a)와 동일한 방식으로 두 방향 사이의 각도를 계산할 수 있다. 여기서, 각도 α'는 반시계방향을 따라 각도가 형성되므로 음각으로 측정될 수 있고, 각도 α''는 반시계방향을 따라 각도가 형성되므로 음각으로 측정될 수 있다.For example, the second angle calculating member 121b may calculate an angle between two directions in the same manner as the first angle calculating member 121a. Here, the angle α'can be measured as an intaglio because the angle is formed in the counterclockwise direction, and the angle α'' can be measured as an intaglio because the angle is formed in the counterclockwise direction.

제3 각도연산부재(121c)는 진북방향과 표적방향 사이의 각도를 측정할 수 있다. 즉, 제3 각도연산부재(121c)는 제1 사용자(사용자1,사용자2)의 시선방향으로부터 표적방향까지의 각도와 제1 사용자(사용자1,사용자2)의 시선방향으로부터 진북방향까지의 각도의 차를 이용하여 진북방향과 표적방향 사이의 각도를 측정할 수 있다. 여기서, 제3 각도연산부재(121c)는 각도의 차를 산출한 뒤 절대값을 적용하여 진북방향과 표적방향 사이의 각도를 측정할 수 있다. The third angle calculating member 121c may measure an angle between the true north direction and the target direction. That is, the third angle calculation member 121c is the angle from the first user's (user 1, user 2) gaze direction to the target direction and the first user's (user 1, user 2) gaze direction from the true north direction. You can measure the angle between the true north direction and the target direction by using the difference of. Here, the third angle calculating member 121c may measure the angle between the true north direction and the target direction by calculating the difference in angle and then applying the absolute value.

예를 들어, 어느 하나의 사용자(사용자1)의 시선방향으로부터 표적방향까지의 각도(β')와 어느 하나의 사용자(사용자1)의 시선방향으로부터 진북방향까지의 각도(α')의 차를 통해 진북방향과 표적방향 사이의 각도(γ')를 구할 수 있다. 여기서, 어느 하나의 사용자(사용자1)의 시선방향으로부터 표적방향까지의 각도(β')는 양각이고, 어느 하나의 사용자(사용자1)의 시선방향으로부터 진북방향까지의 각도(α')는 음각이므로, 두 각도의 차를 수식으로 나타내면 (+β')-(-α') 일 수 있다. 이에, (β'+α')의 값의 절대값을 적용한 값이 각도 γ'일 수 있다. For example, the difference between the angle β'from the gaze direction of any one user (user 1) to the target direction and the angle α'from the gaze direction of any one user (user 1) Through this, the angle (γ') between the true north direction and the target direction can be obtained. Here, the angle β'from the gaze direction of one user (user 1) to the target direction is positive, and the angle α'from the gaze direction of any one user (user 1) to the true north direction is intaglio Therefore, if the difference between the two angles is expressed by an equation, it may be (+β')-(-α'). Accordingly, a value obtained by applying the absolute value of the value of (β'+α') may be the angle γ'.

반면, 다른 하나의 사용자(사용자2)의 시선방향으로부터 표적방향까지의 각도(β'')는 음각이고, 다른 하나의 사용자(사용자2)의 시선방향으로부터 진북방향까지의 각도(α'')는 음각이므로, 두 각도의 차를 수식으로 나타내면 (-β'')-(-α'')일 수 있다. 이에, (-β''+α'')의 값의 절대값을 적용한 값이 각도 γ''일 수 있다. 이에, 진북방향에 대한 표적(P)까지의 상대적인 각도를 측정할 수 있다. On the other hand, the angle (β'') from the gaze direction of the other user (user 2) to the target direction is negative, and the angle from the gaze direction of the other user (user 2) to the true north direction (α'') Since is a negative angle, the difference between the two angles can be expressed as (-β'')-(-α''). Accordingly, a value to which the absolute value of the value of (-β''+α'') is applied may be the angle γ''. Accordingly, the relative angle to the target P with respect to the true north direction can be measured.

거리연산기(122)는 적어도 둘 이상의 제1 사용자(사용자1,사용자2)로부터 얻어진 표적방향과 적어도 둘 이상의 제1 사용자(사용자1,사용자2)의 위치 정보를 이용하여 제1 사용자(사용자1,사용자2)로부터 표적까지의 거리를 측정할 수 있다. 이를 위해, 거리연산기(122)는 위치확인부재(122a), 교차점확인부재(122b) 및 거리측정부재(122c)를 포함할 수 있다. The distance calculator 122 uses the target direction obtained from at least two or more first users (user 1 and user 2) and the location information of at least two or more first users (user 1 and user 2). You can measure the distance from user2) to the target. To this end, the distance calculator 122 may include a positioning member 122a, an intersection check member 122b, and a distance measuring member 122c.

위치확인부재(122a)는 제1 사용자(사용자1,사용자2)들의 위치 정보를 확인할 수 있다. 즉, 제1 사용자(사용자1,사용자2)의 좌표를 측정할 수 있다. 여기서, 위치확인부재(122a)는 예컨데, GPS 위성 정보를 활용하여 제1 사용자(사용자1,사용자2)의 위치 정보를 산출할 수 있다. The positioning member 122a may check location information of the first users (user 1 and user 2). That is, the coordinates of the first user (user 1 and user 2) can be measured. Here, the positioning member 122a may calculate the location information of the first user (user 1, user 2) using, for example, GPS satellite information.

보다 구체적으로, 위치확인부재(122a)는 각각의 사용자들의 위치를 2차원 좌표로 변환하여, 사용자들 사이의 거리를 측정할 수 있다. 도 3를 참조하면, 가시 영역에서 표적(P)을 감지한 어느 하나의 사용자(사용자1)의 좌표를 (X1,Y1)라 하고, 다른 한나의 사용자(사용자2)의 좌표를 (X2,Y2)라 할 때, 어느 하나의 사용자(사용자1)와 다른 하나의 사용자(사용자2)의 거리는 하기의 식

Figure 112020081421709-pat00003
으로 구할 수 있다. 하지만, 거리측정부재(121)의 거리를 측정하는 방식은 이에 한정되지 않고 다양할 수 있다.More specifically, the positioning member 122a may measure the distance between users by converting the positions of each user into a two-dimensional coordinate. Referring to FIG. 3, the coordinates of one user (user 1) that detects the target P in the visible area is (X 1 ,Y 1 ), and the coordinates of the other Hanna user (user 2) are (X 2 , Y 2 ), the distance between one user (user 1) and the other user (user 2) is the following equation
Figure 112020081421709-pat00003
It can be obtained by However, the method of measuring the distance of the distance measuring member 121 is not limited thereto and may be various.

또한, 위치확인부재(122a)는 좌표 정보를 이용하여, 제1 사용자(사용자1,사용자2) 사이의 상대적인 각도를 측정할 수 있다. 즉, 진북방향을 기준으로 어느 하나의 사용자(사용자1)로부터 다른 하나의 사용자(사용자2)까지의 각도를 구할 수 있다. 예를 들어, 위치확인부재(122a)는 어느 하나의 사용자(사용자1)에서 다른 하나의 사용자(사용자2)를 향하는 방향 벡터 값을 계산할 수 있다. 이후, 진북방향을 벡터 값으로 변환한 후, 진북방향에 대한 벡터와 어느 하나의 사용자(사용자1)에서 다른 하나의 사용자(사용자2)를 향하는 방향 벡터를 서로 내적하여 어느 하나의 사용자(사용자1)와 다른 하나의 사용자(사용자2) 사이의 상대적인 각도를 구할 수 있다. 하지만, 제2 방향측정기(122)의 거리를 측정하는 방식은 이에 한정되지 않고 다양할 수 있다.In addition, the positioning member 122a may measure a relative angle between the first user (user 1 and user 2) by using the coordinate information. That is, the angle from one user (user 1) to another user (user 2) can be obtained based on the true north direction. For example, the positioning member 122a may calculate a direction vector value from one user (user 1) to another user (user 2). Thereafter, after converting the true north direction to a vector value, a vector for the true north direction and a direction vector from one user (user 1) to another user (user 2) are dot-producted to each other, and one user (user 1) ) And another user (user2). However, the method of measuring the distance of the second direction measuring device 122 is not limited thereto and may be various.

교차점확인부재(122b)는 제1 사용자(사용자1,사용자2)를 기준으로 한 표적방향들의 교차점을 찾을 수 있다. 즉, 어느 하나의 사용자(사용자1)로부터 표적(P)까지의 표적방향과 다른 하나의 사용자(사용자2)로부터 표적(P)까지의 표적방향의 교차점을 계산할 수 있다. 여기서, 표적방향들의 교차점이 표적(P)의 위치일 수 있다. The intersection check member 122b may find the intersection of target directions based on the first user (user 1 and user 2). That is, the intersection of the target direction from one user (user 1) to the target P and the target direction from the other user (user 2) to the target P can be calculated. Here, the intersection of the target directions may be the position of the target P.

한편, 교차점확인부재(122b)는 적어도 둘 이상의 제1 사용자로부터 수신된 정보를 이용하여 교차점을 찾을 수 있다. 즉, 제1 사용자(사용자1,사용자2)의 방향판단기로부터 정보를 수신하여 교차점을 찾을 수 있다. 이에, 교차점확인부재(122b)는 상대적으로 많은 수의 제1 사용자로부터 정보를 수신받을 경우, 실제 표적(P)의 위치와 더욱 근사한 위치에 교차점을 설정할 수 있다. Meanwhile, the intersection check member 122b may find the intersection using information received from at least two or more first users. That is, the intersection can be found by receiving information from the direction determiner of the first user (user 1 and user 2). Accordingly, when receiving information from a relatively large number of first users, the crossing point confirmation member 122b may set the crossing point at a position closer to the position of the actual target P.

예들 들어, 교차점확인부재(122b)는 셋 이상의 표적방향을 수신받을 경우 복수의 표적방향들을 서로 중첩시킨 후, 중첩된 교차점들 중 이격 거리가 가장 먼 두개의 교차점 사이의 거리를 직경으로 하는 원의 중심을 메인 교차점으로 설정할 수 있다. 즉, 메인 교차점에 표적(P)이 위치한다고 설정할 수 있다. For example, when receiving three or more target directions, the intersection check member 122b overlaps a plurality of target directions with each other, and the distance between the two intersections with the farthest distance among the overlapped intersections is the diameter of a circle. The center can be set as the main intersection. That is, it can be set that the target P is located at the main intersection.

거리측정부재(122c)는 제1 사용자(사용자1,사용자2)와 표적(P) 사이의 거리를 측정할 수 있다. 여기서, 거리측정부재(122c)는 적어도 둘 이상의 제1 사용자(사용자1,사용자2) 중 어느 하나와 다른 하나 사이의 거리 및 각도와, 어느 하나의 제1 사용자(사용자1,사용자2)와 표적(P) 사이의 각도를 이용하여 하기 수학식 1로부터 제1 사용자(사용자1,사용자2)와 표적(P) 사이의 거리를 측정할 수 있다. The distance measuring member 122c may measure the distance between the first user (user 1 and user 2) and the target P. Here, the distance measuring member 122c includes a distance and an angle between one of the at least two first users (user 1 and user 2) and the other, and the first user (user 1 and user 2) and the target. The distance between the first user (user 1 and user 2) and the target P may be measured from Equation 1 below by using the angle between (P).

[수학식 1]

Figure 112020081421709-pat00004
[Equation 1]
Figure 112020081421709-pat00004

(여기서, a는 어느 하나의 제1 사용자와 표적 사이의 거리이고, b는 제1 사용자 사이의 거리리고, A는 다른 하나의 제1 사용자가 어느 하나의 제1 사용자를 향하는 방향과 표적방향 사이의 각도이고, B는 표적을 기준으로 어느 하나의 제1 사용자를 향하는 방향과 표적을 기준으로 다른 하나의 제1 사용자를 향하는 방향 사이의 각도를 의미한다.)(Here, a is the distance between any one first user and the target, b is the distance between the first user, and A is between the direction in which the other first user faces any one first user and the target direction. Is the angle of, and B is the angle between a direction toward one first user with respect to the target and a direction toward another first user with respect to the target.)

보다 구체적으로, 도 4에 도시된 바와 같이, 거리측정부재(122c)는 제1 사용자(사용자1,사용자2) 중 어느 하나의 사용자(사용자1)와 다른 하나의 사용자(사용자2) 및 표적(P)을 꼭지점으로 하는 삼각형을 그릴 수 있다. 이때, 거리측정부재(122c)는 어느 하나의 사용자(사용자1)와 다른 하나의 사용자(사용자2) 사이의 거리(b)의 수치를 이미 알고 있다. 또한, 어느 하나의 사용자(사용자1)와 다른 하나의 사용자(사용자2) 사이의 개별적인 각도(A,C)를 이미 알고 있으므로, 표적(P)을 기준으로 어느 하나(사용자1) 및 다른 하나(사용자2)을 가리키는 방향들 사이의 각도(B)를 삼각형 내각 공식을 통해 산출할 수 있다. More specifically, as shown in FIG. 4, the distance measuring member 122c includes one user (user 1) of the first user (user 1, user 2) and the other user (user 2) and a target ( You can draw a triangle with P) as the vertex. At this time, the distance measuring member 122c already knows the value of the distance b between one user (user 1) and another user (user 2). In addition, since we already know the individual angles (A, C) between one user (user 1) and the other user (user 2), one (user 1) and the other ( The angle B between the directions pointing to the user 2) can be calculated through the triangular inner angle formula.

이후, 수학식 1의 조건으로 어느 하나의 사용자(사용자1)와 표적(P) 사이의 거리를 구하고, 다른 하나의 사용자(사용자2)와 표적(P) 사이의 거리를 구할 수 있다.Thereafter, the distance between one user (user 1) and the target P may be obtained under the condition of Equation 1, and the distance between the other user (user 2) and the target P may be obtained.

또한, 거리측정부재(122c)는 표적(P)의 좌표를 연산할 수 있다. 거리측정부재(122c)는 측정된 어느 하나의 사용자(사용자1)와 표적(P) 사이의 거리(a) 및 다른 하나의 사용자(사용자2)와 표적(P) 사이의 거리(b)를 이용하여 표적(P)의 좌표를 연산할 수 있다. In addition, the distance measuring member 122c may calculate the coordinates of the target P. The distance measuring member 122c uses the measured distance (a) between one user (user 1) and the target (P) and the distance (b) between the other user (user 2) and the target (P). Thus, the coordinates of the target P can be calculated.

도 5는 본 발명의 실시 예에 따른 가시 영역에 표적을 중첩시켜 가상 영상을 전시하는 모습을 나타내는 도면이다.5 is a diagram illustrating a display of a virtual image by overlapping a target on a visible region according to an exemplary embodiment of the present invention.

도 5를 참조하여, 증강현실 생성부(130)에 대해 구체적으로 설명한다. 증강현실 생성부(130)는 위치측정부(120)와 연결되고, 표적(P)의 좌표를 이용하여 가시 영역에 표적(P)의 이미지가 중첩된 가상 영상을 복수의 사용자(사용자1,사용자2,사용자3,사용자4)에게 각각 전시할 수 있다. 이를 위해, 증강현실 생성부(130)는 연상인식기(131), 영상중첩기(132) 및 영상전송기(133)를 포함할 수 있다.Referring to FIG. 5, the augmented reality generation unit 130 will be described in detail. The augmented reality generation unit 130 is connected to the position measurement unit 120 and generates a virtual image in which the image of the target P is superimposed on the visible area by using the coordinates of the target P. It can be displayed to 2, user 3, user 4) respectively. To this end, the augmented reality generation unit 130 may include an associative recognizer 131, an image superimposing device 132, and an image transmitter 133.

연상인식기(141)는 촬영부(110)와 연결되며, 제1 사용자(사용자1,사용자2)로부터 촬영된 표적(P)에 대한 영상을 인식하여 저장할 수 있다. 즉, 연상인식기(141)는 촬영부(110)를 통해 촬영된 실제 영상 정보를 수신하고 수신한 실제 영상 정보들을 저장할 수 있다. 이때, 촬영된 실제 영상 정보에는 표적(P)에 대한 정보가 함께 저장될 수 있다.The association recognizer 141 is connected to the photographing unit 110 and may recognize and store an image of the target P photographed from the first user (user 1, user 2). That is, the associative recognizer 141 may receive actual image information photographed through the photographing unit 110 and store the received actual image information. In this case, information on the target P may be stored together with the photographed actual image information.

영상중첩기(132)는 위치측정부(120)에서 측정된 표적(P)의 좌표를 이용하여 제2 사용자의 촬영부(110)로부터 촬영된 영상에 표적의 영상을 중첩시킬 수 있다. 즉, 실제 영상 정보에 따른 실제 영상(Real Image)과, 위치측정부(130)에 의해 제공되는 좌표값을 이용하여 해당 좌표에 가상의 표적(P) 가상 영상을 생성할 수 있다. The image superposition unit 132 may superimpose the image of the target on the image captured by the photographing unit 110 of the second user by using the coordinates of the target P measured by the position measuring unit 120. That is, a virtual image of a virtual target P may be generated at the corresponding coordinates by using a real image according to the actual image information and a coordinate value provided by the location measuring unit 130.

보다 구체적으로, 영상중첩기(132)는 영상인식기(131)와 위치측정부(120)로부터 제공되는 위치 정보를 기반으로 실제 영상과 영상 정보를 서로 상하 계층구조 형태로 중첩(Overlay)시켜 가상 영상을 생성할 수 있다. 이에, 해당 좌표에 표적(P)의 영상이 중첩된 가상 영상을 생성할 수 있다. More specifically, the image superimposing device 132 overlaps the actual image and the image information in a hierarchical form based on the position information provided from the image recognizer 131 and the position measurement unit 120 to provide a virtual image. Can be created. Accordingly, a virtual image in which the image of the target P is superimposed on the corresponding coordinates may be generated.

한편, 영상중첩기(132)는 표적(P)의 이미지가 중첩된 가상 영상에 도형 또는 그림을 표시하는 방식 또는 표적(P)에 대한 설명을 문자로 나타내는 방식 중 적어도 어느 하나를 통해 가시 영역에 대한 상황정보를 포함시킬 수 있다. 이에, 시야가 가려진 사용자(사용자3,사용자4)들과 표적(P) 사이의 거리 정보 및 기타의 정보들을 가상영상에 함께 전시할 수 있다. On the other hand, the image superposition unit 132 displays a figure or a picture on a virtual image in which the image of the target P is overlapped, or the description of the target P is expressed in letters. You can include contextual information about it. Accordingly, distance information and other information between the users (user 3 and user 4) whose view is obstructed and the target P can be displayed together in the virtual image.

영상전송기(133)는 디스플레이부(140)와 각각 연결되며, 표적(P)의 영상이 중첩된 가상 영상을 복수의 사용자(사용자1,사용자2,사용자3,사용자4)의 디스플레이부(140)에게 각각 전송할 수 있다. 도 3에 도시된 바와 같이, 복수의 사용자 중 제2 사용자(사용자3,사용자4)들은 주변 구조물에 의해 시야가 가려져 가시 영역 내에 존재하는 표적(P)을 감지하지 못할 수 있다. The image transmitter 133 is connected to the display unit 140, respectively, and transmits a virtual image in which the image of the target P is superimposed on the display unit 140 of a plurality of users (user 1, user 2, user 3, user 4). Can be sent to each. As illustrated in FIG. 3, among the plurality of users, the second users (user 3 and user 4) may not be able to detect the target P existing in the visible area because their field of view is obscured by surrounding structures.

이때, 영상전송기(133)를 통해 표적(P)의 영상이 중첩된 가상 영상을 시야가 가려진 제2 사용자(사용자3,사용자4)에게 전송할 수 있다. 이에, 도 5에 도시된 바와 같이, 시야가 가려진 제2 사용자(사용자3,사용자4)의 가시 영역에 표적(P)의 영상이 중첩된 가상 영상이 전시되므로, 시야가 가려진 제2 사용자(사용자3,사용자4)가 표적(P)을 감지할 수 있다. In this case, the virtual image in which the image of the target P is superimposed may be transmitted through the image transmitter 133 to the second user (user 3, user 4) whose view is obscured. Thus, as shown in FIG. 5, since a virtual image in which the image of the target P is superimposed on the visible area of the second user (user 3, user 4) whose view is obscured is displayed, the second user (user 3, the user 4 can detect the target P.

디스플레이부(140)는 표적(P)의 영상이 중첩된 가상 영상을 복수의 사용자(사용자1,사용자2,사용자3,사용자4)가 눈으로 확인할 수 있도록, 화면에 영상을 전시할 수 있다. 이를 위해, 디스플레이부(140)는 복수의 사용자(사용자1,사용자1,사용자2,사용자3,사용자4)에게 각각 장착될 수 있다. 여기서, 디스플레이부(140)는 영상을 화면에 표시할 수 있는 일반적인 구성일 수 있으므로, 그 상세한 설명은 생략한다.The display unit 140 may display an image on the screen so that a plurality of users (user 1, user 2, user 3, user 4) can visually check the virtual image in which the image of the target P is superimposed. To this end, the display unit 140 may be mounted to a plurality of users (user 1, user 1, user 2, user 3, and user 4), respectively. Here, since the display unit 140 may be a general configuration capable of displaying an image on a screen, a detailed description thereof will be omitted.

한편, 영상 정보 제공 장치(100)를 이용하여, 복수의 사용자들에게 영상을 생성 및 제공하는 과정은 정보 제공 방법을 설명하면서 그 과정을 함께 설명한다.Meanwhile, a process of generating and providing an image to a plurality of users by using the image information providing apparatus 100 will be described together with a description of an information providing method.

도 6은 본 발명의 실시 예에 따른 정보 제공 방법을 나타내는 플로우차트이다. 본 발멸의 정보 제공 방법은 정보 제공 장치(100)를 이용하여 복수의 사용자에게 가상 영상 정보를 제공하는 방법일 수 있다. 도 3 내지 도 6을 참조하여, 본 발명의 실시 예에 따른 정보 제공 방법을 설명한다. 6 is a flowchart illustrating a method of providing information according to an embodiment of the present invention. The present method of providing information about extinction may be a method of providing virtual image information to a plurality of users using the information providing device 100. A method of providing information according to an embodiment of the present invention will be described with reference to FIGS. 3 to 6.

도 6을 참조하면, 정보 제공 방법은 복수의 사용자에게 각각 제공되어 사용자의 시선방향에 따른 가시 영역에 대한 정보를 제공하는 방법으로서,Referring to FIG. 6, the information providing method is a method of providing information on a visible area according to a user's gaze direction by being provided to a plurality of users, respectively,

복수의 사용자(사용자1,사용자2,사용자3,사용자4)의 시선이 향하는 가시 영역을 촬영하는 과정(S110), 복수의 사용자 중 표적을 탐지한 제1 사용자(사용자1,t사용자2)로부터 촬영된 영상을 이용하여 표적의 위치 정보를 획득하는 과정(S120) 및 획득된 위치 정보를 이용하여 가시 영역 내에 표적이 위치하는 제2 사용자(사용자3,사용자4)로부터 촬영된 영상에 가상의 표적 영상이 중첩된 가상 영상을 제2 사용자에게 전시하는 과정(S130)을 포함할 수 있다.A process of photographing a visible area to which the gaze of a plurality of users (user 1, user 2, user 3, user 4) is directed (S110), from a first user (user 1, t user 2) who has detected a target among a plurality of users The process of acquiring the location information of the target using the captured image (S120), and the virtual target in the image captured by the second user (user 3, user 4) in which the target is located in the visible area by using the acquired location information. A process of displaying a virtual image superimposed on the image to a second user (S130) may be included.

먼저, 사용자들에게 각각 장착된 촬영부(110)를 이용하여 복수의 사용자(사용자1,사용자2,사용자3,사용자4)의 시선이 향하는 가시 영역을 촬영. 예를 들어, 촬영부(110)는 이미지 센서에 의해 얻어지는 가시 영역 내의 실제 피사체에 대한 영상정보를 정지영상 혹은 동영상의 형태로 수집할 수 있다. 보다 구체적으로, 촬영부(110)를 이용하여 진북방향을 기준으로 제1 사용자(사용자1,사용자2)의 시선방향과 표적(P) 사이의 상대적인 각도를 측정할 수 있다. 이때, 헤드 트래킹 혹은 시선 트래킹 방식을 이용하여 사용자의 시선방향을 탐지할 수 있다. 이에, 제1 사용자를 기준으로 표적(P)까지의 방향을 판단할 수 있다. 한편, 표적(P)을 복수의 사용자들이 감지할 수 있다. 이에, 표적을 감지한 각각의 제1 사용자들을 기준으로 표적(P)까지의 방향을 측정할 수 있다.First, a viewable area of a plurality of users (user 1, user 2, user 3, and user 4) is photographed by using a photographing unit 110 mounted to each of the users. For example, the photographing unit 110 may collect image information about an actual subject in the visible area obtained by the image sensor in the form of a still image or a moving image. More specifically, the relative angle between the eye line direction of the first user (user 1 and user 2) and the target P based on the true north direction may be measured using the photographing unit 110. In this case, the user's gaze direction may be detected using a head tracking or gaze tracking method. Accordingly, the direction to the target P may be determined based on the first user. Meanwhile, the target P may be sensed by a plurality of users. Accordingly, the direction to the target P may be measured based on each of the first users who have detected the target.

이후, 복수의 사용자 중 가시 영역에서 표적을 탐지한 제1 사용자(사용자1,사용자2)로부터 촬영된 영상을 이용하여, 표적(P)의 위치 정보를 획득할 수 있다(S120). Thereafter, the location information of the target P may be obtained by using the image captured by the first user (user 1, user 2) who has detected the target in the visible region among the plurality of users (S120).

먼저, 제1 사용자(사용자1,사용자2)에 대한 표적(P)까지의 방향을 측정할 수 있다. 즉, 방향측정기(121)를 통해 제1 사용자(사용자1,사용자2)와 표적(P)사이의 각도를 산출하여 제1 사용자(사용자1,사용자2)를 기준으로 표적(P)을 향하는 표적방향을 측정할 수 있다. First, the direction of the first user (user 1, user 2) to the target P may be measured. That is, by calculating the angle between the first user (user 1, user 2) and the target P through the direction measuring device 121, the target toward the target P based on the first user (user 1, user 2) You can measure the direction.

보다 구체적으로, 제1 각도연산부재(121a)를 이용하여 시선방향으로부터 표적방향까지의 각도를 측정할 수 있다. 제1 각도연산부재(121a)는 제2 각도연산부재(121b)와 동일한 방식으로 시선방향으로부터 표적방향까지의 각도를 측정할 수 있다.More specifically, the angle from the gaze direction to the target direction may be measured using the first angle calculating member 121a. The first angle calculation member 121a may measure an angle from the gaze direction to the target direction in the same manner as the second angle calculation member 121b.

그 다음으로, 제2 각도연산부재(121b)를 이용하여 제1 사용자(사용자1,사용자2)의 시선방향으로부터 진북방향까지의 각도를 측정할 수 있다. 여기서 ,제2 각도연산부재(121b)는 진북방향과 시선방향을 벡터 값으로 변환한 후, 두 벡터 값의 내적으로 두 방향 사이의 각도를 계산하여 제1 사용자(사용자1,사용자2)의 시선방향으로부터 진북방향까지의 각도를 측정할 수 있다. Next, the angle from the eye line direction of the first user (user 1, user 2) to the true north direction may be measured using the second angle calculating member 121b. Here, the second angle calculating member 121b converts the true north direction and the line of sight direction into vector values, and then calculates the angle between the two directions internally of the two vector values, and You can measure the angle from the direction to the true north direction.

이후, 제3 각도연산부재(121c)를 이용하여 진북방향과 표적방향 사이의 각도를 측정할 수 있다. 즉, 제1 사용자(사용자1,사용자2)의 시선방향으로부터 표적방향까지의 각도와 제1 사용자(사용자1,사용자2)의 시선방향으로부터 진북방향까지의 각도의 차를 이용하여 진북방향과 표적방향 사이의 각도를 측정할 수 있다. 여기서, 제3 각도연산부재(121c)는 각도의 차를 산출한 뒤 절대값을 적용하여 진북방향과 표적방향 사이의 각도를 측정할 수 있다. 이에, 진북방향에 대한 표적(P)까지의 상대적인 각도를 측정할 수 있다. Thereafter, the angle between the true north direction and the target direction may be measured using the third angle calculating member 121c. That is, by using the difference between the angle from the first user's (user 1, user 2) gaze direction to the target direction and the first user (user 1, user 2)’s gaze direction to true north direction, You can measure the angle between directions. Here, the third angle calculating member 121c may measure the angle between the true north direction and the target direction by calculating the difference in angle and then applying the absolute value. Accordingly, the relative angle to the target P with respect to the true north direction can be measured.

이후, 거리연산기(122)를 이용하여 적어도 둘 이상의 제1 사용자(사용자1,사용자2)로부터 얻어진 표적방향과 적어도 둘 이상의 제1 사용자(사용자1,사용자2)의 위치 정보를 이용하여 제1 사용자(사용자1,사용자2)로부터 표적까지의 거리를 측정할 수 있다. Thereafter, the first user using the target direction obtained from at least two or more first users (user 1 and user 2) and the location information of at least two or more first users (user 1 and user 2) using the distance calculator 122 You can measure the distance from (User 1, User 2) to the target.

거리연산기(122)는 우선 GPS 위성 정보를 활용하여 제1 사용자(사용자1,사용자2)의 위치 정보를 산출할 수 있다. 여기서, 거리연산기(122)는 위치확인부재(122a)를 통해 제1 사용자(사용자1,사용자2) 사이의 거리 및 사이의 각도를 측정할 수 있다. The distance calculator 122 may first calculate the location information of the first user (user 1, user 2) by using GPS satellite information. Here, the distance calculator 122 may measure a distance between the first user (user 1 and user 2) and an angle therebetween through the positioning member 122a.

이후, 교차점확인부재(122b)를 이용하여 제1 사용자(사용자1,사용자2)를 기준으로 한 표적방향들의 교차점을 찾을 수 있다. 즉, 어느 하나의 사용자(사용자1)로부터 표적(P)까지의 표적방향과 다른 하나의 사용자(사용자2)로부터 표적(P)까지의 표적방향의 교차점을 계산할 수 있다. Thereafter, the intersection of the target directions based on the first user (user 1 and user 2) may be found using the intersection check member 122b. That is, the intersection of the target direction from one user (user 1) to the target P and the target direction from the other user (user 2) to the target P can be calculated.

이후, 거리측정부재(122c)를 통해 제1 사용자(사용자1,사용자2)와 표적(P) 사이의 거리를 측정할 수 있다. 즉, 적어도 둘 이상의 제1 사용자 중 어느 하나와 다른 하나 사이의 거리 및 각도와, 어느 하나의 제1 사용자와 표적 사이의 각도를 이용하여 하기 수학식 1로부터 거리를 측정할 수 있다. Thereafter, the distance between the first user (user 1 and user 2) and the target P may be measured through the distance measuring member 122c. That is, the distance may be measured from Equation 1 below by using the distance and angle between any one of the at least two first users and the other, and the angle between any one first user and the target.

[수학식 1]

Figure 112020081421709-pat00005
[Equation 1]
Figure 112020081421709-pat00005

(여기서, a는 어느 하나의 제1 사용자와 표적 사이의 거리이고, b는 제1 사용자 사이의 거리리고, A는 다른 하나의 제1 사용자가 어느 하나의 제1 사용자를 향하는 방향과 표적방향 사이의 각도이고, B는 표적을 기준으로 어느 하나의 제1 사용자를 향하는 방향과 표적을 기준으로 다른 하나의 제1 사용자를 향하는 방향 사이의 각도를 의미한다.)(Here, a is the distance between any one first user and the target, b is the distance between the first user, and A is between the direction in which the other first user faces any one first user and the target direction. Is the angle of, and B is the angle between a direction toward one first user with respect to the target and a direction toward another first user with respect to the target.)

이후, 이미 알고 있는 제1 사용자(사용자1,사용자2)와 표적(P) 사이의 상대적인 각도와 측정된 거리를 이용하여 표적(P)의 좌표를 측정할 수 있다. 즉, 어느 하나의 사용자(사용자1)의 좌표와 다른 하나의 사용자(사용자2)의 좌표로부터 표적(P)까지 이격된 거리를 대입하여, 표적(P)의 좌표를 산출할 수 있다.Thereafter, the coordinates of the target P may be measured using the known relative angle between the first user (user 1 and user 2) and the target P and the measured distance. That is, the coordinates of the target P can be calculated by substituting the coordinates of one user (user 1) and the distance to the target P from the coordinates of the other user (user 2).

이후, 획득된 위치 정보를 이용하여, 가시 영역 내에 표적(P)이 위치하는 제2 사용자(사용자3,사용자4)로부터 촬영된 영상에 가상의 표적 영상이 중첩된 가상 영상을 제2 사용자(사용자3,사용자4)에게 전시할 수 있다(S130). 즉, 복수의 사용자(사용자1,사용자2,사용자3,사용자4) 중 주변 구조물에 의해 가시 영역에서 표적(P)을 감지하지 못한 제2 사용자(사용자3,사용자4)에게 표적(P)의 이미지가 중첩된 가상 영상을 전시할 수 있다. 이때, 복수의 사용자(사용자1,사용자2,사용자3,사용자4) 중 표적을 인지한 제1 사용자(사용자1,사용자2)들에게도 가상 영상을 전시할 수 있다.Thereafter, using the obtained location information, a virtual image in which the virtual target image is superimposed on the image captured by the second user (user 3, user 4) where the target P is located in the visible area is transferred to the second user (user 3, it can be displayed to the user 4 (S130). In other words, among a plurality of users (User 1, User 2, User 3, User 4), the target P is sent to the second user (User 3, User 4) who cannot detect the target P in the visible area by the surrounding structure. You can display a virtual image in which images are superimposed. At this time, the virtual image may be displayed to first users (user 1, user 2) who have recognized the target among the plurality of users (user 1, user 2, user 3, and user 4).

도 5에 도시된 바와 같이, 먼저 표적(P)에 대한 이미지를 저장하고, 제2 사용자(사용자3,사용자4)들의 실제 시각 영상을 저장할 수 있다. 이후, 제2 사용자(사용자3,사용자4)들의 실제 시각 영상에서 표적(P)의 좌표에 대응하는 위치에 표적(P)에 대한 이미지를 결합시킬 수 있다. 즉, 제2 사용자(사용자3,사용자4)의 실제 시각 영상과 저장된 표적(P)의 이미지가 서로 상하계층 구조 형태를 갖도록 중첩시켜 가상 영상을 생성할 수 있다. As shown in FIG. 5, first, an image of the target P may be stored, and an actual visual image of the second users (users 3 and 4) may be stored. Thereafter, the image of the target P may be combined at a position corresponding to the coordinates of the target P in the actual visual images of the second users (users 3 and 4). That is, a virtual image may be generated by overlapping the actual visual image of the second user (user 3 and user 4) and the stored image of the target P to have a hierarchical structure.

이때, 가상 영상에는 도형 또는 그림을 표시하는 방식 또는 표적(P)에 대한 설명을 문자로 나타내는 방식 중 적어도 어느 하나를 통해 가시 영역에 대한 상황정보를 전시할 수 있다. 이에, 제1 사용자(사용자1,사용자2) 및 제2 사용자(사용자3,사용자4)에게 표적(P)에 대한 이미지 및 표적(P)에 대한 상세한 정보를 제공할 수 있다.At this time, in the virtual image, context information on the visible area may be displayed through at least one of a method of displaying a figure or a picture or a method of displaying a description of the target P in text. Accordingly, an image of the target P and detailed information about the target P may be provided to the first user (user 1 and user 2) and the second user (user 3 and user 4).

이후, 복수의 사용자(사용자1,사용자2,사용자3,사용자4)는 디스플레이부(140)를 통해 표적(P)의 이미지가 중첩된 가상 영상을 확인할 수 있다.Thereafter, the plurality of users (User 1, User 2, User 3, User 4) may check the virtual image in which the image of the target P is superimposed through the display unit 140.

이와 같이, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 아래에 기재될 특허청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.As described above, in the detailed description of the present invention, specific embodiments have been described, but various modifications may be made without departing from the scope of the present invention. Therefore, the scope of the present invention should not be defined by being limited to the described embodiments, and should be defined by the claims to be described below as well as the claims and their equivalents.

100: 정보 제공 장치 110: 촬영부
120: 위치측정부 130: 증강현실 생성부
140: 디스플레이부100: information providing device 110: photographing unit
120: location measurement unit 130: augmented reality generation unit
140: display unit

Claims (17)

복수의 사용자에게 각각 제공되어, 사용자의 시선방향에 따른 가시 영역에 대한 정보를 제공하는 장치로서,
가시 영역의 영상을 촬영하기 위한 촬영부;
복수의 사용자 중 가시 영역에서 표적을 탐지한 제1 사용자로부터 촬영된 영상을 이용하여 표적의 위치 정보를 획득하기 위한 위치측정부; 및
상기 위치측정부로부터 획득된 표적의 위치 정보를 이용하여, 가시 영역 내에 표적이 위치하는 제2 사용자로부터 촬영된 영상에, 가상의 표적 영상이 중첩된 가상 영상을 전시하기 위한 증강 현실 생성부;를 포함하고,
상기 위치측정부는, 적어도 둘 이상의 제1 사용자로부터 얻어진 표적방향과 적어도 둘 이상의 제1 사용자의 위치 정보를 이용하여 상기 제1 사용자로부터 표적까지의 거리를 측정하는 거리연산기;를 포함하는 정보 제공 장치.A device that is provided to a plurality of users and provides information on a visible area according to the user's gaze direction,
A photographing unit for photographing an image of a visible region;
A location measuring unit for acquiring location information of a target by using an image captured from a first user who detects a target in a visible area among a plurality of users; And
An augmented reality generation unit for displaying a virtual image in which a virtual target image is superimposed on an image captured by a second user in which the target is located in the visible region, using the position information of the target obtained from the position measuring unit; Including,
And a distance calculator that measures a distance from the first user to a target using the target direction obtained from at least two first users and the location information of at least two first users. 청구항 1에 있어서,
상기 위치측정부는,
상기 제1 사용자를 기준으로 표적을 향하는 표적방향을 측정하는 방향측정기;를 더 포함하는 정보 제공 장치.The method according to claim 1,
The position measuring unit,
Information providing apparatus further comprising a; direction measuring device for measuring the target direction toward the target with respect to the first user. 청구항 2에 있어서,
상기 촬영부는, 사용자의 시선방향을 감지하는 시선감지기를 포함하고,
상기 방향측정기는,
상기 제1 사용자의 시선방향으로부터 표적방향까지의 각도를 측정하는 제1 각도연산부재;
상기 제1 사용자의 시선방향으로부터 진북방향까지의 각도를 측정하는 제2 각도연산부재; 및
상기 제1 사용자의 시선방향으로부터 상기 표적방향까지의 각도와 상기 제1 사용자의 시선방향으로부터 진북방향까지의 각도의 차를 이용하여 상기 진북방향과 상기 표적방향 사이의 각도를 측정하는 제3 각도연산부재;를 포함하는 정보 제공 장치.The method according to claim 2,
The photographing unit includes a gaze detector for detecting a gaze direction of the user,
The direction measuring device,
A first angle calculating member for measuring an angle from the first user's gaze direction to a target direction;
A second angle calculating member for measuring an angle from the first user's line of sight to the true north direction; And
Third angle calculation for measuring the angle between the true north direction and the target direction using the difference between the angle from the first user's gaze direction to the target direction and the first user’s gaze direction to true north direction Information providing device including; member. 삭제delete 청구항 2에 있어서,
상기 거리연산기는,
적어도 둘 이상의 제1 사용자를 기준으로 표적을 향하는 표적방향의 교차점을 확인하는 교차점확인부재; 및
상기 제1 사용자로부터 표적까지의 거리를 측정하는 거리측정부재;를 포함하는 정보 제공 장치.The method according to claim 2,
The distance calculator,
An intersection check member for checking an intersection point in the target direction toward the target based on at least two first users; And
Information providing device comprising a; distance measuring member for measuring the distance from the first user to the target. 청구항 5에 있어서,
상기 거리측정부재는, 적어도 둘 이상의 제1 사용자 중 어느 하나와 다른 하나 사이의 거리 및 각도와, 어느 하나의 제1 사용자와 표적 사이의 각도를 이용하여 하기 수학식 1로부터 거리를 측정하는 정보 제공 장치.
[수학식 1]
Figure 112020081421709-pat00006

(여기서, a는 어느 하나의 제1 사용자와 표적 사이의 거리이고, b는 제1 사용자 사이의 거리리고, A는 다른 하나의 제1 사용자가 어느 하나의 제1 사용자를 향하는 방향과 표적방향 사이의 각도이고, B는 표적을 기준으로 어느 하나의 제1 사용자를 향하는 방향과 표적을 기준으로 다른 하나의 제1 사용자를 향하는 방향 사이의 각도를 의미한다.)The method of claim 5,
The distance measuring member provides information for measuring a distance from Equation 1 below by using a distance and an angle between one of at least two first users and the other, and an angle between any one first user and a target. Device.
[Equation 1]
Figure 112020081421709-pat00006

(Here, a is the distance between any one first user and the target, b is the distance between the first user, and A is between the direction in which the other first user faces any one first user and the target direction. Is the angle of, and B is the angle between the direction toward one first user with respect to the target and the direction toward the other first user with respect to the target.) 청구항 2에 있어서,
상기 거리연산기는, GPS 위성 정보를 활용하여 상기 제1 사용자의 위치 정보를 산출하는 정보 제공 장치.The method according to claim 2,
The distance calculator is an information providing device for calculating the location information of the first user by using GPS satellite information. 청구항 3에 있어서,
상기 시선감지기는, 헤드 트래킹(Head Tracking)과 시선 트래킹(Eye Tracking) 중 적어도 어느 하나의 방식을 이용하여 시선방향을 탐지하는 정보 제공 장치. The method of claim 3,
The gaze detector is an information providing device that detects a gaze direction using at least one of a head tracking and an eye tracking. 청구항 1에 있어서,
상기 증강 현실 생성부는,
상기 제1 사용자의 촬영부로부터 촬영된 표적에 대한 영상을 인식하여 저장하는 영상인식기;
상기 위치측정부에서 측정된 표적의 좌표를 이용하여 상기 제2 사용자의 촬영부로부터 촬영된 영상에 표적의 영상을 중첩시키는 영상중첩기;를 포함하는 정보 제공 장치.The method according to claim 1,
The augmented reality generation unit,
An image recognizer for recognizing and storing an image of a target photographed by the first user's photographing unit;
And an image superimator for superimposing an image of a target on an image captured by the second user's photographing unit by using the coordinates of the target measured by the position measuring unit. 청구항 9에 있어서,
상기 영상중첩기는, 표적의 영상이 중첩된 가상 영상에 도형 또는 그림을 표시하는 방식 및 표적에 대한 설명을 문자로 나타내는 방식 중 적어도 어느 하나를 통해 상기 가시 영역에 대한 상황 정보를 중첩하는 정보 제공 장치.The method of claim 9,
The image superposition device is an information providing device that superimposes context information on the visible area through at least one of a method of displaying a figure or a picture on a virtual image in which an image of a target is superimposed and a method of displaying a description of the target in text . 복수의 사용자에게 각각 제공되는 정보 제공 장치를 이용하여 사용자의 시선방향에 따른 가시 영역에 대한 정보를 제공하는 방법으로서,
복수의 사용자의 시선이 향하는 가시 영역을 촬영하는 과정;
상기 복수의 사용자 중 표적을 탐지한 제1 사용자로부터 촬영된 영상을 이용하여 표적의 위치 정보를 획득하는 과정; 및
획득된 위치 정보를 이용하여, 가시 영역 내에 표적이 위치하는 제2 사용자로부터 촬영된 영상에 가상의 표적 영상이 중첩된 가상 영상을 상기 제2 사용자에게 전시하는 과정;을 포함하고,
상기 표적의 위치 정보를 획득하는 과정은, 적어도 둘 이상의 제1 사용자로부터 얻어진 표적방향과 적어도 둘 이상의 제1 사용자의 위치 정보를 이용하여 상기 제1 사용자로부터 표적까지의 거리를 측정하는 상기 정보 제공 장치의 거리연산기를 이용하여 상기 제1 사용자로부터 표적까지의 거리를 측정하는 과정;을 포함하는 정보 제공 방법.A method of providing information on a visible area according to a user's gaze direction by using an information providing device each provided to a plurality of users,
Capturing a viewable area to which the eyes of a plurality of users are directed;
Obtaining location information of a target using an image captured from a first user who detects a target among the plurality of users; And
Including, using the acquired location information, displaying a virtual image in which a virtual target image is superimposed on an image captured by a second user in which the target is located in the visible area to the second user,
The process of obtaining the location information of the target includes: the information providing device measuring the distance from the first user to the target using the target direction obtained from at least two first users and the location information of at least two first users Measuring the distance from the first user to the target using the distance calculator of; Information providing method comprising a. 청구항 11에 있어서,
상기 표적의 위치 정보를 획득하는 과정은,
상기 제1 사용자를 기준으로 표적을 향하는 표적방향을 측정하는 과정;을 포함하는 정보 제공 방법.The method of claim 11,
The process of obtaining the location information of the target,
And measuring a target direction toward a target with respect to the first user. 청구항 12에 있어서,
상기 제1 사용자를 기준으로 표적을 향하는 표적방향을 측정하는 과정은,
상기 제1 사용자의 시선방향으로부터 표적방향까지의 각도를 측정하는 과정;
상기 제1 사용자의 시선방향으로부터 진북방향까지의 각도를 측정하는 과정;
상기 제1 사용자의 시선방향으로부터 상기 표적방향까지의 각도와 상기 제1 사용자의 시선방향으로부터 진북방향까지의 각도의 차를 이용하여 상기 진북방향과 상기 표적방향 사이의 각도를 측정하는 과정;을 포함하는 정보 제공 방법.The method of claim 12,
The process of measuring the target direction toward the target based on the first user,
Measuring an angle from the first user's gaze direction to a target direction;
Measuring an angle from the first user's line of sight to the true north direction;
Measuring an angle between the true north direction and the target direction using the difference between the angle from the first user's gaze direction to the target direction and the first user’s gaze direction to true north direction; How to provide information. 청구항 12에 있어서,
상기 제1 사용자로부터 표적까지의 거리를 측정하는 과정은,
적어도 둘 이상의 제1 사용자 중 어느 하나와 다른 하나 사이의 거리 및 각도와, 어느 하나의 제1 사용자와 표적 사이의 각도를 이용하여 하기 수학식 1로부터 거리를 측정하는 과정을 포함하는 정보 제공 방법.
[수학식 1]
Figure 112020081421709-pat00007

(여기서, a는 어느 하나의 제1 사용자와 표적 사이의 거리이고, b는 제1 사용자 사이의 거리리고, A는 다른 하나의 제1 사용자가 어느 하나의 제1 사용자를 향하는 방향과 표적방향 사이의 각도이고, B는 표적을 기준으로 어느 하나의 제1 사용자를 향하는 방향과 표적을 기준으로 다른 하나의 제1 사용자를 향하는 방향 사이의 각도를 의미한다.)The method of claim 12,
The process of measuring the distance from the first user to the target,
An information providing method comprising the process of measuring a distance from Equation 1 below using a distance and an angle between one of the at least two first users and the other, and an angle between the first user and the target.
[Equation 1]
Figure 112020081421709-pat00007

(Here, a is the distance between any one first user and the target, b is the distance between the first user, and A is between the direction in which the other first user faces any one first user and the target direction. Is the angle of, and B is the angle between the direction toward one first user with respect to the target and the direction toward the other first user with respect to the target.) 청구항 11에 있어서
상기 가상 영상을 상기 제2 사용자에게 전시하는 과정은,
상기 제1 사용자의 촬영부로부터 촬영된 표적에 대한 영상을 인식하여 저장하는 과정;
상기 제2 사용자의 촬영부로부터 촬영된 영상에 표적의 영상을 결합시키는 과정;을 포함하는 정보 제공 방법.The method of claim 11
The process of displaying the virtual image to the second user,
Recognizing and storing an image of a target photographed by the first user's photographing unit;
And combining the image of the target with the image captured by the second user's photographing unit. 청구항 15에 있어서,
상기 제2 사용자의 촬영부로부터 촬영된 영상에 표적의 영상을 결합시키는 과정은,
각각의 제2 사용자의 주변 구조물 뒤에 있는 표적의 영상을 주변 구조물 앞에 중첩시키는 과정;을 포함하는 정보 제공 방법.The method of claim 15,
The process of combining the image of the target with the image captured by the second user's photographing unit,
The method of providing information comprising a; process of overlapping the image of the target behind the surrounding structures of each second user in front of the surrounding structures. 청구항 16에 있어서,
상기 표적의 영상을 주변 구조물 앞에 중첩시키는 과정은,
실제 시각 영상과 저장된 표적의 영상을 상하계층 구조 형태로 중첩시키는 정보 제공 방법.
The method of claim 16,
The process of superimposing the image of the target in front of the surrounding structures,
An information providing method in which the actual visual image and the stored target image are superimposed in the form of a hierarchical structure.
KR1020200096918A 2020-08-03 2020-08-03 Apparatus for providing information and method for providing information KR102232792B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200096918A KR102232792B1 (en) 2020-08-03 2020-08-03 Apparatus for providing information and method for providing information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200096918A KR102232792B1 (en) 2020-08-03 2020-08-03 Apparatus for providing information and method for providing information

Publications (1)

Publication Number Publication Date
KR102232792B1 true KR102232792B1 (en) 2021-03-26

Family

ID=75259234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200096918A KR102232792B1 (en) 2020-08-03 2020-08-03 Apparatus for providing information and method for providing information

Country Status (1)

Country Link
KR (1) KR102232792B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100660025B1 (en) 2004-11-10 2006-12-20 한국전자통신연구원 System and method of location awareness with ultrasonic
US20070276590A1 (en) * 2006-05-24 2007-11-29 Raytheon Company Beacon-Augmented Pose Estimation
KR101076240B1 (en) * 2011-03-04 2011-10-26 삼성탈레스 주식회사 Device and method for an air defense situation awareness using augmented reality
KR20190073429A (en) * 2016-10-24 2019-06-26 넥스터 시스템즈 A method for assisting location detection of a target and an observing device enabling the implementation of such a method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100660025B1 (en) 2004-11-10 2006-12-20 한국전자통신연구원 System and method of location awareness with ultrasonic
US20070276590A1 (en) * 2006-05-24 2007-11-29 Raytheon Company Beacon-Augmented Pose Estimation
KR101076240B1 (en) * 2011-03-04 2011-10-26 삼성탈레스 주식회사 Device and method for an air defense situation awareness using augmented reality
KR20190073429A (en) * 2016-10-24 2019-06-26 넥스터 시스템즈 A method for assisting location detection of a target and an observing device enabling the implementation of such a method

Similar Documents

Publication Publication Date Title
US10366511B2 (en) Method and system for image georegistration
US11789523B2 (en) Electronic device displays an image of an obstructed target
US10204454B2 (en) Method and system for image georegistration
US8350894B2 (en) System and method for stereoscopic imaging
CN108022302B (en) Stereo display device of Inside-Out space orientation's AR
JP6176541B2 (en) Information display device, information display method, and program
EP3596588B1 (en) Gradual transitioning between two-dimensional and three-dimensional augmented reality images
US10425540B2 (en) Method and system for integrated optical systems
JP2005268847A (en) Image generating apparatus, image generating method, and image generating program
Gans et al. Augmented reality technology for day/night situational awareness for the dismounted soldier
EP3642694B1 (en) Augmented reality system and method of displaying an augmented reality image
JP2013234946A (en) Target position identification device, target position identification system and target position identification method
KR102232792B1 (en) Apparatus for providing information and method for providing information
KR101620983B1 (en) System and Method for realtime 3D tactical intelligence display
EP3903285B1 (en) Methods and systems for camera 3d pose determination
CN112819970B (en) Control method and device and electronic equipment
KR20190073429A (en) A method for assisting location detection of a target and an observing device enabling the implementation of such a method
US20230122185A1 (en) Determining relative position and orientation of cameras using hardware
CN109214984B (en) Image acquisition method and device, autonomous positioning navigation system and computing equipment
IL265171A (en) Methods and systems for camera 3d pose determination
KR101522208B1 (en) Augmented-reality based autonomous target generating system and method therof
JP2021047611A (en) Image display system
KR20140139673A (en) Augmented reality method using 3d eyes recognition system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant