KR20230135379A

KR20230135379A - Termonal device and indoor location estimation method performed in the device

Info

Publication number: KR20230135379A
Application number: KR1020220032763A
Authority: KR
Inventors: 이중재
Original assignee: 티맵모빌리티 주식회사
Priority date: 2022-03-16
Filing date: 2022-03-16
Publication date: 2023-09-25

Abstract

The present invention relates to measuring the indoor location of a terminal based on characters recognized in images taken by the terminal. Disclosed is a technology for realizing a new indoor location measurement (estimation) technique that predicts the location (angle) of the character and the distance to the character independently of the terminal, away from the center of a server and measures (estimates) the indoor location of the terminal and the user's gaze direction based on this. The terminal includes: an information verification part; an angle confirmation part; and an estimation part.

Description

Terminal device and indoor location estimation method performed in the terminal device {TERMONAL DEVICE AND INDOOR LOCATION ESTIMATION METHOD PERFORMED IN THE DEVICE}

본 발명은, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정하는 기술에 관한 것이다.The present invention relates to a technology for measuring the indoor location of a terminal based on characters recognized in images captured by the terminal.

위치 기반 서비스(LBS: Location Based Service)는 이동 통신망이나 위성항법장치(GPS: Global Positioning System) 등을 통해 얻은 단말의 위치 정보를 바탕으로 사용자에게 여러 가지 기능을 제공하는 서비스를 의미한다.Location Based Service (LBS) refers to a service that provides various functions to users based on the location information of the terminal obtained through a mobile communication network or a satellite navigation system (GPS: Global Positioning System).

이러한 위치 기반 서비스에서는, 단말이 실외에 위치해 있을 경우 측위 오차 범위가 작게 발생하는 GPS 기반의 측위 기술을 이용하여 단말 위치를 획득할 수 있지만, 지하주차장, 터널, 쇼핑몰 등과 같이 GPS 신호가 수신되지 않거나 GPS 신호가 미약한 지역(이하, 실내)에 위치해 있을 경우 GPS 기반의 측위 기술을 이용하여 단말 위치를 획득하는 것이 불가능하다.In these location-based services, the terminal location can be acquired using GPS-based positioning technology, which has a small positioning error range when the terminal is located outdoors, but in places where GPS signals are not received, such as in underground parking lots, tunnels, shopping malls, etc. If the device is located in an area where the GPS signal is weak (hereinafter referred to as indoor), it is impossible to obtain the terminal location using GPS-based positioning technology.

이에, 실내에 위치해 있는 단말의 위치를 측정하는 다양한 측위 기법이 등장하였으나, 기존의 측위 기법의 경우 그 측위 오차 범위가 GPS 측위 기술 보다 크게 발생하기 때문에 서비스 사용자에게 신뢰도 높은 위치 기반 서비스를 제공하지 못하는 문제점이 있다.Accordingly, various positioning techniques have emerged to measure the location of a terminal located indoors, but in the case of existing positioning techniques, the positioning error range is larger than that of GPS positioning technology, making it impossible to provide highly reliable location-based services to service users. There is a problem.

결국, 실내에 위치한 서비스 사용자에게 신뢰도 높은 위치 기반 서비스를 제공하기 위해서는, 실내에서도 단말에 대해 정확한 위치를 측정하는 측정 기법이 반드시 필요하다.Ultimately, in order to provide highly reliable location-based services to service users located indoors, a measurement technique that measures the accurate location of the terminal even indoors is essential.

한편, 기존의 측위 기법 중 문자 인식 기반의 측위 기법이 존재한다.Meanwhile, among existing positioning techniques, there is a positioning technique based on character recognition.

기존의 문자 인식 기반의 측위 기법은, 실내에 고정적으로 설치/배치된 문자를 사용자가 단말로 촬영하면 촬영 영상에서 인식된 문자의 위치를 기준으로 사용자의 실내 위치를 측정하는 측위 방식이다.The existing character recognition-based positioning technique is a positioning method that measures the user's indoor location based on the position of the character recognized in the captured image when the user photographs a character that is fixedly installed/placed indoors with a terminal.

헌데, 기존의 기법은, 위치를 특정하기 위한 문자 기반의 Fingerprint map을 기 구축해야 하고, 이러한 구축을 위한 대량의 데이터 연산 및 단말 촬영을 통해 인식된 문자의 위치로부터 사용자의 위치를 측정하기 위한 제반의 연산을 담당하는 서버를 두고, 단말이 필요한 데이터(촬영 영상 등)을 서버로 전달하면 서버에서의 연산을 통해 사용자의 실내 위치가 측정되는 방식이다.However, the existing technique requires the construction of a character-based fingerprint map to specify the location, and for this construction, a large amount of data is calculated and various steps are taken to measure the user's location from the location of the recognized character through terminal photography. There is a server in charge of the calculation, and when the terminal transmits necessary data (shot images, etc.) to the server, the user's indoor location is measured through calculation on the server.

즉, 기존의 기법은, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 측위 오차 범위를 줄이기 위해 서버 중심의 처리를 필수적으로 가져가야 하는 한계를 가지며, 이와 더불어 단말 및 서버 간 시그널링도 필수로 발생하게 된다.In other words, the existing technique has the limitation that server-centered processing is essential in order to reduce the range of positioning error in measuring the indoor location of the terminal based on characters recognized in the video captured by the terminal. In addition, signaling between terminals and servers is also essential.

이에, 본 발명에서는, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 기존의 서버 중심에서 벗어나면서도 신뢰도 높은 실내 측위 결과를 도출할 수 있는 새로운 방식의 실내 위치 측정(추정) 기법을 제안하고자 한다.Accordingly, in the present invention, in measuring the indoor location of a terminal based on characters recognized in images captured by the terminal, a new method of indoor location that can derive highly reliable indoor positioning results while deviating from the existing server center is provided. I would like to propose a measurement (estimation) technique.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 기존의 서버 중심에서 벗어나면서도 신뢰도 높은 실내 측위 결과를 도출할 수 있는 새로운 방식의 실내 위치 측정(추정) 기법을 실현하고자 한다.The present invention was created in consideration of the above-described circumstances, and the goal to be achieved by the present invention is to measure the indoor location of the terminal based on characters recognized in the captured video captured by the terminal, moving away from the existing server center. We aim to realize a new indoor position measurement (estimation) technique that can produce highly reliable indoor positioning results.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 단말장치는, 기 보유된 실내 지도 데이터를 근거로, 상기 단말장치에서 촬영되는 촬영 영상에서 인식되는 특정 문자의 위치관련정보를 확인하는 정보확인부; 상기 단말장치에 구비된 지자기 센서로부터 센싱 각도를 확인하는 각도확인부; 상기 위치관련정보 및 상기 센싱 각도를 활용하여, 상기 촬영 영상에서 추출한 특정 문자의 이미지를 근거로 상기 단말장치의 실내 위치 및 사용자의 시선 방향을 추정하는 추정부를 포함한다.In order to achieve the above object, the terminal device according to the first aspect of the present invention provides an information confirmation method for confirming location-related information of a specific character recognized in a captured image captured by the terminal device based on pre-owned indoor map data. wealth; An angle confirmation unit that checks the sensing angle from the geomagnetic sensor provided in the terminal device; It includes an estimation unit that uses the location-related information and the sensing angle to estimate the indoor location of the terminal device and the user's gaze direction based on the image of a specific character extracted from the captured image.

구체적으로, 상기 추정한 실내 위치 및 시선 방향에 매핑된 AR(Augmented Reality) 기반의 실내 네비게이션 서비스를 제공하는 서비스제공부를 더 포함할 수 있다.Specifically, it may further include a service provider that provides an AR (Augmented Reality)-based indoor navigation service mapped to the estimated indoor location and gaze direction.

구체적으로, 상기 실내 지도 데이터에는, 각 문자 별로, 문자열 이미지, 문자의 위치좌표, 문자의 물리적 크기, 문자의 정면이 노출되는 노출 각도 중 적어도 하나를 포함하는 위치관련정보가 포함될 수 있다.Specifically, the indoor map data may include, for each character, location-related information including at least one of a string image, the location coordinates of the character, the physical size of the character, and the exposure angle at which the front of the character is exposed.

구체적으로, 상기 추정부는, 상기 위치관련정보를 활용하여, 상기 추출한 특정 문자의 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 결과를 근거로 상기 특정 문자의 정면이 노출되는 노출 각도 기준의 위치를 예측하고, 상기 추출한 특정 문자의 이미지 내 특정 픽셀의 세로축 길이를 근거로 상기 특정 문자와의 거리를 예측하고, 상기 예측한 특정 문자의 노출 각도 기준의 위치 및 특정 문자와의 거리를 근거로 상기 특정 문자의 위치를 기준으로 하는 상기 실내 위치를 추정할 수 있다.Specifically, the estimation unit uses the location-related information to determine the exposure angle standard at which the front of the specific character is exposed based on the result of comparing the pixel vertical axis length between the first and last letters in the image of the extracted specific character. Predict the location, predict the distance to the specific character based on the vertical axis length of a specific pixel in the image of the extracted specific character, and predict the location based on the exposure angle of the predicted specific character and the distance to the specific character. The indoor location can be estimated based on the location of the specific character.

구체적으로, 상기 위치관련정보에는, 상기 특정 문자의 문자열 이미지, 정면이 노출되는 노출 각도가 포함되며, 상기 추정부는, 상기 문자열 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 기준 비율과, 상기 추출한 특정 문자의 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 촬영 비율을 비교하여, 0° 또는 ±90°범위 내의 특정 각도를 결정하고, 상기 특정 문자의 정면이 노출되는 노출 각도에 상기 결정한 특정 각도를 합한 각도를, 상기 특정 문자의 정면이 노출되는 노출 각도 기준의 위치로서 예측할 수 있다.Specifically, the location-related information includes a string image of the specific character and an exposure angle at which the front is exposed, and the estimation unit includes a reference ratio that compares the pixel vertical axis length between the first and last characters in the string image, By comparing the shooting ratio of the pixel vertical axis length between the first and last letters in the image of the extracted specific character, a specific angle within the range of 0° or ±90° is determined, and the exposure angle at which the front of the specific character is exposed is determined. The angle obtained by adding up the determined specific angles can be predicted as the position based on the exposure angle where the front of the specific character is exposed.

구체적으로, 상기 위치관련정보에는, 상기 특정 문자의 물리적 크기가 포함되며, 상기 추정부는, 상기 특정 각도가 +90°범위 내에서 결정되는 경우 상기 추출한 특정 문자의 이미지 내 첫 글자의 픽셀, 상기 특정 각도가 -90°범위 내에서 결정되는 경우 상기 추출한 특정 문자의 이미지 내 끝 글자의 픽셀을 특정하고, 상기 특정한 픽셀의 세로축 길이와, 상기 특정 문자의 물리적 크기에 따른 세로축 길이를 근거로, 상기 특정 문자와의 거리를 예측할 수 있다.Specifically, the location-related information includes the physical size of the specific character, and the estimation unit, when the specific angle is determined within the range of +90°, pixels of the first character in the image of the extracted specific character, the specific If the angle is determined within the range of -90°, the pixel of the last letter in the image of the extracted specific character is specified, and based on the vertical axis length of the specific pixel and the vertical axis length according to the physical size of the specific character, The distance to the text can be predicted.

구체적으로, 상기 추정부는, 상기 특정 문자의 위치를 기준으로 추정한 상기 실내 위치에서 상기 센싱 각도에 따른 방향을, 상기 시선 방향으로서 추정할 수 있다.Specifically, the estimation unit may estimate the direction according to the sensing angle as the gaze direction at the indoor location estimated based on the location of the specific character.

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 단말장치에서 수행되는 실내 위치 추정 방법은, 기 보유된 실내 지도 데이터를 근거로, 상기 단말장치에서 촬영되는 촬영 영상에서 인식되는 특정 문자의 위치관련정보를 확인하는 정보확인단계; 상기 단말장치에 구비된 지자기 센서로부터 센싱 각도를 확인하는 각도확인단계; 상기 위치관련정보 및 상기 센싱 각도를 활용하여, 상기 촬영 영상에서 추출한 특정 문자의 이미지를 근거로 상기 단말장치의 실내 위치 및 사용자의 시선 방향을 추정하는 추정단계; 및 상기 추정한 실내 위치 및 시선 방향을 제공하여, AR 기반의 실내 네비게이션 서비스에서 상기 추정한 실내 위치 및 시선 방향에 매핑된 서비스가 제공될 수 있게 하는 단계를 포함한다.The indoor location estimation method performed in the terminal device according to the second aspect of the present invention to achieve the above object includes the location of a specific character recognized in a captured image captured by the terminal device based on pre-owned indoor map data. An information confirmation step to check related information; An angle confirmation step of checking the sensing angle from the geomagnetic sensor provided in the terminal device; An estimation step of using the location-related information and the sensing angle to estimate the indoor location of the terminal device and the user's gaze direction based on an image of a specific character extracted from the captured image; And providing the estimated indoor location and gaze direction, so that a service mapped to the estimated indoor location and gaze direction can be provided in an AR-based indoor navigation service.

구체적으로, 상기 추정단계는, 상기 위치관련정보를 활용하여, 상기 추출한 특정 문자의 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 결과를 근거로 상기 특정 문자의 정면이 노출되는 노출 각도 기준의 위치를 예측하고, 상기 추출한 특정 문자의 이미지 내 특정 픽셀의 세로축 길이를 근거로 상기 특정 문자와의 거리를 예측하고, 상기 예측한 특정 문자의 노출 각도 기준의 위치 및 특정 문자와의 거리를 근거로 상기 특정 문자의 위치를 기준으로 하는 상기 실내 위치를 추정할 수 있다.Specifically, the estimation step is based on the exposure angle at which the front of the specific character is exposed based on the result of comparing the pixel vertical axis length between the first and last letters in the image of the extracted specific character using the location-related information. Predict the location of the extracted specific character, predict the distance to the specific character based on the vertical axis length of the specific pixel in the image of the extracted specific character, and predict the position based on the exposure angle of the predicted specific character and the distance to the specific character. The indoor location can be estimated based on the location of the specific character.

구체적으로, 상기 위치관련정보에는, 상기 특정 문자의 문자열 이미지, 정면이 노출되는 노출 각도가 포함되며, 상기 추정단계는, 상기 문자열 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 기준 비율과, 상기 추출한 특정 문자의 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 촬영 비율을 비교하여, 0° 또는 ±90°범위 내의 특정 각도를 결정하고, 상기 특정 문자의 정면이 노출되는 노출 각도에 상기 결정한 특정 각도를 합한 각도를, 상기 특정 문자의 정면이 노출되는 노출 각도 기준의 위치로서 예측할 수 있다.Specifically, the location-related information includes a string image of the specific character and an exposure angle at which the front is exposed, and the estimation step includes a reference ratio that compares the pixel vertical axis length between the first and last characters in the string image and , By comparing the shooting ratio of the pixel vertical axis length between the first and last letters in the image of the extracted specific character, a specific angle within the range of 0° or ±90° is determined, and the exposure angle at which the front of the specific character is exposed The angle obtained by adding the determined specific angle to can be predicted as the position based on the exposure angle where the front of the specific character is exposed.

구체적으로, 상기 위치관련정보에는, 상기 특정 문자의 물리적 크기가 포함되며, 상기 추정단계는, 상기 특정 각도가 +90°범위 내에서 결정되는 경우 상기 추출한 특정 문자의 이미지 내 첫 글자의 픽셀, 상기 특정 각도가 -90°범위 내에서 결정되는 경우 상기 추출한 특정 문자의 이미지 내 끝 글자의 픽셀을 특정하고, 상기 특정한 픽셀의 세로축 길이와, 상기 특정 문자의 물리적 크기에 따른 세로축 길이를 근거로, 상기 특정 문자와의 거리를 예측할 수 있다.Specifically, the location-related information includes the physical size of the specific character, and in the estimation step, when the specific angle is determined within the range of +90°, the pixel of the first character in the image of the extracted specific character, the When a specific angle is determined within the -90° range, the pixel of the last letter in the image of the extracted specific character is specified, and based on the vertical axis length of the specific pixel and the vertical axis length according to the physical size of the specific character, The distance to a specific letter can be predicted.

구체적으로, 상기 추정단계는, 상기 특정 문자의 위치를 기준으로 추정한 상기 실내 위치에서 상기 센싱 각도에 따른 방향을, 상기 시선 방향으로서 추정할 수 있다.Specifically, in the estimation step, the direction according to the sensing angle may be estimated as the gaze direction at the indoor location estimated based on the location of the specific character.

본 발명의 단말장치 및 단말장치에서 수행되는 실내 위치 추정 방법에 따르면, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 서버 중심에서 벗어나 단말 주체적으로 문자 기준의 위치(각도) 및 문자와의 거리를 예측하여 이를 기반으로 단말의 실내 위치 및 사용자의 시선 방향을 측정(추정)하는 방식의 새로운 실내 위치 측정(추정) 기법을 실현할 수 있다.According to the terminal device of the present invention and the indoor location estimation method performed in the terminal device, in measuring the indoor location of the terminal based on characters recognized in the captured image of the terminal, the terminal independently determines the character-based location beyond the center of the server. A new indoor location measurement (estimation) technique can be realized by predicting the location (angle) and distance to the text and measuring (estimating) the indoor location of the terminal and the user's gaze direction based on this.

이렇듯 본 발명에서는, 서버 중심의 기존 측위 기법이 갖는 한계들로부터 자유로우며, 실내에서도 단말에 대해 정확한 위치 더 나아가 시선 방향까지 측정할 수 있는 측위 기법을 실현함으로써, 실내에 있는 사용자에게도 신뢰도 높은 위치 기반 서비스(예: AR 기반의 3D 실내 지도 서비스)를 제공할 수 있는 효과를 기대할 수 있다.In this way, the present invention is free from the limitations of existing server-centered positioning techniques and realizes a positioning technique that can measure the exact location and even the gaze direction of the terminal even indoors, providing a highly reliable location basis for users indoors. The effect of providing services (e.g. AR-based 3D indoor map service) can be expected.

도 1은 본 발명의 일 실시 예에 따른 단말장치의 구성을 보여주는 블록 도이다.
도 2는 본 발명이 적용될 수 있는 문자가 설치/배치된 실내 환경 및 단말의 촬영 상황을 보여주는 일 실시 예이다.
도 3은 본 발명이 적용될 수 있는 각 촬영 영상 내 문자 인식의 실시 예들을 보여주는 예시 도이다.
도 4는 본 발명의 일 실시 예에 따른 단말장치에서 수행되는 실내 위치 추정 방법이 동작하는 흐름을 보여주는 흐름도이다.1 is a block diagram showing the configuration of a terminal device according to an embodiment of the present invention.
Figure 2 is an example showing an indoor environment where characters to which the present invention can be applied are installed/arranged and a shooting situation of a terminal.
Figure 3 is an example diagram showing embodiments of character recognition in each captured image to which the present invention can be applied.
Figure 4 is a flowchart showing the operation of an indoor location estimation method performed in a terminal device according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예에 대하여 설명한다.Hereinafter, various embodiments of the present invention will be described with reference to the attached drawings.

즉, 기존의 기법은, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 측위 오차 범위를 줄이기 위해 서버 중심의 처리(문자 기반의 Fingerprint map 구축 및 위치 측정을 위한 분석/연산 등)를 필수적으로 가져가야 하는 한계를 가지며, 이와 더불어 단말 및 서버 간 시그널링도 필수로 발생하게 된다.In other words, the existing technique measures the indoor location of the terminal based on characters recognized in the video captured by the terminal, and uses server-centered processing (character-based fingerprint map construction and location measurement) to reduce the range of positioning error. analysis/computation, etc.) is essential, and in addition, signaling between terminals and servers is also essential.

구체적으로, 본 발명에서는, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 기존의 서버 중심에서 벗어나면서도 신뢰도 높은 실내 측위 결과를 도출할 수 있는 기술을 실현하는, 단말장치(100)를 제안하고자 한다.Specifically, in the present invention, in measuring the indoor location of a terminal based on characters recognized in captured images taken by the terminal, a technology that can derive highly reliable indoor positioning results while deviating from the existing server center is realized. , we would like to propose a terminal device 100.

도 1에 도시된 바와 같이, 본 발명에서 제안하는 단말장치(100)는, 정보확인부(110), 각도확인부(120), 추정부(130)을 포함한다.As shown in FIG. 1, the terminal device 100 proposed by the present invention includes an information confirmation unit 110, an angle confirmation unit 120, and an estimation unit 130.

더 나아가, 본 발명에서 제안하는 단말장치(100)는, 서비스제공부(140)를 더 포함할 수 있다. Furthermore, the terminal device 100 proposed in the present invention may further include a service provider 140.

이러한 단말장치(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.All or at least part of the configuration of the terminal device 100 may be implemented in the form of a hardware module or a software module, or may be implemented in a combination of a hardware module and a software module.

여기서, 소프트웨어 모듈이란, 예컨대 단말장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 단말장치(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.Here, a software module can be understood as, for example, an instruction executed by a processor that controls operations within the terminal device 100, and these instructions may be mounted in a memory within the terminal device 100.

결국, 본 발명의 일 실시 예에 따른 단말장치(100)는 전술한 구성을 통해, 본 발명에서 제안하는 새로운 기술, 즉 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 기존의 서버 중심에서 벗어나면서도 신뢰도 높은 실내 측위 결과를 도출할 수 있는 기술을 실현한다.In the end, the terminal device 100 according to an embodiment of the present invention uses the above-described configuration to measure the indoor location of the terminal based on the new technology proposed by the present invention, that is, characters recognized in images captured by the terminal. In doing so, we realize a technology that can produce highly reliable indoor positioning results while breaking away from the existing server focus.

구체적인 설명에 앞서, 간략히 본 발명에 대해 설명하면, 본 발명의 단말장치(100)는, 진입한 실내 장소(예: 지하주차장, 터널, 쇼핑몰 등)가 포함된 실내 지도 데이터를 보유하는 것을 기본으로 한다.Prior to a detailed description, to briefly describe the present invention, the terminal device 100 of the present invention is based on holding indoor map data containing entered indoor places (e.g., underground parking lots, tunnels, shopping malls, etc.). do.

본 발명에서는, 실내 지도 데이터를 보유하는 방식을 제한하지 않으며, 다만 예를 들면 단말장치(100)는, 지하주차장, 터널, 쇼핑몰 등의 시설에 진입하는 시점에 지도데이터 서버(200)로부터 진입 실내 장소의 지도를 자동으로 요청/획득하여 저장하는 방식으로 보유할 수도 있고, 지도데이터 서버(200)에 접속하여 특정 실내 장소의 지도를 선택/획득하여 저장하는 방식으로 보유할 수도 있다.In the present invention, the method of retaining indoor map data is not limited. However, for example, the terminal device 100 receives the indoor map data from the map data server 200 at the time of entering a facility such as an underground parking lot, tunnel, or shopping mall. A map of a location can be maintained by automatically requesting/obtaining and storing it, or it can be maintained by accessing the map data server 200 to select/obtain and store a map of a specific indoor location.

그리고 단말장치(100)는, 보유한 실내 지도 데이터를 일정 기간 동안 보유 상태로 유지할 수 있으며, 이 기간 동안에도 지도데이터 서버(200)와의 연동을 통해 최신 데이터로의 업데이트를 수행할 수 있다.Additionally, the terminal device 100 can retain the indoor map data for a certain period of time, and can update the latest data through linkage with the map data server 200 even during this period.

이렇듯, 본 발명에서 단말장치(100) 및 지도데이터 서버(200)와 수행하는 연동 즉 시그널링은, 실내 지도 데이터를 보유(또는 업데이트)하기 위한 용도의 것 만이 존재한다.As such, in the present invention, the linkage, or signaling, performed with the terminal device 100 and the map data server 200 exists only for retaining (or updating) indoor map data.

이러한 본 발명의 단말장치(100)는, 단말장치(100)가 촬영한 촬영 영상에서 인식되는 문자 및 실내 지도 데이터를 근거로, 문자 기준의 위치(각도) 및 문자와의 거리를 예측하여 이를 기반으로 단말장치(100)의 실내 위치 및 사용자의 시선 방향을 측정(추정)함으로써, 서버 중심에서 벗어나 단말 주체적으로 직접 자신의 실내 위치 및 시선 방향을 측정할 수 있는 측위 방식에 특징 구성이 있다 하겠다.The terminal device 100 of the present invention predicts the position (angle) of the character and the distance to the character based on the character and indoor map data recognized in the captured image taken by the terminal device 100, and based on this By measuring (estimating) the indoor location of the terminal device 100 and the user's gaze direction, there is a characteristic configuration in the positioning method that allows the terminal to independently measure its own indoor location and gaze direction, away from the center of the server.

이하에서는 전술의 특징 구성을 실현하기 위한 단말장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.Hereinafter, each configuration within the terminal device 100 for realizing the above-described feature configuration will be described in more detail.

도 1에 도시된 바와 같이, 본 발명의 단말장치(100)는, 실내 장소(예: 지하주차장, 터널, 쇼핑몰 등)에 위치한 것으로 가정한다.As shown in FIG. 1, it is assumed that the terminal device 100 of the present invention is located in an indoor location (eg, underground parking lot, tunnel, shopping mall, etc.).

정보확인부(110)는, 기 보유된 실내 지도 데이터를 근거로, 단말장치(100)에서 촬영되는 촬영 영상에서 인식되는 특정 문자의 위치관련정보를 확인하는 기능을 담당한다.The information confirmation unit 110 is responsible for confirming location-related information of a specific character recognized in a captured image captured by the terminal device 100, based on pre-owned indoor map data.

여기서 실내 지도 데이터는, 앞서 설명한 바 있듯이, 지도데이터 서버(200)로부터 요청/획득하여 저장하는 방식으로 기 보유할 수 있다.Here, as previously explained, indoor map data can be retained by requesting/obtaining from the map data server 200 and storing it.

이러한 실내 지도 데이터에는, 해당하는 실내 장소에 설치/배치된 각 문자 별로, 문자열 이미지, 문자의 위치좌표, 문자의 물리적 크기, 문자의 정면이 노출되는 노출 각도 중 적어도 하나를 포함하는 위치관련정보가 포함될 수 있다.This indoor map data includes, for each character installed/placed in the corresponding indoor location, location-related information including at least one of a string image, the location coordinates of the character, the physical size of the character, and the exposure angle at which the front of the character is exposed. may be included.

그이에, 정보확인부(110)에서 인식하는 특정 문자란, 실내 지도 데이터 내에 위치관련정보를 포함하여 존재하는 문자들 각각을 의미할 수 있다.Therefore, the specific character recognized by the information confirmation unit 110 may mean each of the characters that exist in the indoor map data including location-related information.

즉, 정보확인부(110)는, 단말장치(100)에서 촬영되는 촬영 영상을 지속적으로 모니터링하여 식별되는 문자들 중에서, 실내 지도 데이터 내에 존재하는 문자가 인식되면 인식된 문자(이하, "특정 문자")의 위치관련정보를 실내 지도 데이터에서 확인할 수 있다. That is, the information confirmation unit 110 continuously monitors the captured image captured in the terminal device 100, and when a character existing in the indoor map data is recognized among the identified characters, the recognized character (hereinafter referred to as “specific character”) is recognized. ") location-related information can be found in indoor map data.

따라서, 이렇게 확인되는 특정 문자의 위치관련정보에는, 특정 문자에 대한 문자열 이미지, 문자의 위치좌표, 문자의 물리적 크기, 문자의 정면이 노출되는 노출 각도 등의 정보가 포함되어 있을 것이다.Therefore, the location-related information of a specific character identified in this way will include information such as a string image for the specific character, the location coordinates of the character, the physical size of the character, and the exposure angle at which the front of the character is exposed.

본 발명에서는, 촬영 영상 내에서 문자를 식별하는 방식에 제한을 두지 않으며, 기존의 영상 분석을 통한 문자 식별의 다양한 기술들 중 어느 하나를 채택하여 사용할 수 있다. 따라서, 촬영 영상에서 문자가 식별되는 과정에 대한 구체적인 기술 설명은 생략하도록 한다.In the present invention, there is no limitation on the method of identifying characters in a captured image, and any one of various techniques for character identification through existing image analysis can be adopted and used. Therefore, detailed technical description of the process of identifying characters in captured images will be omitted.

한편, 본 발명에서 단말장치(100)는, 지자기 센서(미도시)를 구비하고 있는 것을 전제로 한다.Meanwhile, in the present invention, it is assumed that the terminal device 100 is equipped with a geomagnetic sensor (not shown).

지자기 센서는, 지자기를 센싱하기 위한 센서로서, 북쪽(N)을 기준으로 하는 센싱 각도를 출력할 수 있다.The geomagnetic sensor is a sensor for sensing geomagnetism and can output a sensing angle based on north (N).

이에, 각도확인부(120)는, 단말장치(100)에 구비된 지자기 센서(미도시)로부터 센싱 각도를 확인하는 기능을 담당한다.Accordingly, the angle confirmation unit 120 is responsible for checking the sensing angle from a geomagnetic sensor (not shown) provided in the terminal device 100.

즉, 각도확인부(120)는, 정보확인부(110)에서 촬영 영상으로부터 특정 문자의 위치관련정보를 확인하게 되면, 단말장치(100)에 구비된 지자기 센서(미도시)로부터 센싱 각도를 확인함으로써, 특정 문자가 촬영된 시점의 센싱 각도를 확인할 수 있다. That is, when the information confirmation unit 110 confirms the location-related information of a specific character from the captured image, the angle confirmation unit 120 confirms the sensing angle from the geomagnetic sensor (not shown) provided in the terminal device 100. By doing so, it is possible to check the sensing angle at the time a specific character was photographed.

추정부(130)는, 상기 위치관련정보 및 상기 센싱 각도를 활용하여, 금번 촬영 영상에서 추출한 특정 문자의 이미지를 근거로 단말장치(100)의 실내 위치 및 사용자의 시선 방향을 추정하는 기능을 담당한다.The estimation unit 130 is responsible for the function of estimating the indoor location of the terminal device 100 and the user's gaze direction based on the image of a specific character extracted from the currently captured image by utilizing the location-related information and the sensing angle. do.

즉, 추정부(130)는, 정보확인부(110)에서 확인한 금번 촬영 영상 내 특정 문자의 위치관련정보 및 각도확인부(120)에서 확인한 특정 문자가 촬영된 시점의 센싱 각도를 활용하여, 특정 문자가 촬영된 촬영된 시점에 단말장치(100)의 실내 위치 및 사용자의 시선 방향을 추정하는 것이다.That is, the estimation unit 130 utilizes the location-related information of a specific character in the currently captured image confirmed by the information confirmation unit 110 and the sensing angle at the time when the specific character confirmed by the angle confirmation unit 120 was photographed to determine a specific The indoor location of the terminal device 100 and the user's gaze direction are estimated at the time when the text is captured.

여기서, "추출한 특정 문자의 이미지"란, 금번 촬영 영상 내에서 식별된 특정 문자를 촬영 영상으로부터 이미지 형태로 추출한 것을 의미한다.Here, “image of extracted specific character” means that the specific character identified in the currently captured image is extracted from the captured image in the form of an image.

도 2를 참조하여 설명하면, 벽면에 설치/배치된 동일한 특정 문자를 촬영하는 사용자(가), 사용자(나)를 가정할 때, 사용자(가), 사용자(나) 각각이 자신의 단말장치(100)로 특정 문자를 촬영한 촬영 영상에서 추출한 특정 문자의 이미지는, 동일한 특정 문자라 하더라도, 실제 설치/배치된 특정 문자를 기준으로, 사용자(가), 사용자(나) 각각이 특정 문자로부터 어떤 각도의 위치에서 촬영했는지 특정 문자로부터 얼마나 떨어진 위치에서 촬영했는지에 따라 그 형태가 다를 수 있다.When explaining with reference to FIG. 2, assuming a user (A) and a user (B) taking pictures of the same specific character installed/placed on the wall, each of the users (A) and user (B) owns their terminal device ( 100), the image of a specific character extracted from a video of a specific character is, even if it is the same specific character, based on the specific character actually installed/placed, the user (a) and the user (me) each determine which character from the specific character The form may vary depending on whether the photo was taken at an angle or how far away from a specific character.

참고로, 도 2에서는, 문자가 설치/배치된 실내 환경 및 단말의 촬영 상황을 보여주는 일 실시 예이며, 벽면에는 "B1B123"의 문자가 설치/배치되며, 기둥의 두 측면에는 "B1BA312", "B1B356"의 문자가 설치/배치된 경우를 도시하고 있다.For reference, Figure 2 is an example showing the indoor environment where letters are installed/placed and the shooting situation of the terminal. The letters “B1B123” are installed/placed on the wall, and “B1BA312” and “B1BA312” are on the two sides of the pillar. It shows a case where the characters “B1B356” are installed/placed.

이에 예를 들면, 특정 문자로서 "B1B123"의 문자를 언급하여 설명하면, "B1B123"의 위치관련정보에는, 문자열 이미지(B1B123), 문자의 위치좌표(예: b1, (0,5)), 문자의 물리적 크기(예: 가로축/세로축 길이), 문자의 물리적 크기에 따른 세로축 길이(예: 0,5 m), 북쪽(N)을 기준(0°)으로 할 때 문자의 정면이 노출되는 노출 각도(예: 90°) 등의 정보가 포함될 수 있다.For example, if the character "B1B123" is mentioned and explained as a specific character, the location-related information of "B1B123" includes a string image (B1B123), the location coordinates of the character (e.g., b1, (0,5)), Physical size of the character (e.g. horizontal/vertical axis length), vertical axis length according to the physical size of the character (e.g. 0,5 m), exposure of the front of the character when referenced to North (N) (0°) Information such as angle (e.g. 90°) may be included.

이하에서는, 본 발명에서 단말장치(100)의 실내 위치 및 사용자의 시선 방향을 추정하는 과정에 대해 구체적으로 설명하도록 한다.Hereinafter, the process of estimating the indoor location of the terminal device 100 and the user's gaze direction in the present invention will be described in detail.

먼저, 단말장치(100)의 실내 위치를 추정하는 과정을 설명하면, 추정부(130)는, 특정 문자의 위치관련정보를 활용하여, 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 결과를 근거로 특정 문자의 정면이 노출되는 노출 각도 기준의 위치를 예측한다.First, to explain the process of estimating the indoor location of the terminal device 100, the estimation unit 130 utilizes the location-related information of a specific character, and uses the first and last letters in the image of the specific character extracted from the currently captured image. Based on the results of comparing the length of the vertical axis between pixels, the position based on the exposure angle where the front of a specific character is exposed is predicted.

그리고, 추정부(130)는, 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 특정 픽셀의 세로축 길이를 근거로 특정 문자와의 거리를 예측한다.And, the estimation unit 130 predicts the distance to a specific character based on the vertical axis length of a specific pixel in the image of the specific character extracted from the currently captured image.

이에, 추정부(130)는, 앞서 예측한 특정 문자의 노출 각도 기준의 위치 및 특정 문자와의 거리를 근거로, 특정 문자의 위치를 기준으로 하는 단말장치(100)의 실내 위치를 추정할 수 있다.Accordingly, the estimation unit 130 can estimate the indoor location of the terminal device 100 based on the location of the specific character, based on the previously predicted position based on the exposure angle of the specific character and the distance to the specific character. there is.

보다 구체적으로, 특정 문자의 정면이 노출되는 노출 각도 기준의 위치를 예측하는 실시 예를 설명하면, 추정부(130)는, 특정 문자의 위치관련정보에 포함된 문자열 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 기준 비율과, 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 촬영 비율을 비교하여, 그 비교 결과에 따라 0° 또는 ±90°범위 내의 특정 각도를 결정할 수 있다.More specifically, to describe an embodiment of predicting the position based on the exposure angle where the front of a specific character is exposed, the estimation unit 130 determines the distance between the first and last letters in the string image included in the location-related information of the specific character. By comparing the standard ratio that compares the pixel vertical axis length with the shooting ratio that compares the pixel vertical axis length between the first and last letters in the image of a specific character extracted from this captured image, the range is 0° or ±90° depending on the comparison result. A specific angle within can be determined.

그리고, 추정부(130)는, 특정 문자의 정면이 노출되는 노출 각도에 앞서 결정한 특정 각도를 합한 각도를, 특정 문자의 정면이 노출되는 노출 각도 기준의 위치로서 예측할 수 있다.In addition, the estimation unit 130 can predict the angle that is the sum of the exposure angle at which the front of a specific character is exposed and the specific angle previously determined as the position based on the exposure angle at which the front of the specific character is exposed.

예를 들어, 특정 문자의 위치관련정보에 포함된 문자열 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 기준 비율(예: 1:1)과, 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 촬영 비율을 비교한 결과, 기준 비율(예: 1:1) 및 촬영 비율(예: 1:1)이 동일하거나 동일하다고 볼 수 있는 수준의 차이만 있다면, 특정 문자를 촬영한 금번 촬영 영상은 특정 문자의 정면 위치에서 촬영되었을 것이다.For example, the standard ratio (e.g. 1:1) comparing the pixel vertical axis length between the first and last letters in a string image included in the location-related information of a specific character, and the first character in the image of the specific character extracted from this captured video As a result of comparing the shooting ratio by comparing the length of the pixel vertical axis between the letters and the last letter, if the standard ratio (e.g. 1:1) and the shooting ratio (e.g. 1:1) are the same or have only a level of difference that can be considered the same. , This video of a specific letter would have been filmed from a position in front of the specific letter.

추정부(130)는, 이렇듯 특정 문자를 촬영한 금번 촬영 영상이 특정 문자의 정면 위치에서 촬영되었을 경우, 특정 문자의 정면이 노출되는 노출 각도 기준의 위치를 추정하기 위한 특정 각도로서, 0°를 결정할 수 있다.The estimation unit 130 uses 0° as a specific angle for estimating the position based on the exposure angle at which the front of the specific character is exposed when the current captured image of a specific character is captured from the front position of the specific character. You can decide.

그리고 추정부(130)는, 특정 문자의 정면이 노출되는 노출 각도에 앞서 결정한 특정 각도(예: 0°)를 합한 각도를, 특정 문자의 정면이 노출되는 노출 각도 기준의 위치로서 예측할 수 있다.Additionally, the estimation unit 130 may predict an angle that is the sum of the exposure angle at which the front of a specific character is exposed and a previously determined specific angle (e.g., 0°) as the position based on the exposure angle at which the front of the specific character is exposed.

한편, 다른 예를 들면, 기준 비율(예: 1:1)과 촬영 비율을 비교한 결과, 서로 동일하지 않고 기준 비율(예: 1:1) 대비 촬영 비율(예: 1: 0.5)에서 첫 글자의 픽셀 세로축 길이가 끝 글자의 픽셀 세로축 길이 보다 크다면, 특정 문자를 촬영한 금번 촬영 영상은 특정 문자의 정면이 노출되는 노출 각도를 기준으로 +90°범위 내 위치에서 촬영되었을 것이며, 촬영 비율(예: 1: 0.5)에서 첫 글자의 픽셀 세로축 길이가 끝 글자의 픽셀 세로축 길이 보다 클수록 +90°에 가까운 위치에서 촬영되었을 것이다.Meanwhile, in another example, as a result of comparing the standard ratio (e.g. 1:1) and the shooting ratio, they are not the same and the first letter in the shooting ratio (e.g. 1: 0.5) compared to the standard ratio (e.g. 1:1) If the pixel vertical axis length of is greater than the pixel vertical axis length of the last character, the current captured image of a specific character would have been captured at a position within the +90° range based on the exposure angle at which the front of the specific character is exposed, and the shooting ratio ( Example: 1: 0.5), the longer the vertical axis length of the pixel of the first character is greater than the vertical axis length of the pixel of the last character, the closer it would have been to +90°.

이에, 추정부(130)는, 기준 비율(예: 1:1) 대비 촬영 비율(예: 1: 0.5)에서 끝 글자의 픽셀 세로축 길이가 작은 정도에 따라 기 정의된 계산식으로 계산하여, +90°범위 내에서 특정 각도(예: +45°)를 결정할 수 있다. Accordingly, the estimator 130 calculates using a predefined formula according to the degree to which the pixel vertical axis length of the last character is small in the shooting ratio (e.g., 1:0.5) compared to the reference ratio (e.g., 1:1), and calculates +90 A specific angle (e.g. +45°) can be determined within the ° range.

그리고 추정부(130)는, 특정 문자의 정면이 노출되는 노출 각도에 앞서 결정한 특정 각도(예: +45°)를 합한 각도를, 특정 문자의 정면이 노출되는 노출 각도 기준의 위치로서 예측할 수 있다.And the estimation unit 130 can predict the angle that is the exposure angle at which the front of a specific character is exposed plus a previously determined specific angle (e.g., +45°) as the position based on the exposure angle at which the front of the specific character is exposed. .

반대로, 다른 예를 들면, 기준 비율(예: 1:1)과 촬영 비율을 비교한 결과, 서로 동일하지 않고 기준 비율(예: 1:1) 대비 촬영 비율(예: 0.5: 1)에서 첫 글자의 픽셀 세로축 길이가 끝 글자의 픽셀 세로축 길이 보다 작다면, 특정 문자를 촬영한 금번 촬영 영상은 특정 문자의 정면이 노출되는 노출 각도를 기준으로 -90°범위 내 위치에서 촬영되었을 것이며, 촬영 비율(예: 0.5: 1)에서 첫 글자의 픽셀 세로축 길이가 끝 글자의 픽셀 세로축 길이 보다 클수록 -90°에 가까운 위치에서 촬영되었을 것이다.Conversely, in another example, the result of comparing the reference ratio (e.g. 1:1) and the shooting ratio is that they are not the same, and the first letter in the shooting ratio (e.g. 0.5: 1) compared to the reference ratio (e.g. 1:1) If the pixel vertical axis length of is smaller than the pixel vertical axis length of the last character, the current captured image of a specific character would have been captured at a position within the -90° range based on the exposure angle at which the front of the specific character is exposed, and the shooting ratio ( Example: 0.5: In 1), if the vertical axis length of the pixel of the first character is greater than the vertical axis length of the pixel of the last character, the image would have been taken at a position closer to -90°.

이에, 추정부(130)는, 기준 비율(예: 1:1) 대비 촬영 비율(예: 0.5: 1)에서 첫 글자의 픽셀 세로축 길이가 작은 정도에 따라 기 정의된 계산식으로 계산하여, -90°범위 내에서 특정 각도(예:-45°)를 결정할 수 있다. Accordingly, the estimator 130 calculates -90 according to a predefined calculation formula according to the degree to which the vertical axis length of the pixel of the first letter is small in the shooting ratio (e.g., 0.5:1) compared to the reference ratio (e.g., 1:1). A specific angle (e.g. -45°) can be determined within the ° range.

그리고 추정부(130)는, 특정 문자의 정면이 노출되는 노출 각도에 앞서 결정한 특정 각도(예: -45°)를 합한 각도를, 특정 문자의 정면이 노출되는 노출 각도 기준의 위치로서 예측할 수 있다.And the estimation unit 130 can predict the angle that is the exposure angle at which the front of a specific character is exposed plus a previously determined specific angle (e.g. -45°) as the position based on the exposure angle at which the front of the specific character is exposed. .

예를 들어, 도 2에서 벽면에 설치/배치된 "B1B123"의 문자를 특정 문자로서 설명하면, 사용자(가)가 자신의 단말장치(100)로 촬영한 촬영 영상에서는 도 3에서 알 수 있듯이 특정 문자(B1B123)의 이미지 내 첫 글자의 픽셀 세로축 길이가 끝 글자의 픽셀 세로축 길이 보다 작은 촬영 비율(예: 0.5:1)을 가질 것이다.For example, if the character "B1B123" installed/placed on the wall in FIG. 2 is explained as a specific character, as can be seen in FIG. 3, in the image taken by the user with his terminal device 100, the specific character The image of the character (B1B123) will have a shooting ratio (e.g., 0.5:1) in which the vertical axis length of the pixel of the first character is smaller than the vertical axis length of the pixel of the last character.

따라서, 본 발명에서는, 기준 비율(예: 1:1) 및 촬영 비율(예: 0.5:1)을 비교한 결과, 서로 동일하지 않고 기준 비율(예: 1:1) 대비 촬영 비율(예: 0.5: 1)에서 첫 글자의 픽셀 세로축 길이가 끝 글자의 픽셀 세로축 길이 보다 작으므로, 기준 비율(예: 1:1) 대비 촬영 비율(예: 0.5: 1)에서 끝 글자의 픽셀 세로축 길이가 작은 정도에 따라 기 정의된 계산식으로 계산하여, -90°범위 내에서 특정 각도(예:-45°)를 결정할 수 있다. Therefore, in the present invention, as a result of comparing the reference ratio (e.g., 1:1) and the shooting ratio (e.g., 0.5:1), they are not the same and the shooting ratio (e.g., 0.5) compared to the reference ratio (e.g., 1:1) : In 1), the pixel vertical axis length of the first character is smaller than the pixel vertical axis length of the last character, so the pixel vertical axis length of the last character is smaller in the shooting ratio (e.g., 0.5: 1) compared to the standard ratio (e.g., 1:1). Accordingly, a specific angle (e.g. -45°) can be determined within the -90° range by calculating with a predefined formula.

그리고 본 발명에서는, 사용자(가)에 대하여, 특정 문자"B1B123"의 정면이 노출되는 노출 각도(90°)에 앞서 결정한 특정 각도(-45°)를 합한 각도(45°)를, 특정 문자"B1B123"의 정면이 노출되는 노출 각도 기준의 위치(45°, 90°-45°)로서 예측할 수 있다.In the present invention, the angle (45°) that is the sum of the exposure angle (90°) at which the front of the specific character "B1B123" is exposed to the user (a) and the specific angle (-45°) determined previously is set to the specific character "B1B123". It can be predicted based on the exposure angle where the front of “B1B123” is exposed (45°, 90°-45°).

이와 같은 방식으로, 본 발명에서는, 특정 문자"B1B123"를 촬영한 사용자(나)에 대하여, 특정 문자"B1B123"의 정면이 노출되는 노출 각도 기준의 위치(135°, 90°+45°)를 예측할 수 있고, 특정 문자"B1A312"을 촬영한 사용자(다)에 대하여 특정 문자"B1A312"의 정면이 노출되는 노출 각도 기준의 위치(225°, 270°-45°)를 예측할 수 있고, 특정 문자"B1B356"을 촬영한 사용자(라)에 대하여 특정 문자"B1B356"의 정면이 노출되는 노출 각도 기준의 위치(180°)를 예측할 수 있다.In this way, in the present invention, for the user (me) who photographed the specific character "B1B123", the position (135°, 90°+45°) based on the exposure angle where the front of the specific character "B1B123" is exposed is It is possible to predict the position (225°, 270°-45°) based on the exposure angle where the front of the specific character “B1A312” is exposed for the user (c) who photographed the specific character “B1A312”, and the specific character “B1A312” can be predicted. For the user (D) who photographed "B1B356", the position (180°) based on the exposure angle where the front of the specific character "B1B356" is exposed can be predicted.

한편, 특정 문자와의 거리를 예측하는 실시 예를 설명하면, 추정부(130)는, 앞서 특정 각도가 +90°범위 내에서 결정되는 경우 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 첫 글자의 픽셀을 특정하고, 또는 앞서 특정 각도가 -90°범위 내에서 결정되는 경우 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 끝 글자의 픽셀을 특정한다.Meanwhile, to describe an embodiment of predicting the distance to a specific letter, the estimation unit 130 determines the pixel of the first letter in the image of the specific letter extracted from the currently captured image when the specific angle is previously determined within the +90° range. is specified, or if the specific angle is previously determined within the range of -90°, the pixel of the last character in the image of the specific character extracted from this captured image is specified.

즉, 촬영 영상에서 추출한 특정 문자의 이미지 내에서 촬영 위치(사용자/단말장치 위치)와 가장 가까운 문자 부분에 해당하는 픽셀을 특정하는 것이다.In other words, the pixel corresponding to the part of the character closest to the shooting location (user/terminal device location) is specified within the image of a specific character extracted from the captured image.

그리고, 추정부(130)는, 전술과 같이 특정한 픽셀의 세로축 길이와 특정 문자의 물리적 크기에 따른 세로축 길이를 근거로, 특정 문자와의 거리를 예측할 수 있다.And, as described above, the estimation unit 130 can predict the distance to a specific character based on the vertical axis length of a specific pixel and the vertical axis length according to the physical size of the specific character.

예를 들어, 도 2 및 도 3을 참조하여 설명하면, 벽면에 설치/배치된 "B1B123"의 문자를 특정 문자로서 설명하면, 사용자(가)가 자신의 단말장치(100)로 촬영한 촬영 영상에서는 특정 문자(B1B123)의 이미지 내 첫 글자의 픽셀 세로축 길이가 끝 글자의 픽셀 세로축 길이 보다 작은 촬영 비율(예: 0.5:1)을 가질 것이다.For example, when explaining with reference to FIGS. 2 and 3, if the character “B1B123” installed/placed on the wall is described as a specific character, the image captured by the user with his/her terminal device 100 In the image of a specific character (B1B123), the pixel vertical axis length of the first character will have a shooting ratio (e.g., 0.5:1) that is smaller than the pixel vertical axis length of the last character.

이 경우 본 발명에서는 전술하였듯이 -90°범위 내에서 특정 각도(예:-45°)를 결정할 것이므로, 금번 촬영 영상에서 추출한 특정 문자(B1B123)의 이미지 내 끝 글자의 픽셀을 특정할 수 있다.In this case, as described above, in the present invention, a specific angle (e.g., -45°) will be determined within the range of -90°, so the pixel of the last letter in the image of the specific character (B1B123) extracted from this captured image can be specified.

그리고, 본 발명에서는, 사용자(가)에 대하여, 특정 문자(B1B123)의 이미지 내에서 특정한 끝 글자의 픽셀 세로축 길이와 특정 문자"B1B123"의 물리적 크기에 따른 세로축 길이를 근거로, 특정 문자"B1B123"와의 거리를 예측할 수 있다.And, in the present invention, for the user, a specific character "B1B123" is provided based on the pixel vertical axis length of a specific last character in the image of the specific character (B1B123) and the vertical axis length according to the physical size of the specific character "B1B123". "You can predict the distance to

구체적으로 도 2에 도시된 바와 같이 특정 문자"B1B123"의 물리적 크기에 따른 세로축 길이가 0,5m인 경우라면, 촬영 영상에서 추출된 특정 문자(B1B123)의 이미지 내 특정 픽셀의 세로축 길이는, 특정 문자"B1B123"와의 실제 거리가 멀수록 작아질 것이며, 예컨대 특정 문자"B1B123"와 거리가 4미터 거리에서 촬영된 촬영 영상에서 400px, 6미터 거리에서 촬영된 촬영 영상에서 300px, 8미터 거리에서 촬영된 촬영 영상에서 200px로 예측될 수 있다.Specifically, as shown in Figure 2, if the vertical axis length according to the physical size of the specific character "B1B123" is 0.5m, the vertical axis length of a specific pixel in the image of the specific character (B1B123) extracted from the captured image is a specific The farther the actual distance from the letter "B1B123" is, the smaller it will be. For example, the distance from the specific letter "B1B123" is 400px in a video taken at a distance of 4 meters, 300px in a video taken at a distance of 6 meters, and 300px in a video taken at a distance of 8 meters. It can be predicted to be 200px in the captured video.

본 발명에서는, 문자의 실제 세로축 길이를 기준으로, 특정 문자와 실제 거리가 멀수록 촬영 영상에서 추출된 특정 문자의 이미지 내 특정 픽셀의 세로축 길이가 작아지는 단위 거리(예: 1미터) 당 감소 비율을 기 정의하거나 계산을 통해 파악할 수 있고, 이를 근거로 문자의 실제 세로축 길이와 영상에서 추출된 특정 문자의 이미지 내 특정 픽셀의 세로축 길이를 비교함으로써 특정 문자와 실제 거리를 예측하는 방식을 사용할 수 있다.In the present invention, based on the actual vertical axis length of the character, the longer the actual distance from the specific character, the smaller the vertical axis length of the specific pixel in the image of the specific character extracted from the captured image is a reduction ratio per unit distance (e.g., 1 meter). can be defined or determined through calculation, and based on this, a method can be used to predict the actual distance from a specific character by comparing the actual vertical axis length of the character with the vertical axis length of a specific pixel in the image of the specific character extracted from the image. .

이에 도 3에서는, 사용자(가)가 자신의 단말장치(100)로 세로축 길이가 0,5m인 특정 문자"B1B123"를 촬영한 촬영 영상에서 특정 문자(B1B123)의 이미지 내 특정한 끝 글자의 픽셀 세로축 길이가 400px인 경우를 나타내며, 이 경우 추정부(130)는 특정 문자"B1B123"와의 거리를 4미터인 것으로 예측할 수 있다.Accordingly, in FIG. 3, the vertical axis of the pixel of a specific last character in the image of the specific character (B1B123) is captured in the captured image of the specific character "B1B123" with a vertical axis length of 0,5 m by the user with his/her terminal device 100. This indicates a case where the length is 400px, and in this case, the estimation unit 130 can predict that the distance to the specific character “B1B123” is 4 meters.

이와 같은 방식으로, 본 발명에서는, 특정 문자"B1B123"를 촬영한 사용자(나)에 대하여, 촬영 영상에서 특정 문자(B1B123)의 이미지 내 특정한 끝 글자의 픽셀 세로축 길이가 200px인 경우이므로 특정 문자"B1B123"와의 거리를 8미터로 예측할 수 있고, 특정 문자"B1A312"을 촬영한 사용자(다)에 대하여 촬영 영상에서 특정 문자(B1A312)의 이미지 내 특정한 끝 글자의 픽셀 세로축 길이가 300px인 경우이므로 특정 문자"B1A312"와의 거리를 6미터로 각각 예측할 수 있고, 특정 문자"B1B356"을 촬영한 사용자(라)에 대하여 촬영 영상에서 특정 문자(B1B356)의 이미지 내 특정한 끝 글자의 픽셀 세로축 길이가 300px인 경우이므로 특정 문자"B1B356"와의 거리를 6미터로 각각 예측할 수 있다.In this way, in the present invention, for the user (me) who photographed the specific character "B1B123", the vertical axis length of the pixel of the specific last character in the image of the specific character (B1B123) in the captured video is 200px, so the specific character " The distance to "B1B123" can be predicted to be 8 meters, and for the user (C) who shot the specific character "B1A312", the vertical axis length of the pixel of the specific last character in the image of the specific character (B1A312) in the captured video is 300px, so the specific The distance to the letter "B1A312" can be predicted to be 6 meters, and for the user (D) who shot the specific letter "B1B356", the vertical axis length of the pixel of the specific last letter in the image of the specific letter (B1B356) is 300px in the captured video. In this case, the distance to the specific letter "B1B356" can be predicted to be 6 meters.

전술에서 언급한 사용자(가)에 대한 실시 예로 계속해서 설명하면, 추정부(130)는, 사용자(가)에 대하여, 앞서 예측한 특정 문자"B1B123"의 정면이 노출되는 노출 각도 기준의 위치(45°) 및 예측한 특정 문자"B1B123"와의 거리(4미터)를 근거로, 특정 문자"B1B123"의 위치를 기준으로 하는 단말장치(100)의 실내 위치를 추정할 수 있다.Continuing to explain the embodiment of the user A mentioned above, the estimation unit 130 determines the exposure angle reference position ( 45°) and the predicted distance (4 meters) from the specific character “B1B123”, the indoor location of the terminal device 100 based on the location of the specific character “B1B123” can be estimated.

예를 들어, 도 2에 도시된 바와 같이, 위치관련정보에서 확인되는 특정 문자"B1B123"의 위치좌표가 b1, (0,5)인 경우, 추정부(130)는, b1, (0,5)의 위치로부터 앞서 예측한 45°위치에 앞서 예측한 4미터 거리를 두고 있는 위치(예: b1, (3,3))를, 단말장치(100)의 실내 위치로 추정할 수 있다. For example, as shown in FIG. 2, when the location coordinates of the specific character "B1B123" identified in the location-related information are b1, (0,5), the estimation unit 130 is, b1, (0,5) ), a position (e.g., b1, (3,3)) that is 4 meters away from the previously predicted 45° position can be estimated as the indoor location of the terminal device 100.

이렇듯 본 발명에서는, 단말에서 촬영한 촬영 영상 내 문자 인식 시, 해당 문자를 기준으로 하여 문자 기준의 위치(각도) 및 문자와의 실제 거리를 예측하며 이를 기반으로 해당 문자 기준의 실내 위치를 추정할 수 있으며, 이러한 제반 과정 전체를 단말 주체적으로 수행할 수 있다.In this way, in the present invention, when recognizing a character in a video captured by a terminal, the position (angle) of the character reference and the actual distance to the character are predicted based on the corresponding character, and the indoor location of the character reference is estimated based on this. The entire process can be performed independently by the terminal.

한편, 사용자의 시선 방향을 추정하는 과정을 설명하면, 추정부(130)는, 특정 문자의 위치를 기준으로 추정한 단말장치(100)의 실내 위치에서 앞서 확인한 센싱 각도에 따른 방향을, 사용자의 시선 방향으로서 추정할 수 있다. Meanwhile, when explaining the process of estimating the user's gaze direction, the estimation unit 130 determines the direction according to the previously confirmed sensing angle at the indoor location of the terminal device 100, which is estimated based on the location of a specific character, to the user's gaze. It can be estimated from the gaze direction.

전술에서 언급한 사용자(가)에 대한 실시 예로 계속해서 설명하며, 사용자(가)가 자신의 단말장치(100)로 특정 문자"B1B123"를 촬영한 시점에 확인된 지자기 센서(미도시)의 센싱 각도가 225°인 경우로 가정할 수 있다.The description continues as an example of the user A mentioned above, and sensing of a geomagnetic sensor (not shown) identified at the time when the user A captures a specific character "B1B123" with his terminal device 100. It can be assumed that the angle is 225°.

이 경우, 추정부(130)는, 사용자(가)에 대하여 전술과 같이 특정 문자"B1B123"의 위치를 기준으로 추정한 단말장치(100)의 실내 위치 b1, (3,3)에서, 앞서 확인한 센싱 각도 225°에 따른 방향을 사용자(가)의 시선 방향으로서 추정할 수 있다.In this case, the estimation unit 130 determines the previously confirmed indoor location b1, (3,3) of the terminal device 100 based on the location of the specific character “B1B123” as described above. The direction according to the sensing angle of 225° can be estimated as the user's gaze direction.

한편, 본 발명에서는, 사용자(가)의 시선 방향 추정 시에 전술과 같이 센싱 각도 225°를 그대로 사용하는 방식 대신, 다른 방식을 사용할 수도 있다.Meanwhile, in the present invention, instead of using the sensing angle of 225° as described above, when estimating the user's gaze direction, another method may be used.

예를 들면, 특정 문자"B1B123"의 정면이 노출되는 노출 각도 90°, 특정 문자"B1B123"의 정면이 노출되는 노출 각도 기준으로 예측한 위치 45°, 특정 문자"B1B123"의 위치좌표 b1, (0,5) 및 추정한 단말장치(100)의 실내 위치 b1, (3,3)를 근거로 삼각함수 법칙을 이용하여, 사용자(가)가 추정된 실내 위치 b1, (3,3)에서 특정 문자"B1B123"의 위치좌표 b1, (0,5)를 바라보는 시선 방향을 계산하여 추정하거나, 계산한 값을 이용해 센싱 각도 225°를 보정함으로써 시선 방향을 추정하는 방식을 채택할 수도 있다.For example, the exposure angle at which the front of the specific character "B1B123" is exposed is 90°, the position predicted based on the exposure angle at which the front of the specific character "B1B123" is exposed is 45°, the position coordinate of the specific character "B1B123" is b1, ( 0,5) and the estimated indoor location b1, (3,3) of the terminal device 100. Using the trigonometric law, the user (A) specifies the estimated indoor location b1, (3,3). You can estimate the gaze direction by calculating the gaze direction looking at the position coordinates b1, (0,5) of the letter "B1B123", or you can adopt a method of estimating the gaze direction by correcting the sensing angle of 225° using the calculated value.

이렇듯 본 발명에서는, 단말에서 촬영한 촬영 영상 내 문자 인식 시, 해당 문자를 기준으로 하여 문자 기준의 위치(각도) 및 문자와의 실제 거리를 예측하며 이를 기반으로 해당 문자 기준의 실내 위치를 추정하고, 더 나아가 지자기 센서의 센싱 각도를 직/간접적으로 활용하여 추정한 실내 위치에서의 시선 방향까지 추정해 낼 수 있으며, 이러한 제반 과정 전체를 단말 주체적으로 수행할 수 있다.In this way, in the present invention, when recognizing a character in a video captured by a terminal, the position (angle) of the character reference and the actual distance to the character are predicted based on the corresponding character, and based on this, the indoor location of the character reference is estimated. , Furthermore, the direction of gaze at the estimated indoor location can be estimated by using the sensing angle of the geomagnetic sensor directly or indirectly, and the entire process can be performed independently by the terminal.

이상 설명한 바와 같이, 본 발명에서는, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 서버 중심에서 벗어나 단말 주체적으로 실내 위치 및 사용자의 시선 방향을 측정(추정)하는 새로운 방식의 실내 위치 측정(추정) 기법을 실현하고 있다.As described above, in the present invention, in measuring the indoor location of the terminal based on characters recognized in the captured image captured by the terminal, the indoor location and the user's gaze direction are measured (estimated) independently by the terminal, away from the center of the server. A new indoor location measurement (estimation) technique is being implemented.

이에, 서비스제공부(140)는, 추정부(130)에서 추정한 실내 위치 및 시선 방향에 매핑된 AR(Augmented Reality) 기반의 실내 네비게이션 서비스를 제공할 수 있다.Accordingly, the service provider 140 may provide an indoor navigation service based on AR (Augmented Reality) mapped to the indoor location and gaze direction estimated by the estimation unit 130.

즉, 본 발명에서는, 단말의 실내 위치 뿐 아니라 사용자의 시선 방향까지 추정할 수 있으므로, 추정한 실내 위치 및 시선 방향에 실시간으로 매핑된 AR 기반의 실내 네비게이션 서비스를 제공할 수 있다.That is, in the present invention, not only the indoor location of the terminal but also the user's gaze direction can be estimated, so it is possible to provide an AR-based indoor navigation service mapped in real time to the estimated indoor location and gaze direction.

일 예를 들면, 서비스제공부(140)는 추정한 실내 위치 및 시선 방향으로 매핑된 AR 실내 3D 지도를 단말장치(100)에 표시하여 AR 기반 실내 네비게이션 서비스를 제공할 수 있으며, 이후에는 단말장치(100)의 AR 기능을 이용하여 트래킹되는 단말장치(100)의 실내 위치 및 시선 방향으로 매핑된 AR 실내 3D 지도를 단말장치(100)에 표시하여 AR 기반 실내 네비게이션 서비스를 제공할 수 있다.For example, the service provider 140 may provide an AR-based indoor navigation service by displaying an AR indoor 3D map mapped with the estimated indoor location and gaze direction on the terminal device 100, and then the terminal device 100 An AR-based indoor navigation service can be provided by displaying an AR indoor 3D map mapped to the indoor location and gaze direction of the tracking terminal device 100 using the AR function of the terminal device 100 on the terminal device 100.

이상 설명한 바와 같이, 본 발명에 따르면, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 서버 중심에서 벗어나 단말 주체적으로 문자 기준의 위치(각도) 및 문자와의 거리를 예측하여 이를 기반으로 단말의 실내 위치 및 사용자의 시선 방향을 측정(추정)하는 방식의 새로운 실내 위치 측정(추정) 기법을 실현할 수 있다.As described above, according to the present invention, in measuring the indoor position of the terminal based on the character recognized in the captured image, the terminal independently determines the position (angle) of the character reference and the relationship between the character and the center of the server. It is possible to implement a new indoor location measurement (estimation) technique that predicts the distance and measures (estimates) the indoor location of the terminal and the user's gaze direction based on this.

이렇듯 본 발명에서는, 서버 중심의 기존 측위 기법이 갖는 한계들로부터 자유로우며, 추가적인 장치 없이도 실내에서 단말에 대해 정확한 위치 더 나아가 시선 방향까지 측정할 수 있는 측위 기법을 실현함으로써, 실내에 있는 사용자에게도 신뢰도 높은 위치 기반 서비스(예: AR 기반의 3D 실내 지도 서비스)를 제공할 수 있는 효과를 기대할 수 있다.In this way, the present invention is free from the limitations of existing server-centered positioning techniques and realizes a positioning technique that can measure the exact location and even the gaze direction of a terminal indoors without an additional device, thereby providing reliability to users indoors. The effect of providing high-level location-based services (e.g., AR-based 3D indoor map service) can be expected.

이하에서는 도 4를 참조하여, 본 발명의 실시예에 따른 실내 위치 추정 방법을 설명하겠다. Hereinafter, an indoor location estimation method according to an embodiment of the present invention will be described with reference to FIG. 4.

설명의 편의 상, 본 발명의 실내 위치 추정 방법을 수행하는 주체로, 단말장치(100)를 언급하여 설명하겠다.For convenience of explanation, the description will be made with reference to the terminal device 100 as the subject performing the indoor location estimation method of the present invention.

이에 본 발명의 실내 위치 추정 방법에 따르면, 단말장치(100)는, 진입한 실내 장소(예: 지하주차장, 터널, 쇼핑몰 등)가 포함된 실내 지도 데이터를 보유하는 것을 기본으로 한다(S10).Accordingly, according to the indoor location estimation method of the present invention, the terminal device 100 basically holds indoor map data including the entered indoor location (e.g., underground parking lot, tunnel, shopping mall, etc.) (S10).

본 발명의 실내 위치 추정 방법에 따르면, 단말장치(100)는, 실내 장소(예: 지하주차장, 터널, 쇼핑몰 등)에서 단말장치(100)의 카메라(미도시)로 촬영되는 촬영 영상을 모니터링하여 문자를 식별하고(S20), 식별되는 문자들 중에서 실내 지도 데이터 내에 존재하는 문자가 있는지 인식한다(S30).According to the indoor location estimation method of the present invention, the terminal device 100 monitors captured images captured by a camera (not shown) of the terminal device 100 in an indoor location (e.g., underground parking lot, tunnel, shopping mall, etc.). Characters are identified (S20), and among the identified characters, it is recognized whether any characters exist in the indoor map data (S30).

본 발명의 실내 위치 추정 방법에 따르면, 단말장치(100)는, 촬영 영상에서 실내 지도 데이터 내에 존재하는 문자(이하, "특정 문자")가 인식되면(S30 Yes), 특정 문자의 위치관련정보를 실내 지도 데이터에서 확인하는 한편, 단말장치(100)에 구비된 지자기 센서(미도시)로부터 센싱 각도를 확인함으로써 특정 문자가 촬영된 시점의 센싱 각도를 확인할 수 있다(S40). According to the indoor location estimation method of the present invention, when a character (hereinafter, “specific character”) present in indoor map data is recognized in a captured image (S30 Yes), the terminal device 100 provides location-related information for the specific character. While checking the indoor map data, the sensing angle at the time a specific character was photographed can be confirmed by checking the sensing angle from the geomagnetic sensor (not shown) provided in the terminal device 100 (S40).

그리고 본 발명의 실내 위치 추정 방법에 따르면, 단말장치(100)는, 특정 문자의 위치관련정보 및 센싱 각도를 활용하여, 금번 촬영 영상에서 추출한 특정 문자의 이미지를 근거로 단말장치(100)의 실내 위치 및 사용자의 시선 방향을 추정할 수 있다(S50~70).And according to the indoor location estimation method of the present invention, the terminal device 100 uses the location-related information and sensing angle of a specific character to determine the indoor location of the terminal device 100 based on the image of the specific character extracted from the currently captured image. The location and user's gaze direction can be estimated (S50~70).

구체적으로 설명하면, 본 발명의 실내 위치 추정 방법에 따르면, 단말장치(100)는, 단말장치(100)의 실내 위치를 추정하기 위해, 먼저 특정 문자의 정면이 노출되는 노출 각도 기준의 위치와 특정 문자와의 거리를 예측한다(S50).Specifically, according to the indoor location estimation method of the present invention, in order to estimate the indoor location of the terminal device 100, the terminal device 100 first determines the location based on the exposure angle where the front of a specific character is exposed and the specific location of the terminal device 100. Predict the distance to the letter (S50).

먼저 특정 문자의 정면이 노출되는 노출 각도 기준의 위치를 예측하는 과정을 설명하면, 단말장치(100)는, 특정 문자의 위치관련정보를 활용하여, 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 결과를 근거로 특정 문자의 정면이 노출되는 노출 각도 기준의 위치를 예측한다(S50). First, to explain the process of predicting the position based on the exposure angle where the front of a specific character is exposed, the terminal device 100 uses the location-related information of the specific character to determine the first letter in the image of the specific character extracted from the currently captured image. And based on the result of comparing the pixel vertical axis length between the last letters, the position based on the exposure angle where the front of the specific letter is exposed is predicted (S50).

예를 들면, 단말장치(100)는, 특정 문자의 위치관련정보에 포함된 문자열 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 기준 비율과, 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 첫 글자 및 끝 글자 간 픽셀 세로축 길이를 비교한 촬영 비율을 비교하여, 0° 또는 ±90°범위 내의 특정 각도를 결정할 수 있다.For example, the terminal device 100 uses a standard ratio comparing the pixel vertical axis length between the first and last letters in a string image included in the location-related information of a specific character and the first character in the image of the specific character extracted from this captured image. By comparing the shooting ratio of the pixel vertical axis length between letters and the last letter, a specific angle within the range of 0° or ±90° can be determined.

도 2 및 도 3을 참조하여 사용자(가)를 언급하여 보다 구체적으로 설명하면, 사용자(가)는 단말장치(100)를 사용해 벽면에 있는 "B1B123"의 문자를 촬영하는 경우로서, "B1B123"의 위치관련정보에는, 문자열 이미지(B1B123), 문자의 위치좌표(예: b1, (0,5)), 문자의 물리적 크기(예: 가로축/세로축 길이), 문자의 물리적 크기에 따른 세로축 길이(예: 0,5 m), 북쪽(N)을 기준(0°)으로 할 때 문자의 정면이 노출되는 노출 각도(예: 90°) 등의 정보가 포함될 수 있다.Referring to FIGS. 2 and 3 and referring to the user A, if the user A takes a picture of the text “B1B123” on the wall using the terminal device 100, “B1B123” The location-related information includes the string image (B1B123), the location coordinates of the character (e.g., b1, (0,5)), the physical size of the character (e.g., horizontal axis/vertical axis length), and the vertical axis length according to the physical size of the character ( Information such as exposure angle (e.g. 90°) at which the front of the character is exposed when using north (N) as the standard (0°) may be included.

그리고, 도 3에서 알 수 있듯이, 사용자(가)가 자신의 단말장치(100)로 촬영한 촬영 영상에서는 특정 문자(B1B123)의 이미지 내 첫 글자의 픽셀 세로축 길이가 끝 글자의 픽셀 세로축 길이 보다 작은 촬영 비율(예: 0.5:1)을 가질 것이다.And, as can be seen in Figure 3, in the video captured by the user with his/her terminal device 100, the pixel vertical axis length of the first character in the image of a specific character (B1B123) is smaller than the pixel vertical axis length of the last character. It will have an aspect ratio (e.g. 0.5:1).

이에, 단말장치(100)는, 특정 문자 "B1B123"의 위치관련정보에서 확인한 기준 비율(예: 1:1) 및 촬영 비율(예: 0.5:1)을 비교한 결과, 서로 동일하지 않고 기준 비율(예: 1:1) 대비 촬영 비율(예: 0.5: 1)에서 첫 글자의 픽셀 세로축 길이가 끝 글자의 픽셀 세로축 길이 보다 작으므로, 기준 비율(예: 1:1) 대비 촬영 비율(예: 0.5: 1)에서 끝 글자의 픽셀 세로축 길이가 작은 정도에 따라 기 정의된 계산식으로 계산하여, -90°범위 내에서 특정 각도(예:-45°)를 결정할 수 있다. Accordingly, the terminal device 100 compared the standard ratio (e.g., 1:1) and the shooting ratio (e.g., 0.5:1) confirmed in the location-related information of the specific character “B1B123” and found that they were not the same and the standard ratio (e.g. 1:1) In contrast shooting ratio (e.g. 0.5: 1), the pixel vertical axis length of the first character is smaller than the pixel vertical axis length of the last character, so the reference ratio (e.g. 1:1) contrast shooting ratio (e.g. In 0.5: 1), a specific angle (e.g. -45°) within the range of -90° can be determined by calculating with a predefined formula depending on how small the vertical axis length of the pixel of the last character is.

그리고 단말장치(100)는, 특정 문자"B1B123"의 정면이 노출되는 노출 각도(90°)에 앞서 결정한 특정 각도(-45°)를 합한 각도(45°)를, 특정 문자"B1B123"의 정면이 노출되는 노출 각도 기준의 위치(45°, 90°-45°)로서 예측할 수 있다.And the terminal device 100 selects an angle (45°) that is the sum of the exposure angle (90°) at which the front of the specific character “B1B123” is exposed and the specific angle (-45°) determined previously. This can be predicted based on the exposure angle (45°, 90°-45°).

다음 특정 문자와의 거리를 예측하는 과정을 설명하면, 단말장치(100)는, 금번 촬영 영상에서 추출한 특정 문자(B1B123)의 이미지 내 특정 픽셀의 세로축 길이를 근거로 특정 문자"B1B123"와의 거리를 예측할 수 있다(S50).Next, to explain the process of predicting the distance to a specific character, the terminal device 100 determines the distance to the specific character "B1B123" based on the vertical axis length of a specific pixel in the image of the specific character (B1B123) extracted from this captured image. Predictable (S50).

예를 들면, 단말장치(100)는, 앞서 특정 각도가 +90°범위 내에서 결정되는 경우 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 첫 글자의 픽셀을 특정하고, 또는 앞서 특정 각도가 -90°범위 내에서 결정되는 경우 금번 촬영 영상에서 추출한 특정 문자의 이미지 내 끝 글자의 픽셀을 특정할 수 있다.For example, the terminal device 100 specifies the pixel of the first letter in the image of a specific character extracted from the currently captured image if the specific angle is previously determined to be within the range of +90°, or if the specific angle is previously determined to be within the range of -90°. If it is determined within the range, the pixel of the last letter in the image of the specific letter extracted from this captured video can be specified.

도 2 및 도 3을 참조한 사용자(가)의 단말장치(100)는, 전술하였듯이 -90°범위 내에서 특정 각도(예:-45°)를 결정하였으므로, 금번 촬영 영상에서 추출한 특정 문자(B1B123)의 이미지 내 끝 글자의 픽셀을 특정할 수 있다.Since the user's terminal device 100 referring to FIGS. 2 and 3 has determined a specific angle (e.g., -45°) within the range of -90° as described above, the specific character (B1B123) extracted from this captured image You can specify the pixel of the last letter in the image.

이에 단말장치(100)는, 특정 문자(B1B123)의 이미지 내에서 특정한 끝 글자의 픽셀 세로축 길이와 특정 문자"B1B123"의 물리적 크기에 따른 세로축 길이를 근거로, 특정 문자"B1B123"와의 거리를 예측할 수 있다.Accordingly, the terminal device 100 predicts the distance to the specific character "B1B123" based on the pixel vertical axis length of a specific last character in the image of the specific character (B1B123) and the vertical axis length according to the physical size of the specific character "B1B123". You can.

즉, 도 3을 참조하면, 물리적 크기에 따른 세로축 길이가 0,5m인 특정 문자"B1B123"를 촬영한 촬영 영상에서 특정 문자(B1B123)의 이미지 내 특정한 끝 글자의 픽셀 세로축 길이가 400px인 경우라면, 이 경우 단말장치(100)는 특정 문자"B1B123"와의 거리를 4미터인 것으로 예측할 수 있다.In other words, referring to Figure 3, if the vertical axis length of the pixel of a specific last character in the image of the specific character (B1B123) in the captured image of the specific character "B1B123" whose vertical axis length according to the physical size is 0,5m is 400px, , In this case, the terminal device 100 can predict that the distance to the specific character “B1B123” is 4 meters.

이에, 본 발명의 실내 위치 추정 방법에 따르면, 단말장치(100)는, 앞서 S50단계에서 예측한 특정 문자의 노출 각도 기준의 위치 및 특정 문자와의 거리를 근거로, 특정 문자의 위치를 기준으로 하는 단말장치(100)의 실내 위치를 추정할 수 있다(S60).Accordingly, according to the indoor location estimation method of the present invention, the terminal device 100 determines the position of the specific character based on the position based on the exposure angle of the specific character predicted in step S50 and the distance to the specific character. The indoor location of the terminal device 100 can be estimated (S60).

전술에서 언급한 사용자(가)에 대한 실시 예로 계속해서 설명하면, 단말장치(100)는, 앞서 예측한 특정 문자"B1B123"의 정면이 노출되는 노출 각도 기준의 위치(45°) 및 예측한 특정 문자"B1B123"와의 거리(4미터)를 근거로, 특정 문자"B1B123"의 위치를 기준으로 하는 단말장치(100)의 실내 위치를 추정할 수 있다.Continuing to explain the embodiment of the user A mentioned above, the terminal device 100 determines the position (45°) based on the exposure angle where the front of the previously predicted specific character “B1B123” is exposed and the predicted specific character “B1B123”. Based on the distance (4 meters) from the letters “B1B123”, the indoor location of the terminal device 100 based on the location of the specific letters “B1B123” can be estimated.

예를 들어, 도 2에 도시된 바와 같이, 위치관련정보에서 확인되는 특정 문자"B1B123"의 위치좌표가 b1, (0,5)인 경우, 단말장치(100)는, b1, (0,5)의 위치로부터 앞서 예측한 45°위치에 앞서 예측한 4미터 거리를 두고 있는 위치(예: b1, (3,3))를, 단말장치(100)의 실내 위치로 추정할 수 있다. For example, as shown in FIG. 2, when the location coordinates of the specific character “B1B123” identified in the location-related information are b1, (0,5), the terminal device 100 is b1, (0,5). ), a position (e.g., b1, (3,3)) that is 4 meters away from the previously predicted 45° position can be estimated as the indoor location of the terminal device 100.

아울러, 본 발명의 실내 위치 추정 방법에 따르면, 단말장치(100)는, 전술과 같이 특정 문자의 위치를 기준으로 하여 단말장치(100)의 실내 위치를 추정하면, 추정한 단말장치(100)의 실내 위치에서 앞서 S40단계에서 확인한 센싱 각도에 따른 방향을 사용자의 시선 방향으로서 추정할 수 있다(S70). In addition, according to the indoor location estimation method of the present invention, when the terminal device 100 estimates the indoor location of the terminal device 100 based on the position of a specific character as described above, the estimated indoor location of the terminal device 100 In an indoor location, the direction according to the sensing angle confirmed in step S40 can be estimated as the user's gaze direction (S70).

전술에서 언급한 사용자(가)에 대한 실시 예로 계속해서 설명하며, 사용자(가)가 단말장치(100)로 특정 문자"B1B123"를 촬영한 시점에 확인된 지자기 센서(미도시)의 센싱 각도가 225°인 경우로 가정할 수 있다.The description continues as an example of the user (A) mentioned above, and the sensing angle of the geomagnetic sensor (not shown) confirmed at the time when the user (A) photographs the specific character "B1B123" with the terminal device 100 is It can be assumed that it is 225°.

이 경우, 단말장치(100)는, 전술과 같이 특정 문자"B1B123"의 위치를 기준으로 추정한 단말장치(100)의 실내 위치 b1, (3,3)에서, 앞서 확인한 센싱 각도 225°에 따른 방향을 사용자(가)의 시선 방향으로서 추정할 수 있다.In this case, the terminal device 100 detects the sensor according to the previously confirmed sensing angle of 225° at the indoor location b1, (3,3) of the terminal device 100, which is estimated based on the location of the specific character "B1B123" as described above. The direction can be estimated as the user's gaze direction.

더 나아가 본 발명의 실내 위치 추정 방법에 따르면, 단말장치(100)는, S70단계에서 추정한 실내 위치 및 시선 방향에 매핑된 AR 기반의 실내 네비게이션 서비스를 제공할 수 있다.Furthermore, according to the indoor location estimation method of the present invention, the terminal device 100 can provide an AR-based indoor navigation service mapped to the indoor location and gaze direction estimated in step S70.

일 예를 들면, 단말장치(100)는, 추정한 실내 위치 및 시선 방향으로 매핑된 AR 실내 3D 지도를 단말장치(100)에 표시하여 AR 기반 실내 네비게이션 서비스를 제공할 수 있으며(S80), 이후에는 단말장치(100)의 AR 기능을 이용하여 트래킹되는 단말장치(100)의 실내 위치 및 시선 방향으로 매핑된 AR 실내 3D 지도를 단말장치(100)에 표시하여 AR 기반 실내 네비게이션 서비스를 제공할 수 있다(S90).For example, the terminal device 100 may provide an AR-based indoor navigation service by displaying an AR indoor 3D map mapped to the estimated indoor location and gaze direction on the terminal device 100 (S80), and then An AR-based indoor navigation service can be provided by displaying an AR indoor 3D map mapped to the indoor location and gaze direction of the terminal device 100, which is tracked using the AR function of the terminal device 100, on the terminal device 100. There is (S90).

본 발명의 실내 위치 추정 방법에 따르면, 단말장치(100)는, 실내 위치 추정(측정)이 요구되는 서비스(예: AR 기반 실내 네비게이션 서비스)가 종료되지 않는 한(S100 No), AR 기능을 이용한 트래킹 방식 외에도, S20 및 그 이후 단계들을 반복 수행하여 단말장치(100)의 실내 위치 및 시선 방향을 실시간으로 추정할 수 있다.According to the indoor location estimation method of the present invention, the terminal device 100 uses the AR function unless a service requiring indoor location estimation (measurement) (e.g., AR-based indoor navigation service) is terminated (S100 No). In addition to the tracking method, the indoor location and gaze direction of the terminal device 100 can be estimated in real time by repeatedly performing S20 and subsequent steps.

이상, 본 발명에 따르면, 단말이 촬영한 촬영 영상에서 인식되는 문자를 근거로 단말의 실내 위치를 측정함에 있어, 서버 중심에서 벗어나 단말 주체적으로 문자 기준의 위치(각도) 및 문자와의 거리를 예측하여 이를 기반으로 단말의 실내 위치 및 사용자의 시선 방향을 측정(추정)하는 방식의 새로운 실내 위치 측정(추정) 기법을 실현할 수 있다.As above, according to the present invention, when measuring the indoor position of a terminal based on a character recognized in a captured video captured by the terminal, the terminal independently predicts the position (angle) of the character reference and the distance to the character away from the center of the server. Based on this, it is possible to implement a new indoor location measurement (estimation) technique that measures (estimates) the indoor location of the terminal and the user's gaze direction.

이렇듯 본 발명에서는, 서버 중심의 기존 측위 기법이 갖는 한계들로부터 자유로우며, 실내에서도 단말에 대해 정확한 위치 더 나아가 시선 방향까지 측정할 수 있는 측위 기법을 실현함으로써, 실내에 있는 사용자에게도 신뢰도 높은 위치 기반 서비스(예: AR 기반의 3D 실내 지도 서비스)를 제공할 수 있는 효과를 기대할 수 있다In this way, the present invention is free from the limitations of existing server-centered positioning techniques and realizes a positioning technique that can measure the exact location and even the gaze direction of the terminal even indoors, providing a highly reliable location basis for users indoors. The effect of providing services (e.g. AR-based 3D indoor map service) can be expected.

본 발명의 일 실시예에 따른 실내 위치 추정 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The indoor location estimation method according to an embodiment of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.Although the present invention has been described in detail with reference to preferred embodiments so far, the present invention is not limited to the above-described embodiments, and the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the following claims. Anyone skilled in the art will recognize that the technical idea of the present invention extends to the extent that various changes or modifications can be made.

본 발명의 단말장치 및 그 장치에서 수행되는 실내 위치 추정 방법에 따르면, 서버 중심에서 벗어나 단말 주체적으로 문자 기준의 위치(각도) 및 문자와의 거리를 예측하여 이를 기반으로 단말의 실내 위치 및 사용자의 시선 방향을 추정할 수 있는 새로운 방식의 측위 기법을 실현하는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the terminal device of the present invention and the indoor location estimation method performed in the device, the terminal independently predicts the position (angle) of the character and the distance to the character away from the center of the server, and based on this, the indoor location of the terminal and the user's In realizing a new positioning technique that can estimate the direction of gaze, by overcoming the limitations of existing technology, the possibility of not only using the related technology but also marketing or selling the applied device is not only sufficient, but also realistically clear. It is an invention that has industrial applicability because it can be implemented.

100 : 단말장치
110 : 정보확인부 120 : 각도확인부
130 : 추정부 140 : 서비스제공부100: terminal device
110: Information confirmation unit 120: Angle confirmation unit
130: Estimation Department 140: Service Provision Department

Claims

In the terminal device,
an information confirmation unit that verifies location-related information of a specific character recognized in a captured image captured by the terminal device, based on pre-owned indoor map data;
An angle confirmation unit that checks the sensing angle from the geomagnetic sensor provided in the terminal device;
A terminal device comprising an estimation unit that estimates the indoor location of the terminal device and the user's gaze direction based on an image of a specific character extracted from the captured image using the location-related information and the sensing angle.

According to claim 1,
The terminal device further comprises a service provider that provides an AR (Augmented Reality)-based indoor navigation service mapped to the estimated indoor location and gaze direction.

According to claim 1,
In the indoor map data,
A terminal device comprising, for each character, location-related information including at least one of a string image, the location coordinates of the character, the physical size of the character, and the exposure angle at which the front of the character is exposed.

According to claim 1,
The estimation part is,
Using the location-related information, predict the position based on the exposure angle where the front of the specific character is exposed based on the result of comparing the pixel vertical axis length between the first and last letters in the image of the extracted specific character,
Predicting the distance to the specific character based on the vertical axis length of a specific pixel in the extracted image of the specific character,
A terminal device characterized in that it estimates the indoor location based on the location of the specific character based on the predicted exposure angle of the specific character and the distance to the specific character.

According to claim 4,
The location-related information includes a string image of the specific character and an exposure angle at which the front is exposed,
The estimation part is,
By comparing the standard ratio comparing the pixel vertical axis length between the first and last letters in the string image and the shooting ratio comparing the pixel vertical axis length between the first and last letters in the image of the extracted specific character, 0° or ±90 Determine a specific angle within the ° range,
A terminal device characterized in that the angle obtained by adding the determined specific angle to the exposure angle at which the front of the specific character is exposed is predicted as a position based on the exposure angle at which the front of the specific character is exposed.

According to claim 5,
The location-related information includes the physical size of the specific character,
The estimation part is,
If the specific angle is determined within the range of +90°, the pixel of the first letter in the image of the extracted specific character is selected. If the specific angle is determined within the range of -90°, the pixel of the last letter in the image of the extracted specific character is selected. specific,
A terminal device characterized in that predicting the distance to the specific character based on the vertical axis length of the specific pixel and the vertical axis length according to the physical size of the specific character.

According to claim 4,
The estimation part is,
A terminal device characterized in that, at the indoor location estimated based on the location of the specific character, a direction according to the sensing angle is estimated as the gaze direction.

In an indoor location estimation method performed in a terminal device,
An information confirmation step of confirming location-related information of a specific character recognized in a captured image captured by the terminal device, based on pre-owned indoor map data;
An angle confirmation step of checking the sensing angle from the geomagnetic sensor provided in the terminal device;
An estimation step of using the location-related information and the sensing angle to estimate the indoor location of the terminal device and the user's gaze direction based on an image of a specific character extracted from the captured image; and
An indoor location estimation method comprising providing the estimated indoor location and gaze direction so that a service mapped to the estimated indoor location and gaze direction can be provided in an AR-based indoor navigation service.

According to claim 8,
The estimation step is,
Using the location-related information, predict the position based on the exposure angle where the front of the specific character is exposed based on the result of comparing the pixel vertical axis length between the first and last letters in the image of the extracted specific character,
Predicting the distance to the specific character based on the vertical axis length of a specific pixel in the extracted image of the specific character,
An indoor location estimation method characterized by estimating the indoor location based on the location of the specific character based on the predicted exposure angle-based position of the specific character and the distance to the specific character.

According to clause 9,
The location-related information includes a string image of the specific character and an exposure angle at which the front is exposed,
The estimation step is,
By comparing the standard ratio comparing the pixel vertical axis length between the first and last letters in the string image and the shooting ratio comparing the pixel vertical axis length between the first and last letters in the image of the extracted specific character, 0° or ±90 Determine a specific angle within the ° range,
An indoor position estimation method characterized by predicting an angle obtained by adding the determined specific angle to the exposure angle at which the front of the specific character is exposed as a position based on the exposure angle at which the front of the specific character is exposed.

According to claim 10,
The location-related information includes the physical size of the specific character,
The estimation step is,
If the specific angle is determined within the range of +90°, the pixel of the first letter in the image of the extracted specific character is selected. If the specific angle is determined within the range of -90°, the pixel of the last letter in the image of the extracted specific character is selected. specific,
An indoor location estimation method characterized by predicting the distance to the specific character based on the vertical axis length of the specific pixel and the vertical axis length according to the physical size of the specific character.

According to clause 9,
The estimation step is,
An indoor location estimation method characterized by estimating a direction according to the sensing angle as the gaze direction at the indoor location estimated based on the location of the specific character.

A computer program combined with hardware and stored on a medium to execute each step performed in the method of any one of claims 8 to 12.