KR20240020903A - Method and system for indoor and outdoor positioning by combining visual and RF signal - Google Patents

Method and system for indoor and outdoor positioning by combining visual and RF signal Download PDF

Info

Publication number
KR20240020903A
KR20240020903A KR1020220099189A KR20220099189A KR20240020903A KR 20240020903 A KR20240020903 A KR 20240020903A KR 1020220099189 A KR1020220099189 A KR 1020220099189A KR 20220099189 A KR20220099189 A KR 20220099189A KR 20240020903 A KR20240020903 A KR 20240020903A
Authority
KR
South Korea
Prior art keywords
user terminal
positioning
video
information
image
Prior art date
Application number
KR1020220099189A
Other languages
Korean (ko)
Inventor
이재용
김경호
김영준
정무상
Original Assignee
(주)휴빌론
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴빌론 filed Critical (주)휴빌론
Priority to KR1020220099189A priority Critical patent/KR20240020903A/en
Publication of KR20240020903A publication Critical patent/KR20240020903A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
    • G01S11/06—Systems for determining distance or velocity not using reflection or reradiation using radio waves using intensity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • G01S2205/02—Indoor

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

본 발명은 영상 및 전파신호를 융합한 실내외 측위 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 영상신호를 입력으로 하는 인공신경망 모델을 이용하여 측위를 수행하되, 지도상에서 그리드(grid) 별 인공신경망 모델을 구비하고, 이러한 그리드 별 인공신경망 모델의 효과적인 운영을 위해 전파신호를 더 이용하는 실내외 측위 방법 및 이를 수행하는 시스템에 관한 것이다.
본 발명에 의하면, 기존의 RF 측위 방식의 실내 측위에 있어서, Wi-Fi나 BlueTooth 등 별도 인프라에 대한 설치가 필요한 문제 및 전파환경 변화에 따른 유지보수의 어려움을 해결하고, 나아가 이에 따른 측위 오차 문제를 해결하기 위한 영상 및 전파신호를 융합한 실내외 측위 방법 및 시스템을 제공한다.
또한 측위할 지역이 넓어지고 각 지역의 건물 등의 요소가 변화함에 따라 영상 측위 모델의 업데이트에 소요되는 시간이 증가하는 문제와, 또한 측위할 지역이 넓어짐에 따라 영상 측위 모델에 의한 측위에 소요되는 시간이 크게 증가되는 문제점을 개선하여 신속하고 효과적인 영상 측위 모델의 업데이트를 가능하게 하고, 영상 측위 모델에 의해 빠른 영상 측위를 제공하기 위한 영상 및 전파신호를 융합한 실내외 측위 방법 및 시스템을 제공한다.The present invention relates to an indoor and outdoor positioning method and system that combines video and radio signals. More specifically, positioning is performed using an artificial neural network model that uses video signals as input, and uses an artificial neural network model for each grid on a map. It relates to an indoor and outdoor positioning method that further utilizes radio signals for effective operation of this grid-specific artificial neural network model and a system for performing the same.
According to the present invention, in indoor positioning using the existing RF positioning method, the problem of requiring installation of separate infrastructure such as Wi-Fi or BlueTooth and the difficulty of maintenance due to changes in the radio wave environment are solved, and furthermore, the resulting positioning error problem is solved. We provide indoor and outdoor positioning methods and systems that combine video and radio signals to solve the problem.
In addition, as the area to be measured expands and elements such as buildings in each area change, the time required to update the video positioning model increases. Additionally, as the area to be measured expands, the time required for positioning using the video positioning model increases. By improving the problem of greatly increasing time, it is possible to update the image positioning model quickly and effectively, and it provides an indoor and outdoor positioning method and system that fuses video and radio signals to provide fast image positioning by the image positioning model.

Description

영상 및 전파신호를 융합한 실내외 측위 방법 및 시스템{Method and system for indoor and outdoor positioning by combining visual and RF signal}Indoor and outdoor positioning method and system combining video and radio signals {Method and system for indoor and outdoor positioning by combining visual and RF signal}

본 발명은 영상 및 전파신호를 융합한 실내외 측위 방법 및 시스템에 관한 것으로서, 더욱 상세하게는 영상신호를 입력으로 하는 인공신경망 모델을 이용하여 측위를 수행하되, 지도상에서 그리드(grid) 별 인공신경망 모델을 구비하고, 이러한 그리드 별 인공신경망 모델의 효과적인 운영을 위해 전파신호를 더 이용하는 실내외 측위 방법 및 이를 수행하는 시스템에 관한 것이다.The present invention relates to an indoor and outdoor positioning method and system that combines video and radio signals. More specifically, positioning is performed using an artificial neural network model that uses video signals as input, and uses an artificial neural network model for each grid on a map. It relates to an indoor and outdoor positioning method that further utilizes radio signals for effective operation of this grid-specific artificial neural network model and a system for performing the same.

건물의 대형화와 함께 최근 코로나19의 영향으로 실내공간에 머무르고 활동하는 시간이 증대하여 실내공간을 효율적으로 활용할 수 있는 서비스에 대한 니즈가 증대하고 있다. 실내공간 대상 서비스를 위해 초기에는 RF방식의 실내측위 기술들이 개발되었으나 Wi-Fi나 BlueTooth 등 별도 인프라에 대한 설치가 필요하고 전파환경 변화에 따른 유지보수의 어려움과 높은 수준의 정확도 확보의 어려움이라는 기술적 한계가 존재하였다.Along with the increase in the size of buildings, the time spent staying and active in indoor spaces has increased due to the recent impact of COVID-19, increasing the need for services that can utilize indoor spaces efficiently. Initially, RF-type indoor positioning technologies were developed for services targeting indoor spaces, but they required installation of separate infrastructure such as Wi-Fi or BlueTooth, difficulty in maintenance due to changes in the radio wave environment, and difficulty in securing a high level of accuracy. There were limits.

한편, 최근 영상분석을 통한 VPS(Visual Positioning System) 기술이 개발됨으로써 공간의 특정 인프라에 대한 실내측위의 종속성을 벗어나고 측위정확도 역시 개선되어, 상용서비스를 앞두고 있다. 그러나 서비스를 위해 가장 기본적인 요소인 초기 지도구축 및 측위데이터 수집에 많은 비용이 발생함과 동시에 공간변화에 따라 주기적으로 재수집을 해야 서비스 품질유지가 가능하기에 초기 구축비용 및 유지보수비용 측면에서 서비스 지속의 어려움 존재하는 실정이다.Meanwhile, with the recent development of VPS (Visual Positioning System) technology through video analysis, the dependency of indoor positioning on specific spatial infrastructure has been eliminated and positioning accuracy has also been improved, and is approaching commercial service. However, a lot of costs are incurred in initial map construction and collection of positioning data, which are the most basic elements for the service, and at the same time, service quality must be maintained periodically when re-collected according to spatial changes, so the service is in terms of initial construction costs and maintenance costs. There are difficulties in continuing.

또한 VPS 방식의 경우도 기본적으로 초기 데이터 수집을 위한 공수와 측위정확도간에 Trade-off가 존재하는데 3D 정밀지도 기반에 로봇 등을 이용하는 방식으로 구축할 경우 높은 정확도 달성이 가능하지만 상대적으로 구축비용의 증가로 이어지며 동일수준의 서비스 품질유지를 위해선 유지보수 비용이 증가하는 문제점이 존재한다.In addition, in the case of the VPS method, there is basically a trade-off between man-hours for initial data collection and positioning accuracy. If it is built using a robot based on a 3D precision map, high accuracy can be achieved, but the construction cost is relatively increased. In order to maintain the same level of service quality, there is a problem of increased maintenance costs.

KRKR 10-2021-0074205 10-2021-0074205 AA

본 발명은 이와 같은 문제점을 해결하기 위해 창안된 것으로서, 기존의 RF 측위 방식의 실내 측위에 있어서, Wi-Fi나 BlueTooth 등 별도 인프라에 대한 설치가 필요한 문제 및 전파환경 변화에 따른 유지보수의 어려움을 해결하고, 나아가 이에 따른 측위 오차 문제를 해결하기 위한 영상 및 전파신호를 융합한 실내외 측위 방법 및 시스템을 제공하는데 그 목적이 있다.The present invention was created to solve these problems. In indoor positioning using the existing RF positioning method, it solves the problem of requiring installation of separate infrastructure such as Wi-Fi or BlueTooth and the difficulty of maintenance due to changes in the radio wave environment. The purpose is to provide an indoor and outdoor positioning method and system that combines video and radio signals to solve the problem of positioning error and further solve the problem of positioning error.

또한 측위할 지역이 넓어지고 각 지역의 건물 등의 요소가 변화함에 따라 영상 측위 모델의 업데이트에 소요되는 시간이 증가하는 문제와, 또한 측위할 지역이 넓어짐에 따라 영상 측위 모델에 의한 측위에 소요되는 시간이 크게 증가되는 문제점을 개선하여 신속하고 효과적인 영상 측위 모델의 업데이트를 가능하게 하고, 영상 측위 모델에 의해 빠른 영상 측위를 제공하기 위한 영상 및 전파신호를 융합한 실내외 측위 방법 및 시스템을 제공하는데 다른 목적이 있다.In addition, as the area to be measured expands and elements such as buildings in each area change, the time required to update the video positioning model increases. Additionally, as the area to be measured expands, the time required for positioning using the video positioning model increases. By improving the problem of greatly increasing time, it is possible to update the video positioning model quickly and effectively, and to provide an indoor and outdoor positioning method and system that fuses video and radio signals to provide fast video positioning by the video positioning model. There is a purpose.

이와 같은 목적을 달성하기 위하여 본 발명에 따른 영상 및 전파신호를 융합한 실내외 측위 시스템이, 영상 및 전파신호를 융합한 실내외 측위를 수행하는 방법은, (a) 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 포함하여 해당 지점의 측위 요청을 수신하는 단계; (b) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계; (c) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역(grid) 정보를 파악하는 단계; (d) 상기 사용자 단말에 대하여 상기 RF 신호 정보로부터 파악된 구역 및 그 인접 구역 각각에 대한, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다) 각각에 상기 위치 영상을 입력하는 단계; 및, (e) 상기 단계(d)의 각 영상 측위 모델의 출력으로부터 상기 사용자 단말의 실제 위치를 파악하여, 파악된 위치 정보를 상기 사용자 단말로 제공하는 단계를 포함한다.In order to achieve this purpose, the indoor and outdoor positioning system fusing video and radio signals according to the present invention performs indoor and outdoor positioning by fusing video and radio signals, (a) from a user terminal, the user terminal is currently Receiving a positioning request for a location including an image taken of the location (hereinafter referred to as 'location image'); (b) receiving RF signal information from the user terminal; (c) determining the current location of the user terminal and grid information about the location from the RF signal information; (d) Inputting the location image into each of the artificial neural network positioning models using image data (hereinafter referred to as 'video positioning model') for each of the area identified from the RF signal information and its adjacent areas for the user terminal. step; And, (e) determining the actual location of the user terminal from the output of each image positioning model in step (d) and providing the determined location information to the user terminal.

상기 RF 신호 정보는, 무선접속 장치에서 발생된 전파에 대하여 상기 사용자 단말이 감지한 RSSI 값 및, 해당 무선접속 장치의 식별정보를 포함할 수 있다.The RF signal information may include an RSSI value detected by the user terminal for radio waves generated from the wireless access device and identification information of the wireless access device.

상기 단계(c)와 단계(d) 사이에, (c1) 상기 사용자 단말로부터, PDR(Pedestrian Dead Reckoning) 정보를 수신하는 단계; (c2) 상기 PDR 정보로부터 상기 사용자 단말의 이동 방향 정보를 파악하는 단계를 더 포함할 수 있고, 상기 단계(d)에서, 상기 이동 방향 정보로부터 상기 인접 구역을 결정할 수 있다.Between steps (c) and (d), (c1) receiving PDR (Pedestrian Dead Reckoning) information from the user terminal; (c2) may further include determining movement direction information of the user terminal from the PDR information, and in step (d), the adjacent area may be determined from the movement direction information.

상기 PDR 정보는, 상기 사용자 단말에 구비된 가속도센서 또는 자이로센서를 포함하는 관성센서에 의해 감지된 정보일 수 있다.The PDR information may be information detected by an inertial sensor including an acceleration sensor or a gyro sensor provided in the user terminal.

상기 단계(e)의 각 영상 측위 모델의 출력에서, 상기 위치 영상 입력에 의해 해당 사용자 단말의 위치가 파악된 영상 측위 모델의 출력은, 상기 사용자 단말이 위치하는 지점의 GPS 좌표 정보일 수 있다.In the output of each image positioning model in step (e), the output of the image positioning model in which the location of the user terminal is determined by the location image input may be GPS coordinate information of the point where the user terminal is located.

상기 단계(e)의 각 영상 측위 모델의 출력에서, 상기 위치 영상 입력에 의해 해당 사용자 단말의 위치가 파악된 영상 측위 모델의 출력은, 상기 사용자 단말이 위치하는 지점이 실내인 경우, 상기 사용자 단말이 위치하는 지점의 GPS 좌표 정보에, 해당 건물의 층수 정보를 더 포함할 수 있다.In the output of each image positioning model in step (e), the output of the image positioning model in which the location of the user terminal is determined by the location image input is, if the point where the user terminal is located is indoors, the user terminal The GPS coordinate information of this location may further include information on the number of floors of the building in question.

상기 영상 측위 모델의 최초 생성 또는 업데이트시, 상기 단계(a) 이전에, (a01) 구역별로 영상 데이터를 수집하는 단계; (a02) 상기 수집된 영상 데이터로부터, 각 구역별로 영상 측위 모델의 최초 생성 또는 업데이트를 위한 학습을 수행하는 단계; 및, (a03) 각 구역별로 영상 측위 모델의 생성 또는 업데이트가 이루어지는 단계를 포함할 수 있다.When first creating or updating the image positioning model, before step (a), (a01) collecting image data for each zone; (a02) performing learning to initially create or update an image positioning model for each zone from the collected image data; And, (a03) may include generating or updating an image positioning model for each zone.

상기 각 구역별 영상 측위 모델의 업데이트는, 변경 또는 추가된 지역의 데이터의 학습만으로 이루어질 수 있다.The update of the image positioning model for each area can be accomplished only by learning data from changed or added areas.

본 발명의 다른 측면에 따르면, 영상 및 전파신호를 융합한 실내외 측위 시스템은, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 포함하여 해당 지점의 측위 요청을 수신하는 단계; (b) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계; (c) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역(grid) 정보를 파악하는 단계; (d) 상기 사용자 단말에 대하여 상기 RF 신호 정보로부터 파악된 구역 및 그 인접 구역 각각에 대한, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다) 각각에 상기 위치 영상을 입력하는 단계; 및, (e) 상기 단계(d)의 각 영상 측위 모델의 출력으로부터 상기 사용자 단말의 실제 위치를 파악하여, 파악된 위치 정보를 상기 사용자 단말로 제공하는 단계가 실행되도록 한다.According to another aspect of the present invention, an indoor and outdoor positioning system combining video and radio signals includes at least one processor; and at least one memory storing computer-executable instructions, wherein the computer-executable instructions stored in the at least one memory are: (a) from a user terminal, by the at least one processor; Receiving a positioning request for the point including an image taken of the currently located point (hereinafter referred to as 'location image'); (b) receiving RF signal information from the user terminal; (c) determining the current location of the user terminal and grid information about the location from the RF signal information; (d) Inputting the location image into each of the artificial neural network positioning models using image data (hereinafter referred to as 'video positioning model') for each of the area identified from the RF signal information and its adjacent areas for the user terminal. step; And, (e) determining the actual location of the user terminal from the output of each image positioning model in step (d) and providing the determined location information to the user terminal.

본 발명의 또 다른 측면에 따르면, 상기 영상 및 전파신호를 융합한 실내외 측위 시스템에서 실행되어, 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 포함하여 해당 지점의 측위 요청을 수신하는 단계; (b) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계; (c) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역(grid) 정보를 파악하는 단계; (d) 상기 사용자 단말에 대하여 상기 RF 신호 정보로부터 파악된 구역 및 그 인접 구역 각각에 대한, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다) 각각에 상기 위치 영상을 입력하는 단계; 및, (e) 상기 단계(d)의 각 영상 측위 모델의 출력으로부터 상기 사용자 단말의 실제 위치를 파악하여, 파악된 위치 정보를 상기 사용자 단말로 제공하는 단계가 실행되도록 하는 명령을 포함한다.According to another aspect of the present invention, a computer program executed in the indoor/outdoor positioning system fusing video and radio signals to perform indoor/outdoor positioning by fusing video and radio signals is stored in a non-transitory storage medium, and is stored in a processor. By (a) receiving, from a user terminal, a request for location of the point including an image captured at the point where the user terminal is currently located (hereinafter referred to as 'location image'); (b) receiving RF signal information from the user terminal; (c) determining the current location of the user terminal and grid information about the location from the RF signal information; (d) Inputting the location image into each of the artificial neural network positioning models using image data (hereinafter referred to as 'video positioning model') for each of the area identified from the RF signal information and its adjacent areas for the user terminal. step; And, (e) determining the actual location of the user terminal from the output of each image positioning model in step (d) and providing the determined location information to the user terminal.

본 발명의 또 다른 측면에 따르면, 영상 및 전파신호를 융합한 실내외 측위 시스템이, 영상 및 전파신호를 융합한 실내외 측위를 수행하는 방법은, (a) 각 구역(grid)별로 생성되어 있는, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)을 사용자 단말로 제공하는 단계; (b) 상기 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 구역 정보 요청을 수신하는 단계; (c) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계; (d) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역 정보를 파악하는 단계; 및, (e) 상기 사용자 단말이 위치하는 것으로 파악된 구역 정보 및 그 인접 구역 정보를 상기 사용자 단말로 제공하는 단계를 포함한다.According to another aspect of the present invention, the method of performing indoor and outdoor positioning by fusing video and radio signals is a method of performing indoor and outdoor positioning by fusing video and radio signals, (a) images generated for each zone (grid), Providing an artificial neural network positioning model using data (hereinafter referred to as 'video positioning model') to a user terminal; (b) receiving, from the user terminal, a request for information on the area in which the user terminal is currently located; (c) receiving RF signal information from the user terminal; (d) determining the current location of the user terminal and zone information about the location from the RF signal information; And, (e) providing information on the area in which the user terminal is located and information on the adjacent area to the user terminal.

상기 단계(d)와 단계(e) 사이에, (d1) 상기 사용자 단말로부터, PDR(Pedestrian Dead Reckoning) 정보를 수신하는 단계; 및, (d2) 상기 PDR 정보로부터 상기 사용자 단말의 이동 방향 정보를 파악하는 단계를 더 포함할 수 있고, 상기 단계(e)에서의 인접 구역 정보는, 상기 이동 방향 정보에 따라 결정될 수 있다.Between steps (d) and (e), (d1) receiving PDR (Pedestrian Dead Reckoning) information from the user terminal; And, (d2) may further include the step of determining movement direction information of the user terminal from the PDR information, and the adjacent area information in step (e) may be determined according to the movement direction information.

상기 영상 측위 모델의 최초 생성 또는 업데이트시, 상기 단계(a) 이전에, (a01) 구역별로 영상 데이터를 수집하는 단계; (a02) 상기 수집된 영상 데이터로부터, 각 구역별로 영상 측위 모델의 최초 생성 또는 업데이트를 위한 학습을 수행하는 단계; 및, (a03) 각 구역별로 영상 측위 모델의 생성 또는 업데이트가 이루어지는 단계를 포함할 수 있다.When first creating or updating the image positioning model, before step (a), (a01) collecting image data for each zone; (a02) performing learning to initially create or update an image positioning model for each zone from the collected image data; And, (a03) may include generating or updating an image positioning model for each zone.

본 발명의 또 다른 측면에 따르면, 영상 및 전파신호를 융합한 실내외 측위 시스템은, 적어도 하나의 프로세서; 및 컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되, 상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여, (a) 각 구역(grid)별로 생성되어 있는, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)을 사용자 단말로 제공하는 단계; (b) 상기 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 구역 정보 요청을 수신하는 단계; (c) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계; (d) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역 정보를 파악하는 단계; 및, (e) 상기 사용자 단말이 위치하는 것으로 파악된 구역 정보 및 그 인접 구역 정보를 상기 사용자 단말로 제공하는 단계가 실행되도록 한다.According to another aspect of the present invention, an indoor/outdoor positioning system combining video and radio signals includes at least one processor; and at least one memory storing computer-executable instructions, wherein the computer-executable instructions stored in the at least one memory are: (a) generated for each zone (grid) by the at least one processor; Providing an artificial neural network positioning model using image data (hereinafter referred to as 'video positioning model') to a user terminal; (b) receiving, from the user terminal, a request for information on the area in which the user terminal is currently located; (c) receiving RF signal information from the user terminal; (d) determining the current location of the user terminal and zone information about the location from the RF signal information; And, (e) providing information on the area in which the user terminal is located and information on the adjacent area to the user terminal.

본 발명의 또 다른 측면에 따르면, 상기 영상 및 전파신호를 융합한 실내외 측위 시스템에서 실행되어, 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 각 구역(grid)별로 생성되어 있는, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)을 사용자 단말로 제공하는 단계; (b) 상기 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 구역 정보 요청을 수신하는 단계; (c) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계; (d) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역 정보를 파악하는 단계; 및, (e) 상기 사용자 단말이 위치하는 것으로 파악된 구역 정보 및 그 인접 구역 정보를 상기 사용자 단말로 제공하는 단계가 실행되도록 하는 명령을 포함한다.According to another aspect of the present invention, a computer program executed in the indoor/outdoor positioning system fusing video and radio signals to perform indoor/outdoor positioning by fusing video and radio signals is stored in a non-transitory storage medium, and is stored in a processor. (a) providing an artificial neural network positioning model using image data (hereinafter referred to as 'image positioning model') generated for each area (grid) to the user terminal; (b) receiving, from the user terminal, a request for information on the area in which the user terminal is currently located; (c) receiving RF signal information from the user terminal; (d) determining the current location of the user terminal and zone information about the location from the RF signal information; And, (e) providing information on the area in which the user terminal is located and information on the adjacent area to the user terminal.

본 발명의 또 다른 측면에 따르면, 사용자가 소지한 스마트 기기(이하 '사용자 단말'이라 한다)에서 실행되어, 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 획득하는 단계; (b) 상기 위치 영상을 포함하여 영상 및 전파신호를 융합한 실내외 측위 시스템(이하 '영상 측위 시스템'이라 한다)으로 상기 사용자 단말에 대한 측위 요청을 송신하는 단계; (c) 무선접속 장치로부터 송신된 전파에 대한 RSSI를 감지하여, 그 RSSI 값 및 해당 무선접속 장치의 식별정보를 포함하는 RF 신호 정보를 상기 영상 측위 시스템으로 송신하는 단계; 및, (d) 상기 영상 측위 시스템으로부터 상기 사용자 단말의 현재 위치정보를 수신하는 단계가 실행되도록 하는 명령을 포함한다.According to another aspect of the present invention, a computer program running on a smart device (hereinafter referred to as 'user terminal') owned by a user to perform indoor and outdoor positioning by fusing video and radio signals is stored in a non-transitory storage medium. It is stored and, by the processor, (a) acquiring an image taken of the currently located point (hereinafter referred to as 'position image'); (b) transmitting a positioning request to the user terminal to an indoor/outdoor positioning system that fuses video and radio signals, including the location image (hereinafter referred to as 'video positioning system'); (c) detecting RSSI for radio waves transmitted from a wireless access device and transmitting RF signal information including the RSSI value and identification information of the wireless access device to the video positioning system; And, (d) a command for executing the step of receiving current location information of the user terminal from the image positioning system.

본 발명의 또 다른 측면에 따르면, 사용자가 소지한 스마트 기기(이하 '사용자 단말'이라 한다)에서 실행되어, 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램은, 비일시적 저장 매체에 저장되며, 프로세서에 의하여, (a) 영상 및 전파신호를 융합한 실내외 측위 시스템(이하 '영상 측위 시스템'이라 한다)으로부터, 각 구역에 해당하는 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)을 수신하여 저장하는 단계; (b) 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 획득하는 단계; (c) 상기 사용자 단말이 현재 위치하는 구역(grid) 및 인접 구역 정보 요청을 상기 영상 측위 시스템으로 송신하는 단계; (d) 상기 사용자 단말이 현재 위치하는 구역(grid) 및 인접 구역 정보를 상기 영상 측위 시스템으로부터 수신하는 단계; 및, (e) 상기 사용자 단말에 대하여 상기 RF 신호 정보로부터 파악된 구역 및 그 인접 구역 각각에 대한, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다) 각각에 상기 위치 영상을 입력하여, 각 영상 측위 모델의 출력으로부터 상기 사용자 단말의 실제 위치를 파악하는 단계가 실행되도록 하는 명령을 포함한다.According to another aspect of the present invention, a computer program running on a smart device (hereinafter referred to as 'user terminal') owned by a user to perform indoor and outdoor positioning by fusing video and radio signals is stored in a non-transitory storage medium. It is stored, and is operated by a processor: (a) an artificial neural network positioning model (hereinafter referred to as 'video positioning system') using image data corresponding to each zone from an indoor/outdoor positioning system that fuses video and radio signals (hereinafter referred to as 'video positioning system'); Receiving and storing a model (referred to as a 'model'); (b) acquiring an image taken of the currently located point (hereinafter referred to as 'location image'); (c) transmitting a request for information on the area (grid) in which the user terminal is currently located and adjacent areas to the image positioning system; (d) receiving information about the area (grid) in which the user terminal is currently located and adjacent areas from the image positioning system; And, (e) the location image in each of the artificial neural network positioning models using image data (hereinafter referred to as 'video positioning model') for each of the area identified from the RF signal information for the user terminal and its adjacent areas. It includes a command to execute a step of determining the actual location of the user terminal from the output of each image positioning model.

본 발명에 의하면, 기존의 RF 측위 방식의 실내 측위에 있어서, Wi-Fi나 BlueTooth 등 별도 인프라에 대한 설치가 필요한 문제 및 전파환경 변화에 따른 유지보수의 어려움을 해결하고, 나아가 이에 따른 측위 오차 문제를 해결하기 위한 영상 및 전파신호를 융합한 실내외 측위 방법 및 시스템을 제공하는 효과가 있다.According to the present invention, in indoor positioning using the existing RF positioning method, the problem of requiring installation of separate infrastructure such as Wi-Fi or BlueTooth and the difficulty of maintenance due to changes in the radio wave environment are solved, and furthermore, the resulting positioning error problem is solved. It has the effect of providing an indoor and outdoor positioning method and system that combines video and radio signals to solve the problem.

또한 측위할 지역이 넓어지고 각 지역의 건물 등의 요소가 변화함에 따라 영상 측위 모델의 업데이트에 소요되는 시간이 증가하는 문제와, 또한 측위할 지역이 넓어짐에 따라 영상 측위 모델에 의한 측위에 소요되는 시간이 크게 증가되는 문제점을 개선하여 신속하고 효과적인 영상 측위 모델의 업데이트를 가능하게 하고, 영상 측위 모델에 의해 빠른 영상 측위를 제공하기 위한 영상 및 전파신호를 융합한 실내외 측위 방법 및 시스템을 제공하는 효과가 있다.In addition, as the area to be measured expands and elements such as buildings in each area change, the time required to update the video positioning model increases. Additionally, as the area to be measured expands, the time required for positioning using the video positioning model increases. By improving the problem of greatly increasing time, it is possible to update the image positioning model quickly and effectively, and it has the effect of providing an indoor and outdoor positioning method and system that fuses video and radio signals to provide fast image positioning by the image positioning model. There is.

도 1은 본 발명의 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 네트워크 구성을 나타내는 도면.
도 2는 본 발명의 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위하여 그리드(grid) 별로 구획되어 있는 지도의 일 실시예를 나타내는 도면.
도 3은 그리드(grid) 별로 구획되어 있는 지도에서 영상신호를 이용한 측위를 위한 인공신경망 모델을 최초로 수행시킬 그리드를 선택하기 위한 방법의 일 실시예를 설명하기 위한 도면.
도 4는 본 발명의 영상 및 전파신호를 융합한 실내외 측위 방법에 대한 일 실시예로서의 시퀀스 다이어그램.
도 5는 본 발명의 영상 및 전파신호를 융합한 실내외 측위 방법에 대한 다른 실시예로서의 시퀀스 다이어그램.
도 6은 본 발명의 영상신호를 이용한 측위를 위한 인공신경망 모델의 업데이트 방식을 설명하기 위한 도면.
도 7은 본 발명의 본 발명의 영상신호를 이용한 측위를 위한 인공신경망 모델의 학습을 위한 절대 위치 자동 레이블링의 실시예를 나타내는 도면.
도 8은 본 발명의 영상 및 전파신호를 융합한 실내외 측위를 이용한 AR(augmented reality) 네비게이션 화면의 일 실시예를 나타내는 도면.
도 9는 본 발명의 영상 및 전파신호를 융합한 실내외 측위를 이용한 AR(augmented reality) 네비게이션 화면의 다른 실시예를 나타내는 도면.1 is a diagram showing a network configuration for performing indoor and outdoor positioning by fusing video and radio signals according to the present invention.
Figure 2 is a diagram showing an embodiment of a map divided by grid to perform indoor and outdoor positioning by fusing video and radio signals according to the present invention.
FIG. 3 is a diagram illustrating an embodiment of a method for selecting a grid on which to first perform an artificial neural network model for positioning using image signals on a map divided by grid.
Figure 4 is a sequence diagram of an embodiment of the indoor and outdoor positioning method combining video and radio signals of the present invention.
Figure 5 is a sequence diagram of another embodiment of the indoor and outdoor positioning method combining video and radio signals of the present invention.
Figure 6 is a diagram for explaining an update method of an artificial neural network model for positioning using video signals of the present invention.
Figure 7 is a diagram showing an embodiment of automatic absolute position labeling for learning an artificial neural network model for positioning using video signals of the present invention.
Figure 8 is a diagram showing an embodiment of an AR (augmented reality) navigation screen using indoor and outdoor positioning by fusing video and radio signals according to the present invention.
Figure 9 is a diagram showing another embodiment of an AR (augmented reality) navigation screen using indoor and outdoor positioning by fusing video and radio signals according to the present invention.

이하 첨부된 도면을 참조로 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. Prior to this, the terms or words used in this specification and claims should not be construed as limited to their usual or dictionary meanings, and the inventor should appropriately use the concept of terms to explain his or her invention in the best way. It must be interpreted as meaning and concept consistent with the technical idea of the present invention based on the principle of definability. Accordingly, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention and do not represent the entire technical idea of the present invention, so at the time of filing this application, various alternatives are available to replace them. It should be understood that equivalents and variations may exist.

도 1은 본 발명의 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 네트워크 구성을 나타내는 도면이다.Figure 1 is a diagram showing a network configuration for performing indoor and outdoor positioning by fusing video and radio signals according to the present invention.

영상 및 전파신호를 융합한 실내외 측위 시스템(이하 '영상 측위 시스템'이라 한다)(1000)은 사용자가 소지한 스마트 기기(이하 '사용자 단말'이라 한다)(100)에서 수신한 지역 영상으로부터, 인공신공망 모델을 이용하여 사용자 단말(100)이 위치한 지점의 위치정보를 파악한다. 이때 측위를 위하여, 사용자 단말(100)로부터 수신한 영상 데이터 뿐 아니라 사용자 단말(100)의 RF 신호 정보로부터 대략적인 위치를 먼저 파악할 수 있다.The indoor/outdoor positioning system (hereinafter referred to as 'video positioning system') 1000, which combines video and radio signals, collects The location information of the point where the user terminal 100 is located is determined using the new public network model. At this time, for positioning, the approximate location can first be determined from not only the image data received from the user terminal 100 but also the RF signal information of the user terminal 100.

도 1에서 무선접속 장치(200)는 사용자 단말(100)이 인터넷 네트워크와 접속하도록 연결시켜주는 장치로서, 예를 들어 사용자 단말(100)과 WiFi로 접속되는 AP(access point) 또는 BLE(bluetooth low energy) 수신장치 등이 될 수 있으며, 이 외에도 그와 같은 접속 기능을 수행하는 다양한 장치가 사용될 수 있다.In FIG. 1, the wireless access device 200 is a device that connects the user terminal 100 to an Internet network, for example, an access point (AP) or a bluetooth low-level device (BLE) connected to the user terminal 100 via WiFi. energy) receiving device, etc., and in addition, various devices that perform such connection functions can be used.

사용자 단말(100)은, 무선접속 장치(200)로부터 감지한 RF 신호 정보, 예를 들어 특정 무선접속 장치(200)에서 발생한 전파에 대하여 감지한 RSSI 정보 및 해당 무선접속 장치(200)의 식별정보 등을, 영상 측위 시스템(1000)으로 제공한다. 무선접속 장치(200)의 식별정보는, 예를 들어 맥 어드레스 등이 될 수 있다. 이때 사용자 단말(100)은, 다수의 무선접속 장치(200)로부터 감지한 RF 신호 정보를 영상 측위 시스템(1000)으로 제공한다. 이러한 RF 신호 정보와 영상 데이터를 이용한 측위 방법에 대하여는 도 2 내지 도 5를 참조하여 이하에서 상세히 설명하기로 한다.The user terminal 100 includes RF signal information detected from the wireless access device 200, for example, RSSI information detected for radio waves generated from a specific wireless access device 200, and identification information of the wireless access device 200. etc. are provided by the video positioning system 1000. Identification information of the wireless access device 200 may be, for example, a MAC address. At this time, the user terminal 100 provides RF signal information detected from a plurality of wireless access devices 200 to the image positioning system 1000. The positioning method using such RF signal information and image data will be described in detail below with reference to FIGS. 2 to 5.

측위 서버(1100)는 RF 신호와 영상 데이터를 융합한 측위 방법을 수행하는데, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)을 이용하여 측위를 수행하게 된다. 또한 측위 서버(1100)는 학습을 통하여 영상 측위 모델을 생성하는 역할도 수행한다. 측위시, 지도정보 서버(1200)의 지도 정보를 이용할 수 있다.The positioning server 1100 performs a positioning method that combines RF signals and image data, and performs positioning using an artificial neural network positioning model using image data (hereinafter referred to as 'video positioning model'). Additionally, the positioning server 1100 also performs the role of creating an image positioning model through learning. When positioning, map information from the map information server 1200 can be used.

AR(augmented reality) 정보 서버(1300)와 경로정보 서버(1400)는 지도정보 서버(1200)와 연동하여 사용자 단말(100)에 AR 내비게이션 서비스를 제공할 수 있고, 경로정보 서버(1400)는 AR 정보 서버(1300)를 이용하지 않는 경우, 지도정보 서버(1200)와 연동하여 일반 내비게이션 서비스를 제공할 수도 있다.The AR (augmented reality) information server 1300 and the route information server 1400 can provide an AR navigation service to the user terminal 100 in conjunction with the map information server 1200, and the route information server 1400 can provide AR navigation services. When the information server 1300 is not used, a general navigation service may be provided in conjunction with the map information server 1200.

도 2는 본 발명의 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위하여 그리드(grid) 별로 구획되어 있는 지도의 일 실시예를 나타내는 도면이고, 도 3은 그리드(grid) 별로 구획되어 있는 지도에서 영상신호를 이용한 측위를 위한 인공신경망 모델을 최초로 수행시킬 그리드를 선택하기 위한 방법의 일 실시예를 설명하기 위한 도면이다.Figure 2 is a diagram showing an example of a map divided by grid to perform indoor and outdoor positioning combining video and radio signals of the present invention, and Figure 3 is a map divided by grid. This is a diagram to explain an embodiment of a method for selecting a grid on which to first perform an artificial neural network model for positioning using video signals.

영상 측위 시스템(1000)은, 예를 들어 도 2에 도시된 바와 같은 특정 지역에 대하여, 구획된 구역(grid) 1 ~ 18 각각에 대하여 영상 측위 모델을 별도로 구비한다. 즉, 구역 5의 특정 지점의 영상 데이터를 구역 5의 영상 측위 모델에 입력하면, 해당 지점에 대한 위치정보가 결과로서 출력된다. 출력되는 위치정보는 다양한 방식으로 출력되도록 할 수 있다. 예를 들어 그 지점에 대한 GPS 좌표가 출력될 수 있다. 또는, 특히 다층 건물의 실내와 같은 경우, 동일한 좌표에서도 층별로 영상 정보가 다르기 때문에, 좌표 및 층수 정보가 출력되도록 할 수도 있다. 이를 위해 영상 측위 모델의 학습을 위한 각 지점의 영상 데이터 수집 역시 각 구역별로 별도로 수집되어야 함은 물론이다.For example, the image positioning system 1000 includes separate image positioning models for each of the demarcated areas (grids) 1 to 18 in a specific area as shown in FIG. 2 . In other words, when image data of a specific point in Zone 5 is input into the image positioning model of Zone 5, location information for that point is output as a result. The output location information can be output in various ways. For example, GPS coordinates for that point may be output. Alternatively, especially in the case of the interior of a multi-story building, since image information is different for each floor even at the same coordinates, coordinates and floor number information may be output. To this end, it goes without saying that image data from each point for learning the image positioning model must also be collected separately for each area.

전술한 바와 같이 영상 측위 모델을 수행시킬 경우, 해당 지역에서 사용자 단말(100)이 대략적으로 어느 구역쯤에 있다는 정보가 전혀 없다면, 처음부터 18개의 영상 측위 모델을 동시에 돌려야 한다. 이것은 메모리 용량을 매우 크게 요구할 뿐만 아니라 그 처리속도도 매우 느려지게 되는 문제점이 있다. 이러한 문제점을 해결하기 위하여 본 발명은 사용자 단말(100)의 초기 위치를 대략적으로 파악하기 위해, 전술한 바와 같이 사용자 단말(100)로부터의 RF 신호를 이용한 측위를 수행한다. 이에 의해 예를 들어 사용자 단말(100)이 16번 구역에 있는 것으로 파악되었다면, 해당 사용자 단말(100)은 정확히 16번 구역에 있지는 않더라도 대략 그 주변에는 있는 것으로 판단할 수 있다. 따라서 영상 측위 시스템(1000)은, 사용자 단말(100)로부터 수신한 해당 지점의 위치 영상을 입력으로 하여, 예를 들어 13, 14, 15, 16 구역의 영상 측위 모델을 각각 수행시키고, 이로부터 사용자 단말의 위치 지점을 예를 들어 GPS 좌표 등의 형식으로 파악하게 된다.As described above, when performing an image positioning model, if there is no information at all about which area the user terminal 100 is approximately in in the corresponding area, 18 image positioning models must be run simultaneously from the beginning. This has the problem that not only does it require a very large memory capacity, but the processing speed is also very slow. In order to solve this problem, the present invention performs positioning using RF signals from the user terminal 100, as described above, in order to approximately determine the initial location of the user terminal 100. Accordingly, for example, if the user terminal 100 is determined to be in area 16, it may be determined that the user terminal 100 is approximately in the vicinity, even if it is not exactly in area 16. Therefore, the image positioning system 1000 takes the location image of the corresponding point received from the user terminal 100 as input, and performs image positioning models for, for example, zones 13, 14, 15, and 16, respectively, and from this, the user The location of the terminal is identified in the form of GPS coordinates, for example.

더 나아가, 예를 들어 도 3과 같이 사용자 단말이 4-1 구역에 존재하는 것으로 RF 신호에 의하여 1차 측위가 된 경우, 영상 측위 모델을 수행시킬 구역을 더욱 효과적으로 최소화하기 위하여 PDR(Pedestrian Dead Reckoning) 알고리즘을 수행할 수 있다. 즉, 사용자 단말(100)로부터, 해당 사용자 단말(100)에 구비된 가속도센서, 자이로센서 등 여러 가지 관성센서에 의해 측정된 정보를 수신하여, 해당 사용자 단말(100)의 이동 방향을 대략적으로 파악한다. 하나의 구역에 대하여 인접한 구역은 4개 이상 존재할 수 있지만, 파악된 이동 방향에 따라, 도 3에서 영상 측위 모델을 수행시킬 구역은, 4-1, 3-2, 4-2, 5-2 등으로 더욱 좁힐 수 있어, 더욱 효과적인 영상측위를 수행할 수 있게 된다.Furthermore, for example, as shown in FIG. 3, when the user terminal is located in area 4-1 and the primary positioning is made by the RF signal, PDR (Pedestrian Dead Reckoning) is used to more effectively minimize the area in which the video positioning model will be performed. ) algorithm can be performed. That is, by receiving information measured by various inertial sensors such as an acceleration sensor and a gyro sensor provided in the user terminal 100, the direction of movement of the user terminal 100 is roughly determined. do. There may be four or more adjacent zones for one zone, but depending on the identified movement direction, the zones for performing the image localization model in FIG. 3 are 4-1, 3-2, 4-2, 5-2, etc. can be further narrowed down, making it possible to perform more effective image localization.

도 4는 본 발명의 영상 및 전파신호를 융합한 실내외 측위 방법에 대한 일 실시예로서의 시퀀스 다이어그램이다.Figure 4 is a sequence diagram of an embodiment of the indoor and outdoor positioning method combining video and radio signals of the present invention.

도 4는 영상 측위 시스템(1000)이 측위를 수행하는 경우의 실시예이다.Figure 4 illustrates an example in which the image positioning system 1000 performs positioning.

영상 측위 시스템(1000)은 특정 지역의 구역(grid) 별로 각각 영상 데이터를 수집하여(S401), 구역별로 영상데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)를 학습에 의하여 생성시킨다(S402). 예를 들어 특정 지역의 구역 2의 영상 측위 모델에 그 구역의 특정 지점의 영상을 입력한 경우, 해당 지점의 위치정보가 GPS 좌표 등으로 출력된다.The image positioning system 1000 collects image data for each zone (grid) of a specific area (S401) and creates an artificial neural network positioning model (hereinafter referred to as 'image positioning model') using image data for each zone through learning. Do it (S402). For example, if an image of a specific point in that area is input into the video positioning model for Zone 2 of a specific area, the location information of that point is output as GPS coordinates, etc.

사용자 단말(100)은 자신이 위치한 특정 지점을 촬영한 영상을 획득하여(S403), 그 영상 데이터를 영상 측위 시스템(1000)으로 보내면서 해당 지점의 측위 요청을 송신한다(S404).The user terminal 100 acquires an image of a specific point where it is located (S403), sends the image data to the image positioning system 1000, and transmits a request for positioning the point (S404).

이때, 영상 측위 시스템(1000)은 먼저 사용자 단말(100)로부터 RF 신호 정보를 수신하여(S405,S406), 이로부터 사용자 단말(100)의 대략적인 위치를 파악한다(S407). 이러한 위치는 특정 구역 정보로 파악된다. 이러한 과정을 상세히 설명하면, 사용자 단말(100)은 특정 무선접속 장치(200)로부터 발생되는 전파의 RSSI를 감지하고(S405), 그 RSSI 값 및 해당 전파를 발생시킨 무선접속 장치(200)의 식별정보를 포함하는 RF 신호 정보를 영상 측위 시스템(1000)으로 송신한다(S406). 바람직하게는 적어도 3개 이상의 무선접속 장치(200)의 RF 신호 정보를 영상 측위 시스템(1000)으로 송신하는 것이 좋다. 이로부터 영상 측위 시스템은 사용자 단말(100)의 대략적인 위치를 파악(S407)할 수 있다.At this time, the image positioning system 1000 first receives RF signal information from the user terminal 100 (S405, S406) and determines the approximate location of the user terminal 100 from this (S407). These locations are identified using specific area information. To explain this process in detail, the user terminal 100 detects the RSSI of a radio wave generated from a specific wireless access device 200 (S405), and identifies the RSSI value and the wireless access device 200 that generated the radio wave. RF signal information including information is transmitted to the image positioning system 1000 (S406). Preferably, RF signal information of at least three wireless access devices 200 is transmitted to the image positioning system 1000. From this, the video positioning system can determine the approximate location of the user terminal 100 (S407).

이와 같이 파악된 사용자 단말(100)의 위치 구역 정보로부터, 그 구역 및 인근 구역에 대한 각각의 영상 측위 모델을 수행시킨다(S410). 즉, 그 구역 및 인근 구역이 예를 들어 1, 2, 3, 4 인 경우, 수신한 사용자 단말(100)의 위치지점 영상을(S404), 구역 1, 2, 3, 4 각각의 영상 측위 모델에 해당 영상을 입력으로 제공하고, 그 영상 측위 모델은, 해당 사용자 단말(100)의 정확한 위치를 GPS 좌표 등의 형식으로 출력하게 된다(S411). 영상 측위 시스템(1000)은, 영상 측위 모델에 의하여 파악된 사용자 단말(100)의 정확한 위치 정보를 사용자 단말(100)로 제공한다(S412).From the location area information of the user terminal 100 identified in this way, image positioning models for each area and nearby areas are performed (S410). That is, if the area and nearby areas are, for example, 1, 2, 3, and 4, the received location point image of the user terminal 100 (S404) and the image positioning model for each of areas 1, 2, 3, and 4 The corresponding image is provided as input, and the image positioning model outputs the exact location of the corresponding user terminal 100 in the form of GPS coordinates, etc. (S411). The image positioning system 1000 provides accurate location information of the user terminal 100 identified by the image positioning model to the user terminal 100 (S412).

이 경우, 도 3을 참조하여 전술한 바와 같이, 영상 측위 모델을 수행시킬 구역을 더욱 효과적으로 최소화하기 위하여 PDR(Pedestrian Dead Reckoning) 알고리즘을 수행할 수 있다. 즉, 사용자 단말(100)로부터, 해당 사용자 단말(100)에 구비된 가속도센서, 자이로센서 등 여러 가지 관성센서에 의해 측정된 정보를 수신하여(S408), 해당 사용자 단말(100)의 이동 방향을 대략적으로 파악한다(S409). 하나의 구역에 대하여 인접한 구역은 4개 이상 존재할 수 있지만, 파악된 이동 방향에 따라, 도 3에서 영상 측위 모델을 수행시킬 구역은, 4-1, 3-2, 4-2, 5-2 등으로 더욱 좁힐 수 있어, 더욱 효과적인 영상측위를 수행(S410)할 수 있게 된다.In this case, as described above with reference to FIG. 3, the PDR (Pedestrian Dead Reckoning) algorithm can be performed to more effectively minimize the area in which the image localization model is to be performed. That is, by receiving information measured by various inertial sensors such as an acceleration sensor and a gyro sensor provided in the user terminal 100 from the user terminal 100 (S408), the direction of movement of the user terminal 100 is determined. Figure out roughly (S409). There may be four or more adjacent zones for one zone, but depending on the identified movement direction, the zones for performing the image localization model in FIG. 3 are 4-1, 3-2, 4-2, 5-2, etc. can be further narrowed down, making it possible to perform more effective image localization (S410).

도 5는 본 발명의 영상 및 전파신호를 융합한 실내외 측위 방법에 대한 다른 실시예로서의 시퀀스 다이어그램이다.Figure 5 is a sequence diagram of another embodiment of the indoor and outdoor positioning method combining video and radio signals of the present invention.

도 5는 사용자 단말(100)이 측위를 수행하는 경우의 실시예이다.Figure 5 shows an example in which the user terminal 100 performs positioning.

영상 측위 시스템(1000)은 특정 지역의 구역(grid) 별로 각각 영상 데이터를 수집하여(S501), 구역별로 영상데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)를 학습에 의하여 생성시킨 후(S502), 생성된 각 구역의 영상 측위 모델들을 사용자 단말(100)로 제공한다.The image positioning system 1000 collects image data for each zone (grid) of a specific area (S501) and creates an artificial neural network positioning model (hereinafter referred to as 'image positioning model') using image data for each zone through learning. After doing so (S502), the generated image positioning models for each zone are provided to the user terminal 100.

이후, 사용자 단말(100)은, 영상 측위 시스템(1000)으로 사용자 단말(100)이 현재 위치하는 구역 정보를 요청한다(S505).Thereafter, the user terminal 100 requests information on the area in which the user terminal 100 is currently located from the image positioning system 1000 (S505).

이에 따라, 영상 측위 시스템(1000)은, 도 4의 경우와 동일한 방법으로, 사용자 단말(100)의 대략적인 위치 파악에 의한 현재 위치 구역을 파악하고(S506 내지 S508), 나아가 더욱 효과적인 측위를 위하여 사용자 단말(100)의 이동 방향을 파악한 후(S509 내지 S510), 사용자 단말(100)에 대하여 RF 신호로부터 대략적으로 파악된 현재 구역(S508) 및 이동방향(S510)을 고려한 인접 구역 정보를 사용자 단말(100)로 송신한다(S511).Accordingly, the video positioning system 1000 determines the current location area by determining the approximate position of the user terminal 100 in the same manner as in the case of FIG. 4 (S506 to S508), and further for more effective positioning. After determining the movement direction of the user terminal 100 (S509 to S510), adjacent area information considering the current area (S508) and movement direction (S510) roughly determined from the RF signal for the user terminal 100 is provided to the user terminal. Send to (100) (S511).

이와 같이 수신한 사용자 단말(100)의 위치 구역 및 인접 구역 정보로부터, 사용자 단말(100)은, 그 구역들에 대한 각각의 영상 측위 모델을 수행시킨다(S512). 즉, 그 구역 및 인근 구역이 예를 들어 1, 2, 3, 4 인 경우, 촬영된 사용자 단말(100)의 위치지점 영상을(S504), 구역 1, 2, 3, 4 각각의 영상 측위 모델에 해당 영상을 입력으로 제공하고, 그 영상 측위 모델은, 해당 사용자 단말(100)의 정확한 위치를 GPS 좌표 등의 형식으로 출력하여, 이를 해당 사용자 단말의 위치로 파악한다(S512,S513)From the location zone and adjacent zone information of the user terminal 100 received in this way, the user terminal 100 performs an image positioning model for each of the zones (S512). That is, if the area and nearby areas are, for example, 1, 2, 3, and 4, the captured location point image of the user terminal 100 (S504) and the image positioning model for each of areas 1, 2, 3, and 4 The corresponding image is provided as input, and the image positioning model outputs the exact location of the user terminal 100 in the form of GPS coordinates and determines this as the location of the user terminal (S512, S513).

도 6은 본 발명의 영상신호를 이용한 측위를 위한 인공신경망 모델의 업데이트 방식을 설명하기 위한 도면이다.Figure 6 is a diagram for explaining the update method of the artificial neural network model for positioning using video signals of the present invention.

건물 등의 구역 영상이 변경되거나, 추가된 구역이 있는 경우, 기존에는 그와 같이 변경 또는 추가 수집 구역의 영상 데이터를 모두 이용하여 영상 측위 모델을 재학습하였으나, 본 발명의 영상 측위 시스템(1000)은 변경 또는 추가 수집 구역의 영상 데이터만을 이용하여 영상 측위 모델의 갱신을 수행하며, 그러한 과정을 설명하는 모식도가 도 6에 도시되어 있다.When the image of an area such as a building is changed or there is an added area, the image positioning model was previously relearned using all the image data of the changed or additional collection area. However, the image positioning model of the present invention (1000) performs an update of the image localization model using only the image data of the changed or additional collection area, and a schematic diagram explaining such a process is shown in FIG. 6.

도 7은 본 발명의 본 발명의 영상신호를 이용한 측위를 위한 인공신경망 모델의 학습을 위한 절대 위치 자동 레이블링의 실시예를 나타내는 도면이다.Figure 7 is a diagram showing an embodiment of automatic absolute position labeling for learning an artificial neural network model for positioning using video signals of the present invention.

영상 측위 시스템(1000)은, 사용자 비디오 영상과 센서 데이터를 수집하여 비디오 영상과 해당하는 수집 자원의 절대 위치 자동 레이블링을 수행할 수 있으며, 이러한 과정을 설명하는 모식도가 도 7에 도시되어 있다. 이를 위해 사용자 단말(100)로부터의 비디오 영상 및 IMU/BLE/고도 등의 센서 데이터를 동기화하여 자동 레이블링을 수행할 수 있다. 절대 위치 설정을 위해서는 일 실시예로서 라이다(LiDAR) 장비 등을 사용할 수 있다.The video positioning system 1000 can collect user video images and sensor data and perform automatic labeling of the absolute positions of the video images and corresponding collection resources. A schematic diagram explaining this process is shown in FIG. 7. To this end, automatic labeling can be performed by synchronizing video images from the user terminal 100 and sensor data such as IMU/BLE/altitude. In order to set absolute position, LiDAR equipment, etc. can be used as an example.

도 8은 본 발명의 영상 및 전파신호를 융합한 실내외 측위를 이용한 AR(augmented reality) 네비게이션 화면의 일 실시예를 나타내는 도면이고, 도 9는 본 발명의 영상 및 전파신호를 융합한 실내외 측위를 이용한 AR 네비게이션 화면의 다른 실시예를 나타내는 도면이다.Figure 8 is a diagram showing an embodiment of an AR (augmented reality) navigation screen using indoor and outdoor positioning by fusing video and radio signals of the present invention, and Figure 9 is a diagram showing an embodiment of an AR (augmented reality) navigation screen using indoor and outdoor positioning by fusing video and radio signals of the present invention. This is a diagram showing another example of an AR navigation screen.

도 1에 도시된 영상 측위 시스템(1000)의 AR(augmented reality) 정보 서버(1300)가 경로정보 서버(1400) 및 2D 기반 지도정보 서버(1200)와 연동하여, 사용자 단말(100)에 탑재된 내비게이션 엔진(맵 매칭 엔지, 경로 안내 엔진)을 통해 AR 내비게이션 서비스를 제공할 수 있다. 이때 측위 서버(1100)는 그와 같은 AR 내비게이션 서비스 중, 이동중인 사용자 단말(100)의 현재 위치정보를 지속적으로 제공한다.The AR (augmented reality) information server 1300 of the video positioning system 1000 shown in FIG. 1 is installed in the user terminal 100 in conjunction with the route information server 1400 and the 2D-based map information server 1200. AR navigation services can be provided through navigation engines (map matching engine, route guidance engine). At this time, the positioning server 1100 continuously provides current location information of the moving user terminal 100 during such AR navigation service.

도 8에서 AR 모드(1)에서 POI(point of interest)를 선택하여 바로 AR로 길안내가 이루어지도록 할 수 있다(5). 이때, 사용자 경험이 많은 2D Map과 AR을 상하단에 동시에 배치하여(5) 사용에 대한 진입장벽 완화하도록 할 수 있다. 또한 선택에 의하여 2D 지도에 의한 길안내를 제공하여(4), AR만으로는 길안내가 어려운 회전 경로가 많은 경로에 대해 상호 보완이 가능하도록 할 수 있다.In Figure 8, by selecting a point of interest (POI) in AR mode (1), route guidance can be provided directly in AR (5). At this time, the entry barrier to use can be alleviated by placing 2D Map and AR, which have a lot of user experience, on the top and bottom at the same time (5). Additionally, route guidance based on a 2D map can be optionally provided (4), enabling mutual complementation for routes with many turns where route guidance is difficult to provide with AR alone.

또한 POI에 의해 다양한 지점 정보를 제공할 수 있고(2), 필요에 따라 교통약자 우선경로, 재난상황 대피경로 또는 편한길(안전한길) 정보 등과 같이, 영상정보로 취득한 동적정보를 내비게이션 서비스에 반영할 수 있다.In addition, various point information can be provided through POI (2), and, if necessary, dynamic information acquired through video information, such as priority routes for the transportation vulnerable, disaster evacuation routes, or convenient route (safe route) information, is reflected in the navigation service. can do.

또한 도 9는 실내에서의 AR 내비게이션 서비스 화면의 실시예로서, AR 내비게이션서비스 제공 중, 사용자 단말(100)의 실제 이동에 따른 측위 정보를 본 발명의 영상 측위 시스템(1000)이 영상 측위 모델을 이용하여 제공하는 화면을 보여준다.In addition, Figure 9 shows an embodiment of an AR navigation service screen indoors. While providing AR navigation service, the video positioning system 1000 of the present invention uses the video positioning model to obtain positioning information according to the actual movement of the user terminal 100. and displays the provided screen.

100: 사용자 단말
200: 무선접속 장치
1000: 영상 측위 시스템
1100: 측위 서버
1200: 지도정보 서버
1300: AR 정보 서버
1400: 경로정보 서버100: user terminal
200: wireless access device
1000: Video positioning system
1100: Positioning server
1200: Map information server
1300: AR information server
1400: Route information server

Claims (17)

영상 및 전파신호를 융합한 실내외 측위 시스템이, 영상 및 전파신호를 융합한 실내외 측위를 수행하는 방법으로서,
(a) 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 포함하여 해당 지점의 측위 요청을 수신하는 단계;
(b) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계;
(c) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역(grid) 정보를 파악하는 단계;
(d) 상기 사용자 단말에 대하여 상기 RF 신호 정보로부터 파악된 구역 및 그 인접 구역 각각에 대한, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다) 각각에 상기 위치 영상을 입력하는 단계; 및,
(e) 상기 단계(d)의 각 영상 측위 모델의 출력으로부터 상기 사용자 단말의 실제 위치를 파악하여, 파악된 위치 정보를 상기 사용자 단말로 제공하는 단계
를 포함하는 영상 및 전파신호를 융합한 실내외 측위 방법.An indoor and outdoor positioning system that fuses video and radio signals is a method of performing indoor and outdoor positioning by fusing video and radio signals,
(a) receiving, from a user terminal, a request for location of the point including an image captured of the point where the user terminal is currently located (hereinafter referred to as 'location image');
(b) receiving RF signal information from the user terminal;
(c) determining the current location of the user terminal and grid information about the location from the RF signal information;
(d) Inputting the location image into each of the artificial neural network positioning models using image data (hereinafter referred to as 'video positioning model') for each of the area identified from the RF signal information and its adjacent areas for the user terminal. step; and,
(e) determining the actual location of the user terminal from the output of each image positioning model in step (d) and providing the determined location information to the user terminal.
Indoor and outdoor positioning method that combines video and radio signals including. 청구항 1에 있어서,
상기 RF 신호 정보는,
무선접속 장치에서 발생된 전파에 대하여 상기 사용자 단말이 감지한 RSSI 값 및, 해당 무선접속 장치의 식별정보를 포함하는 것
을 특징으로 하는 영상 및 전파신호를 융합한 실내외 측위 방법.In claim 1,
The RF signal information is,
Containing the RSSI value detected by the user terminal for radio waves generated from the wireless access device and identification information of the wireless access device
An indoor and outdoor positioning method that combines video and radio signals. 청구항 1에 있어서,
상기 단계(c)와 단계(d) 사이에,
(c1) 상기 사용자 단말로부터, PDR(Pedestrian Dead Reckoning) 정보를 수신하는 단계;
(c2) 상기 PDR 정보로부터 상기 사용자 단말의 이동 방향 정보를 파악하는 단계
를 더 포함하고,
상기 단계(d)에서,
상기 이동 방향 정보로부터 상기 인접 구역을 결정하는 것
을 특징으로 하는 영상 및 전파신호를 융합한 실내외 측위 방법.In claim 1,
Between steps (c) and (d),
(c1) receiving PDR (Pedestrian Dead Reckoning) information from the user terminal;
(c2) determining movement direction information of the user terminal from the PDR information
It further includes,
In step (d),
Determining the adjacent area from the movement direction information
An indoor and outdoor positioning method that combines video and radio signals. 청구항 3에 있어서,
상기 PDR 정보는,
상기 사용자 단말에 구비된 가속도센서 또는 자이로센서를 포함하는 관성센서에 의해 감지된 정보인 것
을 특징으로 하는 영상 및 전파신호를 융합한 실내외 측위 방법.In claim 3,
The PDR information is,
Information detected by an inertial sensor including an acceleration sensor or gyro sensor provided in the user terminal
An indoor and outdoor positioning method that combines video and radio signals. 청구항 1에 있어서,
상기 단계(e)의 각 영상 측위 모델의 출력에서, 상기 위치 영상 입력에 의해 해당 사용자 단말의 위치가 파악된 영상 측위 모델의 출력은,
상기 사용자 단말이 위치하는 지점의 GPS 좌표 정보인 것
을 특징으로 하는 영상 및 전파신호를 융합한 실내외 측위 방법.In claim 1,
In the output of each image positioning model in step (e), the output of the image positioning model in which the location of the user terminal is determined by the location image input is,
GPS coordinate information of the point where the user terminal is located
An indoor and outdoor positioning method that combines video and radio signals. 청구항 5에 있어서,
상기 단계(e)의 각 영상 측위 모델의 출력에서, 상기 위치 영상 입력에 의해 해당 사용자 단말의 위치가 파악된 영상 측위 모델의 출력은,
상기 사용자 단말이 위치하는 지점이 실내인 경우, 상기 사용자 단말이 위치하는 지점의 GPS 좌표 정보에, 해당 건물의 층수 정보를 더 포함하는 것
을 특징으로 하는 영상 및 전파신호를 융합한 실내외 측위 방법.In claim 5,
In the output of each image positioning model in step (e), the output of the image positioning model in which the location of the user terminal is determined by the location image input is,
When the point where the user terminal is located is indoors, information on the number of floors of the building is further included in the GPS coordinate information of the point where the user terminal is located.
An indoor and outdoor positioning method that combines video and radio signals. 청구항 1에 있어서,
상기 영상 측위 모델의 최초 생성 또는 업데이트시,
상기 단계(a) 이전에,
(a01) 구역별로 영상 데이터를 수집하는 단계;
(a02) 상기 수집된 영상 데이터로부터, 각 구역별로 영상 측위 모델의 최초 생성 또는 업데이트를 위한 학습을 수행하는 단계; 및,
(a03) 각 구역별로 영상 측위 모델의 생성 또는 업데이트가 이루어지는 단계
를 포함하는 것을 특징으로 하는 영상 및 전파신호를 융합한 실내외 측위 방법.In claim 1,
When first creating or updating the image positioning model,
Before step (a),
(a01) collecting image data by zone;
(a02) performing learning to initially create or update an image positioning model for each zone from the collected image data; and,
(a03) Step in which image positioning model is created or updated for each zone
An indoor and outdoor positioning method combining video and radio signals, comprising: 청구항 7에 있어서,
상기 각 구역별 영상 측위 모델의 업데이트는,
변경 또는 추가된 지역의 데이터의 학습만으로 이루어지는 것
을 특징으로 하는 영상 및 전파신호를 융합한 실내외 측위 방법.In claim 7,
The update of the image positioning model for each zone is,
This is done only by learning data from changed or added areas.
An indoor and outdoor positioning method that combines video and radio signals. 영상 및 전파신호를 융합한 실내외 측위 시스템으로서,
적어도 하나의 프로세서; 및
컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
(a) 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 포함하여 해당 지점의 측위 요청을 수신하는 단계;
(b) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계;
(c) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역(grid) 정보를 파악하는 단계;
(d) 상기 사용자 단말에 대하여 상기 RF 신호 정보로부터 파악된 구역 및 그 인접 구역 각각에 대한, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다) 각각에 상기 위치 영상을 입력하는 단계; 및,
(e) 상기 단계(d)의 각 영상 측위 모델의 출력으로부터 상기 사용자 단말의 실제 위치를 파악하여, 파악된 위치 정보를 상기 사용자 단말로 제공하는 단계
가 실행되도록 하는 영상 및 전파신호를 융합한 실내외 측위 시스템.An indoor and outdoor positioning system that combines video and radio signals,
at least one processor; and
At least one memory storing computer-executable instructions,
The computer-executable instructions stored in the at least one memory are executed by the at least one processor,
(a) receiving, from a user terminal, a request for location of the point including an image captured of the point where the user terminal is currently located (hereinafter referred to as 'location image');
(b) receiving RF signal information from the user terminal;
(c) determining the current location of the user terminal and grid information about the location from the RF signal information;
(d) Inputting the location image into each of the artificial neural network positioning models (hereinafter referred to as 'video positioning models') using image data for each of the area identified from the RF signal information and its adjacent areas for the user terminal. step; and,
(e) determining the actual location of the user terminal from the output of each image positioning model in step (d) and providing the determined location information to the user terminal.
An indoor and outdoor positioning system that combines video and radio signals to enable . 청구항 9의 영상 및 전파신호를 융합한 실내외 측위 시스템에서 실행되어, 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램으로서,
비일시적 저장 매체에 저장되며, 프로세서에 의하여,
(a) 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 포함하여 해당 지점의 측위 요청을 수신하는 단계;
(b) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계;
(c) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역(grid) 정보를 파악하는 단계;
(d) 상기 사용자 단말에 대하여 상기 RF 신호 정보로부터 파악된 구역 및 그 인접 구역 각각에 대한, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다) 각각에 상기 위치 영상을 입력하는 단계; 및,
(e) 상기 단계(d)의 각 영상 측위 모델의 출력으로부터 상기 사용자 단말의 실제 위치를 파악하여, 파악된 위치 정보를 상기 사용자 단말로 제공하는 단계
가 실행되도록 하는 명령을 포함하는 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램.A computer program running in the indoor/outdoor positioning system fusing video and radio signals of claim 9 to perform indoor/outdoor positioning by fusing video and radio signals,
stored on a non-transitory storage medium, by the processor,
(a) receiving, from a user terminal, a request for location of the point including an image captured of the point where the user terminal is currently located (hereinafter referred to as 'location image');
(b) receiving RF signal information from the user terminal;
(c) determining the current location of the user terminal and grid information about the location from the RF signal information;
(d) Inputting the location image into each of the artificial neural network positioning models using image data (hereinafter referred to as 'video positioning model') for each of the area identified from the RF signal information and its adjacent areas for the user terminal. step; and,
(e) determining the actual location of the user terminal from the output of each image positioning model in step (d) and providing the determined location information to the user terminal.
A computer program for performing indoor and outdoor positioning by fusing video and radio signals that includes commands to execute. 영상 및 전파신호를 융합한 실내외 측위 시스템이, 영상 및 전파신호를 융합한 실내외 측위를 수행하는 방법으로서,
(a) 각 구역(grid)별로 생성되어 있는, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)을 사용자 단말로 제공하는 단계;
(b) 상기 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 구역 정보 요청을 수신하는 단계;
(c) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계;
(d) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역 정보를 파악하는 단계; 및,
(e) 상기 사용자 단말이 위치하는 것으로 파악된 구역 정보 및 그 인접 구역 정보를 상기 사용자 단말로 제공하는 단계
를 포함하는 영상 및 전파신호를 융합한 실내외 측위 방법.An indoor and outdoor positioning system that fuses video and radio signals is a method of performing indoor and outdoor positioning by fusing video and radio signals,
(a) providing an artificial neural network positioning model (hereinafter referred to as 'video positioning model') using image data generated for each zone (grid) to the user terminal;
(b) receiving, from the user terminal, a request for information on the area in which the user terminal is currently located;
(c) receiving RF signal information from the user terminal;
(d) determining the current location of the user terminal and zone information about the location from the RF signal information; and,
(e) providing information on the area in which the user terminal is located and information on the adjacent area to the user terminal.
Indoor and outdoor positioning method that combines video and radio signals including. 청구항 11에 있어서,
상기 단계(d)와 단계(e) 사이에,
(d1) 상기 사용자 단말로부터, PDR(Pedestrian Dead Reckoning) 정보를 수신하는 단계;
(d2) 상기 PDR 정보로부터 상기 사용자 단말의 이동 방향 정보를 파악하는 단계
를 더 포함하고,
상기 단계(e)에서의 인접 구역 정보는,
상기 이동 방향 정보에 따라 결정되는 것
을 특징으로 하는 영상 및 전파신호를 융합한 실내외 측위 방법.In claim 11,
Between steps (d) and (e),
(d1) receiving PDR (Pedestrian Dead Reckoning) information from the user terminal;
(d2) determining movement direction information of the user terminal from the PDR information
It further includes,
The adjacent area information in step (e) is,
Determined according to the movement direction information
An indoor and outdoor positioning method that combines video and radio signals. 청구항 11에 있어서,
상기 영상 측위 모델의 최초 생성 또는 업데이트시,
상기 단계(a) 이전에,
(a01) 구역별로 영상 데이터를 수집하는 단계;
(a02) 상기 수집된 영상 데이터로부터, 각 구역별로 영상 측위 모델의 최초 생성 또는 업데이트를 위한 학습을 수행하는 단계; 및,
(a03) 각 구역별로 영상 측위 모델의 생성 또는 업데이트가 이루어지는 단계
를 포함하는 것을 특징으로 하는 영상 및 전파신호를 융합한 실내외 측위 방법.In claim 11,
When first creating or updating the image positioning model,
Before step (a),
(a01) collecting image data by zone;
(a02) performing learning to initially create or update an image positioning model for each zone from the collected image data; and,
(a03) Step in which image positioning model is created or updated for each zone
An indoor and outdoor positioning method combining video and radio signals, comprising: 영상 및 전파신호를 융합한 실내외 측위 시스템으로서,
적어도 하나의 프로세서; 및
컴퓨터로 실행가능한 명령을 저장하는 적어도 하나의 메모리를 포함하되,
상기 적어도 하나의 메모리에 저장된 상기 컴퓨터로 실행가능한 명령은, 상기 적어도 하나의 프로세서에 의하여,
(a) 각 구역(grid)별로 생성되어 있는, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)을 사용자 단말로 제공하는 단계;
(b) 상기 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 구역 정보 요청을 수신하는 단계;
(c) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계;
(d) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역 정보를 파악하는 단계; 및,
(e) 상기 사용자 단말이 위치하는 것으로 파악된 구역 정보 및 그 인접 구역 정보를 상기 사용자 단말로 제공하는 단계
가 실행되도록 하는 영상 및 전파신호를 융합한 실내외 측위 시스템.An indoor and outdoor positioning system that combines video and radio signals,
at least one processor; and
At least one memory storing computer-executable instructions,
The computer-executable instructions stored in the at least one memory are executed by the at least one processor,
(a) providing an artificial neural network positioning model (hereinafter referred to as 'video positioning model') using image data generated for each zone (grid) to the user terminal;
(b) receiving, from the user terminal, a request for information on the area in which the user terminal is currently located;
(c) receiving RF signal information from the user terminal;
(d) determining the current location of the user terminal and zone information about the location from the RF signal information; and,
(e) providing information on the area in which the user terminal is located and information on the adjacent area to the user terminal.
An indoor and outdoor positioning system that combines video and radio signals to enable . 청구항 14의 영상 및 전파신호를 융합한 실내외 측위 시스템에서 실행되어, 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램으로서,
비일시적 저장 매체에 저장되며, 프로세서에 의하여,
(a) 각 구역(grid)별로 생성되어 있는, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)을 사용자 단말로 제공하는 단계;
(b) 상기 사용자 단말로부터, 상기 사용자 단말이 현재 위치한 구역 정보 요청을 수신하는 단계;
(c) 상기 사용자 단말로부터 RF 신호 정보를 수신하는 단계;
(d) 상기 RF 신호 정보로부터, 상기 사용자 단말의 현재 위치 및, 그 위치에 대한 구역 정보를 파악하는 단계; 및,
(e) 상기 사용자 단말이 위치하는 것으로 파악된 구역 정보 및 그 인접 구역 정보를 상기 사용자 단말로 제공하는 단계
가 실행되도록 하는 명령을 포함하는 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램.A computer program running in the indoor/outdoor positioning system fusing video and radio signals of claim 14 to perform indoor/outdoor positioning by fusing video and radio signals,
stored on a non-transitory storage medium, by the processor,
(a) providing an artificial neural network positioning model (hereinafter referred to as 'video positioning model') using image data generated for each zone (grid) to the user terminal;
(b) receiving, from the user terminal, a request for information on the area in which the user terminal is currently located;
(c) receiving RF signal information from the user terminal;
(d) determining the current location of the user terminal and zone information about the location from the RF signal information; and,
(e) providing information on the area in which the user terminal is located and information on the adjacent area to the user terminal.
A computer program for performing indoor and outdoor positioning by fusing video and radio signals that includes commands to execute. 사용자가 소지한 스마트 기기(이하 '사용자 단말'이라 한다)에서 실행되어, 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램으로서,
비일시적 저장 매체에 저장되며, 프로세서에 의하여,
(a) 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 획득하는 단계;
(b) 상기 위치 영상을 포함하여 영상 및 전파신호를 융합한 실내외 측위 시스템(이하 '영상 측위 시스템'이라 한다)으로 상기 사용자 단말에 대한 측위 요청을 송신하는 단계;
(c) 무선접속 장치로부터 송신된 전파에 대한 RSSI를 감지하여, 그 RSSI 값 및 해당 무선접속 장치의 식별정보를 포함하는 RF 신호 정보를 상기 영상 측위 시스템으로 송신하는 단계; 및,
(d) 상기 영상 측위 시스템으로부터 상기 사용자 단말의 현재 위치정보를 수신하는 단계
가 실행되도록 하는 명령을 포함하는 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램.It is a computer program that runs on a smart device owned by the user (hereinafter referred to as 'user terminal') to perform indoor and outdoor positioning by fusing video and radio signals,
stored on a non-transitory storage medium, by the processor,
(a) acquiring an image taken of the currently located point (hereinafter referred to as 'location image');
(b) transmitting a positioning request to the user terminal to an indoor/outdoor positioning system that fuses video and radio signals, including the location image (hereinafter referred to as 'video positioning system');
(c) detecting RSSI for radio waves transmitted from a wireless access device and transmitting RF signal information including the RSSI value and identification information of the wireless access device to the video positioning system; and,
(d) receiving current location information of the user terminal from the video positioning system
A computer program for performing indoor and outdoor positioning by fusing video and radio signals that includes commands to execute. 사용자가 소지한 스마트 기기(이하 '사용자 단말'이라 한다)에서 실행되어, 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램으로서,
비일시적 저장 매체에 저장되며, 프로세서에 의하여,
(a) 영상 및 전파신호를 융합한 실내외 측위 시스템(이하 '영상 측위 시스템'이라 한다)으로부터, 각 구역에 해당하는 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다)을 수신하여 저장하는 단계;
(b) 현재 위치한 지점을 촬영한 영상(이하 '위치 영상'이라 한다)을 획득하는 단계;
(c) 상기 사용자 단말이 현재 위치하는 구역(grid) 및 인접 구역 정보 요청을 상기 영상 측위 시스템으로 송신하는 단계;
(d) 상기 사용자 단말이 현재 위치하는 구역(grid) 및 인접 구역 정보를 상기 영상 측위 시스템으로부터 수신하는 단계; 및,
(e) 상기 사용자 단말에 대하여 상기 RF 신호 정보로부터 파악된 구역 및 그 인접 구역 각각에 대한, 영상 데이터를 이용한 인공신경망 측위 모델(이하 '영상 측위 모델'이라 한다) 각각에 상기 위치 영상을 입력하여, 각 영상 측위 모델의 출력으로부터 상기 사용자 단말의 실제 위치를 파악하는 단계
가 실행되도록 하는 명령을 포함하는 영상 및 전파신호를 융합한 실내외 측위를 수행하기 위한 컴퓨터 프로그램.
It is a computer program that runs on a smart device owned by the user (hereinafter referred to as 'user terminal') to perform indoor and outdoor positioning by fusing video and radio signals,
stored on a non-transitory storage medium, by the processor,
(a) Receiving an artificial neural network positioning model (hereinafter referred to as ‘video positioning model’) using image data corresponding to each zone from an indoor/outdoor positioning system that fuses video and radio signals (hereinafter referred to as ‘video positioning system’) and storing;
(b) acquiring an image taken of the currently located point (hereinafter referred to as 'location image');
(c) transmitting a request for information on the area (grid) in which the user terminal is currently located and adjacent areas to the image positioning system;
(d) receiving information about the area (grid) in which the user terminal is currently located and adjacent areas from the image positioning system; and,
(e) By inputting the location image into each of the artificial neural network positioning models using image data (hereinafter referred to as 'video positioning model') for each of the area identified from the RF signal information and its adjacent areas for the user terminal, , determining the actual location of the user terminal from the output of each image positioning model.
A computer program for performing indoor and outdoor positioning by fusing video and radio signals that includes commands to execute.
KR1020220099189A 2022-08-09 2022-08-09 Method and system for indoor and outdoor positioning by combining visual and RF signal KR20240020903A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220099189A KR20240020903A (en) 2022-08-09 2022-08-09 Method and system for indoor and outdoor positioning by combining visual and RF signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220099189A KR20240020903A (en) 2022-08-09 2022-08-09 Method and system for indoor and outdoor positioning by combining visual and RF signal

Publications (1)

Publication Number Publication Date
KR20240020903A true KR20240020903A (en) 2024-02-16

Family

ID=90056300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220099189A KR20240020903A (en) 2022-08-09 2022-08-09 Method and system for indoor and outdoor positioning by combining visual and RF signal

Country Status (1)

Country Link
KR (1) KR20240020903A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210074205A (en) 2019-12-11 2021-06-21 한국전자통신연구원 System and method for image classification based positioning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210074205A (en) 2019-12-11 2021-06-21 한국전자통신연구원 System and method for image classification based positioning

Similar Documents

Publication Publication Date Title
US10445945B2 (en) Directional and X-ray view techniques for navigation using a mobile device
KR101728123B1 (en) Simultaneous Localization and Mapping by Using Earth's Magnetic Fields
CN106461402B (en) For determining the method and system of the position relative to numerical map
US20210148722A1 (en) Method, apparatus, computer program, and computer-readable recording medium for producing high-definition map
US10415978B2 (en) Landmark location determination
CN102960037B (en) The radio map physically retrained
KR101785161B1 (en) System and method for determining indoor position
US9116006B2 (en) Apparatus and method for determining indoor collection points and collecting heterogeneous infrastructure measurement information
KR101694728B1 (en) Apparatus and method for gathering indoor reference point and heterogeneous wireless infra measurement information
KR102092392B1 (en) Method and system for automatically collecting and updating information about point of interest in real space
CN107110652B (en) Processing spatial features
US10107629B2 (en) Information processing system, information processing method, and non-transitory computer readable storage medium
CN102960036A (en) Crowd-sourced vision and sensor-surveyed mapping
CN108445520A (en) A kind of indoor and outdoor based on high in the clouds builds drawing method, device, electronic equipment and computer program product
CN110426725B (en) Method for accurately positioning indoor user mobile terminal
WO2017154806A1 (en) Location detection system, location detection method, transmission device, location detection device, and facility equipment
WO2020055281A1 (en) Method and system of forming mixed-reality images
KR20200002219A (en) Indoor navigation apparatus and method
KR20210055429A (en) Apparatus and method for providing indoor location information
KR101957446B1 (en) The Method And Apparatus for Indoor Navigation Using Augmented Reality
KR20240020903A (en) Method and system for indoor and outdoor positioning by combining visual and RF signal
US20220210600A1 (en) Method and system for calibration of an indoor space
US20220198178A1 (en) Method and apparatus for identifying the floor of a building
CN113850909A (en) Point cloud data processing method and device, electronic equipment and automatic driving equipment
KR101913573B1 (en) Navigation information collecting apparatus and method by a crowd-sourcing