KR102664433B1 - Terminal location providing system and location providing method using identification mark recognition - Google Patents
Terminal location providing system and location providing method using identification mark recognition Download PDFInfo
- Publication number
- KR102664433B1 KR102664433B1 KR1020220129367A KR20220129367A KR102664433B1 KR 102664433 B1 KR102664433 B1 KR 102664433B1 KR 1020220129367 A KR1020220129367 A KR 1020220129367A KR 20220129367 A KR20220129367 A KR 20220129367A KR 102664433 B1 KR102664433 B1 KR 102664433B1
- Authority
- KR
- South Korea
- Prior art keywords
- location
- information
- terminal
- beacon
- identification mark
- Prior art date
Links
- 238000000034 method Methods 0.000 title abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 48
- 230000035945 sensitivity Effects 0.000 claims abstract description 29
- 238000000926 separation method Methods 0.000 claims description 39
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/02—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
- G01S1/04—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/02—Systems for determining distance or velocity not using reflection or reradiation using radio waves
- G01S11/06—Systems for determining distance or velocity not using reflection or reradiation using radio waves using intensity measurements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
본 발명은 식별 표식 인식을 이용한 단말기 위치 제공 시스템 및 위치 제공 방법에 관한 것으로, 보다 상세하게는, 적어도 하나의 단말기의 위치를 추적하는 단말기 위치 제공 시스템에 있어서, 소정 방향으로 비콘 신호를 발생시키는 적어도 하나의 비콘 장치를 포함하는 비콘 모듈, 상기 비콘 모듈을 중심으로 상기 비콘 모듈의 소정 방향 주변에 대한 이미지 정보를 제공하는 적어도 하나의 카메라를 포함하는 카메라 모듈 및 적어도 하나의 식별 표식 정보를 저장하고, 상기 단말기로부터 비콘 수신 감도를 포함하는 비콘 수신 상태 정보를 수신하며, 상기 카메라 모듈로부터 소정 범위 내의 영상 데이터를 포함하는 상기 이미지 정보를 수신하는 위치 연산부를 포함하되, 상기 위치 연산부는 상기 비콘 신호, 상기 이미지 정보 및 상기 식별 표식 정보 중 적어도 하나에 기초하여 상기 단말기의 위치를 제공하는 것을 특징으로 The present invention relates to a terminal location providing system and location providing method using identification mark recognition. More specifically, in a terminal location providing system that tracks the location of at least one terminal, at least one device generates a beacon signal in a predetermined direction. A beacon module including one beacon device, a camera module including at least one camera that provides image information about the vicinity of the beacon module in a predetermined direction centered on the beacon module, and storing at least one identification mark information, A location calculation unit that receives beacon reception status information including beacon reception sensitivity from the terminal, and receives the image information including image data within a predetermined range from the camera module, wherein the location calculation unit includes the beacon signal, the Characterized in providing the location of the terminal based on at least one of image information and the identification mark information.
Description
본 발명은 비콘 모듈과 카메라 모듈을 이용하여 단말기의 위치를 제공하는 시스템 및 방법에 관한 것으로, 보다 상세하게는 식별 표식 인식을 이용한 단말기 위치 제공 시스템 및 위치 제공 방법에 관한 것이다. The present invention relates to a system and method for providing the location of a terminal using a beacon module and a camera module, and more specifically, to a system and method for providing a terminal location using identification mark recognition.
근로자의 개인별 위치를 파악하기 위한 위치 추적 기술은 비콘 모듈을 이용한 무선 측위 위치 추적 기술, 비콘 모듈과 영상카메라를 이용한 위치 추적 기술 등 다양하게 개발되었으나 각각 기술에 대해서 문제가 있다. Various location tracking technologies have been developed to determine the individual location of workers, such as wireless positioning location tracking technology using beacon modules and location tracking technology using beacon modules and video cameras, but each technology has problems.
도 1은 비콘 모듈을 이용하여 단말기의 위치를 추적하기 위한 일실시예를 도시한 것이다. 도 1에 도시된 바와 같이, 최소 3개의 비콘 송신장치에서 비콘 신호를 발생시키고, 단말기에서는 상기 비콘 신호를 수신하여 상기 수신된 비콘 신호에 대한 신호 감도를 측정한 후 비콘 수신 상태 정보를 위치 연산부로 전송하게 된다. 상기 위치 연산부는 삼각측량법을 이용하여 상기 단말기의 위치를 계산하여 위치를 파악하고, 주기적으로 위치를 계산하여 상기 단말기의 위치를 추적할 수 있다. Figure 1 shows an embodiment for tracking the location of a terminal using a beacon module. As shown in Figure 1, at least three beacon transmitters generate beacon signals, and the terminal receives the beacon signals, measures signal sensitivity for the received beacon signals, and then sends the beacon reception status information to the location calculation unit. will be transmitted. The location calculating unit may determine the location by calculating the location of the terminal using a triangulation method, and may track the location of the terminal by periodically calculating the location.
상기 도 1의 방법을 이용한 무선 측위 위치 추적 기술은 무선 측위 알고리즘을 사용하고, 상기 무선 측위 알고리즘은 기본적으로 삼각측량법을 기초로 한다. 상기 삼각측량법은 최소 3개 이상의 위치 추적을 위한 비콘 모듈을 요구하며, 위치 추적 장치 동작을 위한 전원 및 네트워크 공사로 인하여 설치에 관한 비용이 요구되고, 인건비 증가에 따른 장치비용과는 별개로 추가적으로 공사비용이 증가하게 된다. 또한, 위치 계산에 정확도를 높이기 위해서는 위치 추적 장치의 설치 위치가 중요하기 때문에 설치 위치의 공간에 제약이 있는 경우, 별도의 기구물이 요구됨으로 설치비용이 요구된다. 비용적인 측면뿐만 아니라, 상기 무선 환경의 작은 변화에도 위치 계산 오차가 크게 발생하기 때문에 위치 추적에 대한 성능을 지속적으로 유지하기가 어려운 문제가 있다. The wireless positioning location tracking technology using the method of FIG. 1 uses a wireless positioning algorithm, and the wireless positioning algorithm is basically based on triangulation. The triangulation method requires at least three beacon modules for location tracking, and installation costs are required due to power and network construction for location tracking device operation, and additional construction is required separately from device costs due to increased labor costs. Costs increase. In addition, in order to increase the accuracy of position calculation, the installation location of the location tracking device is important, so when space at the installation location is limited, a separate device is required, resulting in installation costs. In addition to the cost aspect, there is a problem in that it is difficult to continuously maintain location tracking performance because a large location calculation error occurs even with small changes in the wireless environment.
도 2는 비콘 모듈과 AI카메라 모듈을 이용하여 비콘 수신 휴대 단말의 위치를 추적하기 위한 다른 실시예를 도시한 것이다. 도 2에 도시된 바와 같이, 비콘 모듈에서 비콘 신호를 발생시키고, 위치 연산부에서 단말기로부터 수신되는 비콘 수신 상태 정보에 따른 거리계산과 AI카메라 모듈의 영상에서 미리 확인된 상기 단말기의 거리 계산을 결합하여 위치를 파악할 수 있다. 그러나, AI카메라 모듈의 촬영범위와 단말기가 비콘 신호를 수신하는 영역이 다른 경우, 단말기는 비콘 신호를 수신하여 비콘 수신 상태 정보를 위치 연산부로 송신하지만 AI카메라 모듈은 단말기에 대한 영상 정보를 송신하지 않기 때문에 위치 계산이 불가능한 문제가 있다. Figure 2 shows another embodiment for tracking the location of a beacon receiving mobile terminal using a beacon module and an AI camera module. As shown in Figure 2, the beacon module generates a beacon signal, and the location calculation unit combines the distance calculation according to the beacon reception status information received from the terminal and the distance calculation of the terminal confirmed in advance in the image of the AI camera module. You can determine the location. However, if the shooting range of the AI camera module and the area where the terminal receives the beacon signal are different, the terminal receives the beacon signal and transmits the beacon reception status information to the location calculation unit, but the AI camera module does not transmit video information about the terminal. Therefore, there is a problem where location calculation is impossible.
본 발명은 상기한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 식별 표식 인식을 이용한 단말기 위치 제공 시스템 및 위치 제공 방법을 제공함에 있다.The present invention was created to solve the problems of the prior art as described above, and the purpose of the present invention is to provide a terminal location providing system and location providing method using identification mark recognition.
구체적으로, 상기 단말기가 상기 비콘 신호를 수신하는 경우, 비콘 신호 영역과 카메라 모듈의 촬영 영역을 일치시킴으로써 카메라 모듈에서 상기 단말기를 찾지 못하는 경우가 없도록 하여 상기 단말기의 정확한 위치를 제공하는, 단말기 위치 제공 시스템 및 위치 제공 방법을 제공함에 있다. Specifically, when the terminal receives the beacon signal, the beacon signal area matches the capture area of the camera module to prevent the camera module from being unable to find the terminal, thereby providing the accurate location of the terminal. It provides a system and location provision method.
보다 구체적으로, 상기 카메라 모듈과 상기 비콘 모듈로부터 수신되는 신호 세기에 따른 위치 정보 간의 매칭 오류로 인하여 상기 단말기를 소지한 근로자를 식별하기 어려운 경우에 식별 표식 정보를 이용하여 매칭 오류를 보완함으로써, 보다 빠르고 정확하게 상기 단말기의 위치를 제공하는 식별 표식 인식을 이용한 단말기 위치 제공 시스템 및 위치 제공 방법을 제공함에 있다. More specifically, in cases where it is difficult to identify a worker holding the terminal due to a matching error between location information according to the signal strength received from the camera module and the beacon module, the matching error is compensated for using identification mark information, The aim is to provide a terminal location providing system and location providing method using identification mark recognition that quickly and accurately provides the location of the terminal.
상기한 바와 같은 문제점을 해결하기 위한 본 발명의 다양한 실시예에 의한 식별 표식 인식을 이용한 단말기 위치 제공 시스템은 적어도 하나의 단말기의 위치를 추적하는 단말기 위치 제공 시스템에 있어서 소정 방향으로 비콘 신호를 발생시키는 적어도 하나의 비콘 장치를 포함하는 비콘 모듈, 상기 비콘 모듈을 중심으로 상기 비콘 모듈의 소정 방향 주변에 대한 이미지 정보를 제공하는 적어도 하나의 카메라를 포함하는 카메라 모듈 및 적어도 하나의 식별 표식 정보를 저장하고, 상기 단말기로부터 비콘 수신 감도를 포함하는 비콘 수신 상태 정보를 수신하며, 상기 카메라 모듈로부터 소정 범위 내의 영상 데이터를 포함하는 상기 이미지 정보를 수신하는 위치 연산부를 포함하되, 상기 위치 연산부는 상기 비콘 수신 감도, 상기 이미지 정보 및 상기 식별 표식 정보 중 적어도 하나에 기초하여 상기 단말기의 위치를 제공하는 것을 특징으로 한다.In order to solve the problems described above, a terminal location providing system using identification mark recognition according to various embodiments of the present invention includes generating a beacon signal in a predetermined direction in a terminal location providing system that tracks the location of at least one terminal. A beacon module including at least one beacon device, a camera module including at least one camera that provides image information about the vicinity of the beacon module in a predetermined direction centered on the beacon module, and storing at least one identification mark information; , a location calculation unit that receives beacon reception status information including beacon reception sensitivity from the terminal, and receives the image information including image data within a predetermined range from the camera module, wherein the location calculation unit determines the beacon reception sensitivity. , Characterized in providing the location of the terminal based on at least one of the image information and the identification mark information.
또한, 상기 카메라 모듈은 AI를 이용하여 상기 카메라가 촬영한 영상 데이터로부터 상기 적어도 하나의 단말기의 위치 정보인 제2 위치 정보를 산출하고, 상기 제2 위치 정보를 포함하는 이미지 정보를 제공하는 것을 특징으로 한다. In addition, the camera module calculates second location information, which is location information of the at least one terminal, from image data captured by the camera using AI, and provides image information including the second location information. Do it as
또한, 상기 위치 연산부는 상기 비콘 수신 감도에 기초하여 상기 비콘 모듈과 상기 단말기 간 이격 거리를 포함하는 제1 위치 정보를 산출하고, 상기 이미지 정보에 기초하여 상기 단말기가 위치한 방향 및 구역 정보를 포함하는 제2 위치 정보를 산출하거나, 상기 이미지 정보에 기초하여 상기 식별 표식 정보를 인식하며, 상기 제1 위치 정보, 상기 제2 위치 정보 및 상기 식별 표식 정보 중 적어도 어느 하나에 기초하여 상기 단말기의 위치 정보를 제공하는 것을 특징으로 한다.In addition, the location calculation unit calculates first location information including the separation distance between the beacon module and the terminal based on the beacon reception sensitivity, and includes direction and area information in which the terminal is located based on the image information. Calculate second location information or recognize the identification mark information based on the image information, and determine location information of the terminal based on at least one of the first location information, the second location information, and the identification mark information. It is characterized by providing.
또한, 상기 위치 연산부는 상기 비콘 수신 감도에 기초하여 상기 비콘 모듈과 상기 단말기 간 이격 거리를 포함하는 제1 위치 정보를 산출하고, 상기 카메라 모듈로부터 수신된 상기 이미지 정보에 기초하여 상기 식별 표식 정보를 인식하며, 상기 제1 위치 정보, 상기 제2 위치 정보 및 상기 식별 표식 정보 중 적어도 어느 하나에 기초하여 상기 단말기의 위치 정보를 제공하는 것을 특징으로 한다.In addition, the location calculation unit calculates first location information including the separation distance between the beacon module and the terminal based on the beacon reception sensitivity, and calculates the identification mark information based on the image information received from the camera module. and providing location information of the terminal based on at least one of the first location information, the second location information, and the identification mark information.
또한, 상기 위치 연산부는 상기 제1 위치 정보 및 상기 제2 위치 정보에 기초하여, 상기 단말기의 위치 정보를 제공하되, 상기 제1 위치 정보 및 상기 제2 위치 정보에 기초하여 상기 단말기의 위치를 추적에 실패한 경우, 상기 카메라 모듈로부터 수신한 이미지 정보 및 상기 위치 연산부에 저장된 상기 식별 표식 정보에 기초하여, 상기 이미지 정보 내의 상기 식별 표식 정보를 인식하여 상기 단말기의 위치 정보를 제공하는 것을 특징으로 한다.In addition, the location calculation unit provides location information of the terminal based on the first location information and the second location information, and tracks the location of the terminal based on the first location information and the second location information. In case of failure, based on the image information received from the camera module and the identification mark information stored in the location calculation unit, the identification mark information in the image information is recognized and location information of the terminal is provided.
또한, 적어도 하나의 비콘 장치를 포함하는 비콘 모듈 및 적어도 하나의 카메라를 포함하는 카메라 모듈을 포함하고 단말기의 위치를 추적하는 단말기 위치 제공 시스템의 단말기 위치 추적 방법에 있어서, 위치 연산부가 (a) 적어도 하나의 식별 표식 정보를 저장하는 단계, (b) 상기 단말기로부터 수신한 비콘 수신 감도에 기초하여 상기 비콘 모듈과 상기 단말기간 이격 거리를 포함하는 제1 위치 정보를 산출하는 단계, (c) 상기 단계 (b)의 이전, 이후 또는 동시에, 상기 카메라 모듈로부터 수신한 영상 데이터에 기초하여 상기 단말기가 위치한 방향 및 구역 정보를 포함하는 제2 위치 정보를 산출하는 단계, (d) 상기 제1 위치 정보, 상기 제2 위치 정보 및 상기 식별 표식 정보 중 적어도 어느 하나에 기초하여 상기 단말기의 위치 정보를 제공하는 단계를 포함하는 것을 특징으로 한다. In addition, in the terminal location tracking method of the terminal location providing system that includes a beacon module including at least one beacon device and a camera module including at least one camera and tracks the location of the terminal, the location calculation unit (a) is at least Storing one identification mark information, (b) calculating first location information including the separation distance between the beacon module and the terminal based on the beacon reception sensitivity received from the terminal, (c) the step Calculating second location information including direction and area information in which the terminal is located based on image data received from the camera module before, after or simultaneously with (b), (d) the first location information, and providing location information of the terminal based on at least one of the second location information and the identification mark information.
또한, 상기 위치 연산부는 상기 단계 (b)에서 기 설정된 이격 거리별 수신 비콘 신호 세기 정보와 수신된 상기 비콘 수신 감도를 비교하여 상기 비콘 모듈과 상기 단말기 간 이격 거리를 산출하는 것을 특징으로 한다. In addition, the location calculation unit compares the received beacon signal strength information for each separation distance preset in step (b) with the received beacon reception sensitivity to calculate the separation distance between the beacon module and the terminal.
또한, 적어도 하나의 비콘 장치를 포함하는 비콘 모듈 및 적어도 하나의 카메라를 포함하는 카메라 모듈을 포함하고 단말기의 위치를 추적하는 단말기 위치 제공 시스템의 단말기 위치 추적 방법에 있어서 위치 연산부가 (a) 적어도 하나의 식별 표식 정보를 저장하는 단계, (b) 상기 단말기로부터 수신한 비콘 수신 감도에 기초하여 상기 비콘 모듈과 상기 단말기 간 이격 거리를 포함하는 제1 위치 정보를 산출하는 단계, (c) 상기 단계 (b)의 이전, 이후 또는 동시에, 상기 카메라 모듈로부터 상기 단말기가 위치한 방향 및 구역 정보를 포함하는 제2 위치 정보를 포함하는 이미지 정보를 수신하는 단계 및 (d) 상기 제1 위치 정보, 상기 제2 위치 정보 및 상기 식별 표식 정보 중 적어도 어느 하나에 기초하여 상기 단말기의 위치 정보를 제공하는 단계를 포함하는 것을 특징으로 한다.In addition, in the terminal location tracking method of the terminal location providing system that includes a beacon module including at least one beacon device and a camera module including at least one camera and tracks the location of the terminal, the location calculation unit includes (a) at least one storing identification mark information, (b) calculating first location information including the separation distance between the beacon module and the terminal based on the beacon reception sensitivity received from the terminal, (c) the step ( Before, after or simultaneously with b), receiving image information including second location information including direction and area information in which the terminal is located from the camera module, and (d) the first location information and the second location information. and providing location information of the terminal based on at least one of location information and the identification mark information.
또한, 상기 위치 연산부는 상기 단계 (d)에서 상기 제1 위치 정보 및 상기 제2 위치 정보에 기초하여, 상기 단말기의 위치 정보를 제공하되, 상기 제1 위치 정보 및 상기 제2 위치 정보에 기초하여 상기 단말기의 위치를 추적에 실패한 경우, (c-1) 상기 단계 (d) 이전에 상기 위치 연산부가 저장된 상기 식별 표식 정보에 기초하여, 수신된 상기 이미지 정보 내의 상기 식별 표식 정보를 인식하여 상기 단말기의 위치 정보를 제공하는 것을 특징으로 한다. In addition, the location calculation unit provides location information of the terminal based on the first location information and the second location information in step (d), and provides location information of the terminal based on the first location information and the second location information. If tracking the location of the terminal fails, (c-1) the location calculation unit recognizes the identification mark information in the received image information based on the identification mark information stored before step (d), and determines the terminal. It is characterized by providing location information.
본 발명에 의하면, 단말기의 위치 제공에 있어서, 보다 정확성을 높일 수 있다.According to the present invention, accuracy can be improved in providing the location of the terminal.
구체적으로 위치 연산부가 단말기로부터 수신한 비콘 수신 감도에 기초하여 상기 비콘 모듈과 상기 단말기 간 이격 거리를 포함하는 제1 위치 정보와 상기 카메라 모듈로부터 수신한 이미지 정보에 기초하여 상기 단말기의 위치인 제2 위치 정보를 결합함으로써 상대적으로 낮은 비용으로 정확한 단말기의 위치를 제공할 수 있는 효과가 있는 것이다. Specifically, first location information including a separation distance between the beacon module and the terminal based on the beacon reception sensitivity received by the location calculation unit from the terminal, and second location information that is the location of the terminal based on image information received from the camera module. By combining location information, there is an effect of providing an accurate location of the terminal at a relatively low cost.
보다 구체적으로, 상기 카메라 모듈과 상기 비콘 모듈로부터 수신되는 신호 세기에 따른 위치 정보 간의 매칭 오류로 인하여 상기 단말기를 소지한 근로자를 식별하기 어려운 경우에 식별 표식 정보를 이용하여 매칭 오류를 보완함으로써, 보다 빠르고 정확하게 상기 단말기의 위치를 제공할 수 있는 효과가 있다. More specifically, in cases where it is difficult to identify a worker holding the terminal due to a matching error between location information according to the signal strength received from the camera module and the beacon module, the matching error is compensated for using identification mark information, It has the effect of providing the location of the terminal quickly and accurately.
또한, 단말기의 식별 시간을 단축시키고, 식별 오류를 감소시킬 수 있는 효과가 있는 것이다. In addition, it has the effect of shortening the identification time of the terminal and reducing identification errors.
도 1은 종래의 비콘 모듈을 이용한 단말기 위치 추적 방법의 개략도이고,
도 2는 종래의 비콘 모듈과 영상카메라를 이용한 단말기 위치 추적 방법의 개략도이며,
도 3은 본 발명의 일실시예에 의한 단말기 위치 제공 시스템을 도시한 개략도 이고,
도 4는 본 발명의 일실시예에 의한 단말기 위치 제공 방법을 도시한 순서도이며,
도 5는 본 발명의 다른 실시예에 의한 단말기 위치 제공 방법을 도시한 순서도이다. 1 is a schematic diagram of a terminal location tracking method using a conventional beacon module,
Figure 2 is a schematic diagram of a terminal location tracking method using a conventional beacon module and a video camera;
Figure 3 is a schematic diagram showing a terminal location providing system according to an embodiment of the present invention.
Figure 4 is a flowchart showing a method for providing a terminal location according to an embodiment of the present invention;
Figure 5 is a flowchart showing a method for providing a terminal location according to another embodiment of the present invention.
이하 첨부된 도면을 참고하여 본 발명의 실시예에 의한 단말기의 위치 제공 방법에 관하여 상세히 설명한다.Hereinafter, a method for providing the location of a terminal according to an embodiment of the present invention will be described in detail with reference to the attached drawings.
도 3은 본 발명의 일실시예에 의한 단말기 위치 제공 시스템을 도시한 개략도이다. Figure 3 is a schematic diagram showing a terminal location providing system according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 본 발명의 일실시예에 의한 단말기(400) 위치 제공 시스템은 비콘 모듈(100), 카메라 모듈(200) 및 위치 연산부(300)를 포함한다. As shown in FIG. 3, the terminal 400 location providing system according to an embodiment of the present invention includes a beacon module 100, a camera module 200, and a location calculation unit 300.
비콘 모듈(100)은 비콘 신호를 발생시키는 적어도 하나의 비콘 장치를 포함한다. The beacon module 100 includes at least one beacon device that generates a beacon signal.
카메라 모듈(200)은 상기 비콘 모듈(100)을 중심으로 상기 비콘 모듈(100)의 소정 방향 주변에 대한 이미지 정보(210)를 제공하는 적어도 하나의 카메라를 포함한다.The camera module 200 includes at least one camera that provides image information 210 about the beacon module 100 in a predetermined direction around the beacon module 100.
위치 연산부(300)는 상기 단말기(400) 또는 상기 단말기(400)를 소지하고 있는 사용자에 부착되는 적어도 하나의 식별 표식 정보를 저장하고, 상기 단말기(400)로부터 비콘 수신 감도를 포함하는 비콘 수신 상태 정보를 수신한다. 또한, 상기 카메라 모듈(200)로부터 소정 범위 내의 영상 데이터를 포함하는 상기 이미지 정보(210)를 수신한다. The location calculation unit 300 stores information on at least one identification mark attached to the terminal 400 or a user holding the terminal 400, and determines a beacon reception state including beacon reception sensitivity from the terminal 400. Receive information. Additionally, the image information 210 containing image data within a predetermined range is received from the camera module 200.
이때, 상기 위치 연산부(300)는 카메라 모듈(200)에서 획득되는 영상 데이터에서 거리에 따른 식별 구역 정보를 사전에 설정할 수 있다. 구체적으로, 식별 구역 정보는 영상 데이터 내에서 영상 구역을 소정의 구역으로 나누어 세분화한 것으로, 보다 구체적으로는, 세분화된 구역별로 수신되는 비콘 신호의 세기(한계치)를 미리 측정하여 설정할 수 있다. 이에 따라, 상기 비콘 수신 감도, 상기 이미지 정보(210) 및 상기 식별 표식 정보 중 적어도 하나에 기초하여 상기 단말기(400)의 위치를 제공할 수 있다. At this time, the location calculation unit 300 may set identification zone information according to the distance in the image data acquired from the camera module 200 in advance. Specifically, the identification zone information is a subdivision of the image zone within the image data by dividing it into predetermined zones. More specifically, the intensity (threshold) of the beacon signal received for each subdivided zone can be measured and set in advance. Accordingly, the location of the terminal 400 can be provided based on at least one of the beacon reception sensitivity, the image information 210, and the identification mark information.
구체적으로, 상기 비콘 모듈(100)은 소정의 제1 방향으로 비콘 신호를 발생시키는 적어도 하나의 지향성 비콘 장치일 수 있다. Specifically, the beacon module 100 may be at least one directional beacon device that generates a beacon signal in a predetermined first direction.
또한, 상기 카메라 모듈(200)은 상기 비콘 모듈(100)을 중심으로 상기 비콘 모듈(100)의 상기 제1 방향 주변에 대한 이미지 정보(210)를 제공하는 적어도 하나의 카메라를 포함한다. Additionally, the camera module 200 includes at least one camera that provides image information 210 about the vicinity of the beacon module 100 in the first direction, with the beacon module 100 as the center.
이에 따라, 상기 카메라 모듈(200)은 상기 비콘 신호가 유효한 소정 거리 이내의 상기 제1 방향을 중심으로 소정 각도 범위내의 영상데이터를 포함한 이미지 정보(210)를 제공할 수 있다. 또한 상기 카메라 모듈(200)은 제1 방향을 중심으로 소정 각도 범위내의 영상 데이터를 제공할 수 있는 복수의 카메라를 포함할 수 있으며, 상기 제1 방향을 중심으로 소정 각도 범위내의 영상 데이터를 제공할 수 있도록 소정 각도만큼 회전하는 적어도 하나의 카메라를 포함할 수 있다. 상기 각도는 상기 카메라 모듈(200)의 제1 카메라 내지 제n 카메라에 대해 각각 제1 각도 내지 제n 각도이며, 상기 제1 각도 내지 제n 각도의 합은 90도보다 크거나 같을 수 있다. 여기서, n은 1보다 크거나 같은 자연수이다.Accordingly, the camera module 200 can provide image information 210 including image data within a predetermined angle range centered on the first direction within a predetermined distance at which the beacon signal is valid. Additionally, the camera module 200 may include a plurality of cameras capable of providing image data within a predetermined angular range centered on a first direction, and may provide image data within a predetermined angular range centered on the first direction. It may include at least one camera that rotates by a predetermined angle. The angles are the first to nth angles for the first to nth cameras of the camera module 200, respectively, and the sum of the first to nth angles may be greater than or equal to 90 degrees. Here, n is a natural number greater than or equal to 1.
상술한 바와 같은 특징을 가지고 있는 단말기(400) 위치 제공 시스템은 실내 또는 실외에 설치될 수 있다. 상기 실내 또는 실외에 대해서 상기 제1 방향을 중심으로 90도 영상 데이터를 제공할 수 있는 곳이면 어디든 설치가 가능하다. 구체적으로 촬영 구역의 중심이 아닌 상기 촬영 구역의 모서리에 설치될 수 있다. The terminal 400 location providing system having the above-described features can be installed indoors or outdoors. It can be installed anywhere that can provide 90-degree image data around the first direction, indoors or outdoors. Specifically, it may be installed at a corner of the shooting area rather than at the center of the shooting area.
한편, 상기 카메라 모듈(200)은 상기 비콘 신호가 유효한 소정 거리 이내의 360도 전방위 영상데이터를 포함한 이미지 정보(210)를 제공할 수 있다.(미도시) 또한 상기 카메라 모듈(200)은 360도 전방위 영상 데이터를 제공할 수 있는 복수의 카메라를 포함할 수 있으며, 360도 전방위 영상 데이터를 제공할 수 있도록 소정 각도만큼 회전하는 적어도 하나의 카메라를 포함할 수 있다. 상기 각도는 상기 카메라 모듈(200)의 제1 카메라 내지 제n 카메라에 대해 각각 제1 각도 내지 제n 각도이며, 상기 제1 각도 내지 제n 각도의 합은 360도보다 크거나 같을 수 있다. 여기서, n은 1보다 크거나 같은 자연수이다.Meanwhile, the camera module 200 can provide image information 210 including 360-degree omnidirectional image data within a predetermined distance where the beacon signal is valid (not shown). Additionally, the camera module 200 can provide 360-degree image data. It may include a plurality of cameras capable of providing omnidirectional image data, and may include at least one camera that rotates by a predetermined angle to provide omnidirectional image data of 360 degrees. The angles are the first to nth angles for the first to nth cameras of the camera module 200, respectively, and the sum of the first to nth angles may be greater than or equal to 360 degrees. Here, n is a natural number greater than or equal to 1.
상술한 바와 같은 특징을 가지고 있는 단말기(400) 위치 제공 시스템은 실내 또는 실외에 설치될 수 있다. 상기 실내 또는 실외에 대해서 상기 360도 전방위 영상 데이터를 제공할 수 있는 곳이면 어디든 설치가 가능하다. The terminal 400 location providing system having the above-described features can be installed indoors or outdoors. It can be installed anywhere that can provide the 360-degree omnidirectional image data, indoors or outdoors.
아울러, 상기 카메라 모듈(200)은 AI를 이용한 카메라 모듈(200)일 수 있다. 이때, 카메라 모듈(200)은 영상 데이터에서 거리에 따른 식별 구역 정보를 사전에 설정할 수 있다. 구체적으로, 식별 구역 정보는 영상 데이터 내에서 영상 구역을 소정의 구역으로 나누어 세분화한 것으로, 보다 구체적으로는, 세분화된 구역별로 수신되는 비콘 신호의 세기(한계치)를 미리 측정하여 설정할 수 있다. 또한, AI를 이용하여 상기 카메라가 촬영한 영상 데이터로부터 적어도 하나의 단말기(400)의 위치 정보인 제2 위치 정보를 산출하며, 상기 제2 위치 정보를 포함하는 이미지 정보(210)를 제공할 수 있다. 상기 제2 위치 정보는 상기 카메라로부터 상기 단말기(400)의 방향과 대략적 이격 거리 정보를 포함할 수 있으며, 특히 방향에 대한 정확한 정보를 제공할 수 있다. 또한, 상기 카메라 모듈(200)은 상기 AI를 이용하여 촬영된 상기 영상 데이터에 속한 적어도 하나의 단말기(400)를 인식하여 지속적으로 추적할 수 있으며, 상기 추적한 상기 적어도 하나의 단말기(400)의 위치 정보를 포함하는 제2 위치 정보를 포함하는 이미지 정보(210)를 제공할 수 있다. In addition, the camera module 200 may be a camera module 200 using AI. At this time, the camera module 200 may set identification zone information according to distance in the image data in advance. Specifically, the identification zone information is a subdivision of the image zone within the image data by dividing it into predetermined zones. More specifically, the intensity (threshold) of the beacon signal received for each subdivided zone can be measured and set in advance. In addition, using AI, second location information, which is location information of at least one terminal 400, can be calculated from image data captured by the camera, and image information 210 including the second location information can be provided. there is. The second location information may include the direction and approximate separation distance information of the terminal 400 from the camera, and in particular, may provide accurate information about the direction. In addition, the camera module 200 can recognize and continuously track at least one terminal 400 included in the image data captured using the AI, and the tracked at least one terminal 400 Image information 210 including second location information including location information may be provided.
또한, 상기 위치 연산부(300)는 상기 비콘 수신 감도에 기초하여 상기 비콘 모듈(100)과 상기 단말기(400) 간의 정확한 이격 거리를 포함하는 제1 위치 정보를 산출하고, 상기 이미지 정보(210) 및 사전에 저장된 식별 구역 정보에 기초하여 상기 단말기(400)가 위치한 방향 및 대략적 이격 거리 정보를 포함하는 제2 위치 정보를 산출할 수 있다. 더불어, 상기 위치 연산부(300)는 상기 이미지 정보(210)에 기초하여 상기 식별 표식 정보를 인식할 수 있다. 구체적으로, 상기 제1 위치 정보와 상기 제2 위치 정보를 매칭하여 상기 단말기(400)의 위치를 추적하는 경우, 위치 연산부(300)는 상기 제1 위치 정보와 제2 위치 정보의 매칭에 성공한다면 해당 위치를 단말기(400)의 위치로 제공할 수 있다. In addition, the location calculation unit 300 calculates first location information including an accurate separation distance between the beacon module 100 and the terminal 400 based on the beacon reception sensitivity, and calculates first location information including the image information 210 and Second location information including the direction in which the terminal 400 is located and approximate separation distance information can be calculated based on pre-stored identification zone information. In addition, the location calculation unit 300 may recognize the identification mark information based on the image information 210. Specifically, when tracking the location of the terminal 400 by matching the first location information and the second location information, the location calculation unit 300 is successful in matching the first location information and the second location information. The location may be provided as the location of the terminal 400.
다만, 상기 단말기(400)의 상기 비콘 수신 감도가 주위 환경에 따라 영향을 받으므로 잘못된 위치를 제공할 수 있다. 특히, 상기 단말기(400)가 사용자에 의해 어느 부분에 위치하느냐에 따라 상기 비콘 수신 감도가 크게 변화할 수 있으며, 상기 단말기(400)가 상기 비콘 모듈(100)을 향해 있는 방향에 따라서도 상기 비콘 수신 감도가 크게 달라지게 된다. 이러한 상황에는 상기 단말기(400)의 위치를 추적하기 위해 복잡도가 높아지게 되고, 식별하는 시간 또한 증가하게 되어 식별 오류를 증가시키는 원인이 된다. 따라서, 상기 식별 표식 정보를 함께 인식하는 경우 상기 단말기(400)의 위치를 보다 빠르게 추적할 수 있다. However, since the beacon reception sensitivity of the terminal 400 is affected by the surrounding environment, an incorrect location may be provided. In particular, the beacon reception sensitivity may vary greatly depending on where the terminal 400 is located by the user, and the beacon reception may also vary depending on the direction in which the terminal 400 faces the beacon module 100. Sensitivity changes significantly. In this situation, complexity increases to track the location of the terminal 400, and identification time also increases, causing increased identification errors. Therefore, when the identification mark information is recognized together, the location of the terminal 400 can be tracked more quickly.
이에 따라, 상기 위치 연산부(300)는 상기 제1 위치 정보와 제2 위치 정보 및 상기 식별 표식 정보 중 적어도 어느 하나에 기초하여 상기 단말기(400)의 위치 정보를 제공할 수 있다. Accordingly, the location calculation unit 300 may provide location information of the terminal 400 based on at least one of the first location information, the second location information, and the identification mark information.
보다 구체적으로, 상기 위치 연산부(300)는 제1 위치 정보에 대해서, 기 설정된 이격 거리별 수신 비콘 신호 세기 정보와 수신된 상기 비콘 수신 감도를 비교하여 상기 비콘 모듈(100)과 상기 단말기(400) 간의 이격 거리를 산출할 수 있으며, 사전에 설정된 영상 데이터내에서 거리에 따른 식별 구역 정보 및 수신한 상기 영상 데이터를 기초로 AI를 이용하여 상기 영상 데이터에서 상기 단말기(400)가 위치된 구역과 방향 및 대략적 이격 거리 정보를 산출하고, 산출된 상기 구역과 방향 및 대략적 이격 거리 정보에 기초하여 상기 단말기(400)의 제2 위치 정보를 산출할 수 있다. 따라서, 상기 위치 연산부(300)는 상기 제2 위치 정보에 포함된 상기 단말기(400)가 위치한 방향을 기초로 상기 단말기(400)의 위치 방향을 결정하고, 상기 비콘 모듈(100)로부터 상기 이격 거리만큼 떨어진 구역이 상기 제2 위치 정보에 포함되어 있는 상기 구역내에 포함된다면, 상기 이격 거리를 이용하여 상기 단말기(400) 위치의 거리를 결정하고, 결정된 상기 단말기(400)의 위치의 방향과 상기 단말기(400)의 위치의 거리를 이용하여 상기 단말기(400)의 위치를 산출할 수 있다.More specifically, the location calculation unit 300 compares the received beacon signal strength information and the received beacon reception sensitivity for each preset separation distance with respect to the first location information to determine the beacon module 100 and the terminal 400. The separation distance can be calculated, and the area and direction in which the terminal 400 is located in the video data can be calculated using AI based on the received video data and identification zone information according to the distance within the preset video data. And approximate separation distance information may be calculated, and second location information of the terminal 400 may be calculated based on the calculated zone and direction and approximate separation distance information. Therefore, the location calculation unit 300 determines the location direction of the terminal 400 based on the direction in which the terminal 400 is located included in the second location information, and determines the separation distance from the beacon module 100. If an area that is far away is included in the area included in the second location information, the distance of the location of the terminal 400 is determined using the separation distance, and the direction of the determined location of the terminal 400 and the terminal The location of the terminal 400 can be calculated using the distance of the location of 400.
또한, 상기 위치 연산부(300)는 상기 이미지 정보(210)에 기초하여 상기 식별 표식 정보를 인식할 수 있다. 상기 제1 위치 정보 및 상기 제2 위치 정보에 기초하여 상기 단말기(400)의 위치 추적에 실패한 경우, 제1 위치 정보를 사용하지 않고, 상기 카메라 모듈(200)로부터 수신한 이미지 정보(210) 및 상기 위치 연산부(300)에 저장된 상기 식별 표식 정보에 기초하여, 상기 이미지 정보(210) 내의 상기 식별 표식 정보를 인식할 수 있으므로 상기 단말기(400)의 위치 정보를 보다 정확하게 제공할 수 있다. Additionally, the location calculation unit 300 may recognize the identification mark information based on the image information 210. If tracking the location of the terminal 400 based on the first location information and the second location information fails, the image information 210 received from the camera module 200 is stored without using the first location information, and Based on the identification mark information stored in the location calculation unit 300, the identification mark information in the image information 210 can be recognized, and thus the location information of the terminal 400 can be provided more accurately.
또한, 상기 카메라 모듈(200)이 AI를 이용한 카메라 모듈(200)이라면, 사전에 설정된 영상 데이터내에서 사전에 설정된 식별 구역 정보 및 수신한 상기 영상 데이터를 기초로 AI를 이용하여 상기 영상 데이터에서 상기 단말기(400)가 위치된 구역과 방향 및 대략적 이격 거리 정보를 포함하는 상기 단말기(400)의 제2 위치 정보를 산출하는 동작을 위치 연산부(300)가 아닌 카메라 모듈(200)이 수행할 수 있다. In addition, if the camera module 200 is a camera module 200 using AI, the image data is selected using AI based on the preset identification zone information and the received image data within the image data. The camera module 200, not the location calculation unit 300, may perform the operation of calculating the second location information of the terminal 400, which includes the area and direction in which the terminal 400 is located, and approximate separation distance information. .
상술한 바와 같은 본 발명의 단말기(400) 위치 제공 시스템을 이용한 위치 제공 방법을 정리한다. The location providing method using the terminal 400 location providing system of the present invention as described above will be summarized.
도 4는 본 발명의 일실시예에 의한 단말기 위치 제공 방법을 도시한 순서도이다. Figure 4 is a flowchart showing a method for providing a terminal location according to an embodiment of the present invention.
본 발명의 단말기(400) 위치 제공 방법은, 적어도 하나의 비콘 장치를 포함하는 비콘 모듈(100) 및 적어도 하나의 카메라를 포함하는 카메라 모듈(200)을 포함하고 단말기(400)의 위치를 추적하는 단말기(400) 위치 제공 시스템의 단말기(400) 위치 추적 방법에 있어서, The method for providing the location of the terminal 400 of the present invention includes a beacon module 100 including at least one beacon device and a camera module 200 including at least one camera and tracks the location of the terminal 400. In the terminal 400 location tracking method of the terminal 400 location providing system,
위치 연산부(300)가, (a) 상기 단말기(400) 또는 상기 단말기(400)를 소지하고 있는 사용자에 부착되는 적어도 하나의 식별 표식 정보를 저장하는 단계, (b) 상기 단말기(400)로부터 수신한 비콘 수신 감도에 기초하여 상기 비콘 모듈(100)과 상기 단말기(400) 간 이격 거리를 포함하는 제1 위치 정보를 산출하는 단계, (c) 상기 단계 (b)의 이전, 이후 또는 동시에, 상기 카메라 모듈(200)로부터 수신한 영상 데이터에 기초하여 상기 단말기(400)가 위치한 방향 및 대략적 이격 거리 정보를 포함하는 제2 위치 정보를 산출하는 단계 및 (d) 상기 제1 위치 정보, 상기 제2 위치 정보 및 상기 식별 표식 정보 중 적어도 어느 하나에 기초하여 상기 단말기(400)의 위치 정보를 제공하는 단계를 포함한다. The location calculation unit 300 stores (a) at least one identification mark information attached to the terminal 400 or a user holding the terminal 400, (b) receives information from the terminal 400. Calculating first location information including a separation distance between the beacon module 100 and the terminal 400 based on one beacon reception sensitivity, (c) before, after or simultaneously with step (b), calculating second location information including the direction in which the terminal 400 is located and approximate separation distance information based on the image data received from the camera module 200; and (d) calculating the first location information and the second location information. It includes providing location information of the terminal 400 based on at least one of location information and the identification mark information.
상기 위치 연산부(300)는 상기 단계 (b)에서, 기 설정된 이격 거리별 수신 비콘 신호 세기 정보와 수신된 상기 비콘 수신 감도를 비교하여 상기 비콘 모듈(100)과 상기 단말기(400) 간 이격 거리를 산출하거나, 상기 단계 (c)에서, 사전에 설정된 영상 데이터내에서 거리별 복수의 식별 구역 정보 및 수신한 상기 영상 데이터를 기초로 AI를 이용하여 상기 카메라가 촬영한 상기 영상 데이터에서 상기 단말기(400)가 위치된 구역, 방향 및 대략적 이격 거리 정보를 산출하고, 산출된 상기 방향, 구역 및 대략적 이격 거리 정보에 기초하여 상기 단말기(400)의 제2 위치 정보를 산출할 수 있다. In step (b), the location calculating unit 300 determines the separation distance between the beacon module 100 and the terminal 400 by comparing the received beacon signal strength information and the received beacon reception sensitivity for each preset separation distance. Calculate, or in step (c), the terminal (400) ) may be located, calculate the direction, and approximate separation distance information, and calculate second location information of the terminal 400 based on the calculated direction, area, and approximate separation distance information.
구체적으로, 상기 위치 연산부(300)는 상기 (d)단계에서, 상기 제2 위치 정보에 포함된 상기 단말기(400)가 위치된 방향을 기초로 상기 단말기(400) 위치의 방향을 결정하고, 상기 비콘 모듈(100)로부터 상기 이격 거리 만큼 떨어진 구역이 상기 제2 위치 정보에 포함된 상기 구역내에 포함되면, 상기 이격 거리를 이용하여 상기 단말기(400) 위치의 거리를 결정하며, 결정된 상기 단말기(400)의 위치의 방향과 상기 단말기(400)의 위치의 거리를 이용하여 상기 단말기(400)의 위치를 산출할 수 있다. Specifically, in step (d), the location calculation unit 300 determines the direction of the location of the terminal 400 based on the direction in which the terminal 400 is located included in the second location information, and If an area separated by the separation distance from the beacon module 100 is included in the area included in the second location information, the distance of the location of the terminal 400 is determined using the separation distance, and the determined terminal 400 ) The location of the terminal 400 can be calculated using the direction of the location and the distance between the location of the terminal 400.
한편, 상기 제1 위치 정보 및 상기 제2 위치 정보에 기초하여 상기 단말기(400)의 위치 추적에 실패한 경우, (c-1) 상기 단계 (d) 이전에 상기 위치 연산부(300)이 저장된 상기 식별 표식 정보에 기초하여, 수신된 상기 이미지 정보 내의 상기 식별 표식 정보를 인식하여 상기 단말기(400)의 위치 정보를 제공할 수 있다. Meanwhile, if tracking the location of the terminal 400 fails based on the first location information and the second location information, (c-1) the identification stored by the location calculation unit 300 before step (d) Based on the mark information, the identification mark information in the received image information can be recognized to provide location information of the terminal 400.
또한, 상술한 바와 같은 본 발명의 단말기(400) 위치 제공 시스템을 이용한 위치 제공의 다른 방법을 정리한다. In addition, other methods of providing location using the terminal 400 location providing system of the present invention as described above are summarized.
도 5는 본 발명의 다른 실시예에 의한 단말기 위치 제공 방법을 도시한 순서도이다. 도 5에 도시된 바와 같이, 적어도 하나의 비콘 장치를 포함하는 비콘 모듈(100) 및 적어도 하나의 카메라를 포함하는 카메라 모듈(200)을 포함하고 단말기(400)의 위치를 추적하는 단말기(400) 위치 제공 시스템의 단말기(400) 위치 추적 방법에 있어서, 위치 연산부(300)가 (a) 상기 단말기(400) 또는 상기 단말기(400)를 소지하고 있는 사용자에 부착되는 적어도 하나의 식별 표식 정보를 저장하는 단계, (b) 상기 단말기(400)로부터 수신한 비콘 수신 감도에 기초하여 상기 비콘 모듈(100)과 상기 단말기(400) 간 이격 거리를 포함하는 제1 위치 정보를 산출하는 단계, (c) 상기 단계 (b)의 이전, 이후 또는 동시에, 상기 카메라 모듈(200)로부터 상기 단말기(400)가 위치한 방향 및 대략적 이격 거리 정보를 포함하는 제2 위치 정보를 수신하는 단계 및 (d) 상기 제1 위치 정보, 상기 제2 위치 정보 및 상기 식별 표식 정보 중 적어도 어느 하나에 기초하여 상기 단말기(400)의 위치 정보를 제공하는 단계를 포함한다. 상기 위치 연산부(300)는 상기 단계 (b)에서, 기 설정된 이격 거리별 수신 비콘 신호 세기 정보와 수신된 상기 비콘 수신 감도를 비교하여 상기 비콘 모듈(100)과 상기 단말기(400) 간의 이격 거리를 산출할 수 있고, 상기 카메라 모듈(200)은 사전에 설정된 영상 데이터 내에서 사전에 설정된 식별 구역 정보 및 촬영한 영상 데이터를 기초로 AI를 이용하여 상기 단말기(400)가 위치된 구역, 방향 및 대략적 이격 거리 정보를 산출하고, 산출된 상기 방향과 구역 및 대략적 이격 거리 정보에 기초하여 상기 단말기(400)의 제2 위치 정보를 산출할 수 있다. 구체적으로, 상기 위치 연산부(300)는 상기 (d)단계에서, 상기 제2 위치 정보에 포함된 상기 단말기(400)가 위치된 방향을 기초로 상기 단말기(400) 위치의 방향을 결정하고, 상기 비콘 모듈(100)로부터 상기 이격 거리 만큼 떨어진 구역이 상기 제2 위치 정보에 포함된 상기 구역내에 포함되면, 상기 이격 거리를 이용하여 상기 단말기(400) 위치의 거리를 결정하며, 산출된 상기 단말기(400)의 위치의 방향과 상기 단말기(400)의 위치의 거리를 이용하여 상기 단말기(400)의 위치를 산출할 수 있다. Figure 5 is a flowchart showing a method for providing a terminal location according to another embodiment of the present invention. As shown in FIG. 5, a terminal 400 includes a beacon module 100 including at least one beacon device and a camera module 200 including at least one camera and tracks the location of the terminal 400. In a method for tracking the location of a terminal 400 in a location providing system, the location calculation unit 300 stores (a) information on at least one identification mark attached to the terminal 400 or a user holding the terminal 400; (b) calculating first location information including the separation distance between the beacon module 100 and the terminal 400 based on the beacon reception sensitivity received from the terminal 400, (c) Before, after or simultaneously with step (b), receiving second location information including the direction in which the terminal 400 is located and approximate separation distance information from the camera module 200, and (d) the first and providing location information of the terminal 400 based on at least one of location information, the second location information, and the identification mark information. In step (b), the location calculation unit 300 determines the separation distance between the beacon module 100 and the terminal 400 by comparing the received beacon signal strength information and the received beacon reception sensitivity for each preset separation distance. It can be calculated, and the camera module 200 uses AI based on preset identification zone information and captured image data within preset image data to determine the area, direction, and approximate location where the terminal 400 is located. Separation distance information may be calculated, and second location information of the terminal 400 may be calculated based on the calculated direction, area, and approximate separation distance information. Specifically, in step (d), the location calculation unit 300 determines the direction of the location of the terminal 400 based on the direction in which the terminal 400 is located included in the second location information, and If an area separated by the separation distance from the beacon module 100 is included in the area included in the second location information, the distance of the terminal 400 location is determined using the separation distance, and the calculated terminal ( The location of the terminal 400 can be calculated using the direction of the location of the terminal 400 and the distance of the location of the terminal 400.
한편, 상기 제1 위치 정보 및 상기 제2 위치 정보에 기초하여 상기 단말기(400)의 위치 추적에 실패한 경우, (c-1) 상기 단계 (d) 이전에 상기 위치 연산부(300)이 저장된 상기 식별 표식 정보에 기초하여, 수신된 상기 이미지 정보 내의 상기 식별 표식 정보를 인식하여 상기 단말기(400)의 위치 정보를 제공할 수 있다. Meanwhile, if tracking the location of the terminal 400 fails based on the first location information and the second location information, (c-1) the identification stored by the location calculation unit 300 before step (d) Based on the mark information, the identification mark information in the received image information can be recognized to provide location information of the terminal 400.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이다.The present invention is not limited to the above-described embodiments, and its scope of application is diverse, and anyone skilled in the art can understand it without departing from the gist of the invention as claimed in the claims. Of course, various modifications are possible.
1 : 식별 표식
10 : 비콘 신호 영역
20 : 카메라 모듈 촬영 영역
100 : 비콘 모듈
110 : 제1 비콘 수신 상태 정보
111 : 제2 비콘 수신 상태 정보
200 : 카메라 모듈
210 : 이미지 정보
300 : 위치 연산부
400 : 단말기
RSSI#N : 단말기별 수신된 신호 감도 지표 1: identification mark
10: Beacon signal area
20: Camera module shooting area
100: Beacon module
110: First beacon reception status information
111: Second beacon reception status information
200: Camera module
210: Image information
300: Position calculation unit
400: terminal
RSSI#N: Received signal sensitivity index for each terminal
Claims (9)
비콘 신호를 발생시키는 비콘 장치를 포함하는 비콘 모듈;
상기 비콘 모듈을 중심으로 상기 비콘 모듈의 소정 방향 주변에 대한 이미지 정보를 제공하는 적어도 하나의 카메라를 포함하는 카메라 모듈; 및
상기 단말기 또는 상기 단말기를 소지하고 있는 사용자에 부착되는 적어도 하나의 식별 표식 정보를 저장하고, 상기 단말기로부터 비콘 수신 감도를 포함하는 비콘 수신 상태 정보를 수신하며, 상기 카메라 모듈로부터 소정 범위 내의 영상 데이터를 포함하는 상기 이미지 정보를 수신하는 위치 연산부;를 포함하되,
상기 위치 연산부는,
상기 카메라 모듈에서 획득되는 영상 데이터에서 거리에 따른 식별 구역 정보를 사전에 설정하고,
상기 비콘 수신 감도, 상기 이미지 정보 및 상기 식별 표식 정보 중 적어도 하나에 기초하여 상기 단말기의 위치를 제공하며,
상기 비콘 수신 감도에 기초하여 상기 비콘 모듈과 상기 단말기 간 이격 거리를 포함하는 제1 위치 정보를 산출하되, 기 설정된 이격 거리별 수신 비콘 신호 세기 정보와 수신된 상기 비콘 수신 감도를 비교하여 상기 비콘 모듈과 상기 단말기 간 이격 거리를 산출하고,
상기 이미지 정보 및 사전에 저장된 상기 식별 구역 정보에 기초하여 상기 단말기가 위치한 방향 및 대략적 이격 거리 정보를 포함하는 제2 위치 정보를 산출하며,
상기 제1 위치 정보와 상기 제2 위치 정보가 매칭되는 경우 해당 위치를 상기 단말기의 위치로 제공하되,
상기 제1 위치 정보와 상기 제2 위치 정보가 매칭되지 않는 경우, 상기 이미지 정보에서 식별 표식 정보를 인식하여, 상기 저장된 식별 표식 정보와 매칭되는 경우, 상기 제1 위치 정보를 사용하지 않고, 상기 이미지 정보 내에서 상기 식별 표식 정보가 위치한 상기 식별 구역 정보에 기초하여 상기 식별 표식 정보에 해당하는 상기 단말기의 위치를 제공하는 것
을 특징으로 하는 단말기 위치 제공 시스템.
In a terminal location providing system that tracks the location of at least one terminal,
A beacon module including a beacon device that generates a beacon signal;
A camera module including at least one camera that provides image information about the beacon module in a predetermined direction around the beacon module; and
Store information on at least one identification mark attached to the terminal or a user holding the terminal, receive beacon reception status information including beacon reception sensitivity from the terminal, and receive image data within a predetermined range from the camera module. It includes a location calculation unit that receives the image information,
The position calculation unit,
Pre-set identification zone information according to distance from the image data acquired from the camera module,
Provides the location of the terminal based on at least one of the beacon reception sensitivity, the image information, and the identification mark information,
Based on the beacon reception sensitivity, first location information including the separation distance between the beacon module and the terminal is calculated, and the received beacon signal strength information for each preset separation distance is compared with the received beacon reception sensitivity to the beacon module. Calculate the separation distance between and the terminal,
Calculate second location information including the direction in which the terminal is located and approximate separation distance information based on the image information and the identification zone information stored in advance,
If the first location information and the second location information match, the location is provided as the location of the terminal,
If the first location information and the second location information do not match, identification mark information is recognized in the image information, and if it matches the stored identification mark information, the first location information is not used, and the image Providing the location of the terminal corresponding to the identification mark information based on the identification zone information where the identification mark information is located within the information.
A terminal location providing system characterized by a.
비콘 신호를 발생시키는 비콘 장치를 포함하는 비콘 모듈;
상기 비콘 모듈을 중심으로 상기 비콘 모듈의 소정 방향 주변에 대한 이미지 정보를 제공하는 적어도 하나의 카메라를 포함하는 카메라 모듈; 및
상기 단말기 또는 상기 단말기를 소지하고 있는 사용자에 부착되는 적어도 하나의 식별 표식 정보를 저장하고, 상기 단말기로부터 비콘 수신 감도를 포함하는 비콘 수신 상태 정보를 수신하며, 상기 카메라 모듈로부터 소정 범위 내의 영상 데이터를 포함하는 상기 이미지 정보를 수신하는 위치 연산부;를 포함하되,
상기 위치 연산부는,
상기 비콘 수신 감도, 상기 이미지 정보 및 상기 식별 표식 정보 중 적어도 하나에 기초하여 상기 단말기의 위치를 제공하며,
상기 비콘 수신 감도에 기초하여 상기 비콘 모듈과 상기 단말기 간 이격 거리를 포함하는 제1 위치 정보를 산출하고,
상기 카메라 모듈은,
상기 영상 데이터에서 거리에 따른 식별 구역 정보를 사전에 설정하고,
AI를 이용하여 상기 이미지 정보 및 사전에 설정된 상기 식별 구역 정보에 기초하여 상기 단말기가 위치한 방향 및 대략적 이격 거리 정보를 포함하는 제2 위치 정보를 산출하고, 상기 제2 위치 정보를 포함하는 이미지 정보를 상기 위치 연산부에 제공하며,
상기 위치 연산부는,
상기 제1 위치 정보와 상기 제2 위치 정보가 매칭되는 경우 해당 위치를 상기 단말기의 위치로 제공하되,
상기 제1 위치 정보와 상기 제2 위치 정보가 매칭되지 않는 경우, 상기 이미지 정보에서 식별 표식 정보를 인식하여, 상기 저장된 식별 표식 정보와 매칭되는 경우, 상기 제1 위치 정보를 사용하지 않고, 상기 이미지 정보 내에서 상기 식별 표식 정보가 위치한 상기 식별 구역 정보에 기초하여 상기 식별 표식 정보에 해당하는 상기 단말기의 위치를 제공하는 것
을 특징으로 하는 단말기 위치 제공 시스템.
In a terminal location providing system that tracks the location of at least one terminal,
A beacon module including a beacon device that generates a beacon signal;
A camera module including at least one camera that provides image information about the beacon module in a predetermined direction around the beacon module; and
Store information on at least one identification mark attached to the terminal or a user holding the terminal, receive beacon reception status information including beacon reception sensitivity from the terminal, and receive image data within a predetermined range from the camera module. It includes a location calculation unit that receives the image information,
The position calculation unit,
Provides the location of the terminal based on at least one of the beacon reception sensitivity, the image information, and the identification mark information,
Calculate first location information including the separation distance between the beacon module and the terminal based on the beacon reception sensitivity,
The camera module is,
Pre-set identification zone information according to distance from the image data,
Using AI, calculate second location information including the direction in which the terminal is located and approximate separation distance information based on the image information and the preset identification zone information, and image information including the second location information. Provided in the location calculation unit,
The position calculation unit,
If the first location information and the second location information match, the location is provided as the location of the terminal,
If the first location information and the second location information do not match, identification mark information is recognized in the image information, and if it matches the stored identification mark information, the first location information is not used, and the image Providing the location of the terminal corresponding to the identification mark information based on the identification zone information where the identification mark information is located within the information.
A terminal location providing system characterized by a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220129367A KR102664433B1 (en) | 2022-10-11 | 2022-10-11 | Terminal location providing system and location providing method using identification mark recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220129367A KR102664433B1 (en) | 2022-10-11 | 2022-10-11 | Terminal location providing system and location providing method using identification mark recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20240049898A KR20240049898A (en) | 2024-04-18 |
| KR102664433B1 true KR102664433B1 (en) | 2024-05-09 |
Family
ID=90844366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220129367A KR102664433B1 (en) | 2022-10-11 | 2022-10-11 | Terminal location providing system and location providing method using identification mark recognition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102664433B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101946317B1 (en) * | 2018-09-13 | 2019-02-11 | 주식회사 에버비젼 | User Identification and Tracking Method Using CCTV System |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160074208A (en) * | 2014-12-18 | 2016-06-28 | 드림비전스주식회사 | System and method for providing safety service using beacon signals |
| KR102202743B1 (en) * | 2019-03-05 | 2021-01-12 | 조동욱 | Method for generating zone map to apprehend the location of unnanned remote control car and control system of unmanned remote control car |
| KR102256271B1 (en) * | 2019-08-30 | 2021-05-27 | 주식회사 파이온즈 | object tracking and service execution system by setting event zones and execution rule on the camera screen |
-
2022
- 2022-10-11 KR KR1020220129367A patent/KR102664433B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101946317B1 (en) * | 2018-09-13 | 2019-02-11 | 주식회사 에버비젼 | User Identification and Tracking Method Using CCTV System |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240049898A (en) | 2024-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101308555B1 (en) | position calculating method at indoors | |
| US7864040B2 (en) | Localization system and localization method and mobile position data transmitter | |
| CN105987694B (en) | The method and apparatus for identifying the user of mobile device | |
| CN105437251A (en) | Method and device for locating position of robot | |
| CN110736963B (en) | Indoor Wi-Fi positioning method and device based on CSI and storage medium | |
| US11619698B2 (en) | Method and terminal for controlling power plant | |
| KR100469416B1 (en) | Location tracing apparatus and method for mobile terminal | |
| LU102425B1 (en) | A Probability-based Method for Anomaly Detecting and Relocating of Position of Base Station | |
| Konings et al. | Falcon: Fused application of light based positioning coupled with onboard network localization | |
| US20060227998A1 (en) | Method for using networked programmable fiducials for motion tracking | |
| KR20150141299A (en) | Solution for providing real-time positioning and escaping route correspond to disaster | |
| KR102664433B1 (en) | Terminal location providing system and location providing method using identification mark recognition | |
| US11335145B2 (en) | Access system with at least one gate | |
| US11538318B2 (en) | Security apparatus and control method thereof | |
| US8103286B2 (en) | Wireless communication system for automatically generating a received signal strength distribution map | |
| KR101705227B1 (en) | Indoor Positioning Method | |
| US20160377699A1 (en) | Positioning System and Method | |
| CN116390021A (en) | Enhanced positioning method based on TDOA (time difference of arrival) complex scene | |
| CN107809797A (en) | A kind of method and device positioned to terminal | |
| KR20230134712A (en) | Terminal location providing system and location providing method | |
| KR20230025992A (en) | Apparatus and method for indoor positioning of pedestrians | |
| KR102547344B1 (en) | The operation method of the central server to track the target by correcting the error of detection information | |
| KR20240005345A (en) | Terminal location providing system and location providing method using beacon receiver and video tracking technology | |
| KR101645816B1 (en) | Navigation System By User Identification | |
| KR20210003065A (en) | Method and system for collecting data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |