WO2018155783A1 - 센서 기반 이동체 위치 추정 시스템 및 방법 - Google Patents

센서 기반 이동체 위치 추정 시스템 및 방법 Download PDF

Info

Publication number
WO2018155783A1
WO2018155783A1 PCT/KR2017/012185 KR2017012185W WO2018155783A1 WO 2018155783 A1 WO2018155783 A1 WO 2018155783A1 KR 2017012185 W KR2017012185 W KR 2017012185W WO 2018155783 A1 WO2018155783 A1 WO 2018155783A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
moving object
sensors
equation
angle
Prior art date
Application number
PCT/KR2017/012185
Other languages
English (en)
French (fr)
Inventor
남승엽
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Publication of WO2018155783A1 publication Critical patent/WO2018155783A1/ko
Priority to US16/215,811 priority Critical patent/US10891752B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Definitions

  • the present invention relates to a system and method for estimating the position of a moving object based on the direction information measured by a sensor, and more particularly, distributed sensors detect a moving object, measure moving position information, and notify the user.
  • the present invention relates to a sensor-based moving object position estimation system and method for preventing the privacy exposure by the approach of a moving object and being used for military purposes.
  • the unmanned mobile can be used for the purpose of delivery of goods, forest fire detection, distress detection, etc., but if the unmanned mobile camera is freely blown by the general user, privacy violations such as peeking using the unmanned mobile can occur. . In 2015, there were two cases of personal drones crashing into the White House.
  • the present invention is to solve the above problems, by using a sensor to measure the detection of the moving object and the position of the moving object, after calculating the angle of the moving object using the measured value, and finally estimated the position of the moving object and the user It is an object of the present invention to provide a sensor-based moving object position estimation system and method that can be transmitted to.
  • an object of the present invention is to provide a sensor-based moving object position estimation system and method that can solve the radar shadow problem of the radar detection method by measuring the position of the moving object by freely positioning the sensors in the desired area.
  • a sensor-based moving object position estimation system comprising: a sensor for recognizing a moving object and measuring moving position related information; and calculating the position of the moving object by collecting information measured from the sensors. Server; may include.
  • a relay node for receiving the information transmitted by the sensor and transmitting the received information to the server.
  • the sensor may be an image sensor.
  • the sensor may be two or more.
  • a sensor-based moving object estimation method comprising: photographing, by a predetermined time unit, two or more sensors having a fixed position; Detecting, by each sensor, a moving object compared to an existing image, and calculating an angle of deviation of the moving object from the center of the picture in pixel units when the moving object is detected; And estimating the position of the moving body by combining the angles calculated for each sensor in the server.
  • the sensor may be an image sensor.
  • the calculating may be performed in pixel units.
  • transmitting the angle calculated for each sensor to the relay node may further include a.
  • a sensor-based moving object estimation method comprising: projecting a moving object position measured by two sensors in two dimensions on a horizontal plane; And calculating a height by using an elevation angle of the movable body position.
  • the coordinate positions obtained by projecting the moving object in two dimensions on a horizontal plane are selected points and targets from each sensor node. Estimating to a point that minimizes the sum of squares of the distances between the direction lines TPL.
  • Equation 1 U * is a point that minimizes the sum of the square of the distance between the point selected from each sensor node and the target direction line (TPL),
  • T and M are the number of sensors that detect the position of the moving object
  • T is the matrix transposition that turns all rows into corresponding columns
  • C is the target line passing through each sensor.
  • the vectors C and X based on ci among the coefficients ai, bi and ci are the matrix X based on ai and bi among the coefficients ai, bi and ci to define the target line passing through each sensor.
  • Computing the position of the moving body in a two-dimensional space without directly projecting in two dimensions on the horizontal plane as calculated by the following equation (2); may further include a.
  • Equation 2 ⁇ U minimizes the sum of the squares of the distances between the selected points and the 3D-TPL from each sensor in three-dimensional space, the 3D-TPL is passed through the sensor and measured by the sensor and Line with elevation angles,
  • I is the 3x3 identity matrix
  • M is the number of sensors that detect U
  • U is the position of the moving object
  • x i is the x-coordinate of sensor i
  • y i is the y-coordinate of sensor i
  • z i is z of sensor i
  • ⁇ i is the elevation angle between the direction of the sensor i and the moving object
  • ⁇ i is the azimuth angle between the direction of the sensor i and the position of the moving object projected on the two-dimensional plane
  • Y is the coordinate value of each sensor and the sensor M ⁇ 3 matrix defined by the angle information of the moving object measured by G
  • G is a 3 ⁇ 1 matrix defined by the coordinate values of each sensor and the angle information of the moving object measured by the sensor.
  • the sensor-based moving object position estimation system and method of the present invention configured as described above, by using a sensor to measure the moving object detection and moving position information, and using the measured value to calculate the angle of the moving object to finally determine the position of the moving object Estimate and send to the user.
  • FIG. 1 is a diagram illustrating a sensor-based moving object position estimation system according to an embodiment of the present invention.
  • FIGS. 2 and 3 are diagrams illustrating a process in which a sensor detects a moving object and measures a moving object position in pixels according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a process in which a sensor detects a moving object and measures moving position related information according to another exemplary embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a position of a sensor, a direction of a moving object measured by the sensor, and related variables according to an exemplary embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a sensor-based moving object position estimation method according to an embodiment of the present invention.
  • 1 is a server for estimating the position of a moving object based on information measured by a relay node and a sensor for detecting and moving a moving object and information measured by the sensor according to an embodiment of the present invention. It is a figure which shows the connection between them.
  • a moving object estimation system includes a sensor 200, a relay node 300, and a server 400.
  • the sensor 200 may be configured of a plurality of first sensors 200-1, a second sensor 200-2, and the like, and each sensor 200 detects the moving object 100 at its own location, The direction of looking at the detected moving object 100 is measured based on the direction that the 200 is looking at, and the measured direction information is transmitted through the relay node 300 along with the serial number information assigned to the server 400. Will be sent as).
  • the serial number may be a product number assigned at the time of manufacture or a number assigned by an administrator, for example, an IP address.
  • the first step for estimating the moving object position is to recognize the moving object 100 in each sensor 200 and to measure the moving object position related information.
  • the origin should be defined in common for all the sensors 200.
  • a serial number is designated for each sensor 200, and a position of a sensor having the smallest serial number may be defined as an origin.
  • Each sensor 200 knows its position in three-dimensional space. The sensor 200 measures the direction information looking at the moving object 100 about its position in a three-dimensional space with respect to the moving object 100.
  • the information measured by the sensor 200 should be collected in one place. If two or more sensors 200 are required, the position estimation of the moving object 100 may be possible.
  • Direction information of the moving object 100 measured by each sensor 200 should be delivered to the server 400 together with the position information of the sensor 200 or the serial number information of the sensor 200. This transfer of information can be implemented with generally known sensor network technologies.
  • the relay nodes 300 are a component that delivers the information measured by the sensor 200 to the server 400.
  • the sensor 200 and the relay node 300 may be connected by wire or wirelessly. According to the number of sensors 200 and the geographical range in which the sensors 200 are distributed, and the communication radius between the sensors 200 and the server 400, the relay nodes necessary for the sensors 200 and the server 400 to exchange information ( The number of 300 may be zero, one, or plural.
  • the relay node 300 serves to transmit the measurement information coming from the sensor 200 toward the server, and on the contrary, when the information related to the setting for each sensor 200 comes from the server 400, the relay node 300 informs each sensor 200. You can also pass
  • the server 400 collects the information measured by the sensor and finally calculates the position of the aircraft.
  • the sensor 200 may include components of the relay node 300.
  • FIGS. 2 and 3 are views illustrating a process in which a sensor periodically takes a picture and detects a moving object and measures the position of the moving object in pixels in comparison with an existing background according to an embodiment of the present invention.
  • Such direction information can be calculated as follows. If the sensor 200 is an image sensor such as a camera or the like, the sensor 200 periodically detects the moving object 100 by taking a picture and compares it with an existing background. The deviation of the moving object 100 may be calculated in units of pixels. By calculating in advance how many degrees a pixel corresponds to, the direction of the moving object 100 may be converted from the pixel to an angle.
  • the sensor-1 (200-1) and the sensor-2 (200-2) periodically take a picture, when the moving object 100 does not appear is a pixel corresponding to the existing background Stored.
  • the moving object 100 when the moving object 100 appears as shown in FIG. 3, when the sensor-1 200-1 and the sensor-2 200-2 take a picture, the moving object 100 may be compared with an existing background. 100).
  • the moving object 100 is detected in the picture when there is calculated the degree of the moving object 100 is outside the center of the picture, S i, the position of the sensor 1 (200-1) in a pixel of the sensor 2 (200-2)
  • the position U of the movable body 100 may be measured by combining the angles ⁇ i and ⁇ j formed by the position S j and the position U of the movable body 100.
  • the image sensor described in the above embodiment may include a camera including a thermal imaging camera and an infrared camera and a thermal imaging sensor.
  • the sensor-based moving object position estimation system includes a moving object 100 and a sensor 200.
  • the user installs the sensor 200 in an area around the building 500 where the user wants to detect the position of the moving object 100 when the moving object 100 appears.
  • the sensors 200 recognize the mobile body 100 at each position and measure the position-related information of the mobile body 100.
  • the system may detect an area covered by a large building or a mountain well known in the radar detection method. It can solve the radar shadow problem.
  • the server 400 When the direction information of the moving object measured by the various sensor 200 nodes is collected, the server 400 combines the position information of each sensor 200 node and the direction information of the moving object 100 viewed from each sensor 200. The position of the moving object 100 is calculated on the three-dimensional plane in a direction of reducing the estimation error.
  • the basic principle of position estimation is trigonometry, and least-square estimation can be applied to reduce errors.
  • 5 is an explanatory diagram for describing in detail the position of the sensor according to the present invention, the direction of the moving object measured by the sensor, and related variables.
  • the i-th sensor 200 is called S i , and the coordinates of the position of S i are called (x i , y i , z i ).
  • the moving object 100 to be measured is referred to as U , and the position of U is represented by (x u , y u , z u ).
  • U The moving object 100 to be measured
  • U the position of U is represented by (x u , y u , z u ).
  • the position of the first sensor is defined as the origin of the three-dimensional space shared by all the sensors 200.
  • the positions S i , S j , and U projected on the xy plane are called S i ', S j ', and U ' , respectively.
  • the angle S i 's toward U' is ⁇ i
  • the angle formed by the line connecting S i and U to the xy plane is ⁇ i
  • the direction in which the sensor S i faces the moving body U May be expressed as ( ⁇ i , ⁇ i ) in a spherical coordinate system. It is possible to calculate the direction of the moving object based on the sensor measured through the coordinates.
  • a first example method of estimating the position of the moving object 100 using the direction information measured by the sensor will be described below.
  • the position of the moving object 100 may be estimated by a well-known triangulation method. As shown in FIG. 5, when a straight line is drawn at an angle ⁇ i at S i ′ in the xy plane and a straight line at an angle ⁇ j at S j ′, two straight lines meet at U ′ . Since U and U ' have the same x and y coordinates by the definition of the projection, the x and y coordinates of the moving object 100 are obtained by the intersection of two straight lines. In FIG. 3, ⁇ i satisfies the following relation based on the position of S i and the position of U.
  • Equation (1) the z coordinate of the moving object 100 is obtained by Equation (1).
  • the position of the moving object 100 can be determined by the trigonometric method described so far, but if there is an error in the sensor value, an error may also occur in the estimated position of the moving object 100. have.
  • the angle measurement of each sensor 200 node may not be accurate in actual situations due to the limited resolution of the image, image distortion caused by the wrong lens, and the like. Therefore, the positioning of the moving object 100 should be detailed in the same condition as the measurement distorted by the noise.
  • the following method may be considered as a method of reducing errors.
  • the N number of the sensor 200 is an N (N-1) / 2 .
  • the moving object 100 estimation method is as follows. If the number of sensor 200 nodes is three or more, and the azimuth measurement is inaccurate due to noise, all the goal lines from the sensor 200 nodes may not match. A straight line exiting at an angle of ⁇ i from the sensor S i ′ in the xy plane is called a target-pointing line (TPL) l i .
  • TPL target-pointing line
  • the goal direction line l i may be expressed as an equation as follows.
  • S (U) is referred to as a set of sensors 200 that detects the target moving object U 100. Assume that the number of sensors belonging to S (U) is M, and the sensors 200 belonging to S (U) are numbered from 1 to M again. Then, the second moving object 100 position estimation method estimates the point (U * ) that the sum of the square of the distance to all the target direction line is the minimum as the position of the moving object as shown in the following equation.
  • Equation (2) T is a matrix transpose that replaces all rows with corresponding columns. Since U * is an estimate for U ' , the x and y coordinates of the moving object 100 are estimated by Equation (2). After the x and y coordinates of the moving object 100 are obtained, the z coordinate of the moving object 100 can be obtained by Equation (1) as in the first method.
  • the second moving object position estimation method described so far is referred to as a 2D-TPL method.
  • An example of the position estimation method of the moving object 100 according to another embodiment of the present invention is similar to the position estimation method of the second moving object 100, except that the optimization problem is dealt with in the three-dimensional space instead of the two-dimensional space.
  • the method is an example of the third moving object 100 position estimation method.
  • This approach is called 3D-TPL.
  • the straight line passing through the sensor i at the angle measured by the moving object in the sensor i is indicated by the target direction line (3D-TPL) Li.
  • Any point v ⁇ on the 3D-TPL Li can be expressed as follows.
  • t is the real number corresponding to each point.
  • ⁇ U the position of the target moving object 100 U is defined as follows.
  • U is estimated to be a point ⁇ U that minimizes the sum of squares of the distances to the 3D-TPL defined by the sensor 200 that detects U in three-dimensional space.
  • I is a 3x3 identity matrix
  • Y and G are Mx3 and 3x1 matrices defined as follows by the coordinate values of each sensor and the angle information of the moving object measured by the sensor, respectively.
  • M is the number of sensors that detected the moving body U.
  • each sensor 200 can distinguish a plurality of moving objects 100, and feature information for each moving object 100 that can distinguish whether the moving object 100 that is observed between different sensors 200 is the same moving object 100. If it can be extracted and exchanged (each sensor 200 sends additional feature information for each mobile object 100 to the server 400, whether or not the same between the mobile object 100 observed by the different sensor 200 is the server 400.
  • the above-described method for estimating the position of the movable body 100 may be equally applicable to each movable body 100 by dividing.
  • FIG. 6 is a flowchart illustrating a sensor-based moving object position estimation method according to the present invention.
  • Two or more sensors 200 are installed where desired to detect the moving object 100.
  • the sensor 200 may be an image sensor.
  • the moving object 100 can be detected by taking a picture periodically and comparing it with an existing background.
  • the sensor 200 detects the moving object 100 (S100).
  • the sensor 200 which detects the moving object 100, measures the position-related information of the moving object 100 by capturing an image in units of a predetermined time (S200).
  • the degree of deviation of the moving object 100 from the center of the picture may be calculated in pixel units.
  • the direction angle of the moving object 100 is converted from the pixel unit measurement value based on the measured position of the moving object 100 (S300). It is possible to convert the angle from the number of pixels by calculating in advance how many degrees one horizontal and one vertical pixel correspond to.
  • the calculated angle of the moving object 100 is integrated in the data processing node or the server 400 (S400).
  • the position of the movable body 100 is estimated based on the position information of the movable body 100 integrated in the server 400 (S500).
  • the system user is notified of the estimated position of the moving object 100 (S600).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 센서 기반 이동체 위치 추정 시스템 및 방법에 관한 것으로서, 본 발명의 실시예에 따른 이동체 위치 추정 시스템은, 이동체 위치 추정 시스템에 있어서, 이동체를 인식하고 이동체 위치 관련 정보를 측정하는 센서;및 상기 센서로부터 측정된 정보들을 모아서 이동체의 위치를 계산하는 서버;를 포함한다.

Description

센서 기반 이동체 위치 추정 시스템 및 방법
본 발명은 센서를 통하여 측정한 방향 정보에 기반하여 이동체의 위치를 추정하는 시스템 및 방법에 관한 것으로, 상세하게는 분산된 센서들이 이동체를 탐지하여 이동체 위치 관련 정보를 측정하고 사용자에게 알림으로써 허가받지 않은 이동체의 접근에 의한 사생활 노출 문제를 방지하고 군사용 목적으로 활용될 수 있도록 하는 센서 기반 이동체 위치 추정 시스템 및 방법에 관한 것이다.
최근 아마존이 드론을 물건 배송에 직접 투입하기 위해서 시험 운행을 계속 하는 등 드론 또는 무인 이동체를 활용하고자 하는 시도가 점차 증가하고 있고, 무인 이동체 기술 자체도 많은 회사 또는 학계에서 꾸준히 연구가 되고 있다.
이처럼 무인 이동체는 물건 배송, 산불 탐지, 조난자 탐지 등의 목적을 위해서 활용될 수 있는 반면, 카메라가 달린 무인 이동체를 일반 사용자가 자유롭게 날리게 되면 무인 이동체를 이용한 엿보기 등의 사생활 침해 문제가 발생할 수 있다. 실제로 2015년에는 개인용 드론이 미국 백악관에 추락한 사례도 두 차례나 있었다.
또한, 개인적인 사생활 침해뿐만 아니라 최근에는 무인 이동체를 군사용 목적으로 개발 또는 사용하는 사례들도 보고되고 있다. 드론을 군사용 목적으로 이용하는 경우에는 드론의 크기가 기존의 비행기에 비해 작은 관계로 전자기파의 반사 면적이 작아서 기존의 군용 레이더로 탐지되지 않는 문제가 발생할 수 있다.
따라서, 개인용, 상업용, 군사용 드론의 개발 속도를 고려했을 때 드론 자체 기술뿐만 아니라 드론 탐지 기술의 개발이 요구된다.
또한, 기존의 레이더 탐지 방식으로 이동체 위치 추정 시 잘 알려진 한계점인 큰 건물이나 산으로 가린 영역을 탐지할 수 없는 레이더 음영(radar shadow) 문제점의 해결이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 센서를 이용하여 이동체 탐지 및 이동체 위치 관련 정보를 측정하고, 측정 값을 이용하여 이동체의 각도를 계산한 후, 이동체의 위치를 최종적으로 추정하고 사용자에게 전송될 수 있도록 하는 센서 기반 이동체 위치 추정 시스템 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 센서들을 원하는 지역에 자유롭게 위치시켜 이동체 위치 관련 정보를 측정함으로써 레이더 탐지 방식의 레이더 음영 문제를 해결할 수 있도록 하는 센서 기반 이동체 위치 추정 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따른 센서 기반 이동체 위치 추정 시스템은, 이동체 위치 추정 시스템에 있어서, 이동체를 인식하고 이동체 위치 관련 정보를 측정하는 센서;및 상기 센서로부터 측정된 정보들을 모아서 이동체의 위치를 계산하는 서버;를 포함할 수 있다.
상기 센서가 전송한 정보를 수신하여 상기 서버로 전달하는 중계노드;를 더 포함할 수 있다.
상기 센서는 이미지 센서일 수 있다.
상기 센서는 2개 이상일 수 있다.
본 발명의 실시예에 따른 센서 기반 이동체 위치 추정 방법은, 이동체 위치 추정 방법에 있어서, 위치가 고정된 2개 이상의 센서가 일정시간 단위로 촬영하는 단계; 상기 각 센서가 기존 이미지와 비교하여 이동체를 탐지하고, 이동체 탐지 시 사진의 중심에서 이동체가 벗어난 각도를 픽셀 단위로 계산하는 단계; 및 상기 센서 별로 계산된 각도를 서버에서 종합하여 이동체의 위치를 추정하는 단계;를 포함할 수 있다.
상기 센서는 이미지 센서일 수 있다.
상기 계산하는 단계는 픽셀 단위로 계산할 수 있다.
상기 이동체의 위치를 추정하는 단계 이전에, 상기 센서 별로 계산된 각도를 중계노드로 전달하는 단계;를 더 포함할 수 있다.
본 발명의 실시예에 따른 센서 기반 이동체 위치 추정 방법은, 각도 측정을 이용한 이동체의 위치를 추정하는 방법에 있어서, 2개의 센서에 의해 측정된 이동체 위치를 수평면상에 이차원으로 투영하는 단계; 및 상기 이동체 위치의 고도 각을 이용하여 높이를 계산하는 단계;를 포함할 수 있다.
상기 센서가 복수 개인 경우, 2개의 센서를 선택하는 단계; 및 상기 복수 개의 센서에 대한 모든 순서쌍에 대하여 순서쌍 위치에 대한 평균을 구하는 단계;를 더 포함할 수 있다.
센서 노드의 수가 3개 이상이고 센서 노드로부터의 모든 목표 지향선(TPL)이 일치하는 지점이 없는 경우, 상기 이동체 위치를 수평면상에 이차원으로 투영하여 얻는 좌표 위치는 각 센서 노드로부터 선택된 포인트와 목표 지향선(TPL) 사이의 거리의 제곱의 합을 최소화하는 포인트로 추정하는 단계;를 더 포함할 수 있다.
[수학식1]
Figure PCTKR2017012185-appb-I000001
상기 수학식1에서, U*는 각 센서 노드로부터 선택된 포인트와 목표지향선(TPL) 사이의 거리의 제곱의 합을 최소화 하는 포인트,
Figure PCTKR2017012185-appb-I000002
목표지향선(TPL)은 aix+biy+ci=0, ai=sinθi, bi=-cosθi, ci=-sinθi+cosθiyi, C=(-c1,-c2,…,-cm)T, M은 이동체 위치를 검출한 센서의 수, T는 모든 행을 대응하는 열로 바꾸는 행렬 전치, C는 각 센서를 통과하는 목표지향선을 정의하는 계수 ai, bi, ci 중 ci에 기반하는 벡터 C, X는 각 센서를 통과하는 목표지향선을 정의하는 계수 ai, bi, ci 중 ai, bi에 기반하는 행렬 X.
상기 이동체 위치를 수평면상에 이차원으로 투영하지 않고 3차원 공간에서 직접 최소 자승 방식으로 추정하는 하기의 수학식2와 같이 계산하는 단계;를 더 포함할 수 있다.
[수학식2]
Figure PCTKR2017012185-appb-I000003
상기 수학식2에서, ^U 는 3차원 공간에서 각 센서로부터 선택된 점과 3D-TPL 사이의 거리의 제곱의 합을 최소화하는 점, 상기 3D-TPL은 센서를 통과하고 센서에 의해 측정된 방위각 및 고도각을 갖는 선,
Figure PCTKR2017012185-appb-I000004
, I는 3×3 항등 행렬, M은 U를 검출한 센서의 수, U는 이동체의 위치, xi는 센서 i의 x좌표, yi는 센서 i의 y좌표, zi는 센서 i의 z좌표, φi는 센서 i가 바라보는 방향과 이동체와의 고도각, θi는 센서 i가 바라보는 방향과 2차원 평면에 투영된 이동체의 위치와의 방위각, Y는 각 센서의 좌표값과 센서가 측정한 이동체의 각도 정보에 의해 정의되는 M×3 행렬, G는 각 센서의 좌표값과 센서가 측정한 이동체의 각도 정보에 의해 정의되는 3×1행렬.
상기와 같이 구성되는 본 발명인 센서 기반 이동체 위치 추정 시스템 및 방법에 따르면, 센서를 이용하여 이동체 탐지 및 이동체 위치 관련 정보를 측정하고, 측정 값을 이용하여 이동체의 각도를 계산하여 이동체의 위치를 최종적으로 추정하고 사용자에게 전송할 수 있다.
또한, 센서들을 원하는 지역에 자유롭게 위치시켜 이동체 위치 관련 정보를 측정함으로써 레이더 탐지 방식의 레이더 음영 문제를 해결할 수 있다.
도 1은 본 발명의 실시예에 따른 센서 기반 이동체 위치 추정 시스템을 나타내는 도면이다.
도 2 및 도 3은 본 발명의 실시예에 따른 센서가 이동체를 탐지하고 이동체 위치를 픽셀 단위로 측정하는 과정을 나타내는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 센서가 이동체를 탐지하고 이동체 위치 관련 정보를 측정하는 과정을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 센서의 위치와 센서에서 측정하는 이동체의 방향 및 그와 관련된 변수들을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 센서 기반 이동체 위치 추정 방법의 흐름도를 도시한 도면이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 이동체를 탐지하고 방향을 측정하는 센서들과 센서에서 측정한 정보들을 서버로 전달해주는 중계노드와 센서에서 측정한 정보들에 기반해서 이동체의 위치를 추정하는 서버간의 연결을 나타내는 도면이다.
도 1에서 본 발명의 실시예에 따른 이동체 위치 추정 시스템은 센서(200), 중계노드(300) 및 서버(400)를 포함하여 구성된다. 센서(200)는 제1 센서(200-1), 제2 센서(200-2) 등의 복수 개로 구성될 수 있으며 각 센서(200)는 자신의 위치에서 이동체(100)를 탐지하고, 센서(200)가 바라보고 있는 방향을 중심으로 탐지된 이동체(100)를 바라보는 방향을 측정하고, 이렇게 측정된 방향 정보를 자신에게 부여된 일련번호 정보와 함께 중계노드(300)를 경유하여 서버(400)로 전송하는 기능을 수행하게 된다.
일련번호는 제조 시에 할당된 제품 번호일 수도 있고, 관리자가 할당한 번호, 예를 들면 IP 주소일 수 있다.
이동체 위치 추정을 위한 첫 번째 단계로는 각 센서(200)에서 이동체(100)를 인식하고, 이동체 위치 관련 정보를 측정하는 단계이다. 본 발명에서는 모든 센서(200)가 동일한 3차원 좌표축 정보를 공유한다고 가정한다. 이를 위해서는 모든 센서(200)에 대해서 원점이 공통적으로 정의되어야 한다.
예를 들어, 각 센서(200)별로 일련번호가 지정되어 있고 가장 작은 일련번호를 가진 센서의 위치가 원점으로 정의될 수 있다. 각 센서(200)는 3차원 공간에서 자신의 위치를 알고 있다. 센서(200)는 이동체(100)와 관련하여 3차원 공간에서 자신의 위치를 중심으로 이동체(100)를 바라보는 방향 정보를 측정한다.
센서(200)에서 이동체(100) 탐지 및 이동체(100) 방향 정보가 얻어지고 나면 다음 단계로는 센서(200)가 측정한 정보가 한 곳으로 모아져야 한다. 센서(200)는 2개 이상만 있으면 이동체(100)의 위치 추정이 가능할 수 있다.
각 센서(200)에서 측정한 이동체(100)의 방향 정보는 센서(200)의 위치 정보 또는 센서(200)의 일련번호 정보와 함께 서버(400)로 전달이 되어야 한다. 이러한 정보의 전달은 일반적으로 잘 알려진 센서 네트워크 기술로 구현될 수 있다.
이 때, 센서(200)에서 데이터 전송을 위해서 사용하는 통신 기술 및 송신 전력 등에 따라 통신 반경이 제한되어 측정한 정보가 바로 서버(400)로 전달이 되지 않을 수 있기 때문에, 중간에 정보를 전달하는 기능의 노드가 필요한 경우가 발생할 수 있다. 이러한 노드들을 중계노드(300)라고 한다. 즉, 중계노드(300)는 센서(200)에서 측정한 정보들을 서버(400)로 전달해주는 구성요소이다.
센서(200)와 중계노드(300)는 유선으로 연결이 될 수도 있고, 무선으로 연결이 될 수도 있다. 센서(200)의 개수와 센서(200)가 분포하는 지리적인 범위, 센서(200)와 서버(400)의 통신 반경에 따라서 센서(200)와 서버(400)가 정보를 주고 받는데 필요한 중계노드(300)의 개수는 0개일 수도 있고, 하나일 수도 있고, 복수개일 수도 있다.
중계노드(300)는 센서(200)에서 오는 측정 정보들은 서버 방향으로 전달해 주는 역할을 하고, 반대로 서버(400)에서 각 센서(200)에 대한 설정에 관련된 정보가 오면 각 센서(200)로 정보를 전달해 줄 수도 있다.
서버(400)는 센서가 측정한 정보들을 모아서 비행체의 위치를 최종적으로 계산하는 기능을 수행한다. 이를 위해 센서(200), 중계노드(300)의 구성요소를 포함할 수 있다.
도 2 및 도 3은 본 발명의 실시예에 따른 센서가 주기적으로 사진을 찍어서 기존의 배경과 비교하여 이동체를 탐지하고 이동체 위치를 픽셀 단위로 측정하는 과정을 나타내는 도면이다.
이와 같은 방향 정보는 다음과 같이 계산이 가능하다. 센서(200)가 카메라 등과 같은 이미지 센서라면 센서(200)는 주기적으로 사진을 찍어서 기존의 배경과 비교함으로써 이동체(100)의 탐지가 가능하고, 이동체(100)가 사진에서 특정되면 사진의 중심에서 이동체(100)가 벗어난 정도를 픽셀 단위로 계산할 수 있다. 하나의 픽셀이 몇 도에 해당하는지 미리 계산해 두면 픽셀로부터 이동체(100)의 방향을 각도로 환산할 수 있다.
*우선, 도 2에 도시한 바와 같이, 센서-1(200-1)과 센서-2(200-2)는 주기적으로 사진을 찍어서 이동체(100)가 나타나지 않았을 때 기존의 배경에 해당하는 픽셀이 저장된다.
다음으로, 도 3에서 도시한 바와 같이 이동체(100)가 나타난 경우, 센서-1(200-1)과 센서-2(200-2)가 사진을 찍었을 때에, 기존의 배경과 비교하여 이동체(100)를 탐지한다.
이동체(100)가 사진에서 탐지되면 사진의 중심에서 이동체(100)가 벗어난 정도를 계산하게 되는데, 픽셀에서 센서-1(200-1)의 위치인 Si, 센서-2(200-2)의 위치인 Sj와 이동체(100)의 위치인 U가 이루는 각각의 각도인 θi, θj를 조합하여 이동체(100)의 위치(U)를 측정할 수 있다.
상기 실시예로 기재한 이미지 센서는 열화상 카메라와 적외선 카메라를 포함하는 카메라 및 열영상 센서를 포함할 수 있다.
도 4에 도시된 바와 같이 본 발명의 실시예에 따른 센서 기반 이동체 위치 추정 시스템은 이동체(100) 및 센서(200)로 구성된다.
사용자가 이동체(100)의 출현 시 이동체(100)의 위치를 탐지하고 싶은 건물(500) 주변 등의 구역에 센서(200)를 설치한다. 이동체(100)가 출현하면 센서(200)들은 각 위치에서 이동체(100)를 인식하고, 이동체(100) 위치 관련 정보를 측정한다.
본 발명의 실시예에 따른 시스템은 사용자가 센서(200)들을 원하는 지역에 자유롭게 위치시켜도 이동체(100) 위치 추정에 문제가 없기 때문에, 레이더 탐지 방식에서 잘 알려진 큰 건물이나 산으로 가린 영역을 탐지할 수 없는 레이더 음영(radar shadow) 문제를 해결할 수 있다.
여러 센서(200) 노드에서 측정한 이동체의 방향 정보들이 모이면 서버(400)는 각 센서(200) 노드의 위치 정보와 각 센서(200)에서 이동체(100)를 바라보는 방향 정보들을 종합하여 위치 추정 오차를 줄이는 방향으로 3차원 평면상에서 이동체(100)의 위치를 계산하게 된다.
위치 추정의 기본 원리는 삼각법이며, 오차를 줄이기 위하여 최소 자승(least-square) 추정 방식 등이 적용 될 수 있다.
서버(400)에서 이동체(100)의 위치를 추정할 때 사용할 수 있는 구체적인 방식의 몇 가지 예는 이하 설명한다.
도 5는 본 발명에 따른 센서의 위치와 센서에서 측정하는 이동체의 방향 및 그와 관련된 변수들을 구체적으로 설명하기 위한 설명도이다.
i번째 센서(200)를 Si라고 하고, Si의 위치에 관한 좌표를 (xi,yi,zi)라고 한다. 측정 대상이 되는 이동체(100)를 U라고 하고, U의 위치는 (xu,yu,zu)로 나타낸다. 설명의 편의를 위해서 모든 센서(200)들이 동일하게 3차원 평면에서 y축 방향을 향하고 있다고 가정한다. 그리고, 첫번째 센서의 위치를 모든 센서(200)가 공유하는 3차원 공간의 원점으로 정의한다.
Si, Sj, U가 x-y 평면에 투영된(projected) 지점을 각각 Si',Sj', U'이라고 한다. x-y 평면에서 Si'가 U'을 향하는 각도를 θi, Si와 U를 연결한 선이 x-y평면에 대해서 이루는 각도를 φi라고 하면, 센서 Si 가 이동체 U(100)를 바라보는 방향은 구면 좌표계(spherical coordinate system)에서 (θi, φi)로 표현될 수 있다. 상기 좌표를 통해 측정한 센서를 기준으로 이동체의 방향을 산출할 수 있게 된다.
센서에서 측정한 방향 정보를 이용해서 이동체(100)의 위치를 추정하는 첫 번째 예제 방법을 이하 기술한다.
센서(200)가 측정한 방향 정보에 오차가 없다면 이미 잘 알려진 삼각법으로 이동체(100)의 위치를 추정할 수 있다. 도 5에 도시된 바와 같이 x-y 평면에서 Si'에서 θi 각도로 직선을 그리고, Sj'에서 θj 각도로 직선을 그리면 두 직선이 U'에서 만나게 된다. 투영의 정의에 의해서 U와 U'은 x, y 좌표가 같기 때문에, 이동체(100)의 x, y 좌표가 두 직선의 교점에 의해서 구해지게 된다. 도 3에서 Si 의 위치와 U의 위치에 기반하여 φi 는 다음과 같은 관계식을 만족하게 된다.
Figure PCTKR2017012185-appb-I000005
위 수식을 zu에 대해서 풀어보면 다음 수식을 얻을 수 있다.
Figure PCTKR2017012185-appb-I000006
… 수학식 (1)
따라서, 이동체(100)의 z 좌표는 수학식 (1)에 의해서 구해지게 된다.
센서(200)에서 측정한 이동체 각도에 오차가 없으면 지금까지 설명한 삼각법 방식으로 이동체(100)의 위치를 알아낼 수 있으나, 센서값에 오차가 있는 경우에는 이동체(100)의 추정 위치에도 오차가 생길 수 있다. 각 센서(200) 노드의 각도 측정은 이미지의 제한된 해상도, 부정한 렌즈에 의한 이미지 왜곡 등으로 인해 실제 상황에서는 정확하지 않을 수 있다. 따라서 잡음에 의해 왜곡된 측정과 같은 조건 하에서 이동체(100)의 위치 파악을 상세하게 해야 한다.
센서(200)가 여러 개인 경우 오차를 줄이는 방법으로 다음과 같은 방법을 고려할 수 있다. 센서(200)의 개수가 N개라고 하면 N개의 센서(200)중에 2개의 센서(200)를 뽑는 방법은 N(N-1)/2가 된다. 각각 선정된 센서(200) 세트별로 삼각법을 적용하여 이동체(100)의 위치를 추정하고, 이렇게 추정된 이동체(100)의 위치를 모든 순서쌍에 대해서 평균을 구하여 이동체(100)의 위치로 추정하는 방식을 첫 번째 추정 방식 또는 센트로이드(centroid) 방식으로 지칭한다.
본 발명의 다른 실시예에 의한 이동체(100) 추정 방식은 다음과 같다. 센서(200) 노드의 수가 3개 이상이고, 방위각 측정이 노이즈로 인해 정확하지 않은 경우, 센서(200) 노드로부터의 모든 목표지향선이 일치하지 않을 수 있다. x-y 평면에서 센서 Si'에서 θi 의 각도로 나가는 직선을 목표지향선(target-pointing line: TPL) li 라고 한다. 목표지향선 li 는 다음과 같이 수식으로 표현될 수 있다.
Figure PCTKR2017012185-appb-I000007
여기에서 ai, bi, ci는 다음과 같이 표현할 수 있다.
Figure PCTKR2017012185-appb-I000008
Figure PCTKR2017012185-appb-I000009
센서 Si'의 방향 측정값에 오차가 없었다면 li 는 U'을 지나게 될 것이고, 측정에 오차가 있었다면 U'을 통과하지 않게 될 것이다. x-y 평면상의 임의의 지점 β=(t1,t2)T와 목표지향선 li 와의 거리는 다음과 같이 표현될 수 있다.
Figure PCTKR2017012185-appb-I000010
여기에서 두 번째 등호는 ai 2 + bi2 = sin2 θi + cos2 θi = 1이기 때문에 성립한다. S(U)를 목표 이동체 U(100)를 탐지한 센서(200)들의 집합이라고 한다. S(U)에 속하는 센서의 개수를 M개라고 하고, S(U)에 속하는 센서(200)들은 다시 1부터 M까지 번호가 붙어 있다고 가정한다. 그러면, 두번째 이동체(100) 위치 추정 방식은 아래 수식과 같이 모든 목표지향선까지 거리의 제곱의 합이 최소가 되는 점(U*)을 이동체(100)의 위치로 추정한다.
Figure PCTKR2017012185-appb-I000011
이 문제는 최소 자승(least square) 최적화 문제가 되고, 각 센서를 통과하는 목표지향선을 정의하는 계수 ai, bi, ci 중 ci에 기반하는 벡터 C와 목표지향선을 정의하는 계수 ai, bi, ci 중 ai, bi에 기반하는 행렬 X를 다음과 같이 정의하면,
Figure PCTKR2017012185-appb-I000012
Figure PCTKR2017012185-appb-I000013
이 최적화 문제의 해 U*는 다음과 같이 구해질 수 있다.
Figure PCTKR2017012185-appb-I000014
… 수학식 (2)
상기 수학식 (2)에서 T는 모든 행을 대응하는 열로 바꾸는 행렬 전치이다. U*는 U'에 대한 추정이기 때문에, 수학식 (2)에 의해서 이동체(100)의 x, y 좌표가 추정된다. 이동체(100)의 x, y 좌표가 얻어지고 나면 첫 번째 방식과 동일하게 수학식 (1)에 의해서 이동체(100)의 z좌표가 얻어질 수 있다. 지금까지 기술한 두 번째 이동체(100) 위치 추정 방식을 2D-TPL 방식이라 지칭한다.
발명의 또 다른 실시예에 따른 이동체(100) 위치 추정 방식의 예는 두 번째 이동체(100) 위치 추정 방식과 유사하나, 최적화 문제를 2차원 공간이 아닌 3차원 공간에서 다룬다는 차이점이 있다.
3차원 공간에서 각 센서(200)노드를 통과하는 목표지향선(TPL)들과 거리의 제곱의 합을 최소로 만드는 3차원 공간에서의 지점을 찾아 그 지점으로 이동체(100)의 위치를 추정하는 방식이 세 번째 이동체(100) 위치 추정 방식의 예이다. 이 방식은 3D-TPL 이라고 지칭한다. 센서 i에서 이동체를 측정한 각도로 센서 i를 통과하는 직선을 목표지향선(3D-TPL) Li로 표시한다. 3D-TPL Li상의 임의의 점 v→는 다음과 같이 나타낼 수 있다.
Figure PCTKR2017012185-appb-I000015
여기서 t는 각 점에 해당하는 실수이다.
점 γ=(t1,t2,t3)와 3D-TPL Li 사이의 거리 d((t1,t2,t3), Li) 는 다음과 같이 나타낼 수 있다.
Figure PCTKR2017012185-appb-I000016
… 수학식 (3)
Li는 Si의 측정으로부터 결정되므로 fi(t1,t2,t3) = d((t1,t2,t3), Li)로 정의한다. ^U에 의해 목표 이동체(100) U의 위치를 다음과 같이 정의한다.
Figure PCTKR2017012185-appb-I000017
… 수학식 (4)
여기서
Figure PCTKR2017012185-appb-I000018
이고, M은 U를 검출한 센서(200)의 수이다. 즉, U는 3차원 공간에서 U를 검출한 센서(200)에 의해 정의된 3D-TPL 까지의 거리의 제곱의 합을 최소화하는 점 ^U로 추정된다.
fi(t1,t2,t3)의 헤시안(hessian) 행렬은 양의 준정부호(positive semidefinite) 행렬이 되기 때문에, 수학식 (3)에 의해 정의 된 fi(t1,t2,t3)는 아래로 볼록(convex)하다. fi는 아래로 볼록하기 때문에, fi의 합, 즉 수학식 (4)의 F는 다시 아래로 볼록해진다.
F는 2차 및 아래로 볼록이기 때문에 F는 다음 방정식을 동시에 충족하는 점 γ=(t1,t2,t3)T에서 전역 최소값을 가지게 된다.
Figure PCTKR2017012185-appb-I000019
위의 연립 방정식을 요약하면, 다음과 같은 수식이 된다.
Figure PCTKR2017012185-appb-I000020
… 수학식 (5)
여기서 I는 3×3 항등 행렬이고, Y와 G는 각 센서의 좌표값과 센서가 측정한 이동체의 각도 정보에 의해 각각 아래와 같이 정의되는 M×3 및 3×1 행렬이다. 여기에서 M은 이동체 U를 검출한 센서의 개수이다.
Figure PCTKR2017012185-appb-I000021
수학식 (5)의 해는 수학식 (5)의 양변에 (I-YTY)- 1 을 곱하여 구할 수 있으므로 수학식 (4)과 수학식 (5)를 결합하면,
Figure PCTKR2017012185-appb-I000022
가 성립한다.
상기 기술한 이동체(100) 위치 추정 방식은 각 센서(200)가 최대 하나의 이동체(100)만을 관측하고 있는 것으로 가정하여 기재하였으나, 각 센서(200)가 복수개의 이동체(100)를 관측하는 경우에도 각 센서(200)가 복수개의 이동체(100)를 구별할 수 있고, 서로 다른 센서(200)간에 관측하는 이동체(100)가 동일한 이동체(100)인지를 구분할 수 있는 이동체(100)별 특징 정보를 추출하여 교환할 수 있다면 (각 센서(200)가 이동체(100)별 추가 특징 정보를 서버(400)로 보내주면 서로 다른 센서(200)가 관측한 이동체(100)간의 동일성 여부는 서버(400)에서 판단 가능) 앞서 기술한 이동체(100) 위치 추정 방식은 각 이동체(100) 별로 나누어서 동일하게 적용이 가능할 수 있다.
도 6은 본 발명인 센서 기반 이동체 위치 추정 방법의 흐름도를 도시한 것이다.
이동체(100)를 탐지하기 원하는 곳에 2개 이상의 센서(200)를 설치한다. 센서(200)는 이미지 센서일 수 있다. 주기적으로 사진을 찍어서 기존의 배경과 비교함으로써 이동체(100) 탐지가 가능하다.
이동체(100)가 나타났을 때 센서(200)는 이동체(100)를 탐지한다(S100).
이동체(100)를 탐지한 센서(200)는 이미지를 일정시간 단위로 촬영하여 이동체(100) 위치 관련 정보를 측정한다(S200). 이동체(100)가 사진의 중심에서 벗어난 정도를 픽셀 단위로 계산할 수 있다.
상기 측정된 이동체(100) 위치 관련 정보를 통하여 이동체(100)의 방향 각도를 픽셀단위 측정값으로부터 환산하여 계산한다(S300). 가로방향 하나의 픽셀과 세로방향 하나의 픽셀이 몇 도에 해당하는지 미리 계산해두면 픽셀개수에서 각도로 환산이 가능하다.
상기 계산된 이동체(100)의 각도를 데이처 처리 노드 또는 서버(400)에서 종합한다(S400).
상기 서버(400)에 종합된 이동체(100) 위치 정보를 통하여 이동체(100)의 위치를 추정한다(S500). 추정된 이동체(100)의 위치를 시스템 사용자에게 알린다(S600).
*
상술한 실시예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다.
따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. 또한, 이상에서 실시예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (13)

  1. 이동체 위치 추정 시스템에 있어서,
    이동체를 인식하고 이동체 위치 관련 정보를 측정하는 센서; 및
    상기 센서로부터 측정된 정보들을 수집하여 이동체의 위치를 계산하는 서버;를 포함하는 이동체 위치 추정 시스템.
  2. 제1항에 있어서,
    상기 센서가 전송한 정보를 수신하여 상기 서버로 전달하는 중계노드;를 더 포함하는 이동체 위치 추정 시스템.
  3. 제1항에 있어서,
    상기 센서는 이미지 센서인 것을 특징으로 하는 이동체 위치 추정 시스템.
  4. 제1항에 있어서,
    상기 센서는 2개 이상인 것을 특징으로 하는 이동체 위치 추정 시스템.
  5. 제3항에 있어서,
    상기 이미지 센서는 열화상 카메라 및 적외선 카메라를 포함하는 카메라 및
    열영상 센서 중 하나인 것을 특징으로 하는 이동체 위치 추정 시스템.
  6. 이동체 위치 추정 방법에 있어서,
    위치가 고정된 2개 이상의 센서가 일정시간 단위로 촬영하는 단계;
    상기 각 센서가 기존 이미지와 비교하여 이동체를 탐지하고, 이동체 탐지 시 사진의 중심에서 이동체가 벗어난 각도를 픽셀 단위로 계산하는 단계;및
    상기 센서 별로 계산된 각도를 서버에서 종합하여 이동체의 위치를 추정하는 단계;를 포함하는 이동체 위치 추정 방법.
  7. 제6항에 있어서,
    상기 센서는 이미지 센서인 것을 특징으로 하는 이동체 위치 추정 방법.
  8. 제6항에 있어서,
    상기 계산하는 단계는 픽셀 단위로 계산하는 것을 특징으로 하는 이동체 위치 추정 방법.
  9. 제6항에 있어서,
    상기 이동체의 위치를 추정하는 단계 이전에, 상기 센서 별로 계산된 각도를 중계노드로 전달하는 단계;를 더 포함하는 이동체 위치 추정 방법.
  10. 각도 측정을 이용한 이동체의 위치를 추정하는 방법에 있어서,
    2개의 센서에 의해 측정된 이동체 위치를 수평면상에 이차원으로 투영하는 단계; 및
    상기 이동체 위치의 고도 각을 이용하여 높이를 계산하는 단계;를 포함하는 삼각법에 의한 이동체 위치 추정 방법.
  11. 제10항에 있어서,
    상기 센서가 복수 개인 경우,
    2개의 센서를 선택하는 단계; 및
    상기 복수 개의 센서에 대한 모든 순서쌍에 대하여 순서쌍 위치에 대한 평균을 구하는 단계;를 더 포함하는 삼각법에 의한 이동체 위치 추정 방법.
  12. 제10항에 있어서,
    센서 노드의 수가 3개 이상이고 센서 노드로부터의 모든 목표 지향선(TPL)이 일치하는 지점이 없는 경우,
    상기 이동체 위치를 수평면상에 이차원으로 투영하여 얻는 좌표 위치는 각 센서 노드로부터 선택된 포인트와 목표 지향선(TPL) 사이의 거리의 제곱의 합을 최소화하는 포인트로 추정하는 단계;를 더 포함하는 하기의 수학식1을 만족하는 것을 특징으로 하는 삼각법에 의한 이동체 위치 추정 방법.
    [수학식1]
    Figure PCTKR2017012185-appb-I000023
    상기 수학식1에서, U*는 각 센서 노드로부터 선택된 포인트와 목표지향선(TPL) 사이의 거리의 제곱의 합을 최소화 하는 포인트,
    Figure PCTKR2017012185-appb-I000024
    목표지향선(TPL)은 aix+biy+ci=0, ai=sinθi, bi=-cosθi, ci=-sinθi+cosθiyi, C=(-c1,-c2,…,-cm)T, M은 이동체 위치를 검출한 센서의 수, T는 모든 행을 대응하는 열로 바꾸는 행렬 전치, C는 각 센서를 통과하는 목표지향선을 정의하는 계수 ai, bi, ci 중 ci에 기반하는 벡터 C, X는 각 센서를 통과하는 목표지향선을 정의하는 계수 ai, bi, ci 중 ai, bi에 기반하는 행렬 X.
  13. 제10항에 있어서,
    상기 이동체 위치를 수평면상에 이차원으로 투영하지 않고 3차원 공간에서 직접 최소 자승 추정방식을 사용하여 하기의 수학식2와 같이 계산하는 단계;를 더 포함하는 이동체 위치 추정 방법.
    [수학식2]
    Figure PCTKR2017012185-appb-I000025
    상기 수학식2에서, ^U 는 3차원 공간에서 각 센서로부터 선택된 점과 3D-TPL 사이의 거리의 제곱의 합을 최소화하는 점, 상기 3D-TPL은 센서를 통과하고 센서에 의해 측정된 방위각 및 고도각을 갖는 선,
    Figure PCTKR2017012185-appb-I000026
    ,I는 3×3 항등 행렬, M은 U를 검출한 센서의 수, U는 이동체의 위치, xi는 센서 i의 x좌표, yi는 센서 i의 y좌표, zi는 센서 i의 z좌표, φi는 센서 i가 바라보는 방향과 이동체와의 고도각, θi는 센서 i가 바라보는 방향과 2차원 평면에 투영된 이동체의 위치와의 방위각, Y는 각 센서의 좌표값과 센서가 측정한 이동체의 각도 정보에 의해 정의되는 M×3 행렬, G는 각 센서의 좌표값과 센서가 측정한 이동체의 각도 정보에 의해 정의되는 3×1행렬.
PCT/KR2017/012185 2017-02-24 2017-10-31 센서 기반 이동체 위치 추정 시스템 및 방법 WO2018155783A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/215,811 US10891752B2 (en) 2017-02-24 2018-12-11 Sensor-based moving object localization system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0024743 2017-02-24
KR1020170024743A KR101837893B1 (ko) 2017-02-24 2017-02-24 센서 기반 이동체 위치 추정 시스템 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/215,811 Continuation US10891752B2 (en) 2017-02-24 2018-12-11 Sensor-based moving object localization system and method

Publications (1)

Publication Number Publication Date
WO2018155783A1 true WO2018155783A1 (ko) 2018-08-30

Family

ID=62082302

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/012185 WO2018155783A1 (ko) 2017-02-24 2017-10-31 센서 기반 이동체 위치 추정 시스템 및 방법

Country Status (3)

Country Link
US (1) US10891752B2 (ko)
KR (1) KR101837893B1 (ko)
WO (1) WO2018155783A1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997337A (ja) * 1995-09-29 1997-04-08 Fuji Heavy Ind Ltd 侵入物監視装置
JP2001285849A (ja) * 2000-03-29 2001-10-12 Minolta Co Ltd 撮影システム
JP2004326693A (ja) * 2003-04-28 2004-11-18 Sony Corp 画像認識装置及び方法、並びにロボット装置
JP2009020779A (ja) * 2007-07-13 2009-01-29 Kokusai Kogyo Co Ltd 建築物の情報処理システムおよび建築物の情報処理方法
KR20110134228A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
JP2014225762A (ja) * 2013-05-15 2014-12-04 富士通株式会社 情報処理システム、情報処理装置、プログラム及び情報処理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0973137B1 (de) * 1998-07-06 2003-01-08 Siemens Building Technologies AG Bewegungsmelder
JP3880759B2 (ja) * 1999-12-20 2007-02-14 富士通株式会社 移動物体検出方法
US9560321B2 (en) * 2011-01-11 2017-01-31 Panasonic Intellectual Property Management Co., Ltd. Image capturing system, camera control device for use therein, image capturing method, camera control method, and computer program
US9684435B2 (en) * 2014-01-13 2017-06-20 Disney Enterprises, Inc. Camera selection interface for producing a media presentation
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US10408574B2 (en) * 2016-08-24 2019-09-10 The Boeing Company Compact laser and geolocating targeting system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997337A (ja) * 1995-09-29 1997-04-08 Fuji Heavy Ind Ltd 侵入物監視装置
JP2001285849A (ja) * 2000-03-29 2001-10-12 Minolta Co Ltd 撮影システム
JP2004326693A (ja) * 2003-04-28 2004-11-18 Sony Corp 画像認識装置及び方法、並びにロボット装置
JP2009020779A (ja) * 2007-07-13 2009-01-29 Kokusai Kogyo Co Ltd 建築物の情報処理システムおよび建築物の情報処理方法
KR20110134228A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법
JP2014225762A (ja) * 2013-05-15 2014-12-04 富士通株式会社 情報処理システム、情報処理装置、プログラム及び情報処理方法

Also Published As

Publication number Publication date
US10891752B2 (en) 2021-01-12
KR101837893B1 (ko) 2018-04-26
US20200027233A1 (en) 2020-01-23

Similar Documents

Publication Publication Date Title
US20190147647A1 (en) System and method for determining geo-location(s) in images
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
WO2016153100A1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US11900669B2 (en) Calibration device and calibration method
WO2016206108A1 (en) System and method for measuring a displacement of a mobile platform
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
CN110869978B (zh) 信息处理装置和信息处理方法
WO2018066754A1 (ko) 라이다 센서를 이용한 차량의 자세 추정 방법
WO2018124337A1 (ko) 적응적 관심영역 및 탐색창을 이용한 객체 검출 방법 및 장치
Koryttsev et al. Practical aspects of range determination and tracking of small drones by their video observation
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
JP2020112438A (ja) 海面計測システム、海面計測方法および海面計測プログラム
WO2012144848A2 (ko) 기설정 배율각을 가진 다중투사광의 2차원 영상획득을 통한 3차원 인식 방법
WO2018155783A1 (ko) 센서 기반 이동체 위치 추정 시스템 및 방법
WO2024096387A1 (ko) Gnss 오차 공유를 이용한 드론 협동 항법
WO2020171315A1 (ko) 무인기 착륙 시스템
WO2023063661A1 (ko) 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치
WO2015026002A1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
WO2013081322A1 (ko) 원 마커를 이용한 구형물체 비행정보 추정 방법
WO2014046325A1 (ko) 3차원 계측 시스템 및 그 방법
WO2021096320A1 (ko) 3차원 스캐너를 이용한 로봇의 위치 보정 방법 및 장치
Li et al. Method for horizontal alignment deviation measurement using binocular camera without common target

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898073

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898073

Country of ref document: EP

Kind code of ref document: A1