KR20210053012A - Image-Based Remaining Fire Tracking Location Mapping Device and Method - Google Patents
Image-Based Remaining Fire Tracking Location Mapping Device and Method Download PDFInfo
- Publication number
- KR20210053012A KR20210053012A KR1020190138759A KR20190138759A KR20210053012A KR 20210053012 A KR20210053012 A KR 20210053012A KR 1020190138759 A KR1020190138759 A KR 1020190138759A KR 20190138759 A KR20190138759 A KR 20190138759A KR 20210053012 A KR20210053012 A KR 20210053012A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- coordinates
- gaze
- point
- unmanned aerial
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
Abstract
Description
본 발명은 위치 매핑 장치 및 방법에 관한 것으로, 특히 잔불을 추적하기 위한 위치 매핑 장치 및 방법에 관한 것이다.The present invention relates to a location mapping apparatus and method, and more particularly, to a location mapping apparatus and method for tracking remaining energy.
방재기술은 4차 산업혁명에 따라 무인기와 같은 첨단과학기술과 연계되고 있다.Disaster prevention technology is being linked with advanced science and technology such as unmanned aerial vehicles in accordance with the 4th Industrial Revolution.
종래의 경우, 인공위성을 이용한 산불 탐지 및 감시 연구를 진행하였다. 주로 인공위성에 탑재된 MODIS, LandSat, AVHRR 같은 센서들의 가시광선(Visible)과 근적외선(Near Infrared) 분광정보들을 활용하였다.In the conventional case, forest fire detection and monitoring studies were conducted using artificial satellites. Visible and near infrared spectral information of sensors such as MODIS, LandSat, and AVHRR mounted on satellites were mainly used.
무인 이동체를 이용하여 항공촬영 등을 수행하고, 촬영된 영상을 이용하여 잔불을 감지하는 경우, 좌표값의 맵핑은 무인 이동체가 수평비행을 하지 않거나 큰 스퀸드 각도로 촬영될 수록 구하기가 어려워진다.When aerial photography is performed using an unmanned moving object and residual light is detected using a photographed image, the mapping of coordinate values becomes difficult to obtain as the unmanned moving object does not fly horizontally or is photographed with a large squid angle.
이에 따라, 실제 비행의 방향과 스퀸트 각도에 상관없이, 영상 중심 좌표를 구하고 이를 사용하여 잔불이 발생한 영역의 정확한 위치를 찾아내어 잔불을 진화하기 위한 방법과 장치가 필요하다.Accordingly, there is a need for a method and apparatus for extinguishing residual lights by finding the exact location of an area where residual lights have occurred using the image center coordinates regardless of the actual flight direction and squint angle.
본 발명은 영상 기반 잔불 추적 위치 매핑 장치 및 방법으로 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 잔불 위치 추정부, 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산부 및 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 위치 매핑부를 포함하여 잔불이 발생한 영역의 정확한 위치를 찾아내어 잔불을 진화하는데 그 목적이 있다.The present invention is an image-based residual light tracking location mapping apparatus and method, which converts a raw image acquired while an unmanned aerial vehicle is moving, and finds an area estimated to be a residual light from the converted raw image, and a moving position of the unmanned aerial vehicle. To find the exact location of the area where the residual light has occurred, including a location coordinate calculation unit that calculates the location coordinates of the area estimated to be residual light and a location mapping unit that displays a point corresponding to the location coordinate calculated in the raw image. The purpose is to extinguish the remaining fire.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified of the present invention may be additionally considered within a range that can be easily deduced from the following detailed description and effects thereof.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치는, 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 잔불 위치 추정부, 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산부 및 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 위치 매핑부를 포함한다.In order to solve the above problem, the image-based residual light tracking location mapping apparatus according to an embodiment of the present invention converts a raw image acquired by an unmanned aerial vehicle while moving, and finds an area estimated to be residual light from the converted raw image. A position coordinate calculation unit that calculates the position coordinates of the area estimated to be the residual amount in consideration of the moving position of the unmanned aerial vehicle, and a position mapping unit that displays a point corresponding to the position coordinate calculated in the raw image Includes.
여기서, 상기 잔불 위치 추정부는, 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환하는 영상 처리부 및 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹하는 잔불 위치 마킹부를 포함한다.Here, the residual payment position estimating unit, an image processing unit that converts the color of the original image into a gray image and converts the size, and a portion having a value of a preset condition in the converted raw image as a value estimated as the residual payment And, it includes a residual payment position marking unit for marking the region.
여기서, 상기 위치 좌표 계산부는, 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 비행체 정보 획득부 및 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 영상 중심 좌표 계산부를 포함한다.Here, the position coordinate calculation unit is an aircraft information acquisition unit that obtains the vehicle information for a point of the moving position of the unmanned aerial vehicle, and the actual position point at the center of the image corresponding to the area estimated to be the residual amount based on the vehicle information. It includes an image center coordinate calculation unit that calculates the image center coordinates that are the coordinates of.
여기서, 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보는, 상기 일 지점에서의 비행체 좌표, 고도 및 상기 무인 비행체에 설치된 영상 촬영 장치의 설정 각도를 포함하는 항목들 중 어느 하나 또는 복수를 조합하여 이루어진다.Here, the vehicle information for one point of the moving position of the unmanned aerial vehicle is a combination of any one or a plurality of items including the coordinates of the vehicle at the one point, an altitude, and a set angle of an image photographing device installed in the unmanned aerial vehicle. It is done by doing.
여기서, 상기 영상 중심 좌표 계산부는, 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 영상 촬영 장치의 시선 벡터를 산출하는 시선 벡터 산출부, 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 시선 지표면 좌표 계산부 및 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 수평 거리 계산부를 포함한다.Here, the image center coordinate calculation unit is a gaze vector calculation unit that calculates the gaze vector of the image photographing device from a point of the moving position of the unmanned aerial vehicle to the area estimated to be the residual amount, using the calculated gaze vector A gaze surface coordinate calculation unit that calculates the gaze surface coordinates, which is the coordinates of a point where the altitude of the image center of the area estimated as the residual light is close to 0, and calculates a horizontal distance from the coordinates of the vehicle at the one point to the gaze surface coordinates. It includes a horizontal distance calculator.
여기서, 상기 위치 좌표 계산부는, 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 지형 정보 수신부를 더 포함한다.Here, the position coordinate calculation unit further includes a terrain information receiving unit that receives terrain information of an area included in the raw image acquired while the unmanned aerial vehicle is moving from an external database.
여기서, 상기 영상 중심 좌표 계산부는, 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 지형 고도 계산부, 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 시선 고도 계산부 및 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 표적 좌표 계산부를 포함한다.Here, the image center coordinate calculation unit is a terrain elevation calculation unit that calculates the terrain elevation of points located within the horizontal distance based on the terrain information, and the gaze elevation of the points located within the horizontal distance based on the gaze vector. And a gaze altitude calculator that calculates, and a target coordinate calculator that calculates coordinates of a point where the topographic altitude and the gaze altitude coincide.
여기서, 상기 위치 매핑부에서 표시된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차를 계산하는 오차 계산부를 더 포함한다.Here, it further includes an error calculation unit for calculating an error by comparing a point corresponding to the location coordinate displayed by the location mapping unit with a location where the actual residual payment has occurred.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법은, 잔불 위치 추정부가 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계, 위치 좌표 계산부가 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계 및 위치 매핑부가 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 단계를 포함한다.In the image-based residual light tracking location mapping method according to an embodiment of the present invention, the residual light position estimation unit converts a raw image acquired while an unmanned aerial vehicle is moving, and finds an area estimated to be residual light from the converted raw image. And calculating, by a coordinate calculation unit, a position coordinate of an area estimated to be the residual energy in consideration of the moving position of the unmanned aerial vehicle, and displaying a point corresponding to the position coordinate calculated on the raw image by a position mapping unit.
여기서, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계는, 영상 처리부가 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환하는 단계 및 잔불 위치 마킹부가 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹하는 단계를 포함한다.Here, the step of finding an area estimated to be residual money in the converted raw image includes: an image processing unit converting a color of the original image into a gray image, converting a size, and a residual payment position marking unit in the converted raw image. And determining a portion having a value of the set condition as a value estimated to be the remaining payment, and marking a corresponding area.
여기서, 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계는, 비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 단계, 지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 단계 및 영상 중심 좌표 계산부가 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 단계를 포함한다.Here, the step of calculating the position coordinates of the area estimated to be the residual light comprises: obtaining, by an aircraft information acquisition unit, information on a single point of the moving position of the unmanned aerial vehicle, and by the terrain information receiving unit, the unmanned aerial vehicle from an external database. Receiving topographic information of an area included in the raw image acquired while moving, and the image center coordinate calculation unit, which is the coordinate of the actual location point of the image center corresponding to the area estimated to be the remaining fire based on the vehicle information And calculating the coordinates.
여기서, 상기 영상 중심 좌표를 계산하는 단계는, 시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출하는 단계, 시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 단계 및 수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 단계를 포함한다.Here, the calculating of the image center coordinates comprises: calculating a line of sight vector of the image capturing device installed in the unmanned aerial vehicle from a point of the moving position of the unmanned aerial vehicle to an area estimated to be the residual light, The step of calculating the gaze surface coordinates, which is the coordinates of the point where the elevation of the image center of the area estimated to be residual light is close to 0 using the gaze vector calculated by the gaze surface coordinate calculation unit, and the horizontal distance calculation unit And calculating a horizontal distance from the coordinates to the gaze surface coordinates.
여기서, 상기 영상 중심 좌표를 계산하는 단계는, 지형 고도 계산부가 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 단계, 시선 고도 계산부가 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 단계 및 표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 단계를 포함한다.Here, the calculating of the image center coordinates comprises: calculating, by a terrain elevation calculator, a terrain elevation of points located within the horizontal distance based on the terrain information, and by a gaze elevation calculator, the horizontal distance based on the gaze vector. And calculating the gaze altitude of the points located within, and a target coordinate calculator calculating coordinates of a point where the topographic altitude and the gaze altitude coincide.
본 발명의 일 실시예에 따른 위치 좌표 계산 방법은, 무인 비행체의 이동 위치를 고려하여 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산 방법에 있어서, 비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 단계, 지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 단계 및 영상 중심 좌표 계산부가 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 단계를 포함한다.A method for calculating position coordinates according to an embodiment of the present invention is a method for calculating position coordinates of an area estimated to be a residual amount in consideration of a moving position of an unmanned aerial vehicle, wherein the vehicle information acquisition unit includes a moving position of the unmanned aerial vehicle. The step of acquiring aircraft information for a point of, the terrain information receiving unit receiving the terrain information of the region included in the raw image acquired while the unmanned aerial vehicle is moving from an external database, and the image center coordinate calculation unit receiving the aircraft information And calculating image center coordinates, which are coordinates of an actual location point of the center of the image corresponding to the area estimated to be the residual fire.
여기서, 상기 영상 중심 좌표를 계산하는 단계는, 시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출하는 단계, 시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 단계 및 수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 단계를 포함한다.Here, the calculating of the image center coordinates comprises: calculating, by a line of sight vector calculation unit, a line of sight vector of the image capturing device installed in the unmanned aerial vehicle from a point of a moving position of the unmanned aerial vehicle to an area estimated to be the residual light, The step of calculating the gaze surface coordinates, which is the coordinates of the point where the elevation of the image center of the area estimated to be residual light is close to 0 using the gaze vector calculated by the gaze surface coordinate calculation unit, and the horizontal distance calculation unit And calculating a horizontal distance from the coordinates to the gaze surface coordinates.
여기서, 상기 영상 중심 좌표를 계산하는 단계는, 지형 고도 계산부가 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 단계, 시선 고도 계산부가 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 단계 및 표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 단계를 포함한다.Here, the calculating of the image center coordinates comprises: calculating, by a terrain elevation calculator, a terrain elevation of points located within the horizontal distance based on the terrain information, and by a gaze elevation calculator, the horizontal distance based on the gaze vector. And calculating the gaze altitude of the points located within, and a target coordinate calculator calculating coordinates of a point where the topographic altitude and the gaze altitude coincide.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 잔불 위치 추정부, 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산부 및 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 위치 매핑부를 포함하여 잔불이 발생한 영역의 정확한 위치를 찾아내어 잔불을 진화할 수 있다.As described above, according to the embodiments of the present invention, a residual light position estimating unit for converting a raw image acquired while an unmanned aerial vehicle is moving and finding an area estimated to be a residual light in the converted raw image, and the movement of the unmanned aerial vehicle In consideration of the location, a location coordinate calculation unit that calculates the location coordinates of the area estimated to be the residual payment, and a location mapping unit that displays a point corresponding to the location coordinate calculated in the raw image, the exact location of the area where the residual payment occurs. You can find it and extinguish the remaining light.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if it is an effect not explicitly mentioned herein, the effect described in the following specification expected by the technical features of the present invention and the provisional effect thereof are treated as described in the specification of the present invention.
도 1은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정부를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 좌표 계산부를 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산부를 나타낸 블록도이다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정 방법을 설명하기 위한 도면이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 적용을 설명하기 위해 모니터링 장치를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 매핑 결과를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치에서 실제 잔불 위치를 설명하기 위한 도면이다.1 is a block diagram illustrating an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
2 is a block diagram illustrating a residual payment position estimation unit of an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
3 is a block diagram illustrating a location coordinate calculator of an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
4 is a block diagram illustrating an image center coordinate calculation unit of an image-based residual light tracking location mapping apparatus according to an embodiment of the present invention.
5 to 7 are flowcharts illustrating a method of mapping an image-based residual payment location according to an embodiment of the present invention.
FIG. 8 is a diagram for describing a method of estimating a residual balance position by an image-based residual balance tracking location mapping apparatus according to an embodiment of the present invention.
9 to 11 are diagrams for explaining a method of calculating image center coordinates of an image-based residual light tracking location mapping apparatus according to an embodiment of the present invention.
12 is a diagram illustrating a monitoring device for explaining the application of an image-based residual payment tracking location mapping device according to an embodiment of the present invention.
13 is a diagram illustrating a location mapping result of an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
FIG. 14 is a diagram for describing an actual residual payment location in an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
이하, 본 발명에 관련된 영상 기반 잔불 추적 위치 매핑 장치 및 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.Hereinafter, an apparatus and method for mapping an image-based residual payment location according to the present invention will be described in more detail with reference to the drawings. However, the present invention may be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts not related to the description are omitted, and the same reference numerals in the drawings indicate the same members.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. It should be.
이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.The suffixes “module” and “unit” for the constituent elements used in the following description are given or used interchangeably in consideration of only the ease of preparation of the specification, and do not themselves have distinct meanings or roles.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first and second may be used to describe various components, but the components should not be limited by terms. The above terms are used only for the purpose of distinguishing one component from another component.
본 발명은 영상 기반 잔불 추적 위치 매핑 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for mapping an image-based residual payment location.
도 1은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치를 나타낸 블록도이다.1 is a block diagram illustrating an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
도 1을 참조하면, 영상 기반 잔불 추적 위치 매핑 장치(10)는 잔불 위치 추정부(100), 위치 좌표 계산부(200), 위치 매핑부(300), 오차 계산부(400)를 포함한다.Referring to FIG. 1, an image-based residual payment tracking
영상 기반 잔불 추적 위치 매핑 장치(10)는 무인 이동체가 획득한 영상에서 잔불로 추정되는 위치에 대하여 영상 중심 좌표 추정 알고리즘을 이용하여 정확한 위치 좌표를 구하고 좌표를 매핑하는 장치이다.The image-based residual light tracking
무인 이동체(UAV: Unmanned Aerial Vehicle)는 조종사가 탑승하지 않고 원격조종 또는 자율비행제어로 비행을 하여 정찰, 폭격, 화물 수송, 산불 감시, 방사능 감시 등 사람이 직접 수행하기가 힘들거나 직접 수행하기에 위험한 임무를 수행하는 이동체이다.Unmanned Aerial Vehicles (UAVs) fly with remote control or autonomous flight control without a pilot on board, so it is difficult for humans to perform reconnaissance, bombing, cargo transport, forest fire monitoring, radioactivity monitoring, etc. It is a moving vehicle that performs dangerous tasks.
잔불 위치 추정부(100)는 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아낸다.The residual fire
위치 좌표 계산부(200)는 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산한다.The position coordinate
위치 좌표 계산부(200)는 무인 비행체의 이동 위치에 따른 좌표는 미리 입력 받으며, 전자-광학/적외선(EO/IR) 영상 메타데이터로부터 INS 정보를 획득한다.The position coordinate
여기서 무인 비행체의 이동 위치에 따른 좌표는 X축, Y축, Z축으로 이루어진 공간에 표시되는 좌표(x,y,z)인 것이 바람직하다.Here, the coordinates according to the moving position of the unmanned aerial vehicle are preferably coordinates (x, y, z) displayed in a space consisting of the X-axis, Y-axis, and Z-axis.
무인 비행체의 항행은 기종마다 다양하게 구현되고 있다. 일반적으로 무인 비행체의 항행 또는 착륙 유도에는 GPS와 관성유도장치가 주로 사용되는데, 그 중에서도 GPS가 칩셋 가격이 저렴하고 크기가 소형이기 때문에 선호되는 경향이 있다. 예컨대, 무인기의 일종인 프레데터(Predator)와 같은 무인기의 경우는 정밀접근 레이더 및 비디오 카메라 등을 이용하여 수동조종 착륙이 가능하도록 구현되어 있다.The navigation of unmanned aerial vehicles is implemented in various ways for each model. In general, GPS and inertial guidance devices are mainly used for navigation or landing guidance of unmanned aerial vehicles. Among them, GPS tends to be preferred because of its low chipset price and small size. For example, in the case of an unmanned aerial vehicle such as a predator, which is a kind of unmanned aerial vehicle, it is implemented to enable manual controlled landing using a precision approach radar and a video camera.
본 발명의 실시예에서, 무인 비행체의 이동 위치에 따른 좌표는 GPS 정보인 것이 바람직하다.In an embodiment of the present invention, it is preferable that the coordinates according to the moving position of the unmanned aerial vehicle are GPS information.
INS 정보는 관성 항법 시스템(Inertial Navigation System) 정보이다. 관성 항법 시스템은 예측 위치의 계산을 위하여 가속도와 heading 자료를 측정하는 시스템이다. 일반적으로 GPS같은 절대 위치 시스템 같은 유형에 관련되어 이용되며 INS는 항공 또는 군사분야에서 복잡한 시스템에서 사용된다.INS information is inertial navigation system information. The inertial navigation system is a system that measures acceleration and heading data to calculate the predicted position. In general, it is used in connection with a type of absolute positioning system such as GPS, and INS is used in complex systems in the aviation or military field.
본 발명의 실시예에서 INS 정보는 비행체의 헤딩, Pitch, Roll, 속도 정보와 전자-광학/적외선(EO/IR) 카메라의 방위각, 고각 정보를 포함하는 것이 바람직하다.In an embodiment of the present invention, the INS information preferably includes information on the heading, pitch, roll, and speed of the vehicle and the azimuth and elevation information of the electron-optical/infrared (EO/IR) camera.
위치 매핑부(300)는 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시한다.The
오차 계산부(400)는 상기 위치 매핑부에서 표시된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차를 계산한다.The
지도 매핑 포인트와 실제 잔불이 발생한 영상에서의 포인트 사이의 거리 계산을 수학식 1을 통해 구현된다.The calculation of the distance between the map mapping point and the point in the image where the actual residual light has occurred is implemented through Equation 1.
여기서, Radius = 6,371Km이며, Latitude1는 Map 표시 위도, Longitude1은 Map 표시 경도, Latitude2는 실제 View 위도, Longitude2는 실제 View 경도이다.Here, Radius = 6,371Km, Latitude1 is the map display latitude, Longitude1 is the map display longitude, Latitude2 is the actual view latitude, and Longitude2 is the actual view longitude.
실제 view 지점 카메라 좌우 각도 계산은 수학식 2를 통해 구현된다.The actual view point camera left and right angle calculation is implemented through Equation 2.
여기서, Latitude1은 드론 위치 위도, Longitude1은 드론 위치 경도, Latitude2는 실제 촬영 위치 위도, Longitude2는 실제 촬영 위치 경도이다.Here, Latitude1 is the drone location latitude, Longitude1 is the drone location longitude, Latitude2 is the actual shooting location latitude, and Longitude2 is the actual shooting location longitude.
무인 이동체를 이용하여 항공촬영 등을 수행하고, 촬영된 영상을 이용하여 잔불을 감지하는 경우, 좌표값의 맵핑은 무인 이동체가 수평비행을 하지 않거나 큰 스퀸드 각도로 촬영될 수록 구하기가 어려워진다.When aerial photography is performed using an unmanned moving object and residual light is detected using a photographed image, the mapping of coordinate values becomes difficult to obtain as the unmanned moving object does not fly horizontally or is photographed with a large squid angle.
이에 따라, 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치는 실제 비행의 방향과 스퀸트 각도에 상관없이, 영상 중심 좌표를 구하고 이를 사용하여 잔불이 발생한 영역의 정확한 위치를 찾아내어 잔불을 진화하는데 이용될 수 있다.Accordingly, the image-based residual light tracking location mapping apparatus according to an embodiment of the present invention obtains the image center coordinates, regardless of the actual flight direction and squint angle, and uses it to find the exact location of the area where the residual light has occurred. Can be used to evolve.
도 2는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정부를 나타낸 블록도이다.2 is a block diagram illustrating a residual payment position estimation unit of an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
도 2를 참조하면, 잔불 위치 추정부(100)는 영상 처리부(110), 잔불 위치 마킹부(120)를 포함한다.Referring to FIG. 2, the remaining payment
잔불 위치 추정부(100)는 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아낸다.The residual fire
영상 처리부(110)는 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환한다. 영상 처리부가 영상을 그레이 영상으로 변환하고 영상의 크기를 변환하여 처리 속도를 높일 수 있다. The
잔불 위치 마킹부(120)는 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹한다.The residual payment
여기서, 기 설정된 조건은 그레이 색상의 밝기값의 220 내지 255인 것이 바람직하며, 해당 밝기값의 범위 내에 속하는 영역을 영상 내의 불이라고 추정된 값으로 찾아낼 수 있다. 영상에서 밝기가 0이면 어둡고 255에 가까워 질수록 밝아진다.Here, it is preferable that the preset condition is 220 to 255 of the brightness value of the gray color, and a region within the range of the brightness value may be found as a value estimated to be fire in the image. In an image, if the brightness is 0, it is dark, and as it approaches 255, it becomes brighter.
해당 영역을 마킹할 시 본 발명의 일 실시예에서는 영상 이미지 내의 밝은 값들은 빨간 테두리 처리한다.When marking a corresponding area, in an embodiment of the present invention, bright values in an image image are processed with red borders.
위치 좌표 계산부는 잔불 위치 마킹부에서 추정하여 마킹된 영역의 위치 좌표를 계산하게 된다.The position coordinate calculation unit calculates the position coordinates of the marked area by estimating by the remaining payment position marking unit.
잔불 위치 추정부는 잔불의 추정 영역에 대한 오차를 줄이기 위해 이미지를 출력하고 영상 처리 과정과 잔불 위치 마킹 과정을 반복 수행할 수 있다.The residual payment position estimation unit may output an image and repeatedly perform an image processing process and a residual payment location marking process in order to reduce an error in the estimated area of the residual payment.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정 방법은 하기 도 8을 예로 들어 설명한다.A method of estimating a residual balance position of an image-based residual energy tracking location mapping apparatus according to an embodiment of the present invention will be described with reference to FIG. 8 below.
도 3은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 좌표 계산부를 나타낸 블록도이다.3 is a block diagram illustrating a location coordinate calculator of an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
도 3을 참조하면, 위치 좌표 계산부(200)는 비행체 정보 획득부(210), 지형 정보 수신부(220), 영상 중심 좌표 계산부(230)를 포함한다.Referring to FIG. 3, the position coordinate
위치 좌표 계산부(200)는 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산한다.The position coordinate
비행체 정보 획득부(210)는 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득한다.The vehicle
무인 비행체의 이동 위치에 따른 좌표는 미리 입력 받으며, 전자-광학/적외선(EO/IR) 영상 메타데이터로부터 INS 정보를 획득한다.Coordinates according to the moving position of the unmanned aerial vehicle are input in advance, and INS information is obtained from electron-optical/infrared (EO/IR) image metadata.
여기서 무인 비행체의 이동 위치에 따른 좌표는 X축, Y축, Z축으로 이루어진 공간에 표시되는 좌표(x,y,z)인 것이 바람직하다.Here, the coordinates according to the moving position of the unmanned aerial vehicle are preferably coordinates (x, y, z) displayed in a space consisting of the X-axis, Y-axis, and Z-axis.
여기서, 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보는, 상기 일 지점에서의 비행체 좌표, 고도 및 상기 무인 비행체에 설치된 영상 촬영 장치의 설정 각도를 포함하는 항목들 중 어느 하나 또는 복수를 조합하여 이루어진다.Here, the vehicle information for one point of the moving position of the unmanned aerial vehicle is a combination of any one or a plurality of items including the coordinates of the vehicle at the one point, an altitude, and a set angle of the image photographing device installed in the unmanned aerial vehicle. Done.
지형 정보 수신부(220)는 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는다.The terrain
영상 중심 좌표 계산부(230)는 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산한다.The image center coordinate
구체적으로, 영상 중심좌표 탐색 방안은 영상 중심의 실제 위치(A) 지점의 좌표를 산출하기 위하여 제로 고도 지점(A’)지점부터 역으로 DTED 정보를 탐색하여, DTED상의 지점 고도값이 시선벡터 상의 고도보다 높아서 시선벡터가 지형과 만나는 최초 지점(A”)을 탐색한다.Specifically, the image center coordinate search method searches DTED information in reverse from the zero elevation point (A') in order to calculate the coordinates of the actual position (A) of the center of the image. Since it is higher than the altitude, it searches for the first point (A”) where the line of sight meets the terrain.
또는 비행체 위치로부터 DTED 정보를 순방향으로 탐색하여 시선벡터가 지형과 만나는 최초 지점(A”)을 탐색한다.Or, by searching the DTED information from the position of the vehicle in the forward direction, the first point (A") where the line of sight vector meets the terrain is searched.
영상 중심 좌표 계산은 탐색된 다수의 지점(A”, A,,,)의 좌표와 고도값을 평균하여 더욱 정확한 위치 정보를 탐색할 수 있다.In the image center coordinate calculation, more accurate location information can be searched by averaging the coordinates and altitude values of a plurality of searched points (A”, A ,,, ).
여기서, DTED 정보는 수치 지형 표고 자료(Digital Terrain Elevation Data)이며, 지형의 기복 형태를 컴퓨터 상에 3차원으로 표현하여 각종 지형 분석의 기본 자료로 활용되는 컴퓨터 내장형 지형 고도 자료이다. DTED 정보는 지형 고도, 경사 또는 표면 재질에 관한 정보를 포함한다.Here, the DTED information is Digital Terrain Elevation Data, and it is a computer-embedded terrain elevation data that is used as basic data for various terrain analysis by expressing the undulations of the terrain in three dimensions on a computer. DTED information includes information about terrain elevation, slope or surface material.
이에 따라, 본 발명의 일 실시예에서는 DTED 정보를 획득하여 추정하고자 하는 영역의 지형 고도 정보를 획득하게 된다.Accordingly, in an embodiment of the present invention, DTED information is obtained to obtain topographic elevation information of an area to be estimated.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정 방법은 하기 도 8을 예로 들어 설명한다.A method of estimating a residual balance position of an image-based residual energy tracking location mapping apparatus according to an embodiment of the present invention will be described with reference to FIG. 8 below.
도 4는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산부를 나타낸 블록도이다.4 is a block diagram illustrating an image center coordinate calculation unit of an image-based residual light tracking location mapping apparatus according to an embodiment of the present invention.
도 4를 참조하면, 영상 중심 좌표 계산부(230)는 시선 벡터 산출부(231), 시선 지표면 좌표 계산부(232), 수평 거리 계산부(233), 지형 고도 계산부(234), 시선 고도 계산부(235), 표적 좌표 계산부(236)를 포함한다.Referring to FIG. 4, the image center coordinate
영상 중심 좌표 계산부(230)는 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산한다.The image center coordinate
시선 벡터 산출부(231)는 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 영상 촬영 장치의 시선 벡터를 산출한다.The line-of-sight vector calculation unit 231 calculates a line-of-sight vector of the image capturing device from one point of the moving position of the unmanned aerial vehicle to the area estimated to be the residual light.
시선 벡터 산출부(231)는 메타데이터로부터 획득한 INS 정보를 이용하여 동영상 화면 중심의 지점까지의 센서 시선벡터를 산출한다.The gaze vector calculation unit 231 calculates a sensor gaze vector to a point at the center of a video screen by using INS information obtained from metadata.
여기서, 무인 비행체의 이동 위치에 따른 좌표에서 무인 비행체에 설치된 영상 촬영 장치의 방위각, 고각 정보를 이용하여 잔불로 추정되는 영역의 영상 중심까지의 시선벡터를 산출하게 된다.Here, a line-of-sight vector to the center of the image of the area estimated to be residual light is calculated by using the azimuth and elevation information of the image photographing device installed in the unmanned aerial vehicle at coordinates according to the moving position of the unmanned aerial vehicle.
시선 지표면 좌표 계산부(232)는 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산한다.The gaze surface coordinate calculation unit 232 calculates gaze surface coordinates, which are coordinates of a point at which the elevation of the image center of the area estimated to be residual light is close to 0 by using the calculated gaze vector.
영상 중심의 고도가 0에 근접한 지점은 지표면에 가까운 지점을 구하기 위한 것이며, 영상 촬영 장치의 시선 벡터를 이용하여 지표면에 근접한 지점의 좌표를 구한다.The point where the elevation of the center of the image is close to 0 is to obtain a point close to the ground surface, and the coordinates of the point close to the ground surface are obtained using the line of sight vector of the image capturing device.
수평 거리 계산부(233)는 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산한다.The horizontal distance calculation unit 233 calculates a horizontal distance from the coordinates of the vehicle at the one point to the coordinates of the gaze surface.
지형 고도 계산부(234)는 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산한다.The terrain elevation calculation unit 234 calculates the terrain elevation of points located within the horizontal distance based on the terrain information.
시선 고도 계산부(235)는 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산한다.The gaze height calculation unit 235 calculates gaze heights of points located within the horizontal distance based on the gaze vector.
표적 좌표 계산부(236)는 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산한다.The target coordinate
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산 방법은 하기 도 9 내지 도 11에서 상세히 설명한다.A method of calculating image center coordinates of an image-based residual light tracking location mapping apparatus according to an embodiment of the present invention will be described in detail with reference to FIGS. 9 to 11 below.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법을 나타낸 흐름도이다.5 to 7 are flowcharts illustrating a method of mapping an image-based residual payment location according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법은 잔불 추적 위치 매핑 장치에서 하나의 프로세서로 구현되거나, 다수의 프로세서에서 각각 수행될 수도 있다.The image-based residual payment tracking location mapping method according to an embodiment of the present invention may be implemented by a single processor in the residual payment tracking location mapping apparatus, or may be performed by a plurality of processors, respectively.
도 5를 참조하면, 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법은 잔불 위치 추정부가 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계 (S100)에서 시작한다.Referring to FIG. 5, in the image-based residual light tracking location mapping method according to an embodiment of the present invention, a residual light location estimation unit converts a raw image acquired while an unmanned aerial vehicle is moving, and an area estimated as a residual light from the converted raw image. It starts in step S100 of finding.
변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계(S100)는, 단계 S110에서 영상 처리부가 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환한다.In the step (S100) of finding a region estimated to be residual light in the converted raw image, the image processing unit converts the color of the raw image into a gray image and converts the size in step S110.
단계 S120에서 잔불 위치 마킹부가 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹한다.In step S120, the residual payment position marking unit determines a portion having a value of a preset condition in the converted raw image as a value estimated as the residual payment, and marks a corresponding area.
단계 S200에서 위치 좌표 계산부가 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산한다.In step S200, the position coordinate calculation unit calculates the position coordinates of the area estimated to be the residual amount in consideration of the moving position of the unmanned aerial vehicle.
단계 S300에서 위치 매핑부가 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시한다.In step S300, the location mapping unit displays a point corresponding to the location coordinate calculated on the raw image.
단계 S400에서 오차 계산부가 상기 위치 매핑부에서 표시된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차를 계산한다.In step S400, an error calculation unit calculates an error by comparing a point corresponding to the location coordinate displayed by the location mapping unit with a location where an actual residual payment has occurred.
도 6을 참조하면, 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계(S200)는, 단계 S210에서 비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득한다.Referring to FIG. 6, in the step (S200) of calculating the position coordinates of the area estimated to be the residual fire, in step S210, the vehicle information acquisition unit acquires air vehicle information on a point of the moving position of the unmanned aerial vehicle.
단계 S220에서 지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는다.In step S220, the terrain information receiving unit receives terrain information of an area included in the raw image acquired while the unmanned aerial vehicle is moving from an external database.
단계 S230에서 영상 중심 좌표 계산부가 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산한다.In step S230, the image center coordinate calculation unit calculates the image center coordinates, which is the coordinates of the actual location point of the image center corresponding to the area estimated to be the remaining fire based on the vehicle information.
도 7을 참조하면, 상기 영상 중심 좌표를 계산하는 단계(S230)는, 단계 S231에서 시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출한다.Referring to FIG. 7, in the step of calculating the image center coordinates (S230), in step S231, the line-of-sight vector calculation unit is an image installed on the unmanned aerial vehicle from a point of a moving position of the unmanned aerial vehicle to an area estimated to be the residual light. The line of sight vector of the photographing device is calculated.
단계 S232에서 시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산한다.In step S232, by using the gaze vector calculated by the gaze ground coordinate calculation unit, the gaze ground coordinates, which are coordinates of a point where the altitude of the image center of the area estimated to be residual light is close to 0, are calculated.
단계 S233에서 수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산한다.In step S233, the horizontal distance calculator calculates the horizontal distance from the coordinates of the vehicle at the one point to the coordinates of the gaze surface.
단계 S234에서 지형 고도 계산부가 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산한다.In step S234, the terrain elevation calculator calculates the terrain elevations of points located within the horizontal distance based on the terrain information.
단계 S235에서 시선 고도 계산부가 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산한다.In step S235, the gaze height calculator calculates gaze heights of points located within the horizontal distance based on the gaze vector.
단계 S236에서 표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산한다.In step S236, the target coordinate calculation unit calculates the coordinates of the point where the topographic elevation and the gaze elevation coincide.
도 8은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정 방법을 설명하기 위한 도면이다.FIG. 8 is a diagram for describing a method of estimating a residual balance position by an image-based residual balance tracking location mapping apparatus according to an embodiment of the present invention.
잔불 위치 추정부(100)는 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아낸다.The residual fire
영상 처리부(110)는 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환한다. 영상 처리부가 영상을 그레이 영상으로 변환하고 영상의 크기를 변환하여 처리 속도를 높일 수 있다. The
도 8의 (a)는 수신된 영상의 원본 영상이다. 도 8의 (b)는 원본 영상에서 해상도가 변환된 영상이며, 도 8의 (c)는 그레이 영상으로 변환된 영상이다.8A is an original image of a received image. FIG. 8(b) is an image whose resolution is converted from the original image, and FIG. 8(c) is an image that has been converted into a gray image.
잔불 위치 마킹부(120)는 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹한다.The residual payment
여기서, 기 설정된 조건은 그레이 색상의 밝기값의 220 내지 255인 것이 바람직하며, 해당 밝기값의 범위 내에 속하는 영역을 영상 내의 불이라고 추정된 값으로 찾아낼 수 있다. 영상에서 밝기가 0이면 어둡고 255에 가까워 질수록 밝아진다.Here, it is preferable that the preset condition is 220 to 255 of the brightness value of the gray color, and a region within the range of the brightness value may be found as a value estimated to be fire in the image. In an image, if the brightness is 0, it is dark, and as it approaches 255, it becomes brighter.
해당 영역을 마킹할 시 본 발명의 일 실시예에서는 영상 이미지 내의 밝은 값들은 빨간 테두리 처리한다.When marking a corresponding area, in an embodiment of the present invention, bright values in an image image are processed with red borders.
도 8의 (d)는 밝기값을 이용하여 밝은 영역이 추출된 영상이다. 도 8의 (e)는 밝은 영역이 마킹된 영상이며, 밝은 영역은 S1처럼 나타난다. 본 발명의 일 실시예에서는 잔불 추정 영역을 S1처럼 마킹하여 표시할 수 있다.8D is an image from which a bright area is extracted using a brightness value. 8E is an image in which a bright area is marked, and the bright area appears as S1. In an embodiment of the present invention, the estimated remaining balance area may be marked and displayed as in S1.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산 방법을 설명하기 위한 도면이다.9 to 11 are diagrams for explaining a method of calculating image center coordinates of an image-based residual light tracking location mapping apparatus according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치는 실시간으로 무인 이동체가 획득하는 영상을 모니터링할 수 있는 모니터링 장치를 더 포함할 수 있으며, 무인 이동체에 설치된 영상 촬영 장치를 통해 영상을 획득할 수 있다. 영상 모니터링 중 잔불로 추정되는 영역이 감지되는 경우, 해당 영역을 클릭하여 해당 영역에 대한 좌표 계산을 시작하게 된다.The image-based remaining charge tracking location mapping apparatus according to an embodiment of the present invention may further include a monitoring device capable of monitoring an image acquired by an unmanned moving object in real time, and obtaining an image through an image capturing device installed in the unmanned moving object. can do. When an area estimated to be residual burn is detected during video monitoring, coordinates for the area are calculated by clicking on the area.
도 9의 (a)에서 비행체 정보 획득부(210)는 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득한다.In (a) of FIG. 9, the vehicle
무인 비행체의 이동 위치에 따른 좌표는 미리 입력 받으며, 전자-광학/적외선(EO/IR) 영상 메타데이터로부터 INS 정보를 획득한다.Coordinates according to the moving position of the unmanned aerial vehicle are input in advance, and INS information is obtained from electron-optical/infrared (EO/IR) image metadata.
여기서 무인 비행체의 이동 위치에 따른 좌표는 X축, Y축, Z축으로 이루어진 공간에 표시되는 좌표(x,y,z)인 것이 바람직하다.Here, the coordinates according to the moving position of the unmanned aerial vehicle are preferably coordinates (x, y, z) displayed in a space consisting of the X-axis, Y-axis, and Z-axis.
비행 고도(h)는 지표면에서부터 무인 비행체까지의 수직 거리이다.Flight altitude (h) is the vertical distance from the surface to the unmanned aerial vehicle.
카메라 각도(θ, φ)는 무인 비행체에 설치된 영상 촬영 장치의 설정 각도이다.The camera angles (θ, φ) are the set angles of the imaging device installed in the unmanned aerial vehicle.
도 9의 (b)에서 취득 정보를 이용하여 카메라 시선 지표면 좌표를 계산(A')한다.In Fig. 9B, the camera gaze surface coordinates are calculated (A') using the acquired information.
구체적으로, 시선 벡터 산출부(231)는 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 영상 촬영 장치의 시선 벡터(Look Vector)를 산출한다.Specifically, the line-of-sight vector calculation unit 231 calculates a look vector of the image capturing device from a point of a moving position of the unmanned aerial vehicle to an area estimated to be the residual light.
시선 벡터 산출부(231)는 메타데이터로부터 획득한 INS 정보를 이용하여 동영상 화면 중심의 지점까지의 센서 시선벡터를 산출한다.The gaze vector calculation unit 231 calculates a sensor gaze vector to a point at the center of a video screen by using INS information obtained from metadata.
여기서, 무인 비행체의 이동 위치에 따른 좌표에서 무인 비행체에 설치된 영상 촬영 장치의 방위각, 고각 정보를 이용하여 잔불로 추정되는 영역의 영상 중심까지의 시선벡터를 산출하게 된다.Here, a line-of-sight vector to the center of the image of the area estimated to be residual light is calculated by using the azimuth and elevation information of the image photographing device installed in the unmanned aerial vehicle at coordinates according to the moving position of the unmanned aerial vehicle.
시선 지표면 좌표 계산부(232)는 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산한다.The gaze surface coordinate calculation unit 232 calculates gaze surface coordinates, which are coordinates of a point at which the elevation of the image center of the area estimated to be residual light is close to 0 by using the calculated gaze vector.
영상 중심의 고도가 0에 근접한 지점은 지표면에 가까운 지점을 구하기 위한 것이며, 영상 촬영 장치의 시선 벡터를 이용하여 지표면에 근접한 지점의 좌표를 구한다.The point where the elevation of the center of the image is close to 0 is to obtain a point close to the ground surface, and the coordinates of the point close to the ground surface are obtained using the line of sight vector of the image capturing device.
도 10의 (a)에서 수평 거리 계산부(233)는 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산한다.In (a) of FIG. 10, the horizontal distance calculation unit 233 calculates a horizontal distance from the coordinates of the vehicle at the one point to the coordinates of the gaze surface.
즉, 무인 비행체의 위치에서 시선 지표면 좌표 계산부에서 계산된 A' 좌표까지의 거리(B')를 계산하며, 도 10의 (a)에서 B' 는 C'와 A' 사이의 수평 거리이다.That is, the distance (B') from the position of the unmanned aerial vehicle to the coordinate A'calculated by the gaze surface coordinate calculator is calculated, and B'in FIG. 10A is the horizontal distance between C'and A'.
도 10의 (b)에서 지형 고도 계산부(234)는 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산한다. 지형 정보 수신부가 B' 거리의 지표면 고도 정보 요청 및 취득하고, (MS site 요청) 해당 정보를 기반으로 지형 고도를 계산한다. 여기서, 지형 고도는 C'와 A' 사이 고도 정보들을 의미한다.In (b) of FIG. 10, the terrain elevation calculation unit 234 calculates the terrain elevation of points located within the horizontal distance based on the terrain information. The terrain information receiver requests and acquires the surface elevation information of distance B', and calculates the terrain elevation based on the information (MS site request). Here, the topographic altitude means altitude information between C'and A'.
도 11의 (a)에서 시선 고도 계산부(235)는 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산한다.In (a) of FIG. 11, the gaze height calculation unit 235 calculates gaze heights of points located within the horizontal distance based on the gaze vector.
도 11의 (b)에서 표적 좌표 계산부(236)는 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산한다.In (b) of FIG. 11, the target coordinate
도 11의 (a)에서, 무인 이동체의 중심 좌표 시선 고도(D')와 지형 고도 (A,,,) 만나는 점을 추출하며, 도 11의 (b)에서 추출된 지점의 좌표(A")를 계산한다.In (a) of FIG. 11, a point where the center coordinate gaze elevation (D') of the unmanned vehicle meets the terrain elevation (A ,,, ) is extracted, and the coordinates of the point extracted in (b) of FIG. 11 (A") Calculate
도 11의 (b)에서 추출된 지점의 좌표(A")는 위도와 경도로 표현되는 좌표인 것이 바람직하며, 이후 지도에 해당 위치가 마킹된다.It is preferable that the coordinates (A") of the points extracted in (b) of FIG. 11 are coordinates expressed in latitude and longitude, and then the corresponding location is marked on the map.
도 12는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 적용을 설명하기 위해 모니터링 장치를 나타낸 도면이다.12 is a diagram illustrating a monitoring device for explaining the application of an image-based residual payment tracking location mapping device according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치는 실시간으로 무인 이동체가 획득하는 영상을 모니터링할 수 있는 모니터링 장치(11)를 더 포함할 수 있으며, 무인 이동체에 설치된 영상 촬영 장치를 통해 영상을 획득할 수 있다. 영상 모니터링 중 잔불로 추정되는 영역(12)이 감지되는 경우, 해당 영역을 클릭하여 해당 영역에 대한 좌표 계산을 시작하게 된다.The image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention may further include a
도 13은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 매핑 결과를 나타낸 도면이다.13 is a diagram illustrating a location mapping result of an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
도 13에 나타난 바와 같이, 모니터링 장치는 무인 이동체가 촬영한 지역을 나타내며, 원 영상 또는 잔불을 확인할 수 있도록 변환된 영상(20)을 나타낼 수 있다.As shown in FIG. 13, the monitoring device may indicate an area photographed by an unmanned moving object, and may indicate an original image or an
위치 매핑 결과, 카메라 중심점이 바라보는 해수면 위치 (A')(21)가 표시되며, 잔불로 추정되는 영역의 위치가 계산되어 표시되는 지점(영상에서 보여지는 실제 위치)(22)를 마킹할 수 있다.As a result of the location mapping, the sea level location (A') (21) that the camera center point is looking at is displayed, and the location of the area estimated to be residual fire is calculated and displayed (the actual location shown in the image) (22) can be marked. have.
드론 위치(23)가 함께 나타나며, 잔불 위치와 무인 이동체 위치가 함께 나타나므로 무인 이동체의 이동 경로 설정이 용이하다.The
또한, 고도 정보(25)를 함께 모니터링 할 수 있으며, 고도 정보는 해수면 고도와 카메라 중심 고도(26)를 함께 확인할 수 있다. In addition, the
위치 매핑 결과의 일측에는 무인 이동체 정보(24)가 나타나며, 무인 이동체 정보는 고도, 위, 경도, 카메라 각도를 포함한다.The unmanned moving
도 14는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치에서 실제 잔불 위치를 설명하기 위한 도면이다.FIG. 14 is a diagram for describing an actual residual payment location in an image-based residual payment tracking location mapping apparatus according to an embodiment of the present invention.
도 14에 나타난 바와 같이, 무인 이동체(30)와 무인 이동체에 설치된 카메라(31)를 이용하여 잔불의 발생을 감지할 수 있으며, 실제 잔불 위치(33)를 측정할 시 영상만을 이용하는 경우 고도에 관한 정보를 반영하지 못하여, 지표면에서 발생한 경우와 산에서 발생하는 경우에 대한 차이를 반영할 수 없지만, 본 발명의 일 실시예 따른 영상 기반 잔불 추적 위치 매핑 장치는 잔불이 지표면에 근접하여 발생한 것이 아닌 경우에 시선 벡터(Look Vector)와 지형 고도를 이용하여 정확한 위치 좌표를 계산할 수 있다.As shown in FIG. 14, the occurrence of residual fire can be detected using the unmanned moving
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동 등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The above description is only an embodiment of the present invention, and those of ordinary skill in the art to which the present invention pertains may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope equivalent to those described in the claims.
10: 영상 기반 잔불 추적 위치 매핑 장치
100: 잔불 위치 추정부
200: 위치 좌표 계산부
300: 위치 매핑부
400: 오차 계산부10: image-based residual payment tracking location mapping device
100: remaining payment position estimation unit
200: position coordinate calculation unit
300: location mapping unit
400: error calculation unit
Claims (16)
상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산부; 및
상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 위치 매핑부;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치.A residual light position estimating unit that converts the raw image acquired by the unmanned aerial vehicle while moving, and finds an area estimated to be a residual light from the converted raw image;
A position coordinate calculation unit that calculates the position coordinates of the area estimated to be the remaining fire in consideration of the moving position of the unmanned aerial vehicle; And
And a location mapping unit that displays a point corresponding to the location coordinate calculated on the raw image.
상기 잔불 위치 추정부는,
상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환하는 영상 처리부; 및
상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹하는 잔불 위치 마킹부;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치.The method of claim 1,
The remaining payment position estimation unit,
An image processing unit converting the color of the original image into a gray image and converting the size; And
And a residual payment location marking unit configured to determine a portion having a value of a preset condition in the converted raw image as a value estimated to be the residual payment, and to mark a corresponding area.
상기 위치 좌표 계산부는,
상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 비행체 정보 획득부; 및
상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 영상 중심 좌표 계산부;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치.The method of claim 1,
The location coordinate calculation unit,
A vehicle information acquisition unit that acquires vehicle information for a point of a moving position of the unmanned aerial vehicle; And
And an image center coordinate calculation unit that calculates an image center coordinate that is a coordinate of an actual location point of an image center corresponding to the area estimated to be the remaining charge based on the vehicle information; .
상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보는,
상기 일 지점에서의 비행체 좌표, 고도 및 상기 무인 비행체에 설치된 영상 촬영 장치의 설정 각도를 포함하는 항목들 중 어느 하나 또는 복수를 조합하여 이루어지는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치.The method of claim 3,
The vehicle information for one point of the moving position of the unmanned aerial vehicle,
An image-based residual light tracking location mapping apparatus comprising any one or more of items including the coordinates of the vehicle at the one point, the altitude, and a set angle of the image photographing device installed on the unmanned aerial vehicle.
상기 영상 중심 좌표 계산부는,
상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 영상 촬영 장치의 시선 벡터를 산출하는 시선 벡터 산출부;
산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 시선 지표면 좌표 계산부; 및
상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 수평 거리 계산부;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치.The method of claim 4,
The image center coordinate calculation unit,
A line-of-sight vector calculation unit for calculating a line-of-sight vector of the image capturing device from a point of a moving position of the unmanned aerial vehicle to an area estimated to be the residual light;
A gaze ground coordinate calculator configured to calculate gaze ground coordinates, which are coordinates of a point at which an altitude of the image center of the area estimated to be residual light is close to zero using the calculated gaze vector; And
And a horizontal distance calculation unit that calculates a horizontal distance from the coordinates of the vehicle at the one point to the coordinates of the gaze surface.
상기 위치 좌표 계산부는,
외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 지형 정보 수신부;를 더 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치.The method of claim 5,
The location coordinate calculation unit,
And a terrain information receiving unit that receives terrain information of an area included in the original image acquired by the unmanned aerial vehicle while moving from an external database.
상기 영상 중심 좌표 계산부는,
상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 지형 고도 계산부;
상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 시선 고도 계산부; 및
상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 표적 좌표 계산부;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치.The method of claim 6,
The image center coordinate calculation unit,
A terrain elevation calculator that calculates a terrain elevation of points located within the horizontal distance based on the terrain information;
A gaze height calculator that calculates gaze heights of points located within the horizontal distance based on the gaze vector; And
And a target coordinate calculation unit that calculates coordinates of a point where the topographic elevation and the gaze elevation coincide.
상기 위치 매핑부에서 표시된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차를 계산하는 오차 계산부;를 더 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치.The method of claim 1,
And an error calculation unit that calculates an error by comparing a point corresponding to the location coordinate displayed by the location mapping unit with a location where the actual residual payment has occurred.
위치 좌표 계산부가 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계; 및
위치 매핑부가 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 단계;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 방법.Converting the raw image acquired by the unmanned aerial vehicle while moving, and finding an area estimated to be a residual light from the converted raw image;
Calculating, by a position coordinate calculation unit, the position coordinates of the area estimated to be the residual amount in consideration of the moving position of the unmanned aerial vehicle; And
And displaying, by a location mapping unit, a point corresponding to the location coordinate calculated on the raw image.
상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계는,
영상 처리부가 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환하는 단계; 및
잔불 위치 마킹부가 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹하는 단계;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 방법.The method of claim 9,
The step of finding an area estimated to be residual light in the converted raw image,
Converting, by an image processing unit, the color of the original image into a gray image and converting the size; And
And determining a portion of the converted raw image having a value of a preset condition as a value estimated to be the residual payment, and marking a corresponding area; .
상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계는,
비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 단계;
지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 단계; 및
영상 중심 좌표 계산부가 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 단계;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 방법.The method of claim 9,
The step of calculating the location coordinates of the area estimated to be the remaining balance,
Obtaining, by an air vehicle information acquisition unit, vehicle information on a point of a moving position of the unmanned aerial vehicle;
Receiving, by a terrain information receiving unit, from an external database, terrain information of an area included in a raw image acquired by the unmanned aerial vehicle while moving; And
Comprising, by an image center coordinate calculation unit, an image center coordinate that is a coordinate of an actual location point of an image center corresponding to an area estimated to be the remaining charge, based on the vehicle information, and the image-based residual charge tracking position mapping comprising: Way.
상기 영상 중심 좌표를 계산하는 단계는,
시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출하는 단계;
시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 단계; 및
수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 단계;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 방법.The method of claim 11,
The step of calculating the image center coordinates,
Calculating, by a line-of-sight vector calculation unit, a line-of-sight vector of an image capturing device installed in the unmanned aerial vehicle from a point of a moving position of the unmanned aerial vehicle to an area estimated to be the residual light;
Calculating gaze surface coordinates, which are coordinates of a point at which an altitude of the image center of the area estimated to be residual light is close to 0 using the gaze vector calculated by a gaze surface coordinate calculation unit; And
And calculating, by a horizontal distance calculator, a horizontal distance from the coordinates of the vehicle at the one point to the coordinates of the gaze surface.
상기 영상 중심 좌표를 계산하는 단계는,
지형 고도 계산부가 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 단계;
시선 고도 계산부가 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 단계; 및
표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 단계;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 방법.The method of claim 12,
The step of calculating the image center coordinates,
Calculating, by a terrain elevation calculator, the terrain elevations of points located within the horizontal distance based on the terrain information;
Calculating, by a gaze height calculator, gaze heights of points located within the horizontal distance based on the gaze vector; And
And calculating, by a target coordinate calculation unit, the coordinates of a point where the topographic elevation and the gaze elevation coincide.
비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 단계;
지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 단계; 및
영상 중심 좌표 계산부가 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 단계;를 포함하는 것을 특징으로 하는 위치 좌표 계산 방법.In the position coordinate calculation method of calculating the position coordinates of an area estimated to be residual fire in consideration of the moving position of the unmanned aerial vehicle,
Obtaining, by an air vehicle information acquisition unit, vehicle information on a point of a moving position of the unmanned aerial vehicle;
Receiving, by a terrain information receiving unit, from an external database, terrain information of an area included in a raw image acquired by the unmanned aerial vehicle while moving; And
And calculating, by an image center coordinate calculation unit, an image center coordinate that is a coordinate of an actual location point of an image center corresponding to an area estimated to be the remaining fire based on the vehicle information.
상기 영상 중심 좌표를 계산하는 단계는,
시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출하는 단계;
시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 단계; 및
수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 단계;를 포함하는 것을 특징으로 하는 위치 좌표 계산 방법.The method of claim 14,
The step of calculating the image center coordinates,
Calculating, by a line-of-sight vector calculation unit, a line-of-sight vector of an image capturing device installed in the unmanned aerial vehicle from a point of a moving position of the unmanned aerial vehicle to an area estimated to be the residual light;
Calculating gaze surface coordinates, which are coordinates of a point at which an altitude of the image center of the area estimated to be residual light is close to 0 using the gaze vector calculated by a gaze surface coordinate calculation unit; And
And calculating, by a horizontal distance calculation unit, a horizontal distance from the coordinates of the vehicle at the one point to the coordinates of the gaze surface.
상기 영상 중심 좌표를 계산하는 단계는,
지형 고도 계산부가 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 단계;
시선 고도 계산부가 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 단계; 및
표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 단계;를 포함하는 것을 특징으로 하는 위치 좌표 계산 방법.The method of claim 15,
The step of calculating the image center coordinates,
Calculating, by a terrain elevation calculator, the terrain elevations of points located within the horizontal distance based on the terrain information;
Calculating, by a gaze height calculator, gaze heights of points located within the horizontal distance based on the gaze vector; And
And calculating, by a target coordinate calculator, the coordinates of a point at which the topographic elevation and the gaze elevation coincide.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138759A KR102392258B1 (en) | 2019-11-01 | 2019-11-01 | Image-Based Remaining Fire Tracking Location Mapping Device and Method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138759A KR102392258B1 (en) | 2019-11-01 | 2019-11-01 | Image-Based Remaining Fire Tracking Location Mapping Device and Method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210053012A true KR20210053012A (en) | 2021-05-11 |
| KR102392258B1 KR102392258B1 (en) | 2022-04-29 |
Family
ID=75914941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190138759A KR102392258B1 (en) | 2019-11-01 | 2019-11-01 | Image-Based Remaining Fire Tracking Location Mapping Device and Method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102392258B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612599A (en) * | 2023-07-21 | 2023-08-18 | 鼎华创应急装备技术(深圳)有限公司 | Forest fire monitoring method and device, computer equipment and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08285590A (en) * | 1995-04-10 | 1996-11-01 | Kawasaki Heavy Ind Ltd | Method and apparatus for specifying position |
| JP2011112556A (en) * | 2009-11-27 | 2011-06-09 | Nec Corp | Search target position locating device, method, and computer program |
| KR20140072763A (en) * | 2012-12-31 | 2014-06-13 | (주)지오투정보기술 | Digital map gereration system for determining target object by comparing image information and aerial photograph data, and obtaining 3-dimensional coordination of target object using information obtained by camera |
| KR101768012B1 (en) * | 2016-12-27 | 2017-08-23 | 룩시어 유한회사 | Smoke Fire Detecting System Using Drone with Thermal Image Camera |
| KR20180056328A (en) * | 2016-11-18 | 2018-05-28 | 주식회사 무림지앤아이 | System for surveying using drone |
-
2019
- 2019-11-01 KR KR1020190138759A patent/KR102392258B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08285590A (en) * | 1995-04-10 | 1996-11-01 | Kawasaki Heavy Ind Ltd | Method and apparatus for specifying position |
| JP2011112556A (en) * | 2009-11-27 | 2011-06-09 | Nec Corp | Search target position locating device, method, and computer program |
| KR20140072763A (en) * | 2012-12-31 | 2014-06-13 | (주)지오투정보기술 | Digital map gereration system for determining target object by comparing image information and aerial photograph data, and obtaining 3-dimensional coordination of target object using information obtained by camera |
| KR20180056328A (en) * | 2016-11-18 | 2018-05-28 | 주식회사 무림지앤아이 | System for surveying using drone |
| KR101768012B1 (en) * | 2016-12-27 | 2017-08-23 | 룩시어 유한회사 | Smoke Fire Detecting System Using Drone with Thermal Image Camera |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612599A (en) * | 2023-07-21 | 2023-08-18 | 鼎华创应急装备技术(深圳)有限公司 | Forest fire monitoring method and device, computer equipment and storage medium |
| CN116612599B (en) * | 2023-07-21 | 2023-09-19 | 鼎华创应急装备技术(深圳)有限公司 | Forest fire monitoring method and device, computer equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102392258B1 (en) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111326023B (en) | Unmanned aerial vehicle route early warning method, device, equipment and storage medium | |
| Fazeli et al. | Evaluating the potential of RTK-UAV for automatic point cloud generation in 3D rapid mapping | |
| CN110926474B (en) | Satellite/vision/laser combined urban canyon environment UAV positioning and navigation method | |
| Madawalagama et al. | Low cost aerial mapping with consumer-grade drones | |
| US8649917B1 (en) | Apparatus for measurement of vertical obstructions | |
| Thurrowgood et al. | A biologically inspired, vision‐based guidance system for automatic landing of a fixed‐wing aircraft | |
| CN107727079A (en) | The object localization method of camera is regarded under a kind of full strapdown of Small and micro-satellite | |
| US20120314032A1 (en) | Method for pilot assistance for the landing of an aircraft in restricted visibility | |
| US20100097460A1 (en) | Apparatus for measurement of vertical obstructions | |
| US9165383B1 (en) | Point cloud visualization using bi-modal color schemes based on 4D lidar datasets | |
| US10109074B2 (en) | Method and system for inertial measurement having image processing unit for determining at least one parameter associated with at least one feature in consecutive images | |
| WO2023150888A1 (en) | System and method for firefighting and locating hotspots of a wildfire | |
| US9885569B2 (en) | Passive altimeter | |
| US11460302B2 (en) | Terrestrial observation device having location determination functionality | |
| KR102392258B1 (en) | Image-Based Remaining Fire Tracking Location Mapping Device and Method | |
| Schleiss et al. | VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments | |
| Zhou et al. | Autonomous landing of a helicopter UAV with a ground-based multisensory fusion system | |
| CN109146936B (en) | Image matching method, device, positioning method and system | |
| Sweet et al. | Image processing and fusion for landing guidance | |
| Cisneros et al. | Alto: A large-scale dataset for UAV visual place recognition and localization | |
| Al-Kaff | Vision-based navigation system for unmanned aerial vehicles | |
| EP3751233B1 (en) | Multi-aircraft vision and datalink based navigation system and method | |
| CN114353667A (en) | Ground target measurement method based on AR and unmanned aerial vehicle monocular vision and application thereof | |
| RU2809177C1 (en) | Method for applying robotic tacheometer and unmanned aircraft for determining coordinates of ground object | |
| RU2724908C1 (en) | Aircraft-type unmanned aerial vehicle landing method to runway using optical devices of different range |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |