KR102392258B1 - 영상 기반 잔불 추적 위치 매핑 장치 및 방법 - Google Patents
영상 기반 잔불 추적 위치 매핑 장치 및 방법 Download PDFInfo
- Publication number
- KR102392258B1 KR102392258B1 KR1020190138759A KR20190138759A KR102392258B1 KR 102392258 B1 KR102392258 B1 KR 102392258B1 KR 1020190138759 A KR1020190138759 A KR 1020190138759A KR 20190138759 A KR20190138759 A KR 20190138759A KR 102392258 B1 KR102392258 B1 KR 102392258B1
- Authority
- KR
- South Korea
- Prior art keywords
- coordinates
- image
- point
- location
- calculating
- Prior art date
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims description 56
- 239000013598 vector Substances 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 13
- 239000000463 material Substances 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000013459 approach Methods 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 208000004350 Strabismus Diseases 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/005—Fire alarms; Alarms responsive to explosion for forest fires, e.g. detecting fires spread over a large or outdoors area
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
본 발명에 따르면, 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 잔불 위치 추정부, 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산부 및 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 위치 매핑부를 포함하여 잔불이 발생한 영역의 정확한 위치를 찾아내어 잔불을 진화하는 영상 기반 잔불 추적 위치 매핑 장치 및 방법이 개시된다.
Description
본 발명은 위치 매핑 장치 및 방법에 관한 것으로, 특히 잔불을 추적하기 위한 위치 매핑 장치 및 방법에 관한 것이다.
방재기술은 4차 산업혁명에 따라 무인기와 같은 첨단과학기술과 연계되고 있다.
종래의 경우, 인공위성을 이용한 산불 탐지 및 감시 연구를 진행하였다. 주로 인공위성에 탑재된 MODIS, LandSat, AVHRR 같은 센서들의 가시광선(Visible)과 근적외선(Near Infrared) 분광정보들을 활용하였다.
무인 이동체를 이용하여 항공촬영 등을 수행하고, 촬영된 영상을 이용하여 잔불을 감지하는 경우, 좌표값의 맵핑은 무인 이동체가 수평비행을 하지 않거나 큰 스퀸드 각도로 촬영될 수록 구하기가 어려워진다.
이에 따라, 실제 비행의 방향과 스퀸트 각도에 상관없이, 영상 중심 좌표를 구하고 이를 사용하여 잔불이 발생한 영역의 정확한 위치를 찾아내어 잔불을 진화하기 위한 방법과 장치가 필요하다.
본 발명은 영상 기반 잔불 추적 위치 매핑 장치 및 방법으로 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 잔불 위치 추정부, 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산부 및 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 위치 매핑부를 포함하여 잔불이 발생한 영역의 정확한 위치를 찾아내어 잔불을 진화하는데 그 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
상기 과제를 해결하기 위해, 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치는, 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 잔불 위치 추정부, 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산부 및 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 위치 매핑부를 포함한다.
여기서, 상기 잔불 위치 추정부는, 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환하는 영상 처리부 및 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹하는 잔불 위치 마킹부를 포함한다.
여기서, 상기 위치 좌표 계산부는, 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 비행체 정보 획득부 및 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 영상 중심 좌표 계산부를 포함한다.
여기서, 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보는, 상기 일 지점에서의 비행체 좌표, 고도 및 상기 무인 비행체에 설치된 영상 촬영 장치의 설정 각도를 포함하는 항목들 중 어느 하나 또는 복수를 조합하여 이루어진다.
여기서, 상기 영상 중심 좌표 계산부는, 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 영상 촬영 장치의 시선 벡터를 산출하는 시선 벡터 산출부, 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 시선 지표면 좌표 계산부 및 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 수평 거리 계산부를 포함한다.
여기서, 상기 위치 좌표 계산부는, 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 지형 정보 수신부를 더 포함한다.
여기서, 상기 영상 중심 좌표 계산부는, 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 지형 고도 계산부, 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 시선 고도 계산부 및 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 표적 좌표 계산부를 포함한다.
여기서, 상기 위치 매핑부에서 표시된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차를 계산하는 오차 계산부를 더 포함한다.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법은, 잔불 위치 추정부가 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계, 위치 좌표 계산부가 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계 및 위치 매핑부가 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 단계를 포함한다.
여기서, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계는, 영상 처리부가 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환하는 단계 및 잔불 위치 마킹부가 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹하는 단계를 포함한다.
여기서, 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계는, 비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 단계, 지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 단계 및 영상 중심 좌표 계산부가 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 단계를 포함한다.
여기서, 상기 영상 중심 좌표를 계산하는 단계는, 시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출하는 단계, 시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 단계 및 수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 단계를 포함한다.
여기서, 상기 영상 중심 좌표를 계산하는 단계는, 지형 고도 계산부가 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 단계, 시선 고도 계산부가 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 단계 및 표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 단계를 포함한다.
본 발명의 일 실시예에 따른 위치 좌표 계산 방법은, 무인 비행체의 이동 위치를 고려하여 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산 방법에 있어서, 비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 단계, 지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 단계 및 영상 중심 좌표 계산부가 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 단계를 포함한다.
여기서, 상기 영상 중심 좌표를 계산하는 단계는, 시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출하는 단계, 시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 단계 및 수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 단계를 포함한다.
여기서, 상기 영상 중심 좌표를 계산하는 단계는, 지형 고도 계산부가 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 단계, 시선 고도 계산부가 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 단계 및 표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 단계를 포함한다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 잔불 위치 추정부, 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산부 및 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 위치 매핑부를 포함하여 잔불이 발생한 영역의 정확한 위치를 찾아내어 잔불을 진화할 수 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치를 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정부를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 좌표 계산부를 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산부를 나타낸 블록도이다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정 방법을 설명하기 위한 도면이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 적용을 설명하기 위해 모니터링 장치를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 매핑 결과를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치에서 실제 잔불 위치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정부를 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 좌표 계산부를 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산부를 나타낸 블록도이다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법을 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정 방법을 설명하기 위한 도면이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 적용을 설명하기 위해 모니터링 장치를 나타낸 도면이다.
도 13은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 매핑 결과를 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치에서 실제 잔불 위치를 설명하기 위한 도면이다.
이하, 본 발명에 관련된 영상 기반 잔불 추적 위치 매핑 장치 및 방법에 대하여 도면을 참조하여 보다 상세하게 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 “모듈” 및 “부”는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명은 영상 기반 잔불 추적 위치 매핑 장치 및 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치를 나타낸 블록도이다.
도 1을 참조하면, 영상 기반 잔불 추적 위치 매핑 장치(10)는 잔불 위치 추정부(100), 위치 좌표 계산부(200), 위치 매핑부(300), 오차 계산부(400)를 포함한다.
영상 기반 잔불 추적 위치 매핑 장치(10)는 무인 이동체가 획득한 영상에서 잔불로 추정되는 위치에 대하여 영상 중심 좌표 추정 알고리즘을 이용하여 정확한 위치 좌표를 구하고 좌표를 매핑하는 장치이다.
무인 이동체(UAV: Unmanned Aerial Vehicle)는 조종사가 탑승하지 않고 원격조종 또는 자율비행제어로 비행을 하여 정찰, 폭격, 화물 수송, 산불 감시, 방사능 감시 등 사람이 직접 수행하기가 힘들거나 직접 수행하기에 위험한 임무를 수행하는 이동체이다.
잔불 위치 추정부(100)는 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아낸다.
위치 좌표 계산부(200)는 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산한다.
위치 좌표 계산부(200)는 무인 비행체의 이동 위치에 따른 좌표는 미리 입력 받으며, 전자-광학/적외선(EO/IR) 영상 메타데이터로부터 INS 정보를 획득한다.
여기서 무인 비행체의 이동 위치에 따른 좌표는 X축, Y축, Z축으로 이루어진 공간에 표시되는 좌표(x,y,z)인 것이 바람직하다.
무인 비행체의 항행은 기종마다 다양하게 구현되고 있다. 일반적으로 무인 비행체의 항행 또는 착륙 유도에는 GPS와 관성유도장치가 주로 사용되는데, 그 중에서도 GPS가 칩셋 가격이 저렴하고 크기가 소형이기 때문에 선호되는 경향이 있다. 예컨대, 무인기의 일종인 프레데터(Predator)와 같은 무인기의 경우는 정밀접근 레이더 및 비디오 카메라 등을 이용하여 수동조종 착륙이 가능하도록 구현되어 있다.
본 발명의 실시예에서, 무인 비행체의 이동 위치에 따른 좌표는 GPS 정보인 것이 바람직하다.
INS 정보는 관성 항법 시스템(Inertial Navigation System) 정보이다. 관성 항법 시스템은 예측 위치의 계산을 위하여 가속도와 heading 자료를 측정하는 시스템이다. 일반적으로 GPS같은 절대 위치 시스템 같은 유형에 관련되어 이용되며 INS는 항공 또는 군사분야에서 복잡한 시스템에서 사용된다.
본 발명의 실시예에서 INS 정보는 비행체의 헤딩, Pitch, Roll, 속도 정보와 전자-광학/적외선(EO/IR) 카메라의 방위각, 고각 정보를 포함하는 것이 바람직하다.
위치 매핑부(300)는 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시한다.
오차 계산부(400)는 상기 위치 매핑부에서 표시된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차를 계산한다.
지도 매핑 포인트와 실제 잔불이 발생한 영상에서의 포인트 사이의 거리 계산을 수학식 1을 통해 구현된다.
여기서, Radius = 6,371Km이며, Latitude1는 Map 표시 위도, Longitude1은 Map 표시 경도, Latitude2는 실제 View 위도, Longitude2는 실제 View 경도이다.
실제 view 지점 카메라 좌우 각도 계산은 수학식 2를 통해 구현된다.
여기서, Latitude1은 드론 위치 위도, Longitude1은 드론 위치 경도, Latitude2는 실제 촬영 위치 위도, Longitude2는 실제 촬영 위치 경도이다.
무인 이동체를 이용하여 항공촬영 등을 수행하고, 촬영된 영상을 이용하여 잔불을 감지하는 경우, 좌표값의 맵핑은 무인 이동체가 수평비행을 하지 않거나 큰 스퀸드 각도로 촬영될 수록 구하기가 어려워진다.
이에 따라, 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치는 실제 비행의 방향과 스퀸트 각도에 상관없이, 영상 중심 좌표를 구하고 이를 사용하여 잔불이 발생한 영역의 정확한 위치를 찾아내어 잔불을 진화하는데 이용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정부를 나타낸 블록도이다.
도 2를 참조하면, 잔불 위치 추정부(100)는 영상 처리부(110), 잔불 위치 마킹부(120)를 포함한다.
잔불 위치 추정부(100)는 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아낸다.
영상 처리부(110)는 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환한다. 영상 처리부가 영상을 그레이 영상으로 변환하고 영상의 크기를 변환하여 처리 속도를 높일 수 있다.
잔불 위치 마킹부(120)는 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹한다.
여기서, 기 설정된 조건은 그레이 색상의 밝기값의 220 내지 255인 것이 바람직하며, 해당 밝기값의 범위 내에 속하는 영역을 영상 내의 불이라고 추정된 값으로 찾아낼 수 있다. 영상에서 밝기가 0이면 어둡고 255에 가까워 질수록 밝아진다.
해당 영역을 마킹할 시 본 발명의 일 실시예에서는 영상 이미지 내의 밝은 값들은 빨간 테두리 처리한다.
위치 좌표 계산부는 잔불 위치 마킹부에서 추정하여 마킹된 영역의 위치 좌표를 계산하게 된다.
잔불 위치 추정부는 잔불의 추정 영역에 대한 오차를 줄이기 위해 이미지를 출력하고 영상 처리 과정과 잔불 위치 마킹 과정을 반복 수행할 수 있다.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정 방법은 하기 도 8을 예로 들어 설명한다.
도 3은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 좌표 계산부를 나타낸 블록도이다.
도 3을 참조하면, 위치 좌표 계산부(200)는 비행체 정보 획득부(210), 지형 정보 수신부(220), 영상 중심 좌표 계산부(230)를 포함한다.
위치 좌표 계산부(200)는 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산한다.
비행체 정보 획득부(210)는 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득한다.
무인 비행체의 이동 위치에 따른 좌표는 미리 입력 받으며, 전자-광학/적외선(EO/IR) 영상 메타데이터로부터 INS 정보를 획득한다.
여기서 무인 비행체의 이동 위치에 따른 좌표는 X축, Y축, Z축으로 이루어진 공간에 표시되는 좌표(x,y,z)인 것이 바람직하다.
여기서, 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보는, 상기 일 지점에서의 비행체 좌표, 고도 및 상기 무인 비행체에 설치된 영상 촬영 장치의 설정 각도를 포함하는 항목들 중 어느 하나 또는 복수를 조합하여 이루어진다.
지형 정보 수신부(220)는 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는다.
영상 중심 좌표 계산부(230)는 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산한다.
구체적으로, 영상 중심좌표 탐색 방안은 영상 중심의 실제 위치(A) 지점의 좌표를 산출하기 위하여 제로 고도 지점(A’)지점부터 역으로 DTED 정보를 탐색하여, DTED상의 지점 고도값이 시선벡터 상의 고도보다 높아서 시선벡터가 지형과 만나는 최초 지점(A”)을 탐색한다.
또는 비행체 위치로부터 DTED 정보를 순방향으로 탐색하여 시선벡터가 지형과 만나는 최초 지점(A”)을 탐색한다.
영상 중심 좌표 계산은 탐색된 다수의 지점(A”, A,,,)의 좌표와 고도값을 평균하여 더욱 정확한 위치 정보를 탐색할 수 있다.
여기서, DTED 정보는 수치 지형 표고 자료(Digital Terrain Elevation Data)이며, 지형의 기복 형태를 컴퓨터 상에 3차원으로 표현하여 각종 지형 분석의 기본 자료로 활용되는 컴퓨터 내장형 지형 고도 자료이다. DTED 정보는 지형 고도, 경사 또는 표면 재질에 관한 정보를 포함한다.
이에 따라, 본 발명의 일 실시예에서는 DTED 정보를 획득하여 추정하고자 하는 영역의 지형 고도 정보를 획득하게 된다.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정 방법은 하기 도 8을 예로 들어 설명한다.
도 4는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산부를 나타낸 블록도이다.
도 4를 참조하면, 영상 중심 좌표 계산부(230)는 시선 벡터 산출부(231), 시선 지표면 좌표 계산부(232), 수평 거리 계산부(233), 지형 고도 계산부(234), 시선 고도 계산부(235), 표적 좌표 계산부(236)를 포함한다.
영상 중심 좌표 계산부(230)는 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산한다.
시선 벡터 산출부(231)는 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 영상 촬영 장치의 시선 벡터를 산출한다.
시선 벡터 산출부(231)는 메타데이터로부터 획득한 INS 정보를 이용하여 동영상 화면 중심의 지점까지의 센서 시선벡터를 산출한다.
여기서, 무인 비행체의 이동 위치에 따른 좌표에서 무인 비행체에 설치된 영상 촬영 장치의 방위각, 고각 정보를 이용하여 잔불로 추정되는 영역의 영상 중심까지의 시선벡터를 산출하게 된다.
시선 지표면 좌표 계산부(232)는 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산한다.
영상 중심의 고도가 0에 근접한 지점은 지표면에 가까운 지점을 구하기 위한 것이며, 영상 촬영 장치의 시선 벡터를 이용하여 지표면에 근접한 지점의 좌표를 구한다.
수평 거리 계산부(233)는 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산한다.
지형 고도 계산부(234)는 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산한다.
시선 고도 계산부(235)는 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산한다.
표적 좌표 계산부(236)는 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산한다.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산 방법은 하기 도 9 내지 도 11에서 상세히 설명한다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법을 나타낸 흐름도이다.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법은 잔불 추적 위치 매핑 장치에서 하나의 프로세서로 구현되거나, 다수의 프로세서에서 각각 수행될 수도 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 방법은 잔불 위치 추정부가 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계 (S100)에서 시작한다.
변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계(S100)는, 단계 S110에서 영상 처리부가 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환한다.
단계 S120에서 잔불 위치 마킹부가 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹한다.
단계 S200에서 위치 좌표 계산부가 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산한다.
단계 S300에서 위치 매핑부가 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시한다.
단계 S400에서 오차 계산부가 상기 위치 매핑부에서 표시된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차를 계산한다.
도 6을 참조하면, 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계(S200)는, 단계 S210에서 비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득한다.
단계 S220에서 지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는다.
단계 S230에서 영상 중심 좌표 계산부가 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산한다.
도 7을 참조하면, 상기 영상 중심 좌표를 계산하는 단계(S230)는, 단계 S231에서 시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출한다.
단계 S232에서 시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산한다.
단계 S233에서 수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산한다.
단계 S234에서 지형 고도 계산부가 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산한다.
단계 S235에서 시선 고도 계산부가 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산한다.
단계 S236에서 표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산한다.
도 8은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 잔불 위치 추정 방법을 설명하기 위한 도면이다.
잔불 위치 추정부(100)는 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아낸다.
영상 처리부(110)는 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환한다. 영상 처리부가 영상을 그레이 영상으로 변환하고 영상의 크기를 변환하여 처리 속도를 높일 수 있다.
도 8의 (a)는 수신된 영상의 원본 영상이다. 도 8의 (b)는 원본 영상에서 해상도가 변환된 영상이며, 도 8의 (c)는 그레이 영상으로 변환된 영상이다.
잔불 위치 마킹부(120)는 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹한다.
여기서, 기 설정된 조건은 그레이 색상의 밝기값의 220 내지 255인 것이 바람직하며, 해당 밝기값의 범위 내에 속하는 영역을 영상 내의 불이라고 추정된 값으로 찾아낼 수 있다. 영상에서 밝기가 0이면 어둡고 255에 가까워 질수록 밝아진다.
해당 영역을 마킹할 시 본 발명의 일 실시예에서는 영상 이미지 내의 밝은 값들은 빨간 테두리 처리한다.
도 8의 (d)는 밝기값을 이용하여 밝은 영역이 추출된 영상이다. 도 8의 (e)는 밝은 영역이 마킹된 영상이며, 밝은 영역은 S1처럼 나타난다. 본 발명의 일 실시예에서는 잔불 추정 영역을 S1처럼 마킹하여 표시할 수 있다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 영상 중심 좌표 계산 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치는 실시간으로 무인 이동체가 획득하는 영상을 모니터링할 수 있는 모니터링 장치를 더 포함할 수 있으며, 무인 이동체에 설치된 영상 촬영 장치를 통해 영상을 획득할 수 있다. 영상 모니터링 중 잔불로 추정되는 영역이 감지되는 경우, 해당 영역을 클릭하여 해당 영역에 대한 좌표 계산을 시작하게 된다.
도 9의 (a)에서 비행체 정보 획득부(210)는 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득한다.
무인 비행체의 이동 위치에 따른 좌표는 미리 입력 받으며, 전자-광학/적외선(EO/IR) 영상 메타데이터로부터 INS 정보를 획득한다.
여기서 무인 비행체의 이동 위치에 따른 좌표는 X축, Y축, Z축으로 이루어진 공간에 표시되는 좌표(x,y,z)인 것이 바람직하다.
비행 고도(h)는 지표면에서부터 무인 비행체까지의 수직 거리이다.
카메라 각도(θ, φ)는 무인 비행체에 설치된 영상 촬영 장치의 설정 각도이다.
도 9의 (b)에서 취득 정보를 이용하여 카메라 시선 지표면 좌표를 계산(A')한다.
구체적으로, 시선 벡터 산출부(231)는 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 영상 촬영 장치의 시선 벡터(Look Vector)를 산출한다.
시선 벡터 산출부(231)는 메타데이터로부터 획득한 INS 정보를 이용하여 동영상 화면 중심의 지점까지의 센서 시선벡터를 산출한다.
여기서, 무인 비행체의 이동 위치에 따른 좌표에서 무인 비행체에 설치된 영상 촬영 장치의 방위각, 고각 정보를 이용하여 잔불로 추정되는 영역의 영상 중심까지의 시선벡터를 산출하게 된다.
시선 지표면 좌표 계산부(232)는 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산한다.
영상 중심의 고도가 0에 근접한 지점은 지표면에 가까운 지점을 구하기 위한 것이며, 영상 촬영 장치의 시선 벡터를 이용하여 지표면에 근접한 지점의 좌표를 구한다.
도 10의 (a)에서 수평 거리 계산부(233)는 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산한다.
즉, 무인 비행체의 위치에서 시선 지표면 좌표 계산부에서 계산된 A' 좌표까지의 거리(B')를 계산하며, 도 10의 (a)에서 B' 는 C'와 A' 사이의 수평 거리이다.
도 10의 (b)에서 지형 고도 계산부(234)는 상기 지형 정보를 기반으로 상기 수평 거리 내에 위치하는 지점들의 지형 고도를 계산한다. 지형 정보 수신부가 B' 거리의 지표면 고도 정보 요청 및 취득하고, (MS site 요청) 해당 정보를 기반으로 지형 고도를 계산한다. 여기서, 지형 고도는 C'와 A' 사이 고도 정보들을 의미한다.
도 11의 (a)에서 시선 고도 계산부(235)는 상기 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산한다.
도 11의 (b)에서 표적 좌표 계산부(236)는 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산한다.
도 11의 (a)에서, 무인 이동체의 중심 좌표 시선 고도(D')와 지형 고도 (A,,,) 만나는 점을 추출하며, 도 11의 (b)에서 추출된 지점의 좌표(A")를 계산한다.
도 11의 (b)에서 추출된 지점의 좌표(A")는 위도와 경도로 표현되는 좌표인 것이 바람직하며, 이후 지도에 해당 위치가 마킹된다.
도 12는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 적용을 설명하기 위해 모니터링 장치를 나타낸 도면이다.
본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치는 실시간으로 무인 이동체가 획득하는 영상을 모니터링할 수 있는 모니터링 장치(11)를 더 포함할 수 있으며, 무인 이동체에 설치된 영상 촬영 장치를 통해 영상을 획득할 수 있다. 영상 모니터링 중 잔불로 추정되는 영역(12)이 감지되는 경우, 해당 영역을 클릭하여 해당 영역에 대한 좌표 계산을 시작하게 된다.
도 13은 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치의 위치 매핑 결과를 나타낸 도면이다.
도 13에 나타난 바와 같이, 모니터링 장치는 무인 이동체가 촬영한 지역을 나타내며, 원 영상 또는 잔불을 확인할 수 있도록 변환된 영상(20)을 나타낼 수 있다.
위치 매핑 결과, 카메라 중심점이 바라보는 해수면 위치 (A')(21)가 표시되며, 잔불로 추정되는 영역의 위치가 계산되어 표시되는 지점(영상에서 보여지는 실제 위치)(22)를 마킹할 수 있다.
드론 위치(23)가 함께 나타나며, 잔불 위치와 무인 이동체 위치가 함께 나타나므로 무인 이동체의 이동 경로 설정이 용이하다.
또한, 고도 정보(25)를 함께 모니터링 할 수 있으며, 고도 정보는 해수면 고도와 카메라 중심 고도(26)를 함께 확인할 수 있다.
위치 매핑 결과의 일측에는 무인 이동체 정보(24)가 나타나며, 무인 이동체 정보는 고도, 위, 경도, 카메라 각도를 포함한다.
도 14는 본 발명의 일 실시예에 따른 영상 기반 잔불 추적 위치 매핑 장치에서 실제 잔불 위치를 설명하기 위한 도면이다.
도 14에 나타난 바와 같이, 무인 이동체(30)와 무인 이동체에 설치된 카메라(31)를 이용하여 잔불의 발생을 감지할 수 있으며, 실제 잔불 위치(33)를 측정할 시 영상만을 이용하는 경우 고도에 관한 정보를 반영하지 못하여, 지표면에서 발생한 경우와 산에서 발생하는 경우에 대한 차이를 반영할 수 없지만, 본 발명의 일 실시예 따른 영상 기반 잔불 추적 위치 매핑 장치는 잔불이 지표면에 근접하여 발생한 것이 아닌 경우에 시선 벡터(Look Vector)와 지형 고도를 이용하여 정확한 위치 좌표를 계산할 수 있다.
이상의 설명은 본 발명의 일 실시예에 불과할 뿐, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현할 수 있을 것이다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허 청구 범위에 기재된 내용과 동 등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
10: 영상 기반 잔불 추적 위치 매핑 장치
100: 잔불 위치 추정부
200: 위치 좌표 계산부
300: 위치 매핑부
400: 오차 계산부
100: 잔불 위치 추정부
200: 위치 좌표 계산부
300: 위치 매핑부
400: 오차 계산부
Claims (16)
- 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 잔불 위치 추정부;
상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산부; 및
상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 위치 매핑부;를 포함하고,
상기 위치 좌표 계산부는, 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 비행체 정보 획득부; 및 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 영상 중심 좌표 계산부;를 포함하며,
상기 영상 중심 좌표 계산부는, 상기 원시 영상에 포함된 영역의 지형 정보를 기반으로 상기 일 지점에서의 비행체 좌표에서 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표까지의 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 지형 고도 계산부; 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 시선 고도 계산부; 및 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 표적 좌표 계산부;를 포함하고,
상기 영상 중심 좌표 계산부는, 상기 영상 중심의 실제 위치 지점을 좌표를 산출하기 위해 제로 고도 지점부터 역으로 DTED 정보를 탐색하여 상기 DTED 상의 지점 고도값이 시선 벡터 상의 고도보다 높아 상기 시선 벡터가 지형과 만나는 최초 지점을 탐색하거나, 또는 상기 무인 비행체의 위치로부터 DTED 정보를 순방향으로 탐색하여 상기 시선 벡터가 지형과 만나는 최초 지점을 탐색하고, 상기 탐색된 다수의 지점의 좌표와 고도값을 평균하여 상기 영상 중심 좌표를 계산하며,
상기 DTED 정보는 지형 고도, 경사 또는 표면 재질에 관한 정보를 적어도 하나 포함하고,
상기 위치 매핑부에서 표시된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차를 계산하는 오차 계산부;를 더 포함하며,
상기 오차 계산부는, 상기 위치 좌표에 해당하는 지점에서의 위도와 경도, 상기 실제 잔불이 발생한 위치의 위도와 경도 및 반경(Radius)을 이용하여 상기 위치 좌표에 해당하는 지점과 상기 실제 잔불이 발생한 위치의 거리를 계산하고, 상기 무인 비행체의 위도와 경도, 상기 실제 잔불이 발생한 위치의 위도와 경도를 이용하여 상기 영상 촬영 장치의 좌우 각도를 계산하여, 상기 오차를 계산하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치. - 제1항에 있어서,
상기 잔불 위치 추정부는,
상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환하는 영상 처리부; 및
상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹하는 잔불 위치 마킹부;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치. - 삭제
- 제1항에 있어서,
상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보는,
상기 일 지점에서의 비행체 좌표, 고도 및 상기 영상 촬영 장치의 설정 각도를 포함하는 항목들 중 어느 하나 또는 복수를 조합하여 이루어지는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치. - 제4항에 있어서,
상기 영상 중심 좌표 계산부는,
상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 영상 촬영 장치의 시선 벡터를 산출하는 시선 벡터 산출부;
산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 시선 지표면 좌표 계산부; 및
상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 수평 거리 계산부;를 더 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치. - 제5항에 있어서,
상기 위치 좌표 계산부는,
외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 지형 정보 수신부;를 더 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 장치. - 삭제
- 삭제
- 잔불 위치 추정부가 무인 비행체가 이동 중에 획득한 원시 영상을 변환하고, 상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계;
위치 좌표 계산부가 상기 무인 비행체의 이동 위치를 고려하여 상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계; 및
위치 매핑부가 상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점을 표시하는 단계;를 포함하고,
상기 잔불로 추정되는 영역의 위치 좌표를 계산하는 단계는, 비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 단계; 지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 단계; 및 영상 중심 좌표 계산부가 상기 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 단계;를 포함하며,
상기 영상 중심 좌표를 계산하는 단계는, 지형 고도 계산부가 상기 지형 정보를 기반으로 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 단계; 시선 고도 계산부가 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 단계; 및 표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 단계;를 포함하고,
상기 영상 중심 좌표를 계산하는 단계는, 상기 영상 중심의 실제 위치 지점을 좌표를 산출하기 위해 제로 고도 지점부터 역으로 DTED 정보를 탐색하여 상기 DTED 상의 지점 고도값이 시선 벡터 상의 고도보다 높아 상기 시선 벡터가 지형과 만나는 최초 지점을 탐색하거나, 또는 상기 무인 비행체의 위치로부터 DTED 정보를 순방향으로 탐색하여 상기 시선 벡터가 지형과 만나는 최초 지점을 탐색하고, 상기 탐색된 다수의 지점의 좌표와 고도값을 평균하여 상기 영상 중심 좌표를 계산하며,
상기 DTED 정보는 지형 고도, 경사 또는 표면 재질에 관한 정보를 적어도 하나 포함하고,
상기 위치 매핑부에서 표시된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차 계산부가 오차를 계산하는 단계;를 더 포함하며,
상기 오차를 계산하는 단계는, 상기 위치 좌표에 해당하는 지점에서의 위도와 경도, 상기 실제 잔불이 발생한 위치의 위도와 경도 및 반경(Radius)을 이용하여 상기 위치 좌표에 해당하는 지점과 상기 실제 잔불이 발생한 위치의 거리를 계산하고, 상기 무인 비행체의 위도와 경도, 상기 실제 잔불이 발생한 위치의 위도와 경도를 이용하여 상기 영상 촬영 장치의 좌우 각도를 계산하여, 상기 오차를 계산하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 방법. - 제9항에 있어서,
상기 변환된 원시 영상에서 잔불로 추정되는 영역을 찾아내는 단계는,
영상 처리부가 상기 원시 영상의 색상을 그레이 영상으로 변환하고, 크기를 변환하는 단계; 및
잔불 위치 마킹부가 상기 변환된 원시 영상에서 기 설정된 조건의 값을 가지는 부분을 상기 잔불로 추정되는 값으로 판단하고, 해당 영역을 마킹하는 단계;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 방법. - 삭제
- 제10항에 있어서,
상기 영상 중심 좌표를 계산하는 단계는,
시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출하는 단계;
시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 단계; 및
수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 단계;를 포함하는 것을 특징으로 하는 영상 기반 잔불 추적 위치 매핑 방법. - 삭제
- 무인 비행체의 이동 위치를 고려하여 잔불로 추정되는 영역의 위치 좌표를 계산하는 위치 좌표 계산 방법에 있어서,
비행체 정보 획득부가 상기 무인 비행체의 이동 위치의 일 지점에 대한 비행체 정보를 획득하는 단계;
지형 정보 수신부가 외부의 데이터베이스로부터 상기 무인 비행체가 이동 중에 획득한 원시 영상에 포함된 영역의 지형 정보를 수신 받는 단계; 및
영상 중심 좌표 계산부가 비행체 정보를 기반으로 상기 잔불로 추정되는 영역에 해당하는 영상 중심의 실제 위치 지점의 좌표인 영상 중심 좌표를 계산하는 단계;를 포함하고,
상기 영상 중심 좌표를 계산하는 단계는, 지형 고도 계산부가 상기 지형 정보를 기반으로 수평 거리 내에 위치하는 지점들의 지형 고도를 계산하는 단계; 시선 고도 계산부가 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 기반으로 상기 수평 거리 내에 위치하는 지점들의 시선 고도를 계산하는 단계; 및 표적 좌표 계산부가 상기 지형 고도와 상기 시선 고도가 일치하는 지점의 좌표를 계산하는 단계를 포함하며,
상기 영상 중심 좌표를 계산하는 단계는, 상기 영상 중심의 실제 위치 지점을 좌표를 산출하기 위해 제로 고도 지점부터 역으로 DTED 정보를 탐색하여 상기 DTED 상의 지점 고도값이 시선 벡터 상의 고도보다 높아 상기 시선 벡터가 지형과 만나는 최초 지점을 탐색하거나, 또는 상기 무인 비행체의 위치로부터 DTED 정보를 순방향으로 탐색하여 상기 시선 벡터가 지형과 만나는 최초 지점을 탐색하고, 상기 탐색된 다수의 지점의 좌표와 고도값을 평균하여 상기 영상 중심 좌표를 계산하며,
상기 DTED 정보는 지형 고도, 경사 또는 표면 재질에 관한 정보를 적어도 하나 포함하고,
상기 원시 영상에 계산된 상기 위치 좌표에 해당하는 지점과 실제 잔불이 발생한 위치를 비교하여 오차 계산부가 오차를 계산하는 단계;를 더 포함하며,
상기 오차를 계산하는 단계는, 상기 위치 좌표에 해당하는 지점에서의 위도와 경도, 상기 실제 잔불이 발생한 위치의 위도와 경도 및 반경(Radius)을 이용하여 상기 위치 좌표에 해당하는 지점과 상기 실제 잔불이 발생한 위치의 거리를 계산하고, 상기 무인 비행체의 위도와 경도, 상기 실제 잔불이 발생한 위치의 위도와 경도를 이용하여 상기 영상 촬영 장치의 좌우 각도를 계산하여, 상기 오차를 계산하는 것을 특징으로 하는 위치 좌표 계산 방법. - 제14항에 있어서,
상기 영상 중심 좌표를 계산하는 단계는,
시선 벡터 산출부가 상기 무인 비행체의 이동 위치의 일 지점에서 상기 잔불로 추정되는 영역까지의 상기 무인 비행체에 설치된 영상 촬영 장치의 시선 벡터를 산출하는 단계;
시선 지표면 좌표 계산부가 산출된 상기 시선 벡터를 이용하여 상기 잔불로 추정되는 영역의 영상 중심의 고도가 0에 근접한 지점의 좌표인 시선 지표면 좌표를 계산하는 단계; 및
수평 거리 계산부가 상기 일 지점에서의 비행체 좌표에서 상기 시선 지표면 좌표까지의 수평 거리를 계산하는 단계;를 포함하는 것을 특징으로 하는 위치 좌표 계산 방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138759A KR102392258B1 (ko) | 2019-11-01 | 2019-11-01 | 영상 기반 잔불 추적 위치 매핑 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138759A KR102392258B1 (ko) | 2019-11-01 | 2019-11-01 | 영상 기반 잔불 추적 위치 매핑 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210053012A KR20210053012A (ko) | 2021-05-11 |
| KR102392258B1 true KR102392258B1 (ko) | 2022-04-29 |
Family
ID=75914941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190138759A KR102392258B1 (ko) | 2019-11-01 | 2019-11-01 | 영상 기반 잔불 추적 위치 매핑 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102392258B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612599B (zh) * | 2023-07-21 | 2023-09-19 | 鼎华创应急装备技术(深圳)有限公司 | 一种林火监控方法、装置、计算机设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011112556A (ja) * | 2009-11-27 | 2011-06-09 | Nec Corp | 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム |
| KR101768012B1 (ko) * | 2016-12-27 | 2017-08-23 | 룩시어 유한회사 | 열화상 카메라가 장착된 드론을 이용한 잔불 감지 시스템 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2695393B2 (ja) * | 1995-04-10 | 1997-12-24 | 川崎重工業株式会社 | 位置特定方法および装置 |
| KR101931819B1 (ko) * | 2012-12-31 | 2018-12-26 | (주)지오투정보기술 | 영상 정보와 항공사진 데이터를 비교하여 대상 객체를 결정하고 카메라 획득정보를 이용하여 대상 객체의 3차원 좌표를 획득하는 수치지도 제작 시스템 |
| KR101885785B1 (ko) * | 2016-11-18 | 2018-08-06 | (주)무림지앤아이 | 드론을 이용한 측량시스템 |
-
2019
- 2019-11-01 KR KR1020190138759A patent/KR102392258B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011112556A (ja) * | 2009-11-27 | 2011-06-09 | Nec Corp | 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム |
| KR101768012B1 (ko) * | 2016-12-27 | 2017-08-23 | 룩시어 유한회사 | 열화상 카메라가 장착된 드론을 이용한 잔불 감지 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210053012A (ko) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111326023B (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
| AU2012328156B2 (en) | Identification and analysis of aircraft landing sites | |
| US8300096B2 (en) | Apparatus for measurement of vertical obstructions | |
| Madawalagama et al. | Low cost aerial mapping with consumer-grade drones | |
| US8314816B2 (en) | System and method for displaying information on a display element | |
| Tulldahl et al. | Lidar on small UAV for 3D mapping | |
| US20170132808A1 (en) | Method and system for inertial measurement | |
| US9885569B2 (en) | Passive altimeter | |
| Andert et al. | Optical-aided aircraft navigation using decoupled visual SLAM with range sensor augmentation | |
| WO2023150888A1 (en) | System and method for firefighting and locating hotspots of a wildfire | |
| Martínez-de Dios et al. | Experimental results of automatic fire detection and monitoring with UAVs | |
| US11460302B2 (en) | Terrestrial observation device having location determination functionality | |
| Schleiss et al. | VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments | |
| KR102392258B1 (ko) | 영상 기반 잔불 추적 위치 매핑 장치 및 방법 | |
| CN117330052A (zh) | 基于红外视觉、毫米波雷达和imu融合的定位与建图方法及系统 | |
| Zhou et al. | Autonomous landing of a helicopter UAV with a ground-based multisensory fusion system | |
| Bodunkov et al. | Autonomous landing-site selection for a small drone | |
| Mares et al. | Vehicle self-localization in GPS-denied zones by multi-band imaging and analysis of prominent scene features | |
| Sweet et al. | Image processing and fusion for landing guidance | |
| JP2020106919A (ja) | 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム | |
| RU2809177C1 (ru) | Способ применения роботизированного тахеометра и беспилотного летательного аппарата для определения координат наземного объекта | |
| CN114964245B (zh) | 一种无人机视觉侦察定位方法 | |
| CN116793340B (zh) | 一种无人机自动着陆导航方法、装置及电子设备 | |
| US20230342975A1 (en) | Fusion enabled re-identification of a target object | |
| Baheerathan et al. | Experiment of image-aided inertial navigation with multiple cameras in Octocopter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| E90F | Notification of reason for final refusal | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |