KR102404771B1 - Automated wild animal detection method and device by drone-mounted thermal camera shoot image - Google Patents

Automated wild animal detection method and device by drone-mounted thermal camera shoot image Download PDF

Info

Publication number
KR102404771B1
KR102404771B1 KR1020210061787A KR20210061787A KR102404771B1 KR 102404771 B1 KR102404771 B1 KR 102404771B1 KR 1020210061787 A KR1020210061787 A KR 1020210061787A KR 20210061787 A KR20210061787 A KR 20210061787A KR 102404771 B1 KR102404771 B1 KR 102404771B1
Authority
KR
South Korea
Prior art keywords
image
original
rgb image
thermal
unmanned aerial
Prior art date
Application number
KR1020210061787A
Other languages
Korean (ko)
Inventor
이승현
송영근
박찬
길승호
Original Assignee
서울대학교 산학협력단
서울시립대학교 산학협력단
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교 산학협력단, 서울시립대학교 산학협력단, 강원대학교산학협력단 filed Critical 서울대학교 산학협력단
Priority to KR1020210061787A priority Critical patent/KR102404771B1/en
Application granted granted Critical
Publication of KR102404771B1 publication Critical patent/KR102404771B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • B64C2201/127—

Abstract

본 발명은 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법 및 장치에 관한 것으로서, 본 발명의 실시예에 따른 야생동물 개체 자동 선별 장치에 의해 수행되는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법은 무인비행체에 탑재된 열화상 카메라를 이용해 탐지 대상지를 촬영하여 원본 RGB 이미지와 원본 열화상 이미지를 각각 저장하는 제1 단계; 상기 원본 RGB 이미지와 원본 열화상 이미지를 가공하여 동시에 사용할 수 있도록 픽셀 해상도를 맞추고, 픽셀 값을 보정하는 제2 단계; 및 상기 보정된 RGB 이미지와 열화상 이미지를 사용해 개체 탐지를 위한 소벨(Sobel) 에지를 생성하고, 임계값을 적용하여 이진화하는 제3 단계; 및 상기 이진화된 이미지를 사용하여 개별 동물 개체의 경계선과 중심점을 생성하고, 경계선의 면적과 중심점의 온도를 통해 유효하지 않은 개체를 제거 한 뒤, 유효한 개체를 원본 RGB 이미지에 표시하는 제4 단계;를 포함하여 구성된다.The present invention relates to a method and apparatus for automatic selection of wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imaging camera. The method for automatic selection of wild animals includes: a first step of photographing a detection target using a thermal imaging camera mounted on an unmanned aerial vehicle and storing an original RGB image and an original thermal image, respectively; a second step of processing the original RGB image and the original thermal image to adjust pixel resolution so that they can be used at the same time, and correcting pixel values; and a third step of generating a Sobel edge for object detection using the corrected RGB image and the thermal image, and binarizing it by applying a threshold value; and a fourth step of generating boundary lines and center points of individual animal objects using the binarized image, removing invalid objects through the area of boundary lines and temperature of the center points, and displaying valid objects in the original RGB image; is comprised of

Description

무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법 및 장치{Automated wild animal detection method and device by drone-mounted thermal camera shoot image}{Automated wild animal detection method and device by drone-mounted thermal camera shoot image}

본 발명의 실시예는 야생동물 개체 자동 선별 방법 및 장치에 관한 것으로, 보다 상세하게는 지형적 제한요소, 조사 시간, 그리고 야생동물의 보호색 등과 같은 장애요소에 구애받지 않고 조사지역 탐사 가능하여 야생동물 탐지의 정확도와 속도를 향상시키고, 저비용으로 광범위의 야생동물 탐지가 가능한 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법 및 장치에 관한 것이다.An embodiment of the present invention relates to a method and apparatus for automatic selection of wild animals, and more particularly, detection of wild animals by enabling exploration of an investigation area regardless of obstacles such as topographical restrictions, investigation time, and protection colors of wild animals It relates to a method and apparatus for automatic selection of wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imaging camera that can improve the accuracy and speed of detection and detect a wide range of wild animals at low cost.

일반적으로 야생동물 조사 및 탐지는 현장조사가 주를 이뤄왔고, 그 외에 카메라 트랩 설치와 관찰, 유인 비행기를 이용한 공중 사진촬영, GPS 위치추적기 사용 및 시각조사 등이 사용되었다.In general, field surveys have been mainly used for investigation and detection of wild animals, and in addition, installation and observation of camera traps, aerial photography using manned airplanes, use of GPS locators and visual surveys have been used.

열화상 카메라는 물체표면에서 복사되는 적외선 에너지를 검출하여 온도를 측정하는 것으로, 일반적으로 렌즈, 열 센서, 처리 장치 등으로 구성되어있다. 열 센서의 경우 가시광선보다 파장이 훨씬 큰 에너지를 감지하기 때문에 큰 크기를 가지며, 따라서 동일한 크기의 실화상 센서보다 낮은 해상도를 가지는 것이 일반적이다. 또한, 열화상 카메라의 성능을 결정짓는 요소는 시야각, 측정가능범위, 열민감도, 적외선 해상도, 스펙트럼 범위 등이다.A thermal imaging camera measures the temperature by detecting infrared energy radiated from the surface of an object, and is generally composed of a lens, a thermal sensor, and a processing device. In the case of a thermal sensor, since it detects energy with a wavelength much larger than that of visible light, it has a large size, so it is common to have a lower resolution than a real image sensor of the same size. In addition, factors that determine the performance of a thermal imaging camera include viewing angle, measurable range, thermal sensitivity, infrared resolution, and spectral range.

무인비행체로 통용되는 드론은 과거 주로 군사용으로 개발되었으나, 최근엔 환경, 농업, 물류, 기상, 통신, 방재 등의 다양한 분야로 확대되어 사용되고 있다. 드론의 가장 큰 장점은 공중에서 움직이기 때문에 특정 지역으로의 접근과 이동이 용이하다는 점과, 유인비행기 등과 비교하면 훨씬 저렴한 비용으로 운용가능 하다는 점 등이 있다.Drones commonly used as unmanned aerial vehicles were mainly developed for military use in the past, but have recently been expanded and used in various fields such as environment, agriculture, logistics, meteorology, communication, and disaster prevention. The biggest advantage of drones is that they are easy to access and move to a specific area because they move in the air, and that they can be operated at a much lower cost compared to manned planes.

그러나, 이와 같은 무인비행체에 열화상 카메라를 탑재한 방식의 야생동물 조사는 이루어지고 있지 않았으며, 종래 기술에 따른 현장조사, 카메라 트랩 설치와 관찰, 유인 비행기를 이용한 공중 사진촬영, GPS 위치추적기 및 시각조사 등의 방법은 탐지하고자 하는 범위에 따라 시간과 비용이 기하급수적으로 증가한다는 단점이 있으며, 실제 현장에서의 전문가 직접 조사가 주를 이루기 때문에 부상 등의 위험이 있었다.However, investigation of wild animals in such a way that a thermal imaging camera is mounted on such an unmanned aerial vehicle has not been conducted. Methods such as visual inspection have the disadvantage that time and cost increase exponentially depending on the range to be detected, and there is a risk of injury, etc.

본 발명은 전술한 문제를 해결하기 위해 안출된 것으로서, 본 발명은 광범위한 조사지역에 대하여 신속성, 안정성, 정확성을 확보하여 야생동물을 촬영하도록 하고, 동시에 보다 낮은 비용으로 야생동물 개체를 선별할 수 있도록 하고자 한다.The present invention has been devised to solve the above-mentioned problems, and the present invention is capable of photographing wild animals by securing speed, stability, and accuracy for a wide range of investigation areas, and at the same time allowing selection of wild animals at a lower cost. want to

전술한 문제를 해결하기 위한 본 발명의 실시예에 따른 야생동물 개체 자동 선별 장치에 의해 수행되는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법은 무인비행체에 탑재된 열화상 카메라를 이용해 탐지 대상지를 촬영하여 원본 RGB 이미지와 원본 열화상 이미지를 각각 저장하는 제1 단계; 상기 원본 RGB 이미지와 원본 열화상 이미지를 가공하여 동시에 사용할 수 있도록 픽셀 해상도를 맞추고, 픽셀 값을 보정하는 제2 단계; 및 상기 보정된 RGB 이미지와 열화상 이미지를 사용해 개체 탐지를 위한 소벨(Sobel) 에지를 생성하고, 임계값을 적용하여 이진화하는 제3 단계; 및 상기 이진화된 이미지를 사용하여 개별 동물 개체의 경계선과 중심점을 생성하고, 경계선의 면적과 중심점의 온도를 통해 유효하지 않은 개체를 제거 한 뒤, 유효한 개체를 원본 RGB 이미지에 표시하는 제4 단계;를 포함한다.In order to solve the above problem, the method for automatic selection of wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imaging camera performed by an automatic wild animal object selection apparatus according to an embodiment of the present invention for solving the above-mentioned problems is to use a thermal imaging camera mounted on an unmanned aerial vehicle. A first step of photographing a detection target and storing an original RGB image and an original thermal image, respectively; a second step of processing the original RGB image and the original thermal image to adjust pixel resolution so that they can be used at the same time, and correcting pixel values; and a third step of generating a Sobel edge for object detection using the corrected RGB image and the thermal image, and binarizing it by applying a threshold value; and a fourth step of generating boundary lines and center points of individual animal objects using the binarized image, removing invalid objects through the area of boundary lines and temperature of the center points, and displaying valid objects in the original RGB image; includes

본 발명의 다른 일실시예에 따르면, 본 발명의 다른 일실시예에 따르면, 상기 제2 단계는, 상기 원본 RGB 이미지를 보정하는 RGB 이미지 보정 단계; 및 상기 원본 열화상 이미지를 보정하는 열화상 이미지 보정 단계;를 포함할 수 있다.According to another embodiment of the present invention, according to another embodiment of the present invention, the second step may include: an RGB image correction step of correcting the original RGB image; and a thermal image correction step of correcting the original thermal image image.

본 발명의 다른 일실시예에 따르면, 상기 RGB 이미지 보정 단계는 렌즈 왜곡 보정, 이미지 자르기, 이미지 크기 조정을 통해 보정된 RGB 이미지를 생성할 수 있다.According to another embodiment of the present invention, the RGB image correction step may generate a corrected RGB image through lens distortion correction, image cropping, and image size adjustment.

본 발명의 다른 일실시예에 따르면, 상기 열화상 이미지 보정 단계는 모피 색깔에 따라 온도값 보정, 인공 구조물 마스킹을 포함하여 보정된 열화상 이미지를 생성할 수 있다.According to another embodiment of the present invention, in the step of calibrating the thermal image, a corrected thermal image may be generated by correcting a temperature value according to a fur color and masking an artificial structure.

본 발명의 다른 일실시예에 따르면, 상기 제3 단계는 경계선 생성 단계를 통해 X 축 소벨 에지 생성, Y 축 소벨 에지 생성 후 이들을 결합하여 양 축 소벨 에지를 생성한 뒤, 임계값을 적용하여 이진화 할 수 있다.According to another embodiment of the present invention, in the third step, the X-axis Sobel edge is generated through the boundary line generation step, the Y-axis Sobel edge is generated, and the two-axis Sobel edge is generated by combining them, and then binarized by applying a threshold value. can do.

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 이진화 된 보정 RGB 이미지와 이진화 된 보정 열화상 이미지가 곱해진 이미지에 대하여 경계 및 중심점 생성, 유효 면적 선별, 유효 온도 선별을 통해 유효 개체를 카운트 할 수 있다.According to another embodiment of the present invention, in the fourth step, an effective object is selected through generation of boundaries and center points, effective area selection, and effective temperature selection for the image in which the binarized corrected RGB image and the binarized corrected thermal image are multiplied. can count

본 발명의 다른 일실시예에 따르면, 상기 제4 단계는 경계선으로 둘러 싸인 개별 개체에 촬영 고도에 따른 해상도를 곱하여 객체의 면적을 산출하여 최소 면적 기준 보다 크고, 동물의 최소 크기와 최대 크기 사이의 조건에 해당하는 면적 범위를 가진 개체만 추출하여 상기 유효 면적 선별 이미지를 생성하는 유효 면적 선별 단계;를 더 포함할 수 있다.According to another embodiment of the present invention, in the fourth step, the area of the object is calculated by multiplying the individual object surrounded by the boundary line by the resolution according to the photographing height, which is larger than the minimum area standard, and is between the minimum and maximum size of the animal. The method may further include an effective area selection step of generating the effective area selection image by extracting only an entity having an area range corresponding to the condition.

본 발명의 다른 일실시예에 따르면, 상기 생성된 개별 경계선의 중심점 온도를 산출하여 고도에 따라 변하는 대상 야생동물 표면 온도의 최소 기준 보다 높은 개체만 추출하여 상기 유효 온도 선별 이미지를 생성하는 유효 온도 선별 단계;를 더 포함할 수 있다.According to another embodiment of the present invention, effective temperature selection for generating the effective temperature selection image by calculating the central point temperature of the generated individual boundary lines and extracting only the individuals higher than the minimum standard of the target wild animal surface temperature that varies with altitude step; may further include.

본 발명에 따르면 무인비행체를 활용하여 공중에서 촬영하기 때문에 지형적 제한요소, 조사 시간, 그리고 야생동물의 보호색 등과 같은 장애요소 없이 조사지역 탐사 가능하다.According to the present invention, it is possible to explore the investigation area without obstacles such as topographical restriction factors, investigation time, and protection color of wild animals, because it is photographed in the air using an unmanned aerial vehicle.

또한, 종래 기술에 따른 조사방법은 조사범위에 따라 시간과 비용이 급격히 늘어나는 경향이 있지만, 본 발명의 방법은 조사범위의 증가에 따른 시간 및 비용소모 변화가 크지 않은 장점이 있다.In addition, although the irradiation method according to the prior art tends to increase time and cost rapidly depending on the irradiation range, the method of the present invention has the advantage that the change in time and cost consumption according to the increase of the irradiation range is not large.

또한, 본 발명에 따르면, 전체 조사범위에 대해 질적으로 동일한 수준의 결과물을 얻을 수 있으며, 도보, 차량을 통해 접근할 수 없는 지역에 쉽게 접근하여 촬영 가능하다.In addition, according to the present invention, it is possible to obtain a result of the same qualitative level for the entire investigation range, and it is possible to easily access and photograph an area that cannot be accessed by foot or vehicle.

또한, 본 발명에 따르면, 온도를 통해 판별하기 때문에 시각탐지로부터 발생 가능한 오류 최소화 가능하고, 비행 및 촬영 자동화, 다수 기기 연동이 가능하여 조사 편의성이 증가한다.In addition, according to the present invention, since it is determined based on temperature, it is possible to minimize errors that may occur from visual detection, and it is possible to automate flight and shooting, and to link multiple devices, thereby increasing the convenience of investigation.

본 발명은 야생동물 탐지의 정확도와 속도를 향상시키고, 궁극적으로 저비용으로 광범위의 야생동물 탐지가 가능하게 하므로, 서식종 조사와 같은 동물탐지가 활용되는 분야를 더욱 활성화 시키는 효과를 가져온다. 또한, 무인비행체, 열화상 카메라, 컴퓨터 프로그래밍 등 전문화된 기술이 요구되기 때문에 전문인력 양성 및 배출과 국내 무인비행체 및 열화상 카메라 산업의 활성화라는 부수적인 이점 또한 갖고 있다.The present invention improves the accuracy and speed of wild animal detection, and ultimately enables the detection of a wide range of wild animals at low cost, thereby activating the field in which animal detection is utilized, such as habitat species investigation. In addition, since specialized skills such as unmanned aerial vehicles, thermal imaging cameras, and computer programming are required, it also has ancillary advantages of nurturing and distributing professional manpower and revitalization of the domestic unmanned aerial vehicle and thermal imaging camera industry.

이러한 산업의 활성화와 부수적 이점은 추후 유해조수 탐지, 철새 탐지, 멸종 위기종 탐지 등 특화분야에도 적용 될 수 있으며, 전체적으로 생태계 조사와 생물다양성 연구 및 사업에 선순환적 구조를 가져오는 효과를 낳는다.The revitalization and ancillary advantages of these industries can be applied to specialized fields such as hazardous tide detection, migratory bird detection, and endangered species detection in the future.

도 1은 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영된 원본 RGB 이미지와 원본 열화상 이미지의 스펙 차이를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 원본 RGB 이미지를 보정하여 원본 열화상 이미지와 동일한 형식을 갖는 보정된 RGB 이미지를 만드는 과정을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 원본 열화상 이미지를 보정하여 야생동물 탐지의 오류를 최소하하기 위한 보정된 열화상 이미지를 만드는 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 보정된 RGB 이미지와 보정된 열화상 이미지로부터 X 축 소벨 에지와 Y 축 소벨 에지를 생성하고 이를 결합하여 양 축 소벨 에지와 이에 임계값을 적용한 이진화된 이미지를 생성하는 과정을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 이진화 된 보정 RGB 이미지와 이진화 된 보정 열화상 이미지의 결과를 곱하여 생성된 경계선과 중심점을 유효 면적 선별부와 유효 온도 선별부를 통해 최종적으로 유효한 야생동물 개체를 상기 원본 RGB 이미지에 마킹하여 동물 개체 표시 원본 RGB 이미지를 생성하는 과정을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 장치의 구성도이다.1 is a flowchart illustrating a method for automatically selecting wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imager according to an embodiment of the present invention.
2 is a diagram illustrating a difference in specifications between an original RGB image and an original thermal image photographed with an unmanned aerial vehicle mounted thermal imager according to an embodiment of the present invention.
3 is a diagram illustrating a process of creating a corrected RGB image having the same format as an original thermal image by correcting an original RGB image according to an embodiment of the present invention.
4 is a diagram illustrating a process of creating a corrected thermal image for minimizing an error in wild animal detection by correcting an original thermal image according to an embodiment of the present invention.
5 is a binarized image to which an X-axis Sobel edge and a Y-axis Sobel edge are generated from a corrected RGB image and a corrected thermal image according to an embodiment of the present invention, and the two-axis Sobel edge and a threshold value are applied thereto by combining them. It is a diagram showing the process of creating a .
6 shows the boundary lines and center points generated by multiplying the results of the binarized corrected RGB image and the binarized corrected thermal image according to an embodiment of the present invention through the effective area selection unit and the effective temperature selection unit to finally obtain an effective wild animal object. It is a diagram illustrating a process of generating an original RGB image for displaying an animal object by marking the original RGB image.
7 is a block diagram of an apparatus for automatic selection of wild animals taken with an unmanned aerial vehicle-mounted thermal imager according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 바람직한 본 발명의 일실시예에 대해서 상세히 설명한다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.Hereinafter, an exemplary embodiment of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the embodiment, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, a detailed description thereof will be omitted. In addition, the size of each component in the drawings may be exaggerated for explanation, and does not mean the size actually applied.

생물다양성(Biodiversity) 이란, 생태계, 종, 유전자 다양성을 종합한 개념으로 모든 생물체의 다양성을 말한다. 1993년 생물다양성협약(Convention on Biological Diversity, CBD) 이후, 생물자원의 중요성이 더욱 증대되었으며, 우리나라에서도 생물다양성 보존을 위한 많은 사업이 이뤄지고 있다. 또한, 서식종 조사는 환경영향평가, 연구의 목적으로도 활발히 진행되고 있다. Biodiversity is a concept that combines ecosystem, species, and genetic diversity, and refers to the diversity of all living things. Since the Convention on Biological Diversity (CBD) in 1993, the importance of biological resources has increased, and many projects for biodiversity conservation are being conducted in Korea. In addition, habitat species survey is being actively conducted for the purpose of environmental impact assessment and research.

본 발명은 종래 기술보다 조사범위, 시간, 편의성 등 다방면에서 개선된 야생동물 조사 방법으로서, 성장하고 있는 생물다양성 및 서식종 조사 관련 분야에서 더욱 활발히 사용될 것이다.The present invention is a wild animal research method improved in various fields such as investigation range, time, convenience, etc. compared to the prior art, and will be more actively used in growing biodiversity and habitat species investigation related fields.

현재 무인비행체란 용어로 통용되는 드론은 현재 다양한 분야에서 활용되고 있다. 드론 보급 활성화로 인해 개인 소유 드론도 꾸준히 증가하고 있으며, 스마트폰 어플 등을 활용해 간단히 촬영이 가능하다. 열화상 카메라는 물체표면 복사 적외선 에너지를 검출하여 온도를 측정하는 것으로, 의료, 건설, 환경, 보건, 군사, 재해, 기상, 식품 등의 다양한 분야에서 활용되고 있다. 또한, 코로나 팬데믹 이후 일반에서의 활용이 크게 증가하였다.Drones, commonly referred to as unmanned aerial vehicles, are currently being used in various fields. The number of privately owned drones is also steadily increasing due to the vitalization of the spread of drones. Thermal imaging cameras measure the temperature by detecting radiant infrared energy from the surface of an object, and are used in various fields such as medicine, construction, environment, health, military, disaster, meteorology, and food. In addition, its use in the general public has greatly increased after the corona pandemic.

본 발명은 무인비행체와 열화상 카메라의 활용이 핵심으로, 이 두 가지 개념은 대중에게 익숙하여 야생동물 탐지 분야와 어렵지 않게 접목될 수 있다. 야생동물 탐지를 위해 드론을 구비하여 사용하는 경우도 많기 때문에, 열화상 카메라만 추가적으로 탑재하여 본 발명의 활용이 가능하다.The core of the present invention is the use of unmanned aerial vehicles and thermal imaging cameras, and these two concepts are familiar to the public and can be easily combined with the field of wildlife detection. Since there are many cases where a drone is provided and used for detecting wild animals, it is possible to utilize the present invention by additionally mounting only a thermal imaging camera.

도 1은 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법을 설명하기 위한 흐름도이다.1 is a flowchart illustrating a method for automatically selecting wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imager according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영된 원본 RGB 이미지와 원본 열화상 이미지의 스펙 차이를 도시한 도면이다.2 is a diagram illustrating a difference in specifications between an original RGB image and an original thermal image photographed with an unmanned aerial vehicle-mounted thermal imager according to an embodiment of the present invention.

또한, 도 3은 본 발명의 일실시예에 따른 원본 RGB 이미지를 보정하여 원본 열화상 이미지와 동일한 형식을 갖는 보정된 RGB 이미지를 만드는 과정을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 원본 열화상 이미지를 보정하여 야생동물 탐지의 오류를 최소화하기 위한 보정된 열화상 이미지를 만드는 과정을 도시한 도면이다.In addition, FIG. 3 is a diagram illustrating a process of creating a corrected RGB image having the same format as an original thermal image by correcting an original RGB image according to an embodiment of the present invention, and FIG. 4 is an embodiment of the present invention. It is a diagram showing a process of creating a corrected thermal image to minimize the error of wild animal detection by correcting the original thermal image according to the method.

또한, 도 5는 본 발명의 일실시예에 따른 보정된 RGB 이미지와 보정된 열화상 이미지로부터 X 축 소벨 에지와 Y 축 소벨 에지를 생성하고 이를 결합하여 양 축 소벨 에지와 이에 임계값을 적용한 이진화된 이미지를 생성하는 과정을 도시한 도면이며, 도 6은 본 발명의 일실시예에 따른 이진화 된 보정 RGB 이미지와 이진화 된 보정 열화상 이미지의 결과를 곱하여 생성된 경계선과 중심점을 유효 면적 선별부와 유효 온도 선별부를 통해 최종적으로 유효한 야생동물 개체를 상기 원본 RGB 이미지에 마킹하여 동물 개체 표시 원본 RGB 이미지를 생성하는 과정을 도시한 도면이며, 도 7은 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 장치의 구성도이다.In addition, FIG. 5 shows an X-axis Sobel edge and a Y-axis Sobel edge from the corrected RGB image and the corrected thermal image according to an embodiment of the present invention, and combines them, both-axis Sobel edge and binarization to which a threshold value is applied 6 is a diagram illustrating a process of generating a corrected image, and FIG. 6 is a boundary line and a center point generated by multiplying a binarized corrected RGB image and a binarized corrected thermal image image according to an embodiment of the present invention with an effective area selector It is a view showing a process of generating an original RGB image for displaying an animal object by marking a finally valid wild animal object on the original RGB image through an effective temperature selection unit. It is a block diagram of an automatic sorting device for wild animals taken with a video camera.

이후부터는 도 1 내지 도 7을 참조하여 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법을 설명하기로 한다.Hereinafter, a method for automatically selecting wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imager according to an embodiment of the present invention will be described with reference to FIGS. 1 to 7 .

본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법은 야생동물 개체 자동 선별 장치에 의해 수행된다.The method for automatic selection of wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imaging camera according to an embodiment of the present invention is performed by an automatic wild animal object selection apparatus.

또한, 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 장치는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법을 수행하는 컴퓨터 장치로 구성되거나, 별도의 전용 야생동물 개체 자동 선별 장치로 구성될 수 있다. 또한, 상기 야생동물 개체 자동 선별 장치는 소프트웨어 프로그램, 하드웨어 장치 또는 소프트웨어 프로그램과 하드웨어 장치로 구성될 수 있다.In addition, the apparatus for automatically selecting wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imaging camera according to an embodiment of the present invention comprises a computer device that performs an automatic wild animal object selection method photographed with an unmanned aerial vehicle-mounted thermal imaging camera, or It may be configured as a separate, dedicated automatic wild animal object selection device. In addition, the apparatus for automatic selection of wild animal objects may be composed of a software program, a hardware device, or a software program and a hardware device.

먼저, 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법은 무인비행체에 탑재된 열화상 카메라를 이용해 탐지 대상지를 촬영하여(S101), 원본 RGB 이미지와 원본 열화상 이미지를 각각 저장한다(S111, S112).First, in the method for automatically selecting wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imaging camera according to an embodiment of the present invention, the detection target is photographed using a thermal imaging camera mounted on the unmanned aerial vehicle (S101), and the original RGB image and the original Each thermal image is stored (S111, S112).

본 발명의 일실시예에서 사용되는 이미지는 무인비행체 탑재 열화상 카메라로 촬영되며, 도 2 도시된 바와 같이 원본 RGB 이미지와 원본 열화상 이미지의 두 가지로 동시에 저장되며, 이때 두 결과물은 서로 다른 스펙을 가지고 있다. 이때, 상기 원본 RGB 이미지와 원본 열화상 이미지를 가공하여 동시에 사용할 수 있도록 픽셀 해상도를 맞추고, 픽셀 값을 보정한다.The image used in an embodiment of the present invention is taken with an unmanned aerial vehicle mounted thermal imaging camera, and as shown in FIG. 2 , an original RGB image and an original thermal image are simultaneously stored in two formats, where the two results have different specifications has a At this time, the original RGB image and the original thermal image are processed and the pixel resolution is adjusted so that they can be used at the same time, and the pixel value is corrected.

즉, RGB 이미지 보정 과정(S120)과 열화상 이미지 보정 과정(S130)을 통해 상기 원본 RGB 이미지와 원본 열화상 이미지를 가공하여 동물 보정된 RGB 이미지를 생성하고(S141), 보정된 열화상 이미지를 생성한다(S142).That is, the original RGB image and the original thermal image are processed through the RGB image correction process (S120) and the thermal image correction process (S130) to generate an animal-corrected RGB image (S141), and the corrected thermal image is processed generated (S142).

보다 상세하게 설명하면, RGB 이미지 보정 과정(S120)에서는 상기 원본 RGB 이미지는 도 3에 표시된 바와 같이 렌즈 왜곡 보정, 이미지 자르기, 이미지 크기 조정의 과정을 포함하며, 열화상 이미지 보정 과정(S130)은 도 4에 표시된 바와 같이 모피 색깔에 따른 온도값 보정, 인공 구조물 마스킹을 포함한다. More specifically, in the RGB image correction process (S120), the original RGB image includes the processes of lens distortion correction, image cropping, and image size adjustment as shown in FIG. 3, and the thermal image correction process (S130) is As shown in Fig. 4, it includes temperature value correction according to the fur color and artificial structure masking.

이후, 상기 보정된 RGB 이미지와 보정된 열화상 이미지가 경계선 생성의 과정(S150)을 거쳐, 이진화 된 보정 RGB 이미지와 이진화 된 보정 열화상 이미지를 생성한다(S161, S162)Thereafter, the corrected RGB image and the corrected thermal image are subjected to a boundary line generation process (S150) to generate a binarized corrected RGB image and a binarized corrected thermal image (S161, S162).

보다 상세하게 설명하면, 경계선 생성의 과정(S150)은 도 5에 도시된 바와 같이 X 축 소벨에지 생성, Y 축 소벨에지 생성, 양축 소벨에지 생성, 임계값 적용 및 이미지 이진화의 과정을 통해 이진화 된 보정 RGB 이미지와 이진화 된 보정 열화상 이미지를 생성한다(S161, S162). 이후, 상기 이진화 된 보정 RGB 이미지 와 이진화 된 보정 열화상 이미지를 곱한 이미지를 생성하고(S163), 개체 카운트의 과정(S170)을 거쳐 동물 개체 표시 원본 RGB 이미지가 생성된다(S180).More specifically, the boundary line generation process (S150) is binarized through the processes of X-axis Sobel edge generation, Y-axis Sobel edge generation, bi-axis Sobel edge generation, threshold value application, and image binarization as shown in FIG. A corrected RGB image and a binarized corrected thermal image are generated (S161, S162). Thereafter, an image obtained by multiplying the binarized corrected RGB image and the binarized corrected thermal image is generated (S163), and an object counting process (S170) is performed to generate an original RGB image displaying an animal object (S180).

보다 상세하게 설명하면, 개체 카운트의 과정(S170)은 도 6에 도시된 바와 같이 유효 면적 선별, 유효 온도 선별의 과정을 포함하며, 유효 면적 선별 시에는 경계선으로 둘러 싸인 개별 개체에 촬영 고도에 따른 해상도를 곱하여 객체의 면적을 산출하여 최소 면적 기준 보다 크고, 동물의 최소 크기와 최대 크기 사이의 조건에 해당하는 면적 범위를 가진 개체만 추출하여 상기 유효 면적 선별 이미지를 생성하고, 유효 온도 선별 시에는 상기 생성된 개별 경계선의 중심점 온도를 산출하여 고도에 따라 변하는 대상 야생동물 표면 온도의 최소 기준 보다 높은 개체만 추출하여 상기 유효 온도 선별 이미지를 생성할 수 있다.In more detail, the process of counting objects ( S170 ) includes the processes of effective area selection and effective temperature selection as shown in FIG. 6 , and during effective area selection, individual objects surrounded by a boundary line are selected according to the photographing altitude. The area of the object is calculated by multiplying the resolution, and the effective area screening image is generated by extracting only the objects that are larger than the minimum area standard and have an area range corresponding to the condition between the minimum and maximum sizes of animals, and when selecting the effective temperature, The effective temperature selection image may be generated by calculating the central point temperature of the generated individual boundary lines and extracting only individuals higher than the minimum standard of the target wild animal surface temperature that varies according to altitude.

도 6을 참조하면, 동물 개체 표시 원본 RGB 이미지 과정(S180)을 통해 추출된 동물의 개수, 종류, 색깔, 그리고 크기 등을 더욱 정확히 확인 가능함을 알 수 있다.Referring to FIG. 6 , it can be seen that the number, type, color, and size of the animals extracted through the original RGB image process for displaying an animal object ( S180 ) can be more accurately checked.

도 7은 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 장치의 구성도이다.7 is a block diagram of an apparatus for automatically selecting wild animals taken with an unmanned aerial vehicle-mounted thermal imager according to an embodiment of the present invention.

한편, 본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 장치(200)는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법을 수행하는 컴퓨터 장치로 구성되거나, 별도의 전용 야생동물 개체 자동 선별 장치로 구성될 수 있다. 또한, 상기 야생동물 개체 자동 선별 장치(200)는 소프트웨어 프로그램, 하드웨어 장치 또는 소프트웨어 프로그램과 하드웨어 장치로 구성될 수 있다.On the other hand, the apparatus 200 for automatically selecting wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imaging camera according to an embodiment of the present invention is a computer device that performs an automatic wild animal object selection method photographed with an unmanned aerial vehicle-mounted thermal imaging camera. Alternatively, it may be configured as a separate, dedicated, automatic wild animal individual selection device. Also, the apparatus 200 for automatic selection of wild animal objects may include a software program, a hardware device, or a software program and a hardware device.

본 발명의 일실시예에 따른 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 장치(200)는 이미지 저장부(210), 원본 이미지 처리부(220), 동물 개체 선별부(230)를 포함하여 구성된다.The apparatus 200 for automatically selecting wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imaging camera according to an embodiment of the present invention includes an image storage unit 210 , an original image processing unit 220 , and an animal object selection unit 230 . is composed by

상기 이미지 저장부(210)는 무인비행체에 탑재된 열화상 카메라를 이용해 탐지 대상지를 촬영하여 원본 RGB 이미지와 원본 열화상 이미지를 각각 저장한다.The image storage unit 210 stores the original RGB image and the original thermal image by photographing the detection target using a thermal imaging camera mounted on the unmanned aerial vehicle.

상기 원본 이미지 처리부(220)는 상기 원본 RGB 이미지와 원본 열화상 이미지를 가공하여 이진화 된 보정 이미지를 생성한다.The original image processing unit 220 generates a binarized corrected image by processing the original RGB image and the original thermal image.

보다 상세하게 설명하면, 상기 원본 이미지 처리부(220)는 이미지 보정부(221), 소벨 에지 선별부(222) 및 이미지 이진화 선별부(223)를 포함하여 구성될 수 있다.In more detail, the original image processing unit 220 may include an image correction unit 221 , a Sobel edge selection unit 222 , and an image binarization selection unit 223 .

상기 이미지 보정부(221)는 상기 원본 RGB 이미지와 원본 열화상 이미지로부터 보정된 RGB 이미지와 보정된 열화상 이미지를 생성할 수 있다.The image compensator 221 may generate a corrected RGB image and a corrected thermal image from the original RGB image and the original thermal image.

보다 구체적으로, 상기 이미지 보정부(221)는 상기 원본 RGB 이미지로부터는 렌즈 왜곡 보정, 이미지 자르기, 이미지 크기조정의 과정을 거쳐 보정된 RGB 이미지를 생성할 수 있으며, 원본 열화상 이미지로부터는 모피 색깔에 따른 온도값 보정, 인공 구조물 마스킹을 통해 보정된 열화상 이미지를 생성할 수 있다.More specifically, the image correction unit 221 may generate a corrected RGB image from the original RGB image through the processes of lens distortion correction, image cropping, and image resizing, and the fur color from the original thermal image image. It is possible to generate a corrected thermal image through temperature value correction and artificial structure masking.

또한, 상기 소벨 에지 선별부(222)는 상기 보정된 RGB 이미지와 보정된 열화상 이미지로부터 각각 X 축 소벨 에지와 Y 축 소벨 에지를 생성한 뒤 이들을 결합하여 양 축 소벨 에지를 생성할 수 있으며, 이미지 이진화 선별부(223)는 생성된 양 축 소벨 에지에 임계값을 적용하고, 이를 통해 이미지를 이진화하여 이진화 된 RGB 보정 이미지와 이진화 된 열화상 보정 이미지를 생성할 수 있다.In addition, the Sobel edge sorting unit 222 may generate an X-axis Sobel edge and a Y-axis Sobel edge from the corrected RGB image and the corrected thermal image, respectively, and then combine them to generate a double-axis Sobel edge, The image binarization selector 223 may generate a binarized RGB corrected image and a binarized thermal image corrected image by applying a threshold value to the generated both reduced Sobel edges, and binarizing the image through this.

상기 동물 개체 선별부(230)는 유효 면적 선별부(231), 유효 온도 선별부(232)를 포함하여 구성될 수 있다.The animal object selection unit 230 may include an effective area selection unit 231 and an effective temperature selection unit 232 .

상기 유효 면적 선별부(231)는 이진화 된 RGB 보정 이미지와 이진화 된 열화상 보정 이미지를 곱해 생성된 이미지로부터 개체에 대한 경계선과 중심점을 생성한 뒤, 경계선으로 둘러 싸인 개별 개체에 촬영 고도에 따른 해상도를 곱하여 객체의 면적을 산출하여 최소 면적 기준 보다 크고, 동물의 최소 크기와 최대 크기 사이의 조건에 해당하는 면적 범위를 가진 개체만 추출하여 상기 유효 면적 선별 이미지를 생성할 수 있다.The effective area selection unit 231 generates a boundary line and a center point for an object from the image generated by multiplying the binarized RGB corrected image and the binarized thermal image corrected image, and then sets the resolution according to the photographing height to individual objects surrounded by the boundary line. The effective area selection image may be generated by extracting only the object having an area range larger than the minimum area criterion and corresponding to the condition between the minimum size and the maximum size of the animal by calculating the area of the object by multiplying it.

또한, 상기 유효 온도 선별부(232)는 상기 생성된 개별 경계선의 중심점 온도를 산출하여 고도에 따라 변하는 대상 야생동물 표면온도의 최소 기준 보다 높은 개체만 추출하여 상기 유효 온도 선별 이미지를 생성할 수 있다.In addition, the effective temperature selection unit 232 may generate the effective temperature selection image by calculating the central point temperature of the generated individual boundary lines and extracting only individuals higher than the minimum standard of the target wild animal surface temperature that varies with altitude. .

이와 같이 본 발명에 따르면, 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별을 위하여, 무인비행체를 활용하여 공중에서 촬영하기 때문에 지형적 제한 요소, 조사 시간, 그리고 야생동물의 보호색 등과 같은 장애요소 없이 조사지역 탐사 가능하다.As described above, according to the present invention, for the automatic selection of wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imaging camera, an unmanned aerial vehicle is used to shoot in the air, so obstacles such as geographic limitation factors, irradiation time, and protection color of wild animals, etc. It is possible to explore the research area without

또한, 종래 기술에 따른 조사방법은 조사범위에 따라 시간과 비용이 급격히 늘어나는 경향이 있지만, 본 발명의 방법은 조사범위의 증가에 따른 시간 및 비용소모 변화가 크지 않은 장점이 있다.In addition, although the irradiation method according to the prior art tends to increase time and cost rapidly depending on the irradiation range, the method of the present invention has the advantage that the change in time and cost consumption according to the increase of the irradiation range is not large.

또한, 본 발명에 따르면, 전체 조사범위에 대해 질적으로 동일한 수준의 결과물을 얻을 수 있으며, 도보, 차량을 통해 접근할 수 없는 지역에 쉽게 접근하여 촬영 가능하다.In addition, according to the present invention, it is possible to obtain a result of the same qualitative level for the entire investigation range, and it is possible to easily access and photograph an area that cannot be accessed by foot or vehicle.

또한, 종래 기술에 따른 야생동물 조사 방법은 조사 범위의 증가에 따라 소요 시간과 비용이 급격히 증가하지만, 본 발명은 범위의 증감에 따른 소요비용의 큰 변화가 없으며, 온도를 통해 판별하기 때문에 시각탐지로부터 발생 가능한 오류 최소화 가능하고, 비행 및 촬영 자동화, 다수 기기의 연동이 가능하기 때문에 인건비가 감소하고 편의성이 증가한다. 따라서, 본 발명은 시장 적용 시 활성화 될 수 있다.In addition, in the wild animal research method according to the prior art, the required time and cost rapidly increase with the increase of the irradiation range, but in the present invention, there is no significant change in the cost required according to the increase or decrease of the range, and since it is determined through temperature, visual detection It is possible to minimize errors that may occur from the system, and it is possible to automate flight and shooting, and to link multiple devices, so labor costs are reduced and convenience is increased. Accordingly, the present invention can be activated upon market application.

또한, 본 발명은 열화상 카메라로 촬영한 이미지를 알고리즘을 통해 가공하여 야생동물 개체를 찾아내는 것으로, 기존에 사용하던 장비 혹은 축척한 데이터가 있다면 알고리즘을 바로 적용하여 활용할 수 있으므로, 활용도가 굉장히 높다.In addition, the present invention is to find a wild animal object by processing an image taken with a thermal imaging camera through an algorithm, and if there is existing equipment or accumulated data, the algorithm can be directly applied and utilized, so the utility is very high.

또한, 본 발명에 따른 무인비행체는 전용 연동 프로그램을 통해 촬영범위 및 경로의 자동설정이 가능하며, 촬영 또한 자동화가 가능하다. 또한, 촬영된 이미지 역시 자동화된 알고리즘에 의해 결과처리가 가능하므로 데이터 구축과 처리의 과정이 간소화되어 빠르고 적은 비용으로 야생동물 조사가 가능하다.In addition, the unmanned aerial vehicle according to the present invention can automatically set the shooting range and route through a dedicated interlocking program, and shooting is also possible. In addition, the process of data construction and processing is simplified because the captured images can also be processed by an automated algorithm, making it possible to investigate wild animals quickly and at low cost.

전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.In the detailed description of the present invention as described above, specific embodiments have been described. However, various modifications are possible without departing from the scope of the present invention. The technical spirit of the present invention should not be limited to the above-described embodiments of the present invention, and should be defined by the claims as well as the claims and equivalents.

200: 야생동물 개체 자동 선별 장치
210: 이미지 저장부
220: 원본 이미지 처리부
221: 이미지 보정부
222: 소벨 에지 선별부
223: 이미지 이진화 선별부
230: 동물 개체 선별부
231: 유효 면적 선별부
232: 유효 온도 선별부200: automatic wild animal object sorting device
210: image storage unit
220: original image processing unit
221: image correction unit
222: Sobel edge selection unit
223: image binarization selection unit
230: animal object selection unit
231: effective area selection unit
232: effective temperature selection unit

Claims (8)

야생동물 개체 자동 선별 장치에 의해 수행되는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법에 있어서,
무인비행체에 탑재된 열화상 카메라를 이용해 탐지 대상지를 촬영하여 원본 RGB 이미지와 원본 열화상 이미지를 각각 저장하는 제1 단계;
상기 원본 RGB 이미지와 원본 열화상 이미지를 가공하여 동시에 사용할 수 있도록 픽셀 해상도를 맞추고, 픽셀 값을 보정하는 제2 단계; 및
상기 보정된 RGB 이미지와 열화상 이미지를 사용해 개체 탐지를 위한 소벨(Sobel) 에지를 생성하고, 임계값을 적용하여 이진화하는 제3 단계; 및
상기 이진화된 이미지를 사용하여 개별 동물 개체의 경계선과 중심점을 생성하고, 경계선의 면적과 중심점의 온도를 통해 유효하지 않은 개체를 제거한 뒤, 유효한 개체를 원본 RGB 이미지에 표시하는 제4 단계;를 포함하고,
상기 제2 단계는,
상기 원본 RGB 이미지를 보정하는 RGB 이미지 보정 단계; 및
모피 색깔에 따라 온도값 보정, 인공 구조물 마스킹을 포함하도록 상기 원본 열화상 이미지를 보정하는 열화상 이미지 보정 단계;를 포함하고,
상기 제3 단계는,
경계선 생성 단계를 통해 X 축 소벨 에지 생성, Y 축 소벨 에지 생성 후 이들을 결합하여 양 축 소벨 에지를 생성한 뒤, 임계값을 적용하여 이진화하는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법.
In the automatic wild animal object selection method photographed with an unmanned aerial vehicle mounted thermal imaging camera performed by an automatic wild animal object selection device,
A first step of photographing a detection target using a thermal imaging camera mounted on an unmanned aerial vehicle and storing an original RGB image and an original thermal image, respectively;
a second step of processing the original RGB image and the original thermal image to adjust pixel resolution so that they can be used at the same time, and correcting pixel values; and
a third step of generating a Sobel edge for object detection using the corrected RGB image and the thermal image, and binarizing it by applying a threshold value; and
A fourth step of generating the boundary lines and center points of individual animal objects using the binarized image, removing invalid objects through the area of the boundary lines and the temperature of the center points, and displaying the valid objects in the original RGB image; includes; do,
The second step is
an RGB image correction step of correcting the original RGB image; and
A thermal image correction step of correcting the original thermal image to include temperature value correction and artificial structure masking according to the fur color;
The third step is
After generating the X-axis Sobel edge and Y-axis Sobel edge through the boundary line generation step, combine them to create a double-axis Sobel edge, and then apply a threshold value to binarize wild animal objects photographed with an unmanned aerial vehicle-mounted thermal imager. Way.
 삭제delete 청구항 1에 있어서,
상기 RGB 이미지 보정 단계는,
렌즈 왜곡 보정, 이미지 자르기, 이미지 크기 조정을 통해 보정된 RGB 이미지를 생성하는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법.
The method according to claim 1,
The RGB image correction step includes:
A method for automatic screening of wild animal objects captured by an unmanned aerial vehicle-mounted thermal imaging camera that produces a corrected RGB image through lens distortion correction, image cropping, and image resizing.
 삭제delete 삭제delete 청구항 1에 있어서,
상기 제4 단계는,
이진화 된 보정 RGB 이미지와 이진화 된 보정 열화상 이미지가 곱해진 이미지에 대하여 경계 및 중심점 생성, 유효 면적 선별, 유효 온도 선별을 통해 유효 개체를 카운트 하는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법.
The method according to claim 1,
The fourth step is
Automatic wild animal objects captured by an unmanned aerial vehicle-mounted thermal imaging camera that counts effective objects through creation of boundaries and center points, effective area selection, and effective temperature selection for the image multiplied by the binarized corrected RGB image and the binarized corrected thermal image screening method.
 청구항 6에 있어서,
상기 제4 단계는,
경계선으로 둘러 싸인 개별 개체에 촬영 고도에 따른 해상도를 곱하여 객체의 면적을 산출하여 최소 면적 기준 보다 크고, 동물의 최소 크기와 최대 크기 사이의 조건에 해당하는 면적 범위를 가진 개체만 추출하여 상기 유효 면적 선별 이미지를 생성하는 유효 면적 선별 단계;
를 더 포함하는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법.
7. The method of claim 6,
The fourth step is
The effective area is obtained by extracting only the objects that are larger than the minimum area standard by multiplying the individual objects surrounded by the boundary by the resolution according to the shooting height and have an area range corresponding to the condition between the minimum and maximum sizes of animals. an effective area screening step of generating a screening image;
A method for automatic screening of wild animals taken with an unmanned aerial vehicle-mounted thermal imaging camera further comprising a.
 청구항 6에 있어서,
상기 제4 단계는,
상기 생성된 개별 경계선의 중심점 온도를 산출하여 고도에 따라 변하는 대상 야생동물 표면 온도의 최소 기준 보다 높은 개체만 추출하여 상기 유효 온도 선별 이미지를 생성하는 유효 온도 선별 단계;
를 더 포함하는 무인비행체 탑재 열화상 카메라로 촬영한 야생동물 개체 자동 선별 방법.
7. The method of claim 6,
The fourth step is
an effective temperature screening step of generating the effective temperature screening image by calculating the central point temperature of the generated individual boundary lines and extracting only the individuals higher than the minimum standard of the target wild animal surface temperature that varies with altitude;
A method for automatic screening of wild animals taken with an unmanned aerial vehicle-mounted thermal imaging camera further comprising a.
KR1020210061787A 2021-05-13 2021-05-13 Automated wild animal detection method and device by drone-mounted thermal camera shoot image KR102404771B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210061787A KR102404771B1 (en) 2021-05-13 2021-05-13 Automated wild animal detection method and device by drone-mounted thermal camera shoot image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210061787A KR102404771B1 (en) 2021-05-13 2021-05-13 Automated wild animal detection method and device by drone-mounted thermal camera shoot image

Publications (1)

Publication Number Publication Date
KR102404771B1 true KR102404771B1 (en) 2022-06-02

Family

ID=81984932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210061787A KR102404771B1 (en) 2021-05-13 2021-05-13 Automated wild animal detection method and device by drone-mounted thermal camera shoot image

Country Status (1)

Country Link
KR (1) KR102404771B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170126148A (en) * 2016-05-09 2017-11-17 인하공업전문대학산학협력단 Device and method for detecting road crack by using unmaned aerial vehicle
KR20180068578A (en) * 2016-12-14 2018-06-22 삼성전자주식회사 Electronic device and method for recognizing object by using a plurality of senses

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170126148A (en) * 2016-05-09 2017-11-17 인하공업전문대학산학협력단 Device and method for detecting road crack by using unmaned aerial vehicle
KR20180068578A (en) * 2016-12-14 2018-06-22 삼성전자주식회사 Electronic device and method for recognizing object by using a plurality of senses

Similar Documents

Publication Publication Date Title
Gruszczyński et al. Comparison of low-altitude UAV photogrammetry with terrestrial laser scanning as data-source methods for terrain covered in low vegetation
Kedzierski et al. Radiometric quality assessment of images acquired by UAV’s in various lighting and weather conditions
Abd-Elrahman et al. Development of pattern recognition algorithm for automatic bird detection from unmanned aerial vehicle imagery
Ribeiro-Gomes et al. Approximate georeferencing and automatic blurred image detection to reduce the costs of UAV use in environmental and agricultural applications
US20130155235A1 (en) Image processing method
US20150356341A1 (en) Fusion of multi-spectral and range image data
US11769225B2 (en) Image processing apparatus, image processing method, and program
US20230026811A1 (en) System and method for removing haze from remote sensing images
KR102313438B1 (en) Method for estimation of river bed change rate using hyperspectral image
Suduwella et al. Identifying mosquito breeding sites via drone images
Wierzbicki et al. Method of radiometric quality assessment of NIR images acquired with a custom sensor mounted on an unmanned aerial vehicle
Brown et al. Automated aerial animal detection when spatial resolution conditions are varied
KR102313437B1 (en) Method for estimation of bathymetry using hyperspectral image
US10302551B2 (en) Intelligent sensor pointing for remote sensing applications
Corregidor-Castro et al. Counting breeding gulls with unmanned aerial vehicles: camera quality and flying height affects precision of a semi-automatic counting method
KR102404771B1 (en) Automated wild animal detection method and device by drone-mounted thermal camera shoot image
CN107885231A (en) A kind of unmanned plane capturing method and system based on visible images identification
US10402682B1 (en) Image-matching navigation using thresholding of local image descriptors
KR20200084973A (en) Method for utilizing of hyperspectral image using optimal band ratio
JP4452793B2 (en) Illegal dumping point detection device, method, and program
KR20200084974A (en) Method for estimation of depth of water using hyperspectral image
CN109658359B (en) Atmospheric suspended matter detection system and detection method thereof
Park et al. Small object detection technology using multi-modal data based on deep learning
KR20210092866A (en) Method for utilizing of hyperspectral image using optimal band index
EP2752788A1 (en) Fusion of multi-spectral and range image data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant