KR102542556B1 - 고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용한 실시간 습지 지역 주요 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템 - Google Patents

Abstract

본 발명은 본 발명은 고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용한 실시간 습지 지역 주요 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템에 관한 것으로서, 본 발명의 실시예에 따른 습지 지역의 식생 탐지와 식생 객체 위치 확인 시스템은, 카메라, GNSS 수신기 및 관성항법장치(INS)를 포함하며, 카메라에 의해 촬영되는 습지 지역의 식생 객체를 포함하는 촬영영상을 인공지능(AI)의 딥러닝 프로그램을 이용해 분석하여 식생 객체의 종류를 판별하고, 식생 객체의 촬영 순간에 GNSS 수신기로부터 확인되는 3차원 위치정보(x, y, z) 및 INS로부터 확인되는 3축 자세정보(Pitch, Yaw, Roll)를 근거로 높이(Z)값을 상수화하는 공선조건식 기반의 지면투영 변환을 통해 촬영영상에서 인식된 식생 객체의 영상좌표(r, c)를 지도좌표(X, Y, Z)로 변환하는 무인비행장치, 및 무인비행장치로부터 (기)변환한 지도좌표의 데이터를 수신하여 무인비행장치에 의해 실시간으로 인식되는 식생 객체의 종류와 위치 정보를 모니터상에 표출하는 식생 관제장치를 포함할 수 있다.

Description

고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용한 실시간 습지 지역 주요 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템{Method and system for real-time detection of major vegetation in wetland areas and location of vegetation objects using high-resolution drone video and deep learning object recognition technology}

본 발명은 고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용한 실시간 습지 지역 주요 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템에 관한 것으로서, 더 상세하게는 가령 고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용하여 실시간으로 습지 지역의 주요 식생 탐지와 식생 객체 위치 확인이 가능한 습지 지역의 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템에 관한 것이다.

가령 연안습지는 주기적인 조석에 의해 해수의 영향을 받으며 식생이 형성된 곳이다. 이러한 연안습지는 육상과 해양으로부터 공급되는 무기 및 유기영양염류가 풍부하여 여러 유형의 생태계 중 생산성이 가장 높은 것이 특징이다. 우리나라 서남해안은 장기간에 걸친 간척사업들로 인해 연안습지가 지속적으로 사라지고 있으나, 최근 생태적 중요성으로 인한 연안습지의 보전이 중요한 가치로 부각되고 있다. 염생 식물 군락은 높은 1차 생산자임과 동시에 다양한 생물의 서식처 그리고 각종 오염물질의 정화 등 중요한 역할을 수행하며, 이러한 염생 식물은 특히 연안습지의 건강성에 대한 지표로 분포양상과 면적에 대한 현황파악과 지속적인 모니터링이 시급하다.

국내에서 염생 식물과 관련된 연구는 국소지역에 대한 분포 종 조사와 생육환경의 영향 등에 초점이 맞추어져 왔다. 그러나 큰 조석차로 인해 넓은 염습지가 분포하는 서남해안 전체의 염생 식물 분포양상 및 면적에 관한 조사는 본격적으로 이루어지지 않고 있다. 이는 염생 식물이 갯벌(습지)이라는 상대적으로 접근이 어려운 지역에 분포하는 특징을 갖고 있어, 현장조사를 통해 그 분포를 조사하는 데 한계가 있기 때문이다.

물론 기존에는 습지에 존재하는 식생을 모니터링하는 방법으로 드론 등의 비행 플랫폼에 정지 화상 카메라를 탑재하여 영상을 취득하고 촬영 종료 후 지상에서 후처리를 통해 식생 객체를 분류 및 지도화하는 방법이 개시된 바 있다.

그런데, 이는 습지 지역의 미시 기후변화에 따른 신속한 식생의 변화 양상을 관리하는 데 한계가 있다. 또한, 기존 습지의 식생 객체 인식기술은 광역지역의 분류를 목적으로 하고 있어 식생의 종류 및 위치 확인에도 한계가 있다.

한국등록특허공보 제10-2366267호(2022.02.17) 한국등록특허공보 제10-1744662호(2017.06.01)

본 발명의 실시예는 가령 고해상도 드론 동영상과 딥러닝 객체 인식기술을 활용하여 실시간으로 습지 지역의 주요 식생 탐지와 식생 객체 위치 확인이 가능한 습지 지역의 식생 탐지와 식생 객체 위치 확인 방법 및 그 시스템을 제공함에 그 목적이 있다.

본 발명의 실시예에 따른 습지 지역의 식생 탐지와 식생 객체 위치 확인 시스템은, 카메라, GNSS(Global Navigation satellite System) 수신기 및 관성항법장치(INS)를 포함하며, 상기 카메라에 의해 촬영되는 습지 지역의 식생 객체를 포함하는 촬영영상을 인공지능(AI)의 딥러닝 프로그램을 이용해 분석하여 상기 식생 객체의 종류를 판별하고, 상기 식생 객체의 촬영 순간에 상기 GNSS 수신기로부터 확인되는 3차원 위치정보(x, y, z) 및 상기 INS로부터 확인되는 3축 자세정보(Pitch, Yaw, Roll)를 근거로 높이(Z)값을 상수화하는 공선조건식 기반의 지면투영 변환을 통해 상기 촬영영상에서 인식된 상기 식생 객체의 영상좌표(r, c)를 지도좌표(X, Y, Z)로 변환하는 무인비행장치, 및 상기 무인비행장치로부터 상기 변환한 지도좌표의 데이터를 수신하여 상기 무인비행장치에 의해 실시간으로 인식되는 상기 식생 객체의 종류와 위치 정보를 모니터상에 표출하는 식생 관제장치를 포함한다.

상기 무인비행장치는, 상기 촬영영상의 단일영상을 근거로 취득된 2차원 영상좌표를 상기 공선조건식을 이용한 지면투영에서 상기 높이값을 상수화하여 상기 식생 객체의 3차원 지도좌표를 획득할 수 있다.

상기 무인비행장치는, 상기 촬영영상의 상기 식생 객체에 대한 2차원 영상좌표를 정규화하고, 상기 정규화한 2차원 좌표를 3차원 카메라 좌표계로 변환해 생성하는 3차원 카메라좌표를 3차원 지도좌표로 재변환하여 상기 지도좌표를 생성할 수 있다.

상기 무인비행장치는, 상기 인공지능 딥러닝 프로그램을 이용해 인식한 영상좌표에서 카메라의 내부 파라미터에 대한 영향을 없애기 위해 픽셀 좌표를 초점거리(f) = 1로 하여 정규화할 수 있다.

상기 무인비행장치는, 상기 3차원 카메라좌표를 상기 3차원 지도좌표로 변환할 때, 상기 GNSS 수신기의 상기 3차원 위치 정보 및 상기 INS의 상기 3축 자세정보를 적용하여 지도좌표로 변환할 수 있다.

또한 본 발명의 실시예에 따른 습지 지역의 식생 탐지와 식생 객체 위치 확인 방법은 카메라, GNSS 수신기 및 관성항법장치(INS)를 포함하는 무인비행장치가, 상기 카메라에 의해 촬영되는 습지 지역의 식생 객체를 포함하는 촬영영상을 인공지능(AI)의 딥러닝 프로그램을 이용해 분석하여 상기 식생 객체의 종류를 판별하고, 상기 식생 객체의 촬영 순간에 상기 GNSS 수신기로부터 확인되는 3차원 위치정보(x, y, z) 및 상기 INS로부터 확인되는 3축 자세정보(Pitch, Yaw, Roll)를 근거로 높이(Z)값을 상수화하는 공선조건식 기반의 지면투영 변환을 통해 상기 촬영영상에서 인식된 상기 식생 객체의 영상좌표(r, c)를 지도좌표(X, Y, Z)로 변환하는 단계, 및 식생 관제장치가, 상기 무인비행장치로부터 상기 변환한 지도좌표의 데이터를 수신하여 상기 무인비행장치에 의해 실시간으로 인식되는 상기 식생 객체의 종류와 위치 정보를 모니터상에 표출하는 단계를 포함한다.

상기 변환하는 단계는, 상기 촬영영상의 단일영상을 근거로 취득된 2차원 영상좌표를 상기 공선조건식을 이용한 지면투영에서 상기 높이값을 상수화하여 상기 식생 객체의 3차원 지도좌표를 획득할 수 있다.

상기 변환하는 단계는, 상기 촬영영상의 상기 식생 객체에 대한 2차원 영상좌표를 정규화하고, 상기 정규화한 2차원 좌표를 3차원 카메라 좌표계로 변환해 생성하는 3차원 카메라좌표를 3차원 지도좌표로 재변환하여 상기 지도좌표를 생성할 수 있다.

상기 변환하는 단계는, 상기 인공지능 딥러닝 프로그램을 이용해 인식한 영상좌표에서 카메라의 내부 파라미터에 대한 영향을 없애기 위해 픽셀 좌표를 초점거리(f) = 1로 하여 정규화할 수 있다.

상기 변환하는 단계는, 상기 3차원 카메라좌표를 상기 3차원 지도좌표로 변환할 때, 상기 GNSS 수신기의 상기 3차원 위치 정보 및 상기 INS의 상기 3축 자세정보를 적용하여 지도좌표로 변환할 수 있다.

본 발명의 기술과 시스템을 활용하여 습지 지역의 주요 식생 객체의 변화 탐지를 위해 실시간으로 식생 객체의 종류와 위치를 파악함으로써 습지 지역의 미시 기후 변화로 인한 식생의 변화를 신속하게 모니터링할 수 있으며, 실시간 정보 전달을 통해 신속한 습지 환경 변화 대응 및 관리를 수행할 수 있다.

근래 기후변화 및 지구 온난화 등으로 습지 생태계 환경은 기존에 비해 빠른 속도로 변화하고 있으며, 이를 관리하기 위해서는 신속한 변화 대응 모니터링 기술이 요구되는데, 본 발명의 실시예는 드론의 동화상 영상과 딥러닝 기반의 실시간 습지 식생 객체 인식 및 그 위치 확인 기술에 의해 이러한 습지 생태계의 빠른 변화 양상을 모니터링하는 데 활용될 수 있을 것이다.

도 1은 본 발명의 실시예에 따라 드론의 동화상 촬영을 통해 습지 지역의 식생을 자동 탐지하여 위치를 확인하는 시스템의 개념도,
도 2는 욜로(YOLO) 객체 인식 모델을 이용하여 인식한 식생 객체를 바운딩박스로 인식하는 것을 설명하기 위한 도면,
도 3은 영상좌표와 카메라 좌표 및 지도좌표간의 변환 관계를 기하학적으로 도시한 도면,
도 4는 2차원 영상좌표의 3차원 지도좌표계로의 변환을 설명하기 위한 도면, 그리고
도 5는 인공지능(AI)으로 인식된 습지의 식생 객체 정보를 GIS 드론 관제센터로 전송하는 시스템 개념도이다.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따라 드론의 동화상 촬영을 통해 습지 지역의 식생을 자동 탐지하여 위치를 확인하는 시스템의 개념도, 도 2는 욜로(YOLO) 객체 인식 모델을 이용하여 인식한 식생 객체를 바운딩박스로 인식하는 것을 설명하기 위한 도면, 도 3은 영상좌표와 카메라 좌표 및 지도좌표간의 변환 관계를 기하학적으로 도시한 도면, 도 4는 2차원 영상좌표의 3차원 지도좌표계로의 변환을 설명하기 위한 도면, 도 5는 인공지능(AI)으로 인식된 습지의 식생 객체 정보를 GIS 드론 관제센터로 전송하는 시스템 개념도이다.

도 1 내지 도 5에 도시된 바와 같이, 본 발명의 실시예에 따른 습지 지역의 식생 탐지와 식생 객체 위치 확인 시스템(90)은, 드론(100) 등의 무인비행장치(또는 무인비행체)(이하, 드론으로 설명함), 그리고 식생 관제장치(110)의 일부 또는 전부를 포함하며, 통신망 등을 더 포함할 수 있다.

여기서, "일부 또는 전부를 포함"한다는 것은 통신망과 같은 일부 구성요소가 생략되어 드론(100)과 식생 관제장치(110)가 다이렉트 통신을 수행하거나, 드론(100)을 구성하는 구성요소의 일부 또는 전부가 식생 관제장치(110)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.

드론(100)은 카메라, GNSS 수신기, 관성항법장치(INS), 통신부 및 제어부를 포함하여 구성될 수 있다. 나아가, 드론(100)은 습지 지역의 촬영 영상에서 식생 객체의 종류나 위치를 판별하기 위한 식생객체 분석부 등을 더 포함할 수 있다. 물론 식생객체 분석부는 제어부에 통합되어 구성될 수도 있으므로, 본 발명의 실시예에서는 어느 하나의 구성에 특별히 한정하지는 않을 것이다.

드론(100)은 카메라를 통해 습지 지역을 실시간으로 동화상으로 촬영할 수 있고, GNSS 수신기는 3차원 공간에서의 드론(100)의 위치정보를 생성하기 위해 동작할 수 있으며, 가령, GPS 모듈과 같은 장치를 포함할 수 있다. 또한 INS는 드론(100)의 3차원 자세정보를 생성할 수 있으며, 자세를 측정하는 3축 센서를 포함할 수 있다. 나아가 제어부는 카메라, GNSS 수신기, 관성항법장치(INS), 통신부, 및 식생객체 분석부 등의 전반적인 제어동작을 수행할 수 있다.

무엇보다 본 발명의 실시예에 따른 드론(100)의 식생객체 분석부는 인공지능의 딥러닝 프로그램을 탑재하여 습지 지역의 동화상으로부터 식생객체를 검출하고 즉 인식하고 해당 식생객체에 대한 2차원의 영상좌표를 3차원 지도좌표로 변환하여 식생 관제장치(110)로 전송해 줄 수 있다. 이를 통해 식생객체의 종류와 위치정보를 관제센터에서 확인할 수 있도록 한다. 2차원 영상좌표의 3차원 지도좌표로의 변환은 다양한 동작이 이루어질 수 있지만, 본 발명의 실시예에서는 2차원 영상좌표를 정규화하는 동작이 이루어질 수 있다. 이를 위해 카메라 파라미터와 같은 변수인 초점거리(f)는 1로 정규화하는 정규좌표를 생성할 수 있다.

이후 드론(100)은 정규화된 2차원 영상좌표를 3차원 카메라좌표계의 좌표값으로 변환한다. 또한 3차원 카메라좌표를 3차원 지도좌표로 (재)변환하여 이의 과정에서 GNSS 수신기의 3차원 위치정보 및 INS의 3차원 자세정보를 반영하여 3차원 지도좌표를 생성하게 된다. 물론 드론(100)은 3차원 좌표값을 생성할 때, 공선조건식을 이용한 지면투영을 통해 높이(Z)값을 상수화함으로써 단일영상으로도 (기)인식된 식생 객체의 지도좌표를 획득할 수 있다. 여기서, 공선조건식이란 지상좌표계의 x', y', z'축에 대하여 3×3의 회전행렬 M만큼 순차적으로 회전하여 드론(100)의 경사나 기울기 등을 재현하는 회전변환식을 의미한다.

통신망은 유무선 통신망을 모두 포함한다. 가령 통신망으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동 통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망이 유선 통신망인 경우 통신망 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transceiver Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

통신망은 액세스포인트를 포함할 수도 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 드론(100)이나 식생 관제장치(110) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 드론(100)이나 식생 관제장치(110) 등과 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 식생 관제장치(110)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.

또한, 식생 관제장치(110)는 드론(100)에서 전송하는 식생 객체의 종류 및 위치정보와 관련한 가령 지도좌표 데이터를 수신할 수 있다. 물론 여기서 지도좌표 데이터는 식생 객체의 위치정보만을 의미할 수도 있다. 식생 관제장치(110)는 드론(100)과 통신하기 위한 통신장치뿐 아니라 식생 객체의 종류와 위치정보를 확인할 수 있는 모니터 등의 컴퓨터장치를 포함할 수 있다. 식생 관제장치(110)는 관제요원이 소지하는 스마트폰이나 태블릿PC 등의 모바일 기반의 장치를 더 포함할 수도 있다. 물론 드론(100)의 경우 운영 전 촬영을 위한 습지 지역의 좌표값을 지정해 주어 해당 지역을 촬영할 수 있지만, 식생 관제장치(110)와의 지속적인 통신에 의해 촬영을 위한 습지 지역을 비행하면서 촬영 동작을 수행할 수도 있다.

한편, 앞서서는 드론(100)에서 AI 딥러닝 프로그램을 이용해 동화상 내의 식생객체를 인식하고 그 인식한 식생객체의 종류와 위치정보를 생성해 식생 관제장치(110)로 제공하는 것으로 설명하였다. 그러나, 드론(100)에서는 동화상만을 전송하고, 물론 이의 과정에서 데이터 압축 동작이 이루어질 수 있으며, 위에서와 같이 촬영영상 내 식생객체의 종류와 위치정보를 판단하는 동작을 식생 관제장치(110)에서 수행하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 물론 이의 경우, 드론(100)은 촬영 당시의 3차원 위치정보나 3차원 자세정보의 데이터를 함께 제공함으로써 드론(100)에서의 동작과 같은 동일한 연산이 이루어질 수 있다. 가령 전자의 경우에는 드론(100)의 하드웨어나 소프트웨어가 고성능을 가져야 하므로, 드론(100)의 가격이 상승한다. 반면 후자의 경우에는 드론(100)에서 제공하는 동화상에서 데이터 손실이 발생할 수있는 여지도 있다. 물론 데이터의 재전송을 요청하지만, 데이터 전송 속도가 느려질 수 있는 문제도 있다. 다만, 후자의 경우는 통상 서버가 사용되므로 해당 서버는 고가일 가능성이 높고 따라서 하드웨어 자원이나 소프트웨어 자원이 고성능일 개연성이 높다. 이와 같이 장단점이 존재할 수 있으므로, 이는 시스템 설계자의 의도에 따라 적절히 선택되어 사용될 수 있을 것이다.

그러면, 계속해서 도 1 내지 도 5를 참조하여, 습지 지역의 식생 탐지와 식생 객체 위치 확인 과정을 구체적으로 살펴보고자 한다.

앞서 설명한 바와 같이 드론(100)은 습지 지역의 식생을 실시간으로 촬영하기 위한 고해상도의 카메라, 식생객체의 촬영 순간의 드론(100)의 3차원 위치정보(x, y, z)를 생성하기 위한 GNSS 수신기, 식생 객체의 촬영 순간의 드론(100)의 3축 자세정보(Pitch, Yaw, Roll)를 생성하는 관성항법장치(INS)를 포함하여 동작한다. 물론, 드론(100)에서 직접 자신이 촬영한 촬영영상을 분석하는 경우에는 그 분석 결과를 식생객체의 모니터링을 위한 식생 관제장치(110)로 전송하기 위한 통신 모듈과 같은 통신부를 포함할 수 있다.

본 발명의 실시예는 GNSS 수신기와 INS 및 동화상 카메라를 탑재한 드론(100)으로 촬영한 동화상 즉 촬영영상에 실시간 객체 인식 알고리즘을 적용하여 습지 지역의 주요 식생객체의 종류와 위치를 실시간으로 인식한다. 드론(100)에 고해상도 동화상 카메라와, 딥러닝 기반의 실시간 객체 인식 알고리즘인 욜로(YOLO) 계열의 알고리즘을 탑재하고 습지 지역을 비행하면서 주요(한) 식생객체를 자동 인식한 후 해당 위치를 드론 관제센터의 GIS 서버에 전송하여 관제센터에서 실시간으로 식생의 종류와 위치를 확인할 수 있는 것이다.

이의 과정에서 본 발명의 실시예는 주요 식생객체를 선행 학습한 딥러닝 인공지능(AI)이 실시간으로 식생객체를 바운딩박스 형태로 인식하고 그 종류 및 위치를 확인하며, 이를 실시간으로 GIS/드론 관제센터에 전달하여 식생객체의 종류 및 위치 정보를 관리자가 인식하도록 하는 것이다.

좀더 구체적으로, 본 발명의 실시예에 따른 드론(100)은 도 1에 도시된 바와 같이, 습지 지역의 식생객체를 촬영하여 인공지능으로 식생객체를 인식하기 위한 동작을 수행하고(STEP 1), 또 그 인식 동작 가령 영상분석을 통해 인식된 객체의 영상 좌표(r, c)를 추출하며(STEP 2), 나아가 그 영상좌표를 지도좌표(X, Y, Z)로 변환하는 동작을 수행한다. 물론 드론(100)에 의해 실시간으로 촬영되는 영상의 식생객체의 영상좌표는 2차원 좌표이며, 최종 생성된 지도좌표는 3차원 좌표이다.

드론(100)에 탑재된 동화상 카메라로부터 촬영된 습지 지역의 식생객체를 딥러닝 AI가 실시간으로 인식하고 종류를 판별하며, 드론(100)에 탑재된 GNSS 수신기로부터 확인된 식생객체 촬영 순간의 3차원 위치정보(x, y, z) 및 INS로부터 확인된 촬영 순간의 3축 자세정보(Pitch, Yaw, Roll)를 이용하여 공선조건식 기반의 지면투영을 통해 동화상 카메라에 인식된 객체의 영상좌표를 지도좌표로 변환하는 동작을 수행한다.

여기서, 욜로 모델을 이용한 식생객체 인식과 관련해 보면, 대표적인 RCNN 계열의 인공지능 객체 인식 모델인 YOLO는 1단계 검출기(1 stage detector)를 채택함으로써 기존 2단계 검출기(2 stage detector)를 사용하는 Faster RCNN 모델보다 객체 인식 속도가 대폭 향상되었으며, 현재 YOLOv7 모델이 Github에 공개됨에 따라 본 발명의 실시예에서는 해당 모델을 실시간 식생객체의 인식을 위한 AI 모델로 활용할 수 있다. 도 2는 그 YOLO 객체 인식 모델을 이용하여 인식한 식생 객체 모습을 보여주고 있으며, 이때 바운딩박스로 인식하는 동작을 수행할 수 있다. 예를 들어, 습지 지역의 촬영영상에서 식생객체의 인식은 픽셀의 화소값이나 특징값 등을 근거로 특정 식생객체의 부위를 인식할 수 있다. 따라서, 드론(100)은 인공지능 프로그램을 통해 해당 객체를 인식하여 종류를 분류할 수 있다.

도 3은 YOLO 모델을 통해 인식한 객체 영상좌표를 지도좌표로 변환하는 과정을 보여주고 있다. 영상에 인식된 식생객체의 영상좌표를 3차원 지도좌표로 변환하기 위해서는 입체(stereo) 촬영을 통한 중복 영상을 이용하는 것이 일반적이나, 이 경우 영상간 중복 지점에 대한 자동 정합(automatic image matching)을 위한 온보드(on-board) 연산량이 증대하므로, 본 발명의 실시예에서 목적으로 하는 실시간 식생 탐지에 어려움을 가진다. 따라서, 본 발명의 실시예에서는 지면이 평평한 지역에 대해 국한되어 적용할 수 있는 방법이며, 지면에 굴곡이 있을 경우 기복 변위에 의한 위치 오차가 발생한다. 습지의 경우 산지와 달리 비교적 지면이 편평한 곳으로 가정할 수 있어 습지에 존재하는 관심 객체의 위치를 비교적 정확히 획득할 수 있다.

물론 위의 영상좌표의 경우에는 실시간으로 촬영되는 동화상의 경우 수십장의 단일영상 즉 단위 비디오프레임으로 구성되는 것이므로, 하나의 단일영상에서 좌측 최상단의 픽셀의 좌표값을 (1, 1)로 하여 영상좌표값을 절대좌표 방식으로 생성할 수 있지만, 단일영상에서 정중앙 부위의 픽셀을 좌표값 (0, 0)로 하는 상대좌표 방식으로 영상좌표값을 생성할 수도 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 무엇보다 단일영상에서 생성되는 좌표값 즉 영상좌표는 2차원 좌표에 해당한다.

따라서, 본 발명의 실시예에서는 공선조건식을 이용한 지면투영을 통해 높이(Z)값을 상수화함으로써 단일영상으로도 (기)인식된 식생객체의 지도좌표를 획득할 수 있다. 여기서 지도좌표는 3차원 좌표를 의미하다. 공선조건식이란 지상좌표계의 x', y', z'축에 대하여 3×3의 회전행렬 M만큼 순차적으로 회전하여 드론(100)의 경사를 재현하는 회전변환식을 의미한다. 아래에서는 AI가 인식한 객체의 영상좌표를 지도좌표로 변환하기 위한 공선조건 기반의 변환식을 나타낸다.

본 발명의 실시예에 따른 드론(100)은 식생객체의 영상좌표를 지도좌표로 변환하기 위해 우선 촬영영상에서 추출한 식생객체의 2차원 영상좌표를 정규화한다. AI가 인식한 영상좌표는 카메라 내부 파라미터에 대한 영향을 없애기 위해 픽셀 좌표를 f = 1로 하는 정규좌표로 변환한다. 이는 <수학식 1>과 같이 표현될 수 있다.

여기서, x = column, y = row로 정의되는 영상좌표이며, cx, cy, fx, fy는 카메라 상수로써 카메라 캘리브레이션을 통해 획득되며, 해당 방법은 본 발명의 실시예에서의 범위를 벗어나므로 더 이상의 설명은 생략하도록 한다.

이어, 드론(100)은 정규화된 2차원 영상좌표의 3차원 카메라 좌표계로의 변환 동작을 수행한다. AI가 인식한 영상좌표는 초점거리 f = 1인 3차원 카메라 좌표계로 나타내는 과정으로 위에서 영상좌표의 정규화를 통해 인식된 2차원 영상좌표는 3차원 카메라 좌표계에서는 <수학식 2>와 같이 표현된다.

계속해서 드론(100)은 3차원 카메라 좌표를 3차원 지도좌표로 변환한다. 이는 <수학식 3>과 같이 표현될 수 있다.

여기서, Pm는 AI가 인식한 습지 지면 식생객체의 영상좌표를 3차원 지도 좌표로 나타낸 것이며, R은 회전행렬로 드론(100)에 탑재된 INS를 통해 획득 가능하다. 이는 <수학식 4>와 같이 나타낼 수 있다.

여기서, 드론(100)의 진행방향을 x축이라 할 때, Rx는 x축 기준으로 한 회전각(roll), Ry는 y축 기준으로 한 회전각(roll), Rz는 z축 기준으로 한 회전각(pitch)이다.

Pc는 AI가 인식한 식생객체의 영상점을 3차원 카메라 좌표계로 나타낸 값이며, T는 3차원 지도좌표계의 원점과 3차원 카메라 좌표계의 원점간의 3축 평행이동 벡터이며, 드론(100)에 탑재된 GNSS 수신기를 통해 획득할 수 있다.

한편, 카메라 중심의 3차원 지도 좌표를 Cm라 하면 <수학식 5>의 조건이 성립한다.

마지막으로, 3차원 지도좌표계에서

와

를 잇는 직선이 지면과 만나는 점이 본 발명의 실시예에서 최종적으로 구하고자 하는 식생객체의 3차원 지도 좌표

로 <수학식 6>의 공식을 이용하여 구할 수 있다. 물론 이러한 수학식은 연산 알고리즘의 형태로 프로그램에 반영될 수 있을 것이다.

여기서, 3차원 지도좌표계상에서의 지면은 임의의 상수(k)(실제에서는 DEM을 이용하여 지면의 높이값을 획득할 수 있다)로 정의하였기 때문에 위의 <수학식 6>에 드론 촬영지역의 DEM으로부터 추출된 Z값을 이용하여 k값을 구할 수 있고, 이를 토대로 최종적인 식생객체의 지상 좌표(

)를 획득할 수 있다.

마지막으로, 드론(100)은 지면투영 변환을 통해 추출된 식생 객체의 지도좌표를 드론(100)에 탑재된 통신 모듈을 이용하여 드론 관제센터의 GIS 서버로 실시간으로 (기)인식된 식생 객체의 종류와 위치 정보를 전송한다. 도 5는 이를 보여주고 있다. 이에 따라 드론 관제센터는 드론(100)으로부터 전송받은 습지 식생객체의 종류와 위치 정보를 GIS 서버의 모니터상에 표출하여 GIS 정보화한다.

상기의 과정을 통해 본 발명의 실시예는 습지 지역의 미시 기후 변화로 인한 식생의 변화를 신속하게 모니터링하고, 또 실시간 정보 전달을 통해 신속한 습지 환경 변화에 대응 및 관리를 수행할 수 있다. 나아가 습지 생태계의 빠른 변화 양상을 모니터링하는 데 활용할 수 있을 것이다.

한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 드론 110: 식생 관제장치

Claims (10)

1. 카메라, GNSS(Global Navigation satellite System) 수신기 및 관성항법장치(INS)를 포함하며, 상기 카메라에 의해 촬영되는 습지 지역의 식생 객체를 포함하는 촬영영상을 인공지능(AI)의 딥러닝 프로그램을 이용해 분석하여 상기 식생 객체의 종류를 판별하고, 상기 식생 객체의 촬영 순간에 상기 GNSS 수신기로부터 확인되는 3차원 위치정보(x, y, z) 및 상기 INS로부터 확인되는 3축 자세정보(Pitch, Yaw, Roll)를 근거로 높이(Z)값을 상수화하는 공선조건식 기반의 지면투영 변환을 통해 상기 촬영영상에서 인식된 상기 식생 객체의 영상좌표(r, c)를 지도좌표(X, Y, Z)로 변환하는 무인비행장치; 및
   상기 무인비행장치로부터 상기 변환한 지도좌표의 데이터를 수신하여 상기 무인비행장치에 의해 실시간으로 인식되는 상기 식생 객체의 종류와 위치 정보를 모니터상에 표출하는 식생 관제장치;를 포함하되,
   상기 무인비행장치는, 상기 촬영영상의 단일영상을 근거로 취득된 2차원 영상좌표를 상기 공선조건식을 이용한 지면투영에서 상기 높이값을 상수화하여 상기 식생 객체의 3차원 지도좌표를 획득하고,
   상기 무인비행장치는, 상기 촬영영상의 상기 식생 객체에 대한 2차원 영상좌표를 정규화하고, 상기 정규화한 2차원 좌표를 3차원 카메라 좌표계로 변환해 생성하는 3차원 카메라좌표를 3차원 지도좌표로 재변환하여 상기 지도좌표를 생성하며,
   상기 무인비행장치는, 상기 인공지능 딥러닝 프로그램을 이용해 인식한 영상좌표에서 카메라의 내부 파라미터에 대한 영향을 없애기 위해 픽셀 좌표를 초점거리(f) = 1로 하여 정규화하는 습지 지역의 식생 탐지와 식생 객체 위치 확인 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 무인비행장치는, 상기 3차원 카메라좌표를 상기 3차원 지도좌표로 변환할 때, 상기 GNSS 수신기의 상기 3차원 위치 정보 및 상기 INS의 상기 3축 자세정보를 적용하여 지도좌표로 변환하는 습지 지역의 식생 탐지와 식생 객체 위치 확인 시스템.
6. 카메라, GNSS(Global Navigation satellite System) 수신기 및 관성항법장치(INS)를 포함하는 무인비행장치가, 상기 카메라에 의해 촬영되는 습지 지역의 식생 객체를 포함하는 촬영영상을 인공지능(AI)의 딥러닝 프로그램을 이용해 분석하여 상기 식생 객체의 종류를 판별하고, 상기 식생 객체의 촬영 순간에 상기 GNSS 수신기로부터 확인되는 3차원 위치정보(x, y, z) 및 상기 INS로부터 확인되는 3축 자세정보(Pitch, Yaw, Roll)를 근거로 높이(Z)값을 상수화하는 공선조건식 기반의 지면투영 변환을 통해 상기 촬영영상에서 인식된 상기 식생 객체의 영상좌표(r, c)를 지도좌표(X, Y, Z)로 변환하는 단계; 및
   식생 관제장치가, 상기 무인비행장치로부터 상기 변환한 지도좌표의 데이터를 수신하여 상기 무인비행장치에 의해 실시간으로 인식되는 상기 식생 객체의 종류와 위치 정보를 모니터상에 표출하는 단계;를 포함하되,
   상기 변환하는 단계는,
   상기 촬영영상의 단일영상을 근거로 취득된 2차원 영상좌표를 상기 공선조건식을 이용한 지면투영에서 상기 높이값을 상수화하여 상기 식생 객체의 3차원 지도좌표를 획득하고,
   상기 변환하는 단계는,
   상기 촬영영상의 상기 식생 객체에 대한 2차원 영상좌표를 정규화하고, 상기 정규화한 2차원 좌표를 3차원 카메라 좌표계로 변환해 생성하는 3차원 카메라좌표를 3차원 지도좌표로 재변환하여 상기 지도좌표를 생성하며,서,
   상기 변환하는 단계는,
   상기 인공지능 딥러닝 프로그램을 이용해 인식한 영상좌표에서 카메라의 내부 파라미터에 대한 영향을 없애기 위해 픽셀 좌표를 초점거리(f) = 1로 하여 정규화하는 습지 지역의 식생 탐지와 식생 객체 위치 확인 방법.
7. 삭제
8. 삭제
9. 삭제
10. 제6항에 있어서,
    상기 변환하는 단계는,
    상기 3차원 카메라좌표를 상기 3차원 지도좌표로 변환할 때, 상기 GNSS 수신기의 상기 3차원 위치 정보 및 상기 INS의 상기 3축 자세정보를 적용하여 지도좌표로 변환하는 습지 지역의 식생 탐지와 식생 객체 위치 확인 방법.

Images