KR20220051533A - 수중드론을 이용한 수중 탐사시스템 - Google Patents

Abstract

본 발명은 수중드론을 이용한 수중 탐사시스템에 관한 것이다. 본 발명은 가볍고 내식성을 갖는 소재로 구비된 본체와 상기 본체에 연결되어 상기 본체를 전후, 상하좌우로 이동시키는 추진장치와 상기 본체에 연결되어 해양의 오염물질을 포함한 유체를 여과시키는 정화장치를 구비하고, 상기 본체의 위치를 실시간으로 추적할 수 있도록 하여 상기 본체를 촬영하는 열화상촬영카메라와 상기 본체에 인접한 주변환경을 촬영하는 제2 카메라와 검사하고자 하는 대상을 확대하여 찍을수 있는 제3카메라가 구비된 촬영장치를 포함하여 조사구역 내를 운행하면서 수중정보를 촬영 및 수집하는 수중드론과 상기 제2 카메라에서 획득된 영상정보를 처리하고, 발열부의 위치로부터 도출된 상기 수중드론의 좌표정보 및 수중 표면 정보를 매핑하여 설정된 구역 내의 수중표면을 3차원으로 모델링하는 제어 정보처리장치와 상기 수중 드론에 의하여 수집된 정보를 상기 제어 정보처리장치로부터 전송받아 저장하는 데이터베이스부와 상기 데이터베이스부에 저장된 데이터를 통하여 상기 수중의 정보를 분석하여 매핑하고, 상기 수중의 정보를 출력시키는 출력부가 형성되어 있는 분석부를 포함하는 것을 특징으로 한다.

Description

수중드론을 이용한 수중 탐사시스템{Underwater survey system using under water drone}

본 발명은 수중드론을 이용한 수중 탐사시스템에 관한 것으로 더욱 자세하게는, 수중드론에 형성된 카메라를 이용하여 3차원 모델링이 가능하고, 딥러닝방식으로 영상을 분석할 수 있는 수중드론을 이용한 수중 탐사시스템에 관한 것이다.

수직과 승강이 가능한 드론에 관한 연구가 활발하게 진행되어, 육지 상공에서 항공촬영을 하거나 촬영한 영상을 무선통신을 통해 육상의 사용자에게 전송하는 임무를 수행하는 등 활동하고 있다.

그러나, 최근 드론은 육지 상공에서 뿐만 아니라, 수중 속에서도 동작할 수 있는 수중 드론을 포함하여 개발하고 있다. 이러한 수중 드론은 수중에 있는 물체나 수중의 지형을 탐색하는데 사용되도록 개발되고 있다.

그리고, 소나(Sound Navigation and Ranging, SONAR)는 수중물체의 탐지나 표정에 사용되는 음향표정장치으로서, 통상 수중청음기나 음향탐지기 등을 말한다.

수중청음기는 잠수함 탐지를 위해 제1차 세계대전 이래 개발되어, 특히 제2차 세계대전 중과 전후에 급속히 발달하였다. 가시광선 등의 전자파와 레이더파는 물속에는 전달되지 않으므로 초음파를 써서 표정한다. 물속에 전달되는 소리의 빠르기는 바다의 상황에 따라 다르나 대략 1,500m/s이며, 물체에 닿으면 반사하여 되돌아오는 성질이 있어 각종 소나는 이것을 이용한다.

소나에는 음향 탐신기형과 같이 스스로 소리를 내어 물체를 탐지하는 능동형 소나와 수중 청음기형과 같이 음원으로부터의 소리를 측정하여 그 물체를 탐지하는 수동형 소나의 두 종류가 있다.

능동형 소자는 일반적으로 음파를 짧은 단속음으로 발사하고 이것이 물체에 부딪혀 반사하여 되돌아오는 데 걸리는 시간을 재어 물체까지의 거리를 측정하며, 송파기를 회전시켜 그 방향을 탐지하기도 한다. 그리고, 수동형 소나는 지향성이 높은 청음기를 여러개 조합하여 물체가 발신하는 음이 도달하는 시간차, 세기 등을 측정함으로써 물체의 방향, 거리, 크기 등을 측정할 수 있다.

풍부한 자원의 보고인 해양을 탐사하기 위해서는 잠수함과 같은 해양장비의 경우엔 해저면의 지형정보를 근거로 운행되므로, 해저면 정보가 전무한 지역에서는 인간의 접근이 사실상 불가능하다.

따라서, 상기에서 설명한 수중드론과 소나를 구비한 시스템을 이용한 해양 탐사를 하는 기술의 개발이 시급한 실정이다.

대한민국 특허출원 제2017-0072616호 대한민국 특허공개 제2016-0089701호 대한민국 특허공개 제2014-0033656호

따라서, 본 발명은 수중드론을 이용하여 수중이나 해면을 조사할 때에 조사지역의 거친 물살이나 파랑 또는 파고 등의 환경적 요인에도 불구하고 쉽게 운용할 수 있도록 하는 수중드론을 이용한 수중 탐사시스템을 제공할 수 있는 것을 목적으로 한다.

또한, 수중드론으로 하여금 정확한 위치좌표를 도출할 수 있으므로 조사구역의 수중표면 형상에 대한 정밀도를 크게 향상시켜 정확한 탐사를 이룰수 있도록 하는 수중드론을 이용한 수중 탐사시스템을 제공할 수 있는 것을 목적으로 한다.

또한, 수중드론이 획득한 정확한 위치 정보와, 수중드론의 카메라에서 측정된 수중 영상정보를 매핑시킴으로써 해저지형 또는 수중표면의 정밀한 형상의 정보를 얻을수 있는 수중드론을 이용한 수중 탐사시스템을 제공할 수 있는 것을 목적으로 한다.

이러한 문제를 해결하기 위하여 본 발명은 수중드론을 이용한 수중 탐사시스템에 있어서, 경량의 내식성을 갖는 소재로 구비된 본체와 상기 본체에 연결되어 상기 본체를 전후, 상하좌우로 이동시키는 추진장치와 상기 본체에 연결되어 해양의 오염물질을 포함한 유체를 여과시키는 정화장치를 구비하고, 상기 본체의 위치를 실시간으로 추적할 수 있도록 하여 상기 본체를 촬영하는 열화상촬영카메라와 상기 본체에 인접한 주변환경을 촬영하고 상기 수중드론이 운행하는 동안 상기 열화상촬영카메라에서 촬영된 열화상 영상정보를 실시간 획득하고 데이터화하여 상기 제어 정보처리장치로 전송하는 전송모듈이 형성된 제2 카메라와 촬영하고자 하는 대상을 확대하여 찍을수 있는 제3카메라가 구비된 촬영장치와 상기 본체의 가운데 부분에는 외부 기기로부터 전원을 공급과 제어를 받을수 있는 케이블을 포함하며, 조사구역 내를 운행하면서 수중정보를 촬영 및 수집하는 수중드론과 상기 제2 카메라에서 획득된 영상정보를 처리하고, 발열부의 위치로부터 도출된 상기 수중드론의 좌표정보 및 수중 표면 정보를 매핑하여 설정된 구역 내의 수중표면을 3차원으로 모델링하는 제어 정보처리장치와 상기 수중 드론에 의하여 수집된 정보를 상기 제어 정보처리장치로부터 전송받아 저장하는 데이터베이스부와 상기 데이터베이스부에 저장된 데이터를 통하여 상기 수중의 정보를 분석하여 매핑하고, 상기 수중의 정보를 출력시키는 출력부가 형성되어 있는 분석부를 포함하는 것을 특징으로 하는 것이다.

또한, 상기 데이터베이스부에 저장된 데이터를 상기 제어 정보처리장치로부터 전송받아 열화상 및 수중표면의 영상정보를 실시간으로 분석하여 상기 분석부에 전송하는 처리부가 구비되어 있는 것을 특징으로 한다.

따라서, 본 발명은 수중드론과 이에 부속된 소나에서 측정된 수중 영상정보를 통하여 해저지형 또는 수중표면의 정밀한 형상 정보를 얻을 수 있는 수중드론을 이용한 수중 탐사시스템을 제공할 수 있는 효과가 있는 것이다.

또한, 딥러닝 시스템을 사용하여 수집되는 수중 탐사의 해양정보와 수중표면의 영상정보를 빅 데이터화시켜서 분석부를 통하여 분석하는 방식을 사용하여 정확한 해양정보와 자료를 파악할 수 있는 효과도 있다.

도 1은 수중드론의 사시도.
도 2는 수중드론의 단면도.
도 3은 수중드론의 토출부의 저면도.
도 4는 실시예에 따른 열화상 영상의 디스플레이 화면을 나타내는 사진.
도 5는 실시예에 따른 발열부 위치의 디스플레이 화면을 나타내는 사진.
도 6은 실시예에 따른 수중표면영상의 디스플레이 화면을 나타내는 사진.
도 7은 실시예에 따른 3차원모델링의 디스플레이 화면을 나타내는 사진.
도 8은 본 발명에 의한 수중드론을 이용한 수중 탐사시스템을 나타내는 블록도.
도 9는 수중정보 및 열화상과 수중표면의 영상정보를 분석하는 방식의 흐름도.

이하에서는 본 발명의 양호한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시가 되더라도 가능한 한 동일 부호를 가지도록 하고 있음에 유의하여야 한다.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위하여 사용된 것에 불과하므로, 본 발명을 한정하려는 의도가 아니며 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현도 의미하는 것임을 미리 밝혀두고자 한다. 참고로, 본 명세서 상에서 등장하는 제어 정보처리장치란 PC, 스마트폰, 태블랫, 서버 등과 같이 정보를 주고 받을수 있으며 입력시킬수 있는 수단을 의미한다.

도 1은 수중드론의 사시도이고, 도 2는 수중드론의 단면도이고, 도 3은 수중드론의 토출부의 저면도이고, 도 4는 실시예에 따른 열화상 영상의 디스플레이 화면을 나타내는 사진이고, 도 5는 실시예에 따른 발열부 위치의 디스플레이 화면을 나타내는 사진이고, 도 6은 실시예에 따른 수중표면영상의 디스플레이 화면을 나타내는 사진이고, 도 7은 실시예에 따른 3차원모델링의 디스플레이 화면을 나타내는 사진이고, 도 8은 본 발명에 의한 수중드론을 이용한 수중 탐사시스템을 나타내는 블록도이고, 도 9는 수중정보 및 열화상과 수중표면의 영상정보를 분석하는 방식의 흐름도이다.

도 1은 본 발명의 실시예에 있어 구성요소 중에 하나인 수중드론(100)이다. 상기 수중드론(100)은 수중에서 부양한 상태로 원격운행될 수 있는 것으로, 수중의 이물질을 포함한 유체를 흡입하여 수중 속 이물질을 제거할 수 있으며, 동시에 이물질을 제거하는 과정에 있어서 흐트러짐 없이 균형을 유지할 수 있는 것이다. 또한, 상기 수중드론(100)은 별도의 조명부재(미도시)가 구비되어 어두운 환경에서도 손쉬운 촬영이 이루어지도록 하는 것이다.

본체(110)는 골조를 이루는 부재로 형성되며, 복수의 패널 또는 복수의 빔을 포함하여 구성될 수 있다. 상기 본체(110)는 예로서, 알루미늄 패널 또는 알루미늄 빔과 같이 비교적 가벼운 경량이면서 내식성을 갖는 소재로 구성될 수 있다.

도 2에 도시된 대로, 상기 본체(110)에 연결되어 해양의 오염물질을 포함한 유체를 여과시키는 정화장치(120)는 오염 물질이 포함된 유체를 흡입하여 오염 물질을 여과시켜 걸러낸 다음 정화된 유체를 다시 한번 토출하는 장치로 정화통(121), 흡입펌프(122) 및 토출부(123)를 포함한다.

도시된 바와 같이, 정화통(121)은 유체가 유입되는 인입부(121a)와 오염 물질을 여과하는 필터(121b)를 포함한다. 상기 필터(121b)는 정화통(121)의 내부의 저장공간을 상부 공간(121c)과 하부 공간(121d)으로 구획하며, 상기 필터(121b)는 상부공간(121c)과 하부 공간(121d)은 필터(121b)를 통해 연통되어, 유입된 유체는 상기 필터(121b)를 지나서만 흡입펌프(122)를 향해 이동될 수 있다.

여기서, 상기 인입부(121a)는 필터(121b)에 의해 구획되는 하부 공간(121d)에 형성되어, 하부공간(121d)에 유입된 유체는 흡임펌프(122)의 흡입력에 의해 필터(121b)를 지나서 상부 공간(121c)으로 이동한다.

필터(121b)는 저장공간의 하면을 기준으로 소정의 경사를 갖도록 기울어져 형성될 수 있다. 상기 필터(121b)는 인입부(121a)로부터 가까운 쪽 부분이 인입부(121a)로부터 먼 쪽 부분보다 더 큰 높이를 갖도록 형성될 수 있다.

상기 필터(121b)는 오염 물질이 통과될 수 없을 정도로 작게 형성된 관통공을 가지므로, 오염 물질을 필터(121b)에 의해 걸려져, 상부 공간(121c)으로 이동할 수 없게 된다. 즉, 걸러진 오염 물질은 하부 공간(121d)에 침적된다.

또한, 정화통(121)은 하면의 일면에 퇴적된 이물질을 제거할 수 있도록 개폐 가능하게 형성된 이물질 배출부(미도시)가 더 형성될 수 있다.

흡입펌프(122)는 상부 공간(121c)과 연통하여 형성되며, 연결관 등과 같은 연통부재(미도시)를 통해 연결될 수 있다. 상기 흡입펌프(122)는 오염물질이 충분히 제거될 수 있도록 높은 흡입력을 가지며, 흡입펌프(122)의 흡입력에 의해 인입부(121a)로 유체가 유입될 수 있으며 토출부(123)를 통해 유입된 유체가 토출될 수 있다.

상기 흡입펌프(122)는 정화통(121) 내의 유체가 하부 공간(121d)으로부터 상부 공간(121c)으로 역류되도록 상측방향으로 유체를 흡입한다. 따라서, 흡입펌프(122)에 의해 유체가 필터(121b)를 통해 상부 공간(121c)으로 이동됨에 따라 이물질은 필터(121b)에 걸러지게 된다.

또한, 상기 흡입펌프(122)는 토출부(123)를 통해 유체를 토출하는 토출압력을 본체(110)의 추진력으로 사용할 수 있을 정도의 충분한 압력으로 유체를 흡입, 토출한다.

상기 토출부(123)는 흡입펌프(122)에 연결되어 필터(121b)에 의해 이물질이 제거된 유체를 흡입펌프(122)에 의해 전달받아 토출시킨다. 상기 토출부(123)는 유체를 토출시킴에 있어서 본체(110)의 균형을 유지할 수 있도록 흡입된 유체를 서로 상쇄되는 방향으로 토출시킨다.

토출부(123)는 상기 토출부(123)의 중심을 기준으로 서로 대칭되는 형상을 가지며 일 예로, 원형의 링 형상을 가질수 있다. 이 때, 토출부(123)는 길이 방향을 따라 동일한 폭을 갖도록 형성된다. 그러나 토출부(123)의 형상은 원형의 링에 한정되지 않고, 필요에 따라 변경될 수 있다.

도 3을 참조하면, 토출부(123)는 흡입펌프(122)에 의해 전달받은 유체를 토출시킬 수 있는 복수의 토출공(123a)을 갖는다. 상기 토출공(123a)은 상기 토출부(123)의 중심점을 기준으로 서로 대칭되는 위치에 형성되며, 대칭되는 위치에 형성되어 서로 마주보는 토출공(123a)은 형상 및 크기가 서로 같다.

또한, 토출공(123a)은 상기 토출부(123)의 하면에 형성되어 하측 방향으로 유체 배출시 반력에 의해 본체(110)를 상승시키도록 형성될 수 있다. 이때, 도시된 대로 토출공(123a)은 토출부(123)의 원주방향을 따라 일정한 간격으로 복수개 배치된다.

상기 토출공(123a)은 다른 예로, 토출부(123)의 상면에 형성되어 상측 방향으로 유체 배출시 반력에 의해 본체(110)를 하강시키도록 형성될 수도 있다.

또한, 토출공(123a)은 또 다른 예로, 토출부(123)의 측면에 형성되어 측면방향으로 유체 배출시 서로 상쇄되어 아무런 반력을 받지 않을 수 있다.

촬영장치(130)는 본체(110)에 연결되어 본체(110)의 위치 및 인접한 주변 환

경을 촬영할 수 있다. 촬영장치(130)는 본체(110)의 위치를 실시간으로 추적할 수 있도록 본체(110)와 열화상을 촬영하는 열화상촬영카메라(131) 및 본체(110)에 인접한 주변환경을 촬영하는 제2 카메라(132)를 포함한다. 또한, 검사하고자 하는 대상을 확대하여 찍을수 있는 제3카메라(133)도 역시 포함한다.

상기 열화상촬영카메라(131)의 렌즈는 본체(110)를 향하여 배치될 수 있으며, 본체(110)와 주변 환경을 동시에 촬영하여 본체(110)의 위치 정보를 제공할 수 있다.

또한, 상기 열화상촬영카메라(131)는 본체(110)의 위치뿐 아니라, 본체(110)의 자세를 촬영하여 본체(110)의 자세에 대한 정보를 검출할 수도 있다.

또한, 도 1을 참조하면, 상기 열화상촬영카메라(131)를 지지하는 부재는 발광부(L)로 이루어져 있는데, 상기 발광부(L)는 발광다이오드(LED) 다수개가 일정 간격으로 원형으로 이루어져 있는 것이다.

제2 카메라(132)는 회전 가능하게 배치되어 전, 후방을 모두 촬영할 수 있으며, 광대역을 촬영할 수 있도록 승강되며 촬영할 수 있다.

그리고, 촬영장치(130)는 검사하고자 하는 대상과 영역을 확대하여 촬영할 수 있는 확대 카메라인 제3 카메라(133)를 더 포함할 수 있다. 상기 제3 카메라(133)는 줌-인 또는 줌-아웃 기능을 구비하여, 검사하고자 하는 대상을 최대 약 30배 정도까지 확대하여 영상을 촬영할 수 있다.

추진장치(140)는 본체(110)와 연결되어 상기 본체(110)에 추진력을 제공하여 본체(110)를 전후좌우 및 상하 방향으로 이동시킬 수 있도록 한다. 상기 추진장치(140)는 내부 구성요소가 각각 독립적으로 제어됨으로써 다양한 방향으로 본체(110)를 이동시킬 수 있는 것이다. 이에 대한 기술은 널리 공지된 것이므로 자세한 설명은 생략한다.

추진장치(140)는 덕트(미도시), 틸팅축(미도시) 및 프로펠러(미도시)를 포함하며 덕트는 프로펠러의 외주면에 배치되어 상기 프로펠러를 보호한다. 덕트는 틸팅 축에 연결되어 틸팅 회전됨으로써, 덕트 내에 배치된 프로펠러의 회전에 의해 모든 방향으로 상기 본체(110)에 추진력을 제공할 수 있다.

도 1을 참조해보면, 상기 수중드론(100)은 통신장치(150)와 케이블(160)이 각각 더 포함된다.

통신장치(150)는 압력 트랜스미터, 변위 트랜스미터, 혹은 어떠한 신호를 발신할 수 있는 모든 장치들을 포함할 수 있다. 상기 통신장치(150)는 또한, 수중 지형 영역에 설치된 Ultra wideband receiver, 스마트폰, 태블릿, 혹은 다른 계산 장치와 같은 무선 접근 가능한 장치들(미도시)과 무선통신할 수 있다.

또한, 상기 수중드론(100)은 본체(110)의 가운데 부분에 케이블(160)이 연결되어 외부로부터 전원을 공급받음과 동시에 외부기기(미도시)로부터 제어를 받을 수 있다. 여기서, 상기 케이블(160)의 예로는 테더 케이블(tether cable)을 포함할 수 있다.

상기와 같은 구성적 특징을 가지고, 해양의 조사구역 내를 운행하면서 수중의 정보를 촬영 및 수집하는 수중드론(100)에는 촬영장치(130)를 이용하여, 수중드론(100)이 운행하는 동안에 조사구역 전체를 알맞은 크기와 위치에서 촬영하여, 실시간으로 열화상 영상정보를 획득하는 기능을 한다.

이를 설명하면, 열화상 촬영카메라(131)가 영상을 촬영하여 획득하면 제2 카메라(132)에서 획득된 영상정보를 처리하고, 상기 발열부(L)의 위치로부터 도출된 상기 수중드론(100)의 좌표정보 및 상기 열화상 촬영카메라(131)에서 측정된 수중표면 정보를 매핑하여 미리 설정된 구역 내의 수중표면을 3차원으로 모델링하는 제어 정보처리장치(200)가 원격으로 이격 형성된다.

또한, 상기 제어 정보처리장치(300)는 상기 촬영장치(130)에 해당하는 열화상촬영카메라(131)와 제2 카메라(132), 제3카메라(133)에서 촬영된 정보도 케이블(160)에 의하여 전송받게 된다.

상기 열화상촬영카메라(131)와 제2 카메라(132)는 조사하고자 하는 수중 표면의 면적에 해당하는 구역 전체와 주변환경을 촬영하여 상기 수중드론(100)을 추적할 수 있도록 하여 열화상 영상을 생성하는 것이다.

상기 열화상촬영카메라(131)는 하부를 지지하여 이루어진 발광부(L)를 통하여 적외선 열화상 촬영장치의 기능을 하는 것으로, 대상물체의 열을 추적, 탐지하여 온도분포를 제어 정보처리장치(200)에 전송을 통한 화면으로 보여주는 것이다.

따라서, 기존에는 협소한 공간 또는 폐쇄된 공간에서는 수중드론의 위치를 GPS로 측정할 경우 오차가 크게 발생하는 문제를 해결하고자 본 실시예에서 상기 와 같은 적외선 열화상 쵤영기를 사용함으로써 위치 오차를 크게 줄일 수 있다.

구체적으로 상기 열화상촬영카메라(131)인 적외선 열화상 카메라는 미리 설정한 조사구역을 충분히 포함하는 수면 면적을 촬영할 수 있도록 설치된다.

더 나아가, 상기 수중드론(100)을 설정한 조사구역 내에서 운행시키면서 상기 열화상촬영카메라(131)로 촬영하면 실제 상기 수중드론(100)의 열화상이 나타나는데, 발열부(L)는 상대적으로 고온이므로 분명하게 인식되는 컬러로 나타나므로 상기 수중드론(100)의 위치를 정확하게 추적하여 인식될 수 있다.

또한, 수중드론(100)이 운행하는 동안, 상기 제2 카메라(132)에는 열화상촬영카메라(131)에서 촬영된 열화상 영상정보를 실시간으로 획득하고 데이터화하여 상기 제어 정보처리장치(200)로 전송하는 전송모듈(미도시)도 포함된다.

상기 제어 정보처리장치(200)는 상기 수중드론(100)의 제2 카메라(132)에서 획득된 영상정보를 처리하여 얻어진 수중드론(100)의 위치좌표를 상호 매핑시켜 최종적으로 3차원의 수중표면 이미지를 생성하는 것이다.

이러한 제어 정보처리장치(200)는 상기 제2 카메라(132)에서 획득하여 전송된 영상정보를 처리하여 상기 발열부(L)의 위치를 검출하고 검출된 발열부(L)의 위치정보로부터 도출된 수중드론(100)의 좌표정보, 위치좌표를 연산하여 도출하게 된다.

또한, 상기 제어 정보처리장치(200)는 상기 제2카메라(132)의 상기 전송모듈에서 전송해준 열화상 영상정보를 실시간으로 데이터베이스부(250)에 저장한다. 그리고, 이렇게 저장된 영상정보를 제어 정보처리장치(200)의 화면(미도시)으로도 디스플레이시킨다.

이를 통해 관리자는 실제 상기 수중드론(100)의 운행상황을 모니터링할 수 있다. 또한, 상기 제어 정보처리장치(200)는 상기 화면에서 관리자가 설정하는 조사구역(범위) 내의 열화상 영상정보를 처리하여 온도분포화된 정보로 변환하고, 처리된 온도분포 정보 중에서 특정 온도값 이상의 영역을 검출하며, 검출된 영역의 위치를 발열부(L)의 위치정보로 인식하여 획득한다.

다시 말해서, 열화상 영상정보의 이미지 와핑(Image warping)을 수행하고, 열화상 이미지를 이진화한 후 특정 온도값 이상의 영역을 검출한다. 그리고, 검출된 값에 해당하는 좌표는 상기 발열부(L)의 위치좌표로 결정된다. 또한, 상기 온도분포화된 영상정보는 컬러화된 화면으로 디스플레이될 수 있다. 즉, 관리자는 화면으로 상기 발열부(L)의 위치, 다시 말해서 상기 수중드론(100)의 운행상황과 위치를 명백히 모니터링할 수 있다.

그리고, 상기 제어 정보처리장치(200)는 상기 획득된 상기 발열부(L)의 위치정보를 연산 처리하여 상기 수중드론(100)의 실제 위치좌표를 최종적으로 도출한다.

그리고, 열화상촬영카메라(131)는 수중표면의 영상을 촬영하면, 상기 제어정보처리장치(200)는 상기 열화상촬영카메라(131)에서 촬영된 수중표면이나 해저의 영상정보를 저장하고, 이러한 방식으로 저장된 수중표면 영상정보를 화면으로 디스플레이하는 것이다. 즉, 관리자는 상기 열화상촬영카메라(131)를 통하여 촬영된 수중표면 또는 해저표면의 영상의 실시간 모니터링이 역시 가능한 것이다.

더 나아가, 상기 수중드론(100)에는 관성측정센서(미도시: IMU, Inertial Measurement Unit)도 구비된다. 상기 관성측정센서는 3축 가속도센서와 3축 자이로 센서, 3축 지자기센서와 같은 것으로서, 상기 수중드론(100)의 속도, 가속도, 방향, 중력 등을 측정하기 위한 것이다.

상기 수중표면의 영상정보는 3차원 매핑(mapping)도 이루어진다. 참고로 상기 제어 정보처리장치(200)에는 상기 관성측정센서에서 측정된 관성측정값의 정보를 수신하여 처리한 후 상기 수중드론(100)의 정확한 위치 좌표를 도출하게 한다. 즉, 상기 제어 정보처리장치(200)는 수중 표면 정보를 매핑하여 설정된 구역 내의 수중표면을 3차원으로 모델링하는 것이다. 참고로, 상기 매핑이란 의미는 입체적으로 변환시켜 서로 매칭시키는 것을 의미한다.

이렇게 도출된 수중드론(100)의 실제의 위치좌표 및 상기 열화상촬영카메라(131)가 쵤영하여 저장된 영상, 수중표면의 영상정보를 전송받아 상호 매핑시키고, 매핑된 정보를 3차원의 이미지로 변환, 모델링하여 상기 제어 정보처리장치(200)의 화면으로 디스플레이시킨다.

즉, 상기 수중드론(100)의 특정 위치좌표값과 상기 특정 위치좌표값에서 열화상촬영카메라(131)를 이용한 측정한 수중표면의 형상을 서로 매칭하여 포인트 클라우드화시킨다. 구체적인 예로서, 상기 포인트 클라우드화시키는 것은 수중표면의 체표면에 대한 모델링 기반의 미리 설정된 3차원 모델 포맷에 의해 상기 처리된 수중표면 영상정보를 우선적으로 모델링한다.

그리고, 상기 연산된 수중드론(100)의 실제 위치좌표와 상기 모델링된 수중표면 영상정보를 매핑하여 포인트 클라우드화시키는 동작으로 이루어진다.

이러한 포인트 클라우드화된 일정수 이상의 데이터를 3차원의 입체적인 이미지 형상으로 변환하여 보여줄 수 있다. 이때, 수중표면의 높낮이에 따라 컬러를 구분하여 명확하게 할 수 있다. 상기 포인트 클라우드로 생성시키는 3차원모델링은 공지의 기술이므로 상세한 설명은 생략한다.

이하, 도 4 내지 도 7을 참조하여 수중표면의 3차 모델링 과정을 설명하기로 한다.

상기 도면들은 모두 사진들인데, 구체적으로 설명하면, 도 4는 열화상 영상의 디스플레이 화면을 나타내는 사진이고, 도 5는 발열부(L) 위치의 디스플레이 화면을 나타내는 사진이다. 그리고, 도 6은 수중표면 영상의 디스플레이 화면을 나타내는 사진이고, 도 7은 3차원 모델링의 디스플레이 화면을 나타내는 사진이다.

참고로, 이하에서 언급되는 작업자라는 의미는 상기 수중드론(100)을 조종하는 오퍼레이터와 상기 제어 정보처리장치(200)를 조작하는 엔지니어이다.

먼저, 3차원 모델링 과정은 조사 대상구역(일반적으로 직사각형)을 지정하고, 조사구역을 포함한 전체를 촬영할 수 있는 위치와 높이에 있는 곳에 수중드론(100)을 위치하게 한다.

그리고, 엔지니어는 열화상 영상을 확인하고, 도 4에 점선 사각형과 같이 조사구역을 지정하며, 조사구역의 가로세로 실거리를 측정한다.

또한, 상기 발열부(L) 위치를 위해 조사구역을 하나 이상의 격자로 구획한다. 엔지니어는 격자의 개수를 입력하면 도 5의 사진과 같이 자동으로 구획되도록 한다.

상기와 같은 세팅이 끝나면, 오퍼레이터는 발열부(L)가 부착된 상기 수중드론(100)을 조사구역 내에서 운행시킨다.

오퍼레이터는 조사구역 내의 모든 영역을 스캔하기 위해 정해진 경로를 따라 수중드론(100)을 운행시킬 수 있다. 예를 들어, 직사각형의 조사구역 일측에서 전후방향으로 왕복하면서 좌 또는 우측으로 이동하게 함으로써 조사구역 전 영역을 상기 수중드론(100)이 운행되도록 할 수 있다.

이때, 상기 열화상촬영카메라(131)에서 측정되는 수중표면의 영상정보와 상기 제2카메라(132)를 통해 데이터화된 열화상 영상정보를 실시간으로 상기 제어 정보처리장치(200)로 전송되면서 동기화된다.

그리고, 상기 제어 정보처리장치(200)로 전송된 정보들 중 열화상 영상정보는 수중드론 위치인식을 거쳐 상기 수중드론(100)의 실시간 위치좌표가 도출되어 매핑으로 진행된다.

다음에, 상기 수중표면의 영상정보는 상기 수중표면 정보처리를 거친 후에 이 두 정보들을 매핑하여 조사구역의 수중표면 형상을 도 7에 나타난 것처럼 3차원의 컬러 이미지로 제공한다.

이하에서는 본 발명에 의한 수중드론을 이용한 수중 탐사시스템(500)의 블록도를 도 8을 참조하여 설명하기로 한다.

도시된 대로, 수중드론(100)에 의하여 수집된 수중표면의 영상정보와 해양의 탐사정보를 상기 제어 정보처리장치(200)로부터 전송받아 저장하는 데이터베이스부(250)가 형성되어 있다.

즉, 열화상촬영카메라(131), 제2 카메라(132) 및 제3카메라(133)로 이루어진 촬영장치(130)에서 촬영된 영상정보 등을 저장하는 데이터베이스부(250)가 구비되어 있으며, 상기 데이터베이스부(250)에 저장된 데이터를 상기 제어 정보처리장치(200)로부터 전송받아 열화상 및 수중표면의 영상정보를 실시간으로 분석 및 처리하여 분석부(300)에 전송하는 처리부(T)가 형성된다.

참고로, 상기 데이터베이스부(250)는 상기 제어 정보처리장치(250)의 내부에 수용되어, 자체의 제어신호에 의하여 상기 처리부(T)로 전송되는 것이다.

더 나아가, 상기 처리부(T)에 전송된 촬영된 영상들을 분석함에 있어 딥러닝시스템을 이용한다는 것을 특징으로 한다.

딥러닝 방식이란, 컴퓨터가 빅 데이터를 바탕으로 하여 마치 사람처럼 스스로 학습할 수 있도록 하기 위해서 프로그램화된 인공신경망을 기반으로 하는 기계 학습기술을 말하는 것으로서, 특히, 인간의 시청각 신경을 모델로 짜여있기 때문에 사진, 영상, 음향데이터 등의 처리에 많이 적용되고 있으며, 상기 처리부(T)에서는 촬영된 영상의 사물을 실시간 분석한 후, 영상에서 발견되는 물체의 특성을 분석하여 수중의 분포 현황을 제시할 수 있는 것을 특징으로 한다.

그러면, 상기 처리부(T)는 이러한 분석결과를 분석부(300)에 전송한다.

상기 분석부(300)는 상기 데이터베이스부(250)에 저장된 데이터를 통하여 상기 수중의 정보 및 열화상과 수중표면의 영상정보를 분석하여 매칭한 것을 다시한번 분석 및 매핑한 결과의 정보와 자료를 출력시키는 출력부(350)가 내부에 형성되어 있다.

이하에서는, 수중 정보 및 열화상과 수중표면의 영상정보를 분석하는 방식에 대하여 도 9를 참조하여 설명하기로 한다.

먼저, 촬영장치(130)를 통하여 영상을 촬영한다(S 1).

상기 촬영장치(130)로부터 영상을 전송받은 제어 정보처리장치(200)는 분석하고자 하는 대상의 촬영된 영상을 처리부(T)로 전송한다. 즉, 상기 제어 정보처리장치(200)는 데이터베이스(250)에 저장되어 있는 영상, 이미지, 사진 등과 같은 촬영된 영상을 처리부(T)로 전송한다(S 2).

이에 따라, 상기 분석부(300)는 상기 제어 정보처리장치(200)를 경유하여 처리부(T)로부터 수신한 영상을 분석하는 것으로, 상기 촬영된 영상을 수신해서 다수의 기능별 신경망을 통해 분석결과 값을 생성하는 것이다(S 3).

즉, 상기 분석부(300)는 상기 촬영된 영상을 수신하여 이미지(사진)묘사 신경망 및 영상인식 신경망을 통해 분석한 결과 값을 생성할 수 있다.

또한, 상기 분석부(300)는 상기 생성된 분석 결과값들의 확률값에 가중치에 따른 우선순위를 반영하여 결과값을 생성하고(S 4), 이와 같이 가중치 즉, 우선순위가 반영된 결과값을 수신하여 디스플레이부(미도시)에 표시하거나 출력부(350)를 통하여 출력할 수 있다(S 5).

보다 상세하게 설명하면, 상기 분석부(300)는 상기 이미지 묘사 신경망, 영상인식 신경망을 통해 생성한 분석 결과 값 중에서 우선순위가 가장 높은 분석 결과값을 표시하며, 상기 분석 결과값을 우선순위의 순서대로 표시할 수 있다.

다시 말해서, 상기 분석부(300)에서 한꺼번에 여러 종류의 신경망을 통해 영상과 이미지등을 인식한 결과를 도출하고, 각 결과 값들에 우선순위를 부여하여 출력부(350)로 전송하고, 상기 출력부(350)에서는 우선순위가 가장 높은 결과부터 출력을 시키는 것이다.

따라서, 관리자는 상기 출력부(350)의 화면 또는 문서의 출력을 통하여 이하의 우선순위의 결과들을 차례로 제공받을 수 있다(S 6).

예를 들어, 상기 분석부(300)가 이미지 묘사 신경망, 사물 인식 신경망, 영상인식 신경망을 통해 분석한 결과값을 생성하면, 상기 출력부(350)는 상기 분석 부(300)가 이미지 묘사 신경망, 영상인식 신경망 등을 이용하여 생성한 분석 결과값 중에서 우선순위가 가장 높은 분석 결과값을 먼저 표시하고, 사용자가 소정의 제어명령을 입력하면 상기 분석 결과 값을 우선순위의 순서대로 표시할 수 있다.

따라서, 특정한 영상 혹은 이미지에 대해 다양한 관점에서 분석하는 분석부(300)의 신경망들이 동시에 작동하여, 각각 결과 값들을 생성 후에 이를 단번에 출력부(350)로 하여금 출력시키도록 하여, 관리자는 각 결과 값들이 우선순위에 따라 하나씩 선택하여 분석결과를 출력하여 제공받을 수 있다.

즉, 제어 정보처리장치(200)로부터 제공받은 영상을 분석부(300)의 생성한 신경망들을 통하여 결과값을 산출하고, 상기 각 결과값에서 점수가 높은 순서로 정렬한 다음에 전체적인 결과 값을 분석부(300)가 전송하여 관리자 등에게 제공하는 것이다.

그러므로, 상기의 결과값들을 피드백받아 여러 종류의 결과 값들을 효과적으로 확인할 수 있는 편리성과 효율성이 높은 해양의 정보와 영상분석 환경을 제공할 수 있다.

그리고, 상기 출력부(350)는 상기 처리부(T)에서 전송된 영상정보와 수중정보를 수신하여 출력하는 것으로서, 설정한 구역에 따른 정보를 맵핑하여 출력할 수 있고, 이를 통하여 수중정보 또는 열화상이나 수중표면 영상정보를 확인하고자 하는 경우, 정보지도 화면(미도시)에서 위치를 클릭하여 영상정보 및 수중정보를 제공받을 수 있도록 구현된다.

이와 같은 방식으로, 상기 수중드론(100)의 촬영장치(130)를 통하여 수집되는 열화상이나 수중탐사 등의 정보를 빅 데이터화시켜서 분석 및 분류시키는 딥러닝 방식을 이용하여 해양 수중의 정보를 수집하는 것을 특징으로 한다.

그러므로, 제어 정보처리장치(200)에 의하여 수집된 해양의 영상정보 등을 저장하는 데이터베이스부(250)와 상기 데이터베이스부(250)에서 저장된 정보를 전송받아 분석하는 처리부(T)에서 딥러닝 시스템을 이용하여 상기 해양정보 등을 분석 및 분류함에 따라 보다 정확한 해양정보를 파악할 수 있고, 관리자가 이를 수작업으로 분석할 필요가 없으므로 시간을 절약할 수 있으며, 딥러닝 방식의 특성상 반복된 사용으로 데이터가 축적되는 경우, 더욱 정확한 분류가 가능함에 따라 시간의 경과에 따른 해양정보와 영상 이미지 분석의 수집 축적과 함께 정확도가 높아지는 효과가 있다.

이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상기 기술한 실시 예는 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.

본 발명의 범위는 상기 상세한 설명보다는 첨부된 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 수중드론 110: 본체
120: 정화장치 L : 발열부
121: 정화통 122: 흡입펌프
123: 토출부 130: 촬영장치
131: 열화상촬영 카메라 132: 제2 카메라
133: 제3 카메라 140: 추진장치
150: 통신장치 160: 케이블
200: 제어 정보처리장치 250: 데이터베이스부
300: 분석부 350: 출력부
T : 처리부
500: 수중드론을 이용한 수중 탐사시스템

Claims (2)

1. 수중드론을 이용한 수중 탐사시스템에 있어서,
   경량의 내식성을 갖는 소재로 구비된 본체;
   상기 본체에 연결되어 상기 본체를 전후, 상하좌우로 이동시키는 추진장치;
   상기 본체에 연결되어 해양의 오염물질을 포함한 유체를 여과시키는 정화장치를 구비하고, 상기 본체의 위치를 실시간으로 추적할 수 있도록 하여 상기 본체를 촬영하는 열화상촬영카메라와 상기 본체에 인접한 주변환경을 촬영하고 상기 수중드론이 운행하는 동안 상기 열화상촬영카메라에서 촬영된 열화상 영상정보를 실시간 획득하고 데이터화하여 상기 제어 정보처리장치로 전송하는 전송모듈이 형성된 제2 카메라와 촬영하고자 하는 대상을 확대하여 찍을수 있는 제3카메라가 구비된 촬영장치와 상기 본체의 가운데 부분에는 외부 기기로부터 전원을 공급과 제어를 받을수 있는 케이블을 포함하며, 조사구역 내를 운행하면서 수중정보를 촬영 및 수집하는 수중드론;
   상기 제2 카메라에서 획득된 영상정보를 처리하고, 발열부의 위치로부터 도출된 상기 수중드론의 좌표정보 및 수중 표면 정보를 매핑하여 설정된 구역 내의 수중표면을 3차원으로 모델링하는 제어 정보처리장치;
   상기 수중드론에 의하여 수집된 정보를 상기 제어 정보처리장치로부터 전송받아 저장하는 데이터베이스부;
   상기 데이터베이스부에 저장된 데이터를 통하여 상기 수중의 정보를 분석하여 매핑하고, 상기 수중의 정보를 출력시키는 출력부가 형성되어 있는 분석부를 포함하는 것을 특징으로 하는 수중드론과 소나를 이용한 수중 탐사시스템.
   
2. 제1항에 있어서,
   상기 데이터베이스부에 저장된 데이터를 상기 제어 정보처리장치로부터 전송받아 열화상 및 수중표면의 영상정보를 실시간으로 분석하여 상기 분석부에 전송하는 처리부가 구비되어 있는 것을 특징으로 하는 수중드론과 소나를 이용한 수중 탐사시스템.
   
   

Images