KR102298643B1 - 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법 - Google Patents

적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법 Download PDF

Info

Publication number
KR102298643B1
KR102298643B1 KR1020200085201A KR20200085201A KR102298643B1 KR 102298643 B1 KR102298643 B1 KR 102298643B1 KR 1020200085201 A KR1020200085201 A KR 1020200085201A KR 20200085201 A KR20200085201 A KR 20200085201A KR 102298643 B1 KR102298643 B1 KR 102298643B1
Authority
KR
South Korea
Prior art keywords
underwater
drone
underwater surface
image information
imaging camera
Prior art date
Application number
KR1020200085201A
Other languages
English (en)
Inventor
김기주
김수용
Original Assignee
동명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동명대학교산학협력단 filed Critical 동명대학교산학협력단
Priority to KR1020200085201A priority Critical patent/KR102298643B1/ko
Application granted granted Critical
Publication of KR102298643B1 publication Critical patent/KR102298643B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63G—OFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
    • B63G8/00—Underwater vessels, e.g. submarines; Equipment specially adapted therefor
    • B63G8/001—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06K9/00214—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Radiation Pyrometers (AREA)

Abstract

실시예는 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 시스템에 관한 것이다.
구체적으로는, 이러한 시스템은 소나와 발열체가 구비되고, 조사구역 내에서 운행하면서 수중표면정보를 측정하는 수중드론 상기 수중드론이 운행하는 동안 조사구역 전체를 촬영하여 실시간으로 열화상 영상정보를 획득하는 적외선 열화상 카메라;
상기 적외선 열화상 카메라에서 획득된 열화상 영상정보를 처리하고 상기 발열체의 위치로부터 도출된 상기 수중드론의 좌표정보 및 상기 소나에서 측정된 수중표면정보를 매핑하여 설정된 구역 내의 수중표면을 3차원으로 모델링하는 제어서버; 를 포함하여 이루어지는 것을 특징으로 한다.
따라서, 이를 통해 수중드론에 부착한 발열체와 적외선 열화상 카메를 이용하여 획득한 수중드론의 정확한 위치 정보와, 수중드론의 소나에서 측정된 수중 영상정보를 매핑시킴으로써 해저지형 또는 수중표면의 정밀한 형상정보를 얻는다.

Description

적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법{3D modeling method of underwater surfaces using infrared thermal imaging camera and drone}
본 명세서에 개시된 내용은 수중표면 3차원 모델링 시스템에 관한 것으로서, 보다 상세하게는 수중표면을 측정하는 수증드론과 수중드론의 운행 구역을 촬영하는 적외선 열화상 카메라를 사용하여 수중표면의 정확한 형상정보를 3차원적으로 구현해낼 수 있는 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 시스템에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
일반적으로 사람이 타지 않는 소형 비행기, 헬리콥터, 무인잠수정, 무인수상정 등을 드론이라고 한다. 이 중에서 수면 위에 부양되거나 수중에서 운행하는 드론을 수상 드론 또는 수중드론이라고 한다.
그런데 수상 드론이나 수중드론에 소나를 장착하여 해저, 수중표면이나 지형을 측량하거나 탐색하게 된다.
특히, 수상 드론이나 수중드론은 원자력발전소에서 수중 구조물이나 수중표면을 측정하기도 하고 댐, 둑, 항구, 보와 같은 구조물의 상태나 해저 환경을 모니터링하는 것과 같이 다목적으로 사용되고 있다.
그리고 해저나 수중표면의 지형적, 지리적 정보를 수집하더라도 지속적으로 흐르는 수류에 의해 침식, 퇴적 등이 빈번하므로 지형, 지리정보에 대한 주기적인 갱신이 필요하다.
종래에는 해저면 또는 수중표면의 정보를 수집하기 위해 수상 또는 수중드론에 소나를 장착하여 음파를 발사해 반사되는 음파를 수신한 후 분석함으로써 지형, 지리 정보를 수집하였다.
그러나 수중드론의 경우 위치를 파악할 때 기본적으로 GPS를 사용하게 되는데, 큰 범위의 경우 GPS의 오차가 크게 중요하지 않으나 좁은 범위나 영역을 탐사하는 경우 위치 오차는 큰 문제가 된다.
GPS의 경우 정밀도가 보통 5 ~ 10ｍ에 불과하고, 아주 성능이 우수한 것도 정밀도가 2ｍ 정도까지는 가능하다. 따라서, GPS는 수미터의 오차가 중요하지 않는 개활지나 넓은 범위의 해상에서는 드론의 위치정보 획득에 활용이 가능하나, 실제 협소한 범위의 수중표면을 정밀하게 모델링 하는 경우에 이러한 오차는 큰 문제가 야기한다.
특히, 원자력 발전소와 같이 해저 구조물 내의 좁은 구역의 해저 지형은 여러 가지 시설, 장비, 구조물 형상으로 인해 수중드론에 GPS를 사용하는 경우 정확한 위치정보 획득이 어렵다.
이것은 결국 잘못된 수중표면이나 지형 정보를 획득하게 되어 발전소 유지관리에 문제를 발생시킬 수 있다.
(특허문헌 1) KR100950979 Y1
(특허문헌 2) KR101119400 Y1
(특허문헌 3) KR1020130096854 A
개시된 내용은, 수중드론에 부착한 발열체와 적외선 열화상 카메를 이용하여 획득한 수중드론의 정확한 위치 정보와, 수중드론의 소나에서 측정된 수중 영상정보를 매핑시킴으로써 해저지형 또는 수중표면의 정밀한 형상정보를 얻을 수 있는 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 시스템을 제공하고자 한다.
실시예에 따른 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 시스템은,
소나와 발열체가 구비되고, 조사구역 내에서 운행하면서 수중표면정보를 측정하는 수중드론;
상기 수중드론이 운행하는 동안 조사구역 전체를 촬영하여 실시간으로 열화상 영상정보를 획득하는 적외선 열화상 카메라;
상기 적외선 열화상 카메라에서 획득된 열화상 영상정보를 처리하고 상기 발열체의 위치로부터 도출된 상기 수중드론의 좌표정보 및 상기 소나에서 측정된 수중표면정보를 매핑하여 미리 설정된 구역 내의 수중표면을 3차원으로 모델링하는 제어 정보처리장치; 를 포함하여 이루어지고,
상기 제어 정보처리장치는,
a) 상기 적외선 열화상 카메라에서 획득된 영상정보를 처리하여 발열체의 위치를 검출하고 검출된 발열체의 위치정보로부터 수중드론의 위치좌표를 연산하여 도출하고,
b) 상기 소나에서 측정된 수중표면 영상정보를 처리하고,
c) 상기 도출된 수중드론의 위치좌표와 상기 처리된 수중표면 영상정보를 매핑하여 수중표면을 3차원 이미지로 모델링하며,
상기 수중드론의 위치좌표를 연산하여 도출하는 것(a))은,
a-1) 상기 적외선 열화상 카메라로부터 전송된 열화상 영상정보를 저장하고,
a-2) 상기 저장된 열화상 영상정보를 화면으로 디스플레이하고;
a-3) 상기 화면 중 미리 설정된 구역의 열화상 영상정보를 처리하여 기준 온도 이상인 영역을 검출하고, 검출된 영역으로부터 상기 발열체의 위치정보를 획득하며,
a-4) 상기 처리된 영상정보를 온도분포에 따른 컬러화된 화면으로 디스플레이하고,
a-5) 상기 획득된 발열체의 위치정보로부터 상기 수중드론의 실제 위치좌표를 연산하는 것; 을 특징으로 한다.
실시예들에 의하면, 협소하거나 밀폐된 조사구역에서 종래 GPS를 사용할 경우 수중드론의 위치좌표에 큰 오차가 발생하는 문제를 해결할 수 있다. 즉, 발열체를 적외선 열화상 카메라로 추적하면서 수중드론의 정확한 위치좌표를 도출할 수 있으므로 조사구역의 수중표면 형상에 대한 정밀도가 크게 향상된다.
도 1은 일실시예에 따른 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 시스템을 나타내는 구성도
도 2는 도 1의 제어 정보처리장치의 개략적인 구성을 나타내는 도면
도 3은 도 1의 수중드론의 구성을 예로 들어 도시한 블록도
도 4는 도 3의 수중드론에 적용된 PLC 컨트롤러의 구성을 도시한 블록도
도 5는 일실시예에 따른 열화상영상의 디스플레이 화면을 나타내는 사진
도 6은 일실시예에 따른 발열체위치의 디스플레이 화면을 나타내는 사진
도 7은 일실시예에 따른 수중표면영상의 디스플레이 화면을 나타내는 사진
도 8은 일실시예에 따른 3차원모델링의 디스플레이 화면을 나타내는 사진
도 1은 일실시예에 따른 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 시스템을 나타내는 구성도이고, 도 2는 도 1에 도시된 제어 정보처리장치의 개략적인 구성을 나타내는 도면이다.
도 1과 도 2에 도시된 바와 같이, 일실시예에 따른 시스템은 크게 수중드론(100)과 적외선 열화상 카메라(200) 및 제어 정보처리장치(300)로 구성된다.
상기 수중드론(100)은 수면 또는 수중에서 부양한 상태로 원격 운행될 수 있는 장치이다. 상기 수중드론(100)에는 소나(110)와 발열체(120)가 구비된다. 이러한 경우, 상기 소나(110)는 초음파를 수중표면으로 방사하고 수신하여 수중표면의 3차원적인 형상을 측정한다. 이를 위해 상기 소나는 보통 초음파를 생성 및 발사하는 발신모듈과 반사된 초음파를 수신하는 수신모듈 및 수신된 정보를 데이터화하여 상기 제어 정보처리장치로 전송하는 전송모듈로 구성될 수 있다. 그리고 이때, 상기 소나(110)는 상기 수중드론(100)의 하부면에 설치된다. 또한, 이러한 경우에 상기 발열체(120)는 상기 적외선 열화상 카메라(200)에서 인식이 용이하도록 상기 수중드론 또는 물과 같은 주변의 온도보다 상대적으로 온도가 높아야 한다. 따라서, 상기 발열체(120)는 방수처리된 램프가 적당한데, LED 램프를 사용하는 것이 바람직할 것이다. 또한 상기 발열체(120)는 상기 수중드론(100)의 상부면에 부착되는 것이 좋다. 그리고, 상기 수중드론(100)에는 관성측정센서가 구비된다. 상기 관성측정센서(IMU, Inertial Measurement Unit)는 3축 가속도센서와 3축 자이로센서, 3축 지자기센서와 같은 것으로서, 상기 수중드론의 속도, 가속도, 방향, 중력 등을 측정하기 위한 것이다. 상기 관성측정센서에서 측정된 정보도 상기 제어 정보처리장치(300)로 전송될 수 있다.
상기 적외선 열화상 카메라(200)는 조사하고자 하는 수중표면의 면적에 해당하는 구역 전체를 촬영하여 상기 수중드론(100)을 추적할 수 있는 열화상 영상을 생성하는 것이다. 일반적으로 적외선 카메라는 적외선 야간투시 카메라와 적외선 열화상 카메
라로 구분할 수 있는데, 적외선 열화상 카메라는 비접촉식으로 대상물체의 열을 추
적, 탐지하여 온도분포를 화면으로 보여주는 장치이다. 그리고, 적외선으로부터 감지되는
주파수 반응을 전기적 신호로 변환하여 화상 시스템으로 구현하여 주는 장비이다. 일반 카메라는 사람의 눈과 같은 구조를 하므로 우리 눈이 보는 것과 유사한 모습을 담아내지만 열화상 카메라는 오직 열을 이용해서 촬영하는 특수 장비이다. 이때, 열을 어느 정도 내는지에 따라 식별 가능하므로 장애물의 유무나 빛의 유무와 상관없이 물체를 확인할 수 있다. 기존에 협소한 공간 또는 폐쇄된 공간에서는 수중드론의 위치를 GPS로 측정
할 경우 오차가 크게 발생하는 문제를 해결하고자 일실시예에서 상기 적외선 열화상 카메라를 사용함으로써 위치 오차를 크게 줄일 수 있었다. 구체적으로 상기 적외선 열화상 카메라(200)는 미리 설정한 조사구역을 충분히 포함하는 수면 면적을 촬영할 수 있도록 설치된다. 이를 위해 조사구역 일측에 지지대를 세우고 상기 지지대의 상단에 상기 적외선 열화상 카메라(200)를 설치할 수 있다. 그러나 조사구역을 모두 촬영할 수 있다면 다른 방법도 무방하다. 이러한 상태에서 상기 수중드론(100)을 조사구역 내에서 운행하면서 상기 적외선 열화상 카메라(200)로 촬영하면 실제 상기 수중드론(100)의 열화상이 나타나
는데, 상기 발열체(120)는 상대적으로 고온이므로 분명하게 인식되는 컬러로 나타
나기 때문에 상기 수중드론(100)의 위치가 정확하게 추적, 인식될 수 있다.
상기 적외선 열화상 카메라(200)에는 촬영된 열화상 영상정보를 실시간으로
획득하고 데이터화 하여 상기 제어 정보처리장치(300)로 전송하는 전송모듈이 포함된다.
상기 제어 정보처리장치(300)는 상기 수중드론(100)의 소나(110)에서 측정된 수중표면 영상정보와 상기 적외선 열화상 카메라(200)에서 획득된 영상정보를 처리하여 얻어진 수중드론(100)의 위치좌표를 상호 매핑시켜 최종적으로 3차원의 수중표면 이미
지를 생성하는 것이다. 이러한 제어 정보처리장치는 상기 적외선 열화상 카메라(200)에서 전송된 영상정보를 처리하여 상기 발열체(120)의 위치를 검출하고 검출된 발열체(120)의 위치정보로부터 수중드론(100)의 위치좌표를 연산하여 도출하게 된다. 상세하게 상기 제어 정보처리장치(311)는 상기 적외선 열화상 카메라(200)의 전송모듈에서 전송해준 열화상 영상정보를 실시간으로 저장한다. 그리고 이렇게 저장된 영상정보를 화면으로 디스플레이시킨다. 이를 통해 관리자는 실제 상기 수중드론(100)의 운행상황을 모니터링할 수 있다. 또 상기 제어 정보처리장치는 상기 열화상영상출력부(312)의 화면에서 관리자가 설정하는 조사구역(범위) 내의 열화상 영상정보를 처리하여 온도분포화된 정보로 변환하고, 처리된 온도분포 정보 중에서 특정 온도값 이상의 영역을 검출하며, 검출된 영역의 위치를 발열체의 위치정보로 인식하여 획득한다. 다시 말해서, 열화상 영상정보의 이미지 와핑을 수행하고, 열화상 이미지를 이진화한 후 특정 온도값 이상의 영역을 검출한다. 그리고 검출된 값에 해당하는 좌표는 상기 발열체(120)의 위치좌표로 결정된다. 또한, 상기 온도분포 영상정보는 컬러화된 화면으로 디스플레이될 수 있다. 즉, 관리자는 화
면으로 상기 발열체(120)의 위치 다시 말해서, 상기 수중드론(100)의 운행상황과
위치를 모니터링할 수 있다. 그리고, 상기 제어 정보처리장치(315)는 상기 획득된 상기 발열체(120)의 위치정보를 연산 처리하여 상기 수중드론(100)의 실제 위치
좌표를 최종적으로 도출한다. 다음으로 상기 제어 정보처리장치는 상기 소나(110)에서 측정되어 전송된 수중표면 영상정보를 저장하고, 이렇게 저장된 수중표면 영상정보를 화면으로 디스플레이한다. 즉, 관리자는 상기 소나(110)에서 측정된 수중표면 또는 해저표면의 형상을 실시간으로 모니터링할 수 있다. 이러한 상기 수중표면 영상정보는 3차원매핑도 이루어진다. 참고로 상기 제어 정보처리장치(300)에는 상기 관성측정센서에서 측정된 관성측정값 정보를 수신하여 처리한 후 상기 수중드론(100)의 정확한 위치좌표를 도출하게 한다. 다음으로 이렇게 도출된 수중드론(100)의 실제 위치좌표 및 상기 저장된 수중표면 영상정보를 전송받아 상호 매핑시키고, 매핑된 정보를 3차원의 이미지로 변환하여 디스플레이시킨다. 즉, 상기 수중드론(100)의 특정 위치좌표값과, 그 특정 위치좌표값에서 상기 소나(110)를 이용한 측정한 수중표면의 형상을 서로 매칭하여 포인트 클라우드화
시킨다. 구체적인 예로서, 상기 포인트 클라우드화시키는 것은 수중표면의 체표면에 대한 모델링 기반의 미리 설정된 3차원 모델 포맷에 의해 상기 처리된 수중표면 영상정보를 우선적으로 모델링한다. 그리고, 상기 연산된 수중드론의 실제 위치좌표와 상기 모델링된 수중표면 영상정보를 매핑하여 포인트 클라우드화시키는 동작으로 이루어진다. 부가적으로, 또한 이러한 경우, 먼저 상기 매칭 동작은 미리 다수의 상이한 적외선 열화상만으로부터의 2D객체 영역분할을 위한 딥러닝 학습을 통해 객체 영역에 관한 딥러닝 파라미터를 산출하여 객체2D영역분할 딥러닝 모델을 구축한다. 그리고 나서, 해당 입력 적외선 열화상으로부터 객체2D영역분할을 상기 객체2D영역분할 딥러닝 모델에 의해 수행한다. 다음, 상기 객체2D영역분할 결과와, 깊이(Depth)데이터 간에 논리적 AND를 수행함으로써, 객체의 깊이 정보를 획득한다. 그래서, 이러한 객체의 깊이 정보에 원근변환을 적용하여 객체의 3D객체영역분할을 수행함으로써, 이로부터 나온 객체의 xyz를 위의 수중드론의 위치좌표와 매핑하여 포인트 클라우드화시킨다. 이때, 이러한 포인트 클라우드화된 일정수 이상의 데이터를 3차원의 입체적인 이미지 형상으로 변환하여 보여줄 수 있다. 이때, 수중표면의 높낮이에 따라 컬러를 구분하여 명확하게 할 수 있다. 포인트 클라우드로 3차원 모델링은 공지의 기술이므로 상세한 설명은 생략한다.
도 3은 도 1의 수중드론(100)의 구성을 예로 들어 도시한 블록도이다.
도 3에 도시된 바와 같이, 일실시예에 따른 수중드론(100)은 소나와, 운행상태를 감지하는 센서부, 상기 운행상태의 감지결과로 운행상태를 추정하는 센서 융합기, 각 부를 제어하는 PLC 컨트롤러 및, 수중드론의 구동부를 포함한다.
이러한 경우, 상기 PLC 컨트롤러는 수중드론의 발열체에 의한 위치좌표와, 상기 소나에 의한 수중표면 정보를 IOT데이터로서 상기 제어 정보처리장치와 통신하는 IOT모듈을 포함한다.
상기 소나는 운행시에 조사구역을 예를 들어, 관리자가 원하는 지역의 수중표면 정보를 측정한다.
상기 센서부는 수중드론이 운행될 경우, 운행상태를 감지하는 센서를 적어도 하나 이상 포함한다. 이러한 경우, 상기 센서부는 압력 센서와, 3축 가속도 센서, 3축 자이로 센서, 지자기 센서들 중 어느 하나 이상을 포함하여 운행과, 임무 수행에 필요한 데이터를 측정한다.
상기 센서 융합기는 상기 센서부에 의해 감지된 운행상태 결과를 조합하여 운행상태를 추정하는 것이다. 예를 들어, 운행시의 압력과, 가속도 등을 조합하여 연산해서 비행상태를 추정한다.
상기 PLC 컨트롤러는 상기 발열체의 위치로부터 도출된 상기 수중드론의 좌표정보 및 상기 소나에서 측정된 수중표면정보를 미리 등록된 제어 정보처리장치에 제공하고, 상기 센서 융합기에 의해 추정된 운행상태에 따라 운행동작을 제어하는 것이다.
상기 구동부는 상기 PLC 컨트롤러의 제어에 의해 예를 들어, 상기 PLC 컨트롤러의 PWM제어에 의해 상기 운행동작을 구동한다. 이때, 상기 구동부는 변속기, 모터, 프로펠러 등을 포함하여 이루어져서, 상기 추정된 비행 상태에 따라 상이하게 회전속도와 회전방향 등을 달리하여 운행 동작을 구동한다.
도 4는 도 3의 수중드론(100)에 적용된 PLC 컨트롤러의 구성을 도시한 블록도이다.
도 4에 도시된 바와 같이, 일실시예에 따른 수중드론에 적용된 PLC 컨트롤러는 상기 소나와 센서부 등의 신호 입출력을 위한 부분과 신호 처리를 위한 부분, 제어 정보처리장치와의 통신을 위한 부분을 모두 통합적으로 포함하도록 이루어진다.
이를 위해, 일실시예에 따른 PLC 컨트롤러는 전원모듈과, 소나와 센서부의 신호 입출력과 신호 처리를 위한 A/I 모듈과, A/O 모듈, A/D모듈, D/A모듈, D/I모듈, D/O모듈, 제어 정보처리장치와의 통신을 위한 IOT모듈 및, 상기 각 모듈을 제어하는 CPU모듈을 모두 포함한다.
상기 전원모듈은 수중드론 자체에 전원을 공급하기 위한 것이다.
상기 A/I 모듈은 상기 소나(아날로그 소나)에 의한 아날로그 측정결과와 상기 센서 융합기에 의한 아날로그 운행상태 감지 결과를 포함한 아날로그 정보를 통합적으로 입력받는 것이다.
상기 A/O 모듈은 아날로그 제어정보를 포함한 아날로그 정보를 해당 구동장치 등에 통합적으로 출력한다.
상기 A/D모듈은 상기 소나(아날로그 소나)에 의한 아날로그 측정결과와 상기 센서 융합기에 의한 가속도와 지자기 등의 아날로그 운행상태 감지결과를 포함한 아날로그 정보를 통합적으로 디지털 변환하는 것이다.
상기 D/A모듈은 디지털 유닛에 의한 디지털 정보를 아날로그 변환하는 것이다.
상기 D/I모듈은 상기 소나(디지털 소나)에 의한 디지털 측정결과와 상기 센서 융합기에 의한 디지털 비행상태 감지결과를 포함한 디지털 정보를 통합적으로 입력받는다.
상기 D/O모듈은 상기 제어 정보처리장치의 제어신호에 따른 디지털 제어정보를 포함한 디지털 정보를 통합적으로 구동부 등에 출력하는 것이다.
상기 IOT모듈은 상기 발열체의 위치로부터 도출된 상기 수중드론의 좌표정보 및 상기 소나에서 측정된 수중표면정보에 대해서 상기 제어 정보처리장치와 IOT데이터로서 통신하는 것이다. 이러한 경우, 상기 IOT모듈은 자체 유/무선 통신모듈을 예를 들어, LoRa 모듈을 구비하여 지상의 제어 정보처리장치로 측정결과 등을 제공한다.
상기 CPU모듈은 PLC 컨트롤러의 기본적인 CPU모듈로서, 상기 각 모듈을 제어한다.
부가적으로, 이와 관련하여 부연설명을 하면 다양한 환경에서 사용되는 기존의 PLC 시스템에 대해서는 여러 기능을 가진 모듈이 필요하며, 이에 따라서 PLC 제조 업체는 사용자의 요구사항을 만족하는 다양한 모듈을 제공한다.
예를 들어, 디지털 입출력 모듈, 아날로그 입출력모듈, 통신 모듈 등 여러 기능을 가진 모듈이 PLC 시스템에 사용되고, 이러한 다양한 모듈을 통해서 사용자가 원하는 시스템이 구축된다.
예를 들어, 특허문헌 KR101778333 Y1의 기술은 이러한 기술로서 등록받은 발명이며, 구체적으로는 PLC의 출력모듈의 동작상 결함 여부를 진단하기 위한 진단모듈을 구비하는 PLC 시스템에 관한 것이다.
일실시예에 따른 전술한 IOT 모듈은 이러한 점들을 이용해서, 전술한 IOT모듈로부터 IOT 기능을 제공하는 PLC를 제공하고, 이를 통해 더 나아가 장치측면에서 쉽게 최적화된 감시와 제어 등이 이루어지도록 한 것이다.
이에 따라, 일실시예에 따른 상기한 PLC 컨트롤러는 기본적으로 각종 디지털과 아날로그 등의 센서부로부터 신호를 모두 입력받는 입력모듈과, 중앙제어부인 CPU모듈, 제어대상으로 제어신호를 출력하는 출력모듈을 포함한다.
그리고, 상기 PLC 컨트롤러는 이때 추가적으로 PLC 자체에서 IOT 기능을 수행하는 IOT모듈을 구비해서, 상기 CPU모듈이 이러한 IOT모듈에 의해 상기 입/출력 모듈과 연동하여 해당되는 제어로직으로부터 IOT 기능을 수행하도록 함으로써, 지상의 제어 정보처리장치와 통신한다.
추가적으로, 이러한 PLC 컨트롤러는 전술한 바에 더해, 상기 CPU 모듈이 상기 센서 융합기에 의해 추정된 운행상태가 미리 설정된 위험운행상태에 해당하는 경우, 상기 IOT 모듈에 의해 상기 제어 정보처리장치로 알람을 수행한다.
이하에서 도 5 내지 8을 함께 참조하여 일실시예에 따른 수중표면의 3차원 모델링 과정을 설명한다.
구체적으로는, 도 5는 열화상영상의 디스플레이 화면을 나타내는 사진이고, 도 6은 발열체위치의 디스플레이 화면을 나타내는 사진이다. 그리고, 도 7은 수중표면영상의 디스플레이 화면을 나타내는 사진이고, 도 8은 3차원모델링의 디스플레이 화면을 나타내는 사진이다.
여기에서 작업자는 상기 수중드론(100)을 조종하는 오퍼레이터와, 상기 제어서버(300)를 조작하는 엔지니어이다.
먼저, 일실시예에 따른 수중표면의 3차원 모델링 과정은 조사 대상 구역(일반적으로 직사각형)을 지정하고, 조사구역을 포함한 전체를 촬영할 수 있는 위치와 높이에 상기 적외선 열화상 카메라(200)를 설치한다.
그리고 엔지니어는 열화상영상을 확인하고, 도 5에 점선 사각형과 같이 조사구역을 지정하며, 조사구역의 가로세로 실거리를 측정한다.
또 상기 발열체위치를 위해 조사구역을 하나 이상의 격자로 구획한다. 엔지니어는 격자의 개수를 입력하면 도 6에 도시된 바와 같이 자동으로 구획되도록 한다.
상기와 같은 세팅이 끝나면, 오퍼레이터는 발열체(120)가 부착된 상기 수중드론(100)을 조사구역 내에서 운행시킨다.
오퍼레이터는 조사구역 내의 모든 영역을 스캔하기 위해 정해진 경로를 따라 상기 수중드론(100)을 운행시킬 수 있다. 예를 들어 직사각형의 조사구역 일측에서 전후방향으로 왕복하면서 좌 또는 우측으로 이동하게 함으로써 조사구역 전 영역을 수중드론이 운행되도록 할 수 있다.
이때, 상기 소나(110)에서 측정되는 수중표면 영상정보와 상기 적외선 열화상 카메라(200)에서 촬영되는 열화상 영상정보는 실시간으로 상기 제어 정보처리장치(300)로 전송되면서 동기화된다.
구체적으로는 아래와 같다.
먼저, 소나와 발열체가 구비되고 조사구역 내에서 운행하면서 수중표면정보를 측정하는 수중드론으로부터 발열체의 위치에 따른 좌표정보를 수집한다.
그리고, 상기 수중드론이 운행하는 동안 조사구역 전체를 촬영하는 적외선 열화상 카메라에서 열화상 영상정보를 수집한다.
이러한 경우, 상기 소나(110)에서 측정되는 수중표면 영상정보와 상기 적외선 열화상 카메라(200)에서 촬영되는 열화상 영상정보는 실시간으로 상기 제어 정보처리장치(300)로 전송되면서 동기화된다.
그리고 나서, 상기 제어 정보처리장치(300)로 전송된 정보들 중 열화상 영상정보는 수중드론위치인식을 거쳐 상기 수중드론(100)의 실시간 위치좌표가 도출되어 매핑으로 진행된다.
구체적으로는 아래와 같다.
먼저 상기 적외선 열화상 카메라에서 획득된 영상정보를 처리하여 발열체의 위치를 검출하고 검출된 발열체의 위치정보로부터 수중드론의 위치좌표를 연산하여 도출한다.
예를 들어, 우선적으로 상기 적외선 열화상 카메라로부터 전송된 열화상 영상정보를 저장한다.
그리고, 상기 저장된 열화상 영상정보를 화면으로 디스플레이한다.
다음, 상기 화면 중 미리 설정된 구역의 열화상 영상정보를 처리하여 기준 온도 이상인 영역을 검출하고, 검출된 영역으로부터 상기 발열체의 위치정보를 획득한다.
그리고 나서, 상기 처리된 영상정보를 온도분포에 따른 컬러화된 화면으로 디스플레이한다.
그래서, 상기 획득된 발열체의 위치정보로부터 상기 수중드론의 실제 위치좌표를 연산한다.
그리고, 상기 소나에서 측정된 수중표면 영상정보를 처리한다.
이때, 보다 빠른 시간에 수중표면 영상정보를 효율적으로 처리할 수 있도록 아래의 동작을 수행한다.
예를 들어, 상기 동작은 먼저 상기 소나에서 측정된 수중표면 영상정보 내의 객체와 미리 설정된 수중표면 메타데이터를 비교하여 현재 수중표면 메타데이터를 추출한다.
그리고 나서, 상기 추출된 현재 수중표면 메타데이터로부터 전체적인 수중표면 피처를 추출한다.
다음, 수중표면 피처로부터 수중표면 전체의 크기와 위치를 추정하는 미리 설정된 포맷을 상기 추출된 수중표면 피처에 적용해서 수중표면을 인식한다.
예컨대, 이러한 경우 상기 포맷은 다수의 상이한 수중표면 피처별로 각 피처의 전체 크기와 위치를 추정하여 조합함으로써 수중표면 전체의 크기와 위치를 추정하여 된 것이다.
그래서, 상기 인식된 결과를 사용하여 수중표면 영상정보를 처리한다.
다음, 상기 도출된 수중드론의 위치좌표와 상기 처리된 수중표면 영상정보를 매핑하여 수중표면을 3차원 이미지로 모델링한다.
다음, 상기 수중표면 영상정보는 상기 수중표면정보처리를 거친 후에 이 두 정보들을 매핑하여 조사구역의 수중표면 형상을 도 8에 나타난 것처럼 3차원의 컬러 이미지로 제공한다.
100 : 수중드론 110 : 소나
120 : 발열체 200 : 적외선 열화상 카메라
300 : 제어 정보처리장치

Claims (5)

  1. 제어부에 의한 수중표면 모델링 방법에 있어서,
    소나와 발열체가 구비되고 조사구역 내에서 운행하면서 수중표면정보를 측
    정하는 수중드론으로부터 발열체의 위치에 따른 좌표정보를 수집하는 제 1 단계;
    상기 수중드론이 운행하는 동안 조사구역 전체를 촬영하는 적외선 열화상 카메라에서 열화상 영상정보를 수집하는 제 2 단계;
    상기 적외선 열화상 카메라에서 획득된 영상정보를 처리하여 발열체의 위치
    를 검출하고 검출된 발열체의 위치정보로부터 수중드론의 위치좌표를 연산하여 도
    출하는 제 3 단계;
    상기 소나에서 측정된 수중표면 영상정보를 처리하는 제 4 단계; 및
    상기 도출된 수중드론의 위치좌표와 상기 처리된 수중표면 영상정보를 매핑하여 수중표면을 3차원 이미지로 모델링하는 제 5 단계; 를 포함하고 있으며,
    상기 제 3 단계는
    상기 적외선 열화상 카메라로부터 전송된 열화상 영상정보를 저장하는 제 3-1 단계;
    상기 저장된 열화상 영상정보를 화면으로 디스플레이하는 제 3-2 단계;
    상기 화면 중 미리 설정된 구역의 열화상 영상정보를 처리하여 기준 온도 이상인 영역을 검출하고, 검출된 영역으로부터 상기 발열체의 위치정보를 획득하는 제 3-3 단계;
    상기 처리된 영상정보를 온도분포에 따른 컬러화된 화면으로 디스플레이하는 제 3-4 단계; 및
    상기 획득된 발열체의 위치정보로부터 상기 수중드론의 실제 위치좌표를 연산하는 제 3-5 단계; 를 포함하고,

    상기 제 5 단계는
    상기 연산된 수중드론의 실제 위치좌표와 상기 처리된 수중표면 영상정보를 매핑하여 포인트 클라우드화시키는 제 5-1 단계; 및
    상기 매핑된 포인트 클라우드를 3차원 컬러의 이미지로 변환하여 출력하는 제 5-2 단계; 를 포함하는 것을 특징으로 하는 적외선 열화상 카메라의 영상처리기법과 수중드론의 데이터를 이용한 수중표면 모델링 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 제 5-1 단계는
    수중표면의 체표면에 대한 모델링 기반의 미리 설정된 3차원 모델 포맷에 의해 상기 처리된 수중표면 영상정보를 우선적으로 모델링하는 제 5-1-1 단계; 및
    상기 연산된 수중드론의 실제 위치좌표와 상기 모델링된 수중표면 영상정보를 매핑하여 포인트 클라우드화시키는 제 5-1-2 단계; 를 포함하는 것을 특징으로 하는 적외선 열화상 카메라의 영상처리기법과 수중드론의 데이터를 이용한 수중표면 모델링 방법.
  4. 청구항 1에 있어서,
    상기 제 4 단계는
    상기 소나에서 측정된 수중표면 영상정보 내의 객체와 미리 설정된 수중표면 메타데이터를 비교하여 현재 수중표면 메타데이터를 추출하는 제 4-1 단계;
    상기 추출된 현재 수중표면 메타데이터로부터 전체적인 수중표면 피처를 추출하는 제 4-2 단계;
    수중표면 피처로부터 수중표면 전체의 크기와 위치를 추정하는 미리 설정된 포맷을 상기 추출된 수중표면 피처에 적용해서 수중표면을 인식하는 제 4-3 단계; 및
    상기 인식된 결과를 사용하여 수중표면 영상정보를 처리하는 제 4-4 단계; 를 포함하는 것을 특징으로 하는 적외선 열화상 카메라의 영상처리기법과 수중드론의 데이터를 이용한 수중표면 모델링 방법.
  5. 청구항 4에 있어서,
    상기 제 4-3 단계는
    상기 포맷이 다수의 상이한 수중표면 피처별로 각 피처의 전체 크기와 위치를 추정하여 조합함으로써 수중표면 전체의 크기와 위치를 추정하여 된 것; 을 특징으로 하는 적외선 열화상 카메라의 영상처리기법과 수중드론의 데이터를 이용한 수중표면 모델링 방법.
KR1020200085201A 2020-07-10 2020-07-10 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법 KR102298643B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200085201A KR102298643B1 (ko) 2020-07-10 2020-07-10 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200085201A KR102298643B1 (ko) 2020-07-10 2020-07-10 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법

Publications (1)

Publication Number Publication Date
KR102298643B1 true KR102298643B1 (ko) 2021-09-03

Family

ID=77784858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200085201A KR102298643B1 (ko) 2020-07-10 2020-07-10 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법

Country Status (1)

Country Link
KR (1) KR102298643B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004893A (zh) * 2021-12-31 2022-02-01 视丰达科技（深圳）有限公司 一种红外热像探鱼器的探测方法及其设备
CN114326791A (zh) * 2021-12-08 2022-04-12 中铁上海工程局集团市政环保工程有限公司 一种河湖地表水下地形同步采集方法及系统
CN116090094A (zh) * 2022-12-27 2023-05-09 武汉理工大学 一种基于红外热成像的船体热模型建立方法、装置及设备
CN116592896A (zh) * 2023-07-17 2023-08-15 山东水发黄水东调工程有限公司 基于卡尔曼滤波和红外热成像的水下机器人导航定位方法
CN116090094B (zh) * 2022-12-27 2024-06-04 武汉理工大学 一种基于红外热成像的船体热模型建立方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101781757B1 (ko) * 2016-10-20 2017-09-28 포항공과대학교 산학협력단 객체 인식을 위한 수중 이미지 처리장치 및 그 방법
KR20180130460A (ko) * 2017-05-29 2018-12-07 아즈빌주식회사 열화상 처리 장치 및 오프셋량 산출 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101781757B1 (ko) * 2016-10-20 2017-09-28 포항공과대학교 산학협력단 객체 인식을 위한 수중 이미지 처리장치 및 그 방법
KR20180130460A (ko) * 2017-05-29 2018-12-07 아즈빌주식회사 열화상 처리 장치 및 오프셋량 산출 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114326791A (zh) * 2021-12-08 2022-04-12 中铁上海工程局集团市政环保工程有限公司 一种河湖地表水下地形同步采集方法及系统
CN114004893A (zh) * 2021-12-31 2022-02-01 视丰达科技（深圳）有限公司 一种红外热像探鱼器的探测方法及其设备
CN114004893B (zh) * 2021-12-31 2022-05-20 视丰达科技（深圳）有限公司 一种红外热像探鱼器的探测方法及其设备
CN116090094A (zh) * 2022-12-27 2023-05-09 武汉理工大学 一种基于红外热成像的船体热模型建立方法、装置及设备
CN116090094B (zh) * 2022-12-27 2024-06-04 武汉理工大学 一种基于红外热成像的船体热模型建立方法、装置及设备
CN116592896A (zh) * 2023-07-17 2023-08-15 山东水发黄水东调工程有限公司 基于卡尔曼滤波和红外热成像的水下机器人导航定位方法
CN116592896B (zh) * 2023-07-17 2023-09-29 山东水发黄水东调工程有限公司 基于卡尔曼滤波和红外热成像的水下机器人导航定位方法

Similar Documents

Publication Publication Date Title
KR102298643B1 (ko) 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 방법
KR102298645B1 (ko) 적외선 열화상 카메라와 수중드론을 이용한 수중표면 3차원 모델링 시스템
CN107966989A (zh) 一种机器人自主导航系统
CN110275169B (zh) 一种水下机器人近场检测感知系统
US8655022B2 (en) System and method for detecting position of underwater vehicle
CN105547635B (zh) 一种用于风洞试验的非接触式结构动力响应测量方法
CN109238240A (zh) 一种顾及地形的无人机倾斜摄影方法及其摄影系统
JP2018512687A (ja) 環境の走査及び無人航空機の追跡
CN114444158B (zh) 一种基于三维重建的地下巷道形变预警方法及系统
KR101880437B1 (ko) 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
CN110796681A (zh) 一种用于船舶协同工作的视觉定位系统及方法
CN115597659A (zh) 一种变电站智能安全管控方法
CN207965645U (zh) 一种机器人自主导航系统
RU2562368C1 (ru) Способ трёхмерного (3d) картографирования
KR102372446B1 (ko) 무인비행체와 가상 수상 기준점을 활용한 수위 측정 및 3차원 수면 공간정보 생성 방법
EP0681230A1 (en) Navigation system
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及系统
KR102263037B1 (ko) 수중 운동체와 수중 음향 탐지 장비를 이용한 수중 환경 지도 작성 시스템 및 그 방법
CN111827403A (zh) 一种水下智能清淤机器人控制系统
Chen et al. A navigation aid for blind people based on visual simultaneous localization and mapping
KR102431452B1 (ko) 수중드론을 이용한 수중 탐사시스템
Hidalgo ORBSLAM2 and point cloud processing towards autonomous underwater robot navigation
CN110232301A (zh) 一种人体的检测方法、装置及存储介质
Chen et al. Station keeping of an autonomous surface vehicle in surf zone
y Alvarado et al. A coastal distributed autonomous sensor network

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant