KR20220107446A - 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템 - Google Patents

라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템 Download PDF

Info

Publication number
KR20220107446A
KR20220107446A KR1020210010094A KR20210010094A KR20220107446A KR 20220107446 A KR20220107446 A KR 20220107446A KR 1020210010094 A KR1020210010094 A KR 1020210010094A KR 20210010094 A KR20210010094 A KR 20210010094A KR 20220107446 A KR20220107446 A KR 20220107446A
Authority
KR
South Korea
Prior art keywords
information
wave
lidar
machine learning
predicted
Prior art date
Application number
KR1020210010094A
Other languages
English (en)
Inventor
최제은
이재승
김인일
Original Assignee
대우조선해양 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대우조선해양 주식회사 filed Critical 대우조선해양 주식회사
Priority to KR1020210010094A priority Critical patent/KR20220107446A/ko
Publication of KR20220107446A publication Critical patent/KR20220107446A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
    • G01C13/002—Measuring the movement of open water
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Hydrology & Water Resources (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은, 해상이미지를 제공하는 라이다(110)와, GPS(120)와, 합성곱 신경망에 의해 파랑정보를 예측하는 파랑정보 예측부(130)와, 위치정보와 파랑정보를 저장하는 저장부(140)를 포함하여, 실운항중인 선박에서 라이다를 이용하여 촬영된 해상이미지를 분석하여 파고와 파주기와 파향의 파랑정보를 실시간으로 제공할 수 있는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템을 개시한다.

Description

라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템{SYSTEM FOR PREDICTING WAVE INFORMATION THROUGH MACHINE LEARNING OF SEA LEVEL IMAGE USING LIDAR}
본 발명은 실운항중인 선박의 라이다에 의해 촬영된 해상이미지를 분석하고 기계학습하여 파고와 파주기와 파향의 파랑정보를 실시간으로 제공할 수 있는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템에 관한 것이다.
주지하는 바와 같이, 해상에서의 파압과 파속과 파향의 파고정보는 선박속도성능과 선박운영비(OPEX;OPerating EXpenditure)와 직결되는데, 이를 위해 레이더를 이용하여 정확한 파고정보를 계측하는 것이 요구된다.
예컨대, 운항해역의 조류나 파도가 선박의 운항방향과 반대방향으로 발생하게 되면, 부가저항이 발생하는 만큼 많은 연료를 소모하여 항해하여야 하므로, 조류 또는 파도가 선박의 운항방향과 정반대가 되지 않도록 선박의 운항을 제어할 필요가 있다.
이에, 해상환경을 추정할 수 있는 시스템에 적용될 수 있는 다양한 알고리즘이 개발되고 있으며, 이와 관련하여, 물리기반 파고예측모델(SWAN:Simulating Waves Nearshores)을 예로 들수 있는데, 물리기반 파고예측모델은 'Spectral-action balance equation'을 지배방정식으로 정의해 해상의 물리적 성질을 기반으로 파고를 예측하는 제3세대 수치 파랑 모델로서, 지배방정식을 기반으로 해상의 물리적 성질을 통해 우변의 파랑 정보를 예측할 수 있으나, 계산 복잡도가 높은 방정식을 통해 파랑 정보를 추정하므로 실시간 예측이 어렵다는 한계를 가지고 있다.
또한, 해상이미지의 RGB 채널 중 R채널의 픽셀정보를 기반으로 5개의 물리적 성질을 추출한 후, 이를 기반으로 신경망 모델을 통해 파고를 예측할 수 있지만, 해상이미지 전체의 전반적인 정보를 반영하지 못하고, 해상이미지의 픽셀정보 자체가 아닌 이를 통해 추출한 물리적 성질을 기반으로 파고를 예측한다는 한계를 가지고 있다.
또한, 카메라와 같은 영상센서 혹은 영상 촬영수단의 경우 빛이 존재하지 않는 어두운 환경이나 빛이 매우 강한 환경 모두에서 정확한 데이터를 취득하기 어려운 문제점이 있다. 다시 말해, 카메라와 같은 영상센서 혹은 영상 촬영수단의 경우 태양의 위치, 주야간, 기상환경, 계절, 시간 등 다양한 주변환경의 변수에 따라 상대적으로 영향을 많이 받는 문제가 있다.
대한민국 등록특허 제10-0795497호(공고일 2008.01.17.) 대한민국 등록특허 제10-1921448호(공고일 2018.11.22.) 대한민국 등록특허 제10-1945441호(공고일 2019.02.07.)
본 발명의 사상이 이루고자 하는 기술적 과제는, 실운항중인 선박의 라이다에 의해 촬영된 해상이미지를 분석하고 기계학습하여 파고와 파주기와 파향의 파랑정보를 실시간으로 제공할 수 있는, 해상이미지의 기계학습을 통한 파랑정보 추정시스템을 제공하는 데 있다.
전술한 목적을 달성하고자, 본 발명은, 운항중인 선박의 주변 해역을 촬영하여 해상이미지를 제공하는 라이다; 상기 선박의 위치정보를 제공하는 GPS; 상기 라이다로부터 제공된 해상이미지로부터 합성곱 신경망을 이용하여 파랑정보를 예측하는 파랑정보 예측부; 및 상기 위치정보와 상기 파랑정보를 매칭시켜 저장하는 저장부;를 포함하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템을 제공한다.
여기서, 상기 합성곱 신경망은 CNN 모델일 수 있다.
이때, 상기 합성곱 신경망은, 상기 해상이미지를 특정 스트라이드로 N×N 필터와 합성곱 연산을 수행하여 제1특성맵을 추출하는 합성곱 계층과, 활성화시켜 활성화맵을 추출하는 활성화 함수와, 상기 활성화맵을 서브샘플링하여 제2특성맵을 추출하는 풀링 계층과, 최종 계층블록의 상기 제2특성맵으로부터 1차원 어레이를 추출하는 플랫튼 레이어와, 상기 1차원 어레이로부터 파랑정보를 예측하는 FC 레이어로 구성되고, 상기 합성곱 계층과 상기 활성화 함수와 상기 풀링 계층으로 이루어진 계층블록이 적어도 하나 이상으로 이루어진 VGGNet 모델일 수 있다.
또한, 상기 플랫튼 레이어는 상기 제2특성맵을 GAP 합성곱 연산을 수행하여 주요정보로 구성되는 1차원 어레이를 추출할 수 있다.
또한, 상기 플랫튼 레이어는 상기 제2특성맵을 GMP 합성곱 연산을 수행하여 주요정보로 구성되는 1차원 어레이를 추출할 수 있다.
또한, 상기 플랫튼 레이어는 상기 제2특성맵을 1×1 합성곱 연산을 수행하여 주요정보로 구성되는 1차원 어레이를 추출할 수 있다.
또한, 상기 FC 레이어로부터 예측된 파랑정보를 상기 계층블록의 첫번째 합성곱 계층으로 역전파시켜 가중치 또는 바이어스를 가변시켜, 상기 예측된 파랑정보와 목표 파랑정보 사이의 정확도를 높이도록 상기 합성곱 신경망의 학습단계를 반복 수행하도록 할 수 있다.
또한, 상기 합성곱 신경망의 단일모델의 학습단계 종료시마다, 체크포인트를 각각 저장하고, 검증정확도가 높은 상위 k개의 체크포인트에 해당하는 열거형 예측된 파랑정보에 과반수 투표 앙상블을 수행하여 최종 클래스를 예측하는 체크포인트 앙상블 모델을 적용할 수 있다.
또한, 상기 파랑정보 예측부는 ConvLSTM과 C3D를 조합하여 유의파고정보를 예측할 수 있다.
이때, MAE 및 MAPE에 의해 예측된 상기 유의파고정보의 정확도를 평가할 수 있다.
또한, 예측된 상기 유의파고정보로부터 어텐션 메커니즘을 적용하여 파주기를 예측할 수 있다.
이때, MAE 및 MAPE에 의해 예측된 상기 파주기의 정확도를 평가할 수 있다.
또한, 예측된 상기 유의파고정보로부터 360°방향분류를 통해 파향정보를 예측할 수 있다.
이때, MAE에 의해 예측된 상기 파향정보의 정확도를 평가할 수 있다.
또한, 상기 저장부의 파랑정보와 현재 운항상태에서의 선속 및 운항방향의 운항조건을 분석하여 부가저항을 산출하고, 상기 부가저항을 최소화하면서 운항스케줄을 충족하는 최적의 운항지침정보를 제공하는 분석부를 더 포함할 수 있다.
또한, 상기 라이다는 3D 플래쉬 라이다일 수 있다.
본 발명에 의하면, 실운항중인 선박의 라이다에 의해 촬영된 해상이미지를 분석하고 기계학습하여 파고와 파주기와 파향의 파랑정보를 실시간으로 제공하도록 하고, 높은 정밀도와 정확도로 예측된 파랑정보를 경제운항 솔루션에 활용하여 실운항 효율을 높이고 연료저감모델 구축에 활용하도록 할 수 있는 효과가 있다.
또한, 라이다를 이용함으로써 일출과 일몰 시 및 주야간에도 역광 등의 주변 환경의 영향이 적은 해상이미지를 획득할 수 있어 운항해역의 날씨와 같은 주변환경의 영향을 덜 받으면서, 파랑정보 예측의 정확도를 높이도록 할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 의한 해상이미지의 기계학습을 통한 파랑정보 추정시스템의 개략적인 구성도를 도시한 것이다.
도 2는 도 1의 해상이미지의 기계학습을 통한 파랑정보 추정시스템이 적용된 선박을 예시한 것이다.
도 3 및 도 4는 도 1의 해상이미지의 기계학습을 통한 파랑정보 추정시스템에 의한 파랑정보 예측과정을 각각 예시한 것이다.
도 5는 도 1의 해상이미지의 기계학습을 통한 파랑정보 추정시스템에 의한 유의파고 예측결과를 그래프로 예시한 것이다.
도 6은 도 1의 해상이미지의 기계학습을 통한 파랑정보 추정시스템에 의한 예측파향의 MAE 평가지표를 그래프로 예시한 것이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
도 1 내지 도 6을 참조하면, 본 발명의 실시예에 의한 해상이미지의 기계학습을 통한 파랑정보 추정시스템은, 전체적으로, 해상을 촬영하는 라이다(110)과, GPS(120)와, 합성곱 신경망에 의해 파랑정보를 예측하는 파랑정보 예측부(130)와, 위치정보와 파랑정보를 저장하는 저장부(140)를 포함하여, 실운항중인 선박에서 라이다를 이용하여 촬영된 해상이미지를 분석하여 파고와 파주기와 파향의 파랑정보를 실시간으로 제공하는 것을 요지로 한다.
우선, 라이다(110)(LiDAR; Light Detection And Ranging)는, 운항해역을 실운항중인 선박의 주변 해역을 주기적으로 촬영하여 해상이미지를 제공한다. 라이다는 펄스 레이저와 같은 광원을 조사하는 송신광학계와 해상에 반사하여 회귀하는 광원을 수신하는 수신광학계로 구성되고, 레이저를 주사하여 그 반사와 흡수를 통해 해상에 대한 해상이미지 데이터를 획득하는 것으로, 도 2에 도시한 바와 같이, 운항 중인 선박의 선체 상단, 예컨대 데크하우스(휠하우스)의 상단에 구비되어 주변 해역을 해상이미지를 획득할 수 있다. 다만, 이에 한정되는 것은 아니며, 해상이미지를 획득함에 있어 장애물이 없는 위치면 무방하며, 바람직하게는 콤파스 데크(compass deck), 선수, 휠하우스의 좌현측 및/또는 우현측 등이 될 수 있다.
여기서, 라이다(110)는 3D 플래쉬 라이다(3D Flash LiDAR) 등을 통해 운항 방향 전방이외에 다양한 방향의 해상이미지를 획득할 수 있으며, 이때 해상이미지 데이터는 디지털정보일 수 있다.
다음, GPS(120)는, 도 1 및 도 2에 도시한 바와 같이, 선박의 위치정보를 수신하여 저장부(140)로 제공하여 저장한다.
다음, 파랑정보 예측부(130)는 기계학습에 의해 복수의 해상이미지의 선택된 특정영역의 시간에 따른 변화를 확인하여 파랑정보, 즉, 파고를 추출하고 추출된 파고로부터 파주기와 파향을 예측한다.
다시 말해, 파랑정보 예측부(130)는 해상이미지의 디지털정보로부터 합성곱 신경망(CNN:Convolutional Neutral Network)을 이용하여 유의 파랑정보(유의파고)를 예측한다. 참고로 유의파고는 한 지점을 연속적으로 통과하는 파를 관측하였을 때 임의의 시간 또는 개수 중에서 높은 파고 순으로 3분의 1까지 파고를 합산하여 평균한 값으로 정의된다.
여기서, 합성곱 신경망으로는 CNN 모델일 수 있다. 예를 들면, VGGNet, GoogLeNet, ResNet 및 DenseNet 중 어느 하나일 수 있으나 이에 한정되는 것은 아니다.
구체적으로, 해상이미지의 기계학습을 통한 파랑정보 추정시스템에 적용되는 합성곱 신경망으로는 기본 모델을 구조변경한 VGGNet 모델을 예로 들수 있는데, 구조변경된 VGGNet 모델은, 도 3에 도시된 바와 같이, 해상이미지의 디지털정보를 특정 스트라이드(stride)로 N×N 필터와 합성곱 연산(convolution)을 수행하여 제1특성맵(feature map)을 추출하는 합성곱 계층(convolutional layer)(CONV)과, 활성화시켜 활성화맵을 추출하는 활성화 함수(activation function)(ReLU)와, 활성화맵을 서브샘플링 또는 다운샘플링하여 제2특성맵을 추출하는 풀링 계층(pooling layer)과, 최종 계층블록의 제2특성맵으로부터 1차원 어레이를 추출하는 플랫튼 레이어(flatten layer)와, 1차원 어레이로부터 파랑정보를 예측하는 FC 레이어(Fully-Connected layer)로 구성되고, 합성곱 계층과 활성화 함수와 풀링 계층으로 이루어진 계층블록이 적어도 하나 이상 순차적으로 이루어질 수 있다.
여기서, 합성곱 계층(CONV)은 커널인 필터에 의해 해상이미지의 디지털정보, 즉 0 내지 255 사이의 값으로 구성된 n×n 행렬과 스트라이드값에 따라 합성곱 연산을 수행하여 해상이미지의 특성을 추출하고, 활성화 함수(ReLU)로는 ReLU 함수 (Rectified Linear Unit)가 적용되고, 풀링 계층(POOLING)으로는 최대 풀링(max pooling) 또는 평균 풀링(average pooling)이 적용될 수 있다.
또한, 플랫튼 레이어는 제2특성맵을 GAP(Global Average Pooling) 합성곱 연산을 수행하여 주요정보로 구성되는 1차원 어레이를 추출하거나, 제2특성맵을 GMP(Global Max Pooling) 합성곱 연산을 수행하여 주요정보로 구성되는 1차원 어레이를 추출하거나, 제2특성맵을 1×1 합성곱 연산(1×1 Conv)을 수행하여 주요정보로 구성되는 1차원 어레이를 추출할 수 있다.
또한, FC 레이어로부터 예측된 파랑정보를 계층블록의 첫번째 합성곱 계층으로 역전파시켜(back-propagation) 가중치(w) 또는 바이어스(b)를 가변시켜, FC 레이어로부터 예측된 파랑정보와 목표 파랑정보, 즉 실제 운항해역의 파랑정보(유의파고) 사이의 정확도를 높이도록 합성곱 신경망의 학습단계를 반복 수행하여 학습시킬 수 있다.
한편, 도 4에 도시된 바와 같이, 해상이미지의 기계학습을 통한 파랑정보 추정시스템에 적용되는 합성곱 신경망으로는 기본 VGGNet 모델에 체크포인트 앙상블을 적용해 VGGNet 모델의 성능을 향상시킬 수 있는데, 합성곱 신경망의 단일모델의 학습단계(epoch 1 내지 epoch T) 종료시마다, 체크포인트를 각각 저장하고, 검증정확도(validation Accuracy)가 높은 상위 k개의 체크포인트에 해당하는 열거형 예측된 파랑정보에 과반수 투표(majority voting) 앙상블을 수행하여 최종 클래스를 예측하는 체크포인트 앙상블 모델을 적용할 수 있다. 여기서, 클래스는 열거형 목표값 집합, 즉 실체 파랑정보 집합 중 하나를 의미한다.
참고로, 앞서 언급한 CNN 구조변경한 VGGNet 모델과 체크포인트 앙상블 중 어느 하나의 모델을 적용하는 것이 바람직한데, 즉 다음의 [표 1]에 제시된 바와 같이, 앞서 언급한 CNN 구조변경한 VGGNet 모델과 체크포인트 앙상블 중 어느 하나의 모델을 적용하는 것이 성능을 향상시킬 수 있지만, 두가지 모델을 동시에 적용하는 것은 성능을 향상시키지 못한다.
CNN
구조변경		 체크포인트
앙상블적용		 F1-score Recall Precision BCR Acc time
X X 0.7448 0.7688 0.7224 0.7603 0.7596 0.63h
O X 0.7540 0.7900 0.7210 0.7660 0.7645 0.96h
X O(K=20,T=50) 0.7547 0.8083 0.7078 0.7628 0.7602 8.02h
X O(K=20,T=100) 0.7547 0.8083 0.7078 0.7628 0.7602 15.86h
X O(K=50,T=100) 0.7547 0.8083 0.7078 0.7628 0.7602 15.86h
O O(K=20,T=50) 0.7445 0.9249 0.6230 0.7001 0.7102 7.45h
O O(K=20,T=100) 0.7445 0.9249 0.6230 0.7001 0.7102 14.58h
O O(K=50,T=100) 0.7361 0.9334 0.6076 0.6789 0.6945 14.58h
여기서, K는 앙상블개수이고, T는 전체개수를 의미하고, Recall은 재현율이고, Precision은 정밀도이고, F1스코어는 재현율과 정밀도의 조화평균이고, BCR은 균형 정확도(Balanced Correction Rate)이고, Acc는 단순 정확도(Accuracy)이다.[표 1]에서와 같이, CNN 구조변경한 VGGNet 모델과 체크포인트 앙상블 중 어느 하나의 모델을 적용하는 경우에, 기본 VGGNet 모델에 비해 F1스코어와 재현율과 균형 정확도와 단순 정확도가 높은 성능 경과가 도출되고, 두가지 모델을 동시에 적용하는 경우에는 기본 VGGNet 모델에 비해 F1스코어와 정밀도와 균형 정확도와 단순 정확도가 낮은 성능 결과가 도출된다.
한편, 예측된 파랑정보 즉, 유의파고정보와, 이러한 유의파고정보로부터 파주기와 파향정보를 예측하고, 평가지표를 적용할 수 있다.
즉, ConvLSTM(Convolutional long short term memory)과 C3D(Convolutional 3D Network)를 조합한 구조를 통해, 도 5에 도시된 바와 같이 실제 파고와의 높은 정밀도 및 정확도로 유의파고정보를 예측하고, MAE(Mean Absolute Error,평균절대오차) 및 MAPE(Mean Absolute Percentage Error,평균절대비오차)에 의해 유의파고의 정확도를 평가할 수 있고, 예측된 유의파고정보로부터 어텐션 메커니즘을 적용하여 파주기를 예측하고, MAE 및 MAPE에 의해 파주기의 정확도를 평가할 수 있다.
예컨대, 앞선 유의파고와 파주기의 예측결과를 평가하는 지표는 아래의 [수학식 1,2]에 의해 산출될 수 있다.
Figure pat00001
Figure pat00002
여기서, Ai는 목표값인 실제 유의파고 및 파주기이고, Pi는 예측값인 예측 유의파고 및 파주기이다.
또한, 예측된 파랑정보로부터 360°방향분류를 통해 파향정보를 예측하고, 다음의 [수학식 3]에 의한 MAE에 의해 파향의 정확도를 평가할 수 있다.
Figure pat00003
여기서, Ai는 목표값인 실제 파향이고, Pi는 예측값인 예측 파향이다.
여기서, 도 6을 참고하여 예시하면, 실제 파향이 10°이고, 앞선 VGGNet 모델에 의한 예측 파향이 330°이면, 수학식 3에 의해 40의 MAE를 산출할 수 있다.
다음, 저장부(140)는 GPS(120)로부터의 위치정보와 예측된 파랑정보를 매칭시켜 저장하고, 위치정보와 파랑정보를 외부와 통신하여 실시간 공유하도록 하고 라이다(110)로부터 제공되는 해상이미지와 연동하여 디스플레이(150)를 통해 표시할 수도 있다.
또한, 분석부(160)를 통해, 저장부(140)의 파랑정보와 현재 운항상태에서의 선속 및 운항방향의 운항조건을 분석하여 부가저항을 산출하고, 부가저항을 최소화하면서 운항스케줄을 충족하는 최적의 운항지침정보를 제공하여 경제운항을 수행하도록 할 수 있다.
한편, 앞서 언급한 VGGNet, GoogLeNet, ResNet 및 DenseNet의 CNN 모델을 기반으로 해상이미지로부터 파랑정보를 추출하는 테스트를 수행하였는데, 그 예측 결과의 평가지표는 다음의 [표 2]와 같다.
F1-score Recall Precision BCR Acc Time
VGGNet 0.7283 0.7799 0.6831 0.7369 0.7344 1.21h
GoogLeNet 0.7470 0.7840 0.7133 0.7593 0.7576 0.93h
ResNet 0.7311 0.7546 0.7090 0.7472 0.7466 2.72h
DenseNet 0.6825 0.7406 0.6329 0.6881 0.6855 4.78h
위 4가지 평가지표로부터 GoogLeNet 모델이 성능이 가장 높고, VGGNet 모델이 학습시간대비 높은 성능을 보이는 것으로 나타났다.따라서, 전술한 바와 같은 해상이미지의 기계학습을 통한 파랑정보 추정시스템에 의해서, 실운항중인 선박의 라이다에 의해 촬영된 해상이미지를 분석하고 기계학습하여 파고와 파주기와 파향의 파랑정보를 실시간으로 제공하도록 하고, 높은 정밀도와 정확도로 예측된 파랑정보를 경제운항 솔루션에 활용하여 실운항 효율을 높이고 연료저감모델 구축에 활용하도록 할 수 있다.
이상, 본 발명을 도면에 도시된 실시예를 참조하여 설명하였다. 그러나, 본 발명은 이에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명과 균등한 범위에 속하는 다양한 변형예 또는 다른 실시예가 가능하다. 따라서, 본 발명의 진정한 보호범위는 이어지는 특허청구범위에 의해 정해져야 할 것이다.
110 : 라이다 120 : GPS
130 : 파랑정보 예측부 140 : 저장부
150 : 디스플레이 160 : 분석부

Claims (16)

  1. 운항중인 선박의 주변 해역을 촬영하여 해상이미지를 제공하는 라이다;
    상기 선박의 위치정보를 제공하는 GPS;
    상기 라이다로부터 제공된 해상이미지로부터 합성곱 신경망을 이용하여 파랑정보를 예측하는 파랑정보 예측부; 및
    상기 위치정보와 상기 파랑정보를 매칭시켜 저장하는 저장부;를 포함하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  2. 제 1 항에 있어서,
    상기 합성곱 신경망은 CNN 모델인 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  3. 제 2 항에 있어서,
    상기 합성곱 신경망은, 상기 해상이미지를 특정 스트라이드로 N×N 필터와 합성곱 연산을 수행하여 제1특성맵을 추출하는 합성곱 계층과, 활성화시켜 활성화맵을 추출하는 활성화 함수와, 상기 활성화맵을 서브샘플링하여 제2특성맵을 추출하는 풀링 계층과, 최종 계층블록의 상기 제2특성맵으로부터 1차원 어레이를 추출하는 플랫튼 레이어와, 상기 1차원 어레이로부터 파랑정보를 예측하는 FC 레이어로 구성되고, 상기 합성곱 계층과 상기 활성화 함수와 상기 풀링 계층으로 이루어진 계층블록이 적어도 하나 이상으로 이루어진 VGGNet 모델인 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  4. 제 3 항에 있어서,
    상기 플랫튼 레이어는 상기 제2특성맵을 GAP 합성곱 연산을 수행하여 주요정보로 구성되는 1차원 어레이를 추출하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  5. 제 3 항에 있어서,
    상기 플랫튼 레이어는 상기 제2특성맵을 GMP 합성곱 연산을 수행하여 주요정보로 구성되는 1차원 어레이를 추출하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  6. 제 3 항에 있어서,
    상기 플랫튼 레이어는 상기 제2특성맵을 1×1 합성곱 연산을 수행하여 주요정보로 구성되는 1차원 어레이를 추출하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  7. 제 3 항에 있어서,
    상기 FC 레이어로부터 예측된 파랑정보를 상기 계층블록의 첫번째 합성곱 계층으로 역전파시켜 가중치 또는 바이어스를 가변시켜, 상기 예측된 파랑정보와 목표 파랑정보 사이의 정확도를 높이도록 상기 합성곱 신경망의 학습단계를 반복 수행하도록 하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  8. 제 1 항에 있어서,
    상기 합성곱 신경망의 단일모델의 학습단계 종료시마다, 체크포인트를 각각 저장하고, 검증정확도가 높은 상위 k개의 체크포인트에 해당하는 열거형 예측된 파랑정보에 과반수 투표 앙상블을 수행하여 최종 클래스를 예측하는 체크포인트 앙상블 모델을 적용하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  9. 제 3 항에 있어서,
    상기 파랑정보 예측부는 ConvLSTM과 C3D를 조합하여 유의파고정보를 예측하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  10. 제 9 항에 있어서,
    MAE 및 MAPE에 의해 예측된 상기 유의파고정보의 정확도를 평가하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  11. 제 9 항에 있어서,
    예측된 상기 유의파고정보로부터 어텐션 메커니즘을 적용하여 파주기를 예측하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  12. 제 11 항에 있어서,
    MAE 및 MAPE에 의해 예측된 상기 파주기의 정확도를 평가하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  13. 제 9 항에 있어서,
    예측된 상기 유의파고정보로부터 360°방향분류를 통해 파향정보를 예측하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  14. 제 13 항에 있어서,
    MAE에 의해 예측된 상기 파향정보의 정확도를 평가하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  15. 제 1 항에 있어서,
    상기 저장부의 파랑정보와 현재 운항상태에서의 선속 및 운항방향의 운항조건을 분석하여 부가저항을 산출하고, 상기 부가저항을 최소화하면서 운항스케줄을 충족하는 최적의 운항지침정보를 제공하는 분석부를 더 포함하는 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
  16. 제 1 항에 있어서,
    상기 라이다는 3D 플래쉬 라이다인 것을 특징으로 하는, 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템.
KR1020210010094A 2021-01-25 2021-01-25 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템 KR20220107446A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210010094A KR20220107446A (ko) 2021-01-25 2021-01-25 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210010094A KR20220107446A (ko) 2021-01-25 2021-01-25 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템

Publications (1)

Publication Number Publication Date
KR20220107446A true KR20220107446A (ko) 2022-08-02

Family

ID=82846019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210010094A KR20220107446A (ko) 2021-01-25 2021-01-25 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템

Country Status (1)

Country Link
KR (1) KR20220107446A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115983141A (zh) * 2023-03-21 2023-04-18 国家海洋局北海预报中心((国家海洋局青岛海洋预报台)(国家海洋局青岛海洋环境监测中心站)) 一种基于深度学习反演海浪波高的方法、介质及系统
CN117818850A (zh) * 2024-03-05 2024-04-05 青岛哈尔滨工程大学创新发展中心 一种面向舰船实海航行的性能评估及辅助决策系统及方法
CN117875194A (zh) * 2024-03-13 2024-04-12 青岛哈尔滨工程大学创新发展中心 基于少量实海观测数据的区域海浪场智能构建方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100795497B1 (ko) 2006-07-21 2008-01-17 삼성중공업 주식회사 레이더를 이용한 파랑 계측 시스템 및 방법
KR101921448B1 (ko) 2018-04-16 2018-11-22 한국해양과학기술원 자유항주 모형선의 상대파고 계측에 의한 입사 규칙파 및 상하동요 추정 시스템 및 방법
KR101945441B1 (ko) 2017-05-25 2019-02-07 삼성중공업 주식회사 실시간 파랑 계측 장치 및 이를 포함하는 선박의 동적하중 모니터링 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100795497B1 (ko) 2006-07-21 2008-01-17 삼성중공업 주식회사 레이더를 이용한 파랑 계측 시스템 및 방법
KR101945441B1 (ko) 2017-05-25 2019-02-07 삼성중공업 주식회사 실시간 파랑 계측 장치 및 이를 포함하는 선박의 동적하중 모니터링 시스템
KR101921448B1 (ko) 2018-04-16 2018-11-22 한국해양과학기술원 자유항주 모형선의 상대파고 계측에 의한 입사 규칙파 및 상하동요 추정 시스템 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115983141A (zh) * 2023-03-21 2023-04-18 国家海洋局北海预报中心((国家海洋局青岛海洋预报台)(国家海洋局青岛海洋环境监测中心站)) 一种基于深度学习反演海浪波高的方法、介质及系统
CN117818850A (zh) * 2024-03-05 2024-04-05 青岛哈尔滨工程大学创新发展中心 一种面向舰船实海航行的性能评估及辅助决策系统及方法
CN117818850B (zh) * 2024-03-05 2024-05-24 青岛哈尔滨工程大学创新发展中心 一种面向舰船实海航行的性能评估及辅助决策系统及方法
CN117875194A (zh) * 2024-03-13 2024-04-12 青岛哈尔滨工程大学创新发展中心 基于少量实海观测数据的区域海浪场智能构建方法及系统
CN117875194B (zh) * 2024-03-13 2024-05-28 青岛哈尔滨工程大学创新发展中心 基于少量实海观测数据的区域海浪场智能构建方法及系统

Similar Documents

Publication Publication Date Title
US10936907B2 (en) Training a deep learning system for maritime applications
US10782691B2 (en) Deep learning and intelligent sensing system integration
KR20220107446A (ko) 라이다를 이용한 해상이미지의 기계학습을 통한 파랑정보 추정시스템
KR102604969B1 (ko) 이미지 세그멘테이션을 이용한 자율 운항 방법
CN108764470B (zh) 一种人工神经网络运算的处理方法
CN109001725B (zh) 一种海上无人艇海上多目标跟踪方法
KR20210007767A (ko) 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템
US10895802B1 (en) Deep learning and intelligent sensing systems for port operations
CN110163207A (zh) 一种基于Mask-RCNN船舶目标定位方法及存储设备
CN116187398B (zh) 一种无人机海洋图像检测用轻量神经网络搭建方法及设备
CN107731011A (zh) 一种港口泊船监测方法、系统及电子设备
CN112766329A (zh) 一种多无人艇协同拦截控制方法及系统
CN116109942A (zh) 一种可见光遥感图像舰船目标检测方法
KR20210150776A (ko) 해상이미지의 기계학습을 통한 파랑정보 추정시스템
CN114596335A (zh) 一种无人艇目标检测追踪方法及系统
CN115080903A (zh) 一种基于智能优化算法的海上多目标多模态匹配融合方法
CN108764465B (zh) 一种进行神经网络运算的处理装置
CN113723371A (zh) 无人船清洁路线规划方法、装置、计算机设备及存储介质
CN116704688A (zh) 海洋浮标被动防御方法及系统
CN108647781B (zh) 一种人工智能芯片处理装置
KR20210150790A (ko) 인식률을 높인 해상이미지의 기계학습을 통한 파랑정보 추정시스템
CN116503737B (zh) 基于空间光学图像的船舶检测方法和装置
Sambolek et al. Person Detection and Geolocation Estimation in UAV Aerial Images: An Experimental Approach.
CN116908836B (zh) 一种融合多传感器信息的usv环境感知方法
Sannapu et al. Classification of marine vessels using deep learning models based on SAR images

Legal Events

Date Code Title Description
A201 Request for examination