KR20220071033A - 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법 - Google Patents

해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20220071033A
KR20220071033A KR1020200158225A KR20200158225A KR20220071033A KR 20220071033 A KR20220071033 A KR 20220071033A KR 1020200158225 A KR1020200158225 A KR 1020200158225A KR 20200158225 A KR20200158225 A KR 20200158225A KR 20220071033 A KR20220071033 A KR 20220071033A
Authority
KR
South Korea
Prior art keywords
sea level
image
wave
calculation time
reducing
Prior art date
Application number
KR1020200158225A
Other languages
English (en)
Other versions
KR102435983B1 (ko
KR102435983B9 (ko
Inventor
유제선
손동휘
박숭환
정진용
민인기
Original Assignee
한국해양과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양과학기술원 filed Critical 한국해양과학기술원
Priority to KR1020200158225A priority Critical patent/KR102435983B1/ko
Publication of KR20220071033A publication Critical patent/KR20220071033A/ko
Application granted granted Critical
Publication of KR102435983B1 publication Critical patent/KR102435983B1/ko
Publication of KR102435983B9 publication Critical patent/KR102435983B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
    • G01C13/002—Measuring the movement of open water
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Hydrology & Water Resources (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 AI 기술을 적용하여 계산시간을 단축하고, 실시간으로 파랑관측결과를 분석할 수 있도록 한 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법에 관한 것으로, 서로 다른 위치에서 스테레오 영상을 수집하는 제 1,2 이미지 수집부;제 1 이미지 수집부 및 제 2 이미지 수집부 사이의 상대적인 거리차 및 회전각을 계산하고 이로부터 기하학적으로 3차원 입체감을 포함하는 좌표체계를 도출하는 스테레오 분석부;3D 복원을 위하여 임의로 추출된 픽셀들의 3차원 해수면 값만 저장하는 3D 복원부;딥러닝 기술을 활용하여 학습하는 학습부 및 실시간으로 3차원 해수면을 복원하고 그에 대한 결과 분석을 하는 3D 해수면 복원부;를 포함하는 것이다.

Description

해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법{System and Method for Shortening the Calculation Time of Wave Anlaysis from Sea Level Stereo images}
본 발명은 파랑 관측 분석 시스템에 관한 것으로, 구체적으로 AI 기술을 적용하여 계산시간을 단축하고, 실시간으로 파랑관측결과를 분석할 수 있도록 한 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법에 관한 것이다.
파랑은 해상의 바람에 의해 발생하는 풍파와 먼 바다에서 발생한 풍파가 연안으로 전파되는 너울을 모두 일컫는다.
그런데 파랑은 태풍, 이상고파, 월파, 해일 등과 같은 연안재해 현상으로 우리에게 막대한 인명피해와 재산피해를 입히기도 한다.
이러한 연안재해 현상을 예측하고 신속하게 대응하기 위해서는, 파랑을 정확하게 관측하고 예측할 수 있는 기술이 고도화될 필요가 있다.
파랑 관측 스테레오 영상시스템은 두 대의 카메라로 해수면을 촬영하여 해상의 파랑을 3차원적으로 계산하고 복원할 수 있는 도구이다. 하지만, 현재 스테레오 영상분석기술에 있어서 고해상도의 영상이미지가 입력자료로 활용될 경우, 계산시간이 많이 소요되는 단점이 존재한다.
따라서, 해수면 스테레오 영상분석을 위한 계산시간을 단축하고, 실시간으로도 파랑관측결과를 분석할 수 있는 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2016-0038287호 대한민국 등록특허 제10-2016977호 대한민국 공개특허 제10-2019-0080587호
본 발명은 종래 기술의 파랑 관측 분석 시스템의 문제점을 해결하기 위한 것으로, AI 기술을 적용하여 계산시간을 단축하고, 실시간으로 파랑관측결과를 분석할 수 있도록 한 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 스테레오 영상의 모든 픽셀 값을 분석하는 것이 아니라 무작위로 추출한 픽셀을 이용하고 스테레오 분석 방법에 딥러닝(CNN) 기술을 적용하여 실시간으로 3차원 해수면을 복원할 수 있도록 한 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 레이어에서 특정 영역 중 최대값을 샘플링하여 다음 레이어로 넘기는 풀링(Max Pooling) 과정을 적용하여 전체 특징의 수(데이터 크기)를 줄여 계산시간을 단축할 수 있도록 한 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 배열 격자 사이즈, 격자 당 크기, 파랑 조건(유의파고, 첨두파주기, 스프레딩, 파향), 프레임 수를 포함하는 파라미터들을 이용하여 AI 모델 네트워크(CNN) 훈련(training)을 하여 분석 정확도 및 소요 시간을 줄일 수 있도록 한 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 AI기술을 적용하여 실시간 연속으로 계산하여 3차원 해수면 분석결과를 도출할 수 있도록 하여 풍파와 너울파, 그리고 연안과 먼 바다 등 파랑의 규모와 공간에 제약받지 않고 광범위하게 적용될 수 있도록 한 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치는 서로 다른 위치에서 스테레오 영상을 수집하는 제 1,2 이미지 수집부;제 1 이미지 수집부 및 제 2 이미지 수집부 사이의 상대적인 거리차 및 회전각을 계산하고 이로부터 기하학적으로 3차원 입체감을 포함하는 좌표체계를 도출하는 스테레오 분석부;3D 복원을 위하여 임의로 추출된 픽셀들의 3차원 해수면 값만 저장하는 3D 복원부;딥러닝 기술을 활용하여 학습하는 학습부 및 실시간으로 3차원 해수면을 복원하고 그에 대한 결과 분석을 하는 3D 해수면 복원부;를 포함하는 것을 특징으로 한다.
여기서, 제 1 이미지 수집부에서 수집된 이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출하는 제 1 특징점 추출부와, 제 2 이미지 수집부에서 수집된 이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출하는 제 2 특징점 추출부를 더 포함하는 것을 특징으로 한다.
그리고 제 1,2 특징점 추출부에서의 임의점을 추출하는 방법으로 추출된 특징점은 스테레오 분석부에서 매칭점으로 사용하는 것을 특징으로 한다.
그리고 스테레오 영상분석 시 소요되는 계산시간을 단축하기 위해 CNN(Convolutional Neural Networks) 학습법을 이용하고, CNN 네트워크 모델은 입력 레이어가 256×256×2 텐서(tensor)로 구성되고, 첫 번째 텐서는 해수면 값을 포함하지 않는 텐서로 값 0으로 구성되고, 두 번째 텐서는 유효 데이터 해수면 값이 존재하는 텐서로 값 1로 구성되는 것을 특징으로 한다.
그리고 출력 레이어는 256×256×1 텐서(tensor)로 구성되고, 중간 과정의 레이어는 총 5개의 희소 컨볼루션(Sparse Convolution)으로 구성되고, 각각 시그모이드 활성함수(Sigmoid activation)를 포함하고, 각 희소 컨볼루션 레이어는 16-채널 텐서를 생산하고 다음 레이어로 전달하여 최종 희소 컨볼루션은 1×1×16 커널 결과를 도출하는 것을 특징으로 한다.
그리고 희소 컨볼루션은 2-채널 입력자료로 구성되고, 두 번째 텐서에서 유효 데이터 해수면 값이 존재하는 픽셀들은 첫 번째 텐서의 픽셀들에게 유효한 값들을 전달하고, 풀링(Max Pooling) 과정을 거쳐 다음 희소 컨볼루션으로 전달되는 것을 특징으로 한다.
그리고 풀링(Max Pooling) 과정은, 전체 특징의 수를 줄여 계산시간을 단축하기 위해, 레이어에서 특정 영역 중 최대값을 샘플링하여 다음 레이어로 넘기는 것을 특징으로 한다.
그리고 풀링(Max Pooling)을 위한 AI 모델 네트워크(CNN) 훈련(training)은 배열 격자 사이즈와, 격자 당 크기와, 유의파고, 첨두파주기, 스프레딩, 파향 항목을 포함하는 파랑 조건과, 프레임 수를 포함하는 파라미터들을 이용하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 방법은 두 대의 카메라를 이용하여 스테레오 영상을 수집하는 단계;이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출하는 단계;두 카메라 사이의 상대적인 거리차 및 회전각을 계산하고 이로부터 기하학적으로 3차원 입체감을 포함하는 좌표체계를 도출하는 단계;임의로 추출된 픽셀들에 대한 3D 복원을 위하여 영상이미지의 모든 픽셀을 이용하지 않고, 무작위로 추출한 픽셀의 3차원 해수면 값만 저장하는 단계;딥러닝 기술을 활용하여 실시간으로 3차원 해수면을 복원하고 그에 대한 결과 분석하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 스테레오 영상분석 시 소요되는 계산시간을 단축하기 위해 CNN(Convolutional Neural Networks) 학습법을 이용하고, CNN 네트워크 모델의 희소 컨볼루션은 2-채널 입력자료로 구성되고, 두 번째 텐서에서 유효 데이터 해수면 값이 존재하는 픽셀들은 첫 번째 텐서의 픽셀들에게 유효한 값들을 전달하고, 풀링(Max Pooling) 과정을 거쳐 다음 희소 컨볼루션으로 전달되는 것을 특징으로 한다.
그리고 풀링(Max Pooling) 과정은, 전체 특징의 수를 줄여 계산시간을 단축하기 위해, 레이어에서 특정 영역 중 최대값을 샘플링하여 다음 레이어로 넘기는 것을 특징으로 한다.
그리고 풀링(Max Pooling)을 위한 AI 모델 네트워크(CNN) 훈련(training)은 배열 격자 사이즈와, 격자 당 크기와, 유의파고, 첨두파주기, 스프레딩, 파향 항목을 포함하는 파랑 조건과, 프레임 수를 포함하는 파라미터들을 이용하는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법은 다음과 같은 효과가 있다.
첫째, AI 기술을 적용하여 계산시간을 단축하고, 실시간으로 파랑관측결과를 분석할 수 있도록 한다.
둘째, 스테레오 영상의 모든 픽셀 값을 분석하는 것이 아니라 무작위로 추출한 픽셀을 이용하고 스테레오 분석 방법에 딥러닝(CNN) 기술을 적용하여 실시간으로 3차원 해수면을 복원할 수 있도록 한다.
셋째, 레이어에서 특정 영역 중 최대값을 샘플링하여 다음 레이어로 넘기는 풀링(Max Pooling) 과정을 적용하여 전체 특징의 수(데이터 크기)를 줄여 계산시간을 단축할 수 있도록 한다.
넷째, 배열 격자 사이즈, 격자 당 크기, 파랑 조건(유의파고, 첨두파주기, 스프레딩, 파향), 프레임 수를 포함하는 파라미터들을 이용하여 AI 모델 네트워크(CNN) 훈련(training)을 하여 분석 정확도 및 소요 시간을 줄일 수 있도록 한다.
다섯째, AI기술을 적용하여 실시간 연속으로 계산하여 3차원 해수면 분석결과를 도출할 수 있도록 하여 풍파와 너울파, 그리고 연안과 먼 바다 등 파랑의 규모와 공간에 제약받지 않고 광범위하게 적용될 수 있도록 한다.
도 1은 스테레오 영상시스템의 개념도
도 2는 본 발명에 따른 딥러닝 기술을 이용한 실시간 3차원 해수면 복원 기술의 개념을 나타낸 구성도
도 3은 본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치의 구성도
도 4는 본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 방법을 나타낸 플로우 차트
도 5는 파랑 관측을 위한 스테레오 영상이미지 수집의 일 예를 나타낸 구성도
도 6은 스테레오 영상 시스템의 개념을 나타낸 구성도
도 7은 본 발명에 따른 특징점 추출 과정의 일 예를 나타낸 구성도
도 8은 CNN을 이용한 이미지 복원 예시도
도 9는 CNN을 이용한 3차원 해수면 복원 예시도
도 10은 CNN 네트워크 모델 개략도
도 11은 희소 컨볼루션(Sparse Convolution) 레이어의 세부 구성도
도 12는 풀링(Max Pooling) 과정의 예를 나타낸 구성도
도 13은 AI 모델 네트워크 훈련에 사용된 자료의 일 예를 나타낸 구성도
도 14는 일반적인 스테레오 분석기법 결과(좌)와 AI기반 실시간 분석결과(우)의 비교 구성도
도 15는 연안 너울파 발생시 영상 AI 기술을 적용하여 실시간으로 3차원 해수면을 계산한 결과 구성도
이하, 본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 스테레오 영상시스템의 개념도이다.
그리고 도 2는 본 발명에 따른 딥러닝 기술을 이용한 실시간 3차원 해수면 복원 기술의 개념을 나타낸 구성도이다.
본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법은 AI 기술을 적용하여 계산시간을 단축하고, 실시간으로 파랑관측결과를 분석할 수 있도록 한 것이다.
이를 위하여 본 발명은 스테레오 영상의 모든 픽셀 값을 분석하는 것이 아니라 무작위로 추출한 픽셀을 이용하고 스테레오 분석 방법에 딥러닝(CNN) 기술을 적용하여 실시간으로 3차원 해수면을 복원할 수 있도록 하는 구성을 포함할 수 있다.
본 발명은 레이어에서 특정 영역 중 최대값을 샘플링하여 다음 레이어로 넘기는 풀링(Max Pooling) 과정을 적용하여 전체 특징의 수(데이터 크기)를 줄여 계산시간을 단축할 수 있도록 하는 구성을 포함할 수 있다.
본 발명은 배열 격자 사이즈, 격자 당 크기, 파랑 조건(유의파고, 첨두파주기, 스프레딩, 파향), 프레임 수를 포함하는 파라미터들을 이용하여 AI 모델 네트워크(CNN) 훈련(training)을 하여 분석 정확도 및 소요 시간을 줄이는 구성을 포함할 수 있다.
본 발명에 적용되는 스테레오 영상시스템의 스테레오 영상 분석기술은 두 대의 카메라로부터 시간 동기화하여 촬영된 두 장의 이미지를 이용하여 3차원 입체감을 구현하는 방법이다.
도 1에서와 같이, 스테레오 영상분석에서 중요한 점은 좌측 (또는 우측) 이미지의 어느 한 특정 지점을 설정한 후 우측 (또는 좌측) 이미지에서도 해당 지점을 찾는 대응 과정이다.
이 과정을 통하여, 두 카메라 사이의 상대적인 거리차 및 회전각이 계산되고 이로부터 기하학적 3차원 입체감을 표현하는 좌표체계가 도출된다.
하지만 고해상도 스테레오 영상에 있어서 기존 3차원 분석기법을 적용할 경우, 계산시간이 많이 걸리는 단점이 있다. 이러한 한계를 보완하기 위해 본 발명은 스테레오 분석 방법에 딥러닝(CNN) 기술을 적용하여 실시간으로 3차원 해수면을 복원할 수 있도록 한다.
이 방법은 스테레오 영상의 모든 픽셀 값을 분석하는 것이 아니라 무작위로 추출한 픽셀을 이용하여 스테레오 분석에 활용하는 방법이다.
도 2는 본 발명에 따른 딥러닝 기술을 이용한 실시간 3차원 해수면 복원 기술의 개념을 나타낸 구성도이다.
본 발명에 따른 딥러닝 기술을 이용한 실시간 3차원 해수면 복원은 크게 이미지 수집 단계와, 스테레오 분석 및 임의점 3D 복원 단계와, 실시간 해수면 복원 단계를 포함한다.
도 2의 ①이미지 수집 단계는 두 대의 카메라를 이용하여 스테레오 영상을 수집하는 단계이다.
②스테레오 분석 단계에서는 두 카메라 사이의 상대적인 거리차 및 회전각을 계산하고 이로부터 기하학적으로 3차원 입체감을 포함하는 좌표체계를 도출한다.
이때 계산시간 단축을 위하여 이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출하여 사용한다.
즉, 도 2의 ②에서 임의로 추출된 픽셀들에 대한 3D 복원 단계는 영상이미지의 모든 픽셀을 이용하지 않고, 무작위로 추출한 픽셀의 3차원 해수면 값만 저장한다.
추후 이 결과를 기반으로 딥러닝(CNN) 기술을 적용한 3차원 복원을 통해 기존 스테레오 분석 대비 계산 소요시간을 단축시킬 수 있다.
도 2의 ③실시간 3차원 해수면 복원 단계에서는 딥러닝(CNN) 기술을 활용하여 실시간으로 3차원 해수면을 복원하고 그에 대한 결과 분석이 이루어질 수 있다.
도 3은 본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치의 구성도이다.
본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치는 서로 다른 위치에서 스테레오 영상을 수집하는 제 1 이미지 수집부(31) 및 제 2 이미지 수집부(32)와, 제 1 이미지 수집부(31)에서 수집된 이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출하는 제 1 특징점 추출부(33)와, 제 2 이미지 수집부(32)에서 수집된 이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출하는 제 2 특징점 추출부(34)와, 제 1 이미지 수집부(31) 및 제 2 이미지 수집부(32) 사이의 상대적인 거리차 및 회전각을 계산하고 이로부터 기하학적으로 3차원 입체감을 포함하는 좌표체계를 도출하는 스테레오 분석부(35)와, 3D 복원을 위하여 임의로 추출된 픽셀들의 3차원 해수면 값만 저장하는 3D 복원부(36)와, 딥러닝(CNN) 기술을 활용하여 학습하는 학습부(37) 및 실시간으로 3차원 해수면을 복원하고 그에 대한 결과 분석을 하는 3D 해수면 복원부(38)를 포함한다.
본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 방법을 구체적으로 설명하면 다음과 같다.
도 4는 본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 방법을 나타낸 플로우 차트이다.
먼저, 두 대의 카메라를 이용하여 스테레오 영상을 수집한다.(S401)
이어, 이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출한다.(S402)
그리고 두 카메라 사이의 상대적인 거리차 및 회전각을 계산하고 이로부터 기하학적으로 3차원 입체감을 포함하는 좌표체계를 도출한다.(S403)
이어, 임의로 추출된 픽셀들에 대한 3D 복원을 위하여 영상이미지의 모든 픽셀을 이용하지 않고, 무작위로 추출한 픽셀의 3차원 해수면 값만 저장한다.(S404)
그리고 딥러닝(CNN) 기술을 활용하여 실시간으로 3차원 해수면을 복원하고 그에 대한 결과 분석한다.(S405)
도 5는 파랑 관측을 위한 스테레오 영상이미지 수집의 일 예를 나타낸 구성도이다.
스테레오 영상 분석기술은 두 대의 카메라로 촬영한 영상 이미지를 이용하여 3차원 입체감을 구현하는 방법으로 도 5는 두 대의 카메라로 파랑 영상 이미지를 수집하고 있는 예시이다.
도 6은 스테레오 영상 시스템의 개념을 나타낸 구성도이다.
수집된 두 영상이미지를 이용하여, 두 카메라 사이의 상대적인 거리 및 회전각을 계산하고 이로부터 기하학적 3차원 입체감을 포함하는 좌표체계를 도출할 수 있다.
도 6은 두 카메라 상호간의 관계식을 이용하여 기하학적 3차원 결과로 변환할 수 있는 과정을 보여주는 것이다.
도 7은 본 발명에 따른 특징점 추출 과정의 일 예를 나타낸 구성도이다.
도 2의 ②과정에서 임의점을 추출하는 방법으로 특징점 추출을 통해서 매칭점으로 사용한다.
도 8은 CNN을 이용한 이미지 복원 예시도이다.
본 발명에서는 스테레오 영상분석 시 소요되는 계산시간을 단축하기 위해 AI 기법 중 CNN(Convolutional Neural Networks) 학습법을 이용한다.
본 발명은 CNN 학습법을 이용하여 전체 이미지에서 부분적으로 정보가 존재하지 않더라도 이를 복원하여 다시 전체적으로 보완할 수 있다.
도 9는 CNN을 이용한 3차원 해수면 복원 예시도이다.
도 2의 ③과정에서는 파랑 관측을 위한 스테레오 영상이미지 분석 시, 스테레오 영상의 모든 픽셀값이 존재하지 않더라도, 무작위로 추출한 픽셀만을 이용하여 3차원 해수면을 복원해낼 수 있다.
즉, 도 8에 제시된 바와 같이 CNN을 이용하여 이미지를 복원할 수 있는 것처럼, 무작위로 일부 추출한 3차원 해수면을 CNN 딥러닝 기술을 이용하여 도 9에서와 같이 모든 픽셀을 복원할 수 있다.
도 10은 CNN 네트워크 모델 개략도이다.
본 발명에서 사용하는 CNN 학습법은 도 10에서와 같은 네트워크 모델을 적용할 수 있다.
입력 레이어는, 예를 들어, 256×256×2 텐서(tensor)로 구성할 수 있다.
여기에서 첫 번째(흰색) 텐서는 데이터(해수면 값)을 포함하지 않는 텐서로 값 0으로 구성되고, 두 번째(노란색) 텐서는 유효 데이터(해수면 값)가 존재하는 텐서로 값 1로 구성될 수 있다.
출력 레이어는, 예를 들어, 256×256×1 텐서(tensor)로 구성할 수 있다.
중간 과정의 레이어는 총 5개의 희소 컨볼루션(Sparse Convolution)으로 구성할 수 있으며, 각각 시그모이드 활성함수(Sigmoid activation)를 포함할 수 있다.
각 희소 컨볼루션 레이어는 16-채널 텐서를 생산하고 다음 레이어로 전달할 수 있다. 최종 희소 컨볼루션은 1×1×16 커널 결과를 도출할 수 있다.
도 11은 희소 컨볼루션(Sparse Convolution) 레이어의 세부 구성도이다.
희소 컨볼루션은 2-채널 입력자료(도 10의 흰색 텐서와 노란색 텐서)로 구성할 수 있다.
먼저, 두 번째(노란색) 텐서에서 유효 데이터(해수면 값)가 존재하는 픽셀들은 첫 번째(흰색) 텐서의 픽셀들에게 유효한 값들을 전달하고, 풀링(Max Pooling) 과정을 거쳐 다음 희소 컨볼루션으로 전달될 수 있다.
여기에서 풀링(Max Pooling) 과정이란, 레이어에서 특정 영역 중 최대값을 샘플링하여 다음 레이어로 넘기는 것으로, 주로 전체 특징의 수(데이터 크기)를 줄여 계산시간을 단축하기 위해 사용된다.
도 12는 풀링(Max Pooling) 과정의 예를 나타낸 구성도이다.
AI 모델 네트워크(CNN) 훈련(training)은 배열 격자 사이즈, 격자 당 크기, 파랑 조건(유의파고, 첨두파주기, 스프레딩, 파향), 프레임 수와 같은 파라미터들을 이용할 수 있다.
표 1은 AI 모델 네트워크(CNN) 훈련(training)에 사용된 파라미터 예시이며, 그 수치 및 범위는 아래 표 내용에 한정되지 아니한다.
Figure pat00001
도 13은 AI 모델 네트워크 훈련에 사용된 자료의 일 예를 나타낸 구성도이다.
도 13은 데이터 밀도(d)에 따른 해수면 높이 결과를 나타낸다.
각 행(row)의 가장 오른쪽 열(column)에 나타난 그림은 참값(Ground Truth)에 해당하는 3차원 해수면 자료이다.
도 14는 일반적인 스테레오 분석기법 결과(좌)와 AI기반 실시간 분석결과(우)의 비교 구성도이다.
도 14는 AI 기반 실시간 연안 파랑 3차원 해수면 복원계산 결과를 나타낸 것으로, 기존 스테레오 분석기법을 적용한 3차원 해수면 계산결과(좌)와 AI기술을 적용하여 실시간으로 계산한 3차원 해수면 계산 결과(우)의 예이다.
기존 스테레오 분석기법과 AI기술을 적용한 기법의 결과를 서로 비교하였을 때 서로 유사한 결과가 도출되는 것을 확인할 수 있고, AI 기술을 적용함으로써 기존 분석기법보다 계산 소요시간이 단축되는 효과를 구현한다.
도 15는 연안 너울파 발생시 영상 AI 기술을 적용하여 실시간으로 3차원 해수면을 계산한 결과 구성도이다.
본 발명에 적용된 실시간 파랑 관측 방법은 풍파와 너울파, 그리고 연안과 먼 바다 등 파랑의 규모와 공간에 제약 받지 않고 광범위하게 적용될 수 있음을 알 수 있다.
이상에서 설명한 본 발명에 따른 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법은 AI 기술을 적용하여 계산시간을 단축하고, 실시간으로 파랑관측결과를 분석할 수 있도록 한 것이다.
본 발명은 AI기술을 적용하여 실시간 연속으로 계산하여 3차원 해수면 분석결과를 도출할 수 있도록 하여 풍파와 너울파, 그리고 연안과 먼 바다 등 파랑의 규모와 공간에 제약받지 않고 광범위하게 적용될 수 있도록 한다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
31. 제 1 이미지 수집부 32. 제 2 이미지 수집부
33. 제 1 특징점 추출부 34. 제 2 특징점 추출부
35. 스테레오 분석부 36. 3D 복원부
37. 학습부 38. 3D 해수면 복원부

Claims (12)

  1. 서로 다른 위치에서 스테레오 영상을 수집하는 제 1,2 이미지 수집부;
    제 1 이미지 수집부 및 제 2 이미지 수집부 사이의 상대적인 거리차 및 회전각을 계산하고 이로부터 기하학적으로 3차원 입체감을 포함하는 좌표체계를 도출하는 스테레오 분석부;
    3D 복원을 위하여 임의로 추출된 픽셀들의 3차원 해수면 값만 저장하는 3D 복원부;
    딥러닝 기술을 활용하여 학습하는 학습부 및 실시간으로 3차원 해수면을 복원하고 그에 대한 결과 분석을 하는 3D 해수면 복원부;를 포함하는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치.
  2. 제 1 항에 있어서, 제 1 이미지 수집부에서 수집된 이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출하는 제 1 특징점 추출부와,
    제 2 이미지 수집부에서 수집된 이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출하는 제 2 특징점 추출부를 더 포함하는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치.
  3. 제 2 항에 있어서, 제 1,2 특징점 추출부에서의 임의점을 추출하는 방법으로 추출된 특징점은 스테레오 분석부에서 매칭점으로 사용하는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치.
  4. 제 1 항에 있어서, 스테레오 영상분석 시 소요되는 계산시간을 단축하기 위해 CNN(Convolutional Neural Networks) 학습법을 이용하고,
    CNN 네트워크 모델은 입력 레이어가 256×256×2 텐서(tensor)로 구성되고,
    첫 번째 텐서는 해수면 값을 포함하지 않는 텐서로 값 0으로 구성되고, 두 번째 텐서는 유효 데이터 해수면 값이 존재하는 텐서로 값 1로 구성되는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치.
  5. 제 4 항에 있어서, 출력 레이어는 256×256×1 텐서(tensor)로 구성되고,
    중간 과정의 레이어는 총 5개의 희소 컨볼루션(Sparse Convolution)으로 구성되고, 각각 시그모이드 활성함수(Sigmoid activation)를 포함하고,
    각 희소 컨볼루션 레이어는 16-채널 텐서를 생산하고 다음 레이어로 전달하여 최종 희소 컨볼루션은 1×1×16 커널 결과를 도출하는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치.
  6. 제 5 항에 있어서, 희소 컨볼루션은 2-채널 입력자료로 구성되고,
    두 번째 텐서에서 유효 데이터 해수면 값이 존재하는 픽셀들은 첫 번째 텐서의 픽셀들에게 유효한 값들을 전달하고, 풀링(Max Pooling) 과정을 거쳐 다음 희소 컨볼루션으로 전달되는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치.
  7. 제 6 항에 있어서, 풀링(Max Pooling) 과정은,
    전체 특징의 수를 줄여 계산시간을 단축하기 위해, 레이어에서 특정 영역 중 최대값을 샘플링하여 다음 레이어로 넘기는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치.
  8. 제 6 항에 있어서, 풀링(Max Pooling)을 위한 AI 모델 네트워크(CNN) 훈련(training)은 배열 격자 사이즈와, 격자 당 크기와, 유의파고, 첨두파주기, 스프레딩, 파향 항목을 포함하는 파랑 조건과, 프레임 수를 포함하는 파라미터들을 이용하는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치.
  9. 두 대의 카메라를 이용하여 스테레오 영상을 수집하는 단계;
    이미지의 모든 픽셀을 사용하지 않고, 임의의 점들을 일부 추출하는 단계;
    두 카메라 사이의 상대적인 거리차 및 회전각을 계산하고 이로부터 기하학적으로 3차원 입체감을 포함하는 좌표체계를 도출하는 단계;
    임의로 추출된 픽셀들에 대한 3D 복원을 위하여 영상이미지의 모든 픽셀을 이용하지 않고, 무작위로 추출한 픽셀의 3차원 해수면 값만 저장하는 단계;
    딥러닝 기술을 활용하여 실시간으로 3차원 해수면을 복원하고 그에 대한 결과 분석하는 단계;를 포함하는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 방법.
  10. 제 9 항에 있어서, 스테레오 영상분석 시 소요되는 계산시간을 단축하기 위해 CNN(Convolutional Neural Networks) 학습법을 이용하고,
    CNN 네트워크 모델의 희소 컨볼루션은 2-채널 입력자료로 구성되고,
    두 번째 텐서에서 유효 데이터 해수면 값이 존재하는 픽셀들은 첫 번째 텐서의 픽셀들에게 유효한 값들을 전달하고, 풀링(Max Pooling) 과정을 거쳐 다음 희소 컨볼루션으로 전달되는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 방법.
  11. 제 10 항에 있어서, 풀링(Max Pooling) 과정은,
    전체 특징의 수를 줄여 계산시간을 단축하기 위해, 레이어에서 특정 영역 중 최대값을 샘플링하여 다음 레이어로 넘기는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 방법.
  12. 제 10 항에 있어서, 풀링(Max Pooling)을 위한 AI 모델 네트워크(CNN) 훈련(training)은 배열 격자 사이즈와, 격자 당 크기와, 유의파고, 첨두파주기, 스프레딩, 파향 항목을 포함하는 파랑 조건과, 프레임 수를 포함하는 파라미터들을 이용하는 것을 특징으로 하는 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 방법.
KR1020200158225A 2020-11-23 2020-11-23 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법 KR102435983B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200158225A KR102435983B1 (ko) 2020-11-23 2020-11-23 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200158225A KR102435983B1 (ko) 2020-11-23 2020-11-23 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법

Publications (3)

Publication Number Publication Date
KR20220071033A true KR20220071033A (ko) 2022-05-31
KR102435983B1 KR102435983B1 (ko) 2022-08-24
KR102435983B9 KR102435983B9 (ko) 2023-04-12

Family

ID=81780705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200158225A KR102435983B1 (ko) 2020-11-23 2020-11-23 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102435983B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003154993A (ja) * 2001-11-16 2003-05-27 Mitsubishi Heavy Ind Ltd 浮体の制御装置、浮体の制御システム、波特性推定方法、及び浮体の制御方法
KR20160038287A (ko) 2014-09-30 2016-04-07 한국전력공사 해수면 데이터 분석을 통한 파랑변수 산출 방법
KR101767645B1 (ko) * 2016-09-26 2017-08-14 주식회사 지오스토리 한국형 수심측량장비의 데이터 전처리를 위한 비행설계 소프트웨어가 탑재된 비행장치
KR101853237B1 (ko) * 2017-11-29 2018-04-27 세종대학교산학협력단 딥 러닝을 이용한 3차원 기하 디노이징 방법 및 그 장치
KR20190080587A (ko) 2017-12-28 2019-07-08 인천대학교 산학협력단 해수면의 변화를 실시간으로 예측하는 시스템 및 방법
KR102016977B1 (ko) 2019-04-01 2019-09-02 (주)지오시스템리서치 해수면 온도 영상 복원 시스템 및 방법
US20200342574A1 (en) * 2019-04-25 2020-10-29 Robert Bosch Gmbh Method for Generating Digital Image Pairs as Training Data for Neural Networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003154993A (ja) * 2001-11-16 2003-05-27 Mitsubishi Heavy Ind Ltd 浮体の制御装置、浮体の制御システム、波特性推定方法、及び浮体の制御方法
KR20160038287A (ko) 2014-09-30 2016-04-07 한국전력공사 해수면 데이터 분석을 통한 파랑변수 산출 방법
KR101767645B1 (ko) * 2016-09-26 2017-08-14 주식회사 지오스토리 한국형 수심측량장비의 데이터 전처리를 위한 비행설계 소프트웨어가 탑재된 비행장치
KR101853237B1 (ko) * 2017-11-29 2018-04-27 세종대학교산학협력단 딥 러닝을 이용한 3차원 기하 디노이징 방법 및 그 장치
KR20190080587A (ko) 2017-12-28 2019-07-08 인천대학교 산학협력단 해수면의 변화를 실시간으로 예측하는 시스템 및 방법
KR102016977B1 (ko) 2019-04-01 2019-09-02 (주)지오시스템리서치 해수면 온도 영상 복원 시스템 및 방법
US20200342574A1 (en) * 2019-04-25 2020-10-29 Robert Bosch Gmbh Method for Generating Digital Image Pairs as Training Data for Neural Networks

Also Published As

Publication number Publication date
KR102435983B1 (ko) 2022-08-24
KR102435983B9 (ko) 2023-04-12

Similar Documents

Publication Publication Date Title
CN110969124B (zh) 基于轻量级多分支网络的二维人体姿态估计方法及系统
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN111814661A (zh) 基于残差-循环神经网络的人体行为识别方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN112288647A (zh) 一种基于门控卷积的遥感影像云和阴影修复的方法
CN114419449B (zh) 一种自注意力多尺度特征融合的遥感图像语义分割方法
CN113139489B (zh) 基于背景提取和多尺度融合网络的人群计数方法及系统
CN114187520B (zh) 一种建筑物提取模型的构建及应用方法
CN112232328A (zh) 基于卷积神经网络的遥感影像建筑区提取方法、装置
CN112926475B (zh) 一种人体三维关键点提取方法
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
CN116862847A (zh) 一种红外图像电力设备交互式分割方法和系统
CN115188066A (zh) 基于协同注意力和多尺度融合的运动目标检测系统及方法
CN116309150B (zh) 一种sar辅助下光学遥感影像修复方法
KR102435983B1 (ko) 해수면 스테레오 영상으로부터 파랑 분석 계산시간 단축을 위한 장치 및 방법
CN116563103A (zh) 一种基于自适应神经网络的遥感图像时空融合方法
CN116091793A (zh) 一种基于光流融合的光场显著性检测方法
CN115953736A (zh) 一种基于视频监控与深度神经网络的人群密度估计方法
CN115147727A (zh) 一种遥感影像不透水面提取方法及系统
CN115100681A (zh) 一种衣着识别方法、系统、介质及设备
CN104318532B (zh) 一种结合压缩感知的二次图像融合方法
CN117557775B (zh) 基于红外和可见光融合的变电站电力设备检测方法及系统
CN114120129B (zh) 基于无人机图像和深度学习的滑坡滑移面的三维识别方法
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]