KR20230007666A - 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템 - Google Patents
서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템 Download PDFInfo
- Publication number
- KR20230007666A KR20230007666A KR1020210088286A KR20210088286A KR20230007666A KR 20230007666 A KR20230007666 A KR 20230007666A KR 1020210088286 A KR1020210088286 A KR 1020210088286A KR 20210088286 A KR20210088286 A KR 20210088286A KR 20230007666 A KR20230007666 A KR 20230007666A
- Authority
- KR
- South Korea
- Prior art keywords
- source
- target
- sea level
- wave
- domain adaptation
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 230000006978 adaptation Effects 0.000 title claims abstract description 104
- 230000000007 visual effect Effects 0.000 title claims abstract description 55
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title description 22
- 230000014509 gene expression Effects 0.000 claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 67
- 230000011218 segmentation Effects 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 abstract 1
- 238000005259 measurement Methods 0.000 description 59
- 238000003709 image segmentation Methods 0.000 description 27
- 238000012549 training Methods 0.000 description 26
- 238000002474 experimental method Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 17
- 230000001788 irregular Effects 0.000 description 17
- 238000000926 separation method Methods 0.000 description 16
- 238000012360 testing method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 206010047571 Visual impairment Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013434 data augmentation Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012573 2D experiment Methods 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
- G01C13/002—Measuring the movement of open water
- G01C13/004—Measuring the movement of open water vertical movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Hydrology & Water Resources (AREA)
- Manufacturing & Machinery (AREA)
- Image Analysis (AREA)
Abstract
서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템이 개시된다. 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법은, 소스 모델에서 측정된 데이터로부터 소스 피쳐를 추출하는 단계; 소스 피쳐로부터 실측 해수면 높이를 획득하는 단계; 타겟 모델로부터 타겟 피쳐를 추출하는 단계; 동일한 대상 영역에 대해서 동일한 시각에 획득된 소스 모델의 실측 해수면 높이인 소스 피쳐와 타겟 모델로부터 추출된 타겟 피쳐 사이의 공통 표현 공간을 구성하여, 실측 해수면 높이와 타겟 피쳐를 매칭시키는 도메인 적응 단계; 및 실측 해수면 높이 데이터와 공통 표현 공간을 사용하여, 타겟 피쳐로부터 대상 영역의 해수면 높이를 추정하는 단계를 포함한다. 특히, 공통 표현 공간은 동일한 대상 영역에 대해 소스 모델의 실측 해수면 높이와 타겟 피쳐를 동기화시킴으로써 구성되고, 해수면 높이 추정은 소스 모델의 피쳐 레벨에서 수행되며, 소스 모델은, 부이, 관측 타워, 관측 조사선에 설치된 파랑 관측 설비, 대상 영역에 대한 측면 비디오 이미지, 대상 영역에 대한 수치 모델 중 적어도 하나를 포함한다. 본 발명에 의하여, 비디오 이미지-기반 원격 감지를 하면 연속적이고 지역에 기반한, 고분해능 공간-시간적 모니터링이 가능해진다.
Description
본 발명은 해수면의 높이를 추정하기 위한 기술에 관한 것이고, 특히 웨이브 플룸에서 촬영된 비디오 이미지로부터 해수면 높이를 정량화하기 위한, 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법에 관한 것이다.
해양에서 파랑(波浪, ocean wave)은 풍속의 영향을 받아 액체 상태인 바다 표면에 생기는 표면 장력파와 안정을 찾고자 하는 중력파의 상호작용으로 일어나는 일종의 물결이다. 이러한 파랑은 바람의 세기에 따라 그 높낮이가 달라지게 되는데, 이러한 파랑의 높이를 높이(波高, wave height)라 한다. 보다 명확하게, 높이는 물결의 골에서 마루까지의 높이를 일컫는다.
해양 환경에서 발생할 수 있는 높이, 파향, 진폭, 쓰나미 등의 현상을 분석하기 위해서는 높이 데이터를 정확하게 측정하는 것이 필요하다. 특히, 이러한 높이는 일반적으로 해상 운송 수단 및 해양 구조물 등에 있어서 안정성을 좌우하는 핵심적인 요소이다. 즉, 해수면 높이는 해안 비디오 이미지를 사용하여 추출되어야 하는 가장 기본적인 물리량이다.
따라서, 높이를 측정할 수 있도록 시뮬레이션 환경을 제공하고 해양의 높이 높낮이를 정확히 측정할 수 있도록 지원하는 해양 높이 측정 장치가 제시되어 왔다.
이러한 방법 중에서 원격 감지 및 무인 시스템을 사용하는 해안 관측은, 해안 지역에 장기 설비들을 설치하고 프로세스-기반의 종합적인 연구를 수행함으로써, 해안선, 연안쇄파 지역, 및 내대륙붕과 같은 연안에서의 파도 프로세스가 모델링될 수 있게 한다.
대한민국 특허 공개 번호 제 10-2017-0139468 (발명의 명칭 "해양 높이 측정 검교정 장치", 출원일 2017년 11월 29일)은, 물에 뜨는 재질로 이루어지고 내부에는 움직임을 감지하는 센서들이 내장되며 상단에는 제1 고정부를 하단에는 제2 고정부를 포함하는 부이와, 상기 부이를 수직으로 운동하게 하는 수직 운동계와, 상기 수직 운동계에 결합되고 상기 부이를 회전 운동하게 하는 회전 운동계, 및 상기 부이의 수직축에 대하여 비스듬하게 운동하게 하는 틸트 운동계를 포함하는 검교정 장치를 개시한다.
또한, 대한민국 특허 공개 번호 제 10-2017-0080417 (발명의 명칭 "항해용 레이더를 이용한 높이 측정 시스템 및 측정 방법", 출원일 2016년 7월 12일)은 운항 중인 선박의 일정한 범위 내의 물체를 확인하여 해상의 장애물, 다른 선박 및 해안을 관측하고 관측된 레이더 영상 데이터를 제공하는 레이더; 및 상기 레이더로부터 제공된 레이더 영상 데이터의 음영 영역을 추출하여 추출된 음영 영역에 기초하여 높이를 연산하는 높이 측정 서버;를 포함하되, 상기 높이 측정 서버는, 상기 레이더로부터 상기 레이더 영상 데이터가 입력되는 입력부와, 상기 레이더 영상 데이터를 극 좌표계에서 직교 좌표계로 변환하는 좌표 변환부와, 상기 레이더 영상 데이터의 음영 영역을 추출하기 위해 기준 값이 되는 임계 값을 산출한 후, 산출된 임계값을 이용하여 상기 레이더 영상 데이터의 음영 영역을 추출하는 음영 추출부와, 상기 음영 추출부에서 추출된 레이더 영상 데이터에 스미스 함수를 적용하여 높이를 연산하는 높이 연산부를 포함하는 기술을 개시한다.
그러나, 종래 기술에 따르면 측정용 부이나 레이더 자체의 고장으로 인해 측정 정확도가 떨어질 수 있고, 특히 해양에 직접 측정용 기기를 설치할 경우 유지보수에 많은 비용과 인력이 소요되게 된다. 따라서, 카메라를 통한 비전 기술을 사용하여 높이를 추정하기 위한 기술이 필요하다.
특히, 해안에 설치된 카메라 및 비디오 시스템과 같은 육지-설치 원격 감지 디바이스를 사용하여, 극단 이벤트의 경우에도 높은 시간적 분해능을 가지는 개략적인 표면 및 세부표면 관측을 오랜 기간 동안 수행할 수 있다. 이것은 해안선 위치를 측정하고 세부표면 형태를 추론하기 위해서, 그리고 서브-에어리얼 수심 측량(bathymetry)에 추가하여 내부 연안쇄파(surf) 및 쇄파(swash)의 파도를 측정하기 위해서 사용되어 왔다.
또한, 현장 실험 및 실험실 연구들도 연안 현상들의 조사의 하나의 성분이 될 것이다. 스케일링 법칙을 만족시키는 웨이브 플룸으로 실험을 하면, 특정 프로세스의 파라미터화에 대한 다양한 데이터를 제공할 수 있는 일부 연안 프로세스에 대한 실험을 통제된 상태에서 할 수 있게 된다. 더욱이, 실험실 환경은 비디오 시스템을 측정 툴로서 평가하기 위해서도 유용할 수 있다.
비디오 시스템은, 조사를 위한 현장 및 실험실 실험 모두에서 시간 및 공간에 대해서 높이로 조밀한 많은 양의 데이터를 쉽고 효율적으로 얻을 수 있게 한다. 그러나, 이러한 데이터들은, 인-시츄 음향 센서와 비교할 때, 광 센서에 의해서 실제 물리량으로서 시각적으로 기록될 수 있는 프로세스의 정확도, 신뢰성, 및 견실성에 따라서 적용될 수 없을 수도 있다.
또한, 인공 지능 및 딥러닝 기반 방법에 기반한 현대의 컴퓨터 비전 기술은 이미지 분류, 얼굴 인식, 이미지 내의 대상물 식별, 비디오 분석 및 분류, 및 로봇 및 자율 주행 차량에서의 이미지 프로세싱과 같은 광범위한 비전 애플리케이션에 걸쳐서 활발하게 발전되어 왔다.
지난 수 년에 걸쳐서, 딥러닝 모델은 지금까지는 상상할 수 없던 수준과 놀라운 성능 개선을 이루면서 새로운 세대의 이미지 분할 모델을 만들었고, 이것은 흔히, 어떤 실세계 대상물이 인기 있는 벤치마크 내의 이미지의 각각의 픽셀에 대해서 표현되는지를 정확하게 지각하는 데에 있어서 높이의 정확도를 달성했고, 따라서 현장에서는 패러다임이 변하고 있다. 딥러닝의 성공 여부는 대량의 훈련 데이터에 달려있고, 따라서 멀티-도메인 학습이 흥미로운 도전 분야가 되고 있다.
컴퓨터 비전에서 도메인은 흔히, 샘플들이 동일한 내재된 데이터 분포에 대응하는 데이터세트를 가리킨다. 동일하거나 유사한 문제를 해결하기 위해서 상이한 데이터 분포를 가지는 다수의 데이터세트가 공통적으로 제안된다. 예를 들어, 사람을 재식별하는 문제에서, 통상적으로 보행자 이미지가 상이한 장면에서 캡쳐된다. 이러한 종류의 데이터세트를 함께 조합하면 훈련 데이터가 다양해질 수 있고, 따라서 학습된 피쳐들이 더 견실해진다.
그러나, 모든 새로운 태스크 및 도메인에 대해서 데이터세트를 수집하고 주석화하거나 레이블링하는 데에는 비용과 시간이 많이 들고, 언제나 충분한 훈련 데이터를 이용할 수 있는 것이 아닐 수도 있다.
따라서, 상이한 도메인로부터 온 데이터세트들을 도메인 적응을 위해 동시에 이용할 수 있게 하는 멀티-도메인 학습 기술이 절실히 요구된다.
더욱이, 비젼-기반 방법이 종래의 측정들 대신에 또는 이들과 함께 널리 사용되고 있는데, 이러한 방법은 분석 방법이 일반화되고, 다른 데이터세트에 쉽게 적용될 수 있으며, 환경 조건에 대해서 견실하고, 이미징 툴 및 처리 머신이 경제적으로 효율적이어야 한다.
본 발명의 목적은 해수면에 직접적으로 측정 기기를 설치하는 것이 아니라 카메라를 사용하여 촬영된 비디오 이미지로부터 높이를 추정함으로써 이용가능성이 최대화되는 딥러닝 기술을 사용하는 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법을 제공하는 것이다.
본 발명의 다른 목적은, 측면 이미지와 상단 이미지 사이의 도메인 정합을 수행함으로써, 측면 이미지를 획득하기 어려운 해안 환경에서도 상단 이미지로부터 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템을 제공하는 것이다.
상기와 같은 목적들을 달성하기 위한 본 발명의 일면은, 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법에 관한 것이다. 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법은, 소스 모델에서 측정된 데이터로부터 소스 피쳐를 추출하는 단계; 소스 피쳐로부터 실측 해수면 높이를 획득하는 단계; 타겟 모델로부터 타겟 피쳐를 추출하는 단계; 동일한 대상 영역에 대해서 동일한 시각에 획득된 소스 모델의 실측 해수면 높이인 소스 피쳐와 타겟 모델로부터 추출된 타겟 피쳐 사이의 공통 표현 공간(common representation space)을 구성하여, 실측 해수면 높이와 타겟 피쳐를 매칭시키는 도메인 적응 단계; 및 실측 파고 데이터와 공통 표현 공간을 사용하여, 타겟 피쳐로부터 대상 영역의 해수면 높이를 추정하는 단계를 포함한다. 특히, 공통 표현 공간은 동일한 대상 영역에 대해 소스 모델의 실측 해수면 높이와 타겟 피쳐를 동기화시킴으로써 구성되고, 해수면 높이 추정은 소스 모델의 피쳐 레벨에서 수행되며, 소스 모델은, 부이, 관측 타워, 관측 조사선에 설치된 파랑 관측 설비, 대상 영역에 대한 측면 비디오 이미지, 대상 영역에 대한 수치 모델 중 적어도 하나를 포함한다. 또한, 도메인 적응 단계는, 소스 도메인에서 학습되는 소스 CNN(Convolutional Neural Network) 및 타겟 도메인에서 학습되는 타겟 CNN 사이의 손실 함수를 계산하고, 계산된 손실 함수를 반복적으로 최소화함으로써 소스 모델과 타겟 모델 사이의 표현 거리를 최소화하는 것을 포함한다. 더 나아가, 상기 방법은 추정된 해수면 높이를 실측 해수면 높이와 비교하여 해수면 높이의 추정 성능을 평가하고, 평가된 성능을 기초로 소스 CNN 및 타겟 CNN을 학습시키는 단계를 더 포함한다. 또한, 소스 모델은 웨이브 플룸에서 시뮬레이션되는 실시간 파도에서 대상 영역을 제 1 관점(viewpoint)으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 1 비디오 이미지를 포함하고, 타겟 모델은 대상 영역을 제 1 관점과 다른 제 2 관점으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 2 비디오 이미지를 포함하며, 동일한 시점에서 획득된 제 1 비디오 이미지 및 제 2 비디오 이미지는 동일한 시간 서명(time signature)을 공통 특징으로서 공유한다. 더 나아가, 제 1 소스는 웨이브 플룸의 측면으로부터 설치된 파도 게이지를 바라보도록 설치된 카메라이며, 제 2 소스는 웨이브 플룸의 상단으로부터 웨이브 플룸을 비스듬히 바라보도록 설치된 카메라이다. 특히, 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법은 제 2 소스를 사용하여 비스듬히 촬영된 비디오 영상을 표지점을 기준으로 실측 크기로 변환하는 지오-교정(geo-rectification) 과정을 수행하는 단계; 및 웨이브 플룸의 특정 단면 위치에서의 시간-스택 이미지를 시간과 함께 제공하는 단계를 더 포함한다. 특히, 제 1 비디오 이미지를 파도 영역과 배경 영역으로 레이블링하여 분할하는 단계는, 제 1 비디오 이미지의 시간-스택 이미지의 영역 마스크를 시간-스택 이미지 내의 기준 픽셀 및 인접한 픽셀 사이의 휘도 및 색상차에 기반하여 생성하는 것; 영역 마스크 중 유효성 평가를 통해서 유효하다고 판정된 유효한 영역만을 사용하여 시간-스택 이미지의 레이블링 데이터를 생성하는 것; 생성된 레이블링 데이터로부터 정확하게 분할된 이미지 슬라이스를 식별하는 것; 및 식별된 이미지 슬라이스를 사용하여 분할 네트워크를 재훈련시키는 것을 포함한다.
상기와 같은 목적들을 달성하기 위한 본 발명의 다른 면은, 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템에 관한 것이다. 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템은, 서로 다른 모달리티에서 실시간 파도에 대한 데이터를 각각 획득하여 소스 모델 및 타겟 모델을 각각 구성하는 제 1 소스 및 제 2 소스; 소스 모델에서 측정된 데이터로부터 소스 피쳐를 추출하고, 소스 피쳐로부터 실측 해수면 높이를 획득하는 소스 CNN(Convolutional Neural Network); 타겟 모델로부터 타겟 피쳐를 추출하는 타겟 CNN; 및 동일한 대상 영역에 대해서 동일한 시각에 획득된 소스 모델의 실측 해수면 높이인 소스 피쳐와 타겟 모델로부터 추출된 타겟 피쳐 사이의 공통 표현 공간(common representation space)을 구성하여, 실측 해수면 높이와 타겟 피쳐를 매칭시키는 도메인 적응 모듈; 및 실측 파고 데이터와 공통 표현 공간을 사용하여, 타겟 피쳐로부터 대상 영역의 해수면 높이를 추정하는 해수면 높이 추정 모듈을 포함한다. 특히, 공통 표현 공간은 동일한 대상 영역에 대해 소스 모델의 실측 해수면 높이와 타겟 피쳐를 동기화시킴으로써 구성되고, 해수면 높이 추정은 소스 모델의 피쳐 레벨에서 수행되며, 소스 모델은, 부이, 관측 타워, 관측 조사선에 설치된 파랑 관측 설비, 대상 영역에 대한 측면 비디오 이미지, 대상 영역에 대한 수치 모델 중 적어도 하나를 포함한다. 더 나아가, 도메인 적응 모듈은, 소스 도메인에서 학습되는 소스 CNN(Convolutional Neural Network) 및 타겟 도메인에서 학습되는 타겟 CNN 사이의 손실 함수를 계산하고, 계산된 손실 함수를 반복적으로 최소화함으로써 소스 모델과 타겟 모델 사이의 표현 거리를 최소화하도록 구성된다. 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템은, 추정된 해수면 높이를 실측 해수면 높이와 비교하여 해수면 높이의 추정 성능을 평가하고, 평가된 성능을 기초로 소스 CNN 및 타겟 CNN을 학습시키기 위한 평가 모듈을 더 포함할 수 있다. 바람직하게는, 소스 모델은 웨이브 플룸에서 시뮬레이션되는 실시간 파도에서 대상 영역을 제 1 관점(viewpoint)으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 1 비디오 이미지를 포함하고, 타겟 모델은 대상 영역을 제 1 관점과 다른 제 2 관점으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 2 비디오 이미지를 포함하며, 동일한 시점에서 획득된 제 1 비디오 이미지 및 제 2 비디오 이미지는 동일한 시간 서명(time signature)을 공통 특징으로서 공유한다. 특히, 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템은 U-Net 아키텍처를 이용한 준지도 학습을 통하여, 제 1 비디오 이미지를 파도 영역과 배경 영역으로 레이블링하여 분할하기 위한 분할 모듈을 더 포함하고, 제 1 소스는 웨이브 플룸의 측면으로부터 설치된 파도 게이지를 바라보도록 설치된 카메라이며, 제 2 소스는 웨이브 플룸의 상단으로부터 웨이브 플룸을 비스듬히 바라보도록 설치된 카메라이다. 더 나아가, 제 1 소스는, 웨이브 플룸의 특정 단면 위치에서의 시간-스택 이미지를 시간과 함께 제공하고, 제 2 소스는, 비스듬히 촬영된 비디오 영상을 표지점을 기준으로 실측 크기로 변환하는 지오-교정(geo-rectification) 과정을 수행하도록 구성된다. 특히, 분할 모듈은, 제 1 비디오 이미지의 시간-스택 이미지의 영역 마스크를 시간-스택 이미지 내의 기준 픽셀 및 인접한 픽셀 사이의 휘도 및 색상차에 기반하여 생성하고, 영역 마스크 중 유효성 평가를 통해서 유효하다고 판정된 유효한 영역만을 사용하여 시간-스택 이미지의 레이블링 데이터를 생성하며, 생성된 레이블링 데이터로부터 정확하게 분할된 이미지 슬라이스를 식별하고, 식별된 이미지 슬라이스를 사용하여 분할 네트워크를 재훈련시키도록 구성된다.
본 발명에 의하여, 복잡한 측정 기기를 설치하는 것이 아니라 카메라를 사용하여 촬영된 파도의 비디오 이미지로부터 해수면 높이를 추정할 수 있기 때문에, 이용가능성이 최대화되는 딥러닝 기술을 사용하는 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법이 제공된다.
또한, 본 발명에 의하여, 딥러닝 기법을 활용하여 측면 이미지와 상단 이미지 사이의 도메인 정합을 수행함으로써, 측면 이미지를 획득하기 어려운 해안 환경에서도 상단 이미지로부터 높이를 추정할 수 있는 해수면 높이 정량화 시스템이 제공된다.
도 1a는 본 발명의 일면에 의한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법을 개략적으로 나타내는 흐름도이다.
도 1b는 본 발명의 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법을 사용하여, 웨이브 플룸에서 촬영된 비디오 이미지로부터 해수면 높이를 정량화하기 위한 방법을 개략적으로 나타내는 흐름도이다.
도 2는 용량성 프로브 및 비디오 카메라가 배치된 것을 포함하는, 플룸의 일반적 레이아웃을 예시한다.
도 3은 준지도 이미지 분할에 기반하여 측면 비디오 이미지에서 해수면 높이 측정을 수행하는 프로시저를 도시한다.
도 4는 전파된 파도의 시간-스택 이미지에서의 파도 경계만을 구별하는, 이미지 분할 네트워크를 위한 U-Net의 아키텍처를 나타내는 블록도이다.
도 5 는 시간-스택 이미지의 샘플과 FloodFill 방법의 결과를 나타낸다.
도 6은 본 발명에 따른 방법에서 사용되는 도메인 적응 과정을 나타내는 도면이다.
도 7은 도메인 적응을 통한 해수면 높이 추정을 위한 (a) 소스 CNN, (b) 타겟 CNN, 및 (c) 회귀 네트워크의 아키텍처를 보여준다.
도 8 은 파도 레벨 측정을 위한 물 영역 분할 결과의 샘플을 보여준다.
도 9 는 견실하고 정확하게 분할된 맵의 결과를 보여준다.
도 10 은 측정된 높이와 추정된 높이를 나타내는 시계열이다.
도 11 은 본 발명의 변형된 일 실시형태를 도시한다.
도 12 및 도 13 은 본 발명의 다른 실시형태들을 비교하는 도면들이다.
도 14 는 장면 분리와 에지 검출에 기반한 높이 측정 기법의 비디오 전처리 과정을 설명하는 도면이다.
도 15 는 장면 분리 모델의 구조를 나타내는 도면이다.
도 16 은 훈련 및 시험 데이터의 프레임 개수를 보여주는 그래프이다.
도 1b는 본 발명의 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법을 사용하여, 웨이브 플룸에서 촬영된 비디오 이미지로부터 해수면 높이를 정량화하기 위한 방법을 개략적으로 나타내는 흐름도이다.
도 2는 용량성 프로브 및 비디오 카메라가 배치된 것을 포함하는, 플룸의 일반적 레이아웃을 예시한다.
도 3은 준지도 이미지 분할에 기반하여 측면 비디오 이미지에서 해수면 높이 측정을 수행하는 프로시저를 도시한다.
도 4는 전파된 파도의 시간-스택 이미지에서의 파도 경계만을 구별하는, 이미지 분할 네트워크를 위한 U-Net의 아키텍처를 나타내는 블록도이다.
도 5 는 시간-스택 이미지의 샘플과 FloodFill 방법의 결과를 나타낸다.
도 6은 본 발명에 따른 방법에서 사용되는 도메인 적응 과정을 나타내는 도면이다.
도 7은 도메인 적응을 통한 해수면 높이 추정을 위한 (a) 소스 CNN, (b) 타겟 CNN, 및 (c) 회귀 네트워크의 아키텍처를 보여준다.
도 8 은 파도 레벨 측정을 위한 물 영역 분할 결과의 샘플을 보여준다.
도 9 는 견실하고 정확하게 분할된 맵의 결과를 보여준다.
도 10 은 측정된 높이와 추정된 높이를 나타내는 시계열이다.
도 11 은 본 발명의 변형된 일 실시형태를 도시한다.
도 12 및 도 13 은 본 발명의 다른 실시형태들을 비교하는 도면들이다.
도 14 는 장면 분리와 에지 검출에 기반한 높이 측정 기법의 비디오 전처리 과정을 설명하는 도면이다.
도 15 는 장면 분리 모델의 구조를 나타내는 도면이다.
도 16 은 훈련 및 시험 데이터의 프레임 개수를 보여주는 그래프이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
도 1a는 본 발명의 일면에 의한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법을 개략적으로 나타내는 흐름도이다.
도 1a를 참조하면, 본 발명의 심층 시각 도메인 적응 방법에서는 우선 소스 모델에서 측정된 데이터로부터 소스 피쳐를 추출하고(S111), 소스 피쳐로부터 실측 해수면 높이를 획득한다(S112). 본 명세서에서 소스 모델이란, 실측 데이터(ground truth)로서 사용될 수 있는 실측 해수면 높이를 제공할 수 있는 다양한 데이터 모델을 가리키도록 사용된다. 예를 들어, 소스 모델은 부이에 장착된 해수면 높이 센서, 관측 타워로부터 측정된 해수면 높이, 근해에 파견된 관측 조사선에 설치된 파랑 관측 설비, 웨이브 플룸에서 시연되는 실시간 파도 영상을 촬영하기 위한 카메라로부터 얻어진, 대상 영역에 대한 측면 비디오 이미지, 및 기상청의 실측 데이터와 같은 대상 영역에 대한 수치 모델 등을 포함할 수 있다. 실측 해수면 높이는 후술하는 바와 같은 타겟 모델로부터 해수면 높이를 추정하는 정확도를 높이기 위한 준지도 학습에서 활용될 수 있다.
실측 해수면 높이가 획득되면, 타겟 모델로부터 타겟 피쳐를 추출한다(S113).
소스 모델이 웨이브 플룸에서 시뮬레이션되는 실시간 파도에서 대상 영역을 제 1 관점(viewpoint)으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 1 비디오 이미지인 경우, 타겟 모델은 대상 영역을 제 1 관점과 다른 제 2 관점으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 2 비디오 이미지를 포함할 수 있다. 예를 들어, 후술하는 바와 같이 소스 모델은 웨이브 플룸을 측면에서 바라본 비디오 이미지를 포함할 수 있고, 타겟 모델은 웨이브 플룸을 상부로부터 비스듬하게 바라본 실시간 비디오 이미지를 포함할 수 있다. 이러한 경우에, 동일한 시점에서 획득된 제 1 비디오 이미지 및 제 2 비디오 이미지는 동일한 시간 서명(time signature)을 공통 특징으로서 공유하게 된다. 본 발명에서는 이러한 공통 특징을 사용하여 소스 모델을 타겟 모델과 매칭시킨다.
즉, 본 발명에 의한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법에 따르면, 동일한 대상 영역에 대해서 동일한 시각에 획득된 소스 모델의 실측 해수면 높이인 소스 피쳐와 타겟 모델로부터 추출된 타겟 피쳐 사이의 공통 표현 공간(common representation space)을 구성하여, 실측 해수면 높이와 타겟 피쳐를 매칭시키는 도메인 적응 단계(S115)가 수행된다. 이 과정에서, 공통 표현 공간은 동일한 대상 영역에 대해 소스 모델의 실측 해수면 높이와 타겟 피쳐를 동기화시킴으로써 구성될 수 있다. 즉, 동일한 시간에 동일한 대상 영역에 대해 추출된 소스 모델과 타겟 모델은 동일한 피쳐를 서로 공유하게 되는데, 본원에서는 이와 같이 공유되는 피쳐를 공통 특징으로 사용하여 소스 모델을 타겟 모델과 매칭시킨다.
본 발명에서 실측 해수면 높이와 타겟 피쳐를 매칭시키는 이유는, 여러 모달리티 중에서 상대적으로 구현하기가 용이한 상단 이미지로부터, 정확하게 해수면 높이를 추정하기 위한 것이다. 즉, 이러한 추정의 기초가 되는 실측 데이터는 소스 모델로부터 얻어지고, 얻어진 실측 데이터는 도메인 적응을 통해서 타겟 모델로부터 해수면 높이를 추정하기 위해서 사용된다. 따라서, 도메인 적응을 통하여, 대상 지역을 바라보는 카메라로 촬영된 실시간 이미지로부터 실측 해수면 높이와 가까운 정확한 해수면 높이를 추정해낼 수 있게 된다.
대상 영역의 해수면 높이가 추정되면, 실측 해수면 높이 데이터 및 S115 단계에서 구성된 공통 표현 공간을 사용하여, 타겟 피쳐로부터 대상 영역의 해수면 높이를 추정한다(S117). 본 발명에 따르면, 타겟 모델의 특징을, 타겟 모델과 도메인 적응된 소스 모델의 실측 해수면 높이와 연관시킴으로써 추정된 해수면 높이가 정확하게 추정될 수 있다.
이와 같은 추정 결과가 얻어지면, 추정된 해수면 높이를 실측 해수면 높이와 비교하여 해수면 높이의 추정 성능을 평가하고, 평가된 성능을 기초로 소스 CNN 및 타겟 CNN을 학습시킨다(S119). 추정 성능을 평가하기 위하여, 소스 도메인에서 학습되는 소스 CNN(Convolutional Neural Network) 및 타겟 도메인에서 학습되는 타겟 CNN 사이의 손실 함수를 계산할 수 있다. 이러한 경우, 학습은 계산된 손실 함수를 반복적으로 최소화는 방향으로 이루어질 수 있다. 이러한 동작을 통해서 준지도 학습의 결과가 더욱 정확해진다.
도 1b는 본 발명의 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법을 사용하여, 웨이브 플룸에서 촬영된 비디오 이미지로부터 해수면 높이를 정량화하기 위한 방법을 개략적으로 나타내는 흐름도이다.
우선, 상이한 관점(viewpoint)을 가지는 제 1 소스 및 제 2 소스를 사용하여, 실시간 파도에 대한 제 1 비디오 이미지 및 제 2 비디오 이미지를 각각 획득한다(S131). 여기에서, 동일한 시점에서 획득된 제 1 비디오 이미지 및 제 2 비디오 이미지는 동일한 시간 서명(time signature)을 공통 특징으로서 공유한다.
본 명세서에서 제 1 소스는 웨이브 플룸을 측면에서 촬영하는 카메라이고, 제 1 비디오 이미지는 웨이브 플룸에 대한 측면 이미지일 수 있다. 또한, 본 명세서에서 제 2 소스는 웨이브 플룸을 상단에서 비스듬히 촬영하는 카메라이고, 제 2 비디오 이미지는 물이 담겨 있는 웨이브 플룸에 대한 사시도일 수 있다.
본 명세서에서 보고되는 실험은 한국 해양 연구원에 있는 PEB(Physical Experiment Building) 2D 웨이브 플룸에서 비디오 데이터를 얻기 위해서 수행되었다.
도 2는 용량성 프로브 및 비디오 카메라가 배치된 것을 포함하는, 플룸의 일반적 레이아웃을 예시한다.
도 2의 (a)는 (b)에 도시된 2D 웨이브 플룸에서의 실험의 셋업을 개략적으로 나타낸다. 측면 및 상면에 세 개의 용량성 파도 게이지(WP1, WP2, 및 WP3) 및 두 개의 CCTV가 설치되고, (c)에 측면 및 상면도의 샘플이 좌측 및 우측에 표시된다.
웨이브 플룸은 길이 50m, 폭 1.2m, 및 높이 1.6m이지만, 이것은 오직 한 예일 뿐이고, 본 발명을 한정하는 것이 아님에 주의한다.
도 2에 도시된 웨이브 플룸에는 파도 패들을 위한 구동 신호를 제어하기 위해서 AwaSys 소프트웨어 시스템이 포함된다. 파도는 규칙적이거나 불규칙적인 파도를 생성하도록 측방향으로 이동되는 피스톤-타입 파도 패들에 의해 생성되었다.
또한, 세 개의 용량성-타입 파도 게이지가 플룸을 따라 세 곳의 위치에서 해수면 높이를 측정하기 위해서 설치되었고(도 1 의 WP1, WP2, 및 WP3), 데이터는 50Hz의 빈도로 수집되었다(S132).
표 1 에서 설명된 바와 같이, 해안 지역에서 실제로 발생될 수 있는 조건으로 비디오를 얻기 위해서, 규칙적이고 불규칙적인 파도를 모두를 생성함으로써 다양한 실험들이 수행되었다.
무작위적인 해양 상태를 시뮬레이션하기 위한 불규칙적 파도를 생성하기 위해서 JONSWAP 스펙트럼이 적용되었다. 총 57 개의 비디오 데이터세트가 획득되었고, 각각의 실시의 길이는 실험 조건에 의존하여 5분 내지 20분으로 변했다. 실험은 40cm, 50cm, 및 60cm의 세 가지 상이한 수심 조건으로 수행되었다.
실험 과정에서, 규칙적 파도의 경우에는, 파도 주기(T)는 1.5 내지 2.5 초였고 간격은 0.25 초였지만, 파도 높이(H)는 각각의 파도 주기에 대해서 5 cm의 간격에서 20 내지 35 cm 였다. 불규칙적 파도의 경우에는, 파도 높이 및 주기의 조건은 규칙적 파도의 경우와 같았다.
초당 30 프레임의 시간적 분해능 및 1920 x1080의 공간 분해능을 가지는 폐쇄 회로 텔레비전(CCTV) 카메라가 웨이브 플룸의 측면 및 상단으로부터의 두 개의 상이한 관점을 가지는 일련의 실험 장면을 기록하기 위해서 사용되었다(도 2 의 (a) 참조).
CCTV 시스템은 비디오 감시를 위해 주로 사용되는 종래의 카메라이고, 내장 저장소 및 제어 디바이스를 가지며, IP 어드레스를 통해서 원격으로 제어될 수 있다. 따라서, 이러한 시간은 CCTV 셋업을 위해 사용된 컴퓨터 시간에 따라서, 비디오가 저장될 때 모든 비디오 프레임이 동기화되었다.
본 명세서에서 설명되는 전술된 바와 같은 실험 환경은 이해를 돕기 위해서 제공된 것일 뿐이고, 본 발명을 한정하는 것이 아님에 주의한다.
제 2 소스는 비스듬히 촬영된 비디오 영상을 표지점을 기준으로 실측 크기로 변환하는 지오-교정(geo-rectification) 과정을 전처리로서 수행할 수도 있고, 제 1 소스는 웨이브 플룸의 특정 단면 위치에서의 시간-스택 이미지를 시간과 함께 제공한다.
이제, U-Net 아키텍처를 이용한 준지도 학습을 통하여, 파도 게이지를 바라보는 관점을 가지는 제 1 소스로부터 획득된 제 1 비디오 이미지를 파도 영역과 배경 영역으로 레이블링하여 분할한다(S133). 이와 같은 분할을 위하여 제 1 비디오 이미지의 시간-스택 이미지의 영역 마스크를 시간-스택 이미지 내의 기준 픽셀 및 인접한 픽셀 사이의 휘도 및 색상차에 기반하여 생성하는 FloodFill 알고리즘이 활용될 수 있다. 또한, 영역 마스크 중 유효성 평가를 통해서 유효하다고 판정된 유효한 영역만을 사용하여 시간-스택 이미지의 레이블링 데이터를 생성하고, 생성된 레이블링 데이터로부터 정확하게 분할된 이미지 슬라이스를 식별한다. 특히, U-Net 아키텍처는, 제 1 비디오 이미지로부터 시간-스택 이미지의 잠정적인 피쳐를 학습하여 콘텍스트를 캡쳐하는 인코더 블록과 정밀한 국지화가 수행될 수 있게 하는 물의 경계를 복원하는 디코더 블록을 포함할 수 있다. 이러한 인코더 블록 및 디코더 블록은, 파도 표면에 대한 국지적 세부사항이 보존되도록 인코더 블록의 출력 피쳐를 디코더 블록의 출력 피쳐에 연쇄시킴으로써 상호 연관된다. 특히, 분할 네트워크는, 유효한 분할 맵이 주어지지 않은 상태로 입력 슬라이스 이미지 및 대응하는 분할 맵 사이의 픽셀-단위 이진 교차-엔트로피 손실을 사용하여 학습되는 준지도 학습 기법을 활용한다.
그러면, 식별된 이미지 슬라이스를 사용하여 분할 네트워크를 재훈련시킬 수 있다. 분할 단계의 상세한 내용은 본 명세서의 해당 부분에서 후술된다.
파도 영역과 배경 영역으로 분할하는 과정이 완료되면, 상이한 도메인에서 측정된 제 1 비디오 이미지 및 제 2 비디오 이미지 사이의 공통 표현 공간(common representation space)을 구성하여, 제 1 비디오 이미지의 피쳐와 제 2 비디오 이미지의 피쳐를 매칭시킨다(S135). 이러한 도메인 매핑을 위하여 공통되는 시간 서명이 사용될 수 있다.
도메인 매핑을 위하여, 소스 도메인에서 학습되는 소스 CNN(Convolutional Neural Network) 및 회귀 모델에 대한 손실 함수를 계산하고, 계산 결과를 사용하여 타겟 도메인에서 학습되는 타겟 CNN이 제 2 비디오 이미지 및 소스 CNN의 잠정적인 피쳐 사이의 비선형 매핑을 학습하게 된다.
특히, 소스 CNN은 두 개의 콘볼루션 계층, 배치 정규화(batch normalization) 층, 및 Leaky ReLU 활성화 함수를 포함할 수 있고, 콘볼루션 결과인 잠정적인 피쳐들이 회귀 모델의 입력으로서 평활화되며, 회귀 모델은 ReLU 활성화 함수가 있는 간단한 완전 연결 계층이다.
그러면, 타겟 CNN이 제 2 비디오 이미지의 잠정적인 피쳐를 학습함으로써, 공동 표현 학습을 이용하여 소스 CNN의 피쳐로부터 해수면 높이를 추정한다(S137).
또한, 추정된 해수면 높이를 파도 게이지를 사용하여 측정된 실측 높이 데이터와 비교하여 성능을 평가하고, 평가된 성능을 기초로 소스 CNN 및 타겟 CNN이 재학습된다(S139).
이하, 이해의 편의를 위하여 본 발명에 따른 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법의 각 단계들을 도면 및 표를 사용하여 상세히 후술한다.
멀티-뷰 웨이브 플룸 비디오에서 해수면 높이를 정량화하기 위해서, 상이한 관점을 가지는 두 개의 카메라로부터 얻어진 비디오 이미지에, 심층 신경망을 사용한 두 개의 태스크, 즉, 연속적 해수면 높이 측정 및 해수면 높이 추정이 수행되었다.
더욱이, 측면 비디오 이미지에서 해수면 높이를 측정하고 상단 비디오 이미지에서 해수면 높이를 추정하기 위해서, 다수의 CNN을 가지는 이미지 분할 및 심층 시각 도메인 적응 기법이 개발되었다.
컴퓨터 비젼에서의 이미지 분할은 통상적으로, 이미지 내에서 대상물 또는 영역 경계를 묘사하고 한정하기 위해서 먼저 사용된다. 심층 이미지 분할 접근법에 따른 분할 네트워크의 완전 지도 학습을 위해서는, 이미지 및 대응하는 실측 정보 마스크가 있는 쌍을 이룬 데이터세트를 제공하는 것이 필요하다. 그러나, 훈련 데이터를 준비하는 과정에서 시간과 노동력이 많이 필요하고, 특히 비디오 데이터세트의 경우에는 더욱 그러하다.
본 발명에서는, 분할-기반 해수면 높이 측정을 위한 준지도(semi-supervised) 학습이 구현될 수 있다.
준지도 학습은, 대량의 레이블링된 훈련 데이터를 처리하는 어려움을 피하면서, 신경망을 훈련시키기 위해서 적은 양의 레이블링된 데이터(지도 학습) 및 대량의 레이블링되지 않은 데이터(비지도 학습)를 채용하는 머신 러닝의 한 타입이라고 할 수 있다. 이러한 접근법에 따르면, 분할 네트워크를 통상적으로 동일하거나 유사한 분포로부터 샘플링된 것으로 여겨지는 레이블링되지 않은 샘플 및 레이블링된 샘플 양자 모두로써 훈련시킬 수 있다.
그리고, 심층 도메인 적응(deep domain adaptation)은, 특정한 훈련 모델이 상이한 도메인에서의 다른 태스크에 대해서 직접적으로 사용될 수 있도록, 데이터 샘플 및 그룹 피쳐에 내재된 변동(즉, 분포 천이 또는 피쳐 공간 차이)의 탐색 요인(exploratory factor)을 풀어내는(disentangle) 변환가능한 표현(transferable representation)을 학습하는 기술이다. 다르게 말하면, 도메인 적응법을 사용하면, 하나 이상의 관련된 소스 도메인에서 레이블링된 데이터를 활용하여 타겟 도메인에서 새로운 태스크를 실행할 수 있다.
도메인 적응의 목적은 두 도메인들에 대한 공통 표현 공간(common representation space)을 식별하거나 구성하는 것이다.
본 발명에서는, 상단 비디오 이미지의 고레벨 피쳐를, 레이블에 기반한 해수면 높이 추정에 대해서 학습된, 측면 비디오 이미지의 고레벨 피쳐로 매핑하기 위한 도메인 적응 기법이 구현된다.
후속하는 섹션에서, 채용된 준지도 분할 및 해수면 높이 추정 방법이 설명된다.
도 3은 준지도 이미지 분할에 기반하여 측면 비디오 이미지에서 해수면 높이 측정을 수행하는 프로시저를 도시한다.
도 3에서, (a)는 측면 비디오의 연속 이미지를, (b)는 지오-교정(geo-rectification)에 의한, 투영된 연속 이미지를, (c)는 하나의 특정 위치로부터 추출된 시간-스택 이미지를, (d)는 물 영역에 대한 준지도 이미지 분할에 의해 생성된 분할된 시간-스택 이미지를 나타내고, (e)는 분할된 시간-스택 이미지 (d)로부터 측정된 해수면 높이를 나타낸다.
- 해수면 높이 측정을 위한 준지도 이미지 분할
웨이브 플룸 비디오 이미지에서 표면 해수면 높이를 측정하기 위한 이미지 분할을 위한 프로시저가 도 3 에 도시된다.
전술된 바와 같이, 도 3 의 (a) 및 (b)는 측면 웨이브 플룸 비디오로부터 추출된 연속 이미지 및 관심 영역 내의 지오-교정된 연속 이미지를 각각 보여준다. 도 3 의 (c)는 특정 단면 위치에서의 시간-스택 이미지를 시간과 함께 제공한다. y 축은 타겟 위치를 나타내고, x 축은 시간을 나타낸다.
시간-스택 이미지는 이미지 내의 임의의 요구되는 위치에서의 픽셀의 어레이로부터의 광 세기의 시계열이다. 시간-스택 이미지로부터의 준지도 학습을 사용하면, 물의 경계가 도 3 의 (d)에 도시된 바와 같이 결정되고, 이러한 분할 이미지에 기반하여, 해수면 높이가 도 3 의 (e)에 도시된 바와 같이 측정될 수 있다.
준지도 학습의 경우, FloodFill 알고리즘이 적용되어 적은 양의 레이블링 데이터를 자동으로 생성한다.
일반적으로, FloodFill은 다차원 어레이 내의 특정 노드에 연결된 영역을 결정하고 매칭되는 속성으로 변경하는 알고리즘으로서, 유사한 색상의 연결된 영역들을 상이한 색상으로 채우기 위해 사용된다. FloodFill 알고리즘에서 특정 속성을 가지지 않는 주어진 노드에 연결된 영역에 대한 변형인 Boundary Fill 알고리즘이 존재한다.
좀 더 상세히 설명하면, FloodFill은 타겟 대상물의 영역 마스크를 입력 이미지 내의 기준 픽셀 및 인접한 픽셀 사이의 휘도 및 색상차에 기반하여 생성하는 영역-성장 방법이다. 그러나, 휘도 및 색상차에 대한 임계를 설정하는 것은 어렵고, 이러한 알고리즘은 타겟 대상물의 픽셀 세기 및 형상의 큰 변화에 민감하다. 그러므로, FloodFill을 시간-스택 이미지에 적용한 이후에, 후술되는 평가 프로세스에서의 유효한 영역의 일부만이 도 5 에 도시된 바와 같이 레이블링 데이터로서 사용되었다. FloodFill 알고리즘의 상세 내용에 대해서는 본 명세서에 원용되어 통합되는 Elfring, J. Image Processing Using OpenCV. Online (Feb 2018) 2013.을 참조한다.
도 4는 전파된 파도의 시간-스택 이미지에서의 파도 경계만을 구별하는, 이미지 분할 네트워크를 위한 U-Net의 아키텍처를 나타내는 블록도이다.
유효한 분할 맵의 수가 적으면, 우선 U-Net에 기반하여 분할 네트워크를 훈련시킨다.
U-Net은 이미지 분할을 목적으로 제안된 단대단 방식의 완전 합성곱망 기반의 모델로서, 완전 합성곱망보다 확장된 개념의 업-샘플링과 스킵 아키텍처를 적용한 모델이다. U-Net은 이미지의 콘택스트 정보를 얻기 위한 네트워크와 국지화(localization)를 위한 네트워크가 대칭 형태로 구성되어 있으며, 이미지의 콘택스트 정보를 얻기 위한 네트워크는 인코딩을 수행하는 축소 경로(Contracting Path)라고 불리고, 국지화를 네트워크는 디코딩을 수행하는 확장 경로(Expanding Path)라고 불린다. U-Net에 대해서는 본 명세서에 원용되어 통합되는 Ronneberger, O.; Fischer, P.; Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical image computing and computer-assisted intervention. Springer, 2015, pp. 234-241.을 참조한다.
도 4 에 예시된 분할 네트워크는, 전파된 파도 및 실험 비디오 내의 배경을 구별하기 위하여, 시간-스택 이미지 내에서 물에 대응하는 영역들의 피쳐를 학습함으로써 이미지 분할을 수행한다.
제안된 U-Net 아키텍처는 두 부분, 즉 원시 비디오 이미지로부터 시간-스택 이미지의 잠정적인 피쳐를 학습하여 콘텍스트를 캡쳐하는 인코더, 및 정밀한 국지화가 수행될 수 있게 하는 물의 경계를 복원하는 디코더를 포함한다.
이러한 아키텍처 내의 스킵 연결은, 파도 표면에 대한 국지적 세부사항을 보존함으로써 분할 품질을 개선하기 위하여, 인코더 블록의 출력 피쳐를 디코더 블록의 출력 피쳐에 연쇄시킴으로써 수행된다.
U-Net의 동작 과정은 다음과 같다. 우선 θ로 파라미터화된 U-Net 모델을 U(Istack; θ)라고 가정하는데, 여기에서 Istack은 시간-스택 이미지로부터의 입력 슬라이스이다.
이러한 모델은 크기가 220 x 220 x 3인 슬라이스 이미지의 세트를 수신하고, 각각의 원소가 [0, 1]의 범위를 가지는 동일한 차원의 확률 맵을 출력한다.
출력 맵에서, 임계가 0.5에 기반하여 인가되어, 물 영역에 대해서는 1의 값을 그리고 배경 영역에 대해서는 0 의 값을 가지는 분할 맵을 획득한다.
네트워크를 훈련하기 위하여, 다음과 같은, 주어진 입력 슬라이스 이미지 및 대응하는 분할 맵 사이의 픽셀-단위 이진 교차-엔트로피 손실을 사용한다:
여기에서 x는 입력 슬라이스의 픽셀이고, w는 분할 맵(mstack, n)에서 배경(w(x)=0) 및 물 영역 레이블(w(x)=1)을 나타낸다. 그리고, PU(x)는 분할 네트워크에서의 시그모이드 함수로부터 얻어진 픽셀당 확률이다.
도 5 는 시간-스택 이미지의 샘플과 FloodFill 방법의 결과를 나타낸다. 도 5에서, (a)는 불규칙한 파도 실험 비디오로부터의 시간-스택 이미지 중 하나를 나타내고, (b)는 대응하는 마스크 이미지를 나타낸다.
도 5 의 (b)에 도시된 바와 같이, 슬라이스 이미지가 획득되고, 데이터 증강을 위하여 슬라이스 윈도우를 해당 데이터에 대한 랜덤 스텝만큼 좌에서 우로 슬라이딩함으로써, 220 x 220 윈도우 사이즈의 대응하는 유효한 분할 맵이 획득된다. 본 발명에 적용된 데이터 증강에 대해서는 본 명세서에 원용되어 통합되는 Shorten, C.; Khoshgoftaar, T.M. A survey on image data augmentation for deep learning. Journal of Big Data 2019, 6, 1-48.를 참조한다.
다음 알고리즘은 U-Net 기반 시간-스택 이미지 분할의 준지도 학습을 설명한다.
이러한 알고리즘에서 알 수 있는 바와 같이, 슬라이스 이미지 Istack과 U-Net U(Iin; 
)가 입력으로 사용되고, 그 결과로서는 U-Net 파라미터 
의 최적화된 세트가 출력된다.
즉, 알고리즘에서 설명된 바와 같은 준지도 학습 방법은 분할 네트워크의 견실성을 개선시키기 위하여 구현된다.
여기에서, 모든 슬라이스 이미지에 대한 실측 정보의 (유효한) 분할 맵이 최초에 주어지지 않기 때문에, 우선 유효한 분할 맵이 없이 슬라이스 이미지를, 오직 초기 레이블링된 데이터만을 사용하여 훈련된 분할 네트워크를 사용하여 분할한다. 그 다음에, 다음 알고리즘 1을 사용한 유효성 평가를 수행하여, 분할 네트워크 내에서 정확하게 분할된 이미지 슬라이스를 식별한다. 그러면, 유효한 분할 맵을 사용하여 분할 네트워크를 다시 훈련시키고, 이것이 의사-레이블링된 데이터세트라고 평가된다.
이러한 준지도 학습 프로세스는 주어진 횟수만큼 반복된다.
그러면, 각각의 관점에서의 해수면 높이가, 시간-스택 이미지 내의 물 영역의 바닥부터 상단(수면)까지의 파도 높이를 측정함으로써 결정된다.
다음 알고리즘은 주어진 분할 맵 M이 유효한지 여부를 슬라이딩 윈도우의 너비 및 높이에 대해서 판단하기 위한 것이다.
- 해수면 높이를 추정하기 위한 심층 도메인 적응
도 6은 본 발명에 따른 방법에서 사용되는 도메인 적응 과정을 나타내는 도면이다.
도 6에서, (a)는 해수면 높이 측정을 위한 소스 CNN의 사전 훈련을 보여주고, (b)는 타겟 CNN을 훈련시키기 위한 심층 시각 도메인 적응을 보여주며, (c)는 상면도 이미지로부터 해수면 높이를 추정하기 위한, 테스트용 회귀 모델(Regression model)을 나타낸다.
도 6 에 도시된 바와 같이, 심층 시각 도메인 적응 기법은 가중치를 해제(untie)함으로써 독립적인 소스 및 타겟 도메인 매핑을 얻었고, 타겟 모델의 파라미터들은 미리 훈련된 소스를 사용하여 초기화되었다.
제안된 접근법에서는, 도메인 적응이 소스 태스크에서 양호한 성능을 유지하는 것과 동시에, 타겟 태스크에 대해서 서로 가까운 공동 표현(joint representation)을 얻는다.
즉, 본 발명의 접근법은, 소스 태스크는 CNN 모델 및 회귀 모델(도 7 에 도시된 바와 같은 소스 CNN 및 회귀 모델을 참조)에 의해서 측면 비디오 이미지로부터의 정확한 해수면 높이를 추정하는 것이다.
측면 비디오 이미지가 해수면 높이와 관련된 물 영역 정보를 포함하고 있기 때문에, 소스 CNN은 해수면 높이를 추정하는 회귀 태스크에 대한, 도 7 에 설명된 바와 같은 콘볼루션 블록을 통해서 의미있는 잠정적인 피쳐를 학습할 수 있다.
도 7은 도메인 적응을 통한 해수면 높이 추정을 위한 (a) 소스 CNN, (b) 타겟 CNN, 및 (c) 회귀 네트워크의 아키텍처를 보여준다.
소스 CNN 및 회귀 모델은 전술된 측면도 이미지 및 해수면 높이 측정을 사용하여 단-대-단 방식으로 훈련되었다.
소스 CNN 및 회귀 모델에 대한 손실 함수는 다음과 같다:
여기에서 Iside는 각각의 관점 (t)에 대한 측면도 이미지(Iside,t)의 훈련용 집합이고, ht는 대응하는 관점에서의 해수면 높이이다. S 및 R은 소스 CNN 및 회귀 모델을 각각 나타낸다.
소스 CNN은 여섯 개의 콘볼루션 블록을 포함한다.
더욱이, 각각의 콘볼루션 블록은 도 7 의 (a)에서 설명된 바와 같이 두 개의 콘볼루션 계층, 배치 정규화, 및 Leaky ReLU 활성화 함수를 포함한다. 배치 정규화에 대해서는 본 명세서에 원용되어 통합되는 Ioffe, S.; Szegedy, C. Batch normalization: Accelerating deep network training by reducing internal covariate shift. arXiv preprint arXiv:1502.03167 2015.를 참조한다.
여섯 개의 콘볼루션 블록을 실행한 이후에, 잠정적인 피쳐들이 회귀 모델의 입력으로서 평활화된다. 회귀 모델은 ReLU 활성화 함수가 있는 간단한 완전 연결 계층이다.
그러면, 타겟 CNN은 상단 비디오 이미지 및 소스 CNN의 잠정적인 피쳐 사이의 비선형 매핑을 학습한다. 이러한 심층 시각 도메인 적응 프로세스는 다음 손실 함수를 반복적으로 최소화함으로써 소스 및 타겟 표현 거리를 최소화한다:
여기에서 Itop은 각각의 관점 (t)에 대한 상면도 이미지(Itop,t)의 훈련용 집합이고, T는 Itop,t를 타겟 CNN을 통하여 측면도 이미지(Iside,t)에서의 소스 CNN의 잠정적인 피쳐로 매핑하는 비선형 매핑을 나타낸다.
이러한 공동 표현 학습은 수학식 3의 L2 손실 함수를 사용하여 얻어진다.
테스팅 스테이지에서, 타겟 CNN의 출력 잠정 피쳐는, 상면도 이미지로부터 해수면 높이를 추정하기 위해서 회귀 모델로 제공된다.
도메인을 웨이브 플룸 비디오 이미지의 측면도로부터 상면도로 적응시키기 위해서, 공간-시간적 피쳐 추출을 위한 두 개의 독립적 콘볼루션 네트워크(S 및 T)가 도 7 에 도시된 바와 같이 구현된다.
소스 CNN(도 7 의 (a))에서, 이것은 전술된 이미지 분할을 위한 모델을 사용하여 측면도 웨이브 플룸 비디오에서 해수면 높이를 정확하게 측정하기 위해서, 잠정적인 피쳐를 우선 학습한다. 그러면, 타겟 CNN(도 7 의 (b))는 상단 비디오 이미지의 잠정적인 피쳐를 학습함으로써, 수학식 3의 L2 손실 함수를 사용한 공동 표현 학습을 이용하여 소스 CNN 피쳐로부터 해수면 높이를 추정한다.
이와 같이 모델의 훈련이 완료된 이후에, 상면도 데이터로부터의 잠정적인 피쳐가 시간 서명(time signature)에 따라서 측면도로부터의 잠정적인 피쳐에 성공적으로 적응된다. 그리고, 이러한 모델은 해수면 높이가 상단 비디오 이미지로부터 추정될 수 있게 하고, 파도 게이지로부터의 해수면 높이와 비교함으로써 정확도가 평가될 수 있게 한다.
- 평가 및 분석
해수면 높이 이미지 분할을 위해 사용된 데이터세트가 측면 비디오 이미지를 사용한 표 2 에 제공된다.
표 2 는 준지도 이미지 분할에 대한 측면도 웨이프 플룸 비디오 이미지의 데이터를 전체적으로 보여준다. 총 데이터 중에서, 훈련용, 인증용, 및 테스트 데이터의 비율은 대략적으로 2:1:1 이라는 것을 알 수 있다.
도 2 의 (a)에 도시되는 세 곳의 위치(A, B, 및 C) 각각에서의 시간-스택 이미지의 길이는 프레임의 총 수와 같다. 더욱이, 슬라이스 이미지들의 크기가 시간-스택 이미지에서 추출될 때 220 x 220이고, 세 곳의 위치(A, B), 및 C) 모두로부터 얻어질 수 있다. 표 2 에서, 슬라이스 이미지의 개수는 단일 위치에서의 슬라이스 이미지의 개수를 나타낸다.
준지도 시간-스택 이미지 분할을 위하여, 전술된 유효성 평가 알고리즘을 모든 슬라이스 이미지에 적용함으로써 초기 훈련용 집합이 얻어진다. 각각의 위치에서의 유효한 슬라이스 이미지의 개수는 표 2 의 마지막 세 개의 열에서 표시된다.
준지도 시간-스택 이미지 분할을 위한 U-Net 기반 심층 모델은 Adam 최적화기를 사용하여, 배치 사이즈 30, 반복 20000, 학습 레이트 0.001, β1 0.9, 및 β2 0.99로 훈련되었다. Adam 최적화기에 대해서는 본 명세서에 원용되어 통합되는 Kingma, D.P.; Ba, J. Adam: A Method for Stochastic Optimization. International Conference on Learning Representations 2014.를 참조한다.
훈련 단계에서, 입력 슬라이스 이미지는, 시간-스택 이미지의 유효한 영역 내의 슬라이딩 윈도우(크기는 220 x 220)(도 5 의 (b) 참조)를 이용한 랜덤 추출에 의해서 얻어졌다. 표 2 에서, 총 비디오 시간 및 비디오 프레임의 개수는 상단 비디오 이미지로부터 해수면 높이를 추출하기 위한 심층 시각 도메인 적응 모델을 위한 훈련용, 인증용, 및 테스트 세트를 나타낸다. 측면 및 상면으로부터의 비디오 이미지가 시간에 있어서 동기화되기 때문에, 상단 비디오 프레임의 개수는 측면 비디오 프레임의 개수와 같다.
소스 CNN 및 회귀 모델을 단-대-단 방식으로 훈련하기 위하여, Adam 최적화기를 사용하였고, 배치 사이즈 64, 반복 20000, 학습 레이트 0.0001, β1 0.9, 및 β2 0.999가 사용되었다. 타겟 CNN은 또한, 소스 CNN 훈련과 같은 설정으로 훈련되었다.
이러한 실험 모두는 단일 TITAN RTX 2080Ti(11 GB), Intel i9 CPU, 및 32 GB 메인 메모리가 장착된 워크스테이션에서 수행되었다. 훈련 시간은 훈련 데이터의 크기에 따라 달라질 수 있다.
제안된 네트워크는 과다학습(overfitting)을 피하기 위해서, 인증 손실(validation loss)의 관찰값으로 훈련되었다.
- 평가 메트릭(Evaluation Metrics)
타임-스택 이미지에 대한 물 영역 분할 모델의 성능을 평가하기 위해서 다이스 계수(Dice coefficient)(Dice)가 사용되었다. 이러한 정확도 메트릭에서, 실측 정보(ground truth) 마스크(Sg)가 테스트 데이터세트 내의 U-Net-기반 분할 모델로부터 추론된 분할 맵(Se)과 비교된다. 다음과 같은 다이스 계수는 두 개의 마스크들 사이의 중첩의 척도이고, 0 내지 1의 범위를 가지며, 여기에서 1은 완벽하고 완전한 중첩을 나타낸다.
RMSE 및 상관 계수(R)도 준지도 해수면 높이 분할 모드에서의 해수면 높이 측정의 성능을 평가하기 위해서 사용되었고, 해수면 높이는 심층 시각 도메인 적응법을 사용하여 추론되었다.
다이스 계수에 대해서는 본 명세서에 원용되어 통합되는 Tustison, N.; Gee, J. Introducing Dice, Jaccard, and other label overlap measures to ITK. Insight J 2009, 2.를 참조한다.
FloodFill 알고리즘을 사용하여 자동으로-생산된 분할 마스크의 정확도를 평가하기 위하여, 다이스 계수는 유효성 검증 알고리즘에 전달된 유효한 슬라이스 이미지에 기반하여 계산되었고, 그 결과가 표 3에 나타난다.
즉, 표 3은 (A), (B), 및(C) 위치에서의 자동 레이블링 데이터에 대한 FloodFill 알고리즘에 의해 생성되는 분할 마스크의 정화도를 나타낸다.
표 3에서 볼 수 있는 바와 같이, 규칙적인 파도의 경우에, 픽셀 중 약 95%가 세 개의 위치에서 전체 슬라이스 이미지 내에 매칭되었다는 것이 결정되었지만, 불규칙적인 파도 이미지의 경우에는, 평균 매칭 레이트가 85% 였다.
도 8 은 파도 레벨 측정을 위한 물 영역 분할 결과의 샘플을 보여준다.
도 8에서, (a)는 (B) 위치에서의 불규칙적 파도 실험의 측면 비디오로부터의 테스트 시간-스택 이미지 데이터 중 하나를 보여주고, (b)는 (a)를 입력함으로써 분할된 맵을 나타낸다.
이와 같이, 도 8 은 불규칙적 파도 실험 비디오의 시간-스택 이미지의 분할 결과를 보여준다. 도 8 의 (a)에 도시되는 시간-스택 이미지와 비교될 때, 분할된 맵이 잘 매칭된다는 것이 정량적으로 확정될 수 있다.
도 9 는 견실하게, 그리고 정확하게 분할된 맵의 결과를 보여준다. 도 9 의 (a)는 진행하는 파도에 의해 생기는 잔상 효과에 의해 생성되는 잡음이다. 그리고, 도 9 의 (b)의 사각형은, 잔상 효과에 기인하여 부분적으로 부정확하게 분할된 맵을 보여준다.
즉, 도 9에서,. (a)는 견실하고 정확한 분할 결과의 샘플을 보여주고, (b)는 전파하는 파도의 잔상 효과에 기인한 잡음으로 인한 부정확한 결과를 나타낸다.
표 4 는 세 개의 위치(A, B, 및 C) 각각에서의 상관 계수 R 및 RMSE의 평가 메트릭을 사용하여, 세 개의 위치에서의 파도 게이지 데이터와 비교한, 해수면 높이 분할의 성능을 보여준다.
표 4에서 알 수 있는 바와 같이, R 및 RMSE 값의 평균은 테스트 데이터 내의 규칙적이고 불규칙적인 파도 실험 비디오 이미지에 대해서 각각 각각 0.98, 0.91, 2.6, 및 1.45이었다. 또한, R의 경우, 불규칙적 파도는 규칙적인 파도보다 다소 더 낮은 상관을 보여주었지만, 불규칙적 파도 오차는 RMSE의 경우에 더 낮았다.
도 10 는 WP1의 대응하는 위치에서의 파도 게이지 측정이 있는, 위치(A)에서의 준지도 이미지 분할의 형태인 측정된 해수면 높이의 시계열을 보여준다. 즉, 도 10 은 불규칙한 파도 실험 비디오의 테스트 데이터에 대한, 위치 WP1에서의 파도 게이지로부터의 실측 정보(ground-truth)가 있는, 위치 (C)에서의 측정된 파도 해수면 높이 및 추정된 파도 해수면 높이의 시계열을 보여준다.
해수면 높이 추정의 성능을 심층 시각 도메인 적응을 통한 공동 표현 학습을 이용하여 평가하기 위하여, R 및 RMSE의 메트릭이 표 5 에서 계산되었다.
표 5는 심층 시각 도메인 적응을 통한 파도 해수면 높이 추정의 성능을 나타낸다.
R 및 RMSE 값의 평균은 심층 시각 도메인 적응에 대한 테스트 데이터 내의 규칙적이고 불규칙적인 파도 실험 비디오 이미지에 대해서 각각 각각 0.97, 0.85, 4.06, 및 2.28이었다.
상단 비디오 이미지를 대응하는 측면도 이미지로 매핑함으로써, 추정된 해수면 높이의 성능이 후자에서 측정된 해수면 높이보다 다소 낮았지만, 도 10 에 도시되는 시계열은 충분히 허용가능한 오차 범위를 내에서 해수면 높이 추정법으로서 활용될 수 있는 성능을 보여준다.
본 발명의 다른 양태에 따르면, 웨이브 플룸에서 촬영된 비디오 이미지로부터 해수면 높이를 정량화하기 위한 준지도 이미지 분할 및 심층 시각 도메인 적응 시스템이 개시된다.
본 발명의 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템은 도 4에 예시된 U-Net과 도 6에 예시된 도메인 적응 아키텍쳐를 결합하여 구성될 수 있다. 특히, 본 발명에 의한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템은 실시간 파도에 대한 제 1 비디오 이미지 및 제 2 비디오 이미지를 각각 획득하는 제 1 소스 및 제 2 소스를 포함하고, 제 1 소스 및 제 2 소스는 상이한 관점(viewpoint)을 가진다.
전술된 바와 같이, 실측 높이 데이터를 연속적으로 측정하기 위해서 웨이브 플룸에 설치된 파도 게이지가 설치되고, U-Net 아키텍처는 준지도 학습에 사용된다.
특히, 본 발명에 의한 시스템은 서로 다른 모달리티에서 실시간 파도에 대한 데이터를 각각 획득하여 소스 모델 및 타겟 모델을 각각 구성하는 제 1 소스 및 제 2 소스와, 도메인 적응 모듈, 그리고 해수면 높이 추정 모듈을 포함할 수 있다. 소스 CNN은 소스 모델에서 측정된 데이터로부터 소스 피쳐를 추출하고, 추출된 소스 피쳐로부터 실측 해수면 높이를 획득하는 역할을 하고, 타겟 CNN은 타겟 모델로부터 타겟 피쳐를 추출하는 역할을 한다. 그러면, 도메인 적응 모듈이 동일한 대상 영역에 대해서 동일한 시각에 획득된 소스 모델의 실측 해수면 높이인 소스 피쳐와 타겟 모델로부터 추출된 타겟 피쳐 사이의 공통 표현 공간(common representation space)을 구성하여, 실측 해수면 높이와 타겟 피쳐를 매칭시킨다. 그러면, 해수면 높이 추정 모델이 실측 파고 데이터와 공통 표현 공간을 사용하여, 타겟 피쳐로부터 대상 영역의 해수면 높이를 추정하게 된다.
본 발명에 의한 시스템을 웨이브 플룸에서 구현한 실시형태에 따르면, 이러한 시스템은 실시간 파도에 대한 제 1 비디오 이미지 및 제 2 비디오 이미지를 각각 획득하는 제 1 소스 및 제 2 소스, 실측 파고 데이터를 연속적으로 측정하기 위해서 상기 웨이브 플룸에 설치된 파도 게이지, U-Net 아키텍처를 이용한 준지도 학습을 통하여, 파도 게이지를 바라보는 관점을 가지는 제 1 소스로부터 획득된 제 1 비디오 이미지를 파도 영역과 배경 영역으로 레이블링하여 분할하기 위한 분할 모듈, 상이한 도메인에서 측정된 제 1 비디오 이미지 및 제 2 비디오 이미지 사이의 공통 표현 공간(common representation space)을 구성하여, 제 1 비디오 이미지의 피쳐와 제 2 비디오 이미지의 피쳐를 매칭시키는 도메인 적응 모듈, 및 실측 파고 데이터와 공통 표현 공간을 사용하여, 제 2 비디오 이미지로부터 해수면 고도를 추정하는 해수면 고도 추정 모듈을 포함할 수 있다.
이러한 경우, 제 1 소스는 상기 웨이브 플룸의 측면에서 파도 게이지를 바라보도록 설치된 카메라이고, 제 2 소스는 웨이브 플룸의 상단에서 웨이브 플룸에 저장된 물을 비스듬히 바라보도록 설치된 카메라일 수 있다.
이와 같이, 본 발명에 따라서 연안 파도 활동을 이해하기 위하여, 규칙적인 파도와 불규칙적 파도 비디오가 측면 및 상단 관점을 가지는 두 개의 카메라를 사용하여 동시에 획득되는 2D 실험이 유압식 실험실에서 수행되었다. 또한, 용량성 파도 게이지가 웨이브 플룸을 따라 여러 위치에 설치되어 해수면 높이에 대한 기준 데이터를 획득했다.
측면 비디오로부터 해수면 높이를 측정하기 위해서, U-Net-형 분할 네트워크가 구축되는데, 이것은 파도의 동적 장면을 제한된 개수의 레이블링된 데이터 및 의사-레이블을 가지고 배경으로부터 분리한다. 또한, 측면도 및 상면도 이미지들 사이의 피쳐 표현들 사이의 관계를 구축함으로써, 상단 비디오 이미지로부터 표면 해수면 높이를 추정하기 위한 도메인 적응 방법이 구현되었다.
규칙적인 파도와 불규칙적 파도 각각에 대해서 두 모델들의 성능이, 해수면 높이의 결정된 시계열을, 측정치에 대해서는 0.98 및 0.91 그리고 추정치에 대해서는 0.96 및 0.85의 상관 계수 내에서 양호하게 일치하는 세 개의 위치에서의 기준 파도 게이지 데이터와 비교함으로써 평가되었다.
이와 같이, 본 발명에 의하면 해안 연구에서, 비디오 이미지-기반 원격 감지를 하면 연속적이고 지역에 기반한, 고분해능 공간-시간적 모니터링이 가능해진다. 더욱이, 이상 및 비선형성의 비율이 높은 이러한 데이터는, 딥러닝 기술에 기반하여 데이터-구동 모델링이 가능해지게 한다. 이것은, 특히 연안 해안 프로세스를 이해하는데 있어서 큰 진보이다.
본 명세서에서는, 훈련용 데이터세트를 고안하기 위한 노동 집약적인 데이터 레이블링 문제를 완화하기 위하여, 준지도 학습을 통한 심층 이미지 분할 방법이 제안된다. 더욱이, 실세계 해안 지역에서의 해수면 높이를 측정하는 것을 쉬워지게 하는 단면을 얻는 것이 쉽지 않는 경우에, 상단 비디오 이미지를 통해서 높이를 추정할 수 있는 심층 시각 도메인 적응 프로시저도 역시 제안된다.
해안 지역에서는, 단면 비디오 이미지 대신에, 감지, 레이더, 위성, 및 숫자 시뮬레이션과 같은 상이한 소스(모달리티)로부터의 데이터를 사용하는 것이 필요하다. 측면 및 상단 비디오 이미지에 기반하여 해수면 높이를 측정하기 위한 두 개의 태스크가, 공동 표현 학습을 위한 U-Net 아키텍처 및 심층 시각 도메인 적응 각각에 기반하는 준지도 이미지 분할을 통하여, 2D 웨이브 플룸 내의 진행하는 규칙적 및 불규칙적 파도 실험 비디오에 적용되었다.
해수면 높이 측정치 및 추정 결과는 세 개의 위치에서의 실측 정보 파도 게이지와 비교할 때 잘 일치되었고, 규칙적 및 불규칙적 파도들 각각에 대해서 평균 상관 계수 R은 0.9 및 0.8이고, RMSE 오차는 0.2 및 0.3 이다.
제안된 준지도 학습 및 도메인 적응 접근법은 이용가능성을 최대화하고, 딥러닝 기술을 사용하는 비디오-기반 원격 감지 연구에 더 폭넓게 적용가능하다.
더욱이, 제안된 심층 시각 도메인 적응 방법은, 더 많은 도메인에 특유한 피쳐 추출이 학습되게 하기 때문에, 더 탄력적이다.
본 발명에 의해서 양호한 소스 분할 태스크 성능을 유지하면서, 그 안에서 도메인들이 서로 가까운 공간을 얻을 수 있기 때문에, 본 발명은 연안 해안 파도 프로세스를 연구하기 위한 매력적인 접근법이다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
예를 들면, 본 발명의 변형된 일 실시형태를 도시하는 도 11을 참조한다.
도 11을 참조하면, 높이 측정 과정과 파랑 영상에서의 높이 추정 과정을 분리한 접근 방법이 개시된다. 이러한 방법에 따르면 파랑 영상에서 파랑의 움직임 정보를 비지도 학습 모델을 이용해 추출하고, 파랑 움직임 정보와 높이 간 비선형적 관계를 Wave Height Prediction 모델로 학습할 수 있다.
특히, 높이 측정을 위해서 수조 실험에서 높이 측정을 위한 모달리티로써 수조 측면에서 촬영한 비디오 영상을 사용할 수 있고, 측면 비디오 영상에서 원근 투영(Perspective Projection)을 통해 높이를 측정하고자 하는 영역을 결정하고, 높이 측정 위치에서 시간에 따른 영상 정보를 누적하여, 시간-높이 맵(Time-Height Map)을 생성한다.
그 후에, 시간-높이 맵에서 U-Net 모델을 이용하여 파랑 영역을 분할하여 높이 정보를 연산하고, 측면에서 사용한 측정한 높이 정보는 파랑 영상 높이 추정의 결과값으로 학습에 사용할 수 있다.
도 11의 실시형태에 따르면 높이 측정 기법의 정확도는 수조에 설치된 높이 센서 값과 비교하여 평가되고, 높이 측정 모달리티(측면 영상)와 높이 추정 모달리티(정면 파랑 영상)를 분리하여, 높이를 알 수 없는 파랑 비디오 영상으로부터 높이 정보를 추정할 때, 제안 기법의 정확도가 평가될 수 있다. 현재 높이 측정 모달리티(측면 영상)은 전체 프레임워크의 유효성을 검증하기 위한 수조 실험에 맞추어 결정되었으며, 실해역에서 높이 측정 기법에 따라 모달리티의 종류는 다양해질 수 있지만, 높이 측정과 높이 추정 모달리티 및 과정을 분리함으로써 제안한 비디오 기반 높이 추정 방식은 다른 높이 측정 모달리티와도 결합될 수도 있다.
또한, 파랑 영상으로부터의 높이 추정은 (1) 원근 투영을 이용한 ROI 결정, (2) 장면 분리 모델을 이용한 파랑 영역 정보 분리, (3) 비지도 영상 정합 기법 및 픽셀 단위 추적 기법을 이용한 파랑 움직임 정보(Wave Displacement) 획득, (4) 파랑 움직임 정보와 높이 측정 모달리티로부터 획득한 높이 정보 간 비선형 맵핑을 학습하여, 높이 추정 모델(Wave Height Prediction Model) 구축의 과정을 통하여 이루어질 수 있다.
특히, (4) 번 스텝에서 픽셀 단위 추적 기법을 포함한 것은 높이 측정 모달리티와 파랑 영상(정면 영상) 간 시간 스텝이 일치하지 않고, 높이 측정 모달리티의 시간 스텝이 길 경우 추적을 통해 대응시킬 수 있기 때문이지만, 높이 측정 모달리티와 높이 추정 모달리티 간 시간 스텝이 일치하는 경우에는 사용하지 않을 수도 있다.
또한, 두 도메인 사이의 피쳐 결합이 언제 이루어지느냐에 따라서 도 12와 도 13에 도시된 실시형태들이 사용될 수도 있다.
도 12 및 도 13 은 본 발명의 다른 실시형태들을 비교하는 도면들이다.
도 12 의 실시형태에 따르면, 높이 추정 과정에서는 멀티 모달리티 입력에 대응하여, 높이 추정에 요구되는 각 모달리티의 잠정적인 피쳐를 학습하는 신경망 경로를 포함하고 있으며, 잠정적인 피쳐를 결합(Fusion)하여 높이 측정 모달리티로부터 획득한 높이를 추정할 수 있다.
높이 측정 모달리티(측면 영상)과 높이 추정 모달리티(정면 영상)에서 포함된 정보가 다르며, 실해역에서 높이 측정 모달리티가 다양해질 수 있다는 측면에서 별개의 신경망 경로를 통해 각 모달리티에 대한 잠정적인 피쳐를 학습하는 것이 적합할 수 있다. 하지만, 높이 측정 모달리티를 입력으로 사용하기 때문에 높이 추정을 위해 항시 모달리티 입력이 요구되는 제한이 있을 수 있다.
도 13 의 실시형태에서는, (1) 높이를 정확하게 측정할 수 있는 높이 측정 모달리티와 측정 높이 값 간의 높이 측정 신경망을 먼저 학습하고, (2) 파랑 추정 모달리티로부터 높이 측정 신경망의 잠정적인 피쳐를 추정하는 잠정적인 피쳐 예측 신경망을 추후에 학습시켜, (3) 높이 추정 모달리티(정면 영상)으로부터 추정된 잠정적인 피쳐를 높이 측정 신경망에 입력으로 넣어 높이를 추정하고 있다.
도 13의 실시형태는 높이 측정과 높이 추정 모달리티를 분리한다는 점에서 도 12 의 실시형태와 다른 접근이며, 도 11 의 실시형태와 다른 점은 높이 추정 모달리티를 높이와 직접적으로 매핑하는 것이 아니라, 높이 측정 모달리티 -> 높이 측정 신경망의 잠정적인 피쳐 -> 높이 측정 결과로 이어지는 간접적인 맵핑 방식이라는 것이다.
도 13 의 실시형태는 높이 측정 모달리티와 높이 추정 모달리티 간 차이(시간 스텝이나 모달리티 종류 등)에 유연하게 동작할 수 있다는 장점을 가진다.
이러한 실시형태들을 조금 더 자세히 설명하면 다음과 같다.
도 14 는 장면 분리와 에지 검출에 기반한 높이 측정 기법의 비디오 전처리 과정을 설명하는 도면이다.
측면 영상으로부터 높이를 측정하기 위하여, 비스듬히 촬영된 비디오 영상을 그것에 포함된 표지점을 기준으로 실측 크기로 변환하는 원근투영변환(Perspective Projection Transformation)을 수행한다. 1920 x 1080 해상도 비디오 영상은 수조 영역만을 포함하는 620 x 220 해상도 측면 파랑 영상으로 변형될 수 있다.
또한, 비디오 왜곡이 높이 측정에 주는 영향을 최소화하기 위하여, 원근투영변환의 좌표는 파랑이 없는 잔잔한 상태의 파랑 경계가 수평이 되도록 설정된다.
- 장면 분리 및 에지 검출 통한 높이 측정
본 기법은 변환된 이미지에 에지 검출기(예를 들어, Sobel edge detector)를 적용하여 에지를 추출한 후, 움직이는 파랑 경계에 해당하는 에지만 남기기 위해 장면 분리를 수행한다. 이후에 센서 측정 위치에 해당하는 파랑 경계 정보를 시간에 따라 누적하여, 시간-높이 맵을 생성한 뒤 높이를 측정한다.
또한, 파랑 경계를 추출하기 위해 측면 파랑 영상을 그레이스케일 영상으로 변환한 다음 Sobel 에지 검출기를 적용한다. 그러나 이 알고리즘은 파랑 경계뿐만 아니라 파랑 및 배경 영역 내에 존재하는 많은 에지를 검출하기 때문에 장면 분리 모델을 사용하여 이러한 불필요한 에지를 제거하는 것이 바람직하다.
도 15 는 장면 분리 모델의 구조를 나타내는 도면이다.
장면 분리는 시간에 따라 움직이는 영역을 추출하는 과정으로, 비디오 영상에서 전경 및 전경 마스크를 추출하는 비지도 학습 딥러닝 모델을 이용한다. 장면 분리 모델은 연속된 시퀀스 영상을 입력 받아 압축하는 인코더, 복원하는 과정에서 전경과 마스크 를 생성하는 전경 스트림과 배경 를 생성하는 배경 스트림으로 구성된다. 여기서 입력 영상의 복원은 다음 수식과 같이 표현된다:
장면 분리 모델은 입력 영상의 복원과 마스크 희소성을 동시에 달성하도록 훈련되는데, 훈련 손실은 다음과 같다:
여기서 λ는 임의의 상수이다. 배경은 여러 프레임으로 구성된 입력 영상 중 오직 프레임 간 움직이지 않는 영역만을 복원할 수 있도록 단일 프레임으로 구성하고, 마스크는 전경과 배경의 활용도를 표현하기 위해 하나의 채널을 가진다. 마스크 희소성 손실을 최소화하기 위해 모델은 배경을 적극적으로 활용하도록 훈련되고, 마스크는 입력 프레임 간에 움직이는 픽셀 영역에 대해서만 활성화되도록 격려된다.
파랑 경계 분리를 위하여, 4개의 연속된 Sobel 에지 이미지를 사용하여 장면 분리 모델을 훈련시킨다. 훈련된 장면 분리 모델로 각 Sobel 에지 이미지에 대응되는 마스크를 추출함으로써 파랑 경계 이외의 에지가 제거된 에지 이미지를 얻는다.
측면 파랑 영상은 파원으로부터 각 17m, 19m, 21m 떨어진 센서를 포함하는데, 영상에서 센서에 대응되는 열을 가져와 시간 순으로 나열함으로써 3개의 시간-높이 맵을 얻는다. 시간-높이 맵의 x축은 시간을 나타내고, y축은 파랑 경계를 나타낸다. x축 방향의 한 픽셀은 시간 1/30초에 해당하고, y축 방향의 한 픽셀은 높이 0.5cm에 대응된다. 시간-높이 맵은 변환된 이미지로부터 센서에 대응하는 위치 1개 열을 시간으로 누적하여 생성하기 때문에, 시간-높이 맵의 y축 해상도는 220이다.
시간-높이 맵의 최대값이 1이 되도록 정규화 수행 후 임계값 이상의 에지 중 y축으로 가장 낮은 위치의 에지를 최종 파랑 경계로 결정한다. 임계는 0.1부터 1.0까지의 임계 중 파랑 경계 값의 분산이 가장 작은 임계로 결정한다.
도 16 은 훈련 및 시험 데이터의 프레임 개수를 보여주는 그래프이다
파랑은 실험실 환경에서 인공적으로 만들어지며 비디오는 파랑의 종류에 따라 총 5개의 케이스로 구분된다. 도 16 은 훈련 및 시험 데이터로 사용한 케이스와 각 케이스의 프레임 개수를 보여준다.
- 네트워크 하이퍼 파라미터 셋팅, 학습 방법
장면 분리 모델의 입력은 4개의 620 x 220 해상도 영상이며, 배치 크기 4, λ는 0.1로 설정된다. 이러한 모델은 학습률 0.0001, beta1 0.9, beta2 0.999의 Adam 최적화기로 100,000 반복 동안 훈련된다. 모델은 오직 훈련 데이터만으로 훈련되었다.
- 높이 측정 결과 평가 방법(metric)
비디오를 촬영할 때 센서가 측정한 높이 값을 실측 데이터로 사용하여 각 17m, 19m, 21m에 대해 영상으로부터 추정한 높이와 대응되는 센서의 값에 대해 요소별 비교를 수행한다. 이러한 메트릭은 다음의 상관 계수, 평균 바이어스 오차, 평균제곱자승 오차를 포함한다.
전술된 내용을 고려하면, 연안 파도 활동을 이해하기 위한 첫 번째 단계로서 광학 이미지에 대한 딥러닝 기반 컴퓨터 비전 접근법, 준지도 이미지 분할 기법, 및 멀티-뷰 웨이브 플룸 비디오를 통해서 해수면 높이를 측정 및 추정하기 위한 시각 도메인 적응 방법이 개시된다.
이러한 기법은 이미지 또는 비디오 프레임을 대상물 또는 그 일부를 나타내는 다수의 세그먼트로 분할하는 것을 수반하고, 여러 픽셀 세트를 포함하는 이미지 분할은, 여러 가지 중에서 장면 이해, 의료용 이미지 분석, 로봇의 지각, 비디오 감시, 및 이미지 압축과 같은, 시각적 이해 시스템에 관련되는 많은 컴퓨터 비전 태스크에서의 필수적인 프로세스이다.
결과적으로, 본 발명에 따르면, 웨이브 플룸 실험을 통해서 얻어진 시간-동기화된 멀티-뷰 비디오 카메라 이미지를 사용하여, 각각 심층 이미지 분할 및 심층 시각 도메인 적응을 통해서 해수면 높이를 측정하고 추정하기 위한 접근법이 개시된다.
본 발명은, 측면도 관점으로부터 해수면 높이를 측정하고 종래의 파도 게이지를 사용하여 성능을 평가하기 위하여, 준지도 이미지 분할을 위하여 실험실 조건에서 수집된 비디오 이미지를 채용한다.
또한, 본 발명은 상단 비디오로부터 해수면 높이를 추정하기 위하여 그리고 방법론이 일반화되고 다른 데이터세트에 적용될 수 있게 하기 위하여, 심층 시각 도메인 적응을 위한, 이차 카메라로부터의 멀티-뷰 실험실 비디오 이미지를 채용한다.
다른 데이터세트는 각각의 공간 내의 다양한 모달리티(modalities)가 있는 실험실 및 실제-바다 비디오 이미지를 포함한다. 그러나, 본 발명에서는 실험이 멀티-뷰 비디오 데이터세트를 사용하여 수행된다.
또한, 본 발명에 따르는 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 분산 컴퓨터 시스템에 의하여 분산 방식으로 실행될 수 있는 컴퓨터가 읽을 수 있는 코드를 저장할 수 있다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다. 그리고, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
따라서, 본 실시예 및 본 명세서에 첨부된 도면은 본 발명에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 본 발명의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 본 발명의 권리범위에 포함되는 것이 자명하다고 할 것이다.
본 발명은 목적은 양호한 소스 분할 태스크 성능을 유지하면서, 그 안에서 도메인들이 서로 가까운 공간을 얻는 것으로서, 이러한 비디오-기반 파도 측정 및 추정 기법은 연안 해안 파도 프로세스를 연구하기 위해 적용될 수 있고, 추후에는 전체 물 진행 프로세스를 모델링하는 데에 적용될 수 있다.
Claims (16)
- 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법으로서,
상기 소스 모델에서 측정된 데이터로부터 소스 피쳐를 추출하는 단계;
상기 소스 피쳐로부터 실측 해수면 높이를 획득하는 단계;
상기 타겟 모델로부터 타겟 피쳐를 추출하는 단계;
동일한 대상 영역에 대해서 동일한 시각에 획득된 상기 소스 모델의 실측 해수면 높이인 소스 피쳐와 상기 타겟 모델로부터 추출된 타겟 피쳐 사이의 공통 표현 공간(common representation space)을 구성하여, 상기 실측 해수면 높이와 상기 타겟 피쳐를 매칭시키는 도메인 적응 단계; 및
상기 실측 파고 데이터와 상기 공통 표현 공간을 사용하여, 상기 타겟 피쳐로부터 상기 대상 영역의 해수면 높이를 추정하는 단계를 포함하는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법. - 제1항에 있어서,
상기 공통 표현 공간은 동일한 대상 영역에 대해 상기 소스 모델의 소스 피쳐와 상기 타겟 피쳐를 동기화시킴으로써 구성되고,
해수면 높이 추정은 상기 소스 모델의 피쳐 레벨에서 수행되며,
상기 소스 모델은, 부이, 관측 타워, 관측 조사선에 설치된 파랑 관측 설비, 대상 영역에 대한 측면 비디오 이미지, 상기 대상 영역에 대한 수치 모델 중 적어도 하나를 포함하는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법. - 제2항에 있어서,
상기 도메인 적응 단계는,
소스 도메인에서 학습되는 소스 CNN(Convolutional Neural Network) 및 상기 타겟 도메인에서 학습되는 타겟 CNN 사이의 손실 함수를 계산하고, 계산된 손실 함수를 반복적으로 최소화함으로써 상기 소스 모델과 상기 타겟 모델 사이의 표현 거리를 최소화하는 것을 포함하는 것을 특징으로 하는, 해수면 고도 정량화 방법. - 제3항에 있어서,
상기 방법은,
추정된 해수면 높이를 상기 실측 해수면 높이와 비교하여 해수면 높이의 추정 성능을 평가하고, 평가된 성능을 기초로 상기 소스 CNN 및 상기 타겟 CNN을 학습시키는 단계를 더 포함하는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법. - 제1항에 있어서,
상기 소스 모델은 웨이브 플룸에서 시뮬레이션되는 실시간 파도에서 대상 영역을 제 1 관점(viewpoint)으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 1 비디오 이미지를 포함하고,
상기 타겟 모델은 상기 대상 영역을 상기 제 1 관점과 다른 제 2 관점으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 2 비디오 이미지를 포함하며,
동일한 시점에서 획득된 상기 제 1 비디오 이미지 및 상기 제 2 비디오 이미지는 동일한 시간 서명(time signature)을 공통 특징으로서 공유하는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법. - 제1항에 있어서,
상기 제 1 소스는 웨이브 플룸의 측면으로부터 설치된 파도 게이지를 바라보도록 설치된 카메라이며,
상기 제 2 소스는 상기 웨이브 플룸의 상단으로부터 상기 웨이브 플룸을 비스듬히 바라보도록 설치된 카메라인 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법. - 제6항에 있어서,
상기 방법은,
상기 제 2 소스를 사용하여 비스듬히 촬영된 비디오 영상을 표지점을 기준으로 실측 크기로 변환하는 지오-교정(geo-rectification) 과정을 수행하는 단계; 및
상기 웨이브 플룸의 특정 단면 위치에서의 시간-스택 이미지를 시간과 함께 제공하는 단계를 더 포함하는 것을 특징으로 하는, 해수면 고도 정량화 방법. - 제7항에 있어서,
상기 제 1 비디오 이미지를 파도 영역과 배경 영역으로 레이블링하여 분할하는 단계는,
상기 제 1 비디오 이미지의 시간-스택 이미지의 영역 마스크를 상기 시간-스택 이미지 내의 기준 픽셀 및 인접한 픽셀 사이의 휘도 및 색상차에 기반하여 생성하는 것;
상기 영역 마스크 중 유효성 평가를 통해서 유효하다고 판정된 유효한 영역만을 사용하여 상기 시간-스택 이미지의 레이블링 데이터를 생성하는 것;
생성된 레이블링 데이터로부터 정확하게 분할된 이미지 슬라이스를 식별하는 것; 및
식별된 이미지 슬라이스를 사용하여 분할 네트워크를 재훈련시키는 것을 포함하는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법. - 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템으로서,
서로 다른 모달리티에서 실시간 파도에 대한 데이터를 각각 획득하여 소스 모델 및 타겟 모델을 각각 구성하는 제 1 소스 및 제 2 소스;
상기 소스 모델에서 측정된 데이터로부터 소스 피쳐를 추출하고, 상기 소스 피쳐로부터 실측 해수면 높이를 획득하는 소스 CNN(Convolutional Neural Network);
상기 타겟 모델로부터 타겟 피쳐를 추출하는 타겟 CNN; 및
동일한 대상 영역에 대해서 동일한 시각에 획득된 상기 소스 모델의 실측 해수면 높이인 소스 피쳐와 상기 타겟 모델로부터 추출된 타겟 피쳐 사이의 공통 표현 공간(common representation space)을 구성하여, 상기 실측 해수면 높이와 상기 타겟 피쳐를 매칭시키는 도메인 적응 모듈; 및
상기 실측 파고 데이터와 상기 공통 표현 공간을 사용하여, 상기 타겟 피쳐로부터 상기 대상 영역의 해수면 높이를 추정하는 해수면 높이 추정 모듈을 포함하는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템. - 제9항에 있어서,
상기 공통 표현 공간은 동일한 대상 영역에 대해 상기 소스 모델의 실측 해수면 높이와 상기 타겟 피쳐를 동기화시킴으로써 구성되고,
해수면 높이 추정은 상기 소스 모델의 피쳐 레벨에서 수행되며,
상기 소스 모델은, 부이, 관측 타워, 관측 조사선에 설치된 파랑 관측 설비, 대상 영역에 대한 측면 비디오 이미지, 상기 대상 영역에 대한 수치 모델 중 적어도 하나를 포함하는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템. - 제10항에 있어서,
상기 도메인 적응 모듈은,
소스 도메인에서 학습되는 소스 CNN(Convolutional Neural Network) 및 상기 타겟 도메인에서 학습되는 타겟 CNN 사이의 손실 함수를 계산하고, 계산된 손실 함수를 반복적으로 최소화함으로써 상기 소스 모델과 상기 타겟 모델 사이의 표현 거리를 최소화하도록 구성되는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템. - 제11항에 있어서,
상기 시스템은,
추정된 해수면 높이를 상기 실측 해수면 높이와 비교하여 해수면 높이의 추정 성능을 평가하고, 평가된 성능을 기초로 상기 소스 CNN 및 상기 타겟 CNN을 학습시키기 위한 평가 모듈을 더 포함하는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템. - 제9항에 있어서,
상기 소스 모델은 웨이브 플룸에서 시뮬레이션되는 실시간 파도에서 대상 영역을 제 1 관점(viewpoint)으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 1 비디오 이미지를 포함하고,
상기 타겟 모델은 상기 대상 영역을 상기 제 1 관점과 다른 제 2 관점으로 바라보는 제 1 소스를 사용하여 획득된 실시간 파도에 대한 제 2 비디오 이미지를 포함하며,
동일한 시점에서 획득된 상기 제 1 비디오 이미지 및 상기 제 2 비디오 이미지는 동일한 시간 서명(time signature)을 공통 특징으로서 공유하는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템. - 제9항에 있어서,
상기 시스템은,
U-Net 아키텍처를 이용한 준지도 학습을 통하여, 상기 제 1 비디오 이미지를 파도 영역과 배경 영역으로 레이블링하여 분할하기 위한 분할 모듈을 더 포함하고,
상기 제 1 소스는 웨이브 플룸의 측면으로부터 설치된 파도 게이지를 바라보도록 설치된 카메라이며,
상기 제 2 소스는 상기 웨이브 플룸의 상단으로부터 상기 웨이브 플룸을 비스듬히 바라보도록 설치된 카메라인 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템. - 제14항에 있어서,
상기 제 1 소스는, 상기 웨이브 플룸의 특정 단면 위치에서의 시간-스택 이미지를 시간과 함께 제공하고,
상기 제 2 소스는, 비스듬히 촬영된 비디오 영상을 표지점을 기준으로 실측 크기로 변환하는 지오-교정(geo-rectification) 과정을 수행하도록 구성되는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템. - 제15항에 있어서,
상기 분할 모듈은,
상기 제 1 비디오 이미지의 시간-스택 이미지의 영역 마스크를 상기 시간-스택 이미지 내의 기준 픽셀 및 인접한 픽셀 사이의 휘도 및 색상차에 기반하여 생성하고,
상기 영역 마스크 중 유효성 평가를 통해서 유효하다고 판정된 유효한 영역만을 사용하여 상기 시간-스택 이미지의 레이블링 데이터를 생성하며,
생성된 레이블링 데이터로부터 정확하게 분할된 이미지 슬라이스를 식별하고,
식별된 이미지 슬라이스를 사용하여 분할 네트워크를 재훈련시키도록 구성되는 것을 특징으로 하는, 도메인 적응에 의하여 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210088286A KR102648567B1 (ko) | 2021-07-06 | 2021-07-06 | 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210088286A KR102648567B1 (ko) | 2021-07-06 | 2021-07-06 | 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230007666A true KR20230007666A (ko) | 2023-01-13 |
| KR102648567B1 KR102648567B1 (ko) | 2024-03-18 |
Family
ID=84900351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210088286A KR102648567B1 (ko) | 2021-07-06 | 2021-07-06 | 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102648567B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103591939A (zh) * | 2013-10-29 | 2014-02-19 | 中国科学院力学研究所 | 基于主动立体视觉技术的模拟海床地形测量方法及测量装置 |
| KR20170080417A (ko) | 2015-12-30 | 2017-07-10 | 경남대학교 산학협력단 | 항해용 레이더를 이용한 파고 측정 시스템 및 측정 방법 |
| KR20170139468A (ko) | 2017-11-29 | 2017-12-19 | 주식회사 오션이엔지 | 해양 파고 측정 검교정 장치 |
| KR20200112645A (ko) * | 2019-03-22 | 2020-10-05 | (주)해안해양기술 | 실시간 검증이 가능한 고정밀 파랑 예측 시스템 |
| JP6858415B2 (ja) * | 2019-01-11 | 2021-04-14 | 学校法人福岡工業大学 | 海面計測システム、海面計測方法および海面計測プログラム |
| KR20210083541A (ko) * | 2019-12-27 | 2021-07-07 | 대우조선해양 주식회사 | 선박용 cctv 카메라를 이용한 파랑 계측 시스템 및 방법 |
-
2021
- 2021-07-06 KR KR1020210088286A patent/KR102648567B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103591939A (zh) * | 2013-10-29 | 2014-02-19 | 中国科学院力学研究所 | 基于主动立体视觉技术的模拟海床地形测量方法及测量装置 |
| KR20170080417A (ko) | 2015-12-30 | 2017-07-10 | 경남대학교 산학협력단 | 항해용 레이더를 이용한 파고 측정 시스템 및 측정 방법 |
| KR20170139468A (ko) | 2017-11-29 | 2017-12-19 | 주식회사 오션이엔지 | 해양 파고 측정 검교정 장치 |
| JP6858415B2 (ja) * | 2019-01-11 | 2021-04-14 | 学校法人福岡工業大学 | 海面計測システム、海面計測方法および海面計測プログラム |
| KR20200112645A (ko) * | 2019-03-22 | 2020-10-05 | (주)해안해양기술 | 실시간 검증이 가능한 고정밀 파랑 예측 시스템 |
| KR20210083541A (ko) * | 2019-12-27 | 2021-07-07 | 대우조선해양 주식회사 | 선박용 cctv 카메라를 이용한 파랑 계측 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102648567B1 (ko) | 2024-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jafari et al. | Real-time water level monitoring using live cameras and computer vision techniques | |
| Jia et al. | Using time-of-flight measurements for privacy-preserving tracking in a smart room | |
| WO2021007514A1 (en) | Active learning for inspection tool | |
| Osorio et al. | An algorithm for the measurement of shoreline and intertidal beach profiles using video imagery: PSDM | |
| JP2017033197A (ja) | 変化領域検出装置、方法、及びプログラム | |
| CN111141653B (zh) | 一种基于神经网络的隧道渗漏速率预测方法 | |
| US20220128358A1 (en) | Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction | |
| Wang et al. | Robust AUV visual loop-closure detection based on variational autoencoder network | |
| Yousef et al. | Shoreline extraction from light detection and ranging digital elevation model data and aerial images | |
| Koo et al. | A Bayesian based deep unrolling algorithm for single-photon lidar systems | |
| Dusek et al. | WebCAT: Piloting the development of a web camera coastal observing network for diverse applications | |
| Donini et al. | A deep learning architecture for semantic segmentation of radar sounder data | |
| Asif et al. | An active contour and kalman filter for underwater target tracking and navigation | |
| Long et al. | A comprehensive deep learning-based outlier removal method for multibeam bathymetric point cloud | |
| KR102648567B1 (ko) | 서로 다른 모달리티에서 획득된 소스 모델 및 타겟 모델 사이의 도메인 적응에 의하여 대상 영역에 대한 해수면 높이를 추정하기 위한 심층 시각 도메인 적응 방법 및 시스템 | |
| Yang et al. | Knowledge Distillation for Feature Extraction in Underwater VSLAM | |
| US20170169576A1 (en) | Crowd intelligence on flow velocity measurement | |
| Kim et al. | Deep visual domain adaptation and semi-supervised segmentation for understanding wave elevation using wave flume video images | |
| Pham et al. | Channel facies and faults multisegmentation in seismic volumes | |
| Qin | Autonomous environment and target perception of underwater offshore vehicles | |
| Scott et al. | Quantifying the degradation of optical algorithms in increasingly turbid mediums | |
| Xie | Machine Learning for Inferring Depth from Side-Scan Sonar Images | |
| DeBortoli | Deep perception without a camera: Enabling 3d reconstruction and object recognition using lidar and sonar sensing | |
| Rayhana | Video data analytics for the automation of water pipeline inspection | |
| Zhang | Image processing for ice parameter identification in ice management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |