KR102611117B1 - 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법 - Google Patents
왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법 Download PDFInfo
- Publication number
- KR102611117B1 KR102611117B1 KR1020230080112A KR20230080112A KR102611117B1 KR 102611117 B1 KR102611117 B1 KR 102611117B1 KR 1020230080112 A KR1020230080112 A KR 1020230080112A KR 20230080112 A KR20230080112 A KR 20230080112A KR 102611117 B1 KR102611117 B1 KR 102611117B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- underwater
- unit
- water
- overlapping
- Prior art date
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 142
- 238000012937 correction Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000006641 stabilisation Effects 0.000 claims abstract description 37
- 238000011105 stabilization Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 5
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 102220047090 rs6152 Human genes 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
본 발명은 수상 및 수중 영상의 중첩 촬영 영상을 이용하여 수중 영상의 왜곡을 보정하고, 수상 영상과 보정된 수중 영상을 정합할 수 있는 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법에 관한 것으로, 그 구성은, 수상 영상을 촬영하는 수상 촬영부, 수중 영상을 촬영하는 수중 촬영부, 수상 촬영부에 의해 촬영된 수상 영상을 기반으로 객체를 감지하는 객체 감지부, 감지된 객체를 기준으로 수상 촬영부의 영상 촬영 안정화를 수행하는 영상 촬영 안정화부, 영상 촬영 안정화 정보를 기반으로 수상 영상을 이용하여 객체 방위 정보를 생성하는 객체 방위 정보 생성부, 객체 방위 정보를 이용하여 수상 촬영부 및 수중 촬영부의 촬영 동기화 및 연속 촬영을 수행하는 촬영 동기화부, 연속 촬영된 복수의 수상 영상 및 수중 영상 중 각각 다른 시간에 촬영된 수상 영상 및 수중 영상을 이용하여 중첩 촬영 영상을 검출하는 중첩 촬영 영상 검출부, 중첩 촬영 영상을 이용하여 수중 영상의 왜곡 보정을 수행하는 수중 영상 왜곡 보정부 및 수상 영상과 왜곡이 보정된 수중 영상을 정합하여 정합 영상을 생성하는 수상/수중 영상 정합부를 포함한다.
Description
본 발명은 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법에 관한 것으로, 자세하게는 수상 및 수중 영상의 중첩 촬영 영상을 이용하여 수중 영상의 왜곡을 보정하고, 수상 영상과 보정된 수중 영상을 정합할 수 있는 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법에 관한 것이다.
무인 수상정 또는 수상 드론은 사람이 탑승하지 않고도 수면 위를 항해하며 작업을 수행할 수 있도록 설계된 자율 또는 원격으로 작동하는 선박의 일종이다.
수상 드론은 해상 환경에서 승무원이 탑승할 필요가 없기 때문에 인명 사고의 위험 감소 및 비용 절감 등 다양한 이점을 제공한다. 이에 따라, 수상 드론은 해상 감시, 해상 작업, 환경 모니터링, 과학 연구 등의 분야에서 활용되고 있다.
특히, 최근 수상 드론은 다양한 카메라 및 센서 등을 이용하여 주변 상황을 측정하는 형태로 주로 활용되고 있다. 하지만, 촬영된 수중 영상의 왜곡을 고려하지 않은 방법으로 해상에 존재하는 객체의 전체 형태를 파악하는 데 있어 한계가 존재한다.
따라서, 앞서 설명한 종래 기술의 한계를 해결하기 위해 촬영된 수중 영상의 왜곡을 보정하고, 수상 영상과 보정된 수중 영상을 정합할 수 있는 시스템 및 그 방법의 필요성이 있다.
본 발명이 이루고자 하는 기술적 과제는 객체를 기준으로 영상 촬영 안정화를 수행하고 객체 방위 정보를 생성함으로써 수상 및 수중 촬영을 동기화할 수 있는 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법에 관한 것이다.
또한, 본 발명이 이루고자 하는 기술적 과제는 수상 영상과 보정된 수중 영상을 정합할 수 있는 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법에 관한 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템은, 수상 영상을 촬영하는 수상 촬영부, 수중 영상을 촬영하는 수중 촬영부, 상기 수상 촬영부에 의해 촬영된 수상 영상을 기반으로 객체를 감지하는 객체 감지부, 감지된 객체를 기준으로 상기 수상 촬영부의 영상 촬영 안정화를 수행하는 영상 촬영 안정화부, 영상 촬영 안정화 정보를 기반으로 상기 수상 영상을 이용하여 객체 방위 정보를 생성하는 객체 방위 정보 생성부, 상기 객체 방위 정보를 이용하여 상기 수상 촬영부 및 상기 수중 촬영부의 촬영 동기화 및 연속 촬영을 수행하는 촬영 동기화부, 상기 연속 촬영된 복수의 수상 영상 및 수중 영상 중 각각 다른 시간에 촬영된 수상 영상 및 수중 영상을 이용하여 중첩 촬영 영상을 검출하는 중첩 촬영 영상 검출부, 상기 중첩 촬영 영상을 이용하여 수중 영상의 왜곡 보정을 수행하는 수중 영상 왜곡 보정부; 및 상기 수상 영상과 상기 왜곡이 보정된 수중 영상을 정합하여 정합 영상을 생성하는 수상/수중 영상 정합부를 포함할 수 있다.
또한, 상기 영상 촬영 안정화부는, 자이로 센서, 관성 측정 장치(IMU), 자세 방향 기준 시스템(AHRS) 및 관성 항법 장치(INS) 중 적어도 하나를 이용하여 상기 수상 촬영부를 제어하며, 상기 수상 촬영부의 제어 정보는 영상 촬영 안정화 정보로서 상기 객체 방위 정보 생성부에 제공될 수 있다.
또한, 상기 수중 영상 왜곡 보정부는, 상기 연속 촬영된 수상 영상과 상기 중첩 촬영 영상을 이용하여 수상 중첩 촬영 영상을 획득하는 수상 중첩 촬영 영상 획득부 및 상기 연속 촬영된 수중 영상과 상기 중첩 촬영 영상을 이용하여 수중 중첩 촬영 영상을 획득하는 수중 중첩 촬영 영상 획득부를 포함할 수 있다.
여기서, 상기 중첩 촬영 영상은 상기 연속 촬영된 수상 영상과 수중 영상을 비교하여 최대로 중첩되는 부분이 존재하는 영상의 일부분을 포함하고, 상기 수상 중첩 촬영 영상은 상기 중첩 촬영 영상을 기반으로 수상 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수상 영상이고, 상기 수중 중첩 촬영 영상은 상기 중첩 촬영 영상을 기반으로 수중 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수중 영상일 수 있다.
또한, 상기 수중 영상 왜곡 보정부는, 상기 수상 중첩 촬영 영상을 기준으로 상기 수중 중첩 촬영 영상의 특성을 비교하여 왜곡 함수를 산출하는 왜곡 함수 산출부 및 상기 산출된 왜곡 함수를 이용하여 왜곡 보정 함수를 산출하는 왜곡 보정 함수 산출부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 방법은, a) 수상 촬영부를 이용하여 수상 영상을 촬영하고 수상 영상을 획득하는 단계, b) 상기 수상 촬영부로부터 획득한 수상 영상을 기반으로 객체를 감지하는 단계, c) 상기 감지된 객체를 기준으로 상기 수상 촬영부의 영상 촬영 안정화를 수행하는 단계, d) 영상 촬영 안정화 정보를 기반으로 상기 수상 영상을 이용하여 객체 방위 정보를 생성하는 단계, e) 상기 객체 방위 정보를 이용하여 상기 수상 촬영부 및 수중 촬영부의 촬영 동기화 및 연속 촬영을 수행하는 단계, f) 상기 연속 촬영된 복수의 수상 영상 및 수중 영상 중 각각 다른 시간에 촬영된 수상 영상 및 수중 영상을 이용하여 중첩 촬영 영상을 검출하는 단계, g) 상기 중첩 촬영 영상을 이용하여 수중 영상의 왜곡 보정을 수행하는 단계 및 h) 상기 수상 영상과 상기 왜곡이 보정된 수중 영상을 정합하여 정합 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 단계 c)는, 자이로 센서, 관성 측정 장치(IMU), 자세 방향 기준 시스템(AHRS) 및 관성 항법 장치(INS) 중 적어도 하나를 이용하여 상기 수상 촬영부를 제어하는 단계를 포함할 수 있다.
여기서, 상기 수상 촬영부의 제어 정보는 영상 촬영 안정화 정보로서 상기 객체 방위 정보 생성 과정에 이용되는 것인 수상 및 수중 영상 정합 방법.
또한, 상기 단계 g)는, 상기 연속 촬영된 수상 영상과 상기 중첩 촬영 영상을 이용하여 수상 중첩 촬영 영상을 획득하는 단계 및 상기 연속 촬영된 수중 영상과 상기 중첩 촬영 영상을 이용하여 수중 중첩 촬영 영상을 획득하는 단계를 포함할 수 있다.
여기서, 상기 중첩 촬영 영상은 상기 연속 촬영된 수상 영상과 수중 영상을 비교하여 최대로 중첩되는 부분이 존재하는 영상의 일부분을 포함하고, 상기 수상 중첩 촬영 영상은 상기 중첩 촬영 영상을 기반으로 수상 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수상 영상이고, 상기 수중 중첩 촬영 영상은 상기 중첩 촬영 영상을 기반으로 수중 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수중 영상일 수 있다.
또한, 상기 단계 g)는, 상기 수상 중첩 촬영 영상을 기준으로 상기 수중 중첩 촬영 영상의 특성을 비교하여 왜곡 함수를 산출하는 단계 및 상기 산출된 왜곡 함수를 이용하여 왜곡 보정 함수를 산출하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 객체를 기준으로 영상 촬영 안정화를 수행하고 객체 방위 정보를 생성함으로써 수상 및 수중 촬영을 동기화할 수 있다. 이를 통해, 객체를 포함하는 수상 및 수중 영상을 동일 시간대에 안정적으로 촬영할 수 있다.
또한, 본 발명의 실시예에 따르면, 수중 영상의 왜곡을 보정하고 수상 영상과 정합할 수 있다. 이를 통해, 객체의 전체적인 형태를 용이하게 파악할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템을 개략적으로 도시한 개요도이다.
도 2는 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템을 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템의 촬영 동기화 과정을 도시한 참조도이다.
도 4는 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템의 수중 영상 왜곡 보정부를 도시한 블록도이다.
도 5는 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템의 수중 영상 왜곡 보정 과정을 도시한 참조도이다.
도 6은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 방법을 도시한 흐름도이다.
도 7은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 방법의 수중 영상 왜곡 보정 과정을 도시한 흐름도이다.
도 2는 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템을 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템의 촬영 동기화 과정을 도시한 참조도이다.
도 4는 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템의 수중 영상 왜곡 보정부를 도시한 블록도이다.
도 5는 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템의 수중 영상 왜곡 보정 과정을 도시한 참조도이다.
도 6은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 방법을 도시한 흐름도이다.
도 7은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 방법의 수중 영상 왜곡 보정 과정을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템을 개략적으로 도시한 개요도이다.
수상 드론 또는 무인 수상정(10)은 해양이나 강, 호수 등의 수면 위를 운항할 수 있다. 이때, 수상 드론 또는 무인 수상정(10)은 별도의 승무원이 필요하지 않으며 원격 또는 자동으로 작동할 수 있다.
또한, 수상 드론 또는 무인 수상정(10)은 수상/수중 영상 정합 시스템(100)을 포함하고, 수상/수중 영상 정합 시스템(100)은 수상 촬영부(111) 및 수중 촬영부(112)를 포함할 수 있다.
수상 촬영부(111)는 수상 드론 또는 무인 수상정(10)의 상부에 탑재되어 수상 영상을 촬영하고, 수중 촬영부(112)는 수상 드론 또는 무인 수상정(10)의 하부에 탑재되어 수중 영상을 촬영할 수 있다. 이때, 수상 촬영부(111)가 촬영한 수상 영상에서 해양 부유물(S)이 촬영되는 경우, 수상/수중 영상 정합 시스템(100)은 해양 부유물(S)을 객체로 감지할 수 있다.
수상/수중 영상 정합 시스템(100)은 수상 촬영부(111)와 수중 촬영부(112)의 촬영 동기화 및 감지된 객체를 기준으로 연속 촬영을 수행할 수 있다. 이를 통해, 수상 촬영부(111)와 수중 촬영부(112)는 동일 시간대에 촬영을 수행할 수 있다.
수상 촬영부(111)와 수중 촬영부(112)의 촬영 동기화 및 연속 촬영을 수행하는 과정은 도 2에서 후술하기로 한다.
또한, 수상/수중 영상 정합 시스템(100)은 수중 촬영부(112)에서 촬영된 수중 영상의 왜곡을 보정하고, 수상 촬영부(111)에서 촬영된 수상 영상과 정합하여 정합 영상(M)을 생성할 수 있다. 이를 통해, 사용자는 정합 영상을 통해 객체의 전체적인 형태를 파악할 수 있다.
수중 영상의 왜곡 보정 및 수상 영상과 수중 영상의 정합 과정은 도 2에서 후술하기로 한다.
도 2는 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템을 도시한 블록도이다.
도 2를 참조하면, 수상/수중 영상 정합 시스템(100)은 수상 촬영부(111), 수중 촬영부(112), 객체 감지부(120), 영상 촬영 안정화부(130), 객체 방위 정보 생성부(140), 촬영 동기화부(150), 중첩 촬영 영상 검출부(160), 수중 영상 왜곡 보정부(170), 수상/수중 영상 정합부(180) 및 정합 영상 저장부(190)를 포함할 수 있다.
먼저, 수상 촬영부(111)는 수상 영상을 촬영할 수 있다. 이때, 수상 촬영부(111)는 가시광선 카메라를 포함할 수 있다.
수중 촬영부(112)는 수중 영상을 촬영할 수 있다. 이때, 수중 촬영부(112)는 적외선 카메라를 포함할 수 있다.
객체 감지부(120)는 촬영된 수상 영상을 이용하여 객체를 감지할 수 있다. 이때, 객체는 부유물, 구조물, 지형, 생물 등 해양 환경에 존재하는 물체 및 개체를 포함할 수 있다.
영상 촬영 안정화부(130)는 감지된 객체를 기준으로 수상 촬영부(111)의 영상 촬영 안정화를 수행할 수 있다. 이때, 영상 촬영 안정화는 자이로 센서, 관성 측정 장치(IMU, Inertial Measurement Unit), 자세 방향 기준 시스템(AHRS, Attitude & Heading Reference System), 관성 항법 장치(INS, Inertial Navigation System) 중 적어도 하나를 이용하여 수행될 수 있다.
예를 들어, 영상 촬영 안정화부(130)는 관성 측정 장치(IMU)를 이용하여 수상 드론 또는 무인 수상정의 이동 관성, 회전 관성 및 방위각을 측정하고, 측정 결과를 기반으로 수상 촬영부(111)의 움직임을 보정하여 영상 촬영 안정화를 수행할 수 있다.
이를 통해, 수상 촬영부(111)는 파랑, 바람, 조류 등에 의한 불안정한 환경에서도 안정적으로 객체가 포함된 영상을 촬영할 수 있다.
객체 방위 정보 생성부(140)는 영상 촬영 안정화 정보를 기반으로 수상 영상을 이용하여 객체 방위 정보를 생성할 수 있다. 이때, 객체 방위 정보는 수상 드론 또는 무인 수상정을 기준으로 객체의 정확한 방향 및 위치 정보를 포함할 수 있다.
촬영 동기화부(150)는 객체 방위 정보를 이용하여 수상 촬영부(111) 및 수중 촬영부(112)의 촬영 동기화 및 연속 촬영을 수행할 수 있다. 이때, 촬영 동기화는 수상 촬영부(111) 및 수중 촬영부(112)가 동일 시간대에 촬영을 수행할 수 있도록 영상 촬영 타이밍을 설정하는 과정을 포함할 수 있다.
이를 통해, 수상 촬영부(111) 및 수중 촬영부(112)는 동일 시간대에 객체를 포함한 영상을 촬영함으로써, 두 영상을 조합하여 객체의 전체적인 형태를 포함하는 영상을 생성할 수 있다.
다만, 수중 영상은 빛의 산란 및 굴절, 수압, 파랑, 조류, 부유 입자 등의 원인으로 인해 객체의 크기 및 형태, 밝기, 색상, 선명도 등 다양한 측면에서 왜곡이 발생된 상태로 촬영될 수 있다.
중첩 촬영 영상 검출부(160)는 연속 촬영된 수상 영상 및 수중 영상 중 각각 다른 시간에 촬영된 수상 영상 및 수중 영상을 이용하여 중첩 촬영 영상을 검출할 수 있다. 이때, 중첩 촬영 영상은 연속 촬영된 수상 영상과 수중 영상을 비교하여 최대로 중첩되는 부분이 존재하는 수상/수중 영상의 일부분을 포함할 수 있다.
예를 들어, 중첩 촬영 영상은 연속 촬영된 수상/수중 영상에서 객체의 형태가 가장 많이 확인된 영상과 가장 적게 확인된 영상을 비교하여 검출될 수 있다.
수중 영상 왜곡 보정부(170)는 검출된 중첩 촬영 영상을 이용하여 수중 영상의 왜곡 보정을 수행할 수 있다. 이때, 수중 영상의 왜곡은 중첩 촬영 영상에 포함된 객체의 크기 및 형태, 밝기, 색상, 선명도 등을 고려하여 보정될 수 있다.
여기서, 수중 영상의 왜곡 보정은 수상 영상이 일반적으로 수중 영상에 비해 왜곡의 영향을 적게 받으며, 중첩 촬영 영상이 수상 영상과 수중 영상에서 객체의 동일한 부분을 포함한다는 특징을 이용하여 수행될 수 있다.
예를 들어, 수중 영상의 왜곡 보정은 중첩 촬영 영상을 기준으로 수상 영상의 특성과 수중 영상의 특성을 비교하여 수행될 수 있다.
수상/수중 영상 정합부(180)는 수상 영상과 왜곡이 보정된 수중 영상을 정합하여 정합 영상을 생성할 수 있다. 이때, 정합 영상은 객체의 전체적인 형태를 포함할 수 있다.
이를 통해, 수상/수중 영상 정합 시스템(100)은 실제 객체의 크기, 형태 및 색상이 반영된 전체적인 영상을 획득할 수 있다.
정합 영상 저장부(190)는 생성된 정합 영상을 저장할 수 있다.
도 3은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템의 촬영 동기화 과정을 도시한 참조도이다.
먼저, 수상 촬영부(111)는 수상 영상을 촬영할 수 있다. 이때, 수상 촬영부(111)는 가시광선 카메라를 포함할 수 있다.
수중 촬영부(112)는 수중 영상을 촬영할 수 있다. 이때, 수중 촬영부(112)는 적외선 카메라를 포함할 수 있다.
객체 감지부(120)는 촬영된 수상 영상을 이용하여 객체를 감지할 수 있다. 이때, 객체는 부유물, 구조물, 지형, 생물 등 해양 환경에 존재하는 물체 및 개체를 포함할 수 있다.
영상 촬영 안정화부(130)는 감지된 객체를 기준으로 수상 촬영부(111)의 영상 촬영 안정화를 수행할 수 있다. 이때, 영상 촬영 안정화는 자이로 센서, 관성 측정 장치(IMU), 자세 방향 기준 시스템(AHRS), 관성 항법 장치(INS) 중 적어도 하나를 이용하여 수행될 수 있다.
예를 들어, 영상 촬영 안정화부(130)는 관성 측정 장치(IMU)를 이용하여 수상 드론 또는 무인 수상정(10)의 이동 관성, 회전 관성 및 방위각을 측정하고, 측정 결과를 기반으로 수상 촬영부(111)의 움직임을 보정하여 영상 촬영 안정화를 수행할 수 있다.
이를 통해, 수상 촬영부(111)는 파랑, 바람, 조류 등에 의한 불안정한 환경에서도 안정적으로 객체가 포함된 영상을 촬영할 수 있다.
객체 방위 정보 생성부(140)는 영상 촬영 안정화 정보를 기반으로 수상 영상을 이용하여 객체 방위 정보를 생성할 수 있다. 이때, 객체 방위 정보는 수상 드론 또는 무인 수상정(10)을 기준으로 객체의 정확한 방향 및 위치 정보를 포함할 수 있다.
촬영 동기화부(150)는 객체 방위 정보를 이용하여 수상 촬영부(111) 및 수중 촬영부(112)의 촬영 동기화 및 연속 촬영을 수행할 수 있다. 이때, 촬영 동기화는 수상 촬영부(111) 및 수중 촬영부(112)가 동일 시간대에 촬영을 수행할 수 있도록 영상 촬영 타이밍을 설정하는 과정을 포함할 수 있다.
이를 통해, 수상 촬영부(111) 및 수중 촬영부(112)는 동일 시간대에 객체를 포함한 영상을 촬영함으로써, 두 영상을 조합하여 객체의 전체적인 형태를 포함하는 영상을 생성할 수 있다.
다만, 수중 영상은 빛의 산란 및 굴절, 수압, 파랑, 조류, 부유 입자 등의 원인으로 인해 객체의 크기 및 형태, 밝기, 색상, 선명도 등 다양한 측면에서 왜곡이 발생된 상태로 촬영될 수 있다.
도 4는 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템의 수중 영상 왜곡 보정부를 도시한 블록도이다.
도 5는 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템의 수중 영상 왜곡 보정 과정을 도시한 참조도이다.
도 4를 참조하면, 수중 영상 왜곡 보정부(170)는 수상 중첩 촬영 영상 획득부(171), 수중 중첩 촬영 영상 획득부(172), 왜곡 함수 산출부(173) 및 왜곡 보정 함수 산출부(174)를 포함할 수 있다.
도 5를 참조하면, 수중에서 촬영된 영상이 실제보다 크게 촬영된 경우를 도시한 것으로, 실제 객체의 형태는 실선, 촬영된 영상에서 왜곡된 부분은 점선으로 표현되었다.
수상 중첩 촬영 영상 획득부(171)는 연속으로 촬영된 수상 영상과 검출된 중첩 촬영 영상(R)을 이용하여 수상 중첩 촬영 영상(AR)을 획득할 수 있다. 이때, 수상 중첩 촬영 영상(AR)은 중첩 촬영 영상(R)을 기반으로 수상 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수상 영상으로, 촬영된 시간대에 따라 수상 영상에 포함된 수상 중첩 촬영 영상(AR)의 형태가 변화할 수 있다.
수중 중첩 촬영 영상 획득부(172)는 연속으로 촬영된 수중 영상과 검출된 중첩 촬영 영상(R)을 이용하여 수중 중첩 촬영 영상(BR)을 획득할 수 있다. 이때, 수중 중첩 촬영 영상(BR)은 중첩 촬영 영상(R)을 기반으로 수중 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수중 영상으로, 촬영된 시간대에 따라 수중 영상에 포함된 수중 중첩 촬영 영상(BR)의 형태가 변화할 수 있다.
예를 들어, 촬영 시간대의 순서대로 1번부터 10번까지의 수상/수중 영상이 존재한다고 가정할 때, 1번 수상/수중 영상에서는 중첩 촬영 영상의 형태와 동일한 수상/수중 중첩 촬영 영상(AR/BR)이 존재하고, 10번 수상/수중 영상에서는 중첩 촬영 영상(R)의 형태가 거의 존재하지 않는 수상/수중 중첩 촬영 영상(AR/BR)이 존재할 수도 있다.
왜곡 함수 산출부(173)는 수상 중첩 촬영 영상(AR)을 기준으로 수중 중첩 촬영 영상(BR)의 특성을 비교하여 왜곡 함수를 산출할 수 있다. 이때, 왜곡 함수는 수상 중첩 촬영 영상(AR)과 수중 중첩 촬영 영상(BR)의 특성 차이를 수치로 표현하여 산출된 함수로, 객체의 크기 및 형태, 밝기, 색상, 선명도 등을 고려하여 산출될 수 있다.
예를 들어, 왜곡 함수를 Z라고 가정할 때, AR = Z * BR 또는 BR = Z * AR로 표현할 수 있다.
왜곡 보정 함수 산출부(174)는 산출된 왜곡 함수를 이용하여 왜곡 보정 함수를 산출할 수 있다. 이때, 왜곡 보정 함수는 왜곡 함수의 역함수일 수도 있다.
예를 들어, 왜곡 보정 함수를 라고 가정할 때, AR = * BR 또는 BR = = AR로 표현할 수 있다.
여기서, 수중 영상은 산출된 왜곡 보정 함수를 이용하여 왜곡 보정이 수행될 수 있다.
도 6은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 방법을 도시한 흐름도이다.
단계(S110)에서, 수상/수중 영상 정합 시스템은 수상 촬영부를 이용하여 수상 영상을 촬영하고 수상 영상을 획득할 수 있다. 이때, 수상 영상은 가시광선 카메라를 이용하여 촬영될 수 있다.
단계(S120)에서, 수상/수중 영상 정합 시스템은 촬영된 수상 영상을 기반으로 객체를 감지할 수 있다. 이때, 객체는 부유물, 구조물, 지형, 생물 등 해양 환경에 존재하는 물체 및 개체를 포함할 수 있다.
단계(S130)에서, 수상/수중 영상 정합 시스템은 감지된 객체를 기준으로 수상 촬영부의 영상 촬영 안정화를 수행할 수 있다. 이때, 영상 촬영 안정화는 자이로 센서, 관성 측정 장치(IMU, Inertial Measurement Unit), 자세 방향 기준 시스템(AHRS, Attitude & Heading Reference System), 관성 항법 장치(INS, Inertial Navigation System) 중 하나를 이용하여 수행될 수 있다.
예를 들어, 수상/수중 영상 정합 시스템은 관성 측정 장치(IMU)를 이용하여 수상 드론의 이동 관성, 회전 관성 및 방위각을 측정하고, 측정 결과를 기반으로 수상 촬영부의 움직임을 보정하여 영상 촬영 안정화를 수행할 수 있다.
이를 통해, 수상 촬영부는 파랑, 바람, 조류 등에 의한 불안정한 환경에서도 안정적으로 객체가 포함된 영상을 촬영할 수 있다.
단계(S140)에서, 수상/수중 영상 정합 시스템은 영상 촬영 안정화 정보를 기반으로 수상 영상을 이용하여 객체 방위 정보를 생성할 수 있다. 이때, 객체 방위 정보는 수상 드론 또는 무인 수상정을 기준으로 객체의 정확한 방향 및 위치 정보를 포함할 수 있다.
단계(S150)에서, 수상/수중 영상 정합 시스템은 객체 방위 정보를 이용하여 수상 촬영부 및 수중 촬영부의 촬영 동기화 및 연속 촬영을 수행할 수 있다. 이때, 촬영 동기화는 수상 촬영부 및 수중 촬영부가 동일 시간대에 촬영을 수행할 수 있도록 영상 촬영 타이밍을 설정하는 과정을 포함할 수 있다.
이를 통해, 수상 촬영부 및 수중 촬영부는 동일 시간대에 객체를 포함한 영상을 촬영함으로써, 두 영상을 조합하여 객체를 전체적인 형태를 포함하는 영상을 생성할 수 있다.
다만, 수중 영상은 빛의 산란 및 굴절, 수압, 파랑, 조류, 부유 입자 등의 원인으로 인해 객체의 크기 및 형태, 밝기, 색상, 선명도 등 다양한 측면에서 왜곡이 발생한 상태로 촬영될 수 있다.
단계(S160)에서, 수상/수중 영상 정합 시스템은 연속 촬영된 수상 영상 및 수중 영상 중 각각 다른 시간에 촬영된 수상 영상 및 수중 영상을 이용하여 중첩 촬영 영상을 검출할 수 있다. 이때, 중첩 촬영 영상은 연속 촬영된 수상 영상과 수중 영상을 비교하여 최대로 중첩되는 부분이 존재하는 수상/수중 영상의 일부분을 포함할 수 있다.
예를 들어, 중첩 촬영 영상은 연속 촬영된 수상/수중 영상에서 객체의 형태가 가장 많이 확인된 영상과 가장 적게 확인된 영상을 비교하여 검출될 수 있다.
단계(S170)에서, 수상/수중 영상 정합 시스템은 검출된 중첩 촬영 영상을 이용하여 수중 영상의 왜곡 보정을 수행할 수 있다. 이때, 수중 영상 왜곡은 중첩 촬영 영상에 포함된 객체의 크기 및 형태, 밝기, 색상, 선명도 등을 고려하여 보정될 수 있다.
여기서, 수중 영상의 왜곡 보정은 수상 영상이 일반적으로 수중 영상에 비해 왜곡의 영향을 적게 받으며, 중첩 촬영 영상이 수상 영상과 수중 영상에서 객체의 동일한 부분을 포함한다는 특징을 이용하여 수행될 수 있다.
예를 들어, 수중 영상의 왜곡 보정은 중첩 촬영 영상을 기준으로 수상 영상의 특성과 수중 영상의 특성을 비교하여 수행될 수 있다.
단계(S180)에서, 수상/수중 영상 정합 시스템은 수상 영상과 왜곡이 보정된 수중 영상을 정합하여 정합 영상을 생성할 수 있다. 이때, 정합 영상은 객체의 전체적인 형태를 포함할 수 있다.
이를 통해, 수상/수중 영상 정합 시스템은 실제 객체의 크기, 형태 및 색상이 반영된 전체적인 영상을 획득할 수 있다.
도 7은 본 발명의 실시예에 따른 왜곡 보정을 이용한 수상 및 수중 영상 정합 방법의 수중 영상 왜곡 보정 과정을 도시한 흐름도이다.
단계(S171)에서, 수상/수중 영상 정합 시스템은 영상으로 촬영된 수상 영상과 검출된 중첩 촬영 영상을 이용하여 수상 중첩 촬영 영상을 획득할 수 있다. 이때, 수상 중첩 촬영 영상은 중첩 촬영 영상을 기반으로 수상 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수상 영상으로, 촬영 시간대에 따라 수상 영상에 포함된 수상 중첩 촬영 영상의 형태가 변화할 수 있다.
단계(S172)에서, 수상/수중 영상 정합 시스템은 연속으로 촬영된 수중 영상과 검출된 중첩 촬영 영상을 이용하여 수중 중첩 촬영 영상을 획득할 수 있다. 이때, 수중 중첩 촬영 영상은 중첩 촬영 영상을 기반으로 수중 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수중 영상으로, 촬영된 시간대에 따라 수중 영상에 포함된 수중 중첩 촬영 영상의 형태가 변화할 수 있다.
예를 들어, 촬영 시간대의 순서대로 1번부터 10번까지의 수상/수중 영상이 존재한다고 가정할 때, 1번 수상/수중 영상에서는 중첩 촬영 영상의 형태와 동일한 수상/수중 중첩 촬영 영상이 존재하고, 10번 수상/수중 영상에서는 중첩 촬영 영상의 형태가 거의 존재하지 않는 수상/수중 중첩 촬영 영상이 존재할 수도 있다.
단계(S173)에서, 수상/수중 영상 정합 시스템은 수상 중첩 촬영 영상을 기준으로 수중 중첩 촬영 영상의 특성을 비교하여 왜곡 함수를 산출할 수 있다. 이때, 왜곡 함수는 수상 중첩 촬영 영상과 수중 중첩 촬영 영상의 특성 차이를 수치로 표현하여 산출된 함수로, 객체의 크기 및 형태, 밝기, 색상, 선명도 등을 고려하여 산출될 수 있다.
예를 들어, 수상 중첩 촬영 영상을 AR, 수중 중첩 촬영 영상을 BR, 왜곡 함수를 Z라고 가정할 때, AR = Z * BR 또는 BR = Z * AR 로 표현할 수 있다.
단계(S174)에서, 수상/수중 영상 정합 시스템은 산출된 왜곡 함수를 이용하여 왜곡 보정 함수를 산출할 수 있다. 이때, 왜곡 보정 함수는 왜곡 함수의 역함수일 수도 있다.
예를 들어, 수상 중첩 촬영 영상을 AR, 수중 중첩 촬영 영상을 BR, 왜곡 보정 함수를 라고 가정할 때, AR = * BR 또는 BR = * AR로 표현할 수 있다.
여기서, 수중 영상은 왜곡 보정 함수를 이용하여 왜곡 보정이 수행될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10. 수상 드론 또는 무인 수상정
100. 수상/수중 영상 정합 시스템
111. 수상 촬영부
112. 수중 촬영부
120. 객체 감지부
130. 영상 촬영 안정화부
140. 객체 방위 정보 생성부
150. 촬영 동기화부
160. 중첩 촬영 영상 검출부
170. 수중 영상 왜곡 보정부
180. 수상/수중 영상 정합부
190. 정합 영상 저장부
100. 수상/수중 영상 정합 시스템
111. 수상 촬영부
112. 수중 촬영부
120. 객체 감지부
130. 영상 촬영 안정화부
140. 객체 방위 정보 생성부
150. 촬영 동기화부
160. 중첩 촬영 영상 검출부
170. 수중 영상 왜곡 보정부
180. 수상/수중 영상 정합부
190. 정합 영상 저장부
Claims (8)
- 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템에 있어서,
수상 영상을 촬영하는 수상 촬영부;
수중 영상을 촬영하는 수중 촬영부;
상기 수상 촬영부에 의해 촬영된 수상 영상을 기반으로 객체를 감지하는 객체 감지부;
감지된 객체를 기준으로 상기 수상 촬영부의 영상 촬영 안정화를 수행하는 영상 촬영 안정화부;
영상 촬영 안정화 정보를 기반으로 상기 수상 영상을 이용하여 객체 방위 정보를 생성하는 객체 방위 정보 생성부;
상기 객체 방위 정보를 이용하여 상기 수상 촬영부 및 상기 수중 촬영부의 촬영 동기화 및 연속 촬영을 수행하는 촬영 동기화부;
상기 연속 촬영된 복수의 수상 영상 및 수중 영상 중 각각 다른 시간에 촬영된 수상 영상 및 수중 영상을 이용하여 중첩 촬영 영상을 검출하는 중첩 촬영 영상 검출부;
상기 중첩 촬영 영상을 이용하여 수중 영상의 왜곡 보정을 수행하는 수중 영상 왜곡 보정부; 및
상기 수상 영상과 상기 왜곡이 보정된 수중 영상을 정합하여 정합 영상을 생성하는 수상/수중 영상 정합부
를 포함하는 수상 및 수중 영상 정합 시스템.
- 제1항에 있어서,
상기 영상 촬영 안정화부는 자이로 센서, 관성 측정 장치(IMU), 자세 방향 기준 시스템(AHRS) 및 관성 항법 장치(INS) 중 적어도 하나를 이용하여 상기 수상 촬영부를 제어하며,
상기 수상 촬영부의 제어 정보는 영상 촬영 안정화 정보로서 상기 객체 방위 정보 생성부에 제공되는 것인 수상 및 수중 영상 정합 시스템.
- 제1항에 있어서,
상기 수중 영상 왜곡 보정부는,
상기 연속 촬영된 수상 영상과 상기 중첩 촬영 영상을 이용하여 수상 중첩 촬영 영상을 획득하는 수상 중첩 촬영 영상 획득부; 및
상기 연속 촬영된 수중 영상과 상기 중첩 촬영 영상을 이용하여 수중 중첩 촬영 영상을 획득하는 수중 중첩 촬영 영상 획득부
를 포함하고,
상기 중첩 촬영 영상은 상기 연속 촬영된 수상 영상과 수중 영상을 비교하여 최대로 중첩되는 부분이 존재하는 영상의 일부분을 포함하고,
상기 수상 중첩 촬영 영상은 상기 중첩 촬영 영상을 기반으로 수상 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수상 영상이고,
상기 수중 중첩 촬영 영상은 상기 중첩 촬영 영상을 기반으로 수중 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수중 영상인 것인 수상 및 수중 영상 정합 시스템.
- 제3항에 있어서,
상기 수중 영상 왜곡 보정부는,
상기 수상 중첩 촬영 영상을 기준으로 상기 수중 중첩 촬영 영상의 특성을 비교하여 왜곡 함수를 산출하는 왜곡 함수 산출부; 및
상기 산출된 왜곡 함수를 이용하여 왜곡 보정 함수를 산출하는 왜곡 보정 함수 산출부
를 더 포함하는 것인 수상 및 수중 영상 정합 시스템.
- 왜곡 보정을 이용한 수상 및 수중 영상 정합 방법에 있어서,
a) 수상 촬영부를 이용하여 수상 영상을 촬영하고 수상 영상을 획득하는 단계;
b) 상기 수상 촬영부로부터 획득한 수상 영상을 기반으로 객체를 감지하는 단계;
c) 상기 감지된 객체를 기준으로 상기 수상 촬영부의 영상 촬영 안정화를 수행하는 단계;
d) 영상 촬영 안정화 정보를 기반으로 상기 수상 영상을 이용하여 객체 방위 정보를 생성하는 단계;
e) 상기 객체 방위 정보를 이용하여 상기 수상 촬영부 및 수중 촬영부의 촬영 동기화 및 연속 촬영을 수행하는 단계;
f) 상기 연속 촬영된 복수의 수상 영상 및 수중 영상 중 각각 다른 시간에 촬영된 수상 영상 및 수중 영상을 이용하여 중첩 촬영 영상을 검출하는 단계;
g) 상기 중첩 촬영 영상을 이용하여 수중 영상의 왜곡 보정을 수행하는 단계; 및
h) 상기 수상 영상과 상기 왜곡이 보정된 수중 영상을 정합하여 정합 영상을 생성하는 단계
를 포함하는 수상 및 수중 영상 정합 방법.
- 제5항에 있어서,
상기 단계 c)는,
자이로 센서, 관성 측정 장치(IMU), 자세 방향 기준 시스템(AHRS) 및 관성 항법 장치(INS) 중 적어도 하나를 이용하여 상기 수상 촬영부를 제어하는 단계를 포함하며,
상기 수상 촬영부의 제어 정보는 영상 촬영 안정화 정보로서 상기 객체 방위 정보 생성 과정에 이용되는 것인 수상 및 수중 영상 정합 방법.
- 제5항에 있어서,
상기 단계 g)는,
상기 연속 촬영된 수상 영상과 상기 중첩 촬영 영상을 이용하여 수상 중첩 촬영 영상을 획득하는 단계; 및
상기 연속 촬영된 수중 영상과 상기 중첩 촬영 영상을 이용하여 수중 중첩 촬영 영상을 획득하는 단계
를 포함하고,
상기 중첩 촬영 영상은 상기 연속 촬영된 수상 영상과 수중 영상을 비교하여 최대로 중첩되는 부분이 존재하는 영상의 일부분을 포함하고,
상기 수상 중첩 촬영 영상은 상기 중첩 촬영 영상을 기반으로 수상 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수상 영상이고,
상기 수중 중첩 촬영 영상은 상기 중첩 촬영 영상을 기반으로 수중 영상을 비교하여 획득된 중첩 촬영 영상의 일부가 포함된 수중 영상인 것인 수상 및 수중 영상 정합 방법.
- 제7항에 있어서,
상기 단계 g)는,
상기 수상 중첩 촬영 영상을 기준으로 상기 수중 중첩 촬영 영상의 특성을 비교하여 왜곡 함수를 산출하는 단계; 및
상기 산출된 왜곡 함수를 이용하여 왜곡 보정 함수를 산출하는 단계
를 더 포함하는 것인 수상 및 수중 영상 정합 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230080112A KR102611117B1 (ko) | 2023-06-22 | 2023-06-22 | 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230080112A KR102611117B1 (ko) | 2023-06-22 | 2023-06-22 | 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102611117B1 true KR102611117B1 (ko) | 2023-12-08 |
Family
ID=89166681
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230080112A KR102611117B1 (ko) | 2023-06-22 | 2023-06-22 | 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102611117B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140021354A (ko) * | 2012-08-10 | 2014-02-20 | 삼성중공업 주식회사 | 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법 |
| US20150002621A1 (en) * | 2012-01-30 | 2015-01-01 | Google Inc. | Apparatus and Method for Acquiring Underwater Images |
| KR20150055501A (ko) * | 2013-11-13 | 2015-05-21 | 한국해양과학기술원 | 수중영상 정합방법 |
| KR20180053091A (ko) * | 2016-11-11 | 2018-05-21 | 인천대학교 산학협력단 | 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치 |
| CN111260543A (zh) * | 2020-01-19 | 2020-06-09 | 浙江大学 | 一种基于多尺度图像融合和sift特征的水下图像拼接方法 |
-
2023
- 2023-06-22 KR KR1020230080112A patent/KR102611117B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150002621A1 (en) * | 2012-01-30 | 2015-01-01 | Google Inc. | Apparatus and Method for Acquiring Underwater Images |
| KR20140021354A (ko) * | 2012-08-10 | 2014-02-20 | 삼성중공업 주식회사 | 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법 |
| KR20150055501A (ko) * | 2013-11-13 | 2015-05-21 | 한국해양과학기술원 | 수중영상 정합방법 |
| KR20180053091A (ko) * | 2016-11-11 | 2018-05-21 | 인천대학교 산학협력단 | 소나 영상을 이용한 수중 물체 식별 방법 및 그 장치 |
| CN111260543A (zh) * | 2020-01-19 | 2020-06-09 | 浙江大学 | 一种基于多尺度图像融合和sift特征的水下图像拼接方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8896697B2 (en) | Video motion compensation and stabilization gimbaled imaging system | |
| JP5213880B2 (ja) | パノラマ画像処理システム | |
| US8488010B2 (en) | Generating a stabilized video sequence based on motion sensor data | |
| Beall et al. | 3D reconstruction of underwater structures | |
| US7496226B2 (en) | Multi-camera inspection of underwater structures | |
| US8798387B2 (en) | Image processing device, image processing method, and program for image processing | |
| KR101071352B1 (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
| US7071970B2 (en) | Video augmented orientation sensor | |
| TWI649721B (zh) | 無人飛行機之全景拍照方法與使用其之無人飛行機 | |
| US20230023434A1 (en) | Deep learning-based marine object classification using 360-degree images | |
| KR20150125862A (ko) | 3차원 정합을 이용한 증강현실 장치 및 그 방법 | |
| EP3761629B1 (en) | Information processing device, autonomous mobile body, information processing method, and program | |
| Zachariadis et al. | 2D visual tracking for sports UAV cinematography applications | |
| KR102592745B1 (ko) | 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램 | |
| JP4361913B2 (ja) | 動き量計算装置 | |
| KR102611117B1 (ko) | 왜곡 보정을 이용한 수상 및 수중 영상 정합 시스템 및 그 방법 | |
| Rodin et al. | Detectability of objects at the sea surface in visible light and thermal camera images | |
| JP2019062340A (ja) | 像振れ補正装置および制御方法 | |
| CN110036411B (zh) | 生成电子三维漫游环境的装置和方法 | |
| JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
| US11892854B2 (en) | Assistance system for correcting vessel path and operation method thereof | |
| Rzhanov et al. | Deep-sea image processing | |
| CN107941220B (zh) | 一种基于视觉的无人船海天线检测与导航方法和系统 | |
| JP6995529B2 (ja) | 撮像装置およびその制御方法 | |
| JP7013205B2 (ja) | 像振れ補正装置およびその制御方法、撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant |