KR101882319B1 - 경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법 - Google Patents

경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101882319B1
KR101882319B1 KR1020160137586A KR20160137586A KR101882319B1 KR 101882319 B1 KR101882319 B1 KR 101882319B1 KR 1020160137586 A KR1020160137586 A KR 1020160137586A KR 20160137586 A KR20160137586 A KR 20160137586A KR 101882319 B1 KR101882319 B1 KR 101882319B1
Authority
KR
South Korea
Prior art keywords
image
underwater
image processing
processing apparatus
feature point
Prior art date
Application number
KR1020160137586A
Other languages
English (en)
Other versions
KR20180044469A (ko
Inventor
김병진
유선철
조현우
표주현
조한길
김주환
성민성
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020160137586A priority Critical patent/KR101882319B1/ko
Publication of KR20180044469A publication Critical patent/KR20180044469A/ko
Application granted granted Critical
Publication of KR101882319B1 publication Critical patent/KR101882319B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/203—Specially adapted for sailing ships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 다양한 실시 예는 경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법에 관한 것이다. 일 실시 예에 따르면, 수중 이미지 처리장치를 이동시키는 구동부; 적어도 하나의 센서를 통하여 상기 수중 이미지 처리장치의 상태 및 주변 상황에 대한 정보를 측정하는 센싱부; 및 상기 적어도 하나를 제어하여 상기 수중 이미지 처리장치의 위치에 대한 오차를 보정하는 제어부;를 포함하며, 상기 제어부는, 설정된 목적지 및 위치를 확인하여 상기 구동부를 통한 상기 목적지로의 이동 경로에 적어도 하나의 기 생성된 체크포인트를 포함하는 위치설정모듈; 상기 센싱부를 통해서 상기 이동 경로에 포함된 상기 적어도 하나의 체크포인트에 도달하는지 확인하는 위치확인모듈; 상기 체크포인트 생성 시점에 촬영한 제1 이미지 및 도달한 상기 체크포인트에서 촬영한 제2 이미지를 비교하는 이미지비교모듈; 상기 비교 결과에 기반하여 상기 수중 이미지 처리장치의 위치 오차를 결정하는 오차결정모듈; 및 상기 구동부를 통하여 상기 수중 이미지 처리장치의 상기 위치 오차를 보정하도록 처리하는 위치보정모듈;를 포함하는, 경로 역추적 이동을 위한 수중 이미지 처리장치를 제공한다.

Description

경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법{UNDERWATER IMAGE PROCESSING DEVICE FOR TRAJECTORY BACKTRACKING AND METHOD THERE OF}
본 발명은 경로 역추적 이동을 위한 수중 이미지 처리 방법 및 그 장치에 관한 것으로, 더욱 상세하게는, 경로 역추적 이동을 위하여 수중에서 초음파를 이용하여 촬영되는 이미지를 처리하는 방법 및 그 장치에 관한 것이다.
일반적으로 수중 이동로봇은 큰 수심에서 동작한다. 이때, 지상 혹은 수상의 컨트롤 타워와 수중 이동로봇간의 긴 거리로 인해서 긴 통신 시간을 가진다. 또한 수중 이동로봇은 대체로 높은 복잡도의 알고리즘 처리 방법을 가진다. 이러한 문제점으로 수중 이동로봇과 컨트롤 타워 간에는 반응 시간 차이가 생길 수 밖에 없다. 따라서 수중 이동로봇의 움직임 속도에 비해 수중 이동로봇에 가해지는 움직임 명령이나 반응 속도는 더 느리다. 그리고, 수중 이동로봇은 이동에 있어서 이전에 방문했던 장소에 다시 방문해야 하는 경우가 생길 수 밖에 없다. 즉 자신이 지나왔던 이전 경로를 따라 이동하는 역추적 움직임은 반드시 필요하다.
이를 위하여, 기존에 사용하던 방법은 단순히 수중 이동로봇의 다양한 항법 센서를 이용한 추측항법(Dead reckoning) 방법 이다. 하지만 이 방법은 항법 센서의 오차 누적과 부정확함 때문에 위치 오차가 발생할 수 밖에 없다. 따라서 이를 보정하기 위한 방법이 필요하다.
특허문헌 제10-2015-0081029호는, 후보 개체를 초기화하는 과정과, 추측 항법 센서로부터 상대 이동 거리 및 상대 각도를 계산하는 과정과, 상기 계산된 상대 이동 거리 및 상대 각도에 노이즈 값을 후보개체에 따라 차별화하여 더하는 과정과, 소속 핑거프린트의 정보에 따른 경로 정보와 측정된 추측항법 센서의 이동거리 및 각도에 대한 정보를 이용하여 추측 항법 매칭률을 계산하는 과정과, 상기 계산된 추측항법 매칭률을 이용하여 후보 핑거프린트를 설정하는 과정과, 전파신호의 강도를 측정하는 과정과, 전파 지도내의 모든 핑거프린트에 대하여 측정된 상기 전파 신호의 강도를 비교하여 전파신호의 매칭률을 계산하는 과정을 포함하는 실내 지도를 이용한 실내위치 인식 방법을 개시한다.
하지만, 확인 가능한 상대에 대하여 추측 항법을 이용할 때, 상대 이동 거리 및 상대 각도를 계산하고 핑거프린트의 정보와 측정된 정보를 비교하여 정보의 매칭률을 계산하고, 핑거프린트에 대하여 측정된 전파 신호를 이용하여 전파신호의 매칭률을 계산하는 것을 개시할 뿐, 이동 중 주변에 특정된 물체가 없는 경우 핑거프린트와 전파신호의 매칭에는 한계가 존재한다.
10-2015-0081029호(공개특허공보)
따라서, 확인 가능한 상태가 특정되지 않는 상황에서도 수중 이동 중에 발생되는 오차를 보정하는, 경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법을 제공할 수 있다.
또한, 확인 가능한 상태가 특정되지 상황 상황에서 수중 이동로봇의 위치를 비교하고 위치 오차를 결정하기 위한 경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법을 제공할 수 있다.
본 발명의 일 실시예에 따르면, 수중 이미지 처리장치를 이동시키는 구동부; 적어도 하나의 센서를 통하여 상기 수중 이미지 처리장치의 상태 및 주변 상황에 대한 정보를 측정하는 센싱부; 및 상기 적어도 하나를 제어하여 상기 수중 이미지 처리장치의 위치에 대한 오차를 보정하는 제어부;를 포함하며, 상기 제어부는, 설정된 목적지 및 위치를 확인하여 상기 구동부를 통한 상기 목적지로의 이동 경로에 적어도 하나의 기 생성된 체크포인트를 포함하는 위치설정모듈; 상기 센싱부를 통해서 상기 이동 경로에 포함된 상기 적어도 하나의 체크포인트에 도달하는지 확인하는 위치확인모듈; 상기 체크포인트 생성 시점에 촬영한 제1 이미지 및 도달한 상기 체크포인트에서 촬영한 제2 이미지를 비교하는 이미지비교모듈; 상기 비교 결과에 기반하여 상기 수중 이미지 처리장치의 위치 오차를 결정하는 오차결정모듈; 및 상기 구동부를 통하여 상기 수중 이미지 처리장치의 상기 위치 오차를 보정하도록 처리하는 위치보정모듈;를 포함하는, 경로 역추적 이동을 위한 수중 이미지 처리장치를 제공한다.
다양한 실시 예에 따르면, 상기 적어도 하나의 기 생성된 체크포인트는, 지정된 시간 간격, 지정된 이동 거리 간격 및 실시간 중 적어도 하나에 따른 시점에 생성할 수 있다.
다양한 실시 예에 따르면, 상기 이미지비교모듈은, 상기 제1 이미지 및 상기 제2 이미지를 푸리에 변환하여 비교하고, 상기 오차결정모듈은, 상기 푸리에 변환 값의 비교 결과에 기반하여 상기 위치 오차를 결정할 수 있다.
다양한 실시 예에 따르면, 상기 제1 이미지 및 상기 제2 이미지는 동일 영역을 촬영한 이미지일 수 있다.
다양한 실시 예에 따르면, 상기 제1 이미지 및 상기 제2 이미지는 소나이미지일 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 기 생성된 체크포인트는, 상기 센싱부를 통해서 촬영된 이미지에서 지정된 적어도 하나의 특징점을 검출하는 경우 상기 특징점의 위치에 기반하여 생성될 수 있다.
다양한 실시 예에 따르면, 상기 센싱부를 통해서 촬영된 이미지는 소나 이미지 및 광학 이미지 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 이미지 비교 모듈은, 상기 제1 이미지에 포함된 특징점 및 상기 제2 이미지에 포함된 특징점을 비교하고, 상기 오차결정모듈은 상기 특징점의 비교 결과에 기반하여 상기 위치 오차를 결정할 수 있다.
다양한 실시 예에 따르면, 상기 센싱부는, 음파 탐지기, 카메라, 위치 센서, 수심 센서, 도플러 속도센서, 지피에스, 압력센서, 온도 센서, 자이로 센서, 기울기 센서 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 위치보정모듈은, 상기 제2 이미지를 촬영한 시점의 상기 수중 이미지 처리장치의 위치를 상기 제1 이미지를 촬영한 시점의 상기 수중 이미지 처리장치의 위치로 이동할 수 있다.
본 발명의 일 실시 예에 따르면, 설정된 목적지 및 위치를 확인하여 상기 목적지로의 이동 경로에 적어도 하나의 기 생성된 체크포인트를 포함하는 단계; 상기 이동 경로에 포함된 상기 적어도 하나의 체크포인트에 수중 이미지 처리장치가 도달하는지 확인하는 단계; 상기 체크포인트 생성 시점에 촬영한 제1 이미지 및 도달한 상기 체크포인트에서 촬영한 제2 이미지를 비교하는 단계; 상기 비교 결과에 기반하여 상기 수중 이미지 처리장치의 위치 오차를 결정하는 단계; 및 상기 수중 이미지 처리장치의 상기 위치 오차를 보정하는 단계;를 포함하는, 경로 역추적 이동을 위한 수중 이미지 처리방법을 제공한다.
다양한 실시 예에 따르면, 상기 적어도 하나의 기 생성된 체크포인트는, 지정된 시간 간격, 지정된 이동 거리 간격 및 실시간 중 적어도 하나에 따른 시점에 생성될 수 있다.
다양한 실시 예에 따르면, 상기 체크포인트 생성 시점에 촬영한 제1 이미지 및 도달한 상기 체크포인트에서 촬영한 제2 이미지를 비교하는 단계는, 상기 제1 이미지 및 상기 제2 이미지를 푸리에 변환하여 비교하고, 상기 비교 결과에 기반하여 상기 수중 이미지 처리장치의 위치 오차를 결정하는 단계는, 상기 푸리에 변환 값의 비교 결과에 기반하여 상기 위치 오차를 결정할 수 있다.
다양한 실시 예에 따르면, 상기 제1 이미지 및 상기 제2 이미지는 동일 영역을 촬영한 이미지일 수 있다.
다양한 실시 예에 따르면, 상기 제1 이미지 및 상기 제2 이미지는 소나이미지일 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 기 생성된 체크포인트는, 촬영된 이미지에서 지정된 적어도 하나의 특징점을 검출하는 경우 상기 특징점의 위치에 기반하여 생성될 수 있다.
다양한 실시 예에 따르면, 상기 촬영된 이미지는 소나 이미지 및 광학 이미지 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 체크포인트 생성 시점에 촬영한 제1 이미지 및 도달한 상기 체크포인트에서 촬영한 제2 이미지를 비교하는 단계는, 상기 제1 이미지에 포함된 특징점 및 상기 제2 이미지에 포함된 특징점을 비교하고, 상기 비교 결과에 기반하여 상기 수중 이미지 처리장치의 위치 오차를 결정하는 단계는, 상기 특징점의 비교 결과에 기반하여 상기 위치 오차를 결정할 수 있다.
다양한 실시 예에 따르면, 상기 수중 이미지 처리장치의 상기 위치 오차를 보정하는 단계는, 상기 제2 이미지를 촬영한 시점의 상기 수중 이미지 처리장치의 위치를 상기 제1 이미지를 촬영한 시점의 상기 수중 이미지 처리장치의 위치로 이동할 수 있다.
본 발명의 다양한 실시예에 따르면, 수중 환경에서 특징적인 지형 및/또는 사물이 존재하지 않는 경우 동일 또는 유사한 영역에 대하여 촬영된 이미지를 비교함으로써 수중 이미지 처리장치의 수중 이동 중에 발생할 수 있는 위치 오차 결정의 정확도를 효과적으로 향상시킬 수 있다.
본 발명의 다양한 실시 예에 따르면, 기 생성된 체크포인트에 대하여 저장된 이미지와 해당 체크 포인트에 도달한 시점에 촬영한 이미지를 푸리에 변환하고, 이미지들의 푸리에 변환 결과를 비교함으로써, 이미지에서 검출되는 특징점이 없는 상태에서도 수중 이미지 처리장치의 위치를 비교하고 위치 오차를 결정함으로써, 위치 보정의 정확도를 효과적으로 향상시킬 수 있다.
도 1은, 본 발명의 일 실시 예에 따른 수중 이미지 처리장치의 구조를 도시한다.
도 2는 본 발명의 일 실시 예에 다른 수중 이미지 처리장치에서 제어부의 세부 구조를 도시한다.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 수중 이미지 처리장치가 특징점이 검출되는 상황에서 이미지를 촬영하는 동작을 도시한다.
도 5 및 도 6은 본 발명의 일 실시 예에 따른 수중 이미지 처리장치가 특징점이 검출되지 않는 상황에서 이미지를 촬영하는 동작을 도시한다.
도 7은 본 발명의 일 실시 예에 다른 수중 이미지 처리장치가 자유이동 중에 체크포인트를 생성하는 동작의 상황도이다.
도 8은 본 발명의 일 실시 예에 따른 수중 이미지 처리장치가 경로 역추적 이동 중에 기 생성된 체크포인트를 이용하여 위치 오차를 수정하는 동작의 상황도이다.
도 9은 본 발명의 일 실시 예에 따른 수중 이미지 처리장치에서 체크포인트와 관련된 이미지들을 이용하여 수중 이미지 처리장치의 위치 오차를 보정하는 동작의 흐름도이다.
도 10은 본 발명의 일 실시 예에 따른 수중 이미지 처리장치에서 자유이동 중 체크포인트를 생성하는 동작의 흐름도이다.
도 11는 본 발명의 일 실시 예에 따른 수중 이미지 처리장치에서 경로 역추적 이동 중 기 생성된 체크포인트를 이용하여 수중 이미지 처리장치의 위치 오차를 보정하는 동작의 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 다양한 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 특정 실시 예가 도면에 예시되고, 관련된 상세한 설명이 기재될 수 있다, 그러나, 이는 본 발명을 특정한 실시 형태에 대하여 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.
본 발명의 다양한 실시 예에서, "또는", "적어도 하나" 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, "A 또는 B", "A 및 B 중 적어도 하나"는 A 또는 B 중 하나만을 포함할 수도 있고, A와 B를 모두 포함할 수도 있다.
본 발명의 다양한 실시 예에서, "제1", "제2", "첫째", "둘째" 등의 표현은 다양한 구성 요소들을 수식할 수 있지만, 반드시 해당 구성 요소의 순서, 또는 중요도 등을 의미하는 것으로 한정하지 않는다. 예를 들어, 제1 장치와 제2 장치는 모두 장치이며 서로 다른 장치를 나타낼 수 있다. 또한, 본 발명의 다양한 실시 예의 권리 범위를 벗어나지 않는 경우, 제1 장치의 구성, 기능, 동작 등의 요소가 제2 장치와 동일 또는 유사한 경우, 제1 장치는 제2 장치로 명명될 수 있고, 유사하게, 제2 장치 또한 제1 장치로 명명될 수 있다.
본 발명의 다양한 실시 예에서 어떤 구성 요소가 다른 구성 요소에 "연결"되어 있다거나 "접속"되어 있다고 언급된 경우, 구성 요소들은 직접적으로 연결되어 있거나 접속되어 있을 수 있지만, 구성 요소들 사이에 적어도 하나의 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, "직접 접속"되어 있다고 언급된 경우, 구성 요소들 사이는 다른 구성 요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 다양한 실시 예에서 사용되는 용어들은 특정일 실시 예를 설명하기 위한 것으로, 본 발명을 한정하는 것으로 해석되어서는 안되며, 예를 들어, 단수의 표현은 문맥상 명백하게 다른 것으로 명시되지 않는 한 복수의 표현을 포함할 수 있을 것이다.
본 발명의 다양한 실시 예에 따른 장치, 예를 들면, 수중 이동로봇 또는 수중 이미지 처리장치는 무인잠수정(remotely operated vehicle, ROV)을 기반으로 설명하고 있지만, 명백한 한정 사항을 기재하고 있지 않는 한 동일 또는 유사한 다른 형태의 장치, 예를 들면, 자율 무인잠수정(autonomous underwater vehicle, AUV), 유인잠수정(human-operated submersible vehicle)로 대체될 수 있음은 자명하다, 또한, 본 발명의 다양한 실시 예에 따른 수중 이미지 처리장치는 기재된 다양한 장치들 중 하나 또는 그 이상의 조합으로 구성될 수 있다. 예를 들어, 장치는 기재된 장치들 중 적어도 일부, 또는 장치의 기능 중 적어도 일부를 포함하는 구조물로 제공될 수도 있다.
이하 설명에서, 수중 이미지 처리 장치의 이동을 설명함에 있어서, 자유이동 또는 경로 역추적 이동의 용어를 사용할 수 있다. 여기서, 경로 역추적 이동은 목적지를 설정하고, 이동 경로를 생성함에 있어서 수중 이미지 처리 장치의 이동 중에 기 생성된 적어도 하나의 체크포인트를 포함하는 이동 방법을 의미할 수 있다. 반면 자유이동은, 목적지 설정 및/또는 이동 경로를 생성함에 있어서, 기 설정된 체크포인트를 포함하지 않고, 체크포인트를 생성하는 이동 방법을 의미할 수 있다.
이하, 첨부된 도면을 참조하여 다양한 실시 예에 따른 경로 역추적 이동을 위한 수중 이미지 처리 방법 및 그 장치(예: 수중 이미지 처리장치)에 대해서 살펴본다. 예를 들면, 이하, 다양한 실시 예를 통하여, 수중 이미지 처리장치의 위치 오차를 보정(또는 수정)할 수 있다.
도 1은, 본 발명의 일 실시 예에 따른 수중 이미지 처리장치(10)의 구성 요소를 도시한다. 수중 이미지 처리장치(10)는 제어부(101), 센싱부(103), 구동부(105), 통신부(107), 입력부(109) 및 저장부(111) 중 적어도 하나의 구성 요소를 포함할 수 있다.
제어부(101)는, 전술한 다른 구성 요소들(예: 센싱부(103), 구동부(105), 통신부(107), 입력부(109) 및 저장부(111))로부터 데이터를 수신하여, 수신한 데이터를 해독하고, 해독된 데이터의 처리를 실행할 수 있다.
예를 들면, 제어부(101)는, 바다, 강에서 수중 이동하는 수중 이미지 처리장치(10)에 포함된 구성 요소들 중 구동부(105)를 제어하여 기 설정된 경로를 따라서, 또는 목적지를 향해서 이동하도록 처리할 수 있다. 제어부(101)는, 수중 이미지 처리장치(10)의 수중 이동을 처리함에 있어서 무선항법, 추측항법과 같은 다양한 경로 추적 방법을 적용할 수 있다.
이때, 제어부(101)는, 센싱부(103)에 포함되는 적어도 하나의 이미지 센서(예: 카메라), 위치 측정 센서(이하, 위치 센서), 수심 측정 센서(이하, 수심 센서) 등에 기반하여 수중 이미지 처리장치(10)의 이동 또는 이동 경로를 처리할 수 있다.
제어부(101)는, 센싱부(103)에 포함되는 적어도 하나의 센서들을 통해서 수중 이미지 처리장치(10)의 위치를 측정할 수 있고, 수중 이동 중에 수중에서 확인되는 특징점에 기반하여 해당 위치에 체크포인트를 생성할 수 있다. 제어부(101)는, 체크포인트를 생성함에 있어서, 적어도 하나의 이미지 센서를 통해서 측정되는 이미지가 특징점을 포함하고 있는지 확인할 수 있다.
여기서, 특징점은, 수중에 위치한 지형, 인공적인 또는 자연적인 구조물(또는 구조체), 사물 등을 식별하기 위한 특징적인 요소들을 포함할 수 있다. 예를 들면, 이미지를 통해서 확인되는 특징점은, 해리스 코너 검출(Harris corner detector), Shi-Tomasi 코너 검출(Shi-Tomasi Corner Detection), 스케일 고정된 특징 변환(Scale Invariant Feature Transform, sift), 멀티 스케일 지향성 조각(multi-scale oriented patches) 추출과 방법들로 검출되는 코너점 및/또는 윤곽선, 그리고 그로 인하여 특정되는 객체일 수 있다. 또한, 특정되는 객체는, 상술한 바와 같이 검출된 코너점 및/또는 윤곽선이 포함된 폐도형으로 결정될 수 있다.
제어부(101)는, 상술한 바와 같이 이미지로부터 특징점을 검출하는 경우, 검출된 특징점의 위치에 대한 체크포인트를 생성할 수 있다. 제어부(101)는 검출한 특징점을 포함하는 적어도 하나의 이미지를 저장할 수 있고, 해당 위치에서 촬영되는 이미지, 예를 들면, 도 3에 도시된 바와 같이, 수중 이미지 처리장치(10)를 기준으로 적어도 하나의 이미지를 촬영하여 저장할 수 있다.
예를 들어, 도 3에 도시된 바와 같이, 제어부(101)는 검출된 특징점(21-1)을 포함하는 특정 영역을 촬영하고, 촬영 이미지(301)를 해당 체크포인트에 대한 정보로 저장할 수 있다. 또한, 제어부(101)는, 생성된 체크포인트에 대한 정보에 위치 정보를 포함할 수 있다.
더하여, 제어부(101)는, 수중 이미지 처리장치(10)의 이동 중에, 지정된 시간 간격으로, 또는 지정된 거리 간격으로 체크포인트를 생성할 수 있다. 이때, 제어부(101)는, 생성되는 체크포인트에서 촬영되는 이미지로부터 특징점을 검출하지 못하는 경우, 해당 위치에서 수중 이미지 처리장치(10)를 기준으로 적어도 일 방위(또는 방향)에 대한 이미지를 촬영하여 저장할 수 있다.
상술한 바와 같이, 제어부(101)는, 수중 이미지 처리장치(10)의 이동 중에 촬영되는 이미지로부터 특징점을 검출하지 못하는 경우에도 체크포인트를 생성하고, 도 5에 도시된 바와 같이, 지정된 방향으로 적어도 하나의 이미지(401)를 촬영하여 해당 체크포인트에 대한 정보로 저장할 수 있다. 이때, 제어부(101)는 체크포인트를 생성함에 있어서, 지정된 시간 간격으로, 또는 지정된 거리 간격으로 체크포인트를 생성함으로써, 수중 이동에 대한 경로를 확인함에 있어서 연속성을 유지할 수 있다.
여기서, 체크포인트 생성 시 촬영되는 이미지(301, 401)는, 적어도 하나의 소나이미지를 포함할 수 있다. 예를 들면, 수중 이동 장치(10)의 센싱부(103)는 적어도 하나의 음파탐지기(sound navigation ranging, sonar)를 포함할 수 있다. 또한, 센싱부(103)가 카메라(camera)를 포함하는 경우, 카메라를 통해서 촬영된 적어도 하나의 광학 이미지를 더 포함할 수 있다.
수중 이미지 처리장치(10)의 수중 이동 중에 체크포인트를 생성하는 동작을 도 7에 도시된 상황도(30-1, 30-3, 30-5)를 참조하여 설명할 수 있다. 상황도(30-1)에 도시된 바와 같이, 수중 이미지 처리장치(10)는, 지정된 목적지로의 이동 또는 목적지가 설정되지 않은, 예를 들면, 수중을 자유 이동하며 특징점들을 검출하는 탐사 모드 등의 자유 이동을 수행할 수 있다.
이 때, 상황도(30-3)를 참조하면, 수중 이미지 처리장치(10)는, 센싱부(103)를 통해서 촬영되는 이미지로부터 적어도 하나의 특징점을 검출하거나, 또는 저장부(111)에 지정된 시간 간격이 경과하거나, 또는 수중 이미지 처리장치(10)의 지정된 거리를 이동할 때마다 해당 위치에 대하여 체크포인트(33)를 생성할 수 있다.
수중 이미지 처리 장치(10)는 목적지에 도착할 때까지, 또는 이동에 대한 다른 제어 명령을 수신하는 시점까지 이동하여 상황도(30-5)에 도시된 체크포인트(35)와 같이, 특정 위치에 추가적으로 체크포인트를 생성할 수 있다.
제어부(101)는, 수중 이미지 처리장치(10)의 자유이동 중에 생성된 체크포인트를 참고하여, 경로 역추적 중 발생되는 위치 오차를 보정할 수 있다. 예를 들면, 체크포인트를 이용하여 위치를 보정하는 수중 이미지 처리장치(10)의 경로 역추적 동작은 이하 도 2에 도시된 제어부(101)의 세부 구성 요소를 참고하여 설명할 수 있다.
일 실시 예에 따르면, 도 2에 도시된 바와 같이, 제어부(101)는 경로 역추적 동작에서, 위치설정모듈(201), 위치확인모듈(203), 이미지비교모듈(205), 오차결정모듈(207), 위치보정모듈(209) 및 촬영모듈(211) 중 적어도 하나의 처리에 대한 구성 요소를 포함할 수 있다.
설명하면, 위치설정모듈(201)은, 수중 이미지 처리장치(10)의 경로 역추적을 위한 위치(예: 목적지 좌표)를 결정할 수 있다. 일 실시 예에 따르면, 위치설정모듈(201)는, 통신부(107) 또는 입력부(109)를 통해서 입력된 데이터에 기반하여 목적지를 결정할 수 있다.
위치확인모듈(203)은 센싱부(103)에 포함된 위치 측정 센서(이하, 위치 센서)를 통해서 수중 이미지 처리장치(10)의 좌표를 결정할 수 있고, 및/또는 다양한 항법을 이용한 이동(예: 추측항법을 통한 이동) 후에 결정된 수중 이미지 처리장치(10)의 좌표를 결정할 수 있고, 목적지 좌표를 결정할 수 있다.
위치확인모듈(203)은, 결정된 좌표들에 기반하여, 경로 역추적 동작에서 수중 이미지 처리장치(10)가 이동하기 위한 적어도 하나의 이동 경로를 결정할 수 있다. 이때, 위치확인모듈(203)은, 기 설정된 체크포인트 중 적어도 하나를 경로 역추적 동작의 이동 경로에 포함할 수 있다.
이미지비교모듈(205)은, 경로 역추적 이동 중에기 설정된 체크포인트를 확인하는 경우 수행될 수 있다. 예를 들면, 수중 이미지 처리장치(10)는, 경로 역추적 이동 중 적어도 하나의 기 설정된 체크포인트의 위치를 지나갈 수 있다. 이때, 이미지비교모듈(205)은, 해당 체크포인트가 생성된 시점의 이미지와 해당 경로 역추적 이동 과정에서 촬영된 이미지를 비교할 수 있다.
일 실시 예에 따르면, 수중 이미지 처리장치(10)는 자유이동 중에 특징점이 검출되거나 지정된 시간 간격(또는 거리 간격)에 따라서 생성된 체크포인트에 대한 정보에 저장된 이미지(301, 401)를 제1 이미지로 정의하고, 경로 역추적 이동 중 기 설정된 체크포인트에 도달하여 촬영하는 이미지(303, 403)를 제2 이미지로 정의할 수 있다.
여기서, 체크포인트가 검출된 특징점에 대하여 생성된 경우, 이미지비교모듈(205)은, 제1 이미지(301) 및 제2 이미지(303)에 포함된 동일한 특징점(21-1, 21-3)을 확인할 수 있고, 오차결정모듈(207)을 통해서 제1 이미지(301)에 포함되는 특징점(21-1)과, 제2 이미지(303)에 포함되는 특징(21-3)점을 비교하여 수중 이미지 처리장치(10)의 위치 오차를 결정할 수 있다.
예를 들면, 오차결정모듈(207)은, 제1 이미지(301)에서 특징점(21-1)의 위치 와 제2 이미지(303)에서 특징점(21-3)의 위치를 비교하여 제1 이미지(301)를 촬영한 시점의 수중 이미지 처리장치(10)의 위치 대비 제2 이미지(303)를 촬영한 시점의 수중 이미지 처리장치(10)의 위치에 대하여 위치 오차를 결정할 수 있다.
여기서, 이미지비교모듈(205)를 통해서 수행되는 제1 이미지와 제2 이미지의 비교는, 이미지의 유사도를 결정하는 것일 수 있다. 일 실시 예에 따르면, 동일한 영역의 이미지를 촬영하는 경우, 이미지를 촬영한 위치에 따라서 이미지에 포함되는 객체, 예를 들면, 지형, 지물 및 구조상의 형상에 변화가 발생될 수 있다. 이미지비교모듈(205)는, 이미지에 포함되는 객체의 형상에 대한 유사도를 비교하고, 이미지를 촬영한 위치를 비교할 수 있다.
이미지를 비교하는 일 실시 예에 따르면, 이미지 비교 모듈(205)은, 제1 이미지(301) 및 제2 이미지(301)로부터 검출하는 특징점(21-1, 21-3) 및 검출된 특징점(21-1, 21-3)에 기반하여 확인하는 객체를 이용하여 제1 이미지(301) 및 제2 이미지(303)를 촬영한 시점의 수중 이미지 처리장치(10)의 위치를 확인할 수 있다.
예를 들면, 이미지 비교 모듈(205)은, 제1 이미지(301) 및 제2 이미지(303)에서 검출된 특징점(21-1, 21-3)으로부터 제1 이미지(301) 및 제2 이미지(303)를 촬영한 시점의 수중 이미지 처리장치(10)의 거리, 방향 등의 정보를 확인할 수 있고, 이를 이용하여 제1 이미지(301) 및 제2 이미지(303)를 촬영한 시점 각각의 수중 이미지 처리장치(10)의 위치(예: 좌표)를 확인할 수 있다.
여기서, 이미지 비교 모듈(205)는, 특징점 및/또는 객체와 수중 이미지 처리장치(10) 사이의 거리를 결정하기 위한 데이터로, 이미지의 해상도, 이미지의 픽셀 사이즈, 이미지에 포함되는 특징점 및/또는 특징점에 기반하는 객체의 사이즈를 이용할 수 있다.
반면, 이미지비교모듈(205)은, 기 생성된 체크포인트의 위치에 도달하여, 해당 체크포인트의 제1 이미지(401)가 특징점을 포함하지 않는 것으로 결정하는 경우, 제1 이미지(401) 및 경로 역추적 이동에서 해당 체크포인트에 도달하여 촬영한 제2 이미지(403)를 푸리에 변환(Fourier transform)할 수 있다.
예를 들면, 푸리에 변환을 이용하는 이미지 비교에 대한 일 실시 에에 따르면, 제1 이미지(401) 및 제2 이미지(403)의 2차원 이동(또는 2차원 시프트, 2D shift)(t x, t y)에 대한 하기 [수학식1]을 이용할 수 있다.
Figure 112016102476157-pat00001
(1)
(여기서, i 1(x, y)는 제1 이미지에서의 2차원 좌표, i 2(x, y)는 제2 이미지에서의 2차원 좌표)
이미지 비교모듈(205)는, [수학식1]을 푸리에 변환하여 결정한 하기 [수학식2]를 교차-파워 스펙트럼(cross power spectrum)에 대한 하기 [수학식3]에 적용할 수 있다.
Figure 112016102476157-pat00002
(2)
Figure 112016102476157-pat00003
(3)
[수학식2] 및 [수학식3]에 따르면, 2차원 이동(t x, t y)은 x축 및 y축 방향으로의 이동을 의미하는 수치로서, [수학식3]에 역푸리에 변환을 수행하여 (t x, t y) 좌표에서의 피크(peak) 값을 가지는 2차원 그래프를 결정할 수 있다.
예를 들면, 이미지비교모듈(205)은, 체크포인트에 대한 정보에 포함된 제1 이미지(401)가 어떠한 특징점도 포함하지 않는 경우, 제1 이미지(401)가 촬영된 체크포인트에서 제1 이미지(401)의 촬영 영역과 동일(또는 유사)한 영역(또는 위치)을 촬영한 이미지(403)를 제2 이미지로 결정할 수 있다.
오차결정모듈(207)은, 제1 이미지(401) 및 제2 이미지(403)를 푸리에 변환하여, 푸리에 변환된 결과에 기반하여 제1 이미지(401)를 촬영한 시점에 수중 이미지 처리장치(10)의 위치 대비 제2 이미지(403)를 촬영한 시점에 수중 이미지 처리장치(10)의 위치에 대하여 위치 오차를 결정할 수 있다.
다양한 실시 예에 따르면, 이미지비교모듈(205) 및 오차결정모듈(207)을 통하여 수중 이미지 처리장치(10)의 추측항법에 대한 위치 오차를 결정에 있어서, 하나의 체크포인트에서 둘 이상의 촬영 영역에 대한 제1 이미지 및 제2 이미지를 이용하여 위치 오차를 보정할 수 있다.
일 실시 예에 따르면, 위치 오차의 보정은, 경로 역추적 이동에서 수중 이미지 처리장치(10)의 추측 이동에 따라서 좌표계 상의 좌표와 수중 이미지 처리장치(10)의 실제 위치의 좌표간에 발생되는 오차를 수정하는 것일 수 있다.
예를 들면, 체크포인트에서 이미지를 비교하기 위한 제1 이미지 및 제2 이미지는 동일한 위치에서 동일한 영역을 촬영하는 것으로 가정하며, 이때, 제1 이미지를 촬영한 수중 이미지 처리장치(10)의 위치를 기준으로 제2 이미지를 촬영한 수중 이미지 처리장치(10)의 위치를 위치 오차로 결정한다.
이때, 일 영역에 대하여 촬영된 제1 이미지 및 제2 이미지를 한 이미지 셋으로 적어도 하나의 영역, 바람직하게는 둘 이상의 영역에 대한 이미지 셋에 포함되는 제1 이미지와 제2 이미지에 대한 푸리에 변환 결과를 비교할 수 있다.
푸리에 변환 결과를 이용하여 수중 이미지 처리 장치(10)의 위치 오차를 결정하는 일 실시 예에 따르면, 오차결정모듈(209)는, [수학식3]의 역푸리에 변환을 수행하여 결정되는 (t x, t y) 좌표에서의 피크(peak) 값을 가지는 2차원 그래프로부터 피크 검출(peak detection)을 통해서 결정되는 변위를 위치 오차로 결정할 수 있다.
위치보정모듈(209)는 구동부(105)를 제어하여 수중 이미지 처리장치(10)의 위치를 제1 이미지를 촬영한 위치로 이동하도록 처리할 수 있다. 여기서 위치보정모듈(105)는, 결정한 수중 이미지 처리장치(10)의 위치 오차를 보정함에 있어서, 좌표간 이동을 수행할 수 있지만, 이에 한정하지 않고 다양한 이동 방법을 수행할 수 있다. 예를 들면, 수중 이미지 처리장치(10)의 좌표간 이동의 경우, 방향과 거리(크기)를 이용하는 벡터 이동을 수행할 수 있지만, 좌표간의 거리를 여러 횟수로 분할하여 이동하며 이동 중에 위치 오차를 확인하는 동작을 적어도 일회 반복하여 수행할 수 있다. 좌표간 벡터 이동의 경우, 수중 이미지 처리 장치(10)의 위치 제어에 있어서 낮은 오차를 가지는 경우 효과적으로 위치 오차를 수정할 수 있다. 하지만, 위치 제어에 있어서 오차가 크게 발생되는 수중 이미지 처리장치(10)의 경우, 방향을 결정하고, 거리를 여러번 분할하여 이동함으로써, 위치 오차의 보정에서 정확도를 향상시킬 수 있다.
수중 이미지 처리장치(10)의 경로 역추적 이동 중에 체크 포인트를 이용하여 위치 오차를 보정하는 동작을 도 8에 도시된 상황도(40-1, 40-3, 40-5)를 참조하여 설명할 수 있다.
상황도(40-1)에 도시된 바와 같이, 수중 이미지 처리장치(10)는 통신부(107) 및/또는 입력부(109)를 통해서 입력되는 제어 명령에 기반하여 경로 역추적 이동을 수행할 수 있다. 이때, 수중 이미지 처리장치(10)는 목적지까지 이동 경로를 설정함에 있어서, 적어도 하나의 기 설정된 체크포인트(33, 35)를 포함하여 이동 경로를 결정할 수 있다.
상황도(40-3)을 참조하면, 수중 이미지 처리장치(10)는, 이동 경로에 따라서 지정된 체크포인트(35)로 이동할 수 있다. 이때, 수중 이미지 처리장치(10)는, 경로 역추적 이동을 수행함에 있어서 다양한 항법, 예를 들면, 추측항법을 이용하여 체크포인트로 이동할 수 있다.
지정된 체크포인트(35)에 도착한 것을 확인하는 경우, 수중 이미지 처리 장치(10)는, 체크포인트에 대한 정보에 기반하여 기 저장된 이미지 및 체크포인트에 도달하여 촬영된 이미지를 비교하여 위치 오차를 결정하고, 기 설정된 체크포인트(35)의 위치 및 체크포인트(35)에 도달한 것으로 결정한 시점의 수중 이미지 처리 장치(10)의 위치(36) 사이의 오차를 보정(501)할 수 있다. 이때, 수중 이미지 처리장치(10)는 이미지를 비교함에 있어서, 이미지를 푸리에 변환한 결과 값을 비교할 수 있다.
상황도(40-5)를 참조하면, 수중 이미지 처리장치(10)는, 위치 보정 후 수중 이미지 처리장치(10)의 위치 보정 결과를 확인하고, 이동 경로에 기반하는 이동과 위치 오차의 보정, 예를 들면, 체크포인트(33)로의 이동 및 체크포인트(33)에서 위치 오차의 보정을 계속적으로 수행할 수 있다.
도 2에 도시된 제어부(101)의 동작은 경로 역추적 동작에서의 처리에 대한 구성 요소들을 설명하고 있지만, 이에 한정하지 않고, 체크포인트를 생성하는 자유이동 과정에서 적용할 수 있음은 자명하다.
다시 도 1로 돌아가서, 센싱부(103)는, 수중 이미지 처리장치(10)의 상태 및 주변 상황에 대한 정보를 측정하는 적어도 하나의 센서를 포함할 수 있다. 예를 들면, 센싱부(103)는, 도플러 속도센서(doppler speed sensor), 지피에스(global positioning system, GPS), 압력측정 센서(이하, 압력센서), 온도 측정 센서(이하, 온도센서), 자이로 센서(또는 자이로스코프), 기울기 측정 센서(이하, 기울기 센서) 중 적어도 하나의 센서를 포함할 수 있다.
또한, 센싱부(103)는, 적어도 하나의 이미지 센서를 포함할 수 있다. 예를 들면, 이미지 센서는, 초음파를 이용하는 이미지 센서(예: 음파 탐지기, sonar), 가시광선을 이용하는 이미지 센서(예: 카메라, camera), 적외선 및/또는 가시광선을 이용하는 이미지 센서 중 적어도 하나의 이미지 센서를 포함할 수 있다.
센싱부(103)는, 상술한 바와 같이 다양한 센서들을 통해서 수중 이미지 처리장치(10)의 상태 및 주변 상황에 대한 정보를 측정하여 제어부(101)에 전송할 수 있다. 이때, 제어부(101)는, 센싱부(103)를 통해서 수신한 데이터에 기반하여, 수중 이미지 처리장치(10)의 위치를 결정할 수 있다.
일 실시 예에 따르면, 수중을 x, y, z축을 가지는 3차원 좌표계로 표현하는 경우, 수심을 z축으로 결정할 수 있다. 이때, 수중 이미지 처리장치(10)의 z축에 해당하는 수심은 도플러 속도센서, 압력센서, 온도센서 자이로 센서 중 적어도 하나의 센서를 이용하여 결정할 수 있다.
상술한 바에 따르면, 수중 이미지 처리장치(10)의 수심(z)은 비교적 정확하게 측정되는 것으로 가정할 수 있고, 따라서, 수중 이미지 처리장치(10)의 위치에 대한 보정은 위치 측정 및/또는 다양한 항법으로 수행되는 x축 및/또는 y축에 대한 수평이동, 그리고 위치의 보정을 중심으로 설명할 수 있다.
구동부(105)는, 추진력을 발생시켜 수중 이미지 처리장치(10)를 이동시키는 구성 요소로, 예를 들면, 프로펠러, 스크류, 터빈 중 적어도 하나의 추진장치를 포함할 수 있다. 또한, 구동부(105)는 수중 이미지 처리장치(10)의 방향을 전환하기 위한 방향키를 포함할 수 있다.
통신부(107)는 수중 이미지 처리장치(101)와 외부의 통신을 연결할 수 있다. 예를 들면, 통신부(107)는 무선 통신 또는 유선 통신을 통해서 네트워크(120)에 연결되며, 및/또는 외부장치(130)와 통신할 수 있다.
무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system), OFDM(orthogonal frequency division multiplexing), OFDMA(orthogonal frequency division multiple access), LTE(long term evolution), LTE-A(long term evolution-advanced), CDMA(code division multiple access), WCDMA(wideband code division multiple access), UMTS(universal mobile telecommunications system), WiBro 또는 GSM(global system for mobile communications)과 같은 통신 규격 및 통신 방식 중 적어도 하나를 포함할 수 있고, 상술한 통신 규격 및 통신 방식의 적어도 일부는 셀룰러(cellular) 통신으로 제공될 수 있다.
유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다. 통신부(107)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
본 발명의 일 실시 예에 따르면, 네트워크(120)는 통신 네트워크(telecommunications network)일 수 있다. 통신 네트워크는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다.
도 1을 참조하면, 외부장치(120)는 통신부(107)를 통해서 수중 이미지 처리장치(10)와 직접 통신을 수행하는 것으로 도시하고 있지만, 이에 한정하지 않고, 네트워크(120)를 통해서 수중 이미지 처리장치(10)와 통신할 수 있음은 자명하다.
입력부(109)는, 수중 이미지 처리장치(10)에 데이터 및 제어명령을 입력하기 위한 구성 요소로서, 예를 들면, 키보드, 키패드, 터치 스크린, 적어도 하나의 버튼, 마이크 중 적어도 하나를 포함할 수 있다. 또한, 입력부(109)는, 수중 이미지 처리장치(10)의 이동을 직접 제어하기 위한 조타부를 더 포함할 수 있다.
저장부(111)는, 제어부(101) 또는 다른 구성 요소들로부터 수신되거나 제어부(101) 또는 다른 구성 요소들에 의해 생성된 명령 및/또는 데이터를 저장할 수 있다. 저장부(111)는, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 또는 어플리케이션 등의 프로그래밍 모듈들을 포함할 수 있다. 상술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 저장부(111)에 저장될 수 있다.
일 실시 예에 따르면, 수중 이미지 처리장치(10)는, 자유이동 중 체크포인트를 생성하며, 생성된 체크포인트에 대한 정보로 적어도 하나의 이미지를 포함하고, 경로 역추적 이동에서, 기 생성된 체크포인트를 이용하여 수중 이미지 처리장치(10)의 위치 오차를 보정하는 동작의 흐름을 도 9에 도시된 바와 같이 설명할 수 있다.
도 9을 참조하면, 수중 이미지 처리장치(10)는 지정된 목적지로 자유이동 할 수 있다. 일 실시 예에 따르면, 수중 이미지 처리장치(10)는 통신부(107) 및/또는 입력부(109)를 통해서 입력된 목적지 좌표로 이동할 수 있다.
수중 이미지 처리장치(10)는 수중에서 이동함에 있어서, 지정된 시간 간격으로, 지정된 거리 간격으로, 또는 실시간으로 이미지를 촬영할 수 있다(S1101). 이때, 수중 이미지 처리장치(10)는 목적지로 이동 중에 촬영된 이미지에 기반하여 적어도 하나의 체크포인트를 생성할 수 있다(S1103). 여기서, 수중 이미지 처리장치(10)는, 체크포인트 생성 시점에 촬영된 이미지 중 적어도 일부를 생성된 체크포인트에 대한 정보로 저장할 수 있다.
수중 이미지 처리장치(10)는, 목적지로의 이동을 완료하고, 또는 목적지로의 이동 중 자유이동 동작에서 기 생성된 적어도 하나의 체크포인트를 경유하는 경로 역추적 이동을 수행할 수 있다.
이때, 수중 이미지 처리장치(10)는 이동에 있어서 센싱부(103)를 통하여 위치(예: 좌표)를 확인(S1105)하고, 기 설정된(또는 예정된) 체크포인트에 도달하는지 여부를 확인할 수 있다(S1107).
이때, 수중 이미지 처리장치(10)의 위치가 기 설정된 체크포인트가 아닌 것으로 결정하는 경우, 수중 이미지 처리장치(10)는 확인되는 좌표를 참고하여 이동을 계속할 수 있다(S1105).
수중 이미지 처리장치(10)는, 확인된 위치가 기 설정된 체크포인트인 것을 확인하는 경우, 체크포인트가 생성된 시점에 촬영된 이미지(예: 제1 이미지)와 체크포인트에 도달하고 촬영된 이미지를 비교하여 수중 이미지 처리장치(10)의 위치 오차를 결정할 수 있다(S1109).
여기서, 수중 이미지 처리장치(10)의 위치 오차를 결정하기 위하여 비교되는 제1 이미지 및 제2 이미지는 동일 영역에 대하여 촬영된 이미지일 수 있다.
또한, 수중 이미지 처리장치(10)의 위치 오차는, 제1 이미지를 촬영하는 시점 및 제2 이미지를 촬영하는 시점의 수중 이미지 처리장치(10)의 위치에 대한 위치 오차로 결정할 수 있다.
수중 이미지 처리장치(10)는, 결정된 위치 오차를 이용하여 수중 이미지 처리장치(10)의 위치를 보정(S1111)하며, 경로 역추적 이동을 계속 수행할지 여부를 결정할 수 있다(S1113).
예를 들면, 수중 이미지 처리장치(10)는, 경로 역추적 이동을 계속 수행, 예를 들면, 목적지에 도착하지 못한 경우, 도 9의 흐름 중 S1105 내지 S1111의 동작을 반복하여 수행할 수 있다.
또한, 이하 도 10을 참조하여, 수중 이미지 처리장치(10)가 자유이동에서 체크포인트를 생성하는 동작의 흐름을 설명할 수 있다. 일 실시 예에 따르면, 도 10은 도 9의 흐름 중 S1101 및 S1103의 동작에 대한 상세한 설명일 수 있다.
수중 이미지 처리장치(10)는, 이동 중에 센싱부(103)에 포함된 적어도 하나의 이미지 센서를 이용하여 수중 촬영 이미지를 생성할 수 있다(S1201). 이때, 수중 이미지 처리장치(10)는, 촬영된 이미지가 적어도 하나의 특징점을 포함하는지 여부를 확인할 수 있다(S1203).
수중 이미지 처리장치(10)는, 촬영된 이미지로부터 특징점을 검출하는 경우, 해당 특징점의 위치에 대하여 체크포인트를 생성할 수 있다(S1205). 또한, 수중 이미지 처리장치(10)는, 특징점을 포함하는 적어도 하나의 이미지 촬영하고, 해당 체크포인트에 대한 정보로 저장할 수 있다(S1207).
반면, 수중 이미지 처리장치(10)는 이동 중에 체크포인트 생성 명령을 확인할 수 있다(S1209). 예를 들면, 수중 이미지 처리장치(10)는, 지정된 시간 간격으로 또는 지정된 이동 거리마다 체크포인트를 생성하도록 설정될 수 있고, 해당 시점에 발생되는 체크포인트 생성 명령에 따라서 수중 이미지 처리장치(10)의 위치에 대한 체크포인트를 생성할 수 있다(S1211).
이때, 수중 이미지 처리장치(10)는, 수중 이미지 처리장치(10)를 기준으로 적어도 일 방위에 대한 이미지를 촬영하고, 촬영된 이미지를 해당 체크포인트에 대한 정보로 저장할 수 있다. 여기서, 저장되는 이미지는, 적어도 하나의 초음파 이미지(또는 소나이미지)를 포함할 수 있다(S1213).
상술한 바와 같이, 수중 이미지 처리장치(10)는, 이동 간에 적어도 하나의 체크포인트를 생성하며 자유이동을 수행할 수 있다. 그리고, 경로 역추적 이동에서, 기 생성된 적어도 하나의 체크포인트를 경유하며, 이동 경로에 대한 수중 이미지 처리장치(10)의 위치를 보정할 수 있다.
이하 도 11을 참조하여, 수중 이미지 처리장치(10)가 경로 역추적 이동에서 기 생성된 체크포인트를 이용하여 이동 경로 중 수중 이미지 처리장치(10)의 위치 오차를 보정하는 동작의 흐름을 설명할 수 있다. 일 실시 예에 따르면, 도 11는 도 9의 흐름 중 S1105 내지 1113의 동작에 대한 상세한 설명일 수 있다.
수중 이미지 처리장치(10)는, 경로 역추적 이동 시 적어도 하나의 기 생성된 체크포인트의 위치를 경유하도록 이동 경로를 설정할 수 있다. 수중 이미지 처리장치(10)는, 설정된 경로에 따라서 이동하며, 이동 경로에 설정된 체크포인트에 도달하는지 여부를 확인할 수 있다(S1301).
수중 이미지 처리장치(10)는, 도착한 체크포인트에 대한 정보를 참조하여, 기 저장된 이미지(제1 이미지)가 특징점을 포함하는지 여부를 확인할 수 있다(S1303). 이 때, 수중 이미지 처리장치(10)는, 기 저장된 이미지에서 특징점을 확인하는 경우 해당 이미지와 동일한 영역을 촬영한 이미지(제2 이미지)와 비교할 수 있다(S1305).
반면, 수중 이미지 처리장치(10)는, 제1 이미지에서 특징점을 확인하지 못하는 경우, 제1 이미지와 제2 이미지를 푸리에 변환한 결과를 비교할 수 있다. 일 실시 예에 따르면, 비교하는 제1 이미지 및 제2 이미지는 소나이미지일 수 있다(S1311). 이때, 제1 이미지 및 제2 이미지를 비교함에 있어서, 이미지 전체 영역에 대한 푸리에 변환 값(결과 값)을 비교할 수 있다.
수중 이미지 처리장치(10)는 제1 이미지와 제2 이미지 및/또는 제1 이미지와 제2 이미지에 포함되는 특징점 및/또는 이미지에 대한 푸리에 변환 값을 비교하여 경로 역추적 이동 중인 수중 이미지 처리장치(10)의 위치 오차를 결정할 수 있다. 예를 들면, 수중 이미지 처리장치(10)는, 이미지에 포함되는 특징점의 비교 및/또는 이미지에 대한 푸리에 변환 값의 비교에 기반하여 제1 이미지를 촬영한 시점의 수중 이미지 처리장치(10)의 위치와 제2 이미지를 촬영한 시점의 수중 이미지 처리장치(10) 사이의 오차를 위치 오차로 결정할 수 있다(S1307)
수중 이미지 처리장치(10)는, 결정된 위치 오차에 기반하여 수중 이미지 처리장치(10)의 위치를 보정(오차 보정)할 수 있다(S1309). 예를 들면, 수중 이미지 처리장치(10)는, 위치 오차를 결정한 시점의 위치에서 제1 이미지를 촬영한 시점의 위치로 이동할 수 있다.
다양한 실시 예에 따르면, 본 발명의 청구항 및/또는 명세서에 기재된 다양한 실시 예에 따른 장치, 방법의 적어도 일부는, 하드웨어, 소프트웨어, 펌웨어, 또는 하드웨어, 소프트웨어 및 펌웨어 중 둘 이상의 조합을 포함하는 형태(예: 모듈, unit)로 구현될(implemented) 수 있다. 모듈은, 일체로 구성된 부품의 최소 단위 또는 그 일부로서 본 발명의 다양한 실시 예를 수행하는 최소 단위 또는 그 일부가 될 수도 있다. 모듈은 기계적으로 또는 전자적으로 구현될 수 있다. 소프트웨어로 구현하는 경우, 하나 이상의 프로그램(또는 프로그래밍 모듈, 어플리케이션)을 저장하는 컴퓨터 판독 가능 저장 매체(또는 컴퓨터로 읽을 수 있는 저장 매체)가 제공될 수 있다. 예컨대, 소프트웨어는 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 하나 이상의 프로그램은, 수중 이미지 처리장치로 하여금, 본 발명의 청구항 및/또는 명세서에 기재된 실시 예에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함할 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 제어부(101))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장 매체는, 예를 들면, 저장부(110)가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 제어부(101)에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시(flash) 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치, 삭제 가능 및 프로그램 가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)가 포함될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
더하여, 수중 이미지 처리장치에 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 수중 이미지 처리장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장 장치가 휴대용 수중 이미지 처리장치에 접속할 수도 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시 예에 대한 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시 예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성 요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성 요소를 더 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10 : 수중 이미지 처리장치 101 : 제어부
103 : 센싱부 105 : 구동부
107 : 통신부 109 : 입력부
111 : 저장부 201 : 위치설정모듈
203 : 위치확인모듈 205 : 이미지비교모듈
207 : 오차결정모듈 209 : 위치보정모듈
211 : 촬영모듈

Claims (19)

  1. 수중 이미지 처리장치를 이동시키는 구동부;
    적어도 하나의 센서를 통하여 수중 이미지 처리장치의 상태 및 주변 상황에 대한 정보를 측정하되, 수중 이미지 처리장치의 위치를 측정하고 수중 이미지 처리장치 주변의 이미지를 촬영하는 센싱부; 및
    수중 이미지 처리장치의 자유이동 중에 체크포인트를 생성하되, 센싱부를 통해 촬영된 이미지에서 적어도 하나의 특징점이 검출되는 경우에는 해당 특징점이 포함된 이미지 및 그 이미지가 촬영된 위치를 해당 체크포인트에 대한 정보로 저장하고, 센싱부를 통해서 촬영된 이미지에서 특징점을 검출하지 못하는 경우에는 지정된 시간 간격 또는 지정된 이동 거리 간격 마다 현재 위치의 수중 이미지 처리장치를 기준으로 특정 방향에 대한 이미지를 센싱부를 통해 촬영하여 해당 이미지 및 그 이미지가 촬영된 위치를 해당 체크포인트에 대한 정보로 저장하며,
    기 생성된 체크포인트를 이용하여 수중 이미지 처리장치에 대한 경로 역추적 이동의 수행을 제어하되 역추적 이동 중에 발생되는 수중 이미지 처리장치의 위치에 대한 오차를 보정하는 제어부;를 포함하며,
    상기 제어부는,
    설정된 목적지 및 위치를 확인하여 구동부를 통한 목적지로의 역추적 이동 경로에 기 생성된 체크포인트를 포함시키는 위치설정모듈;
    수중 이미지 처리장치가 역추적 이동 경로에 포함된 기 생성 체크포인트에 도달하는지 센싱부를 통해서 확인하는 위치확인모듈;
    기 생성 체크포인트에 대한 정보로 포함된 이미지인 제1 이미지 및 수중 이미지 처리장치가 해당 기 생성 체크포인트에 도달된 시기에 촬영된 이미지인 제2 이미지를 비교하되, 기 생성 체크포인트가 특징점의 검출에 따라 생성된 체크포인트인 경우에는 제2 이미지에서 특징점을 검출한 후에 제1 이미지의 특징점인 제1 특징점과 제2 이미지의 특징점인 제2 특징점을 이용하여 비교하며, 기 생성 체크포인트가 특징점의 미검출에 따라 생성된 체크포인트인 경우에는 제1 이미지 및 제2 이미지에 대한 푸리에 변환을 이용하여 비교하는 이미지비교모듈;
    이미지 비교모듈의 비교 결과에 기반하여 수중 이미지 처리장치의 위치 오차를 결정하는 오차결정모듈; 및
    구동부를 통하여 수중 이미지 처리장치의 위치 오차를 보정하도록 처리하는 위치보정모듈;를 포함하며,
    상기 특징점은 수중에 위치한 지형, 인공적인 구조물, 또는 자연적인 구조물로 이루어진 객체에 대한 코너점, 윤곽선, 또는 이들 코너점 및 윤관선이 포함된 폐도형이고,
    상기 이미지비교모듈은 제1 특징점과 제2 특징점을 이용하여 비교할 경우, 제1 이미지의 해상도, 제1 이미지의 픽셀 사이즈 및 제1 특징점의 사이즈를 이용하여 제1 이미지 촬영 시의 수중 이미지 처리 장치와 제1 특징점 사이의 거리 정보 및 방향 정보를 획득하고, 제2 이미지의 해상도, 제2 이미지의 픽셀 사이즈 및 제2 특징점의 사이즈를 이용하여 제2 이미지 촬영 시의 수중 이미지 처리 장치와 제2 특징점 사이의 거리 정보 및 방향 정보를 획득하며, 획득한 거리 정보 및 방향 정보를 이용하여 제1 이미지 및 제2 이미지를 촬영한 각 시점에서의 수중 이미지 처리장치의 위치를 확인하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리장치.
  2. 제1항에 있어서,
    상기 제어부는 수중 이미지 처리장치의 위치를 x축, y축 및 z축의 3차원 좌표계로 표현하며, 수심을 z축으로 결정하는 경우에 수중 이미지 처리장치의 위치 오차 보정을 x축 또는 y축에서 수행하며,
    상기 이미지비교모듈은,
    제1 이미지 및 제2 이미지에 대한 푸리에 변환을 이용하여 비교할 경우,
    제1 이미지 및 제2 이미지의 2차원 이동(tx, ty)에 대한 하기 [식1]을 푸리에 변환하여 결정한 하기 [식2]를 교차-파워 스펙트럼(cross power spectrum)에 대한 하기 [식3]에 적용한 후, 하기 [식3]에 역푸리에 변환을 수행하여 2차원 이동(tx, ty) 좌표에서의 피크(peak) 값을 가지는 2차원 그래프를 결정하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리장치.
    [식1]
    Figure 112018012127905-pat00015

    [식2]
    Figure 112018012127905-pat00016

    [식3]
    Figure 112018012127905-pat00017

    단, i1(x, y)는 제1 이미지에서의 2차원 좌표, i2(x, y)는 제2 이미지에서의 2차원 좌표, 2차원 이동(tx, ty)은 x축 및 y축 방향으로의 이동 수치를 각각 나타냄
  3. 제2항에 있어서,
    상기 오차결정모듈은,
    이미지비교모듈이 제1 이미지 및 제2 이미지에 대한 푸리에 변환을 이용하여 비교할 경우, 상기 2차원 그래프로부터 피크 검출(peak detection)을 통해서 결정되는 변위를 위치 오차로 결정하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리장치
  4. 제1항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 동일 영역을 촬영한 이미지인 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리장치.
  5. 제1항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 소나이미지인 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 센싱부를 통해서 촬영된 이미지는 소나 이미지 및 광학 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 센싱부는, 음파 탐지기, 카메라, 위치 센서, 수심 센서, 도플러 속도센서, 지피에스, 압력센서, 온도 센서, 자이로스코프, 기울기 센서 중 적어도 하나를 포함하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리장치.
  10. 제1항에 있어서,
    상기 위치보정모듈은, 상기 제2 이미지를 촬영한 시점의 상기 수중 이미지 처리장치의 위치를 상기 제1 이미지를 촬영한 시점의 상기 수중 이미지 처리장치의 위치로 이동하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리장치.
  11. (a) 수중 이미지 처리장치가 자유이동 중에 체크포인트를 생성하되, 센싱부를 통해 촬영된 이미지에서 적어도 하나의 특징점이 검출되는 경우에는 해당 특징점이 포함된 이미지 및 그 이미지가 촬영된 위치를 해당 체크포인트에 대한 정보로 저장하고, 센싱부를 통해서 촬영된 이미지에서 특징점을 검출하지 못하는 경우에는 지정된 시간 간격 또는 지정된 이동 거리 간격 마다 현재 위치의 수중 이미지 처리장치를 기준으로 특정 방향에 대한 이미지를 센싱부를 통해 촬영하여 해당 이미지 및 그 이미지가 촬영된 위치를 해당 체크포인트에 대한 정보로 저장하는 단계;
    (b) 설정된 목적지 및 위치를 확인하여 목적지로의 경로 역추적 이동 경로에 기 생성된 체크포인트를 포함하는 단계;
    (c) 경로 역추적 이동 경로에 포함된 기 생성 체크포인트에 수중 이미지 처리장치가 도달하는지 확인하는 단계;
    (d) 기 생성 체크포인트에 대한 정보로 포함된 제1 이미지 및 수중 이미지 처리장치가 해당 기 생성 체크포인트에 도달된 시기에 촬영된 제2 이미지를 비교하되, 기 생성 체크포인트가 특징점 검출에 따라 생성된 체크포인트인 경우에는 제2 이미지의 특징점을 검출하여 제1 이미지의 특징점인 제1 특징점과 제2 이미지의 특징점인 제2 특징점을 이용하여 비교하며, 기 생성 체크포인트가 특징점 미검출에 따라 생성된 체크포인트인 경우에는 제1 이미지 및 제2 이미지에 대한 푸리에 변환을 이용하여 비교하는 단계;
    (e) 상기 (d) 단계의 비교 결과에 기반하여 수중 이미지 처리장치의 위치 오차를 결정하는 단계; 및
    (f) 수중 이미지 처리장치의 위치 오차를 보정하는 단계;를 포함하며,
    상기 특징점은 수중에 위치한 지형, 인공적인 구조물, 또는 자연적인 구조물로 이루어진 객체에 대한 코너점, 윤곽선, 또는 이들 코너점 및 윤관선이 포함된 폐도형이고,
    상기 (d) 단계는 제1 특징점과 제2 특징점을 이용하여 비교할 경우, 제1 이미지의 해상도, 제1 이미지의 픽셀 사이즈 및 제1 특징점의 사이즈를 이용하여 제1 이미지 촬영 시의 수중 이미지 처리 장치와 제1 특징점 사이의 거리 정보 및 방향 정보를 획득하고, 제2 이미지의 해상도, 제2 이미지의 픽셀 사이즈 및 제2 특징점의 사이즈를 이용하여 제2 이미지 촬영 시의 수중 이미지 처리 장치와 제2 특징점 사이의 거리 정보 및 방향 정보를 획득하며, 획득한 거리 정보 및 방향 정보를 이용하여 제1 이미지 및 제2 이미지를 촬영한 각 시점에서의 수중 이미지 처리장치의 위치를 확인하는 단계를 더 포함하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리방법.
  12. 제11항에 있어서,
    상기 (d) 단계는,
    수중 이미지 처리장치의 위치를 x축, y축 및 z축의 3차원 좌표계로 표현하며, 수심을 z축으로 결정하는 경우에 수중 이미지 처리장치의 위치 오차 보정을 x축 또는 y축에서 수행하며,
    제1 이미지 및 제2 이미지에 대한 푸리에 변환을 이용하여 비교할 경우,
    제1 이미지 및 제2 이미지의 2차원 이동(tx, ty)에 대한 하기 [식1]을 푸리에 변환하여 결정한 하기 [식2]를 교차-파워 스펙트럼(cross power spectrum)에 대한 하기 [식3]에 적용한 후, 하기 [식3]에 역푸리에 변환을 수행하여 2차원 이동(tx, ty) 좌표에서의 피크(peak) 값을 가지는 2차원 그래프를 결정하는 단계를 더 포함하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리방법.
    [식1]
    Figure 112018012127905-pat00018

    [식2]
    Figure 112018012127905-pat00019

    [식3]
    Figure 112018012127905-pat00020

    단, i1(x, y)는 제1 이미지에서의 2차원 좌표, i2(x, y)는 제2 이미지에서의 2차원 좌표, 2차원 이동(tx, ty)은 x축 및 y축 방향으로의 이동 수치를 각각 나타냄
  13. 제12항에 있어서,
    상기 (e) 단계는,
    상기 (d) 단계가 제1 이미지 및 제2 이미지에 대한 푸리에 변환을 이용하여 비교할 경우, 상기 2차원 그래프로부터 피크 검출(peak detection)을 통해서 결정되는 변위를 위치 오차로 결정하는 단계를 더 포함하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리방법.
  14. 제11항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 동일 영역을 촬영한 이미지인 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리방법.
  15. 제11항에 있어서,
    상기 제1 이미지 및 상기 제2 이미지는 소나이미지인 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리방법.
  16. 삭제
  17. 제11항에 있어서,
    상기 촬영된 이미지는 소나 이미지 및 광학 이미지 중 적어도 하나를 포함하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리방법.
  18. 삭제
  19. 제11항에 있어서,
    상기 (f) 단계는,
    상기 제2 이미지를 촬영한 시점의 상기 수중 이미지 처리장치의 위치를 상기 제1 이미지를 촬영한 시점의 상기 수중 이미지 처리장치의 위치로 이동하는 것을 특징으로 하는 경로 역추적 이동을 위한 수중 이미지 처리방법.
KR1020160137586A 2016-10-21 2016-10-21 경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법 KR101882319B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160137586A KR101882319B1 (ko) 2016-10-21 2016-10-21 경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160137586A KR101882319B1 (ko) 2016-10-21 2016-10-21 경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20180044469A KR20180044469A (ko) 2018-05-03
KR101882319B1 true KR101882319B1 (ko) 2018-07-27

Family

ID=62245040

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160137586A KR101882319B1 (ko) 2016-10-21 2016-10-21 경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101882319B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101140558B1 (ko) * 2011-10-17 2012-05-02 국방과학연구소 자율 이동 로봇 및 이의 제어방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2920352B2 (ja) * 1995-02-10 1999-07-19 川崎重工業株式会社 移動体の走行制御方法および装置
KR20090052923A (ko) * 2007-11-22 2009-05-27 주식회사 코스코 원격제어 수중준설로봇
KR102158029B1 (ko) 2014-01-03 2020-09-21 한국전자통신연구원 전파 지도를 이용한 실내위치 인식 방법 및 장치
KR101705601B1 (ko) * 2014-05-30 2017-02-13 동명대학교 산학협력단 3차원 깊이정보기반 자율주행 로봇의 위치추정 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101140558B1 (ko) * 2011-10-17 2012-05-02 국방과학연구소 자율 이동 로봇 및 이의 제어방법

Also Published As

Publication number Publication date
KR20180044469A (ko) 2018-05-03

Similar Documents

Publication Publication Date Title
KR101781757B1 (ko) 객체 인식을 위한 수중 이미지 처리장치 및 그 방법
US11747477B2 (en) Data collecting method and system
US10133278B2 (en) Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
US7124022B2 (en) Feature mapping between data sets
US9058521B2 (en) Mobile robot and simultaneous localization and map building method thereof
US8787614B2 (en) System and method building a map
US10399228B2 (en) Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
KR101538775B1 (ko) 전방 영상을 이용한 위치 인식 장치 및 방법
JP6405778B2 (ja) 対象追跡方法及び対象追跡装置
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
JP5803367B2 (ja) 自己位置推定装置、自己位置推定方法およびプログラム
CN111094895B (zh) 用于在预构建的视觉地图中进行鲁棒自重新定位的系统和方法
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
JP5892663B2 (ja) 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、及び移動体
KR102064257B1 (ko) 잠수정의 수중항법 방법 및 시스템
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
KR20150144726A (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP7339314B2 (ja) 室内測位および追跡のための深層スマートフォンセンサ融合
KR101738751B1 (ko) 실내 자기장을 이용한 이동 로봇의 위치 인식 방법 및 장치
Burdinsky Guidance algorithm for an autonomous unmanned underwater vehicle to a given target
KR101882319B1 (ko) 경로 역추적 이동을 위한 수중 이미지 처리 장치 및 그 방법
Lin et al. Robust outdoor stereo vision SLAM for heavy machine rotation sensing
KR102481615B1 (ko) 데이터 수집 방법 및 시스템
Choi et al. Grid-based visual slam in complex environments
KR101040305B1 (ko) 영상 탐색 장치 및 이를 이용한 표적 결정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right