KR101381218B1 - 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법 - Google Patents

Abstract

본 발명은 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법에 관한 것으로, 수중 로봇에 탑재되며, 음파를 송신하고, 송신된 음파의 응답 음파를 분석하여 피측정 영역에 대한 3차원 위치 정보를 검출하는 소나 센서; 상기 수중 로봇에 탑재되며, 상기 피측정 영역 중의 적어도 일부를 포함하는 서로 다른 영역에 대한 영상 데이터를 획득하는 복수 개의 영상 촬영 장치; 그리고 통신 케이블을 통해 연결되는 상기 수중 로봇 및 모선 중의 적어도 일 측에 설치되며, 상기 소나 센서에 의해 검출된 상기 3차원 위치 정보에 상기 복수 개의 영상 촬영 장치에 의해 획득된 복수 개의 상기 영상 데이터를 정합 처리하여 3차원 영상 정보를 생성하는 데이터 처리 장치를 포함하는 수중 로봇의 주변 영상 생성 장치를 제공한다.

Description

수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법{APPARARTUS AND METHOD FOR GENERATING AN AROUND VIEW OF A REMOTELY OPERATED VEHICLE}

본 발명은 수중 로봇의 주변 영상(AROUND VIEW)을 생성하는 장치 및 수중 로봇의 주변 영상을 생성하는 방법에 관한 것이다.

일반적으로 해저 오일/가스 생산시스템의 설치, 해저 자원의 탐사, 해저 케이블의 설치, 침몰 선박의 인양, 해저 지형 지도의 작성, 또는 수중 구조물의 수리 등과 같은 다양한 수중 작업을 수행하기 위해 수중 로봇(ROV; Remotely Operated Vehicle)이 활용되고 있다. 수중 로봇은 카메라를 사용하여 수중 영상을 촬영하고, 촬영한 수중 영상을 모선 측으로 전송한다. 모선 측의 수중 로봇 조종자는 수중 로봇으로부터 전송된 영상을 모니터를 통해 확인하면서, 로봇 암(arm) 및 각종 센서들을 원격으로 제어하여 수중 로봇이 필요한 수중 작업을 수행하게 된다.

그런데, 수중 로봇에 탑재된 카메라의 제한된 시역(field of view)으로 인하여, 수중 로봇의 조종자는 수중 로봇 전방 측의 제한된 작업 영역에 대한 영상만을 확인할 수 있으며, 수중 로봇의 좌,우 측면 또는 후방 등의 영역에 대한 영상을 확인하기 위해서는 수중 로봇의 자세를 원격 조종하여 수중 로봇을 좌,우로 회전시키는 등의 조작을 하여야 하므로, 수중 작업을 원활하고 효율적으로 수행하기 어려웠다.

수중 로봇의 주변에 대한 모니터링을 위해 수중 로봇에 여러 대의 카메라를 설치할 수 있으나, 카메라의 설치 개수만큼 다양한 영상들로 인해 작업자에게 혼란을 일으킬 수 있다. 즉, 인접한 두 카메라에 의해 촬영된 영상 사이의 경계 부분이 서로 일치되지 않을 뿐 아니라, 카메라들의 위치에 따라 영상에서 나타나는 피사체의 형태가 다르게 나타날 수 있기 때문에, 복수의 영상이 개별적으로 표시되는 상황 하에서는 수중 로봇의 정확한 주변 영상을 파악하기 어려울 수 있다. 따라서, 작업자는 수중 로봇의 주변 상황을 개략적으로 추정하여 수중 작업을 수행할 수 밖에 없어, 작업자의 숙련도에 따라 작업의 효율성이 좌우됨과 동시에 수중 작업 중 수중 로봇이 작업 대상 구조물 주변의 물체 또는 해저 지형 등에 간섭되어 수중 작업에 지장이 초래될 수 있다.

본 발명은 수중 로봇의 주변 영상(around view)을 생성하는 장치 및 수중 로봇의 주변 영상을 생성하는 방법을 제공하는 것을 목적으로 한다.

본 발명이 해결하고자 하는 다른 과제는 수중 로봇의 영상 촬영 장치에 의하여 획득한 영상으로부터 3차원의 영상 정보를 생성할 수 있는 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법을 제공하는 것에 있다.

본 발명이 해결하고자 하는 또 다른 과제는 복수 개의 영상 촬영 장치에 의하여 획득한 영상들로부터 수중 로봇의 하나의 주변 영상을 생성할 수 있는 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법을 제공하는 것에 있다.

본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 측면에 따른 수중 로봇의 주변 영상 생성 장치는, 수중 로봇에 탑재되며, 음파를 송신하고, 송신된 음파의 응답 음파를 분석하여 피측정 영역에 대한 3차원 위치 정보를 검출하는 소나 센서; 상기 수중 로봇에 탑재되며, 상기 피측정 영역 중의 적어도 일부를 포함하는 서로 다른 영역에 대한 영상 데이터를 획득하는 복수 개의 영상 촬영 장치; 그리고 통신 케이블을 통해 연결되는 상기 수중 로봇 및 모선 중의 적어도 일 측에 설치되며, 상기 소나 센서에 의해 검출된 상기 3차원 위치 정보에 상기 복수 개의 영상 촬영 장치에 의해 획득된 복수 개의 상기 영상 데이터를 정합 처리하여 3차원 영상 정보를 생성하는 데이터 처리 장치를 포함한다.

본 발명의 일 측면에 따르면, 상기 소나 센서 및 상기 영상 촬영 장치의 원점 설정 정보를 생성하는 원점 설정 장치; 그리고 상기 원점 설정 정보를 저장하는 데이터 저장 장치를 더 포함하는 수중 로봇의 주변 영상 생성 장치가 제공될 수 있다.

본 발명의 일 측면에 따르면, 상기 원점 설정 장치는, 상기 소나 센서를 사용하여 테스트 정반 상에 배치된 3차원 구조물에 대하여 검출한 3차원 위치 정보로부터 특징점을 추출하고, 상기 영상 촬영 장치를 사용하여 상기 테스트 정반 상에 배치된 상기 3차원 구조물에 대하여 획득한 영상 데이터로부터 상기 특징점을 추출하는 특징점 추출부; 그리고 상기 3차원 위치 정보 및 상기 영상 데이터로부터 추출된 특징점들의 위치 데이터를 상기 특징점들 각각에 대하여 미리 결정된 위치 데이터와 비교하거나, 상기 특징점들의 위치 데이터를 서로 비교함으로써, 상기 원점 설정 정보를 생성하는 원점 설정 정보 생성부를 포함하는 수중 로봇의 주변 영상 생성 장치가 제공될 수 있다.

본 발명의 일 측면에 따르면, 상기 데이터 처리 장치는 상기 원점 설정 정보를 이용하여 상기 영상 촬영 장치에 의해 획득된 상기 영상 데이터를 상기 소나 센서에 의해 검출된 상기 영상 데이터에 대응하는 상기 3차원 위치 정보에 입힘으로써, 상기 3차원 영상 정보를 생성하는 수중 로봇의 주변 영상 생성 장치가 제공될 수 있다.

본 발명의 일 측면에 따르면, 상기 데이터 처리 장치는 상기 원점 설정 정보에 기초하여 상기 영상 데이터의 왜곡을 교정하는 처리를 더 수행하고, 왜곡을 교정한 상기 영상 데이터를 대응하는 상기 3차원 위치 정보에 입힘으로써, 상기 3차원 영상 정보를 생성하는 수중 로봇의 주변 영상 생성 장치가 제공될 수 있다.

본 발명의 다른 일 측면에 따르면, 하우징 프레임; 상기 하우징 프레임에 설치되고, 송신된 음파의 응답 음파를 분석하여 피측정 영역에 대한 3차원 위치 정보를 검출하는 소나 센서; 상기 하우징 프레임에 설치되고, 상기 피측정 영역 중의 적어도 일부를 포함하는 서로 다른 영역에 대한 영상 데이터를 획득하는 복수 개의 영상 촬영 장치; 그리고 상기 하우징 프레임에 설치되고, 상기 소나 센서에 의해 검출된 상기 3차원 위치 정보에 상기 복수 개의 영상 촬영 장치에 의해 획득된 복수 개의 상기 영상 데이터를 정합 처리하여 3차원 영상 정보를 생성하는 데이터 처리 장치를 포함하는 수중 로봇이 제공될 수 있다.

본 발명의 또 다른 일 측면에 따르면, 수중 로봇의 소나 센서 및 복수 개의 영상 촬영 장치에 대한 원점 설정을 통해 원점 설정 정보를 생성하는 단계; 그리고 상기 원점 설정 정보에 기초하여, 상기 소나 센서에 의해 검출된 3차원 위치 정보에 상기 복수 개의 영상 촬영 장치에 의해 획득된 복수 개의 영상 데이터를 정합 처리하여 3차원 영상 정보를 생성하는 단계를 포함하는 수중 로봇의 주변 영상 생성 방법이 제공될 수 있다.

본 발명의 또 다른 일 측면에 따르면, 상기 원점 설정 정보를 생성하는 단계는, 상기 소나 센서를 사용하여 테스트 정반 상에 배치된 3차원 구조물에 대하여 검출한 3차원 위치 정보로부터 특징점을 추출하는 단계; 상기 영상 촬영 장치를 사용하여 상기 테스트 정반 상에 배치된 상기 3차원 구조물에 대하여 획득한 영상 데이터로부터 상기 특징점을 추출하는 단계; 그리고 상기 3차원 위치 정보 및 상기 영상 데이터로부터 추출된 특징점들의 위치 데이터를 상기 특징점들 각각에 대하여 미리 결정된 위치 데이터와 비교하거나, 상기 특징점들의 위치 데이터를 서로 비교하는 단계를 포함하는 수중 로봇의 주변 영상 생성 방법이 제공될 수 있다.

본 발명의 또 다른 일 측면에 따르면, 상기 3차원 영상 정보를 생성하는 단계는, 상기 소나 센서를 사용하여 음파를 송신하고, 송신된 음파의 응답 음파를 분석하여 수중 로봇 주변의 피측정 영역에 대한 상기 3차원 위치 정보를 검출하는 단계; 상기 복수 개의 영상 촬영 장치를 사용하여 상기 피측정 영역 중의 적어도 일부를 포함하는 서로 다른 영역에 대한 상기 영상 데이터를 획득하는 단계; 그리고 상기 원점 설정 정보에 기초하여, 상기 영상 촬영 장치에 의해 획득된 복수 개의 영상 데이터를 상기 소나 센서에 의해 검출된 상기 영상 데이터에 대응하는 상기 3차원 위치 정보에 입히는 단계를 포함하는 수중 로봇의 주변 영상 생성 방법이 제공될 수 있다.

본 발명의 일 실시예에 의하면, 수중 로봇의 영상 촬영 장치에 의하여 획득한 영상으로부터 3차원 주변 영상(around view)을 생성할 수 있다.

또한, 본 발명의 일 실시예에 의하면, 수중 로봇의 복수 개의 영상 촬영 장치에 의하여 획득한 영상들로부터 연속적인 형태의 하나의 주변 영상을 생성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 수중 로봇을 이용하여 수중 로봇의 주변 영상을 생성하는 것을 예시적으로 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 수중 로봇의 사시도이다.
도 3은 본 발명의 일 실시예에 따른 수중 로봇의 평면도이다.
도 4는 본 발명의 일 실시예에 따른 수중 로봇의 주변 영상 생성 장치의 구성도이다.
도 5는 도 4에 도시된 원점 설정 장치의 예시적인 구성도이다.
도 6은 본 발명의 일 실시예에 따른 수중 로봇의 주변 영상 생성 방법의 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 수중 작업의 주변 영상 생성 장치를 구성하는 원점 설정 장치를 이용하여 소나 센서 및 영상 촬영 장치의 원점을 세팅하는 것을 예시한 개략도이다.
도 8은 본 발명의 일 실시예에 따라 수중 로봇의 주변 영상을 생성하는 것을 예시적으로 나타낸 도면이다.
도 9는 본 발명의 다른 일 실시예에 따른 수중 로봇의 주변 영상 생성 장치의 구성도이다.

본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다' 또는 이 동사의 다양한 활용형들의 의미는 하나 이상의 다른 구성요소, 단계, 또는 동작의 존재 또는 추가를 배제하지 않을 것이다.

본 발명의 실시예에 따른 수중 로봇의 주변 영상 생성 장치는 수중 로봇의 소나 센서(SONAR sensor)에 의하여 검출한 3차원 위치 정보에, 수중 로봇의 영상 촬영 장치에 의하여 획득한 영상을 정합하여, 3차원의 영상 정보를 생성할 수 있다. 본 발명의 실시예에 따른 수중 로봇의 주변 영상 생성 장치는 수중 로봇의 복수 개의 영상 촬영 장치에 의해 획득된 서로 다른 영역에 대한 영상 데이터들을 각 대응하는 원점 설정 정보에 기초하여 소나 센서의 3차원 위치 정보에 정합 처리함으로써, 연속적인 형태의 수중 로봇의 주변 영상(around view)을 생성할 수 있다.

본 발명의 실시예에 따른 수중 로봇의 주변 영상 생성 방법은 수중 로봇의 소나 센서 및 영상 촬영 장치들에 대한 캘리브레이션(calibration)을 통해 원점 설정 정보를 생성하고, 복수의 영상 촬영 장치에 의해 획득한 영상 데이터들을 각 대응하는 원점 설정 정보에 기초하여 소나 센서의 3차원 위치 정보에 입힘으로써, 하나의 3차원 영상 정보를 생성할 수 있다.

도 1은 본 발명의 일 실시예에 따른 수중 로봇을 이용하여 수중 로봇의 주변 영상을 생성하는 것을 설명하기 위한 예시적인 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 수중 로봇(100)은 이에 탑재된 영상 촬영 장치(130) 및 소나 센서(150)를 사용하여 수중 로봇(100)의 주변 영상(around view)을 생성할 수 있다. 일 실시예에 있어서, 수중 로봇(100)은 크레인(미도시) 등을 이용하여 모선(200)으로부터 심해로 하강될 수 있다. 수중 로봇(100)은 모선(200)과 통신케이블(190)을 통해 연결되어, 모선(200) 측의 작업자에 의해 원격으로 조종될 수 있다. 수중 로봇(100)은 일 예로, 해저 플랜트의 설치를 위해 로봇 암(arm)을 사용하여 해저(300)에 구조물(400, 410)을 설치하는 수중 작업을 수행할 수 있다.

일 실시예에 있어서, 수중 로봇(100)은 이에 탑재된 소나 센서(150)를 사용하여 수중 영역(S1)에 대한 3차원 위치 정보를 검출할 수 있다. 이러한 3차원 위치 정보에는 수중 영역(S1)에 대한 해저(300)면의 굴곡 정보 및 구조물(400, 410)의 위치 및 형상 정보가 포함될 수 있다. 일 실시예에 있어서, 수중 로봇(100)에는 복수 개의 영상 촬영 장치(131~133)가 탑재될 수 있다. 예를 들어, 수중 로봇(100)의 제1 영상 촬영 장치(131)는 수중 로봇(100)의 로봇 암이 설치된 전방 측에 설치되어, 제1 구조물(400) 주변의 제1 영역(R1)에 대한 영상을 촬영하고, 제2 영상 촬영 장치(132)는 수중 로봇(100)의 후방 측에 설치되어, 수중 로봇(100) 후방 측에 돌출되어 있는 해저 영역(310)을 포함하는 제2 영역(R2)에 대한 영상을 촬영하고, 제3 영상 촬영 장치(133)는 수중 로봇(100)의 측면에 설치되어, 제2 구조물(410) 주변 측의 제3 영역(R3)에 대한 영상을 촬영할 수 있다. 일 실시예에 있어서, 영상 촬영 장치들(131~133)에 의하여 촬영되는 영상의 영역들(R1,R2,R3)은 소나 센서(150)를 사용하여 3차원 위치 정보가 검출되는 수중 영역(S1)에 모두 포함되거나, 부분적으로 포함될 수 있다.

일 실시예에 있어서, 수중 로봇(100)의 데이터 처리 장치(160)는 복수의 영상 촬영 장치(131~133)에 의해 촬영된 영역들(R1,R2,R3)에 대한 복수의 영상 데이터를 소나 센서(150)에 의해 검출된 3차원 위치 정보에 정합하여 하나의 주변 영상(around view)을 생성할 수 있다. 생성된 수중 로봇(100)의 주변 영상은 통신 케이블(190)을 통해 모선(200) 측으로 전송되어, 모선(200) 측의 디스플레이 장치(도 4의 도면부호 220)를 통해 디스플레이될 수 있다. 이에 따라, 모선 측의 작업자는 하나로 통합된 수중 로봇(100)의 주변 영상을 통해 수중 로봇(100)의 주변 상황을 확인하면서, 수중 작업을 효율적으로 수행할 수 있다.

도 2는 본 발명의 일 실시예에 따른 수중 로봇의 사시도이다. 도 3은 본 발명의 일 실시예에 따른 수중 로봇의 평면도이다. 도 2 및 도 3을 참조하면, 본 발명의 일 실시예에 따른 수중 로봇(100)은 하우징 프레임(110), 추진 장치(120), 영상 촬영 장치(130; 131~134), 조명 장치(141~144), 소나 센서(SONAR sensor)(150), 데이터 처리 장치(160) 및 로봇 암(arm)(170; 171~172)을 포함한다.

일 실시예에 있어서, 하우징 프레임(110)은 상부 프레임(111), 하부 프레임(113), 그리고 상부 프레임(111)과 하부 프레임(113)을 연결하는 수직 프레임(112)을 포함할 수 있다. 하우징 프레임(110)은 하나 이상의 개방부(opening)를 포함할 수 있다. 일 실시예에 있어서, 하우징 프레임(110)은 기둥 형태로 제공되는 네 개의 수직 프레임(112)에 의하여 상부 프레임(111)과 하부 프레임(113)을 전,후,좌,우 위치에서 연결하는 형태로 제공될 수 있다. 하우징 프레임(110)에는 추진 장치(120), 영상 촬영 장치(130), 조명 장치(141~144), 소나 센서(150), 데이터 처리 장치(160) 및 로봇 암(170)이 설치될 수 있다.

이하, 수중 로봇(100)의 로봇 암(170)이 지향하는 방향을 제1 방향(X), 수평면에서 제1 방향(X)에 수직한 방향을 제2 방향(Y), 제1 방향(X)과 제2 방향(Y)에 모두 수직한 방향을 제3 방향(Z)으로 하여 본 발명의 실시예에 대해 설명한다. 또한, 이하에서 '전방'은 제1 방향(X)을 따라 수중 로봇(100)의 로봇 암(170)이 설치된 쪽을 향하는 방향을 의미하고, '후방'은 제1 방향(X)을 따라 전방 측과 반대되는 방향을 의미하고, '좌측'은 전방 측을 기준으로 왼편을 의미하고, '우측'은 전방 측을 기준으로 오른편을 의미한다.

일 실시예에 있어서, 추진 장치(120)는 상부 프레임(111)과 하부 프레임(113) 사이의 개방부에 설치되어, 수중 로봇(100)을 수평 및 수직 방향으로 추진시킬 수 있다. 추진 장치(120)는 예를 들어 스러스터(thruster) 등으로 구현될 수 있다. 일 실시예에 있어서, 추진 장치(120)는 각각 제1 방향(X), 제2 방향(Y) 및 제3 방향(Z)을 축으로 회전 가능하도록 제공되는 복수 개의 스러스터를 포함할 수 있으며, 이에 의하여 수중 로봇(100)을 상하, 좌우로 회전시키거나, 수평 및 수직 방향으로 추진시킬 수 있다.

소나 센서(150)는 수중 로봇(100)에 탑재되어, 수중 로봇(100)으로부터 소정 거리 내의 피측정 영역(도 1의 도면부호 S1)에 대한 3차원 위치 정보를 검출할 수 있다. 일 실시예에 있어서, 소나 센서(150)는 음파(예를 들어, 초음파 등)를 송신하고, 송신된 음파의 응답 음파를 분석하여 피측정 영역에 대한 3차원 위치 정보를 검출할 수 있다. 소나 센서(150)에 의해 검출된 3차원 위치 정보는 데이터 처리 장치(160)로 입력될 수 있다.

영상 촬영 장치(130)는 수중 로봇(100)의 주변 영역에 대한 영상을 촬영할 수 있다. 영상 촬영 장치(130)는 소나 센서(150)의 피측정 영역 중의 적어도 일부를 포함하는 영역에 대한 영상 데이터를 획득하도록 제공될 수 있다. 일 실시예에 있어서, 수중 로봇(100)은 복수 개의 영상 촬영 장치(131~134)를 포함할 수 있다. 일 실시예에 있어서, 제1 영상 촬영 장치(131) 및 제2 영상 촬영 장치(132)는 각각 수중 로봇(100)의 전방 측과 후방 측에 설치되고, 제3 영상 촬영 장치(133) 및 제4 영상 촬영 장치(134)는 각각 수중 로봇(100)의 우측과 좌측에 설치될 수 있다. 각 영상 촬영 장치(131~134)는 서로 다른 영역(R1~R4)에 대한 영상을 촬영할 수 있다. 일 실시예에 있어서, 제1 영상 촬영 장치(131)는 수중 로봇(100)의 전방 영역(R1)에 대한 영상을 촬영하고, 제2 영상 촬영 장치(132)는 수중 로봇(100)의 후방 영역(R2)에 대한 영상을 촬영하고, 제3 영상 촬영 장치(133)는 수중 로봇(100)의 우측 영역(R3)에 대한 영상을 촬영하고, 제4 영상 촬영 장치(134)는 수중 로봇(100)의 좌측 영역(R4)에 대한 영상을 촬영할 수 있다.

일 실시예에 있어서, 인접한 두 영상 촬영 장치(131, 133)(131, 134)(132, 133)(132, 134) 사이의 촬영 영역은 도 3에 도시된 바와 같이 서로 중복되는 영역을 일부 포함할 수도 있고, 서로 공통된 영역을 포함하지 않는 형태로 제공될 수도 있다. 영상 촬영 장치(130)는 예를 들어, CCD 카메라, CMOS 카메라 등으로 구현될 수 있으나, 영상을 촬영할 수 있는 것이라면 특별한 제한 없이 모두 사용될 수 있다. 복수 개의 영상 촬영 장치(131~134)에 의해 촬영된 영상 데이터들은 데이터 처리 장치(160)로 전송될 수 있다.

조명 장치(141~144)는 수중 로봇(100)의 주변 영역을 향하여 조명을 제공할 수 있다. 일 실시예에 있어서, 조명 장치(141~144)는 각 영상 촬영 장치(131~134)의 영상 촬영 영역을 향하여 조명을 제공하도록 대응하는 각 영상 촬영 장치(131~134)와 인접한 위치에 설치될 수 있다. 조명 장치(141~144)는 일 예로 LED(Light Emitting Diode)로 구현될 수 있으나, 조명을 제공할 수 있는 것이라면 특별히 제한되지 않고 사용될 수 있다.

데이터 처리 장치(160)는 소나 센서(150)로부터 3차원 위치 정보를 입력받고, 영상 촬영 장치(130)로부터 영상 데이터를 입력받을 수 있다. 데이터 처리 장치(160)는 소나 센서(150)에 의해 검출된 3차원 위치 정보와, 영상 촬영 장치들(131~134)에 의해 획득된 영상 데이터들을 정합 처리하여 하나의 3차원 영상 정보를 생성할 수 있다. 데이터 처리 장치(160)에 의해 생성된 3차원 영상 정보는 통신 케이블(190)을 통해 모선(200) 측으로 전송될 수 있다. 일 실시예에 있어서, 데이터 처리 장치(160)는 소나 센서(150) 및 영상 촬영 장치(130)의 원점 설정 정보를 활용하여, 3차원 위치 정보에 영상 데이터를 정합 처리할 수 있다. 이에 대하여는 이후 도 4 내지 도 6을 참조하여 후술한다.

다시 도 2 및 도 3을 참조하면, 로봇 암(170)은 제1 로봇 암(171) 및 제2 로봇 암(172)을 포함할 수 있다. 일 실시예에 있어서, 제1 로봇 암(171) 및 제2 로봇 암(172)은 다자유도를 갖는 다관절 로봇 아암 형태로 제공될 수 있다. 제1 로봇 암(171) 및 제2 로봇 암(172)은 서로 다른 기능을 수행하도록 제공될 수 있다. 예를 들어, 제1 로봇 암(171)의 말단부에 장착되는 툴은 조우(Jaw) 형태로 제공되고, 제2 로봇 암(172)의 말단부에 장착되는 툴은 드릴(Drill) 형태로 제공될 수 있다. 다른 예로, 제1 로봇 암(171)의 말단부에 장착되는 툴은 핑거 조우(Finger Intermeshing Jaw) 형태로 제공되고, 제2 로봇 암(172)의 말단부에 장착되는 툴은 패러럴 조우(Parallel Acting Jaw) 형태로 제공될 수 있다.

도 2 및 도 3에 도시된 구성 외에, 수중 로봇(100)에는 컨트롤 유닛(미도시)이 탑재될 수 있다. 일 실시예에 있어서, 컨트롤 유닛(control unit)은 모선(200) 측으로부터 통신 케이블(190)을 통해 전송된 각종 기능 제어 신호들에 따라 추진 장치(120), 영상 촬영 장치(130), 조명 장치(141~144), 소나 센서(150), 데이터 처리 장치(160), 로봇 암(170) 및 그 밖의 각종 센서들을 제어할 수 있다.

도 4는 본 발명의 일 실시예에 따른 수중 로봇의 주변 영상 생성 장치의 구성도이다. 도 4에 도시된 실시예의 구성들 중에서 도 2 및 도 3과 동일한 도면부호에 해당하는 구성에 대하여는, 중복되는 설명을 생략한다. 도 4를 참조하면, 수중 로봇(100)은 도 2 및 도 3에 도시된 구성 외에, 원점 설정 장치(180) 및 데이터 저장 장치(181)를 더 포함할 수 있다. 원점 설정 장치(180)는 소나 센서(150)로부터 3차원 위치 정보를 입력받고, 영상 촬영 장치(130)로부터 영상 데이터를 입력받을 수 있다. 원점 설정 장치(180)는 입력받은 정보들을 이용하여 소나 센서(150) 및 영상 촬영 장치(130)의 원점 설정을 수행할 수 있다. 일 실시예에 있어서, 수중 로봇(100)은 두 가지 모드(mode)로 동작할 수 있다. 첫 번째 모드는 테스트 모드(test mode)이고, 두 번째 모드는 주변 영상 생성 모드(around view mode)이다. 일 실시예에 있어서, 원점 설정 장치(180)는 테스트 모드에서 동작하고, 데이터 처리 장치(160)는 주변 영상 생성 모드에서 동작하도록 제공될 수 있다. 원점 설정 장치(180)에 대하여는 이후 도 5를 참조하여 후술한다.

다시 도 4를 참조하면, 데이터 저장 장치(181)는 원점 설정 장치(180)에 의해 생성된 소나 센서(150)에 대한 원점 설정 정보 및 복수 개의 영상 촬영 장치(131~134)에 대한 복수 개의 원점 설정 정보를 저장할 수 있다. 데이터 처리 장치(160)는 데이터 저장 장치(181)로부터 소나 센서(150) 및 영상 촬영 장치들(131~134)의 원점 설정 정보를 독출하고, 독출한 원점 설정 정보에 기초하여 소나 센서(150)의 3차원 위치 정보에 영상 데이터들을 정합함으로써, 3차원 주변 영상을 생성할 수 있다. 이때, 각 영상 데이터는 대응하는 영상 촬영 장치의 원점 설정 정보에 기초하여 소나 센서(150)의 3차원 위치 정보에 입혀짐으로써, 하나의 주변 영상으로 합성될 수 있다. 원점 설정 장치, 데이터 처리 장치, 및 데이터 저장 장치는 수중로봇에 포함될 수도 있지만, 이후 도 9에서 설명하는 바와 같이 모선에 포함될 수도 있다. 물론, 원점 설정 장치, 데이터 처리 장치, 및 데이터 저장 장치 중 일부는 수중로봇에 포함되고 다른 일부는 모선에 포함될 수도 있다.

수중 로봇(100)의 주변 영상은 통신 케이블(190)을 통해 모선(200) 측으로 전송될 수 있다. 모선(200) 측에는 사용자 인터페이스 장치(210)와, 디스플레이 장치(220)가 제공될 수 있다. 모선(200) 측으로 전송된 수중 로봇(100)의 주변 영상은 디스플레이 장치(220)를 통하여 출력될 수 있다. 한편, 수중 로봇(100)과 모선(200)은 각각 통신 케이블(190)을 통해 전송되는 데이터를 송,수신하기 위한 통신 인터페이스(미도시)를 포함할 수 있다.

도 5는 도 4에 도시된 원점 설정 장치의 예시적인 구성도이다. 도 5를 참조하면, 원점 설정 장치(180)는 특징점 추출부(182) 및 원점 설정 정보 생성부(183)를 포함한다. 특징점 추출부(182)는 소나 센서(150)를 사용하여 3차원 구조물에 대하여 검출한 3차원 위치 정보로부터 특징점(feature point)을 추출하고, 영상 촬영 장치(130)를 사용하여 3차원 구조물에 대하여 획득한 영상 데이터로부터 특징점을 추출할 수 있다. 원점 설정 정보 생성부(183)는 3차원 위치 정보 및 영상 데이터로부터 추출된 특징점들을 이용하여 원점 설정 정보를 생성할 수 있다. 원점 설정 장치(180)의 보다 구체적인 기능에 대하여는 이후 도 6 내지 도 7을 참조하여 후술한다. 특징점 추출부(182) 및 원점 설정 정보 생성부(183)는 소프트웨어로 구현되거나, FPGA 또는 ASIC 등과 같은 하드웨어 구성요소로서 구현되거나, 어드레싱할 수 있는 저장 매체에 있도록 구성되어 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수 있다. 일 실시예에 있어서, 특징점 추출부(182) 및 원점 설정 정보 생성부(183)는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다.

도 6은 본 발명의 일 실시예에 따른 수중 로봇의 주변 영상 생성 방법의 흐름도이다. 도 6에 도시된 각 단계는 도 4 및 도 5에 도시된 구성들에 의하여 수행될 수 있다. 도 4 내지 도 6을 참조하면, 본 발명의 일 실시예에 따른 수중 로봇(100)의 주변 영상 생성 방법은 수중 로봇(100)의 소나 센서(150) 및 영상 촬영 장치(130)에 대한 원점 설정을 통해 원점 설정 정보를 생성하는 단계(S61 내지 S63), 그리고 원점 설정 정보에 기초하여, 소나 센서(150)에 의해 검출한 3차원 위치 정보에 수중 로봇(100)의 영상 촬영 장치(130)에 의해 획득한 영상 데이터를 정합 처리하여 3차원 영상 정보를 생성하는 단계(S64 내지 S66)를 포함한다. 일 실시예에 있어서, 수중 로봇(100)은 소나 센서(150), 영상 촬영 장치(130) 및 원점 설정 장치(180)를 사용하여 테스트 모드(S61 내지 S63)를 수행하고, 이후 소나 센서(150), 영상 촬영 장치(130) 및 데이터 처리 장치(160)를 사용하여 주변 영상 생성 모드(S64 내지 S66)를 수행할 수 있다.

일 실시예에 있어서, 수중 로봇(100)의 주변 영상 생성 방법은 도 6에 도시된 바와 같이, 소나 센서(150)의 3차원 위치 정보로부터 특징점을 추출하는 단계(S61), 영상 촬영 장치(130)의 영상 데이터로부터 특징점을 추출하는 단계(S62), 소나 센서(150) 및 영상 촬영 장치(130)의 원점을 설정하는 단계(S63), 소나 센서(150)를 사용하여 피측정 영역에 대한 3차원 위치 정보를 검출하는 단계(S64), 영상 촬영 장치(130)를 사용하여 피측정 영역 중의 적어도 일부를 포함하는 영역에 대한 영상 데이터를 획득하는 단계(S65), 그리고 원점 설정 정보를 이용하여 소나 센서(150)의 3차원 위치 정보에 영상 촬영 장치(130)의 영상 데이터를 정합 처리하여 3차원 영상 정보를 생성하는 단계(S66)를 포함한다.

보다 구체적으로 설명하면, 먼저 테스트 모드 선택시, 원점 설정 장치(180)에 의해 소나 센서(150) 및 영상 촬영 장치(130; 131~134)의 원점 설정 프로세스가 수행될 수 있다(S61~S63). 일 실시예에 있어서, 테스트 모드는 수중 로봇(100)이 수중으로 하강하기 전에 모선(200) 측에서 수행될 수 있다. 예를 들어, 모선(200) 측의 작업자는 사용자 인터페이스 장치(210)의 입력을 통해 테스트 모드(S61 내지 S63) 및 주변 영상 생성 모드(S64 내지 S66) 중에서 하나의 모드를 선택할 수 있다.

도 7은 본 발명의 일 실시예에 따른 수중 작업의 주변 영상 생성 장치를 구성하는 원점 설정 장치(180)를 이용하여 소나 센서(150) 및 영상 촬영 장치(130)의 원점을 세팅하는 것을 예시한 개략도이다. 도 7을 참조하면, 소나 센서(150) 및 각 영상 촬영 장치(131~134)의 원점 설정을 위하여, 예를 들어 모선(200)의 데크(deck)에는 테스트 정반(TS)이 제공되고, 테스트 정반(TS) 상에는 3차원의 구조물이 배치될 수 있다.

수중 로봇(100)을 측정 포인트(MP)에 위치시킨 상태에서, 수중 로봇(100)의 소나 센서(150)를 사용하여 3차원 구조물(C1,C2,C3)에 대한 3차원 위치 정보를 검출하고(S61), 영상 촬영 장치들(131~134)을 사용하여 3차원 구조물(C1,C2,C3)을 포함하는 영상을 촬영한다(S62). 이때, 단계 S61에서, 특징점 추출부(182)는 소나 센서(150)를 사용하여 테스트 정반(TS) 상의 3차원 구조물(C1~C3)에 대하여 검출한 3차원 위치 정보로부터 특징점(F1~F6)을 추출한다. 그리고, 단계 S62에서, 특징점 추출부(182)는 영상 촬영 장치(130)를 사용하여 테스트 정반(TS) 상의 3차원 구조물(C1,C2,C3)에 대하여 획득한 영상 데이터로부터 특징점(F1~F6)을 추출한다.

특징점(feature point)은 주어진 데이터에서 특징을 나타낼 수 있는 화소를 의미하며, 일 예로 3차원 구조물(C1,C2,C3)의 모서리 부분에 해당하는 데이터를 의미할 수 있다. 이러한 특징점의 추출은 예를 들어, 코너(corner) 검출, 크기불변특징변환(SIFT; Scale Invariant Feature Transform), 또는 고속강인특징추출(SURF; Speed Up Robust Feature) 등의 방식을 이용하여 수행될 수 있다.

다시 도 6을 참조하면, 단계 S62는 단계 S61의 수행 후 수행되는 것으로 도시되어 있지만, 본 발명의 다른 실시예에 의하면, 단계 S62를 먼저 수행한 이후에 단계 S61을 수행하거나, 단계 S61과 단계 S62를 동시에 수행하는 것도 가능하다. 이어서, 단계 S63에서 원점 설정 정보 생성부(183)는 소나 센서(150)의 3차원 위치 정보로부터 추출된 특징점 및 영상 촬영 장치들(131~134)의 영상 데이터들로부터 추출된 특징점들을 이용하여 소나 센서(150) 및 영상 촬영 장치들(131~134) 각각의 원점 설정 정보를 생성할 수 있다.

일 실시예에 있어서, 원점 설정 정보 생성부(183)는 특징점으로 추출된 위치 값을 미리 결정된 위치 값과 비교하여 원점 설정 정보를 생성할 수 있다. 예를 들어, 원점 설정 정보 생성부(183)는 소나 센서(150)의 위치 정보로부터 추출한 특징점(F1~F6)의 위치 정보를 미리 주어진 기준 값과 비교하고, 특징점(F1~F6)에 대한 위치 값과 기준 값과의 차이 값에 기초하여 소나 센서(150)의 원점을 세팅할 수 있다. 또한, 원점 설정 정보 생성부(183)는 영상 촬영 장치(130)의 영상 데이터로부터 추출한 특징점(F1~F6)에 대한 영상 정보를 미리 주어진 기준 영상값과 비교하고, 특징점(F1~F6)에 대한 영상 정보와 기준 영상값과의 차이 값에 기초하여 영상 촬영 장치(130)의 원점을 세팅할 수 있다.

다른 일 실시예에 있어서, 원점 설정 정보 생성부(183)는 3차원 위치 정보로부터 추출한 특징점과 영상 데이터로부터 추출한 특징점을 비교함으로써, 원점 설정 정보를 생성할 수 있다. 이러한 실시예에 있어서는, 원점 설정 정보 생성부(183)는 소나 센서(150)의 위치 정보로부터 추출한 특징점(F1~F6)에 관한 위치 정보와, 영상 촬영 장치(130)의 영상 데이터로부터 추출한 특징점(F1~F6)에 관한 영상 정보를 비교하여, 그 차이 값에 기초하여 소나 센서(150)에 대한 상대적인 영상 촬영 장치(130)의 기준 좌표를 변환 설정함으로써, 원점 설정 정보를 생성할 수 있다.

일 실시예에 있어서, 원점 설정 정보는 3차원 위치 정보(또는 영상 데이터)의 평행 이동, 회전 이동, 확대 또는 축소 등에 관한 정보를 포함할 수 있다. 원점 설정 장치(180)에 의해 생성된 원점 설정 정보는 데이터 저장 장치(181)에 저장될 수 있다. 각 영상 촬영 장치(131~134)의 원점 설정 정보는 서로 다른 값으로 생성될 수 있다. 각 영상 촬영 장치(131~134)에 대하여 서로 다른 값으로 생성된 원점 설정 정보는 이후 단계 S66에서 각 영상 촬영 장치(130)의 영상 데이터를 이와 대응하는 원점 설정 정보에 기초하여 소나 센서(150)의 3차원 위치 정보와 정합하는데 활용된다.

테스트 모드(S61~S63)를 통해 소나 센서(150) 및 영상 촬영 장치(130)의 원점 설정이 완료되면, 주변 영상 생성 모드(S64~S66)로의 전환이 수행될 수 있다. 테스트 모드(S61~S63)에서 주변 영상 생성 모드(S64~S66)로의 전환은 모선(200) 측의 작업자에 의한 사용자 인터페이스 장치(210)의 입력에 의하여 수행될 수도 있고, 소나 센서(150) 및 영상 촬영 장치(130)의 원점 설정이 완료됨에 따라 자동으로 수행될 수도 있다.

단계 S64에서, 수중 로봇(100)의 소나 센서(150)는 음파를 송신하고, 송신된 음파의 응답 음파를 분석하여 피측정 영역에 대한 3차원 위치 정보를 검출한다. 일 실시예에 의하면, 수중 로봇(100)의 소나 센서(150)에 의해 검출되는 영역은 영상 촬영 장치(130)에 의해 촬영되는 영역을 모두 포함하거나, 부분적으로 포함할 수 있다.

단계 S65에서, 수중 로봇(100)의 각 영상 촬영 장치(131~134)는 피측정 영역 중의 적어도 일부를 포함하는 영역에 대한 영상 데이터를 획득할 수 있다. 일 실시예에 있어서, 수중 로봇(100)은 복수 개의 영상 촬영 장치(131~134)를 사용하여, 서로 다른 복수 개의 영역에 대한 복수 개의 영상 데이터를 획득할 수 있다. 일 실시예에 있어서, 복수 개의 영상 촬영 장치(131~134)에 의해 촬영되는 영역들은 수중 로봇(100) 주변의 360°영역을 모두 포함할 수 있다. 도 6에서 단계 S65는 단계 S64의 수행 후 수행되는 것으로 도시되어 있지만, 본 발명의 다른 실시예에 의하면, 단계 S65를 먼저 수행한 이후에 단계 S64를 수행하거나, 단계 S64과 단계 S65를 동시에 수행하는 것도 가능하다.

단계 S66에서, 데이터 처리 장치(160)는 소나 센서(150)에 의해 검출한 3차원 위치 정보에 영상 촬영 장치들(131~134)에 의해 획득한 영상 데이터들을 정합 처리하여 3차원 영상 정보를 생성할 수 있다. 일 실시예에 있어서, 데이터 처리 장치(160)는 영상 데이터의 왜곡을 교정하는 처리를 수행한 다음, 왜곡을 교정한 영상 데이터를 데이터 저장 장치(181)의 원점 설정 정보를 이용하여 대응하는 소나 센서(150)의 3차원 위치 정보에 입힘으로써, 3차원 영상 정보를 생성할 수 있다.

일 실시예에 있어서, 데이터 처리 장치(160)는 소나 센서(150)에 의해 검출된 3차원 위치 정보에 복수 개의 영상 촬영 장치(131~134)에 의해 획득된 서로 다른 영역에 대한 영상 데이터들을 대응하는 원점 설정 정보에 기초하여 정합 처리함으로써, 3차원 영상 정보를 생성할 수 있다. 소나 센서(150) 및 각 영상 촬영 장치(131~134)는 테스트 정반 상의 3차원 구조물에 대한 특징점 추출을 통하여 하나의 통일된 좌표계로서 매칭되므로, 연속적인 형태의 주변 영상(around view)을 생성할 수 있으며, 수중 로봇의 넓은 영역을 하나의 주변 영상을 통해 확인할 수 있다. 생성된 주변 영상은 통신 케이블(190)을 통해 모선(200) 측으로 전송되어 디스플레이 장치(220)를 통해 표시될 수 있다.

도 8은 본 발명의 일 실시예에 따라 수중 로봇의 주변 영상을 생성하는 것을 예시적으로 나타낸 도면이다. 도 4 및 도 8을 참조하면, 제1 내지 제4 영상 촬영 장치(131~134)에 의해 획득된 영상들(I1~I4)을 대응하는 원점 설정 정보에 기초하여 소나 센서(150)의 3차원 위치 정보에 정합한 결과, 수중 로봇(100) 주변의 구조물들(400, 410, 420) 및 해저의 돌출된 해저 영역(310)의 지형 정보가 정확하게 반영된 주변 영상을 생성할 수 있다.

도 9는 본 발명의 다른 일 실시예에 따른 수중 로봇의 주변 영상 생성 장치의 구성도이다. 도 9에 도시된 실시예의 구성들 중에서 도 4와 동일한 도면부호에 해당하는 구성에 대하여는, 중복되는 설명을 생략한다. 도 9에 도시된 바와 같이, 원점 설정 장치(230), 데이터 처리 장치(240), 및 데이터 저장 장치(250)는 수중 로봇(100) 측에 제공되지 않고, 모선 측(200)에 제공될 수도 있다. 이러한 경우, 소나 센서(150)에 의해 측정된 3차원 위치 정보 및 영상 촬영 장치(130)에 의해 측정된 영상 데이터는 통신 케이블(190)을 통해 수중 로봇(100)으로부터 모선(200) 측으로 제공되고, 모선(200) 측의 원점 설정 장치(230), 데이터 처리 장치(240), 및 데이터 저장 장치(250)에 의하여 원점 설정 정보가 설정되고, 주변 영상이 생성될 수 있다.

이상에서 설명한 바와 같이, 본 발명의 실시예에 의하면, 영상 촬영 장치(130) 및 3D 소나 센서의 캘리브레이션(calibration)을 통하여 수중 로봇(100)의 3차원 주변 영상(around view)을 생성할 수 있으며, 모선 측의 원격 조종자는 넓은 각도로 확장된 수중 로봇의 주변 영역을 하나의 영상을 통해 확인하여 수중 로봇을 손쉽게 조종할 수 있어, 수중 로봇에 의한 수중 작업을 원활하고 효율적으로 수행할 수 있다. 뿐만 아니라, 비교적 가까운 거리에 해당하는 영역에 대한 정보는 주변 영상을 통해 확인할 수 있고, 먼 거리에 해당하는 영역에 대한 정보는 3D 소나 데이터를 통해 확인할 수 있다.

이상의 실시예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시예들도 본 발명의 범위에 속할 수 있음을 이해하여야 한다. 따라서, 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.

100: 수중 로봇 110: 하우징 프레임
120: 추진 장치 130,131~134: 영상 촬영 장치
141~144: 조명 장치 150: 소나 센서
160: 데이터 처리 장치 170,171~172: 로봇 암
180: 원점 설정 장치 181: 데이터 저장 장치
182: 특징점 추출부 183: 원점 설정 정보 생성부
190: 통신 케이블 200: 모선
210: 사용자 인터페이스 장치 220: 디스플레이 장치
230: 원점 설정 장치 240: 데이터 처리 장치
250: 데이터 저장 장치 300: 해저
400,410,420: 구조물

Claims (9)

1. 삭제
2. 수중 로봇에 탑재되며, 음파를 송신하고, 송신된 음파의 응답 음파를 분석하여 피측정 영역에 대한 3차원 위치 정보를 검출하는 소나 센서;
   상기 수중 로봇에 탑재되며, 상기 피측정 영역 중의 적어도 일부를 포함하는 서로 다른 영역에 대한 영상 데이터를 획득하는 복수 개의 영상 촬영 장치;
   통신 케이블을 통해 연결되는 상기 수중 로봇 및 모선 중의 적어도 일 측에 설치되며, 상기 소나 센서에 의해 검출된 상기 3차원 위치 정보에 상기 복수 개의 영상 촬영 장치에 의해 획득된 복수 개의 상기 영상 데이터를 정합 처리하여 3차원 영상 정보를 생성하는 데이터 처리 장치;
   상기 소나 센서 및 상기 영상 촬영 장치의 원점 설정 정보를 생성하는 원점 설정 장치; 그리고
   상기 원점 설정 정보를 저장하는 데이터 저장 장치를 포함하는 수중 로봇의 주변 영상 생성 장치.
3. 제2 항에 있어서,
   상기 원점 설정 장치는,
   상기 소나 센서를 사용하여 테스트 정반 상에 배치된 3차원 구조물에 대하여 검출한 3차원 위치 정보로부터 특징점을 추출하고, 상기 영상 촬영 장치를 사용하여 상기 테스트 정반 상에 배치된 상기 3차원 구조물에 대하여 획득한 영상 데이터로부터 상기 특징점을 추출하는 특징점 추출부; 그리고
   상기 3차원 위치 정보 및 상기 영상 데이터로부터 추출된 특징점들의 위치 데이터를 상기 특징점들 각각에 대하여 미리 결정된 위치 데이터와 비교하거나, 상기 특징점들의 위치 데이터를 서로 비교함으로써, 상기 원점 설정 정보를 생성하는 원점 설정 정보 생성부를 포함하는 수중 로봇의 주변 영상 생성 장치.
4. 제2 항 또는 제3 항에 있어서,
   상기 데이터 처리 장치는 상기 원점 설정 정보를 이용하여 상기 영상 촬영 장치에 의해 획득된 상기 영상 데이터를 상기 소나 센서에 의해 검출된 상기 영상 데이터에 대응하는 상기 3차원 위치 정보에 입힘으로써, 상기 3차원 영상 정보를 생성하는 수중 로봇의 주변 영상 생성 장치.
5. 제4 항에 있어서,
   상기 데이터 처리 장치는 상기 원점 설정 정보에 기초하여 상기 영상 데이터의 왜곡을 교정하는 처리를 더 수행하고, 왜곡을 교정한 상기 영상 데이터를 대응하는 상기 3차원 위치 정보에 입힘으로써, 상기 3차원 영상 정보를 생성하는 수중 로봇의 주변 영상 생성 장치.
6. 삭제
7. 수중 로봇의 소나 센서 및 복수 개의 영상 촬영 장치에 대한 원점 설정을 통해 원점 설정 정보를 생성하는 단계; 그리고
   상기 원점 설정 정보에 기초하여, 상기 소나 센서에 의해 검출된 3차원 위치 정보에 상기 복수 개의 영상 촬영 장치에 의해 획득된 복수 개의 영상 데이터를 정합 처리하여 3차원 영상 정보를 생성하는 단계를 포함하며,
   상기 원점 설정 정보를 생성하는 단계는,
   상기 소나 센서를 사용하여 테스트 정반 상에 배치된 3차원 구조물에 대하여 검출한 3차원 위치 정보로부터 특징점을 추출하는 단계;
   상기 영상 촬영 장치를 사용하여 상기 테스트 정반 상에 배치된 상기 3차원 구조물에 대하여 획득한 영상 데이터로부터 상기 특징점을 추출하는 단계; 그리고
   상기 3차원 위치 정보 및 상기 영상 데이터로부터 추출된 특징점들의 위치 데이터를 상기 특징점들 각각에 대하여 미리 결정된 위치 데이터와 비교하거나, 상기 특징점들의 위치 데이터를 서로 비교하는 단계를 포함하는 수중 로봇의 주변 영상 생성 방법.
8. 삭제
9. 제7 항에 있어서,
   상기 3차원 영상 정보를 생성하는 단계는,
   상기 소나 센서를 사용하여 음파를 송신하고, 송신된 음파의 응답 음파를 분석하여 수중 로봇 주변의 피측정 영역에 대한 상기 3차원 위치 정보를 검출하는 단계;
   상기 복수 개의 영상 촬영 장치를 사용하여 상기 피측정 영역 중의 적어도 일부를 포함하는 서로 다른 영역에 대한 상기 영상 데이터를 획득하는 단계; 그리고
   상기 원점 설정 정보에 기초하여, 상기 영상 촬영 장치에 의해 획득된 복수 개의 영상 데이터를 상기 소나 센서에 의해 검출된 상기 영상 데이터에 대응하는 상기 3차원 위치 정보에 입히는 단계를 포함하는 수중 로봇의 주변 영상 생성 방법.

Images