KR101516545B1

KR101516545B1 - 로봇 촬영영상 표시장치

Info

Publication number: KR101516545B1
Application number: KR1020130130804A
Authority: KR
Inventors: 송영은; 손형일; 이동건; 이민수; 정회룡
Original assignee: 삼성중공업 주식회사
Priority date: 2013-10-31
Filing date: 2013-10-31
Publication date: 2015-05-04

Abstract

로봇 촬영영상 표시장치가 개시된다. 본 발명의 실시 예에 따른 로봇 촬영영상 표시장치는 미리 설정된 주행경로를 따라 선체 외벽 위를 주행하는 로봇으로부터 로봇의 주행경로 상에서 촬영한 제1영상데이터 및 로봇의 위치정보 중 하나 이상을 포함하는 주행정보를 수신하는 로봇정보수신부; 위치정보를 기초로 로봇의 현재 위치에서의 제1영상데이터와 미리 저장된 제2영상데이터를 비교하고, 비교한 결과 값을 기초로 제1영상데이터로부터 물체를 식별할 수 있는 시정영역을 구획하고, 시정영역을 제1이미지로 추출하는 시정영역 이미지추출부; 시정영역을 제외한 제1영상데이터의 나머지 비시정영역과 대응되는 영역을 제2영상데이터로부터 추출하여 그래픽처리된 제2이미지를 생성하는 비시정영역 이미지생성부; 제1이미지와 제2이미지를 합성하여 하나의 이미지로 생성하는 이미지합성부; 및 합성된 이미지를 화면에 제공하는 표시부;를 포함한다.

Description

로봇 촬영영상 표시장치{APPARATUS FOR DISPLAYING PHOTOGRAPHING IMAGE OF ROBOT}

본 발명은 로봇 촬영영상 표시장치에 관한 것이다.

수중의 선체 외벽에는 따개비, 물이끼 등 각종 이물질이 들러붙어 외관을 해치거나 선박의 효율적인 운항에 지장을 줄 수 있으므로 청소작업이 필요하다. 그러나, 작업자가 수중에서 수도구나 맨손을 이용하여 청소작업을 수행할 경우, 매우 비효율적일 뿐 아니라 청소작업의 신뢰도 및 작업자의 안전성 등을 보장하기 힘들다. 이에 최근에는 다양한 종류의 청소로봇이 사용되고 있다.

청소로봇은 자성을 갖는 주행휠을 구비하여 선체 외벽에 부착된 상태에서 주행할 수 있다. 또 청소로봇에는 카메라가 구비되어 주행하면서 선저 상태 등을 촬영하여 원격지의 운용시스템으로 전송할 수 있다. 통상적으로 전문적인 조종훈련을 받은 전문가는 운용시스템에 연결된 모니터 화면을 통해 촬영된 영상데이터를 확인하면서, 조작장치를 이용하여 청소로봇의 주행방향을 조종하게 된다.

청소로봇이 주행하는 선체 외벽은 통상적으로 곡면을 갖도록 형성되어 있으므로, 로봇이 자성을 이용하여 선체 외벽에 붙어 있는 상태로 주행하더라도, 선수나 선미의 특정 지점에 도달하면 주행휠이 선체 외벽의 곡면으로 인해 해당 지점에 완전히 부착되지 못해 로봇 자중에 의해 추락할 수 있다.

그러나, 운용시스템으로 전달되는 로봇의 카메라에 의해 촬영된 영상데이터는 수중 환경에 따라 선명하지 못하여, 전문가가 화면을 보면서 직접 원격으로 로봇을 조종하더라도 로봇이 선체 외벽의 어느 지점에 도달하였는지 정확하게 파악하기 힘들기 때문에 추락의 위험성은 상존한다. 이와 관련하여 한국공개특허 제2008-0093536호(2008.10.22 공개)는 선체 외벽에 부착된 따개비 및 물이끼 등을 청소하고, 카메라에 의해 선저의 상태를 촬영하면서 이동하는 청소로봇에 관한 기술을 공개한 바 있다.

한국공개특허 제2008-0093536호(2008.10.22 공개)

본 발명의 실시 예는 로봇에 부착된 카메라에 의해 촬영된 영상데이터에서 물체를 식별할 수 있는 시정영역의 이미지를 추출하고, 해당 영상데이터의 나머지 비시정영역에 해당하는 부분은 로봇의 현재 위치에서 미리 촬영된 선명한 영상데이터로부터 추출하여 두 이미지를 하나의 이미지로 합성하여 화면에 표시함으로써, 수중 환경에 상관없이 사용자에게 로봇 주행경로에 따른 영상정보를 효과적으로 제공할 수 있는 로봇 촬영영상 표시장치를 제공하고자 한다.

본 발명의 일 측면에 따르면, 미리 설정된 주행경로를 따라 선체 외벽 위를 주행하는 로봇으로부터 상기 로봇의 주행경로 상에서 촬영한 제1영상데이터 및 상기 로봇의 위치정보 중 하나 이상을 포함하는 주행정보를 수신하는 로봇정보수신부; 상기 위치정보를 기초로 상기 로봇의 현재 위치에서의 상기 제1영상데이터와 미리 저장된 제2영상데이터를 비교하고, 상기 비교한 결과 값을 기초로 상기 제1영상데이터로부터 물체를 식별할 수 있는 시정영역을 구획하고, 상기 시정영역을 제1이미지로 추출하는 시정영역 이미지추출부; 상기 시정영역을 제외한 상기 제1영상데이터의 나머지 비시정영역과 대응되는 영역을 상기 제2영상데이터로부터 추출하여 그래픽처리된 제2이미지를 생성하는 비시정영역 이미지생성부; 상기 제1이미지와 상기 제2이미지를 합성하여 하나의 이미지로 생성하는 이미지합성부; 및 상기 합성된 이미지를 화면에 제공하는 표시부;를 포함하는 로봇 촬영영상 표시장치가 제공될 수 있다.

상기 시정영역 이미지추출부는 상기 제1영상데이터와 상기 제2영상데이터 간의 대응되는 영역의 색상, 채도 및 명도 중 하나 이상의 차이 값을 산출하고, 산출된 상기 차이 값과 기준치를 비교하여 상기 제1영상데이터의 시정영역 및 비시정영역을 구획할 수 있다.

상기 시정영역 이미지추출부는 상기 기준치를 초과한 차이 값을 나타내는 상기 제1영상데이터의 일정 높이의 픽셀에서 가상의 수평라인으로 경계를 설정하고, 상기 경계를 기준으로 상기 시정영역과 상기 비시정영역을 구획할 수 있다.

상기 선체 외벽에는 높이별로 가상의 정렬라인이 미리 설정되고, 상기 이미지합성부는 상기 제1이미지와 상기 제2이미지에 포함된 상기 정렬라인을 기준으로 상기 제1이미지와 상기 제2이미지를 합성할 수 있다.

상기 정렬라인은 상기 선체 외벽의 곡률에 대응되게 수평방향으로 설정될 수 있다.

각각의 상기 제1이미지와 상기 제2이미지의 상기 정렬라인의 불일치 범위를 미리 설정된 기준치와 비교하여, 상기 로봇의 슬리핑 발생 여부를 판단하는 슬리핑 판단부를 더 포함할 수 있다.

상기 로봇의 현재 위치에서의 미리 설정된 주행경로를 검색하는 주행경로검색부를 더 포함하고, 상기 표시부는 검색된 상기 주행경로를 그래픽이미지로 생성하여 상기 합성된 이미지에 오버랩시켜 상기 화면에 표시할 수 있다.

본 발명의 다른 측면에 따르면, 선체 외벽 위를 주행하는 로봇에 장착된 센서모듈로부터 상기 로봇의 주행경로 상에서 촬영한 영상데이터 및 상기 로봇의 위치정보 중 하나 이상을 포함하는 주행정보를 수신하는 로봇정보수신부; 상기 영상데이터로부터 물체를 식별할 수 있는 시정영역을 구획하고, 상기 시정영역을 제1이미지로 추출하는 시정영역 이미지추출부; 상기 선체의 설계정보와 상기 위치정보에 포함된 상기 로봇의 현재 위치를 기초로 상기 영상데이터의 비시정영역에 포함된 선체 외벽 형태를 그래픽 처리된 제2이미지를 생성하는 비시정영역 이미지생성부; 상기 제1이미지와 상기 제2이미지를 합성하여 하나의 이미지로 생성하는 이미지합성부; 및 상기 합성된 이미지를 화면에 제공하는 표시부;를 포함하는 로봇 촬영영상 표시장치가 제공될 수 있다.

상기 시정영역 이미지추출부는 상기 영상데이터의 색상, 채도 및 명도 중 하나 이상과 기준치를 비교하여, 상기 기준치 범위 안에 포함된 부분을 상기 시정영역으로 구획할 수 있다.

상기 설계정보는 높이별로 선체 외벽에 설정된 가상의 정렬라인에 대한 정보를 포함하고, 상기 이미지합성부는 상기 제1이미지와 상기 제2이미지에 포함된 상기 정렬라인을 기준으로 상기 제1이미지와 상기 제2이미지를 합성할 수 있다.

본 발명의 실시 예에 따른 로봇 촬영영상 표시장치는 로봇에 부착된 카메라에 의해 촬영된 영상데이터에서 물체를 식별할 수 있는 시정영역의 이미지를 추출하고, 해당 영상데이터의 나머지 비시정영역에 해당하는 부분은 로봇의 현재 위치에서 미리 촬영된 선명한 영상데이터로부터 추출하여 두 이미지를 하나의 이미지로 합성하여 화면에 표시함으로써, 수중 환경에 상관없이 사용자에게 로봇 주행경로에 따른 영상정보를 효과적으로 제공할 수 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시 예에 따른 로봇 촬영영상 표시장치를 블록도로 도시한 것이다.
도 2는 도 1에 도시된 로봇이 선체 외벽 위를 주행하는 모습을 단면도로 도시한 것이다.
도 3은 도 2에 도시된 로봇의 카메라에 의해 촬영된 제1영상데이터와 미리 저장된 제2영상데이터를 도시한다.
도 4는 도 3에 도시된 제1영상데이터를 시정영역과 비시정영역으로 구획하기 위해 제1영상데이터와 제2영상데이터를 비교하는 방법을 도시한 것이다.
도 5는 도 3에 도시된 제1영상데이터와 제2영상데이터로부터 추출된 이미지를 합성하여 화면에 표시한 형태를 도시한 것이다.
도 6은 도 2에 도시된 로봇의 슬리핑 발생 시 촬영된 제1영상데이터를 도시한다.
도 7은 도 6의 제1영상데이터로부터 추출된 이미지와 제2영상데이터로부터 추출된 이미지를 합성한 이미지를 도시한다.
도 8과 도 9는 본 발명의 다른 실시 예에 따른 로봇의 카메라에 의해 촬영된 제1영상데이터로부터 시정영역을 구획하여 제1이미지로 추출하고, 비시정영역에 포함된 선체 외벽에 대한 정보를 선체 설계정보로부터 추출하여 제2이미지로 생성하여, 두 이미지를 합성한 이미지를 화면에 표시하기 위한 방법을 설명하기 위한 도면이다.

이하에서는 본 발명의 실시 예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시 예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 본 발명은 이하 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장되어 표현될 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.

도 1과 도 2를 참조하면, 본 발명의 실시 예에 따른 로봇 촬영영상 표시장치(200)(이하, “표시장치”라고도 함)는 로봇(100)에 부착된 센서모듈(110)로부터 영상데이터를 수신하고, 해당 영상데이터로부터 물체를 식별할 수 있는 시정영역의 이미지를 추출한다. 또, 물체를 식별할 수 없는 비시정영역에 대해서는 미리 촬영된 선명한 영상데이터를 이용하여 추출하고, 추출된 두 이미지를 합성하여 화면에 표시한다. 이를 통해, 수중 환경에 상관없이 사용자에게 로봇(100) 주행경로 상의 영상정보가 효과적으로 제공되어, 선체(10) 외벽으로부터 로봇(100)이 추락하는 등의 사고를 미리 예방할 수 있고, 사용자의 로봇(100) 조종이 효과적으로 이루어지도록 할 수 있다.

여기서, 로봇(100)은 선체(10) 외벽 위에서 주행하면서 브러시(101)를 이용하여 청소작업을 수행하는 청소로봇을 포함할 수 있다. 또, 로봇(100)은 선체(10) 외벽을 주행하면서 도장, 용접, 수리 등의 작업을 수행하는 각종 작업용 로봇을 포함할 수 있다. 이하에서는 로봇(100)이 수중의 선체(10) 외벽을 주행하면서 청소작업을 수행하는 수중 청소로봇으로 가정하고 설명한다.

로봇(100)은 자성을 갖는 주행휠(102)을 구비하여 선체(10) 외벽에 부착된 상태에서 주행할 수 있다. 주행휠(102)은 로봇(100) 몸체 하부의 전방 중앙에 장착된 조향휠(미도시)과, 로봇(100) 몸체 하부의 후방 양측에 장착된 구동휠(미도시)을 포함할 수 있다. 로봇(100)은 원격지의 운용시스템(미도시)에 연결된 조작장치(300)에 의해 조종되거나, 오토 기능에 의해 자동 주행할 수 있다.

로봇(100)에 장착된 센서모듈(110)은 카메라(113), 위치/자세측정센서(115), 및 외력측정센서(117) 등을 포함할 수 있다. 센서모듈(110)에 의해 측정된 정보는 주행정보로 생성되어 표시장치(200)로 전달된다.

카메라(113)는 로봇(100)에 부착되어 주행경로 상의 주변 영상을 촬영한다. 예컨대 로봇(100)이 선미에서 선수 방향으로 주행할 경우, 카메라(113)는 로봇(100) 전방의 선체 외벽과, 이에 맞닿아 경계를 이루는 바다를 촬영할 수 있다.

위치/자세측정센서(115)는 로봇(100)의 위치 및 자세를 측정한다. 예컨대, 위치/자세측정센서(115)는 로봇(100)의 수심을 감지하는 압력센서, 로봇(100)의 방위각을 감지하는 관성센서를 포함할 수 있으며, 감지된 수심과 방위각을 이용하여 로봇(100)의 현재위치 및 자세를 측정할 수 있다. 관성센서는 로봇(100)의 가속도, 속도, 방향, 거리 등 다양한 항법 관련 정보를 제공할 수 있고, (광섬유) 자이로 센서, AHRS(Attitude and Heading Reference System) 등을 포함할 수 있다. 다른 예로서, 위치/자세측정센서(115)는 GPS, 전자 나침반(electric compass), 휠 센서 및 LBL(Long Base Line) 장치 등을 포함할 수 있으며, 이를 이용하여 로봇(100)의 위치 및 자세 정보를 획득할 수 있다. 이외에도 위치/자세측정센서(115)는 공지된 다양한 수단을 통해 로봇(100)의 위치 및 자세를 측정할 수 있다.

외력측정센서(117)는 예컨대 파도, 바람 등에 의한 파 또는 풍압의 크기 및 작용방향을 측정한다. 또, 외력측정센서(117)는 선박을 세로방향으로 굽히려는 힘, 선박의 횡단면을 변형시키려는 힘, 선박을 비틀려고 하는 힘 등을 측정할 수 있다. 외력측정센서(117)는 로봇(100)에 작용하는 외력의 크기 및 방향을 합산한 결과값을 산출할 수 있다. 외력은 선체 외벽 위를 주행하는 로봇(100)의 주행방향에 영향을 주어 로봇(100)이 본래의 주행경로에서 벗어나도록 할 수 있다.

이러한 로봇(100)은 도 2에 도시한 바와 같이, “

”자 형태로 미리 설정된 주행경로를 따라 주행할 수 있다. 이를 통해, 선체(10) 외벽을 연속적으로 청소할 수 있으며, 빠른 시간 내에 청소작업을 완료할 수 있다.

상술한 본 발명의 실시 예에 따른 로봇 촬영영상 표시장치(200)는 도 1에 도시한 바와 같이, 로봇정보수신부(201), 시정영역 이미지추출부(202), 비시정영역 이미지생성부(203), 주행경로검색부(204), 이미지합성부(205), 표시부(206), 슬리핑 판단부(207), 인터페이스부(208), 저장부(209) 및 제어부(210)를 포함한다. 이러한 표시장치(200)는 조작장치(300)와 연결된 운용시스템 내에 포함될 수 있다.

로봇정보수신부(201)는 미리 설정된 주행경로(R)를 따라 선체(10) 외벽 위를 주행하는 로봇(100)에 장착된 센서모듈(110)로부터 로봇(100)의 주행경로(R) 상에서 촬영한 제1영상데이터(401) 및 로봇(100)의 위치정보 중 하나 이상을 포함하는 주행정보를 수신한다.

도 1과 도 3을 참조하면, 시정영역 이미지추출부(202)는 상술한 위치정보를 기초로 로봇(100)의 현재 위치에서의 제1영상데이터(401)와 미리 저장된 제2영상데이터(402)를 비교하고, 비교한 결과 값을 기초로 제1영상데이터(401)로부터 물체를 식별할 수 있는 시정영역(411)을 구획하고, 시정영역(411)을 제1이미지(i-1)로 추출한다.

여기서, 도 2를 참조하면, 선체(10)의 설계정보를 이용하여 선체(10) 외벽에는 높이별로 가상의 정렬라인(L;L1~Ln)이 미리 설정될 수 있다. 정렬라인(L)은 곡면 형상을 갖는 선체(10) 외벽의 곡률에 대응되게 수평방향으로 설정된다. 예컨대, 선체(10)의 최상위 높이에 설정된 정렬라인을 L1, 최하위 높이에 설정된 정렬라인을 Ln으로 가정한다. 선체(10)의 설계정보는 예컨대 CAD 데이터 형태로 후술할 저장부(209)에 저장된 정보이다.

따라서, 도 3의 (a)와 (b)에 도시한 바와 같이, 로봇(100)의 현재 위치에서 촬영한 제1영상데이터(401)와 해당 위치에서 미리 촬영된 제2영상데이터(402)에는 로봇(100)이 위치한 선체(10) 높이에 따른 정렬라인(L)에 대한 정보가 포함될 수 있다. 예컨대, 로봇(100)이 위치한 선체(10) 높이에 따라 L1~L3의 정렬라인이 제1 및 제2영상데이터(401,402)에 각각 포함될 수 있다. 도 3에서는 실제 육안으로 보이지는 않으나, 설명의 편의상 정렬라인(L)을 도면에 시각적으로 표기하였다.

수중의 기후 조건, 혼탁도 등에 따라 로봇(100)으로부터 먼 거리의 물체는 로봇(100)의 카메라(113, 도 1 참조)에 의해 촬영된 제1영상데이터(401)에서 식별하기 어려울 수 있다. 로봇(100)은 선체(10) 외벽에 부착된 상태에서 전방을 향해 전진하므로, 선체(10) 외벽과, 바다(11)가 제1영상데이터(401)에 포함될 수 있다. 상술한 물체는 선체(10) 외벽, 바다(11), 및 각종 장애물 등을 포함하는 용어로 정의될 수 있다. 도 3 내지 도 7에서는 제1영상데이터(401)에 음영을 넣어 실제 촬영된 수중의 혼탁한 상태를 표시하였다. 음영이 진할수록 혼탁도가 더 심하다.

제2영상데이터(402)는 미리 설정된 주행경로(R)를 따라 사전에 미리 촬영된 선명한 영상데이터이다. 이때, 선명한 영상데이터의 기준은 미리 설정된 기준치에 따라 결정될 수 있으며, 사용자는 선명한 영상이 보장되도록 적절한 날씨와 조건을 선택하여 미리 설정된 주행경로(R)를 따라 로봇(100)을 주행시켜 촬영한 영상을 제2영상데이터(402)로 저장할 수 있다.

시정영역 이미지추출부(202)는 제1영상데이터(401)와 제2영상데이터(402) 간의 대응되는 영역의 색상, 채도 및 명도 중 하나 이상의 차이 값을 산출하고, 차이 값이 기준치 범위 내에 포함된 영역을 제1영상데이터(401)의 시정영역(411)으로 구획하고, 기준치를 초과한 영역을 제1영상데이터(401)의 비시정영역(412)으로 구획할 수 있다. 그리고 시정영역 이미지추출부(202)는 제1영상데이터(401)의 시정영역(411)을 제1이미지(i-1)로 추출한다.

여기서, 제2영상데이터(402)의 제1영역(421)과 대응되는 제1영상데이터(401)의 제1영역(411)은 색상, 채도 및 명도 중 하나 이상의 차이 값이 기준치 범위 안에 포함되는 것으로 가정한다. 또, 제2영상데이터(402)의 제2영역(422)과 대응되는 제1영상데이터(401)의 제2영역(412)은 색상, 채도 및 명도 중 하나 이상의 차이 값이 기준치 범위를 초과하는 것으로 가정한다. 이때, 기준치 범위 안에 포함된 부분은 제1영상데이터(401)의 시정영역(411)으로 결정되고, 이는 제1영상데이터(401)에서 사용자가 육안으로 물체를 식별할 수 있는 영역이다. 또, 기준치 범위를 초과한 부분은 제1영상데이터(401)의 비시정영역(412)으로 결정되고, 이는 제1영상데이터(401)에서 사용자가 육안으로 물체를 식별할 수 없는 영역이다.

도 4의 (a)와 (b)에 도시한 바와 같이, 제1영상데이터(401)와 제2영상데이터(402)는 픽셀 단위로 비교되거나, 제1영상데이터(401)와 제2영상데이터(402)를 복수의 영역(S) 단위로 구분하고, 서로 대응되는 각 영역(S)의 색상, 채도 및 명도 중 하나 이상의 차이 값을 산출하는 방식을 사용할 수 있다.

이때 도 3을 참조하면, 시정영역 이미지추출부(202)는 제1영상데이터(401)의 시정영역(411)과 비시정영역(412)을 가상의 수평라인(V)으로 경계를 설정하는 방법으로 각각 구획할 수 있다. 즉, 시정영역 이미지추출부(202)는 상술한 기준치를 초과한 차이 값을 나타내는 제1영상데이터(401)의 일정 높이에서 가상의 수평라인(V)으로 경계를 설정하고, 해당 경계를 기준으로 시정영역(411)과 비시정영역(412)을 구획할 수 있다.

제1영상데이터(401)에서 상술한 기준치를 초과한 부분은 실제로 도 3에 도시한 바와 같이 명확하게 나누어질 수 있는 것은 아니며, 제1영상데이터(401)의 다양한 위치에서 나타날 수 있다. 이 경우, 제1영상데이터(401)에서 기준치를 초과한 가장 낮은 높이에서의 픽셀을 기준으로 수평라인(V)을 그어 경계를 설정할 수 있다. 예컨대, P1과 P2 부분(픽셀)에서 모두 기준치를 초과한 차이 값을 나타내는 경우, 높이가 더 낮은 P2를 기준으로 수평라인(V)을 그어 시정영역(411)과 비시정영역(412)을 구획하는 경계를 설정할 수 있다.

비시정영역 이미지생성부(203)는 시정영역(411)을 제외한 제1영상데이터(401)의 나머지 비시정영역(412)과 대응되는 영역(422)을 제2영상데이터(402)로부터 추출하여 제2이미지(i-2)로 생성한다. 여기서, 제2이미지(i-2)는 에지(edge)를 추출하는 알고리즘을 이용하여 윤곽 정보를 획득하는 방법으로 그래픽이미지로 생성될 수 있다.

주행경로검색부(204)는 로봇(100)의 현재 위치에서의 미리 설정된 주행경로(R)를 검색한다. 주행경로(R)는 저장부(209)에 미리 저장된 정보이다. 이러한 주행경로(R)는 로봇(100)이 주행해야 할 길을 알려주어, 곡면 형상의 선체(10) 외벽 위에서도 사용자가 효과적으로 로봇(100)을 조종할 수 있도록 돕는다.

도 5를 참조하면, 이미지합성부(205)는 상술한 제1이미지(i-1)와 제2이미지(i-2)를 합성하여 하나의 이미지(i-3)로 생성한다. 이때 이미지합성부(205)는 제1이미지(i-1)와 제2이미지(i-2)에 포함된 각각의 정렬라인(L1~L3)을 기준으로 제1이미지(i-1)와 제2이미지(i-2)를 합성할 수 있다. 정렬라인(L1~L3)은 실제로는 시각적으로 확인할 수 없으나, 설명의 편의상 도 5에 표시하였다.

사용자는 영상 이미지인 제1이미지(i-1)를 통해 실시간 촬영된 영상을 확인할 수 있고, 그래픽 이미지인 제2이미지(i-2)를 통해 보다 넓은 시야를 확보할 수 있다. 또, 제1이미지(i-1)와 제2이미지(i-2)를 통해 현재 수중에서 어느 거리까지 시정이 확보될 수 있는지를 예측할 수 있다. 이를 통해, 로봇(100)이 선체(10) 외벽의 어느 지점에 도달하였는지를 알 수 있고, 로봇(100)이 선체(10)로부터 추락하는 등의 사고를 방지할 수 있다.

표시부(206)는 합성된 이미지(i-3)를 화면(400)에 제공한다. 이때, 표시부(206)는 주행경로검색부(204)에 의해 검색된 주행경로(R)를 그래픽이미지로 생성하여 합성된 이미지(i-3)에 오버랩시켜 화면(400)에 표시할 수 있다.

슬리핑 판단부(207)는 각각의 제1이미지(i-1)와 제2이미지(i-2)의 정렬라인(L)의 불일치 범위를 미리 설정된 기준치와 비교하여, 로봇(100)의 슬리핑 발생 여부를 판단한다.

즉, 도 6을 참조하면, 로봇(10)이 바람이나 풍랑 등의 외력이나, 장애물(물이끼 등)에 의해 선체(10) 외벽에서 미끄러진 경우, 제1영상데이터(401)가 정상적인 주행경로 상의 영상과 다르게 촬영된다. 이러한 제1영상데이터(401)에서 추출된 제1이미지(i-1)를 상술한 방법으로 제2이미지(i-2)와 합성하면, 도 7에 도시한 바와 같이, 정렬라인(L1~L3)이 서로 어긋나게 된다. 이때, 슬리핑 판단부(207)는 정렬라인(L1~L3)의 불일치 범위를 미리 설정된 기준치와 비교하여, 로봇(100)의 슬리핑 발생 여부를 판단할 수 있다.

인터페이스부(208)는 조작장치(300)로부터 제어명령을 수신하여 로봇(100)으로 전달한다. 사용자는 화면(400)을 통해 합성된 이미지(i-3) 및 주행경로(R)를 확인하면서, 조작장치(300)를 이용하여 로봇(100)을 조종할 수 있다.

저장부(209)는 로봇 촬영영상 표시를 위한 각종 데이터를 저장한다. 예컨대, 저장부(209)는 로봇(100)으로부터 수신한 영상데이터 등을 포함하는 주행정보, 선체(10)의 설계정보, 그래픽이미지 생성을 위한 각종 알고리즘, 각종 설정값, 기준치, 연산 및 통신 등을 위한 알고리즘, 프로그램 등을 저장할 수 있다. 저장부(209)는 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다.

제어부(210)는 상술한 구성요소(201~209) 간의 동작을 제어한다. 예컨대, 제어부(210)는 시정영역 이미지추출부(202) 및 비시정영역 이미지생성부(203)를 통해 제1이미지(i-1)와 제2이미지(i-2)를 추출 및 생성할 수 있다. 또, 제어부(210)는 이미지합성부(205)를 통해 제1이미지(i-1)와 제2이미지(i-2)를 합성한 이미지(i-3)를 생성하거나, 표시부(206)를 통해 합성된 이미지(i-3)를 화면(400)에 표시할 수 있다. 도 1에서 도시된 각각의 구성요소는 일종의 '모듈'로 구성될 수 있다. 상기 '모듈'은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 주문형 반도체(ASIC, Application Specific Integrated Circuit)와 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.

한편, 다른 실시 예로서, 상술한 제2영상데이터(402)를 사용하지 않고도, 제1영상데이터(401)만으로 시정영역(411)을 구획할 수도 있다. 로봇(100)에 의해 촬영된 영상데이터에는 선체(10) 외벽과 이와 경계를 이루는 바다(11)가 주요 정보로서 포함된다. 따라서, 선체(10) 외벽과 바다(11)의 색상, 채도, 명도는 확연히 구분될 수 있는 것이므로, 원근 거리에 따라 선체(10) 외벽과 바다(11)의 색상, 채도, 명도 등을 나타내는 기준치를 미리 설정하여 저장할 수 있다.

도 8과 도 9를 참조하면, 시정영역 이미지추출부(202)는 제1영상데이터(401)로부터 물체를 식별할 수 있는 시정영역(411)을 구획하고, 시정영역(411)을 제1이미지(i-1)로 추출하되, 제1영상데이터(401)의 색상, 채도 및 명도 중 하나 이상과 미리 저장된 상기 기준치를 비교하여, 기준치 범위 안에 포함된 부분을 시정영역(411)으로 구획할 수 있다. 자연스럽게 제1영상데이터(401)의 나머지 영역은 비시정영역(412)으로 구획된다. 이때, 상술한 바와 마찬가지로 시정영역 이미지추출부(202)는 제1영상데이터(401)의 시정영역(411)과 비시정영역(412)을 가상의 수평라인(V)으로 경계를 설정하는 방법으로 각각 구획할 수 있다.

다음으로, 비시정영역 이미지생성부(203)는 로봇(100)의 센서모듈(110)로부터 수신한 위치정보에 포함된 로봇(100)의 현재 위치를 기초로 제1영상데이터(401)의 비시정영역(412)에 포함된 선체(10) 외벽에 대응되는 정보를 선체(10)의 설계정보로부터 추출하고, 추출된 정보를 이용하여 비시정영역(412)에 포함된 선체(10) 외벽을 나타내는 그래픽 처리된 제2이미지(i-2)로 생성한다. 선체(10)의 설계정보에는 선체(10)의 형태, 치수, 위치좌표 등에 대한 정보가 포함될 수 있다. 제1영상데이터(401)는 로봇(100)의 현재 위치에서 로봇(100)에 장착된 카메라(113)에 의해 촬영된 영상이다. 따라서, 비시정영역 이미지생성부(203)는 로봇(100)의 현재 위치를 기초로 카메라(113)의 셋팅정보(촬영각도, 줌(zoom), 초점, 이미지 비율 등)를 이용하여 선체(10)의 설계정보로부터 제1영상데이터(401)에 포함된 선체(10) 외벽에 대한 정보를 추출할 수 있게 된다. 이때, 로봇(100)의 카메라(113) 촬영각도 및 원근감에 따라 선체(10)의 설계정보로부터 추출된 선체(10) 외벽 형태에 대한 변환이 이루어질 수 있다.

비시정영역 이미지생성부(203)는 미리 알고 있는 시정영역(411)을 제외한 비시정영역(412)에 대응되는 정보만 선체(10)의 설계정보로부터 추출된 정보로부터 획득할 수 있다.

또, 상술한 선체(10)의 설계정보에는 바다(11)에 대한 정보는 없으므로, 제2이미지(i-2)에는 바다(11)에 대한 이미지가 생략된 채 선체(10)에 대한 형상만 표시될 수 있다. 따라서, 비시정영역 이미지생성부(203)는 제2이미지(i-2)를 생성할 때 이러한 바다(11)를 표시하는 파란색 색상을 제2이미지(i-2)에 추가시킬 수 있다. 색상뿐 아니라 물결(11a) 모양 등의 바다 이미지를 추가하여 제2이미지(i-2)를 생성할 수도 있다.

다음으로, 이미지합성부(205)는 제1이미지(i-1)와 제2이미지(i-2)를 합성하여 하나의 이미지(i-3)로 생성한다. 선체(10)의 설계정보와 제1영상데이터(401)에는 모두 가상의 정렬라인(L1)이 포함되어 있으므로, 이미지합성부(205)는 해당 제1이미지(i-1)와 제2이미지(i-2)에 포함된 가상의 정렬라인(L1~L3)을 이용하여 효과적으로 합성된 이미지(i-3)를 생성할 수 있다.

이후, 표시부(206)는 합성된 이미지(i-3)를 화면(400)에 표시하게 된다.

이상에서는 특정의 실시 예에 대하여 도시하고 설명하였다. 그러나, 본 발명은 상기한 실시 예에만 한정되지 않으며, 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 청구범위에 기재된 발명의 기술적 사상의 요지를 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다.

10: 선체 100: 로봇
110: 센서모듈 113: 카메라
200: 로봇 촬영영상 표시장치 201: 로봇정보수신부
202: 시정영역 이미지추출부 203: 비시정영역 이미지생성부
204: 주행경로검색부 205: 이미지합성부
206: 표시부 207: 슬리핑 판단부
208: 인터페이스부 209: 저장부
210: 제어부 300: 조작장치
L: 정렬라인 V: 수평라인

Claims

미리 설정된 주행경로를 따라 선체 외벽 위를 주행하는 로봇으로부터 상기 로봇의 주행경로 상에서 촬영한 제1영상데이터 및 상기 로봇의 위치정보 중 하나 이상을 포함하는 주행정보를 수신하는 로봇정보수신부;
상기 위치정보를 기초로 상기 로봇의 현재 위치에서의 상기 제1영상데이터와 미리 저장된 제2영상데이터를 비교하고, 상기 비교한 결과 값을 기초로 상기 제1영상데이터로부터 물체를 식별할 수 있는 시정영역을 구획하고, 상기 시정영역을 제1이미지로 추출하는 시정영역 이미지추출부;
상기 시정영역을 제외한 상기 제1영상데이터의 나머지 비시정영역과 대응되는 영역을 상기 제2영상데이터로부터 추출하여 그래픽처리된 제2이미지를 생성하는 비시정영역 이미지생성부;
상기 제1이미지와 상기 제2이미지를 합성하여 하나의 이미지로 생성하는 이미지합성부; 및
상기 합성된 이미지를 화면에 제공하는 표시부;를 포함하는 로봇 촬영영상 표시장치.
제1항에 있어서,
상기 시정영역 이미지추출부는 상기 제1영상데이터와 상기 제2영상데이터 간의 대응되는 영역의 색상, 채도 및 명도 중 하나 이상의 차이 값을 산출하고, 산출된 상기 차이 값과 기준치를 비교하여 상기 제1영상데이터의 시정영역 및 비시정영역을 구획하는 로봇 촬영영상 표시장치.
제2항에 있어서,
상기 시정영역 이미지추출부는 상기 기준치를 초과한 차이 값을 나타내는 상기 제1영상데이터의 일정 높이의 픽셀에서 가상의 수평라인으로 경계를 설정하고, 상기 경계를 기준으로 상기 시정영역과 상기 비시정영역을 구획하는 로봇 촬영영상 표시장치.
제1항에 있어서,
상기 선체 외벽에는 높이별로 가상의 정렬라인이 미리 설정되고,
상기 이미지합성부는 상기 제1이미지와 상기 제2이미지에 포함된 상기 정렬라인을 기준으로 상기 제1이미지와 상기 제2이미지를 합성하는 로봇 촬영영상 표시장치.
제4항에 있어서,
상기 정렬라인은 상기 선체 외벽의 곡률에 대응되게 수평방향으로 설정된 로봇 촬영영상 표시장치.
제4항에 있어서,
각각의 상기 제1이미지와 상기 제2이미지의 상기 정렬라인의 불일치 범위를 미리 설정된 기준치와 비교하여, 상기 로봇의 슬리핑 발생 여부를 판단하는 슬리핑 판단부를 더 포함하는 로봇 촬영영상 표시장치.
제1항에 있어서,
상기 로봇의 현재 위치에서의 미리 설정된 주행경로를 검색하는 주행경로검색부를 더 포함하고,
상기 표시부는 검색된 상기 주행경로를 그래픽이미지로 생성하여 상기 합성된 이미지에 오버랩시켜 상기 화면에 표시하는 로봇 촬영영상 표시장치.
선체 외벽 위를 주행하는 로봇으로부터 상기 로봇의 주행경로 상에서 촬영한 영상데이터 및 상기 로봇의 위치정보 중 하나 이상을 포함하는 주행정보를 수신하는 로봇정보수신부;
상기 영상데이터로부터 물체를 식별할 수 있는 시정영역을 구획하고, 상기 시정영역을 제1이미지로 추출하는 시정영역 이미지추출부;
상기 위치정보에 포함된 상기 로봇의 현재 위치를 기초로 상기 영상데이터의 비시정영역에 포함된 선체 외벽에 대응되는 정보를 상기 선체의 설계정보로부터 추출하고, 추출된 상기 정보를 이용하여 상기 선체 외벽을 나타내는 그래픽 처리된 제2이미지를 생성하는 비시정영역 이미지생성부;
상기 제1이미지와 상기 제2이미지를 합성하여 하나의 이미지로 생성하는 이미지합성부; 및
상기 합성된 이미지를 화면에 제공하는 표시부;를 포함하는 로봇 촬영영상 표시장치.
제8항에 있어서,
상기 시정영역 이미지추출부는 상기 영상데이터의 색상, 채도 및 명도 중 하나 이상과 기준치를 비교하여, 상기 기준치 범위 안에 포함된 부분을 상기 시정영역으로 구획하는 로봇 촬영영상 표시장치.
제8항에 있어서,
상기 설계정보는 높이별로 선체 외벽에 설정된 가상의 정렬라인에 대한 정보를 포함하고,
상기 이미지합성부는 상기 제1이미지와 상기 제2이미지에 포함된 상기 정렬라인을 기준으로 상기 제1이미지와 상기 제2이미지를 합성하는 로봇 촬영영상 표시장치.