KR102276943B1 - 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇 - Google Patents

초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇 Download PDF

Info

Publication number
KR102276943B1
KR102276943B1 KR1020190116806A KR20190116806A KR102276943B1 KR 102276943 B1 KR102276943 B1 KR 102276943B1 KR 1020190116806 A KR1020190116806 A KR 1020190116806A KR 20190116806 A KR20190116806 A KR 20190116806A KR 102276943 B1 KR102276943 B1 KR 102276943B1
Authority
KR
South Korea
Prior art keywords
polygon
scan path
scan
underwater
setting
Prior art date
Application number
KR1020190116806A
Other languages
English (en)
Other versions
KR20210034895A (ko
Inventor
김병진
유선철
김주환
송석용
김재선
노세환
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020190116806A priority Critical patent/KR102276943B1/ko
Publication of KR20210034895A publication Critical patent/KR20210034895A/ko
Application granted granted Critical
Publication of KR102276943B1 publication Critical patent/KR102276943B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇에 관한 것으로, 수중로봇에 구비된 초음파 카메라에서 수행된 스캔에 의해 획득된 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 획득하는 단계, 수중로봇이 복수의 3차원 포인트 클라우드 데이터를 2차원 좌표를 갖는 제1 다각형으로 변환하는 단계, 수중로봇이 제1 다각형을 이용하여 초음파 카메라의 스캔경로를 설정하는 단계 및 수중로봇이 스캔경로를 따라 이동하여 초음파 카메라에서 스캔된 오브젝트에 대한 3차원 형상을 구현하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.

Description

초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇{Method and Underwater Robot for Scan Route Setting of Underwater Object using Acoustic Camera}
본 발명은 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇에 관한 것이다.
해저상태, 해양 어족 자원의 조사 및 각종 폐기물 조사 등을 위한 해저 탐사 작업은 해양 연구에 있어서 중요한 부분을 차지한다. 이러한 탐사 작업을 위해 최근에는 해상 선박에 의해 견인되는 탐사체에 촬영 가능한 수중촬영장치 등의 조사장비를 장착하여 해저면을 조사하는 방법을 사용한다. 또한, 일반적으로 해저의 악시계 환경에서도 해저면의 탐사결과를 향상시키기 위해서는 일반 디지털 카메라가 아닌 초음파 카메라를 사용하여 해저를 탐사한다.
이와 같은 초음파 카메라는 단방향 스캔을 수행하기 때문에 초음파 카메라에서 획득된 오브젝트의 앞면과 윗면의 데이터만을 획득할 수 있다. 따라서, 오브젝트의 정확한 형태를 확인하기 위해서는 수중로봇을 이동시켜 오브젝트의 사방 측면에 대한 데이터를 확인할 필요가 있다.
이러한 종래의 문제점을 해결하기 위한 본 발명의 실시 예들은 수중로봇에 구비된 초음파 카메라에서 획득된 오브젝트에 대한 3차원 좌표로 2차원 평면 다각형을 생성하고, 다각형의 벡터 산출을 통해 오브젝트에 대한 스캔경로를 설정하여 수중로봇의 이동을 제어하는 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇을 제공하는 것이다.
본 발명의 실시 예에 따른 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법은, 수중로봇에 구비된 초음파 카메라에서 수행된 스캔에 의해 획득된 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 획득하는 단계, 상기 수중로봇이 상기 복수의 3차원 포인트 클라우드 데이터를 2차원 좌표를 갖는 제1 다각형으로 변환하는 단계, 상기 수중로봇이 상기 제1 다각형을 이용하여 상기 초음파 카메라의 스캔경로를 설정하는 단계 및 상기 수중로봇이 상기 스캔경로를 따라 이동하여 상기 초음파 카메라에서 스캔된 상기 오브젝트에 대한 3차원 형상을 구현하는 단계를 포함하는 것을 특징으로 한다.
또한, 제1 다각형으로 변환하는 단계는, 상기 3차원 포인트 클라우드 데이터에서 해저면과 관련된 데이터를 제거하는 단계를 포함하는 것을 특징으로 한다.
또한, 스캔경로를 설정하는 단계는, 기저장된 적어도 하나의 제2 다각형의 존재여부를 확인하는 단계, 상기 제1 다각형과 상기 제2 다각형을 오버래핑하여 최대 겹침 다각형을 추출하는 단계, 상기 추출된 최대 겹침 다각형의 선분 벡터 및 수직 벡터를 산출하는 단계 및 상기 선분 벡터와 수직 벡터를 기반으로 상기 초음파 카메라의 스캔경로를 설정하는 단계를 포함하는 것을 특징으로 한다.
또한, 제2 다각형의 존재여부를 확인하는 단계 이후에, 상기 제2 다각형이 존재하지 않으면, 상기 제1 다각형의 선분 벡터 및 수직 벡터를 산출하는 단계 및 상기 선분 벡터와 수직 벡터를 기반으로 상기 초음파 카메라의 스캔경로를 설정하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 오브젝트에 대한 3차원 형상을 구현하는 단계는, 상기 최대 겹침 다각형의 면적에 대한 변화량이 임계치 미만이면 상기 오브젝트에 대한 스캔을 종료하는 단계를 포함하는 것을 특징으로 한다.
또한, 오브젝트에 대한 3차원 형상을 구현하는 단계는, 상기 스캔경로에 의해 상기 오브젝트가 스캔된 스캔커버각도가 임계각도를 초과하면 상기 오브젝트에 대한 스캔을 종료하는 단계를 포함하는 것을 특징으로 한다.
아울러, 본 발명의 실시 예에 따른 초음파 카메라를 이용한 수중 오브젝트의 스캔경로를 설정하는 수중로봇은, 해저에 위치한 오브젝트를 스캔하는 초음파 카메라 및 상기 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 획득하여 2차원 좌표를 갖는 제1 다각형으로 변환하고, 상기 제1 다각형을 이용하여 상기 초음파 카메라의 스캔경로를 설정하고, 상기 스캔경로를 따라 스캔된 상기 오브젝트에 대한 3차원 형상을 구현하는 프로세서를 포함하는 것을 특징으로 한다.
또한, 프로세서는, 상기 3차원 포인트 클라우드 데이터에서 해저면과 관련된 데이터를 제거하는 것을 특징으로 한다.
또한, 프로세서는, 적어도 하나의 제2 다각형이 기저장된 상태이면 상기 제1 다각형과 상기 제2 다각형을 오버래핑하여 최대 겹침 다각형을 추출하고, 상기 최대 겹침 다각형의 선분 벡터 및 수직 벡터를 기반으로 상기 초음파 카메라의 스캔경로를 설정하는 것을 특징으로 한다.
또한, 프로세서는, 상기 제2 다각형이 존재하지 않으면, 상기 제1 다각형의 선분 벡터 및 수직 벡터를 기반으로 상기 초음파 카메라의 스캔경로를 설정하는 것을 특징으로 한다.
또한, 프로세서는, 상기 최대 겹침 다각형의 면적에 대한 변화량이 임계치 미만이면 상기 오브젝트에 대한 스캔을 종료하는 것을 특징으로 한다.
또한, 프로세서는, 상기 스캔경로에 의해 상기 오브젝트가 스캔된 스캔커버각도가 임계각도를 초과하면 상기 오브젝트에 대한 스캔을 종료하는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따른 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇은, 수중로봇에 구비된 초음파 카메라에서 획득된 오브젝트에 대한 3차원 좌표로 2차원 평면 다각형을 생성하고, 다각형의 벡터 산출을 통해 오브젝트에 대한 스캔경로를 설정함으로써 수중로봇의 이동을 제어할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 수중로봇의 주요 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 수중로봇이 오브젝트를 스캔하는 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 초음파 카메라를 이용하여 일 방향에서 획득된 오브젝트에 대한 3차원 좌표를 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 초음파 카메라를 이용하여 복수의 방향에서 획득된 오브젝트에 대한 2차원 다각형을 오버래핑한 결과를 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 오버래핑된 최대 겹침 다각형을 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 설정된 오브젝트의 스캔경로에 의해 오브젝트가 스캔된 스캔커버각도를 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 설정된 스캔경로에 의해 스캔된 오브젝트의 3차원 형상을 구현한 상태를 도시한 도면이다.
도 8은 본 발명의 실시 예에 따른 오브젝트의 스캔경로 설정 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 실시 예에 따른 오브젝트의 스캔경로를 설정하는 방법을 설명하기 위한 상세순서도이다.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략할 수 있고, 명세서 전체를 통하여 동일 또는 유사한 구성 요소에 대해서는 동일한 참조 부호를 사용할 수 있다.
본 발명의 일 실시 예에서, “또는”, “적어도 하나” 등의 표현은 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, “A 또는 B”, “A 및 B 중 적어도 하나”는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.
도 1은 본 발명의 실시 예에 따른 수중로봇의 주요 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 수중로봇(100)은 해저에 위치한 오브젝트에 대한 초음파데이터를 획득하고, 초음파 데이터를 이용하여 오브젝트의 3차원 형상을 구현한다. 이를 위해, 수중로봇(100)은 초음파카메라(110)와 프로세서(120)를 포함하고, 프로세서(120)는 이동제어부(121), 3D좌표산출부(122), 2D좌표변환부(123), 경로생성부(124) 및 3D형상구현부(125)를 포함할 수 있다.
초음파카메라(110)는 수중로봇(100)에 구비되어 초음파 빔을 송출하고, 초음파 빔이 오브젝트에 의해 반사되는 반사파를 수신한다. 초음파카메라(110)는 수신된 반사파를 기반으로 초음파데이터를 생성할 수 있다. 초음파카메라(110)는 소나(sonar) 등과 같은 수중 음파 탐지기일 수 있다.
프로세서(120)는 수중로봇(100)을 제어하여 해저에 위치한 오브젝트를 검출하고, 검출된 오브젝트의 형상을 확인하기 위해 수중로봇(100)의 이동경로를 설정한다. 이를 통해, 결과적으로 프로세서는 수중로봇(100)에 구비된 초음파카메라(110)의 스캔경로를 설정할 수 있다. 프로세서(120)는 초음파카메라(110)의 스캔경로를 설정하여 다양한 위치에서 초음파카메라(110)에 의해 획득된 오브젝트에 대한 초음파데이터를 통해 오브젝트의 3차원 형상을 구현할 수 있다.
보다 구체적으로, 수중로봇(100)이 탐색모드를 수행하면, 초음파카메라(110)를 활성화한다. 수중로봇(100)은 이동제어부(121)에 의해 해저에 위치한 상태에서 이동한다. 이는 도 2와 같다. 도 2는 본 발명의 실시 예에 따른 수중로봇이 오브젝트를 스캔하는 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 초음파카메라(110)는 해저면을 향하여 소정의 경사각으로 기울어져 촬영영역(100a)에 대한 초음파데이터를 획득한다. 수중로봇(100)은 이동제어부(121)에 의해 해저면으로부터 특정 높이에서 특정 이동방향을 따라 일정한 속도로 이동할 수 있다. 이와 같은 수중로봇(100)의 이동에 따라 초음파카메라(110)는 초음파데이터를 지속적으로 획득할 수 있다. 프로세서(120)는 초음파데이터를 분석하여 촬영영역(100a)에 오브젝트(200)가 존재함을 확인할 수 있다. 아울러, 수중로봇(100)은 오브젝트(200)의 상부쪽을 지나가면서(flyover) 초음파데이터를 획득하는 것이 바람직하다.
초음파카메라(110)는 획득된 초음파데이터를 3D좌표산출부(122)로 제공하고, 이동제어부(121)는 수중로봇(100)의 이동을 제어하면서 해저면을 기준으로 해저면에 수직한 수중로봇(100)의 위치에 대한 좌표값, 수중로봇(100)의 이동방향, 이동각도 등 수중로봇(100)의 위치와 관련된 위치정보를 3D좌표산출부(122)로 제공할 수 있다. 이때, 수중로봇(100)의 위치에 대한 좌표값은 해저면을 기준으로 하는 3차원 좌표값일 수 있고, 오브젝트(200)가 검출된 시점의 초음파카메라(110)의 위치가 (0,0,0)값을 갖도록 설정되어 초음파카메라(110)의 위치가 기준점이 될 수 있다.
3D좌표산출부(122)는 초음파데이터와 위치정보를 기반으로 해저면에 맞닿은 오브젝트(200)의 바닥면을 제외한 면에 대한 3차원 좌표 즉, 3차원 포인트 클라우드 데이터를 획득한다. 이때, 초음파데이터로부터 획득된 모든 3차원 포인트 클라우드 데이터는 도 3과 같이 표시될 수 있다. 도 3은 본 발명의 실시 예에 따른 초음파 카메라를 이용하여 일 방향에서 획득된 오브젝트에 대한 3차원 좌표를 도시한 도면이다.
보다 구체적으로, 3D좌표산출부(122)는 초음파데이터의 획득이 시작된 위치 예컨대, A위치에서의 초음파카메라(110)의 위치를 확인하고, 확인된 위치를 기준으로 초음파데이터에 포함된 오브젝트(200)에 대한 좌표값들을 확인할 수 있다. 3D좌표산출부(122)는 초음파카메라(110)이 특정 위치 예컨대, A위치에서 특정 방향으로 이동하여 초음파데이터의 획득이 종료된 위치 예컨대, B위치로 이동하면서 획득된 초음파데이터에 포함된 오브젝트(200)에 대한 좌표값들을 확인한다. 3D좌표산출부(122)는 초음파카메라(110)의 위치에 대한 좌표값, 초음파카메라(110)의 이동방향, 이동각도와 확인된 좌표값들을 결합하여 오브젝트(200)에 대한 x, y, z값을 갖는 3차원 포인트 클라우드 데이터를 획득할 수 있다. 획득된 3차원 포인트 클라우드 데이터는 도 3과 같이 표시될 수 있다.
3D좌표산출부(122)는 획득된 3차원 좌표를 2D좌표변환부(123)로 제공한다. 2D좌표변환부(123)는 3차원 좌표에서 z값을 제거하여 2차원 좌표로 변환하고, 변환된 2차원 좌표를 2차원 평면에 투영하여 2차원 좌표를 갖는 다각형으로 변환한다. 이를 통해, 3차원 좌표를 처리하기 위해 소모되는 시간을 최소화할 수 있는 효과가 있다.
2D좌표변환부(123)는 3차원 좌표가 변환된 2차원 좌표를 갖는 다각형을 경로생성부(124)로 제공한다. 경로생성부(124)는 2차원 좌표를 갖는 다각형을 이용하여 수중로봇(100)의 다음 이동경로 즉, 수중로봇(100)에 구비된 초음파카메라(110)의 스캔경로를 설정한다. 보다 구체적으로, 경로생성부(124)는 2D좌표변환부(123)로부터 가장 최근에 제공된 2차원 좌표를 갖는 다각형(이하, 제1 다각형이라 함) 이전에 제공된 적어도 하나의 2차원 좌표를 갖는 다각형(이하, 제2 다각형이라 함)의 존재여부를 확인한다. 경로생성부(124)는 제2 다각형이 존재하면, 제1 다각형과 제2 다각형을 오버래핑(overlapping)하여 최대 겹침 다각형을 추출한다. 최대 겹침 다각형을 추출하는 방법은 하기의 도 4를 이용하여 구체적으로 설명하기로 한다. 도 4는 본 발명의 실시 예에 따른 초음파 카메라를 이용하여 복수의 방향에서 획득된 오브젝트에 대한 2차원 다각형을 오버래핑한 결과를 도시한 도면이다.
도 4를 참조하면, 경로생성부(124)는 제1 다각형(401)과 제2 다각형(403)을 오버래핑하여 최대 겹침 다각형(405)을 추출한다. 경로생성부(124)는 하기의 수학식 1과 같이 최대 겹침 다각형(405)의 선분 벡터와 수직 벡터를 이용하여 초음파카메라(110)의 다음 스캔경로를 설정한다. 최대 겹침 다각형(405)에서의 선분 벡터 및 수직 벡터는 하기의 도 5를 이용하여 설명하기로 한다. 도 5는 본 발명의 실시 예에 따른 오버래핑된 최대 겹침 다각형을 도시한 도면이다.
예를 들어, 경로생성부(124)는 도 5에 도시된 바와 같이 오브젝트(200)에 대하여 두 번째 스캔을 수행한 이후에 산출된 최대 겹침 다각형(405)에서
Figure 112019097040105-pat00001
를 최대 겹침 다각형(405)의 선분 벡터로 산출할 수 있고,
Figure 112019097040105-pat00002
을 각 선분 벡터의 수직 벡터로 산출할 수 있다.
Figure 112019097040105-pat00003
(단, k는 스캔 횟수,
Figure 112019097040105-pat00004
는 최대 겹침 다각형(405)의 m번째 선분 벡터,
Figure 112019097040105-pat00005
는
Figure 112019097040105-pat00006
의 수직한 수직 벡터,
Figure 112019097040105-pat00007
는 초음파카메라(110)가 이전에 스캔한 모든 스캔경로에 대한 단위 방향 벡터를 의미한다.)
이때, 수학식 1에서 첫 번째 항은 스캔경로가 오브젝트의 최대한 넓은 면에 수직이 될 수 있도록 하기 위한 항으로, 선분 벡터의 길이를 지표로 한다. 또한, 두 번째 항은 이전 스캔경로와의 직교성이 최대가 될 수 있도록 하기 위한 항으로, 선분 벡터에 수직한 수직 벡터와 이전 스캔경로들을 내적한다. 아울러,
Figure 112019097040105-pat00008
및
Figure 112019097040105-pat00009
는 각각의 항을 조절하는 상수로 변경적용이 가능하다. 경로생성부(124)는
Figure 112019097040105-pat00010
값을 최대로 만들 수 있는 선분 벡터를 검출하고, 검출된 선분 벡터에 대한 수직 벡터를 수중로봇(100)의 다음 이동경로 즉, 초음파카메라(110)의 스캔경로의 방향 벡터로 설정할 수 있다.
만약, 경로생성부(124)는 제1 다각형 이전에 제공된 제2 다각형이 존재하지 않으면, 수학식 1을 이용하여 제1 다각형의 선분 벡터 및 수직 벡터를 산출한다. 경로생성부(124)는 산출된 선분 벡터 및 수직 벡터를 이용하여 초음파카메라(110)의 스캔경로를 설정할 수 있다. 경로생성부(124)는 설정된 스캔경로를 이동제어부(121)로 제공하고, 이동제어부(121)는 스캔경로를 기반으로 수중로봇(100)의 이동을 제어함으로써 스캔경로를 따라 초음파카메라(110)가 이동할 수 있도록 한다.
이동제어부(121), 3D좌표산출부(122), 2D좌표변환부(123), 경로생성부(124)는 오브젝트에 대한 스캔 종료시점이 도래하기 이전까지 상기와 같이 스캔경로 설정과정을 반복한다. 이를 위해, 경로생성부(124)는 스캔 종료시점의 도래여부를 확인하여 스캔 종료시점이 도래하면 이를 3D형상구현부(125)로 제공한다. 보다 구체적으로, 경로생성부(124)는 두 가지의 방법을 이용하여 스캔 종료시점의 도래여부를 확인한다.
첫 번째로, 경로생성부(124)는 최대 겹침 다각형에 대한 면적의 변화율을 산출하고, 산출된 변화율이 임계치 미만이면 오브젝트(200)에 대한 스캔을 종료하도록 이동제어부(121)로 스캔종료 신호를 제공한다. 예컨대, 경로생성부(124)는 두 번째 스캔에 의해 생성된 다각형의 오버래핑으로 생성된 최대 겹침 다각형과, 세 번째 스캔에 의해 생성된 다각형의 오버래핑으로 생성된 최대 겹침 다각형의 면적의 변화율을 산출한다. 이때, 산출된 면적의 변화율이 임계치 예컨대, 5%미만이면 경로생성부(124)는 네 번째 스캔을 진행하더라도 오브젝트의 3차원 형상 구현결과에 별다른 차이가 없는 것으로 확인할 수 있다. 따라서, 경로생성부(124)는 최대 겹침 다각형에 대한 면적의 변화율이 임계치 미만이 되는 시점을 스캔 종료시점으로 확인할 수 있다.
두 번째로, 경로생성부(124)는 하기의 수학식 2를 이용하여 스캔에 의해 커버된 스캔커버각도를 산출하고, 산출된 스캔커버각도가 임계각도 예컨대, 180도를 초과하면 오브젝트(200)에 대한 스캔을 종료하도록 이동제어부(121)로 스캔종료 신호를 제공한다. 스캔커버각도는 하기의 도 6을 이용하여 설명하기로 한다. 도 6은 본 발명의 실시 예에 따른 설정된 오브젝트의 스캔경로에 의해 오브젝트가 스캔된 스캔커버각도를 도시한 도면이다.
Figure 112019097040105-pat00011
(단,
Figure 112019097040105-pat00012
는 임계치이고,
Figure 112019097040105-pat00013
는 현재 스캔경로와 이전 스캔경로가 형성하는 스캔커버 각도를 의미한다.)
즉, 도 6을 참조하면, 제1 스캔경로(P1)와 제2 스캔경로(P2)가 이루는 제1 스캔커버 각도는
Figure 112019097040105-pat00014
, 제2 스캔경로(P2)와 제3 스캔경로(P3)가 이루는 제2 스캔커버 각도는
Figure 112019097040105-pat00015
이며, 제1 스캔커버 각도와 제2 스캔커버 각도를 합산한 각도가
Figure 112019097040105-pat00016
이다.
아울러, 경로생성부(124)는 제1 스캔커버 각도와 제2 스캔커버 각도는 하기의 수학식 3 내지 5를 이용하여 산출할 수 있다.
Figure 112019097040105-pat00017
(이때,
Figure 112019097040105-pat00018
은
Figure 112019097040105-pat00019
,
Figure 112019097040105-pat00020
일 수 있다.)
Figure 112019097040105-pat00021
Figure 112019097040105-pat00022
3D형상구현부(125)는 스캔 종료시점을 알리는 신호가 수신되면 2D좌표변환부(123)에서 변환된 2차원 좌표를 기반으로 오브젝트에 대한 3D형상을 구현한다. 3D형상구현부(125)는 2차원 좌표에서 노이즈 데이터들을 제거하고, 다각형 생성을 위해 3차원 좌표에서 삭제한 z값을 2차원 좌표에 추가하여 3차원 좌표로 재가공한다. 3D형상구현부(125)는 재가공된 3차원 좌표들을 이용하여 3차원 폴리곤(3D polygon)을 생성하고, 3차원 폴리곤을 이용하여 도 7의 (c)와 같이 오브젝트(700)에 대한 3차원 형상(710)을 구현한다. 도 7은 본 발명의 실시 예에 따른 설정된 스캔경로에 의해 스캔된 오브젝트의 3차원 형상을 구현한 상태를 도시한 도면이다.
도 7을 참조하면, 도 7의 (a)는 해저에 위치한 오브젝트(700)의 형상을 나타내고, 도 7의 (b)는 오브젝트(700)의 형상을 3차원 형상으로 구현하기 위해 초음파카메라(110)가 스캔한 제1 스캔경로(P1), 제2 스캔경로(P2), 제3 스캔경로(P3), 제4 스캔경로(P4)를 나타낸다. 이때, 제1 스캔경로(P1)는 이동제어부(121)에 의해 오브젝트(700)를 최초로 스캔한 경로를 나타내며, 제2 스캔경로(P2)는 제1 스캔경로(P1)를 기반으로 경로생성부(124)에 의해 설정된 스캔경로이다. 아울러, 제3 스캔경로(P3), 제4 스캔경로(P4)는 경로생성부(124)에 의해 설정될 수 있다. 도 7의 (c)는 제1 내지 제4 스캔경로(P1 내지 P4)에 따라 스캔된 결과를 이용하여 구현한 오브젝트(700)의 3차원 형상(710)을 나타낸다.
도 8은 본 발명의 실시 예에 따른 오브젝트의 스캔경로 설정 방법을 설명하기 위한 순서도이다.
도 8을 참조하면, 801단계에서 프로세서(120)는 도 2와 같이 해저에 위치한 오브젝트에 대한 탐색모드를 수행한다. 이때, 탐색모드는 해저에 오브젝트의 존재여부를 확인하기 위한 모드를 의미할 수 있다. 프로세서(120)는 수중로봇(100)에 포함된 초음파카메라(110)를 활성화하고, 초음파카메라(110)에서 획득된 초음파데이터를 수신한다.
803단계에서 프로세서(120)는 초음파카메라(110)로부터 수신된 초음파데이터를 분석하여 오브젝트의 검출여부를 확인한다. 즉, 프로세서(120)는 초음파데이터의 분석결과, 초음파데이터에 오브젝트와 관련된 데이터가 포함된 상태이면, 해저에서 오브젝트가 검출된 것으로 확인하여 805단계를 수행한다. 반대로, 프로세서(120)는 초음파데이터에 오브젝트와 관련된 데이터가 포함된 상태가 아니면 801단계로 회귀한다. 801단계에서 프로세서(120)는 수중로봇(100)을 이동시키면서 초음파카메라(110)에서 초음파데이터를 획득하도록 초음파카메라(110)를 제어한다.
805단계에서 프로세서(120)는 초음파데이터의 분석을 통해 오브젝트(200)에 대한 3차원 포인트 클라우드 데이터인 3차원 좌표를 획득한다. 807단계에서 프로세서(120)는 획득된 3차원 좌표를 2차원 좌표를 갖는 제1 다각형으로 변환하고 809단계를 수행한다. 이때, 프로세서(120)는 3차원 좌표에서 z값을 제거하여 2차원 좌표로 변환하고, 변환된 2차원 좌표를 2차원 평면에 투영하여 2차원 좌표를 갖는 제1 다각형으로 변환한다.
809단계에서 프로세서(120)는 수중로봇(100)의 이동경로 즉, 초음파카메라(110)의 다음 스캔경로를 설정한다. 초음파카메라(110)의 스캔경로를 설정하는 방법은 하기의 도 9를 이용하여 보다 구체적으로 설명하기로 한다. 도 9는 본 발명의 실시 예에 따른 오브젝트의 스캔경로를 설정하는 방법을 설명하기 위한 상세순서도이다.
도 9를 참조하면, 901단계에서 프로세서(120)는 805단계에서 획득된 3차원 좌표가 최초 스캔에 의해 획득된 3차원 좌표이면 907단계를 수행한다. 907단계에서 프로세서(120)는 최초 스캔에 의한 제1 다각형에 대한 선분 벡터 및 수직 벡터를 산출한다. 이때, 프로세서(120)는 수학식 1을 이용할 수 있다. 이어서, 909단계에서 프로세서(120)는 907단계의 산출 결과를 기반으로 초음파카메라(110)의 스캔경로를 설정하고 911단계를 수행한다. 911단계에서 프로세서(120)는 설정된 스캔경로에 따라 초음파카메라(110)의 이동 즉, 초음파카메라(110)가 구비된 수중로봇(100)의 이동을 제어한다. 그리고 프로세서(120)는 도 8의 811단계로 리턴한다.
반대로, 901단계에서 프로세서(120)는 805단계에서 획득된 3차원 좌표가 최초 스캔에 의해 획득된 3차원 좌표가 아니면 903단계를 수행한다. 903단계에서 프로세서(120)는 제1 다각형 이전에 생성된 적어도 하나의 제2 다각형과 오버래핑하고 905단계에서 프로세서(120)는 오버래핑에 의해 생성되는 최대 겹침 다각형을 추출한다. 907단계에서 프로세서(120)는 수학식 1을 이용하여 최대 겹침 다각형에서의 선분 벡터 및 수직 벡터를 산출한다. 이어서, 909단계에서 프로세서(120)는 산출된 선분 벡터 및 수직 벡터를 기반으로 초음파카메라(110)의 스캔경로를 설정하고 911단계를 수행한다. 911단계에서 프로세서(120)는 설정된 스캔경로에 따라 초음파카메라(110)의 이동 즉, 초음파카메라(110)가 구비된 수중로봇(100)의 이동을 제어한다. 그리고 프로세서(120)는 도 8의 811단계로 리턴한다.
811단계에서 프로세서(120)는 최대 겹침 다각형의 면적에 대한 변화율을 확인하고 813단계를 수행한다. 813단계에서 프로세서(120)는 면적에 대한 변화율이 임계치 미만이면 819단계를 수행하고, 임계치 미만이 아니면 815단계를 수행한다. 819단계에서 프로세서(120)는 오브젝트에 대한 스캔을 종료하고, 스캔결과를 이용하여 3D형상을 구현한다. 예를 들어, 프로세서(120)는 두 번째 스캔에 의해 생성된 다각형의 오버래핑으로 생성된 최대 겹침 다각형과, 세 번째 스캔에 의해 생성된 다각형의 오버래핑으로 생성된 최대 겹침 다각형의 면적의 변화율을 산출할 수 있다. 이때, 산출된 면적의 변화율이 임계치 예컨대, 5%미만이면 프로세서(120)는 네 번째 스캔을 진행하더라도 오브젝트의 3차원 형상 구현결과에 별다른 차이가 없는 것으로 확인할 수 있다.
815단계에서 프로세서(120)는 수학식 2 내지 5를 이용하여 스캔에 의해 커버된 스캔커버각도를 확인하고 817단계를 수행한다. 817단계에서 프로세서(120)는 확인된 스캔커버각도가 임계각도를 초과하면 819단계를 수행하고, 임계치 이하이면 805단계로 회귀하여 수중로봇(100)의 이동에 따라 획득된 초음파데이터를 기반으로 3차원 좌표를 획득할 수 있다. 819단계에서 프로세서(120)는 오브젝트에 대한 스캔을 종료하고, 스캔결과를 이용하여 3D형상을 구현한다. 이를 위해, 프로세서(120)는 2차원 좌표에서 노이즈 데이터들을 제거하고, 다각형 생성을 위해 3차원 좌표에서 삭제한 z값을 2차원 좌표에 추가하여 3차원 좌표로 재가공한다. 프로세서(120)는 재가공된 3차원 좌표들을 이용하여 3차원 폴리곤(3D polygon)을 생성하고, 3차원 폴리곤을 이용하여 오브젝트에 대한 3차원 형상을 구현한다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 수중로봇에 구비된 초음파 카메라에서 수행된 스캔에 의해 획득된 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 획득하는 단계;
    상기 수중로봇이 상기 복수의 3차원 포인트 클라우드 데이터를 2차원 좌표를 갖는 제1 다각형으로 변환하는 단계;
    상기 수중로봇이 상기 제1 다각형과 기저장된 적어도 하나의 제2 다각형을 오버래핑하여 추출된 최대 겹침 다각형의 선분 벡터 및 수직 벡터를 기반으로 상기 초음파 카메라의 스캔경로를 설정하는 단계; 및
    상기 수중로봇이 상기 스캔경로를 따라 이동하여 상기 초음파 카메라에서 스캔된 상기 오브젝트에 대한 3차원 형상을 구현하는 단계;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 스캔경로 설정 방법.
  2. 제1항에 있어서,
    상기 제1 다각형으로 변환하는 단계는,
    상기 3차원 포인트 클라우드 데이터에서 해저면과 관련된 데이터를 제거하는 단계;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 스캔경로 설정 방법.
  3. 제2항에 있어서,
    상기 스캔경로를 설정하는 단계는,
    상기 기저장된 적어도 하나의 제2 다각형의 존재여부를 확인하는 단계;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 스캔경로 설정 방법.
  4. 제3항에 있어서,
    상기 제2 다각형의 존재여부를 확인하는 단계 이후에,
    상기 제2 다각형이 존재하지 않으면, 상기 제1 다각형의 선분 벡터 및 수직 벡터를 산출하는 단계; 및
    상기 선분 벡터와 수직 벡터를 기반으로 상기 초음파 카메라의 스캔경로를 설정하는 단계;
    를 더 포함하는 것을 특징으로 하는 수중 오브젝트의 스캔경로 설정 방법.
  5. 제4항에 있어서,
    상기 오브젝트에 대한 3차원 형상을 구현하는 단계는,
    상기 최대 겹침 다각형의 면적에 대한 변화량이 임계치 미만이면 상기 오브젝트에 대한 스캔을 종료하는 단계;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 스캔경로 설정 방법.
  6. 제4항에 있어서,
    상기 오브젝트에 대한 3차원 형상을 구현하는 단계는,
    상기 스캔경로에 의해 상기 오브젝트가 스캔된 스캔커버각도가 임계각도를 초과하면 상기 오브젝트에 대한 스캔을 종료하는 단계;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 스캔경로 설정 방법.
  7. 해저에 위치한 오브젝트를 스캔하는 초음파 카메라; 및
    상기 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 획득하여 2차원 좌표를 갖는 제1 다각형으로 변환하고, 상기 제1 다각형과 기저장된 적어도 하나의 제2 다각형을 오버래핑하여 추출된 최대 겹침 다각형의 선분 벡터 및 수직 벡터를 기반으로 상기 초음파 카메라의 스캔경로를 설정하고, 상기 스캔경로를 따라 스캔된 상기 오브젝트에 대한 3차원 형상을 구현하는 프로세서;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 스캔경로를 설정하는 수중로봇.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 3차원 포인트 클라우드 데이터에서 해저면과 관련된 데이터를 제거하는 것을 특징으로 하는 수중 오브젝트의 스캔경로를 설정하는 수중로봇.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 기저장된 적어도 하나의 제2 다각형에 대한 존재여부를 확인하는 것을 특징으로 하는 수중 오브젝트의 스캔경로를 설정하는 수중로봇.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 제2 다각형이 존재하지 않으면, 상기 제1 다각형의 선분 벡터 및 수직 벡터를 기반으로 상기 초음파 카메라의 스캔경로를 설정하는 것을 특징으로 하는 수중 오브젝트의 스캔경로를 설정하는 수중로봇.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 최대 겹침 다각형의 면적에 대한 변화량이 임계치 미만이면 상기 오브젝트에 대한 스캔을 종료하는 것을 특징으로 하는 수중 오브젝트의 스캔경로를 설정하는 수중로봇.
  12. 제10항에 있어서,
    상기 프로세서는,
    상기 스캔경로에 의해 상기 오브젝트가 스캔된 스캔커버각도가 임계각도를 초과하면 상기 오브젝트에 대한 스캔을 종료하는 것을 특징으로 하는 수중 오브젝트의 스캔경로를 설정하는 수중로봇.
KR1020190116806A 2019-09-23 2019-09-23 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇 KR102276943B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190116806A KR102276943B1 (ko) 2019-09-23 2019-09-23 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190116806A KR102276943B1 (ko) 2019-09-23 2019-09-23 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇

Publications (2)

Publication Number Publication Date
KR20210034895A KR20210034895A (ko) 2021-03-31
KR102276943B1 true KR102276943B1 (ko) 2021-07-13

Family

ID=75238083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190116806A KR102276943B1 (ko) 2019-09-23 2019-09-23 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇

Country Status (1)

Country Link
KR (1) KR102276943B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113084817B (zh) * 2021-04-15 2022-08-19 中国科学院自动化研究所 扰流环境下水下机器人的物体搜索及抓取控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5886502B2 (ja) * 2012-12-20 2016-03-16 トヨタ自動車株式会社 移動体制御装置、移動体制御方法及び制御プログラム
JP2016526148A (ja) * 2013-04-05 2016-09-01 ロッキード・マーチン・コーポレーション Ｌｉｄａｒを有する水中プラットフォーム及び関連する方法
JP2018177074A (ja) 2017-04-18 2018-11-15 国立大学法人 東京大学 自律型水中ロボット及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5886502B2 (ja) * 2012-12-20 2016-03-16 トヨタ自動車株式会社 移動体制御装置、移動体制御方法及び制御プログラム
JP2016526148A (ja) * 2013-04-05 2016-09-01 ロッキード・マーチン・コーポレーション Ｌｉｄａｒを有する水中プラットフォーム及び関連する方法
JP2018177074A (ja) 2017-04-18 2018-11-15 国立大学法人 東京大学 自律型水中ロボット及びその制御方法

Also Published As

Publication number Publication date
KR20210034895A (ko) 2021-03-31

Similar Documents

Publication Publication Date Title
AU2011323801B2 (en) Building a three dimensional model of an underwater structure
CN103620442B (zh) 判断水下航行器相对于水下结构的位置和方向
JP6057905B2 (ja) 水中構造物の構造的変化の検出
JPH05249239A (ja) 三次元測定及び地形イメージングソナー
KR102186733B1 (ko) 3차원 해저 지형 생성 방법
Westman et al. Wide aperture imaging sonar reconstruction using generative models
Ji et al. Acoustic camera-based 3D measurement of underwater objects through automated extraction and association of feature points
CN107632305B (zh) 一种基于剖面声纳扫测技术的海底局部地形自主感知方法及装置
KR102276943B1 (ko) 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇
JP3515751B2 (ja) 海底三次元構造の再構成方法
KR102074182B1 (ko) 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇
KR101780558B1 (ko) 측면주사소나 데이터 처리장치 및 그 방법
JP6516261B2 (ja) 計測システム
KR101773425B1 (ko) 수중 로봇의 위치제어 방법, 위치 제어 장치 및 이를 구비한 수중 로봇
KR101493956B1 (ko) 다수의 2d 초음파 이미지를 이용한 대상물의 3d 형상모델 추출방법 및 그 추출장치
Al-Rawi et al. Landmark detection from sidescan sonar images
JP3750436B2 (ja) 物体表示方法及び装置
JP5549109B2 (ja) 画像ソナー用解析システム、画像ソナー用解析方法、画像ソナー用解析プログラム
Pyo et al. Development of passive acoustic landmark using imaging sonar for AUV's localization
US11940532B1 (en) Fish finder system and method
Wei et al. Joint motion error estimation algorithm for multibeam synthetic aperture sonar
JP2020173213A (ja) ソーナー画像処理装置、ソーナー画像処理方法及びプログラム
Sung et al. Imaging-sonar-based underwater object recognition utilizing object’s yaw angle estimation with deep learning
KR101952290B1 (ko) 다중 빔 초음파 카메라를 이용한 3차원 공간데이터 획득방법
Villar et al. Mosaic construction from side-scan sonar: A comparison of two approaches for beam interpolation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant