KR102074182B1 - 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇 - Google Patents

초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇 Download PDF

Info

Publication number
KR102074182B1
KR102074182B1 KR1020180066107A KR20180066107A KR102074182B1 KR 102074182 B1 KR102074182 B1 KR 102074182B1 KR 1020180066107 A KR1020180066107 A KR 1020180066107A KR 20180066107 A KR20180066107 A KR 20180066107A KR 102074182 B1 KR102074182 B1 KR 102074182B1
Authority
KR
South Korea
Prior art keywords
dimensional
coordinates
underwater robot
image data
underwater
Prior art date
Application number
KR1020180066107A
Other languages
English (en)
Other versions
KR20190139522A (ko
Inventor
유선철
표주현
조한길
김주환
김병진
성민성
송석용
조현우
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020180066107A priority Critical patent/KR102074182B1/ko
Publication of KR20190139522A publication Critical patent/KR20190139522A/ko
Application granted granted Critical
Publication of KR102074182B1 publication Critical patent/KR102074182B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 초음파 영상데이터를 이용한 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇에 관한 것으로, 초음파 카메라를 구비한 수중로봇이 초음파 카메라에서 획득된 영상데이터를 기반으로 해저에 위치한 오브젝트를 검출하는 단계, 수중로봇이 복수의 방향에서 오브젝트에 대한 영상데이터를 획득하는 단계, 수중로봇이 영상데이터를 분석하여 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 산출하는 단계, 수중로봇이 복수의 3차원 포인트 클라우드 데이터를 2차원 좌표로 변환하는 단계, 수중로봇이 2차원 좌표를 후처리하는 단계 및 수중로봇이 후처리된 결과를 이용하여 오브젝트에 대한 3차원 형상을 구현하는 단계를 포함하고, 다른 실시 예로도 적용이 가능하다.

Description

초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇{Method and Underwater Robot for Reconstruction of Three-Dimensional Shape of Underwater Object using Sonar Image Data}
본 발명은 수중로봇에 구비된 초음파 카메라로 획득된 영상데이터를 이용하여 해저에 위치한 오브젝트의 3차원 형상을 구현하는 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇에 관한 것이다.
해저상태, 해양 어족 자원의 조사 및 각종 폐기물 조사 등을 위한 해저 탐사 작업은 해양 연구에 있어서 중요한 부분을 차지한다. 이러한 탐사 작업을 위해 최근에는 해상 선박에 의해 견인되는 탐사체에 촬영 가능한 수중촬영장치 등의 조사장비를 장착하여 해저면을 조사하는 방법을 사용한다. 또한, 일반적으로 해저의 악시계 환경에서도 해저면의 탐사결과를 향상시키기 위해서는 일반 디지털 카메라가 아닌 초음파 카메라를 사용하여 해저를 탐사한다. 이와 같은 초음파 카메라는 3차원 정보를 2차원 평면에 매핑하여 표현하기 때문에, 초음파 카메라에서 획득된 해저에 위치한 오브젝트를 실물과 같이 구현하는데 한계가 있다.
따라서, 초음파 카메라를 이용하여 획득된 영상데이터를 이용하여 해저에 위치한 오브젝트의 형상을 실물과 유사하게 구현하는 기술의 필요성이 대두되고 있는 실정이다.
이러한 종래의 문제점을 해결하기 위한 본 발명의 다양한 실시 예들은 수중로봇에 구비된 초음파 카메라에서 획득된 3차원 좌표를 이용하여 해저에 위치한 오브젝트의 형상을 실물과 유사한 3차원 형상으로 구현하는 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇을 제공하는 것이다.
본 발명의 실시 예에 따른 수중 오브젝트의 3차원 형상 구현방법은, 초음파 카메라를 구비한 수중로봇이 상기 초음파 카메라에서 획득된 영상데이터를 기반으로 해저에 위치한 오브젝트를 검출하는 단계, 상기 수중로봇이 복수의 방향에서 상기 오브젝트에 대한 영상데이터를 획득하는 단계, 상기 수중로봇이 상기 영상데이터를 분석하여 상기 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 산출하는 단계, 상기 수중로봇이 상기 복수의 3차원 포인트 클라우드 데이터를 2차원 좌표로 변환하는 단계, 상기 수중로봇이 상기 2차원 좌표를 후처리하는 단계 및 상기 수중로봇이 상기 후처리된 결과를 이용하여 상기 오브젝트에 대한 3차원 형상을 구현하는 단계를 포함하는 것을 특징으로 한다.
또한, 오브젝트에 대한 영상데이터를 획득하는 단계는, 상기 수중로봇이 상기 오브젝트의 상부를 이동하면서 복수의 방향에서 상기 오브젝트에 대한 영상데이터를 획득하는 단계인 것을 특징으로 한다.
또한, 복수의 3차원 포인트 클라우드 데이터를 산출하는 단계 이후에, 상기 수중로봇이 상기 오브젝트의 상부를 이동한 방향을 기반으로 상기 복수의 3차원 포인트 클라우드 데이터를 그룹별로 그룹핑하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 후처리하는 단계는, 상기 변환된 2차원 좌표에서 노이즈를 제거하는 단계, 상기 노이즈가 제거된 2차원 좌표에서 모든 좌표를 포함하는 최소 크기의 다각형을 상기 그룹별로 확인하는 단계, 상기 다각형들을 기준으로 2D폴리곤들을 산출하는 단계, 상기 2D폴리곤들 내부에 존재하는 2차원 좌표를 3차원 좌표로 재가공하는 단계 및 상기 재가공된 3차원 좌표를 기반으로 3D폴리곤들을 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 3차원 형상을 구현하는 단계는, 상기 3D폴리곤들로 상기 3차원 형상을 구현하는 단계를 포함하는 것을 특징으로 한다.
아울러, 본 발명의 실시 예에 따른 수중 오브젝트의 3차원 형상을 구현하는 수중로봇은, 해저에 위치한 오브젝트를 포함하는 영상데이터를 획득하는 초음파 카메라 및 상기 영상데이터에서 해저에 위치한 오브젝트를 검출하고, 상기 검출된 오브젝트에 대하여 복수의 방향을 기반으로 획득된 영상데이터에서 상기 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 산출하고, 상기 복수의 3차원 포인트 클라우드 데이터를 2차원 좌표로 변환한 후 후처리하고, 상기 후처리된 결과를 이용하여 상기 오브젝트에 대한 3차원 형상을 구현하는 프로세서를 포함하는 것을 특징으로 한다.
또한, 프로세서는, 상기 초음파 카메라가 상기 오브젝트의 상부를 이동하면서 상기 오브젝트에 대한 영상데이터를 복수의 방향에서 획득하도록 상기 초음파 카메라의 이동을 제어하는 것을 특징으로 한다.
또한, 프로세서는, 상기 초음파 카메라가 상기 오브젝트의 상부를 이동한 방향을 기반으로 상기 복수의 3차원 포인트 클라우드 데이터를 그룹별로 그룹핑하는 것을 특징으로 한다.
또한, 프로세서는, 상기 변환된 2차원 좌표에서 노이즈를 제거하고, 상기 노이즈가 제거된 2차원 좌표에서 모든 좌표를 포함하는 최소 크기의 다각형을 상기 그룹별로 확인하는 것을 특징으로 한다.
또한, 프로세서는, 상기 다각형들을 기준으로 2D폴리곤들을 산출하고, 상기 2D폴리곤들 내부에 존재하는 2차원 좌표를 3차원 좌표로 재가공하고, 상기 재가공된 3차원 좌표를 기반으로 3D폴리곤들을 생성하여 상기 오브젝트에 대한 3차원 형상을 구현하는 것을 특징으로 한다.
상술한 바와 같이 본 발명의 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇은 초음파 카메라를 구비한 수중로봇이 해저에 위치한 오브젝트 위로 이동시켜 오브젝트에 대한 3차원 좌표를 획득하고, 3차원 좌표를 가공함으로써 해저에 위치한 오브젝트의 형상을 실물과 유사한 3차원 형상으로 구현할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 수중로봇의 주요 구성을 나타낸 도면이다.
도 2는 본 발명의 실시 에에 따른 수중로봇이 오브젝트를 탐색하는 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 실시 예에 따른 수중로봇이 오브젝트를 스캔하는 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 초음파 카메라를 이용하여 오브젝트에 대한 획득된 3차원 좌표를 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 3차원 좌표를 2차원 좌표로 변환한 상태를 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 오브젝트의 3차원 형상을 구현한 상태를 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 수중로봇이 오브젝트의 3차원 형상을 구현하는 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 상세하게 설명하고자 한다. 이 때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 그리고 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
도 1은 본 발명의 실시 예에 따른 수중로봇의 주요 구성을 나타낸 도면이다.
도 1을 참조하면, 수중로봇(100)은 해저에 위치한 오브젝트에 대한 초음파 영상데이터(이하, 영상데이터라 함)를 획득하고, 영상데이터를 이용하여 오브젝트의 3차원 형상을 구현한다. 이를 위해, 수중로봇(100)은 초음파카메라(110)와 프로세서(120)를 포함하고, 프로세서(120)는 이동제어부(121), 3D좌표산출부(122), 2D좌표변환부(123), 후처리부(124) 및 3D형상구현부(125)를 포함할 수 있다.
초음파카메라(110)는 수중로봇(100)에 구비되어 초음파 빔을 송출하고, 초음파 빔이 반사되는 반사파를 수신한다. 초음파카메라(110)에서 수신된 반사파에 의해 생성된 이미지가 영상데이터일 수 있다.
프로세서(120)는 수중로봇(100)을 제어하여 해저에 위치한 오브젝트를 검출하기 위해 탐색모드를 수행하여 초음파카메라(110)를 활성화한 후 수중로봇(100)을 이동시킨다. 프로세서(120)는 탐색모드를 수행하는 도중에 초음파카메라(110)에서 획득된 영상데이터에서 오브젝트가 확인되면 스캔모드로 전환한다. 프로세서(120)는 스캔모드로 전환한 이후에 수중로봇(100)을 여러 방향으로 이동한다. 수중로봇(100)이 여러 방향으로 이동함에 따라 초음파카메라(110)는 다양한 위치에서 영상데이터를 획득할 수 있다. 프로세서(120)는 다양한 위치에서 획득된 영상데이터를 수신하고, 수신된 영상데이터를 분석하여 오브젝트의 3차원 형상을 구현할 수 있다.
보다 구체적으로, 수중로봇(100)이 탐색모드를 수행하면, 초음파카메라(110)를 활성화한다. 수중로봇(100)은 이동제어부(121)에 의해 해저에 위치한 상태에서 이동한다. 이는 도 2와 같다. 도 2는 본 발명의 실시 에에 따른 수중로봇이 오브젝트를 탐색하는 동작을 설명하기 위한 도면이다. 도 2와 같이, 초음파카메라(110)는 해저면을 향하여 소정의 경사각으로 기울어져 촬영영역(110a)에 대한 영상데이터를 획득한다. 수중로봇(100)은 이동제어부(121)에 의해 해저면으로부터 특정 높이에서 특정 이동방향을 따라 일정한 속도로 이동할 수 있고, 수중로봇(100)의 이동에 따라 초음파카메라(110)는 영상데이터를 지속적으로 획득할 수 있다. 프로세서(120)는 영상데이터를 분석하여 촬영영역(110a)에 오브젝트(200)가 존재함을 확인할 수 있다.
프로세서(120)는 오브젝트(200)가 검출되면, 스캔모드로 전환한다. 스캔모드로 전환되면, 이동제어부(121)는 도 3과 같이 수중로봇(100)을 여러 방향으로 이동시킬 수 있다. 도 3은 본 발명의 실시 예에 따른 수중로봇이 오브젝트를 스캔하는 동작을 설명하기 위한 도면이다. 도 3과 같이 초음파카메라(110)는 수중로봇(100)이 A위치에서 B위치, C위치에서 D위치, E위치에서 F위치, G위치에서 H위치 및 I위치에서 J위치로 이동하면서 지속적으로 영상데이터를 획득할 수 있다. 이때, 수중로봇(100)은 오브젝트(200)의 상부쪽을 지나가면서(flyover) 영상데이터를 획득하는 것이 바람직하다.
초음파카메라(110)는 획득된 영상데이터를 3D좌표산출부(122)로 제공하고, 이동제어부(121)는 수중로봇(100)의 이동을 제어하면서 해저면을 기준으로 해저면에 수직한 수중로봇(100)의 위치에 대한 좌표값, 수중로봇(100)의 이동방향, 이동각도 등 수중로봇(100)의 위치와 관련된 위치정보를 3D좌표산출부(122)로 제공할 수 있다. 이때, 수중로봇(100)의 위치에 대한 좌표값은 해저면을 기준으로 하는 3차원 좌표값일 수 있고, 오브젝트(200)가 검출된 시점의 수중로봇(100)의 위치가 (0, 0, 0)값을 갖도록 설정되어 수중로봇(100)의 위치가 기준점이 될 수 있다.
3D좌표산출부(122)는 영상데이터와 위치정보를 기반으로 해저면에 맞닿은 오브젝트(200)의 바닥면을 제외한 면에 대한 3차원 좌표 즉, 3차원 포인트 클라우드 데이터를 획득할 수 있다. 이때, 도 3과 같이 5각도에서 획득한 영상데이터로부터 획득된 모든 3차원 포인트 클라우드 데이터는 도 4와 같이 표시될 수 있다. 도 4는 본 발명의 실시 예에 따른 초음파 카메라를 이용하여 오브젝트에 대한 획득된 3차원 좌표를 도시한 도면이다.
보다 구체적으로, 3D좌표산출부(122)는 스캔모드 시작 시에 영상데이터가 획득된 A위치에서의 수중로봇(100)의 위치를 확인하고, 확인된 위치를 기준으로 영상데이터에 포함된 오브젝트(200)에 대한 2차원 좌표값들을 확인할 수 있다. 3D좌표산출부(122)는 수중로봇(100)이 A위치에서 B위치로 이동하면서 획득된 영상데이터에 포함된 오브젝트(200)에 대한 2차원 좌표값들을 확인하고, B위치에서 획득된 영상데이터에 포함된 오브젝트(200)에 대한 2차원 좌표값들을 확인한다. 이와 같이, 3D좌표산출부(122)는 C위치에서 D위치, E위치에서 F위치, G위치에서 H위치 및 I위치에서 J위치까지 이동하면서 획득된 영상데이터에 포함된 오브젝트(200)에 대한 2차원 좌표값들을 확인할 수 있다. 3D좌표산출부(122)는 수중로봇(100)의 위치에 대한 좌표값, 수중로봇(100)의 이동방향, 이동각도와 확인된 2차원 좌표값들을 결합하여 오브젝트(200)에 대한 x, y, z값을 갖는 3차원 포인트 클라우드 데이터를 산출할 수 있다. 산출된 3차원 포인트 클라우드 데이터는 도 4와 같이 표시될 수 있다.
3D좌표산출부(122)는 산출된 3차원 좌표를 그룹핑한다. 즉, 3D좌표산출부(122)는 이동각도를 기반으로 A위치에서 B위치, C위치에서 D위치, E위치에서 F위치, G위치에서 H위치, I위치에서 J위치로 이동하면서 획득된 영상데이터들을 기반으로 산출된 3차원 좌표들을 총 5개의 그룹으로 그룹핑한다. 3D좌표산출부(122)는 그룹핑된 각 그룹에 포함된 3차원 좌표를 2D좌표변환부(123)로 제공한다. 2D좌표변환부(123)는 각 그룹에 포함된 3차원 좌표에서 z값을 제거하여 2차원 좌표로 변환한다. 이를 통해, 3차원 좌표를 처리하기 위해 소모되는 시간을 최소화할 수 있는 효과가 있다.
2D좌표변환부(123)는 각 그룹별로 변환된 2차원 좌표를 후처리부(124)로 제공한다. 후처리부(124)는 2차원 좌표에서 노이즈 데이터들을 제거하고, 도 5와 같이 각 그룹별로 convex hull을 확인한다. 도 5는 본 발명의 실시 예에 따른 3차원 좌표를 2차원 좌표로 변환한 상태를 도시한 도면이다. convex hull은 모든 좌표들을 포함하는 최소 크기의 볼록 다각형을 의미한다. 후처리부(124)는 각 그룹별로 확인된 볼록 다각형을 이용하여 맥시멈 오버래핑 2차원 폴리곤(Maximum overlapping 2D polygon)을 산출한다. 후처리부(124)는 각 그룹별로 산출된 볼록 다각형들의 최대 중복 영역을 가지는 폴리곤을 확인함으로써 맥시멈 오버래핑 2차원 폴리곤을 산출할 수 있다. 후처리부(124)는 맥시멈 오버래핑 2차원 폴리곤 내부에 위치하는 2차원 좌표를 확인한다. 후처리부(124)는 확인된 2차원 좌표를 3차원 좌표로 재가공한다. 이때, 후처리부(124)는 2차원 좌표로 변환 시 3차원 좌표에서 삭제한 z좌표값을 2차원 좌표에 추가하여 3차원 좌표로 재가공할 수 있다. 후처리부(124)는 재가공된 3차원 좌표들을 이용하여 맥시멈 오버래핑 3차원 폴리곤(Maximum overlapping 3D polygon)을 생성할 수 있다.
후처리부(124)는 생성된 맥시멈 오버래핑 3차원 폴리곤을 3D형상구현부(125)로 제공하고, 3D형상구현부(125)는 도 6과 같이 맥시멈 오버래핑 3차원 폴리곤을 이용하여 오브젝트(200)에 대한 3차원 형상을 구현한다. 도 6은 본 발명의 실시 예에 따른 오브젝트의 3차원 형상을 구현한 상태를 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 수중로봇이 오브젝트의 3차원 형상을 구현하는 방법을 설명하기 위한 순서도이다.
도 7을 참조하면, 701단계에서 프로세서(120)는 도 2와 같이 해저에서 위치한 오브젝트에 대한 탐색모드를 수행한다. 이때, 탐색모드는 해저에 오브젝트의 존재여부를 확인하기 위한 모드이다. 프로세서(120)는 수중로봇(100)에 포함된 초음파카메라(110)를 활성화하고 초음파카메라(110)에서 획득된 해저에 대한 영상데이터를 수신한다.
703단계에서 프로세서(120)는 초음파카메라(110)로부터 수신된 영상데이터를 분석하여 오브젝트의 검출여부를 확인한다. 즉, 프로세서(120)는 영상데이터에 오브젝트에 대한 이미지가 포함된 상태이면, 오브젝트가 검출된 것으로 확인하여 705단계를 수행한다. 반대로, 프로세서(120)는 영상데이터에 오브젝트에 대한 이미지가 포함된 상태가 아니면 영상데이터와 관련된 영역에 오브젝트가 없는 것으로 확인하여 701단계로 회귀한다. 701단계에서 프로세서(120)는 수중로봇(100)을 이동시키면서 초음파카메라(110)에서 영상데이터를 획득하도록 초음파카메라(110)를 제어한다.
705단계에서 프로세서(120)는 도 3과 같이 스캔모드를 수행하고 707단계를 수행한다. 707단계에서 프로세서(120)는 오브젝트(200)에 대한 3차원 포인트 클라우드 데이터인 3차원 좌표를 산출한다. 보다 구체적으로, 프로세서(120)는 703단계에서 검출된 오브젝트(200)를 스캔하기 위하여 수중로봇(100)을 오브젝트(200)의 상부에서 이동시키면서 초음파카메라(110)에서 획득된 오브젝트(200)에 대한 영상데이터를 수신한다. 프로세서(120)는 영상데이터에서 오브젝트(200)에 대한 3차원 좌표를 산출하고, 3차원 좌표는 도 4와 같이 표시될 수 있다.
709단계에서 프로세서(120)는 3차원 좌표를 이동방향 별로 그룹핑할 수 있다. 보다 구체적으로, 프로세서(120)는 도 3과 같이 수중로봇(100)이 A위치에서 B위치로 이동하면서 획득된 영상데이터로부터 산출된 3차원 좌표를 제1 그룹으로 그룹핑한다. 프로세서(120)는 수중로봇(100)이 C위치에서 D위치로 이동하면서 획득된 영상데이터로부터 산출된 3차원 좌표를 제2 그룹으로 그룹핑한다. 프로세서(120)는 수중로봇(100)이 E위치에서 F위치로 이동하면서 획득된 영상데이터로부터 산출된 3차원 좌표를 제3 그룹으로 그룹핑한다. 프로세서(120)는 수중로봇(100)이 G위치에서 H위치로 이동하면서 획득한 영상데이터로부터 산출된 3차원 좌표를 제4 그룹으로 그룹핑한다. 마지막으로, 프로세서(120)는 수중로봇(100)이 I위치에서 J위치로 이동하면서 획득한 영상데이터로부터 산출된 3차원 좌표를 제5 그룹으로 그룹핑한다.
711단계에서 프로세서(120)는 제1 그룹 내지 제5 그룹에 포함된 각 3차원 좌표를 2차원 좌표로 변환한다. 이와 같이 3차원 포인트 클라우드 데이터를 2차원 좌표로 변환하면 도 5와 같이 5개의 그룹에 포함된 3차원 좌표가 변환된 2차원 좌표의 그룹이 생성될 수 있다.
713단계에서 프로세서(120)는 변환된 2차원 좌표를 이용하여 후처리를 수행하고 715단계를 수행한다. 보다 구체적으로, 프로세서(120)는 도 5와 같이 그룹화된 2차원 좌표들에서 노이즈 데이터를 제거하고, 각 그룹별로 convex hull을 확인한다. convex hull은 모든 좌표들을 포함하는 최소 크기의 볼록 다각형을 의미한다. 프로세서(120)는 각 그룹별로 확인된 볼록 다각형을 이용하여 맥시멈 오버래핑 2차원 폴리곤(Maximum overlapping 2D polygon)을 산출한다. 프로세서(120)는 각 그룹별로 산출된 볼록 다각형들의 최대 중복 영역을 가지는 폴리곤을 확인함으로써 맥시멈 오버래핑 2차원 폴리곤을 산출할 수 있다. 프로세서(120)는 맥시멈 오버래핑 2차원 폴리곤 내부에 위치하는 2차원 좌표를 확인한다. 프로세서(120)는 확인된 2차원 좌표를 3차원 좌표로 재가공한다. 이때, 프로세서(120)는 711단계에서 2차원 좌표로 변환 시 3차원 좌표에서 삭제한 z좌표값을 확인된 2차원 좌표에 추가하여 3차원 좌표로 재가공할 수 있다. 프로세서(120)는 재가공된 3차원 좌표들을 이용하여 맥시멈 오버래핑 3차원 폴리곤(Maximum overlapping 3D polygon)을 생성할 수 있다. 715단계에서 프로세서(120)는 생성된 맥시멈 오버래핑 3차원 폴리곤을 이용하여 도 6과 같이 오브젝트(200)에 대한 3차원 형상으로 구현할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 즉 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (10)

  1. 초음파 카메라를 구비한 수중로봇이 상기 초음파 카메라에서 획득된 영상데이터를 기반으로 해저에 위치한 오브젝트를 검출하는 단계;
    상기 수중로봇이 상기 오브젝트를 기준으로 복수의 방향으로 이동하면서 이동 방향을 기반으로 상기 오브젝트에 대한 복수의 영상데이터를 획득하는 단계;
    상기 수중로봇이 상기 복수의 영상데이터를 분석하여 상기 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 산출하는 단계;
    상기 수중로봇이 상기 복수의 3차원 포인트 클라우드 데이터를 상기 이동 방향에 따라 그룹별로 그룹핑하는 단계;
    상기 수중로봇이 상기 그룹핑된 복수의 3차원 포인트 클라우드 데이터를 상기 그룹별로 2차원 좌표로 변환하는 단계;
    상기 수중로봇이 상기 2차원 좌표를 후처리하는 단계; 및
    상기 수중로봇이 상기 후처리된 결과를 이용하여 상기 오브젝트에 대한 3차원 형상을 구현하는 단계;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 3차원 형상 구현방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 후처리하는 단계는,
    상기 변환된 2차원 좌표에서 노이즈를 제거하는 단계;
    상기 노이즈가 제거된 2차원 좌표에서 모든 좌표를 포함하는 최소 크기의 다각형을 상기 그룹별로 확인하는 단계;
    상기 다각형들을 기준으로 2D폴리곤들을 산출하는 단계;
    상기 2D폴리곤들 내부에 존재하는 2차원 좌표를 3차원 좌표로 재가공하는 단계; 및
    상기 재가공된 3차원 좌표를 기반으로 3D폴리곤들을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 3차원 형상 구현방법.
  5. 제4항에 있어서,
    상기 3차원 형상을 구현하는 단계는,
    상기 3D폴리곤들로 상기 3차원 형상을 구현하는 단계;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 3차원 형상 구현방법.
  6. 해저에 위치한 오브젝트를 포함하는 영상데이터를 획득하는 초음파 카메라; 및
    상기 영상데이터에서 해저에 위치한 오브젝트를 검출하고, 상기 검출된 오브젝트를 기준으로 복수의 방향으로 이동하면서 이동 방향을 기반으로 상기 오브젝트에 대한 복수의 영상데이터를 획득하고, 상기 복수의 영상데이터에서 상기 오브젝트에 대한 복수의 3차원 포인트 클라우드 데이터를 산출하고, 상기 복수의 3차원 포인트 클라우드 데이터를 상기 이동 방향에 따라 그룹별로 그룹핑하고, 상기 그룹핑된 복수의 3차원 포인트 클라우드 데이터를 상기 그룹별로 2차원 좌표로 변환한 후 후처리하고, 상기 후처리된 결과를 이용하여 상기 오브젝트에 대한 3차원 형상을 구현하는 프로세서;
    를 포함하는 것을 특징으로 하는 수중 오브젝트의 3차원 형상을 구현하는 수중로봇.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 프로세서는,
    상기 변환된 2차원 좌표에서 노이즈를 제거하고, 상기 노이즈가 제거된 2차원 좌표에서 모든 좌표를 포함하는 최소 크기의 다각형을 상기 그룹별로 확인하는 것을 특징으로 하는 수중 오브젝트의 3차원 형상을 구현하는 수중로봇.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 다각형들을 기준으로 2D폴리곤들을 산출하고, 상기 2D폴리곤들 내부에 존재하는 2차원 좌표를 3차원 좌표로 재가공하고, 상기 재가공된 3차원 좌표를 기반으로 3D폴리곤들을 생성하여 상기 오브젝트에 대한 3차원 형상을 구현하는 것을 특징으로 하는 수중 오브젝트의 3차원 형상을 구현하는 수중로봇.
KR1020180066107A 2018-06-08 2018-06-08 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇 KR102074182B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180066107A KR102074182B1 (ko) 2018-06-08 2018-06-08 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180066107A KR102074182B1 (ko) 2018-06-08 2018-06-08 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇

Publications (2)

Publication Number Publication Date
KR20190139522A KR20190139522A (ko) 2019-12-18
KR102074182B1 true KR102074182B1 (ko) 2020-02-06

Family

ID=69052483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180066107A KR102074182B1 (ko) 2018-06-08 2018-06-08 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇

Country Status (1)

Country Link
KR (1) KR102074182B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102450675B1 (ko) * 2020-12-17 2022-10-06 한국해양과학기술원 초음파 카메라로 취득된 초음파 이미지를 3차원 이미지로 재구성하는 방법
CN114111628A (zh) * 2021-12-07 2022-03-01 西安理工大学 一种水下目标激光点云数据三维重建算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002168952A (ja) * 2000-11-29 2002-06-14 Tokyo Shosen Univ 海底三次元構造の再構成方法
JP2014137244A (ja) * 2013-01-15 2014-07-28 Toshiba Corp 三次元合成処理システムおよび三次元合成処理方法
KR101493956B1 (ko) 2013-08-23 2015-02-16 한국해양과학기술원 다수의 2d 초음파 이미지를 이용한 대상물의 3d 형상모델 추출방법 및 그 추출장치
JP2018025551A (ja) 2016-08-04 2018-02-15 株式会社Ｈｉｅｌｅｒｏ 点群データ変換システム及びその方法
WO2018039871A1 (zh) 2016-08-29 2018-03-08 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130096432A (ko) * 2012-02-22 2013-08-30 (주)지오투정보기술 해저면데이터의 경사도를 이용하여 해저지형정보를 생성하는 시스템 및 그 방법
KR101381218B1 (ko) * 2012-08-10 2014-04-02 삼성중공업 주식회사 수중 로봇의 주변 영상 생성 장치 및 수중 로봇의 주변 영상 생성 방법
KR101845612B1 (ko) * 2016-07-27 2018-04-06 한양대학교 산학협력단 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
KR20180056086A (ko) * 2016-11-18 2018-05-28 (주)넥스지오 터널 정보 삼차원 가시화 모델 구성방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002168952A (ja) * 2000-11-29 2002-06-14 Tokyo Shosen Univ 海底三次元構造の再構成方法
JP2014137244A (ja) * 2013-01-15 2014-07-28 Toshiba Corp 三次元合成処理システムおよび三次元合成処理方法
KR101493956B1 (ko) 2013-08-23 2015-02-16 한국해양과학기술원 다수의 2d 초음파 이미지를 이용한 대상물의 3d 형상모델 추출방법 및 그 추출장치
JP2018025551A (ja) 2016-08-04 2018-02-15 株式会社Ｈｉｅｌｅｒｏ 点群データ変換システム及びその方法
WO2018039871A1 (zh) 2016-08-29 2018-03-08 北京清影机器视觉技术有限公司 三维视觉测量数据的处理方法和装置

Also Published As

Publication number Publication date
KR20190139522A (ko) 2019-12-18

Similar Documents

Publication Publication Date Title
Cho et al. AUV-based underwater 3-D point cloud generation using acoustic lens-based multibeam sonar
Hurtós et al. Autonomous detection, following and mapping of an underwater chain using sonar
JP4352034B2 (ja) 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
CN103620442B (zh) 判断水下航行器相对于水下结构的位置和方向
JP2018177074A (ja) 自律型水中ロボット及びその制御方法
KR102074182B1 (ko) 초음파 영상데이터를 이용하여 수중 오브젝트의 3차원 형상을 구현하는 방법 및 수중로봇
Ji et al. Acoustic camera-based 3D measurement of underwater objects through automated extraction and association of feature points
Westman et al. Wide aperture imaging sonar reconstruction using generative models
Ferreira et al. Forward looking sonar mosaicing for mine countermeasures
Kim et al. High-precision underwater 3d mapping using imaging sonar for navigation of autonomous underwater vehicle
JP2022137867A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
KR102276943B1 (ko) 초음파 카메라를 이용한 수중 오브젝트의 스캔경로 설정 방법 및 수중로봇
KR101773425B1 (ko) 수중 로봇의 위치제어 방법, 위치 제어 장치 및 이를 구비한 수중 로봇
JP2022139986A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
US10304205B2 (en) Image processing apparatus, method of controlling the same, and storage medium
Hurtos et al. Sonar-based chain following using an autonomous underwater vehicle
KR101493956B1 (ko) 다수의 2d 초음파 이미지를 이용한 대상물의 3d 형상모델 추출방법 및 그 추출장치
US11204108B2 (en) Apparatus and method for sonar imaging and managing of undersea cable laying
Kim et al. Imaging sonar based navigation method for backtracking of AUV
Al-Rawi et al. Landmark detection from sidescan sonar images
JP5549109B2 (ja) 画像ソナー用解析システム、画像ソナー用解析方法、画像ソナー用解析プログラム
Pyo et al. Development of passive acoustic landmark using imaging sonar for AUV's localization
WO2023238846A1 (ja) 画像生成装置、物体識別装置、及び画像生成方法
Sung et al. Imaging-sonar-based underwater object recognition utilizing object’s yaw angle estimation with deep learning
Joe et al. Implementation of point cloud algorithm on three different installations of mechanically scanning imaging sonar for seabed mapping

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right