KR102604408B1 - 라이다 기반 지도 생성 방법 및 그 장치 - Google Patents

라이다 기반 지도 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR102604408B1
KR102604408B1 KR1020220188492A KR20220188492A KR102604408B1 KR 102604408 B1 KR102604408 B1 KR 102604408B1 KR 1020220188492 A KR1020220188492 A KR 1020220188492A KR 20220188492 A KR20220188492 A KR 20220188492A KR 102604408 B1 KR102604408 B1 KR 102604408B1
Authority
KR
South Korea
Prior art keywords
point cloud
ship
lidar
map
image
Prior art date
Application number
KR1020220188492A
Other languages
English (en)
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Application granted granted Critical
Publication of KR102604408B1 publication Critical patent/KR102604408B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

본 발명은 지도 생성 방법으로, 라이다 센서가 감지한 라이다 포인트 클라우드를 획득하는 단계; 획득된 라이다 포인트 클라우드 중에서 선박으로부터 반사되는 라이다 빔과 관련된 선박 포인트 클라우드를 선택하는 단계; 선택된 선박 포인트 클라우드의 위치에 기초하여 주위 포인트 클라우드를 선택하는 단계; 라이다 포인트 클라우드에서 주위 포인트 클라우드를 제거하여 수정 라이다 포인트 클라우드를 획득하는 단계; 및 수정 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성하는 단계;를 포함하는, 지도 생성 방법에 관한 것이다.

Description

라이다 기반 지도 생성 방법 및 그 장치{LiDAR-based map generation method and apparatus thereof}
본 발명은 해상에서의 라이다 센서를 이용한 지도 생성 방법 및 그 장치에 관한 것으로, 보다 상세하게는 획득된 라이다 포인트 클라우드 중 선박으로부터 반사되는 라이다 빔과 관련된 선박 라이다 포인트 클라우드를 제거한 후 지도를 생성하는 방법 및 그 장치에 관한 것이다.
선박의 자율 운항 등에 있어서 경로를 생성하기 위해서는 주변 환경에 대한 실시간 지도를 생성할 필요가 있다.
일반적으로 지도 생성의 경우 라이다(LiDAR) 센서를 이용하여 획득된 라이다 포인트 클라우드(Point cloud)를 이용하여 3차원 지도를 생성할 수 있다.
그러나 해상 환경에서는 라이다 센서로 획득된 포인트 클라우드를 그대로 이용하여 지도를 생성하기에는 문제가 있었다.
구체적으로, 라이다 센서로 획득된 라이다 포인트 클라우드에는 해상에서 이동하는 타 선박으로부터 반사되는 라이다 빔과 관련된 라이다 포인트들이 포함될 수 있으며, 이 경우 타 선박에 대응되는 라이다 포인트 클라우드가 함께 매핑(Mapping)되어 지도 생성의 정확도가 떨어지는 문제가 있었다.
한편, 해상 환경에서는 선박이 이동 시 물살을 가르면 이동하는 바, 선박뿐만 아니라, 선박이 발생시키는 물살로부터 반사되는 라이다 빔과 관련된 라이다 포인트들도 함께 매핑되어 지도 생성의 정확도가 떨어지는 문제가 있었다.
본 발명의 일 과제는 라이다 센서를 통해 획득된 라이다 포인트 클라우드 중 선박으로부터 반사되는 라이다 빔과 관련된 선박 포인트 클라우드를 제거하는 전처리를 수행한 후 전처리된 라이다 포인트 클라우드를 이용하여 지도를 생성하는 방법 및 그 장치를 제공하는 것에 있다.
본 발명의 다른 과제는 선박 포인트 클라우드로부터 마진 거리 이내에 위치하는 주위 포인트 클라우드도 함께 제거하는 전처리를 수행한 후 전처리된 라이다 포인트 클라우드를 이용하여 지도를 생성하는 방법 및 그 장치를 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면 지도 생성 방법에 있어서, 라이다 센서가 감지한 라이다 포인트 클라우드를 획득하는 단계; 상기 획득된 라이다 포인트 클라우드 중에서 선박으로부터 반사되는 라이다 빔과 관련된 선박 포인트 클라우드를 선택하는 단계; 상기 선택된 선박 포인트 클라우드의 위치에 기초하여 주위 포인트 클라우드를 선택하는 단계; 상기 라이다 포인트 클라우드에서 상기 주위 포인트 클라우드를 제거하여 수정 라이다 포인트 클라우드를 획득하는 단계; 및 상기 수정 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성하는 단계;를 포함하는, 지도 생성 방법이 제공될 수 있다.
본 발명의 다른 실시예에 따르면 지도 생성 장치에 있어서, 라이다 센서가 감지한 라이다 포인트 클라우드 및 라이다 매핑(Mapping) 방법을 저장하는 메모리; 및 적어도 하나의 프로세서;를 포함하며, 상기 프로세서는, 상기 라이다 포인트 클라우드 중에서 선박으로부터 반사되는 라이다 빔과 관련된 선박 포인트 클라우드를 선택하고, 상기 선택된 선박 포인트 클라우드의 위치에 기초하여 주위 포인트 클라우드를 선택하고, 상기 라이다 포인트 클라우드에서 상기 주위 포인트 클라우드를 제거하여 수정 라이다 포인트 클라우드를 획득하고, 상기 수정 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성하는, 지도 생성 장치가 제공될 수 있다.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 의하면, 라이다 센서를 통해 획득된 라이다 포인트 클라우드 중 선박으로부터 반사되는 라이다 빔과 관련된 선박 라이다 포인트 클라우드를 제거하는 전처리를 수행한 후 전처리된 라이다 포인트 클라우드를 이용하여 지도를 생성함으로써 생성된 지도의 정확도를 높일 수 있다.
본 발명에 의하면, 선박 라이다 포인트 클라우드로부터 마진 범위 이내에 위치하는 주위 포인트 클라우드도 함께 제거하는 전처리를 수행한 후 전처리된 라이다 포인트 클라우드를 이용하여 지도를 생성함으로써 생성된 지도의 정확도를 높일 수 있다.
본 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 지도 생성 시스템에 대한 도면이다.
도 2는 일 실시예에 따른 지도 생성 장치의 구성을 나타낸 블록도이다.
도 3은 일 실시예에 따른 지도 생성 방법의 순서도이다.
도 4는 일 실시예에 따른 라이다 포인트 클라우드를 나타낸 도면이다.
도 5는 일 실시예에 따른 이미지에 기초하여 생성되는 객체 종류 정보를 설명하기 위한 도면이다.
도 6, 도7 및 도 8은 일 실시예에 따른 객체 종류 정보를 이용하여 라이다 포인트 클라우드 중 선박 포인트 클라우드를 선택하는 것에 대한 도면이다.
도 9 및 도 10은 일 실시예에 따른 주위 포인트 클라우드를 선택하는 것에 대한 도면이다.
도 11은 라이다 포인트로부터 획득된 수정 라이다 포인트를 나타낸 도면이다.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.
본 명세서에서 본 발명과 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 이에 관한 자세한 설명은 필요에 따라 생략할 수도 있다.
본 발명의 일 실시예에 따르면 지도 생성 방법에 있어서, 라이다 센서가 감지한 라이다 포인트 클라우드를 획득하는 단계; 상기 획득된 라이다 포인트 클라우드 중에서 선박으로부터 반사되는 라이다 빔과 관련된 선박 포인트 클라우드를 선택하는 단계; 상기 선택된 선박 포인트 클라우드의 위치에 기초하여 주위 포인트 클라우드를 선택하는 단계; 상기 라이다 포인트 클라우드에서 상기 주위 포인트 클라우드를 제거하여 수정 라이다 포인트 클라우드를 획득하는 단계; 및 상기 수정 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성하는 단계;를 포함하는, 지도 생성 방법이 제공될 수 있다.
상기 선박 포인트 클라우드를 선택하는 단계는, 상기 라이다 센서와 시야각이 적어도 부분적으로 오버랩되는 시야각을 갖는 카메라 모듈에 의해 얻어지는 이미지를 획득하는 단계; 이미지에 반영된 객체의 객체 정보를 산출하는 인공 신경망 및 상기 이미지를 이용하여 상기 이미지 상에서 상기 선박이 반영된 선박 영역을 판단하는 단계; 및 상기 이미지 상에서 상기 선박 영역의 위치를 고려하여 상기 라이다 포인트 클라우드 중에서 상기 선박 포인트 클라우드를 선택하는 단계;를 포함할 수 있다.
상기 이미지 상에서 상기 선박 영역의 위치는, 상기 이미지 상에서 상기 선박 영역에 대응되는 픽셀들 중 적어도 하나의 픽셀의 위치일 수 있다.
상기 주위 포인트 클라우드를 선택하는 단계는, 상기 선박 포인트 클라우드의 폭을 산출하는 단계; 상기 폭에 기설정된 마진 값을 곱한 마진 거리를 산출하는 단계; 및 상기 라이다 포인트 클라우드 중에서 상기 선박 포인트 클라우드로부터 상기 마진 거리 이내에 위치하는 상기 주위 포인트 클라우드를 선택하는 단계;를 포함할 수 있다.
상기 주위 포인트 클라우드를 선택하는 단계는, 상기 선박 포인트 클라우드의 중심 위치를 판단하는 단계; 상기 선박 포인트 클라우드의 폭을 산출하는 단계; 상기 폭에 기설정된 마진 값을 곱한 마진 거리를 산출하는 단계; 및 상기 라이다 포인트 클라우드 중에서 상기 중심 위치로부터 상기 마진 거리 이내에 위치하는 상기 주위 라이다 포인트 클라우드를 선택하는 단계;를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 지도 생성 장치에 있어서, 라이다 센서가 감지한 라이다 포인트 클라우드 및 라이다 매핑(Mapping) 방법을 저장하는 메모리; 및 적어도 하나의 프로세서;를 포함하며, 상기 프로세서는, 상기 라이다 포인트 클라우드 중에서 선박으로부터 반사되는 라이다 빔과 관련된 선박 포인트 클라우드를 선택하고, 상기 선택된 선박 포인트 클라우드의 위치에 기초하여 주위 포인트 클라우드를 선택하고, 상기 라이다 포인트 클라우드에서 상기 주위 포인트 클라우드를 제거하여 수정 라이다 포인트 클라우드를 획득하고, 상기 수정 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성하는, 지도 생성 장치가 제공될 수 있다.
상기 메모리는, 상기 라이다 센서와 시야각이 적어도 부분적으로 오버랩되는 시야각을 갖는 카메라 모듈에 의해 얻어지는 이미지 및 이미지에 반영된 객체의 객체 정보를 산출하는 인공 신경망을 저장하며, 상기 프로세서는, 상기 인공 신경망 및 상기 이미지를 이용하여 상기 이미지 상에서 상기 선박이 반영된 선박 영역을 판단하고, 상기 이미지 상에서 상기 선박 영역의 위치를 고려하여 상기 라이다 포인트 클라우드 중에서 상기 선박 포인트 클라우드를 선택할 수 있다.
상기 이미지 상에서 상기 선박 영역의 위치는, 상기 이미지 상에서 상기 선박 영역에 대응되는 픽셀들 중 적어도 하나의 픽셀의 위치일 수 있다.
상기 메모리는, 기설정된 마진 값을 저장하며, 상기 프로세서는, 상기 선박 포인트 클라우드의 폭을 산출하고, 상기 폭에 상기 기설정된 마진 값을 곱한 마진 거리를 산출하고, 상기 라이다 포인트 클라우드 중에서 상기 선박 포인트 클라우드로부터 상기 마진 거리 이내에 위치하는 상기 주위 포인트 클라우드를 선택할 수 있다.
상기 메모리는, 기설정된 마진 값을 저장하며,상기 프로세서는, 상기 선박 포인트 클라우드의 중심 위치를 판단하고, 상기 선박 포인트 클라우드의 폭을 산출하고, 상기 폭에 상기 기설정된 마진 값을 곱한 마진 거리를 산출하고, 상기 라이다 포인트 클라우드 중에서 상기 중심 위치로부터 상기 마진 거리 이내에 위치하는 상기 주위 라이다 포인트 클라우드를 선택할 수 있다.
이하에서는 일 실시예에 따른 지도 생성 방법 및 그 장치에 대해 설명한다.
도 1은 일 실시예에 따른 지도 생성 시스템(10)에 대한 도면이다.
일 실시예에 따른 지도 생성 시스템(10)은 라이다 센서로부터 획득된 라이다 포인트 클라우드 및 카메라 모듈로부터 획득된 이미지를 이용하여 정확도 높은 3차원 지도 및/또는 2차원 지도를 생성할 수 있다.
구체적으로, 지도 생성 시스템(10)은 라이다 센서의 시야각과 적어도 부분적으로 오버랩되는 카메라 모듈로부터 획득된 이미지를 이용하여 라이다 포인트 클라우드 중 선박으로부터 반사되는 라이다 빔과 관련된 선박 포인트 클라우드를 선택하고, 선박 포인트 클라우드의 위치에 기초하여 주위 포인트 클라우드를 선택할 수 있다. 지도 생성 시스템(10)은 라이다 포인트 클라우드 중 주위 포인트 클라우드를 제외한 수정 라이다 포인트 클라우드를 획득하고, 획득한 수정 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성할 수 있다.
본 출원에 의해 개시되는 방법에 따라 생성된 3차원 지도는 지도 생성에 노이즈가 되는 선박으로부터 반사된 선박 라이다 포인트 클라우드 및 선박이 발생시키는 물살 등으로부터 반사된 주위 포인트 클라우드가 제거되어 있는 수정 포인트 클라우드에 의해 생성되는 바, 최초 획득된 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성하는 것보다 정확도가 더 높을 수 있다. 예를 들어, 본 출원에 의해 개시되는 방법에 따라 생성된 3차원 지도는 고정되어 있는 지형 또는 물체를 반영하되, 일시적으로 탐지되는 이동 중인 객체 또는 수면 상에서 이동 중인 객체에 의해 생성되는 물살은 반영하지 않을 수 있다.
한편, 2차원 지도는 생성된 3차원 지도를 차원 축소하여 생성될 수 있다. 정확도 높은 3차원 지도를 이용하는 바, 생성된 2차원 지도도 정확도가 높을 수 있다.
보다 구체적으로 도 1을 참조하면, 지도 생성 시스템(10)은 지도 생성 장치(100), 라이다 센서(200) 및 카메라 모듈(300)을 포함할 수 있다.
일 실시예에 따른 라이다 센서(200) 및 카메라 모듈(300)은 항만 또는 선박에 배치되어 주위 객체 또는 해상을 감지하거나 촬상할 수 있다. 이 경우, 라이다 센서(200)의 시아갹은 카메라 모듈(300)의 시야각과 적어도 일부 오버랩될 수 있다. 한편, 일 실시예에 따르는 지도 생성 시스템(10)는 복수개의 라이다 센서(200)를 포함할 수 있으며, 복수개의 카메라 모듈(300)을 포함할 수 있다.
일 실시예에 따른 지도 생성 장치(100)는 라이다 센서(200)를 통해 라이다 포인트 클라우드를 획득할 수 있으며, 카메라 모듈(300)을 통해 이미지를 획득할 수 있다. 지도 생성 장치(100)는 획득된 데이터들을 이용하여 지도를 생성할 수 있다. 구체적인 지도 생성 방법은 후술한다.
지도 생성 장치(100)는 선박에 배치될 수 있다. 그러나 이에 한정되는 것은 아니며, 지도 생성 장치(100)는 관제 센터 등 항만 시설에 배치될 수도 있다.
지도 생성 장치(100)는 운항 경로를 결정하는 데에 사용될 수 있다. 지도 생성 장치(100)는 생성된 지도를 운항 경로를 결정하는 장치로 전송할 수 있다.
예를 들어, 지도 생성 장치(100)가 선박에 설치되어 있고 운항 경로를 결정하는 장치가 선박에 설치되어 있는 경우, 생성된 지도는 지도 생성 장치(100)로부터 선박에 설치된 운항 경로를 결정하는 장치로 전송될 수 있다.
다른 예를 들어, 지도 생성 장치(100)가 선박의 외부(예를 들어, 항만 시설, 관제 센터 등)에 설치되어 있고 운항 경로를 결정하는 장치가 선박에 설치되어 있는 경우, 생성된 지도는 항만 시설 또는 관제 센터로부터 선박으로 전송될 수 있다.
또 다른 예를 들어, 지도 생성 장치(100)와 운항 경로를 결정하는 장치가 모두 선박의 외부에 설치되어 있는 경우, 지도 생성 장치(100)는 생성된 지도를 운항 경로를 결정하는 장치로 전송하고, 운항 경로를 결정하는 장치에 의해 결정된 운항 경로는 최종적으로 상기 선박으로 전송될 수 있다.
도 2는 일 실시예에 따른 지도 생성 장치(100)의 구성을 나타낸 블록도이다.
도 2를 참조하면, 지도 생성 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.
메모리(110)는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 예를 들어, 메모리(110)는 후술할 프로세서(120)의 동작을 위한 인스트럭션, 객체 종류 정보 생성 방법, 라이다 센서가 설치된 위치 및 각도 정보, 카메라 모듈이 설치된 위치 및 각도 정보 및 라이다 매핑(Mapping) 방법 등을 저장할 수 있다.
메모리(110)는 외부로부터 획득된 라이다 포인트 클라우드 데이터 및 이미지 데이터를 저장할 수 있다. 라이다 포인트 클라우드 데이터는 라이다 센서(200)로부터 획득한 데이터일 수 있으며, 이미지 데이터는 카메라 모듈(300)로부터 획득한 데이터일 수 있다.
메모리(110)는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의 (tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.
프로세서(120)는 메모리(110)에 저장된 인스트럭션에 따라 동작할 수 있으며, 이미지를 이용하여 라이다 포인트 클라우드 중에서 선박 라이다 포인트를 선택할 수 있다. 프로세서(120)는 선박 라이다 포인트의 위치에 기초하여 주위 라이다 포인트를 선택할 수 있으며, 라이다 포인트 클라우드 중에서 주위 라이다 포인트 클라우드를 제거하여 수정 라이다 포인트를 획득할 수 있다. 프로세서(120)는 수정 라이다 포인트 및 라이다 매핑 방법을 이용하여 3차원 지도를 생성할 수 있으며, 생성된 3차원 지도를 차원 축소하여 2차원 지도를 생성할 수도 있다.
이하에서 본 발명의 실시예로 개시되는 지도 생성의 각종 동작이나 단계들은 별도의 언급이 없으면 지도 생성 장치(100)의 프로세서(120)에서 수행되거나 프로세서(120)의 제어에 의해 수행되는 것으로 해석될 수 있다. 프로세서(120)의 구체적인 동작 방법은 후술한다.
한편, 프로세서(120)는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 및 이들의 조합 등으로 구현될 수 있다.
이하에서는 일 실시예에 따른 지도 생성 방법에 대해 설명한다.
도 3은 일 실시예에 따른 지도 생성 방법의 순서도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 지도 생성 방법은, 라이다 포인트 클라우드를 획득(S310)하고, 라이다 포인트 클라우드 중에서 선박 포인트 클라우드를 선택(S320)하고, 선박 포인트 클라우드의 위치에 기초하여 주위 포인트 클라우드를 선택(S330)하고, 라이다 포인트 클라우드에서 주위 포인트 클라우드를 제거(S340)하고, 수정 라이다 포인트를 이용하여 3차원 지도를 생성(S350)하고, 3차원 지도를 이용하여 2차원 지도를 생성(S360)하는 과정들을 포함한다.
라이다 포인트 클라우드는 라이다 센서에 의해 획득될 수 있다. 라이다 센서는 항만 또는 선박에 설치되어 주위 객체 또는 해상을 감지하는 센서이다.
도 4는 일 실시예에 따른 라이다 포인트 클라우드를 나타낸 도면이다.
도 4는 라이다 포인트 클라우드를 2차원 도면으로 표시하였으나, 라이다 포인트 클라우드는 3차원 데이터를 의미할 수 있다. 도 4에서 점선으로 표시된 항만 및 선박 이미지는 도 4의 이해를 돕기 위함이며, 라이다 포인트 클라우드는 이미지와 별개로 존재할 수 있다.
도 4를 참조하면, 획득된 라이다 포인트 클라우드(400)는 시야각(Field Of View, FOV) 내에 위치하는 객체들로부터 반사되는 라이다 빔에 의해 생성된다. 포인트 클라우드 각각은 그에 대응되는 위치에 관련된 정보(예를 들어, 라이다 센서로부터의 거리 및 대응되는 시야각 내의 각도)를 가지고 있으며, 이에 따라 3차원 좌표계에 포인트 클라우드 각각이 표시될 수 있다.
객체 중에는 지도 생성에 필요한 항만 형태, 항만 시설 및 해상 구조물뿐만 아니라, 지도 생성에 노이즈가 되는 선박 또는 선박이 발생시키는 물살 등도 포함될 수 있다. 이에 따라, 라이다 센서의 시야각 내에 선박 또는 선박이 발생시키는 물살 등이 위치한다면, 선박 또는 선박이 발생시키는 물살에 의해 라이다 빔이 반사될 수 있다. 즉, 선박 또는 선박이 발생시키는 물살에 의해 라이다 포인트 클라우드가 생성될 수 있다. 만약, 라이다 센서에 의해 획득되는 모든 포인트 클라우드를 이용하여 3차원 지도를 생성하게 되면, 지도 생성에 노이즈가 되는 선박 또는 선박이 발생시키는 물살 등도 3차원 지도에 반영되기 때문에, 선박 또는 선박이 발생시키는 물살에 의해 생성되는 포인트 클라우드를 선택적으로 제거되어야 할 필요가 있다.
한편, 도 4를 참조하면, 전술한 바와 같이 선박 및 선박이 발생시키는 물살에 대응되는 포인트 클라우드를 선택적으로 제거해야 할 필요가 있으나, 획득된 라이다 포인트 클라우드(400) 자체로는 각 영역이 어떤 객체로부터 반사된 것인지 판단하기 어렵다는 현실적인 문제점이 존재한다. 이에 따라, 선박 및 선박이 발생시키는 물살에 대응되는 포인트 클라우드들을 선별하기 위하여, 특별한 방법이 도입되어야 한다.
본 출원에 의해 개시되는 방법에서는, 선박 및 선박이 발생시키는 물살에 대응되는 포인트 클라우드들을 선별하기 위하여, 라이다 센서와 시야각이 적어도 부분적으로 오버랩되는 카메라 모듈로부터 획득한 이미지를 이용하여 선박으로부터 반사되는 라이다 빔과 관련된 라이다 포인트 클라우드인 선박 포인트 클라우드를 선택하는 방법이 제안된다.
이하에서는 라이다 포인트 클라우드 중 선박 포인트 클라우드를 선택하는 방법에 대해 보다 구체적으로 설명한다.
일 실시예에 따르면, 선박 포인트 클라우드는 객체 종류 정보를 이용하여 라이다 포인트 클라우드 중에서 선택될 수 있다. 객체 종류 정보는 이미지에 기초하여 생성될 수 있다. 객체 종류 정보는 이미지에 포함된 객체의 종류에 대한 정보를 반영할 수 있다. 객체 종류 정보는 이미지에 반영된 객체에 대응하고, 객체를 지시하는 데이터를 포함할 수 있다. 객체 종류 정보는 이미지에 반영된 객체의 이미지 내에서의 위치를 고려하여 이미지에 반영될 수 있다.
도 5는 일 실시예에 따른 이미지에 기초하여 생성되는 객체 종류 정보를 설명하기 위한 도면이다.
도 5의 (a)는 카메라 모듈이 촬영한 이미지(510)이고, (b)는 이미지(510)에 기초하여 생성된 객체 종류 정보의 일 예인 세그멘테이션 정보를 시각화한 세그멘테이션 이미지(520)이고, (c)는 이미지(510)에 기초하여 생성된 객체 종류 정보의 다른 예인 디텍션 정보를 시각화한 디텍션 이미지(530)이다.
일 실시예에 의하면, 지도 생성 장치는 이미지(510)에 기초하여 세그멘테이션 정보를 생성할 수 있다. 세그멘테이션 정보는 복수의 세그멘테이션 데이터를 포함할 수 있다. 복수의 세그멘테이션 데이터 각각은 이미지 프레임(510)의 각 픽셀에 대응할 수 있다. 복수의 세그멘테이션 데이터 각각은 이에 대응하는 픽셀이 나타내는 객체의 종류를 반영할 수 있다. 이에 따라, 세그멘테이션 정보는 객체가 반영된 이미지(510) 내에서의 객체의 위치를 반영할 수 있다. 세그멘테이션 정보는 선박에 대응하는 세그멘테이션 데이터, 안벽에 대응하는 세그멘테이션 데이터, 바다 또는 해수면에 대응하는 세그멘테이션 데이터, 지형에 대응하는 세그멘테이션 데이터 및 하늘에 대응하는 세그멘테이션 데이터 중 적어도 하나를 포함할 수 있다.
세그멘테이션 정보는 시각화될 수 있다. 예를 들어, 세그멘테이션 정보는 복수의 세그멘테이션 데이터가 반영하는 객체의 종류에 따라 별도의 색상 등으로 구분되도록 표현되는 세그멘테이션 이미지(520)의 형태로 시각화될 수 있다. 이 경우, 도 5의 (b)를 참조하면, 세그멘테이션 이미지(520)에는 선박에 대응하는 영역(521), 안벽에 대응하는 영역(522), 바다 또는 해수면에 대응하는 영역(523), 지형에 대응하는 영역(524) 및 하늘에 대응하는 영역(525)이 반영될 수 있다.
다른 실시예에 의하면, 지도 생성 장치는 이미지(510)에 기초하여 디텍션 정보를 생성할 수 있다. 디텍션 정보는 하나 이상의 디텍션 데이터를 포함할 수 있다. 디텍션 데이터 각각은 이미지(510)에 반영된 객체에 대응할 수 있다. 디텍션 데이터 각각은 이에 대응하는 객체의 종류를 반영할 수 있다. 디텍션 데이터 각각은 이에 대응하는 객체의 이미지(510) 내에서의 위치를 반영할 수 있다. 디텍션 정보는 선박에 대응하는 디텍션 데이터, 안벽에 대응하는 디텍션 데이터, 바다 또는 해수면에 대응하는 디텍션 데이터, 지형에 대응하는 디텍션 데이터 및 하늘에 대응하는 디텍션 데이터 중 적어도 하나를 포함할 수 있다.
디텍션 정보는 시각화될 수 있다. 예를 들어, 디텍션 정보는 디텍션 데이터가 반영하는 객체의 이미지(510) 내에서의 위치가 바운딩 박스 형태로 표현되는 디텍션 이미지(530)의 형태로 시각화될 수 있다. 도 5의 (c)를 참조하면, 디텍션 이미지(530)에는 선박에 대응하는 디텍션 정보(531)가 이미지(510)에 반영된 선박의 위치에 표현될 수 있다.
지도 생성 장치는 인공 신경망을 이용하여 객체 종류 정보를 생성할 수 있다. 인공 신경망의 예로는 CNN(Convolution Neural Network), YOLO(You Only Look Once), SSD(Single Shot MultiBox Detector) 등이 있으나 이에 한정되는 것은 아니다. 인공 신경망은 지도 학습(Supervised learning), 비지도 학습(Unsupervised learning), 강화 학습(Reinforcement learning), 모방 학습(Imitation learning) 등 다양한 방법을 통해 학습될 수 있다. 또한, 지도 생성 장치는 반드시 인공 신경망을 이용하여 객체 종류 정보를 생성해야 하는 것은 아니며 이 외의 방법으로 객체 종류 정보를 생성할 수도 있다.
지도 생성 장치는 객체 종류 정보를 이용하여 라이다 포인트 클라우드에 포함된 하나 이상의 라이다 포인트들에 대응하는 객체의 종류를 식별할 수 있다. 예를 들어, 지도 생성 장치는 라이다 포인트 클라우드를 이미지 평면 상에 투영시키고, 라이다 포인트 클라우드에 포함된 하나 이상의 라이다 포인트들 각각이 이미지 평면 상에 투영되는 지점이 어떠한 종류의 객체에 대응하는지를 객체 종류 정보를 이용하여 판단함으로써 라이다 포인트들 각각에 대응하는 객체의 종류를 식별할 수 있다.
지도 생성 장치는 식별한 결과에 기초하여 라이다 포인트 클라우드 중 하나 이상의 선박 포인트들을 결정할 수 있다. 본 명세서에 있어서, 선박 포인트 혹은 선박 포인트 클라우드라 함은 라이다 포인트 클라우드들 중에 선박에 의해 반사되어 생성된 포인트 클라우드를 의미한다. 지도 생성 장치는 카메라 모듈에 의해 생성된 이미지에 대한 세그멘테이션 결과 등을 이용하여, 라이다 포인트 클라우드 중 선박에 대응하는 것으로 식별된 하나 이상의 라이다 포인트들을 하나 이상의 선박 포인트들로 선택할 수 있다. 선택된 선박 포인트들은 선박 포인트 클라우드를 형성할 수 있다.
도 6, 도7 및 도 8은 일 실시예에 따른 객체 종류 정보를 이용하여 라이다 포인트 클라우드 중 선박 포인트 클라우드를 선택하는 것에 대한 도면이다.
도 6을 참조하면, 지도 생성 장치는 도 4에 도시된 획득된 라이다 포인트 클라우드(410)를 이미지(610)가 반영된 이미지 평면(600) 상에 투영시킬 수 있다. 이에 따라, 지도 생성 장치는 투영된 라이다 포인트 클라우드(620)를 획득할 수 있다. 이 경우 카메라 모듈로부터 이미지를 획득한 시점은 라이다 센서로부터 라이다 포인트 클라우드를 획득한 시점과 동일할 수 있다.
도 7을 참조하면, 지도 생성 장치는 세그멘테이션 정보를 이용하여 투영된 라이다 포인트 클라우드(710) 중에서 선박 포인트 클라우드(730)를 선택할 수 있다.
구체적으로, 지도 생성 장치는 이미지(610)에 대해 이미지 세그멘테이션을 수행하여 세그멘테이션 정보를 획득할 수 있으며, 획득한 세그멘테이션 정보를 이용하여 라이다 포인트 클라우드(710)에 대응하는 객체의 종류를 식별할 수 있다. 지도 생성 장치는 식별한 결과에 기초하여 선박에 대응하는 라이다 포인트들을 선박 포인트 클라우드(730)로 선택할 수 있다.
한편, 지도 생성 장치는 세그멘테이션 정보를 이용하여 이미지 평면(700) 상에서 선박이 반영된 위치(720)를 판단할 수 있으며, 선박이 반영된 위치(720)에 대응되는 라이다 포인트들을 선박 포인트 클라우드(730)로 선택할 수도 있다.
한편, 지도 생성 장치는, 타 선박뿐만 아니라 자선에 대해서도 대응되는 라이다 포인트들을 선박 포인트 클라우드로 선택할 수 있다.
도 8을 참조하면, 지도 생성 장치는 디텍션 정보를 이용하여 투영된 라이다 포인트 클라우드(810) 중에서 선박 포인트 클라우드(830)를 선택할 수 있다.
구체적으로, 지도 생성 장치는 이미지(610)에 대해 객체 디텍션을 수행하여 디텍션 정보를 획득할 수 있으며, 획득한 디텍션 정보를 이용하여 라이다 포인트 클라우드(810)에 대응하는 객체의 종류를 식별할 수 있다. 지도 생성 장치는 식별한 결과에 기초하여 선박에 대응되는 라이다 포인트들을 선박 포인트 클라우드(830)로 선택할 수 있다.
한편, 지도 생성 장치는 디텍션 정보를 이용하여 이미지 평면(800) 상에서 선박이 반영된 위치(820)를 판단할 수 있으며, 선박이 반영된 위치(820)에 대응되는 라이다 포인트들을 선박 포인트 클라우드(830)로 선택할 수도 있다.
한편, 지도 생성 장치는, 타 선박뿐만 아니라 자선에 대해서도 대응되는 라이다 포인트들을 선박 포인트 클라우드로 선택할 수 있다.
도 8의 디텍션 정보를 이용하는 실시 예와 도 7의 세그멘테이션 정보를 이용하는 실시 예를 비교하면, 세그멘테이션 정보는 이미지에 포함된 객체를 픽셀별로 구분하는 반면, 디텍션 정보는 바운딩 박스 형태로 객체를 구분하므로, 실제로는 객체에 대응하지 않는 라이다 포인트(840)도 객체 라이다 포인트로 선택될 수 있다. 이에 따라, 지도 생성 장치는 세그멘테이션 정보를 이용함으로써 디텍션 정보를 이용하는 것보다 더 정확하게 선박 포인트 클라우드를 선택할 수 있다.
한편, 지도 생성 장치는 이미지를 3차원으로 차원 확장하여 선박 포인트 클라우드를 선택할 수도 있다.
구체적으로, 지도 생성 장치는 이미지에 기초하여 객체 종류 정보를 생성하고, 객체 종류 정보를 이용하여 이미지 상에서 선박이 반영된 선박 영역을 판단할 수 있다.
지도 생성 장치는 이미지를 3차원으로 차원 확장한 후 판단된 선박 영역에 대응되는 3차원 상의 선박 공간을 결정할 수 있다. 차원 확장은 카메라 모듈의 시야 방향을 따라 수행될 수 있다. 차원 확장된 이미지는 라이다 포인트 클라우드가 위치하는 3차원 공간과 적어도 부분적으로 오버랩될 수 있다.
지도 생성 장치는 결정된 선박 공간 내에 위치한 라이다 포인트 클라우드를 선박 포인트 클라우드로 선택할 수 있다.
한편, 지도 생성 장치는 라이다 센서와 카메라 모듈 간의 오버랩 되는 시야 각을 판단하기 위해 또는 차원 확장된 이미지와 라이다 포인트 클라우드 간의 오버랩되는 3차원 공간을 판단하기 위해 카메라 모듈이 설치된 위치 및 각도 정보, 라이다 센서가 설치된 위치 및 각도 정보 및 카메라 모듈과 라이다 센서의 상대적인 위치 및 각도 정보를 이용할 수 있다.
지도 생성 장치는 선택된 선박 포인트 클라우드의 위치에 기초하여 주위 포인트 클라우드를 선택할 수 있다. 선택된 주위 포인트 클라우드는 선박 포인트 클라우드를 포함할 수 있다.
도 9 및 도 10은 일 실시예에 따른 주위 포인트 클라우드를 선택하는 것에 대한 도면이다.
도 9 및 도 10에는 이미지가 함께 반영된 평면(900, 1000)이 도시되어 있으나, 이는 이해를 돕기 위함이며, 실제 라이다 포인트 클라우드는 이미지가 반영되지 않은 3차원 상에 배치될 수 있다. 또한, 선박 포인트 클라우드 및 주위 포인트 클라우드는 이미지 투영 없이 3차원 상의 라이다 포인트 클라우드 만으로 식별될 수 있다.
일 실시예인 도 9를 참조하면, 지도 생성 장치는 주위 포인트 클라우드(950)를 선택하기 위해 선박 포인트 클라우드의 폭(910)을 산출할 수 있다. 폭(910)은 선박 포인트 클라우드의 3차원 상의 폭을 의미할 수 있다. 폭(910)은 선박 포인트 클라우드의 가장 긴 폭을 의미할 수 있으며, 이에 한정되는 것은 아니고, 폭들의 평균 또는 다른 통계값을 의미할 수도 있다.
지도 생성 장치는 산출된 폭(910)에 기설정된 제1 값을 곱하여 제1 마진 거리(920)를 산출할 수 있다. 일 예로, 제1 값은 0.2 내지 0.3으로 설정될 수 있으나, 전술한 범위에 한정되는 것은 아니다.
지도 생성 장치는 선박 포인트 클라우드의 각 포인트(930)로부터 제1 마진 거리(920) 이내에 위치한 라이다 포인트를 주위 포인트(940)로 선택할 수 있다. 선택된 주위 포인트(940)들은 주위 포인트 클라우드(950)를 형성할 수 있다. 즉, 지도 생성 장치는 라이다 포인트 클라우드 중에서 선박 포인트 클라우드로부터 제1 마진 거리(920) 이내에 위치한 라이다 포인트 클라우드를 주위 포인트 클라우드(950)로 선택할 수 있다.
도 9와 관련하여, 도면 상 선박이 반영된 영역의 위쪽에 위치한 포인트들도 선박 포인트(930)로부터 제1 마진 거리(920) 이내에 위치한 것으로 보일 수도 있다. 그러나 이는 도 9가 2차원으로 표시되었기 때문이며, 선박이 반영된 영역의 위쪽에 위치한 포인트들은 3차원 상에서 선박 포인트(930)로부터 제1 마진 거리(920)보다 먼 해상에 위치한 포인트일 수 있다. 이에 따라, 도 9에서 선박이 반영된 영역의 위쪽에 위치한 포인트들은 선박 포인트(930)로부터 제1 마진 거리(920) 이내에 위치하지 않아 주위 포인트(940)로 선택되지 않았다.
다른 실시예인 도 10을 참조하면, 지도 생성 장치는 선박 포인트 클라우드의 중심(1020)을 더 판단할 수 있다. 중심(1020)은 선박 포인트 클라우드의 3차원 상의 중심을 의미할 수 있다.
지도 생성 장치는 산출된 폭(1010)에 기설정된 제2 값을 곱하여 제2 마진 거리(1030)를 산출할 수 있다. 일 예로, 제2 값은 0.7 내지 0.8로 설정될 수 있으나, 전술한 범위에 한정되는 것은 아니다.
지도 생성 장치는 선박 포인트 클라우드의 중심(1020)으로부터 제2 마진 거리(1030) 이내에 위치한 라이다 포인트를 주위 포인트(1040)로 선택할 수 있다. 선택된 주위 포인트들은 주위 포인트 클라우드(1050)를 형성할 수 있다. 즉, 지도 생성 장치는 라이다 포인트 클라우드 중에서 선박 포인트 클라우드의 중심(1020)으로부터 제2 마진 거리(10300) 이내에 위치한 라이다 포인트 클라우드를 주위 포인트 클라우드(1050)로 선택할 수 있다.
한편, 지도 생성 장치는 주위 포인트(1040)를 선택하기 위해 선박 포인트 클라우드의 3차원 상의 중심이 아닌 임의의 한 점을 선택할 수 있다. 임의의 한 점은 선박의 선수에 대응되는 포인트 클라우드의 중심 또는 선미에 대응되는 포인트 클라우드의 중심일 수 있으며, 이에 한정되는 것은 아니다.
도 10과 관련하여, 도면 상 선박이 반영된 영역의 위쪽에 위치한 포인트들도 중심(1020)으로부터 제2 마진 거리(1030) 이내에 위치한 것으로 보일 수도 있다. 그러나 이는 도 10이 2차원으로 표시되었기 때문이며, 선박이 반영된 영역의 위쪽에 위치한 포인트들은 3차원 상에서 중심(1020)으로부터 제2 마진 거리(1030)보다 먼 해상에 위치한 포인트일 수 있다. 이에 따라, 도 10에서 선박이 반영된 영역의 위쪽에 위치한 포인트들은 중심(1020)으로부터 제2 마진 거리(1030) 이내에 위치하지 않아 주위 포인트(1040)로 선택되지 않았다.
한편, 지도 생성 장치는 마진 거리를 산출하기 위해 선박 포인트 클라우드의 폭뿐만 아니라 선박 포인트 클라우드의 깊이 및/또는 높이를 이용할 수도 있다.
구체적으로, 지도 생성 장치는 폭, 깊이 및 높이 중 적어도 하나 또는 이들의 조합에 기설정된 값을 곱하여 마진 거리를 산출할 수 있다.
여기서 깊이는 선박 포인트 클라우드 중 거리가 가장 가까운 선박 포인트까지의 거리와 거리가 가장 먼 선박 포인트 까지의 거리의 차이를 의미할 수 있다.
여기서 높이는 선박 포인트 클라우드의 3차원 상의 높이를 의미할 수 있다. 높이는 선박 포인트 클라우드의 높이 중 가장 높은 높이를 의미할 수 있으며, 이에 한정되는 것은 아니고, 높이들의 평균 또는 다른 통계값을 의미할 수도 있다.
여기서 기설정된 값은 제1 값 또는 제2 값일 수 있으며, 마진 거리를 산출하기 위해 폭, 깊이 및 높이 중 어느 것을 이용하는지 또는 주위 포인트 클라우드를 선택하기 위해 어떤 방법이 이용되는지에 따라 제1 값 및 제2 값과 상이할 수도 있다.
도 11은 라이다 포인트로부터 획득된 수정 라이다 포인트를 나타낸 도면이다.
도 11을 참조하면, 지도 생성 장치는 라이다 포인트 클라우드 중에서 선택된 주위 포인트 클라우드(1120)를 제어하여 수정 라이다 포인트 클라우드(1110)를 획득할 수 있다.
구체적으로, 지도 생성 장치는 실제 선박이 차지하는 영역보다 넓은 범위에 대한 주위 포인트 클라우드를 선택하고, 주위 포인트 클라우드를 라이다 포인트 클라우드에서 제거하여 수정 라이다 포인트 클라우드를 획득할 수 있다. 이에 따라, 수정 라이다 포인트 클라우드에는 선박으로부터 반사되는 라이다 빔과 관련된 라이다 포인트 클라우드뿐만 아니라, 선박이 발생시키는 물살 등으로부터 반사되는 라이다 빔과 관련된 라이다 포인트 클라우드도 함께 제거되어 있을 수 있다. 즉, 수정 라이다 포인트 클라우드는 노이즈가 제거된 라이다 포인트일 수 있다.
지도 생성 장치는 수정 라이다 포인트를 이용하여 3차원 지도를 생성할 수 있다. 지도 생성 장치는 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성하기 위해 LOAM(LiDAR Odometry And Mapping) 알고리즘 또는 CT-ICP(Continuous Time-Iterative Closest Point) 알고리즘 등을 이용할 수 있으며, 이에 한정되는 것은 아니고, 3차원 지도를 생성하기 위해 다양한 방식의 알고리즘을 이용할 수 있다.
지도 생성 장치는 3차원 지도를 생성하기 위해 노이즈가 제거된 수정 라이다 포인트를 이용하는 바, 정확도 높은 3차원 지도를 생성할 수 있다.
한편, 지도 생성 장치는 수정 포인트 클라우드에 patchwork 알고리즘을 더 적용하여 추가 수정된 포인트 클라우드를 획득할 수도 있다. 이 경우, 추가 수정된 포인트 클라우드는 해수면에 의한 노이즈도 제거되어 있을 수 있다. 이에 따라, 지도 생성 장치가 추가 수정된 포인트 클라우드를 이용하여 3차원 지도를 생성할 경우, 지도의 정확도를 더 높일 수 있다.
지도 생성 장치는 생성된 3차원 지도를 2차원으로 축소하여 2차원 지도를 생성할 수도 있다.
2차원 지도는 정확도 높은 3차원 지도를 이용하여 생성되는 바, 생성된 2차원 지도도 정확도가 높을 수 있다. 이에 따라, 선박의 운항을 위한 경로 생성에 있어서 정확도 높은 2차원 지도를 이용할 수 있는 효과가 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 및 롬(Read Only Memory, ROM), 램(Random Access Memory, RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 상술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 또한, 본 문서에서 설명된 실시예들은 한정되게 적용될 수 있는 것이 아니라, 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다. 나아가, 각 실시예를 구성하는 단계들은 다른 실시예를 구성하는 단계들과 개별적으로 또는 조합되어 이용될 수 있다.
10: 지도 생성 시스템
100: 지도 생성 장치
200: 라이다 센서
300: 카메라 모듈

Claims (11)

  1. 라이다 센서가 감지한 라이다 포인트 클라우드를 획득하는 단계;
    상기 라이다 센서의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 카메라 모듈에 의해 얻어지는 제1 이미지를 획득하는 단계;
    상기 제1 이미지를 이용하여 상기 획득된 라이다 포인트 클라우드 중에서 선박으로부터 반사되는 라이다 빔과 관련된 선박 포인트 클라우드를 선택하는 단계;
    상기 선박 포인트 클라우의 폭을 산출하는 단계;
    상기 폭에 기설정된 마진 값을 곱한 마진 거리를 산출하는 단계;
    상기 선박의 움직임으로 인해 발생된 물결을 함께 제거하기 위해 상기 라이다 포인트 클라우드 중에서 상기 선박 포인트 클라우드 및 상기 선박 포인트 클라우드의 라이다 포인트로부터 상기 마진 거리 이내에 위치하는 라이다 포인트를 포함하는 방해 포인트 클라우드를 선택하는 단계;
    상기 라이다 포인트 클라우드에서 상기 방해 포인트 클라우드를 제거하여 수정 라이다 포인트 클라우드를 획득하는 단계; 및
    상기 수정 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성하는 단계;를 포함하는,
    지도 생성 방법.
  2. 제1항에 있어서,
    상기 선박 포인트 클라우드를 선택하는 단계는,
    입력 이미지에 반영된 객체의 객체 정보를 산출하는 인공 신경망 및 상기 제1 이미지를 이용하여 상기 제1 이미지 상에서 상기 선박이 반영된 선박 영역을 판단하는 단계; 및
    상기 제1 이미지 상에서 상기 선박 영역의 위치를 고려하여 상기 라이다 포인트 클라우드 중에서 상기 선박 포인트 클라우드를 선택하는 단계;를 포함하는.
    지도 생성 방법.
  3. 제2항에 있어서,
    상기 제1 이미지 상에서 상기 선박 영역의 위치는,
    상기 제1 이미지 상에서 상기 선박 영역에 대응되는 픽셀들 중 적어도 하나의 픽셀의 위치인,
    지도 생성 방법.
  4. 삭제
  5. 삭제
  6. 라이다 센서;
    상기 라이다 센서의 시야각과 적어도 부분적으로 오버랩되는 시야각을 갖는 카메라 모듈;
    상기 라이다 센서가 감지한 라이다 포인트 클라우드, 상기 카메라 모듈이 촬영한 제1 이미지, 기설정된 마진 값 및 라이다 매핑(Mapping) 방법을 저장하는 메모리; 및
    적어도 하나의 프로세서;를 포함하며,
    상기 프로세서는,
    상기 제1 이미지를 이용하여 상기 라이다 포인트 클라우드 중에서 선박으로부터 반사되는 라이다 빔과 관련된 선박 포인트 클라우드를 선택하고, 상기 선박 포인트 클라우드의 폭을 산출하고, 상기 폭에 상기 마진 값을 곱한 마진 거리를 산출하고, 상기 선박의 움직임으로 인해 발생된 물결을 함께 제거하기 위해 상기 라이다 포인트 클라우드 중에서 상기 선박 포인트 클라우드 및 상기 선박 포인트 클라우드의 라이다 포인트로부터 상기 마진 거리 이내에 위치하는 라이다 포인트를 포함하는 방해 포인트 클라우드를 선택하고, 상기 라이다 포인트 클라우드에서 상기 방해 포인트 클라우드를 제거하여 수정 라이다 포인트 클라우드를 획득하고, 상기 수정 라이다 포인트 클라우드를 이용하여 3차원 지도를 생성하는,
    지도 생성 장치.
  7. 제6항에 있어서,
    상기 메모리는,
    입력 이미지에 반영된 객체의 객체 정보를 산출하는 인공 신경망을 저장하며,
    상기 프로세서는,
    상기 인공 신경망 및 상기 제1 이미지를 이용하여 상기 제1 이미지 상에서 상기 선박이 반영된 선박 영역을 판단하고, 상기 제1 이미지 상에서 상기 선박 영역의 위치를 고려하여 상기 라이다 포인트 클라우드 중에서 상기 선박 포인트 클라우드를 선택하는,
    지도 생성 장치.
  8. 제7항에 있어서,
    상기 제1 이미지 상에서 상기 선박 영역의 위치는,
    상기 제1 이미지 상에서 상기 선박 영역에 대응되는 픽셀들 중 적어도 하나의 픽셀의 위치인,
    지도 생성 장치.
  9. 삭제
  10. 삭제
  11. 지도 생성 방법을 저장하는 컴퓨터 판독 가능 비일시적 기록 매체에 있어서,
    상기 지도 생성 방법은,
    제1항에 따른 지도 생성 방법인,
    기록 매체.
KR1020220188492A 2022-11-25 2022-12-29 라이다 기반 지도 생성 방법 및 그 장치 KR102604408B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220160073 2022-11-25
KR1020220160073 2022-11-25

Publications (1)

Publication Number Publication Date
KR102604408B1 true KR102604408B1 (ko) 2023-11-22

Family

ID=88973928

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220188492A KR102604408B1 (ko) 2022-11-25 2022-12-29 라이다 기반 지도 생성 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102604408B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027870A (ko) * 2018-09-04 2020-03-13 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법
KR20210090573A (ko) * 2020-01-09 2021-07-20 씨드로닉스(주) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
KR20220055555A (ko) * 2020-10-26 2022-05-04 씨드로닉스(주) 항만 및 선박 모니터링 방법 및 장치
KR20220099473A (ko) * 2021-01-06 2022-07-13 한국과학기술원 라이다 포인트 클라우드 노이즈 제거 방법 및 장치
KR20220110034A (ko) * 2021-01-29 2022-08-05 주식회사 에스오에스랩 대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027870A (ko) * 2018-09-04 2020-03-13 씨드로닉스(주) 이미지 세그멘테이션을 이용한 자율 운항 방법
KR20210090573A (ko) * 2020-01-09 2021-07-20 씨드로닉스(주) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
KR20220055555A (ko) * 2020-10-26 2022-05-04 씨드로닉스(주) 항만 및 선박 모니터링 방법 및 장치
KR20220099473A (ko) * 2021-01-06 2022-07-13 한국과학기술원 라이다 포인트 클라우드 노이즈 제거 방법 및 장치
KR20220110034A (ko) * 2021-01-29 2022-08-05 주식회사 에스오에스랩 대상체의 기하학적 특성을 반영하여 확장된 표현 범위를 가지는 인텐시티 정보를 생성하는 방법 및 그러한 방법을 수행하는 라이다 장치

Similar Documents

Publication Publication Date Title
US11138750B2 (en) Distance estimating method and apparatus
US10534091B2 (en) Method and apparatus for generating road surface, method and apparatus for processing point cloud data, computer program, and computer readable recording medium
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
US20160283619A1 (en) Sonar-image-simulation method for image prediction of imaging sonar and apparatus using the sonar-image-simulation method
EP4089660A1 (en) Method and device for monitoring port and ship in consideration of sea level
US10977816B2 (en) Image processing apparatus, image processing program, and driving assistance system
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
KR102530847B1 (ko) 항만 및 선박 모니터링 방법 및 장치
KR102520844B1 (ko) 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치
JP2022051770A (ja) 地図生成システム、地図生成方法及び地図生成プログラム
Salvi et al. Visual slam for underwater vehicles using video velocity log and natural landmarks
KR20240036529A (ko) 선박 및 항만 모니터링 장치 및 방법
KR20210015516A (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
KR102604408B1 (ko) 라이다 기반 지도 생성 방법 및 그 장치
JP7174111B2 (ja) 内陸水運船舶ライダー識別システム及びその運用方法
KR102534930B1 (ko) 선박 보조 교정 시스템 및 그 운용 방법
KR102451797B1 (ko) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
Moisan et al. Building a 3D reference model for canal tunnel surveying using sonar and laser scanning
JP6567237B2 (ja) 距離計測装置および距離計測方法
US20230230278A1 (en) Information processing apparatus, information processing method, and storage medium
US20230368462A1 (en) Information processing apparatus, information processing method, and recording medium
WO2023175714A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
Katsatos et al. Comparative Study of Surface 3D Reconstruction Methods Applied in Construction Sites
KR20230068126A (ko) 딥러닝 기반 선박 주변 인식 장치 및 방법
KR20220143353A (ko) 경계선 검출에 기초하여 포인트 클라우드에서 아웃라이어를 제거하는 방법 및 장치

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant