KR102613257B1 - 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템 - Google Patents

타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템 Download PDF

Info

Publication number
KR102613257B1
KR102613257B1 KR1020220125834A KR20220125834A KR102613257B1 KR 102613257 B1 KR102613257 B1 KR 102613257B1 KR 1020220125834 A KR1020220125834 A KR 1020220125834A KR 20220125834 A KR20220125834 A KR 20220125834A KR 102613257 B1 KR102613257 B1 KR 102613257B1
Authority
KR
South Korea
Prior art keywords
target
lidar points
lidar
modeling
points
Prior art date
Application number
KR1020220125834A
Other languages
English (en)
Other versions
KR20220163306A (ko
Inventor
박별터
김한근
김동훈
Original Assignee
씨드로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨드로닉스(주) filed Critical 씨드로닉스(주)
Priority to KR1020220125834A priority Critical patent/KR102613257B1/ko
Publication of KR20220163306A publication Critical patent/KR20220163306A/ko
Application granted granted Critical
Publication of KR102613257B1 publication Critical patent/KR102613257B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Abstract

본 출원은 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템에 관한 것으로, 본 명세서의 일 실시예에 따른 컴퓨팅 장치에 의해 수행되는 타겟 객체를 모델링하는 모델링 방법은 제1 이미지 프레임 및 제1 라이다 포인트 클라우드를 획득하는 단계, 상기 제1 이미지 프레임 및 상기 제1 라이다 포인트 클라우드는 제1 시점에 대응함; 상기 제1 이미지 프레임으로부터 상기 타겟 객체와 관련된 제1 타겟 특징 정보를 획득하는 단계, 상기 제1 타겟 특징 정보는 상기 제1 시점에서의 상기 타겟 객체의 형상을 반영함; 상기 제1 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제1 타겟 라이다 포인트들을 결정하는 단계; 제2 이미지 프레임 및 제2 라이다 포인트 클라우드를 획득하는 단계, 상기 제2 이미지 프레임 및 상기 제2 라이다 포인트 클라우드는 상기 제1 시점의 이후인 제2 시점에 대응함; 상기 제2 이미지 프레임으로부터 상기 타겟 객체와 관련된 제2 타겟 특징 정보를 획득하는 단계, 상기 제2 타겟 특징 정보는 상기 제2 시점에서의 상기 타겟 객체의 형상을 반영함; 상기 제2 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제2 타겟 라이다 포인트들을 결정하는 단계; 상기 제1 이미지 프레임으로부터 획득한 상기 제1 타겟 특징 정보 및 상기 제2 이미지 프레임으로부터 획득한 상기 제2 타겟 특징 정보에 기초하여 상기 제1 시점 및 상기 제2 시점 사이의 상기 타겟 객체의 움직임을 반영하는 변환 정보를 획득하는 단계; 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임으로부터 획득한 상기 변환 정보에 적어도 일부분 기초하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환하는 단계; 및 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 타겟 객체를 모델링하는 단계를 포함한다.

Description

타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템{MODELING METHOD, MODELING DEVICE AND MODELING SYSTEM FOR MODELING TARGET OBJECT}
본 출원은 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템에 관한 것으로, 보다 상세하게는 라이다 포인트 클라우드를 누적하여 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템에 관한 것이다.
최근 객체를 모델링하는 기술에 대한 개발이 활발이 이루어지고 있다. 객체 모델링을 위한 센서로는 카메라, 라이다, 레이더 등이 이용되고 있다.
이중 라이다는 공간 분해능 및 야간 성능의 뛰어남 등의 장점으로 인해 널리 쓰이고 있다. 이에 따라 라이다 포인트 클라우드를 이용하여 객체를 모델링하는 기술 또한 다양하게 개발되고 있다.
그러나, 종래의 ICP, G-ICP와 같은 라이다 포인트 registration 방법을 이용해서는 라이다 포인트가 sparse 또는 extremely sparse한 경우에 대해서 객체를 모델링하기 어려운 문제가 있었다.
본 출원에서 해결하고자 하는 일 과제는 라이다 포인트 클라우드의 점밀도가 희박(sparse)한 경우에도 객체를 모델링할 수 있는 모델링 방법, 모델링 장치 및 모델링 시스템을 제공하는 것에 있다.
본 출원에서 해결하고자 하는 일 과제는 객체의 움직임을 반영하여 상기 객체를 모델링할 수 있는 모델링 방법, 모델링 장치 및 모델링 시스템을 제공하는 것에 있다.
본 출원에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 출원으로부터 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 의하면, 컴퓨팅 장치에 의해 수행되는 타겟 객체를 모델링하는 모델링 방법에 있어서, 제1 이미지 프레임 및 제1 라이다 포인트 클라우드를 획득하는 단계, 상기 제1 이미지 프레임 및 상기 제1 라이다 포인트 클라우드는 제1 시점에 대응함; 상기 제1 이미지 프레임으로부터 상기 타겟 객체와 관련된 제1 타겟 특징 정보를 획득하는 단계, 상기 제1 타겟 특징 정보는 상기 제1 시점에서의 상기 타겟 객체의 형상을 반영함; 상기 제1 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제1 타겟 라이다 포인트들을 결정하는 단계; 제2 이미지 프레임 및 제2 라이다 포인트 클라우드를 획득하는 단계, 상기 제2 이미지 프레임 및 상기 제2 라이다 포인트 클라우드는 상기 제1 시점의 이후인 제2 시점에 대응함; 상기 제2 이미지 프레임으로부터 상기 타겟 객체와 관련된 제2 타겟 특징 정보를 획득하는 단계, 상기 제2 타겟 특징 정보는 상기 제2 시점에서의 상기 타겟 객체의 형상을 반영함; 상기 제2 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제2 타겟 라이다 포인트들을 결정하는 단계; 상기 제1 이미지 프레임으로부터 획득한 상기 제1 타겟 특징 정보 및 상기 제2 이미지 프레임으로부터 획득한 상기 제2 타겟 특징 정보에 기초하여 상기 제1 시점 및 상기 제2 시점 사이의 상기 타겟 객체의 움직임을 반영하는 변환 정보를 획득하는 단계; 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임으로부터 획득한 상기 변환 정보에 적어도 일부분 기초하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환하는 단계; 및 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 타겟 객체를 모델링하는 단계를 포함하는 모델링 방법이 제공될 수 있다.
일 실시예에 의하면, 타겟 객체를 모델링하는 모델링 장치에 있어서, 이미지 프레임 및 라이다 포인트 클라우드를 수신하는 통신부; 및 상기 통신부를 통해 수신된 이미지 프레임 및 라이다 포인트 클라우드를 이용하여 상기 타겟 객체를 모델링하는 제어부를 포함하고, 상기 제어부는, 상기 통신 모듈을 통해 제1 이미지 프레임 및 제1 라이다 포인트 클라우드를 획득하고 - 상기 제1 이미지 프레임 및 상기 제1 라이다 포인트 클라우드는 제1 시점에 대응함 - , 상기 제1 이미지 프레임으로부터 상기 타겟 객체와 관련된 제1 타겟 특징 정보를 획득하고 - 상기 제1 타겟 특징 정보는 상기 제1 시점에서의 상기 타겟 객체의 형상을 반영함 - , 상기 제1 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제1 타겟 라이다 포인트들을 결정하고, 상기 통신 모듈을 통해 제2 이미지 프레임 및 제2 라이다 포인트 클라우드를 획득하고 - 상기 제2 이미지 프레임 및 상기 제2 라이다 포인트 클라우드는 상기 제1 시점의 이후인 제2 시점에 대응함 - , 상기 제2 이미지 프레임으로부터 상기 타겟 객체와 관련된 제2 타겟 특징 정보를 획득하고 - 상기 제2 타겟 특징 정보는 상기 제2 시점에서의 상기 타겟 객체의 형상을 반영함 - , 상기 제2 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제2 타겟 라이다 포인트들을 결정하고, 상기 제1 이미지 프레임으로부터 획득한 상기 제1 타겟 특징 정보 및 상기 제2 이미지 프레임으로부터 획득한 상기 제2 타겟 특징 정보에 기초하여 상기 제1 시점 및 상기 제2 시점 사이의 상기 타겟 객체의 움직임을 반영하는 변환 정보를 획득하고, 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임으로부터 획득한 상기 변환 정보에 적어도 일부분 기초하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환하고, 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 타겟 객체를 모델링하는 모델링 장치가 제공될 수 있다.
일 실시예에 의하면, 타겟 객체를 모델링하는 모델링 시스템에 있어서, 제1 시점에 대응하는 제1 이미지 프레임 및 상기 제1 시점의 이후인 제2 시점에 대응하는 제2 이미지 프레임을 생성하는 카메라 모듈; 상기 제1 시점에 대응하는 제1 라이다 포인트 클라우드 및 상기 제2 시점에 대응하는 제2 라이다 포인트 클라우드를 생성하는 라이다 모듈; 및 상기 이미지 프레임들 및 상기 라이다 포인트 클라우드들을 이용하여 상기 타겟 객체를 모델링하는 모델링 장치를 포함하고, 상기 모델링 장치는, 상기 카메라 모듈로부터 상기 제1 및 제2 이미지 프레임들을 획득하고, 상기 제1 이미지 프레임으로부터 상기 타겟 객체와 관련된 제1 타겟 특징 정보를 획득하고 - 상기 제1 타겟 특징 정보는 상기 제1 시점에서의 상기 타겟 객체의 형상을 반영함 - , 상기 제2 이미지 프레임으로부터 상기 타겟 객체와 관련된 제2 타겟 특징 정보를 획득하고 - 상기 제2 타겟 특징 정보는 상기 제2 시점에서의 상기 타겟 객체의 형상을 반영함 - , 상기 라이다 모듈로부터 상기 제1 및 제2 라이다 포인트 클라우드들을 획득하고, 상기 제1 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제1 타겟 라이다 포인트들을 결정하고, 상기 제2 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제2 타겟 라이다 포인트들을 결정하고, 상기 제1 이미지 프레임으로부터 획득한 상기 제1 타겟 특징 정보 및 상기 제2 이미지 프레임으로부터 획득한 상기 제2 타겟 특징 정보에 기초하여 상기 제1 시점 및 상기 제2 시점 사이의 상기 타겟 객체의 움직임을 반영하는 변환 정보를 획득하고, 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임으로부터 획득한 상기 변환 정보에 적어도 일부분 기초하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환하고, 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 타겟 객체를 모델링하는 모델링 시스템이 제공될 수 있다.
일 실시예에 의하면, 하나 이상의 프로세서에 의해 수행되는 타겟 객체를 모델링하는 모델링 방법에 있어서, 제1 시점에 대응하는 제1 타겟 라이다 포인트들을 획득함; 상기 제1 시점과 상이한 제2 시점에 대응하는 제2 타겟 라이다 포인트들을 획득함; 상기 제2 타겟 라이다 포인트들 각각마다, 상기 각각의 제2 타겟 라이다 포인트 및 이와 인접한 상기 제2 타겟 라이다 포인트들을 이용하여 상기 각각의 제2 타겟 라이다 포인트와 관련된 복수의 평면들을 생성함; 상기 제1 타겟 라이다 포인트들, 상기 제2 타겟 라이다 포인트들 및 상기 복수의 평면들에 기초하여 산출된 변환 정보를 이용하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환함, 상기 변환 정보는 상기 타겟 객체의 상기 제1 시점과 상기 제2 시점 사이의 움직임을 반영함; 및 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 타겟 객체를 모델링함을 포함하고, 상기 좌표를 변환함은, 상기 제1 타겟 라이다 포인트들 각각마다, 상기 복수의 평면들 중 상기 각각의 제1 타겟 라이다 포인트와 대응하는 평면을 결정함; 상기 제1 타겟 라이다 포인트들 및 이에 대응하는 평면들에 기초하여 상기 변환 정보를 산출함; 및 상기 변환 정보를 상기 제1 타겟 라이다 포인트들의 좌표에 적용하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환함을 미리 정해진 조건을 만족할 때까지 반복 수행하는 것을 포함하는 모델링 방법이 제공될 수 있다.
본 출원의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 출원으로부터 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 실시예에 따르면, 라이다 포인트 클라우드의 점밀도가 희박(sparse)한 경우에도 이를 누적하여 객체를 모델링할 수 있는 모델링 방법, 모델링 장치 및 모델링 시스템이 제공될 수 있다.
본 출원의 실시예에 따르면, 이미지로부터 획득한 변환 정보를 이용한 라이다 포인트 클라우드의 좌표 변환을 통해 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템이 제공될 수 있다.
본 출원의 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 출원으로부터 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 타겟 라이다 포인트의 누적을 통한 타겟 객체 모델링에 관한 도면이다.
도 2는 일 실시예에 따른 타겟 라이다 포인트 누적을 통한 움직이는 타겟 객체 모델링에 관한 도면이다.
도 3은 일 실시예에 따른 모델링 시스템에 관한 도면이다.
도 4는 일 실시예에 따른 모델링 장치에 관한 도면이다.
도 5는 일 실시예에 따른 이미지 프레임에 기초하여 산출된 변환 정보를 이용한 모델링 방법에 관한 도면이다.
도 6은 일 실시예에 따른 이미지 좌표에 관한 도면이다.
도 7은 일 실시예에 따른 타겟 라이다 포인트에 관한 도면이다.
도 8은 일 실시예에 따른 변환 정보를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 변환 정보 획득에 관한 도면이다.
도 10은 변환 정보 산출 알고리즘의 예시들에 관한 도면이다.
도 11은 일 실시예에 따른 제1 타겟 라이다 포인트의 제1 좌표를 제2 좌표로 변환하는 것에 관한 도면이다.
도 12 및 도 13은 일 실시예에 따른 타겟 라이다 포인트들이 누적되는 시간 구간을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 이미지 프레임에 기초하여 생성되는 객체 종류 정보를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 객체 종류 정보를 이용하여 라이다 포인트 클라우드 중 타겟 라이다 포인트를 결정하는 것에 관한 도면이다.
도 16은 일 실시예에 따른 객체 종류 정보를 이용하여 특징 정보로부터 타겟 특징 정보를 획득하는 것에 관한 도면이다.
도 17은 일 실시예에 따른 복셀화에 관한 도면이다.
도 18은 일 실시예에 따른 라이다 포인트에 기초하여 산출된 변환 정보를 이용한 모델링 방법에 관한 도면이다.
도 19는 일 실시예에 따른 라이다 포인트들을 이용하여 평면들을 생성하는 것에 관한 도면이다.
도 20은 일 실시예에 따른 라이다 포인트들의 좌표 변환에 관한 도면이다.
도 21은 라이다 포인트에 기초하여 산출된 변환 정보를 이용한 모델링 방법에 관한 알고리즘의 예시에 관한 도면이다.
도 22는 모델링 방법의 일 실시예인 SP-ICP의 정확도에 관한 표이다.
도 23 및 도 24는 모델링 방법의 일 실시예인 SP-ICP를 이용한 모델링 결과의 시각화에 관한 도면이다.
도 25는 도 23 및 도 24의 테스트 결과의 정확도를 보다 수치적으로 표현한 것이다.
본 출원에 기재된 실시예는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 출원의 사상을 명확히 설명하기 위한 것이므로, 본 출원에 기재된 실시예에 의해 한정되는 것은 아니며, 본 출원의 범위는 본 출원의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.
본 출원에서 사용되는 용어는 본 출원에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 출원에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 출원의 전반에 걸친 내용을 토대로 해석되어야 한다.
본 출원의 도면은 본 출원을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 출원의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 출원이 도면에 의해 한정되는 것은 아니다.
본 출원에서 본 출원에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 출원의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다. 또한, 본 출원의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별 기호에 불과하다.
일 실시예에 의하면, 컴퓨팅 장치에 의해 수행되는 타겟 객체를 모델링하는 모델링 방법에 있어서, 상기 모델링 방법은, 제1 이미지 프레임 및 제1 라이다 포인트 클라우드를 획득하는 단계, 상기 제1 이미지 프레임 및 상기 제1 라이다 포인트 클라우드는 제1 시점에 대응함; 상기 제1 이미지 프레임으로부터 상기 타겟 객체와 관련된 제1 타겟 특징 정보를 획득하는 단계, 상기 제1 타겟 특징 정보는 상기 제1 시점에서의 상기 타겟 객체의 형상을 반영함; 상기 제1 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제1 타겟 라이다 포인트들을 결정하는 단계; 제2 이미지 프레임 및 제2 라이다 포인트 클라우드를 획득하는 단계, 상기 제2 이미지 프레임 및 상기 제2 라이다 포인트 클라우드는 상기 제1 시점의 이후인 제2 시점에 대응함; 상기 제2 이미지 프레임으로부터 상기 타겟 객체와 관련된 제2 타겟 특징 정보를 획득하는 단계, 상기 제2 타겟 특징 정보는 상기 제2 시점에서의 상기 타겟 객체의 형상을 반영함; 상기 제2 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제2 타겟 라이다 포인트들을 결정하는 단계; 상기 제1 이미지 프레임으로부터 획득한 상기 제1 타겟 특징 정보 및 상기 제2 이미지 프레임으로부터 획득한 상기 제2 타겟 특징 정보에 기초하여 상기 제1 시점 및 상기 제2 시점 사이의 상기 타겟 객체의 움직임을 반영하는 변환 정보를 획득하는 단계; 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임으로부터 획득한 상기 변환 정보에 적어도 일부분 기초하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환하는 단계; 및 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 타겟 객체를 모델링하는 단계를 포함할 수 있다.
상기 변환 정보는 2차원 좌표를 변환하는 정보일 수 있고, 상기 변환 정보에 기초하여 변환되는 상기 제1 타겟 라이다 포인트들의 좌표는 3차원 좌표일 수 있다.
상기 모델링 방법은, 상기 이미지 프레임들을 생성한 카메라 모듈 및 상기 라이다 포인트 클라우드들을 생성한 라이다 모듈 사이의 캘리브레이션 정보를 획득하는 단계 - 상기 캘리브레이션 정보는 상기 카메라 모듈 및 상기 라이다 모듈 사이의 상대적인 위치를 반영하는 평행 이동(translation) 정보, 상기 카메라 모듈 및 상기 라이다 모듈 사이의 상대적인 방향을 반영하는 회전(rotation) 정보 및 상기 카메라 모듈의 이미지 평면 상으로의 투영을 위한 카메라 캘리브레이션 정보 중 적어도 하나를 포함함 - 을 더 포함할 수 있고, 상기 제1 타겟 라이다 포인트들의 좌표를 변환함에 있어 상기 캘리브레이션 정보에 더 기초하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환할 수 있다.
상기 제1 타겟 라이다 포인트들의 좌표를 변환하는 단계는, 상기 캘리브레이션 정보에 기초하여 상기 제1 시점에 대응하는 제1 좌표를 갖는 상기 제1 타겟 라이다 포인트들을 상기 이미지 평면 상에 투영하여 상기 제1 좌표에 대응하는 이미지 좌표를 획득하는 단계; 상기 이미지 좌표에 상기 변환 정보를 적용하여 상기 이미지 좌표의 좌표값을 변환하는 단계; 및 상기 캘리브레이션 정보에 기초하여 상기 변환된 이미지 좌표로부터 상기 제1 타겟 라이다 포인트들의 상기 제2 시점에 대응하는 제2 좌표를 생성하는 단계를 포함할 수 있다.
상기 제2 좌표는, 상기 변환된 이미지 좌표와 매핑되는 좌표의 그룹 중 상기 제1 좌표와 동일한 높이값을 갖는 특정 좌표로 결정될 수 있다.
상기 제1 타겟 라이다 포인트들의 좌표를 변환하는 단계는, 상기 타겟 객체가 미리 정해진 평면 상에서 움직이는 것으로 가정하고 상기 제1 타겟 라이다 포인트들의 좌표를 변환할 수 있다.
상기 변환 정보를 획득하는 단계는, 상기 제1 타겟 특징 정보 및 상기 제2 타겟 특징 정보를 매칭하는 단계; 상기 매칭된 제1 타겟 특징 정보 및 제2 타겟 특징 정보에 기초하여 상기 변환 정보를 산출하는 단계; 상기 변환 정보를 상기 제1 타겟 특징 정보에 적용하여 상기 제1 타겟 특징 정보의 이미지 좌표를 변환하는 단계; 및 상기 변환된 제1 타겟 특징 정보 및 상기 제2 타겟 특징 정보를 비교하는 단계를 포함할 수 있다.
상기 모델링 방법은, 상기 제1 이미지 프레임 내에서의 상기 타겟 객체와 관련된 제1 타겟 영역을 반영하는 제1 객체 종류 정보를 생성하는 단계; 및 상기 제2 이미지 프레임 내에서의 상기 타겟 객체와 관련된 제2 타겟 영역을 반영하는 제2 객체 종류 정보를 생성하는 단계를 더 포함할 수 있다.
상기 제1 타겟 특징 정보를 획득하는 단계는, 상기 제1 이미지 프레임으로부터 제1 특징 정보를 생성하는 단계; 및 상기 제1 객체 종류 정보를 이용하여, 상기 생성된 제1 특징 정보 중 상기 제1 타겟 영역에 대응하는 특징 정보를 상기 제1 타겟 특징 정보로 결정하는 단계를 포함할 수 있고, 상기 제2 타겟 특징 정보를 획득하는 단계는, 상기 제2 이미지 프레임으로부터 제2 특징 정보를 생성하는 단계; 및 상기 제2 객체 종류 정보를 이용하여, 상기 생성된 제2 특징 정보 중 상기 제2 타겟 영역에 대응하는 특징 정보를 상기 제2 타겟 특징 정보로 결정하는 단계를 포함할 수 있다.
상기 제1 타겟 라이다 포인트들을 결정하는 단계는, 상기 제1 객체 종류 정보를 이용하여, 상기 제1 라이다 포인트 클라우드 중 상기 제1 타겟 영역에 대응하는 하나 이상의 라이다 포인트들을 상기 제1 타겟 라이다 포인트들로 결정하는 단계를 포함할 수 있고, 상기 제2 타겟 라이다 포인트들을 결정하는 단계는, 상기 제2 객체 종류 정보를 이용하여, 상기 제2 라이다 포인트 클라우드 중 상기 제2 타겟 영역에 대응하는 하나 이상의 라이다 포인트들을 상기 제2 타겟 라이다 포인트들로 결정하는 단계를 포함할 수 있다.
상기 제1 시점 및 상기 제2 시점은 미리 정해진 시간 구간에 포함되는 것을 특징으로 할 수 있다.
상기 변환 정보는 상기 제1 타겟 특징 정보 및 상기 제2 타겟 특징 정보에 기초하여 생성된 호모그래피 행렬을 포함할 수 있다.
일 실시예에 의하면, 타겟 객체를 모델링하는 모델링 장치에 있어서, 상기 모델링 장치는, 이미지 프레임 및 라이다 포인트 클라우드를 수신하는 통신부; 및 상기 통신부를 통해 수신된 이미지 프레임 및 라이다 포인트 클라우드를 이용하여 상기 타겟 객체를 모델링하는 제어부를 포함할 수 있고, 상기 제어부는, 상기 통신 모듈을 통해 제1 이미지 프레임 및 제1 라이다 포인트 클라우드를 획득하고 - 상기 제1 이미지 프레임 및 상기 제1 라이다 포인트 클라우드는 제1 시점에 대응함 - , 상기 제1 이미지 프레임으로부터 상기 타겟 객체와 관련된 제1 타겟 특징 정보를 획득하고 - 상기 제1 타겟 특징 정보는 상기 제1 시점에서의 상기 타겟 객체의 형상을 반영함 - , 상기 제1 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제1 타겟 라이다 포인트들을 결정하고, 상기 통신 모듈을 통해 제2 이미지 프레임 및 제2 라이다 포인트 클라우드를 획득하고 - 상기 제2 이미지 프레임 및 상기 제2 라이다 포인트 클라우드는 상기 제1 시점의 이후인 제2 시점에 대응함 - , 상기 제2 이미지 프레임으로부터 상기 타겟 객체와 관련된 제2 타겟 특징 정보를 획득하고 - 상기 제2 타겟 특징 정보는 상기 제2 시점에서의 상기 타겟 객체의 형상을 반영함 - , 상기 제2 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제2 타겟 라이다 포인트들을 결정하고, 상기 제1 이미지 프레임으로부터 획득한 상기 제1 타겟 특징 정보 및 상기 제2 이미지 프레임으로부터 획득한 상기 제2 타겟 특징 정보에 기초하여 상기 제1 시점 및 상기 제2 시점 사이의 상기 타겟 객체의 움직임을 반영하는 변환 정보를 획득하고, 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임으로부터 획득한 상기 변환 정보에 적어도 일부분 기초하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환하고, 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 타겟 객체를 모델링할 수 있다.
일 실시예에 의하면, 타겟 객체를 모델링하는 모델링 시스템에 있어서, 상기 모델링 시스템은, 제1 시점에 대응하는 제1 이미지 프레임 및 상기 제1 시점의 이후인 제2 시점에 대응하는 제2 이미지 프레임을 생성하는 카메라 모듈; 상기 제1 시점에 대응하는 제1 라이다 포인트 클라우드 및 상기 제2 시점에 대응하는 제2 라이다 포인트 클라우드를 생성하는 라이다 모듈; 및 상기 이미지 프레임들 및 상기 라이다 포인트 클라우드들을 이용하여 상기 타겟 객체를 모델링하는 모델링 장치를 포함할 수 있고, 상기 모델링 장치는, 상기 카메라 모듈로부터 상기 제1 및 제2 이미지 프레임들을 획득하고, 상기 제1 이미지 프레임으로부터 상기 타겟 객체와 관련된 제1 타겟 특징 정보를 획득하고 - 상기 제1 타겟 특징 정보는 상기 제1 시점에서의 상기 타겟 객체의 형상을 반영함 - , 상기 제2 이미지 프레임으로부터 상기 타겟 객체와 관련된 제2 타겟 특징 정보를 획득하고 - 상기 제2 타겟 특징 정보는 상기 제2 시점에서의 상기 타겟 객체의 형상을 반영함 - , 상기 라이다 모듈로부터 상기 제1 및 제2 라이다 포인트 클라우드들을 획득하고, 상기 제1 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제1 타겟 라이다 포인트들을 결정하고, 상기 제2 라이다 포인트 클라우드 중 상기 타겟 객체와 관련된 하나 이상의 제2 타겟 라이다 포인트들을 결정하고, 상기 제1 이미지 프레임으로부터 획득한 상기 제1 타겟 특징 정보 및 상기 제2 이미지 프레임으로부터 획득한 상기 제2 타겟 특징 정보에 기초하여 상기 제1 시점 및 상기 제2 시점 사이의 상기 타겟 객체의 움직임을 반영하는 변환 정보를 획득하고, 상기 제1 이미지 프레임 및 상기 제2 이미지 프레임으로부터 획득한 상기 변환 정보에 적어도 일부분 기초하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환하고, 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 타겟 객체를 모델링할 수 있다.
일 실시예에 의하면, 하나 이상의 프로세서에 의해 수행되는 타겟 객체를 모델링하는 모델링 방법에 있어서, 상기 모델링 방법은, 제1 시점에 대응하는 제1 타겟 라이다 포인트들을 획득함; 상기 제1 시점과 상이한 제2 시점에 대응하는 제2 타겟 라이다 포인트들을 획득함; 상기 제2 타겟 라이다 포인트들 각각마다, 상기 각각의 제2 타겟 라이다 포인트 및 이와 인접한 상기 제2 타겟 라이다 포인트들을 이용하여 상기 각각의 제2 타겟 라이다 포인트와 관련된 복수의 평면들을 생성함; 상기 제1 타겟 라이다 포인트들, 상기 제2 타겟 라이다 포인트들 및 상기 복수의 평면들에 기초하여 산출된 변환 정보를 이용하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환함, 상기 변환 정보는 상기 타겟 객체의 상기 제1 시점과 상기 제2 시점 사이의 움직임을 반영함; 및 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 타겟 객체를 모델링함을 포함할 수 있고, 상기 좌표를 변환함은, 상기 제1 타겟 라이다 포인트들 각각마다, 상기 복수의 평면들 중 상기 각각의 제1 타겟 라이다 포인트와 대응하는 평면을 결정함; 상기 제1 타겟 라이다 포인트들 및 이에 대응하는 평면들에 기초하여 상기 변환 정보를 산출함; 및 상기 변환 정보를 상기 제1 타겟 라이다 포인트들의 좌표에 적용하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환함을 미리 정해진 조건을 만족할 때까지 반복 수행하는 것을 포함할 수 있다.
상기 제2 타겟 라이다 포인트들은 제1 타겟 포인트 및 제2 타겟 포인트를 포함할 수 있고, 상기 복수의 평면들은, 상기 제1 타겟 포인트 및 이와 인접한 상기 제2 타겟 라이다 포인트들을 이용하여 생성되고 상기 제1 타겟 포인트와 관련된 복수의 제1 평면들 및 상기 제2 타겟 포인트 및 이와 인접한 상기 제2 타겟 라이다 포인트들을 이용하여 생성되고 상기 제2 타겟 포인트와 관련된 복수의 제2 평면들을 포함할 수 있다.
상기 복수의 평면들을 생성함은, 상기 복수의 제1 평면들 사이의 유사도를 고려하여 상기 복수의 제1 평면들 중 적어도 일부를 하나의 평면으로 병합함을 포함할 수 있다.
상기 평면을 결정함은, 상기 제1 타겟 라이다 포인트들 각각에 대해, 상기 제2 타겟 라이다 포인트들 중 상기 각 제1 타겟 라이다 포인트와 대응하는 포인트를 결정함; 및 상기 각 제1 타겟 라이다 포인트와 대응하는 포인트와 관련된 하나 이상의 평면들 중 상기 각 제1 타겟 라이다 포인트와 대응하는 평면을 결정함을 포함할 수 있다.
본 출원은 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템에 대해 개시한다. 본 출원에서는 그 위치가 3차원 좌표로 표현되는 라이다 포인트들을 누적하여 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템에 대해 개시하나, 이에 한정되는 것은 아니고 본 출원은 라이다 포인트 외의 다른 3차원 좌표로 표현되는 데이터를 누적하여 객체를 모델링하는 경우에도 적용될 수 있다.
또한, 본 출원에서는 주로 선박의 운항이나 정박 등 해상 상황에 대해 설명하나 이에 한정되는 것은 아니고 차량의 주행과 같은 도로 상황 등 다른 경우에도 마찬가지로 적용될 수 있다.
본 출원에서는 모델링의 대상이 되는 객체를 타겟 객체라 지칭한다. 또한, 본 출원에서는 상기 타겟 객체에 대응하는 라이다 포인트를 타겟 라이다 포인트라 지칭한다. 본 출원에서, 라이다 포인트가 특정 객체에 대응한다는 것은 상기 라이다 포인트가 상기 특정 객체로부터 반사되는 것 또는 반사되었다고 예측되는 것을 의미할 수 있다.
본 출원에서, 라이다 포인트(또는 라이다 포인트 클라우드, 타겟 라이다 포인트)가 특정 시점 또는 특정 시간 구간에 대응한다는 것은 라이다 모듈에 의해 상기 라이다 포인트(또는 라이다 포인트 클라우드, 타겟 라이다 포인트)가 상기 특정 시점에 또는 상기 특정 시간 구간 내에 생성된 것을 의미할 수 있다. 또는, 라이다 포인트(또는 라이다 포인트 클라우드, 타겟 라이다 포인트)가 특정 시점 또는 특정 시간 구간에 대응한다는 것은 모델링 장치가 상기 라이다 포인트(또는 라이다 포인트 클라우드, 타겟 라이다 포인트)를 상기 특정 시점에 또는 상기 특정 시간 구간 내에 획득한 것을 의미할 수 있다.
본 출원에서, 이미지 프레임이 특정 시점 또는 특정 시간 구간에 대응한다는 것은 카메라 모듈에 의해 상기 이미지 프레임이 상기 특정 시점에 또는 상기 특정 시간 구간 내에 생성된 것을 의미할 수 있다. 또는, 이미지 프레임이 특정 시점 또는 특정 시간 구간에 대응한다는 것은 모델링 장치가 상기 이미지 프레임을 상기 특정 시점에 또는 상기 특정 시간 구간 내에 획득한 것을 의미할 수 있다.
본 출원의 실시예들에 의하면, 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템이 개시된다.
도 1은 일 실시예에 따른 타겟 라이다 포인트의 누적을 통한 타겟 객체 모델링에 관한 도면으로, 움직이지 않는 타겟 객체에 대응하는 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링하는 것에 관한 것이다. 이때, 타겟 객체가 움직이지 않는다는 것은 라이다 모듈에 대한 상대적인 움직임이 없다는 것을 의미할 수 있다.
도 1을 참고하면, 제1 시점(t1), 제2 시점(t2) 및 제3 시점(t3) 각각에서 획득한 라이다 포인트 클라우드들은 타겟 객체(10)에 대응하는 타겟 라이다 포인트들(black filled circles, 1a, 1b, 1c) 및 상기 타겟 객체(10)에 대응하지 않는 라이다 포인트들(empty circles)을 포함할 수 있다. 이때 상기 타겟 라이다 포인트들(1a, 1b, 1c)을 시간에 따라 누적하여 상기 타겟 객체(10)를 모델링할 수 있다. 보다 구체적으로, 상기 제1 시점(t1)에서 획득한 라이다 포인트 클라우드 중 타겟 라이다 포인트들(1a)을 선택하고, 상기 제2 시점(t2)에서 획득한 라이다 포인트 클라우드 중 타겟 라이다 포인트들(1b)을 상기 제1 시점(t1)에서 선택된 타겟 라이다 포인트들(1a)에 누적하여 상기 제2 시점(t2)의 누적된 타겟 라이다 포인트들(1d)을 획득하고, 상기 제3 시점(t3)에서 획득한 라이다 포인트 클라우드 중 타겟 라이다 포인트들(1c)을 상기 제2 시점(t2)에서 획득한 누적된 타겟 라이다 포인트들(1d)에 누적하여 상기 제3 시점(t3)의 누적된 타겟 라이다 포인트들(1e)을 획득할 수 있다. 이때 상기 제1 시점(t1)의 타겟 라이다 포인트들(1a), 상기 제2 시점(t2)의 누적된 타겟 라이다 포인트들(1d) 및 상기 제3 시점(t3)의 누적된 타겟 라이다 포인트들(1e)은 각각 상기 타겟 객체(10)를 모델링한다. 다만, 타겟 라이다 포인트들을 누적하는 시간이 증가함에 따라 상기 타겟 객체(10)를 보다 자세히 모델링할 수 있다. 즉, 상기 제2 시점(t2)의 누적된 타겟 라이다 포인트들(1d)은 상기 제1 시점(t1)의 타겟 라이다 포인트들(1a)에 비해 상기 타겟 객체(10)를 보다 자세히 모델링하고, 상기 제3 시점(t3)의 누적된 타겟 라이다 포인트들(1e)은 상기 제2 시점(t2)의 누적된 타겟 라이다 포인트들(1d)에 비해 상기 타겟 객체(10)를 보다 자세히 모델링할 수 있다.
한편, 움직이는 타겟 객체에 대응하는 타겟 라이다 포인트들을 누적하기 위해서는 시간에 따른 상기 타겟 객체의 움직임에 대한 정보가 필요하다. 다시 말해, 타겟 라이다 포인트를 누적하여 움직이는 타겟 객체를 모델링하기 위해서는 시간에 따른 상기 타겟 객체의 움직임에 대한 정보가 필요하다. 이때, 타겟 객체가 움직인다는 것은 라이다 모듈에 대한 상대적인 움직임(예: 타겟 객체의 위치 변화, 타겟 객체의 방향(orientation) 변화 등)이 존재한다는 것을 의미할 수 있다. 이 경우 상기 타겟 객체의 움직임에 대한 정보를 타겟 라이다 포인트들에 반영하며 상기 타겟 라이다 포인트들을 누적해야 한다. 타겟 객체가 움직이지 않는 경우와 비교하면, 타겟 객체에 대응하는 타겟 라이다 포인트를 선택하는 것뿐만 아니라 상기 타겟 객체에 대응하는 타겟 라이다 포인트의 시간에 따른 움직임을 파악해야 한다. 예를 들어, 특정 시점까지 누적된 타겟 라이다 포인트들을 획득하기 위해서는 상기 특정 시점보다 이전 시점의 타겟 라이다 포인트들의 상기 특정 시점에서의 위치를 파악해야 한다. 즉, 상기 이전 시점의 타겟 라이다 포인트들의 상기 특정 시점에서의 좌표를 알아야 한다. 이를 위해서는 상기 이전 시점의 타겟 라이다 포인트들의 좌표를 상기 특정 시점에서의 좌표로 변환해야 한다.
도 2는 일 실시예에 따른 타겟 라이다 포인트 누적을 통한 움직이는 타겟 객체 모델링에 관한 도면이다.
도 2의 (a)를 참고하면, 제1 시점(t1), 제2 시점(t2) 및 제3 시점(t3)을 지남에 따라 타겟 객체(20)는 움직이고, 각 시점에서 획득한 라이다 포인트 클라우드들은 상기 타겟 객체(20)에 대응하는 타겟 라이다 포인트들(black filled circles, 2a, 2b, 2c) 및 상기 타겟 객체(20)에 대응하지 않는 라이다 포인트들(empty circles)을 포함할 수 있다. 이때, 상기 타겟 라이다 포인트들(2a, 2b, 2c)을 상기 타겟 객체(20)의 움직임을 고려하지 않고 누적하면 누적된 타겟 라이다 포인트들이 상기 타겟 객체(20)를 정확하게 모델링할 수 없게 된다. 보다 구체적으로, 도 2의 (b)를 참고하면, 이전 시점에 획득한 타겟 라이다 포인트들(hatched circles)은 상기 타겟 객체(20)를 정확하게 모델링하지 못한다. 따라서, 도 2의 (c)와 같이 이전 시점에 획득한 타겟 라이다 포인트들(hatched circles)을 상기 타겟 객체(20)의 움직임을 고려하여 누적해야 누적된 타겟 라이다 포인트들이 상기 타겟 객체(20)를 정확하게 모델링할 수 있다.
이하에서는 모델링 시스템에 대해 설명한다.
도 3은 일 실시예에 따른 모델링 시스템에 관한 도면이다. 도 3을 참고하면, 일 실시예에 따른 모델링 시스템은 센서 장치(100), 모델링 장치(200), 출력 장치(300), 서버(400) 및 사용자 단말(500)을 포함할 수 있다.
센서 장치(100)는 타겟 객체에 관한 정보를 감지할 수 있다. 센서 장치(100)의 예로는 라이다 모듈, 카메라 모듈 등이 있을 수 있으나 이에 한정되는 것은 아니다.
센서 장치(100)가 라이다 모듈을 포함하는 경우, 상기 센서 장치(100)는 라이다 포인트 클라우드를 생성할 수 있다. 상기 센서 장치(100)는 타겟 객체를 스캔하여 하나 이상의 타겟 라이다 포인트들을 포함하는 라이다 포인트 클라우드를 생성할 수 있다.
센서 장치(100)가 카메라 모듈을 포함하는 경우, 상기 센서 장치(100)는 이미지 프레임 또는 비디오를 생성할 수 있다. 상기 센서 장치(100)는 타겟 객체를 촬영하여 상기 타겟 객체가 포함된 이미지 프레임 또는 비디오를 생성할 수 있다. 카메라 모듈의 예로는 RGB 카메라, 열화상 카메라, 나이트 비전 등이 있을 수 있으나 이에 한정되는 것은 아니다.
모델링 장치(200)는 타겟 객체를 모델링할 수 있다. 모델링 장치(200)는 라이다 포인트 클라우드에 기초하여 타겟 객체를 모델링할 수 있다. 모델링 장치(200)는 라이다 포인트 클라우드 중 하나 이상의 타겟 라이다 포인트들을 결정할 수 있다. 모델링 장치(200)는 이미지 프레임 또는 비디오에 기초하여 하나 이상의 타겟 라이다 포인트들을 결정할 수 있다. 모델링 장치(200)는 하나 이상의 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링할 수 있다.
모델링 장치(200)는 라이다 포인트 클라우드 또는 이와 관련된 데이터를 획득할 수 있다. 예를 들어, 모델링 장치(200)는 라이다 모듈을 포함하는 센서 장치(100)로부터 라이다 포인트 클라우드 또는 이와 관련된 데이터를 획득할 수 있다.
모델링 장치(200)는 이미지 프레임, 비디오 또는 이와 관련된 데이터를 획득할 수 있다. 예를 들어, 모델링 장치(200)는 카메라 모듈을 포함하는 센서 장치(100)로부터 이미지 프레임, 비디오 또는 이와 관련된 데이터를 획득할 수 있다.
모델링 장치(200)는 모델링 결과를 출력 장치(300) 및 서버(400) 중 적어도 하나로 전송할 수 있다.
출력 장치(300)는 모델링 장치(200)로부터 수신한 모델링 결과를 출력할 수 있다. 모델링 결과의 출력은 시각적, 청각적 출력이거나 이에 한정되지 않고 다양한 형태로 이루어질 수 있다.
출력 장치(300)는 영상을 출력하는 디스플레이, 소리를 출력하는 스피커, 진동을 발생시키는 햅틱 장치 및/또는 그 외 다양한 형태의 출력 수단으로 구현될 수 있다. 또는, 출력 장치(300)는 자체적으로 외부로 정보를 출력하는 장치 대신 출력 인터페이스(USB 포트, PS/2 포트 등)의 형태로 구현될 수도 있다.
서버(400)는 모델링 장치(200)로부터 수신한 모델링 결과를 관리할 수 있다. 서버(400)는 모델링 장치(200)로부터 수신한 모델링 결과를 사용자 단말(500)로 전송할 수 있다. 사용자 단말(500)의 예로는 스마트폰, 태블릿, PC 등이 있으나 이에 한정되는 것은 아니다. 서버(400)는 사용자 단말(500)로부터 사용자의 요청을 수신하고 이에 대응하는 정보를 상기 사용자 단말(500)을 통해 상기 사용자에게 제공할 수 있다. 예를 들어, 서버(400)는 사용자 단말(500)로부터 사용자의 모델링 결과 요청을 수신하는 경우 모델링 결과를 상기 사용자 단말(500)을 통해 상기 사용자에게 제공할 수 있다.
도 3에 도시된 구성 요소 모두가 모델링 시스템의 필수 구성 요소인 것은 아니다. 모델링 시스템은 도 3에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라, 도 3에 도시된 모델링 시스템의 구성 요소 중 적어도 일부가 생략될 수도 있다.
또한, 도 3에서는 모델링 장치(200)와 서버(400)를 별도의 구성 요소로 설명하였으나 모델링 장치(200)와 서버(400)는 동일한 하나의 구성 요소일 수도 있다.
이하에서는 모델링 장치에 대해 보다 자세히 설명한다.
도 4는 일 실시예에 따른 모델링 장치에 관한 도면이다. 상기 모델링 장치는 후술할 타겟 객체를 모델링하는 모델링 방법을 수행할 수 있다.
도 4를 참고하면, 일 실시예에 따른 모델링 장치(200)는 통신부(210), 저장부(220) 및 제어부(230)를 포함할 수 있다.
통신부(210)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 기기와 통신을 수행할 수 있다. 통신부(210)는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다. 통신부(210)는 유선 또는 무선으로 통신을 수행할 수 있다. 통신부(210)의 예로는 트랜시버, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GNSS 모듈, NFC 모듈, RF 모듈, 지그비 모듈 등이 있을 수 있으나 이에 한정되는 것은 아니다.
통신부(210)는 외부로부터 라이다 포인트 클라우드 또는 이와 관련된 데이터를 수신할 수 있다. 예를 들어, 통신부(210)는 센서 장치(100)로부터 라이다 포인트 클라우드 또는 이와 관련된 데이터를 수신할 수 있다.
통신부(210)는 외부로부터 이미지 프레임, 비디오 또는 이와 관련된 데이터를 수신할 수 있다. 예를 들어, 통신부(210)는 센서 장치(100)로부터 이미지 프레임, 비디오 또는 이와 관련된 데이터를 수신할 수 있다.
통신부(210)는 모델링 결과를 출력 장치(300) 및 서버(400) 중 적어도 하나로 전송할 수 있다.
저장부(220)는 모델링 장치(200)가 동작하는데 필요한 각종 데이터 및 프로그램 등을 저장할 수 있다. 저장부(220)는 모델링 장치(200)가 획득하는 데이터를 저장할 수 있다. 일 예로, 저장부(220)는 라이다 포인트 클라우드, 타겟 라이다 포인트 또는 이와 관련된 데이터를 저장할 수 있다. 다른 예로, 저장부(220)는 이미지 프레임, 비디오 또는 이와 관련된 데이터를 저장할 수 있다. 저장부(220)의 예로는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM(Random Access Memory), ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등이 있을 수 있으나 이에 한정되는 것은 아니다.
제어부(230)는 모델링 장치(200) 내에서 각종 정보의 처리와 연산을 수행할 수 있다. 제어부(230)는 모델링 장치(200)를 구성하는 다른 구성 요소를 제어할 수 있다.
제어부(230)는 하드웨어, 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 제어부(230)는 하나 또는 복수의 프로세서(processor)일 수 있다. 또는, 제어부(230)는 물리적으로 이격되어 통신을 통해 협업하는 프로세서들로 제공될 수도 있다. 제어부(230)의 예로는 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphics Processing Unit, GPU), 디지털 신호 처리 장치(Digital Signal Processor, DSP), 상태 기계(state machine), 주문형 반도체(Application Specific Integrated Circuit, ASIC), 무선 주파수 집적 회로(Radio-Frequency Integrated Circuit, RFIC) 등이 있을 수 있으나 이에 한정되는 것은 아니다. 소프트웨어적으로 제어부(230)는 하드웨어적인 제어부(230)를 구동시키는 프로그램 형태로 제공될 수 있다.
제어부(230)는 타겟 객체를 모델링할 수 있다. 제어부(230)는 라이다 포인트 클라우드에 기초하여 타겟 객체를 모델링할 수 있다. 제어부(230)는 라이다 포인트 클라우드 중 하나 이상의 타겟 라이다 포인트들을 결정할 수 있다. 제어부(230)는 이미지 프레임 또는 비디오에 기초하여 하나 이상의 타겟 라이다 포인트들을 결정할 수 있다. 제어부(230)는 하나 이상의 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링할 수 있다.
제어부(230)는 통신부(210)가 라이다 포인트 클라우드 또는 이와 관련된 데이터를 수신하도록 제어할 수 있다.
제어부(230)는 통신부(210)가 이미지 프레임, 비디오 또는 이와 관련된 데이터를 수신하도록 제어할 수 있다.
제어부(230)는 통신부(210)가 모델링 결과를 출력 장치(300) 및 서버(400) 중 적어도 하나로 전송하도록 제어할 수 있다.
제어부(230)는 모델링 장치(200)가 동작하는데 필요한 각종 데이터 및 프로그램 등을 저장부(220)에 저장하도록 제어할 수 있다. 제어부(230)는 통신부(210)를 통해 획득한 데이터를 저장부(220)에 저장하도록 제어할 수 있다.
이하에서 특별한 언급이 없는 경우에는 모델링 장치(200)가 수행하는 동작은 제어부(230)에 의해 수행되거나 제어부(230)가 모델링 장치(200)의 다른 구성 요소를 제어하여 수행되는 것으로 해석될 수 있다.
도 4에 도시된 구성 요소 모두가 모델링 장치(200)의 필수 구성 요소인 것은 아니다. 모델링 장치(200)는 도 4에 도시되지 않은 구성 요소를 추가로 포함할 수 있다. 뿐만 아니라, 도 4에 도시된 모델링 장치(200)의 구성 요소 중 적어도 일부가 생략될 수도 있다.
이하에서는 모델링 방법에 대해 보다 자세히 설명한다.
본 출원에서는 일 실시예에 따른 모델링 방법이 모델링 장치에서 수행되는 것으로 가정하여 설명하나, 이는 다양한 실시의 형태 중 일 예를 들어 설명한 것일 뿐 모델링 방법이 모델링 장치에 의해서만 수행되어야 함을 의미하는 것은 아니다. 예를 들어, 모델링 방법의 일부는 모델링 장치에서 수행되고, 나머지는 서버에서 수행될 수 있다.
일 실시예에 의하면, 모델링 장치는 타겟 객체에 대응하는 하나 이상의 타겟 라이다 포인트들을 일정 시간 구간동안 누적하여 상기 타겟 객체를 모델링할 수 있다. 이때, 상기 일정 시간 구간 내의 제1 시점에 대응하는 타겟 라이다 포인트(이하 "제1 타겟 라이다 포인트"라 함)와 상기 일정 시간 구간 내의 제2 시점 - 상기 제2 시점은 상기 제1 시점의 이후임 - 에 대응하는 타겟 라이다 포인트(이하 "제2 타겟 라이다 포인트"라 함)를 이용하여 타겟 객체를 모델링할 수 있다.
1. 이미지 프레임에 기초하여 산출된 변환 정보를 이용한 모델링 방법
도 5는 일 실시예에 따른 이미지 프레임에 기초하여 산출된 변환 정보를 이용한 모델링 방법에 관한 도면이다.
일 실시예에 따르면, 모델링 방법은 이미지 프레임을 획득함을 포함할 수 있다. 예를 들어, 모델링 장치는 이미지 프레임을 획득할 수 있다. 상기 이미지 프레임은 카메라 모듈로부터 생성된 것일 수 있다. 모델링 장치는 복수의 이미지 프레임들을 획득할 수 있다. 상기 복수의 이미지 프레임들은 제1 시점에 대응하는 이미지 프레임(이하 "제1 이미지 프레임"이라 함) 및 상기 제1 시점의 이후인 제2 시점에 대응하는 이미지 프레임(이하 "제2 이미지 프레임"이라 함)을 포함할 수 있다.
이미지 프레임 내에서의 픽셀 또는 객체의 위치는 이미지 좌표로 표현될 수 있다. 상기 이미지 좌표는 2차원 좌표일 수 있다.
도 6은 일 실시예에 따른 이미지 좌표에 관한 도면이다. 이미지 프레임 내에서 특정 픽셀의 위치는 기준 픽셀을 원점으로 정의한 xy 이미지 좌표계 상에서 표현될 수 있다. 예를 들어, 도 6을 참고하면, 좌측 상단의 픽셀(3a)을 기준으로 특정 픽셀의 좌표가 결정될 수 있다. 이 경우 도 6의 좌측 상단의 픽셀(3a)의 이미지 좌표는 (0,0)이고, 특정 픽셀(3b)의 이미지 좌표는 (5,3)으로 표현될 수 있다.
일 실시예에 따르면, 모델링 방법은 하나 이상의 타겟 라이다 포인트들을 획득함을 포함할 수 있다. 예를 들어, 모델링 장치는 하나 이상의 타겟 라이다 포인트들을 획득할 수 있다. 상기 타겟 라이다 포인트들은 라이다 모듈로부터 생성된 것일 수 있다. 상기 타겟 라이다 포인트들은 제1 시점에 대응하는 하나 이상의 타겟 라이다 포인트들(이하 "제1 타겟 라이다 포인트들"이라 함) 및 상기 제1 시점의 이후인 제2 시점에 대응하는 하나 이상의 타겟 라이다 포인트들(이하 "제2 타겟 라이다 포인트들"이라 함)을 포함할 수 있다.
도 7은 일 실시예에 따른 타겟 라이다 포인트에 관한 도면으로, 항만 근처에서 획득한 라이다 포인트 클라우드에 관한 개념도이다.
라이다 모듈은 라이다 포인트 클라우드를 생성할 수 있다. 도 7을 참고하면, 라이다 포인트 클라우드는 선박에 대응하는 라이다 포인트들(4a), 안벽에 대응하는 라이다 포인트들(4b) 및 해수면에 대응하는 라이다 포인트들(4c)을 포함할 수 있다.
전술한 바와 같이, 타겟 라이다 포인트는 라이다 포인트 클라우드 중 타겟 객체에 대응하는 것이다. 따라서, 타겟 객체가 선박인 경우, 타겟 라이다 포인트는 라이다 포인트 클라우드 중 상기 선박에 대응하는 라이다 포인트들(4a)이다.
일 실시예에 따르면, 모델링 방법은 라이다 포인트 클라우드를 획득함을 포함할 수 있다. 예를 들어, 모델링 장치는 라이다 포인트 클라우드를 획득할 수 있다. 상기 라이다 포인트 클라우드는 제1 시점에 대응하는 제1 라이다 포인트 클라우드 및 제2 시점에 대응하는 제2 라이다 포인트 클라우드를 포함할 수 있다.
일 실시예에 따르면, 모델링 방법은 라이다 포인트 클라우드 중 타겟 라이다 포인트를 결정함을 포함할 수 있다. 예를 들어, 모델링 장치는 라이다 포인트 클라우드 중 타겟 라이다 포인트를 결정할 수 있다. 도 7을 참고하면, 모델링 장치는 선박에 대응하는 라이다 포인트들(4a), 안벽에 대응하는 라이다 포인트들(4b) 및 해수면에 대응하는 라이다 포인트들(4c) 중 타겟 객체인 선박에 대응하는 라이다 포인트들(4a)을 타겟 라이다 포인트로 결정할 수 있다. 라이다 포인트 클라우드 중 타겟 라이다 포인트를 결정하는 것에 대한 보다 구체적인 내용은 후술한다.
다시 도 5를 참고하면, 일 실시예에 따른 모델링 방법은 제1 이미지 프레임을 획득함을 포함할 수 있다. 예를 들어, 단계 S1100에서, 모델링 장치는 제1 이미지 프레임을 획득할 수 있다. 일 실시예에 따른 모델링 방법은 하나 이상의 제1 타겟 라이다 포인트들을 획득함을 포함할 수 있다. 예를 들어, 단계 S1100에서, 모델링 장치는 하나 이상의 제1 타겟 라이다 포인트들을 획득할 수 있다. 이때, 상기 제1 이미지 프레임 및 상기 제1 타겟 라이다 포인트들은 동일한 시점에 대응할 수 있다.
일 실시예에 따른 모델링 방법은 제2 이미지 프레임을 획득함을 포함할 수 있다. 예를 들어, 단계 S1200에서, 모델링 장치는 제2 이미지 프레임을 획득할 수 있다. 일 실시예에 따른 모델링 방법은 하나 이상의 제2 타겟 라이다 포인트들을 획득함을 포함할 수 있다. 예를 들어, 단계 S1200에서, 모델링 장치는 하나 이상의 제2 타겟 라이다 포인트들을 획득할 수 있다. 이때, 상기 제2 이미지 프레임 및 상기 제2 타겟 라이다 포인트들은 동일한 시점에 대응할 수 있다.
일 실시예에 따르면, 모델링 방법은 제1 이미지 프레임 및 제2 이미지 프레임에 기초하여 변환 정보를 산출함(S1300)을 포함할 수 있다. 예를 들어, 모델링 장치는 제1 이미지 프레임 및 제2 이미지 프레임에 기초하여 변환 정보를 산출할 수 있다. 상기 변환 정보는 타겟 객체의 움직임을 반영할 수 있다. 예를 들어, 상기 변환 정보는 제1 시점 및 제2 시점 사이의 타겟 객체의 움직임을 반영할 수 있다. 상기 변환 정보는 이미지 좌표에 적용될 수 있다. 예를 들어, 모델링 장치는 제1 시점에 대응하는 이미지 좌표에 상기 변환 정보를 적용하여 제2 시점에 대응하는 이미지 좌표를 산출할 수 있다.
도 8은 일 실시예에 따른 변환 정보를 설명하기 위한 도면으로, 도 8의 (a)는 제1 시점에 대응하는 제1 이미지 프레임(50a)이고, (b)는 제2 시점에 대응하는 제2 이미지 프레임(50b)이며, 타겟 객체가 선박인 경우이다.
모델링 장치는 제1 이미지 프레임(50a)의 타겟 객체에 대응하는 영역에 변환 정보를 적용하여 제2 이미지 프레임의 타겟 객체에 대응하는 영역을 획득할 수 있다.
픽셀 단위에서 보면, 모델링 장치는 제1 이미지 프레임(50a)의 타겟 객체에 대응하는 픽셀들(이하 "제1 픽셀들"이라 함, 5a, 5b, 5c, 5d)의 이미지 좌표에 변환 정보를 적용하여 제2 이미지 프레임의 타겟 객체에 대응하는 픽셀들(이하 "제2 픽셀들"이라 함, 5a', 5b', 5c', 5d')의 이미지 좌표를 획득할 수 있다. 이때 상기 제1 픽셀들(5a, 5b, 5c, 5d)은 각각 상기 제2 픽셀들(5a', 5b', 5c', 5d')에 대응될 수 있다. 즉, 상기 제1 픽셀들(5a, 5b, 5c, 5d) 및 제2 픽셀들(5a', 5b', 5c', 5d') 중 서로 대응하는 픽셀들은 타겟 객체의 동일한 부분에 대응할 수 있다.
하기 [식 1]은 변환 정보의 일 예인 호모그래피 행렬(homography matrix)에 관한 것이다.
[식 1]
여기서, (x,y) 및 (x',y')은 서로 다른 시점의 이미지 좌표를, 우변의 3x3 행렬은 호모그래피 행렬을 의미한다. 이 경우 특정 시점의 이미지 좌표 (x,y)에 호모그래피 행렬을 적용하여 상기 특정 시점과 상이한 시점의 이미지 좌표 (x',y')를 산출할 수 있다.
모델링 장치는 이미지 프레임으로부터 획득한 타겟 객체와 관련된 특징 정보(이하 "타겟 특징 정보"라 함)에 기초하여 변환 정보를 획득할 수 있다. 상기 타겟 특징 정보는 상기 타겟 객체의 형상을 반영할 수 있다. 예를 들어, 상기 타겟 특징 정보는 상기 이미지 프레임에 포함된 상기 타겟 객체의 형상을 반영할 수 있다. 상기 특징 정보는 이에 대응하는 이미지 좌표를 가질 수 있다. 상기 특징 정보의 예로는 특징점, 코너, 에지 등이 있으나 이에 한정되는 것은 아니다.
모델링 장치는 이미지 프레임으로부터 획득한 특징 정보 중 타겟 특징 정보를 결정할 수 있다. 이에 대한 보다 구체적인 내용은 후술한다.
도 9는 일 실시예에 따른 변환 정보 획득에 관한 도면이다.
일 실시예에 따르면, 모델링 방법은 제1 이미지 프레임으로부터 타겟 특징 정보를 획득함(S1310)을 포함할 수 있다. 예를 들어, 모델링 장치는 제1 이미지 프레임으로부터 타겟 특징 정보를 획득할 수 있다. 이하에서는 제1 이미지 프레임으로부터 획득된 타겟 특징 정보를 제1 타겟 특징 정보라 한다. 일 실시예에 따르면, 모델링 방법은 제2 이미지 프레임으로부터 타겟 특징 정보를 획득함(S1320)을 포함할 수 있다. 예를 들어, 모델링 장치는 제2 이미지 프레임으로부터 타겟 특징 정보를 획득할 수 있다. 이하에서는 제2 이미지 프레임으로부터 획득된 타겟 특징 정보를 제2 타겟 특징 정보라 한다.
일 실시예에 따르면, 모델링 방법은 제1 타겟 특징 정보 및 제2 타겟 특징 정보를 매칭함(S1330)을 포함할 수 있다. 예를 들어, 모델링 장치는 제1 타겟 특징 정보 및 제2 타겟 특징 정보를 매칭할 수 있다. 이 경우 서로 매칭되는 제1 타겟 특징 정보 및 제2 타겟 특징 정보는 타겟 객체의 동일한 부분에 대응하거나 동일한 부분에 대응하는 것으로 예측되는 것일 수 있다. 또는, 서로 매칭되는 제1 타겟 특징 정보 및 제2 타겟 특징 정보는 이미지 프레임 상에서의 거리가 최소인 것일 수 있다.
일 실시예에 따르면, 모델링 방법은 매칭된 타겟 특징 정보들에 기초하여 변환 정보를 산출함(S1340)을 포함할 수 있다. 예를 들어, 모델링 장치는 매칭된 타겟 특징 정보들에 기초하여 변환 정보를 산출할 수 있다.
일 실시예에 따르면, 모델링 방법은 변환 정보를 제1 타겟 특징 정보에 적용하여 제1 타겟 특징 정보의 이미지 좌표를 변환함(S1350)을 포함할 수 있다. 예를 들어, 모델링 장치는 변환 정보를 제1 타겟 특징 정보에 적용하여 제1 타겟 특징 정보의 이미지 좌표를 변환할 수 있다.
일 실시예에 따르면, 모델링 방법은 변환된 제1 타겟 특징 정보 및 제2 타겟 특징 정보를 비교함(S1360)을 포함할 수 있다. 예를 들어, 모델링 장치는 변환된 제1 타겟 특징 정보 및 제2 타겟 특징 정보를 비교할 수 있다. 변환된 제1 타겟 특징 정보 및 제2 타겟 특징 정보를 비교한다는 것은 상기 변환된 제1 타겟 특징 정보 및 상기 제2 타겟 특징 정보 사이의 거리를 미리 정해진 값과 비교하는 것일 수 있다. 보다 구체적으로, 변환된 제1 타겟 특징 정보 및 제2 타겟 특징 정보를 비교한다는 것은 상기 변환된 제1 타겟 특징 정보 및 상기 제2 타겟 특징 정보의 이미지 좌표계 상에서의 거리를 미리 정해진 값과 비교하는 것일 수 있다.
상기 비교한 결과가 미리 정해진 조건을 만족할 때까지 모델링 장치는 단계 S1330 내지 S1360을 반복 수행할 수 있다. 상기 비교한 결과가 미리 정해진 조건을 만족한다는 것은 변환된 제1 타겟 특징 정보 및 제2 타겟 특징 정보 사이의 거리가 미리 정해진 값 이하인 것을 의미할 수 있다. 보다 구체적으로, 상기 비교한 결과가 미리 정해진 조건을 만족한다는 것은 변환된 제1 타겟 특징 정보 및 제2 타겟 특징 정보의 이미지 좌표계 상에서의 거리가 미리 정해진 값 이하인 것을 의미할 수 있다. 이때 모델링 장치는 단계 S1330 내지 S1360을 반복 수행함에 따라 변환 정보를 반복하여 산출(변환 정보를 갱신하는 것으로 볼 수도 있을 것이다.)하고, 제1 타겟 특징 정보의 이미지 좌표를 반복하여 변환(제1 타겟 특징 정보의 이미지 좌표를 갱신하는 것으로 볼 수도 있을 것이다.)할 수 있다.
도 10은 변환 정보 산출 알고리즘의 예시들에 관한 도면으로, (a)는 종래의 iterative closest point(ICP) 알고리즘이고, (b)는 호모그래피 ICP 알고리즘이다. 호모그래피 ICP 알고리즘을 종래의 ICP 알고리즘과 비교하면, 호모그래피 ICP 알고리즘에서는 비용 함수(cost function)가 호모그래피 행렬 solver로 변경되었다. 이에 따라, 종래의 ICP 알고리즘에서는 제1 타겟 특징 정보 및 제2 타겟 특징 정보 사이의 평행 이동 및 회전만 고려할 수 있었지만 호모그래피 ICP 알고리즘에서는 평행 이동 및 회전뿐만 아니라 스케일링 또한 함께 고려하여 보다 일반적으로 변환 정보를 산출할 수 있다.
다시 도 5를 참고하면, 일 실시예에 따른 모델링 방법은 변환 정보에 적어도 일부분 기초하여 하나 이상의 제1 타겟 라이다 포인트들의 좌표를 변환함(S1400)을 포함할 수 있다. 예를 들어, 모델링 장치는 변환 정보에 적어도 일부분 기초하여 하나 이상의 제1 타겟 라이다 포인트들의 좌표를 변환할 수 있다. 보다 구체적인 예로, 모델링 장치는 변환 정보에 적어도 일부분 기초하여 상기 제1 타겟 라이다 포인트들의 제1 시점에 대응하는 좌표(이하 "제1 좌표"라 함)를 제2 시점에 대응하는 좌표(이하 "제2 좌표"라 함)로 변환할 수 있다.
도 11은 일 실시예에 따른 제1 타겟 라이다 포인트의 제1 좌표를 제2 좌표로 변환하는 것에 관한 도면이다. 도 11에서는 라이다 좌표계 상의 상기 제1 좌표 및 상기 제2 좌표를 변환하는 경우에 대해 설명하나 이에 한정되는 것은 아니다. 즉, 상기 제1 좌표 및 상기 제2 좌표는 상기 라이다 좌표계와 차원이 같은 다른 좌표계 상에서의 좌표일 수 있다. 또한, 도 11에서 OL은 라이다 좌표계의 원점을 의미하고, XL, YL 및 ZL은 각각 상기 라이다 좌표계의 x축, y축 및 z축을 의미한다. Oc는 카메라 좌표계의 원점을 의미하고, Xc, Yc, Zc는 각각 상기 카메라 좌표계의 x축, y축 및 z축을 의미한다.
도 11의 (a)를 참고하면, 모델링 장치는 캘리브레이션 정보에 기초하여 제1 타겟 라이다 포인트(6a)를 이미지 평면(60)에 투영할 수 있다. 이 경우 모델링 장치는 상기 제1 타겟 라이다 포인트(6a)의 제1 좌표 (xL,yL,zL)에 대응하는 이미지 좌표 (x,y)를 획득할 수 있다. 이때 상기 제1 좌표 (xL,yL,zL)의 차원이 상기 이미지 좌표 (x,y)의 차원보다 높으므로 상기 제1 좌표 (xL,yL,zL)를 상기 이미지 평면(60)에 투영하여 하나의 상기 이미지 좌표 (x,y)를 획득할 수 있다.
캘리브레이션 정보는 라이다-카메라 캘리브레이션 정보 및 카메라 캘리브레이션 정보를 포함할 수 있다.
라이다-카메라 캘리브레이션 정보는 카메라 모듈 및 라이다 모듈 사이의 상대적인 위치 및 방향 중 적어도 하나를 반영할 수 있다. 라이다-카메라 캘리브레이션 정보는 카메라 모듈 및 라이다 모듈 사이의 상대적인 위치를 반영하는 평행 이동(translation) 정보 및 상대적인 방향을 반영하는 회전(rotation) 정보 중 적어도 하나를 포함할 수 있다. 모델링 장치는 라이다-카메라 캘리브레이션 정보를 이용하여 상기 제1 타겟 라이다 포인트(6a)의 라이다 좌표계 상의 상기 제1 좌표 (xL,yL,zL)를 카메라 좌표계 상의 좌표 (xc,yc,zc)로 변환할 수 있다.
카메라 캘리브레이션 정보는 카메라 모듈의 내부 파라미터를 반영할 수 있다. 모델링 장치는 카메라 캘리브레이션 정보를 이용하여 카메라 좌표계 상의 좌표 (xc,yc,zc)를 이미지 평면 상으로 투영할 수 있다. 이 경우 모델링 장치는 상기 제1 타겟 라이다 포인트(6a)에 대응하는 이미지 좌표 (x,y)를 획득할 수 있다.
하기 [식 2]는 캘리브레이션 정보의 일 예에 관한 것이다.
[식 2]
여기서, x, y는 이미지 좌표, xc, yc, zc는 제1 타겟 라이다 포인트의 카메라 좌표계 상의 좌표, xL, yL, zL은 제1 타겟 라이다 포인트의 라이다 좌표계 상의 좌표이고, A 행렬은 하기 [식 3]과 같은 카메라 캘리브레이션 정보의 일 예이고, R 및 t는 각각 하기 [식 4]와 같은 회전 정보의 일 예인 회전 행렬 및 평행 이동 정보의 일 예인 평행 이동 행렬이다.
[식 3]
[식 4]
여기서, fx 및 fy는 각각 수평 및 수직 방향의 유효 초점 거리(effective focal length), skewc는 비대칭 계수(skew coefficient), cx 및 cy는 주점(principal point)의 좌표이다.
따라서, 식 2에서는 상기 제1 타겟 라이다 포인트(6a)의 라이다 좌표계 상의 좌표 (xL,yL,zL)에 회전 행렬 및 평행 이동 행렬 [R|t]를 적용하여 상기 제1 타겟 라이다 포인트(6a)의 카메라 좌표계 상의 좌표 (xc,yc,zc)를 획득하고, 이에 A 행렬을 적용하여 이미지 좌표 (x,y)를 획득한다.
도 11의 (b)를 참고하면, 모델링 장치는 이미지 평면(60) 상에 투영된 상기 제1 타겟 라이다 포인트(6a)에 대응하는 이미지 좌표 (x,y)를 변환할 수 있다. 모델링 장치는 타겟 객체의 움직임을 반영하여 이미지 좌표 (x,y)를 변환할 수 있다. 예를 들어, 모델링 장치는 제1 시점 및 제2 시점 사이의 타겟 객체의 움직임을 반영하여 이미지 좌표 (x,y)를 변환할 수 있다. 모델링 장치는 전술한 변환 정보에 기초하여 이미지 좌표를 변환할 수 있다. 모델링 장치는 이미지 좌표 (x,y)를 변환하여 변환된 이미지 좌표 (x',y')를 획득할 수 있다.
도 11의 (c)를 참고하면, 모델링 장치는 캘리브레이션 정보에 기초하여 변환된 이미지 좌표 (x',y')로부터 상기 제1 타겟 라이다 포인트(6a)의 라이다 좌표계 상의 제2 좌표 (xL',yL',zL') 및 카메라 좌표계 상의 좌표 (xc',yc',zc') 중 적어도 하나를 생성할 수 있다. 이 경우 상기 변환된 이미지 좌표 (x',y')의 차원보다 상기 제2 좌표 (xL',yL',zL') 및 카메라 좌표계 상의 좌표 (xc',yc',zc')의 차원이 높으므로 상기 변환된 이미지 좌표 (x',y')에는 복수의 좌표를 포함하는 좌표의 그룹이 매핑될 수 있다. (식 2 참고) 따라서, 상기 복수의 좌표 중 특정 좌표를 상기 제2 좌표 (xL',yL',zL') 또는 카메라 좌표계 상의 좌표 (xc',yc',zc')로 선택해야 한다.
모델링 장치는 상기 제1 좌표 (xL,yL,zL)에 기초하여 복수의 좌표 중 특정 좌표를 상기 제2 좌표 (xL',yL',zL')로 선택할 수 있다. 예를 들어, 모델링 장치는 상기 제1 좌표 및 상기 제2 좌표의 높이값이 동일하도록 상기 제2 좌표를 선택할 수 있다. 보다 구체적인 예로, 라이다 좌표계에서 XL-YL 평면이 지면 또는 해수면과 평행하고 ZL이 지면 또는 해수면으로부터의 높이에 대응하는 경우, 상기 변환된 이미지 좌표 (x',y')에 대응하는 복수의 좌표 중 zL' = zL 인 좌표를 상기 제2 좌표로 선택할 수 있다. 이 경우 상기 제1 타겟 라이다 포인트(6a)의 제1 좌표와 제2 좌표의 높이값이 동일한 것이므로, 제1 시점과 제2 시점 사이에서 타겟 객체가 미리 정해진 평면(예: 지면 또는 해수면) 상에서 움직이는 것으로 가정하고 상기 제2 좌표를 선택하는 것으로 볼 수 있다. 즉, 해상 상황에서는 제1 시점과 제2 시점 사이에서 선박이 해수면 상에서 해수면을 따라 움직인 것으로 볼 수 있고, 도로 상황에서는 자동차가 지면 상에서 지면을 따라 움직인 것으로 볼 수 있다. 이와 유사하게, 모델링 장치는 제1 시점의 카메라 좌표계 상의 좌표 (xc,yc,zc)에 기초하여 복수의 좌표 중 특정 좌표를 제2 시점의 카메라 좌표계 상의 좌표 (xc',yc',zc')로 선택할 수 있다. 이에 대한 중복되는 설명은 생략한다.
다시 도 5를 참고하면, 일 실시예에 따른 모델링 방법은 변환된 하나 이상의 제1 타겟 라이다 포인트들 및 하나 이상의 제2 타겟 라이다 포인트들을 이용하여 타겟 객체를 모델링함(S1500)을 포함할 수 있다. 예를 들어, 모델링 장치는 변환된 하나 이상의 제1 타겟 라이다 포인트들 및 하나 이상의 제2 타겟 라이다 포인트들을 이용하여 타겟 객체를 모델링할 수 있다.
모델링 장치는 일정 시간 구간 동안 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링할 수 있다. 이 경우 상기 제1 타겟 라이다 포인트들에 대응하는 제1 시점 및 상기 제2 타겟 라이다 포인트들에 대응하는 제2 시점은 상기 일정 시간 구간 내에 포함될 수 있다.
도 12 및 도 13은 일 실시예에 따른 타겟 라이다 포인트들이 누적되는 시간 구간을 설명하기 위한 도면이다.
모델링 장치는 기준 시점부터 현재 시점 사이의 시간 구간에 대응하는 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링할 수 있다. 도 12의 (a)를 참고하면, 모델링 장치는 기준 시점 t1부터 현재 시점 t2 사이의 시간 구간 Δt12에 대응하는 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링할 수 있다. 도 12의 (b)를 참고하면, 시간이 흘러 현재 시점이 t2에서 t3로 변화한 경우, 모델링 장치는 기준 시점 t1부터 현재 시점 t3 사이의 시간 구간 Δt13에 대응하는 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링할 수 있다. 이 경우 타겟 라이다 포인트들을 누적하는 시간 구간은 시간이 흐름에 따라 늘어날 수 있다.
모델링 장치는 현재 시점과 상기 현재 시점으로부터 미리 정해진 시간만큼 이전인 시점 사이의 시간 구간에 대응하는 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링할 수 있다. 도 13의 (a)를 참고하면, 모델링 장치는 현재 시점 t5와 이로부터 미리 정해진 시간만큼 이전인 시점 t4 사이의 시간 구간 Δt45에 대응하는 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링할 수 있다. 도 13의 (b)를 참고하면, 시간이 흘러 현재 시점이 t5에서 t7로 변화한 경우, 모델링 장치는 현재 시점 t7과 이로부터 미리 정해진 시간만큼 이전인 시점 t6 사이의 시간 구간 Δt67에 대응하는 타겟 라이다 포인트들을 누적하여 타겟 객체를 모델링할 수 있다. 이 경우 타겟 라이다 포인트들을 누적하는 시간 구간은 시간이 흐르더라도 변화하지 않을 수 있다(Δt45 = Δt67).
이하에서는 라이다 포인트 클라우드 중 타겟 라이다 포인트를 결정하는 방법에 대해 보다 구체적으로 설명한다.
일 실시예에 따르면, 모델링 방법은 객체 종류 정보를 이용하여 라이다 포인트 클라우드 중 타겟 라이다 포인트를 결정함을 포함할 수 있다. 예를 들어, 모델링 장치는 객체 종류 정보를 이용하여 라이다 포인트 클라우드 중 타겟 라이다 포인트를 결정할 수 있다. 상기 객체 종류 정보는 이미지 프레임에 기초하여 생성될 수 있다. 상기 객체 종류 정보는 상기 이미지 프레임에 포함된 객체의 종류에 대한 정보를 반영할 수 있다. 상기 객체 종류 정보는 상기 이미지 프레임에 포함된 타겟 객체에 대응하고 상기 타겟 객체를 지시하는 데이터를 포함할 수 있다. 상기 객체 종류 정보는 상기 타겟 객체의 상기 이미지 프레임 내에서의 위치를 반영할 수 있다.
도 14는 일 실시예에 따른 이미지 프레임에 기초하여 생성되는 객체 종류 정보를 설명하기 위한 도면이다. 도 14의 (a)는 카메라 모듈이 촬영한 이미지 프레임(70a)이고, (b)는 상기 이미지 프레임(70a)에 기초하여 생성된 객체 종류 정보의 일 예인 세그멘테이션 정보를 시각화한 세그멘테이션 이미지(70b)이고, (c)는 상기 이미지(70a)에 기초하여 생성된 객체 종류 정보의 다른 예인 디텍션 정보를 시각화한 디텍션 이미지(70c)이다.
일 실시예에 의하면, 모델링 장치는 이미지 프레임(70a)에 기초하여 세그멘테이션 정보를 생성할 수 있다. 상기 세그멘테이션 정보는 복수의 세그멘테이션 데이터를 포함할 수 있다. 상기 복수의 세그멘테이션 데이터 각각은 상기 이미지 프레임(70a)의 각 픽셀에 대응할 수 있다. 상기 복수의 세그멘테이션 데이터 각각은 이에 대응하는 픽셀이 나타내는 객체의 종류를 반영할 수 있다. 이에 따라 상기 세그멘테이션 정보는 상기 이미지 프레임(70a)에 포함된 객체 또는 상기 객체를 나타내는 픽셀의 상기 이미지 프레임(70a) 내에서의 위치를 반영할 수 있다. 상기 세그멘테이션 정보는 선박에 대응하는 세그멘테이션 데이터, 안벽에 대응하는 세그멘테이션 데이터, 바다 또는 해수면에 대응하는 세그멘테이션 데이터, 지형에 대응하는 세그멘테이션 데이터 및 하늘에 대응하는 세그멘테이션 데이터 중 적어도 하나를 포함할 수 있다.
세그멘테이션 정보는 시각화될 수 있다. 예를 들어, 세그멘테이션 정보는 상기 세그멘테이션 정보의 복수의 세그멘테이션 데이터가 반영하는 객체의 종류에 따라 별도의 색상 등으로 구분되도록 표현되는 세그멘테이션 이미지(70b)의 형태로 시각화될 수 있다. 이 경우, 도 14의 (b)를 참고하면, 세그멘테이션 이미지(70b)는 선박에 대응하는 영역(7a), 안벽에 대응하는 영역(7b), 바다 또는 해수면에 대응하는 영역(7c), 지형에 대응하는 영역(7d) 및 하늘에 대응하는 영역(7e)을 포함할 수 있다.
다른 실시예에 의하면, 모델링 장치는 이미지 프레임(70a)에 기초하여 디텍션 정보를 생성할 수 있다. 상기 디텍션 정보는 하나 이상의 디텍션 데이터를 포함할 수 있다. 상기 하나 이상의 디텍션 데이터 각각은 상기 이미지 프레임(70a)에 포함된 객체에 대응할 수 있다. 상기 하나 이상의 디텍션 데이터 각각은 이에 대응하는 객체의 종류를 반영할 수 있다. 상기 하나 이상의 디텍션 데이터 각각은 이에 대응하는 객체의 상기 이미지 프레임(70a) 내에서의 위치를 반영할 수 있다. 상기 디텍션 정보는 선박에 대응하는 디텍션 데이터, 안벽에 대응하는 디텍션 데이터, 바다 또는 해수면에 대응하는 디텍션 데이터, 지형에 대응하는 디텍션 데이터 및 하늘에 대응하는 디텍션 데이터 중 적어도 하나를 포함할 수 있다.
디텍션 정보는 시각화될 수 있다. 예를 들어, 디텍션 정보는 상기 디텍션 정보의 하나 이상의 디텍션 데이터가 반영하는 객체의 이미지 프레임(70a) 내에서의 위치가 바운딩 박스 형태로 표현되는 디텍션 이미지(70c)의 형태로 시각화될 수 있다. 이 경우, 도 14의 (c)를 참고하면, 디텍션 이미지(70c)는 선박에 대응하는 영역(7f)을 포함할 수 있다.
모델링 장치는 인공 신경망을 이용하여 객체 종류 정보를 생성할 수 있다. 상기 인공 신경망의 예로는 CNN(convolution neural network), YOLO(you only look once), SSD(single shot multibox detector) 등이 있으나 이에 한정되는 것은 아니다. 상기 인공 신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습(reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다. 또한, 모델링 장치는 반드시 인공 신경망을 이용하여 객체 종류 정보를 생성해야 하는 것은 아니며 이 외의 방법으로 객체 종류 정보를 생성할 수도 있다.
모델링 장치는 객체 종류 정보를 이용하여 라이다 포인트 클라우드에 포함된 하나 이상의 라이다 포인트들에 대응하는 객체의 종류를 식별할 수 있다. 예를 들어, 모델링 장치는 라이다 포인트 클라우드를 이미지 평면 상에 투영시키고, 상기 라이다 포인트 클라우드에 포함된 하나 이상의 라이다 포인트들 각각이 상기 이미지 평면 상에 투영되는 지점이 어떠한 종류의 객체에 대응하는지를 상기 객체 종류 정보를 이용하여 판단함으로써 상기 라이다 포인트들 각각에 대응하는 객체의 종류를 식별할 수 있다.
모델링 장치는 상기 식별한 결과에 기초하여 라이다 포인트 클라우드 중 하나 이상의 타겟 라이다 포인트들을 결정할 수 있다. 예를 들어, 모델링 장치는 라이다 포인트 클라우드 중 타겟 객체에 대응하는 것으로 식별된 하나 이상의 라이다 포인트들을 하나 이상의 타겟 라이다 포인트들로 결정할 수 있다.
도 15는 일 실시예에 따른 객체 종류 정보를 이용하여 라이다 포인트 클라우드 중 타겟 라이다 포인트를 결정하는 것에 관한 도면으로, 선박이 타겟 객체인 경우이다.
도 15의 (a)를 참고하면, 모델링 장치는 라이다 포인트 클라우드(8a)를 획득할 수 있다.
도 15의 (b)를 참고하면, 모델링 장치는 라이다 포인트 클라우드(8a)를 이미지 평면(80a) 상에 투영시킬 수 있다. 이 경우 모델링 장치는 투영된 라이다 포인트 클라우드(8b)를 획득할 수 있다.
도 15의 (c)를 참고하면, 모델링 장치는 세그멘테이션 정보를 이용하여 투영된 라이다 포인트 클라우드(8b) 중 하나 이상의 타겟 라이다 포인트들을 결정할 수 있다. 모델링 장치는 세그멘테이션 정보를 이용하여 투영된 라이다 포인트 클라우드(8b)에 대응하는 객체의 종류를 식별할 수 있다. 예를 들어, 투영된 라이다 포인트 클라우드(8b)는 타겟 객체인 선박에 대응하는 하나 이상의 라이다 포인트들(8c) 및 바다 또는 해수면에 대응하는 하나 이상의 라이다 포인트들(8d)을 포함할 수 있다. 모델링 장치는 상기 식별한 결과에 기초하여 타겟 객체에 대응하는 하나 이상의 라이다 포인트들(8c)을 하나 이상의 타겟 라이다 포인트들(8c)로 결정할 수 있다. 예를 들어, 모델링 장치는 선박에 대응하는 하나 이상의 라이다 포인트들(8c) 및 바다 또는 해수면에 대응하는 하나 이상의 라이다 포인트들(8d) 중 선박에 대응하는 하나 이상의 라이다 포인트들(8c)을 하나 이상의 타겟 라이다 포인트들(8c)로 결정할 수 있다.
도 15의 (d)를 참고하면, 모델링 장치는 디텍션 정보를 이용하여 투영된 라이다 포인트 클라우드(8b) 중 하나 이상의 타겟 라이다 포인트들을 결정할 수 있다. 모델링 장치는 디텍션 정보를 이용하여 투영된 라이다 포인트 클라우드(8b)에 대응하는 객체의 종류를 식별할 수 있다. 모델링 장치는 상기 식별한 결과에 기초하여 타겟 객체에 대응하는 하나 이상의 라이다 포인트들(8c, 8d)을 하나 이상의 타겟 라이다 포인트들(8c, 8d)로 결정할 수 있다. 도 15의 (c)의 세그멘테이션 정보를 이용하는 경우와 비교하면, 세그멘테이션 정보의 경우에는 이미지 프레임에 포함된 객체를 픽셀별로 구분하는 반면 디텍션 정보의 경우에는 바운딩 박스 형태로 구분하므로 실제로는 타겟 객체에 대응하지 않는 라이다 포인트(8d)도 타겟 라이다 포인트로 결정될 수 있다. 따라서 모델링 장치는 세그멘테이션 정보를 이용하는 경우 디텍션 정보를 이용하는 것보다 정확하게 타겟 라이다 포인트를 결정할 수 있다.
이하에서는 이미지 프레임으로부터 획득한 특징 정보 중 타겟 특징 정보를 결정하는 방법에 대해 보다 구체적으로 설명한다.
모델링 장치는 전술한 객체 종류 정보를 이용하여 특징 정보 중 타겟 특징 정보를 결정할 수 있다. 모델링 장치는 객체 종류 정보를 이용하여 특징 정보에 대응하는 객체의 종류를 식별할 수 있다. 모델링 장치는 상기 식별한 결과에 기초하여 특징 정보 중 타겟 특징 정보를 결정할 수 있다. 예를 들어, 모델링 장치는 특징 정보 중 타겟 객체에 대응하는 것으로 식별된 것을 타겟 특징 정보로 결정할 수 있다.
도 16은 일 실시예에 따른 객체 종류 정보를 이용하여 특징 정보로부터 타겟 특징 정보를 획득하는 것에 관한 도면으로, 선박이 타겟 객체인 경우이다.
도 16의 (a)를 참고하면, 모델링 장치는 이미지 프레임(90a)을 획득할 수 있다.
도 16의 (b)를 참고하면, 모델링 장치는 이미지 프레임(90a)으로부터 특징 정보(9a)를 획득할 수 있다.
도 16의 (c)를 참고하면, 모델링 장치는 세그멘테이션 정보를 이용하여 특징 정보(9a) 중 타겟 특징 정보를 결정할 수 있다. 모델링 장치는 세그멘테이션 정보를 이용하여 특징 정보(9a)에 대응하는 객체의 종류를 식별할 수 있다. 예를 들어, 특징 정보(9a)는 타겟 객체인 선박에 대응하는 특징 정보(9b) 및 바다 또는 해수면에 대응하는 특징 정보(9c)를 포함할 수 있다. 모델링 장치는 상기 식별한 결과에 기초하여 타겟 객체에 대응하는 특징 정보(9b)를 타겟 특징 정보(9b)로 결정할 수 있다. 예를 들어, 모델링 장치는 선박에 대응하는 특징 정보(9b) 및 바다 또는 해수면에 대응하는 특징 정보(9c) 중 선박에 대응하는 특징 정보(9b)를 타겟 특징 정보(9b)로 결정할 수 있다.
도 16의 (d)를 참고하면, 모델링 장치는 디텍션 정보를 이용하여 특징 정보(9a) 중 타겟 특징 정보를 결정할 수 있다. 모델링 장치는 디텍션 정보를 이용하여 특징 정보(9a)에 대응하는 객체의 종류를 식별할 수 있다. 모델링 장치는 상기 식별한 결과에 기초하여 타겟 객체에 대응하는 특징 정보(9b, 9c)를 타겟 특징 정보(9b, 9c)로 결정할 수 있다. 도 16의 (c)의 세그멘테이션 정보를 이용하는 경우와 비교하면, 세그멘테이션 정보의 경우에는 이미지 프레임에 포함된 객체를 픽셀별로 구분하는 반면 디텍션 정보의 경우에는 바운딩 박스 형태로 구분하므로 실제로는 타겟 객체에 대응하지 않는 특징 정보(9c)도 타겟 특징 정보로 결정될 수 있다. 따라서 모델링 장치는 세그멘테이션 정보를 이용하는 경우 디텍션 정보를 이용하는 것보다 정확하게 타겟 특징 정보를 결정할 수 있다.
모델링 장치는 복셀화(voxelization)된 타겟 라이다 포인트에 기초하여 타겟 객체를 모델링할 수 있다.
도 17은 일 실시예에 따른 복셀화에 관한 도면이다.
도 17을 참고하면, 3차원 공간은 복셀화를 통해 복수의 복셀 그리드(voxel grid, 9d)로 분할될 수 있다. 각 복셀 그리드(9d)에 포함되는 하나 이상의 타겟 라이다 포인트들(9e)은 하나의 대표 라이다 포인트(9f)로 취급될 수 있다. 이에 따라 모델링 장치가 취급해야 하는 라이다 포인트의 개수가 감소하고, 따라서 모델링 장치가 타겟 객체를 모델링하는데 필요한 계산 비용(computational cost)이 감소하게 된다.
상기 대표 라이다 포인트(9f)의 좌표는 상기 복셀 그리드(9d) 내의 임의의 지점의 좌표일 수 있다. 예를 들어, 상기 대표 라이다 포인트(9f)의 좌표는 상기 복셀 그리드(9d)의 중심점의 좌표일 수 있으나 이에 한정되는 것은 아니다.
2. 라이다 포인트에 기초하여 산출된 변환 정보를 이용한 모델링 방법
이상에서는 이미지 프레임에 기초하여 산출된 변환 정보를 이용한 모델링 방법에 대해 설명하였다. 이하에서는 라이다 포인트에 기초하여 산출된 변환 정보를 이용한 모델링 방법에 대해 목차 1. 이미지 프레임에 기초하여 산출된 변환 정보를 이용한 모델링 방법과의 차이점을 위주로 설명한다. 또한, 목차 1. 이미지 프레임에 기초하여 산출된 변환 정보를 이용한 모델링 방법에서 설명한 내용이 라이다 포인트에 기초하여 산출된 변환 정보를 이용한 모델링 방법에도 적용될 수 있다.
도 18은 일 실시예에 따른 라이다 포인트에 기초하여 산출된 변환 정보를 이용한 모델링 방법에 관한 도면이다.
일 실시예에 따르면, 모델링 방법은 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들을 획득함(S2100)을 포함할 수 있다. 예를 들어, 모델링 장치는 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들을 획득할 수 있다. 상기 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들의 획득에 대해서는 목차 1. 이미지 프레임에 기초하여 산출된 변환 정보를 이용한 모델링 방법에서 설명한 내용이 적용될 수 있으므로 중복되는 설명은 생략한다.
일 실시예에 따르면, 모델링 방법은 제2 타겟 라이다 포인트들을 이용하여 복수의 평면들을 생성함(S2200)을 포함할 수 있다. 예를 들어, 모델링 장치는 제2 타겟 라이다 포인트들을 이용하여 복수의 평면들을 생성할 수 있다.
도 19는 일 실시예에 따른 라이다 포인트들을 이용하여 평면들을 생성하는 것에 관한 도면이다.
모델링 장치는 제2 타겟 라이다 포인트들 각각에 대해 상기 각 제2 타겟 라이다 포인트와 관련된 평면들을 생성할 수 있다. 이하에서는 상기 각 제2 타겟 라이다 포인트를 타겟 포인트라 한다. 이에 따라, 모델링 장치는 제2 타겟 라이다 포인트들 중 하나를 타겟 포인트로 하여 이와 관련된 평면들을 생성하고, 상기 제2 타겟 라이다 포인트들 중 다른 하나를 타겟 포인트로 하여 다시 이와 관련된 평면들을 생성하고, 이를 상기 제2 타겟 라이다 포인트들 전체에 대해 반복 수행하여 상기 제2 타겟 라이다 포인트들 각각에 대해 이와 관련된 평면들을 생성할 수 있다.
모델링 장치는 타겟 포인트에 대해 상기 타겟 포인트 및 이와 인접한 라이다 포인트들을 이용하여 상기 타겟 포인트와 관련된 평면들을 생성할 수 있다. 상기 타겟 포인트 및 이와 인접한 라이다 포인트들은 제2 타겟 라이다 포인트들에 포함될 수 있다. 도 19를 참고하면, 타겟 포인트 p 0에 대해 상기 타겟 포인트 p 0 및 이와 인접한 라이다 포인트들 p 1, p 2, p 3, p 4를 이용하여 평면들 Π1, Π2, Π3, Π4를 생성할 수 있다. 이와 유사하게, 타겟 포인트가 p 2인 경우에는 이와 인접한 라이다 포인트들 p 0, p 5, p 6, p 7을 이용하여 평면들을 생성할 수 있을 것이다.
도 19에서는 타겟 포인트와 인접한 4개의 라이다 포인트들을 이용하여 평면들을 생성하는 것으로 도시하였으나, 인접한 라이다 포인트들의 개수는 이와 달라질 수 있다.
또한, 도 19에서는 라이다가 회전형 라이다인 경우에 대한 것으로, 타겟 포인트와 인접한 라이다 포인트들이 상기 타겟 포인트와 좌우로 인접한 라이다 포인트들 및 상하로 인접한 라이다 포인트들을 포함하고, 상기 좌우로 인접한 라이다 포인트들은 상기 타겟 포인트와 동일한 링에 존재하고 그 순서가 상기 타겟 포인트의 직전과 직후인 라이다 포인트들이고, 상기 상하로 인접한 라이다 포인트들은 상기 타겟 포인트의 위아래 링들에 존재하고 거리가 가장 가까운 라이다 포인트들인 것으로 도시하였으나, 상기 타겟 포인트와 인접한 라이다 포인트들이 반드시 이와 같이 결정되어야 하는 것은 아니다. 예를 들어, 타겟 포인트와 인접한 라이다 포인트들 모두 상기 타겟 포인트와의 거리를 기준(예: 타겟 포인트와 거리가 가까운 소정의 개수의 라이다 포인트들을 상기 타겟 포인트와 인접한 라이다 포인트들로 결정)으로 결정되거나, 또는 이와 다른 방식으로 결정될 수도 있다.
일부 실시예에서, 모델링 장치는 타겟 포인트와 관련된 평면들 중 적어도 일부를 서로 병합할 수 있다. 이때, 모델링 장치는 상기 평면들 사이의 유사도를 고려하여 상기 평면들을 병합할 수 있다. 예를 들어, 도 19를 참고하면, 모델링 장치는 하기 식 5와 같이 제1 평면 Π1과 제2 평면 Π2 사이의 거리 d 12를 산출할 수 있다.
[식 5]
여기서, x0, x1 및 x2는 각각 p 0, p 1 및 p 2의 좌표이고, n1 및 n2는 각각 제1 평면 Π1 및 제2 평면 Π2의 법선 벡터(normal vector)이다. 이때, 상기 산출된 거리 d 12가 문턱값(threshold)보다 작은 경우 상기 제1 평면과 상기 제2 평면을, 예를 들어 하기 식 6과 같이, 하나의 평면 Π12으로 병합할 수 있다.
[식 6]
여기서, n12는 병합된 평면 Π12의 법선 벡터이다. 이와 유사하게 도 19의 제3 평면 Π3 및 제4 평면 Π4이 하나의 평면 Π34으로 병합될 수 있다. 또한, 병합된 평면들 Π12 및 Π34도 이와 유사하게 하나의 평면 Π1234으로 병합될 수 있다.
상기와 같이, 타겟 포인트에 대하여 이와 관련된 평면들은 서로 병합될 수 있으므로, 타겟 포인트와 관련된 평면들의 개수는 타겟 포인트별로 상이할 수 있다. 예를 들어, 제2 타겟 라이다 포인트들 중 제1 타겟 포인트와 관련된 평면들의 개수는 상기 제2 타겟 라이다 포인트들 중 상기 제1 타겟 포인트와 상이한 제2 타겟 포인트와 관련된 평면들의 개수와 상이할 수 있다.
한편, 타겟 포인트와 관련된 평면들이 상기와 동일한 방식으로 병합되어야 하는 것은 아니다. 예를 들어, 상기 식 5와 다른 방식으로 평면들 사이의 거리를 산출하거나, 상기 식 6과 다른 방식으로 병합된 평면을 생성할 수 있다.
다시 도 18을 참고하면, 일 실시예에 따른 모델링 방법은 제1 타겟 라이다 포인트들, 제2 타겟 라이다 포인트들 및 복수의 평면들에 기초하여 산출된 변환 정보를 이용하여 제1 타겟 라이다 포인트들의 좌표를 변환함(S2300)을 포함할 수 있다. 예를 들어, 모델링 장치는 제1 타겟 라이다 포인트들, 제2 타겟 라이다 포인트들 및 복수의 평면들에 기초하여 산출된 변환 정보를 이용하여 제1 타겟 라이다 포인트들의 좌표를 변환할 수 있다.
도 20은 일 실시예에 따른 라이다 포인트들의 좌표 변환에 관한 도면이다.
일 실시예에 따르면, 모델링 방법은 제1 타겟 라이다 포인트들 각각에 대해, 복수의 평면들 중 각 제1 타겟 라이다 포인트와 대응하는 평면을 결정함(S2310)을 포함할 수 있다. 예를 들어, 모델링 장치는 제1 타겟 라이다 포인트들 각각에 대해, 복수의 평면들 중 각 제1 타겟 라이다 포인트와 대응하는 평면을 결정할 수 있다. 여기서, 상기 복수의 평면들은 단계 S2200에서 제2 타겟 라이다 포인트들을 이용하여 생성된 것일 수 있다. 이하에서는 상기 각 제1 타겟 라이다 포인트를 쿼리 포인트라 한다. 이에 따라, 모델링 장치는 제1 타겟 라이다 포인트들 중 하나를 쿼리 포인트로 하여 이에 대응하는 평면을 결정하고, 상기 제1 타겟 라이다 포인트들 중 다른 하나를 쿼리 포인트로 하여 다시 이에 대응하는 평면을 결정하고, 이를 상기 제1 타겟 라이다 포인트들 전체에 대해 반복 수행하여 상기 제1 타겟 라이다 포인트들 각각에 대해 이에 대응하는 평면을 결정할 수 있다.
모델링 장치는 쿼리 포인트 및 복수의 평면들 사이의 거리에 기초하여 상기 쿼리 포인트에 대응하는 평면을 결정할 수 있다. 예를 들어, 모델링 장치는 복수의 평면들 중 쿼리 포인트와의 거리가 최소가 되는 평면을 상기 쿼리 포인트에 대응하는 평면으로 결정할 수 있다.
모델링 장치는 제2 타겟 라이다 포인트들 중 쿼리 포인트에 대응하는 특정 포인트를 결정하고, 상기 특정 포인트와 관련된 평면들 중 상기 쿼리 포인트에 대응하는 평면을 결정할 수 있다. 예를 들어, 모델링 장치는 제2 타겟 라이다 포인트들 중 쿼리 포인트와의 거리가 최소인 특정 포인트를 결정하고, 상기 특정 포인트와 관련된 평면들 중 상기 쿼리 포인트와의 거리가 최소가 되는 평면을 상기 쿼리 포인트에 대응하는 평면으로 결정할 수 있다.
일 실시예에 따르면, 모델링 방법은 제1 타겟 라이다 포인트들 및 이에 대응하는 평면들에 기초하여 변환 정보를 산출함(S2320)을 포함할 수 있다. 예를 들어, 모델링 장치는 제1 타겟 라이다 포인트들 및 이에 대응하는 평면들에 기초하여 변환 정보를 산출할 수 있다. 상기 변환 정보는 타겟 객체의 움직임을 반영할 수 있다. 예를 들어, 상기 변환 정보는 제1 시점 및 제2 시점 사이의 타겟 객체의 움직임을 반영할 수 있다. 상기 변환 정보는 3차원 좌표에 적용될 수 있다. 예를 들어, 모델링 장치는 라이다 포인트의 제1 시점에 대응하는 3차원 좌표에 상기 변환 정보를 적용하여 상기 라이다 포인트의 제2 시점에 대응하는 3차원 좌표를 산출할 수 있다.
모델링 장치는 제1 타겟 라이다 포인트들 및 이에 대응하는 평면들 사이의 거리에 기초하여 변환 정보를 산출할 수 있다. 예를 들어, 모델링 장치는 제1 타겟 라이다 포인트들 및 이에 대응하는 평면들 사이의 거리가 최소가 되도록 변환 정보를 산출할 수 있다. 모델링 장치는 제1 타겟 라이다 포인트들 중 하나 및 이에 대응하는 평면 사이의 거리를 산출하고, 상기 제1 타겟 라이다 포인트들 중 다른 하나 및 이에 대응하는 평면 사이의 거리를 산출하고, 이를 상기 제1 타겟 라이다 포인트들 전체에 대해 반복 수행하여 상기 제1 타겟 라이다 포인트들 각각에 대해 이에 대응하는 평면 사이의 거리를 산출하고, 이에 기초하여 변환 정보를 산출할 수 있다.
변환 정보는 평행 이동 정보 및 회전 정보 중 적어도 하나를 포함할 수 있다. 하기 식 7은 평행 이동 정보의 일 예인 평행 이동 행렬을 나타내고, 하기 식 8은 회전 정보의 일 예인 회전 행렬로, 회전 각도가 작은 경우를 가정하여 근사한 경우를 나타낸다.
[식 7]
여기서, t1, t2 및 t3는 각각 x축, y축 및 z축 방향으로의 평행 이동이다.
[식 8]
여기서, α, β 및 γ는 각각 x축, y축 및 z축에 대한 회전 각도이다.
일 실시예에 따르면, 모델링 방법은 변환 정보를 제1 타겟 라이다 포인트들의 좌표에 적용하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환함(S2330)을 포함할 수 있다. 예를 들어, 모델링 장치는 변환 정보를 제1 타겟 라이다 포인트들의 좌표에 적용하여 상기 제1 타겟 라이다 포인트들의 좌표를 변환할 수 있다.
일 실시예에 따르면, 모델링 방법은 변환된 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들을 비교함(S2340)을 포함할 수 있다. 예를 들어, 모델링 장치는 변환된 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들을 비교할 수 있다. 변환된 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들을 비교한다는 것은 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들 사이의 거리를 미리 정해진 값과 비교하는 것일 수 있다. 보다 구체적으로, 변환된 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들을 비교한다는 것은 상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들의 3차원 좌표계(예: 라이다 좌표계) 상에서의 거리를 미리 정해진 값과 비교하는 것일 수 있다.
상기 비교한 결과가 미리 정해진 조건을 만족할 때까지 모델링 장치는 단계 S2310 내지 S2340을 반복 수행할 수 있다. 상기 비교한 결과가 미리 정해진 조건을 만족한다는 것은 변환된 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들 사이의 거리가 미리 정해진 값 이하인 것을 의미할 수 있다. 보다 구체적으로, 상기 비교한 결과가 미리 정해진 조건을 만족한다는 것은 변환된 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들의 3차원 좌표계(예: 라이다 좌표계) 상에서의 거리가 미리 정해진 값 이하인 것을 의미할 수 있다. 모델링 장치는 단계 S2310 내지 S2340을 반복 수행함에 따라 변환 정보를 반복하여 산출(변환 정보를 갱신하는 것으로 볼 수도 있을 것이다.)하고, 제1 타겟 라이다 포인트들의 좌표를 반복하여 변환(제1 타겟 라이다 포인트들의 좌표를 갱신하는 것으로 볼 수도 있을 것이다.)할 수 있다.
일 실시예에 따르면, 모델링 방법은 변환된 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들을 이용하여 타겟 객체를 모델링함(S2400)을 포함할 수 있다. 예를 들어, 모델링 장치는 변환된 제1 타겟 라이다 포인트들 및 제2 타겟 라이다 포인트들을 이용하여 타겟 객체를 모델링할 수 있다. 상기 타겟 객체의 모델링에 대해서는 목차 1. 이미지 프레임에 기초하여 산출된 변환 정보를 이용한 모델링 방법에서 설명한 내용이 적용될 수 있으므로 중복되는 설명은 생략한다.
도 21은 라이다 포인트에 기초하여 산출된 변환 정보를 이용한 모델링 방법에 관한 알고리즘의 예시에 관한 도면으로, (a)는 전체 알고리즘에 관한 것이고, (b)는 (a)의 전체 알고리즘 중 쿼리 포인트에 대응하는 평면을 결정하는 세부 알고리즘에 관한 것이다. 여기서, 도 21의 (a)의 알고리즘은 Switchable Plane ICP(SP-ICP)로 명명되었다. 도 21의 (a)에서, P 및 Q는 각각 타겟 포인트들 및 쿼리 포인트들이고, xP, rP 및 sP는 각각 타겟 포인트의 좌표, 타겟 포인트에 대응하는 링, 타겟 포인트에 대응하는 시퀀스이고, xQ는 쿼리 포인트의 좌표이다. R 및 t는 각각 회전 행렬 및 평행 이동 행렬이다. SP-ICP는 특정 타겟 포인트에 대해 이와 관련된 복수의 평면들을 생성하고(라인 3), 특정 쿼리 포인트에 대해 상기 복수의 평면들 중 이에 대응하는 평면을 결정하는데(라인 8, 9), 이때 특정 쿼리 포인트에 대응하는 평면을 매 iteration 과정에서 결정하는 것을 포함하는 알고리즘이다.
도 22는 모델링 방법의 일 실시예인 SP-ICP의 정확도에 관한 표로, KITTI 벤치마크 테스트 결과이다.
도 22에 대해 보다 자세히 설명하면, 비교를 위해 G-ICP, NDT 및 point-to-plane ICP에 대해서도 함께 테스트하였고, KITTI 벤치마크의 모든 시퀀스 00-10에 대해 테스트를 진행하였다. 오도메트리(odometry) 측정은 3D 라이다 데이터만을 이용하였고, 초기 자세는 이전 매칭 결과를 이용하였다. 입력 데이터 및 초기 자세는 각 알고리즘에서 가져왔다. 모든 알고리즘에서 동일하게 타겟 포인트들에 대해서는 원본 클라우드, 소스 포인트들에 대해서는 20cm 복셀화된 클라우드가 이용되었다. G-ICP, NDT 및 point-to-plane ICP에 대해서는 PCL 라이브러리의 기본 파라미터가 사용되었다. Point-to-plane ICP에서의 각 포인트에 대한 법선 벡터는 상기 각 포인트를 기준으로 20cm 반경 내의 인접한 포인트들로 추정되었다. Sparse한 상황에 대해 테스트하기 위해서는 KITTI 벤치마크 데이터는 너무 dense하기 때문에, extra normal이 추가된 SP-ICP에 대해서 테스트하였고, 공정한 비교를 위해 point-to-plane ICP에서도 extra normal이 추가되었다. Extra normal이 추가되지 않은 SP-ICP에 대해서도 함께 테스트하였다.
도 22는 각 알고리즘에 대해 평행 이동 에러 및 회전 에러를 나타낸다. Point-to-plane ICP의 평행 이동 에러는 3.93%, 회전 에러는 0.0344 deg/m이었고, NDT의 평행 이동 에러는 2.01%, 회전 에러는 0.0164 deg/m이었고, G-ICP의 평행 이동 에러는 1.83%, 회전 에러는 0.0133 deg/m이었다. 반면, SP-ICP의 평행 이동 에러는 1.28%, 회전 에러는 0.0087 deg/m이었고, extra normal이 추가된 SP-ICP의 평행 이동 에러는 1.17%, 회전 에러는 0.0082 deg/m이었다. 이를 통해, SP-ICP 계열을 이용하는 경우 다른 알고리즘에 비해 정확도가 향상됨을 확인할 수 있었다.
도 23 및 도 24는 모델링 방법의 일 실시예인 SP-ICP를 이용한 모델링 결과의 시각화에 관한 도면으로, 항만에서 선박 등을 감지하는 상황에 대한 테스트 결과이다. 도 23은 3차원 시점, 도 24는 2차원으로 투영된 시점을 나타내고, 도 23 및 도 24 각각에서 (a)는 SP-ICP 결과, (b)는 G-ICP 결과, (c)는 NDT 결과이고, 왼쪽 그림은 1번 데이터셋, 가운데 그림은 2번 데이터셋, 오른쪽 그림은 3번 데이터셋에 대한 결과이다.
도 23 및 도 24에 대해 보다 자세히 설명하면, 비교를 위해 G-ICP 및 NDT에 대해서도 함께 테스트하였고, KITTI 벤치마크 데이터보다 라이다 포인트 클라우드의 점밀도가 희박한 상황의 일 예로, 항만에서 선박 등을 감지하는 상황에 대해 테스트하였다. 라이다와 선박 사이의 거리는 대략 30m 내지 150m로, 도로에서 차량 등을 감지하는 상황과 비교할 때 라이다와 객체 사이의 거리가 멀어지므로 라이다 포인트 클라우드의 점밀도가 희박한 상황에 대해 테스트하기 적합하다. 테스트는 16채널 라이다(RS-LiDAR-16)와 두 대의 카메라를 이용하여 진행되었다. 거리에 따라 3개(약 100m)에서 8개(약 40m) 정도의 링이 객체에 도달할 수 있었고, 링 사이의 간격은 거리에 따라 2m 내지 4m 정도, 동일한 링 내에서의 인접한 라이다 포인트 사이의 간격은 대략 15cm 내지 30cm 정도였다. 감지된 객체인 선박의 대략적인 크기는 길이가 120m 내지 200m, 폭이 30m 정도였다. 1번의 스캔을 통해 거리에 따라 500개 내지 5000개 정도의 라이다 포인트를 획득할 수 있었다.
선박의 접안 상황을 나타내는 3개의 데이터셋에 대해 테스트를 진행하였고, 실측 자료(ground truth)를 마련할 수 없어 시각화된 결과를 가지고 정확도를 비교하였다. 100개의 프레임의 라이다 데이터를 누적하였고, 라이다 포인트의 적색-녹색-청색 그라데이션은 시간적으로 가장 이른 라이다 포인트(적색)부터 가장 늦은 라이다 포인트(청색)를 의미한다. 선박이 선명하게 보일수록 알고리즘의 정확도가 높은 것으로 간주할 수 있다. G-ICP 및 NDT를 이용한 경우 모든 데이터셋에 대해 선박이 지저분하거나 왜곡되어 모델링된 반면, SP-ICP를 이용한 경우에는 G-ICP 및 NDT보다 선박이 선명하고 명확하게 모델링됨을 확인할 수 있었다.
도 25는 도 23 및 도 24의 테스트 결과의 정확도를 보다 수치적으로 표현한 것으로, 2차원으로 투영된 데이터에서의 복셀화된 라이다 포인트들의 개수를 나타낸다. 일반적으로, 복셀화된 라이다 포인트들의 개수가 적을수록 객체가 더 선명하고 명확하게 모델링된 것을 의미한다. 도 25를 참고하면, 1번 데이터셋, 2번 데이터셋 및 3번 데이터셋 모두에 대해 SP-ICP의 복셀화된 라이다 포인트들의 개수가 적은 것으로 나타났고, 따라서 G-ICP 및 NDT에 비해 SP-ICP가 객체를 보다 정확하게 모델링한 것으로 볼 수 있다.
실시예에 따른 방법은 다양한 컴퓨팅 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 실시예를 기준으로 본 출원을 설명하였으나 본 출원은 이에 한정되지 않으며, 본 출원의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 출원이 속하는 기술 분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
100: 센서 장치
200: 모델링 장치
210: 통신부
220: 저장부
230: 제어부
300: 출력 장치
400: 서버
500: 사용자 단말

Claims (11)

  1. 라이다 센서와 카메라 센서를 함께 이용하여 이동하는 관심 객체를 3차원으로 모델링하는 모델링 방법에 있어서,
    제1 시점에 라이다 센서로부터 제1 라이다 포인트들을 획득하는 단계;
    상기 제1 시점에 카메라 센서로부터 제1 시점 이미지를 획득하는 단계;
    상기 제1 시점 이미지에 기초하여, 상기 제1 라이다 포인트들 중 상기 관심 객체에 대응하는 제1 타겟 라이다 포인트들을 선택하는 단계;
    상기 제1 시점 이후인 제2 시점에 상기 라이다 센서로부터 제2 라이다 포인트들을 획득하는 단계;
    상기 제2 시점에 상기 카메라 센서로부터 제2 시점 이미지를 획득하는 단계;
    상기 제2 시점 이미지에 기초하여, 상기 제2 라이다 포인트들 중 상기 관심 객체에 대응하는 제2 타겟 라이다 포인트들을 선택하는 단계;
    상기 제2 타겟 라이다 포인트들 각각마다, 상기 각각의 제2 타겟 라이다 포인트 및 이와 인접한 상기 제2 타겟 라이다 포인트들을 이용하여 상기 각각의 제2 타겟 라이다 포인트와 관련된 복수의 평면들을 생성하는 단계;
    상기 제1 타겟 라이다 포인트들, 상기 제2 타겟 라이다 포인트들 및 상기 복수의 평면들을 이용하여, 상기 제1 타겟 라이다 포인트들에 대해 변환된 제1 라이다 포인트들을 획득하는 단계; 및
    상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 관심 객체를 모델링하는 단계를 포함하고,
    상기 변환된 제1 라이다 포인트들을 획득하는 단계는,
    상기 제1 타겟 라이다 포인트들 각각 마다, 제n차 예비변환된 제1 타겟 라이다 포인트들(이때, n은 1 이상의 자연수)을 획득하는 단계; 및
    제n차 예비변환된 제1 타겟 라이다 포인트들이 미리 정해진 기준을 만족하는 경우, 상기 제n차 예비변환된 제1 타겟 라이다 포인트들을 상기 변환된 제1 라이다 포인트들로 결정하는 단계를 포함하며,
    i) n이 1인 경우,
    상기 제n차 예비변환된 제1 타겟 라이다 포인트들은 상기 제1 타겟 라이다 포인트들을 제1 변환정보에 의해 변환하여 획득하며, 이때, 제1 변환정보는 상기 제1 타겟 라이다 포인트들 및 이들 각각에 대응되는 대응 평면들에 의해 산출되고,
    ii) n이 2이상인 경우,
    상기 제n차 예비변환된 제1 타겟 라이다 포인트들은 제n-1차 변환된 제1 타겟 라이다 포인트들을 제n 변환정보에 의해 변환하여 획득하며, 이때, 상기 제n 변환정보는 제n-1차 예비변환된 제1 타겟 라이다 포인트들 및 이들 각각에 대응되는 대응 평면들에 의해 산출되는 것인
    모델링 방법.
  2. 제1항에 있어서,
    상기 제1 타겟 라이다 포인트들을 선택하는 단계는
    상기 제1 시점 이미지에 대한 세그멘테이션을 수행하는 단계; 및
    상기 제1 시점 이미지에 대한 세그멘테이션 결과에 기초하여, 상기 제1 라이다 포인트들 중 상기 관심 객체에 대응하는 제1 타겟 라이다 포인트들을 선택하는 단계;를 포함하는
    모델링 방법.
  3. 제1항에 있어서,
    상기 제2 타겟 라이다 포인트들을 선택하는 단계는
    상기 제2 시점 이미지에 대한 세그멘테이션을 수행하는 단계; 및
    상기 제2 시점 이미지에 대한 세그멘테이션 결과에 기초하여, 상기 제2 라이다 포인트들 중 상기 관심 객체에 대응하는 제2 타겟 라이다 포인트들을 선택하는 단계;를 포함하는
    모델링 방법.
  4. 제1항에 있어서,
    상기 변환된 제1 라이다 포인트들을 획득하는 단계는
    상기 제n차 예비변환된 제1 타겟 라이다 포인트들이 미리 정해진 기준을 만족하는 경우, 제n+1 변환정보를 산출하지 않는
    모델링 방법.
  5. 제1항에 있어서,
    상기 변환된 제1 라이다 포인트들을 획득하는 단계는
    상기 제n차 예비변환된 제1 타겟 라이다 포인트들이 미리 정해진 기준을 만족하지 않는 경우, 제n+1 변환정보를 산출하는
    모델링 방법.
  6. 제1 항 내지 제5 항 중 어느 한 항에 기재된 방법을 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  7. 카메라 센서;
    라이다 센서; 및
    상기 라이다 센서로부터 획득된 정보를 이용하여 관심 객체를 3차원으로 모델링하는 모델링 장치;를 포함하며,
    상기 모델링 장치는,
    상기 라이다 센서로부터 제1 시점에 대응되는 제1 라이다 포인트들을 획득하고,
    상기 카메라 센서로부터 상기 제1 시점에 대응되는 제1 시점 이미지를 획득하고,
    상기 제1 시점 이미지에 기초하여, 상기 제1 라이다 포인트들 중 상기 관심 객체에 대응하는 제1 타겟 라이다 포인트들을 선택하고,
    상기 라이다 센서로부터 상기 제1 시점 이후인 제2 시점에 대응되는 제2 라이다 포인트들을 획득하고,
    상기 카메라 센서로부터 상기 제2 시점에 대응되는 제2 시점 이미지를 획득하고,
    상기 제2 시점 이미지에 기초하여, 상기 제2 라이다 포인트들 중 상기 관심 객체에 대응하는 제2 타겟 라이다 포인트들을 선택하고,
    상기 제2 타겟 라이다 포인트들 각각마다, 상기 각각의 제2 타겟 라이다 포인트 및 이와 인접한 상기 제2 타겟 라이다 포인트들을 이용하여 상기 각각의 제2 타겟 라이다 포인트와 관련된 복수의 평면들을 생성하고,
    상기 제1 타겟 라이다 포인트들, 상기 제2 타겟 라이다 포인트들 및 상기 복수의 평면들을 이용하여, 상기 제1 타겟 라이다 포인트들에 대해 변환된 제1 라이다 포인트들을 획득하고,
    상기 변환된 제1 타겟 라이다 포인트들 및 상기 제2 타겟 라이다 포인트들을 이용하여 상기 관심 객체를 모델링하되,
    상기 모델링 장치는, 상기 변환된 제1 라이다 포인트들을 획득하기 위하여,
    상기 제1 타겟 라이다 포인트들 각각 마다, 제n차 예비변환된 제1 타겟 라이다 포인트들(이때, n은 1 이상의 자연수)을 획득하고,
    제n차 예비변환된 제1 타겟 라이다 포인트들이 미리 정해진 기준을 만족하는 경우, 상기 제n차 예비변환된 제1 타겟 라이다 포인트들을 상기 변환된 제1 라이다 포인트들로 결정하며, 이때,
    i) n이 1인 경우,
    상기 제n차 예비변환된 제1 타겟 라이다 포인트들은 상기 제1 타겟 라이다 포인트들을 제1 변환정보에 의해 변환하여 획득하며, 이때, 제1 변환정보는 상기 제1 타겟 라이다 포인트들 및 이들 각각에 대응되는 대응 평면들에 의해 산출되고,
    ii) n이 2이상인 경우,
    상기 제n차 예비변환된 제1 타겟 라이다 포인트들은 제n-1차 변환된 제1 타겟 라이다 포인트들을 제n 변환정보에 의해 변환하여 획득하며, 이때, 상기 제n 변환정보는 제n-1차 예비변환된 제1 타겟 라이다 포인트들 및 이들 각각에 대응되는 대응 평면들에 의해 산출되는 것인
    모델링 시스템.
  8. 제7 항에 있어서,
    상기 모델링 장치는, 상기 제1 타겟 라이다 포인트들을 선택하기 위하여,
    상기 제1 시점 이미지에 대한 세그멘테이션을 수행하고,
    상기 제1 시점 이미지에 대한 세그멘테이션 결과에 기초하여, 상기 제1 라이다 포인트들 중 상기 관심 객체에 대응하는 제1 타겟 라이다 포인트들을 선택하는
    모델링 시스템.
  9. 제7 항에 있어서,
    상기 모델링 장치는, 상기 제2 타겟 라이다 포인트들을 선택하기 위하여,
    상기 제2 시점 이미지에 대한 세그멘테이션을 수행하고,
    상기 제2 시점 이미지에 대한 세그멘테이션 결과에 기초하여, 상기 제2 라이다 포인트들 중 상기 관심 객체에 대응하는 제2 타겟 라이다 포인트들을 선택하는
    모델링 시스템.
  10. 제7 항에 있어서,
    상기 모델링 장치는
    상기 제n차 예비변환된 제1 타겟 라이다 포인트들이 미리 정해진 기준을 만족하는 경우, 제n+1 변환정보를 산출하지 않는
    모델링 시스템.
  11. 제7 항에 있어서,
    상기 모델링 장치는
    상기 제n차 예비변환된 제1 타겟 라이다 포인트들이 미리 정해진 기준을 만족하지 않는 경우, 제n+1 변환정보를 산출하는
    모델링 시스템.
KR1020220125834A 2021-06-01 2022-09-30 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템 KR102613257B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220125834A KR102613257B1 (ko) 2021-06-01 2022-09-30 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210071134A KR102451797B1 (ko) 2021-06-01 2021-06-01 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
KR1020220125834A KR102613257B1 (ko) 2021-06-01 2022-09-30 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020210071134A Division KR102451797B1 (ko) 2021-06-01 2021-06-01 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템

Publications (2)

Publication Number Publication Date
KR20220163306A KR20220163306A (ko) 2022-12-09
KR102613257B1 true KR102613257B1 (ko) 2023-12-14

Family

ID=83598242

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020210071134A KR102451797B1 (ko) 2021-06-01 2021-06-01 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
KR1020220125834A KR102613257B1 (ko) 2021-06-01 2022-09-30 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020210071134A KR102451797B1 (ko) 2021-06-01 2021-06-01 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템

Country Status (2)

Country Link
KR (2) KR102451797B1 (ko)
WO (1) WO2022255777A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101569654B1 (ko) 2015-06-12 2015-11-16 (주)선운 이앤지 지상라이다를 이용한 가공송전철탑 기초의 변위 및 각입측정과 분석방법
KR101993920B1 (ko) * 2013-08-30 2019-06-27 퀄컴 인코포레이티드 물리적 장면을 표현하기 위한 방법 및 장치
WO2020050498A1 (ko) 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치
JP2020514876A (ja) 2017-01-27 2020-05-21 ユーシーエル ビジネス リミテッド ３ｄデータセットのアライメントのための装置、方法、及びシステム
KR102125958B1 (ko) 2017-12-29 2020-06-24 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2357608B1 (en) * 2009-12-28 2012-11-21 Softkinetic Software Tracking method
GB2538751A (en) * 2015-05-27 2016-11-30 Imp College Of Science Tech And Medicine Modelling a three-dimensional space
LU100465B1 (en) * 2017-10-05 2019-04-09 Applications Mobiles Overview Inc System and method for object recognition
EP3769530A1 (en) * 2018-03-20 2021-01-27 PCMS Holdings, Inc. System and method for optimizing dynamic point clouds based on prioritized transformations
KR102113955B1 (ko) * 2018-10-04 2020-05-22 씨드로닉스(주) 선박 및 항만 모니터링 장치 및 방법
KR102257610B1 (ko) * 2019-10-02 2021-05-28 고려대학교 산학협력단 자율 주행 시스템을 위한 복수의 3차원 라이다 센서의 외부 파리미터 보정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993920B1 (ko) * 2013-08-30 2019-06-27 퀄컴 인코포레이티드 물리적 장면을 표현하기 위한 방법 및 장치
KR101569654B1 (ko) 2015-06-12 2015-11-16 (주)선운 이앤지 지상라이다를 이용한 가공송전철탑 기초의 변위 및 각입측정과 분석방법
JP2020514876A (ja) 2017-01-27 2020-05-21 ユーシーエル ビジネス リミテッド ３ｄデータセットのアライメントのための装置、方法、及びシステム
KR102125958B1 (ko) 2017-12-29 2020-06-24 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 포인트 클라우드 데이터를 융합하기 위한 방법 및 장치
WO2020050498A1 (ko) 2018-09-04 2020-03-12 씨드로닉스㈜ 이미지 세그멘테이션을 이용한 주변 환경 감지 방법 및 장치

Also Published As

Publication number Publication date
KR102451797B1 (ko) 2022-10-12
WO2022255777A1 (ko) 2022-12-08
KR20220163306A (ko) 2022-12-09

Similar Documents

Publication Publication Date Title
US10013801B2 (en) Texturing a 3D modeled object
CN111024040B (zh) 距离估计方法和设备
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
US8254667B2 (en) Method, medium, and system implementing 3D model generation based on 2D photographic images
US20100204964A1 (en) Lidar-assisted multi-image matching for 3-d model and sensor pose refinement
US11275673B1 (en) Simulated LiDAR data
US9367920B2 (en) Method and apparatus for processing images
CN103649998A (zh) 确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法
KR20210119417A (ko) 깊이 추정법
WO2012096747A1 (en) Forming range maps using periodic illumination patterns
US20220108544A1 (en) Object detection apparatus, system and method
US9147279B1 (en) Systems and methods for merging textures
Ozog et al. Mapping underwater ship hulls using a model-assisted bundle adjustment framework
KR102387679B1 (ko) 지오아크를 이용한 3차원 운송수단 국소화
US11790605B2 (en) 3D reconstruction with smooth maps
US20190249992A1 (en) Systems and methods for electronic mapping and localization within a facility
JP6902881B2 (ja) 情報処理装置及び三次元モデルの生成方法
Weinmann et al. Geometric point quality assessment for the automated, markerless and robust registration of unordered TLS point clouds
Taubin et al. 3d scanning for personal 3d printing: build your own desktop 3d scanner
CN117136315A (zh) 使用模型注入进行点云数据增强的设备、系统、方法和媒体
KR102613257B1 (ko) 타겟 객체를 모델링하는 모델링 방법, 모델링 장치 및 모델링 시스템
CN113439289A (zh) 用于确定对象厚度的图像处理
CN115661252A (zh) 一种实时位姿估计方法、装置、电子设备以及存储介质
JP7298687B2 (ja) 物体認識装置及び物体認識方法
WO2021014538A1 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right