KR102155021B1 - 점군 데이터의 3차원 직육면체 모델링 방법 및 장치 - Google Patents

점군 데이터의 3차원 직육면체 모델링 방법 및 장치 Download PDF

Info

Publication number
KR102155021B1
KR102155021B1 KR1020180156395A KR20180156395A KR102155021B1 KR 102155021 B1 KR102155021 B1 KR 102155021B1 KR 1020180156395 A KR1020180156395 A KR 1020180156395A KR 20180156395 A KR20180156395 A KR 20180156395A KR 102155021 B1 KR102155021 B1 KR 102155021B1
Authority
KR
South Korea
Prior art keywords
parameters
rectangular parallelepiped
point group
group information
point cloud
Prior art date
Application number
KR1020180156395A
Other languages
English (en)
Other versions
KR20200069161A (ko
Inventor
도락주
정운형
Original Assignee
고려대학교 산학협력단
(주)티랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단, (주)티랩스 filed Critical 고려대학교 산학협력단
Priority to KR1020180156395A priority Critical patent/KR102155021B1/ko
Publication of KR20200069161A publication Critical patent/KR20200069161A/ko
Application granted granted Critical
Publication of KR102155021B1 publication Critical patent/KR102155021B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

점군 데이터의 3차원 직육면체 모델링 방법을 개시한다. 본 발명의 일 실시예에 따른 점군 데이터의 3차원 직육면체 모델링 방법은 3차원 물체에 대한 3차원 점군(point cloud) 데이터를 포함하는 점군정보를 획득하는 단계; 상기 점군정보에 대응되는 소정의 직육면체를 나타내는 복수의 매개변수에 기초하여, 상기 점군정보에 관한 가우시안 혼합 모델(Gaussian mixture model)을 생성하는 단계; 상기 가우시안 혼합 모델 및 상기 점군정보에 포함된 복수의 점 각각이 상기 직육면체를 구성하는 각각의 평면에 포함되는 확률을 나타내는 복수의 잠재변수를 이용하여, 가능도(likelihood)함수를 생성하는 단계; 및 기댓값최대화(expectation maximization, EM) 방법을 이용하여, 상기 가능도함수의 기댓값이 최대가 되도록 하는 상기 복수의 매개변수의 결과값을 산출하는 단계 를 포함한다.

Description

점군 데이터의 3차원 직육면체 모델링 방법 및 장치{METHOD AND APPARATUS FOR MODELING 3D CUBOID OF POINT CLOUD DATA}
본 발명은 점군 데이터를 3차원 직육면체로 모델링하는 방법 및 장치에 관한 것으로, 보다 상세하게는, 임의의 직육면체 형태의 3차원 물체에 대한 점군 데이터를 이용하여 3차원 직육면체를 모델링하는 방법 및 장치에 관한 것이다.
실제 물체를 스캔하여 3차원 모델로 만들려는 시도는 오랫동안 있었다. 예컨대, Camera, IR, Lidar와 같은 센서로 얻은 정보는 다양한 가정과 가공을 거쳐 3차원 모델로 만들어 졌다.
구체적으로, IR, Lidar 등의 센서로 얻은 정보는 3차원 점군 정보로 물체의 표면에 위치하는 x,y,z 좌표를 가진 점들의 집합이다. 이러한 점군 정보는 도 1과 같이 비균등 샘플(Non-uniform sampling), 노이즈(Noisy data), 불일치(Outliers), 부분측정(Missing data), 오류값(Misaligned scans) 등의 특성을 가지고 있어, 3차원 모델로 바로 만들기 쉽지 않았다. 이러한 특성으로 인해 다양한 추가 정보와 알려진 지식을 이용해 모델을 만들어 왔다.
이때, 가장 많이 사용된 지식은 물체의 표면이 부드럽게 이어진다는 점이다. 이 방식은 도 2처럼 낮은 차수의 다항식에 맞도록 측정된 점군 정보로부터 그 주변을 복원해 나가는 방식이다. 그러나, 이것과는 조금 다르게 물체의 부피가 부드럽게 이어진다는 점을 이용하는 것도 있다. 이런 방법은 도 3과 같이 부드러운 부피의 변화를 가지는 뼈대로 3차원 물체를 표현하고 복원한다. 다른 방법으로는 도 4처럼 물체 표면을 기준으로 안과 밖으로 나눌 수 있다는 지식을 이용하는 것이 있다. 즉, 점군 정보를 바탕으로 안쪽과 바깥쪽을 구분하는 정보를 부호로 주고 0이 되는 부분을 표면으로 복원하는 방식이 있다.
또한, 위의 방법들 보다 부분 측정에 더 강인하도록 사용된 방법들도 있다. 첫째로 복원하려는 3차원 모델과 관련된 많은 모델을 기초 정보로 가지고 측정된 값을 바탕으로 전체 혹은 부분을 가장 유사한 모델로 치환하는 것이다. 둘째로 도 5처럼 기본적인 기하의 조합으로 물체를 표현하는 것도 있다. 예를 들어, 평면, 원기둥, 원뿔, 고리, 구 와 같은 기본적인 기하로 측정된 점군 정보를 이용하는 것이다.
또한, 위와 같이 얻어진 정보를 평행, 대칭, 수직, 반복 등의 특성을 이용해 보정하고 복원하는 방법들도 존재한다.
그러나, 위와 같은 방식들은 추가적인 정보를 사용하게 된다. 주로 사용된 정보는 각 점의 법선 벡터를 이용하는 것이다. 주변의 점군의 분포를 이용해 법선벡터를 구하고 방향성을 통일시켜 사용한다. 물론 이 과정에서 스캐너의 위치나 다른 추가적인 정보도 사용될 수 있다.
다음으로 Camera를 이용해 이미지 정보나 이미지-깊이 정보를 얻을 수 있다. 이런 정보는 정보의 밀도나 노이즈 등의 특성이 점군 정보와는 다르지만 표면이 부드럽게 이어지는 부분, 이미 존재하는 물체 모델로 대체하는 등의 방법을 이용하는 것은 비슷하다. 다만 이미지 정보가 추가되기 때문에 물체를 구분하는 방법이 더 다양하게 존재한다.
그러나, 상술한 기존의 모델링 방법을 이용하여 직육면체 형태의 3차원 물체에 대한 점군 데이터로부터 3차원 직육면체를 모델링하는 경우에, 노이즈 등으로 인해 표면이 울퉁불퉁해지거나, 점군 데이터의 부족으로 직육면체의 특정한 면에 대한 데이터가 누락되는 등의 문제가 발생할 수 있다.
따라서, 직육면체 형태의 3차원 물체에 대한 점군 데이터로부터 3차원 직육면체를 보다 정확하게 모델링할 수 있는 방법 및 장치에 대한 필요성이 대두되고 있다.
관련 선행기술로는 한국등록특허 제10-1679741호(발명의 명칭: 외곽 공간 특징 정보 추출 방법, 공개일자: 2016년 11월 17일)가 있다.
본 발명은 상술한 종래의 기술의 문제를 해결하면서, 직육면체 형태의 3차원 물체에 대한 점군 데이터로부터 3차원 직육면체를 보다 정확하게 모델링하는 방법 및 장치를 제공하고자 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 점군 데이터의 3차원 직육면체 모델링 방법은 3차원 물체에 대한 3차원 점군(point cloud) 데이터를 포함하는 점군정보를 획득하는 단계; 상기 점군정보에 대응되는 소정의 직육면체를 나타내는 복수의 매개변수에 기초하여, 상기 점군정보에 관한 가우시안 혼합 모델(Gaussian mixture model)을 생성하는 단계; 상기 가우시안 혼합 모델 및 상기 점군정보에 포함된 복수의 점 각각이 상기 직육면체를 구성하는 각각의 평면에 포함되는 확률을 나타내는 복수의 잠재변수를 이용하여, 가능도(likelihood)함수를 생성하는 단계; 및 기댓값최대화(expectation maximization, EM) 방법을 이용하여, 상기 가능도함수의 기댓값이 최대가 되도록 하는 상기 복수의 매개변수의 결과값을 산출하는 단계를 포함한다.
바람직하게는, 상기 복수의 매개변수는 상기 직육면체의 중심좌표, 크기 및 방향 각각에 관한 매개변수를 포함할 수 있다.
바람직하게는, 상기 소정의 직육면체는 상기 점군정보에 포함된 복수의 점을 포함하고, 부피, 표면적의 합 및 모서리 길이의 합 중 어느 하나가 최소인 직육면체일 수 있다.
바람직하게는, 상기 복수의 매개변수의 결과값을 산출하는 단계는 상기 가능도함수의 기댓값을 상기 복수의 매개변수 및 상기 복수의 잠재변수 각각에 관해 미분하여 복수의 해석적 도함수(analytic jacobian)를 산출하는 단계; 소정의 종료 조건을 만족할 때까지, 상기 복수의 해석적 도함수를 이용하여 상기 복수의 매개변수 및 상기 복수의 잠재변수를 반복적으로 갱신하는 단계; 및 상기 갱신 결과로부터 상기 복수의 매개변수의 결과값을 산출하는 단계를 포함할 수 있다.
바람직하게는, 상기 복수의 잠재변수를 반복적으로 갱신하는 단계는 상기 복수의 매개변수 및 상기 복수의 잠재변수 각각에 대하여, 상기 복수의 해석적 도함수 중 대응되는 도함수의 값이 0이 되도록 하는 값으로 갱신할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 점군 데이터의 3차원 직육면체 모델링 장치는 3차원 물체에 대한 3차원 점군(point cloud)정보를 획득하는 획득부; 상기 점군정보에 대응되는 소정의 직육면체를 나타내는 복수의 매개변수에 기초하여, 상기 점군정보에 관한 가우시안 혼합 모델(Gaussian mixture model)을 생성하고, 상기 가우시안 혼합 모델 및 상기 점군정보에 포함된 복수의 점 각각이 상기 직육면체를 구성하는 각각의 평면에 포함되는 확률을 나타내는 복수의 잠재변수를 이용하여, 가능도(likelihood)함수를 생성하는 생성부; 및 기댓값최대화(expectation maximization, EM) 방법을 이용하여, 상기 가능도함수의 기댓값이 최대가 되도록 하는 상기 복수의 매개변수의 결과값을 산출하는 연산부를 포함한다.
바람직하게는, 상기 복수의 매개변수는 상기 직육면체의 중심좌표, 크기 및 방향 각각에 관한 매개변수를 포함할 수 있다.
바람직하게는, 상기 소정의 직육면체는 상기 점군정보에 포함된 복수의 점을 포함하고, 부피, 표면적의 합 및 모서리 길이의 합 중 어느 하나가 최소인 직육면체일 수 있다.
바람직하게는, 상기 연산부는 상기 가능도함수의 기댓값을 상기 복수의 매개변수 및 상기 복수의 잠재변수 각각에 관해 미분하여 복수의 해석적 도함수(analytic jacobian)를 산출하고, 소정의 종료 조건을 만족할 때까지, 상기 복수의 해석적 도함수를 이용하여 상기 복수의 매개변수 및 상기 복수의 잠재변수를 반복적으로 갱신하고, 상기 갱신 결과로부터 상기 복수의 매개변수의 결과값을 산출할 수 있다.
바람직하게는, 상기 연산부는 상기 복수의 매개변수 및 상기 복수의 잠재변수를 반복적으로 갱신할 때, 상기 복수의 매개변수 및 상기 복수의 잠재변수 각각에 대하여, 상기 복수의 해석적 도함수 중 대응되는 도함수의 값이 0이 되도록 하는 값으로 갱신할 수 있다.
본 발명은 수학식에 의해 정의된 직육면체에 대한 매개변수를 산출함으로써 완전한 형태의 직육면체를 모델링할 수 있는 효과가 있다. 즉, 직육면체의 기하학적인 특성인 각 면간 수평, 수직의 관계를 3차원 모델에서 유지할 수 있다. 또한, 매개변수를 통한 모델링이므로 매개변수의 수정을 통해 3차원 모델의 수정 및 사용이 용이하다.
또한, 본 발명은 3차원 점군 데이터의 x,y,z 좌표만을 이용하기 때문에, 센서의 위치, 각 점군의 법선 정보, 이미지 정보 등이 없이도 3차원 모델을 생성할 수 있는 효과가 있다. 그 결과, 점군의 법선 정보를 구하는 과정에서 발생하는 문제뿐만 아니라 센서의 위치가 부정확해 발생하는 문제도 3차원 모델에 영향을 미칠 우려가 없다. 또한 이미지 정보를 사용하면 일어나는 센서간 calibration 문제도 영향을 미치지 않아 점군 정보에 대한 더 정확한 3차원 모델을 생성할 수 있다. 또한 위의 정보들을 이용하지 않기 때문에 거리 측정 센서의 종류나 점군 정보를 얻는 방식과 무관하게 단일 직육면체 형태의 3차원 점군 데이터만 있다면 언제든 3차원 모델을 생성할 수 있다.
또한, 본 발명은 3차원 점군 데이터가 가지는 일반적인 특성인 비균등 샘플, 노이즈, 불일치, 부분측정, 오류값으로부터 강인하게 복원하여 3차원 모델을 생성할 수 있는 효과가 있다. 이는, 본 발명에서 정의한 직육면체는 각 평면을 가우시안 모델로 가정하기 때문에 점군 데이터가 비균등 샘플, 노이즈, 오류값, 불일치 등의 특성을 가지고 있어도 점군 데이터가 충분히 많다면 강인하게 동작할 수 있기 때문이다. 또한 직육면체가 공통의 매개변수를 사용하는 가우시안 혼합 모델이기 때문에 측정되지 않은 부분이 많아도 측정된 부분으로부터 9개의 매개변수를 충분히 추정할 수 있다.
도 1은 3차원 점군 데이터의 특징을 설명하기 위한 도면이다.
도 2는 낮은 차수의 다항식을 이용하여 오류를 복원하는 과정을 설명하기 위한 도면이다.
도 3은 부피의 부드러운 변화를 이용한 3차원 모델링을 설명하기 위한 도면이다.
도 4는 표면을 기준으로 안과 밖을 구분하는 알고리즘을 설명하기 위한 도면이다.
도 5는 기본 기하를 이용한 3차원 모델링을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 점군 데이터의 3차원 직육면체 모델링 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 기댓값최대화 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 점군 데이터의 3차원 직육면체 모델링 장치를 설명하기 위한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 직육면체의 매개변수를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 매개변수의 초기값을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 직육면체의 3차원 모델링 결과를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 6은 본 발명의 일 실시예에 따른 점군 데이터의 3차원 직육면체 모델링 방법을 설명하기 위한 흐름도이다.
단계 S610에서는, 직육면체 모델링 장치가 3차원 물체에 대한 3차원 점군(point cloud) 데이터를 포함하는 점군정보를 획득한다.
여기서, 점군 데이터는 위치 추정과 지형지도의 작성을 동시에 수행하는 SLAM(Simultaneous Localization And Mapping) 기술을 통해 얻어진 실내 공간의 3차원 점군 데이터일 수 있다. 보다 구체적으로, 점군 데이터는 그 실내 공간의 3차원 점군 데이터에서 직육면체의 형태 부분을 개별적으로 추출한 데이터일 수 있다. 또한, 점군 데이터는 SLAM 기술을 이용하지 않더라도, 라이다(Lidar), IR 센서 및 거리 센서 등을 이용하여 생성될 수 있음은 물론이다.
한편, 직육면체 모델링 장치가 획득한 점군 정보는 SLAM에서 가지는 위치 오차, 거리 센서의 오차, 다른 물체에 의한 가림, 측정 센서의 FoV(field of view, 관측 가능 범위) 한계 등으로 인해 도 1에서와 같이 비균등 샘플, 노이즈, 불일치, 부분측정, 오류값의 특성을 가질 수 있다. 또한, 점군 정보를 얻을 때 각 점군에서 법선의 정보는 얻어지지 않고, SLAM의 결과물을 잘라 사용하기 때문에 각 점군 정보를 얻은 센서의 위치는 누락될 수 있다. 특히, 직육면체의 형태 부분이 벽에 붙어있거나 바닥에 붙어있는 경우가 많아 부분측정의 오류가 크게 나타날 수 있다.
단계 S620에서는, 직육면체 모델링 장치가 점군정보에 대응되는 소정의 직육면체를 나타내는 복수의 매개변수에 기초하여, 점군정보에 관한 가우시안 혼합 모델(Gaussian mixture model)을 생성한다.
이때, 직육면체 모델링 장치는 점군정보에 대응되는 소정의 직육면체를 초기값으로 설정하고, 그 소정의 직육면체를 나타내는 매개변수의 값을 초기값으로 하여 복수의 매개변수 각각에 설정할 수 있다.
한편, 가우시안 혼합 모델은 도 9(b)를 참조하면, 점군정보에 포함된 복수의 점이 그 직육면체를 구성하는 6개의 평면 중 하나에 가우시안 분포를 가지면서 포함된다는 가정 하에 생성될 수 있다. 가우시안 혼합 모델은 복수의 매개변수에 의해 표현되며, 복수의 매개변수는 점군 정보에 포함된 복수의 점과 그 직육면체의 평면 간의 거리를 산출하는데 이용될 수 있다.
여기서, i번째 점의 j번째 평면에 대한 가우시안 분포는 아래의 수학식 1에 의해 정의될 수 있다.
[수학식 1]
Figure 112018122530499-pat00001
여기서, Xi는 i번째 점이고, μj는 j번째 평면의 법선 방향의 직육면체 길이이고, Xc는 직육면체의 중심좌표이고, θ 는 직육면체의 방향이고, C(θ)는 직육면체의 방향을 나타내는 Euler angle로 구한 3x3 rotation matrix이고, uj는 j번 평면의 법선 벡터이고, σ는 임의의 상수이다.
이때, 가우시안 분포는 직육면체의 중심좌표로부터 측정된 점까지의 벡터를 해당 평면의 법선에 투영한 값에서 해당 평면 방향 직육면체 길이의 절반을 빼거나 더한 것일 수 있다. 이는, 가우시안 분포가 직육면체의 중심좌표가 아닌 직육면체의 평면을 기준으로 하는 분포이기 때문이며, 직육면체 길이의 절반을 빼거나 더하는 것은 직육면체의 양방향에 따라 값을 더하거나 빼는 것이 달라지기 때문이다.
다른 실시예에서는, 복수의 매개변수는 직육면체의 중심좌표, 크기 및 방향 각각에 관한 매개변수를 포함할 수 있다.
즉, 복수의 매개변수는, 도 9(a)를 참조하면, 직육면체의 중심좌표(XC, (x,y,z)) 3개, 직육면체의 크기(w,d,h) 3개, 좌표중심(center)으로부터 직육면체가 향하는 방향을 나타내는 Euler angle(θ,(ρ,θ,φ)) 3개일 수 있다.
또 다른 실시예에서는, 소정의 직육면체는 점군정보에 포함된 복수의 점을 포함하고, 부피, 표면적의 합 및 모서리 길이의 합 중 어느 하나가 최소인 직육면체일 수 있다.
예컨대, 직육면체 모델링 장치는 MBB(minimal bounding box)라는 종래의 기술을 통해 초기추정값인 9개의 매개변수를 복수의 매개변수에 설정할 수 있다. 이때, MBB란 도 10과 같이 점군정보에 포함된 복수의 점을 모두 포함하면서 동시에 부피, 면적의 합, 모서리 길이의 합 중 하나가 최소가 되도록 하는 직육면체일 수 있다.
단계 S630에서는, 직육면체 모델링 장치가 그 가우시안 혼합 모델 및 점군정보에 포함된 복수의 점 각각이 직육면체를 구성하는 각각의 평면에 포함되는 확률을 나타내는 복수의 잠재변수를 이용하여, 가능도(likelihood)함수를 생성한다.
이때, 가능도함수(likelihood function)는 점군정보에 포함된 복수의 점에 관한 정보로부터 가우시안 혼합 모델의 복수의 매개변수 및 복수의 잠재변수를 추정하기 위하여 이용되는 함수일 수 있다.
한편, 가능도함수는 아래의 수학식 2와 같이 정의될 수 있다.
[수학식 2]
Figure 112018122530499-pat00002
여기서, K는 복수의 매개변수 및 복수의 잠재변수의 추정값이고, X는 복수의 점이고, Z는 직육면체의 각 평면이고, N는 복수의 점의 개수이고, τj는 j번째 평면의 잠재변수이고, II함수는 0 또는 1의 값을 가지는 인디케이터 함수이고, Zi는 i번째 점이 포함된 평면이다.
마지막으로 단계 S640에서는, 직육면체 모델링 장치가 기댓값최대화(expectation maximization, EM) 방법을 이용하여, 가능도함수의 기댓값이 최대가 되도록 하는 복수의 매개변수의 결과값을 산출한다.
일반적으로, 기댓값최대화 방법은 관측되지 않는 잠재변수에 의존적인 확률 모델에서 최대가능도(maximum likelihood)를 갖는 매개변수의 추정값을 반복적으로 구하는 알고리즘이다. 또한, 기댓값최대화 방법은 매개변수에 관한 추정값으로 로그 가능도의 기댓값을 산출하는 기댓값산출 단계와 이 기댓값을 최대화하는 매개변수의 추정값을 구하는 최대화 단계로 구성된다.
한편, 가능도함수의 기댓값은 아래 수학식 3과 같이 정의될 수 있다.
[수학식 3]
Figure 112018122530499-pat00003
여기서, T(t) j,i는 현재(t)의 추정에 기반한 i번째 점이 j번째 평면에 속할 확률의 조건부 분포(conditional distribution)이고, τj는 j번째 평면의 잠재변수이고, C(θ)는 직육면체의 방향을 나타내는 Euler angle로 구한 3x3 rotation matrix이고, uj는 j번 평면의 법선 벡터이고, Xc는 직육면체의 중심좌표이고, μj는 j번째 평면의 법선 방향의 직육면체 길이이고, σ는 임의의 상수이다.
한편, 현재(t)의 추정에 기반한 i번째 점이 j번째 평면에 속할 확률의 조건부 분포인 T(t) j,i는 아래의 수학식 4로 정의될 수 있다.
[수학식 4]
Figure 112018122530499-pat00004
여기서, τj는 j번째 평면의 잠재변수이고, Xi는 i번째 점이고, K는 복수의 매개변수 및 복수의 잠재변수의 추정값이고, μj는 j번째 평면의 법선 방향의 직육면체 길이이고, θ 는 직육면체의 방향이다.
한편, 직육면체 모델링 장치는 가능도함수의 기댓값을 최대화하기 위해 현재 추정(t)을 바탕으로 복수의 잠재변수, 직육면체의 크기, 직육면체의 중심좌표, 직육면체의 방향 각각에 대하여 미분할 수 있다. 또한, 직육면체 모델링 장치는 이렇게 구해진 해석적인 도함수(analytic jacobian)로부터 현재(t) 추정치로부터 새로운(t+1) 추정치를 찾는 방법을 반복하여 기댓값이 최대가 되면 그 추정치를 복수의 매개변수의 결과값으로 산출할 수 있다.
결과적으로, 직육면체 모델링 장치는 도 11(a)과 같은 점군 데이터를 포함하는 점군정보를 획득한 후, 도 11(b)와 같이 복수의 매개변수의 결과값에 의해 결정되는 직육면체로 3차원 모델링을 수행할 수 있다. 한편, 도 11(c)에는 점군정보와 3차원 모델링을 정합한 결과가 나타나 있다.
한편, 직육면체 모델링 장치가 복수의 매개변수의 결과값을 산출하는 구체적인 방법에 관하여는 도 7에 대한 설명에서 구체적으로 후술한다.
이와 같이, 본 발명의 일 실시예에 따른 점군 데이터의 3차원 직육면체 모델링 방법은 수학식에 의해 정의된 직육면체에 대한 복수의 매개변수를 가우시안 혼합 모델에 기반하여 산출함으로써 완전한 형태의 3차원 직육면체를 모델링할 수 있는 효과가 있다.
도 7은 본 발명의 일 실시예에 따른 기댓값최대화 방법을 설명하기 위한 흐름도이다.
단계 S710에서는, 직육면체 모델링 장치가 가능도함수의 기댓값을 복수의 매개변수 및 복수의 잠재변수에 관해 미분하여 복수의 해석적 도함수(analytic jacobian)를 산출한다.
즉, 직육면체 모델링 장치는 수학식 3에 정의된 가능도함수의 기댓값을 복수의 매개변수(Xc, μ, θ) 및 복수의 잠재변수(τ1,2,3,4,5,6) 각각에 관하여 미분함으로써, 복수의 해석적 도함수를 산출할 수 있다.
단계 S720에서는, 직육면체 모델링 장치가 소정의 종료 조건을 만족할 때까지, 그 복수의 해석적 도함수를 이용하여 복수의 매개변수 및 복수의 잠재변수를 반복적으로 갱신한다.
이때, 직육면체 모델링 장치는 각각의 변수에 관하여, 해석적 도함수의 값이 0이 되도록 하는 추정값을 새로운(t+1) 추정값으로 결정할 수 있다. 또한, 직육면체 모델링 장치는 가능도함수의 기댓값이 증가하여 최대가 될 때까지 또는 소정의 종료 조건을 만족할 때까지, 이 과정을 반복할 수 있다.
예컨대, 직육면체 모델링 장치는 수학식 5와 같이 잠재변수에 관한 해석적 도함수의 값이 0이 되도록 하는 추정값을 새로운(t+1) 잠재변수의 추정값으로 산출할 수 있다.
[수학식 5]
Figure 112018122530499-pat00005
여기서, τj (t+1)는 j번째 평면의 새로운 잠재변수 추정값이다.
또한, 직육면체 모델링 장치는 수학식 6의 해석적 도함수를 이용하여, 직육면체의 크기에 관한 해석적 도함수의 값이 0이 되도록 하는 추정값을 수학식 7과 같이 새로운(t+1) 직육면체의 크기의 추정값으로 산출할 수 있다.
[수학식 6]
Figure 112018122530499-pat00006
[수학식 7]
Figure 112018122530499-pat00007
여기서, μj는 j번째 평면의 법선 방향의 새로운(t+1) 직육면체 길이의 추정값이다.
또한, 직육면체 모델링 장치는 수학식 8의 해석적 도함수를 이용하여, 직육면체의 중심좌표에 관한 해석적 도함수의 값이 0이 되도록 하는 추정값을 수학식 9과 같이 새로운(t+1) 직육면체의 중심좌표의 추정값으로 산출할 수 있다.
[수학식 8]
Figure 112018122530499-pat00008
[수학식 9]
Figure 112018122530499-pat00009
또한, 직육면체 모델링 장치는 수학식 10의 해석적 도함수를 이용하여, 직육면체의 방향에 관한 해석적 도함수의 값이 0이 되도록 하는 추정값을 수학식 11과 같이 새로운(t+1) 직육면체의 방향의 추정값으로 산출할 수 있다.
한편, 수학식 10과 관련하여
Figure 112018122530499-pat00010
라는 근사식이 이용(barfoot paper)되었다.
[수학식 10]
Figure 112018122530499-pat00011
[수학식 11]
Figure 112018122530499-pat00012
이때, 종료 조건은 가능도함수의 기댓값의 증가치가 소정의 임계치(ε)이하인 조건일 수 있으며, 각각의 변수별로 임계치가 다르게 설정될 수 있다. 또한, 종료 조건은 이에 한정되지 않으며, 다양한 형태의 조건이 종료 조건으로 이용될 수 있음은 물론이다.
다른 실시예에서는, 직육면체 모델링 장치가 복수의 매개변수 및 복수의 잠재변수 각각에 대하여, 복수의 해석적 도함수 중 대응되는 도함수의 값이 0이 되도록 하는 값으로 갱신할 수 있다.
즉, 직육면체 모델링 장치는 상술한 바와 같이 가능도함수의 기댓값이 최대화되도록 하기 위하여 그 도함수의 값이 0이 되도록 하는 값으로 수의 매개변수 및 복수의 잠재변수 각각을 반복적으로 갱신해 나갈 수 있다.
마지막으로 단계 S730에서는, 직육면체 모델링 장치가 갱신 결과로부터 복수의 매개변수의 결과값을 산출한다.
즉, 직육면체 모델링 장치는 복수의 매개변수 및 복수의 잠재변수에 대한 마지막 추정값을 결과값으로 이용할 수 있다. 또한, 직육면체 모델링 장치는 그 복수의 매개변수 및 복수의 잠재변수의 결과값을 이용하여 3차원 직육면체를 모델링할 수 있다.
도 8은 본 발명의 일 실시예에 따른 점군 데이터의 3차원 직육면체 모델링 장치를 설명하기 위한 블록도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 점군 데이터의 3차원 직육면체 모델링 장치(800)는 획득부(810), 생성부(820) 및 연산부(830)를 포함한다.
이때, 점군 데이터의 3차원 직육면체 모델링 장치(800)는 데스크탑 컴퓨터, 노트북 컴퓨터, 서버 컴퓨터, 스마트폰 및 태블릿 등과 같은 다양한 형태의 컴퓨팅 장치에 탑재될 수 있다.
획득부(810)는 3차원 물체에 대한 3차원 점군(point cloud)정보를 획득한다.
생성부(820)는 그 점군정보에 대응되는 소정의 직육면체를 나타내는 복수의 매개변수에 기초하여, 그 점군정보에 관한 가우시안 혼합 모델(Gaussian mixture model)을 생성하고, 그 가우시안 혼합 모델 및 그 점군정보에 포함된 복수의 점 각각이 직육면체를 구성하는 각각의 평면에 포함되는 확률을 나타내는 복수의 잠재변수를 이용하여, 가능도(likelihood)함수를 생성한다.
다른 실시예에서는, 복수의 매개변수는 직육면체의 중심좌표, 크기 및 방향 각각에 관한 매개변수를 포함할 수 있다.
또 다른 실시예에서는, 소정의 직육면체는 점군정보에 포함된 복수의 점을 포함하고, 부피, 표면적의 합 및 모서리 길이의 합 중 어느 하나가 최소인 직육면체일 수 있다.
연산부(830)는 기댓값최대화(expectation maximization, EM) 방법을 이용하여, 그 가능도함수의 기댓값이 최대가 되도록 하는 복수의 매개변수의 결과값을 산출한다.
다른 실시예에서는, 연산부(830)는 가능도함수의 기댓값을 복수의 매개변수 및 복수의 잠재변수 각각에 관해 미분하여 복수의 해석적 도함수(analytic jacobian)를 산출하고, 소정의 종료 조건을 만족할 때까지, 복수의 해석적 도함수를 이용하여 그 복수의 매개변수 및 복수의 잠재변수를 반복적으로 갱신하고, 그 갱신 결과로부터 복수의 매개변수의 결과값을 산출할 수 있다.
또 다른 실시예에서는, 연산부(830)는 그 복수의 매개변수 및 복수의 잠재변수를 반복적으로 갱신할 때, 그 복수의 매개변수 및 복수의 잠재변수 각각에 대하여, 복수의 해석적 도함수 중 대응되는 도함수의 값이 0이 되도록 하는 값으로 갱신할 수 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (10)

  1. 3차원 물체에 대한 3차원 점군(point cloud) 데이터를 포함하는 점군정보를 획득하는 단계;
    상기 점군정보에 대응되는 소정의 직육면체를 나타내는 복수의 매개변수에 기초하여, 상기 점군정보에 관한 가우시안 혼합 모델(Gaussian mixture model)을 생성하는 단계;
    상기 가우시안 혼합 모델 및 상기 점군정보에 포함된 복수의 점 각각이 상기 직육면체를 구성하는 각각의 평면에 포함되는 확률을 나타내는 복수의 잠재변수를 이용하여, 가능도(likelihood)함수를 생성하는 단계; 및
    기댓값최대화(expectation maximization, EM) 방법을 이용하여, 상기 가능도함수의 기댓값이 최대가 되도록 하는 상기 복수의 매개변수의 결과값을 산출하는 단계
    를 포함하고,
    상기 복수의 매개변수의 결과값을 산출하는 단계는
    상기 가능도함수의 기댓값을 상기 복수의 매개변수 및 상기 복수의 잠재변수 각각에 관해 미분하여 복수의 해석적 도함수(analytic jacobian)를 산출하는 단계
    를 포함하는 것을 특징으로 하는 점군 데이터의 3차원 직육면체 모델링 방법.
  2. 제1항에 있어서,
    상기 복수의 매개변수는
    상기 직육면체의 중심좌표, 크기 및 방향 각각에 관한 매개변수를 포함하는 것을 특징으로 하는 점군 데이터의 3차원 직육면체 모델링 방법.
  3. 제1항에 있어서,
    상기 소정의 직육면체는
    상기 점군정보에 포함된 복수의 점을 포함하고, 부피, 표면적의 합 및 모서리 길이의 합 중 어느 하나가 최소인 직육면체인 것을 특징으로 하는 점군 데이터의 3차원 직육면체 모델링 방법.
  4. 제1항에 있어서,
    상기 복수의 매개변수의 결과값을 산출하는 단계는
    소정의 종료 조건을 만족할 때까지, 상기 복수의 해석적 도함수를 이용하여 상기 복수의 매개변수 및 상기 복수의 잠재변수를 반복적으로 갱신하는 단계; 및
    상기 갱신 결과로부터 상기 복수의 매개변수의 결과값을 산출하는 단계
    를 포함하는 것을 특징으로 하는 점군 데이터의 3차원 직육면체 모델링 방법.
  5. 제4항에 있어서,
    상기 복수의 잠재변수를 반복적으로 갱신하는 단계는
    상기 복수의 매개변수 및 상기 복수의 잠재변수 각각에 대하여, 상기 복수의 해석적 도함수 중 대응되는 도함수의 값이 0이 되도록 하는 값으로 갱신하는 것을 특징으로 하는 점군 데이터의 3차원 직육면체 모델링 방법.
  6. 3차원 물체에 대한 3차원 점군(point cloud)정보를 획득하는 획득부;
    상기 점군정보에 대응되는 소정의 직육면체를 나타내는 복수의 매개변수에 기초하여, 상기 점군정보에 관한 가우시안 혼합 모델(Gaussian mixture model)을 생성하고, 상기 가우시안 혼합 모델 및 상기 점군정보에 포함된 복수의 점 각각이 상기 직육면체를 구성하는 각각의 평면에 포함되는 확률을 나타내는 복수의 잠재변수를 이용하여, 가능도(likelihood)함수를 생성하는 생성부; 및
    기댓값최대화(expectation maximization, EM) 방법을 이용하여, 상기 가능도함수의 기댓값이 최대가 되도록 하는 상기 복수의 매개변수의 결과값을 산출하는 연산부
    를 포함하고,
    상기 연산부는
    상기 가능도함수의 기댓값을 상기 복수의 매개변수 및 상기 복수의 잠재변수 각각에 관해 미분하여 복수의 해석적 도함수(analytic jacobian)를 산출하는 것을 특징으로 하는 점군 데이터의 3차원 직육면체 모델링 장치.
  7. 제6항에 있어서,
    상기 복수의 매개변수는
    상기 직육면체의 중심좌표, 크기 및 방향 각각에 관한 매개변수를 포함하는 것을 특징으로 하는 점군 데이터의 3차원 직육면체 모델링 장치.
  8. 제6항에 있어서,
    상기 소정의 직육면체는
    상기 점군정보에 포함된 복수의 점을 포함하고, 부피, 표면적의 합 및 모서리 길이의 합 중 어느 하나가 최소인 직육면체인 것을 특징으로 하는 점군정보의 3차원 직육면체 모델링 장치.
  9. 제6항에 있어서,
    상기 연산부는
    소정의 종료 조건을 만족할 때까지, 상기 복수의 해석적 도함수를 이용하여 상기 복수의 매개변수 및 상기 복수의 잠재변수를 반복적으로 갱신하고,
    상기 갱신 결과로부터 상기 복수의 매개변수의 결과값을 산출하는 것을 특징으로 하는 점군 데이터의 3차원 직육면체 모델링 장치.
  10. 제9항에 있어서,
    상기 연산부는
    상기 복수의 매개변수 및 상기 복수의 잠재변수를 반복적으로 갱신할 때,
    상기 복수의 매개변수 및 상기 복수의 잠재변수 각각에 대하여, 상기 복수의 해석적 도함수 중 대응되는 도함수의 값이 0이 되도록 하는 값으로 갱신하는 것을 특징으로 하는 점군 데이터의 3차원 직육면체 모델링 장치.

KR1020180156395A 2018-12-06 2018-12-06 점군 데이터의 3차원 직육면체 모델링 방법 및 장치 KR102155021B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180156395A KR102155021B1 (ko) 2018-12-06 2018-12-06 점군 데이터의 3차원 직육면체 모델링 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180156395A KR102155021B1 (ko) 2018-12-06 2018-12-06 점군 데이터의 3차원 직육면체 모델링 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200069161A KR20200069161A (ko) 2020-06-16
KR102155021B1 true KR102155021B1 (ko) 2020-09-14

Family

ID=71141710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180156395A KR102155021B1 (ko) 2018-12-06 2018-12-06 점군 데이터의 3차원 직육면체 모델링 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102155021B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101477665B1 (ko) 2013-04-04 2014-12-30 한국기술교육대학교 산학협력단 불균일한 텍스쳐 표면의 불량 검출방법
KR101679741B1 (ko) 2015-05-06 2016-11-28 고려대학교 산학협력단 외곽 공간 특징 정보 추출 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101477665B1 (ko) 2013-04-04 2014-12-30 한국기술교육대학교 산학협력단 불균일한 텍스쳐 표면의 불량 검출방법
KR101679741B1 (ko) 2015-05-06 2016-11-28 고려대학교 산학협력단 외곽 공간 특징 정보 추출 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
좌윤석 외 4명, "모바일 레이저 스캐닝 데이터로부터 철도 선로 추출에 관한 연구", 한국측량학회지 제33권 제2호, 2015년. 1부.*

Also Published As

Publication number Publication date
KR20200069161A (ko) 2020-06-16

Similar Documents

Publication Publication Date Title
CN108732582B (zh) 车辆定位方法和装置
CN111508021B (zh) 一种位姿确定方法、装置、存储介质及电子设备
JP4650750B2 (ja) 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
US10684116B2 (en) Position and orientation measuring apparatus, information processing apparatus and information processing method
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
JP4650751B2 (ja) 三次元形状データの位置合わせ方法と装置
Grant et al. Point-to-plane registration of terrestrial laser scans
Aykin et al. On feature matching and image registration for two‐dimensional forward‐scan sonar imaging
EP2808842A2 (en) An apparatus and method for tracking and reconstructing three-dimensional objects
JP5753422B2 (ja) ３ｄパターンマッチング方法
JP6230442B2 (ja) 算出装置、方法及びプログラム
US10354444B2 (en) Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud
US11488354B2 (en) Information processing apparatus and information processing method
JP2014523572A (ja) 地図データの生成
CN113168729B (zh) 一种基于局部参考坐标系的3d形状匹配方法及装置
US11506755B2 (en) Recording medium recording information processing program, information processing apparatus, and information processing method
Kang et al. Primitive fitting based on the efficient multibaysac algorithm
Zang et al. Density-adaptive and geometry-aware registration of TLS point clouds based on coherent point drift
Kang et al. An optimized BaySAC algorithm for efficient fitting of primitives in point clouds
Günen et al. Comparison of point cloud filtering methods with data acquired by photogrammetric method and RGB-D sensors
KR102155021B1 (ko) 점군 데이터의 3차원 직육면체 모델링 방법 및 장치
Dierenbach et al. Next-Best-View method based on consecutive evaluation of topological relations
Du Edge Detection in 3D Point Clouds for Industrial Applications
Shokrzadeh Simultaneous Localization and Mapping for Semi-Sparse Point Clouds

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant