KR102393345B1 - 3차원 점군 처리 시스템 및 방법 - Google Patents
3차원 점군 처리 시스템 및 방법 Download PDFInfo
- Publication number
- KR102393345B1 KR102393345B1 KR1020210189854A KR20210189854A KR102393345B1 KR 102393345 B1 KR102393345 B1 KR 102393345B1 KR 1020210189854 A KR1020210189854 A KR 1020210189854A KR 20210189854 A KR20210189854 A KR 20210189854A KR 102393345 B1 KR102393345 B1 KR 102393345B1
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- information
- dimensional
- geometric information
- noise
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 238000012545 processing Methods 0.000 title claims abstract description 96
- 230000009467 reduction Effects 0.000 claims abstract description 79
- 238000001914 filtration Methods 0.000 claims abstract description 21
- 239000013589 supplement Substances 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 44
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000003064 k means clustering Methods 0.000 claims description 6
- 239000000047 product Substances 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims 1
- 230000001502 supplementing effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 10
- 238000009877 rendering Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/543—Depth or shape recovery from line drawings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
Abstract
3차원 점군 처리 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 3차원 점군 처리 시스템은 카메라 파라미터가 매칭된 촬영 이미지의 제1 3차원 점군을 투영하여 제1 2차원 기하 정보를 생성하되, 제1 2차원 기하 정보에 대한 신뢰도 정보를 생성하는 투영부; 제1 2차원 기하 정보 내에서 신뢰도 정보에 따라 불완전 영역 및 완전 영역으로 구분하고, 완전 영역을 기초로 불완전 영역을 추정하여 제1 2차원 기하 정보를 보완한 제2 2차원 기하 정보를 생성하는 밀도 증가부; 제2 2차원 기하 정보의 각 시점에 대한 깊이 정보를 역 투영하여 제2 3차원 점군을 생성하되, 이웃 시점 간 일관성 조건의 만족여부에 따라 점을 유지 또는 제거하는 필터링 절차를 수행하는 재구축부; 및 제2 3차원 점군으로부터 기 설정된 기준에 기초하여 잡음을 필터링 처리하기 위한 잡음 감소부를 포함하는 3차원 점군 처리 장치를 포함한다.
Description
개시되는 실시예들은 3차원 점군 처리 시스템 및 방법과 관련된다.
최근 확장현실(extended reality, XR) 메타버스와 자율주행 등 3차원 지도에 기초한 응용이 각광받음에 따라 현실 공간의 3차원 점군 재구축 기술의 중요성이 더욱 부각되고 있다.
3차원 점군 재구축 기술은 크게 카메라 기반 사진측량과 라이다(lidar) 기반 스캐닝으로 구분되며, 취득 비용이 낮고 공간 제약이 덜한 사진측량 기술이 더 널리 사용되고 있는 추세이다. 상술한 사진측량 및 스캐닝 중 품질 측면에서 라이다가 앞서기 때문에 사진측량 기반 3차원 점군의 품질을 향상시키기 위한 연구가 이루어지고 있다.
한편, 상술한 사진측량을 통해 고품질 3차원 점군을 획득하기 위해서는 데이터 획득이 중요할 수 있다. 이를 위해, 고성능 카메라 사용 및 데이터 획득을 위한 다양한 사전 계획이 요구된다. 구체적으로, 촬영 이미지에 포함되지 않은 정보는 재구축될 수 없으며, 촬영 이미지에 포함된 결함은 재구축 시 그대로 반영될 수 있는 것이다. 예를 들어, 촬영 이미지 상에서 가려져 보이지 않는 영역에는 점이 없어 여백으로 표시되고, 흐리거나 잡음이 있는 곳은 잘못된 점을 생성될 수 있는 것이다. 즉, 불완전한 데이터는 불완전한 3차원 점군을 야기시킬 수 있다.
개시된 실시예들은 불완전한 3차원 점군을 개선하기 위한 3차원 점군 처리 시스템 및 방법을 제공하고자 한다.
일 실시예에 따른 3차원 점군 처리 시스템은 카메라 파라미터가 매칭된 촬영 이미지의 제1 3차원 점군을 투영하여 제1 2차원 기하 정보를 생성하되, 상기 제1 2차원 기하 정보에 대한 신뢰도 정보를 생성하는 투영부; 상기 제1 2차원 기하 정보 내에서 상기 신뢰도 정보에 따라 불완전 영역 및 완전 영역으로 구분하고, 상기 완전 영역의 깊이 정보를 기초로 상기 불완전 영역의 깊이 정보를 추정하여 상기 제1 2차원 기하 정보를 보완한 제2 2차원 기하 정보를 생성하는 밀도 증가부; 상기 제2 2차원 기하 정보의 각 시점에 대한 깊이 정보를 역 투영하여 제2 3차원 점군을 생성하되, 이웃 시점 간 일관성 조건의 만족여부에 따라 점을 유지 또는 제거하는 필터링 절차를 수행하는 재구축부; 및 상기 제2 3차원 점군으로부터 기 설정된 기준에 기초하여 잡음을 필터링 처리하기 위한 잡음 감소부를 포함하는 3차원 점군 처리 장치를 포함한다.
상기 투영부를 통해 생성된 상기 제1 2차원 기하 정보는 깊이 정보 및 법선 정보를 포함할 수 있다.
상기 카메라 파라미터는 투영 행렬과, 회전 및 평행이동을 포함하는 변환 행렬로 구성되고, 상기 투영부는, 상기 투영 행렬과 상기 변환 행렬의 곱으로 3차원 전역 공간에서 2차원 화면 공간으로의 변환을 정의하고, 각 시점에 대응하는 정의된 변환을 상기 제1 3차원 점군 내 각 점에 적용하여 상기 제1 2차원 기하 정보를 획득할 수 있다.
상기 밀도 증가부는, 상기 완전 영역의 깊이 정보 및 법선 정보를 이용하여 상기 불완전 영역의 깊이 정보 및 법선 정보를 획득할 수 있다.
상기 재구축부는, 상기 필터링이 수행된 상기 제2 3차원 점군에 법선 정보 및 색상 정보를 적용할 수 있다.
상기 재구축부는, 상기 제2 2차원 기하 정보의 각 시점에 대한 상기 깊이 정보, 상기 카메라 파라미터, 법선 정보 및 색상 정보를 기초로 상기 제2 3차원 점군을 생성할 수 있다.
상기 잡음 감소부는, 상기 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하는 구조화 처리, 상기 복수의 복셀 내 점군을 군집으로 구분한 후 구분된 각 군집을 잡음 기준에 따라 분석하여 잡음에 해당하는 군집을 제거하는 군집화 처리, 상기 복수의 복셀 내 각 군집에서 적어도 하나 이상의 평면을 검출한 후 검출된 상기 적어도 하나 이상의 평면에 속하는 점을 해당 평면 상에 투영하는 평탄화 처리 및 상기 평면 상에 투영된 점군에서 잡음 기준과 일치하는 점을 제거하는 표본화 처리를 통해 상기 제2 3차원 점군으로부터 상기 잡음을 필터링 처리할 수 있다.
상기 잡음 감소부는, 상기 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하되, 균등 분할 기법, 비균등 분할 기법 및 적응형 분할 기법 중 어느 하나를 이용하여 분할할 수 있다.
상기 잡음 감소부는, 상기 복수의 복셀 내 점군을 군집으로 구분할 때, K-평균 군집화 기법 및 밀도 기반 군집화 기법 중 어느 하나를 이용하여 군집화 할 수 있다.
상기 잡음 감소부는, 상기 평탄화 처리 시, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준치 이상일 경우 평면 검출에 실패한 것으로 판단하고, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준 미만일 경우, 평면 검출에 성공한 것으로 판단하여 점군을 투영할 수 있다.
상기 잡음 감소부는, 상기 표본화 처리 시, 상기 평면에 투영된 상기 점군에서 기 설정된 거리 이내로 서로 인접한 점 중 적어도 하나 이상을 삭제 처리할 수 있다.
다른 실시예에 따른 3차원 점군 처리 시스템에서 3차원 점군 처리를 수행하는 방법은, 상기 3차원 점군 처리 시스템이 카메라 파라미터가 매칭된 촬영 이미지의 제1 3차원 점군을 투영하여 제1 2차원 기하 정보를 생성하되, 상기 제1 2차원 기하 정보에 대한 신뢰도 정보를 생성하는 단계; 상기 제1 2차원 기하 정보 내에서 상기 신뢰도 정보에 따라 불완전 영역 및 완전 영역으로 구분하고, 상기 완전 영역의 깊이 정보를 기초로 상기 불완전 영역의 깊이 정보를 추정하여 상기 제1 2차원 기하 정보를 보완한 제2 2차원 기하 정보를 생성하는 단계; 상기 제2 2차원 기하 정보의 각 시점에 대한 깊이 정보를 역 투영하여 제2 3차원 점군을 생성하되, 이웃 시점 간 일관성 조건의 만족여부에 따라 점을 유지 또는 제거하는 필터링 절차를 수행하는 단계; 및 상기 제2 3차원 점군으로부터 기 설정된 기준에 기초하여 잡음을 필터링 처리하는 단계를 포함한다.
상기 제1 2차원 기하 정보는 깊이 정보 및 법선 정보를 포함할 수 있다.
상기 카메라 파라미터는 투영 행렬과, 회전 및 평행이동을 포함하는 변환 행렬로 구성되고, 상기 제1 2차원 기하 정보를 생성하는 단계는, 상기 투영 행렬과 상기 변환 행렬의 곱으로 3차원 전역 공간에서 2차원 화면 공간으로의 변환을 정의하는 단계; 및 각 시점에 대응하는 상기 정의된 변환을 상기 제1 3차원 점군 내 각 점에 적용하여 상기 제1 2차원 기하 정보를 획득하는 단계를 포함할 수 있다.
상기 제2 2차원 기하 정보를 생성하는 단계에서, 상기 완전 영역의 깊이 정보 및 법선 정보를 이용하여 상기 불완전 영역의 깊이 정보 및 법선 정보를 획득할 수 있다.
상기 제2 3차원 점군을 생성하는 단계는, 상기 제2 2차원 기하 정보의 각 시점에 대한 상기 깊이 정보, 상기 카메라 파라미터, 법선 정보 및 색상 정보를 기초로 상기 제2 3차원 점군을 생성하는 단계를 포함할 수 있다.
상기 잡음을 필터링 처리하는 단계는, 상기 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하는 구조화 처리 단계; 상기 복수의 복셀 내 점군을 군집으로 구분한 후 구분된 각 군집을 잡음 기준에 따라 분석하여 잡음에 해당하는 군집을 제거하는 군집화 처리 단계; 상기 복수의 복셀 내 각 군집에서 적어도 하나 이상의 평면을 검출한 후 검출된 상기 적어도 하나 이상의 평면에 속하는 점을 해당 평면 상에 투영하는 평탄화 처리 단계; 및 상기 평면 상에 투영된 점군에서 잡음 기준과 일치하는 점을 제거하는 표본화 처리를 통해 상기 제2 3차원 점군으로부터 상기 잡음을 필터링 처리하는 단계를 포함할 수 있다.
상기 구조화 처리 단계에서, 상기 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하되, 균등 분할 기법, 비균등 분할 기법 및 적응형 분할 기법 중 어느 하나를 이용하여 분할할 수 있다.
상기 복수의 복셀 내 점군을 군집으로 구분하는 단계에서, K-평균 군집화 기법 및 밀도 기반 군집화 기법 중 어느 하나를 이용하여 군집화 할 수 있다.
상기 평탄화 처리 단계에서, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준치 이상일 경우 평면 검출에 실패한 것으로 판단하고, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준 미만일 경우, 평면 검출에 성공한 것으로 판단하여 점군을 투영할 수 있다.
상기 표본화 처리 단계에서, 상기 평면에 투영된 상기 점군에서 기 설정된 거리 이내로 서로 인접한 점 중 적어도 하나 이상을 삭제 처리할 수 있다.
개시되는 실시예들에 따르면, 불완전한 3차원 점군을 밀도 증가의 반복 처리를 통해 개선할 수 있다는 효과를 기대할 수 있다.
개시되는 실시예들에 따르면, 기 생성된 3차원 점군에 별도의 비용을 들이지 않고 추가 연산만으로도 기 생성된 불완전한 3차원 점군을 사후 개선할 수 있다는 효과를 기대할 수 있다.
개시되는 실시예들에 따르면, 불완전한 3차원 점군의 밀도 증가를 통해 렌더링의 입력으로 적용되는 점군 자체를 개선하기 때문에, 가상 현실 렌더링의 품질을 향상시킬 수 있고, 이로 인해 실시간 렌더링 성능을 향상시켜 시각적 결함을 미연에 방지할 수 있다는 장점이 있다.
도 1은 일 실시예에 따른 3차원 점군 처리 시스템을 설명하기 위한 블록도
도 2는 일 실시예에 따른 3차원 점군 처리 방법을 대략적으로 설명하기 위한 예시도
도 3a 및 도 3b는 일 실시예에 따른 불완전한 3차원 점군을 나타내는 예시도
도 4는 일 실시예에 따른 색상 정보 및 2차원 기하 정보를 나타내는 예시도
도 5는 일 실시예에 따른 깊이 정보의 밀도를 증가시킨 경우를 설명하기 위한 예시도
도 6a 및 도 6b는 일 실시예에 따른 3차원 점군으로부터 잡음 감소를 설명하기 위한 예시도
도 7a 및 도 7b는 일 실시예에 따른 3차원 점군의 밀도 증가를 설명하기 위한 예시도
도 8은 일 실시예에 따른 3차원 점군 처리 방법을 설명하기 위한 흐름도
도 9는 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 일 실시예에 따른 3차원 점군 처리 방법을 대략적으로 설명하기 위한 예시도
도 3a 및 도 3b는 일 실시예에 따른 불완전한 3차원 점군을 나타내는 예시도
도 4는 일 실시예에 따른 색상 정보 및 2차원 기하 정보를 나타내는 예시도
도 5는 일 실시예에 따른 깊이 정보의 밀도를 증가시킨 경우를 설명하기 위한 예시도
도 6a 및 도 6b는 일 실시예에 따른 3차원 점군으로부터 잡음 감소를 설명하기 위한 예시도
도 7a 및 도 7b는 일 실시예에 따른 3차원 점군의 밀도 증가를 설명하기 위한 예시도
도 8은 일 실시예에 따른 3차원 점군 처리 방법을 설명하기 위한 흐름도
도 9는 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 3차원 점군 처리 시스템을 설명하기 위한 블록도이다.
3차원 점군 처리 시스템(1000)은 영상 촬영 장치(100) 및 3차원 점군 처리 장치(200)를 포함한다.
보다 상세히 설명하면, 영상 촬영 장치(100)는 영상을 촬영하기 위한 구성일 수 있다. 본 실시예에서 개시하는 영상 촬영 장치(100)는 시야각이 90도로, 이를 이용하여 상하좌우전후 여섯 방향에 대해 제1 방향 기준(예를 들어, 가로) 360도, 제2 방향 기준(예를 들어, 세로) 180도를 촬영할 수 있다. 예를 들어, 영상 촬영 장치(100)는 카메라일 수 있으며, 이에 한정되지 않고, 영상 촬영이 가능한 구성이라면 모두 가능하다 할 것이다.
도 2는 일 실시예에 따른 3차원 점군 처리 방법을 대략적으로 설명하기 위한 예시도이다.
3차원 점군 처리 장치(200)는 기 생성된 불완전한 3차원 점군에 일련의 연산을 수행하여 점군의 밀도를 증가시키되, 밀도 증가 과정을 반복 수행하여 점진적으로 개선할 수 있는 구성일 수 있다. 이때, 불완전한 3차원 점군은 가상 현실 렌더링을 위한 점군이 부족한 상태를 의미할 수 있다. 예를 들어, 불완전한 3차원 점군을 이용하여 가상 현실 렌더링을 수행하는 경우, 특정 영역(예를 들어, 천장, 바닥, 특정 콘텐츠 등)이 빈 공간으로 표시되거나, 또는 완성되지 않은 형태로 표시될 수 있다. 상술한 불완전한 3차원 점군은 완전한 3차원 점군 대비 불완전한 3차원 점군으로 인식하도록 운용자에 의해서 설정된 기준에 따라 결정될 수 있다.
본 실시예는 후술하는 과정을 통해 기 생성된 불완전한 3차원 점군의 밀도를 증가시킬 수 있다. 본 실시예는 3차원 점군의 밀도 증가 시, 경험적 접근법, 즉, 운용자에 의해서 요구되는 기준까지 밀도를 증가시키는 방식을 적용할 수 있다.
도 2에서 도시하는 바와 같이, 3차원 점군 처리 장치(200)는 점군의 밀도 증가를 통해 신호와 잡음을 증폭하고, 점군의 잡음 감소를 통해 다시 신호와 잡음을 감쇄할 수 있다. 이때, 밀도 증가 시 신호를 더 많이 증폭하고, 잡음 감소 시 잡음을 더 많이 감쇄할 수 있다. 이때, 신호는 점군 중 잡음이 아닌 점을 의미하는 것일 수 있다.
본 실시예는 상술한 과정을 반복 수행하여 점에 해당하는 신호는 증가시키고 잡음은 감소시키는 과정을 점진적으로 수행하여 경험적 최적해, 즉, 신호와 잡음이 혼합되어 있는 점군에서 운용자에 의해서 요구되는 기준에 해당하는 신호의 비율을 높이도록 점근할 수 있다. 이러한 과정을 통해 점군의 품질이 목표치에 도달한 경우 상술한 반복 절차를 중단하여 연산량을 최적화할 수 있다.
도 1을 참고하면, 3차원 점군 처리 장치(200)는 투영부(210), 밀도 증가부(230), 재구축부(250) 및 잡음 감소부(270)를 포함할 수 있다. 도 3a 및 도 3b는 일 실시예에 따른 불완전한 3차원 점군을 나타내는 예시도일 수 있다.
도 2를 참고하면, 3차원 점군 처리 장치(200)는 주어진 3차원 점군을 2차원으로 투영하여 2차원 기하 정보를 획득하고, 2차원 기하 정보 상에서 밀도를 증가시킬 수 있다. 이때, 투영은 3차원 점군을 영상 촬영 장치(100)로 촬영하는 것으로서, 3차원 점군 처리 장치(200)는 투영을 통해 2차원 이미지를 획득할 수 있다. 이때, 획득된 2차원 이미지를 2차원 기하 정보라고 할 수 있다. 상술한 과정을 통해 밀도가 증가함에 따라 신호가 증가하는데 이때 잡음 역시 증가할 수 있다. 본 실시예에서 신호는 점군 중 양질의 점을 의미하는 것으로, 잡음과 반대 개념일 수 있다. 다음, 3차원 점군 처리 장치(200)는 밀도가 증가된 2차원 기하 정보를 3차원 점군으로 다시 재구축하여 잡음 감소 처리를 수행할 수 있다. 이 과정에서, 잡음이 신호에 비해 많이 감소될 수 있도록 할 수 있다. 3차원 점군 처리 장치(200)는 상술한 투영 및 재구축 절차를 반복 수행하여 점군 내 신호와 잡음이 기준치가 일치하는 경우 절차를 종료할 수 있다.
상술한 투영부(210)와 재구축부(250)는 3차원 점군과 2차원 기하 정보를 상호 변환할 수 있다. 밀도 증가부(230)와 잡음 감소부(270)는 각각 2차원 기하 정보와 3차원 점군의 밀도를 증가시킬 수 있다. 3차원 점군 및 기타 입력 정보가 주어졌을 때, 본 실시예는 후술하는 과정을 통해 입력 점군의 밀도를 증가시킬 수 있는 것이다.
보다 상세히 설명하면, 투영부(210)는 카메라 파라미터가 매칭된 촬영 이미지의 제1 3차원 점군을 투영하여 제1 2차원 기하 정보를 생성하되, 제1 2차원 기하 정보에 대한 신뢰도 정보를 생성할 수 있다. 상기 제1 2차원 기하 정보는 깊이 정보 및 법선 정보를 포함할 수 있다. 영상 촬영 장치(100)에 의해서 촬영된 촬영 이미지 각각은 카메라 파라미터와 매칭될 수 있다. 상기 신뢰도 정보는 투영된 제1 2차원 기하 정보에서 점이 있는 영역과 점이 없는 영역을 구분한 정보로, 점이 있는 영역은 신뢰도가 있고 점이 없는 영역은 신뢰도가 없는 것으로 정의할 수 있다. 이때, 신뢰도가 있는 영역은 점의 개수에 따라 복수의 단계를 포함할 수 있다.
도 4는 일 실시예에 따른 색상 정보 및 2차원 기하 정보를 나타내는 예시도로서, 촬영 이미지로부터 획득된 색상 정보, 깊이 정보, 법선 정보 및 신뢰도 정보를 나타낼 수 있다. 이때, 깊이 정보에서 빨간색이 원거리를 의미하고, 파란색이 빨간색 보다 근거리를 의미할 수 있다. 도 4의 신뢰도 정보에서 신뢰도가 있는 영역을 흰색, 신뢰도가 없는 영역을 검은색으로 표시한 것일 수 있다.
투영부(210)는 제1 2차원 기하 정보를 생성하기 위해 3차원 점군과 일련의 시점에 대응하는 카메라 파라미터의 입력이 요구될 수 있다. 이때, 카메라 파라미터는 영상 촬영 장치(100)에 의해서 영상 촬영 시 획득될 수 있는 위치 정보를 비롯한 각종 정보를 의미하는 것으로서, 카메라 내부 파라미터 및 카메라 외부 파라미터를 포함할 수 있다. 상기 카메라 내부 파라미터는 카메라의 렌즈중심과 이미지센서 간의 거리인 초점 거리(focal length), 카메라 렌즈의 중심인 주점(principal point), 이미지 센서의 셀 어레이의 y축이 기울어진 정도를 나타내는 비대칭 계수(skew coefficient) 등을 포함할 수 있다. 상기 카메라 외부 파라미터는 카메라의 6자유도 자세를 의미할 수 있다.
일 실시예에서, 상기 카메라 파라미터는 투영 행렬과, 회전 및 평행이동을 포함하는 변환 행렬로 구성될 수 있다. 이때, 회전 및 평행이동은 각각 위치 및 방향을 의미하고, 투영 행렬은 프레임에 해당할 수 있다.
투영부(210)는 투영 행렬과 변환 행렬의 곱으로 3차원 전역 공간에서 2차원 화면 공간으로의 변환을 정의하고, 각 시점에 대응하는 정의된 변환을 제1 3차원 점군 내 각 점에 적용하여 제1 2차원 기하 정보를 획득할 수 있다.
일 예로, 투영부(210)는 3차원 점군 렌더러를 이용할 수 있다. 제1 3차원 점군의 투영은 특정 시점에서의 렌더링과 같아 그래픽스 하드웨어를 이용하여 상대적으로 빠르게 수행될 수 있다. 또한, 깊이 버퍼를 이용하면 제1 3차원 점군을 정렬하지 않고도 올바르게 투영할 수 있다. 이때, 깊이 정보는 시점과 점 사이의 거리를 프레임 버퍼에 렌더링하거나, 깊이 버퍼의 내용을 추출하여 획득할 수 있다. 상기 시점과 점 사이의 거리는 카메라의 위치와 점의 위치 간의 직선 거리를 의미할 수 있고, 깊이 버퍼의 내용은 카메라가 포함된 평면과 점 간의 수직 거리를 의미할 수 있다.
투영부(210)는 임의의 대용량 점군 렌더링 기법을 사용할 수 있다. 즉, 본 실시예는 상대적으로 다수의 점군을 렌더링할 수 있는 기법을 적용한다는 것이다.
한편, 불완전한 3차원 점군을 투영할 경우 이를 기초하여 획득된 2차원 기하 정보 역시 불완전할 수 있다. 3차원 점군 내 특정 영역에 점이 부족하거나 없는 경우 깊이 정보에 불완전 영역을 만들기 때문이다. 이때, 불완전한 3차원 점군은 조밀도가 기준치 이하로 낮은 점군을 의미할 수 있다. 상술한 바와 같이, 깊이 정보를 신뢰할 수 없는 영역의 위치를 제1 2차원 기하 정보의 일부로서 저장하여 이후 과정에서 활용할 수 있다. 이를 위해, 투영부(210)는 제1 2차원 기하 정보에 대한 신뢰도 정보를 생성할 수 있다. 상기 신뢰도 정보는 제1 2차원 기하 정보 내에서 불완전 영역 및 완전 영역을 구분하기 위한 신뢰도 기준을 포함할 수 있다. 이때, 신뢰도 기준은 3차원 점군 내 조밀도의 기준치에 따라 제1 2차원 기하 정보 내에서 불완전 영역 및 완전 영역을 구분하기 위한 기준을 포함할 수 있다.
밀도 증가부(230)는 제1 2차원 기하 정보 내에서 신뢰도 정보에 따라 불완전 영역 및 완전 영역으로 구분하고, 완전 영역의 깊이 정보를 기초로 불완전 영역의 깊이 정보를 추정하여 제1 2차원 기하 정보를 보완한 제2 2차원 기하 정보를 생성할 수 있다. 이때, 완전 영역은 신뢰도가 있는 영역이고, 불완전 영역은 신뢰도가 없는 영역일 수 있다.
밀도 증가부(230)는 완전 영역의 깊이 정보 및 법선 정보를 이용하여 불완전 영역의 깊이 정보 및 법선 정보를 획득할 수 있다. 완전 영역의 깊이 정보 및 법선 정보를 기초로 정해지는 3차원 상에서의 평면을 기준으로, 불완전 영역의 깊이 정보 및 법선 정보를 추정할 수 있다는 것이다.
도 5을 참고하면, 세번째 도면은 두 번째 도면인 원본 깊이 정보에서 동일한 평면으로 판단되는 영역(예를 들어, 천장)의 깊이 정보를 추정하여 반영한 것일 수 있다. 예를 들어, 세번째 도면은 동일한 천장에 대해서 동일 또는 유사 색상인 붉은 계열의 색상으로 적용된 상태를 나타낼 수 있는 것이다.
밀도 증가부(230)는 제1 2차원 기하 정보 내 불완전 영역을 완전 영역에 기초하여 밀도를 증가시킬 수 있다. 밀도 증가부(230)는 제1 2차원 기하 정보가 입력되면 신뢰도 정보를 기초로 불완전 영역과 완전 영역을 구분할 수 있다.
밀도 증가부(230)는 불완전 영역의 정보를 추정하기 위하여 완전 영역의 정보를 활용할 수 있고, 그 결과로 불완전 영역이 축소되고 완전 영역이 확장될 수 있다. 본 실시예에서는 완전 영역의 확장을 제1 2차원 기하 정보의 밀도가 증가한 것으로 인식할 수 있다. 밀도 증가부(230)는 완전 영역을 확장 처리할 때, 다양한 영상 공간 기법을 활용할 수 있다.
예를 들어, 밀도 증가부(230)는 그래프 기반 목적 함수를 구성하고 수치적 최적화를 수행하여 깊이 및 법선 추정을 동시에 수행하는 영상 공간 기법을 적용할 수 있다. 구체적으로, 밀도 증가부(230)는 색상 정보를 기초로 불완전 영역과 같은 평면에 속하는 완전 영역을 검색하고, 검색된 완전 영역의 깊이 정보 및 법선 정보로부터 불완전 영역의 깊이 및 법선 정보를 획득할 수 있다. 이때, 밀도 증가부(230)는 인접 영역의 기하 정보가 일관성을 갖도록 그래프 기반 최적화를 수행할 수 있다.
밀도 증가부(230)는 상술한 영상 공간 기법에 따라 수치적 최적화를 수행함에 있어 손실 함수를 자료 항과 규제 항으로 구성할 수 있다. 이때, 자료 항은 완전 영역의 깊이 정보가 변하지 않도록 할 수 있다. 규제 항은 불완전 영역의 깊이 및 법선이 구분적 평면 세계(piecewise planar world) 가정을 따르도록 할 수 있다. 이 가정은 장면을 구성하는 표면이 여러 평면의 조합으로 표현될 수 있을 것이라 상정할 수 있다. 수학식 1은 자료 항 
을 의미할 수 있다.
(수학식 1)
이때, 
는 특정 화소, 
는 해당 화소에서의 추정된 깊이, 
는 해당 화소에서의 입력 깊이를 의미할 수 있다.
일 예로, 상기 
는 해당 화소가 완전 영역에 포함될 경우 1, 그렇지 않을 경우 0을 나타낼 수 있다. 다른 예로, 
는 해당 화소의 신뢰도를 나타낼 수 있으며, 0과 1 사이의 값을 갖도록 할 수 있다.
수학식 2는 규제 항 
를 의미할 수 있다.
(수학식 2)
여기에서, 
는 화소 
에 대응하는 화소들, 
는 화소 
와 
의 유사성에 기반한 가중치, 
은 해당 화소에서 추정된 법선, 
는 0 이상의 가중치를 나타낼 수 있다. 특히, 수학식 2에서 첫째 항은 수학식 3으로 표현될 수 있는 구분적 평면 세계 가정을 강제할 수 있다.
(수학식 3)
수학식 2 및 3에서 
연산은 두 벡터의 내적을 나타낼 수 있다. 이때, 수학식 3은 완전 영역의 깊이 정보와 법선 정보로부터 불완전 영역의 깊이 정보를 유도하는 역할을 할 수 있다. 이와 유사한 작용을 수행함에 있어서 추가적인 정보를 활용하여 더 정교한 식을 구성하는 것이 가능할 수 있다.
모든 화소의 대응 관계 
를 계산하는 것은 타당성이 떨어지므로, 일부를 선택하기 위한 경험적 방법을 활용할 수 있다. 일 예로, 화소 
주변의 
범위 내에 포함되는 화소 
에 대해서만 대응 관계를 구축할 수 있다. 이는, 구분적 평면 세계 가정이 옳은 경우라고 가정할 수 있다. 만약, 상술한 가정이 맞지 않는 경우, 합성곱 신경망(convolutional neural network)을 활용해 비국소적(non-local) 대응관계를 검출할 수 있다.
한편, 가중치 
는 각 화소의 색상 정보를 기초로 정의될 수 있다. 일 예로, 화소 
와 
를 각각 중심으로 하는 두 개의 
조각을 생각하고, 두 조각이 갖는 밝기 차이와 두 조각의 중심 간의 거리를 기초로 가중치를 정의할 수 있다. 또한, 밝기 차이 대신 색상 차이를 고려할 수 있으며, 색차를 계산함에 있어 CIE L*a*b*와 같은 지각적 색공간을 활용할 수 있다. 뿐만 아니라, LPIPS(Learned Perceptual Image Patch Similarity) 등 심층신경망 기반의 유사도 함수를 활용할 수 있다. 또한, 두 조각의 중심 간의 거리를 계산함에 있어 비유클리드 거리를 활용할 수 있다.
상기 자료 항과 규제 항의 합으로 나타낼 수 있는 손실 함수의 최적화를 수행함에 있어 알려진 수치적 최적화 기법을 적용할 수 있다. 예를 들어, 수치적 최적화 기법은 가속도를 고려한 경사 하강법(gradient descent with momentum)이 있으며, 특히 ADAM(adaptive momentum estimation)을 포함할 수 있다. 또한, 수렴 성능의 개선을 위해 멀티 스케일 기법을 적용할 수 있다. 구체적으로, 먼저 작게 축소된 영상에 대한 깊이 및 법선 정보를 계산한 뒤 차례로 크기를 증가시키면서 계산을 수행할 수 있다.
밀도 증가부(230)에 의한 깊이 정보의 밀도를 증가시킨 예는 도 5와 같을 수 있다.
재구축부(250)는 제2 2차원 기하 정보의 각 시점에 대한 깊이 정보를 역 투영하여 제2 3차원 점군을 생성하되, 이웃 시점 간 일관성 조건의 만족여부에 따라 점을 유지 또는 제거하는 필터링 절차를 수행할 수 있다. 재구축부(250)는 필터링이 수행된 제2 3차원 점군에 법선 정보 및 색상 정보를 적용할 수 있다. 상술한 이웃 시점 간 일관성 조건은 각 점들의 깊이 정보가 기준 범위 내인 조건일 수 있다. 즉, 재구축부(250)는 특정 점과 서로 이웃하는 시점들 간에 깊이 정보가 동일 또는 유사해야 동일 평면 상의 것으로 판단하고, 깊이 정보가 기준 범위를 초과한 경우 잡음으로 판단하여 삭제 처리하는 것이다.
재구축부(250)는 제2 2차원 기하 정보의 각 시점에 대한 깊이 정보, 카메라 파라미터, 법선 정보 및 색상 정보를 기초로 제2 3차원 점군을 생성할 수 있다.
재구축부(250)는 제2 3차원 점군을 생성할 때, 깊이 정보와 카메라 파라미터를 필수로 적용할 수 있다. 또한, 재구축부(250)는 경우에 따라 법선 정보 및 색상 정보를 함께 이용할 수 있다.
구체적으로, 재구축부(250)는 각 시점에 대해 깊이 정보를 역투영하여 제2 3차원 점군을 생성하고, 이웃 시점 간 일관성 조건을 만족하는 점은 보존하고 그렇지 않은 점은 제거할 수 있다. 이때, 재구축부(250)는 운용자의 필요에 따라 각 점에 법선 정보와 색상 정보를 부여할 수 있다.
밀도 증가부(230)에 의해서 깊이 정보의 완성도가 개선되었으로, 제2 3차원 점군은 제1 3차원 점군에 비해 더 많은 점을 포함할 수 있다. 한편, 밀도 증가부(230)는 제1 3차원 점군의 밀도를 증가시킬 때, 잘못된 값을 생성할 수 있는데, 이는 상술한 재구축부(250)의 점 제거 과정에서 제거될 수 있다. 만약, 이웃하는 시점들이 일관되게 잘못된 깊이 값을 갖는 경우, 재구축부(250)의 점 제거 과정에서 제거될 수 없다. 본 실시예에서 상술한 잘못된 점을 잡음이라고 정의할 수 있다. 이러한 잡음은 후술한 잡음 감소부(270)에 의해서 제거될 수 있다.
잡음 감소부(270)는 제2 3차원 점군으로부터 기 설정된 기준에 기초하여 잡음을 필터링 처리하기 위한 구성일 수 있다. 이때, 잡음 감소부(270)는 통계적 극단치 제거(statistical outlier removal) 또는 임의의 3차원 점군 처리 기법을 연속으로 적용하는 등의 방법을 기초로 잡음 감소 처리를 수행할 수 있다.
잡음 감소부(270)는 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하는 구조화 처리, 상기 복수의 복셀 내 점군을 군집으로 구분한 후 구분된 각 군집을 잡음 기준에 따라 분석하여 잡음에 해당하는 군집을 제거하는 군집화 처리, 상기 복수의 복셀 내 각 군집에서 적어도 하나 이상의 평면을 검출한 후 검출된 상기 적어도 하나 이상의 평면에 속하는 점을 해당 평면 상에 투영하는 평탄화 처리 및 상기 평면 상에 투영된 점군에서 잡음 기준과 일치하는 점을 제거하는 표본화 처리를 통해 상기 제2 3차원 점군으로부터 상기 잡음을 필터링 처리할 수 있다. 이러한 잡음 감소부(270)의 처리는 대용량 3차원 점군에도 적용될 수 있다는 효과를 기대할 수 있다.
잡음 감소부(270)는 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하되, 균등 분할 기법, 비균등 분할 기법 및 적응형 분할 기법 중 어느 하나를 이용하여 분할할 수 있다.
보다 구체적으로, 잡음 감소부(270)는 가속 구조(acceleration structure)를 이용하여 제2 3차원 점군을 분할하여 고속 병렬 처리를 가능하게 할 수 있다. 예를 들어, 본 실시예는 1억 개의 제2 3차원 점군에 대해 잡음 감소 처리하는 것이 아니라, 1억 개를 복수 개의 복셀로 분할하여 각각의 복셀에 대해 동시에 병렬 처리할 수 있도록 하는 것이다. 이때, 잡음 감소부(270)는 복셀 격자(voxel grid)와 같은 균등 분할 기법, 옥트리(octree)와 같은 비균등 분할 기법, 슈퍼복셀(supervoxel)과 같은 적응형 분할 기법 등을 고려할 수 있다. 이때, 각 분할 단위인 각 복셀 내 점 개수가 균일하도록 구조화 할 수 있다. 상술한 옥트리와 같은 비균등 분할 기법은 점이 있는 영역만 분할하는 기법을 의미할 수 있다.
옥트리 기반 조건부 탐색 기법을 적용할 경우, 잡음 감소부(270)는 복셀 내 최대 점 개수(
)를 입력 매개변수로 할 있다. 이때, 주어진 제2 3차원 점군에 대해 구축된 옥트리의 단말 복셀의 크기를 다음과 같이 최적화할 수 있다. 잡음 감소부(270)는 3차원 점군의 테두리 상자(bounding box)를 생성하고, 테두리 상자의 너비(
), 높이(
), 및 깊이(
) 중 가장 작은 값(
)을 산출할 수 있다. 잡음 감소부(270)는 S의 절반을 단말 복셀의 크기(
)로 하여 옥트리를 구축하고, 단말 복셀 내 점 개수의 최대값 
를 산출하며, 
를 만족할 때까지 옥트리 구축 단계와 최대값 산출 단계를 반복할 수 있다. 상술한 옥트리를 구축하는 것은 점이 있는 영역에만 해당할 수 있다. 또한, 상기 단말 복셀은 분할된 복셀 중 제일 작은 셀을 의미할 수 있고, 단말 복셀 내 점 개수의 최대값은 단말 복셀 내 점 개수를 제한하기 위한 최대값을 의미할 수 있다. 즉, 단말 복셀 내 점 개수의 최대값은 단말 복셀 내 포함할 수 있는 최대 점 개수를 의미할 수 있는 것이다. 이러한 점 개수의 제한으로 인해, 셀 크기가 다양해지고 연산 처리 속도를 향상될 수 있다는 효과를 기대할 수 있다.
잡음 감소부(270)는 상술한 과정을 통해 각각의 단말 복셀 내 최대 점 개수를 만족하는 단말 복셀의 물리적 크기를 산출했다면, 후술하는 과정을 통해 옥트리에서 잡음 감소 절차를 처리할 복셀을 선택할 수 있다.
구체적으로, 잡음 감소부(270)는 구축된 옥트리에 다음과 같이 조건부 탐색을 수행할 수 있다. 먼저, 잡음 감소부(270)는 깊이 우선 탐색을 수행하며 각 노드 
를 방문하고, 
가 내부 노드라면 
에 속한 점 개수 
에 대해, 
를 만족할 경우 노드 집합 
에 
를 추가하고 
를 만족하지 않는 경우 깊이 우선 탐색을 재개할 수 있다. 다음, 잡음 감소부(270)는 
가 외부 노드라면 
에 추가할 수 있다. 본 실시예에서는 상기 노드 집합(또는 복셀 집합) 
에 속한 각 복셀에 대해 이후의 처리를 병렬로 수행할 수 있다. 또한, 단일 복셀의 최대 처리 시간을 제한할 수 있다.
잡음 감소부(270)는 복셀 내 점군을 군집으로 구분하고 조건을 충족하지 못하는 군집을 잡음으로 분류하여 제거할 수 있다. 구체적으로, 잡음 감소부(270)는 기 설정된 밀도 기준에 일치하는 점군의 군집을 유지시키고, 상기 기 설정된 밀도 기준에 일치하지 않는 점군의 군집을 제거할 수 있는 것이다. 이때, 기 설정된 밀도 기준은 운용자에 의해서 경험치 등을 바탕으로 임의로 설정될 수 있으며, 잡음 감소부(270)는 기 설정되는 밀도 기준에 따라 점군 군집의 유지 또는 제거 처리를 수행할 수 있는 것이다.
잡음 감소부(270)는 복수의 복셀 내 점군을 군집으로 구분할 때, K-평균 군집화 기법 및 밀도 기반 군집화 기법 중 어느 하나를 이용하여 군집화 할 수 있다.
잡음 감소부(270)는 군집화 처리 시, 목적에 부합하는 임의의 점대점 거리 함수를 선택할 수 있다.
일 예로, 잡음 감소부(270)는 법선을 고려한 거리 함수를 이용하여 밀도 기반 군집화(DBSCAN)를 수행하여, 같은 평면에 속할 가능성이 높은 점을 동일 군집으로 분류하고, 특정 평면에 속하지 않는 점을 잡음으로 분류할 수 있다. 이때, 잡음 감소부(270)는 우선적으로 법선을 고려한 거리 함수로 수학식 4와 같이 점 
와 
의 법선 
와 
의 사잇각을 선택할 수 있다. 이때, 사잇각이 0도이면 동일 평면을 의미하는 것일 수 있다. 본 실시예에서는 동일 평면에 속할 가능성이 높은 점들끼리 같은 군집으로 분류할 수 있다. 즉, 잡음 감소부(270)는 사잇각을 최소화하도록 군집을 형성할 수 있는 것이다.
(수학식 4)
잡음 감소부(270)는 상기 거리 함수와 더불어, 밀도 기반 군집화의 수행에 필요한 매개변수인 거리 
와 최소 개수 
를 정할 수 있다. 예를 들어, 반경 10cm 내부에 존재해야 하는 점의 최소 개수를 정할 수 있다는 것이다.
상술한 거리 함수는 사잇각이므로, 거리 
는 임의의 각도로 지정될 수 있다. 예를 들어, 상대경사도가 5% 이내일 경우 평지로 인식하는 것을 고려하여, 각도 약 2.8624도를 적용할 수 있다. 본 실시예에서 최소 개수 
는 몬테카를로 방법에 기초한 통계적 기법을 적용하여 획득할 수 있다.
구체적으로, 잡음 감소부(270)는 복셀 내 점군의 k-차원 트리(k-d tree)를 구축할 수 있다. 이때, k-차원 트리는 특정 점으로부터 기 설정된 거리 내에 위치하는 이웃점을 신속하게 검출하기 위한 것일 수 있다.
다음, 잡음 감소부(270)는 구축된 상기 k-차원 트리(k-d tree)의 점군에서 
개의 점 
를 무작위 추출하고, 점 
각각에 대해 다음을 수행할 수 있다. 즉, 잡음 감소부(270)는 k-차원 트리의 복셀 내 점군에서 특정 개수의 점을 추출할 수 있다. 예를 들어, 잡음 감소부(270)는 점 1000개 중에서 100개를 추출할 수 있는 것이다.
먼저, 잡음 감소부(270)는 k-차원 트리로 점 
로부터 거리 
내에 있는 점 개수 
를 산출할 수 있다. 다음, 잡음 감소부(270)는 집합 
에 
를 추가할 수 있다. 예를 들어, 잡음 감소부(270)는 추출된 100개 점 각각에 대해 이웃점이 몇 개인지를 파악하는 것이다. 점 1에서부터 점 100까지 각각 이웃점이 5개, 6개, 7개, 등등 존재함을 파악할 수 있는 것이다.
다음, 잡음 감소부(270)는 집합 
로부터 확률 질량 함수 
를 산출할 수 있다. 이는, 복셀 내 점 
주변 
내에 
개의 점이 있을 확률을 의미할 수 있다. 예를 들어, 잡음 감소부(270)는 점 1에서부터 점 100까지의 이웃점 정보(각각 
개의 점)를 기초로 도수분포를 나타내는 히스토그램을 형성하여 확률 질량 함수를 파악할 수 있다.
다음, 잡음 감소부(270)는 상기 확률 질량 함수를 적분하여 누적 분포 함수 
를 산출할 수 있다. 이는, 복셀 내 점 
주변 
내에 
개 이하의 점이 있을 확률을 의미할 수 있다. 이때, 누적 분포 함수는 제거해야 점을 파악하기 위한 정보로 활용될 수 있다.
다음, 잡음 감소부(270)는 매개변수 
에 대해, 
를 만족하는 
중 최소값을 
로 결정할 수 있다.
잡음 감소부(270)는 상술한 과정을 통해, 예를 들어, 
를 0.1로 지정하여 각 복셀 내 점의 약 90%가 주변 
내에 
보다 많은 이웃 점을 가질 것이라 기대한다고 표현할 수 있다. 이로부터, 밀도 기반 군집화가 이웃 점 개수 기준 하위 10%에 해당하는 점을 잡음으로 분류할 것으로 기대할 수 있다. 즉, 잡음 감소부(270)는 주어진 점군에 대해 적응형 잡음 제거를 수행할 수 있는 것이다.
잡음 감소부(270)는 복셀 내 다수의 군집 각각에서 서로 동일 평면으로 인식될 수 있는 군집들을 동일 평면으로 처리할 수 있다.
구체적으로, 잡음 감소부(270)는 평탄화 처리 시, 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준치 이상일 경우 평면 검출에 실패한 것으로 판단하고, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준 미만일 경우, 평면 검출에 성공한 것으로 판단하여 점군을 투영할 수 있다.
구체적으로, 평탄화 처리 시, 잡음 감소부(270)는 복셀 내 각 군집에서 하나 이상의 평면을 찾고 각 평면에 속하는 점을 해당 평면 상에 투영할 수 있다. 이때, 임의의 평면 검출 기법을 적용할 수 있다. 잡음 감소부(270)는 불완전한 3차원 점군은 다수의 잡음을 포함할 수 있으므로 RANSAC, PROSAC 등의 매개변수 추정 기법을 적용할 수 있다. 검출된 평면의 법선 
와 해당 평면 상의 한 점 
가 주어지면, 점 
의 투영 
는 수학식 5와 같을 수 있다.
(수학식 5)
일 예로, 잡음 감소부(270)는 사전 검증, 평면 추정, 사후 검증으로 구성되는 평면 검출 기법을 적용할 수 있다. 먼저, 잡음 감소부(270)는 군집 내 3차원 점 집합에 대해 고유값 분해(eigen decomposition)를 수행하여 최소 고유값(eigenvalue)인 
를 획득할 수 있다. 상기 최소 고유값은 점 집합의 분포가 갖는 두께를 의미할 수 있다. 이때, 최소 고유값이 클수록 점 집합의 분포가 평면을 형성할 가능성이 낮다고 판단할 수 있다. 다음, 잡음 감소부(270)는 최소 고유값이 매개변수 
보다 작은 경우에 한해 PROSAC 기반의 평면 추정을 수행할 수 있다. 특히, PROSAC의 임계값으로 최소 고유값에 특정 상수를 곱한 값을 사용할 수 있다. 이때, 검출된 평면의 법선 
과 최소 고유값에 대응하는 고유벡터 
의 사잇각이 기준 이상일 경우, 평면 검출에 실패한 것으로 생각할 수 있다. 반면, 사잇각이 기준 미만일 경우, 평면을 검출한 것으로 판단하여 점군을 투영할 수 있다. 즉, 잡음 감소부(270)는 점 집합 분포의 두께를 기초로 평면인지 여부를 파악하는 것이다.
상술한 사후 검증은 점군의 평균 법선과 상술한 과정을 통해 파악된 평면의 법선을 비교하여 서로 차이가 기준치 이상인 경우, 점군들을 삭제 처리하는 것일 수 있다.
잡음 감소부(270)는 표본화 처리 시, 평면에 투영된 점군에서 기 설정된 거리 이내로 서로 인접한 점 중 적어도 하나 이상을 삭제 처리할 수 있다. 이때, 잡음 감소부(270)는 상술한 사전 검증, 평면 추정 및 사후 검증 절차를 통과한 점군에 대해 표본화 처리를 수행할 수 있다.
보다 구체적으로, 잡음 감소부(270)는 표본화 처리 시, 평면에 투영된 점군에서 불필요한 점을 제거할 수 있다. 3차원 공간 상에 분포한 점 집합을 2차원 평면 상에 투영할 경우 서로 매우 인접한 점이 생길 수 있다. 이때, 서로 간에 인접한 점들을 중복 또는 중복에 가까운 점이라고 판단하고, 이를 잡음의 한 종류로 정의하여 표본화 방법을 통해 제거할 수 있다.
일 예로, 잡음 감소부(270)는 2차원 평면에 투영된 점에 대해 푸아송 디스크 샘플링(Poisson disc sampling)을 적용할 수 있다. 잡음 감소부(270)는 표본 사이의 최소거리 기준을 설정할 수 있다. 예를 들어, 잡음 감소부(270)는 두 점 사이의 최소 거리(예를 들어, 1cm)로 설정할 수 있다. 잡음 감소부(270)는 두 점 사이의 최소거리 기준을 기초로 인접한 점이 다수 존재할 가능성을 차단할 수 있다. 이때, 잡음 감소부(270)는 k-차원 트리와 같은 가속 구조를 적용할 수 있다.
도 6a 및 도 6b는 일 실시예에 따른 3차원 점군으로부터 잡음 감소를 설명하기 위한 예시도이다. 도 6a 및 도 6b에서 도시하는 바와 같이, 잡음 감소부(270)를 통해 원본 점군의 사각 박스 영역의 잡음이 감소된 것을 확인할 수 있다.
도 7a 및 도 7b는 일 실시예에 따른 3차원 점군의 밀도 증가를 설명하기 위한 예시도이다. 본 실시예는 촬영 이미지의 색상 정보로부터 획득된 원본 점군으로부터 잡음 감소 처리를 복수 회 반복 처리하면서 도 7a 및 도 7b과 같은 점차 개선되는 3차원 점군을 확인할 수 있다. 즉, 본 실시예는 임의로 설정된 기준에 부합하도록 잡음 감소 처리를 반복할 수 있는 것이다.
상술한 3차원 점군 처리 장치(200)에서의 처리 과정의 반복은 운용자의 필요에 따라 1회 내지 수회 이루어질 수 있다. 이때, 투영부(210)와 재구축부(250)를 제외한 과정 중 일부는 생략할 수 있다. 예를 들어, 상기 과정에서 잡음 감소부(270)의 처리 과정은 생략할 수도 있다.
또한, 투영부(210)와 재구축부(250)를 제외한 처리 과정 중 일부는 연속하여 1회 내지 수회 수행될 수 있다. 예를 들어, 상기 과정의 반복 중 잡음 감소부(270)는 연속 2회 수행할 수 있다. 또한, 그외 다른 구성들에서의 과정을 추가하는 경우를 생각할 수 있다. 즉, 상술한 3차원 점군 처리 장치(200) 내 각 구성에서의 처리 과정은 운용자의 필요에 따라 1회 처리, 반복 처리, 생략 등과 같이 조절할 수 있다는 것이다.
도 8은 일 실시예에 따른 3차원 점군 처리 방법을 설명하기 위한 흐름도이다. 도 3에 도시된 방법은 예를 들어, 전술한 3차원 점군 처리 시스템(1000) 또는 3차원 점군 처리 장치(200)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
101 단계에서, 3차원 점군 처리 시스템(1000)은 카메라 파라미터가 매칭된 촬영 이미지의 제1 3차원 점군을 투영하여 제1 2차원 기하 정보를 생성하되, 제1 2차원 기하 정보에 대한 신뢰도 정보를 생성할 수 있다. 상기 제1 2차원 기하 정보는 깊이 정보 및 법선 정보를 포함할 수 있다.
상기 카메라 파라미터는 투영 행렬과, 회전 및 평행이동을 포함하는 변환 행렬로 구성될 수 있다.
상술한 101 단계는, 투영 행렬과 변환 행렬의 곱으로 3차원 전역 공간에서 2차원 화면 공간으로의 변환을 정의하는 단계 및 각 시점에 대응하는 상기 정의된 변환을 제1 3차원 점군 내 각 점에 적용하여 제1 2차원 기하 정보를 획득하는 단계를 포함할 수 있다.
103 단계에서, 3차원 점군 처리 시스템(1000)은 제1 2차원 기하 정보 내에서 신뢰도 정보에 따라 불완전 영역 및 완전 영역으로 구분하고, 완전 영역의 깊이 정보를 기초로 불완전 영역의 깊이 정보를 추정하여 제1 2차원 기하 정보를 보완한 제2 2차원 기하 정보를 생성할 수 있다.
103 단계에서, 3차원 점군 처리 시스템(1000)은 완전 영역의 깊이 정보 및 법선 정보를 이용하여 불완전 영역의 깊이 정보 및 법선 정보를 획득할 수 있다.
105 단계에서, 3차원 점군 처리 시스템(1000)은 제2 2차원 기하 정보의 각 시점에 대한 깊이 정보를 역 투영하여 제2 3차원 점군을 생성하되, 이웃 시점 간 일관성 조건의 만족여부에 따라 점을 유지 또는 제거하는 필터링 절차를 수행할 수 있다.
이때, 3차원 점군 처리 시스템(1000)은 제2 2차원 기하 정보의 각 시점에 대한 깊이 정보, 카메라 파라미터, 법선 정보 및 색상 정보를 기초로 제2 3차원 점군을 생성할 수 있다.
107 단계에서, 3차원 점군 처리 시스템(1000)은 제2 3차원 점군으로부터 기 설정된 기준에 기초하여 잡음을 필터링 처리할 수 있다. 구체적으로, 3차원 점군 처리 시스템(1000)은 후술하는 구조화 처리, 군집화 처리, 평탄화 처리 및 표본화 처리 단계를 수행할 수 있다.
먼저, 3차원 점군 처리 시스템(1000)은 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하는 구조화 처리 단계를 수행 할 수 있다.
이때, 3차원 점군 처리 시스템(1000)은 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하되, 균등 분할 기법, 비균등 분할 기법 및 적응형 분할 기법 중 어느 하나를 이용하여 분할할 수 있다.
다음, 3차원 점군 처리 시스템(1000)은 복수의 복셀 내 점군을 군집으로 구분한 후 구분된 각 군집을 잡음 기준에 따라 분석하여 잡음에 해당하는 군집을 제거하는 군집화 처리 단계를 수행할 수 있다.
이때, 3차원 점군 처리 시스템(1000)은 K-평균 군집화 기법 및 밀도 기반 군집화 기법 중 어느 하나를 이용하여 군집화 할 수 있다.
다음, 3차원 점군 처리 시스템(1000)은 복수의 복셀 내 각 군집에서 적어도 하나 이상의 평면을 검출한 후 검출된 상기 적어도 하나 이상의 평면에 속하는 점을 해당 평면 상에 투영하는 평탄화 처리 단계를 수행할 수 있다.
이때, 3차원 점군 처리 시스템(1000)은 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준치 이상일 경우 평면 검출에 실패한 것으로 판단하고, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준 미만일 경우, 평면 검출에 성공한 것으로 판단하여 점군을 투영할 수 있다.
다음, 3차원 점군 처리 시스템(1000)은 평면 상에 투영된 점군에서 잡음 기준과 일치하는 점을 제거하는 표본화 처리를 통해 상기 제2 3차원 점군으로부터 상기 잡음을 필터링 처리하는 단계를 수행할 수 있다.
이때, 3차원 점군 처리 시스템(1000)은 상기 평면에 투영된 상기 점군에서 기 설정된 거리 이내로 서로 인접한 점 중 적어도 하나 이상을 삭제 처리할 수 있다.
도 9는 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에 서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 3차원 점군 처리 시스템(1000)일 수 있다. 또한, 컴퓨팅 장치(12)는 3차원 점군 처리 장치(200)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
기 생성된 불완전 3차원 점군의 밀도를 증가시키기 위해 심층신경망 기법이 적용되고 있는데, 이는 불완전한 입력에 대응하는 완전한 출력을 미리 학습하는 방식으로 적용되고 있다. 상술한 학습을 통한 3차원 점군 개선 방식은 수 기가바이트를 넘는 대용량 점군에 적용하기 어렵고, 학습에 사용된 데이터와 상이한 공간에 대해서는 잘 작동하지 않는다는 한계가 있다. 즉, 임의의 실외 공간을 대상으로 하는 3차원 점군을 복원 가능한 심층신경망을 학습하기 어려울 수 있다. 본 실시예는 기 생성된 불완전 3차원 점군 및 기 보유 정보만을 활용하여 3차원 점군의 밀도를 증가시킬 수 있다는 효과를 기대할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
1000: 3차원 점군 처리 시스템
100: 영상 촬영 장치
200: 3차원 점군 처리 장치
210: 투영부
230: 밀도 증가부
250: 재구축부
270: 잡음 감소부
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
1000: 3차원 점군 처리 시스템
100: 영상 촬영 장치
200: 3차원 점군 처리 장치
210: 투영부
230: 밀도 증가부
250: 재구축부
270: 잡음 감소부
Claims (21)
- 카메라 파라미터가 매칭된 촬영 이미지의 제1 3차원 점군을 투영하여 제1 2차원 기하 정보를 생성하되, 상기 제1 2차원 기하 정보에 대한 신뢰도 정보를 생성하는 투영부;
상기 제1 2차원 기하 정보 내에서 상기 신뢰도 정보에 따라 불완전 영역 및 완전 영역으로 구분하고, 상기 완전 영역의 깊이 정보를 기초로 상기 불완전 영역의 깊이 정보를 추정하여 상기 제1 2차원 기하 정보를 보완한 제2 2차원 기하 정보를 생성하는 밀도 증가부;
상기 제2 2차원 기하 정보의 각 시점에 대한 깊이 정보를 역 투영하여 제2 3차원 점군을 생성하되, 이웃 시점 간 일관성 조건의 만족여부에 따라 점을 유지 또는 제거하는 필터링 절차를 수행하는 재구축부; 및
상기 제2 3차원 점군으로부터 기 설정된 기준에 기초하여 잡음을 필터링 처리하기 위한 잡음 감소부를 포함하는 3차원 점군 처리 장치를 포함하며,
상기 신뢰도 정보는,
상기 제1 3차원 점군 내 조밀도의 기준치에 따라 상기 제1 2차원 기하 정보 내에서 상기 불완전 영역 및 상기 완전 영역을 구분하기 위한 신뢰도 기준을 포함하는 3차원 점군 처리 시스템.
- 청구항 1에 있어서,
상기 투영부를 통해 생성된 상기 제1 2차원 기하 정보는 깊이 정보 및 법선 정보를 포함하는 3차원 점군 처리 시스템.
- 청구항 1에 있어서,
상기 카메라 파라미터는 투영 행렬과, 회전 및 평행이동을 포함하는 변환 행렬로 구성되고,
상기 투영부는,
상기 투영 행렬과 상기 변환 행렬의 곱으로 3차원 전역 공간에서 2차원 화면 공간으로의 변환을 정의하고, 각 시점에 대응하는 정의된 변환을 상기 제1 3차원 점군 내 각 점에 적용하여 상기 제1 2차원 기하 정보를 획득하는 3차원 점군 처리 시스템.
- 청구항 1에 있어서,
상기 밀도 증가부는,
상기 완전 영역의 깊이 정보 및 법선 정보를 이용하여 상기 불완전 영역의 깊이 정보 및 법선 정보를 획득하는 3차원 점군 처리 시스템.
- 청구항 1에 있어서,
상기 재구축부는,
상기 필터링이 수행된 상기 제2 3차원 점군에 법선 정보 및 색상 정보를 적용하는 3차원 점군 처리 시스템.
- 청구항 1에 있어서,
상기 재구축부는,
상기 제2 2차원 기하 정보의 각 시점에 대한 상기 깊이 정보, 상기 카메라 파라미터, 법선 정보 및 색상 정보를 기초로 상기 제2 3차원 점군을 생성하는 3차원 점군 처리 시스템.
- 청구항 1에 있어서,
상기 잡음 감소부는,
상기 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하는 구조화 처리, 상기 복수의 복셀 내 점군을 군집으로 구분한 후 구분된 각 군집을 잡음 기준에 따라 분석하여 잡음에 해당하는 군집을 제거하는 군집화 처리, 상기 복수의 복셀 내 각 군집에서 적어도 하나 이상의 평면을 검출한 후 검출된 상기 적어도 하나 이상의 평면에 속하는 점을 해당 평면 상에 투영하는 평탄화 처리 및 상기 평면 상에 투영된 점군에서 잡음 기준과 일치하는 점을 제거하는 표본화 처리를 통해 상기 제2 3차원 점군으로부터 상기 잡음을 필터링 처리하는 3차원 점군 처리 시스템.
- 청구항 7에 있어서,
상기 잡음 감소부는,
상기 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하되, 균등 분할 기법, 비균등 분할 기법 및 적응형 분할 기법 중 어느 하나를 이용하여 분할하는 3차원 점군 처리 시스템.
- 청구항 7에 있어서,
상기 잡음 감소부는,
상기 복수의 복셀 내 점군을 군집으로 구분할 때, K-평균 군집화 기법 및 밀도 기반 군집화 기법 중 어느 하나를 이용하여 군집화 하는 3차원 점군 처리 시스템.
- 청구항 7에 있어서,
상기 잡음 감소부는,
상기 평탄화 처리 시, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준치 이상일 경우 평면 검출에 실패한 것으로 판단하고, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준 미만일 경우, 평면 검출에 성공한 것으로 판단하여 점군을 투영하는 3차원 점군 처리 시스템.
- 청구항 7에 있어서,
상기 잡음 감소부는,
상기 표본화 처리 시, 상기 평면에 투영된 상기 점군에서 기 설정된 거리 이내로 서로 인접한 점 중 적어도 하나 이상을 삭제 처리하는 3차원 점군 처리 시스템.
- 3차원 점군 처리 시스템에서 3차원 점군 처리를 수행하는 방법으로서,
상기 3차원 점군 처리 시스템이 카메라 파라미터가 매칭된 촬영 이미지의 제1 3차원 점군을 투영하여 제1 2차원 기하 정보를 생성하되, 상기 제1 2차원 기하 정보에 대한 신뢰도 정보를 생성하는 단계;
상기 제1 2차원 기하 정보 내에서 상기 신뢰도 정보에 따라 불완전 영역 및 완전 영역으로 구분하고, 상기 완전 영역의 깊이 정보를 기초로 상기 불완전 영역의 깊이 정보를 추정하여 상기 제1 2차원 기하 정보를 보완한 제2 2차원 기하 정보를 생성하는 단계;
상기 제2 2차원 기하 정보의 각 시점에 대한 깊이 정보를 역 투영하여 제2 3차원 점군을 생성하되, 이웃 시점 간 일관성 조건의 만족여부에 따라 점을 유지 또는 제거하는 필터링 절차를 수행하는 단계; 및
상기 제2 3차원 점군으로부터 기 설정된 기준에 기초하여 잡음을 필터링 처리하는 단계를 포함하며,
상기 신뢰도 정보는,
상기 제1 3차원 점군 내 조밀도의 기준치에 따라 상기 제1 2차원 기하 정보 내에서 상기 불완전 영역 및 상기 완전 영역을 구분하기 위한 신뢰도 기준을 포함하는 3차원 점군 처리 방법.
- 청구항 12에 있어서,
상기 제1 2차원 기하 정보는 깊이 정보 및 법선 정보를 포함하는 3차원 점군 처리 방법.
- 청구항 12에 있어서,
상기 카메라 파라미터는 투영 행렬과, 회전 및 평행이동을 포함하는 변환 행렬로 구성되고,
상기 제1 2차원 기하 정보를 생성하는 단계는,
상기 투영 행렬과 상기 변환 행렬의 곱으로 3차원 전역 공간에서 2차원 화면 공간으로의 변환을 정의하는 단계; 및
각 시점에 대응하는 상기 정의된 변환을 상기 제1 3차원 점군 내 각 점에 적용하여 상기 제1 2차원 기하 정보를 획득하는 단계를 포함하는 3차원 점군 처리 방법.
- 청구항 12에 있어서,
상기 제2 2차원 기하 정보를 생성하는 단계에서,
상기 완전 영역의 깊이 정보 및 법선 정보를 이용하여 상기 불완전 영역의 깊이 정보 및 법선 정보를 획득하는 3차원 점군 처리 방법.
- 청구항 12에 있어서,
상기 제2 3차원 점군을 생성하는 단계는,
상기 제2 2차원 기하 정보의 각 시점에 대한 상기 깊이 정보, 상기 카메라 파라미터, 법선 정보 및 색상 정보를 기초로 상기 제2 3차원 점군을 생성하는 단계를 포함하는 3차원 점군 처리 방법.
- 청구항 12에 있어서,
상기 잡음을 필터링 처리하는 단계는,
상기 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하는 구조화 처리 단계;
상기 복수의 복셀 내 점군을 군집으로 구분한 후 구분된 각 군집을 잡음 기준에 따라 분석하여 잡음에 해당하는 군집을 제거하는 군집화 처리 단계;
상기 복수의 복셀 내 각 군집에서 적어도 하나 이상의 평면을 검출한 후 검출된 상기 적어도 하나 이상의 평면에 속하는 점을 해당 평면 상에 투영하는 평탄화 처리 단계; 및
상기 평면 상에 투영된 점군에서 잡음 기준과 일치하는 점을 제거하는 표본화 처리를 통해 상기 제2 3차원 점군으로부터 상기 잡음을 필터링 처리하는 단계를 포함하는 3차원 점군 처리 방법.
- 청구항 17에 있어서,
상기 구조화 처리 단계에서, 상기 제2 3차원 점군을 각각 복수의 점을 포함하는 복수의 복셀(voxel)로 분할하되, 균등 분할 기법, 비균등 분할 기법 및 적응형 분할 기법 중 어느 하나를 이용하여 분할하는 3차원 점군 처리 방법.
- 청구항 17에 있어서,
상기 복수의 복셀 내 점군을 군집으로 구분하는 단계에서,
K-평균 군집화 기법 및 밀도 기반 군집화 기법 중 어느 하나를 이용하여 군집화 하는 3차원 점군 처리 방법.
- 청구항 17에 있어서,
상기 평탄화 처리 단계에서, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준치 이상일 경우 평면 검출에 실패한 것으로 판단하고, 상기 검출된 평면의 법선과 최소 고유값에 대응하는 고유벡터의 사잇각이 기준 미만일 경우, 평면 검출에 성공한 것으로 판단하여 점군을 투영하는 3차원 점군 처리 방법.
- 청구항 17에 있어서,
상기 표본화 처리 단계에서, 상기 평면에 투영된 상기 점군에서 기 설정된 거리 이내로 서로 인접한 점 중 적어도 하나 이상을 삭제 처리하는 3차원 점군 처리 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210189854A KR102393345B1 (ko) | 2021-12-28 | 2021-12-28 | 3차원 점군 처리 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210189854A KR102393345B1 (ko) | 2021-12-28 | 2021-12-28 | 3차원 점군 처리 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102393345B1 true KR102393345B1 (ko) | 2022-05-02 |
Family
ID=81593123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210189854A KR102393345B1 (ko) | 2021-12-28 | 2021-12-28 | 3차원 점군 처리 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102393345B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131374A (zh) * | 2022-07-22 | 2022-09-30 | 上海大学 | 基于三维点云的石油钻杆变径定位方法、系统及电子设备 |
| CN116910888A (zh) * | 2023-09-08 | 2023-10-20 | 临沂大学 | 一种装配式建筑bim模型构件生成方法及系统 |
| CN117291785A (zh) * | 2023-11-24 | 2023-12-26 | 中科领讯(北京)科技有限公司 | 博物馆智慧文保系统 |
| CN117422713A (zh) * | 2023-12-18 | 2024-01-19 | 武汉光谷航天三江激光产业技术研究院有限公司 | 一种根据oct点云提取激光焊接熔深曲线的方法及系统 |
| WO2024058618A1 (en) * | 2022-09-16 | 2024-03-21 | Samsung Electronics Co., Ltd. | Probabilistic approach to unifying representations for robotic mapping |
| WO2024159351A1 (zh) * | 2023-01-30 | 2024-08-08 | 华为技术有限公司 | 一种点云测试方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101666937B1 (ko) * | 2016-05-13 | 2016-10-17 | 한국건설기술연구원 | 3차원 포인트 클라우드의 대용량 데이터를 처리하기 위한 장치 및 그 방법 |
| KR20190101323A (ko) | 2019-08-12 | 2019-08-30 | 엘지전자 주식회사 | Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법 |
| KR20200071565A (ko) * | 2018-12-11 | 2020-06-19 | 삼성전자주식회사 | 포인트 클라우드를 생성하는 방법 및 장치 |
| KR20210083745A (ko) * | 2019-12-27 | 2021-07-07 | 주식회사 맥스트 | 점군 정보 생성 장치 및 방법 |
| KR20210084115A (ko) * | 2019-12-27 | 2021-07-07 | 중앙대학교 산학협력단 | 3차원 포인트 클라우드 신뢰도 판단 시스템 및 방법 |
-
2021
- 2021-12-28 KR KR1020210189854A patent/KR102393345B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101666937B1 (ko) * | 2016-05-13 | 2016-10-17 | 한국건설기술연구원 | 3차원 포인트 클라우드의 대용량 데이터를 처리하기 위한 장치 및 그 방법 |
| KR20200071565A (ko) * | 2018-12-11 | 2020-06-19 | 삼성전자주식회사 | 포인트 클라우드를 생성하는 방법 및 장치 |
| KR20190101323A (ko) | 2019-08-12 | 2019-08-30 | 엘지전자 주식회사 | Ar 모드 및 vr 모드를 제공하는 xr 디바이스 및 그 제어 방법 |
| KR20210083745A (ko) * | 2019-12-27 | 2021-07-07 | 주식회사 맥스트 | 점군 정보 생성 장치 및 방법 |
| KR20210084115A (ko) * | 2019-12-27 | 2021-07-07 | 중앙대학교 산학협력단 | 3차원 포인트 클라우드 신뢰도 판단 시스템 및 방법 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115131374A (zh) * | 2022-07-22 | 2022-09-30 | 上海大学 | 基于三维点云的石油钻杆变径定位方法、系统及电子设备 |
| WO2024058618A1 (en) * | 2022-09-16 | 2024-03-21 | Samsung Electronics Co., Ltd. | Probabilistic approach to unifying representations for robotic mapping |
| WO2024159351A1 (zh) * | 2023-01-30 | 2024-08-08 | 华为技术有限公司 | 一种点云测试方法及装置 |
| CN116910888A (zh) * | 2023-09-08 | 2023-10-20 | 临沂大学 | 一种装配式建筑bim模型构件生成方法及系统 |
| CN116910888B (zh) * | 2023-09-08 | 2023-11-24 | 临沂大学 | 一种装配式建筑bim模型构件生成方法及系统 |
| CN117291785A (zh) * | 2023-11-24 | 2023-12-26 | 中科领讯(北京)科技有限公司 | 博物馆智慧文保系统 |
| CN117291785B (zh) * | 2023-11-24 | 2024-02-09 | 中科领讯(北京)科技有限公司 | 博物馆智慧文保系统 |
| CN117422713A (zh) * | 2023-12-18 | 2024-01-19 | 武汉光谷航天三江激光产业技术研究院有限公司 | 一种根据oct点云提取激光焊接熔深曲线的方法及系统 |
| CN117422713B (zh) * | 2023-12-18 | 2024-05-14 | 武汉光谷航天三江激光产业技术研究院有限公司 | 一种根据oct点云提取激光焊接熔深曲线的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102393345B1 (ko) | 3차원 점군 처리 시스템 및 방법 | |
| JP7300438B2 (ja) | Ｒｇｂｄカメラ姿勢のラージスケール判定のための方法およびシステム | |
| US10373380B2 (en) | 3-dimensional scene analysis for augmented reality operations | |
| JP7173772B2 (ja) | 深度値推定を用いた映像処理方法及び装置 | |
| JP6261489B2 (ja) | ３次元点群から平面を抽出する、方法、画像処理装置およびプログラムを記憶した非一次的なコンピュータ可読媒体 | |
| WO2020119661A1 (zh) | 一种目标检测方法、装置以及行人检测方法、系统 | |
| KR102095842B1 (ko) | 격자지도 생성 장치 및 방법 | |
| CN111723721A (zh) | 基于rgb-d的三维目标检测方法、系统及装置 | |
| US10554957B2 (en) | Learning-based matching for active stereo systems | |
| EP3326156B1 (en) | Consistent tessellation via topology-aware surface tracking | |
| WO2005081178A1 (en) | Method and apparatus for matching portions of input images | |
| JP2018022360A (ja) | 画像解析装置、画像解析方法およびプログラム | |
| CN105243395A (zh) | 一种人体图像比对方法和装置 | |
| WO2023071790A1 (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| US20230130281A1 (en) | Figure-Ground Neural Radiance Fields For Three-Dimensional Object Category Modelling | |
| EP3054421A1 (en) | Method of fast and robust camera location ordering | |
| CN114556422A (zh) | 来自双相机与双像素的联合深度预测 | |
| JP2024508024A (ja) | 画像データの処理方法及び装置 | |
| KR102220769B1 (ko) | 깊이 지도 생성 방법, 깊이 지도 생성 장치, 영상 변환 방법 및 영상 변환 장치 | |
| KR102648882B1 (ko) | 3차원 지도에 대한 모델링 데이터의 경량화 방법 | |
| Xu et al. | Kinect-based easy 3d object reconstruction | |
| JP2023065296A (ja) | 平面検出装置及び方法 | |
| CN115729250A (zh) | 一种无人机的飞行控制方法、装置、设备及存储介质 | |
| KR101980899B1 (ko) | 직교 소실점을 이용한 단일 영상의 내벽 구조 검출 장치 및 방법 | |
| Shen et al. | Structure Preserving Large Imagery Reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |