KR101821065B1 - 3차원 기하 표현 방법 및 장치 - Google Patents

3차원 기하 표현 방법 및 장치 Download PDF

Info

Publication number
KR101821065B1
KR101821065B1 KR1020160177905A KR20160177905A KR101821065B1 KR 101821065 B1 KR101821065 B1 KR 101821065B1 KR 1020160177905 A KR1020160177905 A KR 1020160177905A KR 20160177905 A KR20160177905 A KR 20160177905A KR 101821065 B1 KR101821065 B1 KR 101821065B1
Authority
KR
South Korea
Prior art keywords
geometric
patch
normal vector
calculating
feature
Prior art date
Application number
KR1020160177905A
Other languages
English (en)
Inventor
최수미
윤여진
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020160177905A priority Critical patent/KR101821065B1/ko
Application granted granted Critical
Publication of KR101821065B1 publication Critical patent/KR101821065B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

3차원 기하 표현 방법 및 장치가 개시된다. 3차원 기하 표현 방법은, 복수의 3차원 기하 모델의 3차원 기하 데이터로부터 기하 패치(patch)를 획득하고, 획득된 기하 패치를 구성하는 정점들의 벡터를 이용하여 기하 패치의 특징 노멀(normal) 방향을 결정하여 기하 패치의 특징 노멀 벡터를 산출하는 단계, 산출된 특징 노멀 벡터를 사전 학습(dictionary learning)하여 기하 특징 정보를 추출하는 단계 및 추출된 기하 특징 정보를 반영하여 복원 대상 모델을 복원하는 단계를 포함한다.

Description

3차원 기하 표현 방법 및 장치{Apparatus and method for 3D geometry representation}
본 발명은 3차원 기하 표현 방법 및 장치에 관한 것이다.
3D 스캐너와 프린터의 발달로 다양한 3D 기하 모델을 획득하기가 쉬워졌지만, 아직도 정확한 데이터를 획득하는 데에는 한계가 있다. 기하 모델을 다루는 기존의 방법들은 크게 두 가지 방법으로 국부적 방법과 전역적 방법이 있다. 국부적 방법에는, 모델을 패치 단위로 나누어 기하의 형태를 분석하고, 분석한 형태정보를 이용하여 모델을 합성하는 방법이 있다. 이러한 국부적 방법은 디테일(detail)한 모델을 합성할 수 있지만, 3D 모델에 손실된 영역이 크면, 이를 제대로 복원하기 어렵고, 패치를 나누는 방법에 따라 결과가 매우 다르다는 문제가 있다. 반대로, 전역적 방법은 모델 전체의 형태를 고려하기 때문에, 비교적 큰 손실이 있어도 복원이 가능하지만, 연산속도가 느리고, 디테일한 복원이 어렵다는 단점이 있다.
국부적 방법 중 기하 패치의 특성을 이용한 신호처리 기반의 방법들이 최근 제안되고 있는데, 이 중에서도 사전(Dictionary) 기반 학습 방법은 노이즈와 손실 데이터 처리에 강하다는 특징을 가진다. 3차원 모델에서 사전기반 학습 알고리즘을 이용한 관련 연구로는, 데이터의 압축 및 복원에 사전기반 학습을 이용한 방법과 폴리곤 모델에 사전 학습을 적용하여 모델을 지속적으로 업데이트 하는 방법이 있다. 이러한 기존의 방법들은 단일 모델 내에서 데이터 압축이나 복원을 위해 기하 특징을 분석하는 방법이다.
본 발명은 단일 모델이 아닌 복원하려는 모델과 유사한 형태를 가지는 다양한 3차원 기하 모델로부터 유사한 특징 정보를 가지는 다양한 기하 패치를 생성하고, 사전(Dictionary) 기반 학습 알고리즘을 이용하여 공통의 특징으로 추출하여 저장한 후, 이를 새로운 기하 복원에 이용하는 3차원 기하 표현 방법 및 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 3차원 기하(geometry) 표현 장치가 수행하는 3차원 기하 표현 방법이 개시된다.
본 발명의 실시예에 따른 3차원 기하 표현 방법은, 복수의 3차원 기하 모델의 3차원 기하 데이터로부터 기하 패치(patch)를 획득하고, 상기 획득된 기하 패치를 구성하는 정점들의 벡터를 이용하여 상기 기하 패치의 특징 노멀(normal) 방향을 결정하여 상기 기하 패치의 특징 노멀 벡터를 산출하는 단계, 상기 산출된 특징 노멀 벡터를 사전 학습(dictionary learning)하여 기하 특징 정보를 추출하는 단계 및 상기 추출된 기하 특징 정보를 반영하여 복원 대상 모델을 복원하는 단계를 포함한다.
상기 기하 패치의 특징 노멀 벡터를 산출하는 단계는, 바운딩 스피어(bounding sphere)를 이용하여 상기 3차원 기하 데이터로부터 기하 패치를 획득하는 단계, 상기 획득된 기하 패치의 중심점을 추출하는 단계, 상기 기하 패치를 구성하는 정점들을 상기 중심점을 기준으로 로컬 평면으로 피팅(fitting)시켜 상기 기하 패치의 기준 노멀 방향을 결정함으로써, 기준 노멀 벡터를 산출하는 단계 및 상기 정점들의 노멀 벡터에 대한 평균 벡터와 상기 기준 노멀 벡터의 내적 연산 결과에 따라 상기 특징 노멀 방향을 결정하여 상기 특징 노멀 벡터를 산출하는 단계를 포함한다.
상기 3차원 기하 데이터로부터 기하 패치를 획득하는 단계는, 상기 바운딩 스피어의 크기를 임의의 정점을 기준으로 미리 설정된 구의 반지름에 따라 결정하는 단계 및 상기 바운딩 스피어의 형태 및 크기를 가지는 기하 패치를 획득하는 단계를 포함한다.
상기 로컬 평면은 기하 패치의 중심점이 원점이 되는 평면이다.
상기 기준 노멀 벡터를 산출하는 단계는, 상기 기하 패치를 구성하는 정점들을 상기 중심점이 이동한 상기 로컬 평면의 원점을 기준으로 재배치하여 상기 로컬 평면으로 피팅시키는 단계 및 상기 피팅된 정점들에 대하여 주성분 분석(PCA: Principle Component Analysis)을 수행하여 상기 기준 노멀 방향을 결정함으로써, 상기 기준 노멀 벡터를 산출하는 단계를 포함한다.
상기 기준 노멀 벡터를 산출하는 단계는 하기 수학식을 이용하여 수행된다.
[수학식 1]
Figure 112016126756828-pat00001
[수학식 2]
Figure 112016126756828-pat00002
[수학식 3]
Figure 112016126756828-pat00003
여기서, 상기 수학식 1의
Figure 112016126756828-pat00004
는 상기 로컬 평면의 높이 필드(height field)를 정의하기 위하여, 각 정점(pi)에 대하여 중심점(p)을 차 연산한 결과이고, 상기 수학식 2를 이용하여 상기
Figure 112016126756828-pat00005
에 대하여 행렬의 희소 분해(SVD: Singular Value Decomposition)를 수행하면, 상기 수학식 3에서, 행렬 U를 통해 상기 로컬 평면의 주방향과 상기 로컬 평면에 피팅된 정점(Plocal)이 산출되며, 상기 주방향은 상기 기준 노멀 방향으로 결정되어 상기 기준 노멀 벡터(np)가 산출된다.
상기 특징 노멀 벡터를 산출하는 단계는, 상기 정점들의 노멀 벡터에 대한 평균 벡터를 산출하는 단계, 상기 평균 벡터와 상기 기준 노멀 벡터의 내적을 산출하는 단계, 상기 내적이 0보다 작은 경우, 반대 방향의 상기 기준 노멀 벡터를 상기 특징 노멀 벡터로 산출하는 단계 및 상기 내적이 0이상인 경우, 상기 기준 노멀 벡터를 상기 특징 노멀 벡터로 산출하는 단계를 포함한다.
상기 특징 노멀 벡터로 산출하는 단계는 하기 수학식을 이용하여 수행된다.
Figure 112016126756828-pat00006
여기서, nplane는 상기 특징 노멀 벡터이고, navg는 상기 평균 벡터이고, np는 상기 기준 노멀 벡터이다.
상기 기하 특징 정보를 추출하는 단계는, 상기 특징 노멀 벡터를 희소 행렬로 희소 코딩(sparse coding)하는 단계, 사전(dictionary) 업데이트하는 단계 및 상기 희소 코딩과 상기 사전 업데이트를 에러가 최소화될 때까지 반복 수행하여 상기 기하 특징 정보를 추출하는 단계를 포함한다.
상기 기하 특징 정보를 추출하는 단계는 하기 수학식을 이용하여 수행된다.
Figure 112016126756828-pat00007
여기서, X는 xi로 구성되는 훈련 데이터(training data)의 계수를 나타내고, D는 학습된 사전을 나타내고, Y는 상기 노멀 특징 벡터를 나타내며, s는 신호의 희소성(sparsity)을 결정한다.
상기 희소 코딩은 에러를 최소화하는 상기 계수 X를 산출하고, 상기 사전 업데이트는 상기 계수 X가 고정된 상태에서 에러를 최소화하는 상기 사전 D를 산출한다.
상기 복원 대상 모델을 복원하는 단계는, 희소 행렬을 푸는 희소 솔버(Sparse solvers)를 이용하여 상기 추출된 기하 특징 정보로부터 상기 복원 대상 모델의 각 정점의 새로운 위치 정보를 산출하는 단계, Marching Cubes 알고리즘을 이용하여 상기 새로운 위치 정보가 산출된 정점들을 기준으로 새로운 폴리곤 모델을 복원하는 단계 및 상기 복원된 폴리곤 모델을 합성하여 상기 복원 대상 모델을 재구성하는 단계를 포함한다.
상기 복원 대상 모델의 각 정점의 새로운 위치 정보를 산출하는 단계는, 상기 희소 솔버가 상기 희소 행렬을 풀어 산출한 행렬을 기존 정점 정보와 획득된 사전에 곱하여 상기 새로운 위치 정보를 산출하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 3차원 기하(geometry) 표현 장치가 개시된다.
본 발명의 실시예에 따른 3차원 기하 표현 장치는, 명령어를 저장하는 메모리 및 상기 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, 복수의 3차원 기하 모델의 3차원 기하 데이터로부터 기하 패치(patch)를 획득하고, 상기 획득된 기하 패치를 구성하는 정점들의 벡터를 이용하여 상기 기하 패치의 특징 노멀(normal) 방향을 결정하여 상기 기하 패치의 특징 노멀 벡터를 산출하는 단계, 상기 산출된 특징 노멀 벡터를 사전 학습(dictionary learning)하여 기하 특징 정보를 추출하는 단계 및 상기 추출된 기하 특징 정보를 반영하여 복원 대상 모델을 복원하는 단계를 포함하는 3차원 기하 표현 방법을 수행한다.
본 발명의 실시예에 따른 3차원 기하 표현 방법 및 장치는, 깊이 카메라나 레이저 등을 이용한 다양한 센서 기반의 스캔 방식으로 기 획득한 3차원 모델 데이터에 손실이 있거나 노이즈가 있을 때, 유사한 형태 특징을 갖는 다른 기하 데이터 세트를 이용하여 손실이나 노이즈가 있는 부분을 효과적으로 복원할 수 있다.
또한, VR(virtual reality) 기기와 같은 어플리케이션에서 생성된 3차원 모델을 포함한 데이터가, 데이터를 압축 및 복원하거나 스캔 데이터를 고해상도 복원하는 어플리케이션에서 활용되게 할 수 있다.
도 1은 본 발명의 실시예에 따른 3차원 기하 표현 방법을 나타낸 흐름도.
도 2는 도 1의 기하 패치 생성 단계를 세부적으로 나타낸 흐름도.
도 3 및 도 4는 도 1의 기하 패치 생성 단계를 설명하기 위한 도면.
도 5는 도 1의 사전 학습 단계를 세부적으로 나타낸 흐름도.
도 6은 도 1의 기하 복원 단계를 세부적으로 나타낸 흐름도.
도 7은 본 발명의 실시예에 따른 3차원 기하 표현 장치의 구성을 개략적으로 예시한 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 1은 본 발명의 실시예에 따른 3차원 기하 표현 방법을 나타낸 흐름도이고, 도 2는 도 1의 기하 패치 생성 단계를 세부적으로 나타낸 흐름도이고, 도 3 및 도 4는 도 1의 기하 패치 생성 단계를 설명하기 위한 도면이고, 도 5는 도 1의 사전 학습 단계를 세부적으로 나타낸 흐름도이고, 도 6은 도 1의 기하 복원 단계를 세부적으로 나타낸 흐름도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 3차원 기하 표현 방법은 기하 패치 생성 단계(S110), 사전 학습(Dictionary Learning) 단계(S120) 및 기하 복원 단계(S130)를 포함한다. 즉, 본 발명의 실시예에 따른 3차원 기하 표현 방법은, 다양한 3차원 기하 모델에 대한 3차원 기하 데이터로부터 기하 패치(patch)를 획득하고, 획득된 기하 패치의 기하 특징 정보를 사전 학습을 이용하여 학습하여, 기하 패치의 기하 특징 정보가 가지는 공통의 우세 특징 정보를 추출함으로써, 사전에 저장된 기하 특징 정보를 이용하여 손실이 있거나 노이즈가 포함된 복원 대상이 되는 3차원 기하 모델을 복원하여 표현할 수 있다.
우선, 기하 패치 생성 단계(S110)에서는, 복원 대상 모델과 유사한 형태를 가지는 복수의 3차원 기하 모델의 3차원 기하 데이터로부터 기하 패치를 획득하고, 획득된 기하 패치를 구성하는 정점들의 벡터를 이용하여 기하 패치의 특징 노멀(normal) 방향을 결정하여 기하 패치의 특징 노멀 벡터를 산출함으로써, 획득된 기하 패치의 정렬된 패치 데이터를 산출한다. 예를 들어, 다양한 3차원 기하 모델에 대한 3차원 기하 데이터가 저장된 데이터베이스가 사전에 구축될 수 있으며, 복원 대상 모델과의 형태 유사도가 미리 설정된 임계치 이상인 미리 설정된 개수의 3차원 기하 모델의 3차원 기하 데이터가 데이터베이스로부터 추출됨으로써, 복원 대상 모델과 유사한 형태를 가지는 복수의 3차원 기하 모델의 3차원 기하 데이터로부터 기하 패치가 획득될 수 있다.
이하, 도 2를 참조하여 기하 패치 생성 단계(S110)를 설명하기로 한다.
S111 단계에서, 바운딩 스피어(bounding sphere)를 이용하여 다양한 3차원 기하 데이터로부터 기하 패치가 획득된다. 여기서, 바운딩 스피어의 크기는 임의의 정점을 기준으로 미리 설정된 구의 반지름에 따라 결정되며, 이와 같은 바운딩 스피어의 형태 및 크기를 가지는 기하 패치가 획득될 수 있다.
S113 단계에서, 획득된 기하 패치의 중심점(p)이 추출된다.
S115 단계에서, 기하 패치를 구성하는 정점들이 기하 패치의 중심점을 기준으로 로컬 평면으로 피팅(fitting)되어 기하 패치의 기준 노멀 방향이 결정됨으로써, 기준 노멀 벡터가 산출된다.
하나의 기하 패치를 구성하는 정점들은 원본 모델에서 위치에 따라 서로 다른 방향과 좌표를 가지므로, 이를 일치시키기 위하여, 기하 패치를 구성하는 정점들은 기하 패치의 중심점을 기준으로 로컬 평면으로 피팅되어야 한다.
즉, 로컬 평면은 기하 패치의 중심점이 원점이 되는 평면이며, 기하 패치를 구성하는 정점들은 중심점이 이동한 로컬 평면의 원점을 기준으로 재배치되어 로컬 평면으로 피팅될 수 있다. 그리고, 피팅된 정점들에 대하여 주성분 분석(PCA: Principle Component Analysis)이 수행되어 해당 기하 패치의 기준 노멀 방향이 결정됨으로써, 기준 노멀 벡터(np)가 생성될 수 있다.
예를 들어, 기하 패치를 구성하는 정점들이 기하 패치의 중심점을 기준으로 피팅되는 로컬 평면은 도 3에 도시된 바와 같이 정의될 수 있으며, 하기의 수학식을 이용하여 산출될 수 있다.
Figure 112016126756828-pat00008
Figure 112016126756828-pat00009
Figure 112016126756828-pat00010
수학식 1에서
Figure 112016126756828-pat00011
는 로컬 평면의 높이 필드(height field)를 정의하기 위하여, 각 정점(pi)에 대하여 중심점(p)을 차 연산한 결과이다. 이에 대하여, 수학식 2를 이용하여 SVD(Singular Value Decomposition) 즉, 행렬의 희소 분해가 수행되면, 수학식 3과 같이, 행렬 U를 통해 로컬 평면의 주방향과 로컬 평면에 피팅된 정점(Plocal)이 산출될 수 있다. 즉, 로컬 평면의 주방향은 해당 기하 패치의 기준 노멀 방향으로 결정되어 기준 노멀 벡터(np)가 산출될 수 있다.
S117 단계에서, 정점들의 노멀 벡터에 대한 평균 벡터와 기준 노멀 벡터의 내적 연산 결과에 따라 특징 노멀 방향이 결정되어 해당 기하 패치의 특징 노멀 벡터가 산출된다.
예를 들어, 로컬 평면의 노멀 방향이 기하 패치를 구성하는 실제 평면의 노멀 방향과 반대가 되는 경우를 피하기 위하여, 하기 수학식을 이용하여 기하 패치의 특징 노멀 벡터(nplane)가 산출될 수 있다.
Figure 112016126756828-pat00012
우선, 도 4에 도시된 바와 같이, 수학식 4를 이용하여 k개의 정점들의 노멀 벡터 ni의 평균 벡터 navg가 산출될 수 있다.
Figure 112016126756828-pat00013
그리고, 평균 벡터 navg와 기준 노멀 벡터 np의 내적 연산 결과에 따라 특징 노멀 방향이 결정되어 특징 노멀 벡터 nplane가 산출될 수 있다. 즉, 평균 벡터 navg와 기준 노멀 벡터 np의 내적 연산 결과가 0보다 작은 경우, 특징 노멀 벡터 nplane는 반대 방향의 기준 노멀 벡터 np가 될 수 있다.
다음으로, 사전 학습 단계(S120)에서는, 산출된 기하 패치의 특징 노멀 벡터를 사전 학습(dictionary learning)하여 기하 특징 정보를 추출한다.
이하, 도 5를 참조하여 사전 학습 단계(S120)를 설명하기로 한다.
S121 단계에서, 특징 노멀 벡터가 희소 행렬로 희소 코딩(sparse coding)된다.
S123 단계에서, 사전(dictionary)이 업데이트된다.
S125 단계에서, 특징 노멀 벡터의 회소 코딩과 사전 업데이트가 에러가 최소화될 때까지 반복 수행됨으로써, 기하 특징 정보가 추출된다.
예를 들어, 특징 노멀 벡터의 희소 코딩과 사전 업데이트는 최소 25회에서 최대 30까지 반복 수행될 수 있으며, 사전 학습은 하기의 수학식을 이용하여 수행될 수 있다.
Figure 112016126756828-pat00014
여기서, X는 xi로 구성되는 훈련 데이터(training data)의 계수를 나타내고, D는 학습된 사전을 나타내고, Y는 노멀 특징 벡터를 나타내며, s는 신호의 희소성(sparsity)을 결정한다.
즉, 희소 코딩은 에러를 최소화하는 계수 X를 산출하는 것이고, 사전 업데이트는 에러를 최소화하는 사전 D를 산출하는 것이다. 여기서, 사전 업데이트는 계수 X가 고정된 상태에서 수행된다.
다음으로, 기하 복원 단계(S130)에서는, 추출된 기하 특징 정보를 반영하여 복원 대상 모델을 복원한다.
이하, 도 6을 참조하여 기하 복원 단계(S130)를 설명하기로 한다.
S131 단계에서, 희소 행렬을 푸는 희소 솔버(Sparse solvers)를 이용하여 추출된 기하 특징 정보로부터 복원 대상 모델의 각 정점의 새로운 위치 정보가 산출된다. 예를 들어, 추출된 기하 특징이 반영되어 3차원 기하 모델이 복원될 때에는, 완성된 행렬곱이 이용되어 재구성될 복원 대상 모델의 각 정점의 새로운 위치 정보가 산출될 수 있다. 즉, 희소 솔버가 희소 행렬을 풀어 산출한 행렬이 기존 정점 정보와 획득된 사전 D에 곱해져 각 정점의 새로운 위치 정보가 산출될 수 있다. 이때, 희소 행렬을 푸는 다양한 희소 솔버가 선택적으로 사용될 수 있다.
S133 단계에서, Marching Cubes 알고리즘을 이용하여 새로운 위치 정보가 산출된 정점들을 기준으로 새로운 폴리곤 모델이 복원된다.
S135 단계에서, 복원된 폴리곤 모델이 합성되어 복원 대상 모델이 재구성된다.
도 7은 본 발명의 실시예에 따른 3차원 기하 표현 장치의 구성을 개략적으로 예시한 도면이다.
도 7을 참조하면, 본 발명의 실시예에 따른 3차원 기하 표현 장치는 프로세서(710), 메모리(720), 통신부(730) 및 인터페이스(740)를 포함한다.
프로세서(710)는 메모리(720)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다.
메모리(720)는 다양한 유형의 휘발성 또는 비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리(720)는 ROM, RAM 등을 포함할 수 있다.
예를 들어, 메모리(720)는 본 발명의 실시예에 따른 3차원 기하 표현 방법을 수행하는 명령어들을 저장할 수 있다.
통신부(730)는 통신망을 통해 다른 장치들과 데이터를 송수신하기 위한 수단이다.
인터페이스부(740)는 네트워크에 접속하기 위한 네트워크 인터페이스 및 사용자 인터페이스를 포함할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
710: 프로세서
720: 메모리
730: 통신부
740: 인터페이스부

Claims (14)

  1. 3차원 기하(geometry) 표현 장치가 수행하는 3차원 기하 표현 방법에 있어서,
    복수의 3차원 기하 모델의 3차원 기하 데이터로부터 기하 패치(patch)를 획득하고, 상기 획득된 기하 패치를 구성하는 정점들의 벡터를 이용하여 상기 기하 패치의 특징 노멀(normal) 방향을 결정하여 상기 기하 패치의 특징 노멀 벡터를 산출하는 단계;
    상기 산출된 특징 노멀 벡터를 사전 학습(dictionary learning)하여 기하 특징 정보를 추출하는 단계; 및
    상기 추출된 기하 특징 정보를 반영하여 복원 대상 모델을 복원하는 단계를 포함하되,
    상기 기하 패치의 특징 노멀 벡터를 산출하는 단계는,
    바운딩 스피어(bounding sphere)를 이용하여 상기 3차원 기하 데이터로부터 기하 패치를 획득하는 단계;
    상기 획득된 기하 패치의 중심점을 추출하는 단계;
    상기 기하 패치를 구성하는 정점들을 상기 중심점을 기준으로 로컬 평면으로 피팅(fitting)시켜 상기 기하 패치의 기준 노멀 방향을 결정함으로써, 기준 노멀 벡터를 산출하는 단계; 및
    상기 정점들의 노멀 벡터에 대한 평균 벡터와 상기 기준 노멀 벡터의 내적 연산 결과에 따라 상기 특징 노멀 방향을 결정하여 상기 특징 노멀 벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 기하 표현 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 3차원 기하 데이터로부터 기하 패치를 획득하는 단계는,
    상기 바운딩 스피어의 크기를 임의의 정점을 기준으로 미리 설정된 구의 반지름에 따라 결정하는 단계; 및
    상기 바운딩 스피어의 형태 및 크기를 가지는 기하 패치를 획득하는 단계를 포함하는 것을 특징으로 하는 3차원 기하 표현 방법.
  4. 제1항에 있어서,
    상기 로컬 평면은 기하 패치의 중심점이 원점이 되는 평면인 것을 특징으로 하는 3차원 기하 표현 방법.
  5. 제1항에 있어서,
    상기 기준 노멀 벡터를 산출하는 단계는,
    상기 기하 패치를 구성하는 정점들을 상기 중심점이 이동한 상기 로컬 평면의 원점을 기준으로 재배치하여 상기 로컬 평면으로 피팅시키는 단계; 및
    상기 피팅된 정점들에 대하여 주성분 분석(PCA: Principle Component Analysis)을 수행하여 상기 기준 노멀 방향을 결정함으로써, 상기 기준 노멀 벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 기하 표현 방법.
  6. 제1항에 있어서,
    상기 기준 노멀 벡터를 산출하는 단계는 하기 수학식을 이용하여 수행되는 것을 특징으로 하는 3차원 기하 표현 방법.
    [수학식 1]
    Figure 112017109331010-pat00015

    [수학식 2]
    Figure 112017109331010-pat00016

    [수학식 3]
    Figure 112017109331010-pat00017

    여기서, 상기 수학식 1의
    Figure 112017109331010-pat00018
    는 상기 로컬 평면의 높이 필드(height field)를 정의하기 위하여, 각 정점(pi)에 대하여 중심점(p)을 차 연산한 결과이고, 상기 수학식 2를 이용하여 상기
    Figure 112017109331010-pat00019
    에 대하여 행렬의 희소 분해(SVD: Singular Value Decomposition)를 수행하면, 상기 수학식 3에서, 행렬 U를 통해 상기 로컬 평면의 주방향과 상기 로컬 평면에 피팅된 정점(Plocal)이 산출되며, 상기 주방향은 상기 기준 노멀 방향으로 결정되어 상기 기준 노멀 벡터(np)가 산출됨
  7. 제1항에 있어서,
    상기 특징 노멀 벡터를 산출하는 단계는,
    상기 정점들의 노멀 벡터에 대한 평균 벡터를 산출하는 단계;
    상기 평균 벡터와 상기 기준 노멀 벡터의 내적을 산출하는 단계;
    상기 내적이 0보다 작은 경우, 반대 방향의 상기 기준 노멀 벡터를 상기 특징 노멀 벡터로 산출하는 단계; 및
    상기 내적이 0이상인 경우, 상기 기준 노멀 벡터를 상기 특징 노멀 벡터로 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 기하 표현 방법.
  8. 제7항에 있어서,
    상기 특징 노멀 벡터로 산출하는 단계는 하기 수학식을 이용하여 수행되는 것을 특징으로 하는 3차원 기하 표현 방법.
    Figure 112016126756828-pat00020

    여기서, nplane는 상기 특징 노멀 벡터이고, navg는 상기 평균 벡터이고, np는 상기 기준 노멀 벡터임
  9. 제1항에 있어서,
    상기 기하 특징 정보를 추출하는 단계는,
    상기 특징 노멀 벡터를 희소 행렬로 희소 코딩(sparse coding)하는 단계;
    사전(dictionary) 업데이트하는 단계; 및
    상기 희소 코딩과 상기 사전 업데이트를 에러가 최소화될 때까지 반복 수행하여 상기 기하 특징 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 기하 표현 방법.
  10. 제9항에 있어서,
    상기 기하 특징 정보를 추출하는 단계는 하기 수학식을 이용하여 수행되는 것을 특징으로 하는 3차원 기하 표현 방법.
    Figure 112017109331010-pat00021

    여기서, X는 xi로 구성되는 훈련 데이터(training data)의 계수를 나타내고, D는 학습된 사전을 나타내고, Y는 상기 특징 노멀 벡터를 나타내며, s는 신호의 희소성(sparsity)을 결정함
  11. 제10항에 있어서,
    상기 희소 코딩은 에러를 최소화하는 상기 계수 X를 산출하고,
    상기 사전 업데이트는 상기 계수 X가 고정된 상태에서 에러를 최소화하는 상기 사전 D를 산출하는 것을 특징으로 하는 3차원 기하 표현 방법.
  12. 제1항에 있어서,
    상기 복원 대상 모델을 복원하는 단계는,
    희소 행렬을 푸는 희소 솔버(Sparse solvers)를 이용하여 상기 추출된 기하 특징 정보로부터 상기 복원 대상 모델의 각 정점의 새로운 위치 정보를 산출하는 단계;
    Marching Cubes 알고리즘을 이용하여 상기 새로운 위치 정보가 산출된 정점들을 기준으로 새로운 폴리곤 모델을 복원하는 단계; 및
    상기 복원된 폴리곤 모델을 합성하여 상기 복원 대상 모델을 재구성하는 단계를 포함하는 것을 특징으로 하는 3차원 기하 표현 방법.
  13. 제12항에 있어서,
    상기 복원 대상 모델의 각 정점의 새로운 위치 정보를 산출하는 단계는,
    상기 희소 솔버가 상기 희소 행렬을 풀어 산출한 행렬을 기존 정점 정보와 획득된 사전에 곱하여 상기 새로운 위치 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 기하 표현 방법.
  14. 3차원 기하(geometry) 표현 장치에 있어서,
    명령어를 저장하는 메모리; 및
    상기 명령어를 실행하는 프로세서를 포함하되,
    상기 명령어는,
    복수의 3차원 기하 모델의 3차원 기하 데이터로부터 기하 패치(patch)를 획득하고, 상기 획득된 기하 패치를 구성하는 정점들의 벡터를 이용하여 상기 기하 패치의 특징 노멀(normal) 방향을 결정하여 상기 기하 패치의 특징 노멀 벡터를 산출하는 단계;
    상기 산출된 특징 노멀 벡터를 사전 학습(dictionary learning)하여 기하 특징 정보를 추출하는 단계; 및
    상기 추출된 기하 특징 정보를 반영하여 복원 대상 모델을 복원하는 단계를 포함하는 3차원 기하 표현 방법을 수행하며,
    상기 기하 패치의 특징 노멀 벡터를 산출하는 단계는,
    바운딩 스피어(bounding sphere)를 이용하여 상기 3차원 기하 데이터로부터 기하 패치를 획득하는 단계;
    상기 획득된 기하 패치의 중심점을 추출하는 단계;
    상기 기하 패치를 구성하는 정점들을 상기 중심점을 기준으로 로컬 평면으로 피팅(fitting)시켜 상기 기하 패치의 기준 노멀 방향을 결정함으로써, 기준 노멀 벡터를 산출하는 단계; 및
    상기 정점들의 노멀 벡터에 대한 평균 벡터와 상기 기준 노멀 벡터의 내적 연산 결과에 따라 상기 특징 노멀 방향을 결정하여 상기 특징 노멀 벡터를 산출하는 단계를 포함하는 것을 특징으로 하는 3차원 기하 표현 장치.


KR1020160177905A 2016-12-23 2016-12-23 3차원 기하 표현 방법 및 장치 KR101821065B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160177905A KR101821065B1 (ko) 2016-12-23 2016-12-23 3차원 기하 표현 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160177905A KR101821065B1 (ko) 2016-12-23 2016-12-23 3차원 기하 표현 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101821065B1 true KR101821065B1 (ko) 2018-01-23

Family

ID=61071018

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160177905A KR101821065B1 (ko) 2016-12-23 2016-12-23 3차원 기하 표현 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101821065B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930334A (zh) * 2019-11-26 2020-03-27 浙江大学 一种基于神经网络的网格去噪方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192214A (ja) * 2010-03-16 2011-09-29 Canon Inc 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192214A (ja) * 2010-03-16 2011-09-29 Canon Inc 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1:2013.02

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930334A (zh) * 2019-11-26 2020-03-27 浙江大学 一种基于神经网络的网格去噪方法
CN110930334B (zh) * 2019-11-26 2023-03-31 浙江大学 一种基于神经网络的网格去噪方法

Similar Documents

Publication Publication Date Title
CN110637305B (zh) 通过渲染许多3d视图来学习重构3d形状
JP7491685B2 (ja) ニューラルネットワークのセット
US10366534B2 (en) Selective surface mesh regeneration for 3-dimensional renderings
Lou et al. Example-based human motion denoising
KR20240069802A (ko) 3차원 객체 재구성
EP3326156B1 (en) Consistent tessellation via topology-aware surface tracking
EP3756163B1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
CN111127631B (zh) 基于单图像的三维形状和纹理重建方法、系统及存储介质
KR101853237B1 (ko) 딥 러닝을 이용한 3차원 기하 디노이징 방법 및 그 장치
JP2009525543A (ja) 二次元画像からの三次元の顔の復元
KR20170064369A (ko) 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치
KR101428627B1 (ko) 개선된 이미지 매칭을 위한 방법 및 장치
CN108124489B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN110176079A (zh) 一种基于准共形映射的三维模型变形算法
JP2015504559A (ja) 鏡像対称ベースの３ｄモデルの圧縮の方法及び装置
KR102223484B1 (ko) 식생을 제거한 절토사면의 3차원 모델 생성 시스템 및 3차원 모델 생성 방법
CN113379932A (zh) 人体三维模型的生成方法和装置
KR20190069750A (ko) 2d를 3d로 변환하는 기술과 posit 알고리즘을 이용한 증강현실 표현방법
CN113592994B (zh) 用于纹理贴图的方法、装置和存储介质
KR101821065B1 (ko) 3차원 기하 표현 방법 및 장치
Ruchay et al. Accuracy analysis of surface reconstruction from point clouds
CN107818578B (zh) 一种基于注册方法的快速人脸模型重建算法及系统
JP4714050B2 (ja) ３次元形状モデル生成システム
CN115222895A (zh) 图像生成方法、装置、设备以及存储介质
Levi et al. D-Snake: image registration by as-similar-as-possible template deformation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant