KR20190053304A - 3-차원 텍스처링된 메시들의 견고한 병합 - Google Patents

3-차원 텍스처링된 메시들의 견고한 병합 Download PDF

Info

Publication number
KR20190053304A
KR20190053304A KR1020197013571A KR20197013571A KR20190053304A KR 20190053304 A KR20190053304 A KR 20190053304A KR 1020197013571 A KR1020197013571 A KR 1020197013571A KR 20197013571 A KR20197013571 A KR 20197013571A KR 20190053304 A KR20190053304 A KR 20190053304A
Authority
KR
South Korea
Prior art keywords
mesh
merging
meshes
clipping
dimensional
Prior art date
Application number
KR1020197013571A
Other languages
English (en)
Other versions
KR102210537B1 (ko
Inventor
지아뉴안 민
샤오린 웨이
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Priority to KR1020217002640A priority Critical patent/KR102415830B1/ko
Publication of KR20190053304A publication Critical patent/KR20190053304A/ko
Application granted granted Critical
Publication of KR102210537B1 publication Critical patent/KR102210537B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

3D 메시들을 병합하는 방법은, 제1 메시 및 제2 메시를 수신하는 단계; 공통 세계 좌표계(world coordinate system)에서 제1 메시 및 제2 메시를 맞추도록 공간적 정렬을 수행하는 단계; 리던던트 메시 꼭짓점들을 제거하기 위해 제1 메시 및 제2 메시 상에서 메시 클리핑을 수행하는 단계; 메시 클리핑에 의해 생성된 메시 연접 구멍들을 폐쇄하기 위해 클리핑 심 주위에서 지오메트리 정제를 수행하는 단계; 및 병합된 메시를 획득하기 위해 클리핑 심에 인접한 구역들에서 텍스처 블렌딩을 수행하는 단계를 포함한다.

Description

3-차원 텍스처링된 메시들의 견고한 병합{ROBUST MERGE OF 3D TEXTURED MESHES}
[0001] 본 출원은, 2017년 3월 23일자로 출원된 미국 정규 특허 출원 번호 제15/467,851호의 이익 및 이를 우선권으로 주장하며, 이 출원은 2016년 4월 13일자로 출원된 미국 가특허 출원 번호 제62/322,081호의 이익 및 이를 우선권으로 주장한다. 위에서 식별된 특허 출원들의 전체 내용들은 모든 목적들을 위해 인용에 의해 본원에 포함된다.
[0002] 본 발명은 일반적으로, 컴퓨터화된 3-차원(3D) 메시 재구성(mesh reconstruction)에 관한 것으로, 특히 둘 또는 그 초과의 3D 텍스처링된 메시들을 하나의 텍스처링된 메시로 병합하기 위한 자동 접근법에 관한 것이다.
[0003] 텍스처링된 메시는 3D 지오메트릭 형상들의 일반적인 표현이다. 이는 가상 현실, 과학적 시각화, 3D 촬영, 3D 게임 등을 포함하는 다수의 그래픽 애플리케이션들에서 널리 사용되었다. 매우 다양한 기술들이 3D 스캔들로부터 메시들을 재구성하기 위해 도입되었다. 그러나 3D 스캔들로부터 정확한 크고 복잡한 메시들을 생성하는 것은 지루하고 노동 집약적일 수 있다. 이는 종종 다수의 3D 스캔들로부터의 더 작은 메시들을 정렬, 편집 및 결합함으로써 수동으로 수행된다. 따라서, 크고 복잡한 3D 텍스처링된 모델로의 다수의 메시들의 견고한 병합(robust merging)을 가능하게 하는 개선된 방법들 및 시스템들이 당업계에 필요하다.
[0004] 일 실시예에 따라, 3D 메시들을 병합하는 방법은, 제1 메시 및 제2 메시를 수신하는 단계; 공통 세계 좌표계(world coordinate system)에서 제1 메시 및 제2 메시를 맞추도록 공간적 정렬을 수행하는 단계; 리던던트 메시 꼭짓점들을 제거하기 위해 제1 메시 및 제2 메시 상에서 메시 클리핑을 수행하는 단계; 메시 클리핑에 의해 생성된 메시 연접 구멍들을 폐쇄하기 위해 클리핑 심(clipping seam)) 주위에서 지오메트리 정제(geometry refinement)를 수행하는 단계; 및 병합된 메시를 획득하기 위해 클리핑 심에 인접한 구역들에서 텍스처 블렌딩을 수행하는 단계를 포함한다.
[0005] 다른 실시예에 따라, 3D 텍스처링된 메시들을 병합하는 방법은, 제1 메시 및 제2 메시를 수신하는 단계; 제1 메시 및 제2 메시가 중첩되는 중첩 구역을 식별하는 단계; 중첩 구역을 포함하는 중첩 구역의 바운딩 박스(bounding box)를 식별하는 단계; 및 바운딩 박스 내의 제1 메시의 각각의 개별 꼭짓점에 대해, 제2 메시의 대응하는 가장 가까운 꼭짓점을 검색하고, 그리하여 복수의 매칭 쌍들을 설정하는 단계를 포함한다. 각각의 매칭 쌍은 제1 메시의 개별 꼭짓점 및 제2 메시의 대응하는 가장 가까운 꼭짓점을 포함한다. 방법은, 복수의 매칭 쌍들의 각각의 매칭 쌍에 대해: 제1 메시의 개별 꼭짓점의 제1 NCNG(normal consistent connected group) 및 제2 메시의 대응하는 가장 가까운 꼭짓점의 제2 NCNG를 추정하는 단계; 제1 NCNG의 영역과 제2 NCNG의 영역 간의 비(ratio)가 제1 미리 결정된 임계치보다 크다는 것을 결정할 시에, 제1 메시의 개별 꼭짓점 및 제2 메시의 대응하는 가장 가까운 꼭짓점을 거짓 매칭 쌍으로서 분류하는 단계; 및 복수의 매칭 쌍들로부터 거짓 매칭 쌍을 제거하는 단계를 더 포함한다. 방법은, 복수의 매칭 쌍들의 각각의 매칭 쌍에서 제1 메시의 개별 꼭짓점과 제2 메시의 대응하는 가장 가까운 꼭짓점 간의 거리를 최소화하도록 제1 메시에 적용될 강체 변환(rigid transformation)을 결정하는 단계; 및 변환된 제1 메시를 획득하도록 제1 메시에 강체 변환을 적용하는 단계를 더 포함한다. 방법은, 중첩 영역에서 리던던트 메시 꼭짓점들을 제거하도록 변환된 제1 메시 상의 제1 클리핑 심을 따라 그리고 제2 메시 상의 제2 클리핑 심을 따라 메시 클리핑을 수행하는 단계; 및 메시 클리핑에 의해 생성된 메시 연접 구멍들을 폐쇄하기 위해 제1 클리핑 심 및 제2 클리핑 심 주위에서 지오메트리 정제를 수행하는 단계를 더 포함할 수 있다.
[0006] 하나 또는 그 초과의 다양한 실시예들에 따른 본 개시내용은 이하의 도면들을 참조하여 상세히 설명된다. 도면들은 예시 목적들을 위해서만 제공되며 단지 본 개시내용의 예시적인 실시예들을 도시한다. 이들 도면들은 본 개시내용에 관한 독자의 이해를 용이하게 하기 위해 제공되며, 본 개시내용의 폭, 범위 또는 적용 가능성을 제한하는 것으로 간주되어서는 안 된다. 예시의 명료성 및 용이함을 위해, 이들 도면들은 반드시 실척으로 이루어질 필요는 없다는 것이 주의되어야 한다.
[0007] 도 1은 일부 실시예들에 따라 둘 또는 그 초과의 3D 메시들을 병합하는 방법을 예시하는 단순화된 흐름도이다.
[0008] 도 2는 일 실시예에 따라 2개의 메시들의 이미지들을 예시한다.
[0009] 도 3은 일 실시예에 따라 2개의 메시들 간의 공간적 정렬을 수행하는 방법을 예시하는 흐름도이다.
[0010] 도 4a 내지 도 4c는 일 실시예에 따른 공간적 정렬 절차를 예시하는 개략도들이다.
[0011] 도 5는 본 발명의 일 실시예에 따른 공간적 정렬 절차 후에 도 2에 예시된 2개의 메시들의 이미지들을 예시한다.
[0012] 도 6은 일 실시예에 따라, 2개의 메시들 간의 거짓 매칭이 검출될 수 있는 예를 예시하는 개략도이다.
[0013] 도 7a는 일부 실시예들에 따라, 메시 클리핑 절차가 2개의 메시들에 적용될 수 있는 예시적인 복셀들의 그리드의 2차원 도면을 예시하는 개략도이다.
[0014] 도 7b는 일 실시예에 따라, 메시 클리핑 절차가 수행된 후에 도 7a에 예시된 바와 같은 2개의 메시들을 예시하는 개략도이다.
[0015] 도 8a 및 도 8b는 각각, 일 실시예에 따라, 메시 클리핑 절차 전에 그리고 후에 도 5에 예시된 2개의 메시들의 중첩 구역의 이미지들이다.
[0016] 도 9a 및 도 9b는 일 실시예에 따른 지오메트리 정제 절차를 예시한다.
[0017] 도 10a 및 도 10b는 각각, 일 실시예에 따라, 텍스처 블렌딩 프로세스 전에 그리고 후에 병합 영역 근처의 병합된 메시의 예시적인 이미지들을 예시한다.
[0018] 도 11은 일 실시예에 따라, 메시 병합 알고리즘을 사용하여 도 2에 예시된 2개의 메시들을 병합한 것으로부터 발생된 병합된 메시의 이미지를 예시한다.
[0019] 도 12는 일 실시예에 따라 3D 메시들을 병합하는 방법을 예시하는 흐름도이다.
[0020] 도 13은 일 실시예에 따라 3D 메시들을 병합하는 방법을 예시하는 흐름도이다.
[0021] 특정한 디바이스들, 기술들 및 애플리케이션들의 설명들은 단지 예들로서 제공된다. 본원에 설명된 예들에 대한 다양한 수정들은 당업자들에게 용이하게 명백할 것이며, 본원에 정의된 일반적인 원리들은 본 개시내용의 사상 및 범위를 벗어나지 않으면서 다른 예들 및 애플리케이션들에 적용될 수 있다. 따라서, 본 개시내용의 실시예들은, 본원에서 설명되고 도시된 예들로 제한되도록 의도되는 것이 아니라, 청구항들과 부합하는 범위로 허여될 것이다.
[0022] "예시적인"이란 단어는 "예 또는 예시로서 기능하는" 것을 의미하도록 본원에서 사용된다. “예시적인” 것으로서 본원에서 설명된 임의의 양상 또는 설계는 다른 양상들 또는 설계들에 비해 반드시 바람직하거나 유리한 것으로서 해석될 필요는 없다.
[0023] 이제, 주제 기술의 양상들에 대한 참조가 상세히 이루어질 것이며, 그의 예들은 유사한 참조 번호들이 전반에 걸쳐 유사한 엘리먼트들을 지칭하는 첨부 도면들에서 예시된다.
[0024] 본원에서 개시된 프로세스들의 단계들의 특정 순서 또는 계층이 예시적인 접근법들의 예라는 것이 이해되어야 한다. 설계 선호도들에 기초하여, 프로세스들의 단계들의 특정 순서 또는 계층이 본 개시내용의 범위 내에서 유지되면서 재배열될 수 있다는 것이 이해된다. 첨부된 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제시하며, 제시된 특정한 순서 또는 계층으로 제한되도록 의도되지 않는다.
[0025] 본 개시내용은 일반적으로 3-차원(3D) 메시들을 병합하는 방법들에 관한 것이다. 보다 구체적으로, 본 개시내용의 일부 실시예들은 둘 또는 그 초과의 3D 텍스처링된 메시들을 하나의 큰 3D 텍스처링된 메시로 견고하게 병합하기 위한 자동 접근법에 관한 것이다. 일부 실시예들에 따라, 3D 메시는 다각형 메시를 포함할 수 있다. 다각형 메시는 3D 컴퓨터 그래픽들 및 솔리드 모델링에서 다면체 객체의 형상을 정의하는 꼭짓점들, 에지들 및 면들의 모음이다. 다각형 메시의 면들은 삼각형들(삼각형 메시), 사각형들 또는 다른 볼록 다각형들을 포함할 수 있다. 면들은 또한, 오목 다각형들, 구멍들을 갖는 다각형들 및 나선 형상들을 포함할 수 있다.
[0026] 큰 영역의 3D 스캐닝을 수행할 때, 영역의 섹션들은 다수의 메시들을 생성하도록 개별적으로 스캔될 수 있으며, 여기서 각각의 메시는 스캔되는 영역의 각각의 부분을 표현할 수 있다. 예를 들어, 빌딩을 스캔할 때, 빌딩 내의 각각의 개별 방은 물론, 복도들의 섹션들은 다수의 메시들을 생성하도록 개별적으로 스캔될 수 있다. 개별 스캔들에 의해 커버되는 섹션들은 소정의 구역들에서 서로 중첩될 수 있다. 예를 들어, 방의 스캔은 방의 입구에 인접한 영역의 복도의 스캔과 중첩될 수 있다. 본 개시내용의 실시예들은 하나의 큰 메시로의 다수의 메시들의 컴퓨터화된 병합의 방법들을 제공할 수 있다.
[0027] 일부 실시예들에서, 큰 메시로 병합될 다수의 입력 메시들이 있을 때, 입력 메시들은 그들의 크기들의 순서로 순차적으로 병합될 수 있다. 예를 들어, 메시의 크기는 그의 바운딩 박스(bounding box)의 볼륨의 관점에서 측정될 수 있다. 바운딩 박스는 메시를 포함하는 최소 직사각형 3D 공간으로서 정의될 수 있다. 일부 실시예들에서, 입력 메시들은 메시 크기들의 내림차순의 시퀀스({M0, M1, …, Mk, …, Mn})를 획득하도록 정렬될 수 있으며, 여기서 Mk는 k번째의 최대 볼륨을 갖는 메시이다. 병합 프로세스는 최대 크기의 메시(M = M0)로 시작할 수 있다. 최대 메시(M0)는 현재 병합된 메시 : M = merge(M, Mk){k = 0, 1, 2 ... n}를 획득하도록 시퀀스 내의 다른 메시들과 순차적으로 병합될 수 있다. 예를 들어, 최대 메시(M0)는 두 번째의 최대 메시(M1)와 병합되어 병합된 메시 M = merge(M0, M1)를 획득할 수 있고; 그 후 M은 세 번째의 최대 메시(M2)와 병합되어 새로운 병합된 메시 M = merge(M, M2)를 획득하는 식일 수 있다. 예시 목적들만을 위해, 다음에서는 병합 프로세스를 설명하기 위한 예로서 2개의 메시들을 병합하는 프로세스를 설명할 것이다. 본 개시내용의 실시예들은 단지 2개의 메시들만을 병합하는 것으로 제한되지 않고, 임의의 수의 메시들을 병합하는데 적용될 수 있다는 것이 이해되어야 한다.
[0028] 도 1은 일 실시예에 따라 둘 또는 그 초과의 3D 메시들을 병합하는 방법(100)을 예시하는 흐름도이다. 방법(100)은 다음의 단계들, 즉 둘 또는 그 초과의 입력 메시들의 수신 단계(110); 공간적 정렬 단계(120); 메시 클리핑 단계(130); 지오메트리 정제 단계(140); 텍스처 블렌딩 단계(150); 및 병합된 메시의 출력 단계(160)를 포함할 수 있다. 이 단계들 중 일부는 선택적일 수 있다. 위에서 논의된 바와 같이, 수신된 메시들은 3-차원(3D)일 수 있고, 삼각형들(삼각형 메시), 사각형들, 또는 다른 볼록 다각형들에 기초한 컴포넌트들을 포함할 수 있다. 삼각형 메시들이 본원에서 논의되지만, 본 개시내용의 실시예들은 삼각형 메시들로 제한되지 않는다. 방법(100)은 프로세서, 및 명령들을 저장한 비-일시적 컴퓨터-판독 가능 저장 매체를 포함하는 컴퓨터 시스템에 의해 구현될 수 있다.
[0029] 공간적 정렬 단계(120)에서, 2개(또는 그 초과)의 입력 메시들은 강체 변환(rigid transformation)(예를 들어, 회전 및 병진운동(translation) 변환)에 의해 서로에 대해 정확하게 정렬될 수 있다. 2개의 입력 메시들은 시스템에 의해 수행된 후속 공간적 정렬을 위한 대략적인 시작 지점으로서 사용자에 의해 초기에 정렬될 수 있다. 시스템은 2개의 메시들 사이의 중첩 구역들을 식별하고 중첩 구역들을 조밀화(densify)할 수 있다. 그 후, 강체 변환은 3D 공간에서 2개의 메시들을 정확하게 정렬하기 위해 시스템에 의해 최적화될 수 있다.
[0030] 고품질 병합을 달성하기 위해, 메시-클리핑이 적용되어 중첩 구역들에서 지오메트리적 리던던트 삼각형들을 자동으로 클리핑 오프(clip off)할 수 있다. 메시 클리핑 단계(130)에서, 둘 모두의 메시들을 포함하는 복셀화된 볼륨(voxelized volume)(즉, 중첩 구역)의 클리핑이 적용될 수 있다. 메시 클리핑은 다음의 제약들, 즉 (1) 교차 제약들(예를 들어, 메시 클리핑은 메시들이 교차하는 곳에 적용될 수 있음); (2) 경계 제약들(예를 들어, 메시 클리핑은 메시 경계들로부터 멀리 떨어져 적용될 수 있음); 및 (3) 텍스처 품질 제약들(예를 들어, 메시 클리핑은 텍스처들이 컬러 피처들을 거의 포함하지 않는 삼각형들 상에서 수행될 수 있음)을 받을 수 있다.
[0031] 지오메트리 정제 단계(140)에서, 클리핑된 메시들은 본원에서 "클리핑 심(clipping seam)"으로서 지칭될 수 있는 클리핑 경계를 따라 하나의 메시로부터 다른 메시로의 매끄럽고(seamless) 부드러운 트랜지션들을 생성하도록 더 양호한 지오메트리를 위해 국부적으로 정제될 수 있다. 메시 클리핑 단계(130) 후에, 작은 구멍들이 클리핑 심 주위에 생성될 수 있다. 지오메트리 정제 알고리즘은 작은 병합 대역들을 생성하도록 클리핑 심을 따라 클리핑된 메시들을 "성장(grow)"시키거나 확장할 수 있다. 클리핑 심을 따라 클리핑된 메시들을 "성장"시킴으로써, 병합 대역들 내의 메시 컴포넌트들은 클리핑 구멍들을 폐쇄(close up)하도록 국부적으로 조정될 수 있다. 지오메트리 정제는 클리핑 심을 따라 연속적인(예를 들어, 수밀(watertight)) 지오메트리 트랜지션을 생성할 수 있다.
[0032] 색상 불일치들이 메시 연접 영역들에 존재할 수 있으며, 이는 결과적인 메시에서 시각적인 아티팩트들로서 나타날 수 있다. 텍스처 블렌딩 단계(150)에서, 메시 연접 영역들에서의 컬러 텍스처들은 시각적으로 부드러운 트랜지션을 생성하도록 블렌딩될 수 있다. 이 텍스처 블렌딩 단계(150)는 상이한 메시 텍스처들의 컬러들을 혼합하고 트랜지션 영역들에서 블렌딩 가중치들을 점진적으로 변화시키기 위한 것이다. 그 후, 120, 130, 140 및 150의 단계들 후에 최종 병합된 메시들이 출력될 수 있다(160).
[0033] 도 1에 예시된 3D 메시들을 병합하기 위한 방법(100)의 단계들(120, 130, 140 및 150)은 아래에서 추가로 상세히 설명된다.
A. 공간적 정렬
[0034] 2개의 메시들을 정확하게 병합하기 위해, 2개의 메시들은 3D 공간의 연접 구역(concatenation region)들에 올바르게 맞춰질 필요가 있을 수 있다. 2개의 입력 메시들은 상이한 스캔들로부터 발생할 수 있고, 이에 따라 관련되지 않은 배향 및 병진운동을 가질 수 있다. 도 2는 일 실시예에 따라 2개의 메시들의 이미지들을 예시한다. 2개의 메시들은 집 내부의 이미지들을 포함한다. 2개의 메시들은 집의 계단을 포함하는 구역(210)에서 중첩된다. 예시된 바와 같이, 2개의 메시들은 중첩 구역(210)에서 서로에 대해 오정렬된다.
[0035] 공간적 정렬 알고리즘은 제2 메시(타겟 메시로서 지칭될 수 있음)에 대해 제1 메시(소스 메시로서 지칭될 수 있음)를 맞추기 위한 강체 변환을 발견할 수 있어서, 이들의 대응하는 구역들이 올바르게 중첩될 수 있다. 따라서, 기본 이슈들은, 2개의 메시들이 중첩되어야 하는 로컬 대응(local correspondence)을 설정하는 방법, 및 제2 메시에 대해 맞춰지도록 제1 메시를 병진운동 및 회전시키는 강체 변환 행렬을 획득하는 방법으로서 공식화될수 있다.
[0036] 일부 실시예들에 따라, 공간적 정렬 알고리즘은 ICP(iterative closest point) 및 가짜 삼각형 검출에 기초할 수 있다. ICP 알고리즘은 강체 변환의 초기 추측(guess)을 고려하여 3-차원 모델을 정렬하는 데 사용되는 알고리즘이다. ICP 알고리즘에서, 타겟 메시인 제1 메시가 고정된 채로 유지되는 반면, 소스 메시인 제2 메시가 타겟 메시와 최상으로 매칭하도록 변환(병진운동 및 회전의 결합)된다. ICP 알고리즘은, 일반적으로 소스 메시로부터 타겟 메시까지의 거리인 에러 메트릭을 최소화하는 데 필요한 변환을 반복적으로 수정한다.
[0037] 도 3은 일 실시예에 따라 2개의 메시들 간의 공간적 정렬의 방법(300)을 예시하는 흐름도이다. 2개의 메시들 중 제1 메시는 본원에서 메시 A로서 지칭될 수 있고, 2개의 메시들 중 제2 메시는 본원에서 메시 B로서 지칭될 수 있다. 메시 A 및 메시 B 각각은 그들의 공통 에지들 또는 코너들에 의해 연결되는 메시 삼각형들의 세트를 포함할 수 있다. 각각의 삼각형은 삼각형의 코너들의 3개의 꼭짓점들에 의해 정의될 수 있다.
[0038] 방법(300)은 메시 A와 메시 B 사이의 중첩 구역을 식별하는 것(302); 및 중첩 구역의 바운딩 박스를 식별하는 것(304)을 포함할 수 있다. 바운딩 박스는 중첩 구역을 포함하는 3D 직사각형 공간으로서 정의될 수 있다. 일부 실시예들에서, 바운딩 박스를 식별하는 것은 중첩 구역을 포함하는 최소의 3D 직사각형 공간일 수 있는 초기 바운딩 박스를 식별하는 것, 그리고 그 후, 더 이완된(relaxed) 바운딩 박스를 획득하기 위해 크기 팩터로 초기 바운딩 박스를 스케일링하는 것을 포함할 수 있다. 이완된 바운딩 박스는 초기 바운딩 박스보다 큰 볼륨을 가질 수 있다. 예를 들어, 초기 바운딩 박스는 이완된 바운딩 박스를 획득하기 위해 2.0의 크기 팩터에 의해 스케일링될 수 있다.
[0039] 방법(300)은 메시 A에 대한 조밀화된 메시 꼭짓점들{VA}의 세트 및 메시 B에 대한 조밀화된 메시 꼭짓점들{VB}의 세트를 포함하는 2개의 조밀한 지점 클라우드(dense point cloud)들을 획득하기 위해, 에지 분할(edge split)에 의해 바운딩 박스 내부의 메시 A 및 메시 B의 메시 삼각형들을 조밀화하는 것(306)을 더 포함할 수 있다. 바운딩 박스 내부의 메시 삼각형들을 조밀화하는 단계(306)는 일부 실시예들에서 선택적일 수 있다.
[0040] 방법(300)은 바운딩 박스 내의 메시 A의 각각의 개별 꼭짓점{VA}에 대해, 메시 B에서 대응하는 가장 가까운 꼭짓점들{VB}을 검색하는 것(308)을 더 포함할 수 있고, 그리하여 하나 또는 그 초과의 매칭 쌍들이 설정된다. 각각의 매칭 쌍은 도 4a에 개략적으로 예시된 바와 같이 메시 A의 각각의 꼭짓점 및 메시 B의 대응하는 가장 가까운 꼭짓점을 포함할 수 있다.
[0041] 일부 실시예들에서, 방법(300)은 하나 또는 그 초과의 매칭 쌍들로부터 거짓 매칭 쌍들을 제거하는 것(310)을 더 포함할 수 있다. 거짓 매칭들은 법선 불일치들 및 가짜 삼각형들로 인해 발생할 수 있다. 순수 지점 클라우드들과 달리, 메시 꼭짓점들은 꼭짓점들에 인접한 삼각형들의 배향을 표시하기 위한 법선 벡터를 가질 수 있다. 예를 들어, 메시 꼭짓점은 다수의 연결된 삼각형들에 의해 공유될 수 있으며, 각각의 삼각형은 각각의 법선 벡터를 가질 수 있다. 메시 꼭짓점의 법선 벡터는 꼭짓점을 공유하는 삼각형들의 법선 벡터들의 평균으로 정의될 수 있다. 매칭 쌍은, 메시 A의 꼭짓점{VA}의 법선 벡터가 메시 B의 대응하는 꼭짓점{VB}의 법선 벡터와 상당히 상이한 경우 거짓 매칭일 가능성이 있을 수 있다. 따라서, 일부 실시예들에 따라, 방법(300)은 매칭된 꼭짓점들 간의 법선 벡터 차이가 미리 결정된 임계치를 초과하는 매칭 쌍들을 배제할 수 있다. 또한, 거짓 매칭들은 가짜 삼각형들로 인해 발생할 수 있다. 가짜 삼각형들은 다양한 이유들로 실제 지오메트리를 잘 표현할 수 없을 수 있는 저품질 삼각형들이다. 가짜 삼각형들의 검출은 아래에서 보다 상세히 설명 될 것이다.
[0042] 방법(300)은, 각각의 매칭 쌍에서 메시 A의 각각의 개별 꼭짓점과 메시 B의 대응하는 가장 가까운 꼭짓점 사이의 거리를 최소화하도록 메시 A에 적용될 강체 변환을 결정하는 것(312); 그리고 강체 변환을 사용하여 메시 A를 회전 및 병진운동시키는 것(314)을 더 포함할 수 있다. 도 4b는 강체 변환이 적용된 후 메시 A 및 메시 B를 개략적으로 예시한다.
[0043] 단계들(308, 310 및 312)은 수렴(convergence)이 도달될 때까지 여러 번 반복될 수 있다. 에러가 미리 결정된 임계 값 아래일 때, 수렴이 도달되었다고 결정될 수 있으며, 여기서 에러는 메시 A의 각각의 개별 꼭짓점과 메시 B의 대응하는 가장 가까운 꼭짓점 사이의 거리들의 합으로 정의될 수 있다. 도 4c는 수렴이 도달된 후 메시 A 및 메시 B를 개략적으로 예시한다.
[0044] 도 5는 일 실시예에 따른 공간적 정렬 절차 후에 도 2에 예시된 2개의 메시들의 이미지들을 예시한다. 예시된 바와 같이, 2개의 메시들은 이제 중첩 구역(510)에서 서로에 대해 적절히 정렬된다.
B. 가짜 삼각형 검출
[0045] 3D 스캐닝으로부터 생성된 메시들은 불충분한 캡처, 부적절한 조명, 극단적인 보기 각도들 등과 같은 다양한 이유들로 실제 지오메트리를 잘 표현하지 못하는 일부 저품질 삼각형들을 포함할 수 있다. 가짜 삼각형으로서 지칭될 수 있는 이러한 저품질 삼각형들은 잠재적으로, ICP 알고리즘이 잘못된 변환으로 수렴하게 유도할 수 있다. 그러므로, ICP 알고리즘을 적용하기 전에 가짜 삼각형들로부터 발생된 거짓 매칭 쌍들을 제거하는 것이 유리할 수 있다. 가짜 삼각형들을 검출하는 것은 여러 이유들로 난제일 수 있다. 예를 들어, 메시는 종종, 임의의 형상, 복잡한 토폴로지들 및 변동 위치들 및 배향들을 갖는 영역들을 포함할 수 있다. 게다가, 실제 지오메트리 세부사항들을 인코딩하는 양질의 삼각형들로부터 가짜 삼각형들을 구별하는 것은 어려울 수 있다.
[0046] 일부 실시예들에 따라, 가짜 삼각형들을 검출하는 방법은, 비교적 작은 법선 일치 패치(normal consistent patch)들을 포함하는 가짜 구역들을 식별하기 위해 2개의 메시들의 인근 구역들을 비교하는 것을 포함할 수 있다. 메시의 주어진 꼭짓점에 대해, 그의 "NCNG"(normal consistent connected group)는 법선 벡터들이 주어진 꼭짓점의 법선 벡터와 유사한 에지-연결 삼각형들의 그룹으로 정의될 수 있다. 즉, 주어진 꼭짓점의 NCNG는 주어진 꼭짓점을 포함하고 메시 패치의 삼각형들의 법선 벡터들 사이에 작은 변동들을 갖는 메시 패치일 수 있다. 따라서, "법선 일치(normal consistent)"라는 용어는 하나의 꼭짓점의 법선 벡터 및 다른 꼭짓점의 법선 벡터가 지향되는 일치된 방향을 지칭한다. 일반적으로, 비교적 작은 NCNG들을 갖는 삼각형들은 가짜일 가능성이 더 높을 수 있다. 그러나 단순히 작은 NCNG들을 갖는 모든 삼각형들을 가짜로 취급하는 것은 거짓 긍정(false positives)들을 생산할 수 있는데, 그 이유는 고도로 상세화된 개체는 다수의 작은 NCNG들을 또한 포함할 수 있기 때문이다. 예를 들어, 샹들리에는 가짜인 것으로 거짓으로(falsely) 분류될 수 있는 다수의 아주 작은(tiny) NCNG들을 가질 수 있다. 따라서, 일 실시예에 따라, 가짜 삼각형을 검출하기 위해 메시 A의 꼭짓점의 NCNG가 메시 B의 대응하는 꼭짓점의 NCNG와 비교된다. 메시 B의 꼭짓점의 NCNG가 메시 A의 대응하는 꼭짓점의 NCNG보다 상당히 작은 영역을 갖는 경우, 메시 B의 꼭짓점이 가짜 삼각형에 속할 가능성이 매우 높을 수 있다. 유사하게, 메시 A의 꼭짓점의 NCNG가 메시 B의 대응하는 꼭짓점의 NCNG보다 상당히 작은 영역을 갖는 경우, 메시 A의 꼭짓점이 가짜 삼각형에 속할 가능성이 매우 높을 수 있다. 일부 실시예들에 따라, 메시 A의 꼭짓점의 NCNG의 영역과 메시 B의 대응하는 꼭짓점의 NCNG의 영역 사이의 비(ratio)가 미리 결정된 임계치보다 큰 경우, 꼭짓점 쌍은 거짓 매칭으로서 분류될 수 있다. 이 미리 결정된 임계치는 특정 애플리케이션에 의존하여, 예를 들어, 2 내지 10에서 변동될 수 있다. 당업자는, 다수의 변동들, 수정들, 및 대안들을 인식할 것이다.
[0047] 도 6은 일 실시예에 따라 거짓 매칭이 검출될 수 있는 예를 예시하는 개략도이다. 이 예에서, 환경의 실제 지오메트리는 메시 A와 일치되는 평면이다. 메시 A의 주어진 꼭짓점(604)에 대해, 그 꼭짓점 NCNG(A)의 NCNG는 전체 평면일 수 있다. 대조적으로, 메시 B는 꼭짓점(602) 주위에 작은 범프(bump)를 포함한다. 따라서, 꼭짓점(602) NCNG(B)의 NCNG는 훨씬 더 작은 영역을 가질 수 있다. 따라서, 꼭짓점(602)은 가짜 삼각형에 속하고, 꼭짓점 쌍(604, 602)은 거짓 매칭인 것으로 결정될 수 있다.
[0048] 가짜 삼각형들을 검출하는 하나의 접근법은 ICP 알고리즘에 의해 매칭된 각각의 꼭짓점에 대한 NCNG를 검색하는 것을 포함할 수 있다. 그러나, 조밀화된 메시 구역은 매우 다수의 꼭짓점들을 가질 수 있기 때문에, 그러한 접근법의 컴퓨테이셔널 비용(computational cost)은 매우 높을 수 있다. 일부 실시예들에 따라, 알고리즘은 법선 샘플링에 기초한 모든 꼭짓점들의 NCNG들을 추정하도록 구성될 수 있다. 모든 각각의 꼭짓점의 법선을 사용하여 NCNG들을 검색하기 보다는, 이 알고리즘은 근사(approximation)로서 x도마다 법선 방향들을 샘플링할 수 있고, 여기서 x가 5도, 10도 등일 수 있다. 일부 실시예들에서, 법선 샘플링은 극 각(polar angle)들 및 방위 각들을 포함하는 구형 좌표에서 행해질 수 있고, 그리하여 (360/x * 180/x)개의 샘플링된 법선들을 생성하며, 이는 모든 꼭짓점들에 대한 법선들의 총 수보다 상당히 작을 수 있다.
[0049] 법선-샘플링 알고리즘은 O(s*n)의 선형 시간 복잡도를 가질 수 있으며, 여기서 s는 샘플링된 방향들의 수이고 n은 모든 꼭짓점들의 수이다. 대조적으로, 꼭짓점-별(per-vertex) 알고리즘은 O(n2)의 선형 시간 복잡성을 가질 수 있다. 따라서, 법선 샘플링 알고리즘은 s가 n보다 상당히 작을 수 있기 때문에, 꼭짓점-별 알고리즘보다 상당히 더 효율적일 수 있다. 더욱이, 다양한 방향들에서의 샘플링이 서로 독립적이기 때문에, 법선-샘플링 알고리즘은 샘플들을 병렬로 실행할 수 있다. 일부 실시예들에서, 병렬 알고리즘은 멀티-코어 CPU(central processing unit) 또는 GPU(graphics processing unit) 상에서 구현될 수 있으며, 이는 가짜 삼각형 검출의 효율을 추가로 개선할 수 있다.
C. 메시 클리핑
[0050] 2개의 메시들이 3D 공간에서 서로에 대해 정렬된 후에, 중첩 구역들의 일부 메시 꼭짓점들은, 이들이 양자 모두의 메시들에 의해 캡처될 수 있으므로 리던던트일 수 있다. 일부 실시예들에 따라, 리던던트 꼭짓점들은 클리핑 오프(즉, 제거)될 수 있다. 여러 이유들로 리던던트 꼭짓점들을 클리핑 오프하는 것이 유리할 수 있다. 예를 들어, 리던던트 메시 삼각형들은 서로에 대해 상이한 지오메트리들 및 텍스처들을 가질 수 있고, 이에 따라 클리핑되지 않는 경우, 잠재적으로 명백한 아티팩트들로서 보여질 수 있다. 게다가, 허용 가능한 스캐닝 범위에 인접한 구역들은 부정확한 지오메트리들 및 텍스처들을 가질 수 있다. 따라서, 그러한 구역들에서 꼭짓점들을 클리핑 오프하는 것이 유리할 수 있다.
[0051] 일부 실시예들에 따라, 메시 클리핑은 자동 에너지 최소화 절차에 의해 수행될 수 있다. 이 절차에서, 메시 중첩 구역들의 바운딩 박스는 클리핑 볼륨으로 간주될 수 있다. 그 후, 클리핑 볼륨을 복셀(voxel)들의 그리드(V)로서 래스터화될 수 있다. 도 7a는 일부 실시예들에 따라, 메시 클리핑 절차가 2개의 메시들(메시 A 및 메시 B)에 적용될 수 있는 예시적인 복셀들의 그리드의 2차원 도면을 예시하는 개략도들이다. 그리드의 각각의 사각형은 복셀을 표현한다. 예시된 바와 같이, 2개의 메시들은 구역(710)에서 중첩된다.
[0052] 자동 에너지 최소화 절차에서, 메시 클리핑은 복셀-라벨링 문제로 공식화될 수 있다. 바이너리 라벨(fv)은 다음과 같이 메시 A 복셀 또는 메시 B 복셀로 각각의 복셀(v)을 분류하기 위해 각각의 복셀에 할당될 수 있다:
fv=0; v는 메시 A 복셀이고; fv = 1, v는 메시 B 복셀임.
[0053] 메시 꼭짓점은 그것이 다른 메시로서 라벨링된 복셀에 있을 때 클리핑 오프될 수 있다.
[0054] 일부 실시예들에서, 목표는 다음의 에너지 함수를 최소화하는 모든 각각의 v에 대한 라벨링(fv)을 발견하는 것일 수 있다 :
Figure pat00001
여기서
Figure pat00002
는 복셀들의 N6 이웃 시스템이다. 각각의 복셀은 복셀이 메시들과 교차하는 방법에 의존하여 복셀들의 4개의 세트들 중 하나로 사전-분류될 수 있는데: Va는 메시 A와만 교차하는 복셀들의 세트이고; Vb는 메시 B와만 교차하는 복셀들의 세트이고; Vs는 메시 A 및 메시 B 둘 모두와 교차하는 복셀들의 세트이고; Ve는 메시 A 및 메시 B 어느 것과도 교차하지 않는 복셀들의 세트이다. 예를 들어, 도 7a에 예시된 예에서, 좌측-사선 해칭(hatching)들로 채워진 복셀들은 Va 복셀로서 사전-분류되고; 우측-사선 해칭들로 채워진 복셀들은 Vb 복셀로서 사전-분류되고, 교차하는 해칭들로 채워진 복셀들은 Vs 복셀로서 사전-분류되고, 백색 복셀들은 Ve 복셀들로서 사전-분류된다.
[0055] 위의 수식에서, 항
Figure pat00003
는 데이터 항으로서 지칭될 수 있다. 데이터 항
Figure pat00004
는 알려진 라벨들을 가진 복셀들에 관한 사전 지식을 시행하도록 설계될 수 있다. 클리핑 프로세스에서 비-교차 구역들을 보존하는 것이 바람직할 수 있으므로, 데이터 항
Figure pat00005
는, v가 비-교차 구역에 있고 라벨(fv)이 복셀에 대한 알려진 라벨과 모순되는 경우, 라벨(fv)에 페널티를 부과하도록 구성될 수 있다. 예로서, 데이터 항
Figure pat00006
는 다음과 같이 정의될 수 있다:
Figure pat00007
;
여기서 cd는 양의 비용 값이다. 즉, 복셀에 대한 알려진 라벨과 모순되는 라벨을 비-교차 구역의 복셀에 할당하는 것은 양의 "비용" cd를 초래할 수 있다.
[0056] 항
Figure pat00008
는 경계 항(boundary term)으로서 지칭될 수 있다. 메시의 경계 근처의 메시 삼각형들은, 이들이 스캐너의 스캐닝 범위 한계에 가까울 수 있고 캡처 뷰들을 결여할 수 있기 때문에 저품질들을 가질 수 있다. 따라서, 각각의 메시의 경계 영역들의 꼭짓점들을 클리핑 오프하는 것이 유리할 수 있다. 경계 항
Figure pat00009
는 점진적으로 증가하는 에너지들을 메시 경계에 접근하는 복셀들에 할당하도록 구성될 수 있다. 예로서, 경계 항은 다음과 같이 정의될 수 있다 :
Figure pat00010
여기서 dv는 메시 표면을 따라 복셀(v)로부터 메시 경계까지의 측지 거리(geodesic distance)이며; cmin 및 cmax는 최소 경계 "비용"과 최대 경계 "비용"을 각각 표현하는 양의 상수들이고; dmax는 메시 경계 영역에서와 같이 간주되는 복셀에 대한 최대 측지 거리이다.
[0057] 항
Figure pat00011
는 교차 항으로서 지칭될 수 있다. 복셀들이 둘 모두의 메시들과 교차하는 구역들 내에 절단 심을 배치하는 것이 유리할 수 있다. 그러므로, 교차 항
Figure pat00012
는 복셀들(Vs)에 훨씬 더 낮은 에너지를 할당하도록 구성되어서, 그의 누적 에너지가 Va 또는 Vb에서 하나의 복셀보다 더욱 낮을 수 있다. 게다가, Ve의 공백(empty) 복셀들에는 훨씬 더 낮은 에너지가 할당되어서, 그의 누적 에너지가 Vs의 복셀보다 더욱 낮은 것을 보장할 수 있다. 예로서, 교차 항
Figure pat00013
는 다음과 같이 정의될 수 있다 :
Figure pat00014
여기서 n은 복셀의 총 수이고, k는 Vs의 복셀들의 수이다.
[0058] 항
Figure pat00015
는 텍스처 항으로서 지칭될 수 있다. 메시 클리핑 프로세스에서 메시들의 컬러 피처들을 파괴하거나 간섭하는 것을 회피하는 것이 유리할 수 있다. 따라서, 절단될 영역들은 컬러 피처들이 거의 제시되지 않는 메시 영역들일 수 있다. 예를 들어 실내 방을 표현하는 메시의 경우, 백색 벽을 표현하는 메시 영역을 절단하는 것은 화려한 벽화를 표현하는 메시 영역을 절단하는 것보다 훨씬 부드러운 컬러 트랜지션을 생성할 수 있다. 일부 실시예들에 따라, 텍스처 항
Figure pat00016
는 구분 가능한 컬러 피처들을 갖는 영역들 상의 클리핑에 페널티를 부과하도록 구성될 수 있다.
예로서, 텍스처 항
Figure pat00017
는 다음과 같이 정의될 수 있다 :
Figure pat00018
여기서 ci는 복셀 vi에 집중된 텍스처 패치 컬러의 표준 편차이고; k는 Vs에서 복셀들의 수이다.
[0059] 일부 실시예들에 따라, 에너지 최소화 문제는 그래프 컷(graph cut) 등과 같은 이산 최적화 알고리즘을 사용하여 해결될 수 있다.
[0060] 도 7b는 일 실시예에 따라, 메시 클리핑 절차가 수행된 후에 도 7a에 예시된 바와 같은 2개의 메시들(메시 A 및 메시 B)을 예시하는 개략도이다.
[0061] 도 8a 및 도 8b는 각각, 일 실시예에 따라, 메시 클리핑 절차 전에 그리고 후에, 도 5에 예시된 2개의 메시들의 중첩 구역(510)(즉, 집의 계단을 표현하는 2개의 메시들의 구역들)의 이미지들이다.
D. 지오메트리 정제
[0062] 메시 클리핑 절차 후에, 2개의 메시들은 하나의 병합된 메시를 형성하도록 병합될 수 있다. 병합된 메시를 가능한 한 매끄럽게 나타나게 하기 위해, 클리핑 심 주위의 지오메트리 및 텍스처 둘 모두를 개선하도록 클리핑 경계 주위의 병합된 메시들을 조정하는 것이 유리할 수 있다.
[0063] 일부 실시예들에 따라, 지오메트리 정제 프로세스는 로컬 지오메트리 변화들을 최소화하면서 메시 연접 구멍들을 폐쇄하기 위한 것일 수 있다. 도 9a는 메시 클리핑 절차 후에 2개의 메시들(메시 A 및 메시 B)의 예시적인 이미지를 예시한다. 예시된 바와 같이, 클리핑 심을 따라 클리핑 구멍(910)이 존재한다. 매끄러운 트랜지션을 획득하기 위해, 지오메트리 정제 프로세스는 소량의 확장에 의해 클리핑 심을 따라 2개의 메시를 다시 성장시킬 수 있다. 이러한 성장 프로세스는 도 9b에 예시된 바와 같이 메시 A와 메시 B 사이에 작은 병합 대역(920)을 생성할 수 있다. 메시 클리핑 절차가 이미 리던던트 메시 삼각형들의 큰 영역들을 잘라냈을 수 있는 것에 주의한다. 성장 프로세스는 클리핑 심 주위에 작은 병합 대역이 존재할 수 있도록 클리핑된 영역의 작은 부분을 복원(take back)할 수 있다.
[0064] 지오메트리 정제 프로세스 후에, 병합된 메시는 연속적일 수 있다(즉, 수밀로 나타남). 따라서, 대응하는 중첩 구역들은 그 사이의 내부공간을 감소시키기 위해 서로를 향해 구부러질 수 있다. 일부 실시예들에서, 메시 A의 각각의 꼭짓점은 공간적 정렬 단계에서 발견될 수 있는 메시 B의 매칭 꼭짓점을 향해 병진운동될 수 있다. 지오메트리 정제 프로세스는 최소의 지오메트리 변화들만을 도입할 수 있기 때문에, 더 큰 병진운동이 구멍들을 폐쇄하기 위해 메시 경계 근처의 꼭짓점들에 적용될 수 있는 반면, 더 작은 병진운동이 메시 경계에서 멀리 떨어진 꼭짓점들에 적용될 수 있다. 일부 실시예들에서, 각각의 꼭짓점(v0)으로부터 매칭 꼭짓점(v1)으로의 병진운동은 다음과 같이 적용될 수 있다 :
Figure pat00019
여기서, Pv0 및 Pv1은 각각, 매칭된 꼭짓점들(v0 및 v1)의 포지션들이고; dbmax는 병합 영역 내의 메시 경계까지의 최대 측지 거리이고; d0은 v0로부터 메시 경계까지의 측지 거리이다. w는 메시 경계로부터의 꼭짓점의 측지 거리에 의존하는 가중치 팩터로 간주될 수 있다.
E. 텍스처 블렌딩
[0065] 메시 클리핑 절차 후에 병합 영역의 2개의 메시들은 예를 들어, 상이한 각도들에서 보았을 때 상이한 조명들로 인해 동일한 텍스처들을 갖지 않을 수 있다. 도 10a는 병합 영역 근처의 병합된 메시의 예시적인 이미지를 예시한다. 병합 영역 내의 제1 영역(1010) 및 제2 영역(1020)의 컬러들이 상이하다. 더 부드러운 컬러 트랜지션들을 생성하기 위해, 병합 영역들 내의 텍스처들을 블렌딩하는 것이 유용할 수 있다.
[0066] 일부 실시예들에서, 메시 A와 메시 B 사이의 텍셀(texel)(즉, 텍스처 엘리먼트 또는 텍스처 픽셀) 대응은 가장 가까운 지점들을 발견함으로써 설정될 수 있다. 텍셀들의 수가 매우 클 수 있기 때문에, 가장 가까운 이웃 검색을 가속화하는데 k-d 트리 데이터 구조가 사용될 수 있다. 블렌딩 가중치는 위에서 설명된 바와 같은 지오메트리 정제 프로세스에서 사용되는 가중치(w)와 유사할 수 있다. 이러한 텍스처 블렌딩 절차는 경계들에 접근하는 동안 하나의 메시로부터 다른 메시로 점진적인 컬러 변화를 발생시킬 수 있다. 일부 실시예들에서, 트랜지션 영역들의 텍스처들은 텍셀들로서 래스터화되고 텍셀 컬러들로 블렌딩될 수 있다. 일 실시예에 따라, 텍셀 블렌딩 가중치들은 지오메트리 정제 프로세스로부터의 삼각형 가중치들(w)의 무게중심 보간(barycentric interpolation)을 사용하여 컴퓨팅될 수 있다. 도 10b는 일 실시예에 따른 텍스처 블렌딩 프로세스 후에 도 10a에 예시된 병합된 메시의 예시적인 이미지를 예시한다.
[0067] 도 11은 일 실시예에 따라, 메시 병합 알고리즘을 사용하여 도 2에 예시된 2개의 메시들을 병합한 것으로부터 발생된 병합된 메시의 이미지를 예시한다.
[0068] 도 12는 일 실시예에 따라 3D 메시들을 병합하는 방법(1200)을 예시하는 흐름도이다. 방법(1200)은, 제1 메시 및 제2 메시를 수신하는 것(1202); 제2 메시에 대해 제1 메시를 정렬하도록 공간적 정렬을 수행하는 것(1204); 리던던트 메시 꼭짓점들을 제거하기 위해 제1 메시 및 제2 메시 상에서 메시 클리핑을 수행하는 것(1206); 메시 클리핑에 의해 생성된 메시 연접 구멍들을 폐쇄하기 위해 클리핑 심 주위에서 지오메트리 정제를 수행하는 것(1208); 그리고 병합된 메시를 획득하기 위해 클리핑 심에 인접한 구역들에서 텍스처 블렌딩을 수행하는 것(1210)을 포함할 수 있다.
[0069] 도 13은 일 실시예에 따라 3D 텍스처링된 메시들을 병합하는 방법(1300)을 예시하는 흐름도이다. 방법(1300)은 제1 메시 및 제2 메시를 수신하는 것(1302)을 포함한다. 방법(1300)은, 제1 메시 및 제2 메시가 중첩되는 중첩 구역을 식별하는 것(1304); 중첩 구역을 포함하는 중첩 구역의 바운딩 박스를 식별하는 것(1306); 그리고 바운딩 박스 내의 제1 메시의 각각의 개별 꼭짓점에 대해, 제2 메시의 대응하는 가장 가까운 꼭짓점을 검색하고, 그리하여 복수의 매칭 쌍들을 설정하는 것(1308)을 더 포함할 수 있다. 각각의 매칭 쌍은 제1 메시의 개별 꼭짓점 및 제2 메시의 대응하는 가장 가까운 꼭짓점을 포함한다.
[0070] 방법(1300)은, 복수의 매칭 쌍들의 각각의 매칭 쌍에 대해, 제1 메시의 개별 꼭짓점의 제1 NCNG(normal consistent connected group) 및 제2 메시의 대응하는 가장 가까운 꼭짓점의 제2 NCNG를 추정하고(1310); 제1 NCNG의 영역과 제2 NCNG의 영역 간의 비(ratio)가 제1 미리 결정된 임계치보다 크다는 것을 결정할 시에, 제1 메시의 개별 꼭짓점 및 제2 메시의 대응하는 가장 가까운 꼭짓점을 거짓 매칭 쌍으로서 분류하고(1312); 그리고 복수의 매칭 쌍들로부터 거짓 매칭 쌍을 제거(1314)함으로써, 하나 또는 그 초과의 거짓 매칭 쌍들을 제거하는 것을 더 포함할 수 있다.
[0071] 방법(1300)은, 복수의 매칭 쌍들의 각각의 매칭 쌍에서 제1 메시의 개별 꼭짓점과 제2 메시의 대응하는 가장 가까운 꼭짓점 간의 거리를 최소화하도록 제1 메시에 적용될 강체 변환(rigid transformation)을 결정하는 것(1316); 그리고 변환된 제1 메시를 획득하도록 제1 메시에 강체 변환을 적용하는 것(1318)을 더 포함할 수 있다. 방법(1300)은, 중첩 구역에서 리던던트 메시 꼭짓점들을 제거하도록 변환된 제1 메시 상의 제1 클리핑 심(clipping seam)을 따라 그리고 제2 메시 상의 제2 클리핑 심을 따라 메시 클리핑을 수행하는 것(1320); 및 메시 클리핑에 의해 생성된 메시 연접 구멍들을 폐쇄하기 위해 제1 클리핑 심 및 제2 클리핑 심 주위에서 지오메트리 정제(geometry refinement)를 수행하는 것(1322)을 더 포함할 수 있다.
[0072] 도 12 및 도 13 각각에 예시된 특정 단계들은 본 개시내용의 일부 실시예들에 따른 특정 방법들을 제공한다는 것이 인지되어야 한다. 또한, 단계들의 다른 시퀀스들이 대안적인 실시예들에 따라 수행될 수 있다. 예를 들어, 본 개시내용의 대안적인 실시예들은, 위에서 약술된 단계들을 상이한 순서로 수행할 수 있다. 더욱이, 도 12 및 도 13 각각에 예시된 개별 단계들은, 개별 단계에 적절한 다양한 시퀀스들로 수행될 수 있는 다수의 서브-단계들을 포함할 수 있다. 또한, 단계들이 특정한 애플리케이션들에 의존하여 부가되거나 또는 제거될 수 있다. 당업자는, 다수의 변동들, 수정들, 및 대안들을 인식할 것이다.
[0073] 본 개시내용의 다양한 실시예들이 위에서 설명되었지만, 이들은 제한이 아니라 단지 예로서만 제시되었다는 것이 이해되어야 한다. 마찬가지로, 다양한 도면들은 본 개시내용에 대한 예시적인 아키텍처 또는 다른 구성을 도시할 수 있으며, 이는 본 개시내용에 포함될 수 있는 특징들 및 기능성을 이해하는 것을 돕도록 행해진다. 본 개시내용은 예시된 예시적인 아키텍처들 또는 구성들로 제한되는 것이 아니라, 다양한 대안적인 아키텍처들 및 구성들을 사용하여 구현될 수 있다. 부가적으로, 본 개시내용이 다양한 예시적인 실시예들 및 구현들의 관점에서 위에서 설명되었지만, 개별 실시예들 중 하나 또는 그 초과의 실시예들에서 설명된 다양한 특징들 및 기능성은 이들의 적용 가능성이, 이들이 설명되는 특정 실시예들로 제한되지 않는다는 것이 이해되어야 한다. 대신에, 이들은, 그러한 실시예들이 설명되든지 간에 그리고 그러한 특징들이 설명된 실시예의 일부로서 제시되든지 간에, 본 개시내용의 다른 실시예들 중 하나 또는 그 초과의 실시예에 단독으로 또는 일부 결합으로 적용될 수 있다. 따라서, 본 개시내용의 폭 및 범위는 위에서 설명된 예시적인 실시예들 중 어떤 것에 의해서도 제한되어서는 안 된다.
[0074] 본 개시내용을 참조하여 본원에서 설명된 다양한 예시적인 로직 블록들, 모듈들, 회로들 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 전자 하드웨어 및 컴퓨터 소프트웨어의 결합으로서 구현될 수 있다. 예를 들어, 모듈들/유닛들은 컴퓨터-판독 가능 저장 매체에 저장된 소프트웨어 명령들을 실행하는 프로세서에 의해 구현될 수 있다.
[0075] 첨부 도면들에서의 흐름도들 및 블록도들은 본 개시내용의 다수의 실시예들에 따른 시스템 및 방법의 가능한 구현들의 시스템 아키텍처들, 기능들 및 동작들을 도시한다. 이와 관련하여, 흐름도 또는 블록도에서의 각각의 블록은 하나의 모듈, 하나의 프로그램 세그먼트 또는 코드의 부분을 표현할 수 있으며, 여기서 모듈, 프로그램 세그먼트 또는 코드의 부분은 특정된 로직 기능들을 구현하기 위해 사용되는 하나 또는 그 초과의 실행 가능 명령들을 포함한다. 또한, 일부 대안적인 구현들에서, 블록들에 표시된 기능들은 도면에 표시된 시퀀스와 상이한 시퀀스로도 발생할 수 있다는 것이 주의되어야 한다. 예를 들어, 2개의 연속적인 블록들이 실제로, 실질적으로 병렬로 실행될 수 있고, 때로는, 이들은 또한 역순으로 실행될 수 있는데, 이는 관련된 기능들에 의존한다. 블록도 및/또는 흐름도에서의 각각의 블록 및 블록도 및/또는 흐름도에서의 블록들의 결합은 대응하는 기능들 또는 동작들을 실행하기 위한 전용 하드웨어-기반 시스템에 의해 구현될 수 있거나, 또는 전용 하드웨어 및 컴퓨터 명령들의 결합에 의해 구현될 수 있다.
[0076] 본 개시내용의 실시예들은 방법, 시스템 또는 컴퓨터 프로그램 제품으로서 구현될 수 있다. 따라서, 본 개시내용의 실시예들은, 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예 또는 소프트웨어 및 하드웨어를 결합한 실시예의 형태를 취할 수 있다. 또한, 본 개시내용의 실시예들은 컴퓨터-판독 가능 프로그램 코드들을 포함하는 하나 또는 그 초과의 컴퓨터-판독 가능 저장 매체(예를 들어, 자기 디스크 메모리, CD-ROM, 광학 메모리 등을 포함(그러나 이에 제한되지 않음)함)에 구현된 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
[0077] 본 개시내용의 실시예들은 방법들, 디바이스들(시스템들) 및 컴퓨터 프로그램 제품들의 흐름도들 및/또는 블록도들을 참조하여 설명된다. 흐름도들 및/또는 블록도들에서의 각각의 흐름 및/또는 블록, 및 흐름도들 및/또는 블록도들에서의 흐름들 및/또는 블록들의 결합은 컴퓨터 프로그램 명령들에 의해 구현될 수 있다는 것이 이해되어야 한다. 이들 컴퓨터 프로그램 명령들은, 머신을 생산하도록 범용 컴퓨터, 특수 목적 컴퓨터, 임베딩된 프로세서, 또는 다른 프로그래밍 가능 데이터 프로세싱 디바이스들의 프로세서에 제공될 수 있어서, 컴퓨터 또는 다른 프로그래밍 가능 데이터 프로세싱 디바이스들의 프로세서를 통해 실행되는 명령들은 흐름도들에서의 하나 또는 그 초과의 흐름들 및/또는 블록도들에서의 하나 또는 그 초과의 블록들에서 특정된 기능들을 구현하기 위한 수단을 생성한다.
[0078] 또한, 특정 방식으로 기능하도록 컴퓨터 또는 다른 프로그래밍 가능 데이터 프로세싱 디바이스들에 지시할 수 있는 이들 컴퓨터 프로그램 명령들은 컴퓨터-판독 가능 메모리에 저장될 수 있어서, 컴퓨터-판독 가능 메모리에 저장된 명령들은, 흐름도들에서의 하나 또는 그 초과의 흐름들 및/또는 블록도들에서의 하나 또는 그 초과의 블록들에서 특정된 기능들을 구현하는 명령 수단을 포함하는 제조된 제품을 생산한다.
[0079] 또한, 이들 컴퓨터 프로그램 명령들은 컴퓨터 또는 다른 프로그래밍 가능 데이터 프로세싱 디바이스들 상에 로딩되어 컴퓨터에 의해 구현되는 프로세싱을 초래하기 위하여 일련의 동작 단계들이 컴퓨터 또는 다른 프로그래밍 가능 데이터 프로세싱 디바이스들 상에서 수행되게 하며, 이에 따라 컴퓨터 또는 다른 프로그래밍 가능 데이터 프로세싱 디바이스들 상에서 실행되는 명령들은 흐름도들에서의 하나 또는 그 초과의 흐름들 및/또는 블록도들에서의 하나 또는 그 초과의 블록들에서 특정된 기능들을 구현하기 위한 단계들을 제공할 수 있다. 통상적인 구성에서, 컴퓨터 디바이스는 하나 또는 그 초과의 CPU(Central Processing Unit)들, 입력/출력 인터페이스, 네트워크 인터페이스 및 메모리를 포함한다. 메모리는 휘발성 메모리, RAM(random access memory) 및/또는 비-휘발성 메모리 등, 이를테면, 컴퓨터-판독 가능 저장 매체의 플래시 RAM 또는 ROM(read-only memory)의 형태들을 포함할 수 있다. 메모리는 컴퓨터-판독 가능 저장 매체의 예이다.
[0080] 컴퓨터-판독 가능 저장 매체는 프로세서에 의해 판독 가능한 정보 또는 데이터가 저장될 수 있는 임의의 유형의 물리적 메모리를 지칭한다. 따라서, 컴퓨터-판독 가능 저장 매체는 프로세서(들)로 하여금 본원에서 설명된 실시예들과 일치하는 단계들 또는 스테이지들을 수행하게 하는 명령들을 포함하여, 하나 또는 그 초과의 프로세서들에 의한 실행을 위한 명령들을 저장할 수 있다. 컴퓨터-판독 가능 저장 매체는 비-휘발성 및 휘발성 매체, 및 제거 가능 및 비-제거 가능 매체를 포함하며, 여기서 정보 저장은 임의의 방법 또는 기술에 의해 구현될 수 있다. 정보는 컴퓨터-판독 가능 명령들, 데이터 구조들 및 프로그램들 또는 다른 데이터의 모듈들일 수 있다. 컴퓨터-저장 매체의 예들은, PRAM(phase-change random access memory), SRAM(static random access memory), DRAM(dynamic random access memory), 다른 유형들의 RAM(random access memory)들, ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), 플래시 메모리 또는 다른 메모리 기술들, CD-ROM(compact disc read-only memory), DVD(digital versatile disc) 또는 다른 광학 저장소, 카세트 테이프, 테이프 또는 디스크 저장 또는 다른 자기 저장 디바이스들, 또는 컴퓨터 디바이스에 의해 액세스될 수 있는 정보를 저장하는 데 사용될 수 있는 임의의 다른 비-송신 매체를 포함(그러나 이에 제한되지 않음)할 수 있다. 컴퓨터-판독 가능 저장 매체는 비-일시적이며, 일시적인 매체, 이를테면, 변조된 데이터 신호들 및 반송파들을 포함하지 않는다.
[0081] 달리 명확하게 언급되지 않는 한, 이 문서에서 사용된 용어들 및 어구들은 제한과 대조적으로, 제약을 두지 않는(open ended) 것으로 해석되어야 한다. 전술한 것의 예들로서, "포함하는"이라는 용어는 "제한 없이 포함하는" 등을 의미하는 것으로 이해되어야 하고; "예(example)"라는 용어는 논의중인 아이템의 총망라하는 또는 제한적인 리스트가 아니라 그의 예시적인 사례들을 제공하기 위해 사용되고; "종래의", "통상의", "보통의", "표준의", "알려진" 및 유사한 의미의 용어들과 같은 형용사들은 설명된 아이템을 주어진 시간 기간으로 또는 주어진 시간부터 이용 가능한 아이템으로 제한하는 것으로 해석되어선 안 된다. 그러나 대신, 이러한 용어들이, 현재 또는 미래의 임의의 시간에 알려져서 이용 가능하게 될 수 있는 종래의, 통상의, 보통의, 또는 표준의 기술들을 포함하는 것으로 이해되어야 한다. 마찬가지로, 접속사 "및"으로 연결된 아이템들의 그룹은 그러한 아이템들의 각각의 그리고 모든 각각의 아이템이 그룹핑에 존재해야 한다고 요구하는 것으로 이해되어서는 안 되며, 오히려 달리 명확하게 언급되지 않는 한, "및/또는"으로 이해되어야 한다. 유사하게, 접속사 "또는"으로 연결된 아이템들의 그룹은 그 그룹간에 상호 배타성을 요구하는 것으로 이해되어선 안 되며, 달리 명확하게 언급되지 않는 한, "및/또는"으로 또한 이해되어야 한다. 또한, 본 개시내용의 아이템들, 엘리먼트들 또는 컴포넌트들이 단수로 설명되거나 청구될 수 있지만, 단수에 대한 제한이 명확하게 언급되지 않는 한, 복수가 그 범위 내에 있는 것으로 간주된다. 일부 사례들에서, "하나 또는 그 초과", "적어도", "그러나 이에 제한되지 않음" 또는 다른 유사한 어구들과 같은 확장성 단어들 및 어구들의 존재는 그러한 확장성 어구들이 없을 수 있는 사례들에서 더 좁은 경우가 의도되거나 요구된다는 것을 의미하는 것으로 이해되어서는 안 된다.

Claims (13)

  1. 3-차원(3D) 텍스처링된 메시들을 병합하는 방법으로서,
    제1 메시 및 제2 메시를 수신하는 단계;
    상기 제2 메시에 대해 상기 제1 메시를 정렬하도록 공간적 정렬을 수행하는 단계;
    리던던트 메시 면(face)들을 제거하기 위해 상기 제1 메시 및 상기 제2 메시 상에서 메시 클리핑을 수행하는 단계; 및
    클리핑 심을 따라 상기 제1 메시 및 상기 제2 메시를 다시 성장시킴으로써, 상기 메시 클리핑에 의해 생성된 메시 연접 구멍들을 폐쇄하기 위하여 클리핑 심 주위에서 지오메트리 정제를 수행하는 단계;
    를 포함하는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  2. 제1항에 있어서,
    상기 제1 메시 및 상기 제2 메시를 다시 성장시키는 것은 상기 제거된 리던던트 메시 면들 중 하나 이상을 다시 성장시키는 것을 포함하는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  3. 제1항에 있어서,
    상기 제1 메시 및 상기 제2 메시를 다시 성장시키는 것은 상기 클리핑 심 주위에 병합 대역을 생성하는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  4. 제1항에 있어서,
    상기 지오메트리 정제를 수행하는 단계는 상기 제1 메시와 상기 제2 메시 사이의 내부공간을 감소시키기 위해 상기 제1 메시 및 상기 제2 메시의 대응하는 중첩 구역들을 구부리는 단계를 더 포함하는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  5. 제1항에 있어서,
    상기 지오메트리 정제를 수행하는 단계는 상기 제1 메시의 하나 이상의 꼭짓점들을 상기 제2 메시의 대응하는 하나 이상의 매칭 꼭짓점들을 향해 병진운동시키는 단계를 더 포함하는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  6. 제5항에 있어서,
    상기 제1 메시의 하나 이상의 꼭짓점들을 상기 제2 메시의 대응하는 하나 이상의 매칭 꼭짓점들을 향해 병진운동시키는 단계는 상기 제1 메시의 하나 이상의 꼭짓점들 중 제1 꼭짓점의 위치를 병진운동시키는 단계를 포함하는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  7. 제6항에 있어서,
    상기 병진운동은 식
    Figure pat00020
    에 따라 수행되고,
    Figure pat00021
    는 상기 제1 메시의 하나 이상의 꼭짓점들 중 제1 꼭짓점
    Figure pat00022
    의 위치이고,
    Figure pat00023
    은 상기 제2 메시의 하나 이상의 매칭 꼭짓점들 중 제2 꼭짓점
    Figure pat00024
    의 위치이고,
    Figure pat00025
    는 가중치인,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  8. 제7항에 있어서,
    상기 가중치 w 는 식
    Figure pat00026
    에 따라 결정되고,
    Figure pat00027
    는 병합 영역 내의 메시 경계까지의 최대 측지 거리이고,
    Figure pat00028
    은 상기 제1 메시의 하나 이상의 꼭짓점들 중 상기 제1 꼭짓점의 위치(
    Figure pat00029
    )로부터 상기 메시 경계까지의 측지 거리인,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  9. 제6항에 있어서,
    경계 항 B(f v )을 정의하는 단계를 더 포함하는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  10. 제9항에 있어서,
    상기 경계 항을 정의하는 단계는 메시 경계로부터 메시 면까지의 거리가 증가하는 것과 동시에 메시 면들에 대한 복셀(voxel) 에너지를 점진적으로 감소시키는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  11. 제10항에 있어서,
    상기 제1 메시의 하나 이상의 꼭짓점들을 상기 제2 메시의 대응하는 하나 이상의 매칭 꼭짓점들을 향해 병진운동시키는 단계는:
    상기 경계 항 내의 꼭짓점들에 가중치 w L 를 적용하는 단계, 및
    상기 경계 항 밖의 꼭짓점들에 가중치 w S 를 적용하는 단계
    를 포함하는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  12. 제11항에 있어서,
    w L 은 w S 보다 더 큰,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
  13. 제1항에 있어서,
    병합된 메시를 획득하기 위해 상기 클리핑 심에 인접한 구역들에서 텍스처 블렌딩을 수행하는 단계를 더 포함하는,
    3-차원(3D) 텍스처링된 메시들을 병합하는 방법.
KR1020197013571A 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합 KR102210537B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217002640A KR102415830B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662322081P 2016-04-13 2016-04-13
US62/322,081 2016-04-13
US15/467,851 2017-03-23
US15/467,851 US10186082B2 (en) 2016-04-13 2017-03-23 Robust merge of 3D textured meshes
PCT/US2017/024273 WO2017180315A1 (en) 2016-04-13 2017-03-27 Robust merge of 3d textured meshes

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187032239A Division KR101979418B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217002640A Division KR102415830B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합

Publications (2)

Publication Number Publication Date
KR20190053304A true KR20190053304A (ko) 2019-05-17
KR102210537B1 KR102210537B1 (ko) 2021-02-01

Family

ID=60038377

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020197013571A KR102210537B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합
KR1020217002640A KR102415830B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합
KR1020187032239A KR101979418B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합
KR1020227021921A KR102548340B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020217002640A KR102415830B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합
KR1020187032239A KR101979418B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합
KR1020227021921A KR102548340B1 (ko) 2016-04-13 2017-03-27 3-차원 텍스처링된 메시들의 견고한 병합

Country Status (9)

Country Link
US (3) US10186082B2 (ko)
EP (1) EP3443538A4 (ko)
JP (2) JP6573734B2 (ko)
KR (4) KR102210537B1 (ko)
CN (2) CN117745950A (ko)
AU (2) AU2017251639B2 (ko)
CA (1) CA3017965A1 (ko)
IL (2) IL262339B (ko)
WO (1) WO2017180315A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114786A1 (en) * 2020-11-24 2022-06-02 Samsung Electronics Co., Ltd. Method and apparatus for mesh coding by using overlapped patches for video based point cloud compression

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10186082B2 (en) 2016-04-13 2019-01-22 Magic Leap, Inc. Robust merge of 3D textured meshes
AU2019227506A1 (en) * 2018-02-27 2020-08-06 Magic Leap, Inc. Matching meshes for virtual avatars
US11182954B2 (en) 2018-09-07 2021-11-23 Hivemapper Inc. Generating three-dimensional geo-registered maps from image data
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11043028B2 (en) 2018-11-02 2021-06-22 Nvidia Corporation Reducing level of detail of a polygon mesh to decrease a complexity of rendered geometry within a scene
CN109499067B (zh) * 2018-11-16 2022-05-31 网易（杭州）网络有限公司 一种地形纹理的绘制方法及装置、电子设备、存储介质
US10878613B2 (en) * 2018-12-06 2020-12-29 Cesium GS, Inc. System and method for transferring surface information from massive meshes to simplified meshes using voxels
EP3667623A1 (en) * 2018-12-12 2020-06-17 Twikit NV A system for optimizing a 3d mesh
AU2020437666B2 (en) 2020-03-25 2024-06-27 Encore Medical, Lp Dba Djo Surgical Joint implants having porous structures formed utilizing additive manufacturing and related systems and methods
CN112528530A (zh) * 2020-11-05 2021-03-19 西安数峰信息科技有限责任公司 一种基于任意形状三维非对应网格面的拼接算法
CN112489216B (zh) * 2020-11-27 2023-07-28 北京百度网讯科技有限公司 面部重建模型的评测方法、装置、设备及可读存储介质
CN113628343B (zh) * 2021-10-09 2021-12-07 贝壳技术有限公司 三维网格的合并处理方法和装置、存储介质
CN115619978B (zh) * 2022-11-21 2023-06-02 广州中望龙腾软件股份有限公司 网格面构建方法、终端以及存储介质
CN116843862B (zh) * 2023-08-29 2023-11-24 武汉必盈生物科技有限公司 一种三维薄壁模型网格表面纹理合成方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6476804B1 (en) * 2000-07-20 2002-11-05 Sony Corporation System and method for generating computer animated graphical images of an exterior patch surface layer of material stretching over an understructure
US6573890B1 (en) * 1998-06-08 2003-06-03 Microsoft Corporation Compression of animated geometry using geometric transform coding
US20050128195A1 (en) * 2003-01-30 2005-06-16 Houston Benjamin B. Method for converting explicitly represented geometric surfaces into accurate level sets
US20060284880A1 (en) * 2005-06-21 2006-12-21 Microsoft Corporation Texture montage
US20070132757A1 (en) * 2005-05-16 2007-06-14 Tal Hassner Constrained model composition
US20080021586A1 (en) * 2006-07-19 2008-01-24 Volker Schillen Method and device for producing a three-dimensional object, and computer and data carrier useful therefor
US7463258B1 (en) * 2005-07-15 2008-12-09 The United States Of America As Represented By The Secretary Of The Navy Extraction and rendering techniques for digital charting database
US20090002376A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Gradient Domain Editing of Animated Meshes
KR20090074874A (ko) * 2008-01-03 2009-07-08 삼성전자주식회사 3차원 메쉬 데이터 간략화 방법 및 장치
KR20110041977A (ko) * 2009-10-16 2011-04-22 삼성전자주식회사 삼차원 메쉬 압축장치 및 방법
US20130300734A1 (en) * 2012-05-14 2013-11-14 Autodesk, Inc. Adaptively zippering meshes
US20130329020A1 (en) * 2011-02-22 2013-12-12 3M Innovative Properties Company Hybrid stitching
US20140086465A1 (en) * 2012-09-27 2014-03-27 Siemens Product Lifecycle Management Software Inc. Multi-bone segmentation for 3d computed tomography
US20140132602A1 (en) * 2012-11-09 2014-05-15 Sony Computer Entertainment Europe Limited System and method of image augmentation
US20170024931A1 (en) * 2015-07-24 2017-01-26 The University Of British Columbia Methods and systems for hex-mesh optimization via edge-cone rectification

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731817A (en) * 1995-10-11 1998-03-24 Motorola, Inc. Method and apparatus for generating a hexahedron mesh of a modeled structure
US5963209A (en) * 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
US6281904B1 (en) * 1998-06-09 2001-08-28 Adobe Systems Incorporated Multi-source texture reconstruction and fusion
JP3740865B2 (ja) 1998-10-08 2006-02-01 コニカミノルタホールディングス株式会社 多視点３次元データの合成方法および記録媒体
US6968299B1 (en) * 2000-04-14 2005-11-22 International Business Machines Corporation Method and apparatus for reconstructing a surface using a ball-pivoting algorithm
US6750873B1 (en) * 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
JP3429271B2 (ja) 2000-11-29 2003-07-22 コナミ株式会社 ３次元画像処理方法、その装置、３次元画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体及びビデオゲーム装置
JP2003044871A (ja) 2001-08-02 2003-02-14 Sony Corp ３次元画像処理装置及び３次元画像処理方法、並びに記憶媒体
JP3781008B2 (ja) * 2003-02-24 2006-05-31 コニカミノルタホールディングス株式会社 ３次元モデルの編集方法および装置並びにコンピュータプログラム
US7619626B2 (en) * 2003-03-01 2009-11-17 The Boeing Company Mapping images from one or more sources into an image for display
JP3873938B2 (ja) * 2003-07-25 2007-01-31 コニカミノルタホールディングス株式会社 メッシュマージ方法、メッシュマージ装置、およびコンピュータプログラム
TWI267799B (en) * 2003-09-19 2006-12-01 Ind Tech Res Inst Method for constructing a three dimensional (3D) model
US20070088531A1 (en) * 2003-12-19 2007-04-19 Wei Yuan Methods For Generating Digital Or Visual Representations Of A Closed Tessellated Surface Geometry
US7265752B2 (en) * 2004-01-09 2007-09-04 Microsoft Corporation Multi-chart geometry images
US7689021B2 (en) * 2005-08-30 2010-03-30 University Of Maryland, Baltimore Segmentation of regions in measurements of a body based on a deformable model
EP1964069A2 (en) * 2005-12-16 2008-09-03 Philips Intellectual Property & Standards GmbH Surface tesselation of shape models
US7800627B2 (en) 2007-06-08 2010-09-21 Microsoft Corporation Mesh quilting for geometric texture synthesis
US8289322B1 (en) * 2007-10-17 2012-10-16 Sandia Corporation Quadrilateral finite element mesh coarsening
US8269765B2 (en) * 2008-02-28 2012-09-18 Autodesk, Inc. System and method for removing seam artifacts
WO2010116875A1 (ja) 2009-04-08 2010-10-14 株式会社島精機製作所 着装シミュレーション装置とシミュレーション方法及びシミュレーションプログラム
CN101950431B (zh) * 2010-05-12 2012-06-27 中国科学院自动化研究所 一种在三角网格曲面上检测脐点的方法
GB201101810D0 (en) 2011-02-03 2011-03-16 Rolls Royce Plc A method of connecting meshes
JP5791312B2 (ja) * 2011-03-08 2015-10-07 カルソニックカンセイ株式会社 表面加工データの作成方法および装置
US8907976B2 (en) * 2012-03-20 2014-12-09 Autodesk, Inc. Resolution-adaptive mesh smoothing brush
US9196089B2 (en) 2012-05-17 2015-11-24 Disney Enterprises, Inc. Techniques for processing reconstructed three-dimensional image data
EP2852932A1 (en) * 2012-05-22 2015-04-01 Telefónica, S.A. A method and a system for generating a realistic 3d reconstruction model for an object or being
US9626797B2 (en) * 2012-10-05 2017-04-18 Autodesk, Inc. Generating a consensus mesh from an input set of meshes
CN103049896B (zh) * 2012-12-27 2015-09-16 浙江大学 三维模型的几何数据和纹理数据自动配准算法
US9147279B1 (en) 2013-03-15 2015-09-29 Google Inc. Systems and methods for merging textures
CN103440680B (zh) * 2013-08-22 2015-12-02 浙江大学 一种基于一范数优化的Polycube可控生成方法
US9911220B2 (en) * 2014-07-28 2018-03-06 Adobe Systes Incorporated Automatically determining correspondences between three-dimensional models
US9691165B2 (en) * 2015-07-24 2017-06-27 Disney Enterprises, Inc. Detailed spatio-temporal reconstruction of eyelids
US10186082B2 (en) 2016-04-13 2019-01-22 Magic Leap, Inc. Robust merge of 3D textured meshes

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6573890B1 (en) * 1998-06-08 2003-06-03 Microsoft Corporation Compression of animated geometry using geometric transform coding
US6476804B1 (en) * 2000-07-20 2002-11-05 Sony Corporation System and method for generating computer animated graphical images of an exterior patch surface layer of material stretching over an understructure
US20050128195A1 (en) * 2003-01-30 2005-06-16 Houston Benjamin B. Method for converting explicitly represented geometric surfaces into accurate level sets
US20070132757A1 (en) * 2005-05-16 2007-06-14 Tal Hassner Constrained model composition
US20060284880A1 (en) * 2005-06-21 2006-12-21 Microsoft Corporation Texture montage
US7463258B1 (en) * 2005-07-15 2008-12-09 The United States Of America As Represented By The Secretary Of The Navy Extraction and rendering techniques for digital charting database
US20080021586A1 (en) * 2006-07-19 2008-01-24 Volker Schillen Method and device for producing a three-dimensional object, and computer and data carrier useful therefor
US20090002376A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Gradient Domain Editing of Animated Meshes
KR20090074874A (ko) * 2008-01-03 2009-07-08 삼성전자주식회사 3차원 메쉬 데이터 간략화 방법 및 장치
KR20110041977A (ko) * 2009-10-16 2011-04-22 삼성전자주식회사 삼차원 메쉬 압축장치 및 방법
US20130329020A1 (en) * 2011-02-22 2013-12-12 3M Innovative Properties Company Hybrid stitching
US20130300734A1 (en) * 2012-05-14 2013-11-14 Autodesk, Inc. Adaptively zippering meshes
US20130300736A1 (en) * 2012-05-14 2013-11-14 Autodesk, Inc. Adaptively merging intersecting meshes
US20140086465A1 (en) * 2012-09-27 2014-03-27 Siemens Product Lifecycle Management Software Inc. Multi-bone segmentation for 3d computed tomography
US20140132602A1 (en) * 2012-11-09 2014-05-15 Sony Computer Entertainment Europe Limited System and method of image augmentation
US20170024931A1 (en) * 2015-07-24 2017-01-26 The University Of British Columbia Methods and systems for hex-mesh optimization via edge-cone rectification

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022114786A1 (en) * 2020-11-24 2022-06-02 Samsung Electronics Co., Ltd. Method and apparatus for mesh coding by using overlapped patches for video based point cloud compression
US12125249B2 (en) 2020-11-24 2024-10-22 Samsung Electronics Co., Ltd. Overlapped patches for mesh coding for video based point cloud compression

Also Published As

Publication number Publication date
US10726623B2 (en) 2020-07-28
US20190043256A1 (en) 2019-02-07
JP2019125402A (ja) 2019-07-25
KR102548340B1 (ko) 2023-06-26
JP2019514126A (ja) 2019-05-30
CN117745950A (zh) 2024-03-22
KR101979418B1 (ko) 2019-05-16
JP6573734B2 (ja) 2019-09-11
CA3017965A1 (en) 2017-10-19
KR20180123726A (ko) 2018-11-19
IL266060A (en) 2019-06-30
KR20220093404A (ko) 2022-07-05
KR20210012069A (ko) 2021-02-02
US20170301133A1 (en) 2017-10-19
CN109074675B (zh) 2024-01-02
US10186082B2 (en) 2019-01-22
KR102415830B1 (ko) 2022-06-30
IL262339B (en) 2019-05-30
US20200312023A1 (en) 2020-10-01
KR102210537B1 (ko) 2021-02-01
JP6883062B2 (ja) 2021-06-09
CN109074675A (zh) 2018-12-21
NZ746322A (en) 2021-08-27
AU2021261883A1 (en) 2021-12-02
AU2017251639A1 (en) 2018-10-04
WO2017180315A1 (en) 2017-10-19
EP3443538A1 (en) 2019-02-20
EP3443538A4 (en) 2019-04-10
IL266060B (en) 2021-01-31
IL262339A (en) 2018-12-02
US11210852B2 (en) 2021-12-28
AU2017251639B2 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
KR101979418B1 (ko) 3-차원 텍스처링된 메시들의 견고한 병합
Yan et al. Variational mesh segmentation via quadric surface fitting
Song et al. A progressive point cloud simplification algorithm with preserved sharp edge data
Fang et al. Floorplan generation from 3D point clouds: A space partitioning approach
CN108734728A (zh) 一种基于高分辨序列图像的空间目标三维重构方法
Governi et al. 3D geometry reconstruction from orthographic views: A method based on 3D image processing and data fitting
CN115564782A (zh) 3d血管及气管分割方法及系统
Verykokou et al. A Comparative analysis of different software packages for 3D Modelling of complex geometries
Novacheva Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection
Rashidi et al. Point cloud data cleaning and refining for 3D as-built modeling of built infrastructure
Sumi et al. Multiple TLS point cloud registration based on point projection images
Guo et al. Full-automatic high-precision scene 3D reconstruction method with water-area intelligent complementation and mesh optimization for UAV images
Shen et al. Structure Preserving Large Imagery Reconstruction
NZ746322B2 (en) Robust merge of 3d textured meshes
Shi et al. An integration method for scanned multi-view range images (MRIs) based on local weighted least squares (LWLS) surface fitting
Zhao et al. Closely adjacent object segmentation based on periphery-restrictive region growing
Gkeli et al. Automatic 3D reconstruction of buildings roof tops in densely urbanized areas
Coudron Incorporating prior knowledge in 3D scene understanding
GB2621009A (en) Method of content generation from sparse point datasets
CN116543128A (zh) 一种对象的三维网格模型的生成方法、装置及电子设备
Keller et al. Construction of implicit surfaces from point clouds using a feature-based approach
Shashkov et al. Efficient dense reconstruction using geometry and image consistency constraints

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20190510

Application number text: 1020187032239

Filing date: 20181106

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200326

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200528

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201026

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20210126

Application number text: 1020187032239

Filing date: 20181106

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210126

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210127

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240117

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20241224

Start annual number: 5

End annual number: 5