KR20130034040A - 3d 메시 모델들에서 반복 구조들을 검출하기 위한 방법 및 장치 - Google Patents

Abstract

3D 모델들에서의 반복 구조들의 발견은 도전적인 과업이다. 3D 모델들에서 반복 구조들을 검출하기 위한 방법은, 현재 샘플링 스텝 사이즈를 사용하여 3D 모델을 샘플링하는 단계, 반복 구조들 및 모델의 나머지 부분들을 검출하는 단계, 하나 이상의 반복 구조들 각각에 대해 대표를 결정하는 단계, 및 상기 검출 단계가 하나 이상의 반복 구조들을 산출하는 한, 현재 샘플링 스텝 사이즈를 감소하는 단계 및 검출된 반복 구조의 각각의 검출된 대표 및 모델의 나머지 부분들에 대해 샘플링 및 검출 단계들을 반복하는 단계를 포함하고, 상기 감소된 샘플링 스텝 사이즈가 사용된다. 본 방법 및 디바이스는, 예를 들어, 3D 모델 압축, 3D 모델 수선, 또는 기하학적 합성에 사용될 수 있다.

Description

3D 메시 모델들에서 반복 구조들을 검출하기 위한 방법 및 장치{METHOD AND APPARATUS FOR DETECTING REPETITIVE STRUCTURES IN 3D MESH MODELS}

본 발명은 3D 메시 모델들에서 반복 구조들을 검출하기 위한 방법에 관한 것이다.

반복 구조들은, 자연에서뿐만 아니라, 예를 들어, 생물학 및 물리학에서뿐만 아니라, 다른 분야들, 예를 들어, 공학 기술 및 예술 분야에서도 아주 흔하다. 반복 구조들은 인공 물체들에서도 매우 흔하며, 예를 들어, 아키텍처의 거의 모든 디자인 스타일들에서도 기본이 된다. 따라서, 3D 메시 모델들의 모든 공통 타입들은 일반적으로 반복 구조들을 포함한다. 이러한 모델들의 복잡성이 증가함으로 인해, 이들을 코딩하는데 필요한 데이터의 양을 최소화하는 것이 바람직하다. 반복 구조들을 포함해서, 대칭이 복잡성을 감소시키는데 사용될 수 있는 리던던시의 한 종류임이 밝혀졌다: 반복 구조들은 오직 한번만 인코딩될 필요가 있으며, 여러번 호출 또는 "인스턴스화"될 수 있다. 이러한 리던던시로부터 이익을 얻기 위해, 기존 3D 메시 모델들에서 반복 구조들을 검출할 필요가 있다. 전형적인 방법들은 반복 요소들을 수동으로 식별하는 사용자에게 의존하는 주기적 구조 분할법을 사용한다. 명백하게 이러한 사용자 지원은 반갑지 않다.

반복 구조의 각각의 인스턴스(instance)는, 회전, 병진 이동, 반사 및 균일한 스케일링 등의 변환들에 의해 개별적으로 변경될 수 있다. 심지어 상이한 스케일들로, (부분적인) 대칭 검출을 위한 공지된 방법¹은, "변환 투표(transformation voting)"라고 하는 기법을 사용한다: 이는 변환 공간을 구성하는 단계, 가능한 변환들을 클러스터링하는 단계 및 변환 클러스터들에 의해 대칭을 결정하는 단계를 포함한다. 예를 들어, 미트라(Mitra)¹는 처음 단계에서 로컬 모양 기술자들을 계산하고, 상기 기술자들은 그 후 후보 대칭 동작하에서 서로 매핑될 수 있는 포인트들의 쌍을 맺는데 사용된다. 가능한 후보 변환들의 집합은 변환 공간이라고 한다. 유사한 변환들에 따른 쌍들은 변환 공간의 클러스터들을 형성하고, 이는 대응 대칭 관계의 증거를 제공한다. 제2 단계에서, 변환이 한 클러스터로 분류된 포인트 쌍들은 공간적 일치성(spatial consistency)에 대해 검사받는다. 확률적 클러스터링(a stochastic clustering)은 표면 대응(surface correspondences)을 제공해서, 대칭 표면 패치들을 검출 및 추출할 때 오직 작은 집합의 후보 샘플들만이 고려될 필요가 있도록 한다. 곡률 기술자들(curvature descriptors)이 샘플 포인트들의 쌍을 맺는데 사용된다; 곡률 기술자들이 너무 많이 상이하면 후보 포인트 쌍들은 폐기된다. 유사하게, 곡률 기술자들에 따라 샘플 포인트들을 "유사성 집합들(similarity sets)"로 그룹화하는 것이 공지되어 있다². 곡률은 일반적으로 기하학적 객체가 평평함에서 벗어나는 양이다.

클러스터링을 사용하는 한가지 이유는, 비교될 데이터의 양이 매우 많기 때문이다. 샘플링 포인트들의 수, 및 따라서, 데이터량은, 샘플링 스텝 사이즈에 매우 좌우된다; 샘플링 스텝들이 더 작을수록, 더 많은 데이터가 야기되어서, 클러스터링 스텝들은 덜 효율적이 된다. 그러나, 샘플링 스텝들이 더 클수록, 소규모 구조들의 생략이 야기된다.

본 발명은 공지된 3D 압축 방법들, 및 특히 변환 투표 방법들에 대한 향상안을 제공한다. 후자는 변환 클러스터링에 의해 대칭들에 대한 후보들을 찾는 단계 및 후보들을 비교하는 단계를 통상 갖는다. 이들은 3D 압축 또는 다른 응용 분야들에서 사용될 수 있다.

본 발명에 의해 제공된 향상안은 적어도 샘플링 스텝 사이즈와 관련된다. 특히, 본 발명은 샘플링 스텝 사이즈를 감소시키면서 균일한 반복 샘플링 방법을 사용한다. 소정의 3D 메시 모델이 비교적 큰 초기 샘플링 스텝 사이즈로 균일하게 샘플링된다. 그 후, 샘플링 포인트들이 곡률에 따라 클러스터링되며, 그 후, 변환들이 동일한 클러스터에 속한 샘플링 포인트들 간에 결정된다. 이는 소위 후보 변환들이다. 따라서, 후보 변환들은 양 포인트들이 유사한 곡률을 갖는 샘플링 포인트 쌍들에 대해서만 결정될 필요가 있다. 이러한 클러스터링 단계는 알고리즘 효율을 향상시킬 뿐만 아니라, 알고리즘 정확성을 또한 증가시킨다. 전에 계산된 모든 변환들에 의해 구성된 변환 공간은, 샘플링 스텝 사이즈가 더 작은 경우 보다 더 적은 잡음 요소들을 포함한다. 따라서, 다음 클러스터링 단계는 모든 반복 구조들을 발견할 가능성이 더 높다. 모델이 반복 구조들을 포함하면, 이러한 클러스터링의 대개의 결과는, 하나 이상의 개별 클러스터들이 나오는 것이다. 다음 단계에서 (가장 관련 있는) 클러스터들이 선택되고, 대응 변환들 및 샘플링 포인트 쌍들이 반복 구조를 나타내도록 추정된다. 가장 관련 있는 클러스터들은, 가장 의미 있고 분명한 클러스터들이다. 클러스터에 속하지 않은 다른 변환들은 폐기된다.

이 프로시져는 감소하는 샘플링 스텝으로 되풀이해서 실행된다. 각각의 되풀이(iteration)는 반복들(repetitions)을 스킵하고, 오직 모델의 나머지 부분들 및 이전 되풀이에서 검출된 대표 구조들의 대표들만을 처리한다. 따라서, 3D 모델에서의 멀티-스케일 반복 구조들이 또한 발견될 수 있다. 반복 구조들의 수가 안정적일 때, 또는 선정된 최소 샘플링 스텝 사이즈에 도달될 때, 되풀이 프로세스는 정지한다. 또한, 타임 아웃을 정의하고, 프로세스의 실행 시간을 측정하며, 실행 시간이 타임 아웃을 초과할 때 프로세스를 종료할 수 있다.

추가 클러스터링 및 되풀이 단계들은 조사될 가능한 변환들의 양을 감소시키며, 따라서, 필요한 처리 용량을 감소시킨다.

본 발명의 일 실시예에 따라, 3D 메시 모델들에서 반복 구조들을 검출하기 위한 방법은, 현재 (균일한) 샘플링 스텝 사이즈를 사용하여 3D 메시 모델을 샘플링하는 단계,

3D 메시 모델 내에서 하나 이상의 반복 구조들 및 모델의 나머지 부분들을 검출하고, 하나 이상의 반복 구조들 각각에 대해 대표를 결정하는 단계,

상기 검출 단계가 현재 샘플링 스텝 사이즈를 사용하여 하나 이상의 반복 구조들을 산출하는 한,

현재 샘플링 스텝 사이즈를 감소시켜 감소된 샘플링 스텝 사이즈를 획득하는 단계, 및

검출된 반복 구조의 각각의 검출된 대표 및 모델의 나머지 부분들에 대해 샘플링 및 검출 단계들을 반복하는 단계를 포함하고, 감소된 샘플링 스텝 사이즈는 현재 샘플링 스텝 사이즈로서 사용된다. 검출된 멀티-스케일 반복 구조는 트리 구조로 기록된다. 상기 검출 단계가 더 이상 반복 구조를 산출하지 않으면, 또는 선정된 최소 샘플링 스텝 사이즈 또는 타임 아웃에 도달되면, 반복 구조들을 검출하기 위한 방법은 종료된다.

일 실시예에서, 각각의 검출 단계는, 각각의 현재 샘플링 스텝 사이즈에 기초하여, 각각의 샘플링 포인트에 대한 곡률 기술자를 계산하는 단계, 곡률 기술자에 따라 샘플링 포인트들을 클러스터링하는 단계 - 하나 이상의 샘플링 포인트 클러스터들이 획득됨 - , 공통 샘플링 포인트 클러스터에 속한 샘플링 포인트들의 쌍들 간의 변환들을 계산하는 단계, 변환 공간에서 계산된 변환들을 클러스터링하는 단계 - 하나 이상의 변환 클러스터들이 획득됨 - , 및 변환 공간의 하나 이상의 변환 클러스터들 각각에 따라, 반복 구조 및 그 대표를 결정하는 단계를 포함하고, 그 변환이 변환 공간의 공통 클러스터에 속하는 샘플링 포인트들의 쌍들이 대표 구조의 2개의 인스턴스들로서 정의된다.

본 발명의 일 실시예에 따라, 3D 메시 모델들에서 반복 구조들을 검출하기 위한 디바이스는, 현재 (균일한) 샘플링 스텝 사이즈를 사용하여 3D 메시 모델을 샘플링하기 위한 샘플링 수단,

3D 메시 모델 내에서 하나 이상의 반복 구조들 및 모델의 나머지 부분들을 검출하기 위한 검출 수단, 하나 이상의 반복 구조들 각각에 대한 대표를 결정하기 위한 결정 수단, 감소된 샘플링 스텝 사이즈를 획득하기 위해 현재 샘플링 스텝 사이즈를 감소시키기 위한 감소 수단, 및 검출 수단이 현재 샘플링 스텝 사이즈를 사용하여 하나 이상의 반복 구조들을 검출하는 한, 검출된 반복 구조의 각각의 검출된 대표 및 모델의 나머지 부분들에 대한 감소 수단, 샘플링 수단, 및 검출 수단의 반복된 동작을 제어하기 위한 제어 수단을 포함하고, 상기 감소된 샘플링 스텝 사이즈는 현재 샘플링 스텝 사이즈로서 사용된다. 상기 검출 수단이 더 이상 반복 구조를 검출하지 않으면, 또는 선정된 최소 샘플링 스텝 사이즈 또는 타임 아웃에 도달되면, 반복 구조들을 검출하기 위한 디바이스는 정지된다.

본 발명의 유익한 실시예들은 종속항들, 이하의 설명 및 도면들에 기술된다.

본 발명의 일례의 실시예들이 첨부 도면들을 참조해서 기술된다.
도 1은 3D 모델들에서 반복 구조들을 발견하기 위한 방법의 블록도이다.
도 2는 대칭 검출의 원리를 도시한다.
도 3은 검출된 멀티-스케일 반복 구조를 기록하기 위한 트리 구조이다.
도 4는 반복 구조들을 발견하기 위한 디바이스의 블록도이다.
도 5는 반복 구조들을 검출하기 위한 검출 수단의 블록도이다.
도 6은 일례의 3D 메시 모델 및 대응 데이터 집합을 도시한다.
도 7은 포인트 쌍의 포인트들 간의 변환을 도시한다.

도 1은 3D 모델들에서 반복 구조들을 발견하기 위한 방법의 블록도를 도시한다. 입력 모델에 대하여, 샘플링 포인트들이 계산되고(100), 비교적 큰 초기 샘플링 스텝 사이즈가 사용된다. 다음 단계(200)에서, 곡률 기술자가 각각의 샘플링 포인트에 대해 계산된다. 샘플링 포인트들은 곡률 기술자들에 따라 클러스터링된다(300). 즉, 유사한 곡률 기술자들을 갖는 샘플링 포인트들은 동일한 클러스터에 넣어진다. 한 클러스터 내의 샘플링 포인트들 중에서, 반복 구조들이 검출(즉, 계산)되고(400), 검증된다(500). 검출된 반복 구조들로부터, 각각의 반복 구조가 서브-브랜치(a sub-branch)로 표현되는 트리가 구성된다. 마지막으로, 이전 단계들에서 반복들의 수가 증가했는 지가 검사된다(700). (대부분의 모델들처럼) 반복 구조들을 포함하는 입력 모델들의 경우, 이는 초기에 항상 그럴 것이다. 이러한 경우에, 샘플링 스텝 사이즈가 감소되고, 샘플링 포인트들은 한 클러스터의 서브-구조들(sub-structures)에 대해 재계산된다.

3D 모델들에서 반복 구조들을 검출하기 위한 효율적인 방법이 기술되는데, 이는 임의의 소규모의 반복 구조들 및 멀티-스케일 반복 구조들을 자동으로 발견할 수 있다. 주요 아이디어들은 곡률에 기초하여 모든 샘플링 포인트들을 클러스터링하고 감소하는 샘플링 스텝으로 모델을 반복해서 처리하는 것을 포함한다. 이러한 방법의 블록도가 도 1에 도시되어 있다. 본 알고리즘에서, 입력 데이터 집합은 포인트 집합 또는 메시-기반 모델일 수 있다.

본 방법에 의해 검출된 멀티-스케일 반복 구조들을 기록하기 위해, 트리 구조가 사용된다. 트리의 각각의 노드는 하나의 반복 구조를 기록한다. 처음에, 트리는 입력 모델에 대응하는 루트만을 갖는다. 샘플링 스텝 H는 초기에는 비교적 큰 수이다.

샘플링 블록(100)은 표면을 균일하게 샘플링한다. 본 도면에서, 현재 샘플링 스텝은 H로서 표기된다.

곡률 기술자 계산 블록(200)은 각각의 샘플링 포인트의 곡률 기술자를 계산한다. 샘플링 포인트 p_i에 대해, 평균 곡률 H(p_i), 가우스 곡률 K(p_i), 주곡률들 K_i1, K_i2 및 주방향 C_i1, C_i2를 계산한다. 임의의 방법, 예를 들어, [메이어 외 다수(Meyer et al.) 2002]³의 섹션 3-5에 기술된 방법이 곡률 기술자를 계산하는데 사용될 수 있다. p_i의 곡률 기술자는 다음과 같다.

K_i1, K_i2, C_i1 및 C_i2는 후술되는 다음 계산들에서 유용하다. 곡률 기술자에 대한 더 많은 세부 사항들은 후술된다.

블록(300)은 곡률 기술자들에 따라 샘플링 포인트들을 클러스터링한다. 클러스터 오퍼레이터(cluster operator)로서 (예를 들어, [커매니츄(Comaniciu) 외 다수]⁴에 기술되어 있으며, 흔히 공지된) 평균-시프트 알고리즘(mean-shift algorithm)을 사용한다. 밀도 함수는 다음과 같이 정의된다:

<수학식 1a>

여기서, h는 [커매니츄(Comaniciu) 외 다수]⁴에 의해 제안된 바와 같다.

동일한 반복 구조가 유사한 곡률을 갖는 포인트들로 구성되기에, 블록(300)은 불필요한 샘플 쌍들을 제거함으로써 다음 분석 단계들의 효율 및 견고성(robustness)을 향상시킨다.

블록(400)은 현재 레벨의 반복 구조들을 계산한다. 모든 샘플링 포인트 클러스터를 개별적으로 다룬다. Φ_k를 현재 처리중인 클러스터라고 하자.

블록(410)은, 예를 들어, [미트라(Mitra) 외 다수 2006]¹에 기술된 방법에 의해 Φ_k의 변환 공간 Γ_k를 계산한다. 변환 T_{i ,j} ∈ Γ_k는 포인트 p_i∈Φ_k를 다른 포인트 p_j∈Φ_k로 변환한다. 블록(200)은 한 샘플링 포인트 p_i의 주곡률들 K_i1, K_i2 및 주방향 C_i1, C_i2를 이미 계산했다. C_i1 및 C_i2는 p_i의 로컬 프레임 (C_i1, C_i2, n_i)을 정의하고, 여기서, n_i = C_i1 ×C_i2 이다. 2개의 순차적인 회전 연산들, R_1ij 및 R_2ij가 있다. R_1ij는 먼저 n_i를 n_j와 평행하게 한다. 그 후, R_2ij는 C_i1을 C_j1과 평행하게 한다. 스케일 팩터(scaling factor) s_{i ,j}는 다음과 같이 계산된다:

병진 이동(translation) t_{i ,j}는 다음과 같이 계산된다:

따라서, 7-차원(7-dimensional)이 획득된다:

여기서, Rx_{i ,j}, Ry_{i ,j}, Rz_{i ,j}는 오일러 각들이고, 회전 R₂를 의미하며, t_{i ,j} = [t_xi,j, t_{yi ,j}, t_{zi ,j}]^T는 병진 이동을 의미한다.

블록(420)은 Γ_k의 모든 변환들을 클러스터링한다. 기존 알고리즘들처럼, 이 스텝의 클러스터링 오퍼레이터로서 평균-시프트를 선택한다. 동일한 클러스터의 변환들은 대개 동일한 반복 구조를 나타낸다.

블록(430)은 반복 구조들에 대응하는 표면 패치들을 계산한다. 사이즈가 감소하는 순서로 블록(420)에서 계산된 클러스터들을 다룬다. C_k를 처리중인 변환 클러스터라고 하자. [미트라(Mitra) 외 다수 2006]¹처럼, 증가 패치 성장 프로세스에 의해 표면 패치들을 계산하며, 상기 프로세스는 C_k의 랜덤 포인트 T_{i ,j}로부터 시작한다. T_{i ,j}는 한 쌍의 샘플링 포인트들 (p_i, p_j)에 대응한다. p_i1은 p_i의 원 링 이웃들(one-ring neighbors)의 한 표면 정점(one surface vertex)이고 p_i1 = T_ijS_ijR_2ijR_1ijp_i1 이라고 가정하자. Dis_Sur은 p_i1와 p_j 주변의 표면 간의 거리이고, Dis_Pt는 p_i1와 p_j 간의 거리이다:

여기서, u₁ 및 u₂는 일부 상수들이다(우리는 u₁ = 0.8, u₂ = 0.2 라고 설정함). Dis가 임계값 미만이면, p_i1은 p_i로부터 시작하는 표면 패치에 추가된다. 표면 패치는 더 이상의 포인트들이 추가될 수 없을 때까지 현재 경계로부터 계속 성장한다. p_i로부터 시작하는 표면 패치가 끝난 후에, p_j로부터 시작하는 표면 패치를 계산한다. 이러한 2개의 표면 패치들은 2개의 패치 집합들, {Pat_i} 및 {Pat_j}에 각각 추가될 것이다. 패치 성장 프로세스 중에, 모든 방문 샘플링 포인트들 및 그들을 수반하는 변환들을 표시한다. C_k에 표시되지 않은 임의의 변환이 있으면, 새로운 패치들이 생성될 것이다. 마침내, 각각의 클러스터에 대해, 2개의 패치 집합들이 계산되고, 동일한 반복 구조들의 인스턴스들이다. 한 패치 집합이 대표로서 선택되고, 다른 패치 집합은 대응 반복 구조들의 인스턴스로서 간주된다.

블록(500)은, 예를 들어, [러신키위츠(RUSINKIEWICZ) 외 다수 2001]⁵로부터 공지된 바와 같이, ICP(Iterated Closest Points) 알고리즘을 사용하여, 블록(400)에서 발견된 반복 구조들을 검증한다. 먼저, 인스턴스 구조들이 ICP에 의해 대응 대표들과 정확하게 매칭할 수 있는 지가 검사된다. 이러한 테스트를 패스할 수 없는 반복 구조들은 폐기된다. 그 후, ICP에 의해 남겨진 대표들의 각각의 쌍의 매칭을 시도한다. 2개의 대표들이 정확하게 매칭되는 경우에, 대응 반복 구조들은 결합된다.

블록(600)은, 도 3에 도시된 바와 같이, 검출된 멀티-스케일 반복 구조를 기록하는 트리 구조를 갱신한다. 막 검출된 반복 구조들은 대응 노드의 리프(leaf)들로서 추가된다. 임의의 반복 구조를 포함하지 않는 표면의 파트에 대응하는 특별 리프 노드가 추가된다. 알고리즘의 다음 되풀이에서 검출될, 더 작은 규모의 반복 구조들이 있을 수 있다.

다음 되풀이에서, 샘플링 스텝은 원래의 사이즈의 절반일 것이다. 알고리즘은 모든 잎 노드들을 개별적으로 다룬다. 일 실시예에서, 알고리즘은 샘플링 스텝이 임계값 보다 더 작을 때 정지된다.

일 실시예에서, 알고리즘을 정지하기 위한 샘플링 스텝 임계값은 입력 모델에 좌우되고, 특히, 입력 모델의 경계 상자(bounding-box)의 직경에 좌우된다. 즉, (예를 들어, x, y, z-축들을 따르는 데카르트 좌표계에서) 경계 상자는 완전한 모델 주변에 구성되서, (x_min, y_min, z_min)으로부터 (x_max, y_max, z_max)로의 대각선의 길이가 계산되며, 그 후, 샘플링 스텝 사이즈 임계값은, 그것의 소수, 예를 들어, 0.5%(diagonal_length/200) 또는 비슷한 값으로 설정된다.

도 2는 3D 모델의 일례를 도시한다. a)에 임의의 특정 스텝 사이즈를 나타내는 샘플링 포인트들이 도시되지만, b)는 종래 기술로 구성된 가능한 변환들을 도시한다: 각각의 샘플링 포인트에 대해, 각각의 다른 샘플링 포인트로의 변환이 계산된다. 그러나, 본 발명의 경우, 이러한 변환들은 201, 210, 220 등, 유사한 곡률을 갖는 포인트 쌍들에 대해서만 계산된다. 클러스터링 후에, 이들은 유사해서 결국 공통 변환 클러스터에 있기 때문에, 실제 대칭과 관련된 변환들이 식별될 수 있다. 도 2 c)에서, 이 일례의 모델의 결정된 대칭이 도시된다: 대칭 축(230)에서 반사.

종래 기술([미트라 2006]¹)은 오직 2개의 샘플링 포인트들이 유사한 시그니처(signature)들을 갖는 샘플링 포인트 쌍들만을 다룸을 주지하자. 본 방법은 다음과 같다: p_i가 하나의 샘플링 포인트이고 P는 샘플링 포인트 집합이라고 가정하라. k_i1/k_i2는 p_i의 시그니처이고, k_i1 및 k_i2는 p_i의 주 곡률들이다. 모든 샘플 포인트들은 시그니처 공간 Ω에 매핑된다. Ω에서 가까운 포인트 쌍들만이 차후 분석 프로세스에 적합한 후보들로서 고려된다. 종래 기술은 먼저 랜덤 부집합 P* ⊂ P를 선택한다. 차후 분석을 위한 후보 포인트 쌍들은 (p*, p) 이고, 여기서, p* ∈ P* 및 p ∈ P 이다. 소정의 샘플 포인트 p_i ∈ P*에 있어서, 종래 기술은 Ω의 범위 질의(a range query)를 실행함으로써 P의 모든 적합한 파트너들을 결정한다. 종래 기술은 p_i의 모든 적합한 파트너들을 찾기 위해 표준 공간 근접 데이터 구조들 kd-tree를 사용한다. 이 방법에 의해, 종래 기술은 포인트 쌍들의 2차 번호의 완전한 계산을 방지할 수 있다. 본 발명에서, 곡률 기술자에 따라 모든 샘플링 포인트들을 클러스터링함으로써 동일한 목적을 달성한다. 종래 기술에서 사용되는 바와 같이 샘플링 포인트들의 부집합을 랜덤으로 선택하는 방법에 비해, 본 발명은 더 정확하며, 종래 기술이 할 수 없는, 임의의 스케일들의 모든 반복 구조들의 검출을 보장할 수 있다.

대칭이 본 발명의 중요한 개념이기에, 대칭은 회전들, 병진 이동들, 반사들 및 균일한 스케일링 등의 한 집합의 변환들 하에서의 불변성을 의미한다는 것을 분명히 한다.

또한, 곡률 및 곡률 기술자는 잘 정의된 수학적인 개념이며, 그 구성은 종래 기술(예를 들어, 파울리(Pauly)²)에 공지되어 있다. v_i의 평균 곡률 H(v_i)는 사용된 좌표계와 무관하다. 가우스 곡률들 K(v_i)는 3D 좌표계에 좌우되며, 다음과 같이 정의된다:

k_i1 및 k_i2는 v_i의 2개의 주 곡률들이다. 미분 기하학에 따라, 가우스 곡률들 K(v_i) 및 평균 곡률 H(v_i)는 2개의 주 곡률들에 의해 다음과 같이 표현될 수 있다:

따라서, 주 곡률들을 다음과 같이 정의할 수 있다:

수학식 9 및 수학식 10으로부터, 다음과 같이 곡률 기술자를 획득할 수 있다:

따라서, H(v_i)²/K(v_i)는 스케일링, 회전 및 병진 이동 변환에서도 불변한다. 따라서, H(v_i)²/K(v_i)를 모양 기술자(shape descriptor)로서 사용하며, H(v_i)²/K(v_i)에 따라 샘플 포인트들을 클러스터링한다. 동일한 곡률 기술자가 상이한 목적을 위해서이지만 [파울리(Pauly) 외 다수 2008]²에서 사용되었다.

도 4는 본 발명의 일 실시예에 따른 3D 메시 모델들에서 반복 구조들을 검출하기 위한 디바이스를 도시한다. 입력 in 에서 제공된 3D 메시 모델을 샘플링하기 위한 샘플링 수단 SM, 즉, 샘플링 유닛을 포함한다. 후술되는 바와 같이, 다른 유닛으로부터 수신하는 현재 균일한 샘플링 스텝 사이즈 sss를 사용한다.

샘플링 유닛 SM은, 샘플링된 3D 메시 모델 내에서 하나 이상의 반복 구조들을 검출하고 반복 구조들이 없는 모델의 나머지 부분들을 식별하는 검출 수단 DM1에 샘플링된 데이터를 제공한다. 각각의 반복 구조 rs는 하나 이상의 반복 구조들 각각에 대해 대표 rep를 결정하는 결정 수단 DM2에 제공된다. 대표(즉, 그것의 데이터)는 검출 수단 DM1에 다시 제공되고, 검출 수단 DM1은 이를 사용하여 (다른) 반복들을 식별한다.

반복 구조들 및 상술된 나머지 데이터 부분들의 샘플링 및 제어 데이터 rsrd가 출력으로서, 예를 들어, 인코더 E에 제공된다. 이 데이터 rsrd는 이들이 샘플링된 샘플링 스텝 사이즈를 갖는, 각각의 반복 구조에 대한 대표 및 각각의 나머지 부분들의 샘플링 데이터를 포함한다. 데이터 rsrd는 또한 반복 구조들의 반복들을 정의하는 데이터를 포함한다. 일례는 후술된다.

또한, 디바이스는, 검출 수단이 현재 샘플링 스텝 사이즈를 사용하여 하나 이상의 반복 구조들을 검출하는 한, 디바이스의 반복된 동작을 제어하기 위한 제어 수단 CM을 갖는다. 즉, 모델에서 동작을 완료했으며 적어도 하나의 반복 구조를 식별했음을 검출 수단 DM1이 제어 수단 CM에게 신호해주면, 제어 수단 CM은 샘플링 스텝 사이즈를 감소시키도록 샘플링 스텝 사이즈 감소 수단 SRM을 제어한다. 또한, 제어 수단 CM은, 감소된 샘플링 스텝 사이즈를 사용하여, 검출된 반복 구조의 각각의 검출된 대표 및 모델의 나머지 부분들에 대해 동작을 반복하기 위해 샘플링 수단 SM, 검출 수단 DM1 및 결정 수단 DM2를 제어한다.

샘플링 스텝 사이즈는 처음에는 선정된 값 isss이며, 소정의 팩터 f에 의해 연속하여 감소된다. 일 실시예에서, 이 팩터는 일정한 정수이다. 일 실시예에서, 팩터는 "2" 이다. 즉, 제1 되풀이에서, 샘플링 스텝 사이즈는 선정된 값 isss이지만, 제2 되풀이에서는 isss/2가 될 것이고, 제3 되풀이에서는 isss/4가 되는 등등이다. 제2 및 다른 되풀이들은 오직 반복 구조의 대표들 및 나머지들에 대해서만 실행됨을 주지하라.

검출 수단 DM1이 더 이상 반복 구조를 검출하지 않으면, 또는 선정된 최소 샘플링 스텝 사이즈 smin 또는 타임 아웃에 도달되면, 반복 구조들을 검출하기 위한 디바이스는 정지한다. 이를 위해, 디바이스는, 일 실시예에서, 타임 아웃 측정 유닛 TMU, 및 일 실시예에서, 샘플링 스텝 사이즈 비교 유닛 CMP를 포함한다.

일 실시예에서, 검출된 멀티-스케일 반복 구조는 메모리 디바이스에 트리 구조로서 기록된다.

도 5는 검출 수단 DM1의 일 실시예의 세부 사항들을 도시한다. 각각의 현재 샘플링 스텝 사이즈에 기초하여, 각각의 샘플링 포인트에 대해 곡률 기술자를 계산하기 위한 곡률 계산 수단 CUCM을 포함한다. 곡률 기술자들은 상술되었다. 샘플링 포인트 클러스터링 수단 SPCM은 곡률 기술자에 따라 샘플링 포인트들을 클러스터링하며, 하나 이상의 샘플링 포인트 클러스터들이 제공된다. 변환 계산 수단 TCAM이 공통 샘플링 포인트 클러스터에 속하는 샘플링 포인트들의 쌍들 간의 변환들을 계산하는데 사용되고, 변환 클러스터링 수단 TCLM이 계산된 변환들을 클러스터링하는데 사용된다. 이는 변환 공간에서 실행되고, 하나 이상의 변환 클러스터들 tc가 제공되게 한다. 마지막으로, 검출 수단 DM1은, 변환 공간의 하나 이상의 변환 클러스터들 각각에 따라, 반복 구조 rs를 결정하기 위한 반복 구조 결정 수단 RSDM을 포함하며, 변환이 변환 공간의 공통 클러스터에 속하는 샘플링 포인트들의 쌍들이 반복 구조의 2개의 인스턴스들로서 정의된다. 반복 구조 rs는 상술된 결정 수단 DM2에 제공되고, 결정 수단 DM2는 반복 구조에 대한 대표 rep를 결정(즉, 식별)한다. 이는 임의의 임의적인 방식으로 발생할 수 있다. 예를 들어, 반복 구조의 처음 결정된 인스턴스가 대표로서 선택되고, 모든 다른 인스턴스들은 반복들로서 선택된다. 반복 구조 결정 수단 RSDM은, 후술되는 바와 같이, 전체 모델을 정의하는 제1 데이터 rsrd, 및 적어도 하나의 반복 구조가 발견되었는 지의 여부를 나타내는 제2 데이터 rsd를 출력한다. 후자 데이터 rsd는 제어 블록 CM에 제공되며, 제어 블록 CM은 다른 되풀이를 개시하기로 결정할 수 있다.

도 6은 일례의 3D 메시 모델의 반복 구조들 및 나머지 데이터 부분들을 정의하는 데이터의 일례를 도시한다. 여기서, 이는 일 실시예의 기본 원리를 설명하기 위한 간소화된 일례임이 주목된다.

도 6은 여러번 사용되는 하나의 반복 구조 및 반복 구조가 없는 나머지를 포함하는 3D 메시 모델을 도시한다. 본 일례에서, 반복 구조는 삼각형이고 나머지 rm은 원이다. 도 6에 또한 도시된 바와 같이, 상술된 데이터 rsrd는 각각의 반복의 위치, 스케일 등을 정의하기 위해 반복 구조의 대표 rr의 샘플링 데이터 rrd1, 및 그 개별 반복들을 나타내는 반복 데이터 r1, r2, ... 및 그 각각의 변환들 tr1(rrd1), tr2(rrd1), ...을 포함한다. 또한, 데이터 rsrd는 나머지를 정의하는 샘플링 데이터 rmd1을 포함한다. 본 일례에서, 나머지는 오직 하나의 싱글 구조이지만, 2개의 또는 그 이상의 개별 서브-구조들이 있을 수 있다.

도 7은 포인트 쌍의 포인트들 간의 변환을 도시한다. (p_i, p_j)는 C_k의 포인트 쌍이고, T_{i ,j}는 그들 간의 변환이다. p'_i는 p_i의 원 링 이웃이다. p'_i를 T_{i ,j}에 의해 변환하여 p'_j를 획득할 수 있다. 즉: 변환 후의 p'_i가 실제 (예를 들어, 임계 원 내에서) p'_j와 가까우면, 변환 T_{i ,j}는 좋은 후보이다. 변환 T_{i ,j}가 수개의 포인트들에 대해 좋은 후보이면, 대칭을 결정하는데 사용된다.

3D 모델들에서 반복 구조들을 발견하는 것은 도전적인 과업이지만, 결과는 다수의 양상들에서 매우 유용하다. 기술된 방법 및 디바이스는, 예를 들어, 3D 모델 압축, 3D 모델 수선, 기하학적 합성 등에 사용될 수 있다.

반복 구조들을 검출한 결과에 기초하여, 3D 모델의 간결한 대표가 생성될 수 있다. 이 대표는:

- 반복 구조들의 수를 나타내기 위한 약간의 비트들;

- 반복 구조들의 각각의 대표들에 대해, 압축된 기하학적 패턴을 나타내기 위한 약간의 비트들;

- 반복 구조들의 인스턴스들의 수를 나타내기 위한 약간의 비트들;

- 각각의 인스턴스에 대해, 그것의 변환을 나타내기 위한 약간의 비트들 및 대표 ID를 나타내기 위한 약간의 비트들

을 포함할 것이다.

본 발명은 반복 구조 검출을 위한 공지된 알고리즘에 비해 적어도 이하의 장점들을 갖는다. 먼저, 모든 타입들의 모델들에 대해, 모든 샘플링 포인트들이 먼저 곡률에 따라 클러스터링된 후, 샘플링 포인트들의 각각의 클러스터가 개별적으로 처리됨에 따라, 반복 구조들이 더 신속하게 검출될 수 있다.

둘째로, 본 발명은 모델에서 모든 반복 구조들을 검출하기에 적합한 반면, 공지된 방법들은 그러하지 않다. 예를 들어, 소규모 구조들을 포함하는 모델들을 처리할 때, 공지된 방법들은 모든 반복 구조들을 검출하기 위해 다수의 샘플링 포인트들을 필요로 하며, 예를 들어, 샘플링 포인트들의 수가 너무 클 때 클러스터링은 실패한다.

셋째로, 멀티-스케일 반복 구조들을 갖는 모델들의 경우, 본 발명은 감소하는 샘플링 스텝을 사용하여 반복 구조들을 반복해서 검출하기 때문에, 모든 레벨들의 반복 구조들을 검출할 수 있지만, 현재의 방법들은 그러할 수 없다.

양호한 실시예들에 적용된 바와 같이 본 발명의 기본적인 신규한 특징들이 도시, 기술, 및 언급되었지만, 기술된 장치 및 방법의 각종 생략들 및 대체들 및 변경들이, 기술된 디바이스들의 형태 및 세부 사항들에서, 또한 그 동작에서, 본 발명의 취지로부터 벗어나지 않은 채로 당업자에 의해 달성될 수 있음을 알 것이다. 동일한 결과들을 달성하기 위해 실질적으로 동일한 방법으로 실질적으로 동일한 기능을 실행하는 요소들의 모든 결합들은 본 발명의 범위 내에 있음이 분명히 의도된다. 한 기술된 실시예로부터 다른 실시예로의 요소들의 대체들도 또한 완전히 의도 및 숙고된다.

본 발명이 순수하게 일례로서 기술되었으며, 세부 사항의 수정들이 본 발명의 범위로부터 벗어나지 않은 채로 달성될 수 있음을 알 것이다. 설명 및 (적합한 경우에) 청구항들 및 도면들에 기술된 각각의 특징은 독립적으로 또는 임의의 적합한 결합으로 제공될 수 있다. 특징들은, 적합한 경우에, 하드웨어, 소프트웨어, 또는 그 둘의 조합으로 구현될 수 있다. 청구항들에 나타나는 참조 부호들은 오직 일례이며 청구항들의 범위에 제한적인 영향을 주지 않는다.

주

¹ "Partial and Approximate Symmetry Detection for 3D Geometry", 2006 by N.Mitra, L.Guibas, M.Pauly, ACM Trans. Gr. 25, 3, 560.568

² "Discovering Structural Regularity in 3D Geometry",

M.Pauly, N.Mitra, J.Wallner, H.Pottmann, L.Guibas, 2008, ACM Trans. Gr. 27, 3

³ "Discrete differential geometry operators for triangulated 2-manifolds", Meyer M, Desbrun M, Schroder P, Barr A, in: Visualization and Mathematics, Berlin, 2002, 52-58

⁴ "Mean shift: A robust approach toward feature space analysis", Comaniciu D., Meer P.; 2002 IEEE Trans. PAMI 24, 5, 603-619

⁵ "Efficient variants of the ICP algorithm", RUSINKIEWICZ, S. and LEVOY, M., 2001, in 3DIM, 145-152

Claims (16)

1. 3D 메시 모델들에서 반복 구조들을 검출하기 위한 방법으로서,
   - 현재 샘플링 스텝 사이즈를 사용하여 상기 3D 메시 모델을 샘플링하는 단계;
   - 상기 3D 메시 모델 내에서 하나 이상의 반복 구조들 및 상기 모델의 나머지 부분들을 검출하는 단계, 및 상기 하나 이상의 반복 구조들 각각에 대한 대표를 결정하는 단계;
   - 상기 검출하는 단계가 상기 현재 샘플링 스텝 사이즈를 사용하여 하나 이상의 반복 구조들을 산출하는 동안,
   감소된 샘플링 스텝 사이즈를 획득하기 위해 상기 현재 샘플링 스텝 사이즈를 감소시키는 단계, 및
   검출된 반복 구조의 각각의 검출된 대표 및 상기 모델의 나머지 부분들에 대해 상기 샘플링하는 단계 및 상기 검출하는 단계를 반복하는 단계
   를 포함하고,
   상기 감소된 샘플링 스텝 사이즈는 상기 현재 샘플링 스텝 사이즈로서 사용되는 방법.
2. 제1항에 있어서,
   각각의 검출하는 단계는
   각각의 현재 샘플링 스텝 사이즈에 기초하여, 각각의 샘플링 포인트에 대한 곡률 기술자(curvature descriptor)를 계산하는 단계;
   샘플링 포인트들을 그 곡률 기술자에 따라 클러스터링하는 단계 - 하나 이상의 샘플링 포인트 클러스터들이 획득됨 -;
   공통 샘플링 포인트 클러스터에 속하는 샘플링 포인트들의 쌍들 간의 변환을 계산하는 단계;
   변환 공간에서 상기 계산된 변환들을 클러스터링하는 단계 - 하나 이상의 변환 클러스터들이 획득됨 -; 및
   상기 변환 공간의 상기 하나 이상의 변환 클러스터들 각각에 따라, 반복 구조 및 그 대표를 결정하는 단계
   를 포함하고,
   변환이 변환 공간의 공통 클러스터에 속하는 샘플링 포인트들의 쌍들은 반복 구조의 2개의 인스턴스들로서 정의되는 방법.
3. 제1항 또는 제2항에 있어서,
   상기 곡률 기술자는 평균 곡률 H(v_i), 가우스 곡률들 K(v_i) 및 주곡률(principal curvature)들을 포함하는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   상기 클러스터링하는 단계는 평균 시프트 알고리즘을 사용하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 변환을 계산하는 단계는 다수의 가능한 변환들을 갖는 변환 공간을 계산하는 단계를 포함하는 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 3D 모델을 인코딩하는 단계를 더 포함하고, 상기 반복 구조에 대한 기준 모델은 오직 한 번만 인코딩되며, 상기 반복 구조의 인스턴스들은 상기 인코딩된 기준 모델을 참조해서 인코딩되는 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 방법은 상기 검출하는 단계가 더 이상 반복 구조를 산출하지 않으면 종료되는 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   상기 방법은 최소 샘플링 스텝 사이즈에 도달하면 종료되는 방법.
9. 제8항에 있어서,
   상기 최소 샘플링 스텝 사이즈를 계산하는 초기 단계를 더 포함하고, 상기 최소 샘플링 스텝 사이즈는 상기 3D 메시 모델의 파라미터들로부터 계산되는 방법.
10. 제9항에 있어서,
    상기 3D 메시 모델 주변의 경계 상자(bounding box)가 구성되고, 상기 경계 상자의 대각선의 길이가 계산되며, 상기 최소 샘플링 스텝 사이즈가 상기 대각선 길이의 분율(fraction)로서 설정되는 방법.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    프로세스 실행 시간을 측정하는 단계를 더 포함하고, 상기 방법은 상기 프로세스 실행 시간이 미리 정의된 타임 아웃 값에 도달하면 종료되는 방법.
12. 3D 메시 모델들에서 반복 구조들을 검출하기 위한 디바이스로서,
    - 현재 샘플링 스텝 사이즈(sss)를 사용하여 3D 메시 모델을 샘플링하기 위한 샘플링 수단(SM);
    - 상기 3D 메시 모델 내에서 하나 이상의 반복 구조들(rs) 및 상기 모델의 나머지 부분들을 검출하기 위한 검출 수단(DM1);
    - 상기 하나 이상의 반복 구조들 각각에 대한 대표(rep)를 결정하기 위한 결정 수단(DM2);
    - 감소된 샘플링 스텝 사이즈를 획득하기 위해 상기 현재 샘플링 스텝 사이즈를 감소시키기 위한 감소 수단(SRM); 및
    - 상기 검출 수단(DM1)이 상기 현재 샘플링 스텝 사이즈(sss)에 기초하여 하나 이상의 반복 구조들을 검출하는 동안, 검출된 반복 구조의 각각의 검출된 대표 및 상기 모델의 상기 나머지 부분들에 대해 상기 감소 수단(SRM), 상기 샘플링 수단(SM), 상기 검출 수단(DM1) 및 상기 결정 수단(DM2)의 반복된 동작을 제어하기 위한 제어 수단(CM) - 상기 감소된 샘플링 스텝 사이즈는 상기 현재 샘플링 스텝 사이즈(sss)로서 사용됨 -
    을 포함하는 디바이스.
13. 제12항에 있어서,
    상기 검출 수단(DM1)은
    각각의 현재 샘플링 스텝 사이즈에 기초하여, 각각의 샘플링 포인트에 대한 곡률 기술자를 계산하기 위한 곡률 계산 수단(CUCM);
    샘플링 포인트들을 그 곡률 기술자에 따라 클러스터링하기 위한 샘플링 포인트 클러스터링 수단(SPCM) - 하나 이상의 샘플링 포인트 클러스터들이 제공됨 -;
    공통 샘플링 포인트 클러스터에 속하는 샘플링 포인트들의 쌍들 간의 변환들을 계산하기 위한 변환 계산 수단(TCAM);
    상기 계산된 변환들을 변환 공간에서 클러스터링하기 위한 변환 클러스터링 수단(TCLM) - 하나 이상의 변환 클러스터들(tc)이 제공됨 -; 및
    상기 변환 공간의 상기 하나 이상의 변환 클러스터들 각각에 따라, 대표의 반복 구조(rs)를 결정하기 위한 반복 구조 결정 수단(RSDM)
    을 포함하고,
    변환이 변환 공간의 공통 클러스터에 속하는 샘플링 포인트들의 쌍들은 반복 구조의 2개의 인스턴스들로서 정의되는 디바이스.
14. 제12항 또는 제13항에 있어서,
    상기 3D 모델을 인코딩하기 위한 인코더(E)를 더 포함하고, 상기 반복 구조에 대한 기준 모델은 오직 한 번만 인코딩되며, 상기 반복 구조의 인스턴스들은 상기 인코딩된 기준 모델을 참조해서 인코딩되는 디바이스.
15. 제12항 내지 제14항 중 어느 한 항에 있어서,
    상기 감소된 샘플링 스텝 사이즈를 미리 정의된 최소 샘플링 스텝 사이즈와 비교하기 위한 비교 수단(CMP)을 더 포함하고, 상기 제어 수단(CM)은 미리 정의된 최소 샘플링 스텝 사이즈에 도달하면 상기 디바이스의 동작을 종료하는 디바이스.
16. 제12항 내지 제15항 중 어느 한 항에 있어서,
    프로세스 실행 시간을 측정하기 위한 시간 측정 유닛(TMU)을 더 포함하고, 상기 방법은 상기 프로세스 실행 시간이 미리 정의된 타임 아웃 값에 도달하면 종료되는 디바이스.

Images