KR102216823B1 - 점을 갖는 입력 점군을 처리하는 시스템 및 방법 - Google Patents

Abstract

기계의 동작을 나타내는 시계열 데이터 내의 패턴을 구하는 시스템 및 방법. 기계의 센서에 의해 생성되는 트레이닝 데이터 예의 집합을 기억 및 제공하는 메모리, 각 트레이닝 데이터 예는 기계의 고장으로 종료된 기간 동안의 기계의 동작을 나타낸다. 각 트레이닝 데이터 예를 정상 영역 및 이상 영역으로 반복하여 분할하고, 정상 영역에 존재하지 않고 각 이상 영역에 1번만 존재하는 예측 패턴을 구하고, 이상 영역의 길이를 구하도록 구성된 프로세서. 예측 패턴을 프로세서와 통신하는 출력 인터페이스를 통해서 출력하는 것 또는 예측 패턴을 메모리에 기억하는 것, 예측 패턴은 임박한 고장의 예측 추정치이고 기계의 관리를 지원한다.

Description

점을 갖는 입력 점군을 처리하는 시스템 및 방법

본 개시는 포괄적으로는 점군의 간략화에 관한 것이고, 특히, 편성되는 점군 또는 편성되지 않는 점군을 간략화하는 것에 관한 것이다.

3D 센싱 기술의 최근의 개발에 따라, 3D 점군은 많은 용도에 있어서 데이터 점을 나타내는 실용적인 포맷이 되었다. 센싱 디바이스는 물체의 표면의 다수의 점을 측정하고, 점군은 측정된 점의 집합을 나타낸다. 점군은 통상 어떤 좌표계에 있어서의 다수의 데이터 점을 정하는 대량 데이터 세트를 포함한다. 예컨대, 물리 물체의 레이저 스캔은 통상 3D 공간을 나타내는 직교 좌표(예컨대, x, y, z)를 이용한 3-튜플(tuple)에 의해 각각 지정되는 수백만 개의 데이터 점을 포함하는 데이터 세트를 생성할 것이다.

그러한 대규모 점군 데이터 세트의 처리, 해석 및 보고는 곤란할 수 있다. 특히, 점군 데이터 세트의 사이즈는 이 데이터를 이용할 필요가 있는 시스템의 설계 능력 및 동작 능력을 넘는 경우가 종종 있다. 그 결과, 소비 시스템에 적합한 레벨로 데이터의 양을 삭감하기 위해서 점군 데이터 세트의 사이즈를 삭감하는 방법은 중요한 사전 처리 스텝이다. 간략화 또는 삭감된 점군 데이터는 그 후 보다 효율적으로 처리될 수 있다.

점군 데이터를 간략화하는 다수의 관련 기술 수법이 있다. 그렇지만, 이들 관련 기술 수법은 물체의 중요한 특징 및/또는 데이터에 의해 나타내어지는 표면 등의 데이터를 잃는 큰 리스크를 수반하거나(예컨대, 서브샘플링 솎아내기(sub-sampling decimation), 균일한 공간 클러스터링) 또는 실시하는 것이 복잡하고, 따라서 계산적으로 보다 많은 비용을 필요로 하고, 보다 많은 처리 시간을 필요로 한다.

따라서, 이 기술 분야에서는 대량의 데이터로부터 기계 고장을 검출 및/또는 예측하는 개선된 방법에 대한 필요성이 존재한다.

본 개시의 실시의 형태는, 점군을 리샘플링(resampling)하여 중요한 점(key point)의 부분 집합을 보존함으로써, 편성되는 점군 또는 편성되지 않는 점군을 간략화하는 것을 대상으로 한다. 이 수법은 당초의 점의 위치를 변경하지 않고서 점의 수를 삭감한다.

본 개시의 실시의 형태는 모든 애플리케이션에 적합한 포맷으로 점군이 나타내어질 필요가 없다고 하는 인식에 근거한다. 구체적으로, 점군은 특정한 애플리케이션 또는 상이한 애플리케이션에 맞는 포맷으로 나타내어질 수 있어서, 점군은 상이한 포맷/표현으로 리포맷(reformat)될 수 있다. 점군을 상이한 포맷/표현으로 리포맷함으로써, 특정한 애플리케이션에 필요한 점만을 보존하도록 점군이 리포맷 또는 프루닝(pruning)될 수 있다. 적어도 하나의 목표는 특정한 기본이 되는 애플리케이션에 따라 선택된 정보를 보존하는, 애플리케이션에 따른 리샘플링 전략을 설계하는 것이다. 예컨대, 점군 내의 윤곽 검출의 작업에서는, 이것은 통상 면법선(surface normal)의 계산 및 점의 분류 등의 신중하고 집약적인 계산을 필요로 한다. 전체의 점군을 다루는 대신, 필요한 윤곽 정보에 민감한 점의 작은 부분 집합을 리샘플링하는 것이 보다 효율적이고, 검출 성능을 잃지 않고서 그 후의 계산을 훨씬 저렴하게 한다. 다른 예는 시각화 애플리케이션 및/또는 물체 모델링 애플리케이션을 포함할 수 있고, 특정한 물체(다른 것은 아니다)의 윤곽 및 어떤 텍스처를 보존할 수 있다.

우리는 모든 목적에 적합한 하나의 버전의 점군이 아닌, 특정한 목적으로 프루닝된 복수의 버전의 점군을 기억하는 것이 보다 효율적인 것을 인식하였다. 이것은 프루닝된 상이한 점군이 동일한 점을 공유할 때에도 해당될 수 있다. 예컨대, 당초의 점군 내의 100,000개의 점이 60,000개의 점으로 바뀌거나, 또는 각각 5,000개의 점으로 이루어지는 5개의 상이한 프루닝된 점 그룹으로 프루닝될 수 있다. 따라서, 상이한 애플리케이션마다 점군을 프루닝하여 상이한 프루닝된 점을 생성하고, 대응하는 프루닝된 점을 이용하여 특정한 애플리케이션을 실행함으로써, 프루닝은 중요한 점에 고유한 애플리케이션의 부분 집합을 보존할 수 있다. 다른 이점은, 점군 전체를 이용하여 애플리케이션을 계산적으로 실행하는 것을 시도할 때와 비교하여, 계산의 복잡함 및 시간을 삭감하는 것을 포함할 수 있고, 특정한 애플리케이션을 실행하기 위한 전체적인 비용을 삭감할 수 있다.

본 개시는 신호와 그래프 구조(들)의 사이의 상호작용에 대한 체계인, 그래프 신호 처리에 기인하는 점의 부분 집합을 선택하는 기법을 개시한다. 우리는 그래프를 이용하여, 물체의 표면의 이산 버전을 나타내는, 점의 사이의 국소 의존관계를 포착한다. 그래프를 이용하는 것의 적어도 하나의 이점은 점군의 국소 구조 및 광역 구조의 양쪽을 포착하는 것이다. 본 개시의 체계에 따르면, 각 점에 관련된 3D 좌표 및 다른 속성은 기본이 되는 그래프의 노드에 의해 인덱싱된 그래프 신호이다. 따라서, 리샘플링 문제를 그래프 신호의 샘플링으로서 공식화할 수 있게 된다. 그렇지만, 그래프 샘플링 기법은 통상적으로, 샘플을 연속하여 취득하고 고가의 계산을 필요로 하는 비철(nonconvex) 최적화 문제를 푸는, 결정론적인 수법으로 샘플을 선택한다. 계산 비용에 영향을 미치기 위해, 본 개시는 효율적인 랜덤화된 리샘플링 전략을 이용하여 입력 점군으로부터 중요한 점의 부분 집합을 선택한다. 주요한 아이디어는 고속이고 또한 당초의 입력 점군 내의 정보를 보존하는데 현저하게 유용한 어떤 샘플링 분포에 따라 서브샘플을 생성하는 것이다.

다시 말해서, 본 개시는 특징 추출 기반의 리샘플링 체계를 검토한다. 즉, 리샘플링된 점은 특정한 애플리케이션의 특정한 요구에 따라 선택된 정보를 보존한다. 그렇다면, 일반적인 특징 추출 연산자에 근거하여, 재구축 오차를 이용함으로써 리샘플링의 질을 정량화할 수 있고, 정확한 형태를 도출할 수 있다. 최적의 샘플링 분포는 예상되는 재구축 오차를 최적화함으로써 획득될 수 있다. 본 개시는 시프트 불변 및 회전 불변이 보증되는 최적의 샘플링 분포를 제공한다. 이것은 그래프 필터이고 또한 올 패스 그래프 필터링, 로우 패스 그래프 필터링 및 하이 패스 그래프 필터링에 근거한 리샘플링 전략을 고려한 특징 추출 연산자를 제공한다. 각 경우, 최적의 샘플링 분포를 도출하고, 모의 데이터 및 실제 데이터의 양쪽에 대한 성능을 확인할 수 있다.

이 인식을 설명하는 다른 방법 또는 프루닝이 어떻게 실시될 수 있는지를 보다 잘 이해하는 다른 방법으로서, 본 개시는 그래프의 구조에 따라 각 노드를 그 이웃 노드의 값에 근거하여 스코어링(scoring)함으로써 그래프 상의 각 노드를 이용한다. 각 상이한 애플리케이션이 그들 자신의 스코어링 함수 또는 다수의 스코어링 함수를 가질 수 있도록, 스코어링 함수(들)는 특정한 애플리케이션에 근거하여 선택될 수 있다. 예컨대, 윤곽 결정의 경우, 스코어링 함수는 이웃 노드의 함수로서의 노드의 표현에 있어서의 오차일 수 있다. 다른 예는 노드의 상이한 속성을 고려할 수 있는 상이한 스코어링 함수일 수 있다. 우리는 스코어링이, 동일한 "스코어" 값을 갖는 점을 다루기 위해 "랜덤" 리샘플링과 함께 이용될 수 있는, 노드의 확률을 결정할 수 있는 것을 인식하였다.

입력 점군의 리샘플링 또는 처리의 해를 구할 때에, 적어도 하나의 시스템은 우선 입력 점군에 액세스하는 것으로부터 개시한다. 입력 점군은 점을 포함하고, 각 점은 2차원(2D) 좌표 및 3차원(3D) 좌표 및 다른 속성을 포함하는 속성의 집합을 포함한다. 다음의 스텝은, 그래프 내의 노드를 나타내는 입력 점군 내의 각 점에 근거하여, 입력 점군을 나타내는 그래프를 구축하고(즉, 그래프 정점 및 그래프 에지를 구성하고), 그래프 내의 2개의 이웃 노드를 접속하여 그래프 에지를 얻는 것이다.

다음으로, 구축된 그래프에 근거하여 그래프 필터링 함수를 구한다. 즉, 입력 점군 내의 어떤 정보를 촉진 또는 유지하는 어떤 기준에 따라 그래프 연산자를 구한다. 입력 점군으로부터의 속성의 집합도 특정한 애플리케이션 요건에 따라 선택될 수 있고, 예컨대, 기하학적 정보 및/또는 텍스처 구조를 유지할 수 있다.

다음으로, 점의 속성의 부분 집합을 선택하고, 선택된 속성의 부분 집합에 대하여 그래프 필터링 함수를 적용함으로써, 입력 점군 내의 각 점을 필터링하여, 입력 점군 내의 각 점의 적어도 하나의 값을 구한다. 입력 점군 내의 각 점의 적어도 하나의 값을 이용하여, 각 점의 확률을, 입력 점군 내의 점의 모든 값의 총합과 비교한 당해 점의 적어도 하나의 값 및 출력 점군 내의 점의 미리 결정된 수에 근거하여 생성한다. 다시 말해서, 중요도 스코어는 선택된 그래프 연산자를 이용하여 점군 내의 각 점에 대하여 계산될 수 있다. 그러한 중요도 스코어에 근거하여, 각 점의 확률이 생성된다.

마지막으로, 각 점의 확률의 랜덤 평가를 이용하여 입력 점군을 샘플링하여, 입력 점군 내의 점의 부분 집합을 획득하며, 점의 부분 집합은 출력 점군이다. 이것은 점의 부분 집합이 확률에 근거하여 구해지는 것을 의미하고, 점의 예상되는 총수가 추가적인 사용을 위해 출력될 수 있다. 예컨대, 출력 점군은 메모리에 기억되거나 또는 프로세서와 통신하는 출력 인터페이스를 통해서 출력될 수 있다. 입력 점군은 선택된 출력 점군, 즉, 시스템으로부터의 중요한 점의 선택된 부분 집합과 비교할 때, 나중에 보다 효율적으로 처리될 수 있는 것에 유의하라.

예컨대, 대규모 시각화의 하나의 실시의 형태에서는, 하이 패스 그래프 필터링 기반의 리샘플링을 이용하면 시인자(viewer)가 도시 환경의 점군 내의 중요한 세부를 포착하는 것이 보다 용이할 수 있다. 대규모 시각화의 하나의 실시의 형태에 대하여, 우리는 제안된 하이 패스 그래프 필터링 기반의 리샘플링 전략을 이용하여 시가 신(urban scene)에 있어서의 건물 및 도로의 윤곽을 강조 표시하도록 점의 작은 부분 집합을 선택할 수 있다.

다른 예에서는, 본 개시는, 제안된 로우 패스 그래프 필터링 기반의 리샘플링 전략을 이용하여 점의 작은 부분 집합을 선택하면 물체 모델 파라미터를 특정하는 것이 보다 효율적이고 정확할 수 있는, 로버스트(robust)한 형상 모델링의 다른 실시의 형태를 가질 수 있다. 그러한 모델링은 잡음 또는 이상치(outlier)가 존재하는 점군에 있어서 표면을 찾아내는 것을 수반할 수 있고, 본 개시는 문제(들)를 풀기 위해 이용될 수 있다.

본 개시의 실시의 형태에 따르면, 점을 갖는 입력 점군을 처리하는 시스템이 제공되며, 각 점은 2차원(2D) 좌표 및 3차원(3D) 좌표 및 다른 속성을 포함하는 속성의 집합을 포함한다. 그 시스템은 신(scene)을 센싱하고, 컴퓨터 판독 가능 메모리와 통신하여 상기 입력 점군을 생성하는 센서를 포함한다. 그 시스템은 출력 인터페이스를 포함한다. 컴퓨터 판독 가능 메모리와 통신하는 프로세서를 포함하고, 상기 프로세서는 상기 입력 점군에 액세스하고, 상기 입력 점군을 나타내는 그래프를, 그 그래프에 있어서의 노드를 나타내는 상기 입력 점군 내의 각 점에 근거하여 구축하고, 상기 그래프에 있어서의 2개의 이웃 노드를 특정하고 접속하여 그래프 에지를 얻도록 구성된다. 상기 구축된 그래프에 근거하여 그래프 필터링 함수를 구한다. 상기 점의 속성의 부분 집합을 선택하고 상기 선택된 속성의 부분 집합에 대하여 상기 그래프 필터링 함수를 적용함으로써 상기 입력 점군 내의 각 점을 필터링하여, 상기 입력 점군 내의 각 점의 적어도 하나의 값을 구한다. 각 점의 확률을, 상기 입력 점군 내의 상기 점의 모든 값의 합계와 비교한 그 점의 상기 적어도 하나의 값과, 출력 점군 내의 점의 미리 결정된 수에 근거하여, 생성한다. 각 점의 상기 확률의 랜덤 평가를 이용하여 상기 입력 점군을 샘플링하여, 상기 입력 점군 내의 점의 부분 집합을 얻으며, 상기 점의 부분 집합은 상기 출력 점군이다. 마지막으로, 상기 출력 점군을 상기 컴퓨터 판독 가능 메모리에 기억하거나 또는 상기 프로세서와 통신하는 상기 출력 인터페이스를 통해서 상기 출력 점군을 출력하며, 상기 출력 점군은 그 후의 처리를 지원하기 위해 이용되고 상기 입력 클라우드 데이터의 관리를 지원한다.

본 개시의 다른 실시의 형태에 따르면, 점을 갖는 입력 점군을 처리하는 방법이 제공되며, 각 점은 2차원(2D) 좌표 및 3차원(3D) 좌표 및 다른 속성을 포함하는 속성의 집합을 포함한다. 그 방법은 센서를 통해서 신을 센싱하는 것을 포함하고, 상기 센서는 컴퓨터 판독 가능 메모리와 통신하여 상기 입력 점군을 생성한다. 상기 컴퓨터 판독 가능 메모리와 통신하는 프로세서를 이용하고, 상기 프로세서는 상기 입력 점군에 액세스하고, 상기 입력 점군을 나타내는 그래프를, 그 그래프에 있어서의 노드를 나타내는 상기 입력 점군 내의 각 점에 근거하여 구축하고, 상기 그래프에 있어서의 2개의 이웃 노드를 특정하고 접속하여 그래프 에지를 얻도록 구성된다. 상기 구축된 그래프에 근거하여 그래프 필터링 함수를 구한다. 상기 점의 속성의 부분 집합을 선택하고 상기 선택된 속성의 부분 집합에 대하여 상기 그래프 필터링 함수를 적용함으로써 상기 입력 점군 내의 각 점을 필터링하여, 상기 입력 점군 내의 각 점의 적어도 하나의 값을 구한다. 각 점의 확률을, 상기 입력 점군 내의 상기 점의 모든 값의 합계와 비교한 그 점의 상기 적어도 하나의 값과, 출력 점군 내의 점의 미리 결정된 수에 근거하여, 생성한다. 각 점의 상기 확률의 랜덤 평가를 이용하여 상기 입력 점군을 샘플링하여, 상기 입력 점군 내의 점의 부분 집합을 얻으며, 상기 점의 부분 집합은 상기 출력 점군이다. 마지막으로, 상기 출력 점군을 상기 컴퓨터 판독 가능 메모리에 기억하거나 또는 상기 프로세서와 통신하는 상기 출력 인터페이스를 통해서 상기 출력 점군을 출력하며, 상기 출력 점군은 그 후의 처리를 지원하기 위해 이용되고 상기 입력 클라우드 데이터의 관리를 지원한다.

본 개시의 다른 실시의 형태에 따르면, 방법을 실행하는 컴퓨터에 의해 실행 가능한 프로그램을 구체화한 비 일시적 컴퓨터 판독 가능 기억 매체가 제공된다. 상기 방법은 점을 갖는 기억된 입력 점군을 처리하기 위한 것이고, 각 점은 2차원(2D) 좌표 및 3차원(3D) 좌표 및 다른 속성을 포함하는 속성의 집합을 포함한다. 상기 방법은 센서를 통해서 신을 센싱하는 것을 포함하고, 상기 센서는 그 비 일시적 컴퓨터 판독 가능 기억 매체와 통신하여 상기 입력 점군을 생성한다. 상기 입력 점군을 나타내는 그래프를, 그 그래프에 있어서의 노드를 나타내는 상기 입력 점군 내의 각 점에 근거하여 구축하고, 상기 그래프에 있어서의 2개의 이웃 노드를 특정하고 접속하여 그래프 에지를 얻는다. 상기 구축된 그래프에 근거하여 그래프 필터링 함수를 구한다. 상기 점의 속성의 부분 집합을 선택하고 상기 선택된 속성의 부분 집합에 대하여 상기 그래프 필터링 함수를 적용함으로써 상기 입력 점군 내의 각 점을 필터링하여, 상기 입력 점군 내의 각 점의 적어도 하나의 값을 구한다. 각 점의 확률을, 상기 입력 점군 내의 상기 점의 모든 값의 합계와 비교한 그 점의 상기 적어도 하나의 값과, 출력 점군 내의 점의 미리 결정된 수에 근거하여, 생성한다. 각 점의 상기 확률의 랜덤 평가를 이용하여 상기 입력 점군을 샘플링하여, 상기 입력 점군 내의 점의 부분 집합을 얻으며, 상기 점의 부분 집합은 상기 출력 점군이다. 마지막으로, 상기 출력 점군을 상기 비 일시적 컴퓨터 판독 가능 기억 매체에 기억하거나 또는 상기 컴퓨터와 통신하는 출력 인터페이스를 통해서 상기 출력 점군을 출력하며, 상기 출력 점군은 그 후의 처리를 지원하기 위해 이용되고 상기 입력 클라우드 데이터의 관리를 지원한다.

현재 개시된 실시의 형태는 첨부된 도면을 참조하여 더 설명될 것이다. 나타낸 도면은 반드시 축척된 것은 아니고, 대신에 일반적으로 현재 개시된 실시의 형태의 원리를 설명할 때 강조된다.

도 1은 본 개시의 실시의 형태에 따른, 점을 갖는 입력 점군을 리샘플링 또는 처리하는 시스템을 나타내는 블록도이다.
도 2는 본 개시의 실시의 형태에 따른, 입력 점군을 리샘플링 또는 처리하고 출력 점군을 리샘플링하여 생성하는 도 1A의 시스템을 나타내는 블록도이다.
도 3A는 본 개시의 실시의 형태에 따른, 국소 변동이 그래프 연산자에 의해 어떻게 포착될 수 있는지를 나타내는 그래프, 즉, 점 2가 점 1 및 점 3의 볼록 결합(convex combination)이고, 따라서 점 2의 국소 변동이 0인 것을 나타내는 그래프이다.
도 3B는 본 개시의 실시의 형태에 따른, 국소 변동이 그래프 연산자에 의해 어떻게 포착될 수 있는지를 개략적으로 나타내는 것이고, 즉, 모든 노드가 원주 상에 균일하게 확산되고 점 4로부터 점선에 연장되는 선으로서 나타내어지는 동일한 양의 개변(innovation)을 갖는 것을 개략적으로 나타낸다.
도 4는 본 개시의 실시의 형태에 따른, 페어방식 차이(pairwise difference) 기반의 국소 변동이, 2개의 면만이 나타내어지는 입방체 상의 점을 갖는 예에 대하여 어떻게 실패하는지를 개략적으로 나타내는 것이다.
도 5는 본 개시의 실시의 형태에 따른, 제안된 국소 변동 측정이 페어방식 차이 기반의 방법을 어떻게 능가하는지를 개략적으로 나타내는 것이다.
도 6은 본 개시의 실시의 형태에 따른, 하이 패스 그래프 필터링 기반의 리샘플링이 기하학적 윤곽 및 텍스처 에지의 양쪽을 검출하는 것을 개략적으로 나타내는 것이다.
도 7은 본 개시의 실시의 형태에 따른, 로우 패스 근사가 점군의 주된 형상을 나타내는 것을 개략적으로 나타낸다.
도 8은 본 개시의 실시의 형태에 따른, 일례의 점군에 대하여 제안된 리샘플링 방법을 이용하는 것에 의한 잡음 제거 성능을 개략적으로 나타내는 것이다.
도 9는 본 개시의 실시의 형태에 따른, 대규모 시가 신을 효율적으로 시각화하는 제안된 하이 패스 그래프 필터 기반의 리샘플링 전략의 시각화 결과를 개략적으로 나타내는 것이다.
도 10은 본 개시의 실시의 형태에 따른, 대규모 시가 신을 효율적으로 시각화하는 제안된 하이 패스 그래프 필터 기반의 리샘플링 전략의 시각화 결과의 세부를 개략적으로 나타낸다.
도 11은 본 개시의 실시의 형태에 따른, 피트니스 볼의 점군에 대한 종래 기술의 물체 피팅 수법의 결과를 개략적으로 나타내는 것이다.
도 12는 본 개시의 실시의 형태에 따른, 제안된 로우 패스 필터 기반의 리샘플링을 이용할 때의 물체 피팅 결과를 비교하는 표이다.
도 13A 및 도 13B는 본 개시의 실시의 형태에 따른, 입방 물체의 하나의 면에 있어서의 플로어링을 갖지 않는 그래프 랜덤 워크(도 13A)를 이용한 샘플링 결과와 플로어링을 갖는 그래프 랜덤 워크(도 13B)를 이용한 샘플링 결과를 비교하는 그래프이다.
도 14A 및 도 14B는 본 개시의 실시의 형태에 따른, 제안된 로우 패스 그래프 필터 기반의 리샘플링과 통합될 수 있는 상이한 차수를 갖는 k-POLY(도 14A) 방법 및 k-CG(도 14B) 방법의 스펙트럼 응답을 비교하는 그래프이다.
도 15는 본 개시의 실시의 형태에 따른, 제안된 조건부 리샘플링의 플로차트를 나타내는 표이다.
도 16은 본 개시의 실시의 형태에 따른, 제안된 기준 기반의 리샘플링의 플로차트를 나타내는 표이다.
도 17은 도 1의 방법을 나타내는 블록도이다.

상기에 확인된 도면은 현재 개시된 실시의 형태를 기재하지만, 이 논의에 있어서 언급되는 바와 같이, 다른 실시의 형태도 의도된다. 본 개시는 한정이 아닌 대표적 예로서 예시적인 실시의 형태를 제시한다. 현재 개시된 실시의 형태의 원리의 범위 및 취지에 포함되는 많은 다른 변경 및 실시의 형태가 당업자에 의해 고안될 수 있다.

이하의 설명은 예시적인 실시의 형태만을 제공하고, 본 개시의 범위, 적용 가능성, 또는 구성을 한정하도록 의도되지 않는다. 오히려, 예시적인 실시의 형태의 이하의 설명은 하나 이상의 예시적인 실시의 형태를 구현하는 것을 가능하게 하는 설명을 당업자에게 제공할 것이다. 첨부된 청구범위에 제시된 바와 같이 개시된 주제의 취지 및 범위로부터 벗어나는 일 없이 요소의 기능 및 배치에 행하여질 수 있는 다양한 변경이 고려된다.

이하의 설명에서는 실시의 형태의 충분한 이해를 제공하기 위해 구체적인 상세가 주어진다. 그렇지만, 당업자는 이들 구체적인 상세가 없어도 실시의 형태가 실시될 수 있는 것을 이해할 수 있다. 예컨대, 개시된 주제에 있어서의 시스템, 프로세스, 및 다른 요소는 실시의 형태를 불필요한 상세로 모호하게 하지 않도록 블록도 형식의 구성요소로서 나타내어질 수 있다. 그 이외의 경우에 있어서, 잘 알려진 프로세스, 구조, 및 기법은 실시의 형태를 모호하게 하는 것을 피하기 위해 불필요한 상세 없이 나타내어질 수 있다. 또한, 다양한 도면에 있어서의 비슷한 참조 번호 및 명칭은 유사한 요소를 나타냈다.

또한, 개개의 실시의 형태는 플로차트, 흐름도, 데이터 흐름도, 구조도, 또는 블록도로서 나타내어지는 프로세스로서 설명될 수 있다. 플로차트는 동작을 순차적인 프로세스로서 설명할 수 있지만, 이들 동작의 상당수는 병렬로 또는 동시에 실행될 수 있다. 또한, 이들 동작의 순서는 재배열될 수 있다. 프로세스는 그 동작이 완료됐을 때에 종료될 수 있지만, 논의되지 않는 또는 도면에 포함되지 않는 추가의 스텝을 가질 수 있다. 또한, 특별히 설명되는 임의의 프로세스에 있어서의 모든 동작이 모든 실시의 형태에 있어서 발생하지는 않는다. 프로세스는 방법, 함수, 수순, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응할 때, 그 함수의 종료는 호출 함수 또는 메인 함수로의 기능의 복귀에 대응할 수 있다.

또한, 개시된 주제의 실시의 형태는, 적어도 일부는, 수동으로 또는 자동으로 실시될 수 있다. 수동 실시 또는 자동 실시는 머신, 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 그들의 임의의 조합을 이용하여 실행되거나, 적어도 원조될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에서 실시될 때, 필요한 작업을 실행하는 프로그램 코드 또는 프로그램 코드 세그먼트는 머신 판독 가능 매체에 기억될 수 있다. 프로세서(들)가 그 필요한 작업을 실행할 수 있다.

(본 개시의 실시의 형태의 개략)

도 1 및 도 2는 본 개시의 실시의 형태에 따른, 점을 갖는 입력 점군을 리샘플링 또는 처리하는 시스템(100)을 나타내는 블록도이다. 시스템(100)은 신(105), 물체 또는 센서(104)로부터 생성되는 어떤 다른 데이터의 입력 점군 데이터를 생성하는 센서(104)를 포함한다. 센서(104)는 카메라 또는 비디오 카메라 또는 입력 점군 데이터를 생성하는 어떤 다른 디바이스일 수 있다. 컴퓨터 판독 가능 메모리(112)는 센서(104)에 의해 생성된 입력 점군 데이터를 기억 및/또는 제공할 수 있다. 센서(들)(104)는 선택적으로 외부 메모리(106)에 기억되거나 또는 입력 인터페이스/프리프로세서(108)에 직접 송신되고, 그 후 프로세서(114)에 송신될 수 있는 신(105)의 입력 점군 데이터를 수집한다. 처리된 데이터는 메모리(112)에 기억되거나 또는 출력 인터페이스(116)를 거쳐서 출력될 수 있다. 처리 중에, 프로세서(114)는 입력 점군 데이터의 처리에 관한 명령 또는 다른 데이터를 기억하거나 또는 입력 점군 데이터의 처리에 관한 기억된 명령 또는 다른 데이터를 검색하는 메모리(112)와 통신할 수 있다.

본 개시의 실시의 형태는 입력 점군을 처리하는 것을 고려했을 때에 모든 애플리케이션에 적합한 포맷으로 점군이 나타내어질 필요가 없다고 하는 인식에 근거한다. 실제로, 점군은 특정한 애플리케이션 또는 상이한 애플리케이션에 맞는 포맷으로 나타내어질 수 있고, 상이한 포맷/표현으로 리포맷된다. 입력 점군을 리포맷 또는 리샘플링하는 것은 특정한 애플리케이션 또는 복수의 애플리케이션에 필요한 점만을 보존하기 위해 행하여진다. 입력 점군으로부터 보존되는 점은 특정한 애플리케이션의 요구에 고유한 선택된 정보이다. 예컨대, 시각화 애플리케이션 및 물체 모델링 애플리케이션의 경우, 특히, 몇몇의 특정한 물체의 윤곽 및 어떤 텍스처가 보존된다. 구체적으로, 우리는 특정한 목적을 위해 리포맷 또는 리샘플링된 복수의 점군의 버전을 기억하는 것이, 모든 목적에 적합한 하나의 점군의 버전을 기억하는 것보다 효율적이라고 인식하였다. 상이한 애플리케이션마다 점군을 리샘플링하는 것에 의해 우리는 본질적으로 리샘플링된 점의 상이한 그룹 또는 전체 입력 점군의 서브그룹을 생성하고, 이들 생성은 그 후 대응하는 리샘플링된 점을 갖는 특정한 애플리케이션에 대하여 실행된다. 이 인식 때문에, 우리는, 전체 입력 점군을 이용하여 애플리케이션을 계산적으로 실행하려고 시도하는 것과 비교할 때, 저감된 계산의 복잡함 및 시간과, 특정한 애플리케이션을 실행하는 삭감된 전체 비용을 확인하였다.

점의 부분 집합을 선택하는 것은 신호와 그래프 구조(들)의 사이의 상호작용에 대해 학습하는 체계인 그래프 신호 처리에 기반한다. 우리는 점의 사이의 국소 의존관계를 포착하기 위해 그래프를 이용하고, 물체의 표면의 이산 버전을 나타내는 것에 의해, 본 개시는 점군의 국소 구조 및 광역 구조의 양쪽을 줄 수 있는 것을 발견하였다. 이 체계에 근거하여, 각 점에 관련된 3D 좌표 및 다른 속성은 기본이 되는 그래프의 노드에 의해 인덱싱된 그래프 신호이다. 우리가 발견한 것은 리샘플링 문제를 그래프 신호의 샘플링으로서 공식화하는 것을 가능하게 한다. 이 특징 추출 기반의 리샘플링 체계, 즉, 특정한 애플리케이션마다의 리샘플링 점 보존 선택 정보(resampled points preserving selected information)는, 우리가 정확한 형태를 도출하는 재구축 오차를 이용하여 리샘플링의 질을 정량화한 일반적인 특징 추출 연산자에 근거한다. 최적의 샘플링 분포는 예상되는 재구축 오차를 최적화하는 것에 의해 획득된다. 제안된 최적의 샘플링 분포는 시프트 불변 및 회전 불변이 보증된다. 우리는 특징 추출 연산자를 그래프 필터로서 제공하고, 올 패스 그래프 필터링, 로우 패스 그래프 필터링 및 하이 패스 그래프 필터링에 근거하는 리샘플링 전략을 해석한다. 각 경우에, 우리는 최적의 샘플링 분포를 얻을 수 있고, 모의 데이터 및 실제 데이터의 양쪽에 대하여 성능을 검증한다.

입력 점군의 리샘플링 또는 프루닝의 실현은 그래프 상의 각 노드를 이용하여 각 노드를 그래프의 구조에 따라 그 이웃 노드의 값에 근거하여 스코어링하는 것에 의해 일반적으로 설명될 수 있다. 우리는 이 스코어링이 동일한 "스코어" 값을 갖는 점을 취급하기 위해 "랜덤" 리샘플링과 함께 이용될 수 있는 노드의 확률을 결정할 수 있는 것을 인식하였다. 예컨대, 윤곽 결정의 경우, 스코어링 함수는 이웃 노드의 함수로서의 노드의 표현에 있어서의 오차일 수 있고, 다른 예는 노드의 상이한 속성을 고려할 수 있는 상이한 스코어링 함수일 수 있다. 스코어링 함수(들)는 특정한 애플리케이션에 근거하여 선택되고, 각 상이한 애플리케이션은 그 자신의 스코어링 함수 또는 다수의 스코어링 함수를 가질 수 있다.

도 1 및 도 2를 참조하면, 입력 점군을 리샘플링하는 해를 구하는 것은, 먼저 메모리(112)로부터 또는 센서(104)로부터 직접 입력 점군에 액세스하는 것으로부터 시작한다. 입력 점군은 점을 포함하고, 각 점은 2차원(2D) 좌표 및 3차원(3D) 좌표 및 다른 속성을 포함하는 속성의 집합을 포함하는 것을 기억하라. 다음의 스텝은, 그래프 내의 노드를 나타내는 입력 점군 내의 각 점에 근거하여, 입력 점군을 나타내는 그래프(120)를 구축하고, 즉, 그래프 정점 및 그래프 에지를 구성하고, 그래프 내의 2개의 이웃 노드를 특정하고 접속하여 그래프 에지를 얻는 것이다.

다음으로, 구축된 그래프(120)에 근거하여 그래프 필터링 함수를 구한다(125). 즉, 입력 점군 내의 특정한 정보를 촉진 또는 유지하는 특정한 기준에 따라 그래프 연산자를 구한다. 입력 점군으로부터의 속성의 집합도 특정한 애플리케이션 요건에 따라 선택될 수 있고(130), 예컨대, 기하학적 정보 및/또는 텍스처 구조를 유지할 수 있다.

다음으로, 각 점의 값을 구하고(135), 입력 점군 내의 각 점을 필터링하는 것은 그들 점의 속성의 부분 집합을 선택하는(130) 것과 속성의 선택된 부분 집합에 대하여 그래프 필터링 함수를 적용하여(135) 입력 점군 내의 각 점의 적어도 하나의 값을 구하는(135) 것에 의해 행하여진다. 입력 점군 내의 각 점(135)의 적어도 하나의 값을 이용하여, 입력 점군 내의 점의 모든 값의 총합과 비교한 점(135)의 적어도 하나의 값과 출력 점군 내의 미리 결정된 수의 점에 근거하여, 각 점의 확률을 생성한다(140). 다시 말해서, 선택된 그래프 연산자를 이용하여 점군 내의 각 점의 중요도 스코어가 계산될 수 있다. 그 결과, 중요도 스코어에 근거하여, 각 점의 확률이 생성된다.

마지막으로, 도 1 및 도 2를 계속 참조하면, 각 점의 확률의 랜덤 평가를 이용하여 입력 점군을 샘플링하여, 입력 점군 내의 점의 부분 집합을 얻고(145), 점의 부분 집합(145)은 출력 점군(150)이다. 이것은 점의 부분 집합(145)이 확률과 추가적인 사용을 위해 출력될 수 있는 점의 예상되는 총수에 근거하여 구해지는 것을 의미한다. 예컨대, 출력 점군(150)은 메모리(112)에 기억되거나 또는 프로세서와 통신하는 출력 인터페이스(155)를 거쳐서 출력될 수 있다. 입력 점군은 선택된 출력 점군(150), 즉, 시스템으로부터 선택된 중요한 점의 부분 집합(145)과 비교하면, 이후에 보다 효율적으로 처리될 수 있는 것에 유의하라.

도 2를 참조하면, 일례로서, 대규모 시각화를 위한 하나의 실시의 형태에서는, 하이 패스 그래프 필터링 기반의 리샘플링을 이용하면 시인자가 사전 처리된 물체(105) 또는 도시 환경의 점군에 있어서 중요한 세부를 포착하는 것이 보다 용이할 수 있다. 또한, 대규모 시각화를 위한 하나의 실시의 형태의 경우, 제안된 하이 패스 그래프 필터링 기반의 리샘플링 전략을 이용하여 점의 작은 부분 집합을 선택하여, 처리된 물체(160) 또는 도시 또는 시가 신에 있어서의 건물 및 도로의 윤곽을 강조 표시할 수 있다.

또한, 본 개시의 다른 실시의 형태는 로버스트한 형상 모델링을 위한 것일 수 있다. 제안된 로우 패스 그래프 필터링 기반의 리샘플링 전략을 이용하여 점의 작은 부분 집합을 선택하면, 물체 모델 파라미터를 특정하는 것은 보다 효율적이고 정확할 수 있다. 그러한 모델링은 잡음 또는 이상치가 존재하는 점군에 있어서 표면을 찾는 것을 수반할 수 있고, 본 개시는 문제(들)를 푸는데 이용될 수 있다.

(입력 점군을 리샘플링하는 작업의 공식화)

3D 점군을 리샘플링하는 작업의 공식화를 보다 잘 이해하려면, 본 개시의 실시의 형태의 방법 및 시스템의 기초를 나타내는 그래프 신호 처리를 도입할 필요가 있다.

(점군의 리샘플링)

N개의 점 및 K개의 속성을 갖는 점군의 행렬 표현을 생각한다.

여기서, s_i∈R^N은 제 i 속성을 나타내고, x_i∈R^K는 제 i 점을 나타낸다. 센싱 디바이스에 따라, 속성은 3D 좌표, RGB 컬러, 텍스처 등일 수 있다. 3D 좌표와 다른 속성을 구별하기 위해, X_c∈R^N×3을 이용하여 3D 좌표를 나타내고, X_o∈R^N×(K-3)을 이용하여 다른 속성을 나타낸다.

점의 수 N은 통상 매우 크다. 예컨대, 건물의 3D 스캔은 통상 수십억 개의 3D 점을 필요로 한다. 기억 및 데이터 해석의 양쪽의 관점으로부터 대규모 점군을 다루는 것은 곤란하다. 그렇지만, 많은 애플리케이션에 있어서, 우리는 점군 등록에 있어서의 중요한 점 및 윤곽 검출에 있어서의 윤곽 점 등의 특정한 특성을 갖는 3D 점의 부분 집합에 흥미가 있다. 기억 및 계산을 이용하기 위해, 우리는 당초의 점군으로부터 대표적인 점의 부분 집합을 샘플링하여 스케일을 삭감하는 것을 고려한다. 당초의 점군은 물체로부터 샘플링되므로, 이 작업을 리샘플링이라고 부른다. 리샘플링의 수순은 점군으로부터의 M(M<N)개의 점을 리샘플링하는 것 또는 점군 행렬 X로부터 M개의 행을 선택하는 것이다. 리샘플링된 점군은

이고, 여기서 M=(M₁, …, M_M)은 리샘플링된 인덱스의 시퀀스를 나타내거나, 또는 리샘플링 집합이라 불리고, M_i∈{1, …, N} 및 ｜M｜=M이고, 리샘플링 연산자 Ψ는 R^N으로부터 R^M으로의 선형 사상이고, 다음과 같이 정의된다.

제안된 리샘플링 전략의 효율성은 매우 중요하다. 대규모 점군을 다루므로, 비용이 많이 드는 계산의 회피가 요구된다. 효율적인 방법으로 리샘플링을 실시하기 위해, 랜덤화된 리샘플링 전략을 고려하기로 한다. 이것은 리샘플링된 인덱스가 샘플링 분포에 따라 선택되는 것을 의미한다. 일련의 샘플링 확률을

로 하고, π_i는 각 랜덤 시행에 있어서 제 i 샘플을 선택할 확률을 나타낸다. 샘플링 분포가 선택되면, 샘플을 생성하는 것이 효율적이다. 여기서의 목표는 당초의 점군 내의 정보를 보존하는 샘플링 분포를 찾는 것이다.

제안된 리샘플링 전략의 불변 특성도 매우 중요하다. 점군을 시프트 또는 회전시키면, 3D 점의 고유 분포는 변경되지 않고, 제안된 리샘플링 전략은 변경되어서는 안 된다.

(정의 1) 샘플링 분포 π가 점군 X=[X_c X_o]에 대하여 설계되고 또한 동일한 샘플링 분포 π가 그 시프트된 점군 [X_c+1a^T X_o]에 대하여 설계될 때, 리샘플링 전략은 시프트 불변이며, 여기서, a∈R³이다.

(정의 2) 샘플링 분포 π가 점군 X=[X_c X_o]에 대하여 설계되고 또한 동일한 샘플링 분포 π가 그 회전된 점군 [X_cR X_o]에 대하여 설계될 때, 리샘플링 전략은 회전 불변이며, 여기서 R∈R^3×3은 3D 회전 행렬이다.

제안된 리샘플링 전략은 시프트 불변 및 회전 불변의 양쪽인 것을 보증할 것이다.

(점군의 그래프 신호 처리)

그래프는 점군을 나타내는 자연스럽고 효율적인 방법인데, 그래프는 물체의 표면의 이산 표현이기 때문이다. 컴퓨터 그래픽에서는, 특정한 접속 제한을 갖는 그래프의 클래스로서의 다각형 메시가 물체의 형상을 나타내기 위해 광범위하게 이용된다. 신뢰할 수 있는 메시를 구축하려면, 통상 면법선의 계산 등의 고도의 기하학적 해석을 필요로 한다. 메시 표현은 시각화를 위한 단순한 툴이지만, 점군을 해석하기에 좋지 않을 수 있다. 여기서 우리는 접속 제한을 완화하는 것에 의해 다각형 메시를 일반적인 그래프로 확장한다. 그러한 그래프는 기하학적 정보를 구축하는데 효율적이고, 기하학적 정보를 포착하는데 유연하다.

(그래프 구축)

국소적인 기하학적 정보를 인접 행렬 W∈R^N×N에 부호화하는 것에 의해 점군의 일반적인 그래프를 구축한다. x_i ^(c)∈R³을 제 i 점의 3D 좌표, 즉, X_c의 제 i 행으로 한다. 2개의 점 x_i ^(c)와 x_j ^(c)의 사이의 에지 가중치는 다음과 같고,

여기서 분산 σ 및 임계치 τ는 하이퍼파라미터이다. 식 (4)는 2개의 점의 유클리드 거리가 임계치 τ보다 작을 때, 이들 2개의 점을 에지에 의해 접속하고, 에지 가중치가 3D 공간에 있어서의 2개의 점의 유사도에 의존하는 것을 나타낸다. 이 타입의 그래프를 본 발명에서는 τ-그래프라고 부른다. 가중된 차수 행렬 D는 제 i 점의 주위의 밀도를 반영한 대각 요소 D_{i, j}=Σ_jW_{i, j}를 갖는 대각 행렬이다. 이 그래프는 당초의 표면의 근사적인 이산 표현이고, 팔진트리 등의 트리 데이터 구조를 통해서 효율적으로 구축될 수 있다. 여기서는 3D 좌표만을 이용하여 그래프를 구축하지만, 다른 속성을 고려하는 것이 가능하다(4). 이 그래프가 주어지면, 점군의 속성은 그래프 신호라고로 불린다. 예컨대, (1)에 있어서의 속성 s는 그래프에 의한 신호 인덱스이다. 명시적으로 말하지 않지만, τ-그래프가 이용되는 것을 전제로 한다.

그래프 구축의 다른 예에서는, 점은 그 특정한 수의 가장 가까운 이웃에 접속된다.

(그래프 필터링)

그래프 필터는 그래프 신호를 입력으로서 취하고 다른 그래프 신호를 출력으로서 생성하는 시스템이다. A∈R^N×N을 가장 기본적인 비자명(nontrivial) 그래프 필터인 그래프 시프트 연산자로 한다. 그래프 시프트 연산자의 어떤 공통의 선택은 인접 행렬 W(4), 천이 행렬 T=D^-1W, 그래프 라플라시안 행렬 L=D-W, 및 다른 많은 구조 관련 행렬이다. 그래프 시프트는 노드에 있어서의 신호값을 그 이웃에 있어서의 값의 가중된 선형 결합으로 대체한다. 즉,

이고, 여기서 s∈R^N은 입력 그래프 신호(점군의 속성)이다. 모든 선형의, 시프트 불변 그래프 필터는 그래프 시프트에 있어서 다항식

이고, 여기서 h_i는 필터 계수이고 L은 이 그래프 필터의 길이이다. 그 출력은 행렬 벡터 곱

에 의해 주어진다.

(그래프 푸리에 변환)

그래프 시프트 연산자 A의 고유값 분해는

이고, 여기서 A의 고유 벡터는 행렬 V의 열을 형성하고, 고유값 행렬 ∧∈R^N×N은 A의 대응하는 고유값 λ₁, …, λ_N의 대각 행렬이다(λ₁≥λ₂≥…≥λ_N). 이들 고유값은 그래프 [?] 상의 주파수를 나타내고, 여기서 λ₁은 최저 주파수이고 λ_N은 최고 주파수이다. 이것에 대응하여, v₁은 그래프 상의 최소 변동을 포착하고 v_N은 그래프 상의 최고 변동을 포착한다. V는 그래프 푸리에 기저라고도 불린다. 그래프 신호 s∈R^N의 그래프 푸리에 변환은

이다.

역 그래프 푸리에 변환은

이고, 여기서 v_k는 V의 제 k 열이고,

는

에 있어서의 제 k 성분이다. (7)에 있어서의 벡터

는 고유 벡터 기저에 있어서의 신호의 확장을 나타내고, 그래프 신호 s의 주파수 성분을 설명한다. 역 그래프 푸리에 변환은 그래프 주파수 성분을 결합하는 것에 의해 그래프 신호를 재구축한다.

(특징 추출에 근거하는 리샘플링)

리샘플링 동안, 점의 수를 삭감하여 점군 내의 정보를 불가피하게 잃는다. 여기서의 우리의 목표는, 특정한 요구에 따라 선택된 정보를 보존하는, 애플리케이션에 따른 리샘플링 전략을 설계하는 것이다. 예컨대, 점군에 있어서의 윤곽 검출의 작업에서는, 통상 면법선의 계산 및 점 [?, ?]의 분류 등의 신중하고 집약적인 계산을 필요로 한다. 다수의 점을 다루는 대신, 우리는 필요한 윤곽 정보에 민감한 점의 작은 부분 집합을 효율적으로 리샘플링하는 것을 고려하여, 윤곽 정보를 잃는 일 없이 그 후의 계산을 보다 저렴하게 한다.

(특징 추출 기반의 공식화)

f(ㆍ)를 특정한 요구에 따라 점군으로부터 타겟 정보를 추출하는 특징 추출 연산자로 한다. 즉, 특징 f(X)∈R^N×K가 점군 X∈R^N×K로부터 추출된다. 점군을 M회 리샘플링한다. 제 j 번째에 있어서, 확률 π_i를 갖는 점 M_j=i를 독립적으로 선택한다. Ψ∈R^M×N을 리샘플링 연산자(3)로 하고, S∈R^N×N을

를 갖는 대각 리스케일링 행렬로 한다. 리샘플링 연산자의 성능을 다음과 같이 정량화한다.

여기서,

는 스펙트럼 놈(norm)이다. Ψ^TΨ∈R^N×N은 제로 패딩 연산자이고, 제 i 점이 샘플링될 때는 대각 요소 (Ψ^TΨ)_{i, i}=1을 이용하여 대각 행렬이 패딩되고, 그렇지 않은 경우에는 0을 이용하여 대각 행렬이 패딩된다. 제로 패딩 연산자 Ψ^TΨ는 리샘플링된 점 및 당초의 점군이 동일한 사이즈를 갖는 것을 보장한다. S는 리샘플링 중에 균일하지 않은 가중치를 보상하는데 이용된다. SΨ^TΨf(X)는 리샘플링 후의 보존된 특징을 제로 패딩 형식으로 나타낸다. 다른 측면으로부터, SΨ^T는 당초의 특징 f(X)를 그 리샘플링된 버전 Ψf(X)로부터 재구축하는 가장 단순한(naive) 보간 연산자이다. 평가 메트릭 D_f(X)(Ψ)는 재구축 오차, 즉, 얼마나 많은 특징 정보가 고도의 보간 연산자를 이용하지 않는 리샘플링 후에 손실되지를 나타낸다. D_f(X)(Ψ)가 작을 때, 리샘플링 후의 보존된 특징은 당초의 특징에 가깝고, 이것은 약간의 정보가 손실된 것을 의미한다. 기대치 E_Ψ:π(D_f(X)(Ψ))는 리샘플링에 의해 발생되는 예상 오차를 제공하고, 샘플링 분포 π의 성능을 정량화한다. 우리의 목표는 E_Ψ:π(D_f(X)(Ψ))를 π에 걸쳐서 최소하여 특징 f(X)의 보존의 관점으로부터 최적의 샘플링 분포를 얻는 것이다. 다음으로, 우리는 목적 함수의 평균 제곱 오차의 정확한 형태를 도출한다.

(보조 정리 1) 보존된 특징의 가중되지 않은 버전은 당초의 특징에 대한 바이어스 추정량이다.

모든 f(X)∈R^N×K에 대하여, E_Ψ:π(Ψ^TΨf(X))∝πef(X)

여기서 e는 행마다의 곱셈이다.

보존된 특징의 재가중된 버전은 당초의 특징에 대한 비 바이어스 추정량이다. 즉,

모든 f(X)∈R^N×K에 대하여, E_Ψ:π(SΨ^TΨf(X))=f(X)

이다.

(정리 1) 보존된 특징과 당초의 특징의 사이의 평균 제곱 오차의 정확한 형태는

이고, 여기서 Q∈R^N×N은 Q_{i, i}=1/π_i-1을 갖는 대각 행렬이다.

제안된 리샘플링 전략의 시프트 불변 및 회전 불변의 충분 조건은 평가 메트릭(8)이 시프트 불변 및 회전 불변인 것이다.

(정의 3) 점군으로부터 추출된 특징 및 그 시프트된 버전이 동일할 때, 즉, f([X_c X_o])=f([X_c+1a^T X_o])일 때, 특징 추출 연산자 f(ㆍ)는 시프트 불변이며, 여기서 시프트 a∈R³이다.

(정의 4) 점군으로부터 추출된 특징 및 그 회전된 버전이 동일할 때, 즉, f([X_c X_o])=f([X_cR X_o])일 때, 특징 추출 연산자 f(ㆍ)는 회전 불변이며, 여기서, R∈R^3×3은 3D 회전 행렬이다.

f(ㆍ)가 시프트/회전 불변일 때, (8)은 시프트 또는 회전을 통해서 변화하지 않아서, 시프트/회전 불변 리샘플링 전략으로 이어지고, 이것은 E_Ψ:π(D_f(X)(Ψ))를 최소화하여 리샘플링 전략을 얻기에 충분하지만, f(ㆍ)가 시프트/회전 가변일 때, (8)은 시프트 또는 회전을 통해서 변화할 수 있어서, 시프트/회전 가변 리샘플링 전략으로 이어진다.

시프트 변동(shift variance)을 다루기 위해, 임의의 프로세스 전에 항상 점군의 중심을 원점에 다시 둘 수 있다. 즉, 3D 점의 평균 좌표를 0으로 정규화한다. f(ㆍ)의 회전 변동(rotation variance)을 다루기 위해, 이하의 평가 메트릭을 고려한다.

여기서

는 스펙트럼 놈이고 상수

는 당초의 3D 좌표의 스펙트럼 놈이다. 평가 메트릭 D_f(Ψ)는 회전의 영향을 없애기 위해 회전에 의해 발생되는 가능한 최악의 재구축 오차를 고려한다. (??)에 있어서, 3D 좌표는 회전에 기인한 변수라고 생각한다. 회전 행렬은 정규 직교하고 있고 3D 좌표의 스펙트럼 놈은 회전 중에 변화하지 않기 때문에 3D 좌표의 스펙트럼 놈은 제약된다. 다음으로, E_Ψ:π(D_f(Ψ))를 최소화하여 f(ㆍ)가 가변일 때에도 불변 리샘플링 전략을 얻는다.

(정리 2) f(ㆍ)를 회전 가변 선형 특징 추출 연산자로 하고, 여기서

f(X)=FX이고 F∈R^N×N이다. E_Ψ:πD_f(Ψ)의 정확한 형태는

이고, 여기서

이고, Q∈R^N×N은 Q_{i, i}=1/π_i-1을 갖는 대각 행렬이다.

(최적의 샘플링 분포)

다음으로, 예상되는 재구축 오차를 최소화하는 것에 의해 최적의 샘플링 분포를 도출한다.

시프트 불변 및 회전 불변 특징 추출 연산자의 경우, (8)을 최소화한다.

(정리 3) f(ㆍ)를 시프트 불변 및 회전 불변 특징 추출 연산자로 한다. 대응하는 최적의 리샘플링 전략 π^*는

이고, 여기서 f_i(X)∈R^K는 f(X)의 제 i 행이다.

시프트 가변 및 회전 가변 특징 추출 연산자의 경우, 최소화한다.

(정리 4) f(ㆍ)를 시프트 가변 및 회전 가변 선형 특징 추출 연산자로 하고, 여기서 f(X)=FX이고, F∈R^N×N이다. 대응하는 최적의 리샘플링 전략 π^*는

이고, 여기서 상수

이고, F_i는 F의 제 i 행이고, (FX_o)_i는 FX_o의 제 i 행이다.

(그래프 필터링에 근거하는 리샘플링)

이 섹션에서는, 점군으로부터 정확한 특징으로의 그래프 필터를 설계한다.

점군 X로부터 추출된 특징을

로 하고, 이것은 그래프 필터의 정의(5)로부터 얻어진다. 종래의 신호 처리에 있어서의 필터 설계와 마찬가지로, 그래프 정점 영역 또는 그래프 스펙트럼 영역에 있어서 그래프 필터를 설계한다.

그래프 정점 영역에서는, 각 점에 대하여, 그래프 필터는 그 국소적인 점의 속성을 평균한다. 예컨대, 제 i 점의 출력

는 제 i 점으로부터 L홉(hop) 거리에 있는 점의 속성의 가중된 평균이다. 제 l 그래프 필터 계수 h_l은 제 l 홉의 이웃으로부터의 기여도를 정량화한다.

가중치를 국소적인 평균 내로 변경하도록 필터 계수를 설계한다.

그래프 스펙트럼 영역에서는, 우선 그래프 스펙트럼 분포를 설계하고, 그 다음 그래프 필터 계수를 이용하여 이 분포를 적합하게 한다. 예컨대, 길이 L을 갖는 그래프 필터는

이고, 여기서 V는 그래프 푸리에 기저이고, λ_i는 그래프 주파수이다(6). 제 i 그래프 주파수의 응답이 c_i일 때,

를 설정하고, 1세트의 선형 방정식을 풀어 그래프 필터 계수 h_l을 얻는다. 체비쇼프 다항식을 이용하여 그래프 필터 계수를 설계할 수도 있다[?]. 다음으로, 그래프 필터의 몇몇의 특수한 경우를 검토한다.

(올 패스 그래프 필터링)

h(λ_i)=1로 한다. 즉, h(A)는 i=1, …, L-1에 대하여 h₀=1 및 h_i=0을 갖는 단위 행렬이다. 이 설정의 배후에 있는 직감은 당초의 점군이 신뢰할 수 있는 것이고 모든 점이 잡음 없이 물체로부터 균일하게 샘플링되어 물체의 진정한 기하학적 구조를 반영한다고 하는 것이다. 모든 정보를 보존하는 것이 바람직하고, 따라서 특징은 당초의 속성 그 자체이다. f(X)=X이므로, 특징 추출 연산자 f(ㆍ)는 시프트 가변 및 회전 가변이다. 정리 4에 근거하면, 최적의 리샘플링 전략은

이다.

여기서 (12)에 있어서의 특징 추출 행렬 F는 단위 행렬이고 F의 각 행의 놈은 1이다. 3D 좌표만을 보존할 때, X_o의 항을 무시하고 각 점의 일정한(constant) 샘플링 확률을 얻으며, 이것은 균일한 샘플링이 전체 기하학적 정보를 보존하는 최적의 리샘플링 전략인 것을 의미한다.

(하이 패스 그래프 필터링)

화상 처리에서는, 하이 패스 필터가 에지 및 윤곽을 추출하는데 이용된다.

마찬가지로, 점군에 있어서 윤곽을 추출하는데 하이 패스 그래프 필터를 이용한다. 여기서는 3D 좌표만을 속성(X=X_c=R^N×3)으로서 간주하지만, 제안된 방법은 다른 속성에 용이하게 확장될 수 있다.

중요한 문제는 점군에 있어서의 윤곽을 어떻게 정의하는가 하는 것이다. 윤곽 점은 그 이웃 점에 의해 형성된 경향을 파괴하고 개변을 가져오는 것이라고 생각된다. 지금까지의 많은 연구는, 윤곽을 검출하기 위해, 면법선 등의 고도의 기하학적 관련 계산을 필요로 한다[?]. 고도의 기하학적 특성을 측정하는 대신, 우리는 하이 패스 그래프 필터링의 응답인 그래프 상의 국소 변동에 의해 윤곽 점일 가능성을 나타낸다. 제 i 점의 대응하는 국소 변동은

이고, 여기서 h(A)는 하이 패스 그래프 필터이다. 국소 변동 f(X)∈R^N은 하이 패스 그래프 필터링 후의 응답의 에너지를 정량화한다. 이 배후에 있는 직감은 점의 국소 변동이 클 때 그 3D 좌표는 그 이웃 점의 3D 좌표로부터 잘 근사될 수 없다고 하는 것이다. 다시 말해서, 이 점은 그 이웃 점에 의해 형성된 경향을 파괴하는 것에 의해 개변을 가져오고 윤곽 점일 높은 가능성을 가진다.

이하의 정리는 국소 변동이 회전 불변이지만, 시프트 가변인 것을 나타낸다.

(정리 5) f(X)=diag(h(A)XX^Th(A)^T)∈R^N으로 하고, 여기서 diag(ㆍ)는 대각 요소를 추출한다. f(X)는 h(A)1=0∈R^N이 아닌 한 회전 불변 및 시프트 불변이다.

국소 변동이 시프트 불변 및 회전 불변의 양쪽인 것을 보증하기 위해, 천이 행렬을 그래프 시프트 연산자로서 이용한다. 즉, A=D^-1W이고, 여기서 D는 대각 차수 행렬이다. 그 이유는 1∈R^N이 천이 행렬의 고유 벡터이기 때문, 즉, A1=D^-1W1=1이기 때문이다. 따라서,

일 때,

이다. 단순한 설계는 Haar-like 하이 패스 그래프 필터

이다.

그래프 시프트 연산자는 천이 행렬이므로, λ_max=max_i│λ_i│=1인 것에 유의하라. 여기서 λ_i는 A의 고유값이다. 이 경우, h₀=1, h₁=-1이고, 모든 i>1에 대하여 h_i=0이고,

이다. 따라서, Haar-like 하이 패스 그래프 필터는 시프트 불변 및 회전 불변이다. Haar-like 하이 패스 그래프 필터의 그래프 주파수 응답은 h_HH(λ_i)=1-λ_i이다. 고유값은 내림차순으로 순서가 정리될 수 있으므로, 1-λ_i≤1-λ_i+1을 얻을 수 있고, 이것은 저주파수 응답이 상대적으로 감쇠되고 고주파수 응답이 상대적으로 증폭되는 것을 의미한다.

그래프 정점 영역에서는, 제 i 점의 응답은

이다.

A는 천이 행렬이므로,

및 h_HH(A)는 점과 그 이웃의 볼록 결합의 사이의 차이를 비교한다. 제안된 국소 변동의 기하학적 해석은 당초의 점과 그 이웃의 볼록 결합의 사이의 유클리드 거리이고, 이 거리는 그 이웃으로부터의 점에 대하여 얼마나 많은 정보를 알고 있는지를 반영한다. 점의 국소 변동이 클 때, 이 점과 그 이웃의 볼록 결합의 사이의 유클리드 거리는 길고, 이 점은 대량의 개변을 제공한다.

몇몇의 단순한 예에 관한 제안된 국소 변동을 검증할 수 있다.

(예 1) 점군이 3D 선을 형성할 때, 2개의 단점(endpoint)은 윤곽에 속한다.

(예 2) 점군이 3D 다각형/다면체를 형성할 때, 정점(코너 점) 및 에지(2개의 인접하는 정점을 접속하는 선분)는 윤곽에 속한다.

(예 3) 점군이 3D 원/구를 형성할 때, 윤곽은 존재하지 않는다.

점이 확정된 형상을 따라 균일하게 확산될 때, 제안된 국소 변동(14)은 기하학적 관점으로부터 예 1, 예 2 및 예 3을 만족시킨다. 예컨대, 도 3의 부분도 305에 있어서, 점 2는 점 1 및 점 3의 볼록 결합이고, 따라서 점 2의 국소 변동은 0이다. 그러나, 점 4는 점 3 및 점 5의 볼록 결합이 아니고, 적색 선의 길이가 점 4의 국소 변동(개변)을 나타낸다. 점 1, 점 4 및 점 7만이 0이 아닌 국소 변동을 갖는 것이 밝혀졌고, 이것은 우리가 예상한 것이다. 도 3의 부분도 310에 있어서, 모든 노드가 원주 상에서 균등하게 확산되고, 적색 선으로서 나타내어지는 동일한 양의 개변을 갖는다. 유사한 논거는 제안된 국소 변동(14)이 예 1, 예 2 및 예 3을 만족시키는 것을 나타낸다.

특징 추출 연산자

는 시프트 불변 및 회전 불변이다.

정리 3에 근거하면, 최적의 샘플링 분포는

이고, 여기서 A=D^-1W는 천이 행렬이다.

그래프 라플라시안 행렬은 변동을 측정하기 위해 공통으로 이용되는 것에 유의하라. L=D-W∈R^N×N을 그래프 라플라시안 행렬로 한다. 그래프 라플라시안 기반의 총 변동은

이고, 여기서 N_i는 제 i 노드의 이웃이고, 제 i 점에 의해 기여되는 변동은

이다.

여기서의 변동은 페어방식 차이의 누산(accumulation)에 근거하여 정의된다. (18)을 페어방식 차이 기반의 국소 변동이라고 부른다.

페어방식 차이 기반의 국소 변동은 기하학적 변화를 포착할 수 없고, 예 2를 위반한다. 도 4에 반례를 나타낸다. 점은 입방체의 면을 따라 균일하게 확산되고, 도 4는 2개의 면을 나타낸다. 각 점은 동일한 에지 가중치를 갖는 그 인접하는 4개의 점에 연결된다. 모든 점의 페어방식 차이 기반의 국소 변동은 동일하고, 이것은 이 점군에 윤곽이 존재하지 않는 것을 의미한다. 그렇지만, 주석이 달린 점(흑색 화살표에 의해 가리켜짐)은 윤곽 점일 것이다.

도 5는 힌지, 원뿔, 테이블, 의자, 소파 및 쓰레기 용기를 포함하는 점군의 몇몇의 예에 관한 국소 변동 기반의 샘플링 스코어를 나타낸다. 제 1 행(505)은 당초의 점군을 나타내고, 제 2 행(510) 및 제 3 행(515)은 페어방식 차이 기반의 국소 변동(18) 및 Haar-like 하이 패스 그래프 필터링 기반의 국소 변동(14)의 2개의 국소 변동에 관한 리샘플링된 버전을 나타낸다. 2개의 리샘플링된 버전은 당초의 점군 내의 점의 10%인 동일한 수의 점을 갖는다.

2개의 모의된 물체, 즉 힌지 및 원뿔(최초의 2개의 행)의 경우, 페어방식 차이 기반의 국소 변동(18)은 윤곽의 검출에 실패하고, Haar-like 하이 패스 그래프 필터링 기반의 국소 변동(14)은 모든 윤곽을 검출한다. 실제의 물체의 경우도, Haar-like 하이 패스 그래프 필터링 기반의 리샘플링(14)은 페어방식 차이 기반의 국소 변동(18)을 능가한다. 요약하면, Haar-like 하이 패스 그래프 필터링 기반의 국소 변동(14)은 10%의 점만을 이용하는 것에 의해 물체의 윤곽을 나타낸다.

하이 패스 그래프 필터링 기반의 리샘플링 전략은 다른 속성의 일시적인 변화를 검출하는 것으로 용이하게 확장될 수 있다. 도 6에서는, 부분도 605는 2개의 상이한 텍스처를 갖는 힌지를 모의한다. 흑색 점은 값 0을 갖는 동일한 텍스처를 갖고, 녹색 원에 의해 나타내어지는 점은 값 1을 갖는 상이한 텍스처를 갖는다. 이 텍스처를 새로운 속성, 및 최초의 3열이 3D 좌표이고 제 4 열이 텍스처인 점군 행렬 X∈R^N×4로서 배치한다. 하이 패스 그래프 필터링 기반의 국소 변동(14)에 근거하여 점의 10%를 리샘플링한다. 도 6에서는, 부분도 610이 기하학적 윤곽 및 텍스처 윤곽의 양쪽을 명료하게 검출하는 리샘플링된 점군을 나타낸다.

(로우 패스 그래프 필터링)

종래의 신호 처리에서, 로우 패스 필터는 평활 신호의 주된 형상을 포착하고 잡음을 저감하는데 이용된다. 마찬가지로, 3D 점을 취득하는 동안 점군의 주된 형상을 포착하고 샘플링 잡음을 저감하는데 로우 패스 그래프 필터를 이용한다. 점의 3D 좌표를 이용하여 그래프(4)를 구축하므로, 3D 좌표는 이 그래프 상에서 필연적으로 평활하고, 이것은 그래프 내의 2개의 인접하는 점이 3D 공간에 있어서 유사한 좌표를 갖는 것을 의미한다. 잡음 및 이상치가 발생하면, 잡음 제거 연산자로서의 로우 패스 그래프 필터는 국소 근방 정보를 이용하여 각 점의 진정한 위치를 근사한다. 로우 패스 그래프 필터링 후의 출력은 당초의 점군의 잡음이 제거된 버전이므로, 당초의 점보다 잡음이 제거된 점으로부터 리샘플링하는 것이 보다 매력적일 수 있다.

(이상적인 로우 패스 그래프 필터)

간단한 선택지는 어느 대역폭을 넘는 모든 그래프 주파수를 완전하게 제거하는 한편 그 대역폭을 하회하는 그래프 주파수를 변화시키지 않고 통과시키는 이상적인 로우 패스 그래프 필터이다. 대역폭 b를 갖는 이상적인 로우 패스 그래프 필터는

이고, 여기서 V_(b)는 V의 최초의 b개의 열이고, 그래프 주파수 응답은

이다.

이상적인 로우 패스 그래프 필터 h_IL은 입력 그래프 신호를 대역 제한된 부분 공간에 투영하고, h_IL(A)s는 당초의 그래프 신호 s에 대한 대역 제한된 근사이다. 도 7에 예를 나타내고, 부분도 705는 당초의 점군, 찻주전자이고, 부분도 710, 715 및 720은 찻주전자의 3D 좌표에 대한 대역 제한된 근사가 대역폭 b가 증가하면 보다 양호해지는 것을 나타낸다. 10개의 그래프 주파수로는, 찻주전자의 개략적인 구조만 얻을 수 있지만, 대역 제한된 근사는 찻주전자의 형상을 고속으로 변화시키는 것을 알 수 있다. 따라서, 대역 제한된 근사는 잡음 제거보다 편집에 더 유용하다. 부분도 725는 주된 에너지가 로우 패스 그래프 주파수 대역 내에 집중되는 것을 나타낸다.

특징 추출 연산자

는 시프트 가변 및 회전 가변이다. 정리 4에 근거하면, 대응하는 최적의 리샘플링 전략은

이고, 여기서 v_i∈R^b는 V_(b)의 제 i 행이다.

를 얻는 직접적인 방법은 계산 비용이 O(Nb²)인 끊어진(truncated) 고유값 분해(7)을 필요로 하고, 여기서 b는 대역폭이다. 랜덤화된 기법을 이용하여 고유값 분해를 회피하고 계산 비용이 O(Nblog(N))인 고속 알고리즘을 통해서 레버리지 스코어(leverage score)를 잠재적으로 근사할 수 있다[?, ?]. 계산을 활용하는 다른 방법은 그래프를 몇 개의 서브그래프로 분할하고 각 서브그래프에 있어서 레버리지 스코어를 얻는 것이다.

이 리샘플링 전략은 근사적으로 대역 제한된 그래프 신호의 샘플링 및 회복과 유사하고, 그 아이디어는 소수의 노드에 있어서 신호 계수를 샘플링하고 다른 모든 노드에 있어서 그 신호 계수를 근사적으로 회복하는 것임을 유의하라. 여기서 점군의 속성을 그래프 신호로서 모델링하고, 소수의 점의 속성을 샘플링하고 다른 모든 점의 속성을 근사적으로 회복한다.

이상적인 로우 패스 그래프 필터링에 근거하는 리샘플링 전략은 이웃 점이 3D 공간에 있어서 고속으로 변동되는 점에 대하여 보다 많은 샘플을 배치하는 경향이 있는 것을 알 수 있는데, 작은 변동 영역은 많은 중복 정보(redundant information)를 도입하고, 많은 샘플을 취득할 필요가 없기 때문이다. 그래프는 점군의 공간 분포를 처리하고, 그래프 푸리에 기저를 통해서 각 점의 정보의 양을 해석한다. 그래프 주파수의 수의 증가에 따라, 샘플링 스코어가 균일하게 되는 경향이 있는 것도 알 수 있다. 이것은, 모든 정보를 보존하고 싶을 때, 중요도 스코어가 어디에서든 동일해지는 것을 의미한다.

(Haar-like 로우 패스 그래프 필터)

다른 단순한 선택지는 Haar-like 로우 패스 그래프 필터이다. 즉,

이고, 여기서 λ_max=max_i｜λ_i｜이고 λ_i는 A의 고유값이다. 정규화 계수 λ_max는 크기의 증폭을 회피하기 위한 것이다. 간단하게 하기 위해 A_norm=A/｜λ_max｜로 나타낸다.

그래프 주파수 응답은 h_HL(λ_i)=1+λ_i/｜λ_max｜이다. 고유값은 내림차순으로 순서가 정리되므로, 1+λ_i≥1+λ_i+1을 얻을 수 있고, 이것은 저주파수 응답이 상대적으로 증폭되고 고주파수 응답이 상대적으로 감쇠되는 것을 의미한다.

그래프 정점 영역에서는, 제 i 점의 응답은

이고, 여기서 N_i는 제 i 점의 이웃이다. h_HL(A)는 각 점 및 그 이웃의 속성을 평균하여 평활 출력을 제공하는 것을 알 수 있다.

특징 추출 연산자 f(X)=h_HL(A)X는 시프트 가변 및 회전 가변이다. 정리 4에 근거하면, 대응하는 최적의 리샘플링 전략은

이다.

이 최적의 샘플링 분포를 얻으려면, O(N)을 필요로 하는 최대 크기의 고유값 λ_max를 계산하고, 그래프 시프트 연산자에 있어서의 0이 아닌 요소인

를 갖는

를 필요로 하는 각 행의

및

를 계산할 필요가 있다. 정규화된 인접 행렬 또는 천이 행렬을 그래프 시프트 연산자로서 이용하는 것에 의해 최대의 크기를 계산하는 것을 회피할 수 있다. 정규화된 인접 행렬은

이고, 여기서 D는 대각 차수 행렬이며, 천이 행렬은 인접 행렬의 각 행의 합이 1이 되도록 정규화하는 것에 의해 획득되고, 즉, D^-1W이다. 양쪽의 경우에, 천이 행렬의 최대 고유값은 1이고, 따라서 A=A_norm을 얻을 수 있다.

도 8은 토끼에 대한 Haar-like 로우 패스 그래프 필터링(??)에 근거하는 리샘플링을 이용하는 것에 의한 잡음 제거 성능을 나타낸다. 토끼의 점군은 35,947개의 점을 포함한다. 각 좌표는 평균 0 및 분산 0.002를 갖는 가우스 잡음에 의해 오염되어 있다. 도 8에 있어서, 부분도 805는 잡음을 갖는 토끼를 나타낸다. 이 잡음을 갖는 토끼로부터의 점의 10%를 균일하게 리샘플링하고, 리샘플링한 것이 부분도 810에 나타내어진다. 리샘플링된 버전도 잡음을 갖는 것을 알 수 있다. 제안된 Haar-like 로우 패스 그래프 필터링에 근거하면, 부분도 815에 있어서의 잡음 제거된 토끼를 얻을 수 있고, 이 잡음 제거된 토끼로부터의 최적의 샘플링 분포(??)에 따른 점의 10%를 리샘플링한다. 잡음을 갖는 토끼의 리샘플링된 버전은 부분도 820에 나타내어진다. 동일한 수의 점을 이용하는 것에 의해, Haar-like 로우 패스 그래프 필터링에 근거하는 리샘플링된 버전(820)이 균일한 샘플링에 근거하는 리샘플링된 버전(810)보다 잡음이 적고 보다 대표적인 것임을 알 수 있다.

리샘플링의 성능을 정량적으로 평가하기 위해, 각 리샘플링된 점과 당초의 무잡음 점군 내의 가장 가까운 점의 사이의 유클리드 거리를 측정한다. 즉,

이고, 여기서 X∈R^N×k는 무잡음 점군이고 X_M∈R^M×k는 리샘플링된 점군이다. 잡음을 갖는 점군으로부터 리샘플링하므로, 리샘플링된 점은 당초의 점으로부터 시프트되어 있다. (22)에 있어서의 오차 메트릭은 총 시프트를 정량화한다. 시프트가 작을수록 당초의 점군을 보다 잘 표현할 수 있다. 예컨대, 부분도 810에 있어서의 리샘플링된 점군의 오차는 6.1824이고, 부분도 820에 있어서의 리샘플링된 점군의 오차는 3.7077이다. 이것은 리샘플링 중에 로우 패스 그래프 필터링을 이용하는 것의 이점을 실증한다.

(다른 실시의 형태)

상기에서는 올 패스 그래프 필터, 로우 패스 그래프 필터 및 하이 패스 그래프 필터를 포함하는 몇몇의 기본적인 그래프 필터링 기반의 리샘플링 툴을 제안했지만, 이 섹션에서는, 특수한 요건을 만족시키기 위해 어떻게 그것들을 적용하는지를 나타내는 몇몇의 변형 설계를 제안한다.

(점 밀도의 고려)

섹션 3.2에 있어서 제안된 바와 같은 순수한 하이 패스 그래프 필터의 경우, 중요도 스코어는 전적으로 점군에 있어서의 국소 변동을 선호한다. 예컨대, 흥미의 레벨에 따라 점 밀도를 동적으로 할당하는 점군의 경우, 점 밀도를 국소 변동과 함께 공동으로 고려하는 것이 바람직하다.

하나의 실시의 형태에서는, 차수 행렬 D가 밀도 분포를 나타낼 수 있는 것을 고려하면, 우리는 식 15에 있어서의 Haar-like 하이 패스 필터를 이하와 같이 변경할 것을 제안한다.

여기서, 결과로서 얻어지는 하이 패스 그래프 연산자는 실제로는 그래프 라플라시안 연산자 L이다. 상기 차수 행렬 D는 다른 밀도 표현에 의해 대체될 수 있고 그 결과의 연산자는 그래프 라플라시안일 필요는 없는 것을 유의하라.

점 밀도가 고려되는 경우, 에지 영역과 평탄 영역의 사이의 샘플링 확률 천이는 보다 평활하게 된다. 이 수법은 입력 점군이 관심 영역을 강조하도록 사전 처리되어 있으면 보다 유리할 수 있다.

(최소 샘플링 확률 보증)

섹션 3.2 또는 섹션 3.4.1에 제안된 하이 패스 그래프 필터에 대하여, 몇몇의 점에 할당된 중요도 스코어가 다른 점의 중요도 스코어보다 훨씬 작은 경우가 있다. 통상, 가장 평활한 영역으로부터의 점은, 에지 또는 코너에 가까운 점과 비교하여, 거의 0의 샘플링 확률을 가질 수 있다. 그 결과, 평탄 영역으로부터의 그들 점은 리샘플링 중에 선택될 기회가 거의 없다.

몇몇의 종래의 표면 모델링 방법이 점군으로부터 표면을 작성하려면, 내부의 표면을 거의 비운 채로 에지/코너 영역을 과도하게 강조하는 문제가 발생할 수 있다. 이것을 극복하기 위해, 점군 내의 모든 기하학적 정보를 유지하는 것과 윤곽 정보를 유지하는 것의 사이에는 트레이드오프의 동기가 있다. 점군 전체에 걸쳐서 최소 샘플링 확률을 확보하기 위해, 우리는 최소 샘플링 확률을 실시하는 것을 제안한다.

도 13은 입방 물체의 하나의 면에 플로어링을 갖지 않는 그래프 랜덤 워크를 이용한 샘플링 결과와 플로어링을 갖는 그래프 랜덤 워크를 이용한 샘플링 결과를 비교한다. 부분도 1305는 순수한 그래프 랜덤 워크가 이용되는 경우의 샘플링 위치이다. 부분도 1310은 최소 확률이 실시되는 상태의 대응하는 결과이다. 최소 샘플링 확률을 설정하는 것에 의해 샘플링된 점이 평탄 영역 및 에지 영역을 고려하기 위해 어떻게 시프트되는지를 알 수 있다.

(의사(nearly) 로우 패스 그래프 필터링)

고주파수 성분을 제거하기 위해 점군에 대하여 그래프 스펙트럼에 로우 패스 필터를 적용하고 싶다고 가정하면, 섹션 3.3에 있어서 제안된 이상적인 로우 패스 그래프 필터는 적어도 몇몇의 고유값 및 고유 벡터의 쌍을 계산할 필요가 있고, 이것은 바람직하지 않은 계산의 복잡함을 유발할 수 있다. 여기서 우리는 본 발명의 제안된 체계에 있어서 이용되는 k-다항식 필터 또는 k-공액 구배 필터(conjugate gradient filter)[?]를 제안한다. 다음으로, 우리는 다른 그래프 연산자 k-POLY를 이용하는 일반성을 희생하는 일 없이 기본 그래프 연산자가 대칭 정규화 그래프 라플라시안 연산자 L이라고 가정한다.

예컨대, 계산의 고려사항에 기인하여, 다항식 필터링으로 한정하는 경우, 최적의 다항식 로우 패스 필터의 문제를 설정할 수 있다. 최적의 다항식 로우 패스 필터는 체비쇼프 다항식에 근거한다.

구체적으로, 우리는 l∈(0, 2)로부터 2로 확장한 저지 대역을 갖는 구간 [0, 2]에 걸쳐서 정의된 차수 k의 체비쇼프 다항식 h_k-CHEB를 이용하는 것을 제안한다. 그래프 스펙트럼을 대칭 정규화 라플라시안 L의 고유 공간에 관하여 정의하므로, L의 모든 고유값은 구간 [0, 2]에 있다. 체비쇼프 다항식의 구조는, 구간 [-1, 1]에 걸쳐서 차수 k의 체비쇼프 다항식

의 근을 i=1, …, k에 대하여 계산하고, 그 다음에, 선형 변환을 통해서 그 근을 구간 [l, 2]로 시프트하여 다항식 h_k-CHEB의 근 r_i를 취득하고, h_k-CHEB(0)=1이 되도록 r₀을 이용하여 이 다항식을 스케일링하는 것에 의해, 용이하게 획득된다. 이것에 의해 이하의 식을 얻을 수 있다.

체비쇼프 다항식은 미니맥스(minimax) 최적이고, 구간 [l, 2] 상의 모든 스펙트럼 성분을 균일하게 억압하고, [l, 2]의 외부의 다른 어느 다항식보다 고속으로 증대된다.

저지 대역 주파수 l은 필터링 k-CG의 전에 설정될 필요가 있는 설계 파라미터로 남는다.

또한, k-CG 로우 패스 필터[?]도 본 발명의 제안된 체계에 있어서의 로우 패스 필터를 모방하는데 이용될 수 있다.

도 14는 k=1, 2, 3인 경우의 k-POLY(부분도 1405) 방법 및 k-CG(부분도 1410) 방법의 스펙트럼 응답을 나타낸다.

(조건부 샘플링)

섹션 3에 있어서 제안된 수법에 의하면, 각 점에 관련된 중요도 스코어는 다른 어느 점으로부터도 독립되어 있고, 따라서, 샘플링 수순 중에 어떤 점이 선택되었다고 하더라도 스코어는 동일하게 유지된다고 가정된다. 이 섹션에서는, 점의 중요도 스코어가 샘플링 수순 중에 활발하게 갱신되고 있는 경우를 생각한다. 즉, 점의 중요도 스코어는 샘플링된 점에 의한 영향을 받는다. 직감적으로, 중요도 스코어는 이미 샘플링된 점에 대해서는 0이 되어야 하고, 샘플링된 점으로부터 가장 먼 점의 스코어는 변경되지 않아야 한다.

샘플링 분포 π는 이 섹션에서는 중요도 스코어의 척도로서 직접 이용된다.

여기서, 우리는 기준 점 r에 대한 점 i의 액티브 중요도 스코어

를 제안한다.

여기서, x_f는 점 x_r로부터 가장 먼 점이다. 새로운 샘플링 점이 결정된 후, 중요도 스코어는 이하와 같이 갱신될 것이다.

유감스럽게도, 다른 모든 점까지의 거리가 카운트될 필요가 있으므로, π_a의 계산, 따라서, pi의 갱신은 높은 계산의 복잡함을 수반한다. 수반되는 복잡함을 제한하는 하나의 방법은 모든 새로운 샘플링 점이 선택된 후의 중요도 스코어의 갱신을 회피하는 것이다. 그 대신, 점의 제 1 그룹이 샘플링된 후 및 점의 제 2 그룹이 샘플링되기 전에만 스코어가 갱신될 수 있다. 갱신이 상당히 거친(coarse) 스텝에서 행해지므로 이것은 보다 큰 성능 저하로 이어질 수 있다. 다음으로, 우리는 복잡함 부담을 높이는 두 가지 신규 방법을 제안한다.

(복셀(voxel) 근사)

모든 점에 대하여 정확한 중요도 스코어 갱신 계수 π_a를 계산하는 대신, 특정한 이웃 내의 점에 대해 이 계수가 공유될 수 있다.

여기서,

는 x_i가 속하는 복셀의 중심 점이다. 고속 알고리즘, 예컨대, 팔진트리 분해를 이용하여 점을 복셀로 분할할 수 있다.

(m-홉 근사)

다른 실시의 형태에서는, 새롭게 샘플링된 점으로부터 충분히 멀리 떨어진 점에는 영향이 없다고 가정한다. 반경 τ가 점군에 걸쳐서 그래프를 구축하는데 이용되었다고 가정하면, m_τ를 중요도 스코어가 갱신될 필요가 있는 범위의 근사 반경으로 한다.

유감스럽게도, 모든 거리가 임계치에 대하여 평가될 필요가 있으므로, 상기 식을 이용하여 거리의 계산의 수를 삭감하는 것은 간단하지 않다. 이 문제를 완화하는 단순한 방법은 이번에도 복셀 중심을 이용하여 점마다의 거리를 근사하는 것이다. 이 섹션에서는, 이 단순한 방법 외에도, 우리는 보다 효율적으로 실시될 수 있는 도 15에 나타낸 바와 같은 신규 방법을 제안한다.

도 15에 나타낸 바와 같이, 점군은 각 행이 점에 대응하고 각 열이 속성에 대응하는 X에 의해 나타내어진다. A는 결정된 그래프 연산자(예컨대, 행렬 형식), 또는 기본 그래프 연산자의 함수이다. 사전에 샘플링된 점의 집합은 M_in에 의해 나타내어진다.

목적은, m_τ의 반경 내의 그들의 이웃 상의 이전의 샘플링 점의 영향을 고려하는 것에 의해, n개의 새로운 샘플링 점을 갖는 새로운 샘플링 집합 M_out을 찾는 것이다.

스텝 1에 있어서, A와 동일한 연산자 Q를 개시한다.

스텝 2에 있어서, 우리는 Q 내의 행을 샘플링된 점 ∀i∈M_in의 1_i로 대체할 것을 제안한다.

여기서, 행 벡터 1_i의 엔트리는 제 i 엔트리가 1인 것을 제외하고 모두 0이다. 그래프 연산자에 있어서의 제안된 변경은 (방향을 갖는) 그래프 구조에 있어서의 몇몇의 대응하는 변경, 즉, 이미 샘플링된 점에 연결되는 그래프 에지를 제거하고, 이미 샘플링된 점에 대하여 자기 루프 에지를 추가하는 것을 의미한다.

스텝 3에 있어서, 중요도 스코어 ξ_M 및 π_M이 PX-AXP_row로서 초기화되고, 여기서 P.P_row는 행마다의 놈 연산자이다. 초기 중요도 스코어는 기본이 되는 그래프 구조에 근거하는 국소 정보의 측정치로 간주될 수 있다.

스텝 4에 있어서, 중요도 스코어 ξ_M은 샘플링되지 않은 점에 대응하는 그 엔트리가 0으로 리셋되도록 변경된다. 이때 ξ_M은 이전의 샘플링 점 집합 M에 의해 운반되고 있는 국소 정보를 나타낸다.

스텝 5의 각 반복에 있어서, 국소 정보는 이전의 샘플링 점으로부터 τ의 반경 내의 그들의 이웃에 전파된다. 스텝 5에 있어서 m회 루프하는 것에 의해, 그러한 정보는 mτ의 범위 내에 전파되고 이것은 ξ_M에 의해 나타내어진다.

스텝 6에 있어서, 이전의 샘플링 점 집합에 의해 운반된 정보 ξ_M을 당초의 점군으로부터의 총 정보 π_M으로부터 감산한 후, 새로운 정보 측정치 π_M을 얻는다.

마지막으로 스텝 7에 있어서, 우리는 새로운 정보 측정치 π_M에 근거하는 n개의 새로운 샘플링 점을 갖는 새로운 샘플링 집합 M_out을 선택할 수 있다.

상기에서 제안된 알고리즘을 반복적으로 호출하여 샘플링 집합의 입도를 증대시켜 매우 거친 표현에 근거하는 당초의 점군의 계층 표현을 실현할 수 있다. 결과로서 얻어진 방법은 각층이 생성된 후 다른 표현 층의 생성을 기다리는 일 없이 각 층의 후속 처리가 즉시 기동될 수 있으므로 "단일 패스" 분해 수순이다.

다른 실시의 형태에서는, 스텝 3에 있어서 놈 연산을 실행하지 않을 수 있지만, X-AX를 ξ_M 내에 유지하여 실제의 국소 정보를 기억한다. 스텝 6까지, π_M을 갱신하기 전에, 먼저 ξ_M에 대하여 놈 연산을 행한다. 특히 국소 정보가 다차원일 때, 국소 중요도 스코어가 아닌 국소 정보를 전파시키는 것이 유리하다.

(기준 기반의 리샘플링)

우리는 대규모 점군으로부터 기준 점의 집합을 리샘플링하는 것을 검토한다. 기준 점은 점군의 압축, 인덱싱 및 시각화에 있어서 이용될 수 있는 다른 점의 위치를 나타내는데 이용된다. 이 아이디어는 먼저 기준 점의 좌표를 부호화하고, 다음으로 다른 모든 점의 가장 가까운 기준 점에 대한 상대 좌표를 부호화하는 것이다. M_j∈{1, …, N}을 갖는 K개의 기준 인덱스의 시퀀스를 M=(M₁, …, M_K)로 나타내기로 한다. 목적은 이하의 함수를 최소화하는 것에 의해 기준 점의 집합을 찾는 것이다.

여기서,

는 각 점의 가장 가까운 기준 점을 찾는 것이고, w_m은 제 m 점의 가중치이다. 예컨대, 인간의 눈은 3D 점군을 시각화했을 때에 물체의 윤곽에 대하여 보다 민감하다. 따라서, 윤곽 점에 보다 높은 가중치를 할당한다.

가중치가 균일할 때, (28)은 클러스터 중심이 당초의 점으로부터의 것임을 제외하고 K-평균 클러스터링과 유사하다. (28)을 간단히 가중된 K-평균 클러스터링 문제라고 부른다. 하지만, 대규모 3D 점군에 통상의 클러스터링 알고리즘을 이용할 수 없다. K-평균 클러스터링은 계산적으로 곤란(NP 곤란)한 것이 알려져 있다. 로이즈 알고리즘 및 그 변형 등의 효율적인 휴리스틱 알고리즘이 존재하지만, 이들 알고리즘은 클러스터를 찾기 위해 반복을 행하고, 각 반복은 K개의 클러스터 중심의 각각과 N개의 데이터 점의 사이의 거리의 계산을 수반한다. K가 매우 클 때, 총 계산 비용은 매우 크다. 우리는 대규모 점군 및 수백만 개의 기준 점을 다루므로, 반복을 행하는 일 없이 기준 점을 찾기를 원한다. 다시 말해서, 작업은 가중된 K-평균 클러스터링의 시드 점(seeding point)을 효율적으로 선택하는 것이다.

K-평균++[?]로부터 영감을 받아, 우리의 아이디어는 샘플링 분포를 순서대로 갱신하는 것이다. 제 i 시점에 있어서의 샘플링 분포를 π⁽ⁱ⁾로 나타내기로 한다. 각 시점에 있어서, π⁽ⁱ⁾로부터 하나의 샘플을 생성하고 이 새로운 샘플에 따라 샘플링 분포를 갱신한다. 샘플링 분포는 가장 가까운 기준 점까지의 유클리드 거리에 근거하여 갱신된다. 국소 영역에 있어서 많은 점을 샘플링하는 것을 회피한다. 제안된 가중된 K-평균++와 원래의 K-평균++의 사이의 차이는 특징 특성도 고려한다고 하는 것이다. 이 알고리즘은 도 16을 참조하라.

스텝 1에 있어서, 기준 인덱스의 집합

및 샘플링 분포 π를 개시하고, 여기서 제 i 샘플을 샘플링할 확률은 특징값, 즉,

에 비례한다.

스텝 2에 있어서, 샘플링 분포 π로부터 하나의 기준 인덱스 M₁을 생성하고 이것을 집합 M에 포함시킨다.

스텝 3에 있어서, M의 농도(cardinality)가 K에 도달할 때까지, 스텝 3.1 및 3.2를 반복한다.

스텝 3.1에 있어서,

를 할당하는 것에 의해 샘플링 분포 π를 갱신하고, 여기서

는 제 i 점과 그 가장 가까운 기준 점의 사이의 유클리드 거리이다.

스텝 3.2에 있어서, 샘플링 분포 π로부터 다른 기준 인덱스 M₂를 생성하고 이것을 집합 M에 포함시킨다.

원래의 K-평균++와 마찬가지로, 오차의 이론적 한계를 도출할 수 있다. 섹션 4.1에 있어서의 유사한 기법을 이용하여 복잡함 부담을 높일 수 있다.

(응용)

이 섹션에서는, 제안된 리샘플링 전략을 몇몇의 응용, 즉, 대규모 시각화, 로버스트한 형상 모델링, 특징 해석, 및 계층 표현에 적용한다.

(대규모 시각화)

이 작업에서는, 제안된 리샘플링 전략을 이용하여 대규모 시가 신을 효율적으로 시각화한다. 우리는 시가 신에 있어서의 건물 및 도로의 윤곽에 민감하므로, 점군 전체를 나타내는 대신, 점의 선택된 부분 집합만을 나타낸다. 전부 30억 개를 넘는 점을 갖는 몇몇의 자연의 신을 수반하고, 다양한 시가 신의 범위, 즉, 교회, 도로, 철도 선로, 광장, 마을, 축구장, 성곽을 커버하는 대규모 데이터 세트를 고려한다. 도 9에 있어서, 부분도 905는 15,105,667개의 점을 포함하는 "domfountain3"의 점군을 나타낸다(지면의 점은 무시한다). 균일한 샘플링 및 하이 패스 그래프 필터링 기반의 샘플링의 두 가지 리샘플링 전략에 근거하는 리샘플링된 점군을 비교한다. 부분도 910, 915, 920은 각각 151,057개, 15,105개 및 1,510개(1%, 0.1% 및 0.01%)의 점을 갖는 균일한 샘플링에 근거하는 리샘플링된 점군을 나타낸다. 부분도 930, 935, 940은 각각 151,057개, 15,105개 및 1,510개(1%, 0.1% 및 0.01%)의 점을 갖는 하이 패스 그래프 필터링 기반의 샘플링에 근거하는 리샘플링된 점군을 나타낸다. 부분도 930, 935, 940이 부분도 910, 915, 920보다 훨씬 명료한 윤곽을 나타내는 것을 알 수 있다. 이것은 하이 패스 그래프 필터링 기반의 리샘플링 전략이 대규모 시가 신에 대하여 시각에 적합한 결과를 제공하는 것을 확증한다. 그래프 구축, 국소 변동 계산 및 리샘플링을 포함하는 모든 계산 처리는 데스크톱의 Matlab에서 실행되었고 200초 미만이 걸렸다.

몇몇의 세부를 조사하기 위해, 각각 381,903개 및 1,622,239개의 점을 포함하는 건물 및 교회를 포함하는 두 가지의 줌인 예를 도 10에 나타낸다. 부분도 1005 및 1010은 당초의 점군을 나타낸다. 부분도 1015 및 1020에서는, 균일한 샘플링이 이용된다. 부분도 1025 및 1030에서는, 하이 패스 그래프 필터링에 근거하는 제안된 리샘플링이 이용된다. 건물 및 교회의 양쪽의 외형을 윤곽으로서 성공적으로 검출하는 것을 확인할 수 있다. 건물의 문 및 창과 교회의 시계 및 지붕 등의 몇몇의 세부도 강조 표시된다. 이것은 제안된 국소 변동의 유효성을 확증한다. 제 3 열을 제 2 열과 비교하면, 하이 패스 그래프 필터링에 근거하는 리샘플링된 점은 윤곽을 보존한다. 1015 및 1020과 비교하면, 1025 및 1030에 있어서의 리샘플링된 점으로부터 건물의 문 및 창의 윤곽을 인식하는 것이 보다 용이하다.

(로버스트한 형상 모델링)

이 작업에서는, 제안된 리샘플링 전략을 이용하여 로버스트한 형상 모델링을 실현한다. 목표는 당초의 점군 내의 모든 점을 이용하는 대신에 점의 작은 부분 집합을 이용하는 것에 의해 모델을 효율적으로 획득하는 것이다. 이 모델이 특히 잡음을 갖는 점군에 대하여 물체의 진정한 표면을 반영하기를 원한다.

도 11에 있어서, 부분도 1105는 62,235개의 점을 포함하는 피트니스 볼의 점군을 나타낸다. 이 무잡음의 경우에는, 피트니스 볼의 표면은 구에 의해 모델링될 수 있다. 부분도 1110은 녹색의 구를 피트니스 볼에 적용시킨다. 이 구의 반경 및 3D 중심 점은 0.318238 및 [0.0832627 0.190267 1.1725]이다. 계산을 이용하기 위해, 점의 부분 집합을 리샘플링하고 다른 구를 리샘플링된 점에 적용시킬 수 있다. 당초의 점군 및 리샘플링된 점군에 의해 생성된 이들 2개의 구가 유사하기를 원한다.

많은 현실적 경우에는, 당초의 점은 잡음을 수반하여 수집된다. 잡음을 갖는 경우를 시뮬레이션하기 위해, 평균 0 및 분산 0.02를 갖는 가우스 잡음을 각 점에 더한다. 우선 균일하게 리샘플링된 점군을 취득한다. 다음으로 잡음 제거된 점군이 로우 패스 그래프 필터링(21)에 의해 취득되고 리샘플링 전략이 (20)에 근거한다. 마지막으로 당초의 볼(잡음을 갖지 않음), 잡음을 갖는 볼(가우스 잡음이 더해짐), 잡음을 갖는 볼로부터 균일하게 리샘플링된 볼, 및 제안된 로우 패스 그래프 필터를 이용하여 리샘플링된 볼의 4개의 점군으로부터의 구를 적용시킨다. 구의 통계가 도 12에 나타내어진다. 잡음 제거된 볼 및 그 리샘플링된 버전은 잡음을 갖는 볼 및 균일하게 샘플링된 버전을 능가하는데, 추정된 반경 및 중심 점이 당초의 반경 및 중심 점에 보다 가깝기 때문이다. 이것은 로우 패스 그래프 필터링을 이용한 제안된 리샘플링 전략이 잡음을 갖는 점군의 로버스트한 형상 모델링을 제공하는 것을 확증한다.

(특징 해석)

제안된 하이 패스 그래프 필터 기반의 리샘플링을 이용하면, 높은 중요도 스코어를 갖는 점의 작은 집합이 구해질 수 있다. 그러한 점의 작은 부분 집합은 점군 내의 에지, 코너에 대응하므로, 그들은 당초의 점군의 중요한 점으로 간주될 수 있다.

또한, 특징 기술자는 국소적인 이웃 내의 점에 관련된 몇몇의 속성에 관한 국소 기술자, 예컨대, 위치, 구배, 방위 및 축척을 수집한 것인 당초의 점군의 선택된 중요한 점에 관하여 정의될 수 있다.

도출된 특징 기술자에 근거하면, 몇몇의 점군 해석 작업이 실시될 수 있다. 예컨대, 점군 데이터베이스의 쿼리(query) 점군이 주어지면, 유사한 점군이 검색되고 회수될 수 있다. 2개의 점군의 사이의 유사도는 그들의 특징 기술자의 사이의 차이를 계산하는 것에 의해 측정될 수 있다.

(계층 표현)

한정된 처리 능력에 기인하여, 점의 모집단(population)은 보통 제어될 필요가 있다. 예컨대, 점군 렌더링 디바이스는 한 번에 특정한 수의 점만 표시할 수 있다. 또는, 점군으로부터 특징을 추출하는 디바이스는 한정된 계산 리소스만 이용 가능하기 때문에 한정된 사이즈의 점 집합만 다룰 수 있다. 점의 특정한 밀도는 점군의 축척 레벨에 대응한다. 또한, 줌인/줌아웃과 같은 조작은 점군의 계층 표현을 생성해야 하는 점군의 일련의 축척 레벨을 필요로 한다.

표현의 상위 층이 보다 많은 점으로 채워진다고 가정하면, S_i를 제 i 층에 있어서의 점의 집합으로 하고, i=1을 가장 거친 층으로 하고, i=M을 가장 미세한 층으로 한다.

그러한 계층 표현을 생성하는 단순한 방법은 상이한 축척에 있어서의 일련의 점 부분 집합을 처리되지 않은(raw) 점군으로부터 독립적으로 생성하고, 상기에 제안된 바와 같은 바람직한 리샘플링 전략을 이용하는 것이다. 그러한 단순한 방법을 이용하면, 보다 거친 층에 있는 점은 보다 미세한 층에 존재할 필요가 없다.

하지만, 이것은 k<l인 한 ∀i∈S_l, i∈S_k가 성립한다고 가정하면 이점을 제공할 수 있다. 이와 같이, 보다 거친 층으로부터의 정보는 보다 미세한 층으로 전환할 때에 폐기되지 않을 것이다. 보다 미세한 층으로부터의 새로운 정보는 보다 거친 층에 부가되어 정제된 출력을 생성한다. 다시 말해서, 보다 미세한 층으로 이동할 때 보다 거친 층으로부터의 정보를 폐기하는 경우, 이것은 기억 공간 또는 전송 레이트의 낭비이다.

이하에서, 우리는 점군의 계층 표현을 반복적인 방법으로 생성하는 고급 수법을 제안한다.

가장 미세한 층 S_N을 처리되지 않은 점군과 동일한 것으로 한다. 보다 미세한 층 S_j+1이 이용 가능한 것으로 하여 보다 거친 층 S_i를 생성할 필요가 있다고 가정한다.

상기에서 제안된 리샘플링 전략을 점 집합 S_j+1에 대하여 적용하는 것이 추천된다. 즉, 독립한 가장 가까운 이웃 그래프가 점 집합 S_i+1 상에 구축되고, 여기서 가장 가까운 이웃은 현재의 층 j+1에 있어서의 점의 밀도를 고려하는 것에 의해 적절한 반경을 이용하여 규정될 필요가 있다. 반경은 보다 미세한 층으로부터 거친 층으로 증가하는 것으로 한다. 그 경우 바람직한 랜덤 샘플링 방법이 적용되어 S_i+1로부터 부분 집합 S_i를 생성한다. 제안된 수순을 이용하면, 계층 표현은 가장 조밀한 점 집합(가장 미세한 해상도)으로부터 가장 희박한 점 집합(가장 거친 해상도)을 향해 생성되어 간다.

당초의 점군을 볼 때, 시인자는 그러한 계층 표현의 상이한 층의 사이를 돌아다니는(navigate) 것에 의해 줌인 조작, 줌 아웃 조작을 행할 수 있다.

또한, 계층 표현 생성에 이어서 공간 스케일러블 부호화 방식이 설계될 수 있다. 바람직한 공간 스케일러블 부호화 방식은 2패스 수순이고, 제 1 패스는 S_N으로부터 S₁로의 계층 표현을 생성하는 것이고 제 2 패스는 S₁로부터 S_N으로의 실제의 부호화를 위한 것이다. 즉, 이 부호화는 가장 거친 층 S₁로부터 개시된다. S_i가 부호화되었다고 가정하면, 우리는 여분의 점

를 S_i에 근거하는 예측적인 방법으로 부호화하는 것을 제안한다.

하나의 구현에서는, 기존의 방법, 예컨대, 팔진트리 부호화 방법을 이용하여, 가장 거친 층 S₁을 부호화한다. 다음으로, S_i-1에 있어서의 점을 점 예측치로서 이용하여 보다 미세한 층 S_i를 부호화하기 위해, 우리는 S_i-1에 있어서의 점을 유클리드 거리에 근거하는 중심으로서 이용하여 S_i에 있어서의 점을 클러스터링하는 것을 제안한다. 그러한 방법으로,

에 있어서의 새로운 점이 S_i-1에 있어서의 점에 의해 효율적으로 예측될 수 있다.

본 개시에서는, 우리는 대규모 점군에 있어서 중요한 특징을 추출하고 그 후의 계산을 이용하도록 점의 부분 집합을 선택하는 리샘플링 체계를 제안했다. 시프트 불변 및 회전 불변인 것도 보증되는 최적의 샘플링 분포를 취득하는 최적화 문제를 공식화하였다. 또한, 그래프 필터이고, 올 패스 그래프 필터링, 로우 패스 그래프 필터링 및 하이 패스 그래프 필터링에 근거하는 리샘플링 전략을 고려한 특징 추출 연산자를 지정하였다. 대규모 시각화, 로버스트한 형상 모델링, 특징 기술자 추출, 계층 표현 및 부호화를 포함하는 몇몇의 애플리케이션이, 제안된 리샘플링 방법의 유효성 및 효율성을 실증하기 위해서 제시된다.

도 17은, 본 개시의 실시의 형태에 따른, 대체의 컴퓨터 또는 프로세서를 이용하여 구현될 수 있는 도 1의 방법을 나타내는 블록도이다. 컴퓨터(1711)는 프로세서(1740)와, 컴퓨터 판독 가능 메모리(1712)와, 기억 장치(1758)와, 디스플레이(1752) 및 키보드(1751)를 갖는 유저 인터페이스(1749)를 포함하고, 이들은 버스(1756)를 통해서 접속된다. 예컨대, 프로세서(1740) 및 컴퓨터 판독 가능 메모리(1712)와 통신하는 유저 인터페이스(1764)는 유저에 의한 유저 인터페이스(1764)의 표면인 키보드 표면(1764)으로부터의 입력을 받으면 입력 점군 데이터를 취득하여 컴퓨터 판독 가능 메모리(1712)에 기억한다.

컴퓨터(1711)는 용도에 따라 전력원(1754)을 포함할 수 있고, 전력원(1754)은 선택적으로 컴퓨터(1711)의 외부에 배치될 수 있다. 버스(1756)를 통해서 링크된 것은 디스플레이 디바이스(1748)에 접속하도록 구성된 유저 입력 인터페이스(1757)일 수 있고, 디스플레이 디바이스(1748)는 특히 컴퓨터 모니터, 카메라, 텔레비전, 프로젝터, 또는 모바일 디바이스를 포함할 수 있다. 프린터 인터페이스(1759)도 버스(1756)를 통해서 접속될 수 있고 인쇄 디바이스(1732)에 접속하도록 구성될 수 있으며, 인쇄 디바이스(1732)는 특히 액체 잉크젯 프린터, 고체 잉크 프린터, 대규모 상용 프린터, 감열식 프린터, UV 프린터, 또는 승화형 프린터를 포함할 수 있다. 네트워크 인터페이스 컨트롤러(NIC)(1734)는 버스(1756)를 통해서 네트워크(1736)에 접속하도록 구성되고, 특히 시계열 데이터 또는 다른 데이터가 컴퓨터(1711)의 외부의 서드 파티 디스플레이 디바이스, 서드 파티 화상 디바이스, 및/또는 서드 파티 인쇄 디바이스 상에 렌더링될 수 있다.

도 17을 더 참조하면, 특히 입력 점군 데이터, 출력 점 데이터 또는 다른 데이터가 네트워크(1736)의 통신 채널을 통해 송신되고/송신되거나 기억 및/또는 추가 처리를 위해 기억 시스템(1758) 내에 기억될 수 있다. 또한, 입력 점군 데이터, 출력 점 데이터 또는 다른 데이터는 수신기(1746)(또는 외부 수신기(1738))로부터 무선으로 또는 배선 접속으로 수신되거나 또는 송신기(1747)(또는 외부 송신기(1739))를 통해서 무선으로 또는 배선 접속으로 송신될 수 있고, 수신기(1746) 및 송신기(1747)는 모두 버스(1756)를 통해서 접속된다. 컴퓨터(1711)는 입력 인터페이스(1708)를 통해서 외부 센싱 디바이스(1744) 및 외부 입력/출력 디바이스(1741)에 접속될 수 있다. 예컨대, 외부 센싱 디바이스(1744)는 기계의 수집된 시계열 데이터의 전, 후, 중에 있어서 데이터를 수집하는 센서를 포함할 수 있다. 예컨대, 기계에 접근한 환경 조건 또는 기계에 접근하지 않은 환경 조건, 즉, 기계에 있어서의 온도 또는 기계의 가까이의 온도, 기계의 위치의 건물 내의 온도, 기계의 건물의 외부의 옥외의 온도, 기계 자체의 비디오, 기계에 접근한 영역의 비디오, 기계에 접근하지 않은 영역의 비디오, 기계의 양상에 관련된 다른 데이터. 컴퓨터(1711)는 다른 외부 컴퓨터(1742)에 접속될 수 있다. 출력 인터페이스(1709)는 프로세서(1740)로부터의 처리된 데이터를 출력하는데 이용될 수 있다.

또한, 본 명세서에 있어서 약술된 다양한 방법 또는 프로세스는 다양한 오퍼레이팅 시스템 또는 플랫폼 중 임의의 하나를 채용하는 하나 이상의 프로세서 상에서 실행 가능한 소프트웨어로서 코드화될 수 있다. 또한, 그러한 소프트웨어는 복수의 적합한 프로그램 언어 및/또는 프로그래밍 툴 또는 스크립팅 툴 중 임의의 것을 이용하여 기술될 수 있고, 실행 가능 기계어 코드 또는 프레임워크 또는 가상 기계 상에서 실행되는 중간 코드로서 컴파일될 수도 있다. 통상, 프로그램 모듈의 기능은 다양한 실시의 형태에 있어서 소망에 따라 조합 또는 분산될 수 있다.

또한, 본 개시의 실시의 형태는 방법으로서 구체화될 수 있고, 이 방법의 예가 제공되었다. 이 방법의 일부로서 실행되는 동작은 임의의 적합한 방법으로 순서가 정리될 수 있다. 따라서, 예시된 것과 상이한 순서로 동작이 실행되는 실시의 형태가 구축될 수 있고, 이 순서는 몇몇의 동작이 예시의 실시의 형태에서는 순차적인 동작으로서 나타나 있더라도 그들 동작을 동시에 실행하는 것을 포함할 수 있다. 또한, 청구항의 요소를 수식하는 청구범위에 있어서의 "제 1", "제 2" 등의 서수의 용어의 사용은 그 자체로 하나의 청구항의 요소의 다른 청구항의 요소에 대한 우선순위, 우위성, 순서를 암시하거나 또는 방법의 동작이 실행되는 시간적인 순서를 암시하는 것이 아니고, 청구항의 요소를 구별하기 위해 단지 특정한 명칭을 갖는 하나의 청구항의 요소를 동일한(서수의 용어의 사용을 제외함) 명칭을 갖는 다른 요소와 구별하는 라벨로서 이용된다.

Claims (20)

1. 점을 갖는 입력 점군을 처리하는 시스템으로서,
   각 점은 2차원(2D) 좌표 및 3차원(3D) 좌표 및 다른 속성을 포함하는 속성의 집합을 포함하고,
   상기 시스템은,
   신(scene)을 센싱하고, 컴퓨터 판독 가능 메모리와 통신하여 상기 입력 점군을 생성하는 센서와,
   출력 인터페이스와,
   상기 컴퓨터 판독 가능 메모리와 통신하는 프로세서
   를 포함하고,
   상기 프로세서는,
   상기 입력 점군에 액세스하는 것과,
   상기 입력 점군을 나타내는 그래프를 상기 그래프에 있어서의 노드를 나타내는 상기 입력 점군 내의 각 점에 근거하여 구축하고, 상기 그래프에 있어서의 2개의 이웃 노드를 특정하고 접속하여 그래프 에지를 얻는 것과,
   상기 구축된 그래프에 근거하여 그래프 필터링 함수를 구하는 것과,
   상기 점의 속성의 부분 집합을 선택하는 것과 상기 선택된 속성의 부분 집합에 대하여 상기 그래프 필터링 함수를 적용하는 것에 의해 상기 입력 점군 내의 각 점을 필터링하여, 상기 입력 점군 내의 각 점의 적어도 하나의 값을 구하는 것과,
   각 점의 확률을 상기 입력 점군 내의 상기 점의 모든 값의 총합과 비교한 상기 점의 상기 적어도 하나의 값 및 출력 점군 내의 점의 미리 결정된 수에 근거하여 생성하는 것과,
   각 점의 상기 확률의 랜덤 평가를 이용하여 상기 입력 점군을 샘플링하여, 상기 입력 점군 내의 점의 부분 집합을 구하는 것-점의 상기 부분 집합은 상기 출력 점군임-과,
   상기 출력 점군을 상기 컴퓨터 판독 가능 메모리에 기억하는 것 또는 상기 프로세서와 통신하는 상기 출력 인터페이스를 통해서 상기 출력 점군을 출력하는 것
   을 행하도록 구성되고,
   상기 입력 점군 내의 점의 부분 집합을 구하는 것은, 추가의 점이 선택되어 상기 구해진 점의 부분 집합에 더해지는 제 2 점의 부분 집합을 구하는 것을 포함하고,
   상기 제 2 점의 부분 집합은 상기 입력 점군의 상기 구해진 점의 부분 집합의 세부보다 상세한 상기 입력 점군의 세부를 제공하고,
   나머지의 점으로부터 상기 구해진 점의 부분 집합 내의 상기 점까지의 유클리드 거리에 비례하는 축척을 이용하여 상기 나머지의 점의 확률의 계수를 갱신하는
   시스템.
   
2. 제 1 항에 있어서,
   상기 점의 상기 속성의 부분 집합은 유저 입력에 근거하여 선택되는 시스템.
   
3. 제 1 항에 있어서,
   상기 입력 점군을 샘플링하기 위한 각 점의 상기 확률을 생성하는 것은 상기 입력 점군 내의 상기 점의 모든 값의 총합과 비교한 상기 점의 상기 적어도 하나의 값에 상기 출력 점군 내의 점의 상기 미리 결정된 수를 곱한 것에 근거하는 시스템.
   
4. 제 1 항에 있어서,
   상기 출력 점군 내의 점의 상기 미리 결정된 수는, 상기 출력 점군 내의 점의 상기 미리 결정된 수로서 유저의 점의 수를 설정하기 위해, 상기 프로세서와 통신하는 유저 입력 인터페이스의 표면에 있어서의 유저 입력에 의해 결정되는 시스템.
   
5. 제 1 항에 있어서,
   상기 입력 점군 내의 상기 점은 편성되거나 또는 편성되지 않는 시스템.
   
6. 제 1 항에 있어서,
   각 점의 속성의 상기 집합 내의 상기 다른 속성은 색, 온도, 텍스처 중 하나 또는 그들의 조합으로 이루어지는 그룹으로부터의 것인 시스템.
   
7. 제 1 항에 있어서,
   상기 그래프 에지는 그래프 노드로부터 τ의 반경 내에 있는 모든 이웃 그래프 노드에 접속되는 시스템.
   
8. 제 1 항에 있어서,
   상기 그래프 에지는 그래프 노드로부터 그 K개의 가장 가까운 이웃 그래프 노드에 접속되는 시스템.
   
9. 제 1 항에 있어서,
   상기 선택된 속성의 부분 집합은 각 점의 3D 좌표를 포함하고, 상기 3D 좌표는 상기 출력 점군을 구할 때 이용되는 시스템.
   
10. 제 1 항에 있어서,
    상기 선택된 속성의 부분 집합은 각 점에 관련된 색을 포함하고, 상기 색은 상기 출력 점군을 구할 때 이용되는 시스템.
    
11. 제 1 항에 있어서,
    각 점의 상기 확률은 그래프 노드마다의 임의의 미리 정해진 양의 상수인 시스템.
    
12. 제 1 항에 있어서,
    각 점의 상기 확률은 그래프 랜덤 워크(천이) 행렬, 그래프 라플라시안 행렬 또는 그래프 인접 행렬 중 하나의 함수에 의해 나타내어지는 상기 그래프 필터링 함수로부터 계산되는 시스템.
    
13. 제 1 항에 있어서,
    시각화, 물체 모델링, 계층 표현 또는 렌더링 중 하나로 이루어지는 그룹을 위해 상기 출력 점군을 출력하는 것을 더 구비하는 시스템.
    
14. 제 1 항에 있어서,
    상기 입력 점군을 요약하는 상기 출력 점군 내의 각 점의 특징 기술자를 생성하는 것과,
    상기 특징 기술자에 근거하여 물체를 검출하는 것
    을 더 구비하는 시스템.
    
15. 삭제
16. 삭제
17. 제 14 항에 있어서,
    상기 점의 부분 집합 내의 상기 점에 연결되고 그들에 추가되는 자기 루프 그래프 에지를 갖는 제거되는 상기 그래프 에지를 갖는 상기 그래프 필터링 함수로부터 변경된 그래프 구조에 근거하여 제 2 그래프 필터링 함수를 구하는 것과,
    상기 점의 부분 집합 내의 상기 점에 관한 상기 특징 기술자와 동일한 요소 및 0과 동일한 다른 요소를 갖는 정보 기술자를 선택하는 것과,
    특정한 시각을 갖는 상기 선택된 정보 기술자에 대하여 상기 구해진 제 2 그래프 필터링 함수를 적용하는 것에 의해 갱신된 정보 기술자를 계산하는 것과,
    상기 갱신된 정보 기술자에 대응하는 상기 제 2 그래프 필터링 함수를 이용하여 상기 출력 점군 내의 각 점에 대해 중요도 스코어를 계산하여 상기 중요도 스코어를 갱신하는 것
    을 더 구비하는 시스템.
    
18. 제 1 항에 있어서,
    상기 입력 점군 내의 점의 부분 집합을 구하는 것은,
    추가의 점이 선택되어 상기 구해진 점의 부분 집합으로부터 제거되는 제 2 점의 부분 집합을 구하는 것-상기 제 2 점의 부분 집합은 상기 입력 점군의 상기 구해진 점의 부분 집합의 세부보다 상세하지 않은 상기 입력 점군의 세부를 제공함-과,
    상기 점의 계층 집합에 근거하여 측정할 수 있는 방법으로 보다 거친 레벨로부터 보다 미세한 레벨로 상기 입력 점군을 부호화하는 것
    을 포함하는 시스템.
    
19. 점을 갖는 입력 점군을 처리하는 방법으로서,
    각 점은 2차원(2D) 좌표 및 3차원(3D) 좌표 및 다른 속성을 포함하는 속성의 집합을 포함하고,
    상기 방법은,
    컴퓨터 판독 가능 메모리와 통신하는 센서를 통해서 신(scene)을 센싱하여 상기 입력 점군을 생성하는 것과,
    상기 컴퓨터 판독 가능 메모리와 통신하는 프로세서를 이용하는 것
    을 구비하고,
    상기 프로세서는,
    상기 입력 점군에 액세스하는 것과,
    상기 입력 점군을 나타내는 그래프를 상기 그래프에 있어서의 노드를 나타내는 상기 입력 점군 내의 각 점에 근거하여 구축하고, 상기 그래프에 있어서의 2개의 이웃 노드를 특정하고 접속하여 그래프 에지를 얻는 것과,
    상기 구축된 그래프에 근거하여 그래프 필터링 함수를 구하는 것과,
    상기 점의 속성의 부분 집합을 선택하는 것과 상기 선택된 속성의 부분 집합에 대하여 상기 그래프 필터링 함수를 적용하는 것에 의해 상기 입력 점군 내의 각 점을 필터링하여, 상기 입력 점군 내의 각 점의 적어도 하나의 값을 구하는 것과,
    각 점의 확률을 상기 입력 점군 내의 상기 점의 모든 값의 총합과 비교한 상기 점의 상기 적어도 하나의 값 및 출력 점군 내의 점의 미리 결정된 수에 근거하여 생성하는 것과,
    각 점의 상기 확률의 랜덤 평가를 이용하여 상기 입력 점군을 샘플링하여, 상기 입력 점군 내의 점의 부분 집합을 구하는 것-점의 상기 부분 집합은 상기 출력 점군임-과,
    상기 출력 점군을 상기 컴퓨터 판독 가능 메모리에 기억하는 것 또는 상기 프로세서와 통신하는 출력 인터페이스를 통해서 상기 출력 점군을 출력하는 것
    을 행하도록 구성되고,
    상기 입력 점군 내의 점의 부분 집합을 구하는 것은, 추가의 점이 선택되어 상기 구해진 점의 부분 집합에 더해지는 제 2 점의 부분 집합을 구하는 것을 포함하고,
    상기 제 2 점의 부분 집합은 상기 입력 점군의 상기 구해진 점의 부분 집합의 세부보다 상세한 상기 입력 점군의 세부를 제공하고,
    나머지의 점으로부터 상기 구해진 점의 부분 집합 내의 상기 점까지의 유클리드 거리에 비례하는 축척을 이용하여 상기 나머지의 점의 확률의 계수를 갱신하는
    방법.
    
20. 점을 갖는 기억된 입력 점군을 처리하는 방법을 실행하는 컴퓨터에 의해 실행 가능한 프로그램이 기록된 비 일시적 컴퓨터 판독 가능 기억 매체로서,
    각 점은 2차원(2D) 좌표 및 3차원(3D) 좌표 및 다른 속성을 포함하는 속성의 집합을 포함하고,
    상기 방법은,
    상기 비 일시적 컴퓨터 판독 가능 기억 매체와 통신하는 센서를 통해서 신(scene)을 센싱하여 상기 입력 점군을 생성하는 것과,
    상기 입력 점군을 나타내는 그래프를 상기 그래프에 있어서의 노드를 나타내는 상기 입력 점군 내의 각 점에 근거하여 구축하고, 상기 그래프에 있어서의 2개의 이웃 노드를 특정하고 접속하여 그래프 에지를 얻는 것과,
    상기 구축된 그래프에 근거하여 그래프 필터링 함수를 구하는 것과,
    상기 점의 속성의 부분 집합을 선택하는 것과 상기 선택된 속성의 부분 집합에 대하여 상기 그래프 필터링 함수를 적용하는 것에 의해 상기 입력 점군 내의 각 점을 필터링하여, 상기 입력 점군 내의 각 점의 적어도 하나의 값을 구하는 것과,
    각 점의 확률을 상기 입력 점군 내의 상기 점의 모든 값의 총합과 비교한 상기 점의 상기 적어도 하나의 값 및 출력 점군 내의 점의 미리 결정된 수에 근거하여 생성하는 것과,
    각 점의 상기 확률의 랜덤 평가를 이용하여 상기 입력 점군을 샘플링하여, 상기 입력 점군 내의 점의 부분 집합을 구하는 것-점의 상기 부분 집합은 상기 출력 점군임-과,
    상기 출력 점군을 상기 비 일시적 컴퓨터 판독 가능 기억 매체에 기억하는 것 또는 상기 컴퓨터와 통신하는 출력 인터페이스를 통해서 상기 출력 점군을 출력하는 것
    을 구비하고,
    상기 입력 점군 내의 점의 부분 집합을 구하는 것은, 추가의 점이 선택되어 상기 구해진 점의 부분 집합에 더해지는 제 2 점의 부분 집합을 구하는 것을 포함하고,
    상기 제 2 점의 부분 집합은 상기 입력 점군의 상기 구해진 점의 부분 집합의 세부보다 상세한 상기 입력 점군의 세부를 제공하고,
    나머지의 점으로부터 상기 구해진 점의 부분 집합 내의 상기 점까지의 유클리드 거리에 비례하는 축척을 이용하여 상기 나머지의 점의 확률의 계수를 갱신하는
    비 일시적 컴퓨터 판독 가능 기억 매체.

Images