KR20220088917A

KR20220088917A - 시각적 충실도를 유지하면서 체적 데이터를 감소시키는 것

Info

Publication number: KR20220088917A
Application number: KR1020227017745A
Authority: KR
Inventors: 브래드 헌트; 토비아스 앤더버그
Original assignee: 소니그룹주식회사; 소니 픽쳐스 엔터테인먼트, 인크.
Priority date: 2019-12-13
Filing date: 2020-12-11
Publication date: 2022-06-28
Also published as: JP2022554410A; US20210183144A1; CA3160222A1; CN114026605A; EP4055565A1; WO2021119405A1; JP7419522B2; EP4055565A4; US11544903B2

Abstract

체적 데이터를 관리하는 것은 공간의 체적에 뷰 체적을 정의하는 것 - 체적 데이터는 공간의 체적에 다수의 지점들을 갖고 적어도 하나의 지점은 뷰 체적 내에 있고 적어도 하나의 지점은 뷰 체적 내에 있지 않음-; 공간의 체적에 그리드를 정의하는 것 - 그리드는 다수의 셀들을 갖고 공간의 체적을 개별 셀들로 분할하며, 각각의 지점은 그리드에서 대응하는 셀을 가지며, 그리드 내 각각의 셀은 0개 이상의 대응하는 지점들을 가짐-; 및 해당 셀이 뷰 체적 외부에 있는 그리드 내 셀에 대한 지점들의 개수를 감소시키는 것을 포함한다.

Description

시각적 충실도를 유지하면서 체적 데이터를 감소시키는 것

본 개시내용은 체적 데이터(volumetric data), 보다 구체적으로, 시각적 충실도를 유지하면서 체적 데이터를 감소시키는 것에 관한 것이다.

체적 데이터는 일부 경우들에서, 수백 기가바이트의 메모리 및 수십억 개의 고유 지점들(points) 정도로 매우 클 수 있다. 이러한 막대한 양의 데이터를 로딩 및 렌더링하는 것은 실시간 성능, 특히 영화들 및 TV, 게임들, 및 가상 및 증강 현실 경험들에서의 가상 프로덕션에 있어 매우 문제가 될 수 있다.

본 개시내용은 시각적 충실도를 유지하면서 체적 데이터를 감소시키는 것을 제공한다.

일 구현예에서, 체적 데이터를 관리하는 방법이 개시된다. 본 방법은 공간의 체적에 뷰 체적(view volume)을 정의하는 단계 - 체적 데이터는 공간의 체적에 다수의 지점들을 갖고 적어도 하나의 지점은 뷰 체적 내에 있고 적어도 하나의 지점은 뷰 체적 내에 있지 않음-; 공간의 체적에 그리드를 정의하는 단계 - 그리드는 다수의 셀들을 갖고 공간의 체적을 개별 셀들로 분할하며, 각각의 지점은 그리드에서 대응하는 셀을 가지며, 그리드 내 각각의 셀은 0개 이상의 대응하는 지점들을 가짐-; 및 해당 셀이 뷰 체적 외부에 있는 그리드 내 셀에 대한 지점들의 개수를 감소시키는 단계를 포함한다.

일 구현예에서, 본 방법은 또한 뷰 체적 내부에 있는 셀들에 대해 지점들의 개수를 일정하게 유지하는 단계를 더 포함한다. 일 구현예에서, 뷰 체적은 3차원(3-D) 박스이다. 일 구현예에서, 셀에 대한 지점들의 개수를 감소시키는 단계는 제1 개수의 지점들을 제2 개수의 지점들로 대체하기 위해 체적 데이터를 병합하고 공간적으로 필터링하는 단계를 포함하며, 제1 개수는 제2 개수보다 크다. 일 구현예에서, 제2 개수의 지점들에서의 각각의 지점은 로컬-평균된 위치, 컬러, 및 사이즈를 이용한다. 일 구현예에서, 본 방법은 또한 그리드 내 셀에 대한 2개 이상의 서브-셀들을 정의하는 단계를 더 포함하며, 각각의 서브-셀은 셀 내에 있다.

다른 구현예에서, 체적 데이터를 관리하는 시스템이 개시된다. 시스템은 공간의 체적에 뷰 체적을 정의하는 뷰 체적 정의기(view volume definer) - 체적 데이터는 공간의 체적에 다수의 지점들을 갖고 적어도 하나의 지점은 뷰 체적 내에 있고 및 적어도 하나의 지점은 뷰 체적 내에 있지 않음-; 공간의 체적에 그리드를 정의하는 그리드 정의기(grid definer) - 그리드는 다수의 셀들을 가지며, 공간의 체적은 개별 셀들로 분할되며, 각각의 지점은 그리드에서 대응하는 셀을 가지며, 그리드 내 각각의 셀은 0개 이상의 대응하는 지점들을 가짐-; 뷰 체적 정의기로부터 뷰 체적을 그리고 그리드 정의기로부터 그리드를 수신하는 프로세서; 및 프로세서로부터 뷰 체적 및 그리드를 수신하여 셀이 뷰 체적 외부에 있을 때 체적 데이터의 그리드 내 셀에 대한 지점들의 개수를 감소시키는 지점 감소기(point reducer)를 포함하며, 지점 감소기가 그의 동작을 종료하면 프로세서가 지점-감소된 체적 데이터를 디스플레이한다.

일 구현예에서, 시스템은 사용자에 의해 착용된 머리-장착형 가상 현실(VR) 세트이며, 여기서, VR 세트는 사용자가 보기 위해 체적 데이터를 프로세싱하여 디스플레이하도록 구성된다. 일 구현예에서, 뷰 체적은 3-D 박스이다. 일 구현예에서, 시스템은 제1 개수의 지점들을 제2 개수의 지점들로 대체하기 위해 체적 데이터를 병합 및 공간적으로 필터링하는 병합기들 및 공간 필터들(mergers and spatial filters)을 더 포함하며, 제1 개수는 제2 개수보다 크다. 일 구현예에서, 병합기들 및 공간 필터들은 또한 제2 개수의 지점들에서의 각각의 지점의 위치, 컬러, 및 사이즈의 로컬 평균을 수행한다. 일 구현예에서, 시스템은 그리드 내 셀에 대한 2개 이상의 서브-셀들을 정의하는 서브-셀 정의기를 더 포함하며, 각각의 서브-셀은 셀 내에 있다. 일 구현예에서, 서브-셀 정의기는 3차원의 박스 필터를 이용하여 각각의 지점의 위치, 컬러, 및 사이즈를 정의한다. 일 구현예에서, 서브-셀 정의기는 3차원의 가우시안 필터를 이용하여 각각의 지점의 위치, 컬러, 및 사이즈를 정의한다.

다른 구현예에서, 체적 데이터를 관리하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터-판독가능 저장 매체가 개시된다. 컴퓨터 프로그램은 컴퓨터로 하여금, 공간의 체적에 뷰 체적을 정의하게 하고 - 여기서, 체적 데이터는 공간의 체적에 다수의 지점들을 갖고 적어도 하나의 지점은 뷰 체적 내에 있고 적어도 하나의 지점은 뷰 체적 내에 있지 않음-; 공간의 체적에 그리드를 정의하게 하고 - 그리드는 다수의 셀들을 갖고 공간의 체적을 개별 셀들로 분할하며, 여기서, 각각의 지점은 그리드에서 대응하는 셀을 가지며, 그리드 내 각각의 셀은 0개 이상의 대응하는 지점들을 가짐-; 및 해당 셀이 뷰 체적 외부에 있는 그리드 내 셀에 대한 지점들의 개수를 감소시키게 하는 실행 가능한 명령들을 포함한다.

일 구현예에서, 컴퓨터 프로그램은 컴퓨터로 하여금, 뷰 체적 내부에 있는 셀들에 대해 지점들의 개수를 일정하게 유지하게 하는 실행 가능한 명령들을 더 포함한다. 일 구현예에서, 뷰 체적은 3차원(3-D) 박스이다. 일 구현예에서, 컴퓨터로 하여금 셀에 대한 지점들의 개수를 감소시키기에 하는 실행 가능한 명령들은 컴퓨터로 하여금, 제1 개수의 지점들을 제2 개수의 지점들로 대체하기 위해 체적 데이터를 병합 및 공간적으로 필터링하게 하는 실행 가능한 명령들을 포함하며, 제1 개수는 제2 개수보다 크다. 일 구현예에서, 제2 개수의 지점들에서의 각각의 지점은 로컬-평균된 위치, 컬러, 및 사이즈를 이용한다. 일 구현예에서, 컴퓨터 프로그램은 컴퓨터로 하여금, 그리드 내 셀에 대한 2개 이상의 서브-셀들을 정의하게 하는 실행 가능한 명령들을 더 포함하며, 각각의 서브-셀은 셀 내에 있다.

다른 특징들 및 이점들은 일 예로서, 본 개시내용의 양태들을 예시하는 본 설명으로부터 명백해야 한다.

구조 및 동작 모두에 관한 본 개시내용의 세부 사항들은 첨부된 도면들의 연구에 의해 부분적으로 수집될 수도 있으며, 유사한 도면부호들은 유사한 부재들을 지칭한다.
도 1a는 본 개시내용의 일 구현예에 따른, 체적 데이터를 관리하는 방법의 흐름도이다.
도 1b는 그리드 내 셀에 대한 지점들의 개수를 감소시키는 단계의 예시이다.
도 2는 본 개시내용의 일 구현예에 따른, 체적 데이터를 관리하는 시스템의 블록도이다.
도 3a는 본 개시내용의 구현예에 따른 컴퓨터 시스템 및 사용자의 표현이다.
도 3b는 본 개시내용의 구현예에 따른, 비디오 애플리케이션을 호스팅하는 컴퓨터 시스템을 예시하는 기능 블록도이다.

위에서 설명한 바와 같이, 체적 데이터는 매우 클 수 있다. 따라서, 이러한 막대한 양의 데이터를 로딩 및 렌더링하는 것은 실시간 성능, 특히 영화들 및 TV, 게임들, 및 가상 및 증강 현실 경험들에서의 가상 프로덕션에 있어 매우 문제가 있을 수 있다.

본 개시내용의 특정의 구현예들은 비디오 데이터를 프로세싱하는 기법을 구현하는 시스템들 및 방법들을 제공한다. 일 구현예에서, 비디오 시스템은 체적 데이터를 생성 및 관리한다. 시스템은 체적 데이터의 제한된 뷰잉 체적(viewing volume)을 규정한다. 시스템은 제한된 뷰잉 체적을 이용하여, 내부 뷰잉 체적 내부의 임의의 위치 및 방향에서 렌더링된 시각적 충실도/품질의 손실 없이, 데이터의 전체 체적 지점 수(volumetric point count)를 감소시킨다. 이 감소는 더 적은 개수의 지점들의 프로세싱으로 인해, 감소된 데이터 로딩 시간들 및 더 빠른 데이터의 스트리밍 뿐만 아니라, 더 빠른 렌더링(시각적 디스플레이)을 가능하게 한다. 속도에서의 이들 향상들은 머리-장착형 디스플레이들의 성능 요구사항들로 인한 가상 현실(VR) 애플리케이션들에 대해, 그리고 영화들 및 TV, 게임들, 및 가상 및 증강 현실 경험들에서의 가상 프로덕션에 대해, 유용하다.

하기 설명들을 읽은 후, 다양한 구현예들 및 애플리케이션들에서 본 개시내용을 구현하는 방법이 명백해질 것이다. 본 개시내용의 다양한 구현예들이 본원에서 설명되지만, 이들 구현예들이 단지 일 예로서, 그리고 제한 없이 제시되는 것으로 이해되어야 한다. 이와 같이, 다양한 구현예들의 상세한 설명은 본 개시내용의 범위 또는 넓이를 제한하는 것으로 해석되지 않아야 한다.

일 구현예에서, 특정의 뷰잉 체적은 내부 뷰잉 체적으로부터 공간의 체적(예컨대, 영화 또는 게임에서의 장면) 내 임의의 위치까지의 거리가 증가함에 따라 시각적 충실도가 감소하는 잠재적인 관심 보기 가능 영역들(viewable areas)을 정의한다. 이 구현예에서, 일정한 세부 사항의 레벨이 입력 특성 '최소 지점 사이즈'를 이용하여 내부 뷰잉 체적 내부의 모든 지점들에 대해 설정될 수 있지만, 다양한 세부 사항의 레벨이 체적으로부터 외부 위치까지의 거리에 기초하여 체적 경계로부터 멀리 떨어진 최소 내부 지점 사이즈를 투영함으로써, 내부 뷰잉 체적 외부의 위치들(즉, 외부 뷰잉 체적)에 대해 설정될 수 있다. 따라서, 사용자가 데이터를 관찰하는 위치를 제한하는 공간의 특정의 체적을 정의함으로써, 다양한 방법들이 시각적 충실도에 대해 아주 작은 영향을 미치는 방법으로 데이터를 결합 및 감소시키는데 이용될 수 있다.

일 구현예에서, 체적 데이터는 다수의 지점들을 로컬 평균된 위치, 컬러, 및 사이즈의 더 적은 지점들로 대체하기 위해 병합 및 공간적으로 필터링된다. 다른 구현예들에서, 지점과 연관된 임의의 특성은 공간 내 임의의 위치에서 필터링될 수 있다.

체적 데이터를 관리하기 위한 시스템의 일 구현예에서, 공간의 특정의 뷰 체적은 체적 데이터가 보일 것으로 예상되는 임의의 위치, 사이즈 및 방위에서 공간 내 3-D 박스로서 규정된다. 다른 구현예에서, 특정의 뷰 체적은 직사각형 피라미드의 3-D 뷰 절두체 또는 반구와 같은 다른 형상들로서 규정된다. 해당 체적에 대해 내부 및 외부 데이터 모두에 대한 선택적인 설정들이 있을 수 있다. 예를 들어, 내부 데이터에 대한 최소 지점 사이즈 및 외부 데이터에 대한 샘플 그리드의 해상도.

일 구현예에서, 공간 데이터 구조는 프로세싱 속도를 높이고 공간 내 특정의 위치에서 로컬로 인접한 지점들을 수집하기 위해 체적을 공간적으로 세분화하는데 사용된다. 공간 데이터 구조는 다양한 양의 매우-상세한 지점 클라우드들을 제한된 메모리로 효율적으로 처리하기 위해, 지점 위치들의 특성들 또는 더 깊은 공간 세분화들을 가진 지점들을 포함할 수 있다.

예를 들어, 공간 데이터 구조로서 균일 그리드를 이용하는 비디오 시스템에서, 시스템은 빠른 탐색을 위해 다수의 지점들을 "그리드 셀들"로 세분화한다. 일 구현예에서, 이는 인접한 지점들의 3-D 필터링을 위해 사용된다. 이 구현예에서, 각각의 3-D 지점 위치는 단일 곱셈 및 가산 연산을 사용하여 셀에 빨리 맵핑되며, 셀이 세분화되었으면 각각의 셀은 지점들 또는 서브-그리드들의 리스트를 가질 수 있다. 또, 단일 셀에서 큰 지점 리스트들을 피하기 위해, 셀은 성능을 향상시키기 위해 회귀적으로 세분화되고 사전-정렬될 수 있다. 일 구현예에서, 시스템은 셀 당 지점들의 최대 개수를 효율적으로 관리하기 위해 규정된 그리드 해상도를 정의한다. 시스템은 규정된 그리드 해상도에 기초하여 각각의 셀을 세분화한다. 따라서, 일 구현예에서, 단지 인접한 셀들만이 필터링을 위해 고려된다. 그러나, 다른 구현예들에서, 시스템은 예컨대, 품질을 향상시키기 위해 다수의 셀들 및 그리드들에 걸쳐, 임의의 필터 사이즈를 허용한다. 필터링된 데이터의 출력은 더 낮은 해상도에서 최종 균일 그리드에 의해 체적으로 분할되는 단일 큰 지점들의 리스트이다. 그 결과는 이후 지점들을 렌더링을 위해 연속 세밀도(LOD) 데이터 구조로 분할하는데 사용된다.

따라서, 일 구현예에서, 비디오 시스템은 다음 프로세스를 이용하여 체적 데이터를 관리한다. 각각의 지점에 대해, 다음 단계들이 취해진다: (1) 지점 예컨대 최소, 최대, 중심과 같은 지점에서 셀 특성들을 계산하는 단계; (2) 지점으로부터 가장 가까운 뷰잉 체적 직사각형 박스 경계까지의 거리를 계산하는 단계; (3) 지점이 박스 내부에 있으면 서브-셀을 최소 셀 사이즈로서 설정하고, 그렇지 않으면, 서브-셀을 경계로부터 투영된 사이즈를 발생시키는 거리에 투영하는 단계; (4) 서브-셀을 메인 그리드로부터의 데이터로 로딩하는 단계; (5) 각각의 서브-셀에서의 지점들의 리스트를 계산하는 단계; (6) 박스 필터를 이용하여 최종 서브-셀에서의 지점들의 리스트로부터 최종 지점 컬러 및 사이즈를 계산하고; 그리고 각각의 서브-셀에서 지점들의 리스트를 계산하는 단계.

대안적인 구현예에서, 정렬을 위해 균일 그리드를 이용하는 대신, 임의의 공간 데이터 구조(예컨대, KD-트리, BST, Octree, 등)가 런-타임 성능 및 메모리 제약에 대한 요구사항들에 따라서 사용될 수 있다. 또, 상이한 공간 정렬 시스템들을 함께 이용하는 것은 종종 단지 단일 유형의 정렬만을 이용하는 것보다 효율 향상을 제공한다. 예를 들어, 지점들을 KD-트리를 이용하여 '거친(coarse)' 정렬로서 먼저 정렬하고 그리고 그후 균일 그리드를 '정밀' 정렬로서 이용하는 것이 종종 유익하다. 그러나, 일반적으로, 균일 그리드는 다중 쓰레드 환경에서 최소의 CPU 실행 지연을 위해 우수한 CPU 캐시 코히런시를 갖기 때문에 빠르게 실행된다.

서브-셀에서의 최종 지점 사이즈 및 컬러의 계산에서, 시스템은 3차원의 박스 필터 또는 가우시안 필터를 포함한 임의의 필터 유형을 이용한다. 가우시안 분포 필터 커널과 같은 불균일 필터들은 잡음을 추가하는 대신, 선예도를 향상시킬 수 있는 최종 단일 출력 지점 특성들에 대해 위치, 사이즈, 및 컬러와 같은 로컬 특성들을 강조한다. 3차원 필터 커널은 시각적 충실도 및 모양을 유지하기 위해 지점 컬러 및 사이즈를 배합하는데 사용된다. 따라서, 다양한 필터링 커널들 및 사이즈가 3x3x3 박스, 가우시안, 등과 같은, 3차원 공간 내 임의의 위치에서 지점 클라우드 데이터셋의 정확한 특성들을 분석하는데 사용될 수 있다.

추가적인 구현예는 내부 뷰잉 체적 및 외부 뷰잉 체적 모두에 대한 사용자 맞춤가능한 샘플링 레이트 및 데이터 필터링 및 설정들을 포함한다. 이 구현예에서, 최소 지점 사이즈는 내부 뷰잉 체적에 대해 설정되고 균일 그리드 해상도에 기초하여 샘플 레이트를 정의한다. 서브-복셀 위치는 지점들의 로컬 클러스터의 평균 위치를 이용하여 각각의 샘플링된 서브-셀에 대해 유지된다. 따라서, 각각의 서브-셀에서의 필터링된 출력 지점들에 대한 서브-복셀 위치를 유지하는 것은 위치들의 균일 그리드 상에서 샘플링 데이터와 연관된 시각적 잡음 아티팩트들을 감소시킨다. 이는 느린 이동들을 갖는 애니메이트화된 데이터셋들로 시각적 품질을 향상시킨다.

도 1a는 본 개시내용의 일 구현예에 따른, 체적 데이터를 관리하는 방법(100)의 흐름도이다. 도 1a의 예시된 구현예에서, 본 방법은 단계 110에서, 공간의 체적에 뷰 체적을 정의하는 단계를 포함한다. 따라서, 일 구현예에서, 뷰 체적은 플레이어가 게임 또는 영화에 위치되는 장소 주변의 공간의 체적을 정의한다. 일 구현예에서, 뷰 체적은 박스이다. 다른 구현예에서, 뷰 체적은 반구이다. 또, 체적 데이터는 공간의 체적에 다수의 지점들을 갖고 적어도 하나의 지점은 뷰 체적 내에 있고 적어도 하나의 지점은 뷰 체적 내에 있지 않다.

그리드는 단계 120에서, 공간의 체적에서 다수의 셀들을 갖는 것으로 정의된다. 공간의 체적은 개별 셀들로 분할되며, 각각의 지점은 그리드에서 대응하는 셀을 갖는다. 그리드 내 각각의 셀은 0개 이상의 대응하는 지점들을 갖는다. 그리드 내 셀에 대한 지점들의 개수는 따라서 단계 130에서, 셀이 뷰 체적 외부에 있을 때, 감소된다. 따라서, 이 구현예에서, 뷰 체적 내부의 체적 지점 수가 일정하게 유지되지만, 뷰 체적 외부의 체적 지점 수가 감소된다. 그리드 내 셀에 대한 지점들의 개수를 감소시키는 단계의 예시(150)에 대해서는 도 1b를 참조한다.

일 구현예에서, 셀에 대한 지점들의 개수는 데이터를 병합 및 공간적으로 필터링하여 제1 개수의 지점들을 제2 개수의 지점들로 대체함으로써 감소되며, 제1 개수는 제2 개수보다 크다. 제2 개수의 지점들에서의 각각의 지점은 로컬-평균된 위치, 컬러, 및 사이즈를 이용한다. 일 구현예에서, 그리드 내 셀에 대한 2개 이상의 서브-셀들이 단계 140에서 정의되며, 각각의 서브-셀은 셀 내에 있다.

위에서 설명한 바와 같이, 서브-셀에서의 최종 지점 사이즈 및 컬러의 계산에서, 시스템은 3차원의 박스 필터 또는 가우시안 필터를 포함한 임의의 필터 유형을 이용한다. 가우시안 분포 필터 커널과 같은 불균일 필터들은 잡음을 추가하는 대신, 선예도를 향상시킬 수 있는 최종 단일 출력 지점 특성들에 대해 위치, 사이즈, 및 컬러와 같은 로컬 특성들을 강조한다. 3차원 필터 커널은 시각적 충실도 및 모양을 유지하기 위해 지점 컬러 및 사이즈를 배합하는데 사용된다. 따라서, 다양한 필터링 커널들 및 사이즈가 3x3x3 박스, 가우시안, 등과 같은, 3차원 공간 내 임의의 위치에서 지점 클라우드 데이터셋의 정확한 특성들을 분석하는데 사용될 수 있다.

도 2는 본 개시내용의 일 구현예에 따른, 체적 데이터를 관리하는 시스템(200)의 블록도이다. 일 구현예에서, 시스템(200)은 사용자에 의해 착용되는 머리-장착형 가상 현실(VR) 세트이며, VR 세트는 사용자가 보기 위해 체적 데이터를 프로세싱하여 디스플레이하도록 구성된다. 도 2의 예시된 구현예에서, 시스템(200)은 뷰 체적 정의기(220), 그리드 정의기(230), 지점 감소기(240), 디스플레이(250), 및 서브-셀 정의기(260)와 통신하는 프로세서(210)를 포함한다. 일 구현예에서, 서브-셀 정의기(260)는 그리드 내 셀에 대한 2개 이상의 서브-셀들을 정의하며, 각각의 서브-셀은 셀 내에 있다.

일 구현예에서, 뷰 체적 정의기(220)는 공간의 체적에 뷰 체적을 정의하도록 구성된다. 정의된 뷰 체적은 프로세서(210)로 통신된다. 일 구현예에서, 뷰 체적은 박스이다. 다른 구현예에서, 뷰 체적은 반구이다. 또, 체적 데이터는 공간의 체적에 다수의 지점들을 갖고 적어도 하나의 지점은 뷰 체적 내에 있고 적어도 하나의 지점은 뷰 체적 내에 있지 않다.

일 구현예에서, 그리드 정의기(230)는 다수의 셀들을 갖는 것으로 공간의 체적에서 그리드를 정의하도록 구성된다. 공간의 체적은 개별 셀들로 분할되며, 각각의 지점은 그리드에서 대응하는 셀을 갖는다. 그리드 내 각각의 셀은 0개 이상의 대응하는 지점들을 갖는다. 정의된 그리드는 프로세서(210)로 통신된다.

일 구현예에서, 지점 감소기(240)는 셀이 뷰 체적 외부에 있을 때 그리드 내 셀에 대한 지점들의 개수를 감소시키도록 구성된다. 따라서, 위에서 설명한 바와 같이, 뷰 체적 내부의 체적 지점 수가 일정하게 유지되지만, 뷰 체적 외부의 체적 지점 수가 감소된다. 따라서, 압축과 달리, 이 구현예의 선택적 "양 감소"는 손실이 있지만 (사이즈 및 컬러를 포함하는) 시각적 충실도를 유지한다. 지점 감소기(240)는 그리드 내 셀에 대한 지점들의 개수의 감소의 결과를 프로세서(210)로 통신한다.

일 구현예에서, 지점 감소기(240)는 병합기들(242) 및 공간 필터들(244)을 이용하여 셀에 대한 지점들의 개수를 감소시켜 데이터를 병합 및 공간적으로 필터링하여 제1 개수의 지점들을 제2 개수의 지점들로 대체하며, 제1 개수는 제2 개수보다 크다. 제2 개수의 지점들에서의 각각의 지점은 로컬-평균된 위치, 컬러, 및 사이즈를 이용한다.

일 구현예에서, 단지 인접한 셀들이 필터링을 위해 고려된다. 그러나, 다른 구현예들에서, 시스템(200)은 예컨대, 품질을 향상시키기 위해 다수의 셀들 및 그리드들에 걸쳐, 임의의 필터 사이즈를 허용한다. 필터링된 데이터의 출력은 더 낮은 해상도에서 최종 균일 그리드에 의해 체적으로 분할되는 단일 큰 지점들의 리스트이다. 그 결과는 이후 지점들을 렌더링을 위해 연속 세밀도(LOD; continuous level of detail) 데이터 구조로 분할하는데 사용된다.

위에서 설명한 바와 같이, 서브-셀에서의 최종 지점 사이즈 및 컬러의 계산에서, 시스템(200)은 3차원의 박스 필터 또는 가우시안 필터를 포함한 임의의 필터 유형을 이용한다. 가우시안 분포 필터 커널과 같은 불균일 필터들은 잡음을 추가하는 대신, 선예도를 향상시킬 수 있는 최종 단일 출력 지점 특성들에 대해 위치, 사이즈, 및 컬러와 같은 로컬 특성들을 강조한다. 3차원 필터 커널은 시각적 충실도 및 모양을 유지하기 위해 지점 컬러 및 사이즈를 배합하는데 사용된다. 따라서, 다양한 필터링 커널들 및 사이즈가 3x3x3 박스, 가우시안, 등과 같은, 3차원 공간 내 임의의 위치에서 지점 클라우드 데이터셋의 정확한 특성들을 분석하는데 사용될 수 있다.

지점 감소기(240)가 그의 동작을 종료하면, 프로세서(210)는 지점-감소된 체적 데이터를 디스플레이(250) 상에 디스플레이한다.

도 3a는 본 개시내용의 구현예에 따른, 컴퓨터 시스템(300) 및 사용자(302)의 표현이다. 사용자(302)는 컴퓨터 시스템(300)을 이용하여, 도 1a 및 도 2의 방법(100) 및 시스템(200)과 관련하여 예시 및 설명된 바와 같이 체적 데이터를 관리하는 비디오 애플리케이션(390)을 구현한다.

컴퓨터 시스템(300)은 도 3b의 비디오 애플리케이션(390)을 저장하고 실행한다. 게다가, 컴퓨터 시스템(300)은 소프트웨어 프로그램(304)과 통신할 수도 있다. 소프트웨어 프로그램(304)은 비디오 애플리케이션(390)을 위한 소프트웨어 코드를 포함할 수도 있다. 소프트웨어 프로그램(304)은 아래에서 추가로 설명되는 바와 같이 CD, DVD, 또는 스토리지 드라이브와 같은 외부 매체 상에 로드될 수도 있다.

더욱이, 컴퓨터 시스템(300)은 네트워크(380)에 접속될 수도 있다. 네트워크(380)는 다양한 상이한 아키텍쳐들, 예를 들어, 클라이언트-서버 아키텍처, 피어-투-피어 네트워크 아키텍처, 또는 다른 유형의 아키텍쳐들에 접속될 수 있다. 예를 들어, 네트워크(380)는 비디오 애플리케이션(390) 내에 사용되는 엔진들 및 데이터를 조정하는 서버(385)와 통신할 수 있다. 또한, 네트워크는 상이한 유형들의 네트워크들일 수 있다. 예를 들어, 네트워크(380)는 인터넷, 근거리 네트워크 또는, 광역 네트워크, 도시권 네트워크, 인트라넷 또는 엑스트라넷, 또는 무선 네트워크의 근거리 네트워크의 임의의 변형들일 수 있다.

도 3b는 본 개시내용의 구현예에 따른, 비디오 애플리케이션(390)을 호스팅하는 컴퓨터 시스템(300)을 예시하는 기능 블록도이다. 제어기(310)는 프로그래밍가능 프로세서이며 컴퓨터 시스템(300) 및 그의 컴포넌트들의 동작을 제어한다. 제어기(310)는 메모리(320) 또는 내장된 제어기 메모리(미도시)로부터 명령들을 (예컨대, 컴퓨터 프로그램의 형태로) 로드하고 이들 명령들을 실행하여 시스템을 제어한다. 그의 실행에서, 제어기(310)는 예컨대 디바이스들의 그룹들의 생성 및 디바이스 설정 데이터의 송신을 태스크 큐들을 이용하여 병렬로 가능하게 하기 위해, 비디오 애플리케이션(390)에 소프트웨어 시스템을 제공한다. 대안적으로, 이 서비스는 제어기(310) 또는 컴퓨터 시스템(300)에서 별개의 하드웨어 컴포넌트들로서 구현될 수 있다.

메모리(320)는 데이터를 컴퓨터 시스템(300)의 다른 컴포넌트들에 의한 사용을 위해 일시적으로 저장한다. 일 구현예에서, 메모리(320)는 RAM으로 구현된다. 일 구현예에서, 메모리(320)는 또한 플래시 메모리 및/또는 ROM과 같은, 장기 또는 영구 메모리를 포함한다.

스토리지(330)는 데이터를 컴퓨터 시스템(300)의 다른 컴포넌트들에 의한 사용을 위해 일시적으로 또는 긴 시간 기간들 동안 저장한다. 예를 들어, 스토리지(330)는 비디오 애플리케이션(390)에 의해 사용되는 데이터를 저장한다. 일 구현예에서, 스토리지(330)는 하드 디스크 드라이브이다.

매체 디바이스(340)는 착탈식 매체들을 수용하고 데이터를 삽입된 매체들로 판독 및/또는 기록한다. 일 구현예에서, 예를 들어, 매체 디바이스(340)는 광디스크 드라이브이다.

사용자 인터페이스(350)는 컴퓨터 시스템(300)의 사용자로부터 사용자 입력을 받아서 정보를 사용자(302)에게 제시하는 컴포넌트들을 포함한다. 일 구현예에서, 사용자 인터페이스(350)는 키보드, 마우스, 오디오 스피커들, 및 디스플레이를 포함한다. 제어기(310)는 사용자(302)로부터의 입력을 이용하여 컴퓨터 시스템(300)의 동작을 조정한다.

I/O 인터페이스(360)는 외부 스토리지 또는 보조 디바이스들(예컨대, 프린터 또는 PDA)과 같은 대응하는 I/O 디바이스들에 접속하기 위한 하나 이상의 I/O 포트들을 포함한다. 일 구현예에서, I/O 인터페이스(360)의 포트들은 USB 포트들, PCMCIA 포트들, 직렬 포트들, 및/또는 병렬 포트들과 같은, 포트들을 포함한다. 다른 구현예에서, I/O 인터페이스(360)는 외부 디바이스들과 무선으로 통신하기 위한 무선 인터페이스를 포함한다.

네트워크 인터페이스(370)는 이더넷 접속을 지원하는 RJ-45 또는 "Wi-Fi" 인터페이스(802.11을 포함하지만 이에 제한되지 않음)과 같은, 유선 및/또는 무선 네트워크 접속을 포함한다.

컴퓨터 시스템(300)은 컴퓨터 시스템들(예컨대, 전력, 냉각, 운영 시스템)의 전형적인 추가적인 하드웨어 및 소프트웨어를 포함하지만, 이들 컴포넌트들은 단순성을 위해 도 3b에 구체적으로 도시되지 않는다. 다른 구현예들에서, 컴퓨터 시스템의 상이한 구성들이 사용될 수 있다(예컨대, 상이한 버스 또는 스토리지 구성들 또는 멀티-프로세서 구성).

개시된 구현예들의 본원의 설명이 임의의 통상의 기술자가 본 개시내용을 행하거나 또는 이용할 수 있게 하기 위해 제공된다. 이들 구현예들에 대한 수많은 수정들은 통상의 기술자들에게 쉽게 자명할 것이며, 본원에서 정의된 원리들이 본 개시내용의 사상 또는 범위로부터 일탈함이 없이 다른 구현예들에 적용될 수 있다. 따라서, 본 개시내용은 본원에서 나타낸 구현예들에 제한되도록 의도되지 않고 본원에서 개시된 주요 및 신규 특징들에 일치하는 최광의의 범위가 부여되게 하려는 것이다.

위에서 설명된 예들의 각각의 모든 특징들은 본 개시내용의 특정의 구현예에서 반드시 요구되지는 않는다. 또, 본원에서 제시된 설명 및 도면들이 본 개시내용에 의해 널리 고려되는 기술요지를 나타내는 것으로 이해되어야 한다. 또한, 본 개시내용의 범위가 통상의 기술자들에 자명하게 될 수도 있는 다른 구현예들을 완전히 포괄하고 따라서 본 개시내용의 범위가 첨부된 청구범위 이외의 어떤 것에 의해서도 제한되지 않는다는 것이 이해된다.

Claims

체적 데이터를 관리하는 방법으로서,
공간의 체적에 뷰 체적을 정의하는 단계 - 상기 체적 데이터는 상기 공간의 체적에 다수의 지점들을 갖고 적어도 하나의 지점은 상기 뷰 체적 내에 있고 적어도 하나의 지점은 상기 뷰 체적 내에 있지 않음-;
상기 공간의 체적에 그리드를 정의하는 단계 - 상기 그리드는 다수의 셀들을 가지며 상기 공간의 체적을 개별 셀들로 분할하며, 각각의 지점은 상기 그리드에서 대응하는 셀을 가지며, 상기 그리드 내 각각의 셀은 0개 이상의 대응하는 지점들을 가짐; 및
해당 셀이 상기 뷰 체적 외부에 있는 상기 그리드에서 상기 셀에 대한 지점들의 개수를 감소시키는 단계를 포함하는, 체적 데이터를 관리하는 방법.
제1항에 있어서,
상기 뷰 체적 내부에 있는 상기 셀들에 대해 상기 지점들의 개수를 일정하게 유지하는 단계를 더 포함하는, 체적 데이터를 관리하는 방법.
제1항에 있어서,
상기 뷰 체적은 3차원(3-D) 박스인, 체적 데이터를 관리하는 방법.
제1항에 있어서,
상기 셀에 대한 지점들의 개수를 감소시키는 단계는,
제1 개수의 지점들을 제2 개수의 지점들로 대체하기 위해 상기 체적 데이터를 병합하고 공간적으로 필터링하는 단계를 포함하며, 상기 제1 개수는 상기 제2 개수보다 큰, 체적 데이터를 관리하는 방법.
제4항에 있어서,
상기 제2 개수의 지점들에서의 각각의 지점은 로컬-평균된 위치, 컬러, 및 사이즈를 이용하는, 체적 데이터를 관리하는 방법.
제1항에 있어서,
상기 그리드 내 셀에 대한 2개 이상의 서브-셀들을 정의하는 단계를 더 포함하며, 각각의 서브-셀은 상기 셀 내에 있는, 체적 데이터를 관리하는 방법.
체적 데이터를 관리하는 시스템으로서,
상기 시스템은,
공간의 체적에 뷰 체적을 정의하는 뷰 체적 정의기 - 상기 체적 데이터는 상기 공간의 체적에 다수의 지점들을 갖고 적어도 하나의 지점은 상기 뷰 체적 내에 있고 적어도 하나의 지점은 상기 뷰 체적 내에 있지 않음-;
상기 공간의 체적에서 그리드를 정의하는 그리드 정의기 - 상기 그리드는 다수의 셀들을 가지며, 상기 공간의 체적은 개별 셀들로 분할되며, 각각의 지점은 상기 그리드에서 대응하는 셀을 가지며, 그리고 상기 그리드 내 각각의 셀은 0개 이상의 대응하는 지점들을 가짐-;
상기 뷰 체적 정의기로부터 상기 뷰 체적을, 그리고 상기 그리드 정의기로부터 상기 그리드를 수신하는 프로세서; 및
상기 프로세서로부터 상기 뷰 체적 및 상기 그리드를 수신하여 상기 셀이 상기 뷰 체적 외부에 있을 때 상기 체적 데이터의 상기 그리드에서 상기 셀에 대한 지점들의 개수를 감소시키는 지점 감소기를 포함하며,
상기 프로세서는 상기 지점 감소기가 그의 동작을 종료하면 상기 지점-감소된 체적 데이터를 디스플레이하는, 체적 데이터를 관리하는 시스템.
제7항에 있어서,
상기 시스템은 사용자에 의해 착용되는 머리-장착형 가상 현실(VR) 세트이며, 상기 VR 세트는 상기 체적 데이터를 상기 사용자가 보기 위해 프로세싱하여 디스플레이하도록 구성되는, 체적 데이터를 관리하는 시스템.
제7항에 있어서,
상기 뷰 체적은 3-D 박스인, 체적 데이터를 관리하는 시스템.
제7항에 있어서,
제1 개수의 지점들을 제2 개수의 지점들로 대체하기 위해 상기 체적 데이터를 병합하고 공간적으로 필터링하는 병합기들 및 공간 필터들을 더 포함하며, 상기 제1 개수는 상기 제2 개수보다 큰, 체적 데이터를 관리하는 시스템.
제10항에 있어서,
상기 병합기들 및 공간 필터들은 또한 상기 제2 개수의 지점들에서의 각각의 지점의 위치, 컬러, 및 사이즈의 로컬 평균을 수행하는, 체적 데이터를 관리하는 시스템.
제7항에 있어서,
상기 그리드 내 셀에 대한 2개 이상의 서브-셀들을 정의하는 서브-셀 정의기를 더 포함하며, 각각의 서브-셀은 상기 셀 내에 있는, 체적 데이터를 관리하는 시스템.
제12항에 있어서,
상기 서브-셀 정의기는 3차원의 박스 필터를 이용하여 각각의 지점의 위치, 컬러, 및 사이즈를 정의하는, 체적 데이터를 관리하는 시스템.
제12항에 있어서,
상기 서브-셀 정의기는 3차원의 가우시안 필터를 이용하여 각각의 지점의 위치, 컬러, 및 사이즈를 정의하는, 체적 데이터를 관리하는 시스템.
체적 데이터를 관리하기 위한 컴퓨터 프로그램을 저장하는 비일시적 컴퓨터-판독가능 저장 매체로서,
상기 컴퓨터 프로그램은, 컴퓨터로 하여금,
공간의 체적에 뷰 체적을 정의하게 하고 - 상기 체적 데이터는 상기 공간의 체적에 다수의 지점들을 갖고 적어도 하나의 지점은 상기 뷰 체적 내에 있고 적어도 하나의 지점은 상기 뷰 체적 내에 있지 않음-;
상기 공간의 체적에서 그리드를 정의하게 하고 - 상기 그리드는 다수의 셀들을 가지며 상기 공간의 체적을 개별 셀들로 분할하며, 각각의 지점은 상기 그리드에서 대응하는 셀을 가지며, 상기 그리드 내 각각의 셀은 0개 이상의 대응하는 지점들을 가짐-; 및
해당 셀이 상기 뷰 체적 외부에 있는 상기 그리드에서 상기 셀에 대한 지점들의 개수를 감소시키게 하는, 실행 가능한 명령들을 포함하는, 비일시적 컴퓨터-판독가능 저장 매체.
제15항에 있어서,
상기 컴퓨터로 하여금, 상기 뷰 체적 내부에 있는 상기 셀들에 대해 상기 지점들의 개수를 일정하게 유지하게 하는 실행 가능한 명령들을 더 포함하는, 비일시적 컴퓨터-판독가능 저장 매체.
제15항에 있어서,
상기 뷰 체적은 3차원(3-D) 박스인, 비일시적 컴퓨터-판독가능 저장 매체.
제15항에 있어서,
상기 컴퓨터로 하여금 상기 셀에 대한 지점들의 개수를 감소시키게 하는 상기 실행 가능한 명령들은, 상기 컴퓨터로 하여금,
제1 개수의 지점들을 제2 개수의 지점들로 대체하기 위해 상기 체적 데이터를 병합하고 공간적으로 필터링하게 하는 실행 가능한 명령들을 포함하며, 상기 제1 개수는 상기 제2 개수보다 큰, 비일시적 컴퓨터-판독가능 저장 매체.
제18항에 있어서,
상기 제2 개수의 지점들에서의 각각의 지점은 로컬-평균된 위치, 컬러, 및 사이즈를 이용하는, 비일시적 컴퓨터-판독가능 저장 매체.
제15항에 있어서,
상기 컴퓨터로 하여금,
상기 그리드 내 셀에 대한 2개 이상의 서브-셀들을 정의하게 하는 실행 가능한 명령들을 더 포함하며, 각각의 서브-셀은 상기 셀 내에 있는, 비일시적 컴퓨터-판독가능 저장 매체.