KR20240027776A - 스피닝 센서 헤드에 의해 캡처된 포인트 클라우드에 대해 인코딩/디코딩하는 방법 및 장치 - Google Patents

Abstract

포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 방법 및 장치/스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 방법 및 장치를 제공한다. 포인트 클라우드의 각 포인트는 구면 좌표 및 속성에 관련된다. 당해 방법은, 비트스트림에서 스케일링 오프셋을 나타내는 스케일링 오프셋 정보를 시그널링하는 단계를 포함하고, 또한 포인트 클라우드의 각 현재 포인트에 대해: 현재 포인트의 구면 좌표를 인코딩/디코딩하는 단계; 인코딩된 구면 좌표로부터 현재 포인트의 디코딩된 구면 좌표를 획득하는 단계; 스케일링 오프셋을 사용하여 현재 포인트의 디코딩된 구면 좌표를 스케일링하는 단계; 및 스케일링된 디코딩된 구면 좌표를 기반으로 현재 포인트의 적어도 하나의 속성에 대해 인코딩/디코딩하는 단계;를 포함한다.

Description

스피닝 센서 헤드에 의해 캡처된 포인트 클라우드에 대해 인코딩/디코딩하는 방법 및 장치

본 출원은 2021년 7월 2일에 제출된 유럽특허출원번호가 21305920.7인 우선권 및 이익을 주장하고, 그 전체 내용이 인용을 통해 본문에 포함된다.

본 출원은 일반적으로 포인트 클라우드 압축에 관한 것이고, 구체적으로 스핀 센서 헤드에 의해 캡처된 포인트 클라우드의 포인트의 위치 및 속성에 대해 인코딩/디코딩하는 방법 및 장치에 관한 것이다.

본 섹션의 목적은 독자들에게 본 분야의 각 측면을 소개하는 것이고, 당해 측면들은 아래에서 설명 및/또는 청구하려는 본 출원의 적어도 하나의 예시적인 실시예의 각 측면과 관련될 수 있다. 본 토론은 독자들에게 배경 정보를 제공하여 본 출원의 각 측면을 더 잘 이해하도록 하는데 도움된다.

3D 데이터 표현의 포맷으로서, 포인트 클라우드는 모든 유형의 물리적 객체 또는 장면 측면에 복수의 능력을 구비하므로, 최근에 주목을 받고 있다. 포인트 클라우드는 문화 유산/건축물과 같은 각 목적에 사용될 수 있다. 여기서 3D방식으로 조각상와 같은 물체를 스캔하여, 물체를 송신하지 않거나 액세스하지 않을 경우 물체의 공간 설정(configure)을 공유하는데 편리하다. 또한, 지진에 의해 파괴된 절과 같은 물체가 파괴될 수 있을 경우 물체를 저장하도록 보장하는 방식이다. 당해 유형의 포인트 클라우드는 통상적으로 정적, 무채적 및 획기적인 것이다.

다른 예시는 토폴로지 및 지도 제작에서, 3D 표현로써 지도가 평면에 한정되지 않고 지모를 포함하도록 한다. 현재 구글 지도는 3D지도의 양호한 예시이지만, 포인트 클라우드가 아닌 그리드를 사용한다. 그러나, 포인트 클라우드는 3D 지도의 적합한 데이터 포맷일 수 있고, 당해 유형의 포인트 클라우드는 통상적으로 정적, 무채적 및 획기적인 것이다.

가상 현실(VR), 증강 현실(AR) 및 이머전 세계가 최근에 화제가 되고 있고, 많은 사람들에 의해 2D 평면 비디오의 미래로 예측된다. 당해 기본 이념은 관개들이 주변 환경에 몰입하도록 하지만, 표준 텔레비전은 관객들이 그/그녀 눈 앞의 가상 세계만 시청하도록 한다. 환경에서 관객의 자유도에 따라, 몰입감은 몇 개의 계층이 있다. 포인트 클라우드는 VR/AR 세계를 할당하는 양호한 포맷 후보이다.

자동차업, 특히 예측 가능한 자율주행차는, 대량의 포인트 클라우드를 사용하는 분야일 수도 있다. 자율주행차는 그들의 환경을 "탐지"할 수 있어, 검출된 그들과 가장 접근된 근처 물체의 존재, 성징 및 도로 설정을 기반으로 양호한 운전 결책을 한다.

포인트 클라우드는 3차원(3D) 공간의 포인트 세트이고, 각 포인트에 부가 가치를 선택적으로 추가한다. 당해 부가 가치는 통상적으로 속성이라고 한다. 속성은 삼분량 색상, 재료 특성(예를 들면 반사율) 및/또는 포인트와 관련된 표면의 이분량 법선 벡터일 수 있다.

따라서, 포인트 클라우드는 기하학적(3D 공간에서 포인트의 위치이고, 통상적으로 3D 카테시안 좌표 x, y 및 z에 의해 나타냄) 및 속성의 조합이다.

포인트 클라우드는 각 유형의 기기에 의해 캡처될 수 있다. 예를 들면 카메라의 행렬, 깊이 센서, 레이저(광 검출 및 거리 측정, 레이저 레이더라고도 함), 레이더 또는 컴퓨터에 의해 생성될 수 있다(예를 들면, 영화 후반 작업). 용례에 결정되고, 포인트 클라우드에는 수천 수십억의 포인트가 제도 응용에 사용된다. 포인트 클라우드의 최초 표현은 매우 많은 각 포인트의 자릿수를 요구하고, 각 카테시안 좌표x, y 또는 z는 적어도 몇 십개의 비트가 있고, 선택적으로 (하나 이상의)속성에 복수의 비트를 제공한다. 예를 들면 10비트의 3배를 색깔에 사용한다.

많은 응용에서, 합리 수량의 비트 전송률 또는 저장 공간을 소모하는 동시에 받아들일 수 있는(또는 바람직하게 매우 좋은) 체험 질량을 보장함으로써, 최종 사용자에 포인트 클라우드를 할당하고 또는 그들을 서버에 저장할 수 있는 것은, 매우 중요한 것이다. 당해 포인트 클라우드의 고효율 압축은 많은 이머전 세계의 디스트리뷰션 체인을 실용화하는 핵심 포인트이다.

최종 사용자에 대해 수행된 할당 및 가시화, 예를 들면AR/VR 안경 또는 임의의 기타 3D를 서포트하는 기기에서, 압축은 손실을 초래할 수 있다(예를 들면 비디오 압축). 의료 응용 또는 자율주행과 같은 기타 용례는 확실히 무손실 압축을 요구함으로써, 압축 및 전송된 포인트 클라우드의 후속 분석에서 획득된 결책 결과의 변경을 방지한다.

최근까지, 대중시장은 아직 포인트 클라우드 압축(일명 PCC) 문제를 해결하지 못하고 있고, 사용 가능한 표준화 포인트 클라우드 코덱도 없다. 2017년, 표준화 작업 그룹 ISO/JCT1/SC29/WG11은, 운동 이미지 전문가 그룹 또는 MPEG라고도 하고, 포인트 클라우드 압축에 관한 작업 프로젝트를 시작한다. 이는 다음과 같은 2가지 표준을 가져온다.

MPEG-I 제5 부분(ISO/IEC 23090-5) 또는 비디오를 기반으로 하는 포인트 클라우드 압축(V-PCC)

MPEG-I 제9 부분(ISO/IEC 23090-9) 또는 기하학을 기반으로 하는 포인트 클라우드 압축(G-PCC)

V-PCC 인코딩 방법은 3D 대상에 대해 여려 번 투영하여 포인트 클라우드를 압축하고, 패키지된 이미지(또는 동적 포인트 클라우드를 처리할 경우의 비디오)의 2D 이미지 블록을 획득한다. 종래의 이미지/비디오 코덱으로써 압축하여 획득된 이미지 또는 비디오를 사용함으로써, 이미 배치된 이미지 및 비디오 해결 수단을 충분히 이용하도록 한다. 본질적으로, 이미지/비디오 코덱은 평활하지 않는 블록, 예를 들면 레이저 레이더에서 캡처된 희소 기하학적 데이터의 투영에서 획득되고 평활하지 못한 이미지 블록을 압축하지 못하므로 V-PCC는 밀접되고 연속된 포인트 클라우드에서만 고효율적이다.

G-PCC 인코딩 방법은 캡처된 기하학적 데이터를 압축하는 2가지 수단을 포함한다.

첫번째 수단은 점용 트리를 기반으로 하며, 로컬에서는 옥트리, 쿼드 트리 또는 이진 트리 중 임의의 유형의 트리이고, 포인트 클라우드의 기하학적 형상을 나타낸다. 점용된 노드는 일정한 크기로 도달할 때까지 분할되고, 점용된 리프 노드는 포인트의 3D 위치를 제공하고, 통상적으로 당해 노드의 중심에 위치한다. 점용 정보는 점용 플래그를 통해 구비되고, 점용 플래그는 시그널을 송신하여 노드 각 서브 노드의 점용 상태를 알린다. 이웃을 기반으로 하는 예측 기술 사용함으로써, 밀접 포인트 클라우드의 점용 플래그의 고차원 압축을 획득할 수 있다. 희소 포인트 클라우드도 노드 내의 최소 크기가 아닌 포인트의 위치를 직접 인코딩함으로써 해결하고, 노드에 고립 포인트만 존재할 경우 트리 구축을 정지시키고; 당해 기술은 직접 인코딩 모드(DCM)로 불리운다.

두번째 수단은 예측 트리를 기반으로 하며, 여기서 각 노드는 1개 포인트의 3D 위치를 나타내고, 노드 사이의 부/자 관계는 부모부터 자식까지의 공간 예측을 나타낸다. 당해 방법은 희소 포인트 클라우드만 해결하고, 점용 트리보다 더 낮은 지연 및 더 간단한 디코딩의 우세를 제공한다. 그러나, 인코더는 예측 트리를 구축할 경우(긴 열의 예측기에서) 반드시 최적 예측기를 찾는데 집중해야 하므로, 첫번째의 점용을 기반으로 하는 방법에 대비해, 압축 성능은 조금만 더 좋고, 인코딩도 복잡하다.

당해 두가지 수단에서, 속성(디코딩) 인코딩은 기하학적(디코딩)인코딩를 완료 후 수행된 것이고, 실제로 두 번의 인코딩를 초래한다. 따라서, 연합 기하학적/속성 저지연은 3D 공간을 단독 인코딩된 서브 체적 슬라이스 하로 분해하여 획득된 것이고, 서브 체적 사이에서 예측할 필요 없다. 많은 슬라이스를 사용할 경우, 압축 성능에 심각한 영향을 준다.

인코더 및 디코더의 단순성, 저지연 및 압축 성능에 대한 요구를 결합하는 것은 여전히 종래의 포인트 클라우드 코덱에 의해 해결될 수 있는 문제가 아니다.

일 중요한 용례는 이동 차량에 장착된 스핀 센서 헤드(예를 들어, 스피닝 레이저 레이다 헤드)에 의해 캡처된 희소 기하학적 데이터이다. 이는 통상적으로 간단하고 저지연의 임베디드 인코더를 요구한다. 인코더는 기타 처리(예를 들면 (반)자율주행)를 병행 수행하는 컴퓨팅 유닛에 배치될 수 있으므로, 포인트 클라우드 인코더에 의해 사용 가능한 처리 능력을 한정하므로 단순성을 요구한다. 저지연을 요구하여 자동차부터 클라우드 까지의 신속한 전송을 하도록 하고, 멀티 차량을 기반으로 로컬 교통을 실시간으로 수집하고, 교통 정보를 기반으로 충분히 신속한 결책하는데 편리하다. 5G로써 전송 지연이 충분히 낮도록 하지만, 인코더 자체는 인코딩로 너무 많은 지연을 도입해서는 안된다. 그리고, 수 백만 자동차부터 클라우드까지의 데이터 스트림은 매우 클 것으로 예상되므로, 압축 성능은 매우 중요하다.

스피닝 센서 헤드에 의해 캡처된 희소 기하학적 데이터와 관련된 특정 선험은 이미 매우 효율적인 인코딩/디코딩 방법을 가져온다.

예를 들어, G-PCC는 도 1과 도 2에 도시된 바와 같이, 스피닝 센서 헤드에 의해 캡처된 앙각(수평지면 기준)을 사용한다. 스피닝 센서 헤드(10)는 일련의 센서(11)(예를 들어 레이저)를 포함하며, 여기서는 5개의 센서가 도시된다. 스피닝 센서 헤드(10)는 물리적 객체의 기하학적 데이터, 즉 포인트 클라우드 포인트의 3D 위치를 캡처하기 위해 수직축 z를 중심으로 스피닝할 수 있다. 스피닝 센서 헤드에 의해 캡처된 기하학적 데이터는 구면 좌표(r _3D , Φ, θ)로 표현된다. 여기서 r _3D 는 스피닝 센서 헤드 중심에서 포인트 P까지의 거리이고, Φ는 기준물에 대한 센서 헤드의 스피닝 방위각이고, θ는 수평 기준면(여기서는 y축)에 대한 스피닝 센서 헤드의 센서의 앙각 인덱스 k에 대한 앙각이다. 앙각 인덱스 k는 상대적일 수 있으며, 예를 들어 센서 k의 앙각에 대해, 또는 단일 센서가 연속 앙각 각각에 대해 연속적으로 프로빙하는 경우 k번째 센서 위치이다.

도 3에 도시된 바와 같이, 스피닝 센서 헤드에 의해 캡처된 기하학적 데이터에서 방위각을 따른 규칙적인 분포가 관찰되었다. 당해 법칙성은 G-PCC에서 포인트 클라우드의 준1D 표현을 획득하는데 사용되고, 여기서, 노이즈까지, 반경 r_3D만 연속값 범위에 속하고, 각도 Φ 및 θ는 이산 수량의 값만 사용하고, 에서, I는 포인트를 캡처하는 방위각의 수량이고, 에서, K는 스피닝 센서 헤드(10)의 센서 수량이다. 대체로, 도3에 도시된 바와 같이, G-PCC는 2D 이산각 평면(Φ, θ)의 스피닝 센서 헤드에 의해 캡처된 희소 지오메트리 데이터 및 각 포인트의 반경값 r _3D 를 나타낸다.

구면 좌표 공간에서 각도의 이산 성질을 통해 이미 인코딩된 포인트를 기반으로 현재 포인트의 위치를 예측하고, 당해 준1D 특성은 이미 G-PCC의 점용 트리 및 예측 트리에서 이용된다.

더 정확하게, 점용 트리는 DCM을 대량으로 사용하고, 콘텍스트 적응 엔트로피 인코더로써 노드 내의 포인트 직접 위치에 대해 엔트로피 인코딩를 수행한다. 포인트 위치부터 좌표(Φ, θ)까지의 로컬 전환 및 이미 인코딩된 포인트에서 획득된 이산 좌표()에 대한 당해 좌표의 위치에서 콘텍스트를 획득한다.

당해 좌표 공간의 준 1D 성질()을 사용하여, 예측 트리는 구면 좌표(r, Φ, θ)에서 현재 포인트 P 위치의 첫번째 버전을 직접 인코딩한다. 여기서 r은 수평 xy 평면에 투영된 반경이고, 도 4에 도시된 바와 같이, r_2D로 그린다. 다음, 구면 좌표(r, Φ, θ)를 3D 데카르트 좌표 (x,y,z)로 변환하고, xyz 잔차를 인코딩하여 좌표 변환 오류, 앙각 및 방위각의 근사치 및 잠재적인 노이즈를 해결한다.

도 5는 G-PCC 예측 트리 기반 인코더와 유사한 포인트 클라우드 인코더를 도시한다.

먼저, 포인트 클라우드의 포인트의 데카르트 좌표(x,y,z)를 구면 좌표 (r, Φ, θ)로 변환한다: (r, Φ, θ)=C2A(x,y,z).

변환 함수 C2A(.)는 일부가 아래의 공식에 의해 제공된다.

r = round(sqrt(x*x + y*y) /)

= round( atan2(y, x) / )

여기서 round()는 가장 접근된 정수값에 사사오입된 연산이고, sqrt()는 제곱근 함수이고, atan2(y,x)는 y/x에 응용되는 아크 탄젠트이다.

는 각각 반경 및 방위각의 내부 정밀도이다. 그들은 통상적으로 각각의 양자화 스템과 동일하며, 즉, 이고, 또한 이며,

(1)

및,

=.

여기서 M과 N은 비트스트림(예를 들어 기하학적 파라미터 세트)에서 시그널링될 수 있는 인코더의 두 파라미터이고, 기본 양자화 스텝은 일반적으로 1과 같다. 일반적으로, 무손실 인코딩의 경우, N은 17일 수 있고, M은 0이 될 수 있다.

인코더는 데카르트 공간의 구면 좌표 표현과 xyz 잔차를 인코딩하기 위한 비용(예를 들어 비트 수)을 최소화함으로써, 를 도출할 수 있다.

단순화를 위해, 이하에서는 로 표현된다.

또한 명확성과 단순성을 위해, 이하에서는 θ를 예를 들어 다음과 같은 식을 통해 획득된 앙각 값으로 사용한다.

여기서 atan(.)은 아크 탄젠트 함수이다. 그러나, 반대로, G-PCC에서, 예를 들어 θ는 θ _k 의 앙각 인덱스 k (즉, k번째 앙각의 인덱스)를 나타내는 정수값이므로, θ에 대해 수행되는 이하에서 제시하는 동작(예측, 잔차 (디코딩) 인코딩 등)은 앙각 인덱스에 적용된다. 포인트 클라우드 압축에 능숙한 당업자라면, 인덱스 k 사용의 이점과 θ 대신 앙각 인덱스 k를 사용하는 방법을 쉽게 이해할 것이다. 또한 포인트 클라우드 압축에 능숙한 당업자라면, 이러한 미묘함을 이해하고, 제안된 발명의 원리에 영향을 미치지 않는다는 것을 쉽게 이해할 것이다.

다음, 구면 좌표 (r, Φ, θ)와 예측기기 PR _n 에서 얻은 예측 구면 좌표 사이의 잔여 구면 좌표(r _res , , )는 다음과 같이 지정된다.

여기서, 은 후보 예측기기 리스트 PR ₀ , PR ₁ , PR ₂ 및 PR ₃ 에서 선택된 예측기기로부터 얻은 예측 반경, 예측 방위각 및 예측 고도각이고, m은 방위각에 추가될 예측된 기본 방위각 스텝 의 정수 개수이다.

인코더는 스피닝 센서 헤드가 서로 다른 앙각에서 캡처를 수행하는 주파수 및 스피닝 속도에 따라 기본 방위각 스텝 을 도출할 수 있으며, 예를 들어, 헤드 턴(head turn)당 프로빙 횟수 NP에 따라 수행한다.

(2)

예를 들어, 기본 방위각 스텝 또는 헤드 턴당 프로빙 횟수 NP는 비트스트림 B 중의 기하학적 파라미터 세트에 인코딩된다. 선택적으로, NP는 인코더의 파라미터이며, 비트스트림 중의 기하학적 파라미터 세트에서 시그널링될 수 있고, 은 인코더와 디코더 모두에서 유사하게 도출된다.

잔여 구면 좌표 (r _res , , )는 비트스트림 B에 인코딩될 수 있다.

잔여 구면 좌표 (r _res , , )는 양자화된 잔여 구면 좌표 Q(r _res ,　,　)로 양자화(Q)될 수 있다. 양자화된 잔여 구면 좌표 Q(r _res ,　,　)는 비트스트림 B에 인코딩될 수 있다.

예측 트리의 각 노드에 대해, 예측 인덱스 n과 개수 m은 비트스트림 B에서 시그널링되는 반면, 소정의 고정 소수점 정밀도를 갖는 기본 방위각 스텝 은 동일한 예측 트리의 모든 노드에서 공유된다.

예측 인덱스 n은 후보 예측기기 리스트에서 선택된 예측기기를 가리킨다.

후보 예측기기 PR ₀ 은 (r _min , , )과 같을 수 있다. 여기서 r _mini 는 최소 반경 값(기하학적 파라미터 세트에 제공됨)이고, 현재 노드(현재 포인트 P)에 부모 노드가 없을 경우, 은 0과 같거나, 또는 부모 노드에 관련된 포인트의 방위각 및 고도각과 같다.

다른 후보 예측기기 PR ₁ 은 (r ₀ , , )과 같을 수 있으며, 여기서 r ₀ , 은 각각 현재 노드의 부모 노드에 관련된 포인트의 반경, 방위각 및 고도각이다.

또 다른 후보 예측기기 PR ₂ 는 현재 노드의 부모 노드에 관련된 포인트의 반경, 방위각 및 앙각 (r ₀ , , ), 및 할아버지 노드에 관련된 포인트의 반경, 방위각 및 앙각 (r ₁ , , )을 사용하여, 반경, 방위각 및 앙각에 대한 선형 예측과 동일할 수 있다.

예를 들어, PR ₂ =2*(r ₀ , , ) - (r ₁ , , )이다.

또 다른 후보 예측기기 PR ₃ 은 현재 노드의 부모 노드에 관련된 포인트의 반경, 방위각 및 앙각 (r ₀ , , ), 할아버지 노드에 관련된 포인트의 반경, 방위각 및 앙각 (r ₁ , , ), 및 증조부 노드에 관련된 포인트의 반경, 방위각 및 앙각 (r ₂ , , )를 사용하여, 반경, 방위각 및 앙각에 대한 선형 예측과 동일할 수 있다.

예를 들어, PR ₃ = (r ₀ , , ) + (r ₁ , , ) - (r ₂ , , ).

예측된 데카르트 좌표 (x _pred ,　y _pred ,　z _pred )는 다음과 같은 식으로 디코딩된 구면 좌표 (r _dec , )에 대해 역변환하여 획득된다.

(x _pred ,　y _pred ,　z _pred )=　A2C(r _dec , ) (3)

여기서, 디코더에 의해 디코딩된 구면 좌표 (r _dec ,)는 다음과 같은 식으로 제공될 수 있다.

(4)

여기서, (r _res,dec , , )는 디코더에 의해 디코딩된 잔여 구면 좌표이다.

디코딩된 잔여 구면 좌표 (r _res,dec , , )는 양자화된 잔여 구면 좌표 Q(,, )의 역양자화(IQ) 결과일 수 있다.

G-PCC에서는 잔여 구면 좌표의 양자화가 없으며, 디코딩된 구면 좌표 (r _res,dec , , )는 잔여 구면 좌표 (r _res , , )와 동일한다. 따라서, 디코딩된 구면 좌표 (r _dec ,)는 구면 좌표 (r, Φ, θ)와 같다.

역변환 디코딩된 구면 좌표 (r _dec , )는 다음과 같은 식에 의해 제공될 수 있다.

r = r _dec *

x _pred = round( r*cos( * ))

y _pred = round( r*sin( * )

z _pred = round( tan( ) * r)

여기서 sin() 및 cos()은 사인 및 코사인 함수이다. 당해 2개의 함수는 정점 정밀도의 연산을 통해 근사해질 수 있다. 값 tan()는 정점 정밀도값으로 저장될 수 있다. 따라서, 디코더에서 부동 소수점 연산을 사용하지 않는다. 부동 소수점 연산을 방지하는 것은 통상적으로 코덱의 하드웨어 수행 방식을 단순화하는 강렬한 요구이다.

최초 포인트와 예측된 카테시안 좌표(x_pred,　y_pred,　z_pred) 사이의 잔여 카테시안 좌표(x_res,y_res,z_res)는 아래의 공식에 의해 제공된다.

(x _res ,y _res ,z _res ) = (x,y,z) - (x_pred,y_pred,z_pred)

잔여 카테시안 좌표(x_res,y_res,z_res)는 양자화(Q)되고, 양자화된 잔여 카테시안 좌표Q(x_res,y_res,z_res)는 비트스트림에 인코딩된다.

x,y,z 양자화 스텝이 최초 포인트 정밀도(통상적으로 1임)와 같을 경우, 잔여 카테시안 좌표는 무손실 인코딩될 수 있고, 또는 양자화 스텝이 최초 포인트 정밀도(통상적으로 양자화 스탭은 1보다 큼)보다 클 경우 손실 인코딩된다.

디코더에 의해 디코딩된 데카르트 좌표 (x _dec ,y _dec ,z _dec )는 다음과 같은 식에 의해 제공된다.

(x _dec ,y _dec ,z _dec ) = (x _pred ,y _pred ,z _pred ) + IQ(Q(x _res ,y _res ,z _res )) (5)

여기서, IQ(Q(x_res,y_res,z_res))는 역양자화된 양자화 잔여 카테시안 좌표를 나타낸다.

이들 디코딩된 데카르트 좌표 (x _dec ,y _dec ,z _dec )는 인코더에 의해, 예를 들어 속성 인코딩되기 전에 포인트를 정렬(디코딩)하는데 사용될 수 있다.

도 6은 예측 트리에 대한 G-PCC 예측 트리 기반 디코더와 유사한 포인트 클라우드 디코더를 도시한다.

예측 트리의 각 노드에 대해, 비트스트림 B에서 예측 인덱스 n과 개수 m을 액세스하는 반면, 기본 방위각 스텝 또는 헤드 턴당 프로빙 횟수 NP는 비트스트림 B에서(예를 들어 파라미터 세트에서) 액세스되고, 동일한 예측 트리의 모든 노드에서 공유된다.

디코딩된 잔여 구면 좌표 (r _res,dec , , )는 비트스트림 B에서 잔여 구면 좌표 (r _res , , )를 디코딩하여 획득될 수 있다.

양자화된 잔여 구면 좌표 Q(r_res, , )는 비트스트림 B로부터 디코딩될 수 있다. 양자화된 잔여 구면 좌표 Q(r_res, , )는 역양자화되어, 디코딩된 잔여 구면 좌표 (r _res,dec , , )를 획득한다.

디코딩된 구면 좌표 (r _dec , , )는 식(4)에 따라 디코딩된 잔여 구면 좌표 (r _res,dec , , )와 예측 구면 좌표 (r _pred , )의 합을 구하여 획득된다.

예측된 데카르트 좌표 (x _pred ,　y _pred ,　z _pred )는 식(3)에 따라 디코딩된 구면 좌표 (r _dec , , )를 역변환하여 획득된다.

양자화된 잔여 데카르트 좌표 Q(x _res ,y _res ,z _res )는 비트스트림 B로부터 디코딩되고 역양자화되어, 역양자화된 데카르트 좌표 IQ(Q(x _res ,y _res ,z _res ))를 획득한다. 디코딩된 데카르트 좌표 (x_dec,y_dec,z_dec)는 식(5)에 의해 제공된다.

포인트 속성은 포인트 간의 공간적 관계/거리에 따라 속성 정보를 역상관시키는 데 도움이 되도록 포인트의 인코딩된 데카르트 좌표를 기반으로 인코딩될 수 있다.

G-PCC에는 포인트 속성을 역상관하고 인코딩하는데 주로 두 가지 방법이 있다. 첫번째 방법은 지역 적응형 계층 변환을 위한 RAHT로 표현되고, 두번째 방법은 LoD 예측으로 표현된다.

RAHT는 다중 해상도 변환을 사용하여 포인트의 속성을 인코딩한다. 저해상도에서 전체 해상도까지, RAHT는 다음 해상도의 하위 대역에서 변환된 속성 값을 연속적으로 인코딩한다. 다중 해상도 분해는 인코딩된 포인트의 좌표로부터 이루어지며, 마지막 인코딩된 포인트부터 첫번째 인코딩된 포인트까지의 각 분해 레이어는 각 차원에서 2배 해상도 감소에 의해 획득되며, 따라서 각 해상도는 하나의 기하학 옥트리 레벨의 점유 위치에 대한 속성 인코딩에 해당한다(자세한 내용은 https://www.mpegstandards.org/standards/MPEG-I/9/에서 제공되는 G-PCC codec description N0057(G-PCC 인코더/디코더 설명 N0057), 2021년 1월 참조).

LoD 예측 방법을 사용하여 일종의 다중 해상도 표현을 얻을 수 있지만, 분해 레벨의 개수(즉, 세부 레벨의 개수)는 파라미터화할 수 있다. 각 세부 레벨은 인코딩된 좌표에 따라 포인트의 하위 세트를 선택하는 결정론적 방법을 사용하여 얻는다. LoD 예측 방법은 각 레이어 사이의 포인트에 대한 서브샘플링을 얻는다. 예측 변환 역상관 방법을 사용하는 경우, 속성 값이 이미 디코딩된 동일한 레이어의 지정된 개수의 마지막 포인트 및/또는 부모 레이어의 포인트(이전에 디코딩된 레이어에 속하는 포인트)에서 선택된 k-최근접 속성 값으로부터 가중치 예측을 사용하여, 현재 디코딩된 포인트의 속성 값(예를 들어 3개 채널/분량 색상 또는 단일 채널/분량 반사율)에 대한 예측을 수행한다. 숫자 "k"는 비트스트림(속성 파라미터 세트)에서 지시되고, 가중 예측의 가중치는 현재 포인트의 좌표(설정에 따른 데카르트 좌표 또는 구면 좌표)와 각 최근접 좌표 사이의 거리에 따라 결정된다. LoD 예측 방법의 복잡성을 제한하기 위해, 최근접 이웃은 검색 윈도우에 속하는 이웃으로 제한된다. 당해 방법에 대한 자세한 내용은 2021년 1월에 발표된 G-PCC codec description document N0057(G-PCC 인코더/디코더 설명 문서 N0057)에서 제공되며, https://www.mpegstandards.org/standards/MPEG-I/9/에서 획득할 수 있다.

LoD 예측 방법은 전술한 예측 변환과 동일한 메커니즘을 사용할 수 있고, 가장 낮은 해상도 표현에서(즉, 첫번째 LoD 레이어에서) 더 좋은 에너지 압축을 갖기 위해 각 분해 계층 사이에 리프팅 단계를 추가할 수 있기 때문에, 리프팅 변환이라고도 한다. 이에 따라, 손실이 있는 속성 인코딩의 효율이 향상된다.

관찰된 바와 같이, 스피닝 센서 헤드에 의해 캡처된 포인트 클라우드의 경우, 데카르트 좌표를 사용하는 대신, 예측 트리 디코딩(즉, 디코딩된 구면 좌표)을 통해 직접 획득되거나 또는 옥트리 기하학을 사용하는 경우 디코딩된 데카르트 좌표로부터 획득(즉, 계산)된 구면 좌표 (r, )를 사용함으로써, 속성 인코딩은 이익을 얻을 수 있다.

구면 좌표 (r, )는 항상 비교 가능한 크기 차수로 표현되는 것은 아니다. 반경 r은 x, y 좌표 및 양자화 파라미터에 상대적인 크기를 갖고, 방위각 Φ는 코덱에서 사용되는 방위각 정확도에 상대적인 크기를 갖고, 앙각 θ는 k번째 앙각의 인덱스에 상대적인 크기(다른 두 좌표에 비해 상대적으로 작은 값일 수 있음)를 갖는다. 따라서 속성 인코딩을 개선하기 위해, 구면 좌표 (r, )는 속성 인코딩 이전에 비트스트림에서 시그널로 전달되는 스케일링 인자를 사용하여 스케일링될 수 있다.

G-PCC에는 세 개의 구면 좌표 c_k (c₀　=　r, c₁　=　, 및 c₂　=　) 각각에 대해 인코딩하는 하나의 스케일링 인자가 있다. 각 스케일링 인자는 5비트의 접두사 값과 접미사 값으로 인코딩된다. 접두사의 부호 없는 정수 값(0 - 31)에 1(1 - 32)을 더한 값은 접미사의 비트 수를 나타낸다. 접미사는 부호 없는 정수 값(s_k)이고, 스케일링 인자(σ_k)의 8비트 소수점 정밀도를 갖는 고정 소수점 표현에 해당하며, k=0, 1, 2이다. 따라서, 스케일링 인자(σ_k)는 1.0과 같을 때, s_k의 인코딩된 값은 256이고(그리고 인코딩된 접두어의 값은 7임); 또한, 인코딩된 s_k가 1과 같은 경우(인코딩된 접두어가 0인 경우), 해당 스케일링 인자는 σ_k = 1.0/256이다.

G-PCC에서 대부분의 속성 인코딩 설정은 양의 좌표를 처리하도록 설계된다. 그런 다음, 인덱스 "i"와 구면 좌표(c_k,i)를 구비한 각 포인트에 대해, 스케일링 인자를 곱하기 전에, 구면 좌표 c_k에서 스케일링 오프셋 o_k를 각각 빼며, k=0, 1, 2이다.

그런 다음, {0, 1, 2} 중의 k에 대해, 다음과 같은 식을 통해, 구면 좌표 c_k, 스케일링 인자 σ_k 및 스케일링 오프셋 o_k로부터 스케일링된 구면 좌표 sc_k,i를 획득하며, k=0, 1, 2이다.

sc_k,i　=　round(　(c_k,i　-　o_k)　*　σ_k)　=　(c_k,i　-　o_k)　*　s_k　+　128　>>　8 (6)

주어진 k({0, 1, 2}에서)에 대해, 스케일링 오프셋(o_k)은 모든 인코딩된 포인트(즉, 모든 "i"에 대해)의 구면 좌표(c_k,i)의 최소값과 동일한다. 따라서, 스케일링된 구면 좌표(sc_k,i)는 0보다 크거나 같다. 이는 식(6)의 차(c_k,i - o_k)가 항상 0보다 크거나 같고, 스케일링 인자(s_k)가 양수이기 때문이다.

스케일링 오프셋(o_k)을 계산하려면(즉, 최소값을 획득하려면), 인코더와 디코더 모두에서 인코딩된 모든 포인트의 구면 좌표에 액세스해야 한다. 그런 다음 해당 속성을 인코딩하거나 디코딩하기 전에 모든 인코딩된 포인트의 구면 좌표를 버퍼링해야 한다. 이 동작으로 인해 실행 파이프라인이 지연되어, 대기 시간과 메모리 공간 점용이 증가한다.

인코딩(디코딩) 효율을 감소시키지 않고 복잡성을 증가시키지 않으면서, 속성 인코딩(디코딩)을 시작하기 전에 포인트 클라우드의 모든 포인트 좌표의 인코딩(디코딩)을 대기하는 요구 사항을 제거하는 것이 해결해야 할 문제이다.

아래는 적어도 하나의 예시적인 실시예의 간소화 요약을 나타냄으로써 본 출원의 일부 측면에 대한 기본 이해를 제공한다. 본 요약은 예시적인 실시예의 철저한 설명이 아니다. 실시예의 핵심 또는 중요 요소의 인식을 목적으로 하지 않는다. 아래의 요약은, 본문의 기타 측면에서 제공하는 것보다 더 상세히 설명된 전제부로서, 간소화 형식으로만 예시적인 실시예 중 적어도 하나의 일부 측면을 나타낸다.

본 출원의 제1 측면에 따르면, 포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 방법이 제공되며, 포인트 클라우드의 각 포인트는 구면 좌표 및 적어도 하나의 속성에 관련되며, 상기 구면 좌표는 방위각, 상기 포인트를 캡처한 센서의 고도(elevation, 또는 해발 또는 높이로 지칭됨)에 대한 앙각 및 상기 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 방위각은 당해 포인트를 캡처한 스피닝 센서 헤드의 센서의 캡처 각도를 나타내며, 당해 방법은,

비트스트림에서 스케일링 오프셋을 나타내는 스케일링 오프셋 정보를 시그널링하는 단계;

포인트 클라우드의 각 현재 포인트에 대해:

현재 포인트의 구면 좌표를 인코딩하고, 현재 포인트의 인코딩된 구면 좌표를 비트스트림에 추가하는 단계;

현재 포인트의 인코딩된 구면 좌표를 디코딩함으로써 디코딩된 구면 좌표를 획득하는 단계;

스케일링 오프셋을 기반으로 디코딩된 구면 좌표를 스케일링하는 단계; 및

스케일링된 디코딩된 구면 좌표를 기반으로 현재 포인트의 적어도 하나의 속성을 인코딩하고, 적어도 하나의 인코딩된 속성을 비트스트림에 추가하는 단계;를 포함한다.

본 출원의 제2 측면에 따르면, 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 방법이 제공되며, 당해 방법은,

비트스트림으로부터 획득된 스케일링 오프셋 정보에 액세스하는 단계;

포인트 클라우드의 각 현재 포인트에 대해:

비트스트림으로부터 획득된 현재 포인트의 인코딩된 구면 좌표를 디코딩함으로써, 디코딩된 구면 좌표를 획득하는 단계 - 현재 포인트의 구면 좌표는 방위각, 현재 포인트를 캡처한 센서의 고도에 대한 앙각 및 현재 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 방위각은 현재 포인트를 캡처한 스피닝 센서 헤드의 센서의 캡처 각도를 나타냄 -;

스케일링 오프셋 정보에서 획득된 스케일링 오프셋을 기반으로 디코딩된 구면 좌표를 스케일링하는 단계; 및

스케일링된 디코딩된 구면 좌표를 기반으로 현재 포인트의 속성을 디코딩하는 단계;를 포함한다.

일 예시적인 실시예에서, 스케일링된 구면 좌표가 음수가 아닌 것 및 스케일링된 구면 좌표가 특정 범위에 속하는 것 중 적어도 하나를 확보하도록, 스케일링 오프셋을 결정한다.

일 예시적인 실시예에서, 스케일링 오프셋은 포인트 클라우드의 모든 포인트의 디코딩된 구면 좌표로부터 계산된 최소값보다 작은 값으로 결정된다.

일 예시적인 실시예에서, 스케일링 오프셋은 센서 스피닝 헤드의 센서 및 캡처 특성을 기반으로 결정된다.

일 예시적인 실시예에서, 스케일링 오프셋 정보는 상기 스케일링 오프셋을 포함한다.

일 예시적인 실시예에서, 스케일링 오프셋 정보는 스케일링 오프셋을 결정하기 위해 특정 방법을 사용하는 것을 지시한다.

일 예시적인 실시예에서, 특정 방법은 클리핑(clip) 또는 모듈로 연산을 사용한다.

본 출원의 제3 측면에 따르면, 포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 장치가 제공된다. 당해 장치는 본 출원의 제1 측면에 따른 방법의 하나 이상의 프로세서를 수행하도록 구성된다.

본 출원의 제4 측면에 따르면, 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 장치가 제공된다. 당해 장치는 본 출원의 제2 측면에 따른 방법의 하나 이상의 프로세서를 수행하도록 구성된다.

본 출원의 제5 측면에 따르면, 명령을 포함한 컴퓨터 프로그램 제품이 제공되며, 당해 프로그램이 하나 이상의 프로세서에 의해 실행되는 경우, 하나 이상의 프로세서로 하여금 본 출원의 제1 측면에 따른 방법을 수행하도록 한다.

본 출원의 제6 측면에 따르면, 명령을 포함한 컴퓨터 프로그램 제품이 제공되며, 당해 프로그램이 하나 이상의 프로세서에 의해 실행되는 경우, 하나 이상의 프로세서로 하여금 본 출원의 제2 측면에 따른 방법을 수행하도록 한다.

본 출원의 제7 측면에 따르면, 비일시적 저장 매체가 제공되며, 당해 비일시적 저장 매체에는 본 출원의 제2 측면에 따른 방법을 수행하도록 사용되는 프로그램 코드의 명령이 구비된다.

본 출원의 제8 측면에 따르면, 비일시적 저장 매체가 제공되며, 당해 비일시적 저장 매체에는 본 출원의 제2 측면에 따른 방법을 수행하도록 사용되는 프로그램 코드의 명령이 구비된다.

본 출원의 제9 측면에 따르면, 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림이 제공되며, 당해 비트스트림에 스케일링 오프셋 정보를 운반하는 적어도 하나의 문법 요소가 포함되고, 당해 스케일링 오프셋 정보는 인코딩된 포인트 클라우드 데이터에 의해 나타낸 포인트 클라우드의 포인트의 디코딩된 구면 좌표를 스케일링하는데 사용되는 스케일링 오프셋을 나타낸다.

예시적인 실시예의 적어도 하나의 구체적인 성질 및 상기 예시적인 실시예의 적어도 하나의 기타 목적, 우점, 특징 및 용도는 아래에서 도면과 결합하여 예시에 대한 설명에서 더 현저해진다.

아래는 예시적인 방식으로 본 출원의 예시적인 실시예를 나타내는 도면을 참조한다.
도1은 종래의 기술에 따른 센서 헤드 및 당해 일부 파라미터의 측면도를 도시한다.
도2는 종래의 기술에 따른 센서 헤드 및 당해 일부 파라미터의 평면도를 도시한다.
도3은 종래의 기술에 따른 스핀 센서 헤드에 의해 캡처된 데이터의 규칙 분포를 도시한다.
도4는 종래의 기술에 따른 3D 공간의 포인트의 표현을 도시한다.
도5는 종래의 기술에 따른 G-PCC 예측 트리에 기초한 인코더와 유사한 포인트 클라우드 인코더를 도시한다.
도6은 종래의 기술에 따른 G-PCC 예측 트리에 기초한 디코더와 유사한 포인트 클라우드 디코더를 도시한다.
도7은 적어도 하나의 예시적인 실시예에 따라 스피닝 센서 헤드에 의해 캡처된 포인트 클라우드의 포인트의 속성에 대해 인코딩하는 방법(100)의 단계의 블록도를 도시한다.
도 8은 적어도 하나의 예시적인 실시예에 따라 스피닝 센서 헤드에 의해 캡처된 포인트 클라우드의 포인트의 속성에 대해 디코딩하는 방법(200)의 단계의 블록도를 도시한다.
도 9는 각 측면 및 예시적인 실시예를 구현하는 시스템 예시의 개략적인 블록도를 도시한다.
상이한 도면에서 이미 유사한 도면 기호로 유사한 컴포넌트를 나타내고 있다.

아래는 도면을 참조하여 예시적인 실시예 중의 적어도 하나를 더 전면적으로 설명하고, 예시적인 실시예 중의 적어도 하나의 예시를 도시한다. 그러나, 예시적인 실시예는 많은 대체적인 형식으로 수행될 수 있고 본 발명의 설명에서 설명된 예시에 한정되서는 않된다. 따라서, 이해해야 할 것은, 예시적인 실시예를 개시된 특정 형식으로 한정하려 하지 않는다. 반대로, 본 발명은 본 출원의 사상 및 범위 내에 속하는 모든 보정, 균등물 및 대체 수단을 포함한다.

도면이 흐름도의 형식으로 나타낼 경우, 해당 장치의 블록도를 더 제공하는 점을 이해해야 한다. 유사하게, 도면이 블록도의 형식으로 나타낼 경우, 해당 방법/프로세스의 흐름도를 더 제공하는 점을 이해해야 한다.

당해 측면의 적어도 하나는 통상적으로 포인트 클라우드 인코딩 및 디코딩에 관한 것이고, 적어도 하나의 기타 측면은 통상적으로 생성 또는 인코딩된 비트스트림을 전송하는 것에 관한 것이다.

또한, 본 측면은 포인트 클라우드 압축과 관련된 MPEG-I 제5 부분 또는 제9 부분과 같은 MPEG 기준에 한정되지 않고, 임의의 당해 유형의 기준 및 추천의 확장(MPEG-I 제5 부분 및 제9 부분을 포함함)은 기타 기준 및 추천에 응용될 수 있고, 별도로 지시하지 않거나 기술에서 제거되지 않는 한, 본 출원에서 설명된 측면은 단독 또는 조합하여 사용될 수 있다.

본 발명은 포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 방법 및 장치/스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 방법 및 장치에 관한 것이다. 포인트 클라우드의 각 포인트는 구면 좌표 및 속성에 관련된다. 당해 방법은, 비트스트림에서 스케일링 오프셋을 나타내는 스케일링 오프셋 정보를 시그널링하는 단계를 포함하고, 또한 포인트 클라우드의 각 현재 포인트에 대해: 현재 포인트의 구면 좌표를 인코딩/디코딩하는 단계; 인코딩된 구면 좌표로부터 현재 포인트의 디코딩된 구면 좌표를 획득하는 단계; 스케일링 오프셋을 사용하여 현재 포인트의 디코딩된 구면 좌표를 스케일링하는 단계; 및 스케일링된 디코딩된 구면 좌표를 기반으로 현재 포인트의 적어도 하나의 속성에 대해 인코딩/디코딩하는 단계;를 포함한다.

스케일링 오프셋 정보를 비트스트림에서 시그널링하면, 디코더에서 스케일링 오프셋을 계산하는 것을 방지하고, 디코딩 효율에 영향을 주지 않으면서 속성 디코딩을 시작하기 전에 모든 포인트 좌표의 디코딩을 대기하는 요구 사항을 제거한다.

본 발명은 또한 디코딩된 포인트의 속성을 디코딩하기 전에 디코딩된 포인트의 모든 좌표의 버퍼링을 제거함으로써 메모리 점유 공간을 줄인다.

도 7은 적어도 하나의 예시적인 실시예에 따라 스피닝 센서 헤드에 의해 캡처된 포인트 클라우드의 포인트 속성을 인코딩하는 방법(100)의 단계에 대한 블록도를 도시한다.

단계 110에서, 스케일링 오프셋(o _k )을 결정한다.

단계 120에서, 스케일링 오프셋(o _k )을 나타내는 스케일링 오프셋 정보가 비트스트림 B에 시그널링된다.

포인트 클라우드의 각 현재 포인트에 대해, 단계 130에서 현재 포인트의 구면 좌표가 인코딩되어 비트스트림 B에 추가된다.

단계 140에서, 인코딩된 구면 좌표를 디코딩하여 디코딩된 구면 좌표를 획득한다.

단계 150에서, 예를 들어 식(6)을 사용하여 스케일링 오프셋(o _k )을 기반으로 현재 포인트의 디코딩된 구면 좌표를 스케일링한다.

단계 160에서, 스케일링된 디코딩된 구면 좌표를 기반으로 현재 포인트의 적어도 하나의 속성을 인코딩하고, 상기 적어도 하나의 인코딩된 속성을 비트스트림 B에 추가한다.

당해 방법은 포인트의 속성을 인코딩하기 전에 포인트 클라우드의 모든 포인트의 구면 좌표를 버퍼링할 필요가 없다. 당해 방법은 인코딩 효율을 감소하지 않으면서, 인코딩의 복잡성도 증가시키지 않는다.

스케일링 오프셋 정보는 포인트 클라우드의 모든 인코딩된 포인트의 구면 좌표를 완전히 디코딩하기 전에 스케일링 오프셋(o _k )을 결정하는데 사용될 수 있는 모든 정보일 수 있다.

스케일링 오프셋 정보는 인코딩된 포인트의 구면 좌표가 재구성/디코딩되기 전에 판독/액세스/획득/디코딩될 수 있는 비트스트림의 일부에서 제공될 수 있다.

예시적인 실시예에서, 스케일링 오프셋 정보는 G-PCC의 속성 파라미터 세트에서 시그널링된다.

예시적인 실시예에서, 스케일링 오프셋 정보는 G-PCC의 기하학적 파라미터 세트에서 시그널링된다.

예시적인 실시예에서, 스케일링 오프셋 정보는 G-PCC의 속성 브릭 헤더에서 시그널링된다.

예시적인 실시예에서, 스케일링 오프셋 정보(o _k )는 G-PCC의 기하학적 브릭 헤더에서 시그널링된다.

하나의 예시적인 실시예에서, 스케일링된 구면 좌표(sc_k,i)가 음수가 아닌 것 및 스케일링된 구면 좌표(sc_k,i)가 특정 범위에 속하는 것 중 적어도 하나를 확보하도록, 스케일링 오프셋(o _k )을 결정한다.

첫번째 변형에서, 인코더에서, 인코더는 스케일링 오프셋(o _k )을 포인트 클라우드의 모든 포인트의 디코딩된 구면 좌표(c_k,i)로부터 계산된 임의의 k에 대한 최소값(m_k)으로 결정한다.

당해 변형은 속성 디코딩을 시작하기 전에 디코딩 측에서 포인트 클라우드의 모든 포인트의 구면 좌표를 디코딩하기를 대기하는 요구 사항을 제거하기 때문에 유리한다.

그러나 인코더는 여전히 스케일링 오프셋(o _k )을 결정하기 전에 및 속성 인코딩을 시작하기 전에, 모든 포인트의 좌표를 대기하고 버퍼링해야 한다.

다른 변형에서, 인코더는 임의의 k에 대해 스케일링 오프셋(o _k )을 최소값(m_k)보다 낮은 것으로 결정한다.

상기 다른 변형의 하나의 예시적인 실시예에서, 스케일링 오프셋(o _k )은 센서 및 캡처 특성에 기초하여 결정된다.

당해 예시적인 실시예는 인코딩 측 및 디코딩 측 모두에서 속성 인코딩/디코딩을 시작하기 전에 포인트 클라우드의 모든 포인트의 구면 좌표를 인코딩/디코딩하기를 대기하는 요구 사항을 제거하기 때문에 유리한다.

예를 들어, 센서 및 캡처 특성은 센서 스피닝 헤드가 포인트 클라우드의 프레임을 캡처하기 위해 완전한 스피닝을 수행했는지 여부를 지시하는 이진 값 및/또는 센서 특성 자체의 이진 값이다. 포인트 좌표의 정밀도 또는 양자화 스텝과 같은 기하학적 인코딩 설정은 스케일링 오프셋(o _k )을 결정하는데 사용될 수 있다.

첫번째 예로서, 방위각(φ) 값이 [-π/2; π/2] 범위 내의 유효 방위각 스피닝에 해당하는 범위 [-2^N-2; 2^N-2] 내에 포함된 경우, 레이저 레이더 센서는 자동차 전면에 장착되고, 전면 포인트를 획득하도록 구성되며, 반구형에서의 획득에 해당한다(식 (1) 참조). 다음, 인코더는 o₁(방위각 좌표에 대해 k = 1인 경우)을 방위각 획득 범위의 하한과 같도록 선택할 수 있으며, 당해 방위각 획득 범위의 하한은 예를 들어 -2^N-2이거나, 또는 약간 낮은 값이며: 예를 들어 손실 인코딩의 경우, Φ가 도달할 수 있는 가장 낮은 값(또는 가장 낮은 값보다 더 낮은 값).

두번째 예로서, 인코더는 인코더가 장착된 자동차의 전면, 후면, 왼쪽 및 오른쪽 측면보다 센서에 더 가까운 포인트를 인코딩하지 않도록 구성된다. 최소 반경은 센서에서 자동차의 가장 가까운 측면까지의 거리에 의해 결정될 수 있으며, o₀(반경 좌표가 k = 0인 경우)을 결정하는데 사용된다. 당해 최소 반경은 센서에서 자동차의 가장 가까운 측면까지의 물리적 거리뿐만 아니라 인코더 설정 정보(예: 반경의 양자화 스텝) 및 물리적 데카르트 공간에서의 포인트 클라우드의 공간 정밀도(예를 들어, 포인트 클라우드 공간에서 x=1, y=1 및 z=1의 병진은 현실/물리적 공간에서 x에서 1mm, y에서 1mm 및 z에서 1mm의 병진에 해당함)를 기반으로 계산된다.

세번째 예로서, 인코더는 레이저 레이더 센서의 'n'개의 첫번째 앙각으로부터 얻은 포인트를 인코딩하지 않도록 구성된다(예를 들어, 당해 포인트들은 다른 G-PCC 슬라이스에서 인코딩되고, 스케일링 오프셋은 브릭 헤더에서 시그널링됨). 다음, 최소 앙각 인덱스(o₂)(앙각 좌표가 k = 2인 경우)는 'n'으로 결정될 수 있다.

하나의 예시적인 실시예에서, 스케일링 오프셋 정보는 스케일링 오프셋(o_k)을 포함한다.

하나의 예시적인 실시예에서, 스케일링 오프셋 정보는 또한 특정 방법을 사용하여 스케일링 오프셋(o_k)을 결정하는 것을 지시한다.

하나의 예시적인 실시예에서, 스케일링 오프셋 정보는 기하학적 인코딩 설정 정보를 포함한다.

변형에서, 상기 기하학 인코딩 설정 정보는 G-PCC의 기하학적 파라미터 세트에서 시그널링된다.

예를 들어, G-PCC에서 반경(r)과 앙각 인덱스(또는 이에 상응하는 센서 인덱스)는 항상 양수이거나 0이므로, 기하학적 인코딩 설정 정보는 반경 및 앙각에 대한 스케일링 오프셋(o₀ 및 o₂)이 0으로 결정되는 것을 지시할 수 있고, 또한, 방위각에 대한 스케일링 오프셋(o₁)은 문법 요소 geom_angular_azimuth_scale_log2_minus11(식1에서의 N-11에 해당)에 의해 지시된 기하학적 파라미터 세트에서 방위각 정밀도의 정밀도 비트 수에 기초하여 결정된다. 다음, 경계 b₁은 2^{geom_angular_azimuth_scale_log2_minus11+11-1}에 의해 제공된다. 다음, 방위각 정수 표현이 포인트 클라우드의 임의 포인트의 방위각 정수 표현이 범위 [-(2^{geom_angular_azimuth_scale_log2_minus11+11-1}), 2^{geom_angular_azimuth_scale_log2_minus11+11-1}] = [-b₁; b₁]에 속하는 것을 지시하는 제약 조건에 부합하는 것을 가정하며, [-π, π] 구간의 균일한 양자화를 나타낸다. 이 경우, 스케일링 오프셋(o₁)은 -b₁과 동일하게 설정될 수 있으며, 이는 스케일링된 구면 좌표(sc_k,1)가 음수가 아닌 것을 보장한다.

그러나, G-PCC의 예측 트리에서, 이 제약 조건이 G-PCC 호환 비트스트림에 의해 확인된다는 것을 부과하거나 보장하는 것이 없다. [-b₁; b₁] 범위에서만 방위각 정수 표현을 생성하도록 G-PCC 인코더가 신중하게 설계되지만, 디코딩 각도에서 볼 때, 인코더가 G-PCC 호환 비트스트림을 생성하는 동안 당해 제약 조건을 처리했다는 보장은 없다.

당해 문제를 해결하기 위해, 변형에서 기하학적 인코딩 설정 정보는 범위 [-b₁,b₁]에 속하는 디코딩된 방위각(c_1,i)을 지시하고, 스케일링 오프셋(o₁)은 o₁ = -b₁인 것으로 결정되어, 스케일링된 디코딩된 방위각(sc_1,i)이 음수가 아니도록 한다.

이 변형은 포인트 좌표의 디코딩을 수정할 필요가 없기 때문에 유리하다.

그러나, 호환되지 않는 비트스트림으로 이어지는 인코더에 몇 가지 실수가 있을 수 있기 때문에, 제약 조건을 확인하는 비트스트림을 생성하도록 부과하는 것은 특히 최선의 해결책이 아니다.

변형에서, 차(c_k,i-o_k)가 음수인 경우에도 음이 아닌 스케일링된 디코딩된 방위각(sc_1,i)을 얻기 위해 기하학적 디코딩이 수정된다.

변형에서, 디코딩된 방위각(c_1,i)은 클리핑되어, 디코딩된 방위각이 범위 [-b₁; b₁]에 속하는지 확인한다. 스케일링된 방위각을 계산하기 전에, 디코딩된 방위각(c_1,i)이 -b₁보다 낮으 경우, 디코딩된 방위각(c_1,i)은 -b₁과 동일하게 설정되거나, 디코딩된 방위각(c_1,i)이 b₁보다 높은 경우, 디코딩된 방위각(c_1,i)은 b₁과 동일하게 설정된다.

다른 변형에서, 속성에 대한 디코딩을 방해하지 않기 때문에, 디코딩된 방위각(c_1,i)이 b₁보다 높은 경우, 디코딩된 방위각 값은 수정/클리핑되지 않는다.

식 (6) 및 당해 변형을 사용하여, 디코딩된 방위각(c_1,i)의 하한을 클리핑하여 확인함으로써, 스케일링된 디코딩된 방위각(sc_1,i)의 음이 아닌 성질을 확보하며, 이는 식 (7)을 사용하는 것과 동일하다.

sc_k,i　=　max(0,　(c_k,i　-　o_k))　*　s_k　+　128　>>　8, (7)

음의 스케일링된 디코딩된 방위각(s_c1,i)을 0으로 클리핑하여, 여기서 스케일링 오프셋(o₁)은 o₁ = -b₁로 결정된다.

변형에서, 인코더는 디코딩된 방위각(c_1,i)에 대해 모듈로 연산(또는 등가 연산)을 사용하여, 디코딩된 방위각(c_1,i)을 범위 [-b₁, b₁](또는 동등하게 범위 [-π, π])에 속하도록 제한한다. 디코딩된 방위각(c_1,i)이 범위 [-b₁, b₁] 외부에 있을 경우, 디코딩된 방위각을 c_1,i와 동일하게 설정하여 b₁에 대해 모듈로한다. 예를 들어, 디코딩된 방위각(c_1,i)이 -b₁보다 낮으면, 디코딩된 방위각은 c_1,i + (1 + 2*b₁)과 동일하게 설정되고, c_1,i가 -b₁보다 높으면, c_1,i는 c_1,i - (1 + 2 * b₁)과 동일하게 설정된다. 당해 반복 프로세스는 "진정한" 모듈로 연산을 사용하는 것보다 CPU 런타임 측면에서 비용이 적게 들기 때문에 선호되는 경우가 많다.

정의 및/또는 사용되는 프로그래밍 언어에 따라, 모듈로 연산은 음수에 대해 다르게 표현할 수 있다. Donald Knuth가 제공한 정의를 참조하면 다음과 같다.

mod(a, n) = a - n * floor(a / n), (8)

b₁에 대해 모듈로 연산을 사용하는 위의 설명은 c_1,i를 다음과 동일하게 하는 것과 대략 동일하다.

mod(c_1,i　+　b₁, 2　*　b₁)　-　b₁ (9)

유일한 차이점은 식 (9)를 사용할 때, c_1,i가 b₁보다 엄격하게 낮다는 것이다.

식 (6)을 사용하고 모듈로 연산을 사용하는 것은 먼저 차 d_1,i　=　(c_1,i　-　o₁)를 계산하는 것과 같다. 여기서, 스케일링 오프셋(o₁)은 o₁ = -b₁로 결정된다. 다음, d_1,i에 대해 모듈로 연산을 적용한다. 따라서, 스케일링된 디코딩된 방위각 sc_1,i에 대해, 식 (6)을 다음과 같이 대체한다.

sc_1,i　=　mod(c_1,i　-　o_k, 2　*　b₁)　*　s₁　+　128　>>　8 (10)

다음 디코딩된 포인트의 예측에서 수정된 방위각을 고려하도록, 기하학적 디코딩 프로세스 동안 클리핑 또는 모듈로 연산을 완성할 수 있다.

선택적으로, 전술한 바와 같이, 좌표의 스케일링 동안, 기하학적 디코딩 이후 속성 디코딩 이전에 클리핑 또는 모듈로 연산을 수행할 수 있다.

변형에서, 인코더에 의해 동조되는 스케일링 오프셋(필요한 경우, 예를 들어 이전 프레임에서, 포인트를 버퍼링하지 않고 수행될 수 있음)이 속성 파라미터 세트에서 시그널링될 수 있지만, (c_k,i - o_k)가 항상 0보다 크거나 같은 것은 보장되지 않는다. 다음, 식(6)을 사용하는 대신, 스케일링 계수(sc_k,i)가 0보다 크거나 같도록 확보하는 방법을 사용하여 스케일링 계수를 결정한다. 예를 들어, 식(7)을 사용하거나, 또는 모듈로 연산 예컨대 식(10)을 사용한다.

도 8은 적어도 하나의 예시적인 실시예에 따라 스피닝 센서 헤드에 의해 캡처된 포인트 클라우드의 포인트 속성을 디코딩하는 방법(200)의 단계에 대한 블록도를 도시한다.

단계 210에서, 비트스트림 B로부터 얻은 스케일링 오프셋 정보에 접근한다.

포인트 클라우드의 각 현재 포인트에 대해, 단계 220에서, 비트스트림 B로부터 획득된 현재 포인트의 인코딩된 구면 좌표에 기초하여 디코딩된 구면 좌표가 획득되고, 현재 포인트의 구면 좌표는 방위각, 현재 포인트를 캡처한 센서의 고도에 대한 앙각 및 현재 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타낸다. 여기서, 방위각은 현재 포인트를 캡처한 스피닝 센서 헤드의 센서의 캡처 각도를 나타낸다.

단계 230에서, 예를 들어 식 (6)을 사용하여, 스케일링 오프셋 정보로부터 획득된 스케일링 오프셋(o_k)을 기반으로 디코딩된 구면 좌표를 스케일링한다.

단계 240에서, 스케일링된 디코딩된 구면 좌표를 기반으로, 포인트 클라우드의 포인트의 (하나 이상의) 속성을 디코딩한다.

G-PCC 호환 비트스트림은 인코딩된 포인트 클라우드 데이터를 디코딩하는데 사용되는 다수의 설정 정보를 포함해야 한다.

G-PCC 호환 비트스트림 B의 일부 기존 문법 요소는 본 발명을 구현하기 위해 특정 값을 가져야 하고, 일부 새로운 문법 요소가 필요한다.

따라서, 하나의 예시적인 실시예에서, 스케일링 오프셋 정보는 특정 방법을 사용하여 스케일링 오프셋(o_k)을 결정하는 것을 지시하는 기하학적 인코딩 및 속성 인코딩 설정 정보를 포함한다.

예를 들어, 상기 기하학적 인코딩 및 상기 속성 인코딩 설정 정보를 구성하는 기존 문법 요소는, 기하학적 파라미터 세트에서, 기존 문법 요소 "geom_tree_type"은 1로 설정되어, 예측 트리가 기하학적 인코딩에 사용됨을 지시한다. 기존 문법 요소 "geometry_angular_enabled_flag"는 기하학적 파라미터 세트에서 1로 설정되어, 예측 트리가 예측 방식에서 구면 좌표를 사용하고 있음을 지시한다. 속성 파라미터 세트에서, 기존 문법 요소 "attr_coding_type/attr_encoding"은 0으로 설정되어, LoD 예측 변환이 포인트의 속성 인코딩에 사용됨을 지시하고; 기존 문법 요소 "lod_scalability_enabled_flag/scalable_lifting_enabled_flag"는 0으로 설정되어, 스케일링 가능 표현이 사용되지 않음을 지시하고; 기존 문법 요소 "max_num_detail_levels_minus1/num_detail_levels_minus1"은 0으로 설정되어, 단일 세부 정보 계층이 사용됨을 지시하고; 기존 문법 요소 "morton_sort_skip_enabled_flag/canonical_point_order_flag"는 1로 설정되어, 포인트의 속성에 대한 인코딩 순서가 해당하는 기하학적 인코딩을 수행하는 순서와 동일함을 지시한다. 기존 문법 요소 "aps_coord_conv_flag/sphere_coord_flag"는 1로 설정되어, 구면 좌표를 사용하여 포인트의 속성을 인코딩함을 지시한다. 따라서, 포인트 속성에 대해 보다 우수한 압축 성능을 제공하고, 스케일링 요소가 비트스트림에서 시그널링되는 것을 지시한다.

본 발명에 따르면, 비트스트림에 새로운 문법 요소가 추가되어, 스케일링 오프셋 정보를 시그널링한다.

스케일링 오프셋 정보를 시그널링한다는 것은, 특정 확장 메커니즘이 포인트의 속성 인코딩에 사용되고, 속성 인코딩 파라미터가 비트스트림, 예를 들어 G-PCC 호환 비트스트림의 속성 파라미터 세트의 확장 부분에서 시그널링된다는 것을 지시한다.

하나의 예시적인 실시예에서, 스케일링 오프셋 정보를 시그널링하는 새로운 문법 요소는 이진 정보(예를 들어 "attr_coord_conv_scale_fixed_offset_flag"로 표현된 플래그) 및 스케일링 오프셋을 포함한다. 다음 비트스트림에서 스케일링 오프셋(o_k)이 효율적으로 시그널링되는 것을 지시하기 위해, 이진 정보가 1로 설정되고, 비트스트림에서 이진 정보 뒤에 스케일링 오프셋을 나타내는 정보가 따라온다.

디코딩 방법(200)은 비트스트림으로부터 이진 정보(예를 들어, "attr_coord_conv_scale_fixed_offset_flag"로 표현된 플래그)를 디코딩한다. 이진 정보가 1과 같은 경우, 비트스트림으로부터 상기 스케일링 오프셋(o_k)을 나타내는 정보를 디코딩하여 스케일링 오프셋(o_k)을 획득한다. 이진 정보가 0과 같은 경우, 디코딩 방법(200)은 활성화되지 않는다.

하나의 예시적인 실시예에서, 스케일링 오프셋 정보를 시그널링하는 새로운 문법 요소는 이진 정보를 포함한다. 당해 이진 정보는 예를 들어 "attr_coord_conv_scale_fixed_offset_flag"로 표현된 플래그이며, 1로 설정되어, 스케일링 오프셋 (o₁, o₁, o₂)이 각각 (0, -(2^{geom_angular_azimuth_scale_log2_minus11+11-1}), 0)과 같음을 지시한다. 이진 정보가 1로 설정된 경우, 또한 식 (6) 대신 식(7)이 디코딩된 포인트의 구면 좌표를 스케일링하는데 사용된다는 것을 지시한다.

디코딩 방법(200)은 비트스트림으로부터 이진 정보(예를 들어 "attr_coord_conv_scale_fixed_offset_flag")를 디코딩한다. 이진 정보가 1과 같은 경우, 스케일링 오프셋(o₀, o₁, o₂)을 각각 (0, -(2^{geom_angular_azimuth_scale_log2_minus11+11-1}), 0)으로 설정하고, 식 (6) 대신 식(7)을 디코딩된 포인트의 구면 좌표를 스케일링하는데 사용한다. 이진 정보가 0과 같은 경우, 디코딩 방법(200)은 활성화되지 않는다.

변형에서, 속성 인코딩 설정 정보(및 선택적으로 기하학적 인코딩 설정 정보)는 속성 인코딩/디코딩 방법이 음의 기하학적 좌표(및 스케일링된 디코딩된 구면 좌표의 음의 값) 사용을 지원할 수 있음을 지시한다. 예를 들어, 기존 문법 요소의 시그널링에 대해 위의 예를 사용하면, 하나의 예시적인 실시예에서, 스케일링 오프셋 정보를 시그널링하는 새로운 문법 요소는 이진 정보, 예를 들어 "attr_coord_conv_scale_fixed_offset_flag"로 표현된 플래그를 포함하고, 1로 설정되어, 스케일링 오프셋(o₁, o₁, o₂)이 각각 (0, 0, 0)과 동일함을 지시한다.

도 9는 각 측면 및 예시적인 실시예를 구현하는 시스템 예시의 개략적인 블록도를 도시한다.

시스템(300)은 하나 이상의 기기로서 삽입될 수 있고, 아래에서 설명된 각 컴포넌트를 포함한다. 각 실시예에서, 시스템(300)은 본 출원에서 설명된 하나 이상의 측면을 구현하도록 구성된다.

시스템(300)의 전부 또는 부분을 구성하는 장치의 예시는 개인용 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋톱박스, 디지털 텔레비전 수신기, 개인 비디오 기록 시스템, 연결된 가전제품, 연결된 차량 및 관련 처리 시스템, 헤드마운트 디스플레이 장치(HMD, 투시 안경), 프로젝터(프로젝터), "동굴(cave)" (복수의 모니터를 포함하는 시스템), 서버, 비디오 인코더, 비디오 디코더, 비디오 디코더에서의 출력을 처리하는 포스트프로세서, 비디오 인코더에 입력을 제공하는 프리프로세서, web 서버, 셋톱박스 및 포인트 클라우드, 비디오 또는 이미지를 처리하는 임의의 기타 기기, 또는 기타 통신 기기를 포함한다. 시스템(300)의 소자는 단독 또는 조합되어 단일 직접 회로(IC), 복수의 IC 및/또는 분립 어셈블리에서 수행된다. 예를 들면, 적어도 하나의 실시예에서, 시스템(300)의 처리 및 인코더/디코더 소자는 복수의 IC 및/또는 분립 어셈블리를 넘어 분포된다. 각 실시예에서, 시스템(300)은 예를 들어 통신 버스 또는 전용 입력 및/또는 출력 포트에 의해 기타 유사 시스템 또는 기타 전자 기기에 통신 가능하게 결합될 수 있다.

시스템(300)은 적어도 하나의 프로세서(310)를 포함하고, 당해 적어도 하나의 프로세서(310)는 로딩된 명령, 예를 들면본 출원에 설명된 각 측면. 프로세서(310)는 임베디드 메모리, 입력출력 인터페이스 및 본 분야 주지의 각 기타 회로. 시스템(300)은 적어도 하나의 메모리(320)(예를 들면, 비휘발성 메모리 기기 및/또는 비휘발성 메모리 기기). 시스템(300)는 기억 장치(340), 비휘발성 메모리 및/또는 휘발성 메모리, 전기적으로 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리(EEPROM), 읽기 전용 기억 장치(ROM), 프로그래밍 가능 읽기 전용 메모리(PROM), 랜덤 액세스 메모리(RAM), 다이나믹 램(DRAM), 스태틱 램(SRAM), 플래시 메모리, 디스크 드라이버 및/또는 시디롬 드라이버를 포함하나 이에 한정되지 않는다. 비제한적인 예시로서, 기억 장치(340)는 내부 기억 장치, 연결 기억 장치 및/또는 네트워크 액세스 가능 기억 장치를 포함할 수 있다.

시스템(300)은 인코더/디코더 모듈(330)을 포함할 수 있고, 예를 들어 데이터를 처리하여 인코딩/디코딩된 포인트 클라우드 기하학적 데이터를 제공하도록 구성되고, 인코더/디코더 모듈(330)은 자신을 포함한 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(330)은 기기에 포함되어 인코딩 및/또는 디코딩 기능을 수행하는(하나 또는 복수) 모듈을 나타낼 수 있다. 이미 알려진 바와 같이, 기기는 인코딩 및 디코딩 모듈 중의 하나 또는 둘을 포함한다. 또한, 인코더/디코더 모듈(330)은 시스템(300)의 분리된 소자로 구현될 수 있고, 또는 당업자에 이미 알려진 하드웨어와 소프트웨어의 조합으로서 프로세서(310)에 결합될 수 있다.

프로세서(310) 또는 인코더/디코더(330)에 로딩되어 본 출원에서 설명된 각 측면의 프로그램 코드는 기억 장치(340)에 저장될 수 있고, 메모리(320)에 로딩되어 프로세서(310)에 의해 수행된다. 각 실시예에 따라, 본 출원에서 설명된 프로세스를 수행하는 기간, 프로세서(310), 메모리(320), 기억 장치(340) 및 인코더/디코더 모듈(330) 중의 하나 또는 다수는 각 프로젝트의 하나 또는 다수를 저장할 수 있다. 당해 저장된 프로젝트는 포인트 클라우드 프레임, 인코딩/디코딩된 기하학적 형상/속성 비디오/이미지 또는 인코딩/디코딩된 기하학적 형상/속성 비디오/이미지의 일부분, 비트스트림, 행렬, 변량 및 식, 공식 및 운산 논리 처리의 중간 또는 최종 결과를 포함하나 이에 한정되지 않는다.

몇 개의 실시예에서, 프로세서(310) 및/또는 인코더/디코더 모듈(330) 내부의 메모리는 명령을 저장하고 인코딩 또는 디코딩 기간에 수행된 처리에 작업 메모리를 제공하는데 사용될 수 있다.

그러나, 기타 실시예에서, 처리 기기 외부의 메모리(예를 들면, 처리 기기는 프로세서(310) 또는 인코더/디코더 모듈(330)일 수 있음)는 당해 기능 중의 하나 또는 복수에 사용된다. 외부 기억 장치는 메모리(320) 및/또는 기억 장치(340)일 수 있다. 예를 들면, 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 몇 개의 실시예에서, 외부 비휘발성 플래시 메모리는 텔레비전의 동작 시스템을 저장하는데 사용된다. 적어도 하나의 실시예에서, 예를 들면 RAM과 같은 고속 외부 동적 휘발성 메모리는 비디오 인코딩 및 디코딩 동작을 하는 작업 메모리로 사용될 수 있다. 예를 들면 MPEG-2 제2 부분(ITU-T Recommendation H.262 및 ISO/IEC 13818-2라고도 하고, MPEG-2 비디오라고도 함), HEVC(고효율 비디오 인코딩), VVC(통용 비디오 인코딩) 또는 MPEG-I 제5 부분 또는 제9 부분에 대해 수행할 수 있다.

블록(390)에 지시된 바와 같이, 각 입력 기기를 통해 시스템(300)의 소자에 대한 입력을 제공할 수 있다. 당해 유형의 입력 기기는 (i) 방송 기기에 의해 공중 전송된 RF 시그널을 수신할 수 있는 RF 부분, (ii) 복합 입력 단자, (iii) USB 입력 단자, 및/또는 (iv) HDMI 입력 단자를 포함하나 이에 포함되지 않는다.

각종 실시예에서, 블록(390)의 입력 기기는 관련된 해당 입력 처리 소자를 구비하고, 본 분야에 알려진 바와 같다. 예를 들면, RF 부분은 아래의 필수 소자와 관련될 수 있다. (i) 예상 주파수(선택 시그널이라고도 함, 또는 시그널 대역폭을 대역폭에 한정함), (ii) 다운 컨버젼에 의해 선택된 시그널, (iii) 대역폭을 다시 비교적 좁은 대역폭에 한정하여, (예를 들면) 일부 실시예에서 채널라고 불리우는 시그널 대역폭을 선택하는 것, (iv) 다운 컨버젼 및 대역폭에 의해 제한되는 시그널을 복조하는 것 및 (v) 오류 정정을 수행하는 것, (vi) 디먹스하여 예상 데이터 베이스 스트림을 선택하는 것. 각 실시예의 RF 부분은 하나 이상의 당해 기능을 수행하는 소자를 포함할 수 있다. 예를 들면, 주파수 셀렉터, 시그널 셀렉터, 대역폭 스토퍼, 채널 셀렉터, 필터, 다운 컨버터, 복조기, 오류 정정기 및 디먹스를 포함할 수 있다. RF 부분은 당해 기능의 각 기능을 수행하는 동조기를 포함할 수 있고, 당해 기능은 수신된 시그널을 더 낮은 주파수(예를 들면, 중파 또는 기저 대역 주파수와 유사함) 또는 기저 대역으로다운 컨버젼하는 것을 포함한다.

일 셋톱박스 실시예에서, RF 부분 및 당해 관련된 입력 처리 소자는 유선(예를 들면, 케이블) 매체에서 전송된 RF 시그널을 수신할 수 있다. 그리고, RF 부분은 필터, 다운 컨버젼 및 예상 대역폭으로 다시 필터링하여 주파수 선택을 수행한다.

각 실시예는 상기(및 기타) 소자의 순서를 다시 정렬하고, 당해 소자의 일부를 제거하고, 및/또는 유사 또는 상이한 기능을 수행하는 기타 소자를 추가한다.

소자의 추가는 종래의 소자 사이에 소자를 삽입하는 것을 포함한다. 예를 들면 증복기 및 AD 변환기를 삽입한다. 각 실시예에서, RF 부분은 안테나를 포함한다.

또한, USB 및/또는 HDMI 단자는 해당 인터페이스 프로세서를 포함할 수 있고, USB 및/또는 HDMI 연결을 통해 시스템(300)을 기타 전자 기기에 연결하는데 사용된다. 이해해야 할 것은, 필요시 입력 처리된 각 측면(예를 들면, Reed-Solomon 오류 정정) 예를 들어 분리된 입력 처리 IC 또는 프로세서(310) 내에서 구현될 수 있다. 유사하게, 필요시 분리된 인터페이스 IC 또는 프로세서(310) 내에서 USB 또는 HDMI 인터페이스 처리의 각 측면을 구현할 수 있다. 복조, 오류 정정 및 디먹스된 스트림은 각 처리 소자에 제공될 수 있고, 예를 들면 프로세서(310) 및 인코더/디코더(330)를 포함하고, 그들은 메모리 및 기억 소자와 결합하도 동작하고, 필요시 데이터 스트림을 처리하여 출력 기기에서 나타낸다.

통합 하우징에서 시스템(300)의 각 소자를 제공할 수 있다. 통합 하우징에서, 적합한 연결 배치(390)를 사용할 수 있다. 예를 들면, 본 분야에서 알려진 내부 버스(I2C 버스를 포함함), 배선 및 인쇄 회로 기판으로써, 각 소자를 연결하고 그들 사이에서 데이터를 전송한다.

시스템(300)은 통신 인터페이스(350)를 포함할 수 있고, 통신 채널(700)을 통해 기타 기기와 통신하도록 한다. 통신 인터페이스(350)는 통신 채널(700)에 설치되어 데이터를 수신 및 송신하는 송수신기를 포함하나 이에 한정되지 않는다. 통신 인터페이스(350)는 모뎀 또는 랜 카드를 포함하나 이에 한정되지 않고, 통신 채널(700)은 예를 들어 유선 및/또는 무선 매체에서 구현될 수 있다.

각 실시예에서, IEEE 802.11과 같은 Wi-Fi 네트워크를 통해 데이터를 시스템(300)에 스트림 전송한다. 당해 실시예의 Wi-Fi 시그널은 Wi-Fi 통신에 적용되는 통신 채널(700) 및 통신 인터페이스(350)를 통해 수신된다. 당해 실시예의 통신 채널(700)은 통상적으로 액세트 포인트 또는 라우터에 연결될 수 있고, 당해 액세스 포인트 또는 라우터는 인터넷을 포함한 외부 네트워크에 대한 액세스를 제공하고, 스트림 전송 응용 및 기타 오버더톱 서비스(Over-the-top) 통신을 하도록 한다.

기타 실시예는 셋톱박스로써 시스템(300)에 스트림 전송의된 데이터를 제공하고, 당해 셋톱박스는 블록(390)의 HDMI 연결을 입력하여 데이터를 송신한다.

입력 블록(390)의 RF 연결로써 스트림 전송된 데이터를 시스템(300)에 제공하는 기타 실시예가 더 있다.

스트림 전송된 데이터는 시스템(300)에 의해 사용된 시그널링 정보의 방식으로서 사용될 수 있다. 시그널링 정보는 비트스트림 B 및/또는 스케일링된 오프셋 정보와 같은 정보를 포함할 수 있다.

알고 있어야 할 것은, 복수의 방식으로써 시그널링을 구현할 수 있다. 예를 들면, 각 실시예에서, 하나 이상의 문법 요소, 플래그 등은 해당 디코더에 시그널 알림 정보를 송신하는데 사용될 수 있다.

시스템(300)은 모니터(400), 스피커(500) 및 기타 주변 기기(600)를 포함하는 각 출력 기기에 출력 시그널을 제공할 수 있다. 실시예의 각 예시에서, 기타 주변 기기(600)는 독립 DVR, 디스크 플레이어, 스테레오 시스템, 조명 시스템 및 시스템(300)의 출력을 기반으로 기능을 제공하는 기타 기기 중의 하나 또는 다수를 포함할 수 있다.

각 실시예에서, 제어 시그널은 예를 들어 AV.Link(오디오/비디오 링크), CEC(소비 전자 제어) 또는 사용자 참여가 있거나 또는 없는 경우에 기기부터 기기의 제어를 시동하는 기타 통신 프로토콜의 시그널링으로써 시스템(300) 및 모니터(400), 스피커(500) 또는 기타 주변 기기(600) 사이에서 통신한다.

출력 기기는 해당 인터페이스(360, 370, 380)를 통해 전용 연결을 거쳐 통신 가능하게 시스템(300)에 결합된다.

선택적으로, 통신 인터페이스(350)를 거쳐 통신 채널(700)로써 출력 기기를 시스템(300)에 연결할 수 있다. 모니터(400) 및 스피커(500)는 전자 기기(예를 들면 텔레비전) 시스템(300)의 기타 어셈블리와 단일 유닛에 통합될 수 있다.

각 실시예에서, 디스플레이 인터페이스(360)는 타이밍 컨트롤러(T Con) 칩과 같은 디스플레이 드라이버를 포함할 수 있다.

예를 들면, 입력단(390)의 RF 부분이 분리된 셋톱박스의 일부분일 경우, 모니터(400) 및 스피커(500)는 선택적으로 기타 어셈블리의 하나 또는 다수와 분리될 수 있다. 모니터(400) 및 스피커(500)가 외부 어셈블리일 수 있는 각 실시예에서, 전용 출력 연결(예를 들면 HDMI 포트, USB 포트 또는 COMP 출력단을 포함함)을 통해 출력 시그널을 제공할 수 있다.

도1 내지 9에서, 본 발명의 설명은 각 방법을 설명하고, 각 방법은 하나 이상의 단계 또는 동작을 포함하여, 설명된 방법을 구현한다. 방법의 정확한 동작이 특정 단계 또는 동작 순서가 수요되지 않는 한, 특정 단계 및/또는 동작의 순서 및/또는 사용을 보정 또는 조합할 수 있다.

블록도 및/또는 동작 흐름도는 일부 예시를 설명한다. 각 블록은 회로 소자, 모듈 또는 코드의 부분을 나타내고, (하나 이상의) 지정 논리 기능을 구현하는 하나 이상의 수행 가능한 명령을 포함한다. 더 주의해야 할 것은, 기타 수행 방식에서, 블록에 태깅된(하나 이상의 ) 기능은 지시된 순서에 따라 발생하지 않아도 된다. 예를 들면, 언급된 기능에 따르면, 이어서 나타낸 2개의 블록은 실제로 동시에 수행될 수 있고, 또는 때로는 반대 순서로 당해 블록을 수행할 수 있다.

예를 들어 방법 또는 프로세스, 장치, 컴퓨터 프로그램, 데이터 스트림, 비트스트림 또는 시그널에서 본 발명의 설명에서 설명된 수행 방식 및 측면을 구현할 수 있다. 단일 형식의 수행 방식의 콘텍스트에서만 토론하여도(예를 들면, 방법으로서만 토론), 토론된 특징의 수행 방식은 기타 형식(예를 들면, 장치 또는 컴퓨터 프로그램)으로 구현될 수 있다.

방법은 예를 들면 프로세서에서 구현될 수 있고, 프로세서는 통상적으로 처리 기기를 가리키고, 예를 들어 컴퓨터, 마이크로 프로세서, 직접 회로 또는 프로그래머블 기기를 포함한다. 프로세서는 통신 기기를 더 포함한다.

또한, 방법은 프로세서에 의해 수행되는 명령을 통해 구현될 수 있고, 당해 유형의 명령(및/또는 수행 방식에 의해 생성된 데이터값)은 컴퓨터 판독 가능 매체에 저장될 수 있다. 컴퓨터 판독 가능 매체는 하나 이상의 컴퓨터 판독 가능 매체에서 수행되고 그 위에서 수행되고 컴퓨터에 의해 수행될 수 있는 컴퓨터 판독 가능 프로그램 코드의 컴퓨터 판독 가능 프로그램 제품의 형식을 사용할 수 있다. 여기서 정보를 저장하는 고유 능력 및 정보의 검색을 제공하는 고유 능력을 감안한다. 예를 들면 본 발명의 설명에서 사용된 컴퓨터 판독 가능 매체는 비일시적 저장 매체로 간주될 수 있다. 컴퓨터 판독 가능 매체는 예를 들어 전자, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 상기 임의의 적합한 조합을 포함하나 이에 한정되지 않는다. 인식해야 할 것은, 아래는 랩탑 컴퓨터 플로피 디스크; 하드 디스크; 읽기 전용 기억 장치(ROM); 지울 수 있는 프로그램 가능 읽기 전용 메모리(EPROM 또는 플래시 메모리); 휴대용 시디롬(CD-ROM); 광학 저장 장치; 자기 저장 장치; 또는 상기 임의의 적합한 조합과 같이 당해 본 실시예의 컴퓨터 판독 가능 매체를 응용하는 더 구체적인 예시를 제공하지만, 당업자에 의해 더 쉽게 인식된 것과 같이, 설명적인 것 뿐이고 상세하게 설명하지 않는다.

명령은 프로세서 판독 가능 매체에 유형적으로 수행될 수 있는 응용 프로그램을 형성할 수 있다.

예를 들면, 명령은 하드웨어, 펌웨어, 소프트웨어 또는 조합에 있을 수 있다. 예를 들면, 동작 시스템, 단독 응용 또는 양자의 조합에서 명령을 찾을 수 있다. 따라서, 프로세서는 예를 들어 프로세스를 수행하도록 구성된 기기 및 프로세스를 수행하는 명령을 구비하는 프로세서 판독 가능 매체(예를 들면 기억 장치)를 포함하는 기기로 나타낼 수 있다. 또한, 명령 이외에 또는 명령을 대체하여, 프로세서 판독 가능 매체는 수행 방식에 의해 생성된 데이터값을 저장할 수 있다.

장치는 예를 들어 적당한 하드웨어, 소프트웨어 및 펌웨어에서 구현된다. 당해 장치의 예시는 개인용 컴퓨터, 랩톱, 스마트폰, 태블릿PC, 디지털 멀티미디어 셋톱 박스, 디지털 텔레비전 수신기, 개인용 비디오 녹화 시스템, 연결된 가전 제품, 헤드 마운트 디스플레이 장치(HMD, 투시 안경), 프로젝터(빔 프로젝터), "동굴"(다중 모니터를 포함하는 시스템), 서버, 비디오 인코더, 비디오 디코더, 비디오 디코더에서의 출력을 처리하는 후프로세서, 비디오 인코더에 입력을 제공하는 전처리기, web 서버, 셋톱 박스 및 포인트 클라우드, 비디오 또는 이미지를 처리하는 임의의 기타 기기 또는 통신 기기를 포함한다. 분명해야 할 것은, 징치는 이동 가능하고 이동 차량에 장착될 수도 있다.

컴퓨터 소프트웨어는 프로세서(310)또는 하드웨어, 또는 하드웨어 및 소프트웨어의 조합에 의해 구현될 수 있다. 비제한적인 예시로서, 하나 이상의 직접 회로를 통해 실시예를 구현할 수 있다. 메모리(320)는 기술 환경에 적합한 임의의 유형일 수 있고, 임의의 적합한 데이터 저장 기술(예를 들면 광학 메모리 기기, 자기 메모리 기기, 반도체를 기반으로하는 메모리 기기, 고정 메모리 및 이동 가능 메모리, 비제한적인 예시)로써 구현될 수 있다. 프로세서(310)는 기술 환경의 적용될 수 있는 임의의 유형일 수 있고, 마이크로 프로세서, 범용 컴퓨터, 전용 컴퓨터 및 멀티 체계 아키텍처의 프로세서 중의 하나 또는 다수를 포함할 수 있고, 비제한적인 예시로 한다.

당업자에서 있어서 자명한 바, 수행 방식은 예를 들어 저장 또는 전송될 수 있는 정보를 구비하도록 포맷된 시그널을 생성할 수 있다. 정보는 예를 들어 방법을 수행하는 명령 또는 설명된 수행 방식 중의 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들면, 시그널은 설명된 실시예의 비트스트림를 구비하도록 포맷될 수 있다. 당해 시그널은 포맷 예를 들어 전자파(예를 들면, 주파수 프펙트럼의 주파수 부분) 또는 기저 대역 시그널로 포맷될 수 있다. 포맷은 예를 들어 데이터 스트림에 대해 인코딩하고 인코딩된 데이터 스트림으로써 방송파에 대해 변조하는 것을 포함한다. 시그널에 구비된 정보는 예를 들어 시뮬레이션 또는 디지털 정보일 수 있다. 이미 알려진 바와 같이, 시그널은 각 상이한 유선 또는 무선 링크를 통해 전송될 수 있다. 시그널은 프로세서 판독 가능 매체에 저장될 수 있다.

본 발명의 설명에서 사용된 용어는 특정 실시예를 설명하기 위한 것이고 한정하려는 것이 아니다. 본 발명의 설명에서 사용된 바와 같이, 콘텍스트에 명확한 설명이 있지 않는 한, 홀수 형식의 "1개", "1종" 및 "당해"는 복수 형식을 포함할 수도 있다. 더 이해해야 하는 것은, 본 발명의 설명에서 사용될 경우, 용어 "포괄/포함(include/comprise)" 및/또는 "포괄/포함(including/comprising)"은 설명된 특징, 정수, 단계, 동작, 요소 및/또는 어셈블리의 존재를 지정할 수 있고, 하나 이상의 기타 특징, 정수, 단계, 동작, 요소, 어셈블리 및/또는 당해 조합의 존재 또는 추가를 제외하지 않는다. 그리고, 1개의 요소가 다른 요소에 "응답" 또는 "연결"될 경우, 다른 요소에 직접 응답하거나 연결될 수 있고, 또는 중간 요소가 존재할 수 있다. 반대로, 1개의 요소가 다른 요소에 "직접 응답" 또는 "직접 연결"될 경우, 중간 요소가 존재하지 않는다.

인식해야 할 것은, 예를 들어 "A/B", "A 및/또는 B" 및 "A 및 B의 적어도 하나의"일 경우, 심볼/용어 "/", "및/또는" 및 "적어도 하나" 중의 임의의 하나의 사용은 오직 제1차 열거된 옵션(A)의 선택, 또는 제2차 열거된 옵션(B)의 선택, 또는 2개의 옵션(A 및 B)의 선택을 포함할 수 있다. 추가 예시로서, "A, B 및/또는 C" 및 "A, B 및 C 중의 적어도 하나"일 경우, 당해 조사는 오직 제1차 열거된 옵션(A)의 선택, 또는 두번째로 열거된 옵션 옵션(B)의 선택, 또는 세번째로 열거된 옵션(C)의 선택, 또는 첫번째 및 두번째로 열거된 옵션(A 및 B)의 선택, 또는 첫번째 및 세번째로 열거된 옵션(A 및 C)의 선택, 또는 두번째 및 세번째로 열거된 옵션(B 및 C)의 선택, 또는 모든 3개의 옵션(A, B 및 C)의 선택을 포함한다. 당업자에 알려진 바와 같이, 열거된 바와 같은 프로젝트로 확장될 수 있다.

본 출원에서 각 수치를 사용할 수 있다. 특정값은 예시 목적에 사용될 수 있고, 설명된 각 측면은 당해 특정값에 한정되지 않는다.

이해해야 할 것은, 용어 제1, 제2 등은 본 발명의 설명의 각 요소를 설명하는데 사용되지만, 당해 요소는 당해 용어의 한정을 받지 않는다. 당해 용어는 1개의 요소와 다른 요소를 구별하는데만 사용된다. 예를 들면, 본 출원의 교시에서 벗어나지 않는 경우, 제1 요소는 제2 요소로 불리울 수 있고, 유사하게, 제2 요소는 제1 요소로 불리울 수 있다. 제1 요소와 제2 요소 사이는 정렬을 암시하지 않는다.

"1개의 예시적인 실시예" 또는 "예시적인 실시예" 또는 "1개의 수행 방식"또는 "수행 방식" 및 당해 기타 변화된 인용은 빈번하게 특정 특징, 구조, 특점(실시예/수행 방식을 결합하여 설명된 것) 등이 적어도 하나의 실시예/수행 방식에 포함된다는 것을 전달하는데 사용된다. 따라서, 본 출원의 곳곳에 나타난 구절 "1개의 예시적인 실시예에서" 또는 "예시적인 실시예에서" 또는 "1개의 수행 방식에서" 또는 "수행 방식에서" 및 임의의 기타 변화의 나타남은 모두 동일한 실시예를 가리키는 것은 아니다.

유사하게, 본 발명의 설명에서 "예시적인 실시예/예시/수행 방식에 따라" 또는 "예시적인 실시예/예시/수행 방식에서" 및 당해 기타 변화된 인용은 빈번하게 특정 특징, 구조 또는 특점(예시적인 실시예/예시/수행 방식을 결합하여 설명된 것)이 적어도 하나의 예시적인 실시예/예시/수행 방식에 포함될 수 있다는 것을 전달하는데 사용된다. 따라서, 발명의 설명 곳곳에 나타난 설명 "예시적인 실시예/예시/수행 방식에 따라" 또는 "예시적인 실시예/예시/수행 방식에서"는 모두 동일한 예시적인 실시예/예시/수행 방식을 가리키는 것은 아니고, 단독 또는 대체적이고 예시적인 실시예/예시/수행 방식이 반드시 기타 예시적인 실시예/예시/수행 방식과 배제되는 것도 아니다.

청구항에 나타난 도면 기호는 오직 설명하기 위한 것이고 청구항 범위를 한정하지 않는다. 명확한 설명이 없지만, 임의의 조합 또는 서브 조합으로써 본 실시예/예시 및 변형 예시를 사용할 수 있다.

도면이 흐름도로서 나타날 경우, 이해해야 할 것은, 해당 장치의 블록도를 제공한다. 유사하게, 도면이 블록도로서 나타날 경우, 이해해야 할 것은, 해당 방법/프로세스의 흐름도를 제공한다.

일부 도면에 통신 경로의 화살이 포함되어 통신의 주요 방향을 나타내지만, 이해해야 할 것은, 통신은 설명된 홧살과 반대되는 방향에서 발생될 수 있다.

각 수행 방식은 디코딩에 관한 것이다. 본 출원에서 사용된, "디코딩"은 예를 들어 수신된 포인트 클라우드 프레임(하나 이상의 포인트 클라우드 프레임에 대해 인코딩하여 수신된 비트스트림을 포함할 수 있음)을 수행하여 디스플레이하는데 적합하거나 재구성된 포인트 클라우드 영역에서 나아가 처리되고 최종 출력을 생성하는 프로세스의 전부 또는 일부분를 포함한다. 각 실시예에서, 당해 유형의 프로세스는 통상적으로 디코더에 의해 수행되는 프로세스 중의 하나 또는 다수를 포함한다. 각 실시예에서, 예를 들면, 당해 유형의 프로세스는 또한 본 출원에서 설명된 각 수행 방식의 디코더에 의해 수행된 프로세스를 선택적으로 포함한다.

추가 예시로서, 일 실시예에서 "디코딩"은 엔트로피 디코딩를 가리킬 수 있고, 다른 실시예에서 "디코딩"은 차분 디코딩만 가리킬 수 있고, 다른 실시예에서 "디코딩"은 엔트로피 디코딩 및 차분 디코딩의 조합을 가리킬 수 있다. 구체적으로 설명된 콘텍스트에 따르면, "디코딩 프로세스"와 같은 문구는 구체적으로 연산의 서브 세트를 가리키는지 더 광범한 인코딩 프로세스를 가리키는지가 명확해지고, 당업자는 잘 이해할 것이라고 믿는다.

각 수행 방식은 모두 인코딩에 관한 것이다. 상기 "디코딩"에 대한 토론과 유사하고, 본 출원에서 사용된 "인코딩"은 예를 들어 입력 포인트 클라우드 프레임을 수행하여 인코딩된 비트스트림을 생성하는 프로세스의 전부 또는 일부분을 포함할 수 있다. 각 실시예에서, 당해 유형의 프로세스는 통상적으로 인코더에 의해 수행된 프로세스 중의 하나 또는 다수를 포함한다. 각 실시예에서, 당해 유형의 프로세스는 또한 본 출원에서 설명된 각 수행 방식의 인코더에 의해 수행된 프로세스를 포함하거나 선택적으로 포함할 수 있다.

추가된 예시로서, 일 실시예에서 "인코딩"은 엔트로피 인코딩만 가리킬 수 있고, 다른 실시예에서, "인코딩"은 차분 인코딩만 가리키고, 다른 실시예에서, "인코딩"은 양자화, 차분 인코딩 및 엔트로피 인코딩의 조합을 가리킬 수 있다. 특정 설명된 콘텍스트를 기반으로, "인코딩 프로세스"와 같은 문구는 구체적으로 연산의 서브 세트를 가리키는지 더 광범한 인코딩 프로세스를 가리키는지가 명확해지고, 당업자는 잘 이해할 것이라고 믿는다.

또한, 본 출원은 각 정보의 "결정"을 언급할 수 있다. 결정 정보는정보 추정, 정보 계산, 정보 예측 또는 메모리에서의 정보 검색 중의 한 항 또는 복수의 항을 포함할 수 있다.

또한, 본 출원은 각 정보의 "액세스"를 언급할 수 있다. 정보의 액세스는 정보 수신, (예를 들어, 메모리 또는 비트스트림에서) 정보 검색, 정보 저장, 정보 이동, 정보 복제, 정보 계산, 정보 결정, 정보 예측 또는 정보 추정 중의 한 항 또는 복수의 항을 포함할 수 있다.

또한, 본 출원은 각 정보의 "수신"을 언급할 수 있다. "액세스"와 마찬가리로, 수신은 광의적인 용어이다. 수신 정보는 정보 액세스 또는 (예를 들어, 메모리 또는 비트스트림에서)정보 검색 중의 한 항 또는 복수의 항을 포함한다. 또한, 하나 또는 다른 방식으로서, 정보 저장, 정보 처리, 정보 정송, 정보 이동, 정보 복제, 정보 제거, 정보 계산, 정보 결정, 정보 예측 또는 정보 추정과 같은 동작 기간에서, 통상적으로 "수신"이 언급된다.

그리고, 본 발명의 설명에서 사용된 바와 같이, "시그널"과 같은 용어는 특히 해당 디코더에 일부 이벤트를 지시하는 것을 가리킨다. 예를 들면, 일부 실시예에서, 인코더는 시그널을 송신하여 스케일링된 오프셋 정보와 같은 특정 정보를 알린다. 당해 방식으로써, 실시예에서, 인코더측 및 디코더측에서 동일한 파라미터를 사용할 수 있다. 따라서, 예를 들면, 인코더는 디코더에 (명시적인 시그널링) 특정 파라미터를 전송하여, 디코더가 동일한 특정 파라미터를 사용하도록 할 수 있다. 반대로, 디코더에 이미 특정 파라미터 및 기타 파라미터를 구비할 경우, 시그널링를 사용할 수 있고 전송(암시 시그널링) 하여 디코더가 알고 특정 파라미터를 단순하게 선택하도록 한다. 임의의 실제 기능의 전송을 방지함으로써, 각 실시예에서 비트 절약을 구현한다. 인식해야 할 것은, 복수의 방식으로서 시그널링을 완료할 수 있다. 예를 들면, 각 실시예에서, 하나 이상의 문법 요소, 플래그 등은 시그널을 해당 디코더에 송신하는데 사용된다. 앞서 단어 "시그널(signal)"의 동사 형태에 관한 것이지만, 단어 "시그널"은 본 발명의 설명에서 명사로서 사용될 수도 있다.

이미 복수의 수행 방식을 설명하였지만, 이해해야 할 것은, 각 종 보정을 할 수 있다. 예를 들면, 조합, 추가, 보정 또는 상이한 수행 방식의 요소를 제거하여 기타 수행 방식을 생성할 수 있다. 또한, 당업자가 이해해야 하는 것은, 기타 구조 및 프로세스는 개시된 구조 및 프로세스를 대체할 수 있고, 생성된 수행 방식은 적어도 대체로 동일한(하나 이상의) 방식으로써 대체로 동일한(하나 또는 복수) 기능을 수행하여, 적어도 개시된 수행 방식과 대체로 동일한(하나 또는 복수) 결과를 구현하므로, 본 출원은 당해 및 기타 수행 방식을 구상한다.

Claims (15)

1. 포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 방법에 있어서,
   상기 포인트 클라우드의 각 포인트는 구면 좌표 및 적어도 하나의 속성에 관련되며, 상기 구면 좌표는 방위각, 상기 포인트를 캡처한 센서의 고도에 대한 앙각 및 상기 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 상기 방위각은 상기 포인트를 캡처한 상기 스피닝 센서 헤드의 상기 센서의 캡처 각도를 나타내며,
   상기 방법은,
   상기 비트스트림에서 스케일링 오프셋을 나타내는 스케일링 오프셋 정보를 시그널링하는 단계(120);
   상기 포인트 클라우드의 각 현재 포인트에 대해:
   상기 현재 포인트의 상기 구면 좌표를 인코딩하고, 상기 현재 포인트의 인코딩된 구면 좌표를 상기 비트스트림에 추가하는 단계(130);
   상기 현재 포인트의 상기 인코딩된 구면 좌표를 디코딩함으로써 디코딩된 구면 좌표를 획득하는 단계(140);
   상기 스케일링 오프셋을 기반으로 상기 디코딩된 구면 좌표를 스케일링하는 단계(150); 및
   스케일링된 디코딩된 구면 좌표를 기반으로 상기 현재 포인트의 적어도 하나의 속성을 인코딩하고, 적어도 하나의 인코딩된 속성을 상기 비트스트림에 추가하는 단계(160);를 포함하는,
   것을 특징으로 하는 포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 방법.
   
2. 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 방법에 있어서,
   상기 비트스트림으로부터 획득된 스케일링 오프셋 정보에 액세스하는 단계(210);
   상기 포인트 클라우드의 각 현재 포인트에 대해:
   상기 비트스트림으로부터 획득된 상기 현재 포인트의 인코딩된 구면 좌표를 디코딩함으로써, 디코딩된 구면 좌표를 획득하는 단계(220) - 상기 현재 포인트의 상기 구면 좌표는 방위각, 상기 현재 포인트를 캡처한 센서의 고도에 대한 앙각 및 상기 현재 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 상기 방위각은 상기 현재 포인트를 캡처한 상기 스피닝 센서 헤드의 상기 센서의 캡처 각도를 나타냄 -;
   상기 스케일링 오프셋 정보에서 획득된 스케일링 오프셋을 기반으로 상기 디코딩된 구면 좌표를 스케일링하는 단계(230); 및
   스케일링된 디코딩된 구면 좌표를 기반으로 상기 현재 포인트의 속성을 디코딩하는 단계(240);를 포함하는,
   것을 특징으로 하는 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 방법.
   
3. 제1항 또는 제2항에 있어서,
   상기 스케일링된 구면 좌표가 음수가 아닌 것 및 상기 스케일링된 구면 좌표가 특정 범위에 속하는 것 중 적어도 하나를 확보하도록, 상기 스케일링 오프셋을 결정하는,
   것을 특징으로 하는 방법.
   
4. 제3항에 있어서,
   상기 스케일링 오프셋은 상기 포인트 클라우드의 모든 포인트의 디코딩된 구면 좌표로부터 계산된 최소값보다 작은 값으로 결정되는,
   것을 특징으로 하는 방법.
   
5. 제3항에 있어서,
   상기 스케일링 오프셋은 상기 센서 스피닝 헤드의 센서 및 캡처 특성을 기반으로 결정되는,
   것을 특징으로 하는 방법.
   
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 스케일링 오프셋 정보는 상기 스케일링 오프셋을 포함하는,
   것을 특징으로 하는 방법.
   
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 스케일링 오프셋 정보는 특정 방법을 사용하여 상기 스케일링 오프셋을 결정하는 것을 지시하는,
   것을 특징으로 하는 방법.
   
8. 제7항에 있어서,
   상기 특정 방법은 클리핑 또는 모듈로 연산을 사용하는,
   것을 특징으로 하는 방법.
   
9. 포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 장치에 있어서,
   상기 포인트 클라우드의 각 포인트는 구면 좌표 및 적어도 하나의 속성에 관련되며, 상기 구면 좌표는 방위각, 상기 포인트를 캡처한 센서의 고도에 대한 앙각 및 상기 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 상기 방위각은 상기 포인트를 캡처한 상기 스피닝 센서 헤드의 상기 센서의 캡처 각도를 나타내며,
   상기 장치는 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는,
   상기 비트스트림에서 스케일링 오프셋을 나타내는 스케일링 오프셋 정보를 시그널링하고;
   상기 포인트 클라우드의 각 현재 포인트에 대해:
   상기 현재 포인트의 상기 구면 좌표를 인코딩하고, 인코딩된 구면 좌표를 상기 비트스트림에 추가하고;
   상기 인코딩된 구면 좌표를 디코딩함으로써 상기 현재 포인트의 디코딩된 구면 좌표를 획득하고;
   상기 스케일링 오프셋을 기반으로 상기 디코딩된 구면 좌표를 스케일링하고;
   스케일링된 디코딩된 구면 좌표를 기반으로 상기 현재 포인트의 적어도 하나의 속성을 인코딩하고, 적어도 하나의 인코딩된 속성을 상기 비트스트림에 추가하는,
   것을 특징으로 하는 포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 장치.
   
10. 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 장치에 있어서,
    상기 장치는 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는,
    상기 비트스트림으로부터 획득된 스케일링 오프셋 정보에 액세스하고;
    상기 포인트 클라우드의 각 현재 포인트에 대해:
    상기 비트스트림으로부터 획득된 상기 현재 포인트의 인코딩된 구면 좌표를 디코딩함으로써, 디코딩된 구면 좌표를 획득하고 - 상기 현재 포인트의 상기 구면 좌표는 방위각, 상기 현재 포인트를 캡처한 센서의 고도에 대한 앙각 및 상기 현재 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 상기 방위각은 상기 현재 포인트를 캡처한 상기 스피닝 센서 헤드의 상기 센서의 캡처 각도를 나타냄 -;
    상기 스케일링 오프셋 정보에서 획득된 스케일링 오프셋을 기반으로 상기 디코딩된 구면 좌표를 스케일링하고;
    스케일링된 디코딩된 구면 좌표를 기반으로 상기 현재 포인트의 속성을 디코딩하는,
    것을 특징으로 하는 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 장치.
    
11. 명령을 포함한 컴퓨터 프로그램 제품에 있어서,
    프로그램이 하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서로 하여금 포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 방법을 수행하도록 하며,
    상기 포인트 클라우드의 각 포인트는 구면 좌표 및 적어도 하나의 속성에 관련되며, 상기 구면 좌표는 방위각, 상기 포인트를 캡처한 센서의 고도에 대한 앙각 및 상기 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 상기 방위각은 상기 포인트를 캡처한 상기 스피닝 센서 헤드의 상기 센서의 캡처 각도를 나타내며,
    상기 방법은,
    상기 비트스트림에서 스케일링 오프셋을 나타내는 스케일링 오프셋 정보를 시그널링하는 단계;
    상기 포인트 클라우드의 각 현재 포인트에 대해:
    상기 현재 포인트의 상기 구면 좌표를 인코딩하고, 상기 현재 포인트의 인코딩된 구면 좌표를 상기 비트스트림에 추가하는 단계;
    상기 현재 포인트의 상기 인코딩된 구면 좌표를 디코딩함으로써 디코딩된 구면 좌표를 획득하는 단계;
    상기 스케일링 오프셋을 기반으로 상기 디코딩된 구면 좌표를 스케일링하는 단계; 및
    스케일링된 디코딩된 구면 좌표를 기반으로 상기 현재 포인트의 적어도 하나의 속성을 인코딩하고, 적어도 하나의 인코딩된 속성을 상기 비트스트림에 추가하는 단계;를 포함하는,
    것을 특징으로 하는 명령을 포함한 컴퓨터 프로그램 제품.
    
12. 명령을 포함한 컴퓨터 프로그램 제품에 있어서,
    프로그램이 하나 이상의 프로세서에 의해 실행되는 경우, 상기 하나 이상의 프로세서로 하여금 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 방법을 수행하며,
    상기 방법은,
    상기 비트스트림으로부터 획득된 스케일링 오프셋 정보에 액세스하는 단계;
    상기 포인트 클라우드의 각 현재 포인트에 대해:
    상기 비트스트림으로부터 획득된 상기 현재 포인트의 인코딩된 구면 좌표를 디코딩함으로써, 디코딩된 구면 좌표를 획득하는 단계 - 상기 현재 포인트의 상기 구면 좌표는 방위각, 상기 현재 포인트를 캡처한 센서의 고도에 대한 앙각 및 상기 현재 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 상기 방위각은 상기 현재 포인트를 캡처한 상기 스피닝 센서 헤드의 상기 센서의 캡처 각도를 나타냄 -;
    상기 스케일링 오프셋 정보에서 획득된 스케일링 오프셋을 기반으로 상기 디코딩된 구면 좌표를 스케일링하는 단계; 및
    스케일링된 디코딩된 구면 좌표를 기반으로 상기 현재 포인트의 속성을 디코딩하는 단계;를 포함하는,
    것을 특징으로 하는 명령을 포함한 컴퓨터 프로그램 제품.
    
13. 비일시적 저장 매체에 있어서,
    포인트 클라우드를 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로 인코딩하는 방법을 수행하는 프로그램 코드의 명령을 구비하며,
    상기 포인트 클라우드의 각 포인트는 구면 좌표 및 적어도 하나의 속성에 관련되며, 상기 구면 좌표는 방위각, 상기 포인트를 캡처한 센서의 고도에 대한 앙각 및 상기 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 상기 방위각은 상기 포인트를 캡처한 상기 스피닝 센서 헤드의 상기 센서의 캡처 각도를 나타내며,
    상기 방법은,
    상기 비트스트림에서 스케일링 오프셋을 나타내는 스케일링 오프셋 정보를 시그널링하는 단계;
    상기 포인트 클라우드의 각 현재 포인트에 대해:
    상기 현재 포인트의 상기 구면 좌표를 인코딩하고, 상기 현재 포인트의 인코딩된 구면 좌표를 상기 비트스트림에 추가하는 단계;
    상기 현재 포인트의 상기 인코딩된 구면 좌표를 디코딩함으로써 디코딩된 구면 좌표를 획득하는 단계;
    상기 스케일링 오프셋을 기반으로 상기 디코딩된 구면 좌표를 스케일링하는 단계; 및
    스케일링된 디코딩된 구면 좌표를 기반으로 상기 현재 포인트의 적어도 하나의 속성을 인코딩하고, 적어도 하나의 인코딩된 속성을 상기 비트스트림에 추가하는 단계;를 포함하는,
    것을 특징으로 하는 비일시적 저장 매체.
    
14. 비일시적 저장 매체에 있어서,
    스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림으로부터 포인트 클라우드를 디코딩하는 방법을 수행하는 프로그램 코드의 명령을 구비하며,
    상기 방법은,
    상기 비트스트림으로부터 획득된 스케일링 오프셋 정보에 액세스하는 단계;
    상기 포인트 클라우드의 각 현재 포인트에 대해:
    상기 비트스트림으로부터 획득된 상기 현재 포인트의 인코딩된 구면 좌표를 디코딩함으로써, 디코딩된 구면 좌표를 획득하는 단계 - 상기 현재 포인트의 상기 구면 좌표는 방위각, 상기 현재 포인트를 캡처한 센서의 고도에 대한 앙각 및 상기 현재 포인트에서 기준 포인트까지의 거리에 따라 결정된 반경을 나타내고, 상기 방위각은 상기 현재 포인트를 캡처한 상기 스피닝 센서 헤드의 상기 센서의 캡처 각도를 나타냄 -;
    상기 스케일링 오프셋 정보에서 획득된 스케일링 오프셋을 기반으로 상기 디코딩된 구면 좌표를 스케일링하는 단계; 및
    스케일링된 디코딩된 구면 좌표를 기반으로 상기 현재 포인트의 속성을 디코딩하는 단계;를 포함하는,
    것을 특징으로 하는 비일시적 저장 매체.
    
15. 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림에 있어서,
    상기 비트스트림에 스케일링 오프셋 정보를 운반하는 적어도 하나의 문법 요소가 포함되고,
    상기 스케일링 오프셋 정보는 인코딩된 포인트 클라우드 데이터에 의해 나타낸 포인트 클라우드의 포인트의 디코딩된 구면 좌표를 스케일링하는데 사용되는 스케일링 오프셋을 나타내는,
    것을 특징으로 하는 스피닝 센서 헤드에 의해 캡처된 인코딩된 포인트 클라우드 데이터의 비트스트림.