KR20230158622A - 메시 압축을 위한 지오메트리 필터링 - Google Patents
메시 압축을 위한 지오메트리 필터링 Download PDFInfo
- Publication number
- KR20230158622A KR20230158622A KR1020237036703A KR20237036703A KR20230158622A KR 20230158622 A KR20230158622 A KR 20230158622A KR 1020237036703 A KR1020237036703 A KR 1020237036703A KR 20237036703 A KR20237036703 A KR 20237036703A KR 20230158622 A KR20230158622 A KR 20230158622A
- Authority
- KR
- South Korea
- Prior art keywords
- filtering
- mesh
- boundary
- vertices
- geometry
- Prior art date
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 89
- 230000006835 compression Effects 0.000 title claims abstract description 24
- 238000007906 compression Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000013139 quantization Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 abstract description 10
- 238000005070 sampling Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- HHJOBSJNFNVLNR-UHFFFAOYSA-N 3-[(4,6-difluoro-1,3,5-triazin-2-yl)amino]-7-methoxychromen-2-one Chemical compound O=C1OC2=CC(OC)=CC=C2C=C1NC1=NC(F)=NC(F)=N1 HHJOBSJNFNVLNR-UHFFFAOYSA-N 0.000 description 1
- 101150114886 NECTIN1 gene Proteins 0.000 description 1
- 102100023064 Nectin-1 Human genes 0.000 description 1
- -1 VVC Proteins 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
메시 압축을 위한 지오메트리 필터링 방법, 장치 및 시스템이 제공된다. 프로세스는 메시와 연관된 코딩된 비트스트림을 수신하고 - 상기 코딩된 비트스트림은 상기 메시와 연관된 경계 정보를 포함함 -, 상기 경계 정보에 기초하여 상기 메시와 연관된 하나 이상의 경계 정점을 결정하는 단계를 포함할 수 있다. 상기 프로세스는 또한 상기 메시와 연관된 하나 이상의 경계 정점 및 필터링 알고리즘에서의 하나 이상의 필터링 파라미터에 기초하여, 상기 메시와 연관된 필터링된 지오메트리 맵을 생성하는 단계; 및 상기 필터링된 지오메트리 맵을, 비디오 코덱을 사용하여 복수의 단일 채널 또는 다중 채널 이미지로 압축하는 단계를 포함한다.
Description
관련 출원에 대한 상호 참조
본 출원은 2022년 3월 25일에 출원된 미국 가출원 제63/323,865호 및 2023년 3월 16일에 출원된 미국 출원 제18/185,024호에 대한 우선권을 주장하며, 이들 출원의 개시내용은 그 전체가 본 명세서에 포함된다.
본 개시는 일련의 진보된 비디오 코딩 기술에 관한 것이다. 더욱 구체적으로, 본 개시는 비디오 기반 동적 메시 정렬 및 압축에 관한 것이다.
세계에 대한 진보된 3차원(three-dimensional, 3D) 표현은 보다 몰입적인 형태의 상호작용 및 의사소통을 가능하게 하고 있다. 3D 표현에서 사실성(realism)을 달성하기 위해, 3D 모델은 점점 더 정교해지고 있으며, 이러한 3D 모델의 생성 및 소비에는 상당한 양의 데이터가 관련되어 있다. 3D 메시는 몰입형 콘텐츠를 3D 모델링하는 데 널리 사용된다.
3D 메시는 볼류메트릭 객체(volumetric object)의 표면을 기술하는 여러 다각형을 포함할 수 있다. 동적 메시 시퀀스(dynamic mesh sequence)는 시간이 지남에 따라 변경되는 상당한 양의 정보를 가질 수 있으므로 대량의 데이터를 필요로 할 수 있다. 따라서, 이러한 컨텐츠를 저장하고 전송하기 위해서는 효율적인 압축 기술이 필요하다.
메시 압축 표준 IC, MESHGRID, FAMC는 이전에 일정한 연결성(constant connectivity)과 시간에 따라 변하는 시변 지오메트리(time varying geometry)와 정점 속성(vertex attribute)을 갖는 동적 메시를 다루기 위해 개발되었다. 그러나 이러한 표준은 시변 속성 맵(time varying attribute map)과 연결성 정보(connectivity information)를 고려하지 않는다.
더욱이, 특히 실시간 제약 하에서, 일정한 연결성 동적 메시를 생성하는 것은 볼류메트릭 취득 기술(volumetric acquisition technique)에 있어서도 어려운 일이다. 이러한 유형의 동적 메시 콘텐츠는 기존 표준에 의해 지원되지 않는다.
전술한 것 외에도, 많은 정렬 방법, 특히 시간적 정렬은 순차적 기술을 기반으로 한다. 다시 말해, 이전 프레임으로부터의 차트 할당 결과를 현재 프레임의 차트를 할당하는 기반으로 사용하는 것과 같이, 하나의 프레임의 처리는 다른 프레임에 따라 달라진다. 종속성으로 인해 이러한 방법은 병렬화에 적합하지 않으므로 메시를 인코딩/디코딩하는 속도가 느려진다. 따라서, 병렬화를 가능하게 하고 인코딩 및 디코딩 효율성을 향상하려면 이러한 종속성을 없애는 방법이 필요하다.
실시예에 따르면, 메시 압축(mesh compression)을 위한 지오메트리 필터링(geometry filtering) 방법이 제공될 수 있다. 상기 지오메트리 필터링 방법은, 메시와 연관된 코딩된 비트스트림(coded bitstream)을 수신하는 단계 - 상기 코딩된 비트스트림은 상기 메시와 연관된 경계 정보(boundary information)를 포함함 -; 상기 경계 정보에 기초하여 상기 메시와 연관된 하나 이상의 경계 정점(boundary vertice)을 결정하는 단계; 상기 메시와 연관된 하나 이상의 경계 정점 및 필터링 알고리즘에서의 하나 이상의 필터링 파라미터에 기초하여, 상기 메시와 연관된 필터링된 지오메트리 맵(filtered geometry map)을 생성하는 단계; 및 상기 필터링된 지오메트리 맵을, 비디오 코덱을 사용하여 복수의 단일 채널 또는 다중 채널 이미지로 압축하는 단계를 포함할 수 있다.
일시예에 따르면 메시 압축을 위한 지오메트리 필터링 장치가 제공될 수 있다. 상기 지오메트리 필터링 장치는, 프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리; 및 상기 프로그램 코드를 판독하고 상기 프로그램 코드에 의해 명령받은 대로 동작하도록 구성된 적어도 하나의 프로세서를 포함한다. 상기 프로그램 코드는, 상기 적어도 하나의 프로세서로 하여금 메시와 연관된 코딩된 비트스트림을 수신하게 하도록 구성된 제1 수신 코드 - 상기 코딩된 비트스트림은 상기 메시와 연관된 경계 정보를 포함함 -; 상기 적어도 하나의 프로세서로 하여금 상기 경계 정보에 기초하여 상기 메시와 연관된 하나 이상의 경계 정점을 결정하게 하도록 구성된 제1 결정 코드; 상기 적어도 하나의 프로세서로 하여금 상기 메시와 연관된 하나 이상의 경계 정점 및 필터링 알고리즘에서의 하나 이상의 필터링 파라미터에 기초하여, 상기 메시와 연관된 필터링된 지오메트리 맵을 생성하게 하도록 구성된 제1 생성 코드; 및 상기 적어도 하나의 프로세서로 하여금 상기 필터링된 지오메트리 맵을, 비디오 코덱을 사용하여 복수의 단일 채널 또는 다중 채널 이미지로 압축하게 하도록 구성된 제1 압축 코드를 포함하는, 지오메트리 필터링 디바이스를 포함할 수 있다.
실시예에 따르면, 명령어를 저장하는 컴퓨터로 판독 가능한 비일시적 매체가 제공될 수 있다. 상기 명령어는 메시 압축을 위한 지오메트리 필터링 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금, 메시와 연관된 코딩된 비트스트림을 수신하게 하고 - 상기 코딩된 비트스트림은 상기 메시와 연관된 경계 정보를 포함함 -; 상기 경계 정보에 기초하여 상기 메시와 연관된 하나 이상의 경계 정점을 결정하게 하고; 상기 메시와 연관된 하나 이상의 경계 정점 및 필터링 알고리즘에서의 하나 이상의 필터링 파라미터에 기초하여, 상기 메시와 연관된 필터링된 지오메트리 맵을 생성하게 하며; 상기 필터링된 지오메트리 맵을, 비디오 코덱을 사용하여 복수의 단일 채널 또는 다중 채널 이미지로 압축하게 하는, 하나 이상의 명령어를 포함할 수 있다.
개시된 주제의 추가 특징, 성질 및 다양한 이점은 이하의 상세한 설명 및 첨부 도면으로부터 더욱 명백해질 것이다:
도 1은 본 개시의 실시예에 따른, 통신 시스템의 단순화된 블록도의 개략도이다.
도 2는 본 개시의 실시예에 따른, 스트리밍 시스템의 단순화된 블록도의 개략도이다.
도 3은 본 개시의 실시예에 따른, 비디오 인코더 및 디코더의 단순화된 블록도의 개략도이다.
도 4a 및 도 4b는 본 개시의 실시예에 따른, 3D 메시 세그먼트에서 2D 차트로 매핑되는 UV 파라미터화 매핑의 예시적인 도면이다.
도 5는 본 개시의 실시예에 따른, UV 차트의 경계 정점의 예시적인 도면이다.
도 6은 본 개시의 실시예에 따른, 메시 압축을 위한 지오메트리 필터링을 나타낸 예시적인 흐름도이다.
도 7은 실시예를 구현하는 데 적합한 컴퓨터 시스템의 도면이다.
도 1은 본 개시의 실시예에 따른, 통신 시스템의 단순화된 블록도의 개략도이다.
도 2는 본 개시의 실시예에 따른, 스트리밍 시스템의 단순화된 블록도의 개략도이다.
도 3은 본 개시의 실시예에 따른, 비디오 인코더 및 디코더의 단순화된 블록도의 개략도이다.
도 4a 및 도 4b는 본 개시의 실시예에 따른, 3D 메시 세그먼트에서 2D 차트로 매핑되는 UV 파라미터화 매핑의 예시적인 도면이다.
도 5는 본 개시의 실시예에 따른, UV 차트의 경계 정점의 예시적인 도면이다.
도 6은 본 개시의 실시예에 따른, 메시 압축을 위한 지오메트리 필터링을 나타낸 예시적인 흐름도이다.
도 7은 실시예를 구현하는 데 적합한 컴퓨터 시스템의 도면이다.
메시는 볼류메트릭 객체의 표면을 기술하는 여러 다각형을 포함할 수 있다. 3차원 공간에서의 정점과 정점이 어떻게 연결되어 있는지에 대한 정보는 연결성 정보라고 하는 각각의 다각형을 정의할 수 있다. 선택적으로, 색상, 법선(normal) 등과 같은, 정점 속성이 메시 정점과 연관될 수 있다. 속성은 또한 2D 속성 맵으로 메시를 파라미터화하는 매핑 정보를 활용함으로써 메시 표면과 연관될 수 있다. 그러한 매핑은, UV 좌표 또는 텍스처 좌표(texture coordinate)라고 하고, 메시 정점과 연관된 파라메트릭 좌표(parametric coordinate) 세트를 사용하여 정의될 수 있다. 2D 속성 맵은 텍스처, 법선, 변위 등과 같은 고해상도 속성 정보를 저장하는 데 사용될 수 있다. 고해상도 속성 정보는 텍스처 매핑과 셰이딩(shading) 등 다양한 목적에 사용될 수 있다.
전술한 바와 같이, 3차원 메시나 동적 메시는 시간에 따라 변화하는 대량의 정보로 구성될 수 있으므로 대량의 데이터를 필요로 할 수 있다. 기존 표준은 시변 속성 맵과 연결성 정보를 고려하지 않는다. 기존 표준은 특히 실시간 조건 하에서, 일정한 연결성 동적 메시(constant connectivity dynamic mesh)를 생성하는 볼류메트릭 취득 기술을 지원하지 않는다.
따라서, 시변 연결성 정보 및 선택적으로 시변 속성 맵을 갖는 동적 메시를 직접 처리하기 위한 새로운 메시 압축 표준이 필요하다. 본 개시의 실시예는 그러한 동적 메시를 저장하고 송신하기 위한 효율적인 압축 기술을 가능하게 한다. 본 개시의 실시예는 실시간 통신, 스토리지, 자유 시점(free viewpoint) 비디오, AR 및 VR과 같은 다양한 애플리케이션에 대해 손실 및/또는 무손실 압축을 가능하게 한다.
효율적인 압축을 달성하기 위해, 본 개시의 실시예는 인트라 프레임 및/또는 인터 프레임 상관을 획득하기 위해 공간적 및 시간적 정렬을 채용한다. 관련 기술에서, 많은 정렬 방법, 특히 시간적 정렬은 순차적 기술을 기반으로 한다. 다시 말해, 이전 프레임으로부터의 차트 할당의 결과를 현재 프레임의 차트를 할당하는 기초로서 사용하는 것과 같이, 하나의 프레임의 처리는 다른 프레임에 따라 달라진다. 종속성으로 인해 이러한 방법은 병렬화에 적합하지 않으므로, 메시를 인코딩/디코딩하는 속도가 느려진다. 따라서, 병렬화를 가능하게 하고 인코딩 및 디코딩 효율성을 향상시키려면 이러한 종속성을 제거하는 방법이 필요하다.
본 개시의 일 측면에 따르면, 동적 메시 압축의 병렬 처리를 위한 방법, 시스템 및 비일시적 저장 매체가 제공된다. 본 개시의 실시예는 정적 메시에도 적용될 수 있다.
도 1 및 도 2를 참조하면, 본 개시의 인코딩 및 디코딩 구조를 구현하기 위한 본 개시의 일 실시예가 설명된다.
도 1은 본 개시의 실시예에 따른 통신 시스템(100)의 단순화된 블록도를 나타낸다. 시스템(100)은 네트워크(150)를 통해 상호 연결된 적어도 2개의 단말기(110, 120)를 포함할 수 있다. 데이터의 단방향 송신의 경우, 제1 단말기(110)는 메시 데이터를 포함할 수 있는 비디오 데이터를, 네트워크(150)를 통해 다른 단말기(120)로 송신하기 위해 로컬 위치에서 코딩할 수 있다. 제2 단말기(120)는 네트워크(150)로부터 다른 다말기의 코딩된 비디오 데이터를 수신하고, 코딩된 데이터를 디코딩하여 복원된 영상 데이터를 표시할 수 있다. 단방향 데이터 송신은 미디어 서빙 애플리케이션 등에서 일반적일 수 있다.
도 1은 예를 들어 화상 회의 중에 발생할 수 있는 코딩된 비디오의 양방향 송신을 지원하기 위해 제공되는 제2의 단말기 쌍(130, 140)을 나타낸다. 데이터의 양방향 송신의 경우, 각각의 단말기(130, 140)는 네트워크(150)를 통해 다른 단말에 송신하기 위해 로컬 위치에서 캡처된 비디오 데이터를 코딩할 수 있다. 각각의 단말기(130, 140)는 또한 다른 단말에 의해 송신되는 코딩된 비디오 데이터를 수신할 수 있고, 코딩된 데이터를 디코딩하고 복원된 비디오 데이터를 로컬 디스플레이 디바이스에 표시할 수 있다.
도 1에서, 단말기(110-140)는, 예를 들어 서버, 개인용 컴퓨터, 스마트폰 및/또는 기타 임의의 유형의 단말기일 수 있다. 예를 들어, 단말기(110-140)는 랩톱 컴퓨터, 태블릿 컴퓨터, 미디어 플레이어 및/또는 전용 화상 회의 장비일 수 있다. 네트워크(150)는 예를 들어 유선 및/또는 무선 통신 네트워크를 포함하는 단말기(110-140) 사이에 코딩된 비디오 데이터를 전달하는 임의의 수의 네트워크를 나타낸다. 통신 네트워크(150)는 회선 교환(circuit-switched) 및/또는 패킷 교환(packet-switched) 채널에서 데이터를 교환할 수 있다. 대표적인 네트워크로는 통신망, 근거리 통신망, 광역 통신망 및/또는 인터넷을 포함한다. 본 논의의 목적을 위해, 네트워크(150)의 아키텍처 및 토폴로지는 본 명세서에서 아래에 설명되지 않는 한 본 개시의 동작에 중요하지 않을 수 있다.
도 2는 개시된 주제에 대한 애플리케이션의 예로서 스트리밍 환경에서의 비디오 인코더 및 디코더의 배치를 도시한다. 개시된 주제는 예를 들어 화상 회의, 디지털 TV, CD, DVD, 메모리 스틱 등을 포함하는 디지털 미디어에 압축된 비디오의 저장 등을 포함하는 다른 비디오 가능 애플리케이션(video enabled application)과 함께 사용될 수 있다.
도 2에 나타낸 바와 같이, 스트리밍 시스템(200)은 비디오 소스(201) 및 인코더(203)를 포함하는 캡처 서브시스템(213)을 포함할 수 있다. 스트리밍 시스템(200)은 적어도 하나의 스트리밍 서버(205) 및/또는 적어도 하나의 스트리밍 클라이언트(206)를 더 포함할 수 있다.
비디오 소스(201)는, 예를 들어 3D 메시 및 3D 메시와 연관된 메타데이터를 포함하는 스트림(202)을 생성할 수 있다. 비디오 소스(201)는, 예를 들어 3D 센서(예컨대, 깊이 센서) 또는 3D 이미징 기술(예컨대, 디지털 카메라(들)), 그리고 3D 센서 또는 3D 이미징 기술로부터 수신된 데이터를 사용하여 3D 메시를 생성하도록 구성된 컴퓨팅 디바이스를 포함할 수 있다. 인코딩된 비디오 비트스트림과 비교할 때 높은 데이터 볼륨을 가질 수 있는 샘플 스트림(202)은 비디오 소스(201)에 결합된 인코더(203)에 의해 처리될 수 있다. 인코더(203)는 아래에 더 자세히 기술된 바와 같이 개시된 주제의 측면을 가능하게 하거나 구현하는 하드웨어, 소프트웨어 또는 이들의 조합을 포함할 수 있다. 인코더(203)는 또한 인코딩된 비디오 비트스트림(204)을 생성할 수 있다. 압축되지 않은 스트림(202)과 비교할 때 더 낮은 데이터 볼륨을 가질 수 있는 인코딩된 비디오 비트스트림(204)은 향후 사용을 위해 스트리밍 서버(205)에 저장될 수 있다. 하나 이상의 스트리밍 클라이언트(206)는 인코딩된 비디오 비트스트림(204)의 사본일 수 있는 비디오 비트스트림(209)을 검색하기 위해 스트리밍 서버(205)에 액세스할 수 있다.
스트리밍 클라이언트(206)는 비디오 디코더(210) 및 디스플레이(212)를 포함할 수 있다. 비디오 디코더(210)는, 예를 들어 인코딩된 비디오 비트스트림(204)의 인커밍 사본인 비디오 비트스트림(209)을 디코딩하고, 디스플레이(212) 또는 다른 렌더링 디바이스(도시되지 않음)에 렌더링될 수 있는 아웃고잉 비디오 샘플 스트림(211)을 생성할 수 있다. 몇몇 스트리밍 시스템에서, 비디오 비트스트림(204, 209)은 특정 비디오 코딩/압축 표준에 따라 인코딩될 수 있다.
도 3은 인코더 및 디코더를 사용한 동적 메시 압축 및 메시 재구축을 위한 프레임워크(300)의 예시적인 도면이다.
도 3에 도시된 바와 같이, 프레임워크(300)는 인코더(301) 및 디코더(351)를 포함할 수 있다. 인코더(301)는 하나 이상의 입력 메시(305), UV 아틀라스(atlas)를 갖는 하나 이상의 메시(310), 점유 맵(315), 지오메트리 맵(320), 속성 맵(325) 및 메타데이터(330)를 포함할 수 있다. 디코더(351)는 디코딩된 점유 맵(335), 디코딩된 지오메트리 맵(340), 디코딩된 속성 맵(345), 디코딩된 메타데이터(350) 및 재구축된 메시(360)를 포함할 수 있다.
본 개시의 일 측면에 따르면, 입력 메시(305)는 하나 이상의 프레임을 포함할 수 있고, 하나 이상의 프레임 각각은 일련의 작업에 의해 전처리되어 UV 아틀라스(310)를 사용하여 메시를 생성하는 데 사용될 수 있다. 예로서, 전처리 작업(preprocessing operation)으로는 트래킹(tracking), 파라미터화(parameterizatio), 리메싱(remeshing), 복셀화(voxelization) 등을 포함할 수 있지만 이에 한정되지 않을 수 있다. 몇몇 실시예에서, 전처리 작업은 디코더 측이 아닌 인코더 측에서만 수행될 수 있다.
메시는 다각형 메시(polygon mesh) 또는 볼류메트릭 메시(volumetric mesh)일 수 있다. 몇몇 실시예에서, 다각형 메시는 다면체 객체(polyhedral object)의 형상을 정의하는 정점, 에지 및 면의 집합일 수 있다. 몇몇 실시예에서, 볼류메트릭 메시는 객체의 내부 볼륨의 다각형 표현일 수 있다.
UV 아틀라스가 있는 메시(310)는 2D 메시일 수 있다. UV 아틀라스가 있는 2D 메시는 메시의 각 정점이 2D 아틀라스의 UV 좌표와 연관될 수 있는 메시일 수 있다. UV 아틀라스(310)가 있는 메시는 샘플링에 기초하여 처리되고 복수의 맵으로 변환될 수 있다. 예를 들어, UV 아틀라스(310)는 UV 아틀라스가 있는 2D 메시를 샘플링하는 것에 기초하여 점유 맵, 지오메트리 맵, 속성 맵으로 처리 및 변환될 수 있다. 생성된 점유 맵(335), 지오메트리 맵(340) 및 속성 맵(345)은 적절한 코덱(예컨대, HVEC, VVC, AV1 등)을 사용하여 인코딩되어 디코더에 송신될 수 있다. 몇몇 실시예에서, 메타데이터(예컨대, 연결성 정보 등)도 디코더에 송신될 수 있다.
일 측면에 따르면, 디코더(351)는 인코더로부터 인코딩된 점유 맵, 지오메트리 맵 및 속성 맵을 수신할 수 있다. 디코더(351)는 점유 맵, 지오메트리 맵 및 속성 맵을 디코딩하기 위해 본 명세서에 기술된 실시예에 더하여, 적절한 기술 및 방법을 사용할 수 있다. 일 실시예에서, 디코더(351)는 디코딩된 점유 맵(335), 디코딩된 지오메트리 맵(340), 디코딩된 속성 맵(345) 및 디코딩된 메타데이터(350)를 생성할 수 있다. 입력 메시(305)는 하나 이상의 재구축 필터 및 기술을 사용하여, 디코딩된 점유 맵(335), 디코딩된 지오메트리 맵(340), 디코딩된 속성 맵(345), 및 디코딩된 메타데이터(350)에 기초하여 재구축된 메시(360)로 재구축될 수 있다. 몇몇 실시예에서, 메타데이터(330)는 디코더(351)에 직접 송신될 수 있고 디코더(351)는 메타데이터를 사용하여, 디코딩된 점유 맵(335), 디코딩된 지오메트리 맵(340) 및 디코딩된 속성 맵(345)에 기초하여 재구축된 메시(360)를 생성할 수 있다. 리메싱, 파라미터화, 트래킹, 복셀화 등을 포함하지만 이에 한정되지 않는 사후 필터링 기술도 재구축된 메시(360)에 적용될 수 있다.
2D UV 아틀라스가 있는 입력 메시에는 정점이 있을 수 있으며, 여기서 메시의 각 정점은 2D 아틀라스 상의 연관된 UV 좌표를 가질 수 있다. 점유 맵, 지오메트리 맵 및 속성 맵은 UV 아틀라스 상의 하나 이상의 지점/위치를 샘플링함으로써 생성될 수 있다. 각 샘플 위치가 메시 정점에 의해 정의된 다각형 내부에 있는 경우, 각 샘플 위치는 점유되거나 비점유될 수 있다. 점유된 각 샘플에 대해, 연관된 다각형 정점을 보간하여 대응하는 3D 지오메트리 좌표 및 속성을 계산할 수 있다.
본 개시의 일 측면에 따르면, 샘플링 레이트는 2D 아틀라스 전체에 걸쳐 일관될 수 있다. 몇몇 실시예에서, u축과 v축에 대한 샘플링 레이트는 다를 수 있어, 이방성 리메싱을 가능하게 한다. 몇몇 실시예에서, 전체 2D 아틀라스는 슬라이스 또는 타일과 같은 다수의 영역으로 분할될 수 있으며, 이러한 각각의 영역은 서로 다른 샘플링 레이트를 가질 수 있다.
본 개시의 일 측면에 따르면, 각 영역(또는 2D 아틀라스 전체)에 대한 샘플링 레이트는 시퀀스 헤더, 프레임 헤더, 슬라이스 헤더 등을 포함하지만 이에 한정되지 않는 고레벨 신택스(high-level syntax)로 시그널링될 수 있다. 몇몇 실시예에서, 각 영역(또는 전체 2D 아틀라스)에 대한 샘플링 레이트는 인코더와 디코더 모두에 의해 가정된 미리 확립된 레이트 세트로부터 선택될 수 있다. 인코더와 디코더 모두에 알려진 미리 확립된 레이트 세트 때문에, 하나의 특정 샘플링 레이트의 시그널링은 미리 확립된 레이트 세트에 있는 인덱스의 시그널링만을 필요로 할 것이다. 이러한 미리 확립된 세트의 일례는 2픽셀마다, 4픽셀마다, 8픽셀마다 등일 수 있다. 몇몇 실시예에서, 메시 프레임의 각 영역(또는 전체 2D 아틀라스)에 대한 샘플링 레이트는 미리 확립된 레이트 세트로부터, 동일한 프레임의 이미 코딩된 다른 영역에서 이전에 사용된 샘플링 레이트로부터, 이미 코딩된 다른 메시 프레임에서 이전에 사용된 샘플링 레이트로부터 예측될 수 있다.
몇몇 실시예에서, 각 영역(또는 전체 2D 아틀라스)에 대한 샘플링 레이트는 각 영역(또는 전체 2D 아틀라스)의 일부 특성에 기초할 수 있다. 일례로, 샘플 레이트는 활동(activity)을 기반으로 할 수 있으며 - 텍스처가 풍부한(rich-textured) 영역(또는 전체 2D 아틀라스) 또는 활동이 높은 영역(또는 전체 2D 아틀라스)의 경우, 샘플링 레이트는 더 높게 설정될 수 있다. 다른 예로, 평활한 영역(또는 전체 2D 아틀라스) 또는 활동이 낮은 영역(또는 전체 2D 아틀라스)의 경우, 샘플링 레이트는 더 낮게 설정될 수 있다.
몇몇 실시예에서, 메시 프레임의 각 영역(또는 전체 2D 아틀라스)에 대한 샘플링 레이트는 예측과 직접 시그널링의 조합이 허용될 수 있는 방식으로 시그널링될 수 있다. 신택스는 샘플링 레이트가 예측될 것인지 또는 직접적으로 시그널링될 것인지를 지시하기 위해 구조화될 수 있다. 예측되는 경우, 어떤 예측기-샘플링 레이트가 사용될 것인지 추가로 시그널링될 수 있다. 직접 시그널링되는 경우, 레이트의 값을 표현하는 신택스가 시그널링될 수 있다.
도 4a 및 도 4b는 본 개시의 실시예에 따른, 3D 메시로부터 2D UV 평면(2D UV 차트)으로의 UV 파라미터화 매핑을 각각 나타낸 예시적인 도면(400, 450)이다.
도 4a에서 볼 수 있듯이, 도면(400)은 메시 세그먼트를 2D UV 아틀라스의 2D 차트에 매핑하는 UV 파라미터화 프로세스를 나타낸다.
몇몇 실시예에서, 3D 메시는 여러 세그먼트(또는 패치/차트)로 파티셔닝될 수 있다. 각 세그먼트는 각자의 지오메트리적 구조, 속성 및 연결성 정보와 연관된 연결된 정점 세트를 포함할 수 있다. 메시 세그먼트의 각 정점에는 2D UV 아틀라스의 2D UV 좌표가 할당될 수 있다. 몇몇 실시예에서, 2D 차트의 정점은 연결된 컴포넌트를 그 3D 대응물로서 형성할 수 있다. 각 정점의 지오메트리, 속성 및 연결성 정보는 3D 대응 부분으로부터 상속될 수 있다.
도 4b에서 볼 수 있듯이, 도면(450)은 3D 메시 세그먼트가 다수의 개별 차트에 매핑되는 UV 파라미터화의 다른 예를 나타낸다.
몇몇 실시예에서, 3D 메시 세그먼트는 또한 다수의 개별 2D 차트에 매핑될 수 있다. 몇몇 예에서, 3D에서의 하나의 정점은 2D UV 아틀라스에서의 여러 정점에 대응할 수 있다. 도면(450)에서 볼 수 있듯이, 동일한 3D 메시 세그먼트는 2D UV 아틀라스에서 단일 차트 대신 2개의 2D 차트에 매핑된다. 3D 정점 v1과 v4는 각각 두 개의 2D 대응관계가 있다.
3D 메시의 일반적인 2D UV 아틀라스는 다수의 차트로 구성될 수 있으며, 여기서 각각의 차트는 3D 지오메트리, 속성 및 연결성 정보와 연관된 다수(보통 3개 이상) 정점을 포함할 수 있다.
도 5는 2차원 차트의 경계 정점을 나타낸 예시도(500)이다.
경계 정점은 2D UV 공간에서 정의된다. 도면(500)에서 볼 수 있듯이, 속이 채워진 정점(filled vertice)은 연결된 컴포넌트(패치/차트)의 경계 에지에 있기 때문에 경계 정점이다. 에지가 하나의 삼각형에만 나타나는지 여부를 확인함으로써 경계 에지가 결정될 수 있다. 경계 정점의 정보는 중요하며 지오메트리적 정보, 즉 3D xyz 좌표 및 2D UV 좌표를 포함하는 비트스트림에서 시그널링될 수 있다. 경계 정보는 경계 정점과 연관된 정보를 포함할 수 있다. 당업자는 경계 정점이 3D 공간에 대해 정의될 수 있고 경계 정보가 3D 경계 정점과 연관된 정보를 포함할 수 있음을 인식할 것입니다.
동적 메시 시퀀스는 시간이 지남에 따라 변하는 상당한 양의 정보로 구성될 수 있으므로 대량의 데이터를 필요로 할 수 있다. 샘플링 기반 방법은 재구축된 메시 지오메트리에 약간의 아티팩트를 발생시킬 수 있으며 이로 인해 시각적 품질이 저하될 수 있다. 이러한 아티팩트를 줄이기 위해서는 효율적인 알고리즘을 개발할 필요가 있다.
본 개시의 실시예는 메시 압축에서 재구축된 지오메트리를 필터링하기 위한 방법에 관한 것이다. 당업자는 제안된 방법이 개별적으로 또는 임의의 형태의 조합에 의해 적용될 수 있음을 알 것이다. 또한 이 방법은 메시의 프레임이 하나만 있거나 메시 콘텐츠가 시간이 지나도 변하지 않는 정적 메시에 적용될 수 있다는 점에도 유의해야 한다.
실시예는 비트스트림에 코딩된 경계 정보를 활용하여 재구축된 메시의 지오메트리적 구조를 필터링하는 것에 관한 것입니다. 당업자는 이러한 목적을 위해 다양한 필터링 알고리즘이 적용될 수 있음을 알 것이다. 본 개시에서는 라플라시안 평활화(Laplacian Smoothing)가 사용될 수 있다.
라플라시안 평활화 방법은 다음과 같이 공식화될 수 있다:
여기서 는 t번째 반복에서 메시 상의 i번째 정점의 3D 좌표이다. Ni는 i번째 정점의 이웃 정점의 집합이고 λ∈[0,1)은 필터 강도 인자이다. 인자가 많을 수록 필터링이 강해져서 평활화 효과가 더 강해질 수 있다. 이 프로세스는 여러 번의 반복을 통해 모든 정점에 적용될 수 있다. 경계 정점과 비경계 정점을 구별하기 위해 필터링 방법에서 서로 다른 가중치나 파라미터에 서로 다른 값이 할당될 수 있다.
일 실시예에서, 경계 정점과 비경계 정점에 대해 서로 다른 필터 강도 인자, 즉 λ가 사용될 수 있다. 그 값은 코딩 경계에 사용되는 양자화 스텝 크기 및 비경계 정점의 좌표와 같은 다른 인자에 의해 결정될 수 있다. 예를 들어, 더 큰 양자화 스텝 크기를 위해 더 큰 λ가 사용될 수 있다. 이 실시예에서, λ는 양자화 스텝 크기의 함수일 수 있다. 경계 정점과 비경계 정점에 대한 양자화 스텝 크기가 다른 경우, 그에 따라 λ도 달라질 수 있다. 극단적인 경우는 양자화 스텝 크기가 1일 때(정점의 지오메트리가 무손실 코딩됨을 의미함), λ가 0으로 설정되어, 필터링이 이러한 정점에 적용되지 않게 되는 경우일 수 있다.
다른 실시예에서, 경계 정점과 비경계 정점을 필터링하기 위해 서로 다른 반복 횟수가 설정될 수 있다. 그 값은 압축에 사용되는 양자화 스텝 크기와 같은 다른 인자에 의해 결정될 수 있다. 예를 들어, 더 큰 양자화 스텝 크기를 위해 더 많은 반복이 사용될 수 있다. 경계 정점과 비경계 정점의 양자화 스텝 크기가 다른 경우, 그에 따라 반복 횟수도 달라질 수 있다. 극단적인 경우는 양자화 스텝 크기가 1일 때(정점의 지오메트리가 무손실 코딩됨을 의미), 반복 횟수가 0으로 설정되어, 필터링이 이러한 정점에 적용되지 않게 되는 경우일 수 있다.
다른 실시예에서, 경계 정점과 비경계 정점에 대한 식에 서로 다른 가중치 부여 전략이 사용될 수 있다. 예를 들어 은 다음과 같이 수정될 수 있다:
여기서 wj는 j번째 이웃 정점의 가중 인자이고, wj는 이웃 정점 j가 경계 정점인지 여부와 같은 다른 많은 인자의 함수일 수 있다. 이는 다음과 같이 공식화될 수 있다:
예를 들어, 경계 정점에 대해 더 큰 가중치가 사용될 수 있고 비경계 정점에 대해 더 작은 가중치가 사용될 수 있다.
다른 실시예에서, 경계 정점과 비경계 정점에 대해 이웃 정점의 서로 다른 정의가 사용될 수 있다. 예를 들어, 경계 정점에는 더 적은 수의 이웃 정점이 사용될 수 있고, 비경계 정점에는 더 많은 수의 이웃 정점이 사용될 수 있으며, 그 반대의 경우도 마찬가지이다.
다른 실시예에서, 경계의 이웃 정점을 선택하는 것은 분류를 위한 연결 정도(connection degree)에 기초할 수 있다. 경계 정점의 연결 정도는 0이다. 정점이 경계 정점이 아니지만 경계 정점과 직접 연결되는 경우, 연결 정도는 1이다. 정점이 경계 정점도 아니고 연결 정도가 1인 정점도 아니지만 연결 정도 1인 정점에 연결되는 경우, 연결 정도는 2이고, 등등이다. 몇몇 실시예에서, 경계에 대한 이웃 정점은 연결 정도 <= N을 갖는 정점으로 정의될 수 있으며, 여기서 N은 양의 정수이다.
도 6은 본 발명의 실시예에 따른 메시 압축을 위한 지오메터리 필터링 프로세스(600)를 나타낸 흐름도이다.
동작 605에서, 메시와 연관된 코딩된 비트스트림이 수신될 수 있다. 몇몇 실시예에서, 코딩된 비트스트림은 메시와 연관된 경계 정보를 포함할 수 있다. 메시는 다각형 메시 또는 볼류메트릭 메시일 수 있다. 몇몇 실시예에서, 다각형 메시는 다면체 객체의 형상을 정의하는 정점, 에지 및 면의 집합일 수 있다. 몇몇 실시예에서, 볼류메트릭 메시는 객체의 내부 볼륨의 다각형 표현일 수 있다.
동작 610에서, 메시와 연관된 하나 이상의 경계 정점이 경계 정보에 기초하여 결정될 수 있다.
동작 615에서, 메시와 연관된 필터링된 지오메트리 맵이 메시와 연관된 하나 이상의 경계 정점 및 필터링 알고리즘에서의 하나 이상의 필터링 파라미터에 기초하여 생성될 수 있다.
몇몇 실시예에서, 필터링 알고리즘에서의 하나 이상의 필터링 파라미터는 필터링 강도 인자, 필터링 반복 횟수, 가중 인자, 또는 이웃 정점의 수를 포함할 수 있다.
몇몇 실시예에서, 필터링 강도 인자는 경계 정점과 연관된 제1 필터링 강도 인자 및 비경계 정점과 연관된 제2 필터링 강도 인자를 포함할 수 있다. 몇몇 실시예에서, 필터링 강도 인자는 양자화 스텝 크기에 기초할 수 있다.
몇몇 실시예에서, 필터링 반복 횟수는 경계 정점과 연관된 제1 필터링 반복 횟수 및 비경계 정점과 연관된 제2 필터링 반복 횟수를 포함할 수 있다. 몇몇 실시예에서, 필터링 반복 횟수는 양자화 스텝 크기에 기초할 수 있다.
몇몇 실시예에서, 가중 인자는 경계 정점과 연관된 제1 가중 인자와 비경계 정점과 연관된 제2 가중 인자를 포함할 수 있다.
몇몇 실시예에서, 이웃 정점의 수는 경계 정점과 연관된 제1의 이웃 정점의 수와 비경계 정점과 연관된 제2의 이웃 정점의 수를 포함할 수 있다.
동작 620에서, 필터링된 지오메트리 맵은 비디오 코덱을 사용하여 복수의 단일 채널 또는 다중 채널 이미지로 압축될 수 있다.
전술한 기술은 컴퓨터로 판독 가능한 명령어를 사용하고 또 하나 이상의 컴퓨터로 판독 가능한 매체에 물리적으로 저장될 수 있는 컴퓨터 소프트웨어로서 구현될 수 있다. 예를 들어, 도 7는 본 개시의 특정 실시예를 구현하기에 적합한 컴퓨터 시스템(700)을 도시한다.
컴퓨터 소프트웨어는 컴퓨터 중앙 처리 유닛(central processing unit, CPU), 그래픽 처리 유닛(graphics processing unit, GPU) 등에 의해, 어셈블리(assembly), 컴파일(compilation), 링킹(linking), 또는 이와 유사한 메커니즘을 거쳐 직접, 또는 해석(interpretation), 마이크로 코드 실행(micro-code execution) 등을 통해 실행될 수 있는 명령어를 포함하는 코드를 생성할 수 있는 임의의 적합한 기계어 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있다.
명령어는, 예를 들어 개인용 컴퓨터, 태블릿 컴퓨터, 서버, 스마트폰, 게이밍 디바이스, 사물 인터넷 디바이스 등을 포함한, 다양한 유형의 컴퓨터 또는 그 컴포넌트에서 실행될 수 있다.
도 7에 도시된 컴퓨터 시스템(700)의 컴포넌트는 예이며, 본 개시의 실시예를 구현하는 컴퓨터 소프트웨어의 사용 또는 기능의 범위에 대한 어떠한 한정도 시사하려는 것은 아니다. 컴포넌트의 구성은 컴퓨터 시스템(700)의 비한정적인 실시예에 나타낸 컴포넌트 중 어느 하나 또는 조합과 관련된 임의의 종속성 또는 요건을 가지는 것으로 해석되어서는 안 된다.
컴퓨터 시스템(700)은 특정 휴먼 인터페이스(human interface) 입력 디바이스를 포함할 수 있다. 이러한 휴먼 인터페이스 입력 디바이스는 예를 들어 촉각 입력(예: 키 누름(keystroke), 스와이프(swip), 데이터 장갑 움직임), 오디오 입력(예: 음성, 박수), 시각적 입력(예: 제스처), 후각 입력(도시되지 않음)을 통한, 한 명 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 휴먼 인터페이스 디바이스는 또한 오디오(예: 음성, 음악, 주변 소리), 이미지(예: 스캔된 이미지, 정지 이미지 카메라로부터 획득한 사진 이미지), 비디오(예: 2차원 비디오, 입체 비디오(stereoscopic video)를 포함한 3차원 비디오)와 같은, 사람에 의한 의식적 입력과 반드시 직접 관련이 있는 것은 아닌 특정 미디어를 캡처하는 데 사용될 수도 있다.
입력 휴먼 인터페이스 디바이스는 키보드(701), 마우스(702), 트랙 패드(703), 터치 스크린(710), 데이터 장갑, 조이스틱(705), 마이크로폰(706), 스캐너(707), 카메라(708) 중 하나 이상(각각 하나만 표시됨)을 포함할 수 있다.
컴퓨터 시스템(700)은 특정 휴먼 인터페이스 출력 디바이스를 포함할 수 있다. 이러한 휴먼 인터페이스 출력 디바이스는 예를 들어 촉각 출력, 소리, 빛 및 냄새/맛을 통해, 한 명 이상의 인간 사용자의 감각을 자극할 수 있다. 이러한 휴먼 인터페이스 출력 디바이스는 촉각 출력 디바이스(예를 들어, 터치 스크린(710), 데이터 장갑, 또는 조이스틱(705)에 의한 촉각 피드백이지만, 입력 디바이스의 역할을 하지 않는 촉각 피드백 디바이스도 있을 수 있음)를 포함할 수 있다. 예를 들어, 이러한 디바이스는 오디오 출력 디바이스(예: 스피커(709), 헤드폰(도시되지 않음)), 시각적 출력 디바이스(예컨대, 각각 터치 스크린 입력 기능이 있거나 없는, 각각 촉각 피드백 기능이 있거나 없는, CRT 스크린, LCD 스크린, 플라즈마 스크린, OLED 스크린을 포함하는 스크린(710) - 그 일부는 스테레오그래픽 출력(stereographic), 가상 현실 안경(virtual-reality glasses)(도시되지 않음), 홀로그래픽 디스플레이(holographic display) 및 연기 탱크(smoke tank)(도시되지 않음)와 같은 수단을 통해 2차원 시각적 출력 또는 3차원 이상의 출력을 할 수 있음 -), 및 프린터(도시되지 않음)를 포함할 수 있다.
컴퓨터 시스템(700)은 또한 CD/DVD 등의 매체(721)를 갖는 CD/DVD ROM RW(720)을 포함한 광학 매체, 썸 드라이브(thumb-drive)(722), 착탈 가능한 하드 드라이브 또는 솔리드 스테이트 드라이브(723), 테이프 및 플로피 디스크(도시되지 않음)와 같은 레거시 자기 매체, 보안 동글(security dongle)(도시되지 않음)과 같은 특수한 ROM/ASIC/PLD 기반 디바이스 등의 인간이 액세스할 수 있는 저장 디바이스 및 그 연관 매체를 포함할 수 있다.
당업자는 또한 현재 개시된 주제와 관련하여 사용된 바와 같이 "컴퓨터로 판독 가능한 매체"라는 용어가 송신 매체, 반송파(carrier wave) 또는 기타 일시적인 신호를 포함하지 않는다는 것을 이해해야 한다.
컴퓨터 시스템(700)은 또한 하나 이상의 통신 네트워크에 대한 인터페이스를 포함할 수 있다. 네트워크는 예를 들어 무선, 유선, 광 등의 네트워크일 수 있다. 네트워크는 또한 로컬, 광역, 대도시, 차량 및 산업, 실시간, 지연 허용 등의 네트워크일 수 있다. 네트워크의 예로는 이더넷; 무선 LAN; GSM, 3G, 4G, 5G, LTE, 등을 포함하는 셀룰러 네트워크; 케이블 TV, 위성 TV, 및 지상파 방송 TV를 포함하는 TV 유선 또는 무선 광역 디지털 네트워크; CANBus를 포함하는 차량 및 산업용, 등을 포함한다. 특정 네트워크는 일반적으로 특정 범용 데이터 포트 또는 주변 버스(749)(예: 컴퓨터 시스템(700)의 USB 포트)에 부착된 외부 네트워크 인터페이스 어댑터)를 필요로 하며; 다른 것은 일반적으로 이하에 설명하는 바와 같이 시스템 버스에 부착함으로써 컴퓨터 시스템(700)의 코어에 통합된다(예를 들어, PC 컴퓨터 시스템에의 이더넷 인터페이스 또는 스마트폰 컴퓨터 시스템에의 셀룰러 네트워크 인터페이스). 이러한 네트워크 중 어느 것을 사용하여, 컴퓨터 시스템(700)은 다른 엔티티와 통신할 수 있다. 이러한 통신은 단방향, 수신 전용(예: TV 방송), 단방향 전송 전용(예: CANbus에서 특정 CANbus 디바이스로의) 또는 양방향(예: 로컬 또는 광역 디지털 네트워크를 사용하여 다른 컴퓨터 시스템으로)일 수 있다. 이러한 통신으로는 클라우드 컴퓨팅 환경(755)과의 통신을 포함할 수 있다. 특정 프로토콜 및 프로토콜 스택이 전술한 바와 같은 네트워크 및 네트워크 인터페이스 각각에 사용될 수 있다.
전술한 휴먼 인터페이스 디바이스, 인간이 액세스 가능한 저장 디바이스 및 네트워크 인터페이스(754)는 컴퓨터 시스템(700)의 코어(740)에 부착될 수 있다.
코어(740)는 하나 이상의 중앙 처리 유닛(CPU)(741), 그래픽 처리 유닛(GPU)(742), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Area, FPGA)(743) 형태의 특화된 프로그램 가능한 처리 유닛, 특정 태스크를 위한 하드웨어 가속기(744), 등을 포함할 수 있다. 판독 전용 메모리(Read-only memory, ROM)(745), 랜덤 액세스 메모리(746), 사용자가 액세스할 수 없는 내부 하드 드라이브, SSD 등의 내부 대용량 저장장치(747)와 함께, 이러한 기기는 시스템 버스(748)을 통해 연결될 수 있다. 몇몇 컴퓨터 시스템에서, 시스템 버스(748)는 추가적인 CPU, GPU 등에 의한 확장을 가능하게 하는 하나 이상의 물리 플러그의 형태로 액세스 가능할 수 있다. 주변 디바이스는 코어의 시스템 버스(748)에 직접 연결되거나 주변 버스(749)를 통해 연결될 수 있다. 주변 버스를 위한 아키텍처로는 PCI, USB 등을 포함한다. 그래픽 어댑터(750)는 코어(740)에 포함될 수 있다.
CPU(741), GPU(742), FPGA(743) 및 가속기(744)는, 조합하여, 전술한 컴퓨터 코드를 구성할 수 있는 특정 명령어를 실행할 수 있다. 해당 컴퓨터 코드는 ROM(745) 또는 RAM(746)에 저장될 수 있다. 이행 데이터(transitional data)는 RAM(746)에도 저장될 수 있는 반면, 영구 데이터는 예를 들어, 내부 대용량 저장장치(747)에 저장될 수 있다. 메모리 디바이스 중 어느 것에 대한 빠른 저장 및 검색은 하나 이상의 CPU(741), GPU(742), 대용량 저장장치(747), ROM(745), RAM(746) 등과 밀접하게 연관될 수 있는 캐시 메모리의 사용을 통해 가능해질 수 있다.
컴퓨터로 판독 가능한 매체는 다양한 컴퓨터로 구현되는 동작(computer-implemented operation)을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체 및 컴퓨터 코드는 본 개시의 목적을 위해 특별히 설계되고 구축된 것일 수 있거나, 컴퓨터 소프트웨어 분야의 당업자에게 잘 알려져 있고 이용 가능한 종류의 것일 수 있다.
한정이 아닌 예로서, 컴퓨터 시스템(700)의 아키텍처, 및 구체적으로 코어(740)를 갖는 컴퓨터 시스템은 하나 이상의 유형의(tangible), 컴퓨터로 판독 가능한 매체에 구현된 소프트웨어를 실행하는 프로세서(들)(CPU, GPU, FPGA, 가속기 등을 포함)의 결과로서 기능을 제공할 수 있다. 이러한 컴퓨터로 판독 가능한 매체는 위에서 소개한 바와 같이 사용자가 액세스할 수 있는 대용량 저장장치와 연관된 매체일 수 있을 뿐만 아니라, 코어 내부 대용량 저장장치(747) 또는 ROM(745)과 같은, 비일시적인 성질의 코어(740)의 특정 저장장치일 수 있다. 본 개시의 다양한 실시예를 구현하는 소프트웨어는 이러한 디바이스에 저장되고 코어(740)에 의해 실행될 수 있다. 컴퓨터로 판독 가능한 매체는 구체적인 필요에 따라, 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는 코어(740)로 하여금 그리고 특히 내부의 프로세서(CPU, GPU, FPGA 등 포함)로 하여금, RAM(746)에 저장된 데이터 구조를 정의하고 소프트웨어에 의해 정의된 프로세스에 따라 이러한 데이터 구조를 수정하는 것을 포함하여, 여기에 설명된 특정 프로세스 또는 특정 프로세스의 특정 부분을 실행하도록 할 수 있다. 추가로 또는 대안으로서, 컴퓨터 시스템은 여기에 설명된 특정 프로세스 또는 특정 프로세스의 특정 부분을 실행하기 위해 소프트웨어 대신 또는 소프트웨어와 함께 동작할 수 있는, 논리 배선(logic hardwired)의 결과로서 그렇지 않으면 회로(예: 가속기(744))에 다른 방식으로 구현되는 기능을 제공할 수 있다. 소프트웨어에 대한 언급은 논리를 포함할 수 있으며, 적절한 경우 그 반대도 마찬가지이다. 컴퓨터로 판독 가능한 매체에 대한 언급은 실행을 위한 소프트웨어를 저장하는 회로(예: 집적 회로(IC)), 실행을 위한 논리를 구현하는 회로, 또는 적절한 경우 둘 다를 포함할 수 있다. 본 개시는 하드웨어와 소프트웨어의 임의의 적합한 조합을 포함한다.
본 개시는 여러 비한정적인 실시예를 기술하였지만, 본 개시의 범위 내에 속하는 변경, 순열 및 다양한 대체 등가물이 존재한다. 따라서, 당업자는 본 명세서에 명시적으로 도시되거나 설명되지는 않았지만 본 개시의 원리를 구현하고 따라서 본 개시의 사상 및 범위 내에 있는 수많은 시스템 및 방법을 고안할 수 있음을 이해될 것이다.
Claims (20)
- 메시 압축(mesh compression)을 위한 지오메트리 필터링(geometry filtering) 방법으로서,
적어도 하나의 프로세서에 의해 실행되며,
메시와 연관된 코딩된 비트스트림을 수신하는 단계 - 상기 코딩된 비트스트림은 상기 메시와 연관된 경계 정보를 포함함 -;
상기 경계 정보에 기초하여 상기 메시와 연관된 하나 이상의 경계 정점을 결정하는 단계;
상기 메시와 연관된 하나 이상의 경계 정점 및 필터링 알고리즘에서의 하나 이상의 필터링 파라미터에 기초하여, 상기 메시와 연관된 필터링된 지오메트리 맵을 생성하는 단계; 및
상기 필터링된 지오메트리 맵을, 비디오 코덱을 사용하여 복수의 단일 채널 또는 다중 채널 이미지로 압축하는 단계
를 포함하는 지오메트리 필터링 방법. - 제1항에 있어서,
상기 필터링 알고리즘에서의 하나 이상의 필터링 파라미터는 필터링 강도 인자, 필터링 반복 횟수, 가중 인자, 또는 이웃 정점의 수를 포함하는, 지오메트리 필터링 방법. - 제2항에 있어서,
상기 필터링 강도 인자는 경계 정점과 연관된 제1 필터링 강도 인자 및 비경계 정점과 연관된 제2 필터링 강도 인자를 포함하는, 지오메트리 필터링 방법. - 제3항에 있어서,
상기 필터링 강도 인자는 양자화 스텝 크기에 기초하는, 지오메트리 필터링 방법. - 제2항에 있어서,
상기 필터링 반복 횟수는 경계 정점과 연관된 제1 필터링 반복 횟수 및 비경계 정점과 연관된 제2 필터링 반복 횟수를 포함하는, 지오메트리 필터링 방법. - 제5항에 있어서,
상기 필터링 반복 횟수는 양자화 스텝 크기에 기초하는, 지오메트리 필터링 방법. - 제2항에 있어서,
상기 가중 인자는 경계 정점과 연관된 제1 가중 인자 및 비경계 정점과 연관된 제2 가중 인자를 포함하는, 지오메트리 필터링 방법. - 제2항에 있어서,
상기 이웃 정점의 수는 경계 정점과 연관된 제1의 이웃 정점의 수 및 비경계 정점과 연관된 제2의 이웃 정점의 수를 포함하는, 지오메트리 필터링 방법. - 메시 압축을 위한 지오메트리 필터링 디바이스로서,
프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리; 및
상기 프로그램 코드를 판독하고 상기 프로그램 코드가 명령하는 대로 동작하도록 구성된 적어도 하나의 프로세서
를 포함하고,
상기 프로그램 코드는,
상기 적어도 하나의 프로세서로 하여금 메시와 연관된 코딩된 비트스트림을 수신하게 하도록 구성된 제1 수신 코드 - 상기 코딩된 비트스트림은 상기 메시와 연관된 경계 정보를 포함함 -;
상기 적어도 하나의 프로세서로 하여금 상기 경계 정보에 기초하여 상기 메시와 연관된 하나 이상의 경계 정점을 결정하게 하도록 구성된 제1 결정 코드;
상기 적어도 하나의 프로세서로 하여금 상기 메시와 연관된 하나 이상의 경계 정점 및 필터링 알고리즘에서의 하나 이상의 필터링 파라미터에 기초하여, 상기 메시와 연관된 필터링된 지오메트리 맵을 생성하게 하도록 구성된 제1 생성 코드; 및
상기 적어도 하나의 프로세서로 하여금 상기 필터링된 지오메트리 맵을, 비디오 코덱을 사용하여 복수의 단일 채널 또는 다중 채널 이미지로 압축하게 하도록 구성된 제1 압축 코드
를 포함하는, 지오메트리 필터링 디바이스. - 제9항에 있어서,
상기 필터링 알고리즘에서의 하나 이상의 필터링 파라미터는 필터링 강도 인자, 필터링 반복 횟수, 가중 인자, 또는 이웃 정점의 수를 포함하는, 지오메트리 필터링 디바이스. - 제10항에 있어서,
상기 필터링 강도 인자는 경계 정점과 연관된 제1 필터링 강도 인자 및 비경계 정점과 연관된 제2 필터링 강도 인자를 포함하는, 지오메트리 필터링 디바이스. - 제11항에 있어서,
상기 필터링 강도 인자는 양자화 스텝 크기에 기초하는, 지오메트리 필터링 디바이스. - 제10항에 있어서,
상기 필터링 반복 횟수는 경계 정점과 연관된 제1 필터링 반복 횟수 및 비경계 정점과 연관된 제2 필터링 반복 횟수를 포함하는, 지오메트리 필터링 디바이스. - 제13항에 있어서,
상기 필터링 반복 횟수는 양자화 스텝 크기에 기초하는, 지오메트리 필터링 디바이스. - 제10항에 있어서,
상기 가중 인자는 경계 정점과 연관된 제1 가중 인자 및 비경계 정점과 연관된 제2 가중 인자를 포함하는, 지오메트리 필터링 디바이스. - 제10항에 있어서,
상기 이웃 정점의 수는 경계 정점과 연관된 제1의 이웃 정점의 수 및 비경계 정점과 연관된 제2의 이웃 정점의 수를 포함하는, 지오메트리 필터링 디바이스. - 명령어를 저장하는 컴퓨터로 판독 가능한 비일시적 매체로서,
상기 명령어는 메시 압축을 위한 지오메트리 필터링 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금,
메시와 연관된 코딩된 비트스트림을 수신하게 하고 - 상기 코딩된 비트스트림은 상기 메시와 연관된 경계 정보를 포함함 -;
상기 경계 정보에 기초하여 상기 메시와 연관된 하나 이상의 경계 정점을 결정하게 하고;
상기 메시와 연관된 하나 이상의 경계 정점 및 필터링 알고리즘에서의 하나 이상의 필터링 파라미터에 기초하여, 상기 메시와 연관된 필터링된 지오메트리 맵을 생성하게 하며;
상기 필터링된 지오메트리 맵을, 비디오 코덱을 사용하여 복수의 단일 채널 또는 다중 채널 이미지로 압축하게 하는, 하나 이상의 명령어를 포함하는
컴퓨터로 판독 가능한 비일시적 매체. - 제17항에 있어서,
상기 필터링 알고리즘에서의 하나 이상의 필터링 파라미터는 필터링 강도 인자, 필터링 반복 횟수, 가중 인자, 또는 이웃 정점의 수를 포함하는, 컴퓨터로 판독 가능한 비일시적 매체. - 제18항에 있어서,
상기 필터링 강도 인자는 경계 정점과 연관된 제1 필터링 강도 인자 및 비경계 정점과 연관된 제2 필터링 강도 인자를 포함하는 비일시적 컴퓨터 판독 가능 매체.
상기 필터링 강도 인자는 경계 정점과 연관된 제1 필터링 강도 인자 및 비경계 정점과 연관된 제2 필터링 강도 인자를 포함하는, 컴퓨터로 판독 가능한 비일시적 매체. - 제18항에 있어서,
상기 필터링 반복 횟수는 경계 정점과 연관된 제1 필터링 반복 횟수 및 비경계 정점과 연관된 제2 필터링 반복 횟수를 포함하는, 컴퓨터로 판독 가능한 비일시적 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263323865P | 2022-03-25 | 2022-03-25 | |
| US63/323,865 | 2022-03-25 | ||
| US18/185,024 US20230306647A1 (en) | 2022-03-25 | 2023-03-16 | Geometry filtering for mesh compression |
| US18/185,024 | 2023-03-16 | ||
| PCT/US2023/015445 WO2023183187A1 (en) | 2022-03-25 | 2023-03-17 | Geometry filtering for mesh compression |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230158622A true KR20230158622A (ko) | 2023-11-20 |
Family
ID=88096196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237036703A KR20230158622A (ko) | 2022-03-25 | 2023-03-17 | 메시 압축을 위한 지오메트리 필터링 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230306647A1 (ko) |
| JP (1) | JP7542758B2 (ko) |
| KR (1) | KR20230158622A (ko) |
| CN (1) | CN117280688A (ko) |
| WO (1) | WO2023183187A1 (ko) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017050858A1 (en) * | 2015-09-23 | 2017-03-30 | Koninklijke Philips N.V. | Generation of triangle mesh for a three dimensional image |
| US11514613B2 (en) * | 2017-03-16 | 2022-11-29 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
| US11450030B2 (en) * | 2019-09-24 | 2022-09-20 | Apple Inc. | Three-dimensional mesh compression using a video encoder |
| CN118266223A (zh) | 2021-11-24 | 2024-06-28 | 索尼集团公司 | 信息处理设备和方法 |
-
2023
- 2023-03-16 US US18/185,024 patent/US20230306647A1/en active Pending
- 2023-03-17 KR KR1020237036703A patent/KR20230158622A/ko active Search and Examination
- 2023-03-17 JP JP2023562755A patent/JP7542758B2/ja active Active
- 2023-03-17 CN CN202380011540.7A patent/CN117280688A/zh active Pending
- 2023-03-17 WO PCT/US2023/015445 patent/WO2023183187A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024515947A (ja) | 2024-04-11 |
| JP7542758B2 (ja) | 2024-08-30 |
| WO2023183187A1 (en) | 2023-09-28 |
| CN117280688A (zh) | 2023-12-22 |
| US20230306647A1 (en) | 2023-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230306701A1 (en) | Parallel approach to dynamic mesh alignment | |
| JP7508709B2 (ja) | 動的メッシュ圧縮のための２ｄ ｕｖアトラスサンプリングベースの方法、装置及びプログラム | |
| JP7542758B2 (ja) | メッシュ圧縮のための幾何学的フィルタリング | |
| US20230306648A1 (en) | Mesh parameterization with temporally correlated uv atlases | |
| US20230334714A1 (en) | Coding of boundary uv2xyz index for mesh compression | |
| US20240185471A1 (en) | Texture coordinate compression using chart partition | |
| US20240078713A1 (en) | Texture coordinate prediction in mesh compression | |
| US20240135594A1 (en) | Adaptive geometry filtering for mesh compression | |
| KR20240131434A (ko) | 동적 메시 압축을 위한 경계 정보를 이용한 삼각 분할 방법 | |
| KR20240067924A (ko) | 대칭 메시의 uv 속성 코딩 방법 및 장치 | |
| KR20230011406A (ko) | 비디오 기반 포인트 클라우드 코딩을 위한 조건적 재채색 | |
| KR20240066268A (ko) | 일반적인 토폴로지의 차트를 사용한 atlas 샘플링 기반 메시 압축 | |
| KR20230169289A (ko) | 메시 압축을 위한 경계 uv 정보의 예측 코딩 | |
| KR20240131432A (ko) | 메시 압축을 위한 경계 uv2xyz 인덱스의 코딩에 대한 개선 | |
| KR20230012558A (ko) | 비디오 기반 포인트 클라우드 코딩을 위한 고속 재채색 | |
| KR20230135646A (ko) | 메시 압축을 위한 패치 시간적 정렬의 인코딩 | |
| KR20240122845A (ko) | 차트 기반 메시 압축 | |
| CN118575200A (zh) | 用于网格压缩的自适应几何滤波 | |
| WO2023183186A1 (en) | Predictive coding of boundary uv2xyz index for mesh compression | |
| JP2024512915A (ja) | 非マニホールドメッシュにおける境界ループの検出のための方法、装置、およびコンピュータプログラム | |
| CN116250009A (zh) | 基于视频的点云译码的快速块生成 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |