KR20230052944A - 동적 메시 압축을 위한 2d uv 아틀라스 샘플링 기반 방법 - Google Patents

동적 메시 압축을 위한 2d uv 아틀라스 샘플링 기반 방법 Download PDF

Info

Publication number
KR20230052944A
KR20230052944A KR1020237009312A KR20237009312A KR20230052944A KR 20230052944 A KR20230052944 A KR 20230052944A KR 1020237009312 A KR1020237009312 A KR 1020237009312A KR 20237009312 A KR20237009312 A KR 20237009312A KR 20230052944 A KR20230052944 A KR 20230052944A
Authority
KR
South Korea
Prior art keywords
sampling
sample
mesh
sample positions
map
Prior art date
Application number
KR1020237009312A
Other languages
English (en)
Inventor
시앙 장
차오 황
샤오종 수
쥔 티엔
샨 리우
Original Assignee
텐센트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 아메리카 엘엘씨 filed Critical 텐센트 아메리카 엘엘씨
Publication of KR20230052944A publication Critical patent/KR20230052944A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

샘플링 기반 동적 메시 압축을 위한 방법, 장치 및 시스템이 제공된다. 프로세스는 하나 이상의 샘플링 레이트에 기초하여 입력 메시와 연관된 하나 이상의 샘플 포지션, 및 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태를 결정하는 것을 포함할 수 있으며, 점유 상태는 하나 이상의 샘플 포지션 각각이 입력 메시에 의해 정의된 하나 이상의 다각형의 경계 내에 있는지 여부를 지시한다. 이 프로세스는 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태에 기초하여 샘플 기반 점유 맵을 생성하는 것을 포함할 수 있다.

Description

동적 메시 압축을 위한 2D UV 아틀라스 샘플링 기반 방법
본 출원은 2021년 8월 16일자로 출원된 미국 가출원 제63/233,475호, 및 2022년 8월 15일자로 출원된 미국 출원 제17/887,918호로부터의 우선권을 주장하며, 이 출원의 개시내용은 그 전체가 인용에 의해 본 명세서에 포함된다.
본 개시내용은 한 세트의 고급 비디오 코딩 기술에 관한 것이다. 보다 구체적으로, 본 개시내용은 비디오 기반 동적 메시(mesh) 압축에 관한 것이다.
세계의 고급 3차원(3D: three-dimensional) 표현은 보다 몰입적인 형태의 상호 작용 및 통신을 가능하게 하고 있다. 3D 표현의 현실성을 달성하기 위해, 3D 모델은 훨씬 더 정교해지고 있으며, 상당한 양의 데이터가 이러한 3D 모델의 생성 및 소비에 링크된다. 3D 메시가 몰입형 콘텐츠를 3D 모델링하는 데 널리 사용된다.
3D 메시는 볼류메트릭(volumetric) 객체의 표면을 설명하는 여러 다각형으로 구성될 수 있다. 동적 메시 시퀀스는 많은 양의 데이터를 요구할 수 있는데, 이는 시간 경과에 따라 변경되는 상당한 양의 정보를 가질 수 있기 때문이다. 따라서 그러한 콘텐츠를 저장 및 송신하기 위해서는 효율적인 압축 기술이 요구된다.
메시 압축 표준 IC, MESHGRID, FAMC는 이전에 일정한 연결성 및 시변 기하학적 구조 및 정점 속성을 갖는 동적 메시를 처리하기 위해 개발되었다. 그러나 이러한 표준은 시변 속성 맵 및 연결 정보를 고려하지 않는다.
게다가, 볼류메트릭 획득 기법이 특히 실시간 제약 하에서 일정한 연결성의 동적 메시를 생성하는 것이 또한 난제이다. 이러한 타입의 동적 메시 콘텐츠는 기존 표준에 의해 지원되지 않는다.
실시예에 따르면, 샘플링 기반 동적 메시 압축을 위한 방법이 제공될 수 있다. 이 방법은 적어도 하나의 프로세서에 의해 실행될 수 있고, 하나 이상의 샘플링 레이트에 기초하여 입력 메시와 연관된 하나 이상의 샘플 포지션을 결정하는 단계; 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태를 결정하는 단계 ― 점유 상태는, 하나 이상의 샘플 포지션 각각이 입력 메시에 의해 정의된 하나 이상의 다각형의 경계 내에 있는지 여부를 지시함 ―; 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태에 기초하여 샘플 기반 점유 맵을 생성하는 단계; 및 비디오 코덱을 사용하여 샘플 기반 점유 맵을 복수의 단일 채널 또는 다중 채널 이미지로 압축하는 단계를 포함할 수 있다.
실시예에 따르면, 샘플링 기반 동적 메시 압축을 위한 장치가 제공될 수 있다. 이 디바이스는 프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리; 및 프로그램 코드를 판독하고 프로그램 코드에 의해 명령된 대로 동작하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다. 프로그램 코드는, 적어도 하나의 프로세서로 하여금, 하나 이상의 샘플링 레이트에 기초하여 입력 메시와 연관된 하나 이상의 샘플 포지션을 결정하게 하도록 구성된 제1 결정 코드; 적어도 하나의 프로세서로 하여금, 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태를 결정하게 하도록 구성된 제2 결정 코드 ― 점유 상태는, 하나 이상의 샘플 포지션 각각이 입력 메시에 의해 정의된 하나 이상의 다각형의 경계 내에 있는지 여부를 지시함 ―; 적어도 하나의 프로세서로 하여금, 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태에 기초하여 샘플 기반 점유 맵을 생성하게 하도록 구성된 제1 생성 코드; 및 적어도 하나의 프로세서로 하여금, 비디오 코덱을 사용하여 샘플 기반 점유 맵을 복수의 단일 채널 또는 다중 채널 이미지로 압축하게 하도록 구성된 압축 코드를 포함할 수 있다.
실시예에 따르면, 컴퓨터 명령을 저장하는 비-일시적 컴퓨터 판독 가능 매체가 제공될 수 있다. 명령은, 샘플링 기반 동적 메시 압축을 위한 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금, 하나 이상의 샘플링 레이트에 기초하여 입력 메시와 연관된 하나 이상의 샘플 포지션을 결정하게 하고; 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태를 결정하게 하고 ― 점유 상태는, 하나 이상의 샘플 포지션 각각이 입력 메시에 의해 정의된 하나 이상의 다각형의 경계 내에 있는지 여부를 지시함 ―; 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태에 기초하여 샘플 기반 점유 맵을 생성하게 하고; 그리고 비디오 코덱을 사용하여 샘플 기반 점유 맵을 복수의 단일 채널 또는 다중 채널 이미지로 압축하게 하는 하나 이상의 명령을 포함할 수 있다.
개시된 청구 대상의 추가 특징, 성질 및 다양한 이점은 다음의 상세한 설명 및 첨부 도면으로부터 보다 명백해질 것이다.
도 1은 본 개시내용의 실시예에 따른 통신 시스템의 단순화된 블록도의 개략적인 예시이다.
도 2는 본 개시내용의 실시예에 따른 스트리밍(streaming) 시스템의 단순화된 블록도의 개략적인 예시이다.
도 3은 본 개시내용의 실시예에 따른 비디오 인코더 및 디코더의 단순화된 블록도의 개략적인 예시이다.
도 4는 본 개시내용의 실시예에 따른, 메시의 2D 아틀라스 샘플링의 예시적인 예시이다.
도 5는 본 개시내용의 실시예에 따른, 메시에서의 연결성의 예시적인 예시이다.
도 6은 본 개시내용의 실시예에 따른, 재구성된 메시의 예시적인 예시이다.
도 7은 본 개시내용의 실시예에 따른, 샘플링을 사용한 메시 압축을 예시하는 흐름도이다.
도 8은 본 개시내용의 실시예에 따른 메시 재구성을 예시하는 흐름도이다.
도 9는 실시예를 구현하기에 적합한 컴퓨터 시스템의 도면이다.
메시는 볼류메트릭 객체의 표면을 설명하는 여러 다각형으로 구성될 수 있다. 3D 공간에서의 다각형의 정점 및 정점이 어떻게 연결되는지에 대한 정보는 연결 정보로 지칭되는 각각의 다각형을 정의할 수 있다. 선택적으로, 정점 속성, 이를테면 컬러, 법선 등이 메시 정점과 연관될 수 있다. 속성은 또한, 2D 속성 맵으로 메시를 파라미터화(parameterize)하는 매핑 정보를 활용함으로써 메시의 표면과 연관될 수 있다. 그러한 매핑은 UV 좌표 또는 텍스처 좌표로 지칭되는 한 세트의 파라메트릭 좌표를 사용하여 정의될 수 있고, 메시 정점과 연관될 수 있다. 2D 속성 맵은 텍스처, 법선, 변위 등과 같은 고해상도 속성 정보를 저장하는 데 사용될 수 있다. 고해상도 속성 정보는 텍스처 매핑 및 음영과 같은 다양한 목적으로 사용될 수 있다.
위에서 언급된 바와 같이, 3D 메시 또는 동적 메시는 많은 양의 데이터를 요구할 수 있는데, 이는 이러한 메시가 시간 경과에 따라 변경되는 상당한 양의 정보로 구성될 수 있기 때문이다. 기존 표준은 시변 속성 맵 및 연결 정보를 고려하지 않는다. 기존 표준은 또한, 특히 실시간 조건 하에서 일정한 연결성의 동적 메시를 생성하는 볼류메트릭 획득 기법을 지원하지 않는다.
따라서 시변 연결 정보 및 선택적으로 시변 속성 맵으로 동적 메시를 직접 처리하기 위한 새로운 메시 압축 표준이 필요하다. 본 개시내용의 실시예는 효율적인 압축 기술이 그러한 동적 메시를 저장 및 송신할 수 있게 한다. 본 개시내용의 실시예는 실시간 통신들, 저장, 자유 시점 비디오, AR 및 VR과 같은 다양한 애플리케이션에 대한 손실 및/또는 무손실 압축을 가능하게 한다.
본 개시내용의 일 양상에 따르면, 동적 메시 압축을 위한 방법, 시스템 및 비-일시적 저장 매체가 제공된다. 본 개시내용의 실시예는 또한, 메시의 단 하나의 프레임 또는 메시 콘텐츠가 시간 경과에 따라 변하지 않는 정적 메시에 적용될 수 있다.
이제 도 1 - 도 2를 참조하여, 본 개시내용의 인코딩 및 디코딩 구조를 구현하기 위한 본 개시내용의 일 실시예가 설명된다.
도 1은 본 개시내용의 일 실시예에 따른 통신 시스템(100)의 단순화된 블록도를 예시한다. 시스템(100)은 네트워크(150)를 통해 상호 접속된 적어도 2개의 단말(110, 120)을 포함할 수 있다. 데이터의 단방향 전송을 위해, 제1 단말(110)은 네트워크(150)를 통한 다른 단말(120)로의 전송을 위해 로컬 위치에서, 메시 데이터를 포함할 수 있는 비디오 데이터를 코딩할 수 있다. 제2 단말(120)은 네트워크(150)로부터 다른 단말의 코딩된 비디오 데이터를 수신하고, 코딩된 데이터를 디코딩하며, 복원된 비디오 데이터를 디스플레이할 수 있다. 단방향 데이터 전송은 미디어 서빙 애플리케이션 등에서 공통적일 수 있다.
도 1은 예를 들어, 화상 회의 동안 발생할 수 있는 코딩된 비디오의 양방향 전송을 지원하기 위해 제공되는 제2 쌍의 단말(130, 140)을 예시한다. 데이터의 양방향 전송을 위해, 각각의 단말(130, 140)은 네트워크(150)를 통한 다른 단말로의 전송을 위해 로컬 위치에서 캡처된 비디오 데이터를 코딩할 수 있다. 각각의 단말(130, 140)은 또한 다른 단말에 의해 전송된 코딩된 비디오 데이터를 수신할 수 있고, 코딩된 데이터를 디코딩할 수 있으며, 로컬 디스플레이 디바이스에서 복원된 비디오 데이터를 디스플레이할 수 있다.
도 1에서, 단말(110-140)은 예를 들어, 서버, 개인용 컴퓨터 및 스마트폰 및/또는 임의의 다른 타입의 단말일 수 있다. 예를 들어, 단말(110-140)은 랩톱 컴퓨터, 태블릿 컴퓨터, 미디어 플레이어 및/또는 전용 화상 회의 장비일 수 있다. 네트워크(150)는 예를 들어, 유선 및/또는 무선 통신 네트워크를 포함하여, 코딩된 비디오 데이터를 단말(110-140) 사이에 전달하는 임의의 수의 네트워크를 나타낸다. 통신 네트워크(150)는 회선 교환 및/또는 패킷 교환 채널에서 데이터를 교환할 수 있다. 대표적인 네트워크는 원격 통신 네트워크, 근거리 네트워크, 광역 네트워크 및/또는 인터넷을 포함한다. 본 논의의 목적으로, 네트워크(150)의 아키텍처 및 토폴로지는 본 명세서에서 아래에 설명되지 않는 한 본 개시내용의 동작에 중요하지 않을 수 있다.
도 2는 개시된 청구 대상에 대한 애플리케이션에 대한 일례로, 스트리밍 환경에서의 비디오 인코더 및 디코더의 배치를 예시한다. 개시된 청구 대상은 예를 들어, 화상 회의, 디지털 TV, CD, DVD, 메모리 스틱 등을 포함하는 디지털 매체 상의 압축된 비디오의 저장 등을 포함하는 다른 비디오 가능 애플리케이션에 사용될 수 있다.
도 2에 예시된 바와 같이, 스트리밍 시스템(200)은 비디오 소스(201) 및 인코더(203)를 포함하는 캡처 서브시스템(213)을 포함할 수 있다. 스트리밍 시스템(200)은 적어도 하나의 스트리밍 서버(205) 및/또는 적어도 하나의 스트리밍 클라이언트(206)를 더 포함할 수 있다.
비디오 소스(201)는 예를 들어, 3D 메시 및 3D 메시와 연관된 메타데이터를 포함하는 스트림(202)을 생성할 수 있다. 비디오 소스(201)는 예를 들어, 3D 센서(예컨대, 깊이 센서) 또는 3D 이미징 기술(예컨대, 디지털 카메라(들)), 및 3D 센서 또는 3D 이미징 기술로부터 수신된 데이터를 사용하여 3D 메시를 생성하도록 구성되는 컴퓨팅 디바이스를 포함할 수 있다. 인코딩된 비디오 비트스트림과 비교할 때 높은 데이터 볼륨을 가질 수 있는 샘플 스트림(202)은 비디오 소스(201)에 결합된 인코더(203)에 의해 처리될 수 있다. 인코더(203)는 아래에서 더 상세히 설명되는 바와 같이, 개시된 청구 대상의 양상을 가능하게 하거나 구현하기 위한 하드웨어, 소프트웨어, 또는 이들의 조합을 포함할 수 있다. 인코더(203)는 또한 인코딩된 비디오 비트스트림(204)을 생성할 수 있다. 압축되지 않은 스트림(202)과 비교할 때 더 낮은 데이터 볼륨을 가질 수 있는 인코딩된 비디오 비트스트림(204)은 향후 사용을 위해 스트리밍 서버(205)에 저장될 수 있다. 하나 이상의 스트리밍 클라이언트(206)는 인코딩된 비디오 비트스트림(204)의 사본일 수 있는 비디오 비트스트림(209)을 리트리브하기 위해 스트리밍 서버(205)에 액세스할 수 있다.
스트리밍 클라이언트(206)는 비디오 디코더(210) 및 디스플레이(212)를 포함할 수 있다. 비디오 디코더(210)는 예를 들어, 인코딩된 비디오 비트스트림(204)의 착신 카피인 비디오 비트스트림(209)을 디코딩하고, 디스플레이(212) 또는 (도시되지 않은) 다른 렌더링 디바이스 상에 렌더링될 수 있는 발신 비디오 샘플 스트림(211)을 생성할 수 있다. 일부 스트리밍 시스템에서, 비디오 비트스트림(204, 209)은 특정 비디오 코딩/압축 표준에 따라 인코딩될 수 있다.
도 3은 인코더 및 디코더를 사용한 동적 메시 압축 및 메시 재구성을 위한 프레임워크(300)의 예시적인 도면이다.
도 3에서 확인되는 바와 같이, 프레임워크(300)는 인코더(301) 및 디코더(351)를 포함할 수 있다. 인코더(301)는 하나 이상의 입력 메시(305), UV 아틀라스(310)를 갖는 하나 이상의 메시, 점유 맵(315), 기하학적 구조 맵(320), 속성 맵(325) 및 메타데이터(330)를 포함할 수 있다. 디코더(351)는 디코딩된 점유 맵(335), 디코딩된 기하학적 구조 맵(340), 디코딩된 속성 맵(345), 디코딩된 메타데이터(350) 및 재구성된 메시(360)를 포함할 수 있다.
본 개시내용의 일 양상에 따르면, 입력 메시(305)는 하나 이상의 프레임을 포함할 수 있고, 하나 이상의 프레임 각각은 일련의 동작에 의해 전처리되고 UV 아틀라스(310)를 이용한 메시를 생성하는 데 사용될 수 있다. 일례로, 전처리 동작은 추적, 파라미터화, 리메싱(remeshing), 복셀화 등을 포함할 수 있으며 이에 제한되지는 않을 수 있다. 일부 실시예에서, 전처리 동작은 디코더 측이 아닌 인코더 측에서만 수행될 수 있다.
UV 아틀라스(310)를 이용한 메시는 2D 메시일 수 있다. UV 아틀라스를 이용한 2D 메시는 메시의 각각의 정점이 2D 아틀라스 상의 UV 좌표와 연관될 수 있는 메시일 수 있다. UV 아틀라스(310)를 이용한 메시는 샘플링에 기반하여 복수의 맵으로 처리 및 변환될 수 있다. 일례로, UV 아틀라스(310)는 UV 아틀라스로 2D 메시를 샘플링하는 것에 기반하여 점유 맵, 기하학적 구조 맵 및 속성 맵으로 처리 및 변환될 수 있다. 생성된 점유 맵(335), 기하학적 구조 맵(340) 및 속성 맵(345)은 적절한 코덱(예컨대, HVEC, VVC, AV1 등)을 사용하여 인코딩되고 디코더에 송신될 수 있다. 일부 실시예에서, 메타데이터(예컨대, 연결 정보 등)가 또한 디코더에 송신될 수 있다.
일 양상에 따르면, 디코더(351)는 인코더로부터 인코딩된 점유 맵, 기하학적 구조 맵 및 속성 맵을 수신할 수 있다. 디코더(351)는 점유 맵, 기하학적 구조 맵 및 속성 맵을 디코딩하기 위해, 본 명세서에 설명된 실시예에 부가하여, 적절한 기법 및 방법을 사용할 수 있다. 일 실시예에서, 디코더(351)는 디코딩된 점유 맵(335), 디코딩된 기하학적 구조 맵(340), 디코딩된 속성 맵(345) 및 디코딩된 메타데이터(350)를 생성할 수 있다. 입력 메시(305)는 하나 이상의 재구성 필터 및 기법을 사용하여, 디코딩된 점유 맵(335), 디코딩된 기하학적 구조 맵(340), 디코딩된 속성 맵(345) 및 디코딩된 메타데이터(350)에 기초하여 재구성된 메시(360)로 재구성될 수 있다. 일부 실시예에서, 메타데이터(330)는 디코더(351)에 직접 송신될 수 있고, 디코더(351)는 디코딩된 점유 맵(335), 디코딩된 기하학적 구조 맵(340) 및 디코딩된 속성 맵(345)에 기초하여 재구성된 메시(360)를 생성하기 위해 메타데이터를 사용할 수 있다. 리메싱, 파라미터화, 추적, 복셀화 등을 포함하지만 이에 제한되지 않는 사후 필터링 기법이 또한 재구성된 메시(360)에 적용될 수 있다.
2D UV 아틀라스를 이용한 입력 메시는 정점을 가질 수 있으며, 여기서 메시의 각각의 정점은 2D 아틀라스 상에서 연관된 UV 좌표를 가질 수 있다. 점유, 기하학적 구조 및 속성 맵은 UV 아틀라스 상의 하나 이상의 포인트/포지션을 샘플링함으로써 생성될 수 있다. 각각의 샘플 포지션은, 그것이 메시 정점에 의해 정의된 다각형 내부에 있다면, 점유되거나 점유되지 않을 수 있다. 각각의 점유된 샘플에 대해, 연관된 다각형 정점으로부터 보간함으로써 그 대응하는 3D 기하학적 구조 좌표 및 속성을 계산할 수 있다.
본 개시내용의 일 양상에 따르면, 샘플링 레이트는 전체 2D 아틀라스에 걸쳐 일관될 수 있다. 일부 실시예에서, u 축 및 v 축에 대한 샘플링 레이트는 상이할 수 있으며, 이는 이방성 리메싱을 가능하게 할 수 있다. 일부 실시예에서, 전체 2D 아틀라스는 슬라이스 또는 타일과 같은 다수의 구역으로 분할될 수 있고, 그러한 각각의 구역은 상이한 샘플링 레이트를 가질 수 있다.
본 개시내용의 일 양상에 따르면, 각각의 구역(또는 전체 2D 아틀라스)에 대한 샘플링 레이트는 시퀀스 헤더, 프레임 헤더, 슬라이스 헤더 등을 포함하지만 이에 제한되지 않는 고 레벨 신택스(syntax)로 시그널링될 수 있다. 일부 실시예에서, 각각의 구역(또는 전체 2D 아틀라스)에 대한 샘플링 레이트는 인코더와 디코더 모두에 의해 가정된 미리 설정된 세트의 레이트로부터 선택될 수 있다. 미리 설정된 세트의 레이트가 인코더와 디코더 모두에 의해 알려져 있기 때문에, 하나의 특정 샘플링 레이트의 시그널링은 미리 설정된 레이트 세트 내의 인덱스를 시그널링하는 것만을 요구할 것이다. 그러한 미리 설정된 세트의 일례는 2개의 픽셀마다, 4개의 픽셀마다, 8개의 픽셀마다 등일 수 있다. 일부 실시예에서, 메시 프레임의 각각의 구역(또는 전체 2D 아틀라스)에 대한 샘플링 레이트는 미리 설정된 레이트 세트로부터, 동일한 프레임의 다른 이미 코딩된 구역에서 이전에 사용된 샘플링 레이트로부터, 또는 다른 이미 코딩된 메시 프레임에서 이전에 사용된 샘플링 레이트로부터 예측될 수 있다.
일부 실시예에서, 각각의 구역(또는 전체 2D 아틀라스)에 대한 샘플링 레이트는 각각의 구역(또는 전체 2D 아틀라스)의 일부 특징에 기반할 수 있다. 일례로, 샘플 레이트는 활동에 기반할 수 있는데, 풍부한 텍스처 구역(또는 전체 2D 아틀라스) 또는 높은 활동을 갖는 구역(또는 전체 2D 아틀라스)의 경우, 샘플 레이트가 더 높게 설정될 수 있다. 다른 예로서, 평활 구역(또는 전체 2D 아틀라스) 또는 낮은 활동을 갖는 구역(또는 전체 2D 아틀라스)의 경우, 샘플 레이트가 더 낮게 설정될 수 있다.
일부 실시예에서, 메시 프레임의 각각의 구역(또는 전체 2D 아틀라스)에 대한 샘플링 레이트는 예측 및 직접 시그널링의 조합이 허용될 수 있는 방식으로 시그널링될 수 있다. 신택스는 샘플링 레이트가 예측될지 또는 직접적으로 시그널링될지를 표시하도록 구조화될 수 있다. 예측될 때, 예측자 샘플링 레이트 중 어느 것이 사용될지가 추가로 시그널링될 수 있다. 직접적으로 시그널링될 때, 레이트의 값을 표현하기 위한 신택스가 시그널링될 수 있다.
도 4는 본 개시내용의 실시예에 따른, 삼각형 메시(400)의 2D 아틀라스 샘플링의 예시적인 예시이다.
도 4에서 확인되는 바와 같이, 삼각형 메시(400)는 복수의 포지션 및 정점을 가질 수 있으며, 여기서 각각의 정수 픽셀은 단지 원으로서 표현된다. 다른 형태의 표현이 사용될 수 있다.
V 1, V 2,…, V D 를 메시 상의 다각형의 정점을 나타내게 하며, 여기서 D는 각각의 다각형의 형상을 정의한다. 삼각형 메시의 경우, D는 3과 같은데, 즉 각각의 삼각형은 3개의 정점을 갖는다. 보편성을 잃지 않으면서, 메시가 본 개시내용의 나머지에 대해 삼각형 메시로 구성된다고 가정하는데, 즉 D = 3이다.
각각의 정점(V i )에 대해, 그의 UV 좌표는 (u i , v i )로 표시되고, 그의 3D 포지션은 (x i , y i , z i )로 표시되며, 그의 다른 속성(이를테면, 색상 및 법선)은 a i 로 표시될 수 있다. 정점의 UV 좌표, 즉 (u i , v i )는 정수 또는 분수 포지션 상에 있을 수 있다. 입력 메시의 2D UV 아틀라스 맵은 W×H의 크기일 수 있고, A는 (u A , v A ) 좌표를 갖는 2D UV 아틀라스 맵 상의 샘플 포인트일 수 있다. A가 자신의 3개의 정점(V 1, V 2, V 3)의 UV 좌표(u i , v i )에 의해 정의된 메시의 삼각형 내부에 있다면, 이는 점유됨으로 마킹될 수 있고; 그렇지 않으면, 이는 점유되지 않음으로 마킹될 수 있다.
본 개시내용의 일 양상에 따르면, 점유 맵은 2D UV 아틀라스 맵(간혹 메시)을 샘플링하는 것에 기반하여 생성될 수 있다. 점유 맵 상의 포인트 및/또는 포지션의 연결성은 (예컨대, 메타데이터를 사용하여 또는 SPS, PPS 등으로) 시그널링될 수 있거나 디코더에 의해 유추될 수 있다. 연결성의 배향(시계 방향 또는 반 시계 방향)은 시퀀스 헤더, 슬라이스 헤더 등과 같은 고 레벨 신택스로 시그널링되거나 인코더 및 디코더에 의해 고정(가정)될 수 있다.
일 실시예에서, 2D 맵 상의 모든 샘플링 포인트를 스캔함으로써 1 채널 2진 점유 맵이 생성될 수 있다. 1 채널 2진 점유 맵 상의 각각의 포인트는 샘플 포인트가 임의의 삼각형(메시 다각형의 형상) 내부에 있는지 여부를 지시할 수 있다. 일 실시예에서, 1 채널 비-2진 점유 맵이 생성될 수 있다. 일례로, 샘플 포인트가 정점 포지션에 속하는지 또는 경계에 속하는지를 지시하기 위해 다른 값이 사용될 수 있다. 상이한 채널들이 상이한 지시들을 가질 수 있는 다중 채널 점유 맵이 또한 생성될 수 있다. 일부 실시예에서, 정점 포지션만을 갖는 점유 맵이 생성될 수 있다. 이러한 정점의 연결성은 디코더에 시그널링되거나 디코더에 의해 유추될 수 있다.
점유 맵은 임의의 적절한 이미지 및 비디오 코덱에 의해 압축될 수 있다. 이들은 단일 채널 또는 다중 채널 이미지, 예컨대 YUV420, YUV400, YUV444, RGB444 등으로 압축될 수 있다. 이들은 또한 2진 이미지 또는 임의의 비트 깊이 이미지, 예컨대 1-비트, 2-비트, 8-비트, 12-비트, 16-비트 등으로서 압축될 수 있다. 이는 손실 또는 무손실 코덱에 의해 압축될 수 있다.
본 개시내용의 일 양상에 따르면, 기하학적 구조 맵은 2D UV 아틀라스 맵(간혹 메시)을 샘플링하는 것에 기반하여 생성될 수 있다. RGB 색상을 갖는 일반적인 이미지와는 달리, 기하학적 구조 이미지는 대응하는 샘플 포인트의 3D 기하학적 구조 좌표를 이들의 채널에 저장할 수 있다. 각각의 점유된 샘플 포인트(A)에 대해, 그의 3D 기하학적 구조 포지션은 삼각형의 3개의 정점(V 1, V 2, V 3)에 의해 보간될 수 있다. 여기서 임의의 적절한 보간 방법이 채택될 수 있다. 예를 들어, A의 3D 기하학적 구조 포지션을 추정하기 위해 무게 중심 기반 방법이 사용될 수 있다.
일례로, (λ 1, λ 2, λ 3)이 삼각형(V 1, V 2, V 3)에 대한 무게 중심 좌표라고 가정하면, 다음과 같다:
(u A , v A ) = λ 1·(u 1, v 1) + λ 2·(u 2, v 2) + λ 3·(u 3, v 3) …식(1)
λ 1 + λ 2 + λ 3 = 1. …식(2)
UV 좌표와 3D 좌표 간의 선형 관계에 대해, A u,v 의 3D 포지션, 즉 (x A , y A , z A )는 다음과 같이 계산될 수 있다:
(x A , y A , z A ) = λ 1·(x 1, y 1, z 1) + λ 2·(x 2, y 2, z 2) + λ 3·(x 3, y 3, z 3)…식(3)
일부 실시예에서, 추정된 3D 기하학적 포지션(x A , y A , z A )은 이미지 및 비디오 코덱에 의해 코딩되기 위해 부호 없는 정수로 변환될 수 있다.
점유되지 않은 포인트(A)의 경우, 그의 3D 기하학적 구조 포지션(x A , y A , z A )은 임의의 임시 수일 수 있다. 일부 실시예에서, 기하학적 맵의 코딩 효율을 가능하게 하기 위해, 점유되지 않은 포인트의 3D 기하학적 포지션은 그들의 공간 및 시간상 이웃과 유사하게 할당될 수 있다. 일부 실시예에서, 점유되지 않은 포인트의 3D 기하학적 포지션은 기하학적 포지션에 대해 불가능한 값, 예컨대 (-1, -1, -1)로 할당될 수 있으며, 이 경우 점유 맵은 시그널링되지 않을 수 있다.
샘플링된 포지션과 연관된 기하학적 구조 맵을 생성하기 위해, 본 개시내용의 일 양상에 따르면, 3 채널 기하학적 구조 맵 상의 각각의 포인트가 자신의 3D 기하학적 구조 포지션을 지시하는 2D 맵 상의 모든 샘플링 포인트를 스캔함으로써 3 채널 기하학적 구조 맵이 생성될 수 있다. 일례로, 첫 번째 채널은 x 포지션을 지시할 수 있고, 두 번째 채널은 y 포지션을 지시할 수 있으며, 세 번째 채널은 z 포지션을 지시할 수 있다. 일부 실시예에서, 각각의 맵이 하나의 축의 3D 기하학적 구조 포지션을 지시하는 3개의 단일 채널 기하학적 구조 맵이 생성될 수 있다. 일례로, 첫 번째 맵은 x 포지션을 지시할 수 있고, 두 번째 맵은 y 포지션을 지시할 수 있으며, 세 번째 맵은 z 포지션을 지시할 수 있다. 일부 실시예에서, 투사 평면에 대한 깊이(거리)를 지시하는 단일 채널 기하학적 구조 맵이 생성될 수 있다. 투사 평면은 상이한 삼각형에 대해 상이할 수 있으며, 이 경우 투사 평면 정보는 부가 정보로서 시그널링될 수 있다.
본 개시내용의 일 양상에 따르면, 속성 맵은 2D UV 아틀라스 맵(간혹 메시)을 샘플링하는 것에 기반하여 생성될 수 있다.
각각의 점유된 샘플 포인트(A)는 속성을 가질 수 있고, 그 속성(예컨대, 법선, 색상)은 삼각형의 3개의 정점(V 1, V 2, V 3)에 의해 보간될 수 있다. 임의의 적절한 보간 방법이 채택될 수 있다.
일례로, 삼각형(V 1, V 2, V 3)에 대한 무게 중심 좌표가 있다고 가정하면, 다음과 같다:
(u A , v A ) = λ 1·(u 1, v 1) + λ 2·(u 2, v 2) + λ 3·(u 3, v 3) …식(1)
λ 1 + λ 2 + λ 3 = 1. …식(2)
A u,v 의 속성 값, 즉 a A 는 다음과 같이 계산될 수 있다:
a A = λ 1·a 1 + λ 2·a 2 + λ 3·a 3 …식(4)
일부 실시예에서, 각각의 점유되지 않은 포인트(A)에 대해, 그의 속성 aA는 임의의 수일 수 있다. 일부 실시예에서, 속성 맵의 코딩 효율을 가능하게 하기 위해, 점유되지 않은 포인트의 속성 값은 그들의 공간 및 시간상 이웃과 유사하게 할당될 수 있다. 일부 실시예에서, 점유되지 않은 포인트의 속성 값은 속성에 대해 불가능한 값, 예컨대 (-1, -1, -1)로 할당될 수 있으며, 이 경우 점유 맵은 시그널링되지 않을 수 있다.
샘플링된 포지션과 연관된 속성 맵을 생성하기 위해, 본 개시내용의 일 양상에 따르면, 맵 상의 각각의 포인트가 자신의 속성 값을 표시하는 N 채널 속성 맵은 2D 맵 상의 모든 샘플링 포인트를 스캔함으로써 생성될 수 있다. 일례로, 색상인 속성에 대해, 첫 번째 채널은 R 색상을 지시할 수 있고, 두 번째 채널은 G 색상을 지시할 수 있으며, 세 번째 채널은 B 색상을 지시할 수 있다. 속성이 법선인 실시예에서, 3개의 채널은 x 축, y 축 및 z 축 상의 법선 값일 수 있다. 일부 실시예에서, 각각의 맵이 속성 값을 지시하는 N개의 단일 채널 속성 맵이 생성될 수 있다. 일례로, 색상인 속성에 대해, 첫 번째 맵은 R 색상을 지시할 수 있고, 두 번째 맵은 G 색상을 지시할 수 있으며, 세 번째 맵은 B 색상을 지시할 수 있다. 일부 실시예에서, 메시와 연관된 텍스처 맵은 추가 속성 맵으로서 보여지고 임의의 적절한 이미지 또는 비디오 코덱에 의해 코딩될 수 있다.
도 5는 본 개시내용의 실시예에 따른, 인코더에 의해 연결 정보를 생성하고 디코더에 의해 메시를 재구성하기 위해 사용될 수 있는 메시에서의 연결성의 예를 예시한다.
디코더는 점유, 기하학적 구조 및 속성 맵을 디코딩한 후에 메시를 재구성할 수 있다. 점유 맵 상의 각각의 점유된 포인트에 대해, 디코더는 메시 상의 정점을 복원할 수 있고, 포인트의 대응하는 기하학적 구조 및 속성 값은 디코딩된 기하학적 구조 및 속성 맵 내의 대응하는 포지션으로부터 획득될 수 있다. 정점 사이의 연결 정보는, 점유 포지션으로부터 암시적으로 유추하거나 또는 명시적으로 시그널링함으로써 디코더에 의해 복원될 수 있다.
본 개시내용의 일 양상에 따르면, 입력 메시 및/또는 2D UV 아틀라스와 연관된 연결 정보는 특정 규칙에 의해 디코딩된 점유 맵 상의 이웃 포인트의 점유 상태로부터 암시적으로 유추될 수 있다. 연결성의 배향(시계 방향 또는 반 시계 방향)은 시퀀스 헤더, 슬라이스 헤더 등과 같은 고 레벨 신택스로부터 파싱되거나 인코더 및 디코더에 의해 고정(가정)될 수 있다. 일부 실시예에 따르면, 재구성된 메시는 입력 메시와는 상이한 연결성을 가질 수 있다. 일례로, 입력 메시는 삼각형 메시일 수 있는 한편, 재구성된 메시는 쿼드(quad) 메시일 수 있다.
본 개시내용의 일 양상에 따르면, 디코딩된 점유 맵 상의 모든 각각의 4개의 이웃 포인트에 대해, 점유된 포인트의 수가 3개 이상이라면, 4개의 포인트 사이의 삼각형의 연결성이 특정 규칙들에 의해 유추될 수 있다. 일례로, 도 5를 참조하면, 4개의 포인트 중 3개가 점유된다면, 이들은 도 5의 예(2) - 예(5)에서와 같이 삼각형을 형성하도록 직접 연결될 수 있다. 일례로, 4개의 포인트가 모두 점유된다면, 이들은 도 5의 예(1)에서와 같이 2개의 삼각형을 형성할 수 있다. 일부 실시예에서, 상이한 수의 이웃 포인트에 상이한 규칙이 적용될 수 있다.
일부 실시예에서, 4개의 이웃 포인트가 모두 점유될 때, 쿼드 메시가 재구성될 수 있다. 일부 실시예에서, 재구성된 메시는 하이브리드 타입 메시일 수 있는데, 예컨대 메시 프레임의 일부 구역은 삼각형 메시를 생성하는 한편, 다른 구역은 쿼드 메시를 생성한다. 연결 타입은 시퀀스 헤더, 슬라이스 헤더와 같은 고 레벨 신택스로 시그널링될 수 있다.
일부 실시예에서, 연결 정보는 또한 명시적으로 시그널링함으로써 재구성될 수 있다. 다각형이 암시적 규칙에 의해 복원될 수 없다면, 인코더는 비트스트림으로(예컨대, 메타데이터로서) 연결 정보를 시그널링할 수 있다. 이를테면, 다각형의 경계에 따라 명시적 시그널링의 오버헤드를 감소시키기 위한 임의의 적절한 수단이 사용될 수 있다.
도 6은 도 5에서 설명된 암시적 규칙과 명시적 시그널링의 조합을 사용하여 생성된 재구성된 메시(600)의 예시적인 예시이다.
도 7은 본 개시내용의 실시예에 따라, 샘플링을 사용하여 메시 2D UV 아틀라스를 인코딩하기 위한 프로세스(700)를 예시하는 흐름도이다.
동작(705)에서, 하나 이상의 샘플링 레이트에 기반하여 입력 메시와 연관된 하나 이상의 샘플 포지션이 결정될 수 있다. 일례로, 인코더(301)는 하나 이상의 샘플링 레이트에 기초하여 입력 메시(305)와 연관된 하나 이상의 샘플 포지션을 결정할 수 있다. 일부 실시예에서, 인코더(301)는 하나 이상의 샘플링 레이트에 기초하여 UV 아틀라스(310)를 이용한 처리된 메시와 연관된 하나 이상의 샘플 포지션을 결정할 수 있다.
일부 실시예에서, 하나 이상의 샘플링 레이트는 제1 축에 대한 제1 샘플링 레이트 및 제2 축에 대한 제2 샘플링 레이트에 기초할 수 있다. 일부 실시예에서, 하나 이상의 샘플링 레이트는 고 레벨 신택스로 시그널링될 수 있다. 일부 실시예에서, 하나 이상의 구역 각각에 대한 하나 이상의 개개의 샘플링 레이트는 하나 이상의 구역의 개개의 특징에 기초할 수 있다. 개개의 특징은 구역의 텍스처, 구역의 활동, 및 구역의 평활도를 포함할 수 있다. 일부 실시예에서, 입력 메시 및/또는 처리된 메시는 하나 이상의 구역으로 분할될 수 있고, 하나 이상의 샘플링 레이트는 하나 이상의 구역 각각에 대한 하나 이상의 개개의 샘플링 레이트에 기초할 수 있다. 일부 실시예에서, 하나 이상의 샘플링 레이트는 이웃 구역의 샘플링 레이트에 기초할 수 있다. 일부 실시예에서, 하나 이상의 샘플링 레이트는 하나 이상의 이미 코딩된 메시 프레임의 이전의 하나 이상의 샘플링 레이트에 기초할 수 있다.
동작(710)에서, 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태가 결정될 수 있다. 점유 상태는, 하나 이상의 샘플 포지션 각각이 입력 메시 및/또는 처리된 메시에 의해 정의된 하나 이상의 다각형의 경계 내에 있는지 여부를 지시할 수 있다. 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태에 기초하여, 동작(715)에서, 샘플 기반 점유 맵이 생성될 수 있다. 일례로, 인코더(301)는 동작(705)으로부터의 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태에 기초하여 샘플 기반 점유 맵(예컨대, 점유 맵(315))을 생성할 수 있다.
동작(720)에서, 하나 이상의 샘플 포지션 각각과 각기 연관된 3D 기하학적 구조 좌표가 입력 메시에 의해 정의된 하나 이상의 다각형의 정점에 기반하여 결정된다. 일부 실시예에서는, 처리된 메시가 사용될 수 있다. 하나 이상의 샘플 포지션 각각과 각기 연관된 3D 기하학적 구조 좌표에 기반하여, 동작(725)에서 샘플 기반 기하학적 구조 맵이 생성될 수 있다. 일례로, 인코더(301)는 입력 메시(305) 및/또는 처리된 메시(예컨대, UV 아틀라스(310)를 이용한 메시)에 의해 정의된 하나 이상의 다각형의 정점에 기반하여 하나 이상의 샘플 포지션 각각과 각기 연관된 3D 기하학적 구조 좌표를 결정할 수 있다. 그런 다음, 인코더(301)는 하나 이상의 샘플 포지션 각각과 각기 연관된 3D 기하학적 구조 좌표에 기초하여 샘플 기반 기하학적 구조 맵(예컨대, 기하학적 구조 맵(320))을 생성할 수 있다. 일부 실시예에서, 샘플 기반 기하학적 구조 맵은 3개의 단일 채널 기하학적 구조 맵을 포함할 수 있으며, 여기서 3개의 단일 채널 기하학적 구조 맵 중 첫 번째 맵은 하나 이상의 샘플 포지션 각각과 연관된 x 축 포지션을 지시할 수 있고, 3개의 단일 채널 기하학적 구조 맵 중 두 번째 맵은 하나 이상의 샘플 포지션 각각과 연관된 y 축 포지션을 지시할 수 있고, 3개의 단일 채널 기하학적 구조 맵 중 세 번째 맵은 하나 이상의 샘플 포지션 각각과 연관된 z 축 포지션을 지시할 수 있다.
동작(730)에서, 하나 이상의 샘플 포지션 각각과 각기 연관된 속성 값은 입력 메시에 의해 정의된 하나 이상의 다각형의 정점에 기반하여 결정될 수 있다. 그 다음, 하나 이상의 샘플 포지션 각각과 각기 연관된 속성 값은 동작(735)에서 샘플 기반 속성 맵을 생성하는 데 사용될 수 있다. 일례로, 인코더(301)는 입력 메시(305) 및/또는 처리된 메시(예컨대, UV 아틀라스(310)를 이용한 메시)에 의해 정의된 하나 이상의 다각형의 정점에 기반하여 하나 이상의 샘플 포지션 각각과 각기 연관된 속성 값을 결정할 수 있다. 그런 다음, 인코더(301)는 하나 이상의 샘플 포지션 각각과 각기 연관된 속성 값에 기초하여 샘플 기반 속성 맵(예컨대, 속성 맵(325))을 생성할 수 있다. 일부 실시예에서, 샘플 기반 속성 맵은 n 채널 속성 맵 또는 n개의 단일 채널 속성 맵 중 하나일 수 있다.
일부 실시예에서, 인코더(301)는 또한, 하나 이상의 이웃 샘플 포지션과 연관된 점유 상태에 기초하여 하나 이상의 샘플 포지션 각각과 각기 연관된 (예컨대, 메타데이터(330)의 형태로) 생성된 연결 정보를 생성 및/또는 송신할 수 있다.
도 8은 본 개시내용의 실시예에 따른 메시 재구성을 예시하는 흐름도이다.
동작(805)에서, 수신된 점유 맵, 속성 맵 및 기하학적 구조 맵이 디코딩될 수 있다. 일례로, 디코더(351)는 인코딩된 점유 맵(315), 기하학적 구조 맵(320) 및 속성 맵(325)을 디코딩하여 디코딩된 점유 맵(335), 디코딩된 기하학적 구조 맵(340) 및 디코딩된 속성 맵(345)을 생성할 수 있다.
동작(810)에서, 디코딩된 점유 맵 내의 각각의 점유된 포지션과 연관된 개개의 정점이 복원될 수 있다. 일례로, 디코더(351)는 디코딩된 점유 맵(335)에 기반하여 각각의 점유된 포지션 및/또는 픽셀과 연관된 개개의 정점을 복원할 수 있다.
동작(815)에서, 각각의 점유된 포지션과 연관된 3D 기하학적 구조 좌표가 디코딩된 점유 맵 및 디코딩된 기하학적 구조 맵에 기초하여 획득될 수 있다. 일례로, 디코더(351)는 디코딩된 점유 맵(335) 및 디코딩된 기하학적 구조 맵(340)에 기초하여 각각의 점유된 포지션과 연관된 3D 기하학적 구조 좌표를 획득할 수 있다.
동작(820)에서, 각각의 점유된 포지션과 연관된 속성 값이 디코딩된 점유 맵 및 디코딩된 속성 맵에 기초하여 획득될 수 있다. 일례로, 디코더(351)는 디코딩된 점유 맵(335) 및 디코딩된 속성 맵(345)에 기초하여 각각의 점유된 포지션과 연관된 속성 값을 획득할 수 있다.
동작(825)에서, 연결 정보가 디코딩된 맵에 기초하여 유추될 수 있거나 또는 명시적 시그널링으로부터 유추될 수 있다. 일례로, 디코더(351)는 디코딩된 점유 맵(335), 디코딩된 기하학적 구조 맵(340), 디코딩된 속성 맵(345) 및 메타데이터(350)에 기초하여 연결 정보를 유추할 수 있다.
일부 실시예에서, 입력 메시 및/또는 2D UV 아틀라스와 연관된 연결 정보는 특정 규칙(예컨대, 도 5(1) - 도 5(5))에 의해 디코딩된 점유 맵 상의 이웃 포인트의 점유 상태로부터 암시적으로 유추될 수 있다. 연결성의 배향(시계 방향 또는 반 시계 방향)은 시퀀스 헤더, 슬라이스 헤더 등과 같은 고 레벨 신택스로부터 파싱되거나 인코더 및 디코더에 의해 고정(가정)될 수 있다. 일부 실시예에서, 재구성된 메시는 하이브리드 타입 메시일 수 있는데, 예컨대 메시 프레임의 일부 구역은 삼각형 메시를 생성하는 한편, 다른 구역은 쿼드 메시를 생성한다. 연결 타입은 시퀀스 헤더, 슬라이스 헤더와 같은 고 레벨 신택스로 시그널링될 수 있다.
일부 실시예에서, 연결 정보는 또한 명시적 시그널링에 의해 재구성될 수 있다. 다각형이 암시적 규칙에 의해 복원될 수 없다면, 인코더는 비트스트림으로(예컨대, 메타데이터로서) 연결 정보를 시그널링할 수 있다. 이를테면, 다각형의 경계에 따라 명시적 시그널링의 오버헤드를 감소시키기 위한 임의의 적절한 수단이 사용될 수 있다.
동작(830)에서, 디코딩된 맵 및 연결 정보에 기반하여 메시가 재구성될 수 있다. 일례로, 디코더(351)는 디코딩된 점유 맵(335), 디코딩된 기하학적 구조 맵(340), 디코딩된 속성 맵(345) 및 메타데이터(350)에 기초하여 재구성된 메시(360)를 생성할 수 있다. 디코더(351)는 적절한 재구성 필터 및/또는 후처리 기법을 사용하여 재구성된 메시(360)를 생성할 수 있다. 일부 실시예에 따르면, 재구성된 메시는 입력 메시와는 상이한 연결성을 가질 수 있다. 일례로, 입력 메시는 삼각형 메시일 수 있는 한편, 재구성된 메시는 쿼드(quad) 메시일 수 있다.
위에서 설명된 기법은 컴퓨터 판독 가능 명령을 사용하여 컴퓨터 소프트웨어로서 구현될 수 있고 하나 이상의 컴퓨터 판독 가능 매체에 물리적으로 저장될 수 있다. 예를 들어, 도 9는 본 개시내용의 특정 실시예를 구현하기에 적합한 컴퓨터 시스템(900)을 도시한다.
컴퓨터 소프트웨어는 컴퓨터 중앙 처리 유닛(CPU: central processing unit), 그래픽 처리 유닛(GPU: Graphics Processing Unit) 등에 의해, 직접적으로 또는 해석, 마이크로코드 실행 등을 통해 실행될 수 있는 명령을 포함하는 코드를 생성하기 위해 어셈블리, 컴파일, 링크 또는 유사한 메커니즘을 거칠 수 있는 임의의 적절한 기계 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있다.
명령은 예를 들어 개인용 컴퓨터, 태블릿 컴퓨터, 서버, 스마트폰, 게임 디바이스, 사물 인터넷 디바이스 등을 포함하는 다양한 타입의 컴퓨터 또는 이들의 컴포넌트 상에서 실행될 수 있다.
컴퓨터 시스템(900)에 대해 도 9에 도시된 컴포넌트는 예이며, 본 개시내용의 실시예를 구현하는 컴퓨터 소프트웨어의 사용 또는 기능의 범위에 대해 어떠한 제한도 제안하도록 의도되지 않는다. 컴포넌트의 구성이 컴퓨터 시스템(900)의 비-제한적인 실시예에 예시된 컴포넌트 중 임의의 컴포넌트 또는 그러한 컴포넌트의 조합과 관련된 어떠한 의존성이나 요건도 갖는 것으로 해석되지 않아야 한다.
컴퓨터 시스템(900)은 특정 인간 인터페이스 입력 디바이스를 포함할 수 있다. 그러한 인간 인터페이스 입력 디바이스는 예를 들어, 촉각 입력(이를테면: 키 스트로크(keystroke), 스와이프(swipe), 데이터 글러브(glove) 움직임), 오디오 입력(이를테면: 음성, 박수), 시각적 입력(이를테면: 제스처), 후각적 입력(도시되지 않음)을 통해 하나 이상의 인간 사용자에 의한 입력에 응답할 수 있다. 인간 인터페이스 디바이스는 또한, 오디오(이를테면: 스피치, 음악, 주변 사운드), 이미지(이를테면: 스캔된 이미지, 정지 이미지 카메라로부터 획득된 사진 이미지), 비디오(이를테면, 2차원 비디오, 입체 비디오를 포함하는 3차원 비디오)와 같은, 인간에 의한 의식적 입력과 반드시 직접적으로 관련되는 것은 아닌 특정 미디어를 캡처하는 데 사용될 수 있다.
입력 인간 인터페이스 디바이스는: 키보드(901), 마우스(902), 트랙 패드(903), 터치 스크린(910), 데이터 글러브, 조이스틱(905), 마이크로폰(906), 스캐너(907), 카메라(908) 중 하나 이상(각각 도시된 것 중 단 하나)을 포함할 수 있다.
컴퓨터 시스템(900)은 또한 특정 인간 인터페이스 출력 디바이스를 포함할 수 있다. 그러한 인간 인터페이스 출력 디바이스는 예를 들어, 촉각 출력, 사운드, 광 및 후각/미각을 통해 하나 이상의 인간 사용자의 감각을 자극할 수 있다. 그러한 인간 인터페이스 출력 디바이스는 촉각 출력 디바이스(예를 들어, 터치 스크린(910), 데이터 글러브 또는 조이스틱(905)에 의한 촉각 피드백)를 포함할 수 있지만, 입력 디바이스로서 기능하지 않는 촉각 피드백 디바이스가 또한 존재할 수 있다. 예를 들어, 그러한 디바이스는 오디오 출력 디바이스(이를테면: 스피커(909), (도시되지 않은) 헤드폰), 시각적 출력 디바이스(이를테면, 각각 터치 스크린 입력 능력을 갖거나 갖지 않고, 각각 촉각적 피드백 능력을 갖거나 갖지 않는 CRT 스크린, LCD 스크린, 플라즈마 스크린, OLED 스크린을 포함하는 스크린(910) ― 이들 중 일부는 스테레오그래픽 출력과 같은 수단을 통해 2차원 시각적 출력 또는 3차원 이상의 출력을 출력하는 것이 가능할 수 있음 ―; (도시되지 않은) 가상 현실 안경, (도시되지 않은) 홀로그래픽 디스플레이 및 연기 탱크), 및 (도시되지 않은) 프린터일 수 있다.
컴퓨터 시스템(900)은 또한, 인간 액세스 가능 저장 디바이스 및 이들의 연관된 매체, 이를테면 CD/DVD 또는 유사한 매체(921)를 갖는 CD/DVD ROM/RW(920), 썸 드라이브(thumb-drive)(922), 착탈식 하드 드라이브 또는 솔리드 스테이트 드라이브(923), 레거시 자기 매체, 이를테면 (도시되지 않은) 테이프 및 플로피 디스크, 특수 ROM/ASIC/PLD 기반 디바이스, 이를테면 (도시되지 않은) 보안 동글(security dongle) 등을 포함하는 광학 매체를 포함할 수 있다.
당해 기술분야에서 통상의 지식을 가진 자는 또한, 현재 개시된 청구 대상과 관련하여 사용되는 바와 같은 "컴퓨터 판독 가능 매체"라는 용어가 전송 매체, 반송파, 또는 다른 일시적인 신호를 포괄하지 않는다고 이해해야 한다.
컴퓨터 시스템(900)은 또한 하나 이상의 통신 네트워크에 대한 인터페이스를 포함할 수 있다. 네트워크는 예를 들어 무선, 유선, 광일 수 있다. 네트워크는 추가로, 근거리, 광역, 대도시, 차량 및 산업, 실시간, 지연 용인(delay-tolerant) 등일 수 있다. 네트워크의 예는 근거리 네트워크, 이를테면 이더넷, 무선 LAN, GSM, 3G, 4G, 5G, LTE 등을 포함하는 셀룰러 네트워크, 케이블 TV, 위성 TV 및 지상 브로드캐스트 TV를 포함하는 TV 유선 또는 무선 광역 디지털 네트워크, CANBus를 포함하는 차량 및 산업용 등을 포함한다. 특정 네트워크는 일반적으로, (예를 들어, 컴퓨터 시스템(900)의 USB 포트와 같은) 특정 범용 데이터 포트 또는 주변 버스(949)에 부착된 외부 네트워크 인터페이스 어댑터를 필요로 하며; 다른 것들은 일반적으로, 아래에서 설명되는 바와 같은 시스템 버스에 대한 부착(예를 들어, PC 컴퓨터 시스템으로의 이더넷 인터페이스 또는 스마트폰 컴퓨터 시스템으로의 셀룰러 네트워크 인터페이스)에 의해 컴퓨터 시스템(900)의 코어에 통합된다. 이러한 네트워크 중 임의의 네트워크를 사용하여, 컴퓨터 시스템(900)은 다른 엔티티와 통신할 수 있다. 그러한 통신은 예를 들어, 근거리 또는 광역 디지털 네트워크를 사용하는 다른 컴퓨터 시스템에 대해 단방향, 수신 전용(예를 들어, 브로드캐스트 TV), 단방향 송신 전용(예를 들어, 특정 CANbus 디바이스에 대한 CANbus), 또는 양방향일 수 있다. 그러한 통신은 클라우드 컴퓨팅 환경(955)으로의 통신을 포함할 수 있다. 위에서 설명된 바와 같이, 특정 프로토콜 및 프로토콜 스택이 그러한 네트워크 및 네트워크 인터페이스 각각에 사용될 수 있다.
앞서 언급한 인간 인터페이스 디바이스, 인간 액세스 가능 저장 디바이스 및 네트워크 인터페이스(954)는 컴퓨터 시스템(900)의 코어(940)에 부착될 수 있다.
코어(940)는 하나 이상의 중앙 처리 유닛(CPU)(941), 그래픽 처리 유닛(GPU)(942), 필드 프로그래밍 가능 게이트 영역(FPGA: Field Programmable Gate Area)(943) 형태의 특수 프로그래밍 가능 처리 유닛, 특정 작업을 위한 하드웨어 가속기(944) 등을 포함할 수 있다. 이러한 디바이스는 판독 전용 메모리(ROM: Read-only memory)(945), 랜덤 액세스 메모리(946), 내부 비-사용자 액세스 가능 하드 드라이브, SSD 등과 같은 내부 대용량 저장소(947)와 함께, 시스템 버스(948)를 통해 접속될 수 있다. 일부 컴퓨터 시스템에서, 시스템 버스(948)는 추가 CPU, GPU 등에 의한 확장을 가능하게 하도록 하나 이상의 물리적 플러그의 형태로 액세스 가능할 수 있다. 주변 디바이스는 코어의 시스템 버스(948)에 직접적으로 또는 주변 버스(949)를 통해 부착될 수 있다. 주변 버스를 위한 아키텍처는 PCI, USB 등을 포함한다. 그래픽 어댑터(950)가 코어(940)에 포함될 수 있다.
CPU(941), GPU(942), FPGA(943) 및 가속기(944)는 조합하여, 앞서 언급된 컴퓨터 코드를 구성할 수 있는 특정 명령을 실행할 수 있다. 그 컴퓨터 코드는 ROM(945) 또는 RAM(946)에 저장될 수 있다. 전이(transitional) 데이터가 또한 RAM(946)에 저장될 수 있는 반면, 영구 데이터는 예를 들어, 내부 대용량 저장소(947)에 저장될 수 있다. 메모리 디바이스 중 임의의 디바이스에 대한 고속 저장 및 리트리브는 하나 이상의 CPU(941), GPU(942), 대용량 저장소(947), ROM(945) 및 RAM(946) 등과 밀접하게 연관될 수 있는 캐시 메모리의 사용을 통해 가능해질 수 있다.
컴퓨터 판독 가능 매체는 다양한 컴퓨터 구현 동작을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체 및 컴퓨터 코드는 본 개시내용의 목적으로 특별히 설계 및 구성된 것일 수 있거나, 이들은 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 잘 알려져 있고 이용 가능한 종류일 수 있다.
제한이 아닌 예로서, 아키텍처(900)를 갖는 컴퓨터 시스템, 그리고 구체적으로 코어(940)는 (CPU, GPU, FPGA, 가속기 등을 포함하는) 프로세서(들)가 하나 이상의 유형(tangible) 컴퓨터 판독 가능 매체에 구현된 소프트웨어를 실행하는 결과로서 기능을 제공할 수 있다. 그러한 컴퓨터 판독 가능 매체는 위에서 소개된 바와 같은 사용자 액세스 가능 대용량 저장소뿐만 아니라, 비-일시적 성질의 코어(940)의 특정 저장소, 이를테면 코어 내부 대용량 저장소(947) 또는 ROM(945)과 연관된 매체일 수 있다. 본 개시내용의 다양한 실시예를 구현하는 소프트웨어는 그러한 디바이스에 저장되고 코어(940)에 의해 실행될 수 있다. 컴퓨터 판독 가능 매체는 특정 요구에 따라 하나 이상의 메모리 디바이스 또는 칩을 포함할 수 있다. 소프트웨어는 코어(940) 및 구체적으로는 코어(840) 내의 (CPU, GPU, FPGA 등을 포함하는) 프로세서로 하여금, RAM(946)에 저장된 데이터 구조를 정의하는 것과 소프트웨어에 의해 정의된 프로세스에 따라 그러한 데이터 구조를 수정하는 것을 포함하여, 본 명세서에서 설명된 특정 프로세스 또는 특정 프로세스의 특정 부분을 실행하게 할 수 있다. 추가로 또는 대안으로서, 컴퓨터 시스템은 본 명세서에서 설명되는 특정 프로세스 또는 특정 프로세스의 특정 부분을 실행하도록 소프트웨어 대신 또는 소프트웨어와 함께 동작할 수 있는 회로(예를 들어: 가속기(944))에 하드와이어링되거나 달리 구현된 로직의 결과로서 기능을 제공할 수 있다. 적절한 경우, 소프트웨어에 대한 참조는 로직을 포함할 수 있고, 그 반대도 가능하다. 컴퓨터 판독 가능 매체에 대한 참조는 적절한 경우, 실행을 위한 소프트웨어를 저장하는 회로(이를테면, 집적 회로(IC: integrated circuit)), 실행을 위한 로직을 구현하는 회로, 또는 이 둘 모두를 포괄할 수 있다. 본 개시내용은 하드웨어와 소프트웨어의 임의의 적절한 조합을 포괄한다.
본 개시내용은 여러 비-제한적인 실시예를 설명했지만, 본 개시내용의 범위 내에 속하는 변경, 치환 및 다양한 대체 등가물이 있다. 따라서 당해 기술분야에서 통상의 지식을 가진 자는, 본 명세서에서 명시적으로 도시되거나 설명되지는 않지만, 본 개시내용의 원리를 구현하고 따라서 본 개시내용의 사상 및 범위 내에 있는 다수의 시스템 및 방법을 안출할 수 있을 것이라고 인식될 것이다.

Claims (20)

  1. 샘플링 기반 동적 메시(mesh) 압축을 위한 방법으로서,
    상기 방법은 적어도 하나의 프로세서에 의해 실행되며,
    상기 방법은:
    하나 이상의 샘플링 레이트에 기초하여 입력 메시와 연관된 하나 이상의 샘플 포지션을 결정하는 단계;
    상기 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태를 결정하는 단계 ― 상기 점유 상태는, 상기 하나 이상의 샘플 포지션 각각이 상기 입력 메시에 의해 정의된 하나 이상의 다각형의 경계 내에 있는지 여부를 지시함 ―;
    상기 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태에 기초하여 샘플 기반 점유 맵을 생성하는 단계; 및
    비디오 코덱을 사용하여 상기 샘플 기반 점유 맵을 복수의 단일 채널 또는 다중 채널 이미지들로 압축하는 단계를 포함하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 샘플링 레이트는 제1 축에 대한 제1 샘플링 레이트 및 제2 축에 대한 제2 샘플링 레이트에 기초하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  3. 제1항에 있어서,
    상기 입력 메시는 하나 이상의 구역으로 분할되고,
    상기 하나 이상의 샘플링 레이트는 상기 하나 이상의 구역 각각에 대한 하나 이상의 개개의 샘플링 레이트에 기초하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  4. 제1항에 있어서,
    상기 하나 이상의 샘플링 레이트는 고 레벨 신택스(syntax)로 시그널링되는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  5. 제3항에 있어서,
    상기 하나 이상의 구역 각각에 대한 하나 이상의 개개의 샘플링 레이트는 상기 하나 이상의 구역의 개개의 특징에 기초하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  6. 제5항에 있어서,
    상기 개개의 특징은:
    구역의 텍스처(texture);
    상기 구역의 활동(activity); 및
    상기 구역의 평활도 중 적어도 하나인,
    샘플링 기반 동적 메시 압축을 위한 방법.
  7. 제1항에 있어서,
    상기 하나 이상의 샘플링 레이트는 이웃 구역의 샘플링 레이트에 기초하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  8. 제1항에 있어서,
    상기 하나 이상의 샘플링 레이트는 하나 이상의 이미 코딩된 메시 프레임의 이전의 하나 이상의 샘플링 레이트에 기초하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  9. 제1항에 있어서,
    상기 방법은:
    상기 입력 메시에 의해 정의된 하나 이상의 다각형의 정점에 기반하여 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 3D 기하학적 구조 좌표를 결정하는 단계; 및
    상기 하나 이상의 샘플 포지션 각각과 각기 연관된 3D 기하학적 구조 좌표에 기초하여 샘플 기반 기하학적 구조 맵을 생성하는 단계를 더 포함하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  10. 제9항에 있어서,
    상기 샘플 기반 기하학적 구조 맵은 3개의 단일 채널 기하학적 구조 맵을 포함하며,
    상기 3개의 단일 채널 기하학적 구조 맵 중 첫 번째 맵은 상기 하나 이상의 샘플 포지션 각각과 연관된 x 축 포지션을 지시하고, 상기 3개의 단일 채널 기하학적 구조 맵 중 두 번째 맵은 상기 하나 이상의 샘플 포지션 각각과 연관된 y 축 포지션을 지시하고, 상기 3개의 단일 채널 기하학적 구조 맵 중 세 번째 맵은 상기 하나 이상의 샘플 포지션 각각과 연관된 z 축 포지션을 지시하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  11. 제1항에 있어서,
    상기 방법은:
    상기 입력 메시에 의해 정의된 하나 이상의 다각형의 정점에 기반하여 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 속성 값을 결정하는 단계; 및
    상기 하나 이상의 샘플 포지션 각각과 각기 연관된 속성 값에 기초하여 샘플 기반 속성 맵을 생성하는 단계를 더 포함하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  12. 제11항에 있어서,
    상기 샘플 기반 속성 맵은 n-채널 속성 맵 또는 n개의 단일 채널 속성 맵 중 하나인,
    샘플링 기반 동적 메시 압축을 위한 방법.
  13. 제1항에 있어서,
    상기 방법은:
    하나 이상의 이웃 샘플 포지션과 연관된 점유 상태에 기초하여 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 연결 정보를 생성하는 단계를 더 포함하는,
    샘플링 기반 동적 메시 압축을 위한 방법.
  14. 샘플링 기반 동적 메시 압축을 위한 디바이스로서,
    프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리; 및
    상기 프로그램 코드를 판독하고 상기 프로그램 코드에 의해 명령된 대로 동작하도록 구성된 적어도 하나의 프로세서를 포함하며,
    상기 프로그램 코드는:
    상기 적어도 하나의 프로세서로 하여금, 하나 이상의 샘플링 레이트에 기초하여 입력 메시와 연관된 하나 이상의 샘플 포지션을 결정하게 하도록 구성된 제1 결정 코드;
    상기 적어도 하나의 프로세서로 하여금, 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태를 결정하게 하도록 구성된 제2 결정 코드 ― 상기 점유 상태는, 상기 하나 이상의 샘플 포지션 각각이 상기 입력 메시에 의해 정의된 하나 이상의 다각형의 경계 내에 있는지 여부를 지시함 ―;
    상기 적어도 하나의 프로세서로 하여금, 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태에 기초하여 샘플 기반 점유 맵을 생성하게 하도록 구성된 제1 생성 코드; 및
    상기 적어도 하나의 프로세서로 하여금, 비디오 코덱을 사용하여 상기 샘플 기반 점유 맵을 복수의 단일 채널 또는 다중 채널 이미지로 압축하게 하도록 구성된 압축 코드를 포함하는,
    샘플링 기반 동적 메시 압축을 위한 디바이스.
  15. 제14항에 있어서,
    상기 프로그램 코드는:
    상기 적어도 하나의 프로세서로 하여금, 상기 입력 메시에 의해 정의된 하나 이상의 다각형의 정점에 기초하여 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 3D 기하학적 구조 좌표를 결정하게 하도록 구성된 제3 결정 코드; 및
    상기 적어도 하나의 프로세서로 하여금, 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 3D 기하학적 구조 좌표에 기초하여 샘플 기반 기하학적 구조 맵을 생성하게 하도록 구성된 제2 생성 코드를 더 포함하는,
    샘플링 기반 동적 메시 압축을 위한 디바이스.
  16. 제14항에 있어서,
    상기 프로그램 코드는:
    상기 적어도 하나의 프로세서로 하여금, 상기 입력 메시에 의해 정의된 하나 이상의 다각형의 정점에 기반하여 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 속성 값을 결정하게 하도록 구성된 제4 결정 코드; 및
    상기 적어도 하나의 프로세서로 하여금, 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 속성 값에 기초하여 샘플 기반 속성 맵을 생성하게 하도록 구성된 제3 생성 코드를 더 포함하는,
    샘플링 기반 동적 메시 압축을 위한 디바이스.
  17. 제14항에 있어서,
    상기 프로그램 코드는:
    상기 적어도 하나의 프로세서로 하여금, 하나 이상의 이웃 샘플 포지션과 연관된 점유 상태에 기초하여 상기 하나 이상의 샘플 포지션 각각과 각기 연관된 연결 정보를 생성하게 하도록 구성된 제4 생성 코드를 더 포함하는,
    샘플링 기반 동적 메시 압축을 위한 디바이스.
  18. 제14항에 있어서,
    상기 입력 메시는 하나 이상의 구역으로 분할되고,
    상기 하나 이상의 샘플링 레이트는 상기 하나 이상의 구역 각각에 대한 하나 이상의 개개의 샘플링 레이트에 기초하는,
    샘플링 기반 동적 메시 압축을 위한 디바이스.
  19. 제18항에 있어서,
    상기 하나 이상의 구역 각각에 대한 하나 이상의 개개의 샘플링 레이트는 상기 하나 이상의 구역의 개개의 특징에 기초하는,
    샘플링 기반 동적 메시 압축을 위한 디바이스.
  20. 명령을 저장하는 비-일시적 컴퓨터 판독 가능 매체로서,
    상기 명령은: 샘플링 기반 동적 메시 압축을 위한 디바이스의 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    하나 이상의 샘플링 레이트에 기초하여 입력 메시와 연관된 하나 이상의 샘플 포지션을 결정하게 하고;
    상기 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태를 결정하게 하고 ― 상기 점유 상태는, 상기 하나 이상의 샘플 포지션 각각이 상기 입력 메시에 의해 정의된 하나 이상의 다각형의 경계 내에 있는지 여부를 지시함 ―;
    상기 하나 이상의 샘플 포지션 각각과 각기 연관된 점유 상태에 기초하여 샘플 기반 점유 맵을 생성하게 하고; 그리고
    비디오 코덱을 사용하여 상기 샘플 기반 점유 맵을 복수의 단일 채널 또는 다중 채널 이미지로 압축하게 하는
    하나 이상의 명령을 포함하는,
    비-일시적 컴퓨터 판독 가능 매체.
KR1020237009312A 2021-08-16 2022-08-16 동적 메시 압축을 위한 2d uv 아틀라스 샘플링 기반 방법 KR20230052944A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163233475P 2021-08-16 2021-08-16
US63/233,475 2021-08-16
US17/887,918 US20230048897A1 (en) 2021-08-16 2022-08-15 2d uv atlas sampling based methods for dynamic mesh compression
US17/887,918 2022-08-15
PCT/US2022/040401 WO2023023011A1 (en) 2021-08-16 2022-08-16 2d uv atlas sampling based methods for dynamic mesh compression

Publications (1)

Publication Number Publication Date
KR20230052944A true KR20230052944A (ko) 2023-04-20

Family

ID=85177441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237009312A KR20230052944A (ko) 2021-08-16 2022-08-16 동적 메시 압축을 위한 2d uv 아틀라스 샘플링 기반 방법

Country Status (5)

Country Link
US (1) US20230048897A1 (ko)
EP (1) EP4200808A4 (ko)
KR (1) KR20230052944A (ko)
CN (1) CN116848553A (ko)
WO (1) WO2023023011A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7750914B2 (en) * 2004-08-26 2010-07-06 Intel Corporation Subdividing geometry images in graphics hardware
US9665776B2 (en) * 2010-02-01 2017-05-30 Vito Nv System and method for 2D occupancy sensing
US11212506B2 (en) * 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US11284091B2 (en) * 2019-03-25 2022-03-22 Apple Inc. Video based point cloud compression-patch alignment and size determination in bounding box
US20230063575A1 (en) * 2021-08-25 2023-03-02 Tencent America LLC Patch zippering for mesh compression

Also Published As

Publication number Publication date
EP4200808A4 (en) 2024-01-17
CN116848553A (zh) 2023-10-03
JP2023550110A (ja) 2023-11-30
WO2023023011A1 (en) 2023-02-23
EP4200808A1 (en) 2023-06-28
US20230048897A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
US20230306701A1 (en) Parallel approach to dynamic mesh alignment
US20230048897A1 (en) 2d uv atlas sampling based methods for dynamic mesh compression
JP7508709B2 (ja) 動的メッシュ圧縮のための２ｄ ｕｖアトラスサンプリングベースの方法、装置及びプログラム
US20240078713A1 (en) Texture coordinate prediction in mesh compression
US20230316585A1 (en) Atlas sampling based mesh compression with charts of general topology
US20240185471A1 (en) Texture coordinate compression using chart partition
US20240104783A1 (en) Multiple attribute maps merging
US20230306647A1 (en) Geometry filtering for mesh compression
US20230306648A1 (en) Mesh parameterization with temporally correlated uv atlases
US20240007670A1 (en) Dynamic mesh vertex displacements coding
US20240135594A1 (en) Adaptive geometry filtering for mesh compression
KR20240089239A (ko) 메시 압축에서의 텍스처 좌표 예측
US20230319293A1 (en) Triangulation methods with boundary information for dynamic mesh compression
US20230334712A1 (en) Chart based mesh compression
US20240212218A1 (en) Multiple sub-meshes encoding
KR20240110024A (ko) 차트 파티션을 사용한 텍스처 좌표 압축
KR20240090790A (ko) 메시 압축을 위한 적응형 지오메트리 필터링
KR20230169289A (ko) 메시 압축을 위한 경계 uv 정보의 예측 코딩
WO2024144877A1 (en) Multiple sub-meshes encoding
KR20230010258A (ko) 비디오 기반의 포인트 클라우드 코딩을 위한 비2진 점유 맵
KR20230011406A (ko) 비디오 기반 포인트 클라우드 코딩을 위한 조건적 재채색

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal