KR20220137937A - 투영 기반 메시 압축 - Google Patents

투영 기반 메시 압축 Download PDF

Info

Publication number
KR20220137937A
KR20220137937A KR1020227030450A KR20227030450A KR20220137937A KR 20220137937 A KR20220137937 A KR 20220137937A KR 1020227030450 A KR1020227030450 A KR 1020227030450A KR 20227030450 A KR20227030450 A KR 20227030450A KR 20220137937 A KR20220137937 A KR 20220137937A
Authority
KR
South Korea
Prior art keywords
mesh
vertices
pcc
point cloud
patch
Prior art date
Application number
KR1020227030450A
Other languages
English (en)
Inventor
다닐로 그라지오시
오지 나카가미
알렉상드르 자게토
알리 타바타바이
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20220137937A publication Critical patent/KR20220137937A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

투영 기반 접근법을 사용하여 미추적된 그리고 추적된 메시들을 압축하고, 투영 기반 포인트 클라우드 압축을 위해 이미 생성된 툴들 및 신택스를 활용하는 방법이 본 명세서에서 설명된다. V-PCC 접근법과 유사하게, 메시는 표면 패치들로 세그먼트화되고, 여기서 차이점은 세그먼트들이 메시의 연결성을 따른다는 점이다. 그 후에, 각각의 표면 패치(또는 3D 패치)가 2D 패치로 투영되고, 이에 의해 메시의 경우에, 삼각형 표면 샘플링이, 컴퓨터 그래픽들에서 사용되는 통상적인 래스터화 접근법과 유사해진다. 각각의 패치에 대해, 투영된 정점들의 포지션이, 이들 정점들의 연결성과 함께, 리스트에 유지된다. 샘플링된 표면은 포인트 클라우드와 유사하고, 포인트 클라우드 압축을 위해 사용된 것과 동일한 접근법으로 코딩된다. 추가적으로, 정점들 및 연결성의 리스트는 패치별로 인코딩되고, 그 데이터는 코딩된 포인트 클라우드 데이터와 함께 전송된다.

Description

투영 기반 메시 압축
관련 출원(들)에 대한 상호 참조
본 출원은, 2020년 3월 18일자로 출원되고 발명의 명칭이 "PROJECTION-BASED MESH COMPRESSION"인 미국 가특허 출원 제62/991,128호의 35 U.S.C. §119(e) 하의 우선권을 주장하고, 이 미국 가특허 출원은 이로써 모든 목적들을 위해 그 전체가 참조로 포함된다.
발명의 분야
본 발명은 3차원 그래픽들에 관한 것이다. 더 구체적으로는, 본 발명은 3차원 그래픽들의 코딩에 관한 것이다.
최근에는, 3D로부터 2D로의 투영(projection)에 기초하여 포인트 클라우드들을 압축하기 위한 신규한 방법이 표준화되고 있다. V-PCC(video-based point cloud compression)라고도 또한 알려져 있는 이 방법은, 3D 포인트 클라우드 데이터를 수 개의 2D 패치 내에 매핑시킨 후에, 그 패치들을 아틀라스 이미지(atlas image) 내에 추가로 배열하는데, 이 아틀라스 이미지는 이에 후속하여 비디오 인코더로 인코딩된다. 아틀라스 이미지들은, 포인트들의 지오메트리(geometry), 개개의 텍스처, 및 포인트 클라우드 재구축을 위해 포지션들 중 어느 것이 고려되어야 하는지를 표시하는 점유 맵에 대응한다.
2017년에, MPEG는 포인트 클라우드들의 압축에 대한 제안 요청(call for proposal)(CfP)을 발행하였다. 수 개의 제안의 평가 후에, 현재 MPEG는 포인트 클라우드 압축에 대한 2개의 상이한 기술: 3D 기본 코딩 기술(옥트리(octree) 및 유사한 코딩 방법들에 기초함), 또는 3D로부터 2D로의 투영, 그 후의 전통적인 비디오 코딩을 고려하고 있다. 동적 3D 장면들의 경우에, MPEG는, 패치 표면 모델링, 3D로부터 2D 이미지로의 패치들의 투영, 및 HEVC와 같은 비디오 인코더들에 의한 2D 이미지의 코딩에 기초하는 테스트 모델 소프트웨어(TMC2)를 사용하고 있다. 이 방법은 기본 3D 코딩보다 더 효율적인 것으로 입증되었고, 허용가능한 품질에서 경쟁력 있는 비트레이트들을 달성하는 것이 가능하다.
투영 기반 방법(비디오 기반 방법, 또는 V-PCC라고도 또한 알려져 있음)의 3D 포인트 클라우드들을 코딩하는 것에 대한 성공으로 인해, 표준은 향후 버전들에 3D 메시(mesh)들과 같은 추가 3D 데이터를 포함할 것으로 예상된다. 그러나, 표준의 현재 버전은, 미연결된 세트의 포인트들의 송신에만 단지 적합하므로, 포인트들의 연결성(connectivity) - 이는 그것이 3D 메시 압축에서 요구되기 때문이다 - 을 전송할 어떠한 메커니즘도 없다.
V-PCC의 기능성을 메시들로 확장시키기 위한 방법들이 또한 제안되었다. 하나의 가능한 방식은, V-PCC를 사용하여 정점들(vertices)을 인코딩한 후에, TFAN 또는 Edgebreaker와 같은 메시 압축 접근법을 사용하여 연결성을 인코딩하는 것이다. 이 방법의 한계는, 정점들로부터 생성된 포인트 클라우드가 희소(sparse)하지 않고 투영 후에 효율적으로 인코딩될 수 있도록 오리지널 메시가 조밀(dense)해야 한다는 것이다. 더욱이, 정점들의 순서는 연결성의 코딩에 영향을 미치며, 메시 연결성을 재조직화하기 위한 상이한 방법들이 제안되었다. 희소 메시를 인코딩하기 위한 대안적인 방식은, RAW 패치 데이터를 사용하여 3D에서 정점들의 포지션을 인코딩하는 것이다. RAW 패치들은 (x,y,z)를 직접 인코딩하므로, 이 방법에서는 모든 정점들이 RAW 데이터로서 인코딩되는 한편, 연결성은 앞에서 언급된 것과 유사한 메시 압축 방법에 의해 인코딩된다. RAW 패치에서, 정점들은 임의의 선호되는 순서로 전송될 수도 있어서, 연결성 인코딩으로부터 생성된 순서가 사용될 수 있다. 이 방법은 희소 포인트 클라우드들을 인코딩할 수 있지만, RAW 패치들은 3D 데이터를 인코딩하는 데 효율적이지 않으며, 삼각형 페이스(triangle face)들의 속성들과 같은 추가 데이터가 이 접근법으로부터 누락되고 있을 수도 있다.
투영 기반 접근법을 사용하여 미추적된 그리고 추적된 메시들을 압축하고, 투영 기반 포인트 클라우드 압축을 위해 이미 생성된 툴들 및 신택스를 활용하는 방법이 본 명세서에서 설명된다. V-PCC 접근법과 유사하게, 메시는 표면 패치들로 세그먼트화되고, 여기서 차이점은 세그먼트들이 메시의 연결성을 따른다는 점이다. 그 후에, 각각의 표면 패치(또는 3D 패치)가 2D 패치로 투영되고, 이에 의해 메시의 경우에, 삼각형 표면 샘플링이, 컴퓨터 그래픽들에서 사용되는 통상적인 래스터화 접근법(rasterization approach)과 유사해진다. 각각의 패치에 대해, 투영된 정점들의 포지션이, 이들 정점들의 연결성과 함께, 리스트에 유지된다. 샘플링된 표면은 포인트 클라우드와 유사하고, 포인트 클라우드 압축을 위해 사용된 것과 동일한 접근법으로 코딩된다. 추가적으로, 정점들 및 연결성의 리스트는 패치별로 인코딩되고, 그 데이터는 코딩된 포인트 클라우드 데이터와 함께 전송된다.
하나의 양태에서, 디바이스의 비일시적 메모리에 프로그래밍되는 방법. 이 방법은, 입력 메시 상에서 메시 복셀화(mesh voxelization)를 수행하는 단계, 래스터화된 메시 표면 그리고 정점들의 위치 및 연결성 정보를 포함하는 패치들로 메시를 세그먼트화하는 패치 생성을 구현하는 단계, 래스터화된 메시 표면으로부터 비디오 기반 포인트 클라우드 압축(video-based point cloud compression)(V-PCC) 이미지를 생성하는 단계, 정점들의 위치 및 연결성 정보로 베이스-메시 코딩(base-mesh coding)을 구현하는 단계, 및 V-PCC 이미지 및 베이스-메시 코딩에 기초하여 V-PCC 비트스트림을 생성하는 단계를 포함하고, 여기서 V-PCC 비트스트림은, 포인트 클라우드 재구축 및 메시 재구축을 위한 정보를 포함한다. 메시 복셀화는, 음의 값들 및 비-정수 값들을 회피하기 위해 메시 값들을 시프팅 및/또는 스케일링(scaling)하는 것을 포함한다. 메시 복셀화는, 제로 미만의 최저 정점 값을 발견하는 것 그리고 최저 정점 값이 제로를 초과하도록 메시 값들을 시프팅하는 것을 포함한다. 패치 생성을 구현하는 단계는: 삼각형당 법선(normal per triangle)을 계산하는 단계 - 여기서 삼각형의 법선을 계산하는 단계는, 에지들 사이의 외적(cross-product)을 사용하는 단계를 포함함 -, 법선들에 따라 삼각형들을 카테고리화하는 단계, 및 이웃하는 삼각형들을 분석함으로써 정밀화 프로세스(refinement process)를 구현하는 단계를 포함한다. 이 방법은, 포인트 클라우드를 부분적으로 포함하고 메시를 부분적으로 포함하는 콘텐츠를 디스플레이하는 단계를 더 포함한다. 추적된 정점들의 델타 포지션 정보가 비트스트림에 포함된다. 이 방법은, 정점들을 경계 정점들 또는 비-경계 정점들로서 분류하는 것, 경계 정점들의 이웃들을 결정하는 것, 및 이웃하는 경계 정점들을 병합하는 것을 포함하는, 지퍼링(zippering)을 구현하는 단계를 더 포함한다.
다른 양태에서, 장치는, 애플리케이션을 저장하기 위한 비일시적 메모리 - 애플리케이션은: 입력 메시 상에서 메시 복셀화를 수행하고, 래스터화된 메시 표면 그리고 정점들의 위치 및 연결성 정보를 포함하는 패치들로 메시를 세그먼트화하는 패치 생성을 구현하고, 래스터화된 메시 표면으로부터 비디오 기반 포인트 클라우드 압축(V-PCC) 이미지를 생성하고, 정점들의 위치 및 연결성 정보로 베이스-메시 코딩을 구현하고, V-PCC 이미지 및 베이스-메시 코딩에 기초하여 V-PCC 비트스트림을 생성하기 위한 것이고, 여기서 V-PCC 비트스트림은, 포인트 클라우드 재구축 및 메시 재구축을 위한 정보를 포함함 -, 및 메모리에 커플링되는 프로세서를 포함하고, 프로세서는 애플리케이션을 프로세싱하도록 구성된다. 메시 복셀화는, 음의 값들 및 비-정수 값들을 회피하기 위해 메시 값들을 시프팅 및/또는 스케일링하는 것을 포함한다. 메시 복셀화는, 제로 미만의 최저 정점 값을 발견하는 것 그리고 최저 정점 값이 제로를 초과하도록 메시 값들을 시프팅하는 것을 포함한다. 패치 생성을 구현하는 것은: 삼각형당 법선을 계산하는 것 - 여기서 삼각형의 법선을 계산하는 것은, 에지들 사이의 외적을 사용하는 것을 포함함 -, 법선들에 따라 삼각형들을 카테고리화하는 것, 및 이웃하는 삼각형들을 분석함으로써 정밀화 프로세스를 구현하는 것을 포함한다. 이 장치로서, 여기서 애플리케이션은, 포인트 클라우드를 부분적으로 포함하고 메시를 부분적으로 포함하는 콘텐츠를 디스플레이하도록 추가로 구성된다. 추적된 정점들의 델타 포지션 정보가 비트스트림에 포함된다. 이 장치로서, 여기서 애플리케이션은: 정점들을 경계 정점들 또는 비-경계 정점들로서 분류하는 것, 경계 정점들의 이웃들을 결정하는 것, 및 이웃하는 경계 정점들을 병합하는 것을 포함하는, 지퍼링을 구현하도록 추가로 구성된다.
다른 양태에서, 시스템은, 3차원 콘텐츠를 취득하기 위한 하나 이상의 카메라, 및 인코더를 포함하고, 인코더는: 3차원 콘텐츠의 입력 메시 상에서 메시 복셀화를 수행하는 것, 래스터화된 메시 표면 그리고 정점들의 위치 및 연결성 정보를 포함하는 패치들로 메시를 세그먼트화하는 패치 생성을 구현하는 것, 래스터화된 메시 표면으로부터 비디오 기반 포인트 클라우드 압축(V-PCC) 이미지를 생성하는 것, 정점들의 위치 및 연결성 정보로 베이스-메시 코딩을 구현하는 것, 및 V-PCC 이미지 및 베이스-메시 코딩에 기초하여 V-PCC 비트스트림을 생성하는 것에 의해 3차원 콘텐츠를 인코딩하기 위한 것이고, 여기서 V-PCC 비트스트림은, 포인트 클라우드 재구축 및 메시 재구축을 위한 정보를 포함한다. 메시 복셀화는, 음의 값들 및 비-정수 값들을 회피하기 위해 메시 값들을 시프팅 및/또는 스케일링하는 것을 포함한다. 메시 복셀화는, 제로 미만의 최저 정점 값을 발견하는 것 그리고 최저 정점 값이 제로를 초과하도록 메시 값들을 시프팅하는 것을 포함한다. 패치 생성을 구현하는 것은: 삼각형당 법선을 계산하는 것 - 여기서 삼각형의 법선을 계산하는 것은, 에지들 사이의 외적을 사용하는 것을 포함함 -, 법선들에 따라 삼각형들을 카테고리화하는 것, 및 이웃하는 삼각형들을 분석함으로써 정밀화 프로세스를 구현하는 것을 포함한다. 인코더는, 포인트 클라우드를 부분적으로 포함하고 메시를 부분적으로 포함하는 콘텐츠를 디스플레이하도록 추가로 구성된다. 추적된 정점들의 델타 포지션 정보가 비트스트림에 포함된다. 인코더는: 정점들을 경계 정점들 또는 비-경계 정점들로서 분류하는 것, 경계 정점들의 이웃들을 결정하는 것, 및 이웃하는 경계 정점들을 병합하는 것을 포함하는, 지퍼링을 구현하도록 추가로 구성된다.
도 1은 일부 실시예들에 따른 투영 기반 메시 압축을 구현하는 방법의 흐름도를 예시한다.
도 2는 일부 실시예들에 따른 메시 복셀화의 다이어그램을 예시한다.
도 3은 일부 실시예들에 따른 패치 생성의 다이어그램을 예시한다.
도 4는 일부 실시예들에 따른 패치 투영 및 패치 래스터화를 수반하는 패치 생성의 다이어그램을 예시한다.
도 5는 일부 실시예들에 따른 베이스-메시 코딩/시그널링을 위한 데이터 구조체를 예시한다.
도 6은 일부 실시예들에 따른 포인트 클라우드와 메시 정보를 조합하는 일 예를 예시한다.
도 7a 및 도 7b는 일부 실시예들에 따른 미추적된 그리고 추적된 메시 정보를 조합하는 일 예를 예시한다.
도 8은 일부 실시예들에 따른 V-PCC 이미지 생성의 다이어그램을 예시한다.
도 9는 일부 실시예들에 따른 메시 재구축의 다이어그램을 예시한다.
도 10은 일부 실시예들에 따른 지퍼링 알고리즘의 다이어그램을 예시한다.
도 11은 일부 실시예들에 따른 정점들을 경계 또는 비-경계로서 분류하는 다이어그램을 예시한다.
도 12는 일부 실시예들에 따른 대안적인 연결성 코딩의 다이어그램을 예시한다.
도 13은 일부 실시예들에 따른 투영 기반 메시 압축 방법을 구현하도록 구성되는 예시적인 컴퓨팅 디바이스의 블록 다이어그램을 예시한다.
투영 기반 접근법을 사용하여 미추적된 그리고 추적된 메시들을 압축하고, 투영 기반 포인트 클라우드 압축을 위해 이미 생성된 툴들 및 신택스를 활용하는 방법이 본 명세서에서 설명된다. 미추적된 메시들은, 모든 프레임이 상이한 메시 및 상이한 연결성을 갖는 곳이다. 추적된 메시들은, 메시를 갖는 제1 프레임을 가지며 그 후에 그 메시가 추적되고, 메시의 구조체가 동일하게 유지되고 그의 포지션이 시간에 따라 변경된다. V-PCC 접근법과 유사하게, 메시는 표면 패치들로 세그먼트화되고, 여기서 차이점은 세그먼트들이 메시의 연결성을 따른다는 점이다. 그 후에, 각각의 표면 패치(또는 3D 패치)가 2D 패치로 투영되고, 이에 의해 메시의 경우에, 삼각형 표면 샘플링이, 컴퓨터 그래픽들에서 사용되는 통상적인 래스터화 접근법과 유사해진다. 각각의 패치에 대해, 투영된 정점들의 포지션이, 이들 정점들의 연결성과 함께, 리스트에 유지된다. 샘플링된 표면은 포인트 클라우드와 유사하고, 포인트 클라우드 압축을 위해 사용된 것과 동일한 접근법으로 코딩된다. 추가적으로, 정점들 및 연결성의 리스트는 패치별로 인코딩되고, 그 데이터는 코딩된 포인트 클라우드 데이터와 함께 전송된다.
메시 정보를 설명하기 위해 2개의 새로운 신택스 요소: 메시 패치 데이터 유닛, 및 추적된 메시 패치 데이터 유닛이 도입된다. 메시 패치 데이터 유닛은 정점 포지션들과 이들의 개개의 연결성을 표시하는 것이 가능하다. 대안적으로, 정점들의 포지션은 패치 데이터를 통해서가 아니라 점유 맵을 통해 전송되도록 허용된다. 추적된 메시들의 경우에 대해, 추적된 메시들의 경우에 2개의 전형적인 모션: 글로벌 모션(global motion) 및 표면 모션(surface motion)을 송신하는 것이 가능한 신택스 요소들이 도입된다. 추적된 메시 패치 데이터 유닛 신택스 요소들은, 패치의 변환들 및 회전들을 통해 글로벌 모션을 표현하는 한편, 표면 모션(예를 들어, 천 주름 모션(cloth wrinkle motion))은 정점들의 변위로 표현된다.
추가 연결성 데이터를, 각각의 패치에 대해 생성되는 베이스 메시로서 해석하여, 디코더에 이 추가 데이터를 사용하거나 또는 사용하지 않을 유연성을 제공할 수 있다. 신택스는 또한 인코더가 콘텐츠를 혼합하게 하고, 공존하는 포인트 클라우드들과 메시들(예를 들어, 머리카락과 같은 더 미세한 구조체들에 대해서는 포인트 클라우드들을 사용하지만, 평평한 표면들에 대해서는 메시들을 사용하기를 원할 수도 있다), 그리고 심지어 추적된 그리고 미추적된 메시들을 갖는 포인트 클라우드들(예를 들어, 추적하기 어려운 표면의 부분들이 미추적된 것으로서 전송되는 것이 가능하거나, 또는 심지어 너무 많이 변형되는 추적된 부분들이 포인트 클라우드 계층들에 의해 은닉되는 것이 가능하다)을 갖게 한다. 이 데이터는 렌더링 및 포인트 필터링 알고리즘들을 개선시키는 데 사용되는 것이 가능하다. 더욱이, 메시는 투영 기반 압축의 동일한 원리로 인코딩되는데, 이는 포인트 클라우드들의 투영 기반 코딩의 현재 V-PCC 접근법과의 더 양호한 통합으로 이어진다.
도 1은 일부 실시예들에 따른 투영 기반 메시 압축을 구현하는 방법의 흐름도를 예시한다. 단계 100에서, 입력 메시가 수신 또는 취득된다. 예를 들어, 입력 메시는 (예를 들어, 네트워크 디바이스로부터) 다운로드되거나 또는 디바이스(예를 들어, 카메라 또는 자율 차량)에 의해 취득/캡처된다.
단계 102에서, 메시 복셀화가 수행된다. 메시는 부동 소수점으로 정점들의 포지션들을 갖는 것이 가능하여, 이들 포지션들은 정수 공간으로 변환된다. V-PCC는 복셀화된 포인트 클라우드를 가정한다.
단계 104에서, 패치 생성(또는 작성(creation))이 구현된다. 패치 생성은: 법선 계산, 인접성 계산, 초기 세그먼트화; 정밀화, 패치 투영, 및 패치 래스터화를 포함한다. 법선 계산은, 각각의 삼각형의 법선들(예를 들어, 삼각형의 에지들의 외적)을 계산하는 것이다. 인접성 계산은, 각각의 삼각형의 인접성(예를 들어, 메시에서의 어떤 삼각형들이 현재 삼각형 또는 다른 삼각형들에 이웃하는지 또는 접촉하는지)을 계산하는 것을 수반한다. 초기 세그먼트화는, 배향(orientation)에 따라 법선을 분류하는 것을 포함한다. 예를 들어, 삼각형의 법선은 위, 아래, 좌, 우, 앞, 또는 뒤를 포인팅하는 것이 가능하고, 방향/배향에 기초하여 분류되는 것이 가능하다. 일부 실시예들에서, 삼각형들은 이들의 법선들의 배향에 기초하여 컬러 코딩된다(예를 들어, 법선이 위를 포인팅하는 삼각형들 모두가 녹색 컬러로 된다). 정밀화는, 이상치(outlier)들(예를 들어, 청색 삼각형들로 둘러싸인 단일 적색 삼각형)을 위치결정하고 이상치들을 평활화하는 것(예를 들어, 단일 적색 삼각형을, 청색인 그의 이웃들과 매칭되도록 변경하는 것)을 수반한다. 정밀화는 이웃들을 분석하고 배향을 평활화(예를 들어, 법선의 배향을 조정)함으로써 수행된다. 일단 평활화된 표면이 있으면, 그 후에 삼각형들의 특정 분류(예를 들어, 배향에 기초함)에 대해 패치들을 투영하는 것을 수반하는 패치 투영이 수행된다. 투영을 이용하면, 정점들과 연결성이 패치들 상에 보여진다. 예를 들어, 이 예에서 몸과 얼굴은 별개의 투영들인데, 이는 그 둘을 분리시키는 상이한 분류들에 의한 삼각형들이 있기 때문이다. 그러나 V-PCC는 이것을 이해하지 못한다; 오히려, V-PCC는 포인트들을 이해하므로, (예를 들어, 표면의 속성들 및 지오메트리 이미지를 생성하기 위한 포인트들의 거리를 포함하는 표면 상의 포인트들을 샘플링하여) 투영이 래스터화된다. 래스터화된 메시 표면은 V-PCC 이미지와 매우 유사하다.
패치 생성은 래스터화된 메시 표면 그리고 정점들의 위치들 및 연결성을 발생시킨다. 단계 106에서, 래스터화된 메시 표면은 V-PCC 이미지 생성/작성에 이용된다. 단계 108에서, 정점들의 위치들 및 연결성은 베이스-메시 코딩을 위해 사용된다. 단계 110에서, 생성된 V-PCC 이미지 및 베이스-메시 코딩으로부터 V-PCC 비트스트림이 생성된다. 일부 실시예들에서, 베이스-메시 코딩은 어떠한 추가 코딩도 수반하지 않으며, 정점들의 위치들 및 연결성이 V-PCC 비트스트림으로 바로 이동한다.
V-PCC 비트스트림은 단계 112에서 포인트 클라우드 재구축을, 그리고/또는 단계 114에서 메시 구축을 가능하게 한다. 포인트 클라우드 및/또는 메시는 V-PCC 비트스트림으로부터 추출되는 것이 가능한데, 이는 상당한 유연성을 제공한다. 일부 실시예들에서, 보다 적은 또는 추가적인 단계들이 구현된다. 일부 실시예들에서, 단계들의 순서가 수정된다.
도 2는 일부 실시예들에 따른 메시 복셀화의 다이어그램을 예시한다. 각각의 프레임은 상이한 바운딩 박스를 갖는다. 각각의 프레임의 바운딩 박스가 획득된다(예를 들어, t=1, t=16 그리고 t=32에서의 프레임들(200)). 그 후에, 시퀀스 바운딩 박스(202)가 많은 바운딩 박스들로부터 계산되는데, 즉, sequenceBB = (minPoint, maxPoint)이다. 시퀀스 바운딩 박스(202)는 프레임에 관계없이 모든 정점들을 포함한다. bitdepth에 의해 정의된 범위에서 최대 범위에 피팅되는 스케일이 계산되는데, 즉, maxRange = max(maxPoint[0..2]-minPoint[0..2]), scale = (2bitdepth -1)/maxRange이다. 그 결과는 최소 값만큼 스케일링 및 시프팅되는데, 즉, voxelizedpoint = floor(scale*originalPoint+minPoint)이다. 스케일 및 시프트 양들은 학습 알고리즘에 기초하여(예를 들어, 바운딩 박스를 분석하고 스케일 및 시프트 양들을 자동으로 계산함으로써) 컴퓨터 생성되거나 또는 사용자 정의되는 것이 가능하다.
일부 실시예들에서, 메시 복셀화는, 입력 메시의 포인트들의 포지션들의 부동 소수점 값들을 정수들로 변환하는 것을 수반한다. 정수들의 정밀도는 사용자에 의해 또는 자동으로 설정되는 것이 가능하다. 일부 실시예들에서, 메시 복셀화는, 음수들이 없도록 값들을 시프팅하는 것을 포함한다.
예를 들어, 오리지널 메시는 축 라인 아래에 있어서, 음수들이 되는 결과로 된다. 메시 복셀화를 통해, 메시는 음의 값들 및 비-정수 값들을 회피하기 위해 시프팅 및/또는 스케일링된다. 하나의 구현에서, 제로 미만의 최저 정점 값이 발견되고, 그 후에 최저 정점 값이 제로를 초과하도록 값들이 시프팅되는 것이 가능하다. 일부 실시예들에서, 값들의 범위는 11비트들과 같은 (예를 들어, 스케일링에 의한) 특정된 비트레인지에 피팅된다.
복셀화된 메시(210)는 스케일링 및 시프팅 후의 오리지널 메시이다. 예를 들어, 복셀화된 메시(210)는, 오리지널 메시가 단지 양의 값들이 되도록 그것이 성장 및 시프팅된 후의 오리지널 메시인데, 이는 일부 경우들에서 인코딩에 더 유리하다.
도 3은 일부 실시예들에 따른 패치 생성의 다이어그램을 예시한다. 설명된 바와 같이, 패치 생성은, 법선 계산, 인접성 계산, 초기 세그먼트화 및 세그먼트화 정밀화를 수반한다. 각각의 삼각형의 법선의 계산은 삼각형 에지들 사이의 외적을 수반한다. 법선들은 이미지(300)에 도시된 바와 같이 화살표들 또는 스파이크들로서 표현되는 것이 가능하다. 인접성 계산은 삼각형들이 정점을 공유하는지를 결정하는 것이고, 공유한다면, 삼각형들은 이웃들이다. 이 도면에 도시된 바와 같이, 모든 회색 삼각형들(302)은, 중간에 있는 백색 삼각형(304)의 이웃들이다. 법선들의 배향을 분석하고, 법선들의 배향들을 (예를 들어, 위, 아래, 좌, 우, 전(forward), 후(backward)로) 분류하며, 법선의 배향이, 모두 동일하게 분류된 이웃하는 법선들과는 상이하게 분류되는지를 결정(예를 들어, 제1 패치가 위(306)로서 분류되는 한편, 이웃하는 패치들 대부분 또는 전부가 전으로서 분류된다)한 후에, 패치의 법선의 분류를 변경하여 이웃들의 배향들과 매칭시킴(예를 들어, 제1 패치 분류가 전(308)으로 변경된다)으로써, 초기 세그먼트화 및 세그먼트화 정밀화가 V-PCC와 동일하게 수행된다.
설명된 바와 같이, 메시를 패치들로 세그먼트화하는 패치 생성이 구현된다. 패치 생성은 또한 1) 래스터화된 메시 표면 그리고 2) 정점들의 위치 및 연결성 정보를 생성한다. 래스터화된 메시 표면은, V-PCC 이미지 생성을 거친 한 세트의 포인트들이고 V-PCC 이미지로서 인코딩된다. 정점들의 위치 및 연결성 정보는 베이스-메시 코딩을 위해 수신된다.
본 명세서에서 설명되는 패치 생성은 V-PCC에 있어서의 패치 생성과 유사하다. 그러나, 포인트당 법선을 계산하는 대신에, 삼각형당 법선이 계산된다. 삼각형당 법선은 에지들 사이의 외적을 사용하여 계산되어 법선 벡터를 결정한다. 그 후에, 삼각형들은 법선들에 따라 카테고리화된다. 예를 들어, 법선들은 앞, 뒤, 상, 하, 좌 및 우와 같은 n(예를 들어, 6)개의 카테고리로 분할된다. 법선들은 상이한 컬러들로 표시되어 초기 세그먼트화를 보여준다. 도 3은 상이한 법선들을 표시하는 상이한 컬러들로서 흑색 및 밝은 회색과 같은 그레이스케일의 상이한 컬러들을 도시한다. 보는 것이 어려울 수도 있지만, 상부 표면들(예를 들어, 사람 머리의 상부, 공의 상부 및 스니커즈의 상부)은 하나의 컬러(예를 들어, 녹색)이고, 사람/공의 제1 면은 매우 어두운데, 이는 다른 컬러(예를 들어, 적색)를 표현하고, 공의 바닥은 다른 컬러(예를 들어, 보라색)이며, 대부분 밝은 회색인 사람과 공의 전방은 다른 컬러(예를 들어, 청록색)를 표현한다.
법선의 곱에 방향들을 곱함으로써, 주요 방향이 발견되는 것이 가능하다. 이웃하는 삼각형들을 살펴봄으로써, 평활화/정밀화 프로세스가 구현되는 것이 가능하다. 예를 들어, 임계치를 초과하는 다수의 이웃하는 삼각형들이 모두 청색인 경우, 그러면 이 삼각형은 또한, 심지어 삼각형이 적색이었다고 처음에 표시한 이상(anomaly)이 있었더라도, 청색으로서 분류된다.
삼각형들 중 어느 것이 동일한 컬러를 갖는지를 식별하기 위해 삼각형들의 연결된 컴포넌트들이 생성된다(예를 들어, 동일한 카테고리를 갖는 삼각형들이 적어도 하나의 정점을 공유함).
연결성 정보는 포인트들이 어떻게 3D에서 연결되는지를 설명한다. 이들 커넥션들은 함께 삼각형들(더 구체적으로는, 3개의 포인트를 공유하는 3개의 구별되는 커넥션)을 생성하는데, 이는 결과적으로 표면들(삼각형들의 콜렉션으로 설명됨)을 생성한다. 삼각형들이 본 명세서에서 설명되지만, 다른 기하학적 형상들이 또한 허용된다(예를 들어, 직사각형들).
컬러들은 상이한 컬러들로 삼각형들을 식별함으로써 연결성을 인코딩하는 데 사용되는 것이 가능하다. 3개의 커넥션에 의해 식별되는 각각의 삼각형은 고유한 컬러로 코딩된다.
도 4는 일부 실시예들에 따른 패치 투영 및 패치 래스터화를 수반하는 패치 생성의 다이어그램을 예시한다. 패치 투영은, 삼각형들의 컴포넌트들을 생성하는 것을 포함한다. (예를 들어, 인접한) 적어도 하나의 정점에 의해 연결되고 동일한 분류에 있는 모든 삼각형들은 하나의 패치로서 함께 그룹화된다.
패치 투영은, 캔버스 상의 패치에 각각의 삼각형을 투영하는 것을 또한 포함한다. 정점의 투영된 포지션이 이미 점유되어 있는 경우, 삼각형이 다른 패치에서 코딩되어, 삼각형이 추후에 다시 프로세싱되도록 누락된 삼각형들의 리스트로 이동한다.
삼각형이 최대 허용 깊이 초과의 깊이 값들을 발생시키는 바운딩 박스를 생성하는 경우, 그러면 값들이 투영되지 않고 누락된 삼각형 리스트로 또한 이동한다.
패치 래스터화는, 포인트 클라우드 표현(지오메트리 및 속성)을 위한 포인트들을 생성하기 위해 투영된 삼각형들을 래스터화하는 것을 포함한다. 이 패치 투영 및 패치 래스터화의 루프는 모든 삼각형들이 투영될 때까지 발생한다.
모든 삼각형들이 투영된 후에, 누락된 삼각형 리스트에서의 삼각형들이 패치들로서 합쳐지고, 이들에 대해 새로운 패치들로 투영이 다시 시도된다.
2D 표면 상에 메시를 투영함으로써, 삼각형의 투영에 의해 커버되는 영역이 또한 픽셀들의 콜렉션에 의해 결정된다. 그룹화된 픽셀들이 상이한 컬러들로 코딩되는 경우, 삼각형들은 이미지에서 상이한 컬러들에 의해 식별될 수 있다. 일단 삼각형들이 알려지면, 삼각형을 형성하는 3개의 커넥션을 단지 식별하는 것만으로 연결성이 획득될 수 있다.
각각의 삼각형은 패치에 투영된다. 정점의 투영된 포지션이 이미 점유되어 있는 경우, 삼각형이 다른 패치에서 코딩되어, 그것이 추후에 다시 프로세싱되도록 누락된 삼각형들의 리스트로 이동한다. 대안적으로, 맵들이 사용되어, 중첩되는 정점들을 식별하는 것이 가능하고, 중첩된 정점들을 갖는 삼각형을 표현하는 것이 여전히 가능하다. 다른 대안에서, 포인트들은 별개의 계층들로 분리되는 것이 가능하다(예를 들어, 하나의 계층에서의 하나의 세트의 포인트들 및 제2 계층에서의 제2 세트의 포인트들).
이미지 400은 적어도 하나의 정점에 의해 연결된 동일한 분류의 삼각형들을 갖는 빈 패치를 보여준다. 이미지 402는 정점들과 연결성을 보여주는 삼각형들을 갖는 패치를 보여준다. 이미지 404는 속성 정보를 갖는 패치를 보여준다.
도 5는 일부 실시예들에 따른 베이스-메시 코딩/시그널링을 위한 데이터 구조체를 예시한다. 베이스-메시 시그널링과 관련하여, 패킷 및 아틀라스 스트림들이, 비디오 시퀀스들과 연관된 메타데이터에 대해 사용된다. 메타데이터는 2D 공간에서의 정점들의 위치를 추가함으로써 추가된다.
데이터 구조체는, 헤더, 타일 그룹 계층, 및 패치 정보 예컨대 페이스들의 수, 정점들의 수, 페이스 정보와 함께 0에서부터 페이스들의 수에 이르는 리스트, 및 정점 정보와 함께 0에서부터 정점들의 수에 이르는 리스트를 포함한다. 정점 정보는 2D 공간에서의 이들의 포지션이다. 리스트들을 이용하면, 포인트 클라우드로부터 메시가 재구축되는 것이 가능하다. 정점 리스트와 연결성 정보를 송신함으로써, 어떠한 압축 없이도 송신이 실행되는 것이 가능하다. 일부 실시예들에서, 압축을 이용하기 위해, TFAN 또는 Edgebreaker가 패치 연결성을 인코딩하는 데 사용되는 것이 가능하다. 일부 실시예들에서, 정점들에 대한 평행사변형 예측이 사용되는 것이 가능하다. 일부 실시예들에서, DPCM 인코딩이 구현된다. 일부 실시예들에서, 정점 리스트는 (예를 들어, 포인트가 존재하는지 여부를 표시하기 위해 플래그를 포함시키고, 포인트가 정점인지를 표시하기 위해 플래그를 사용함으로써) 점유 맵을 사용하여 인코딩된다.
패치에서의 포인트들의 리스트가 삼각형들의 정점들이고, 메시의 연결성은 심지어 투영 후에도 동일하다.
연결성이 (예를 들어, 컬러 코드들에 기초하여) 인코딩된다. 일부 실시예들에서, 정수 값들의 리스트가 인코딩된다. 리스트에서의 차분 펄스 코드 변조(Differential Pulse Code Modulation)(DPCM)가 사용되는 것이 가능하다. 일부 실시예들에서, 리스트가 정밀화되는 것이 가능하거나 또는 스마트 메시-코딩(예를 들어, Edgebreaker)이 구현되는 것이 가능하다. 일부 실시예들에서, (예를 들어, 양측 모두가 코딩 알고리즘들인 Edgebreaker 또는 TFAN을 사용하는) 더 정교한 접근법들이 또한 가능하다.
여분의 정보가 패치별로 전송되는 것이 가능하다. 각각의 패치 정보 내측에는, 연결된 컴포넌트들(예를 들어, 정점들)의 리스트 및 2D 공간에서의 정점들의 위치가 전송된다. 더 효율적인 표기법이, 본 명세서에서 논의되는 바와 같은, 페이스 및 정점들에 대해 DPCM 스킴들을 사용할 수 있다.
추적된 메시 패치 데이터 유닛들이 패치들을 사용하여, 연결성이 하나의 프레임으로부터 다른 프레임으로 변경되지 않았음을 표시하는 것이 가능하다. 이것은 단지 델타 포지션만이 전송되므로, 추적된 메시의 경우들에 대해 특히 유용하다는 것이 가능하다. 추적된 메시들의 경우에, 글로벌 모션이, 정점 모션에 의해 캡처되는 표면 모션, 그리고 바운딩 박스 포지션 및 회전(사원수(quaternion)들을 사용하는 새롭게 도입된 신택스 요소들)에 의해 캡처되는 것이 가능하다. 델타 정점 정보를 전송할 비트들의 수가 AFPS에서 전송되는 것이 가능하다. 대안적으로, 모션 정보는 호모그래피 변환(homography transform)으로서 전송되는 것이 가능하다.
도 6은 일부 실시예들에 따른 포인트 클라우드와 메시 정보를 조합하는 일 예를 예시한다. 설명된 바와 같이, 포인트 클라우드와 메시 정보가 조합되는 것이 가능하다. 예를 들어, 포인트 클라우드 전용 패치들이 머리에 대해 사용되는 것이 가능한 한편, 포인트 클라우드 및 메시 패치들은 몸에 대해 사용된다.
도 7a 및 도 7b는 일부 실시예들에 따른 미추적된 그리고 추적된 메시 정보를 조합하는 일 예를 예시한다. 추적 이슈들을 회피하기 위해, 일부 구현들은 메시를 추적된 부분들과 미추적된 부분들로 세그먼트화한다. 추적된 부분들은 시간적으로 일관되고, tracked_mesh_patch_data_unit()으로 표현되는 것이 가능한 한편, 미추적된 부분들은 매 프레임마다 새로워지고, mesh_patch_data_unit()으로 표현되는 것이 가능하다. 포인트 클라우드들은 본 명세서에서 설명되는 바와 같이 지오메트리에 혼합되는 것이 가능하므로, 예를 들어, 오리지널 메시를 보유하고 그 메시의 상부 상에 포인트 클라우드들을 삽입하여 결함들을 은닉하여, 표면 표현이 개선되는 것이 가능하다.
도 8은 일부 실시예들에 따른 V-PCC 이미지 생성의 다이어그램을 예시한다. 점유 맵 및 지오메트리가 V-PCC에 대해 전형적으로 생성된다. 속성 맵은 미압축된 지오메트리로부터 생성된다. 속성 전송이 메시들을 사용하여 수행되는 것이 가능하다.
도 9는 일부 실시예들에 따른 메시 재구축의 다이어그램을 예시한다. 일단 패치들이 생성/수신되면, 연결성은 새로운 정점 넘버링을 사용하지만, 패치들이 함께 추가되는 것이 가능하다. 각각의 패치는 미니-메시와 유사하여, 모든 패치들이 함께 결합된다. 정점 변환이 있을 수도 있지만, 패치들은 함께 결합되어 메시를 형성한다. 그러나, 압축 때문에 정점들 중 일부가 매칭되지 않으므로, 추가의 단계들이 취해져야 한다. 오정렬된 정점들의 이슈들을 해결하기 위해 지퍼링 알고리즘이 구현되는 것이 가능하다.
도 10은 일부 실시예들에 따른 지퍼링 알고리즘의 다이어그램을 예시한다. 지퍼링 알고리즘은, 정점들을 경계 정점들과 비-경계 정점들인 것으로서 분류하는 것을 포함한다. 분류는, 임의의 다른 정점들이 특정된 방향으로 정점에 연결되는지를 결정하는 것과 같은 임의의 방식으로 수행되는 것이 가능하다. 그 후에, 경계의 가장 가까운 이웃들이 결정되고, 이들 이웃하는 경계들의 정점들이 병합(예를 들어, 동일한 포지션에 배치)된다. 추가적으로, V-PCC에서는, 3개의 좌표 중 2개가 무손실로 코딩되어, x, y, z로부터, 좌표들 중 2개가 정확한 것으로 알려져 있는데, 이는 가까운 포인트들을 결정하는 데 도움이 되는 것이 가능하다. 유사하게, 단지 법선 좌표만을 변하게 함으로써 생성된 라인들이 서로 교차하는 경우 2개의 포인트가 매칭되는 것으로 간주된다. 적응형 방법이 구현되는 것이 가능하다: 패치의 경계에 참조 포인트가 주어지면, 포인트들은 이들이 적어도 하나의 잠재적 후보를 만날 때까지 점점 더 변하게 되고, 다른 패치들로부터의 후보 포인트들을 수정하기 위해 새로운 거리가 사용될 것이며, 다수의 매칭된 후보들이 있는 경우에, 가장 많은 수의 매치들을 생성한 값으로 참조가 수정된다. 새로운 수정된 참조를 이용하여, 이웃하는 패치들로부터의 가장 가까운 경계 픽셀이 검색된다. 매치가 발견되는 경우, 경계 정점 값이 참조 포인트로 수정되고, 경계 정점이 리스트로부터 제거된다. 그렇지 않으면, 비-경계 정점들의 리스트에서 매치들을 위한 검색이 수행된다. 매치가 발견되는 경우, 비-경계 정점 값이 참조 포인트로 수정된다.
도 11은 일부 실시예들에 따른 정점들을 경계 또는 비-경계로서 분류하는 다이어그램을 예시한다. 정점이 개방 영역(예를 들어, 흑색 영역)에 연결된 경우, 그러면 그 정점은 경계이다. 다른 예에서, 정점에 이웃하는 점유 맵에서의 제로 값들은, 정점이 경계 정점임을 표시한다.
도 12는 일부 실시예들에 따른 대안적인 연결성 코딩의 다이어그램을 예시한다. 특정 값들이 사용되어 정점의 존재뿐만 아니라 에지의 존재를 표시하는 것이 가능하다. 예를 들어, 이미지는 점유 맵을 도시하고, 여기서 패치들 중 하나는, 정점들을 표시하는 포인트들, 및 에지들을 표시하는 흑색 라인들을 포함한다.
도 13은 일부 실시예들에 따른 투영 기반 메시 압축 방법을 구현하도록 구성되는 예시적인 컴퓨팅 디바이스의 블록 다이어그램을 예시한다. 컴퓨팅 디바이스(1300)는, 3D 콘텐츠를 포함하는 비디오들 및 이미지들과 같은 정보를 취득, 저장, 컴퓨팅, 프로세싱, 통신 및/또는 디스플레이하는 데 사용되는 것이 가능하다. 컴퓨팅 디바이스(1300)는 투영 기반 메시 압축 양태들 중 임의의 것을 구현하는 것이 가능하다. 일반적으로, 컴퓨팅 디바이스(1300)를 구현하는 데 적합한 하드웨어 구조체는 네트워크 인터페이스(1302), 메모리(1304), 프로세서(1306), I/O 디바이스(들)(1308), 버스(1310) 및 스토리지 디바이스(1312)를 포함한다. 충분한 속도를 갖는 적합한 프로세서가 선정되는 한 프로세서의 선정은 중요하지 않다. 메모리(1304)는 본 기술분야에 알려진 임의의 종래의 컴퓨터 메모리인 것이 가능하다. 스토리지 디바이스(1312)는 하드 드라이브, CDROM, CDRW, DVD, DVDRW, 고선명 디스크/드라이브, 울트라-HD 드라이브, 플래시 메모리 카드 또는 임의의 다른 스토리지 디바이스를 포함하는 것이 가능하다. 컴퓨팅 디바이스(1300)는 하나 이상의 네트워크 인터페이스(1302)를 포함하는 것이 가능하다. 네트워크 인터페이스의 일 예는 이더넷 또는 다른 타입의 LAN에 연결되는 네트워크 카드를 포함한다. I/O 디바이스(들)(1308)는 다음의 것: 키보드, 마우스, 모니터, 스크린, 프린터, 모뎀, 터치스크린, 버튼 인터페이스 및 다른 디바이스들 중 하나 이상을 포함하는 것이 가능하다. 투영 기반 메시 압축 방법을 구현하는 데 사용되는 투영 기반 메시 압축 애플리케이션(들)(1330)은 스토리지 디바이스(1312) 및 메모리(1304)에 저장되고 애플리케이션들이 전형적으로 프로세싱되는 것처럼 프로세싱될 가능성이 있다. 도 13에 도시된 것보다 더 많은 또는 더 적은 컴포넌트들이 컴퓨팅 디바이스(1300)에 포함되는 것이 가능하다. 일부 실시예들에서, 투영 기반 메시 압축 하드웨어(1320)가 포함된다. 도 13의 컴퓨팅 디바이스(1300)가 투영 기반 메시 압축 방법을 위한 애플리케이션들(1330) 및 하드웨어(1320)를 포함하지만, 투영 기반 메시 압축 방법은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 조합으로 컴퓨팅 디바이스 상에서 구현되는 것이 가능하다. 예를 들어, 일부 실시예들에서, 투영 기반 메시 압축 애플리케이션들(1330)은 메모리에 프로그래밍되고 프로세서를 사용하여 실행된다. 다른 예에서, 일부 실시예들에서, 투영 기반 메시 압축 하드웨어(1320)는, 투영 기반 메시 압축 방법을 구현하도록 특정적으로 설계되는 게이트들을 포함하는 프로그래밍된 하드웨어 로직이다.
일부 실시예들에서, 투영 기반 메시 압축 애플리케이션(들)(1330)은 수 개의 애플리케이션 및/또는 모듈을 포함한다. 일부 실시예들에서, 모듈들은 하나 이상의 서브-모듈을 또한 포함한다. 일부 실시예들에서, 보다 적은 또는 추가적인 모듈들이 포함되는 것이 가능하다.
적합한 컴퓨팅 디바이스들의 예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 컴퓨터 워크스테이션, 서버, 메인프레임 컴퓨터, 핸드헬드 컴퓨터, 개인 휴대 정보 단말기(personal digital assistant), 셀룰러/모바일 전화기, 스마트 어플라이언스, 게이밍 콘솔, 디지털 카메라, 디지털 캠코더, 카메라 폰, 스마트 폰, 휴대용 뮤직 플레이어, 태블릿 컴퓨터, 모바일 디바이스, 비디오 플레이어, 비디오 디스크 라이터/플레이어(video disc writer/player)(예를 들어, DVD 라이터/플레이어, 고선명 디스크 라이터/플레이어, 초고선명 디스크 라이터/플레이어), 텔레비전, 홈 엔터테인먼트 시스템, 증강 현실 디바이스, 가상 현실 디바이스, 스마트 쥬얼리(예를 들어, 스마트 워치), 차량(예를 들어, 셀프-드라이빙 차량) 또는 임의의 다른 적합한 컴퓨팅 디바이스를 포함한다.
투영 기반 메시 압축 방법을 이용하기 위해, 디바이스는 3D 콘텐츠를 취득 또는 수신하고, 3D 콘텐츠의 적절한, 효율적인 디스플레이를 가능하게 하도록 최적화된 방식으로 콘텐츠를 프로세싱 및/또는 전송한다. 투영 기반 메시 압축 방법은 사용자 지원으로 또는 사용자 개입 없이 자동으로 구현되는 것이 가능하다.
동작 시에, 투영 기반 메시 압축 방법은 이전 구현들에 비해 더 효율적이고 더 정확한 투영 기반 메시 압축을 가능하게 한다.
예시적인 구현에서, 본 명세서에서 설명되는 투영 기반 메시 압축은, 단지 하나의 프레임 및 단일 맵을 이용하는 TMC2v8.0 위에서 구현되었다. 구현으로부터의 정보가 다음의 것을 포함한다:
비트스트림 stat:
헤더: 16B 128b
vpccUnitSize[VPCC_VPS]: 31 B 248 b
vpccUnitSize[VPCC_AD]: 190396 B 1523168 b
vpccUnitSize[VPCC_OVD]: 29591 B 236728 b(Ocm 비디오 = 29583 B)
vpccUnitSize[VPCC_GVD]: 59108 B 472864 b(Geo 비디오 = 59100 B)
vpccUnitSize[VPCC_AVD]: 172441 B 1379528 b(Tex 비디오 = 172433 B)
TotalMetadata: 220050 B 1760400 b
TotalGeometry: 59100 B 472800 b
TotalTexture: 172433 B 1379464 b
총계: 451583 B 1379464 b
총 비트스트림 사이즈 451599 B
투영 기반 메시 압축의 일부 실시예들
1. 디바이스의 비일시적 메모리에 프로그래밍되는 방법으로서,
입력 메시 상에서 메시 복셀화를 수행하는 단계;
래스터화된 메시 표면 그리고 정점들의 위치 및 연결성 정보를 포함하는 패치들로 메시를 세그먼트화하는 패치 생성을 구현하는 단계;
래스터화된 메시 표면으로부터 비디오 기반 포인트 클라우드 압축(V-PCC) 이미지를 생성하는 단계;
정점들의 위치 및 연결성 정보로 베이스-메시 코딩을 구현하는 단계; 및
V-PCC 이미지 및 베이스-메시 코딩에 기초하여 V-PCC 비트스트림을 생성하는 단계
를 포함하고,
V-PCC 비트스트림은, 포인트 클라우드 재구축 및 메시 재구축을 위한 정보를 포함하는, 방법.
2. 조항 1에 있어서, 메시 복셀화는, 음의 값들 및 비-정수 값들을 회피하기 위해 메시 값들을 시프팅 및/또는 스케일링하는 것을 포함하는, 방법.
3. 조항 2에 있어서, 메시 복셀화는, 제로 미만의 최저 정점 값을 발견하는 것 그리고 최저 정점 값이 제로를 초과하도록 메시 값들을 시프팅하는 것을 포함하는, 방법.
4. 조항 1에 있어서, 패치 생성을 구현하는 단계는:
삼각형당 법선을 계산하는 단계 - 삼각형의 법선을 계산하는 단계는, 에지들 사이의 외적을 사용하는 단계를 포함함 -,
법선들에 따라 삼각형들을 카테고리화하는 단계, 및
이웃하는 삼각형들을 분석함으로써 정밀화 프로세스를 구현하는 단계
를 포함하는, 방법.
5. 조항 1에 있어서, 포인트 클라우드를 부분적으로 포함하고 메시를 부분적으로 포함하는 콘텐츠를 디스플레이하는 단계를 더 포함하는, 방법.
6. 조항 1에 있어서, 추적된 정점들의 델타 포지션 정보가 비트스트림에 포함되는, 방법.
7. 조항 1에 있어서,
정점들을 경계 정점들 또는 비-경계 정점들로서 분류하는 것;
경계 정점들의 이웃들을 결정하는 것; 및
이웃하는 경계 정점들을 병합하는 것
을 포함하는, 지퍼링을 구현하는 단계를 더 포함하는, 방법.
8. 장치로서,
애플리케이션을 저장하기 위한 비일시적 메모리 - 애플리케이션은:
입력 메시 상에서 메시 복셀화를 수행하고;
래스터화된 메시 표면 그리고 정점들의 위치 및 연결성 정보를 포함하는 패치들로 메시를 세그먼트화하는 패치 생성을 구현하고;
래스터화된 메시 표면으로부터 비디오 기반 포인트 클라우드 압축(V-PCC) 이미지를 생성하고;
정점들의 위치 및 연결성 정보로 베이스-메시 코딩을 구현하고;
V-PCC 이미지 및 베이스-메시 코딩에 기초하여 V-PCC 비트스트림을 생성하기 위한 것이고, V-PCC 비트스트림은, 포인트 클라우드 재구축 및 메시 재구축을 위한 정보를 포함함 -; 및
메모리에 커플링되는 프로세서
를 포함하고,
프로세서는 애플리케이션을 프로세싱하도록 구성되는, 장치.
9. 조항 8에 있어서, 메시 복셀화는, 음의 값들 및 비-정수 값들을 회피하기 위해 메시 값들을 시프팅 및/또는 스케일링하는 것을 포함하는, 장치.
10. 조항 9에 있어서, 메시 복셀화는, 제로 미만의 최저 정점 값을 발견하는 것 그리고 최저 정점 값이 제로를 초과하도록 메시 값들을 시프팅하는 것을 포함하는, 장치.
11. 조항 8에 있어서, 패치 생성을 구현하는 것은:
삼각형당 법선을 계산하는 것 - 삼각형의 법선을 계산하는 것은, 에지들 사이의 외적을 사용하는 것을 포함함 -,
법선들에 따라 삼각형들을 카테고리화하는 것, 및
이웃하는 삼각형들을 분석함으로써 정밀화 프로세스를 구현하는 것
을 포함하는, 장치.
12. 조항 8에 있어서, 애플리케이션은, 포인트 클라우드를 부분적으로 포함하고 메시를 부분적으로 포함하는 콘텐츠를 디스플레이하도록 추가로 구성되는, 장치.
13. 조항 8에 있어서, 추적된 정점들의 델타 포지션 정보가 비트스트림에 포함되는, 장치.
14. 조항 8에 있어서, 애플리케이션은:
정점들을 경계 정점들 또는 비-경계 정점들로서 분류하는 것;
경계 정점들의 이웃들을 결정하는 것; 및
이웃하는 경계 정점들을 병합하는 것
을 포함하는, 지퍼링을 구현하도록 추가로 구성되는, 장치.
15. 시스템으로서,
3차원 콘텐츠를 취득하기 위한 하나 이상의 카메라; 및
인코더
를 포함하고,
이 인코더는:
3차원 콘텐츠의 입력 메시 상에서 메시 복셀화를 수행하는 것;
래스터화된 메시 표면 그리고 정점들의 위치 및 연결성 정보를 포함하는 패치들로 메시를 세그먼트화하는 패치 생성을 구현하는 것;
래스터화된 메시 표면으로부터 비디오 기반 포인트 클라우드 압축(V-PCC) 이미지를 생성하는 것;
정점들의 위치 및 연결성 정보로 베이스-메시 코딩을 구현하는 것; 및
V-PCC 이미지 및 베이스-메시 코딩에 기초하여 V-PCC 비트스트림을 생성하는 것
에 의해 3차원 콘텐츠를 인코딩하기 위한 것이고,
V-PCC 비트스트림은, 포인트 클라우드 재구축 및 메시 재구축을 위한 정보를 포함하는, 시스템.
16. 조항 15에 있어서, 메시 복셀화는, 음의 값들 및 비-정수 값들을 회피하기 위해 메시 값들을 시프팅 및/또는 스케일링하는 것을 포함하는, 시스템.
17. 조항 16에 있어서, 메시 복셀화는, 제로 미만의 최저 정점 값을 발견하는 것 그리고 최저 정점 값이 제로를 초과하도록 메시 값들을 시프팅하는 것을 포함하는, 시스템.
18. 조항 15에 있어서, 패치 생성을 구현하는 것은:
삼각형당 법선을 계산하는 것 - 삼각형의 법선을 계산하는 것은, 에지들 사이의 외적을 사용하는 것을 포함함 -,
법선들에 따라 삼각형들을 카테고리화하는 것, 및
이웃하는 삼각형들을 분석함으로써 정밀화 프로세스를 구현하는 것
을 포함하는, 시스템.
19. 조항 15에 있어서, 포인트 클라우드를 부분적으로 포함하고 메시를 부분적으로 포함하는 콘텐츠를 디스플레이하는 것을 더 포함하는, 시스템.
20. 조항 15에 있어서, 추적된 정점들의 델타 포지션 정보가 비트스트림에 포함되는, 시스템.
21. 조항 15에 있어서,
정점들을 경계 정점들 또는 비-경계 정점들로서 분류하는 것;
경계 정점들의 이웃들을 결정하는 것; 및
이웃하는 경계 정점들을 병합하는 것
을 포함하는, 지퍼링을 구현하는 것을 더 포함하는, 시스템.
본 발명은 본 발명의 구축 및 동작의 원리들의 이해를 용이하게 하기 위해 세부사항들을 포함하는 특정 실시예들의 관점에서 설명되었다. 특정 실시예들 및 그의 세부사항들에 대한 본 명세서의 그러한 참조는 여기에 첨부된 청구범위의 범주를 제한하려고 의도되지 않는다. 청구범위에 의해 정의된 바와 같은 본 발명의 사상 및 범주로부터 벗어남이 없이 예시를 위해 선정된 실시예에서 다른 다양한 수정들이 이루어질 수도 있다는 것이 본 기술분야의 통상의 기술자에게 쉽게 명백할 것이다.

Claims (21)

  1. 디바이스의 비일시적 메모리에 프로그래밍되는 방법으로서,
    입력 메시 상에서 메시 복셀화(mesh voxelization)를 수행하는 단계;
    래스터화(rasterize)된 메시 표면 그리고 정점들(vertices)의 위치 및 연결성 정보를 포함하는 패치들로 상기 메시를 세그먼트화하는 패치 생성을 구현하는 단계;
    상기 래스터화된 메시 표면으로부터 비디오 기반 포인트 클라우드 압축(video-based point cloud compression)(V-PCC) 이미지를 생성하는 단계;
    상기 정점들의 위치 및 연결성 정보로 베이스-메시 코딩(base-mesh coding)을 구현하는 단계; 및
    상기 V-PCC 이미지 및 상기 베이스-메시 코딩에 기초하여 V-PCC 비트스트림을 생성하는 단계
    를 포함하고,
    상기 V-PCC 비트스트림은, 포인트 클라우드 재구축 및 메시 재구축을 위한 정보를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 메시 복셀화는, 음의 값들 및 비-정수 값들을 회피하기 위해 메시 값들을 시프팅 및/또는 스케일링(scaling)하는 것을 포함하는, 방법.
  3. 제2항에 있어서,
    상기 메시 복셀화는, 제로 미만의 최저 정점 값을 발견하는 것 그리고 상기 최저 정점 값이 제로를 초과하도록 상기 메시 값들을 시프팅하는 것을 포함하는, 방법.
  4. 제1항에 있어서,
    상기 패치 생성을 구현하는 단계는:
    삼각형당 법선(normal per triangle)을 계산하는 단계 - 상기 삼각형의 법선을 계산하는 단계는, 에지들 사이의 외적(cross-product)을 사용하는 단계를 포함함 -,
    법선들에 따라 삼각형들을 카테고리화하는 단계, 및
    이웃하는 삼각형들을 분석함으로써 정밀화 프로세스(refinement process)를 구현하는 단계
    를 포함하는, 방법.
  5. 제1항에 있어서,
    포인트 클라우드를 부분적으로 포함하고 메시를 부분적으로 포함하는 콘텐츠를 디스플레이하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    추적된 정점들의 델타 포지션 정보가 상기 비트스트림에 포함되는, 방법.
  7. 제1항에 있어서,
    정점들을 경계 정점들 또는 비-경계 정점들로서 분류하는 것;
    상기 경계 정점들의 이웃들을 결정하는 것; 및
    이웃하는 경계 정점들을 병합하는 것
    을 포함하는, 지퍼링(zippering)을 구현하는 단계를 더 포함하는, 방법.
  8. 장치로서,
    애플리케이션을 저장하기 위한 비일시적 메모리 - 상기 애플리케이션은:
    입력 메시 상에서 메시 복셀화를 수행하고;
    래스터화된 메시 표면 그리고 정점들의 위치 및 연결성 정보를 포함하는 패치들로 상기 메시를 세그먼트화하는 패치 생성을 구현하고;
    상기 래스터화된 메시 표면으로부터 비디오 기반 포인트 클라우드 압축(V-PCC) 이미지를 생성하고;
    상기 정점들의 위치 및 연결성 정보로 베이스-메시 코딩을 구현하고;
    상기 V-PCC 이미지 및 상기 베이스-메시 코딩에 기초하여 V-PCC 비트스트림을 생성하기 위한 것이고, 상기 V-PCC 비트스트림은, 포인트 클라우드 재구축 및 메시 재구축을 위한 정보를 포함함 -; 및
    상기 메모리에 커플링되는 프로세서
    를 포함하고,
    상기 프로세서는 상기 애플리케이션을 프로세싱하도록 구성되는, 장치.
  9. 제8항에 있어서,
    상기 메시 복셀화는, 음의 값들 및 비-정수 값들을 회피하기 위해 메시 값들을 시프팅 및/또는 스케일링하는 것을 포함하는, 장치.
  10. 제9항에 있어서,
    상기 메시 복셀화는, 제로 미만의 최저 정점 값을 발견하는 것 그리고 상기 최저 정점 값이 제로를 초과하도록 상기 메시 값들을 시프팅하는 것을 포함하는, 장치.
  11. 제8항에 있어서,
    상기 패치 생성을 구현하는 것은:
    삼각형당 법선을 계산하는 것 - 상기 삼각형의 법선을 계산하는 것은, 에지들 사이의 외적을 사용하는 것을 포함함 -,
    법선들에 따라 삼각형들을 카테고리화하는 것, 및
    이웃하는 삼각형들을 분석함으로써 정밀화 프로세스를 구현하는 것
    을 포함하는, 장치.
  12. 제8항에 있어서,
    상기 애플리케이션은, 포인트 클라우드를 부분적으로 포함하고 메시를 부분적으로 포함하는 콘텐츠를 디스플레이하도록 추가로 구성되는, 장치.
  13. 제8항에 있어서,
    추적된 정점들의 델타 포지션 정보가 상기 비트스트림에 포함되는, 장치.
  14. 제8항에 있어서,
    상기 애플리케이션은:
    정점들을 경계 정점들 또는 비-경계 정점들로서 분류하는 것;
    상기 경계 정점들의 이웃들을 결정하는 것; 및
    이웃하는 경계 정점들을 병합하는 것
    을 포함하는, 지퍼링을 구현하도록 추가로 구성되는, 장치.
  15. 시스템으로서,
    3차원 콘텐츠를 취득하기 위한 하나 이상의 카메라; 및
    인코더
    를 포함하고,
    상기 인코더는:
    상기 3차원 콘텐츠의 입력 메시 상에서 메시 복셀화를 수행하는 것;
    래스터화된 메시 표면 그리고 정점들의 위치 및 연결성 정보를 포함하는 패치들로 상기 메시를 세그먼트화하는 패치 생성을 구현하는 것;
    상기 래스터화된 메시 표면으로부터 비디오 기반 포인트 클라우드 압축(V-PCC) 이미지를 생성하는 것;
    상기 정점들의 위치 및 연결성 정보로 베이스-메시 코딩을 구현하는 것; 및
    상기 V-PCC 이미지 및 상기 베이스-메시 코딩에 기초하여 V-PCC 비트스트림을 생성하는 것
    에 의해 상기 3차원 콘텐츠를 인코딩하기 위한 것이고,
    상기 V-PCC 비트스트림은, 포인트 클라우드 재구축 및 메시 재구축을 위한 정보를 포함하는, 시스템.
  16. 제15항에 있어서,
    상기 메시 복셀화는, 음의 값들 및 비-정수 값들을 회피하기 위해 메시 값들을 시프팅 및/또는 스케일링하는 것을 포함하는, 시스템.
  17. 제16항에 있어서,
    상기 메시 복셀화는, 제로 미만의 최저 정점 값을 발견하는 것 그리고 상기 최저 정점 값이 제로를 초과하도록 상기 메시 값들을 시프팅하는 것을 포함하는, 시스템.
  18. 제15항에 있어서,
    상기 패치 생성을 구현하는 것은:
    삼각형당 법선을 계산하는 것 - 상기 삼각형의 법선을 계산하는 것은, 에지들 사이의 외적을 사용하는 것을 포함함 -,
    법선들에 따라 삼각형들을 카테고리화하는 것, 및
    이웃하는 삼각형들을 분석함으로써 정밀화 프로세스를 구현하는 것
    을 포함하는, 시스템.
  19. 제15항에 있어서,
    상기 인코더는, 포인트 클라우드를 부분적으로 포함하고 메시를 부분적으로 포함하는 콘텐츠를 디스플레이하도록 추가로 구성되는, 시스템.
  20. 제15항에 있어서,
    추적된 정점들의 델타 포지션 정보가 상기 비트스트림에 포함되는, 시스템.
  21. 제15항에 있어서,
    상기 인코더는:
    정점들을 경계 정점들 또는 비-경계 정점들로서 분류하는 것;
    상기 경계 정점들의 이웃들을 결정하는 것; 및
    이웃하는 경계 정점들을 병합하는 것
    을 포함하는, 지퍼링을 구현하도록 추가로 구성되는, 시스템.
KR1020227030450A 2020-03-18 2021-02-13 투영 기반 메시 압축 KR20220137937A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062991128P 2020-03-18 2020-03-18
US62/991,128 2020-03-18
US17/161,300 2021-01-28
US17/161,300 US11373339B2 (en) 2020-03-18 2021-01-28 Projection-based mesh compression
PCT/US2021/018063 WO2021188238A1 (en) 2020-03-18 2021-02-13 Projection-based mesh compression

Publications (1)

Publication Number Publication Date
KR20220137937A true KR20220137937A (ko) 2022-10-12

Family

ID=77748297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227030450A KR20220137937A (ko) 2020-03-18 2021-02-13 투영 기반 메시 압축

Country Status (6)

Country Link
US (1) US11373339B2 (ko)
EP (1) EP4094224A4 (ko)
JP (1) JP2023514853A (ko)
KR (1) KR20220137937A (ko)
CN (1) CN114641797A (ko)
WO (1) WO2021188238A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319592A1 (en) * 2020-04-13 2021-10-14 Industrial Technology Research Institute Electronic device and method for encoding and decoding point cloud
US11836953B2 (en) * 2020-10-06 2023-12-05 Sony Group Corporation Video based mesh compression
WO2023075389A1 (ko) * 2021-10-27 2023-05-04 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230177738A1 (en) * 2021-12-03 2023-06-08 Tencent America LLC Dynamic mesh compression based on point cloud compression
WO2023144445A1 (en) * 2022-01-27 2023-08-03 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
CN114549752A (zh) * 2022-02-21 2022-05-27 北京百度网讯科技有限公司 三维图形数据处理方法、装置、设备、存储介质及产品
CN114565689B (zh) * 2022-02-28 2024-02-02 燕山大学 一种面向轴对称类三维模型数据压缩重建方法
WO2023174701A1 (en) * 2022-03-17 2023-09-21 Interdigital Ce Patent Holdings, Sas V-pcc based dynamic textured mesh coding without occupancy maps
WO2023180843A1 (en) * 2022-03-25 2023-09-28 Sony Group Corporation Patch generation for dynamic mesh coding
WO2023180840A1 (en) * 2022-03-25 2023-09-28 Sony Group Corporation Patch mesh connectivity coding
WO2024085677A1 (en) * 2022-10-19 2024-04-25 Samsung Electronics Co., Ltd. Electronic device and method for reconstructing mesh frame

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262737B1 (en) * 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
US7245299B2 (en) * 2003-05-12 2007-07-17 Adrian Sfarti Bicubic surface real-time tesselation unit
US20070291031A1 (en) * 2006-06-15 2007-12-20 Right Hemisphere Limited Three dimensional geometric data correction
US8502815B2 (en) * 2007-04-18 2013-08-06 Gottfried Wilhelm Leibniz Universitat Hannover Scalable compression of time-consistent 3D mesh sequences
US9715761B2 (en) * 2013-07-08 2017-07-25 Vangogh Imaging, Inc. Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
US9734595B2 (en) 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
US9747573B2 (en) * 2015-03-23 2017-08-29 Avatar Merger Sub II, LLC Emotion recognition for workforce analytics
US10249087B2 (en) * 2016-01-29 2019-04-02 Magic Leap, Inc. Orthogonal-projection-based texture atlas packing of three-dimensional meshes
GB2548143A (en) * 2016-03-10 2017-09-13 Lancaster Univ Business Entpr Ltd Surface modelling
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US20180082465A1 (en) * 2016-09-16 2018-03-22 Prasoonkumar Surti Apparatus and method for optimized tile-based rendering
CN109690634A (zh) * 2016-09-23 2019-04-26 苹果公司 增强现实显示器
US11398059B2 (en) * 2017-05-06 2022-07-26 Beijing Dajia Internet Information Technology Co., Ltd. Processing 3D video content
US10535161B2 (en) 2017-11-09 2020-01-14 Samsung Electronics Co., Ltd. Point cloud compression using non-orthogonal projection
US11475603B2 (en) * 2018-01-26 2022-10-18 Sony Corporation Multiple mesh encoding using motion tracking data of objects
US10957116B2 (en) * 2018-09-07 2021-03-23 The Boeing Company Gap detection for 3D models
US11823421B2 (en) * 2019-03-14 2023-11-21 Nokia Technologies Oy Signalling of metadata for volumetric video
US10846910B2 (en) * 2019-04-10 2020-11-24 Electronic Arts Inc. Method and apparatus for splitting three-dimensional volumes
JP2022537817A (ja) * 2019-06-28 2022-08-30 マジック リープ， インコーポレイテッド 動的オクルージョンのための高速の手のメッシュ化
US11348285B2 (en) * 2019-12-10 2022-05-31 Sony Group Corporation Mesh compression via point cloud representation

Also Published As

Publication number Publication date
JP2023514853A (ja) 2023-04-11
US11373339B2 (en) 2022-06-28
EP4094224A4 (en) 2023-06-07
EP4094224A1 (en) 2022-11-30
WO2021188238A1 (en) 2021-09-23
CN114641797A (zh) 2022-06-17
US20210295566A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
US11373339B2 (en) Projection-based mesh compression
US11348285B2 (en) Mesh compression via point cloud representation
KR102431117B1 (ko) 포인트 클라우드 맵핑
US11836953B2 (en) Video based mesh compression
US11190803B2 (en) Point cloud coding using homography transform
US10735766B2 (en) Point cloud auxiliary information coding
Malassiotis et al. Object-based coding of stereo image sequences using three-dimensional models
US11908169B2 (en) Dense mesh compression
US20230306684A1 (en) Patch generation for dynamic mesh coding
US20230306643A1 (en) Mesh patch simplification
CN113557745B (zh) 点云几何结构填充
WO2023180843A1 (en) Patch generation for dynamic mesh coding
US20240144595A1 (en) 3d scene reconstruction with additional scene attributes
WO2023180842A1 (en) Mesh patch simplification
Chang Creating interactive 3D media with projector-camera systems
CN113557745A (zh) 点云几何结构填充
CN113545075A (zh) 点云全局方块打包
WO2024074961A1 (en) Orthoatlas: texture map generation for dynamic meshes using orthographic projections

Legal Events

Date Code Title Description
E902 Notification of reason for refusal