KR20240067924A - 대칭 메시의 uv 속성 코딩 방법 및 장치 - Google Patents
대칭 메시의 uv 속성 코딩 방법 및 장치 Download PDFInfo
- Publication number
- KR20240067924A KR20240067924A KR1020247012241A KR20247012241A KR20240067924A KR 20240067924 A KR20240067924 A KR 20240067924A KR 1020247012241 A KR1020247012241 A KR 1020247012241A KR 20247012241 A KR20247012241 A KR 20247012241A KR 20240067924 A KR20240067924 A KR 20240067924A
- Authority
- KR
- South Korea
- Prior art keywords
- segment
- vertices
- vertex
- mesh
- symmetry
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000009466 transformation Effects 0.000 claims abstract description 61
- 238000000638 solvent extraction Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000005192 partition Methods 0.000 claims abstract description 10
- 238000006073 displacement reaction Methods 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000000611 regression analysis Methods 0.000 claims description 5
- 230000008521 reorganization Effects 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 24
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000509579 Draco Species 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009125 cardiac resynchronization therapy Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 235000012149 noodles Nutrition 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
방법은 입력 대칭 메시를 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하는 단계; 적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하는 단계; 상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 대칭 변환을 찾는 단계; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점의 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 예측된 정점을 찾는 단계; 및 상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하는 단계를 포함한다.
Description
관련 출원에 대한 상호 참조
본 출원은 2022년 10월 11일에 출원된 미국 가출원 제63/415,108호 및 2023년 10월 10일에 출원된 미국 출원 제18/483,936호의 우선권을 주장하며, 그 개시 내용 전체가 참조에 의해 본 명세서에 포함된다.
본 개시는 일련의 진보된 비디오 코딩 기술에 관한 것이다. 더 구체적으로, 본 개시는 대칭 메시의 UV 속성 코딩에 관한 것이다.
VMesh는 동적 메시를 압축하기 위한 현재 진행 중인 MPEG 표준이다. 현재 VMesh 참조 소프트웨어는 데시메이션된(decimated) 기본 메시, 변위 벡터 및 움직임 필드(motion field)에 기초하여 메시를 압축한다. 변위는 세분화된(subdivided) 기본 메시의 각 정점에 대해 입력 메시상의 가장 가까운 점을 검색함으로써 계산된다. 변위 벡터는 선형 리프팅 방식(linear lifting scheme)을 통해 웨이블릿 계수(wavelet coefficient)로 변환되고, 그런 다음 웨이블릿 계수가 비디오 코덱 또는 산술 코덱에 의해 양자화되고 코딩된다.
반사 대칭(reflection symmetry)은 메시 코딩, 특히 컴퓨터로 생성된 메시의 인기 있는 특성이다. 대칭 메시를 압축하기 위해 대칭성이 활용되었다. 정점은 대칭 평면의 왼쪽 부분과 오른쪽 부분으로 나뉜다. 왼쪽 부분은 메시 코딩으로 인코딩되고 오른쪽 부분은 대칭 예측 및 변위 코딩으로 인코딩된다. UV 속성은 일정 레벨의 대칭성이 있지만, UV 속성은 이동(transition) 및 회전과 같은 다른 대칭 속성이 있을 수 있다. 그러나 대칭 메시에 대한 UV 속성 압축은 아직 활용되고 있지 않다.
정점에 연결된 속성도 특정 레벨의 대칭성이 있다. 그러나, 대칭 정점의 연관된 UV가 항상 거울 대칭을 보이는 것은 아니다. 따라서, 종래의 메시 압축 방법은 메시의 속성을 압축하기 위해 이러한 유형의 대칭 특성을 활용하지 않는다.
하나 이상의 실시예에 따르면, 입력 대칭 메시를 인코딩하는 방법은, 상기 입력 대칭 메시를 UV 속성 맵 내의 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하는 단계; 적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계 - 상기 제1 측은 제1 영역을 점유하는 복수의 정점을 포함함 -; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하는 단계 - 상기 복수의 정점은 재편성 후, 상기 제1 영역보다 작은 제2 영역을 점유함 -; 상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 상기 적어도 하나의 UV 세그먼트에 대한 대칭 변환을 찾는 단계; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점의 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 예측된 정점을 찾는 단계; 및 상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하는 단계를 포함한다.
하나 이상의 실시예에 따르면, 입력 대칭 메시를 인코딩하기 위한 인코더는, 프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리; 및 상기 프로그램 코드를 판독하고 상기 프로그램 코드에 의해 명령받은 대로 동작하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 프로그램 코드는, 상기 적어도 하나의 프로세서로 하여금 상기 입력 대칭 메시를 UV 속성 맵 내의 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하게 하도록 구성된 세그먼트화 코드; 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하게 하도록 구성된 파티셔닝 코드 - 상기 제1 측은 제1 영역을 점유하는 복수의 정점을 포함함 -; 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하게 하도록 구성된 재편성 코드 - 상기 복수의 정점은 재편성 후, 상기 제1 영역보다 작은 제2 영역을 점유함 -; 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 상기 적어도 하나의 UV 세그먼트에 대한 대칭 변환을 찾게 하도록 구성된 대칭 변환 코드; 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점 및 상기 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 정점에 대응하는 예측된 정점을 찾게 하도록 구성된 결정 코드; 및 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하게 하도록 구성된 인코딩 코드를 포함한다.
하나 이상의 실시예에 따르면, 컴퓨터로 판독 가능한 비일시적 매체에는 명령어가 저장되어 있고, 상기 명령어는 입력 대칭 메시를 인코딩하기 위한 인코더의 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 입력 대칭 메시를 UV 속성 맵 내의 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하는 단계; 적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계 - 상기 제1 측은 제1 영역을 점유하는 복수의 정점을 포함함 -; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하는 단계 - 상기 복수의 정점은 재편성 후, 상기 제1 영역보다 작은 제2 영역을 점유함 -; 상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 상기 적어도 하나의 UV 세그먼트에 대한 대칭 변환을 찾는 단계; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점의 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 예측된 정점을 찾는 단계; 및 상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하는 단계를 포함하는 방법을 실행하게 한다.
개시된 주제의 추가 특징, 성질 및 다양한 이점은 다음의 상세한 설명 및 첨부 도면으로부터 더욱 명백해질 것이다.
도 1은 본 개시의 실시예에 따른, 통신 시스템의 블록도의 개략도이다.
도 2는 본 개시의 실시예에 따른, 스트리밍 시스템의 블록도의 개략도이다.
도 3은 본 개시의 실시예에 따라, 3D 메시 세그먼트에서 2D 차트로 매핑되는 UV 파라미터화 매핑의 일례를 나타낸다.
도 4는 본 개시의 실시예에 따라, UV 속성에 대한 대칭 예측 코딩을 수행하기 위한 시스템의 개략도이다.
도 5의 (A)는 본 개시의 실시예에 따른, 메시 및 대응 UV 속성 맵을 나타낸 도면이다.
도 5의 (B)는 본 개시의 실시예에 따른, 절반 대칭 메시 및 대응 UV 속성 맵을 나타낸 도면이다.
도 6은 본 개시의 실시예에 따라, UV 연결성에 기초하여 UV 메시를 세그먼트화하는 예시적인 알고리즘을 나타낸 도면이다.
도 7은 본 개시의 실시예에 따라, 메시에 하나 이상의 UV 정점을 추가하는 것을 나타낸 도면이다.
도 8은 본 개시의 실시예에 따라, 메시를 파티셔닝하기 위한 예시적인 알고리즘을 나타낸 도면이다.
도 9는 본 개시의 실시예에 따라, 메시에서 대응 정점 쌍을 결정하기 위한 예시적인 알고리즘을 나타낸 도면이다.
도 10은 본 개시의 실시예에 따라, 원래의 정점과 예측된 정점 사이의 변위 결정의 일례를 나타낸 도면이다.
도 11은 본 개시의 실시예에 따라, 메시를 인코딩하는 예시적인 프로세스의 흐름도를 나타낸 것이다.
도 12는 본 개시의 실시예에 따라, 메시를 디코딩하는 예시적인 프로세스의 흐름도를 나타낸 것이다.
도 13은 본 개시의 실시예를 구현하는 데 적합한 컴퓨터 시스템의 도면이다.
도 1은 본 개시의 실시예에 따른, 통신 시스템의 블록도의 개략도이다.
도 2는 본 개시의 실시예에 따른, 스트리밍 시스템의 블록도의 개략도이다.
도 3은 본 개시의 실시예에 따라, 3D 메시 세그먼트에서 2D 차트로 매핑되는 UV 파라미터화 매핑의 일례를 나타낸다.
도 4는 본 개시의 실시예에 따라, UV 속성에 대한 대칭 예측 코딩을 수행하기 위한 시스템의 개략도이다.
도 5의 (A)는 본 개시의 실시예에 따른, 메시 및 대응 UV 속성 맵을 나타낸 도면이다.
도 5의 (B)는 본 개시의 실시예에 따른, 절반 대칭 메시 및 대응 UV 속성 맵을 나타낸 도면이다.
도 6은 본 개시의 실시예에 따라, UV 연결성에 기초하여 UV 메시를 세그먼트화하는 예시적인 알고리즘을 나타낸 도면이다.
도 7은 본 개시의 실시예에 따라, 메시에 하나 이상의 UV 정점을 추가하는 것을 나타낸 도면이다.
도 8은 본 개시의 실시예에 따라, 메시를 파티셔닝하기 위한 예시적인 알고리즘을 나타낸 도면이다.
도 9는 본 개시의 실시예에 따라, 메시에서 대응 정점 쌍을 결정하기 위한 예시적인 알고리즘을 나타낸 도면이다.
도 10은 본 개시의 실시예에 따라, 원래의 정점과 예측된 정점 사이의 변위 결정의 일례를 나타낸 도면이다.
도 11은 본 개시의 실시예에 따라, 메시를 인코딩하는 예시적인 프로세스의 흐름도를 나타낸 것이다.
도 12는 본 개시의 실시예에 따라, 메시를 디코딩하는 예시적인 프로세스의 흐름도를 나타낸 것이다.
도 13은 본 개시의 실시예를 구현하는 데 적합한 컴퓨터 시스템의 도면이다.
예시적인 실시예에 대한 다음의 상세한 설명은 첨부 도면을 참조한다. 서로 다른 도면에서의 동일한 참조 번호는 동일하거나 유사한 요소를 식별할 수 있게 해준다.
전술한 개시는 예시 및 설명을 제공하지만, 구현을 개시된 정확한 형태로 제한하거나 총망라하려는 의도는 아니다. 수정 및 변형은 위의 개시내용에 비추어 가능하거나 구현의 실행을 통해 취득될 수 있다. 또한, 한 실시예의 하나 이상의 특징 또는 컴포넌트는 다른 실시예(또는 다른 실시예의 하나 이상의 특징)에 통합되거나 결합될 수 있다. 추가적으로, 아래 제공된 동작의 흐름도 및 설명에서, 하나 이상의 동작이 생략될 수 있고, 하나 이상의 동작이 추가될 수 있고, 하나 이상의 동작이 동시에(적어도 부분적으로) 수행될 수 있으며, 하나 이상의 동작이 전환될 수 있다는 것이 이해된다.
여기에 설명된 시스템 및/또는 방법은 다양한 형태의 하드웨어, 펌웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다는 것이 명백할 것이다. 이러한 시스템 및/또는 방법을 구현하는 데 사용되는 실제 특화된 제어 하드웨어 또는 소프트웨어 코드는 구현을 한정하지 않는다. 따라서, 시스템 및/또는 방법의 동작 및 거동은 구체적인 소프트웨어 코드를 참조하지 않고 여기에 설명되었으며, 소프트웨어 및 하드웨어는 여기에서의 설명에 기초하여 시스템 및/또는 방법을 구현하도록 설계될 수 있다는 것이 이해된다.
특징의 특정 조합이 청구범위에 인용되고 및/또는 명세서에 개시되어 있더라도, 이러한 조합은 가능한 구현의 개시를 한정하려는 의도는 아니다. 실제로, 이들 특징 중 다수는 청구범위에 구체적으로 언급되지 않고 및/또는 명세서에 개시되지 않은 방식으로 결합될 수 있다. 아래에 나열된 각 종속항은 단 하나의 청구항에만 직접적으로 종속할 수 있지만, 가능한 구현의 개시는 청구항 세트의 다른 모든 청구항과 조합된 각 종속항을 포함한다.
여기에 사용된 요소, 행위, 또는 지시는 명시적으로 기재되어 있지 않는 한 중요하거나 필수적인 것으로 해석되어서는 안 된다. 또한, 여기에서 사용된 "일(영어의 관사 "a" 및 "an"에 대응함)은 하나 이상의 항목을 포함하도록 의도되었으며, "하나 이상"과 상호교환적으로 사용될 수 있다. 하나의 항목만 의도되는 경우, "하나"라는 용어 또는 이와 유사한 표현이 사용된다. 또한, 여기에서 사용된 바와 같이, 용어 "가지다(has, have)", "갖는(having)", "포함한다(include)", "포함하는(including)" 등의 용어는 제한이 없는 용어(open-ended term)로 의도된다. 또한, "~에 기초하여(based on)"라는 문구는 달리 명시적으로 언급되지 않는 한 "적어도 부분적으로 ~에 기초하여"를 의미하도록 의도된다. 또한, "[A]와 [B] 중 적어도 하나" 또는 "[A] 또는 [B] 중 적어도 하나"와 같은 표현은 A만을 포함하거나, B만을 포함하거나, A와 B를 모두 포함하는 것으로 이해되어야 한다.
본 명세서 전반에 걸쳐 "한 실시예", "일 실시예" 또는 유사한 표현에 대한 참조는
지시된 실시예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 해결방안의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 본 명세서 전반에 걸쳐 "한 실시예에서", "일 실시예에서" 및 유사한 표현이라는 문구는 모두 동일한 실시예를 지칭할 수 있지만 반드시 그런 것은 아니다.
또한, 본 개시의 설명된 특징, 이점 및 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다. 관련 기술 분야의 당업자는 여기에서의 설명에 비추어, 본 개시가 특정 실시예의 구체적 특징 또는 이점 중 하나 이상 없이 실시될 수 있다는 것을 인식할 것이다. 다른 경우에, 본 개시의 모든 실시예에서는 존재하지 않을 수 있는 특정 실시예에서 추가적인 특징 및 이점이 인식될 수 있다.
제안된 방법은 개별적으로 사용되거나 임의의 순서로 결합될 수 있으며 임의의 다각형 메시에 사용될 수 있다. 본 개시의 실시예는 대칭 기반 메시 코딩을 위한 UV 좌표를 인코딩하는 것에 관한 것이다. 특히, 실시예는 메시를 축소하고 재편성하는 것에 관한 것이다. 먼저 메시를 절반으로 잘라서 메시지를 줄일 수 있으며, 메시를 보다 작은 세그먼트로 줄여서 더 줄일 있다. 메시는 좌표의 한 쪽(예컨대, 왼쪽)과 좌표의 다른 쪽(예컨대, 오른쪽) 사이의 매핑을 가능하게 하는 변환을 활용하여 추가로 재편성되어 더 컴팩트해질 수 있다. 실시예는 결과적으로 인코딩되는 메시를 보다 컴팩트하게 한다. 그 결과, 메시의 적어도 한 쪽은 폐기되어 인코딩되는 메시가 보다 컴팩트해진다. 따라서, 실시예는 송신을 위한 보다 빠른 인코딩 및 보다 작은 비트스트림으로 이어지는 개선된 메시 압축을 가져온다.
도 1 및 도 2를 참조하여, 본 개시의 인코딩 및 디코딩 구조를 구현하기 위한 본 개시의 하나 이상의 실시예를 설명한다.
도 1은 본 개시의 실시예에 따른 통신 시스템(100)의 간략화된 블록도를 나타낸다. 통신 시스템(100)은 네트워크(150)를 통해 상호연결된 적어도 2개의 단말기(110, 120)을 포함할 수 있다. 데이터의 단방향 송신을 위해, 제1 단말기(110)는 메시 데이터를 포함할 수 있는 비디오 데이터를 로컬 위치에서 코딩하여 다른 단말기(120)에 송신할 수 있다. 제2 단말기(120)는 네트워크(150)로부터 다른 단말기의 코딩된 비디오 데이터를 수신하고, 코딩된 데이터를 디코딩하여 복원된 영상 데이터를 표시할 수 있다. 단방향 데이터 송신은 미디어 서비스 애플리케이션 등에서 일반적일 수 있다.
도 1은 예를 들어 화상 회의 중에 발생할 수 있는 코딩된 비디오의 양방향 송신을 지원하기 위해 제공되는 제2 쌍의 단말기(130, 140)를 나타낸다. 데이터의 양방향 송신을 위해, 각각의 단말기(130, 140)는 네트워크(150)를 통해 다른 단말로 송신하기 위해 로컬 위치에서 캡처된 비디오 데이터를 코딩할 수 있다. 각각의 단말기(130, 140)은 또한 다른 단말에 의해 송신되는 코딩된 비디오 데이터를 수신할 수 있고, 코딩된 데이터를 디코딩하고 복원된 비디오 데이터를 로컬 디스플레이 디바이스에 표시할 수 있다.
도 1에서, 단말기(110-140)는 예를 들어 서버, 개인용 컴퓨터, 스마트폰 및/또는 기타 임의의 유형의 단말기일 수 있다. 예를 들어, 단말기(110-140)은 노트북 컴퓨터, 태블릿 컴퓨터, 미디어 플레이어 및/또는 전용 화상 회의 장비일 수 있다. 네트워크(150)는 예를 들어 유선 및/또는 무선 통신 네트워크를 포함하여 단말기(110-140) 사이에 코딩된 비디오 데이터를 전달하는 임의의 수의 네트워크를 나타낸다. 통신 네트워크(150)는 회선 교환(circuit-switched) 및/또는 패킷 교환(packet-switched) 채널에서 데이터를 교환할 수 있다. 대표적인 네트워크로는 통신망, 근거리통신망, 광역통신망 및/또는 인터넷을 포함한다. 본 논의의 목적을 위해, 네트워크(150)의 아키텍처 및 토폴로지는 여기에서 아래에 설명되지 않는 한 본 개시의 동작에 중요하지 않을 수 있다.
도 2는 개시된 주제에 대한 애플리케이션의 일례로서, 스트리밍 환경에서의 비디오 인코더 및 디코더의 배치를 도시한다. 개시된 주제는 예를 들어 화상 회의, 디지털 TV, CD, DVD, 메모리 스틱 등을 포함하는 디지털 미디어에 압축된 비디오의 저장 등을 포함한, 다른 비디오 지원 애플리케이션(video enabled application)과 함께 사용될 수 있다.
도 2에 도시된 바와 같이, 스트리밍 시스템(200)은 비디오 소스(201) 및 인코더(203)를 포함하는 캡처 서브시스템(213)을 포함할 수 있다. 스트리밍 시스템(200)은 적어도 하나의 스트리밍 서버(205) 및/또는 적어도 하나의 스트리밍 클라이언트(206)를 더 포함할 수 있다.
비디오 소스(201)는 예를 들어 3D 메시 및 3D 메시와 연관된 메타데이터를 포함하는 스트림(202)을 생성할 수 있다. 비디오 소스(201)는 예를 들어 3D 센서(예컨대, 깊이 센서) 또는 3D 이미징 기술(예컨대 디지털 카메라(들)), 그리고 3D 센서로부터 수신된 데이터 또는 3D 이미징 기술을 사용하여 3D 메시를 생성하도록 구성된 컴퓨팅 디바이스를 포함할 수 있다. 인코딩된 비디오 비트스트림과 비교할 때 높은 데이터 볼륨을 가질 수 있는 샘플 스트림(202)은 비디오 소스(201)에 결합된 인코더(203)에 의해 처리될 수 있다. 인코더(203)는 하드웨어, 소프트웨어, 또는 이들의 조합을 포함하여 아래에 더 자세히 설명되는 바와 같이 개시된 주제의 측면을 가능하게 하거나 구현할 수 있다. 인코더(203)는 또한 인코딩된 비디오 비트스트림(204)을 생성할 수 있다. 압축되지 않은 스트림(202)과 비교할 때 더 낮은 데이터 볼륨을 가질 수 있는 인코딩된 비디오 비트스트림(204)은 향후 사용을 위해 스트리밍 서버(205)에 저장될 수 있다. 하나 이상의 스트리밍 클라이언트(206)는 인코딩된 비디오 비트스트림(204)의 복사본일 수 있는 비디오 비트스트림(209)을 검색하기 위해 스트리밍 서버(205)에 액세스할 수 있다.
스트리밍 클라이언트(206)는 비디오 디코더(210) 및 디스플레이(212)를 포함할 수 있다. 비디오 디코더(210)는 예를 들어, 인코딩된 비디오 비트스트림(204)의 인커밍 복사본(incoming copy)인 비디오 비트스트림(209)을 디코딩하고, 디스플레이(212) 또는 다른 렌더링 디바이스에 렌더링될 수 있는 아웃고잉 비디오 샘플 스트림(outgoing video sample stream)(211)을 생성할 수 있다. 일부 스트리밍 시스템에서, 비디오 비트스트림(204, 209)은 특정 비디오 코딩/압축 표준에 따라 인코딩될 수 있다.
하나 이상의 실시예에 따르면, 3D 메시는 여러 세그먼트(또는 패치(patch)/차트(chart))로 파티셔닝될 수 있다. 각각의 세그먼트는 지오메트리(geometry), 속성(attribute) 및 연결성 정보(connectivity information)와 연관된 연결된 정점의 세트로 구성될 수 있다. 도 3에 도시된 바와 같이, UV 파라미터화 프로세스(parameterization process)는 메시 세그먼트(300)를 2D UV 아틀라스(atlas)(302, 304)의 2D 차트에 매핑한다. 메시 세그먼트의 각각의 정점에는 2D UV 아틀라스의 2D UV 좌표가 할당될 수 있다. 2D 차트의 정점은 3D 대응물(counterpart)로서 연결된 컴포넌트를 형성할 수 있다. 각각의 정점의 지오메트리 및 연결성 정보는 3D 대응물에서도 승계될 수 있다. 따라서 UV 좌표는 지오메트리 및 연결성 정보를 포함하는 연관된 UV 속성에 기초하여, 2D 공간의 정점을 3D 공간으로 매핑한다.
메시는 형상이나 객체를 정의하는 정점, 에지 및 면의 모음일 수 있다. 3D 메시는 복수의 정점을 포함할 수 있으며, 각각의 정점은 3D 공간의 3D 좌표(예컨대, x, y, z)와 연관되어 있다. 2D 메시는 2D 공간의 2D 좌표(예컨대, x 및 y)와 연관된 각각의 정점을 갖는 복수의 정점을 포함할 수 있다. 정점들은 연결되어 에지를 형성할 수 있으며, 여기서 정점들의 오음은 면을 정의할 수 있다.
하나 이상의 실시예에 따르면, 도 4는 대칭 메시의 UV 맵을 압축하기 위한 프레임워크를 나타낸다. 대칭 메시 은 정점 를 왼쪽 정점 세트 , 오른쪽 정점 세트 및 대칭 평면 정점 세트 로; 면 를 왼쪽 면 세트 , 오른쪽 면 세트 및 교차 대칭 평면 세트 로 분리하는 거울 대칭 평면(mirror symmetry plane) 를 가질 수 있다. 하나 이상의 예에서, 하나의 정점은 다수의 UV 속성을 가질 수 있으므로, 정점의 대칭 특성(symmetry property)은 UV 속성에 직접 적용되지 않는다. 따라서, 하나 이상의 실시예에 따르면, UV 속성 는 연결되지 않은 부분들 로 세그먼트화(402)되어, 2D 대칭 예측을 적용한다. 대칭 변환 를 사용하여 i번째 세그먼트에 대해 대칭 특성을 검출하는 경우(404), 세그먼트를 파티셔닝하고(406), 전반(first half) UV 속성 ( 왼쪽 UV 및 대칭 평면 내(in-symmetry plane) UV의 )가 코딩되어 대칭 예측 방법(408)을 통해 후반(second half) 에 대한 예측(408)으로서 사용된다. 후반의 예측된 것과 원본 사이의 변위가 비트스트림에 인코딩된다. 전반 UV 및 비대칭 UV가 코딩되고, 대칭 변환의 파라미터도 인코딩된 비트스트림에서 시그널링될 수 있다.
하나 이상의 실시예에 따르면, 세그먼트화는 입력 대칭 메시에 대해 수행된다. 입력 대칭 메시는 UV 속성 맵에서 다수의 연결되지 않은 부분으로 세그먼트화될 수 있다. 예를 들어, 도 5의 (A)는 도 6에 나타낸 일례의 세그먼트화 알고리즘에 기초하여 3개의 연결되지 않은 부분(502, 504, 506)으로 세그먼트화된 스푼 메시(spoon mesh)(500)의 UV 맵을 도시한다. 도 5의 (B)는 3개의 연결되지 않은 부분(510, 512, 514)으로 세그먼트화된 하프 스푼 메시(half spoon mesh)(508)의 UV 맵을 도시한다. 하프 스푼 메시(508)의 UV 맵은 연결되지 않은 부분 사이에 빈 공간을 초래할 수 있다. 이에 따라, 하프 스푼 메시의 UV 맵 내의 정점은 재편성하여(reorganize) 연결되지 않은 부분 사이의 빈 공간을 줄여 보다 컴팩트한 메시를 만들 수 있다. 즉, 재편성된 정점은 재편성 후에 제1 영역보다 작은 제2 영역을 점유하게 된다.
도 6에서, 는 seed UV에 직간접적으로 연결되어 있는 모든 UV를 찾는 함수이다. 함수 는 세트 에서 UV를 포함하는 모든 면을 찾는 함수이다. 하나 이상의 예에서, 세그먼트화는 텍스처(texture)에 기초할 수 있다. 예를 들어, 연결되지 않은 부분은 고유한 텍스처를 가진 메시의 부분에 기초할 수 있다. 예를 들어, 도 5의 (A)를 참조하면, 부분(502, 504, 506)은 각각 서로에 대해 고유한 텍스처를 가질 수 있다. 하나 이상의 예에서, 세그먼트화는 입력 메시의 대칭 특성에 기초할 수 있다. 예를 들어, 서로 대칭인 메시의 부분들은 메시의 다른 부분으로부터 세그먼트화될 수 있다.
하나 이상의 실시예에 따르면, 세그먼트화된 UV 각각에 대해 2D 대칭 검출 방법을 수행하여 이 세그먼트 UV에 대한 대칭 변환 를 찾는다. 하나 이상의 예에서, 대칭 예측은 UV 좌표에만 기초한다. 2D 이미지에 대한 예측 기법은 UV 세그먼트에 적용될 수 있다. UV에 대한 이러한 대칭 예측은 대응 정점 대칭과 독립적일 수 있다. 하나 이상의 예에서, 이 접근 방식은 거울 대칭이 있는 세그먼트에만 적용된다.
하나 이상의 실시예에 따르면, UV 좌표는 거울 대칭 특성을 유지할 수 없기 때문에, 거울 대칭은 거울 대칭, 회전, 평행이동(translation)의 조합으로 일반화될 수 있다. 하나 이상의 예에서, 실시예는 대응하는 UV 쌍을 찾기 위해 지오메트리 대칭에 기초할 수 있다. 각각의 UV 좌표 는 대응하는 정점 에 매핑될 수 있으며 로서 대칭의 왼쪽 부분 또는 오른쪽 부분으로 분류될 수 있다. 그러므로, 이 2세트의 UV 좌표가 주어지면, 가 파라미터 세트인 를 변환하는 변환이 추정될 수 있다. 하나 이상의 예에서, 2D 변환 는 다음과 같이 일반적인 3×3 변환 행렬로 표현될 수 있다.
아핀 변환(affine transform)을 포함하여 총 6개의 파라미터가 있다.
하나 이상의 예에서, 이동, 회전 및 미러만 고려된다. 따라서, 다음과 같이 4개의 파라미터만 사용된다.
식 (2):
하나 이상의 실시예에 따르면, 대칭 메시를 파티셔닝하기 위해, 교차 대칭 평면 연결성(cross symmetry plane connectivity)을 위해 하나 이상의 새로운 정점과 에지가 추가될 수 있다. 하나 이상의 예에서, 연관된 UV와 UV 연결성은 추가된 정점 및 에지에 대해 추가될 수 있다. 도 7은 정점 u5와 u6 그리고 연관된 UV 연결성이 추가되는 세그먼트의 일례를 나타낸다. 왼쪽, 오른쪽 및 교차 대칭의 UV 속성 세트는 각각 일 수 있다.
도 8은 세그먼트에 새로운 정점을 추가하기 위한 예시적인 알고리즘을 나타낸다. 하나 이상의 예에서, 연산은 평면 와 두 정점 사이의 충돌 지점을 찾는다. 연산은 의 요소 수를 나타낸다. 새로 추가된 정점 와 연관된 UV를 찾기 위해, 선형 보간을 수행할 수 있는 보간 연산자 를 사용할 수 있다. 도 7을 참조하면, 평면 는 정점 u1과 u3 사이의 에지와 교차하며, 여기서 정점 u5가 추가된다. 또한 평면 는 정점 u2와 u3 사이의 에지와 교차하며, 여기서 정점 u6이 추가된다. 보간에 기초하여, 새로운 정점 u5와 u6 사이의 에지가 추가될 수 있다.
새로 추가된 UV는 다음과 같이 도출될 수 있다:
식 (3):
하나 이상의 실시예에 따르면, 주어진 대응 정점 및 은 교차 대칭 평면 에지와 대칭 평면의 붕괴에 의해 새로 추가된 정점이다. 새로운 UV 예측에 대한 가중치는 다음과 같이 도출될 수 있다:
식 (4):
하나 이상의 실시예에 따르면, 코딩될 절반 UV를 추출하기 위해, 왼쪽 및 평면 내 정점과 연관된 UV는 유지되는 반면 오른쪽 정점과 연관된 UV는 폐기된다. 하나 이상의 예에서, UV 연결성은 새로운 UV 인덱스로 다시 매핑된다. 하나 이상의 예에서, 예측 UV를 이용한 변위 코딩이 수행된다.
하나 이상의 실시예에 따르면, 변환 파라미터는 대응 UV 세그먼트의 대칭 정점 쌍과 연관된 대응 UV 쌍에 기초하여 추정된다. 예를 들어, i번째 UV 세그먼트 는 정점 세트 와 연관될 수 있다. i번째 UV 세그먼트 는 각각 정점의 오른 쪽과 왼쪽 부분 에 연관된 왼쪽과 오른쪽 UV 를 갖는다. 도 9는 세트 에서 왼쪽과 오른쪽 UV 사이의 매칭 쌍을 찾는 데 사용되는 예시적인 알고리즘을 나타낸다.
도 9에서, FindVertex(.) 및 FindUVs(.) 연산은 주어진 UV의 대응 정점을 찾는 함수일 수 있으며 그 반대의 경우도 마찬가지이다. SymmPred(.) 연산은 주어진 정점과 대칭 평면 Q를 가지고 3D로 대칭 예측을 수행하는 함수일 수 있다.
하나 이상의 실시예에 따르면, 두 세트의 2D 점 으로부터 변환 파라미터 를 추정하기 위해 회귀(regression)가 수행된다. 예를 들어, 회귀 분석을 수행하여 메시의 왼쪽에 있는 정점과 상관된 메시의 오른쪽에 있는 정점을 결정하여 변환 파라미터 를 추정할 수 있다. 변환 파라미터 를 추정한 후, 추정된 변환 파라미터 를 통해 다음과 같이 대칭 UV 속성이 예측된다.
식 (5):
여기서, 은 예측된 오른쪽 UV 속성을 나타낸다.
하나 이상의 실시예에 따르면, 2D 변위 벡터 코딩을 사용하여 예측된 과 원래의 사이의 차이를 인코딩한다. 도 10은 정점을 예측하고 변위를 결정하는 예를 도시한다. 도 10에 도시된 바와 같이, 세그먼트는 거울 대칭을 나타내지 않는 원래의 정점 과 을 포함할 수 있다. 추정된 변환이 식 (5)에 따라 적용되어 을 획득할 수 있다. 예측을 수행한 후, 예측된 과 원래 의 차이에 기초하여 변위 d를 구할 수 있다.
하나 이상의 실시예에 따르면, 전반부 UV는 그들의 상관관계를 활용하기 위해 지오메트리의 전반부와 함께 인코딩된다. 완벽한 및 거의 완벽한 대칭 메시는 다른 코덱을 사용하여 압축될 수 있는 정점, 면 및 UV 속성이 있는 왼쪽 메시로 분할될 수 있다. 하나 이상의 예에서, Draco가 사용될 수 있다. 당업자가 이해하는 바와 같이
하나 이상의 실시예에 따르면, 변환 행렬은 인코딩되어 인코딩된 비트스트림에서 시그널링된다. 하나 이상의 예에서, UV 세그먼트와, 연관된 변환 행렬은 나머지 왼쪽 메시에서 UV 수의 내림차순으로 정렬된다. 하나 이상의 예에서, 이 순서에 기초하여, 변환 행렬의 파라미터 각각은 행별로 순차적으로 인코딩된다.
도 11은 본 개시의 실시예에 따른 메시를 인코딩하는 예시적인 프로세스(1100)의 흐름도를 나타낸다. 이 프로세스는 동작 S1102에서 시작하여 3D 메시를 복수의 2D 세그먼트로 세그먼트화한다. 예를 들어, 3D 메시는 도 6에 나타낸 알고리즘에 따라 세그먼트화될 수 있다.
프로세스는 동작 S1104로 진행하여 적어도 하나의 2D 세그먼트를 파티셔닝한다. 예를 들어, 적어도 하나의 2D 세그먼트는 도 8에 나타낸 알고리즘에 따라 파티셔닝된다. 프로세스는 동작 S1106으로 진행하여 적어도 하나의 2D 세그먼트의 정점 쌍 사이에서 변환을 추정한다. 예를 들어, 변환은 도 9에 도시된 알고리즘에 기초하여 추정될 수 있다.
프로세스는 동작 S1108로 진행하여 추정된 변환에 기초하여 예측을 수행한다. 예를 들어, 예측은 식 (5)에 따라 수행될 수 있다. 프로세스는 동작 S1110로 진행하여 예측된 정점과 원래의 정점 사이의 변위를 결정한다. 예를 들어, 변위는 도 10에 따라 결정될 수 있다. 프로세스는 동작 S1112로 진행하여 비트스트림을 인코딩한다. 인코딩된 비트스트림은 세그먼트의 한쪽(예컨대, 왼쪽)의 정점, 예측된 변환 및 결정된 변위를 포함할 수 있다.
도 12는 본 개시의 실시예에 따른 메시를 디코딩하는 예시적인 프로세스(1200)의 흐름도를 나타낸 것이다. 프로세스는 동작 S1202에서 시작하여 인코딩된 비트스트림을 수신할 수 있다. 왼쪽 정점, 변환 및 변위는 비트스트림으로부터 디코딩될 수 있다.
프로세스는 동작 S1204로 진행하여 오른쪽 정점을 도출한다. 예를 들어, 예측된 오른쪽 정점을 결정하기 위해 예측된 변환과 왼쪽 정점의 사용에 기초하여 오른쪽 정점이 도출될 수 있다.
프로세스는 동작 S1206으로 진행하여 디코딩된 좌측 정점과 도출된 우측 정점에 기초하여 2D 세그먼트를 재구축한다. 프로세스는 동작 S1208로 진행하여 재구축된 2D 세그먼트에 기초하여 3D 메시를 재구축한다.
전술한 기술은 컴퓨터로 판독 가능한 명령어를 사용하고 하나 이상의 컴퓨터로 판독 가능한 매체에 물리적으로 저장될 수 있는 컴퓨터 소프트웨어로서 구현될 수 있다. 예를 들어, 도 13은 본 개시의 특정 실시예를 구현하기에 적합한 컴퓨터 시스템(1300)을 도시한다.
컴퓨터 소프트웨어는 컴퓨터 중앙 처리 유닛(central processing unit, CPU), 그래픽 처리 유닛(graphics processing unit, GPU) 등에 의해, 어셈블리(assembly), 컴파일(compilation), 링킹(linking), 또는 이와 유사한 메커니즘을 거쳐 직접, 또는 해석(interpretation), 마이크로 코드 실행(micro-code execution) 등을 통해 실행될 수 있는 명령어를 포함하는 코드를 생성할 수 있는 임의의 적절한 기계어 코드 또는 컴퓨터 언어를 사용하여 코딩될 수 있다.
명령어는, 예를 들어 개인용 컴퓨터, 태블릿 컴퓨터, 서버, 스마트폰, 게이밍 기기, 사물 인터넷 기기 등을 포함한, 다양한 유형의 컴퓨터 또는 그 구성요소에서 실행될 수 있다.
도 13에 도시된 컴퓨터 시스템(1300)의 컴포넌트는 본질적으로 예시적인 것이며, 본 개시의 실시예를 구현하는 컴퓨터 소프트웨어의 사용 또는 기능의 범위에 대한 어떠한 한정도 시사하려는 것은 아니다. 컴포넌트의 구성은 컴퓨터 시스템(1300)의 비한정적 실시예에 나타낸 컴포넌트 중 어느 하나 또는 컴포넌트의 조합과 관련된 어떠한 종속성 또는 요건을 가지는 것으로 해석되어서는 안 된다.
컴퓨터 시스템(1300)은 특정 휴먼 인터페이스 입력 디바이스(human interface input device)를 포함할 수 있다. 이러한 휴먼 인터페이스 입력 디바이스는 한 명 이상의 인간 사용자에 의한 입력, 예를 들어 촉각 입력(예: 키 누름(keystroke), 스와이프(swip), 데이터 장갑 움직임), 오디오 입력(예: 음성, 박수), 시각적 입력(예: 제스처), 후각 입력(도시되지 않음)에 입력에 응답할 수 있다. 휴먼 인터페이스 디바이스는 또한 오디오(예: 음성, 음악, 주변 소리), 이미지(예: 스캔된 이미지, 정지 이미지 카메라로부터 획득한 픽처 이미지), 비디오(예: 2차원 비디오, 입체 비디오(stereoscopic video)를 포함한 3차원 비디오)와 같은, 사람에 의한 의식적 입력과 반드시 직접 관련이 있는 것은 아닌 특정 미디어를 캡처하는 데 사용될 수 있다.
입력 휴먼 인터페이스 디바이스는 키보드(1301), 마우스(1302), 트랙 패드(1303), 터치 스크린(1310), 데이터 장갑(도시되지 않음), 조이스틱(1305), 마이크로폰(1306), 스캐너(1307), 카메라(1308) 중 하나 이상(각각 하나만 표시됨)을 포함할 수 있다.
컴퓨터 시스템(1300)은 특정 휴먼 인터페이스 출력 디바이스를 포함할 수 있다. 이러한 휴먼 인터페이스 출력 디바이스는 예를 들어 촉각 출력, 소리, 빛 및 냄새/맛을 통해, 한 명 이상의 인간 사용자의 감각을 자극할 수 있다. 이러한 휴먼 인터페이스 출력 디바이스는 촉각 출력 디바이스를 포함할 수 있다(예를 들어, 터치 스크린(1310), 데이터 장갑, 또는 조이스틱(1305)에 의한 촉각 피드백, 다만, 입력 디바이스의 역할을 하지 않는 촉각 피드백 디바이스도 있을 수 있음). 예를 들어, 이러한 디바이스는 오디오 출력 디바이스(예: 스피커(1309), 헤드폰(도시되지 않음)), 시각적 출력 디바이스(예: 각각 터치 스크린 입력 능력이 있거나 없는, 각각 촉각 피드백 능력이 있거나 없는, CRT 스크린, LCD 스크린, 플라즈마 스크린, OLED 스크린을 포함한, 스크린(1310) - 그 일부는 스테레오그래픽 출력(stereographic), 가상 현실 안경(virtual-reality glasses)(도시되지 않음), 홀로그래픽 디스플레이(holographic display) 및 연기 탱크(smoke tank)(도시되지 않음)와 같은 수단을 통해 2차원 시각적 출력 또는 3차원 이상의 출력을 할 수 있음 -), 및 프린터(도시되지 않음)를 포함할 수 있다.
컴퓨터 시스템(1300)은 또한 CD/DVD 등의 매체(1321)를 구비한 CD/DVD ROM RW(1320)을 포함한 광학 매체, 썸 드라이브(thumb-drive)(1322), 착탈 가능한 하드 드라이브 또는 솔리드 스테이트 드라이브(1323), 테이프 및 플로피 디스크(도시되지 않음)와 같은 레거시 자기 매체, 보안 동글(security dongle)(도시되지 않음)과 같은 특수한 ROM/ASIC/PLD 기반 디바이스 등의 인간이 액세스 가능한 저장 디바이스 및 그 연관 매체를 포함할 수 있다.
당업자는 또한 현재 개시된 주제와 관련하여 사용된 바와 같이 컴퓨터로 판독 가능한 매체"라는 용어가 송신 매체, 반송파(carrier wave) 또는 기타 일시적인 신호를 포함하지 않는다는 것을 이해해야 한다.
컴퓨터 시스템(1300)은 또한 하나 이상의 통신 네트워크에 대한 인터페이스를 포함할 수 있다. 네트워크는 무선, 유선, 광 등의 네트워크일 수 있다. 네트워크는 또한 로컬, 광역, 대도시, 차량 및 산업, 실시간, 지연 허용 등의 네트워크일 수 있다. 네트워크의 예로는 이더넷, 무선 LAN, GSM, 3G, 4G, 5G, LTE, 등을 포함하는 셀룰러 네트워크, 케이블 TV, 위성 TV, 및 지상파 방송 TV를 포함하는 TV 유선 또는 무선 광역 디지털 네트워크, CANBus를 포함하는 차량 및 산업용, 등을 포함한다. 특정 네트워크는 일반적으로 특정 범용 데이터 포트 또는 주변 버스(1349)(예: 컴퓨터 시스템(1300)의 USB 포트)에 부착된 외부 네트워크 인터페이스 어댑터)를 필요로 하며; 다른 것은 일반적으로 이하에 설명하는 바와 같이 시스템 버스에 부착(attachment)함으로써 컴퓨터 시스템(1300)의 코어에 통합된다(예를 들어, PC 컴퓨터 시스템에의 이더넷 인터페이스 또는 스마트폰 컴퓨터 시스템에의 셀룰러 네트워크 인터페이스). 이러한 네트워크 중 임의의 것을 사용하여, 컴퓨터 시스템(1300)은 다른 엔티티와 통신할 수 있다. 이러한 통신은 단방향, 수신 전용(예를 들어, TV 방송), 단방향 전송 전용(예를 들어, CANbus에서 특정 CANbus 기기로) 또는 양방향(예를 들어, 로컬 또는 광역 디지털 네트워크를 사용하여 다른 컴퓨터 시스템에의)일 수 있다. 이러한 통신은 클라우드 컴퓨팅 환경(1355)에의 통신을 포함할 수 있다. 특정 프로토콜 및 프로토콜 스택이 전술한 바와 같은 네트워크 및 네트워크 인터페이스 각각에 사용될 수 있다.
전술한 휴먼 인터페이스 디바이스, 인간이 액세스 가능한 저장 디바이스 및 네트워크 인터페이스는 컴퓨터 시스템(1300)의 코어(1340)에 부착될 수 있다.
코어(1340)는 하나 이상의 CPU(Central Processing Unit)(1341), GPU(Graphics Processing Unit)(1342), FPGA(Field Programmable Gate Area)(1343) 형태의 특화된 프로그램 가능한 처리 유닛, 특정 태스크를 위한 하드웨어 가속기(1344) 등을 포함할 수 있다. ROM(Read-only memory)(1345), 랜덤 액세스 메모리(1346), 사용자가 액세스할 수 없는 내부 하드 드라이브, SSD 등의 내부 대용량 저장장치(1347)와 함께, 이러한 디바이스는 시스템 버스(1348)을 통해 연결될 수 있다. 몇몇 컴퓨터 시스템에서, 시스템 버스(1348)는 추가적인 CPU, GPU 등에 의한 확장을 가능하게 하는 하나 이상의 물리 플러그의 형태로 액세스 가능할 수 있다. 주변 기기는 코어의 시스템 버스(1348)에 직접 연결되거나 주변 버스(1349)를 통해 연결될 수 있다. 주변 버스를 위한 아키텍처로는 PCI, USB 등을 포함한다. 그래픽 어댑터(1350)는 코어(1340)에 포함될 수 있다.
CPU(1341), GPU(1342), FPGA(1343) 및 가속기(1344)는, 조합하여, 전술한 컴퓨터 코드를 구성할 수 있는 특정 명령어를 실행할 수 있다. 그 컴퓨터 코드는 ROM(1345) 또는 RAM(1346)에 저장될 수 있다. 이행 데이터(transitional data)는 RAM(1346)에도 저장될 수 있는 반면, 영구 데이터는 예를 들어, 내부 대용량 저장장치(1347)에 저장될 수 있다. 메모리 디바이스 중 어느 것에 대한 빠른 저장 및 검색은, 하나 이상의 CPU(1341), GPU(1342), 대용량 저장장치(1347), ROM(1345), RAM(1346) 등과 밀접하게 연관될 수 있는 캐시 메모리의 사용을 통해 가능해질 수 있다.
컴퓨터로 판독 가능한 매체는 다양한 컴퓨터로 구현되는 동작(computer-implemented operation)을 수행하기 위한 컴퓨터 코드를 가질 수 있다. 매체 및 컴퓨터 코드는 본 개시의 목적을 위해 특별히 설계되고 구축된 것일 수 있거나, 컴퓨터 소프트웨어 분야의 당업자에게 잘 알려져 있고 이용 가능한 종류일 수 있다.
한정이 아닌 예로서, 아키텍처(1300), 구체적으로 코어(1340)를 갖는 컴퓨터 시스템은 하나 이상의 유형의 컴퓨터로 판독 가능한 매체에 구현된 소프트웨어 실행하는 프로세서(들)(CPU, GPU, FPGA, 가속기 등을 포함)의 결과로서 기능을 제공할 수 있다. 이러한 컴퓨터로 판독 가능한 매체는 위에서 소개한 바와 같이 사용자가 액세스할 수 있는 대용량 저장장치와 연관된 매체일 수 있을 뿐만 아니라 코어 내부 대용량 저장장치(1347) 또는 ROM(1345)과 같은, 비일시적인 성질의 코어(1340)의 특정 저장장치일 수 있다. 본 개시의 다양한 실시예를 구현하는 소프트웨어는 이러한 디바이스에 저장되고 코어(1340)에 의해 실행될 수 있다. 컴퓨터로 판독 가능한 매체는 구체적인 필요에 따라, 하나 이상의 메모리 소자 또는 칩을 포함할 수 있다. 소프트웨어는 코어(1340) 및 특히 내부의 프로세서(CPU, GPU, FPGA 등 포함)로 하여금 RAM(1346)에 저장된 데이터 구조를 정의하고 소프트웨어에 의해 정의된 프로세스에 따라 이러한 데이터 구조를 수정하는 것을 포함하여, 여기에 설명된 특정 프로세스 또는 특정 프로세스의 특정 부분을 실행하도록 할 수 있다. 추가로 또는 대안으로서, 컴퓨터 시스템은 여기에 설명된 특정 프로세스 또는 특정 프로세스의 특정 부분을 실행하기 위해 소프트웨어 대신 또는 소프트웨어와 함께 작동할 수 있는, 논리 배선(logic hardwired)의 결과로서 그렇지 않으면 회로(예: 가속기(1344))에 다른 방식으로 구현되는 기능을 제공할 수 있다. 소프트웨어에 대한 언급은 논리를 포함할 수 있으며, 적절한 경우 그 반대도 마찬가지이다. 컴퓨터로 판독 가능한 매체에 대한 언급은 실행을 위한 소프트웨어를 저장하는 회로(예: 집적 회로(IC)), 실행을 위한 논리를 구현하는 회로, 또는 적절한 경우 둘 다를 포함할 수 있다. 본 개시는 하드웨어와 소프트웨어의 임의의 적절한 조합을 포함한다.
본 개시는 여러 예시적인 실시예를 설명했지만, 본 개시의 범위 내에 속하는 변경, 순열 및 다양한 대체 등가물이 존재한다. 따라서, 당업자는 본 명세서에 명시적으로 도시되지 않거나 설명되지 않았지만, 본 개시의 원리를 구현하고 따라서 본 개시의 사상과 범위 내에 있는 수많은 시스템 및 방법을 고안할 수 있음을 이해할 것이다.
상기한 개시내용은 또한 아래에 나열된 실시예를 포함한다:
입력 대칭 메시를 UV 속성 맵에서 다수의 연결되지 않은 부분으로 세그먼트화하기 위해 세그먼트화 방법이 사용된다.
(1) 입력 대칭 메시를 인코딩하는 방법으로서, 상기 방법은, 상기 입력 대칭 메시를 UV 속성 맵 내의 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하는 단계; 적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계 - 상기 제1 측은 제1 영역을 점유하는 복수의 정점을 포함함 -; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하는 단계 - 상기 복수의 정점은 재편성 후에 상기 제1 영역보다 작은 제2 영역을 점유함 -; 상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 상기 적어도 하나의 UV 세그먼트에 대한 대칭 변환을 찾는 단계; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점의 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 예측된 정점을 찾는 단계; 및 상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하는 단계를 포함한다.
(2) 특징 (1)에 따른 방법은, 상기 입력 대칭 메시가 상기 입력 대칭 메시와 연관된 텍스처에 기초하여 세그먼트화되며, 적어도 2개의 연결되지 않은 UV 세그먼트는 서로 다른 텍스처를 갖는다.
(3) 특징 (1)에 따른 방법은, 상기 입력 대칭 메시가 상기 입력 메시의 대칭 특성에 기초하여 세그먼트화된다.
(4) 특징 (1) - (3) 중 어느 하나의 방법은, 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계가 상기 평면과 상기 적어도 하나의 UV 세그먼트 사이의 대응 충돌 지점에 기초하여 하나 이상의 새로운 정점을 추가하는 단계를 포함한다.
(5) 특징 (4)의 방법은, 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계는, 2개의 새로운 정점 사이에 새로운 에지를 추가하는 단계를 더 포함한다.
(6) 특징 (1) - (5) 중 어느 하나의 방법은, 상기 대칭 변환이 6 파라미터 아핀 변환이다.
(7) 특징 (1) - (5) 중 어느 하나의 방법은, 상기 대칭 변환이 4 파라미터 아핀 변환이다.
(8) 특징 (1) - (7) 중 어느 하나의 방법은, 상기 대칭 변환이 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 정점과 상기 UV 세그먼트의 상기 제2 측의 정점 사이에서 수행된 회귀 분석에 기초하여 결정된다.
(9) 특징 (1) - (8) 중 어느 하나의 방법은, 상기 예측된 정점이 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점에 대칭이다.
(10) 특징 (5)의 방법은, 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각과, 대응하는 예측된 정점 사이의 변위를 결정하는 단계를 더 포함하고, 상기 비트스트림은 각각의 변위 및 추정된 변환을 더 포함한다.
(11) 입력 대칭 메시를 인코딩하기 위한 인코더로서, 상기 인코더는, 프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리; 및 상기 프로그램 코드를 판독하고 상기 프로그램 코드에 의해 명령받은 대로 동작하도록 구성된 적어도 하나의 프로세서를 포함하고, 상기 프로그램 코드는, 상기 적어도 하나의 프로세서로 하여금 상기 입력 대칭 메시를 UV 속성 맵 내의 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하게 하도록 구성된 세그먼트화 코드; 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하게 하도록 구성된 파티셔닝 코드 - 상기 제1 측은 제1 영역을 점유하는 복수의 정점을 포함함 -; 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하게 하도록 구성된 재편성 코드 - 상기 복수의 정점은 재편성 후에 상기 제1 영역보다 작은 제2 영역을 점유함 -; 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 상기 적어도 하나의 UV 세그먼트에 대한 대칭 변환을 찾게 하도록 구성된 대칭 변환 코드; 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점 및 상기 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 정점에 대응하는 예측된 정점을 찾게 하도록 구성된 결정 코드; 및 상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하게 하도록 구성된 인코딩 코드를 포함한다.
(12) 특징 (11)에 따른 인코더는, 상기 입력 대칭 메시가 상기 입력 대칭 메시와 연관된 텍스처에 기초하여 세그먼트화되며, 연결되지 않은 적어도 2개의 UV 세그먼트는 서로 다른 텍스처를 갖는다.
(13) 특징 (11)에 따른 인코더는, 상기 입력 대칭 메시가 상기 입력 메시의 대칭 특성에 기초하여 세그먼트화된다.
(14) 특징 (11) - (13) 중 어느 하나에 따른 인코더는, 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 것이 상기 평면과 상기 적어도 하나의 UV 세그먼트 사이의 대응 충돌 지점에 기초하여 하나 이상의 새로운 정점을 추가하는 것을 포함한다.
(15) 특징 (14)에 따른 인코더는, 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 것이 2개의 새로운 정점 사이에 새로운 에지를 추가하는 것을 더 포함한다.
(16) 특징 (11) - (15) 중 어느 하나의 인코더는, 상기 대칭 변환이 6 파라미터 아핀 변환이다.
(17) 특징 (11) - (15) 중 어느 하나의 인코더는, 상기 대칭 변환이 4 파라미터 아핀 변환이다.
(18) 특징 (11) - (17) 중 어느 하나의 인코더는, 상기 대칭 변환이 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 정점과 상기 UV 세그먼트의 상기 제2 측의 정점 사이에서 수행된 회귀 분석에 기초하여 결정된다.
(19) 특징 (11) - (18) 중 어느 하나의 인코더는, 상기 예측된 정점은 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점에 대칭이다.
(20) 명령어가 저장된, 컴퓨터로 판독 가능한 비일시적 매체로서, 상기 명령어는 입력 대칭 메시를 인코딩하기 위한 인코더의 프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 입력 대칭 메시를 UV 속성 맵 내의 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하는 단계; 적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계 - 상기 제1 측은 제1 영역을 점유하는 복수의 정점을 포함함 -; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하는 단계 - 상기 복수의 정점은 재편성 후, 상기 제1 영역보다 작은 제2 영역을 점유함 -; 상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 상기 적어도 하나의 UV 세그먼트에 대한 대칭 변환을 찾는 단계; 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점의 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 예측된 정점을 찾는 단계; 및 상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하는 단계를 포함하는 방법을 실행하게 한다.
Claims (20)
- 입력 대칭 메시를 인코딩하는 방법으로서,
상기 입력 대칭 메시를 UV 속성 맵 내의 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하는 단계;
적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계 - 상기 제1 측은 제1 영역을 점유하는 복수의 정점을 포함함 -;
상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하는 단계 - 상기 복수의 정점은 재편성 후, 상기 제1 영역보다 작은 제2 영역을 점유함 -;
상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 상기 적어도 하나의 UV 세그먼트에 대한 대칭 변환을 찾는 단계;
상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점의 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 예측된 정점을 찾는 단계; 및
상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 입력 대칭 메시는 상기 입력 대칭 메시와 연관된 텍스처에 기초하여 세그먼트화되며, 적어도 2개의 연결되지 않은 UV 세그먼트는 서로 다른 텍스처를 갖는, 방법. - 제1항에 있어서,
상기 입력 대칭 메시는 상기 입력 메시의 대칭 특성에 기초하여 세그먼트화되는, 방법. - 제1항에 있어서,
상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계는 상기 평면과 상기 적어도 하나의 UV 세그먼트 사이의 대응 충돌 지점에 기초하여 하나 이상의 새로운 정점을 추가하는 단계를 포함하는, 방법. - 제4항에 있어서,
상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계는 2개의 새로운 정점 사이에 새로운 에지를 추가하는 단계를 더 포함하는, 방법. - 제1항에 있어서,
상기 대칭 변환은 6 파라미터 아핀 변환인, 방법. - 제1항에 있어서,
상기 대칭 변환은 4 파라미터 아핀 변환인, 방법. - 제1항에 있어서,
상기 대칭 변환은 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 정점과 상기 UV 세그먼트의 상기 제2 측의 정점 사이에서 수행된 회귀 분석에 기초하여 결정되는, 방법. - 제1항에 있어서,
상기 예측된 정점은 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점에 대칭인, 방법. - 제5항에 있어서,
상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각과, 대응하는 예측된 정점 사이의 변위를 결정하는 단계를 더 포함하고,
상기 비트스트림은 각각의 변위 및 추정된 변환을 더 포함하는, 방법. - 입력 대칭 메시를 인코딩하기 위한 인코더로서,
프로그램 코드를 저장하도록 구성된 적어도 하나의 메모리; 및
상기 프로그램 코드를 판독하고 상기 프로그램 코드에 의해 명령받은 대로 동작하도록 구성된 적어도 하나의 프로세서
를 포함하고,
상기 프로그램 코드는,
상기 적어도 하나의 프로세서로 하여금 상기 입력 대칭 메시를 UV 속성 맵 내의 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하게 하도록 구성된 세그먼트화 코드;
상기 적어도 하나의 프로세서로 하여금 적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하게 하도록 구성된 파티셔닝 코드 - 상기 제1 측은 제1 영역을 점유하는 복수의 정점을 포함함 -;
상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하게 하도록 구성된 재편성 코드 - 상기 복수의 정점은 재편성 후, 상기 제1 영역보다 작은 제2 영역을 점유함 -;
상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 상기 적어도 하나의 UV 세그먼트에 대한 대칭 변환을 찾게 하도록 구성된 대칭 변환 코드;
상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점 및 상기 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 정점에 대응하는 예측된 정점을 찾게 하도록 구성된 결정 코드; 및
상기 적어도 하나의 프로세서로 하여금 상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하게 하도록 구성된 인코딩 코드
를 포함하는, 인코더. - 제11항에 있어서,
상기 입력 대칭 메시는 상기 입력 대칭 메시와 연관된 텍스처에 기초하여 세그먼트화되며, 연결되지 않은 적어도 2개의 UV 세그먼트는 서로 다른 텍스처를 갖는, 인코더. - 제12항에 있어서,
상기 입력 대칭 메시는 상기 입력 메시의 대칭 특성에 기초하여 세그먼트화되는, 인코더. - 제11항에 있어서,
상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 것은 상기 평면과 상기 적어도 하나의 UV 세그먼트 사이의 대응 충돌 지점에 기초하여 하나 이상의 새로운 정점을 추가하는 것을 포함하는, 인코더. - 제14항에 있어서,
상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 것은 2개의 새로운 정점 사이에 새로운 에지를 추가하는 것을 더 포함하는, 인코더. - 제11항에 있어서,
상기 대칭 변환은 6 파라미터 아핀 변환인, 인코더. - 제11항에 있어서,
상기 대칭 변환은 4 파라미터 아핀 변환인, 인코더. - 제11항에 있어서,
상기 대칭 변환은 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 정점과 상기 UV 세그먼트의 상기 제2 측의 정점 사이에서 수행된 회귀 분석에 기초하여 결정되는, 인코더. - 제11항에 있어서,
상기 예측된 정점은 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점에 대칭인, 인코더. - 명령어가 저장된, 컴퓨터로 판독 가능한 비일시적 매체로서,
상기 명령어는 입력 대칭 메시를 인코딩하기 위한 인코더의 프로세서에 의해 실행될 때 상기 프로세서로 하여금,
상기 입력 대칭 메시를 UV 속성 맵 내의 다수의 연결되지 않은 UV 세그먼트로 세그먼트화하는 단계;
적어도 하나의 UV 세그먼트를 제1 측과 상기 제1 측의 반대측인 제2 측으로 파티셔닝하는 평면을 통해 상기 적어도 하나의 UV 세그먼트를 파티셔닝하는 단계 - 상기 제1 측은 제1 영역을 점유하는 복수의 정점을 포함함 -;
상기 적어도 하나의 UV 세그먼트의 상기 제1 측에 포함된 상기 복수의 정점을 재편성하는 단계 - 상기 복수의 정점은 재편성 후, 상기 제1 영역보다 작은 제2 영역을 점유함 -;
상기 적어도 하나의 UV 세그먼트에 대해 2D 대칭 검출을 수행하여 상기 적어도 하나의 UV 세그먼트에 대한 대칭 변환을 찾는 단계;
상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 대응 정점의 대칭 변환에 기초하여 상기 적어도 하나의 UV 세그먼트의 상기 제2 측의 정점 각각에 대한 예측된 정점을 결정하여 상기 적어도 하나의 UV 세그먼트의 상기 제1 측의 예측된 정점을 찾는 단계; 및
상기 적어도 하나의 UV 세그먼트의 상기 제1 측 내의 정점을 적어도 포함하는 비트스트림을 인코딩하는 단계
를 포함하는 방법을 실행하게 하는,
명령어가 저장된, 컴퓨터로 판독 가능한 비일시적 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263415108P | 2022-10-11 | 2022-10-11 | |
| US63/415,108 | 2022-10-11 | ||
| US18/483,936 US20240135593A1 (en) | 2022-10-11 | 2023-10-10 | Method and apparatus for uv attributes coding for symmetry mesh |
| US18/483,936 | 2023-10-10 | ||
| PCT/US2023/034881 WO2024081281A1 (en) | 2022-10-11 | 2023-10-11 | Method and apparatus for uv attributes coding for symmetry mesh |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240067924A true KR20240067924A (ko) | 2024-05-17 |
Family
ID=90670015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247012241A KR20240067924A (ko) | 2022-10-11 | 2023-10-11 | 대칭 메시의 uv 속성 코딩 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240135593A1 (ko) |
| KR (1) | KR20240067924A (ko) |
| WO (1) | WO2024081281A1 (ko) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8411081B2 (en) * | 2008-06-09 | 2013-04-02 | The Board Of Trustees Of The Leland Stanford Jr. University | Systems and methods for enhancing symmetry in 2D and 3D objects |
| CN110140151B (zh) * | 2016-12-06 | 2023-08-29 | 皇家飞利浦有限公司 | 用于生成光强度图像的装置和方法 |
| US10977773B2 (en) * | 2019-02-19 | 2021-04-13 | Google Llc | Cost-driven framework for progressive compression of textured meshes |
-
2023
- 2023-10-10 US US18/483,936 patent/US20240135593A1/en active Pending
- 2023-10-11 WO PCT/US2023/034881 patent/WO2024081281A1/en active Application Filing
- 2023-10-11 KR KR1020247012241A patent/KR20240067924A/ko active Search and Examination
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024081281A1 (en) | 2024-04-18 |
| US20240135593A1 (en) | 2024-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12020461B2 (en) | Method and apparatus for Haar-based point cloud coding | |
| JP2022550579A (ja) | ポイントクラウドコーディングのための方法及び装置 | |
| CN115176279A (zh) | 用于点云译码的方法和装置 | |
| JP2024515737A (ja) | 動的メッシュアライメントへの並列アプローチ | |
| CN116848553A (zh) | 基于二维uv地图集采样的用于动态网格压缩的方法 | |
| KR20240067924A (ko) | 대칭 메시의 uv 속성 코딩 방법 및 장치 | |
| US20240087173A1 (en) | Base mesh coding by using surface reflection symmetry | |
| JP7438612B2 (ja) | ビデオベースのポイント・クラウド・コーディングのための高速パッチ生成 | |
| US20240273771A1 (en) | Method and apparatus to encode symmetry mesh with multiple symmetry planes | |
| JP7542758B2 (ja) | メッシュ圧縮のための幾何学的フィルタリング | |
| US20240161345A1 (en) | Method and apparatus for adaptive quantization for uv attribute in symmetry mesh | |
| US20240078713A1 (en) | Texture coordinate prediction in mesh compression | |
| US20240185471A1 (en) | Texture coordinate compression using chart partition | |
| US20240312065A1 (en) | Method and apparatus for dividing partial symmetry mesh | |
| US20230334714A1 (en) | Coding of boundary uv2xyz index for mesh compression | |
| KR20240090884A (ko) | 대칭 메시를 위한 연결성 코딩 | |
| KR20230173700A (ko) | 시간적으로 상관된 uv 아틀라스를 사용한 메시 파라미터화 | |
| CN118235168A (zh) | 对称网格的uv属性编解码方法及装置 | |
| KR20240110835A (ko) | 대칭 메시에 대한 적응적 양자화를 위한 방법 및 장치 | |
| WO2024147807A1 (en) | Method and apparatus to encode mesh based on symmetry property | |
| KR20230169289A (ko) | 메시 압축을 위한 경계 uv 정보의 예측 코딩 | |
| JP2024515208A (ja) | メッシュ圧縮のための境界ｕｖ２ｘｙｚインデックスの予測コーディング | |
| CN118475958A (zh) | 使用图表分区的纹理坐标压缩 | |
| CN118575200A (zh) | 用于网格压缩的自适应几何滤波 | |
| CN118318254A (zh) | 用于对称网格的连接性编码 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |