KR20220099899A - Method of piecewise linear scaling of geometry atlas and apparatus using the same - Google Patents

Method of piecewise linear scaling of geometry atlas and apparatus using the same Download PDF

Info

Publication number
KR20220099899A
KR20220099899A KR1020210183887A KR20210183887A KR20220099899A KR 20220099899 A KR20220099899 A KR 20220099899A KR 1020210183887 A KR1020210183887 A KR 1020210183887A KR 20210183887 A KR20210183887 A KR 20210183887A KR 20220099899 A KR20220099899 A KR 20220099899A
Authority
KR
South Korea
Prior art keywords
linear
scaling
geometry
atlas
slopes
Prior art date
Application number
KR1020210183887A
Other languages
Korean (ko)
Other versions
KR102601705B1 (en
Inventor
오관정
이광순
박도현
김재곤
임성균
Original Assignee
한국전자통신연구원
한국항공대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국항공대학교산학협력단 filed Critical 한국전자통신연구원
Priority to US17/569,944 priority Critical patent/US20220215566A1/en
Publication of KR20220099899A publication Critical patent/KR20220099899A/en
Application granted granted Critical
Publication of KR102601705B1 publication Critical patent/KR102601705B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Abstract

A piecewise linear scaling method of a geometry atlas according to an embodiment of the present invention includes the steps of: generating min-max normalized depth values; and generating geometry atlases by scaling the depth values to correspond to gradients of a plurality of linear sections.

Description

지오메트리 아틀라스의 부분 선형 스케일링 방법 및 이를 이용한 장치 {METHOD OF PIECEWISE LINEAR SCALING OF GEOMETRY ATLAS AND APPARATUS USING THE SAME}Partial linear scaling method of geometric atlas and apparatus using the same

본 발명은 이머시브 비디오(immersive video)의 부호화 및 복호화에 관한 것으로, 특히 이머시브 비디오에서 3차원 정보를 나타내는 깊이 정보에 해당하는 지오메트리 아틀라스들(geometry atlases)의 부호화 및 복호화에 관한 것이다.The present invention relates to encoding and decoding of immersive video, and more particularly, to encoding and decoding of geometry atlases corresponding to depth information representing 3D information in immersive video.

최근 실감 콘텐츠에 대한 관심도가 폭발적으로 증가하고 방송 장비 및 영상 전송 기술의 발전에 따라, 영화나 TV같은 멀티미디어 산업 등 다양한 분야에서 실감 콘텐츠를 적극적으로 활용하려는 움직임이 늘어나고 있다.With the recent explosive increase in interest in immersive content and the development of broadcasting equipment and image transmission technology, there is an increasing movement to actively utilize immersive content in various fields such as multimedia industries such as movies and TV.

이머시브 비디오는 시청자에게 다수 시점의 영상을 제공함으로써, 자연스러운 운동 시차(motion parallax)를 경험할 수 있도록 하지만, 다수 시점에 대한 방대한 영상 데이터를 저장해야 하는 단점이 있다.The immersive video provides viewers with images from multiple viewpoints to experience natural motion parallax.

이머시브 비디오를 제공하기 위해, 촬영 장치는 복수의 시점들의 영상을 촬영하고, 촬영한 복수 시점의 영상들을 제공해야 한다. 촬영한 시점들의 영상의 수가 많아질수록 완성도 높은 3차원 콘텐츠를 생성할 수 있다는 장점이 있으나 전송 시 그만큼의 영상을 추가적으로 보내야 하기 때문에 전송 대역폭의 문제가 생길 수 있다. 또한 다시점 고화질의 영상을 가지고 있는 경우 저장 공간을 많이 요구한다는 단점도 존재한다. In order to provide the immersive video, a photographing apparatus must capture images of a plurality of viewpoints and provide the captured images of the plurality of viewpoints. As the number of images of the captured viewpoints increases, there is an advantage in that high-quality 3D content can be generated. In addition, there is a disadvantage that a large amount of storage space is required when having a multi-view high-definition image.

지오메트리(geometry) 정보는 MPEG 이머시브 비디오(MPEG Immersive Video)에서 3차원 정보를 나타내는 깊이(depth) 정보이고, 일반적으로 단일 채널의 2차원(2D) 이미지로 표현된다.Geometry information is depth information representing three-dimensional information in MPEG immersive video, and is generally expressed as a two-dimensional (2D) image of a single channel.

이와 같은 지오메트리는 다시점 지오메트리에서 시점간 중복성을 제거한 지오메트리 아틀라스(geometry atlas)로 표현된다.Such a geometry is expressed as a geometry atlas in which redundancy between views is removed from the multi-view geometry.

아틀라스들(atlases)로 표현된 지오메트리 영상은 2차원 영상 코덱을 통해 압축된다.A geometric image expressed as atlases is compressed through a two-dimensional image codec.

MPEG 이머시브 비디오 인코더는 다시점의 depth 정보를 아틀라스들로 표현하여 인코딩하고, MPEG 이머시브 비디오 디코더는 지오메트리 아틀라스들을 디코딩하여 뷰 합성(view synthesis) 등을 통한 가상 시점 영상 생성에 이용한다.The MPEG immersive video encoder expresses and encodes multi-view depth information as atlases, and the MPEG immersive video decoder decodes the geometric atlas and uses them to generate a virtual viewpoint image through view synthesis or the like.

즉, 지오메트리는 깊이(depth) 또는 변이(disparity) 정보를 2차원 이미지로 형상화한 것으로 볼 수 있고, 텍스쳐(texture) 영상에 비해 단순한 영상 정보이다. 이 지오메트리는 렌더링(rendering)을 통해 가상 시점 영상을 생성할 때 3차원 정보로 이용된다. 특히, 지오메트리는 객체의 경계에서 중요도가 높고, 객체의 경계에 상응하는 지오메트리는 렌더링 화질에 크게 영향을 주게 된다.That is, the geometry can be viewed as a two-dimensional image of depth or disparity information, and is simple image information compared to a texture image. This geometry is used as 3D information when generating a virtual viewpoint image through rendering. In particular, the geometry has high importance at the boundary of the object, and the geometry corresponding to the boundary of the object greatly affects the rendering quality.

결국, MPEG 이머시브 비디오에서 인코딩 데이터 증가를 최소화하면서도 지오메트리 아틀라스를 효율적으로 부호화/복호화하기 위한 새로운 기술의 필요성이 절실하게 대두된다.As a result, there is an urgent need for a new technique for efficiently encoding/decoding a geometric atlas while minimizing an increase in encoded data in MPEG immersive video.

본 발명의 목적은 중요도 기반으로 지오메트리를 표현하여 압축 성능 손실을 최소화하면서도 이머시브 비디오의 화질을 극대화하는 것이다.An object of the present invention is to maximize the quality of immersive video while minimizing loss in compression performance by expressing geometry based on importance.

또한, 본 발명의 목적은 지오메트리 정보를 복수개의 영역들에서 중요도에 따라 서로 다른 데이터 표현 정확도들(또는 서로 다른 스케일들)로 표현하여 이머시브 비디오의 인코딩/디코딩 효율성을 극대화하는 것이다.Another object of the present invention is to maximize encoding/decoding efficiency of immersive video by expressing geometry information with different data representation accuracies (or different scales) according to importance in a plurality of regions.

또한, 본 발명의 목적은 복수개의 영역들에서 중요도에 따라 서로 다른 데이터 표현 정확도들로 지오메트리 아틀라스를 표현하면서도, 이를 위해 송/수신되어야 하는 신택스(syntax) 정보를 최소화하는 것이다.In addition, an object of the present invention is to minimize syntax information that must be transmitted/received for this purpose while expressing a geometry atlas with different data representation accuracies according to importance in a plurality of areas.

상기한 목적을 달성하기 위한 본 발명에 따른 지오메트리 아틀라스의 부분 선형 스케일링(piecewise linear scaling) 방법은, 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하는 단계; 및 상기 깊이 값들을 복수개의 선형 구간들의 기울기들에 상응하여 스케일링하여 지오메트리 아틀라스들(geometry atlases)을 생성하는 단계를 포함한다.A piecewise linear scaling method of a geometry atlas according to the present invention for achieving the above object includes: generating min-max normalized depth values; and generating geometry atlases by scaling the depth values according to slopes of a plurality of linear sections.

이 때, 지오메트리 아틀라스의 부분 선형 스케일링 방법은 이머시브 비디오 인코더에서 수행될 수 있다.In this case, the partial linear scaling method of the geometry atlas may be performed by the immersive video encoder.

이 때, 선형 구간들은 상기 최소-최대 노멀라이즈된 깊이 값들에 상응하는 전체 영역(entire range)이 동일한 길이의 구간들(equal intervals)로 나눠져서 생성된 것일 수 있다.In this case, the linear intervals may be generated by dividing the entire range corresponding to the min-maximum normalized depth values into equal intervals of the same length.

이 때, 상기 부분 선형 스케일링 방법은 상기 지오메트리 아틀라스들을 이용하여 인코딩된 이머시브 비디오 신호를 생성하는 단계를 더 포함할 수 있다.In this case, the partial linear scaling method may further include generating an encoded immersive video signal using the geometry atlas.

이 때, 상기 기울기들은 상기 선형 구간들의 샘플 발생 빈도들(sample occurrence frequencies)에 기반하여 결정될 수 있다.In this case, the slopes may be determined based on sample occurrence frequencies of the linear sections.

이 때, 상기 기울기들 각각은 샘플 발생 빈도가 높을수록 크게 설정될 수 있다.In this case, each of the slopes may be set to be larger as the frequency of sample generation increases.

이 때, 상기 샘플 발생 빈도들은 기설정된 범위로 클리핑(clipping)될 수 있다.In this case, the sample occurrence frequencies may be clipped to a preset range.

이 때, 상기 선형 구간들은 상기 선형 구간들의 개수를 나타내는 제1 필드(dq_interval_num); 및 상기 선형 구간들 각각에 상응하는 스케일된(scaled) 값을 나타내는 제2 필드(dq_norm_disp_pivot)를 포함하는 신택스 필드들을 이용하여 시그널링될 수 있다.In this case, the linear intervals include a first field (dq_interval_num) indicating the number of the linear intervals; and a second field (dq_norm_disp_pivot) indicating a scaled value corresponding to each of the linear sections.

이 때, 상기 신택스 필드들은 상기 부분 선형 스케일링이 적용되는 시작 깊이 값을 나타내는 제3 필드(dq_scaled_disp_start)를 더 포함할 수 있다.In this case, the syntax fields may further include a third field (dq_scaled_disp_start) indicating a start depth value to which the partial linear scaling is applied.

또한, 본 발명의 일실시예에 따른 지오메트리 아틀라스의 역 스케일링(inverse scaling) 방법은, 지오메트리 아틀라스들을 복원하는 단계; 및 상기 지오메트리 아틀라스들을 복수개의 선형 구간들의 기울기에 상응하여 역 스케일링하여 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하는 단계를 포함한다. In addition, an inverse scaling method of a geometry atlas according to an embodiment of the present invention includes the steps of reconstructing the geometry atlas; and generating min-max normalized depth values by inversely scaling the geometry atlas according to slopes of a plurality of linear sections.

이 때, 지오메트리 아틀라스의 역 스케일링 방법은 이머시브 비디오 디코더에서 수행될 수 있다.In this case, the inverse scaling method of the geometry atlas may be performed by the immersive video decoder.

이 때, 상기 선형 구간들은 상기 최소-최대 노멀라이즈된 깊이 값들에 상응하는 전체 영역(entire range)이 동일한 길이의 구간들(equal intervals)로 나눠져서 생성된 것일 수 있다.In this case, the linear intervals may be generated by dividing an entire range corresponding to the min-maximum normalized depth values into equal intervals of the same length.

이 때, 상기 지오메트리 아틀라스의 역 스케일링 방법은 상기 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 이용하여 가상 시점 영상을 생성하는 단계를 더 포함할 수 있다.In this case, the inverse scaling method of the geometry atlas may further include generating a virtual viewpoint image using the min-max normalized depth values.

이 때, 상기 기울기들은 상기 선형 구간들의 샘플 발생 빈도들(sample occurrence frequencies)에 기반하여 결정될 수 있다.In this case, the slopes may be determined based on sample occurrence frequencies of the linear sections.

이 때, 상기 기울기들 각각은 샘플 발생 빈도가 높을수록 많은 비트가 할당되도록 설정될 수 있다.In this case, each of the slopes may be set to allocate more bits as the sample generation frequency increases.

이 때, 상기 선형 구간들은 상기 선형 구간들의 개수를 나타내는 제1 필드(dq_interval_num); 및 상기 선형 구간들 각각에 상응하는 스케일된(scaled) 값을 나타내는 제2 필드(dq_norm_disp_pivot)를 포함하는 신택스 필드들을 이용하여 시그널링될 수 있다.In this case, the linear intervals include a first field (dq_interval_num) indicating the number of the linear intervals; and a second field (dq_norm_disp_pivot) indicating a scaled value corresponding to each of the linear sections.

이 때, 상기 신택스 필드들은 상기 부분 선형 스케일링이 적용되는 시작 깊이 값을 나타내는 제3 필드(dq_scaled_disp_start)를 더 포함할 수 있다.In this case, the syntax fields may further include a third field (dq_scaled_disp_start) indicating a start depth value to which the partial linear scaling is applied.

또한, 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링 장치는, 적어도 하나의 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하는 프로세서를 포함한다. 이 때, 상기 프로그램은 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하는 단계; 및 상기 깊이 값들을 복수개의 선형 구간들의 기울기들에 상응하여 스케일링하여 지오메트리 아틀라스들(geometry atlases)을 생성하는 단계의 수행을 위한 명령어들을 포함한다.In addition, a partial linear scaling apparatus of a geometry atlas according to an embodiment of the present invention includes: a memory in which at least one program is recorded; and a processor executing the program. At this time, the program generates min-max normalized depth values; and instructions for performing the step of generating geometry atlases by scaling the depth values according to slopes of a plurality of linear sections.

이 때, 선형 구간들은 상기 최소-최대 노멀라이즈된 깊이 값들에 상응하는 전체 영역(entire range)이 동일한 길이의 구간들(equal intervals)로 나눠져서 생성된 것일 수 있다.In this case, the linear intervals may be generated by dividing the entire range corresponding to the min-maximum normalized depth values into equal intervals of the same length.

이 때, 상기 기울기들은 상기 선형 구간들의 샘플 발생 빈도들(sample occurrence frequencies)에 기반하여 결정될 수 있다.In this case, the slopes may be determined based on sample occurrence frequencies of the linear sections.

이 때, 상기 기울기들 각각은 샘플 발생 빈도가 높을수록 크게 설정될 수 있다.In this case, each of the slopes may be set to be larger as the frequency of sample generation increases.

이 때, 상기 선형 구간들은 상기 선형 구간들의 개수를 나타내는 제1 필드(dq_interval_num); 및 상기 선형 구간들 각각에 상응하는 스케일된(scaled) 값을 나타내는 제2 필드(dq_norm_disp_pivot)를 포함하는 신택스 필드들을 이용하여 시그널링될 수 있다.In this case, the linear intervals include a first field (dq_interval_num) indicating the number of the linear intervals; and a second field (dq_norm_disp_pivot) indicating a scaled value corresponding to each of the linear sections.

본 발명에 따르면, 중요도 기반으로 지오메트리를 표현하여 압축 성능 손실을 최소화하면서도 이머시브 비디오의 화질을 극대화할 수 있다.According to the present invention, the image quality of the immersive video can be maximized while minimizing the loss of compression performance by expressing the geometry based on the importance.

또한, 본 발명은 지오메트리 정보를 복수개의 영역들에서 중요도에 따라 서로 다른 데이터 표현 정확도들(또는 서로 다른 스케일들)로 표현하여 이머시브 비디오의 인코딩/디코딩 효율성을 극대화할 수 있다.In addition, the present invention can maximize the encoding/decoding efficiency of the immersive video by expressing the geometry information with different data representation accuracies (or different scales) according to importance in a plurality of regions.

또한, 본 발명은 복수개의 영역들에서 중요도에 따라 서로 다른 데이터 표현 정확도들로 지오메트리 아틀라스를 표현하면서도, 이를 위해 송/수신되어야 하는 신택스(syntax) 정보를 최소화할 수 있다.In addition, the present invention can minimize the syntax information to be transmitted/received for this purpose while expressing the geometry atlas with different data representation accuracies according to importance in a plurality of areas.

도 1은 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링을 나타낸 그래프이다.
도 2는 본 발명의 일실시예에 따른 이머시브 비디오 시스템을 나타낸 블록도이다.
도 3은 도 2에 도시된 이머시브 비디오 인코더의 일 예를 나타낸 블록도이다.
도 4는 도 2에 도시된 이머시브 비디오 디코더의 일 예를 나타낸 블록도이다.
도 5는 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링 방법을 나타낸 동작 흐름도이다.
도 6은 본 발명의 일실시예에 따른 지오메트리 아틀라스의 역 스케일링 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템 구성을 나타낸 블록도이다.
1 is a graph illustrating partial linear scaling of a geometry atlas according to an embodiment of the present invention.
2 is a block diagram illustrating an immersive video system according to an embodiment of the present invention.
FIG. 3 is a block diagram illustrating an example of the immersive video encoder shown in FIG. 2 .
4 is a block diagram illustrating an example of the immersive video decoder shown in FIG. 2 .
5 is an operation flowchart illustrating a method of partial linear scaling of a geometry atlas according to an embodiment of the present invention.
6 is an operation flowchart illustrating a method for inverse scaling of a geometry atlas according to an embodiment of the present invention.
7 is a block diagram showing the configuration of a computer system according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although "first" or "second" is used to describe various elements, these elements are not limited by the above terms. Such terms may only be used to distinguish one component from another. Accordingly, the first component mentioned below may be the second component within the spirit of the present invention.

본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.The terminology used herein is for the purpose of describing the embodiment and is not intended to limit the present invention. In this specification, the singular also includes the plural, unless specifically stated otherwise in the phrase. As used herein, “comprises” or “comprising” implies that the stated component or step does not exclude the presence or addition of one or more other components or steps.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms used herein may be interpreted with meanings commonly understood by those of ordinary skill in the art to which the present invention pertains. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly specifically defined.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .

이하에서, 깊이(depth)는 변이(disparity)를 포함하는 개념일 수 있다. 즉, 이하에서 깊이나 깊이 값으로 표현된 모든 표현들은 변이나 변이 값으로 대체될 수 있다.Hereinafter, depth may be a concept including disparity. That is, all expressions expressed as depth or depth values below may be replaced with sides or disparities.

도 1은 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링을 나타낸 그래프이다.1 is a graph illustrating partial linear scaling of a geometry atlas according to an embodiment of the present invention.

도 1을 참조하면, 최소-최대 노멀라이즈된 깊이 값들이 복수개의 부분 선형 구간들(piecewise linear intervals)을 이용하여 스케일링되는 것을 알 수 있다.Referring to FIG. 1 , it can be seen that the min-max normalized depth values are scaled using a plurality of piecewise linear intervals.

실시예에 따라, 지오메트리 아틀라스는 일반적으로 16-비트 뎁스(depth)를 가질 수 있는데, 10-비트 비디오 코딩(10-bit video coding)을 위하여 다운스케일된 형태(downscaled format)로 생성될 수 있다. According to an embodiment, the geometry atlas may generally have a 16-bit depth, and may be generated in a downscaled format for 10-bit video coding.

이 때, 최소-최대 노멀라이즈된 깊이 값들(min-max normalized depth values)은 {0,64}에서 {511, 1023}까지의 범위(range)로 스케일될 수 있다. 즉, 최소-최대 노멀라이즈된 깊이 값들은 0에서 511까지의 범위 또는 0에서 1023까지의 범위 또는 64에서 511까지의 범위 또는 64에서 1023까지의 범위로 스케일될 수 있다.In this case, min-max normalized depth values may be scaled in a range from {0,64} to {511, 1023}. That is, the min-max normalized depth values may be scaled from 0 to 511 or from 0 to 1023 or from 64 to 511 or from 64 to 1023.

지오메트리 아틀라스의 생성에서, 깊이 정보의 손실은 이 다운 스케일링에 의하여 발생할 수 있다(loss of depth information is incurred by this downscaling in the generation of geometry atlas). 나아가, 깊이 정보 손실은 깊이 아틀라스들의 로시 코딩(lossy coding)에 기인하여 후속하여 발생할 수 있다. 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링 방법은 깊이 정보의 손실을 줄이기 위해, 부분 선형 스케일링을 이용하여 지오메트리 코드워드에 비트들을 재분배할 수 있다.In the generation of the geometry atlas, loss of depth information is incurred by this downscaling in the generation of geometry atlas. Furthermore, depth information loss may subsequently occur due to lossy coding of the depth atlas. The method for partial linear scaling of a geometry atlas according to an embodiment of the present invention may redistribute bits in a geometry codeword using partial linear scaling to reduce loss of depth information.

깊이 아틀라스가 최소-최대 노멀라이즈된 값들로 생성되는 구체적인 과정은 2020년 10월 공개된 B.Salahieh, B. Kroon, J.Jung, A. Dziembowski 등의 "Test Model 7 for Immersive Video," ISO/IEC JTC1/SC29/WG4, N0005에 자세히 기술되어 있다.The detailed process by which the depth atlas is generated with min-max normalized values is described in "Test Model 7 for Immersive Video," ISO/ It is detailed in IEC JTC1/SC29/WG4, N0005.

최소-최대 노멀라이즈된 깊이 값의 전체 범위(the entire range of min-max normalized depth value)는 기설정된 수의 동일한 길이의 구간들(predetermined number of equal intervals)로 나눠진다. 이 때, 각각의 구간(each interval)은 아틀라스의 깊이 샘플들의 발생 빈도수에 따라 선택적으로 스케일된다(is adaptively scaled according to the frequency of the depth samples in the atlas). 구체적으로, 특정 구간에 포함되는 깊이 샘플들의 발생 빈도수에 따라, 상기 특정 구간에 상응하는 스케일된 깊이 범위가 적응적으로 결정될 수 있다.The entire range of min-max normalized depth value is divided into a predetermined number of equal intervals. In this case, each interval is selectively scaled according to the frequency of occurrence of depth samples of the atlas (is adaptively scaled according to the frequency of the depth samples in the atlas). Specifically, a scaled depth range corresponding to the specific section may be adaptively determined according to the frequency of occurrence of depth samples included in the specific section.

도 1에서, 각 구간(each interval)의 오리지널 깊이 값(original depth value)은, 해당 구간에 상응하는 스케일된 깊이 범위로 맵핑된다(is mapped to the corresponding scaled depth range). 그리고 나서, 지오메트리 아틀라스들은 10-비트 깊이 표현으로써 (as 10-bit depth representation)생성된다.1 , an original depth value of each interval is mapped to the corresponding scaled depth range. Geometry atlases are then generated as 10-bit depth representation.

부분 선형 스케일링은 다음과 같이 정의될 수 있다.Partial linear scaling can be defined as follows.

d' = (b2i - b1i) / (a2i - a1i) * (d - a1i) + b1i d' = (b2 i - b1 i ) / (a2 i - a1 i ) * (d - a1 i ) + b1 i

이 때, d는 스케일될 깊이 값(the depth value to be scaled)이고, i는 d값의 구간 인덱스(interval index)이고, a1i 및 a2i는 각각 오리지널 깊이 범위에서의(on the original depth range) i번째 구간의 최소 및 최대 깊이이다. 이 때, b1i 및 b2i는 각각 스케일된 깊이 범위에서의(on the scaled depth range) i번째 구간의 최소 및 최대 깊이이다.In this case, d is the depth value to be scaled, i is the interval index of the d value, and a1 i and a2 i are on the original depth range, respectively. ) are the minimum and maximum depths of the i-th section. In this case, b1 i and b2 i are the minimum and maximum depths of the i-th section in the scaled depth range, respectively.

역 스케일링(inverse scaling)은 디코더 측에서 렌더링을 수행하기 위해 요구될 수 있고, 이는 (포워드) 스케일링의 반대 방식(reverse way)으로 수행될 수 있다.Inverse scaling may be required to perform rendering on the decoder side, and this may be performed in a reverse way of (forward) scaling.

제안된 부분 선형 스케일링을 적용하기 위해, 선형 구간(linear interval)들의 개수와, 모든 스케일된 구간들(all scaled intervals)의 깊이 값들이 시그널링될 수 있다. 후술하겠지만, 이런 정보는 신택스 요소(syntax element) dq_quantization_law를 1로 셋팅하여 시그널링될 수 있다.In order to apply the proposed partial linear scaling, the number of linear intervals and depth values of all scaled intervals may be signaled. As will be described later, such information may be signaled by setting a syntax element dq_quantization_law to 1.

도 1에 도시된 예에서 선형 구간들(linear intervals)이 7개인 경우를 예로 들었지만, 본 발명의 기술사상은 이에 제한되지 않는다. 예를 들어, 선형 구간들은 16개일 수도 있다.In the example shown in FIG. 1 , a case in which 7 linear intervals are exemplified is exemplified, but the technical spirit of the present invention is not limited thereto. For example, there may be 16 linear intervals.

부분 선형 스케일링 모델은 인코더 측에서 유도될 수 있다. 이 때, 구간에서의 깊이 값들의 렌더링된 뷰 퀄러티의 관점에서의(in terms of the rendered view quality) 중요도에 따라 각 구간의 스케일링이 적용될 수 있다. 예를 들어, 본 발명의 일실시예에 따른 부분 선형 스케일링 방법은 깊이 값들의 더욱 빈번한 발생을 가지는 깊이 구간들에 코드워드를 더 할당한다(to assign more codewords to depth intervals that have more frequent occurrence of depth values). 나아가, 렌더링 뷰 퀄러티의 관점에서 오브젝트 주변 영역들의 깊이 정보가 중요한 경향이 있기 때문에, 본 발명의 일실시예에 따른 부분 선형 스케일링 방법은 오브젝트 주변의 샘플들이 포함된 깊이 구간들에 코드워드를 더 할당할 수 있다. 이 때, 본 발명의 일실시예에 따른 부분 선형 스케일링 방법은 기본 뷰(basic view) 및 추가적인 뷰들(additional views)에 모두 적용될 수 있다.A partial linear scaling model may be derived at the encoder side. In this case, scaling of each section may be applied according to importance in terms of the rendered view quality of depth values in the section. For example, the partial linear scaling method according to an embodiment of the present invention assigns more codewords to depth intervals that have more frequent occurrence of depth. values). Furthermore, since depth information of regions around an object tends to be important from the viewpoint of rendering view quality, the partial linear scaling method according to an embodiment of the present invention further allocates codewords to depth sections including samples around the object. can do. In this case, the partial linear scaling method according to an embodiment of the present invention may be applied to both a basic view and additional views.

예를 들어, 부분 선형 모델의 유도는 다음과 같이 수행될 수 있다.For example, the derivation of a partial linear model can be performed as follows.

단계 1) 오리지널 깊이 영역이 N개의 동일한 구간(간격)들로 나눠진다. (N은, 7 또는 16 과 같은 자연수)Step 1) The original depth region is divided into N equal sections (intervals). (N is a natural number such as 7 or 16)

단계 2) 각 깊이 구간(each depth interval)에서 샘플 발생 확률(percentage of sample occurrence)을 계산하고, 오버-어그레시브 할당(over-aggressive assignment)을 피하기 위해 발생 빈도(occurrence frequency)를 [1/32, 1/8]과 같은 기설정된 범위(range)로 클리핑(clipping)한다.Step 2) Calculate the percentage of sample occurrence in each depth interval, and set the frequency of occurrence to [1/32, 1/8], and clipping is performed in a preset range.

단계 3) 단계 2의 통계 결과(statistics resulting)에 기반하여 구간 범위(interval range)를 조절한다.Step 3) Adjust the interval range based on the statistics resulting from Step 2.

하기 표 1은 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링과 관련하여 시그널링되는 필드들의 일 예를 나타낸 테이블이다. Table 1 below is a table showing an example of fields signaled in relation to partial linear scaling of a geometry atlas according to an embodiment of the present invention.

depth_quantization( viewID ) {depth_quantization( viewID ) { DescriptorDescriptor dq_quantization_law[ viewID ] dq_quantization_law [ viewID ] u(8)u(8) if( dq_quantization_law[ viewID ] == 0 ) { if( dq_quantization_law[ viewID ] == 0 ) { dq_norm_disp_low[ viewID ] dq_norm_disp_low [ viewID ] fl(32)fl(32) dq_norm_disp_high[ viewID ] dq_norm_disp_high [ viewID ] fl(32)fl(32) } } else if( dq_quantization_law[ viewID ] == 1 ) { else if( dq_quantization_law[ viewID ] == 1 ) { dq_norm_disp_low[ viewID ] dq_norm_disp_low [ viewID ] fl(32)fl(32) dq_norm_disp_high[ viewID ] dq_norm_disp_high [ viewID ] fl(32)fl(32) dq_num_piece_minus1 [ viewID] dq_num_piece_minus1 [viewID] u(8)u(8) dq_scaled_disp_start [ viewID] dq_scaled_disp_start [viewID] for( i = 0; i <= dq_num_piece[ viewID]; i++ )for( i = 0; i <= dq_num_piece [ viewID]; i++ ) dq_scaled_disp_range[ viewID ][ i ] dq_scaled_disp_range [ viewID ][ i ] fl(32)fl(32) } } if( vme_embedded_occupancy_enabled_flag ) if( vme_embedded_occupancy_enabled_flag ) dq_depth_occ_threshold_default[ viewID ] dq_depth_occ_threshold_default [ viewID ] ue(v)ue(v) }}

상기 표 1을 참조하면, 깊이 양자화(depth quantization)를 시그널링하기 위한 신택스(syntax)에서, dq_quantization_law의 신택스 요소(syntax element)의 값이 1로 셋팅되면, 부분 선형 스케일링을 위한 정보가 시그널링되는 것을 알 수 있다.이 때, dq_quantization_law[ viewID ]는 viewID와 같은 뷰 ID를 가지는 뷰의 깊이 양자화 방법(depth quantization method)의 유형을 나타낸다. 이 때, dq_quantization_law이 0이면 깊이 값들에 유니폼 양자화(uniform quantization)가 적용될 수 있다. 이 때, dq_quantization_law이 1이면 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링이 적용될 수 있다.Referring to Table 1, when the value of the syntax element of dq_quantization_law is set to 1 in the syntax for signaling depth quantization, it can be seen that information for partial linear scaling is signaled. In this case, dq_quantization_law[ viewID ] indicates the type of a depth quantization method of a view having the same view ID as viewID. In this case, if dq_quantization_law is 0, uniform quantization may be applied to depth values. In this case, if dq_quantization_law is 1, partial linear scaling of the geometry atlas according to an embodiment of the present invention may be applied.

이 때, dq_norm_disp_low[ viewID ] 및 dq_norm_disp_high[ viewID ]는 각각 viewID와 같은 뷰 ID를 가지는 뷰의 최소 노멀라이즈드 깊이 값(도 1에서 min) 및 최대 노멀라이즈드 깊이 값(도 1에서 max)을 나타낸다.In this case, dq_norm_disp_low[viewID] and dq_norm_disp_high[viewID] represent the minimum normalized depth value (min in FIG. 1) and the maximum normalized depth value (max in FIG. 1) of a view having the same view ID as viewID, respectively. .

이 때, dq_num_piece_minus1[ viewID ]는 viewID와 같은 뷰 ID를 가지는 뷰의 부분 선형 스케일링을 위한 선형 구간들(linear intervals)의 개수에서 1을 뺀 값을 나타낸다. 또는, dq_num_piece_minus1 대신, 선형 구간들의 개수에서 2 또는 그 이상의 자연수를 차분하여 유도된 신택스를 부/복호화할 수도 있다. 이 때, dq_num_piece_minun1 필드와 같은 선형 구간들의 개수를 특정하기 위한 정보는, 청구항의 제1 필드에 대응될 수 있다. 실시예에 따라, 제1 필드는 dq_num_piece일 수도 있고, 이 경우 dq_num_piece는 선형 구간들의 개수를 그대로 나타낼 수도 있다. 실시예에 따라, 제1 필드는 경우에 따라 다양한 자연수를 부분 선형 스케일링을 위한 선형 구간들의 개수에 더하거나 뺀 정보를 기준으로 시그널링될 수 있다.In this case, dq_num_piece_minus1[viewID] represents a value obtained by subtracting 1 from the number of linear intervals for partial linear scaling of a view having the same view ID as viewID. Alternatively, instead of dq_num_piece_minus1, a syntax derived by differentiating 2 or more natural numbers from the number of linear sections may be encoded/decoded. In this case, information for specifying the number of linear sections, such as the dq_num_piece_minun1 field, may correspond to the first field of the claim. According to an embodiment, the first field may be dq_num_piece, and in this case, dq_num_piece may indicate the number of linear sections as it is. According to an embodiment, the first field may be signaled based on information by adding or subtracting various natural numbers from the number of linear sections for partial linear scaling in some cases.

이 때, dq_scaled_disp_start[ viewID ]는 viewID와 같은 뷰 ID를 가지는 뷰의 부분 선형 스케일링을 위한 시작 깊이 값을 나타낸다. 실시예에 따라, dq_scaled_disp_start [ viewID ]는 시그널링되지 않을 수도 있다. dq_scaled_disp_start 값의 시그널링이 생략된 경우, 부분 선형 스케일링을 위한 시작 깊이 값은 dq_norm_disp_low와 동일한 값으로 추론될 수 있다. dq_norm_disp_low[ viewID ]와 별개로 dq_scaled_disp_start[ viewID ]을 시그널링하면 부분 선형 스케일링이 적용되는 구간을 더 자유롭게 설정할 수 있다. 이 때, dq_scaled_disp_start 필드와 같이 부분 선형 스케일링을 위한 시작 깊이 값을 나타내는 정보는 청구항의 제3 필드에 대응될 수 있다.In this case, dq_scaled_disp_start[viewID] indicates a starting depth value for partial linear scaling of a view having the same view ID as viewID. According to an embodiment, dq_scaled_disp_start [ viewID ] may not be signaled. When signaling of the dq_scaled_disp_start value is omitted, the starting depth value for partial linear scaling may be inferred to be the same as dq_norm_disp_low. If dq_scaled_disp_start[ viewID ] is signaled separately from dq_norm_disp_low[ viewID ], a section to which partial linear scaling is applied can be more freely set. In this case, information indicating a starting depth value for partial linear scaling, such as the dq_scaled_disp_start field, may correspond to the third field of the claim.

이 때, dq_scaled_disp_range[ viewID ][i]는 viewID와 동일한 뷰 ID를 가지는 뷰의 부분 선형 스케일링을 위한 i번째 선형 구간의 범위를 나타낼 수 있다. 일 예로, dq_scaled_disp_range[viewID][i]는, i번째 구간 내 스케일된 깊이 값의 최대값, 최소값 또는 최대값과 최소값 사이의 차분을 나타낼 수 있다. 이 때, dq_scaled_disp_range[ viewID ][i]는 선형 구간들의 개수만큼 반복되는 for 루프 안에서 정의되어 각 선형 구간들마다 스케일된 깊이 값의 상한을 시그널링함으로써 최소한의 정보만으로 스케일된 깊이 범위의 구간들을 나타낼 수 있다. 다른 예로, 첫번째 구간(예컨대, i가 0) 또는, 마지막 구간(예컨대, i가 dq_num_piece_minus1+1)에 대해서는, 위 정보 dq_scaled_disp_range의 시그널링이 생략될 수 있다. 이 때, dq_scaled_disp_range 필드와 같이 i번째 선형 구간의 범위를 나타내는 정보는 청구항의 제2 필드에 대응될 수 있다.In this case, dq_scaled_disp_range[viewID][i] may indicate the range of the i-th linear section for partial linear scaling of a view having the same view ID as viewID. As an example, dq_scaled_disp_range[viewID][i] may represent a maximum value, a minimum value, or a difference between a maximum value and a minimum value of a scaled depth value in the i-th section. At this time, dq_scaled_disp_range[viewID][i] is defined in a for loop that is repeated as many as the number of linear sections, and signals the upper limit of the scaled depth value for each linear section. have. As another example, in the first section (eg, i is 0) or the last section (eg, i is dq_num_piece_minus1+1), signaling of the above information dq_scaled_disp_range may be omitted. In this case, information indicating the range of the i-th linear section, such as the dq_scaled_disp_range field, may correspond to the second field of the claim.

이 때, 상기 표 1에서 for 루프(for loop)의 조건 설정에 사용되는 변수인 dq_num_piece는 dq_num_piece_minus1+1에 상응하는 것일 수 있다.In this case, in Table 1, dq_num_piece, which is a variable used to set the condition of the for loop, may correspond to dq_num_piece_minus1+1.

하기 표 2는 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링과 관련하여 시그널링되는 필드들의 다른 예를 나타낸 테이블이다. 표 1의 실시 예 대비, 부분 선형 스케일링을 위한 시작 깊이 값을 나타내는 정보의 부/복호화가 제외되었다. 이 경우, 정규화된 깊이값의 최소값(즉, dq_norm_disp_low)가 부분 선형 스케일링이 수행되는 깊이 최소값으로 설정될 수 있다.Table 2 below is a table showing another example of fields signaled in relation to partial linear scaling of a geometry atlas according to an embodiment of the present invention. Contrary to the example of Table 1, encoding/decoding of information indicating a starting depth value for partial linear scaling is excluded. In this case, the minimum value of the normalized depth value (ie, dq_norm_disp_low) may be set as the minimum depth value at which partial linear scaling is performed.

      else if ( dq_quantization_law[ viewID ] == 1 ) { else if ( dq_quantization_law[ viewID ] == 1 ) {            dq_norm_disp_low[viewID] dq_norm_disp_low [viewID]            dq_norm_disp_high[viewID] dq_norm_disp_high [viewID]            dq_interval_num [ viewID ] dq_interval_num [ viewID ]            for(i=0;i<=dq_interval_num [ viewID ];i++)for(i=0;i<= dq_interval_num [ viewID ];i++)                  dq_norm_disp_pivot[viewID][ i ] dq_norm_disp_pivot [viewID][ i ]       }}

이 때, dq_quantization_law[ viewID ]는 viewID와 같은 뷰 ID를 가지는 뷰의 깊이 양자화 방법(depth quantization method)의 유형을 나타낸다. 이 때, dq_quantization_law이 0이면 깊이 값들에 유니폼 양자화(uniform quantization)가 적용될 수 있다. 이 때, dq_quantization_law이 1이면 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링이 적용될 수 있다.이 때, dq_norm_disp_low[ viewID ] 및 dq_norm_disp_high[ viewID ]는 각각 viewID와 같은 뷰 ID를 가지는 뷰의 최소 노멀라이즈드 깊이 값(도 1에서 min) 및 최대 노멀라이즈드 깊이 값(도 1에서 max)을 나타낸다.In this case, dq_quantization_law[viewID] indicates the type of a depth quantization method of a view having the same view ID as viewID. In this case, if dq_quantization_law is 0, uniform quantization may be applied to depth values. In this case, if dq_quantization_law is 1, partial linear scaling of the geometry atlas according to the embodiment of the present invention may be applied. The normalized depth value (min in Fig. 1) and the maximum normalized depth value (max in Fig. 1) are shown.

이 때, dq_interval_num[ viewID ]는 viewID와 같은 뷰 ID를 가지는 뷰의 부분 선형 스케일링을 위한 선형 구간들(linear intervals)의 개수를 나타낸다. 이 때, dq_interval_num 필드는 청구항의 제1 필드에 대응될 수 있다.In this case, dq_interval_num[viewID] indicates the number of linear intervals for partial linear scaling of a view having the same view ID as viewID. In this case, the dq_interval_num field may correspond to the first field of a claim.

이 때, dq_norm_disp_pivot[ viewID ][i]는 viewID와 동일한 뷰 ID를 가지는 뷰의 부분 선형 스케일된 도메인에서의 i번째 피봇(pivot) 또는 선형 구간의 노멀라이즈된 깊이 또는 디스패러티 값을 나타낸다. 이 때, dq_norm_disp_pivot[ viewID ][i]는 viewID와 동일한 뷰 ID를 가지는 부분 선형 스케일링을 위한 i번째 선형 구간의 스케일된 깊이 값(상한)을 나타낼 수 있다. 이 때, dq_norm_disp_pivot [ viewID ][i]는 선형 구간들의 개수만큼 반복되는 for 루프 안에서 정의되어 각 선형 구간들마다 스케일된 깊이 값의 상한을 시그널링함으로써 최소한의 정보만으로 스케일된 깊이 범위의 구간들을 나타낼 수 있다. 이 때, dq_norm_disp_pivot 필드는 청구항의 제2 필드에 대응될 수 있다. 이 때, dq_norm_disp_pivot[ viewID ][i]의 전체 개수에서 1을 뺀 것은 dq_interval_num[ viewID ]와 동일할 수 있다.In this case, dq_norm_disp_pivot[viewID][i] represents the normalized depth or disparity value of the i-th pivot or linear section in the partially linearly scaled domain of the view having the same view ID as viewID. In this case, dq_norm_disp_pivot[viewID ][i] may indicate a scaled depth value (upper limit) of the i-th linear section for partial linear scaling having the same view ID as viewID. At this time, dq_norm_disp_pivot [viewID ][i] is defined in a for loop that is repeated as many as the number of linear sections, and signals the upper limit of the scaled depth value for each linear section. have. In this case, the dq_norm_disp_pivot field may correspond to the second field of the claim. In this case, subtracting 1 from the total number of dq_norm_disp_pivot[viewID][i] may be the same as dq_interval_num[viewID].

도 2는 본 발명의 일실시예에 따른 이머시브 비디오 시스템을 나타낸 블록도이다.2 is a block diagram illustrating an immersive video system according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 이머시브 비디오 시스템(immersive video system)은 이머시브 비디오 인코더(210) 및 이머시브 비디오 디코더(220)를 포함한다.Referring to FIG. 2 , an immersive video system according to an embodiment of the present invention includes an immersive video encoder 210 and an immersive video decoder 220 .

이 때, 이머시브 비디오 인코더(210)는 엠펙(MPEG) 이머시브 비디오 인코더일 수 있고, 이머시브 비디오 디코더(220)는 엠펙(MPEG) 이머시브 비디오 디코더일 수 있다.In this case, the immersive video encoder 210 may be an MPEG immersive video encoder, and the immersive video decoder 220 may be an MPEG immersive video decoder.

이머시브 비디오 인코더(210)는 지오메트리 아틀라스의 부분 선형 스케일링을 수행한다. 이 때, 이머시브 비디오 인코더(210)는 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하는 단계; 및 상기 깊이 값들을 복수개의 선형 구간들의 기울기들에 상응하여 스케일링하여 지오메트리 아틀라스들(geometry atlases)을 생성하는 단계를 수행할 수 있다.The immersive video encoder 210 performs partial linear scaling of the geometry atlas. At this time, the immersive video encoder 210 generates min-max normalized depth values; and generating geometry atlases by scaling the depth values to correspond to gradients of a plurality of linear sections.

이머시브 비디오 인코더(210)는 지오메트리 아틀라스의 부분 선형 스케일링 이외에도 이머시브 비디오를 인코딩하기 위한 다양한 기능들을 수행할 수 있다.The immersive video encoder 210 may perform various functions for encoding the immersive video in addition to partial linear scaling of the geometry atlas.

이머시브 비디오 디코더(220)는 인코딩된 이머시브 비디오를 수신하여 이를 디코딩함으로써, 이머시브 비디오를 복원한다.The immersive video decoder 220 reconstructs the immersive video by receiving the encoded immersive video and decoding it.

이머시브 비디오 디코더(220)는 지오메트리 아틀라스의 역 스케일링(inverse scaling)을 수행할 수 있다. 이 때, 이머시브 비디오 디코더(220)는 지오메트리 아틀라스들을 복원하는 단계; 및 상기 지오메트리 아틀라스들을 복수개의 선형 구간들의 기울기에 상응하여 역 스케일링하여 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하는 단계를 수행할 수 있다.The immersive video decoder 220 may perform inverse scaling of the geometry atlas. At this time, the immersive video decoder 220 includes the steps of reconstructing the geometric atlas; and generating min-max normalized depth values by inversely scaling the geometry atlas according to slopes of a plurality of linear sections.

이머시브 비디오 디코더(220)는 지오메트리 아틀라스의 역 스케일링 이외에도 이머시브 비디오를 디코딩하고 가상 시점 영상을 생성하기 위한 다양한 기능들을 수행할 수 있다.In addition to inverse scaling of the geometry atlas, the immersive video decoder 220 may perform various functions for decoding the immersive video and generating a virtual view image.

도 3은 도 2에 도시된 이머시브 비디오 인코더의 일 예를 나타낸 블록도이다.FIG. 3 is a block diagram illustrating an example of the immersive video encoder shown in FIG. 2 .

도 3을 참조하면, 도 2에 도시된 이머시브 비디오 인코더는 부분 선형 스케일링 장치(310) 및 인코딩된 이머시브 비디오 생성부(320)를 포함할 수 있다.Referring to FIG. 3 , the immersive video encoder shown in FIG. 2 may include a partial linear scaling device 310 and an encoded immersive video generator 320 .

부분 선형 스케일링 장치(310)는 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하고, 상기 깊이 값들을 복수개의 선형 구간들의 기울기들에 상응하여 스케일링하여 지오메트리 아틀라스들(geometry atlases)을 생성할 수 있다.The partial linear scaling device 310 generates min-max normalized depth values and scales the depth values according to slopes of a plurality of linear sections to obtain geometry atlases. can create

인코딩된 이머시브 비디오 생성부(320)는 이머시브 비디오를 인코딩하기 위한 다양한 기능들을 수행한다.The encoded immersive video generator 320 performs various functions for encoding the immersive video.

도 4는 도 2에 도시된 이머시브 비디오 디코더의 일 예를 나타낸 블록도이다.4 is a block diagram illustrating an example of the immersive video decoder shown in FIG. 2 .

도 4를 참조하면, 도 2에 도시된 이머시브 비디오 디코더는 역 스케일링 장치(410) 및 시점 합성기(420)를 포함할 수 있다.Referring to FIG. 4 , the immersive video decoder illustrated in FIG. 2 may include an inverse scaling device 410 and a view synthesizer 420 .

역 스케일링 장치(410)는 지오메트리 아틀라스들을 복원하고, 상기 지오메트리 아틀라스들을 복수개의 선형 구간들의 기울기에 상응하여 역 스케일링하여 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성한다.The inverse scaling apparatus 410 reconstructs the geometry atlas and inversely scales the geometry atlas according to slopes of a plurality of linear sections to generate min-max normalized depth values.

시점 합성기(420)는 뷰 합성(view synthesis)을 통하여 가상 시점 영상(virtual view image)을 생성한다.The view synthesizer 420 generates a virtual view image through view synthesis.

도 5는 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링 방법을 나타낸 동작 흐름도이다.5 is an operation flowchart illustrating a method of partial linear scaling of a geometry atlas according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링 방법은, 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성한다(S510).Referring to FIG. 5 , the method for partial linear scaling of a geometry atlas according to an embodiment of the present invention generates min-max normalized depth values ( S510 ).

또한, 본 발명의 일실시예에 다른 지오메트리 아틀라스의 부분 선형 스케일링 방법은, 상기 깊이 값들을 복수개의 선형 구간들의 기울기들에 상응하여 스케일링하여 지오메트리 아틀라스들(geometry atlases)을 생성한다(S520).Also, according to the method of partial linear scaling of a geometry atlas according to an embodiment of the present invention, the depth values are scaled according to slopes of a plurality of linear sections to generate geometry atlases ( S520 ).

이 때, 선형 구간들은 상기 최소-최대 노멀라이즈된 깊이 값들에 상응하는 전체 영역(entire range)이 동일한 길이의 구간들(equal intervals)로 나눠져서 생성된 것들일 수 있다.In this case, the linear intervals may be generated by dividing the entire range corresponding to the min-maximum normalized depth values into equal intervals of the same length.

이 때, 기울기들은 상기 선형 구간들의 샘플 발생 빈도들(sample occurrence frequencies)에 기반하여 결정될 수 있다.In this case, the slopes may be determined based on sample occurrence frequencies of the linear sections.

이 때, 상기 기울기들 각각은 샘플 발생 빈도가 높을수록 크게 설정될 수 있다.In this case, each of the slopes may be set to be larger as the frequency of sample generation increases.

이 때, 상기 샘플 발생 빈도들은 기설정된 범위로 클리핑(clipping)될 수 있다.In this case, the sample occurrence frequencies may be clipped to a preset range.

이 때, 상기 선형 구간들은 상기 선형 구간들의 개수를 나타내는 제1 필드(dq_interval_num) 및 상기 선형 구간들 각각에 상응하는 스케일된(scaled) 값을 나타내는 제2 필드(dq_norm_disp_pivot)를 포함하는 신택스 필드들을 이용하여 시그널링될 수 있다.In this case, the linear intervals use syntax fields including a first field (dq_interval_num) indicating the number of linear intervals and a second field (dq_norm_disp_pivot) indicating a scaled value corresponding to each of the linear intervals. can be signaled.

이 때, 상기 신택스 필드들은 상기 부분 선형 스케일링이 적용되는 시작 깊이 값을 나타내는 제3 필드(dq_scaled_disp_start)를 더 포함할 수 있다.In this case, the syntax fields may further include a third field (dq_scaled_disp_start) indicating a start depth value to which the partial linear scaling is applied.

도 5에 도시된 각 단계는 도 1에 도시된 이머시브 비디오 인코더에서 수행될 수 있다.Each step shown in FIG. 5 may be performed in the immersive video encoder shown in FIG. 1 .

도 5에는 명시적으로 도시되지 아니하였으나, 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링 방법은, 상기 지오메트리 아틀라스들을 이용하여 인코딩된 이머시브 비디오 신호를 생성하는 단계를 더 포함할 수 있다.Although not explicitly shown in FIG. 5 , the method for partial linear scaling of a geometry atlas according to an embodiment of the present invention may further include generating an encoded immersive video signal using the geometry atlas. .

도 6은 본 발명의 일실시예에 따른 지오메트리 아틀라스의 역 스케일링 방법을 나타낸 동작 흐름도이다.6 is an operation flowchart illustrating a method for inverse scaling of a geometry atlas according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일실시예에 따른 지오메트리 아틀라스의 역 스케일링 방법은, 지오메트리 아틀라스들을 복원한다(S610).Referring to FIG. 6 , the inverse scaling method of the geometry atlas according to an embodiment of the present invention reconstructs the geometry atlas ( S610 ).

또한, 본 발명의 일실시예에 따른 지오메트리 아틀라스의 역 스케일링 방법은 상기 지오메트리 아틀라스들을 복수개의 선형 구간들의 기울기에 상응하여 역 스케일링하여 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성한다(S620).In addition, the method for inverse scaling of a geometry atlas according to an embodiment of the present invention generates min-max normalized depth values by inversely scaling the geometry atlas according to the slopes of a plurality of linear sections. (S620).

이 때, 상기 선형 구간들은 상기 최소-최대 노멀라이즈된 깊이 값들에 상응하는 전체 영역(entire range)이 동일한 길이의 구간들(equal intervals)로 나눠져서 생성된 것들일 수 있다.In this case, the linear intervals may be generated by dividing an entire range corresponding to the min-maximum normalized depth values into equal intervals of the same length.

이 때, 상기 기울기들은 상기 선형 구간들의 샘플 발생 빈도들(sample occurrence frequencies)에 기반하여 결정될 수 있다.In this case, the slopes may be determined based on sample occurrence frequencies of the linear sections.

이 때, 상기 기울기들 각각은 샘플 발생 빈도가 높을수록 많은 비트가 할당되도록 설정될 수 있다.In this case, each of the slopes may be set to allocate more bits as the sample generation frequency increases.

이 때, 상기 선형 구간들은 상기 선형 구간들의 개수를 나타내는 제1 필드(dq_interval_num) 및 상기 선형 구간들 각각에 상응하는 스케일된(scaled) 값을 나타내는 제2 필드(dq_norm_disp_pivot)를 포함하는 신택스 필드들을 이용하여 시그널링될 수 있다.In this case, the linear intervals use syntax fields including a first field (dq_interval_num) indicating the number of linear intervals and a second field (dq_norm_disp_pivot) indicating a scaled value corresponding to each of the linear intervals. can be signaled.

이 때, 상기 신택스 필드들은 상기 부분 선형 스케일링이 적용되는 시작 깊이 값을 나타내는 제3 필드(dq_scaled_disp_start)를 더 포함할 수 있다.In this case, the syntax fields may further include a third field (dq_scaled_disp_start) indicating a start depth value to which the partial linear scaling is applied.

도 6에 도시된 각 단계는 도 1에 도시된 이머시브 비디오 디코더에서 수행될 수 있다.Each step shown in FIG. 6 may be performed in the immersive video decoder shown in FIG. 1 .

도 6에는 명시적으로 도시되지 아니하였으나, 본 발명의 일실시예에 따른 지오메트리 아틀라스의 역 스케일링 방법은, 상기 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 이용하여 가상 시점 영상을 생성하는 단계를 더 포함할 수 있다.Although not explicitly shown in FIG. 6 , the inverse scaling method of the geometry atlas according to an embodiment of the present invention generates a virtual viewpoint image using the min-max normalized depth values. It may further include the step of

도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템 구성을 나타낸 블록도이다.7 is a block diagram showing the configuration of a computer system according to an embodiment of the present invention.

실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링 장치, 지오메트리 아틀라스의 역 스케일링 장치, 인코딩된 이머시브 비디오 생성부, 시점 합성기, 이머시브 비디오 인코더 및 이머시브 비디오 디코더는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(700)에서 구현될 수 있다.The partial linear scaling apparatus of the geometry atlas, the inverse scaling apparatus of the geometry atlas, the encoded immersive video generator, the viewpoint synthesizer, the immersive video encoder, and the immersive video decoder according to the embodiment may include a computer such as a computer-readable recording medium. It may be implemented in system 700 .

컴퓨터 시스템(700)은 버스(720)를 통하여 서로 통신하는 하나 이상의 프로세서(710), 메모리(730), 사용자 인터페이스 입력 장치(740), 사용자 인터페이스 출력 장치(750) 및 스토리지(760)를 포함할 수 있다. 또한, 컴퓨터 시스템(700)은 네트워크(780)에 연결되는 네트워크 인터페이스(770)를 더 포함할 수 있다. 프로세서(710)는 중앙 처리 장치 또는 메모리(730)나 스토리지(760)에 저장된 프로그램 또는 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(730) 및 스토리지(760)는 휘발성 매체, 비휘발성 매체, 분리형 매체, 비분리형 매체, 통신 매체, 또는 정보 전달 매체 중에서 적어도 하나 이상을 포함하는 저장 매체일 수 있다. 예를 들어, 메모리(730)는 ROM(731)이나 RAM(732)을 포함할 수 있다.Computer system 700 may include one or more processors 710 , memory 730 , user interface input device 740 , user interface output device 750 and storage 760 that communicate with each other via bus 720 . can In addition, computer system 700 may further include a network interface 770 coupled to network 780 . The processor 710 may be a central processing unit or a semiconductor device that executes programs or processing instructions stored in the memory 730 or storage 760 . The memory 730 and the storage 760 may be a storage medium including at least one of a volatile medium, a non-volatile medium, a removable medium, a non-removable medium, a communication medium, and an information delivery medium. For example, the memory 730 may include a ROM 731 or a RAM 732 .

이 때, 메모리(730)에는 적어도 하나의 프로그램이 기록될 수 있다.At this time, at least one program may be recorded in the memory 730 .

이 때, 프로세서(710)는 상기 프로그램을 실행할 수 있다. 이 때, 상기 프로그램은 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하는 단계; 및 상기 깊이 값들을 복수개의 선형 구간들의 기울기들에 상응하여 스케일링하여 지오메트리 아틀라스들(geometry atlases)을 생성하는 단계의 수행을 위한 명령어들을 포함할 수 있다.In this case, the processor 710 may execute the program. At this time, the program generates min-max normalized depth values; and generating geometry atlases by scaling the depth values to correspond to gradients of a plurality of linear sections.

이 때, 상기 선형 구간들은 상기 최소-최대 노멀라이즈된 깊이 값들에 상응하는 전체 영역(entire range)이 동일한 길이의 구간들(equal intervals)로 나눠져서 생성된 것들일 수 있다.In this case, the linear intervals may be generated by dividing an entire range corresponding to the min-maximum normalized depth values into equal intervals of the same length.

이 때, 상기 기울기들은 상기 선형 구간들의 샘플 발생 빈도들(sample occurrence frequency)에 기반하여 결정될 수 있다.In this case, the slopes may be determined based on sample occurrence frequencies of the linear sections.

이 때, 상기 기울기들 각각은 샘플 발생 빈도가 높을수록 크게 설정될 수 있다.In this case, each of the slopes may be set to be larger as the frequency of sample generation increases.

이 때, 상기 선형 구간들은 상기 선형 구간들의 개수를 나타내는 제1 필드; 및 상기 선형 구간들 각각에 상응하는 스케일된(scaled) 값을 나타내는 제2 필드를 포함하는 신택스 필드들을 이용하여 시그널링될 수 있다.In this case, the linear sections include a first field indicating the number of the linear sections; and a second field indicating a scaled value corresponding to each of the linear sections.

본 발명의 일실시예예 다른 지오메트리 아틀라스의 부분 선형 스케일링 방법에 따르면, 깊이 정보의 손실이 최소화되어 시점 합성(view synthesis)의 효율성이 확보된다. 본 발명의 일실시예에 따른 지오메트리 아틀라스의 부분 선형 스케일링 방법은 부가적인 뷰(additional view)에서 깊이 값의 발생 빈도(occurrence frequency)에 기반하여 부분 선형 스케일링 모델을 생성할 수 있다.According to another method of partial linear scaling of a geometry atlas according to an embodiment of the present invention, loss of depth information is minimized and efficiency of view synthesis is secured. The partial linear scaling method of a geometry atlas according to an embodiment of the present invention may generate a partial linear scaling model based on an occurrence frequency of a depth value in an additional view.

이상에서와 같이 본 발명에 따른 지오메트리 아틀라스의 부분 선형 스케일링 방법, 역 스케일링 방법 및 이를 위한 장치들은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the configuration and method of the embodiments described above are not limitedly applicable to the partial linear scaling method, the inverse scaling method, and the apparatuses for the geometry atlas according to the present invention, but the embodiments are various All or part of each of the embodiments may be selectively combined so that modifications may be made.

210: 이머시브 비디오 인코더
220: 이머시브 비디오 디코더
210: immersive video encoder
220: immersive video decoder

Claims (20)

이머시브 비디오 인코더에서 수행되는 지오메트리 아틀라스의 부분 선형 스케일링(piecewise linear scaling) 방법에 있어서,
최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하는 단계; 및
상기 깊이 값들을 복수개의 선형 구간들의 기울기들에 상응하여 스케일링하여 지오메트리 아틀라스들(geometry atlases)을 생성하는 단계
를 포함하는, 부분 선형 스케일링 방법.
In a piecewise linear scaling method of a geometric atlas performed in an immersive video encoder,
generating min-max normalized depth values; and
generating geometry atlases by scaling the depth values according to slopes of a plurality of linear sections
A partial linear scaling method comprising:
청구항 1에 있어서,
상기 선형 구간들은
상기 최소-최대 노멀라이즈된 깊이 값들에 상응하는 전체 영역(entire range)이 동일한 길이의 구간들(equal intervals)로 나눠져서 생성된, 부분 선형 스케일링 방법.
The method according to claim 1,
The linear sections are
A partial linear scaling method, wherein an entire range corresponding to the min-maximum normalized depth values is divided into equal intervals of the same length.
청구항 1에 있어서,
상기 부분 선형 스케일링 방법은
상기 지오메트리 아틀라스들을 이용하여 인코딩된 이머시브 비디오 신호를 생성하는 단계를 더 포함하는, 부분 선형 스케일링 방법.
The method according to claim 1,
The partial linear scaling method is
generating an encoded immersive video signal using the geometric atlases.
청구항 1에 있어서,
상기 기울기들은
상기 선형 구간들의 샘플 발생 빈도들(sample occurrence frequencies)에 기반하여 결정되는, 부분 선형 스케일링 방법.
The method according to claim 1,
The slopes are
and is determined based on sample occurrence frequencies of the linear intervals.
청구항 4에 있어서,
상기 기울기들 각각은
샘플 발생 빈도가 높을수록 크게 설정되는, 부분 선형 스케일링 방법.
5. The method according to claim 4,
Each of the slopes is
Partial linear scaling method, which is set larger as the frequency of occurrence of samples is higher.
청구항 4에 있어서,
상기 샘플 발생 빈도들은 기설정된 범위로 클리핑(clipping)되는, 부분 선형 스케일링 방법.
5. The method according to claim 4,
wherein the sample occurrence frequencies are clipped to a predetermined range.
청구항 4에 있어서,
상기 선형 구간들은
상기 선형 구간들의 개수를 나타내는 제1 필드; 및
상기 선형 구간들 각각에 상응하는 스케일된(scaled) 값을 나타내는 제2 필드를 포함하는 신택스 필드들을 이용하여 시그널링되는, 부분 선형 스케일링 방법.
5. The method according to claim 4,
The linear sections are
a first field indicating the number of the linear sections; and
Signaled using syntax fields including a second field indicating a scaled value corresponding to each of the linear intervals.
청구항 7에 있어서,
상기 신택스 필드들은
상기 부분 선형 스케일링이 적용되는 시작 깊이 값을 나타내는 제3 필드를 더 포함하는, 부분 선형 스케일링 방법.
8. The method of claim 7,
The syntax fields are
and a third field indicating a starting depth value to which the partial linear scaling is applied.
이머시브 비디오 디코더에서 수행되는 지오메트리 아틀라스의 역 스케일링(inverse scaling) 방법에 있어서,
지오메트리 아틀라스들을 복원하는 단계; 및
상기 지오메트리 아틀라스들을 복수개의 선형 구간들의 기울기에 상응하여 역 스케일링하여 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하는 단계
를 포함하는, 지오메트리 아틀라스의 역 스케일링 방법.
In the inverse scaling method of the geometric atlas performed in the immersive video decoder,
reconstructing the geometric atlas; and
generating min-max normalized depth values by inversely scaling the geometric atlas according to the slopes of a plurality of linear sections;
A method of inverse scaling of a geometry atlas, comprising:
청구항 9에 있어서,
상기 선형 구간들은
상기 최소-최대 노멀라이즈된 깊이 값들에 상응하는 전체 영역(entire range)이 동일한 길이의 구간들(equal intervals)로 나눠져서 생성된, 지오메트리 아틀라스의 역 스케일링 방법.
10. The method of claim 9,
The linear sections are
An inverse scaling method of a geometry atlas, wherein an entire range corresponding to the min-maximum normalized depth values is divided into equal intervals of the same length.
청구항 9에 있어서,
상기 지오메트리 아틀라스의 역 스케일링 방법은
상기 최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 이용하여 가상 시점 영상을 생성하는 단계를 더 포함하는, 지오메트리 아틀라스의 역 스케일링 방법.
10. The method of claim 9,
The inverse scaling method of the geometry atlas is
The method of claim 1, further comprising generating a virtual viewpoint image using the min-max normalized depth values.
청구항 9에 있어서,
상기 기울기들은
상기 선형 구간들의 샘플 발생 빈도들(sample occurrence frequencies)에 기반하여 결정되는, 지오메트리 아틀라스의 역 스케일링 방법.
10. The method of claim 9,
The slopes are
A method for inverse scaling of a geometry atlas, which is determined based on sample occurrence frequencies of the linear intervals.
청구항 12에 있어서,
상기 기울기들 각각은
샘플 발생 빈도가 높을수록 많은 비트가 할당되도록 설정되는, 지오메트리 아틀라스의 역 스케일링 방법.
13. The method of claim 12,
Each of the slopes is
A method of inverse scaling of a geometry atlas, in which the higher the frequency of sample occurrence, the more bits are set to be allocated.
청구항 12에 있어서,
상기 선형 구간들은
상기 선형 구간들의 개수를 나타내는 제1 필드; 및
상기 선형 구간들 각각에 상응하는 스케일된(scaled) 값을 나타내는 제2 필드를 포함하는 신택스 필드들을 이용하여 시그널링되는, 지오메트리 아틀라스의 역 스케일링 방법.
13. The method of claim 12,
The linear sections are
a first field indicating the number of the linear sections; and
The inverse scaling method of a geometry atlas, which is signaled using syntax fields including a second field indicating a scaled value corresponding to each of the linear sections.
청구항 14에 있어서,
상기 신택스 필드들은
상기 부분 선형 스케일링이 적용되는 시작 깊이 값을 나타내는 제3 필드를 더 포함하는, 지오메트리 아틀라스의 역 스케일링 방법.
15. The method of claim 14,
The syntax fields are
and a third field indicating a starting depth value to which the partial linear scaling is applied.
적어도 하나의 프로그램이 기록된 메모리; 및
상기 프로그램을 실행하는 프로세서를 포함하며,
상기 프로그램은,
최소-최대 노멀라이즈된(min-max normalized) 깊이 값들을 생성하는 단계; 및
상기 깊이 값들을 복수개의 선형 구간들의 기울기들에 상응하여 스케일링하여 지오메트리 아틀라스들(geometry atlases)을 생성하는 단계의 수행을 위한 명령어들을 포함하는, 부분 선형 스케일링 장치.
a memory in which at least one program is recorded; and
a processor executing the program;
The program is
generating min-max normalized depth values; and
and instructions for generating geometry atlases by scaling the depth values according to slopes of a plurality of linear sections.
청구항 16에 있어서,
상기 선형 구간들은
상기 최소-최대 노멀라이즈된 깊이 값들에 상응하는 전체 영역(entire range)이 동일한 길이의 구간들(equal intervals)로 나눠져서 생성된, 부분 선형 스케일링 장치.
17. The method of claim 16,
The linear sections are
and an entire range corresponding to the min-maximum normalized depth values is generated by being divided into equal intervals of the same length.
청구항 16에 있어서,
상기 기울기들은
상기 선형 구간들의 샘플 발생 빈도들(sample occurrence frequencies)에 기반하여 결정되는, 부분 선형 스케일링 장치.
17. The method of claim 16,
The slopes are
and is determined based on sample occurrence frequencies of the linear intervals.
청구항 18에 있어서,
상기 기울기들 각각은
샘플 발생 빈도가 높을수록 크게 설정되는, 부분 선형 스케일링 장치.
19. The method of claim 18,
Each of the slopes is
Partial linear scaling device, which is set larger as the frequency of sample occurrence is higher.
청구항 18에 있어서,
상기 선형 구간들은
상기 선형 구간들의 개수를 나타내는 제1 필드; 및
상기 선형 구간들 각각에 상응하는 스케일된(scaled) 값을 나타내는 제2 필드를 포함하는 신택스 필드들을 이용하여 시그널링되는, 부분 선형 스케일링 장치.
19. The method of claim 18,
The linear sections are
a first field indicating the number of the linear sections; and
Signaled using syntax fields including a second field indicating a scaled value corresponding to each of the linear sections.
KR1020210183887A 2021-01-07 2021-12-21 Method of piecewise linear scaling of geometry atlas and apparatus using the same KR102601705B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/569,944 US20220215566A1 (en) 2021-01-07 2022-01-06 Method of piecewise linear scaling of geometry atlas and apparatus using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210002221 2021-01-07
KR20210002221 2021-01-07

Publications (2)

Publication Number Publication Date
KR20220099899A true KR20220099899A (en) 2022-07-14
KR102601705B1 KR102601705B1 (en) 2023-11-10

Family

ID=82406915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183887A KR102601705B1 (en) 2021-01-07 2021-12-21 Method of piecewise linear scaling of geometry atlas and apparatus using the same

Country Status (1)

Country Link
KR (1) KR102601705B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130023049A (en) * 2011-08-25 2013-03-07 삼성전자주식회사 Apparatus and method for encoding/decoding depth image using variable quantization parameter

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130023049A (en) * 2011-08-25 2013-03-07 삼성전자주식회사 Apparatus and method for encoding/decoding depth image using variable quantization parameter

Also Published As

Publication number Publication date
KR102601705B1 (en) 2023-11-10

Similar Documents

Publication Publication Date Title
US11741575B2 (en) Image processing apparatus and image processing method
WO2019198523A1 (en) Image processing device and method
US11699248B2 (en) Image processing apparatus and method
KR20200108833A (en) Image processing apparatus and method
US11109071B2 (en) Method and apparatus for dynamic point cloud partition packing
KR20200140256A (en) Image processing apparatus and method
US11399189B2 (en) Image processing apparatus and method
Pece et al. Adapting standard video codecs for depth streaming.
JPWO2020026846A1 (en) Image processing equipment and methods
US11514612B2 (en) Method and apparatus for point cloud coding
JP2021182650A (en) Image processing device and method
US11315289B2 (en) Adaptive depth guard band
CN113615201B (en) Point cloud compression and decompression method and device
US11915390B2 (en) Image processing device and method
KR102601705B1 (en) Method of piecewise linear scaling of geometry atlas and apparatus using the same
US20220215566A1 (en) Method of piecewise linear scaling of geometry atlas and apparatus using the same
US11683523B2 (en) Group of pictures based patch packing for video based point cloud coding
US20240048764A1 (en) Method and apparatus for multi view video encoding and decoding, and method for transmitting bitstream generated by the multi view video encoding method
US11956478B2 (en) Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
KR20220059929A (en) Method and device of processing multi-view video
WO2013039333A1 (en) 3d video encoding/decoding method and apparatus therefor
CN116982085A (en) Patch-based remodelling and metadata for volumetric video

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant