KR20200007735A - 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치 - Google Patents

스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20200007735A
KR20200007735A KR1020190084583A KR20190084583A KR20200007735A KR 20200007735 A KR20200007735 A KR 20200007735A KR 1020190084583 A KR1020190084583 A KR 1020190084583A KR 20190084583 A KR20190084583 A KR 20190084583A KR 20200007735 A KR20200007735 A KR 20200007735A
Authority
KR
South Korea
Prior art keywords
information
partition
image
encoded
encoding
Prior art date
Application number
KR1020190084583A
Other languages
English (en)
Other versions
KR102660514B1 (ko
Inventor
장은영
차지훈
최수길
장의선
최려
이소명
Original Assignee
한국전자통신연구원
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한양대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20200007735A publication Critical patent/KR20200007735A/ko
Application granted granted Critical
Publication of KR102660514B1 publication Critical patent/KR102660514B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치가 개시된다. 본 개시의 복호화 방법은 비트스트림으로부터 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 Auxiliary patch-info 정보를 획득하는 단계, 상기 부호화된 텍스처 영상을 이용하여 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는 단계, 상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 Auxiliary patch-info 정보 중 적어도 하나를 이용하여 기하 영상을 복원하는 단계 및 상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상을 이용하여 포인트 클라우드를 복원하는 단계를 포함할 수 있다.

Description

스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치{SCALABLE POINT CLOUD ENCODING/DECODING METHOD AND APPARATUS}
본 발명은 스케일러블 포인트 클라우드의 부호화/복호화 방법 및 장치에 관한 것이다. 구체적으로, 파티션 기반의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치에 관한 것이다.
입력 포인트 클라우드에 대한 종래의 부호화/복호화 방법에서는 region of spatial scalability (RSS)가 지원되지 않고 있다. 상기 종래의 부호화/복호화 방법은 MPEG PCC의 Category 2 dataset을 위한 앵커 소프트웨어(TMC2)를 의미할 수 있다. 또한, 상기 종래의 부호화/복호화 방법은 다양한 성능을 지원하기 위해 5단계의 비트율 기준을 정했지만, 비트율이 낮을수록 디코딩된 영상의 화질은 나빠질 수 있다. 한편, 저장 공간이나 전송 속도에 한계가 있는 장치에서는 압축률이 더 높은, 즉 낮은 비트율 기준을 선호할 수 있다. 하지만, 사용자에게 더 나은 UX(user experience)를 지원하기 위해서는 사용자가 관심을 갖는 영역과 그렇지 않은 영역에 대해 부분별 압축률을 다르게 할 필요가 있다.
또한, 상기 종래의 부호화/복호화 방법에서는 병렬 인코딩/디코딩 기능이 지원되지 않고 있다. 상기 종래의 부호화/복호화 방법은 패칭(patching) 프로세스 및/또는 HM 인코딩 프로세스를 포함할 수 있는데, 이때 인코딩 과정에서 상기 두 개의 프로세스에 대한 실행 시간은 비슷하다. 현재 HM에 기반한 빠른 인코딩 칩은 개발되었지만 패칭 프로세스를 위한 빠른 인코딩 칩은 개발되지 않았다. 따라서, 병렬 처리가 가능한 인코더/디코더 구조를 설계하는 것이 매우 중요할 수 있다.
본 발명은 파티션 기반의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 포인트 클라우드에 대해 RSS를 지원하는 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 포인트 클라우드에 대해 병렬 처리가 가능한 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따르면, 비트스트림으로부터 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 획득하는 단계; 상기 부호화된 텍스처 영상을 이용하여 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는 단계; 상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나를 이용하여 기하 영상을 복원하는 단계; 및 상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상을 이용하여 포인트 클라우드를 복원하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법이 제공될 수 있다.
일 실시예에 따른 상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 상기 기하 영상을 복원하는 단계는, 상기 부호화된 기하 영상을 이용하여 상기 각각의 파티션에 대한 복호화된 기하 영상을 획득하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 기하 영상을 복원하는 단계는, 상기 부호화된 occupancy map 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 occupancy map 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 기하 영상을 복원하는 단계는, 상기 부호화된 auxiliary patch-info 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 auxiliary patch-info 정보를 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 기하 영상을 복원하는 단계는, 상기 기하 영상을 스무딩(smoothing)하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 비트스트림으로부터 상기 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 복호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보에 기초하여 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 복호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 헤더 정보에서 시그널링될 수 있다.
일 실시예에 따른 상기 텍스처 영상, 기하 영상, occupancy map 정보 및 auxiliary patch-info 정보 간의 매핑 관계를 나타내는 매핑 정보를 복호화하는 단계를 더 포함할 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드를 적어도 하나 이상의 파티션으로 분할하는 단계; 상기 파티션에 관한 정보를 이용하여 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계; 및 상기 파티션에 관한 정보를 부호화하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법이 제공될 수 있다.
일 실시예에 따른 상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는, 상기 분할된 각각의 파티션에 대해 기하 영상 정보가 패딩된 기하 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는, 상기 분할된 각각의 파티션에 대해 텍스처 영상 정보가 패딩된 텍스처 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는, 상기 분할된 각각의 파티션에 대한 occupancy map 정보를 부호화하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는, 상기 분할된 각각의 파티션에 대한 auxiliary patch-info 정보를 부호화하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 파티션에 관한 정보는, 상기 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 포함할 수 있다.
일 실시예에 따른 상기 파티션에 관한 정보는, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 더 포함할 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 헤더 정보에서 시그널링될 수 있다.
일 실시예에 따른 상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링될 수 있다.
또한, 본 발명에 따르면, 스케일러블 포인트 클라우드 복호화 장치에 의해 수신되고 복호화되어 영상을 복원하는데 사용되는 영상 데이터를 저장하는 컴퓨터 판독가능한 비일시적 기록 매체에 있어서, 상기 영상 데이터는 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 포함하고, 상기 부호화된 텍스처 영상은 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는데 이용되고, 상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나는 기하 영상을 복원하는데 이용되고, 상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상은 포인트 클라우드를 복원하는데 이용될 수 있다.
본 발명에 따르면, 파티션 기반의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드에 대해 RSS를 지원하는 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드에 대해 병렬 처리가 가능한 부호화/복호화 방법 및 장치가 제공될 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 부호화기의 동작을 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 복호화기의 동작을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 파티션을 설명하기 위한 도면이다.
도 4 내지 도 8은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작과 종래의 부호화/복호화 방법 및 장치의 동작간의 비교 결과를 설명하기 위한 도면이다.
도 12는 본 발명의 다른 실시예에 따른 부호화기의 동작을 설명하기 위한 블록도이다.
도 13은 본 발명의 일 실시예에 따라 부호화되는 정보를 설명하기 위한 도면이다.
도 14는 본 발명의 다른 실시예에 따른 복호화기의 동작을 설명하기 위한 도면이다.
도 15 및 도 16은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작과 종래의 부호화/복호화 방법 및 장치의 동작간의 비교 결과를 설명하기 위한 도면이다.
도 17은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 파티션을 설명하기 위한 도면이다.
도 18 내지 도 20은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 21은 본 발명의 또 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 22는 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 복호화 방법의 흐름도이다.
도 23은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화 방법의 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
본 발명의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 발명에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 발명의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 발명에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 발명의 범위에 포함된다.
본 발명에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시예도 본 발명의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 발명의 범위에 포함된다.
입력 포인트 클라우드에 대한 종래의 부호화/복호화 방법에서는 패칭(patching) 프로세스와 HM 인코딩 프로세스를 연속적으로 처리하여 부호화/복호화를 수행할 수 있다. 한편, 본 발명에 따르면, region of spatial scalability(RSS)를 지원할 수 있다. 즉, 영역별 압축 화질을 다르게 할 수 있다. 또한, 병렬 부호화/복호화가 가능한 스케일러블 포인트 클라우드 부호화/복호화 방법이 제공될 수 있다.
이하에서는, 설명의 편의성을 위해 종래의 부호화/복호화 방법(예를 들어, V-PCC)에 기반하여 본 개시의 부호화/복호화 방법에 대해 후술한다.
본 개시의 부호화/복호화 방법 및 장치는 파티션 개념을 이용함으로써 PCC 요구사항인 RSS 기능을 지원할 수 있다. 또한, 본 개시의 부호화/복호화 방법 및 장치는 파티션 개념을 이용함으로써 부호화/복호화를 병렬적으로 수행할 수 있다.
포인트 클라우드 모델의 경우, 어떤 특정 영역의 관심도가 다른 영역의 관심도보다 더 높을 수 있다. 이때, 영역간의 상대적 중요성에 따라 다른 수준의 품질 할당을 하는 것이 중요할 수 있다. 예를 들어, 사용자가 높은 관심을 가질 만한 영역은 높은 비트율을 설정하고, 그 외의 영역은 낮은 비트율을 설정할 필요가 있다.
본 발명에 따르면, 입력된 포인트 클라우드 정보는 삼차원 공간상의 부분별 파티션 단위로 구분될 수 있다. 또한, 상기 파티션에 대해 부호화하고자 하는 비트율 단계가 각각 지정될 수 있다. 여기서, 상기 파티션은 슬라이스, 타일, 타일 그룹, 브릭 중 적어도 하나일 수 있다. 상기 구분된 각각의 슬라이스 또는 타일에 대해 하나의 관심 영역(Region of Interest, ROI) 계층에 대한 정보가 형성되고, 각각 독립적으로 부호화될 수 있다. 한편, 각 파티션에 대해 서로 다른 비트율 단계를 지정하지 않고 동일한 비트율 단계를 지정하더라도, 본 개시의 파티션 기반의 구조에서는 부호화/복호화가 병렬적으로 수행될 수 있다.
도 1은 본 발명의 일 실시예에 따른 부호화기의 동작을 설명하기 위한 블록도이다.
도 1에서 입력된 포인트 클라우드 정보를 구분하기 위한 파티션 단위는 슬라이스 단위가 이용되었지만, 이에 제한되지 않으며, 타일, 타일 그룹, 브릭 등 포인트 클라우드 정보를 구분할 수 있는 소정의 단위를 포함할 수 있다.
도 1을 참조하면, 부호화기는 입력된 포인트 클라우드(1)를 슬라이스 생성 프로세스(2)를 이용하여 하나 이상의 슬라이스(계층)로 분할함으로써 복수의 슬라이스(3) 계층을 생성할 수 있다. 또한, 부호화기는 상기 복수의 슬라이스(3)를 인코딩 프로세스(예를 들면, 패치 생성, 이미지 패딩 및/또는 비디오 압축)(4)를 이용하여 독립적으로 부호화할 수 있다. 또한, 부호화기는 각 슬라이스에 대한 서브-비트스트림(5)을 다중화기(6)를 이용하여 하나의 압축 비트스트림(7)으로 결합할 수 있다.
도 2는 본 발명의 일 실시예에 따른 복호화기의 동작을 설명하기 위한 블록도이다.
도 2에서 입력된 포인트 클라우드 정보를 구분하기 위한 파티션 단위는 슬라이스 단위가 이용되었지만, 이에 제한되지 않으며, 타일, 타일 그룹, 브릭 등 포인트 클라우드 정보를 구분할 수 있는 소정의 단위를 포함할 수 있다.
도 2를 참조하면, 복호화기는 입력된 압축 비트스트림(8)을 역다중화기(9)를 이용하여 슬라이스 레벨의 복수의 서브-비트스트림(10)으로 역다중화할 수 있다. 또한, 복호화기는 상기 복수의 서브-비트스트림(10)을 디코딩 프로세스(예를 들면, 패칭 및/또는 HM 디코딩 프로세스)(11)를 이용하여 독립적으로 복호화할 수 있다. 또한, 복호화기는 복호화된 슬라이스 별 데이터(12)를 슬라이스 조합 프로세스(13)를 이용하여 하나의 포인트 클라우드(14)로 결합할 수 있다.
도 3은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 파티션을 설명하기 위한 도면이다.
도 3을 참조하면, 한 명의 사람을 나타내는 입력 포인트 클라우드는 머리 부분(파티션 1)과 몸통 부분(파티션 2)의 2개의 파티션으로 분할될 수 있다. 이때, 2개의 파티션은 각각 독립적으로 부호화/복호화될 수 있다. 또한, 독립적으로 복호화된 각각의 파티션은 하나의 포인트 클라우드로 결합되어 출력될 수 있다. 한편, 상기 파티션은 슬라이스, 타일, 타일 그룹, 브릭 등을 의미할 수 있다.
도 4 내지 도 8은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 4 내지 도 8을 참조하면, 종래의 포인트 클라우드 부호화/복호화 과정(예를 들면, MPEG의 PCC Category 2)과 비교하여, enable_slice_segment, slice_geometry_stream_size_in_bytes, slice_geometry_d0_stream_size_in_bytes, slice_geometry_d1_stream_size_in_bytes, slice_texture_stream_size_in_bytes, number_of_slice 등의 구문 요소가 추가된 것을 알 수 있다. 한편, 상기 각각의 구문 요소의 명칭은 일 예이며, 실시예에 따라 달라질 수 있다.
도 9 내지 도 11은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작과 종래의 부호화/복호화 방법 및 장치의 동작간의 비교 결과를 설명하기 위한 도면이다.
구체적으로, 도 9는 실험 수행 환경을 설명하기 위한 도면이고, 도 10 및 도 11은 성능 비교 결과를 설명하기 위한 도면이다.
여기서, 종래의 부호화/복호화 방법 및 장치는 V-PCC를 의미할 수 있다. 또한, 본 개시의 부호화/복호화 방법은 V-PCC를 기반으로 도 1 내지 도 8에서 상술한 구성들을 추가한 것일 수 있다.
도 9를 참조하면, 두 가지 방법 간의 비교를 위해, Cat 2의 한 시퀀스(즉, Longdress_vox10_ 1051 ~ 1114.ply)를 테스트 데이터 세트로 이용하였다. 이때, 머리 영역을 관심영역(ROI)으로 가정하였다. 따라서, 머리 슬라이스는 Lossy_Geo & Color_AI 인코딩 조건의 r5(즉, 높은 비트율 조건)로 부호화하고, 몸통 슬라이스는 각각 r1, r2, r3, r4(즉, 낮은 비트율 조건)으로 부호화하였다.
도 10에서, V-PCC는 종래의 부호화/복호화 방법의 수행 결과이고, Slice-based method는 본 개시의 부호화/복호화 방법의 수행 결과이다. 본 개시의 부호화/복호화 방법을 이용한 경우의 PSNR 결과는 종래의 부호화/복호화 방법을 이용한 경우의 PSNR 결과와 거의 유사하고, 비트 전송률의 증가가 거의 없음을 알 수 있다.
도 11에서, 도 11의 (b)의 예와 같이 본 개시의 부호화/복호화 방법을 이용하여 복원된 머리 영역의 화질이 도 11의 (a)의 예와 같이 종래의 부호화/복호화 방법을 이용하여 복원된 머리 영역의 화질보다 더 선명하고 우수한 것을 알 수 있다.
도 12는 본 발명의 다른 실시예에 따른 부호화기의 동작을 설명하기 위한 블록도이다.
도 13은 본 발명의 일 실시예에 따라 부호화되는 정보를 설명하기 위한 도면이다.
도 12 및 도 13에서, 파티션은 타일을 의미할 수 있다.
도 12를 참조하면, 부호화기는 입력된 포인트 클라우드(1)를 Logical Partition(2)을 이용하여 적어도 하나 이상의 파티션으로 분할함으로써 복수의 파티션을 생성할 수 있다. 부호화기는 상기 복수의 파티션을 Patch Generation(3)을 이용하여 각 파티션에 해당하는 패치 정보를 생성할 수 있다. 여기서, 상기 Patch Generation(3)은 V-PCC의 인코딩 프로세스에서의 소정의 과정을 의미할 수 있다. 한편, 상기 생성된 패치 정보는 Geometry image generation(4), Texture image generation(5), Occupancy map compression(6) 및/또는 Auxiliary patch-info compression(7)에 전달될 수 있다.
부호화기는 Geometry image generation(4)을 이용하여 각 파티션의 기하 영상 정보가 패딩된 기하 영상(8)을 생성할 수 있다. 도 13에서 Geometry Frame은 상기 기하 영상 정보가 패딩된 기하 영상(8)의 일 예이다. 부호화기는 Texture image generation(5)을 이용하여 각 파티션의 텍스처 영상 정보가 패딩된 텍스처 영상(9)을 생성할 수 있다. 도 13에서 Texture Frame은 상기 텍스처 영상 정보가 패딩된 텍스처 영상(9)의 일 예이다. 부호화기는 상기 기하 영상(8)과 텍스처 영상(9)을 통상의 Video Compression(12)을 이용하여 압축함으로써 압축된 기하 비디오(13)와 압축된 텍스처 비디오(14)를 생성할 수 있다.
부호화기는 Occupancy map compression(6)을 이용하여 각 파티션에 대한 압축된 occupancy map(10)을 생성할 수 있다. 이때, 각 파티션에 대한 Occupancy Map 정보는 도 13의 Occupancy Map 1/2의 예와 같이 영상의 형태로 생성되어 통상의 Video Compression 과정을 통해 압축될 수 있다. 또는, 기정의된 traversal order에 따라 획득된 binary bit 값을 Run-length 인코딩함으로써 도 12에 도시된 바와 같이 각 파티션에 대한 정보가 개별적으로 전송될 수도 있다.
부호화기는 Auxiliary path-info compression(7)을 이용하여 각 파티션에 대한 압축된 Auxiliary patch-info(11)를 생성할 수 있다.
부호화기는 상기 생성된 압축된 기하 비디오(13), 압축된 텍스처 비디오(14), 압축된 occupancy map(10) 및/또는 압축된 Auxiliary patch-info(11)를 다중화기(15)를 이용하여 하나의 압축 비트스트림(16)으로 결합할 수 있다.
도 14는 본 발명의 다른 실시예에 따른 복호화기의 동작을 설명하기 위한 도면이다.
도 14에서, 파티션은 타일을 의미할 수 있다.
도 14를 참조하면, 복호화기는 입력되는 압축 비트스트림(17)을 역다중화기(18)를 이용하여 압축된 텍스처 비디오(19), 압축된 기하 비디오(20), 압축된 occupancy map(21) 및/또는 압축된 Auxiliary patch-info(22)로 역다중화할 수 있다.
복호화기는 상기 압축된 텍스처 비디오(19), 압축된 기하 비디오(20)를 Video decompression(23)을 이용하여 복호화함으로써 복호화된 텍스처 비디오(24), 복호화된 기하 비디오(25)를 생성할 수 있다. 도 13에서 Texture Frame은 상기 복호화된 텍스처 비디오(24)의 일 예일 수 있다. 또한, 도 13에서 Geometry Frame은 상기 복호화된 기하 비디오(25)의 일 예일 수 있다.
복호화기는 복호화된 텍스처 비디오(24)를 Decompressed texture video separation(26)을 이용하여 각 파티션 별 텍스처 영상(30)을 생성할 수 있다. 예를 들면, 도 13의 Texture Frame에서, 복호화기는 Texture Frame의 상단 부분을 차지하고 있는 파티션1(머리 부분)에 대한 텍스처 영상과 Texture Frame의 하단 부분을 차지하고 있는 파티션2(몸통 부분)에 대한 텍스처 영상을 분리할 수 있다.
복호화기는 복호화된 기하 비디오(25)를 Decompressed geometry video separation(27)을 이용하여 각 파티션 별 기하 영상(31)을 생성할 수 있다. 예를 들면, 도 13의 Geometry Frame에서, 복호화기는 Geometry Frame의 상단 부분을 차지하고 있는 파티션1(머리 부분)에 대한 기하 영상과 Geometry Frame의 하단 부분을 차지하고 있는 파티션2(몸통 부분)에 대한 기하 영상을 분리할 수 있다.
복호화기는 압축된 occupancy map(21)을 Occupancy map decompression(28)을 이용하여 각 파티션 별 복호화된 occupancy map(32)을 생성할 수 있다. 복호화기는 압축된 Auxiliary patch-info(22)를 Auxiliary patch-info decompression(29)을 이용하여 각 파티션 별 복호화된 Auxiliary patch-info(33)를 생성할 수 있다.
복호화기는 상기 복호화된 각 파티션 별 기하 영상(31), 각 파티션 별 복호화된 occupancy map (32) 및/또는 각 파티션 별 복호화된 Auxiliary patch-info(33)를 Geometry reconstruction(34)을 이용하여 복원된 기하 정보를 생성할 수 있다. 또한, 복호화기는 상기 생성된 복원된 기하 정보를 smoothing(35)을 이용하여 smoothing된 기하 정보를 생성할 수 있다.
복호화기는 각 파티션 별 텍스처 영상(30)과 smoothing된 기하 정보를 Texture reconstruction(36)을 이용하여 각 파티션 별 포인트 클라우드 정보를 복원할 수 있다. 또한, 복호화기는 상기 복원된 파티션 별 포인트 클라우드 정보를 Combination(37)을 이용하여 하나의 포인트 클라우드(38)로 결합할 수 있다.
도 15 및 도 16은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작과 종래의 부호화/복호화 방법 및 장치의 동작간의 비교 결과를 설명하기 위한 도면이다.
구체적으로, 도 15는 실험 수행 환경을 설명하기 위한 도면이고, 도 16은 성능 비교 결과를 설명하기 위한 도면이다.
여기서, 종래의 부호화/복호화 방법 및 장치는 V-PCC를 의미할 수 있다. 또한, 본 개시의 부호화/복호화 방법은 V-PCC를 기반으로 도 12 내지 도 14에서 상술한 구성들을 추가한 것일 수 있다.
한편, 도 9 내지 도 11의 예와 비교하여, 본 개시의 부호화/복호화 방법은 각 파티션에 대해 서로 다른 비트율 단계를 지정하지 않고 동일한 비트율 단계를 지정하였다. 이 경우에도, 본 개시의 파티션 기반의 구조는 부호화/복호화를 병렬적으로 수행함으로써 부호화/복호화 성능을 향상시킬 수 있다.
도 17은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 파티션을 설명하기 위한 도면이다.
도 17을 참조하면, 한 명의 사람을 나타내는 입력 포인트 클라우드는 3개의 파티션으로 분할될 수 있다. 이때, 상기 3개의 파티션은 3D bounding box를 이용하여 분할될 수 있다. 또한, 상기 3개의 파티션은 2D bounding box에 의해 구분되어 독립적으로 부호화/복호화될 수 있다. 또한, 독립적으로 복호화된 각각의 파티션은 하나의 포인트 클라우드로 결합되어 출력될 수 있다. 한편, 도 17에서 상기 파티션은 타일을 의미할 수 있으나, 이에 제한되지 않으며, 슬라이스, 타일 그룹, 브릭 등을 의미할 수도 있다.
본 발명의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치의 동작을 부호화기/복호화기에서 구현하기 위해 소정의 구문 요소 정보가 종래의 MPEG V-PCC 부호화/복호화 과정에 추가될 수 있다.
일 예로, 포인트 클라우드 정보를 파티션을 적용하여 복수의 파티션으로 분할하여 부호화되었는지 파티션을 적용하지 않았는지를 알려주는 정보가 추가될 수 있다. 상기 정보는 헤더 정보에서 시그널링 될 수 있다.
다른 예로, 포인트 클라우드가 복수의 파티션으로 분할된 경우, 각 파티션에 대한 3D bounding box 정보 및/또는 패칭(patching) 프로세스 이후의 비디오 데이터에 대해 각 파티션에 대한 2D bounding box 정보가 추가될 수 있다. 상기 정보들은 이미 부호화된 정보를 이용하여 복원할 수 있으나, 계산 복잡도가 높아질 수 있기 때문에, 헤더 정보에서 시그널링 될 수 있다.
또 다른 예로, 텍스처/기하 비디오, occupancy map 정보, auxiliary patch-info 정보 간의 매핑 관계를 나타내는 매핑 정보가 추가될 수 있다. 상기 매핑 정보는 헤더 정보에서 시그널링 될 수 있다.
도 18 내지 도 20은 본 발명의 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
구체적으로, 도 18은 종래의 MPEG V-PCC 부호화/복호화 과정의 V-PCC unit payload syntax와 Tile parameter set syntax에서 상기 소정의 구문 요소 정보가 추가된 일 예이다. 또한, 도 19는 본 개시의 파티션 기반의 부호화/복호화 방법을 적용하는 경우 종래의 MPEG V-PCC 부호화/복호화 과정의 vpcc_unit_payload()에서 vpcc_unit_type의 변경 사항을 도시한 일 예이다. 예를 들면, vpcc_unit_type 값이 ‘1’일 경우 VPCC_TPS의 식별자로 사용될 수 있다. 또한, 도 20은 도 18에서 추가된 구문 요소 정보의 의미를 나타낸 일 예이다.
도 21은 본 발명의 또 다른 실시예에 따른 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치를 부호화기/복호화기에서 구현하기 위해 필요한 구문 요소(syntax element) 정보, 구문 요소의 정보의 의미(semantics), 부호화/복호화 과정을 설명하기 위한 도면이다.
도 21을 참조하면, 본 개시의 부호화/복호화 방법을 구현하기 위해 필요한 구문 요소 정보는 SEI Message syntax에 추가될 수 있다. 여기서, tile parameter set SEI message는 각 파티션의 2D bounding box 및/또는 3D bounding box를 규정하는 매개변수 정보를 포함할 수 있다.
도 21을 참조하면, sei_payload()에서 사용하는 payloadType에 대해 본 개시의 부호화/복호화 방법을 수행하기 위한 추가 정보를 나타내는 식별자를 할당할 수 있으며, 도 21에서는 ‘11’을 일 예로 하였다. tile_parameter_set()은 도 18 내지 도 20에서 상술하였던 구문 요소 정보들과 동일한 정보를 포함할 수 있다.
도 22는 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 복호화 방법의 흐름도이다.
단계 S2201에서, 비트스트림으로부터 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 획득할 수 있다.
단계 S2202에서, 부호화된 텍스처 영상을 이용하여 각각의 파티션에 대한 복호화된 텍스처 영상을 획득할 수 있다.
한편, 상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함할 수 있다.
단계 S2203에서, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보 중 적어도 하나를 이용하여 기하 영상을 복원할 수 있다.
한편, 상기 기하 영상을 복원하는 것은, 상기 부호화된 기하 영상을 이용하여 상기 각각의 파티션에 대한 복호화된 기하 영상을 획득하는 것을 포함할 수 있다. 또한, 상기 부호화된 occupancy map 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 occupancy map 정보를 생성하는 것을 포함할 수 있다. 또한, 상기 부호화된 auxiliary patch-info 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 auxiliary patch-info 정보를 생성하는 것을 포함할 수 있다. 또한, 상기 기하 영상을 스무딩(smoothing)하는 것을 포함할 수 있다.
단계 S2204에서, 각각의 파티션에 대한 텍스처 영상 및 기하 영상을 이용하여 포인트 클라우드를 복원할 수 있다.
한편, 비트스트림으로부터 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 더 복호화할 수 있다.
한편, 파티션의 적용 여부에 관한 정보에 기초하여 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 더 복호화할 수 있다.
한편, 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 헤더 정보에서 시그널링될 수 있다.
한편, 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링될 수 있다.
한편, 텍스처 영상, 기하 영상, occupancy map 정보 및 auxiliary patch-info 정보 간의 매핑 관계를 나타내는 매핑 정보를 더 복호화할 수 있다.
도 23은 본 발명의 일 실시예에 따른 스케일러블 포인트 클라우드 부호화 방법의 흐름도이다.
단계 S2301에서, 포인트 클라우드를 적어도 하나 이상의 파티션으로 분할할 수 있다.
한편, 상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함할 수 있다.
단계 S2302에서, 파티션에 관한 정보를 이용하여 분할된 적어도 하나 이상의 파티션을 부호화할 수 있다.
한편, 분할된 적어도 하나 이상의 파티션을 부호화하는 것은, 분할된 각각의 파티션에 대해 기하 영상 정보가 패딩된 기하 영상을 생성하는 것을 포함할 수 있다. 또한, 분할된 각각의 파티션에 대해 텍스처 영상 정보가 패딩된 텍스처 영상을 생성하는 것을 포함할 수 있다. 또한, 분할된 각각의 파티션에 대한 occupancy map 정보를 부호화하는 것을 포함할 수 있다. 또한, 분할된 각각의 파티션에 대한 auxiliary patch-info 정보를 부호화하는 것을 포함할 수 있다.
단계 S2303에서, 파티션에 관한 정보를 부호화할 수 있다.
한편, 상기 파티션에 관한 정보는, 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 포함할 수 있다. 또한, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 더 포함할 수 있다.
한편, 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링될 수 있다.
또한, 스케일러블 포인트 클라우드 복호화 장치에 의해 수신되고 복호화되어 영상을 복원하는데 사용되는 영상 데이터를 저장하는 컴퓨터 판독가능한 비일시적 기록 매체에 있어서, 상기 영상 데이터는 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 포함하고, 상기 부호화된 텍스처 영상은 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는데 이용되고, 상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나는 기하 영상을 복원하는데 이용되고, 상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상은 포인트 클라우드를 복원하는데 이용되는 컴퓨터 판독가능한 비일시적 기록 매체가 제공될 수 있다.
본 발명에 따르면, 파티션 기반의 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드에 대해 RSS를 지원하는 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 포인트 클라우드에 대해 병렬 처리가 가능한 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 파티션(타일) 기반의 구조는 부호화/복호화를 병렬적으로 수행함으로써 부호화/복호화 성능을 향상 시킬 수 있다.
또한, 본 발명에 따르면, MPEG PCC의 Category 2 dataset을 위한 앵커 소프트웨어(예를 들면, TMC2) 및/또는 Category 1, 3 dataset을 위한 앵커 소프트웨어(예를 들면, TMC13)에 적용될 수 있다.
또한, 본 발명에 따르면, 병렬적 수행이 지원 가능한 V-PCC 구조와 해당 Syntax/Semantics가 제공될 수 있다.
또한, 본 발명에 따르면, RSS가 지원 가능한 V-PCC 구조와 해당 Syntax/ Semantics가 제공될 수 있다.
또한, 본 발명에 따르면, 동일한 동작 원리와 동일한 semantics를 갖는 정보를 전달함으로써 G-PCC 구조에도 적용할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 비트스트림으로부터 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 획득하는 단계;
    상기 부호화된 텍스처 영상을 이용하여 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는 단계;
    상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나를 이용하여 기하 영상을 복원하는 단계; 및
    상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상을 이용하여 포인트 클라우드를 복원하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  2. 제1항에 있어서,
    상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  3. 제1항에 있어서,
    상기 기하 영상을 복원하는 단계는,
    상기 부호화된 기하 영상을 이용하여 상기 각각의 파티션에 대한 복호화된 기하 영상을 획득하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  4. 제1항에 있어서,
    상기 기하 영상을 복원하는 단계는,
    상기 부호화된 occupancy map 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 occupancy map 정보를 생성하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  5. 제1항에 있어서,
    상기 기하 영상을 복원하는 단계는,
    상기 부호화된 auxiliary patch-info 정보를 이용하여 상기 각각의 파티션에 대한 복호화된 auxiliary patch-info 정보를 생성하는 단계를 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  6. 제1항에 있어서,
    상기 기하 영상을 복원하는 단계는,
    상기 기하 영상을 스무딩(smoothing)하는 단계를 더 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  7. 제1항에 있어서,
    상기 비트스트림으로부터 상기 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 복호화하는 단계를 더 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  8. 제7항에 있어서,
    상기 파티션의 적용 여부에 관한 정보에 기초하여 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 복호화하는 단계를 더 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  9. 제8항에 있어서,
    상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 헤더 정보에서 시그널링되는 스케일러블 포인트 클라우드 복호화 방법.
  10. 제8항에 있어서,
    상기 파티션의 적용 여부에 관한 정보, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나는 SEI message 정보에서 시그널링되는 스케일러블 포인트 클라우드 복호화 방법.
  11. 제1항에 있어서,
    상기 텍스처 영상, 기하 영상, occupancy map 정보 및 auxiliary patch-info 정보 간의 매핑 관계를 나타내는 매핑 정보를 복호화하는 단계를 더 포함하는 스케일러블 포인트 클라우드 복호화 방법.
  12. 포인트 클라우드를 적어도 하나 이상의 파티션으로 분할하는 단계;
    상기 파티션에 관한 정보를 이용하여 상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계; 및
    상기 파티션에 관한 정보를 부호화하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  13. 제12항에 있어서,
    상기 파티션은, 슬라이스, 타일, 타일 그룹 및 브릭 중 적어도 하나를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  14. 제12항에 있어서,
    상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는,
    상기 분할된 각각의 파티션에 대해 기하 영상 정보가 패딩된 기하 영상을 생성하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  15. 제12항에 있어서,
    상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는,
    상기 분할된 각각의 파티션에 대해 텍스처 영상 정보가 패딩된 텍스처 영상을 생성하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  16. 제12항에 있어서,
    상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는,
    상기 분할된 각각의 파티션에 대한 occupancy map 정보를 부호화하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  17. 제12항에 있어서,
    상기 분할된 적어도 하나 이상의 파티션을 부호화하는 단계는,
    상기 분할된 각각의 파티션에 대한 auxiliary patch-info 정보를 부호화하는 단계를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  18. 제12항에 있어서,
    상기 파티션에 관한 정보는, 상기 포인트 클라우드에 대한 파티션의 적용 여부에 관한 정보를 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  19. 제18항에 있어서,
    상기 파티션에 관한 정보는, 3D bounding box 정보 및 2D bounding box 정보 중 적어도 하나를 더 포함하는 스케일러블 포인트 클라우드 부호화 방법.
  20. 스케일러블 포인트 클라우드 복호화 장치에 의해 수신되고 복호화되어 영상을 복원하는데 사용되는 영상 데이터를 저장하는 컴퓨터 판독가능한 비일시적 기록 매체에 있어서,
    상기 영상 데이터는 부호화된 텍스처 영상, 부호화된 기하 영상, 부호화된 occupancy map 정보 및 부호화된 auxiliary patch-info 정보를 포함하고,
    상기 부호화된 텍스처 영상은 각각의 파티션에 대한 복호화된 텍스처 영상을 획득하는데 이용되고,
    상기 부호화된 기하 영상, 상기 부호화된 occupancy map 정보 및 상기 부호화된 auxiliary patch-info 정보 중 적어도 하나는 기하 영상을 복원하는데 이용되고,
    상기 각각의 파티션에 대한 텍스처 영상 및 상기 기하 영상은 포인트 클라우드를 복원하는데 이용되는 컴퓨터 판독가능한 비일시적 기록 매체.
KR1020190084583A 2018-07-13 2019-07-12 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치 KR102660514B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR1020180081791 2018-07-13
KR20180081791 2018-07-13
KR20180119998 2018-10-08
KR1020180119998 2018-10-08
KR20190032400 2019-03-21
KR1020190032400 2019-03-21
KR1020190049156 2019-04-26
KR20190049156 2019-04-26

Publications (2)

Publication Number Publication Date
KR20200007735A true KR20200007735A (ko) 2020-01-22
KR102660514B1 KR102660514B1 (ko) 2024-04-24

Family

ID=69141480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190084583A KR102660514B1 (ko) 2018-07-13 2019-07-12 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US20210304354A1 (ko)
KR (1) KR102660514B1 (ko)
WO (1) WO2020013661A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220002106A (ko) * 2020-06-30 2022-01-06 한국전자통신연구원 3차원 포인트 클라우드의 점유 지도 압축 방법
WO2022050688A1 (ko) * 2020-09-01 2022-03-10 엘지전자 주식회사 3d 데이터 송신 장치, 3d 데이터 송신 방법, 3d 데이터 수신 장치 및 3d 데이터 수신 방법
WO2022092886A1 (ko) * 2020-10-30 2022-05-05 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022092971A1 (ko) * 2020-10-30 2022-05-05 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR20220078514A (ko) * 2020-12-03 2022-06-10 한양대학교 산학협력단 3차원 포인트 클라우드 압축 방법 및 장치
WO2022169176A1 (ko) * 2021-02-08 2022-08-11 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022225233A1 (ko) * 2021-04-22 2022-10-27 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11954891B2 (en) 2020-06-30 2024-04-09 Electronics And Telecommunications Research Institute Method of compressing occupancy map of three-dimensional point cloud

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113302844A (zh) * 2018-12-28 2021-08-24 索尼集团公司 信息处理装置和信息处理方法
CN116458162A (zh) * 2020-11-05 2023-07-18 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954295B1 (en) * 2011-08-10 2015-02-10 Trimble Navigation Limited Determining an outer shell of a composite three-dimensional model
US20170347122A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9848958B2 (en) * 2009-11-02 2017-12-26 Align Technology, Inc. Generating a dynamic three-dimensional occlusogram
CN104781852B (zh) * 2012-09-21 2020-09-15 欧克里德私人有限公司 用于渲染三维场景的计算机绘图方法
KR102238693B1 (ko) * 2014-06-20 2021-04-09 삼성전자주식회사 포인트 클라우드에서 특징 영역을 추출하는 방법 및 장치
EP3346449B1 (en) * 2017-01-05 2019-06-26 Bricsys NV Point cloud preprocessing and rendering
JP7038377B2 (ja) * 2018-05-23 2022-03-18 富士通株式会社 生体モデル生成装置、生体モデル生成方法、および生体モデル生成プログラム
US10817752B2 (en) * 2018-05-31 2020-10-27 Toyota Research Institute, Inc. Virtually boosted training
MX2021000430A (es) * 2018-07-13 2021-03-25 Panasonic Ip Corp America Metodo de codificacion de datos tridimensionales, metodo de decodificacion de datos tridimensionales, dispositivo codificador de datos tridimensionales y dispositivo decodificador de datos tridimensionales.
US11961302B2 (en) * 2021-05-25 2024-04-16 The Hong Kong University Of Science And Technology Visual analytics tool for proctoring online exams

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954295B1 (en) * 2011-08-10 2015-02-10 Trimble Navigation Limited Determining an outer shell of a composite three-dimensional model
US20170347122A1 (en) * 2016-05-28 2017-11-30 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220002106A (ko) * 2020-06-30 2022-01-06 한국전자통신연구원 3차원 포인트 클라우드의 점유 지도 압축 방법
US11954891B2 (en) 2020-06-30 2024-04-09 Electronics And Telecommunications Research Institute Method of compressing occupancy map of three-dimensional point cloud
WO2022050688A1 (ko) * 2020-09-01 2022-03-10 엘지전자 주식회사 3d 데이터 송신 장치, 3d 데이터 송신 방법, 3d 데이터 수신 장치 및 3d 데이터 수신 방법
WO2022092886A1 (ko) * 2020-10-30 2022-05-05 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022092971A1 (ko) * 2020-10-30 2022-05-05 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR20220078514A (ko) * 2020-12-03 2022-06-10 한양대학교 산학협력단 3차원 포인트 클라우드 압축 방법 및 장치
WO2022169176A1 (ko) * 2021-02-08 2022-08-11 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2022225233A1 (ko) * 2021-04-22 2022-10-27 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Also Published As

Publication number Publication date
KR102660514B1 (ko) 2024-04-24
WO2020013661A1 (ko) 2020-01-16
US20210304354A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
KR102660514B1 (ko) 스케일러블 포인트 클라우드 부호화/복호화 방법 및 장치
JP7252372B2 (ja) 点群コーディングのための方法及び装置
US10798389B2 (en) Method and apparatus for content-aware point cloud compression using HEVC tiles
KR20200108833A (ko) 화상 처리 장치 및 방법
KR20210108951A (ko) 정보 처리 장치 및 정보 처리 방법
JP2022514548A (ja) 点群解凍用方法、点群圧縮用方法及び装置
JP7325534B2 (ja) 点群符号化のための方法および装置
JP2022512509A (ja) 符号化された点群データの分割
CN116997935A (zh) 用于网格压缩的块压缩
CN112789865A (zh) 信息处理装置和信息处理方法
JP7396302B2 (ja) 画像処理装置および方法
WO2020071101A1 (ja) 画像処理装置および方法
WO2021193088A1 (ja) 画像処理装置および方法
JP2023551303A (ja) メッシュ復元のための方法、装置及びコンピュータプログラム
US20220343545A1 (en) Method and apparatus for immersive video encoding and decoding
JP7434667B2 (ja) ビデオベースの点群コーディングのためのグループオブピクチャベースのパッチパッキング
US11606556B2 (en) Fast patch generation for video based point cloud coding
KR20230047930A (ko) 몰입형 입체 영상을 위한 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
US20200221137A1 (en) Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
KR20220146312A (ko) 이머시브 영상 부호화/복호화 방법 및 장치
KR20240056739A (ko) 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR20230127319A (ko) 포인트 클라우드에 기반한 동적 메시 압축
CN116635904A (zh) 用于动态网格压缩的方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right