KR20210031456A - 포인트 클라우드의 포인트들의 텍스처를 인코딩/디코딩하기 위한 방법 - Google Patents

포인트 클라우드의 포인트들의 텍스처를 인코딩/디코딩하기 위한 방법 Download PDF

Info

Publication number
KR20210031456A
KR20210031456A KR1020217000377A KR20217000377A KR20210031456A KR 20210031456 A KR20210031456 A KR 20210031456A KR 1020217000377 A KR1020217000377 A KR 1020217000377A KR 20217000377 A KR20217000377 A KR 20217000377A KR 20210031456 A KR20210031456 A KR 20210031456A
Authority
KR
South Korea
Prior art keywords
texture
point
point cloud
color information
interpolation
Prior art date
Application number
KR1020217000377A
Other languages
English (en)
Inventor
줄리앙 리카르
셀린느 게드
조앙 라슈
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Publication of KR20210031456A publication Critical patent/KR20210031456A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

실시예들 중 적어도 하나는 비트스트림이 텍스처 이미지를 나타내는 색상 정보 데이터를 포함한다는 것, 및 상기 색상 정보 데이터로부터 색상화되지 않은 재구성된 포인트 클라우드의 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 비트스트림에서 생성하고 인코딩하기 위한 방법 및 디바이스를 제공한다.

Description

포인트 클라우드의 포인트들의 텍스처를 인코딩/디코딩하기 위한 방법
본 실시예들은 대체로 포인트 클라우드의 지오메트리(geometry) 및 색상(color)을 나타내는 3D 이미지 데이터의 코딩 및 디코딩에 관한 것이다.
본 절은, 이하에서 설명되거나 및/또는 청구되는 본 실시예들의 다양한 양태에 관련될 수 있는 기술의 다양한 양태를 독자에게 소개하기 위함이다. 본 논의는, 본 실시예들의 다양한 양태의 더 나은 이해를 용이화하기 위해 독자에게 배경 정보를 제공하는데 도움이 될 것으로 믿어진다. 따라서, 이들 설명은 이러한 점에 비추어 읽혀져야 하고, 종래 기술로서의 인정으로서 받아들여져서는 안 됨을 이해해야 한다.
포인트 클라우드는 어떤 좌표계의 데이터 포인트 세트이다. 3차원 좌표계(3D 공간)에서, 이들 포인트는 대개 3D 객체의 외부 표면을 나타내기 위한 것이다. 포인트 클라우드의 각각의 포인트는 종종, 그 위치(3D 공간에서의 X, Y 및 Z 좌표)와, 아마도, RGB 또는 YUV 색상 공간에서 표현되는 색상 등의 기타의 연관된 속성, 예를 들어, 투명도, 반사율, 2성분 법선 벡터 등에 의해 정의된다.
이하에서는, 채색된 포인트 클라우드, 즉, 6-컴포넌트 포인트 세트(X, Y, Z, R, G, B) 또는 동등하게(X, Y, Z, Y, U, V)가 고려되며, 여기서 (X, Y, Z)는 3D 공간에서 채색된 포인트의 좌표를 정의하고, (R, G, B) 또는(Y, u, V)는 이 채색된 포인트의 색상을 정의한다.
채색된 포인트 클라우드는 시간에 따라 클라우드가 진화하는지 여부에 따라 정적이거나 동적일 수 있다. 동적 포인트 클라우드의 경우, 포인트 수는 일정하지 않지만, 반면에 일반적으로 시간에 따라 진화한다. 따라서 동적 포인트 클라우드는 포인트 세트의 시간 정렬된 목록이다.
실제로, 채색된 포인트 클라우드는 문화 유산/건물 등의 다양한 목적에 이용될 수 있으며, 이를 통해 물체를 보내거나 방문하지 않고 물체의 공간적 구성을 공유하기 위해 동상이나 건물 등의 물체가 3D로 스캔될 수 있다. 또한, 파괴될 수 있는 경우; 예를 들어, 지진으로 인한 사원의 파괴에 대비하여 물체에 대한 지식 보존을 보장하는 한 방식이다. 이러한 포인트 클라우드들은, 전형적으로 정적이고 채색되고 거대하다.
또 다른 이용 사례는, 지형도 제작 및 맵 제작으로서, 3D 표현을 이용하여, 맵은 평면으로 제한되지 않으며 기복을 포함할 수 있다. Google Maps는 이제 3D 맵의 좋은 예이지만 포인트 클라우드 대신 메시를 이용한다. 그럼에도 불구하고, 포인트 클라우드는 3D 맵에 적합한 데이터 포맷일 수 있고, 이러한 포인트 클라우드는 전형적으로 정적이고 채색되며 거대하다.
자동차 산업 및 자율 주행 자동차도 포인트 클라우드가 이용될 수 있는 영역이다. 자율 주행 자동차는, 주변의 현실에 기초하여 올바른 운전 결정을 내리기 위해 주변 환경을 "탐색(probe)"할 수 있어야 한다. LIDAR 등의 전형적인 센서는 의사 결정 엔진에 의해 이용되는 동적 포인트 클라우드를 생성한다. 이들 포인트 클라우드는 사람이 보도록 의도한 것은 아니며, 전형적으로 작은 크기이고, 반드시 채색되는 것은 아니며, 높은 캡처 빈도와 함께 동적이다. 이들은, 이 속성이 감지된 물체의 재료에 관한 좋은 정보이고 결정에 도움을 줄 수 있는 Lidar에 의해 제공되는 반사율 등의 다른 속성을 가질 수 있다.
가상 현실과 몰입형 세계는 최근 인기 주제가 되었으며 2D 평면 비디오의 미래로 많은 사람들이 예견했다. 기본 아이디어는, 시청자가 자신의 앞에 있는 가상 세계만 볼 수 있는 표준 TV와는 달리 모든 환경에서 시청자를 몰입시키는 것이다. 환경에서 시청자의 자유도에 따라 몰입감에는 몇 가지 단계가 있다. 채색된 포인트 클라우드는 가상 현실(또는 VR) 세계를 배포하기에 좋은 포맷의 후보이다. 이들은 정적 또는 동적일 수 있고 전형적으로 평균 크기이며, 한 번에 수백만 포인트를 넘지 않는다.
수용가능한(또는 바람직하게는 매우 우수한) 경험 품질을 유지하면서 합리적인 비트레이트 소비로 최종 사용자에게 동적인 채색된 포인트 클라우드를 배포할 수 있는 것이 결정적이다. 이들 동적인 채색된 포인트 클라우드의 효율적인 압축은 몰입형 세계의 배포 체인을 실용적으로 만들기 위한 핵심 포인트이다.
이하에서, 픽처는, 픽처(또는 비디오)의 픽셀 값에 관련된 모든 정보와 예를 들어, 픽처(또는 비디오)를 시각화 및/또는 디코딩하기 위해 디스플레이 및/또는 기타 임의의 디바이스에 의해 이용될 수 있는 모든 정보를 명시하는 특정한 픽처/비디오 포맷의 샘플들(픽셀 값들)의 하나 또는 여러 어레이를 포함한다. 픽처는, 샘플들의 제1 어레이의 형상으로 된, 적어도 하나의 컴포넌트, 대개는 루마(또는 휘도) 컴포넌트, 및 아마도 샘플들의 적어도 하나의 다른 어레이의 형상으로 된, 적어도 하나의 다른 컴포넌트, 대개는 색상 컴포넌트를 포함한다. 또는 동등하게, 동일한 정보가 또한, 전통적인 삼색 RGB 표현 등의, 한 세트의 색상 샘플들의 어레이로 표현될 수 있다.
이미지 기반 포인트 클라우드 압축 기술들은, 압축 효율성과 낮은 복잡성의 조합으로 인해 점점 대중화되고 있다. 이들은 2개의 주요 단계로 진행된다: 첫째, 이들은, 포인트 클라우드, 즉, 3D 포인트를 2D 이미지에 투사(직교 투사)한다. 예를 들어, 적어도 하나의 깊이 이미지는, 포인트 클라우드의 지오메트리, 즉, 3D 공간에서 3D 포인트의 공간적 위치(좌표)를 나타내고, 적어도 하나의 텍스처 이미지는 포인트 클라우드의 3D 포인트와 연관된 속성, 예를 들어, 이들 3D 포인트와 연관된 텍스처/색상 정보를 나타낸다. 그 다음, 이들 기술은 레거시 비디오 인코더를 이용하여 이러한 깊이 및 텍스처 이미지를 인코딩한다. 이들은, HEVC ("ITU-T H.265 Telecommunication standardization sector of ITU (10/2014), series H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265") 등의 2D 비디오 인코더의 성능을 활용하여 우수한 압축 성능을 달성하면서, 동시에, 간단한 투사 방식을 이용하여 복잡성을 낮게 유지한다.
이미지 기반 포인트 클라우드 압축 기술의 과제 중 하나는, 특히 포인트 분포가 많이 접힌 표면(옷 등의 오목/볼록 영역)을 따를 때 또는 포인트 분포가 (모피나 머리카락처럼) 표면을 전혀 따르지 않을 때, 포인트 클라우드가 이미지에 투사하는데 적합하지 않을 수 있다는 것이다. 이들 상황에서, 이미지 기반 포인트 클라우드 압축 기술은, 낮은 압축 효율성(많은 작은 투사가 요구되어 2D 비디오 압축의 효율성을 감소시킴) 또는 나쁜 품질(포인트 클라우드를 표면에 투사하기 어렵기 때문)로 어려움을 겪는다.
이 문제를 완화하기 위해 최신 기술에서 이용되는 접근법들 중 하나는 여러 지오메트리 및 텍스처 정보를 이미지의 동일한 공간적 위치(픽셀)에 투사하는 것이다. 이것은, 포인트 클라우드의 3D 포인트 당 여러 깊이 및/또는 텍스처 이미지가 생성된다는 것을 의미한다.
이것이, 예를 들어, (포인트 클라우드의 지오메트리를 나타내는) 2개의 깊이 이미지와 (포인트 클라우드의 색상/텍스처를 나타내는) 2개의 텍스처 이미지가 인코딩되는, ISO/IEC JTC1/SC29/WG11/N17248, Macau, China, October 2017 (TMC2)에 정의된 포인트 클라우드 인코더의 경우이다.
포인트 클라우드의 포인트를 투사 평면에 투사함으로써 획득되는 텍스처 이미지를 효율적으로 압축하는 것이 문제이다.
이하에서는 본 실시예들의 일부 양태의 기본적인 이해를 제공하기 위하여 본 실시예들의 간략화된 요약을 제공한다. 이 요약은 본 실시예들의 광범위한 개요는 아니다. 이것은 본 실시예들의 핵심 요소 또는 중요 요소를 식별하기 위한 것이 아니다. 이하의 요약은, 아래에서 제공되는 더 상세한 설명에 대한 서두로서 간략화된 형태로 본 실시예들의 몇 가지 양태를 제공한다.
본 실시예들은, 비트스트림이 텍스처 이미지를 나타내는 색상 정보 데이터를 포함한다는 것, 및 상기 색상 정보 데이터로부터 색상화되지 않는 재구성된 포인트 클라우드의 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 비트스트림에서 생성 및 인코딩하기 위한 방법에 관한 것이다.
본 실시예들은 또한, 비트스트림이 텍스처 이미지를 나타내는 색상 정보 데이터를 포함한다는 것, 및 상기 색상 정보 데이터로부터 색상화되지 않은 재구성된 포인트 클라우드의 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 포함하는지를 체크하는 단계, 상기 색상 정보 데이터로부터 제1 텍스처 이미지를 재구성하는 단계, 및 상기 색상 정보 데이터로부터 색상화되지 않는 재구성된 포인트 클라우드의 포인트에 색상을 할당하는 단계를 포함하는 방법에 관한 것이다.
본 실시예들의 특정한 속성뿐만 아니라 본 실시예들의 다른 목적, 이점, 피처 및 용도는, 첨부된 도면들과 연계하여 취해진 예들의 이하의 설명으로부터 명백해질 것이다.
도면에는 본 실시예들의 예가 도시되어 있다. 도면에서,
- 도 1은 TMC2 인코더의 개요를 도시한다;
- 도 2는 포인트 클라우드의 포인트와 연관된 깊이 값을 도시한다;
- 도 3은 TMC2 디코더의 개요를 도시한다;
- 도 4는 디코딩된 텍스처 이미지의 예를 도시한다;
- 도 5는 2개의 텍스처 이미지 사이의 차이를 도시한다;
- 도 6은 텍스처를 생성하기 위한 경로에서 제안된 텍스처 인코딩의 한 예를 도시한다;
- 도 7은 포인트 클라우드의 텍스처를 재구성/디코딩하기 위한 경로에서 제안된 텍스처 디코딩의 한 예를 도시한다; 및
- 도 8은 다양한 양태 및 실시예가 구현되는 시스템의 한 예의 블록도를 나타낸다;
유사하거나 동일한 요소는 동일한 참조 번호로 참조된다.
본 실시예들은 본 실시예들의 예가 도시된 첨부된 도면들을 참조하여 이하에서 더욱 완전하게 설명될 것이다. 그러나, 본 실시예들은 많은 대안적인 형태로 구현될 수 있으며 여기서 개시된 예로 제한되지 않아야 한다. 따라서, 본 실시예들은 다양한 수정 및 대안적인 형태가 가능하지만, 그 특정한 예가 도면에 예로서 도시되고 여기서 상세히 설명될 것이다. 그러나, 본 실시예들을 개시된 특정한 형태로 제한하려는 의도는 없고, 오히려, 본 개시내용은 청구항들에 의해 정의된 본 실시예들의 사상 및 범위 내에 속하는 모든 수정, 균등물, 및 대안을 포괄하기 위한 것임을 이해해야 한다.
본 명세서에서 사용된 용어는 특정한 예를 설명하기 위한 목적일 뿐이며, 본 실시예들을 제한하고자 함이 아니다. 본 명세서에서 사용될 때, 단수 형태, "a", "an", "the"는, 문맥상 명확하게 달리 표시하지 않는 한, 복수 형태도 역시 포함하는 것을 의도한다. 용어 "포함한다(comprise)", "포함하는(comprising)", "내포한다(include)", 및/또는 "내포하는(including)"은, 본 명세서에서 사용될 때, 진술된 피처, 완전체, 단계, 동작, 요소, 및/또는 컴포넌트의 존재를 명시하지만, 하나 이상의 다른 피처, 완전체, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재나 추가를 배제하는 것은 아님을 추가로 이해할 것이다. 게다가, 한 요소가 또 다른 요소에 "응답"하거나 "접속"된 것으로 언급될 때, 이 요소는 그 다른 요소에 직접 응답하거나 접속될 수 있고, 또는 중간 요소들이 존재할 수도 있다. 대조적으로, 한 요소가 다른 요소에 "직접 응답하거나"되거나 "직접 접속"된다고 언급될 때, 어떠한 중간 요소도 존재하지 않는다. 본 명세서에서 사용될 때, 용어 "및/또는"은 연관된 나열 항목들 중 하나 이상의 임의의 조합 및 모든 조합을 포함하며, "/"로 축약 표기될 수 있다.
용어, 제1, 제2 등이 다양한 요소들을 설명하기 위해 사용될 수도 있지만, 이들 요소들은 이들 용어에 의해 제한되어서는 안 된다는 것을 이해할 것이다. 이들 용어는 한 요소를 또 다른 요소로부터 구분하기 위해서만 사용된다. 예를 들어, 본 실시예들의 교시를 벗어나지 않고, 제1 요소는 제2 요소라고 명명될 수 있고, 마찬가지로 제2 요소는 제1 요소라고 명명될 수 있다.
도면들 중 일부는 통신의 주요 방향을 보여주기 위해 통신 경로에 화살표를 포함하지만, 통신은 도시된 화살표와 반대 방향으로 발생할 수 있다는 것을 이해해야 한다.
일부 예가 블록도 및 동작 플로차트에 관하여 설명되고, 여기서, 각각의 블록은 회로 요소, 모듈, 또는 명시된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행가능한 명령어를 포함하는 코드의 일부를 나타낸다. 다른 구현에서, 블록에 언급된 기능(들)은 언급된 순서를 벗어나 발생할 수 있다는 점에 유의해야 한다. 예를 들어, 연속적으로 도시된 2개의 블록은, 사실상, 실질적으로 동시에 실행되거나, 블록들은, 포함된 기능에 따라, 때때로 역순으로 실행될 수도 있다.
본 명세서에서 "한 예에 따르면" 또는 "한 예에서"라는 언급은, 그 예와 관련하여 설명되는 특정한 피처, 구조, 또는 특성이 본 실시예들의 적어도 하나의 구현에서 포함될 수 있다는 것을 의미한다. 본 명세서의 다양한 장소에서 "한 예에 따른" 또는 "한 예에서"라는 문구의 등장은 반드시 모두 동일한 예를 지칭하는 것은 아니며, 다른 예와 반드시 상호배타적인 별개의 또는 대안적인 예가 아니다.
청구항들에 나타나는 참조 번호는 단지 예시를 위한 것이며, 청구항의 범위에 어떠한 제한적인 영향을 미쳐서는 안 된다.
명시적으로 설명되지는 않았지만, 본 예 및 변형은 임의의 조합 또는 하위-조합으로 채용될 수도 있다.
픽셀 값은 C개 값의 벡터로 표현되며, 여기서 C는 컴포넌트의 수이다. 벡터의 각각의 값은 픽셀 값의 최대 동적 범위를 정의하는 비트 수로 표현된다.
픽처의 블록은 이 픽처에 속하는 한 세트의 픽셀을 의미하고 블록의 픽셀 값은 이 블록에 속하는 픽셀의 값을 의미한다.
포인트 클라우드를 인코딩하기 위해 최첨단 기술에서 이용되는 접근법들 중 하나(TMC2라 불리는, 카테고리 2를 위한 MPEG 3DG/PCC'의 테스트 모델)는 2D 이미지의 동일한 위치(픽셀)에 여러 지오메트리 및 텍스처 정보를 투사하는 것으로 구성된다. 이것은 입력 포인트 클라우드 당 여러 2D 지오메트리 및/또는 2D 텍스처 이미지가 생성됨을 의미한다. TMC2(Category 2 test model of the MPEG 3DG Ad Hoc on Point Cloud Compression)의 경우, (지오메트리를 위한) 2개의 깊이 및 (텍스처를 위한) 색상 이미지가 입력 포인트 클라우드마다 인코딩된다.
도 1은 TMC2 포인트 클라우드 인코더의 개요를 도시한다. 최상단 행(지오메트리 압축)은 깊이 이미지를 이용하여 포인트 클라우드의 지오메트리 정보를 인코딩한다. 중간 행(메타데이터 압축)은 깊이 이미지로부터 원래의 포인트 클라우드의 지오메트리를 재구성하는데 요구되는 메타데이터를 인코딩한다. 최하단 행(텍스처 압축)은 색상 이미지를 이용하여 재구성된 지오메트리의 색상 정보를 인코딩한다.
도 1에 도시된 바와 같이, TMC2 테스트 모델은 투사 평면의 좌표 당 2개의 값을 유지한다: 가장 작은(깊이0) 깊이와 가장 큰(깊이1) 깊이. 이렇게 함으로써, 도 2에 도시된 바와 같이 인코딩될 투사 데이터의 양을 증가시키는 것을 댓가로, 3D 공간에서 포인트들의 분포를 더 양호하게 캡처할 수 있다.
텍스처 압축과 관련하여, 2개의 텍스처 이미지가 생성된다. 2개의 지오메트리 이미지로부터, 인코더는 3D 공간에서 포인트 클라우드를 재구성할 수 있다. 그 다음, 소스 포인트 클라우드를 이용하여, 3D 색상 전송 프로세스가 이루어진다. 이하의 '색상 근사화'라는 섹션에서 설명된 알고리즘에 따라 각각의 재구성된 포인트에 대해 색상이 할당되었다.
디코더 측에서, 도 3에 도시된 바와 같이, TMC2는 깊이 비디오 스트림과 색상 비디오 스트림을 디코딩하고 메타데이터를 이용하여 포인트 클라우드를 재구성한다:
▶ 점유 맵 및 블록 대 패치 인덱스
▶ 패치 메타데이터: x0, y0, z0 좌표, 투사 축, 경계 박스
텍스처 디코딩과 관련하여, 2개의 텍스처 이미지가 소스 포인트 클라우드로부터 생성된다: T0은 깊이 0의 재구성된 포인트 클라우드를 이용하여 색상 전송 프로세스 동안에 대응되는 소스 포인트의 색상을 포함하는 텍스처 이미지이다; T1은 깊이 1 이미지와 동일하다.
도 4에서, 이 예는 그 디코딩된 텍스처 이미지들 T0 및 T1을 보여준다.
우리가 관찰하는 것은 T0과 T1이 서로 너무 멀지 않다는 것이다. 양쪽 이미지 사이의 차이는 도 5에 도시되어 있다.
비디오 인코더가 이들 이미지가 너무 멀지 않다는 사실을 활용하더라도, 비트레이트와 처리 시간 측면에서 비용이 많이 든다.
본 실시예들은, 종래 기술에서와 같이 상기 T1 텍스처 이미지를 전송하는 것이 아니라, T0 텍스처 이미지로부터 T1 텍스처 이미지를 보간하는 방법에 관한 것이다.
이것은, 텍스처 T1이 전송되지 않기 때문에 비트레이트 측면에서, 및 인코딩 및 디코딩 양쪽 모두의 계산 복잡도 측면에서 이득을 가져온다.
본 실시예들에 따르면, 색상 비디오 비트스트림이, 텍스처 보간이 적용되어야 함을 나타내고 그 경우 색상 비디오 비트스트림은 또한, 어느 모드가 적용되어야 하는지를 나타낼 때에만 T0으로부터 T1을 보간한다.
인코더 측에서는, 적어도 하나의 보간 텍스처 코딩 모드가 생성된다. 보간 텍스처 코딩 모드는, 색상 비디오 비트스트림이 제1 텍스처 이미지를 나타내는 색상 정보 데이터를 포함하고 상기 색상 정보 데이터로부터 색상화되지 않은 재구성된 포인트 클라우드의 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타낸다. 상기 색상 정보 데이터로부터 색상이 아직 할당되지 않은 경우, 포인트는 색상화되지 않은 것으로 간주된다.
한 변형에서, 상기 보간 텍스처 코딩 모드는 또한, 어느 보간 프로세스가 이용되어야 하는지를 나타낼 수 있다.
도 6은 텍스처를 생성하기 위한 경로에서 제안된 텍스처 인코딩의 한 예를 도시한다.
디코더 측에서, 색상 비디오 비트스트림이 제1 텍스처 이미지를 나타내는 색상 정보 데이터를 포함하고 상기 색상 정보 데이터로부터 색상화되지 않은 재구성된 포인트 클라우드의 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 색상 비디오 스트림이 포함한다면, 제1 텍스처 이미지는 상기 색상 정보 데이터로부터 재구성되고, 색상은 도 7에 도시된 바와 같이 상기 색상 정보 데이터로부터 색상화되지 않은 재구성된 포인트 클라우드의 포인트들에 할당된다.
한 변형에서, 상기 보간 텍스처 코딩 모드는 또한, 어느 보간 프로세스가 이용되어야 하는지를 나타낼 수 있다.
제1 실시예에 따르면, 상기 보간 텍스처 코딩 모드는 보간 프로세스가 TMC2의 색상 전송 알고리즘을 이용함을 나타낸다(9.1 참조).
제1 실시예에 따르면, 상기 보간 텍스처 코딩 모드는 보간 프로세스가 다음과 같음을 나타낸다:
o
Figure pct00001
Figure pct00002
는 (디코딩된 T0을 이용한) 텍스처 재구성 후의 재구성된 포인트 클라우드이고
o
Figure pct00003
는 어떠한 할당된 색상도 갖지 않는
Figure pct00004
의 포인트이고
o
Figure pct00005
는 재구성된 텍스처 이미지 T0 덕분에 할당된 색상을 갖는
Figure pct00006
의 포인트라고 하자.
각각의 포인트
Figure pct00007
에 대해, N개의 가장 가까운 이웃
Figure pct00008
(N의 전형적인 값은 5)을 취하고 각각의 이웃에 적용한다.
Figure pct00009
Figure pct00010
threshold에 대한 전형적인 값은 0.001이다.
색상 비디오 비트스트림에서의 메타데이터는 보간 텍스처 프로세스가 텍스처 이미지를 재구성하도록 이루어져야 하는지를 나타낸다, 즉, 색상 비디오 비트스트림이 제1 텍스처 이미지를 나타내는 색상 정보 데이터를 포함하고 상기 색상 정보 데이터로부터 색상화되지 않는 재구성된 포인트 클라우드의 포인트에 관해 텍스처 보간이 이루어져야 함을 나타낸다.
한 변형에서, 상기 보간 텍스처 코딩 모드는 또한, 어느 보간 프로세스가 이용되어야 하는지를 나타낼 수 있다.
Figure pct00011
이 어느 보간 프로세스라 적용될지를 나타내는 보간 텍스처 모드라고 하자.
이들 값은, 인코더에 의해 이루어지는 결정 프로세스에 따라 이미지, 프레임 또는 프레임 그룹별로 코딩될 수 있다.
itcm 모드 메타데이터의 예
하나의 제1 예는, 보간 텍스처 코딩 모드를 플래그(온/오프)로서 코딩하여 텍스처 보간 프로세스를 활성화 및 비활성화하는 것일 수 있다.
- 오프: 프레임 당 2개의 텍스처 이미지, 텍스처 보간 없음
- 온: 프레임 당 1개의 텍스처 이미지, 텍스처 보간
또 다른 예는 보간 텍스처 코딩 모드를 정수로서 코딩하고 여러 보간 프로세스를 정의하는 것일 수 있다.
표 1 - ReadArithmetic() 함수
Figure pct00012
Figure pct00013
Figure pct00014
HEVC 내의 SEI 메시지에서의 itcm의 예
Figure pct00015
itcm_mode는 보간 텍스처 코딩 모드를 식별하는데 이용되는 식별 번호를 포함한다. itcm_mode가 0이면, 이것은 깊이 1의 텍스처는 보간되지 않고 텍스처 1이 TMC2에서처럼 디코딩되어야 함을 의미한다.
itcm_mode는 In SPS ou PPS 메시지일 수도 있다.
도 1 내지 도 7에서, 모듈은 기능 유닛이고, 구별가능한 물리적 유닛과 관련이 있을 수도 있고 그렇지 않을 수도 있다. 예를 들어, 이들 모듈들 또는 이들 중 일부는 고유한 컴포넌트 또는 회로에서 함께 통합되거나 소프트웨어의 기능들에 기여할 수 있다. 반대로, 일부 모듈은 잠재적으로 별개의 물리적 엔티티들로 구성될 수 있다. 본 실시예들과 호환되는 장치는, 순수 하드웨어를 이용하여, 예를 들어 각각 ASIC≪Application Specific Integrated Circuit≫ 또는 FPGA≪Field-Programmable Gate Array≫ 또는 VLSI≪Very Large Scale Integration≫ 등의 전용 하드웨어를 이용하여 구현되거나, 디바이스에 임베딩된 여러 집적된 전자 컴포넌트로부터 또는 하드웨어 및 소프트웨어 컴포넌트들의 조합으로부터 구현된다.
도 8은 다양한 양태 및 실시예가 구현되는 시스템의 한 예의 블록도를 나타낸다. 시스템(8000)은 아래에 설명된 다양한 컴포넌트를 포함하는 디바이스로서 구현될 수 있고, 본 출원에서 설명된 하나 이상의 양태를 수행하도록 구성된다. 이러한 디바이스의 예는, 개인용 컴퓨터, 랩탑 컴퓨터, 스마트폰, 태블릿 컴퓨터, 디지털 멀티미디어 셋탑 박스, 디지털 텔레비전 수신기, 개인용 비디오 녹화 시스템, 접속된 가전 제품들, 및 서버 등의, 다양한 전자 디바이스를 포함하지만 이것으로 제한되는 것은 아니다. 시스템(8000)의 요소들은, 단독으로 또는 조합하여, 단일 집적 회로, 복수의 IC, 및/또는 개별 컴포넌트로 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템(8000)의 처리 및 인코더/디코더 요소들은 복수의 IC 및/또는 개별 컴포넌트에 걸쳐 분산된다. 다양한 실시예에서, 시스템(8000)은, 예를 들어 통신 버스를 통해, 또는 전용 입력 및/또는 출력 포트를 통해, 다른 유사한 시스템에 또는 다른 전자 디바이스에 통신가능하게 결합된다. 다양한 실시예에서, 시스템(8000)은 본 문서에서 설명된 하나 이상의 양태를 구현하도록 구성된다.
시스템(8000)은, 예를 들어, 본 문서에서 설명된 다양한 양태를 구현하기 위해 로딩된 명령어를 실행하도록 구성된 적어도 하나의 프로세서(8010)를 포함한다. 프로세서(8010)는, 임베디드 메모리, 입력 출력 인터페이스, 본 기술분야에 공지된 다양한 다른 회로를 포함할 수 있다. 시스템(8000)은, 적어도 하나의 메모리(8020)(예를 들어, 휘발성 메모리 디바이스, 및/또는 비휘발성 메모리 디바이스)를 포함한다. 시스템(8000)은, 비휘발성 메모리, 및/또는 EEPROM, ROM, PROM, RAM, DRAM, SRAM, 플래시, 자기 디스크 드라이브 및/또는 광학 디스크 드라이브를 포함한 그러나 이것으로 제한되지 않는 휘발성 메모리를 포함할 수 있는 저장 디바이스(8040)를 포함한다. 저장 디바이스(8040)는, 비제한적인 예로서, 내부 저장 디바이스, 부착된 저장 디바이스, 및/또는 네트워크 액세스가능한 저장 디바이스를 포함할 수 있다.
시스템(8000)은, 예를 들어 데이터를 처리하여 인코딩된 비디오 또는 디코딩된 비디오를 제공하도록 구성된 인코더/디코더 모듈(8030)을 포함하고, 인코더/디코더 모듈(8030)은 그 자신의 프로세서 및 메모리를 포함할 수 있다. 인코더/디코더 모듈(8030)은, 인코딩 및/또는 디코딩 기능을 수행하기 위해 디바이스에 포함될 수 있는 모듈(들)을 나타낸다. 알려진 바와 같이, 디바이스는 인코딩 및 디코딩 모듈들 중 하나 또는 양쪽 모두를 포함할 수 있다. 추가적으로, 인코더/디코더 모듈(8030)은 시스템(8000)의 별개의 요소로서 구현될 수 있거나, 본 기술분야의 통상의 기술자에게 알려진 하드웨어와 소프트웨어의 조합으로서 프로세서(8010) 내에 통합될 수 있다.
본 문서에 설명된 다양한 양태를 수행하기 위해 프로세서(8010) 또는 인코더/디코더(8030)에 로딩되는 프로그램 코드는 저장 디바이스(8040)에 저장되고 프로세서(8010)에 의한 실행을 위해 메모리(8020)에 후속해서 로딩될 수 있다. 다양한 실시예에 따르면, 프로세서(8010), 메모리(8020), 저장 디바이스(8040), 및 인코더/디코더 모듈(8030) 중 하나 이상은, 본 문서에 설명된 프로세스의 수행 동안 다양한 항목들 중 하나 이상을 저장할 수 있다. 이러한 저장된 항목은, 입력 비디오, 디코딩된 비디오, 포인트 클라우드 또는 디코딩된 비디오의 일부, 비트스트림, 재구성된 포인트 클라우드, 행렬, 변수, 및 방정식, 공식, 연산 및 연산 로직의 처리의 중간 또는 최종 결과를 포함할 수 있지만 이것으로 제한되는 것은 아니다.
여러 실시예에서, 프로세서(8010) 및/또는 인코더/디코더 모듈(8030) 내부의 메모리는, 명령어를 저장하고 인코딩 또는 디코딩 동안 필요한 처리를 위한 작업 메모리를 제공하기 위해 이용된다.
그러나, 다른 실시예에서, 처리 디바이스 외부의 메모리(예를 들어, 처리 디바이스는 프로세서(8010) 또는 인코더/디코더 모듈(8030)일 수 있음)는, 이들 기능들 중 하나 이상을 위해 이용된다. 외부 메모리는, 메모리(8020) 및/또는 저장 디바이스(8040), 예를 들어 동적 휘발성 메모리 및/또는 비휘발성 플래시 메모리일 수 있다. 몇몇 실시예에서, 외부 비휘발성 플래시 메모리는 텔레비전의 운영 체제를 저장하는데 이용된다. 적어도 하나의 실시예에서, RAM 등의 고속 외부 동적 휘발성 메모리는, MPEG-2, HEVC, VVC(Versatile Video Coding) 또는 TMC2 등의, 비디오 코딩 및 디코딩 동작을 위한 작업 메모리로서 이용된다.
시스템(8000)의 요소들에 대한 입력은, 블록 8130에 표시된 바와 같이 다양한 입력 디바이스를 통해 제공될 수 있다. 이러한 입력 디바이스는, 예를 들어 (i) 방송사에 의해 무선으로 전송되는 RF 신호를 수신하는 RF 부분, (ii) 콤포지트 입력 단자, (iii) USB 입력 단자, 및/또는 (iv) HDMI 입력 단자를 포함하지만, 이것으로 제한되는 것은 아니다.
다양한 실시예에서, 블록 8130의 입력 디바이스는 본 기술분야에 공지된 연관된 각각의 입력 처리 요소를 갖는다. 예를 들어, RF 부분은, (i) 원하는 주파수를 선택(신호 선택 또는 주파수 대역으로의 신호의 대역 제한이라고도 함), (ii) 선택된 신호를 다운-변환, (iii) 소정 실시예에서는 채널이라고 지칭될 수 있는 (예를 들어) 신호 주파수 대역을 선택하기 위해 더 좁은 주파수 대역으로 다시 대역 제한, (iv) 다운-변환되고 대역 제한된 신호를 복조, (v) 오류 정정을 수행, 및 (vi) 원하는 데이터 패킷 스트림을 선택하기 위한 디멀티플렉싱하는데 필요한 요소들과 연관될 수 있다. 다양한 실시예의 RF 부분은, 이들 기능을 수행하기 위한 하나 이상의 요소, 예를 들어, 주파수 선택기, 신호 선택기, 대역 제한기, 채널 선택기, 필터, 다운변환기, 복조기, 오류 정정기, 및 디멀티플렉서를 포함한다. RF 부분은, 예를 들어 수신된 신호를 더 낮은 주파수(예를 들어, 중간 주파수 또는 근 기저대역 주파수) 또는 기저대역으로 다운변환하는 것을 포함한, 이들 다양한 기능을 수행하는 튜너를 포함할 수 있다.
하나의 셋탑 박스 실시예에서, RF 부분 및 그 연관된 입력 처리 요소는, 유선(예를 들어, 케이블) 매체를 통해 전송된 RF 신호를 수신하고, 필터링, 다운변환, 및 원하는 주파수 대역으로 다시 필터링함으로써 주파수 선택을 수행한다.
다양한 실시예는, 전술된 (및 기타의) 요소들의 순서를 재배열하거나, 이들 요소들 중 일부를 제거하거나, 및/또는 유사하거나 상이한 기능들을 수행하는 다른 요소를 추가한다.
요소를 추가하는 것은, 예를 들어, 증폭기 및 아날로그-디지털 변환기를 삽입하는 것 등의, 기존 요소들 사이에 요소를 삽입하는 것을 포함할 수 있다. 다양한 실시예에서, RF 부분은 안테나를 포함한다.
추가로, USB 및/또는 HDMI 단자는, 시스템(8000)을 USB 및/또는 HDMI 접속을 통해 다른 전자 디바이스에 접속하기 위한 각각의 인터페이스 프로세서를 포함할 수 있다. 입력 처리의 다양한 양태, 예를 들어, 리드-솔로몬 오류 정정은, 예를 들어 별도의 입력 처리 IC 내에서, 또는 필요에 따라 프로세서(8010) 내에서 구현될 수 있다는 것을 이해해야 한다. 유사하게, USB 또는 HDMI 인터페이스 처리의 양태는, 별도의 인터페이스 IC 내에서 또는 필요에 따라 프로세서(8010) 내에서 구현될 수 있다. 복조, 오류 정정, 및 디멀티플렉싱 스트림은, 예를 들어 프로세서(8010)와, 메모리 및 저장 요소와 조합하여 동작하는 인코더/디코더(8030)를 포함한 다양한 처리 요소에 제공되어 출력 디바이스 상의 프리젠테이션에 필요한 데이터 스트림을 처리한다.
시스템(8000)의 다양한 요소는 통합 하우징 내에 제공될 수 있다. 통합 하우징 내에서, 적절한 접속 구조물, 예를 들어, I2C 버스, 배선 및 인쇄 회로 기판을 포함한, 본 기술 분야에 공지된 내부 버스를 이용하여 다양한 요소가 상호접속되고 그들 사이에서 데이터를 전송할 수 있다.
시스템(8000)은, 통신 채널(8060)을 통해 다른 디바이스와의 통신을 가능케하는 통신 인터페이스(8050)를 포함한다. 통신 인터페이스(8050)는, 통신 채널(8060)을 통해 데이터를 전송 및 수신하도록 구성된 트랜시버를 포함할 수 있지만 이것으로 제한되는 것은 아니다. 통신 인터페이스(8050)는 모뎀 또는 네트워크 카드를 포함할 수 있지만 이것으로 제한되지 않으며, 통신 채널(8060)은 예를 들어 유선 및/또는 무선 매체 내에서 구현될 수 있다.
다양한 실시예에서, 데이터는, IEEE 802.11 등의 Wi-Fi 네트워크를 이용하여, 시스템(8000)에 스트리밍된다. 이들 실시예의 Wi-Fi 신호는 Wi-Fi 통신에 적합화된 통신 채널(8060) 및 통신 인터페이스(8050)를 통해 수신된다. 이들 실시예의 통신 채널(8060)은 전형적으로 스트리밍 애플리케이션 및 기타 오버-디-탑(over-the-top) 통신을 허용하기 위해 인터넷을 포함한 외부 네트워크로의 액세스를 제공하는 액세스 포인트 또는 라우터에 접속된다.
다른 실시예는 입력 블록(8130)의 HDMI 접속을 통해 데이터를 전달하는 셋탑 박스를 이용하여 스트리밍된 데이터를 시스템(8000)에 제공한다.
역시 다른 실시예는, 입력 블록(8130)의 RF 접속을 이용하여 스트리밍된 데이터를 시스템(8000)에 제공한다.
시스템(8000)은, 디스플레이(8100), 스피커(8110), 및 기타 주변 디바이스(8120)를 포함한, 다양한 출력 디바이스에 출력 신호를 제공할 수 있다. 다른 주변 디바이스(8120)는 다양한 실시예에서 독립형 DVR, 디스크 플레이어, 스테레오 시스템, 조명 시스템, 및 시스템(8000)의 출력에 기초하는 기능을 제공하는 다른 디바이스 중 하나 이상을 포함한다.
다양한 실시예에서, AV.Link, CEC, 또는 사용자 개입이 있거나 없이 디바이스간 제어를 가능하게 하는 기타 통신 프로토콜을 사용하여 시스템(8000)과 디스플레이(8100), 스피커(8110) 또는 기타 주변 디바이스(8120) 사이에서 제어 신호가 통신된다.
출력 디바이스는 각각의 인터페이스(8070, 8080, 8090)를 통해 전용 접속을 통해 시스템(8000)에 통신 가능하게 결합될 수 있다.
대안으로, 출력 디바이스는 통신 인터페이스(8050)를 통해 통신 채널(8060)을 사용하여 시스템(8000)에 접속될 수 있다. 디스플레이(8100) 및 스피커(8110)는 예를 들어 텔레비전과 같은 전자 디바이스 내에 시스템(8000)의 다른 컴포넌트와 함께 단일 유닛으로 통합될 수 있다.
다양한 실시예에서, 디스플레이 인터페이스(8070)는 예를 들어 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.
디스플레이(8100) 및 스피커(8110)는 대안으로서, 예를 들어 입력(8130)의 RF 부분이 별도의 셋톱 박스의 일부일 경우에, 하나 이상의 다른 컴포넌트와 분리될 수 있다. 디스플레이(8100) 및 스피커(8110)가 외부 컴포넌트인 다양한 실시예에서, 출력 신호는 예를 들어 HDMI 포트, USB 포트 또는 COMP 포트를 포함하는 전용 출력 접속을 통해 제공될 수 있다.
본 명세서에 설명된 다양한 프로세스 및 특징의 구현은 다양한 상이한 장비 또는 애플리케이션에서 구현될 수 있다. 그러한 장비의 예는 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 인코더에 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩탑, 개인용 컴퓨터, 셀폰, PDA, 및 픽처 또는 비디오를 처리하기 위한 임의의 다른 디바이스 또는 다른 통신 디바이스를 포함한다. 명백한 바와 같이, 장비는 모바일일 수 있고, 모바일 차량에 설치될 수도 있다.
추가적으로, 이 방법들은 프로세서에 의해 수행되는 명령어에 의해 구현될 수 있고, 이러한 명령어(및/또는 구현에 의해 생성된 데이터 값)는 컴퓨터 판독가능한 저장 매체에 저장될 수 있다. 컴퓨터 판독가능한 저장 매체는 하나 이상의 컴퓨터 판독가능한 매체(들)에 구현되고 컴퓨터에 의해 실행가능한 컴퓨터 판독가능한 프로그램 코드가 구현되어 있는 컴퓨터 판독가능한 프로그램 제품의 형태를 취할 수 있다. 본 명세서에서 이용되는 컴퓨터 판독가능한 저장 매체는, 정보를 저장하는 고유한 능력뿐만 아니라 그로부터의 정보의 회수를 제공하는 고유한 능력을 감안할 때 비일시적인 저장 매체로서 간주된다. 컴퓨터 판독가능한 저장 매체는, 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 이들의 임의의 적절한 조합일 수 있지만, 이것으로 제한되는 것은 아니다. 이하에서는, 본 실시예들이 적용될 수 있는 컴퓨터 판독가능한 저장 매체의 더 구체적인 예를 제공하지만, 이것은 본 기술분야의 통상의 기술자라면 용이하게 이해되는 바와 같이 단지 예시일 뿐이며, 빠짐없이 완전한 목록이 아님을 이해해야 한다: 휴대형 컴퓨터 디스켓; 하드 디스크; 판독 전용 메모리(ROM); 소거가능하고 프로그래밍가능한 판독 전용 메모리(EPROM 또는 플래시 메모리); 휴대형 컴팩트 디스크 판독 전용 메모리(CD-ROM); 광 저장 디바이스; 자기 저장 디바이스; 또는 전술된 것들의 임의의 적절한 조합.
명령어는 프로세서 판독가능한 매체에 유형적으로 구현된 애플리케이션 프로그램을 형성할 수 있다.
명령어는, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합일 수 있다. 명령어는, 예를 들어, 운영 체제, 별개의 애플리케이션, 또는 이들 둘의 조합에서 찾을 수 있다. 따라서, 프로세서는, 예를 들어 프로세스를 실행하도록 구성된 디바이스와, 프로세스를 실행하기 위한 명령어를 갖는 (저장 디바이스 등의) 프로세서 판독가능한 매체를 포함하는 디바이스 양쪽 모두로서 특성규정될 수 있다. 또한, 프로세서 판독가능한 매체는, 명령어에 추가하여 또는 명령어 대신에, 구현에 의해 생성된 데이터 값을 저장할 수 있다.
본 기술분야의 통상의 기술자에게 명백한 바와 같이, 구현은 예를 들어 저장 또는 전송될 수 있는 정보를 운반하도록 포맷된 다양한 신호를 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어, 또는 전술된 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 본 실시예들의 설명된 예의 구문을 작성하거나 판독하기 위한 규칙을 데이터로서 운반하거나 본 실시예들의 설명된 예에 의해 작성된 실제 구문-값을 데이터로 운반하도록 포맷될 수 있다. 이러한 신호는, 예를 들어, (예를 들어, 스펙트럼의 무선 주파수 부분을 이용하는) 전자기파로서 또는 기저대역 신호로서 포맷될 수 있다. 포맷팅은, 예를 들어, 데이터 스트림을 인코딩하고 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크를 통해 전송될 수 있다. 신호는 프로세서 판독가능한 매체에 저장될 수 있다.
다수의 구현이 설명되었다. 그럼에도 불구하고, 다양한 수정이 이루어질 수 있다는 점을 이해할 것이다. 예를 들어, 상이한 구현들의 요소들은, 결합, 보완, 수정 또는 제거되어 다른 구현을 생성할 수 있다. 추가적으로, 본 기술분야의 통상의 기술자라면, 다른 구조 및 프로세스가 개시된 것들을 대체할 수 있고, 결과적인 구현은 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행하여 적어도 개시된 구현들과 실질적으로 동일한 결과(들)를 달성할 수 있다는 것을 이해할 것이다. 따라서, 이들 및 다른 구현이 본 출원에 의해 고려된다.

Claims (17)

  1. 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 실행되어야 한다는 것을 나타내는 보간 텍스처 코딩 모드(interpolation texture coding mode)를 상기 비트스트림에서 생성하여 인코딩하기 위한 방법.
  2. 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 상기 비트스트림이 포함하는지를 체크하는 단계를 포함하는 방법.
  3. 제2항에 있어서, 상기 텍스처 이미지로부터 상기 포인트 클라우드의 적어도 하나의 포인트를 색상화하고, 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 포인트에 색상을 할당하는 단계를 더 포함하고, 상기 색상은 상기 텍스처 보간 코딩 모드로부터 도출되는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 보간 텍스처 코딩 모드는 어느 텍스처 보간이 이용될지를 나타내는, 방법.
  5. 제4항에 있어서, 상기 보간 텍스처 코딩 모드는, 상기 포인트 클라우드의 포인트를 색상화하는데 이용되는 텍스처 보간이 상기 포인트 클라우드의 포인트의 이미 색상화된 이웃 포인트들의 함수임을 나타내는, 방법.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 보간 텍스처 코딩 모드를 전송하는 단계를 더 포함하는 방법.
  7. 제6항에 있어서, 상기 보간 텍스처 코딩 모드는 이미지 또는 메타데이터로서 전송되는, 방법.
  8. 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 포함하는 상기 비트스트림을 운반하는 신호.
  9. 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 방법을 실행하게 하는 명령어들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 방법은 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 상기 비트스트림이 포함하는지를 체크하는 단계를 포함하는, 컴퓨터 프로그램 제품.
  10. 명령어들을 포함하는 비일시적인 컴퓨터 판독가능한 매체로서, 상기 명령어들은 하나 이상의 프로세서로 하여금, 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 상기 비트스트림이 포함하는지를 체크하는 단계를 수행하게 하기 위한 것인, 비일시적인 컴퓨터 판독가능한 매체.
  11. 명령어들을 포함하는 컴퓨터 판독가능한 매체로서, 상기 명령어들은 하나 이상의 프로세서로 하여금, 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 실행되어야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 상기 비트스트림에서 생성하여 인코딩하는 단계를 수행하게 하기 위한 것인, 컴퓨터 판독가능한 매체.
  12. 비트스트림을 포함하는 비일시적인 컴퓨터 판독가능한 매체로서, 상기 비트스트림은 상기 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 포함하는, 비일시적인 컴퓨터 판독가능한 매체.
  13. 적어도 하나의 프로세서를 포함하는 디바이스로서, 상기 적어도 하나의 프로세서는 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 실행되어야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 상기 비트스트림에서 생성하여 인코딩하도록 구성되는, 디바이스.
  14. 적어도 하나의 프로세서를 포함하는 디바이스로서, 상기 적어도 하나의 프로세서는 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 상기 비트스트림이 포함하는지를 체크하도록 구성되는, 디바이스.
  15. 디바이스로서,
    - 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 포함하는 상기 비트스트림을 포함하는 데이터에 액세스하도록 구성된 액세싱 유닛; 및
    - 상기 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 포함하는 상기 데이터를 전송하도록 구성된 전송기
    를 포함하는 디바이스.
  16. 방법으로서,
    - 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 포함하는 상기 비트스트림을 포함하는 데이터에 액세스하는 단계; 및
    - 상기 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 포함하는 데이터를 전송하는 단계
    를 포함하는 방법.
  17. 명령어들을 포함하는 비일시적인 컴퓨터 판독가능한 매체로서, 상기 명령어들은 하나 이상의 프로세서로 하여금:
    - 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 포함하는 상기 비트스트림을 포함하는 데이터에 액세스하는 단계; 및
    - 상기 비트스트림이 포인트 클라우드의 적어도 하나의 포인트가 색상화되는 텍스처 이미지를 나타내는 색상 정보를 포함한다는 것, 및 상기 색상 정보로부터 색상화되지 않는 상기 포인트 클라우드의 적어도 하나의 다른 포인트에 관해 텍스처 보간이 이루어져야 한다는 것을 나타내는 보간 텍스처 코딩 모드를 포함하는 데이터를 전송하는 단계
    를 수행하게 하기 위한 것인, 비일시적인 컴퓨터 판독가능한 매체.
KR1020217000377A 2018-07-11 2019-07-11 포인트 클라우드의 포인트들의 텍스처를 인코딩/디코딩하기 위한 방법 KR20210031456A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305936 2018-07-11
EP18305936.9 2018-07-11
PCT/US2019/041281 WO2020014408A1 (en) 2018-07-11 2019-07-11 Method for encoding/decoding texture of points of a point cloud

Publications (1)

Publication Number Publication Date
KR20210031456A true KR20210031456A (ko) 2021-03-19

Family

ID=63047292

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217000377A KR20210031456A (ko) 2018-07-11 2019-07-11 포인트 클라우드의 포인트들의 텍스처를 인코딩/디코딩하기 위한 방법

Country Status (9)

Country Link
US (1) US11533505B2 (ko)
EP (1) EP3821400A1 (ko)
JP (1) JP7351858B2 (ko)
KR (1) KR20210031456A (ko)
CN (1) CN112673399A (ko)
CA (1) CA3106158A1 (ko)
SG (1) SG11202011678XA (ko)
WO (1) WO2020014408A1 (ko)
ZA (1) ZA202007683B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220002106A (ko) 2020-06-30 2022-01-06 한국전자통신연구원 3차원 포인트 클라우드의 점유 지도 압축 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020014011A1 (en) 2018-07-11 2020-01-16 Interdigital Vc Holdings, Inc. A method and device for encoding/decoding the geometry of a point cloud.

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2774874B2 (ja) * 1992-08-26 1998-07-09 株式会社ナムコ 画像合成装置及び画像合成方法
US7088777B2 (en) * 2002-11-22 2006-08-08 Microsoft Corp. System and method for low bit rate watercolor video
EP2228997B1 (en) * 2005-09-20 2017-10-18 Mitsubishi Electric Corporation Image decoding method, Image decoder.
US7683910B2 (en) * 2006-06-29 2010-03-23 Microsoft Corporation Strategies for lossy compression of textures
WO2012101582A1 (en) * 2011-01-24 2012-08-02 Invision Biometrics Ltd. Method and system for acquisition, representation, compression, and transmission of three-dimensional data
US9300841B2 (en) 2012-06-25 2016-03-29 Yoldas Askan Method of generating a smooth image from point cloud data
US9613388B2 (en) * 2014-01-24 2017-04-04 Here Global B.V. Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes
TW201547260A (zh) * 2014-05-20 2015-12-16 Thomson Licensing 將訊框編碼及／或將表示訊框之位元流解碼之方法及裝置
US10417817B2 (en) * 2014-11-13 2019-09-17 Nvidia Corporation Supersampling for spatially distributed and disjoined large-scale data
EP3249921A1 (en) 2016-05-24 2017-11-29 Thomson Licensing Method, apparatus and stream for immersive video format
CN108242064B (zh) 2016-12-27 2020-06-02 合肥美亚光电技术股份有限公司 基于面阵结构光系统的三维重建方法及系统
US11514613B2 (en) 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
TWI815842B (zh) 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法
KR102640992B1 (ko) 2018-01-19 2024-02-27 인터디지털 브이씨 홀딩스 인코포레이티드 포인트 클라우드 프로세싱
EP3554082A1 (en) 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and device for coding the geometry of a point cloud
US11095908B2 (en) * 2018-07-09 2021-08-17 Samsung Electronics Co., Ltd. Point cloud compression using interpolation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220002106A (ko) 2020-06-30 2022-01-06 한국전자통신연구원 3차원 포인트 클라우드의 점유 지도 압축 방법

Also Published As

Publication number Publication date
WO2020014408A1 (en) 2020-01-16
EP3821400A1 (en) 2021-05-19
CN112673399A (zh) 2021-04-16
CA3106158A1 (en) 2020-01-16
US20210274219A1 (en) 2021-09-02
US11533505B2 (en) 2022-12-20
JP2021531542A (ja) 2021-11-18
SG11202011678XA (en) 2020-12-30
JP7351858B2 (ja) 2023-09-27
ZA202007683B (en) 2023-04-26
WO2020014408A9 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
US20240169597A1 (en) Method and device for encoding/reconstructing attributes of points of a point cloud
US20200143568A1 (en) A method and apparatus for encoding/decoding the colors of a colored point cloud whose geometry is represented by an octree-based structure
KR102660951B1 (ko) 포인트 클라우드의 지오메트리를 인코딩/디코딩하기 위한 방법 및 디바이스
US11765397B2 (en) Method and apparatus for encoding/decoding the colors of a point cloud representing a 3D object
JP7351858B2 (ja) 点群の点のテクスチャを符号化／復号する方法
US11895301B2 (en) Encoding and decoding a point cloud using patches for in-between samples
EP3594904A1 (en) A method and device for encoding/decoding the geometry of a point cloud
US20220005231A1 (en) A method and device for encoding / reconstructing 3d points
EP3467781A1 (en) A method and device for up-sampling a set of points representing a 3d scene
WO2023179279A1 (en) Encoding/decoding positions of points of a point cloud emcompassed in a cuboid volume
WO2023179277A1 (en) Encoding/decoding positions of points of a point cloud encompassed in a cuboid volume
WO2024066306A1 (en) Encoding/decoding positions of points of a point cloud comprised in cuboid volumes

Legal Events

Date Code Title Description
A201 Request for examination