KR102627189B1 - 2차원 포인트 클라우드들을 인코딩 및 디코딩하기 위한 방법 및 장치 - Google Patents

2차원 포인트 클라우드들을 인코딩 및 디코딩하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR102627189B1
KR102627189B1 KR1020180049976A KR20180049976A KR102627189B1 KR 102627189 B1 KR102627189 B1 KR 102627189B1 KR 1020180049976 A KR1020180049976 A KR 1020180049976A KR 20180049976 A KR20180049976 A KR 20180049976A KR 102627189 B1 KR102627189 B1 KR 102627189B1
Authority
KR
South Korea
Prior art keywords
point cloud
frame
operator
matrix
pixels
Prior art date
Application number
KR1020180049976A
Other languages
English (en)
Other versions
KR20180122947A (ko
Inventor
줄리앙 플뢰로
베르트랑 쉬뽀
르노 도흐
Original Assignee
인터디지털 브이씨 홀딩스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 브이씨 홀딩스 인코포레이티드 filed Critical 인터디지털 브이씨 홀딩스 인코포레이티드
Publication of KR20180122947A publication Critical patent/KR20180122947A/ko
Application granted granted Critical
Publication of KR102627189B1 publication Critical patent/KR102627189B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시내용은 2차원 포인트 클라우드들을 인코딩, 전송 및 디코딩하기 위한 방법들, 디바이스들 또는 스트림들에 관한 것이다. 포인트 클라우드들을 프레임들로서 인코딩할 때, 많은 수의 픽셀이 사용되지 않는다. 조밀 매핑 연산자는 픽셀들의 사용을 최적화하지만 스트림에서 인코딩될 많은 양의 데이터를 필요로 하며 그것의 역 연산자는 계산하기 어렵다. 본 원리들에 따르면, 간소화한 매핑 연산자는 조밀 매핑 연산자에 따라 생성되고, 스트림에서 낮은 공간을 필요로 하는 펼쳐진 그리드를 나타내는 2차원 좌표들의 매트릭스들로서 저장된다. 역 연산자는 펼쳐진 그리드에 따라 생성하기 쉽다.

Description

2차원 포인트 클라우드들을 인코딩 및 디코딩하기 위한 방법 및 장치{METHOD AND APPARATUS TO ENCODE AND DECODE TWO-DIMENSION POINT CLOUDS}
본 개시내용은 2차원 포인트 클라우드(point cloud)들을 나타내는 데이터를, 특히 포인트 클라우드가 조밀 부분들(dense parts) 및 공백 부분들(void parts)을 포함하는 경우, 픽셀들의 프레임들로서 인코딩 및 디코딩하는 영역에 관한 것이다.
프레임은 값, 예를 들어 색상(color) 값 또는 깊이(depth) 값을 포함하는 픽셀들의 어레이이다. 프레임은 이미지를 나타내기 위해 사용될 수 있으며, 이 경우 모든 픽셀은 의미있는 값으로 설정된다. 프레임은 또한 다른 종류의 데이터, 예를 들어 2차원 포인트 클라우드를 인코딩하는 데 사용될 수도 있다. 2차원 포인트 클라우드는 값, 예를 들어 색상 또는 깊이 정보와 연관된 2차원 좌표들의 세트다. 포인트들의 좌표들은 프레임의 기준 프레임에서 표현된다. 2차원 포인트 클라우드는, 2보다 큰 n에 대해서, 표면 상에 n차원 포인트 클라우드를 투영한 결과이다.
이 경우에, 일부 픽셀들은 포인트들을 포함하고 의미 있는 값(예를 들어 색상 또는 깊이)을 제공받으며, 일부 다른 픽셀들은 포인트들을 포함하지 않으며 전혀 값을 갖지 못한다. 이러한 이미지를 인코딩하기 위해, 기본 값(default value)은 미사용 픽셀들(unused pixels)의 것으로 여겨진다. 기본 값은 의미있는 값들의 범위로부터 제외되어야 한다. 게다가, 프레임이 래스터화된(rasterized) 표면이기 때문에, 두 개의 가까운 포인트들은 동일한 픽셀에 인코딩되어야 할 것이다. 이는 하나의 정보로부터의 이들 두 개의 포인트들을 더 이상 구별할 수 없기 때문에 디코딩 측에서 문제가 된다. 이 문제는 두 개의 포인트들 중 하나를 인코딩하기 위해 하나의 미사용 픽셀을 사용하고, 따라서 단일 픽셀 내에 그들의 값을 혼합하지 않음으로써 해결될 수 있다. 그러면 문제는 포인트들의 원래 좌표들을 검색하는 것이다.
미사용 픽셀들을 포함하는 프레임에서 픽셀들의 사용을 최적화하기 위한 다양한 기술들이 존재한다. 예를 들어, 그리드 생성 알고리즘들(grid generation algorithms)은 2차원 포인트 클라우드의 포인트들을 프레임에 걸쳐 보다 잘 분산시키기 위해 매핑 연산자(mapping operator)를 생성한다. 이 원리들은 투영된 포인트 클라우드의 조밀 부분들을 넓히고(widen) 투영된 포인트 클라우드의 공백 부분들을 조여줌(tighten)으로써, 별개의 포인트들을 가능한 한 많은 별개의 픽셀들에 인코딩하는 것을 포함한다. 매핑 연산자는 종종 함수가 아니며(오히려 더 복잡한 알고리즘) 때때로 가역적이지 않다(not invertible). 이러한 매핑 연산자는 매개변수화된(parametrized) 함수가 아니라 복잡한 알고리즘이므로 스트림으로 인코딩될 많은 공간을 필요로 한다. 게다가, 디코딩 측에서, 원래의 포인트 클라우드를 검색하기 위해 매핑 연산자의 역(inverse)이 계산될 필요가 있다. 그러한 역 연산자를 계산하는 것은 비록 가능한 경우라도 시간 및 자원을 소모한다. 실제로 발견된 매핑 최적화 솔루션들의 일부는 역 연산자들을 갖지 않는다. 스트림 내에 역 매핑 연산자의 효율적인 내장(embedding)을 갖는, 프레임 상에 분산된 포인트 클라우드를 최적화하는 기술적 솔루션이 부족하다.
본 개시내용의 양태는 2차원 포인트 클라우드들을 프레임들로서 저장, 압축 및 전송하기 위한 인코딩 및 디코딩 방법의 부족을 극복하는 것을 포함한다.
본 개시내용의 다른 양태는 비트 스트림(bit stream)으로부터 2차원 포인트 클라우드를 디코딩하는 방법에 관한 것이다. 이 방법은,
- 비트 스트림으로부터, 픽셀들의 프레임, 및 펼쳐진 그리드(unfolded grid)를 나타내는 데이터를 획득하는 단계 - 데이터는 프레임과 연관됨 - ;
- 상기 펼쳐진 그리드에 따라 언매핑 연산자(un-mapping operator)를 결정하는 단계; 및
- 언매핑 연산자를 프레임에 적용함으로써 포인트 클라우드를 디코딩하는 단계
를 포함한다.
실시예에서, 언매핑 연산자는 펼쳐진 그리드로 매개변수화된 구간별 이중선형 인터폴레이터(piecewise bilinear interpolator)일 수 있다.
또 다른 양태에 따르면, 펼쳐진 그리드는 비트 스트림에서 프레임 그룹과 연관될 수 있고, 방법은 상기 펼쳐진 그리드에 따라 결정된 언매핑 연산자를 그룹의 프레임들에 적용함으로써, 프레임 그룹의 프레임들을 디코딩하는 단계를 더 포함한다.
본 개시내용은 또한 비트 스트림에서 2차원 포인트 클라우드를 인코딩하는 방법에 관한 것이다. 이 방법은,
- 조밀 매핑 연산자에 따라 규칙적인 그리드(regular grid)를 매핑함으로써, 펼쳐진 그리드 생성하는 단계;
- 매핑 연산자를 포인트 클라우드에 적용함으로써 픽셀들의 프레임을 생성하는 단계 - 상기 매핑 연산자는 펼쳐진 그리드에 따라 결정됨 - ; 및
- 비트 스트림에서 상기 펼쳐진 그리드를 나타내는 데이터와 연관된 상기 프레임을 인코딩함으로써 비트 스트림을 생성하는 단계
를 포함한다.
방법은 '미사용' 픽셀들의 수를 최소화하고 정보 픽셀들의 수를 최대화하기 위해 프레임에 걸친 포인트들의 분포를 최적화하는 연산자를 생성한다. 방법의 이점은 비트 스트림에서 매핑 연산자를 인코딩하는 데 필요한 작은 크기의 데이터, 및 디코딩에서 연산자 및 그 역을 계산하는 데 필요한 로우 프로세싱 리소스들(low processing resources)에 연계될 수 있다.
실시예에서, 매핑 연산자는 펼쳐진 그리드로 매개변수화된 구간별 이중선형 인터폴레이터이다.
양태에 따르면, 조밀 매핑 연산자는 포인트 클라우드 그룹에 대해 결정되고, 이 방법은 포인트 클라우드 그룹의 각각의 포인트 클라우드에 대한 프레임을 생성하는 단계 및 펼쳐진 그리드를 비트 스트림에서 생성된 프레임 그룹과 연관시키는 단계를 더 포함한다.
실시예에서, 2차원 포인트 클라우드는 표면 상의 n차원 포인트 클라우드의 투영일 수 있으며, n은 2보다 크다.
또한, 본 개시내용은 적어도 하나의 프로세서와 연관된 메모리를 포함하는 디바이스에 관한 것으로서, 이 프로세서는:
- 비트 스트림으로부터, 픽셀들의 프레임, 및 펼쳐진 그리드를 나타내는 데이터를 획득하고 - 상기 데이터는 상기 프레임과 연관됨 - ;
- 펼쳐진 그리드에 따라 언매핑 연산자를 결정하고;
- 언매핑 연산자를 프레임에 적용함으로써 포인트 클라우드를 디코딩
하도록 구성된다.
실시예에서, 언매핑 연산자는 펼쳐진 그리드로 매개변수화된 구간별 이중선형 인터폴레이터를 포함한다.
또 다른 양태에 따르면, 펼쳐진 그리드는 비트 스트림에서 프레임 그룹과 연관될 수 있고, 적어도 하나의 프로세서는 펼쳐진 그리드에 따라 결정된 언매핑 연산자를 프레임들에 적용함으로써, 프레임 그룹의 프레임들을 디코딩하도록 더 구성될 수 있다.
또한, 본 개시내용은 적어도 하나의 프로세서와 연관된 메모리를 포함하는 디바이스에 관한 것으로, 이 프로세서는:
- 조밀 매핑 연산자에 따라 규칙적인 그리드를 매핑함으로써, 펼쳐진 그리드를 생성하고;
- 매핑 연산자를 2차원 포인트 클라우드에 적용함으로써 픽셀들의 프레임을 생성하고 - 매핑 연산자는 펼쳐진 그리드에 따라 결정됨 - ;
- 비트 스트림에서 펼쳐진 그리드를 나타내는 데이터와 연관된 프레임을 인코딩함으로써 비트 스트림을 생성
하도록 구성된다.
실시예에서, 매핑 연산자는 펼쳐진 그리드로 매개변수화된 구간별 이중선형 인터폴레이터를 포함한다.
또 다른 양태에 따르면, 조밀 매핑 연산자는 포인트 클라우드 그룹에 대해 결정될 수 있고, 적어도 하나의 프로세서는 상기 포인트 클라우드 그룹의 각각의 포인트 클라우드에 대한 프레임을 생성하고 상기 펼쳐진 그리드를 비트 스트림에서 생성된 프레임 그룹과 연관시키도록 더 구성될 수 있다.
실시예에서, 2차원 포인트 클라우드는 표면 상의 n차원 포인트 클라우드의 투영일 수 있으며, n은 2보다 크다.
본 개시내용은 또한 2차원 포인트 클라우드를 나타내는 데이터를 운반하는 스트림에 관한 것으로, 이 데이터는:
- 조밀 매핑 연산자에 따라 규칙적인 그리드를 매핑함으로써 생성된 펼쳐진 그리드에 대한 제1 신택스 요소(syntax element);
- 매핑 연산자를 2차원 포인트 클라우드에 적용함으로써 생성된 픽셀들의 적어도 하나의 프레임에 관한 제2 신택스 요소 - 매핑 연산자는 펼쳐진 그리드에 따라 결정됨 -
를 포함하고, 펼쳐진 그리드는 상기 적어도 하나의 프레임과 연관될 수 있다.
이하의 설명을 읽으면, 본 개시내용이 보다 잘 이해될 것이고, 다른 특정 특징들 및 이점들이 떠오를 것이며, 설명은 첨부된 도면들을 참조한다:
도 1은 본 원리들의 실시예에 따라, 래스터화된(rasterized) 프레임에서 포인트 클라우드를 인코딩하기 위한 매핑 연산자를 예시한다.
도 2는 본 원리들의 실시예에 따라, 도 1의 포인트 클라우드의 포인트들을 비직교(non-orthogonal) 방식으로 프레임 상에 매핑하는 조밀 매핑 연산자(Dense Mapping Operator; DMO)를 예시한다.
도 3은 본 원리들에 따라, 도 2의 조밀 매핑 연산자로부터의 간소화한 매핑 연산자(Simplified Mapping Operator; SMO)의 계산을 도식적으로 도시한다.
도 4는 실시예에 따라, 도 3에 기술된 SMO를 사용하는 직사각형 프레임 상의 도 1의 포인트 클라우드의 인코딩을 도식적으로 도시한다.
도 5는 실시예에 따라, 도 4의 프레임 및 도 3의 데이터에 각각 대응하는, 데이터와 연관된 프레임으로부터의 포인트 클라우드의 디코딩을 도식적으로 예시한다.
도 6은 본 원리들에 따라, 어떻게 이중선형 구간별 인터폴레이션이 사용될 수 있는지를 예시한다.
도 7은 본 원리들의 비제한적인 실시예에 따라, 2차원 포인트 클라우드들을 인코딩하는 방법을 예시한다.
도 8은 본 원리들의 실시예에 따라, 펼쳐진 2차원 그리드를 나타내는 데이터 및 프레임을 포함하는 스트림으로부터 2차원 포인트 클라우드를 디코딩하는 방법을 예시한다.
도 9는 본 원리들의 실시예에 따라, 도 7 및/또는 도 8과 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스의 예시적인 아키텍처를 도시한다.
도 10은 본 원리들의 실시예에 따라, 통신 네트워크를 통해 도 9의 두 개의 원격 디바이스들 사이에서 도 3, 도 4, 및 도 5의 프레임 및 데이터의 전송의 예를 예시한다.
도 11은 본 원리들의 실시예에 따라, 데이터가 패킷 기반 전송 프로토콜(packet-based transmission protocol)을 통해 전송되는 경우 그러한 스트림의 신택스의 실시예의 예를 도시한다.
이제, 도면들을 참조하여 발명의 주제(subject matter)가 기술되며, 전체에서 유사한 참조 번호들은 유사한 요소들을 언급하는 데 사용된다. 이하의 서술에서, 설명의 목적으로, 발명의 주제의 완전한 이해를 제공하기 위해 많은 특정 세부 사항들이 제시된다. 발명의 주제 실시예들은 이러한 특정 세부 사항들 없이도 실시될 수 있음이 이해된다.
본 개시내용의 비제한적인 실시예에 따르면, 2차원 포인트 클라우드들을 인코딩, 전송 및 디코딩하기 위한 방법 및 디바이스가 본 명세서에 개시되어 있다.
2차원 포인트 클라우드는 기준 프레임에서 표현되고 값(예를 들어 색상 또는 깊이)과 연관된 2차원 좌표들의 세트다. 2차원 포인트 클라우드는 2보다 큰 n을 갖는 n차원 포인트 클라우드를 표면 상에 투영한 결과일 수 있다. 2차원 포인트 클라우드는 기준 프레임 상에 매핑된 래스터화된 프레임(즉, 픽셀들의 어레이)에 인코딩될 수 있다. 포인트 클라우드의 모든 포인트는 하나의 픽셀에 매핑된다. 여러 포인트들이 단일 픽셀에 매핑될 수 있다. 두 개 이상의 포인트가 단일 픽셀에 매핑되는 경우, 그들의 연관된 정보가 결합, 예를 들어 평균화된다. 주어진 픽셀에 대해 포인트가 매핑되지 않는 경우, 이 픽셀은 '미사용' 값으로 설정된다. 색상 또는 깊이 픽셀들이 '미사용' 값을 내장하기로 되어 있지 않으므로, 픽셀들이 부울 값(Boolean value)('미사용'/'사용')을 내장하고 미사용 픽셀들에는 기본 값이 주어진 추가 프레임을 만드는 것이 해당 기술분야에서 일반적이다. 이러한 프레임은 "키 프레임(key frame)"(또는 키 이미지)이라 지칭된다. 키 프레임은 의미있는 픽셀들과 미사용 픽셀들 사이를 구별하기 위해서 마스크로 사용된다. 키 이미지 내의 작은 에러가 디코딩된 이미지 내에서 큰 에러를 생성할 수 있기 때문에, 키 프레임은 보통 압축되지 않거나 손실 없이 압축된다. 동일한 키 프레임은 여러 정보 프레임들(예를 들어 컬러 프레임 및 깊이 프레임)에 대해 사용될 수 있다. 정보 프레임들과 키 프레임은 모두 스트림으로 인코딩되어 함께 전송된다. 변형예에서, 정보 프레임들 및 키 프레임은 개별적으로 전송된다.
도 1은 래스터화된 프레임에서 포인트 클라우드를 인코딩하기 위한 일반적인 매핑 연산자를 예시한다. 포인트 클라우드(10)의 각각의 포인트는 공간에 연관된 기준 프레임 내의 좌표들을 가지며, 적어도 하나의 정보, 예를 들어, 깊이 또는 색상를 내장한다. 매핑 연산자(11)는 각각의 포인트를 프레임(12)의 픽셀로 매핑하는 데 사용된다. 프레임(12)은 폭(즉, 픽셀 열(column)들의 수) 및 높이(즉, 픽셀 행(row)들의 수)를 갖는다. 아이덴티티 매핑 연산자(Identity Mapping Operator; IMO)(11)는 프레임(12)의 폭과 높이에 따라 포인트 클라우드(10)의 포인트들의 좌표들을 표현한다. 아이덴티티 매핑 연산자(11)는 [umin, umax] x [vmin, vmax]에 속하는 좌표 (u,v)를 갖는 포인트를 [0, W-1] x [0, H-1]에 속하는 대응하는 픽셀 (i, j)에 연관시키고, 여기서, W 및 H는 각각 프레임(12)의 폭 및 높이를 나타낸다.
매핑 연산자(11)에 대한 일반적인 형태는
(식. 1)
으로 주어질 수 있다.
여기서 M0는 M0 = IMO(11)인 경우에서 아이덴티티 함수인 정규화된(normalized) 매핑 연산자이다. 이러한 연산자는 계산이 직접적이고 간단한 역 연산자를 가지고 구현하는 것이 간단하다는 이점을 갖는다. 최신 기술에서는 언매핑 및 기본 매핑 연산자로 사용되므로, 이 연산자는 스트림에서 인코딩될 필요가 없다. IMO(11)는 포인트 정보를 프레임(12)의 픽셀들(13)에 저장한다. 포인트 클라우드의 조밀 부분들에 대해, 두 개 이상의 포인트가 동일한 픽셀로 매핑될 가능성이 높다. 그 다음, 각각의 연관된 값들은 고유한(예를 들어 평균화된) 값으로 결합된다. 프레임 픽셀들의 큰 부분(14)은 '미사용' 값으로 설정된다. 이 영역(14)은 쓸모가 없는 반면 IMO(11)에 의해 동일한 픽셀로 결합되는 별개의 포인트들의 정보를 저장하는 데 사용될 수 있다.
도 2는 비직교 방식으로 프레임(22) 상에 도 1의 포인트 클라우드(10)의 포인트들을 매핑하는 조밀 매핑 연산자(Dense Mapping Operator; DMO)(21)를 예시한다. DMO(21)는 클라우드 내의 포인트들의 로컬 밀도에 따라 다르게 프레임 상에 포인트들을 매핑하는 연산자다. 이러한 연산자는 '미사용' 픽셀들의 수를 최소화하고 정보 픽셀들의 수를 최대화하기 위해 프레임에 걸친 포인트들의 분포를 최적화한다. 이 기술적 효과가 도 2에 예시되어 있다: 프레임(22)의 유용한 부분(13)은 도 1의 프레임(12)의 유용한 부분보다 넓은 반면 프레임(22)의 '미사용' 부분(14)은 프레임(12)의 '미사용' 부분(14)보다 작다. 이러한 조밀 매핑 연산자(21)를 계산하고 적응성 워핑(adaptive warping)을 수행하기 위한 기술들이 존재한다. 이러한 기술들 중에서, 그리드 생성 알고리즘들의 카테고리는 (예를 들어 "A Practical Guide to Direct Optimization for Planar Grid-Generation", J.E. CASTILLO, J.S. OTTO에서 처럼) 그러한 연산자가 가지고 있어야 하는 몇몇 핵심적인 속성을 보장하는 이점을 갖고 있다. 특히, 그리드 생성 알고리즘은 프레임 공간에서 포인트 클라우드 공간의 펼쳐진 투영을 생성하도록 선택되어야 한다. 그것은 예를 들어 이중선형 구간별 인터폴레이터와 같은 간소화한 매핑 연산자를 계산할 수 있도록 하기 위해, 선택된 조밀 매핑 연산자의 요구되는 속성이다.
최적화된 조밀 매핑 연산자(21)는 프레임 또는 프레임 시퀀스, 예를 들어 비디오 압축 표준의 화상 그룹(Group of Pictures; GOP)에 대해 계산될 수 있다. 이러한 DMO를 계산하는 것은 시간 및 자원을 소모한다. 역 연산자를 계산하는 것도 또한 복잡하다. 일부 경우들에서, 역 연산자는 심지어 수학적으로 정의할 수도 없다. 어쨌든, 그러한 알고리즘을 인코딩하는 것은 손실 없이 압축되어야(또는 전혀 압축되지 않아야) 하는 매개변수들의 긴 리스트를 필요로 할 것이다. DMO의 인코딩 또는 그것의 역 DMO-1의 인코딩을 프레임 또는 GOP와 연관시키는 것은 효율적이지 않을 것이다. 이미지 또는 이미지 시퀀스에 대해 최적화된 DMO의 계산은 본 개시내용의 범위를 벗어난다. DMO는 포인트 클라우드 또는 포인트 클라우드 그룹에 대해 최적이도록 계산된다. DMO(21)는 인코딩할 상이한 포인트 클라우드들에 대해 상이할 수 있다. 프레임(22)에서 포인트 클라우드(10)의 매핑은 방정식 [식. 1]을 따르며, 여기서 M0 = DMO(21)이다.
도 3은 본 원리들에 따라, 조밀 매핑 연산자(21)로부터의 간소화한 매핑 연산자(31)의 계산을 도식적으로 도시한다. 우선, K*L 포인트들의 규칙적인 그리드(30)가 설정된다. 도 3에서 그리드의 포인트들은 오직 시각적 목적만을 위해 세그먼트(segment)들로 링크된다. 그리드는 포인트 클라우드의 공간에 걸쳐 규칙적으로 분포(distribute)되는 포인트들의 세트다. 이 포인트들의 좌표들은 공간의 기준 프레임에 규칙적으로 분포된다. 이 포인트들과 연관된 정보는 존재 값(즉, 부울 값)이다. 이 규칙적인 포인트 클라우드('그리드'라고도 칭함)(30)는 도 2의 포인트 클라우드(또는 포인트 클라우드 그룹)(10)에 대해 계산된 DMO(21)를 사용하여 프레임(32) 상에 매핑된다. 그 결과, 그리드(30)의 K*L 포인트들은 프레임(32)의 픽셀들에 매핑된다. 프레임(32)은 프레임(22)과 동일한 크기를 갖는다. 도 3에서, 프레임(32)의 포인트들은 오직 시각적인 목적만을 위해 세그먼트들로 링크된다. 세그먼트들은 DMO(21)와 같은 조밀 매핑 연산자들의 펼쳐지는 핵심 특징을 예시한다: 그리드(30)의 DMO(21)에 의한 투영의 결과는 그리드이다; 즉 '매핑된 그리드의 어떤 세그먼트도 매핑된 그리드의 다른 세그먼트를 교차하지 않는다'. 그리드(30)의 포인트들은 DMO(21)에 의해 매핑된 후에 동일한 구조적 순서(structural order)로 유지된다. 그리드(30)의 두 개의 포인트 A 및 B는 이미지(32)의 동일한 픽셀에 투영될 수 있다. DMO(21)가 이러한 상황을 초래하면, 그것은 포인트 A 및 B의 좌표들 사이에(및/또는 가까운 이웃 내에), 도 2의 포인트 클라우드(또는 포인트 클라우드 그룹)(10)의 포인트가 없다는 사실로부터 기인한다.
본 원리들에 따르면, 이 단계에서, 두 개의 객체(object)가 생성된다. 첫째, 그리드(30)의 매핑된 포인트들의 K*L 좌표들이 데이터(33)에 저장되고 인코딩된다. 데이터(33)는 2차원 좌표들의 K*L 매트릭스로서 인코딩된다. 변형예에서, 데이터(33)는 정수들(integers) 또는 부동 숫자들(floating numbers)의 두 개의 K*L 매트릭스로서 인코딩된다. 변형예에서, K*L 좌표들은 이미지의 폭 및 높이에 대해 정규화되고 데이터(33)에 저장된다. 이러한 매트릭스들은, 예를 들어 매개변수화에 의해, 역 연산자를 정의하는 데 사용될 것이다. 둘째, 간소화한 매핑 연산자(31)는 그리드(32)의 포인트들 사이의 인터폴레이터로서 계산된다. 예를 들어, 인터폴레이터는 투영된 포인트들 사이의 이중선형 구간별 인터폴레이터일 수 있다. 변형예에서, 인터폴레이터는 예를 들어 Fritsch, F. N., & Carlson, R. E. (1980) “Monotone piecewise cubic interpolation”; SIAM Journal on Numerical Analysis, 17(2), 238-246에 기술된 바와 같이, 이중큐빅(bicubic) 구간별 인터폴레이터일 수 있다. 또 다른 변형예에서, 인터폴레이터는 해당 기술분야의 통상의 기술자들에게 잘 알려진 란쪼스(Lanczos) 필터일 수 있다.
도 6에 예시된 이중선형 구간별 인터폴레이션은 이미지 프로세싱의 영역에서 통상의 기술자들에 의해 공지된 기술이다. IMO(11)에 의해 매핑된 포인트 클라우드(10)의 포인트는 좌표들(60a)을 가질 것이다. 이 위치는 규칙적인 그리드(30)의 네 개의 포인트들(61a, 62a, 63a, 및 64a)에 의해 정의된 직사각형의 기준 프레임에서 표현될 수 있다. 이 위치는 직사각형에서 정규화된다. 예를 들어, 좌표들(60a)은 세그먼트 [61a-62a](따라서 세그먼트 [64a-63a])의 길이의 백분율(65)과 동일한 x 값, 및 세그먼트 [61a-64a](따라서 세그먼트 [62a-63a])의 길이의 백분율(66)과 동일한 y 값을 가진다. 이중선형 구간별 인터폴레이션은 규칙적인 그리드(30)의 네 개의 포인트들(61a, 62a, 63a, 및 64a)의 DMO(21)에 의한 매핑에 대응하는 세그먼트들에 따라 이들의 백분율들을 유지한다. (데이터(33)에 저장된) 좌표들(61b, 62b, 63b, 및 64b)은 각각의 좌표들(61a, 62a, 63a, 및 64a)의 DMO(21)에 의한 매핑들이다. 그러면, 좌표들(60a)의 이중선형 구간별 인터폴레이션은 60b이다. 백분율 값들(65 및 66)은 이 변환에 의해, 매핑된 기준 프레임에서 x 값의 경우 세그먼트 [61b - 62b] 및 [64b - 63b]와, y 값의 경우 세그먼트 [61b - 64b] 및 [62b - 63b]에 각각 유지된다. 이 연산자는 좌표들(61b, 62b, 63b, 및 64b)에 따라 결정되는 것이 간단하고, 포인트 클라우드에 대한 그것의 적용은 계산하기에 매우 빠르다. 역 함수는 동일한 원리들에 기초하고, 데이터(33)에 저장된 좌표들(61b, 62b, 63b, 및 64b)에 따라 결정되는 것이 간단하며, 프레임에 대한 그것의 적용은 계산하기에 매우 빠르다. 또한, 구간별 이중선형 인터폴레이터는 가능한 작고 전송 및 저장하기 쉬운 노드 포인트들의 서브 리스트(sub-list)에 의해 완전히 결정된다는 이점을 가진다.
도 4는 본 원리들의 특정 실시예에 따라, 도 3에 기술된 SMO(31)를 사용하는 직사각형 프레임(42) 상의 포인트 클라우드(10)의 인코딩을 도식적으로 도시한다. 포인트 클라우드(10)의 포인트의 좌표들이 도 3의 그리드(30)의 포인트들 중 하나에 대응하면, 이 포인트의 매핑은 데이터(33)에 저장된 펼쳐진 그리드(32)에서의 대응하는 포인트이다. 다른 경우들에서, 포인트 클라우드(10)의 포인트의 좌표들은 그리드(30)의 "직사각형"에 속한다; 즉, 좌표들은 그리드(30)의 네 개의 포인트들 사이에 위치한다. 매핑은 투영된 그리드(32)의 대응하는 네 개의 포인트들 사이의 이중선형 구간별 인터폴레이션이다. SMO(21)를 사용하는 포인트 클라우드(10)의 투영은 유용한 부분(13)이 도 1의 프레임(12)의 유용한 부분보다 넓은 반면 '미사용' 부분(14)이 프레임(12)의 '미사용' 부분(14)보다 작은 프레임(42)을 생성한다. SMO(21)의 적용은 방정식 [식. 1]을 따르며, 여기서 M0 = SMO(21)이다.
프레임(42)은 인코딩되고 데이터(33)와 연관된다. 프레임(42)은 표준 이미지 또는 비디오 압축 알고리즘을 사용하여 압축될 수 있다. 압축 알고리즘은 손실 없도록 선택될 수 있다. 변형예에서, 키 맵은 프레임(42)에 따라 생성될 수 있고, 프레임(42) 및 데이터(33)와 연관될 수 있다. 키 맵은 부울 값들(예를 들어 0 또는 1)을 포함하는 프레임이고, 여기에서 유용한 픽셀들은 주어진 값(예를 들어 1)으로 설정되고 유용하지 않은 픽셀들은 다른 값(예를 들어 0)으로 설정된다. 보통 키 맵들은 압축되지 않거나 손실 없이 압축된다. 연관된 인코딩된 데이터는 하나 이상의 스트림으로서 디코더에 전송된다. 변형예에서, 연관된 인코딩된 데이터는 로컬 메모리 또는 저장 매체에 저장된다.
도 5는 도 4의 프레임(42) 및 도 3의 데이터(33)에 각각 대응하는, 데이터(53)와 연관된 프레임(52)으로부터의 포인트 클라우드(50)의 디코딩을 도식적으로 예시한다. 프레임(52) 및 데이터(53)는 소스(source)로부터 획득된다. 본 명세서에서, 프레임 및/또는 데이터를 획득하는 것은 소스로부터 데이터를 수신하거나 소스 상의 데이터를 읽는 것으로 이해되어야 한다. 예를 들어, 소스는:
- 로컬 메모리, 예를 들어 비디오 메모리 또는 RAM(또는 랜덤 액세스 메모리), 플래시 메모리, ROM(또는 읽기 전용 메모리), 하드 디스크;
- 저장 인터페이스, 예를 들어 대용량 저장소, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 서포트(support)와의 인터페이스; 및
- 통신 인터페이스, 예를 들어 유선 인터페이스(예를 들어 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어 IEEE 802.11 인터페이스 또는 Bluetooth®인터페이스)
를 포함하는 세트에 속한다.
변형예에서, 데이터(53) 및 프레임(52)은 상이한 소스(source)들로부터 획득된다. 데이터(53)는 도 3을 참조하여 기술된 바와 같이 계산된 데이터(33)에 대응한다. 압축 및 전송은 그들을 약간 변경시킬 수 있다. 변형예에서, 손실 없는 압축 방법이 사용되고 안전한 전송이 보장되며 데이터(53)는 데이터(33)와 정확히 동일하다. 데이터(53)는 그리드(54)의 K*L 포인트들의 좌표들을 포함한다. 변형예에서, 데이터(33)는 인코딩 시에 정규화된다. 이 변형예에 따르면, 데이터(53)에 포함된 좌표들은 정규화된 공간에서 표현된다. 역 간소화한 매핑 연산자(51)(SMO-1(51)이라 칭함)는 데이터(53)에 따라(즉, 대응하는 펼쳐진 그리드(54)에 따라) 계산된다. 정규화된 픽셀 좌표들(a, b)에 대해, SMO-1(a, b)의 평가는 네 개의 이웃 값들(neighbors values) 사이의 이중선형 구간별 인터폴레이션에 이른다.
여기서 A = floor(Ka) 및 B = floor(Lb)이다.
SMO-1(51)의 적용의 결과는 2차원 포인트 클라우드(50)이다. SMO(31)는 DMO(21)의 결점(drawback)들 없이 DMO(21)의 이점들을 가진다. 규칙적인 그리드(30)의 DMO(21)에 의한 매핑에 기초한 이중선형 구간별 인터폴레이션의 사용은 픽셀들의 사용이 최적화된(즉, 미사용 픽셀들의 수를 최소화되고, 동일한 픽셀로 매핑되는 포인트 클라우드(10)의 포인트들의 수가 최소화된) 프레임(42)을 생성한다. 상이한 SMO는 포인트 클라우드 시퀀스(예를 들어 비디오)의 각각의 포인트 클라우드에 연관될 수 있다. 변형예에서, 최적화된 SMO는 포인트 클라우드 시퀀스의 포인트 클라우드 그룹에 대해 계산될 수 있다. 동시에, SMO(21)의 인코딩은 2차원 좌표들의 K*L 매트릭스로서 소량의 데이터(33)를 필요로 한다. 디코딩 측에서, 데이터(53)로부터의 SMO-1의 계산은 간단하며, 그것의 적용, 즉 이중선형 구간별 인터폴레이션은 매우 효율적이고 제한된 시간 및 프로세싱 리소스들을 필요로 한다.
도 7은 본 원리들의 비 제한적인 실시예에 따라 2차원 포인트 클라우드들을 인코딩하기 위한 방법(70)을 예시한다. 단계(71)에서, 인코딩할 포인트 클라우드(또는 포인트 클라우드 시퀀스)는 소스로부터 획득된다. 예를 들어, 소스는 로컬 메모리, 저장 인터페이스 또는 통신 인터페이스일 수 있다. 2차원 포인트 클라우드는 표면 상의 n차원 포인트 클라우드의 투영에 의해 획득될 수 있으며, n은 2보다 크다. 포인트 클라우드 시퀀스의 경우에, 표준 비디오 압축 방법들에 대해 화상들이 GOP로 그룹화됨에 따라 포인트 클라우드들이 그룹화될 수 있다. 프레임 크기(대상 프레임들의 폭과 높이)가 결정된다. 예를 들어 결정된 프레임 크기는 640x480(VGA) 또는 1920X1200(와이드스크린)과 같은 표준 이미지 크기이다. 포인트 클라우드(또는 포인트 클라우드 그룹)에 대해 결정된 크기의 프레임의 픽셀들의 사용을 최적화하는 조밀 매핑 연산자가 결정된다. 결정된 DMO는 미사용 픽셀들의 수를 최소화한다.
단계(72)에서, 결정된 DMO는 K*L 포인트들의 규칙적인 그리드에 적용된다. 이 계산의 결과는 부동 숫자들 쌍의 K*L 매트릭스에 저장된 K*L 매핑된 2차원 좌표들의 펼쳐진 그리드이다. 변형예에서, 이들의 좌표들은 부동 숫자들의 두 매트릭스들에 저장된다. 또 다른 변형예에서, 이들 좌표들은 프레임에 매핑되고, 매핑된 픽셀들의 인덱스들은 정수의 쌍의 매트릭스 또는 정수의 두 개의 매트릭스들에 저장된다. 이들의 좌표들은 이중선형 구간별 인터폴레이터인 간소화한 매핑 연산자를 매개변수화하는 데 사용된다.
단계(73)에서, 매개변수화된 SMO는 인코딩을 위해 포인트 클라우드(또는 각각의 포인트 클라우드 그룹)에 적용된다. 단계(71)에서 결정된 크기의 프레임(또는 프레임 그룹)이 생성된다. 단계(74)에서, 생성된 프레임(또는 프레임 그룹)은, 예를 들어, MPEG 2 또는 H264와 같은 표준 이미지 또는 비디오 압축 방법을 사용하여 인코딩된다. 단계(72)에서 계산된 매핑된 그리드의 매트릭스(또는 매트릭스들)를 나타내는 데이터가 인코딩된다. 인코딩된 프레임(또는 프레임 그룹)과 데이터는 스트림에 연관된다. 변형예에서, 인코딩된 프레임들 및 데이터는 상이한 스트림들로 인코딩된다. 이 단계에서 스트림이 생성되고 목적지(destination)로 송신된다. 예를 들어, 목적지는:
- 로컬 메모리, 예를 들어 비디오 메모리 또는 RAM(또는 랜덤 액세스 메모리), 플래시 메모리, ROM(또는 읽기 전용 메모리), 하드 디스크;
- 저장 인터페이스, 예를 들어 대용량 저장소, RAM, 플래시 메모리, ROM, 광디스크 또는 자기 서포트와의 인터페이스; 및
- 통신 인터페이스, 예를 들어 유선 인터페이스(예를 들어 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어 IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스)
를 포함하는 세트에 속한다.
도 8은 펼쳐진 2차원 그리드를 나타내는 데이터 및 프레임을 포함하는 스트림으로부터 2차원 포인트 클라우드를 디코딩하는 방법(80)을 예시한다. 단계(81)에서, 펼쳐진 그리드를 나타내는(즉, 2차원 좌표들의 매트릭스를 나타내는) 연관된 데이터 및 픽셀들의 프레임이 소스로부터 획득된다. 소스는 로컬 메모리, 저장 인터페이스, 및 통신 인터페이스를 포함하는 세트에 속한다. 데이터의 좌표들은 포인트들의 펼쳐진 그리드를 나타낸다. 역 간소화한 매핑 연산자(SMO-1)는 데이터의 좌표들과 프레임의 크기(픽셀들에서의 폭과 높이)에 따라 매개변수화된다. SMO-1은 이중선형 구간별 인터폴레이터이다. 단계(83)에서, 매개변수화된 SMO-1이 단계(81)에서 획득된 프레임에 적용된다. 이 적용은 2차원 포인트 클라우드를 생성한다. 동일한 데이터가 프레임 그룹과 연관될 수 있고 동일한 SMO-1이 프레임 그룹의 프레임들을 디코딩하는 데 사용된다. 이러한 연산자의 매개변수화 및 적용은 간단하고 빠르며, 프로세서 또는 그래픽 보드에 대해 제한된 시간과 프로세싱 리소스들을 필요로 한다.
도 9는 도 7 및/또는 도 8과 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스(90)의 예시적인 아키텍처를 도시한다.
디바이스(90)는 데이터 및 어드레스 버스(91)에 의해 서로 링크되는 다음 요소들을 포함한다:
- 예를 들어 DSP(또는 디지털 신호 프로세서)인 마이크로 프로세서(92)(또는 CPU);
- ROM(또는 판독 전용 메모리)(93);
- RAM(또는 랜덤 액세스 메모리)(94);
- 저장 인터페이스(95);
- 애플리케이션으로부터 전송할 데이터의 수신을 위한 I/O 인터페이스(96); 및
- 전력 공급장치(power supply), 예를 들어, 배터리.
예에 따르면, 전력 공급장치는 디바이스 외부에 있다. 각각의 언급된 메모리에서, 명세서에서 사용되는 "레지스터"라는 단어는 작은 용량(몇몇 비트들)의 영역 또는 매우 넓은 영역(예를 들어, 전체 프로그램, 또는 대량의 수신되거나 디코딩된 데이터)에 대응할 수 있다. ROM(93)은 적어도 프로그램 및 매개변수들을 포함한다. ROM(93)은 본 원리들에 따라 기술들을 수행하기 위한 알고리즘들 및 명령어들을 저장할 수 있다. 전원이 켜지면, CPU(92)는 RAM에 프로그램을 업로드하고 대응하는 명령어들을 실행한다.
RAM(94)은, 레지스터 내에서, CPU(92)에 의해 실행되고 디바이스(90)의 전원이 켜진 후에 업로드되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 다른 상태들에서의 중간 데이터, 및 레지스터 내의 방법의 실행을 위해 사용되는 다른 변수들(variables)을 포함한다.
인코딩 또는 인코더의 예에 따르면, 포인트 클라우드(또는 포인트 클라우드 시퀀스)는 소스로부터 획득된다. 예를 들어, 소스는:
- 로컬 메모리(93 또는 94), 예를 들어 비디오 메모리 또는 RAM(또는 랜덤 액세스 메모리), 플래시 메모리, ROM(또는 읽기 전용 메모리), 하드 디스크;
- 저장 인터페이스(95), 예를 들어 대용량 저장소, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 서포트와의 인터페이스;
- 통신 인터페이스(96), 예를 들어 유선 인터페이스(예를 들어 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어 IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스); 및
- 사용자가 데이터를 입력할 수 있게 하는 그래픽 사용자 인터페이스와 같은 사용자 인터페이스
를 포함하는 세트에 속한다.
디코딩 또는 디코더(들)의 예들에 따르면, 좌표들의 매트릭스를 나타내는 데이터 및 프레임은 목적지로 송신된다; 특히, 목적지는:
- 로컬 메모리(93 또는 94), 예를 들어 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;
- 저장 인터페이스(95), 예를 들어 대용량 저장소, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 서포트와의 인터페이스; 및
- 통신 인터페이스(96), 예를 들어 유선 인터페이스(예를 들어 버스 인터페이스(예를 들어 USB(또는 범용 직렬 버스)), 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스, HDMI(고화질 멀티미디어 인터페이스) 인터페이스) 또는 무선 인터페이스(예를 들어 IEEE 802.11 인터페이스, WiFi® 또는 Bluetooth® 인터페이스)
를 포함하는 세트에 속한다.
인코딩 또는 인코더의 예들에 따르면, 2차원 좌표들의 매트릭스를 나타내는 데이터 및 프레임을 포함하는 비트 스트림(bitstream)이 목적지로 송신된다. 예로서, 비트 스트림은 로컬 또는 원격 메모리, 예를 들어 비디오 메모리(94) 또는 RAM(94), 하드 디스크(93)에 저장된다. 변형예에서, 비트 스트림은 저장 인터페이스(95), 예를 들어 대용량 저장소, 플래시 메모리, ROM, 광 디스크 또는 자기 서포트와의 인터페이스로 송신되고/되거나 통신 인터페이스(96), 예를 들어 포인트 대 포인트 링크, 통신 버스, 포인트 대 멀티 포인트 링크 또는 방송 네트워크에 대한 인터페이스를 통해 전송될 수 있다.
디코딩 또는 디코더 또는 렌더러(renderer)의 예들에 따르면, 비트 스트림은 소스로부터 획득된다. 전형적으로, 비트 스트림은 로컬 메모리, 예를 들어 비디오 메모리(94), RAM(94), ROM(93), 플래시 메모리(93) 또는 하드 디스크(93)로부터 판독된다. 변형예에서, 비트 스트림은 저장 인터페이스(95), 예를 들어 대용량 저장소, RAM, ROM, 플래시 메모리, 광 디스크 또는 자기 서포트와의 인터페이스로부터 수신되고/되거나 통신 인터페이스(95), 예를 들어 포인트 대 포인트 링크, 버스, 포인트 대 멀티 포인트 링크 또는 방송 네트워크에 대한 인터페이스로부터 수신된다.
예들에 따르면, 디바이스(90)는 도 7과 관련하여 기술된 방법을 구현하도록 구성되며,
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 태블릿(또는 태블릿 컴퓨터);
- 랩톱;
- 정지 화상 카메라;
- 비디오 카메라;
- 인코딩 칩;
- 서버(예를 들어 방송 서버, 주문형 비디오 서버(video-on-demand server) 또는 웹 서버)
를 포함하는 세트에 속한다.
예들에 따르면, 디바이스(90)는 도 8과 관련하여 기술된 렌더링 방법을 구현하도록 구성되며,
- 모바일 디바이스;
- 통신 디바이스;
- 게임 디바이스;
- 셋톱 박스(set top box);
- TV 세트;
- 태블릿(또는 태블릿 컴퓨터);
- 랩톱; 및
- (예를 들어 HMD와 같은) 디스플레이
를 포함하는 세트에 속한다.
도 10에 예시된 예에 따르면, 통신 네트워크 NET(100)을 통한 (디바이스(90)의 유형의) 두 개의 원격 디바이스들(101 및 102) 사이의 전송 컨텍스트(context)에서, 디바이스(101)는 도 7과 관련하여 기술된 바와 같이 포인트 클라우드들을 인코딩하고 스트림을 생성하기 위한 방법을 구현하도록 구성된 수단들을 포함하고, 디바이스(102)는 도 8과 관련하여 기술된 바와 같이 포인트 클라우드들을 디코딩하는 방법을 구현하도록 구성된 수단들을 포함한다.
예에 따르면, 네트워크(100)는 디바이스(101)로부터의 연관된 데이터를 가진 정지 화상들 또는 비디오 화상들을, 디바이스(102)를 포함하는 디코딩 디바이스들로 방송하도록 적응된 LAN 또는 WLAN 네트워크이다.
도 11은 데이터가 패킷 기반 전송 프로토콜(packet-based transmission protocol)을 통해 전송되는 경우, 이러한 스트림의 신택스의 실시예의 예를 도시한다. 도 11은 비트 스트림의 예시적인 구조(110)를 도시한다. 구조는 독립적인 신택스 요소들(independent syntax elements)로 스트림을 조직(organize)하는 컨테이너(container)를 포함한다. 구조는 스트림의 모든 신택스 요소들에 공통인 데이터의 세트인 헤더 부분(111)을 포함할 수 있다. 예를 들어, 헤더 부분은 신택스 요소들에 관한 메타 데이터(metadata)를 포함하며 각각의 신택스 요소의 본질(nature)과 역할을 기술한다. 구조는 신택스 요소들(112 및 113)을 포함하는 페이로드(payload)를 포함할 수 있으며, 제1 신택스 요소(112)는 예를 들어 2차원 좌표들의 매트릭스들과 같은 펼쳐진 그리드들을 나타내는 데이터에 관련되고, 제2 신택스 요소(113)는 간소화한 매핑 연산자에 의해 생성된 프레임들에 관련된다. 펼쳐진 그리드를 나타내는 데이터는 펼쳐진 그리드를 적어도 하나의 프레임에 연관시키는 정보를 포함한다. 예를 들어, 프레임들은 GOP의 번호 및 GOP 내의 프레임 번호로 식별된다. GOP의 번호는 이 GOP의 프레임들을 생성한 SMO의 펼쳐진 그리드와 연관된다.
물론, 본 개시내용은 앞서 기술된 실시예들에 제한되지 않는다.
특히, 본 개시내용은 2차원 포인트 클라우드를 인코딩 또는 디코딩하는 방법에 한정되지 않을 뿐만 아니라, 포인트 클라우드들을 나타내는 스트림을 전송하는 임의의 방법, 2차원 포인트 클라우드 시퀀스를 인코딩 및 디코딩하는 방법, 및 이러한 방법들을 구현하는 임의의 디바이스에도 확장된다. SMO를 나타내는 데이터 및 프레임들을 생성하는 데 필요한 계산들의 구현은 셰이더 유형 마이크로 프로그램들(shader type microprograms)의 구현에 제한되지 않을 뿐만 아니라, 임의의 프로그램 유형, 예를 들어 CPU 유형 마이크로프로세서로 실행될 수 있는 프로그램들의 구현에도 확장된다. 본 개시내용의 방법들의 사용은 라이브 활용(live utilization)에 제한되지 않을 뿐만 아니라, 예를 들어 레코딩 스튜디오에서 포스트 프로덕션 프로세싱(postproduction processing)으로 알려진 프로세싱을 위한 임의의 다른 활용에도 확장된다.
본 명세서에서 기술된 구현예들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 단지 단일 형태의 구현의 맥락에서 논의되기는 하지만(예를 들어, 단지 방법 또는 디바이스로서 논의되기는 하지만), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어 프로그램)로 구현될 수 있다. 장치는 예를 들어 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍 가능 논리 디바이스를 포함하는 처리 디바이스들을 일반적으로 지칭하는 예를 들어 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한 예를 들어 스마트폰들, 태블릿들, 컴퓨터들, 휴대폰들, 휴대용/개인용 디지털 단말기들("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.
본 명세서에서 기술되는 다양한 프로세스들 및 특징들의 구현예들은 다양한 상이한 장비 또는 응용들, 특히, 예를 들어 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 프로세싱, 및 이미지들 및 관련 텍스처 정보 및/또는 깊이 정보의 다른 프로세싱과 연관된 장비 또는 응용들에 내장될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트 프로세서, 인코더로의 입력을 제공하는 프리 프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명확한 것처럼, 장비는 이동식일 수 있으며 심지어 이동식 차량에 설치될 수도 있다.
추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 그러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은, 예를 들어, 집적 회로, 소프트웨어 캐리어, 또는 예를 들면 하드 디스크, 컴팩트 디스켓("CD"), 광 디스크(예를 들면, 종종 디지털 다기능 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD), 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서 판독 가능한 매체 상에 저장될 수 있다. 명령어들은 프로세서 판독 가능 매체 상에 유형적으로(tangibly) 내장되는 애플리케이션 프로그램을 형성할 수 있다. 명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합 내에 존재할 수 있다. 명령어들은, 예를 들어, 운영 체제, 개별 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는, 예를 들어, 프로세스를 실행하도록 구성된 디바이스와, 프로세스를 실행하기 위한 명령어들을 가진 (저장 디바이스와 같은) 프로세서 판독 가능 매체를 포함하는 디바이스 모두로서 특징지어질 수 있다. 게다가, 프로세서 판독 가능 매체는 명령어들에 부가하여 또는 명령어들을 대신하여, 구현에 의하여 생성되는 데이터 값들을 저장할 수 있다.
해당 분야의 통상의 기술자에게 명백한 바와 같이, 구현예들은, 예를 들어, 저장되거나 또는 전송될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의하여 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 신택스를 기입하거나 판독하기 위한 규정들을 데이터로서 운반하도록, 또는 기술된 실시예에 의해 기입되는 실제 신택스 값들을 데이터로서 운반하도록 포맷팅될 수 있다. 이러한 신호는, 예를 들어, (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하여) 전자기파로서, 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅하는 것은, 예를 들어, 데이터 스트림을 인코딩하는 것과 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 바와 같이 여러 상이한 유선 또는 무선 링크들을 통해 전송될 수 있다. 신호는 프로세서 판독 가능 매체 상에 저장될 수 있다.
다수의 구현예들이 기술되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있다는 점이 이해될 것이다. 예를 들어, 다른 구현예들을 생성하기 위해 상이한 구현예들의 요소들은 결합, 보충, 수정, 또는 제거될 수 있다. 추가적으로, 본 기술분야의 통상의 기술자라면, 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있으며, 결과적인 구현예들은 개시된 구현예들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해서 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행할 것이라는 점을 이해할 것이다. 따라서, 이들, 및 다른 구현예들은 본 출원에 의해 고려된다.
21 : 조밀 매핑 연산자(DMO)
30 : 규칙적인 그리드
31 : 간소화한 매핑 연산자(SMO)
32 : 펼쳐진 그리드
33 : 데이터
50 : 포인트 클라우드
51 : 언매핑 연산자
52 : 프레임
53 : 데이터
54 : 펼쳐진 그리드

Claims (15)

  1. 비트 스트림(bit stream)으로부터 2차원 포인트 클라우드(point cloud)를 디코딩하는 방법으로서,
    상기 비트 스트림으로부터, 픽셀들의 프레임 및, 상기 2차원 포인트 클라우드에 대한 상기 프레임의 미사용 픽셀들의 수를 감소시키는 조밀 매핑 연산자(dense mapping operator)에 따라 규칙적인 그리드(regular grid)를 매핑함으로써 획득된 펼쳐진 그리드(unfolded grid)를 나타내는 2차원 좌표들의 매트릭스를 획득하는 단계;
    언매핑 연산자(un-mapping operator)를 상기 매트릭스로 매개변수화된(parametrized) 구간별 이중선형 인터폴레이터(piecewise bilinear interpolator)로서 결정하는 단계; 및
    상기 언매핑 연산자를 상기 프레임에 적용함으로써 상기 포인트 클라우드를 디코딩하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 매트릭스는 상기 비트 스트림에서 프레임 그룹과 연관되고, 상기 방법은 상기 매트릭스에 따라 결정된 언매핑 연산자를 상기 프레임 그룹의 프레임들에 적용함으로써 상기 프레임들을 디코딩하는 단계를 더 포함하는, 방법.
  3. 2차원 포인트 클라우드를 비트 스트림으로 인코딩하는 방법으로서,
    조밀 매핑 연산자에 따라 규칙적인 그리드를 매핑함으로써, 펼쳐진 그리드를 나타내는 2차원 좌표들의 매트릭스를 생성하는 단계 - 상기 조밀 매핑 연산자는 2차원 포인트 클라우드를 인코딩하는 픽셀들의 프레임의 미사용 픽셀들의 수를 감소시키는 매핑 연산자임 - ;
    매핑 연산자를 상기 포인트 클라우드에 적용함으로써 픽셀들의 프레임을 생성하는 단계 - 상기 매핑 연산자는 상기 매트릭스로 매개변수화된 구간별 이중선형 인터폴레이터로서 결정됨 - ; 및
    상기 비트 스트림에서 상기 펼쳐진 그리드를 나타내는 상기 2차원 좌표들의 매트릭스 및 상기 프레임을 인코딩함으로써 상기 비트 스트림을 생성하는 단계
    를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 조밀 매핑 연산자는 포인트 클라우드 그룹에 대해 결정되고, 상기 방법은 상기 포인트 클라우드 그룹의 각각의 포인트 클라우드에 대한 프레임을 생성하는 단계 및 상기 매트릭스를 상기 비트 스트림에서 상기 생성된 프레임 그룹과 연관시키는 단계를 더 포함하는, 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 2차원 포인트 클라우드는 표면 상의 n차원 포인트 클라우드의 투영(projection)이고, n은 2보다 큰, 방법.
  6. 적어도 하나의 프로세서와 연관된 메모리를 포함하는 디바이스로서,
    비트 스트림으로부터, 픽셀들의 프레임, 및 2차원 포인트 클라우드에 대한 상기 프레임의 미사용 픽셀들의 수를 감소시키는 조밀 매핑 연산자에 따라 규칙적인 그리드를 매핑함으로써 획득된 펼쳐진 그리드를 나타내는 2차원 좌표들의 매트릭스를 획득하고;
    언매핑 연산자를 상기 매트릭스로 매개변수화된 구간별 이중선형 인터폴레이터로서 결정하고;
    상기 언매핑 연산자를 상기 프레임에 적용함으로써 상기 포인트 클라우드를 디코딩
    하도록 구성되는, 디바이스.
  7. 제6항에 있어서,
    상기 매트릭스는 상기 비트 스트림에서 프레임 그룹과 연관되고, 상기 적어도 하나의 프로세서는 상기 매트릭스에 따라 결정된 언매핑 연산자를 상기 프레임 그룹의 프레임들에 적용함으로써 상기 프레임들을 디코딩하도록 더 구성되는, 디바이스.
  8. 적어도 하나의 프로세서와 연관된 메모리를 포함하는 디바이스로서,
    조밀 매핑 연산자에 따라 규칙적인 그리드를 매핑함으로써, 펼쳐진 그리드를 나타내는 2차원 좌표들의 매트릭스를 생성하고 - 상기 조밀 매핑 연산자는 2차원 포인트 클라우드를 인코딩하는 픽셀들의 프레임의 미사용 픽셀들의 수를 감소시키는 매핑 연산자임 - ;
    매핑 연산자를 상기 2차원 포인트 클라우드에 적용함으로써 픽셀들의 프레임을 생성하고 - 상기 매핑 연산자는 상기 매트릭스로 매개변수화된 구간별 이중선형 인터폴레이터로서 결정됨 - ;
    비트 스트림에서 상기 매트릭스 및 상기 프레임을 인코딩함으로써 상기 비트 스트림을 생성
    하도록 구성되는, 디바이스.
  9. 제8항에 있어서,
    상기 조밀 매핑 연산자는 포인트 클라우드 그룹에 대해 결정되고, 상기 적어도 하나의 프로세서는 상기 포인트 클라우드 그룹의 각각의 포인트 클라우드에 대한 프레임을 생성하고 상기 매트릭스를 상기 비트 스트림에서 상기 생성된 프레임 그룹과 연관시키도록 더 구성되는, 디바이스.
  10. 제8항 또는 제9항에 있어서,
    상기 2차원 포인트 클라우드는 표면 상의 n차원 포인트 클라우드의 투영이고, n은 2보다 큰, 디바이스.
  11. 2차원 포인트 클라우드를 나타내는 데이터를 저장하는 컴퓨터-판독가능 기록 매체로서,
    상기 데이터는,
    조밀 매핑 연산자에 따라 규칙적인 그리드를 매핑함으로써 생성된 펼쳐진 그리드를 나타내는 2차원 좌표들의 매트릭스를 운반하는 제1 신택스 요소(syntax element) - 상기 조밀 매핑 연산자는 상기 포인트 클라우드에 대한 프레임의 미사용 픽셀들의 수를 감소시키는 매핑 연산자임 - ; 및
    매핑 연산자를 상기 2차원 포인트 클라우드에 적용함으로써 생성된 픽셀들의 적어도 하나의 프레임에 대한 제2 신택스 요소 - 상기 매핑 연산자는 상기 매트릭스로 매개변수화된 구간별 이중선형 인터폴레이터로서 결정됨 -
    를 포함하고, 상기 매트릭스는 상기 적어도 하나의 프레임과 연관된, 컴퓨터-판독가능 기록 매체.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020180049976A 2017-05-04 2018-04-30 2차원 포인트 클라우드들을 인코딩 및 디코딩하기 위한 방법 및 장치 KR102627189B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17305504.7A EP3399757A1 (en) 2017-05-04 2017-05-04 Method and apparatus to encode and decode two-dimension point clouds
EP17305504.7 2017-05-04

Publications (2)

Publication Number Publication Date
KR20180122947A KR20180122947A (ko) 2018-11-14
KR102627189B1 true KR102627189B1 (ko) 2024-01-22

Family

ID=58709420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049976A KR102627189B1 (ko) 2017-05-04 2018-04-30 2차원 포인트 클라우드들을 인코딩 및 디코딩하기 위한 방법 및 장치

Country Status (9)

Country Link
US (1) US11122101B2 (ko)
EP (2) EP3399757A1 (ko)
JP (1) JP7166782B2 (ko)
KR (1) KR102627189B1 (ko)
CN (1) CN108810571B (ko)
BR (1) BR102018009143A2 (ko)
CA (1) CA3003608A1 (ko)
MX (1) MX2018005496A (ko)
RU (1) RU2762005C2 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460535B (zh) * 2018-11-14 2023-02-03 深圳职业技术学院 一种基于云的有限域矩阵求逆装置及求逆方法
KR102256913B1 (ko) * 2018-12-03 2021-05-27 고려대학교 산학협력단 삼차원 동적 포인트 클라우드 압축방법
CN111327897B (zh) * 2018-12-13 2022-01-14 华为技术有限公司 点云编码方法和编码器
CN111327902B (zh) 2018-12-13 2022-11-22 华为技术有限公司 点云的编解码方法及装置
US11095900B2 (en) * 2018-12-19 2021-08-17 Sony Group Corporation Point cloud coding structure
US11039115B2 (en) * 2018-12-21 2021-06-15 Samsung Electronics Co., Ltd. Low complexity color smoothing of reconstructed point clouds
WO2020146341A1 (en) * 2019-01-07 2020-07-16 Futurewei Technologies, Inc. Point cloud bitstream structure and auxiliary information differential coding
KR102640235B1 (ko) * 2019-01-11 2024-02-23 삼성전자주식회사 3차원 데이터 부호화 방법 및 장치 및 3차원 데이터 복호화 방법 및 장치
US11190803B2 (en) * 2019-01-18 2021-11-30 Sony Group Corporation Point cloud coding using homography transform
CN113475093B (zh) * 2019-02-07 2024-03-22 交互数字Vc控股公司 用于处理点云的方法和装置
JP2022524130A (ja) * 2019-03-08 2022-04-27 ヴィド スケール インコーポレイテッド ポイントクラウドの適応ストリーミングの方法及び装置
CN111739111B (zh) * 2019-03-20 2023-05-30 上海交通大学 一种点云投影编码的块内偏移优化方法及系统
US11968393B2 (en) 2019-03-20 2024-04-23 Lg Electronics Inc. Point cloud data transmitting device, point cloud data transmitting method, point cloud data receiving device, and point cloud data receiving method
WO2020190097A1 (ko) * 2019-03-20 2020-09-24 엘지전자 주식회사 포인트 클라우드 데이터 수신 장치, 포인트 클라우드 데이터 수신 방법, 포인트 클라우드 데이터 처리 장치 및 포인트 클라우드 데이터 처리 방법
EP3926959A4 (en) * 2019-03-21 2022-03-23 LG Electronics Inc. POINT CLOUD DATA TRANSMITTER DEVICE, POINT CLOUD DATA TRANSMITTER METHOD, POINT CLOUD DATA RECEIVE DEVICE, AND POINT CLOUD DATA RECEIVE METHOD
WO2020235979A1 (ko) * 2019-05-23 2020-11-26 삼성전자 주식회사 포인트 클라우드 기반 데이터를 렌더링하는 방법 및 장치
WO2020256244A1 (ko) * 2019-06-21 2020-12-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
JP7307260B2 (ja) * 2019-07-03 2023-07-11 エルジー エレクトロニクス インコーポレイティド ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
US11158107B2 (en) 2019-10-03 2021-10-26 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN110730364B (zh) * 2019-10-14 2021-08-31 广州微算互联信息技术有限公司 一种云手机数据传输方法、装置及存储介质
CN114762356B (zh) * 2019-12-13 2024-06-11 索尼集团公司 图像处理装置和方法
US20220377302A1 (en) * 2019-12-20 2022-11-24 Interdigital Vc Holdings France A method and apparatus for coding and decoding volumetric video with view-driven specularity
WO2021206365A1 (ko) * 2020-04-11 2021-10-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
EP4131975A4 (en) * 2020-04-14 2023-11-22 LG Electronics, Inc. POINT CLOUD DATA TRANSMITTING APPARATUS, POINT CLOUD DATA TRANSMITTING METHOD, POINT CLOUD DATA RECEIVING APPARATUS, AND POINT CLOUD DATA RECEIVING METHOD
CN115474041B (zh) * 2021-06-11 2023-05-26 腾讯科技（深圳）有限公司 点云属性的预测方法、装置及相关设备
WO2023280129A1 (en) * 2021-07-04 2023-01-12 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for point cloud coding
EP4141794A1 (en) * 2021-08-31 2023-03-01 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of encoding/decoding point cloud geometry data sensed by at least one sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013161133A (ja) 2012-02-01 2013-08-19 Toshiba Plant Systems & Services Corp 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701028B1 (en) * 2000-01-11 2004-03-02 Applied Materials, Inc. Method and apparatus for fast signal convolution using spline kernel
US7236613B2 (en) * 2003-08-29 2007-06-26 The Boeing Company Methods and apparatus for infrared resolution of closely-spaced objects
WO2005025404A2 (en) * 2003-09-08 2005-03-24 Vanderbilt University Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery
US8042056B2 (en) * 2004-03-16 2011-10-18 Leica Geosystems Ag Browsers for large geometric data visualization
WO2009154644A1 (en) 2008-06-17 2009-12-23 Ntt Docomo, Inc. Image/video quality enhancement and super-resolution using sparse transformations
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US8525848B2 (en) * 2009-11-16 2013-09-03 Autodesk, Inc. Point cloud decimation engine
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
EP2598910A4 (en) * 2010-07-29 2014-06-25 Waikatolink Ltd APPARATUS AND METHOD FOR MEASURING DISTANCE AND / OR INTENSITY CHARACTERISTICS OF OBJECTS
GB201103822D0 (en) * 2011-03-07 2011-04-20 Isis Innovation System for providing locality information and associated devices
TWI538473B (zh) * 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
WO2013133648A1 (ko) 2012-03-07 2013-09-12 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
RU2013100160A (ru) 2013-01-09 2014-07-20 ЭлЭсАй Корпорейшн Обработка изображений со сверхразрешением с использованием обратимой разреженной матрицы
CN103761744B (zh) * 2014-02-21 2016-06-15 哈尔滨工业大学 通用型二维点云分组方法
EP2947630A1 (en) * 2014-05-23 2015-11-25 My Virtual Reality Software AS Method for compressing coordinate data
US9940727B2 (en) * 2014-06-19 2018-04-10 University Of Southern California Three-dimensional modeling from wide baseline range scans
US9836283B2 (en) * 2014-11-14 2017-12-05 Cavium, Inc. Compiler architecture for programmable application specific integrated circuit based network devices
CN106339208B (zh) * 2015-07-15 2019-12-13 腾讯科技（深圳）有限公司 一种多媒体信息弹窗的处理方法及设备
US10193904B2 (en) * 2015-07-16 2019-01-29 Qatar University Data-driven semi-global alignment technique for masquerade detection in stand-alone and cloud computing systems
CN105427239B (zh) * 2015-12-05 2018-05-22 刘忠艳 一种二维点云匹配方法
US10043305B2 (en) * 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
CN106228570B (zh) * 2016-07-08 2019-04-09 百度在线网络技术（北京）有限公司 一种真值数据确定方法和装置
US10417533B2 (en) * 2016-08-09 2019-09-17 Cognex Corporation Selection of balanced-probe sites for 3-D alignment algorithms
US20180053324A1 (en) * 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for Predictive Coding of Point Cloud Geometries
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US20190116372A1 (en) * 2017-10-16 2019-04-18 Mitsubishi Electric Research Laboratories, Inc. Systems and Methods for Compressing, Representing and Processing Point Clouds

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013161133A (ja) 2012-02-01 2013-08-19 Toshiba Plant Systems & Services Corp 三次元データ処理装置、三次元データ処理プログラムおよび三次元データ処理方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Daribo ET AL:"Point cloud compression for grid-pattern-based 3D scanning system", 2011 Visual Communications and Image Processing (VCIP) ]공개일:2011.11.06
J.E.Castillo ET AL:"A practical guide to direct optimization for planar grid-generation", Computers &Mathematics with Applications, Volume 37, Issue 9, May 1999, Pages 123-156 ]공개일:1999.05.01
Tim Golla ET AL:"Real-time point cloud compression", 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) ]공개일:2015.09.28

Also Published As

Publication number Publication date
KR20180122947A (ko) 2018-11-14
JP7166782B2 (ja) 2022-11-08
BR102018009143A2 (pt) 2019-03-19
MX2018005496A (es) 2018-11-09
CN108810571B (zh) 2022-04-05
JP2018198421A (ja) 2018-12-13
RU2762005C2 (ru) 2021-12-14
RU2018115810A3 (ko) 2021-06-23
CN108810571A (zh) 2018-11-13
EP3399758B1 (en) 2020-09-16
EP3399758A1 (en) 2018-11-07
EP3399757A1 (en) 2018-11-07
US11122101B2 (en) 2021-09-14
RU2018115810A (ru) 2019-10-30
US20180324240A1 (en) 2018-11-08
CA3003608A1 (en) 2018-11-04

Similar Documents

Publication Publication Date Title
KR102627189B1 (ko) 2차원 포인트 클라우드들을 인코딩 및 디코딩하기 위한 방법 및 장치
JP7359153B2 (ja) 画像処理装置および方法
JPWO2019198523A1 (ja) 画像処理装置および方法
JP2021529482A (ja) 点群符号化方法、点群復号化方法、符号器、及び復号器
US11019363B2 (en) Method and device for encoding a point cloud
TWI590662B (zh) 解碼器及解碼方法
WO2021065536A1 (ja) 情報処理装置および方法
KR20140071339A (ko) 계층화된 신호 품질 계층에서의 재구성 데이터의 송신
JP7424299B2 (ja) 画像処理装置および方法
US20220014767A1 (en) Bit plane encoding of data arrays
WO2019142665A1 (ja) 情報処理装置および方法
JP2015505389A (ja) 重複点を伴う空間木に基づく位置符号化
JP2021531548A (ja) 点群のジオメトリを符号化／復号する方法及び装置
JP2022508245A (ja) 文脈的区分化および処理のためのブロックベースのピクチャ融合
WO2021029226A1 (ja) 情報処理装置および方法
WO2021193088A1 (ja) 画像処理装置および方法
KR101484101B1 (ko) 동영상 변환 장치
JP2022063882A (ja) 情報処理装置および方法、並びに、再生装置および方法
WO2020262020A1 (ja) 情報処理装置および方法
US20240087174A1 (en) Coding and decoding point cloud attribute information
Li et al. Background Knowledge
KR20240093534A (ko) 메시 압축을 위한 변위 코딩
KR20240089246A (ko) 하이브리드 딥 엔트로피 코딩을 사용한 포인트 클라우드 압축 방법 및 장치
KR20240090790A (ko) 메시 압축을 위한 적응형 지오메트리 필터링
WO2023113917A1 (en) Hybrid framework for point cloud compression

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant