KR20190089115A - 포인트 클라우드 압축 방법 및 장치 - Google Patents

포인트 클라우드 압축 방법 및 장치 Download PDF

Info

Publication number
KR20190089115A
KR20190089115A KR1020180007419A KR20180007419A KR20190089115A KR 20190089115 A KR20190089115 A KR 20190089115A KR 1020180007419 A KR1020180007419 A KR 1020180007419A KR 20180007419 A KR20180007419 A KR 20180007419A KR 20190089115 A KR20190089115 A KR 20190089115A
Authority
KR
South Korea
Prior art keywords
point cloud
segmentation
point
dimensional image
image
Prior art date
Application number
KR1020180007419A
Other languages
English (en)
Other versions
KR102519653B1 (ko
Inventor
우지환
유성열
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180007419A priority Critical patent/KR102519653B1/ko
Priority to PCT/KR2019/000752 priority patent/WO2019143174A1/ko
Priority to US16/963,374 priority patent/US11317074B2/en
Publication of KR20190089115A publication Critical patent/KR20190089115A/ko
Application granted granted Critical
Publication of KR102519653B1 publication Critical patent/KR102519653B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시는 센서 네트워크(Sensor Network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication) 및 사물 인터넷(Internet of Things, IoT)을 위한 기술과 관련된 것이다. 본 개시는 상기 기술을 기반으로 하는 지능형 서비스(스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 활용될 수 있다.
본 개시의 실시 예에 따른 방법은, 포인트 클라우드 압축 방법에 있어서, 3차원 이미지를 입력 받아 상기 3차원 이미지에 포함된 포인트 클라우드를 확인하는 과정; 상기 포인트 클라우드에서 중심 포인트의 주변에 위치하는 적어도 하나의 포인트를 기반으로 하여 세그먼테이션 관련 정보를 획득하는 과정; 및 상기 세그먼테이션 관련 정보를 기반으로 하여 상기 적어도 하나의 포인트에 대해 세그먼테이션 그룹핑을 수행하는 과정을 포함한다.

Description

포인트 클라우드 압축 방법 및 장치{APPARATUS AND METHOD FOR POINT CLOUD COMPRESSION}
본 개시는 포인트 클라우드 압축 방법 및 장치에 관한 것이다.
인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 사물인터넷(Internet of Things, IoT) 망으로 진화하고 있다. IoE(Internet of Everything) 기술은 클라우드 서버 등과의 연결을 통한 빅데이터 (Big data) 처리 기술 등이 IoT 기술에 결합된 하나의 예가 될 수 있다.
IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술 등과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC (Machine Type Communication) 등의 기술이 연구되고 있다.
IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
한편, 멀티미디어 관련 국제 표준화 기구인 MPEG(Moving Picture Experts Group)은 1988년 MPEG-1을 시작으로 현재까지, MPEG-2, MPEG-4, MPEG-7, MPEG-21의 표준화 작업을 진행하고 있다. 또한 멀티미디어 응용 형식(Multimedia Application Format, MAF)은 기존의 MPEG 표준들뿐만 아니라, 비 MPEG 표준들을 함께 사용하여, 산업의 요구를 적극적으로 대응하여 표준의 활용 가치를 높이고자 한다. 상기 MAF 표준화의 주요 목적은 MPEG 기술을 쉽게 산업에서 이용 할 수 있는 기회를 제공하는데 있다. 즉, MAF 표준화의 주요 목적은 특정한 어플리케이션을 위한 표준화된 파일 포맷을 제공함으로써, 해당 어플리케이션의 범용적인 사용 및 MPEG 표준의 보급 등을 목적으로 한다.
한편, 대용량의 3차원 데이터는 포인트 클라우드(point cloud)로 표현되며, 포인트 클라우드는 방대한 양의 포인트의 집합을 의미한다. 포인트 클라우드는 2D 영상과는 비교되는 값으로, 3차원 상의 한 점을 표현하는 방법이고, 위치 좌표와 색상을 동시에 가지는 벡터 형태이다. 예를 들어, 포인트 클라우드는 (x, y, z, R, G, B)와 같이 표현될 수 있다.
3차원 데이터를 표현하는 포인트 클라우드는 상당량의 메모리 리소스를 차지하기 때문에 포인트 클라우드 압축 방법이 요구된다. 그러나 일반적인 포인트 클라우드 압축 방법은 새로운 코덱을 생성하고 확산하는데 시간이 많이 필요하기 때문에 기존의 코덱(예컨대, 2차원 비디오 압축 방식)을 활용하는 효율적인 방법이 요구되고 있다.
본 개시는 기존의 코덱을 활용하고 기존의 네트워크를 활용하여 효율적으로 포인트 클라우드 압축을 위한 방법 및 장치를 제공한다.
본 개시는 효율적인 모션 추정을 위한 방법 및 장치를 제공한다.
본 개시의 실시 예에 따른 방법은, 포인트 클라우드 부호화 방법에 있어서, 3차원 이미지를 입력 받아 상기 3차원 이미지에 포함된 포인트 클라우드를 세그먼트 단위로 압축하는 과정; 상기 압축된 3차원 이미지를 2차원 이미지 기반의 프로젝션을 수행하는 과정; 상기 프로젝션된 2차원 이미지를 2차원 이미지 기반의 패킹을 수행하는 과정; 상기 패킹된 2D 이미지를 부호화하는 과정을 포함하고, 상기 세그먼트 단위로 압축하는 것은 속성 정보를 기반으로 수행된다.
본 개시의 실시 예에 따른 방법은, 포인트 클라우드 압축 방법에 있어서, 3차원 이미지를 입력 받아 상기 3차원 이미지에 포함된 포인트 클라우드를 확인하는 과정; 상기 포인트 클라우드에서 중심 포인트의 주변에 위치하는 적어도 하나의 포인트를 기반으로 하여 세그먼테이션 관련 정보를 획득하는 과정; 및 상기 세그먼테이션 관련 정보를 기반으로 하여 상기 적어도 하나의 포인트에 대해 세그먼테이션 그룹핑을 수행하는 과정을 포함한다.
본 개시의 실시 예에 따른 장치는, 포인트 클라우드 압축 장치에 있어서, 3차원 이미지를 입력 받아 상기 3차원 이미지에 포함된 포인트 클라우드를 확인하고, 상기 포인트 클라우드에서 중심 포인트의 주변에 위치하는 적어도 하나의 포인트를 기반으로 하여 세그먼테이션 관련 정보를 획득하고; 및 상기 세그먼테이션 관련 정보를 기반으로 하여 상기 적어도 하나의 포인트에 대해 세그먼테이션 그룹핑을 수행하는 제어부를 포함한다.
본 개시는 포인트 클라우드를 통해 효율적으로 압축할 수 있다.
본 개시는 포인트 클라우드의 개수를 줄여 포인트 클라우드 압축을 수행할 수 있다.
본 개시는 오브젝트 전체에 대해 서치를 수행하지 않고 해당 세그먼트 단위로 서치함으로써 세그먼트 단위로 매칭 범위를 제한할 수 있다.
본 개시는 3D 공간에 존재하는 정적/동적 데이터(예: 색상, 반사율 등의 기타 속성)에 대한 효율적인 포인트 클라우드 압축을 수행할 수 있다.
본 개시는 새로운 코덱을 개발하지 않더라도 기존의 2D 비디오 압축 방식을 사용하여 기존의 네트워크를 활용함으로써 비용을 절감할 수 있다.
본 개시는 저장 공간, 전송 시간, 및 하드웨어 비용을 절감할 수 있다.
본 개시는 그 밖에, 본 개시에서 얻을 수 있는 효과는 언급한 효과들로 제한되지 않으며, 언급하지 않은 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.
도 1a, 1b는 본 개시의 일 실시 예에 따른 포인트 클라우드 압축을 위한 송신기의 시스템을 나타낸 도면;
도 2a는 본 개시의 일 실시 예에 따른 사용자의 시선 위치에 따른 포인트 클라우드 샘플링 레이트 변화를 나타낸 도면;
도 2b는 본 개시의 일 실시 예에 따른 voxelization 처리의 일 예를 도시한 도면;
도 2c는 본 개시의 일 실시 예에 따른 세그먼테이션 처리의 일 예를 도시한 도면;
도 3a, 3b는 본 개시의 일 실시 예에 따른 포인트 클라우드 압축 해제를 위한 수신기의 시스템을 나타낸 도면;
도 4는 본 발명의 일 실시 예에 따른 송신기의 동작을 나타내는 흐름도;
도 5는 본 발명의 다른 실시 예에 따른 송신기의 동작을 나타내는 흐름도;
도 6은 본 개시의 일 실시 예에 따른 멀티 프레임일 경우, 포인트 클라우드 압축 장치의 일 예를 도시한 도면;
도 7은 본 개시의 일 실시 예에 따른 멀티 프레임일 경우, 포인트 클라우드 압축 장치의 다른 일 예를 도시한 도면;
도 8은 본 개시의 일 실시 예에 따른 멀티 프레임일 경우, 포인트 클라우드 압축 장치의 또 다른 일 예를 도시한 도면;
도 9는 본 개시의 일 실시 예에 따른 멀티 프레임일 경우, 포인트 클라우드 압축 장치의 또 다른 일 예를 도시한 도면;
도 10은 본 개시의 일 실시 예에 따른 모션 추정 방법을 도시한 도면; 및
도 11은 본 개시의 일 실시 예에 따른 모션 추정 방법을 나타낸 흐름도.
이하, 첨부된 도면들을 참조하여 본 개시의 실시 예를 상세하게 설명한다. 하기에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 개시의 자세한 설명에 앞서, 본 명세서에서 사용되는 몇 가지 용어들에 대해 해석 가능한 의미의 예를 제시한다. 하지만, 아래 제시하는 해석 예로 한정되는 것은 아님을 주의하여야 한다. 본 개시의 자세한 설명에 앞서, 본 명세서에서의 오브젝트(object)는 3차원 공간상의 물체를 의미한다. 본 명세서에서 3차원 데이터는 예컨대, 위치(x, y, z)와 속성(R, G, B, I(밝기 값), 반사율(Reflectance) 등으로 구성됨을 가정한다. 3차원 데이터는 (x, y)위치에 z 좌표가 밝기 값으로 표현될 수 있다.
본 명세서에서의 세그먼트는 이웃하는 프레임 사이에 노말(normal) 정보, 색상, 모양, 텍스쳐, 반사율 등 다양한 속성을 가진 컨텍스트들이 유지되는 것을 의미한다.
도 1a, 1b는 본 개시의 일 실시 예에 따른 포인트 클라우드 압축을 위한 송신기의 시스템을 나타낸다.
송신기는 3D 이미지와 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다. 여기서 3D 이미지는 동적 이미지 및 정적 이미지 중 적어도 하나를 지칭할 수 있다.
송신기는 도 1a를 참조하면, 3D 이미지 생성 또는 수신부(110), 세그먼테이션 처리 관리부(120), 2D 이미지 프로젝션 처리부(130), 2D 이미지 영역 패킹 처리부(140), 인코더(150), 캡슐화 처리부(160) 등을 포함한다. 도 1a의 송신기는 도 1b의 송신기로 나타낼 수 있다. 도 1b의 missing points patch 처리부(195)는 프로젝션 이후 남아있는 missing point에 대해서는, 트리(tree) 기반 혹은 이미지를 다시 프로텍션하는 방법 등을 활용한다.
도 1a의 세그먼테이션 처리 관리부(120)는 도 1b의 참조번호 175의 구성요소와 동일하다. 따라서, 도 1b의 구성요소의 상세한 설명은 생략하기로 한다.
상기 3D 이미지 생성 또는 수신부(110)는 3D 이미지를 생성하거나 또는 네트워크로부터 수신하거나 또는 사용자의 입력을 받아서 처리한다. 송신기는 가능한 실시 예로써, 여러 방향에서 촬영된 다수의 카메라들로부터의 이미지들을 이어 붙여(stitching) 3D 이미지를 생성할 수 있다. 송신기는 가능한 실시 예로써, 이미 만들어진 3D 이미지에 관한 데이터를 외부로부터 수신할 수도 있다. 이때, 3D 이미지는 구(sphere), 육면체(cube), 원통, 또는 8면체(octahedron) 중 어느 하나의 형태로 렌더링될 수 있으나, 서술된 3D 이미지의 형태는 예시적인 것이 불과하며, 해당 기술분야에서 이용 가능한 다양한 형태의 3D 이미지가 생성 또는 수신될 수 있음은 물론이다.
상기 세그먼테이션 처리 관리부(120)는 LoD 결정부(121), voxelization 처리부(123), 세그먼테이션 처리부(125) 등을 포함한다.
여기서, LoD 결정부(121), voxelization 처리부(123)는 도 1a에서는 세그먼테이션 처리부(125) 앞에 배치되도록 기재하였지만, 2D 이미지 프로젝션 처리부(130)의 전 또는 후에 배치될 수도 있고, 2D 이미지 영역 패킹 처리부(140)의 전 또는 후에 배치될 수도 있음은 물론이다.
상기 LoD 결정부(121)는 수신된 3D 이미지에 대해 LoD(level of Detail) 값을 결정하고, 상기 결정된 LoD 값을 기반으로 하여 도 2에 기재된, voxel의 크기인 L 값을 결정한다. 상기 LoD 값은 "정밀도"로 나타낼 수 있다. 상기 L 값은 설정된 값이 될 수도 있다. 만약, LoD 값이 0인 경우, Voxelization 처리부(123)의 동작 없이 바로 상기 세그먼테이션 처리부(125)의 동작이 수행될 수 있다.
상기 LoD 결정부(121)는 가능한 실시 예로써, 포인트 클라우드 캡쳐링 상황에서 대역폭을 확인하고, 확인된 대역폭에 따라 LoD 값을 결정할 수 있다.
또한 상기 LoD 결정부(121)는 가능한 실시 예로써, 사용자의 관심 위치(또는 사용자가 바라보는 공간 또는 사용자의 시선 위치(즉, 사용자가 바라보는 위치에서부터 오브젝션까지의 거리))에 따라 LoD 값을 결정할 수 있다.
본 개시의 실시 예에서의 LoD 값은 상기 시선 위치 또는, 상기 대역폭, 또는 상기 시선 위치 또는 상기 대역폭에 상응하는 정보를 고려하여 결정하고, 실시 예들에 따라 다양한 형태로 변형할 수 있음은 물론이다.
또한 조건에 따라서 L 값을 크게 하여 큰 박스를 만들 수도 있고, 조건에 따라서 L 값을 작게 하여 작은 박스를 생성할 수도 있음은 물론이다. 여기서 조건은 상기 시선 위치, 상기 대역폭 등으로 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있음은 물론이다.
도 2a는 본 개시의 일 실시 예에 따른 사용자의 시선 위치에 따른 포인트 클라우드 샘플링 레이트 변화를 나타낸 도면이다. 예컨대, 도 2a를 참조하면 사용자가 바라보는 위치에서부터 오브젝션까지의 거리가 멀어질수록 L 값을 크게 설정하고, 사용자가 바라보는 위치에서부터 오브젝션까지의 거리가 짧을수록 L 값을 작게 설정하지만, 반드시 이에 한정되는 것은 아니다.도 2b는 본 개시의 일 실시 예에 따른 voxelization 처리의 일 예를 도시한 도면이다.
예컨대, 하나의 정육면체를 일 예로, 8개의 Voxel로 나누는 과정을 voxelization 처리 과정이라 칭한다.
상기 voxelization 처리부(123)는 복셀화(voxelization) 처리 과정을 수행한다. 즉, 상기 voxelization 처리부(123)는 도 2b에 도시된 일 예와 같이, 하나의 정육면체를 8개의 Voxel로 나누고, 압축 효율을 높이기 위해서 포인트 클라우드의 개수를 줄이는 역할을 수행한다.
위치를 기반으로 하여 포인트 클라우드의 개수를 줄이는 방법은 다음과 같지만, 반드시 이에 한정되는 것은 아니다.
1) 2개의 포인트 클라우드(200)를 하나의 포인트 클라우드로 줄이는 실시 예로써, 하나의 Voxel의 중심에 놓여 있는 포인트 클라우드를 새로운 포인트 클라우드로 생성하고, 기존의 포인트 클라우드 2개는 삭제한다.
2) 2개의 포인트 클라우드(200)를 하나의 포인트 클라우드로 줄이는 다른 실시 예로써, 하나의 Voxel 내에 놓여 있는 2개의 포인트 클라우드를 합치고 평균하여 새로운 점을 생성하고, 기존의 포인트 클라우드 2개는 삭제한다. 여기서, 상기 평균은 일반적인 평균(예컨대, 가중 평균, 통상적인 평균 등)이라면 모두 적용 가능한 것은 물론이다.
3) 중심 포인트 주변에 있는 점들의 위치 정보를 이용하여 2개의 포인트 클라우드에 중간값 또는 랜덤값을 적용하여 새로운 점을 생성하고 기존의 포인트 클라우드 2개는 삭제한다.
새롭게 결합된(생성된) 포인트 클라우드의 색상은 아래 1), 2) 중 하나에 의해 결정할 수 있지만, 반드시 이에 한정되는 것은 아니다.
1) 새롭게 결합된 포인트 클라우드의 색상은 2개의 포인트 클라우드(210)의 색상의 평균(중간 색상)으로 결정한다.
2) 새롭게 결합된 포인트 클라우드의 색상은 새로운 포인트 클라우드와 기존의 포인트 클라우드의 위치에 따라 가중 평균 또는 통상적인 평균하여 결정한다.
상기 세그먼테이션 처리부(125)는 하나의 Voxel 내의 중심 포인트의 주변에 위치하는 하나 또는 그 이상의 포인트를 이용하여 세그먼테이션 관련 정보를 획득하고, 상기 획득된 세그먼테이션 관련 정보를 이용하여 세그먼테이션을 수행한다. 여기서 세그먼테이션 관련 정보는 색상(color), 텍스쳐(texture), 위치, 노말(normal) 정보, 및 기타 속성 정보 중 적어도 하나를 포함한다. 여기서 텍스쳐는 패턴과 관련된 정보를 의미하고, 노말 정보는 평면과 관련된 정보를 의미한다. 예컨대, 노말 정보는 평면인지 아닌지 여부를 나타내는 정보를 의미한다.
도 2c는 본 개시의 일 실시 예에 따른 세그먼테이션 처리의 일 예를 도시한 도면이다.
상기 세그먼테이션 처리부(125)는 세그먼테이션을 수행할 때, 비트를 할당한다. 이때, 세그먼트에는 그룹핑된 포인트 클라우드들이 있다. 여기서, 세그먼테이션 결과로 생성된 복수의 세그먼트들 중 세그먼트 1(220)은 예컨대, [RGBXYZ]1 [RGBXYZ]2[RGBXYZ]3 [RGBXYZ]4 [RGBXYZ]5 와 같이 나타낼 수 있고, 세그먼트 2(230)는 예컨대, [RGBXYZ]6 [RGBXYZ]7[RGBXYZ]8 와 같이 나타낼 수 있다.
세그먼트 1(220)과 세그먼트 2(230) 사이에, 세그먼트를 대표하는 운동(모션 정보)이나, 세그먼트를 대표하는 색상, 세그먼트를 대표하는 텍스쳐, 세그먼트에 관한 정보를 저장하고, 저장된 정보들은 모션 추정에 활용된다. 상기 세그먼트를 대표하는 정보는 운동(모션 정보), 색상, 텍스쳐, 세그먼트에 관한 정보 등이 있으며, 반드시 이에 한정되는 것은 아니다. 또한 상기 세그먼트를 대표하는 정보는 모두 저장 가능함은 물론이다. 본 개시의 일 실시 예에서는 멀티 프레임에서 시간적으로 연속하는 프레임 뿐만 아니라 이웃하는 프레임에도 적용 가능하다.
상기 2D 이미지 프로젝션 처리부(130)는 3D 이미지를 2D 이미지로 프로젝션 처리한다. 3D 이미지를 2D 이미지로 프로젝션하기 위해, ERP(equirectangular projection), OHP(octahedron projection), 실린더 프로젝션, 큐브 프로젝션 및 해당 기술분야에서 이용 가능한 다양한 프로젝션 방법들 중 어느 하나가 이용될 수 있다.
상기 2D 이미지 영역 패킹 처리부(140)는 프로젝션된 2D 이미지를 패킹(packing) 처리한다. 패킹은 프로젝션된 2D 이미지를 구성하는 복수의 영역들 중 적어도 일부를, 변형 및/또는 재배치하여, 새로운 2D 이미지(즉, 패킹된 2D 이미지)를 생성하는 것을 의미할 수 있다. 여기서, 영역의 변형은 영역의 리사이징(resize), 형태 변환(transforming), 회전 및/또는 재-샘플링(re-sampling)(예를 들어, 업샘플링, 다운샘플링, 영역 내의 위치에 따른 차등 샘플링)등을 의미할 수 있다. 이러한 패킹 방식은 영역별(region-wise) 패킹으로 지칭될 수 있다.
상기 인코더(150)는 패킹된 2D 이미지를 인코딩한다. 가능한 실시 예로써, 상기 인코더(150)는 패킹된 2D 이미지의 복수의 영역들 중 둘 이상의 영역들에 대하여 인코딩할 수 있다. 가능한 실시 예로써, 패킹된 2D 이미지 전체에 대하여 인코딩할 수 있다. 인코더(150)는 기존에 알려진 2D 이미지에 대한 인코딩 방식을 이용하여 인코딩할 수 있다.
모든 프레임의 인코딩 과정 이후에는 팽창 방법이 적용될 수 있다.
상기 캡슐화 처리부(160)는 인코딩된 데이터를 캡슐화(encapsulation) 처리한다. 캡슐화는 인코딩된 데이터를 분할하고, 분할물들에 헤더를 부가하는 등의 프로세싱을 통해 정해진 전송 프로토콜에 따르도록 인코딩된 데이터를 가공하는 것을 의미할 수 있다. 송신기는 캡슐화된 데이터를 전송할 수 있다. 송신기는 캡슐화된 데이터와 함께, 또는 데이터와 개별적으로 데이터와 관련된 추가적인 데이터, 데이터를 재생하기 위해 필요한 데이터(예를 들어, 메타데이터)를 전송할 수 있다.
송신기에서의 데이터의 전송은 MMT(MPEG Media Transport) 또는 DASH (Dynamic Adaptive Streaming over HTTP)를 따를 수 있으나, 반드시 이에 한정되는 것은 아니다.
도시되지는 않았으나, 송신기는 이미지에 관련된 데이터 이외에도 오디오에 관한 데이터를 수신기로 송신할 수 있다.
도 3a, 3b는 본 개시의 일 실시 예에 따른 포인트 클라우드 압축 해제를 위한 수신기의 시스템을 나타낸다.
도 3a, 3b는 도 1a, 도 1b의 역동작을 도시한 도면이다. 수신기는 이외에도 3D 이미지에 관한 데이터를 수신하여 이를 재생할 수 있는 모든 종류의 디바이스를 지칭할 수 있다.
수신기는 캡슐화 해제 처리부(310), 디코더(320), 패킹 해제 처리부(330), 3D 이미지 프로젝션 처리부(340), 3D 업데이트 처리부(350), 디스플레이부(360) 등을 포함한다.
도 3a의 수신기는 도 3b의 수신기로 나타낼 수 있다. 도 3a의 3D 업데이트 처리부(350)는 도 3b의 참조번호 375의 구성요소와 동일하다. 따라서, 도 3b의 구성요소의 상세한 설명은 생략하기로 한다.
수신기는 송신기로부터 전송된 3D 이미지에 관한 데이터를 수신할 수 있다.
캡슐화 해제 처리부(310)는 수신된 수신된 데이터에 대하여 캡슐화 해제(decapsulation) 과정을 수행한다.
캡슐화 해제 과정을 통하여, 도 1a에서의 인코더(150)의 동작을 통해 생성된 인코딩된 데이터가 획득될 수 있다.
디코더(320)는 캡슐화 해제된 데이터에 대하여 디코딩을 수행한다. 디코더(320)의 동작을 통해 패킹된 2D 이미지가 복원될 수 있다.
상기 패킹 해제 처리부(330)는 디코딩된 데이터(즉, 패킹된 2D 이미지)에 대하여 패킹 해제(unpacking)를 수행한다. 패킹 해제를 통해 도 1에서의 2D 이미지 프로젝션 처리부(130)를 통해 생성된 2D 이미지가 복원될 수 있다. 패킹 해제를 수행하는 것은 도 1a에서의 2D 이미지 영역 패킹 처리부(140)에서 수행된 프로젝션된 2D 이미지의 복수의 영역에 대한 변형 및/또는 재배치의 역변환이 수행될 수 있다. 이를 위해 패킹(130)의 방법에 대하여 송신기와 수신기는 미리 공유할 수 있다.
상기 3D 이미지 프로젝션 처리부(340)는 패킹 해제된 2D 이미지를 3D 이미지로 프로젝션 처리한다. 상기 3D 이미지 프로젝션 처리부(340)는 2D 이미지를 3D 이미지로 프로젝션하기 위해 도 1a에서 2D 이미지로 프로젝션하기 위해 사용된 프로젝션의 역의 프로젝션을 사용할 수 있으나, 반드시 이에 한정되는 것은 아니다. 수신기는 패킹 해제된 2D 이미지를 3D 이미지로 프로젝션하여 3D 이미지를 생성할 수 있다.
상기 3D 업데이트 처리부(350)는 2D 이미지를 다시 3D 이미지로 복원한다. 상기 3D 업데이트 처리부(350)에서의 3D 업데이트 과정은 도 1a의 세그먼테이션 처리 관리부(120)를 통해 생성된 세그먼테이션된 3D 이미지를 복원한다. 즉, 영상의 (x, y) 위치에 z 좌표가 밝기 값으로 저장되어 있을 경우, 상기 저장된 정보를 활용해서 3D 이미지로 복원할 수 있다.
상기 디스플레이부(360)는 업데이트된 3D 이미지의 적어도 일부를 디스플레이 장치를 통해 디스플레이한다. 예를 들어, 상기 디스플레이부(360)는 3D 이미지 중, 현재의 FOV(field of view)에 대응하는 데이터를 추출하여 렌더링할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 송신기의 동작을 나타내는 흐름도이다.
도 4의 동작은 도 1a의 세그먼테이션 처리 관리부(120)의 동작 중 세그먼테이션 처리부(125) 동작에 해당한다. 즉, 도 4의 동작은 LoD 결정부(121) 및 voxelization 처리부(123)가 없는 경우의 세그먼테이션 처리 관리부(120)의 동작을 의미한다.
먼저, 송신기는 401 단계에서 3D 이미지 또는 3D 데이터를 표현하는 포인트(포인트 클라우드의 포인트)를 확인한다.
송신기는 403 단계에서 확인된 포인트 즉, 중심 포인트의 주변에 위치하는 하나 또는 그 이상의 포인트를 이용하여 세그먼테이션 관련 정보를 획득한다. 여기서 세그먼테이션 관련 정보는 색상, 텍스쳐, 위치, 노말 정보, 및 기타 속성 정보 중 적어도 하나를 포함한다.
송신기는 405 단계에서 세그먼테이션 관련 정보를 이용하여 세그먼테이션을 수행한다. 여기서, 세그먼테이션 결과로 생성된 복수의 세그먼트들 중 세그먼트 1(220)은 예컨대, 도 2c와 같이, [RGBXYZ]1 [RGBXYZ]2[RGBXYZ]3 [RGBXYZ]4 [RGBXYZ]5 와 같이 나타낼 수 있고, 세그먼트 2(230)는 예컨대, 도 2c와 같이, [RGBXYZ]6 [RGBXYZ]7[RGBXYZ]8 와 같이 나타낼 수 있다. 세그먼트 1(220)과 세그먼트 2(230) 사이에, 세그먼트를 대표하는 운동(모션 정보)이나, 세그먼트를 대표하는 색상, 세그먼트를 대표하는 텍스쳐, 세그먼트에 관한 정보를 저장하고, 저장된 정보들은 모션 추정에 활용된다. 상기 세그먼트를 대표하는 정보는 운동(모션 정보), 색상, 텍스쳐, 세그먼트에 관한 정보 등이 있으며, 반드시 이에 한정되는 것은 아니다. 또한 상기 세그먼트를 대표하는 정보는 모두 저장 가능함은 물론이다.
도 5는 본 발명의 다른 실시 예에 따른 송신기의 동작을 나타내는 흐름도이다.
도 5의 동작은 도 1a의 세그먼테이션 처리 관리부(120)의 동작 중 세그먼테이션 처리부(125) 동작에 해당한다. 즉, 도 4의 동작은 LoD 결정부(121) 및 voxelization 처리부(123)가 있는 경우의 세그먼테이션 처리 관리부(120)의 동작을 의미한다.
먼저, 송신기는 501 단계에서 수신된 3D 이미지를 기반으로 하여 LoD(level of Detail)를 결정한다. LoD는 사용자의 관심 위치(또는 사용자가 바라보는 공간 또는 사용자가 바라보는 부분)에 따라 결정할 수 있다. 예컨대, 사용자가 바라보는 부분이 많으면 LoD를 크게 설정하고, 사용자가 바라보는 부분이 적으면 LoD를 작게 설정한다. 예컨대, 사용자가 바라보는 공간으로부터 거리가 멀어질수록 L의 크기를 크게 설정하고, 사용자가 바라보는 공간으로부터 거지가 짧을수록 L의 크기를 작게 설정하지만, 반드시 이에 한정되는 것은 아니다.
송신기는 503 단계에서 LoD 값을 기반으로 하여 voxel의 크기인 L을 결정한다. L값은 설정된 값이 될 수도 있다.
송신기는 505 단계에서 일 예로, 하나의 정육면체를 8개의 Voxel로 나누고, 압축 효율을 높이기 위해서 포인트 클라우드의 개수를 줄이는 voxelization 과정을 수행한다.
송신기는 507 단계에서 하나의 Voxel 내의 중심 포인트의 주변에 위치하는 하나 또는 그 이상의 포인트를 이용하여 세그먼테이션 관련 정보를 획득한다. 여기서 세그먼테이션 관련 정보는 색상(color), 텍스쳐(texture), 위치, 노말(normal) 정보, 및 기타 속성 정보 중 적어도 하나를 포함한다. 그리고 송신기는 507 단계에서 세그먼테이션 관련 정보를 이용하여 세그먼테이션을 수행한다. 여기서, 세그먼테이션 결과로 생성된 복수의 세그먼트들 중 세그먼트 1(220)은 예컨대, 도 2c와 같이, [RGBXYZ]1 [RGBXYZ]2[RGBXYZ]3 [RGBXYZ]4 [RGBXYZ]5 와 같이 나타낼 수 있고, 세그먼트 2(230)는 예컨대, 도 2c와 같이, [RGBXYZ]6 [RGBXYZ]7[RGBXYZ]8 와 같이 나타낼 수 있다. 세그먼트 1(220)과 세그먼트 2(230) 사이에, 세그먼트를 대표하는 운동(모션 정보)이나, 세그먼트를 대표하는 색상, 세그먼트를 대표하는 텍스쳐, 세그먼트에 관한 정보를 저장하고, 저장된 정보들은 모션 추정에 활용된다. 상기 세그먼트를 대표하는 정보는 운동(모션 정보), 색상, 텍스쳐, 세그먼트에 관한 정보 등이 있으며, 반드시 이에 한정되는 것은 아니다. 또한 상기 세그먼트를 대표하는 정보는 모두 저장 가능함은 물론이다.
도 1 내지 도 5는 프레임이 하나의 프레임일 경우의 실시 예를 나타낸다. 도 6 내지 도 11은 프레임이 멀티 프레임일 경우의 실시 예를 나타낸다. 도 6 내지 도 9는 멀티 프레임을 고려하기 때문에 도 1a, 1b에서 모션 추정부, 모션 보상부, Residual calculation 처리부 등이 더 추가된 것임을 알 수 있다.
도 6은 본 개시의 일 실시 예에 따른 멀티 프레임일 경우 포인트 클라우드 압축 장치의 일 예를 도시한 도면이다. 특히 도 6은 3D 이미지를 2D 이미지로 프로젝션한 경우, 2D 모션 추정부(610)를 통해 2D 모션 추정의 경우를 나타낸다. 2D 모션 추정부(610)의 입력은 일 예로 연속하는 두 프레임 사이의 모든 픽셀을 나타내고, 2D 모션 추정부(610)의 출력은 일 예로 연속하는 두 프레임 사이의 2D 변형 & 회전(Translation & Rotation)을 나타낸다.
도 6의 Residual calculation 처리부(620)는 2D 모션 추정 및 모션 보상 처리 이후, 기존의 값과 업데이트된 값의 차이(즉, 변경된 부분)를 확인한다. 이는 멀티 프레임에서 각 프레임간 변경된 부분을 압축함으로써 효율적으로 압축하기 위함이다. 참고로, 도 6에서 input point cloud frame은 t1(업데이트된 값)을 의미하고, 도 6에서 reference 2D projected goemetry 및 reference 2D projected color는 t0(기존의 값)을 의미한다.
도 7은 본 개시의 일 실시 예에 따른 멀티 프레임일 경우 포인트 클라우드 압축 장치의 다른 일 예를 도시한 도면이다. 특히 도 7은 3D 모션 추정부(710)를 통해 3D 모션 추정의 경우를 나타낸다. 3D 모션 추정부(710)의 입력은 일 예로 연속하는 두 프레임 사이의 모든 포인트 클라우드를 나타내고, 3D 모션 추정부(710)의 출력은 일 예로 연속하는 두 프레임 사이의 3D Translation & Rotation을 나타낸다.
도 7의 참조번호 720이 나타내는 값은 3D 모션 추정 및 모션 보상 처리 이후, 기존 값과 업데이트된 값의 차이(즉, 변경된 부분)를 나타낸다.
참고로, 도 7에서 input point cloud frame은 t1(업데이트된 값)을 의미하고, 도 7에서 reference point cloud frame는 t0(기존의 값)을 의미한다.
도 8은 본 개시의 일 실시 예에 따른 멀티 프레임일 경우 포인트 클라우드 압축 장치의 또 다른 일 예를 도시한 도면이다. 특히 도 8은 3D 모션 추정부(810)를 통해 3D 모션 추정의 경우를 나타낸다. 3D 모션 추정부(810)의 입력은 일 예로 연속하는 두 프레임 사이의 모든 포인트 클라우드를 나타내고, 3D 모션 추정부(810)의 출력은 일 예로 연속하는 두 프레임 사이의 3D Translation & Rotation을 나타낸다.
도 8의 참조번호 820이 나타내는 값은 3D 모션 추정 및 모션 보상 처리 이후, 기존 값과 업데이트된 값의 차이(즉, 변경된 부분)를 나타낸다. 참고로, 도 8에서 input point cloud frame은 t1(업데이트된 값)을 의미하고, 도 8에서 reference point cloud frame 및 reference projection 정보 및 occupancy map는 t0(기존의 값)을 의미한다.
도 9는 본 개시의 일 실시 예에 따른 멀티 프레임일 경우 포인트 클라우드 압축 장치의 또 다른 일 예를 도시한 도면이다. 특히 도 9는 3D 모션 추정부(910)를 통해 3D 모션 추정의 경우를 나타낸다. 3D 모션 추정부(910)의 입력은 일 예로 연속하는 두 프레임 사이의 모든 포인트 클라우드를 나타내고, 3D 모션 추정부(910)의 출력은 일 예로 연속하는 두 프레임 사이의 3D Translation & Rotation을 나타낸다.
도 9의 Residual calculation 처리부(920)는 3D 모션 추정 및 모션 보상 처리 이후, 기존 값과 업데이트된 값의 차이(즉, 변경된 부분)를 확인한다. 이는 멀티 프레임에서 각 프레임간 변경된 부분을 압축함으로써 효율적으로 압축하기 위함이다. 참고로, 도 9에서 input point cloud frame은 t1(업데이트된 값)을 의미하고, 도 8에서 reference point cloud frame는 t0(기존의 값)을 의미한다.
도 10은 본 개시의 일 실시 예에 따른 모션 추정 방법의 일 예를 도시한 도면이다.
도 10에서와 같이, 정지하고 있는 왼쪽 사람(1000)이 오른쪽 사람(1010)과 같이 모션이 있음을 가정한다. 참고로, 왼쪽 사람(1000)과 오른쪽 사람(1010)은 동일한 사람임을 가정한다.
오른쪽 사람(1010)의 참조번호 1012와 같은 세그먼테이션 단위는 오른쪽 사람(1000)에 비해 변형이 있음을 가정하고, 참조번호 1014와 같은 세그먼테이션 단위는 오른쪽 사람(1000)에 비해 변형이 없음을 가정한다. 변형이 있는 세그먼테이션 단위에 대해 포인트 클라우드를 결정하면 된다. 따라서, 세그먼테이션 단위로 매칭 범위를 제한함으로써 포인트 클라우드 범위를 줄일 수 있다.
참고로, 도 10에서는 사람대 사람에 대해 일 예를 기재하였지만, 일 예로 장면대 장면에 대해서도 적용 가능함은 물론이고, 그 외에도 다양한 형태로 적용 가능함은 물론이다.(예컨대, 바다와 바다)
도 11은 본 개시의 일 실시 예에 따른 모션 추정 방법을 나타낸 흐름도이다. 도 11은 포인트 클라우드로 구성된 2개 이상의 프레임간 모션 추정 방법을 나타낸다.
송신기는 1101 단계에서 도 10의 1010과 같이 세그먼테이션 단위를 결정한다. 보다 구체적으로, 변형이 있는 세그먼트 단위를 확인한다. 여기서 세그먼테이션 단위는 포인트 클라우드의 집합을 의미한다. 세그먼테이션 단위를 결정하는 이유는 세그먼테이션 단위로 매칭(Matching) 범위를 제한하기 위함이다. 대응되는 포인트 클라우드의 범위를 전체에서, 세그먼트 내부로 줄여나갈 수 있으므로 압축에 효율적이다.
송신기는 1103 단계에서 세그먼트된 오브젝션의 속성 정보를 이용하여 포인트 클라우드를 결정한다. 여기서 오브젝션의 속성 정보는 오브젝션의 색상, 크기, 모양(shape) 등을 포함한다.
여기서, 포인트 클라우드를 결정하는 구체적인 방법은 다음과 같다.
먼저, 프레임 1에서 포인트 클라우드를 확인하고, 포인트 클라우드가 포함되는 세그먼트를 확인한다.
세그먼트의 속성(예컨대, 색상, 크기, Shape) 정보 확인하고, 프레임 2에 대응하는 세그먼트를 확인한다.
프레임 2의 대응되는 세그먼트 내부의 포인트 클라우드에 대해서, 프레임 1과 대응하는 포인트 클라우드를 찾는다.
추가 가능한 실시 예로써, 모션 추정 방법의 일 예로, 모션 추정의 연속성을 보장하기 위해서, 모션을 이웃하는 포인트 클라우드들과 비교해서 평균을 구할 수 있다.
일 예로, 한 포인트 클라우드와 이웃하는 포인트 클라우드들의 관계를 비교하여 대응되는 포인트 클라우드 쌍을 찾는다.
상기 도 1a 내지 도 11에서 예시하는 예시도, 신호 흐름 예시도, 블럭 구성도 등은 본 개시의 권리범위를 한정하기 위한 의도가 없음을 유의하여야 한다. 즉, 상기 도 1 내지 도 19에 기재된 모든 정보, 필드, 구성부, 또는 동작의 단계가 본 개시의 실시를 위한 필수구성요소인 것으로 해석되어서는 안되며, 일부 구성요소 만을 포함하여도 본 개시의 본질을 해치지 않는 범위 내에서 구현될 수 있다.
앞서 설명한 동작들은 해당 프로그램 코드를 저장한 메모리 장치를 통신 또는 방송 시스템의 엔터티, 기능(Function), 기지국, 단말 또는 차량 장치 내의 임의의 구성부에 구비함으로써 실현될 수 있다. 즉, 엔터티, 기능(Function), 기지국, 단말 또는 차량 장치의 제어부는 메모리 장치 내에 저장된 프로그램 코드를 프로세서 혹은 CPU(Central Processing Unit)에 의해 읽어내어 실행함으로써 앞서 설명한 동작들을 실행할 수 있다.
본 명세서에서 설명되는 엔터티, 기능(Function), 기지국, 단말 또는 차량 장치의 다양한 구성부들과, 모듈(module)등은 하드웨어(hardware) 회로, 일 예로 상보성 금속 산화막 반도체(complementary metal oxide semiconductor) 기반 논리 회로와, 펌웨어(firmware)와, 소프트웨어(software) 및/혹은 하드웨어와 펌웨어 및/혹은 머신 판독 가능 매체에 삽입된 소프트웨어의 조합과 같은 하드웨어 회로를 사용하여 동작될 수도 있다. 일 예로, 다양한 전기 구조 및 방법들은 트랜지스터(transistor)들과, 논리 게이트(logic gate)들과, 주문형 반도체와 같은 전기 회로들을 사용하여 실시될 수 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (16)

  1. 포인트 클라우드 부호화 방법에 있어서,
    3차원 이미지를 입력 받아 상기 3차원 이미지에 포함된 포인트 클라우드를 세그먼트 단위로 압축하는 과정;
    상기 압축된 3차원 이미지를 2차원 이미지 기반의 프로젝션을 수행하는 과정;
    상기 프로젝션된 2차원 이미지를 2차원 이미지 기반의 패킹을 수행하는 과정;
    상기 패킹된 2D 이미지를 부호화하는 과정을 포함하고,
    상기 세그먼트 단위로 압축하는 것은 속성 정보를 기반으로 수행됨을 특징으로 하는 포인트 클라우드 부호화 방법 방법.
  2. 제1항에 있어서,
    상기 속성 정보는 색상, 텍스쳐, 위치, 평면에 관한 정보, 및 기타 속성 정보 중 적어도 하나를 포함함을 특징으로 하는 포인트 클라우드 부호화 방법.
  3. 포인트 클라우드 압축 방법에 있어서,
    3차원 이미지를 입력 받아 상기 3차원 이미지에 포함된 포인트 클라우드를 확인하는 과정;
    상기 포인트 클라우드에서 중심 포인트의 주변에 위치하는 적어도 하나의 포인트를 기반으로 하여 세그먼테이션 관련 정보를 획득하는 과정; 및
    상기 세그먼테이션 관련 정보를 기반으로 하여 상기 적어도 하나의 포인트에 대해 세그먼테이션 그룹핑을 수행하는 과정을 포함함을 특징으로 하는 포인트 클라우드 압축 방법.
  4. 제1항에 있어서,
    상기 세그먼테이션 관련 정보는 색상, 텍스쳐, 위치, 평면에 관한 정보, 및 기타 속성 정보 중 적어도 하나를 포함함을 특징으로 하는 포인트 클라우드 압축 방법.
  5. 포인트 클라우드 압축 방법에 있어서,
    3차원 이미지를 입력 받아 상기 3차원 이미지에 포함된 포인트 클라우드에 대해 LoD(level of Detail)를 결정하는 과정;
    상기 LoD를 기반으로 하여 복셀(voxel)의 크기를 결정하는 과정;
    상기 복셀을 소정 개수로 분할하는 과정; 및
    상기 분할된 복셀 내의 포인트 클라우드의 개수를 조정하여 새로운 포인트 클라우드를 생성하는 과정을 더 포함함을 특징으로 하는 포인트 클라우드 압축 방법.
  6. 제5항에 있어서,
    상기 포인트 클라우드 개수는 상기 포인트 클라우드의 위치 및 색상 중 하나를 기반으로 하여 조절됨을 특징으로 하는 포인트 클라우드 압축 방법.
  7. 제5항에 있어서,
    상기 LoD는 대역폭 및 사용자의 시선 위치 중 적어도 하나를 기반으로 하여 결정됨을 특징으로 하는 포인트 클라우드 압축 방법.
  8. 제5항에 있어서,
    상기 확인된 포인트 클라우드가 멀티 프레임일 경우, 상기 멀티 프레임간 변경된 부분을 압축하는 과정을 더 포함함을 특징으로 하는 포인트 클라우드 압축 방법.
  9. 제8항에 있어서,
    상기 확인된 포인트 클라우드가 멀티 프레임일 경우, 세그먼테이션 단위를 결정하는 과정; 및
    상기 결정된 세그먼테이션 단위를 기반으로 하여, 포인트 클라우드를 결정하는 과정을 더 포함함을 특징으로 하는 포인트 클라우드 압축 방법.
  10. 포인트 클라우드 압축 장치에 있어서,
    3차원 이미지를 입력 받아 상기 3차원 이미지에 포함된 포인트 클라우드를 확인하고, 상기 포인트 클라우드에서 중심 포인트의 주변에 위치하는 적어도 하나의 포인트를 기반으로 하여 세그먼테이션 관련 정보를 획득하고, 상기 세그먼테이션 관련 정보를 기반으로 하여 상기 적어도 하나의 포인트에 대해 세그먼테이션 그룹핑을 수행하는 제어부를 포함함을 특징으로 하는 포인트 클라우드 압축 장치.
  11. 제10항에 있어서,
    상기 세그먼테이션 관련 정보는 색상, 텍스쳐, 위치, 평면에 관한 정보, 및 기타 속성 정보 중 적어도 하나를 포함함을 특징으로 하는 포인트 클라우드 압축 장치.
  12. 제10항에 있어서,
    상기 제어부는, 상기 확인된 포인트 클라우드에 대해 LoD(level of Detail)를 결정하고, 상기 LoD를 기반으로 하여 복셀(voxel)의 크기를 결정하고, 상기 복셀을 소정 개수로 분할하고, 상기 분할된 복셀 내의 포인트 클라우드의 개수를 조정하여 새로운 포인트 클라우드를 생성하도록 더 구비됨을 특징으로 하는 포인트 클라우드 압축 장치.
  13. 제12항에 있어서,
    상기 포인트 클라우드 개수는 상기 포인트 클라우드의 위치 및 색상 중 하나를 기반으로 하여 조절됨을 특징으로 하는 포인트 클라우드 압축 장치.
  14. 제12항에 있어서,
    상기 LoD는 대역폭 및 사용자의 시선 위치 중 적어도 하나를 기반으로 하여 결정됨을 특징으로 하는 포인트 클라우드 압축 장치.
  15. 제10항에 있어서,
    상기 제어부는 상기 확인된 포인트 클라우드가 멀티 프레임일 경우, 상기 멀티 프레임간 변경된 부분을 압축하도록 더 구비됨을 특징으로 하는 포인트 클라우드 압축 장치.
  16. 제15항에 있어서,
    상기 제어부는 상기 확인된 포인트 클라우드가 멀티 프레임일 경우, 세그먼테이션 단위를 결정하고, 상기 결정된 세그먼테이션 단위를 기반으로 하여, 포인트 클라우드를 결정하도록 더 구비됨을 특징으로 하는 포인트 클라우드 압축 장치.
KR1020180007419A 2018-01-20 2018-01-20 포인트 클라우드 압축 방법 및 장치 KR102519653B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180007419A KR102519653B1 (ko) 2018-01-20 2018-01-20 포인트 클라우드 압축 방법 및 장치
PCT/KR2019/000752 WO2019143174A1 (ko) 2018-01-20 2019-01-18 3차원 이미지에 대한 데이터를 처리하기 위한 방법 및 장치
US16/963,374 US11317074B2 (en) 2018-01-20 2019-01-18 Method and apparatus for processing data for three-dimensional image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180007419A KR102519653B1 (ko) 2018-01-20 2018-01-20 포인트 클라우드 압축 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190089115A true KR20190089115A (ko) 2019-07-30
KR102519653B1 KR102519653B1 (ko) 2023-04-07

Family

ID=67302341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180007419A KR102519653B1 (ko) 2018-01-20 2018-01-20 포인트 클라우드 압축 방법 및 장치

Country Status (3)

Country Link
US (1) US11317074B2 (ko)
KR (1) KR102519653B1 (ko)
WO (1) WO2019143174A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200067112A (ko) 2018-12-03 2020-06-11 고려대학교 산학협력단 삼차원 동적 포인트 클라우드 압축방법
WO2021066575A1 (en) * 2019-10-02 2021-04-08 Samsung Electronics Co., Ltd. Decision-making rules for attribute smoothing
WO2021141218A1 (ko) * 2020-01-07 2021-07-15 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
WO2021206282A1 (ko) * 2020-04-11 2021-10-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR20210126318A (ko) * 2020-04-10 2021-10-20 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
WO2022075753A1 (ko) * 2020-10-06 2022-04-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102413505B1 (ko) * 2021-11-30 2022-06-28 주식회사 동방티씨에스 포인트 클라우드 데이터 시각화 장치 및 방법
US11676334B2 (en) 2019-12-03 2023-06-13 Electronics And Telecommunications Research Institute Method and apparatus for plenoptic point clouds generation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116760960B (zh) * 2023-08-17 2023-12-05 深圳盟云全息科技有限公司 一种多设备投影成像方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170018930A (ko) * 2014-06-14 2017-02-20 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
KR20170052675A (ko) * 2014-09-22 2017-05-12 삼성전자주식회사 3 차원 비디오의 전송

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2674913B1 (en) 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US9734595B2 (en) 2014-09-24 2017-08-15 University of Maribor Method and apparatus for near-lossless compression and decompression of 3D meshes and point clouds
KR101799351B1 (ko) 2016-03-30 2017-11-22 한국과학기술연구원 임의 시점 렌더링을 위한 자동 항공 촬영 방법, 이를 수행하기 위한 기록 매체 및 장치
KR101819730B1 (ko) * 2016-04-19 2018-01-17 광주과학기술원 3차원 객체 검출 및 자세추정 방법
KR101822373B1 (ko) 2016-05-10 2018-03-08 서울대학교산학협력단 물체 탐지 장치 및 방법
US11297346B2 (en) 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US10223810B2 (en) 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US11405643B2 (en) * 2017-08-15 2022-08-02 Nokia Technologies Oy Sequential encoding and decoding of volumetric video
US11200701B2 (en) * 2019-03-19 2021-12-14 Nokia Technologies Oy Method and apparatus for storage and signaling of static point cloud data
US11595670B2 (en) * 2019-10-02 2023-02-28 Nokia Technologies Oy Method and apparatus for storage and signaling of sub-sample entry descriptions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170018930A (ko) * 2014-06-14 2017-02-20 매직 립, 인코포레이티드 가상 및 증강 현실을 생성하기 위한 방법들 및 시스템들
KR20170052675A (ko) * 2014-09-22 2017-05-12 삼성전자주식회사 3 차원 비디오의 전송

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200067112A (ko) 2018-12-03 2020-06-11 고려대학교 산학협력단 삼차원 동적 포인트 클라우드 압축방법
WO2021066575A1 (en) * 2019-10-02 2021-04-08 Samsung Electronics Co., Ltd. Decision-making rules for attribute smoothing
US11922663B2 (en) 2019-10-02 2024-03-05 Samsung Electronics Co., Ltd. Decision-making rules for attribute smoothing
US11461933B2 (en) 2019-10-02 2022-10-04 Samsung Electronics Co., Ltd. Decision-making rules for attribute smoothing
US11676334B2 (en) 2019-12-03 2023-06-13 Electronics And Telecommunications Research Institute Method and apparatus for plenoptic point clouds generation
US11601675B2 (en) 2020-01-07 2023-03-07 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2021141218A1 (ko) * 2020-01-07 2021-07-15 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR20210126318A (ko) * 2020-04-10 2021-10-20 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
KR20220080060A (ko) * 2020-04-10 2022-06-14 주식회사 엘지유플러스 3차원 입체 콘텐츠 서비스 제공 시스템 및 방법
WO2021206282A1 (ko) * 2020-04-11 2021-10-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN115428442A (zh) * 2020-04-11 2022-12-02 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
CN115428442B (zh) * 2020-04-11 2024-04-16 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
WO2022075753A1 (ko) * 2020-10-06 2022-04-14 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102413505B1 (ko) * 2021-11-30 2022-06-28 주식회사 동방티씨에스 포인트 클라우드 데이터 시각화 장치 및 방법

Also Published As

Publication number Publication date
WO2019143174A1 (ko) 2019-07-25
US11317074B2 (en) 2022-04-26
US20210377507A1 (en) 2021-12-02
KR102519653B1 (ko) 2023-04-07

Similar Documents

Publication Publication Date Title
KR102519653B1 (ko) 포인트 클라우드 압축 방법 및 장치
US11122102B2 (en) Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
US11315270B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
KR102642418B1 (ko) 3차원 영상을 처리하는 방법 및 장치
US11979607B2 (en) Apparatus and method for processing point cloud data
US11477481B2 (en) Method and device for coding the geometry of a point cloud
US20220368751A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7307260B2 (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法。
JP2024515174A (ja) ポイントクラウドデータ送信方法、ポイントクラウドデータ送信装置、ポイントクラウドデータ受信方法及びポイントクラウドデータ受信装置
CN115918093A (zh) 点云数据发送设备、点云数据发送方法、点云数据接收设备和点云数据接收方法
JP2024515203A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法
JP2022538857A (ja) ポイントクラウドデータ処理装置及び方法
US20240185467A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20240196012A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20240070924A1 (en) Compression of temporal data by using geometry-based point cloud compression
JP2024525583A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置、及びポイントクラウドデータ受信方法
US20220345681A1 (en) Method and apparatus for encoding, transmitting and decoding volumetric video
US20230334716A1 (en) Apparatus and method for providing 3-dimensional spatial data based on spatial random access
EP4425933A1 (en) Point cloud data transmission device and method, and point cloud data reception device and method
US20240062428A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
EP4432658A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
EP4369716A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
CN118614067A (zh) 点云数据的发送装置、由发送装置执行的方法、点云数据的接收装置和由接收装置执行的方法
JP2024510315A (ja) ポイントクラウドデータ送信装置、ポイントクラウドデータ送信方法、ポイントクラウドデータ受信装置及びポイントクラウドデータ受信方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant