KR102608160B1 - 포인트 클라우드 지오메트리 업샘플링 - Google Patents
포인트 클라우드 지오메트리 업샘플링 Download PDFInfo
- Publication number
- KR102608160B1 KR102608160B1 KR1020227007995A KR20227007995A KR102608160B1 KR 102608160 B1 KR102608160 B1 KR 102608160B1 KR 1020227007995 A KR1020227007995 A KR 1020227007995A KR 20227007995 A KR20227007995 A KR 20227007995A KR 102608160 B1 KR102608160 B1 KR 102608160B1
- Authority
- KR
- South Korea
- Prior art keywords
- point cloud
- computer
- voxels
- convolution
- occupancy map
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000013139 quantization Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims abstract description 10
- 238000003860 storage Methods 0.000 claims description 42
- 238000011176 pooling Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 14
- 239000010410 layer Substances 0.000 description 14
- 230000015654 memory Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008520 organization Effects 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Electromagnetism (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
포인트 클라우드 데이터를 처리하기 위한 방법, 컴퓨터 프로그램 및 컴퓨터 시스템이 제공된다. 복수의 복셀을 포함하는 양자화된 포인트 클라우드 데이터가 수신된다. 상기 복수의 복셀 중에서 양자화 중에 손실된 복셀에 대응하는 양자화된 포인트 클라우드에 대한 점유 맵이 생성된다. 상기 손실된 복셀을 채우는 것에 기초하여 상기 양자화된 포인트 클라우드 데이터로부터 포인트 클라우드가 재구축된다.
Description
관련 출원에 대한 상호 참조
본 출원은 미국 가출원 제63/049,862호(2020년 7월 9일 출원) 및 미국 특허 출원 제17/345,063호(2021년 6월 11일 출원)에 기초하여 우선권을 주장하며, 이들 출원은 그 전체가 인용에 의해 본 출원에 참조로 포함된다.
본 개시는 일반적으로 데이터 처리 분야에 관한 것으로, 특히 포인트 클라우드 압축에 관한 것이다.
포인트 클라우드(Point Cloud)는 최근 몇 년 동안 널리 사용되어 왔다. 예를 들어, 객체 검출(object detection) 및 위치 추정(localization)을 위해 자율 주행 차량에 사용되고; 또한 매핑을 위해 지리 정보 시스템(geographic information system, GIS)에 사용되며, 문화유산 객체 및 수집을 시각화하고 보관하기 위해 문화유산에 사용되고; 가상/증강 현실(Virtual/Augmented reality, VR/AR) 콘텐츠 생성 및 통신에 사용되며; 텔레프레전스(telepresence)에도 사용된다. 포인트 클라우드는 각각이 3D 위치 정보와, 색상, 반사율 등과 같은 추가 속성을 포함하는 고차원(일반적으로 3차원(3D))의 포인트 세트를 포함한다. 포인트 클라우드는 다수의 카메라 및 심도 센서, 또는 다양한 설정의 라이더(Lidar)를 사용하여 캡처될 수 있으며, 원본 장면(original scene)을 사실적으로 표현하기 위해 수천에서 수십억 개의 포인트로 구성될 수 있다.
실시예는 포인트 클라우드를 처리하기 위한 방법, 시스템, 및 컴퓨터로 판독 가능한 매체에 관한 것이다. 한 측면에 따르면, 포인트 클라우드를 처리하기 위한 방법이 제공된다. 상기 방법은 복수의 복셀(voxel)을 포함하는 양자화된 포인트 클라우드 데이터를 수신하는 단계를 포함할 수 있다. 상기 복수의 복셀 중에서 양자화 중에 손실된 복셀에 대응하는 양자화된 포인트 클라우드에 대한 점유 맵(occupancy map)이 생성된다. 포인트 클라우드는 상기 손실된 복셀의 채우기에 기초하여 상기 양자화된 포인트 클라우드 데이터로부터 재구축된다(reconstructed).
다른 측면에 따르면, 포인트 클라우드 처리를 위한 컴퓨터 시스템이 제공된다. 상기 컴퓨터 시스템은 하나 이상의 프로세서, 컴퓨터로 판독 가능한 하나 이상의 메모리, 컴퓨터로 판독 가능한 유형(tangible)의 하나 이상의 저장 기기, 및 상기 하나 이상의 메모리 중 적어도 하나를 통해 상기 하나 이상의 프로세서 중 적어도 하나에 의한 실행을 위해 상기 하나 이상의 저장 기기 중 적어도 하나에 저장된 프로그램 명령어를 포함하고, 이로써 상기 컴퓨터 시스템은 방법을 수행할 수 있다. 상기 방법은 복수의 복셀을 포함하는 양자화된 포인트 클라우드 데이터를 수신하는 단계를 포함할 수 있다. 상기 복수의 복셀 중에서 양자화 중에 손실된 복셀에 대응하는 양자화된 포인트 클라우드에 대한 점유 맵이 생성된다. 포인트 클라우드는 상기 손실된 복셀의 채우기에 기초하여 상기 양자화된 포인트 클라우드 데이터로부터 재구축된다.
또 다른 측면에 따르면, 포인트 클라우드를 처리하기 위한 컴퓨터로 판독 가능한 매체가 제공된다. 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 판독 가능한 하나 이상의 저장 기기 및 유형의 하나 이상의 저장 기기 중 적어도 하나에 저장된 프로그램 명령어를 포함할 수 있으며, 상기 프로그램 명령어는 프로세서에 의해 실행 가능하다. 상기 프로그램 명령어는 그에 따라 복수의 복셀을 포함하는 양자화된 포인트 클라우드 데이터를 수신하는 단계를 포함할 수 있는 방법을 수행하기 위한 프로세서에 의해 실행 가능하다. 상기 복수의 복셀 중에서 양자화 중에 손실된 복셀에 대응하는 양자화된 포인트 클라우드에 대한 점유 맵이 생성된다. 포인트 클라우드는 상기 손실된 복셀의 채우기에 기초하여 상기 양자화된 포인트 클라우드 데이터로부터 재구축된다.
이러한 목적 및 다른 목적, 특징 및 이점은 첨부 도면과 함께 읽게 될 예시적인 실시예에 대한 이하의 상세한 설명으로부터 명백해질 것이다. 도면은 상세한 설명과 관련하여 당업자의 이해를 용이하게 함에 있어 명료함을 위한 것이기 때문에 도면의 다양한 특징부는 축적에 맞지 않다.
도 1은 적어도 하나의 실시예에 따른, 네트워크화된(networked) 컴퓨터 환경을 도시한다.
도 2a는 적어도 하나의 실시예에 따른, 포인트 클라우드 데이터에 대한 옥트리 구조(octree structure)의 도면이다.
도 2b는 적어도 하나의 실시예에 따른, 포인트 클라우드 데이터에 대한 옥트리 파티션(octree partition)의 도면이다.
도 3a는 적어도 하나의 실시예에 따른, 포인트 클라우드 데이터를 업샘플링하는 시스템의 도면이다.
도 3b는 적어도 하나의 실시예에 따른, U-net 구조의 도면이다.
도 4는 적어도 하나의 실시예에 따른, 포인트 클라우드 데이터를 업샘플링하는 프로그램에 의해 수행되는 단계들을 나타낸 동작 흐름도이다.
도 5는 적어도 하나의 실시예에 따른, 도 1에 도시된 컴퓨터 및 서버의 내부 및 외부 구성요소의 블록도이다.
도 6은 적어도 하나의 실시예에 따른, 도 1에 도시된 컴퓨터 시스템을 포함하는 예시적인 클라우드 컴퓨팅 환경의 블록도이다.
도 7은 적어도 하나의 실시예에 따른, 도 6의 예시적인 클라우드 컴퓨팅 환경의 기능 계층의 블록도이다.
도 1은 적어도 하나의 실시예에 따른, 네트워크화된(networked) 컴퓨터 환경을 도시한다.
도 2a는 적어도 하나의 실시예에 따른, 포인트 클라우드 데이터에 대한 옥트리 구조(octree structure)의 도면이다.
도 2b는 적어도 하나의 실시예에 따른, 포인트 클라우드 데이터에 대한 옥트리 파티션(octree partition)의 도면이다.
도 3a는 적어도 하나의 실시예에 따른, 포인트 클라우드 데이터를 업샘플링하는 시스템의 도면이다.
도 3b는 적어도 하나의 실시예에 따른, U-net 구조의 도면이다.
도 4는 적어도 하나의 실시예에 따른, 포인트 클라우드 데이터를 업샘플링하는 프로그램에 의해 수행되는 단계들을 나타낸 동작 흐름도이다.
도 5는 적어도 하나의 실시예에 따른, 도 1에 도시된 컴퓨터 및 서버의 내부 및 외부 구성요소의 블록도이다.
도 6은 적어도 하나의 실시예에 따른, 도 1에 도시된 컴퓨터 시스템을 포함하는 예시적인 클라우드 컴퓨팅 환경의 블록도이다.
도 7은 적어도 하나의 실시예에 따른, 도 6의 예시적인 클라우드 컴퓨팅 환경의 기능 계층의 블록도이다.
여기에서는 청구된 구조 및 방법의 상세한 실시예를 개시하지만, 개시된 실시예는 다양한 형태로 구현될 수 있는 청구된 구조 및 방법의 예시일 뿐임을 이해할 수 있다. 하지만, 이러한 구조 및 방법은 많은 다른 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되는 것으로 해석되어서는 안 된다. 오히려, 이러한 예시적인 실시예는 본 개시가 철저하고 완전하며 본 기술 분야의 통상의 지식을 가진 자에게 그 범위를 충분히 전달하도록 제공된다. 설명에서, 잘 알려진 특징 및 기술의 세부사항은 제시된 실시예를 불필요하게 모호하게 하는 것을 피하기 위해 생략될 수 있다.
실시예는 일반적으로 데이터 처리 분야, 특히 포인트 클라우드 압축에 관한 것이다. 다음에 설명되는 예시적인 실시예는 무엇보다도 포인트 클라우드 데이터를 업샘플링하기 위한 시스템, 방법 및 컴퓨터 프로그램을 제공한다. 따라서, 일부 실시예는 양자화 후 포인트 클라우드 데이터에 대해 높아진 레벨의 세부사항을 허용함으로써 컴퓨팅 분야를 향상시키기 위한 능력이 있으며, 이는 더 높은 레벨의 압축을 가능하게 할 수 있다.
앞서 설명한 것처럼, 포인트 클라우드는 최근 몇 년 동안 널리 사용되어 왔다. 예를 들어, 포인트 클라우드는 객체 감지 및 위치 추정을 위해 자율 주행 차량에 사용되고; 또한 매핑을 위해 지리 정보 시스템(GIS)에 사용되며, 문화유산 객체 및 수집을 시각화하고 보관하기 위해 문화유산에 사용되고; 가상/증강 현실(VR/AR) 콘텐츠 생성 및 통신에 사용되며; 텔레프레전스에도 사용된다. 포인트 클라우드는 각각이 3D 위치 정보와, 색상, 반사율 등과 같은 추가 속성을 포함하는, 고차원(일반적으로 3차원(3D))의 포인트 세트를 포함한다. 포인트 클라우드는 다수의 카메라 및 심도 센서, 또는 다양한 설정의 라이더(Lidar)를 사용하여 캡처될 수 있으며, 원본 장면을 사실적으로 표현하기 위해 수천에서 수십억 개의 포인트로 구성될 수 있다.
더 빠른 전송 또는 저장장치의 감축을 위해 포인트 클라우드를 나타내는 데 필요한 데이터 양을 줄이기 위한 압축 기술이 필요하다. ISO/IEC MPEG(JTC 1/SC 29/WG 11)은 정적 또는 동적 클라우드에 대한 압축 기술을 표준화하기 위해 애드혹(ad-hoc) 그룹(MPEG-PCC)을 만들었다. 그러나 현재의 포인트 클라우드 압축 및 처리 기술은 양자화 손실로 인해 어려움을 겪고 있으며, 그 결과는 더 낮은 세부 레벨(Level-of-Detail, LOD) 포인트 클라우드인 포인트 클라우드의 더 거친 서브샘플링된 표현이다.
양자화는 대부분의 압축-전송 파이프라인에서 필요한 단계이다. 양자화는 값의 범위를 단일 양자화된 값으로 압축함으로써 달성된다. 심볼의 가능한 값이 감소되는 경우, 주어진 스트림에서 이산 심볼의 수가 감소하여 스트림을 더 압축할 수 있게 한다. 양자화의 결과로, 이웃하는 복셀화된 포인트(voxelized point)는 하나의 복셀(즉, 픽셀과 유사한 규칙적인 간격의 3차원 그리드 상의 단일 샘플, 또는 데이터 포인트)로 병합된다. 압축률에 따라, 양자화 스텝 크기(quantization step-size, qs)는 손실된 포인트 수와 재구축된 포인트 클라우드의 LoD를 결정할 수 있다. 복셀의 양자화 손실을 겪는 포인트 클라우드는 다음에 의해 모델링될 수 있다.
여기서 qs는 양자화 스텝 크기이고, X는 원래 포인트 클라우드의 3D 위치(좌표)이고, 는 재구축된 포인트 클라우드의 3D 위치(좌표)이다. 이 양자화의 결과로서 압축 프로세스 동안 제거되는 중복 포인트가 생성된다.
따라서, 양자화 손실을 최소화하고 더 높은 LoD 포인트 클라우드를 얻기 위해 포인트 클라우드 데이터를 업샘플링하는 것이 유리할 수 있다. 또한, 포인트 클라우드 업샘플링은 압축 이후 유용한 애플리케이션일 수 있다. 예를 들어, 더 낮은 LoD 포인트 클라우드가, 예컨대 AR/VR 또는 텔레프레전스에서, 대역폭을 절약하거나 전송 레이턴시(transmission latency)를 줄이기 위해 전송되는 애플리케이션이 있다. 포인트 클라우드가 확대되는(zoomed in) 이러한 시나리오에서, 포인트 클라우드를 더 높은 LoD 포인트 클라우드로 업샘플링하는 것이 유리할 수 있다. 이 애플리케이션은 디스플레이 적응이라고 불리며, 여기서 포인트 클라우드를 확대하는 경우, 포인트 클라우드 업샘플링은 디스플레이 적응에 대한 더 많은 세부사항을 제공하는 데 도움이 될 수 있다.
여기서는 다양한 실시예에 따른 방법, 장치(시스템), 및 컴퓨터로 판독 가능한 매체의 흐름도 예시 및/또는 블록도를 참조하여 측면을 설명한다. 흐름도 예시 및/또는 블록도의 각 블록, 및 흐름도 예시 및/또는 블록도의 블록들의 조합이 컴퓨터로 판독 가능한 프로그램 명령어에 의해 구현될 수 있음을 이해할 것이다.
이하에서 설명되는 예시적인 실시예는 포인트 클라우드 처리를 위한 시스템, 방법 및 컴퓨터 프로그램을 제공한다. 이제 도 1을 참조하면, 양자화 후 포인트 클라우드 데이터를 처리하기 위한 포인트 클라우드 처리 시스템(100)(이하 "시스템")을 예시한 네트워크화된 컴퓨터 환경의 기능 블록도이다. 도 1은 단지 하나의 구현의 예시를 제공하고 상이한 실시예가 구현될 수 있는 환경과 관련하여 어떠한 한정도 암시하지 않는 것으로 이해되어야 한다. 나타낸 환경에 대해 많은 수정이 설계 및 구현 요건에 기초하여 이루어질 수 있다.
시스템(100)은 컴퓨터(102) 및 서버 컴퓨터(114)를 포함할 수 있다. 컴퓨터(102)는 통신 네트워크(110)(이하 "네트워크")를 통해 서버 컴퓨터(114)와 통신할 수 있다. 컴퓨터(102)는 프로세서(104), 및 데이터 저장 기기(106)에 저장되고 사용자와 인터페이스하고 서버 컴퓨터(114)와 통신할 수 있는 소프트웨어 프로그램(108)을 포함할 수 있다. 도 5를 참조하여 이하에 논의되는 바와 같이, 컴퓨터(102)는 내부 구성요소(800A) 및 외부 구성요소(900A)를 각각 포함할 수 있고, 서버 컴퓨터(114)는 내부 구성요소(800B) 및 외부 구성요소(900B)를 각각 포함할 수 있다. 컴퓨터(102)는 예를 들어 이동 기기, 전화, 개인 휴대 정보 단말기(personal digital assistant), 넷북(netbook), 랩톱 컴퓨터, 태블릿 컴퓨터, 데스크톱 컴퓨터, 또는 프로그램 실행, 네트워크 액세스 및 데이터베이스 액세스를 할 수 있는 임의의 타입의 컴퓨팅 장치일 수 있다.
서버 컴퓨터(114)는 또한 도 6 및 도 7과 관련하여 아래에서 논의되는 바와 같이, 서비스로서의 소프트웨어(Software as a Service, SaaS), 서비스로서의 플랫폼(Plaform as a Service, PaaS), 또는 서비스로서의 인프라(Infrastructure as a Service, laaS)와 같은, 클라우드 컴퓨팅 서비스 모델에서 동작할 수 있다. 서버 컴퓨터(114)는 또한 프라이빗 클라우드(private cloud), 커뮤니티 클라우드(community cloud), 퍼블릭 클라우드(public cloud), 또는 하이브리드(hybrid cloud)와 같은, 클라우드 컴퓨팅 배치 모델에 위치할 수 있다.
포인트 클라우드 처리에 사용될 수 있는 서버 컴퓨터(114)는 데이터베이스(112)와 상호 작용할 수 있는 포인트 클라우드 처리 프로그램(116)(이하 "프로그램")을 실행하도록 인에이블된다. 포인트 클라우드 처리 프로그램 방법은 도 4를 참조하여 아래에서 더 자세히 설명된다. 일 실시예에서, 컴퓨터(102)는 사용자 인터페이스를 포함하는 입력 기기로서 동작할 수 있는 한편, 프로그램(116)은 주로 서버 컴퓨터(114)에서 실행될 수 있다. 대안적인 실시예에서, 프로그램(116)은 하나 이상의 컴퓨터(102)에서 주로 실행될 수 있는 한편, 서버 컴퓨터(114)는 프로그램(116)에 의해 사용되는 데이터의 처리 및 저장에 사용될 수 있다. 프로그램(116)은 독립형 프로그램일 수 있거나 더 큰 포인트 클라우드 처리 프로그램에 통합될 수 있다는 점에 유의해야 한다.
하지만, 프로그램(116)에 대한 처리는, 경우에 따라서는 컴퓨터(102)와 서버 컴퓨터(114) 사이에서 임의의 비율로 공유될 수 있음에 유의해야 한다. 다른 실시예에서, 프로그램(116)은 하나 이상의 컴퓨터, 서버 컴퓨터, 또는 컴퓨터와 서버 컴퓨터의 일부 조합, 예를 들어 프로그램 네트워크(110)를 통해 단일 서버 컴퓨터(114)와 통신하는 복수의 컴퓨터(102)에서 동작할 수 있다. 다른 실시예에서, 예를 들어, 프로그램(116)은 네트워크(110)를 통해 복수의 클라이언트 컴퓨터와 통신하는 복수의 서버 컴퓨터(114)에서 동작할 수 있다. 대안적으로, 프로그램은 네트워크를 통해 서버 및 복수의 클라이언트 컴퓨터와 통신하는 네트워크 서버에서 작동할 수 있다.
네트워크(110)는 유선 연결, 무선 연결, 광섬유 연결, 또는 이들의 일부 조합을 포함할 수 있다. 일반적으로, 네트워크(110)는 컴퓨터(102)와 서버 컴퓨터(114) 사이의 통신을 지원할 연결 및 프로토콜의 임의의 조합일 수 있다. 네트워크(110)로는 근거리 통신망(local area network, LAN), 인터넷과 같은 광역 통신망(wide area network, WAN), 공중 교환 전화망(Public Switched Telephone Network, PSTN)과 같은 통신 네트워크, 무선 네트워크, 공중 교환 네트워크, 위성 네트워크, 셀룰러 네트워크(예: 5세대(5G) 네트워크, 롱텀에볼루션(long-term evolution, LTE) 네트워크, 3세대(3G) 네트워크, 코드 분할 다중 액세스(code division multiple access, CDMA) 네트워크, 등), 공공 육상 이동 통신망(public land mobile network, PLMN), 대도시 통신망(metropolitan area network, MAN), 사설 네트워크, 애드혹 네트워크, 인트라넷, 광섬유 기반 네트워크 등, 및/또는 이들 또는 다른 타입의 네트워크의 조합과 같은, 다양한 타입의 네트워크를 포함할 수 있다.
도 1에 도시된 기기 및 네트워크의 수 및 배치는 일례로서 제공된다. 실제로는 추가의 기기 및/또는 네트워크, 도 1에 도시된 것보다 더 적은 수의 기기 및/또는 네트워크, 다른 기기 및/또는 네트워크, 또는 다르게 배치된 기기 및/또는 네트워크가 있을 수 있다. 또한, 도 1에 도시된 2개 이상의 기기는 단일 기기 내에 구현될 수 있거나, 도 1에 도시된 단일 기기는 다수의 분산된 기기로 구현될 수 잇다. 추가로, 또는 대안적으로, 시스템(100)의 기기 세트(예: 하나 이상의 기기)는 시스템(100)의 다른 기기 세트에 의해 수행되는 것으로 설명된 하나 이상의 기능을 수행할 수 있다.
이제 도 2a을 참조하면, 옥트리 구조(200A)의 도면이 도시되어 있다. MPEG-PCC 그룹에서의 참조 소프트웨어(reference software), 예컨대 TMC13와 같은 포인트 클라우드 압축 솔루션에서, 옥트리 지오메트리 코덱이 사용되면, 지오메트리 인코딩은 다음과 같이 진행된다. 먼저, 정육면체의 축 정렬된 경계 상자(cubical axis-aligned bounding box) B는 두 점 (0,0,0)과 으로 정의되며, 여기서 은 B의 크기를 정의하고 M은 비트스트림에 지정된다. 그런 다음 옥트리 구조(200A)가 B를 재귀적으로 세분화함으로써 구축된다. 각 단계에서, 정육면체는 8개의 하위 정육면체로 세분화된다. 그런 다음 포인트를 포함하는지(즉, 풀(full)이고 값이 1) 포함하지 않는지(즉, 엠티(empty)이고 값이 0)를 지시하기 위해 1비트 값을 각각의 하위 정육면체와 연관시킴으로써 8비트 코드, 즉 점유 코드가 생성된다. 크기가 1보다 큰 전체 하위 정육면체(즉, 복셀이 아님)만 더 세분화된다.
이제 도 2b를 참조하면, 옥트리 파티션(200B)의 도면이 도시되어 있다. 옥트리 파티션(200B)은 2레벨(two-level) 옥트리 파티션(202) 및 대응하는 점유 코드(204)를 포함할 수 있으며, 여기서 어두운 색의 정육면체 및 노드는 포인트에 의해 점유되었음을 지시한다. 각 노드의 점유 코드(204)는 그런 다음 산술 인코더에 의해 압축된다. 점유 코드(204)는 8비트 정수인 S로 표시될 수 있으며, S의 각 비트는 각 자식 노드의 점유 상태를 지시한다. TMC13에는 점유 코드(204)에 대한 두 가지 인코딩 방법, 비트 단위(bit-wise) 인코딩과 바이트 단위(byte-wise) 인코딩 방법이 있으며, 비트 단위 인코딩은 기본적으로 인에이블되어 있다. 어느 쪽이든 컨텍스트 모델링을 사용하여 산술 코딩을 수행하여 점유 코드(204)를 인코딩하며, 여기서 컨텍스트 상태는 전체 코딩 프로세스의 시작 부분에서 초기화되고 코딩 프로세스 동안 업데이트된다.
비트 단위 인코딩의 경우, S의 8개의 빈(bin)은 각각의 빈이 인접 노드 및 인접 노드의 자식 노드의 점유 상태를 참조하여 인코딩되는 특정 순서로 인코딩되며, 여기서 이웃 노드는 현재 노드의 동일한 레벨에 있다. 바이트 단위 인코딩의 경우, S는 N(예: 32)개의 가장 빈번한 점유 코드를 추적하는 적응형 룩업 표(A-LUT)와, 마지막으로 관찰된 M(예: 16)개의 점유 코드를 추적하는 캐시를 참조하여 인코딩된다.
S가 A-LUT인지의 여부를 지시하는 이진 플래그가 인코딩된다. S가 A-LUT에 있으면, A-LUT의 색인은 이진 산술 인코더를 사용하여 인코딩된다. S가 A-LUT에 없으면, S가 캐시에 있는지의 여부를 지시하는 이진 플래그가 인코딩된다. S가 캐시에 있으면, 그 색인의 이진 표현이 이진 산술 인코더를 사용하여 인코딩된다. 그렇지 않고, S가 캐시에 없으면, S의 이진 표현은 이진 산술 인코더를 사용하여 인코딩된다. 디코딩 프로세스는 비트스트림으로부터 경계 상자 B의 치수를 파싱함으로써 시작된다. 그런 다음 디코딩된 점유 코드에 따라 B를 세분화하여 동일한 옥트리 구조가 만들어진다.
이제 도 3a를 참조하면, 포인트 클라우드 처리 시스템(300)의 블록도가 도시되어 있다. 포인트 클라우드 처리 시스템(300)은 무엇보다도, U-net(302) 및 점유 맵(304)을 포함할 수 있다. 점유 맵(304)은 점유되는 복셀의 예측 확률에 대응할 수 있으므로 상단의 k개의 복셀을 선택하거나, 예측 값이 그 임계값보다 큰 경우 점유되는 복셀을 정의하는 임계값을 가질 수 있다. 포인트 클라우드 처리 시스템(300)은 입력으로서 입력 포인트 클라우드(306A)를 수신할 수 있다. 입력 포인트 클라우드(306A)는 복수의 입력 패치(308)로 분할될 수 있다. 포인트 클라우드는 수백만개의 포인트로 클 수 있다. 현재 하드웨어 및 소프트웨어 계산 및 메모리 제한은 포인트 클라우드 전체를 네트워크에 공급하는 것을 허용하지 않는다. 포인트 클라우드를 네트워크에 공급하고 시스템을 확장 가능하게 만들기 위해, 입력 포인트 클라우드(306)는 더 작은 정육면체 입력 패치(308)로 세분화되어 네트워크에 공급될 수 있다. 입력 패치(308)는 치수 Nx3의 복셀화된 지오메트리(voxelized geometry)일 수 있으며, 여기서 N은 입력 정육면체 패치의 복셀의 수이고 3은 x,y,z 좌표이다. 업샘플링은 기본 3D 구조를 학습하고 점유 맵(304)에 기초하여 더 많은 세부사항을 갖는 패치를 생성하는 입력 패치에 대해 지오메트리 예측을 수행함으로써 이루어진다. 포인트 클라우드 처리 시스템(300)은 업샘플링된 포인트 클라우드(312)를 형성하기 위해 집성될 수 있는 출력 패치(310)를 생성할 수 있다.
이제 도 3b를 참조하면, U-net 아키텍처(302)의 블록도가 도시되어 있다. U-net 아키텍처(302)는 무엇보다도 하나 이상의 입력 노드(314A-314X), 잠재 공간(latent space)(316), 및 하나 이상의 출력 노드(318A-318X)를 포함할 수 있다. 입력 노드(314A-314X)는 특징 추출을 위한 축소 경로를 형성할 수 있는 반면, 출력 노드(318A-318X)는 세부사항 보존을 위한 확장 경로를 형성할 수 있다. 입력 노드(314A-314X) 및 출력 노드(318A-318X)는 각각 하나 이상의 컨볼루션 커널(예: 3x3 컨볼루션 커널) 및 정류 선형 유닛(rectified linear unit)을 포함할 수 있다. 각각의 입력 노드(314A-314X)는 최대 풀링 계층(예: 2x2 최대 풀링 계층)에 의해 연속적으로 연결될 수 있다. 예를 들어, 각각의 컨볼루션 뒤에는 배치 규범(batch norm)과 정류 선형 유닛이 올 수 있다. 잠재 공간(316)은 유사한 데이터 포인트가 공간 내에서 더 가까운 압축 데이터의 표현에 대응할 수 있다. 출력 노드(318A-318X)는 업샘플링 연결(예: 업샘플링 인자 2)에 의해 역순으로 서로 연속적으로 공급될 수 있다. 최종 출력 노드인 출력 노드(318A)는 포인트 클라우드 데이터를 출력할 수 있다.
포인트 클라우드는 본질적으로 희소하기 때문에 희소 컨볼루션(sparse convolution)이 훨씬 더 메모리 효율적이며 매우 깊은 아키텍처를 만들 수 있게 해준다. UNet 아키텍처는 계층당 3개의 인셉션 잔차(Inception-residual) 네트워크 블록과 함께 채용될 수 있다. UNet은 이미지 분할에 널리 사용되어 왔다. 민코프스키 엔진(Minkowski Engine) 같은 3D 라이브러리는 UNet의 3D 버전을 만들다. 그러나 이들은 잔차 블록을 채용한다. 3D UNet은 보다 새로운 인셉션 잔차 네트워크 블록을 사용하여 업데이트될 수 있다.
아키텍처에 대한 입력은 더 낮은 LoD 포인트 클라우드인 반면 출력은 더 높은 LoD 포인트 클라우드로 변환되는 점유 예측이다(다음 서브섹션에서 설명됨). 이진 교차 엔트로피 분류 손실은 네트워크로부터의 점유 맵 예측과 실측 자료(ground truth)(원래) 포인트 클라우드를 비교하는 데 사용될 수 있다.
네트워크의 출력은 입력 복셀을 둘러싸는 2x2x2=8 복셀에 대한 Nx8 점유 맵 예측이다. 출력은 해당 복셀이 점유될 예측 확률이므로 예측 값이 그 임계값보다 크면 상단의 k개의 복셀을 선택하거나 복셀이 점유됨을 정의하는 임계값을 가질 수 있다. 이 점유 맵은 보다 밀도 높은 포인트 클라우드 x3를 생성하는 데 사용될 수 있으며, 여기서 N<<Nx8이다. 출력 패치는 다시 집성되어 업샘플링된 포인트 클라우드를 형성할 수 있다.
애플리케이션 및 입력 포인트 클라우드에 기초하여 성능을 향상시키거나 미세 조정하기 위해 개선이 이루어질 수 있음을 이해할 수 있다. 하나 이상의 실시예에 따르면, 동일한 또는 더 나은 작업을 수행하기 위해 다른 딥 러닝 아키텍처가 사용될 수 있다(예: 공간 피라미드 풀링(즉, 컨볼루션 계층과 완전 연결 계층 사이에 새로운 계층을 추가하여 임의의 크기 입력을 고정 크기 출력에 매핑) 또는 표준 컨볼루션, 서브매니폴드 컨볼루션 또는 확장/아트러스 컨볼루션을 포함하는 3D 컨볼루션). 다른 실시예는 인코더-디코더 아키텍처를 사용할 것이다. 출력에 따라 다른 손실 함수가 채용될 수 있다. 예를 들어, 챔퍼 손실이 출력을 원본(실측 자료) 포인트 클라우드와 비교하는 데 사용될 수 있다.
아키텍처의 출력도 변경될 수 있다. 현재, 각 복셀에 대해 1비트인 점유 맵 예측이 출력될 수 있다. 그러나 출력 포인트 클라우드의 x,y,z 좌표도 직접 학습될 수 있다. 네트워크의 출력은 입력과 같은 크기(N)일 필요는 없다. 업샘플링된 포인트()는 x3 좌표를 직접 학습하거나 미리 정의된 좌표 맵에서 x1 점유 예측을 식별함으로써 Nx8 점유 맵을 학습하지 않고 직접 학습할 수 있다. 예측에 따라, 포인트의 서브세트가 선택되어 x3 좌표를 형성할 것이다. 출력 점유 맵은 입력 포인트 클라우드에 따라 변경될 수 있다. 예를 들어, 8복셀 점유 맵은 qs=2에 적합할 수 있다. 그러나 qs=4의 경우, 입력 복셀 주변에 예측된 4x4x4=64 복셀을 가지는 것이 더 적합하다. 이는 또한 포인트 클라우드가 모든 반복에서 업샘플링되는 다중 반복 시스템을 훈련하는 데 적합할 수 있다. 이런 식으로 qs=4의 포인트 클라우드는 먼저 qs=2로 업샘플링된 다음 반복에서 원래의 LoD로 업샘플링될 수 있다. 이 방법은 LoD가 매우 낮고 상이한 훈련된 딥 러닝 아키텍처를 통해 반복 시에 업샘플링될 수 있는 포인트 클라우드에 더 적합할 것이다.
지오메트리 업샘플링에 더하여, 여기에 개시된 실시예는 속성(색상, 반사율 등) 업샘플링을 위해 채용될 수 있다. 속성의 경우, 이러한 속성은 지오메트리(좌표)와 함께 네트워크에 입력될 수 있다. 예컨대, 속성이 색상: RGB이면, 네트워크에의 입력은 Nx6일 것이고, 출력은 다음 중 하나일 수 있다:
Nx(8+24), 여기서 8은 예측된 점유 맵이고 24는 각각의 가능한 점유 복셀에 대한 각각의 출력 속성이며 점유 맵에 기초하여 x6으로 변환된다.
x6, 여기서 네트워크는 출력 좌표는 물론 속성도 직접 학습한다.
x(1+3), 여기서 1은 미리 정의된 좌표계에서의 예측된 점유이고, 3은 속성이며, 점유 예측에 따라 서브세트 좌표가 선택되어 x6 포인트 클라우드를 형성할 것이다.
이제 도 4를 참조하면, 포인트 클라우드 데이터를 업샘플링하는 프로그램에 의해 수행되는 방법(400)의 단계들을 예시하는 동작 흐름도가 도시되어 있다.
402에서, 방법(400)은 복수의 복셀을 포함하는 양자화된 포인트 클라우드 데이터를 수신하는 단계를 포함할 수 있다.
404에서, 방법(400)은 복수의 복셀 중에서 양자화 중에 손실된 복셀에 대응하는 양자화된 포인트 클라우드에 대한 점유 맵을 생성하는 단계를 포함할 수 있다.
406에서, 방법(400)은 손실 복셀을 채우는 것에 기초하여 양자화된 포인트 클라우드 데이터로부터 포인트 클라우드를 재구축하는 단계를 포함할 수 있다.
도 4는 단지 하나의 구현의 예시를 제공하고 다른 실시예가 구현될 수 있는 방법과 관련하여 어떠한 한정도 암시하지 않는 것으로 이해되어야 한다. 나타낸 환경에 대해 많은 수정이 설계 및 구현 요건에 기초하여 이루어질 수 있다.
도 5는 예시적인 실시예에 따라 도 1에 나타낸 컴퓨터의 내부 및 외부 구성요소의 블록도(500)이다. 도 5는 단지 하나의 구현의 예시를 제공하고 다른 실시예가 구현될 수 있는 환경과 관련하여 어떠한 한정도 암시하지 않는 것으로 이해되어야 한다. 나타낸 환경에 대해 많은 수정이 설계 및 구현 요건에 기초하여 이루어질 수 있다.
컴퓨터(102)(도 1) 및 서버 컴퓨터(114)(도 1)는 도 5에 도시된 내부 구성요소(800A, 800B) 및 외부 구성요소(900A, 900B)의 각각의 세트를 포함할 수 있다. 내부 구성요소(800)의 각각의 세트는 하나 이상의 프로세서(820), 하나 이상의 버스(826)상의 컴퓨터로 판독 가능한 하나 이상의 RAM(822) 및 컴퓨터로 판독 가능한 하나 이상의 ROM(824), 하나 이상의 운영 체제(828), 그리고 컴퓨터로 판독 가능한 유형의 하나 이상의 저장 기기(830)를 포함한다.
프로세서(820)는 하드웨어, 펌웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 프로세서(820)는 CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerated Processing Unit), 마이크로프로세서, 마이크로컨트롤러, DSP(Digital Signal Processor), FPGA(Field-Programmable Gate Array), ASIC(Application-Specific Integrated Circuit) 또는 다른 타입의 처리 구성요소이다. 일부 구현에서, 프로세서(820)는 기능을 수행하도록 프로그래밍될 수 있는 하나 이상의 프로세서를 포함한다. 버스(826)는 내부 구성요소(800A, 800B) 간의 통신을 가능하게 하는 구성요소를 포함한다.
하나 이상의 운영 체제(828), 소프트웨어 프로그램(108)(도 1), 및 서버 컴퓨터(114)(도 1)상의 포인트 클라우드 처리 프로그램(116)(도 1)은 각각의 RAM(822)(일반적으로 캐시 메모리를 포함함) 중 하나 이상을 통해 각각의 프로세서(820) 중 하나 이상에 의한 실행을 위해 각각의 컴퓨터로 판독 가능한 유형의 저장 기기(820) 중 하나 이상에 저장된다. 도 5에 나타낸 실시예에서, 컴퓨터로 판독 가능한 유형의 저장 장치(830) 각각은 내부 하드 드라이브의 자기 디스크 저장 기기이다. 대안적으로, 컴퓨터로 판독 가능한 유형의 저장 기기(830) 각각은 ROM(824), EPROM, 플래시 메모리, 광디스크, 광자기 디스크, 솔리드 스테이트 디스크, 콤팩트 디스크(CD), DVD(Digital Versatile disc), 플로피 디스크, 카트리지, 자기 테이프, 및/또는 컴퓨터 프로그램 및 디지털 정보를 저장할 수 있는 다른 타입의 컴퓨터로 판독 가능한 유형의 비일시적인 저장 기기이다.
내부 구성요소(800A, 800B)의 각 세트는 또한 CD-ROM, DVD, 메모리 스틱, 자기 테이프, 자기 디스크, 광 디스크 또는 반도체 저장 기기와 같은 하나 이상의 휴대형의, 컴퓨터로 판독 가능한 유형의 저장 기기(936)에 대한 판독 및 기록을 위해 R/W 드라이브 또는 인터페이스(832)를 포함한다.
소프트웨어 프로그램(108)(도 1) 및 포인트 클라우드 처리 프로그램(116)(도 1)과 같은 소프트웨어 프로그램은 각각의 휴대형의, 컴퓨터로 판독 가능한 유형의 저장 기기(936) 중 하나 이상에 저장되고, 각각의 R/W 드라이브 또는 인터페이스(832)를 통해 판독되고 각각의 하드 드라이브(830)에 로드될 수 있다.
내부 구성요소(800A, 800B)의 각 세트는 또한 TCP/IP 어댑터 카드와 같은 네트워크 어댑터 또는 인터페이스(836); 무선 Wi-Fi 인터페이스 카드; 또는 3G, 4G 또는 5G 무선 인터페이스 카드 또는 기타 유선 또는 무선 통신 링크를 포함한다. 소프트웨어 프로그램(108)(도 1), 및 서버 컴퓨터(114)(도 1)상의 포인트 클라우드 처리 프로그램(116)(도 1)은 네트워크(예: 인터넷, 근거리 통신망 또는 기타 광역 통신망) 및 각각의 네트워크 어댑터 또는 인터페이스(836)를 통해 외부 컴퓨터로부터 컴퓨터(102)(도 1) 및 서버 컴퓨터(114)로 다운로드될 수 있다. 네트워크 어댑터 또는 인터페이스(836)로부터, 소프트웨어 프로그램(108) 및 서버 컴퓨터(114)상의 포인트 클라우드 처리 프로그램(116)은 각각의 하드 드라이브(830)에 로드된다. 네트워크는 구리선, 광섬유, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다.
외부 구성요소(900A, 900B)의 세트 각각은 컴퓨터 디스플레이 모니터(920), 키보드(930), 및 컴퓨터 마우스(934)를 포함할 수 있다. 외부 구성요소(900A, 900B)는 또한 터치 스크린, 가상 키보드, 터치 패드, 포인팅 기기 및 기타 휴먼 인터페이스 기기를 포함할 수 있다. 내부 구성요소(800A, 800B)의 세트 각각은 또한 컴퓨터 디스플레이 모니터(920), 키보드(930) 및 컴퓨터 마우스(934)에 인터페이스하기 위한 기기 드라이버(840)를 포함한다. 기기 드라이버(840), R/W 드라이브 또는 인터페이스(832) 및 네트워크 어댑터 또는 인터페이스(836)는 하드웨어 및 소프트웨어(저장 기기(830) 및/또는 ROM(824)에 저장됨)를 포함한다.
비록 본 개시가 클라우드 컴퓨팅에 대한 상세한 설명을 포함하지만, 여기에 인용된 교시의 구현이 클라우드 컴퓨팅 환경으로 한정되지 않는다는 것을 미리 이해해야 한다. 오히려, 일부 실시예는 알려져 있거나 나중에 개발될 임의의 다른 타입의 컴퓨팅 환경과 함께 구현될 수 있다.
클라우드 컴퓨팅은 최소한의 관리 노력 또는 서비스 제공자와의 상호 작용으로 신속하게 프로비저닝되고(provisioned) 및 릴리스될 수 있는 구성 가능한 컴퓨팅 자원(예: 네트워크, 네트워크 대역폭, 서버, 처리, 메모리, 스토리지, 애플리케이션, 가상 머신 및 서비스)의 공유 풀에 대한 편리한 주문형 네트워크 액세스를 가능하게 하는 서비스 제공 모델이다. 이 클라우드 모델은 적어도 다섯 가지 특성, 적어도 세 가지 서비스 모델 및 적어도 네 가지 배치 모델(deployment model)을 포함할 수 있다.
특성은 다음과 같다:
주문형 셀프 서비스(on-demand self-service): 클라우드 소비자는 서비스 제공자와 사람의 상호작용 없이 필요에 따라 자동으로, 서버 시간 및 네트워크 저장장치와 같은, 컴퓨팅 기능을 일방적으로 프로비저닝할 수 있다.
광범위한 네트워크 액세스: 네트워크를 통해 능력을 사용할 수 있으며 이종의 씬 또는 씩(heterogeneous thin or thick) 클라이언트 플랫폼(예: 이동전화, 랩톱 및 PDA)의 사용을 촉진하는 표준 메커니즘을 통해 액세스할 수 있다.
자원 풀링(resource pooling): 공급자의 컴퓨팅 자원은 수요에 따라 동적으로 할당 및 재할당되는 다양한 물리적 및 가상 자원을 사용하여 다중 테넌트 모델(multi-tenant model)을 사용하여 여러 소비자에게 서비스를 제공하도록 풀링된다. 소비자가 일반적으로 제공된 자원의 정확한 위치에 대한 제어 또는 지식이 없지만 더 높은 레벨의 추상화(예: 국가, 주 또는 데이터 센터)에서 위치를 지정할 수 있다는 점에서 위치 독립성이 있다.
신속한 탄력성(rapid elasticity): 능력이 신속하고 탄력적으로 프로비저닝되어, 경우에 따라 자동으로, 신속하게 확장하고 신속하게 릴리스하여 신속하게 축소할 수 있다. 소비자에게 있어, 프로비저닝에 사용할 수 있는 능력은 종종 무제한으로 보이고, 언제든지 임의의 수량으로 구매될 수 있다.
측정된 서비스(measured service): 클라우드 시스템은 서비스 타입(예: 저장장치, 처리, 대역폭 및 활성 사용자 계정)에 적합한 일정한 레벨의 추상화에서 측정 능력을 활용하여 자원 사용을 자동으로 제어하고 최적화한다. 자원 사용량은 모니터링, 제어 및 보고되어, 이용되는 서비스의 공급자와 소비자 모두에게 투명성을 제공한다.
서비스 모델은 다음과 같습니다:
서비스로서의 소프트웨어(SaaS): 소비자에게 제공되는 능력은 클라우드 인프라에서 실행되는 공급자의 애플리케이션을 사용하는 것이다. 애플리케이션은 웹 브라우저(예: 웹 기반 이메일)와 같은 씬 클라이언트 인터페이스를 통해 다양한 클라이언트 기기로부터 액세스할 수 있다. 사용자 특정 애플리케이션 구성 설정을 있을 수 있는 예외로 하면, 소비자는 네트워크, 서버, 운영 체제, 저장장치 또는 개별 애플리케이션 능력도 포함하는 기본 클라우드 인프라를 관리하거나 제어하지 않는다.
서비스로서의 플랫폼(PaaS): 소비자에게 제공되는 능력은 공급자에 지원되는 프로그래밍 언어 및 도구를 사용하여 생성된 소비자가 생성하거나 획득한 애플리케이션을 클라우드 인프라에 배포하는 것이다. 소비자는 네트워크, 서버, 운영 체제 또는 저장장치를 포함한 기본 클라우드 인프라를 관리하거나 제어하지 않지만, 배포된 애플리케이션 및 애플리케이션 호스팅 환경 구성을 제어할 수 있다.
서비스로서의 인프라(IaaS): 소비자에게 제공되는 능력은 소비자가 운영 체제 및 애플리케이션을 포함할 수 있는 임의의 소프트웨어를 배포 및 실행할 수 있는 처리, 저장장치, 네트워크 및 기타 기본 컴퓨팅 자원을 프로비저닝하는 것이다. 소비자는 기본 클라우드 인프라를 관리하거나 제어하지 않지만 운영 체제, 저장장치, 배포된 애플리케이션에 대한 제어권한을 가지며, 일부 네트워킹 구성 요소(예: 호스트 방화벽)에 대한 제한된 제어 권한을 가질 수 있다.
배포 모델은 다음과 같다:
프라이빗 클라우드: 클라우드 인프라는 조직만을 위해 운영된다. 클라우드 인프라는 조직 또는 제3자에 의해 관리될 수 있으며 구내(on-premises) 또는 구외(off-premises)에 존재할 수 있다.
커뮤니티 클라우드: 클라우드 인프라는 여러 조직에 의해 공유되며 관심사항(예: 미션, 보안 요건, 정책 및 규정 준수 고려사항)을 공유하는 특정 커뮤니티를 지원한다. 조직 또는 제3자에 의해 관리될 수 있으며 구내 또는 구외에 존재할 수 있다.
퍼블릭 클라우드: 클라우드 인프라는 일반 대중 또는 대규모 산업 그룹이 사용할 수 있으며 클라우드 서비스를 판매하는 조직이 소유한다.
하이브리드 클라우드: 클라우드 인프라는 유일한 엔터티로 남아 있는 2개 이상의 클라우드(프라이빗, 커뮤니티, 또는 퍼블릭)의 합성이지만 데이터 및 애플리케이션 이식성(application portability)(예: 클라우드 간의 로드 밸런싱을 위한 클라우드 버스팅)을 가능하게 하는 표준화된 또는 독점 기술에 의해 함께 바인딩된다.
클라우드 컴퓨팅 환경은 무상태(stateless), 낮은 결합성(coupling), 모듈성(modularity) 및 시맨틱스 상호 운용성(semantic interoperability)에 중점을 둔 서비스 지향적인 환경이다. 클라우드 컴퓨팅의 중심에는 상호연결된 노드의 네트워크를 포함하는 인프라가 있다.
도 6을 참조하면, 예시적인 클라우드 컴퓨팅 환경(600)이 도시되어 있다. 도시된 바와 같이, 클라우드 컴퓨팅 환경(600)은 예를 들어 개인 휴대 정보 단말기(PDA) 또는 셀룰러폰(54A), 데스크톱 컴퓨터(54B), 랩톱 컴퓨터(54C), 및/또는 자동차 컴퓨터 시스템(54N)과 같은, 클라우드 소비자에 의해 사용되는 로컬 컴퓨팅 기기와 통신할 수 있는 하나 이상의 클라우드 컴퓨팅 노드(10)를 포함한다. 클라우드 컴퓨팅 노드(10)는 서로 통신할 수 있다. 이들은 설명한 프라이빗, 커뮤니티, 퍼블릭 또는 하이브리드 클라우드 또는 이들의 조합과 같은 하나 이상의 네트워크에서, 물리적으로 또는 가상으로 그룹화될 수 있다(도시되지 않음). 이것은 클라우드 컴퓨팅 환경(600)이 클라우드 소비자가 로컬 컴퓨팅 기기상의 자원을 유지할 필요가 없는 서비스로서의 인프라, 플랫폼 및/또는 소프트웨어를 제공할 수 있게 한다. 도 6에 도시된 컴퓨팅 기기(54A-N)의 타입은 단지 예시를 위한 것이고 클라우드 컴퓨팅 노드(10) 및 클라우드 컴퓨팅 환경(600)은 임의의 타입의 네트워크 및/또는 네트워크 주소지정 가능한 연결(예: 웹 브라우저를 사용하여)을 통해 임의의 타입의 컴퓨터화된 기기와 통신할 수 있다는 것을 이해한다.
도 7을 참조하면, 클라우드 컴퓨팅 환경(600)(도 6)에 의해 제공되는 기능 추상화 계층(functional abstraction layer)(700)의 세트가 도시되어 있다. 도 7에 도시된 구성요소, 계층 및 기능은 단지 예시지를 위한 것이고 실시예는 이에 한정되는 것은 아니라는 것을 미리 이해해야 한다. 나타낸 바와 같이, 다음 계층과 대응하는 기능이 제공된다:
하드웨어 및 소프트웨어 계층(60)은 하드웨어 및 소프트웨어 구성요소를 포함한다. 하드웨어 구성요소의 예는 다음을 포함한다: 메인프레임(61); RISC(Reduced Instruction Set Computer) 아키텍처 기반 서버(62); 서버(63); 블레이드 서버(blade server)(64); 저장 기기(65); 그리고 네트워크 및 네트워킹 구성요소(66)를 포함한다. 일부 실시예에서, 소프트웨어 구성요소는 네트워크 애플리케이션 서버 소프트웨어(67) 및 데이터베이스 소프트웨어(68)를 포함한다.
가상화 계층(virtualization layer)(70)은 가상 엔티티의 다음 예가 제공될 수 있는 추상화 계층(abstraction layer)을 제공한다: 가상 서버(71); 가상 저장장치(72); 가상 프라이빗 네트워크를 포함하는 가상 네트워크(73); 가상 애플리케이션 및 운영 체제(74); 그리고 가상 클라이언트(75).
일례에서, 관리 계층(80)은 아래에서 설명되는 기능들을 제공할 수 있다. 자원 프로비저닝(81)은 클라우드 컴퓨팅 환경 내에서 태스크를 수행하는 데 이용되는 컴퓨팅 자원 및 기타 자원의 동적 조달을 제공한다. 측정 및 가격 책정(Metering and Pricing)(82)는 자원이 클라우드 컴퓨팅 환경 내에서 활용됨에 따라 비용 추적을 제공하고, 이러한 자원의 소비에 대한 청구 또는 송장 발행을 제공한다. 한 예에서, 이러한 자원은 애플리케이션 소프트웨어 라이선스를 포함할 수 있다. 보안은 데이터 및 기타 자원에 대한 보호는 물론, 클라우드 소비자 및 태스크에 대한 ID 확인을 제공한다. 사용자 포털(83)은 소비자 및 시스템 관리자에게 클라우드 컴퓨팅 환경에 대한 액세스를 제공한다. 서비스 레벨 관리(84)는 요구되는 서비스 레벨이 충족되도록 클라우드 컴퓨팅 자원 할당 및 관리를 제공한다. 서비스 레벨 계약(Service Level Agreement, SLA) 계획 및 이행(85)은 SLA에 따라 장래의 요건이 예상되는 클라우드 컴퓨팅 자원에 대한 사전 준비 및 조달을 제공한다.
작업부하 계층(workloads layer)(90)은 클라우드 컴퓨팅 환경이 이용될 수 있는 기능의 예를 제공한다. 이 계층에서 제공될 수 있는 작업부하 및 기능의 예는 다음을 포함한다: 매핑 및 네비게이션(91); 소프트웨어 개발 및 수명 주기 관리(92); 가상 교실 교육 교부(virtual classroom education delivery)(93); 데이터 분석 처리(94); 트랜잭션 처리(95); 및 포인트 클라우드 처리(96). 포인트 클라우드 처리(96)는 양자화 후에 누락된 복셀을 복원하기 위해 포인트 클라우드 데이터를 업샘플링할 수 있다.
일부 실시예는 시스템, 방법, 및/또는 통합의 가능한 기술 세부사항 레벨에서 컴퓨터로 판독 가능한 매체에 관한 것일 수 있다. 컴퓨터로 판독 가능한 매체는 프로세서로 하여금 동작을 수행하게 하기 위한 컴퓨터로 판독 가능한 프로그램 명령어를 갖는 컴퓨터로 판독 가능한 비일시적 저장 매체(medium or media)를 포함할 수 있다.
컴퓨터로 판독 가능한 저장 매체는 명령어 실행 기기에 의해 사용을 위해 명령어를 보유하고 저장할 수 있는 유형의 기기일 수 있다. 컴퓨터로 판독 가능한 저장 매체는, 예를 들어 전자 저장 기기, 자기 저장 기기, 광학 저장 기기, 전자기 저장 기기, 반도체 저장 기기, 또는 이들의 임의의 적절한 조합일 수 있지만 이에 한정되지 않는다. 컴퓨터로 판독 가능한 저장 매체의 더 구체적인 예의 비배타적인 목록은 다음을 포함한다: 휴대형 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 소거 가능한 프로그램 가능한 판독 전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대형 컴팩트 디스크 판독 전용 메모리(CD-ROM), 디지털 다목적 디스크(DVD), 메모리 스틱, 플로피 디스크, 펀치 카드 또는 그 위에 기록된 명령어를 갖는 홈의 융기 구조(raised structure)와 같은 기계적으로 인코딩된 기기, 및 전술한 것의 임의의 적절한 조합. 여기에 사용된 바와 같은, 컴퓨터로 판독 가능한 저장 매체는 전파(radio wave) 또는 기타 자유롭게 전파하는 전자기파, 도파관 또는 기타 전송 매체(예: 광섬유 케이블을 지나는 광 펄스)를 통해 전파하는 전자기파 또는 전선을 통해 전송되는 전기 신호와 같이, 그 자체가 일시적인 신호인 것으로 해석되어서는 안 된다.
여기에 기술된 컴퓨터로 판독 가능한 프로그램 명령어는 컴퓨터로 판독 가능한 저장 매체로부터 각각의 컴퓨팅/처리 기기로, 또는 네트워크, 예를 들어, 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크를 통해 외부 컴퓨터 또는 외부 저장 기기에 다운로드될 수 있다. 네트워크는 구리 전송 케이블, 광전송 섬유, 무선 전송, 라우터, 방화벽, 교환기, 게이트웨이 컴퓨터 및/또는 에지 서버를 포함할 수 있다. 각각의 컴퓨팅/처리 기기 내의 네트워크 어댑터 카드 또는 네트워크 인터페이스는 네트워크로부터 컴퓨터로 판독 가능한 프로그램 명령어를 수신하고 각각의 컴퓨팅/처리 기기 내의 컴퓨터로 판독 가능한 저장 매체에 저장하기 위해 컴퓨터로 판독 가능한 프로그램 명령어를 포워딩한다.
동작을 수행하기 위한 컴퓨터로 판독 가능한 프로그램 코드/명령어는 어셈블러 명령어, 명령어 세트 아키텍처(instruction-set-architecture, ISA) 명령어, 기계 명령어, 기계 종속 명령어, 마이크로코드, 펌웨어 명령어, 상태 설정 데이터, 집적회로용 구성 데이터, 또는 Smalltalk, C++ 등과 같은 객체 지향 프로그래밍 언어와, "C" 프로그래밍 언어 또는 유사한 프로그래밍 언어와 같은 절차적 프로그래밍 언어를 포함한, 하나 이상의 프로그래밍 언어의 조합으로 작성된 소스 코드 또는 목적 코드 중 하나일 수 있다. 컴퓨터로 판독 가능한 프로그램 명령어는 전체가 사용자의 컴퓨터에서, 부분적으로 사용자의 컴퓨터에서, 독립 실행형 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터에서 그리고 부분적으로 원격 컴퓨터에서 또는 전체적으로 원격 컴퓨터 또는 서버에서 실행될 수 있다. 후자의 시나리오에서, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 포함한, 모든 타입의 네트워크를 통해 사용자의 컴퓨터에 연결될 수 있거나, 외부 컴퓨터에 연결될 수 있다(예: 인터넷 서비스 공급자를 사용하여 인터넷을 통해). 일부 실시예에서, 예를 들어 프로그램 가능한 논리 회로, 필드 프로그래머블 게이트 어레이(FPGA), 또는 PLA(Programmable Logic Array)를 포함하는 전자 회로는, 측면이나 동작을 수행하기 위해, 전자 회로를 개인화하기 위해 컴퓨터로 판독 가능한 프로그램 명령어의 상태 정보를 이용함으로써 컴퓨터로 판독 가능한 프로그램 명령어를 실행할 수 있다.
이러한 컴퓨터로 판독 가능한 프로그램 명령어는 범용 컴퓨터, 특수 목적 컴퓨터 또는 기타 프로그램 가능한 데이터 처리 장치의 프로세서에 제공되어, 기계를 생성할 수 있어, 컴퓨터의 프로세서 또는 기타 프로그램 가능한 데이터 처리 장치를 통해 실행되는 명령어가 흐름도 및/또는 블록도의 블록 또는 블록들에 지정된 기능/행위(act)를 구현하기 위한 수단을 생성하도록 한다. 이러한 컴퓨터로 판독 가능한 프로그램 명령어는 또한 컴퓨터, 프로그램 가능한 데이터 처리 장치, 및/또는 다른 기기가 특정 방식으로 기능하도록 지시할 수 있는 컴퓨터로 판독 가능한 저장 매체에 저장될 수 있으므로, 내부에 명령어가 저장된, 컴퓨터로 판독 가능한 저장 매체는 흐름도 및/또는 블록도 블록 또는 블록들에 지정된 기능/행위의 측면을 구현하는 명령어를 포함하는 제조 물품을 포함한다.
컴퓨터로 판독 가능한 프로그램 명령어는 또한 컴퓨터, 다른 프로그램 가능한 데이터 처리 장치 또는 다른 장치에 로드되어, 컴퓨터, 다른 프로그램 가능한 장치 또는 다른 장치에서 일련의 동작 단계가 수행되어 컴퓨터 구현된 프로세스를 생성하게 할 수 있으므로, 컴퓨터, 기타 프로그램 가능한 장치 또는 기타 장치에서 실행되는 명령어가 흐름도 및/또는 블록도의 블록 또는 블록들에 지정된 기능/행위를 구현하도록 한다.
도면에서의 순서도 및 블록도는 다양한 실시예에 따른 시스템, 방법 및 컴퓨터로 판독 가능한 매체의 가능한 구현의 아키텍처, 기능 및 동작을 나타낸다. 이와 관련하여, 흐름도 또는 블록도에서의 각 블록은 지정된 논리 기능(들)을 구현하기 위한 하나 이상의 실행 가능한 명령어를 포함하는 모듈, 세그먼트 또는 명령어의 부분을 나타낼 수 있다. 방법, 컴퓨터 시스템, 및 컴퓨터로 판독 가능한 매체는 도면에 도시된 것과 달리 추가 블록, 더 적은 블록, 상이한 블록, 또는 다르게 배치된 블록을 포함할 수 있다. 일부 대안적인 구현에서, 블록에 언급된 기능은 도면에 언급된 순서와 다르게 발생할 수 있다. 예를 들어, 연속적으로 도시된 2개의 블록은 실제로는, 동시에 또는 실질적으로 동시에 실행될 수 있거나, 관련된 기능에 따라 블록은 때때로 역순으로 실행될 수 있다. 또한, 블록도 및/또는 순서도의 각각의 블록과 블록도 및/또는 순서도의 블록들의 조합은 지정된 기능 또는 행위를 수행하는 특수 목적 하드웨어 기반 시스템에 의해 구현될 수 있거나 특수 목적 하드웨어와 컴퓨터 명령어의 조합을 수행할 수 있다.
여기에 설명된 시스템 및/또는 방법은 다른 형태의 하드웨어, 펌웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있음이 명백할 것이다. 이러한 시스템 및/또는 방법을 구현하는 데 사용되는 실제 특수 제어 하드웨어 또는 소프트웨어 코드는 그 구현이 제한되지 않는다. 따라서, 시스템 및/또는 방법의 동작 및 거동은 특정 소프트웨어 코드를 참조하지 않고 여기에 설명되었으며, 소프트웨어 및 하드웨어는 여기에서의 설명에 기초하여 시스템 및/또는 방법을 구현하도록 설계될 수 있음을 이해해야 한다.
여기에 사용된 요소, 행위 또는 명령어는 명시적으로 기술되지 않는 한 중요하거나 필수적인 것으로 해석되어서는 안 된다. 또한, 여기에 사용된 바와 같이, "일"(영어의 관사 "a" 및 "an"에 해당)은 하나 이상의 항목을 포함하도록 의도되고, "하나 이상"과 상호교환적으로 사용될 수 있다. 또한, 여기에 사용된 바와 같이, 용어 "세트(set)"는 하나 이상의 항목(예: 관련 항목, 관련되지 않은 항목, 관련된 항목과 관련되지 않은 항목의 조합 등)을 포함하도록 의도되고, "하나 이상”과 상호교환적으로 사용될 수 있다. 하나의 항목만이 의도된 경우, 용어 "하나(한)" 또는 유사한 표현이 사용된다. 또한, 본 명세서에서 사용된 바와 같이, "갖는다", "갖는" 등의 용어는 제약을 두지 않은 용어로 의도된다. 또한, "~에 기초한"이라는 문구는 달리 명시적으로 언급되지 않는 한, "적어도 부분적으로, ~에 기초한"을 의미하도록 의도된다.
다양한 측면 및 실시예의 설명은 예시의 목적으로 제시되었지만, 개시된 실시예를 망라한 것으로 또는 개시된 실시예에 한정되는 것으로 의도되지 않는다. 특징들의 조합이 청구범위에 인용되고/거나 명세서에 개시되더라도, 이러한 조합은 가능한 구현의 개시를 한정하는 것으로 의도되지 않는다. 사실, 이들 특징 중 다수는 청구범위에 구체적으로 언급되지 않은 방식 및/또는 명세서에 개시되지 않은 방식으로 조합될 수 있다. 아래에 나열된 각각의 종속항은 하나의 청구항에만 직접적으로 종속할 수 있지만, 가능한 구현의 개시는 청구항 세트의 다른 모든 청구항과 조합된 각각의 종속항을 포함한다. 기술된 실시예의 범위를 벗어나지 않는 많은 수정 및 변형이 당업자에게 명백할 것이다. 여기에서 사용된 용어는 실시예의 원리, 시장에서 발견되는 기술에 대한 실질적인 적용 또는 기술적 개선을 가장 잘 설명하기 위해, 또는 당업자가 여기에 개시된 실시예를 이해할 수 있게 하기 위해 선택되었다.
Claims (20)
- 프로세서에 의해 실행 가능한, 포인트 클라우드를 처리하는 방법으로서,
복수의 복셀을 포함하는 양자화된 포인트 클라우드 데이터를 수신하는 단계;
상기 복수의 복셀 중에서 양자화 중에 손실된 복셀에 대응하는 양자화된 포인트 클라우드에 대한 점유 맵(occupancy map)을 생성하는 단계 - 상기 점유 맵은 상기 복수의 복셀 중에서 각각의 복셀이 손실될 예측 확률에 대응함 - ; 및
상기 손실된 복셀을 채우는 것(populating)을 통해, 상기 점유 맵에 기초하여 상기 양자화된 포인트 클라우드 데이터로부터 포인트 클라우드를 재구축하는 단계
를 포함하는 방법. - 삭제
- 제1항에 있어서,
상기 손실된 복셀은 임계값보다 큰 예측 확률에 기초하여 채워지는, 방법. - 제1항에 있어서,
상기 포인트 클라우드는 상기 양자화된 포인트 클라우드 데이터를 하나 이상의 패치(patch)로 분할하고 상기 패치를 업샘플링하는 것에 기초하여 재구축되는, 방법. - 제1항에 있어서,
상기 포인트 클라우드는 상기 점유 맵과 연관된 이진 교차 엔트로피 분류 손실(binary cross-entropy classification loss)을 최소화하는 것에 기초하여 재구축되는, 방법. - 제1항에 있어서,
상기 포인트 클라우드는 U-net, 공간 피라미드 풀링(spatial pyramid pooling), 또는 3D 컨볼루션(convolution) 중에서 하나 이상을 통해 재구축되는, 방법. - 제6항에 있어서,
상기 3D 컨볼루션은 컨볼루션, 서브매니폴드(submanifold) 컨볼루션, 확장형(dilated) 컨볼루션 및 아트러스(atrous) 컨볼루션 중에서 하나 이상을 포함하는, 방법. - 포인트 클라우드 처리를 위한 컴퓨터 시스템으로서,
컴퓨터 프로그램 코드를 저장하도록 구성된, 컴퓨터로 판독 가능한 하나 이상의 비일시적인 저장 매체; 및
상기 컴퓨터 프로그램 코드에 액세스하고 상기 컴퓨터 프로그램 코드에 의해 명령받은 대로 동작하도록 구성된 하나 이상의 컴퓨터 프로세서를 포함하고,
상기 컴퓨터 프로그램 코드는,
상기 하나 이상의 컴퓨터 프로세서로 하여금 복수의 복셀을 포함하는 양자화된 포인트 클라우드 데이터를 수신하게 하도록 구성된 수신 코드;
상기 하나 이상의 컴퓨터 프로세서로 하여금 상기 복수의 복셀 중에서 양자화 중에 손실된 복셀에 대응하는 양자화된 포인트 클라우드에 대한 점유 맵을 생성하게 하도록 구성된 생성 코드 - 상기 점유 맵은 상기 복수의 복셀 중에서 각각의 복셀이 손실될 예측 확률에 대응함 - ; 및
상기 하나 이상의 컴퓨터 프로세서로 하여금 상기 손실된 복셀을 채우는 것을 통해, 상기 점유 맵에 기초하여 상기 양자화된 포인트 클라우드 데이터로부터 포인트 클라우드를 재구축하게 하도록 구성된 재구축 코드를 포함하는,
컴퓨터 시스템. - 삭제
- 제8항에 있어서,
상기 손실된 복셀은 임계값보다 큰 예측 확률에 기초하여 채워지는, 컴퓨터 시스템. - 제8항에 있어서,
상기 포인트 클라우드는 상기 양자화된 포인트 클라우드 데이터를 하나 이상의 패치로 분할하고 상기 패치를 업샘플링하는 것에 기초하여 재구축되는, 컴퓨터 시스템. - 제8항에 있어서,
상기 포인트 클라우드는 상기 점유 맵과 연관된 이진 교차 엔트로피 분류 손실을 최소화하는 것에 기초하여 재구축되는, 컴퓨터 시스템. - 제8항에 있어서,
상기 포인트 클라우드는 U-net, 공간 피라미드 풀링, 또는 3D 컨볼루션 중에서 하나 이상을 통해 재구축되는, 컴퓨터 시스템. - 제13항에 있어서,
상기 3D 컨볼루션은 컨볼루션, 서브매니폴드 컨볼루션, 확장형 컨볼루션 및 아트러스 컨볼루션 중에서 하나 이상을 포함하는, 컴퓨터 시스템. - 포인트 클라우드 처리를 위한 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 비일시적인 매체로서,
상기 컴퓨터 프로그램은 하나 이상의 컴퓨터 프로세서로 하여금,
복수의 복셀을 포함하는 양자화된 포인트 클라우드 데이터를 수신하고;
상기 복수의 복셀 중에서 양자화 중에 손실된 복셀에 대응하는 양자화된 포인트 클라우드에 대한 점유 맵을 생성하고 - 상기 점유 맵은 상기 복수의 복셀 중에서 각각의 복셀이 손실될 예측 확률에 대응함 - ;
상기 손실된 복셀을 채우는 것을 통해 상기 점유 맵에 기초하여 상기 양자화된 포인트 클라우드 데이터로부터 포인트 클라우드를 재구축하게 하도록 구성되는,
컴퓨터로 판독 가능한 비일시적인 매체. - 삭제
- 제15항에 있어서,
상기 손실된 복셀은 임계값보다 큰 예측 확률에 기초하여 채워지는, 컴퓨터로 판독 가능한 비일시적인 매체. - 제15항에 있어서,
상기 포인트 클라우드는 상기 점유 맵과 연관된 이진 교차 엔트로피 분류 손실을 최소화하는 것에 기초하여 재구축되는, 컴퓨터로 판독 가능한 비일시적인 매체. - 제15항에 있어서,
상기 포인트 클라우드는 U-net, 공간 피라미드 풀링, 또는 3D 컨볼루션 중에서 하나 이상을 통해 재구축되는, 컴퓨터로 판독 가능한 비일시적인 매체. - 제19항에 있어서,
상기 3D 컨볼루션은 컨볼루션, 서브매니폴드 컨볼루션, 확장형 컨볼루션 및 아트러스 컨볼루션 중에서 하나 이상을 포함하는, 컴퓨터로 판독 가능한 비일시적인 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063049862P | 2020-07-09 | 2020-07-09 | |
| US63/049,862 | 2020-07-09 | ||
| US17/345,063 US11893691B2 (en) | 2020-07-09 | 2021-06-11 | Point cloud geometry upsampling |
| US17/345,063 | 2021-06-11 | ||
| PCT/US2021/038475 WO2022010646A1 (en) | 2020-07-09 | 2021-06-22 | Point cloud geometry upsampling |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220047809A KR20220047809A (ko) | 2022-04-19 |
| KR102608160B1 true KR102608160B1 (ko) | 2023-11-29 |
Family
ID=79173783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227007995A KR102608160B1 (ko) | 2020-07-09 | 2021-06-22 | 포인트 클라우드 지오메트리 업샘플링 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11893691B2 (ko) |
| EP (1) | EP4028791A4 (ko) |
| JP (1) | JP7368623B2 (ko) |
| KR (1) | KR102608160B1 (ko) |
| CN (1) | CN114556147A (ko) |
| WO (1) | WO2022010646A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409161A (zh) * | 2022-07-06 | 2024-01-16 | 戴尔产品有限公司 | 点云处理方法和电子设备 |
| WO2024086165A1 (en) * | 2022-10-18 | 2024-04-25 | Interdigital Vc Holdings, Inc. | Context-aware voxel-based upsampling for point cloud processing |
| CN116994671B (zh) * | 2023-09-25 | 2024-01-02 | 之江实验室 | 一种基于点云数据快速筛选小分子药物的方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190311500A1 (en) * | 2018-04-10 | 2019-10-10 | Apple Inc. | Point cloud compression |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9996944B2 (en) * | 2016-07-06 | 2018-06-12 | Qualcomm Incorporated | Systems and methods for mapping an environment |
| US10970518B1 (en) * | 2017-11-14 | 2021-04-06 | Apple Inc. | Voxel-based feature learning network |
| KR20210018254A (ko) | 2018-06-06 | 2021-02-17 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치 |
| US10685476B2 (en) * | 2018-07-31 | 2020-06-16 | Intel Corporation | Voxels sparse representation |
-
2021
- 2021-06-11 US US17/345,063 patent/US11893691B2/en active Active
- 2021-06-22 WO PCT/US2021/038475 patent/WO2022010646A1/en unknown
- 2021-06-22 CN CN202180005723.9A patent/CN114556147A/zh active Pending
- 2021-06-22 EP EP21838568.0A patent/EP4028791A4/en active Pending
- 2021-06-22 KR KR1020227007995A patent/KR102608160B1/ko active IP Right Grant
- 2021-06-22 JP JP2022527968A patent/JP7368623B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190311500A1 (en) * | 2018-04-10 | 2019-10-10 | Apple Inc. | Point cloud compression |
Non-Patent Citations (2)
| Title |
|---|
| Shuran Song et al. "Semantic scene completion from a single depth image", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017, pp. 1746-1754. 1부.* |
| YUAN HUI ET AL: "A Sampling-based 3D Point Cloud Compression Algorithm for Immersive Communication", MOBILE NETWORKS AND APPLICATIONS, SPRINGER US, NEW YORK, vol. 25, no. 5, 2020.06.27. 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7368623B2 (ja) | 2023-10-24 |
| US20220012945A1 (en) | 2022-01-13 |
| KR20220047809A (ko) | 2022-04-19 |
| WO2022010646A1 (en) | 2022-01-13 |
| EP4028791A4 (en) | 2022-11-23 |
| EP4028791A1 (en) | 2022-07-20 |
| US11893691B2 (en) | 2024-02-06 |
| CN114556147A (zh) | 2022-05-27 |
| JP2023501640A (ja) | 2023-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102608160B1 (ko) | 포인트 클라우드 지오메트리 업샘플링 | |
| US11580671B2 (en) | Hash-based attribute prediction for point cloud coding | |
| US20240020886A1 (en) | Updates on context modeling of occupancy coding for point cloud coding | |
| US11438628B2 (en) | Hash-based accessing of geometry occupancy information for point cloud coding | |
| US20240013445A1 (en) | Coding of multiple-component attributes for point cloud coding | |
| JP2023504818A (ja) | 点群コーディングのための方法、コンピュータプログラム、システム、および非一時的コンピュータ読み取り可能媒体 | |
| US20240177356A1 (en) | Improvement on predictive tree-based geometry coding for a point cloud | |
| AU2021257883B2 (en) | Context modeling of occupancy coding for pointcloud coding | |
| US20210390763A1 (en) | Geometry model for point cloud coding | |
| RU2817735C1 (ru) | Контекстное моделирование кодирования занятости для кодирования облака точек | |
| US20230177730A1 (en) | Stochastic compression of raster data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |