KR102568699B1

KR102568699B1 - Floor-aware Post-processing method for Point Cloud Generated from 360-degree Panoramic Indoor Images

Info

Publication number: KR102568699B1
Application number: KR1020220113287A
Authority: KR
Inventors: 이채은; 이두열
Original assignee: 인하대학교 산학협력단
Priority date: 2022-09-07
Filing date: 2022-09-07
Publication date: 2023-08-22

Abstract

본 발명은 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법에 관한 것으로, 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 사실적인 포인트 클라우드를 생성할 수 있고 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드에서 그래픽 물체와의 인터렉션시 사실감을 높이기 위해 바닥면에 대해 평탄화를 수행하는 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법을 제공한다. The present invention relates to a post-processing method considering the bottom surface of a point cloud generated from a 360-degree panoramic indoor image, based on a 360-degree panoramic indoor RGB image that can be acquired relatively easily without using expensive professional equipment. A point cloud generated from a 360-degree panoramic indoor RGB image that can create a realistic point cloud and flattening the floor surface to increase realism when interacting with a graphic object in the point cloud generated from the 360-degree panoramic indoor RGB image A post-processing method considering the bottom surface is provided.

Description

Floor-aware Post-processing method for Point Cloud Generated from 360-degree Panoramic Indoor Images}

본 발명은 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법에 관한 것으로서, 더욱 상세하게는 Lidar 센서, RGB-D 센서 등의 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 사실적인 포인트 클라우드를 생성할 수 있는 방법에 관한 것이다.The present invention relates to a post-processing method considering the bottom surface of a point cloud generated from a 360-degree panoramic indoor image, and more particularly, relatively easily without using expensive professional equipment such as lidar sensor and RGB-D sensor. It relates to a method capable of generating a realistic point cloud based on an acquired 360-degree panoramic indoor RGB image.

최근 가상 현실(Virtual Reality; VR), 메타버스 기반 산업이 발전함에 따라 3차원(3D) 구현을 위한 기술들이 주목받고 있다. Recently, as virtual reality (VR) and metaverse-based industries develop, technologies for three-dimensional (3D) implementation are attracting attention.

우선 가상 현실(VR)은 컴퓨터를 통해서 가상현실을 체험하게 해주는 최첨단 기술을 말한다. 가상현실이라는 개념은 1970년 중반에 비디오플레이스(Videoplace) 개념을 창안한 크루거(Myron Krueger) 박사에 의해 처음으로 탄생되었는데, 인공현실(Artificial Reality) 또는 인조 두뇌 공간이라고도 한다. 가상현실에서는 모든 것들을 사용자가 원하는 방향대로 조작하거나 실행할 수 있다. 3D 애니메이션과의 차이점은 실시간으로 시연자가 스스로의 판단과 선택으로 3차원의 가상공간에서 이동과 사물의 작동 등을 제어할 수 있다는 것이다.First of all, virtual reality (VR) refers to the cutting-edge technology that allows users to experience virtual reality through a computer. The concept of virtual reality was first born in the mid-1970s by Dr. Myron Krueger, who invented the concept of Videoplace, which is also called artificial reality or artificial brain space. In virtual reality, everything can be manipulated or executed in the direction the user wants. The difference from 3D animation is that the demonstrator can control movement and operation of objects in a 3D virtual space with his or her own judgment and selection in real time.

그리고, 메타버스(Metaverse)는 현실세계를 의미하는 ‘Universe(유니버스)’와 ‘가공, 추상’을 의미하는 'Meta(메타)’의 합성어로 3차원 가상세계를 뜻한다. 메타버스에는 가상세계 이용자가 만들어내는 UGC(User Generated Content)가 상품으로서, 가상통화를 매개로 유통되는 특징이 있다. 미국 IT 벤처기업인 린든랩이 만든 세컨드 라이프(Second Life)의 인기가 증가하면서 메타버스에 대한 관심이 크게 높아지고 있다.And, Metaverse is a compound word of ‘Universe’ meaning the real world and ‘Meta’ meaning ‘processing, abstraction’ and means a three-dimensional virtual world. In the metaverse, UGC (User Generated Content) created by users of the virtual world is distributed as a product and is distributed through virtual currency. As the popularity of Second Life, created by Linden Lab, an American IT venture company, is increasing, interest in metaverse is growing.

한편, 포인트 클라우드는 x, y, z 좌표의 점 구름으로, 포인트 클라우드 기반의 3D 시각적 표현은 보다 사실적이고 포괄적인 공간 표현을 할 수 있다. 이러한 포인트 클라우드의 획득은 일반적으로 Lidar 센서, RGB-D 센서 등을 통해 이루어진다. Meanwhile, a point cloud is a point cloud of x, y, and z coordinates, and a 3D visual representation based on a point cloud can provide a more realistic and comprehensive spatial representation. Acquisition of such a point cloud is generally performed through a lidar sensor, an RGB-D sensor, and the like.

그러나, 포인트 클라우드의 획득에 이러한 고가의 전문 장비를 사용해야 한다는 점에서 광범위한 응용 분야에 활용되기 어렵다.However, it is difficult to be used in a wide range of applications in that expensive specialized equipment must be used for point cloud acquisition.

참고문헌 1 : Iro Armeni, Ozan Sener, “3D Semantic Parsing of Large-Scale Indoor Spaces”, IEEE 2016 Reference 1 : Iro Armeni, Ozan Sener, “3D Semantic Parsing of Large-Scale Indoor Spaces”, IEEE 2016 참고문헌 2 : Ilwi Yun, Hyuk-Jae Lee, Chae Eun Rhee, “Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning, CVPR 2021 Reference 2: Ilwi Yun, Hyuk-Jae Lee, Chae Eun Rhee, “Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning, CVPR 2021 참고문헌 3 : http://www.open3d.org/ Reference 3: http://www.open3d.org/

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 사실적인 포인트 클라우드를 생성할 수 있는 방법을 제공하는 것이다.The present invention has been made to solve the above problems, and an object of the present invention is to generate a realistic point cloud based on a 360-degree panoramic indoor RGB image that can be acquired relatively easily without using expensive professional equipment. It provides a way to do it.

특히, 본 발명은 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드에서 그래픽 물체와의 인터렉션에서 사실감을 높이기 위해 바닥면에 대해 평탄화를 수행하는 방법의 제공을 그 목적으로 하는 것이다. Particularly, an object of the present invention is to provide a method of flattening a floor surface in order to increase realism in an interaction with a graphic object in a point cloud generated from a 360-degree panoramic indoor RGB image.

이와 같은 기술적 과제를 해결하기 위해 본 발명은; The present invention to solve such a technical problem;

360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 취득하는 제1단계; 상기 깊이 정보로부터 생성된 포인트 클라우드에서 바닥면을 구분하는 제2단계; 및 상기 바닥면의 한 점을 지정하여 다른 바닥면의 점들을 해당 점의 z좌표와 일치시켜 평탄한 바닥면을 만드는 제3단계;를 포함하는 것을 특징으로 하는 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법을 제공한다.A first step of obtaining depth information from a 360-degree panoramic indoor RGB image; a second step of distinguishing a floor from a point cloud generated from the depth information; and a third step of designating a point on the floor surface and matching points on another floor surface with the z-coordinate of the corresponding point to create a flat floor surface. Provides a post-processing method considering the bottom surface of

이때, 상기 제1단계는 딥러닝 모델(Deep Learning Model)을 통해 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 추출하는 단계인 것을 특징으로 한다.In this case, the first step is characterized in that the depth information is extracted from the 360-degree panoramic indoor RGB image through a deep learning model.

그리고, 상기 제1단계는 상기 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 Joint_360depth를 사용하여 추정하는 단계인 것을 특징으로 한다.The first step is characterized by estimating depth information from the 360-degree panoramic indoor RGB image using Joint_360depth.

또한, 상기 제2단계는 깊이 정보로부터 생성된 포인트 클라우드로부터 법선 벡터(normal vector)를 계산한 후, 법선 벡터(normal vector)의 방향과 z좌표에 따라 바닥면을 구분하는 단계인 것을 특징으로 한다.In addition, the second step is characterized in that, after calculating a normal vector from a point cloud generated from depth information, the floor is divided according to the direction and z-coordinate of the normal vector. .

아울러, 상기 제3단계는 오픈소스인 Open3D를 통해 법선 벡터(normal vector)를 계산하여 z좌표와 함께 바닥면을 인식한 후 z좌표를 일치시켜 포인트 클라우드를 얻는 단계인 것을 특징으로 한다.In addition, the third step is characterized in that a normal vector is calculated through Open3D, which is an open source, and a point cloud is obtained by matching the z coordinates after recognizing the floor along with the z coordinates.

본 발명에 따르면, 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 하여 포인트 클라우드를 생성할 수 있고, 그로 인해 광범위한 응용 분야에 활용할 수 있는 장점이 있다.According to the present invention, it is possible to generate a point cloud based on a 360-degree panoramic indoor RGB image that can be acquired relatively easily without using expensive professional equipment, and thus has the advantage of being able to be used in a wide range of applications. there is.

아울러, 본 발명에 따르면 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드에서 바닥면에 대해 평탄화를 수행하여 그래픽 물체와의 인터렉션에서 사실감을 높이는 효과가 있다.In addition, according to the present invention, a floor surface is flattened in a point cloud generated from a 360-degree panoramic indoor RGB image, thereby increasing realism in an interaction with a graphic object.

도 1은 본 발명에 따른 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리를 위한 이미지 처리장치의 구성도이다.
도 2의 (a) 및 (b)는 본 발명에 따른 파노라마 영상의 평탄화 과정 전후의 포인트 클라우드의 결과를 비교하기 위해 도시한 도면이다.
도 3은 본 발명에 따른 파노라마 영상의 Dataset과 평탄화 과정 전후의 RMS 값 비교표이다.1 is a configuration diagram of an image processing apparatus for post-processing in consideration of the bottom surface of a point cloud generated from a 360-degree panoramic indoor image according to the present invention.
2(a) and (b) are diagrams for comparing point cloud results before and after a process of flattening a panoramic image according to the present invention.
3 is a comparison table of RMS values before and after a dataset of a panoramic image and a flattening process according to the present invention.

이하, 본 발명에 따른 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법을 첨부한 도면을 참고로 하여 상세히 기술되는 실시 예에 의하여 그 특징들을 이해할 수 있을 것이다. Hereinafter, the characteristics of a post-processing method considering the bottom surface of a point cloud generated from a 360-degree panoramic indoor image according to the present invention will be understood by an embodiment described in detail with reference to the accompanying drawings.

이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Prior to this, the terms or words used in this specification and claims should not be construed as being limited to the usual or dictionary meaning, and the inventor appropriately uses the concept of the term in order to explain his/her invention in the best way. It should be interpreted as a meaning and concept consistent with the technical idea of the present invention based on the principle that it can be defined.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들은 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Therefore, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention, and do not represent all of the technical ideas of the present invention, so at the time of this application, they can be replaced. It should be understood that there may be many equivalents and variations.

본 발명에 따른 360도 파노라마 실내 영상으로부터 생성된 포인트 클라우드의 바닥면을 고려한 후처리 방법은 고가의 전문 장비를 사용하지 않고서도 상대적으로 쉽게 취득할 수 있는 360도 파노라마 실내 RGB 영상을 기반으로 사실적인 포인트 클라우드(Point Cloud)를 생성할 수 있는 방법이다.The post-processing method considering the bottom surface of the point cloud generated from the 360-degree panoramic indoor image according to the present invention is based on the 360-degree panoramic indoor RGB image that can be acquired relatively easily without using expensive professional equipment. This is a way to create a point cloud.

이때, 포인트 클라우드를 생성하는데 사용하는 360도 파노라마 실내 RGB 영상은 잘 정렬되었다고 가정한다.At this time, it is assumed that the 360-degree panoramic indoor RGB images used to generate the point cloud are well aligned.

한편, 포인트 클라우드를 포함하여 대부분의 3D 구현에서는 깊이 정보가 필요하다. 이러한 깊이 정보는 영상을 촬영하는 과정에서 센서를 사용하여 취득할 수도 있지만, 본 발명에서는 최근 활발히 연구되고 있는 딥러닝 모델(Deep Learning Model)을 통해 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 취득한다.On the other hand, most 3D implementations, including point clouds, require depth information. Although such depth information may be acquired using a sensor in the process of capturing an image, in the present invention, depth information is obtained from a 360-degree panoramic indoor RGB image through a deep learning model that has been actively researched recently.

도 1을 참고하면 상기 360도 파노라마 실내 RGB 영상은 카메라(1)를 통해 촬영될 수 있으며, PC, 노트북 등의 다양한 이미지 처리장치(10)에 입력되어 메모리(11)에 저장된다. Referring to FIG. 1 , the 360-degree panoramic indoor RGB image may be captured by a camera 1, input to various image processing devices 10 such as PCs and laptops, and stored in a memory 11.

상기 360도 파노라마 실내 RGB 영상을 촬영하는 카메라(1)는 360도 카메라를 사용할 수 있다.A 360-degree camera may be used as the camera 1 that captures the 360-degree panoramic indoor RGB image.

물론, 상기 이미지 처리장치(10)의 메모리(11)에는 상기 360도 파노라마 실내 RGB 영상으로부터 깊이 정보를 취득하기 위한 딥러닝 모델(Deep Learning Model)과 포인트 클라우드의 생성에 관여하는 프로그램이 저장된다.Of course, the memory 11 of the image processing device 10 stores a deep learning model for obtaining depth information from the 360-degree panoramic indoor RGB image and a program involved in generating a point cloud.

아울러, 상기 이미지 처리장치(10)에는 상기 메모리(11)에 저장된 프로그램을 로딩하여 연산을 수행하는 프로세서(12)를 구비함으로서 후술할 다양한 방법 내지는 동작을 수행한다.In addition, the image processing device 10 includes a processor 12 that loads a program stored in the memory 11 and performs an operation, thereby performing various methods or operations to be described later.

한편, 딥러닝 모델(Deep Learning Model)을 통해 360도 파노라마 실내 RGB 영상으로부터 추론된 깊이 정보로부터 생성된 포인트 클라우드는 실제 3D 환경과는 달리 왜곡되어 있다. Meanwhile, a point cloud generated from depth information inferred from a 360-degree panoramic indoor RGB image through a deep learning model is distorted unlike an actual 3D environment.

따라서, 본 발명에서는 촬영된 360도 파노라마 실내 RGB 영상으로부터 만들어진 3D 공간과 사용자 또는 그래픽 물체와의 상호작용을 위해 바닥면에 대한 평탄화 기법을 제안한다. Therefore, the present invention proposes a flattening technique for the floor surface for interaction between a user or a graphic object and a 3D space created from a captured 360-degree panoramic indoor RGB image.

360도 파노라마 실내 RGB 영상으로부터 추론된 깊이 정보로부터 생성된 포인트 클라우드에서 바닥면의 평탄화를 하기 위해서는 먼저 포인트 클라우드에서 바닥면을 구분할 필요가 있다. In order to flatten the floor surface in the point cloud generated from the depth information inferred from the 360-degree panoramic indoor RGB image, it is necessary to first distinguish the floor surface from the point cloud.

이에 깊이 정보로부터 생성된 포인트 클라우드로부터 법선 벡터(normal vector)를 계산한 후, 법선 벡터(normal vector)의 방향과 z좌표에 따라 바닥면을 구분한다. 이때, 포인트 클라우드 바닥면의 평탄화 정도를 정량적으로 판단하기 위해 바닥면이라 인식된 점들 간의 RMS(root-mean-square) 계산을 통해 평평함의 정도를 파악한다. Accordingly, after calculating a normal vector from the point cloud generated from the depth information, the bottom surface is divided according to the direction and z-coordinate of the normal vector. At this time, in order to quantitatively determine the degree of flatness of the bottom surface of the point cloud, the degree of flatness is determined through RMS (root-mean-square) calculation between points recognized as the bottom surface.

이후, 포인트 클라우드 바닥면의 한 점을 지정하여 다른 바닥면의 점들을 해당 점의 z좌표와 일치시킨다. Then, by designating a point on the bottom of the point cloud, the points on the other bottom are matched with the z-coordinate of the corresponding point.

이상의 방법으로 정제된 포인트 클라우드는 평탄한 바닥면을 갖게 된다.The point cloud refined in the above method has a flat bottom surface.

본 발명은 이미지 처리장치(10)를 통해 평탄한 바닥면을 갖는 정제된 포인트 클라우드를 구현하기 위해, 입력값(Input)으로 정렬된 360도 파노라마 실내 RGB 영상을 사용하며, 이러한 360도 파노라마 실내 RGB 영상은 참고문헌 1 등에 제안된 Stanford 2D-3D-Semantics Dataset(2D-3D-S) 및 360도 카메라를 통해 취득한 데이터셋을 사용하였다.The present invention uses 360-degree panoramic indoor RGB images aligned with input values to implement a refined point cloud with a flat floor through the image processing device 10, and such 360-degree panoramic indoor RGB images used the Stanford 2D-3D-Semantics Dataset (2D-3D-S) proposed in Reference 1, etc., and the dataset acquired through a 360-degree camera.

또한, 본 발명에서는 이미지 처리장치(10)에 입력된 360도 파노라마 실내 RGB 영상으로부터 깊이를 추정하기 위해 참고문헌 1에 제안된 Joint_360depth를 사용하였다. 여기서 상기 Joint_360depth의 경우 Depth Net이라는 딥 뉴럴 네트워크를 거쳐 깊이 정보를 추출한다. In addition, in the present invention, Joint_360depth proposed in Reference 1 is used to estimate the depth from the 360-degree panoramic indoor RGB image input to the image processing device 10. Here, in the case of Joint_360depth, depth information is extracted through a deep neural network called Depth Net.

그리고, 본 발명에서 포인트 클라우드의 구현 및 정제는 데이터 처리를 위한 오픈소스인 참고문헌 3의 Open3D를 통해 이루어진다. And, in the present invention, implementation and refinement of the point cloud is performed through Open3D of Reference 3, which is an open source for data processing.

상기 이미지 처리장치(10)에 입력된 360도 파노라마 실내 RGB 영상과 추출된 깊이값(깊이 정보)을 사용하여 UV sphere에 투영하여 포인트 클라우드를 생성한다.A point cloud is created by projecting the 360-degree panoramic indoor RGB image input to the image processing device 10 and the extracted depth value (depth information) onto a UV sphere.

이와 같은 방법으로 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드는 도 2의 (a)와 같이 실제 3D 공간에 비해 왜곡된 좌표를 가지게 된다. In this way, the point cloud generated as a 360-degree panoramic indoor RGB image has distorted coordinates compared to the actual 3D space as shown in FIG. 2 (a).

그러므로, 본 발명에서는 360도 파노라마 실내 RGB 영상으로 생성된 포인트 클라우드에서 그래픽 물체와의 인터렉션에서 사실감을 높이기 위해 바닥면에 대해 평탄화를 수행한다. 이 경우 오픈소스인 참고문헌 3의 Open3D를 통해 법선벡트(normal vector)를 계산하여 z좌표와 함께 바닥면을 인식한 후 z좌표를 일치시키면 도 2의 (b)와 같은 포인트 클라우드를 얻어낼 수 있다.Therefore, in the present invention, flattening is performed on the floor surface in order to increase realism in an interaction with a graphic object in a point cloud generated as a 360-degree panoramic indoor RGB image. In this case, a point cloud as shown in (b) of FIG. 2 can be obtained by calculating the normal vector through Open3D of Reference 3, which is an open source, recognizing the floor along with the z coordinate, and then matching the z coordinate. there is.

한편, 본 발명에 따라 360도 파노라마 실내 RGB 영상으로 부터 생성된 포인트 클라우드의 평탄화 전후의 평탄화 정도를 파악하기 위해, 실제 측정으로 얻어낸 포인트 클라우드와 본 발명을 통해 제안된 방법으로 생성된 포인트 클라우드들에 대해 RMS(root-mean-square) 연산을 수행한 결과는 도 3의 표와 같다. Meanwhile, in order to determine the degree of flattening before and after flattening of the point cloud generated from the 360-degree panoramic indoor RGB image according to the present invention, the point cloud obtained by actual measurement and the point clouds generated by the method proposed through the present invention The results of performing the RMS (root-mean-square) operation are shown in the table of FIG.

이에 의하면 Inference 값이 아닌 Ground Truth 값의 포인트 클라우드인 Stanford_gt의 평탄화 이전(Raw) RMS의 경우 0.1 이하의 매우 낮은 RMS 값을 가진다. According to this, the raw RMS of Stanford_gt, which is a point cloud of ground truth values rather than inference values, has a very low RMS value of 0.1 or less.

Depth inference를 통해 생성한 포인트 클라우드인 Stanford_inf와 Furniture_inf의 Raw RMS의 경우 0.4 이상의 큰 값을 가지며, 이러한 현상은 평탄화 작업(Flatten) 이후 측정한 RMS 값에서 약간 감소하였으나, 시각적으로는 큰 효과를 보였다.In the case of the raw RMS of Stanford_inf and Furniture_inf, which are point clouds created through depth inference, they have a large value of 0.4 or more, and this phenomenon slightly decreased from the RMS value measured after flattening, but it showed a great effect visually.

이상에서와 같이 본 발명에 따른 방법에 의하면 360도 파노라마 실내 RGB 영상으로부터 간단히 3D 포인트 클라우드를 생성할 수 있다. 물론 보다 정확하게 포인트 클라우드의 바닥면을 탐색하고 평탄화할 수 있도록 개선하는 기술의 적용이 바람하며, 이를 통해 적은 자원으로 몰입감 있는 3D Object 및 포인트 클라우드를 생성할 수 있을 것이 바람직하다.As described above, according to the method according to the present invention, a 3D point cloud can be simply generated from a 360-degree panoramic indoor RGB image. Of course, it is desirable to apply a technology that improves the bottom surface of the point cloud to be more accurately searched and flattened, and through this, it is desirable to be able to create immersive 3D objects and point clouds with fewer resources.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능한 것으로, 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is only illustrative of the technical idea of the present invention, and those skilled in the art can make various modifications and variations without departing from the essential characteristics of the present invention. The protection scope of should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

1: 카메라 10: 이미지 처리장치
11: 메모리 12: 프로세서1: camera 10: image processor
11: memory 12: processor

Claims

A first step of obtaining depth information from a 360-degree panoramic indoor RGB image;
a second step of distinguishing a floor surface from a point cloud generated by projecting onto a UV sphere using the 360-degree panoramic indoor RGB image and the depth information; and
A third step of designating a point on the bottom surface and making a flat bottom surface by matching points on another bottom surface with the z-coordinate of the corresponding point;
In the second step, a normal vector is calculated from the point cloud generated from the depth information, and the floor is divided according to the direction and z coordinate of the normal vector,
In order to quantitatively determine the degree of flatness of the bottom surface of the point cloud, the degree of flatness is determined through RMS (root-mean-square) calculation between points recognized as the bottom surface,
The third step is the point cloud generated from the 360-degree panoramic indoor image, characterized in that the normal vector is calculated through Open3D, which is an open source, and the floor surface is recognized along with the z coordinate, and then the z coordinate is matched. Post-processing method considering the floor surface.

According to claim 1,
The first step is a step of extracting depth information from the 360-degree panoramic indoor RGB image through a deep learning model. method.

According to claim 1,
The first step is a step of estimating depth information from the 360-degree panoramic indoor RGB image using Joint_360depth.

delete