KR20230136462A - Point cloud acquisition system and method to correct distortion of point cloud data - Google Patents

Point cloud acquisition system and method to correct distortion of point cloud data Download PDF

Info

Publication number
KR20230136462A
KR20230136462A KR1020220034256A KR20220034256A KR20230136462A KR 20230136462 A KR20230136462 A KR 20230136462A KR 1020220034256 A KR1020220034256 A KR 1020220034256A KR 20220034256 A KR20220034256 A KR 20220034256A KR 20230136462 A KR20230136462 A KR 20230136462A
Authority
KR
South Korea
Prior art keywords
point cloud
cloud data
correction
distortion
data
Prior art date
Application number
KR1020220034256A
Other languages
Korean (ko)
Other versions
KR102597475B1 (en
Inventor
주성문
현동준
김익준
이종환
Original Assignee
한국원자력연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국원자력연구원 filed Critical 한국원자력연구원
Priority to KR1020220034256A priority Critical patent/KR102597475B1/en
Publication of KR20230136462A publication Critical patent/KR20230136462A/en
Application granted granted Critical
Publication of KR102597475B1 publication Critical patent/KR102597475B1/en

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

점군 취득 시스템이 개시된다. 본 발명의 일 측면에 따른 점군 취득 시스템 은 특수 공간 내에 존재하는 점군 데이터를 취득하는 점군 취득 장치; 상기 점군 취득 장치를 상기 특수 공간 내의 환경 요인 및 외력으로부터 보호하도록 상기 점군 취득 장치의 외측을 커버하는 하우징; 및 상기 하우징에 의해 발생되는 상기 점군 데이터의 왜곡을 보정하기 위한 왜곡 보정 장치;를 포함하고, 상기 왜곡 보정 장치는 메모리 및 제어부를 포함하고, 상기 메모리는, 학습 대상에 대하여 취득되되 상기 왜곡이 반영된 상태의 점군 데이터인 제1 점군 데이터 및 상기 학습 대상에 대하여 취득되되 상기 왜곡이 없는 상태의 점군 데이터인 제2 점군 데이터를 포함하는 학습 데이터를 저장하며, 상기 학습 데이터를 학습하여 보정전 점군 데이터에 반영된 상기 왜곡의 정도를 추정하는 인공 신경망 모델을 저장하고, 상기 제어부는, 상기 제1 점군 데이터와 상기 제2 점군 데이터 사이의 상관관계를 학습하도록 상기 인공 신경망 모델을 학습시키며, 상기 인공 신경망 모델에 상기 보정전 점군 데이터를 입력하여 상기 왜곡이 보정된 상태의 보정후 점군 데이터를 획득할 수 있다.A point cloud acquisition system is launched. A point cloud acquisition system according to an aspect of the present invention includes a point cloud acquisition device that acquires point cloud data existing in a special space; a housing that covers the outside of the point cloud acquisition device to protect the point cloud acquisition device from environmental factors and external forces within the special space; and a distortion correction device for correcting distortion of the point cloud data generated by the housing, wherein the distortion correction device includes a memory and a control unit, and the memory is acquired for a learning object and reflects the distortion. Stores learning data including first point cloud data, which is state point cloud data, and second point cloud data, which is point cloud data acquired for the learning object but without distortion, and learns the learning data to store point cloud data before correction. Stores an artificial neural network model that estimates the degree of distortion reflected, and the control unit trains the artificial neural network model to learn a correlation between the first point cloud data and the second point cloud data, and the artificial neural network model By inputting the pre-correction point cloud data, post-correction point cloud data with the distortion corrected can be obtained.

Description

점군 취득 시스템 및 점군 데이터의 왜곡을 보정하는 방법{Point cloud acquisition system and method to correct distortion of point cloud data}Point cloud acquisition system and method to correct distortion of point cloud data}

본 발명은 점군 취득 시스템 및 점군 데이터의 왜곡을 보정하는 방법에 관한 것으로, 보다 상세하게는 점군 취득 장치의 외부를 커버하는 하우징을 포함하는 점군 취득 시스템 및 상기 하우징에 의해 발생되는 점군 데이터의 왜곡을 보정하는 방법에 관한 것이다.The present invention relates to a point cloud acquisition system and a method for correcting distortion of point cloud data. More specifically, the present invention relates to a point cloud acquisition system including a housing that covers the outside of a point cloud acquisition device and a method for correcting distortion of point cloud data generated by the housing. It's about how to correct it.

일반적으로 작업 환경 또는 작업 대상물의 3차원 형상을 파악하기 위해 레이져 스캐너와 같은 점군 취득 장치를 사용하고 있다.In general, a point cloud acquisition device such as a laser scanner is used to determine the three-dimensional shape of the work environment or work object.

이와 관련하여 예를 들어 수중, 고방사선환경, 먼지가 많은 환경 등과 같이 특수한 환경에서 사용하기 위한 점군 취득 장치는 그 수요가 제한적이므로 기존 판매되는 제품 중에서는 적절한 제품을 찾기가 어렵거나, 존재하더라도 그 가격이 매우 고가인 실정이다.In this regard, the demand for point cloud acquisition devices for use in special environments such as underwater, high radiation environments, dusty environments, etc. is limited, so it is difficult to find appropriate products among existing products, or even if they exist, they are not available. The price is very expensive.

이러한 문제를 해결하기 위해 일반적인 환경(예. 실내 사무실 환경)에서 사용할 수 있도록 개발된 기성품에 하우징과 같은 보호 케이스를 장착하여 사용하는 방법이 이용되고 있다.To solve this problem, a method of attaching a protective case such as a housing to a ready-made product developed for use in a general environment (e.g., indoor office environment) is being used.

그러나 이처럼 하우징을 사용하는 경우 상기 하우징의 존재로 인하여 점군 취득 장치 측으로 취득되는 점군에 왜곡이 발생될 수 있다.However, when a housing is used in this way, distortion may occur in the point cloud acquired by the point cloud acquisition device due to the presence of the housing.

구체적으로, 기성품과 관련된 기계적, 전기적, 광학적 파라미터를 잘 모르는 경우 하우징에 설치되는 광학계(예. 유리창(뷰포트 렌즈))에 의해 발생하는 광경로의 변화를 상쇄하기 어려운 문제가 있다.Specifically, if the mechanical, electrical, and optical parameters related to the off-the-shelf product are not well known, it is difficult to offset changes in the optical path caused by the optical system (e.g., glass window (viewport lens)) installed in the housing.

그리고, 수중 작업과 같이 하우징 내부와 하우징 외부의 매질이 달라질 경우, 하우징 광학계와 매질의 경계면에서 발생하는 광경로 변화를 상쇄하기 어려운 문제도 있다.In addition, when the media inside and outside the housing are different, such as in underwater work, there is a problem that it is difficult to offset the change in the optical path that occurs at the interface between the housing optical system and the medium.

따라서, 점군 취득 장치에 설치된 하우징으로부터 비롯되는 왜곡을 보정할 수 있는 장치 또는 방법의 개발이 시급한 실정이다.Therefore, there is an urgent need to develop a device or method that can correct distortion resulting from the housing installed in the point cloud acquisition device.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 본 발명의 목적은 점군 취득 장치의 외측을 커버하는 하우징에 의해 발생되는 왜곡을 효과적으로 보정할 수 있는 점군 취득 시스템 및 점군 데이터의 왜곡을 보정하는 방법을 제공하는 것이다.The present invention is to solve the above problems, and the purpose of the present invention is a point cloud acquisition system that can effectively correct the distortion caused by the housing covering the outside of the point cloud acquisition device and a method for correcting the distortion of point cloud data. is to provide.

본 발명의 다른 목적은 범용성을 확보할 수 있도록 전문가의 개입 없이도 상기 왜곡을 용이하게 보정할 수 있는 점군 취득 시스템 및 점군 데이터의 왜곡을 보정하는 방법을 제공하는 것이다.Another object of the present invention is to provide a point cloud acquisition system that can easily correct the distortion without the intervention of experts and a method for correcting the distortion of point cloud data to ensure versatility.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned can be clearly understood by those skilled in the art from the description below.

본 발명의 일 측면에 따르면, 특수 공간 내에 존재하는 점군 데이터를 취득하는 점군 취득 장치; 상기 점군 취득 장치를 상기 특수 공간 내의 환경 요인 및 외력으로부터 보호하도록 상기 점군 취득 장치의 외측을 커버하는 하우징; 및 상기 하우징에 의해 발생되는 상기 점군 데이터의 왜곡을 보정하기 위한 왜곡 보정 장치;를 포함하고, 상기 왜곡 보정 장치는 메모리 및 제어부를 포함하고, 상기 메모리는, 학습 대상에 대하여 취득되되 상기 왜곡이 반영된 상태의 점군 데이터인 제1 점군 데이터 및 상기 학습 대상에 대하여 취득되되 상기 왜곡이 없는 상태의 점군 데이터인 제2 점군 데이터를 포함하는 학습 데이터를 저장하며, 상기 학습 데이터를 학습하여 보정전 점군 데이터에 반영된 상기 왜곡의 정도를 추정하는 인공 신경망 모델을 저장하고, 상기 제어부는, 상기 제1 점군 데이터와 상기 제2 점군 데이터 사이의 상관관계를 학습하도록 상기 인공 신경망 모델을 학습시키며, 상기 인공 신경망 모델에 상기 보정전 점군 데이터를 입력하여 상기 왜곡이 보정된 상태의 보정후 점군 데이터를 획득하는 점군 취득 시스템이 제공된다.According to one aspect of the present invention, a point cloud acquisition device for acquiring point cloud data existing in a special space; a housing that covers the outside of the point cloud acquisition device to protect the point cloud acquisition device from environmental factors and external forces within the special space; and a distortion correction device for correcting distortion of the point cloud data generated by the housing, wherein the distortion correction device includes a memory and a control unit, and the memory is acquired for a learning object and reflects the distortion. Stores learning data including first point cloud data, which is state point cloud data, and second point cloud data, which is point cloud data acquired for the learning object but without distortion, and learns the learning data to store point cloud data before correction. Stores an artificial neural network model that estimates the degree of distortion reflected, and the control unit trains the artificial neural network model to learn a correlation between the first point cloud data and the second point cloud data, and the artificial neural network model A point cloud acquisition system is provided that inputs the pre-correction point cloud data and acquires post-correction point cloud data with the distortion corrected.

상기의 구성에 따라, 본 발명의 실시예에 따른 점군 취득 시스템은 사전에 점군 취득 장치가 투입될 특수 공간과 동일한 환경 하에 획득된 학습 데이터를 기초로 학습된 인공 신경망 모델을 도입하여 보정후 점군 데이터를 효과적으로 추정할 수 있다.According to the above configuration, the point cloud acquisition system according to the embodiment of the present invention introduces an artificial neural network model learned based on learning data acquired in advance under the same environment as the special space where the point cloud acquisition device will be input, and points cloud data after correction. can be estimated effectively.

이를 통해 본 발명의 일 실시예에 따른 점군 취득 시스템은 방수, 방진, 내방사화 기능을 갖추지 않은 점군 취득 장치를 통해서도 용이하게 특수 환경의 3차원 정보를 획득할 수 있다.Through this, the point cloud acquisition system according to an embodiment of the present invention can easily acquire 3D information of a special environment even through a point cloud acquisition device that does not have waterproof, dustproof, or radiation-resistant functions.

또한, 본 발명의 실시예에 따른 점군 취득 시스템은 기 존재하는 근사 보정 모델로부터 획득된 근사 보정 점군 데이터를 인공 신경망 모델을 통해 보완함으로써 보정후 점군 데이터의 정확도를 보다 향상시킬 수 있다.In addition, the point cloud acquisition system according to an embodiment of the present invention can further improve the accuracy of the point cloud data after correction by supplementing the approximate correction point cloud data obtained from an existing approximate correction model through an artificial neural network model.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the effects described above, and should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 점군 취득 시스템을 개략적으로 도시한 도면이다.
도 2는 하우징에 의한 점군 데이터의 왜곡을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 점군 취득 시스템에 포함된 왜곡 보정 장치의 각 구성을 개략적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 점군 취득 시스템에 포함된 왜곡 보정 장치의 입출력의 일 예시를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 점군 취득 시스템에서 학습 데이터를 수집하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 점군 취득 시스템에 포함된 왜곡 보정 장치 중에서 인공 신경망 모델의 구조를 개략적으로 도시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 점군 취득 시스템에 포함된 왜곡 보정 장치의 각 구성을 개략적으로 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 점군 데이터의 왜곡을 보정하는 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시예에 따른 점군 데이터의 왜곡을 보정하는 방법의 일부분을 구체적으로 설명하기 위한 순서도이다.Figure 1 is a diagram schematically showing a point cloud acquisition system according to an embodiment of the present invention.
Figure 2 is a diagram for explaining distortion of point cloud data due to housing.
Figure 3 is a diagram schematically showing each configuration of the distortion correction device included in the point cloud acquisition system according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of input and output of a distortion correction device included in a point cloud acquisition system according to an embodiment of the present invention.
Figure 5 is a diagram for explaining the process of collecting learning data in a point cloud acquisition system according to an embodiment of the present invention.
Figure 6 is a diagram schematically showing the structure of an artificial neural network model among the distortion correction devices included in the point cloud acquisition system according to an embodiment of the present invention.
Figure 7 is a diagram schematically showing each configuration of a distortion correction device included in a point cloud acquisition system according to another embodiment of the present invention.
Figure 8 is a flowchart for explaining a method for correcting distortion of point cloud data according to an embodiment of the present invention.
Figure 9 is a flowchart for specifically explaining a portion of a method for correcting distortion of point cloud data according to an embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.Hereinafter, with reference to the attached drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily implement the present invention. The present invention may be implemented in many different forms and is not limited to the embodiments described herein. In order to clearly explain the present invention, parts not related to the description have been omitted in the drawings, and identical or similar components are given the same reference numerals throughout the specification.

본 명세서 및 청구범위에 사용된 단어와 용어는 통상적이거나 사전적인 의미로 한정 해석되지 않고, 자신의 발명을 최선의 방법으로 설명하기 위해 발명자가 용어와 개념을 정의할 수 있는 원칙에 따라 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.The words and terms used in this specification and claims are not to be construed as limited in their usual or dictionary meanings, but according to the principle that the inventor can define terms and concepts in order to explain his or her invention in the best way. It must be interpreted with meaning and concepts consistent with technical ideas.

도 1은 본 발명의 일 실시예에 따른 점군 취득 시스템을 개략적으로 도시한 도면이다. 도 2는 하우징에 의한 점군 데이터의 왜곡을 설명하기 위한 도면이다.Figure 1 is a diagram schematically showing a point cloud acquisition system according to an embodiment of the present invention. Figure 2 is a diagram for explaining distortion of point cloud data due to housing.

도 1을 참조하면, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)는 점군 취득 장치(200), 하우징(210) 및 왜곡 보정 장치(100)를 포함한다.Referring to FIG. 1, a point cloud acquisition system 300 according to an embodiment of the present invention includes a point cloud acquisition device 200, a housing 210, and a distortion correction device 100.

이때, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 특히 수중(under water), 고방사선환경 또는 분진이 많은 환경과 같은 특수한 공간(이하, '특수 공간'이라 함) 내에 점군 취득 장치(200)를 투입시켜 점군 데이터를 수집하기 위한 장치이다. 다만, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)의 적용이 상술한 특수 공간으로 한정되는 것은 아니며, 일반적인 사용 환경에서도 이용될 수 있음을 밝혀 둔다.At this time, the point cloud acquisition system 300 according to an embodiment of the present invention is a point cloud acquisition device in a special space (hereinafter referred to as 'special space'), such as under water, a high radiation environment, or a dusty environment. It is a device for collecting point cloud data by inserting (200). However, it should be noted that the application of the point cloud acquisition system 300 according to an embodiment of the present invention is not limited to the above-mentioned special space, and can also be used in a general use environment.

여기서, 상기 특수 공간은 수압, 고방사선과 같은 물리적인 환경 요인 및 외력 또는 분진 등과 같이 점군 취득 장치의 내구성을 약화시킬 수 있는 다양한 장애 요인이 존재하는 공간을 의미할 수 있다. 이러한 장애 요인으로부터 점군 취득 장치를 효과적으로 보호하기 위하여 점군 취득 시스템(300)에는 하우징(210)이 구비되는데, 이러한 하우징(210)에 의하여 점군 데이터에는 도 2에 도시된 바와 같이 왜곡이 발생되는 단점이 있다. Here, the special space may mean a space where various obstacles exist that may weaken the durability of the point cloud acquisition device, such as physical environmental factors such as water pressure and high radiation, and external forces or dust. In order to effectively protect the point cloud acquisition device from such obstacles, the point cloud acquisition system 300 is equipped with a housing 210, which has the disadvantage of causing distortion in the point cloud data as shown in FIG. 2 due to the housing 210. there is.

이와 관련하여, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 특유의 왜곡 보정 장치(100)를 구비함으로써 상기 왜곡을 최소화할 수 있다. 이하 상기 왜곡 보정 장치(100)를 중심으로 점군 취득 시스템(300)의 각 구성에 대하여 상세히 설명하기로 한다.In this regard, the point cloud acquisition system 300 according to an embodiment of the present invention can minimize the distortion by providing a unique distortion correction device 100. Hereinafter, each configuration of the point cloud acquisition system 300 will be described in detail, focusing on the distortion correction device 100.

먼저, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)의 점군 취득 장치(200)는 3차원 공간 정보를 수집하기 위한 것으로서, 예를 들면 대상물에 대하여 레이저를 조사한 후 반사되는 점군 데이터를 수집하는 레이저 스캐너일 수 있다. 그러나, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 상술한 레이저 스캐너 외에도 공간 정보를 획득하기 위해 점군 데이터를 수집하는 장치라면 어떠한 장치라도 무방하며, 다양한 3차원 스캐너일 수 있다.First, the point cloud acquisition device 200 of the point cloud acquisition system 300 according to an embodiment of the present invention is for collecting three-dimensional spatial information, for example, collecting point cloud data reflected after irradiating a laser to an object. It could be a laser scanner. However, the point cloud acquisition system 300 according to an embodiment of the present invention may be any device that collects point cloud data to acquire spatial information in addition to the laser scanner described above, and may be various three-dimensional scanners.

다시 도 1을 참조하면, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 전술한 점군 취득 장치(200)를 보호하기 위하여 하우징(210)을 포함할 수 있다.Referring again to FIG. 1, the point cloud acquisition system 300 according to an embodiment of the present invention may include a housing 210 to protect the point cloud acquisition device 200 described above.

본 발명의 일 실시예에서, 하우징(210)은 점군 취득 장치(200)의 외측을 커버하도록 될 수 있다. In one embodiment of the present invention, the housing 210 may be configured to cover the outside of the point cloud acquisition device 200.

이때, 하우징(210)은 점군 취득 장치(200)의 전 영역을 커버하는 것이 바람직하다. 이를 통해 하우징(210)은 점군 취득 장치(200) 측으로 유체가 유입되거나 이물질이 유입되어 점군 취득 장치(200)의 내구성을 약화시키는 것을 완전히 차단할 수 있다. 달리 말하면, 하우징(210)은 고성능의 방수, 방진, 내방사화 기능을 구비하지 않은 점군 취득 장치(200)를 상술한 극한의 사용 환경에서도 사용할 수 있도록 기밀성을 제공함으로써 점군 취득 장치(200)를 이용 범위를 확장할 수 있다.At this time, it is desirable that the housing 210 covers the entire area of the point cloud acquisition device 200. Through this, the housing 210 can completely block the inflow of fluid or foreign substances into the point cloud acquisition device 200, thereby weakening the durability of the point cloud acquisition device 200. In other words, the housing 210 uses the point cloud acquisition device 200 by providing confidentiality so that the point cloud acquisition device 200, which does not have high-performance waterproofing, dustproofing, and radiation resistance functions, can be used even in the extreme use environments described above. The scope can be expanded.

이처럼 하우징(210)이 점군 취득 장치(200)를 커버함으로써 하우징(210)의 내부 공간과 외부 공간을 구획하게 되므로, 경우에 따라 하우징(210) 내부와 하우징(210) 외부의 매질이 상이할 수 있다. 예를 들어, 수중 촬영에 점군 취득 시스템(300)이 이용되는 경우, 하우징(210)의 외부에는 물이 존재하나, 하우징(210)의 내부에는 공기가 존재할 수 있다. 이러한 매질의 차이에 의해서 점군 데이터의 왜곡이 발생될 수 있는데, 이에 대해서는 해당되는 부분을 통해 기술하기로 한다.In this way, since the housing 210 covers the point cloud acquisition device 200 to partition the internal space and external space of the housing 210, the media inside the housing 210 and outside the housing 210 may be different in some cases. there is. For example, when the point cloud acquisition system 300 is used for underwater photography, water may exist outside the housing 210, but air may exist inside the housing 210. Distortion of point cloud data may occur due to differences in these media, which will be described in the relevant section.

또한, 하우징(210)은 점군 취득 장치(200)의 외측을 커버함으로써 외부 하중에 의한 갑작스러운 타격으로부터 고가의 점군 취득 장치(200)를 보호할 수도 있다.In addition, the housing 210 may protect the expensive point cloud acquisition device 200 from a sudden blow due to an external load by covering the outside of the point cloud acquisition device 200.

한편, 하우징(210)은 예를 들어 도면에 도시된 바와 같이 점군 취득 장치(200)에 대응되는 형상으로 형성될 수 있다. 이를 통해 하우징(210)의 결합에도 불구하고, 점군 취득 장치(200)의 부피가 증가하는 것을 최소화함으로써 장치의 소형화를 도모할 수 있다. 그러나, 하우징(210)의 형상이 이에 제한되는 것은 아니며, 하우징(210)은 점군 취득 장치(200)를 효과적으로 보호할 수 있는 구조라면 어떠한 형상이라도 무방하다.Meanwhile, the housing 210 may be formed in a shape corresponding to the point cloud acquisition device 200, for example, as shown in the drawing. Through this, despite the combination of the housing 210, an increase in the volume of the point cloud acquisition device 200 can be minimized, thereby miniaturizing the device. However, the shape of the housing 210 is not limited to this, and the housing 210 may have any shape as long as it has a structure that can effectively protect the point cloud acquisition device 200.

본 발명의 일 실시예에서, 하우징(210)은 점군 취득 장치(200)와 탈착 가능하도록 형성되어 필요한 경우에만 점군 취득 장치(200)와 결합될 수 있다. 따라서, 점군 취득 장치(200)는 특수 공간이 아니라면 하우징(210)이 분리된 상태에서도 이용될 수 있다. 특히, 점군 취득 장치(200)는 후술될 학습 데이터(20)의 수집 시에 왜곡이 없는 상태의 데이터(제2 점군 데이터(90'))를 수집하기 위하여 하우징(210)과 분리된 상태에서 이용될 수 있다.In one embodiment of the present invention, the housing 210 is formed to be detachable from the point cloud acquisition device 200 and can be coupled to the point cloud acquisition device 200 only when necessary. Therefore, the point cloud acquisition device 200 can be used even when the housing 210 is separated, unless it is a special space. In particular, the point cloud acquisition device 200 is used in a state separated from the housing 210 to collect data (second point cloud data 90') without distortion when collecting learning data 20, which will be described later. It can be.

한편, 하우징(210)은 점군 데이터가 점군 취득 장치(200) 측으로 진입하거나 점군 데이터를 취득하기 위한 광(光)이 점군 취득 장치(200)로부터 하우징(210)의 외측으로 진출할 수 있는 통로로서 별도의 광학계(220)를 포함할 수 있다. 이러한 광학계(220)는 점군 취득 장치(200)에 구비된 광학계와는 구분되는 별도의 광학계이며, 소정의 굴절률을 가지는 공지의 렌즈일 수 있다. 따라서 점군 데이터 또는 광은 상기 광학계(220)를 경유시 굴절될 수 있으며 이에 따라 점군 데이터의 왜곡이 발생될 수 있다.Meanwhile, the housing 210 is a passage through which point cloud data can enter the point cloud acquisition device 200 or light for acquiring point cloud data can advance from the point cloud acquisition device 200 to the outside of the housing 210. A separate optical system 220 may be included. This optical system 220 is a separate optical system that is different from the optical system provided in the point cloud acquisition device 200, and may be a known lens having a predetermined refractive index. Therefore, point cloud data or light may be refracted when passing through the optical system 220, which may cause distortion of the point cloud data.

도 3은 본 발명의 일 실시예에 따른 점군 취득 시스템에 포함된 왜곡 보정 장치의 각 구성을 개략적으로 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 점군 취득 시스템에 포함된 왜곡 보정 장치의 입출력의 일 예시를 도시한 도면이다. 도 5는 본 발명의 일 실시예에 따른 점군 취득 시스템에서 학습 데이터를 수집하는 과정을 설명하기 위한 도면이다. 도 6은 본 발명의 일 실시예에 따른 점군 취득 시스템에 포함된 왜곡 보정 장치 중에서 인공 신경망 모델의 구조를 개략적으로 도시한 도면이다.Figure 3 is a diagram schematically showing each configuration of the distortion correction device included in the point cloud acquisition system according to an embodiment of the present invention. FIG. 4 is a diagram illustrating an example of input and output of a distortion correction device included in a point cloud acquisition system according to an embodiment of the present invention. Figure 5 is a diagram for explaining the process of collecting learning data in a point cloud acquisition system according to an embodiment of the present invention. Figure 6 is a diagram schematically showing the structure of an artificial neural network model among the distortion correction devices included in the point cloud acquisition system according to an embodiment of the present invention.

상술한 하우징(210)은 점군 취득 장치(200)를 효과적으로 보호하는 반면, 점군 데이터의 취득과 관련하여서는 도 2에서 확인되는 바와 같이 상당한 왜곡을 발생시키는 문제가 있다.While the above-described housing 210 effectively protects the point cloud acquisition device 200, there is a problem in that significant distortion occurs in relation to the acquisition of point cloud data, as can be seen in FIG. 2.

이러한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 상기 왜곡을 보정하기 위한 왜곡 보정 장치(100)를 포함할 수 있다.To solve this problem, the point cloud acquisition system 300 according to an embodiment of the present invention may include a distortion correction device 100 for correcting the distortion.

이때, 상기 왜곡 보정 장치(100)는 메모리(10) 및 제어부(50)를 포함할 수 있다.(도 3 참조)At this time, the distortion correction device 100 may include a memory 10 and a control unit 50 (see FIG. 3).

먼저, 메모리(10)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(Permanent Mass Storage Device)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.First, the memory 10 is a computer-readable recording medium and may include a non-permanent mass storage device such as RAM (Random Access Memory), ROM (Read Only Memory), and a disk drive. The scope of the present invention is not limited thereto.

본 발명의 일 실시예에서, 다시 도 3을 참조하면, 메모리(10)는 학습 데이터(20) 및 인공 신경망 모델(30)을 저장할 수 있다.In one embodiment of the present invention, referring again to FIG. 3, memory 10 may store training data 20 and artificial neural network model 30.

이때, 학습 데이터(20)는 후술될 인공 신경망 모델(30)의 기계 학습(machine learning)을 위한 데이터로서, 동일한 학습 대상에 대하여 각각 취득된 제1 점군 데이터(80’) 및 제2 점군 데이터(90’)를 포함할 수 있다.At this time, the learning data 20 is data for machine learning of the artificial neural network model 30 to be described later, and the first point cloud data 80' and the second point cloud data (80') respectively acquired for the same learning object ( 90') may be included.

보다 구체적으로, 제1 점군 데이터(80’)는 상술한 하우징(210)에 의한 왜곡이 반영된 상태의 점군 데이터로서, 예를 들어 점군 취득 장치(200)와 하우징(210)을 결합된 상태에서 취득된 점군 데이터일 수 있다. More specifically, the first point cloud data 80' is point cloud data in which the distortion caused by the housing 210 is reflected, for example, acquired when the point cloud acquisition device 200 and the housing 210 are combined. It may be point cloud data.

이때, 만약 점군 취득 시스템(300)이 수중과 같은 특수한 매질을 갖춘 특수 공간에서의 사용이 예정된 경우, 상기 제1 점군 데이터(80’)는 목적하는 특수 공간과 동일한 환경 하에서 수집된 데이터일 수 있다. 이를 통해 제1 점군 데이터(80')는 점군 데이터가 취득되는 특수 공간의 매질 특성을 그대로 반영할 수 있으며, 이에 따라 인공 신경망 모델(30)로부터 획득되는 보정후 점군 데이터(90)의 정확도를 확보할 수 있다.At this time, if the point cloud acquisition system 300 is scheduled to be used in a special space with a special medium such as underwater, the first point cloud data 80' may be data collected under the same environment as the target special space. . Through this, the first point cloud data 80' can directly reflect the medium characteristics of the special space where the point cloud data is acquired, thereby securing the accuracy of the point cloud data 90 after correction obtained from the artificial neural network model 30. can do.

이와 반대로, 제2 점군 데이터(90’)는 하우징(210)에 의한 왜곡이 없는 상태의 점군 데이터로서, 일례로 공기와 같은 일반적인 매질이 포함된 환경에서 하우징(210)이 결합되지 않은 점군 취득 장치(200)를 이용하여 수집된 데이터일 수 있다. 즉, 제2 점군 데이터(90')는 점군 취득 장치(200) 자체 만을 이용하여 통상적으로 취득한 점군 데이터일 수 있다.On the contrary, the second point cloud data 90' is point cloud data in a state without distortion caused by the housing 210. For example, a point cloud acquisition device in which the housing 210 is not combined in an environment containing a general medium such as air. This may be data collected using (200). That is, the second point cloud data 90' may be point cloud data normally acquired using only the point cloud acquisition device 200 itself.

이와 관련하여, 다시 도 2를 참조하면, 제1 점군 데이터(80’)와 제2 점군 데이터(90’)는 동일한 학습 대상을 대상으로 취득된 공간 정보임에도 불구하고, 수치화된 좌표계 상에서 서로 다른 영역을 도시할 수 있다. In this regard, referring again to FIG. 2, although the first point cloud data 80' and the second point cloud data 90' are spatial information acquired for the same learning object, they are located in different areas on the numerical coordinate system. can be shown.

이는 전술한 바와 같이 제1 점군 데이터(80’)의 경우, 하우징(210)의 존재로 인하여, 광학계(220)에 의한 광의 굴절 또는 하우징(210) 내부와 외부의 매질 차이(예를 들면 공기와 물)에 따른 광 경로의 변경 등에 기인한 복합적인 왜곡이 반영될 수 있기 때문이다. 후술될 인공 신경망 모델(30)은 이러한 제1 점군 데이터(80’)와 제2 점군 데이터(90’)의 사이의 상관 관계를 학습함으로써 왜곡이 포함된 임의의 점군 데이터(80)로부터 왜곡이 보정된 보정후 점군 데이터(90)를 추정할 수 있는데, 이에 대해서는 인공 신경망 모델(30)과 관련된 설명을 통해 기술하기로 한다.As described above, in the case of the first point group data 80', due to the presence of the housing 210, the refraction of light by the optical system 220 or the difference between the media inside and outside the housing 210 (for example, air and This is because complex distortions due to changes in the optical path due to water may be reflected. The artificial neural network model 30, which will be described later, corrects distortion from arbitrary point cloud data 80 containing distortion by learning the correlation between the first point cloud data 80' and the second point cloud data 90'. Point cloud data 90 can be estimated after correction, which will be described through an explanation related to the artificial neural network model 30.

한편, 제1 점군 데이터(80’)는 후술될 보정전 점군 데이터(80)와 동일하거나 유사한 성격의 데이터일 수 있으나, 인공 신경망 모델(30)의 학습에 이용되는 학습 데이터로서의 기능을 명확히 특정하기 위하여 보정전 점군 데이터(80)와 별도로 지칭함을 밝혀 둔다.Meanwhile, the first point cloud data 80' may be data of the same or similar nature as the point cloud data 80 before correction, which will be described later, but its function as learning data used for learning the artificial neural network model 30 is clearly specified. For this purpose, it should be noted that it is referred to separately from the point cloud data before correction (80).

본 발명의 일 실시예에서, 학습 데이터(20)는 도 5에 도시된 바와 같이 일측에 복수의 교차점을 가지는 격자 무늬를 포함하는 학습 대상(240)을 대상으로 하여 수집될 수 있다.In one embodiment of the present invention, the learning data 20 may be collected for the learning object 240 including a grid pattern with a plurality of intersections on one side, as shown in FIG. 5 .

예를 들어, 격자 무늬를 포함하는 학습 대상(240)을 수중에 위치시키고 점군 취득 장치(200)와 하우징(210)을 결합시킨 상태에서 제1 점군 데이터(80’)를 수집할 수 있다. 즉, 제1 점군 데이터(80')는 점군 취득 시스템(300)이 투입 예정인 특수 공간과 동일한 환경 하에서 사전에 수집될 수 있다. 이는 인공 신경망 모델(30)이 특수 공간의 매질 특성이 반영된 제1 점군 데이터(80')를 학습하도록 하기 위함이다. 이를 통해 인공 신경망 모델(30)의 보정후 점군 데이터(90) 추정의 정확도를 향상시킬 수 있다.For example, the first point cloud data 80' can be collected while the learning object 240 including a grid pattern is placed underwater and the point cloud acquisition device 200 and the housing 210 are combined. That is, the first point cloud data 80' can be collected in advance under the same environment as the special space where the point cloud acquisition system 300 is scheduled to be deployed. This is to enable the artificial neural network model 30 to learn the first point cloud data 80' that reflects the medium characteristics of the special space. Through this, the accuracy of estimating the point cloud data 90 after correction of the artificial neural network model 30 can be improved.

따라서, 점군 취득 시스템(300)의 사용 환경이 변경되는 경우, 즉, 하우징(210) 외부의 매질이 변경되는 경우, 상기 제1 점군 데이터(80')는 변경된 매질의 특성을 반영할 수 있도록 새롭게 취득되어 갱신될 수 있으며, 인공 신경망 모델(30)은 새로운 학습 데이터(20)를 기초로 학습을 수행할 수 있다.Therefore, when the usage environment of the point cloud acquisition system 300 changes, that is, when the medium outside the housing 210 changes, the first point cloud data 80' is updated to reflect the characteristics of the changed medium. It can be acquired and updated, and the artificial neural network model 30 can perform learning based on new learning data 20.

그리고 제2 점군 데이터(90')는 제1 점군 데이터(80')와 반대로, 하우징 외부의 매질에 의한 왜곡 및 하우징(210)에 의한 왜곡이 발생하지 않도록 상기 격자 무늬를 포함하는 학습 대상(240)을 공기 중에 위치시키고(예를 들어 물을 배수시킨 상태) 점군 취득 장치(200)와 하우징(210)을 분리시킨 상태에서 수집될 수 있다.And the second point cloud data 90', contrary to the first point cloud data 80', is a learning object 240 including the grid pattern to prevent distortion caused by the medium outside the housing and the housing 210. ) can be placed in the air (for example, with water drained) and collected with the point cloud acquisition device 200 and the housing 210 separated.

한편, 제1 점군 데이터(80’)와 제2 점군 데이터(90’)는 격자 무늬에 포함된 복수의 교차점을 중심으로 각각 수집될 수 있다. 이처럼 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 좌표계 상에 좌표화하는 것이 용이한 격자 무늬를 가진 학습 대상(240)을 피사체로 하여 학습 데이터(20)를 수집함으로써, 공간 상의 동일한 위치에 대한 왜곡 정도를 보다 명확하게 파악할 수 있다. 이를 통해 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 인공 신경망 모델(30)의 보다 효과적인 학습을 도모할 수 있다.Meanwhile, the first point cloud data 80' and the second point cloud data 90' may be collected centered on a plurality of intersections included in the grid pattern. In this way, the point cloud acquisition system 300 according to an embodiment of the present invention collects learning data 20 using the learning object 240, which has a grid pattern that is easy to coordinate on a coordinate system, as the subject, thereby The degree of distortion of the location can be identified more clearly. Through this, the point cloud acquisition system 300 according to an embodiment of the present invention can promote more effective learning of the artificial neural network model 30.

본 발명의 일 실시예에서, 메모리(10)는 상술한 학습 데이터(20)를 학습하여 보정전 점군 데이터(80)에 반영된 왜곡의 정도를 추정하는 인공 신경망 모델(30)을 저장할 수 있다.In one embodiment of the present invention, the memory 10 may store an artificial neural network model 30 that learns the above-described training data 20 and estimates the degree of distortion reflected in the point cloud data 80 before correction.

이때, 상기 인공 신경망 모델(30)은 동물의 두뇌를 구성하는 생물학적 신경망에 착안된 컴퓨팅 시스템을 지칭할 수 있다.At this time, the artificial neural network model 30 may refer to a computing system based on the biological neural network that constitutes the brain of an animal.

이때, 인공 신경망 모델(30)은 도 6에 도시된 바와 같이, 인공 뉴런(neuron)(또는 뉴런)들이 연결된 구조를 가질 수 있고, 뉴런들 간 연결은 시냅스(synapse)로 지칭될 수 있다. 이때, 뉴런은 수신된 신호를 처리할 수 있고, 처리된 신호를 시냅스를 통해서 다른 뉴런에 전송할 수 있으며 뉴런의 출력은 "액티베이션(activation)"으로 지칭될 수 있다. 뉴런 및/또는 시냅스는 변동할 수 있는 가중치(weight)를 가질 수 있고, 가중치에 따라 뉴런에 의해서 처리된 신호의 영향력이 증가하거나 감소할 수 있다. 특히 개개의 뉴런에 관련된 가중치는 바이어스(bias)로서 지칭될 수 있다.At this time, the artificial neural network model 30 may have a structure in which artificial neurons (or neurons) are connected, as shown in FIG. 6, and the connection between neurons may be referred to as a synapse. At this time, the neuron can process the received signal, transmit the processed signal to another neuron through a synapse, and the output of the neuron can be referred to as “activation.” Neurons and/or synapses may have variable weights, and depending on the weights, the influence of signals processed by the neurons may increase or decrease. In particular, the weights associated with individual neurons may be referred to as bias.

본 발명의 일 실시예에서, 인공 신경망 모델(30)은 전술한 바와 같이 학습 데이터(20)를 기초로 사전에 기계 학습될 수 있다. In one embodiment of the present invention, the artificial neural network model 30 may be machine-learned in advance based on the training data 20, as described above.

보다 상세하게, 인공 신경망 모델(30)은 복수의 학습 데이터(20)를 기초로 제1 점군 데이터(80’)와 제2 점군 데이터(90’) 사이의 상관 관계를 학습할 수 있다. 여기서, 제1 점군 데이터(80’)와 제2 점군 데이터(90’) 사이의 상관 관계를 학습한다는 것의 의미는, 복수의 학습 데이터(20)를 반복적으로 처리함으로써 왜곡이 반영된 점군 데이터인 제1 점군 데이터(80’)와 왜곡이 없는 상태의 점군 데이터인 제2 점군 데이터(90’) 간 변화의 양상을 파악하고, 이를 통해 추후 임의의 보정전 점군 데이터(80)로부터 보정후 점군 데이터(90)를 추론할 수 있도록 훈련되는 것을 의미할 수 있다.In more detail, the artificial neural network model 30 may learn the correlation between the first point cloud data 80' and the second point cloud data 90' based on the plurality of learning data 20. Here, learning the correlation between the first point cloud data 80' and the second point cloud data 90' means that the first point cloud data in which distortion is reflected by repeatedly processing the plurality of learning data 20 The pattern of change between the point cloud data (80') and the second point cloud data (90'), which is point cloud data without distortion, is identified, and through this, the point cloud data (90') after correction can be changed from the point cloud data (80) before arbitrary correction. ) can mean being trained to infer.

이처럼, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)의 왜곡 보정 장치(100)는 현장(특수 공간)에서 수집된 학습 데이터(20)를 기초로 사전 학습된 인공 신경망 모델(30)을 구비함으로써 도 4에 도시된 바와 같이, 추후 점군 취득 시스템(300)이 특수 공간에 투입되어 취득하는 보정전 점군 데이터(80)로부터 왜곡이 보정된 상태의 보정후 점군 데이터(90)를 제공할 수 있다. 즉, 인공 신경망 모델(30)이 보정후 점군 데이터(90)를 추론할 수 있는 것은, 앞서 설명한 바와 같이 동일한 특수 공간에 대하여 수집된 충분한 양의 학습 데이터를 통해 보정전후 점군 데이터 사이의 상관 관계에 대하여 사전 학습되었기 때문이다.In this way, the distortion correction device 100 of the point cloud acquisition system 300 according to an embodiment of the present invention uses a pre-trained artificial neural network model 30 based on the learning data 20 collected in the field (special space). By providing it, as shown in FIG. 4, the point cloud acquisition system 300 can later provide post-correction point cloud data 90 with distortion corrected from the pre-correction point cloud data 80 acquired by being inserted into a special space. there is. In other words, the reason why the artificial neural network model 30 can infer the point cloud data 90 after correction is because of the correlation between the point cloud data before and after correction through a sufficient amount of learning data collected for the same special space, as described above. This is because it was learned about in advance.

이때, 보정후 점군 데이터(90)는 보정전 점군 데이터(80)에 반영된 왜곡이 제거(보완)된 데이터로서, 제2 점군 데이터(90’)와 같이 하우징(210)에 의한 왜곡이 없을 경우 수집될 것으로 예상되는 점군 데이터 일 수 있다. At this time, the point cloud data 90 after correction is data from which the distortion reflected in the point cloud data 80 before correction has been removed (supplemented), and is collected when there is no distortion caused by the housing 210 like the second point cloud data 90'. It may be point cloud data that is expected to be

한편, 다시 도 3을 참조하면, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 전술한 인공 신경망 모델(30)을 통합적으로 제어하는 제어부(50)를 포함할 수 있다. Meanwhile, referring again to FIG. 3, the point cloud acquisition system 300 according to an embodiment of the present invention may include a control unit 50 that comprehensively controls the artificial neural network model 30 described above.

관련하여, 도면에는 제어부(50)가 인공 신경망 모델(30)과 별도의 개체인 것으로 도시되었으나, 이것은 개념적인 도시의 일례에 불과함을 밝혀 둔다. 즉, 이와 달리 제어부(50) 내에 인공 신경망 모델(30)이 직접 저장된 상태에서 구동되는 것과 같이 제어부(50) 및 인공 신경망 모델(30)은 일체화된 형태로 존재할 수도 있다.In relation to this, although the control unit 50 is shown in the drawing as a separate entity from the artificial neural network model 30, it should be noted that this is only an example of a conceptual illustration. In other words, the control unit 50 and the artificial neural network model 30 may exist in an integrated form, such that the artificial neural network model 30 is directly stored in the control unit 50 and driven.

한편, 제어부(50)는 인공 신경망 모델(30)을 학습시킬 수 있다. 즉, 전술한 바와 같이 제어부(50)는 인공 신경망 모델(30)이 제1 점군 데이터(80’)와 제2 점군 데이터(90’) 사이의 상관 관계를 학습하도록 제어할 수 있다.Meanwhile, the control unit 50 can train the artificial neural network model 30. That is, as described above, the controller 50 may control the artificial neural network model 30 to learn the correlation between the first point cloud data 80' and the second point cloud data 90'.

다음으로, 제어부(50)는 사전에 학습된 인공 신경망 모델(30) 측으로 임의의 보정전 점군 데이터(80)를 입력하여 왜곡이 보정된 상태의 보정후 점군 데이터(90)를 획득할 수 있다. 이때, 인공 신경망 모델(30)은 점군 취득 시스템(300)이 사용되는 특수 공간의 매질 및 환경 하에 수집된 학습 데이터에 기초하여 학습됨으로써 높은 정확도로 보정후 점군 데이터(90)를 추정할 수 있다.Next, the control unit 50 may input arbitrary pre-correction point cloud data 80 to the pre-trained artificial neural network model 30 to obtain post-correction point cloud data 90 with the distortion corrected. At this time, the artificial neural network model 30 is trained based on learning data collected under the medium and environment of the special space in which the point cloud acquisition system 300 is used, so that the point cloud data 90 after correction can be estimated with high accuracy.

도 7은 본 발명의 다른 실시예에 따른 점군 취득 시스템에 포함된 왜곡 보정 장치의 각 구성을 개략적으로 도시한 도면이다.Figure 7 is a diagram schematically showing each configuration of a distortion correction device included in a point cloud acquisition system according to another embodiment of the present invention.

이하, 도 7을 참조하여 본 발명의 다른 실시예에 대하여 설명하기로 한다.Hereinafter, another embodiment of the present invention will be described with reference to FIG. 7.

본 발명의 다른 실시예에 따를 경우, 메모리(10)는 상술한 학습 데이터(20) 및 인공 신경망 모델(30) 외에 추가적으로 근사 보정 모델(40)을 더 포함할 수도 있다.According to another embodiment of the present invention, the memory 10 may further include an approximate correction model 40 in addition to the training data 20 and the artificial neural network model 30 described above.

이때, 근사 보정 모델(40)은 보정전 점군 데이터(80)를 일차적으로 보정하기 위한 것으로서, 일례로 보정전 점군 데이터(80)로부터 근사 보정 점군 데이터(91)를 추정하기 위하여 왜곡 현상을 수학적으로 해석한 모델일 수 있다. 즉, 근사 보정 모델(40)은 왜곡 현상과 관련된 복수의 수학적 파라미터를 계산하도록 고안된 수학적 모델일 수 있으며, 이는 수학적 인과 관계의 도입 없이 학습 데이터에 내재된 상관 관계의 학습을 통해 보정후 점군 데이터를 추정하는 인공 신경망 모델(30)과는 명확히 구분될 수 있다.At this time, the approximate correction model 40 is intended to primarily correct the point cloud data 80 before correction. For example, in order to estimate the approximate correction point cloud data 91 from the point cloud data 80 before correction, the distortion phenomenon is mathematically calculated. It may be an interpreted model. In other words, the approximate correction model 40 may be a mathematical model designed to calculate a plurality of mathematical parameters related to the distortion phenomenon, which uses point cloud data after correction through learning of the correlation inherent in the learning data without introducing mathematical causality. It can be clearly distinguished from the estimated artificial neural network model (30).

관련하여, 근사 보정 모델(40)의 경우, 왜곡과 관련된 모든 파라미터를 고려하는 것이 현실적으로 불가능하며, 따라서 근사 보정 모델(40)로부터 출력된 근사 보정 점군 데이터(91)는 필연적으로 상당 수준의 보정 오차를 포함할 수 있다. 여기서 보정 오차란 왜곡이 전혀 없는 점군 데이터가 존재한다고 가정하였을 경우, 이와 같이 왜곡이 전혀 없는 점군 데이터와 근사 보정 점군 데이터 간의 차이의 정도일 수 있다. (다만, 특수 환경 하에서 왜곡이 전혀 없는 점군 데이터를 얻는 것은 불가능하므로, 상기 보정 오차는 근사 보정 모델(40)에 제1 점군 데이터(80’)를 입력하여 얻어진 제1 근사 보정 점군 데이터(91)와 제2 점군 데이터(90’) 사이의 제1 보정 오차(92')에 대응되는 개념으로서 상징적인 개념일 수 있음을 밝혀 둔다.)Relatedly, in the case of the approximate correction model 40, it is practically impossible to consider all parameters related to distortion, and therefore the approximate correction point cloud data 91 output from the approximate correction model 40 inevitably has a significant level of correction error. may include. Here, the correction error may be the degree of difference between the point cloud data with no distortion and the approximate correction point cloud data, assuming that point cloud data with no distortion exists. (However, since it is impossible to obtain point cloud data without any distortion under special circumstances, the correction error is the first approximate correction point cloud data 91 obtained by inputting the first point cloud data 80' into the approximate correction model 40. It should be noted that this may be a symbolic concept as a concept corresponding to the first correction error (92') between and the second point cloud data (90').

이처럼 본 발명의 다른 실시예와 같이 메모리(10)가 별도의 근사 보정 모델(40)을 포함하는 경우, 인공 신경망 모델(30)은 근사 보정 점군 데이터(91)에 포함된 보정 오차(92)를 추정하도록 학습될 수 있다.As in other embodiments of the present invention, when the memory 10 includes a separate approximate correction model 40, the artificial neural network model 30 calculates the correction error 92 included in the approximate correction point cloud data 91. Can be learned to estimate.

보다 구체적으로, 본 발명의 다른 실시예에서, 제어부(50)는, 학습 데이터(20) 중에서 제1 점군 데이터(80’)를 근사 보정 모델(40)에 입력하여 획득된 제1 근사 보정 점군 데이터(91')와 상술한 제2 점군 데이터(90’) 사이의 차이값인 제1 보정 오차(92')를 계산하며, 이를 인공 신경망 모델(30) 측으로 제공할 수 있다. More specifically, in another embodiment of the present invention, the control unit 50 inputs the first point cloud data 80' from the learning data 20 into the approximate correction model 40 to obtain the first approximate correction point cloud data. The first correction error 92', which is the difference between 91' and the above-described second point cloud data 90', is calculated, and this can be provided to the artificial neural network model 30.

이때, 제1 보정 오차(92')는 제1 점군 데이터(80’) 및 제2 점군 데이터(90’)와 같이 인공 신경망 모델(30)의 학습 데이터(20)로서 기능할 수 있다. 즉, 인공 신경망 모델(30)은 도 6에 도시된 바와 같이 제어부(50)에 의해 제1 점군 데이터(80’)와 제1 보정 오차(92') 사이의 상관 관계를 학습하도록 훈련될 수 있다. At this time, the first correction error 92' may function as learning data 20 of the artificial neural network model 30, like the first point cloud data 80' and the second point cloud data 90'. That is, the artificial neural network model 30 can be trained by the control unit 50 to learn the correlation between the first point cloud data 80' and the first correction error 92' as shown in FIG. 6. .

이를 통해 추후 인공 신경망 모델(30)은 임의의 보정전 점군 데이터(80)가 입력될 경우, 보정전 점군 데이터(80)에 내재되어 있을 것으로 예상되는 보정 오차(92)를 추정할 수 있다.Through this, when arbitrary pre-correction point cloud data 80 is input, the artificial neural network model 30 can estimate the correction error 92 expected to be inherent in the pre-correction point cloud data 80.

이러한 과정을 통해 도출된 보정 오차(92)는 추후 제어부(50)가 보정후 점군 데이터(90)를 획득함에 있어 이용될 수 있다. The correction error 92 derived through this process can be used later when the control unit 50 acquires the point cloud data 90 after correction.

보다 상세하게, 제어부(50)는 도 7에 도시된 바와 같이 근사 보정 모델(40)에 보정전 점군 데이터(80)를 입력하여 근사 보정 점군 데이터(91)를 획득할 수 있다. In more detail, the control unit 50 may obtain the approximate correction point cloud data 91 by inputting the pre-correction point cloud data 80 into the approximate correction model 40 as shown in FIG. 7.

그리고, 제어부(50)는 인공 신경망 모델(30)에 보정전 점군 데이터(80)를 입력하여 보정 오차(92)를 추정한 후, 앞서 획득된 근사 보정 점군 데이터(91)와 보정 오차(92)를 합산하여 최종적으로 보정후 점군 데이터(90)를 획득할 수 있다.Then, the control unit 50 inputs the pre-correction point cloud data 80 into the artificial neural network model 30 to estimate the correction error 92, and then calculates the previously obtained approximate correction point cloud data 91 and the correction error 92. By summing, the final corrected point cloud data 90 can be obtained.

살펴본 바와 같이, 본 발명의 다른 실시예에 따른 점군 취득 시스템(300)에 의할 경우, 점군 취득 장치(200) 또는 하우징(210)의 제작사가 제공하는 근사 보정 모델(40)을 통해 이미 일차적으로 보정을 거친 근사 보정 점군 데이터(91)를 인공 신경망 모델(30)을 통해 보완함으로써, 보정후 점군 데이터(90)의 예측의 정확도를 보다 향상시킬 수 있다.As seen, in the case of the point cloud acquisition system 300 according to another embodiment of the present invention, it is already primarily through the approximate correction model 40 provided by the manufacturer of the point cloud acquisition device 200 or the housing 210. By supplementing the corrected approximate corrected point cloud data 91 with the artificial neural network model 30, the prediction accuracy of the corrected point cloud data 90 can be further improved.

도 8은 본 발명의 일 실시예에 따른 점군 데이터의 왜곡을 보정하는 방법을 설명하기 위한 순서도이다. 도 9는 본 발명의 일 실시예에 따른 점군 데이터의 왜곡을 보정하는 방법의 일부분을 구체적으로 설명하기 위한 순서도이다. 이하, 도 8 및 도 9를 참고하여 설명하되, 도 1 내지 도 7에서 설명한 내용과 중복되는 내용은 설명을 간략히 하거나 생략할 수 있다.Figure 8 is a flowchart for explaining a method for correcting distortion of point cloud data according to an embodiment of the present invention. Figure 9 is a flowchart for specifically explaining a portion of a method for correcting distortion of point cloud data according to an embodiment of the present invention. Hereinafter, the description will be made with reference to FIGS. 8 and 9, but the description of content that overlaps with the content described in FIGS. 1 to 7 may be simplified or omitted.

도 8을 참조하면, 본 발명의 일 실시예에 따른 점군 데이터의 왜곡을 보정하는 방법은 보정전 점군 데이터(80)를 일차적으로 보정하는 근사 보정 모델(40)의 보정 오차(92)를 추정하는 인공 신경망 모델(30)을 구축하고 학습시키는 단계를 포함할 수 있다.(S10)Referring to FIG. 8, the method for correcting distortion of point cloud data according to an embodiment of the present invention involves estimating the correction error 92 of the approximate correction model 40 that primarily corrects the point cloud data 80 before correction. It may include the step of building and learning an artificial neural network model 30 (S10).

이때, 도 9를 참조하면, 인공 신경망 모델(30)을 구축하고 학습시키는 단계(S10)는 세부적으로 학습 데이터(20)를 수집하는 단계(S11), 제1 보정 오차(92')를 계산하는 단계(S12) 및 인공 신경망 모델(30)을 학습시키는 단계(S13)를 포함할 수 있다.At this time, referring to FIG. 9, the step of building and learning the artificial neural network model 30 (S10) includes collecting the training data 20 in detail (S11) and calculating the first correction error 92'. It may include a step (S12) and a step (S13) of training the artificial neural network model 30.

먼저, 사용자는 학습 데이터(20)를 수집하는 단계(S11)에서는 실제 점군 취득 시스템(300)이 투입될 특수 공간 내에서 제1 점군 데이터(80’)를 수집하고, 이 후 왜곡이 발생되는 않는 매질 내로 점군 취득 장치(200)를 이동시키고 하우징(210)을 점군 취득 장치(200)로부터 분리시킨 후, 제1 점군 데이터(80’)와 대응되는 제2 점군 데이터(90’) 세트를 수집할 수 있다. First, in the step (S11) of collecting the learning data 20, the user collects the first point cloud data 80' in a special space where the actual point cloud acquisition system 300 will be input, and then collects the first point cloud data 80' to ensure that no distortion occurs. After moving the point cloud acquisition device 200 into the medium and separating the housing 210 from the point cloud acquisition device 200, a set of second point cloud data 90' corresponding to the first point cloud data 80' is collected. You can.

이때, 사용자는 하우징(210) 외부의 매질이 변경될 때 마다 상기 학습 데이터(20)를 새로 수집하여 갱신함으로써 인공 신경망 모델(30)이 왜곡과 관련된 충분한 정보를 반영하여 학습되도록 할 수 있다.At this time, the user can collect and update the learning data 20 every time the medium outside the housing 210 changes so that the artificial neural network model 30 is learned by reflecting sufficient information related to distortion.

다음으로, 제어부(50)는 학습 데이터(20)의 제2 점군 데이터(90’)와, 상기 제1 점군 데이터(80’)를 근사 보정 모델(40)에 입력하여 획득된 제1 근사 보정 점군 데이터(91) 사이의 차이값인 제1 보정 오차(92')을 계산할 수 있다. 이때, 제1 근사 보정 점군 데이터(91)는 앞서 살펴본 바와 같이, 근사 보정 모델(40)을 통해 제1 점군 데이터(80')에 내재된 왜곡을 일차적으로 보완한 점군 데이터로서, 제2 점군 데이터(90’)와 비교하여 제1 보정 오차(92')와 같은 왜곡이 포함된 점군 데이터일 수 있다.Next, the control unit 50 inputs the second point cloud data 90' of the learning data 20 and the first point cloud data 80' into the approximate correction model 40 to obtain a first approximate correction point cloud. The first correction error 92', which is the difference between the data 91, can be calculated. At this time, as previously discussed, the first approximate correction point cloud data 91 is point cloud data that has primarily compensated for the distortion inherent in the first point cloud data 80' through the approximate correction model 40, and is the second point cloud data. It may be point cloud data that includes distortion such as the first correction error (92') compared to (90').

그리고, 제어부(50)는 인공 신경망 모델(30)이 제1 점군 데이터(80’)와 앞서 얻어진 제1 보정 오차(92') 사이의 상관 관계를 학습하도록 인공 신경망 모델(30)을 학습시킬 수 있다. 이처럼 인공 신경망 모델(30)은 실제 점군 취득 시스템(300)이 투입 예정인 특수 공간의 환경에서 수집된 학습 데이터(20)를 기초로 학습됨으로써 추후 임의의 보정전 점군 데이터(80)에 대하여 예상되는 보정후 점군 데이터(90)를 효과적으로 추정할 수 있다.And, the control unit 50 may train the artificial neural network model 30 so that the artificial neural network model 30 learns the correlation between the first point cloud data 80' and the previously obtained first correction error 92'. there is. In this way, the artificial neural network model 30 is learned based on the learning data 20 collected in the environment of a special space where the actual point cloud acquisition system 300 is scheduled to be input, so that the expected correction is made for the point cloud data 80 before arbitrary correction in the future. After that, the point cloud data 90 can be effectively estimated.

본 발명의 일 실시예에서, 제어부(50)는 인공 신경망 모델(30)을 학습시킨 후에 뒤따르는 복수의 과정을 통해서 최종 보정후 점군 데이터(90)를 도출할 수 있다.In one embodiment of the present invention, the control unit 50 may derive the final corrected point cloud data 90 through a plurality of processes that follow after training the artificial neural network model 30.

먼저, 제어부(50)는 근사 보정 모델(40)에 보정전 점군 데이터(80)를 입력하여 근사 보정 점군 데이터(91)를 획득할 수 있다.(S20) 이러한 근사 보정 점군 데이터(91)는 수학적 모델에 기반한 근사 보정 모델(40)의 한계로 인하여 왜곡에 해당되는 소정 보정 오차(92)를 포함한 점군 데이터일 수 있다.First, the control unit 50 can obtain the approximate correction point cloud data 91 by inputting the pre-correction point cloud data 80 into the approximate correction model 40. (S20) This approximate correction point cloud data 91 is mathematically Due to limitations of the model-based approximate correction model 40, the point cloud data may include a predetermined correction error 92 corresponding to distortion.

다음으로, 제어부(50)는 인공 신경망 모델(30)에 상기 보정전 점군 데이터(80)를 입력하여 근사 보정 점군 데이터(91)에 포함되었을 것으로 예상되는 보정 오차(92)를 추정할 수 있다.(S30) 정확한 추정을 위하여 인공 신경망 모델(30)은 충분한 학습 데이터(20)를 통해 제1 점군 데이터(80’)과 제1 보정 오차(92') 사이의 상관 관계를 미리 학습할 수 있다.Next, the control unit 50 may input the pre-correction point cloud data 80 into the artificial neural network model 30 to estimate the correction error 92 expected to be included in the approximate correction point cloud data 91. (S30) For accurate estimation, the artificial neural network model 30 can learn in advance the correlation between the first point cloud data 80' and the first correction error 92' through sufficient training data 20.

다음으로, 제어부는 근사 보정 모델(40)로부터 획득된 근사 보정 점군 데이터(91)와, 인공 신경망 모델(30)로부터 추정된 보정 오차(92)를 합산하여 최종 보정후 점군 데이터(90)를 획득할 수 있다. 이러한 보정후 점군 데이터(90)는 근사 보정 모델(40) 만을 이용한 근사 보정 점군 데이터(91) 대비 내재된 보정 오차(92)가 보정되어 있으므로, 본 발명의 일 실시예에 따른 점군 데이터의 왜곡을 보정하는 방법은 보다 정확도 높은 보정후 점군 데이터(90)를 제공할 수 있다.Next, the control unit obtains the final corrected point cloud data 90 by adding the approximate correction point cloud data 91 obtained from the approximate correction model 40 and the correction error 92 estimated from the artificial neural network model 30. can do. Since the point cloud data 90 after such correction has the inherent correction error 92 corrected compared to the approximate correction point cloud data 91 using only the approximate correction model 40, distortion of the point cloud data according to an embodiment of the present invention is prevented. The correction method can provide point cloud data 90 after correction with higher accuracy.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 저장하는 것일 수 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다.The embodiments according to the present invention described above may be implemented in the form of a computer program that can be executed through various components on a computer, and such a computer program may be recorded on a computer-readable medium. At this time, the medium may be one that stores a program executable on a computer. Examples of media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magneto-optical media such as floptical disks, And there may be something configured to store program instructions, including ROM, RAM, flash memory, etc.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be designed and configured specifically for the present invention, or may be known and available to those skilled in the art of computer software. Examples of computer programs may include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

살펴본 바와 같이, 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 사전에 점군 취득 장치(200)가 투입될 특수 공간과 동일한 환경 하에 획득된 학습 데이터(20)를 기초로 학습된 인공 신경망 모델(30)을 도입하여 보정후 점군 데이터를 추정할 수 있다. 이를 통해 본 발명의 일 실시예에 따른 점군 취득 시스템(300)은 방수, 방진, 내방사화 기능을 갖추지 않은 점군 취득 장치(200)를 통해서도 용이하게 특수 환경의 3차원 정보를 획득할 수 있다.As seen, the point cloud acquisition system 300 according to an embodiment of the present invention is an artificial neural network learned based on learning data 20 acquired in advance under the same environment as the special space where the point cloud acquisition device 200 will be input. By introducing the model 30, point cloud data can be estimated after correction. Through this, the point cloud acquisition system 300 according to an embodiment of the present invention can easily acquire 3D information of a special environment even through the point cloud acquisition device 200 that does not have waterproof, dustproof, or radiation-resistant functions.

또한, 본 발명의 다른 실시예에 따른 점군 취득 시스템(300) 또는 점군 데이터의 왜곡을 보정하는 방법은 기 존재하는 근사 보정 모델(40)로부터 획득된 근사 보정 점군 데이터를 인공 신경망 모델을 통해 보완함으로써 보정후 점군 데이터의 정확도를 보다 향상시킬 수 있다.In addition, the point cloud acquisition system 300 or the method for correcting distortion of point cloud data according to another embodiment of the present invention is by supplementing the approximate correction point cloud data obtained from the existing approximate correction model 40 through an artificial neural network model. After correction, the accuracy of point cloud data can be further improved.

이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 의해 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.Although an embodiment of the present invention has been described above, the spirit of the present invention is not limited to the embodiments presented in the present specification, and those skilled in the art who understand the spirit of the present invention will understand the spirit of the present invention within the scope of the same spirit. Other embodiments can be easily proposed by addition, change, deletion, addition, etc., but this will also be said to fall within the scope of the present invention.

10: 메모리 20: 학습 데이터
30: 인공 신경망 모델 40: 근사 보정 모델
50: 제어부 80: 보정전 점군 데이터
90: 보정후 점군 데이터 91: 근사 보정 점군 데이터
92: 보정 오차
100: 왜곡 보정 장치 200: 점군 취득 장치
300: 점군 취득 시스템10: memory 20: training data
30: Artificial neural network model 40: Approximate correction model
50: Control unit 80: Point cloud data before correction
90: Point cloud data after correction 91: Approximately corrected point cloud data
92: Calibration error
100: Distortion correction device 200: Point cloud acquisition device
300: Point cloud acquisition system

Claims (8)

특수 공간 내에 존재하는 점군 데이터를 취득하는 점군 취득 장치;
상기 점군 취득 장치를 상기 특수 공간 내의 환경 요인 또는 외력으로부터 보호하도록 상기 점군 취득 장치의 외측을 커버하는 하우징; 및
상기 하우징에 의해 발생되는 상기 점군 데이터의 왜곡을 보정하기 위한 왜곡 보정 장치;를 포함하고,
상기 왜곡 보정 장치는 메모리 및 제어부를 포함하고,
상기 메모리는,
학습 대상에 대하여 취득되되 상기 왜곡이 반영된 상태의 점군 데이터인 제1 점군 데이터 및 상기 학습 대상에 대하여 취득되되 상기 왜곡이 없는 상태의 점군 데이터인 제2 점군 데이터를 포함하는 학습 데이터를 저장하며,
상기 학습 데이터를 학습하여 보정전 점군 데이터에 반영된 상기 왜곡의 정도를 추정하는 인공 신경망 모델을 저장하고,
상기 제어부는,
상기 제1 점군 데이터와 상기 제2 점군 데이터 사이의 상관관계를 학습하도록 상기 인공 신경망 모델을 학습시키며,
상기 인공 신경망 모델에 상기 보정전 점군 데이터를 입력하여 상기 왜곡이 보정된 상태의 보정후 점군 데이터를 획득하는, 점군 취득 시스템.A point cloud acquisition device that acquires point cloud data existing in a special space;
a housing that covers the outside of the point cloud acquisition device to protect the point cloud acquisition device from environmental factors or external forces within the special space; and
It includes a distortion correction device for correcting distortion of the point cloud data generated by the housing,
The distortion correction device includes a memory and a control unit,
The memory is,
Stores learning data including first point cloud data, which is point cloud data acquired for the learning object in a state in which the distortion is reflected, and second point cloud data, which is point cloud data acquired for the learning object but in a state without the distortion,
Storing an artificial neural network model that learns the learning data and estimates the degree of distortion reflected in the point cloud data before correction,
The control unit,
Train the artificial neural network model to learn a correlation between the first point cloud data and the second point cloud data,
A point cloud acquisition system that inputs the pre-correction point cloud data into the artificial neural network model and acquires post-correction point cloud data with the distortion corrected. 제1 항에 있어서,
상기 점군 취득 장치는 수중에서 상기 점군 데이터를 취득하고,
상기 왜곡은 상기 하우징 내부와 상기 하우징 외부의 매질 차이에 의해 발생되는 왜곡을 포함하는, 점군 취득 시스템.According to claim 1,
The point cloud acquisition device acquires the point cloud data underwater,
The point cloud acquisition system wherein the distortion includes distortion caused by a difference in media inside the housing and outside the housing. 제2 항에 있어서,
상기 제1 점군 데이터는 상기 하우징 외부의 매질이 변경되는 경우, 상기 매질의 특성을 반영하도록 새롭게 취득되어 갱신되는, 점군 취득 시스템.According to clause 2,
The first point cloud data is newly acquired and updated to reflect the characteristics of the medium when the medium outside the housing changes. 제1 항에 있어서,
상기 하우징은 상기 점군 데이터가 상기 점군 취득 장치 측으로 진입하거나 상기 점군 데이터를 취득하기 위한 광이 상기 하우징의 외측으로 진출하기 위한 별도의 광학계를 포함하고,
상기 왜곡은 상기 하우징의 광학계에 의해 발생되는 왜곡을 포함하는, 점군 취득 시스템.According to claim 1,
The housing includes a separate optical system for allowing the point cloud data to enter the point cloud acquisition device side or for light for acquiring the point cloud data to advance to the outside of the housing,
The point cloud acquisition system wherein the distortion includes distortion caused by the optical system of the housing. 제1 항에 있어서,
상기 학습 대상은 일측에 복수의 교차점을 가지는 격자 무늬를 포함하고,
상기 제1 점군 데이터 및 상기 제2 점군 데이터는 상기 복수의 교차점을 대상으로 획득되는, 점군 취득 시스템.According to claim 1,
The learning object includes a grid pattern having a plurality of intersections on one side,
The first point cloud data and the second point cloud data are acquired by targeting the plurality of intersections. 제1 항에 있어서,
상기 메모리는,
상기 보정전 점군 데이터를 일차적으로 보정하여 근사 보정 점군 데이터를 제공하는 근사 보정 모델을 더 저장하고,
상기 학습 데이터는 상기 근사 보정 모델에 상기 제1 점군 데이터를 입력하여 획득된 제1 근사 보정 점군 데이터를 더 포함하고,
상기 인공 신경망 모델은,
상기 학습 데이터를 학습하여 상기 근사 보정 점군 데이터에 포함된 보정 오차를 추정하고,
상기 제어부는,
상기 제2 점군 데이터와 상기 제1 근사 보정 점군 데이터 사이의 차이값인 제1 보정 오차를 계산하고, 상기 제1 점군 데이터와 상기 제1 보정 오차 사이의 상관 관계를 학습하도록 상기 인공 신경망 모델을 학습시키고,
상기 근사 보정 모델에 상기 보정전 점군 데이터를 입력하여 상기 근사 보정 점군 데이터를 획득하고, 상기 인공 신경망 모델에 상기 보정전 점군 데이터를 입력하여 상기 보정 오차를 추정한 후, 상기 근사 보정 점군 데이터와 상기 보정 오차를 합산하여 상기 보정후 점군 데이터를 획득하는, 점군 취득 시스템.According to claim 1,
The memory is,
Further storing an approximate correction model that primarily corrects the pre-correction point cloud data and provides approximate correction point cloud data,
The learning data further includes first approximate correction point cloud data obtained by inputting the first point cloud data into the approximate correction model,
The artificial neural network model is,
Estimating a correction error included in the approximate correction point cloud data by learning the learning data,
The control unit,
Calculate a first correction error, which is a difference value between the second point cloud data and the first approximate correction point cloud data, and learn the artificial neural network model to learn the correlation between the first point cloud data and the first correction error. order,
The approximate correction point cloud data is obtained by inputting the pre-correction point cloud data into the approximate correction model, and the correction error is estimated by inputting the pre-correction point cloud data into the artificial neural network model. Then, the approximate correction point cloud data and the A point cloud acquisition system that acquires the point cloud data after the correction by summing the correction errors. 점군 취득 장치의 외측을 커버하는 하우징에 의해 발생되는 점군 데이터의 왜곡을 보정하기 위한 방법으로서,
보정전 점군 데이터를 일차적으로 보정하는 근사 보정 모델의 보정 오차를 추정하는 인공 신경망 모델을 구축하고 학습시키는 단계;
상기 근사 보정 모델에 상기 보정전 점군 데이터를 입력하여 근사 보정 점군 데이터를 획득하는 단계;
상기 인공 신경망 모델에 상기 보정전 점군 데이터를 입력하여 상기 보정전 점군 데이터에 포함된 상기 보정 오차를 추정하는 단계; 및
상기 근사 보정 점군 데이터와 상기 보정 오차를 합산하여 보정후 점군 데이터를 획득하는 단계;를 포함하고,
상기 인공 신경망 모델을 구축하고 학습시키는 단계는,
학습 대상에 대하여 취득되며 상기 왜곡이 반영된 상태의 점군 데이터인 제1 점군 데이터 및 상기 학습 대상에 대하여 취득되며 상기 왜곡이 없는 상태의 점군 데이터인 제2 점군 데이터를 포함하는 학습 데이터를 수집하는 단계;
상기 제2 점군 데이터와, 상기 근사 보정 모델에 상기 제1 점군 데이터를 입력하여 획득된 제1 근사 보정 점군 데이터 사이의 차이값인 제1 보정 오차를 계산하는 단계; 및
상기 제1 점군 데이터와 상기 제1 보정 오차 사이의 상관 관계를 학습하도록 상기 인공 신경망 모델을 학습시키는 단계;를 포함하는, 점군 데이터의 왜곡을 보정하는 방법.As a method for correcting distortion of point cloud data caused by a housing covering the outside of the point cloud acquisition device,
Building and learning an artificial neural network model that estimates the correction error of an approximate correction model that primarily corrects the point cloud data before correction;
acquiring approximate correction point cloud data by inputting the pre-correction point cloud data into the approximate correction model;
inputting the pre-correction point cloud data into the artificial neural network model to estimate the correction error included in the pre-correction point cloud data; and
Comprising: obtaining post-correction point cloud data by adding the approximate correction point cloud data and the correction error,
The step of building and learning the artificial neural network model is,
Collecting learning data including first point cloud data that is acquired for the learning object and is point cloud data in a state in which the distortion is reflected, and second point cloud data that is acquired for the learning object and is point cloud data in the state without the distortion;
calculating a first correction error that is a difference value between the second point cloud data and first approximate correction point cloud data obtained by inputting the first point cloud data into the approximate correction model; and
A method for correcting distortion of point cloud data, comprising: training the artificial neural network model to learn a correlation between the first point cloud data and the first correction error. 제7 항에 있어서,
상기 인공 신경망 모델을 구축하고 학습시키는 단계는, 상기 하우징 외부의 매질이 변경될 때 마다 상기 학습 데이터를 갱신하여 수행되는, 점군 데이터의 왜곡을 보정하는 방법.According to clause 7,
The step of building and learning the artificial neural network model is performed by updating the learning data whenever the medium outside the housing changes.
KR1020220034256A 2022-03-18 2022-03-18 Point cloud acquisition system and method to correct distortion of point cloud data KR102597475B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220034256A KR102597475B1 (en) 2022-03-18 2022-03-18 Point cloud acquisition system and method to correct distortion of point cloud data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220034256A KR102597475B1 (en) 2022-03-18 2022-03-18 Point cloud acquisition system and method to correct distortion of point cloud data

Publications (2)

Publication Number Publication Date
KR20230136462A true KR20230136462A (en) 2023-09-26
KR102597475B1 KR102597475B1 (en) 2023-11-02

Family

ID=88190899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220034256A KR102597475B1 (en) 2022-03-18 2022-03-18 Point cloud acquisition system and method to correct distortion of point cloud data

Country Status (1)

Country Link
KR (1) KR102597475B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160102711A (en) * 2015-02-23 2016-08-31 한국전자통신연구원 Apparatus and method for generating under waer object of three-dimensional shape

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160102711A (en) * 2015-02-23 2016-08-31 한국전자통신연구원 Apparatus and method for generating under waer object of three-dimensional shape

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Shukai Chi ET AL, A Laser Line Auto-Scanning System for Underwater 3D Reconstruction, Sensors 2016, 16(9), 20 Sept. 2016(2016.09.20.) 1부.* *
Simron Thapa ET AL, Learning to Remove Refractive Distortions from Underwater Images, 2021 IEEE/CVF International Conference on Computer Vision (ICCV), 11-17 Oct. 2021(2021.10.11.) 1부.* *

Also Published As

Publication number Publication date
KR102597475B1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
JP7418340B2 (en) Image augmented depth sensing using machine learning
CA3080184C (en) Deployment of trained neural network based rss fingerprint dataset
US10845818B2 (en) System and method for 3D scene reconstruction of agent operation sequences using low-level/high-level reasoning and parametric models
US5363305A (en) Navigation system for a mobile robot
Roman et al. A self‐consistent bathymetric mapping algorithm
CN110174107A (en) A kind of guide to visitors robot localization builds figure laser vision fusion method and robot
US11315264B2 (en) Laser sensor-based map generation
US20200233061A1 (en) Method and system for creating an inverse sensor model and method for detecting obstacles
KR102615685B1 (en) Method for estimating location by synchronizing multi-sensors and robot implementing it
KR20200137943A (en) A method for estimating a location using multi-sensors and a robot implementing the same
Pellenz et al. Real-time 3d mapping of rough terrain: A field report from disaster city
KR20200095339A (en) Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same
CN108292138A (en) Random map knows formula stereo vision sensor model
CN114879660B (en) Robot environment sensing method based on target drive
KR102597475B1 (en) Point cloud acquisition system and method to correct distortion of point cloud data
US20210141381A1 (en) Information processing device, information processing system, behavior planning method, and computer program
Jörg World modeling for an autonomous mobile robot using heterogenous sensor information
CN112733971B (en) Pose determination method, device and equipment of scanning equipment and storage medium
JP2020149186A (en) Position attitude estimation device, learning device, mobile robot, position attitude estimation method, and learning method
Castillón et al. Extrinsic visual–inertial calibration for motion distortion correction of underwater 3d scans
Emde et al. Validating a simulation of a single ray based laser scanner used in mobile robot applications
Olson et al. Synthetic data generation for deep learning of underwater disparity estimation
WO2021014846A1 (en) Information processing device, data generation method, and non-transitory computer-readable medium having program stored thereon
Luczynski et al. Underwater inspection and intervention dataset
KR102516795B1 (en) Sonar image simulator device and underwater object detection device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant