KR20220078447A - Operation method of image restoration apparatus for restoring low-density area - Google Patents

Operation method of image restoration apparatus for restoring low-density area Download PDF

Info

Publication number
KR20220078447A
KR20220078447A KR1020210048197A KR20210048197A KR20220078447A KR 20220078447 A KR20220078447 A KR 20220078447A KR 1020210048197 A KR1020210048197 A KR 1020210048197A KR 20210048197 A KR20210048197 A KR 20210048197A KR 20220078447 A KR20220078447 A KR 20220078447A
Authority
KR
South Korea
Prior art keywords
data
density
low
image
restoration apparatus
Prior art date
Application number
KR1020210048197A
Other languages
Korean (ko)
Inventor
추창우
박창준
이만희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20220078447A publication Critical patent/KR20220078447A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

본 개시의 실시 예에 이미지 복원 장치는 3차원 카메라 센서 및 라이다 센서를 포함하고, 이미지 복원 장치의 동작 방법은, 3차원 카메라 센서를 통해, 객체를 촬영하고, 제1 데이터를 생성하는 단계, 라이다 센서를 통해, 객체와의 거리를 측정하고, 제1 데이터에 대응하는 제2 데이터를 생성하는 단계, 제1 데이터 및 제2 데이터를 공통 좌표계에서 융합하여 믹싱 데이터를 생성하는 단계, 믹싱 데이터 내에서 저밀도 영역을 검출하는 단계로서, 저밀도 영역의 조밀도는 믹싱 데이터의 기준 조밀도보다 낮은 것, 및 제2 데이터에 기초하여 저밀도 영역에 대응하는 복원 영역을 생성하는 단계로서, 복원 영역의 조밀도는 상기 저밀도 영역의 조밀도보다 높은 것을 포함하는 방법.In an embodiment of the present disclosure, the image restoration apparatus includes a three-dimensional camera sensor and a lidar sensor, and the method of operating the image restoration apparatus includes, through the three-dimensional camera sensor, photographing an object, and generating first data; Measuring a distance to an object through a lidar sensor, generating second data corresponding to the first data, fusing the first data and the second data in a common coordinate system to generate mixing data, mixing data Detecting a low-density region in the , wherein a density of the low-density region is lower than a reference density of the mixed data, and generating a restored region corresponding to the low-density region based on the second data, the density of the restored region or higher than the density of said low-density region.

Description

저밀도 영역을 복원하는 이미지 복원 장치의 동작 방법{OPERATION METHOD OF IMAGE RESTORATION APPARATUS FOR RESTORING LOW-DENSITY AREA} OPERATION METHOD OF IMAGE RESTORATION APPARATUS FOR RESTORING LOW-DENSITY AREA

본 발명은 이미지 복원 장치의 동작 방법에 관한 것으로, 보다 상세하게는, 라이다 데이터를 이용하여 3차원 데이터의 저밀도 영역을 복원하는 이미지 복원 장치의 동작 방법에 관한 것이다.The present invention relates to a method of operating an image restoration apparatus, and more particularly, to a method of operating an image restoration apparatus for reconstructing a low-density area of 3D data using lidar data.

3차원 이미지 데이터(이하에서, 3차원 데이터라고 함)복원 방법은 이미지의 각 화소(pixel)의 깊이 값을 계산하여 깊이 값을 공통 좌표계로 융합하여 3차원 좌표를 계산 또는 이미지의 깊이 값을 계산하지 않고 직접 3차원 좌표를 계산한다. 이미지의 지상 표본거리(GSD; Ground Sampling Distance)는 이미지의 연속된 두 픽셀 사이의 거리로, 일반적으로 지상 표본거리가 작은 이미지를 사용할수록 조밀한 3차원 점군 데이터를 복원할 수 있다. 동일한 카메라를 사용하더라도 더 가까운 위치에서 객체를 촬영할수록, 초점거리가 긴 렌즈를 촬영할수록 지상 표본 거리가 작은 이미지를 얻을 수 있다. The 3D image data (hereinafter referred to as 3D data) restoration method calculates the depth value of each pixel of the image and fuses the depth value into a common coordinate system to calculate 3D coordinates or calculate the depth value of the image without directly calculating the 3D coordinates. The Ground Sampling Distance (GSD) of an image is the distance between two consecutive pixels of an image. In general, the smaller the ground sampling distance is, the more dense 3D point cloud data can be restored. Even if the same camera is used, an image with a smaller ground sample distance can be obtained as an object is photographed from a closer position and a lens with a longer focal length is photographed.

다시점(Multi-view) 이미지를 이용한 3차원 복원을 위해서는 서로 중첩되는 다수의 이미지를 촬영해야 하는데, 조밀하게 3차원 데이터를 복원하기 위해서는 지상 표본거리가 작은 이미지를 촬영해야 한다. 따라서, 복원할 영역이 넓을수록 필요한 이미지 개수가 많아지므로, 지상 표본 거리가 작은 이미지를 촬영하는데 어려움이 있다. 또한, 실제 환경에서 카메라에 촬영되는 장면은 카메라로부터 다양한 거리에 있는 객체가 촬영되기 때문에 이미지 내에서 일정한 지상 표본 거리를 유지하는 것도 어렵다. 이와 같이, 이미지를 이용한 3차원 복원 결과에서 조밀하지 않은 부분의 조밀도를 향상시킬 방법이 필요하다.For three-dimensional reconstruction using multi-view images, multiple images that overlap each other must be photographed. In order to densely restore three-dimensional data, images with a small ground sample distance must be photographed. Therefore, as the area to be restored is wider, the number of images required increases, so it is difficult to photograph an image with a small ground sample distance. In addition, it is difficult to maintain a constant ground specimen distance in the image because objects at various distances from the camera are photographed in a scene captured by a camera in a real environment. As such, there is a need for a method for improving the density of a non-dense portion in a 3D restoration result using an image.

본 개시의 실시 예에 따르면, 라이다 데이터를 이용하여 3차원 데이터의 저밀도 영역을 복원하는 이미지 복원 장치의 동작 방법이 제공된다. According to an embodiment of the present disclosure, there is provided a method of operating an image restoration apparatus for reconstructing a low-density region of 3D data using lidar data.

본 개시의 실시 예에 따르면, 이미지 복원 장치는 3차원 카메라 센서 및 라이다 센서를 포함한다. 상기 이미지 복원 장치의 동작 방법은, 상기 3차원 카메라 센서를 통해, 객체를 촬영하고, 제1 데이터를 생성하는 단계, 상기 라이다 센서를 통해, 상기 객체와의 거리를 측정하고, 상기 제1 데이터에 대응하는 제2 데이터를 생성하는 단계, 상기 제1 데이터 및 상기 제2 데이터를 공통 좌표계에서 융합하여 믹싱 데이터를 생성하는 단계, 상기 믹싱 데이터 내에서 저밀도 영역을 검출하는 단계로서, 상기 저밀도 영역의 조밀도는 상기 믹싱 데이터의 기준 조밀도보다 낮은 것, 및 상기 제2 데이터에 기초하여 상기 저밀도 영역에 대응하는 복원 영역을 생성하는 단계로서, 상기 복원 영역의 조밀도는 상기 저밀도 영역의 조밀도보다 높은 것을 포함한다.According to an embodiment of the present disclosure, an image restoration apparatus includes a 3D camera sensor and a lidar sensor. The method of operating the image restoration apparatus includes: photographing an object through the three-dimensional camera sensor, generating first data, measuring a distance to the object through the lidar sensor, and the first data generating second data corresponding to , generating mixed data by fusing the first data and the second data in a common coordinate system, detecting a low-density region in the mixed data, wherein the low-density region is The density is lower than the reference density of the mixed data, and generating a restored region corresponding to the low-density region based on the second data, wherein the density of the restored region is lower than the density of the low-density region. include high

본 개시의 실시 예에 따르면, 라이다 데이터를 통해 3차원 데이터의 저밀도 영역을 복원하는 3차원 데이터 이미지 복원 장치의 동작 방법이 제공된다.According to an embodiment of the present disclosure, there is provided a method of operating a 3D data image restoration apparatus for reconstructing a low-density area of 3D data through lidar data.

또한, 라이다 데이터를 통해 3차원 데이터의 조밀도가 향상됨에 따라, 해상도 및 화질이 향상된 3차원 데이터를 생성하는 이미지 복원 장치의 동작 방법이 제공된다.In addition, as the density of 3D data is improved through lidar data, a method of operating an image restoration apparatus for generating 3D data with improved resolution and image quality is provided.

도 1은 본 개시의 실시 예에 따른 이미지 복원 장치를 보여주는 블록도이다.
도 2는 본 개시의 실시 예에 따른 데이터 복원부를 구체화한 블록도이다.
도 3은 본 개시의 실시 예에 따른 데이터 복원부를 구체화한 블록도이다.
도 4는 본 개시의 실시 예에 따른 이미지 복원 장치를 구체화한 블록도이다.
도 5는 본 개시의 실시 예에 따른 이미지 복원 장치의 방법을 보여주는 순서도이다.
도 6은 본 개시의 실시 예에 따른 이미지 복원 장치의 방법을 보여주는 순서도이다.1 is a block diagram illustrating an image restoration apparatus according to an embodiment of the present disclosure.
2 is a detailed block diagram of a data restoration unit according to an embodiment of the present disclosure.
3 is a detailed block diagram of a data restoration unit according to an embodiment of the present disclosure.
4 is a detailed block diagram of an image restoration apparatus according to an embodiment of the present disclosure.
5 is a flowchart illustrating a method of an image restoration apparatus according to an embodiment of the present disclosure.
6 is a flowchart illustrating a method of an image restoration apparatus according to an embodiment of the present disclosure.

아래에서는, 본 개시의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 쉽게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재될 것이다.Below, embodiments of the present invention will be described clearly and in detail to the extent that those skilled in the art of the present disclosure can easily practice the present invention.

도 1은 본 개시의 실시 예에 따른 이미지 복원 장치를 보여주는 블록도이다. 도 1을 참조하면, 이미지 복원 장치(100a)가 도시된다. 이미지 복원 장치(100a)는 객체(OB)의 3차원 데이터를 포함하는 복원 데이터를 생성할 수 있다. 일 실시 예에서, 복원 데이터는 3차원 지도 및 홀로그래피 이미지 등에 활용될 수 있다.1 is a block diagram illustrating an image restoration apparatus according to an embodiment of the present disclosure. Referring to FIG. 1 , an image restoration apparatus 100a is illustrated. The image restoration apparatus 100a may generate restoration data including 3D data of the object OB. In an embodiment, the restored data may be used for a 3D map and a holographic image.

객체(OB)는 3차원 데이터를 복원하고자 하는 대상이다. 일 실시 예에서, 객체(OB)는 가로, 세로, 높이를 갖는 입체 도형일 수 있다. 일 실시 예에서, 객체(OB)는 하나의 건물일 수도 있다. 그러나, 본 개시의 범위는 이에 제한되지 않으며, 객체(OB)는 3차원 데이터를 포함하는 어떤 물체도 될 수 있고, 특정한 형태 또는 특정한 개수에 국한되지 않을 수 있다.The object OB is a target to restore 3D data. According to an embodiment, the object OB may be a three-dimensional figure having width, length, and height. In an embodiment, the object OB may be a single building. However, the scope of the present disclosure is not limited thereto, and the object OB may be any object including 3D data, and may not be limited to a specific shape or a specific number.

이미지 복원 장치(100a)는 3차원 카메라 센서(110), 라이다 센서 (120), 데이터 융합부(130), 및 데이터 복원부(140)를 포함할 수 있다. The image restoration apparatus 100a may include a 3D camera sensor 110 , a lidar sensor 120 , a data fusion unit 130 , and a data restoration unit 140 .

3차원 카메라 센서(110)는 객체(OB)를 촬영하고 제1 데이터(DT1) 및 이미지 데이터(IM)를 생성할 수 있다. 일 실시 예에서, 3차원 카메라 센서(110)는 복수의 상이한 시점들(예를 들어, 관측 위치)에서 객체(OB)를 촬영하고, 복수의 이미지 데이터(IM)를 생성할 수 있다. 일 실시 예에서, 3차원 카메라 센서(110)는 객체(OB)의 주위를 여러 위치에서 촬영할 때 발생하는 3차원 카메라 센서(110)의 움직임에 기초하여 객체(OB)의 제1 데이터(DT1)를 생성할 수 있다. The 3D camera sensor 110 may photograph the object OB and generate the first data DT1 and the image data IM. In an embodiment, the 3D camera sensor 110 may photograph the object OB at a plurality of different viewpoints (eg, observation positions), and may generate a plurality of image data IM. In an embodiment, the 3D camera sensor 110 may include the first data DT1 of the object OB based on the movement of the 3D camera sensor 110 that occurs when shooting around the object OB at various locations. can create

예를 들어, 3차원 카메라 센서(110)는 다시점 카메라일 수 있다. 일 실시 예에서, 이미지 데이터(IM)는 복수의 상이한 시점들에서 촬영된 객체(OB)에 대응하는 복수의 이미지 데이터(IM)를 포함할 수 있다. For example, the 3D camera sensor 110 may be a multi-view camera. In an embodiment, the image data IM may include a plurality of image data IM corresponding to the object OB captured at a plurality of different viewpoints.

예를 들어, 제1 데이터(DT1)는 이미지 데이터(IM)에 기초하여 생성된 점군 데이터(Point Cloud)일 수 있다. 점군 데이터는 객체(OB)의 표면을 나타내는 포인트들의 집합일 수 있다. 포인트들 각각은 3차원 좌표의 값을 가질 수 있다. For example, the first data DT1 may be point cloud data generated based on the image data IM. The point cloud data may be a set of points representing the surface of the object OB. Each of the points may have a value of three-dimensional coordinates.

일 실시 예에서, 제1 데이터(DT1)는 SFM(Structure From Motion) 및 다중뷰 스테레오(multi-view stereo) 과정을 통해 생성될 수 있다. In an embodiment, the first data DT1 may be generated through a structure from motion (SFM) and a multi-view stereo process.

3차원 카메라 센서(110)는 이미지 데이터(IM)에 기초하여 특징점(feature point)과 특징점 기술자(feature descriptor)를 추출할 수 있다. 일 실시 예에서, 특징점은 3차원 카메라 센서(110)에 의해 촬영된 복수의 이미지 데이터 내에서 객체의 중심, 객체의 외곽 등과 같은 특징이 되는 지점을 의미할 수 있다. 객체(OB)의 이미지 데이터(IM) 중 특징이 될 수 있는 지점을 의미할 수 있다. 일 실시 예에서, 특징점 기술자는 특징점의 특성을 기술할 수 있다. 3차원 카메라 센서(110)는 이미지 데이터(IM)의 특징점 기술자 매칭 및 에피폴라 제약조건(epipolar constraint)을 통해 대응점들을 추출할 수 있다. The 3D camera sensor 110 may extract a feature point and a feature descriptor based on the image data IM. In an embodiment, the feature point may mean a point that becomes a feature, such as a center of an object or an outer edge of an object, within a plurality of image data captured by the 3D camera sensor 110 . It may mean a point that can be a feature among the image data IM of the object OB. In an embodiment, the feature descriptor may describe characteristics of the feature point. The 3D camera sensor 110 may extract corresponding points through feature point descriptor matching of the image data IM and an epipolar constraint.

3차원 카메라 센서(110)는 추출된 대응점들의 기하관계에 기초하여 대응점들 각각의 3차원 좌표를 생성할 수 있다. 3차원 카메라 센서(110)는 대응점들 각각의 3차원 좌표에 기초하여 제1 데이터(DT1)을 생성할 수 있다. 일 실시 예에서, 제1 데이터(DT1)는 대응점들 각각의 3차원 좌표의 집합일 수 있다. 일 실시 예에서, 대응점들 각각은 점군 데이터의 포인트일 수 있다.The 3D camera sensor 110 may generate 3D coordinates of each of the corresponding points based on the extracted geometric relationship of the corresponding points. The 3D camera sensor 110 may generate the first data DT1 based on the 3D coordinates of each of the corresponding points. In an embodiment, the first data DT1 may be a set of three-dimensional coordinates of each of the corresponding points. In an embodiment, each of the corresponding points may be a point of point cloud data.

일 실시 예에서, 3차원 카메라 센서(110)는 제1 데이터(DT1)를 3차원 카메라 센서(110)에 재투영하여 투영된 제1 데이터(DT1)의 대응점들의 좌표와 관측한 특징점들의 좌표간 거리가 최소화되도록 3차원 카메라 센서(110)의 위치와 자세, 제1 데이터(DT1)를 최적화할 수 있다. In an embodiment, the 3D camera sensor 110 re-projects the first data DT1 to the 3D camera sensor 110 between the coordinates of the corresponding points of the projected first data DT1 and the coordinates of the observed feature points. The position and posture of the 3D camera sensor 110 and the first data DT1 may be optimized so that the distance is minimized.

다중시점 스테레오 과정에서, 3차원 카메라 센서(110)는 3차원 카메라 센서(110)의 위치, 자세, 내부인자, 및 렌즈왜곡 파라미터를 이용하여, 이미지 데이터(IM) 각각의 화소의 깊이 값과 법선 벡터를 계산할 수 있다. 일 실시 예에서, 3차원 카메라 센서(110)는 SFM과정에서 계산한 3차원 카메라 센서(110)의 위치, 자세 값과 다중시점 스테레오 과정에서 계산한 이미지 데이터(IM) 각각의 화소의 깊이 값과 법선 벡터에 기초하여, 노이즈를 제거한 제1 데이터(DT1)를 생성할 수 있다. In the multi-view stereo process, the 3D camera sensor 110 uses the position, posture, internal factor, and lens distortion parameter of the 3D camera sensor 110 , the depth value and the normal of each pixel of the image data IM vector can be calculated. In one embodiment, the 3D camera sensor 110 includes the position and posture values of the 3D camera sensor 110 calculated in the SFM process and the depth value of each pixel of the image data IM calculated in the multi-view stereo process and Based on the normal vector, the first data DT1 from which noise is removed may be generated.

또한 3차원 카메라 센서(110)는 이미지 데이터(IM)에 기초하여 제1 데이터(DT1)의 컬러 값을 계산할 수 있다. Also, the 3D camera sensor 110 may calculate a color value of the first data DT1 based on the image data IM.

라이다 센서(120)는 제2 데이터(DT2)를 생성할 수 있다. 라이다 센서(120)는 제2 데이터(DT2)를 데이터 융합부(130)로 출력할 수 있다. 일 실시 예에서, 라이다 센서(120)는 라이다(Lidar) 센서를 포함할 수 있다. 일 실시 예에서, 라이다 센서(120)는 객체(OB)를 향해 라이다 신호를 송신하고, 객체(OB)로부터 라이다 신호가 반사되어 되돌아오는 시간을 이용하여 객체(OB)와의 거리를 측정하고, 객체(OB)에 대응하는 점군 데이터를 수집할 수 있다. The lidar sensor 120 may generate the second data DT2 . The lidar sensor 120 may output the second data DT2 to the data fusion unit 130 . In an embodiment, the lidar sensor 120 may include a lidar sensor. In an embodiment, the lidar sensor 120 transmits a lidar signal toward the object OB, and measures the distance to the object OB using a time when the lidar signal is reflected and returned from the object OB. and collect point cloud data corresponding to the object OB.

일 실시 예에서, 제2 데이터(DT2)는 라이다에 기초하여 생성된 점군 데이터일 수 있다. 점군 데이터는 객체(OB)의 표면을 나타내는 포인트들의 집합일 수 있다. 포인트들 각각은 3차원 좌표의 값을 가질 수 있다.In an embodiment, the second data DT2 may be point cloud data generated based on lidar. The point cloud data may be a set of points representing the surface of the object OB. Each of the points may have a value of three-dimensional coordinates.

일 실시 예에서, 이미지 복원 장치(100a)는 광학 카메라를 더 포함할 수 있다. 라이다 센서(120)는 광학 카메라에 기초하여, 객체(OB)의 컬러 정보를 포함하는 제2 데이터(DT2)를 생성할 수 있다. In an embodiment, the image restoration apparatus 100a may further include an optical camera. The lidar sensor 120 may generate the second data DT2 including color information of the object OB based on the optical camera.

일 실시 예에서, 라이다 센서(120)는 관측소 등의 건물에 고정되어 있을 수 있다. 일 실시 예에서, 라이다 센서(120)는 차량 등의 이동수단에 장착되어 있을 수 있다. 그러나, 본 발명의 범위는 이에 제한되지 않으며, 라이다 센서(120)는 특정한 형태에 국한되지 않을 수 있다. In an embodiment, the lidar sensor 120 may be fixed to a building such as an observatory. In an embodiment, the lidar sensor 120 may be mounted on a moving means such as a vehicle. However, the scope of the present invention is not limited thereto, and the lidar sensor 120 may not be limited to a specific shape.

데이터 융합부(130)는 제1 데이터(DT1) 및 제2 데이터(DT2)에 기초하여 믹싱 데이터(MD)를 생성할 수 있다. 믹싱 데이터(MD)는 제1 데이터(DT1)의 점군 데이터 및 제2 데이터(DT2)의 점군 데이터를 포함할 수 있다. 예를 들어, 믹싱 데이터(MD)는 제1 데이터(DT1)의 점군 데이터 및 제2 데이터(DT2)의 점군 데이터를 동일한 스케일 및 공통 좌표계에서 융합한 것일 수 있다. 데이터 융합부(130)는 믹싱 데이터(MD)를 데이터 복원부(140)로 출력할 수 있다. The data fusion unit 130 may generate the mixed data MD based on the first data DT1 and the second data DT2 . The mixed data MD may include point cloud data of the first data DT1 and point cloud data of the second data DT2 . For example, the mixed data MD may be a fusion of the point cloud data of the first data DT1 and the point cloud data of the second data DT2 in the same scale and in a common coordinate system. The data fusion unit 130 may output the mixed data MD to the data restoration unit 140 .

일 실시 예에서, 제1 데이터(DT1) 및 제2 데이터(DT2)가 같은 스케일(예를 들어, 객체(OB)와의 거리에 기초한 스케일)을 가진다면, 데이터 융합부(130)는 제1 데이터(DT1) 및 제2 데이터(DT2)의 회전, 이동을 계산하여 믹싱 데이터(MD)를 생성할 수 있다. 즉, 데이터 융합부(130)는 제1 데이터(DT1)의 점군 데이터 및 제2 데이터(DT2)의 점군 데이터가 공통 좌표계를 갖도록 제1 데이터(DT1) 및 제2 데이터(DT2)의 회전, 이동을 수행할 수 있다.In an exemplary embodiment, if the first data DT1 and the second data DT2 have the same scale (eg, a scale based on a distance to the object OB), the data fusion unit 130 performs the first data The mixing data MD may be generated by calculating the rotation and movement of the DT1 and the second data DT2 . That is, the data fusion unit 130 rotates and moves the first data DT1 and the second data DT2 so that the point cloud data of the first data DT1 and the point cloud data of the second data DT2 have a common coordinate system. can be performed.

일 실시 예에서, 제1 데이터(DT1) 및 제2 데이터(DT2)가 다른 스케일을 가진다면, 데이터 융합부(130)는 제1 데이터(DT1)의 스케일 및 제2 데이터(DT2)의 스케일에 기초하여, 믹싱 데이터(MD)를 생성할 수 있다. In an embodiment, if the first data DT1 and the second data DT2 have different scales, the data fusion unit 130 adjusts the scale of the first data DT1 and the scale of the second data DT2 to the scale of the first data DT1 and the second data DT2. Based on this, the mixing data MD may be generated.

일 실시 예에서, 이미지 데이터(IM)에 객체(OB)의 GPS(Global　Positioning　System) 자료가 포함되어 있다면, 데이터 융합부(130)는 제2 데이터(DT2)와 같은 스케일을 갖는 제1 데이터(DT1)를 생성할 수 있다.In an embodiment, if the image data IM includes Global Positioning System (GPS) data of the object OB, the data fusion unit 130 performs first data ( DT1) can be created.

데이터 복원부(140)는 믹싱 데이터(MD)에 기초하여 복원 데이터를 생성할 수 있다. 복원 데이터는 제1 데이터(DT1) 및 제2 데이터(DT2)보다 해상도 및 화질이 향상된 데이터일 수 있다. 데이터 복원부(140)는 3차원 카메라 센서(110)로부터 이미지 데이터(IM)를 수신할 수 있다. 데이터 복원부(140)는 데이터 융합부(130)으로부터 믹싱 데이터(MD)를 수신할 수 있다. The data restoration unit 140 may generate restoration data based on the mixed data MD. The restored data may be data having improved resolution and image quality than those of the first data DT1 and the second data DT2 . The data restoration unit 140 may receive the image data IM from the 3D camera sensor 110 . The data restoration unit 140 may receive the mixed data MD from the data fusion unit 130 .

도 2는 본 개시의 실시 예에 따른 데이터 복원부를 구체화한 블록도이다. 도 2을 참조하면, 데이터 복원부(140a)가 도시된다. 데이터 복원부(140a)는 믹싱 데이터(MD)에 기초하여 복원 데이터를 생성할 수 있다. 복원 데이터는 제1 데이터(DT1) 및 제2 데이터(DT2)보다 해상도 및 화질이 향상된 데이터일 수 있다.2 is a detailed block diagram of a data restoration unit according to an embodiment of the present disclosure. Referring to FIG. 2 , a data restoration unit 140a is illustrated. The data restoration unit 140a may generate restoration data based on the mixed data MD. The restored data may be data having improved resolution and image quality than those of the first data DT1 and the second data DT2 .

데이터 복원부(140a)는 저밀도 영역 검출기(141), 및 복원 데이터 생성기(142a)를 포함할 수 있다. The data restoration unit 140a may include a low-density region detector 141 and a restoration data generator 142a.

저밀도 영역 검출기(141)는 믹싱 데이터(MD)내에서 저밀도 영역(NR)을 검출할 수 있다. 일 실시 예에서, 저밀도 영역(NR)은 믹싱 데이터(MD)내에서 믹싱 데이터(MD)의 기준 조밀도보다 낮은 조밀도를 갖는 점군 데이터의 집합일 수 있다. 조밀도는 믹싱 데이터(MD)와 같은 3차원 데이터에서 복수의 점군 데이터 각각이 밀집한 정도를 나타낼 수 있다.The low-density region detector 141 may detect the low-density region NR in the mixed data MD. In an embodiment, the low-density region NR may be a set of point cloud data having a density lower than a reference density of the mixed data MD in the mixed data MD. The density may indicate a degree of concentration of each of the plurality of point cloud data in 3D data such as the mixing data MD.

예를 들어, 믹싱 데이터(MD)의 기준 조밀도는 저밀도 영역 검출기(141)가 저밀도 영역(NR)을 검출하는 기준이 되는 값일 수 있다. 일 실시 예에서, 믹싱 데이터(MD)의 기준 조밀도는 믹싱 데이터(MD)의 평균 조밀도 값일 수 있다. For example, the reference density of the mixed data MD may be a reference value for which the low-density region detector 141 detects the low-density region NR. In an embodiment, the reference density of the mixed data MD may be an average density value of the mixed data MD.

일 실시 예에서, 저밀도 영역 검출기(141)는 믹싱 데이터(MD)의 점군 데이터의 각 포인트에 대해 이웃한 포인트들을 추출하고, 이웃 포인트 간의 거리에 기초하여 믹싱 데이터(MD)의 평균 조밀도를 계산할 수 있다.In an embodiment, the low-density region detector 141 extracts neighboring points for each point of the point cloud data of the mixed data MD, and calculates the average density of the mixed data MD based on the distance between the neighboring points. can

일 실시 예에서, 저밀도 영역 검출기(141)는 믹싱 데이터(MD)의 점군 데이터의 각 포인트에 대해 이웃한 포인트들을 추출하고, 이웃 포인트 간의 거리에 기초하여 믹싱 데이터(MD)의 기준 조밀도보다 낮은 조밀도를 갖는 점군 데이터의 집합을 검출할 수 있다.In an embodiment, the low-density region detector 141 extracts neighboring points for each point of the point cloud data of the mixed data MD, and is lower than the reference density of the mixed data MD based on the distance between the neighboring points. A set of point cloud data with density can be detected.

복원 데이터 생성기(142a)는 저밀도 영역(NR) 및 믹싱 데이터(MD)에 기초하여 복원 데이터를 생성할 수 있다. The restored data generator 142a may generate the restored data based on the low density region NR and the mixed data MD.

일 실시 예에서, 복원 데이터 생성기(142a)는 저밀도 영역(NR)에 믹싱 데이터(MD)를 투영하여, 저밀도 영역(NR)에 대응하는 복원 영역을 생성할 수 있다. In an embodiment, the reconstructed data generator 142a may project the mixing data MD onto the low-density area NR to generate a reconstructed area corresponding to the low-density area NR.

일 실시 예에서, 복원 데이터 생성기(142a)는 복원 영역의 조밀도가 믹싱 데이터(MD)의 기준 조밀도와 같거나 크도록 복원 데이터를 생성할 수 있다. 즉, 복원 데이터는 저밀도 영역(NR)에 대응하는 복원 영역의 점군 데이터의 집합일 수 있다. 일 실시 예에서, 복원 영역의 조밀도는 저밀도 영역의 조밀도보다 높을 수 있다.In an embodiment, the restored data generator 142a may generate the restored data so that the density of the restored area is equal to or greater than the reference density of the mixed data MD. That is, the reconstructed data may be a set of point cloud data of the reconstructed area corresponding to the low density area NR. In an embodiment, the density of the reconstructed region may be higher than that of the low-density region.

도 3은 본 개시의 실시 예에 따른 데이터 복원부를 구체화한 블록도이다. 도 3을 참조하면, 데이터 복원부(140b)가 도시된다. 데이터 복원부(140b)는 이미지 데이터 및 믹싱 데이터에 기초하여 복원 데이터를 생성할 수 있다. 복원 데이터는 제1 데이터(DT1) 및 제2 데이터(DT2)보다 해상도 및 화질이 향상된 데이터일 수 있다.3 is a detailed block diagram of a data restoration unit according to an embodiment of the present disclosure. Referring to FIG. 3 , a data restoration unit 140b is illustrated. The data restoration unit 140b may generate restoration data based on the image data and the mixed data. The restored data may be data having improved resolution and image quality than those of the first data DT1 and the second data DT2 .

데이터 복원부(140b)는 저밀도 영역 검출기(141), 및 복원 데이터 생성기(142b)를 포함할 수 있다. 저밀도 영역 검출기(141)는 도 3의 저밀도 영역 검출기(141)와 유사하므로, 이에 대한 상세한 설명은 생략된다.The data restoration unit 140b may include a low-density region detector 141 and a restoration data generator 142b. Since the low-density region detector 141 is similar to the low-density region detector 141 of FIG. 3 , a detailed description thereof will be omitted.

복원 데이터 생성기(142b)는 믹싱 데이터(MD), 이미지 데이터(IM) 및 저밀도 영역(NR)에 기초하여 복원 데이터를 생성할 수 있다. 일 실시 예에서, 복원 데이터는 저밀도 영역(NR)에 대응하는 복원 영역의 데이터일 수 있고, 복원 영역의 조밀도는 저밀도 영역의 조밀도보다 높을 수 있다.The restored data generator 142b may generate the restored data based on the mixed data MD, the image data IM, and the low-density region NR. In an embodiment, the reconstructed data may be data of a reconstructed area corresponding to the low-density area NR, and the density of the reconstructed area may be higher than that of the low-density area.

복원 데이터 생성기(142b)는 저밀도 영역(NR) 및 믹싱 데이터(MD)에 기초하여 복원 데이터를 생성할 수 있다. 일 실시 예에서, 복원 데이터 생성기(142b)는 저밀도 영역(NR)에 믹싱 데이터(MD)를 투영하여, 저밀도 영역(NR)에 대응하는 복원 영역을 생성할 수 있다. 일 실시 예에서, 복원 데이터 생성기(142b)는 복원 영역의 조밀도가 믹싱 데이터(MD)의 기준 조밀도와 같거나 크도록 복원 데이터를 생성할 수 있다. 즉, 복원 데이터는 저밀도 영역(NR)에 대응하는 복원 영역의 점군 데이터의 집합일 수 있다.The restored data generator 142b may generate the restored data based on the low density region NR and the mixed data MD. In an embodiment, the reconstructed data generator 142b may project the mixing data MD onto the low-density area NR to generate a reconstructed area corresponding to the low-density area NR. In an embodiment, the restored data generator 142b may generate the restored data so that the density of the restored area is equal to or greater than the reference density of the mixed data MD. That is, the reconstructed data may be a set of point cloud data of the reconstructed area corresponding to the low density area NR.

복원 데이터 생성기(142b)는 이미지 데이터(IM)에 기초하여 복원 데이터를 최적화할 수 있다. 복원 데이터 생성기(142b)는 복원 데이터를 이미지 데이터(IM)에 투영하여, 특징점과 특징점 기술자를 추출할 수 있다. 복원 데이터 생성기(142b)는 추출된 특징점 기술자에 기초하여 이미지 데이터(IM)의 대응점들을 생성할 수 있다. The restored data generator 142b may optimize the restored data based on the image data IM. The restored data generator 142b may project the restored data onto the image data IM to extract a feature point and a feature point descriptor. The restored data generator 142b may generate corresponding points of the image data IM based on the extracted feature point descriptor.

복원 데이터 생성기(142b)는 이미지 데이터(IM)의 대응점들의 좌표 및 이미지 데이터(IM)에 기초하여 복원 데이터를 최적화할 수 있다. 일 실시 예에서, 최적화된 복원 데이터는 객체에 대해 고해상도를 갖는 이미지일 수 있다.The restored data generator 142b may optimize the restored data based on coordinates of corresponding points of the image data IM and the image data IM. In an embodiment, the optimized reconstruction data may be an image having a high resolution for an object.

도 4는 본 개시의 실시 예에 따른 이미지 복원 장치를 구체화한 블록도이다. 도 4를 참조하면, 이미지 복원 장치(100b)가 도시된다. 이미지 복원 장치(100b)는 객체(OB)의 3차원 데이터를 포함하는 복원 데이터를 생성할 수 있다. 일 실시 예에서, 복원 데이터는 3차원 지도 및 홀로그래피 이미지 등에 활용될 수 있다.4 is a detailed block diagram of an image restoration apparatus according to an embodiment of the present disclosure. Referring to FIG. 4 , an image restoration apparatus 100b is illustrated. The image restoration apparatus 100b may generate restoration data including 3D data of the object OB. In an embodiment, the restored data may be used for a 3D map and a holographic image.

이미지 복원 장치(100b)는 3차원 카메라 센서(110), 라이다 센서 (120), 컬러 복원부(125), 데이터 융합부(130), 및 데이터 복원부(140a)를 포함할 수 있다. 3차원 카메라 센서(110), 라이다 센서 (120), 데이터 융합부(130), 및 데이터 복원부(140a)는 도 1의 3차원 카메라 센서(110), 라이다 센서(120), 데이터 융합부(130), 및 데이터 복원부(140a)와 유사하므로, 이에 대한 상세한 설명은 생략된다.The image restoration apparatus 100b may include a 3D camera sensor 110 , a lidar sensor 120 , a color restoration unit 125 , a data fusion unit 130 , and a data restoration unit 140a . The 3D camera sensor 110 , the lidar sensor 120 , the data fusion unit 130 , and the data restoration unit 140a are the 3D camera sensor 110 , the lidar sensor 120 of FIG. 1 , and the data fusion Since it is similar to the unit 130 and the data restoration unit 140a, a detailed description thereof will be omitted.

컬러 복원부(125)는 제2 데이터(DT2) 및 이미지 데이터(IM)에 기초하여 컬러 데이터(CD)를 생성할 수 있다. 보다 자세하게는, 컬러 복원부(125)는 제2 데이터(DT2)를 이미지 데이터(IM)에 투영하여 컬러 데이터(CD)를 생성할 수 있다. 즉, 컬러 데이터(CD)는 컬러가 재설정된 제2 데이터(DT2)일 수 있다. 일 실시 예에서, 컬러 데이터(CD) 및 제1 데이터(DT1)는 서로 다른 센서로 획득한 점군 데이터일지라도 서로 이질감 없는 컬러를 가질 수 있다. 컬러 복원부(125)는 컬러 데이터(CD)를 데이터 융합부(130)로 출력할 수 있다.The color restoration unit 125 may generate the color data CD based on the second data DT2 and the image data IM. In more detail, the color restoration unit 125 may generate the color data CD by projecting the second data DT2 onto the image data IM. That is, the color data CD may be the color-reset second data DT2 . In an embodiment, the color data CD and the first data DT1 may have colors that do not differ from each other even if they are point cloud data acquired by different sensors. The color restoration unit 125 may output the color data CD to the data fusion unit 130 .

데이터 융합부(130)는 제1 데이터(DT1) 및 컬러 데이터(CD)에 기초하여 믹싱 데이터(MD)를 생성할 수 있다. 데이터 융합부(130)는 믹싱 데이터(MD)를 데이터 복원부(140a)로 출력할 수 있다. 일 실시 예에서, 데이터 융합부(130)는 제1 데이터(DT1) 및 컬러 데이터(CD)의 회전, 이동을 계산하여 믹싱 데이터(MD)를 생성할 수 있다The data fusion unit 130 may generate the mixed data MD based on the first data DT1 and the color data CD. The data fusion unit 130 may output the mixed data MD to the data restoration unit 140a. In an embodiment, the data fusion unit 130 may generate the mixed data MD by calculating rotation and movement of the first data DT1 and the color data CD.

도 5는 본 개시의 실시 예에 따른 3차원 카메라 센서 및 라이다 센서를 포함하는 이미지 복원 장치의 동작 방법을 보여주는 순서도이다. 도 5를 참조하면 도 1의 이미지 복원 장치의 동작 방법이 도시된다. 5 is a flowchart illustrating an operation method of an image restoration apparatus including a 3D camera sensor and a lidar sensor according to an embodiment of the present disclosure. Referring to FIG. 5 , an operating method of the image restoration apparatus of FIG. 1 is illustrated.

S110 단계에서, 이미지 복원 장치는 3차원 카메라 센서를 통해 제1 데이터를 생성할 수 있다. 일 실시 예에서, 제1 데이터는 이미지에 기초하여 생성된 객체에 대한 점군 데이터일 수 있다.In step S110 , the image restoration apparatus may generate first data through the 3D camera sensor. In an embodiment, the first data may be point cloud data for an object generated based on an image.

일 실시 예에서, 이미지 복원 장치는 객체의 주위를 여러 위치에서 촬영할 때 발생하는 3차원 카메라 센서의 움직임에 기초하여 객체의 제1 데이터를 생성할 수 있다. In an embodiment, the image restoration apparatus may generate the first data of the object based on the movement of the 3D camera sensor that occurs when photographing the surroundings of the object at various locations.

S120 단계에서, 이미지 복원 장치는 라이다 센서를 통해 제2 데이터를 생성할 수 있다. 일 실시 예에서, 제2 데이터는 라이다에 기초하여 생성된 객체에 대한 점군 데이터일 수 있다. In step S120 , the image restoration apparatus may generate second data through the lidar sensor. In an embodiment, the second data may be point cloud data for an object generated based on lidar.

일 실시 예에서, 이미지 복원 장치는 객체를 향해 라이다 신호를 송신하고, 객체로부터 라이다 신호가 반사되어 되돌아오는 시간을 이용하여 객체와의 거리를 측정하고, 객체에 대응하는 점군 데이터를 수집할 수 있다.In one embodiment, the image restoration apparatus transmits a lidar signal toward the object, measures the distance to the object using a time when the lidar signal is reflected from the object and returns, and collects point cloud data corresponding to the object. can

S130 단계에서, 이미지 복원 장치는 제1 데이터 및 제2 데이터에 기초하여 믹싱 데이터를 생성할 수 있다. 일 실시 예에서, 믹싱 데이터(MD)는 제1 데이터(DT1) 및 제2 데이터(DT2)의 점군 데이터를 모두 포함하는 점군 데이터일 수 있다. In operation S130 , the image restoration apparatus may generate mixed data based on the first data and the second data. In an embodiment, the mixed data MD may be point cloud data including both the point cloud data of the first data DT1 and the second data DT2 .

일 실시 예에서, 제1 데이터 및 제2 데이터가 같은 스케일(예를 들어, 객체와의 거리에 기초한 스케일)을 가진다면, 이미지 복원 장치는 제1 데이터 및 제2 데이터의 회전, 이동을 계산하여 믹싱 데이터를 생성할 수 있다. 즉, 이미지 복원 장치는 제1 데이터의 점군 데이터 및 제2 데이터의 점군 데이터가 공통 좌표계를 갖도록 제1 데이터 및 제2 데이터의 회전, 이동을 수행할 수 있다. In an embodiment, if the first data and the second data have the same scale (eg, a scale based on the distance to the object), the image restoration apparatus calculates the rotation and movement of the first data and the second data to Mixing data can be created. That is, the image restoration apparatus may rotate and move the first data and the second data so that the point cloud data of the first data and the point cloud data of the second data have a common coordinate system.

일 실시 예에서, 제1 데이터 및 제2 데이터가 다른 스케일을 가진다면, 이미지 복원 장치는 제1 데이터 및 제2 데이터의 스케일을 고려하여, 믹싱 데이터를 생성할 수 있다. In an embodiment, if the first data and the second data have different scales, the image restoration apparatus may generate the mixed data in consideration of the scales of the first data and the second data.

S140 단계에서, 이미지 복원 장치는 믹싱 데이터로부터 저밀도 영역을 검출할 수 있다. 일 실시 예에서, 저밀도 영역은 믹싱 데이터내에서 믹싱 데이터의 기준 조밀도보다 낮은 조밀도를 갖는 점군 데이터의 집합일 수 있다. In operation S140 , the image restoration apparatus may detect a low-density region from the mixed data. In an embodiment, the low-density region may be a set of point cloud data having a density lower than a reference density of the mixed data in the mixed data.

예를 들어, 믹싱 데이터의 기준 조밀도는 저밀도 영역 검출기가 저밀도 영역을 검출하는 기준이 되는 값일 수 있다. 일 실시 예에서, 믹싱 데이터의 기준 조밀도는 믹싱 데이터의 평균 조밀도 값일 수 있다. For example, the reference density of the mixing data may be a reference value for which the low-density region detector detects the low-density region. In an embodiment, the reference density of the mixed data may be an average density value of the mixed data.

일 실시 예에서, 이미지 복원 장치는 믹싱 데이터의 점군 데이터의 각 포인트에 대해 이웃한 포인트들을 추출하고, 이웃 포인트 간의 거리에 기초하여 믹싱 데이터의 평균 조밀도를 계산할 수 있다.In an embodiment, the image restoration apparatus may extract neighboring points for each point of the point cloud data of the mixed data, and calculate an average density of the mixed data based on a distance between the neighboring points.

일 실시 예에서, 이미지 복원 장치는 믹싱 데이터의 점군 데이터의 각 포인트에 대해 이웃한 포인트들을 추출하고, 이웃 포인트 간의 거리에 기초하여 믹싱 데이터의 기준 조밀도보다 낮은 조밀도를 갖는 점군 데이터의 집합을 검출할 수 있다.In an embodiment, the image restoration apparatus extracts neighboring points for each point of the point cloud data of the mixing data, and based on the distance between the neighboring points, a set of point cloud data having a lower density than the reference density of the mixing data can be detected.

S150 단계에서, 이미지 복원 장치는 제2 데이터 및 저밀도 영역에 기초하여 복원 영역을 생성할 수 있다. 일 실시 예에서, 이미지 복원 장치는 저밀도 영역에 믹싱 데이터를 투영하여, 저밀도 영역에 대응하는 복원 영역을 생성할 수 있다. In operation S150 , the image restoration apparatus may generate a restoration area based on the second data and the low density region. In an embodiment, the image restoration apparatus may project the mixing data to the low-density region to generate a restoration region corresponding to the low-density region.

일 실시 예에서, 이미지 복원 장치는 복원 영역의 조밀도가 믹싱 데이터의 기준 조밀도와 같거나 크도록 복원 데이터를 생성할 수 있다. 즉, 복원 데이터는 저밀도 영역에 대응하는 복원 영역의 점군 데이터의 집합일 수 있다. 일 실시 예에서, 복원 영역의 조밀도는 저밀도 영역의 조밀도보다 높을 수 있다.In an embodiment, the image restoration apparatus may generate the restoration data so that the density of the restoration area is equal to or greater than the reference density of the mixed data. That is, the reconstructed data may be a set of point cloud data of the reconstructed area corresponding to the low-density area. In an embodiment, the density of the reconstructed region may be higher than that of the low-density region.

도 6은 본 개시의 실시 예에 따른 이미지 복원 장치의 동작 방법을 보여주는 순서도이다. 도 6을 참조하면 도 4의 이미지 복원 장치의 동작 방법이 도시된다. S110, S120, S130, S140, 및 S150는 도 5의 S110, S120, S130, S140, 및 S150와 유사하므로, 이에 대한 상세한 설명은 생략된다.6 is a flowchart illustrating a method of operating an image restoration apparatus according to an embodiment of the present disclosure. Referring to FIG. 6 , an operating method of the image restoration apparatus of FIG. 4 is illustrated. S110 , S120 , S130 , S140 , and S150 are similar to S110 , S120 , S130 , S140 , and S150 of FIG. 5 , and thus a detailed description thereof will be omitted.

S125 단계에서, 이미지 복원 장치는 제2 데이터 및 이미지 데이터에 기초하여 컬러 데이터를 생성할 수 있다. 보다 자세하게는, 이미지 복원 장치는 제2 데이터를 이미지 데이터에 투영하여 컬러 데이터를 생성할 수 있다. 즉, 컬러 데이터는 컬러가 재설정된 제2 데이터를 포함할 수 있다. 일 실시 예에서, 컬러 데이터 및 제1 데이터는 서로 다른 센서로 획득한 점군 데이터일지라도 서로 이질감 없는 컬러를 가질 수 있다.In operation S125 , the image restoration apparatus may generate color data based on the second data and the image data. In more detail, the image restoration apparatus may generate color data by projecting the second data onto the image data. That is, the color data may include color-reset second data. According to an embodiment, the color data and the first data may have colors that do not differ from each other even if they are point cloud data acquired by different sensors.

S130 단계에서, 이미지 복원 장치는 제1 데이터 및 컬러 데이터에 기초하여 믹싱 데이터를 생성할 수 있다. 믹싱 데이터는 제1 데이터 및 컬러 데이터의 정보를 모두 포함할 수 있다. 일 실시 예에서, 이미지 복원 장치는 제1 데이터 및 컬러 데이터를 이동, 회전시켜 믹싱 데이터를 생성할 수 있다.In operation S130 , the image restoration apparatus may generate mixed data based on the first data and the color data. The mixing data may include information of both the first data and the color data. In an embodiment, the image restoration apparatus may generate the mixed data by moving and rotating the first data and the color data.

상술된 내용은 본 발명을 실시하기 위한 구체적인 실시 예들이다. 본 발명은 상술된 실시 예들뿐만 아니라, 단순하게 설계 변경되거나 용이하게 변경할 수 있는 실시 예들 또한 포함할 것이다. 또한, 본 발명은 실시 예들을 이용하여 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다. 따라서, 본 발명의 범위는 상술된 실시 예들에 국한되어 정해져서는 안 되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 할 것이다.The above are specific embodiments for carrying out the present invention. The present invention will include not only the above-described embodiments, but also simple design changes or easily changeable embodiments. In addition, the present invention will include techniques that can be easily modified and implemented using the embodiments. Therefore, the scope of the present invention should not be limited to the above-described embodiments, but should be defined by the claims described below as well as the claims and equivalents of the present invention.

100a, 100b: 이미지 복원 장치
110: 3차원 카메라 센서
120: 라이다 센서
125: 컬러 복원부
130: 데이터 융합부
140, 140a, 140b: 데이터 복원부
141: 저밀도 영역 검출기
142: 복원 데이터 생성기 100a, 100b: image restoration device
110: three-dimensional camera sensor
120: lidar sensor
125: color restoration unit
130: data fusion unit
140, 140a, 140b: data restoration unit
141: low density area detector
142: restore data generator

Claims (1)

3차원 카메라 센서 및 라이다 센서를 포함하는 이미지 복원 장치의 동작 방법에 있어서:
상기 3차원 카메라 센서를 통해, 객체를 촬영하고, 제1 데이터를 생성하는 단계;
상기 라이다 센서를 통해, 상기 객체와의 거리를 측정하고, 상기 제1 데이터에 대응하는 제2 데이터를 생성하는 단계;
상기 제1 데이터 및 상기 제2 데이터를 공통 좌표계에서 융합하여 믹싱 데이터를 생성하는 단계;
상기 믹싱 데이터 내에서 저밀도 영역을 검출하는 단계로서, 상기 저밀도 영역의 조밀도는 상기 믹싱 데이터의 기준 조밀도보다 낮은 것; 및
상기 제2 데이터에 기초하여 상기 저밀도 영역에 대응하는 복원 영역을 생성하는 단계로서, 상기 복원 영역의 조밀도는 상기 저밀도 영역의 조밀도보다 높은 것을 포함하는 방법.In the method of operating an image restoration apparatus including a three-dimensional camera sensor and lidar sensor:
using the 3D camera sensor, photographing an object, and generating first data;
measuring a distance to the object through the lidar sensor and generating second data corresponding to the first data;
generating mixed data by fusing the first data and the second data in a common coordinate system;
detecting a low-density region in the mixed data, wherein a density of the low-density region is lower than a reference density of the mixed data; and
generating a reconstructed area corresponding to the low-density area based on the second data, wherein a density of the reconstructed area is higher than a density of the low-density area.
KR1020210048197A 2020-12-03 2021-04-14 Operation method of image restoration apparatus for restoring low-density area KR20220078447A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200167501 2020-12-03
KR20200167501 2020-12-03

Publications (1)

Publication Number Publication Date
KR20220078447A true KR20220078447A (en) 2022-06-10

Family

ID=81986698

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210048197A KR20220078447A (en) 2020-12-03 2021-04-14 Operation method of image restoration apparatus for restoring low-density area

Country Status (1)

Country Link
KR (1) KR20220078447A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580181B1 (en) * 2022-10-18 2023-09-18 목포해양대학교 산학협력단 3D visualization apparatus for generating an information of visualization information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580181B1 (en) * 2022-10-18 2023-09-18 목포해양대학교 산학협력단 3D visualization apparatus for generating an information of visualization information

Similar Documents

Publication Publication Date Title
CN112785702B (en) SLAM method based on tight coupling of 2D laser radar and binocular camera
CA2907047C (en) Method for generating a panoramic image
WO2021140886A1 (en) Three-dimensional model generation method, information processing device, and program
US10237532B2 (en) Scan colorization with an uncalibrated camera
Khoshelham Accuracy analysis of kinect depth data
JP6363863B2 (en) Information processing apparatus and information processing method
US11328479B2 (en) Reconstruction method, reconstruction device, and generation device
Kunz et al. Map building fusing acoustic and visual information using autonomous underwater vehicles
JP6880822B2 (en) Equipment, mobile equipment and methods
Martel et al. An active approach to solving the stereo matching problem using event-based sensors
KR20120045269A (en) Method and apparatus for generating hologram based on 3d mesh modeling and evolution
EP3832601A1 (en) Image processing device and three-dimensional measuring system
JP2023505891A (en) Methods for measuring environmental topography
US20220138971A1 (en) Three-dimensional displacement measuring method and three-dimensional displacement measuring device
KR20180061803A (en) Apparatus and method for inpainting occlusion of road surface
KR20220078447A (en) Operation method of image restoration apparatus for restoring low-density area
JP2007025863A (en) Photographing system, photographing method, and image processing program
WO2019211970A1 (en) Three-dimensional reconstruction method and three-dimensional reconstruction device
Verhoeven Getting computer vision airborne: using structure from motion for accurate orthophoto production
Gräter et al. Photometric laser scanner to camera calibration for low resolution sensors
JP5409451B2 (en) 3D change detector
Veitch-Michaelis et al. Data fusion of lidar into a region growing stereo algorithm
WO2023095375A1 (en) Three-dimensional model generation method and three-dimensional model generation device
JP2021018219A (en) Three-dimensional shape measurement system, three-dimensional shape measurement method, and three-dimensional shape measurement program
Otesteanu et al. 3d image sensors, an overview