WO2019117393A1 - Learning apparatus and method for depth information generation, depth information generation apparatus and method, and recording medium related thereto - Google Patents

Learning apparatus and method for depth information generation, depth information generation apparatus and method, and recording medium related thereto Download PDF

Info

Publication number
WO2019117393A1
WO2019117393A1 PCT/KR2018/001156 KR2018001156W WO2019117393A1 WO 2019117393 A1 WO2019117393 A1 WO 2019117393A1 KR 2018001156 W KR2018001156 W KR 2018001156W WO 2019117393 A1 WO2019117393 A1 WO 2019117393A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth information
convolution
stereo camera
generating
fusing
Prior art date
Application number
PCT/KR2018/001156
Other languages
French (fr)
Korean (ko)
Inventor
손광훈
박기홍
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Publication of WO2019117393A1 publication Critical patent/WO2019117393A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

A learning apparatus and method for depth information generation, a depth information generation apparatus and method, and a recording medium related thereto are disclosed. The disclosed learning apparatus for depth information generation learns a second depth information generation method by merging stereo camera depth information generated by merging a left image and a right image acquired from a stereo camera device and LIDAR depth information acquired from a LIDAR device, and comprises: a first depth information generation unit for learning a first depth information generation method by merging the stereo camera depth information and the LIDAR depth information; and a second depth information generation unit for learning the second depth information generation method by merging first depth information and a standard image, having become the standard in stereo camera depth information merging between the left image and the right image, wherein the first depth information generation unit learns by using reference stereo camera depth information and reference LIDAR depth information as input values and using reference actual depth information as a label, the second depth information generation unit learns by using, as input values, a reference standard image and reference first depth information, which is generated by the first depth information generation unit by using the reference stereo camera depth information and the reference LIDAR depth information as the input values, and using the reference actual depth information as a label, and the first depth information generation unit learns by further considering, in an error backpropagation step during a learning process, an error value of the error backpropagation step of the second depth information generation unit. According to the disclosed apparatus, more accurate depth information can be quickly generated by using learning.

Description

깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체Learning apparatus and method for generating depth information, apparatus and method for generating depth information, and recording medium therefor
본 발명은 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체에 관한 것이다.The present invention relates to a learning apparatus and method for generating depth information, an apparatus and method for generating depth information, and a recording medium therefor.
근래에 스마트카와 드론 산업의 발전에 따라, 3D 지도의 필요성이 대두되고 있다. 3D 지도는 스마트카나 드론의 자율주행 경로 파악에 직접적으로 사용될 수 있으며, 어플리케이션에 사용되기도 한다. 일례로, 증강현실(AR, Augmented Reality)에 쓰이는 3D 구조 정보 또한 3D 지도를 필요로 한다.Recently, with the development of smart car and drone industry, the necessity of 3D map is emerging. 3D maps can be used directly in the identification of smart cannon drone autonomous navigation routes, and also in applications. For example, the 3D structure information used in Augmented Reality (AR) also requires a 3D map.
3D 지도 제작의 핵심 기술은 깊이 정보를 파악하여 3D 모델링을 하는 것인데, 종래의 스테레오 카메라를 이용한 깊이 정보 획득 방법은 노이즈나 알고리즘 한계에 의한 오차가 많이 발생하며, 라이다(LIDAR) 센서와 같은 거리 측정 센서로 깊이 정보를 획득하는 방법은 해상도가 낮은 문제점이 있었다.The core technology of 3D map production is 3D modeling by grasping the depth information. However, the conventional method of acquiring depth information using a stereo camera has a lot of errors due to noise and algorithm limit, The method of acquiring depth information with the measurement sensor has a problem of low resolution.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명은 학습을 이용하여 라이다 깊이 정보와 스테레오 카메라 깊이 정보를 융합하여 보다 정확한 깊이 정보를 생성할 수 있는 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체를 제공한다.In order to solve the problems of the related art as described above, the present invention provides a learning apparatus and method for depth information generation capable of generating more accurate depth information by fusing ladder depth information and stereo camera depth information using learning An apparatus and method for generating depth information, and a recording medium therefor.
상기한 목적을 달성하기 위해 본 발명의 제1 실시예에 따르면, 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 장치로서, 상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 방법을 학습하는 제1 깊이 정보 생성부; 및 상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 방법을 학습하는 제2 깊이 정보 생성부를 포함하되, 상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되고, 상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되며, 상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치가 제공된다. According to a first embodiment of the present invention, stereo camera depth information generated by fusing left and right images acquired from a stereo camera device and ladder depth information acquired from a Lada device are combined, A first depth information learning method for generating a first depth information by fusing the stereo camera depth information and the ladder depth information, Generating unit; And a second depth information generation unit for learning a method of generating the second depth information by fusing the reference image and the first depth information based on stereo camera depth information fusion among the left and right images, The first depth information generator learns reference stereo camera depth information and reference depth information as input values and reference actual depth information as labels, and the second depth information generator learns the reference stereo camera depth information and reference The first depth information generating unit learns the reference first depth information and the reference reference image generated by the first depth information generating unit as input values and the reference actual depth information as a label with the depth information as an input value, In the error back propagation process, the error back propagation process of the second depth information generation unit And the error value of the depth information is further considered.
상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 합성곱 신경망 알고리즘을 이용하여 학습되는 것을 특징으로 한다. Wherein the first depth information generator and the second depth information generator are learned using a composite neural network algorithm.
상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 다이레이트 컨벌루션을 이용하는 것을 특징으로 한다. And the first depth information generating unit and the second depth information generating unit use die rate convolution.
상기 제1 깊이 정보 생성부는, 상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 제1 필터부; 상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 제2 필터부; 상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 제1 융합부; 및 상기 제1 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 한다. Wherein the first depth information generator comprises: a first filter unit for performing a diatomic convolution on the ladder depth information; A second filter unit for performing di-rate convolution on the stereo camera depth information; A first fused unit for fading the Lada depth information on which the Diya convolution is performed and the stereo camera depth information on which the Diya convolution is performed; And a third filter unit for performing the diatomic convolution on the depth information fused in the first fused unit to generate the first depth information.
상기 제2 깊이 정보 생성부는, 상기 기준 영상에 다이레이트 컨벌루션을 수행하는 제4 필터부; 상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 제5 필터부; 상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 제2 융합부; 및 상기 제2 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 한다.Wherein the second depth information generator comprises: a fourth filter unit for performing a diatomic convolution on the reference image; A fifth filter unit for performing a diatomic convolution on the first depth information; A second fusion unit for fusing the reference image on which the dyerate convolution is performed and the first depth information on which the dyerate convolution is performed; And a third filter unit for performing diore rate convolution on depth information fused in the second fusion unit to generate the second depth information.
상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 한다. The first depth information generator uses an error value calculated using the following equation in an error back propagation process during a learning process.
Figure PCTKR2018001156-appb-I000001
Figure PCTKR2018001156-appb-I000001
위 수학식에서,
Figure PCTKR2018001156-appb-I000002
은 제1 깊이 정보 생성부가 에러 역전파 과정에 사용되는 에러값이고,
Figure PCTKR2018001156-appb-I000003
는 제1 깊이 정보의 에러값이며,
Figure PCTKR2018001156-appb-I000004
는 제2 깊이 정보 생성부에서 전달된 제2 깊이 정보의 에러값이다.In the above equation,
Figure PCTKR2018001156-appb-I000002
Is an error value used in the error back propagation process by the first depth information generator,
Figure PCTKR2018001156-appb-I000003
Is an error value of the first depth information,
Figure PCTKR2018001156-appb-I000004
Is an error value of the second depth information transmitted from the second depth information generator.
또한, 본 발명의 제2 실시예에 따르면, 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 장치로서, 상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 제1 깊이 정보 생성부; 및 상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 제2 깊이 정보 생성부를 포함하되, 상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고, 상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며, 상기 제1 깊이 정보 생성부는 사전 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 장치가 제공된다. According to the second embodiment of the present invention, stereo camera depth information generated by fusing a left image and a right image acquired from a stereo camera device is fused with ladder depth information acquired from a Lada device, A first depth information generating unit for generating first depth information by fusing the stereo camera depth information and the ladder depth information; And a second depth information generator for generating the second depth information by fusing the first depth information with a reference image that is a reference for stereo camera depth information fusion among the left and right images, Wherein the generating unit learns the reference stereo camera depth information and the reference line depth information as input values and the reference actual depth information as labels, and the second depth information generating unit learns the reference stereo camera depth information and the reference depth The reference first depth information and the reference reference image generated by the first depth information generator are used as input values and the reference actual depth information is used as a label, In the error back propagation process in the pre-learning process, The multiple depth to an error value of the inverse spread process, characterized in that the further study in consideration information generating apparatus is provided.
본 발명의 제3 실시예에 따르면, 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 방법으로서, (a)레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및 (b)레퍼런스 좌영상 및 레퍼런스 우영상 중 상기 레퍼런스 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 단계; (c)레퍼런스 실제 깊이 정보와 상기 제2 깊이 정보의 차이값인 제2 에러값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (b)단계를 학습시키는 단계; 및 (d)상기 (c)단계에서 전달된 제2 에러값 및 상기 레퍼런스 실제 깊이 정보와 상기 제1 깊이 정보의 차이값인 제1 에러값을 합산한 값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (a)단계를 학습시키는 단계를 포함하는 깊이 정보 생성을 위한 학습 방법이 제공된다. According to a third embodiment of the present invention, second depth information is generated by fusing stereo camera depth information generated by merging left and right images acquired from a stereo camera apparatus with ladder depth information obtained from a Lada apparatus (A) generating first depth information by fusing reference stereo camera depth information and reference ladder depth information; And (b) generating second depth information by fusing a reference image, which is a reference of the reference stereo camera depth information fusion, from the reference left image and the reference right image, and the first depth information; (c) learning the step (b) through an error back propagation process with an error value being a second error value which is a difference between the reference actual depth information and the second depth information; And (d) a second error value transmitted in step (c) and a first error value, which is a difference between the reference actual depth information and the first depth information, as an error value, And a step of learning the step (a) through the step (a).
상기 (a)단계는, (a1)상기 레퍼런스 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계; (a2)상기 레퍼런스 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계; (a3)상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 단계; 및 (a4)상기 (a3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 방법이 제공된다. The step (a) includes the steps of: (a1) performing di-rate convolution on the reference depth information; (a2) performing di-rate convolution on the reference stereo camera depth information; (a3) fusing the ladder depth information on which the diaRate convolution is performed and the stereo camera depth information on which the diaRate convolution is performed; And (a4) generating the first depth information by performing rate matching on the depth information fused in the step (a3).
본 발명의 제4 실시예에 따르면, 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 방법으로서, (a)상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및 (b)상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 단계를 포함하되, 상기 (a)단계는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고, 상기 (b)단계는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며, 상기 (a)단계는 사전 학습 과정 중 에러 역전파 과정에서 상기 (b)단계의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 방법이 제공된다. According to a fourth embodiment of the present invention, second depth information is generated by fusing stereo camera depth information generated by fusion of a left image and a right image acquired from a stereo camera apparatus with ladder depth information obtained from a Lada apparatus The method comprising the steps of: (a) generating first depth information by fusing the stereo camera depth information and the ladder depth information; And (b) generating the second depth information by fusing the reference image and the first depth information based on the stereo camera depth information fusion among the left and right images, wherein the step (a) The reference stereo camera depth information and the reference line depth information are learned as an input value and the reference actual depth information is used as a label, and the step (b) is a step of inputting the reference stereo camera depth information and reference depth information The reference first depth information and the reference reference image generated by the first depth information generator are used as input values and the reference actual depth information is used as a label, and the step (a) The error value of the error back propagation process of step (b) is further considered in the error back propagation process A depth information generation method is provided.
본 발명의 제5 실시예에 따르면, 상기의 깊이 정보 생성을 위한 학습 방법 또는 깊이 정보 생성 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다. According to a fifth embodiment of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for performing the learning method or the depth information generating method for generating the depth information.
본 발명은 학습을 이용하여 보다 정확한 깊이 정보를 빠르게 생성할 수 있는 장점이 있다.The present invention is advantageous in that more accurate depth information can be generated quickly using learning.
도 1은 합성곱 신경망 알고리즘을 설명하기 위한 도면이다.FIG. 1 is a diagram for explaining a combined product neural network algorithm. FIG.
도 2는 합성곱 신경망의 컨벌루션 방법을 설명하기 위한 도면이다.2 is a diagram for explaining a convolution method of a composite-object-based neural network.
도 3은 합성곱 신경망의 다운 샘플링 방법을 설명하기 위한 도면이다.3 is a diagram for explaining a downsampling method of a composite-articulated network.
도 4는 다이레이트 컨벌루션을 설명하기 위한 도면이다.4 is a diagram for explaining the diate convolution.
도 5는 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 구조도이다.5 is a structural diagram of a learning apparatus for generating depth information according to a preferred embodiment of the present invention.
도 6은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 학습 과정을 설명하기 위한 도면이다.6 is a diagram for explaining a learning process of a learning apparatus for generating depth information according to a preferred embodiment of the present invention.
도 7은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 장치의 구조도이다.7 is a structural diagram of an apparatus for generating depth information according to an embodiment of the present invention.
도 8은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 방법을 도시한 순서도이다.8 is a flowchart illustrating a learning method for generating depth information according to an exemplary embodiment of the present invention.
도 9는 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 방법을 도시한 순서도이다.9 is a flowchart illustrating a depth information generating method according to an exemplary embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 스테레오 카메라 장치를 이용하여 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다(LIDAR) 장치를 이용하여 획득한 라이다 깊이 정보를 융합하여 보다 정확한 깊이 정보를 생성해 낸다. 정확하고 신속하게 깊이 정보를 생성해내기 위하여 본 발명은 딥 러닝(Deep Learning) 알고리즘을 이용할 수 있으며, 일례로 합성곱 신경망(CNN, Convolution Neural Network)을 이용할 수 있다. 특히, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 다이레이트 컨벌루션(Dilate Convolution)을 이용하며, 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부로 구성되는 두 개의 학습 네트워크를 이용하여 보다 빠르고 정확하게 깊이 정보를 학습할 수 있게 된다.The learning apparatus for generating depth information according to the preferred embodiment of the present invention acquires stereo camera depth information generated by fusing left and right images acquired using a stereo camera apparatus and acquires stereo camera depth information using a LIDAR The depth information is fused to generate more accurate depth information. In order to generate the depth information accurately and quickly, the present invention can use a Deep Learning algorithm. For example, a CNN (Convolution Neural Network) can be used. In particular, a learning apparatus for generating depth information according to a preferred embodiment of the present invention uses a dilate convolution, and includes two learning networks each composed of a first depth information generating unit and a second depth information generating unit It is possible to learn depth information more quickly and accurately.
라이다 깊이 정보는 정확한 깊이 정보를 포함하고 있지만, 해상도가 낮아 실제 3D 지도에 직접적으로 적용하기에는 적합하지 않고, 스테레오 카메라 깊이 정보는 해상도는 높지만 깊이의 오차가 커 정확한 3D 지도를 제작하기가 어려운 단점이 있었다. 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 라이다 깊이 정보와 스테레오 깊이 정보를 융합하여 깊이 정보를 생성하는 방법을 학습하므로, 비교적 오차가 적은 고해상도의 깊이 정보를 생성할 수 있다.Although Lada depth information contains accurate depth information, it is not suitable for direct application to real 3D map because resolution is low. Stereo camera depth information has a high resolution but has a large depth error. It is difficult to produce accurate 3D map . The learning apparatus for generating depth information according to the preferred embodiment of the present invention learns a method of generating depth information by fusing the ladder depth information and the stereo depth information so that it is possible to generate depth information of a high resolution with a relatively small error have.
특히, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부로 구성되는 두 개의 학습 네트워크를 이용하되, 학습의 에러 역전파(Back-propagation) 과정에서 제2 깊이 정보 생성부에서 발생한 에러값을 제1 깊이 정보 생성부에서도 고려하므로, 보다 정확하고 효율적인 학습을 수행하여, 보다 정확하고 빠르게 깊이 정보 생성 방법을 학습할 수 있게 된다.Particularly, a learning apparatus for generating depth information according to a preferred embodiment of the present invention uses two learning networks composed of a first depth information generating unit and a second depth information generating unit, the first depth information generation unit also considers the error value generated in the second depth information generation unit in the process of propagation so that more accurate and efficient learning can be performed and the depth information generation method can be learned more accurately and quickly.
이하에서, 본 발명의 실시예에 적용될 수 있는 합성곱 신경망의 컨벌루션 및 다이레이트 컨벌루션에 대해 간단히 설명한 후, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세히 설명하기로 한다. Hereinafter, the convolutional and diatomic convolution of the convolutional neural network applicable to the embodiment of the present invention will be briefly described, and then, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 합성곱 신경망의 컨벌루션을 설명하기 위한 도면이다.FIG. 1 is a diagram for explaining the convolution of a composite-object neural network.
도 1을 참조하면, 합성곱 신경망 알고리즘은 입력 영상에 대해 컨벌루션을 수행하여, 입력 영상에 대한 피쳐 맵(feature map)을 추출(feature learning)하고, 피쳐 맵을 통해 입력 영상을 식별 또는 분류(classification)한다. 피쳐 맵은 입력 영상에 대한 특징 정보를 포함한다. 피쳐 맵 추출을 위해, 컨벌루션이 반복될 수 있으며, 반복 횟수는 실시예에 따라서 다양하게 결정될 수 있다.Referring to FIG. 1, the composite neural network algorithm performs convolution on an input image to extract a feature map for an input image, and identifies or classifies an input image through a feature map )do. The feature map includes feature information on the input image. For feature map extraction, the convolution can be repeated, and the number of iterations can be variously determined according to the embodiment.
컨벌루션에 이용되는 필터(또는 커널, 210)의 사이즈가 결정되면, 필터의 각 화소별로 할당된 가중치와 입력 영상(200)의 화소값의 가중치 합(weighted sum)을 통해 컨벌루션이 수행된다. 즉, 필터가 오버랩되는 입력 영상의 특정 영역에 대해 대응되는 화소별로 필터의 가중치를 화소값과 곱한 후 더함으로써 컨벌루션 레이어의 화소값(230)이 결정될 수 있다. When the size of the filter (or kernel 210) used for the convolution is determined, convolution is performed through a weighted sum of pixel values of the input image 200 and a weight assigned to each pixel of the filter. That is, the pixel value 230 of the convolution layer can be determined by multiplying the weight of the filter by the pixel value for each corresponding pixel for a specific region of the input image where the filter is overlapped.
도면에 도시된 바와 같이, 대응되는 화소별로 필터(210)의 가중치(4, 0, 0, 0, 0, 0, 0, 0, -4)와 오버랩되는 입력 영상(200)의 특정 영역의 화소값(0, 0, 0, 0, 1, 1, 0, 1, 2)에 대해 가중치 합이 수행되어 최종 -8이라는 화소값(230)이 결정된다. 필터가 좌우 상하로 이동하며, 입력 영상의 오버랩된 영역에 대해 총 9개 화소에 대해 가중치 합이 수행되고, 일례로, 입력 영상(200)의 사이즈가 7X7이며, 필터(210)의 사이즈가 3X3라면 5X5 사이즈의 컨벌루션 레이어가 생성될 수 있다. As shown in the drawing, pixels of a specific region of the input image 200 overlapping with the weights (4, 0, 0, 0, 0, 0, 0, 0, A weighted sum is performed on the values (0, 0, 0, 0, 1, 1, 0, 1, 2) The size of the input image 200 is 7X7, and the size of the filter 210 is 3X3 < RTI ID = 0.0 > A convolution layer of size 5X5 can be generated.
컨벌루션에 따른 화소값은 오버랩된 영역의 중앙 화소의 화소값(230)이 되기 때문에, 입력 영상 대비 컨벌루션 레이어, 즉 컨벌루션된 영상의 사이즈는 감소한다. 다만, 입력 영상의 외곽 영역을 특정 화소값으로 패딩(padding)할 경우, 입력 영상의 사이즈와 동일한 7X7 사이즈의 컨벌루션 레이어를 생성할 수 있다. 컨벌루션 레이어의 개수는 이용되는 필터의 개수에 따라 결정될 수 있다.Since the pixel value according to the convolution becomes the pixel value 230 of the center pixel of the overlapped area, the size of the convolutional layer, i.e., the convoluted image, relative to the input image decreases. However, when padding an outer area of an input image with a specific pixel value, a convolution layer having a size of 7 × 7 equal to the size of the input image can be generated. The number of convolution layers may be determined according to the number of filters used.
도 2는 다이레이트 컨벌루션을 설명하기 위한 도면이다.Fig. 2 is a diagram for explaining di-rate convolution.
도 2를 참조하면, 다이레이트 컨벌루션은 컨벌루션 레이어 생성 과정에서 도 2의 (a)에서와 같이 9개 위치의 점을 고려하게 된다. 도 2의 (a)에서는 k=2로 설정되었으며, k는 9개 위치의 점들 중 이웃한 점과의 거리를 의미한다. 도 2의 (b)에서, k값을 증가시키며 다이레이트 컨벌루션을 반복 수행하게 되면, 한 위치에서 고려할 수 있는 범위가 기하급수적으로 늘어나게 된다. 그러므로 k값을 변화시키며 다이레이트 컨벌루션을 반복 수행하면 적은 수의 컨벌루션 수행으로도 전체적인 정보를 빠르게 학습할 수 있게 된다.Referring to FIG. 2, in the convolution layer generation process, the diate convolution considers points at nine positions as shown in FIG. 2 (a). In FIG. 2 (a), k is set to 2, and k is a distance to a neighboring point among the points at nine positions. In FIG. 2 (b), if the k-value is increased and the dia-rate convolution is repeatedly performed, the range that can be considered at one position increases exponentially. Therefore, by repeating the diate convolution by changing the k value, it becomes possible to quickly learn the entire information even with a small number of convolution operations.
이하에서는, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 구조에 대해 보다 상세히 설명하기로 한다.Hereinafter, a structure of a learning apparatus for generating depth information according to a preferred embodiment of the present invention will be described in detail.
도 3은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 구조도이고, 도 4는 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 학습 과정을 설명하기 위한 도면이다.FIG. 3 is a structural diagram of a learning apparatus for generating depth information according to a preferred embodiment of the present invention, FIG. 4 is a view for explaining a learning process of a learning apparatus for generating depth information according to a preferred embodiment of the present invention to be.
도 3 및 도 4를 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 제1 깊이 정보 생성부(110) 및 제2 깊이 정보 생성부(120)를 포함할 수 있다.3 and 4, a learning apparatus for generating depth information according to an exemplary embodiment of the present invention may include a first depth information generator 110 and a second depth information generator 120 .
제1 깊이 정보 생성부(110)는 레퍼런스 라이다 깊이 정보(10) 및 레퍼런스 스테레오 카메라 깊이 정보(20)를 입력값으로 하고, 레퍼런스 실제 깊이 정보(30)를 라벨로 하여 라이다 깊이 정보와 스테레오 카메라 깊이 정보를 입력받으면 제1 깊이 정보(40)를 생성하도록 학습될 수 있다.The first depth information generator 110 sets the reference depth information 10 and the reference stereo camera depth information 20 as input values and sets the reference depth information 30 and the reference depth information 30 as labels, Upon receiving the camera depth information, the first depth information 40 can be learned.
제1 깊이 정보 생성부(110)는 하기 수학식을 이용하여 제1 깊이 정보(40)를 생성할 수 있다.The first depth information generator 110 may generate the first depth information 40 using the following equation.
Figure PCTKR2018001156-appb-M000001
Figure PCTKR2018001156-appb-M000001
수학식 1에서, DF는 제1 깊이 정보이고, DL은 레퍼런스 라이다 깊이 정보이며, DS는 레퍼런스 스테레오 카메라 깊이 정보이며, φF는 제1 깊이 정보 생성부의 내부 파라미터이다.In Equation 1, D F is the first depth information, D L is the reference depth depth information, D S is the reference stereo camera depth information, and φ F is an internal parameter of the first depth information generating unit.
레퍼런스 라이다 깊이 정보(10)는 라이다 장치를 이용하여 획득될 수 있으며, 레퍼런스 스테레오 카메라 깊이 정보(20)는 스테레오 카메라 장치를 이용하여 획득된 좌영상 및 우영상을 융합하여 생성될 수 있다. 좌영상 및 우영상의 융합에는 공지된 스테레오 카메라를 이용한 3D 영상 생성 방법이 이용될 수 있다. 한편, 레퍼런스 실제 깊이 정보(30)는 실제 깊이 정보를 의미하며, 일례로, 고비용 저효율의 정밀 깊이 센서를 이용하여 획득될 수 있다. 제1 깊이 정보 생성부(110)는 전술한 합성곱 신경망을 이용하여 학습될 수 있으며, 다이레이트 컨벌루션을 이용할 수 있다.The reference ladder depth information 10 may be obtained using a ladder device and the reference stereo camera depth information 20 may be generated by fusing the left and right images obtained using the stereo camera device. A 3D image generation method using a known stereo camera can be used for fusion of the left image and the right image. On the other hand, the reference actual depth information 30 means actual depth information, and can be acquired using a high-cost, low-efficiency precision depth sensor, for example. The first depth information generator 110 can be learned using the above-described composite neural network, and can use a diatomic convolution.
보다 자세히 설명하면, 제1 깊이 정보 생성부(110)는 제1 필터(112), 제2 필터(114), 제1 융합부(116) 및 제3 필터(118)를 포함할 수 있다.More specifically, the first depth information generator 110 may include a first filter 112, a second filter 114, a first fusion unit 116, and a third filter 118.
제1 필터(112)에서는 레퍼런스 라이다 깊이 정보(10)에 대한 다이레이트 컨벌루션이 수행될 수 있으며, 제2 필터(114)에서는 레퍼런스 스테레오 카메라 깊이 정보(20)에 대한 다이레이트 컨벌루션이 수행될 수 있다. 제1 융합부(116)에서는 다이레이트 컨벌루션이 수행된 레퍼런스 라이다 깊이 정보(10)와 다이레이트 컨벌루션이 수행된 레퍼런스 스테레오 카메라 깊이 정보(20)의 융합이 이루어진다. 제3 필터(118)는 제1 융합부(116)에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 제1 깊이 정보(40)를 생성하며, 일례로, 제3 필터(118)는 제1 필터(112) 및 제2 필터(114)에서 수행한 다이레이트 컨벌루션 필터의 k값을 역순으로 적용하여 다이레이트 컨벌루션을 수행할 수 있다.The first filter 112 may perform a diatomic convolution on the reference ladder depth information 10 and the second filter 114 may perform a dyadic convolution on the reference stereo camera depth information 20 have. The first fusion unit 116 merges the reference depth information 10 on which the dihedral convolution has been performed and the reference stereo camera depth information 20 on which the dia-rate convolution has been performed. The third filter 118 performs diate rate convolution on the depth information fused in the first fused portion 116 to generate the first depth information 40. In one example, It is possible to perform the diate convolution by applying k values of the diate convolution filter performed in the first filter 112 and the second filter 114 in the reverse order.
한편, 제2 깊이 정보 생성부(120)는 레퍼런스 기준 영상(26) 및 제1 깊이 정보(40)를 입력값으로 하고, 레퍼런스 실제 깊이 정보(30)를 라벨로 하여 기준 영상과 제1 깊이 정보(40)를 입력받으면 제2 깊이 정보(50)를 생성하도록 학습될 수 있다.Meanwhile, the second depth information generator 120 may include a reference reference image 26 and a first depth information 40 as input values, a reference depth information 30 as a reference label, The second depth information 50 can be learned to be generated.
제2 깊이 정보 생성부(120)는 하기 수학식을 이용하여 제2 깊이 정보(50)를 생성할 수 있다.The second depth information generator 120 may generate the second depth information 50 using the following equation.
Figure PCTKR2018001156-appb-M000002
Figure PCTKR2018001156-appb-M000002
수학식 2에서, D*는 제2 깊이 정보이고, Il는 레퍼런스 기준 영상이며, φR은 제2 깊이 정보 생성부의 내부 파라미터이다.In Equation 2, D * is the second, and the depth information, I l is the reference standard image, φ R is the internal parameter generation of the second depth information.
레퍼런스 기준 영상(26)은 좌영상과 우영상 중 레퍼런스 스테레오 카메라 깊이 정보(20) 생성에 기준이 된 영상이다. 제2 깊이 정보 생성부(120) 또한 전술한 합성곱 신경망을 이용하여 학습될 수 있으며, 다이레이트 컨벌루션을 이용할 수 있다.The reference reference image 26 is an image based on the generation of the reference stereo camera depth information 20 among the left image and the right image. The second depth information generator 120 can also be learned using the above-described composite neural network, and can use the diate convolution.
제1 깊이 정보 생성부(110)에서 생성된 제1 깊이 정보(40)는 비교적 정확한 깊이 정보를 갖게 되지만, 세부적인 에지(edge) 영역에서의 깊이 값을 보정한다면 더욱 오차를 줄일 수 있게 된다. 따라서 제2 깊이 정보 생성부(120)는 스테레오 카메라로 직접 촬영한 레퍼런스 기준 영상(26)을 이용하여 보다 정확한 깊이 정보를 생성하도록 학습될 수 있다.The first depth information 40 generated by the first depth information generator 110 has comparatively accurate depth information. However, if the depth value in the detailed edge area is corrected, the error can be further reduced. Therefore, the second depth information generator 120 can be learned to generate more accurate depth information using the reference reference image 26 directly shot by the stereo camera.
구체적으로, 제2 깊이 정보 생성부(120)는 제4 필터(122), 제5 필터(124), 제2 융합부(126) 및 제6 필터(128)를 포함할 수 있다.Specifically, the second depth information generator 120 may include a fourth filter 122, a fifth filter 124, a second fusion unit 126, and a sixth filter 128.
제4 필터(122)에서는 레퍼런스 기준 영상(26)에 대한 다이레이트 컨벌루션이 수행될 수 있으며, 제5 필터(124)에서는 제1 깊이 정보(40)에 대한 다이레이트 컨벌루션이 수행될 수 있다. 제2 융합부(126)에서는 다이레이트 컨벌루션이 수행된 레퍼런스 기준 영상(26)과 다이레이트 컨벌루션이 수행된 제1 깊이 정보(40)의 융합이 이루어진다. 제6 필터(128)는 제2 융합부(126)에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 제2 깊이 정보(50)를 생성하며, 일례로, 제6 필터(128)는 제3 필터(122) 및 제4 필터(124)에서 수행한 다이레이트 컨벌루션 필터의 k값을 역순으로 적용하여 다이레이트 컨벌루션을 수행할 수 있다.In the fourth filter 122, a diatomic convolution for the reference reference image 26 may be performed, and in the fifth filter 124, a diatomic convolution for the first depth information 40 may be performed. In the second fusion unit 126, a fusion of the reference reference image 26 on which the dia-rate convolution is performed and the first depth information 40 on which the dia-rate convolution is performed is performed. The sixth filter 128 performs diate rate convolution on the depth information fused in the second fused portion 126 to generate the second depth information 50. For example, It is possible to perform k-value convolution by applying k values of the di-rate convolution filter performed in the second filter 122 and the fourth filter 124 in the reverse order.
학습 과정 중에서, 제1 깊이 정보 생성부(110) 및 제2 깊이 정보 생성부(120)는 생성한 깊이 정보 값을 라벨로 입력된 값과 비교하며, 에러 역전파(Back Propagation) 과정을 통해 보다 더 나은 깊이 정보 값을 생성하도록 학습된다.In the learning process, the first depth information generator 110 and the second depth information generator 120 compare the generated depth information with a value input as a label, and perform a back propagation process It is learned to generate better depth information values.
에러 역전파 과정은 제2 깊이 정보 생성부(120)의 끝단에서 시작되며, 제2 깊이 정보(50)와 레퍼런스 실제 깊이 정보(30)의 차이값이 제2 에러값으로 재입력되어 역순으로 전달되게 된다.The error back propagation process starts at the end of the second depth information generator 120 and the difference value between the second depth information 50 and the reference actual depth information 30 is re- .
즉, 제2 에러값은 제2 깊이 정보 생성부(120)의 제6 필터(128)에서 제4 필터(122) 및 제5 필터(124) 방향으로 컨벌루션 필터를 거쳐 전달되며, 에러 역전파 과정에 의해 합성곱 신경망이 학습되어 제2 깊이 정보 생성부(120)는 레퍼런스 실제 깊이 정보(30)에 더욱 가까운 제2 깊이 정보(50)를 생성하도록 학습된다.That is, the second error value is transmitted from the sixth filter 128 of the second depth information generator 120 through the convolution filter in the direction of the fourth filter 122 and the fifth filter 124, The second depth information generator 120 is learned to generate the second depth information 50 closer to the reference actual depth information 30. [
한편, 제1 깊이 정보 생성부(110)에서도 에러 역전파 과정을 통한 학습이 이루어진다. 제1 깊이 정보 생성부(110)에서는 생성된 제1 깊이 정보(40)와 라벨로 입력된 레퍼런스 실제 깊이 정보(30)의 차이값인 제1 에러값 뿐만 아니라 제2 깊이 정보 생성부(120)에서 전달된 제2 에러값까지 모두 재입력되어 역순으로 전달된다.Meanwhile, the first depth information generator 110 also performs learning through an error back propagation process. The first depth information generator 110 generates the first depth information 40 as a difference between the generated first depth information 40 and the reference depth information 30 inputted as a label, And the second error value is transmitted again in the reverse order.
제1 깊이 정보 생성부(110)에서 에러 역전파 과정에 사용되는 에러값은 하기 수학식을 이용하여 산출될 수 있다.The error value used in the error back propagation process in the first depth information generator 110 may be calculated using the following equation.
Figure PCTKR2018001156-appb-M000003
Figure PCTKR2018001156-appb-M000003
수학식 3에서,
Figure PCTKR2018001156-appb-I000005
은 제1 깊이 정보 생성부에서 에러 역전파 과정에 사용되는 에러값이고,
Figure PCTKR2018001156-appb-I000006
는 제1 에러값이며,
Figure PCTKR2018001156-appb-I000007
는 제2 에러값이다. In Equation (3)
Figure PCTKR2018001156-appb-I000005
Is an error value used in the error back propagation process in the first depth information generator,
Figure PCTKR2018001156-appb-I000006
Is a first error value,
Figure PCTKR2018001156-appb-I000007
Is a second error value.
즉, 본 발명의 바람직한 일 실시예에 따른 제1 깊이 정보 생성부(110)에서는 제1 에러값과 제2 깊이 정보 생성부(120)에서 전달된 제2 에러값 모두를 에러 역전파 과정에 이용하므로, 제1 깊이 정보 생성부(110)는 제2 깊이 정보 생성부(120)에서 보다 정확한 제2 깊이 정보(50)를 생성할 수 있도록 하는 제1 깊이 정보(40)를 생성하도록 학습될 수 있다. That is, in the first depth information generator 110 according to the preferred embodiment of the present invention, both the first error value and the second error value transmitted from the second depth information generator 120 are used for the error back propagation process The first depth information generator 110 may be learned to generate the first depth information 40 that allows the second depth information generator 120 to generate more accurate second depth information 50 have.
이처럼, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부로 구성되는 두 개의 학습 네트워크를 이용하여 라이다 깊이 정보와 스테레오 카메라 깊이 정보를 융합하므로 보다 정확한 깊이 정보를 빠르게 생성하도록 학습될 수 있다.As described above, the learning apparatus for generating depth information according to the preferred embodiment of the present invention uses two learning networks, which are a first depth information generating unit and a second depth information generating unit, So that it can be learned to generate more accurate depth information quickly.
도 5는 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 장치의 구조도이다.5 is a structural diagram of an apparatus for generating depth information according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 장치는 제1 깊이 정보 생성부(710) 및 제2 깊이 정보 생성부(720)를 포함할 수 있다.Referring to FIG. 5, the apparatus for generating depth information according to an exemplary embodiment of the present invention may include a first depth information generator 710 and a second depth information generator 720.
본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 장치는 전술한 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 학습 과정과 동일하게 사전에 학습되어 있을 수 있다.The depth information generating apparatus according to the preferred embodiment of the present invention may be learned in advance like the learning process of the learning apparatus for generating depth information according to the preferred embodiment of the present invention described above.
제1 깊이 정보 생성부(710)는 라이다 깊이 정보와 스테레오 카메라 깊이 정보를 입력 받아 제1 깊이 정보를 생성할 수 있다.The first depth information generator 710 may receive the depth information and the depth information of the stereo camera to generate the first depth information.
제2 깊이 정보 생성부(720)는 제1 깊이 정보와 기준 영상을 입력 받아 제2 깊이 정보를 생성할 수 있다.The second depth information generator 720 may generate the second depth information by receiving the first depth information and the reference image.
도 6은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 방법을 도시한 순서도이다.6 is a flowchart illustrating a learning method for generating depth information according to an exemplary embodiment of the present invention.
도 6을 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 방법은 제1 깊이 정보 생성 단계(S810), 제2 깊이 정보 생성 단계(S820), 제1 에러 역전파 단계(S830) 및 제2 에러 역전파 단계(S840)를 포함할 수 있다.Referring to FIG. 6, a method for generating depth information according to an exemplary embodiment of the present invention includes a first depth information generation step S810, a second depth information generation step S820, a first error back propagation step S830) and a second error back propagation step (S840).
제1 깊이 정보 생성 단계(S810)는 제1 깊이 정보 생성부(110)에서 제1 깊이 정보(40)를 생성하는 단계이다.The first depth information generation step S810 is a step of generating the first depth information 40 in the first depth information generation unit 110. [
제2 깊이 정보 생성 단계(S820)는 제2 깊이 정보 생성부(120)에서 제2 깊이 정보(50)를 생성하는 단계이다.The second depth information generation step S820 is a step of generating the second depth information 50 in the second depth information generation unit 120. [
제1 에러 역전파 단계(S830)는 제2 깊이 정보 생성부(120)에서 에러 역전파 과정을 통해 합성곱 신경망을 학습하는 단계이다.The first error back propagation step (S830) is a step of learning the resultant neural network through the error back propagation process in the second depth information generating unit (120).
제2 에러 역전파 단계(S840)는 제1 깊이 정보 생성부(110)에서 에러 역전파 과정을 통해 합성곱 신경망을 학습하는 단계이다.The second error back propagation step S840 is a step of learning the resultant neural network through the error back propagation process in the first depth information generator 110. [
도 7은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 방법을 도시한 순서도이다.7 is a flowchart illustrating a depth information generating method according to an exemplary embodiment of the present invention.
도 7을 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 방법은 제1 깊이 정보 생성 단계(S910) 및 제2 깊이 정보 생성 단계(S920)를 포함할 수 있다.Referring to FIG. 7, a depth information generating method according to an exemplary embodiment of the present invention may include a first depth information generating step S910 and a second depth information generating step S920.
제1 깊이 정보 생성 단계(S910)는 제1 깊이 정보 생성부(710)에서 제1 깊이 정보를 생성하는 단계이다.The first depth information generating step S910 is a step of generating the first depth information in the first depth information generating unit 710. [
제2 깊이 정보 생성 단계(S920)는 제2 깊이 정보 생성부(720)에서 제2 깊이 정보를 생성하는 단계이다.The second depth information generation step S920 is a step of generating second depth information in the second depth information generation unit 720. [
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The above-described technical features may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- Those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the scope of the present invention. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

Claims (20)

  1. 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 장치로서,The depth information is generated by learning the method of generating the second depth information by fusing the stereo camera depth information generated by merging the left and right images acquired from the stereo camera device with the Lada depth information obtained from the Lada device As a learning apparatus,
    상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 방법을 학습하는 제1 깊이 정보 생성부; 및A first depth information generator for learning a method of generating first depth information by fusing the stereo camera depth information and the ladder depth information; And
    상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 방법을 학습하는 제2 깊이 정보 생성부를 포함하되,And a second depth information generation unit for learning a method of generating the second depth information by fusing the reference image and the first depth information based on stereo camera depth information fusion among the left and right images,
    상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되고,Wherein the first depth information generator learns reference stereo camera depth information and reference depth information as input values and reference actual depth information as labels,
    상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되며,Wherein the second depth information generator uses the reference stereo camera depth information and the reference depth information as input values and outputs the reference first depth information and the reference reference image generated by the first depth information generator as input values, Depth information is learned by labeling,
    상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.Wherein the first depth information generator learns an error value of the error back propagation process of the second depth information generator during error forward propagation in the learning process.
  2. 제1항에 있어서,The method according to claim 1,
    상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 합성곱 신경망 알고리즘을 이용하여 학습되는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.Wherein the first depth information generating unit and the second depth information generating unit are learned using a composite neural network algorithm.
  3. 제2항에 있어서,3. The method of claim 2,
    상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 다이레이트 컨벌루션을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.Wherein the first depth information generating unit and the second depth information generating unit use a dyerate convolution.
  4. 제1항에 있어서,The method according to claim 1,
    상기 제1 깊이 정보 생성부는,Wherein the first depth information generator comprises:
    상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 제1 필터부;A first filter unit for performing dihedral convolution on the ladder depth information;
    상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 제2 필터부;A second filter unit for performing di-rate convolution on the stereo camera depth information;
    상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 제1 융합부; 및A first fused unit for fading the Lada depth information on which the Diya convolution is performed and the stereo camera depth information on which the Diya convolution is performed; And
    상기 제1 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.And a third filter unit for performing degree-of-convolution on the depth information fused in the first fusion unit to generate the first depth information.
  5. 제1항에 있어서,The method according to claim 1,
    상기 제2 깊이 정보 생성부는,Wherein the second depth information generator comprises:
    상기 기준 영상에 다이레이트 컨벌루션을 수행하는 제4 필터부;A fourth filter unit for performing di-rate convolution on the reference image;
    상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 제5 필터부;A fifth filter unit for performing a diatomic convolution on the first depth information;
    상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 제2 융합부; 및A second fusion unit for fusing the reference image on which the dyerate convolution is performed and the first depth information on which the dyerate convolution is performed; And
    상기 제2 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.And a third filter unit for performing diore rate convolution on depth information fused in the second fusion unit to generate the second depth information.
  6. 제1항에 있어서,The method according to claim 1,
    상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.Wherein the first depth information generator uses an error value calculated using the following equation in an error back propagation process during a learning process.
    Figure PCTKR2018001156-appb-I000008
    Figure PCTKR2018001156-appb-I000008
    위 수학식에서,
    Figure PCTKR2018001156-appb-I000009
    은 제1 깊이 정보 생성부가 에러 역전파 과정에 사용되는 에러값이고,
    Figure PCTKR2018001156-appb-I000010
    는 제1 깊이 정보의 에러값이며,
    Figure PCTKR2018001156-appb-I000011
    는 제2 깊이 정보 생성부에서 전달된 제2 깊이 정보의 에러값임.    In the above equation,
    Figure PCTKR2018001156-appb-I000009
    Is an error value used in the error back propagation process by the first depth information generator,
    Figure PCTKR2018001156-appb-I000010
    Is an error value of the first depth information,
    Figure PCTKR2018001156-appb-I000011
    Is an error value of the second depth information transmitted from the second depth information generator.
  7. 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 장치로서,A depth information generating apparatus for generating second depth information by fusing stereo camera depth information generated by fusing left and right images acquired from a stereo camera apparatus with radar depth information obtained from a radar apparatus,
    상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 제1 깊이 정보 생성부; 및A first depth information generator for generating first depth information by fusing the stereo camera depth information and the ladder depth information; And
    상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 제2 깊이 정보 생성부를 포함하되,And a second depth information generator for generating the second depth information by fusing the reference image and the first depth information based on stereo camera depth information fusion among the left and right images,
    상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고,Wherein the first depth information generator learns reference stereo camera depth information and reference depth information as input values and reference actual depth information as labels,
    상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며,Wherein the second depth information generator uses the reference stereo camera depth information and the reference depth information as input values and outputs the reference first depth information and the reference reference image generated by the first depth information generator as input values, Depth information is previously learned on the label,
    상기 제1 깊이 정보 생성부는 사전 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 장치.Wherein the first depth information generator is learned by considering an error value of an error back propagation process of the second depth information generator in an error back propagation process in a pre-learning process.
  8. 제7항에 있어서,8. The method of claim 7,
    상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 합성곱 신경망 알고리즘을 이용하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 장치.Wherein the first depth information generating unit and the second depth information generating unit are learned using a composite neural network algorithm.
  9. 제8항에 있어서,9. The method of claim 8,
    상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 다이레이트 컨벌루션을 이용하는 것을 특징으로 하는 깊이 정보 생성 장치.Wherein the first depth information generating unit and the second depth information generating unit use a dyerate convolution.
  10. 제7항에 있어서,8. The method of claim 7,
    상기 제1 깊이 정보 생성부는,Wherein the first depth information generator comprises:
    상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 제1 필터부;A first filter unit for performing dihedral convolution on the ladder depth information;
    상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 제2 필터부;A second filter unit for performing di-rate convolution on the stereo camera depth information;
    상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 제1 융합부; 및A first fused unit for fading the Lada depth information on which the Diya convolution is performed and the stereo camera depth information on which the Diya convolution is performed; And
    상기 제1 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.And a third filter unit for performing a diatomic convolution on the depth information fused by the first fused unit to generate the first depth information.
  11. 제7항에 있어서,8. The method of claim 7,
    상기 제2 깊이 정보 생성부는,Wherein the second depth information generator comprises:
    상기 기준 영상에 다이레이트 컨벌루션을 수행하는 제4 필터부;A fourth filter unit for performing di-rate convolution on the reference image;
    상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 제5 필터부;A fifth filter unit for performing a diatomic convolution on the first depth information;
    상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 제2 융합부; 및A second fusion unit for fusing the reference image on which the dyerate convolution is performed and the first depth information on which the dyerate convolution is performed; And
    상기 제2 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.And a third filter unit for performing the diatomic convolution on the depth information fused by the second fused unit to generate the second depth information.
  12. 제7항에 있어서,8. The method of claim 7,
    상기 제1 깊이 정보 생성부는 사전 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.Wherein the first depth information generator uses an error value calculated using the following equation in an error back propagation process in a pre-learning process.
    Figure PCTKR2018001156-appb-I000012
    Figure PCTKR2018001156-appb-I000012
    위 수학식에서,
    Figure PCTKR2018001156-appb-I000013
    은 제1 깊이 정보 생성부가 에러 역전파 과정에 사용되는 에러값이고,
    Figure PCTKR2018001156-appb-I000014
    는 제1 깊이 정보의 에러값이며,
    Figure PCTKR2018001156-appb-I000015
    는 제2 깊이 정보 생성부에서 전달된 제2 깊이 정보의 에러값임.    In the above equation,
    Figure PCTKR2018001156-appb-I000013
    Is an error value used in the error back propagation process by the first depth information generator,
    Figure PCTKR2018001156-appb-I000014
    Is an error value of the first depth information,
    Figure PCTKR2018001156-appb-I000015
    Is an error value of the second depth information transmitted from the second depth information generator.
  13. 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 방법으로서,The depth information is generated by learning the method of generating the second depth information by fusing the stereo camera depth information generated by merging the left and right images acquired from the stereo camera device with the Lada depth information obtained from the Lada device As a learning method,
    (a)레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및(a) generating first depth information by fusing reference stereo camera depth information and reference ladder depth information; And
    (b)레퍼런스 좌영상 및 레퍼런스 우영상 중 상기 레퍼런스 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 단계;(b) generating second depth information by fusing a reference image, which is a reference for fusion of the reference stereo camera depth information, of the reference left image and the reference right image with the first depth information;
    (c)레퍼런스 실제 깊이 정보와 상기 제2 깊이 정보의 차이값인 제2 에러값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (b)단계를 학습시키는 단계; 및(c) learning the step (b) through an error back propagation process with an error value being a second error value which is a difference between the reference actual depth information and the second depth information; And
    (d)상기 (c)단계에서 전달된 제2 에러값 및 상기 레퍼런스 실제 깊이 정보와 상기 제1 깊이 정보의 차이값인 제1 에러값을 합산한 값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (a)단계를 학습시키는 단계를 포함하는 깊이 정보 생성을 위한 학습 방법.(d) calculating a sum of the second error value and the reference depth information, which is the difference between the reference depth information and the first depth information, as an error value, And learning the step (a).
  14. 제13항에 있어서,14. The method of claim 13,
    상기 (a)단계는,The step (a)
    (a1)상기 레퍼런스 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(a1) performing di-rate convolution on the reference ladder depth information;
    (a2)상기 레퍼런스 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(a2) performing di-rate convolution on the reference stereo camera depth information;
    (a3)상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 단계; 및(a3) fusing the ladder depth information on which the diaRate convolution is performed and the stereo camera depth information on which the diaRate convolution is performed; And
    (a4)상기 (a3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 방법.(a4) generating the first depth information by performing di-rate convolution on the depth information fused in step (a3).
  15. 제13항에 있어서,14. The method of claim 13,
    상기 (b)단계는,The step (b)
    (b1)상기 기준 영상에 다이레이트 컨벌루션을 수행하는 단계;(b1) performing divergent convolution on the reference image;
    (b2)상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(b2) performing di-rate convolution on the first depth information;
    (b3)상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 단계; 및(b3) fusing the reference image on which the diaRate convolution is performed and the first depth information on which the diaRate convolution is performed; And
    (b4)상기 (b3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 방법.(b4) performing the divergent convolution on the depth information fused in the step (b3) to generate the second depth information.
  16. 제13항에 있어서,14. The method of claim 13,
    상기 (d)단계는 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.Wherein the step (d) uses an error value calculated using the following equation.
    Figure PCTKR2018001156-appb-I000016
    Figure PCTKR2018001156-appb-I000016
    위 수학식에서,
    Figure PCTKR2018001156-appb-I000017
    은 (d)단계에서 이용하는 에러값이고,
    Figure PCTKR2018001156-appb-I000018
    는 제1 에러값이며,
    Figure PCTKR2018001156-appb-I000019
    는 (c)단계에서 전달된 제2 에러값임.    In the above equation,
    Figure PCTKR2018001156-appb-I000017
    Is the error value used in step (d)
    Figure PCTKR2018001156-appb-I000018
    Is a first error value,
    Figure PCTKR2018001156-appb-I000019
    Is the second error value delivered in step (c).
  17. 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 방법으로서,A depth information generation method for generating second depth information by fusing stereo camera depth information generated by fusing left and right images acquired from a stereo camera device with ladder depth information obtained from a ladder device,
    (a)상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및(a) generating first depth information by fusing the stereo camera depth information and the ladder depth information; And
    (b)상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 단계를 포함하되,(b) generating the second depth information by fusing the reference image and the first depth information based on the stereoscopic camera depth information fusion among the left and right images,
    상기 (a)단계는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고,In the step (a), reference stereo camera depth information and reference depth information are used as input values, and reference actual depth information is used as a label,
    상기 (b)단계는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며,Wherein the reference depth information and the reference reference depth image generated by the first depth information generating unit are input values and the reference actual depth Information is pre-learned on the label,
    상기 (a)단계는 사전 학습 과정 중 에러 역전파 과정에서 상기 (b)단계의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 방법.Wherein the step (a) is performed by further considering an error value of the error back propagation process of the step (b) in the error back propagation process in the pre-learning process.
  18. 제16항에 있어서,17. The method of claim 16,
    상기 (a)단계는,The step (a)
    (a1)상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(a1) performing di-rate convolution on the ladder depth information;
    (a2)상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(a2) performing di-rate convolution on the stereo camera depth information;
    (a3)상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 단계; 및(a3) fusing the ladder depth information on which the diaRate convolution is performed and the stereo camera depth information on which the diaRate convolution is performed; And
    (a4)상기 (a3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 단계를 포함하고,(a4) generating the first depth information by performing di-rate convolution on the depth information fused in step (a3)
    상기 (b)단계는,The step (b)
    (b1)상기 기준 영상에 다이레이트 컨벌루션을 수행하는 단계;(b1) performing divergent convolution on the reference image;
    (b2)상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;(b2) performing di-rate convolution on the first depth information;
    (b3)상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 단계; 및(b3) fusing the reference image on which the diaRate convolution is performed and the first depth information on which the diaRate convolution is performed; And
    (b4)상기 (b3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.(b4) generating depth information by performing divergent convolution on depth information fused in step (b3).
  19. 제17항에 있어서,18. The method of claim 17,
    상기 (a)단계는 사전 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.Wherein the step (a) uses an error value calculated using the following equation in an error back propagation process in a pre-learning process.
    Figure PCTKR2018001156-appb-I000020
    Figure PCTKR2018001156-appb-I000020
    위 수학식에서,
    Figure PCTKR2018001156-appb-I000021
    은 (a)단계에서 이용하는 에러값이고,
    Figure PCTKR2018001156-appb-I000022
    는 제1 깊이 정보의 에러값이며,
    Figure PCTKR2018001156-appb-I000023
    는 (b)단계의 에러 역전파 과정에서 전달된 제2 깊이 정보의 에러값임.    In the above equation,
    Figure PCTKR2018001156-appb-I000021
    Is an error value used in step (a)
    Figure PCTKR2018001156-appb-I000022
    Is an error value of the first depth information,
    Figure PCTKR2018001156-appb-I000023
    Is an error value of the second depth information transmitted in the error back propagation process of step (b).
  20. 제13항 내지 제16항 중 어느 한 항의 깊이 정보 생성을 위한 학습 방법 또는 제17항 내지 제19항 중 어느 한 항의 깊이 정보 생성 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium on which a learning method for generating depth information according to any one of claims 13 to 16 or a method for generating depth information according to any one of claims 17 to 19 is recorded.
PCT/KR2018/001156 2017-12-13 2018-01-26 Learning apparatus and method for depth information generation, depth information generation apparatus and method, and recording medium related thereto WO2019117393A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0171004 2017-12-13
KR1020170171004A KR101976290B1 (en) 2017-12-13 2017-12-13 Depth Information Generating Apparatus and Method, Learning Apparatus and Method for Depth Information Generating, and Recording Medium Thereof

Publications (1)

Publication Number Publication Date
WO2019117393A1 true WO2019117393A1 (en) 2019-06-20

Family

ID=66655951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/001156 WO2019117393A1 (en) 2017-12-13 2018-01-26 Learning apparatus and method for depth information generation, depth information generation apparatus and method, and recording medium related thereto

Country Status (2)

Country Link
KR (1) KR101976290B1 (en)
WO (1) WO2019117393A1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102229861B1 (en) 2019-10-24 2021-03-18 연세대학교 산학협력단 Depth estimation apparatus and method using low-channel lidar and stereo camera
CN111754798A (en) * 2020-07-02 2020-10-09 上海电科智能系统股份有限公司 Method for realizing detection of vehicle and surrounding obstacles by fusing roadside laser radar and video
KR102334332B1 (en) * 2020-07-31 2021-12-02 숭실대학교 산학협력단 Enhancement method of depth map based on deep learning network using guided filtering, recording medium and device for performing the method
KR20220066690A (en) * 2020-11-16 2022-05-24 삼성전자주식회사 Electronic apparatus and method for controlling thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160210518A1 (en) * 2015-01-15 2016-07-21 vClick3d, Inc. Systems and methods for controlling the recording, storing and transmitting of video surveillance content
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
KR20170028749A (en) * 2015-09-04 2017-03-14 한국전자통신연구원 Depth information extracting method based on machine learning and apparatus thereof
US20170140253A1 (en) * 2015-11-12 2017-05-18 Xerox Corporation Multi-layer fusion in a convolutional neural network for image classification
WO2017176112A1 (en) * 2016-04-04 2017-10-12 Fugro N.V. Spatial data analysis

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101789071B1 (en) * 2011-01-13 2017-10-24 삼성전자주식회사 Apparatus and method for extracting feature of depth image
KR101825218B1 (en) * 2016-04-08 2018-02-02 한국과학기술원 Apparatus and method for generaing depth information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160210518A1 (en) * 2015-01-15 2016-07-21 vClick3d, Inc. Systems and methods for controlling the recording, storing and transmitting of video surveillance content
US20170032222A1 (en) * 2015-07-30 2017-02-02 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
KR20170028749A (en) * 2015-09-04 2017-03-14 한국전자통신연구원 Depth information extracting method based on machine learning and apparatus thereof
US20170140253A1 (en) * 2015-11-12 2017-05-18 Xerox Corporation Multi-layer fusion in a convolutional neural network for image classification
WO2017176112A1 (en) * 2016-04-04 2017-10-12 Fugro N.V. Spatial data analysis

Also Published As

Publication number Publication date
KR101976290B1 (en) 2019-05-07

Similar Documents

Publication Publication Date Title
WO2019117393A1 (en) Learning apparatus and method for depth information generation, depth information generation apparatus and method, and recording medium related thereto
WO2022068487A1 (en) Styled image generation method, model training method, apparatus, device, and medium
CN112184738B (en) Image segmentation method, device, equipment and storage medium
WO2021085784A1 (en) Learning method of object detection model, and object detection device in which object detection model is executed
WO2020071701A1 (en) Method and device for detecting object in real time by means of deep learning network model
CN110163903A (en) The acquisition of 3-D image and image position method, device, equipment and storage medium
CN112307940A (en) Model training method, human body posture detection method, device, equipment and medium
EP3721380A1 (en) Method and system for facial recognition
CN109712108B (en) Visual positioning method for generating network based on diversity discrimination candidate frame
WO2023137913A1 (en) Video text summarization method based on multi-modal model, device and storage medium
WO2020246655A1 (en) Situation recognition method and device for implementing same
WO2023185494A1 (en) Point cloud data identification method and apparatus, electronic device, and storage medium
WO2016186236A1 (en) Color processing system and method for three-dimensional object
WO2019147024A1 (en) Object detection method using two cameras having different focal distances, and apparatus therefor
US20220358662A1 (en) Image generation method and device
WO2023016111A1 (en) Key value matching method and apparatus, and readable medium and electronic device
CN113076891B (en) Human body posture prediction method and system based on improved high-resolution network
CN110349209A (en) Vibrating spear localization method based on binocular vision
CN109829401A (en) Traffic sign recognition method and device based on double capture apparatus
WO2020231005A1 (en) Image processing device and operation method thereof
WO2023237065A1 (en) Loop closure detection method and apparatus, and electronic device and medium
WO2020155908A1 (en) Method and apparatus for generating information
WO2023168955A1 (en) Pickup pose information determination method and apparatus, device, and computer-readable medium
CN116468902A (en) Image processing method, device and non-volatile computer readable storage medium
WO2016021829A1 (en) Motion recognition method and motion recognition device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18889512

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18889512

Country of ref document: EP

Kind code of ref document: A1