KR101976290B1 - 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체 - Google Patents

깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체 Download PDF

Info

Publication number
KR101976290B1
KR101976290B1 KR1020170171004A KR20170171004A KR101976290B1 KR 101976290 B1 KR101976290 B1 KR 101976290B1 KR 1020170171004 A KR1020170171004 A KR 1020170171004A KR 20170171004 A KR20170171004 A KR 20170171004A KR 101976290 B1 KR101976290 B1 KR 101976290B1
Authority
KR
South Korea
Prior art keywords
depth information
convolution
stereo camera
generating
fusing
Prior art date
Application number
KR1020170171004A
Other languages
English (en)
Inventor
손광훈
박기홍
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170171004A priority Critical patent/KR101976290B1/ko
Priority to PCT/KR2018/001156 priority patent/WO2019117393A1/ko
Application granted granted Critical
Publication of KR101976290B1 publication Critical patent/KR101976290B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체가 개시된다. 개시된 깊이 정보 생성을 위한 학습 장치는 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 장치로서, 상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 방법을 학습하는 제1 깊이 정보 생성부; 및 상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 방법을 학습하는 제2 깊이 정보 생성부를 포함하되, 상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되고, 상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되며, 상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되는 것을 특징으로 한다. 개시된 장치에 따르면, 학습을 이용하여 보다 정확한 깊이 정보를 빠르게 생성할 수 있는 장점이 있다.

Description

깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체{Depth Information Generating Apparatus and Method, Learning Apparatus and Method for Depth Information Generating, and Recording Medium Thereof}
본 발명은 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체에 관한 것이다.
근래에 스마트카와 드론 산업의 발전에 따라, 3D 지도의 필요성이 대두되고 있다. 3D 지도는 스마트카나 드론의 자율주행 경로 파악에 직접적으로 사용될 수 있으며, 어플리케이션에 사용되기도 한다. 일례로, 증강현실(AR, Augmented Reality)에 쓰이는 3D 구조 정보 또한 3D 지도를 필요로 한다.
3D 지도 제작의 핵심 기술은 깊이 정보를 파악하여 3D 모델링을 하는 것인데, 종래의 스테레오 카메라를 이용한 깊이 정보 획득 방법은 노이즈나 알고리즘 한계에 의한 오차가 많이 발생하며, 라이다(LIDAR) 센서와 같은 거리 측정 센서로 깊이 정보를 획득하는 방법은 해상도가 낮은 문제점이 있었다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명은 학습을 이용하여 라이다 깊이 정보와 스테레오 카메라 깊이 정보를 융합하여 보다 정확한 깊이 정보를 생성할 수 있는 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체를 제공한다.
상기한 목적을 달성하기 위해 본 발명의 제1 실시예에 따르면, 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 장치로서, 상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 방법을 학습하는 제1 깊이 정보 생성부; 및 상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 방법을 학습하는 제2 깊이 정보 생성부를 포함하되, 상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되고, 상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되며, 상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치가 제공된다.
상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 합성곱 신경망 알고리즘을 이용하여 학습되는 것을 특징으로 한다.
상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 다이레이트 컨벌루션을 이용하는 것을 특징으로 한다.
상기 제1 깊이 정보 생성부는, 상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 제1 필터부; 상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 제2 필터부; 상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 제1 융합부; 및 상기 제1 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 한다.
상기 제2 깊이 정보 생성부는, 상기 기준 영상에 다이레이트 컨벌루션을 수행하는 제4 필터부; 상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 제5 필터부; 상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 제2 융합부; 및 상기 제2 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 한다.
상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 한다.
Figure 112017124053445-pat00001
위 수학식에서,
Figure 112017124053445-pat00002
은 제1 깊이 정보 생성부가 에러 역전파 과정에서 이용하는 에러값이고,
Figure 112017124053445-pat00003
는 제1 깊이 정보의 에러값이며,
Figure 112017124053445-pat00004
는 제2 깊이 정보 생성부에서 전달된 제2 깊이 정보의 에러값이다.
또한, 본 발명의 제2 실시예에 따르면, 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 장치로서, 상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 제1 깊이 정보 생성부; 및 상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 제2 깊이 정보 생성부를 포함하되, 상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고, 상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며, 상기 제1 깊이 정보 생성부는 사전 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 장치가 제공된다.
상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 합성곱 신경망 알고리즘을 이용하여 학습되어 있는 것을 특징으로 한다.
상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 다이레이트 컨벌루션을 이용하는 것을 특징으로 한다.
상기 제1 깊이 정보 생성부는, 상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 제1 필터부; 상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 제2 필터부; 상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 제1 융합부; 및 상기 제1 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 한다.
상기 제2 깊이 정보 생성부는, 상기 기준 영상에 다이레이트 컨벌루션을 수행하는 제4 필터부; 상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 제5 필터부; 상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 제2 융합부; 및 상기 제2 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 한다.
상기 제1 깊이 정보 생성부는 사전 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 한다.
Figure 112017124053445-pat00005
위 수학식에서,
Figure 112017124053445-pat00006
은 제1 깊이 정보 생성부가 에러 역전파 과정에서 이용하는 에러값이고,
Figure 112017124053445-pat00007
는 제1 깊이 정보의 에러값이며,
Figure 112017124053445-pat00008
는 제2 깊이 정보 생성부에서 전달된 제2 깊이 정보의 에러값이다.
또한, 본 발명의 제3 실시예에 따르면, 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 방법으로서, (a)레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및 (b)레퍼런스 좌영상 및 레퍼런스 우영상 중 상기 레퍼런스 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 단계; (c)레퍼런스 실제 깊이 정보와 상기 제2 깊이 정보의 차이값인 제2 에러값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (b)단계를 학습시키는 단계; 및 (d)상기 (c)단계에서 전달된 제2 에러값 및 상기 레퍼런스 실제 깊이 정보와 상기 제1 깊이 정보의 차이값인 제1 에러값을 합산한 값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (a)단계를 학습시키는 단계를 포함하는 깊이 정보 생성을 위한 학습 방법이 제공된다.
상기 (a)단계는, (a1)상기 레퍼런스 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계; (a2)상기 레퍼런스 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계; (a3)상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 단계; 및 (a4)상기 (a3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 (b)단계는, (b1)상기 기준 영상에 다이레이트 컨벌루션을 수행하는 단계; (b2)상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계; (b3)상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 단계; 및 (b4)상기 (b3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 (d)단계는 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 한다.
Figure 112017124053445-pat00009
위 수학식에서,
Figure 112017124053445-pat00010
은 (d)단계에서 이용하는 에러값이고,
Figure 112017124053445-pat00011
는 제1 에러값이며,
Figure 112017124053445-pat00012
는 (c)단계에서 전달된 제2 에러값이다.
또한, 본 발명의 제4 실시예에 따르면, 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 방법으로서, (a)상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및 (b)상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 단계를 포함하되, 상기 (a)단계는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고, 상기 (b)단계는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며, 상기 (a)단계는 사전 학습 과정 중 에러 역전파 과정에서 상기 (b)단계의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 방법이 제공된다.
상기 (a)단계는, (a1)상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계; (a2)상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계; (a3)상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 단계; 및 (a4)상기 (a3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 단계를 포함하고, 상기 (b)단계는, (b1)상기 기준 영상에 다이레이트 컨벌루션을 수행하는 단계; (b2)상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계; (b3)상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 단계; 및 (b4)상기 (b3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 (a)단계는 사전 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 한다.
Figure 112017124053445-pat00013
위 수학식에서,
Figure 112017124053445-pat00014
은 (a)단계의 에러 역전파 과정에서 이용하는 에러값이고,
Figure 112017124053445-pat00015
는 제1 깊이 정보의 에러값이며,
Figure 112017124053445-pat00016
는 (b)단계의 에러 역전파 과정에서 전달된 제2 깊이 정보의 에러값이다.
또한, 본 발명의 제5 실시예에 따르면, 상기의 깊이 정보 생성을 위한 학습 방법 또는 깊이 정보 생성 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명은 학습을 이용하여 보다 정확한 깊이 정보를 빠르게 생성할 수 있는 장점이 있다.
도 1은 합성곱 신경망 알고리즘을 설명하기 위한 도면이다.
도 2는 합성곱 신경망의 컨벌루션 방법을 설명하기 위한 도면이다.
도 3은 합성곱 신경망의 다운 샘플링 방법을 설명하기 위한 도면이다.
도 4는 다이레이트 컨벌루션을 설명하기 위한 도면이다.
도 5는 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 구조도이다.
도 6은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 학습 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 장치의 구조도이다.
도 8은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 방법을 도시한 순서도이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 방법을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 스테레오 카메라 장치를 이용하여 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다(LIDAR) 장치를 이용하여 획득한 라이다 깊이 정보를 융합하여 보다 정확한 깊이 정보를 생성해 낸다. 정확하고 신속하게 깊이 정보를 생성해내기 위하여 본 발명은 딥 러닝(Deep Learning) 알고리즘을 이용할 수 있으며, 일례로 합성곱 신경망(CNN, Convolution Neural Network)을 이용할 수 있다. 특히, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 다이레이트 컨벌루션(Dilate Convolution)을 이용하며, 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부로 구성되는 두 개의 학습 네트워크를 이용하여 보다 빠르고 정확하게 깊이 정보를 학습할 수 있게 된다.
라이다 깊이 정보는 정확한 깊이 정보를 포함하고 있지만, 해상도가 낮아 실제 3D 지도에 직접적으로 적용하기에는 적합하지 않고, 스테레오 카메라 깊이 정보는 해상도는 높지만 깊이의 오차가 커 정확한 3D 지도를 제작하기가 어려운 단점이 있었다. 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 라이다 깊이 정보와 스테레오 깊이 정보를 융합하여 깊이 정보를 생성하는 방법을 학습하므로, 비교적 오차가 적은 고해상도의 깊이 정보를 생성할 수 있다.
특히, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부로 구성되는 두 개의 학습 네트워크를 이용하되, 학습의 에러 역전파(Back-propagation) 과정에서 제2 깊이 정보 생성부에서 발생한 에러값을 제1 깊이 정보 생성부에서도 고려하므로, 보다 정확하고 효율적인 학습을 수행하여, 보다 정확하고 빠르게 깊이 정보 생성 방법을 학습할 수 있게 된다.
이하에서, 본 발명의 실시예에 적용될 수 있는 합성곱 신경망의 컨벌루션 및 다이레이트 컨벌루션에 대해 간단히 설명한 후, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 합성곱 신경망의 컨벌루션을 설명하기 위한 도면이다.
도 1을 참조하면, 합성곱 신경망 알고리즘은 입력 영상에 대해 컨벌루션을 수행하여, 입력 영상에 대한 피쳐 맵(feature map)을 추출(feature learning)하고, 피쳐 맵을 통해 입력 영상을 식별 또는 분류(classification)한다. 피쳐 맵은 입력 영상에 대한 특징 정보를 포함한다. 피쳐 맵 추출을 위해, 컨벌루션이 반복될 수 있으며, 반복 횟수는 실시예에 따라서 다양하게 결정될 수 있다.
컨벌루션에 이용되는 필터(또는 커널, 210)의 사이즈가 결정되면, 필터의 각 화소별로 할당된 가중치와 입력 영상(200)의 화소값의 가중치 합(weighted sum)을 통해 컨벌루션이 수행된다. 즉, 필터가 오버랩되는 입력 영상의 특정 영역에 대해 대응되는 화소별로 필터의 가중치를 화소값과 곱한 후 더함으로써 컨벌루션 레이어의 화소값(230)이 결정될 수 있다.
도면에 도시된 바와 같이, 대응되는 화소별로 필터(210)의 가중치(4, 0, 0, 0, 0, 0, 0, 0, -4)와 오버랩되는 입력 영상(200)의 특정 영역의 화소값(0, 0, 0, 0, 1, 1, 0, 1, 2)에 대해 가중치 합이 수행되어 최종 -8이라는 화소값(230)이 결정된다. 필터가 좌우 상하로 이동하며, 입력 영상의 오버랩된 영역에 대해 총 9개 화소에 대해 가중치 합이 수행되고, 일례로, 입력 영상(200)의 사이즈가 7X7이며, 필터(210)의 사이즈가 3X3라면 5X5 사이즈의 컨벌루션 레이어가 생성될 수 있다.
컨벌루션에 따른 화소값은 오버랩된 영역의 중앙 화소의 화소값(230)이 되기 때문에, 입력 영상 대비 컨벌루션 레이어, 즉 컨벌루션된 영상의 사이즈는 감소한다. 다만, 입력 영상의 외곽 영역을 특정 화소값으로 패딩(padding)할 경우, 입력 영상의 사이즈와 동일한 7X7 사이즈의 컨벌루션 레이어를 생성할 수 있다. 컨벌루션 레이어의 개수는 이용되는 필터의 개수에 따라 결정될 수 있다.
도 2는 다이레이트 컨벌루션을 설명하기 위한 도면이다.
도 2를 참조하면, 다이레이트 컨벌루션은 컨벌루션 레이어 생성 과정에서 도 2의 (a)에서와 같이 9개 위치의 점을 고려하게 된다. 도 2의 (a)에서는 k=2로 설정되었으며, k는 9개 위치의 점들 중 이웃한 점과의 거리를 의미한다. 도 2의 (b)에서, k값을 증가시키며 다이레이트 컨벌루션을 반복 수행하게 되면, 한 위치에서 고려할 수 있는 범위가 기하급수적으로 늘어나게 된다. 그러므로 k값을 변화시키며 다이레이트 컨벌루션을 반복 수행하면 적은 수의 컨벌루션 수행으로도 전체적인 정보를 빠르게 학습할 수 있게 된다.
이하에서는, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 구조에 대해 보다 상세히 설명하기로 한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 구조도이고, 도 4는 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 학습 과정을 설명하기 위한 도면이다.
도 3 및 도 4를 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 제1 깊이 정보 생성부(110) 및 제2 깊이 정보 생성부(120)를 포함할 수 있다.
제1 깊이 정보 생성부(110)는 레퍼런스 라이다 깊이 정보(10) 및 레퍼런스 스테레오 카메라 깊이 정보(20)를 입력값으로 하고, 레퍼런스 실제 깊이 정보(30)를 라벨로 하여 라이다 깊이 정보와 스테레오 카메라 깊이 정보를 입력받으면 제1 깊이 정보(40)를 생성하도록 학습될 수 있다.
제1 깊이 정보 생성부(110)는 하기 수학식을 이용하여 제1 깊이 정보(40)를 생성할 수 있다.
Figure 112017124053445-pat00017
수학식 1에서,
Figure 112017124053445-pat00018
는 제1 깊이 정보이고,
Figure 112017124053445-pat00019
은 레퍼런스 라이다 깊이 정보이며,
Figure 112017124053445-pat00020
는 레퍼런스 스테레오 카메라 깊이 정보이며,
Figure 112017124053445-pat00021
는 제1 깊이 정보 생성부의 내부 파라미터이다.
레퍼런스 라이다 깊이 정보(10)는 라이다 장치를 이용하여 획득될 수 있으며, 레퍼런스 스테레오 카메라 깊이 정보(20)는 스테레오 카메라 장치를 이용하여 획득된 좌영상 및 우영상을 융합하여 생성될 수 있다. 좌영상 및 우영상의 융합에는 공지된 스테레오 카메라를 이용한 3D 영상 생성 방법이 이용될 수 있다. 한편, 레퍼런스 실제 깊이 정보(30)는 실제 깊이 정보를 의미하며, 일례로, 고비용 저효율의 정밀 깊이 센서를 이용하여 획득될 수 있다. 제1 깊이 정보 생성부(110)는 전술한 합성곱 신경망을 이용하여 학습될 수 있으며, 다이레이트 컨벌루션을 이용할 수 있다.
보다 자세히 설명하면, 제1 깊이 정보 생성부(110)는 제1 필터(112), 제2 필터(114), 제1 융합부(116) 및 제3 필터(118)를 포함할 수 있다.
제1 필터(112)에서는 레퍼런스 라이다 깊이 정보(10)에 대한 다이레이트 컨벌루션이 수행될 수 있으며, 제2 필터(114)에서는 레퍼런스 스테레오 카메라 깊이 정보(20)에 대한 다이레이트 컨벌루션이 수행될 수 있다. 제1 융합부(116)에서는 다이레이트 컨벌루션이 수행된 레퍼런스 라이다 깊이 정보(10)와 다이레이트 컨벌루션이 수행된 레퍼런스 스테레오 카메라 깊이 정보(20)의 융합이 이루어진다. 제3 필터(118)는 제1 융합부(116)에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 제1 깊이 정보(40)를 생성하며, 일례로, 제3 필터(118)는 제1 필터(112) 및 제2 필터(114)에서 수행한 다이레이트 컨벌루션 필터의 k값을 역순으로 적용하여 다이레이트 컨벌루션을 수행할 수 있다.
한편, 제2 깊이 정보 생성부(120)는 레퍼런스 기준 영상(26) 및 제1 깊이 정보(40)를 입력값으로 하고, 레퍼런스 실제 깊이 정보(30)를 라벨로 하여 기준 영상과 제1 깊이 정보(40)를 입력받으면 제2 깊이 정보(50)를 생성하도록 학습될 수 있다.
제2 깊이 정보 생성부(120)는 하기 수학식을 이용하여 제2 깊이 정보(50)를 생성할 수 있다.
Figure 112017124053445-pat00022
수학식 2에서,
Figure 112017124053445-pat00023
는 제2 깊이 정보이고,
Figure 112017124053445-pat00024
는 레퍼런스 기준 영상이며,
Figure 112017124053445-pat00025
은 제2 깊이 정보 생성부의 내부 파라미터이다.
레퍼런스 기준 영상(26)은 좌영상과 우영상 중 레퍼런스 스테레오 카메라 깊이 정보(20) 생성에 기준이 된 영상이다. 제2 깊이 정보 생성부(120) 또한 전술한 합성곱 신경망을 이용하여 학습될 수 있으며, 다이레이트 컨벌루션을 이용할 수 있다.
제1 깊이 정보 생성부(110)에서 생성된 제1 깊이 정보(40)는 비교적 정확한 깊이 정보를 갖게 되지만, 세부적인 에지(edge) 영역에서의 깊이 값을 보정한다면 더욱 오차를 줄일 수 있게 된다. 따라서 제2 깊이 정보 생성부(120)는 스테레오 카메라로 직접 촬영한 레퍼런스 기준 영상(26)을 이용하여 보다 정확한 깊이 정보를 생성하도록 학습될 수 있다.
구체적으로, 제2 깊이 정보 생성부(120)는 제4 필터(122), 제5 필터(124), 제2 융합부(126) 및 제6 필터(128)를 포함할 수 있다.
제4 필터(122)에서는 레퍼런스 기준 영상(26)에 대한 다이레이트 컨벌루션이 수행될 수 있으며, 제5 필터(124)에서는 제1 깊이 정보(40)에 대한 다이레이트 컨벌루션이 수행될 수 있다. 제2 융합부(126)에서는 다이레이트 컨벌루션이 수행된 레퍼런스 기준 영상(26)과 다이레이트 컨벌루션이 수행된 제1 깊이 정보(40)의 융합이 이루어진다. 제6 필터(128)는 제2 융합부(126)에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 제2 깊이 정보(50)를 생성하며, 일례로, 제6 필터(128)는 제3 필터(122) 및 제4 필터(124)에서 수행한 다이레이트 컨벌루션 필터의 k값을 역순으로 적용하여 다이레이트 컨벌루션을 수행할 수 있다.
학습 과정 중에서, 제1 깊이 정보 생성부(110) 및 제2 깊이 정보 생성부(120)는 생성한 깊이 정보 값을 라벨로 입력된 값과 비교하며, 에러 역전파(Back Propagation) 과정을 통해 보다 더 나은 깊이 정보 값을 생성하도록 학습된다.
에러 역전파 과정은 제2 깊이 정보 생성부(120)의 끝단에서 시작되며, 제2 깊이 정보(50)와 레퍼런스 실제 깊이 정보(30)의 차이값이 제2 에러값으로 재입력되어 역순으로 전달되게 된다.
즉, 제2 에러값은 제2 깊이 정보 생성부(120)의 제6 필터(128)에서 제4 필터(122) 및 제5 필터(124) 방향으로 컨벌루션 필터를 거쳐 전달되며, 에러 역전파 과정에 의해 합성곱 신경망이 학습되어 제2 깊이 정보 생성부(120)는 레퍼런스 실제 깊이 정보(30)에 더욱 가까운 제2 깊이 정보(50)를 생성하도록 학습된다.
한편, 제1 깊이 정보 생성부(110)에서도 에러 역전파 과정을 통한 학습이 이루어진다. 제1 깊이 정보 생성부(110)에서는 생성된 제1 깊이 정보(40)와 라벨로 입력된 레퍼런스 실제 깊이 정보(30)의 차이값인 제1 에러값 뿐만 아니라 제2 깊이 정보 생성부(120)에서 전달된 제2 에러값까지 모두 재입력되어 역순으로 전달된다.
제1 깊이 정보 생성부(110)에서 에러 역전파 과정에 사용되는 에러값은 하기 수학식을 이용하여 산출될 수 있다.
Figure 112017124053445-pat00026
수학식 3에서,
Figure 112017124053445-pat00027
은 제1 깊이 정보 생성부에서 에러 역전파 과정에 사용되는 에러값이고,
Figure 112017124053445-pat00028
는 제1 에러값이며,
Figure 112017124053445-pat00029
는 제2 에러값이다.
즉, 본 발명의 바람직한 일 실시예에 따른 제1 깊이 정보 생성부(110)에서는 제1 에러값과 제2 깊이 정보 생성부(120)에서 전달된 제2 에러값 모두를 에러 역전파 과정에 이용하므로, 제1 깊이 정보 생성부(110)는 제2 깊이 정보 생성부(120)에서 보다 정확한 제2 깊이 정보(50)를 생성할 수 있도록 하는 제1 깊이 정보(40)를 생성하도록 학습될 수 있다.
이처럼, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치는 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부로 구성되는 두 개의 학습 네트워크를 이용하여 라이다 깊이 정보와 스테레오 카메라 깊이 정보를 융합하므로 보다 정확한 깊이 정보를 빠르게 생성하도록 학습될 수 있다.
도 5는 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 장치의 구조도이다.
도 5를 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 장치는 제1 깊이 정보 생성부(710) 및 제2 깊이 정보 생성부(720)를 포함할 수 있다.
본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 장치는 전술한 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 장치의 학습 과정과 동일하게 사전에 학습되어 있을 수 있다.
제1 깊이 정보 생성부(710)는 라이다 깊이 정보와 스테레오 카메라 깊이 정보를 입력 받아 제1 깊이 정보를 생성할 수 있다.
제2 깊이 정보 생성부(720)는 제1 깊이 정보와 기준 영상을 입력 받아 제2 깊이 정보를 생성할 수 있다.
도 6은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 방법을 도시한 순서도이다.
도 6을 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성을 위한 학습 방법은 제1 깊이 정보 생성 단계(S810), 제2 깊이 정보 생성 단계(S820), 제1 에러 역전파 단계(S830) 및 제2 에러 역전파 단계(S840)를 포함할 수 있다.
제1 깊이 정보 생성 단계(S810)는 제1 깊이 정보 생성부(110)에서 제1 깊이 정보(40)를 생성하는 단계이다.
제2 깊이 정보 생성 단계(S820)는 제2 깊이 정보 생성부(120)에서 제2 깊이 정보(50)를 생성하는 단계이다.
제1 에러 역전파 단계(S830)는 제2 깊이 정보 생성부(120)에서 에러 역전파 과정을 통해 합성곱 신경망을 학습하는 단계이다.
제2 에러 역전파 단계(S840)는 제1 깊이 정보 생성부(110)에서 에러 역전파 과정을 통해 합성곱 신경망을 학습하는 단계이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 방법을 도시한 순서도이다.
도 7을 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 정보 생성 방법은 제1 깊이 정보 생성 단계(S910) 및 제2 깊이 정보 생성 단계(S920)를 포함할 수 있다.
제1 깊이 정보 생성 단계(S910)는 제1 깊이 정보 생성부(710)에서 제1 깊이 정보를 생성하는 단계이다.
제2 깊이 정보 생성 단계(S920)는 제2 깊이 정보 생성부(720)에서 제2 깊이 정보를 생성하는 단계이다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 제1 깊이 정보 생성부
112: 제1 필터
114: 제2 필터
116: 제1 융합부
118: 제3 필터
120: 제2 깊이 정보 생성부
122: 제4 필터
124: 제5 필터
126: 제2 융합부
128: 제6 필터
710: 제1 깊이 정보 생성부
720: 제2 깊이 정보 생성부

Claims (20)

  1. 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 장치로서,
    상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 방법을 학습하는 제1 깊이 정보 생성부; 및
    상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 방법을 학습하는 제2 깊이 정보 생성부를 포함하되,
    상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되고,
    상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 학습되며,
    상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.
  2. 제1항에 있어서,
    상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 합성곱 신경망 알고리즘을 이용하여 학습되는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.
  3. 제2항에 있어서,
    상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 다이레이트 컨벌루션을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.
  4. 제1항에 있어서,
    상기 제1 깊이 정보 생성부는,
    상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 제1 필터부;
    상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 제2 필터부;
    상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 제1 융합부; 및
    상기 제1 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.
  5. 제1항에 있어서,
    상기 제2 깊이 정보 생성부는,
    상기 기준 영상에 다이레이트 컨벌루션을 수행하는 제4 필터부;
    상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 제5 필터부;
    상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 제2 융합부; 및
    상기 제2 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.
  6. 제1항에 있어서,
    상기 제1 깊이 정보 생성부는 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 장치.
    Figure 112017124053445-pat00030

    위 수학식에서,
    Figure 112017124053445-pat00031
    은 제1 깊이 정보 생성부가 에러 역전파 과정에서 이용하는 에러값이고,
    Figure 112017124053445-pat00032
    는 제1 깊이 정보의 에러값이며,
    Figure 112017124053445-pat00033
    는 제2 깊이 정보 생성부에서 전달된 제2 깊이 정보의 에러값임.
  7. 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 장치로서,
    상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 제1 깊이 정보 생성부; 및
    상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 제2 깊이 정보 생성부를 포함하되,
    상기 제1 깊이 정보 생성부는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고,
    상기 제2 깊이 정보 생성부는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며,
    상기 제1 깊이 정보 생성부는 사전 학습 과정 중 에러 역전파 과정에서 상기 제2 깊이 정보 생성부의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 장치.
  8. 제7항에 있어서,
    상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 합성곱 신경망 알고리즘을 이용하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 장치.
  9. 제8항에 있어서,
    상기 제1 깊이 정보 생성부 및 제2 깊이 정보 생성부는 다이레이트 컨벌루션을 이용하는 것을 특징으로 하는 깊이 정보 생성 장치.
  10. 제7항에 있어서,
    상기 제1 깊이 정보 생성부는,
    상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 제1 필터부;
    상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 제2 필터부;
    상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 제1 융합부; 및
    상기 제1 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
  11. 제7항에 있어서,
    상기 제2 깊이 정보 생성부는,
    상기 기준 영상에 다이레이트 컨벌루션을 수행하는 제4 필터부;
    상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 제5 필터부;
    상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 제2 융합부; 및
    상기 제2 융합부에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 제3 필터부를 포함하는 것을 특징으로 하는 깊이 정보 생성 장치.
  12. 제7항에 있어서,
    상기 제1 깊이 정보 생성부는 사전 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성 장치.
    Figure 112018128774406-pat00034

    위 수학식에서,
    Figure 112018128774406-pat00035
    은 제1 깊이 정보 생성부가 에러 역전파 과정에서 이용하는 에러값이고,
    Figure 112018128774406-pat00036
    는 제1 깊이 정보의 에러값이며,
    Figure 112018128774406-pat00037
    는 제2 깊이 정보 생성부에서 전달된 제2 깊이 정보의 에러값임.
  13. 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 방법을 학습하는 깊이 정보 생성을 위한 학습 방법으로서,
    (a)레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및
    (b)레퍼런스 좌영상 및 레퍼런스 우영상 중 상기 레퍼런스 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 단계;
    (c)레퍼런스 실제 깊이 정보와 상기 제2 깊이 정보의 차이값인 제2 에러값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (b)단계를 학습시키는 단계; 및
    (d)상기 (c)단계에서 전달된 제2 에러값 및 상기 레퍼런스 실제 깊이 정보와 상기 제1 깊이 정보의 차이값인 제1 에러값을 합산한 값을 에러값으로 하여 에러 역전파 과정을 통해 상기 (a)단계를 학습시키는 단계를 포함하는 깊이 정보 생성을 위한 학습 방법.
  14. 제13항에 있어서,
    상기 (a)단계는,
    (a1)상기 레퍼런스 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;
    (a2)상기 레퍼런스 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;
    (a3)상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 단계; 및
    (a4)상기 (a3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 방법.
  15. 제13항에 있어서,
    상기 (b)단계는,
    (b1)상기 기준 영상에 다이레이트 컨벌루션을 수행하는 단계;
    (b2)상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;
    (b3)상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 단계; 및
    (b4)상기 (b3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 방법.
  16. 제13항에 있어서,
    상기 (d)단계는 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성을 위한 학습 방법.
    Figure 112018128774406-pat00038

    위 수학식에서,
    Figure 112018128774406-pat00039
    은 (d)단계에서 이용하는 에러값이고,
    Figure 112018128774406-pat00040
    는 제1 에러값이며,
    Figure 112018128774406-pat00041
    는 (c)단계에서 전달된 제2 에러값임.
  17. 스테레오 카메라 장치로부터 획득한 좌영상 및 우영상을 융합하여 생성된 스테레오 카메라 깊이 정보와 라이다 장치로부터 획득한 라이다 깊이 정보를 융합하여 제2 깊이 정보를 생성하는 깊이 정보 생성 방법으로서,
    (a)상기 스테레오 카메라 깊이 정보와 상기 라이다 깊이 정보를 융합하여 제1 깊이 정보를 생성하는 단계; 및
    (b)상기 좌영상 및 우영상 중 스테레오 카메라 깊이 정보 융합에 기준이 된 기준 영상과 상기 제1 깊이 정보를 융합하여 상기 제2 깊이 정보를 생성하는 단계를 포함하되,
    상기 (a)단계는 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로, 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있고,
    상기 (b)단계는 상기 레퍼런스 스테레오 카메라 깊이 정보와 레퍼런스 라이다 깊이 정보를 입력값으로 하여 제1 깊이 정보 생성부에서 생성된 레퍼런스 제1 깊이 정보와 레퍼런스 기준 영상을 입력값으로, 상기 레퍼런스 실제 깊이 정보를 라벨로 하여 사전에 학습되어 있으며,
    상기 (a)단계는 사전 학습 과정 중 에러 역전파 과정에서 상기 (b)단계의 에러 역전파 과정의 에러값을 더 고려하여 학습되어 있는 것을 특징으로 하는 깊이 정보 생성 방법.
  18. 제17항에 있어서,
    상기 (a)단계는,
    (a1)상기 라이다 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;
    (a2)상기 스테레오 카메라 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;
    (a3)상기 다이레이트 컨벌루션이 수행된 라이다 깊이 정보와 상기 다이레이트 컨벌루션이 수행된 스테레오 카메라 깊이 정보를 융합하는 단계; 및
    (a4)상기 (a3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제1 깊이 정보를 생성하는 단계를 포함하고,
    상기 (b)단계는,
    (b1)상기 기준 영상에 다이레이트 컨벌루션을 수행하는 단계;
    (b2)상기 제1 깊이 정보에 다이레이트 컨벌루션을 수행하는 단계;
    (b3)상기 다이레이트 컨벌루션이 수행된 기준 영상과 상기 다이레이트 컨벌루션이 수행된 제1 깊이 정보를 융합하는 단계; 및
    (b4)상기 (b3)단계에서 융합된 깊이 정보에 다이레이트 컨벌루션을 수행하여 상기 제2 깊이 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 깊이 정보 생성 방법.
  19. 제17항에 있어서,
    상기 (a)단계는 사전 학습 과정 중 에러 역전파 과정에서 하기 수학식을 이용하여 산출된 에러값을 이용하는 것을 특징으로 하는 깊이 정보 생성 방법.
    Figure 112018128774406-pat00042

    위 수학식에서,
    Figure 112018128774406-pat00043
    은 (a)단계의 에러 역전파 과정에서 이용하는 에러값이고,
    Figure 112018128774406-pat00044
    는 제1 깊이 정보의 에러값이며,
    Figure 112018128774406-pat00045
    는 (b)단계의 에러 역전파 과정에서 전달된 제2 깊이 정보의 에러값임.
  20. 제13항 내지 제16항 중 어느 한 항의 깊이 정보 생성을 위한 학습 방법 또는 제17항 내지 제19항 중 어느 한 항의 깊이 정보 생성 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020170171004A 2017-12-13 2017-12-13 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체 KR101976290B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170171004A KR101976290B1 (ko) 2017-12-13 2017-12-13 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체
PCT/KR2018/001156 WO2019117393A1 (ko) 2017-12-13 2018-01-26 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171004A KR101976290B1 (ko) 2017-12-13 2017-12-13 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체

Publications (1)

Publication Number Publication Date
KR101976290B1 true KR101976290B1 (ko) 2019-05-07

Family

ID=66655951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171004A KR101976290B1 (ko) 2017-12-13 2017-12-13 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체

Country Status (2)

Country Link
KR (1) KR101976290B1 (ko)
WO (1) WO2019117393A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111754798A (zh) * 2020-07-02 2020-10-09 上海电科智能系统股份有限公司 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法
KR102229861B1 (ko) 2019-10-24 2021-03-18 연세대학교 산학협력단 저채널 라이다와 스테레오 카메라를 이용한 깊이 추정 장치 및 방법
KR102334332B1 (ko) * 2020-07-31 2021-12-02 숭실대학교 산학협력단 가이디드 필터링을 이용한 딥러닝 네트워크 기반 깊이 영상 결과 개선 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2022102870A1 (ko) * 2020-11-16 2022-05-19 삼성전자주식회사 로봇 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120082126A (ko) * 2011-01-13 2012-07-23 삼성전자주식회사 깊이 영상의 특징 추출 방법 및 장치
KR20170028749A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
KR20170115757A (ko) * 2016-04-08 2017-10-18 한국과학기술원 깊이 정보 생성 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10121080B2 (en) * 2015-01-15 2018-11-06 vClick3d, Inc. Systems and methods for controlling the recording, storing and transmitting of video surveillance content
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US10068171B2 (en) * 2015-11-12 2018-09-04 Conduent Business Services, Llc Multi-layer fusion in a convolutional neural network for image classification
NL2016542B1 (en) * 2016-04-04 2017-10-10 Fugro N V Spatial data analysis.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120082126A (ko) * 2011-01-13 2012-07-23 삼성전자주식회사 깊이 영상의 특징 추출 방법 및 장치
KR20170028749A (ko) * 2015-09-04 2017-03-14 한국전자통신연구원 학습 기반 깊이 정보 추출 방법 및 장치
KR20170115757A (ko) * 2016-04-08 2017-10-18 한국과학기술원 깊이 정보 생성 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102229861B1 (ko) 2019-10-24 2021-03-18 연세대학교 산학협력단 저채널 라이다와 스테레오 카메라를 이용한 깊이 추정 장치 및 방법
CN111754798A (zh) * 2020-07-02 2020-10-09 上海电科智能系统股份有限公司 融合路侧激光雷达和视频实现车辆和周边障碍物探知方法
KR102334332B1 (ko) * 2020-07-31 2021-12-02 숭실대학교 산학협력단 가이디드 필터링을 이용한 딥러닝 네트워크 기반 깊이 영상 결과 개선 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2022102870A1 (ko) * 2020-11-16 2022-05-19 삼성전자주식회사 로봇 및 그 제어 방법

Also Published As

Publication number Publication date
WO2019117393A1 (ko) 2019-06-20

Similar Documents

Publication Publication Date Title
KR101976290B1 (ko) 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체
JP6853560B2 (ja) 高精度イメージを分析するディープラーニングネットワークの学習に利用するためのトレーニングイメージをオートラベリングするための方法、及びこれを利用したオートラベリング装置｛ｍｅｔｈｏｄ ｆｏｒ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ ｆｏｒ ｕｓｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ ｔｏ ａｎａｌｙｚｅ ｉｍａｇｅｓ ｗｉｔｈ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ａｕｔｏ−ｌａｂｅｌｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
KR102279350B1 (ko) 자율 주행 상황에서 장애물 검출을 위한 cnn 학습용 이미지 데이터 세트의 생성 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
EP3467721B1 (en) Method and device for generating feature maps by using feature upsampling networks
CN111079619B (zh) 用于检测图像中的目标对象的方法和装置
Yin et al. Scale recovery for monocular visual odometry using depth estimated with deep convolutional neural fields
CN109643383B (zh) 域分离神经网络
Pfeuffer et al. Optimal sensor data fusion architecture for object detection in adverse weather conditions
CN109598781B (zh) 通过回归分析从2d边界框获取伪3d框的方法以及使用该方法的学习装置和测试装置
JP2019526878A (ja) 統計モデルを用いた画像データからの深度予測
Ding et al. Vehicle pose and shape estimation through multiple monocular vision
CN110555434A (zh) 一种局部对比和全局指导的立体图像视觉显著性检测方法
EP2721583B1 (en) Content-adaptive method and apparatus for determining optical flow
KR20210025942A (ko) 종단간 컨볼루셔널 뉴럴 네트워크를 이용한 스테레오 매칭 방법
CN111046767B (zh) 一种基于单目图像的3d目标检测方法
US10311576B2 (en) Image processing device and image processing method
WO2017165332A1 (en) 2d video analysis for 3d modeling
CN113643366B (zh) 一种多视角三维对象姿态估计方法及装置
KR20230073751A (ko) 레이아웃 기반의 동일 화풍 영상 생성 시스템 및 방법
KR20220074715A (ko) 이미지 처리 방법 및 장치
KR101937585B1 (ko) 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체
Liu et al. Depth estimation of traffic scenes from image sequence using deep learning
CN115937520A (zh) 基于语义信息引导的点云运动目标分割方法
Harisankar et al. Unsupervised depth estimation from monocular images for autonomous vehicles
CN111460854A (zh) 一种远距离目标检测方法、装置及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant