KR101937585B1 - 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체 - Google Patents

깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체 Download PDF

Info

Publication number
KR101937585B1
KR101937585B1 KR1020170115428A KR20170115428A KR101937585B1 KR 101937585 B1 KR101937585 B1 KR 101937585B1 KR 1020170115428 A KR1020170115428 A KR 1020170115428A KR 20170115428 A KR20170115428 A KR 20170115428A KR 101937585 B1 KR101937585 B1 KR 101937585B1
Authority
KR
South Korea
Prior art keywords
cost volume
image
generating
collective
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020170115428A
Other languages
English (en)
Inventor
손광훈
정소미
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020170115428A priority Critical patent/KR101937585B1/ko
Application granted granted Critical
Publication of KR101937585B1 publication Critical patent/KR101937585B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체가 개시된다. 개시된 장치는 좌영상 및 우영상을 이용하여 비용 볼륨을 생성하는 비용 볼륨 생성부; 상기 비용 볼륨에 집합을 수행하여 제1 집합 비용 볼륨을 생성하는 제1 집합 비용 볼륨 생성부; 상기 비용 볼륨을 이용하여 변이 지도를 생성하는 변이 지도 생성부; 상기 좌영상 및 상기 우영상 중 기준이 되는 영상과 상기 변이 지도를 이용하여 경계 영상을 생성하는 경계 영상 생성부; 및 상기 경계 영상을 이용하여 상기 제1 집합 비용 볼륨을 보정하여 제2 집합 비용 볼륨을 생성하는 제2 집합 비용 볼륨 생성부를 포함하되, 상기 제2 집합 비용 볼륨 생성부는 전역 에너지 함수가 최소값을 갖도록 하는 제2 집합 비용 볼륨을 생성하고, 상기 전역 에너지 함수는 상기 제2 집합 비용 볼륨과 상기 제1 집합 비용 볼륨의 차이값 및 상기 경계 영상에 의한 가중치를 반영한 상기 제2 집합 비용 볼륨의 인접 픽셀간 차이값의 합으로 이루어진 것을 특징으로 한다. 개시된 장치에 따르면, 정확하고 강인한 깊이 영상을 구할 수 있는 장점이 있다.

Description

깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체{Cost Aggregation Apparatus and Method for Depth Image Generation, and Recording Medium thereof}
본 발명은 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체에 관한 것이다.
3D 영상 구현을 위한 깊이 영상을 생성하기 위한 방법으로 스테레오 영상을 획득한 후 두 영상의 차영상을 구하여 비용 볼륨(Cost Volume)을 생성하고, 비용 볼륨을 바탕으로 변이 지도를 생성하는 방법을 주로 사용한다.
이러한 비용 볼륨을 이용한 방법은 차영상을 구할 때 영상 내 픽셀값을 이용하므로, 실제 깊이는 다르지만 픽셀값이 동일한 부분들과 같은 다양한 이유로 오류가 발생하게 된다.
이러한 오류를 보정하기 위해 hand-crafted 방식의 다양한 비용 집합(Aggregation) 방법이 사용되었으나, 여전히 정확도가 낮은 단점을 가지고 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명은 딥러닝과 경계 영상을 이용한 비용 집합 장치 및 방법과 이에 대한 기록 매체를 제공한다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 실시예에 따르면, 좌영상 및 우영상을 이용하여 비용 볼륨을 생성하는 비용 볼륨 생성부; 상기 비용 볼륨에 집합을 수행하여 제1 집합 비용 볼륨을 생성하는 제1 집합 비용 볼륨 생성부; 상기 비용 볼륨을 이용하여 변이 지도를 생성하는 변이 지도 생성부; 상기 좌영상 및 상기 우영상 중 기준이 되는 영상과 상기 변이 지도를 이용하여 경계 영상을 생성하는 경계 영상 생성부; 및 상기 경계 영상을 이용하여 상기 제1 집합 비용 볼륨을 보정하여 제2 집합 비용 볼륨을 생성하는 제2 집합 비용 볼륨 생성부를 포함하되, 상기 제2 집합 비용 볼륨 생성부는 전역 에너지 함수가 최소값을 갖도록 하는 제2 집합 비용 볼륨을 생성하고, 상기 전역 에너지 함수는 상기 제2 집합 비용 볼륨과 상기 제1 집합 비용 볼륨의 차이값 및 상기 경계 영상에 의한 가중치를 반영한 상기 제2 집합 비용 볼륨의 인접 픽셀간 차이값의 합으로 이루어진 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 장치가 제공된다.
상기 전역 에너지 함수는 하기 수학식에 의해 정의되는 것을 특징으로 한다.
Figure 112017087605929-pat00001
위 수학식에서,
Figure 112017087605929-pat00002
는 전역 에너지 함수이고,
Figure 112017087605929-pat00003
는 제2 집합 비용 볼륨이며,
Figure 112017087605929-pat00004
는 제1 집합 비용 볼륨이고,
Figure 112017087605929-pat00005
는 정규화 매개 변수이며,
Figure 112017087605929-pat00006
는 픽셀
Figure 112017087605929-pat00007
와 인접한 4개의 픽셀의 집합(set)이고,
Figure 112017087605929-pat00008
는 경계 영상에 의한 픽셀
Figure 112017087605929-pat00009
와
Figure 112017087605929-pat00010
의 가중치이다.
상기 가중치는 하기 수학식에 의해 정의되는 것을 특징으로 한다.
Figure 112017087605929-pat00011
위 수학식에서,
Figure 112017087605929-pat00012
는 경계 영상이고,
Figure 112017087605929-pat00013
는 가우시안 대역폭 매개 변수이다.
상기 제1 집합 비용 볼륨 생성부는 합성곱 신경망을 이용하여 학습되며, 상기 제1 집합 비용 볼륨 생성부는 레퍼런스 비용 볼륨을 입력값으로 하고 레퍼런스 변이 지도를 라벨로 하여 사전에 학습되어 있는 것을 특징으로 한다.
상기 경계 영상 생성부는 합성곱 신경망을 이용하여 학습되며, 상기 경계 영상 생성부는 레퍼런스 영상 및 레퍼런스 변이 지도를 입력값으로 하고 레퍼런스 경계 영상을 라벨로 하여 사전에 학습되어 있는 것을 특징으로 한다.
상기 변이 지도 생성부는 WTA 방식을 이용하여 상기 변이 지도를 생성하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따르면, (a)좌영상 및 우영상을 이용하여 비용 볼륨을 생성하는 단계; (b)상기 비용 볼륨에 집합을 수행하여 제1 집합 비용 볼륨을 생성하는 단계; (c)상기 비용 볼륨을 이용하여 변이 지도를 생성하는 단계; (d)상기 좌영상 및 상기 우영상 중 기준이 되는 영상과 상기 변이 지도를 입력받아 경계 영상을 생성하는 단계; 및 (e)상기 경계 영상을 이용하여 상기 제1 집합 비용 볼륨을 보정하여 상기 제2 집합 비용 볼륨을 생성하는 단계를 포함하되, 상기 (e)단계는 전역 에너지 함수가 최소값을 갖도록 하는 제2 집합 비용 볼륨을 생성하고, 상기 전역 에너지 함수는 상기 제2 집합 비용 볼륨과 상기 제1 집합 비용 볼륨의 차이값 및 상기 경계 영상에 의한 가중치를 반영한 상기 제2 집합 비용 볼륨의 인접 픽셀간 차이값의 합으로 이루어진 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 방법이 제공된다.
상기 전역 에너지 함수는 하기 수학식에 의해 정의되는 것을 특징으로 한다.
Figure 112017087605929-pat00014
위 수학식에서,
Figure 112017087605929-pat00015
는 전역 에너지 함수이고,
Figure 112017087605929-pat00016
는 제2 집합 비용 볼륨이며,
Figure 112017087605929-pat00017
는 제1 집합 비용 볼륨이고,
Figure 112017087605929-pat00018
는 정규화 매개 변수이며,
Figure 112017087605929-pat00019
는 픽셀
Figure 112017087605929-pat00020
와 인접한 4개의 픽셀의 집합(set)이고,
Figure 112017087605929-pat00021
는 경계 영상에 의한 픽셀
Figure 112017087605929-pat00022
와
Figure 112017087605929-pat00023
의 가중치이다.
상기 가중치는 하기 수학식에 의해 정의되는 것을 특징으로 한다.
Figure 112017087605929-pat00024
위 수학식에서,
Figure 112017087605929-pat00025
는 경계 영상이고,
Figure 112017087605929-pat00026
는 가우시안 대역폭 매개 변수이다.
상기 (b)단계는 합성곱 신경망을 이용하여 학습되며, 상기 (b)단계는 레퍼런스 비용 볼륨을 입력값으로 하고 레퍼런스 변이 지도를 라벨로 하여 사전에 학습되어 있는 것을 특징으로 한다.
상기 (d)단계는 합성곱 신경망을 이용하여 학습되며, 상기 (d)단계는 레퍼런스 영상 및 레퍼런스 변이 지도를 입력값으로 하고 레퍼런스 경계 영상을 라벨로 하여 사전에 학습되어 있는 것을 특징으로 한다.
상기 (c)단계는 WTA 방식을 이용하여 상기 변이 지도를 생성하는 것을 특징으로 한다.
또한, 본 발명의 또다른 실시예에 따르면, 상기의 비용 집합 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명은 정확하고 강인한 깊이 영상을 구할 수 있는 장점이 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 장치의 구조도이다.
도 3은 합성곱 신경망 알고리즘을 설명하기 위한 도면이다.
도 4는 합성곱 신경망의 컨벌루션 방법을 설명하기 위한 도면이다.
도 5는 합성곱 신경망의 다운 샘플링 방법을 설명하기 위한 도면이다.
도 6은 제1 집합 비용 볼륨 생성부(130)의 학습 과정을 설명하기 위한 도면이다.
도 7은 경계 영상 생성부(150)의 학습 과정을 설명하기 위한 도면이다.
도 8은 본 발명에 의해 생성된 제2 집합 비용 볼륨을 이용하여 생성된 변이 지도를 종래 기술과 비교한 도면이다.
도 9는 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 방법을 시간의 흐름에 따라 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 자세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 과정을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 과정에는 스테레오 영상이 입력된다. 스테레오 영상은 좌영상 및 우영상을 포함할 수 있으며, 본 발명은 스테레오 영상을 이용하여 집합된 비용 볼륨을 생성한다. 집합된 비용 볼륨은 최종적인 변이 지도 생성에 이용될 수 있다.
본 발명은 입력된 스테레오 영상을 이용하여 먼저 비용 볼륨을 생성한다. 비용 볼륨은 좌영상 및 우영상 중 하나, 일례로 좌영상을 기준 영상으로 하여 우영상을 픽셀 단위로 이동시켜가며 차영상들을 생성하며, 이러한 차영상들로 비용 볼륨이 생성될 수 있다.
비용 볼륨은 픽셀값에만 의존하여 생성되므로 깊이 정보를 완벽히 추정하기 힘들어 최종적인 변이 지도를 생성하기 어려우므로, 본 발명은 학습된 합성곱신경망을 이용해 제1 집합 비용 볼륨을 생성한다.
또한, 제1 집합 비용 볼륨에 경계 영상을 고려하여 최종적으로 제2 집합 비용 볼륨을 생성해 낸다.
제2 집합 비용 볼륨 생성에 이용되는 경계 영상은 학습된 합성곱 신경망에 비용 볼륨으로 생성된 변이 지도 및 기준 영상을 입력하여 생성해 낼 수 있다.
이하에서, 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 장치에 대해 상세히 설명한다.
도 2는 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 장치의 구조도이다.
도 2를 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 장치는 입력부(110), 비용 볼륨 생성부(120), 제1 집합 비용 볼륨 생성부(130), 변이 지도 생성부(140), 경계 영상 생성부(150) 및 제2 집합 비용 볼륨 생성부(160)를 포함할 수 있다.
입력부(110)에는 스테레오 영상 즉 좌영상 및 우영상이 입력될 수 있다. 입력되는 영상은 3D 카메라 장치로 촬영될 수 있다.
비용 볼륨 생성부(120)는 입력된 좌영상 및 우영상을 이용하여 비용 볼륨을 생성한다.
일례로, 비용 볼륨 생성부(120)는 좌영상을 기준 영상으로 우영상을 단위 픽셀만큼 이동시켜가며 차영상을 생성할 수 있다. 비용 볼륨 생성부(120)는 이동 거리의 변화에 따라 생성된 차영상들을 비용 볼륨으로 생성할 수 있다. 비용 볼륨 생성부(120)는 좌영상이 아닌 우영상을 기준 영상으로 하여 비용 볼륨을 생성하여도 무방하다.
제1 집합 비용 볼륨 생성부(130)는 비용 볼륨을 입력받아 제1 집합 비용 볼륨을 생성할 수 있다. 비용 볼륨은 픽셀값에만 의존하여 생성되므로 깊이 정보를 완벽히 추정하기 힘들어 최종적인 변이 지도를 생성하기 어려우므로, 제1 집합 비용 볼륨 생성부(130)는 학습을 이용하여 제1 집합 비용 볼륨을 생성할 수 있다.
학습을 위해 본 발명은 딥 러닝(deep learning) 알고리즘을 이용할 수 있으며, 일실시예로서 합성곱 신경망(CNN, Convolutional Neural Network) 알고리즘을 이용한다. 합성곱 신경망은, 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델로서, 최근 영상 인식이나 음성 인식 분야에 많이 활용되고 있는 알고리즘이다. 합성곱 신경망에서는 기본적으로 컨볼루션(Conv, convolution) 연산을 통해 영상의 특징을 추출하기 위한 다양한 필터와 비선형적인 특성을 더하기 위한 풀링(pooling) 또는 비선형 활성화(non-linear activation) 함수 등이 함께 사용된다.
이하에서, 합성곱 신경망 알고리즘에 대해 간단히 설명한 후, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다.
도 3은 합성곱 신경망 알고리즘을 설명하기 위한 도면이다. 도 4는 합성곱 신경망의 컨벌루션 방법을 설명하기 위한 도면이며, 도 5는 합성곱 신경망의 다운 샘플링 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 합성곱 신경망 알고리즘은 입력 영상에 대해 컨벌루션과 다운 샘플링을 통해, 입력 영상에 대한 피쳐 맵(feature map)을 추출(feature learning)하고, 피쳐 맵을 통해 입력 영상을 식별 또는 분류(classification)한다. 피쳐 맵은 입력 영상에 대한 특징 정보를 포함한다. 피쳐 맵 추출을 위해, 컨벌루션(C1, C2, C3)과 다운 샘플링(MP1, MP2)가 반복되며, 반복 횟수는 실시예에 따라서 다양하게 결정될 수 있다.
도 3 및 4를 참조하면, 컨벌루션에 이용되는 필터(또는 커널, 210)의 사이즈가 결정되면, 필터의 각 화소별로 할당된 가중치와 입력 영상(200)의 화소값의 가중치 합(weighted sum)을 통해 컨벌루션이 수행된다. 즉, 필터가 오버랩되는 입력 영상의 특정 영역에 대해 대응되는 화소별로 필터의 가중치를 화소값과 곱한 후 더함으로써 컨벌루션 레이어의 화소값(230)이 결정될 수 있다.
도 4에 도시된 바와 같이, 대응되는 화소별로 필터(210)의 가중치(4, 0, 0, 0, 0, 0, 0, 0, -4)와 오버랩되는 입력 영상(200)의 특정 영역의 화소값(0, 0, 0, 0, 1, 1, 0, 1, 2)에 대해 가중치 합이 수행되어 최종 -8이라는 화소값(230)이 결정된다. 필터가 좌우 상하로 이동하며, 입력 영상의 오버랩된 영역에 대해 총 9개 화소에 대해 가중치 합이 수행되고, 일예로서, 입력 영상(200)의 사이즈가 7X7이며, 필터(210)의 사이즈가 3X3라면 5X5 사이즈의 컨벌루션 레이어가 생성될 수 있다.
컨벌루션에 따른 화소값은 오버랩된 영역의 중앙 화소의 화소값(230)이 되기 때문에, 입력 영상 대비 컨벌루션 레이어, 즉 컨벌루션된 영상의 사이즈는 감소한다. 다만, 입력 영상의 외곽 영역을 특정 화소값으로 패딩(padding)할 경우, 입력 영상의 사이즈와 동일한 7X7 사이즈의 컨벌루션 레이어를 생성할 수 있다. 컨벌루션 레이어의 개수는 이용되는 필터의 개수에 따라 결정된다.
도 3 및 5를 참조하면, 컨벌루션 레이어의 사이즈를 줄이기 위해, 즉 해상도를 낮추기 위해 다운 샘플링이 수행되는데, 다운 샘플링으로 많이 이용되는 방법이 맥스 풀링(MP, max-pooling)이다. 다운 샘플링에 이용되는 커널(kenel)에 포함된 컨벌루션 레이어의 화소값 중 최대 값을 취함으로써 컨벌루션 레이어의 사이즈보다 작은 맥스 풀링 레이어가 생성될 수 있다.
예를 들어, 2X2 사이즈의 커널이 4X4 사이즈의 컨벌루션 레이어(310)에 적용될 경우, 서로 다른 색깔로 표시된 2X2 영역별로 6, 8, 3 및 4가 최대값으로 결정되어 맥스 풀링 레이어(320)가 생성될 수 있다.
다시 도 3으로 돌아가, 피쳐 맵은 완전 연결된(fully-connected) 신경망으로 입력되고, 미리 주어진 입력 영상에 대한 라벨(label)과 신경망의 출력값의 차이값에 따라서 합성곱 신경망의 파라미터에 대한 학습이 수행된다.
제1 집합 비용 볼륨 생성부(130)는 합성곱 신경망으로 이루어져, 딥러닝을 이용하여 학습되어 있을 수 있다.
도 6은 제1 집합 비용 볼륨 생성부(130)의 학습 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 제1 집합 비용 볼륨 생성부(130)는 레퍼런스 비용 볼륨을 입력값으로 하고, 레퍼런스 변이 지도를 라벨로 하여 사전에 학습될 수 있다. 제1 집합 비용 볼륨 생성부(130)는 레퍼런스 비용 볼륨을 입력받아 제1 집합 비용 볼륨을 생성하고, 제1 집합 비용 볼륨에 의해 생성된 변이 지도를 레퍼런스 변이 지도와 비교하여 학습한다. 학습에 의해 제1 집합 비용 볼륨 생성부(130)는 비용 볼륨을 입력받아 보다 정확한 제1 집합 비용 볼륨을 생성할 수 있다.
변이 지도 생성부(140)는 비용 볼륨을 입력받아 변이 지도를 생성할 수 있다. 일례로, 변이 지도 생성부(140)에서 생성되는 변이 지도는 비용 볼륨에 WTA(Winner Takes All)를 적용하여 생성될 수 있다. WTA는 각 픽셀별로 비용 볼륨 내의 차영상들 중에 정합할 확률이 가장 높은 차영상의 변이만을 선택하고 나머지 값은 버리는 방식이다.
이제 경계 영상 생성부(150)는 변이 지도 생성부(140)에서 생성된 변이 지도와 기준 영상을 입력받아 경계 영상을 생성한다. 기준 영상은 좌영상과 우영상 중 비용 볼륨을 생성할 때 기준 영상이 되었던 영상이다.
경계 영상 생성부(150) 또한 합성곱 신경망으로 이루어져, 딥러닝을 이용해 사전에 학습될 수 있다.
도 7은 경계 영상 생성부(150)의 학습 과정을 설명하기 위한 도면이다.
도 7을 참조하면, 경계 영상 생성부(150)는 레퍼런스 변이 지도와 레퍼런스 기준 영상을 입력값으로, 레퍼런스 경계 영상을 라벨로 하여 학습될 수 있다. 따라서 경계 영상 생성부(150)는 학습에 의해 보다 정확한 경계 영상을 생성할 수 있게 된다.
제2 집합 비용 볼륨 생성부(160)는 제1 집합 비용 볼륨과 경계 영상을 이용하여 제2 집합 비용 볼륨을 생성할 수 있다. 특히, 보다 강인하고 정확한 제2 집합 비용 볼륨을 생성하기 위하여 전역 에너지 함수(Global Energy Function)를 이용할 수 있다.
전역 에너지 함수는 하기 수학식으로 정의될 수 있다.
Figure 112017087605929-pat00027
수학식 1에서,
Figure 112017087605929-pat00028
는 전역 에너지 함수이고,
Figure 112017087605929-pat00029
는 제2 집합 비용 볼륨이며,
Figure 112017087605929-pat00030
는 제1 집합 비용 볼륨이고,
Figure 112017087605929-pat00031
는 정규화 매개 변수이며,
Figure 112017087605929-pat00032
는 픽셀
Figure 112017087605929-pat00033
와 인접한 4개의 픽셀의 집합(set)이고,
Figure 112017087605929-pat00034
는 경계 영상에 의한 픽셀
Figure 112017087605929-pat00035
와
Figure 112017087605929-pat00036
의 가중치이다.
한편, 가중치
Figure 112017087605929-pat00037
는 하기 수학식으로 정의된다.
Figure 112017087605929-pat00038
수학식 2에서,
Figure 112017087605929-pat00039
는 경계 영상이고,
Figure 112017087605929-pat00040
는 가우시안 대역폭 매개 변수이다.
제2 집합 비용 볼륨 생성부(160)는 수학식 1의 전역 에너지 함수
Figure 112017087605929-pat00041
가 최소값을 갖도록 하는 제2 집합 비용 볼륨을 구하여 생성할 수 있다.
도 8은 본 발명에 의해 생성된 제2 집합 비용 볼륨을 이용하여 생성된 변이 지도를 종래 기술과 비교한 도면이다.
도 8에서 (a)는 좌영상이고, (b)는 실제 변이 지도이며, (c)는 비용 볼륨을 이용하여 생성된 변이 지도이고, (d), (e), (f) 및 (g)는 종래 기술을 이용한 변이 지도이며, (h)는 본 발명을 이용하여 생성된 변이 지도이다.
도 8을 참조하면, 종래 기술의 변이 지도에서는 가려진 부분이나 홀과 같은 오류가 다수 발생함을 볼 수 있으나, 본 발명을 이용하여 생성된 변이 지도에서는 가려진 부분이나 홀과 같은 오류가 거의 나타나지 않고 실제 변이 지도와 가장 근접함을 확인할 수 있다.
이와 같이, 본 발명을 이용하면 종래 기술보다 정확하고 강인한 변이 지도를 얻을 수 있게 된다.
상술한 바와 같이, 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 장치는 두 영상간의 스테레오 매칭을 통해 비용 볼륨을 생성하고, 이를 딥러닝을 통해 대략적으로 깊이 영상의 오차를 줄여 제1 집합 비용 볼륨을 생성한 후, 경계 영상을 이용하여 전역 에너지 함수를 통해 최적화된 제2 집합 비용 볼륨을 생성해 낸다. 생성된 제2 집합 비용 볼륨을 이용하면 기존의 기술들보다 강인하고 정확한 깊이 영상을 생성할 수 있게 된다.
도 9는 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 방법을 시간의 흐름에 따라 도시한 순서도이다.
도 9를 참조하면, 본 발명의 바람직한 일 실시예에 따른 깊이 영상 생성을 위한 비용 집합 방법은 입력 단계(S410), 비용 볼륨 생성 단계(S420), 제1 집합 비용 볼륨 생성 단계(S430), 변이 지도 생성 단계(S440), 경계 영상 생성 단계(S450) 및 제2 집합 비용 볼륨 생성 단계(S460)를 포함할 수 있다.
입력 단계(S410)는 입력부(110)에서 스테레오 영상이 입력되는 단계이다.
비용 볼륨 생성 단계(S420)는 비용 볼륨 생성부(120)에서 비용 볼륨을 생성하는 단계이다.
제1 집합 비용 볼륨 생성 단계(S430)는 제1 집합 비용 볼륨 생성부(130)에서 제1 집합 비용 볼륨을 생성하는 단계이다.
변이 지도 생성 단계(S440)는 변이 지도 생성부(140)에서 변이 지도를 생성하는 단계이다.
경계 영상 생성 단계(S450)는 경계 영상 생성부(150)에서 경계 영상을 생성하는 단계이다.
제2 집합 비용 볼륨 생성 단계(S460)는 제2 집합 비용 볼륨 생성부(160)에서 최종적으로 제2 집합 비용 볼륨을 생성하는 단계이다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다는 것을 이해할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 입력부
120: 비용 볼륨 생성부
130: 제1 집합 비용 볼륨 생성부
140: 변이 지도 생성부
150: 경계 영상 생성부
160: 제2 집합 비용 볼륨 생성부

Claims (13)

  1. 좌영상 및 우영상을 이용하여 비용 볼륨을 생성하는 비용 볼륨 생성부;
    상기 비용 볼륨에 집합을 수행하여 제1 집합 비용 볼륨을 생성하는 제1 집합 비용 볼륨 생성부;
    상기 비용 볼륨을 이용하여 변이 지도를 생성하는 변이 지도 생성부;
    상기 좌영상 및 상기 우영상 중 기준이 되는 영상과 상기 변이 지도를 이용하여 경계 영상을 생성하는 경계 영상 생성부; 및
    상기 경계 영상을 이용하여 상기 제1 집합 비용 볼륨을 보정하여 제2 집합 비용 볼륨을 생성하는 제2 집합 비용 볼륨 생성부를 포함하되,
    상기 제2 집합 비용 볼륨 생성부는 전역 에너지 함수가 최소값을 갖도록 하는 제2 집합 비용 볼륨을 생성하고,
    상기 전역 에너지 함수는 상기 제2 집합 비용 볼륨과 상기 제1 집합 비용 볼륨의 차이값 및 상기 경계 영상의 픽셀값에 의해 정해지는 가중치를 반영한 상기 제2 집합 비용 볼륨의 인접 픽셀간 차이값의 합으로 이루어지며,
    상기 경계 영상 생성부는 레퍼런스 영상 및 레퍼런스 변이 지도를 입력값으로 하고 레퍼런스 경계 영상을 라벨로 하여 사전에 학습되어 있는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 장치.
  2. 제1항에 있어서,
    상기 전역 에너지 함수는 하기 수학식에 의해 정의되는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 장치.
    Figure 112017087605929-pat00042

    위 수학식에서,
    Figure 112017087605929-pat00043
    는 전역 에너지 함수이고,
    Figure 112017087605929-pat00044
    는 제2 집합 비용 볼륨이며,
    Figure 112017087605929-pat00045
    는 제1 집합 비용 볼륨이고,
    Figure 112017087605929-pat00046
    는 정규화 매개 변수이며,
    Figure 112017087605929-pat00047
    는 픽셀
    Figure 112017087605929-pat00048
    와 인접한 4개의 픽셀의 집합(set)이고,
    Figure 112017087605929-pat00049
    는 경계 영상에 의한 픽셀
    Figure 112017087605929-pat00050
    와
    Figure 112017087605929-pat00051
    의 가중치임.
  3. 제2항에 있어서,
    상기 가중치는 하기 수학식에 의해 정의되는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 장치.
    Figure 112017087605929-pat00052

    위 수학식에서,
    Figure 112017087605929-pat00053
    는 경계 영상이고,
    Figure 112017087605929-pat00054
    는 가우시안 대역폭 매개 변수임.
  4. 제1항에 있어서,
    상기 제1 집합 비용 볼륨 생성부는 합성곱 신경망을 이용하여 학습되며,
    상기 제1 집합 비용 볼륨 생성부는 레퍼런스 비용 볼륨을 입력값으로 하고 레퍼런스 변이 지도를 라벨로 하여 사전에 학습되어 있는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 장치.
  5. 제1항에 있어서,
    상기 경계 영상 생성부는 합성곱 신경망을 이용하여 학습되는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 장치.
  6. 제1항에 있어서,
    상기 변이 지도 생성부는 WTA 방식을 이용하여 상기 변이 지도를 생성하는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 장치.
  7. (a)좌영상 및 우영상을 이용하여 비용 볼륨을 생성하는 단계;
    (b)상기 비용 볼륨에 집합을 수행하여 제1 집합 비용 볼륨을 생성하는 단계;
    (c)상기 비용 볼륨을 이용하여 변이 지도를 생성하는 단계;
    (d)상기 좌영상 및 상기 우영상 중 기준이 되는 영상과 상기 변이 지도를 입력받아 경계 영상을 생성하는 단계; 및
    (e)상기 경계 영상을 이용하여 상기 제1 집합 비용 볼륨을 보정하여 제2 집합 비용 볼륨을 생성하는 단계를 포함하되,
    상기 (e)단계는 전역 에너지 함수가 최소값을 갖도록 하는 제2 집합 비용 볼륨을 생성하고,
    상기 전역 에너지 함수는 제2 집합 비용 볼륨과 상기 제1 집합 비용 볼륨의 차이값 및 상기 경계 영상의 픽셀값에 의해 정해지는 가중치를 반영한 제2 집합 비용 볼륨의 인접 픽셀간 차이값의 합으로 이루어지며,
    상기 (b)단계는 레퍼런스 비용 볼륨을 입력값으로 하고 레퍼런스 변이 지도를 라벨로 하여 사전에 학습되어 있는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 방법.
  8. 제7항에 있어서,
    상기 전역 에너지 함수는 하기 수학식에 의해 정의되는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 방법.
    Figure 112017087605929-pat00055

    위 수학식에서,
    Figure 112017087605929-pat00056
    는 전역 에너지 함수이고,
    Figure 112017087605929-pat00057
    는 제2 집합 비용 볼륨이며,
    Figure 112017087605929-pat00058
    는 제1 집합 비용 볼륨이고,
    Figure 112017087605929-pat00059
    는 정규화 매개 변수이며,
    Figure 112017087605929-pat00060
    는 픽셀
    Figure 112017087605929-pat00061
    와 인접한 4개의 픽셀의 집합(set)이고,
    Figure 112017087605929-pat00062
    는 경계 영상에 의한 픽셀
    Figure 112017087605929-pat00063
    와
    Figure 112017087605929-pat00064
    의 가중치임.
  9. 제8항에 있어서,
    상기 가중치는 하기 수학식에 의해 정의되는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 방법.
    Figure 112017087605929-pat00065

    위 수학식에서,
    Figure 112017087605929-pat00066
    는 경계 영상이고,
    Figure 112017087605929-pat00067
    는 가우시안 대역폭 매개 변수임.
  10. 제7항에 있어서,
    상기 (b)단계는 합성곱 신경망을 이용하여 학습되며,
    상기 (b)단계는 레퍼런스 비용 볼륨을 입력값으로 하고 레퍼런스 변이 지도를 라벨로 하여 사전에 학습되어 있는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 방법.
  11. 제7항에 있어서,
    상기 (d)단계는 합성곱 신경망을 이용하여 학습되는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 방법.
  12. 제7항에 있어서,
    상기 (c)단계는 WTA 방식을 이용하여 상기 변이 지도를 생성하는 것을 특징으로 하는 깊이 영상 생성을 위한 비용 집합 방법.
  13. 제7항 내지 제12항 중 어느 한 항의 비용 집합 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020170115428A 2017-09-08 2017-09-08 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체 Expired - Fee Related KR101937585B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170115428A KR101937585B1 (ko) 2017-09-08 2017-09-08 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170115428A KR101937585B1 (ko) 2017-09-08 2017-09-08 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체

Publications (1)

Publication Number Publication Date
KR101937585B1 true KR101937585B1 (ko) 2019-04-09

Family

ID=66167384

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170115428A Expired - Fee Related KR101937585B1 (ko) 2017-09-08 2017-09-08 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체

Country Status (1)

Country Link
KR (1) KR101937585B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210075618A (ko) * 2019-12-13 2021-06-23 재단법인대구경북과학기술원 엣지 이미지를 이용한 시차맵 생성 방법 및 장치
KR20230049334A (ko) * 2021-10-06 2023-04-13 재단법인대구경북과학기술원 깊이 지도 및 법선 지도 생성 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Cuong Cao Pham, Jae Wook Jeon, Domain Transformation-Based Efficient Cost Aggregation for Local Stereo Matching, IEEE Transactions on Circuits and Systems for Video Technology, 2013.07.31., Volume: 23* *
Jure Zbontar ET AL., Stereo Matching by Training a Convolutional Neural Network to Compare Image Patches, Journal of Machine Learning Research 17. 2016.05.18..* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210075618A (ko) * 2019-12-13 2021-06-23 재단법인대구경북과학기술원 엣지 이미지를 이용한 시차맵 생성 방법 및 장치
KR102488813B1 (ko) 2019-12-13 2023-01-16 재단법인대구경북과학기술원 엣지 이미지를 이용한 시차맵 생성 방법 및 장치
KR20230049334A (ko) * 2021-10-06 2023-04-13 재단법인대구경북과학기술원 깊이 지도 및 법선 지도 생성 장치 및 방법
KR102654608B1 (ko) 2021-10-06 2024-04-04 재단법인대구경북과학기술원 깊이 지도 및 법선 지도 생성 장치 및 방법

Similar Documents

Publication Publication Date Title
Do et al. Forensics face detection from GANs using convolutional neural network
CN110555434B (zh) 一种局部对比和全局指导的立体图像视觉显著性检测方法
Dosovitskiy et al. Flownet: Learning optical flow with convolutional networks
CN111860138B (zh) 基于全融合网络的三维点云语义分割方法及系统
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN109657551B (zh) 一种基于上下文信息增强的人脸检测方法
CN115116054B (zh) 一种基于多尺度轻量级网络的病虫害识别方法
CN110659723A (zh) 基于人工智能的数据处理方法、装置、介质及电子设备
CN110929736A (zh) 多特征级联rgb-d显著性目标检测方法
CN115147891A (zh) 用于生成合成深度数据的系统、方法和存储介质
KR20190126857A (ko) 이미지에서 오브젝트 검출 및 표현
CN111046767A (zh) 一种基于单目图像的3d目标检测方法
CN111783862A (zh) 多注意力导向神经网络的立体显著性物体检测技术
KR101976290B1 (ko) 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체
Shao et al. Multi-focus image fusion based on transformer and depth information learning
KR101937585B1 (ko) 깊이 영상 생성을 위한 비용 집합 장치 및 방법과 이에 대한 기록 매체
CN115222954B (zh) 弱感知目标检测方法及相关设备
CN114494395B (zh) 基于平面先验的深度图生成方法、装置、设备及存储介质
CN119323741A (zh) 基于时空关联的无人机视频目标检测方法及系统
Muthukumar et al. Fake and propaganda images detection using automated adaptive gaining sharing knowledge algorithm with DenseNet121
CN111598841B (zh) 基于正则化稠密连接特征金字塔的实例显著性检测方法
Sharir et al. Video object segmentation using tracked object proposals
CN116416559B (zh) 基于事件的谱聚类运动目标检测方法及系统
CN104636745B (zh) 尺度不变特征提取方法和装置、对象识别方法和装置
Mitsouras et al. U-sketch: An efficient approach for sketch to image diffusion models

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170908

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180604

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181224

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190104

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190104

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20221015