KR101854048B1 - 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치 - Google Patents

스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치 Download PDF

Info

Publication number
KR101854048B1
KR101854048B1 KR1020160158088A KR20160158088A KR101854048B1 KR 101854048 B1 KR101854048 B1 KR 101854048B1 KR 1020160158088 A KR1020160158088 A KR 1020160158088A KR 20160158088 A KR20160158088 A KR 20160158088A KR 101854048 B1 KR101854048 B1 KR 101854048B1
Authority
KR
South Korea
Prior art keywords
reliability
map
cost
depth map
image
Prior art date
Application number
KR1020160158088A
Other languages
English (en)
Inventor
손광훈
김선옥
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020160158088A priority Critical patent/KR101854048B1/ko
Application granted granted Critical
Publication of KR101854048B1 publication Critical patent/KR101854048B1/ko

Links

Images

Classifications

    • H04N13/0022—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G06N99/005—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

기계 학습 결과를 이용하여 스테레오 매칭을 통해 생성된 깊이맵의 신뢰도를 측정하는 방법 및 장치가 개시된다. 개시된 스테레오 매칭 깊이맵의 신뢰도 측정 방법은 레퍼런스 스테레오 영상으로부터, 제1코스트 볼륨을 생성하는 단계; 상기 제1코스트 볼륨 및 상기 레퍼런스 스테레오 영상의 제1스테레오 매칭 깊이맵에 대한 제1신뢰도맵을 학습하는 단계; 및 상기 학습 결과를 이용하여, 타겟 스테레오 영상의 제2스테레오 매칭 깊이맵에 대한 제2신뢰도맵을 생성하는 단계를 포함한다.

Description

스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치{METHOD AND DEVICE FOR MEASURING CONFIDENCE OF DEPTH MAP BY STEREO MATCHING}
본 발명은 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치에 관한 것으로서, 더욱 상세하게는 기계 학습 결과를 이용하여 스테레오 매칭을 통해 생성된 깊이맵의 신뢰도를 측정하는 방법 및 장치에 관한 것이다.
디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.
3D 컨텐츠는 스테레오 카메라와 같이 영상의 깊이 정보를 알아낼 수 있는 별도의 카메라로 촬영을 하여야 하며, 일반적인 카메라로 촬영된 컨텐츠는 영상의 깊이 정보를 반영하지 않기 때문에 3D의 형태로 디스플레이될 수 없다.
스테레오 영상으로부터 스테레오 매칭 방법을 이용하여 깊이맵 획득이 가능하다. 더욱 정확한 깊이맵을 획득하기 위하여 다양한 스테레오 매칭 방법이 연구되어 왔지만 가림 영역이나 텍스쳐가 충분하지 않은 영역에서는 정확한 깊이를 획득하기 어려운 문제가 있다.
스테레오 매칭을 통해 획득한 깊이맵이 정확하지 않기 때문에, 스테레오 매칭으로 획득한 깊이맵의 신뢰도를 측정하기 위한 방법이 함께 연구되어 왔다.
신뢰도 측정 방법으로서, 스테레오 영상으로부터 코스트 볼륨(cost volume)을 구하고, 이에 따른 신뢰도 특징자(confidence feature)를 이용하여, 깊이맵이 얼마나 정확한지, 즉 깊이맵에 대한 신뢰도(confidence)를 측정하는 방법이 있다. 하지만 이 경우, 코스트 볼륨에 따라, 신뢰도 특징자의 특성이 다르고, 신뢰도 특징자 산출을 위한 별도의 계산시 발생하는 오류나 부정확성 등에 의해, 측정된 신뢰도의 정확도가 낮아지는 단점이 있다.
관련된 선행문헌으로, 비특허 문헌인 "Leveraging Stereo Matching with Learning-based Confidence Measures, Min-Gyu Park and Kuk-Jin Yoon, June 2015, CVPR", 특허 문헌인 대한민국 공개특허 제2016-0010120호, 제2016-0049371호가 있다.
본 발명은 별도의 신뢰도 특징자를 계산하지 않고 코스트 볼륨을 직접 학습하여, 스테레오 매칭을 통해 생성된 깊이맵의 신뢰도를 측정하는 방법 및 장치를 제공하기 위한 것이다.
상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 레퍼런스 스테레오 영상으로부터, 제1코스트 볼륨을 생성하는 단계; 상기 제1코스트 볼륨 및 상기 레퍼런스 스테레오 영상의 제1스테레오 매칭 깊이맵에 대한 제1신뢰도맵을 학습하는 단계; 및 상기 학습 결과를 이용하여, 타겟 스테레오 영상의 제2스테레오 매칭 깊이맵에 대한 제2신뢰도맵을 생성하는 단계를 포함하는 스테레오 매칭 깊이맵의 신뢰도 측정 방법을 제공한다.
또한 상기한 목적을 달성하기 위해 본 발명의 다른 실시예에 따르면, 레퍼런스 스테레오 영상에 대한 깊이 카메라 깊이맵을 이용하여, 스레테오 매칭 깊이맵의 픽셀별 신뢰도 값을 결정하는 단계; 상기 레퍼런스 스테레오 영상으로부터 생성된 코스트 볼륨의 코스트를 정규화하는 단계; 및 상기 신뢰도 값을 이용하여, 상기 스테레오 매칭 깊이맵 및 상기 정규화된 코스트에 대한 신뢰도맵을 학습하는 단계를 포함하는 깊이맵의 신뢰도 측정을 위한 학습 방법을 제공한다.
또한 상기한 목적을 달성하기 위해 본 발명의 또 다른 실시예에 따르면, 레퍼런스 스테레오 영상에 대한 제1스테레오 매칭 깊이맵의 픽셀별 신뢰도 값을 이용하여, 상기 레퍼런스 스테레오 영상에 대한 제1코스트 볼륨 및 상기 제1스테레오 매칭 깊이맵에 대한 제1신뢰도맵을 학습하는 신뢰도맵 학습부; 및 상기 학습 결과를 이용하여, 타겟 스테레오 영상의 제2스테레오 매칭 깊이맵에 대한 제2신뢰도맵을 생성하는 신뢰도맵 생성부를 포함하는 스테레오 매칭 깊이맵의 신뢰도 측정 장치를 제공한다.
본 발명에 따르면 별도의 신뢰도 특징자를 계산하지 않고 코스트 볼륨을 직접 이용하여 신뢰도맵을 학습함으로써, 스테레오 매칭 깊이맵의 신뢰도 측정 결과의 정확도가 향상될 수 있다.
또한 본 발명에 따르면, 코스트 볼륨을 정규화하고 기 설정된 개수의 코스트를 이용하여 신뢰도맵을 학습함으로써, 학습 및 신뢰도맵 추정에 필요한 연산량을 줄일 수 있다.
또한 본 발명에 따르면, 코스트 볼륨의 탐색 범위의 편차에 무관하게 기설정된 개수의 코스트를 선택적으로 이용함으로써 CNN 알고리즘을 적용하여 학습을 수행할 수 있다.
도 1은 본 발명에 따른 코스트 볼륨을 설명하기 위한 도면이다.
도 2는 생성된 코스트 볼륨을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 스테레오 매칭 깊이맵의 신뢰도 측정 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 스테레오 매칭 깊이맵의 신뢰도 측정을 위한 학습 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 코스트 볼륨의 정규화 결과를 도시하는 도면이다.
도 7은 CNN 알고리즘을 설명하기 위한 도면이다.
도 8은 CNN의 컨벌루션 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 스테레오 매칭 깊이맵의 신뢰도 측정 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
본 발명은 레퍼런스 스테레오 영상에 대한 코스트 볼륨과 스테레오 매칭 깊이맵을 이용하여 신뢰도맵을 학습하고, 학습 결과에 따라서 타겟 스테레오 매칭 깊이맵의 신뢰도를 측정하는 방법 및 장치를 제공한다. 즉, 본 발명은 별도의 신뢰도 특징자 생성없이, 코스트 볼륨을 직접 이용하여 신뢰도를 측정한다.
코스트 볼륨은 스테레오 영상을 구성하는 픽셀별로 생성되고, 스테레오 매칭 깊이맵의 픽셀 역시, 스테레오 영상을 구성하는 픽셀 각각에 대응되기 때문에, 레퍼런스 스테레오 영상에 대한 스테레오 매칭 깊이맵의 픽셀별 신뢰도를, 픽셀별 코스트 볼륨과 관련시켜 학습시키면, 타겟 스테레오 영상의 코스트 볼륨과 스테레오 매칭 깊이맵에 따른 신뢰도맵이 생성될 수 있다. 신뢰도맵은 스테레오 매칭 깊이맵의 픽셀별 신뢰도 정보가 포함된 영상이다.
이하에서는 본 발명에 따른 신뢰도 측정 방법에 앞서, 신뢰도 측정에 이용되는 코스트 볼륨에 대해 먼저 설명하고, 신뢰도 측정 방법을 설명하기로 한다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명에 따른 코스트 볼륨을 설명하기 위한 도면이다.
코스트 볼륨은 스테레오 영상의 좌우 영상에서 픽셀별 화소값의 차이(코스트)를 나타내는 정보를 포함한다.
도 1에 도시된 바와 같이, 스테레오 영상 즉, 좌영상(110)과 우영상(120)이 주어진 경우, 좌영상(110) 및 우영상(120) 각각에 기 설정된 사이즈의 윈도우를 오버랩하고, 좌영상(110) 또는 우영상(120)의 윈도우를 기 설정된 탐색 범위만큼 이동시킨다.
좌영상(110) 및 우영상(120)에 오버랩된 윈도우의 사이즈는 동일하며, 좌영상 및 우영상 중 한 영상의 윈도우만 이동시킨다. 예를 들어, 좌영상(110)의 제1윈도우(130)를 고정시키고 우영상(120)의 제2윈도우(140)를 탐색 범위(search range)만큼 수평 방향으로 이동시키며, 윈도우에 포함된 픽셀 각각의 픽셀값의 차이를 계산하여, 코스트 볼륨(150)을 생성할 수 있다. 실시예에 따라서, 우영상의 원도우를 고정시키고 좌영상의 윈도우를 이동시킬 수 있으며, 윈도우의 이동방향 역시 달라질 수 있다.
즉, 좌영상 및 우영상 중 한 영상을 기준 영상으로 잡고, 기준 영상과 다른 영상의 윈도우 내에서의 화소값의 차이를 계산한다. 기준 영상이 어느 영상인지에 따라서 서로 다른 코스트 볼륨이 생성될 수 있다.
코스트 볼륨(150)의 가로(151) 및 세로(152)는 윈도우 크기에 대응되며, 코스트 볼륨(150)의 높이(153)는 탐색 범위(search range)에 대응된다. 즉, 코스트 볼륨(150)은, 윈도우가 고정된 좌영상의 윈도우에 포함된 픽셀들이 우영상의 윈도우에 포함된 픽셀들과, 화소값이 얼마나 차이나는지에 대한 정보를 포함한다.
탐색 범위는 실시예에 따라서, 달라질 수 있으며, 스테레오 영상의 전체 영역에 대해 탐색을 수행함으로써, 스테레오 영상 전체, 즉 스테레오 영상에 포함된 모든 픽셀에 대한 코스트 볼륨을 생성할 수 있다.
도 2는 생성된 코스트 볼륨을 설명하기 위한 도면이다.
도 2(a)는 좌영상을 기준으로 우영상의 윈도우를 이동시켜 얻은 코스트 볼륨을 나타내며, 도 2(b)는 도 2(a)에 도시된 코스트 볼륨의 특정 픽셀(210)에 대한 코스트를 나타내는 그래프이다. 특정 픽셀(210)은 스테레오 영상에 포함된 픽셀 중 하나이다. 도 2(a)의 코스트 볼륨에 포함된 모든 픽셀에 대해 도 2(b)와 같은 코스트 그래프가 생성된다. 그래프에서 x축은 윈도우의 이동 거리(d), 즉 최초 위치에서 탐색 범위까지의 거리를 나타내며, y축은 코스트를 나타낸다.
전술된 바와 같이, 코스트는 제1 및 제2윈도우(130, 140)에 포함된 픽셀별 차이를 나타내므로, 최소 비용(c1)에 대응되는 탐색 범위가 특정 픽셀(210)의 변위(disparity)값에 대응된다. 제1윈도우(130)에 포함된 특정 픽셀(210)과 가장 유사한 픽셀은, 특정 픽셀(210)로부터 최소 비용에 대응되는 탐색 범위만큼 떨어진 지점에 위치하는데, 변위는 스테레오 영상에서의 픽셀별 위치 차이를 의미하기 때문이다.
종래 신뢰도 특징자를 이용하여 신뢰도를 측정하는 방법의 경우, 스테레오 영상의 픽셀별로 코스트 볼륨을 이용하여 신뢰도 특징자를 계산한다. 스테레오 영상은 2개의 영상으로 구성되는데, 2개의 영상 중 하나의 영상을 기준으로 신뢰도 특징자가 계산된다. 기준이 되는 영상은 전술된 윈도우가 고정된 영상이다.
일예로서, 잘 알려진 신뢰도 특징자는 [표 1]과 같다. 신뢰도 특징자는 코스트 볼륨에서, 특정 픽셀(210)의 최소 비용(c1), 코스트 볼륨에서 특정 픽셀(210)의 두번째로 작은 비용(c2) 및 코스트 볼륨에서 두번째로 작은 극소 비용(c2m) 등이 활용되어 계산될 수 있다.
- Left-right difference
- Maximum likelihood measure
- Naive peak ratio measure
- Negative entropy measure
- Median disparity deviation values (5x5)
- Median disparity deviation values (7x7)
- Median disparity deviation values (9x9)
- Median disparity deviation values (11x11)
신뢰도 특징자 계산을 위해 다양한 수식이 이용하며, 신뢰도 특징자 별로 이용되는 코스트가 다르기 때문에, 전술된 바와 같이 신뢰도 특징자를 이용하여 신뢰도를 측정하는 경우 정확도가 낮아질 수 있다. 이에 본 발명은, 코스트 볼륨의 신뢰도 특징자가 아닌 코스트 볼륨을 직접 이용하여 스테레오 매칭 깊이맵의 신뢰도를 측정한다.
도 3은 본 발명의 일실시예에 따른 스테레오 매칭 깊이맵의 신뢰도 측정 장치를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명에 따른 신뢰도 측정 장치는 신뢰도맵 학습부(310) 및 신뢰도맵 생성부(320)를 포함한다. 도면에 도시되지는 않았지만 신뢰도맵 생성부(320)는 정보 수신부 및 신뢰도맵 추정부를 포함한다.
신뢰도맵 학습부(310)는 레퍼런스 스테레오 영상에 대한 제1코스트 볼륨과 레퍼런스 스테레오 영상에 대한 제1스테레오 매칭 깊이맵에 대한 제1신뢰도맵을 학습한다. 이 때, 신뢰도맵 학습부(310)는 제1스테레오 매칭 깊이맵의 픽셀별 신뢰도 값을 이용하여, 제1신뢰도맵을 학습한다.
제1코스트 볼륨은, 도 1 및 2에서 설명된 바와 같이 생성될 수 있으며, 제1스테레오 매칭 깊이맵은 레퍼런스 스레테로 영상에 대한 스테레오 매칭을 통해 생성될 수 있다. 제1코스트 볼륨 및 제1스테레오 매칭 깊이맵은 신뢰도 측정 장치에서 생성되거나 또는 실시예에 따라서 별도의 컴퓨팅 장치에서 생성되어 신뢰도맵 학습부(310)로 제공될 수 있다.
제1스테레오 매칭 깊이맵의 픽셀별 신뢰도 값은, 레퍼런스 스테레오 영상에 대한 깊이 카메라 깊이맵과 제1스테레오 매칭 깊이맵을 비교하여 결정될 수 있다. 비교는 픽셀 단위로 이루어지며, 일예로서 깊이 카메라 깊이맵의 깊이값과 동일한 깊이값을 갖는 제1스트레오 매칭 깊이맵의 픽셀의 신뢰도값은 1이며, 그렇지 않은 픽셀의 신뢰도값은 0으로 설정될 수 있다.
전술된 바와 같이, 제1코스트 볼륨, 제1스테레오 매칭 깊이맵 및 제1신뢰도맵은 모두 레퍼런스 스테레오 영상에 포함된 픽셀 각각에 대한 정보를 포함하고 있으므로, 픽셀별 신뢰도 값은 제1코스트 볼륨 및 제1스테레오 매칭 깊이맵의 각각의 픽셀에 대응된다. 따라서 레퍼런스 스테레오 영상의 픽셀별 코스트 특성과 스테레오 매칭에 따른 픽셀별 깊이값 특성에 따른, 픽셀별 신뢰도값이 학습될 수 있다.
신뢰도맵 학습부(310)는 학습을 위해 다양한 기계 학습 알고리즘을 이용할 수 있으며, 일실시예로서 랜덤 포레스트(random forest) 알고리즘이나 CNN(Convolutional Neural Network) 알고리즘 등이 이용될 수 있다.
한편, 코스트 볼륨을 그대로 이용하여 학습할 경우, 코스트 크기에 따라서 연산량이 증가할 수 있기 때문에, 신뢰도맵 학습부(310)는 일실시예로서 제1코스트 볼륨의 정규화된 코스트를 이용하여 제1신뢰도맵을 학습할 수 있다.
또한, 학습에 이용되는 코스트 볼륨의 탐색 범위가 상이할 경우 CNN 알고리즘을 이용하기 어렵기 때문에, 신뢰도맵 학습부(310)는 실시예에 따라서 제1코스트 볼륨의 정규화된 코스트 중에서, 코스트의 크기 순으로 기 설정된 개수만큼의 코스트를 선택하여 제1신뢰도맵을 학습할 수 있다. 본 발명에 따른 학습 방법은 도 4 및 도 5에서 보다 상세히 설명된다.
신뢰도맵 생성부(320)는 신뢰도맵 학습부(310)의 학습 결과를 이용하여 타겟 스테레오 영상의 제2스테레오 매칭 깊이맵에 대한 제2신뢰도맵을 생성한다.
보다 구체적으로, 신뢰도맵 생성부(320)의 정보 수신부는 타겟 스테레오 영상에 대한 제2코스트 볼륨과 제2스테레오 매칭 깊이맵을 입력받고, 신뢰도맵 추정부는 학습 결과에 기반하여, 제2코스트 볼륨 및 제2스테레오 매칭 깊이맵로부터 제2신뢰도맵을 생성한다.
전술된 바와 같이, 코스트 볼륨이 정규화된 형태로 이용되거나 코스트의 크기에 따라 일정 개수의 코스트만이 이용되는 경우, 신뢰도맵 생성부(320) 역시 제2코스트 볼륨의 정규화된 코스트를 입력받거나 일정 개수의 코스트를 입력받아 제2신뢰도맵을 생성할 수 있다.
예를 들어, 도 1과 같이 레퍼런스 스테레오 영상이 주어지고, 특정 픽셀(210)에 대한 신뢰도값이 1이고, 특정 픽셀(210)에 대한 정규화된 코스트 중 가장 큰 코스트가 0.8이고, 특정 픽셀(210)에 대한 제1스트레오 매칭 깊이맵의 깊이값이 3인 조건에서 학습이 수행되었을 경우, 신뢰도맵 생성부(320)는 제2스테레오 매칭 깊이맵의 픽셀 중 코스트가 0.8이고 깊이값이 3인 픽셀에 대한 신뢰도값을 1로 결정하여 제2신뢰도맵을 생성할 수 있다.
도 4는 본 발명의 일실시예에 따른 스테레오 매칭 깊이맵의 신뢰도 측정을 위한 학습 방법을 설명하기 위한 도면이며, 도 5 및 도 6은 코스트 볼륨의 정규화 결과를 도시하는 도면이다.
본 발명에 따른 학습 방법은 프로세서를 포함하는 학습 장치에서 수행될 수 있으며, 예를 들어 도 3의 신뢰도맵 학습부에 수행되거나 또는 별도의 컴퓨팅 장치에서 수행될 수 있다.
본 발명에 따른 학습 장치는 레퍼런스 스테레오 영상에 대한 깊이 카메라 깊이맵을 이용하여, 레퍼런스 스테레오 영상에 대한 스레테오 매칭 깊이맵의 픽셀별 신뢰도 값을 결정(S410)한다. 전술된 바와 같이, 깊이 카메라 깊이맵의 깊이값과 동일한 깊이값을 갖는 스트레오 매칭 깊이맵의 픽셀의 신뢰도값은 1이며, 그렇지 않은 픽셀의 신뢰도값은 0으로 결정될 수 있다.
그리고 학습 장치는 레퍼런스 스테레오 영상으로부터 생성된 코스트 볼륨의 코스트를 정규화(S420)한다.
일실시예로서 학습 장치는, 픽셀별 코스트 볼륨에 대한 확률 밀도 함수(PDF)를 이용하여 코스트를 정규화할 수 있으며, [수학식 1]과 같은 확률 밀도 함수(
Figure 112016115535180-pat00001
)를 이용할 수 있다.
Figure 112016115535180-pat00002
여기서, x,y는 레퍼런스 스테레오 영상의 픽셀 좌표값을 나타내며, d는 코스트 볼륨의 탐색 범위를 나타낸다. 그리고
Figure 112016115535180-pat00003
는 x,y 좌표의 픽셀의 탐색 범위 d에 대한 코스트를 의미하며,
Figure 112016115535180-pat00004
는 실시예에 따라 달라질 수 있는 상수이다.
[수학식 1]에 따른 코스트 볼륨의 정규화 결과는, 도 5 및 6과 같이 도시될 수 있다. 도 5는 신뢰도값이 1인 2개의 픽셀에 대한 코스트 볼륨의 정규화 결과를 도시하며, 도 6은 신뢰도값이 0인 2개의 픽셀에 대한 코스트 볼륨의 정규화 결과를 도시한다. 도 5 및 6에서 가로 축은 탐색 범위이며 세로축은 정규화된 코스트 값이다.
도 5 및 도 6에 도시된 바와 같이, 정규화 결과 특정 탐색 범위의 정규화된 코스트가 다른 탐색 범위의 코스트보다 크며, 크기가 큰 순서대로 선택된 일부의 정규화된 코스트들이 코스트 볼륨의 특성을 대표한다고 볼 수 있다. 따라서 학습 장치는 정규화된 코스트 중, 코스트 크기가 큰 순서대로 기 설정된 개수 만큼의 코스트를 선택하고, 선택된 코스트를 이용하여 신뢰도맵을 학습할 수 있다.
즉, 본 발명에 따른 학습 장치는 신뢰도 값을 이용하여, 스테레오 매칭 깊이맵 및 정규화된 코스트에 대한 신뢰도맵을 학습(S430)한다.
결국, 본 발명에 따르면 별도의 신뢰도 특징자를 계산하지 않고 코스트 볼륨을 직접 이용하여 신뢰도맵을 학습함으로써, 스테레오 매칭 깊이맵의 신뢰도 측정 결과의 정확도가 향상될 수 있다.
또한 본 발명에 따르면, 코스트 볼륨을 정규화하고 기 설정된 개수의 코스트를 이용하여 신뢰도맵을 학습함으로써, 학습 및 신뢰도맵 추정에 필요한 연산량을 줄일 수 있다.
또한 본 발명에 따르면, 코스트 볼륨의 탐색 범위의 편차에 무관하게 기설정된 개수의 코스트를 선택적으로 이용함으로써 CNN 알고리즘을 적용하여 학습을 수행할 수 있다.
도 7은 CNN 알고리즘을 설명하기 위한 도면이며, 도 8은 CNN의 컨벌루션 방법을 설명하기 위한 도면이다.
도 7을 참조하면, CNN 알고리즘은 입력 영상에 대해 컨벌루션과 다운 샘플링을 통해, 입력 영상에 대한 피쳐 맵(feature map)을 추출(feature learning)하고, 피쳐 맵을 통해 입력 영상을 식별 또는 분류(classification)한다. 피쳐 맵은 입력 영상에 대한 특징 정보를 포함한다. 피쳐 맵 추출을 위해, 컨벌루션(C1, C2, C3)과 다운 샘플링(MP1, MP2)가 반복되며, 반복 횟수는 실시예에 따라서 다양하게 결정될 수 있다.
본 발명에 CNN 알고리즘이 적용될 경우, 입력 영상으로 코스트 볼륨과 스테레오 매칭 깊이맵이 이용된다. 코스트 볼륨 역시 픽셀별 화소값으로 표현될 수 있으며, 이때 화소값은 코스트에 대응된다. 그리고 코스트 볼륨은 특정 픽셀에 대해 탐색 범위만큼 복수의 코스트가 할당되는 형태이므로, 코스트 볼륨은 선택된 코스트의 개수만큼 복수의 레이어로 이루어진 영상 형태일 수 있다.
도 7 및 8을 참조하면, 컨벌루션에 이용되는 필터(또는 커널, 810)의 사이즈가 결정되면, 필터의 각 화소별로 할당된 가중치와 입력 영상(800)의 화소값의 가중치 합(weighted sum)을 통해 컨벌루션이 수행된다. 즉, 필터가 오버랩되는 입력 영상의 특정 영역에 대해 대응되는 화소별로 필터의 가중치를 화소값과 곱한 후 더함으로써 컨벌루션 레이어의 화소값(820)이 결정될 수 있다.
도 8에 도시된 바와 같이, 대응되는 화소별로 필터(810)의 가중치(4, 0, 0, 0, 0, 0, 0, 0, -4)와 오버랩되는 입력 영상(800)의 특정 영역의 화소값(0, 0, 0, 0, 1, 1, 0, 1, 2)에 대해 가중치 합이 수행되어 최종 -8이라는 화소값(820)이 결정된다. 필터가 좌우 상하로 이동하며, 입력 영상의 오버랩된 영역에 대해 총 9개 화소에 대해 가중치 합이 수행되고, 일예로서, 입력 영상(800)의 사이즈가 7X7이며, 필터(810)의 사이즈가 3X3라면 5X5 사이즈의 컨벌루션 레이어가 생성될 수 있다.
컨벌루션에 따른 화소값은 오버랩된 영역의 중앙 화소의 화소값(820)이 되기 때문에, 입력 영상 대비 컨벌루션 레이어, 즉 컨벌루션된 영상의 사이즈는 감소한다. 다만, 입력 영상의 외곽 영역을 특정 화소값으로 패딩(padding)할 경우, 입력 영상의 사이즈와 동일한 7X7 사이즈의 컨벌루션 레이어를 생성할 수 있다. 컨벌루션 레이어의 개수는 이용되는 필터의 개수에 따라 결정된다.
본 발명의 경우, 스테레오 매칭 깊이맵에 대해서는 도 8의 필터(810)와 같은 2차원 형태의 필터가 이용될 수 있으나, 코스트 볼륨의 경우 복수의 레이어로 이루어진 영상 형태이므로 3차원 형태의 필터가 이용될 수 있다. 코스트 볼륨의 탐색 범위가 다를 경우 동일한 3차원 형태의 필터를 이용할 수 없으므로, CNN 알고리즘을 이용할 수 없는데, 본 발명은 일정 개수의 정규화된 코스트를 이용하므로, 스테레오 영상별로 상이한 탐색 범위의 코스트 볼륨이 생성되더라도 CNN 알고리즘을 이용할 수 있다.
결국, 코스트 볼륨과 스테레오 매칭 깊이맵 각각에 대한 피쳐맵이 생성될 수 있으며, 피쳐맵을 병합하여 다시 피쳐맵을 생성함으로써, 코스트 볼륨과 스테레오 매칭 깊이맵을 모두 반영하는 피쳐맵이 생성될 수 있다.
피쳐 맵은 완전 연결된(fully-connected) 신경망으로 입력되고, 미리 주어진 입력 영상에 대한 라벨(label)과 신경망의 출력값의 차이값에 따라서 CNN의 파라미터에 대한 학습이 수행된다. 여기서, 라벨은 신뢰도값에 대응된다.
도 9는 본 발명의 일실시예에 따른 스테레오 매칭 깊이맵의 신뢰도 측정 방법을 설명하기 위한 도면으로서, 도 9에서는 신뢰도 측정 장치의 신뢰도 측정 방법이 일실시예로서 설명된다.
본 발명에 따른 신뢰도 측정 장치는 레퍼런스 스테레오 영상으로부터, 제1코스트 볼륨을 생성(S910)한다. 단계 S910은 레퍼런스 스테레오 영상의 좌영상 및 우영상 각각에 대해 윈도우를 오버랩하고, 좌영상 또는 우영상의 윈도우를 기 설정된 탐색 범위만큼 이동시키는 단계; 및 좌영상 및 우영상의 윈도우에 포함된 픽셀 각각의 픽셀값 차이를 계산하여, 윈도우에 포함된 픽셀별로 제1코스트 볼륨을 생성하는 단계를 포함할 수 있다.
신뢰도 측정 장치는 단계 S910에서 생성된 제1코스트 볼륨 및 레퍼런스 스테레오 영상의 제1스테레오 매칭 깊이맵에 대한 제1신뢰도맵을 학습(S920)한다. 이 때, 신뢰도 측정 장치는 제1코스트 볼륨의 코스트를 정규화하고, 제1스레테오 매칭 깊이맵의 픽셀별 신뢰도 값을 이용하여 제1스트레오 매칭 깊이맵 및 정규화된 코스트에 대한 제1신뢰도맵을 학습할 수 있다.
픽셀별 신뢰도 값은 레퍼런스 스테레오 영상에 대한 깊이 카메라 깊이맵을 이용하여 결정할 수 있다. 그리고 실시예에 따라서 정규화된 코스트 중, 코스트 크기 순으로 기 설정된 개수 만큼의 코스트를 선택하고, 선택된 코스트를 이용하여 제1신뢰도맵을 학습할 수 있다.
신뢰도 학습 장치는 단계 S920의 학습 결과를 이용하여, 타겟 스테레오 영상의 제2스테레오 매칭 깊이맵에 대한 제2신뢰도맵을 생성(S930)한다. 보다 구체적으로 타겟 스테레오 영상에 대한 제2코스트 볼륨과 제2스테레오 매칭 깊이맵을 입력받고, 학습 결과에 기반하여, 제2코스트 볼륨 및 제2스테레오 매칭 깊이맵로부터 제2신뢰도맵을 생성한다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 레퍼런스 스테레오 영상으로부터, 제1코스트 볼륨을 생성하는 단계;
    상기 제1코스트 볼륨 및 상기 레퍼런스 스테레오 영상의 제1스테레오 매칭 깊이맵에 대한 제1신뢰도맵을 학습하는 단계; 및
    상기 학습 결과를 이용하여, 타겟 스테레오 영상의 제2스테레오 매칭 깊이맵에 대한 제2신뢰도맵을 생성하는 단계를 포함하며,
    상기 제1신뢰도맵을 학습하는 단계는
    상기 레퍼런스 스테레오 영상에 대한 깊이 카메라 깊이맵을 이용하여, 상기 제1스테레오 매칭 깊이맵의 픽셀별 신뢰도 값을 결정하는 단계;
    상기 제1코스트 볼륨의 코스트를 정규화하는 단계; 및
    상기 신뢰도 값을 이용하여, 상기 제1스테레오 매칭 깊이맵 및 상기 정규화된 코스트에 대한 상기 제1신뢰도맵을 학습하는 단계를 포함하며,
    상기 제2신뢰도맵을 생성하는 단계는
    상기 타겟 스테레오 영상에 대한 제2코스트 볼륨과 상기 제2스테레오 매칭 깊이맵을 입력받는 단계; 및
    상기 학습 결과에 기반하여, 상기 제2코스트 볼륨 및 상기 제2스테레오 매칭 깊이맵로부터 상기 제2신뢰도맵을 생성하는 단계
    를 포함하는 스테레오 매칭 깊이맵의 신뢰도 측정 방법.
  2. 제 1항에 있어서,
    상기 제1코스트 볼륨을 생성하는 단계는
    상기 레퍼런스 스테레오 영상의 좌영상 및 우영상 각각에 대해 윈도우를 오버랩하고, 상기 좌영상 또는 우영상의 윈도우를 기 설정된 탐색 범위만큼 이동시키는 단계; 및
    상기 좌영상 및 우영상의 윈도우에 포함된 픽셀 각각의 픽셀값 차이를 계산하여, 상기 윈도우에 포함된 픽셀별로 상기 제1코스트 볼륨을 생성하는 단계
    를 포함하는 스테레오 매칭 깊이맵의 신뢰도 측정 방법.
  3. 삭제
  4. 제 1항에 있어서,
    상기 제1스테레오 매칭 깊이맵 및 상기 정규화된 코스트에 대한 상기 제1신뢰도맵을 학습하는 단계는
    상기 정규화된 코스트 중, 코스트 크기 순으로 기 설정된 개수 만큼의 코스트를 선택하고, 상기 선택된 코스트를 이용하여 상기 제1신뢰도맵을 학습하는
    스테레오 매칭 깊이맵의 신뢰도 측정 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
KR1020160158088A 2016-11-25 2016-11-25 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치 KR101854048B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160158088A KR101854048B1 (ko) 2016-11-25 2016-11-25 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160158088A KR101854048B1 (ko) 2016-11-25 2016-11-25 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101854048B1 true KR101854048B1 (ko) 2018-05-02

Family

ID=62183681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160158088A KR101854048B1 (ko) 2016-11-25 2016-11-25 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101854048B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005398A (zh) * 2018-07-27 2018-12-14 杭州电子科技大学 一种基于卷积神经网络的立体图像视差匹配方法
CN110457515A (zh) * 2019-07-19 2019-11-15 天津理工大学 基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法
KR20200095251A (ko) * 2019-01-31 2020-08-10 연세대학교 산학협력단 사이클 일관성 기반 옵티컬플로우 및 디스패리티 추정 장치 및 방법
JP2021515724A (ja) * 2019-01-30 2021-06-24 バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド 自動運転車において３ｄｃｎｎネットワークを用いてソリューション推断を行うｌｉｄａｒ測位
CN113096175A (zh) * 2021-03-24 2021-07-09 苏州中科广视文化科技有限公司 一种基于卷积神经网络的深度图置信度估计方法
US11482042B2 (en) 2019-12-18 2022-10-25 Samsung Electronics Co., Ltd. User authentication apparatus, user authentication method and training method for user authentication

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173441A (ja) * 2014-03-03 2015-10-01 ノキア コーポレイション 立体画像の視差マップ推定のための方法，装置及びコンピュータプログラム製品

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015173441A (ja) * 2014-03-03 2015-10-01 ノキア コーポレイション 立体画像の視差マップ推定のための方法，装置及びコンピュータプログラム製品

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005398A (zh) * 2018-07-27 2018-12-14 杭州电子科技大学 一种基于卷积神经网络的立体图像视差匹配方法
JP2021515724A (ja) * 2019-01-30 2021-06-24 バイドゥ ドットコム タイムス テクノロジー （ベイジン） カンパニー リミテッド 自動運転車において３ｄｃｎｎネットワークを用いてソリューション推断を行うｌｉｄａｒ測位
US11531110B2 (en) 2019-01-30 2022-12-20 Baidu Usa Llc LiDAR localization using 3D CNN network for solution inference in autonomous driving vehicles
KR20200095251A (ko) * 2019-01-31 2020-08-10 연세대학교 산학협력단 사이클 일관성 기반 옵티컬플로우 및 디스패리티 추정 장치 및 방법
KR102186764B1 (ko) 2019-01-31 2020-12-04 연세대학교 산학협력단 사이클 일관성 기반 옵티컬플로우 및 디스패리티 추정 장치 및 방법
CN110457515A (zh) * 2019-07-19 2019-11-15 天津理工大学 基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法
CN110457515B (zh) * 2019-07-19 2021-08-24 天津理工大学 基于全局特征捕捉聚合的多视角神经网络的三维模型检索方法
US11482042B2 (en) 2019-12-18 2022-10-25 Samsung Electronics Co., Ltd. User authentication apparatus, user authentication method and training method for user authentication
US11749005B2 (en) 2019-12-18 2023-09-05 Samsung Electronics Co., Ltd. User authentication apparatus, user authentication method and training method for user authentication
CN113096175A (zh) * 2021-03-24 2021-07-09 苏州中科广视文化科技有限公司 一种基于卷积神经网络的深度图置信度估计方法
CN113096175B (zh) * 2021-03-24 2023-10-24 苏州中科广视文化科技有限公司 一种基于卷积神经网络的深度图置信度估计方法

Similar Documents

Publication Publication Date Title
KR101854048B1 (ko) 스테레오 매칭 깊이맵의 신뢰도 측정 방법 및 장치
EP2731075B1 (en) Backfilling points in a point cloud
US11003956B2 (en) System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
US9349189B2 (en) Occlusion resistant image template matching using distance transform
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
US10225473B2 (en) Threshold determination in a RANSAC algorithm
Marin et al. Reliable fusion of tof and stereo depth driven by confidence measures
EP2395475B1 (en) Apparatus and method for depth unfolding based on multiple depth images
US9367920B2 (en) Method and apparatus for processing images
Chen et al. Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework
US11030478B1 (en) System and method for correspondence map determination
KR20210074163A (ko) 공동 검출 및 기술 시스템 및 방법
US20180268522A1 (en) Electronic device with an upscaling processor and associated method
US20170178347A1 (en) Dynamic particle filter parameterization
Lee et al. Neural geometric parser for single image camera calibration
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
US10089764B2 (en) Variable patch shape synthesis
KR101129220B1 (ko) 레인지 영상의 노이즈 제거장치 및 방법
US20080267506A1 (en) Interest point detection
US11461597B2 (en) Object likelihood estimation device, method, and program
KR101454692B1 (ko) 객체 추적장치 및 그 방법
US9721151B2 (en) Method and apparatus for detecting interfacing region in depth image
CN114463404B (zh) 一种自适应深度感知视觉关系的检测方法
Kim et al. A high quality depth map upsampling method robust to misalignment of depth and color boundaries
Gill et al. Light field visual attention prediction using Fourier disparity layers

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant