KR101839455B1

KR101839455B1 - 스테레오 영상 처리 장치 및 방법

Info

Publication number: KR101839455B1
Application number: KR1020160144893A
Authority: KR
Inventors: 양회석; 정현석
Original assignee: 아주대학교산학협력단
Priority date: 2016-11-02
Filing date: 2016-11-02
Publication date: 2018-03-16

Abstract

스테레오 영상 처리 방법에 관한 것이며, 스테레오 영상 처리 방법은 제1영상 및 제2영상을 포함하는 스테레오 영상을 획득하는 단계, 상기 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값을 결정하는 단계 및 상기 결정된 파라미터 값에 기초하여 블록 매칭 알고리즘을 수행하여 상기 스테레오 영상의 뎁스 맵을 추출하는 단계를 포함할 수 있다.

Description

스테레오 영상 처리 장치 및 방법 {STEREO IMAGE PROCESSING APPARATUS AND METHOD}

본원은 스테레오 영상 처리 장치 및 방법에 관한 것이다.

스테레오 비전(stereo vision)은 한 장면에 대하여 서로 다른 위치에서 획득된 영상을 분석하여 시차정보를 추정하고, 최종적으로 3D 깊이(depth) 정보를 추출하는 과정으로서, 최근 로봇 산업, 무인자동차, 3차원 재구성 등의 다양한 분야에서 관심을 보이고 있다.

스테레오 비전은 영상 획득, 영상 보정(calibration), 스테레오 매칭(matching), 시차(disparity) 추정, 깊이 정보 추출 등의 과정으로 이루어진다. 여기에서 스테레오 매칭 기술은 깊이 정보 추출에 있어서 핵심 기술이라 할 수 있으며, 이에 따라 관련 분야에서는 스테레오 매칭 기술에 대하여 연구가 꾸준히 지속되고 있다.

스테레오 매칭 기술은 크게 블록 매칭, 기울기 기반 매칭 등의 지역 정합법과 DP(dynamic programming), 신뢰 확산 알고리즘(belief propagation) 등의 전역 정합법 등으로 분류될 수 있는데, 일반적으로 실시간 스테레오 시스템에 적합한 성능을 갖추기 위해 지역 정합법 중에서도 하드웨어로 구현시 간단한 연산으로 구성되고 반복적인 특성을 갖는 블록 매칭 방법이 주로 이용된다.

종래에 공지된 대부분의 블록 매칭 방법들은 같은 상황의 영상과 같은 카메라를 가지고 동작한다는 가정하에서 블록 매칭의 파라미터 값을 미리 지정된 고정값으로 사용하여 블록 매칭을 수행한다. 그러나, 블록 매칭시 이용되는 파라미터 값은 전체 시스템의 연산량, 전력, 성능 등에 큰 영향을 미치기 때문에, 블록 매칭시 영상의 특성을 고려하여 해당 영상에 맞는 적절한 파라미터를 설정하는 것은 매우 중요하다.

일예로, 일반적으로 스테레오 영상에서는 가까운 물체를 촬영한 영상이 멀리 있는 물체를 촬영한 영상에 비해 노이즈가 적은 뎁스 맵(depth map)을 획득하기 어려운 특성이 있다. 이에 따라, 만약 블록 매칭시 이용되는 파라미터 값을 가까운 물체를 기준으로 설정하여 뎁스 맵을 획득할 경우에는 연산 속도가 굉장히 느려지는 단점이 있다. 반면 블록 매칭시 이용되는 파라미터 값을 평야와 같이 가까운 물체가 없는 경우를 기준으로 설정하여 뎁스 맵을 획득할 경우에는 연산 속도가 빨라지는 장점이 있으나, 연산량의 낭비가 발생하여 많은 양의 전력을 소모하게 되는 단점이 있다.

다시 말해, 종래 대부분의 경우 미리 고정된 파라미터 값에 기초하여 블록 매칭을 수행하기 때문에 외부환경 등의 변화 요인으로 인해 실시간으로 획득되는 영상에 큰 변화(예를 들어, 갑작스럽게 물체가 나타나는 경우 등)가 발생한 경우에는, 실시간으로 변화된 상황에 대응하는 적절한 파라미터 값으로 변경하지 못함에 따라 획득한 해당 영상의 뎁스 맵 획득시 많은 노이즈가 발생하는 문제가 있었으며, 뿐만 아니라 연산 속도가 느리고 연산량의 낭비가 발생하는 등의 문제가 있었다. 특히 자원이 한정적인 임베디드 시스템(embedded system)에서는 상기와 같은 문제들(예를 들어, 연산 속도 저하, 연산량 낭비 등)과 더불어 그로 인한 전력 소모의 문제가 더 크게 작용하는 단점이 있다.

본원의 배경이 되는 기술은 한국공개특허공보 제10-2014-0062399호(공개일: 2014.05.23)에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 자원이 한정적인 임베디드 시스템에서 실시간으로 환경이 변하더라도 전력 소모를 최소화하면서 노이즈가 적은 뎁스 맵을 추출할 수 있는 스테레오 영상 처리 장치 및 방법을 제공하려는 것을 목적으로 한다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 외부환경 등의 변화 요인으로 인해 실시간으로 획득되는 영상에 큰 변화가 발생하더라도, 변화된 영상에 대응하는 적절한 파라미터 값을 결정함으로써 블록 매칭시 최적의 수행시간으로 연산량을 최적화하고, 이에 따라 전력을 최소화할 수 있는 스테레오 영상 처리 장치 및 방법을 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 스테레오 영상 처리 방법은 (a) 제1영상 및 제2영상을 포함하는 스테레오 영상을 획득하는 단계, (b) 상기 스테레오 영상의 뎁스 맵(Depth map)을 추출하기 위한 파라미터 값을 결정하는 단계 및 (c) 상기 결정된 파라미터 값에 기초하여 블록 매칭 알고리즘을 수행하여 상기 스테레오 영상의 뎁스 맵을 추출하는 단계를 포함할 수 있다.

또한, 상기 (b) 단계에서는, 상기 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값이 샘플 영상에 대하여 기설정된 파라미터 값에 기초한 신경망 학습(Neural Network Training)을 통해 결정될 수 있다.

또한, 상기 (b) 단계에서, 상기 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값은, 상기 샘플 영상에 블록 매칭을 수행하기 위한 초기 파라미터 값, 상기 초기 파라미터 값에 기초하여 산출된 상기 샘플 영상의 뎁스 맵 및 상기 샘플 영상의 실측 영상을 입력값으로 하고, 상기 샘플 영상의 뎁스 맵과 상기 샘플 영상의 실측 영상의 에러율, 전력 소모량 및 프레임률을 출력값으로 하는 상기 신경망 학습을 통해 결정될 수 있다.

또한, 상기 초기 파라미터 값은 상기 샘플 영상의 폭, 상기 샘플 영상의 높이, 상기 샘플 영상에 대한 블록 매칭시 블록의 폭, 상기 샘플 영상에 대한 블록 매칭시 블록의 높이 및 탐색 범위 중 적어도 하나를 포함할 수 있다.

또한, 상기 (b) 단계에서는, 상기 신경망 학습의 수행시 역전파 알고리즘에 기초하여 상기 입력값에 대응하는 가중치를 조정할 수 있다.

또한, 상기 (b) 단계에서는, 상기 역전파 알고리즘 수행 시 기정의된 비용 함수에 기초하여 상기 출력값에 대한 비용을 계산하되, 경사 하강법을 통해 상기 계산된 비용이 최소가 되도록 상기 가중치를 조정할 수 있다.

또한, 상기 (b) 단계에서는, 상기 에러율 및 상기 프레임률 각각이 기설정된 조건을 충족하는지 여부를 고려하여 상기 계산된 비용이 최소가 되도록 상기 가중치를 조정할 수 있다.

또한, 상기 (b) 단계에서는, 상기 에러율이 25.27% 미만이고 상기 프레임률이 30 FPS 이상인 조건을 충족할 때의 최소 전력 소모량을 상기 비용으로 계산할 수 있다.

또한, 상기 스테레오 영상은 무인기를 통해 획득된 것일 수 있다.

한편, 본원의 일 실시예에 따른 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법은 (a) 샘플 영상에 대한 데이터베이스를 구축하는 단계, (b) 상기 데이터베이스를 기반으로 하여, 상기 샘플 영상에 대하여 기설정된 파라미터 값을 이용해 신경망 학습(Neural Network Training)을 수행하는 단계 및 (c) 상기 신경망 학습에 기초하여, 획득한 스테레오 영상의 뎁스 맵(Depth map)을 추출하기 위한 블록 매칭 알고리즘의 파라미터 값을 결정하는 단계를 포함할 수 있다.

또한, 상기 (b) 단계에서는, 상기 데이터베이스를 기반으로 하여, 상기 샘플 영상에 블록 매칭을 수행하기 위한 초기 파라미터 값, 상기 초기 파라미터 값에 기초하여 산출된 상기 샘플 영상의 뎁스 맵 및 상기 샘플 영상의 실측 영상을 입력값으로 하고, 상기 샘플 영상의 뎁스 맵과 상기 샘플 영상의 실측 영상의 에러율, 전력 소모량 및 프레임률을 출력값으로 하여 상기 신경망 학습을 수행할 수 있다.

또한, 상기 (b) 단계에서는, 상기 신경망 학습의 수행시 역전파 알고리즘에 기초하여 상기 입력값에 대응하는 가중치를 조정하고, 상기 (c) 단계에서는, 상기 조정된 가중치를 고려하여 상기 획득한 스테레오 영상의 뎁스 맵을 추출하기 위한 블록 매칭 알고리즘의 파라미터 값을 결정할 수 있다.

한편, 본원의 일 실시예에 따른 스테레오 영상 처리 장치는 제1영상 및 제2영상을 포함하는 스테레오 영상을 획득하는 획득부, 상기 스테레오 영상의 뎁스 맵(Depth map)을 추출하기 위한 파라미터 값을 결정하는 파라미터 값 결정부 및 상기 결정된 파라미터 값에 기초하여 블록 매칭 알고리즘을 수행하여 상기 스테레오 영상의 뎁스 맵을 추출하는 뎁스 맵 추출부를 포함할 수 있다.

또한, 상기 파라미터 값 결정부는, 상기 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값을 샘플 영상에 대하여 기설정된 파라미터 값에 기초한 신경망 학습(Neural Network Training)을 통해 결정하되, 상기 신경망 학습 수행시 역전파 알고리즘에 기초하여 상기 신경망 학습의 입력값에 대응하는 가중치를 조정할 수 있다.

또한, 상기 파라미터 값 결정부는, 상기 역전파 알고리즘 수행 시 기정의된 비용 함수에 기초하여 상기 신경망 학습의 출력값에 대한 비용을 계산하되, 경사 하강법을 통해 상기 계산된 비용이 최소가 되도록 상기 가중치를 조정할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 스테레오 영상의 뎁스 맵 추출을 추출하기 위한 블록 매칭 알고리즘의 파라미터 값을 신경망 학습에 기초하여 결정하고, 결정된 파라미터 값에 기초하여 뎁스 맵을 추출함으로써, 외부환경 등의 변화 요인으로 인해 실시간으로 획득되는 영상에 큰 변화가 발생하더라도 변화된 영상에 대응하는 적절한 파라미터 값을 결정할 수 있어 블록 매칭시 최적의 수행시간으로 연산량을 최적화하고, 이에 따라 전력을 최소화할 수 있는 효과가 있다.

전술한 본원의 과제 해결 수단에 의하면, 신경망 학습에 기초한 블록 매칭 알고리즘의 파라미터 값 결정을 통해, 자원이 한정적인 임베디드 시스템에서 실시간으로 환경이 변하더라도 전력 소모를 최소화하면서 노이즈가 적은 뎁스 맵을 추출할 수 있는 효과가 있다.

또한 본원에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본원의 일 실시예에 따른 스테레오 영상 처리 장치의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 스테레오 영상 처리 장치에서 이용되는 블록 매칭의 예를 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 스테레오 영상 처리 장치에서 데이터베이스에 저장된 데이터의 예를 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 스테레오 영상 처리 장치에서 수행되는 신경망 학습의 예를 나타낸 도면이다.
도 5는 본원의 일 실시예에 따른 스테레오 영상 처리 방법에 대한 개략적인 동작 흐름도이다.
도 6은 본원의 일 실시예에 따른 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법에 대한 개략적인 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본원은 스테레오 영상의 뎁스 맵 추출을 추출하기 위한 블록 매칭 알고리즘의 파라미터 값을 신경망 학습에 기초하여 결정하고, 결정된 파라미터 값에 기초하여 뎁스 맵을 추출함으로써, 외부환경 등의 변화 요인으로 인해 실시간으로 획득되는 영상에 큰 변화가 발생하더라도 실시간으로 획득된 영상에 대하여 블록 매칭시 최적의 수행시간으로 연산량을 최적화하고, 이에 따라 전력을 최소화하여 항시 노이즈가 적은 뎁스 맵을 추출할 수 있는 기술에 관한 것이다.

도 1은 본원의 일 실시예에 따른 스테레오 영상 처리 장치의 개략적인 구성도이다.

도 1을 참조하면, 본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)는 획득부(110), 파라미터 값 결정부(120) 및 뎁스 맵 추출부(130)를 포함할 수 있다.

획득부(110)는 제1 영상 및 제2 영상을 포함하는 스테레오(stereo) 영상을 획득할 수 있다. 여기서, 스테레오 영상은 드론(drone)과 같은 무인기를 통해 촬영된 영상일 수 있으며, 획득부(110)는 무인기를 통해 촬영된 스테레오 영상을 획득할 수 있다.

또한, 획득부(110)를 통해 획득한 제1 영상과 제2 영상은 무인기에 장착된 1대의 카메라를 통해 실시간으로 촬영된 영상으로서, 제1 영상은 t-1 시간에 촬영된 영상이고, 제2 영상은 t 시간에 촬영된 영상일 수 있다. 또한, 다른 일 실시예에 따르면, 제1 영상과 제2 영상은 사람의 눈과 같이 하나의 물체를 서로 다른 시점에서 바라본 영상으로서, 무인기에 장착된 2대의 카메라를 통해 t 시간에 동시에 촬영된 영상일 수 있다. 구체적으로, 제1 영상은 2대의 카메라 중 제1 카메라를 통해 촬영된 좌측 시점의 영상일 수 있으며, 제2 영상은 2대의 카메라 중 제2 카메라를 통해 촬영된 우측 시점의 영상일 수 있다.

본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)는 획득부(110)를 통해 스테레오 영상을 획득한 후 획득한 스테레오 영상의 뎁스맵을 추출하기 위한 파라미터 값을 결정할 수 있으며, 결정된 파라미터 값에 기초하여 블록 매칭 알고리즘을 수행함으로써 상기 획득한 스테레오 영상의 뎁스 맵을 추출할 수 있다.

블록 매칭(block matching) 기술은 제1 영상과 제2 영상 간에 매칭을 통해 영상 내의 깊이(depth) 정보를 파악할 수 있는 기술로서, 이는 도 2를 통해 보다 쉽게 이해될 수 있다.

도 2는 본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)에서 이용되는 블록 매칭의 예를 나타낸 도면이다.

도 2를 참조하면, 기준 이미지는 블록 매칭을 수행할 때 기준이 되는 이미지를 나타내고, 탐색 이미지는 기준 이미지를 기준으로 깊이 정보를 추출하기 위해 비교가 수행되는 대상 이미지를 나타낸다. 일예로, 기준 이미지는 제1 영상으로서 좌측 영상을 의미하고, 탐색 이미지는 제2 영상으로서 우측 영상을 의미할 수 있다.

블록 매칭 기법은 기준 이미지에서 블록 매칭을 수행하기 위한 블록(B)의 크기를 설정한 후 탐색 이미지 상에서 블록(B) 단위로 탐색을 하면서 매칭을 수행할 수 있다. 이때, 블록 매칭을 위한 블록(B)의 크기는 달리 표현하여 SADWindow라고 할 수 있다. 또한, 기준 이미지와 탐색 이미지 간에 블록 매칭을 통해 뎁스 이미지(depth image)가 도출될 수 있다. 뎁스 이미지는 일반적으로 카메라로부터 가까운 곳에 위치한 물체는 밝은 색으로 표시되고, 카메라로부터 멀리 위치한 물체는 어두운 색으로 표시될 수 있다.

한편, 블록 매칭시 이용되는 복수의 파라미터들(예를 들어, 블록(B)의 폭, 플록(B)의 높이, 이미지의 폭, 이미지의 높이, 탐색 범위 등)은 전체 시스템의 연산량, 연산 속도, 전력 등의 성능에 큰 영향을 미치기 때문에, 블록 매칭을 수행함에 있어서 영상의 특성을 고려하여 해당 영상에 맞는 적절한 파라미터를 설정하는 것이 매우 중요하다. 그러나 종래 대부분의 경우에는 미리 고정된 파라미터 값을 이용해 블록 매칭을 수행하기 때문에 외부 환경 등의 변화가 있을 때 그에 대응하지 못하고 뎁스 영상 내에 노이즈가 많이 발생하고, 전력이 많이 소모되는 문제 등이 있었다. 이러한 문제를 극복하기 위하여, 본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)는 실시간으로 획득하는 영상 내에 큰 변화가 발생하더라도 항시 최소 전력을 유지하면서 노이즈가 적은 뎁스 영상을 획득할 수 있도록 적절한 파라미터 값을 결정하는 기술, 즉 획득한 스테레오 영상에 대한 블록 매칭시 이용되는 적절한 파라미터 값을 결정할 수 있는 기술을 제안한다.

파라미터 값 결정부(120)는 획득부(110)를 통해 획득한 스테레오 영상의 뎁스 맵(Depth map)을 추출하기 위한 블록 매칭시 이용되는 파라미터 값을 결정할 수 있다.

파라미터 값 결정부(120)에서 파라미터 값을 결정하기 이전에, 스테레오 영상 처리 장치(100)는 샘플 영상에 대한 데이터베이스(미도시)를 구축할 수 있다. 이를 위해 본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)는 데이터베이스 구축부(미도시)를 포함할 수 있으며, 데이터베이스의 구축 예는 도3 을 통해 보다 쉽게 이해될 수 있다.

도 3은 본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)에서 데이터베이스(미도시)에 저장된 데이터의 예를 나타낸 도면이다.

도 3을 참조하면, 데이터베이스 구축부(미도시)는 샘플 영상 관련 데이터가 저장된 데이터베이스(미도시)를 구축할 수 있다. 여기서, 샘플 영상은 이전에 무인기로부터 획득한 스테레오 영상이거나 이전에 다른 무인기에 의하여 획득한 스테레오 영상을 의미할 수 있다.

데이터베이스에 저장되는 샘플 영상 관련 데이터에는 샘플 영상에 블록 매칭을 수행하기 위해 기설정된 초기 파라미터 값과 상기 초기 파라미터 값에 기초하여 산출된 샘플 영상의 뎁스 맵 및 샘플 영상의 실측 영상(ground truth)이 포함될 수 있다. 또한, 데이터베이스에 저장되는 샘플 영상 관련 데이터에는 샘플 영상의 뎁스 맵과 샘플 영상의 실측 영상 간에 에러율(error rate), 전력 소모량(또는 소비 전력량) 및 프레임률(frames per second, FPS)이 포함될 수 있다. 여기서, 초기 파라미터 값에는 샘플 영상의 폭, 샘플 영상의 높이, 샘플 영상에 대한 블록 매칭시 설정된 블록(B)의 폭, 샘플 영상에 대한 블록 매칭시 설정된 블록(B, SADWindow)의 높이 및 탐색 범위(disparity range) 중 적어도 하나를 포함할 수 있다. 또한, 탐색 범위는 기준 이미지를 기준으로 탐색 이미지 상에 탐색하고자 하는 범위를 의미할 수 있다. 또한, 실측 영상은 에러율을 판단하기 위한 영상으로서, 노이즈가 정제된 뎁스 맵 영상을 의미할 수 있다. 이에 따라 실측 영상과 뎁스 맵 이미지를 이용하여 에러율이 산출될 수 있다.

도 3을 참조한 일예에서는, 데이터베이스에 저장된 첫번째 영상 관련 데이터로서 샘플 영상의 폭이 640, 샘플 영상의 높이가 480, 샘플 영상에 대한 블록 매칭시 설정된 블록(B)의 폭은 11, 샘플 영상에 대한 블록 매칭시 설정된 블록(B)의 높이가 11, 탐색 범위가 64, 에러율이 25%, 전력 소모량이 197.2mW, 프레임률이 41인 데이터가 저장될 수 있다.

데이터베이스가 구축된 이후, 스테레오 영상 처리 장치(100)는 데이터베이스를 기반으로 하여, 샘플 영상에 대하여 기설정된 파라미터 값을 이용하여 신경망 학습(Neural Network Training)을 수행할 수 있으며, 이를 위해 본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)는 신경망 학습 수행부(미도시)를 포함할 수 있다. 신경망 학습에 대한 설명은 도 4를 통해 보다 쉽게 이해될 수 있다.

도 4는 본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)에서 수행되는 신경망 학습의 예를 나타낸 도면이다.

도 4를 참조하면, 스테레오 영상 처리 장치(100)는 데이터베이스에 저장된 샘플 영상 관련 데이터에 기초하여 신경망 학습 수행부(미도시)에 의해 신경망 학습을 수행할 수 있다.

이때, 일예로 데이터베이스에 저장된 데이터 중 신경망 학습의 입력값으로는 7가지의 파라미터가 이용될 수 있고, 신경망 학습의 출력값으로는 3가지의 파라미터가 이용될 수 있다. 구체적으로, 신경망 학습의 입력값으로는 X₁ 내지 X₇이 포함될 수 있고, 신경망 학습의 출력값으로는 Y₁ 내지 Y₃이 포함될 수 있다. 여기서 X₁은 샘플 영상의 뎁스 맵, X₂는 샘플 영상의 실측 영상, X₃은 샘플 영상의 폭, X₄는 샘플 영상의 높이, X₅는 샘플 영상에 대한 블록 매칭시 블록의 폭, X₆은 샘플 영상에 대한 블록 매칭시 블록의 높이, X7은 탐색 범위를 나타내며, Y1은 에러율, Y2는 전력 소모량, Y3는 프레임률을 나타낼 수 있다. 또한, 여기서 샘플 영상의 뎁스 맵이 신경망 학습의 입력값 X₁으로 된다는 것은 일예로 샘플 영상의 뎁스 맵에 대하여 픽셀 분석, 밝기 분석 등을 수행함으로써 산출된 샘플 영상의 뎁스 맵에 대한 영상 속성 값이 변수로 입력됨을 의미할 수 있다. 이에 따라, 본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)는 새로운 스테레오 영상을 획득했을 때, 획득한 스테레오 영상의 속상 값과 신경망 학습에 기초하여 도출된 후술할 초기 파라미터 값 각각에 관한 관계식(수학식)에 기초하여, 현재 획득한 스테레오 영상에 대한 블록 매칭을 수행하기 위한 적절한 파라미터 값을 설정할 수 있다.

스테레오 영상 처리 장치(100)는 데이터베이스에 저장된 샘플 영상 관련 데이터에 기초하여 신경망 학습을 수행하되, 신경망 학습의 수행시 역전파(backpropagation) 알고리즘에 기초하여 입력값에 대응하는 가중치(weight)를 조정할 수 있다.

이때, 스테레오 영상 처리 장치(100)는 역전파 알고리즘 수행시 하기 수학식 1에서와 같이 기정의된 비용 함수에 기초하여 출력값(Y₁ 내지 Y₃)에 대한 비용을 계산할 수 있으며, 스테레오 영상 처리 장치(100)는 계산된 경사 하강법(gradient descent) 알고리즘을 통해 출력값에 대하여 계산된 비용이 최소가 되도록 가중치를 조정할 수 있다.

[수학식 1]

여기서, C는 아주 큰 상수(C >> P)를 의미하고, P는 전력 소모량을 의미하고, f는 프레임률(FPS)로서 성능을 의미하고, e는 에러율을 의미한다.

수학식 1을 참조하면, 스테레오 영상 처리 장치(100)는 가중치 조정시 에러율 및 프레임률 각각이 기설정된조건을 충족하는지 여부를 고려하여 출력값에 대하여 계산된 비용이 최소가 되도록 가중치를 조정할 수 있다. 구체적으로, 스테레오 영상 처리 장치(100)는 가중치 조정시, 에러율이 25.27% 미만이고 프레임률이 30 FPS 이상인 조건을 충족할 때의 최소 전력 소모량을 출력값에 대한 비용으로서 계산할 수 있다.

달리 표현하여, 수학식 1을 참조하면, 에러율이 25.27% 미만이고 프레임률이 30 FPS 이상인 조건을 충족할 때의 최소 전력 소모량이 출력값에 대한 비용으로 계산될 수 있으며, 이에 따라 결과적으로 스테레오 영상 처리 장치(100)는 신경망 학습 수행시 에러율이 25.27% 미만이고 프레임률이 30 FPS 이상인 조건을 충족할 때 전력 소모량이 최소가 될 수 있도록 가중치를 조절할 수 있다.

이때, 일예로 출력값에 대한 비용이 에러율이 25.27% 미만이고 프레임률이 30 FPS 이상인 조건을 충족하지 못하는 경우에는 아주 큰 상수인 C로 인해 해당 비용이 상당히 커질 수 있으며, 이러한 경우 스테레오 영상 처리 장치(100)는 수학식 1에서 최소 값을 구하는 경사 하강법 알고리즘을 통해 가중치를 조정할 수 있다.

본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)는 수학식 1을 이용한 신경망 학습을 통해 데이터베이스에 저장된 샘플 영상 관련 데이터에 있어서 샘플 원본 영상, 샘플 영상의 뎁스 맵인 X₁과 샘플 영상에 블록 매칭을 수행하기 위한 초기 파라미터 값인 X₃ 내지 X₇ 각각에 관한 관계식(수학식)을 도출할 수 있다.

이후, 획득부(110)를 통해 새로운 스테레오 영상이 수신되었을 때 파라미터 값 결정부(120)는, 신경망 학습을 통해 도출된 관계식(수학식)에 기초하여 상기 수신된 새로운 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값(즉, 새로운 스테레오 영상에 적용하고자 하는 블록 매칭 알고리즘의 파라미터 값)을 결정할 수 있다.

이때, 본원의 일 실시예에 따른 파라미터 값 결정부(120)는, 신경망 학습에 기초하여 도출된 관계식에 의하여 파라미터 값을 결정함에 따라, 외부환경 등의 변화 요인으로 인해 실시간으로 획득되는 영상에 큰 변화(예를 들어, 갑작스럽게 물체가 나타나는 경우 등)가 발생한 경우에도 에러율과 프레임률(FPS)가 일정 수준을 유지하면서, 전력 소모량이 최소가 될 수 있도록 하는 파라미터를 결정할 수 있다. 다시 말해, 신경망 학습에 기초하여 도출된 관계식에 의하여 파라미터 값 결정부(120)는 어떠한 상황에서라도 전력을 최소화하면서 수행 시간과 연산량을 최소화하고 노이즈가 적은 최적의 뎁스 맵을 추출할 수 있는 파라미터 값을 결정할 수 있다.

이후 뎁스 맵 추출부(130)는 파라미터 값 결정부(120)에서 결정된 파라미터 값에 기초하여 블록 매칭 알고리즘을 수행함으로써 스테레오 영상의 뎁스 맵을 추출할 수 있다.

본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)는 신경망 학습에 기반하여 수신된 해당 스테레오 영상에 최적화된 파라미터 값을 결정하고, 결정된 파라미터 값에 기반하여 블록 매칭 알고리즘을 수행함으로써, 무인기의 비행 중 갑작스럽게 물체가 나타나는 경우에도 노이즈가 저감된 뎁스 맵 영상을 획득할 수 있으며, 이에 따라 가까운 물체에 대한 회피 및 인식에 강인한 특성을 나타낼 수 있다.

또한, 본원의 일 실시예에 따른 스테레오 영상 처리 장치(100)는 영상처리를 진행하는 플랫폼에 적용함으로써 영상 품질 대비 수행시간을 줄여 컴퓨팅 파워(computing power)를 아낄 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도 5는 본원의 일 실시예에 따른 스테레오 영상 처리 방법에 대한 개략적인 동작 흐름도이다.

도 5에 도시된 스테레오 영상 처리 방법은 앞서 설명된 스테레오 영상 처리 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 스테레오 영상 처리 장치(100)에 대하여 설명된 내용은 도 5에도 동일하게 적용될 수 있다.

도 5를 참조하면, 본원의 일 실시예에 따른 스테레오 영상 처리 방법은, 획득부(110)에 의하여 제1영상 및 제2영상을 포함하는 스테레오 영상을 획득할 수 있다(S51). 여기서, 스테레오 영상은 무인기를 통해 획득된 것일 수 있다.

다음으로, 단계S52에서는, 파라미터 값 결정부(120)에 의하여 단계S51에서 획득한 스테레오 영상의 뎁스 맵(Depth map)을 추출하기 위한 파라미터 값을 결정할 수 있다.

이때, 단계S52에서는, 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값이 샘플 영상에 대하여 기설정된 파라미터 값에 기초한 신경망 학습을 통해 결정될 수 있다. 구체적으로, 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값은 신경망 학습에 기초하여 도출된 관계식(수학식)에 기반하여 결정될 수 있다.

또한, 단계S52에서 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값은, 샘플 영상에 블록 매칭을 수행하기 위한 초기 파라미터 값, 초기 파라미터 값에 기초하여 산출된 샘플 영상의 뎁스 맵 및 샘플 영상의 실측 영상을 입력값으로 하고, 샘플 영상의 뎁스 맵과 샘플 영상의 실측 영상의 에러율, 전력 소모량 및 프레임률을 출력값으로 하는 신경망 학습을 통해 결정될 수 있다.

이때, 초기 파라미터 값은 샘플 영상의 폭, 샘플 영상의 높이, 샘플 영상에 대한 블록 매칭시 블록의 폭, 샘플 영상에 대한 블록 매칭시 블록의 높이 및 탐색 범위 중 적어도 하나를 포함할 수 있다.

또한, 단계S52에서는, 신경망 학습의 수행시 역전파(backpropagation) 알고리즘에 기초하여 입력값에 대응하는 가중치(weight)를 조정할 수 있다.

또한, 단계S52에서는, 역전파 알고리즘 수행 시 기정의된 비용 함수에 기초하여 출력값에 대한 비용을 계산하되, 경사 하강법을 통해 출력값에 대하여 계산된 비용이 최소가 되도록 가중치를 조정할 수 있다.

또한, 단계S52에서는, 에러율 및 상기 프레임률 각각이 기설정된 조건을 충족하는지 여부를 고려하여 출력값에 대하여 계산된 비용이 최소가 되도록 가중치를 조정할 수 있다.

또한, 단계S52에서는, 에러율이 25.27% 미만이고 프레임률이 30 FPS 이상인 조건을 충족할 때의 최소 전력 소모량을 출력값에 대한 비용으로 계산할 수 있다.

다음으로, 단계S53에서는, 단계S52에서 결정된 파라미터 값에 기초하여 블록 매칭 알고리즘을 수행하여 스테레오 영상의 뎁스 맵을 추출할 수 있다.

상술한 설명에서, 단계 S51 내지 S53은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

도 6은 본원의 일 실시예에 따른 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법에 대한 개략적인 동작 흐름도이다.

도 5에 도시된 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법은 앞서 설명된 스테레오 영상 처리 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 스테레오 영상 처리 장치(100)에 대하여 설명된 내용은 도 6에도 동일하게 적용될 수 있다.

도 6을 참조하면, 본원의 일 실시예에 따른 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법은, 데이터베이스 구축부(미도시)에 의하여 샘플 영상에 대한 데이터베이스를 구축할 수 있다(S61).

다음으로, 단계S62에서는, 단계S61에서 구축된 데이터베이스를 기반으로 하여, 신경망 학습 수행부(미도시)에 의하여 샘플 영상에 대하여 기설정된 파라미터 값을 이용해 신경망 학습(Neural Network Training)을 수행할 수 있다.

이때, 단계S62에서는, 데이터베이스를 기반으로 하여, 샘플 영상에 블록 매칭을 수행하기 위한 초기 파라미터 값, 초기 파라미터 값에 기초하여 산출된 샘플 영상의 뎁스 맵 및 샘플 영상의 실측 영상을 입력값으로 하고, 샘플 영상의 뎁스 맵과 샘플 영상의 실측 영상의 에러율, 전력 소모량 및 프레임률을 출력값으로 하여 신경망 학습을 수행할 수 있다.

또한, 단계S62에서는, 신경망 학습의 수행시 역전파(backpropagation) 알고리즘에 기초하여 입력값에 대응하는 가중치(weight)를 조정할 수 있으며, 이후 단계S63에서는 단계S62에서 조정된 가중치를 고려하여, 획득한 스테레오 영상의 뎁스 맵을 추출하기 위한 블록 매칭 알고리즘의 파라미터 값을 결정할 수 있다.

또한, 단계S62에서는, 역전파 알고리즘 수행 시 기정의된 비용 함수에 기초하여 출력값에 대한 비용을 계산하되, 경사 하강법을 통해 출력값에 대하여 계산된 비용이 최소가 되도록 가중치를 조정할 수 있다.

또한, 단계S62에서는, 에러율 및 상기 프레임률 각각이 기설정된 조건을 충족하는지 여부를 고려하여 출력값에 대하여 계산된 비용이 최소가 되도록 가중치를 조정할 수 있다.

또한, 단계S62에서는, 에러율이 25.27% 미만이고 프레임률이 30 FPS 이상인 조건을 충족할 때의 최소 전력 소모량을 출력값에 대한 비용으로 계산할 수 있다.

다음으로, 단계S63에서는, 단계S62에서 수행된 신경망 학습에 기초하여 도출된 각 파라미터에 관한 관계식(수학식)을 기반으로 하여, 획득한 스테레오 영상의 뎁스 맵을 추출하기 위한 블록 매칭 알고리즘의 파라미터 값을 결정할 수 있다. 이때, 획득한 스테레오 영상은 무인기를 통해 획득한 것일 수 있다.

상술한 설명에서, 단계 S61 내지 S63은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 스테레오 영상 처리 방법 및 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 스테레오 영상 처리 방법 및 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

100: 스테레오 영상 처리 장치
110: 획득부
120: 파라미터 값 결정부
130: 뎁스 맵 추출부

Claims

(a) 제1영상 및 제2영상을 포함하는 스테레오 영상을 획득하는 단계;
(b) 상기 스테레오 영상의 뎁스 맵(Depth map)을 추출하기 위한 파라미터 값을 결정하는 단계; 및
(c) 상기 결정된 파라미터 값에 기초하여 블록 매칭 알고리즘을 수행하여 상기 스테레오 영상의 뎁스 맵을 추출하는 단계,
를 포함하고,
상기 (b) 단계에서는, 상기 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값이 샘플 영상에 대하여 기설정된 파라미터 값에 기초한 신경망 학습(Neural Network Training)을 통해 결정되고,
상기 (b) 단계에서, 상기 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값은, 상기 샘플 영상에 블록 매칭을 수행하기 위한 초기 파라미터 값, 상기 초기 파라미터 값에 기초하여 산출된 상기 샘플 영상의 뎁스 맵 및 상기 샘플 영상의 실측 영상을 입력값으로 하고, 상기 샘플 영상의 뎁스 맵과 상기 샘플 영상의 실측 영상의 에러율, 전력 소모량 및 프레임률을 출력값으로 하는 상기 신경망 학습을 통해 결정되는 것인, 스테레오 영상 처리 방법.
삭제
삭제
제1항에 있어서,
상기 초기 파라미터 값은 상기 샘플 영상의 폭, 상기 샘플 영상의 높이, 상기 샘플 영상에 대한 블록 매칭시 블록의 폭, 상기 샘플 영상에 대한 블록 매칭시 블록의 높이 및 탐색 범위 중 적어도 하나를 포함하는 것인, 스테레오 영상 처리 방법.
제1항에 있어서,
상기 (b) 단계에서는,
상기 신경망 학습의 수행시 역전파 알고리즘에 기초하여 상기 입력값에 대응하는 가중치를 조정하는 것인, 스테레오 영상 처리 방법.
제5항에 있어서,
상기 (b) 단계에서는,
상기 역전파 알고리즘 수행 시 기정의된 비용 함수에 기초하여 상기 출력값에 대한 비용을 계산하되,
경사 하강법을 통해 상기 계산된 비용이 최소가 되도록 상기 가중치를 조정하는 것인, 스테레오 영상 처리 방법.
제6항에 있어서,
상기 (b) 단계에서는,
상기 에러율 및 상기 프레임률 각각이 기설정된 조건을 충족하는지 여부를 고려하여 상기 계산된 비용이 최소가 되도록 상기 가중치를 조정하는 것인, 스테레오 영상 처리 방법.
제7항에 있어서,
상기 (b) 단계에서는,
상기 에러율이 25.27% 미만이고 상기 프레임률이 30 FPS 이상인 조건을 충족할 때의 최소 전력 소모량을 상기 비용으로 계산하는 것인, 스테레오 영상 처리 방법.
제1항에 있어서,
상기 스테레오 영상은 무인기를 통해 획득된 것인, 스테레오 영상 처리 방법.
(a) 샘플 영상에 대한 데이터베이스를 구축하는 단계;
(b) 상기 데이터베이스를 기반으로 하여, 상기 샘플 영상에 대하여 기설정된 파라미터 값을 이용해 신경망 학습(Neural Network Training)을 수행하는 단계; 및
(c) 상기 신경망 학습에 기초하여, 획득한 스테레오 영상의 뎁스 맵(Depth map)을 추출하기 위한 블록 매칭 알고리즘의 파라미터 값을 결정하는 단계,
를 포함하고,
상기 (b) 단계에서는,
상기 데이터베이스를 기반으로 하여, 상기 샘플 영상에 블록 매칭을 수행하기 위한 초기 파라미터 값, 상기 초기 파라미터 값에 기초하여 산출된 상기 샘플 영상의 뎁스 맵 및 상기 샘플 영상의 실측 영상을 입력값으로 하고, 상기 샘플 영상의 뎁스 맵과 상기 샘플 영상의 실측 영상의 에러율, 전력 소모량 및 프레임률을 출력값으로 하여 상기 신경망 학습을 수행하는 것인, 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법.
삭제
제10항에 있어서,
상기 초기 파라미터 값은 상기 샘플 영상의 폭, 상기 샘플 영상의 높이, 상기 샘플 영상에 대한 블록 매칭시 블록의 폭, 상기 샘플 영상에 대한 블록 매칭시 블록의 높이 및 탐색 범위 중 적어도 하나를 포함하는 것인, 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법.
제10항에 있어서,
상기 (b) 단계에서는,
상기 신경망 학습의 수행시 역전파 알고리즘에 기초하여 상기 입력값에 대응하는 가중치를 조정하고,
상기 (c) 단계에서는,
상기 조정된 가중치를 고려하여 상기 획득한 스테레오 영상의 뎁스 맵을 추출하기 위한 블록 매칭 알고리즘의 파라미터 값을 결정하는 것인, 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법.
제13항에 있어서,
상기 (b) 단계에서는,
상기 역전파 알고리즘 수행 시 기정의된 비용 함수에 기초하여 상기 출력값에 대한 비용을 계산하되,
경사 하강법을 통해 상기 계산된 비용이 최소가 되도록 상기 가중치를 조정하는 것인, 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법.
제14항에 있어서,
상기 (b) 단계에서는,
상기 에러율 및 상기 프레임률 각각이 기설정된 조건을 충족하는지 여부를 고려하여 상기 계산된 비용이 최소가 되도록 상기 가중치를 조정하는 것인, 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법.
제15항에 있어서,
상기 (b) 단계에서는,
상기 에러율이 25.27% 미만이고 상기 프레임률이 30 FPS 이상인 조건을 충족할 때의 최소 전력 소모량을 상기 비용으로 계산하는 것인, 스테레오 영상의 뎁스 맵 추출을 위한 파라미터 값 결정 방법.
제1영상 및 제2영상을 포함하는 스테레오 영상을 획득하는 획득부;
상기 스테레오 영상의 뎁스 맵(Depth map)을 추출하기 위한 파라미터 값을 결정하는 파라미터 값 결정부; 및
상기 결정된 파라미터 값에 기초하여 블록 매칭 알고리즘을 수행하여 상기 스테레오 영상의 뎁스 맵을 추출하는 뎁스 맵 추출부,
를 포함하고,
상기 파라미터 값 결정부는,
상기 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값을 샘플 영상에 대하여 기설정된 파라미터 값에 기초한 신경망 학습(Neural Network Training)을 통해 결정하되,
상기 스테레오 영상의 뎁스 맵을 추출하기 위한 파라미터 값은, 상기 샘플 영상에 블록 매칭을 수행하기 위한 초기 파라미터 값, 상기 초기 파라미터 값에 기초하여 산출된 상기 샘플 영상의 뎁스 맵 및 상기 샘플 영상의 실측 영상을 입력값으로 하고, 상기 샘플 영상의 뎁스 맵과 상기 샘플 영상의 실측 영상의 에러율, 전력 소모량 및 프레임률을 출력값으로 하는 상기 신경망 학습을 통해 결정되는 것인, 스테레오 영상 처리 장치.
제17항에 있어서,
상기 파라미터 값 결정부는,
상기 신경망 학습 수행시 역전파 알고리즘에 기초하여 상기 신경망 학습의 입력값에 대응하는 가중치를 조정하는 것인, 스테레오 영상 처리 장치.
제18항에 있어서,
상기 파라미터 값 결정부는,
상기 역전파 알고리즘 수행 시 기정의된 비용 함수에 기초하여 상기 신경망 학습의 출력값에 대한 비용을 계산하되,
경사 하강법을 통해 상기 계산된 비용이 최소가 되도록 상기 가중치를 조정하는 것인, 스테레오 영상 처리 장치.