KR101600183B1

KR101600183B1 - 이미지로부터 깊이 정보를 추출하는 방법 및 장치

Info

Publication number: KR101600183B1
Application number: KR1020140085203A
Authority: KR
Inventors: 박현상
Original assignee: 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date: 2014-07-08
Filing date: 2014-07-08
Publication date: 2016-03-04
Also published as: WO2016006901A1; KR20160005984A

Abstract

이미지로부터 깊이 정보를 추출하는 방법은 제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 추출하는 단계; 상기 제1 패치 데이터를 라스터 스캔 오더(raster scan order)로 입력 받는 단계; 복수의 블러 패치(blurred patch)들을 생성하기 위해, 1차원 수평방향 PSF(Point Spread Function) 및 1차원 수직방향 PSF를 적용하는 복수의 필터들을 이용하여 상기 라스터 스캔 오더로 입력되는 상기 제1 패치 데이터를 처리하는 단계; 상기 제1 패치 데이터와 대응하는, 상기 제1 이미지와 구별되는 제2 이미지의 상기 특정 화소 위치를 중심으로 상기 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 추출하는 단계; 상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 단계; 및 상기 비교 결과에 기초하여, 상기 특정 화소 위치에서의 깊이를 결정하는 단계를 포함한다.

Description

이미지로부터 깊이 정보를 추출하는 방법 및 장치{METHOD AND APPARATUS FOR EXTRACTING DEPTH INFORMATION FROM IMAGE}

본 발명은 이미지로부터 깊이 정보를 추출하는 장치 및 그 방법에 관한 것으로, 보다 구체적으로 1차원 PSF(Point Spread Function)를 적용하여 이미지로부터 깊이 정보를 추출하는 기술에 관한 것이다.

기존의 이미지로부터 깊이 정보를 추출하는 기술은 제1 이미지 및 제1 이미지와 구별되는 제2 이미지를 기초로 2차원 PSF를 이용하여 특정 화소 위치에서의 깊이를 결정한다. 예를 들어, 기존의 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 도 1을 살펴보면, 기존의 깊이 정보를 추출하는 장치는 제1 이미지(110)의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 추출한 후, 추출된 제1 패치 데이터에 복수의 필터들(120)을 이용하여 2차원 PSF를 적용함으로써, 복수의 블러 패치(blurred patch)들(130)을 생성한다. 여기서, 복수의 필터들(120)은 2차원 PSF를 적용하는 필터로서, 제1 패치 데이터에 2차원 PSF가 적용된 결과값은 화소의 밝기값을 의미할 수 있다.

더 구체적인 예를 들면, 기존의 깊이 정보를 추출하는 장치는 제1 이미지(110)의 특정 화소 위치 (x, y)를 중심으로 MxM 영역에 해당하는 제1 패치 데이터를 추출한 후, 추출된 제1 패치 데이터에 2차원 PSF를 적용함으로써, MxM 화소로 구성된 복수의 블러 패치들(130)을 생성할 수 있다. 이 때, 제1 패치 데이터는 특정 화소 위치 (x, y)를 중심으로 MxM 영역에 해당하는 복수의 화소들 각각에 대응하는 데이터로서, 복수의 화소들은 (x+i, y+i), -M/2≤i, j≤M/2로 정의될 수 있다. 또한, 복수의 블러 패치들(130)은 N개의 깊이에 대응하는 N개의 복수의 필터들(120)에 의해 생성되기 때문에, N개의 MxM 화소로 구성될 수 있다.

그 후, 기존의 깊이 정보를 추출하는 장치는 제1 패치 데이터와 대응하는 제2 이미지(140)의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 추출하여, 제2 패치 데이터와 복수의 블러 패치들(130) 각각 사이의 유사도를 비교함으로써, 특정 화소 위치에서의 깊이를 결정한다. 예를 들어, 기존의 깊이 정보를 추출하는 장치는 제1 패치 데이터와 대응하도록, 제2 이미지(140)의 특정 화소 위치(x, y)를 중심으로 MxM 영역에 해당하는 제2 패치 데이터를 추출하여, 복수의 블러 패치들(130)과 유사도를 비교함으로써, 특정 화소 위치에서의 깊이를 결정할 수 있다.

그러나, 기존의 깊이 정보를 추출하는 기술은 제1 패치 데이터에 2차원 PSF를 적용하므로, 연산의 복잡도가 증가되기 때문에, 복수의 블러 패치들(130)을 생성하는 과정의 소요 시간이 긴 단점이 있다.

이에, 본 명세서에서는 1차원 PSF를 이용하여, 연산의 복잡도를 감소시킴으로써, 복수의 블러 패치들(130)을 생성하는 과정의 소요 시간을 단축시키는 기술을 제안한다.

본 발명의 실시예들은 복수의 블러 패치들을 생성하는 과정에서 1차원 PSF를 이용함으로써, 연산의 복잡도를 감소시키고, 연산 소요 시간을 단축시키는 방법, 장치 및 시스템을 제공한다.

이 때, 본 발명의 실시예들은 1차원 수직방향 PSF로부터 1차원 수평방향 PSF의 순서 또는 1차원 수평방향 PSF로부터 1차원 수직방향 PSF의 순서 중 어느 하나의 순서로 1차원 PSF를 적용함으로써, 제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 빠짐없이 밝기값으로 대치하는 방법, 장치 및 시스템을 제공한다.

본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 방법은 제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 추출하는 단계; 상기 제1 패치 데이터를 라스터 스캔 오더(raster scan order)로 입력 받는 단계; 복수의 블러 패치(blurred patch)들을 생성하기 위해, 1차원 수평방향 PSF(Point Spread Function) 및 1차원 수직방향 PSF를 적용하는 복수의 필터들을 이용하여 상기 라스터 스캔 오더로 입력되는 상기 제1 패치 데이터를 처리하는 단계; 상기 제1 패치 데이터와 대응하는, 상기 제1 이미지와 구별되는 제2 이미지의 상기 특정 화소 위치를 중심으로 상기 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 추출하는 단계; 상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 단계; 및 상기 비교 결과에 기초하여, 상기 특정 화소 위치에서의 깊이를 결정하는 단계를 포함한다.

상기 제1 패치 데이터를 라스터 스캔 오더로 입력 받는 단계는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받는 단계를 포함할 수 있다.

상기 제1 패치 데이터를 처리하는 단계는 상기 복수의 필터들 각각에 대해, 상기 수평방향으로 입력되는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수평방향 PSF를 적용하는 단계; 상기 1차원 수평방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 상기 복수의 필터들 각각에 포함되는 라인 메모리(line memory)에 저장하는 단계; 및 상기 복수의 필터들 각각에 대해, 상기 라인 메모리에 저장된 상기 1차원 수평방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수직방향 PSF를 적용하는 단계를 포함할 수 있다.

상기 제1 패치 데이터를 라스터 스캔 오더로 입력 받는 단계는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받는 단계를 포함할 수 있다.

상기 제1 패치 데이터를 처리하는 단계는 상기 복수의 필터들 각각에 대해, 상기 수직방향으로 입력되는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수직방향 PSF를 적용하는 단계; 상기 1차원 수직방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 상기 복수의 필터들 각각에 포함되는 라인 메모리에 저장하는 단계; 및 상기 복수의 필터들 각각에 대해, 상기 라인 메모리에 저장된 상기 1차원 수직방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수평방향 PSF를 적용하는 단계를 포함할 수 있다.

상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 단계는 SAD(Sum of Absolute Difference) 기법, SSD(Sum of Squared Difference) 기법, MAD(Mean of Absolute Difference) 기법 또는 SASE(Sum of Squared Error) 기법 중 적어도 어느 하나를 이용하여 상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 단계일 수 있다.

상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 단계는 상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 차이값을 획득하는 단계를 포함하고, 상기 비교 결과에 기초하여, 상기 특정 화소 위치에서의 깊이를 결정하는 단계는 상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 차이값 중 가장 작은 차이값을 선택하는 단계; 및 상기 가장 작은 차이값을 상기 특정 화소 위치에서의 깊이로 결정하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 추출하는 제1 패치 데이터 추출부; 상기 제1 패치 데이터를 라스터 스캔 오더(raster scan order)로 입력 받는 입력부; 복수의 블러 패치(blurred patch)들을 생성하기 위해, 1차원 수평방향 PSF(Point Spread Function) 및 1차원 수직방향 PSF를 적용하는 복수의 필터들을 이용하여 상기 라스터 스캔 오더로 입력되는 상기 제1 패치 데이터를 처리하는 처리부; 상기 제1 패치 데이터와 대응하는, 상기 제1 이미지와 구별되는 제2 이미지의 상기 특정 화소 위치를 중심으로 상기 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 추출하는 제2 패치 데이터 추출부; 상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 비교부; 및 상기 비교 결과에 기초하여, 상기 특정 화소 위치에서의 깊이를 결정하는 결정부를 포함한다.

상기 입력부는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받을 수 있다.

상기 처리부는 상기 복수의 필터들 각각에 대해, 상기 수평방향으로 입력되는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수평방향 PSF를 적용하고, 상기 1차원 수평방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 상기 복수의 필터들 각각에 포함되는 라인 메모리(line memory)에 저장하며, 상기 복수의 필터들 각각에 대해, 상기 라인 메모리에 저장된 상기 1차원 수평방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수직방향 PSF를 적용할 수 있다.

상기 입력부는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받을 수 있다.

상기 처리부는 상기 복수의 필터들 각각에 대해, 상기 수직방향으로 입력되는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수직방향 PSF를 적용하고, 상기 1차원 수직방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 상기 복수의 필터들 각각에 포함되는 라인 메모리에 저장하며, 상기 복수의 필터들 각각에 대해, 상기 라인 메모리에 저장된 상기 1차원 수직방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수평방향 PSF를 적용할 수 있다.

상기 비교부는 SAD(Sum of Absolute Difference) 기법, SSD(Sum of Squared Difference) 기법, MAD(Mean of Absolute Difference) 기법 또는 SASE(Sum of Squared Error) 기법 중 적어도 어느 하나를 이용하여 상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교할 수 있다.

본 발명의 실시예들은 복수의 블러 패치들을 생성하는 과정에서 1차원 PSF를 이용함으로써, 연산의 복잡도를 감소시키고, 연산 소요 시간을 단축시키는 방법, 장치 및 시스템을 제공할 수 있다.

이 때, 본 발명의 실시예들은 1차원 수직방향 PSF로부터 1차원 수평방향 PSF의 순서 또는 1차원 수평방향 PSF로부터 1차원 수직방향 PSF의 순서 중 어느 하나의 순서로 1차원 PSF를 적용함으로써, 제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 빠짐없이 밝기값으로 대치하는 방법, 장치 및 시스템을 제공할 수 있다.

도 1은 기존의 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 개념도이다.
도 2는 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 개념도이다.
도 3은 본 발명의 일실시예에 따른 제1 패치 데이터 입력 과정 및 1차원 PSF 적용 과정을 나타낸 도면이다.
도 4는 본 발명의 다른 일실시예에 따른 제1 패치 데이터 입력 과정 및 1차원 PSF 적용 과정을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 1차원 수평방향 PSF 및 1차원 수직방향 PSF를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 플로우 차트이다.
도 7은 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치를 나타낸 블록도이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 2는 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 개념도이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 제1 이미지(210) 및 제1 이미지와 구별되는 제2 이미지(220)를 기초로 1차원 PSF를 이용하여 특정 화소 위치에서의 깊이를 결정한다. 이 때, 제1 이미지(210)는 작은 조리개를 사용하여 모든 깊이에 대해서 선명하게 찍힌 영상일 수 있고, 제2 이미지(220)는 제1 이미지(210)를 획득하는 과정에서 이용되는 작은 조리개에 비해 상대적으로 큰 조리개를 사용하여, 초점이 맞는 깊이에서는 선명하게 찍히지만, 초점이 맞는 깊이로부터 멀어질수록 선명도가 떨어지는 영상일 수 있다. 또한, 1차원 PSF는 밝기값으로 대변될 수 있는 화소의 데이터가 공간 상에서 어떤 분포를 가지는 지를 나타내는 1차원 함수로서, 1차원 수직방향 PSF 및 1차원 수평방향 PSF를 의미할 수 있다.

구체적으로, 이미지로부터 깊이 정보를 추출하는 장치는 제1 이미지(210)의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 추출한 후, 추출된 제1 패치 데이터를 라스터 스캔 오더(raster scan order)로 입력 받는다. 이 때, 라스터 스캔 오더는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터가 좌측에서 우측으로, 상단에서 하단으로 순차적으로 입력되는 방식을 의미한다.

그 다음, 이미지로부터 깊이 정보를 추출하는 장치는 복수의 블러 패치들(230)을 생성하기 위해, 1차원 수평방향 PSF 및 1차원 수직방향 PSF를 적용하는 복수의 필터들(240)을 이용하여 라스터 스캔 오더로 입력되는 제1 패치 데이터를 처리한다.

이 때, 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받기 때문에, 복수의 필터들(240) 각각에 대해, 수평방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수평방향 PSF를 적용하여 복수의 필터들(240) 각각에 포함되는 라인 메모리(250)에 저장할 수 있다. 그 다음, 이미지로부터 깊이 정보를 추출하는 장치는 라인 메모리(250)에 저장된 1차원 수평방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로 읽어서 1차원 수직방향 PSF를 적용할 수 있다.

예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 제1 이미지(210)의 특정 화소 위치 (x, y)를 중심으로 MxM 영역에 해당하는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 대해서 k개의 탭을 가지는 1차원 PSF를 적용할 경우, 수평방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터 k-1개의 행 각각에 1차원 수평방향 PSF를 적용하여 라인 메모리(250)에 저장할 수 있다. 그 다음, 이미지로부터 깊이 정보를 추출하는 장치는 현재 수평방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터의 마지막 행에 1차원 수평방향 PSF를 적용하고, 라인 메모리(250)에 저장된 1차원 수평방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터 k-1개의 행과 결합하여, 1차원 수직방향 PSF를 적용할 수 있다.

반면에, 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받을 수도 있기 때문에, 복수의 필터들(240) 각각에 대해, 수직방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수직방향 PSF를 적용하여 복수의 필터들(240) 각각에 포함되는 라인 메모리(250)에 저장할 수 있다. 그 다음, 이미지로부터 깊이 정보를 추출하는 장치는 라인 메모리(250)에 저장된 1차원 수직방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로 읽어서 1차원 수평방향 PSF를 적용할 수도 있다.

예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 제1 이미지(210)의 특정 화소 위치 (x, y)를 중심으로 MxM 영역에 해당하는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 대해서 k개의 탭을 가지는 1차원 PSF를 적용할 경우, 수직방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터 k-1개의 열 각각에 1차원 수직방향 PSF를 적용하여 라인 메모리(250)에 저장할 수 있다. 그 다음, 이미지로부터 깊이 정보를 추출하는 장치는 현재 수직방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터의 마지막 열에 1차원 수직방향 PSF를 적용하고, 라인 메모리(250)에 저장된 1차원 수직방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터 k-1개의 열과 결합하여, 1차원 수평방향 PSF를 적용할 수 있다.

이 때, 1차원 PSF 적용 과정은 복수의 필터들(240) 각각에서 수행되기 때문에, 복수의 필터들(240)의 개수에 대응하는 복수의 블러 패치들(230)이 생성될 수 있다. 여기서, 복수의 필터들(240)은 1차원 수직방향 PSF 및 1차원 수평방향 PSF를 적용하는 필터로서, 제1 패치 데이터에 1차원 PSF가 적용된 결과값은 화소의 밝기값을 의미할 수 있다. 이에 대한 상세한 설명은 도 3 및 도 4를 참조하여 기재하기로 한다.

그 후, 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터와 대응하는, 제1 이미지(210)와 구별되는 제2 이미지(220)의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 추출하여, 제2 패치 데이터와 복수의 블러 패치들(230) 각각 사이의 유사도를 비교함으로써, 특정 화소 위치에서의 깊이를 결정한다. 이 때, 이미지로부터 깊이 정보를 추출하는 장치는 제2 패치 데이터와 복수의 블러 패치들(230) 각각 사이의 유사도를 비교하는 과정에서 다양한 기법을 이용할 수 있다. 예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 SAD(Sum of Absolute Difference) 기법, SSD(Sum of Squared Difference) 기법, MAD(Mean of Absolute Difference) 기법 또는 SASE(Sum of Squared Error) 기법 중 적어도 어느 하나를 이용하여 제2 패치 데이터와 복수의 블러 패치들(230) 각각 사이의 유사도를 비교함으로써, 비교 결과에 기초하여 제 1이미지(210) 또는 제2 이미지(220)의 특정 화소 위치에서의 깊이를 결정할 수 있다. 더 구체적인 예를 들면, 이미지로부터 깊이 정보를 추출하는 장치는 제2 패치 데이터 및 복수의 블러 패치들(230) 각각 사이의 차이값을 획득하고, 제2 패치 데이터 및 복수의 블러 패치들(230) 각각 사이의 차이값 중 가장 작은 차이값을 선택함으로써, 가장 작은 차이값을 특정 화소 위치에서의 깊이로 결정할 수 있다.

이와 같이, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 복수의 블러 패치들(230)을 생성하는 과정에서, 1차원 PSF(1차원 수평방향 PSF 및 1차원 수직방향 PSF)를 이용함으로써, 연산의 복잡도를 감소시키고, 연산 소요 시간을 단축시킬 수 있다.

도 3은 본 발명의 일실시예에 따른 제1 패치 데이터 입력 과정 및 1차원 PSF 적용 과정을 나타낸 도면이다. 이하, 본 발명의 일실시예에 따른 제1 패치 데이터 입력 과정 및 1차원 PSF 적용 과정을 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받고, 1차원 수평방향 PSF를 적용한 후, 1차원 수직방향 PSF를 적용하는 경우로 설명한다.

도 3을 참조하면, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터(310)에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받을 수 있다. 예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터(310)에 포함되는 복수의 화소들 각각의 데이터로 복수의 행들을 구성하여, 하나의 행을 구성하는 데이터들의 입력이 완료되면, 다음 행을 구성하는 데이터들의 입력을 받을 수 있다. 더 구체적인 예를 들면, 이미지로부터 깊이 정보를 추출하는 장치는 제1 행(320)에 포함되는 데이터들을 좌측에서 우측의 순서로 입력 받고, 제1 행(320)에 포함되는 데이터들의 입력이 완료되면, 제2 행(330)에 포함되는 데이터들을 좌측에서 우측의 순서로 입력 받을 수 있다.

이와 같이 입력되는 제1 패치 데이터(310)에 포함되는 복수의 화소들 각각의 데이터는 복수의 필터들 각각에서, 1차원 수평방향 PSF가 적용되어 복수의 필터들 각각에 포함되는 라인 메모리에 저장될 수 있다. 예를 들어, 복수의 행들을 구성하여 입력되는 제1 패치 데이터(310)에 포함되는 복수의 화소들 각각의 데이터는 하나의 행 별로 1차원 수평방향 PSF가 적용되어 라인 메모리에 저장될 수 있다. 더 구체적인 예를 들면, 이미지로부터 깊이 정보를 추출하는 장치는 제1 행(320)에 포함되는 데이터들에 1차원 수평방향 PSF를 적용하여 라인 메모리에 저장한 후, 제2 행(330)에 포함되는 데이터들에 1차원 수평방향 PSF를 적용하여 라인 메모리에 저장할 수 있다.

그 후, 이미지로부터 깊이 정보를 추출하는 장치는 라인 메모리에 저장된 1차원 수평방향 PSF가 적용된 제1 패치 데이터(310)에 포함되는 복수의 화소들 각각의 데이터에 1차원 수직방향 PSF를 적용할 수 있다. 예를 들어, 복수의 행들 각각 별로 1차원 수평방향 PSF가 적용되어 라인 메모리에 저장된 제1 패치 데이터(310)에 포함되는 복수의 화소들 각각의 데이터에는 1차원 수직방향 PSF가 적용될 수 있다. 더 구체적인 예를 들면, 이미지로부터 깊이 정보를 추출하는 장치는 1차원 수평방향 PSF가 적용된 제1 행(320)에 포함되는 데이터들 및 1차원 수평방향 PSF가 적용된 제2 행(330)에 포함되는 데이터들에 1차원 수직방향 PSF를 적용하여 제1 패치 데이터(310)에 포함되는 복수의 화소들 각각의 데이터에 대응하는 밝기값으로 구성되는 블러 패치를 생성할 수 있다.

이와 같이 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 1차원 수평방향 PSF로부터 1차원 수직방향 PSF의 순서로 1차원 PSF를 적용함으로써, 제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 빠짐없이 밝기값으로 대치할 수 있다. 이 때, 1차원 PSF 적용 과정은 복수의 필터들 각각에서 수행되기 때문에, 복수의 필터들의 개수에 대응하는 복수의 블러 패치들이 생성될 수 있다.

도 4는 본 발명의 다른 일실시예에 따른 제1 패치 데이터 입력 과정 및 1차원 PSF 적용 과정을 나타낸 도면이다. 이하, 본 발명의 다른 일실시예에 따른 제1 패치 데이터 입력 과정 및 1차원 PSF 적용 과정을 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받고, 1차원 수직방향 PSF를 적용한 후, 1차원 수평방향 PSF를 적용하는 경우로 설명한다.

도 4를 참조하면, 본 발명의 다른 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터(410)에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받을 수 있다. 예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터(410)에 포함되는 복수의 화소들 각각의 데이터로 복수의 열들을 구성하여, 하나의 열을 구성하는 데이터들의 입력이 완료되면, 다음 열을 구성하는 데이터들의 입력을 받을 수 있다. 더 구체적인 예를 들면, 이미지로부터 깊이 정보를 추출하는 장치는 제1 열(420)에 포함되는 데이터들을 상단에서 하단의 순서로 입력 받고, 제2 열(430)에 포함되는 데이터들을 상단에서 하단의 순서로 입력 받으며, 제3 열(440)에 포함되는 데이터들을 상단에서 하단의 순서로 입력 받을 수 있다.

이와 같이 입력되는 제1 패치 데이터(410)에 포함되는 복수의 화소들 각각의 데이터는 복수의 필터들 각각에서, 1차원 수직방향 PSF가 적용되어 복수의 필터들 각각에 포함되는 라인 메모리에 저장될 수 있다. 예를 들어, 복수의 열들을 구성하여 입력되는 제1 패치 데이터(410)에 포함되는 복수의 화소들 각각의 데이터는 하나의 열 별로 1차원 수직방향 PSF가 적용되어 라인 메모리에 저장될 수 있다. 더 구체적인 예를 들면, 이미지로부터 깊이 정보를 추출하는 장치는 제1 열(420)에 포함되는 데이터들에 1차원 수직방향 PSF를 적용하여 라인 메모리에 저장하고, 제2 열(430)에 포함되는 데이터들에 1차원 수직방향 PSF를 적용하여 라인 메모리에 저장한 후, 제3 열(440)에 포함되는 데이터들에 1차원 수직방향 PSF를 적용하여 라인 메모리에 저장할 수 있다.

그 후, 이미지로부터 깊이 정보를 추출하는 장치는 라인 메모리에 저장된 1차원 수직방향 PSF가 적용된 제1 패치 데이터(410)에 포함되는 복수의 화소들 각각의 데이터에 1차원 수평방향 PSF를 적용할 수 있다. 예를 들어, 복수의 열들 각각 별로 1차원 수직방향 PSF가 적용되어 라인 메모리에 저장된 제1 패치 데이터(410)에 포함되는 복수의 화소들 각각의 데이터에는 1차원 수평방향 PSF가 적용될 수 있다. 더 구체적인 예를 들면, 이미지로부터 깊이 정보를 추출하는 장치는 1차원 수직방향 PSF가 적용된 제1 열(420)에 포함되는 데이터들, 1차원 수직방향 PSF가 적용된 제2 열(430)에 포함되는 데이터들 및 1차원 수직방향 PSF가 적용된 제3 열(440)에 포함되는 데이터들에 1차원 수평방향 PSF를 적용하여 제1 패치 데이터(410)에 포함되는 복수의 화소들 각각의 데이터에 대응하는 밝기값으로 구성되는 블러 패치를 생성할 수 있다.

이와 같이 본 발명의 다른 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 1차원 수직방향 PSF로부터 1차원 수평방향 PSF의 순서로 1차원 PSF를 적용함으로써, 제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 빠짐없이 밝기값으로 대치할 수 있다. 이 때, 1차원 PSF 적용 과정은 복수의 필터들 각각에서 수행되기 때문에, 복수의 필터들의 개수에 대응하는 복수의 블러 패치들이 생성될 수 있다.

도 5는 본 발명의 일실시예에 따른 1차원 수평방향 PSF 및 1차원 수직방향 PSF를 나타낸 도면이다.

도 5를 참조하면, 본 발명의 일실시예에 따른 1차원 수평방향 PSF(510) 및 1차원 수직방향 PSF(520)은 분리 가능한 2차원 PSF로부터 수평성분의 밝기 가중치 및 수직성분의 밝기 가중치를 각각 분리함으로써, 획득될 수 있다.

예를 들어, 1차원 수평방향 PSF(510) 및 1차원 수직방향 PSF(520)은 2차원 PSF인 가우시안 필터(Gaussian filter)(530)로부터 수평성분의 밝기 가중치 및 수직성분의 밝기 가중치를 각각 분리함으로써, 획득될 수 있다. 그러나, 본 발명의 일실시예에 따른 1차원 수평방향 PSF(510) 및 1차원 수직방향 PSF(520)는 이에 제한되거나 한정되지 않고, 기존의 다양한 분리 가능한 2차원 PSF를 갖는 필터의 수평성분의 밝기 가중치 및 수직성분의 밝기 가중치를 각각 분리함으로써, 획득될 수 있다.

도 6은 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 방법을 나타낸 플로우 차트이다.

도 6을 참조하면, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 추출한다(610).

이어서, 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터를 라스터 스캔 오더(raster scan order)로 입력 받는다(620). 이 때, 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받을 수 있다. 또한, 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받을 수 있다.

그 다음, 이미지로부터 깊이 정보를 추출하는 장치는 복수의 블러 패치(blurred patch)들을 생성하기 위해, 1차원 수평방향 PSF(Point Spread Function) 및 1차원 수직방향 PSF를 적용하는 복수의 필터들을 이용하여 라스터 스캔 오더로 입력되는 제1 패치 데이터를 처리한다(630).

이 때, 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받은 경우, 이미지로부터 깊이 정보를 추출하는 장치는 복수의 필터들 각각에 대해, 수평방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수평방향 PSF를 적용하고, 1차원 수평방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 복수의 필터들 각각에 포함되는 라인 메모리(line memory)에 저장하며, 복수의 필터들 각각에 대해, 라인 메모리에 저장된 1차원 수평방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수직방향 PSF를 적용함으로써, 제1 패치 데이터를 처리할 수 있다.

또한, 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받은 경우, 이미지로부터 깊이 정보를 추출하는 장치는 복수의 필터들 각각에 대해, 수직방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수직방향 PSF를 적용하고, 1차원 수직방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 복수의 필터들 각각에 포함되는 라인 메모리에 저장하며, 복수의 필터들 각각에 대해, 라인 메모리에 저장된 1차원 수직방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수평방향 PSF를 적용함으로써, 제1 패치 데이터를 처리할 수 있다.

그 다음, 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터와 대응하는, 제1 이미지와 구별되는 제2 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 추출한다(640).

그 다음, 이미지로부터 깊이 정보를 추출하는 장치는 제2 패치 데이터 및 복수의 블러 패치들 각각 사이의 유사도를 비교한다(650). 이 때, 이미지로부터 깊이 정보를 추출하는 장치는 SAD(Sum of Absolute Difference) 기법, SSD(Sum of Squared Difference) 기법, MAD(Mean of Absolute Difference) 기법 또는 SASE(Sum of Squared Error) 기법 중 적어도 어느 하나를 이용하여 제2 패치 데이터 및 복수의 블러 패치들 각각 사이의 유사도를 비교할 수 있다.

그 후, 이미지로부터 깊이 정보를 추출하는 장치는 비교 결과에 기초하여, 특정 화소 위치에서의 깊이를 결정한다(660).

예를 들어, 이미지로부터 깊이 정보를 추출하는 장치는 제2 패치 데이터 및 복수의 블러 패치들 각각 사이의 차이값을 획득하고, 제2 패치 데이터 및 복수의 블러 패치들 각각 사이의 차이값 중 가장 작은 차이값을 선택함으로써, 선택된 가장 작은 차이값을 특정 화소 위치에서의 깊이로 결정할 수 있다.

도 7은 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치를 나타낸 블록도이다.

도 7을 참조하면, 본 발명의 일실시예에 따른 이미지로부터 깊이 정보를 추출하는 장치는 제1 패치 데이터 추출부(710), 입력부(720), 처리부(730), 제2 패치 데이터 추출부(740), 비교부(750) 및 결정부(760)를 포함한다.

제1 패치 데이터 추출부(710)는 제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 추출한다.

입력부(720)는 제1 패치 데이터를 라스터 스캔 오더(raster scan order)로 입력 받는다.

이 때, 입력부(720)는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받는다. 또한, 입력부(720)는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받을 수 있다.

처리부(730)는 복수의 블러 패치(blurred patch)들을 생성하기 위해, 1차원 수평방향 PSF(Point Spread Function) 및 1차원 수직방향 PSF를 적용하는 복수의 필터들을 이용하여 라스터 스캔 오더로 입력되는 제1 패치 데이터를 처리한다.

이 때, 처리부(730)는 입력부(720)에서 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받은 경우, 복수의 필터들 각각에 대해, 수평방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수평방향 PSF를 적용하고, 1차원 수평방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 복수의 필터들 각각에 포함되는 라인 메모리(line memory)에 저장하며, 복수의 필터들 각각에 대해, 라인 메모리에 저장된 1차원 수평방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수직방향 PSF를 적용함으로써, 제1 패치 데이터를 처리할 수 있다.

또한, 처리부(730)는 입력부(720)에서 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받은 경우, 복수의 필터들 각각에 대해, 수직방향으로 입력되는 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수직방향 PSF를 적용하고, 1차원 수직방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 복수의 필터들 각각에 포함되는 라인 메모리에 저장하며, 복수의 필터들 각각에 대해, 라인 메모리에 저장된 1차원 수직방향 PSF가 적용된 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 1차원 수평방향 PSF를 적용함으로써, 제1 패치 데이터를 처리할 수 있다.

제2 패치 데이터 추출부(740)는 제1 패치 데이터와 대응하는, 제1 이미지와 구별되는 제2 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 추출한다.

비교부(750)는 제2 패치 데이터 및 복수의 블러 패치들 각각 사이의 유사도를 비교한다.

이 때, 비교부(750)는 SAD(Sum of Absolute Difference) 기법, SSD(Sum of Squared Difference) 기법, MAD(Mean of Absolute Difference) 기법 또는 SASE(Sum of Squared Error) 기법 중 적어도 어느 하나를 이용하여 제2 패치 데이터 및 복수의 블러 패치들 각각 사이의 유사도를 비교할 수 있다.

결정부(760)는 결과에 기초하여, 특정 화소 위치에서의 깊이를 결정한다.

예를 들어, 비교부(750)가 제2 패치 데이터 및 복수의 블러 패치들 각각 사이의 차이값을 획득하고, 결정부(760)에서 제2 패치 데이터 및 복수의 블러 패치들 각각 사이의 차이값 중 가장 작은 차이값을 선택함으로써, 선택된 가장 작은 차이값이 특정 화소 위치에서의 깊이로 결정될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 추출하는 단계;
1차원 수평방향 PSF(Point Spread Function) 및 1차원 수직방향 PSF를 적용할 순서에 기초하여 상기 제1 패치 데이터를 라스터 스캔 오더(raster scan order)로 입력 받는 단계;
복수의 블러 패치(blurred patch)들을 생성하기 위해, 상기 1차원 수평방향 PSF 및 상기 1차원 수직방향 PSF를 순차적으로 적용하는 복수의 필터들을 이용하여 상기 라스터 스캔 오더로 입력되는 상기 제1 패치 데이터를 처리하는 단계;
상기 제1 패치 데이터와 대응하는, 상기 제1 이미지와 구별되는 제2 이미지의 상기 특정 화소 위치를 중심으로 상기 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 추출하는 단계;
상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 단계; 및
상기 비교 결과에 기초하여, 상기 특정 화소 위치에서의 깊이를 결정하는 단계
를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
제1항에 있어서,
상기 제1 패치 데이터를 라스터 스캔 오더로 입력 받는 단계는
상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받는 단계
를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
제2항에 있어서,
상기 제1 패치 데이터를 처리하는 단계는
상기 복수의 필터들 각각에 대해, 상기 수평방향으로 입력되는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수평방향 PSF를 적용하는 단계;
상기 1차원 수평방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 상기 복수의 필터들 각각에 포함되는 라인 메모리(line memory)에 저장하는 단계; 및
상기 복수의 필터들 각각에 대해, 상기 라인 메모리에 저장된 상기 1차원 수평방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수직방향 PSF를 적용하는 단계
를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
제1항에 있어서,
상기 제1 패치 데이터를 라스터 스캔 오더로 입력 받는 단계는
상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받는 단계
를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
제4항에 있어서,
상기 제1 패치 데이터를 처리하는 단계는
상기 복수의 필터들 각각에 대해, 상기 수직방향으로 입력되는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수직방향 PSF를 적용하는 단계;
상기 1차원 수직방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 상기 복수의 필터들 각각에 포함되는 라인 메모리에 저장하는 단계; 및
상기 복수의 필터들 각각에 대해, 상기 라인 메모리에 저장된 상기 1차원 수직방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수평방향 PSF를 적용하는 단계
를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
제1항에 있어서,
상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 단계는
SAD(Sum of Absolute Difference) 기법, SSD(Sum of Squared Difference) 기법, MAD(Mean of Absolute Difference) 기법 또는 SASE(Sum of Squared Error) 기법 중 적어도 어느 하나를 이용하여 상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 단계인 이미지로부터 깊이 정보를 추출하는 방법.
제6항에 있어서,
상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 단계는
상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 차이값을 획득하는 단계
를 포함하고,
상기 비교 결과에 기초하여, 상기 특정 화소 위치에서의 깊이를 결정하는 단계는
상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 차이값 중 가장 작은 차이값을 선택하는 단계; 및
상기 가장 작은 차이값을 상기 특정 화소 위치에서의 깊이로 결정하는 단계
를 포함하는 이미지로부터 깊이 정보를 추출하는 방법.
제1항 내지 제7항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
제1 이미지의 특정 화소 위치를 중심으로 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제1 패치 데이터를 추출하는 제1 패치 데이터 추출부;
1차원 수평방향 PSF(Point Spread Function) 및 1차원 수직방향 PSF를 적용할 순서에 기초하여 상기 제1 패치 데이터를 라스터 스캔 오더(raster scan order)로 입력 받는 입력부;
복수의 블러 패치(blurred patch)들을 생성하기 위해, 상기 1차원 수평방향 PSF 및 상기 1차원 수직방향 PSF를 순차적으로 적용하는 복수의 필터들을 이용하여 상기 라스터 스캔 오더로 입력되는 상기 제1 패치 데이터를 처리하는 처리부;
상기 제1 패치 데이터와 대응하는, 상기 제1 이미지와 구별되는 제2 이미지의 상기 특정 화소 위치를 중심으로 상기 미리 설정된 영역에 해당하는 복수의 화소들 각각의 데이터를 포함하는 제2 패치 데이터를 추출하는 제2 패치 데이터 추출부;
상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 비교부; 및
상기 비교 결과에 기초하여, 상기 특정 화소 위치에서의 깊이를 결정하는 결정부
를 포함하는 이미지로부터 깊이 정보를 추출하는 장치.
제9항에 있어서,
상기 입력부는
상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수평방향으로부터 수직방향의 순서로 입력 받는 이미지로부터 깊이 정보를 추출하는 장치.
제10항에 있어서,
상기 처리부는
상기 복수의 필터들 각각에 대해, 상기 수평방향으로 입력되는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수평방향 PSF를 적용하고, 상기 1차원 수평방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 상기 복수의 필터들 각각에 포함되는 라인 메모리(line memory)에 저장하며, 상기 복수의 필터들 각각에 대해, 상기 라인 메모리에 저장된 상기 1차원 수평방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수직방향 PSF를 적용하는 이미지로부터 깊이 정보를 추출하는 장치.
제9항에 있어서,
상기 입력부는
상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 수직방향으로부터 수평방향의 순서로 입력 받는 이미지로부터 깊이 정보를 추출하는 장치.
제12항에 있어서,
상기 처리부는
상기 복수의 필터들 각각에 대해, 상기 수직방향으로 입력되는 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수직방향 PSF를 적용하고, 상기 1차원 수직방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터를 상기 복수의 필터들 각각에 포함되는 라인 메모리에 저장하며, 상기 복수의 필터들 각각에 대해, 상기 라인 메모리에 저장된 상기 1차원 수직방향 PSF가 적용된 상기 제1 패치 데이터에 포함되는 복수의 화소들 각각의 데이터에 상기 1차원 수평방향 PSF를 적용하는 이미지로부터 깊이 정보를 추출하는 장치.
제9항에 있어서,
상기 비교부는
SAD(Sum of Absolute Difference) 기법, SSD(Sum of Squared Difference) 기법, MAD(Mean of Absolute Difference) 기법 또는 SASE(Sum of Squared Error) 기법 중 적어도 어느 하나를 이용하여 상기 제2 패치 데이터 및 상기 복수의 블러 패치들 각각 사이의 유사도를 비교하는 이미지로부터 깊이 정보를 추출하는 장치.