KR102228456B1

KR102228456B1 - 깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법

Info

Publication number: KR102228456B1
Application number: KR1020140135120A
Authority: KR
Inventors: 박경태
Original assignee: 삼성전자주식회사
Priority date: 2014-03-13
Filing date: 2014-10-07
Publication date: 2021-03-16
Also published as: KR20150107571A; CN106105193B; CN106105193A

Abstract

라이트 필드 기술을 이용하여 생성된 깊이 정보를 갖는 영상의 해상도를 향상시킬 수 있는 영상 획득 장치 및 영상 획득 방법이 개시된다. 개시된 실시예에 따른 영상 획득 장치는 주 렌즈를 이동시켜 피사체 심도가 다른 다수의 영상을 취득하고, 이렇게 취득된 각각의 영상으로부터 깊이 정보를 추출할 수 있다. 개시된 실시예에 따른 영상 획득 장치 및 영상 획득 방법에 따르면, 주 렌즈의 위치를 변화시켜 다수 회의 촬영을 수행함으로써 시점이 서로 다른 다수의 영상들을 얻을 수 있기 때문에, 시점이 서로 다른 영상들의 개수를 증가시키기 위하여 마이크로 렌즈의 크기를 증가시킬 필요가 없다.

Description

깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법 {Image pickup apparatus and image pickup method of generating image having depth information}

개시된 실시예들은 깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법에 관한 것으로서, 더욱 상세하게는 라이트 필드 기술을 이용하여 생성된 깊이 정보를 갖는 영상의 해상도를 향상시킬 수 있는 영상 획득 장치 및 영상 획득 방법에 관한 것이다.

일반적인 2차원(2D) 카메라는 대물렌즈를 통해 들어온 빛의 세기 정보를 이미지 센서로 획득하여 영상을 생성한다. 예를 들어, 피사체의 한 점으로부터 오는 다수의 광선들을 대물렌즈를 이용하여 이미지 센서의 한 점에 모아 일정 시간 동안 누적함으로써, 상기 피사체의 한 점에 대한 빛의 세기 정보를 얻을 수 있으며, 이미지 센서의 다수의 화소들로부터 얻은 빛의 세기 정보를 이용하여 하나의 영상을 만들 수 있다. 그러나, 이러한 2D 카메라의 영상 획득 방식으로는 피사체의 한 점으로부터 오는 개개의 광선들의 세기와 방향에 대한 정보를 얻을 수는 없다.

라이트 필드(light field) 기술은 피사체의 한 점으로부터 오는 다수의 광선들의 개별적인 세기와 방향에 대한 정보를 획득함으로써 임의의 시점(view point)이나 임의의 초점에 해당하는 영상을 생성할 수 있도록 하는 기술이다. 라이트 필드 기술을 이용하면 피사체의 다수의 시점에 대한 정보 및 피사체의 깊이 정보를 얻을 수 있는 3차원(3D) 카메라 또는 화각 내의 모든 피사체들에 임의로 초점을 맞출 수 있는 리포커싱(refocusing) 효과를 갖는 카메라를 구현할 수 있다.

라이트 필드 기술이 적용된 카메라는 통상적으로 주 렌즈와 마이크로 렌즈 어레이를 이용하여 구현될 수 있다. 예를 들어, 2차원 배열된 다수의 마이크로 렌즈들을 갖는 마이크로 렌즈 어레이가 주 렌즈와 이미지 센서 사이에 배치될 수 있다. 여기서, 마이크로 렌즈 어레이 내의 하나의 마이크로 렌즈는 이미지 센서의 다수의 화소들과 대응할 수 있다. 따라서, 하나의 마이크로 렌즈에 대응하는 다수의 화소들에서 각각 서로 다른 시점의 영상을 얻을 수 있다. 예컨대, 하나의 마이크로 렌즈가 7×7개의 화소를 덮는 경우에는, 시점이 서로 다른 7×7개의 영상을 동시에 얻을 수 있다.

그런데, 라이트 필드 카메라에서 영상의 해상도는 이미지 센서의 화소 피치에 의해 결정되는 것이 아니라 마이크로 렌즈의 피치에 의해 결정된다. 예를 들어, 마이크로 렌즈의 크기가 증가하면 영상의 해상도가 낮아지고 마이크로 렌즈의 크기가 감소하면 영상의 해상도가 높아진다. 따라서, 시점이 서로 다른 영상들의 개수를 증가시키기 위해서 마이크로 렌즈의 크기를 증가시키면 영상의 해상도가 저하되며, 영상의 해상도를 증가시키기 위하여 마이크로 렌즈의 크기를 작게 하면 동시에 얻을 수 있는 시점이 서로 다른 영상들의 개수가 감소하게 된다. 결과적으로, 영상의 해상도와 시차 검출 능력 사이에 트레이트 오프가 발생하게 된다.

라이트 필드 기술을 이용하여 생성된 깊이 정보를 갖는 영상의 해상도를 향상시킬 수 있는 영상 획득 장치 및 영상 획득 방법을 제공한다.

일 실시예에 따른 영상 취득 장치는, 입사광을 집광시키는 주 렌즈; 입사광을 감지하여 영상을 형성하기 위한 2차원 배열된 다수의 화소들을 구비하는 이미지 센서; 상기 주 렌즈와 이미지 센서 사이에 배치된 것으로, 2차원 배열된 다수의 마이크로 렌즈들을 구비하는 마이크로 렌즈 어레이; 및 상기 이미지 센서로부터 영상 신호를 받아 영상을 생성하는 제어부;를 포함하며, 여기서 상기 제어부는 상기 주 렌즈와 이미지 센서 사이의 거리를 변화시켜 피사체 심도가 상이한 다수의 영상을 취득하고 상기 취득된 다수의 영상 중 적어도 하나로부터 각각 적어도 하나의 깊이 맵을 생성하도록 구성될 수 있다.

상기 각각의 마이크로 렌즈는 상기 이미지 센서의 적어도 2개의 화소와 대응하도록 배치될 수 있다.

상기 제어부는 동일한 마이크로 렌즈에 대응하여 배치된 적어도 2개의 화소들의 출력들을 각각 이용하여 깊이 맵을 생성하고, 동일한 마이크로 렌즈에 대응하여 배치된 적어도 2개의 화소들의 출력들을 합산하여 영상을 생성하도록 구성될 수 있다.

또한, 상기 제어부는 초점심도(DOF)를 기본 스텝 단위로 하여 상기 주 렌즈와 이미지 센서 사이의 거리를 변화시키도록 구성될 수 있다.

상기 제어부는, 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시킬 때마다 상기 이미지 센서를 통해 영상을 취득하고 깊이 맵을 생성함으로써, 무한 거리에서 최단초점거리까지 위치한 모든 피사체에 대해 초점이 맞는 영상을 취득하도록 구성될 수 있다.

상기 제어부는 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시킬 때마다 생성된 각각의 깊이 맵에서 깊이 값이 최소인 피사체 영역을 기억하도록 구성될 수 있다.

상기 제어부는, 상기 다수의 영상 내에서 특정한 피사체 영역이 선택되었을 때, 상기 선택된 피사체 영역에 대해 깊이 값이 최소가 되는 깊이 맵을 선택하고 선택된 깊이 맵에 대응하는 영상을 출력하도록 구성될 수 있다.

과초점 거리에 초점을 맞출 때의 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh라 하고, 최단초점거리에 초점을 맞출 때의 상기 주 렌즈와 이미지 센서 사이의 거리를 Dc라 할 때, 상기 제어부는 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh와 Dc 사이에서 초점심도 단위로 변화시키도록 구성될 수 있다.

상기 제어부는 초기에 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh로 선택하고 상기 주 렌즈와 이미지 센서 사이의 거리가 Dc가 될 때까지 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 순차적으로 변화시키도록 구성될 수 있다.

또한, 상기 제어부는 초기에 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh로 선택하여 영상 및 깊이 맵을 얻고, 상기 깊이 맵을 분석하여 피사체가 존재하는 피사체 심도에 대해서만 영상을 얻도록 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 조절하도록 구성될 수 있다.

예를 들어, 상기 초점심도는 2×(상기 주 렌즈의 개구율)×허용착란원(CoC)에 의해 결정되며, 허용착란원의 크기는 상기 마이크로 렌즈의 피치 1개 또는 피치 2개와 같을 수 있다.

상기 제어부는, 과초점 거리에 초점을 맞추어 취득한 초기 영상의 깊이 맵을 통해 초기 영상 내의 배경과 후보 관심 피사체를 식별하고, 식별된 관심 피사체 중에서 미리 지정된 조건에 따라 관심 피사체를 선택하고, 선택된 관심 피사체들의 각각의 깊이 값을 이용하여 선택된 관심 피사체가 존재하는 피사체 심도 구간에 대해 촬영을 수행하도록 구성될 수 있다.

또한, 상기 제어부는 배터리 및 메모리 잔량에 따라 선택된 관심 피사체의 개수를 조절하도록 구성될 수 있다.

한편, 주 렌즈, 이미지 센서 및 상기 주 렌즈와 이미지 센서 사이에 배치되며 2차원 배열된 다수의 마이크로 렌즈들을 구비하는 마이크로 렌즈를 포함하는 영상 취득 장치의 일 실시예에 따른 영상 취득 방법은, 상기 주 렌즈와 이미지 센서 사이의 거리를 변화시키는 단계; 상기 주 렌즈와 이미지 센서 사이의 거리가 변화할 때마다 영상을 취득함으로써 피사체 심도가 상이한 다수의 영상을 취득하는 단계; 및 상기 취득된 다수의 영상 중 적어도 하나로부터 각각 적어도 하나의 깊이 맵을 생성하는 단계;를 포함할 수 있다.

상기 영상 취득 방법은, 동일한 마이크로 렌즈에 대응하여 배치된 적어도 2개의 화소들의 출력들을 각각 이용하여 깊이 맵을 생성하는 단계; 및 동일한 마이크로 렌즈에 대응하여 배치된 적어도 2개의 화소들의 출력들을 합산하여 영상을 생성하는 단계;를 포함할 수 있다.

상기 주 렌즈와 이미지 센서 사이의 거리는 초점심도(DOF)를 기본 스텝 단위로 하여 변화할 수 있다.

상기 영상 취득 방법에 따르면, 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시킬 때마다 영상을 취득하고 깊이 맵을 생성함으로써, 무한 거리에서 최단초점거리까지 위치한 모든 피사체에 대해 초점이 맞는 영상을 취득할 수 있다.

상기 영상 취득 방법은, 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시킬 때마다 생성된 각각의 깊이 맵에서 깊이 값이 최소인 피사체 영역을 기억하는 단계를 더 포함할 수 있다.

상기 영상 취득 방법은, 상기 다수의 영상 내에서 특정한 피사체 영역을 선택하는 단계; 상기 선택된 피사체 영역에 대해 깊이 값이 최소가 되는 깊이 맵을 선택하는 단계; 및 상기 선택된 깊이 맵에 대응하는 영상을 출력하는 단계;를 더 포함할 수 있다.

상기 영상 취득 방법에 따르면, 과초점 거리에 초점을 맞출 때의 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh라 하고, 최단초점거리에 초점을 맞출 때의 상기 주 렌즈와 이미지 센서 사이의 거리를 Dc라 할 때, 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh와 Dc 사이에서 초점심도 단위로 변화시킬 수 있다.

상기 주 렌즈와 이미지 센서 사이의 거리를 변화시키는 단계는, 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh로 선택하는 초기 단계; 및 상기 주 렌즈와 이미지 센서 사이의 거리가 Dc가 될 때까지 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 순차적으로 변화시키는 단계;를 포함할 수 있다.

또한, 상기 주 렌즈와 이미지 센서 사이의 거리를 변화시키는 단계는, 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh로 선택하는 초기 단계; 및 상기 초기 단계에서 얻은 깊이 맵을 분석하여 피사체가 존재하는 피사체 심도에 대해서만 영상을 얻도록 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시키는 단계;를 포함할 수 있다.

상기 영상 취득 방법은, 과초점 거리에 초점을 맞추어 초기 영상을 취득하는 단계; 상기 취득한 초기 영상의 깊이 맵을 통해 초기 영상 내의 배경과 후보 관심 피사체를 식별하는 단계; 식별된 관심 피사체 중에서 미리 지정된 조건에 따라 관심 피사체를 선택하는 단계; 및 선택된 관심 피사체들의 각각의 깊이 값을 이용하여 선택된 관심 피사체가 존재하는 피사체 심도 구간에 대해 촬영을 수행하는 단계;를 더 포함할 수 있다.

또한, 상기 영상 취득 방법은, 배터리 및 메모리 잔량을 검사하는 단계; 및 배터리 및 메모리 잔량에 따라 선택된 관심 피사체의 개수를 조절하는 단계;를 더 포함할 수 있다.

또한, 일 실시예에 따른 리포커싱 방법은, 피사체 심도가 상이한 다수의 영상을 각각 취득하는 단계; 상기 각각의 취득된 영상으로부터 깊이 맵을 각각 생성하는 단계; 상기 각각의 깊이 맵에서 깊이 값이 최소인 피사체 영역을 기억하는 단계; 상기 다수의 영상 내에서 특정한 피사체 영역을 선택하는 단계; 상기 선택된 피사체 영역에 대해 깊이 값이 최소가 되는 깊이 맵을 선택하는 단계; 및 상기 선택된 깊이 맵에 대응하는 영상을 출력하는 단계;를 포함할 수 있다.

개시된 실시예에 따른 영상 획득 장치는 주 렌즈와 이미지 센서 사이에 배치된 마이크로 렌즈 어레이를 포함한다. 여기서, 마이크로 렌즈 어레이의 하나의 마이크로 렌즈는 이미지 센서의 2개 이상의 화소 또는 4개 이상의 화소와 대응할 수 있다. 또한, 개시된 실시예에 따른 영상 획득 장치는 주 렌즈를 이동시켜 피사체 심도(depth of field)가 다른 다수의 영상을 취득하고, 이렇게 취득된 각각의 영상으로부터 깊이 정보를 추출할 수 있다. 개시된 실시예에 따른 영상 획득 장치 및 영상 획득 방법에 따르면, 주 렌즈의 위치를 변화시켜 다수 회의 촬영을 수행함으로써 시점이 서로 다른 다수의 영상들을 얻을 수 있기 때문에, 시점이 서로 다른 영상들의 개수를 증가시키기 위하여 마이크로 렌즈의 크기를 증가시킬 필요가 없다. 따라서 시점이 서로 다른 영상들의 개수를 감소시키기 않으면서 마이크로 렌즈의 크기를 최소화하여 영상의 해상도 저하를 억제시키는 것이 가능하다.

도 1은 일 실시예에 따른 영상 획득 장치의 예시적인 구성을 개략적으로 도시한다.
도 2a는 이미지 센서의 화소들과 개개의 마이크로 렌즈 사이의 예시적인 위치 관계를 도시한다.
도 2b는 이미지 센서의 화소들과 개개의 마이크로 렌즈 사이의 다른 예시적인 위치 관계를 도시한다.
도 3은 도 1에 도시된 영상 획득 장치에 의해 촬영되는 다수의 피사체들의 위치를 예시적으로 도시한다.
도 4a 내지 도 4c는 피사체와 영상 획득 장치의 거리에 따른 포커싱 상태를 예시적으로 도시한다.
도 5는 주 렌즈에 의해 형성된 상(image)이 마이크로 렌즈 어레이의 후방에 위치하는 경우에 2개의 화소열 사이의 상의 위치 차이를 도시한다.
도 6은 주 렌즈에 의해 형성된 상이 마이크로 렌즈 어레이 위에 정확하게 위치하는 경우에 2개의 화소열 사이의 상의 위치 차이를 도시한다.
도 7은 주 렌즈에 의해 형성된 상이 마이크로 렌즈 어레이의 전방에 위치하는 경우에 2개의 화소열 사이의 상의 위치 차이를 도시한다.
도 8a 내지 도 8d는 도 3에 도시된 피사체들을 촬영하여 얻은 영상의 깊이 맵(depth map)을 예시적으로 도시한다.
도 9는 일 실시예에 따른 영상 획득 방법에 따라 주 렌즈의 위치를 이동시켜 순차적으로 포커스 브라케팅(focus bracketing)을 수행하는 과정을 도시한다.
도 10 및 도 11은 허용착란원(circle of confusion; CoC)과 초점심도(depth of focus; DOF) 사이의 관계를 도시한다.
도 12는 허용착란원의 크기를 마이크로 렌즈의 피치 1개로 설정한 경우에 피사체의 거리에 따라 피사체가 이미지 센서에 맺힐 때의 광 스팟 크기를 나타내는 그래프이다.
도 13은 허용착란원의 크기를 마이크로 렌즈의 피치 2개로 설정한 경우에 피사체의 거리에 따라 피사체가 이미지 센서에 맺힐 때의 광 스팟 크기를 나타내는 그래프이다.
도 14는 다른 실시예에 따른 영상 획득 방법에 따라 피사체가 존재하는 피사체 심도에 대해서만 포커스 브라케팅을 수행하는 과정을 도시한다.
도 15a 내지 도 15c는 도 14에 도시된 피사체들을 촬영하여 얻은 영상의 깊이 맵을 예시적으로 도시한다.
도 16은 2개의 중심 피사체가 있는 영상의 깊이 맵을 예시적으로 보인다.
도 17은 관심 피사체를 자동으로 선택하여 선택된 관심 피사체가 존재하는 피사체 심도에 대해서만 포커스 브라케팅 동작을 수행하는 과정을 보이는 예시적인 흐름도이다.
도 18은 다수의 관심 피사체들이 고르게 분포하는 영상의 깊이 맵을 예시적으로 보인다.
도 19는 포커스 브라케팅 스텝을 최소화하기 위하여 핵심 피사체만을 자동으로 선택하여 선택된 핵심 피사체가 존재하는 피사체 심도에 대해서만 포커스 브라케팅 동작을 수행하는 과정을 보이는 예시적인 흐름도이다.

이하, 첨부된 도면들을 참조하여,깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다. 또한, 이하에 설명되는 실시예는 단지 예시적인 것에 불과하며, 이러한 실시예들로부터 다양한 변형이 가능하다. 또한 이하에서 설명하는 층 구조에서, "상부" 나 "상"이라고 기재된 표현은 접촉하여 바로 위에 있는 것뿐만 아니라 비접촉으로 위에 있는 것도 포함할 수 있다.

도 1은 일 실시예에 따른 영상 획득 장치(100)의 예시적인 구성을 개략적으로 도시하고 있다. 도 1을 참조하면, 본 실시예에 따른 영상 획득 장치(100)는 입사광을 집광시키는 주 렌즈(110), 입사광을 감지하여 영상을 형성하기 위하여 2차원 배열된 다수의 화소를 갖는 이미지 센서(130), 및 상기 주 렌즈(110)와 이미지 센서(130) 사이에 배치된 마이크로 렌즈 어레이(120)를 포함할 수 있다. 또한, 영상 획득 장치(100)는 피사체에 대한 포커싱을 위해 주 렌즈(110)를 이동시키는 액추에이터(115), 상기 액추에이터(115)에 동작 신호를 제공하는 구동부(141), 및 상기 이미지 센서(130)로부터 영상 신호를 받아 깊이 정보를 갖는 영상을 생성하는 제어부(140)를 더 포함할 수 있다. 제어부(140)는 또한 상기 구동부(141)와 액추에이터(115)의 동작을 제어하여 주 렌즈(100)와 이미지 센서(130) 사이의 거리를 변화시키는 역할도 할 수 있다.

도 1에는 편의상 주 렌즈(110)가 하나의 단일 렌즈 소자로 구성된 것으로 도시되어 있지만, 수차 등의 보정을 위하여 주 렌즈(110)는 다수의 렌즈 소자들을 포함할 수도 있다. 또한, 주 렌즈(110)가 다수의 렌즈 소자들을 포함하는 경우, 액추에이터(115)는 주 렌즈(110)의 전체를 이동시킬 수도 있지만, 다수의 렌즈 소자들 중에서 일부의 렌즈 소자만 이동시키는 것도 가능하다. 따라서, 이하의 설명에서 주 렌즈(110)가 이동한다는 의미는 주 렌즈(110)의 전체 렌즈 소자들이 함께 이동하는 경우뿐만 아니라 주 렌즈(110)의 일부 렌즈 소자만이 이동하는 경우도 포함하는 것으로 이해하여야 한다.

또한, 액추에이터(115)는 주 렌즈(110) 대신에 마이크로 렌즈 어레이(120)와 이미지 센서(130)에 배치되어 마이크로 렌즈 어레이(120)와 이미지 센서(130)를 이동시킬 수도 있다. 이 경우, 제어부(140)는 주 렌즈(100)와 이미지 센서(130) 사이의 거리를 변화시키기 위해, 주 렌즈(110) 대신에 마이크로 렌즈 어레이(120)와 이미지 센서(130)의 이동을 제어할 수 있다. 이하의 설명에서는 편의상 주 렌즈(100)가 이동하는 것으로 기술하지만, 이는 이미지 센서(130)에 대한 주 렌즈(100)의 상대적인 이동이며 주 렌즈(100)와 이미지 센서(130) 사이의 거리가 변화한다는 것으로 이해하여야 한다.

마이크로 렌즈 어레이(120)는 2차원 배열된 다수의 마이크로 렌즈(121)들을 포함할 수 있다. 일반적인 라이트 필드 기술과 마찬가지로, 상기 마이크로 렌즈 어레이(120)는 주 렌즈(110)와 이미지 센서(130) 사이에 배치될 수 있다. 마이크로 렌즈 어레이(120) 내의 다수의 마이크로 렌즈(121)들은 모두 초점거리와 직경이 동일할 수 있다.

이미지 센서(130)는 입사광의 세기를 전기적인 신호로 변환하여 출력한다. 예컨대, 이미지 센서(130)는 CCD(charge-coupled device) 또는 CMOS(complementary metal oxide semiconductor) 이미지 센서일 수 있다. 이미지 센서(130)는 2차원 배열된 다수의 화소들을 포함할 수 있다. 각각의 화소는 독립적으로 입사광을 감지하여 입사광의 세기에 따라 전기적인 신호를 출력할 수 있다.

제어부(140)는 이미지 센서(130)의 다수의 화소들로부터 출력된 전기적인 신호들을 처리하여 영상을 생성할 수 있다. 또한, 제어부(140)는 영상 내의 피사체에 대한 깊이 정보를 추출하여 깊이 맵(depth map)을 생성하고, 피사체 심도가 상이한 다수의 영상들을 얻기 위하여 상기 깊이 맵을 기초로 구동부(141)를 통해 액추에이터(115)를 제어하여 포커스 브라케팅(focus bracketing) 동작을 수행할 수 있다. 또한, 제어부(140)는 피사체 심도가 상이한 다수의 영상들을 이용하여, 사용자의 명령에 따라 특정 피사체에 초점을 맞추는 리포커싱 기능을 수행할 수도 있다. 이러한 동작들에 대해서는 후에 보다 상세하게 설명한다.

영상 내의 다수의 피사체들에 대한 깊이 정보를 얻기 위하여, 마이크로 렌즈 어레이(120) 내의 각각의 마이크로 렌즈(121)는 이미지 센서(130)의 적어도 2개의 화소가 대응할 수 있다. 그러면 하나의 마이크로 렌즈(121)에 대응하는 이미지 센서(130)의 적어도 2개의 화소는 동일한 피사체에 대해 시차가 상이한 광선을 각각 검출할 수 있다.

예를 들어, 도 2a는 이미지 센서(130)의 화소(131a, 131b)들과 개개의 마이크로 렌즈(121) 사이의 예시적인 위치 관계를 도시하고 있다. 도 2a에 도시된 바와 같이, 하나의 마이크로 렌즈(121)에 대해 단지 2개의 화소(131a, 131b)만이 수평 방향으로 배치되는 것이 가능하다. 하나의 마이크로 렌즈(121)에 대응하는 2개의 화소(131a, 131b)는 피사체의 동일한 한 점에서 나오며 시점이 서로 다른 빛을 각각 감지할 수 있다. 예컨대, 좌측의 화소(131a)는 주 렌즈(110)의 입사동(entrance pupil)의 우측 영역을 통과한 광선을 감지하며, 우측의 화소(131b)는 주 렌즈의 입사동의 좌측 영역을 통과한 광선을 감지할 수 있다. 이 경우, 수평 방향의 시점이 서로 다른 2개의 영상을 얻을 수 있다. 그러나, 이렇게 얻은 2개의 영상은 수직 방향으로는 시차가 없이 동일한 시점을 갖는다. 따라서 수평 방향으로 배열되어 있는 피사체들 사이의 깊이 정보는 얻을 수 있지만, 수직 방향으로 배열되어 있는 피사체들 사이의 깊이 정보는 얻을 수 없다.

도 2b는 이미지 센서(130)의 화소(131a, 131b, 131c, 131d)들과 개개의 마이크로 렌즈(121) 사이의 다른 예시적인 위치 관계를 도시하고 있다. 도 2b를 참조하면, 하나의 마이크로 렌즈(121)에 대해 2×2로 배열된 4개의 화소(131a, 131b, 131c, 131d)들이 배치될 수도 있다. 이 경우에는 수평 방향의 시차뿐만 아니라 수직 방향의 시차도 얻을 수 있다. 따라서 수평 방향으로 배열되어 있는 피사체들 사이의 깊이 정보와 수직 방향으로 배열되어 있는 피사체들 사이의 깊이 정보를 모두 얻는 것이 가능하다.

한편, 일반적인 컬러 영상을 생성할 때, 각각의 마이크로 렌즈(121)는 컬러 영상의 단위 화소에 대응하게 된다. 예를 들어, 하나의 마이크로 렌즈(121)에 대해 배치된 2개의 화소(131a, 131b) 또는 4개의 화소(131a, 131b, 131c, 131d)의 출력을 합산하여 하나의 컬러 영상 신호를 얻을 수 있다. 즉, 제어부(140)는 하나의 마이크로 렌즈(121)에 대해 배치된 다수의 화소(131a, 131b, 131c, 131d)들의 출력들을 각각 이용하여 깊이 정보를 생성하고, 하나의 마이크로 렌즈(121)에 대해 배치된 다수의 화소(131a, 131b, 131c, 131d)들의 출력들을 합산하여 컬러 영상을 생성할 수 있다. 이를 위하여, 하나의 마이크로 렌즈(121)에 대해 배치된 다수의 화소(131a, 131b, 131c, 131d)들에는 동일한 컬러 필터가 배치될 수 있다. 예를 들어, 제 1 마이크로 렌즈(121)에 대해 배치된 다수의 화소(131a, 131b, 131c, 131d)들에는 적색 컬러 필터가 배치되고, 제 2 마이크로 렌즈(122)에 대해 배치된 화소(132a, 132b, 132c, 132d)들에는 녹색 컬러 필터가 배치되며, 제 3 마이크로 렌즈(123)에 대해 배치된 화소(133a, 133b, 133c, 133d)들에는 청색 컬러 필터가 배치될 수 있다. 즉, 하나의 마이크로 렌즈(121)에 대해 배치된 다수의 화소(131a, 131b, 131c, 131d)들은 동일한 색의 빛을 감지하도록 구성될 수 있다.

상술한 바와 같이, 이미지 센서(130)의 실제 해상도와 관계 없이 컬러 영상의 해상도는 마이크로 렌즈 어레이(120) 내의 각각의 마이크로 렌즈(121)의 크기에 의해 결정된다. 예컨대, 도 2a의 경우에 컬러 영상의 해상도는 이미지 센서(130)의 실제 해상도의 1/2이며, 도 2b의 경우에는 컬러 영상의 해상도가 이미지 센서(130)의 실제 해상도의 1/4이 된다. 도 2a 및 도 2b에는 예시적으로 하나의 마이크로 렌즈(121)에 대해 2개의 화소(131a, 131b) 또는 4개의 화소(131a, 131b, 131c, 131d)가 배치되는 것으로 도시되어 있지만, 동시에 더 많은 시점을 갖는 다수의 영상들을 얻기 위하여 하나의 마이크로 렌즈(121)에 대해 배치되는 이미지 센서(130)의 화소의 개수를 증가시킬 수도 있다. 그러나 컬러 영상의 해상도는 그만큼 낮아지게 될 수 있다.

본 실시예에 따른 영상 획득 장치(100)는 컬러 영상의 해상도 저하를 억제하면서 시점이 다른 다수의 영상들을 얻기 위하여 포커스 브라케팅을 통해 피사체 심도가 다른 다수의 영상을 취득한다. 이하, 본 실시예에 따른 영상 획득 장치(100)의 구체적인 동작 방법에 대해 상세하게 설명한다.

먼저, 도 3은 본 실시예에 따른 영상 획득 장치(100)에 의해 촬영되는 다수의 피사체들의 위치를 예시적으로 도시하고 있다. 예를 들어, 영상 획득 장치(100)와의 거리 D1에 제 1 피사체(210)가 배치되어 있으며, 거리 D2에 제 2 피사체(220)가 배치되어 있고, 거리 D3에 제 3 피사체(230)가 배치되어 있다고 가정한다. 도 3에서 D0는 과초점 거리(hyperfocal distance)를 나타낸다. 과초점 거리는 카메라의 초점을 무한대에 맞추었을 때 상이 선명하게 맺히게 되는 카메라로부터 가장 짧은 거리이다. 따라서, D0보다 멀리 있는 피사체들에 대해서는 영상 획득 장치(100)의 초점을 무한대로 맞추었을 때 영상 획득 장치(100)와의 거리에 관계 없이 항상 선명한 상이 형성된다.

통상적인 카메라를 이용하여 상기 피사체(210, 220, 230)들을 촬영하여 얻은 영상에는, 일반적으로 피사체(210, 220, 230)들이 2차원 평면 상에 표시되기 때문에 피사체(210, 220, 230)들의 정확한 거리 정보는 사라지게 된다. 단지, 정확하게 초점이 맞은 피사체만이 선명하게 표시되고 초점이 맞지 않은 피사체는 블러(blur)가 발생하여 흐릿하게 보이므로, 초점이 맞지 않은 피사체가 초점이 맞은 피사체의 전방 또는 후방에 위치한다는 정도만을 알 수 있다.

반면, 본 실시예에 따른 영상 획득 장치(100)의 경우에는, 도 4a 내지 도 4c 및 도 5 내지 도 7을 통해 설명하는 바와 같이 깊이 정보를 얻을 수 있기 때문에, 피사체(210, 220, 230)들의 거리를 알 수 있다. 여기서, 도 4a 내지 도 4c는 피사체(210, 220, 230)와 영상 획득 장치(100)의 거리에 따른 포커싱 상태를 예시적으로 도시하고 있다. 도 4a 내지 도 4c에서는 단지 편의상 제 2 피사체(220)에만 초점이 맞았다고 가정한다. 또한, 도 5는 주 렌즈(110)에 의해 형성된 상(image)이 마이크로 렌즈 어레이(120)의 후방에 위치하는 경우에 2개의 화소열 사이의 상의 위치 차이를 도시하고 있으며, 도 6은 주 렌즈(110)에 의해 형성된 상이 마이크로 렌즈 어레이(120) 위에 정확하게 위치하는 경우에 2개의 화소열 사이의 상의 위치 차이를 도시하고 있고, 도 7은 주 렌즈(110)에 의해 형성된 상이 마이크로 렌즈 어레이(120)의 전방에 위치하는 경우에 2개의 화소열 사이의 상의 위치 차이를 도시하고 있다.

일반적으로 렌즈의 초점길이는 입사광이 평행광인 경우(즉, 피사체가 무한대에 위치한 경우)를 가정한 것이다. 따라서, 실제 피사체는 렌즈의 초점길이보다 먼 거리에 상이 맺히게 되며, 피사체와 렌즈 사이의 거리가 가까워질수록 피사체의 상이 맺히는 거리는 길어지게 된다. 예컨대, 도 4a를 참조하면, 영상 획득 장치(100)에 가장 가까이 위치한 제 1 피사체(210)는 마이크로 렌즈 어레이(120)를 지나서 상(210')이 형성된다. 이 경우, 마이크로 렌즈 어레이(120)가 제 1 피사체(210)의 상(210')을 이미지 센서(130)에 정확히 맺지 못하기 때문에, 이미지 센서(130)에 의해 출력된 영상에서 제 1 피사체(210)는 흐릿하게 나타난다.

통상적인 카메라로는 단지 제 1 피사체(210)에 초점이 맞지 않았다는 정보만을 얻게 된다. 그러나, 도 5를 참조하면, 본 실시예에 따른 영상 획득 장치(100)의 경우, 마이크로 렌즈 어레이(120)의 한 열(column)의 마이크로 렌즈들 내에 배열된 좌측 화소열(130a)과 우측 화소열(130b) 사이에 시차가 존재하기 때문에, 좌측 화소열(130a)과 우측 화소열(130b)이 각각 생성하는 영상 신호들 사이에 깊이 차이, 즉 화소 불일치(pixel disparity)가 발생하게 된다. 이러한 화소 불일치는 제 1 피사체(210)에 대한 깊이 값으로 역산될 수 있다. 따라서, 본 실시예에 따른 영상 획득 장치(100)는 제 1 피사체(210)에 대한 깊이 정보를 얻을 수 있다.

또한, 도 4b를 참조하면, 제 1 피사체(210)보다 멀리 떨어져 있는 제 2 피사체(220)의 상(220')은 정확하게 마이크로 렌즈 어레이(120) 위에 형성된다. 이 경우, 마이크로 렌즈 어레이(120)는 제 2 피사체(220)의 상(220')을 정확하게 이미지 센서(130)에 맺을 수 있다. 따라서, 이미지 센서(130)에 의해 출력된 영상에서 제 2 피사체(220)는 선명하게 표시된다. 그리고 이 경우에는, 도 6에 도시된 바와 같이, 마이크로 렌즈 어레이(120)의 한 열의 마이크로 렌즈들 내에 배열된 좌측 화소열(130a)과 우측 화소열(130b)이 각각 생성하는 영상 신호들 사이에 깊이 차이가 없으므로 화소 불일치가 발생하지 않는다. 따라서 제 2 피사체(220)에 대한 깊이 값은 0(zero)이 된다.

또한, 도 4c를 참조하면, 제 2 피사체(220)보다 더 멀리 떨어져 있는 제 3 피사체(230)의 상(230')은 마이크로 렌즈 어레이(120)의 전방에 형성된다. 그러면, 마이크로 렌즈 어레이(120)가 제 3 피사체(230)의 상(230')을 이미지 센서(130)에 정확히 맺지 못하며, 이미지 센서(130)에 의해 출력된 영상에서 제 3 피사체(230)는 흐릿하게 나타난다. 그리고, 도 7을 참조하면, 마이크로 렌즈 어레이(120)의 한 열의 마이크로 렌즈들 내에 배열된 좌측 화소열(130a)과 우측 화소열(130b)이 각각 생성하는 영상 신호들 사이에 깊이 차이가 발생한다. 여기서, 도 5의 경우와 비교할 때, 도 7에서 좌측 화소열(130a)과 우측 화소열(130b)과 사이의 깊이 차이의 방향이 도 5와 반대이다. 예를 들어, 도 5의 경우에 깊이 값을 음(-)으로 정하고 도 7의 경우에 깊이 값을 양(+)으로 정할 수 있다. 따라서, 깊이 값이 음이면 피사체가 더 가까이 위치하고 깊이 값이 양이면 피사차가 더 멀리 위치한다는 것을 알 수 있다. 디포커스(defocus)가 크게 발생할수록 시차도 크게 발생하여 화소 불일치가 증가하게 된다. 따라서 깊이 값의 크기로부터 피사체의 거리도 대략적으로 알 수 있다.

상술한 방식으로, 본 실시예에 따른 영상 획득 장치(100)는 피사체에 대한 깊이 맵을 생성할 수 있으며, 깊이 정보를 갖는 영상을 얻을 수 있다. 깊이 맵에서 초점이 맞는 피사체의 깊이 값은 0이 되며, 초점이 맞는 피사체보다 전방에 배치된 피사체의 깊이 값은 음의 값을 가질 수 있고, 초점이 맞는 피사체보다 후방에 배치된 피사체에 대한 깊이 값은 양의 값을 가질 수 있다. 또한, 초점이 맞는 피사체와의 거리가 멀어질수록 깊이 값의 크기가 증가할 수 있다.

도 8a 내지 도 8d는 도 3에 도시된 피사체(210, 220, 230)들을 촬영하여 얻은 영상의 깊이 맵들을 예시적으로 도시하고 있다. 예를 들어, 도 8a는 영상 획득 장치(100)가 거리 D0, 즉 과초점 거리에 초점을 맞춘 상태에서 얻은 깊이 맵(300)을 도시하고 있다. 이 경우, 깊이 맵(300)에서 각각의 피사체(210, 220, 230)에 대한 깊이 값(211, 221, 231)들은 모두 음의 깊이 값을 갖게 된다. 또한, 도 8b는 거리 D3에 있는 제 3 피사체(230)에 초점을 맞춘 상태에서 얻은 깊이 맵(310)을 도시하고 있다. 깊이 맵(310)에서 제 3 피사체(230)의 깊이 값(231)은 0이 되며, 나머지 피사체(210, 220)들의 깊이 값(211, 221)은 음의 값을 갖게 된다. 또한, 도 8c는 거리 D2에 있는 제 2 피사체(220)에 초점을 맞춘 상태에서 얻은 깊이 맵(320)을 도시하고 있다. 깊이 맵(320)에서 제 2 피사체(220)의 깊이 값(221)은 0이 되며, 제 1 피사체(210)의 깊이 값(211)은 음의 값을 갖고, 제 3 피사체(230)의 깊이 값(231)은 양의 값을 갖는다. 마지막으로, 도 8d는 거리 D1에 있는 제 1 피사체(210)에 초점을 맞춘 상태에서 얻은 깊이 맵(330)을 도시하고 있다. 깊이 맵(330)에서 제 1 피사체(210)의 깊이 값(211)은 0이 되며, 나머지 피사체(220, 230)들의 깊이 값(221, 231)들은 양의 값을 갖는다는 것을 알 수 있다.

상술한 바와 같이, 깊이 맵 내에서 깊이 값이 0인 피사체에 대해서는 초점이 맞은 것이라고 판단할 수 있다. 또한, 깊이 값의 크기 및 부호를 통해 초점이 맞지 않은 피사체가 초점이 맞은 피사체에 대해 전방 또는 후방에 어느 정도의 거리만큼 떨어져 있는 지 알 수 있다. 따라서, 서로 다른 거리에 있는 피사체들에 대해 각각 초점이 맞는 다수의 영상을 구하면, 사용자가 선택한 피사체에 초점이 맞는 영상을 디스플레이 하는 것이 가능하다.

서로 다른 거리에 있는 다수의 피사체들 중에서 사용자가 선택한 특정한 피사체에 대해서만 초점이 맞은 선명한 영상으로 처리하고 나머지 피사체에 대해서는 초점이 맞지 않은 흐릿한 영상으로 처리하는 것을 리포커싱(refocusing)이라고 한다. 리포커싱을 수행하기 위해서는 기본적으로 2가지 정보, 즉, 서로 다른 거리에 있는 다수의 피사체들에 각각 초점이 맞은 다수의 영상, 및 각각의 피사체들 사이의 거리 정보를 포함하고 있는 깊이 맵이 요구된다. 깊이 맵이 없는 경우에는, 서로 다른 거리에 있는 다수의 피사체들에 각각 초점이 맞은 다수의 영상을 취득하더라도, 사용자가 선택한 특정한 피사체에 대해 초점이 맞은 영상을 후처리나 컴퓨터 알고리즘 연산을 통해 자동적으로 선택하는 것이 불가능하다. 깊이 맵이 없으면 어떠한 피사체에 대해 초점이 맞은 것인지 알 수 없기 때문이다. 따라서, 통상적인 카메라를 이용하여 피사체 심도를 달리하는 다수의 영상을 얻더라도 깊이 맵이 없기 때문에 리포커싱을 수행할 수는 없다. 이러한 점에서, 리포커싱 기능은 라이트 필드 카메라의 대표적인 기능이다. 통상적으로 라이트 필드 카메라는 리포커싱 기능을 위하여 1회의 촬영으로 시점이 다른 다수의 영상을 한꺼번에 취득하는데, 이로 인해 각각의 영상의 해상도가 저하될 수 있다.

본 실시예에 따른 영상 획득 장치(100)는, 1회의 촬영으로 시점이 다른 다수의 영상을 동시에 취득하는 대신, 포커스 브라케팅을 통해 시간차를 두고 피사체 심도를 달리하여 시점이 다른 다수의 영상을 취득할 수 있다. 예를 들어, 도 9는 일 실시예에 따른 영상 획득 방법에 따라 주 렌즈(110)의 위치를 이동시켜 순차적으로 피사체 심도를 변화시켜 포커스 브라케팅을 수행하는 예시적으로 과정을 도시하고 있다. 도 9를 참조하면, 먼저 ①로 표시된 거리에 초점이 맞도록 주 렌즈(110)의 위치를 이동시켜 촬영을 수행한 다음, 다시 주 렌즈(110)의 위치를 이동시켜 ②로 표시된 거리에 초점을 맞추어 촬영을 수행하고, 이어서 차례대로 ③, ④, ⑤로 표시된 거리에 맞도록 주 렌즈(110)를 이동시켜 각각 촬영을 수행할 수 있다. 도 9에는 화살표로 표시된 바와 같이 먼 쪽으로부터 가까운 쪽으로 포커스 브라케팅이 수행되는 것으로 도시되어 있으나, 반대로 가까운 쪽부터 먼 쪽으로 포커스 브라케팅을 수행하는 것도 가능하다.

피사체 심도를 조정하여 영상을 촬영함으로써 하나의 포커스 브라케팅 단계가 완료되면, 제어부(140)는 컬러 영상을 생성할 수 있으며, 촬영된 영상으로부터 영상처리를 통해 깊이 맵을 계산할 수 있다. 깊이 맵을 계산한 후에는, 영상 내에서 깊이 값에 따라 다수의 영역들을 구별할 수 있으며, 특히 영상 내에서 깊이 값이 0이 되는 영역 또는 깊이 값이 최소인 영역을 식별하여 메모리에 저장할 수 있다. 이러한 방식으로 포커스 브라케팅 동작이 완전히 종료될 때까지, 각각의 포커스 브라케팅 단계마다 컬러 영상과 깊이 맵을 구하고 깊이 값이 0인 초점이 맞는 영역 또는 깊이 값이 최소인 영역을 기억하여 둘 수 있다.

포커스 브라케팅 동작이 완전히 종료된 후에는, 사용자가 관심 영역에서 초점이 맞는 영상을 얻어내기 위한 리포커싱 명령을 수행할 수 있다. 사용자가 선택한 영역에 대해 초점이 맞는 영상을 선택하는 기준은 깊이 맵이 된다. 예를 들어, 영상 내에서 임의의 위치에 있는 피사체를 사용자가 선택하면, 포커스 브라케팅을 통해 얻은 모든 깊이 맵을 참조하여 사용자가 선택한 피사체 영역에 대한 깊이 값을 비교한다. 그런 후, 사용자가 선택한 피사체 영역에 대한 깊이 값이 0이거나 또는 최소가 되는 깊이 맵을 선택하고, 선택된 깊이 맵에 대응하는 컬러 영상을 선택하여 출력하거나 화면에 디스플레이 함으로써 리포커싱 기능을 수행할 수 있다. 이러한 방식으로 선택된 컬러 영상은 사용자의 명령에 따라 별도로 저장될 수 있다. 또한 다른 관심 영역에 대한 리포커싱 동작을 더 수행할 수도 있다.

리포커싱 동작의 또 다른 기능은 블러링 효과의 강화(blurring enhancement)이다. 즉, 상술한 리포커싱 동작을 통해 원하는 컬러 영상을 선택한 후에, 블러 스케일 팩터(blur scale factor)를 조정하여 영상 내에 초점이 맞은 피사체를 제외하고 다른 피사체에 대해 깊이 값의 크기에 비례하여 블러링 효과를 강화할 수 있다. 예를 들어, 도 8c에 도시된 깊이 맵(320)에 대응하는 컬러 영상이 선택되었다고 가정하면, 초점이 맞아서 깊이 값이 0인 제 2 피사체(220)의 영상을 그대로 두고, 제 2 피사체의 전방 및 후방에 배치된 다른 피사체(210, 230)의 영상에 대해서는 영상 처리를 통해 블러 스케일 팩터(blur scale factor)만큼 블러링 효과를 증가 또는 감소시킬 수 있다. 이러한 동작은 각각의 컬러 영상마다 그에 대응하는 깊이 정보를 갖기 때문에 가능한 것이다. 깊이 맵 내의 깊이 값들에 블러 스케일 팩터를 곱하면, 초점이 맞는 영상에 대해서는 깊이 값이 0이므로 블러 스케일 팩터의 값이 관계 없이 항상 0을 유지하지만, 깊이 값이 0이 아닌 영역에 대해서는 블러 스케일 팩터에 비례하여 깊이 값이 변화할 수 있다. 따라서, 깊이 맵의 스케일링된 깊이 값에 따라 컬러 영상의 블러 량을 연동시키는 알고리즘을 적용하면 간단하게 블러링 효과를 강화할 수 있다. 만약 깊이 맵 내에 0인 깊이 값이 존재하지 않을 경우에는 최소 깊이 값을 0으로 조정하는 것도 가능하다.

상술한 바와 같이, 본 실시예에 따른 영상 획득 장치(100)에 따르면, 주 렌즈(100)의 위치를 변화시켜 초점을 조절하면서 다수 회의 촬영을 수행함으로써 피사체 심도 또는 시점이 서로 다른 다수의 영상들을 얻을 수 있기 때문에, 시점이 서로 다른 영상들의 개수를 증가시키기 위하여 개개의 마이크로 렌즈(121)의 크기를 증가시킬 필요가 없다. 따라서, 마이크로 렌즈(121)의 크기를 이미지 센서(130)의 화소 크기의 2배 또는 4배 정도로 최소화하여 영상의 해상도 저하를 억제시키면서, 시점이 서로 다른 영상들의 개수를 충분히 확보하는 것이 가능하다.

한편, 포커스 브라케팅 동작을 수행하는 데 있어서, 모든 피사체들의 각각에 대해 각각 초점이 맞는 다수의 영상들을 얻어야 하므로 브라케팅 스텝을 최적으로 결정하는 것이 중요할 수 있다. 브라케팅 스텝이 너무 짧으면 동일한 피사체에 대해 초점이 맞는 다수의 잉여 영상들이 산출되고 촬영 횟수가 지나치게 많아지며, 브라케팅 스텝이 너무 크면 일부 피사체에 대해서는 정확히 초점이 맞는 영상을 얻지 못할 수도 있다.

최적의 브라케팅 스텝을 도출하기 위해, 허용착란원(circle of confusion; CoC)과 초점심도(depth of focus; DOF)의 관계에 대해 먼저 살펴본다. 이론적으로 렌즈의 해상 능력을 나타내는 광 스팟의 크기는 회절 한계에 도달하기 때문에, 주 렌즈(110)의 수차 및 조립 편차를 고려할 때 이론적인 광 스팟의 크기를 얻는 것은 현실적으로 불가능하다. 따라서, 회절 한계보다는 크지만 사용자가 눈으로 판단했을 때 초점이 맞았다고 인식하는 척도로 허용착란원을 통상적으로 사용한다. 예를 들어, 이미지 센서(130)에 맺힌 광 스팟의 크기가 허용착란원보다 작은 경우 사용자는 영상의 초점이 맞았다고 판단하게 되는 것이다.

도 10 및 도 11은 허용착란원과 초점심도 사이의 관계를 도시하는 것으로, 도 10은 주 렌즈(110)에 의해 광 스팟이 형성되는 영역(A)을 개략적으로 나타내고 있고, 도 11은 도 10에 도시된 영역(A)을 확대하여 보이고 있다. 도 10 및 도 11을 참조하면, S는 이론적인 회절 한계인 광 스팟을 나타내며, CoC는 초점이 맞은 것으로 인정되는 허용착란원을 나타내고, DOF는 허용착란원이 유지되는 구간, 즉 초점이 맞았다고 인정되는 구간인 초점심도를 나타낸다. 도 11에 표시된 바와 같이, 초점심도는 주 렌즈(110)의 F 수(F number)(개구율)와 허용착란원의 크기에 의해 결정된다(즉 DOF = 2×F 수×CoC).

예를 들어, 주 렌즈(110)의 초점거리가 4.2mm, 주 렌즈(110)의 F 수가 2.2, 마이크로 렌즈(121)의 피치가 2.24um라고 가정하면, 540nm의 파장을 갖는 녹색광에 대한 이론적인 광 스팟의 크기는 회절 한계인 1.45um (=1.22×F 수×파장)가 된다. 또한, CoC의 크기를 마이크로 렌즈(121)의 피치 1개(즉, 컬러 영상의 1개 단위 화소의 크기)에 해당하는 것으로 설정하면 DOF는 2×2.2×2.24um = 9.856um가 될 수 있고, CoC의 크기를 마이크로 렌즈(121)의 피치 2개(즉, 컬러 영상의 2개 단위 화소의 크기)에 해당하는 것으로 설정하면 DOF는 2×2.2×4.48um = 19.712um가 될 수 있다.

임의의 거리에 위치한 피사체에 대해 이미지 센서(130) 상에서 초점이 맞은 영상으로 취득하기 위해서는 피사체의 결상 위치가 DOF 구간 내에만 들어오게 하면 된다. 따라서, 무한 거리부터 최단초점거리(closest focusing distance)까지 위치한 모든 피사체들에 대해 각각 초점이 맞는 영상들을 얻기 위해, DOF 구간 내에 결상되는 모든 피사체는 초점이 맞는다 점을 이용하여 주 렌즈(110)의 초점 조절을 위한 구동 간격을 DOF 단위로 최적화할 수 있다. 예를 들어, 과초점 거리 이상의 거리에 대해 초점을 맞출 수 있는 지점을 주 렌즈(110)의 초점 구동을 위한 초기 위치로 설정하고, 포커스 브라케팅의 각 스텝이 진행될 때마다 초기 위치로부터 DOF 단위로 주 렌즈(110)의 위치를 변화시킬 수 있다. 이러한 방식으로 포커스 브라케팅 동작이 완전히 종료되는 지점(즉, 최단초점거리에 대해 초점을 맞출 수 있는 지점)까지 DOF 단위로 포커스 브라케팅의 각 스텝을 진행할 수 있다.

그러면 포커스 브라케팅을 위한 총 스텝의 수는 (총 궤적)/(DOF)로 정의될 수 있다. 예컨대, 주 렌즈(110)의 초점거리가 4.2mm, 주 렌즈(110)의 F 수가 2.2, 마이크로 렌즈(121)의 피치가 2.24um라고 가정하면, 과초점 거리에 초점을 맞출 때 주 렌즈(110)와 이미지 센서(130) 사이의 거리는 초점거리와 동일한 4.2mm가 된다. 또한, 최단초점거리를 10cm라고 가정하면, 최단초점거리에 초점을 맞출 때 이미지 센서(130)와 주 렌즈(110) 사이의 거리는 렌즈 방정식에 의해 4.3841mm로 계산된다. 따라서, 무한 거리에서 최단초점거리까지의 모든 피사체에 대해 초점이 맞은 영상을 얻기 위한 포커스 브라케팅 동작을 위한 초점 구동의 총 궤적은 4.3841mm와 4.2mm의 차인 184.1um가 된다.

이제, 위에서 예시된 주 렌즈(110)의 포커스 브라케팅 동작을 위한 초점 구동의 총 궤적과 DOF를 알고 있으므로, 포커스 브라케팅 동작을 위한 총 스텝의 수를 구할 수 있다. 예를 들어, 허용착란원(CoC)의 크기를 마이크로 렌즈(121)의 피치 1개로 설정한 경우에 DOF는 9.856um이므로, 포커스 브라케팅 동작을 위한 총 스텝의 수는 184.1um/9.856um = 18.7로 계산되어 초기 위치를 포함하여 총 19 스텝이 될 수 있다. 과초점 거리에 초점을 맞출 때의 주 렌즈(110)와 이미지 센서(130) 사이의 거리를 Dh라 하고, 최단초점거리에 초점을 맞출 때 주 렌즈(110)와 이미지 센서(130) 사이의 거리를 Dc라 할 때, 주 렌즈(110)와 이미지 센서(130) 사이의 거리가 Dh와 Dc 사이에서 DOF 단위로 19 스텝만큼 변화할 수 있다. 위와 동일한 방식으로, 허용착란원(CoC)의 크기를 마이크로 렌즈(121)의 피치 2개로 설정한 경우에는 DOF는 19.712um이므로, 포커스 브라케팅 동작의 총 스텝 수는 184.1um/19.712um = 9.4로 계산되어 초기 위치를 포함하여 총 10 스텝이 될 수 있다. 즉, 주 렌즈(110)와 이미지 센서(130) 사이의 거리가 Dh와 Dc 사이에서 DOF 단위로 10 스텝만큼 변화할 수 있다.

도 12는 허용착란원의 크기를 마이크로 렌즈(121)의 피치 1개로 설정한 경우에 피사체의 거리에 따라 피사체가 이미지 센서(130)에 맺힐 때의 광 스팟 크기를 나타내는 그래프이다. 도 12의 그래프에서 세로축은 광 스팟의 크기를 컬러 영상의 단위 화소의 크기(마이크로 렌즈(121)의 피치)로 환산한 것으로, 회절 한계를 고려하지 않은 이상적인 광선이 초점 위치에 집광될 때 광 스팟의 크기가 화소 0개의 크기와 같다고 가정하였다. 또한, 도 12의 그래프는 거리가 5m인 지점에서 최단초점거리인 20cm까지에 대해 10스텝의 포커스 브라케팅 동작을 수행하여 얻은 것이다.

도 12의 그래프를 참조하면, 포커스 브라케팅의 초기 위치에서는 무한 거리에서부터 과초점 거리까지에 위치한 피사체가 만드는 광 스팟의 크기가 컬러 영상의 하나의 단위 화소 내에 들어오게 된다. 과초점 거리보다 짧은 거리에 위치한 피사체가 만드는 광 스팟의 크기는 컬러 영상의 하나의 단위 화소의 크기보다 커지게 되어 결과적으로 블러가 발생하게 된다. 따라서, 포커스 브라케팅의 초기 위치에서는 과초점 거리보다 먼 거리에 위치한 피사체에 대해 초점이 맞은 영상을 취득할 수 있다.

두 번째 포커스 브라케팅(1DOF Bracket offset)은 초기 포커스 브라케팅 위치에서 주 렌즈(110)를 하나의 DOF만큼 이동시킨 위치에서 수행된다. 도 12를 참조하면, 광 스팟의 크기가 컬러 영상의 하나의 단위 화소 내에 들어오게 되는 피사체의 심도가 이동한 것을 알 수 있다. 동일한 방식으로, "9DOF Bracket offset"까지 주 렌즈(110)의 위치를 하나의 DOF 단위로 차례로 이동시키게 되면, 20cm의 물체거리까지 초점이 맞는 피사체의 거리가 지속적으로 유지된다. 따라서 DOF 단위로 포커스 브라케팅을 수행할 때 무한 거리에서 최단초점거리까지 위치한 모든 피사체에 대해 초점이 맞는 영상을 얻을 수 있다.

포커스 브라케팅의 초기 위치인 과초점 거리는 (초점거리×초점거리)/(F 수×CoC)이다. 예를 들어, 주 렌즈(110)의 초점거리가 4.2mm, F 수가 2.2일 때, 허용착란원의 크기를 마이크로 렌즈(121)의 피치 1개로 설정하면, 과초점 거리는 3.6m가 될 수 있다. 또한, 허용착란원의 크기를 마이크로 렌즈(121)의 피치 2개로 설정하면, 과초점 거리는 1.8m가 될 수 있다. 아래의 표 1은 도 12에 도시된 그래프를 기반으로 각각의 포커스 브라케팅 스텝에 대해 초점이 맞는 피사체의 심도를 표시한 것이다. 표 1에 정리된 바와 같이, DOF 단위로 주 렌즈(110)의 위치를 차례로 변화시키면서 포커스 브라케팅을 수행할 때, 무한 거리에서 최단초점거리까지 초점이 맞는 영상을 얻을 수 있다.

또한, 도 13은 허용착란원의 크기를 마이크로 렌즈(121)의 피치 2개로 설정한 경우에 피사체의 거리에 따라 피사체가 이미지 센서(130)에 맺힐 때의 광 스팟 크기를 나타내는 그래프이다. 도 13의 그래프는 도 12의 그래프와 동일한 방식으로 얻은 것이며, 단지 허용착란원의 크기가 마이크로 렌즈(121)의 피치 2개인 경우를 고려한 것이다. 도 13을 참조하면, 허용착란원의 크기가 2배로 커지면, 도 12의 경우에 비하여 DOF가 2배로 증가하게 되어 포커스 브라케팅시 각각의 스텝의 피사체 심도가 증가한다는 것을 알 수 있다.

아래의 표 2는 도 13에 도시된 그래프를 기반으로 각각의 포커스 브라케팅 스텝에 대해 초점이 맞는 피사체의 심도를 표시한 것이다. 표 2에 정리된 바와 같이, DOF 단위로 주 렌즈(110)의 위치를 차례로 변화시키면서 포커스 브라케팅을 수행할 때, 무한 거리에서 최단초점거리까지 초점이 맞는 영상을 얻을 수 있다.

위의 표 1 및 표 2에서 예시된 수치는 주 렌즈(110)의 초점거리가 4.2mm, 주 렌즈(110)의 F 수가 2.2, 마이크로 렌즈(121)의 피치가 2.24um라고 가정하여 얻은 것이다. 그러나, 이러한 수치들은 단지 이해를 돕기 위해 예시된 것이며, 본 실시예는 위에서 예시된 수치에 한정되는 것은 아니다. 설계에 따라 주 렌즈(110)의 초점거리와 F 수, 및 마이크로 렌즈(121)의 피치가 달라질 수도 있다. 그러한 설계의 변화와 관계 없이, 과초점 거리에서 최단초점거리까지 포커스 브라케팅 동작을 수행할 때 각각의 포커스 브라케팅 스텝에서 주 렌즈(110)의 위치 변화는 DOF 단위로 이루어질 수 있다.

표 1 및 표 2에서는 포커스 브라케팅 스텝의 수를 최적화하기 위하여, 컬러 영상에서 초점이 맞았다고 인정하는 범위를 허용착란원을 기초로 설정하고, 각각의 포커스 브라케팅 스텝에서 DOF 내에 상이 맺히는 피사체 심도를 구하였다. 그러나, 도 8a 내지 도 8d에서 설명한 깊이 맵에서 피사체에 대한 거리 정보는 표 1 및 표 2에 표시된 피사체 심도 구간에 비하여 훨씬 정밀하게 구할 수 있다. 예를 들어, 임의의 피사체에 대한 깊이 값은 인접한 화소에서 얻은 깊이 값 정보들 사이의 차이를 기초로 보간법(interpolation) 등을 이용하여 서브 화소 단위로 계산하는 것이 가능하다.

한편, 도 9 내지 도 13을 기초로 설명한 순차적인 포커스 브라케팅 동작은 영상 획득 장치(100)의 시야 내에서 피사체들을 식별하기가 어렵거나 또는 식별 가능한 피사체의 수가 매우 많을 때 적용될 수 있다. 만약 영상 획득 장치(100)의 시야 내에 식별 가능한 피사체의 수가 적을 경우에는 피사체가 존재하는 거리에 대해서만 포커스 브라케팅 스텝을 조정하여 포커스 브라케팅 동작을 수행할 수도 있다. 예를 들어, 도 14는 다른 실시예에 따른 영상 획득 방법에 따라 피사체가 존재하는 피사체 심도에 대해서만 포커스 브라케팅 동작을 수행하는 과정을 예시적으로 도시하고 있다. 또한, 도 15a 내지 도 15c는 도 14에 도시된 피사체들을 촬영하여 얻은 영상의 깊이 맵들을 예시적으로 도시하고 있다.

도 14에 도시된 바와 같이, 영상 획득 장치(100)와의 거리 D1에 제 1 피사체(210)가 배치되어 있으며, 거리 D3에 제 3 피사체(230)가 배치되어 있다고 가정한다. 도 14에서 D0는 과초점 거리를 나타낸다. 또한, 도 15a는 과초점 거리에 초점을 맞춘 상태에서 얻은 깊이 맵(340)을 도시하고 있다. 이 경우, 깊이 맵(340)에서 각각의 피사체(210, 230)에 대한 깊이 값(211, 231)들은 모두 음의 값을 갖고, 과초점 거리와의 거리가 멀수록 깊이 값의 절대적인 크기가 증가한다. 도 15b는 제 3 피사체(230)에 초점을 맞춘 상태에서 얻은 깊이 맵(350)을 도시하고 있다. 상기 깊이 맵(350)에서 제 3 피사체(230)의 깊이 값(231)은 0이고 제 1 피사체(210)의 깊이 값(211, 221)은 음의 값을 갖는다. 또한, 도 15c는 제 1 피사체(210)에 초점을 맞춘 상태에서 얻은 깊이 맵(360)을 도시하고 있다. 상기 깊이 맵(360)에서 제 1 피사체(210)의 깊이 값(211)은 0이며 제 3 피사체(230)의 깊이 값(231)은 양의 값을 갖는다.

본 실시예에 따른 영상 획득 방법에서, 관심 피사체가 존재하는 거리를 미리 측정하고 피사체가 존재하는 피사체 심도로 포커스 브라케팅 스텝을 건너뛰는 방식으로 포커스 브라케팅 동작을 수행한다. 이를 위하여, 먼저 영상 획득 장치(100)의 초점을 과초점 거리에 맞추어 컬러 영상을 취득하고 컬러 영상으로부터 도 15a와 같은 깊이 맵(340)을 생성한다. 제어부(140)는 깊이 맵(340)을 분석하여 2개의 피사체(210, 230)들의 거리를 계산하고, 2개의 피사체(210, 230)들이 한 번에 포커싱 할 수 있는 1개의 DOF 구간 내에 있는 지를 검토한다.

2개의 피사체(210, 230)들이 한번에 포커싱 할 수 없는 거리만큼 떨어져 있으면, 2개의 피사체(210, 230)에 대해 각각 포커스 브라케팅 스텝을 수행한다. 예를 들어, 제 3 피사체(230)에 대해 초점을 맞출 수 있는 피사체 심도로 포커스 브라케팅 스텝을 수행하여 컬러 영상 및 도 15b에 도시된 깊이 맵(350)을 얻는다. 그런 후, 제 1 피사체(210)에 대해 초점을 맞출 수 있는 피사체 심도로 포커스 브라케팅 스텝을 수행하여 컬러 영상 및 도 15c에 도시된 깊이 맵(360)을 얻는다. 이러한 방식으로 모든 피사체(210, 230)들에 대해 포커스 브라케팅 스텝을 수행한 후에 포커스 브라케팅 동작이 종료될 수 있다.

무한 거리에서 최단초점거리까지의 피사체에 대해 DOF 단위로 순차적으로 포커스 브라케팅 스텝을 수행하는 도 9에 도시된 방법과 달리, 도 14에 도시된 방법은 과초점 거리에 대한 포커스 브라케팅 스텝을 먼저 수행한 후에 실제 피사체가 존재하는 곳에 대해서만 포커스 브라케팅 스텝을 수행한다. 그러나, 도 14에 도시된 방법의 경우에도, 도 9에 도시된 방법과 마찬가지로 DOF 단위로 포커스 브라케팅의 각 스텝을 진행한다. 따라서, 각각의 포커스 브라케팅 스텝을 진행하는 동안 주 렌즈(110)의 초점 위치는 DOF 1개 간격 또는 DOF의 정수배 간격으로 이동할 수 있다. 예를 들어, 영상 취득 장치(100)와 제 1 피사체(210)의 거리가 50cm이고, 제 3 피사체(230)의 거리가 1.5m라고 가정하면, 도 14에 도시된 방법에 따르면 표 1의 예를 참조할 때, 과초점 거리에 대한 포커스 브라케팅 스텝, 2번째 포커스 브라케팅 스텝 및 3번째 포커스 브라케팅 스텝만을 수행할 수 있다.

도 14에 도시된 방법에 따르면, 피사체의 수가 적은 경우나 또는 일부 피사체 심도 구간 내에 피사체가 존재하지 않는 경우에는 포커스 브라케팅 동작의 효율을 향상시킬 수 있다. 예를 들어, 영상 취득 장치(100)에 가장 가까운 피사체가 영상 취득 장치(100)로부터 50cm 떨어져 있는 경우, 표 1의 예에서 포커스 브라케팅 동작을 5번째 스텝까지만 수행하고 종료할 수 있다. 특히, 표 1 및 표 2에서 알 수 있듯이, 영상 취득 장치(100)에 가까워질수록 피사체 심도 구간이 좁아지면서 초점이 맞는 영상을 얻기 위한 포커스 브라케팅 스텝의 수가 증가한다. 따라서, 지근 거리에서 피사체의 존재 유무를 미리 판단하고, 지근 거리에 피사체가 없을 경우에는 지근 거리에 대한 포커스 브라케팅 스텝들을 생략함으로써 포커스 브라케팅 동작의 효율을 향상시킬 수 있다.

지금까지 설명한 포커스 브라케팅 동작은 제어부(140)가 구동부(141)와 액추에이터(115)를 제어하여 주 렌즈(110)를 이동시킴으로써 수행될 수 있다. 또한, 제어부(140)는 과초점 거리에 대한 초기 포커스 브라케팅 스텝을 수행한 후에, 도 9에 도시된 방법에 따라 모든 포커스 브라케팅 스텝을 순차적으로 진행할 것인지 또는 도 14에 도시된 방법에 따라 일부의 포커스 브라케팅 스텝만을 수행하고 나머지 포커스 브라케팅 스텝을 건너뛸 것인지 판단할 수 있다.

예를 들어, 초기 포커스 브라케팅 스텝을 수행하여 얻은 컬러 영상 및 깊이 맵을 분석하여, 표 1 또는 표 2에 예시된 모든 피사체 심도 구간 내에 피사체가 존재하는 경우나 또는 피사체들을 특정하거나 식별하기 어려운 경우에는 도 9에 도시된 방법에 따라 모든 포커스 브라케팅 스텝을 순차적으로 진행할 수 있다. 또한, 표 1 또는 표 2에 예시된 일부 피사체 심도 구간에만 피사체가 존재하는 경우에는 도 14에 도시된 방법에 따라 일부의 포커스 브라케팅 스텝만을 수행하고 나머지 포커스 브라케팅 스텝을 건너뛸 수도 있다.

도 9 내지 도 13을 참조하여 설명한 실시예의 경우, 피사체의 존재 여부와 관계 없이 모든 포커스 브라케팅 스텝들을 순차적으로 수행한다. 그리고, 도 14 및 도 15a 내지 도 15c를 참조하여 설명한 실시예의 경우, 포커스 브라케팅 동작의 효율을 향상시키기 위하여, 피사체가 존재하는 피사체 심도 구간에 대해서만 포커스 브라케팅 스텝을 수행한다. 그러나, 도 14 및 도 15a 내지 도 15c에서 설명한 실시예의 경우에도, 피사체가 존재하는 모든 피사체 심도 구간에 대해서 포커스 브라케팅 스텝을 수행하므로, 경우에 따라 수행할 포커스 브라케팅 스텝의 개수가 많아질 수 있다.

포커스 브라케팅 동작의 효율을 더욱 향상시키기 위하여, 일부의 피사체가 존재하는 피사체 심도 구간에 대해서만 포커스 브라케팅 스텝을 수행할 수도 있다. 예를 들어, 초기 포커스 브라케팅 스텝을 수행하여 얻은 컬러 영상에서 사용자가 관심 있는 피사체를 선택하면, 선택된 피사체에 대해서만 도 14에 도시된 방법에 따라 포커스 브라케팅 스텝을 수행할 수도 있다.

또한, 피사체를 선택하는 과정을 자동으로 수행하는 것도 가능하다. 예를 들어, 도 16은 영상 획득 장치(100)의 초점을 과초점 거리에 맞추어 얻은, 2개의 중심 피사체가 있는 영상의 깊이 맵을 예시적으로 도시하고 있다. 도 16에서 알 수 있는 바와 같이, 배경에 해당하는 피사계(field)는 비교적 균일한 깊이 값을 가지며, 바닥에 해당하는 피사계는 점진적으로 변화하는 깊이 값을 갖는다. 그리고, 2개의 중심 피사체가 존재하는 영역은 배경 영역의 깊이 값과 명백하게 다른 깊이 값을 갖는다. 배경 영역의 깊이 값과 동일하거나 유사한 깊이 값을 갖는 피사체가 영상 내에 존재할 수도 있지만, 배경 영역의 깊이 값과 명백히 다른 깊이 값을 갖는 피사체가 존재하고 있다면, 일반적으로 촬영자의 의도는 배경 영역의 깊이 값과 명백히 다른 깊이 값을 갖는 피사체에 관심이 있다고 판단할 수 있다. 또한, 깊이 값이 점진적으로 변화하는 영역도 역시 일반적으로 촬영자의 관심 영역이 아니라고 판단할 수 있다.

이러한 점을 근거로, 촬영자가 관심을 두고 있는 피사체(이하, 관심 피사체)를 결정하고, 관심 피사체의 심도 구간에 대해 포커스 브라케팅 동작을 수행함으로써 포커스 브라케팅 스텝의 수를 최소화할 수 있다. 또한, 포커스 브라케팅 스텝의 수를 더욱 줄이기 위하여, 다수의 관심 피사체 중에서도 사용자의 선호에 따라 일부의 관심 피사체만을 선택하여 선택된 관심 피사체에 대해 포커스 브라케팅 동작을 수행할 수 있다. 그러면 영상 획득 장치(100)의 포커스 브라케팅 동작으로 인한 프로세서의 연산 회수, 및 전력과 메모리의 소모를 줄일 수 있다.

구체적으로, 도 17은 관심 피사체를 자동으로 선택하여 선택된 관심 피사체가 존재하는 피사체 심도에 대해서만 포커스 브라케팅 동작을 수행하는 과정을 보이는 예시적인 흐름도이다. 도 17을 참조하면, 먼저 피사체 식별 단계(S10)에서, 영상 획득 장치(100)의 초점을 과초점 거리에 맞추어 얻은 초기 영상의 깊이 맵을 통해 배경과 후보 관심 피사체를 구별한다. 예를 들어, 초기 영상 내에서 배경 영역의 깊이 값과 명백히 다른 깊이 값을 가지며 깊이 값이 점진적으로 변화하지 않는 영역에 관심 피사체가 있다고 식별할 수 있다. 예를 들어, 세일런시(saliency) 물체 검출 알고리즘 등을 이용하여 주변과 비교하여 두드러지거나 돋보이는 윤곽을 추출하여 관심 피사체를 식별할 수 있다.

다음으로, 피사체 선정 단계(S11)에서는, 피사체 식별 단계(S10)에서 식별된 후보 관심 피사체들 중에서 포커스 브라케팅 동작을 통해 촬영할 관심 피사체를 선택할 수 있다. 이를 위해, 제어부(140)는 메모리(도시되지 않음)에 저장되어 있는 사용자가 촬영한 영상들의 히스토리를 미리 분석하여 사용자의 의도 또는 선호도를 파악하고 그 결과를 메모리 등에 기억할 수 있다. 예를 들어, 촬영된 영상들에 대해 세일런시 물체 검출 알고리즘을 적용하여, 촬영된 영상들 내에서 가장 많이 나타나는 물체들을 메모리에 저장할 수 있다. 예를 들어, 촬영된 영상들 내에서, 인물, 꽃, 곤충, 새 등과 같은 다양한 종류의 물체들을 추출하여 분류할 수 있다. 그러면, 제어부(140)는 피사체 식별 단계(S10)에서 식별된 후보 관심 피사체들 중에서 메모리에 저장된 사용자의 선호 물체와 일치하는 피사체를 선택할 수 있다. 최종적으로 선택되는 관심 피사체들의 개수는 사용자의 설정에 따라, 예를 들어, 5개 이내와 같이 미리 정해져 있을 수 있다. 또는, 초기 영상 내의 위치 또는 크기와 같이 사용자가 미리 설정한 조건을 만족하는 피사체들을 모두 관심 피사체로 선택할 수도 있다.

또한, 사용자의 선호 물체와 일치하는 관심 피사체가 없는 경우에는, 예를 들어, 초기 영상의 중앙에 가장 가까운 순서대로 다수의 관심 피사체를 선택할 수도 있으며, 또는 초기 영상의 중심 부근에 배열된 다수의 관심 피사체들 중에서 크기가 가장 큰 순서대로 다수의 관심 피사체를 선택할 수도 있다. 또한, 예를 들어, 도 18에 도시된 바와 같이, 다수의 관심 피사체들이 초기 영상의 전체 영역에 고르게 분포하는 경우에는, 전체 관심 피사체들의 모두 선택할 수도 있다.

피사체 식별 단계(S10)에서 식별된 관심 피사체의 개수가 단지 하나이거나 또는 사용자가 미리 설정한 관심 피사체의 개수보다 작을 경우에는, 피사체 선정 단계(S11)를 생략하고, 피사체 식별 단계(S10)에서 식별된 관심 피사체를 모두 선택할 수도 있다.

그런 후, 포커스 브라케팅 단계(S12)에서는, 최종적으로 선택된 관심 피사체들의 각각의 깊이 값을 이용하여, 최종적으로 선택된 관심 피사체가 존재하는 피사체 심도 구간에 대해서만 포커스 브라케팅 스텝을 수행할 수도 있다. 그리고, 각각의 포커스 브라케팅 스텝에서 촬영된 영상들을 메모리에 저장할 수 있다(S13).

한편, 다수의 포커스 브라케팅 스텝을 수행하게 되면, 영상 획득 장치(100)의 전력 및 메모리 소비가 증가하고 제어부(140)의 프로세서 연산이 많아진다. 따라서, 포커스 브라케팅 동작을 수행하기에 배터리 및 메모리의 잔량이 부족해질 수 있다. 따라서, 포커스 브라케팅 동작을 수행하기 전에 배터리 및 메모리를 체크하여 배터리 및 메모리가 부족하다고 판단되면, 포커스 브라케팅 스텝의 개수를 제한할 수 있다.

예를 들어, 도 19는 포커스 브라케팅 스텝을 최소화하기 위하여 핵심 피사체만을 자동으로 선택하여 선택된 핵심 피사체가 존재하는 피사체 심도에 대해서만 포커스 브라케팅을 수행하는 과정을 보이는 예시적인 흐름도이다. 도 19를 참조하면, 먼저 배터리 및 메모리 체크 단계(S20)에서 영상 획득 장치(100)의 배터리 및 메모리 잔량을 검사한다. 만약, 배터리 및 메모리 잔량이 포커스 브라케팅 동작을 수행하기에 충분하다고 판단되면, 도 17에 도시된 과정에 따라 포커스 브라케팅 동작을 수행할 수 있다. 그러나, 배터리 및 메모리 잔량이 부족하다고 판단되면, 도 19에 도시된 포커스 브라케팅 동작, 즉 단계(S21) 내지 단계(S24)을 수행할 수 있다.

피사체 식별 단계(S21)는, 도 17에서 설명한 피사체 식별 단계(S10)와 동일하게 수행될 수 있다. 피사체 선정 최소화 단계(S22)는 도 17에서 설명한 피사체 선정 단계(S11)와 동일한 알고리즘에 따라 수행되지만, 최종적으로 선택되는 관심 피사체의 개수를, 예를 들어, 사용자의 설정에 따라 1개 또는 2개 등으로 제한한다. 예를 들어, 다수의 후보 관심 피사체가 존재하는 경우, 사용자의 설정에 따라, 그 중에서 초기 영상의 중앙에 가장 가까운 1개 또는 2개의 관심 피사체를 선택할 수도 있으며, 또는 크기가 가장 큰 1개 또는 2개의 관심 피사체를 선택할 수도 있다. 피사체 식별 단계(S10)에서 식별된 관심 피사체의 개수가 단지 1개 또는 2개일 경우에는, 피사체 선정 단계(S11)를 생략하고, 피사체 식별 단계(S10)에서 식별된 관심 피사체를 모두 선택할 수도 있다.

그런 후, 포커스 브라케팅 단계(S23)에서는, 최종적으로 선택된 관심 피사체들의 각각의 깊이 값을 이용하여, 최종적으로 선택된 관심 피사체가 존재하는 피사체 심도 구간에 대해서만 포커스 브라케팅 스텝을 수행할 수도 있다. 그리고, 각각의 포커스 브라케팅 스텝에서 촬영된 영상들을 메모리에 저장할 수 있다(S24).

지금까지, 본 발명의 이해를 돕기 위하여 깊이 정보를 갖는 영상을 생성하는 영상 획득 장치 및 영상 획득 방법에 대한 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

100.....영상 획득 장치 110.....주 렌즈
115.....액추에이터 120.....마이크로 렌즈 어레이
121.....마이크로 렌즈 130.....이미지 센서
131, 132, 133, 134.....화소 140.....제어부
141.....구동부

Claims

입사광을 집광시키는 주 렌즈;
입사광을 감지하여 영상을 형성하기 위한 2차원 배열된 다수의 화소들을 구비하는 이미지 센서;
상기 주 렌즈와 이미지 센서 사이에 배치된 것으로, 2차원 배열된 다수의 마이크로 렌즈들을 구비하는 마이크로 렌즈 어레이; 및
상기 이미지 센서로부터 영상 신호를 받아 영상을 생성하는 제어부;를 포함하며,
상기 제어부는 상기 주 렌즈와 이미지 센서 사이의 거리를 변화시켜 가면서 시간차를 두고 순차적으로 다수 회 촬영을 수행함으로써 피사체 심도가 상이한 다수의 영상을 취득하고 상기 취득된 다수의 영상 중 적어도 하나로부터 각각 적어도 하나의 깊이 맵을 생성하도록 구성된 영상 취득 장치.
제 1 항에 있어서,
상기 각각의 마이크로 렌즈는 상기 이미지 센서의 적어도 2개의 화소와 대응하도록 배치되는 영상 취득 장치.
제 2 항에 있어서,
상기 제어부는 동일한 마이크로 렌즈에 대응하여 배치된 적어도 2개의 화소들의 출력들을 각각 이용하여 깊이 맵을 생성하고, 동일한 마이크로 렌즈에 대응하여 배치된 적어도 2개의 화소들의 출력들을 합산하여 영상을 생성하도록 구성된 영상 취득 장치.
제 1 항에 있어서,
상기 제어부는 초점심도(DOF)를 기본 스텝 단위로 하여 상기 주 렌즈와 이미지 센서 사이의 거리를 변화시키도록 구성된 영상 취득 장치.
제 4 항에 있어서,
상기 제어부는, 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시킬 때마다 상기 이미지 센서를 통해 영상을 취득하고 깊이 맵을 생성함으로써, 무한 거리에서 최단초점거리까지 위치한 모든 피사체에 대해 초점이 맞는 영상을 취득하도록 구성된 영상 취득 장치.
제 5 항에 있어서,
상기 제어부는 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시킬 때마다 생성된 각각의 깊이 맵에서 깊이 값이 최소인 피사체 영역을 기억하도록 구성된 영상 취득 장치.
제 6 항에 있어서,
상기 제어부는, 상기 다수의 영상 내에서 특정한 피사체 영역이 선택되었을 때, 상기 선택된 피사체 영역에 대해 깊이 값이 최소가 되는 깊이 맵을 선택하고 선택된 깊이 맵에 대응하는 영상을 출력하도록 구성된 영상 취득 장치.
제 4 항에 있어서,
과초점 거리에 초점을 맞출 때의 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh라 하고, 최단초점거리에 초점을 맞출 때의 상기 주 렌즈와 이미지 센서 사이의 거리를 Dc라 할 때, 상기 제어부는 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh와 Dc 사이에서 초점심도 단위로 변화시키도록 구성된 영상 취득 장치.
제 8 항에 있어서,
상기 제어부는 초기에 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh로 선택하고 상기 주 렌즈와 이미지 센서 사이의 거리가 Dc가 될 때까지 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 순차적으로 변화시키도록 구성된 영상 취득 장치.
제 8 항에 있어서,
상기 제어부는 초기에 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh로 선택하여 영상 및 깊이 맵을 얻고, 상기 깊이 맵을 분석하여 피사체가 존재하는 피사체 심도에 대해서만 영상을 얻도록 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 조절하도록 구성된 영상 취득 장치.
제 4 항에 있어서,
상기 초점심도는 2×(상기 주 렌즈의 개구율)×허용착란원(CoC)에 의해 결정되며, 허용착란원의 크기는 상기 마이크로 렌즈의 피치 1개 또는 피치 2개와 같은 영상 취득 장치.
제 4 항에 있어서,
상기 제어부는, 과초점 거리에 초점을 맞추어 취득한 초기 영상의 깊이 맵을 통해 초기 영상 내의 배경과 후보 관심 피사체를 식별하고, 식별된 관심 피사체 중에서 미리 지정된 조건에 따라 관심 피사체를 선택하고, 선택된 관심 피사체들의 각각의 깊이 값을 이용하여 선택된 관심 피사체가 존재하는 피사체 심도 구간에 대해 촬영을 수행하도록 구성된 영상 취득 장치.
제 12 항에 있어서,
상기 제어부는 배터리 및 메모리 잔량에 따라 선택된 관심 피사체의 개수를 조절하도록 구성된 영상 취득 장치.
주 렌즈, 이미지 센서 및 상기 주 렌즈와 이미지 센서 사이에 배치되며 2차원 배열된 다수의 마이크로 렌즈들을 구비하는 마이크로 렌즈를 포함하는 영상 취득 장치의 영상 취득 방법에 있어서,
상기 주 렌즈와 이미지 센서 사이의 거리를 초기 위치로 설정하여 촬영을 수행하는 단계;
상기 주 렌즈와 이미지 센서 사이의 거리를 시간차를 두고 순차적으로 변화시키면서 촬영을 수행하는 단계;
상기 주 렌즈와 이미지 센서 사이의 거리가 변화할 때마다 영상을 취득함으로써 피사체 심도가 상이한 다수의 영상을 취득하는 단계; 및
상기 취득된 다수의 영상 중 적어도 하나로부터 각각 적어도 하나의 깊이 맵을 생성하는 단계;를 포함하는 영상 취득 방법.
제 14 항에 있어서,
상기 각각의 마이크로 렌즈는 상기 이미지 센서의 적어도 2개의 화소와 대응하도록 배치되는 영상 취득 방법.
제 15 항에 있어서,
동일한 마이크로 렌즈에 대응하여 배치된 적어도 2개의 화소들의 출력들을 각각 이용하여 깊이 맵을 생성하는 단계; 및
동일한 마이크로 렌즈에 대응하여 배치된 적어도 2개의 화소들의 출력들을 합산하여 영상을 생성하는 단계;를 포함하는 영상 취득 방법.
제 14 항에 있어서,
상기 주 렌즈와 이미지 센서 사이의 거리는 초점심도(DOF)를 기본 스텝 단위로 하여 변화하는 영상 취득 방법.
제 17 항에 있어서,
상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시킬 때마다 영상을 취득하고 깊이 맵을 생성함으로써, 무한 거리에서 최단초점거리까지 위치한 모든 피사체에 대해 초점이 맞는 영상을 취득하는 영상 취득 방법.
제 18 항에 있어서,
상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시킬 때마다 생성된 각각의 깊이 맵에서 깊이 값이 최소인 피사체 영역을 기억하는 단계를 더 포함하는 영상 취득 방법.
제 19 항에 있어서,
상기 다수의 영상 내에서 특정한 피사체 영역을 선택하는 단계;
상기 선택된 피사체 영역에 대해 깊이 값이 최소가 되는 깊이 맵을 선택하는 단계; 및
상기 선택된 깊이 맵에 대응하는 영상을 출력하는 단계;를 더 포함하는 영상 취득 방법.
제 17 항에 있어서,
과초점 거리에 초점을 맞출 때의 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh라 하고, 최단초점거리에 초점을 맞출 때의 상기 주 렌즈와 이미지 센서 사이의 거리를 Dc라 할 때, 상기 주 렌즈와 이미지 센서 사이의 거리를 Dh와 Dc 사이에서 초점심도 단위로 변화시키는 영상 취득 방법.
제 21 항에 있어서,
상기 주 렌즈와 이미지 센서 사이의 거리를 변화시키는 단계는:
상기 주 렌즈와 이미지 센서 사이의 거리를 Dh로 선택하는 초기 단계; 및
상기 주 렌즈와 이미지 센서 사이의 거리가 Dc가 될 때까지 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 순차적으로 변화시키는 단계;를 포함하는 영상 취득 방법.
제 21 항에 있어서,
상기 주 렌즈와 이미지 센서 사이의 거리를 변화시키는 단계는:
상기 주 렌즈와 이미지 센서 사이의 거리를 Dh로 선택하는 초기 단계; 및
상기 초기 단계에서 얻은 깊이 맵을 분석하여 피사체가 존재하는 피사체 심도에 대해서만 영상을 얻도록 상기 주 렌즈와 이미지 센서 사이의 거리를 초점심도 단위로 변화시키는 단계;를 포함하는 영상 취득 방법.
제 17 항에 있어서,
상기 초점심도는 2×(상기 주 렌즈의 개구율)×허용착란원(CoC)에 의해 결정되며, 허용착란원의 크기는 상기 마이크로 렌즈의 피치 1개 또는 피치 2개와 같은 영상 취득 방법.
제 17 항에 있어서,
과초점 거리에 초점을 맞추어 초기 영상을 취득하는 단계;
상기 취득한 초기 영상의 깊이 맵을 통해 초기 영상 내의 배경과 후보 관심 피사체를 식별하는 단계;
식별된 관심 피사체 중에서 미리 지정된 조건에 따라 관심 피사체를 선택하는 단계; 및
선택된 관심 피사체들의 각각의 깊이 값을 이용하여 선택된 관심 피사체가 존재하는 피사체 심도 구간에 대해 촬영을 수행하는 단계;를 더 포함하는 영상 취득 방법.
제 25 항에 있어서,
배터리 및 메모리 잔량을 검사하는 단계; 및
배터리 및 메모리 잔량에 따라 선택된 관심 피사체의 개수를 조절하는 단계;를 더 포함하는 영상 취득 방법.
제 14 항 내지 제 26 항 중 어느 하나의 항에 따른 방법을 이용하여 피사체 심도가 상이한 다수의 영상을 각각 취득하고 상기 각각의 취득된 영상으로부터 깊이 맵을 각각 생성하는 단계;
상기 각각의 깊이 맵에서 깊이 값이 최소인 피사체 영역을 기억하는 단계;
상기 다수의 영상 내에서 특정한 피사체 영역을 선택하는 단계;
상기 선택된 피사체 영역에 대해 깊이 값이 최소가 되는 깊이 맵을 선택하는 단계; 및
상기 선택된 깊이 맵에 대응하는 영상을 출력하는 단계;를 포함하는 리포커싱 방법.