KR20150032764A

KR20150032764A - 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스

Info

Publication number: KR20150032764A
Application number: KR20140014408A
Authority: KR
Inventors: 케이 산틀 카밀러스; 사베리 라쥬 샨무감; 자야카아르시크 에스; 나라심하 고팔라크리쉬나 빠이; 판카즈 쿠마르 바즈파이; 갸라브 쿠마르 자인
Original assignee: 삼성전자주식회사
Priority date: 2013-09-20
Filing date: 2014-02-07
Publication date: 2015-03-30

Abstract

인위적으로 디포커스된 블러 이미지(blurred image)를 제공하기 위해, 기준 이미지와 하나 이상의 초점 브래킷화된 이미지들로부터 디포커스된 이미지를 생성하는 방법 및 이미지 캡처링 디바이스. 상기 인위적으로 디포커스된 블러 이미지는 생성된 깊이 맵에 기초하여 점진적 블러화된 배경을 가진 선명한 전경을 제공하기 위하여, 상기 기준 이미지와 하나 이상의 초점 브래킷화된 이미지를 처리하여 합성된 퓨전 이미지이다. 상기 방법은 캡처되어 다운 샘플링된 기준 이미지 및 캡처되어 다운 샘플링되고 정렬된 하나 이상의 초점 브래킷화된 이미지들에 대한 고속 처리를 제공하므로 시간 효율적이다. 영역 기반 세그먼테이션을 사용하여 생성된 깊이 맵(depth map)은 픽셀들의 전경과 배경의 분류 시, 오분류를 감소시키며, 이에 의해 캡처된 기준 이미지의 배경에 대해 고속이면서 강건한 인위적 블러링을 제공하게 된다.

Description

인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스{METHOD AND IMAGE CAPTURING DEVICE FOR GENERATING ARTIFICIALLY DEFOCUSED BLURRED IMAGE}

본 발명은 이미지 처리에 관한 것으로서, 보다 구체적으로는 이미지 처리 기술들을 사용하여 인위적으로 디포커스된 블러링을 가진 이미지를 생성하는 것에 관한 것이다.

현재, 이미지 캡처링 디바이스(image capturing device)에는 오토 포커스, 광학 줌, 얼굴 탐지, 스마일 탐지 등과 같은 흥미로운 기능들이 구비되어 있다. 이미지 캡처링 디바이스는, 모바일 폰, 태블릿 PC(Tablet PC), 피디에이(PDA; Personal Digital Assistant), 웹캠(webcam), 컴팩트 디지털 카메라, 또는 캔디드 픽쳐들(candid pictures)을 캡처하는데 사용될 수 있는 이미지 캡처 가능한 임의의 디바이스일 수 있다.

현재, 모바일 폰과 같은 이미지 캡처링 디바이스는 비용, 크기, 무게 등과 같은 고려사항들로 인하여 소형 카메라 조리개들을 구비하고 있다. 또한, 소형 카메라 조리개는 DOF(depth of field)로 지칭되는 촬영 요소에 영향을 미친다. 예를 들어, 소형 조리개를 가진 이미지 캡처링 디바이스는, 대형 조리개를 사용할 수 있는 DSLR(Digital Single-Lens Reflex)과 비슷한 이미지들을 캡처할 수 없다. 이러한 DSLR 이미지들은 대형 조리개의 사용으로 인하여 블러화된(blurred) 배경을 이용하여 캡처된 이미지에 미학적 모습을 제공한다. 일반적으로, 사용자 또는 포토그래퍼는 예술적 목적으로 의식적으로 이미지의 DOF를 제어하며, 그 캡처된 이미지에 대하여 매력적인 배경 블러를 구현하는 것을 지향한다. 예를 들어, 클로즈 업 샷을 위해 얕은 DOF가 종종 사용되며, 이에 의해 캡처된 이미지의 주요 대상에 대해 선명한 초점(sharp focus)을 가진 블러화된 배경 영역을 제공한다. 소형 카메라 조리개를 가진 이미지 캡처링 디바이스는, 캡처된 이미지의 인위적 디포커스 블러링을 제공함으로써, 대형 카메라 조리개를 가진 이미지 캡처링 디바이스들과 비슷한 디포커스된 이미지를 생성할 수 있다.

상이한 초점 거리에서 캡처된 복수 이미지들을 캡처된 기준 이미지에 맞춰 공간 정렬하는 것은 디포커스된 이미지들을 생성하는 주요 단계들 중의 하나이다. 기존의 방법들에 있어서, 초점 거리(줌) 파라미터를 변화시키는 이미지 정렬은 이미지 특징 추출 및 매칭을 포함하는 계산 집중적인 동작이다. 기존의 방법들은 픽셀 정보를 사용하여 픽셀을 전경과 배경으로 분류한다. 그러나, 이것은 몇몇 이유들 예컨대, 초점 브래킷화된 이미지(focal bracketed image)들과 아웃라이어(outlier) 픽셀들의 오정렬로 인하여 빈번한 픽셀 오분류를 야기한다. 이 픽셀 정렬의 오분류는 이미지 내의 아티팩트(artifact)들을 초래한다.

본 발명의 일 목적은, 캡처된 기준 이미지와 캡처된 하나 이상의 초점 브래킷화된 이미지로부터 인위적으로 디포커스된 블러 이미지(blurred image)를 생성하는 방법 및 디바이스를 제공하는 것이다.

본 발명의 다른 목적은, 이미지 캡처링 디바이스의 하나 이상의 파라미터를 사용하여 캘리브레이팅된(calibrated) 하나 이상의 줌 보정 파라미터들에 기초하여, 캡처된 기준 이미지에 정렬시키는, 하나 이상의 캡처된 초점 브래킷화된 이미지의 줌 보상 방법을 제공하는 것이다.

본 발명의 다른 목적은, 영역 기반 세그먼테이션(region based segmentation)을 사용하여 캡처된 기준 이미지를 세그먼팅(segmenting)함으로써 디포커스된 이미지를 생성하는 깊이 맵(depth map)을 만들고 이에 의해 캡처된 기준 이미지의 인위적 디포커스 블러링을 제공하는 방법을 제공하는 것이다.

이에 따라, 본 발명은 인위적으로 디포커스된 블러 이미지를 생성하는 방법을 제공하며, 상기 방법은 적어도 하나의 줌 보정 파라미터에 기초하여 캡처된 기준 이미지(captured reference image)에 맞춰 정렬시키기 위하여, 캡처된 적어도 하나의 초점 브래킷화된 이미지(focal bracketed image)의 줌을 보정하는 것을 포함한다. 또한, 상기 방법은 상기 기준 이미지를 다운 샘플링하여, 적어도 하나의 세그먼트 영역(segmented region) 내의 적어도 하나의 픽셀에 대한 깊이 맵(depth map)을 생성하는 것을 포함한다. 또한, 상기 방법은 렌즈 블러 필터를 사용하여 상기 다운 샘플링된 기준 이미지에 대하여 디포커스 필터링(defocus filtering)을 수행하여 블러화된 기준 이미지를 생성하고, 또한 상기 인위적으로 디포커스된 블러 이미지를 생성하기 위하여 업 샘플링된 상기 깊이 맵에 기초하여, 상기 캡처된 기준 이미지와 업 샘플링된 상기 블러화된 기준 이미지 중의 적어도 하나를 사용하여 퓨전 이미지(fusion image)를 합성한다.

이에 따라, 본 발명은 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스를 제공하며, 상기 디바이스는 집적 회로를 포함한다. 또한, 상기 집적 회로는 적어도 하나의 프로세서; 컴퓨터 프로그램 코드를 구비한 적어도 하나의 메모리를 포함한다. 또한 상기 적어도 하나의 메모리와 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 이미지 캡처링 디바이스로 하여금, 캡처된 적어도 하나의 초점 브랫킷화된 이미지(focal bracketed image)를 캡처된 기준 이미지(captured reference image)에 맞춰 정렬시키기 위하여, 적어도 하나의 줌 보정 파라미터에 기초하여, 상기 초점 브래킷화된 이미지의 줌을 보정하게 한다. 또한, 상기 이미지 캡처링 디바이스는 상기 기준 이미지를 다운 샘플링하여, 적어도 하나의 세그먼트 영역(segmented region) 내의 적어도 하나의 픽셀에 대한 깊이 맵(depth map)을 생성하도록 구성된다. 또한, 렌즈 블러 필터를 사용하여 상기 다운 샘플링된 기준 이미지에 대하여 디포커스 필터링(defocus filtering)을 수행하여 블러화된 기준 이미지를 생성하도록 구성된다. 또한, 상기 이미지 캡처링 디바이스는 상기 인위적으로 디포커스된 블러 이미지를 생성하기 위하여, 업 샘플링된 상기 깊이 맵에 기초하여, 상기 캡처된 기준 이미지와 업 샘플링된 상기 블러화된 기준 이미지 중의 적어도 하나를 사용하여 퓨전 이미지(fusion image)를 합성하도록 구성된다.

본 발명의 이들 및 다른 양태들은 첨부 도면들 및 다음의 설명과 함께 고려될 시에 더욱 용이하게 인식 및 이해될 것이다. 그러나, 다음의 설명들은 바람직한 실시예들 및 그것의 다수의 특정 상세를 나타내겠지만, 한정이 아닌 예시의 방법으로 주어진 것임을 이해해야 한다. 다수의 변경 및 변형이 본 발명의 사상을 벗어남 없이 본 실시예들의 범위 내에서 이루어질 수 있으며, 본 발명의 실시예들은 이러한 모든 변형을 포함한다.

본 발명의 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스를 적용함으로써, 캡처된 기준 이미지와 캡처된 하나 이상의 초점 브래킷화된 이미지로부터 인위적으로 디포커스된 블러 이미지를 생성하기 위한 것이다.

본 발명이 첨부 도면들에 예시되어 있으며, 각종 도면들에서 유사한 참조 부호들은 대응 부품들을 나타낸다. 도면들을 참조하는 다음의 설명으로부터 본 발명이 더욱 용이하게 이해될 것이다.
도 1은 본 발명의 실시예들에 따라, 캡처된 기준 이미지로부터 디포커스된 이미지를 생성함으로써 인위적 디포커스 블러링을 제공하는 것을 설명하는 흐름도를 도시한다.
도 2는 본 발명의 실시예들에 따라, 하나 이상의 캡처된 초점 브래킷화된 이미지를 캡처된 기준 이미지에 정렬시키는 것을 설명하는 흐름도를 도시한다.
도 3은 본 발명의 실시예들에 따라, 다운 샘플링된 캡처된 기준 이미지와 다운 샘플링된 하나 이상의 캡처된 초점 브래킷화된 이미지의 선명도 추정을 설명하는 흐름도를 도시한다.
도 4는 본 발명의 실시예들에 따라, 캡처된 기준 이미지의 픽셀들에 대하여 전경 식별자 및 가중치가 부여된 배경 식별자를 할당하는 것에 의한 깊이 맵의 생성을 설명하는 흐름도를 도시한다.
도 5는 본 발명의 실시예들에 따라, 다운 샘플링된 캡처된 기준 이미지의 디포커스 필터링에 대한 흐름도를 도시한다.
도 6은 본 발명의 실시예들에 따라, 다운 샘플링된 캡처된 기준 이미지의 디포커스 필터링을 위한 예시적 렌즈 블러 필터 마스크를 도시한다.
도 7은 본 발명의 실시예들에 따라, 캡처된 기준 이미지와 업 샘플링된 블러링(blurred) 기준 이미지로부터 퓨전(fusion) 이미지를 합성하는 흐름도를 도시한다.
도 8은 본 발명의 실시예들에 따라, 예시적으로 캡처된 기준 이미지, 초점 브래킷화된 이미지 및 합성된 퓨전 이미지를 도시한다.
도 9는 본 발명의 실시예들에 따라, 캡처된 기준 이미지의 인위적 디포커스 블러링을 구현하는 디바이스의 블록 구성도를 도시한다.

본 발명의 실시예들 및 그것의 각종 특징들과 유리한 세부사항들은, 첨부 도면들에 예시되어 있으면서 다음의 설명에서 상세히 기술된 비한정적인 실시예들을 참조하여 설명되어 있다. 공지의 컴포넌트들과 처리 기술들의 설명은 본 발명을 불필요하게 모호화하지 않도록 생략되어 있다. 본 명세서에 사용된 예들은 단지, 본 발명의 실시예들이 실시될 수 있으며 또한 당업자로 하여금 본 발명의 실시예들을 실시할 수 있게 하는 방법들의 이해를 용이하게 하기 위한 것으로 의도된다. 그러므로, 본 예들은 본 발명의 실시예들의 범위를 한정하는 것으로 해석되어서는 아니 된다.

본 발명의 실시예들은 캡처된 기준 이미지와 캡처된 하나 이상의 초점 브래킷화된 이미지(focal bracketed image) 로부터 인위적으로 디포커스된 블러 이미지(blurred image)를 생성하는 방법 및 이미지 캡처링 디바이스를 달성한다. 상기 기준 이미지는 이미지의 주요 대상에 초점이 맞추어져 캡처된 이미지이다. 상기 하나 이상의 초점 브래킷화된 이미지는 디바이스 내 렌즈의 초점 거리를 상이한 값들로 조정함으로써 다양한 DOF(depth of field)로 이미지 내의 주요 대상 이외의 대상들에 초점이 맞추도록 캡처된 이미지(들)이다.

일 실시예에서, 이미지 캡처링 디바이스는 예를 들어, 모바일 폰, 태블릿 PC, PDA, 웹캠, 컴팩트 디지털 카메라, 또는 소형 카메라 조리개를 구비한 임의의 다른 이미지 캡처링 하드웨어일 수 있다.

상기 디포커스된 이미지는 생성된 깊이 맵에 기초하여 점진적으로 블러화된 배경을 가진 선명한 전경을 제공하기 위하여, 캡처된 기준 이미지와 캡처된 하나 이상의 초점 브래킷화된 이미지를 처리하여 합성된 퓨전(fusion) 이미지이다. 또한, 상기 방법은 영역 기반 세그먼테이션을 사용하여 캡처된 기준 이미지를 세그먼팅함으로써 깊이 맵의 생성을 제공한다. 상기 방법은 소형 카메라 조리개를 구비한 이미지 캡처링 디바이스가, 대형 카메라 조리개를 구비한 이미지 캡처링 디바이스에 의해 캡처되어 디포커스된 이미지들과 비슷한 디포커스된 이미지들을 생성할 수 있게 한다.

상기 방법은 상기 이미지 캡처링 디바이스가 기준 이미지를 캡처하고 하나 이상의 초점 브래킷화된 이미지를 캡처하고, 상기 기준 이미지와 하나 이상의 초점 브래킷화된 이미지 모두를 처리하는 것에 의하여 상기 기준 이미지의 인위적 디포커스 블러링을 제공할 수 있게 한다.

일 실시예에서, 각종 단계들에서의 상기 이미지 처리는 고속 계산을 가능하게 하는 다운 샘플링된 기준 이미지 및 다운 샘플링된 하나 이상의 초점 브래킷화된 이미지에 대해 수행된다.

상기 방법은 각종 처리 단계에서 처리된 이미지들을 업 샘플링하여 기준 이미지의 크기를 갖는 퓨전 이미지를 합성하는 것을 제공한다. 상기 캡처된 기준 이미지와 상기 캡처된 하나 이상의 초점 브래킷화된 이미지는 높이와 가중치에서 n배가 되도록 서브 샘플링되며, 여기서 n은, 리사이징된 이미지를 구성하기 위해 n의 값에 의존하는 정규 간격에서의 픽셀들을 고려하는 것에 의한, 1 이상의 양의 정수이다. 다운 샘플링에 의해 낮아진 스케일로 이미지들을 처리함으로서, 실행 시간의 저감에 의한 효율적인 처리를 제공할 수 있다.

일 실시예에서, 상기 방법은 다운스케일링이나 다운 샘플링 없이도 기준 이미지 및 하나 이상의 초점 브래킷화된 이미지들을 처리하는 것이 가능하다.

상기 방법은 상기 이미지 캡처링 디바이스가 하나 이상의 초점 브래킷화된 이미지들의 줌을 보정하는 것을 가능하게 한다. 하나 이상의 줌 보정 파라미터에 기초하는, 상기 줌 보정은 상기 이미지 캡처링 디바이스의 하나 이상의 파라미터들을 사용하여 캘리브레이팅된다. 그들의 초점 위치에 따라 미리 결정된 값을 사용하는 복수의 이미지들의 줌 정렬은 줌 계산 오류를 제거하며, 또한 이미지 정렬에 대한 실행 시간을 감소시킨다. 제공된 변환 보정 및 회전 보정은 이미지 등록 오류를 감소시킴으로써 캡처된 기준 이미지에 맞추는 하나 이상의 초점 브래킷화된 이미지들의 공간 정렬을 강건하게(robust) 할 수 있다.

개별 픽셀 기반 분류가 아닌, 기준 이미지의 분류(세그먼테이션)에 기초하여 깊이 맵을 생성하는 것의 이점은 캡처된 기준 이미지의 픽셀들의 전경(foreground)과 배경(background)의 분류 시, 오분류를 감소시키는 것이다. 이러한 세그먼테이션 기반 깊이 맵은 캡처된 기준 이미지에 맞추는 하나 이상의 초점 브래킷화된 이미지들의 오정렬과 아웃라이어(outlier) 픽셀들에 대해 강건하다.

일 실시예에 따른 동작들을 처리하는 동안 사용되는 각종 필터들은 하드웨어 또는 소프트웨어로 구현될 수 있다.

본 명세서의 전반에 걸쳐 기준 이미지와 캡처된 기준 이미지는 상호 교환가능하게 사용된다.또한, 본 명세서의 전반에 걸쳐 캡처된 하나 이상의 초점 브래킷화된 이미지와 하나 이상의 초점 브래킷화된 이미지는 상호 교환가능하게 사용된다.

이제 도면들, 보다 구체적으로는 도 1 내지 도 9를 참조하여, 바람직한 실시예들을 나타내도록 하며, 여기서 유사한 참조부호들은 도면들 전체에 걸쳐 일관되게 대응하는 특징들을 표시한다.

도 1은 본 발명의 실시예들에 따라, 캡처된 기준 이미지로부터 디포커스된 이미지를 생성함으로써 인위적 디포커스 블러링을 제공하는 것을 설명하는 흐름도를 도시하고 있다. 도 1(100)에 도시된 바와 같이, 단계 101에서는, 기준 이미지가 이미지 캡처링 디바이스에 의해 캡처된다.

일 실시예에서, 이미지 캡처링 디바이스에 의해 캡처된 오토포커스 이미지가 기준 이미지로 선택될 수 있다.

또한, 단계 102에서는, 이미지 캡처링 디바이스의 초점 거리를 변화시킴으로써, 하나 이상의 초점 브래킷화된 이미지가 캡처된다.

일 실시예에서, 캡처될 초점 브래킷화된 이미지의 개수는 미리 결정되어 있을 수 있다.

일 실시예에서, 이미지 캡처링 디바이스는 이미지 콘텐츠, 캡처된 기준 이미지의 깊이 수치 등과 같은 팩터들에 기초하여 캡처될 초점 브래킷화된 이미지의 개수를 결정하도록 구성될 수 있다.

예를 들어, 기준 이미지가 하나의 깊이만을 가지는 경우, 그 기준 이미지의 인위적 디포커스 블러링은 양호한 시각효과도 제공하지 못할 수 있다. 따라서, 이미지 캡처링 디바이스는 인위적 디포커스 블러링 모드가 아닌 정규 이미지 캡처링 모드에서 작동하여, 복수의 초점 브래킷화된 이미지들에 대한 불필요한 처리 및 캡처링을 방지할 수 있다. 이에 따라, 이미지 캡처링 디바이스의 프로세서 사용, 배터리 전력 소모를 줄이게 되는 등의 이점들이 있다.

일 실시예에서, 사용자는 이미지 캡처링 디바이스에 대한 인위적 디포커스 블러링 모드를 수동으로 선택할 수 있다.

단계 103에서, 하나 이상의 초점 브래킷화된 이미지는 캡처된 기준 이미지에 맞추어 정렬된다. 하나 이상의 초점 브래킷화된 이미지의 공간 정렬은 줌 보정, 변환 보정, 회전 보정, 및 유사한 보정 기술들을 포함한다. 모든 초점 브래킷화된 이미지들은 해당 이미지가 캡처되는 동안에 조정된 포커스에 기초하여 상이한 줌 동작을 수행하기 때문에, 줌 보정은 기준 이미지에 대해 줌 변형들에 관한 하나 이상의 초점 브래킷화된 이미지를 정렬하는 것을 가능하게 한다. 변환 및 회전 보정은 하나 이상의 초점 브래킷화된 이미지를 캡처하는 동안의 이미지 캡처링 디바이스의 위치에서의 약간의 변동들로 인한, 임의의 변환 및/또는 임의의 회전 시프트(shift)를 보정한다.

또한, 단계 104에서, 기준 이미지 및 하나 이상의 초점 브래킷화된 이미지는 이미지 캡처링 디바이스에 의해 다운 샘플링된다. 다운 샘플링에 의해서 더 낮은 스케일(scale)로 이미지들을 처리함으로서 실행 시간을 줄여 시간의 효율적인 처리를 제공할 수 있다. 또한, 단계 105에서, 다운 샘플링된 기준 이미지는 각 영역의 픽셀들이 유사한 특성들을 나타내는 하나 이상의 세그먼트 영역(segmented region)으로 세그먼팅된다.

일 실시예에서, 이미지 세그먼테이션은 영역 기반 세그먼테이션 기술들, 예를 들어 효율적인 그래프 기반 이미지 세그먼테이션, 영역 병합(region merging), 영역 분할(region splitting), 영역 분할 및 병합, 및 유사한 이미지 세그먼테이션 기술들을 사용하여 수행된다. 예를 들어, 영역들의 균일 세그먼테이션은 세그먼트 영역들이 미리 정의된 임계 블록 크기보다 작은 크기의 블록들을 가지고 있을 경우에 바람직하다.

또한, 단계 106에서, 다운 샘플링된 기준 이미지 및 하나 이상의 다운 샘플링된 초점 브래킷화된 이미지를 포함하는 모든 다운 샘플링된 이미지들의 선명도가 추정된다. 선명도의 추정 시에, 단계 107에서, 그 추정된 선명도에 기초하여, 다운 샘플링된 기준 이미지의 모든 픽셀에 대한 영역 기반 깊이 맵이 생성된다. 추정된 선명도는 픽셀들을 전경(foreground) 또는 배경(background) 픽셀들로서 식별하는 것을 가능하게 한다. 깊이 맵은 전경 픽셀들로 식별된 픽셀들에 대해 단일의 최대 가중치를 제공한다. 반면, 배경 픽셀들로 식별된 픽셀들은 각각의 세그먼팅된 영역들에서 추정된 픽셀들의 선명도 레벨에 따라 배경 가중치가 할당된다.

그 후에, 하나 이상의 세그먼트 영역에 기초하는 다운 샘플링된 기준 이미지를 위해 생성된 깊이 맵은, 캡처된 기준 이미지의 크기로 업 샘플링된다.

또한, 단계 108에서, 다운 샘플링된 기준 이미지에 디포커스 필터링이 적용됨으로써 블러화된(blurred) 기준 이미지를 생성한다. 상기 블러화된 기준 이미지를 위한 블러링은 렌즈 블러 필터를 사용하여 수행된다. 또한, 기준 이미지는, 그것이 선명하게 포커스된 전경을 캡처하기 때문에, 디포커스 필터링용으로 선택된다. 디포커스 필터링은 카메라 렌즈 블러와 유사한 블러를 생성하여, 더 자연스러운 블러링 효과를 제공한다.

일 실시예에서는, 렌즈 블러 필터 마스크의 크기가 미리 결정될 수 있으며, 또는 확실한 입력 세팅, 이미지 특성들 등과 같은 파라미터들에 기초하는 이미지 캡처링 디바이스에 의해 동적으로 선택될 수 있다.

이어서, 다운 샘플링된 기준 이미지의 크기를 가지는 상기 생성된 블러화된 기준 이미지가 기준 이미지의 크기로 업 샘플링된다. 그 후에, 단계 109에서, 모든 픽셀들과 관련된 업 샘플링된 깊이 맵을 이용하여, 업 샘플링된 블러화된 기준 이미지와 기준 이미지로부터 퓨전 이미지가 합성된다. 합성된 퓨전 이미지는 기준 이미지의 인위적 디포커스 블러링을 제공하는 디포커스된 이미지이다. 도 1(100)에서의 각종 동작들(단계들)은 제시된 순서로, 또는 상이한 순서로, 또는 동시에 수행될 수 있다. 또한, 몇몇 실시예들에서는, 도 1에 나열된 일부 동작들이 생략될 수도 있다.

도 2는 본 발명의 실시예들에 따라, 하나 이상의 캡처된 초점 브래킷화된 이미지를 캡처된 기준 이미지에 맞춰 정렬시키는 것을 설명하는 흐름도를 도시하고 있다. 도 2(200)를 참조하면, 단계 201에서, 캡처된 초점 브래킷화된 이미지들 중 하나가 기준 이미지에 맞춘 공간 정렬을 위해 선택된다. 또한, 단계 202에서, 기준 이미지와 상기 선택된 초점 브래킷화된 이미지간의 초점 위치 차이가 추정된다. 그 후에, 단계 203에서, 하나 이상의 줌 보정 파라미터, 예를 들어 아핀(affine) 등이, 초점 코드 등과 같은 이미지 캡처링 디바이스의 하나 이상의 파라미터를 사용하여 캘리브레이팅된다. 초점 코드는 카메라 내의 렌즈 움직임과 관련된 디지털 데이터이다. 줌 보정 파라미터들을 캘리브레이팅할 때에, 단계 204에서, 상기 선택된 초점 브래킷화된 이미지의 줌이 보정된다.

또한, 선택된 초점 브래킷화된 이미지에서의 회전 변동 및 변환 변동을 처리하기 위해, 선택된 초점 브래킷화된 이미지의 전역적 특징들(global features)이 임의의 이미지 특징 추출 기술들을 사용하여 추출된다. 이러한 추출된 특징들이 단계 206에 이용되어, 변환 보정 및 회전 보정이 추출된다. 상기 추출에 따라, 단계 207에서, 변환 및 회전이 보정되며, 선택된 초점 브래킷화된 이미지는 기준 이미지에 맞추어 공간적으로 정렬된다. 이어서, 단계 208에서, 모든 초점 브래킷화된 이미지들이 정렬을 위해 처리되었는지 여부의 검사가 수행된다. 초점 브래킷화된 이미지들이 정렬을 위해 처리되도록 남겨진 경우, 단계 209에서, 다음 초점 브래킷화된 이미지가 선택되며, 단계 201에서 단계 208까지가 반복된다. 전체 초점 브래킷화된 이미지들이 정렬을 위해 처리되는 경우, 하나 이상의 초점 브래킷화된 이미지들의 정렬이 종결된다. 상기 정렬된 이미지들은 다운 샘플링, 선명도 추정, 및 다양한 다른 처리 단계들과 같은 추가 처리를 위해 사용된다. 도 2(200)에서의 각종 동작들(단계들)은 제시된 순서로, 상이한 순서로, 또는 동시에 수행될 수 있다. 또한, 몇몇 실시예들에서는, 도 2에 나열된 일부 동작들이 생략될 수도 있다.

도 3은 본 발명의 실시예들에 따라, 다운 샘플링된 캡처된 기준 이미지(다운 샘플링된 기준 이미지라고도 함)와 다운 샘플링된 하나 이상의 캡처된 초점 브래킷화된 이미지(다운 샘플링된 하나 이상의 초점 브랫킷화된 이미지라고도 함)의 선명도 추정을 설명하는 흐름도를 도시하고 있다. 도 3(300)에 도시된 바와 같이, 단계 301에서, 다운 샘플링된 기준 이미지와 다운 샘플링된 하나 이상의 초점 브래킷화된 이미지는 블러링되어, 다운 샘플링된 기준 이미지에 대응하는 블러 이미지(blurred image) 및 다운 샘플링되고 정렬된 하나 이상의 초점 브래킷화된 이미지들에 대응하는 블러 이미지를 생성한다. 블러링은 이미지들에 스무드닝 효과(smoothening effect)를 제공하며, 가우시안(Gaussian) 필터 또는 임의의 다른 스무드닝 필터들과 같은 필터들을 사용하여 수행될 수 있다. 상기 블러링을 위한 필터, 즉 블러 필터(blur filter)의 크기는 m x m이며, 여기서 m은 1보다 큰 수이다. 또한, 단계 302에서, 다운 샘플링된 기준 이미지와 대응하는 블러화된 기준 이미지의 차분 이미지(difference image)가 계산된다. 또한, 다운 샘플링되고 정렬된 하나 이상의 초점 브래킷화된 이미지와 그 정렬된 하나 이상의 초점 브래킷화된 이미지의 대응하는 블러 이미지의 차분 이미지가 계산된다. 이어서, 단계 303에서, 계산된 모든 차분 이미지는 팩터 k를 승산하여(multiply) 강화되며, 여기서 'k'는 1보다 큰 양의 정수이다.

일 실시예에서, k의 값은 이미지 캡처링에서 사전에 구성될 수 있다.

일 실시예에서, k의 값은, 디포커스된 이미지 생성을 위해 기준 이미지를 처리하는 동안에 동적으로 선택될 수 있다. 예를 들어, k의 값은 아래에 제공된 수학식 1로부터 도출될 수 있다.

여기서, k값은 차분 이미지에서의 최대값에 기초하여 동적으로 결정된다.

또한, 단계 304에서, 다운 샘플링된 기준 이미지 및 하나 이상의 초점 브래킷화된 이미지는, 그들의 대응하는 강화된 차분에 부가됨으로써 비-선형 에지 강조 이미지를 얻게 된다. 비-선형 에지 강조는 전경의 선명한 경계 영역들, 예를 들어 사람의 모발(human hair), 덤불들(bushes) 등이 배경으로 오분류되는 것을 방지한다.

그 후에, 단계 305에서, 강화된 차분 이미지들에 대응하는 에지 이미지들이 도출된다. 에지 이미지는 각각의 비-선형 에지 강조 에지 이미지에 대하여 이미지 선명도 연산자들, 예를 들어 Prewitt, Sober, Canny 등을 적용하여 도출된다. 또한, 단계 306에서, 평균 필터(average filter)를 사용하여 다운 샘플링된 기준 이미지에 대응하는 에지 이미지 및 다운 샘플링되고 정렬된 하나 이상의 초점 브래킷화된 이미지에 대응하는 에지 이미지에 대해 필터링함으로써 대응하는 에지 이미지들의 에지들을 축적한다. 이 에지 축적은 사용된 평균 필터의 블록에 대해 정의된 픽셀과 그것의 이웃하는 픽셀들의 평균값을 각 픽셀 값에 제공한다. 이 에지 축적은 이미지에 에지들을 스프레딩(spread)한다.

단계 307에서, 에지들의 축적에 의해 에지 이미지들의 전체 세트(entire set)의 선명도를 추정한 이후에, 선명도 추정 프로세스가 종결된다. 도 3(300)의 각종 동작들(단계들)은 제시된 순서로, 상이한 순서로, 또는 동시에 수행될 수 있다. 또한, 몇몇 실시예들에서는, 도 3에 나열된 일부 동작들이 생략될 수도 있다.

도 4는 본 발명의 실시예들에 따라, 캡처된 기준 이미지의 픽셀들에 대하여 전경 식별자 및 가중 처리된 배경 식별자를 할당하는 것에 의한 깊이 맵의 생성을 설명하는 흐름도를 도시하고 있다. 도 4(400)에서 도시된 바와 같이, 단계 401에서, 다운 샘플링된 기준 이미지에 대응하는 에지 이미지에서, 선택된 세그먼트 영역에 대해 축적된 에지들은 N1 값까지 합해진다. 또한, 다운 샘플링된 하나 이상의 초점 브래킷화된 이미지들에 대응하는 모든 에지 이미지들에서, 선택된 세그먼트 영역에 대해 축적된 에지들은 개별적으로 합해지며, 이 값들 중의 최고 값이 N2로 선택된다. 또한, 단계 402에서, 선택된 세그먼트 영역에 대해 합해진 축적 에지들 N1과 N2가 비교된다. N1>N2 일 경우, 선택된 세그먼트 영역 내의 픽셀들이 기준 이미지의 전경 픽셀들로 식별되며, 단계 403에서, 그 픽셀들에 대한 깊이 맵(값들)이 전경 식별자로 할당된다. 전경 식별자는 식별된 모든 전경 픽셀들에 할당되는 단일의 최대 가중치이다. N1이 N2 이하(N1<=N2)인 경우, 선택된 세그먼트 영역 내의 픽셀들은 기준 이미지의 배경 픽셀들로 식별되며, 깊이 맵에 배경 식별자가 할당된다. 또한, 선택된 세그먼트 영역의 픽셀들에 대한 깊이 맵에는, 등식 N2/(N1+N2)으로부터 도출된 가중치로 가중치가 부여된 배경 식별자가 할당된다. N1 및 N2 값들이 도 3에 도시된 바와 같이, 추정 선명도에 더 기초하는 합해진 축적 에지들로부터 계산된다. 이에 따라, 할당되는 배경 식별자의 가중치 또는 값은 선택된 세그먼트 영역의 추정된 선명도 레벨에 기초한다.

이후에, 단계 405에서, 전체 세그먼트 영역이 깊이 맵 생성에 대해 고려되었는지의 여부를 확인하는 검사가 수행된다. 고려될 세그먼트 영역들이 남아 있는 경우, 단계 406에서, 다음 세그먼트 영역이 깊이 맵 생성을 위해 선택되며, 단계 401 내지 단계 405가 반복된다. 모든 세그먼트 영역들이 고려된 경우, 단계 407에서, 깊이 맵 생성 프로세스가 종결되며, 깊이 맵은 기준 이미지의 크기로 업 샘플링된다. 도 4(400)의 각종 동작들(단계들)은 제시된 순서로, 상이한 순서로, 또는 동시에 수행될 수 있다. 또한, 일부 실시예들에서는, 도 4에 나열된 일부 동작들이 생략될 수도 있다.

도 5는 본 발명의 실시예들에 따른, 다운 샘플링된 캡처된 기준 이미지의 디포커스 필터링에 대한 흐름도를 나타내고 있다. 도 5(500)에 도시된 바와 같이, 단계 501에서, 렌즈 블러 필터가 선택되어 다운 샘플링된 기준 이미지의 디포커스 필터링을 수행한다. 또한, 단계 502에서, 상기 선택된 렌즈 블러 필터가 다운 샘플링된 기준 이미지의 모든 픽셀에 대해 적용되어 블러화된 기준 이미지를 생성한다. 그 후에, 블러화된 기준 이미지가 기준 이미지의 크기로 업 샘플링된다. 도 5(500)에서의 각종 동작들(단계들)은 제시된 순서로, 상이한 순서로, 또는 동시에 수행될 수 있다. 또한, 몇몇 실시예들에서는, 도 5에 나열된 일부 동작들이 생략될 수도 있다.

도 6은 본 발명의 실시예들에 따라, 다운 샘플링된 캡처된 기준 이미지의 디포커스 필터링을 위한 예시적 렌즈 블러 필터 마스크를 도시하고 있다. 도 6을 참조하면, 마스크의 미리 결정된 위치들인 칼럼(column)들 및 로우(row) 위치들에 명시된 0 과 1의 값들을 가지며, 다운 샘플링된 기준 이미지의 모든 픽셀에 블러링 효과를 제공하여 블러화된 기준 이미지를 생성하는, 5 x 5 렌즈 블러 마스크를 도시하고 있다.

일 실시예에서, 합성될 퓨전 이미지의 원하는 품질 및/또는 원하는 시각 효과에 기초하여 가변 크기의 마스크(rows x columns)가 사용될 수 있다.

도 7은 본 발명의 실시예들에 따라, 캡처된 기준 이미지와 업 샘플링된 블러화된 기준 이미지로부터 퓨전 이미지를 합성하는 흐름도를 도시하고 있다. 도 7(700)에 도시된 바와 같이, 단계 701에서, 퓨전 이미지를 합성하여 자연스러운 디포커스된 이미지를 생성하기 위하여 기준 이미지와 업 샘플링된 블러화된 기준 이미지가 선택된다. 가우시안 피라미드(Gaussian pyramid) 등과 같은 이미지 처리 기술들을 사용하여 상기 이미지들에 대해 깊이 맵 디퓨전(depth map diffusion)을 수행함으로써 블러화된 기준 이미지와 오리지널 기준 이미지를 스무드하게 블렌드(blend) 한다. 깊이 맵은 전경 및 배경의 배치(batch)들로 구성된다. 깊이 맵이 직접 사용될 경우, 전경과 배경 사이에는 가중치 맵의 변화들이 급작스럽게 존재하기 때문에, 출력 디포커스 이미지는 전경과 배경 사이에 스무드한 경계 전환을 제공하지 않게 된다. 실시예에 따르면, 가우시안 피라미드 방법 등을 사용하는 깊이 맵의 디퓨전에 의하여 급작스런 변화들을 스무드하게 하는 것을 제공한다. 퓨전 이미지는 기준 이미지에 대한 인위적인 디포커스 블러링을 제공한다. 단계 702에서, 각 픽셀의 업 샘플링된 깊이 맵 값에 대한 검사가 수행된다. 고려중인 픽셀에 관한 대응하는 깊이 맵이 전경 식별자와 관련된 경우, 단계 703에서, 캡처된 기준 이미지로부터 대응하는 픽셀 값이 퓨전 이미지의 합성을 위해 고려된다. 고려중인 픽셀에 관한 대응하는 깊이 맵이 배경 식별자와 관련된 경우, 단계 704에서, 블러화된 기준 이미지 중의 대응하는 픽셀 값에는, 그 픽셀에 대응하는 업 샘플링된 깊이 맵 값으로 배경 식별자에 할당된 가중치가 승산된다. 그 후에, 단계 705에서, 그 승산 결과와 동일한 값을 가진 픽셀이 퓨전 이미지의 합성을 위해 고려된다. 이어서, 단계 706에서, 깊이 맵 값 검사 절차가 모든 픽셀들에 대해 반복된다. 그 후에, 단계 707에서, 전체 픽셀들이 검사된 이후에, 퓨전 이미지의 합성이 완료되어 캡처된 기준 이미지의 디포커스된 이미지를 생성한다. 퓨전 이미지는 기준 이미지에 대하여 선명한 전경과 점진적으로 블러화된 배경을 가진 시각적 효과를 제공한다. 도 7(700)에서의 각종 동작들(단계들)은 제시된 순서로, 상이한 순서로, 또는 동시에 수행될 수 있다. 또한, 몇몇 실시예들에서는, 도 7에 나열된 일부 동작들이 생략될 수도 있다.

도 8은 본 발명의 실시예들에 따라, 예시적으로 캡처된 기준 이미지, 초점 브래킷화된 이미지, 및 합성된 퓨전 이미지를 도시하고 있다. 도 8은 포커스된 전경(801a) 및 부드럽게 블러화된 배경(801b)을 가진 출력 이미지(801)(캡처된 기준 이미지)를 도시한다. 또한, 도 8은 부드럽게 블러화된 전경(802a) 및 포커스된 배경(802b)을 가진 입력 이미지(802)(캡처된 초점 브래킷화된 이미지)를 도시한다. 또한, 도 8은 선명한 전경(803a) 및 인위적 점진적으로 블러화된 배경(803b)을 가진 출력 이미지(합성된 퓨전 이미지)를 도시한다. 캡처된 기준 입력 이미지(801)는 캡처된 장면의 주요 대상에 카메라 포커스가 있는, 포커스된 전경(801a)을 제공한다. 입력 이미지(801)는 부드럽게 블러화된 배경(801b)을 제공한다. 배경은 주요 대상 이외의, 장면 내 모든 객체들을 포함한다. 캡처된 초점 브래킷화된 이미지인 입력 이미지(802)는 부드럽게 블러화된 전경(802a)을 제공하며, 여기서 카메라 포커스는 장면의 주요 객체로부터 장면의 배경 객체들로 시프트되어 있다. 입력 포커스된 이미지(802)는 포커스된 배경(802b)을 가진 장면을 캡처한다. 출력 이미지(803)는 본 발명의 실시예들에 따른 동작에 따라, 입력 이미지(801)와 입력 이미지(802)를 처리함으로써 생성된 합성된 퓨전 이미지이다. 출력 이미지(803)는 포커스가 맞추어진 장면의 주요 대상을 가진 선명한 전경(803a)을 제공한다. 출력 이미지(803b)는 인위적 점진적으로 블러화된 배경(803b)을 제공하는 인위적 디포커스된 블러 이미지이며, 여기서 장면의 배경 객체들에는 대형 렌즈 조리개를 구비한 카메라에 의해 캡처된 이미지와 유사한 효과를 제공하기 위하여 인위적 점진적인 블러링이 제공되어 있다.

도 9는 본 발명의 실시예들에 따라, 캡처된 기준 이미지의 인위적 디포커스 블러링을 구현하는 디바이스(이미지 캡처링 디바이스라고도 함)의 블록 구성도를 도시하고 있다. 도 9에 도시된 바와 같이, 캡처된 기준 이미지의 인위적 디포커스 블러링을 구현하는 디바이스(901)는 제어 유닛(902)과 ALU(Arithmetic Logic Unit)(903)가 구비된 적어도 하나의 프로세싱 유닛(904), 메모리(905), 저장 유닛(906), 복수의 네트워킹 디바이스들(908) 및 복수의 입출력(I/O) 디바이스(907)를 포함한다. 프로세싱 유닛(904)은 알고리즘의 명령들을 처리하는 역할을 한다. 프로세싱 유닛(904)은 그것의 처리를 수행하기 위해 제어 유닛으로부터 명령들을 수신한다. 또한, 명령들의 실행에 관여하는 임의의 논리 연산 및 산술 연산이 ALU(903)의 보조로 계산된다.

디바이스(901)는 복수의 동질적 및/또는 이질적 코어들, 상이한 종류의 복수의 CPU들, 특수 매체 및 다른 가속기들로 구성될 수 있다. 프로세싱 유닛(904)은 알고리즘의 명령들을 처리하는 역할을 한다. 또한 복수의 프로세싱 유닛(904)은 단일의 칩 또는 복수의 칩 위에 위치될 수 있다.

구현을 위해 요구되는 명령들 및 코드들을 포함하는 알고리즘은 메모리 유닛(905) 또는 저장소(906) 또는 양쪽 모두 중 하나에 저장된다. 실행 시에, 명령들은 대응하는 메모리(905) 및/또는 저장소(906)로부터 인출되어 프로세싱 유닛(904)에 의해 실행될 수 있다.

임의의 하드웨어 구현의 경우, 다양한 네트워킹 디바이스(908) 또는 외부 I/O 디바이스들(907)이 디바이스(901)에 연결됨으로써 네트워킹 유닛 및 I/O 디바이스 유닛을 통한 구현을 지원할 수 있다.

본 발명의 실시예들은 적어도 하나의 하드웨어 디바이스에서 실행되어 네트워크 관리 기능들을 수행함으로써 구성요소들을 제어하는 적어도 하나의 소프트웨어 프로그램을 통해 구현될 수 있다. 도 9에 나타낸 구성요소들은 하드웨어 디바이스, 또는 하드웨어와 소프트웨어 모듈의 조합 중의 적어도 하나일 수 있다.

전술한 특정 실시예들의 설명은 현재의 지식을 적용하는 것에 의해 본 발명의 실시예들의 일반 성질을 완전히 나타나게 되며, 그 일반 개념으로부터 벗어남 없는 특정 실시예들을 용이하게 변형될 수 있고 및/또는 각종 응용들에 대해 적응될 수 있다. 따라서, 이러한 적응물들 및 변형물들은 본 발명의 동등물의 의미 및 범위 내인 것으로 이해되는 것이 의도된다. 본 명세서에서 사용된 전문용어 또는 어법은 한정이 아닌 설명의 목적을 위한 것이라는 것이 이해될 것이다. 그러므로, 바람직한 실시예들의 관점에서 본 실시예들을 기술하였지만, 당업자는 본 실시예들이 여기에 기술된 실시예들의 사상 및 범위 내의 변형을 가지고 실시될 수 있다는 것을 인식할 것이다.

Claims

인위적으로 디포커스된 블러 이미지(blurred image)를 생성하는 방법에 있어서,
캡처된 적어도 하나의 초점 브래킷화된 이미지(focal bracketed image)를 캡처된 기준 이미지(captured reference image)에 맞춰 정렬시키기 위하여, 적어도 하나의 줌 보정 파라미터에 기초하여, 상기 초점 브래킷화된 이미지의 줌을 보정하는 단계;
상기 기준 이미지를 다운 샘플링하여, 적어도 하나의 세그먼트 영역(segmented region) 내의 적어도 하나의 픽셀에 대한 깊이 맵(depth map)을 생성하는 단계;
렌즈 블러 필터를 사용하여 상기 다운 샘플링된 기준 이미지에 대하여 디포커스 필터링(defocus filtering)을 수행하여 블러화된 기준 이미지를 생성하는 단계; 및
상기 인위적으로 디포커스된 블러 이미지를 생성하기 위하여, 업 샘플링된 상기 깊이 맵에 기초하여, 상기 캡처된 기준 이미지와 업 샘플링된 상기 블러화된 기준 이미지 중의 적어도 하나를 사용하여 퓨전 이미지(fusion image)를 합성하는 단계를 포함함을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 방법.
제 1 항에 있어서, 상기 적어도 하나의 줌 보정 파라미터는, 이미지 캡처링 디바이스와 관련된 적어도 하나의 파라미터를 사용하여 캘리브레이팅(calibrating)되며,
상기 캡처된 기준 이미지 및 상기 초점 브래킷화된 이미지는, 상기 이미지 캡처링 디바이스에 의해 캡처되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 방법.
제 1 항에 있어서, 상기 깊이 맵을 생성하는 단계는,
상기 다운 샘플링된 기준 이미지의 추정 선명도(estimated sharpness), 및 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지의 추정 선명도 중의 적어도 하나에 기초하는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 방법.
제 3 항에 있어서, 상기 다운 샘플링된 기준 이미지의 추정 선명도를 도출하는 것은,
상기 다운 샘플링된 기준 이미지를 블러링(blurring)하여, 상기 다운 샘플링된 기준 이미지에 대응하는 제1 블러 이미지를 생성하고; 상기 다운 샘플링된 기준 이미지와 상기 제1 블러 이미지에 대한 차분 이미지(difference image)인 제1 차분 이미지를 계산하고; 상기 제1 차분 이미지를 강화(enhancing)하고; 상기 강화된 제1 차분 이미지에 상기 다운 샘플링된 기준 이미지를 부가하여 제1 에지 이미지를 도출하고; 평균 필터(average filter)를 사용하여 상기 제1 에지 이미지에 대한 필터링을 수행함으로써, 상기 제1 에지 이미지의 에지들을 축적하는 것을 더 포함함을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 방법.
제 4항에 있어서, 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지의 추정 선명도를 도출하는 것은, 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지를 블러링(blurring)하여, 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지에 대응하는 제2 블러 이미지를 생성하고; 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지와 상기 제2 블러 이미지에 대한 차분 이미지(difference image)인 제2 차분 이미지를 계산하고; 상기 제2 차분 이미지를 강화(enhancing)하고; 상기 강화된 제2 차분 이미지에 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지를 부가하여 제2 에지 이미지를 도출하고; 평균 필터(average filter)를 사용하여 상기 제2 에지 이미지에 대한 필터링을 수행함으로써, 상기 제2 에지 이미지의 에지들을 축적하는 것을 더 포함함을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 방법.
제 1 항에 있어서, 상기 적어도 하나의 세그먼트 영역은, 영역 기반 세그먼테이션(region based segmentation)을 사용하여 상기 다운 샘플링된 기준 이미지를 세그먼팅하는 것에 의해 얻어지는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 방법.
제 1 항에 있어서, 상기 캡처된 기준 이미지에 맞춰 상기 초점 브래킷화된 이미지를 정렬시키는 것은, 상기 초점 브래킷화된 이미지에 대해, 변환 보정(translation compensation)과 회전 보정 중의 적어도 하나를 수행하는 것을 더 포함함을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 방법.
제 5항에 있어서, 상기 깊이 맵을 생성하는 단계는,
상기 축적된 제1 에지 이미지의 에지들과 상기 축적된 제2 에지 이미지의 에지들을 합하는 것(summing)을 포함하며,
상기 합하는 것은,
상기 다운 샘플링된 기준 이미지의 상기 적어도 하나의 세그먼트 영역에 대해 수행되고; 상기 축적된 제2 에지 이미지의 에지들과 상기 축적된 제1 에지 이미지의 에지들을 비교하여, 상기 다운 샘플링된 기준 이미지의 상기 적어도 하나의 세그먼트 영역의 상기 적어도 하나의 픽셀에 대하여 배경 식별자(background identifier)와 전경 식별자(foreground identifier) 중의 하나를 할당하는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 방법.
제 8 항에 있어서,
상기 다운 샘플링된 기준 이미지의 상기 적어도 하나의 세그먼트 영역의 상기 추정 선명도에 기초하여, 상기 다운 샘플링된 기준 이미지의 전경을 식별하는 상기 전경 식별자에는 최대 가중치가 할당되고, 상기 다운 샘플링된 기준 이미지의 배경을 식별하는 상기 배경 식별자에는 하나 이상의 배경 가중치들 중의 하나의 배경 가중치가 할당되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 방법.
인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스에 있어서,
적어도 하나의 프로세서를 더 포함하는 집적 회로;
상기 집적 회로 내에서 컴퓨터 프로그램 코드를 구비하는 적어도 하나의 메모리를 포함하고,
상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 이미지 캡처링 디바이스로 하여금,
캡처된 적어도 하나의 초점 브랫킷화된 이미지(focal bracketed image)를 캡처된 기준 이미지(captured reference image)에 맞춰 정렬시키기 위하여, 적어도 하나의 줌 보정 파라미터에 기초하여, 상기 초점 브래킷화된 이미지의 줌을 보정하고,
상기 기준 이미지를 다운 샘플링하여, 적어도 하나의 세그먼트 영역(segmented region) 내의 적어도 하나의 픽셀에 대한 깊이 맵(depth map)을 생성하고,
렌즈 블러 필터를 사용하여 상기 다운 샘플링된 기준 이미지에 대하여 디포커스 필터링(defocus filtering)을 수행하여 블러화된 기준 이미지를 생성하고,
상기 인위적으로 디포커스된 블러 이미지를 생성하기 위하여, 업 샘플링된 상기 깊이 맵에 기초하여, 상기 캡처된 기준 이미지와, 업 샘플링된 상기 블러화된 기준 이미지 중의 적어도 하나를 사용하여 퓨전 이미지(fusion image)를 합성하게 하는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스.
제 10 항에 있어서, 상기 이미지 캡처링 디바이스는, 상기 이미지 캡처링 디바이스와 관련된 적어도 하나의 파라미터를 사용하여 상기 적어도 하나의 줌 보정 파라미터를 캘리브레이팅(calibrating)하도록 구성되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스.
제 10 항에 있어서, 상기 이미지 캡처링 디바이스는, 상기 다운 샘플링된 기준 이미지의 추정 선명도(estimated sharpness), 및 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지의 추정 선명도 중의 적어도 하나에 기초하는 상기 깊이 맵을 생성하도록 구성되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스.
제 12 항에 있어서, 상기 이미지 캡처링 디바이스는, 상기 다운 샘플링된 기준 이미지를 블러링(blurring)하여, 상기 다운 샘플링된 기준 이미지에 대응하는 제1 블러 이미지를 생성하고; 상기 다운 샘플링된 기준 이미지와 상기 제1 블러 이미지에 대한 차분 이미지(difference image)인 제1 차분 이미지를 계산하고; 상기 제1 차분 이미지를 강화(enhancing)하고; 상기 강화된 제1 차분 이미지에 상기 다운 샘플링된 기준 이미지를 부가하여 제1 에지 이미지를 도출하고; 평균 필터(average filter)를 사용하여 상기 제1 에지 이미지에 대한 필터링을 수행함으로써, 상기 제1 에지 이미지의 에지들을 축적하는 것에 의하여 상기 다운 샘플링된 기준 이미지의 상기 추정 선명도를 도출하도록 더 구성되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스.
제 12 항에 있어서, 상기 이미지 캡처링 디바이스는, 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지를 블러링(blurring)하여, 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지에 대응하는 제2 블러 이미지를 생성하고; 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지와 상기 제2 블러 이미지에 대한 차분 이미지(difference image)인 제2 차분 이미지를 계산하고; 상기 제2 차분 이미지를 강화(enhancing)하고; 상기 강화된 제2 차분 이미지에 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지를 부가하여 제2 에지 이미지를 도출하고; 평균 필터(average filter)를 사용하여 상기 제2 에지 이미지에 대한 필터링을 수행함으로써, 상기 제2 에지 이미지의 에지들을 축적하는 것에 의하여 상기 다운 샘플링되고 정렬된 상기 초점 브래킷화된 이미지의 상기 추정 선명도를 도출하도록 더 구성되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스.
제 10 항에 있어서, 상기 이미지 캡처링 디바이스는 영역 기반 세그먼테이션(region based segmentation)을 사용하여 상기 다운 샘플링된 기준 이미지를 세그먼팅함으로써 상기 적어도 하나의 세그먼트 영역을 얻도록 더 구성되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스.
제 10 항에 있어서, 상기 이미지 캡처링 디바이스는 상기 초점 브래킷화된 이미지에 대해, 변환 보정(translation compensation)과 회전 보정 중의 적어도 하나를 수행하는 것에 의해 상기 캡처된 기준 이미지에 맞춰 상기 초점 브래킷화된 이미지를 정렬시키도록 더 구성되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스.
제 14 항에 있어서, 상기 이미지 캡처링 디바이스는, 상기 축적된 제2 에지 이미지의 에지들과 상기 축적된 제2 에지 이미지의 에지들을 합하되, 상기 합하는 것은 상기 다운 샘플링된 기준 이미지의 상기 적어도 하나의 세그먼트 영역에 대해 수행되고, 상상기 축적된 제2 에지 이미지의 에지들과 상기 축적된 제1 에지 이미지의 에지들을 비교하여, 상기 다운 샘플링된 기준 이미지의 상기 적어도 하나의 세그먼트 영역의 상기 적어도 하나의 픽셀에 대하여 배경 식별자(background identifier)와 전경 식별자(foreground identifier) 중의 하나를 할당하는 것에 의하여 상기 깊이 맵을 생성하도록 더 구성되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스.
제 17 항에 있어서, 상기 이미지 캡처링 디바이스는, 상기 다운 샘플링된 기준 이미지의 상기 적어도 하나의 세그먼트 영역의 상기 추정 선명도에 기초하여, 상기 다운 샘플링된 기준 이미지의 전경을 식별하는 상기 전경 식별자에는 최대 가중치를 할당하고, 상기 다운 샘플링된 기준 이미지의 배경을 식별하는 상기 배경 식별자에는 하나 이상의 배경 가중치들 중의 하나의 배경 가중치가 할당하도록 구성되는 것을 특징으로 하는 인위적으로 디포커스된 블러 이미지를 생성하는 이미지 캡처링 디바이스.